CN112602088A - 提高弱光图像的质量的方法、系统和计算机可读介质 - Google Patents

提高弱光图像的质量的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN112602088A
CN112602088A CN201980052161.6A CN201980052161A CN112602088A CN 112602088 A CN112602088 A CN 112602088A CN 201980052161 A CN201980052161 A CN 201980052161A CN 112602088 A CN112602088 A CN 112602088A
Authority
CN
China
Prior art keywords
digital image
low
phase
layer
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980052161.6A
Other languages
English (en)
Other versions
CN112602088B (zh
Inventor
孟子博
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112602088A publication Critical patent/CN112602088A/zh
Application granted granted Critical
Publication of CN112602088B publication Critical patent/CN112602088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

在实施方案中，方法包括：接收弱光数字图像；由至少一个处理器通过用编码器‑解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，所述编码器‑解码器神经网络包括多个卷积层和多尺度上下文聚合块，所述多个卷积层被分类为降采样阶段和升尺度阶段，所述多尺度上下文聚合块被配置成聚合所述弱光数字图像的多尺度上下文信息并且是在所述降采样阶段和所述升尺度阶段之间被采用的；以及通过所述至少一个处理器，将所述结果的数字图像输出至输出设备。

Description

提高弱光图像的质量的方法、系统和计算机可读介质
相关申请的交叉引用
本申请要求于2018年9月6日提交的名称为“METHOD,SYSTEM,AND COMPUTER-READABLE MEDIUM FOR IMPROVING QUALITY OF LOW-LIGHT IMAGES”的美国申请No.62/728,010的优先权。
本公开内容的背景
1.技术领域
本公开涉及图像处理领域，更特别地，涉及一种用于提高弱光图像的质量的方法、系统和计算机可读介质。
2.背景技术
由于低信噪比(signal-to-noise ratio，SNR)，在弱光照条件下拍摄具有良好感知质量的图像极具挑战性。延长曝光时间可以获得在视觉上看起来良好的图像，但是这可能容易引入运动模糊，并且在实际生活中并不总是适用。
为了使短曝光时间的弱光图像在视觉上看起来合理，已经进行了广泛的研究，包括旨在去除图像中由于弱光照条件而存在的噪声的降噪技术，以及为了提高数字图像的感知质量而开发的增强技术。
然而，目前的降噪方法往往通过使用合成数据来评估，其不能很好地推广到真实图像，而且弱光增强方法没有考虑噪声。
发明内容
本公开的目的是提出用于提高弱光图像的质量的方法、系统和计算机可读介质。
在本公开的第一方面中，一种方法包括：
接收弱光数字图像；
由至少一个处理器通过用编码器-解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，该编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，该多个卷积层被分类为降采样阶段和升尺度阶段，该多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且是在降采样阶段和升尺度阶段被采用的；以及
通过至少一个处理器将结果的数字图像输出至输出设备。
根据与本公开的第一方面结合的实施例，在接收弱光数字图像之前，该方法还包括：
接收数字图像；
确定数字图像的对比值、动态范围以及信噪比(SNR)中的至少一项是否低于阈值；以及
响应于确定出数字图像的对比值、动态范围以及SNR中至少一项低于阈值，确定数字图像是弱光数字图像。
根据与本公开第一方面结合的实施例，编码器-解码器神经网络包括U-net架构。
根据与本公开第一方面结合的实施例，生成结果的数字图像包括：
在降采样阶段，每隔几个卷积层之后执行池化操作；以及
在升尺度阶段，每隔几个卷积层之前执行升尺度操作。
根据与本公开第一方面结合的实施例，生成结果的数字图像包括：将降采样阶段的卷积层与升尺度阶段和降采样阶段的卷积层具有相同分辨率的卷积层串联。
根据本申请实施例第一方面提供的方法，生成结果的数字图像包括：通过多尺度上下文聚合块的全局池化层，提取弱光数字图像的全局上下文信息；以及通过具有多尺度上下文聚合块的各种膨胀率的多个膨胀层，以不同尺度提取弱光数字图像的上下文信息。
根据与本公开第一方面结合的实施例，生成结果的数字图像包括：
通过多尺度上下文聚合块的全局池化层，提取弱光数字图像的全局上下文信息；以及
通过多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取弱光数字图像的上下文信息。
根据与本公开第一方面结合的实施例，全局池化层和膨胀层中的一个膨胀层串联，并且其他膨胀层以关于对应的尺度级联方式串联串联。
根据与本公开第一方面结合的实施例，生成结果的数字图像还包括：
对全局池化层执行双线性升尺度操作。
根据与本公开第一方面结合的实施例，多尺度上下文聚合块包括：
在全局池化层和膨胀层之后连接的全连接层。
根据与本公开第一方面结合的实施例，输出结果的数字图像包括：
将结果的数字图像输出至显示设备，以在显示设备上显示结果的数字图像。
在本公开的第二方面中，一种系统包括至少一个存储器，配置成存储程序指令；至少一个处理器，配置成执行程序指令，该程序指令使至少一个处理器执行包括下述的步骤：
接收弱光数字图像；
通过用编码器-解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，该多个卷积层被分类为降采样阶段和升尺度阶段，该多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且在降采样阶段和升尺度阶段之间被采用；以及
将结果的数字图像输出至输出设备。
根据与本公开第二方面结合的实施例，在接收弱光数字图像之前，方法还包括：
接收数字图像；
确定数字图像的对比值、动态范围以及信噪比(SNR)中至少一项是否低于阈值；以及
响应于确定出对比值、动态范围以及SNR中至少一项低于阈值，确定数字图像为弱光数字图像。
根据与本公开第二方面结合的实施例，编码器-解码器神经网络包括U-net架构；以及
生成结果的数字图像包括：
在降采样阶段，每隔几个卷积层之后执行池化操作；
在升尺度阶段，每隔几个卷积层之前执行升尺度操作；
将降采样阶段的卷积层与升尺度阶段的和降采样阶段的卷积层具有相同分辨率的卷积层串联。
根据与本公开第二方面结合的实施例，生成结果的数字图像包括：
通过多尺度上下文聚合块的全局池化层，提取弱光数字图像的全局上下文信息；
通过多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取弱光数字图像的上下文信息；以及
其中，全局池化层和多个膨胀层中的一个膨胀层串联，并且其他膨胀层以对应的尺度级联的方式串联，以及在全局池化层和膨胀层之后，连接有多尺度上下文聚合块的全连接层。
根据与本公开第二方面结合的实施例，生成结果的数字图像还包括：
对全局池化层执行双线性升尺度操作。
在本公开的第三方面中，一种非暂时性计算机可读介质存储有程序指令，该程序指令在被至少一个处理器执行时，使至少一个处理器实施包括如下述的步骤：
接收弱光数字图像；
通过用编码器-解码器神经网络对弱光数字图像进行处理，生成结果的数字图像，编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，多个卷积层被分类为降采样阶段以及升尺度阶段，多尺度上下文聚合块被配置成用于聚合弱光数字图像的多尺度上下文信息并且在降采样阶段和升尺度阶段之间被采用；以及
将结果的数字图像输出至输出设备。
根据与本公开第三方面结合的实施例，在接收弱光数字图像之前，方法还包括：
接收数字图像；
确定数字图像的对比值、动态范围以及信噪比(SNR)中至少一项是否低于阈值；以及
响应于确定出对比值、动态范围以及SNR中至少一项低于阈值，确定数字图像为弱光数字图像。
根据与本公开第三方面结合的实施例，编码器-解码器神经网络包括U-net架构；以及
生成结果的数字图像包括：
在降采样阶段，每隔几个卷积层之后执行池化操作；
在升尺度阶段，每隔几个卷积层之前执行升尺度操作；以及
将降采样阶段的卷积层与升尺度阶段的和降采样阶段的卷积层具有相同分辨率的卷积层串联。
根据与本公开第三方面结合的实施例，生成结果的数字图像包括：
通过多尺度上下文聚合块的全局池化层，提取弱光数字图像的全局上下文信息；
通过多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取弱光数字图像的上下文信息；以及
将全局池化层和多个膨胀层中的一个膨胀层串联，将其他膨胀层以对应的尺度级联的方式串联，以及在全局池化层和膨胀层之后，连接有多尺度上下文聚合块的全连接层。
根据与本公开第三方面结合的实施例，生成结果的数字图像还包括：
对全局池化层执行双线性升尺度操作。
在本公开中，使用编码器-解码器神经网络对弱光数字图像进行处理。该网络包括卷积层和多尺度上下文聚合块，该卷积层被分类为降采样阶段和升尺度阶段，该多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且是在降采样阶段和升尺度阶段之间被采用的。与现有技术相比，本公开考虑了弱光数字图像的局部和全局上下文/色彩信息。相应地，噪声可以被彻底去除，并且图像可以被大幅地增强，以更好地以丰富的细节和鲜艳的色彩进行展现。
附图说明
为了更清楚地说明本公开内容的实施例或现有技术，下面将对实施例中所描述的附图作简单地介绍。明显地，这些附图仅仅是本公开内容的一些实施例，本领域普通技术人员可以在不付出创造性劳动的前提下根据这些附图获得其他的附图。
图1是示出了根据本公开一实施例的终端的图。
图2是示出了根据本公开一实施例的终端的软件模块和相关联硬件的框图。
图3是示出了根据本公开一实施例的神经网络模型的图形化描述图。
图4是示出了图3中描绘的编码器-解码器神经网络的U-net架构的图形化描述图。
图5是示出了图3中描绘的多尺度上下文聚合块的图形化描述图。
图6是示出了根据本公开一实施例的用于提高弱光图像的质量的方法的流程图。
具体实施方式
下面将参照附图，结合技术内容、结构特征、实现目的以及效果，对本公开实施例进行详细的描述。具体地，本公开实施例中的技术术语仅用于描述特定实施例的目的，而不限制本发明。
图1是示出了本公开一实施例的终端100的图。参阅图1，终端100包括摄像机设备110、处理器模块120、存储模块130、输出设备140以及连接这些模块和设备的总线150。终端100具有实施弱光图像降噪和增强的能力。终端100可以将弱光图像转换成具有良好感知质量的图像。终端100可以由蜂窝电话、智能电话、平板电脑、笔记本电脑、台式计算机或具有足够的计算能力以对图像进行处理的任何电子设备实施。
摄像机设备110配置成捕获数字图像。当在低光照条件下或曝光时间量不足的情况下捕获数字图像时，可能难以识别所捕获的数字图像的内容。这些数字图像可能具有低信噪比(SNR)，并且被分类为弱光图像。摄像机设备110可以由RGB摄像机或CMYK摄像机实施。摄像机设备110可选地包括在终端100中。终端100可以对从包括在终端100中的摄像机设备110或者在终端100外部的任何图像捕获设备取得的、或从内部或外部存储装置取得的、或通过有线或无线通信获得的具有低SNR的图像实施图像处理。
存储模块130可以是暂时性或非暂时性的计算机可读介质，该介质包括多个存储有可由处理器模块120执行的程序指令的存储器。处理器模块120包括至少一个处理器，该至少一个处理器通过总线150直接地或者间接地向摄像机设备110、存储模块130以及输出设备140发送信号，和/或直接地或者间接地从它们接收信号。处理器模块120配置成通过对应于存储有程序指令的存储器的部分的神经网络模型对具有低SNR的数字图像(即，由摄像机设备110捕获到的)进行处理，以生成具有降低了噪声和增强了质量的图像。神经网络模型是在单个过程中实现图像降噪和图像增强的关键，稍后将进一步对神经网络模型进行描述。
由处理器模块120用神经网络模型生成的图像由处理器模块120输出至输出设备140。输出设备140可以是用于接收从处理器模块120输出的图像数据的存储装置、显示设备、或者有线或无线通信模块。即，通过神经网络模型降低了噪声和增强了质量的结果的图像可以存储在存储装置中，显示于显示设备上，或者被使用外部的有线或无线通信模块被传输至在终端100外部的外部设备。
图2是示出了本公开一实施例的终端100的软件模块200和相关联硬件的框图。终端100包括存储在存储模块130中并且能被处理器模块120执行的软件模块200。软件模块200包括摄像机控制模块202、弱光图像确定模块204、神经网络模型206以及输出控制模块208。摄像机控制模块202配置成使摄像设备110拍摄照片以生成数字图像。弱光图像确定模块204配置成确定由摄像设备110捕获的数字图像是否为弱光数字图像。例如，可以使用数字图像的对比值、动态范围以及SNR来确定该数字图像是否为弱光数字图像。如果对比值过低、动态范围过窄、或SNR过小，则数字图像可能被确定为弱光数字图像。如果对比值、动态范围以及SNR中任意一项或其任意结合项低于阈值，则弱光数字图像确定模块204可以将捕获到的数字图像分类为弱光数字图像。然后，弱光数字图像被馈送到神经网络模型206中，以进行降噪和增强。结果的数字图像被输出至输出控制模块208。输出控制模块208控制结果的数字图像的传输，并根据用户的选择或默认设置来确定结果的数字图像待输出至哪个设备。输出控制模块208将结果的数字图像输出至诸如显示设备、存储装置以及有线或者无线通信设备等的输出设备140。
图3是示出了本公开一实施例的神经网络模型206的图形化描述图。如图3所示，神经网络模型206包括编码器-解码器神经网络300。弱光数字图像被输出至编码器-解码器神经网络300的左侧，并且在编码器-解码器神经网络300的右侧输出结果的数字图像。给定弱光数字图像I，使用编码器-解码器神经网络300来学习映射I’＝f(I:w)，用于以端到端的方式生成结果的数字图像I’，其中，w是编码器-解码器神经网络300的一组可学习的参数。学习得到的参数和编码器-解码器神经网络300被应用于终端100以进行图像降噪和增强。在弱光照条件下以短时间曝光所拍摄的图像在视觉上是不友好的，这是由于图像非常暗而且噪声很多，色彩和细节对用户是不可见的。通过应用编码器-解码器神经网络300和学习到的参数，可以增强图像并且可以彻底去除噪声，以在终端100上以丰富的细节和鲜艳的颜色进行展示。
图3中描绘了编码器-解码器神经网络300的流水线。编码器-解码器神经网络300的框架可以分为两部分，即，U-net架构和多尺度上下文聚合块350。图4是示出了图3中描绘的编码器-解码器神经网络300的U-net架构的图形化描述图。图5是示出了图3中描绘的多尺度上下文聚合块350的图形化描述图。U-net架构包括降采样阶段和升尺度阶段，并且多尺度上下文聚合块350是在降采样阶段和升尺度阶段之间的瓶颈处被采用的。
(1)U-net架构
参阅图3和图4，U-net架构包括在降采样阶段和升尺度阶段的多个卷积层302。卷积层302可以被引导至多通道特征图以用于执行卷积操作。在一示例中，每个卷积层302可以表示3×3卷积操作和Leaky ReLU操作。在一示例中，U-net架构可以包括总共18个卷积层。对于在降采样阶段的卷积层，分辨率逐渐降低并且通道数量逐渐增加。对于在升尺度阶段的卷积层，分辨率逐渐增加并且通道数量逐渐降低。弱光数字图像首先进行降采样操作以提取抽象特征，以及降低空间分辨率。在瓶颈之后，将对特征图执行升尺度操作。
在降采样阶段，在若干卷积层302之后部署一池化层304(例如，最大池化层)。例如，每隔两个卷积层302之后设置池化层304。在降采样阶段，每隔几个卷积层302之后执行池化操作(例如，最大池化操作)。池化操作降低了相应特征图的分辨率。在升尺度阶段，每隔几个卷积层302之前部署升尺度层306。例如，每隔两个卷积层302之前设置升尺度层306。在升尺度阶段，每隔几个卷积层302之前执行升尺度操作。升尺度操作增加了对应特征图的分辨率。
此外，降采样阶段的卷积层302与升尺度阶段的和降采样阶段的卷积层302具有(基本上)相同的分辨率(或者处于基本相同的降采样和升尺度水平)的卷积层302相串联。更清楚地描述，升尺度层304可以通过下述方式来形成：将升尺度层304旁边的前一特征图与降采样阶段和升尺度层304处于相同级别的特征图，根据需要借助于复制和裁剪操作相结合。串联操作由如图4所描绘的符号⊕表示。该操作可以有效地保留图像中的细节。
U-net架构更详细地描述于O.Ronneberger,P.Fischer and T.Brox.U-net:Convolutional networks for biomedical image segmentation.In MICCAI,2015.4,5,20 7,proposed to segment biomedical images。
然而，由于没有考虑全局上下文/色彩信息，仅采用U-net架构来处理弱光数字图像所得到的结果的图像可能在不同位置处具有不一致的色彩。如下面所描述的，本公开实施例在编码器-解码器神经网络300中引入了全局上下文/色彩信息。
(2)多尺度上下文聚合块
参阅图3和图5，多尺度上下文聚合块350被部署于编码器-解码器神经网络300的降采样阶段和上采样阶段之间的瓶颈处。多尺度上下文聚合块350包括被配置成提取弱光数字图像的全局上下文/色彩信息的全局池化层352。全局池化层352可以通过下述方式得到：对在全局池化层352旁边的前一卷积层302执行池化操作。多尺度上下文聚合块350还包括多个膨胀层354，其具有多种膨胀率并且被配置成以不同尺度提取弱光数字图像的局部上下文/色彩信息。即，采用一组具有多种膨胀率的膨胀卷积操作来提取以不同尺度提取局部上下文/色彩信息。每个膨胀层354都可以通过对在相应膨胀层354旁边的前一卷积层302执行膨胀操作来获得。例如，对前一特征图执行膨胀率为2的膨胀卷积操作以得到一个膨胀层，并且对相同的前一特征图执行膨胀率为4的膨胀卷积操作以得到另一膨胀层。膨胀操作是使特征图的参数的数量增加的操作，并且是在本领域已知的操作。
多尺度上下文聚合块的更详细地描述于F.Yu,V.Koltun,"Multi-scale contextaggregation by dilated convolutions",Proc.Int.Conf.Learn.Representations,2016,used in image segmentation.
如图5所描绘的，全局池化层352与膨胀层354串联。更具体地，全局池化层352与膨胀层354中的一个膨胀层串联，其他膨胀层以关于对应的尺度级联的方式串联。例如，全局池化层352与利用膨胀率为2的膨胀卷积操作所获得的第一膨胀层串联，第一膨胀层与利用膨胀率为4的膨胀卷积操作所获得的第二膨胀层串联，第二膨胀层与利用膨胀率为8的膨胀卷积操作所获得的第三膨胀层串联，第三膨胀层与利用膨胀率为16的膨胀卷积操作所获得的第四膨胀层串联，以此类推。
多尺度上下文聚合块350还包括连接在全局池化层352和膨胀层354之后的全连接层(或者1×1卷积层)35。更具体地，全局池化层352和膨胀层354进行通道串联，继之是全连接层，以生成包含弱光数字图像的多尺度信息的最终表示。
输入的弱光数字图像可以具有任意大小或任意分辨率，这意味着在瓶颈处的特征图具有任意大小。如果在全局池化层352之后应用去卷积层，去卷积层中的内核的大小将会是动态的，其几乎是不可控制的并且不是我们想看到的。因此，代替使用去卷积层，采用升尺度操作(优选地，双线性升尺度操作)来将特征图重新缩放至与输入特征图的相同的大小，以执行全局池化层352和膨胀层354之间的串联以及执行后续的卷积操作。更详细地，全局池化层352中的特征图的大小相对于前一层的特征图被减小。升尺度操作可以将全局池化层352中的特征图的大小重新缩放，以具有与前一层中的特征图相同的大小。
因为本公开在弱光图像降噪和增强中考虑了局部和全局上下文/色彩信息，所以可以彻底去除噪声，并且可以以端到端的方式大幅增强图像，从而以丰富的细节和鲜艳的色彩更好地进行表示。
(3)成本函数
在训练过程中，将弱光数字图像作为输入被馈送到网络300中，并且计算系统输出与对应的长时间曝光图像之间的损失函数。损失函数是l1和多尺度结构相似性指数(Multi-Scale structured similarity index，MS-SSIM)的加权联合损失，损失函数被如下定义：
Figure BDA0002934921400000131
其中，λ根据经验被设置为0.16；
Figure BDA0002934921400000132
是由下式定义的l1损失：
Figure BDA0002934921400000133
其中，
Figure BDA0002934921400000134
和I分别是输出图像和真实图像；N是输入图像的像素的总数。
Figure BDA0002934921400000135
代表MS-SSIM损失，其由下式给出：
Figure BDA0002934921400000136
对于像素i，MS-SSIM被定义为：
Figure BDA0002934921400000137
Figure BDA0002934921400000138
Figure BDA0002934921400000139
其中，(x，y)代表像素i的坐标；均值即μx·μy和标准差即σx·σy是利用具有零均值和标准差σg的高斯滤波器Gg计算的；M为级数；以及α,β为用于调整各个分量的贡献的权重。
图6是示出了本公开一实施例的用于提高弱光图像的质量的方法的流程图。参阅图1至图6，方法包括如下框。
在框600中，处理器模块120接收数字图像。优选地，数字图像可以从终端100的摄相机设备110接收。在其他情况下，数字图像可以从外部图像捕获设备传输，或通过有线或者无线通信获得，或从内部或者外部存储装置读取。
在框610，弱光图像确定模块204确定由摄影设备110捕获的数字图像是否为弱光数字图像。如果数字图像的对比值、动态范围以及SNR中的任意一项或者任意组合项低于阈值，则确定该数字图像为弱光数字图像，并且行进到框620以使用编码器-解码器神经网络300来对弱光数字图像进行降噪和增强。如果为否，则终止该过程。
在框620，编码器-解码器神经网络300包括多个卷积层302和多尺度上下文聚合块，该多个卷积层被分类为降采样阶段和升尺度阶段，该多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且是在降采样阶段和升尺度阶段之间被采用的。编码器-解码器神经网络300包括U-net架构。
在框622，在U-net架构中，在降采样阶段每隔几个卷积层302之后执行池化操作，以及在升尺度阶段每隔几个卷积层302之前执行升尺度操作。
在框624，在U-net架构中，将降采样阶段的卷积层302与升尺度阶段的和降采样阶段的卷积层302具有(基本)相同的分辨率(或者处于基本相同的降采样和升尺度级别)的卷积层302相串联。串联意味着特征图根据需要通过复制或者裁剪操作相组合。
在框626中，多尺度上下文聚合块350包括全局池化层352、膨胀层354以及全连接层358。全局池化层352提取弱光数字图像的全局上下文/色彩信息；并且具有多种膨胀率的膨胀层354以不同尺度提取弱光数字图像的局部上下文/色彩信息。全局池化层352和膨胀层354中的一个膨胀层串联，其他膨胀层354以关于对应的尺度级联的方式串联。在全局池化层352和膨胀层354之后连接有全连接层358，以生成包括弱光数字图像的包含多尺度信息的最终表示。可以对全局池化层352执行双线性升尺度操作，以将全局池化层352中的特征图的大小重新缩放到与输入特征图(基本)相同的大小。
编码器-解码器神经网络300的其他细节可参阅本说明书前述相关部分，在此不再赘述。
在框630，编码器-解码器神经网络300输出结果的数字图像，并且处理器模块120将结果的数字图像输出至诸如显示设备、存储器、有线或者无线通信设备等的输出设备140。
用于提高弱光图像的质量的方法的其他细节可参阅本说明书前述相关部分，在此不再赘述。
在本公开中，使用编码器-解码器神经网络对弱光数字图像进行处理。该网络包括卷积层和多尺度上下文聚合块，上述卷积层被分类为降采样阶段和升尺度阶段，多尺度上下文聚合块被配置成聚合弱光数字图像的多尺度上下文信息并且是在降采样阶段和升尺度阶段之间被采用的。与现有技术相比，本公开考虑了弱光数字图像的局部和全局上下文/色彩信息。因此，可以彻底去除噪声，大幅增强图像，从而以丰富的细节和鲜艳的色彩进行更好的表示。
所属领域技术人员可以理解的是，本公开实施例描述和公开的单元、模块、算法以及步骤中的每一个是利用电子硬件来实现的或利用用于计算机的软件与电子硬件的组合来实现的。这些功能以硬件还是软件方式运行取决于技术方案的应用条件和设计要求。所属领域技术人员可以使用不同的方式来实现每种特定应用的功能，而这样的实现并不超出本公开内容的范围。
所属领域技术人员可以理解，他/她可以参考本申请上述实施例中的系统、设备、以及模块的工作过程，因为上述系统、设备、以及模块的工作过程是基本上相同的。为了简要描述，这些工作过程将不再详述。
可以理解的是，本公开实施例公开的系统、设备以及方法可以以其他方式实现。以上实施例仅为示例性的。模块的划分仅基于逻辑上的功能，而在实际情况中其他划分也可以存在。多个模块或组件可以组合或集成在另一个系统中。某些特征也可以被省略或跳过。另一方面，所显示或讨论的相互耦合、直接耦合、或通信耦合通过一些端口、设备或模块借助于电气形式、机械形式或其他形式运作，无论是间接地还是通信地。
为了说明而作为分离组件的模块可以是或不是物理上分离地。用于显示的模块可以是或不是物理模块，即，位于一个位置处或者分布在多个网络模块上。根据实施例的目的使用部分或全部的模块。
此外，在每个实施例中的各个功能模块可以集成在一个处理模块中，物理上相独立，或者可以在一个处理模块中集成两个或者两个以上的模块。
如果将软件功能模块作为一个产品实现、使用以及出售，则软件功能模块可以存储在计算机中地可读取存储介质中。基于此理解，本公开提供的技术方案可以实质上以软件产品的形式实现或者部分地以软件产品的形式实现。或者，对常规技术有益的技术方案的部分可以以软件产品的形式实现。计算机软件产品被存储在存储介质中，包括用于使计算设备(例如个人电脑、服务器或者网络设备)运行本公开实施例公开的步骤中地全部或一些的多个指令。该存储介质包括USB磁盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他能够存储程序代码的介质。
尽管已经结合被认为是最实际和优选的实施例描述了本公开，可以理解的是，本公开并不局限于公开的实施例，而是意在覆盖在不脱离所附权利要求的最宽泛解释范围的情况下所做出的各种布置。

Claims (20)

1.一种方法，包括：
接收弱光数字图像；
由至少一个处理器通过用编码器-解码器神经网络对所述弱光数字图像进行处理，生成结果的数字图像，所述编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，所述多个卷积层被分类为降采样阶段和升尺度阶段，所述多尺度上下文聚合块被配置成聚合所述弱光数字图像的多尺度上下文信息并且是在所述降采样阶段和所述升尺度阶段之间被采用的；以及
通过所述至少一个处理器，将所述结果的数字图像至输出设备。
2.根据权利要求1所述的方法，其中，在接收所述弱光数字图像之前，所述方法还包括：
接收数字图像；
确定所述数字图像的对比值、动态范围以及信噪比(SNR)中至少一项是否低于阈值；以及
响应于确定出所述对比值、所述动态范围以及所述SNR中至少一项低于所述阈值，确定所述数字图像是弱光数字图像。
3.根据权利要求1所述的方法，其特征在于，所述编码器-解码器神经网络包括U-net架构。
4.根据权利要求1所述的方法，其中，所述生成结果的数字图像，包括：
在所述降采样阶段，每隔几个卷积层之后执行池化操作；以及
在所述升尺度阶段，每隔几个卷积层之前执行升尺度操作。
5.根据权利要求1所述的方法，其中，所述生成结果的数字图像，包括：
将所述降采样阶段的卷积层与所述升尺度阶段和所述降采样阶段的所述卷积层具有相同分辨率的卷积层串联。
6.根据权利要求1所述的方法，其中，所述生成结果的数字图像，包括：
通过所述多尺度上下文聚合块的全局池化层，提取所述弱光数字图像的全局上下文信息；以及
通过所述多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取所述弱光数字图像的上下文信息。
7.根据权利要求6所述的方法，其中，所述全局池化层与所述膨胀层中的一个膨胀层串联，并且其他膨胀层以关于对应的尺度级联的方式串联。
8.根据权利要求6所述的方法，其中，所述生成结果的数字图像还包括：
对所述全局池化层执行双线性升尺度操作。
9.根据权利要求6所述的方法，其中，所述多尺度上下文聚合块包括：在所述全局池化层和所述膨胀层之后连接的全连接层。
10.根据权利要求1所述的方法，其中，所述输出所述结果的数字图像，包括：
将所述结果的数字图像输出至显示设备，以在所述显示设备上显示所述结果的数字图像。
11.一种系统，其特征在于，包括：
至少一个存储器，配置成存储程序指令；
至少一个处理器，配置成执行所述程序指令，所述程序指令使所述至少一个处理器执行包括下述的步骤：
接收弱光数字图像；
通过用编码器-解码器神经网络对所述弱光数字图像进行处理，生成结果的数字图像，所述编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，所述多个卷积层被分类为降采样阶段和升尺度阶段，所述多尺度上下文聚合块被配置成聚合所述弱光数字图像的多尺度上下文信息并且是在所述降采样阶段和所述升尺度阶段之间被采用的；以及
将所述结果的数字图像输出至输出设备。
12.根据权利要求11所述的系统，其中，在所述接收弱光数字图像之前，所述方法还包括：
接收数字图像；
确定所述数字图像的对比值、动态范围以及信噪比(SNR)中至少一项是否低于阈值；以及
响应于确定出所述对比值、所述动态范围以及所述SNR中至少一项低于所述阈值，确定所述数字图像为弱光数字图像。
13.根据权利要求11所述的系统，其中，所述编码器-解码器神经网络包括U-net架构，并且其中，所述生成结果的数字图像，包括：
在所述降采样阶段，每隔几个卷积层之后执行池化操作；
在所述升尺度阶段，每隔几个卷积层之前执行升尺度操作；以及
将所述降采样阶段的卷积层与所述升尺度阶段的和所述降采样阶段的所述卷积层具有相同分辨率的卷积层串联。
14.根据权利要求11所述的系统，其中，所述生成结果的数字图像，包括：
通过所述多尺度上下文聚合块的全局池化层，提取所述弱光数字图像的全局上下文信息；
通过所述多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取所述弱光数字图像的上下文信息；以及
其中，所述全局池化层与所述多个膨胀层中的一个膨胀层串联，并且其他膨胀层以对应的尺度级联的方式串联，以及在所述全局池化层和所述膨胀层之后，连接有所述多尺度上下文聚合块的全连接层。
15.根据权利要求14所述的系统，其中，所述生成结果的数字图像，还包括：
对所述全局池化层执行双线性升尺度操作。
16.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有程序指令，所述程序指令在被至少一个处理器执行时使所述至少一个处理器实施包括下述的步骤：
接收弱光数字图像；
通过用编码器-解码器神经网络对所述弱光数字图像进行处理，生成结果的数字图像，所述编码器-解码器神经网络包括多个卷积层和多尺度上下文聚合块，所述多个卷积层被分类为降采样阶段和升尺度阶段，所述多尺度上下文聚合块被配置成聚合所述弱光数字图像的多尺度上下文信息并且是在所述降采样阶段和所述升尺度阶段之间被采用的；以及
将所述结果的数字图像输出至输出设备。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，在所述接收弱光数字图像之前，所述方法还包括：
接收数字图像；
确定所述数字图像的对比值、动态范围以及信噪比中(SNR)至少一项是否低于阈值；以及
响应于确定出所述对比值、所述动态范围以及所述SNR中至少一项低于所述阈值，确定所述数字图像为弱光数字图像。
18.根据权利要求16所述的非暂时性计算机可读介质，其中所述编码器-解码器神经网络包括U-net架构，并且其中，所述生成结果的数字图像，包括：
在所述降采样阶段，每隔几个卷积层之后执行池化操作；
在所述升尺度阶段，每隔几个卷积层之前执行升尺度操作；以及
将所述降采样阶段的卷积层与所述升尺度阶段的和所述降采样阶段的所述卷积层具有相同分辨率的卷积层串联，所述降采样阶段的卷积层和所述升尺度阶段的卷积层具有相同的分辨率。
19.根据权利要求16所述的非暂时性计算机可读介质，其中，所述生成结果的数字图像，包括：
通过所述多尺度上下文聚合块的全局池化层，提取所述弱光数字图像的全局上下文信息；
通过所述多尺度上下文聚合块的具有多种膨胀率的多个膨胀层，以不同尺度提取所述弱光数字图像的上下文信息；以及
其中，将所述全局池化层与所述多个膨胀层中的一个膨胀层串联，并且其他膨胀层以关于对应的尺度级联的方式串联，以及在所述全局池化层和所述膨胀层之后，连接有所述多尺度上下文聚合块的全连接层。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述生成结果的数字图像，还包括：
对所述全局池化层执行双线性升尺度操作。
CN201980052161.6A 2018-09-06 2019-08-27 提高弱光图像的质量的方法、系统和计算机可读介质 Active CN112602088B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862728010P 2018-09-06 2018-09-06
US62/728,010 2018-09-06
PCT/CN2019/102881 WO2020048359A1 (en) 2018-09-06 2019-08-27 Method, system, and computer-readable medium for improving quality of low-light images

Publications (2)

Publication Number Publication Date
CN112602088A true CN112602088A (zh) 2021-04-02
CN112602088B CN112602088B (zh) 2024-03-12

Family

ID=69722238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052161.6A Active CN112602088B (zh) 2018-09-06 2019-08-27 提高弱光图像的质量的方法、系统和计算机可读介质

Country Status (3)

Country Link
US (1) US11398016B2 (zh)
CN (1) CN112602088B (zh)
WO (1) WO2020048359A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487528A (zh) * 2021-06-30 2021-10-08 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889084B (zh) * 2018-11-08 2023-05-23 Oppo广东移动通信有限公司 提高图像的颜色质量的方法、系统和计算机可读介质
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
US11669943B2 (en) 2020-10-16 2023-06-06 Microsoft Technology Licensing, Llc Dual-stage system for computational photography, and technique for training same
US11468543B1 (en) * 2021-08-27 2022-10-11 Hong Kong Applied Science and Technology Research Institute Company Limited Neural-network for raw low-light image enhancement
CN114581337B (zh) * 2022-03-17 2024-04-05 湖南大学 一种结合多尺度特征聚合和提升策略的低光图像增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347110A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Online Training of Hierarchical Algorithms
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208539B2 (en) * 2013-11-30 2015-12-08 Sharp Laboratories Of America, Inc. Image enhancement using semantic components
CN109791688B (zh) * 2016-06-17 2021-06-01 华为技术有限公司 曝光相关的亮度变换
US10726525B2 (en) * 2017-09-26 2020-07-28 Samsung Electronics Co., Ltd. Image denoising neural network architecture and method of training the same
US10497105B2 (en) * 2017-11-01 2019-12-03 Google Llc Digital image auto exposure adjustment
CN108010031B (zh) * 2017-12-15 2020-12-04 厦门美图之家科技有限公司 一种人像分割方法及移动终端
CN108062754B (zh) * 2018-01-19 2020-08-25 深圳大学 基于密集网络图像的分割、识别方法和装置
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
US10803565B2 (en) * 2018-07-10 2020-10-13 Intel Corporation Low-light imaging using trained convolutional neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170347110A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Online Training of Hierarchical Algorithms
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FLSHER YU等: "MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS", ICLR 2016, pages 1 - 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487528A (zh) * 2021-06-30 2021-10-08 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端
CN113487528B (zh) * 2021-06-30 2022-11-29 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端

Also Published As

Publication number Publication date
CN112602088B (zh) 2024-03-12
US11398016B2 (en) 2022-07-26
US20210183030A1 (en) 2021-06-17
WO2020048359A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN113168684B (zh) 提升低亮度图像的质量的方法、系统和计算机可读介质
EP3937481A1 (en) Image display method and device
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111402258A (zh) 图像处理方法、装置、存储介质及电子设备
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
US20210256667A1 (en) Method and terminal for improving color quality of images
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN115147304A (zh) 图像融合方法、装置、电子设备和存储介质、产品
US20230325985A1 (en) Systems and methods for inpainting images at increased resolution
CN111383188A (zh) 一种图像处理方法、系统及终端设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN112087556B (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
CN113674153A (zh) 图像处理芯片、电子设备、图像处理方法和存储介质
CN114764839A (zh) 动态视频生成方法、装置、可读存储介质及终端设备
CN111080543A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
US20230070778A1 (en) Image processing circuit and image processing method
CN115731112A (zh) 图像降噪方法、装置、终端设备和可读存储介质
CN117455785A (zh) 图像处理方法、装置及终端设备
CN115100040A (zh) 图片的拼接方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant