CN112889069B - 用于提高低照度图像质量的方法、系统和计算机可读介质 - Google Patents

用于提高低照度图像质量的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN112889069B
CN112889069B CN201980069636.2A CN201980069636A CN112889069B CN 112889069 B CN112889069 B CN 112889069B CN 201980069636 A CN201980069636 A CN 201980069636A CN 112889069 B CN112889069 B CN 112889069B
Authority
CN
China
Prior art keywords
digital image
layers
stage
expansion
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980069636.2A
Other languages
English (en)
Other versions
CN112889069A (zh
Inventor
孟子博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112889069A publication Critical patent/CN112889069A/zh
Application granted granted Critical
Publication of CN112889069B publication Critical patent/CN112889069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中，一种方法包括：接收低照度数字图像；至少一个处理器通过利用一个编码器‑解码器神经网络处理所述低照度数字图像生成一个结果数字图像，所述编码器‑解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述低照度数字图像的多尺度上下文信息；以及所述至少一个处理器将所述结果数字图像输出到一个输出装置。在所述上采样阶段，通过在每几个卷积层之前执行一次双线性插值操作来提高空间分辨率，以加快网络的推理时间。

Description

用于提高低照度图像质量的方法、系统和计算机可读介质
相关申请的交叉引用
本申请要求于2018年11月8日提交的美国申请No.62/757,278的优先权。
本申请的背景
1.技术领域
本公开涉及图像处理领域，更具体地，涉及一种用于提高低照度图像质量的方法、系统和计算机可读介质。
2.背景技术
由于低信噪比(signal-to-noise ratio,SNR)，在低照度条件下拍摄具有良好感知质量的图像极具挑战性。延长曝光时间可以获得视觉上看起来良好的图像；但是这可能容易引入运动模糊，并且在现实生活中不总是适用的。
为了使曝光时间较短的低照度图像在视觉上看起合理，已经进行了广泛的研究，包括旨在去除图像中由于低照度条件而存在的噪声的降噪技术，以及为提高数字图像的感知质量而开发的增强技术。
然而，目前的降噪方法往往通过使用合成数据进行评估，其不能很好地推广到真实图像中，并且低照度增强方法也没有考虑噪声。
发明内容
本公开的目的是提出一种用于提高低照度图像质量的方法、系统和计算机可读介质。
在本公开的第一方面中，一种方法，包括：接收一个数字图像；至少一个处理器通过利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及所述至少一个处理器将所述结果数字图像输出到一个输出装置，其中，所述生成一个结果数字图像，包括：在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率。
根据与本公开的第一方面结合的一实施方式，在所述上采样阶段的多个卷积层包括1×1卷积层。
根据与本公开的第一方面结合的一实施方式，在所述生成一个结果数字图像之前，所述方法还包括：确定所述数字图像的对比度值、动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及响应于在确定所述对比度值、所述动态范围和所述信噪比中的至少一项低于所述阈值时，执行所述生成一个所述结果数字图像的操作。
根据与本公开的第一方面结合的一实施方式，所述编码器-解码器神经网络包括U-net架构。
根据与本公开的第一方面结合的一实施方式，所述生成一个结果数字图像还包括：连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及通过所述多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
根据与本公开的第一方面结合的一实施方式，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接。
根据与本公开的第一方面结合的一实施方式，所述生成一个结果数字图像还包括：对所述全局池化层执行一次双线性插值操作。
根据与本公开的第一方面结合的一实施方式，所述多尺度上下文聚合块包括：在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
在本公开的第二方面中，一种系统，包括：至少一个被配置成存储程序指令的存储器；至少一个被配置成执行程序指令的处理器，所述程序指令使所述至少一个处理器执行包括下述的步骤：接收一个数字图像；通过利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及将所述结果数字图像输出到一个输出装置，其中，所述生成一个结果数字图像，包括：在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率。
根据与本公开的第二方面结合的一实施方式，在所述上采样阶段的所述卷积层包括1×1卷积层。
根据与本公开的第二方面结合的一实施方式，在所述生成一个结果数字图像之前，所述方法还包括：确定所述数字图像的对比度值、动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及响应于在确定所述对比度值、所述动态范围和所述信噪比中的至少一项低于所述阈值时，执行所述生成一个所述结果数字图像的操作。
根据与本公开的第二方面结合的一实施方式，所述生成一个结果数字图像还包括：连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及通过所述多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
根据与本公开的第二方面结合的一实施方式，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接，以及所述多尺度上下文聚合块包括在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
根据与本公开的第二方面结合的一实施方式，所述生成一个结果数字图像还包括：对所述全局池化层执行一次双线性插值操作。
在本公开的第三方面中，一种非易失性的计算机可读介质，所述计算机可读介质上存储有程序指令，所述程序指令在被至少一个处理器执行时，使所述至少一个处理器执行包括下述的步骤：接收一个数字图像；利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及将所述结果数字图像输出到一个输出装置，其中，所述生成一个结果数字图像，包括：在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率。
根据与本公开的第三方面结合的一实施方式，在所述上采样阶段的多个卷积层包括1×1卷积层。
根据与本公开的第三方面结合的一实施方式，在所述生成一个结果数字图像之前，所述方法还包括：确定所述数字图像的对比度值，动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及响应于在确定所述对比度值，所述动态范围和所述信噪比中的至少一项低于所述阈值，执行所述生成一个所述结果数字图像的操作。
根据与本公开的第三方面结合的一实施方式，所述生成结果数字图像还包括：连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及通过多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
根据与本公开的第三方面结合的一实施方式，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接，以及所述多尺度上下文聚合块包括在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
根据与本公开的第三方面结合的一实施方式，所述生成一个结果数字图像还包括：对所述全局池化层执行一次双线性插值操作。
在本公开中，利用一个编码器-解码器神经网络对数字图像进行处理。该网络包括多个卷积层和一个多尺度上下文聚合块，上述多个卷积层被分类为下采样阶段和上采样阶段，上述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息。与现有技术相比，本公开考虑了数字图像的局部和全局的上下文/颜色信息。相应地，噪声可以被彻底去除，并且图像可以被大幅增强，以更好地以丰富的细节和鲜艳的色彩进行展现。此外，通过在解码器中使用计算效率高的层来提高推理速度。
附图说明
为了更清楚地说明本申请实施方式或现有技术，下面将对实施方式描述中所需要使用的附图作简单地介绍。明显地，这些附图仅仅是本申请的一些实施方式，本领域技术人员可以在不付出创造性劳动的前提下根据这些附图获得其他的附图。
图1是示出了根据本公开的一实施方式的终端的示意图。
图2是示出了根据本公开的一实施方式的终端的软件模块和相关硬件的框图。
图3是示出了根据本公开的一实施方式的编码器-解码器神经网络的图形化描述图。
图4是示出了图3中描述的编码器-解码器神经网络的U-net架构的图形化描述图。
图5是示出了图3中描述的多尺度上下文聚合块的图形化描述图。
图6是示出了根据本公开的另一实施方式的编码器-解码器神经网络的图形化描述图。
图7是示出了根据本公开的双线性插值操作的示意图。
图8是示出了根据本公开的又一实施方式的编码器-解码器神经网络的图形化描述图。
图9是示出了根据本公开的一实施方式的用于提高低照度图像质量的方法的流程图。
具体实施方式
下面将参阅附图，结合技术主题、结构特征、实现的目的和效果对本申请的实施方式进行详细地描述。具体地，本申请实施方式中的术语仅使用于描述某些实施方式，而非对本申请进行限制。
图1是示出了根据本公开的一实施方式的终端100的示意图。参阅图1，终端100包括摄像装置110、处理器模块120、存储器模块130、输出装置140以及连接这些模块和装置的总线150。终端100具有实施低照度图像去噪和增强的能力。终端100可以将低照度图像转换为具有良好感知质量的图像。终端100可以由蜂窝电话、智能手机、平板电脑、笔记本计算机、台式计算机或具有足够计算能力以对图像处理的任何电子设备实施。
摄像装置110被配置成捕获数字图像。当在低照度条件下或在曝光时间不足的情况下捕获数字图像时，可能难以识别捕获的数字图像的内容。这些数字图像可能具有低SNR，并且被分类为低照度图像。摄像装置110可以由RGB摄像装置或CMYK摄像装置实施。可选地，摄像装置110可以被包括在终端100中。终端100可以对具有低SNR的图像实施图像处理，上述图像可以是从包括在终端100内部的摄像装置110或终端100外部的任何图像捕获装置获得的，或者从内部或外部存储装置中获得的，或者是通过有线或无线通信获得的。
存储器模块130可以是易失性或非易失性的计算机可读介质，该介质包括多个存储有处理器模块120可执行的程序指令的存储器。处理器模块120包括至少一个处理器，该处理器通过总线150向摄像装置110、存储器模块130和输出装置140直接或间接地发送信号，和/或直接或间接地接收信号。处理器模块120被配置为通过对应于存储有程序指令的存储器的部分的神经网络模型对具有低SNR的数字图像(即，由摄像装置110捕获的)进行处理，以生成降低了噪声和增强了质量的图像。神经网络模型是在单个过程中实现图像去噪和图像增强的关键，后面将进一步地对神经网络模型进行描述。
处理器模块120将生成的图像输出至输出装置140，该图像是由处理器模块120使用神经网络模型生成的。输出装置140可以是用于接收处理器模块120输出的图像数据的存储装置、显示装置，或者有线或无线通信模块。也就是说，通过神经网络模型降低了噪声和增强了质量的结果图像可以被存储在存储装置上，被显示在显示装置上，或者使用外部的有线或无线通信模块传送到终端10外部的外部装置。
图2是示出了根据本公开的一实施方式的终端100的软件模块200和相关硬件的框图。终端100包括存储在存储器模块130中并能被处理器模块120执行的软件模块200。软件模块200包括摄像装置控制模块202、低照度图像确定模块204、神经网络模型206和输出控制模块208。摄像装置控制模块202被配置为使摄像装置110拍摄图像以生成数字图像。低照度图像确定模块204被配置为确定由摄像装置110拍摄的数字图像是否为低照度数字图像。例如，可以使用数字图像的对比度值、动态范围和SNR来确定该数字图像是否为低照度数字图像。如果对比度值过低，动态范围过窄，或者SNR过小，则数字图像可能被确定为低照度数字图像。如果对比度值、动态范围和SNR中的任意一项或上述任意组合项低于阈值，则低照度图像确定模块204可以将捕获的数字图像分类为低照度数字图像。然后，低照度数字图像被馈入神经网络模型206中进行去噪和增强。结果数字图像被输出到输出控制模块208。输出控制模块208控制结果数字图像的传输，并根据用户选择或默认设置来去确定将结果数字图像输出到哪个装置。输出控制模块208将生成的结果数字图像输出到诸如显示装置、存储装置以及有线或无线通信装置等的输出装置140，。
图3是示出了根据本公开的一实施方式的编码器-解码器神经网络300的图形化描述图。如图3所示，神经网络模型206包括编码器-解码器神经网络300。低照度数字图像在编码器-解码器神经网络300的左侧被输入，并且在编码器-解码器神经网络300的右侧输出结果数字图像。给定低照度数字图像I，采用编码器-解码器神经网络300学习映射I′＝f(I:w)，以端到端的方式生成结果数字图像I′，其中，w是编码器-解码器神经网络300的一组可学习的参数。学习到的参数和编码器-解码器神经网络300被应用于终端100以进行图像去噪和增强。在低照度条件下拍摄的短曝光时间的图像，由于图像非常暗而且噪声很多，图像的颜色和细节对用户来说是不可见，因此视觉上不友好。通过应用编码器-解码器神经网络300和学习到的参数，可以对图像进行增强，并彻底地去除噪声，以在终端100上以丰富的细节和鲜艳的色彩进行展示。
图3描绘了编码器-解码器神经网络300的流水线。编码器-解码器神经网络300的框架可分为两部分，即，U-net架构和多尺度上下文聚合块350。图4是显示图3中描述的编码器-解码器神经网络300的U-net架构的图形化描述图。图5示出了图3中描述的多尺度上下文聚合块350的图形化描述图。U-net架构包括下采样阶段和上采样阶段，并且多尺度上下文聚合块350被配置在下采样阶段和上采样阶段之间的瓶颈(bottleneck)处。
(1)U-net结构
参阅图3和图4，U-net架构包括在下采样阶段和上采样阶段的多个卷积层302。卷积层302可以指向多通道特征图。例如，每个卷积层302可以表示3×3卷积操作(用3×3滤波器)和泄露修正线性单元(Leaky Rectified Linear Unit,Leaky ReLU)操作。在一实施例中，U-net架构可以包括总共18个卷积层。在下采样阶段的多个卷积层，分辨率逐渐降低，并且通道数量逐渐增加。在上采样阶段的多个卷积层，分辨率逐渐增加，并且通道数量逐渐降低。低照度数字图像首先经过下采样操作以提取抽象特征，同时降低空间分辨率。在瓶颈之后，将对特征图执行上采样操作。
在下采样阶段，在几个卷积层302之后部署一个池化层304(例如，最大池化层)。例如，在每两个卷积层302后部署一个池化层304。在下采样阶段，在每几个卷积层302后执行一次池化操作(例如，最大池化操作)。池化操作降低了相应的特征图的分辨率。在上采样阶段，在几个卷积层302前部署升尺度层306。例如，在每两个卷积层302前部署一个升尺度层306。在上采样阶段，在每几个卷积层302前执行一次升尺度操作。升尺度操作增加了相应的特征图的分辨率。例如，升尺度层306为解卷积层或转置卷积层。
此外，下采样阶段的多个卷积层302和在上采样阶段的具有(基本上)相同的分辨率(或处于基本相同的下采样或升尺度水平)的多个卷积层302被连接(concatenate)。为了更清楚地描述，升尺度层304可以通过下述方式来形成：对该升尺度层304相邻的前一特征图进行尺度提升，并根据需要借助于复制和裁剪操作，将升尺度的特征图和在下采样阶段与升尺度的特征图相同水平的特征图组合。如图4所示，该连接操作用符号⊕表示。该操作可以有效地保留图像中的细节。
U-net架构更详细地描述于提出医学图像分割的O.Ronneberger,P.Fischer,andT.Brox.“U-net:Convolutional networks for biomedical image segmentation”.InMICCAI,2015.4,5,7。其他架构，诸如在编码器和解码器中具有类似结构的编码器-解码器网络，也在本公开的设想范围内。
然而，由于未考虑全局上下文/颜色信息，仅采用U-net架构处理低照度数字图像所得到的结果图像可能在不同位置具有不一致的颜色。如下文所述，本公开将全局上下文/颜色信息引入到编码器-解码器神经网络300中。
(2)多尺度上下文聚合块
参阅图3和图5，一个多尺度上下文聚合块350被部署在编码器-解码器神经网络300的下采样阶段和上采样阶段之间的瓶颈处。多尺度上下文聚合块350包括一个全局池化层352，该全局池化层352被配置为提取低照度数字图像的全局上下文/颜色信息。全局池化层352可以通过对前一卷积层302或全局池化层352相邻的前一特征图执行池化操作来获得。多尺度上下文聚合块350还包括具有不同的扩张率的多个扩张层354，其被配置为以不同尺度提取低照度数字图像的局部上下文/颜色信息。即，采用一组具有不同扩张率的扩张卷积(dilated convolutional)操作来提取不同尺度的局部上下文/颜色信息。每个扩张层354可以通过对相应的扩张层354相邻的前一卷积层302或前一特征图进行扩张操作来得到。例如，对前一特征图进行扩张率为2的扩张卷积操作以获得一个扩张层，对同一特征图进行扩张率为4的扩张卷积操作以获得另一个扩张层。扩张操作是增加特征图的感受野尺寸的操作，是本领域中公知的操作。
多尺度上下文聚合块的更详细地描述于用于图像分割的F.Yu，V.Koltun，"Multi-scale context aggregation by dilated convolutions"，Proc.Int.Conf.Learn.Representations，2016。在编码器和解码器中具有类似结构的其他架构，也在本公开的设想范围内。
如图5中所描述的，全局池化层352和多个扩张层354是连接的。更具体地，全局池化层352和多个扩张层354中的一个连接，其他扩张层354在对应的尺度以级联的方式接连。例如，将全局池化层352和利用扩张率为2的扩张卷积操作得到的第一扩张层连接，将第一扩张层和利用扩张率为4的扩张卷积操作得到的第二扩张层连接，将第二扩张层和利用扩张率为8的扩张卷积操作得到的第三扩张层连接，将第三扩张层和利用扩张率为16的扩张卷积操作得到的第四扩张层连接，以此类推。
多尺度上下文聚合块350还包括在全局池化层352和多个扩张层354后连接的一个卷积层358(诸如1×1卷积层)。更具体地，全局池化层352和多个扩张层354在卷积层358后进行通道连接，以生成包含低照度数字图像的多尺度信息的最终表示。
输入的低照度数字图像可以具有任意尺寸或分辨率，这意味着瓶颈处的特征图具有任意尺寸。如果在全局池化层352之后采用一个解卷积层，则该解卷积层中核的尺寸将是动态的，这几乎是不可控并且不是我们想要看到的。因此，一个双线性升尺度层356被用于替代使用解卷积层，在双线性升尺度层356中采用双线性插值操作，将特征图重新调整至与输入特征图相同尺寸，以执行全局池化层352和多个扩张层354之间的连接以及后续卷积操作。更具体地，全局池化层352中的特征图的尺寸相对于前一层中的特征图被缩小。双线性插值操作可以重新调整全局池化层352中的特征图的尺寸，使其具有与前一层中的特征图相同的尺寸。
图6是示出了根据本公开的另一实施方式的编码器-解码器神经网络400的图形化描述图。参阅图3和图6，升尺度层306采用一个双线性插值层402。为了加快网络的推理时间，在此实施方式中采用双线性插值操作代替对升尺度的计算量更大的解卷积操作或转置卷积操作。双线插值层402是通过对前一特征图进行双线插值操作得到的。
如图7(a)所示，双线插值操作考虑x和y两个方向来确定像素的值。具体地，给定四个已知像素，P1至P4，其在图像上的对应坐标，即(x1，y1)至(x4，y4)，以及一个坐标为(x，y)的需要计算像素值的像素P，首先，可以使用如下面的沿水平方向的线性插值来估计像素R1和R2的值。
R1＝(x-x1)/(x2-x1)*P1+(x2-x)/(x2-x1)*P2
R2＝(x-x1)/(x2-x1)*P3+(x2-x)/(x2-x1)*P4
然后，P的值可以使用沿垂直方向的线性插值来估计：
P＝(y-y1)/(y2-y1)*R1+(y2-y)/(y2-y1)*R2
例如，给定图7(b)中的2×2图像，P1至P4的值分别为1、3、5、7。如图7(c)所示，通过采用双线插值操作，可以获得具有P1至P4的值和插值2至6的3×3图像。
图8是示出了根据本公开的又一实施方式的编码器-解码器神经网络500的图形化描述图。为了进一步加快网络的推理时间，在上采样阶段使用1×1卷积层502代替3×3卷积层。由于1×1卷积层502在计算成本上比3×3卷积层便宜得多，此实施方式提高了推理速度。此外，每两个双线插值层或每两个升尺度层之间的卷积层数量可以减少到一个，以进一步加快计算速度。
由于本公开在低照度图像去噪和增强中考虑了局部和全局的上下文/颜色信息，可以彻底地去除噪声，并且可以端到端的方式大幅增强图像，从而以丰富的细节和鲜艳的色彩更好地进行表示。此外，通过在解码器中使用计算效率高的层可以加快推理速度。
损失函数
在训练过程中，将低照度的数字图像作为输入馈入到网络300中，计算系统输出和对应的长曝光图像之间的损失函数。损失函数是和多尺度结构相似性指数(multi-scalestructured similarity index,MS-SSIM)的加权联合损失，损失函数被如下定义：
其中，λ根据经验设置为0.16，是由下式定义的/>损失：
其中，和I分别是输出图像和真实图像；N是输入图像的像素的总数。
代表MS-SSIM损失，其由下式给出：
对像素i，MS-SSIM被定义为：
其中，(x,y)代表像素i的坐标；均值，例如μx.μy，标准差，例如σx.σy，是使用均值为0，标准差为σg的高斯滤波器Gg计算的，M为级数，以及α,β为调整各分量贡献的权重。
在推理过程中，给定一个输入图像，通过训练后的网络自动生成输出图像。该网络的示例如下：
示例一：使用在3×3卷积层后具有转置卷积层(或解卷积层)的图3的架构；
示例二：使用在3×3卷积层后具有双线插值层的图6的架构；以及示例三：使用在1×1卷积层后具有双线性插值层的图8的架构。
在单个NVIDIA TITAN X GPU上处理一幅大小为2848×4256的单幅图像时，这些示例在峰值信噪比(peak signal-noise-ratio,PSNR)比较方面的速度和性能如下面的表1。示例3的速度为0.15s。与感知质量相近的0.22s(示例1)和0.18s(示例2)相比，这是一个大幅的提高。
示例1 示例2 示例3
速度(秒) 0.22 0.18 0.15
PSNR 29.82 29.77 29.51
表1
图9是示出了根据本公开的一实施方式的用于提高低照度图像质量的方法的流程图。参阅图1至9，该方法包括如下的框。
在框900，处理器模块120接收一个数字图像。可选地，数字图像可以从终端100的摄像装置110中接收。在其他情况下，数字图像可以由外部图像捕获装置传输，或者通过有线或无线通信获得，或者从内部或外部存储装置中读取。
在框910，低照度图像确定模块204确定摄像装置110拍摄的数字图像是否为低照度数字图像。如果数字图像的对比度值、动态范围、SNR中的任意一项或任意组合项低于阈值，则确定该数字图像为低照度数字图像，并行进到框920，以利用编码器-解码器神经网络对低照度数字图像进行图像去噪和增强处理。若否，则终止该过程。
在框920，编码器-解码器神经网络包括多个卷积层302和一个多尺度上下文聚合块350，该多个卷积层302被分类为下采样阶段，该多尺度上下文聚合块350被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息。编码器-解码器神经网络包括U-net结构
在框922，在U-net架构中，在下采样阶段的每几个卷积层302后执行一次池化操作，以降低空间分辨率，以及在上采样阶段的每几个个卷积层302前执行一次双线性插值操作，以提高空间分辨率。
在框924，在U-net架构中，连接下采样阶段的多个卷积层302和上采样阶段中具有(基本)相同分辨率(或基本相同的下采样和上采样水平)的多个卷积层302，。连接表示特征图根据需要通过复制和裁剪操作相组合。
在框926，多尺度上下文聚合块350包括全局池化层352、多个扩张层354和卷积层358(例如，一个1×1卷积层)。全局池化层352提取低照度数字图像的全局上下文/颜色信息；具有不同扩张率的多个扩张层354提取低照度数字图像不同尺度的局部上下文/颜色信息。全局池化层352和多个扩张层354中的一个连接，并且其他扩张层354在对应的尺度以级联的方式连接。卷积层358在全局池化层352和多个扩张层354后连接，以生成包含低照度数字图像的多尺度信息的最终表示。可以对全局池化层352执行一次双线性插值操作，以将全局池化层352中的特征图的尺寸重新调整为与输入特征图(基本上)相同的尺寸。
编码器-解码器神经网络的其他细节参考上述内容的相关描述，在此不再赘述。
在框930，编码器-解码器神经网络输出一个结果数字图像，处理器模块120将结果数字图像输出到诸如显示装置、存储装置以及有线或无线通信装置等的一个输出装置140。
用于提高低照度图像的质量的方法的其他细节可参阅上述内容的相关描述，在此不再赘述。
在本公开中，利用编码器-解码器神经网络处理数字图像。该网络包括多个卷积层和一个多尺度上下文聚合块，多个卷积层被分类为下采样阶段和上采样阶段，多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息。与现有技术相比，本公开考虑了局部和全局的上下文/颜色信息。因此，可以彻底去除噪声，大幅增强图像，从而以丰富的细节和鲜艳的色彩进行更好的表示。此外，通过在解码器中使用计算效率高的层可以加快推理速度。
本领域的技术人员应当理解，本申请的实施方式中描述和公开的各个单元、模块、算法和步骤都是使用电子硬件或者用于计算机的软件和电子硬件组合来实现的。功能是以硬件还是软件来运行取决于技术方案的应用条件和设计要求。本领域技术人员可以对每个具体应用采用不同的方式来实现功能，这样的实现不超出本公开的范围。
本领域技术人员可以理解的是，其可以参考前述实施方式中系统、装置和模块的工作过程，这是因为上述系统、装置和模块的工作过程基本上是相同的。为了便于描述和简洁性，这些工作过程在此不再赘述。
可以理解的是，本申请的实施方式中所公开的系统、装置和方法可以用其他方式实现。上述实施方式仅是示例性的。模块的划分仅仅基于逻辑功能，而在实现时还存在其他的划分。多个模块或组件可以组合或集成在另一系统中。一些特征可以被省略或跳过。另一方面，所显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、装置或模块以电、机械或其它的形式运作，无论是间接的或通信上的。
为了说明而作为分离的组件的模块可以是或不是单独物理存在的。用于显示的模块可以是也可以不是物理模块，即可以位于一个地方，或分布在多个网络模块上。根据实施方式的目的，使用部分或者全部的模块。
另外，在本申请各个实施方式中的每个功能模块可以集成在一个处理模块中，物理上相独立，或者两个或两个以上模块集成在一个处理模块中。
如果实现软件功能模块并将其作为产品使用和销售，则可以将其存储在计算机的可读存储介质中。基于这种理解，本公开提出的技术方案可以基本上或部分地以软件产品的形式实现。或者，技术方案中相对常规技术有利的一部分技术方案可以以软件产品的形式实现。计算机中的软件产品存储在存储介质中，包括使计算设备(如个人计算机、服务器或网络设备)运行本公开的实施方式所公开的全部或部分步骤的多个命令。存储介质包括USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他种类地能够存储程序代码的介质。
尽管已经结合被视为实用和优选的实施方式描述了本公开，但可以理解的是，本公开不局限于所公开的实施方式，而是旨在涵盖在不偏离所附权利要求的最广义解释的范围的情况下所做出的各种步骤。

Claims (17)

1.一种用于提高低照度图像质量的方法，包括：
接收一个数字图像；
至少一个处理器通过利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及
所述至少一个处理器将所述结果数字图像输出到一个输出装置，
其中，所述生成一个结果数字图像，包括：
在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及
在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率；
连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；
通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及
通过所述多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
2.根据权利要求1所述的方法，其中，在所述上采样阶段的多个卷积层包括1×1卷积层。
3.根据权利要求1所述的方法，其中，在所述生成一个结果数字图像之前，所述方法还包括：
确定所述数字图像的对比度值、动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及
响应于在确定所述对比度值、所述动态范围和所述信噪比中的至少一项低于所述阈值时，执行所述生成一个所述结果数字图像的操作。
4.根据权利要求1所述的方法，其中，所述编码器-解码器神经网络包括U-net架构。
5.根据权利要求1所述的方法，其中，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接。
6.根据权利要求5所述的方法，其中，所述生成一个结果数字图像还包括：
对所述全局池化层执行一次双线性插值操作。
7.根据权利要求6所述的方法，其中，所述多尺度上下文聚合块包括：
在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
8.一种用于提高低照度图像质量的系统，包括：
至少一个被配置成存储程序指令的存储器；
至少一个被配置成执行程序指令的处理器，所述程序指令使所述至少一个处理器执行包括下述的步骤：
接收一个数字图像；
通过利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及
将所述结果数字图像输出到一个输出装置，
其中，所述生成一个结果数字图像，包括：
在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及
在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率；
连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；
通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及
通过所述多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
9.根据权利要求8所述的系统，其中，在所述上采样阶段的所述卷积层包括1×1卷积层。
10.根据权利要求8所述的系统，其中，在所述生成一个结果数字图像之前还包括：
确定所述数字图像的对比度值、动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及
响应于在确定所述对比度值、所述动态范围和所述信噪比中的至少一项低于所述阈值时，执行所述生成一个所述结果数字图像的操作。
11.根据权利要求8所述的系统，其中，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接，以及所述多尺度上下文聚合块包括在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
12.根据权利要求11所述的系统，其中，所述生成一个结果数字图像还包括：
对所述全局池化层执行一次双线性插值操作。
13.一种非易失性的计算机可读介质，所述计算机可读介质上存储有程序指令，所述程序指令在被至少一个处理器执行时，使所述至少一个处理器执行包括下述的步骤：
接收一个数字图像；
利用一个编码器-解码器神经网络处理所述数字图像生成一个结果数字图像，所述编码器-解码器神经网络包括多个卷积层和一个多尺度上下文聚合块，所述多个卷积层被分类为下采样阶段和上采样阶段，所述多尺度上下文聚合块被配置在所述下采样阶段和所述上采样阶段之间，用于聚合所述数字图像的多尺度上下文信息；以及
将所述结果数字图像输出到一个输出装置，
其中，所述生成一个结果数字图像，包括：
在所述下采样阶段，每几个卷积层后执行一次池化操作，以降低空间分辨率；以及
在所述上采样阶段，每几个卷积层前执行一次双线性插值操作，以提高所述空间分辨率
连接所述下采样阶段的多个卷积层和所述上采样阶段中具有相同分辨率的多个卷积层；
通过所述多尺度上下文聚合块的一个全局池化层，提取所述数字图像的全局上下文信息；以及
通过所述多尺度上下文聚合块的多个不同扩张率的扩张层，以不同尺度提取所述数字图像的上下文信息。
14.根据权利要求13所述的非易失性的计算机可读介质，其中，在所述上采样阶段的多个卷积层包括1×1卷积层。
15.根据权利要求13所述的非易失性的计算机可读介质，其中，在所述生成一个结果数字图像之前还包括：
确定所述数字图像的对比度值，动态范围和信噪比(SNR)中的至少一项是否低于阈值；以及
响应于在确定所述对比度值，所述动态范围和所述信噪比中的至少一项低于所述阈值，执行所述生成一个所述结果数字图像的操作。
16.根据权利要求13所述的非易失性的计算机可读介质，其中，所述全局池化层和所述多个扩张层中的一个连接，其他扩张层在对应的尺度以级联的方式连接，以及所述多尺度上下文聚合块包括在所述全局池化层和所述多个扩张层后连接的一个1×1卷积层。
17.根据权利要求16所述的非易失性的计算机可读介质，其中，所述生成一个结果数字图像还包括：
对所述全局池化层执行一次双线性插值操作。
CN201980069636.2A 2018-11-08 2019-09-11 用于提高低照度图像质量的方法、系统和计算机可读介质 Active CN112889069B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862757278P 2018-11-08 2018-11-08
US62/757278 2018-11-08
PCT/CN2019/105460 WO2020093782A1 (en) 2018-11-08 2019-09-11 Method, system, and computer-readable medium for improving quality of low-light images

Publications (2)

Publication Number Publication Date
CN112889069A CN112889069A (zh) 2021-06-01
CN112889069B true CN112889069B (zh) 2024-04-05

Family

ID=70611639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069636.2A Active CN112889069B (zh) 2018-11-08 2019-09-11 用于提高低照度图像质量的方法、系统和计算机可读介质

Country Status (3)

Country Link
US (1) US11887280B2 (zh)
CN (1) CN112889069B (zh)
WO (1) WO2020093782A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
US11270447B2 (en) * 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN
CN112233041A (zh) * 2020-11-05 2021-01-15 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN113256526A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 一种红外图像增强方法、装置、设备及存储介质
US11935199B2 (en) * 2021-07-26 2024-03-19 Google Llc Augmented reality depth detection through object recognition
CN114897718B (zh) * 2022-04-29 2023-09-19 重庆理工大学 一种能同时平衡上下文信息和空间细节的低光图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872856B1 (en) * 2008-08-14 2014-10-28 Zenverge, Inc. Macroblock based scaling of images using reduced memory bandwidth
US20160239706A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
CN107230187B (zh) * 2016-03-25 2022-05-24 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US10402943B2 (en) * 2016-10-20 2019-09-03 Htc Corporation Image enhancement device and method for convolutional network apparatus
CN107704866B (zh) * 2017-06-15 2021-03-23 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108737823B (zh) * 2018-04-04 2021-05-25 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
US10922816B2 (en) * 2018-08-27 2021-02-16 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
US10986325B2 (en) * 2018-09-12 2021-04-20 Nvidia Corporation Scene flow estimation using shared features
CN112889084B (zh) * 2018-11-08 2023-05-23 Oppo广东移动通信有限公司 提高图像的颜色质量的方法、系统和计算机可读介质
WO2020098360A1 (en) * 2018-11-15 2020-05-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for processing images using cross-stage skip connections
EP3977396A4 (en) * 2019-05-31 2022-07-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD, SYSTEM AND COMPUTER READABLE MEDIA FOR IMPROVING THE COLOR QUALITY OF IMAGES
WO2021063119A1 (en) * 2019-10-01 2021-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for image processing, terminal
WO2021063118A1 (en) * 2019-10-02 2021-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for image processing
US11468543B1 (en) * 2021-08-27 2022-10-11 Hong Kong Applied Science and Technology Research Institute Company Limited Neural-network for raw low-light image enhancement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108038832A (zh) * 2017-12-25 2018-05-15 中国科学院深圳先进技术研究院 一种水下图像增强方法及系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS;Fisher Yu等;ICLR 2016;正文第1-8页 *

Also Published As

Publication number Publication date
WO2020093782A1 (en) 2020-05-14
US11887280B2 (en) 2024-01-30
CN112889069A (zh) 2021-06-01
US20210256657A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
CN113168684B (zh) 提升低亮度图像的质量的方法、系统和计算机可读介质
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
US9639956B2 (en) Image adjustment using texture mask
CN108921225B (zh) 一种图像处理方法及装置、计算机设备和存储介质
EP3610453B1 (en) Synthetic long exposure image with optional enhancement using a guide image
CN113034384A (zh) 视频处理方法、装置、电子设备以及存储介质
US11972543B2 (en) Method and terminal for improving color quality of images
JP7353803B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
US20220122225A1 (en) Image quality improvement method and image processing apparatus using the same
US20210327026A1 (en) Methods and apparatus for blending unknown pixels in overlapping images
WO2024055458A1 (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Lim et al. LAU-Net: A low light image enhancer with attention and resizing mechanisms
CN116977191A (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
US11200641B1 (en) Noise reduction with classification-based contrast preservation
CN113781346A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN113781345A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant