CN112889084B - 提高图像的颜色质量的方法、系统和计算机可读介质 - Google Patents

提高图像的颜色质量的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN112889084B
CN112889084B CN201980069575.XA CN201980069575A CN112889084B CN 112889084 B CN112889084 B CN 112889084B CN 201980069575 A CN201980069575 A CN 201980069575A CN 112889084 B CN112889084 B CN 112889084B
Authority
CN
China
Prior art keywords
color image
convolution
receptive field
blocks
convolution blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980069575.XA
Other languages
English (en)
Other versions
CN112889084A (zh
Inventor
孟子博
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112889084A publication Critical patent/CN112889084A/zh
Application granted granted Critical
Publication of CN112889084B publication Critical patent/CN112889084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种方法，包括：编码器‑解码器网络接收和处理第一图像。第一图像包括位于不同位置的第一部分和第二部分。编码器‑解码器网络包括编码器和解码器。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一图像的第一部分和第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二图像，其中在考虑颜色一致性关系是否存在的情况下还原第二图像的与第一图像的第一部分对应的第一部分和第二图像的与第一图像的第二部分对应的第二部分。

Description

提高图像的颜色质量的方法、系统和计算机可读介质
相关申请的交叉引用
本申请要求于2018年11月8日提交的美国申请No.62/757,644的优先权。
本公开的背景
1.技术领域
本公开涉及图像处理领域，更特别地，涉及用于提高图像的颜色质量的方法、系统和计算机可读介质。
2.相关技术的描述
当在例如弱光条件下或水下条件下捕获图像时，由于低信噪比(SNR)、低对比度和/或窄动态范围，可能难以识别图像的内容。图像降噪技术去除图像噪声。图像增强技术提高感知质量，诸如图像的对比度。图像降噪技术和/或图像增强技术旨在提供具有鲜艳的颜色和丰富的细节的图像，尽管该图像是在例如弱光条件下或水下条件下被捕获的。
在相关技术中，编码器-解码器网络对输入彩色图像执行图像降噪和/或增强，以生成输出彩色图像。编码器-解码器网络包括编码器和解码器。编码器提取输入彩色图像的特征，以获得具有颜色信息的抽象表示。为了获得输出彩色图像，解码器需要还原抽象表示的颜色信息。图1是示意性示出输入彩色图像102、输出彩色图像142以及由相关技术执行的色彩还原的中间细节的图。参阅图1，输入彩色图像102中具有一把椅子，该椅子由于低SNR、低对比度和/或窄动态范围而难以被识别。输入彩色图像102的第一部分104是椅子的靠背的边缘，以及输入彩色图像102的第二部分106是椅子的靠背的内部部分。在相关技术中，当编码器提取输入彩色图像102的第一部分104的特征和输入彩色图像102的第二部分106的特征时，在具有第一感受野的大小的视图122中考虑输入彩色图像102的第一部分104，该第一部分由被视图122覆盖的被处理部分124表示，以及在具有第一感受野的大小的视图128中考虑输入彩色图像102的第二部分106，该第二部分由被视图128覆盖的被处理部分126表示。然而，当编码器还原抽象表示的颜色信息时，输出彩色图像142的与输入彩色图像102的第一部分104对应的第一部分144和输出彩色图像142的与输入彩色图像102的第二部分106对应的第二部分146可能具有不一致的颜色。输出彩色图像142中在椅子的靠背的边缘与椅子的靠背的内部部分之间的颜色不一致由椅子的靠背的使用虚线样式绘制的边缘表示。这种颜色不一致的情况称为光晕。相关技术中也存在类似于光晕的其他颜色不一致情况，例如斑点。
发明内容
本公开的目的是提出用于提高图像的颜色质量的方法、系统和计算机可读介质。
在本公开的第一方面中，计算机实施的方法包括：编码器接收和处理第一彩色图像。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块的对应第一卷积块之后。第一感受野宽于第二感受野。通过多个第一卷积块中一个卷积块的对应第一卷积层来获得全局信息，以及通过多个第一卷积块中一个卷积块的对应第二卷积层来获得局部信息。
在本公开的第二方面中，计算机实施的方法包括：解码器接收和处理至少一个特征图。至少一个特征图是从第一彩色图像中提取的。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。至少一个特征图包括全局信息和局部信息，使得在第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二彩色图像。在考虑第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系的情况下，还原第二彩色图像的与第一彩色图像的第一部分对应的第一部分以及第二彩色图像的与第一彩色图像的第二部分对应的第二部分。解码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。
在本公开的第三方面中，系统包括至少一个存储器和至少一个处理器。至少一个存储器被配置成存储程序指令。至少一个处理器被配置成执行程序指令，该程序指令使至少一个处理器执行包括下述的步骤：编码器接收和处理第一彩色图像。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层，以及具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。通过多个第一卷积块中一个卷积块的对应第一卷积层来获得全局信息，以及通过多个第一卷积块中一个卷积块的对应第二卷积层来获得局部信息。
在本公开的第四方面中，系统包括至少一个存储器和至少一个处理器。至少一个存储器被配置成存储程序指令。至少一个处理器被配置成执行程序指令，该程序指令使至少一个处理器执行包括下述的步骤：解码器接收和处理至少一个特征图。至少一个特征图是从第一彩色图像中提取的。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。至少一个特征图包括全局信息和局部信息，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二彩色图像。在考虑第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系的情况下，还原第二彩色图像的与第一彩色图像的第一部分对应的第一部分和第二彩色图像的与第一彩色图像的第二部分对应的第二部分。解码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层，以及具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。
在本公开的第五方面中，提供存储有程序指令的非暂时性计算机可读介质。当至少一个处理器执行程序指令时，至少一个处理器执行包括下述的步骤：编码器接收和处理第一彩色图像。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层，以及具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。通过多个第一卷积块中一个卷积块的对应第一卷积层来获得全局信息，以及通过多个第一卷积块中一个卷积块的对应第二卷积层来获得局部信息。
在本公开的第六方面中，提供存储有程序指令的非暂时性计算机可读介质。当至少一个处理器执行程序指令时，至少一个处理器执行包括下述的步骤：解码器接收和处理至少一个特征图。至少一个特征图是从第一彩色图像中提取的。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。至少一个特征图包括全局信息和局部信息，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二彩色图像。在考虑第一彩色图像的第一部分和第一彩色图像的第二部分是否存在颜色一致性关系的情况下，还原第二彩色图像的与第一彩色图像的第一部分对应的第一部分和第二彩色图像的与第一彩色图像的第二部分对应的第二部分。解码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。
附图说明
为了更清楚地描述本公开实施方式或相关技术，下面简单介绍实施例中将描述的附图。明显地，这些附图仅仅是本公开的一些实施例，本领域普通技术人员可以在不付出创造性劳动的前提下根据这些附图获得其他附图。
图1是示意性示出了输入彩色图像、输出彩色图像和现有技术执行的色彩还原的中间细节的图。
图2是示出了根据本公开一实施方式的在终端中的输入硬件模块、处理硬件模块和输出硬件模块的框图。
图3是示出了根据本公开一实施方式的用于图像降噪和/或增强的编码器-解码器网络的图。
图4是示出了根据本公开一实施方式的在编码器-解码器网络中的视野较宽(seeing wider，看得较宽)的卷积块的图。
图5是示意性示出了根据本公开一实施方式的输入彩色图像、输出彩色图像和由编码器-解码器网络执行的色彩还原的中间细节的图。
图6是示意性示出了根据本公开一实施方式的另一输入彩色图像、另一输出彩色图像和由编码器-解码器网络执行的色彩还原的其他中间细节的图。
具体实施方式
下面将参照附图，结合技术内容、结构特征、所实现的目的以及所实现的效果，对本公开实施方式进行详细地描述。特别地，本公开实施方式中的技术术语仅用于描述具体实施方式，而不构成对本公开的限制。
如本文中所使用的，术语“使用”是指直接使用一对象来执行步骤的情况，或者通过至少一个中间步骤对对象进行修改并且直接使用修改后的对象来执行步骤的情况。
图2是示出了根据本公开一实施方式的在终端200中的输入硬件模块、处理硬件模块和输出硬件模块的框图。参阅图2，终端200包括数码相机模块202、处理器模块204、存储器模块206、显示模块208、存储装置模块210、有线或无线通信模块212以及总线214。终端200可以是手机、智能手机、平板电脑、笔记本式计算机、台式计算机或任何具有足够计算能力来执行图像处理的电子设备。
数码相机模块202是输入硬件模块，且被配置成捕获待通过总线214被传送至处理器模块204的输入彩色图像I306(标记于图3中)。输入彩色图像I306可以是像素以贝尔图案(Bayer pattern，贝尔图形贝尔阵列)排列的原始图像。或者，输入彩色图像I306可以使用另一输入硬件模块，诸如存储装置模块210或有线或无线通信模块212获得。存储装置模块210被配置成存储待通过总线214被传送至处理器模块204的输入彩色图像I306。有线或无线通信模块212被配置成通过有线或无线通信接收来自网络的输入彩色图像I306，其中，输入彩色图像I306通过总线214被传送至处理器模块204。
当输入彩色图像例如在弱光条件下或在水下条件下被捕获，或在具有不充足的曝光时间的条件下被捕获时，由于低信噪比(SNR)、低对比度和/或窄动态范围，可能难以识别输入彩色图像的内容。存储器模块206可以是暂时性或非暂时性计算机可读介质，其包括至少一个存储有程序指令的存储器，上述程序指令在被处理器模块204执行时使处理器模块204对输入彩色图像进行处理。处理器模块204实施编码器-解码器网络300(如图3所示)，以对输入彩色图像I306执行图像降噪和/或增强，并生成输出彩色图像I308(标记于图3)。处理器模块204包括至少一个处理器，该至少一个处理器通过总线直接或间接地向数码相机模块202、存储器模块206、显示模块208、存储装置模块210和有线或无线通信模块212发送信号，和/或直接地或间接地从它们接收信号。
显示模块208是输出硬件模块，且被配置成显示通过总线214从处理器模块204接收到的输出彩色图像I308。或者，可以使用另一输出硬件模块诸如存储装置模块210或者有线或无线通信模块212来输出彩色图像I308。存储装置模块210被配置成存储通过总线214从处理器模块204接收到的输出彩色图像I308。有线或无线通信模块212被配置成通过有线或无线通信将输出彩色图像I308传送至网络，其中，输出彩色图像I308是通过总线214从处理器模块204接收的。
终端200是所有部件通过总线214集成在一起的一种系统类型。其他类型的计算系统诸如具有远程数码相机模块而不是数码相机模块202的系统也在本公开的预期范围内。
图3是示出了根据本公开一实施方式的用于图像降噪和/或增强的编码器-解码器网络300的图。给定输入图像I，编码器-解码器网络300学习映射I′＝f(I:w)，该映射使输入图像I降噪和/或增强，以生成输出图像I′，其中，w是一组编码器-解码器网络300可学习的参数。具有可学习参数的编码器-解码器网络300对输入彩色图像I306执行图像降噪和/或增强，以生成输出彩色图像I308。
编码器-解码器网络300包括编码器302和解码器304。编码器302提取输入彩色图像I306的特征，以获得具有颜色信息的抽象表示。为了获得输出彩色图像I308，解码器304需要还原抽象表示的颜色信息。
参阅图3，在一实施方式中，编码器-解码器网络300具有U-net架构。编码器302被配置成输出包括全局信息和局部信息的至少一个特征图，使得输入彩色图像I306的第一部分和输入彩色图像I306的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。输入彩色图像I306的第一部分和输入彩色图像I306的第二部分位于输入彩色图像I306的不同位置。在一实施方式中，至少一个特征图是多通道特征图。编码器302包括多个阶段，阶段A至阶段E。阶段A至阶段E中的每个阶段包括视野较宽的卷积块X1和跟随在视野较宽的卷积块X1之后的视野较宽的卷积块X2，其中，X是A至E的任意一个阶段。阶段A至阶段D中的每个阶段还包括跟随在视野较宽的卷积块X2之后的池化层X3，其中，X是A至D的任意一个阶段。在一实施方式中，池化层X3是最大池化层。从阶段A至阶段D，空间分辨率逐渐降低，因此，至少一个特征图的空间分辨率小于输入彩色图像I306的空间分辨率。从阶段A至阶段E，通道数量逐渐增加，因此，至少一个特征图的通道数量多于输入彩色图像I306的通道数量。
解码器304被配置成输出根据至少一个特征图生成的输出彩色图像I308，其中，通过在考虑输入彩色图像I306的第一部分和输入彩色图像I306的第二部分之间是否存在颜色一致性关系的情况下，对输出彩色图像I308的与输入彩色图像I306的第一部分对应的第一部分和输出彩色图像I308的与输入彩色图像I306的第二部分对应的第二部分进行还原。在一实施方式中，输出彩色图像I308是RGB图像。解码器304包括多个阶段，阶段F至阶段J。阶段F至阶段I中的每个阶段包括：升尺度层X1，跟随在升尺度层X1之后的视野较宽的块X2，以及跟随在视野较宽的块X2之后的视野较宽的块X3，其中，X是F至I的任意一个阶段。在一实施方式中，升尺度层X1是执行例如线性插值或双线性插值的上采样层。或者，升尺度层X1是反卷积层。阶段J包括香草(vanilla，传统、原始)卷积层J1。从阶段F至阶段I，空间分辨率逐渐增加，因此，至少一个特征图的空间分辨率大于输出彩色图像I308的空间分辨率。从阶段F至阶段J，通道数量逐渐减少，因此，至少一个特征图的通道数量少于输出彩色图像I308的通道数量。
在以上实施方式中，在解码器304的阶段F至阶段I的每个阶段中，使用视野较宽的卷积块X2和X3。诸如使用香草卷积层而不是视野较宽的卷积块X2和X3的解码器等的其他结构也在本公开的预期范围内。
U-net架构的示例详细描述于“U-net:Convolutional networks for biomedicalimage segmentation”,O.Ronneberger,P.Fischer,and T.Brox,arXiv preprint arXiv:1505.04597[cs.CV],2015。在以上实施方式中，编码器-解码器网络300具有U-net架构。诸如整个编码器和解码器具有基本上相同的空间分辨率的编码器-解码器网络等的其他架构也在本公开的预期范围内。
图4是示出了根据本公开一实施方式的在编码器-解码器网络300中的视野较宽的卷积块402的图。参阅图3和图4，视野较宽的卷积块402示出了视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的每个视野较宽的卷积块的内部结构。视野较宽的卷积块402包括膨胀(dilated，空洞)卷积层406和香草卷积层408。膨胀卷积层406对膨胀卷积层406的输入404执行膨胀卷积运算和非线性激活函数运算。在一实施方式中，视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的各个视野较宽的卷积块的对应膨胀卷积层406的膨胀率相同。在一实施方式中，膨胀率是4。在一实施方式中，非线性激活函数运算是Leaky ReLU运算。或者，视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的每个视野较宽卷的积块的对应膨胀卷积层406的膨胀率可分别调节。调节的目的是针对例如参照图1描述的情况促进颜色一致性。香草卷积层408对香草卷积层408的输入404执行香草卷积运算和非线性激活函数运算。在一实施方式中，香草卷积运算是3×3卷积运算。在一实施方式中，非线性激活函数运算是Leaky ReLU运算。
膨胀卷积层406的输出与香草卷积层408的输出连结，以形成多通道特征图410。多通道特征图410的与膨胀卷积层406的输出对应的通道和多通道特征图410的与香草卷积层408的输出对应的通道可以共同贡献于通过后续的视野较宽的卷积块402获得的多通道特征图的一个通道。例如，视野较宽的卷积块A1的膨胀卷积层406的输出与视野较宽的卷积块A1的香草卷积层408的输出连结，以生成视野较宽的卷积块A1的多通道特征图410。后续的视野较宽的卷积块A2的膨胀卷积层406执行对以下通道进行卷积和求和的膨胀卷积运算，以生成视野较宽的卷积块A2的多通道特征图410的一通道，上述被执行卷积和求和的通道包括：视野较宽的卷积块A1的多通道特征图410的与视野较宽的卷积块A1的膨胀卷积层406的输出对应的视野较宽的通道，以及视野较宽的卷积块A1的多通道特征图410的与视野较宽的卷积块A1的香草卷积层408的输出对应的视野较宽的通道。后续的视野较宽的卷积块A2的香草卷积层408执行对以下通道进行卷积和求和的香草卷积运算，以生成视野较宽的卷积块A2的多通道特征图410的另一通道，上述被执行卷积和求和的通道包括：视野较宽的卷积块A1的多通道特征图410的与视野较宽的卷积块A1的膨胀卷积层406的输出对应的视野较宽的通道；以及视野较宽的卷积块A1的多通道特征图410的与视野较宽的卷积块A1的香草卷积层408的输出对应的视野较宽的通道。类似地，视野较宽的卷积块B1的多通道特征图410的一个通道由视野较宽的卷积块A2的膨胀卷积层406的输出和视野较宽的卷积块A2的香草卷积层408的输出共同贡献。
膨胀卷积层406的感受野宽于香草卷积层408的感受野。通过使用视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的对应第一视野较宽的卷积块(例如，A1或A2)的膨胀卷积层406的感受野和视野较宽的香草卷积层408的感受野的结合，来确定视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的每个第二视野较宽的卷积块(例如，A2或B1)的膨胀卷积层406的感受野。而且，通过使用视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的对应第一视野较宽的卷积块(例如，A1或A2)的膨胀卷积层406的感受野和香草卷积层408的感受野的结合，来确定视野较宽的卷积块A1和A3至E1和E2以及F2和F3至I2和I3中的每个第二视野较宽的卷积块(例如，A2或B1)的香草卷积层408的感受野。视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3的每个第二视野较宽的卷积块(例如，A2或B1)在视野较宽的卷积块A1和A2至E1和E2以及F2和F3至I2和I3中的对应第一视野较宽的卷积块(例如，A1或A2)之后。
在以上实施方式中，视野较宽的卷积块402使用感受野比香草卷积层408的感受野宽的膨胀卷积层406。具有较宽感受野的其他卷积层，诸如具有比香草卷积层408的感受野宽的感受野的另一香草卷积层，也在本公开的预期范围内。此外，第二视野较宽的卷积块(例如，A2或B1)的膨胀卷积层406或香草卷积层408的感受野是使用对应第一视野较宽的卷积块(例如，A2或B1)的膨胀卷积层406的感受野和视野较宽的香草卷积层408的感受野的结合来确定的视野较宽的。用以确定膨胀卷积层的感受野和香草卷积层的感受野的其他方式也在本公开的预期范围内，上述其他方式诸如为通过使用第一视野较宽的卷积块的膨胀卷积层的感受野来确定第二视野较宽的卷积块的膨胀卷积层的感受野，以及通过使用第一视野较宽的卷积块的香草卷积层的感受野来确定第二视野较宽的卷积块的香草卷积层的感受野。
图5是示意性示出了根据本公开一实施方式的输入彩色图像502、输出彩色图像562和由编码器-解码器网络300执行的色彩还原的中间细节的图。参阅图3、图4和图5，输入彩色图像502中有一把有平面靠背的椅子。由于低SNR、低对比度、和/或窄动态范围，输入彩色图像502中的椅子难以被识别。输入彩色图像502的第一部分504是椅子的靠背的边缘，输入彩色图像502的第二部分506是椅子的靠背的内部部分。编码器302被配置成输出包括全局信息和局部信息的至少一个特征图，使得输入彩色图像502的第一部分504和输入彩色图像502的第二部分506之间是否存在颜色一致性关系被编码为全局信息和局部信息中。全局信息的部分位于至少一个特征图的与视野较宽的卷积块E2的膨胀卷积层406对应的通道542中。局部信息的部分位于至少一个特征图的与视野较宽的卷积块E2的香草卷积层408对应的通道(未示出)中。
当编码器302提取输入彩色图像502的第一部分504的特征和输入彩色图像的第二部分506的特征时，直接地或间接地在具有编码器-解码器网络300的瓶颈处的第一感受野的大小的视图522中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506，其由被视图522覆盖的被处理部分524和被处理部分526表示。为简单起见，在图5和图6的示例中，在视图中示出仅至少一个被处理部分，该至少一个被处理部分对应于输入彩色图像的第一部分和输入彩色图像的第二部分中的至少一个部分，而在视图中的其他被处理部分未示出。编码器-解码器网络300的瓶颈是视野较宽的卷积块E2。第一感受野是视野较宽的卷积块E2的膨胀卷积层406的感受野。当在视图522中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506两者时，若第一语义能够归于输入彩色图像502的第一部分504和输入彩色图像502的第二部分506，则将第一语义编码为全局信息。在图5的示例中，当在视图522中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506两者时，“椅子的靠背”548能够归于输入彩色图像502的第一部分504和输入彩色图像502的第二部分506，因此，“椅子的靠背”548是被编码为全局信息的第一语义。被编码为全局信息的“椅子的靠背”548由在至少一个特征图的通道中一起圈出的与输入彩色图像502的第一部分504对应的部分544和与输入彩色图像502的第二部分506对应的部分546表示。
当编码器302提取输入彩色图像502的第一部分504的特征和输入彩色图像502的第二部分506的特征时，直接地或间接地在具有在编码器-解码器网络300的瓶颈处的第二感受野的大小的对应视图528和532中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506，该第一部分由被视图528覆盖的被处理部分530表示，该第二部分由被视图532覆盖的被处理部分534表示。第二感受野是视野较宽的卷积块E2的香草卷积层408的感受野。当在视图528或视图532中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506中的一者时，若第二语义能够归于输入彩色图像502的第一部分504和输入彩色图像502的第二部分506中的一者，则将第二语义编码为局部信息。在图5的示例中，当在视图528或视图532中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506中的一者时，没有语义能够归于输入彩色图像502的第一部分504或输入彩色图像502的第二部分506，因此，没有归于输入彩色图像502的第一部分504或输入彩色图像502的第二部分506的语义被编码为局部信息。
被编码为全局信息的第一语义以及不具有任何归于输入彩色图像502的第一部分504或输入彩色图像502的第二部分506的语义的局部信息表明输入彩色图像502的第一部分504和输入彩色图像502的第二部分之间是否存在颜色一致性关系。解码器304被配置成输出根据至少一个特征图生成的输出彩色图像562，其中，在考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506之间是否存在颜色一致性关系的情况下，还原输出彩色图像562的与输入彩色图像502的第一部分504对应的第一部分564和输出彩色图像562的与输入彩色图像502的第二部分506对应的第二部分566。在图5的示例中，当解码器304还原至少一个特征图的颜色信息时，全局信息和局部信息被一起考虑。因为“椅子的靠背”548被编码为全局信息并且局部信息不具有任何归于输入彩色图像502的第一部分504和输入彩色图像502的第二部分506的语义，所以输入彩色图像502的第一部分504和输入彩色图像502的第二部分506之间存在颜色一致性关系。因此，输出彩色图像562的第一部分564和输出彩色图像的第二部分566被还原成具有相同的颜色。在输出彩色图像562中，椅子的靠背的边缘和椅子的靠背的内部部分之间的颜色一致性由使用实线样式绘制的椅子的靠背的边缘表示。
图6是示意性示出了根据本公开一实施方式的另一输入彩色图像602、另一输出彩色图像662和由编码器-解码器网络300执行的色彩还原的其他中间细节的图。参阅图3、图4和图6，输入彩色图像602中有一把靠背上装饰有五角星的椅子。由于低SNR、低对比度和/或窄动态范围，输入彩色图像602中的椅子难以被识别。输入彩色图像602的第一部分604是椅子的靠背的边缘，输入彩色图像602的第二部分606是椅子的靠背的装饰有五角星的部分。编码器302被配置成输出包括全局信息和局部信息的至少一个特征图，使得输入彩色图像602的第一部分604和输入彩色图像602的第二部分606之间是否存在颜色一致性关系被编码为全局信息和局部信息。全局信息的部分位于至少一个特征图的与视野较宽的卷积块E2的膨胀卷积层406对应的通道642中。局部信息的部分位于至少一个特征图的与视野较宽的卷积块E2的香草卷积层408对应的通道650中。
当编码器302提取输入彩色图像602的第一部分604的特征和输入彩色图像602的第二部分606的特征时，直接地或间接地在具有在编码器-解码器网络300的瓶颈处的第一感受野的大小的视图622中考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606，其由被视图622覆盖的被处理部分624和被处理部分626表示。编码器-解码器网络300的瓶颈是视野较宽的卷积块E2。第一感受野是视野较宽的卷积块E2的膨胀卷积层406的感受野。当在视图622中考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606中的两者时，若第一语义能够归于输入彩色图像602的第一部分604和输入彩色图像602的第二部分606，则将第一语义编码为全局信息。在图6的示例中，当在视图622中考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606两者时，“椅子的靠背”648能够归于输入彩色图像602的第一部分604和输入彩色图像602的第二部分606，因此，“椅子的背部”648是被编码为全局信息的第一语义。被编码为全局信息的“椅子的靠背”648由在至少一个特征图的通道642中一起圈出的与输入彩色图像602的第一部分604对应的部分664和与输入彩色图像602的第二部分606对应的部分646表示。
当编码器302提取输入彩色图像602的第一部分604的特征和输入彩色图像602的第二部分606的特征时，直接地或间接地在具有在编码器-解码器网络300的瓶颈处的第二感受野的大小的对应视图628和视图632中考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606，该第一部分由被视图628覆盖的被处理部分630表示，该第二部分由被视图632覆盖的被处理部分634表示。第二感受野是视野较宽的卷积块E2的香草卷积层408的感受野。当在视图628或者视图632中考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606中的一者时，若第二语义能够归于输入彩色图像602的第一部分604和输入彩色图像602的第二部分606中的一者，则将第二语义编码为局部信息。在图6的示例中，当在视图628中考虑输入彩色图像602的第一部分604时，没有语义能够归于输入彩色图像502的第一部分504，因此，没有归于输入彩色图像602的第一部分604的语义被编码为局部信息。当在视图632中考虑输入彩色图像602的第二部分606时，“五角星”654能够归于输入彩色图像602的第二部分606，因此，“五角星”654是被编码为局部信息的第二语义。被编码为局部信息的“五角星”654由在至少一个特征图的通道650中圈出的与输入彩色图像602的第二部分606对应的部分652表示。
被编码为全局信息的第一语义和被编码为局部信息的第二语义表明输入彩色图像602的第一部分604和输入彩色图像602的第二部分606之间是否存在颜色一致性关系。解码器304被配置成输出根据至少一个特征图生成的输出彩色图像662，其中，在考虑输入彩色图像602的第一部分604和输入彩色图像602的第二部分606之间是否存在颜色一致性关系的情况下，还原输出彩色图像662的与输入彩色图像602的第一部分604对应的第一部分664和输出彩色图像662的与输入彩色图像602的第二部分606对应的第二部分666。在图6的示例中，当解码器304还原至少一个特征图的颜色信息时，全局信息和局部信息被一起考虑。因为“椅子的靠背”648被编码为全局信息且“五角星”654被编码为局部信息，所以输入彩色图像602的第一部分604和输入彩色图像602的第二部分606之间不存在颜色一致性关系。因此，输出彩色图像662的第一部分664和输出彩色图像662的第二部分666被还原成具有不同的颜色。在输出彩色图像562中由于局部反映出的具体细节而在椅子的靠背的边缘和椅子的靠背的装饰有五角星的部分之间的颜色一致性由使用实线样式绘制的椅子的靠背的边缘和使用虚线样式绘制的五角星表示。
此外，参阅图3，在一实施方式中，由解码器304的升尺度层F1输出的特征图和编码器302的视野较宽的卷积块D2的特征图具有基本上相同的空间分辨率。类似地，升尺度层G1的特征图和视野较宽的卷积块C2的特征图、升尺度层H1的特征图和视野较宽的卷积块B2的特征图以及升尺度层I1的特征图和视野较宽的卷积块A2的特征图具有基本上相同的对应空间分辨率。升尺度层F1的特征图和视野较宽的卷积块D2的特征图连结在一起，并被输入至视野较宽的卷积块F2。类似地，升尺度层G1的特征图和视野较宽的卷积块C2的特征图、升尺度层H1的特征图和视野较宽的卷积块B2的特征图以及升尺度层I1的特征图和视野较宽的卷积块A2的特征图对应连结在一起，且对应地输入至视野较宽的卷积块G2、H2以及I2。
此外，在一实施方式中，在训练期间，编码器-解码器网络300的输入彩色图像I306是在例如弱光条件下或水下条件下捕获的短曝光彩色图像。计算在编码器-解码器网络300的输出彩色图像I308和作为对应的长曝光彩色图像的真实图像之间的损失函数。损失函数是
Figure BDA0003031491680000151
和多尺度结构相似指数(MS-SSIM)的加权联合损失，其由如下等式(1)限定：
Figure BDA0003031491680000152
其中，λ以经验为主地被设置为0.6，
Figure BDA0003031491680000153
是由等式(2)限定的/>
Figure BDA0003031491680000154
损失，以及
Figure BDA0003031491680000155
表示由等式(3)给出的MS-SSIM损失。等式(2)如下：
Figure BDA0003031491680000156
其中，
Figure BDA0003031491680000157
和I分别是输出彩色图像I308和真实图像，N是输入彩色图像I306中的像素的总数量。等式(3)如下：
Figure BDA0003031491680000158
其中，像素的
Figure BDA0003031491680000159
的MS-SSIM由等式(4)至(6)限定。等式(4)至(6)如下：
Figure BDA00030314916800001510
Figure BDA00030314916800001511
Figure BDA00030314916800001512
其中，x和y表示相互对齐的两个离散非负信号(例如，分别从被比较的两张图像的相同空间位置提取的两个图像块)，μx和μy是平均值，σx和σy是标准差，M是级数，以及α和β是调节每个分量的贡献的权重。用高斯滤波器Gg在平均值为0和标准差为σg的情况下计算平均值μx和μy以及标准差σx和σy。MS-SSIM的示例更详细的描述于“Multiscale structuralsimilarity for image quality assessment,”Z.Wang,E.P.Simoncelli,A.C.Bovik,Conference on signals,Systems and Computers,2004。
一些实施方式具有以下特征和/或优点中之一或其组合。在一实施方式中，编码器-解码器网络的编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得输入彩色图像的第一部分和输入彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器-解码器网络的解码器被配置成输出根据至少一个特征图生成的输出彩色图像，其中，在考虑输入彩色图像的第一部分和输入彩色图像的第二部分之间是否存在颜色一致性关系的情况下，还原输出彩色图像的与输入彩色图像的第一部分对应的第一部分和输出彩色图像的与输入彩色图像的第二部分对应的第二部分。用通过使用较宽感受野提取的全局信息对可以使颜色一致性关系建立的信息进行编码，而用通过使用较窄感受野提取的局部信息对可以使颜色一致性关系不被建立的信息进行编码。因此，解决了参照图1描述的情况的颜色不一致，而且还实现了参照图5和图6描述的情况的颜色一致性平衡。
本领域普通技术人员理解，在本公开各实施方式中描述或公开的系统或计算机实施方法的每个单元、模块、层、块、算法以及步骤中是使用硬件、固件、软件或其组合来实现的。各功能是以硬件、固件还是软件运行取决于应用程序的条件和技术方案的设计需求。本领域普通技术人员可以使用不同的方式来实现每个特定应用的功能，而这些实现不应超出本公开的范围。
可以理解的是，在本公开实施方式中公开的系统和计算机实施的方法可以以其他方式实现。上述实施方式仅是示例性的。模块的划分仅基于逻辑功能，而在实现中存在其他划分。这些模块可以是或可以不是物理模块。多个模块可以被组合或集成到一个物理模块。模块中的任何模块均可以被划分为多个物理模块。一些特征可以被省略或跳过。在另一方面，所展示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块以电气、机械或其他形式的形式间接或通信地运作。
为了说明而分离的组件是物理上分离的，或者不是物理上分离的。模块位于一个地方或分布在多个网络模块上。根据实施方式的目的，使用一些或所有的模块。
如果软件功能模块被实施且作为一个产品被使用和售卖，其可以存储在计算机可读存储介质中。基于这样的理解，本公开提出的技术方案可以全部或部分的以软件产品的形式实现。或者，技术方案的有益于传统技术的部分可以以软件产品的形式实现。软件产品存储在计算机可读存储介质中，其包括多个指令以用于使系统的至少一个处理器执行本公开实施方式公开的所有或一些步骤。存储介质包括USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他种类能够存储程序指令的介质。
虽然已经结合被认为是最实用和优选的实施例描述了本公开，但是应当理解，本公开不限于所公开的实施方式，而是旨在覆盖在不脱离所附权利要求书的最广泛解释的范围的情况下所做出的各种布置。

Claims (36)

1.一种提高图像的颜色质量的方法，包括：
编码器接收和处理第一彩色图像，
其中，
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及
所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息，其中，所述编码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；
所述第一感受野宽于所述第二感受野；以及
通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。
2.根据权利要求1所述的方法，其中，所述编码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。
3.根据权利要求1所述的方法，其中，
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。
4.根据权利要求1所述的方法，其中，所述多个第一卷积块中的每个卷积块的对应第一卷积层是膨胀卷积层。
5.根据权利要求4所述的方法，其中，所述多个第一卷积块中的各个卷积块的对应第一卷积层的膨胀率相同。
6.根据权利要求1所述的方法，其中，
所述多个第一卷积块中的每个卷积块的对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。
7.根据权利要求1所述的方法，还包括：
解码器接收和处理所述至少一个特征图，
其中，
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野，确定所述多个第二卷积块中的每个第四卷积块的第三感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后。
8.根据权利要求7所述的方法，其中，所述多个第二卷积块中的每个卷积块还包括具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野，对应地确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，或者通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野的结合，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野；以及
所述第三感受野宽于所述第四感受野。
9.根据权利要求7所述的方法，其中，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。
10.一种提高图像的颜色质量的方法，包括：
解码器接收和处理至少一个特征图，
其中，
所述至少一个特征图是从第一彩色图像中提取的；
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；
所述至少一个特征图包括全局信息和局部信息，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息；
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；以及
所述第一感受野宽于所述第二感受野。
11.根据权利要求10所述的方法，其中，所述多个第一卷积块中的每个卷积块的对应第一卷积层是膨胀卷积层。
12.根据权利要求11所述的方法，其中，所述多个第一卷积块中的各个卷积块的对应第一卷积层的膨胀率相同。
13.根据权利要求10所述的方法，其中，
所述多个第一卷积块中的每个卷积块的对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。
14.根据权利要求10所述的方法，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。
15.根据权利要求10所述的方法，还包括：
编码器接收和处理所述第一彩色图像，
其中，
所述编码器被配置成输出所述至少一个特征图，其中，所述编码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层和具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野和第四感受野中至少一个，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后；
所述第三感受野宽于所述第四感受野；以及
通过所述多个第二卷积块中一个卷积块的对应第三卷积层来获得所述全局信息，以及通过所述多个第二卷积块中所述一个卷积块的对应第四卷积层来获得所述局部信息。
16.根据权利要求15所述的方法，其中，所述编码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。
17.根据权利要求15所述的方法，其中，
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。
18.一种提高图像的颜色质量的系统，包括：
被配置成存储程序指令的至少一个存储器；
被配置成执行所述程序指令的至少一个处理器，所述程序指令使所述至少一个处理器执行包括下述的步骤：
编码器接收和处理第一彩色图像，
其中，
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及
所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息，其中，所述编码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；
所述第一感受野宽于所述第二感受野；以及
通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。
19.根据权利要求18所述的系统，其中，所述编码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。
20.根据权利要求18所述的系统，其中，
在考虑所述彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。
21.根据权利要求18所述的系统，其中，所述多个第一卷积块中的每个卷积块的所述对应第一卷积层是膨胀卷积层。
22.根据权利要求21所述的系统，其中，所述多个第一卷积块中的各个卷积块的所述对应第一卷积层的膨胀率相同。
23.根据权利要求18所述的系统，其中，
所述多个第一卷积块中的每个卷积块的所述对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的所述对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。
24.根据权利要求18所述的系统，其中，所述步骤还包括：
解码器接收和处理所述至少一个特征图，
其中，
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野，确定所述多个第二卷积块中的每个第四卷积块的第三感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后。
25.根据权利要求24所述的系统，其中，所述多个第二卷积块中的每个卷积块还包括具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野，对应地确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，或者通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野的结合，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野；以及
所述第三感受野宽于所述第四感受野。
26.根据权利要求24所述的系统，其中，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。
27.一种提高图像的颜色质量的系统，包括：
被配置成存储程序指令的至少一个存储器；
被配置成执行所述程序指令的至少一个处理器，所述程序指令使所述至少一个处理器执行包括下述的步骤：
解码器接收和处理至少一个特征图，
其中，
所述至少一个特征图是从第一彩色图像中提取的；
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；
所述至少一个特征图包括全局信息和局部信息，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息；
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；以及
所述第一感受野宽于所述第二感受野。
28.根据权利要求27所述的系统，其中，所述多个第一卷积块中的每个卷积块的所述对应第一卷积层是膨胀卷积层。
29.根据权利要求28所述的系统，其中，所述多个第一卷积块中的各个卷积块的所述对应第一卷积层的膨胀率相同。
30.根据权利要求27所述的系统，其中，
所述多个第一卷积块中的每个卷积块的对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。
31.根据权利要求27所述的系统，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。
32.根据权利要求27所述的系统，其中，所述步骤还包括：
编码器接收和处理所述第一彩色图像，
其中，
所述编码器被配置成输出所述至少一个特征图，其中，所述编码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层和具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野和第四感受野中至少一个，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后；
所述第三感受野宽于所述第四感受野；以及
通过所述多个第二卷积块中一个卷积块的对应第三卷积层来获得所述全局信息，以及通过所述多个第二卷积块中所述一个卷积块的对应第四卷积层来获得所述局部信息。
33.根据权利要求32所述的系统，其中，所述解码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。
34.根据权利要求32所述的系统，其中，
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。
35.一种存储有程序指令的非暂时性计算机可读介质，所述程序指令在被至少一个处理器执行时使所述至少一个处理器执行包括下述的步骤：
编码器接收和处理第一彩色图像，
其中，
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及
所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息，其中，所述编码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；
所述第一感受野宽于所述第二感受野；以及
通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。
36.一种存储有程序指令的非暂时性计算机可读介质，所述程序指令在被至少一个处理器执行时使所述至少一个处理器执行包括下述的步骤：
解码器接收和处理至少一个特征图，
其中，
所述至少一个特征图是从第一彩色图像中提取的；
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；
所述至少一个特征图包括全局信息和局部信息，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息；
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；以及
所述第一感受野宽于所述第二感受野。
CN201980069575.XA 2018-11-08 2019-09-17 提高图像的颜色质量的方法、系统和计算机可读介质 Active CN112889084B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862757644P 2018-11-08 2018-11-08
US62/757,644 2018-11-08
PCT/CN2019/106244 WO2020093792A1 (en) 2018-11-08 2019-09-17 Method, system, and computer-readable medium for improving color quality of images

Publications (2)

Publication Number Publication Date
CN112889084A CN112889084A (zh) 2021-06-01
CN112889084B true CN112889084B (zh) 2023-05-23

Family

ID=70611650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069575.XA Active CN112889084B (zh) 2018-11-08 2019-09-17 提高图像的颜色质量的方法、系统和计算机可读介质

Country Status (3)

Country Link
US (1) US11972543B2 (zh)
CN (1) CN112889084B (zh)
WO (1) WO2020093792A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093782A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
WO2020108009A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN115587950B (zh) * 2022-11-03 2023-09-26 昆山腾云达信息咨询技术服务中心(有限合伙) 一种微光增强色彩恢复方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US10019631B2 (en) * 2015-11-05 2018-07-10 Qualcomm Incorporated Adapting to appearance variations when tracking a target object in video sequence
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106295139B (zh) * 2016-07-29 2019-04-02 汤一平 一种基于深度卷积神经网络的舌体自诊健康云服务系统
WO2018099579A1 (en) * 2016-12-02 2018-06-07 Huawei Technologies Co., Ltd. Apparatus and method for encoding an image
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
KR102474168B1 (ko) * 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法
US20190080440A1 (en) * 2017-09-08 2019-03-14 Interdigital Vc Holdings, Inc. Apparatus and method to convert image data
CN107610146B (zh) * 2017-09-29 2021-02-23 北京奇虎科技有限公司 图像场景分割方法、装置、电子设备及计算机存储介质
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108510456B (zh) * 2018-03-27 2021-12-21 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108764235B (zh) * 2018-05-23 2021-06-29 中国民用航空总局第二研究所 目标检测方法、设备及介质
WO2020048359A1 (en) * 2018-09-06 2020-03-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN112889084A (zh) 2021-06-01
WO2020093792A1 (en) 2020-05-14
US11972543B2 (en) 2024-04-30
US20210256667A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN108921225B (zh) 一种图像处理方法及装置、计算机设备和存储介质
CN112889084B (zh) 提高图像的颜色质量的方法、系统和计算机可读介质
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN110992265B (zh) 图像处理方法及模型、模型的训练方法及电子设备
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
Cao et al. New architecture of deep recursive convolution networks for super-resolution
CN110782397B (zh) 一种图像处理方法、生成式对抗网络、电子设备及存储介质
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
WO2020238120A1 (en) System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN109102463B (zh) 一种超分辨率图像重建方法及装置
CN111724312A (zh) 一种处理图像的方法及终端
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
Mathur et al. A real-time super-resolution for surveillance thermal cameras using optimized pipeline on embedded edge device
CN116977191A (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN112801866A (zh) 图像重建模型的生成方法、图像重建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant