CN113939845A - 提高图像色彩质量的方法、系统和计算机可读介质 - Google Patents

Abstract

在一个实施例中，一种方法包括：由编码器接收和处理第一彩色图像。第一彩色图像包括位于第一彩色图像的不同位置的第一部分和第二部分。编码器用于输出包括融合的全局信息和局部信息的至少一个第一特征图，使得第一彩色图像的第一部分与第二部分之间的色彩一致性关系存在与否被编码为融合的全局信息和局部信息。

Description

提高图像色彩质量的方法、系统和计算机可读介质

技术领域

本申请涉及图像处理领域，尤其是涉及放大图像色彩质量的一种方法、系统和计算机可读介质。

背景技术

当图像在弱光或水下等条件下被采集时，由于信噪比(signal-to-noise ratio,SNR)、对比度低和/或动态范围窄，图像的内容可能难以识别。图像去噪技术可以去除图像噪声。图像增强技术可以优化感知质量，例如图像的对比度。图像去噪技术和/或图像增强技术旨在为图像在弱光、水下等条件下提供饱满的色彩和丰富的细节。

记载在“Learning to see in the dark,”C.Chen,Q.Chen,J.Xu,V.Koltun,InCVPR,2018，的现有技术中，一个编译码网络SID-net把图像去噪和/或图像增强应用在输入彩色图像，来产生一个输出彩色图像。这个编译码网络SID-net包含一个编码器和一个译码器。其中，编码器通过提取输入彩色图像的特征来获取色彩信息的抽象表示。为了获取输出彩色图像，抽象表示的色彩信息需要通过译码器来修复。图1是示意性地示出相关技术中编译码网络SID-net输入彩色图像102和输出彩色图像122的示图。根据图1，输入彩色图像102中有一个由于低SNR、低对比度和/或动态范围窄而难以识别的椅子。输入彩色图像102的第一部分104是一个椅子靠背的边缘，输入彩色图像102的第二部分106是该椅子靠背的中间部分。虽然椅子靠背的边缘和椅子靠背的中间部分有相同的颜色，但是当抽象表示的色彩信息被译码器修复时，与输入彩色图像102的第一部分104对应的输出彩色图像122的第一部分124可能会有不一致的色彩。在输出彩色图像122中该椅子靠背边缘和中间部分之间的色彩不一致以椅子靠背边缘的虚线示出。这种色彩不一致的情况被称为光晕。其他色彩不一致的情况，例如记载于相关技术中的斑点，和光晕类似。

发明内容

本公开提供了一种用于优化图像色彩质量的方法、系统和计算机可读介质。

本公开提供的第一个解决方案是一个计算机执行方法，该包括：通过编码器接收和处理第一彩色图像。该第一彩色图像包括位于该第一彩色图像的不同位置的该第一彩色图像的第一部分和第二部分。编码器用于输出至少一个第一特征图，该至少一个第一特征图包括融合的全局信息和局部信息，则第一彩色图像的第一部分与第二部分之间的色彩一致性关系存在与否被编码为融合的全局信息和局部信息。该编码器包括第一区块、第二区块和第一跳跃连接。第一区块包括卷积块，该卷积块用于输出包括局部信息的至少一个第二特征图，且包括第一感受野。第二区块包括全局池化层，用于对至少一个第二特征图进行全局池化，并输出至少一个包含全局信息的第三特征图，第二区块还包括第二感受野，所述第二感受野宽于所述第一感受野。第二区块还包括放大层，用于放大至少一个第三特征图，并输出至少一个第四特征图，至少一个第四特征图与至少一个第二特征图具有相同尺寸，并且至少一个第四特征图包括全局信息特征图；第二区块还包括第一跳跃连接，用于融合至少一个第二特征图和至少一个第四特征图，并产生至少一个第一特征图，则至少一个第一特征图具有与至少一个第二特征图的通道数相同，其中融合的全局信息和局部信息是从全局信息和局部信息中得到的。

本公开提供的第二个解决方案是一种系统，该系统包括：至少一个内存，用于存储程序指令；至少一个处理器，用于执行程序指令，使至少一个处理器执行步骤：编码器接受并处理第一彩色图像。其中，第一彩色图像包括位于所述第一彩色图像的不同位置的所述第一彩色图像的第一部分和第二部分。编码器用于输出至少一个第一特征图，该至少一个第一特征图包括融合的全局信息和局部信息，则第一彩色图像的第一部分与第二部分之间的色彩一致性关系存在与否被编码为融合的全局信息和局部信息。该编码器包括第一区块、第二区块和第一跳跃连接。第一区块包括卷积块，该卷积块用于输出包括局部信息的至少一个第二特征图，且包括第一感受野。第二区块包括全局池化层，用于对至少一个第二特征图进行全局池化，并输出至少一个包含全局信息的第三特征图，第二区块还包括第二感受野，所述第二感受野宽于所述第一感受野。第二区块还包括放大层，用于放大至少一个第三特征图，并输出至少一个第四特征图，至少一个第四特征图与至少一个第二特征图具有相同尺寸，并且至少一个第四特征图包括全局信息特征图；第二区块还包括第一跳跃连接，用于融合至少一个第二特征图和至少一个第四特征图，并产生至少一个第一特征图，则至少一个第一特征图具有与至少一个第二特征图的通道数相同，其中融合的全局信息和局部信息是从全局信息和局部信息中得到的。

本公开提供的第三个解决方案是一种非暂态计算机可读介质，存储有程序指令，包括：至少一个内存，用于存储程序指令；至少一个处理器，用于执行程序指令，使得至少一个处理器执行包括一下步骤：编码器接受并处理第一彩色图像，其中，第一彩色图像包括位于所述第一彩色图像的不同位置的所述第一彩色图像的第一部分和第二部分。编码器用于输出至少一个第一特征图，该至少一个第一特征图包括融合的全局信息和局部信息，则第一彩色图像的第一部分与第二部分之间的色彩一致性关系存在与否被编码为融合的全局信息和局部信息。该编码器包括第一区块、第二区块和第一跳跃连接。第一区块包括卷积块，该卷积块用于输出包括局部信息的至少一个第二特征图，且包括第一感受野。第二区块包括全局池化层，用于对至少一个第二特征图进行全局池化，并输出至少一个包含全局信息的第三特征图，第二区块还包括第二感受野，所述第二感受野宽于所述第一感受野。第二区块还包括放大层，用于放大至少一个第三特征图，并输出至少一个第四特征图，至少一个第四特征图与至少一个第二特征图具有相同尺寸，并且至少一个第四特征图包括全局信息特征图；第二区块还包括第一跳跃连接，用于融合至少一个第二特征图和至少一个第四特征图，并产生至少一个第一特征图，则至少一个第一特征图具有与至少一个第二特征图的通道数相同，其中融合的全局信息和局部信息是从全局信息和局部信息中得到的。

附图说明

本为了更清楚地说明本发明或相关技术的实施例，在对实施例进行简要介绍时，将对以下附图进行说明。显然，附图只是本发明的一些实施例，本领域技术人员可以在不付出创造性劳动前提的情况下，根据这些附图获得其他附图。

图1显示了相关技术中一个编译网络的输入彩色图像和输出彩色图像的示意图。

图2显示了本公开实施例中的终端中的输入、处理和输出硬件模块的框图。

图3显示了本公开实施例中说明用于图像去噪和/或增强的编译网络的示意图。

图4显示了本公开实施例中的编译网络执行的用于颜色修复的输入彩色图像、输出彩色图像和中间细节。

图5显示了本公开实施例中另一个输入彩色图像、另一个输出彩色图像和由编译网络执行的颜色修复的另一中间细节。

具体实施方式

下面将结合附图对本发明实施例的技术事项、结构特征、实现的目的和效果进行详细说明。具体地，本发明实施例中的术语仅用于说明某个实施例的目的，并不用于限制本发明。

如这里所使用的，术语“使用”是指直接使用对象来执行步骤的情况，或者通过至少一个中间步骤修改对象并且直接使用修改后的对象来执行步骤的情况。

图2示出了根据本公开一个实施例的终端200中的输入、处理和输出硬件模块的框图。参照图2，终端200包括数码相机模块202、处理器模块204、内存模块206、显示模块208、存储模块210、有线或无线通信模块212和总线214。终端200可以是手机、智能手机、平板电脑、笔记本电脑、台式电脑或任何具有足够计算能力进行图像处理的电子设备。

数码相机模块202为输入硬件模块，用于采集输入彩色图像I1(图3中标注)，通过总线214传输至处理器模块204。输入彩色图像I1可以是像素以拜耳模式排列的原始图像。或者，输入彩色图像I1可通过其他输入硬件模块获得，例如存储模块210，或者有线或无线通信模块212。存储模块210用于存储通过总线214传输至处理器模块204的输入彩色图像I1。有线或无线通信模块212用于通过有线或无线通信从网络接收输入彩色图像I1，其中输入彩色图像I1通过总线214传输至处理器模块204。

当输入彩色图像被捕获时，例如在弱光条件或水下条件下，或者曝光时间不足时，由于信噪比(SNR)、对比度低和/或动态范围窄，图像的内容可能难以识别。内存模块206可以是暂时性或非暂时性计算机可读介质，其包括至少一个存储程序指令的存储器，当由处理器模块204执行时，使处理器模块204处理输入彩色图像I1。处理器模块204可作为编译码网络300(如图3所示)，其对输入彩色图像I1执行图像去噪和/或增强并生成输出彩色图像I2(在图3中标记)。处理器模块204包括至少一个处理器，该处理器经由总线214直接或间接地对数码相机模块202、内存模块206、显示模块208、存储模块210和有线或无线通信模块212发送和/或接收信号。至少一个处理器可以是中央处理器(CPU(s))、图形处理器(GPU(s))和/或数字信号处理器(DSP(s))。CPU可以通过总线214将输入彩色图像I1、一些程序指令和其他数据或指令发送到GPU和/或DSP。

显示模块208为输出硬件模块，用于显示通过总线214从处理器模块204接收到的输出彩色图像I2。或者，输出彩色图像I2可以使用另一个输出硬件模块，例如存储模块210，或者有线或无线通信模块212来输出。存储模块210用于存储通过总线214从处理器模块204接收的输出彩色图像I2。有线或无线通信模块212用于通过有线或无线通信将输出彩色图像I2传输至网络，其中输出彩色图像I2通过总线214从处理器模块204接收。

终端200是一种系统，所有组件都通过总线214集成在一起。其他类型的计算系统，例如具有远程数码相机模块而不是数码相机模块202的系统，也在本公开的预期范围内。

图3是根据本公开的实施例的用于图像去噪和/或增强的编译码网络300的示意图。给定输入图像I，编译网络300学习图谱I'＝f(I:w)，该图谱呈现I去噪和/或增强的输入图像，以生成输出图像I'，其中w是一组编译网络300的可学习参数。具有学习参数的编译网络300对输入彩色图像I1执行图像去噪和/或增强，以生成输出彩色图像I2。

编译网络300包括编码器302和译码器304。编码器302提取输入彩色图像Il的特征，以获得具有彩色信息的抽象表示。为了得到输出彩色图像I2，译码器304需要修复抽象表示的颜色信息。

参照图3，在一个实施例中，编译网络300具有U-net架构。编码器302用于输出至少一个第一特征图，包括融合的全局信息和局部信息，使得对输入彩色图像I1的第一部分和输入彩色图像I1的第二部分之间是否存在色彩一致性关系进行编码，并融合进全局信息和局部信息。输入彩色影像I1的第一部分与输入彩色影像I1的第二部分位于输入彩色影像I1的不同位置。在一个实施例中，至少一个第一特征图是多通道特征图。编码器302包括第一区块306、第二区块308和跳跃连接310。第一区块306包括从A到E的多个阶段。每个从A到E的阶段都包括一个卷积块X1和该卷积块X1之后的一个卷积块X2，其中X代表从A到E中的任一阶段。每个从A到D的阶段还包括在卷积块X2之后的一个池化层X3，其中X是A到D中的任一阶段。在一个实施例中，每个卷积块X1和X2包括一个3x3的卷积层。卷积块X1和X2的卷积层的其他内核大小在本公开的预期范围内。每一个卷积块X1和X2在一个3x3的卷积层之后还包括一个非线性激活函数。在一个实施例中，非线性激活函数是一个Leaky ReLU操作。在一个实施例中，池化层X3是最大池化层。或者，池化层X3为平均池化层。在第一区块306中，尺寸从阶段A到阶段D逐级减小，因此至少第一特征图的尺寸小于输入彩色图像I1的尺寸。通道数从阶段A到阶段E逐级增加，因此至少一个第一特征图的通道数大于输入彩色图像I1的通道数。

卷积块E2用于输出至少一个包括局部信息的第二特征图。卷积块E2有第一感受野，即卷积块E2的3x3卷积层具有第一感受野。

第二区块308包括全局池化层F1和放大层F2。全局池化层F1用于对至少一个第二特征图进行全局池化，输出至少一个包含全局信息的第三特征图。全局池化层F1具有比第一感受野更宽的第二感受野。在一个实施例中，池化层F1是全局最大池化层。或者，全局池化层F1为全局平均池化层。放大层F2用于放大至少一个第三特征图并输出与至少一个第二特征图具有相同尺寸并且包括全局信息的至少一个第四特征图。在一个实施例中，由于输入的彩色图像I1具有任意尺寸，如果放大层F2为去卷积层，去卷积层的步幅是动态的，这是不可取的。因此，放大层F2是没有可学习参数的上采样层，例如对至少三分之一特征图执行双线性上上采样操作、线性上采样操作、双三次上采样操作或最近上采样操作的上采样层。在一个实施例中，放大层F2是对至少一个第三特征图执行双线性上采样操作的上采样层。

跳跃连接310用于融合至少一个第二特征图和至少一个第四特征图，以生成至少一个第一特征图，使得至少一个第一特征图具有与至少一个第二特征图的通道相同数量的通道。在一个实施例中，第一跳跃连接用于通过对至少一个第二特征图和至少一个第四特征图执行元素级求和操作来融合至少一个第二特征图和至少一个第四特征图。或者，执行元素级平均运算而不是元素级求和运算。至少一个第一特征图中的融合全局信息和局部信息是从至少一个第二特征图中的局部信息和至少一个第四特征图中的全局信息中获得的。

译码器304被配置为输出从至少一个第一特征图生成的输出彩色图像I2，其中，通过根据输入彩色图像I1的第一部分和输入彩色图像I1的第二部分之间的色彩一致性关系存在与否，来决定与输入彩色图像I1的第一部分对应的输出彩色图像I2的第一部分和与输入彩色图像I1的第二部分对应的输出彩色图像I2的第二部分的色彩修复与否。在一个实施例中，输出彩色图像I2是RGB图像。译码器304包括多个阶段G到J。从G到J的每一阶段包括一个放大层X1，一个紧接在放大层X1之后的卷积块X2，和紧接在卷积块X2之后的一个卷积块X3，其中X为阶段G至J中的任何一个阶段。在一个实施例中，放大层X1是执行例如线性上采样操作、双线性上采样操作、双三次上采样操作或最近上采样操作的升频层。或者，放大层X1是去卷积层。在一个实施例中，每个卷积块X2和X3包括一个3x3的卷积层。卷积块X2和X3的卷积层的其他内核大小在本公开的预期范围内。每个卷积块X2和X3在3x3卷积层之后还包括一个非线性激活函数。在一个实施例中，非线性激活函数是Leaky ReLU操作。尺寸从阶段G到阶段J逐级增加，因此输出彩色图像I2的尺寸大于至少一个第一特征图的尺寸。通道数从阶段G到阶段J逐级递减，因此输出的彩色图像I2的通道数小于至少一个第一特征图的通道数。

在上述实施例中，编译网络300具有U-net架构。诸如在整个编码器和译码器中具有实质相同尺寸的编译网络的其他架构在本公开的预期范围内。

图4是示意性地示出根据本公开的实施例的用于由编译网络300执行的颜色修复的输入彩色图像402、输出彩色图像462和中间细节的图。在图3和图4中，输入彩色图像402里有一张具有平坦靠背的椅子。由于SNR低、对比度低和/或动态范围窄，输入彩色图像402中的椅子难以识别。输入彩色图像402的第一部分404是椅子靠背的边缘，并且输入彩色图像402的第二部分406是椅背的中间部分。编码器302用于输出至少一个第一特征图442，包括融合的全局信息和局部信息，使得输入彩色图像402的第一部分404和输入彩色图像402的第二部分406之间的色彩一致性关系存在与否被编码成融合的全局信息和局部信息。

当输入彩色图像402的第一部分404和输入彩色图像402的第二部分406正被编码器302提取用于表征时，卷积块E2在具有第一感受野大小的视图422中直接或间接地考虑输入彩色图像402的第一部分404，由视图422中划出的部分424来表示。卷积块E2在具有第一感受野大小的视图426中直接或间接地考虑输入彩色图像402的第二部分406，由视图426中划出的部分428来表示。为简单起见，在图4和图5中，仅处理至少一个部分，其对应于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406中的至少一个，在视图中显示，而视图中被处理的其他部分并未显示。当在相应的视图422或426中考虑输入彩色图像402的第一部分404和输入彩色图像402的第二部分406中的每一个时，在由卷积块E2输出的至少一个第二特征图中，没有任何归属于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406的语义被编码成局部信息。

当输入彩色图像402的第一部分404和输入彩色图像402的第二部分406被编码器302提取用于表征时，全局池化层F1在具有第二感受野大小的视图430中直接或间接地考虑输入彩色图像402的第一部分404和输入彩色图像402的第二部分406，由视图430中划出的部分432和划出的部分434来表示。当在视图430中考虑输入彩色图像402的第一部分404和输入彩色图像402的第二部分406两者时，归属于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406的一个语义，或者说一个“椅子靠背”444，被编码为全局池化层F1输出的至少一个第三特征图中的全局信息。放大层F2输出包括全局信息的至少一个第四特征图。

跳跃连接310融合至少一个第二特征图和至少一个第四特征图，以生成包括融合的全局信息和局部信息的至少一个第一特征图442。融合的全局信息和局部信息获得于该局部信息和该全局信息。因为没有任何归属于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406的语义被编码到融合的全局信息和局部信息中，并且归属于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406的语义，即“椅背”444，被编码成融合的全局信息和局部信息，输入彩色图像402的第一部分404和输入彩色图像402的第二部分406之间存在色彩一致性关系。色彩一致性关系的存在在至少一个第一特征图442中展示，对应于输入彩色图像402的第一部分404的部分446和对应于输入彩色图像402的第二部分406的部分448，通过该语义，即“椅子靠背”，被圈在一起，而没有被单独圈出。

译码器304用于输出从至少一个第一特征图442生成的输出彩色图像462，其中对应于输入彩色图像402的第一部分404的输出彩色图像462的第一部分464，以及对应于输入彩色图像402的第二部分406的输出彩色图像462的第二部分466，会考虑到输入彩色图像402的第一部分404和输入彩色图像402的第二部分406之间是否存在色彩一致性关系来修复。在图4的例子中，由于输入彩色图像402的第一部分404和输入彩色图像402的第二部分406之间存在色彩一致性关系，所以输出彩色图像462的第一部分464和输出颜色的第二部分466图像462被修复为具有相同的颜色。输出彩色图像462中椅背边缘和椅背中间部分之间的色彩一致性由用实线绘制的椅背边缘来表示。

图5是根据本公开的实施例示出用由编译网络300执行的颜色修复的输入彩色图像502、输出彩色图像562和中间细节的示意图。参照图3和图5，输入彩色图像502里有一张装饰有星形的靠背的椅子。由于SNR低、对比度低和/或动态范围窄，输入彩色图像502中的椅子难以识别。输入彩色图像502的第一部分504是椅背的边缘，并且输入彩色图像502的第二部分506是带有星形装饰的椅背的内部。编码器302用于输出包括融合的全局信息和局部信息的至少一个第一特征图542，使得输入彩色图像502的第一部分504与输入彩色图像502的第二部分506之间的色彩一致性关系存在与否被编码为融合的全局信息和局部信息。

当输入彩色图像502的第一部分504和输入彩色图像502的第二部分506被编码器302提取用于表征时，卷积块E2在具有第一感受野大小的视图522中直接或间接地考虑输入彩色图像502的第一部分504，由视图522中的划出部分524来表示。卷积块E2在具有第一感受野大小的视图526中直接或间接地考虑输入彩色图像502的第二部分506，由视图526中的划出部分528来表示。当在视图522中处理输入彩色图像502的第一部分504时，没有任何归属于输入彩色图像502的第一部分504的语义会被编码为卷积块E2输出的至少一个第二特征图中的局部信息。当在视图526中考虑输入彩色图像502的第二部分506时，归属于输入彩色图像502的第二部分506的语义，即“星”544，会被编码到至少一个第二特征图中的局部信息中。

当输入彩色图像502的第一部分504和输入彩色图像502的第二部分506正被编码器302提取用于表征时，全局池化层F1考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506直接或间接地在具有第二感受野大小的视图530中，并分别由视图530中划出的部分532和划出的另一部分534来表示。当在视图530中考虑输入彩色图像502的第一部分504和输入彩色图像502的第二部分506时，归属于输入彩色图像502的第一部分504和输入彩色图像502的第二部分506的语义，即“椅子靠背”548，被编码为在全局池化层F1输出的至少一个第三特征图中的全局信息。放大层F2输出包括全局信息的至少一个第四特征图。

跳跃连接310融合至少一个第二特征图和至少一个第四特征图，以生成包括融合的全局信息和局部信息的至少一个第一特征图542。融合的全局信息和局部信息获得于该局部信息和该全局信息。因为归属于输入彩色图像502的第二部分506的语义，即“星”544，被编码为融合的全局信息和局部信息，并且语义“椅背”548也被编码为融合的全局信息和局部信息，输入彩色图像502的第一部分504与输入彩色图像502的第二部分506之间不存在色彩一致性关系。在至少一个第一特征图542中，色彩一致性关系的缺失表现为：对应于输入彩色图像502的第二部分506的部分546通过前述语义，即“星”544，被单独圈出；而对应于输入彩色图像502的第一部分504的部分550和对应于输入彩色图像502的第二部分506的部分552通过前述语义，即“椅子靠背”548，被圈在一起。

译码器304用于输出从至少一个第一特征图442生成的输出彩色图像562，其中，根据输入彩色图像502的第一部分504和输入彩色图像502的第二部分506之间是否存在色彩一致性关系决定是否修复输出彩色图像562的第一部分564对应于输入彩色图像502的第一部分504和输出彩色图像562的第二部分566对应于输入彩色图像502的第二部分506。在图5的例子中，因为输入彩色图像502的第一部分504和输入彩色图像502的第二部分506之间不存在色彩一致性关系，所以输出彩色图像562的第一部分564和输出彩色图像562的第二部分566被修复为具有不同的颜色。在输出彩色图像562中，由于局部地展现了精细的细节，椅背边缘与椅背装饰星形部分之间的颜色不一致由使用实线绘制的椅子靠背的边缘和使用虚线绘制的星形表示。

另外，参考图3，在一个实施例中，译码器304的放大层G1和编码器302的卷积块D2输出的特征图具有基本相同的尺寸。同理，放大层H1和卷积块C2的特征图、放大层I1和卷积块B2的特征图、放大层J1和卷积块A2的特征图，其对应的尺寸都基本相同的。放大层G1和卷积块D2的特征图连接在一起并输入到卷积块G2。同理，可将放大层H1和卷积块C2的特征图、放大层I1和卷积块B2的特征图、放大层J1和卷积块A2的特征图，都相应地连接在一起，并输入到相应的卷积块H2、I2、J2。

此外，在一个实施例中，在训练过程中，编译网络300的输入彩色图像I1是在弱光或水下等条件下采集的短曝光彩色图像。计算编译网络300的输出彩色图像I2和作为相应长曝光彩色图像的地面实况图像之间的损失函数，其中损失函数是

和多尺寸结构相似度指数(MS-SSIM)的加权联合损失，由等式(1)定义：

其中λ根据经验设为0.16，

是由等式(2)定义的

损失，

表示由等式(3)得到的MS-SSIM损失。等式(2)如下：

其中

和I分别是输出彩色图像和I2基表实况图像，N是输入彩色图像I1的总像素数。等式(3)如下：

其中第i个像素的MS-SSIM由等式(4)-(6)定义。等式(4)-(6)如下:

其中，x和y代表离散的非负的相互匹配的两个信号(例如，两个图像中采集自相同现实空间位置所对应的两个图像块)；μ_x和μ_y是平均值，σ_x和σ_y标准差,M是层数α和β是调整每个量的贡献的权重。平均值μ_x和μ_y以及标准差σ_x和σ_y通过高斯滤波器G_g来计算，其中G_g的均值为零、标准差为σ_g。

表1展示了可以通过图3至图5描述的实施例获得的实验结果。参考图3，通过采用全局池化层F1和跳跃连接310，生成指示输入彩色图像I1的第一部分与第一彩色图像I2的第二部分之间的色彩一致性关系存在与否的融合的全局信息和局部信息。融合的全局信息和局部信息可以指示在图4描述的情况下存在色彩一致性关系。因此，如图1所描述的，由编译网络SID-net瓶颈处的感受野不足以覆盖输入彩色图像102的第一部分104和输入彩色图像102的第二部分104而引起的颜色不一致的情况可以得到解决。因为融合的全局信息和局部信息可以指示如图5描述的情况下不存在色彩一致性关系，所以可以实现色彩一致性的平衡。因此，可以提高诸如输出彩色图像I2的信噪比峰值(PSNR)的性能。此外，通过使用融合至少一个第二特征图和至少一个第四特征图的跳跃连接310，生成至少一个第一特征图，使得至少一个第一特征图具有与至少一个第二特征图相同的通道数，输出彩色图像I2的PSNR得到改善，而无需向编译网络300引入额外的可学习参数。表1展示了如图3至图5所描述的实施例的图像去噪和增强，并与记载在“Learning to see in the dark”C.Chen、Q.Chen、J.Xu、V.Koltun现有技术中描述的编译网络SID-net相比较。如图3至图5所描述的实施例和编译网络SID-net都可以在图2所描述的系统中运行。与编译网络SID-net相比，如图3至图5所描述的实施例，可以实现PSNR增加3.5％，其中许多可学习参数与编译网络SID-net相同。

表1

本领域技术人员可以理解系统的各个单元、模块、层、块、算法和步骤，或者本发明实施例中描述和公开的计算机实现的方法是使用硬件、固件、软件或者它们的组合来实现的。功能是否以硬件、固件或软件方式运行，取决于应用条件和技术方案的设计要求。本领域普通技术人员可以针对每个具体的应用使用不同的方式来实现该功能，但这种实现方式不应超出本公开的范围。

应当理解，本公开实施例中所公开的系统和计算机实现的方法可以通过其他方式来实现。上述实施例仅是示例性的。模块的划分仅仅是基于逻辑功能，而其他的划分在实现上是存在的。模块可以是也可以不是物理模块。多个模块组合或集成为一个物理模块是可能的。也可以将任何模块分成多个物理模块。也有可能省略或跳过某些特征。另一方面，显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块以电气、机械或其他形式的方式间接或通信地进行操作。作为用于说明的分离组件的模块在物理上是分开的，也可以不分开的。模块位于一处或分布在多个网络模块上。根据实施例的目的使用部分或全部模块。

如果将软件功能模块作为产品实现使用和销售，则可以存储在计算机可读存储介质中。基于这种理解，本发明提出的技术方案可以实质上或部分以软件产品的形式实现。或者，可以将有利于现有技术的技术方案的一部分以软件产品的形式实现。该软件产品存储在计算机可读存储介质中，包括用于系统的至少一个处理器运行本发明实施例公开的全部或部分步骤的多个命令。存储介质包括U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他能够存储程序指令的介质。

虽然已经结合被认为是最实用和优选的实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例，而是旨在覆盖在不脱离所附权利要求的最广泛解释的范围的情况下做出的各种布置。

Claims (19)

1.一种计算机执行方法，包括：

通过编码器接受并处理第一彩色图像，

其中，

所述第一彩色图像包括位于所述第一彩色图像的不同位置的所述第一彩色图像的第一部分和第二部分；

所述编码器用于输出至少一个第一特征图，所述至少一个第一特征图包括融合的全局信息和局部信息，则所述第一彩色图像的所述第一部分和所述第二部分之间是否存在色彩一致性关系被编码到所述融合的全局信息和局部信息中，其中，所述编码器还包括：

第一区块；

第二区块；和

第一跳跃连接，

其中，

所述第一区块包括：

卷积块，用于输出包括所述局部信息的至少一个第二特征图，且包括第一感受野；

所述第二区块包括：

全局池化层，用于对所述至少一个第二特征图进行全局池化，输出至少一个包含所述全局信息的第三特征图，且包括第二感受野，所述第二感受野宽于所述第一感受野；和

放大层，用于放大所述至少一个第三特征图，并输出至少一个第四特征图，所述至少一个第四特征图与所述至少一个第二特征图具有相同尺寸且包括所述全局信息；

所述第一跳跃连接，用于融合所述至少一个第二特征图和所述至少一个第四特征图，并产生所述至少一个第一特征图，则所述至少一个第一特征图与所述至少一个第二特征图的通道数相同，其中，所述融合的全局信息和局部信息从所述全局信息和所述局部信息中得到的。

2.根据权利要求1所述的方法，其中，所述第一区块使得所述至少一个第一特征图的尺寸小于所述第一彩色图像的尺寸。

3.根据权利要求1所述的方法，其中，

当所述卷积块在具有所述第一感受野大小的对应第一视野中考虑所述第一彩色图像的所述第一部分和所述第二部分中的每一个时，不将归属于所述第一彩色图像的所述第一部分和所述第二部分中的任何一个的语义编码到所述局部信息中；和

当所述全局池化层在具有所述第二感受野大小的对应第二视野中同时考虑所述第一彩色图像的所述第一部分和所述第二部分时，将归属于所述第一彩色图像的所述第一部分和所述第二部分的第一语义编码到所述全局信息中，其中所述第一彩色图像的所述第一部分与所述第二部分之间存在色彩一致性关系。

4.根据权利要求1所述的方法，其中，

当所述卷积块在具有所述第一感受野大小的第一视野中考虑所述第一彩色图像的所述第一部分和所述第二部分中的一个时，将归属于所述第一彩色图像的所述第一部分和所述第二部分中的一个的第一语义编码到所述局部信息中；和

当所述全局池化层在具有所述第二感受野大小的对应第二视野中同时考虑所述第一彩色图像的所述第一部分和所述第二部分时，将归属于由所述第一彩色图像的所述第一部分和所述第二部分的第二语义编码到所述全局信息中，其中所述第一彩色图像的所述第一部分与所述第二部分之间不存在所述色彩一致性关系。

5.根据权利要求1所述的方法，其中，所述放大层是不具有可学习参数的上采样层。

6.根据权利要求5所述的方法，其中，所述上采样层用于通过对所述至少一个第三特征图执行双线性插值操作以对所述至少一个第三特征图进行放大。

7.根据权利要求1所述的方法，其中，所述第一跳跃连接用于通过对所述至少一个第二特征图和所述至少一个第四特征图执行按元素求和操作来融合所述至少一个第二特征图和所述至少一个第四特征图。

8.根据权利要求1所述的方法，还包括：

通过译码器接收并处理所述至少一个第一特征图，其中所述译码器用于输出从所述至少一个第一特征图生成的第二彩色图像，其中，鉴于所述第一彩色图像的所述第一部分和第二部分之间的色彩一致性关系是否存在，修复所述第一彩色图像的所述第一部分所对应的所述第二彩色图像的第一部分以及所述第一彩色图像的所述第二部分所对应的所述第二彩色图像的第二部分，其中所述译码器包括多个卷积块。

9.根据权利要求8所述的方法，其中，所述码器使所述第二彩色图像的尺寸大于所述至少一个第一特征图的尺寸。

10.一种系统，包括：

至少一个内存，用于存储程序指令；

至少一个处理器，用于执行所述程序指令，使所述至少一个处理器执行步骤：

通过编码器接受并处理第一彩色图像，

其中，

所述第一彩色图像包括位于所述第一彩色图像的不同位置的所述第一彩色图像的第一部分和第二部分；

所述编码器用于输出至少一个第一特征图，所述至少一个第一特征图包括融合的全局信息和局部信息，则所述第一彩色图像的所述第一部分和所述第二部分之间是否存在色彩一致性关系被编码到所述融合的全局信息和局部信息中，其中，所述编码器还包括：

第一区块；

第二区块；和

第一跳跃连接，

其中，

所述第一区块包括：

卷积块，用于输出包括所述局部信息的至少一个第二特征图，且包括第一感受野；

所述第二区块包括：

全局池化层，用于对所述至少一个第二特征图进行全局池化，输出至少一个包含所述全局信息的第三特征图，且包括第二感受野，所述第二感受野宽于所述第一感受野；和

放大层，用于放大所述至少一个第三特征图，并输出至少一个第四特征图，所述至少一个第四特征图与所述至少一个第二特征图具有相同尺寸且包括所述全局信息；

所述第一跳跃连接，用于融合所述至少一个第二特征图和所述至少一个第四特征图，并产生所述至少一个第一特征图，则所述至少一个第一特征图与所述至少一个第二特征图的通道数相同，其中，所述融合的全局信息和局部信息从所述全局信息和所述局部信息中得到的。

11.根据权利要求10所述的系统，其中，所述第一区块使得所述至少一个第一特征图的尺寸小于所述第一彩色图像的尺寸。

12.根据权利要求10所述的系统，其中，

当所述卷积块在具有所述第一感受野大小的对应第一视野中考虑所述第一彩色图像的所述第一部分和所述第二部分中的每一个时，不将归属于所述第一彩色图像的所述第一部分和所述第二部分的任何一个的语义编码到所述局部信息中；和

当所述全局池化层在具有所述第二感受野大小的对应第二视野中同时考虑所述第一彩色图像的所述第一部分和所述第二部分时，将归属于所述第一彩色图像的所述第一部分和所述第二部分的第一语义编码到所述全局信息中，其中所述第一彩色图像的所述第一部分与所述第二部分之间存在色彩一致性关系。

13.根据权利要求10所述的系统，其中，

当所述卷积块在具有所述第一感受野大小的第一视野中考虑所述第一彩色图像的所述第一部分和所述第二部分中的一个时，将归属于所述第一彩色图像的所述第一部分和所述第二部分中的一个的第一语义编码到所述局部信息中；和

当所述全局池化层在具有所述第二感受野大小的对应第二视野中同时考虑所述第一彩色图像的所述第一部分和所述第二部分时，将归属于所述第一彩色图像的所述第一部分和所述第二部分的第二语义编码到所述全局信息中，其中所述第一彩色图像的所述第一部分与所述第二部分之间不存在所述色彩一致性关系。

14.根据权利要求10所述的系统，其中，所述放大层是不具有可学习参数的上采样层。

15.根据权利要求14所述的系统，其中，所述上采样层用于通过对所述至少一个第三特征图执行双线性插值操作以对所述至少一个第三特征图进行放大。

16.根据权利要求10所述的系统，其中，所述第一跳跃连接用于通过对所述至少一个第二特征图和所述至少一个第四特征图执行按元素求和操作来融合所述至少一个第二特征图和所述至少一个第四特征图。

17.根据权利要求10所述的系统，所述步骤还包括：

通过译码器接收并处理所述至少一个第一特征图，其中所述译码器用于输出从所述至少一个第一特征图生成的第二彩色图像，其中，鉴于所述第一彩色图像的所述第一部分和第二部分之间的色彩一致性关系是否存在，修复所述第一彩色图像的所述第一部分所对应的所述第二彩色图像的第一部分以及所述第一彩色图像的所述第二部分所对应的所述第二彩色图像的第二部分，其中所述译码器包括多个卷积块。

18.根据权利要求17所述的系统，其中，所述码器使所述第二彩色图像的尺寸大于所述至少一个第一特征图的尺寸。

19.一种非暂态计算机可读介质，存储有程序指令，当至少一个处理器执行所述程序指令时，使所述至少一个处理器执行步骤：

编码器接受并处理第一彩色图像，

其中，

所述第一彩色图像包括位于所述第一彩色图像的不同位置的所述第一彩色图像的第一部分和第二部分；

所述编码器用于输出至少一个第一特征图，所述至少一个第一特征图包括融合的全局信息和局部信息，则所述第一彩色图像的所述第一部分和所述第二部分之间是否存在色彩一致性关系被编码到所述融合的全局信息和局部信息中，其中，所述编码器还包括：

第一区块；

第二区块；和

第一跳跃连接，

其中，

所述第一区块包括：

卷积块，用于输出包括所述局部信息的至少一个第二特征图，且包括第一感受野；

所述第二区块包括：

全局池化层，用于对所述至少一个第二特征图进行全局池化，输出至少一个包含所述全局信息的第三特征图，且包括第二感受野，所述第二感受野宽于所述第一感受野；和

放大层，用于放大所述至少一个第三特征图，并输出至少一个第四特征图，所述至少一个第四特征图与所述至少一个第二特征图具有相同尺寸且包括所述全局信息；

所述第一跳跃连接，用于融合所述至少一个第二特征图和所述至少一个第四特征图，并产生所述至少一个第一特征图，则所述至少一个第一特征图与所述至少一个第二特征图的通道数相同，其中，所述融合的全局信息和局部信息从所述全局信息和所述局部信息中得到的。

Images