CN111861940A

CN111861940A - 一种基于条件连续调节的图像调色增强方法

Info

Publication number: CN111861940A
Application number: CN202010759753.6A
Authority: CN
Inventors: 何静雯; 刘翼豪; 乔宇; 董超
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2020-10-30

Abstract

本发明公开了一种基于条件连续调节的图像调色增强方法。该方法包括：构建基网络用于进行输入图像到输出图像的映射，其中所述基网络是包括多个卷积层的第一浅层卷积网络；在所述基网络进行输入图像至输出图像映射的过程中，基于学习的条件向量对所述基网络的中间特征进行调节，其中，所述条件向量是根据所构建的条件网络学习输入图像至输出图像转换的全局信息，并基于该全局信息转换获得，所述条件网络是包括多个卷积层的第二浅层卷积网络。本发明能够更精准地解决全局调色问题，用很少的参数量拟合全局的图像操作，从而有效地对亮度、对比度和饱和度等进行调节。

Description

一种基于条件连续调节的图像调色增强方法

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于条件连续调节的图像调色增强方法。

背景技术

图像的调色增强可以通过一系列图像处理操作显著改善图像的视觉质量，例如改变亮度和对比度。手动调色需要专门的技能培训，因此对于普通使用者而言具有挑战性。即使对于是专业调色师，对于海量的图片也需要进行繁琐的重复性的编辑工作。因此，自动的图像调色增强显得尤为重要。这种自动调色装置可以安装在智能手机中，以帮助普通使用者获取视觉上令人愉悦的照片，也可以内置在照片编辑软件中为专家提供编辑参考。

在现有技术中，主要存在以下技术方案：

1)、利用深度照明估计的照片增强。首先估计一个光照亮度映射图，然后使用光照亮度映射图处理欠曝照片。具体地，该方法使用基于双边网格的上采样，并设计一个在光照上采用各种约束条件和先验的损失函数，使其能够有效地恢复出自然曝光的照片。

2)、深度双边学习方法。通过多次卷积下采样分别学习全局特征和局部特征，然后结合这两种特征并将其转换到双边网格之中。该方法对输入图像做仿射变换得到引导图，来引导双边网格做空间和颜色上的插值，以恢复到和输入图像一样大小。最后使用得到的特征系数对原图像做仿射变换，得到输出图像。

3)、基于强化学习的方法。该方法将调色分解成一系列图像处理的操作，对应于强化学习过程中的每一个决策。这些图像处理的操作有对比度的调整，色度的校正，伽马校正。

4)、构建深度照片增强器。利用卷积神经网络来学习一个图片到图片的映射，并利用生成对抗训练来更好的达到颜色增强的目的。然而这种生成对抗的策略本身很难训练，且有很大的参数量。

经分析，现有技术方案主要存在以下缺陷：

1)、基于物理建模的方法试图估计所提出的物理模型或图像增强假设的中间参数。然而，由于实际数据的非线性和复杂性，当输入图像的分布与模型假设不匹配时，基于物理模型的方法会变得不可靠。

2)、基于强化学习的方法目的是显式地模拟人对图像的处理过程。这种方法将颜色增强问题转化为马尔可夫决策过程(MDP)，将每一步操作定义为一个全局颜色调整操作。然而，这种方法需要预先定义一系列的调色操作，一旦操作定义不好，便会影响效果。并且，这种方法的计算复杂度和代价也较高。

3)、构建深度照片增强器的方法将图像增强看作是一个图像到图像的转换问题，它直接学习输入和增强图像之间的端到端映射，而不需要建模中间参数。然而这种方式训练较为困难，容易引入噪声，同时会改变图像原来的纹理。而且，这种方法通常需要较多的参数。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于条件连续调节的图像调色增强方法，其是通过构建轻量级的基网络和条件网络来处理图像调色增强的新的技术方案。

本发明提供一种基于条件连续调节的图像调色增强方法。该方法包括以下步骤：

构建基网络用于进行输入图像到输出图像的映射，其中所述基网络是包括多个卷积层的第一浅层卷积网络；

在所述基网络进行输入图像至输出图像映射的过程中，基于学习的条件向量对所述基网络的中间特征进行调节，其中，所述条件向量是根据所构建的条件网络学习输入图像至输出图像转换的全局信息，并基于该全局信息转换获得，所述条件网络是包括多个卷积层的第二浅层卷积网络。

在一个实施例中，对基网络的每一卷积层对应设置一个全连接层，用于将条件向量转换为调节参数以调节所述基网络的中间特征，表示为：

y_i＝α·x_i+β

α和β是通过全局信息学习到的转换参数，x_i是所述基网络产生的中间特征图。

在一个实施例中，所述基网络包括3层卷积层，每一个卷积层的卷积核设置为1×1，在所述基网络进行输入图像至输出图像映射的过程中，分别对每个卷积层提取的特征进行调节。

在一个实施例中，所述条件网络包括3层卷积层。

在一个实施例中，所述全局信息表征针对亮度的调节、对比度的调节或饱和度的调节。

在一个实施例中，该方法还包括通过增大所述基网络的感受野或增加增大所述基网络的层数来提取局部信息，进而对局部信息进行调节。

相对于目前基于深度学习和强化学习的调色增强方法，本发明不仅在PSNR(峰值信噪比),SSIM(结构相似性)等指标超过现有技术，而且将参数量从百万级显著降低至3万多，从而为应用于处理能力受限的客户端提供了可能性；本发明更能精准解决全局调色问题，用很少的参数量拟合全局的图像操作，例如对比度的调节，亮度的调节，饱和度的调节，而现有技术中，并没有针对性分析这些图像处理的操作，而是简单地将调色增强当作一个图像到图像映射的子任务。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于条件连续调节的图像调色增强方法的流程图；

图2是根据本发明一个实施例的基于条件连续调节的图像调色增强方法的模型示意图；

图3是根据本发明一个实施例的基于条件连续调节的图像调色增强方法的模型示例；

图4是根据本发明一个实施例的应用场景图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

参见图1，本发明实施例提供的基于条件连续调节的图像调色增强方法包括以下步骤：

步骤S110，构建包含多个卷积层的基网络实现输入图像至输出图像的映射。

具体地，结合图2和图3所示，使用一个基网络来进行输入图像(图片)到输出图像的映射。该基网络的层数可以低至3层，而且所有的卷积核的大小均可设置为1×1。

现有的基于深度学习的调色增强方法通常使用常见的卷积神经网络来提取特征，或者是学习图片到图片的映射，相对于现有技术，该实施例构建的极其轻量级的基网络，能够显著降低参数量，低至几千个。

步骤S120，构建包含多个卷积层的条件网络来提取全局信息。

仍结合图2所示，使用一个条件网络来提取全局信息。该条件网络也可以低至3层，参数量低至几万个。

在该实施例中，使用条件网络来提取全局信息，而在现有技术中，基于图片到图片转换方法并没有专门设计全局信息提取模块。

步骤S130，通过条件网络得到全局信息后，将全局信息转换成条件向量，进而利用条件向量对基网络的中间特征进行调节。

例如，使用全连接层将条件向量转换成调节参数α和β用于调节基网络的中间特征，表示为：

y_i＝α·x_i+β

其中，α和β是通过全局信息学习到的转换参数，x_i是基网络中产生的一个特征图。通过这种方式，可对基网络中各卷积层的提取的中间特征分别进行调节，或者也可对部分卷积层提取的中间特征进行调节。

上述全局信息通过训练获得，使用图像对进行训练，输入为调色前的图片，输出为调色后的图片。根据训练过程，全局信息可以用于表征包括但不限于针对亮度的调节、对比度的调节、饱和度的调节。

需要说明的是，对于基网络的中间特征调节，优选地，每个调节层对应一个全连接层，即单个通道的特征图对应一个α和β，通过这种方式，能够精准调节基网络的各中间特征。

为进一步的理解本发明和现有技术的区别，结合图3所示，本发明至少包括以下创新点：

1)、设置基网络对图像进行全局映射。

基网络的卷积核可设置为1×1，可以对图像(图片)进行全局映射，这种设置参数量非常少。并且，可以通过增大卷积核来对图像的局部特征进行调整。

2)、设置包括卷积神经网络和池化层的条件网络，用于提取全局信息。

条件网络的卷积层可以通过使用步长2来逐步对特征图进行下采样，这样可以节省参数量。条件网络的最后一层可利用池化操作(如平均池化)将特征图变成特征向量。

3)、使用全连接层将条件网络产生的条件向量转换成调节参数，用于调节基网络中卷积层提取的特征图。

例如，使用全连接层将条件向量z转换成调节参数α和β，用于调节基网络的卷积层提取的特征图(相当于在基网络中增加了多个调节层)，即y_i＝α·x_i+β，其中x_i是基网络中卷积层提取的一个特征图，y_i是调节后的特征图。

概括而言，本发明设置的基网络、在基网络中增加调节层、设置条件网络，以及使用全连接层将条件向量转换成调节参数等均是本发明为解决目前参数量多、全局调色效率差而提出的特有设计。而在现有技术中，常用方法仅是构建一个深度基网络来实现输入图像至输出图像之间的全局映射。

利用本发明可扩展现有电子设备的功能，例如，参见图4所示，将本发明的调色算法实现为手机中的调色模块，将移动端图像处理app、手机拍照或专业修图软件等产生的图片，作为调色模块的输入图片，即可获得进行了调色增强的输出图片。

应理解的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行改变或变型，例如根据处理效率和处理精度要求，采用不同层数的基网络或条件网络，或设置不同卷积核等。此外，本发明具备灵活性和可扩展性，例如，可以通过一些轻微的修改而能对局部信息进行调整，例如一些边缘的锐化程度等。具体操作是增大基网络的卷积核的感受野，让其可以提取一些局部信息或者加深基网络的层数。

本发明第一次创新地提出基于全局信息对网络中的中间特征进行调整。所提出的统一的卷积网络框架，结合了颜色分解和顺序处理的思想，可以隐式地学习调色增强操作而无需中间的监督。而在现有技术中，并没有采取这样方式来解决图像调色增强的技术方案。

在现有技术中，研究人员一直致力于解决如何将百万级的参数降低，以提高图像增强的处理效率，使其可以应用于处理能力相对有限的电子设备(如手机、IPAD等)。通过对调色操作进行大量分析和验证，本发明提出了将调色操作用很浅层的1x1卷积网络(基网络)来拟合。而对于某些需要全局信息的调色操作，另外设计一个浅层卷积网络(条件网络)来提取全局信息。然后使用提取出来的全局信息来对基网络中的中间层进行调整，从而全局信息能够对最后的调色结果产生作用。本发明基于所分析的全局调色的关键点，将卷积网络拟合调色操作和全局信息的提取相结合，精准地设计一个很轻量的网络来解决全局调色的问题，能够显著减低参数量，提高处理效率。经验证，本发明能够将100万的参数减少到3万7千但是有非常好的调色效果，并且在PSNR和SSIM等指标上可以现有超过现有方法，参数量却只有现有最小网络参数的1/10不到。

综上所述，相对于现有技术，本发明能够解决以下技术问题：

1)、现有方法参数量大，效率低。

现有的大部分图像增强调色算法是利用输入/输出图像对学习一个图片到图片的映射关系，从而达到调色的目的。然而，训练这样一个图像映射网络通常需要较深的卷积网络，较大的感受野，上采样下采样模块。这样会导致很大的参数量和运算量，以及很长的训练时间。而基于强化学习的方法也同样具有以上缺点。

2)、现有方法不能够针对性解决全局的调色增强问题。

在很多真实应用场景中，调色增强是一个全局的图像操作过程。例如，亮度的调整，对比度的调整，色调映射和查找表等等。然而现有的方法都不是专门解决全局调色的问题，而是考虑了局部模式，仅会对图片的纹理有更改。并且由于现有方法需要考虑局部模式，会给模型带来一些额外的参数，因此使用这样的模型来解决全局调色问题，效率较差。

3)、现有方法鲁棒性差。

现有基于物理模型的方法依赖于所使用的模型和假设，一旦输入数据不符合假设，会出现调色失真的情况，这样的方法鲁棒性差。

本发明技术应用范围广泛，可以用于对摄影作品、影视作品进行图像调色增强，使得图像作品视觉效果更加生动饱满。例如，对过曝/欠曝的图片调整亮度，使其处于正常的曝光水平；对对比度偏高或偏低的图片进行调整，使图像中的重要内容能够凸显出来；对饱和度不平衡的图片进行增强，使图像色彩更加饱满生动。此外，由于本发明显著降低了参数量，可以应用到处理能力相对受限的电子设备，如手机，作为手机拍照的调色模块，而且可以应用到手机软件中，对用户的图片进行调色处理。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims

1.一种基于条件连续调节的图像调色增强方法，包括以下步骤：

2.根据权利要求1所述的方法，其中，对基网络的每一卷积层对应设置一个全连接层，用于将条件向量转换为调节参数以调节所述基网络的中间特征，表示为：

y_i＝α·x_i+β

3.根据权利要求1所述的方法，其中，所述基网络包括3层卷积层，每一个卷积层的卷积核设置为1×1，在所述基网络进行输入图像至输出图像映射的过程中，分别对每个卷积层提取的特征进行调节。

4.根据权利要求1所述的方法，其中，所述条件网络包括3层卷积层。

5.根据权利要求1所述的方法，其中，所述全局信息表征针对亮度的调节、对比度的调节或饱和度的调节。

6.根据权利要求1所述的方法，其中，该方法还包括通过增大所述基网络的感受野或增加增大所述基网络的层数来提取局部信息，进而对局部信息进行调节。

7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述方法的步骤。

8.一种电子设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的方法的步骤。