CN110322530A - 一种基于深度残差网络的可交互图像着色 - Google Patents

Abstract

深度学习(Deep Learning)技术近年来在图像处理领域有不错的成果，其中一些优秀的图像着色方法虽然达到了逼真的效果，但仍有提升空间，并且在使用体验上有一定的提升空间。本发明提出一种基于深度残差网络的可交互图像着色；其针对灰度图着色。主要过程为：首先基于卷积神经网络(Convolution Neural Network，CNN)，设计了一个可同时输入颜色主题和彩色点两种着色输入，并最终输出相关灰度图像的ab通道的网络模型，通过在网络中输入灰度图的L通道梯度图来优化图像边缘部分着色效果，并为该模型设计了合适的损失函数来实现同时或者单独使用两种着色方法进行着色，同时得到自然真实的着色效果。同时本发明通过学习残差思想，在着色网络后添加残差神经网络(Residual Neural Network，RNN)来学习CNN网络输出ab通道的残差图像对结果进行修正，从而进一步提高着色效果。

Description

一种基于深度残差网络的可交互图像着色

技术领域

本发明涉及深度学习和图像着色领域，可以应用于图像着色，通过颜色主题和彩色点对图像进行全局和局部着色。

背景技术

图像处理(image processing)是指将图像信号转换成数字信号，并利用计算机对其进行处理的过程。在图像处理包含的各种方向中，图像着色(image colorization)一直是图像处理领域的重要组成部分，其目的简单来说，就是为目标灰度图像中的每个像素分配一个颜色值。

目前已有的方法可以根据着色操作的交互方式分为3类：用户指导着色(User-guide Colorization)，在传统算法中，通过在相似纹理上扩散用户添加的颜色进行着色，而在近年的深度学习方法中，将用户添加的颜色与灰度图同时作为网络输入，网络通过损失函数的约束来学习正确的颜色，从而实现着色；基于示例的半自动着色(Example-basedSemi-automatic Colorization)，即使用与灰度图内容相似的参考图像来进行颜色转移，将参考图像中的颜色转移到灰度图中相似的纹理上，以达到着色的目的；全自动着色(Automatic Colorization)即算法仅通过分析灰度图中的纹理等信息，自动为图像的各个部分选择合适的颜色进行着色。第一种方法适合愿意花费较多时间和经历来为图像增加颜色点或笔画来进行精细着色的用户，后面两种方法适合希望花费较少时间来为批量图像做大致着色的用户。

深度学习在图像着色上有快速、高效、效果好等有点，目前已有的基于深度学习的着色方法能实现比较真实自然的着色效果，但是都只能单独使用参考图像或颜色直方图等方法进行全局着色，或只能单独使用彩色点或涂鸦进行局部着色，不能很好地满足广泛用户的使用需求，比如仅使用全局着色时，不能仅修改不满意区域的羞涩；仅使用局部着色时，需要为图像的每个部分添加颜色，这可能会花费大量时间。

本发明基于卷积神经网络的基础，搭建了可以同时融合颜色主题和彩色点对图像进行着色的网络，并设计了合适的损失函数实现了两种着色方式可以单独或同时进行的可交互图像着色方法，同时保证了着色结果的自然和真实。在此基础上，基于残差学习思想搭建了残差网络模块，在着色网络结果的基础上训练输出残差图像，对着色网络输出的ab通道进行修正，进一步提高了着色效果。所以，本发明在保证着色效果的基础上，实现了新颖的，且更适合用户操作的着色方式，进一步提高了深度学习着色的实际意义。

发明内容

本发明将基于颜色主题着色的全局着色方式和基于彩色点着色的局部着色方式结合起来，在深度学习的基础上，搭建了同时融合两种着色方式的卷积神经网络，该网络最终输出 ab通道，与输入的L通道结合得到被着色的图像，为了达到该效果，本发明也为该网络设计了一个合适的损失函数来约束网络学习。接着，在着色网络的基础上，搭建了残差网络模块，来学习一个残差图像修正输出的ab通道，使最终着色结果更自然真实。

本发明内容由两个部分组成，首先是基于卷积神经网络的着色网络的搭建，然后是基于残差学习思想的残差网络模块的搭建。

1.基于卷积神经网络的着色网络的搭建

基于卷积神经网络的着色网络的搭建由两个部分组成：着色网络的设计，以及损失函数的设计。

1.1着色网络的设计

着色网络使用了U-Net结构作为网络的基础架构，同时包含了多个输入：灰度图(L通道)、L通道梯度图，局部输入和全局输入。本文的网络模型可分为四个部分：特征提取模块，全局输入模块，扩张模块和重建模块，如图1所示。

首先将基于CIE L*a*b彩色空间的图像的L通道X，L通道的梯度图像X_L和局部输入U_l做卷积操作，使用大小为3×3、步长为1的卷积核将这三部分卷积成H和W不变，通道数变为64的张量，分别为Conv1，Conv1_2和Conv1_3，将这三部分进行相加操作(element-wisesummation)，即将64个通道内的信息相加，得到一个H×W×64的张量作为网络的输入。在图中的第2至14层中，我们使用大小为3×3、步长为1的卷积核来处理张量，得到大小不变的输出，在下采样时，使用深度可分离卷积(depth-wise convolution)，即使用大小为1×1，步长为2的卷积核来得到大小减半，通道数不变的输出张量，在每次下采样之后，在通过卷积增加一倍通道数，详细网络细节参数见表1.1。在Conv14后，输出张量为H/8×W/8×512 的张量。

表1.1特征提取模块细节

全局模块也是本发明的创新之一，即使用颜色主题作为全局输入，所以需要将颜色主题包含的颜色特征信息传输到网中，并最终作用在灰度图上，详细网络细节见表1.2。全局输入模块的输入U_g包含了颜色主题中颜色的ab通道和一个表示颜色个数的遮罩M_g。为了让颜色主题的特征信息可以融入到主网络中，本发明首先将颜色主题进行变形操作(reshape) 得到张量1×1×15，然后使用大小为1×1、步长为1的卷积核对该张量进行四次卷积操作，得到1×1×512的张量，通道数为512是为了和特征卷积模块的输出通道数一致，此时将两个模块的输出进行相加操作得到扩张卷积的输入。

表1.2全局输入模块细节

扩展模块对于混合用户输入和提取的特征来说是非常重要的一个部分，因为扩张卷积可以扩大感受野，避免出现奇怪的颜色。比如在一片绿色的森林中，出现一颗黄色的树会很奇怪，除非用户使用局部输入指定了这颗树为黄色，扩大感受野就可以避免出现这种奇怪的现象，让物体能根据周围事物的可能颜色来着色，使着色效果能更加真实和自然。在这个模块中，有6层扩张卷积来处理输入张量，扩张卷积的卷积核的大小3×3，步长为1，扩张率 (Dilation)为2，且扩张卷积不改变张量的大小与通道数，所以该模块的输出为 H/8×W/8×512。

在扩张卷积后，特征张量作为输入进入到重建模块，重建模块的作用是将特征张量还原到原图大小并输出2通道，即输出图像的ab通道，该模块由一系列卷积层和反卷积层组成，详细细节见表1.3。在这个模块内，通过反卷积操作来进行上采样，在反卷积层Conv24， Conv27，Conv29中使用大小为4x4，步长为2的卷积核使特征张量的大小加倍，同时，因为本方法采用了U-Net结构，所以Conv10_short，Conv6_short，Conv3_short分别是将Conv10， Conv6，Conv3的输出进行卷积，得到与反卷积层大小、通道数一致的特征向量，然后相加，这个操作可以将浅层的特征信息传递给深层网络，即整合浅层网络简单特征和深层网络复杂特征等多尺度信息来进行学习，使得卷积的输入更加丰富，这样得到的结果能反映出更多图像的原始信息，从而提升着色效果。最终，重建模块输出一个2通道的向量H×W×2，即ab 通道，将该向量与输入的L通道图像X∈R^H×W×1融合后，即得到着色后的彩色图像O∈R^H×W×3。

表1.3重建模块细节

1.2损失函数的设计

为了给灰度图着色，最直接的方法就是测量原图的ab通道Y∈R^H×W×2和输出的ab通道 O∈R^H×W×2之间的距离。此时可以采用Huber损失函数，即平滑的平均绝对值误差，可以得到更加饱和更加自然的着色，从本质上来说Huber损失是绝对值误差，当误差很小时，变为平方误差，而这个变化的界限由超参数δ决定，这部分的损失函数见公式(1)：

在这里，δ使用默认值1。

然而，在仅使用这一个损失函数时，全局输入的影响在图像的着色结果上表现得并不明显，比如比如使用不同颜色组成的全局输入时，输出的彩色图颜色变化不大，而且由于全局输入的影响，在图像的背景上可能会出现奇怪的颜色斑块，因此需要在损失函数中增加输出图像与颜色主题颜色之间的约束。首先使用K-means算法为数据集中的原图生成了包含相应 3至5种颜色的颜色主题，然后将原图中的每个像素根据颜色进行分类，将其标记为与颜色主题中最接近的颜色的序号，然后使用颜色主题中的颜色，来替换原图具有相同序号的像素的颜色，最终生成颜色映射图，颜色映射图的生成过程如图2所示。使用颜色映射图的ab通道I∈R^H×W×2来计算颜色主题与输出图像之间的距离来作为损失函数的第二部分，全局损失函数

因此，此时的损失函数为：

其中α₁和α₂是用来平衡两部分损失函数的参数。由于期望的结果是真实自然同时能呈现出全局着色中的颜色，所以通过进行不同参数比例的实验确定了α₁＝0.9，α₂＝0.1，因为这个比例下的输出结果几乎没有奇怪的颜色出现，颜色溢出情况较少，且着色效果更加符合颜色主题。

本文方法的创新点之一就在于能够同时训练全局输入和局部输入着色，所以当同时输入两种颜色约束时，它们会互相影响，因为全局输入是将颜色主题中的颜色放置到应该具有该颜色的纹理上，而局部输入是用户在某处添加颜色点后，颜色会在对应的纹理上和边界内进行扩散，以达到局部着色的效果。当局部着色的颜色与颜色主题不同时，容易出现颜色不均匀或颜色溢出的情况，所以我们使用输出图像的梯度图和原图的梯度图的MSE损失来增加图像纹理、边界对颜色的约束，减少颜色溢出的情况和加强颜色在纹理上的连续性，梯度损失为：

Sobel表示生成梯度图的sobel算子。为了让损失函数中的三个部分在大致相同的量级上，我们给乘以10以跟前两个部分量级一致，后续实验证明，减少了颜色溢出，也有助于颜色扩展分布的效果。

所以，最终的损失函数为：

其中，在α₁＝0.9，α₂＝0.1，α₃＝10时取得最好效果。

2.基于残差学习思想的残差网络模块的搭建

基于残差学习思想的残差网络模块的搭建包括两个部分：残差网络模块的设计和损失函数的设计。

2.1残差网络模块的设计

首先，将原着色网络的输出ab通道和灰度图L通道合并(concat)，作为残差网络模块的输入，因为我们的目标是让网络学习更多的原图细节信息来修正原始着色网络的输入，所以再一次输入原图有助于提供原始信息来修正最终输出的ab通道。输入张量通过卷积核大小为3x3，步长为1的卷积层后得到大小不变，64通道的特征张量，接下来张量将通过连续8 个相同的残差块，整个残差网络部分不会对张量进行下采样操作，所以特征张量大小始终不变，同时在残差块中，通道数也同样保持不变，如图3所示。

表2.1残差网络模块细节

每个残差块中有2层卷积，其卷积核大小均为3x3，步长均为1，不同的是，第一个卷积使用ReLu激活函数，而第二个卷积层不使用激活函数，在图中可以看出，第一个卷积层的输入会和第二个卷积层的输出相加，作为下一个残差块的输入，以此形成了残差函数。经过8个残差块之后，特征张量已经逐步包含了足够的原图结构细节等信息，然后将张量通过两层卷积，保持张量大小不变，通道数先后为256和2，此时特征张量的大小、通道与卷积着色网络的输出一致，即到了ab通道的残差修正图像，将其与着色网络的ab通道相加，得到最终的ab通道，再与L通道合并后得到最终的着色图像，残差网络部分的详细参数如表2.1 所示。

2.2损失函数的设计

残差网络作用是进一步提取和学习原图细节特征，生成残差优化着色效果，使得输出颜色更加接近原图真实的颜色，所以我们直接使用绝对值来测量输出颜色O∈R^H×W×2与真实图像Y∈R^H×W×2之间的距离，从而约束网络的输出接近真实图像颜色，所以这部分的损失函数为：

附图说明

图1为着色网络图。

图2为颜色映射图的生成示意图。

图3为加入了残差网络模块的最终着色网络示意图。

图4为本发明结合两种交互着色方式的着色结果展示。

图5为将本发明中的深度学习算法嵌入到系统中的实现方案，可以快速上传需着色图像、颜色主题及添加彩色点。

具体实施方式

实施方式即将需要着色的图片和两种用户输入输入到训练好的网络模型中，网络模型通过训练时学习到的信息，根据用户输入的颜色，输出相应的ab通道。

准备好已经训练好的网络模型，按照下面两个步骤处理：

步骤1、选择需要着色的图像，网络再输入时提取图像的L通道作为灰度图输入；

步骤2、选择3-5个颜色作为颜色主题，以及在需要指定颜色的地方添加彩色点，作为用户输入输入到网络中；

步骤3、网络根据训练时学习到的信息，输入通过网络后输出ab通道，与L通道融合的到着色后的图像。

Claims (4)

1.一种基于深度残差学习的可交互图像着色方法，其特征在于，包括如下两个步骤：

步骤1、基于卷积神经网络的着色网络模型的设计；

步骤2、同时或单独实现两种着色方法的损失函数的设计；

步骤3、基于残差学习思想的残差神经网络模块的设计。

2.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤1中，基于卷积神经网络的着色网络模型的设计，具体包括如下两个步骤：

步骤2.1、基于深度学习相关的已有成果，选择卷积神经网络作为着色网络，输入通过卷积、下采样、上采样等操作最终输出ab通道，其中通过扩张卷积层扩大感受野。

步骤2.2、根据着色需要，确定网络模型的输入包括图像的L通道(灰度图)、L通道梯度图、颜色主题输入、彩色点输入，其中L通道梯度图用来优化边界颜色溢出的情况，颜色主题和彩色点作为两种着色方法的输入。

3.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤2中，基于卷积神经网络的着色模型，其损失函数包括如下部分：

步骤3.1、通过计算真实图像与输出图像之间的Huber函数，来约束输出的ab通道趋近于真实图像的ab通道：

步骤3.2、通过K-means算法，得到真实图像中数量最多的3-5种颜色，形成着色用的颜色主题，并且将每个像素映射到最接近的颜色，形成颜色映射图，通过计算颜色映射图与输出图像之间的Huber函数，来约束输出图像的ab通道趋近于颜色主题中的颜色：

步骤3.3、通过Sobel算法，可以得到图像的梯度图，通过计算真实图像的梯度图和输出图像的梯度图之间的MSE，来约束输出图像的纹理等信息进一步趋向于真实图像：

所以最终的损失函数为：

其中，在α₁＝0.9，α₂＝0.1，α₃＝10时取得最好效果。

4.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤3中，基于残差学习思想的残差模块的设计，具体包括如下部分：

步骤4.1、将步骤3中的着色网络的输出与灰度图融合，通过8层残差网络后，得到ab通道的残差结果，将其与着色网络的输出融合，对其进行修正，得到具有更多原图细节的图像。

步骤4.2、通过计算残差网络模块的输出与真实图像之间的差值，约束最终输出的ab通道趋近于真实图像的ab通道。