CN109920012A - 基于卷积神经网络的图像着色系统及方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的图像着色系统及方法，其中，图像着色系统包括：低级特征网络，用于对待着色的灰度图像进行低级特征提取，得到图像低级特征；局部特征网络，用于将所述图像低级特征进行局部特征提取，得到图像局部特征；语义特征网络，用于将所述图像低级特征进行语义信息学习，得到图像语义特征；图像着色网络，用于将所述图像局部特征和图像语义特征进行融合得到彩色图像。本发明增加了图像分割网络，通过提取图像的深层语义特征用于指导图像着色，并结合联合双边过滤上采样，对着色结果进行平滑处理，提升了灰度图像着色的准确度，减少了语境混淆和边缘彩色混合的现象。

Description

基于卷积神经网络的图像着色系统及方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于卷积神经网络的图像着色系统及方法。

背景技术

灰度图像彩色化在历史照片和视频处理、文艺品修复以及医学影像方面有广泛的应用前景。传统的图像着色方法主要分为两种类型：基于局部颜色扩散[1]的方法，以及基于参考图[2]的方法；但是，这两种传统方法都需要用户的参与才能完成。第一种方法需要用户指定整张图片的颜色，并且在目标图片上标注一定数量的彩色笔刷作为着色的参考依据，再扩展颜色；这种方法的着色效果较好，但是需要处理复杂的图像纹理和用户进行干涉。第二种方法在着色过程中尽可能消除用户干涉，但是这种方法需要一张彩色图片作为参考图来传递颜色信息，得到根参考图类似的着色效果，然而要找到一张合适的参考图并不容易。

随着深度学习技术的发展，利用卷积神经网络来进出图像着色和分割处理已经成为一张趋势。最近的着色算法[3]都采用神经网络来提取灰色图像的语义特征，并参考图像的语义特征进行着色，例如，Iizuka等人[4]提出利用卷积神经网络结合图像的全局特征和局部特征进行着色，对于户外景观照片取得了令人满意的结果。但是，当灰度图片包含复杂场景和实体对象时，往往经典算法着色效果不佳，例如Iilzuka的方法，容易产生语境混淆和边缘色彩混合的现象，因为往往一个实体可以有不同颜色，比如背包可以是黑色也可是红色。

[1]Welsh T,Ashikhmin M,Mueller K.Transferring color to greyscaleimages[J].Acm Transactions on Graphics,2002,21(3):277-280.

[2]Levin A,Lischinski D,Weiss Y.Colorization using optimization[J].Acm Transactions on Graphics,2004,23(3):686-691.

[3]Deshpande A,Rock J,Forsyth D.Learning Large-Scale Automatic ImageColorization[C].IEEE International Conference on Computer Vision.IEEEComputer Society,2015:567-575.

[4]Iizuka S,Simoserra E,Ishikawa H.Let there be color！:joint end-to-end learning of global and local image priors for automatic imagecolorization with simultaneous classification[J].Acm Transactions onGraphics,2016,35(4):1-11.

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于卷积神经网络的图像着色系统及方法，提升灰度图像着色的准确度。

本发明的目的是通过以下技术方案来实现的：基于卷积神经网络的图像着色系统，包括：

低级特征网络，用于对待着色的灰度图像进行低级特征提取，得到图像低级特征；

局部特征网络，用于将所述图像低级特征进行局部特征提取，得到图像局部特征；

语义特征网络，用于将所述图像低级特征进行语义信息学习，得到图像语义特征；

图像着色网络，用于将所述图像局部特征和图像语义特征进行融合得到彩色图像。

优选的，所述图像着色系统还包括：

双边过滤模块，用于对所述彩色图像进行双边过滤。

优选的，所述低级特征网络包括：

第一输入层，用于输入灰度图像；

第一卷积层，用于对所述灰度图像的低级特征进行提取，得到图像低级特征；

第一激活层，用于实现所述图像低级特征的非线性映射；

第一池化层，用于减小所述图像低级特征的大小；

所述语义特征网络包括：

第二卷积层，用于从所述图像低级特征中找出每个像素的类别，得到图像语义特征；

第二激活层，用于实现所述图像语义特征的非线性映射；

第二池化层，用于减小所述图像语义特征的大小；

所述局部特征网络包括：

第三卷积层，用于对所述图像低级特征进行进一步细化，得到图像局部特征；

第三激活层，用于实现所述图像局部特征的非线性映射；

第三池化层，用于减小所述图像局部特征的大小。

优选的，所述第一卷积层的卷积核为3×3，步长为1×1；所述第三卷积层的卷积核为3×3，步长为1×1。

优选的，所述图像低级特征的计算公式为：

g^low＝σ₁(W₁×g+b₁)

其中，g^low为图像低级特征，σ₁()为激活函数，W₁为权重，b₁为偏置，W₁和b₁通过反向传播更新；

所述图像语义特征的计算公式为：

g^sem＝σ₂(W₂·g^low+b₂)

其中，g^sem为图像语义特征；g^low为图像低级特征；σ₂()为激活函数，W₂为权重，b₂为偏置，W₂和b₂通过反向传播更新；

图像着色网络在像素点(i，j)的输出为：

其中，g^sem为图像语义特征；σ₂()为激活函数，W₃为权重，b₃为偏置，W₃和b₃通过反向传播更新。

基于卷积神经网络的图像着色方法，包括：

获取待着色的灰度图像，并提取所述灰度图像的图像低级特征；

将所述图像低级特征进行局部特征提取，得到图像局部特征；

将所述图像低级特征进行语义信息学习，得到图像语义特征；

将所述图像局部特征和图像语义特征进行融合得到彩色图像。

优选的，所述图像着色方法还包括：

对所述彩色图像进行双边过滤。

优选的，提取灰度图像的图像低级特征，包括：

利用卷积操作对所述灰度图像的低级特征进行提取，得到图像低级特征；

利用激活函数实现所述图像低级特征的非线性映射；

对所述图像低级特征进行池化，减小所述图像低级特征的大小。

优选的，将所述图像低级特征进行语义信息学习，包括：

利用卷积操作从所述图像低级特征中找出每个像素的类别，得到图像语义特征；

利用激活函数实现所述图像语义特征的非线性映射；

对所述图像语义特征进行池化，减小所述图像语义特征的大小。

优选的，将所述图像局部特征和图像语义特征进行融合时，将所述图像局部特征和图像语义特征在每个空间像素点进行拼接。

本发明的有益效果是：本发明提出了一种基于卷积神经网络并结合图像语义特征的自动化着色方法，该方法增加了图像分割网络，通过提取图像的深层语义特征用于指导图像着色，并结合联合双边过滤上采样，对着色结果进行平滑处理，提升了灰度图像着色的准确度，减少了语境混淆和边缘彩色混合的现象。

附图说明

图1为本发明中基于卷积神经网络的图像着色系统的结构示意图；

图2为本发明中基于卷积神经网络的图像着色方法的流程示意图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-2，本发明提供一种基于卷积神经网络的图像着色系统及方法：

如图1所示，基于卷积神经网络的图像着色系统，包括低级特征网络、局部特征网络、语义特征网络、图像着色网络和双边过滤模块。

所述低级特征网络包括第一输入层、第一卷积层、第一激活层和第一池化层，用于对待着色的灰度图像进行低级特征提取，得到图像低级特征。

本实施例中，低级特征网络设置为共享结构。

所述第一输入层用于输入灰度图像g:H×W×1，其中，H表示灰度图像g的长度，W表示灰度图像g的宽度，1表示单通道(即灰度图)。

所述第一卷积层用于对所述灰度图像的低级特征进行提取，得到图像低级特征。具体的，第一卷积层进行卷积操作的主要目的是对灰度图像的图像低级特征进行提取和映射，卷积神经网络能够实现权值共享的关键就在于卷积操作。卷积操作的关键是卷积核(Kernel Size)和步长(Stride)，本实施例中，第一卷积层的卷积核为3×3，步长为1×1。

在本实施例中，采用10组卷积操作来提取图像低级特征，参数细节设置如表1所示。

表1低级特征网络参数

第一卷积层实现了对图像低级特征的提取，但是由于卷积操作实现的是线性运算，因此输出也是线性组合，所以，为了增加低级特征网络的学习和预测能力，在低级特征网络中设置了第一激活层。第一激活层主要利用激活函数实现非线性映射，本实施例中采用ReLU函数作为非线性单元：

f(x)＝max(0,x)

相较于现有的sigmoid函数和tanh函数等激活函数，ReLU函数的收敛速度更快，求导更容易，而且由于只有一个变量，计算量相对小很多。

图像低级特征的计算公式为：

g^low＝σ₁(W₁×g+b₁)

其中，g^low为低级特征网络的输出，即图像低级特征，σ₁()是非线性映射函数(激活函数)，W₁是权重，b₁是偏置，W₁和b₁通过反向传播更新。权重W₁是一个矩阵，它一一对应每个输入的特征，指示了某个特征的重要程度。偏置b₁是一个实数，相当于一个阈值。W₁和b₁这两个变量通过学习来更新，并存储在训练获取的低级特征网络模型中。在第一卷积层的训练过程中，梯度下降算法会逐步改变W₁和b₁的值，新的W₁和b₁会使损失函数的输出结果更小，从而逐步使得预测更加精准。W'的值通过下式来进行改变：

W₁'＝W₁-r*dW₁

其中，W₁'表示新的W₁的值，r表示学习步进/学习率(learningrate)，r用来控制W₁的变化步进的参数，dW₁是参数W₁关于损失函数的偏导数。也就是说，新的W₁的值等于旧的W₁的值减去学习率r与偏导数dW₁的乘积。

在低级特征网络中，第一卷积层根据训练好的W₁和b₁，利用上述运算模型根据每个像素的值以及与其对应的权重值和阈值来判断灰度图像中的图像低级特征。

所述第一池化层用于减小所述图像低级特征的大小。对图像低级特征进行池化操作的主要目的是在保留主要特征的同时减少下一层网络(局部特征网络和语义特征网络)的参数和计算量，防止出现过拟合。本实施例中，采用最大池化(Max Pooling)来减少特征映射的大小。所述低级特征网络中要进行4次池化操作。

所述语义特征网络利用低级特征网络输出的图像低级特征来提取图像语义特征。

本实施例中的语义特征网络采用的是基于全卷积的语义特征网络，通过输入图像低级特征来学习深度语义信息，并将图像的语义类标签作为监督信息指导语义特征网络的训练。

所述语义特征网络包括第二卷积层、第二池化层和第二激活层，第二卷积层用于从所述图像低级特征中找出每个像素的类别，得到图像语义特征；第二激活层用于实现所述图像语义特征的非线性映射；第二池化层用于减小所述图像语义特征的大小。

语义特征网络对输入的图像低级特征进行全卷积操作(FCN)，全卷积操作在局部输入域上执行并且依赖于相对空间坐标，第二卷积层可以从抽象特征中找出每个像素所述的类别，也就是说，提取图像深层语义信息的本质是从图像级别的分类进一步扩展到像素级别的分类，即像素到像素(Pixel to Pixel)的预测。所述语义特征网络的详细设置如表2所示。

表2语义特征网络参数

图像语义特征的计算公式为：

g^sem＝σ₂(W₂·g^low+b₂)

其中，g^sem为语义特征网络的输出，即图像语义特征；g^low为语义特征网络的输入，即图像低级特征；σ₂()是非线性映射函数(激活函数)，W₂是权重，b₂是偏置，W₂和b₂通过反向传播更新。

对于语义特征网络的训练，实质上是像素级别的分类问题，本实施例中采用交叉熵损失函数来进行训练。

其中，L_sem为语义分割网络的损失函数，g^sem为语义特征网络的输出，即图像语义特征；p是概率，其与训练集上的负对数相同。

上述交叉熵损失函数用于预测结果与真实值的差距，预测结果与真实值差的越多，则L_sem的值越大，即对当前模型的“惩罚”越大，而且是非线性增多(类似指数增长级别)，从而使得模型会倾向于让预测结果更接近真实样本标签。

所述局部特征网络用于将所述图像低级特征进行局部特征提取，得到图像局部特征。

本实施例中，局部特征网络首先在网络中通过3组卷积操作将图像低级特征进一步细化，得到图像局部特征，其卷积核为3×3，步长为1×1。局部特征网络的详细设置如表3所示。

表3局部特征网络参数

图像局部特征是由三组卷积操作对低级特征网络的输出进行进一步处理得到的输出由图像低级特征的512维矢量到256维矢量。在局部特征网络的第三卷积层的映射中，较小的块包含简单的边或形状特征，较大的块包含与对象的语义类别更密切相关的一些结构和纹理信息，局部特征网络的第三卷积层是对局部特征网络的第三输入层图像的特征进行进一步提取和细化的过程。所述局部特征网络中要进行两次池化操作。

所述图像着色网络用于将所述图像局部特征和图像语义特征进行融合得到彩色图像。本实施例中，图像着色网络在某像素点(i，j)的输出为：

其中，g_(u,v)为像素点(u,v)处的图像着色网络的输出，为像素点(u,v)在局部特征网络的输出，g^sem为语义特征网络的输出，即图像语义特征；σ₂()是非线性映射函数(激活函数)，W₃是权重，b₃是偏置，W₃和b₃通过反向传播更新。

图像着色网络进行图像着色的过程可以理解为图像局部特征和图像语义特征在每个空间像素点的拼接，有效的结合了图像局部特征和图像语义特征，并得到新的特征图。图像着色网络的详细设置如表4所示。

表4图像着色网络参数

所述图像着色网络中还设置有双边过滤模块，用于对所述彩色图像进行双边过滤，主要是去除色斑点和色彩低饱和的问题。

所述图像着色网络的损失函数采用均方差误差函数

其中，Z表示真实图像，表示网络预测结果。

所述语义特征网络的损失函数为交叉熵损失函数

本实施例最终的损失函数为

L_t＝α_cL_color+α_sL_sem

其中，α是用来平衡着色损失和语义分割损失的权重。

进行双边过滤时，对于一个像素p，在颜色通道ab的过滤结果是：

其中，f是空间类似于高斯核的空间过滤核，g是以灰度图像在p处的强度值为中心的过滤核，Ω是f的空间支持，k_p是归一化向量。

如图2所示，基于卷积神经网络的图像着色方法，包括：

S1.获取待着色的灰度图像，并提取所述灰度图像的图像低级特征；

所述步骤S1包括：

S11.获取待着色的灰度图像；

S12.利用卷积操作对所述灰度图像的低级特征进行提取，得到图像低级特征；

S13.利用激活函数实现所述图像低级特征的非线性映射；

S14.对所述图像低级特征进行池化，减小所述图像低级特征的大小。

S2.将所述图像低级特征进行局部特征提取，得到图像局部特征。

所述步骤S2包括：

S21.利用卷积操作从所述图像低级特征中找出每个像素的类别，得到图像语义特征；

S22.利用激活函数实现所述图像语义特征的非线性映射；

S23.对所述图像语义特征进行池化，减小所述图像语义特征的大小。

S3.将所述图像低级特征进行语义信息学习，得到图像语义特征。

将所述图像局部特征和图像语义特征进行融合时，将所述图像局部特征和图像语义特征在每个空间像素点进行拼接。

S4.将所述图像局部特征和图像语义特征进行融合得到彩色图像。

S5.对所述彩色图像进行双边过滤。

下面通过实验来对本发明的效果进行说明。

本实验采用PASCAL VOC 2012作为数据集，训练网络并且验证着色结果；PASCALVOC 2012数据集是一个常用的语义分割数据集，它包含20个对象类别(如车、人等)，本实验基于17125张图片训练，1440张图片用于测试和验证。

本实验训练网络时采用联合语义分割和着色损失函数来训练，并设置权重α_c:α_s＝1:100，因此这样两个损失在量级上基本相等，试验基于的GPU是NVIDIA Tesla K10。

本文方法的着色结果语境混淆现象基本消失，并且实体边缘着色效果也较好，对实体的着色合理并且减少了语境混淆和边缘混合的现象。

此外，将本发明的方法得到的结果和经典着色算法(Iizuka等人[4]的方法)对比，结果显示，Iizuka等人[4]的方法有很多色彩混合和语境混淆现象，以及对实体的着色有边缘色彩混合的现象，色彩失真的问题，而本发明的方法得到的着色结果在色彩的饱满度和自然度上比现有的方法从视觉感官上看色彩更饱满、更真实，着色效果也更自然。

为进一步评估实验结果，对于双边联合过滤采样，本发明给出一个大概的在三种情况下的峰值信噪比PSNR对比结果，分别是没有语义分割和JBF采样、仅有语义分割以及同时进行分割和JBF采样。其中PSNR由均方差MSE得到，定义如下：

表5不同方法的PSNR值对比

从表5的实验结果看出，三种不同设置的方法得到的PSNR值基本相等，说明联合双边上采样对于着色图片的质量没有影响，但是却增加了着色结果的自然度和丰富度，并且有助于保持图像实体的边界色彩信息，是可行的。

为进一步评估和验证本文算法的着色效果，我们邀请了50位年龄在20岁到30岁的用户参加用户研究，并随机挑选了原始灰度图片作为输入，和经典算法Iizuka等人(IizukaS,Simoserra E,Ishikawa H.Let there be color！:joint end-to-end learning ofglobal and local image priors for automatic image colorization withsimultaneous classification[J].Acm Transactions on Graphics,2016,35(4):1-11)、Larsson等人(Larsson G,Maire M,Shakhnarovich G.Learning RepresentationsforAutomatic Colorization[J].2016:577-593)的着色结果进行对比，进行了用户测试实验。

表6用户调查评估标准

根据表6的评估标准，综合用户实验结果，得到表7所示的对比结果，如，可以看出本发明的方法无论是在自然度还是在饱和度上都要优于经典算法。

表7用户研究平均分数

灰度图像彩色化有很大的应用价值和发展前景，在文物修复和医学影像应用方面有很大的前景。本发明在基于深度学习的经典着色方法基础上，提出了一种基于卷积神经网络并结合图像深层语义特征的自动着色方法，它增加了图像分割网络，提取图像的深层语义特征用于指导图像着色，并结合联合双边过滤上采样，对着色结果进行平滑处理，提升了灰度实体着色的准确度，减少了语境混淆和边缘色彩混合的现象。实验结果表明，本发明的方法在对灰度图像进行自动着色时有较好的效果。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.基于卷积神经网络的图像着色系统，其特征在于，包括：

低级特征网络，用于对待着色的灰度图像进行低级特征提取，得到图像低级特征；

局部特征网络，用于将所述图像低级特征进行局部特征提取，得到图像局部特征；

语义特征网络，用于将所述图像低级特征进行语义信息学习，得到图像语义特征；

图像着色网络，用于将所述图像局部特征和图像语义特征进行融合得到彩色图像。

2.根据权利要求1所述的基于卷积神经网络的图像着色系统，其特征在于，所述图像着色系统还包括：

双边过滤模块，用于对所述彩色图像进行双边过滤。

3.根据权利要求1所述的基于卷积神经网络的图像着色系统，其特征在于，所述低级特征网络包括：

第一输入层，用于输入灰度图像；

第一卷积层，用于对所述灰度图像的低级特征进行提取，得到图像低级特征；

第一激活层，用于实现所述图像低级特征的非线性映射；

第一池化层，用于减小所述图像低级特征的大小；

所述语义特征网络包括：

第二卷积层，用于从所述图像低级特征中找出每个像素的类别，得到图像语义特征；

第二激活层，用于实现所述图像语义特征的非线性映射；

第二池化层，用于减小所述图像语义特征的大小；

所述局部特征网络包括：

第三卷积层，用于对所述图像低级特征进行进一步细化，得到图像局部特征；

第三激活层，用于实现所述图像局部特征的非线性映射；

第三池化层，用于减小所述图像局部特征的大小。

4.根据权利要求3所述的基于卷积神经网络的图像着色系统，其特征在于，所述第一卷积层的卷积核为3×3，步长为1×1；所述第三卷积层的卷积核为3×3，步长为1×1。

5.根据权利要求1所述的基于卷积神经网络的图像着色系统，其特征在于，所述图像低级特征的计算公式为：

g^low＝σ₁(W₁×g+b₁)

其中，g^low为图像低级特征，σ₁()为激活函数，W₁为权重，b₁为偏置，W₁和b₁通过反向传播更新；

所述图像语义特征的计算公式为：

g^sem＝σ₂(W₂·g^low+b₂)

其中，g^sem为图像语义特征；g^low为图像低级特征；σ₂()为激活函数，W₂为权重，b₂为偏置，W₂和b₂通过反向传播更新；

图像着色网络在像素点(i，j)的输出为：

其中，g^sem为图像语义特征；σ₂()为激活函数，W₃为权重，b₃为偏置，W₃和b₃通过反向传播更新。

6.基于卷积神经网络的图像着色方法，其特征在于，包括：

获取待着色的灰度图像，并提取所述灰度图像的图像低级特征；

将所述图像低级特征进行局部特征提取，得到图像局部特征；

将所述图像低级特征进行语义信息学习，得到图像语义特征；

将所述图像局部特征和图像语义特征进行融合得到彩色图像。

7.根据权利要求6所述的基于卷积神经网络的图像着色方法，其特征在于，所述图像着色方法还包括：

对所述彩色图像进行双边过滤。

8.根据权利要求6所述的基于卷积神经网络的图像着色系统及方法，其特征在于，提取灰度图像的图像低级特征，包括：

利用卷积操作对所述灰度图像的低级特征进行提取，得到图像低级特征；

利用激活函数实现所述图像低级特征的非线性映射；

对所述图像低级特征进行池化，减小所述图像低级特征的大小。

9.根据权利要求6所述的基于卷积神经网络的图像着色方法，其特征在于，将所述图像低级特征进行语义信息学习，包括：

利用卷积操作从所述图像低级特征中找出每个像素的类别，得到图像语义特征；

利用激活函数实现所述图像语义特征的非线性映射；

对所述图像语义特征进行池化，减小所述图像语义特征的大小。

10.根据权利要求6所述的基于卷积神经网络的图像着色方法，其特征在于，将所述图像局部特征和图像语义特征进行融合时，将所述图像局部特征和图像语义特征在每个空间像素点进行拼接。