CN110796716B - 一种基于多重残差网络和正则化迁移学习的图像着色方法 - Google Patents

Abstract

本发明公开一种基于多重残差网络和正则化迁移学习的图像着色方法，包括：制作灰度图像数据集；利用基于多重残差网络构造的图像特征提取模块提取图像特征；基于正则化迁移学习框架训练图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；将图像特征和图像语义特征输入到图像融合模块进行融合，获得灰度图像的融合特征；将灰度图像的融合特征输入到基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。本发明基于多重残差网络构造图像特征提取模块和图像着色模块，提高网络的性能；基于正则化迁移学习框架训练图像语义特征提取模块，并提取图像语义特征，提高语义特征提取的准确率和图像着色的精确度。

Description

一种基于多重残差网络和正则化迁移学习的图像着色方法

技术领域

本发明涉及图像着色技术领域，特别是涉及一种基于多重残差网络和正则化迁移学习的图像着色方法。

背景技术

着色技术的研究与应用早在20世纪80年代就已经展开，从最开始的时候人们用手工的方式在黑白图像上涂上自己喜欢的颜色，到最早期的黑白胶片演变成彩色的图像，图像着色的技术越来越成熟，而且应用于更广泛。例如在遥感、卫星领域中，着色技术起到非常大的作用；在医学领域，图像着色也广泛应用于X光、CT、MR等医学影像处理。

近几年，深度学习方法被引入到图像着色领域，使得基于数据驱动的图像着色算法有了很大提升，逐步形成一系列基于深度学习方法的图像着色算法，对图像着色技术产生重大的影响。

早期日本早稻田大学的Iizuka等人提出了一种基于深度学习的端到端灰度图像自动着色方法，该方法提出了使用双流结构网络，对全局特征和局部特征进行提取，然后将两个特征进行融合，通过全局特征指导局部特征进行着色。但现有的基于深度学习的图像着色方法存在图像部分场景着色效果不佳的问题。这些方法大多在进行着色时，会使用语义特征对图像模型进行指导，会存在语义特征提取网络精确度较低的问题。

发明内容

本发明的目的是提供一种基于多重残差网络和正则化迁移学习的图像着色方法，以提高图像着色的精确度和网络的稳定性。

为实现上述目的，本发明提供了如下方案：

一种基于多重残差网络和正则化迁移学习的图像着色方法，所述方法包括：

制作灰度图像数据集；

将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；

基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。

可选的，所述制作灰度图像数据集，具体包括：

获取彩色图像数据集；所述彩色图像数据集包括多张彩色图像；

对所述彩色图像数据集依次进行旋转、随机裁剪和数据增强处理，获得彩色图像增强数据集；

对所述彩色图像增强数据集进行灰度化处理，得到灰度图像数据集。

可选的，所述基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征，具体包括：

采用拉普拉斯算子对所述灰度图像进行锐化处理，获得锐化图像；

将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征。

可选的，所述将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征，具体包括：

将所述锐化图像分别输入正则化迁移学习框架中的源网络和目标网络，分别提取源网络和目标网络各卷积层输出的特征图；

确定源网络和目标网络各层卷积层输出特征图的欧几里德距离；

根据所述源网络和目标网络特征图的欧几里德距离确定正则化损失函数；

根据所述正则化损失函数确定所述图像语义特征提取模块的损失函数；

根据所述图像语义特征提取模块的损失函数进行训练，获得图像语义特征。

可选的，所述将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像，具体包括：

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的图像着色模块，预测出图像在Lab颜色模型中的a、b通道；

基于预测的a、b通道确定残差网络的损失函数；

根据所述残差网络的损失函数进行训练，并与所述灰度图像结合，获得彩色图片。

可选的，所述正则化损失函数的具体公式为：

其中，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数，W_j(z,ω^*,x_i,y_i)为指分配给第j个滤波器和第i个图像的权重(对于

且

)，z为图像语义特征提取模块，(x_i,y_i)为第i组图像和标签，ω为目标网络的参数向量集，ω^*为ω的初始值，FM_j(z,ω,x_i)为第j个滤波器在参数集ω时提取的特征图，FM_j(z,ω^*,x_i)为第j个滤波器在参数集ω^*时提取的特征图，

为欧几里得距离，即

为两个特征映射之间的行为差异。

可选的，所述图像语义特征提取模块的损失函数，具体公式为：

其中，N为一个批次样本数量，y_i为样本真实分类标签，

为样本预测分类标签，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数。

可选的，所述残差网络的损失函数，具体公式为：

其中，N为一个批次样本数量，X为预测的a、b通道，X′为真实样本的a、b通道，|| ||²为均方差，α为正则化系数，

为正则化项，ω_color为整个残差网络的权重。

可选的，所述图像特征提取模块包括：一个7*7的卷积层和5个残差单元；所述残差单元的公式为：

其中，x_l+1为第l+1残差单元的输出，x_l为第l+1层残差单元的输入，f为激活函数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种基于多重残差网络和正则化迁移学习的图像着色方法，所述方法包括：首先制作灰度图像数据集；其次将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；再次基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；然后将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；最后将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。本发明基于多重残差网络构造图像特征提取模块和图像着色模块，这样可以在不改变网络深度情况下，提高网络的性能；基于正则化迁移学习框架训练图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征提高语义特征提取的准确率，减少了图像着色时语义混淆和细节还原度不高现象，提升了图像着色的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例图像着色方法流程图；

图2为本发明实施例正则化迁移学习框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多重残差网络和正则化迁移学习的图像着色方法，以提高图像着色的精确度和网络的稳定性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明使用的是Lab色彩模型，Lab色彩模型是由亮度(L)和有关色彩的a,b三个要素组成。L为明度(Luminosity)，a为从洋红色至绿色的范围，b为从黄色至蓝色的范围。其中L通道是网络的输入，a、b通道是网络预测的输出结果。

图1为本发明实施例图像着色方法流程图，图2为本发明实施例正则化迁移学习框架示意图，如图1-图2所示，本发明提供一种基于多重残差网络和正则化迁移学习的图像着色方法，所述方法包括：

步骤S1：制作灰度图像数据集；所述灰度图像数据集包括多张灰度图像；

步骤S2：将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；

步骤S3：基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；

步骤S4：将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；

步骤S5：将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。

下面对各个步骤进行详细论述：

步骤S1：制作灰度图像数据集，具体包括：

步骤S11：获取彩色图像数据集；所述彩色图像数据集包括多张彩色图像；

步骤S12：对所述彩色图像数据集依次进行旋转、随机裁剪和数据增强处理，获得彩色图像增强数据集；

步骤S13：对所述彩色图像增强数据集进行灰度化处理，得到灰度图像数据集。

步骤S2：将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；所述的图像特征为矩特征、边角、纹理等特征。所述图片特征y^low为H*W*256的特征向量，其中H输入图片高，W分别代表输入图片宽，其值均取256。

所述的图像特征提取模块包含一个7*7的卷积层和5个残差单元，每个残差单元采用多重残差网络设计，每个残差单元有3个残差函数，每个残差函数包含3层卷积层，这3层卷积层使用卷积核大小为1*1、3*3、1*1，输出特征图个数为64、64、256。其残差单元的公式如下：

其中，x_l+1为第l+1残差单元的输出，x_l为第l+1层残差单元的输入，f为激活函数。

步骤S3：所述基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征，具体包括：

步骤S31：采用拉普拉斯算子对所述灰度图像进行锐化处理，获得锐化图像；

步骤S32：将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征，具体包括：

步骤S321：将所述锐化图像分别输入正则化迁移学习框架中的源网络和目标网络，分别提取源网络和目标网络各卷积层输出的特征图；所述目标网络即图像语义特征提取模块；

步骤S322：确定源网络和目标网络各层卷积层输出特征图的欧几里德距离；

步骤S323：根据所述源网络和目标网络特征图的欧几里德距离确定正则化损失函数；所述正则化损失函数的具体公式为：

其中，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数，W_j(z,ω^*,x_i,y_i)为指分配给第j个滤波器和第i个图像的权重(对于

且

)，z为图像语义特征提取模块，(x_i,y_i)为第i组图像和标签，ω为目标网络的参数向量集，ω^*为ω的初始值，FM_j(z,ω,x_i)为第j个滤波器在参数集ω时提取的特征图，FM_j(z,ω^*,x_i)为第j个滤波器在参数集ω^*时提取的特征图，

为欧几里得距离，即

为两个特征映射之间的行为差异。

步骤S324：根据所述正则化损失函数确定所述图像语义特征提取模块的损失函数；具体公式为：

其中，N为一个批次样本数量，y_i为样本真实分类标签，

为样本预测分类标签，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数。

步骤S325：根据所述图像语义特征提取模块的损失函数进行训练，获得图像语义特征。

所述图像语义特征提取模块采用VGG16结构，在卷积层保持VGG16设置不变，只调整全连接层设置，卷积层使用了卷积核尺寸为3x3，最大池化尺寸为2x2，全连接层设计为6层，分别是fc1-c6，参数调整为4096、2048、512、256、1024、205。其中fc4的输出与融合层相连接，输出图像语义特征y^Semantic，即256维特征向量，fc6输出用于分类信息，用于指导网络训练。

步骤S4：将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征，具体公式为：

其中，

为坐标(u,v)处的图像特征，是一个256维的向量，y^Semantic为图像语义特征，也是一个256维的向量，w_f为256*512矩阵，b为256维偏置向量，σ是一个非线性传递函数。

本发明中图像融合模块由一个输出特征图个数为256的连接层和一个使用卷积核大小为3*3、输出特征图个数为128的卷积层组成。

步骤S5：所述将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像，具体包括：

步骤S51：将所述灰度图像的融合特征输入到所述灰度图像着色网络中的图像着色模块，预测出图像在Lab颜色模型中的a、b通道；

步骤S52：基于预测的a、b通道确定残差网络的损失函数；具体公式为：

其中，N为一个批次样本数量，X为预测的a、b通道，X′为真实样本的a、b通道，|| ||²为均方差，α为正则化系数，可根据需要在实际实施过程中进行设置，

为正则化项，ω_color为整个残差网络的权重。

步骤S53：根据所述残差网络的损失函数进行训练，并与所述灰度图像结合，获得彩色图片。

本发明中所述图像着色器模块的网络结构是采用残差网络+输出层进行设计，包含5个残差单元，每个残差单元采用多重残差网络设计，每个残差单元有3个残差函数，每个残差函数包含3层卷积层，这3层卷积层使用卷积核大小为1*1、3*3、1*1，输出特征图个数为64、64、256。输出层的网络结构是卷积核大小为3*3，输出特征图个数为2。

本发明所述正则化迁移学习框架实际是一种采用正则化约束的迁移学习框架，有利于提高模型迁移后，提高新任务上的准确率；所述多重残差网络实际是在一个残差单元里包含多个残差函数的网络，提升网络的性能。

本发明公开一种基于多重残差网络和正则化迁移学习的图像着色方法，所述方法包括：首先制作灰度图像数据集；其次将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；再次基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；然后将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；最后将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像。本发明基于多重残差网络构造图像特征提取模块和图像着色模块，这样可以在不改变网络深度情况下，提高网络的性能；基于正则化迁移学习框架训练图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征，提高语义特征提取的准确率，减少了图像着色时语义混淆和细节还原度不高现象，提升了图像着色的精确度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于多重残差网络和正则化迁移学习的图像着色方法，其特征在于，所述方法包括：

制作灰度图像数据集；

将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中，利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征；

基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征；

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征；

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像；

所述图像特征提取模块包括：一个7*7的卷积层和5个残差单元；所述残差单元的公式为：

其中，x_l+1为第l+1残差单元的输出，x_l为第l+1层残差单元的输入，f为激活函数；

所述基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块，并利用图像语义特征提取模块提取图像语义特征，具体包括：

采用拉普拉斯算子对所述灰度图像进行锐化处理，获得锐化图像；

将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征；

所述将所述锐化图像输入到所述正则化迁移学习框架，对灰度图像着色网络中的图像语义特征提取模块进行训练，获得图像语义特征，具体包括：

将所述锐化图像分别输入正则化迁移学习框架中的源网络和目标网络，分别提取源网络和目标网络各卷积层输出的特征图；

确定源网络和目标网络各层卷积层输出特征图的欧几里德距离；

根据所述源网络和目标网络特征图的欧几里德距离确定正则化损失函数；

根据所述正则化损失函数确定所述图像语义特征提取模块的损失函数；

根据所述图像语义特征提取模块的损失函数进行训练，获得图像语义特征；

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合，获得所述灰度图像的融合特征，具体公式为：

其中，

为坐标(u,v)处的图像特征，是一个256维的向量，y^Semantic为图像语义特征，也是一个256维的向量，w_f为256*512矩阵，b为256维偏置向量，σ是一个非线性传递函数；

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色，获得新的彩色图像，具体包括：

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块，预测出图像在Lab颜色模型中的a、b通道；

基于预测的a、b通道确定残差网络的损失函数；

根据所述残差网络的损失函数进行训练，并与所述灰度图像结合，获得彩色图片。

2.根据权利要求1所述的图像着色方法，其特征在于，所述制作灰度图像数据集，具体包括：

获取彩色图像数据集；所述彩色图像数据集包括多张彩色图像；

对所述彩色图像数据集依次进行旋转、随机裁剪和数据增强处理，获得彩色图像增强数据集；

对所述彩色图像增强数据集进行灰度化处理，得到灰度图像数据集。

3.根据权利要求1所述的图像着色方法，其特征在于，所述正则化损失函数的具体公式为：

其中，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数，W_j(z,ω^*,x_i,y_i)为指分配给第j个滤波器和第i个图像的权重，z为图像语义特征提取模块，(x_i,y_i)为第i组图像和标签，ω为目标网络的参数向量集，ω^*为ω的初始值，FM_j(z,ω,x_i)为第j个滤波器在参数集ω时提取的特征图，FM_j(z,ω^*,x_i)为第j个滤波器在参数集ω^*时提取的特征图，

为欧几里得距离，即

为两个特征映射之间的行为差异。

4.根据权利要求1所述的图像着色方法，其特征在于，所述图像语义特征提取模块的损失函数，具体公式为：

其中，N为一个批次样本数量，y_i为样本真实分类标签，

为样本预测分类标签，Ω′(ω,ω^*,x_i,y_i,z)为正则化损失函数。

5.根据权利要求1所述的图像着色方法，其特征在于，所述残差网络的损失函数，具体公式为：

其中，N为一个批次样本数量，X为预测的a、b通道，X′为真实样本的a、b通道，|| ||²为均方差，α为正则化系数，

为正则化项，ω_color为整个残差网络的权重。

Images