CN111145290A - 一种图像彩色化方法、系统和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种图像彩色化方法、系统和计算机可读存储介质。方法包括：A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间，并分离出Y通道数据；B.复制Y通道数据，与Y通道数据一起构造出两通道数据；C.利用两通道数据作为深度卷积自编码器的输入，以分别预测出UV通道；其中，深度卷积自编码器由若干重跳层连接组成；D.将Y通道数据与步骤C中预测出的UV通道数据结合，构造出完整的YUV彩色空间图像；E.将所述YUV彩色空间图像转换为RGB彩色空间图像，即得到最终的彩色化图像。本发明可以更好地解决模型梯度消失和过拟合问题，具有更佳的着色效果和更好的图像清晰度，并且能够有效的减少图像生成的伪影和增强色彩饱和度。

Description

一种图像彩色化方法、系统和计算机可读存储介质

技术领域

本发明涉及计算机视觉领域，尤其是一种基于深度卷积自编码器和多重跳层的图像彩色化方法、计算机可读存储介质和相应系统。

背景技术

图像彩色化是为目标灰度图像的每个像素分配合适的颜色，使其看起来真实自然的一种技术。图像彩色化技术可以为人类提供丰富的目标场景信息，因此该技术已经广泛应用于各种领域，如老照片色彩复原，辅助艺术家设计草图的色彩方案，遥感图像和夜视成像系统等等。并且在过去几年里，图像彩色化方法得到越来越多研究人员的关注和研究。然而，由于现实世界中物体颜色的多样性以及人类对于色彩感知的模糊性，图像彩色化仍然是一项非常具有挑战性的任务，至今仍未找到完美的解决方案。

目前，针对图像彩色化问题存在各种各样的解决方案，这些方法大致可以分为四类：基于涂鸦的方法、基于色彩转换(基于示例)的方法、基于学习的方法和混合方法。(1)基于涂鸦的图像着色方法需要手动向目标图像添加颜色线条。由于真实图像的复杂性和多样性，人类很难通过颜色线条为每个特定区域指定合适的色彩。(2)基于色彩转换的图像彩色化方法通常需要参考图像为目标灰度图像着色，因此该类方法的性能严重依赖于给定的彩色参考图像。在实际应用中，合适的彩色参考图像的选择非常困难。(3)近年来，随着深度学习的引入，基于深度学习的图像着色方法开始蓬勃发展。这些方法通常需要一个庞大的数据集来训练模型，来学习如何给灰度图像着色。一般来说，基于深度学习的图像着色方法通常具有令人满意的性能，但是该模型在训练时所用到的数据集通常需要包含各类场景，但是在现实世界中我们很难找到这样的庞大数据集。(4)由于深度学习具有很好的特征提取能力，因此也将其与基于涂鸦或基于色彩转换的图像着色方法相结合，称之为混合方法。

虽然上述工作探索了基于深度学习的图像彩色化方法正确着色灰度图像的可能性，并在一定程度上能够取得良好的着色性能，但上色后的彩色图像仍然存在一些问题。例如，细节损失和颜色失真等等，因此设计一种全自动、高效的图像着色方法仍然是一个难点。同时，研究人员还探索了在图像或视频处理中应用深度卷积自编码器的可能性。然而，在各种卷积层的处理过程中，一些有用特征的丢失，极大地影响了图像着色的性能。另外，自编码器用于复杂模式分类或特征提取(如图像着色)时，梯度消失问题也是一个限制。因此，图像彩色化方法仍然存在很大的研究空间。

目前，基于深度学习的图像着色技术的应用可分为自然图像着色、卡通图像着色和不可见光图像着色。自然图像着色是最常见的研究领域，该技术可用于老照片、老电影等历史照片和视频的着色。在2018年，Chen等人在VGG-16的基础上，提出了一种基于卷积神经网络(CNN)的中国黑白胶片图像自动着色方法，该方法可以看作是自然图像着色的一种。Nazeri等人使用条件深度卷积生成对抗网络(DCGAN)进行自然图像着色，该模型使用U-Net结构作为生成器，改进的U-Net结构作为鉴别器。

另外，图像彩色化技术可以通过为动漫草图提供色彩方案从而提高动漫制作的效率，同时减轻动漫产业中动漫设计师的负担。在2019年，Chybicki等人提出了一种基于卷积编解码器神经网络的老式卡通图像着色方法。在2017年，Hensman等人采用条件生成对抗网络(cGAN)对灰度动漫图像进行着色，该方法在训练过程中，仅需要一个彩色参考图像，避免了大数据集的选择；此外，为了提高图像质量，他们提出了一种分割和颜色校正的方法。在2018年，Ren等人提出了一种从素描生成彩色图像的两阶段方法，首先使用cGAN从素描图像生成灰度图像，然后将生成的灰度图像通过cGAN的训练来获得最终的彩色漫画图像。

由于光谱图像的反射特性，单个不可见光图像只能呈现物体或感官的有限特征；而彩色化可以增强不可见光图像的主要特征，从而有助于人眼识别和计算机处理。因此彩色化技术可用于合成孔径雷达(SAR)图像的彩色化，包括单偏振、双偏振、紧致偏振和全偏振雷达图像。2018年，Song等人提出了一种基于深度神经网络(DCNN)的方法，将单偏振灰度SAR图像转化为全偏振图像，即彩色图像。从而使得SAR图像获得更显著的特征。Liu等人提出了一种多任务深度神经网络，实现了单卫星图像的超分辨率和彩色同步处理；在该方法中，由于没有与卫星图像相对应的完美彩色图像，因此使用非卫星图像来优化最终图像的颜色。此外，彩色化技术也被用于夜视成像系统。Suarez等人提出了一种用于近红外图像着色的GAN变体结构；该模型由三个生成器模型和一个判别器模型组成。在2018年，Dong等人引入了一种编码器-解码器架构，并结合了一个用于增强输出图像边缘的辅助网络，从而实现红外图像彩色化。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于深度卷积自编码器和多重跳层的图像彩色化方法、计算机可读存储介质和相应系统。以解决基于神经网络进行图像彩色化过程中，学习模型梯度消失和过拟合问题。

本发明采用的技术方案如下：

一种基于深度卷积自编码器和多重跳层的图像彩色化方法，包括以下步骤：

A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间，并分离出Y通道数据；

B.复制Y通道数据，与Y通道数据一起构造出两通道数据；

C.利用两通道数据作为深度卷积自编码器的输入，以分别预测出UV通道；其中，深度卷积自编码器由若干重跳层连接组成；

D.将Y通道数据与步骤C中预测出的UV通道数据结合，构造出完整的YUV彩色空间图像；

E.将所述YUV彩色空间图像转换为RGB彩色空间图像，即得到最终的彩色化图像。

将图像从RGB空间转换到YUV空间进行处理，可以获得更好的着色效果和更高的图像清晰度。此外，本发明利用深度卷积自编码器结合多重跳层的方式，可以更好的提取图像的关键特征，解决学习模型梯度消失和过拟合问题。

进一步的，所述步骤C中的深度卷积自编码器的若干重跳层连接包括无跳层的主体连接、三层一次跳层的连接和六层一次跳层的连接中的至少一种。

即深度卷积自编码器由三种连接中的一种或多种连接组成，Y通道和UV通道分别作为输入和输出，以端到端方式训练模型。多种跳层连接相结合(各种跳层连接并行运行)的方式，在解决学习模型梯度消失和过拟合问题上，可以取得极好的效果。

进一步的，所述步骤C中的深度卷积自编码器的损失函数设置为：

L_model＝λ_mseL_mse+λ_GradL_Grad；其中，

其中，λ_mse为均方误差损失所占权重，λ_Grad为梯度损失所占权重。

进一步的，λ_mse＝1，λ_Grad＝0.0001。

进一步的，所述步骤C中，在执行步骤C前，先对两通道数据中各通道数据进行归一化处理。

进一步的，所述归一化处理为将输入的通道数据归一化为128*128像素。

进一步的，步骤C中所用到的深度卷积神经网络的训练参数为：epochs为10000，学习率为0.0001，批大小为32，跳层的卷积核尺寸为2*2。

本发明还提供了一种计算机可读存储介质，其特征在于，其存储有计算机程序，运行所述计算机程序可执行上述的方法。

本发明还提供了一种基于深度卷积自编码器和多重跳层的图像彩色化系统，所述系统配置有处理器和上述的计算机可读存储介质，所述处理器用于运行所述计算机可读存储介质中存储的计算机程序。

本发明还提供了一种基于深度卷积自编码器和多重跳层的图像彩色化系统，该系统用于运行上述的基于深度卷积自编码器和多重跳层的图像彩色化方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明采用深度卷积自编码器和多重跳层相结合的彩色化方法来解决灰度图上色、图像色彩恢复、动漫草图上色等问题，可以更好地解决模型梯度消失和过拟合问题，使得所着色的图像与真实图像更加匹配。

2、本发明先将RGB图像转换为YUV图像在进行后续处理，较直接在RGB彩色空间着色具有更佳的着色效果和更好的图像清晰度，并且能够有效的减少图像生成的伪影和增强色彩饱和度。

3、本发明的过程为全自动化的着色过程，在上色过程中，不需要任何的参考图和人工交互，使模型具有更大的实际应用价值。经实验表明，与其他现有的方法相比，本发明能够获得更好的图像彩色化效果和更高的图像清晰度，从而有助于计算机视觉领域的应用。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是基于彩色空间转换(RGB转YUV)的图像数据预处理的具体实施方式流程图。

图2是利用基于深度卷积的自动编码器与多重跳层相结合的方法，学习彩色通道的色彩信息的流程图。

图3是利用基于图像通道整合和彩色空间转换(YUV转RGB)的图像处理方法生成图像的具体实施方式流程图。

图4是本发明所提图像彩色化方法的总体架构。

图5是本发明所采用的深度神经网络的结构。

图6是采用不同跳层方式的模型的图像彩色化效果图。

图7是采用不同卷积核尺寸的模型的图像彩色化效果图。

图8是设置不同损失函数的权重参数的模型所获得的上色效果图。

图9是本发明和不同对比方法在LSUN数据集上的图像彩色化效果对比图。

图10是本发明和不同对比方法在LFW数据集上的图像彩色化效果对比图。

图11是使用不同的方法的彩色化图像及其放大示图。

图12是在LSUN和LFW两个数据集上，本发明与其他方法进行比较的峰值信噪比(PSNR)的对比图。

图13是在LSUN和LFW两个数据集上，本发明与其他方法进行比较的均方误差(RMSE)的对比图。

图14是在LSUN和LFW两个数据集上，本发明与其他方法进行比较的结构相似性(SSIM)的对比图。

图15在LSUN和LFW两个数据集上，本发明与其他方法进行比较的皮尔森相关系数(PEARSON)的对比图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

实施例一

参见图4的彩色化方法的架构，本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法，其包括以下步骤：

A.将图像由RGB彩色空间转换为YUV彩色空间，并分离出Y通道数据。

B.复制Y通道数据，与Y通道数据一起构造出两通道数据。以确保与将要预测的UV通道保持相同大小。

C.利用两通道数据作为深度卷积自编码器的输入，以分别预测出UV通道；其中，深度卷积自编码器由若干重跳层连接组成。

D.将Y通道数据与步骤C中学习得到的UV通道数据结合，构造出完整的YUV彩色空间图像。

E.将所述YUV彩色空间图像转换为RGB彩色空间图像，即得到最终的彩色化图像。

实施例二

参见图4的彩色化方法的架构，本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法，其包括以下步骤：

A.将图像由RGB彩色空间转换为YUV彩色空间，并分离出Y通道作为灰度图。RGB彩色空间转换为YUV彩色空间的方法如下：

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G+0.100B。

其中R是红色通道，G是绿色通道，B是蓝色通道。Y、U、V分别是YUV彩色空间的三个通道。

B.复制Y通道数据得到Y’通道，与Y通道数据一起构造出两通道数据YY’。从而数据尺寸与输出保持相同的大小。

通过对步骤A中分离出来的Y通道进行通道复制，得到Y’通道，构造出两通道YY’。这样，就使得输入通道数据的数据大小与后续重构的UV通道数据大小相同。

C.利用两通道数据作为深度卷积自编码器的输入，以分别预测出UV通道。

自编码器的无跳层连接(自编码函数)可以表示如下：h＝f_θ(x)＝σ(Wx+b)

其中x∈R^d是编码器的输入图像，h∈R^d'是潜在表示，参数θ＝{W,b}，w表示权重，b表示偏差,R^d是输入图像的集合，R^d′是输出图像的数据集合，σ(x)是卷积函数，表示学习特征。

然后将数据用编码表示，按照以下步骤重构输出:

f:y＝f_θ'(h)＝σ(W'h+b')

其中，参数θ＝{W',b'}，W'表示权重，b'表示偏差，通常W'＝W^T，每个模式x_i被映射为h_i，被重构为y_i，通过给定训练集上的损失函数对参数进行优化。

本实施例中的深度卷积自编码器由若干重跳层连接组成。具体为包含无跳层连接(主体连接)、3层一次跳层连接和6层一次跳层连接。3层一次跳层连接和6层一次跳层连接并行运行。对应的深度神经网络结构如图5所示。

自编码器的3层一次跳层连接的跳层连接具体可用以下公式表示：

F(x_l)＝h(x_l)-x_l (1)

其中x_i是输入,h(x_l)是跳层连接,对于每个残差块，可以得到:

y_l＝h(x_l)+F₁(x_l,W_l) (2)

x_l+1＝f₁(y_l) (3)

其中x_l和x_l+1分别表示第l个残差块的输入和输出，F₁为残差函数，表示学习残差，y_l是通过跳层连接和残差函数后的输出结果，f₁为激活函数，W_l为权值，经反复多次实验，我们已经将权值调整为最适合本实验的值。根据公式(2)(3)，从高层L到低层l的学习特征可以表示为如下公式:

自编码器的6层一次跳层连接的跳层连接具体可用以下公式表示：

F(y_k)＝p(y_k)-y_k (5)

其中y_k是输入，p(y_k)是跳层连接。对于每个残差块，可以得到:

z_k＝p(y_k)+F₂(y_k,W_k) (6)

y_k+1＝f₂(z_k) (7)

其中y_k和y_k+1分别表示第k个残差块的输入和输出，F₂为残差函数，表示学习残差，Z_k是通过跳层连接和残差函数后的输出结果，f₂为激活函数，w_k为权值，经反复多次实验，我们已经将权值调整为最适合本实验的值。根据公式(6)(7)，从高层K到低层k的学习特征可以表示为如下公式:

自编码器的全部跳层连接具体可用以下公式表示：

根据公式(4)和公式(8)，当y_k＝x_l且k＝l时，即6层一跳与3层一跳的起始层数相同时，通过高层K到低层k的学习特征可以表示为如下公式:

a＝(K-k)/(L-l) (9)

其中x_l为输入，y_K为输出，a为每6层一次跳跃连接中，包含的3层一次跳跃连接的次数。公式(10)根据(4)和(8)，将3层一次跳层连接和6层一次跳层连接整合到一起，即为本实验中多重跳层连接的整体函数。

在本实施例的模型中，对于所提出的编码器-解码器，编码器在处理对应的通道数据前，需要将通道数据进行归一化处理。将Y通道的大小归一化为128×128像素(Y’通道一样)，输入到模型中生成U和V通道，输出的图像与Y通道具有相同的分辨率，从而恢复出最终的彩色图像。对于其他的训练参数，epochs设置为10000，Adamax优化器的学习率为0.0001，批大小设置为32，跳层的卷积核尺寸设置为2*2。

如图7所示为采用不同卷积核尺寸的模型的图像彩色化效果图。其中，(a)为灰度图像，(b)为彩色原图像，(c)的卷积核尺寸为1*1，(d)的卷积核尺寸为2*2，(e)的卷积核尺寸为3*3，(f)的卷积核尺寸为4*4。由图可知，卷积核为2*2时(图d)在清晰度、图像还原度和色彩饱和度上，与彩色原图像(b)的色彩匹配度更高。

在本发明的学习模型中，所使用到的损失函数由L_mse和L_grad两部分组成，公式可以表示为：

此损失函数表示均方误差损失函数。其中，F表示彩色原图像的图像数值，f(z,θ)表示通过模型学习后的图像数值，通过将以上两种数值求差，然后平方，最终再求和，即为均方误差损失函数。

此损失函数表示对应像素损失函数。其中，F表示彩色原图像的每个像素的数值，f(z,θ)表示通过模型学习后的对应的像素的数值。

表示水平方向逐个像素依次求彩色图像与学习后图像的差，

表示竖直方向逐个像素依次求彩色图像与学习后图像的差。通过水平方向和竖直方向分别求对应像素的差值，并通过求和，平方等数学运算，作为最终的对应像素损失函数。

总的损失函数则可以表示为：

L_model＝λ_mseL_mse+λ_GradL_Grad

其中λ_mse为均方误差损失所占权重，λ_Grad为梯度损失所占权重。经多次实验发现，两种损失函数的权重设置为λ_mse＝1，λ_Grad＝0.0001，实验效果最好。

D.将Y通道数据与步骤C中学习得到的UV通道数据结合，构造出完整的YUV彩色空间图像。其中，Y通道数据包含图像的亮度，UV通道数据包含图像的彩色信息。

E.将所述YUV彩色空间图像转换为RGB彩色空间图像，即得到最终的彩色化图像。YUV彩色空间图像转换为RGB彩色空间图像的方法如下：

R＝Y+1.14

G＝Y-0.39U-0.58V

B＝Y+2.03U

其中R是红色通道，G是绿色通道，B是蓝色通道。Y、U、V分别是YUV彩色空间的三个通道。

实施例三

如图1～3所示，本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法，包括以下步骤：

S101：获取灰度图像：

获取已经准备好的灰度图像，并将图像转换成Numpy的数据格式。

S102：将图像由RGB彩色空间转换成YUV彩色空间：

从RGB颜色空间到YUV颜色空间的转换可以描述为:

Y＝0.299R+0.587G+0.114B

U＝-0.147R-0.289G+0.436B

V＝0.615R-0.515G+0.100B

其中R是红色通道，G是绿色通道，B是蓝色通道。Y，U，V是YUV颜色空间的三个通道。

S103：分离出Y通道数据：

首先将灰度图像的YUV数据信息分离成3个通道，分别是Y、U、V三个通道，取Y通道的数据进行操作。

S104：复制Y通道数据，将复制的数据命名为Y’：

复制Y通道的信息，为下面的通道信息整合成两通道数据信息做准备。

S105：将Y与Y’整合到一起，构成YY’的双通道数据：

本发明将Y与Y’整合到一起，构成YY’的双通道数据，以便与输出保持相同的大小，这有助于保持图像特征来重构UV通道。

图2是本发明基于深度卷积的自动编码器与多重跳层连接相结合的方法，学习彩色通道的色彩信息的流程图。具体步骤包括：

S201：将YY’数据传入深层自编码机模型：

将已经合成后的YY’通道数据，传入深层自编码机模型进行学习，以预测UV通道的色彩信息。

S202：通过模型的多重跳层连接的方法，学习UV通道的彩色信息：

本发明提出的深度卷积自动编码机由三种连接中的一种或多种组成，分别是无跳层的主体连接、3层一次跳层的连接和6层一次跳层的连接。其中以同时包括三种连接的效果最佳，即除主体连接外，还同时包括3层一次跳层的连接和6层一次跳层的连接。Y通道和UV通道分别作为输入和输出，以端到端方式训练模型。

第一种方式：无跳层的连接。描述如下：

h＝f_θ＝σ(Wx+b)

其中x∈R^d是编码器的输入图像，h∈R^d'是潜在表示，参数θ＝{W,b}。然后用编码表示，按照以下步骤重构输出:

f:y＝f_θ'(h)＝σ(W'h+b')

其中参数θ＝{W',b'}，通常W'＝W^T每个模式x_i被映射为h_i，被重构为y_i，通过给定训练集上的损失函数对参数进行优化，即D_n＝{(x₀,t₀),...,(x_n,t_n)}。

第二种方式：3层一次跳层的连接。描述如下：

F(x_l)＝h(x_l)-x_l，

其中x_l为输入，h(x_l)为快捷映射。对于每个残差块，我们可以得到:

y_l＝h(x_l)+F(x_l,W_l) (11)，

x_l+1＝f(y_l) (12)，

其中x_l和x_l+1分别表示第L个残差块的输入和输出，F为残差函数，表示学习残差，f为激活函数，W_l是权重。根据公式(11)和公式(12)，从高层L到低层l的学习特征可以表示为:

第三种方式：6层一次跳层的连接。描述如下：

F(y_k)＝p(y_k)+y_k

其中y_k是输入，p(y_k)是快捷映射。对于每个残差块，我们可以得到:

z_k＝p(y_k)+F₂(y_k,W_k) (14)

y_k+1＝f₂(z_k) (15)

其中y_k和y_k+1分别表示第k个残差块的输入和输出，F₂为残差函数，表示学习残差，Z_k是通过跳层连接和残差函数后的输出结果，f₂是激活函数，w_k是权值。根据公式(14)和公式(15)，从高层K到低层k的学习特征可以表示为式(16):

根据式(13)和式(16)，当y_k＝x_L且k＝l时，高层K到低层k的学习特征可以表示为公式(17)和公式(18):

a＝(K-k)/(L-l) (17)

如图6所示为采用不同跳层方式的模型的图像彩色化效果图。其中(a)为灰度图像，(b)为彩色原图像，(c)为不做任何跳层连接，(d)为只有3层一次跳层连接，(e)为是既有3层一次跳层连接，又有6层一次跳层连接。由图6可知，取三种连接方式并行运行(图e)的着色效果最佳。

本发明中的模型损失函数由L_mse和L_grad两部分组成，公式可以表示为：

总的损失函数则可以表示为：

L_model＝λ_mseL_mse+λ_GradientL_Gradient

其中，λ_mse为均方误差损失所占权重，λ_Gradient为梯度损失所占权重。

如图8所示，为取不同权重的损失函数所对应的着色效果对比图。图中(a)为灰度图像，(b)为彩色原图像，(c)为权重取0.1的效果(Lmse+0.1*Lgrad)，(d)为权重取0.01的效果(Lmse+0.01*Lgrad)(e)为权重取0.001的效果(Lmse+0.001*Lgrad)(f)为权重取0.0001的效果(Lmse+0.0001*Lgrad)。由图8可知，权重λ_Gradient取0.0001进行彩色化的效果(图f)与彩色原图像最为相似。

S203：通过本发明模型的学习，生成U’V’通道的数据：

通过本发明种模型的多重跳层连接进行学习，可以将YY’的信息学习成U’V’信息，即学习到了图像的色彩信息。

图3是本发明基于图像通道整合和彩色空间转换(YUV转RGB)的图像处理方法，最后生成图像的具体实施方式流程图。具体步骤包括：

S301：将U’V’通道的信息与Y’通道的信息整合到一起，构成YUV彩色空间的完整数据。

S302：将Y’U’V’数据转换成RGB彩色空间的数据：

从YUV颜色空间到RGB颜色空间的转换可以表示为:

R＝Y+1.14

G＝Y-0.39U-0.58V

B＝Y+2.03U

其中R是红色通道，G是绿色通道，B是蓝色通道。Y、U、V是YUV颜色空间的三个通道。

S303：将生成的数据通过编译显示为彩色图像并保存。

本发明将生成的RGB彩色图像数据通过编译显示为彩色图像，并保存成高精度的图像导出，以便技术人员使用。

后期可通过多种指标，将生成的图像与彩色原图对比，分析图像上色效果。

实施例四

本实施例公开了一种计算机可读存储介质，其存储有计算机程序，运行该计算机程序可执行上述任一实施例中的基于深度卷积自编码器和多重跳层的图像彩色化方法。

实施例五

本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化系统，该系统包括处理器和实施例四中的计算机可读存储介质，处理器用于运行计算机可读存储介质中的计算机程序，以对待彩色化的图像进行彩色化处理。

实施例六

本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化系统，该系统用于运行如实施例一～三中任一实施例的方法。

实施例七

本实施例将本发明方法与现有的若干种图像彩色化方法的着色效果进行对比，以凸显本发明方法的优势。

如图9、10、11所示，为本发明方法与其他算法在相应数据集上的图像彩色化效果对比结果。其中，如图9，图10，图11所示，其中(a)、(b)、(c)、(d)、(e)、(f)、(g)分别是灰度图像、彩色源图像、Zhang等人提出的方法、Larsson等人提出的方法，Iizuka等人提出的方法，本发明在RGB彩色空间中提出的方法，和本发明在YUV彩色空间中提出的方法(即最终模型的彩色化效果)。

由图9、10可知，在着色效果上，本发明较其他方法在彩色原图的还原度更高。如图11可知，在着色的清晰度上，本发明较其他方法同样具有较大的优势。

为了更好的对图像彩色化结果进行分析和对比，本发明使用了多种图像效果指标：PSNR、RMSE、SSIM和PEARSON对上色后的图像进行客观评价，并将客观指标数据画成柱状图，以方便参考，如图12，图13，图14，图15所示。其中各图中横坐标分别代表Zhang等人提出的方法、Larsson等人提出的方法、Iizuka等人提出的方法、本发明在RGB彩色空间中提出的方法、本发明在YUV彩色空间中提出的方法。本发明提出的最终方法的彩色化结果在各项客观评价指标上均优于其他方法，这也从客观角度有效地说明了本发明提出方法的彩色化性能要优于其它各种方法。从图中可知，本发明提出的方法在图像细节、清晰度和色彩饱和度方面具有较强竞争力，且和源彩色图像最为接近。在客观指标方面，本方法也同样具有竞争优势，优于大多数对比方案。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，包括以下步骤：

A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间，并分离出Y通道数据；

B.复制Y通道数据，与Y通道数据一起构造出两通道数据；

C.利用两通道数据作为深度卷积自编码器的输入，以分别预测出UV通道；

其中，深度卷积自编码器由若干重跳层连接组成；

D.将Y通道数据与步骤C中预测出的UV通道数据结合，构造出完整的YUV彩色空间图像；

E.将所述YUV彩色空间图像转换为RGB彩色空间图像，即得到最终的彩色化图像。

2.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，所述步骤C中的深度卷积自编码器的若干重跳层连接包括无跳层的主体连接、三层一次跳层的连接和六层一次跳层的连接中的至少一种。

3.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，所述步骤C中的深度卷积自编码器的损失函数设置为：

L_model＝λ_mseL_mse+λ_GradL_Grad；其中，

其中，λ_mse为均方误差损失所占权重，λ_Grad为梯度损失所占权重。

4.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，所述λ_mse＝1，λ_Grad＝0.0001。

5.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，所述步骤C中，在执行步骤C前，先对两通道数据中各通道数据进行归一化处理。

6.如权利要求5所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，所述归一化处理为将输入的通道数据归一化为128*128像素。

7.如权利要求1或2所述的基于深度卷积自编码器和多重跳层的图像彩色化方法，其特征在于，步骤C中所用到的深度卷积神经网络的训练参数为：epochs为10000，学习率为0.0001，批大小为32，跳层的卷积核尺寸为2*2。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，运行所述计算机程序可执行如权利要求1～7任一所述的方法。

9.一种基于深度卷积自编码器和多重跳层的图像彩色化系统，其特征在于，所述系统配置有处理器和如权利要求8所述的计算机可读存储介质，所述处理器用于运行所述计算机可读存储介质中存储的计算机程序。

10.一种基于深度卷积自编码器和多重跳层的图像彩色化系统，其特征在于，所述系统用于运行如权利要求1～7任一所述的基于深度卷积自编码器和多重跳层的图像彩色化方法。

Images