CN110675462A - 一种基于卷积神经网络的灰度图像彩色化方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的灰度图像彩色化方法，建立卷积神经网络，将灰度图像转化为彩色图像；所述卷积神经网络的隐藏层包括多个连接层，每个连接层包括依次连接的卷积层、批量标准化层及组合型非线性激活函数层；所述组合型非线性激活函数层包括依次连接的非线性激活函数层、单通道卷积核层、批量标准化层及归一化层：所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理。本发明具有自动彩色化、适用场景大等优点，能够用较少的层数实现功能，彩色化的效果比传统的方法更好。

Description

一种基于卷积神经网络的灰度图像彩色化方法

技术领域

本发明涉及一种灰度图像彩色化方法，特别涉及一种基于卷积神经网络的灰度图像彩色化方法。

背景技术

目前，灰度图像是只有一个灰度级的单通道图像。灰度图像在社会生活中的应用多种多样，除了我们最常见到的可见光可以成灰度图像，其他非可见光包括伽马射线、X射线、紫外光、红外光以及微波等成的像都是只有一个光强的单通道图像，这些灰度图像广泛应用到了医学诊断、工业检测、天文观测，军事侦查等多种领域。虽然灰度图像应用广泛，但相比于常见的彩色图像，灰度图像分辨率、对比度较低，边缘模糊，可视效果较差，信息难以识别，很难达到实际应用的要求，因此需要对其进行校正和增强等算法处理。由于人对色彩的辨识力是灰度的上百倍，因此可以通过图像彩色化方法使灰度图像中物体更容易辨认，同时可以增强查看图像时的视觉舒适度。

灰度图像彩色化意义重大，其本质是将只有一个灰度级的单通道图像映射到多通道彩色图像。根据研究显示，对于图像的灰度等级，人眼只能识别出十几种，但是对于彩色图像，人眼可以分辨出成千上万种色彩，由此可以看出，彩色的图像对于人眼的影响要远远大于灰度图像。除此之外，灰度图像还不利于算法对图像信息特征的提取，因此将灰度图像进行伪彩化处理后更有利于图像特征的提取与表达，进而充分发挥图像的价值。

1987年，冈萨雷斯等提出一种利用灰度分层和彩色编码技术进行伪彩色处理的方法，它是最简单的彩色化方法，可以自动将亮度值映射到彩色值，颜色映射的选择是由人为决定的。伪彩色编码的方法虽然增加了颜色和人眼的兴奋度，但并没有提供新的信息，处理后的色彩也显得不自然，并不能完全满足需要。后来虽然在此方法上进行了不断的改进，但是也没有解决伪彩色编码后图像不自然的问题。

利用对图像间三通道颜色值的均值和方差分布匹配，2001年Reinhard等提出一种彩色图像间的颜色迁移方法。输入包括参考图像和目标图像，根据Lαβ各颜色通道相互垂直、关联性小的特点，首先将RGB图像进行颜色空间变换，再求得两幅图片在各通道的均值和方差，使目标图像的颜色分布信息与参考图像相近似，最后由线性变换公式获得最终结果并转换回RGB空间。2003年，Welsh等在Reinhard算法的基础上，提出了一种通过颜色迁移进行灰度图像彩色化的方法。该方法利用图像的亮度和领域统计信息进行匹配，在图像转换到Lαβ颜色通道后，对目标图像的像素点或领域逐一进行纹理及亮度值的比较，将参考图像的颜色信息传递给目标图像的对应像素，而不改变目标图像的亮度值。但是如果目标图像没有源图像相应区域相近的亮度值，就会出现颜色传递错误，同时该方法在亮度值匹配过程中，需要与源图像像素逐一进行匹配，导致整个彩色化过程速度较慢。

Welsh提出的灰度图像彩色化方法是基于颜色迁移原理，需要借助额外的参考图像。2004年，Levin等人提出了一种局部优化扩展的彩色化算法，这种方法不需要借助额外参考图像。该方法假定相邻像素间灰度值相似则颜色相近，通过该假设可以将彩色化过程看作为优化问题。在人工进行标色后，将图像转换到YUV颜色空间进行扩展，使像素间色度加权和的平方差最小，结合灰度图像自身纹理和边缘等特征将局部的颜色扩展到整个画面。该方法具有较好的彩色化效果，但是需要一定的人工操作，对于尺寸较大的图像该方法的速度明显下降。

近几年来，随着大规模数据库的建立、计算机并行计算能力的提升以及算法的不断改进，深度学习技术尤其是卷积神经网络在图像处理、计算机视觉、自然语言处理等领域取得了突破性的进展。

2015年，上海交通大学的程泽洲和香港城市大学的杨庆雄等人提出了一种全自动彩色化方法，该方法利用较少的训练数据集输入神经网络，进行多特征提取及不同图像块的彩色化，并结合双边滤波器一起使用来提升效果。这种方法虽然彩色化效果不错，但使用的训练数据较少，且网络结构较为简单，并且这种方法依赖于高质量的分割模型对训练数据进行分割，限制了这种方法的适用类型和彩色化效果。

2017年，哈尔滨工业大学的张垚等人针对汽车辅助驾驶系统中的红外夜视图像提出了灰度图像彩色化的方法。相比于其他深度学习的方法，张垚等人提出了利用多分支卷积神经网络进行彩色化处理的方法，对超像素重建后的红外图像和其对应的经过亮度增强后的夜间彩色图像进行训练，直接学习它们的映射关系f(x)。这种结构分为粗调网络和细调网络，输入的图片经过粗调网络进行全局的初步学习，然后将粗调网络的输出插入到细调网络，使用细调网络对局部细节进行粗略的预测。由于数据集等的限制，这种方法的功能还是相对单一，对已经训练过的场景效果较好，对没有训练过的情况得到的效果并不理想。

2016年，加州大学伯克利分校的Richard Zhang等人在VGG卷积神经网络的基础上，对灰度图像进行提取特征，并将图像彩色化看作一种多模态问题，针对每个像素得到可能的颜色概率分布，并最终转化为可能的单一颜色，同时针对一些罕见的颜色有侧重的调整训练时间。芝加哥大学的Larsson等人提出一种学习表示方法用于自动彩色化，这种方法利用16层超级柱(hypercolumn)产生从底层到高层的连续特征来预测每个像素的颜色直方图。通过初始化使用已经训练好的分类网络模型，并允许用未标记的数据集对网络进行微调以实现彩色化功能。同年，日本早稻田大学的Satoshi Iizuka等人提出了结合图像全局和局部先验进行端对端学习来同时进行自动彩色化和分类的方法，这种方法基于卷积神经网络，网络中的融合层起到了关键作用，可以精确的将小图像块的局部信息与整个图像计算的全局先验进行融合。虽然这几种基于卷积神经网络的方法都能完成灰度图像彩色化的目标，但是这几种方法在提取灰度图像的过程中，为了还原图像的大小都进行了上采样的过程，使得图像会丢失局部信息，并且这几种方法层数都比较少，容易造成对图像特征的提取不充分等问题。

从上面分析可以看到，对灰度图像进行彩色化是图像处理的重要方面，以往传统的方法难以满足要求，随着卷积神经网络的发展，国内外学者进行了一些尝试，取得了一些进展，但在彩色化所用的卷积神经网络模型以及处理的结果上，目前还有待改进。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种图像特征的提取更充分的基于卷积神经网络的灰度图像彩色化方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于卷积神经网络的灰度图像彩色化方法，建立卷积神经网络，将灰度图像转化为彩色图像；所述卷积神经网络的隐藏层包括多个连接层，每个连接层包括依次连接的卷积层、批量标准化层及组合型非线性激活函数层；所述组合型非线性激活函数层包括依次连接的非线性激活函数层、单通道卷积核层、批量标准化层及归一化层：所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理。

进一步地，所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理的步骤为：

步骤a，采用线性整流激活函数逐元素对输入进行非线性处理，如公式1所示：

x_j,k＝ReLU(z_j,k) 公式1；

步骤b，将处理后的结果逐特征层再经过一个输入及输出通道均为1的二维卷积核进行运算，如公式2所示：

步骤c，将运算结果先进行批量标准化处理，再经过归一化处理，将值域映射到[0,1]范围内。

进一步地，建立卷积神经网络具体包括如下步骤：

步骤一，收集用于训练和测试卷积神经网络的图片样本集，所述图片样本集包括灰度图像和对应的彩色图像；每一个图片样本集表示为Λ＝{G,C}；

步骤二，建立卷积神经网络模型；

步骤三，利用图片样本集对卷积神经网络模型进行训练和测试来优化更新网络参数。

进一步地，利用图片样本集对卷积神经网络模型进行训练时，损失函数采用公式4所示的均方误差损失函数：

进一步地，设定卷积神经网络对灰度图像的彩色转化精度范围；设定训练次数达到N次时进行一次测试；测试时，卷积神经网络输入测试图像数据集的数据，对比卷积神经网络转换输出的彩色图像和实际的彩色图像，当两者的特征差异在彩色转化精度范围内时，停止训练，此时的网络参数为最优网络参数。

进一步地，收集用于训练和测试卷积神经网络的图片样本集的方法为：首先将彩色图像数据集里的图像由RGB图像色彩空间转化到Lab色彩空间，提取L通道里的信息并组成只有一个灰度级的单通道图像作为训练和测试用的灰度图像，将灰度图像和相对应的Lab彩色图像收集作为训练和测试卷积神经网络的图片样本，将图片样本集中的80％图片样本作为训练图像数据集，其余的图片样本作为测试图像数据集。

进一步地，所述卷积神经网络包括三个单元：第一单元用于a,b色彩通道残差值的生成；第二单元用于通过输入L通道和a,b色彩通道残差值复原出a,b色彩通道；第三个单元用于L通道和a,b色彩通道组合复原出彩色图像。

进一步地，每个所述卷积层由多个3×3尺寸的卷积核构成。

本发明具有的优点和积极效果是：在本发明中，我们提出并应用了一种新的组合型非线性激活函数(CReLU)来替代传统的线性整流激活函数(ReLU)，从而有效减少了神经网络的层数。本发明提出的组合型非线性激活函数将空间处理的过程和非线性处理的过程结合在一起，在ReLU激活函数处理后再通过输入通道为1，输出通道为1的单通道卷积核对激活结果逐特征层分别进行卷积操作，这样激活的过程就不再是逐元素进行激活了，激活输出值是受一个领域内所有元素影响。卷积处理后的结果变化可能非常大，影响神经网络整体的训练，因此将卷积处理后的结果再进行指数处理，将结果映射到[0,1]范围内。组合型非线性激活函数非线性激活的效果更好，因此能够减少总的神经网络的层数。

与现有的灰度图像彩色化处理方法相比，本发明提出的基于卷积神经网络的灰度图像彩色化方法由于应用了新提出的组合型非线性激活函数和残差学习的方法，具有自动彩色化、适用场景大等优点，能够用较少的层数实现功能，彩色化的效果比传统的方法更好。

附图说明

图1为本发明的工作流程示意图。

图2为本发明的一种组合型非线性激活函数(CReLU)的结构示意图。

图3为本发明的一种完成灰度图像彩色化的卷积神经网络的结构图。

图4为本发明的一种卷积神经网络训练示意图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：

请参见图1至图4，一种基于卷积神经网络的灰度图像彩色化方法，建立卷积神经网络，将灰度图像转化为彩色图像；所述卷积神经网络的隐藏层包括多个连接层，每个连接层包括依次连接的卷积层、批量标准化层及组合型非线性激活函数层；所述组合型非线性激活函数层包括依次连接的非线性激活函数层、单通道卷积核层、批量标准化层及归一化层：所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理。每个所述卷积层可由多个3×3尺寸的卷积核构成。

如图3所示，所述卷积神经网络的隐藏层包括多个连接层，每个连接层包括依次连接的卷积层、批量标准化层及组合型非线性激活函数层；所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理。

卷积神经网络可在PyTorch深度学习框架下完成的，作为2017年新出现的深度学习框架，PyTorch一经出现便以其简洁而高效的特征迅速获得了广泛的欢迎。

在本发明中，我们提出并应用了一种新的组合型非线性激活函数(CReLU)来替代传统的线性整流激活函数(ReLU)，从而有效减少了神经网络的层数。组合型非线性激活函数(CReLU)是在传统的激活函数(ReLU)的基础上，结合输入通道为1，输出通道为1的单通道卷积核对激活结果进行进一步的空间处理，并将输出结果进行归一化的新型的复合型的激活函数。

不同于传统的ReLU激活函数是针对卷积层运算后的结果逐个元素进行非线性激活处理的，本发明提出的组合型非线性激活函数(CReLU)可以是对卷积运算后的结果逐特征层进行非线性激活处理的。卷积层运算后的结果通过批标准化层(BN层)进行标准化后输入到组合型非线性激活函数(CReLU)激活层。

其中，所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理的步骤可为：

步骤a，如公式1所示，在组合型非线性激活函数层里首先要经过线性整流激活函数(ReLU)逐元素对输入进行非线性处理。

x_j,k＝ReLU(z_j,k) 公式1

步骤b，ReLU函数处理后的结果再逐特征层经过一个输入通道为1，输出通道为1的单通道二维卷积核(Conv2d Depthwise)进行运算，如公式2所示。

步骤c，再如公式3所示，卷积运算后的结果要先经过BN层标准化然后再经过

的归一化处理，将值域映射到[0,1]范围内。

卷积处理后的结果变化可能非常大，影响神经网络整体的训练，因此将卷积处理后的结果再进行指数处理，将结果映射到[0,1]范围内。

建立卷积神经网络具体可包括如下步骤：

步骤一，收集用于训练和测试卷积神经网络的图片样本集，所述图片样本集包括灰度图像和对应的彩色图像；每一个图片样本集表示为Λ＝{G,C}；

为了完成卷积神经网络的训练，需要收集训练和测试所用的图像数据集。收集用于训练和测试卷积神经网络的图片样本集的方法可为：可首先将彩色图像数据集里的图像由RGB图像色彩空间转化到Lab色彩空间，可提取L通道里的信息并组成只有一个灰度级的单通道图像作为训练和测试用的灰度图像，可将灰度图像和相对应的Lab彩色图像收集作为训练和测试卷积神经网络的图片样本，可将图片样本集中的80％图片样本作为训练图像数据集，其余的图片样本作为测试图像数据集。

因为Lab色彩空间中图像的亮度信息和颜色信息分别在L通道和ab通道中表示，因此提取L通道里的信息并组成只有一个灰度级的单通道图像作为训练和测试所用的灰度图像，可取其中的大部分，比如80％作为训练图像数据集，取其中的少部分，比如20％作为测试图像数据集。

可通过现有的一些彩色图片样本集中，通过转化获得灰度图片样本，来构建卷积神经网络训练和测试所用的图像数据集，比如可在MIT发布的第二版场景图像数据集MITPlace2的基础上将彩色图像由RGB色彩空间转化到Lab色彩空间，提取Lab色彩空间里的L通道信息并组成只有一个通道的灰度图像，将灰度图像和相对应的Lab彩色图像作为需要的图像数据集，图像数据集里包括训练卷积神经网络所需的训练集和测试神经网络性能所需的测试集。

步骤二，建立卷积神经网络模型；即进行卷积神经网络结构设计。

本发明的卷积神经网络结构可在VGG卷积神经网络结构的基础上经过修改并加入残差学习和批标准化层(BN层)。由于本发明输入是灰度图像，需要将第一卷积层的输入通道数改成1，并在VGG卷积神经网络结构的基础上去掉池化层(pooling层)和最后的全连接层。为了避免卷积神经网络训练过程可能出现的退化现象，加速卷积神经网络的训练，本发明采用了残差网络学习的方法。

步骤三，利用图片样本集对卷积神经网络模型进行训练和测试来优化更新网络参数。训练时前向传播计算损失，反向传播计算每层梯度，并选择合适的网络优化方法更新网络参数。先用训练用的图片样本训练集对卷积神经网络模型进行训练，然后经过一定的时间间隔用测试用的图片样本测试集对卷积神经网络模型进行测试及验证，从而优化网络参数。

为了得到正确的L亮度通道关于a,b色彩通道的残差映射，残差映射表示为

卷积神经网络的主体部分需要经过大量的训练最终得到合适的权重和偏置等参数，卷积神经网络的训练过程如图4所示。卷积神经网络可设有10层卷积层，为了完成不同的功能，神经网络的卷积层可分为三种：a)输入层：可由64个3×3尺寸的卷积核和组合型非线性激活函数层(CReLU)激活函数组成，因为是从输入的灰度图像里提取特征，所以卷积核的输入通道为1；b)隐藏层：包括第2到第9卷积层，其中每一卷积层是由64个3×3×64尺寸的卷积核以及BN层和组合型非线性激活函数层(CReLU)激活层组成，卷积核的输入通道数等于前一层卷积核的个数，也就是64；c)输出层：因为输出层得到的是L亮度通道关于a和b两个颜色通道的残差映射，所以由2个3×3×64尺寸的卷积核组成，卷积核个数可为64。

利用图片样本集对卷积神经网络模型进行训练时，损失函数可采用公式4所示的均方误差损失函数：

卷积神经网络的损失函数采用如公式4所示的均方误差损失函数，尝试最小化预测的残差值和真实的残差值之间的平方距离。每次训练时卷积神经网络在训练图像数据集里提取特征，经过多个卷积层运算后得到L通道关于a,b两个颜色通道的预期残差映射

真实的残差值

是由图像训练集里的彩色图像中得到的。

可设定卷积神经网络对灰度图像的彩色转化精度范围；可设定训练次数达到N次时进行一次测试；测试时，卷积神经网络输入测试图像数据集的数据，对比卷积神经网络转换输出的彩色图像和实际的彩色图像，当两者的特征差异在彩色转化精度范围内时，可停止训练，此时的网络参数可为最优网络参数。根据设置好的测试间隔，每训练固定次数之后，卷积神经网络在测试图像数据集上进行测试，对比观察得到的彩色图像和真实的彩色图像，当伪彩色化的图像和真实的图像基本相同时，最终停止训练，此时得到最优的网络参数。

进一步地，所述卷积神经网络可包括三个单元：第一单元可用于a,b色彩通道残差值的生成；第二单元可用于通过输入L通道和a,b色彩通道残差值复原出a,b色彩通道；第三个单元可用于L通道和a,b色彩通道组合复原出彩色图像。卷积神经网络的结构从功能上来说可以分为三类，包括a,b色彩通道残差值的生成部分，通过输入L通道和a,b色彩通道残差值复原出a,b色彩通道部分，L通道和a,b色彩通道组合复原出彩色图像部分。在Lab色彩空间里，输入的灰度图像只有一个亮度通道——L通道，经过多个二维卷积层(Conv2d)、BN层和激活层之后生成L通道关于a,b色彩通道的残差映射然后通过公式最终可以求得L亮度通道特征关于潜在的a,b色彩通道特征之间的映射

有了L亮度通道和a,b色彩通道的数据，我们就可以得到灰度图像对应的彩色化图像。

本发明的工作原理：

卷积神经网络的最终目的是以灰度图像也就是L通道数据为输入，建立L亮度通道特征和潜在的ab色彩通道特征之间的映射关系我们可以将映射

写成另外一种形式：

因此本发明通过卷积神经网络得到映射

然后经过公式

最终求得L亮度通道特征和潜在的ab色彩通道特征之间的映射关系

通过组合L亮度通道特征和得到的ab色彩通道特征最终输出灰度图像对应的彩色化图像。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (8)

1.一种基于卷积神经网络的灰度图像彩色化方法，其特征在于，建立卷积神经网络，将灰度图像转化为彩色图像；所述卷积神经网络的隐藏层包括多个连接层，每个连接层包括依次连接的卷积层、批量标准化层及组合型非线性激活函数层；所述组合型非线性激活函数层包括依次连接的非线性激活函数层、单通道卷积核层、批量标准化层及归一化层：所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理。

2.根据权利要求1所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，所述组合型非线性激活函数层对卷积运算后的结果逐特征层进行非线性激活处理的步骤为：

步骤a，采用线性整流激活函数逐元素对输入进行非线性处理，如公式1所示：

x_j,k＝ReLU(z_j,k) 公式1；

步骤b，将处理后的结果逐特征层再经过一个输入及输出通道均为1的二维卷积核进行运算，如公式2所示：

步骤c，将运算结果先进行批量标准化处理，再经过归一化处理，将值域映射到[0,1]范围内。

3.根据权利要求1所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，建立卷积神经网络具体包括如下步骤：

步骤一，收集用于训练和测试卷积神经网络的图片样本集，所述图片样本集包括灰度图像和对应的彩色图像；每一个图片样本集表示为Λ＝{G,C}；

步骤二，建立卷积神经网络模型；

步骤三，利用图片样本集对卷积神经网络模型进行训练和测试来优化更新网络参数。

4.根据权利要求3所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，利用图片样本集对卷积神经网络模型进行训练时，损失函数采用公式4所示的均方误差损失函数：

5.根据权利要求3所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，设定卷积神经网络对灰度图像的彩色转化精度范围；设定训练次数达到N次时进行一次测试；测试时，卷积神经网络输入测试图像数据集的数据，对比卷积神经网络转换输出的彩色图像和实际的彩色图像，当两者的特征差异在彩色转化精度范围内时，停止训练，此时的网络参数为最优网络参数。

6.根据权利要求3所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，收集用于训练和测试卷积神经网络的图片样本集的方法为：首先将彩色图像数据集里的图像由RGB图像色彩空间转化到Lab色彩空间，提取L通道里的信息并组成只有一个灰度级的单通道图像作为训练和测试用的灰度图像，将灰度图像和相对应的Lab彩色图像收集作为训练和测试卷积神经网络的图片样本，将图片样本集中的80％图片样本作为训练图像数据集，其余的图片样本作为测试图像数据集。

7.根据权利要求6所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，所述卷积神经网络包括三个单元：第一单元用于a,b色彩通道残差值的生成；第二单元用于通过输入L通道和a,b色彩通道残差值复原出a,b色彩通道；第三个单元用于L通道和a,b色彩通道组合复原出彩色图像。

8.根据权利要求1所述的基于卷积神经网络的灰度图像彩色化方法，其特征在于，每个所述卷积层由多个3×3尺寸的卷积核构成。

Images