CN109949353A - 一种低照度图像自然感彩色化方法 - Google Patents

Abstract

本发明涉及一种低照度图像自然感彩色化方法，属于数字图像处理技术领域。本发明通过设计一个能够处理彩色化问题的深度学习网络模型，提高模型对于低信噪比和明暗不均的适应性，从而对低照度图像进行自然感彩色化。采用全卷积神经网络，无需任何人工辅助即可实现低照度图像的自然感彩色化。在训练阶段，可采取尺寸变换和图像抠取进行数据扩展，提高全卷积神经网络的泛化能力，可采取噪声模拟和伽马调节模拟低照度图像特征，提高其对于低照度图像的适应性。本发明尤其适用于城镇低照度图像彩色化。

Description

一种低照度图像自然感彩色化方法

技术领域

本发明涉及一种低照度图像自然感彩色化方法，尤其涉及城镇场景中的低照度图像自然感彩色化方法，属于数字图像处理技术领域。

背景技术

利用彩色可见光成像技术，能够获得与人眼昼间视觉一致的场景图像，为人们提供丰富多彩的世界，增强对目标的探测/识别能力以及对场景的理解能力，目前在边境监控、城镇安全与交通监视领域具有广泛的应用。但是，在夜晚或低照度条件下，传统的Si基彩色CCD或CMOS成像器件由于灵敏度的限制，其成像噪声的加大难以维持自然场景的彩色重构，只能在具有局部路灯或车灯等夜晚，或月光明亮的夜晚下维持必要的黑白模式成像，对于更为黑暗或对局部暗场景的成像，需要补充照明才能有效成像。近年来，随着EMCCD/低照度CMOS成像探测器的发展，成像灵敏度得到明显提高，特别是通过新型RGBW片上滤光片阵列及其对应的彩色图像重构技术，已使EMCCD/低照度CMOS摄像机能够在接近星光(～10^{- 3}lx)的环境下实现黑白成像，并在约1/4月(～10^-2lx)的环境条件下可实现彩色成像，需要获得信噪比较好的成像则需要到半月(～10^-1lx)的条件。虽然灰度图像并不利于人眼的观察和识别，但为了获得较好的信噪比，夜间监控和被动成像仍多采用黑白模式。

通常，射入成像系统靶面的照度在1lx以下，可称为低照度成像。考虑到环境照度在经过景物反射和光学系统后靶面照度要比环境照度低一个数量级，因此，在环境照度为10lx以下也在低照度成像范围内。

为低照度图像添加自然的颜色信息，有利于人眼观察。但由于成像环节缺失太多信息，从一幅单通道的亮度图像恢复出场景颜色信息非常困难。传统的灰度图像彩色化方法主要有色彩传递和优化扩展。基于色彩传递的彩色化方法需要参考图像，对比参考图像和目标图像的特征，把特征相似的像素点颜色从参考图像转移到目标图像，可实现灰度图像的自动彩色化，但彩色化效果和参考图像紧密相关，且在没有人工干预下的重构色域较小。基于优化扩展的彩色化方法主要基于一种图像分割算法，设立优化条件，寻求最优的图像分割，然后进行着色，方法需要人为在一副灰度图像上画出自己想要添加的颜色线条，并结合分割算法进行着色，不能实现自动彩色化。

随着深度学习技术的发展，有学者利用深度学习技术在灰度图像彩色化方面取得了积极进展。通过构建深度卷积网络，输入灰度图像，输出彩色图像。在彩色图像数据集上训练网络，经过训练的网络模型具有很好的适应性，能够对大多数灰度图像进行自然感的彩色化。但是，低照度图像和普通灰度图像的特征差别很大，该网络模型不能彩色化低照度图像。

综上所述，为低照度图像添加自然感彩色信息，能够有效提高人眼识别目标的速度和精确度，但是现有方法不能很好的彩色化城镇场景的低照度图像，因此，提出一种低照度图像自然感彩色化方法是很必要的。

发明内容

本发明的目的是为了克服现有技术的缺陷，为解决城镇自然场景低照度图像彩色重构问题，提出一种城镇场景低照度图像自然感彩色化方法。本方法通过设计一个能够处理彩色化问题的深度学习网络模型，提高模型对于低信噪比和明暗不均的适应性，从而对城镇场景的低照度图像进行自然感彩色化。

本发明方法是通过下述技术方案实现的：

一种低照度图像自然感彩色化方法，包括以下步骤：

步骤一、针对光照良好条件下的场景，采集低照度图像和彩色图像，并对采集到的图像进行配准。

所述低照度图像，指在照度为10lx以下环境中所采集的图像。

在环境光照良好的情况下，为了采集低照度图像，可以人为减少进入相机的光通量。

步骤二、对配准好的低照度图像和彩色图像的集合进行预处理。提取彩色图像中的颜色值并进行颜色分类，得到颜色分类编码真值；对低照度图像进行归一化，得到归一化的低照度图像，并作为全卷积神经网络的输入值。

步骤三、设计全卷积神经网络。全卷积神经网络的结构分为三个部分：

下采样子网络：用于提取输入图像的高级特征(如语义特征等)。下采样子网络结构基于VGG16网络结构，但取消了池化层，直接通过调整卷积的步长来进行下采样(是否采用池化层对于全卷积神经网络最终的彩色化结果并没有明显的影响，但采用池化层会增加后续上采样过程的复杂度)。

上采样子网络：用于将下采样子网络提取出的高级特征，映射为图像的颜色特征，并提高输出的空间分辨率，采用反卷积层和卷积层堆叠构成。

跳连接结构：用于连接下采样子网络和上采样子网络，提高输出颜色的细节。

步骤四、训练全卷积神经网络。具体方法如下：

首先，将步骤二得到的归一化的低照度图像输入全卷积神经网络，通过下采样子网络的计算，得到图像的高级特征。

然后，通过上采样子网络，将高级特征映射为颜色特征并提高空间分辨率，同时，采用跳连接结构连接下采样子网络和上采样子网络，以提高颜色信息的细节。全卷积神经网络的最后输出为颜色分类编码预测值。

之后，采用交叉熵函数计算全卷积神经网络输出的颜色分类编码预测值和步骤二得到颜色分类编码真值之间的交叉熵误差，再利用交叉熵误差，通过反向传播更新全卷积网络参数。反向传播的具体做法是：首先，计算交叉熵误差对于全卷积神经网络参数的梯度，再把梯度值乘以学习率α，并和全卷积神经网络参数相加，作为新的全卷积神经网络参数值。

其中，所述交叉熵函数为：

其中，L_cl表示计算得到的交叉熵误差；H表示图像像素高度；W表示图像像素宽度；(i,j)表示在图像中的像素位置，k表示下采样比例；Q表示颜色分类数量；表示像素位置(i,j)处颜色属于第q类颜色的预测概率，即全卷积神经网络输出的颜色分类编码预测值；Z_i,j,q表示参考图像像素位置(i,j)处颜色属于第q类颜色的参考概率，即颜色分类编码真值；v为类重平衡参数，根据每一个颜色分类在图像训练集中的出现频率确定，颜色饱和度越低，则频率越大，类重平衡参数越小。

训练时，可采取尺度变换和图像扣取，对图像数据集进行数据扩展，以提高全卷积神经网络的泛化能力；可采取噪声模拟和伽马调节，来模拟低照度图像的特征，以提高全卷积神经网络对低照度图像的低信噪比和亮度不均匀的适应性。噪声模拟，是给图像数据集中的低照度图像添加泊松噪声和高斯噪声，其中泊松噪声的强度和图像亮度相关，高斯噪声的强度通过改变高斯噪声的方差调节。伽马调节，是采用伽马变换调节训练集中低照度图像，在一定程度上突出暗处或者亮处的细节。伽马变换公式为：

其中，I_out为伽马变换后的低照度图像；A为常数；I_in为伽马变换前的低照度图像；γ为伽马变换参数。

在训练全卷积神经网络时，不能仅用一幅图像数据，需要采用大量的图像数据进行训练，即，采用步骤一采集到数据集进行训练。

步骤五、重复步骤四，直到全卷积神经网络输出的颜色分类编码预测值和颜色分类编码真值之间的交叉熵误差小于预设误差，或者迭代步骤达到预设的总迭代步骤。最后，保存训练好的全卷积神经网络参数。

步骤六、加载保存的全卷积神经网络参数，取新的低照度图像，归一化之后输入全卷积神经网络，输出颜色分类编码预测值，将颜色分类编码预测值反变换成Lab颜色空间的ab通道的颜色值，结合输入的低照度图像，组成Lab颜色空间的彩色图像。为便于显示，可以转化成RGB颜色空间的彩色图像。

有益效果

本发明方法，采用全卷积神经网络，无需任何人工辅助即可实现低照度图像的自然感彩色化。在训练阶段，采取尺寸变换和图像抠取进行数据扩展，提高全卷积神经网络的泛化能力；采取噪声模拟和伽马调节模拟低照度图像特征，提高其对于低照度图像的适应性，尤其适用于城镇低照度图像彩色化，

附图说明

图1为在Lab空间中人眼可见的颜色值的分类^[1]，每一个颜色分类都对应一组(a,b)颜色值，当对具体图像进行颜色分类时，采用最近邻法则确定图像每一个像素对应的颜色分类。

图2为全卷积神经网络的结构，图中每一个conv都表示2到3个卷积层(或者反卷积层)和激活层组成的子网络结构；在两个conv之间采用批标准化；整个网络都未采用池化层，采用步长为2的卷积层进行下采样；图中长方体表示经过conv之后的子网络结构输出。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明进一步详细说明。本发明方法主要应用于城镇夜间场景成像。

实施例

本实施例采用的全卷积神经网络，利用现有的开源框架把该神经网络部署到GPU上，并进行训练。

步骤1：在光照良好的白天，用一部低照度相机和彩色相机同时采集场景图像，人为减少进入低照度相机的光通量，获得低照度图像和彩色图像集合。

步骤2：对步骤1中采集到低照度图像和彩色图像进行预处理。对彩色图像，提取彩色图像中的颜色值，并进行颜色分类，得到颜色分类编码真值；对低照度图像进行归一化，作为全卷积神经网络的输入值。

具体实现方法为：

对彩色图像，首先，读取彩色图像，并将彩色图像在H(高)和W(宽)两个维度进行下采样，得到缩小图像以减少计算量。然后，把彩色图像从RGB颜色空间变换到Lab颜色空间，在Lab颜色空间中，L通道表示图像的亮度信息，ab两个通道表示图像的颜色信息，从中提取ab通道的值。图1表示了人眼能看到的所有颜色的分类，每一个颜色分类都对应一个(a,b)值。采用最近邻法则，对照图1，把彩色图像ab通道每一个像素位置的颜色都转化成颜色分类，再用one-hot编码表示颜色分类，得到彩色图像的颜色分类编码真值。

对低照度图像的像素值做归一化处理，得到归一化的低照度图像，作为全卷积神经网络的输入值。

步骤3：在GPU上部署全卷积神经网络，采用的代价函数如公式(1)。图2为全卷积神经网络结构。

步骤4：对步骤2中经过配准的低照度图像进行伽马变换，再添加随机泊松噪声和高斯噪声。

然后对图像进行随机放缩，并扣取图像块，输入全卷积神经网络，输出颜色分类编码预测值，把颜色分类编码预测值和步骤2得到的颜色分类编码真值代入交叉熵函数(1)计算交叉熵误差，对交叉熵误差进行反向传播计算全卷积神经网络参数的梯度并更新网络参数。

步骤5：设定总迭代次数，重复步骤4，当迭代次数达到总迭代次数时，停止迭代，保存全卷积神经网络参数。

步骤6：加载步骤5得到的全卷积神经网络参数，取一张在夜间拍摄城镇场景低照度图像，归一化后输入全卷积神经网络，得到输出的颜色分类编码预测值，把颜色分类编码预测值反变换成Lab空间中ab颜色值，再结合输入的低照度图像，得到彩色图片。

Claims (4)

1.一种低照度图像自然感彩色化方法，其特征在于，包括以下步骤：

步骤一、针对光照良好条件下的场景，采集低照度图像和彩色图像，并对采集到的图像进行配准；

所述低照度图像，指在照度为10lx以下环境中所采集的图像；

步骤二、对配准好的低照度图像和彩色图像的集合进行预处理；

提取彩色图像中的颜色值并进行颜色分类，得到颜色分类编码真值；对低照度图像进行归一化，得到归一化的低照度图像，并作为全卷积神经网络的输入值；

步骤三、设计全卷积神经网络，全卷积神经网络的结构分为三个部分：

下采样子网络：用于提取输入图像的高级特征；下采样子网络结构基于VGG16网络结构，但取消池化层，直接通过调整卷积的步长来进行下采样；

上采样子网络：用于将下采样子网络提取出的高级特征，映射为图像的颜色特征，并提高输出的空间分辨率，采用反卷积层和卷积层堆叠构成；

跳连接结构：用于连接下采样子网络和上采样子网络，提高输出颜色的细节；

步骤四、训练全卷积神经网络，具体方法如下：

首先，将步骤二得到的归一化的低照度图像输入全卷积神经网络，通过下采样子网络的计算，得到图像的高级特征；

然后，通过上采样子网络，将高级特征映射为颜色特征并提高空间分辨率，同时，采用跳连接结构连接下采样子网络和上采样子网络，以提高颜色信息的细节；全卷积神经网络的最后输出为颜色分类编码预测值；

之后，采用交叉熵函数计算全卷积神经网络输出的颜色分类编码预测值和步骤二得到颜色分类编码真值之间的交叉熵误差，再利用交叉熵误差，通过反向传播更新全卷积网络参数；

步骤五、重复步骤四，直到全卷积神经网络输出的颜色分类编码预测值和颜色分类编码真值之间的交叉熵误差小于预设误差，或者迭代步骤达到预设的总迭代步骤；最后，保存训练好的全卷积神经网络参数；

步骤六、加载保存的全卷积神经网络参数，取新的低照度图像，归一化之后输入全卷积神经网络，输出颜色分类编码预测值，将颜色分类编码预测值反变换成Lab颜色空间的ab通道的颜色值，结合输入的低照度图像，组成Lab颜色空间的彩色图像。

2.如权利要求1所述的一种低照度图像自然感彩色化方法，其特征在于，步骤四中，通过反向传播更新全卷积网络参数的具体做法为：

首先，计算交叉熵误差对于全卷积神经网络参数的梯度，再把梯度值乘以学习率α，并和全卷积神经网络参数相加，作为新的全卷积神经网络参数值；

其中，所述交叉熵函数为：

其中，L_cl表示计算得到的交叉熵误差；H表示图像像素高度；W表示图像像素宽度；(i,j)表示在图像中的像素位置，k表示下采样比例；Q表示颜色分类数量；表示像素位置(i,j)处颜色属于第q类颜色的预测概率，即全卷积神经网络输出的颜色分类编码预测值；Z_i,j,q表示参考图像像素位置(i,j)处颜色属于第q类颜色的参考概率，即颜色分类编码真值；v为类重平衡参数，根据每一个颜色分类在图像训练集中的出现频率确定，颜色饱和度越低，则频率越大，类重平衡参数越小。

3.如权利要求1所述的一种低照度图像自然感彩色化方法，其特征在于，步骤四训练全卷积神经网络时，采取尺度变换和图像扣取，对图像数据集进行数据扩展，以提高全卷积神经网络的泛化能力。

4.如权利要求1所述的一种低照度图像自然感彩色化方法，其特征在于，步骤四训练全卷积神经网络时，采取噪声模拟和伽马调节，来模拟低照度图像的特征，以提高全卷积神经网络对低照度图像的低信噪比和亮度不均匀的适应性；

噪声模拟，是给图像数据集中的低照度图像添加泊松噪声和高斯噪声，其中泊松噪声的强度和图像亮度相关，高斯噪声的强度通过改变高斯噪声的方差调节；

伽马调节，是采用伽马变换调节训练集中低照度图像，在一定程度上突出暗处或者亮处的细节；伽马变换公式为：

其中，I_out为伽马变换后的低照度图像；A为常数；I_in为伽马变换前的低照度图像；γ为伽马变换参数。