CN110232661B - 基于Retinex和卷积神经网络的低光照彩色图像增强方法 - Google Patents

Abstract

本发明公开了一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，首先将低光照彩色图像输入到分解网络，输出一个三通道的反射图和一个单通道的光照图；然后将反射图和光照图输入到反射图恢复网络，去噪和颜色恢复的处理，得到恢复后的反射图；再将光照图和光照调节参数输入到光照图调节网络，输出调节后的光照图；最后将恢复后的反射图和调节后的光照图进行点乘操作得到增强后的图像。本发明基于Retinex理论，利用卷积神经网络实现低光照图像的增强，并构建损失函数对卷积神经网络的参数进行约束优化，达到所期望的低光照图像亮度、对比度增强，图像观感提升的效果，极大程度上去除了噪声和颜色失真的影响，并可由用户自主调节增强亮度。

Description

基于Retinex和卷积神经网络的低光照彩色图像增强方法

技术领域

本发明涉及一种数字图像处理技术领域，尤其涉及一种基于Retinex和卷积神经网络的低光照彩色图像增强方法。

背景技术

随着数码产品特别是智能手机的普及，人们可以方便的采集到各种各样的图像信息。在实际生活中，有很多图像是在光照较暗或光照失衡情况下拍摄的，这些图像经常会存在视觉质量低下的问题，例如图像整体或部分区域偏暗、细节信息难以捕获、颜色失真以及噪声严重等。低光照图像的这些问题严重影响人们的视觉感受或者计算机对图像的处理工作。低光照图像增强技术可以对低光照图像进行增强，从而调整图像的亮度，恢复图像中较暗区域的细节，帮助人们或计算机进行进一步的图像分析与处理。现有的低光照图像增强方法主要分为以下几类：

(1)直方图均衡化：该方法及其改进方法通常粗略的认为正常光照下图像的直方图更符合均匀分布，因此通过对图像中灰度值较低的像素进行非线性拉伸，使得图像的直方图均匀分布，提高图像的对比度，即可得到增强后的图像。该方法简单易行，但其存在增强结果不自然，图像失真等问题。

(2)伽马校正：该方法利用非线性映射函数对较暗区域进行大幅增强，而对较亮区域增强效果较少，从而使得整体图像增亮。该方法容易产生过曝的问题，只适合于全局较暗的图像。

(3)基于Retinex理论的增强算法；该理论认为图像可以分解为两个部分：反射图和光照图，其中反射图反映了该图像的本质反射图像，而光照图反映了该图像受光照的影响。本发明同样利用了该理论。早期的单尺度Retinex和多尺度Retinex等方法产生的结果很不自然。尽管之后一些方法对光照图估计进行了改进，但这些方法一般假设图像是没有噪声的或颜色不失真的。然而在实际应用中，由于光照条件较差，低光照图像增强的结果往往存在严重的噪声以及颜色失真。

(4)基于深度学习的方法：随着深度学习的蓬勃发展，利用深度学习进行低光照图像增强也取得了一定的进展。深度学习的方法主要是利用卷积神经网络构建模型，对成对(正常光照和低光照)的图像数据集进行参数学习，来获取一个合适的映射关系。在测试时使用该映射关系来获取增强后的图像。现有的深度学习的方法有LLNet、Retinex-Net、MSR-Net等。然而这些方法并不能有效地处理增强图像中存在的严重噪声及颜色失真等问题。

综上，现有的低光照图像增强算法大部分只对一些没有噪声的低光照图像有一定的效果，而对于一些特别暗的区域的增强结果往往存在严重的噪声和颜色失真，难以满足实际需求。

发明内容

针对上述现有技术，本发明提供了一种基于Retinex和卷积神经网络的低光照图像增强方法，实现低光照图像的增强，特别地对增强结果中噪声和颜色失真的影响做了一定的处理，并且可以由用户自主调节增强亮度。

为了解决上述技术问题，本发明提出的一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，包括以下步骤：

步骤1：将一个RGB三通道低光照彩色图像S输入到分解网络，输出一个三通道的反射图R和一个单通道的光照图I；

步骤2：将步骤1中得到的反射图R和光照图I输入到反射图恢复网络，进行去噪和颜色恢复的处理，得到恢复后的反射图

步骤3：将步骤1中得到的光照图I和用户提供的一个光照调节参数α一起输入到光照图调节网络，输出一个调节后的光照图

步骤4:将步骤2中得到的恢复后的反射图

和步骤3中得到的调节后的光照图

进行点乘操作，得到调节后的低光照增强图像T。

进一步讲，本发明基于Retinex和卷积神经网络的低光照彩色图像增强方法，其中：

步骤1中，所述分解网络包含8个卷积层、6个激活层、2个池化层、2个解卷积层、3个串接层以及2个sigmoid层；所述分解网络的输入为RGB三通道低光照彩色图像S，所述分解网络的输出为一个三通道的反射图R和一个单通道的光照图I；所述分解网络训练过程中使用的损失函数为：

其中：

||·||₁表示1范数损失，正常曝光图像标记为S_h，低光照图像标记为S_l，将成对的图像[S_h,S_l]输入到分解网络中，分别得到分解后的反射图[R_h,R_l]和光照图[I_h,I_l]，该项作用是保证分解后的R和I的乘积尽可能与原图保持一致；

表示均方误差损失，该项作用是让分解后的R_h和R_l尽可能相似；

表示梯度计算，该项作用是保证分解后的I_h和I_l不能产生原图中不存在的结构；

该项作用是保证分解后的I_h和I_l尽可能的平滑，即只保留大的结构，而去除小的细节，从而将细节更多地保留到反射图中。

所述步骤2中，所述反射图恢复网络包含19个卷积层、18个激活层、4个池化层、4个解卷积层、5个串接层以及1个Sigmoid层；所述反射图恢复网络的输入为步骤1中分解得到的反射图R和光照图I，所述反射图恢复网络的输出为恢复后的反射图

所述反射图恢复网络训练过程中使用的损失函数为：

其中：SSIM(·,·)表示结果相似度测量，

表示恢复后的反射图。

所述步骤3中，所述光照图调节网络包含4个卷积层、3个激活层、1个串接层以及1个Sigmoid层；所述光照图调节网络的输入为步骤1中分解得到的光照图I和由用户提供的调节参数α，所述光照图调节网络的输出为调节后的单通道光照图

所述光照图调节网络训练过程中使用的损失函数为：

其中：I_t是I_h或I_l，

是I_t调节后的光照图。

与现有技术相比，本发明的有益效果是：

本发明的基于Retinex和卷积神经网络的低光照彩色图像增强方法中设计了三个不同的卷积神经网络，分别是分解网络，反射图恢复网络以及光照图调节网络。其中，分解网络基于Retinex理论，通过构建恰当的损失函数，将输入的低光照图像分解为细节保留的反射图和结构保持的光照图；而反射图恢复网络将分解得到的反射图进行去噪和颜色恢复的操作；光照图调节网络实现了光照图任意调节的功能。

附图说明

图1为本发明基于Retinex和卷积神经网络的低光照彩色图像增强方法的流程框图；

图2为本发明实施例低光照图像增强方法的整体流程图；

图3为本发明实施例中分解网络的结构示意图；

图4为本发明实施例中反射图恢复网络的结构示意图；

图5为本发明实施例中光照图调节网络的结构示意图；

图6为本发明实施例处理后的增强效果示意图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

本发明提出的一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，设计思路是设计了三个不同的卷积神经网络，分别是分解网络，反射图恢复网络以及光照图调节网络。基本步骤是：首先将低光照彩色图像输入到本发明设计的分解网络，该分解网络输出一个三通道的反射图和一个单通道的光照图；然后将反射图和光照图输入到反射图恢复网络，进行去噪和颜色恢复的处理，得到恢复后的反射图；再将光照图和光照调节参数输入到光照图调节网络，输出调节后的光照图；最后将恢复后的反射图和调节后的光照图进行点乘操作，得到增强后的图像。本发明基于Retinex理论，利用卷积神经网络实现低光照图像的增强，并构建损失函数对卷积神经网络的参数进行约束优化，达到所期望的低光照图像亮度、对比度增强，图像观感提升的效果，极大程度上去除了噪声和颜色失真的影响，并且可以由用户自主调节增强亮度。

如图1和图2所示，本发明提出的一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，包括以下步骤：

步骤1：将一个RGB三通道低光照彩色图像S输入到分解网络，输出一个三通道的反射图R和一个单通道的光照图I，即，所述分解网络的输入为RGB三通道低光照彩色图像S，所述分解网络的输出为一个三通道的反射图R和一个单通道的光照图I。

如图3所示，该分解网络包含8个卷积层(Conv)、6个激活层(ReLU)、2个池化层(Pooling)、2个解卷积层(Deconv)、3个串接层(Concat)以及2个sigmoid层。由于本发明设计的网络结构包含若干个同一类型的层，其每种类型的层的作用不变，而参数有所不同。为了避免冗余，下面就各个层的作用及操作予以说明。

卷积层的作用是提取图像特征，通过卷积运算，将输入的若干通道特征图转换为输出通道数的特征图。一般包含的参数包括：卷积核大小、输入通道数、输出通道数、步长、填充方式等，本发明中所有操作使用的填充方式全部为SAME。

激活层的作用是将原来的线性映射转换为非线性映射，通常对输入的特征图进行非线性函数计算。本发明中使用的激活函数全部为ReLU，其作用是如果计算出的值小于0，就让它等于0，否则保持原来的值不变。

池化层的作用是将图像进行降采样操作，一方面可以提取多尺度的特征，另一方面减小计算量。本分明中使用的池化方式全部为Max Pooling，即对邻域内特征点求最大值作为该邻域的输出。一般包含的参数包括：卷积核大小、步长、填充方式等。

解卷积的作用是将图像进行上采样操作，即将特征图的大小进行放大，有利于后继的合并操作。一般包含的参数包括：卷积核大小、步长、填充方式等。

串接层的作用是将若干通道的特征图进行串接，使其合并为具有统一属性的特征图，以利于进一步的操作。本发明中的分解网络和反射图恢复网络都使用了若干个短连接，将下采样之前的特征图与上采样之后的特征图进行串接操作，有利于得到更加丰富的特征，从而得到更好的增强结果。

Sigmoid层是指将输入的若干通道的特征图进行一个Sigmoid函数计算，其作用是将输入的值转换到0～1之间，从而符合反射图和光照图的取值范围。

该分解网络具体的数据前向传播的过程及网络结构如下：首先读取长度为h，宽度为w的低光照彩色图像S，并将像素值除以255归一化到0～1之间，将其RGB三通道作为输入层的3个特征图(Feature Maps)输入到第一个卷积层以及激活层，输出32通道特征图(D_conv_1)。之后对32通道特征图(D_conv_1)实施了一个分支操作，第一个分支用来生成反射图，第二个分支用来生成光照图。更加具体地，如图3和表1所示，第一分支经过两个池化层、五个卷积层、两个解卷积层、两个串接层以及一个Sigmoid层，最终得到分解后的反射图R；第二分支经过两个卷积层，一个串接层，一个Sigmoid层，最终得到分解后的光照图I。需要说明的是，光照图不仅利用了原图的特征图(D_conv_7)，而且利用了反射图计算过程中的特征图(D_conv_5)，其中隐含的一个约束关系为反射图中的梯度与光照图的梯度互斥(特别是较小的梯度)，实验证明，引入反射图的特征图(D_conv_5)可以得到更加平滑的光照图。

表1：分解网络参数

本发明低光照彩色图像增强方法中设计的各个网络的权值参数根据训练数据和损失函数在训练学习的过程中不断更新，直到训练过程收敛时保存各网络模型的参数。在实际应用时，只需要输入一幅低光照图像和一个光照调节参数，便可以在输出端得到增强后的效果。

具体地，对于一个包含几百张成对的不同曝光时间图像的数据集，将正常曝光图像标记为S_h，低光照图像标记为S_l。将成对的图像[S_h,S_l]输入到分解网络中，分别得到分解后的反射图[R_h,R_l]和光照图[I_h,I_l]。对于分解网络，为了得到细节保留的反射图以及结构保持的光照图，本发明中构建了一个新的损失函数，该损失函数包含多项约束关系，其具体表示如下：

其中：

||·||₁表示1范数损失，正常曝光图像标记为S_h，低光照图像标记为S_l，将成对的图像[S_h,S_l]输入到分解网络中，分别得到分解后的反射图[R_h,R_l]和光照图[I_h,I_l]，该项作用是保证分解后的R和I的乘积尽可能与原图保持一致；

表示均方误差损失，该项作用是让分解后的R_h和R_l尽可能相似；

表示梯度计算，该项作用是保证分解后的I_h和I_l不能产生原图中不存在的结构；

该项作用是保证分解后的I_h和I_l尽可能的平滑，即只保留大的结构，而去除小的细节，从而将细节更多地保留到反射图中。

步骤2：将步骤1中得到的反射图R和光照图I输入到反射图恢复网络，进行去噪和颜色恢复的处理，得到恢复后的反射图

即，所述反射图恢复网络的输入为步骤1中分解得到的反射图R和光照图I，所述反射图恢复网络的输出为恢复后的反射图

对于反射图恢复网络，其网络结构如图4所示，网络参数如表2所示，包含19个卷积层、18个激活层、4个池化层、4个解卷积层、5个串接层以及1个Sigmoid层。需要说明的是，图像越暗，其噪声影响越严重，因此噪声的等级与光照强度有着直接的关系，光照图可以作为噪声等级的一个先验知识。将光照图I一起输入到反射图恢复网络可以为噪声等级提供一个估计，从而达到更好的去噪和颜色恢复的效果。

表2反射图网络参数

对于反射图恢复网络，在训练时所使用的损失函数如下：

其中：SSIM(·,·)表示结果相似度测量，

表示恢复后的反射图。

步骤3：将步骤1中得到的光照图I和用户提供的一个光照调节参数α一起输入到光照图调节网络，输出一个调节后的光照图

即所述光照图调节网络的输入为步骤1中分解得到的光照图I和由用户提供的调节参数α，所述光照图调节网络的输出为调节后的单通道光照图

对于光照图调节网络，其网络结构如图5所示，网络参数如表3所示，其包含4个卷积层、3个激活层、1个串接层以及1个Sigmoid层。

表3光照图网络参数

光照图调节网络训练过程中所使用的损失函数为：

其中：I_t可以是I_h或I_l，

是I_t调节后的光照图。通过该网络学习到的光照图不同于通常调节光照时使用的伽马校正，其更加符合实际情况，可以得到更好的增强效果。

步骤4:将步骤2中得到的

和步骤3中得到的

进行点乘操作，得到调节后的低光照增强图像T。

图6给出了两组具体的处理效果，通过给定不同的调节参数α，可以得到不同亮度的增强效果，实现了用户自主调节增强效果的目的。其中：(a)表示两幅原始的低光照图像，(b)为分解后对应的反射图，(c)表示分解后对应的光照图，(d)为恢复后对应的反射图，(e)为光照调节参数α为0.5的对应的增强处理后的低光照增强图像，(f)为光照调节参数α为1.5的对应的增强处理后的低光照增强图像。

实验结果证明，本发明对特别暗的图像依然有着较好的增强效果，能够处理增强结果中存在的严重噪声和颜色失真等问题，并且可以由用户指定增强亮度。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (2)

1.一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，其特征在于，包括以下步骤：

步骤1：将一个RGB三通道低光照彩色图像S输入到分解网络，输出一个三通道的反射图R和一个单通道的光照图I；

步骤2：将步骤1中得到的反射图R和光照图I输入到反射图恢复网络，进行去噪和颜色恢复的处理，得到恢复后的反射图

所述反射图恢复网络包含19个卷积层、18个激活层、4个池化层、4个解卷积层、5个串接层以及1个Sigmoid层；所述反射图恢复网络的输入为步骤1中分解得到的反射图R和光照图I，所述反射图恢复网络的输出为恢复后的反射图

所述反射图恢复网络训练过程中使用的损失函数为：

其中：SSIM(·,·)表示结果相似度测量，

表示恢复后的反射图；

步骤3：将步骤1中得到的光照图I和用户提供的一个光照调节参数α一起输入到光照图调节网络，输出一个调节后的光照图

所述光照图调节网络包含4个卷积层、3个激活层、1个串接层以及1个Sigmoid层；所述光照图调节网络的输入为步骤1中分解得到的光照图I和由用户提供的调节参数α，所述光照图调节网络的输出为调节后的单通道光照图

所述光照图调节网络训练过程中使用的损失函数为：

其中：I_t是I_h或I_l，

是I_t调节后的光照图；

步骤4：将步骤2中得到的恢复后的反射图

和步骤3中得到的调节后的光照图

进行点乘操作，得到调节后的低光照增强图像T。

2.根据权利要求1所述基于Retinex和卷积神经网络的低光照彩色图像增强方法，其特征在于，步骤1中，

所述分解网络包含8个卷积层、6个激活层、2个池化层、2个解卷积层、3个串接层以及2个sigmoid层；所述分解网络的输入为RGB三通道低光照彩色图像S，所述分解网络的输出为一个三通道的反射图R和一个单通道的光照图I；

所述分解网络训练过程中使用的损失函数为：

其中：

||·||₁表示1范数损失，正常曝光图像标记为S_h，低光照图像标记为S_l，将成对的图像[S_h,S_l]输入到分解网络中，分别得到分解后的反射图[R_h,R_l]和光照图[I_h,I_l]，该项作用是保证分解后的R和I的乘积尽可能与原图保持一致；

表示均方误差损失，该项作用是让分解后的R_h和R_l尽可能相似；

表示梯度计算，该项作用是保证分解后的I_h和I_l不能产生原图中不存在的结构；

该项作用是保证分解后的I_h和I_l尽可能的平滑，即只保留大的结构，而去除小的细节，从而将细节更多地保留到反射图中。

Images