CN111402145A - 一种基于深度学习的自监督低照度图像增强方法 - Google Patents

Abstract

一种基于深度学习的自监督低照度图像增强方法，属于数字图像处理领域。本发明为解决现有的低照度图像增强方法存在的效果差、泛化能力差的问题，以及现有深度学习方法中对低照度‑正常照度数据集依赖程度高等问题。本发明针对低照度图像增强网络，采集任意数量低照度图像数据，提取低照度图像的最大值通道图像做直方图均衡化；以直方图均衡化后最大值通道图像作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，训练图像增强网络。本发明可以显著增强低照度图像的亮度、对比度，并保留图像的细节和颜色信息。本发明用于低照度图像的增强。

Description

一种基于深度学习的自监督低照度图像增强方法

技术领域

本发明属于数字图像处理领域，涉及低照度图像的增强方法。

背景技术

图像是人类社会活动获取信息的主要来源。但是，受限于图像采集设备的性能，在环境光照不足的情况下，只能得到低照度的图像。低照度图像存在多种图像退化现象，如图像亮度过低，噪声过高，细节丢失等。因为人类和计算机无法有效处理低照度图像，因此需要对低照度图像进行图像增强处理，提高图像的亮度和对比度，尽可能还原图像细节信息。常用的低照度图像增强方法有：

直方图均衡化：通过使得增强后图像直方图近似均匀分布，实现信息熵最大的效果，该方法容易实现且耗时短，是应用最广泛的低照度图像增强方法。但该方法及后续的各种改进方法在应用过程中均难以避免细节丢失，色彩恢复效果不佳，噪声放大等问题。

基于Retinex理论的图像增强方法：该方法假设低照度图像可以分解为照度图像和反射图像两部分，且光照在空间分布均匀，而从低照度图像中同时获得照度图像和反射图像为严重病态问题，需要加入其他约束。现有的单尺度和多尺度Retinex算法及各种改进方法中仅利用照度图平滑的约束，结果往往存在过增强和颜色发白等问题，且无法很好的处理噪声放大的问题。

基于变分的图像增强方法：为解决基于Retinex理论的模型中难以添加图像额外先验信息所导致的噪声放大、细节丢失等问题，近年来提出了多种基于变分Retinex模型的方法，这些方法虽然取得了较好的视觉效果，但求解变分方程非常耗时，实时性较差。

基于深度学习的图像增强方法：在图像增强任务中，大部分基于深度学习的算法都是有监督的，然而同时获取正常图像和退化图像难度很大。尽管这些算法在低照度图像增强方面取得了不错效果，但有监督的训练方法存在如何选择最优参考图像和如何保证算法对新设备、环境的适应能力等两大问题，这严重限制了算法在实际场景中的应用。

综上所述，现有的低照度图像增强方法，主要存在以下问题：一、部分低照度图像增强方法，会产生噪声放大、细节丢失等问题；二、基于变分的低照度图像增强方法，运行效率低；三、在缺少对应的应用场景下的正常-退化图像数据集的情况时，现有的基于深度学习的图像增强方法很难应用，泛化能力差。

发明内容

本发明为解决现有的低照度图像增强方法存在的效果差、泛化能力差的问题，以及现有深度学习方法中对低照度-正常照度数据集依赖程度高等问题，提出了一种基于深度学习的自监督低照度图像增强方法。

一种基于深度学习的自监督低照度图像增强方法，包括以下步骤：

将待增强低照度图像输入图像增强网络；

所述的图像增强网络的输入为低照度图像S及其最大值通道图像S_max，S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道，S_max通过取三个颜色通道中的最大值得到，为M*N*1的矩阵，将S和S_max合并为M*N*4的矩阵作为网络的输入：

图像增强网络输出的反射图像R即为增强后图像。

进一步地，所述图像增强网络结构如下：

输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；

第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；

第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；

第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；

第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第八卷积层、第九卷积层均为3*3的卷积层；

第九卷积层连接一个Sigmoid激活函数层；

Sigmoid激活函数层连接输出层，输出为反射图像R和照度图像I。

进一步地，所述的图像增强网络为训练好的图像增强网络，所述的训练过程如下：

A1、采集任意n张低照度图像，n＞＝1，构建训练数据集；

A2、对于训练数据集中每一张低照度图像S，提取其对应的最大值通道图像S_max，利用直方图均衡化对S_max进行处理，得到直方图均衡化后最大值通道图像S_{He_max}；

A3、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，训练图像增强网络。

进一步地，步骤A2的具体过程包括以下步骤：

步骤三一、提取低照度图像S的最大值通道图像S_max：

其中，S_max(i,j)为最大值通道图像S_max中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，S_c(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素；

步骤三二、对最大值通道图像S_max做直方图均衡化操作，得到直方图均衡化后最大值通道图像S_{He_max}。

进一步地，步骤A3的具体过程包括以下步骤：

步骤四一、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，损失函数为：

其中，λ₁和λ₂为反射图损失和照度图损失的权重参数，λ₃为ΔR在照度图损失中的权重参数，λ₄为ΔR在损失函数中的权重参数；S代表获取的图像，R代表反射图，I代表照度图；ο代表矩阵中的对应位置元素相乘；R^c表示r、g、b通道中最大值通道对应的反射图，ΔR代表反射图R的梯度图，Δ代表求梯度；ΔI代表照度图I的梯度图；

步骤四二、利用步骤四一所提损失函数，对图像增强网络进行训练。

进一步地，所述的λ₁，λ₂，λ₃，λ₄的取值分别为0.1,0.1,10,0.01。

进一步地，步骤四二所述的训练过程包括以下步骤：

(1)使用随机裁剪的低照度图像块进行训练，图像块的大小为48*48；(2)每次训练中随机取16个小块；(3)使用Adam随机优化算法对网络进行训练，更新率设置为0.001。

本发明的有益效果：

本发明提出了一种基于深度学习的自监督图像增强方法，可以仅利用低照度图像，不需要依赖成对的低照度-正常照度数据集就可以完成网络的训练，解决了现有基于深度学习方法构建监督数据集成本高，网络泛化能力低，增强效果不佳等问题。且所提方法，仅需要分钟级训练，在实际应用中也具有很好的实时性。本发明可以显著增强低照度图像的亮度、对比度，并保留图像的细节和颜色信息，并且本发明所提方法可实现在线学习，即使图像增强效果不佳，可以通过在线方法对低照度图像进行学习，通过微调和重新训练改善增强网络的处理效果。

附图说明

图1为具体实施方式一中的照度图像增强的流程图；

图2为图像增强网络结构示意图；

图3为增强图像前的原始低照度图像；

图4为实施例1增强后所得到图像；

图5为实施例2增强后所得到图像。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

一种基于深度学习的自监督低照度图像增强方法，包括以下步骤：

步骤一、基于深度学习设计图像增强网络，该网络可以将低照度图像分解为反射图像R和照度图像I；

所述的图像增强网络的输入为低照度图像S及其最大值通道图像S_max，S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道，S_max通过取三个颜色通道中的最大值得到，为M*N*1的矩阵，将S和S_max合并为M*N*4的矩阵作为网络的输入：输出为反射图像R和照度图像I。

步骤二、采集任意n张低照度图像，n＞＝1，构建训练数据集，训练数据集中可以仅包含低照度图像；

步骤三、对于训练数据集中每一张低照度图像S，提取其对应的最大值通道图像S_max，利用直方图均衡化对S_max进行处理，得到直方图均衡化后最大值通道图像S_{He_max}；

步骤四、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，训练图像增强网络；

步骤五、将待增强低照度图像输入图像增强网络，网络输出的反射图像R即为增强后图像。

实际上，本发明可以预先准备的低照度图像训练数据训练网络，然后直接利用训练好的网络进行图像增强。

由于预先准备的低照度图像训练数据可能与实际拍摄的图片差别较大(即实际需要增强的低照度图像与步骤二所述的训练集中的低照度图像差别较大)，本发明也可以一边拍摄一边将拍摄的低照度图像加入到训练过程中，让训练的网络适应当前应用环境。即在步骤五之后，将待增强低照度图像与步骤二所构建训练数据集共同输入图像增强网络中，利用步骤三到步骤五，对网络进行训练，实现在线学习。然后，利用在线学习训练的图像增强网络进行图像增强。

基于已经确定的增强网络，本发明也可以不需要预先准备的低照度图像训练数据或者预先训练网络，仅使用现场采集的图片作为训练数据，即利用待增强的图像(可以仅为1张)，此时该过程也相当于步骤二构建训练数据集的过程，只不过训练集中的数据不是预先准备的低照度图像。然后，利用步骤三到步骤五，对网络进行训练，实现在线学习。最后，利用在线学习训练的图像增强网络进行图像增强。

本发明提出了一种基于深度学习的自监督图像增强方法，可以仅利用低照度图像，不需要依赖成对的低照度-正常照度数据集就可以完成网络的训练，解决了现有基于深度学习方法构建监督数据集成本高，网络泛化能力低，增强效果不佳等问题。本发明仅需要分钟级训练，在实际应用中具有很好的实时性。本发明可以显著增强低照度图像的亮度、对比度，并保留图像的细节和颜色信息，并且本发明所提方法可实现在线学习，即使图像增强效果不佳，可以通过在线方法对低照度图像进行学习，通过微调和重新训练改善增强网络的处理效果。

具体地说，在图像采集设备敏感度较低或夜间等光照较低情况下，可以应用本发明在保留图像的细节和颜色信息的基础上，显著增强低照度图像的亮度、对比度。本发明所提一种基于深度学习的自监督图像增强方法，仅需要低照度图像即可以完成图像增强网络的训练，具有成本低和实时性高的特点。本发明可以应用在民用的照相摄像、智能视频监控、智能安防、智能交通和光学成像制导等领域。

具体实施方式二：结合图2说明本实施方式，

本实施方式所述一种基于深度学习的自监督低照度图像增强方法，所述图像增强网络具体如下：

输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；

第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；

第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；

第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；

第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第八卷积层、第九卷积层均为3*3的卷积层；

第九卷积层连接一个Sigmoid激活函数层；

Sigmoid激活函数层连接输出层，输出为反射图像R和照度图像I。

其他步骤和参数与具体实施方式一相同。

具体实施方式三：

本实施方式所述一种基于深度学习的自监督低照度图像增强方法，所述步骤三的具体过程包括以下步骤：

步骤三一、提取低照度图像S的最大值通道图像S_max，具体公式如下：

其中，S_max(i,j)为最大值通道图像S_max中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，S_c(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素；

步骤三二、对最大值通道图像S_max做直方图均衡化操作，得到直方图均衡化后最大值通道图像S_{He_max}。

其他步骤和参数与具体实施方式一至二之一相同。

具体实施方式四：

本实施方式所述一种基于深度学习的自监督低照度图像增强方法，所述步骤四的具体过程包括以下步骤：

步骤四一、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，损失函数可以表示为如下三部分组成：

其中，l_rcon代表重建损失，l_R代表反射图损失，l_S代表照度图损失；λ₁和λ₂为反射图损失和照度图损失的权重参数。

重建损失l_rcon可以表示为：

其中，S代表获取的图像，R代表反射图，I代表照度图；ο代表矩阵中的对应位置元素相乘(element-wise multiplication)。

反射图损失可以表示为：

其中，R^c表示r、g、b通道中最大值通道对应的反射图，ΔR代表反射图R的梯度图，Δ代表求梯度，λ为ΔR在反射图损失中的权重参数。

照度图损失可以表示为：

其中，ΔI代表照度图I的梯度图，λ₃为ΔR在照度图损失中的权重参数。

综上，本发明所提损失函数可以表示为：

其中，λ₄为ΔR在损失函数中的权重参数。

经过反复优选，各个权重参数λ，λ₁，λ₂，λ₃，λ₄的取值分别为0.1,0.1,0.1,10,0.01。在此权重参数下，基于对应的损失函数，训练速度快、效率高，且对应的图像增强网络的增强的亮度、对比度好，并能够很好地保留图像的细节和颜色信息。

步骤四二、利用步骤四一所提损失函数，对图像增强网络进行训练，具体如下：

(1)在训练过程中，使用随机裁剪的低照度图像块进行训练，图像块的大小为48*48；(2)每次训练中随机取16个小块；(3)使用Adam随机优化算法对网络进行训练，更新率设置为0.001。此时能够在保证增强网络的增强效果的基础上，进一步提高训练效率和增强网络的效率。

其他步骤和参数与具体实施方式一至三之一相同。

实施例

按照本发明进行低照度图像增强，增强前的原始低照度图像如图3所示。

实施例1、本发明实施例预先准备的低照度图像训练数据训练网络，然后直接利用训练好的网络进行图像增强。增强效果如图4所示。

实施例2、基于已经确定的增强网络，本实施例不需要预先准备的低照度图像训练数据或者预先训练网络，仅使用现场采集的图片作为训练数据，即利用待增强的图像，然后利用步骤三到步骤五，对网络进行训练，直接在线学习对应的网络进行图像增强。增强效果如图5所示。

通过增强后的图像能够看出：本发明的自监督低照度图像增强网络可以显著增强图像的亮度、对比度、并保留图像的细节和颜色信息。

通过实验也能够明确本发明所提方法具有很好的实时性。

Claims (7)

1.一种基于深度学习的自监督低照度图像增强方法，其特征在于，包括以下步骤：

将待增强低照度图像输入图像增强网络；

所述的图像增强网络的输入为低照度图像S及其最大值通道图像S_max，S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道，S_max通过取三个颜色通道中的最大值得到，为M*N*1的矩阵，将S和S_max合并为M*N*4的矩阵作为网络的输入：

图像增强网络输出的反射图像R即为增强后图像。

2.根据权利要求1所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，所述图像增强网络结构如下：

输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；

第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；

第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；

第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；

第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第八卷积层、第九卷积层均为3*3的卷积层；

第九卷积层连接一个Sigmoid激活函数层；

Sigmoid激活函数层连接输出层，输出为反射图像R和照度图像I。

3.根据权利要求1或2所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，所述的图像增强网络为训练好的图像增强网络，所述的训练过程如下：

A1、采集任意n张低照度图像，n＞＝1，构建训练数据集；

A2、对于训练数据集中每一张低照度图像S，提取其对应的最大值通道图像S_max，利用直方图均衡化对S_max进行处理，得到直方图均衡化后最大值通道图像S_{He_max}；

A3、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，训练图像增强网络。

4.根据权利要求3所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，步骤A2的具体过程包括以下步骤：

步骤三一、提取低照度图像S的最大值通道图像S_max

其中，S_max(i,j)为最大值通道图像S_max中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，S_c(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素；

步骤三二、对最大值通道图像S_max做直方图均衡化操作，得到直方图均衡化后最大值通道图像S_{He_max}。

5.根据权利要求4所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，步骤A3的具体过程包括以下步骤：

步骤四一、以直方图均衡化后最大值通道图像S_{He_max}作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，损失函数为：

其中，λ₁和λ₂为反射图损失和照度图损失的权重参数，λ₃为ΔR在照度图损失中的权重参数，λ₄为ΔR在损失函数中的权重参数；S代表获取的图像，R代表反射图，I代表照度图；

代表矩阵中的对应位置元素相乘；R^c表示r、g、b通道中最大值通道对应的反射图，ΔR代表反射图R的梯度图，Δ代表求梯度；ΔI代表照度图I的梯度图；

步骤四二、利用步骤四一所提损失函数，对图像增强网络进行训练。

6.根据权利要求5所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，所述的λ₁，λ₂，λ₃，λ₄的取值分别为0.1,0.1,10,0.01。

7.根据权利要求5所述的一种基于深度学习的自监督低照度图像增强方法，其特征在于，步骤四二所述的训练过程包括以下步骤：

(1)使用随机裁剪的低照度图像块进行训练，图像块的大小为48*48；(2)每次训练中随机取16个小块；(3)使用Adam随机优化算法对网络进行训练，更新率设置为0.001。

Images