CN112233043A - 一种基于DenseNet与GAN的低照度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于DenseNet与GAN的低照度图像增强方法，属于图像信息处理领域。本发明的具体步骤如下，步骤1：采用DenseNet框架构建生成器网络；步骤2：采用PatchGAN框架构建判别器网络；步骤3：基于生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。该方法针对低照度环境下的采集图像通常存在信噪比低、分辨率和照度水平不理想等现实问题，采用了DenseNet对经典GAN模型进行改进，促成了低照度图像增强问题的合理解决，具有较高的学术价值。

Description

一种基于DenseNet与GAN的低照度图像增强方法

技术领域

本发明属于图像信息处理领域，尤其涉及一种基于DenseNet与GAN的低照度图像增强方法。

背景技术

在图像采集过程中，所在场景的光照条件往往成为影响图像质量的重要因素。在现代社会生产生活中，人们采集图像变得愈来愈方便快捷，但由于光照条件不足产生的低照度图像识别度不高，大大影响了使用价值，并对后续的图像处理、目标识别、语义分割等任务造成了极大的困难。

目前，深度学习发展势头迅猛，并且在计算机视觉方面有着广泛的应用和不俗的效果，深度学习模型可以利用大量数据来完成对深度模型的训练，比如输入大量不同照度的图像，利用自动编码器或卷积神经网络进行训练，从而达到对低照度图像增强的效果。

为了提升对低照度图像增强的处理效果并得到高质量的图像，本发明利用生成对抗网络训练特点和学习能力，提出了一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，该方法运用稠密连接网络(DenseNet)作为框架搭建生成器网络，其优势在于具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的任务；另外，本发明采用马尔科夫判别器(PatchGAN)作为判别器网络来监督生成器网络，从而提升生成器网络生成高质量图像的能力。

以下为部分中英文对照：

稠密连接网络(DenseNet)

生成对抗网络(GAN)

批标准化技术(BatchNorm)

线性整流函数(ReLu)

双曲正切函数(Tanh)

拼接(concatenation)

均方误差(MSE)。

发明内容

发明的目的：为了提供效果更好的一种基于DenseNet与GAN的低照度图像增强方法，具体目的见具体实施部分的多个实质技术效果。

为了达到如上目的，本发明采取如下技术方案：

技术方案：一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，包括如下步骤：

步骤1，采用DenseNet框架构建生成器网络；

(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用BatchNorm对数据进行标准化处理，再使用ReLu作为激活函数对输入数据进行上采样处理，最终传入DenseNet。上采样特征提取的数学表达式为：

G_Li(X)＝C_Li*X (1)

其中，X为输入的低照度图像，G_Li代表第L层输出的第i组特征图，“*”表示卷积操作，C_Li代表第L层的第i组卷积核，i＝1,2,3,4。

(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，本发明将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用Tanh作为激活函数，整个DenseNet框架使用3个concatenation将不同尺寸的特征图调整为统一的通道数进行连接。

DenseNet的映射函数表达式为：

X_L＝H_L([X₀,X₁,...,X_L-1]) (2)

其中，L表示总层数，“[]”表示将第X₀层至X_L-1层所有输出的特征图按通道数大小组合起来，H_L表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的X_L表示采用H_L处理后的结果。

步骤2，采用PatchGAN框架构建判别器网络；

本发明在构建判别器网络时采用PatchGAN判别器来替换传统的二分类判别器。一方面，该判别器可以输出一个N×N矩阵，并通过矩阵均值计算对真实图像和生成器生成图像进行判断。该判别器充分考虑了图像不同区域的特征，注重图像细节信息的捕捉与考量，有助于提升图像质量；另一方面，该判别器针对小尺寸图像块进行计算，提升了网络收敛速度。本发明设计了四层全卷积层的卷积神经网络，除最后一层卷积层外，其余三层每层间经过卷积后采用BatchNorm对数据进行标准化处理，并采用LeakyReLu作为激活函数。

步骤3，执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

步骤3.1，构造损失函数：

本发明的生成器网络和判别器网络在训练过程中均采用均方误差(Mean SquareError,MSE)指标作为损失函数。其中，针对生成器网络，MSE用于计算生成照度增强后的图像与正常照度图像间的误差数值，而针对判别器网络，MSE用于计算经判别器网络处理后的图像与正常照度图像间的误差数值。生成器网络和判别器网络的损失函数数学表达式分别为：

其中，D与G分别表示判别器网络和生成器网络，L_G与L_D分别表示生成器网络的误差数值和判别器网络的误差数值，N为训练样本的数量，Y_i表示第i组真实的正常照度图像数值，T_i表示生成器网络生成的第i组输出，B_i表示判别器网络生成的第i组输出。

步骤3.2，进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

构建评价函数：

评价函数值越大，对应的图像增强效果越好。为此，需要针对生成器网络D和判别器网络G进行交替迭代，即在一段时间内，判别器网络G中的参数保持不变以优化生成器网络D，而在另一段时间内，生成器网络G中的参数保持不变以优化判别器网络D。生成器网络G和生成器网络D的迭代公式分别为：

随着迭代次数的不断增加，生成照度增强后的图像与正常照度图像基本吻合，使得判别器网络处于纳什均衡，即判别准确的概率为0.5而无法完成准确判断，迭代结束，则生成的照度增强后的图像即为最终图像。

本发明采用上述技术方案，具有以下有益效果：针对目前主流的低照度图像增强方法，本发明方法得到的照度增强后的图像不仅在亮度方面与正常照度的图像亮度非常接近，而且很好地实现了图像细节信息保留和色彩还原，增强后的图像更加自然，直观视觉效果更好。

附图说明

为了进一步说明本发明，下面结合附图进一步进行说明：

图1为本发明方法的流程图；

图2-图3为仿真实验中使用的源图像；图2为低照度图像；图3为对应的正常照度图像。

图4-图11为仿真实验的效果仿真图；其中，图4为HE方法的仿真结果；图5为MSRCR方法的仿真结果；图6为Gou方法的仿真结果；图7为Ying方法的仿真结果；图8为Lore方法的仿真结果；图9为Ma方法的仿真结果；图10为Li方法的仿真结果；图11为本发明方法的仿真结果。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本专利提供多种并列方案，不同表述之处，属于基于基本方案的改进型方案或者是并列型方案。每种方案都有自己的独特特点。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明的一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，具体包括以下步骤：

步骤1，采用DenseNet框架构建生成器网络；

(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用BatchNorm对数据进行标准化处理，再使用ReLu作为激活函数对输入数据进行上采样处理，最终传入DenseNet。上采样特征提取的数学表达式为：

G_Li(X)＝C_Li*X (1)

其中，X为输入的低照度图像，G_Li代表第L层输出的第i组特征图，“*”表示卷积操作，C_Li代表第L层的第i组卷积核，i＝1,2,3,4。

(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，本发明将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用Tanh作为激活函数，整个DenseNet框架使用3个concatenation将不同尺寸的特征图调整为统一的通道数进行连接。

DenseNet的映射函数表达式为：

X_L＝H_L([X₀,X₁,...,X_L-1])

(2)

其中，L表示总层数，“[]”表示将第X₀层至X_L-1层所有输出的特征图按通道数大小组合起来，H_L表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的X_L表示采用H_L处理后的结果。

步骤2，采用PatchGAN框架构建判别器网络；

本发明在构建判别器网络时采用PatchGAN判别器来替换传统的二分类判别器。一方面，该判别器可以输出一个N×N矩阵，并通过矩阵均值计算对真实图像和生成器生成图像进行判断。该判别器充分考虑了图像不同区域的特征，注重图像细节信息的捕捉与考量，有助于提升图像质量；另一方面，该判别器针对小尺寸图像块进行计算，提升了网络收敛速度。本发明设计了四层全卷积层的卷积神经网络，除最后一层卷积层外，其余三层每层间经过卷积后采用BatchNorm对数据进行标准化处理，并采用LeakyReLu作为激活函数。

步骤3，执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

步骤3.1，构造损失函数：

本发明的生成器网络和判别器网络在训练过程中均采用均方误差(Mean SquareError,MSE)指标作为损失函数。其中，针对生成器网络，MSE用于计算生成照度增强后的图像与正常照度图像间的误差数值，而针对判别器网络，MSE用于计算经判别器网络处理后的图像与正常照度图像间的误差数值。生成器网络和判别器网络的损失函数数学表达式分别为：

其中，D与G分别表示判别器网络和生成器网络，L_G与L_D分别表示生成器网络的误差数值和判别器网络的误差数值，N为训练样本的数量，Y_i表示第i组真实的正常照度图像数值，T_i表示生成器网络生成的第i组输出，B_i表示判别器网络生成的第i组输出。

步骤3.2，进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

构建评价函数：

评价函数值越大，对应的图像增强效果越好。为此，需要针对生成器网络D和判别器网络G进行交替迭代，即在一段时间内，判别器网络G中的参数保持不变以优化生成器网络D，而在另一段时间内，生成器网络G中的参数保持不变以优化判别器网络D。生成器网络G和生成器网络D的迭代公式分别为：

随着迭代次数的不断增加，生成照度增强后的图像与正常照度图像基本吻合，使得判别器网络处于纳什均衡，即判别准确的概率为0.5而无法完成准确判断，迭代结束，则生成的照度增强后的图像即为最终图像。

实施例：

本发明方法的仿真实验平台为一台个人PC，配置为Intel(R)Core(TM)i5-4250UCPU1.90GHz，4GB内存，仿真软件为Matlab 2014b。本发明的技术方案如图1所示，为了更好地对本发明的技术方案加以理解，本实施例选用了两幅源图像(低照度图像+正常照度图像)进行仿真实验。遵循本发明的技术方案，本实施例的一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，具体包括如下步骤：

步骤1，采用DenseNet框架构建生成器网络；

(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用BatchNorm对数据进行标准化处理，再使用ReLu作为激活函数对输入数据进行上采样处理，最终传入DenseNet。上采样特征提取的数学表达式为：

G_Li(X)＝C_Li*X (1)

其中，X为输入的低照度图像，G_Li代表第L层输出的第i组特征图，“*”表示卷积操作，C_Li代表第L层的第i组卷积核，i＝1,2,3,4。

(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，本发明将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用Tanh作为激活函数，整个DenseNet框架使用3个concatenation将不同尺寸的特征图调整为统一的通道数进行连接。

DenseNet的映射函数表达式为：

X_L＝H_L([X₀,X₁,...,X_L-1])

(2)

其中，L表示总层数，“[]”表示将第X₀层至X_L-1层所有输出的特征图按通道数大小组合起来，H_L表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的X_L表示采用H_L处理后的结果。

步骤2，采用PatchGAN框架构建判别器网络；

本发明在构建判别器网络时采用PatchGAN判别器来替换传统的二分类判别器。一方面，该判别器可以输出一个N×N矩阵，并通过矩阵均值计算对真实图像和生成器生成图像进行判断。该判别器充分考虑了图像不同区域的特征，注重图像细节信息的捕捉与考量，有助于提升图像质量；另一方面，该判别器针对小尺寸图像块进行计算，提升了网络收敛速度。本发明设计了四层全卷积层的卷积神经网络，除最后一层卷积层外，其余三层每层间经过卷积后采用BatchNorm对数据进行标准化处理，并采用LeakyReLu作为激活函数。

步骤3，执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

步骤3.1，构造损失函数：

本发明的生成器网络和判别器网络在训练过程中均采用均方误差(Mean SquareError,MSE)指标作为损失函数。其中，针对生成器网络，MSE用于计算生成照度增强后的图像与正常照度图像间的误差数值，而针对判别器网络，MSE用于计算经判别器网络处理后的图像与正常照度图像间的误差数值。生成器网络和判别器网络的损失函数数学表达式分别为：

其中，D与G分别表示判别器网络和生成器网络，L_G与L_D分别表示生成器网络的误差数值和判别器网络的误差数值，N为训练样本的数量，Y_i表示第i组真实的正常照度图像数值，T_i表示生成器网络生成的第i组输出，B_i表示判别器网络生成的第i组输出。

步骤3.2，进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；

构建评价函数：

评价函数值越大，对应的图像增强效果越好。为此，需要针对生成器网络D和判别器网络G进行交替迭代，即在一段时间内，判别器网络G中的参数保持不变以优化生成器网络D，而在另一段时间内，生成器网络G中的参数保持不变以优化判别器网络D。生成器网络G和生成器网络D的迭代公式分别为：

随着迭代次数的不断增加，生成照度增强后的图像与正常照度图像基本吻合，使得判别器网络处于纳什均衡，即判别准确的概率为0.5而无法完成准确判断，迭代结束，则生成的照度增强后的图像即为最终图像。

仿真对比实验：

为了验证本发明的方法的有效性，以下通过一组仿真实验来验证同现行的多种主流低照度图像增强方法相比，采用本发明方法具有更好的实验效果：

遵循本发明的技术方案，针对一组待处理源图像，该组源图像包括一幅低照度图像(见图2)和对应的正常照度图像(见图3)。同时，选取几种代表性方法包括HE方法、MSRCR方法、Gou方法、Ying方法、Lore方法、Ma方法、Li方法与本发明对应方法进行比较。

图4-图11给出了八种方法的仿真实验结果，其表明本发明方法得到的照度增强后的图像不仅在亮度方面与正常照度的图像亮度非常接近，而且很好地实现了图像细节信息保留和色彩还原，增强后的图像更加自然，直观视觉效果更好。此外，本发明还选取了峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似度(Structural SimilarityIndex,SSIM)和平均运行时间(Average Running Time,ART)作为八种方法的客观质量评价指标。表1给出了仿真实验中八种低照度图像增强方法对应结果图像的客观评价结果。需要说明的是，表格中的加粗字体表示同一客观指标下的最优结果。显然，与其他七种方法相比，本发明方法无论在PSNR还是SSIM指标方面均表现最佳，该结果表明由本发明方法生成的最终照度增强图像具有更为理想的直观视觉效果。表2给出了八种低照度图像增强方法对应的平均运行时间指标的客观评价结果。在八种方法中，Gou方法和Li方法具有最短的平均运行时间，本发明方法位列第三。需要说明的是，虽然本发明方法的平均运行时间略高于前两种方法，但由本发明方法得出的最终照度增强图像具有相比前两种方法更好的直观视觉效果和客观评价结果。

表1 八种图像增强方法PSNR与SSIM指标客观评价结果

表2 八种图像增强方法平均运行时间指标客观评价结果(单位：秒)

总体来说，综合考虑直观视觉效果、客观评价指标值以及平均运行时间三个方面，本发明方法相比现行的多种主流低照度图像增强方法具有显著的优势。

本发明公开了一种基于稠密连接网络(DenseNet)与生成对抗网络(GenerativeAdversarial Networks,GAN)的低照度图像增强方法，属于图像信息处理领域。本发明的具体步骤如下，步骤1：采用DenseNet框架构建生成器网络；步骤2：采用PatchGAN框架构建判别器网络；步骤3：基于生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。该方法针对低照度环境下的采集图像通常存在信噪比低、分辨率和照度水平不理想等现实问题，采用了DenseNet对经典GAN模型进行改进，促成了低照度图像增强问题的合理解决，具有较高的学术价值。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的范围内。

Claims (5)

1.一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，包括如下步骤：

步骤1，采用DenseNet框架构建生成器网络；

步骤2：采用PatchGAN框架构建判别器网络；

步骤3：执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。

2.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤1的实现方法：

(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用批标准化技术对数据进行标准化处理，再使用线性整流函数作为激活函数对输入数据进行上采样处理，最终传入DenseNet；上采样特征提取的数学表达式为：

G_Li(X)＝C_Li*X (1)

其中，X为输入的低照度图像，G_Li代表第L层输出的第i组特征图，“*”表示卷积操作，C_Li代表第L层的第i组卷积核，i＝1,2,3,4；

(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用双曲正切函数作为激活函数，整个DenseNet框架使用3个拼接concatenation将不同尺寸的特征图调整为统一的通道数进行连接；

DenseNet的映射函数表达式为：

X_L＝H_L([X₀,X₁,...,X_L-1])(2)

其中，L表示总层数，“[]”表示将第X₀层至X_L-1层所有输出的特征图按通道数大小组合起来，H_L表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的X_L表示采用H_L处理后的结果。

3.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤2的实现方法：

本发明在构建判别器网络时采用PatchGAN判别器来替换传统的二分类判别器；一方面，该判别器可以输出一个N×N矩阵，并通过矩阵均值计算对真实图像和生成器生成图像进行判断；该判别器充分考虑了图像不同区域的特征，注重图像细节信息的捕捉与考量，有助于提升图像质量；另一方面，该判别器针对小尺寸图像块进行计算，提升了网络收敛速度；本发明设计了四层全卷积层的卷积神经网络，除最后一层卷积层外，其余三层每层间经过卷积后采用BatchNorm对数据进行标准化处理，并采用LeakyReLu作为激活函数。

4.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤3中步骤3.1的具体步骤如下：

步骤中的生成器网络和判别器网络在训练过程中均采用均方误差指标作为损失函数；其中，针对生成器网络，采用均方误差计算生成照度增强后的图像与正常照度图像间的误差数值，而针对判别器网络，MSE用于计算经判别器网络处理后的图像与正常照度图像间的误差数值；生成器网络和判别器网络的损失函数数学表达式分别为：

其中，D与G分别表示判别器网络和生成器网络，L_G与L_D分别表示生成器网络的误差数值和判别器网络的误差数值，N为训练样本的数量，Y_i表示第i组真实的正常照度图像数值，T_i表示生成器网络生成的第i组输出，B_i表示判别器网络生成的第i组输出。

5.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤3中步骤3.2的具体步骤如下：

构建评价函数：

评价函数值越大，对应的图像增强效果越好；为此，需要针对生成器网络D和判别器网络G进行交替迭代，即在一段时间内，判别器网络G中的参数保持不变以优化生成器网络D，而在另一段时间内，生成器网络G中的参数保持不变以优化判别器网络D；生成器网络G和生成器网络D的迭代公式分别为：

随着迭代次数的不断增加，生成照度增强后的图像与正常照度图像基本吻合，使得判别器网络处于纳什均衡，即判别准确的概率为0.5而无法完成准确判断，迭代结束，则生成的照度增强后的图像即为最终图像。

Images