CN112435191A - 一种基于多个神经网络结构融合的低照度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于多个神经网络结构融合的低照度图像增强方法，首先构造训练数据集，得到数据充足的训练集；然后以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层；在网络结构的输出处，加入ResNet网络结构，提高神经网络的训练能力；接着在所搭建的网络结构的多通道处，加入通道注意力机制和空间注意力机制；使用训练数据集和搭建的深度学习网络模型，选取Adam优化器和合适的损失函数对网络模型进行训练；将测试数据集中的低照度图像输入到训练好的网络模型中，得到增强后的图像，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。本发明在峰值信噪比和结构相似度指标上有了明显的提升。

Description

一种基于多个神经网络结构融合的低照度图像增强方法

技术领域

本发明属于数字图像处理领域，涉及低照度图像的增强方法，特别涉及基于深度神经网络的结构改进。

背景技术

图像是人们获取信息、知识和数据的重要来源，但是随着图像的发展普及，也出现了很多问题，图像的采集如果是在阴天夜晚以及有物体遮挡的情况下，那么得到的图像往往具有低照度以及细节丢失的缺陷，这样低质量的图像无法让我们直接理解其中的信息。所以需要对低照度图像进行图像增强处理，获得正常亮度和对比度的清晰图像。

低照度图像增强算法可以分为基于传统方法和基于神经网络的算法，在低照度图像增强方面的传统方法可以分为直方图均衡化方法、基于去雾模型的方法和基于Retinex理论的方法。直方图均衡化方法是对原始图像的像素灰度做某种映射变换，但是没有考虑图像场景的边缘信息；基于去雾模型的方法中因为对低照度的图像逐像素取反后的图像和雾天图像类似，所以借助于暗原色先验去雾的思想，对低照度图像进行增强，但是需要假设大气光是均匀的，难以符合实际情况；基于Retinex理论的方法是从原始图像中估计出光照，从而分解出反射率图像，运算时间开销较大。

如上所述，现有的传统算法能够一定程度提升低照度图像的亮度。但是，还有很多不足之处，因此，需要一种增强效果明显，针对不同场景更加鲁棒，求解算法简单的方法，以神经网络为基础的方法是近年的研究新方向。LRCNN利用全连接层增强图像对比度，GLADNet利用连续的下采样和对应的上采样层端到端地恢复图像照度。基于神经网络的算法能够比传统方法在PSNR和SSIM指标上有一定的提高，但是现有的网络存在网络结构较单一的问题，且各个领域对低照度图像增强效果的需求日益增高，所以提高深度神经网络在低照度图像增强的性能是十分重要的。

发明内容

为解决上述技术问题，本发明公开一种基于多个神经网络融合的低照度图像增强方案，该方案提高了深度学习在低照度图像增强中的学习能力，将图像增强后的PSNR水准提升到了新的高度。

为实现上述目的，本发明采用以下技术方案：

包括以下步骤：

1)构造训练数据集

1a)选取LOL dataset中的485张正常光照图像和对应的低照度图像。

1b)选取MIT-Adobe FiveK dataset中的4515张正常光照图像和对应的低照度图像。

1c)将这两个数据集共5000张图片调整大小为600×400。

2)以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层，卷积层中激活函数采用线性整流函数(ReLU)。

2a)在第一层下采样后，加入64通道3×3的卷积层，保持特征图的大小为48×48。

2b)在第二层下采样后，加入64通道3×3的卷积层，保持特征图的大小为24×24。

2c)在第三层下采样后，加入64通道3×3的卷积层，保持特征图的大小为12×12。

2d)在第四层下采样后，加入64通道3×3的卷积层，保持特征图的大小为6×6。

2e)在第五层下采样后，加入64通道3×3的卷积层，保持特征图的大小为3×3。

3)在2)得到的网络模型中加入ResNet结构，将输入低照度图像与最后一层卷积层的输出相加，然后得到高质量的图像。

4)在3)的网络中的多通道处，加入注意力机制。

4a)在第三层上采样后，加入通道注意力机制和空间注意力机制。

4b)在第四层上采样后，加入通道注意力机制和空间注意力机制。

4c)在网络结构的重建图像细节部分，连续的卷积层中第四层卷积后加入通道注意力机制和空间注意力机制。

5)使用1)中的数据集和4)中的网络模型进行训练。

5a)将1)中训练集的图像分批次输入到4)中所搭建的网络框架中，设置合适的批处理大小为8，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/5。

5b)设置网络训练的损失函数为：

其中，N为图像训练集中图像的数目，X_i和Y_i表示训练集中的低照度图像与对应的正常光照的图像，F(·)表示4)中的网络结构，||·||₁表示L₁范数。

5c)使用Adam优化器，不断学习优化5b)中设定的网络损失函数。

6)对上述步骤中的已训练网络模型进行测试实验，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。

6a)选取测试图像为LOL dataset中的15张低照度测试图片，其不在网络训练集中。

6b)将6a)中的低照度测试图像输入到5)中得到的已训练网络模型中，进而获得网络的输出图像，即增强了光照的测试图像。

6c)为了说明网络性能,用峰值信噪比和结构相似性指数度量6b)中获得的图像,其中PSNR指标值越大表示图像增强效果越好；SSIM指标的取值范围为[0,1],其值越大表示图像越接近原始图像。

本发明的优点和积极效果是：

1.本发明以GLADNet为基础，在其中加入卷积层以更好的提取深层特征，在其中融合ResNet结构，使整个网络的训练更加迅速，损失函数降低的更加准确，在其中加入通道注意力机制和空间注意力机制，使网络关注更有用的通道，抑制通道中没有用的特征，结果证明这三种结构的依次加入每一次都对PSNR指标有明显提升，且增强的图像拥有更好的亮度和对比度。

2.本发明充分利用了深度卷积神经网络，经过一系列卷积网络结构来增强图像，提高了图像处理的准确率，获取了高质量图像，可广泛用于计算机低层次视觉任务技术领域。

附图说明

下面结合附图和实施对本发明进一步说明。

图1是本发明一种基于多个神经网络结构融合的低照度图像增强方法的流程图。

图2是GLADNet的网络结构。

图3是在GLADNet结构中加入卷积层后的结构图

图4是加入ResNet结构后的示意图

图5是加入注意力机制的结构图，即是本发明一种基于多个神经网络结构融合的低照度图像增强方法中构建的网络模型。

图6是加入的注意力机制的具体结构图。

图7是低照度图像与使用本发明提出的方法增强后的图像对比图，(a)为低照度图像，(b)使用本发明提出的方法增强后的图像

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于多个神经网络结构融合的低照度图像增强方法，如图1所示，包括以下步骤：

1)构造训练数据集，得到数据充足的训练数据集。

本步骤的具体实现方法如下：

1a)选取LOL dataset中的485张正常光照图像和对应的低照度图像。

1b)选取MIT-Adobe FiveK dataset中的4515张正常光照图像和对应的低照度图像。

1c)将这两个数据集共5000张图片调整大小为600×400。

2)以如图2所示的GLADNet网络结构作为基础框架，在其中连续的下采样层中间加入卷积层，卷积层中激活函数采用线性整流函数(ReLU)。

图2的GLADNet网络结构：首先对输入的低照度图像裁剪为96×96的大小，然后经过六个连续的下采样，这里的下采样通过卷积实现，接着对应的是六个上采样层，并且在每一层上采样后使用卷积，最后是五个连续的卷积层对图像细节进行重建，输出增强后的图像。

在步骤2)中是对GLADNet连续的下采样层中间加入卷积，如图3所示，本步骤的具体实现方法：

2a)在第一层下采样后，加入64通道3×3的卷积层，保持特征图的大小为48×48。

2b)在第二层下采样后，加入64通道3×3的卷积层，保持特征图的大小为24×24。

2c)在第三层下采样后，加入64通道3×3的卷积层，保持特征图的大小为12×12。

2d)在第四层下采样后，加入64通道3×3的卷积层，保持特征图的大小为6×6。

2e)在第五层下采样后，加入64通道3×3的卷积层，保持特征图的大小为3×3。

3)在步骤2)得到的网络模型中加入ResNet结构，如图4所示，将输入低照度图像与最后一层卷积层的输出进行相加操作，然后输出得到高质量的图像。

4)在步骤3)的网络模型中的多通道处，加入注意力机制。

如图5所示，本步骤的具体实现方法：

4a)在第三层上采样后，加入注意力机制，加入的注意力机制如图6所示，先经过通道注意力机制然后是经过空间注意力机制对特征图进行处理。

4b)在第四层上采样后，加入注意力机制，加入的注意力机制如图6所示，先经过通道注意力机制然后是经过空间注意力机制进行处理。

4c)在网络结构的重建图像细节部分，连续的卷积层中第四层卷积后加入注意力机制，加入的注意力机制如图6所示。

在图6中通道注意力机制为SENet，空间注意力机制为CBAM中的SpatialAttention Module模块。

5)选取合适的优化器与损失函数，使用步骤1)中的数据集和步骤4)中的网络模型进行训练。

本步骤的具体实现方法：

5a)将1)中训练集的图像分批次输入到4)中所搭建的网络框架中，设置合适的批处理大小为8，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/5。

5b)设置网络训练的损失函数为：

其中，N为图像训练集中图像的数目，X_i和Y_i表示训练集中的低照度图像与对应的正常光照的图像，F(·)表示4)中的网络结构，||·||₁表示L₁范数。

5c)使用Adam优化器，不断学习优化5b)中设定的网络损失函数。

6)对上述步骤中的已训练网络模型进行测试实验，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。

本步骤的具体实现方法：

6a)选取测试图像为LOL dataset中的15张低照度测试图片，图片大小为600×400，,测试图像不在网络训练集中。

6b)将6a)中的低照度测试图像输入到步骤5)中得到的已训练网络模型中，进而获得网络的输出图像，即增强了亮度和对比度的测试图像。测试一张图像的结果如图7所示，图7(a)为低照度图像，可以发现，在低照度的环境下拍摄到的图片几乎不能看到其中的信息，图7(b)为使用本发明提出的方法增强后的图像，可以非常明显的看出，增强后的图片亮度和对比度都有了提高，并且可以清楚的看到图片中的信息。

6c)为了说明网络性能,用峰值信噪比和结构相似性指数度量6b)中获得的图像,其中PSNR指标值越大表示图像增强效果越好；SSIM指标的取值范围为[0,1],其值越大表示图像越接近原始图像。

下面按照本发明的方法进行实验，说明本发明的技术效果。

实验环境：Python 3.6；Windows10系统；NVIDIA GTX 1070ti GPU。

实验方案：按照一种基于多个神经网络结构融合的低照度图像增强方法的步骤，首先准备训练数据集，然后以GLADNet网络结构作为基础，分别训练步骤2)加入卷积层、步骤3)加入ResNet结构、步骤4)加入Attention机制后的网络模型，测试每一步骤的模型在LOL dataset数据集上的PSNR值和SSIM值。因为步骤4)中的网络结构就是本发明提出的一种低照度图像增强的网络结构，所以将步骤4)中的网络结构与其他低照度图像增强算法进行对比，其他算法包括基于直方图均衡化的算法HE和DHECI，基于去雾模型的算法Dong，基于Retinex理论的NPE、SRIE、MSRCR，基于神经网络的算法GLADNet。

实验结果：

A、对步骤2)、步骤3)、步骤4)每一步骤的模型测试的结果进行对比，分别比较各模型在LOL dataset测试集上的PSNR值和SSIM值，如表1所示。

表1

	PSNR	SSIM
			GLADNet网络结构	19.6924	0.7114
步骤2)加入卷积后的模型	20.2490	0.7228
			步骤3)再加入ResNet后的模型	20.5453	0.7481
步骤4)再加入Attention后的模型	20.7636	0.7689

在表1中，第一行是对GLADNet网络结构训练后得到的测试结果，第二行是步骤2)加入卷积后的模型的结果，可以看出加入卷积后在PSNR值和SSIM值上都比原GLADNet网络结构效果好，第三行是步骤3)在步骤2)的模型基础上加入ResNet后的模型的结果，可以看出效果比步骤2)的效果更好，第四行是步骤4)在步骤3)的模型基础上再加入Attention机制后的模型的结果，可以达到最好的效果。步骤4)的模型就是本发明提出的一种基于多个神经网络结构融合的低照度图像增强方法，该方法以GLADNet网络结构作为基础，在其中加入卷积层、ResNet结构以及Attention机制，融合这些结构的优势，在PSNR值和SSIM值上比原本的GLADNet有较大的的提升。

B、本发明提出的网络结构与其他低照度图像增强算法进行结果对比，分别比较各算法在LOL dataset测试集上的PSNR值和SSIM值，如表2所示。

表2

由表2可以看出，在LOL dataset测试集上，本方案的PSNR值和SSIM值都高于其他算法，由图7也可以看出，经过本方案处理后的低照度图片在亮度和对比度上都有很好的视觉效果，可见本方案的提出对深度学习低照度图像增强能力有了不错的提升。

Claims (7)

1.一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于，包含以下步骤：

1)构造训练数据集，选取LOL dataset和MIT-Adobe FiveK dataset数据集中的共5000对正常光照图像和对应的低照度图像作为训练数据集；

2)以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层，卷积层中激活函数采用线性整流函数(ReLU)；

3)在步骤2)得到的网络模型的输出处加入ResNet结构，将输入低照度图像与最后一层卷积层的输出相加，然后得到高质量的图像；

4)在步骤3)所搭建的网络结构的多通道处，加入通道注意力机制和空间注意力机制；

5)选取合适的优化器与损失函数，使用步骤1)中的数据集和步骤4)中的网络模型进行训练；

6)对步骤5)中的已训练网络模型进行测试实验，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。

2.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤1)的具体实现方法包括以下步骤：

1a)选取LOL dataset中的485张正常光照图像和对应的低照度图像，选取MIT-AdobeFiveK dataset中的4515张正常光照图像和对应的低照度图像；

1b)将这两个数据集共5000张图片调整大小为600×400。

3.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤2)的具体实现方法包括以下步骤：

2a)在第一层下采样后，加入64通道3×3的卷积层，保持特征图的大小为48×48；

2b)在第二层下采样后，加入64通道3×3的卷积层，保持特征图的大小为24×24；

2c)在第三层下采样后，加入64通道3×3的卷积层，保持特征图的大小为12×12；

2d)在第四层下采样后，加入64通道3×3的卷积层，保持特征图的大小为6×6；

2e)在第五层下采样后，加入64通道3×3的卷积层，保持特征图的大小为3×3。

4.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：步骤3)在步骤2)得到的网络模型中加入ResNet结构，将输入低照度图像与最后一层卷积层的输出进行相加操作，然后输出得到高质量的图像。

5.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤4)在步骤3)所搭建网络结构上的具体实现方法包括以下步骤：

4a)在第三层上采样后，加入注意力机制；

4b)在第四层上采样后，加入注意力机制；

4c)在网络结构的重建图像细节部分，连续的卷积层中第四层卷积后加入注意力机制，

上述三个步骤中加入的注意力机制是由通道注意力机制SENet和CBAM中的空间注意力机制串接组成。

6.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤5)的具体实现方法包括以下步骤：

5a)将训练集的图像分批次输入到本发明所搭建的网络框架中，设置合适的批处理大小为8，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/5；

5b)设置网络训练的损失函数为：

其中，N为图像训练集中图像的数目，X_i和Y_i表示训练集中的低照度图像与对应的正常光照的图像，F(·)表示步骤4)中的网络结构，||·||₁表示L₁范数；

5c)使用Adam优化器，不断学习优化5b)中设定的网络损失函数。

7.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤6)的具体实现方法包括以下步骤：

6a)选取测试图像为LOL dataset中的15张低照度测试图片，图片大小为600×400，,测试图像不在网络训练集中；

6b)将6a)中的低照度测试图像输入到已训练的网络模型中，进而获得网络的输出图像，即增强了亮度和对比度的测试图像，为了说明网络性能,用峰值信噪比和结构相似性指数度量6b)中获得的图像。

Images