CN116029916A - 基于结合稠密小波的双分支网络的低照度图像增强方法 - Google Patents

Abstract

本发明请求保护基于结合稠密小波的双分支网络的低照度图像增强方法。该方法包括以下步骤:步骤A：对低照度图像和正常光图像进行预处理，组成训练图像对；步骤B：设计结合小波变换的双分支网络的低照度图像增强网络，该网络包含多尺度稠密小波融合模块，和双分支模块；步骤C：设计低照度图像的联合损失函数，训练网络至收敛；步骤D：将待测的低照度图像输入到训练好的低照度图像增强网络中，对图像预测生成正常光图像。

Description

基于结合稠密小波的双分支网络的低照度图像增强方法

技术领域

本发明属于计算机视觉处理技术领域，尤其涉及一种基于结合稠密小波的双分支网络的低照度图像增强方法。

背景技术

在背光、非均匀光照和弱光干扰的条件下拍摄的图像通常伴随着对比度低、可见度低、噪声高等问题，图像质量差，计算机视觉任务，如物体跟踪、识别和检测等结果不尽人意，对低照度的图像进行增强是非常必要的。

传统算法主要包括基于直方图均衡的算法和基于Retinex理论的算法。这些算法可以很好地提升图像的亮度保留图像的细节，但容易出现噪声和颜色偏差等问题。随着深度学习的快速发展，深度学习的方法应用在多个领域，如图像去雾、图像分割、图像融合等。许多学者开始尝试将深度学习应用到低照度图像增强领域。低照度图像增强逐步成为计算机视觉任务中的研究热点之一。虽然深度学习方法在一定程度上改善了一些传统方法中存在的问题，但仍存在去噪效果不佳、亮度增强后细节纹理丢失、边缘模糊等问题，对同一场景下不同大小物体的细节重建难以同时得到较好的效果，恢复的图像颜色偏色较为严重。

发明内容

针对上述技术不足，本发明的目的提供一种基于结合稠密小波的双分支网络的低照度图像增强方法。

本发明的具体技术方案如下：

基于结合稠密小波的双分支网络的低照度图像增强方法，包括以下步骤：

步骤A：对低照度图像和正常光图像进行预处理，组成训练图像对；

步骤B：设计结合小波变换的双分支网络的低照度图像增强网络，包括：

多尺度稠密小波融合模块，用于去除图像噪声以及提取不同尺度中图像的特征信息；

双分支模块，用于提取图像的细节纹理和色彩信息；

步骤C：设计低照度图像的联合损失函数，训练网络至收敛；

步骤D：将待测的低照度图像输入到训练好的低照度图像增强网络中，对图像预测生成正常光图像。

与现有技术相比，本发明的有益效果如下：

(1)本发明通过多尺度稠密小波融合模块能够充分学习图像多尺度信息并有效抑制噪声提高图像的质量，并利用双分支模块进一步提升图像的对比度、保留更多的色彩和细节信息，使得增强后的图像更清晰、自然、真实。

(2)本发明提出了一种新的联合损失函数从多个方面衡量网络，包括Charbonnier损失、多尺度结构相似损失、图像感知损失和图像平滑损失，进一步地考虑了图像的结构信息、空间信息和感知信息，一定程度上解决了在低照度图像增强任务中曝光不足或过曝、颜色失真等问题。

附图说明

图1是本发明实施例方法的实现流程图

图2是本发明实施例中网络模型结构图

图3是本发明实施例中全局空间注意力模块结构图

图4是本发明实施例中特征提取块结构图

图5是本发明实施例中色彩增强模块结构图

图6是本发明实施例中细节重建模块结构图

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要注意的是，本说明书使用的所有技术和科学术语具有与本申请所属技术领域通常理解的含义相同。

本发明提供的基于结合稠密小波的双分支网络的低照度图像增强方法，如图1-图5所示，包括以下步骤：

步骤A：对低照度图像和正常光图像进行预处理，组成训练图像对；

步骤B：设计结合小波变换的双分支网络的低照度图像增强网络，包括：

多尺度稠密小波融合模块，用于去除图像噪声以及提取不同尺度中图像的特征信息；

双分支模块，用于提取图像的细节纹理和色彩信息；

步骤C：设计低照度图像的联合损失函数，训练网络至收敛；

步骤D：将待测的低照度图像输入到训练好的低照度图像增强网络中，对图像预测生成正常光图像。

进一步地，步骤A具体包括以下几个步骤：

A1：对低照度图像和正常光图像进行随机裁剪，低照度图像作为网络输入，正常光图像作为参考图像；

A1：对待训练图像进行随机旋转和反转，用于数据扩充增强；

进一步地，步骤B具体包括以下几个步骤：

B11：首先经过三次离散小波变换DWT，每次DWT后分别得到三个特征图Z₁、Z₂和Z₃；

B12：将步骤B11得到的特征图Z₁经过全局空间注意力模块GSA后再进行逆离散小波逆变换IDWT得到Z₄；

B13：将步骤B11得到的特征图Z₂和Z₃分别经过特征提取块FEM得到Z₅和Z₆；

B14：将步骤B12得到的Z₄和步骤B13得到的Z₅在通道维度上进行拼接后再进行逆离散小波逆变换IDWT得到Z₇；

B15：将步骤B1.4得到的Z₇和步骤B12得到的Z₆通道维度上进行拼接得到Z₈。

B16：将多尺度稠密小波融合模块的输出作为双分支模块的输入，将Z₈送入一条由两个色彩增强模块CEM组成的分支得到Z₉；

B17：将步骤B16得到的Z₈送入另一条由两个细节重建模块DRM组成的分支得到Z₁₀；

B18：将步骤B16得到的Z₉和步骤B22得到的Z₁₀在通道维度上进行拼接后经过一个卷积

进一步地，步骤B12具体包括以下几个步骤：

B121：给定一个输入特征X₀∈R^C×H×W，首先经过一个卷积核大小为3×3的卷积层，再使用自适应平均池化AvgPool和自适应最大池化MaxPool获取代表性信息，并取平均得到大小为1×1×C的特征图，然后进行全连接并用Sigmoid函数进行激活，再乘以原始输入进行自适应特征修正得到特征图X₁∈R^C×H×W。接下来，同时在通道维度上最大池化和平均池化，然后拼接这两个特征图后经过一个卷积核大小为1×1的卷积层，再由激活函数(Sigmoid)归一化后乘以特征图X₁以突出特征信息作为全局特征图X₂∈R^C×H×W。最后，将X₂和X₀进行逐元素求和运算得到X₃，具体计算公式如下：

其中Conv_3×3(·)、Conv_1×1()、FC(·)和σ(·)分别代表卷积核大小为3×3、1×1的卷积层、全连接和Sigmoid激活函数。

进一步地，步骤B13具体包括以下几个步骤：

首先经过一个卷积核大小为3×3的卷积层得到F₁，再将F₂送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到F₃，再将F₀与F₃做逐元素相加运算得到F₄，具体计算公式如下：

其中，F₀表示输入特征提取块FEM的特征图，Conv_3×3(·)为卷积核大小为3×3的卷积层，DF₁、DF₂、DF₅分别为膨胀系数分别为1、2、5的膨胀卷积。

进一步地，步骤B17具体包括以下几个步骤：

B171：将多尺度稠密小波融合模块的输出Z₈作为输入，首先经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到C₁，再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与Z₈和C₁做逐元素相加运算得到C₂，再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与C₁和C₂做逐元素相加运算得到C₃，再通过一个卷积核大小为1×1的卷积层和PRelu激活函数降维，然后与Z₈做逐元素相加运算得到C₄，具体计算公式如下：

其中Conv_3×3(·)、Conv_1×1(·)和PRelu(·)分别代表卷积核大小为3×3、1×1的卷积层和PRelu激活函数。

进一步地，步骤B18具体包括以下几个步骤：

B181：将多尺度稠密小波融合模块的输出Z₈作为输入，首先经过一个卷积核大小为3×3的卷积层得到D₁，再将D₂送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到D₃，再将Z₈与D₃做逐元素相加运算得到F₄，具体计算公式如下：

其中Conv_3×3(·)为，卷积核大小为3×3的卷积层，DF₁、DF₂、DF₅分别为膨胀系数分别为1、2、5的膨胀卷积。

进一步地，步骤C包含以下步骤：

步骤C1：设计网络联合损失函数，联合损失函数如下：

L_total＝λ_cb·L_cb+λ_ms·L_ms+λ_pl·L_pl+λ_tv·L_tv

其中L_cb,L_ms,L_pl,L_tv分别代表Charbonnier损失函数、多尺度结构相似性损失函数、感知损失函数和图像平滑性损失函数，λ_cb,λ_ms,λ_pl,λ_tv分别代表对应的损失系数，·为实数的点乘操作，具体各项损失函数计算公式如下：

其中，y和

分别表示真实正常光图像和增强图像，C为非零常数，在本文中设置为10^-6；

L_ms＝1-SSIM_ms(x,y)

其中，μ_x和μ_y是图像的均值，反映其亮度信息，σ_x和σ_y是图像的方差，反映其对比度信息，σ_xy是图像的协方差，反映其结构相似性信息，C₁和C₂是接近零的常数。

其中，

和y分别为真实正常光图像和增强图像，H_i,j和W_i,j分别为第i块第j个卷积后的特征图的高度和宽度，C_i,j代表通道。

代表VGG16预训练模型中第i块第j个卷积层获得的特征图。

其中，x_i,j图像的像素值。

步骤C2：将待训练图像对随机划分为若干个批次，每个批次包含相同数目的配对图像对，不断迭代训练并优化网络，直至联合损失L_total训练到收敛，则停止训练并保存训练好的模型。

通过在公开的LOL-v2数据集中进行实验并与相关算法进行比较，验证了本发明提出的算法有效性：

1.实验条件

本发明中实验使用Pytorch深度学习开源框架，平台硬件配置为NVIDIA TITAN-XP(12GB)Intel Xeon EP-2630(2.20GHz)32GB内存。

2.实验数据集

本发明实验中使用数据集为公开的LOL-v2，该数据集共有1589对图像，分为合成图像对和真实图像对两个部分。合成图像对是从RAISE中选取了900张正常光图像，并通过特定的方法将这900张图像合成低光图像。真实场景下的图像是从各种生活场景中拍摄的真实图像，包括校园、游泳馆、房屋、街道等，共689对。其中，大多数的低光照图像是通过改变相机曝光时间和ISO得到的。

3.性能评价指标

本发明采用峰值信噪比(PSNR)，结构相似性(SSIM)和自然图像质量评估(NIQE)三种客观图像质量评价指标评价不同算法的性能。

PSNR：峰值信噪比是最为普遍、最为广泛的评鉴图像质量的客观评价指标。PSNR数值越大，图像的失真越少。PSNR表达式如下所示：

其中，MAX_I代表图像中可能的最大像素值。

SSIM：结构相似性是衡量两张图像相似度的指标，分别从亮度、对比度和结构三个方面衡量图像的质量，使其具有人对视觉的感知。SSIM数值越大，增强的图像质量越好。SSIM表达式如下所示：

其中，μ_x和μ_y是图像的均值，反映其亮度信息，σ_x和σ_y是图像的方差，反映其对比度信息，σ_xy是图像的协方差，反映其结构相似性信息，C₁和C₂是接近零的常数。

4、实验结果及分析

本发明与其他算法的PNSR和SSIM结果对比：

通过以上对比数据可以看出，本发明的其他算法的PNSR和SSIM相比有明显的提高。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.基于结合稠密小波的双分支网络的低照度图像增强方法，包括以下步骤：

步骤A：对低照度图像和正常光图像进行预处理，组成训练图像对；

步骤B：设计结合小波变换的双分支网络的低照度图像增强网络，包括：

多尺度稠密小波融合模块，用于去除图像噪声以及提取不同尺度中图像的特征信息；

双分支模块，用于提取图像的细节纹理和色彩信息；

步骤C：设计低照度图像的联合损失函数，训练网络至收敛；

步骤D：将待测的低照度图像输入到训练好的低照度图像增强网络中，对图像预测生成正常光图像。

2.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法，所述的步骤A具体包括以下几个步骤：

A1：对低照度图像和正常光图像进行随机裁剪，低照度图像作为网络输入，正常光图像作为参考图像；

A1：对待训练图像进行随机旋转和反转，用于数据扩充增强；

3.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法，所述的多尺度稠密小波融合模块具体包括以下几个步骤：

B11：首先经过三次离散小波变换DWT，每次DWT后分别得到三个特征图Z₁、Z₂和Z₃；

B12：将步骤B11得到的特征图Z₁经过全局空间注意力模块GSA后再进行逆离散小波逆变换IDWT得到Z₄；

B13：将步骤B11得到的特征图Z₂和Z₃分别经过特征提取块FEM得到Z₅和Z₆；

B14：将步骤B12得到的Z₄和步骤B13得到的Z₅在通道维度上进行拼接后再进行逆离散小波逆变换IDWT得到Z₇；

B15：将步骤B1.4得到的Z₇和步骤B12得到的Z₆通道维度上进行拼接得到Z₈。

4.根据权利要求3中所述的全局空间注意力模块具体包括以下几个步骤：

B121：给定一个输入特征X₀∈R^C×H×W，首先经过一个卷积核大小为3×3的卷积层，再使用自适应平均池化AvgPool和自适应最大池化MaxPool获取代表性信息，并取平均得到大小为1×1×C的特征图，然后进行全连接并用Sigmoid函数进行激活，再乘以原始输入进行自适应特征修正得到特征图X₁∈R^C×H×W。接下来，同时在通道维度上最大池化和平均池化，然后拼接这两个特征图后经过一个卷积核大小为1×1的卷积层，再由激活函数(Sigmoid)归一化后乘以特征图X₁以突出特征信息作为全局特征图X₂∈R^C×H×W。最后，将X₂和X₀进行逐元素求和运算得到X₃，具体计算公式如下：

其中Conv_3×3(·)、Conv_1×1(·)、FC(·)和σ(·)分别代表卷积核大小为3×3、1×1的卷积层、全连接和Sigmoid激活函数。

5.根据权利要求3中所述的特征提取块具体包括以下几个步骤：

首先经过一个卷积核大小为3×3的卷积层得到F₁，再将F₂送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到F₃，再将F₀与F₃做逐元素相加运算得到F₄，具体计算公式如下：

其中，F₀表示输入特征提取块FEM的特征图，Conv_3×3(·)为卷积核大小为3×3的卷积层，DF₁、DF₂、DF₅分别为膨胀系数分别为1、2、5的膨胀卷积。

6.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法，所述的双分支模块具体包括以下几个步骤：

B21：将多尺度稠密小波融合模块的输出作为双分支模块的输入，将Z₈送入一条由两个色彩增强模块CEM组成的分支得到Z₉；

B22：将步骤B21得到的Z₈送入另一条由两个细节重建模块DRM组成的分支得到Z₁₀；

B23：将步骤B21得到的Z₉和步骤B22得到的Z₁₀在通道维度上进行拼接后经过一个卷积核大小为3×3的卷积层和PRelu激活函数得到Z₁₁。

7.根据权利要求6中所述的色彩增强模块具体包括以下几个步骤：

B211：将多尺度稠密小波融合模块的输出Z₈作为输入，首先经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到C₁，再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与Z₈和C₁做逐元素相加运算得到C₂，再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与C₁和C₂做逐元素相加运算得到C₃，再通过一个卷积核大小为1×1的卷积层和PRelu激活函数降维，然后与Z₈做逐元素相加运算得到C₄，具体计算公式如下：

其中Conv_3×3(·)、Conv_1×1(·)和PRelu(·)分别代表卷积核大小为3×3、1×1的卷积层和PRelu激活函数。

8.根据权利要求6中所述的细节重建模块具体包括以下几个步骤：

B221：将多尺度稠密小波融合模块的输出Z₈作为输入，首先经过一个卷积核大小为3×3的卷积层得到D₁，再将D₂送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到D₃，再将Z₈与D₃做逐元素相加运算得到F₄，具体计算公式如下：

其中Conv_3×3(·)为卷积核大小为3×3的卷积层，DF₁、DF₂、DF₅分别为膨胀系数分别为1、2、5的膨胀卷积。

9.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法，所设计的联合损失函数如下：

L_total＝λ_cb·L_cb+λ_ms·L_ms+λ_pl·L_pl+λ_tv·L_tv

其中L_cb,L_ms,L_pl,L_tv分别代表Charbonnier损失函数、多尺度结构相似性损失函数、感知损失函数和图像平滑性损失函数，λ_cb,λ_ms,λ_pl,λ_tv分别代表对应的损失系数，·为实数的点乘操作，具体各项损失函数计算公式如下：

其中，y和

分别表示真实正常光图像和增强图像，C为非零常数，在本文中设置为10^-6；

L_ms＝1-SSIM_ms(x,y)

其中，μ_x和μ_y是图像的均值，反映其亮度信息，σ_x和σ_y是图像的方差，反映其对比度信息，σ_xy是图像的协方差，反映其结构相似性信息，C₁和C₂是接近零的常数。

其中，

和y分别为真实正常光图像和增强图像，H_i,j和W_i,j分别为第i块第j个卷积后的特征图的高度和宽度，C_i,j代表通道。

代表VGG16预训练模型中第i块第j个卷积层获得的特征图。

其中，x_i,j图像的像素值。

10.训练过程具体为：

将待训练图像对随机划分为若干个批次，每个批次包含相同数目的配对图像对，不断迭代训练并优化网络，直至联合损失L_total训练到收敛，则停止训练并保存训练好的模型。

Images