CN112365414A - 一种基于双路残差卷积神经网络的图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于双路残差卷积网络的图像去雾方法，所述方法包括以下步骤：基于大气散射模型，通过无雾图像和已知的景深，随机选取全局大气光和大气散射系数，由无雾图生成有雾图，建立训练集；网络结构由特征预提取模块、特征转换模块和图像恢复模块搭建，特征预提取模块提取的特征分为两个尺度，特征转换模块利用级联的双路残差卷积单元对相同尺度的特征作残差连接，能够提取不同尺度感受野的雾霾信息；采用L1范数损失函数、结构相似性损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾网络；将单幅有雾图像训练好的去雾网络，得到去雾图像；本发明不需要复杂的假设和先验，可以直接从单幅有雾图像恢复出无雾图像。

Description

一种基于双路残差卷积神经网络的图像去雾方法

技术领域

本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于双路残差卷积神经网络的图像去雾方法。

背景技术

雾霾是一种常见的大气现象。雾在空气的相对湿度达到饱和时产生，此时空气中的一些水汽会凝结成小水滴。霾由气溶胶颗粒组成，这是一种悬浮在空气中的灰尘颗粒。雾和霾有着相同的起因，当湿度足够时霾也可以转化成雾。这种常见的天气状况，是导致图像质量降低的重要原因之一。

很多机器视觉系统的稳定性依赖输入图像的质量。在监控、识别、自动驾驶等应用中，雾霾则会降低输入图像的质量，从而导致更严重的系统判断或决策错误。大气中的雾霾颗粒对光线的吸收和散射导致了图像的低分辨率、低对比度和颜色失真，图像质量的降低增加了监控分析和目标识别的难度。在道路监控中，雾霾会影响到车辆和行人的准确识别。在自动驾驶中，捕捉到的图像质量降低，可能导致系统作出错误的判断，从而引发安全事故。

图像去雾可以分为图像增强的方法和图像复原的方法。图像增强从图像处理的角度出发，通过增强图像的对比度和饱和度等方式来改善图像的视觉效果，这种方法中比较主流的有直方图均衡法、Retinex算法、基于小波变换的方法等。

图像复原的方法将雾霾看做是加在原图上的一种噪声，通过建立物理模型恢复出原始图像，由于其更具有理论支撑，更加注重雾霾对图像带来的影响及物理规律，在近年来的研究中获得了更广泛的关注。图像复原的方法又可以分为基于额外信息的方法、基于先验条件的方法，以及基于深度学习的方法。基于额外信息的方法无法仅通过单幅图像完成去雾，需要借助额外的场景图像信息、深度信息或三维建模信息等。基于先验的方法采用人工提取的先验特征作为前提，在此基础上进行图像去雾，例如，He等人^[1]提出了暗通道先验，该先验假设无雾图像中(除了天空和亮度很大的区域以外)，总有某些像素点的一个颜色通道的像素值接近于0，并结合大气散射模型，利用已知的有雾图可以反推出图像传输率，从而可以得到无雾图像。

基于先验的方法尽管易于实现，在一些条件下也有不错的效果，但是其基于的假设未经证明，存在一定的不可靠性。近年来，基于深度学习的方法由于其更稳定的效果、更广泛的适用性越来越被重视。基于深度学习的方法能够直接从数据中学习到有雾图和无雾图之间的关系，而不需要人为的干预。例如，Cai等人^[2]提出的DehazeNet是一个基于图像传输率的模型，它能够直接训练出有雾霾图像和其对应的传输率之间的映射关系，进而通过大气散射模型恢复出无雾图。Ren等人^[3]提出了一种多尺度的卷积神经网络MSCNN，它先生成一个粗尺度的传输率，然后逐渐细化它，最后通过细化的传输率恢复无雾图像。

在现有技术中，图像增强的方法通常存在颜色失真、细节丢失等问题；基于物理模型的方法尽管在去雾上能取得更好的效果，但是物理模型是一个欠定方程，准确地恢复出无雾图像具有一定的难点，现有技术通常是通过估计图像传输率和全局大气光等中间参数间接地实现去雾，恢复无雾图时误差会被放大，从而影响去雾图的质量。因此，设计一种能够直接学习有雾图和无雾图之间变换关系的方法，实现对不同场景不同尺寸图像的去雾，具有更高的实用价值。

发明内容

本发明提供了一种基于双路残差卷积神经网络的图像去雾方法，本发明利用深度神经网络进行图像去雾，去雾神经网络包含特征预提取模块、特征转换模块和图像恢复模块；采用L1范数损失函数、结构相似性损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络。该方法不需要复杂的假设和先验，可以直接从单幅有雾图像恢复出无雾图像，详见下文描述：

为了解决现有技术，本发明提供一种基于双路残差卷积神经网络的图像去雾方法，包括如下步骤：

101：基于大气散射模型使用已知景深、随机选取全局大气光和大气散射系数对采集无雾图像和深度信息进行处理建立包含成对有雾和无雾图像的训练图像集；

102：构建去雾神经网络，网络结构包含特征预提取模块、特征转换模块和图像恢复模块，

103：采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络；

104：将单幅有雾图像训练好的去雾神经网络，得到去雾图像。

进一步，所述去雾网络采用如下步骤对训练图像集中有雾图像特征处理步骤：

所述特征预提取模块通过多个卷积层对训练图像集中有雾图像特征进行提取获得第一阶段图像特征；

所述特征转换模块采用多个级联的双路残差卷积单元对第一层雾图像特征进行处理获得第二阶段图像特征；

所述图像恢复模块利用多个卷积层和通道注意力层将第二阶段图像特征进行转化获得无雾图像特征图像输出。

进一步，所述特征预提取模块由若干卷积层和下采样层组成；

所述特征预提取模块提取的中间特征分为两个尺度，用于与双路残差卷积单元相连；

所述特征转换模块模块由多个双路残差卷积单元级联而成；

所述图像恢复模块由上采样层、通道注意力层和卷积层组成，使用Tanh作为最后一层的激活函数，生成去雾后的图像；其中：特征转换模块中的双路残差卷积单元通过对有雾图像特征的反复变换，获取不同的感受野来提取与雾有关的特征；

进一步，所述多个级联的双路残差卷积单元中的每个双路残差卷积单元由上采样层，G模块、通道注意力层、下采样层、H模块组成；所述G模块和H模块的结构相同，所述G模块和H模块位于双路残差卷积单元内的不同位置，其中：G模块与上一个双路残差卷积单元中的G模块输出结果相加，H模块与上一个双路残差卷积单元中的H模块输出结果相加

进一步，所述双路残差卷积单元中的G模块和H模块对第一阶段图像特征处理步骤：

所述G模块和H模块将所述输入图像特征X送入卷积核分别为3×3和5×5的两个卷积层，将两个卷积层分别记为

和

两个卷积层输出的结果相加得到中间特征M，即：

中间特征M再被输入至另外两个卷积核分别为3×3和5×5的卷积层，将两个卷积层分别记为

和

将两个卷积层的输出与M和X相加得到模块的输出图像特征Y，即：

Y＝C_3×3(M)+C_5×5(M)+M+X

由G模块或H模块输出第二层雾图像特征Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入；其中：不同的双路残差卷积单元对应不同的输入特征X和输出特征Y；特别地，第一个双路残差卷积单元的输入X为特征预提取模块输出的第一阶段特征，最后，一个双路残差卷积单元的输出为整个特征转换模块输出的第二阶段特征。

进一步，所述图像恢复模块由卷积层和通道注意力层组成，使用Tanh作为最后一层的激活函数，生成去雾后的图像，其中注意力层对第二阶段图像特征处理过程为：

输入第二层雾图像特征连续通过两层卷积核为1×1的卷积层和一个Sigmoid函数，两层卷积的卷积核的个数分别为c/k和c；

将后一个卷积层输出的特征图输入至Sigmoid函数，输出c个通道的权重系数；

再将输入特征图的每个通道与对应的权重系数相乘，相乘之后的结果输入至与该注意力层相连的下一个卷积层。

本发明提供的技术方案的有益效果是：

1、本发明不需要任何人工提取的先验信息，能够通过神经网络直接学习有雾图和无雾图的变换关系，实现较为真实的图像去雾；

2、本发明训练好以后，只需要单幅有雾图即可得到无雾图，不需要额外信息和；

3、本发明的去雾效果较好，对不同尺寸和场景的图像都有良好的效果。

附图说明

图1为一种基于双路残差卷积神经网络的图像去雾方法的流程图；

图2为去雾神经网络整体结构示意图；

图3为双路残差卷积单元中G模块和H模块的结构示意图；

图4为实验结果中一幅室外场景有雾图及去雾图；

图5为实验结果中另一室外场景有雾图及去雾图；

图6为实验结果中另一室外场景有雾图及去雾图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例

为了实现逼真的图像去雾，本发明实施例提出了基于双路残差卷积神经网络的图像去雾方法，参见图1，详见下文描述：

101：采集无雾图像和深度信息，基于大气散射模型，使用已知景深，随机选取全局大气光和大气散射系数，由无雾图生成有雾图，建立包含成对有雾和无雾图像的训练图像集；

102：构建去雾神经网络，网络结构包含特征预提取模块、特征转换模块和图像恢复模块，其中特征转换模块中的双路残差卷积单元通过对图像特征的反复变换，获取不同的感受野来提取与雾有关的特征；

103：采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络；

104：将单幅有雾图像训练好的去雾神经网络，得到去雾图像。

其中，步骤101中的建立训练集的具体步骤为：

1)基于大气散射模型，即公式(1)，使用已知的景深信息d(x)，随机选取全局大气光A和大气散射系数β，由无雾图J(x)得到有雾图I(x)；

I(x)＝J(x)e^-βd(x)+A(1-e^-βd(x)) (1)

式中，x为图像中的像素点的位置，全局大气光A的取值为[0.7,1.0]之间的随机值，大气散射系数β为[0.6,1.8]之间的随机值，每张无雾图分别取随机的A和β生成10张有雾图；

2)将无雾图J(x)和有雾图I(x)组成训练集；

3)将训练集的图片大小全部缩放到N×N，训练集中的有雾图被输入至去雾神经网络；一般地，取N＝256。

其中，步骤102中构建去雾神经网络的具体步骤为：

1)去雾神经网络结构包括特征预提取模块、特征转换模块和图像恢复模块。去雾神经网络的结构如图2所示，每个单元下方的数字K表示该单元输出特征图的尺寸为K×K；除了输入图像和输出图像为3通道外，神经网络内其他层输出的特征图均为64通道。

2)特征预提取模块包含3个级联的卷积层，特征预提取模块的输出作为特征转换模块的输入；

3)特征转换模块由n个双路残差卷积单元级联而成，本发明对n的取值不做限制。在本实施例中取n＝3，图2中仅画出一个双路残差卷积单元的示意图；

每个双路残差卷积单元由上采样层，G模块、通道注意力层、下采样层、H模块组成；G模块和H模块的结构相同，位于双路残差卷积单元内的不同位置，其中G模块与上一个双路残差卷积单元中的G模块输出结果相加，H模块与上一个双路残差卷积单元中的H模块输出结果相加；其中第一个双路残差卷积单元中的G模块和H模块与特征预提取模块中第二层和第三层卷积层的输出相加；如图2所示。

4)去雾神经网络中使用的双路残差卷积单元结构均相同，如图2虚线框内部分所示。下面以任一双路残差卷积单元为例说明对输入特征图的处理流程：

为不失一般性，以位于模块中的任一双路残差卷积单元为例，将输入特征图尺寸设为

特征图记为

首先使用PixelShuffle[5]的上采样方式将特征图F的尺寸变成

上采样的结果记为

本发明对上采样的方式不做限制。特征图F_up经过G模块的卷积处理后，与上一个双路残差卷积单元中G模块的输出结果相加，相加的特征图经过通道注意力层后做下采样层，本实例采用Squeeze-and-Excitation通道注意力层[6]和最近邻下采样方法。本发明通道对注意力层和下采样方式不做限制。下采样后的特征图输出至H模块，与上一个双路残差卷积单元H模块的输出结果相加，得到下一个双路残差卷积单元的输入。最后一个双路残差卷积单元的输出被送至图像恢复模块作为输入。

网络中G模块和H模块结构相同，如图3所示。两种模块对输入特征的处理方法也相同，具体如下。为不失一般性，将G模块或H模块的输入特征图记为X，将X送入卷积核分别为3×3和5×5的两个卷积层，将两个卷积层分别记为

和

两个卷积层输出的结果相加得到中间特征M，即：

中间特征M再被输入至另外两个卷积核分别为3×3和5×5的卷积层，将两个卷积层分别记为

和

最后，将两个卷积层的输出与M和X相加得到模块的输出特征图Y，即：

Y＝C_3×3(M)+C_5×5(M)+M+X(3)

由G模块或H模块输出的Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入。

5)图像恢复模块用于生成去雾图像，由3层卷积层和通道注意力层组成。图像恢复模块以特征转换模块输出的尺寸为

的特征图作为输入。先用两层卷积层和PixelShuffle上采样将输入特征图映射成成尺寸为N×N的特征图，其中上采样操作在每层卷积运算之后进行，本发明对上采样的方式不做限制。本实例中的两个卷积层采用大小为3×3的卷积核。第二层卷积层的输出送至通道注意力层。通道注意力层首先利用两层卷积核为1×1，卷积核个数为16和64的卷积层和一个Sigmoid函数将输入特征图映射为64个权重值。之后用每个权重值乘以尺寸为N×N的特征图对应的通道内的特征。相乘之后的结果输入至最后一个卷积层，该卷积层采用尺寸为7×7的卷积核，其输出即为去雾图像。

整个网络除最后一层的激活函数使用Tanh函数外，其余激活函数均为ReLU函数。

其中，步骤103中构建去雾神经网络的损失函数的具体步骤为：

1)去雾神经网络的损失函数分别采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数，具体如下所述；

2)L1范数损失函数如式(5)所示：

L₁＝||J-D(I)||₁ (2)

式中，J为无雾图像，D(I)为去雾图像。

3)结构相似性(SSIM)损失函数如式(6)所示：

式中，μ_J和μ_D(I)分别表示无雾图像和去雾图像在窗口内的均值，σ_J和σ_D(I)分别代表无雾图像和去雾图像在窗口内的标准差，σ_JD(I)代表无雾图像和去雾图像在窗口内的协方差，窗口大小为11×11。c₁、c₂是常数，在本实施例中取c₁＝10^-4，c₂＝9×10^-4，用来避免出现分母为0的情况。

4)图像梯度损失函数如式(7)所示：

式中，

表示在水平方向上取相邻像素的差值，

表示在垂直方向上取相邻像素的差值。

5)感知损失函数^[4]如式(8)所示：

式中，φ(·)指输入特征图经过VGG16网络的ReLU1_2和ReLU2_2层的输出，i，j和_k分别为特征图的宽、高和通道数的序号，W，H和C分别为特征图的宽、高和通道数。

6)训练去雾神经网络的总体损失函数为上述四种损失函数的线性组合，如式(9)所示：

L_total＝αL₁+βL_ssim+λL_grad+δL_P (6)

式中，α、β、λ和δ分别为L₁、L_ssim、L_grad和L_P的权重。

在本实施例中取α＝0.75，β＝1.1，λ＝5.0，δ＝0.2。

其中，步骤104的具体步骤为：使用训练好的模型参数，将单幅有雾图作为去雾神经网络的输入，即可得到去雾图。

图4-图6给出了由本算法在真实场景下的去雾结果。由图可见，本算法能够有效改善图像质量，去雾图像的能见度和对比度较原始图像有显著提升，去雾后图像细节能够得到有效恢复。

参考文献

[1]He K,Sun J,Tang X.:Single Image Haze Removal Using Dark ChannelPrior[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[2]Cai B,Xu X,Jia K,et al.:DehazeNet:An End-to-End System for SingleImage Haze Removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.

[3]Ren W,Liu S,Zhang H,et al.:Single image dehazing via multi-scaleconvolutional neural networks[C].European Conference on Computer Vision,Amsterdam,Netherland,2016:154-169.

[4]Justin Johnson,AlexandreAlahi,Li Fei-Fei.Perceptual Losses forReal-Time Style Transfer and Super-Resolution[C].European Conference onComputer Vision,2016:694-711

[5]Shi W，Caballero J，Huszar,F,et al.Real-Time Single Image and VideoSuper-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C].IEEE International Conference on Computer Vision and Pattern Recognition,2016:1874-1883.

[6]Hu J,Shen L,Albanie S,et al.Squeeze-and-Excitation Networks[C].IEEE Conference on Computer Vision and Pattern Recognition.2018:7132–7141.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双路残差卷积神经网络的图像去雾方法，其特征在于，所述方法包括：

101：基于大气散射模型使用已知景深、随机选取全局大气光和大气散射系数对采集无雾图像和深度信息进行处理建立包含成对有雾和无雾图像的训练图像集；

102：构建去雾神经网络，网络结构包含特征预提取模块、特征转换模块和图像恢复模块，

103：采用L1范数损失函数、结构相似性(SSIM)损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾神经网络；

104：将单幅有雾图像训练好的去雾神经网络，得到去雾图像。

2.根据权利要求1所述一种基于双路残差卷积的图像去雾方法，其特征在于，所述去雾网络采用如下步骤对训练图像集中有雾图像特征处理过程：

所述特征预提取模块通过多个卷积层对训练图像集中有雾图像特征进行提取获得第一阶段图像特征；

所述特征转换模块采用多个级联的双路残差卷积单元对第一阶段图像特征进行处理获得第二阶段图像特征；

所述图像恢复模块利用多个卷积层和通道注意力层将第二阶段图像特征进行转化获得无雾图像特征图像输出。

3.根据权利要求1或2所述的一种基于双路残差卷积的图像去雾方法，其特征在于，

所述特征预提取模块由若干卷积层和下采样层组成；

所述特征转换模块提取的中间特征分为两个尺度，用于与双路残差卷积单元相连；

所述双路残差卷积单元由多个双路残差卷积层级联而成；

所述图像恢复模块由上采样层、通道注意力层和卷积层组成，使用Tanh作为最后一层的激活函数，生成去雾后的图像；其中：特征转换模块中的双路残差卷积单元通过对有雾图像特征的反复变换，获取不同的感受野来提取与雾有关的特征；

4.根据权利要求3所述的一种基于双路残差卷积神经网络的图像去雾方法，其特征在于，所述多个级联的双路残差卷积单元有的每个双路残差卷积单元由上采样层，G模块、通道注意力层、下采样层、H模块组成；所述G模块和H模块的结构相同，所述G模块和H模块位于双路残差卷积单元内的不同位置，其中：G模块与上一个双路残差卷积单元中的G模块输出结果相加，H模块与上一个双路残差卷积单元中的H模块输出结果相加。

5.根据权利要求4所述的一种基于双路残差卷积神经网络的图像去雾方法，其特征在于，所述双路残差卷积单元中的G模块和H模块对第一阶段图像特征处理步骤：

所述G模块和H模块将所述输入图像特征X送入卷积核分别为3×3和5×5的两个卷积层，将两个卷积层分别记为

和

两个卷积层输出的结果相加得到中间特征M，即：

中间特征M再被输入至另外两个卷积核分别为3×3和5×5的卷积层，将两个卷积层分别记为

和

将两个卷积层的输出与M和X相加得到模块的输出图像特征Y，即：

Y＝C_3×3(M)+C_5×5(M)+M+X

由G模块或H模块输出的图像特征Y之后被送入下一个双路残差卷积单元中相对应的G模块或H模块作为输入；其中，不同的双路残差卷积单元对应不同的输入特征X和输出特征Y。特别地，第一个双路残差卷积单元的输入X为特征预提取模块输出的第一阶段特征，一个双路残差卷积单元的输出为整个特征转换模块输出的第二阶段特征。

6.根据权利要求3所述的一种基于双路残差卷积神经网络的图像去雾方法，其特征在于，所述图像恢复模块由卷积层和通道注意力层组成，使用Tanh作为最后一层的激活函数，生成去雾后的图像，其中注意力层对第二阶段图像特征处理过程为：

输入第二阶段图像特征连续通过两层卷积核为1×1的卷积层和一个Sigmoid函数，两层卷积的卷积核的个数分别为c/k和c；

将后一个卷积层输出的特征图输入至Sigmoid函数，输出c个通道的权重系数；

再将输入特征图的每个通道与对应的权重系数相乘，相乘之后的结果输入至与该注意力层相连的下一个卷积层。

Images