CN114049274A - 一种单幅图像去雾方法 - Google Patents

Abstract

本发明一种单幅图像去雾方法属于数字图像处理技术领域；该方法首先构建去雾模块，然后构建阶梯式去雾网络结构：将有雾图像输入到去雾模块得到第一梯度去雾模块，输出为较粗糙的去雾图像，再将输入到去雾模块得到第二梯度去雾模块，得到较高质量的清晰无雾图像；最后设计深度损失函数；本发明单幅图像去雾方法，把阶梯式去雾策略跟改进的去雾模块充分结合，得到了更好的去雾效果。

Description

一种单幅图像去雾方法

技术领域

本发明一种单幅图像去雾方法属于数字图像处理技术领域。

背景技术

雾霾是由空气中的灰尘和烟雾等小的漂浮颗粒产生的常见大气现象，这些漂浮的颗粒极大地吸收了散射光，导致图像质量下降。在雾霾影响下，视频监控、远程感应、自动驾驶等许多实际应用很容易收到威胁，检测和识别等高级计算机视觉任务很难完成，因此，图像去雾成为一种越来越重要的技术。

为了消除霉霾天气对图像产生的影响，研究者提出了许多不同的方法，目前对于雾天图像的处理方法主要分为两类：雾天图像增强和雾天图像复原，其区别在于是否运用到了大气散射模型。

近年，深度学习在图像处理的领域应用越来越广泛，因此，有研究者开始考虑将其运用到图像去雾的领域上。因其可以通过学习获取图像信息，在去雾也取得了不错的效果。其中包括Cai等人提出的端到端的去雾网络Dehaze Net，Ren等人提出的一种多尺度卷积神经网络MSCNN、Zhao等人在前者的基础上提出的深度全卷积回归网络DFCRN以及Li等人通过改进大气散射模型公式提出的基于残差深度卷积神经网络的去雾网络AOD-Net。虽然以上算法都取得了不错的效果，但各自也都存在着一定的局限性。

本文基于深度学习，提出了一种多尺度卷积神经网络，通过端到端映射的方式还原出清晰图像，以达到更好的去雾效果。

发明内容

本发明要解决的技术问题是提供一种单幅图像去雾方法，结合了新的去雾策略与去雾模型，对图像去雾效果实现逐步优化，最终能够在网络的最后一个去雾模块的输出得到质量比较高的清晰无雾图像。

本发明的目的是这样实现的：

一种单幅图像去雾方法，包括如下步骤：

S1、构建去雾模块D；

S2、构建阶梯式去雾网络结构θ：将有雾图像x输入到去雾模块D得到第一梯度去雾模块D1，D1输出为较粗糙的去雾图像x1；后将x1输入到去雾模块D得到第二梯度去雾模块D2，最终D2得到较高质量的清晰无雾图像x2；

S3、设计深度损失函数L：

其中，L_n1和L_n2分别表示第n个导向滤波层前后的平均方差误差损失，α和β是一对可调整的比例参数，通过设置为不同的比例得到不同的去雾效果。

上述单幅图像去雾方法，步骤S1中，去雾模块D依次包括优化ResNet，所述ResNet为残差神经网络、轻量化U-Net，所述U-Net为U形全卷积网络、图像回归，导向滤波层以及前后监督，使得网络同时具备高性能和高效率两个特点。

所述去雾模块优化ResNet部分，由七层组成，其中第一层是卷积层，第2层、第4层和第6层为多尺度卷积层，第3层、第5层、第7层为连接层，其中所有卷积运算都使用ReLU函数作为激活函数，所述ReLU为整流线性单元，1、2、3层，3、4、5层，5、6、7层为三个CNN的构造块，所述CNN为卷积神经网络，其中每个块包含一个快捷连接和连接层，充分保留前一层生成的特征图，并将其输入下一层；该部分主要进行结构特征提取。

所述去雾模块轻量化U-Net部分，由八层组成，首先是由两个具有不同数量的滤波器和内核大小的卷积层组成，两个卷积层之后都跟着一个ReLU和一个最大池化及下采样操作，然后，使用具有32个内核大小为3×3的滤波器的带有ReLU的卷积层，最后，轻量化U-Net的扩展路径由两个上采样步骤组成，每个步骤包括一个去卷积和一个级联层，由级联层相应地从收缩路径降采样特征映射；在扩展路径期间，通过一系列反卷积和级联操作将特征和空间信息与来自收缩路径的高分辨率特征相结合，这种结构用于提取复杂的统计图像特征。

所述去雾模块图像回归部分由三层组成，用于特征提取的两个先前并行路径的特征通道转换成去杂基图像分量，两个卷积层具有3×3滤波器和32个输出通道，而最后一层是具有3×3滤波器和3个输出通道的去卷积层，以形成去杂基图像分量的RGB通道。

所述去雾模块，导向滤波层被添加到每个去雾模块的最后进行联合训练，为了适应不同网络深度不同的感受野大小，使用不同的半径大小，第一梯度去雾模块D1为8个像素点，第二梯度去雾模块D2为16个像素点。

所述去雾模块，在导向滤波层前后都加入监督，起到强监督的作用，让去雾模块的主体部分专注于学习去雾相关的特征信息，然后导向滤波层起到一个边缘保持的作用，共同协调促成网络更好的去雾效果。

所述去雾模块优化ResNet部分为多尺度深度残差学习网络的构造块：

其中，S表示网络中考虑的标度的数目，Fj表示要在第j标度中学习的残差映射，W_i-j表示第i层中的第j标度的加权系数，通过考虑S＝2的情况，公式变为：

y＝F₁(ω，{W_i-1})+F₂(ω，{W_i-2})+x＝σ(ω*W_i-1)+σ(ω*W_i-2)

其中，“ω”表示卷积运算，σ表示激活函数，在我们的网络中，ReLU函数也被用作激活函数，ReLU主要用于非线性，这已被证明比其他非线性允许更快的训练分离器，此外，“+”操作集成了由连接层实现的三个项，在该深度模型中，为了联合提取多尺度特征并保留输入模糊图像的颜色信息，我们将所有特征映射和原始输入进行叠加，生成当前层的输出，构成了所提出的去雾模块。

上述单幅图像去雾方法，步骤S2中，去雾网络结构通过以下公式表示：

其中，x₁表示第一梯度去雾模块D₁输出，x₂表示第二梯度去雾模块D₂输出，D表示去雾模块，x表示原始输入的有雾图像，通过使用阶梯式去雾学习策略，前一梯次去雾模块的输出作为后一梯次去雾模块的输入，对图像去雾效果实现逐步优化，最终能够在网络的最后梯次去雾模块的输出得到质量比较高的清晰无雾图像。

有益效果：

本发明在传统的多尺度网络基础上，提出了阶梯式去雾网络的策略，图像中雾浓度较轻的部分使用第一梯度去雾模块来处理，雾浓度较重的部分使用第二梯度去雾模块来处理；把阶梯式去雾策略跟改进的去雾模块充分结合，得到了更好的去雾效果。

附图说明

图1为本发明中方法流程示意图；

图2为本发明中去雾模块的结构图；

图3为本发明中阶梯式去雾网络结构图；

图4为本发明中结构特征提取部分构成图；

图5为本发明中统计特征提取部分构成图；

图6为本发明中方法回归部分构成图；

图7为本发明图像去雾前后的对比图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细介绍。

一种单幅图像去雾方法，流程图如图1所示，该方法包括如下步骤：

S1、构建如图2所示的去雾模块D；

S2、构建如图3所示的阶梯式去雾网络结构θ：将有雾图像x输入到去雾模块D得到第一梯度去雾模块D1，D1输出为较粗糙的去雾图像x1；后将x1输入到去雾模块D得到第二梯度去雾模块D2，最终D2得到较高质量的清晰无雾图像x2；

S3、设计深度损失函数L：

其中，L_n1和L_n2分别表示第n个导向滤波层前后的平均方差误差损失，α和β是一对可调整的比例参数，通过设置为不同的比例得到不同的去雾效果。深度监督不仅使得网络在去雾时得到边缘锐化的结果，同时可以让网络的主体发挥更大的去雾作用。

进行模型训练，通过有雾的图像及其对应的干净图像构成的样本集，利用该样本集训练神经网络，得到端到端的网络模型。恢复图像时，利用训练好的模型，输入有雾图像，输出干净图像，所以没有中间的结果。或者说方法主要就是体现在网络结构的构造上。网络构造好了，就可以用样本集进行训练，训练的结果就可以直接拿来进行图像去雾。

步骤S1中，去雾模块D依次包括优化ResNet，所述ResNet为残差神经网络、轻量化U-Net，所述U-Net为U形全卷积网络、图像回归，导向滤波层以及前后监督，使得网络同时具备高性能和高效率两个特点。

所述去雾模块优化ResNet部分，如图4所示，由七层组成，其中第一层是卷积层，第2层、第4层和第6层为多尺度卷积层，第3层、第5层、第7层为连接层，其中所有卷积运算都使用ReLU函数作为激活函数，所述ReLU为整流线性单元，1、2、3层，3、4、5层，5、6、7层为三个CNN的构造块，所述CNN为卷积神经网络，其中每个块包含一个快捷连接和连接层，充分保留前一层生成的特征图，并将其输入下一层；该部分主要进行结构特征提取。

所述去雾模块轻量化U-Net部分，如图5所示，由八层组成，首先是由两个具有不同数量的滤波器和内核大小的卷积层组成，两个卷积层之后都跟着一个ReLU和一个最大池化及下采样操作，然后，使用具有32个内核大小为3×3的滤波器的带有ReLU的卷积层，最后，轻量化U-Net的扩展路径由两个上采样步骤组成，每个步骤包括一个去卷积和一个级联层，由级联层相应地从收缩路径降采样特征映射；在扩展路径期间，通过一系列反卷积和级联操作将特征和空间信息与来自收缩路径的高分辨率特征相结合，这种结构用于提取复杂的统计图像特征。

所述去雾模块图像回归部分，如图6所示，由三层组成，用于特征提取的两个先前并行路径的特征通道转换成去杂基图像分量，两个卷积层具有3×3滤波器和32个输出通道，而最后一层是具有3× 3滤波器和3个输出通道的去卷积层，以形成去杂基图像分量的RGB通道。

所述去雾模块，导向滤波层被添加到每个去雾模块的最后进行联合训练，为了适应不同网络深度不同的感受野大小，使用不同的半径大小，第一梯度去雾模块D1为8个像素点，第二梯度去雾模块D2为16个像素点；在导向滤波层前后都加入监督，起到强监督的作用，让去雾模块的主体部分专注于学习去雾相关的特征信息，然后导向滤波层起到一个边缘保持的作用，共同协调促成网络更好的去雾效果。

所述去雾模块优化ResNet部分为多尺度深度残差学习网络的构造块：

其中，S表示网络中考虑的标度的数目，Fj表示要在第j标度中学习的残差映射，W_i-j表示第i层中的第j标度的加权系数，通过考虑S＝2的情况，公式变为：

y＝F₁(ω，{W_i-1})+F₂(ω，{W_i-2})+x＝σ(ω*W_i-1))+σ(ω*W_i-2)

其中，“ω”表示卷积运算，σ表示激活函数，在我们的网络中，ReLU函数也被用作激活函数，ReLU主要用于非线性，这已被证明比其他非线性允许更快的训练分离器，此外，“+”操作集成了由连接层实现的三个项，在该深度模型中，为了联合提取多尺度特征并保留输入模糊图像的颜色信息，我们将所有特征映射和原始输入进行叠加，生成当前层的输出，构成了所提出的去雾模块。

步骤S2中，去雾网络结构通过以下公式表示：

其中，x₁表示第一梯度去雾模块D₁输出，x₂表示第二梯度去雾模块D₂输出，D表示去雾模块，x表示原始输入的有雾图像，通过使用阶梯式去雾学习策略，前一梯次去雾模块的输出作为后一梯次去雾模块的输入，对图像去雾效果实现逐步优化，最终能够在网络的最后梯次去雾模块的输出得到质量比较高的清晰无雾图像。

上述方法最终测试结果为：采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量，在RESIDE的室内测试集上PSNR＝35.56，SSIM＝0.9896，室外测试上PSNR＝32.97，SSIM＝0.9784，结果好于现有方法。部分可视化结果如图7所示。

其中，图7第一行为去雾前图像，图7第二行为去雾后图像。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种单幅图像去雾方法，其特征在于，包括如下步骤：

S1、构建去雾模块D；

S2、构建阶梯式去雾网络结构θ：将有雾图像x输入到去雾模块D得到第一梯度去雾模块D1，D1输出为较粗糙的去雾图像x1；后将x1输入到去雾模块D得到第二梯度去雾模块D2，最终D2得到较高质量的清晰无雾图像x2；

S3、设计深度损失函数L：

其中，L_n1和L_n2分别表示第n个导向滤波层前后的平均方差误差损失，α和β是一对可调整的比例参数，通过设置为不同的比例得到不同的去雾效果。

2.根据权利要求1所述的单幅图像去雾方法，其特征在于，步骤S1中，去雾模块D依次包括优化ResNet，所述ResNet为残差神经网络、轻量化U-Net，所述U-Net为U形全卷积网络、图像回归，导向滤波层以及前后监督，使得网络同时具备高性能和高效率两个特点。

3.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块优化ResNet部分，由七层组成，其中第一层是卷积层，第2层、第4层和第6层为多尺度卷积层，第3层、第5层、第7层为连接层，其中所有卷积运算都使用ReLU函数作为激活函数，所述ReLU为整流线性单元，1、2、3层，3、4、5层，5、6、7层为三个CNN的构造块，所述CNN为卷积神经网络，其中每个块包含一个快捷连接和连接层，充分保留前一层生成的特征图，并将其输入下一层；该部分主要进行结构特征提取。

4.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块轻量化U-Net部分，由八层组成，首先是由两个具有不同数量的滤波器和内核大小的卷积层组成，两个卷积层之后都跟着一个ReLU和一个最大池化及下采样操作，然后，使用具有32个内核大小为3×3的滤波器的带有ReLU的卷积层，最后，轻量化U-Net的扩展路径由两个上采样步骤组成，每个步骤包括一个去卷积和一个级联层，由级联层相应地从收缩路径降采样特征映射；在扩展路径期间，通过一系列反卷积和级联操作将特征和空间信息与来自收缩路径的高分辨率特征相结合，这种结构用于提取复杂的统计图像特征。

5.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块图像回归部分，由三层组成，用于特征提取的两个先前并行路径的特征通道转换成去杂基图像分量，两个卷积层具有3×3滤波器和32个输出通道，而最后一层是具有3×3滤波器和3个输出通道的去卷积层，以形成去杂基图像分量的RGB通道。

6.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块，导向滤波层被添加到每个去雾模块的最后进行联合训练，为了适应不同网络深度不同的感受野大小，使用不同的半径大小，第一梯度去雾模块D1为8个像素点，第二梯度去雾模块D2为16个像素点。

7.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块，在导向滤波层前后都加入监督，起到强监督的作用，让去雾模块的主体部分专注于学习去雾相关的特征信息，然后导向滤波层起到一个边缘保持的作用，共同协调促成网络更好的去雾效果。

8.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述去雾模块优化ResNet部分为多尺度深度残差学习网络的构造块：

其中，S表示网络中考虑的标度的数目，Fj表示要在第j标度中学习的残差映射，W_i-j表示第i层中的第j标度的加权系数，通过考虑S＝2的情况，公式变为：

y＝F₁(ω，{W_i-1})+F₂(ω，{W_i-2})+x＝σ(ω*W_i-1)+σ(ω*W_i-2)

其中，“ω”表示卷积运算，σ表示激活函数，在我们的网络中，ReLU函数也被用作激活函数，ReLU主要用于非线性，这已被证明比其他非线性允许更快的训练分离器，此外，“+”操作集成了由连接层实现的三个项，在该深度模型中，为了联合提取多尺度特征并保留输入模糊图像的颜色信息，我们将所有特征映射和原始输入进行叠加，生成当前层的输出，构成了所提出的去雾模块。

9.根据权利要求1所述的单幅图像去雾方法，其特征在于，步骤S2中，去雾网络结构通过以下公式表示：

其中，x₁表示第一梯度去雾模块D₁输出，x₂表示第二梯度去雾模块D₂输出，D表示去雾模块，x表示原始输入的有雾图像，通过使用阶梯式去雾学习策略，前一梯次去雾模块的输出作为后一梯次去雾模块的输入，对图像去雾效果实现逐步优化，最终能够在网络的最后梯次去雾模块的输出得到质量比较高的清晰无雾图像。

Images