CN110544213B - 一种基于全局和局部特征融合的图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于全局和局部特征融合的图像去雾方法，所述方法包括以下步骤：基于编码器‑解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；编码器‑解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；训练结束后，输入一张雾霾图像得到去雾图像。本方法不需要图像的先验信息，也不需要估计传输率，可以直接从一张雾霾图像得到去雾图像。

Description

一种基于全局和局部特征融合的图像去雾方法

技术领域

本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于全局和局部特征融合的图像去雾方法。

背景技术

在雾霾天气下，空气中存在着大量的悬浮粒子，由于受到悬浮粒子的影响，大气环境光与实际景物的反射光在传播的过程中会出现散射和衰减的现象，进而影响到图像质量，引起图像颜色失真、对比度下降等问题。去雾算法通过消除雾霾对图像的影响，不仅可以提高图像的主观视觉效果，还可以作为许多计算机视觉任务的预处理步骤，如自动驾驶、目标检测以及图像分类等，以提高计算机视觉系统的性能。因此，图像去雾算法有着广泛的应用价值。

早期算法从同一场景在不同成像条件下拍摄的多张图像中获取去雾线索。例如，文献[1]分析多张在不同雾浓度下拍摄的图像亮度值变化来估计场景景深，进而得到去雾图像。文献[2]通过使用不同的偏振滤波器对同一场景进行多次拍摄，利用偏振度去除雾霾影响。单幅图像去雾算法主要是基于图像的统计先验信息设计。例如，根据有雾图像的局部对比度比无雾图的局部对比度低的特点，Tan等人使用马尔可夫随机场最大化图像的局部对比度得到去雾图像^[3]。He等人通过统计有雾和无雾图像的亮度值分布特性提出了暗通道算法：在无雾图像不包括天空的区域内，至少一个颜色通道上的亮度值非常低，而在雾霾图像中，这些像素的亮度值主要受大气光影响。暗通道算法首先借助这一现象估计雾的传输率，再结合大气散射模型生成去雾图像^[4]。

最近，由于卷积神经网络在各种计算机视觉任务中的成功，研究人员提出了基于神经网络的去雾算法，这类算法不需要人工预先设计的先验信息。例如，Cai等人提出DehazeNet网络，利用卷积神经网络从一张雾霾图像中估计出传输率，将估计的传输率代入大气散射模型中得到去雾图像^[5]。Ren等人构造了一种基于多尺度的卷积神经网络^[6]，先使用大尺度的卷积粗略估计传输率，再使用小尺度的卷积对传输率做修正。文献[7]中提出的算法将大气散射模型中的大气光和传输率结合在一个系数K中，通过卷积神经网络学习系数K，进而得到去雾图像。

基于多张图像的去雾算法要求对场景进行重复拍摄，需要场景在雾霾动态变化的过程中保持稳定，这一要求在实际应用中难以满足，而基于偏振特性的去雾算法则依赖于特殊的成像设备。对于单幅图像去雾算法，现有方法大多依赖于简化的大气光散射模型，而真实场景下的雾霾图像通常不严格遵循物理模型和人为设定的先验信息，这类算法在去雾过程中容易引入颜色失真等效应，例如去雾图像在天空区域会出现明显光晕现象，在浓雾情况下物体边缘会出现伪影。

发明内容

本发明提供了一种基于全局和局部特征融合的图像去雾方法，本发明的去雾网络整体基于编码器和解码器的架构，在编码器和解码器之间设置多个稠密连接单元实现不同层级的特征融合；网络的损失函数采用L1范数损失、感知损失函数、梯度损失函数；该方法不需要图像的先验信息，也不需要估计传输率，可以直接从一张雾霾图像得到去雾图像，详见下文描述：

一种基于全局和局部特征融合的图像去雾方法，所述方法包括以下步骤：

基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；

编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；

使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；

训练结束后，输入一张雾霾图像得到去雾图像。

其中，所述基于编码器-解码器架构构建去雾网络具体为：

编码器和解码器均由n层卷积神经网络组成；

编码器和解码器之间由多个融合结构相连接，每个融合结构对稠密连接单元输出的特征图做局部融合和全局融合；

去雾网络在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合，编码器和解码器之间有I个局部融合模块。

进一步地，所述局部融合具体为：

记第i个局部融合模块的输入特征图为

局部融合模块中的第j个稠密连接单元输出的特征图记为F_i ^j，所有稠密连接单元输出的特征图F_i ^j在通道上做拼接操作，对拼接后的特征图再做卷积，得到的特征图记为F_i ^Local。

其中，所述全局融合由卷积操作实现，

全局融合包括I个局部融合模块，对每个局部融合模块输出的特征图在通道上做拼接操作，对拼接后的特征图再做卷积操作，得到的特征图记为F^Global。

进一步地，所述编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图具体为：

1)编码器的第一个卷积得到的特征图记为F₁ ^E，解码器的最后一个卷积得到的特征图记为

对F₁ ^E和/>

做如下处理；

其中，B(·)表示批标准化^[8]，σ(·)表示激活函数LeakyReLU^[9]，F_P为处理后的特征图；

2)处理后的特征图F_P经过稠密连接单元和卷积处理，得到取反的去雾图像，之后再做取反操作得到最终的去雾图像。

本发明提供的技术方案的有益效果是：

1、本发明通过训练神经网络实现端到端图像去雾，可以有效避免去雾图像出现颜色失真，光晕等现象；通过特征图之间的局部融合和全局融合的结构，可以恢复由雾霾遮挡造成的图像细节损失；

2、本发明只需要一张有雾图即可得到对应的无雾图，不需要预先传输率和全局大气光等参数，不依赖于任何先验信息和物理模型；

3、本发明在去雾的过程中能有效恢复图像细节信息，去雾图像没有伪影、亮度失真等效应，方法简单，易于实现，计算效率高。

附图说明

图1为本发明提供的一种基于全局和局部特征融合的图像去雾方法的流程图；

图2为本发明提供的稠密连接单元的结构示意图；

图3为本发明提供的第i个局部融合模块的结构示意图；

图4为本发明提供的全局融合的结构示意图；

图5为本发明提供的去雾网络的整体结构图；

图6为本发明实验结果中室外场景有雾图及去雾图；

图7为本发明实验结果中另一室外场景有雾图及去雾图；

图8为本发明实验结果中另一室外场景有雾图及去雾图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了实现逼真的图像去雾效果，本发明实施例提出了一种基于全局和局部特征融合的图像去雾方法，参见图1，详见下文描述：

101：对训练集图像做预处理；

102：基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；

103：编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；

104：使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；

105：训练结束后，输入一张雾霾图像即可得到去雾图像。

其中，步骤101中的对训练集图像做预处理的具体步骤为：

1)训练集中的图片尺寸全部缩放到N×N，并对训练图像进行取反操作，具体为利用255减去原像素值，取反后的雾霾图像作为网络的输入图像，本发明对N的取值不做限制；

2)将训练集中图像的像素值由[0,255]规范化为[-1,1]。

其中，步骤102中构建去雾网络的具体步骤为：

1)去雾网络整体基于编码器和解码器的架构。去雾网络的编码器由n层卷积神经网络组成，编码器中第n层卷积的步幅为2，逐渐缩小特征图的尺寸，其它层卷积的步幅为1。解码器由n层卷积神经网络组成，解码器中第1层卷积使用上采样和步幅为1的卷积，用于扩大特征图的尺寸。编码器和解码器的结构如图5所示。本发明实施例对编码器和解码器中卷积层数不做限制。

2)编码器和解码器之间由多个融合结构相连接，其中每个融合结构对稠密连接单元输出的特征图做局部融合(Local Fusion，LF)和全局融合(Global Fusion，GF)。局部融合模块如图3所示，由局部融合模块组成的全局融合如图4所示。

3)去雾网络在编码器和解码器之间设置多个稠密连接单元^[10]，由稠密连接单元实现特征图的局部和全局融合。编码器和解码器之间有I个局部融合模块，其中，第i个局部融合模块包括i个稠密连接单元，第i个局部融合模块的结构如图3所示，图中的稠密连接单元如图2所示，本发明实施例对I的取值不做限制。

其中，局部融合由卷积操作实现，以第i个局部融合模块为例，具体融合过程为：

记第i个局部融合模块的输入特征图为

(通道数为C)，局部融合模块中的第j个稠密连接单元输出的特征图记为F_i ^j(通道数为C)，所有稠密连接单元输出的特征图F_i ^j(j＝1,2,…,i)在通道上做拼接操作，对拼接后的特征图再做卷积，达到融合的效果，得到的特征图记为F_i ^Local(通道数为C)，即为局部融合后的特征图，本发明实施例对通道数C和局部融合所用的卷积核尺寸、个数不做限制。其中，第1个局部融合模块只包括1个稠密连接单元，未做局部融合，其输入特征图记为F₀，输出的特征图记为F₁ ^Local。

编码器和解码器之间的全局融合记为GF，具体结构如图4所示，图中的局部融合模块如图3所示。全局融合由卷积操作实现，具体融合过程为：全局融合包括I个局部融合模块，对每个局部融合模块输出的特征图在通道上做拼接操作，对拼接后的特征图再做卷积操作，达到融合的效果，得到的特征图记为F^Global(通道数为C)，即为全局融合后的特征图，本发明实施例对通道数C和全局融合所用的卷积核尺寸、个数不做限制。

其中，步骤103中对编码器和解码器输出的特征图做后续处理的具体步骤为：

1)编码器的第一个卷积得到的特征图记为F₁ ^E，解码器的最后一个卷积(即第n个卷积)得到的特征图记为

对F₁ ^E和/>

做如下处理。

其中，B(·)表示批标准化(Batch normalization)处理，σ(·)表示激活函数LeakyReLU，F_P为处理后的特征图，本发明对激活函数的选取不做限制。

2)处理后的特征图F_P经过稠密连接单元和卷积处理，得到取反的去雾图像，之后再做取反操作得到最终的去雾图像。

其中，步骤104中构建去雾网络的损失函数的具体步骤为：

1)去雾网络的损失函数分别采用L1范数损失函数、感知损失函数和梯度损失函数，具体如下所述；

2)l1范数损失函数如式(2)所示：

式中，J为无雾图像，

为经过反转操作处理后的雾霾图像，/>

为经过神经网络处理后的去雾图像。

3)感知损失函数如式(3)所示：

式中，φ(J)和

指经过VGG16网络^[11]ReLU2_2层的输出特征图。

4)梯度损失函数如式(4)所示：

/>

式中，G_x(·)，G_y(·)分别表示水平方向和垂直方向的梯度运算。

5)训练去雾网络的总体损失函数为上述三种损失函数的线性组合，如式(5)所示：

L＝ηL₁+βL_P+αL_g (5)

式中，η、β和α分别为L₁、L_p和L_g的权重。

其中，步骤105的具体步骤为：训练结束后，使用训练好的去雾网络，输入一张雾霾图像即可得到去雾图像。

实施例2

下面结合具体的附图以及计算公式对实施例1中的方案进行详细介绍，详见下文描述：

201：对训练集图像做预处理；

202：基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；

203：编码器-解码器输出的特征图经过后续的卷积神经网络，得到去雾图；

204：使用l1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；

205：训练结束后，输入一张雾霾图像即可得到去雾图像。

其中，步骤201中的对训练集图像做预处理的具体步骤为：

1)训练集中的图片尺寸全部缩放到256×256；

2)训练集中图像的RGB像素值的取值范围由[0,255]标准化为[0,1]，用1减去雾霾图像的像素值，得到取反后的雾霾图像，再将训练集中图像的RGB像素值乘以2之后减去1，像素值范围由[0,1]规范化为[-1,1]。

其中，步骤202中构建去雾网络的具体步骤为：

1)去雾网络整体基于编码器和解码器的架构。去雾网络的编码器由2层卷积神经网络组成，编码器中第2层卷积的步幅为2，逐渐缩小特征图的尺寸，其它层卷积的步幅为1。解码器由2层卷积神经网络组成，解码器中第1层卷积使用上采样和步幅为1的卷积代替转置卷积，用于扩大特征图的尺寸。编码器和解码器中的卷积核大小为4×4，激活函数使用LeakyReLU函数，斜率设为0.2，并做批标准化(Batch Normalization)，批标准化为本领域技术人员所公知，本发明对此不做赘述。

2)编码器和解码器之间由1个融合结构相连接，融合结构对稠密连接单元输出的特征图做局部融合(Local Fusion，LF)和全局融合(Global Fusion，GF)。

3)去雾网络在编码器和解码器之间设置6个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合。在本方法中，编码器和解码器之间共有3个局部融合模块，第1个局部融合模块包括1个稠密连接单元，第2个局部融合模块包括2个稠密连接单元，第3个局部融合模块包括3个稠密连接单元。局部融合由卷积操作实现，以第3个局部融合模块为例，具体融合过程为：记输入特征图为

(通道数为64)，/>

经过第1个稠密连接单元处理后的特征图记为F₃ ¹(通道数为64)，F₃ ¹经过第2个稠密连接单元处理后的特征图记为F₃ ²(通道数为64)，F₃ ²经过第3个稠密连接单元处理后的特征图记为F₃ ³(通道数为64)，3个特征图在通道上做拼接操作，拼接后的特征图再做卷积操作，达到融合的效果，得到的特征图记为F₃ ^Local(通道数为64)，即为局部融合后的特征图。其中，第1个局部融合模块只包括1个稠密连接单元，未做局部融合，其输入特征图记为F₀，输出的特征图记为F₁ ^Local。

编码器和解码器之间的全局融合记为GF。在本方法中，全局融合包括3个局部融合模块。全局融合由卷积操作实现，具体融合过程为：对3个局部融合模块输出的特征图F₁ ^Local，

F₃ ^Local在通道上做拼接操作，对拼接后的特征图再做卷积操作，达到融合的效果，得到的特征图记为F^Global(通道数为64)，即为全局融合后的特征图。局部融合和全局融合中所有卷积的卷积核大小均为3×3，激活函数均为LeakyReLU，并做批标准化。

其中，步骤203中对编码器和解码器输出的特征图做后续处理的具体步骤为：

1)编码器的第一个卷积得到的特征图记为F₁ ^E，解码器的最后一个卷积(第n个卷积)得到的特征图记为

此方法中即为/>

对F₁ ^E和/>

做处理，处理后的特征图为F_P，如式(1)所示。

2)F_P经过1个稠密连接单元和1个卷积处理，得到取反的去雾图像，对取反的去雾图像的像素值先加1，然后再除2，像素值范围由[-1,1]变为[0,1]，最后再用1减去图像的像素值，得到最终的去雾图像。

其中，步骤204中构建去雾网络的损失函数的具体步骤为：

1)去雾网络的损失函数分别采用L1范数损失函数、感知损失函数和梯度损失函数，具体如下所述：L1范数损失函数如式(2)所示，感知损失函数如式(3)所示，梯度损失函数如式(4)所示。

2)训练去雾网络的总体损失函数为上述三种损失函数的线性组合，如式(5)所示，η、β和α分别为L1、L_p和L_g的权重，取值分别为η＝10，β＝0.8，α＝1。

其中，步骤205的具体步骤为：训练结束后，使用训练好的去雾网络，输入一张雾霾图像即可得到去雾图像。

实施例3

下面通过实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

选取3张室外有雾图，对这3张有雾图像使用本发明的去雾方法进行去雾，图6、图7和图8分别为有雾图及对应的去雾图。

从去雾结果中可以看出，原始图像中被雾遮盖的细节信息得到了有效的恢复，如去雾后远处高楼中窗户等细节变得更为清晰(如图6所示)；此外，去雾图像的天空区域亮度变化自然，未出现光晕和亮度、对比度失衡等现象。

综上所述，本方法生成的去雾结果符合人眼对清晰图像的感知，有较好的视觉质量。参考文献

[1]Narasimhan S G,Nayar S K.Contrast restoration of weather degradedimages[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003(6):713-724.

[2]Treibitz T,Schechner Y Y.Polarization:beneficial for visibilityenhancement[C]IEEE Conference on Computer Vision and Pattern Recognition,2009:525-532.

[3]Tan R T.Visibility in bad weather from a single image[C].IEEEConference on Computer Vision and Pattern Recognition,2008:1-8.

[4]He K,Sun J,Tang X.Single image haze removal using dark channelprior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,33(12):2341-2353.

[5]Cai B,Xu X,Jia K,et al.DehazeNet:An end-to-end system for singleimage haze removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.

[6]Ren W,Liu S,Zhang H,et al.Single image dehazing via multi-scaleconvolutional neural networks[C].European Conference on Computer Vision,2016:154-169.

[7]Li B,Peng X,Wang Z,et al.AOD-Net:All-in-one dehazing network[C].IEEE International Conference on Computer Vision,2017:4770-4778.

[8]Ioffe S,Szegedy C.Batch Normalization:Accelerating deep networktraining by reducing internal covariate shift[C].International Conference onMachine Learning.2015:448-456.

[9]Maas A L,Hannun A Y,Ng A Y.:Rectifier nonlinearities improveneural network acoustic models[C].International Conference on MachineLearning.2013,30(1):3.

[10]Huang G,Liu Z,Van Der Maaten L,et al.Densely connectedconvolutional networks[C].IEEE Conference on Computer Vision and PatternRecognition,2017:4700-4708.

[11]Simonyan K,Zisserman A.Very deep convolutional networks forlarge-scale image recognition[C].International Conference on LearningRepresentations,2015.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述方法包括以下步骤：

基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；

编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；

使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；

训练结束后，输入一张雾霾图像得到去雾图像；

所述基于编码器-解码器架构构建去雾网络具体为：

编码器和解码器均由n层卷积神经网络组成；

编码器和解码器之间由多个融合结构相连接，每个融合结构对稠密连接单元输出的特征图做局部融合和全局融合；

去雾网络在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合，编码器和解码器之间有I个局部融合模块；

所述局部融合具体为：

记第i个局部融合模块的输入特征图为

局部融合模块中的第j个稠密连接单元输出的特征图记为F_i ^j，所有稠密连接单元输出的特征图F_i ^j在通道上做拼接操作，对拼接后的特征图再做卷积，得到的特征图记为F_i ^Local；

所述全局融合由卷积操作实现，

全局融合包括I个局部融合模块，对每个局部融合模块输出的特征图在通道上做拼接操作，对拼接后的特征图再做卷积操作，得到的特征图记为F^Global。

2.根据权利要求1所述的一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图具体为：

1)编码器的第一个卷积得到的特征图记为F₁ ^E，解码器的最后一个卷积得到的特征图记为F_n ^D，对F₁ ^E和F_n ^D做如下处理；

F_P＝tanh(σ(B(F_n ^D)))-tanh(σ(B(F₁ ^E)))

其中，B(·)表示批标准化，σ(·)表示激活函数LeakyReLU，F_P为处理后的特征图；

2)处理后的特征图F_P经过稠密连接单元和卷积处理，得到取反的去雾图像，之后再做取反操作得到最终的去雾图像。

Images