CN116228576A - 基于注意力机制与特征增强的图像去雾方法 - Google Patents

Abstract

本发明公开了基于注意力机制与特征增强的图像去雾方法，包括：数据集，根据大气散射模型制作数据集，数据集缩放后按比例划分为训练数据集和测试数据集；深度学习模型，整体采用编码器‑解码器结构，编码器对输入的雾天图像进行特征提取，解码器逐层恢复图像特征，实现图像去雾。本发明通过结合自注意力模块、密集特征融合模块和特征增强模块，融合图像全局特征间的联系，同时提取局部低级特征和全局上下文特征。同时在编码器与解码器之间的跳跃连接上引入特征金字塔单元，通过训练对多尺度特征施加不同的权重，突出对前景目标更有用的上下文信息，提高对图像特征的表征能力，最大程度利用有用信息，提升去雾效果，实现更加精确的雾天图像去雾。

Description

基于注意力机制与特征增强的图像去雾方法

技术领域

本发明涉及图像去雾技术领域，特别涉及基于注意力机制与特征增强的图像去雾方法。

背景技术

雾霾天气条件下场景的对比度与能见度降低，使用图像捕捉设备获取的自然场景下的图像质量下降，细节大量丢失，无法准确地标记有用信息，严重影响下游图像处理任务。作为图像处理初始化环节，雾霾图像去雾起着至关重要的作用。在雾霾天气环境下如何准确、快速地获取图像重要信息受到研究人员的关注。

目前，图像去雾算法可分为传统算法与基于深度学习的算法。传统去雾算法主要包括以下2种：基于图像增强的去雾算法，如直方图均衡化、小波和曲波变换、Retinex算法等，这类图像增强技术通过增强图像明暗区域的对比度来获取图像细节。但这类算法未考虑雾天图像质量下降的根本原因，本质上并没有达到去雾目的。基于物理模型的图像去雾算法，该类算法以大气散射模型为理论依据，对图像获取过程进行建模，进而反推出其中的无雾图像。其中较为经典的基于暗通道先验的图像去雾算法取得了较好的去雾效果。这类方法虽然改善了全局的对比度，但对浓雾的处理与细节的恢复效果不够理想，部分区域仍然会出现颜色失真问题。近年来，深度学习不断发展并在各个领域得到广泛应用。基于深度学习的去雾算法相较于传统算法，能够更好的学习雾图与清晰图像之间的物理参数或联系，经过处理后的图像质量与细节完整度也有明显提高，能够获得更好的去雾效果。尽管深度学习方法取得了不错的成果，但仍存在以下缺点：依赖透射率等物理模型参数，其精确程度决定了去雾效果；不能很好的处理图像细节，容易出现图像部分失真；未关注雾对图像的全域覆盖与破坏的问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于注意力机制与特征融合的图像去雾方法，利用自注意力模块、密集特征融合模块、特征增强模块和特征金字塔单元提高图像去雾的效果，已解决雾天图像的降质问题。

为了实现上述目的，本发明采用了如下技术方案：

基于注意力机制与特征增强的图像去雾方法，具体方法如下：

(1.1)、数据集制作

根据大气散射模型模拟不同雾天环境下的成像设备捕捉到的雾天图像；雾天图像制作数据集，数据集缩放后按比例划分为训练数据集和测试数据集；

(1.2)、深度学习模型去雾

整体采用编码器-解码器结构，编码器对输入的雾天图像进行特征提取，解码器逐层恢复图像特征，实现图像去雾。

本发明进一步的方案为，深度学习模型，具体方法如下：

(2.1)、编码器进行四次下采样操作，由四层残差模块、密集特征融合模块和自注意力模块组成，残差模块用于挖掘雾天图像潜藏的边缘与细节特征，自注意力模块位于解码器末层，提取高阶特征关联全局信息，融合图像全域特征间的联系，计算成本较小，不会增加整个网络的计算压力；

(2.2)、解码器进行四次上采样双线性插值操作，由四层特征增强模块、密集特征融合模块与上采样模块组成，与编码过程相似，解码部分同样经过四次特征融合，特征增强模块引入编码阶段的特征对解码过程进行深入处理，在解码器的最后使用卷积层从最终融合的特征中恢复出无雾图像；

(2.3)、编码器与解码器之间进行跳跃连接，编码器提取的特征经过特征金字塔单元学习多尺度特征并对多尺度特征施加不同权重，通过该权重突出对前景目标有用的上下文信息，抑制无用信息，与解码器的特征增强模块进行通道拼接以提高恢复图像质量。

本发明进一步的方案为，密集特征融合模块的输入与之前所有密集融合模块的输出特征图进行误差融合，在获取高阶语义信息的同时补充低阶的位置空间信息，第n层密集特征融合模块的输出特征图定义如下：

Fⁿ＝Sⁿ(fⁿ,{F^L,F^L-1,L,Fⁿ⁺¹})。

本发明进一步的方案为，自注意力模块通过对图像中各个位置的特征进行加权求和，并将其与当前位置的关系进行表达，可以在图像远距离区域之间建立多层次关系，并在此基础上对当前位置的细节特征与远距离位置的细节特征进行调整，在编码器末端嵌入自注意力模块，能够更好地提取雾天图像的全局性信息，提高图像去雾完整度，改善去雾效果，自注意力计算公式如下：

本发明进一步的方案为，特征增强模块采用将当前输入加到上一次输出的结果后作为下一次的输入的方式，对于第n层的特征增强模块，首先对上一层得到的特征图Yⁿ⁺¹进行上采样，然后用同一层对应的编码器得到的特征图Iⁿ进行相加，并送入到修复单元G(·)中，最后减去上采样后的Yⁿ⁺¹作为第n层的特征增强模块的输出，其公式表达如下：

Yⁿ＝G(Iⁿ+de(Yⁿ⁺¹))-de(Yⁿ⁺¹)。

本发明进一步的方案为，跳跃连接处的特征金字塔单元对编码器提取的特征进行不同尺度的扩张，使用卷积层融合多尺度特征，输入到空间注意力单元。

本发明进一步的方案为，空间注意力模块突出特征图中有利于最终去雾效果的位置并赋予较高权重，对去雾效果影响较小的位置赋予较小权重，自适应调节特征权重。

本发明进一步的方案为，训练数据集与测试数据集比例为9：1。

本发明的有益效果：

本发明所提供的基于注意力机制与特征增强的图像去雾方法通过结合自注意力模块、密集特征融合模块和特征增强模块，融合图像全局特征间的联系，同时提取局部低级特征和全局上下文特征；同时在编码器与解码器之间的跳跃连接上引入特征金字塔单元，通过训练对多尺度特征施加不同的权重，突出对前景目标更有用的上下文信息，提高对图像特征的表征能力，最大程度利用有用信息，从而提升去雾效果，实现更加精确的图像去雾。

附图说明

图1为本发明基于注意力机制与特征增强的深度学习模型结构示意图；

图2为本发明自注意力模块的结构示意图；

图3为本发明密集特征融合模块的结构示意图；

图4为本发明特征增强模块的结构示意图；

图5为本发明特征金字塔单元的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1-5所示，本发明提供的基于注意力机制与特征增强的图像去雾方法包括：

数据集制作，根据大气散射模型模拟不同雾天环境下的成像设备捕捉到的雾天图像；雾天图像制作数据集，数据集缩放后按比例划分为训练数据集和测试数据集；

深度学习模型去雾，整体采用编码器-解码器结构，编码器对输入的雾天图像进行特征提取，解码器逐层恢复图像特征，实现图像去雾。

具体步骤如下：

(1)、根据大气散射模型来模拟不同雾天环境下的成像设备捕捉到的图像并制作成数据集，缩放后按9：1的比例划分为训练数据集与测试数据集；

(2)、构建基于注意力机制与特征增强的图像去雾深度学习模型，整体采用编码器-解码器结构，编码器对输入的雾天图像进行特征提取，解码器逐层恢复图像特征，实现图像去雾；

(3)、设计损失函数指导模型进行参数优化，将训练集作为输入对深度学习模型进行迭代训练至损失收敛水平；

(4)、将测试集输入到步骤(3)训练好的模型中，输出最终预测结果。

步骤(2)的深度学习模型，分为编码器和解码器两个部分，具体方法如下：

(2.1)、编码器进行四次下采样操作，由四层残差模块、密集特征融合模块和自注意力模块组成，残差模块用于挖掘雾天图像潜藏的边缘与细节特征，自注意力模块位于解码器末层，提取高阶特征关联全局信息，融合图像全域特征间的联系，计算成本较小，不会增加整个网络的计算压力；

(2.2)、解码器进行四次上采样双线性插值操作，由四层特征增强模块、密集特征融合模块与上采样模块组成，与编码过程相似，解码部分同样经过四次特征融合，特征增强模块引入编码阶段的特征对解码过程进行深入处理，在解码器的最后使用卷积层从最终融合的特征中恢复出无雾图像；

(2.3)、编码器与解码器之间进行跳跃连接，编码器提取的特征经过特征金字塔单元学习多尺度特征并对多尺度特征施加不同权重，通过该权重突出对前景目标有用的上下文信息，抑制无用信息，与解码器的特征增强模块进行通道拼接以提高恢复图像质量。

深度学习模型输入为256*256的雾天RGB图像，雾天图像首先被送入一个步长为1的卷积层中提取浅层信息，并将输出保存到特征数组中；其次，包含浅层信息的特征图被送入残差模块，由残差模块提取特征后，再次被送入一个步长为2的卷积层，得到输出结果。最后，将特征数组与输出结果一并送入密集特征融合模块。每层的密集特征融合模块的输入都要与之前所有密集融合模块的输出特征图进行误差融合，保证在获取高阶语义信息的同时，低阶的位置空间信息被补充。以此类推，经过四次特征融合，得到最终的特征图。在编码器的末层嵌入自注意力模块，结合卷积与自注意力机制的优点，利用图像全局上下文语境信息生成图像特征。在编码器与解码器的跳跃连接上引入特征金字塔单元，融合多尺度特征并施加权重，突出有用信息，抑制无用信息。编码阶段的特征经过特征金字塔单元输出后与解码器的特征增强模块拼接，对解码过程进行深入处理，最后通过由1*1卷积和sigmoid激活函数组成的分类层恢复无雾图像。

自注意力模块：

自注意力被定义为应用于单个上下文而不是跨多个上下文的注意力(查询向量、键向量和值向量)。自注意力模拟远程交互的能力，及其并行性(利用现代硬件的优势提高算力)已经为各种任务带来了最先进的模型。考虑到卷积和自注意力的不同之处和互补性质，整合这两个模块，将卷积神经网络与自注意力结合将带来潜在的优势，进一步提高模型性能。自注意力模块通过对一张图像中各个位置的特征进行加权求和，并将其与当前位置的关系进行表达，从而可以在图像远距离区域之间建立多层次关系，并在此基础上对当前位置的细节特征与远距离位置的细节特征进行调整。因此，对于雾天图像，在编码器末端嵌入自注意力模块，能够更好地提取雾天图像的全局性信息，提高图像去雾完整度，改善去雾效果。同时注意力机制模块计算成本较小，并不会增加整个网络的计算压力。自注意力计算公式如下：

如图2所示，经过最末层的卷积层之后得到高阶特征图X，X经过1×1卷积层被重塑为上述公式的3个一维向量，分别为Q、K、V。Q与K的转置进行相乘运算得到QK^Τ，QK^Τ经过Softmax归一化后得到注意力特征图Y，QK^Τ反映了Q与K元素之间的相似度，V用来施加权重。输入的特征图X与自注意力层输出进行加权相加得到最终的输出。

密集特征融合模块：

如图3所示，密集特征融合模块的输入与之前所有密集融合模块的输出特征图进行误差融合，在获取高阶语义信息的同时补充低阶的位置空间信息，第n层密集特征融合模块的输出特征图定义如下：

Fⁿ＝Sⁿ(fⁿ,{F^L,F^L-1,L,Fⁿ⁺¹})

式中Sⁿ代表融合操作，jⁿ为第n层密集特征融合模块的输入特征图(编码器为卷积层的输出特征图，解码器为SOS模块的输出特征图)，Fⁿ为第n层密集特征融合模块输出的增强特征图，L为模型网络总层数，{F^L,F^L-1,L Fⁿ⁺¹}为第n层之前所有密集特征融合模块输出的增强特征图，第n层共计需要融合(L-n)个增强特征图。在融合过程中，fⁿ依次和不同的增强特征图进行融合，为了表示不同阶段的融合特征，将不同的增强特征图分别表示为F^L-t，t∈{0,1,L,L-t-1}，t也可以表示迭代融合的不同阶段。

特征增强模块：

如图4所示，特征增强模块采用将当前输入加到上一次输出的结果后作为下一次的输入的方式，对于第n层的特征增强模块，首先对上一层得到的特征图Yⁿ⁺¹进行上采样，然后用同一层对应的编码器得到的特征图Iⁿ进行相加，并送入到修复单元G(·)中，最后减去上采样后的Yⁿ⁺¹作为第n层的特征增强模块的输出，其公式表达如下：

Yⁿ＝G(Iⁿ+de(Yⁿ⁺¹))-de(Yⁿ⁺¹)

式中Yⁿ为第n层特征增强模块输出的特征图，Iⁿ为对应编码器残差模块的输出特征图，de(·)为2倍的上采样操作，Yⁿ⁺¹为第n+1层特征增强模块输出的特征图。

特征金字塔单元：

如图5所示，特征金字塔单元对解码模块得到的特征图分别进行1、2、4、8倍的双线性插值上采样，后接空间注意力模块进行特征融合，通过训练对不同尺度的输入特征图施加不同的权重并进行融合，以此来提高网络对感兴趣区域上下文特征的关注。

具体融合过程如下：首先，将第一层特征图送入第一个空间注意力模块，输出权重矩阵a1，该权重矩阵包含了各通道所有像素对应的注意力信息，取值范围为[0，1]。然后，将权重矩阵a1与第一层输出特征图进行对应元素相乘，给每个像素赋值。与此同时，输出权重矩阵1-a1与第二层2倍双线性插值上采样后的特征图进行逐元素相乘。通过对相邻两层特征图分配不同的权重，使得与感兴趣区域特征相关的信息被加强，相反地，无用的信息则会被抑制。最后将已分配权值的前两层特征图进行逐元素相加，实现注意力层面的特征融合，并将融合后的特征图作为第二个空间注意力模块的输入。层级化注意力融合模块通过将深层池化特征中的语义信息与浅层特征中大量的细节信息进行融合，使得针对小目标电力线的分割任务取得更精细的结果，解决前景背景样本类别不均衡问题，提高分割的准确度。

步骤(3)的损失函数训练时使用了MSE损失函数和边缘损失函数结合的联合损失函数，在关注整体去雾效果的同时，优化高频信息的恢复效果。计算公式分别如下：

式中x为电力线图像，i为图像上的像素点，n为像素点的个数，P(x_i)表示各像素点的预测值，G(x_i)为各像素点的真实标签值。均方误差表示预测图像相对于标签图像的偏移程度，数值越大偏移程度越大。

其中，x为电力线图像，i为图像上的像素点，n为像素点的个数，P(x_i)表示各像素点的预测值，G(x_i)为各像素点的真实标签值。H为计算图像梯度的运算符，H包含H_h和H_v两个部分，分别表示沿着行(水平)方向和列(垂直)方向计算图像梯度的运算符。将均方误差损失函数与边缘损失函数作为联合损失函数，既能达到理想去雾效果，又能提高对图像高频信息的关注。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于注意力机制与特征增强的图像去雾方法，其特征在于，具体方法如下：

(1.1)、数据集制作

根据大气散射模型模拟不同雾天环境下的成像设备捕捉到的雾天图像；雾天图像制作数据集，数据集缩放后按比例划分为训练数据集和测试数据集；

(1.2)、深度学习模型去雾

整体采用编码器-解码器结构，编码器对输入的雾天图像进行特征提取，解码器逐层恢复图像特征，实现图像去雾。

2.根据权利要求1所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，深度学习模型去雾，具体方法如下：

(2.1)、编码器进行四次下采样操作，由四层残差模块、密集特征融合模块和自注意力模块组成，残差模块用于挖掘雾天图像潜藏的边缘与细节特征，密集特征融合模块使非相邻层级之间的信息进行交互，自注意力模块位于解码器末层，提取高阶特征关联全局信息，融合图像全域特征间的联系；

(2.2)、解码器进行四次上采样双线性插值操作，由四层特征增强模块、密集特征融合模块与上采样模块组成，与编码过程相似，解码部分同样经过四次特征融合，特征增强模块引入编码阶段的特征对解码过程进行深入处理，在解码器的最后使用卷积层从最终融合的特征中恢复出无雾图像；

(2.3)、编码器与解码器之间进行跳跃连接，编码器提取的特征经过特征金字塔单元学习多尺度特征并对多尺度特征施加不同权重，通过该权重突出对前景目标有用的上下文信息，抑制无用信息，与解码器的特征增强模块进行通道拼接以提高恢复图像质量。

3.根据权利要求2所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，密集特征融合模块的输入与之前所有密集融合模块的输出特征图进行误差融合，在获取高阶语义信息的同时补充低阶的位置空间信息，第n层密集特征融合模块的输出特征图定义如下：

Fⁿ＝Sⁿ(fⁿ,{F^L,F^L-1,L,Fⁿ⁺¹})。

4.根据权利要求2所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，自注意力模块通过对图像中各个位置的特征进行加权求和，并将其与当前位置的关系进行表达，可以在图像远距离区域之间建立多层次关系，并在此基础上对当前位置的细节特征与远距离位置的细节特征进行调整，在编码器末端嵌入自注意力模块，自注意力计算公式如下：

5.根据权利要求2所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，特征增强模块采用将当前输入加到上一次输出的结果后作为下一次的输入的方式，对于第n层的特征增强模块，首先对上一层得到的特征图Yⁿ⁺¹进行上采样，然后用同一层对应的编码器得到的特征图Iⁿ进行相加，并送入到修复单元G(·)中，最后减去上采样后的Yⁿ⁺¹作为第n层的特征增强模块的输出，其公式表达如下：

Yⁿ＝G(Iⁿ+de(Yⁿ⁺¹))-de(Yⁿ⁺¹)。

6.根据权利要求2所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，跳跃连接处的特征金字塔单元对编码器提取的特征进行不同尺度的扩张，使用卷积层融合多尺度特征，输入到空间注意力单元。

7.根据权利要求6所述的基于注意力机制与特征增强的图像去雾方法，其特征在于：空间注意力模块突出特征图中有利于最终去雾效果的位置并赋予较高权重，对去雾效果影响较小的位置赋予较小权重，自适应调节特征权重。

8.根据权利要求2至7任意一项所述的基于注意力机制与特征增强的图像去雾方法，其特征在于，训练数据集与测试数据集比例为9：1。

Images