CN115908206A - 一种基于动态特征注意力网络的遥感图像去雾方法 - Google Patents

Abstract

本发明公开一种基于动态特征注意力网络的遥感图像去雾方法，属于一般的图像数据处理或产生技术领域，用于对遥感图像进行去雾处理，包括采用卷积层进行浅层特征提取，构建动态特征注意力模块，将浅层特征通过卷积层、激活层，然后与输入浅层特征进行元素相加，再通过一个卷积层得到特征映射，将特征映射作为动态特征注意力模块的输入，像素注意力模块的输出与浅层特征进行元素相加得到一个基本块的输出，最后一个基本块的输出经过卷积层并与浅层特征进行元素相加通过残差学习得到组结构的输出，组结构的输出经过两层的卷积层进行特征提取后，与输入图像进行元素相加，通过残差结构将遥感图像中的雾霾去除，获得去雾后的遥感图像。

Description

一种基于动态特征注意力网络的遥感图像去雾方法

技术领域

本发明公开一种基于动态特征注意力网络的遥感图像去雾方法，属于一般的图像数据处理或产生技术领域。

背景技术

高质量、高分辨率的遥感图像具有广泛的应用价值，如图像分类、土地覆盖和作物类型分类、图像分割、植被覆盖估计率、早期野火检测、图像变化检测等。然而，大气条件的变化总是影响遥感图像质量，如云、雾霾，导致图像质量低，从而在一些应用中导致令人不满意的结果。雾霾等空气杂质会降低图像的可视化，使图像模糊，影响图像下游任务的应用。因此，通过去雾处理来恢复遥感图像的清晰度具有重要的现实意义。

目前，主要的图像去雾方法中，基于图像增强的去雾算法没有考虑如何去除雾，而是通过增强对比度来提高视觉性从而达到去雾的效果；图像恢复方法主要基于大气散射模型，从模糊的图像中找出表全球大气光和透光率，并恢复清晰的视觉效果获得清晰无雾的清晰图像，估计全球大气光和透光率的精度是至关重要的，特别是对于在一个方程中解决多个未知数的问题； 随着深度学习技术的快速发展，近年来提出的基于深度学习图像去雾方法比传统方法更有效，然而传统的通道注意力机制使用平均池化层或最大池化层来聚合全局特征，这种聚合方式获取到的全局特征容易受到异常点的影响，尤其遥感图像从高空中拍摄距离远，范围广，获得到的图像存在异常值的可能性更大，这种聚合方式使传统通道注意力机制的权值学习不准确，聚合得到的全局特征往往会偏离真实特征。

发明内容

本发明的目的在于提供一种基于动态特征注意力网络的遥感图像去雾方法，以解决现有技术中，图像去雾方法精度不足的问题。

一种基于动态特征注意力网络的遥感图像去雾方法，包括：

S1.采用卷积层进行浅层特征提取；

使用有雾的遥感图像作为网络的输入，通过卷积层进行浅层特征提取，卷积为1×1卷积核，步长为1，将获得的浅层特征送入群结构进行下一步骤的特征提取；

S2.构建动态特征注意力模块；

S3.将S1获取的浅层特征通过卷积层、ReLU激活层，然后与输入浅层特征进行元素相加，再通过一个卷积层得到特征映射F，F∈R^C×H×W，C、H、W分别表示通道、高度、宽度，R为映射索引；

将特征映射作为动态特征注意力模块的输入；

S4.像素注意力模块的输出与S1得到的浅层特征进行元素相加得到一个基本块的输出，组结构包含19个基本块结构，最后一个基本块的输出经过卷积层并与S1的浅层特征进行元素相加通过残差学习得到组结构的输出；

S5.组结构的输出经过两层的卷积层进行特征提取后，与输入图像进行元素相加，通过残差结构将遥感图像中的雾霾去除，获得去雾后的遥感图像；

S6.使用L1损失函数通过最小化误差来优化整体网络，如下式：

；

其中是基本块结构和局部残差的个数，代表地面真实无雾图像，代表经过动态特征注意力网络去雾后的图像。

S2包括：动态特征注意力模块包括动态通道注意力模块和像素注意力模块，动态通道注意力模块采用动态池化层代替最大池化层和平均池化层对空间信息进行动态加权聚合。

S3包括：

学习动态池化矩阵T_d∈R^C×1×1，T_d为动态学习的空间信息特征矩阵，特征映射经过1x1的卷积层由原来的C×HW变为1N，其中N =（H×W），通过形状变换将特征映射变为N×1，通过Sigmoid层为获取得到的空间信息赋予不同的权重信息，将权重与变换形状后的输入特征进行矩阵相乘，得到关注空间信息的通道特征图T_d，获取特征图T_d的过程如下式：

，；

其中Sigmoid为激活层，Conv是滤波器大小为1×1的卷积运算，代表矩阵相乘；

动态池化层通过学习空间信息的重要性来动态聚合全局特征获得第一特征图T_d，第一特征图通过卷积层、ReLU激活层和Sigmoid型激活层得到第二特征图T_D，将T_D按元素相乘的方法与输入特征F相乘，得到加权特征图F_dca∈R^C×H×W，动态特征注意机制的输出如下式：

，；

其中Sigmoid、ReLU为不同类型的激活层，Conv是滤波器大小为1×1的卷积运算，代表元素级乘法，代表矩阵相乘；

动态通道注意力模块获得的第三特征图F_dca作为像素注意力模块的输入，经过卷积层、ReLU激活层以及卷积层的处理，将通道信息转换为一维获取空间信息，与输入的第三特征图通过元素级乘法最后得到像素注意力模块的输出，如下式：

，；

其中为动态通道注意力模块的输出。

相对比现有技术，本发明具有以下有益效果：使用学习空间信息重要程度的方式动态聚合空间信息，消减图像存在异常值的影响，提高网络的特征提取能力从而达到较好的去雾效果；本发明可适用于各种场景的遥感图像，解决聚合特征易被图像中特殊点影响的问题，较大幅度提升遥感图像的去雾效果，达到了当前先进水平。

附图说明

图1为本发明具体实施遥感图像去雾的整体网络结构图；

图2为动态特征注意力的网络结构图；

图3为动态池化层的网络结构图；

图4为实验结果图，图4中的a为评价指标对比图像，b为方法四，c为方法六，d为方法五，e为方法一，f为方法二，g为方法三，h为本发明的方法，i为图像输入。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于动态特征注意力网络的遥感图像去雾方法，包括：

S1.采用卷积层进行浅层特征提取；

使用有雾的遥感图像作为网络的输入，通过卷积层进行浅层特征提取，卷积为1×1卷积核，步长为1，将获得的浅层特征送入群结构进行下一步骤的特征提取；

S2.构建动态特征注意力模块；

S3.将S1获取的浅层特征通过卷积层、ReLU激活层，然后与输入浅层特征进行元素相加，再通过一个卷积层得到特征映射F，F∈R^C×H×W，C、H、W分别表示通道、高度、宽度，R为映射索引；

将特征映射作为动态特征注意力模块的输入；

S4.像素注意力模块的输出与S1得到的浅层特征进行元素相加得到一个基本块的输出，组结构包含19个基本块结构，最后一个基本块的输出经过卷积层并与S1的浅层特征进行元素相加通过残差学习得到组结构的输出；

S5.组结构的输出经过两层的卷积层进行特征提取后，与输入图像进行元素相加，通过残差结构将遥感图像中的雾霾去除，获得去雾后的遥感图像；

S6.使用L1损失函数通过最小化误差来优化整体网络，如下式：

；

其中是基本块结构和局部残差的个数，代表地面真实无雾图像，代表经过动态特征注意力网络去雾后的图像。

S2包括：动态特征注意力模块包括动态通道注意力模块和像素注意力模块，动态通道注意力模块采用动态池化层代替最大池化层和平均池化层对空间信息进行动态加权聚合。

S3包括：

学习动态池化矩阵T_d∈R^C×1×1，T_d为动态学习的空间信息特征矩阵，特征映射经过1x1的卷积层由原来的C×HW变为1N，其中N =（H×W），通过形状变换将特征映射变为N×1，通过Sigmoid层为获取得到的空间信息赋予不同的权重信息，将权重与变换形状后的输入特征进行矩阵相乘，得到关注空间信息的通道特征图T_d，获取特征图T_d的过程如下式：

，；

其中Sigmoid为激活层，Conv是滤波器大小为1×1的卷积运算，代表矩阵相乘；

动态池化层通过学习空间信息的重要性来动态聚合全局特征获得第一特征图T_d，第一特征图通过卷积层、ReLU激活层和Sigmoid型激活层得到第二特征图T_D，将T_D按元素相乘的方法与输入特征F相乘，得到加权特征图F_dca∈R^C×H×W，动态特征注意机制的输出如下式：

，；

其中Sigmoid、ReLU为不同类型的激活层，Conv是滤波器大小为1×1的卷积运算，代表元素级乘法，代表矩阵相乘；

动态通道注意力模块获得的第三特征图F_dca作为像素注意力模块的输入，经过卷积层、ReLU激活层以及卷积层的处理，将通道信息转换为一维获取空间信息，与输入的第三特征图通过元素级乘法最后得到像素注意力模块的输出，如下式：

，；

其中为动态通道注意力模块的输出。

本发明整体网络结构如图1所示，本发明中的动态特征注意力网络如图2所示，包含动态通道注意力模块和像素注意力模块。动态通道注意力模块通过学习空间信息的重要程度赋予不同权重从而动态聚合空间信息特征，从而降低图像中存在异常值的影响。此外，加入像素注意力模块，使网络对图像中雾霾部分的像素给与更多的关注度，达到更好的去雾效果。

群结构是由N个基本块结构和局部残差学习组成，其中基本块结构均结合跳跃连接和动态特征注意力模块。在深度学习的网络中，跳跃连接的存在解决了训练过程中的梯度爆炸和梯度消失的问题。

传统的通道注意力通过全局平均池化层或最大池化层来聚合特征信息。使得全局特征非常容易受到异常点的影响，例如存在异常点会影响全局的平均值或者聚合得到的最大值出现在孤立点。因此，全局权重对异常值很敏感易受其影响，特别是在高海拔地区获得的遥感图像由于环境的影响、拍摄距离远，范围广，存在异常值的可能性更高。本发明提出的动态特征注意力模块，使用动态通道注意力动态聚合空间信息特征达到消减异常值影响的效果。

动态特征注意力模块是由动态通道注意力模块和像素注意力模块组成。动态通道注意力模块采用动态池化层代替最大池化层和平均池化层对空间信息进行动态加权聚合，这样减少图像中存在异常值造成全局聚合特征不准确的问题。此外，为了获得更高质量的生成图像，本发明中结合像素注意力来学习不同像素的重要性，并将更多的注意分配给一些关键像素。

动态池化层网络结构如图3所示，其取代全局池化层通过学习空间信息的重要性，并根据空间信息的重要程度赋予不同的权值，从而减少异常值对全局特征的影响。

考虑到雾霾分布不均匀的问题，以及需要增加对一些基本像素的关注，本发明中添加了像素注意力模块，允许网络对于图像中有雾的部分增加更多的关注度。

本发明的实验结果如图4所示，图4中的i为图像的输入，图4中的h为本发明的方法，通过与图4中的a定量对比，本发明提出的方法在PSNR和SSIM两个评估指标上均有所改善。具体来说在PSNR上提高3.48dB，SSIM提高0.03dB。通过定性对比，本发明取得最好的去雾效果，图4中的e、f、g、b去雾后的图像出现局部变暗的现象。图4中的d的模型未将雾霾彻底去除，遥感图像在局部区域仍然存在一定的雾霾。而经过图4中的c的网络处理后的图像出现局部较亮的现象。对比其他去雾方法本发明提出的去雾方法可以将图像中的雾霾去除干净并且恢复清晰的图像。

以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于动态特征注意力网络的遥感图像去雾方法，包括：

S1.采用卷积层进行浅层特征提取；

使用有雾的遥感图像作为网络的输入，通过卷积层进行浅层特征提取，卷积为1×1卷积核，步长为1，将获得的浅层特征送入群结构进行下一步骤的特征提取；

其特征在于，还包括：

S2.构建动态特征注意力模块；

S3.将S1获取的浅层特征通过卷积层、ReLU激活层，然后与输入浅层特征进行元素相加，再通过一个卷积层得到特征映射F，F∈R^C×H×W，C、H、W分别表示通道、高度、宽度，R为映射索引；

将特征映射作为动态特征注意力模块的输入；

S4.像素注意力模块的输出与S1得到的浅层特征进行元素相加得到一个基本块的输出，组结构包含19个基本块结构，最后一个基本块的输出经过卷积层并与S1的浅层特征进行元素相加通过残差学习得到组结构的输出；

S5.组结构的输出经过两层的卷积层进行特征提取后，与输入图像进行元素相加，通过残差结构将遥感图像中的雾霾去除，获得去雾后的遥感图像；

S6.使用L1损失函数通过最小化误差来优化整体网络，如下式：

；

其中是基本块结构和局部残差的个数，代表地面真实无雾图像，代表经过动态特征注意力网络去雾后的图像。

2.根据权利要求1所述的一种基于动态特征注意力网络的遥感图像去雾方法，其特征在于，S2包括：动态特征注意力模块包括动态通道注意力模块和像素注意力模块，动态通道注意力模块采用动态池化层代替最大池化层和平均池化层对空间信息进行动态加权聚合。

3.根据权利要求1所述的一种基于动态特征注意力网络的遥感图像去雾方法，其特征在于，S3包括：

学习动态池化矩阵T_d∈R^C×1×1，T_d为动态学习的空间信息特征矩阵，特征映射经过1x1的卷积层由原来的C×HW变为1N，其中N =（H×W），通过形状变换将特征映射变为N×1，通过Sigmoid层为获取得到的空间信息赋予不同的权重信息，将权重与变换形状后的输入特征进行矩阵相乘，得到关注空间信息的通道特征图T_d，获取特征图T_d的过程如下式：

，；

其中Sigmoid为激活层，Conv是滤波器大小为1×1的卷积运算，代表矩阵相乘；

动态池化层通过学习空间信息的重要性来动态聚合全局特征获得第一特征图T_d，第一特征图通过卷积层、ReLU激活层和Sigmoid型激活层得到第二特征图T_D，将T_D按元素相乘的方法与输入特征F相乘，得到加权特征图F_dca∈R^C×H×W，动态特征注意机制的输出如下式：

，；

其中Sigmoid、ReLU为不同类型的激活层，Conv是滤波器大小为1×1的卷积运算，代表元素级乘法，代表矩阵相乘；

动态通道注意力模块获得的第三特征图F_dca作为像素注意力模块的输入，经过卷积层、ReLU激活层以及卷积层的处理，将通道信息转换为一维获取空间信息，与输入的第三特征图通过元素级乘法最后得到像素注意力模块的输出，如下式：

，；

其中为动态通道注意力模块的输出。

Images