CN117173022A - 基于多路径融合和注意力的遥感图像超分辨率重建方法 - Google Patents

Abstract

一种基于多路径融合和注意力的遥感图像超分辨率重建方法，包括以下步骤：一、对遥感图像进行预处理扩充数据，二、使用单个卷积层对低分辨率遥感图像进行初步特征提取，三、使用级联的多路径融合和通道注意力模块对高频特征信息进行多层级特征提取，四、利用自注意力机制实现空间注意力模块来捕获全局信息，五、利用亚像素卷积实现上采样并且通过单个卷积实现图像重建。本发明使用多路径特征融合，将不同尺度的特征信息结合，更加全面、准确的理解和处理遥感图像；引入空间注意力和通道注意力，解决卷积神经网络不能很好的学习全局特征及对通道不区别对待造成的网络表达能力差的问题；增强重构遥感图像的纹理细节，大大提升遥感图像的视觉效果。

Description

基于多路径融合和注意力的遥感图像超分辨率重建方法

技术领域

本发明涉及一种遥感图像超分辨率重建方法，尤其涉及一种基于多路径融合和注意力的遥感图像超分辨率重建方法。属于图像处理与深度学习技术领域。

背景技术

近年来，随着通信以及遥感摄影测量技术的发展，以城市规划、资源勘探、环境监测和军事目标打击为代表的感知应用成为高精度智能化遥感信息处理的重要任务。然而，在遥感影像的获取过程中，受卫星传输限制和光学设备的欠采样等因素干扰，影像的空间分辨率难以满足后续应用的需求，因此遥感图像的超分辨率研究具有重要意义。图像超分辨率重建是将低分辨率(Low-Resolution，LR)图像转换为高分辨率(High-Resolution，HR)图像的过程。旨在解决因成像设备和成像环境的局限性而引起的成像模糊，成像质量差，感兴趣区域不明显等问题.这种方法不需要太多的硬件资源，而且不会受到任何环境的影响。

算法通常分为传统算法和深度学习算法，目前大多数图像超分辨率重建技术都是基于深度学习的方法进行研究的，2014年，Dong等人首次将深度学习应用于图像超分辨率重建领域，提出了第一个基于卷积神经网络的图像超分辨率重建网络模型SRCNN，该网络模型易于实现，但因层数较少，网络训练能力较弱，导致重建性能较差。因此，Kim等首次将残差网络引入单图像超分辨率重建中，提出了VDSR将网络卷积层的深度逐渐提升，增加了卷积层的感受野，其缺点是随着网络层数的增加，存在梯度消失和网络训练难以收敛。Lim等提出了EDSR(enhanced deep super-resolution network),通过使用全局残差和局部残差来学习图像更多的高频细节特征，降低网络训练难度的同时提升了网络的重建效果。2018年，Zhang等人将注意力机制加入到图像超分辨率重建算法中提出了RCAN(residualchannel attention network),通过学习不同通道的重要性得到权重来自适应地学习更多有用的通道特征，重建出的图像包含更多的纹理信息。2022年zhang等人通过将多个深度残差注意组(DRAG)串联，将输入的浅层低频特征信息传递到每个DRAG的输入处，以此促进整体网络的收敛，尽管这些深度学习算法已经非常成熟，但在图像超分辨重建映射过程中仍存在高频信息提取不充足、重建图像纹理细节缺失等问题。

发明内容

一种基于多路径融合和注意力的遥感图像超分辨率重建方法的提出，使用多路径特征融合，将不同尺度的特征信息结合，可以更加全面，更加准确的理解和处理遥感图像。同时引入空间注意力和通道注意力，作为卷积神经网络的有效补充，解决卷积神经网络不能很好的学习全局特征及对通道不区别对待造成的网络表达能力差的问题。增强重构遥感图像的纹理细节，大大提升遥感图像的视觉效果。

本发明的技术解决方案是这样实现的：

一种基于多路径融合和注意力的遥感图像超分辨率重建方法，包括如下步骤：

步骤一、对遥感图像进行预处理扩充数据，对遥感图像进行数据增强方式进行数据集扩充，进行图像剪裁，图像旋转；

步骤二、使用单个卷积层对低分辨率遥感图像进行初步特征提取，由单个卷积层进行浅层特征提取，公式如下：

x₀＝f(I_LR)＝σ(w*I_LR+b) (1)

式中，f为卷积运算，I_LR为输入的低分辨率图像特征，x₀为浅层特征图，σ代表激活函数，W代表的是第1个卷积的权重和偏移量；

步骤三、使用级联的多路径融合和通道注意力模块对高频特征信息进行多层级特征提取，为了更充分的利用LR图像各层级的特征信息，使用多个RBCA模块作为生成器的细节特征提取模块，多层级特征提取模块由一系列RBCA模块组成，将每一个RBCA的输出特征和浅层特征传输到特征融合层进行特征融合，公式如下：

x_LR＝w*[R₁，R₂，R₃，…，R_n]+b (2)

式中，[R₁，R₂，R₃，…，R_n]代表特征连接操作，x_LR代表深层特征的提取；

RBCA模块是由3个并联的残差模块，一个通道注意力模块组成，使用3个残差块并联提取特征经过concat融合不同的尺寸特征，公式如下：

R_m＝w^l*[Q¹，Q²，Q³]+b^l (3)

式中，[Q1，Q2，Q3]表示3层残差块concat融合操作，变量w^l和b^l表示权重张量和偏移张量，R_m表示对3个残差块提取的特征经过concat融合得到的特征；

其次添加通道注意力模块，强化有用的通道特征，将通道注意力前提取的特征与通道注意力后输出的特征进行局部特征融合，得到该模块的图像特征，公式如下：

R_m+1＝F_CA{(R_m)}+R_m (4)

式中，F_CA表示对所提取的特征进行通道注意力机制操作；

步骤四、利用自注意力机制实现空间注意力模块来捕获全局信息，经过空间注意力模块，通过自注意力机制构成空间注意力模块来捕获全局信息，公式如下：

X_L＝F_SA(R_m+1) (5)

式中，F_SA指对所提取的特征进行空间注意力机制操作；

步骤五、利用亚像素卷积实现上采样并且通过单个卷积实现图像重建，使用亚像素卷积实现遥感图像的上采样，再经卷积层生成最后的重建图像，公式如下：

I_HR＝σ[w*PS(X_L)+b] (6)

式中PS(x)表示亚像素卷积函数，I_HR代表重建出来的遥感图像。

与现有技术相比较，本发明的优点是显而易见的，主要表现在：

1、多层级特征提取模块由一系列RBCA组成，将每一个RBCA的输出特征和浅层特征传输到特征融合层进行特征融合。可以更加充分的利用图像特征信息。同时RBCA模块是是由3个并联的残差模块，一个通道注意力模块组成，使用3个残差块并联提取特征经过concat融合不同的尺寸特征，使用多路径特征融合，将不同尺度的特征信息结合，可以更加全面，更加准确的理解和处理遥感图像；

2、添加通道注意力模块，将通道注意力前提取的特征与通道注意力后输出的特征进行局部特征融合，得到RBCA模块的图像特征，强化有用的通道特征，最后引入空间注意力作为卷积神经网络的有效补充。增强重构遥感图像的纹理细节，大大提升遥感图像的视觉效果。

附图说明

本发明共有附图3幅。

图1是本发明的实验流程图；

图2是本发明的模型结构示意图；

图3是本发明的RBCA模块图。

具体实施方式

如图1、2、3所示的一种基于多路径融合和注意力的遥感图像超分辨率重建方法，包括如下步骤：

步骤一、对遥感图像进行预处理扩充数据，对遥感图像进行数据增强方式进行数据集扩充，进行图像剪裁，图像旋转；

步骤二、使用单个卷积层对低分辨率遥感图像进行初步特征提取，由单个卷积层进行浅层特征提取，公式如下：

x₀＝f(I_LR)＝σ(w*I_LR+b) (1)

式中，f为卷积运算，I_LR为输入的低分辨率图像特征，x₀为浅层特征图，σ代表激活函数，W代表的是第1个卷积的权重和偏移量；

步骤三、使用级联的多路径融合和通道注意力模块对高频特征信息进行多层级特征提取，为了更充分的利用LR图像各层级的特征信息，使用多个RBCA模块作为生成器的细节特征提取模块，多层级特征提取模块由一系列RBCA模块组成，将每一个RBCA的输出特征和浅层特征传输到特征融合层进行特征融合，公式如下：

x_LR＝w*[R₁，R₂，R₃，…，R_n]+b (2)

式中，[R₁，R₂，R₃，…，R_n]代表特征连接操作，x_LR代表深层特征的提取；

RBCA模块是由3个并联的残差模块，一个通道注意力模块组成，使用3个残差块并联提取特征经过concat融合不同的尺寸特征，公式如下：

R_m＝w^l*[Q¹，Q²，Q³]+b^l (3)

式中，[Q1，Q2，Q3]表示3层残差块concat融合操作，变量w^l和b^l表示权重张量和偏移张量，R_m表示对3个残差块提取的特征经过concat融合得到的特征；

其次添加通道注意力模块，强化有用的通道特征，将通道注意力前提取的特征与通道注意力后输出的特征进行局部特征融合，得到该模块的图像特征，公式如下：

R_m+1＝F_CA{(R_m)}+R_m (4)

式中，F_CA表示对所提取的特征进行通道注意力机制操作；

步骤四、利用自注意力机制实现空间注意力模块来捕获全局信息，经过空间注意力模块，通过自注意力机制构成空间注意力模块来捕获全局信息，公式如下：

X_L＝F_SA(R_m+1) (5)

式中，F_SA指对所提取的特征进行空间注意力机制操作；

步骤五、利用亚像素卷积实现上采样并且通过单个卷积实现图像重建，使用亚像素卷积实现遥感图像的上采样，再经卷积层生成最后的重建图像，公式如下：

I_HR＝σ[w*PS(X_L)+b] (6)

式中PS(x)表示亚像素卷积函数，I_HR代表重建出来的遥感图像。

Claims (1)

1.一种基于多路径融合和注意力的遥感图像超分辨率重建方法，其特征在于，包括如下步骤：

步骤一、对遥感图像进行预处理扩充数据，对遥感图像进行数据增强方式进行数据集扩充，进行图像剪裁，图像旋转；

步骤二、使用单个卷积层对低分辨率遥感图像进行初步特征提取，由单个卷积层进行浅层特征提取，公式如下：

x₀＝f(I_LR)＝σ(w*I_LR+b) (1)

式中，f为卷积运算，I_LR为输入的低分辨率图像特征，x₀为浅层特征图，σ代表激活函数，W代表的是第1个卷积的权重和偏移量；

步骤三、使用级联的多路径融合和通道注意力模块对高频特征信息进行多层级特征提取，为了更充分的利用LR图像各层级的特征信息，使用多个RBCA模块作为生成器的细节特征提取模块，多层级特征提取模块由一系列RBCA模块组成，将每一个RBCA的输出特征和浅层特征传输到特征融合层进行特征融合，公式如下：

x_LR＝w*[R₁，R₂，R₃，…，R_n]+b (2)

式中，[R₁，R₂，R₃，…，R_n]代表特征连接操作，x_LR代表深层特征的提取；

RBCA模块是由3个并联的残差模块，一个通道注意力模块组成，使用3个残差块并联提取特征经过concat融合不同的尺寸特征，公式如下：

R_m＝w^l*[Q¹，Q²，Q³]+b^l (3)

式中，[Q1，Q2，Q3]表示3层残差块concat融合操作，变量w^l和b^l表示权重张量和偏移张量，R_m表示对3个残差块提取的特征经过concat融合得到的特征；

其次添加通道注意力模块，强化有用的通道特征，将通道注意力前提取的特征与通道注意力后输出的特征进行局部特征融合，得到该模块的图像特征，公式如下：

R_m+1＝F_CA{(R_m)}+R_m (4)

式中，F_CA表示对所提取的特征进行通道注意力机制操作；

步骤四、利用自注意力机制实现空间注意力模块来捕获全局信息，经过空间注意力模块，通过自注意力机制构成空间注意力模块来捕获全局信息，公式如下：

X_L＝F_SA(R_m+1) (5)

式中，F_SA指对所提取的特征进行空间注意力机制操作；

步骤五、利用亚像素卷积实现上采样并且通过单个卷积实现图像重建，使用亚像素卷积实现遥感图像的上采样，再经卷积层生成最后的重建图像，公式如下：

I_HR＝σ[w*PS(X_L)+b] (6)

式中PS(x)表示亚像素卷积函数，I_HR代表重建出来的遥感图像。