CN116468645B - 一种对抗性高光谱多光谱遥感融合方法 - Google Patents

Abstract

本发明属于图像处理领域，涉及一种对抗性高光谱多光谱遥感融合方法，包括构建训练网络所需数据集，构建生成器网络，基于卷积神经网络结构构建鉴别器网络，对生成器和鉴别器网络进行训练，生成一个充分训练的网络模型，生成同时具有高空间分辨率和高光谱分辨率的遥感图像。本发明的生成器利用细节注入框架进行建模，并通过双分支输入方式分别提取高光谱遥感图像和多光谱遥感图像的特征，然后进行特征融合生成空间残差注入至上采样的高光谱遥感图像得到生成图像，鉴别器采用了纯卷积神经网络架构；本发明提出了一种新的损失函数，以增强图像融合精度；本发明能够有效融合高光谱与多光谱遥感图像的空‑谱信息，得到高分辨率高光谱图像。

Description

一种对抗性高光谱多光谱遥感融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像方法。

背景技术

高光谱和多光谱遥感图像是常用的遥感图像类型，它们可通过不同光谱波段上的反射或辐射特征获取地物信息，实现遥感信息提取及分析。高光谱图像具有细致的光谱信息，可精细分类和识别地物，但空间分辨率往往低于多光谱图像；多光谱图像则光谱信息表达不足，但有高空间分辨率，能更完整描述地物形态和分布。因此，高光谱和多光谱遥感图像可采用融合方法，得到兼具高空间分辨率和细致光谱信息的图像，提高遥感数据的应用价值，并可应用于农业，环境监测，城市规划等领域，提供更准确、全面的信息，为决策提供更好支持。

高光谱与多光谱遥感图像融合分为传统算法和深度学习的算法，其中，传统算法大多依赖先验知识，然而，人为设定的先验表达无法有充分表征融合信息。深度学习是一种基于神经网络的机器学习方法，具有强大非线性建模能力和高层次特征提取能力，相较于传统算法具有更高的融合质量。然而，现有的深度学习融合算法仍面临着一些挑战和不足。例如，现有深度学习得到的融合图像在保留图像的细节及光谱信息方面具有较大提升空间。此外，常采用卷积层感知图像的局部信息，其感受野大小有限，忽略了远程依赖性，导致图像细节和纹理重建不准确。同时，现有损失函数往往只关注图像的像素级的差异，缺乏对空间及光谱信息的考虑，限制了融合效果的提升。

发明内容

本发明的目的就在于针对上述现有技术的不足，提出一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法，该方法结合了内容、空间梯度、光谱梯度和对抗损失的损失函数。

本发明的目的是通过以下技术方案实现的：

一种对抗性高光谱多光谱遥感融合方法，包括以下步骤：

S1、构建训练网络所需数据集，使用原始高光谱图像作为训练标签数据，训练样本中的高光谱图像和多光谱图像分别是以原始高光谱和多光谱图像经过空间降采样生成得到；

S2、基于CNN和Swin Transformer构建生成器网络，利用细节注入框架对生成器建模，生成器包括光谱保持和空间残差提取两个路径；

其中，细节注入框架的公式为：

，式中，F 为融合图像，k为低空间分辨率图像LR对应的通道数，upsample为上采样算子，g_k为注入系 数，为高空间分辨率图像HR的空间信息，Detract为细节提取操作；

S3、基于卷积神经网络结构构建鉴别器网络；

S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络的生成器和鉴别器网络进行训练，训练过程中生成器采用一种结合了内容损失、空间梯度损失、光谱梯度损失和对抗损失的生成器损失函数进行训练，生成一个充分训练的网络模型；

其中，生成器损失函数的表达式为：

，式中，Con_loss为内容损失，Spa_Gradloss为空间梯度损失，Spe_Gradloss为光谱梯度损失，Adv_loss为对抗损失；

S5、将待融合的高光谱与多光谱遥感图像输入至S4步骤中得到的网络模型中，生成同时具有高空间分辨率和高光谱分辨率的遥感图像。

进一步地，步骤S1中，依据Wald协议，采用高斯滤波分别对高光谱图像和多光谱图像进行滤波，继而采用双线性插值法对其进行对应倍数的空间下采样，生成用于训练的样本图像，并采用原始的高光谱图像作为训练的标签图像。

进一步地，步骤S2中，生成器网络的构建，采用了光谱保持和空间残差提取两个路径，光谱保持路径为融合图像提供了光谱信息，其过程为对高光谱图像进行上采样，得到与多光谱相同的空间大小，这个过程对应细节注入框架公式中的upsample(LR)；空间残差路径提取的是高光谱图像和多光谱图像在各个波段中的空间残差信息，对应与注入框架中的g_k·Detract(HR)部分，其中细节注入路径包括浅层特征提取，深层特征提取和特征融合3个模块；最后将两个路径的信息进行相加实现细节信息的注入，进而得到融合图像。

更进一步地，生成器的工作流程如下：

首先将高光谱图像和多光谱图像输入至浅层特征提取模块中，本发明设计了两个卷积层分别提取上采样的高光谱图像和多光谱图像的浅层特征，其目的是采用卷积层有效提取了HSI和MSI的局部信息并将其映射至相同的光谱维度，便于后续的特征提取，且卷积层擅长早期视觉处理，使得优化更为稳定可以得到更优的结果，该过程可以表示为：

,式中，S_HSI,S_MSI分别为提取的高光谱图像和多光谱图像的浅层特征，Conv₃为3×3卷积，其卷积核个数为192。在浅层特征基础上，网络进一步提取高光谱和多光谱图像的深层特征，本发明采用了由SwinTransformer和CNN组成的残差Swin Transformer block （RSTB）作为深层特征提取模块进行深层特征提取，该过程表示为：

，其中,D_HSI,D_MSI分别为提取的HSI和MSI的深层特征；PE表示Patch Embedding操作，其作用是将图像分成多个小块，并将每个小块进行嵌入式编码，从而生成一个向量序列，本质上是对特征图的尺寸进行重塑便于Swin transformer进行特征提取；PU表示Patch Unembed操作，其作用是将经过Patch Embedding编码的图像向量序列还原为原始的图像；RSTB₂表示经过了2个RSTB层；得到深层特征后需将特征进行有效融合。

更进一步地，特征融合的过程为：首先将D_HSI和D_MSI以相加的方式合并，随后融合合并的特征得到上采样的高光谱图像与融合图像的空间细节残差，最后将其注入至光谱保持路径输出的上采样的高光谱图像中，得到融合图像，这个过程表示为：

，其中，Sdr特征融合模块输出的空间细节残差，F为生成器生成的融合图像。

更进一步地，所述RSTB包括6个Swin Transformer Layer (STL)和3×3卷积层构成，通过STL提取深层次特征，经3×3卷积层增强网络平移不变性，并采用跳跃连接增强特征提取能力。因RSTB同时使用了STL和卷积层提取特征，其即可以同时感知特征的局部及全局信息，RSTB计算公式如下：

，其中，F_i为经过了i个STL输出的特征，F_STL为STL特征提取操作，F_RSTB为RSTB的输出。

更进一步地，所述STL采用了基于窗口的自注意力机制将输入序列分成若干个相同大小的窗口，然后在各个窗口内进行多头自注意力计算，以获取窗口内元素之间的内在联系，多头自注意力计算为：

，其中，X为局部窗口特征，Q,K,V分别为X衍生出的query,key,value矩阵，W_Q,W_K,W_V分别为在 不同窗口共享的投影矩阵，P为可学习的相对位置编码，d是特征图的尺寸，Attention_i为第 i个头的计算的注意力，Concat为拼接操作，为用于特征聚合的映射矩 阵。

更进一步地，为提高模型的性能，每个窗口内还进行了步长为窗口大小一半的平移操作，以增加窗口之间的重叠部分，从而增强了模型的感受野和上下文信息的利用效率；这种操作对于图像融合来说可以增强窗口边界的像素感知，从而提高模型的准确性，SwinTransformer的计算表示为：

，其中，Z^l﹣1为输入的特征，Z^l为输出的特征。

进一步地，步骤S3，鉴别器网络结构使用卷积层、LeakyReLU激活层，归一化层和Sigmoid层。

进一步地，步骤S4中，内容损失的表达式为：

,其中，Gen为生成器生成的图像，Real为真实图像，N为像素总数，H,W,B为图像的高度，宽度和波段数。

空间梯度损失函数的表达式为：

,其中，▽_x,▽_y分别为水平和竖直梯度算子。

光谱梯度损失函数的表达式为：,其中，▽_z为光谱梯度算子。

对抗损失函数的表达式为：,其中，为 生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数。

鉴别器损失函数的表达式为：。

与现有技术相比，本发明的有益效果在于：

1、网络的生成器在细节注入框架下构建，使得生成器网络具有一定的可解释性；

2、网络采用了Swin Transformer与CNN网络相结合的方式，能够同时感知图像的全局和局部信息；

3、所提出的损失函数不仅关注图像的像素级差异，而且引入了空间和光谱梯度损失，使得损失函数增强了对空间和光谱的约束，提升了融合图像的质量；

4、相较于以往的深度学习算法，本发明具有更强的学习能力，在少量训练情况下即可达到较高的融合精度。

附图说明

图1为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的流程图；

图2为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的生成器网络图；

图3为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的鉴别器网络图；

图4为本发明所用的RSTB和STL结构图；

图5为本发明与当前流行的高光谱与多光谱遥感图像融合算法在Hyperion传感器下的融合结果对比图；

图6为本发明与当前流行的基于深度学习的高光谱与多光谱遥感图像融合算法在四种不同传感器下的训练过程中在验证集下的精度图；

图7为本发明与当前流行的高光谱与多光谱遥感图像融合算法在四种不同传感器下的融合结果的光谱曲线对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

高光谱遥感图像与多光谱遥感图像融合是提升数据分辨率的重要手段之一。然而，现有的融合算法在空间和光谱重建能力方面仍有提升的空间。

如图1所示，一种对抗性高光谱多光谱遥感融合方法，包括下述步骤：

S1、考虑到现实世界中不存在融合图像作为训练样本，本发明遵循Wald 协议构建训练网络所需的数据集，即使用原始高光谱图像作为训练标签数据，训练样本中的高光谱图像和多光谱图像分别为原始高光谱和多光谱图像经过空间降采样生成得到；

S2、采用Adam优化算法训练基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合网络，得到充分训练后的网络模型。

其中，如图2所示，网络的生成器采用了双分支的方式提取HSI和MSI的浅层和深层特征，然后对特征进行合并与融合。该网络包括光谱保持和空间残差提取两个路径，其中光谱保持路径的过程为对高光谱图像进行上采样，使其与多光谱图像具有相同的空间大小；残差提取两个路径包括浅层特征提取，深层特征提取和特征融合3个模块。浅层特征提取模块采用两个卷积层分别提取高光谱与多光谱遥感图像的浅层特征，深层特征提取模块采用两个RSTB模块分别提取高光谱与多光谱图像的深层特征，特征融合模块首先将深层特征以相加的方式进行合并，然后，利用6个RSTB模块进行特征融合生成上采样的高光谱图像与融合图像的空空间细节残差，最后，将其注入至光谱保持路径输出的上采样的高光谱图像中，得到生成的融合图像。

S3、鉴别器的网络如图3所示，鉴别器以CNN为骨干，包含11层，第一层是与非线性激活函数组合的卷积层，并且接下来的八层中的每一层都包括卷积和批量标准化(BN)层。后两层是全连接，所有卷积核都是3×3。

S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络进行训练，训练过程中采用一种结合了内容、空间梯度、光谱梯度和对抗损失函数进行训练，生成一个充分训练的网络模型；

其中，生成器损失函数的表达式为：，式中，Con_loss为内容损失，Spa_Gradloss为空间梯度损失，Spe_Gradloss为光谱梯度损失，Adv_loss为对抗损失。

内容损失的表达式为：

,其中，Gen为生成器生成的图像，Real为真实图像，N为像素总数，H,W,B为图像的高度，宽度和波段数。

空间梯度损失函数的表达式为：

,其中，▽_x,▽_y分别为水平和竖直梯度算子。

光谱梯度损失函数的表达式为：,其中，▽_z为光谱梯度算子。

对抗损失函数的表达式为：,其中， 为生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数。

鉴别器损失函数的表达式为：。

S5、将待融合的高光谱与多光谱遥感图像输入训练后的网络，得到具有高空间和高光谱分辨率的图像。

为评估本发明的融合能力，选择了Hyperion传感器的图像作为实验数据集，并结合了当前流行的高光谱与多光谱遥感图像的融合算法进行了对比。其中GSA、CNMF、FUSE和Hysure是基于传统的算法，SSRNET、TFNet、ResTFNet和MSDCNN为对比的深度学习算法，实验结果如图5所示，其中REF代表参考图像，图5中的第二行为SAM热力图，第三行为平均相对绝对误差热力图，热力图的颜色越浅说明融合结果月接近于参考图像，即结果越好，可以看出本发明的融合结果在视觉上取得了最好的结果。同时该实验的定量评价如表1.其中除PSNR指标的值越大表示结果越好外，其他指标的值均越小越好，从定量评价结果也表明本发明的融合质量最优。

表1 不同算法的融合结果的定量评价

为评价本发明的学习能力，在图6中展示了本发明与其他流行的高光谱与多光谱融合的深度学习算法在Hyperion传感器数据集上的训练曲线，可以看出本发明在较小的迭代次数中便达到了较高的指标，说明本发明的学习能力优于对比的深度学习融合方法。

为验证本发明生成的融合图像的光谱准确性，图7中展示了本发明与其他对比的流行算法融合结果各波段反射率，可以看出本发明的光谱曲线最接近于参考的光谱曲线，说明本发明具有更好的光谱重建能力。

为评估本发明提出的新损失函数的各组成成分的合理性，以由内容损失和对抗损失为基础并加入了光谱和空间梯度损失。实验结果定量评价见表2，其中仅使用内容和对抗损失的融合精度排名最后。通过增加光谱梯度损失，融合精度略有提升，说明该约束能够增强融合质量。而内容损失和对抗损失结合空间梯度损失所得到的效果提升更为明显，说明空间梯度约束的改善效果更为显著。而将内容、光谱梯度和空间梯度结合的方式所得到的融合质量最优，说明本发明提出的损失函数融合表现更佳且各部分均有助于提升图像融合的质量。

此外，在本发明损失函数基础上删除了对抗损失，这意味着网络的训练不再采用对抗训练方式，其融合结果相较于使用对抗训练的方式表现略差，说明生成对抗网络相较于传统深度学习训练可以更好地学习到图像的高阶特征，有助于提高图像的融合质量。

表2 不同损失函数的定量评价

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (1)

1.一种对抗性高光谱多光谱遥感融合方法，其特征在于，包括以下步骤：

S1、构建训练网络所需数据集，使用原始高光谱图像作为训练标签数据，训练样本中的高光谱图像和多光谱图像分别是以原始高光谱和多光谱图像经过空间降采样生成得到；

依据Wald协议，采用高斯滤波分别对高光谱图像和多光谱图像进行滤波，继而采用双线性插值法对其进行对应倍数的空间下采样，生成用于训练的样本图像，并采用原始的高光谱图像作为训练的标签图像；

S2、基于CNN和Swin Transformer构建生成器网络，利用细节注入框架对生成器建模，生成器包括光谱保持和空间残差提取两个路径；

其中，细节注入框架的公式为：

F_k＝upsample(LR)+g_k·δ＝upsample(LR)+g_k·Detract(HR)

式中，F为融合图像，k为低空间分辨率图像LR对应的通道数，upsample为上采样算子，g_k为注入系数，δ为高空间分辨率图像HR的空间信息，Detract为细节提取操作；

生成器网络的构建，采用了光谱保持和空间残差提取两个路径，光谱保持路径为融合图像提供了光谱信息，其过程为对高光谱图像进行上采样，得到与多光谱相同的空间大小，这个过程对应细节注入框架公式中的upsample(LR)；空间残差路径提取的是高光谱图像和多光谱图像在各个波段中的空间残差信息，对应与注入框架中的g_k·Detract(HR)部分，其中细节注入路径包括浅层特征提取，深层特征提取和特征融合3个模块；最后将两个路径的信息进行相加实现细节信息的注入，进而得到融合图像；

生成器的工作流程如下：

将高光谱图像和多光谱图像输入至浅层特征提取模块中，采用两个卷积层分别提取上采样的高光谱图像和多光谱图像的浅层特征，该过程可以表示为：

{S_HSI,S_MSI}＝{Conv₃(upsample(HSI)),Conv₃(MSI)}

式中，S_HSI,S_MSI分别为提取的高光谱图像和多光谱图像的浅层特征，Conv₃为3×3卷积，其卷积核个数为192；

在浅层特征基础上，网络进一步提取高光谱和多光谱图像的深层特征，采用由SwinTransformer和CNN组成的残差RSTB作为深层特征提取模块进行深层特征提取，该过程表示为：

{D_HSI,D_MSI}＝{S_HSI+Conv₃(PU(RSTB₂(PE(S_HSI)))),S_MSI+Conv₃(PU(RSTB₂(PE(S_MSI))))}

其中，D_HSI,D_MSI分别为提取的HSI和MSI的深层特征；PE表示Patch Embedding操作，其作用是将图像分成多个小块，并将每个小块进行嵌入式编码，从而生成一个向量序列，本质上是对特征图的尺寸进行重塑便于Swin transformer进行特征提取；PU表示Patch Unembed操作，其作用是将经过Patch Embedding编码的图像向量序列还原为原始的图像；RSTB₂表示经过了2个RSTB层；得到深层特征后需将特征进行有效融合；

特征融合的过程为：首先，将D_HSI和D_MSI以相加的方式合并，随后，融合合并的特征得到上采样的高光谱图像与融合图像的空间细节残差，最后，将其注入至光谱保持路径输出的上采样的HSI中，得到融合图像，这个过程表示为：

Sdr＝(D_HSI+D_MSI)+Conv₃(PU(RSTB₆(PE(D_HSI+D_MSI))))

F＝Sdr+upsample(HSI)

其中，Sdr特征融合模块输出的空间细节残差，F为生成器生成的融合图像；

所述RSTB包括6个STL和3×3卷积层构成，通过STL提取深层次特征，经3×3卷积层增强网络平移不变性，并采用跳跃连接方式，RSTB同时使用了STL和卷积层提取特征，能同时感知特征的局部及全局信息，RSTB计算公式如下：

F_RSTB＝PE(Conv₃(PU(F_L)))+F₀

其中，F_i为经过了i个STL输出的特征，F_STL为STL特征提取操作，F_RSTB为RSTB的输出；

所述STL采用了基于窗口的自注意力机制将输入序列分成若干个相同大小的窗口，然后在各个窗口内进行多头自注意力计算，以获取窗口内元素之间的内在联系，多头自注意力计算为：

{Q,K,V}＝{XW_Q,XW_K,XW_V}

MSA(X)＝Concat(Attention₁(X),Attention₂(X),…,Attention_h(X))U_msa

其中，X为局部窗口特征，Q,K,V分别为X衍生出的query,key,value矩阵，W_Q,W_K,W_V分别为在不同窗口共享的投影矩阵，P为可学习的相对位置编码，d是特征图的尺寸，Attention_i为第i个头的计算的注意力，Concat为拼接操作，为用于特征聚合的映射矩阵；

每个窗口内还进行了步长为窗口大小一半的平移操作，以增加窗口之间的重叠部分，Swin Transformer的计算表示为：

其中，Z^l-1为输入的特征，Z^l为输出的特征；

S3、基于卷积神经网络结构构建鉴别器网络；鉴别器网络结构使用卷积层、LeakyReLU激活层，归一化层和Sigmoid层；

S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络的生成器和鉴别器网络进行交替训练，训练过程中生成器采用一种结合了内容损失、空间梯度损失、光谱梯度损失和对抗损失的生产器损失函数进行训练，生成一个充分训练的网络模型；

其中，生成器损失函数的表达式为：

Loss_Gen＝Con_loss+Spa_Gradloss+Spe_Gradloss+Adv_loss

式中，Con_loss为内容损失，Spa_Gradloss为空间梯度损失，Spe_Gradloss为光谱梯度损失，Adv_loss为对抗损失；

内容损失的表达式为：

其中，Gen为生成器生成的图像，Real为真实图像，N为像素总数，H,W,B为图像的高度，宽度和波段数；

空间梯度损失函数的表达式为：

其中，分别为水平和竖直梯度算子；

光谱梯度损失函数的表达式为：

其中，为光谱梯度算子；

对抗损失函数的表达式为：

其中，为生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数；

鉴别器损失函数的表达式为：

S5、将待融合的高光谱与多光谱遥感图像输入至S4步骤中得到的网络模型中，生成同时具有高空间分辨率和高光谱分辨率的遥感图像。