CN116452420A - 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法 - Google Patents

Abstract

本发明公开了一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括输入低空间分辨率的高光谱图像，并按通道进行分组，对已分组的高光谱图像进行浅层特征提取，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化。本发明通过Transformer获取全局信息的能力与CNN获取局部信息的能力，并且在网络中通过单元交互模块融合了全局与局部信息、空间与光谱特征，保留了高光谱完整的光谱和空间特征，获得可靠的高分辨率高光谱图像。

Description

一种基于Transformer与CNN分组融合的高光谱图像超分辨 方法

技术领域

本发明涉及图像超分辨技术领域，具体涉及一种基于Transformer与CNN分组融合的高光谱图像超分辨方法。

背景技术

图像超分辨技术是一种可以从一个或连续观察到的低分辨率图像中，推断出高分辨率图像的技术手段，它是一种不需要硬件修改的后处理技术，因此可以突破成像系统的限制，然而由于成像技术与硬件设施的限制，高光谱成像系统往往受到影响，即图像在真实成像过程，在保证高信噪比的情况下，相对于光谱数量较少的多光谱而言，高光谱的空间分辨率会随着光谱特征的增加将会不可避免的变低，影响图像成像质量，故而进年来，如何获得可靠的高分辨率高光谱图像是本领域的一个非常具有挑战性研究方向。

其中Transformer模型作为一种基于注意力机制的神经网络模型，由于具有提高模型训练速度的有点，目前被广泛的应用于计算机视觉领域，其可对高光谱图像进行超分辨率处理，然而Transformer在输入图像patch化的过程中，图像块内部结构信息将被破坏，而且长程的注意力机制很容易忽略图像的局部特有性质，导致Transformer处理图像超分辨率的效果较差；

而CNN(Convolutional Neural Network)卷积神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)结构和功能的数学模型或计算模型，其具有局部性和平移不变性，可以局部性关注特征图中相邻的点，克服Transformer中图像块内部结构信息将被破坏、很容易忽略图像的局部特有性质的缺点；

故而若是可以尝试将Transformer与CNN进行结合，对图像进行超分辨处理，在保留高光谱图像完整的光谱和空间特征的前提下，能够有效的恢复高光谱图像的空间分辨率与光谱分辨率，提高高光谱图像超分辨的性能，从而获得可靠的高分辨率高光谱图像，很有必要。

因此，发明一种基于Transformer与CNN分组融合的高光谱图像超分辨方法来解决上述问题很有必要。

发明内容

本发明的目的是提供一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，通过利用了Transformer获取全局信息的能力与CNN获取局部信息的能力，并且在网络中通过单元交互模块融合了全局与局部信息、空间与光谱特征，保留了高光谱完整的光谱和空间特征，通过分组融合方式，解决了高光谱图像临近光谱通道相似性、缺失信息的问题，，具有方法科学合理、适用性强和效果佳等优点，从而获得可靠的高分辨率高光谱图像，以解决技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括以下步骤：

步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；

步骤2、对已分组的高光谱图像进行浅层特征提取；

步骤3、将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征；

步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；

步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像；

步骤6、通过对比损失函数对网络进行优化。

优选的，在步骤1中，输入低空间分辨率高光谱图像，并按通道进行分组，具体步骤如下：

1.1、令I_LR代表输入的高光谱图像的尺寸，且

其中，h为高光谱空间的高度，

w为高光谱空间的宽度，

C代表高光谱图像的波段数，即共有C个通道；

1.2、将I_LR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块。

优选的，在步骤2中，对已分组的高光谱图像进行浅层特征提取，具体过程如下：

2.1、将I_group依次输入至3*3卷积中，将通道数由n变为C_mid，通过下述公式计算浅层特征F₀，

其中，Conv(·)为卷积操作；

为I_group中第i组数据。

优选的，在步骤3中，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，具体步骤如下：

3.1、将输入到Transformer与CNN并行网络中；

3.2、按下述公式获取全局信息的深层特征T_DF和局部信息深层特征C_DF：

T₀＝C₀＝F₀

T_i＝MSAM_i(T_i-1+IAU(C_i-1))，i＝1，2...K

C_i＝CBAM_i(C_i-1+IAU(T_i-1))，i＝1，2...K

IAU(·)＝Conv(sigmoid(·))

T_DF＝Conv(T_K)

C_DF＝Conv(C_K)

其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，T_i为TransGroup中每一个block的输出结果；

C_i为CNN Group中每一个block的输出结果；

而Trans Group此处为Transformer模块组，即多尺度注意力模块，

CNN Group为CNN模块组，即卷积注意力模块；

MSAM(·)为多尺度注意力模块，

CBAM(·)为卷积注意力模块，

IAU(·)为合并单元；

3.3、将T_DF和C_DF合并得到深层特征F_DF，公式表达如下：

具体计算公式如下：

F_DF＝Conv(Cat(T_DF，C_DF))。

优选的，在步骤3.2中，按下述公式获取全局信息的深层特征T_DF和局部信息深层特征C_DF，具体如下：

3.2.1、将C_i输入到IAU模块后与T_i相加得到T′_i，将T′_i输入到多尺度Transformer模块，对T′_i分别做2倍和4倍下采样操作，得到将T′_i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果T_i+1，计算公式如下：

T′_i＝T_i+IAU(C_i)

3.2.2、将T_i输入到IAU模块后与C_i相加得到C′_i，输入到CBAM卷积注意力模块，计算公式如下：

C′_i＝C_i+IAU(T_i)

C_i+1＝CBAM(C′_i)。

优选的，在步骤4中，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，具体过程如下：

4.1、将先全部按通道拼接起来得特征F_cat，且/>

4.2、通过卷积将F_cat通道数n降为C_mid，得到F_DF中恢复通道数量的中间特征F′_cat；

4.3、将F′_cat通过反卷积操作将分辨率重建至目标大小；

4.4、将深层特征通过反卷积操作将分辨率重建至目标大小；

其中，为F_DF中第i组特征；

4.5、将F′_cat与计算特征差异，获得区分嵌入；

4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：

F_cat＝Cat(F_DF)

其中，F是一个集合，里面包含每组通过分组融合模块的特征。

优选的，在步骤5中，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化，具体步骤为：

5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像I_RHQ；

5.2、通过最小化l₁像素损失进行优化参数，具体公式如下：

其中，为l₁损失函数公式，

损失计算公式，I_HQ为真实标签，

f(x)、y均为公式中参数，且具体到上述/>与/>公式中，f(x)为I_RHQ，y为I_HQ。

与现有技术相比，本发明的有益效果是：

本发明通过将低空间分辨率高光谱图像按照通道进行分组，在提取浅层特征后，利用Transformer获取了高光谱图像全局信息的深层特征T_DF，通过CNN获取高光谱图像局部信息的深层特征C_DF，进而在合并单元网络中，通过单元交互，即将T_DF和C_DF合并得到高光谱图像全部的深层特征F_DF，以此融合了高光谱图像全局和高光谱图像局部信息、空间以及光谱特征，保留了高光谱图像的完整光谱和空间特征，且通过分组融合模块解决了高光谱图像临近光谱通道相似性、缺失信息的问题，具有方法科学合理、适用性强和效果佳，从而获得可靠的高分辨率高光谱图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的流程框图；

图2为本发明的超分辨结果图像；

图3为本发明的实际高光谱图像。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

本发明提供了如图1-3所示的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括以下步骤：

步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；

进一步的，在上述技术方案中，具体步骤如下：

1.1、令I_LR代表输入的高光谱图像的尺寸，且

其中，h为高光谱空间的高度，

w为高光谱空间的宽度，

C代表高光谱图像的波段数，即共有C个通道；

1.2、将I_LR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块；

在本实施例中，由于高光谱图像有很多个通道，普通自然图像只有R、G、B三个通道，通道之间具有相关性；

因此将输入的高光谱图像按通道进行分组，可以更好的获取光谱通道之间的相关性。

步骤2、对已分组的高光谱图像进行浅层特征提取；

进一步的，在上述技术方案中，将I_group依次输入至3*3卷积中，将通道数由n变为C_min，通过下述公式计算浅层特征F₀，

其中，Conv(·)为卷积操作；

为I_group中第i组数据；

在本实施例中，将分组后的数据经过卷积操作，获取一个浅层特征F₀。这样的特征分辨率更高，包含更多位置、细节信息；

浅层特征具体含义为：提取的特征和输入比较近，包含更多的像素点的信息，一些细粒度的信息是图像的一些颜色、纹理、边缘、棱角信息。

步骤3、将浅层特征分批输入并行网络获取深层特征；

进一步的，在上述技术方案中，具体步骤如下：

3.1、将输入到Transformer与CNN并行网络中；

3.2、按下述公式获取全局信息的深层特征T_DF和局部信息深层特征C_DF：

T₀＝C₀＝F₀

T_i＝MSAM_i(T_i-1+IAU(C_i-1))，i＝1，2...K

C_i＝CBAM_i(C_i-1+IAU(T_i-1))，i＝1，2...K

IAU(·)＝Conv(sigmoid(·))

T_DF＝Conv(T_K)

C_DF＝Conv(C_K)

其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，T_i为TransGroup中每一个block的输出结果；

C_i为CNN Group中每一个block的输出结果；

而Trans Group此处为Transformer模块组，即多尺度注意力模块，

CNN Group为CNN模块组，即卷积注意力模块；

MSAM(·)为多尺度注意力模块，

CBAM(·)为卷积注意力模块，

IAU(·)为合并单元；

且根据上述公式获取T_DF和C_DF的具体过程如下：

3.2.1、将C_i输入到IAU模块后与T_i相加得到T′_i，将T′_i输入到多尺度Transformer模块，对T′_i分别做2倍和4倍下采样操作，得到将T′_i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果T_i+1，计算公式如下：

T′_i＝T_i+IAU(C_i)

3.2.2、将T_i输入到IAU模块后与C_i相加得到C′_i，输入到CBAM卷积注意力模块，计算公式如下：

C′_i＝C_i+IAU(T_i)

C_i+1＝CBAM(C′_i)

3.3、将T_DF和C_DF合并得到深层特征F_DF，公式表达如下：

具体计算公式如下：

F_DF＝Conv(Cat(T_DF，C_DF))。

3.4、将T_i输入到IAU模块后与C_i相加得到C′_i，输入到CBAM卷积注意力模块，计算公式如下：

C′_i＝C_i+IAU(T_i)

C_i+1＝CBAM(C′_i)

3.5、将T_DF和C_DF合并得到计算公式如下：

F_DF＝Conv(Cat(T_DF，C_DF))；

在本实施例中，将浅层特征F₀输入到Trans Group与CNN Group两个分支，可以分别获取全局空间信息和局部空间信息以及光谱相关性特征；

因为Transformer相较于CNN更适合获取全局的信息，CNN由于卷积的限制，只能获取局部信息，因此通过两二者的结合可以有效的获取更加全面的特征信息；这两个分支在内部也会进行信息交互，完成整合。

步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；

进一步的，在上述技术方案中，具体步骤如下：

4.1、将先全部按通道拼接起来得特征F_cat，且/>

4.2、通过卷积将F_cat通道数n降为C_mid，得到F_DF中恢复通道数量的中间特征F′_cat；

4.4、将F′_cat通过反卷积操作将分辨率重建至目标大小；

4.4、将深层特征通过反卷积操作将分辨率重建至目标大小；

其中，为F_DF中第i组特征；

4.6、将F′_cat与计算特征差异，获得区分嵌入；

4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：

F_cat＝Cat(F_DF)

其中，F是一个集合，里面包含每组通过分组融合模块的特征；

在本实施例中，由于将高光谱图像按通道分组，每组分别进行浅层特征与深层特征的提取时，此过程中应顾及相邻光谱通道之间相似性、缺失信息的问题，故增加分组融合模块对深层特征进行处理，防止高光谱图像中有信息丢失。

步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化；

进一步的，在上述技术方案中，具体步骤为：

5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像I_RHQ；

5.2、通过最小化l₁像素损失进行优化参数，具体公式如下：

其中，为l₁损失函数公式，

损失计算公式，I_HQ为真实标签，

f(x)、y均为公式中参数，且具体到上述/>与/>公式中，f(x)为I_RHQ，y为I_HQ；

在本实施例中，损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型；

而由于高光谱图像超分辨模型也为神经网络模型，即重建后的高分辨率高光谱模型也可以通过损失函数来提高模型的性能，因此，该步骤通过损失函数的应用，可以根据模型的参数对进行高分辨率高光谱图像进行优化，从而提高模型的预测性能以及准确度。

综上所述，本发明通过将低空间分辨率高光谱图像按照通道进行分组，在提取浅层特征后，利用Transformer获取了高光谱图像全局信息的深层特征T_DF，通过CNN获取高光谱图像局部信息的深层特征C_DF，进而在合并单元网络中，通过单元交互，即将T_DF和C_DF合并得到高光谱图像全部的深层特征F_DF，以此融合了高光谱图像全局和高光谱图像局部信息、空间以及光谱特征，保留了高光谱图像的完整光谱和空间特征，且通过分组融合模块解决了高光谱图像临近光谱通道相似性、缺失信息的问题，具有方法科学合理、适用性强和效果佳，从而获得可靠的高分辨率高光谱图像。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：包括以下步骤：

步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；

步骤2、对已分组的高光谱图像进行浅层特征提取；

步骤3、将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征；

步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；

步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化。

2.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤1中，输入低空间分辨率高光谱图像，并按通道进行分组，具体步骤如下：

1.1、令I_LR代表输入的高光谱图像的尺寸，且

其中，h为高光谱空间的高度，

w为高光谱空间的宽度，

C代表高光谱图像的波段数，即共有C个通道；

1.2、将I_LR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块。

3.根据权利要求2所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤2中，对已分组的高光谱图像进行浅层特征提取，具体过程如下：

2.1、将I_group依次输入至3*3卷积中，将通道数由n变为C_mid，通过下述公式计算浅层特征F₀，

其中，Conv(·)为卷积操作；

为l_group中第i组数据。

4.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤3中，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，具体步骤如下：

3.1、将输入到Transformer与CNN并行网络中；

3.2、按下述公式获取全局信息的深层特征T_DF和局部信息深层特征C_DF：

T₀＝C₀＝F₀

T_i＝MSAM_i(T_i-1+IAU(C_i-1))，i＝1，2...K

C_i＝CBAM_i(C_i-1+IAU(T_i-1))，i＝1，2...K

IAU(·)＝Conv(sigmoid(·))

T_DF＝Conv(T_K)

C_DF＝Conv(C_K)

其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，T_i为Trans Group中每一个block的输出结果；

C_i为CNN Group中每一个block的输出结果；

而Trans Group此处为Transformer模块组，即多尺度注意力模块，

CNN Group为CNN模块组，即卷积注意力模块；

MSAM(·)为多尺度注意力模块，

CBAM(·)为卷积注意力模块，

IAU(·)为合并单元；

3.3、将T_DF和C_DF合并得到深层特征F_DF，公式表达如下：

具体计算公式如下：

F_DF＝Conv(Cat(T_DF，C_DF))。

5.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤3.2中，按下述公式获取全局信息的深层特征T_DF和局部信息深层特征C_DF，具体过程如下：

3.2.1、将C_i输入到IAU模块后与T_i相加得到T′_i，将T′_i输入到多尺度Transformer模块，对T′_i分别做2倍和4倍下采样操作，得到将T′_i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果T_i+1，计算公式如下：

T′_i＝T_i+IAU(C_i)

3.2.2、将T_i输入到IAU模块后与C_i相加得到C′_i，输入到CBAM卷积注意力模块，计算公式如下：

C′_i＝C_i+IAU(T_i)

C_i+1＝CBAM(C′_i)。

6.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤4中，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，具体过程如下：

4.1、将先全部按通道拼接起来得特征F_cat，且/>

4.2、通过卷积将F_cat通道数n降为C_mid，得到F_DF中恢复通道数量的中间特征F′_cat；

4.2、将F′_cat通过反卷积操作将分辨率重建至目标大小；

4.3、将深层特征通过反卷积操作将分辨率重建至目标大小；

其中，为F_DF中第i组特征；

4.4、将F′_cat与计算特征差异，获得区分嵌入；

4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：

F_cat＝Cat(F_DF)

其中，F是一个集合，里面包含每组通过分组融合模块的特征。

7.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤5中，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化，具体步骤为：

5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像I_RHQ；

5.2、通过最小化l₁像素损失进行优化参数，具体公式如下：

￡＝||I_RHQ-I_HQ||

其中，为l₁损失函数公式，

￡损失计算公式，I_HQ为真实标签，

f(x)、y均为公式中参数，且具体到上述/>与￡公式中，f(x)为I_RHQ，y为I_HQ。