CN116452420A - 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法 - Google Patents

一种基于Transformer与CNN分组融合的高光谱图像超分辨方法 Download PDF

Info

Publication number
CN116452420A
CN116452420A CN202310381242.9A CN202310381242A CN116452420A CN 116452420 A CN116452420 A CN 116452420A CN 202310381242 A CN202310381242 A CN 202310381242A CN 116452420 A CN116452420 A CN 116452420A
Authority
CN
China
Prior art keywords
group
resolution
cnn
hyperspectral
transducer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310381242.9A
Other languages
English (en)
Other versions
CN116452420B (zh
Inventor
詹天明
徐辉
徐超
徐洋
吴泽彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING AUDIT UNIVERSITY
Original Assignee
NANJING AUDIT UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING AUDIT UNIVERSITY filed Critical NANJING AUDIT UNIVERSITY
Priority to CN202310381242.9A priority Critical patent/CN116452420B/zh
Publication of CN116452420A publication Critical patent/CN116452420A/zh
Application granted granted Critical
Publication of CN116452420B publication Critical patent/CN116452420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括输入低空间分辨率的高光谱图像，并按通道进行分组，对已分组的高光谱图像进行浅层特征提取，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化。本发明通过Transformer获取全局信息的能力与CNN获取局部信息的能力，并且在网络中通过单元交互模块融合了全局与局部信息、空间与光谱特征，保留了高光谱完整的光谱和空间特征，获得可靠的高分辨率高光谱图像。

Description

一种基于Transformer与CNN分组融合的高光谱图像超分辨 方法
技术领域
本发明涉及图像超分辨技术领域，具体涉及一种基于Transformer与CNN分组融合的高光谱图像超分辨方法。
背景技术
图像超分辨技术是一种可以从一个或连续观察到的低分辨率图像中，推断出高分辨率图像的技术手段，它是一种不需要硬件修改的后处理技术，因此可以突破成像系统的限制，然而由于成像技术与硬件设施的限制，高光谱成像系统往往受到影响，即图像在真实成像过程，在保证高信噪比的情况下，相对于光谱数量较少的多光谱而言，高光谱的空间分辨率会随着光谱特征的增加将会不可避免的变低，影响图像成像质量，故而进年来，如何获得可靠的高分辨率高光谱图像是本领域的一个非常具有挑战性研究方向。
其中Transformer模型作为一种基于注意力机制的神经网络模型，由于具有提高模型训练速度的有点，目前被广泛的应用于计算机视觉领域，其可对高光谱图像进行超分辨率处理，然而Transformer在输入图像patch化的过程中，图像块内部结构信息将被破坏，而且长程的注意力机制很容易忽略图像的局部特有性质，导致Transformer处理图像超分辨率的效果较差；
而CNN(Convolutional Neural Network)卷积神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)结构和功能的数学模型或计算模型，其具有局部性和平移不变性，可以局部性关注特征图中相邻的点，克服Transformer中图像块内部结构信息将被破坏、很容易忽略图像的局部特有性质的缺点；
故而若是可以尝试将Transformer与CNN进行结合，对图像进行超分辨处理，在保留高光谱图像完整的光谱和空间特征的前提下，能够有效的恢复高光谱图像的空间分辨率与光谱分辨率，提高高光谱图像超分辨的性能，从而获得可靠的高分辨率高光谱图像，很有必要。
因此，发明一种基于Transformer与CNN分组融合的高光谱图像超分辨方法来解决上述问题很有必要。
发明内容
本发明的目的是提供一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，通过利用了Transformer获取全局信息的能力与CNN获取局部信息的能力，并且在网络中通过单元交互模块融合了全局与局部信息、空间与光谱特征，保留了高光谱完整的光谱和空间特征，通过分组融合方式，解决了高光谱图像临近光谱通道相似性、缺失信息的问题，，具有方法科学合理、适用性强和效果佳等优点，从而获得可靠的高分辨率高光谱图像，以解决技术中的上述不足之处。
为了实现上述目的，本发明提供如下技术方案：一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括以下步骤：
步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；
步骤2、对已分组的高光谱图像进行浅层特征提取；
步骤3、将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征；
步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；
步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像；
步骤6、通过对比损失函数对网络进行优化。
优选的，在步骤1中，输入低空间分辨率高光谱图像，并按通道进行分组，具体步骤如下：
1.1、令ILR代表输入的高光谱图像的尺寸，且
其中，h为高光谱空间的高度，
w为高光谱空间的宽度，
C代表高光谱图像的波段数，即共有C个通道；
1.2、将ILR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块。
优选的，在步骤2中，对已分组的高光谱图像进行浅层特征提取，具体过程如下：
2.1、将Igroup依次输入至3*3卷积中，将通道数由n变为Cmid，通过下述公式计算浅层特征F0，
其中，Conv(·)为卷积操作；
为Igroup中第i组数据。
优选的，在步骤3中，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，具体步骤如下：
3.1、将输入到Transformer与CNN并行网络中；
3.2、按下述公式获取全局信息的深层特征TDF和局部信息深层特征CDF：
T0＝C0＝F0
Ti＝MSAMi(Ti-1+IAU(Ci-1))，i＝1，2...K
Ci＝CBAMi(Ci-1+IAU(Ti-1))，i＝1，2...K
IAU(·)＝Conv(sigmoid(·))
TDF＝Conv(TK)
CDF＝Conv(CK)
其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，Ti为TransGroup中每一个block的输出结果；
Ci为CNN Group中每一个block的输出结果；
而Trans Group此处为Transformer模块组，即多尺度注意力模块，
CNN Group为CNN模块组，即卷积注意力模块；
MSAM(·)为多尺度注意力模块，
CBAM(·)为卷积注意力模块，
IAU(·)为合并单元；
3.3、将TDF和CDF合并得到深层特征FDF，公式表达如下：
具体计算公式如下：
FDF＝Conv(Cat(TDF，CDF))。
优选的，在步骤3.2中，按下述公式获取全局信息的深层特征TDF和局部信息深层特征CDF，具体如下：
3.2.1、将Ci输入到IAU模块后与Ti相加得到T′i，将T′i输入到多尺度Transformer模块，对T′i分别做2倍和4倍下采样操作，得到将T′i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果Ti+1，计算公式如下：
T′i＝Ti+IAU(Ci)
3.2.2、将Ti输入到IAU模块后与Ci相加得到C′i，输入到CBAM卷积注意力模块，计算公式如下：
C′i＝Ci+IAU(Ti)
Ci+1＝CBAM(C′i)。
优选的，在步骤4中，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，具体过程如下：
4.1、将先全部按通道拼接起来得特征Fcat，且/>
4.2、通过卷积将Fcat通道数n降为Cmid，得到FDF中恢复通道数量的中间特征F′cat；
4.3、将F′cat通过反卷积操作将分辨率重建至目标大小；
4.4、将深层特征通过反卷积操作将分辨率重建至目标大小；
其中，为FDF中第i组特征；
4.5、将F′cat与计算特征差异，获得区分嵌入；
4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：
Fcat＝Cat(FDF)
其中，F是一个集合，里面包含每组通过分组融合模块的特征。
优选的，在步骤5中，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化，具体步骤为：
5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像IRHQ；
5.2、通过最小化l1像素损失进行优化参数，具体公式如下：
其中，为l1损失函数公式，
损失计算公式，IHQ为真实标签，
f(x)、y均为公式中参数，且具体到上述/>与/>公式中，f(x)为IRHQ，y为IHQ。
与现有技术相比，本发明的有益效果是：
本发明通过将低空间分辨率高光谱图像按照通道进行分组，在提取浅层特征后，利用Transformer获取了高光谱图像全局信息的深层特征TDF，通过CNN获取高光谱图像局部信息的深层特征CDF，进而在合并单元网络中，通过单元交互，即将TDF和CDF合并得到高光谱图像全部的深层特征FDF，以此融合了高光谱图像全局和高光谱图像局部信息、空间以及光谱特征，保留了高光谱图像的完整光谱和空间特征，且通过分组融合模块解决了高光谱图像临近光谱通道相似性、缺失信息的问题，具有方法科学合理、适用性强和效果佳，从而获得可靠的高分辨率高光谱图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的流程框图；
图2为本发明的超分辨结果图像；
图3为本发明的实际高光谱图像。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
本发明提供了如图1-3所示的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，包括以下步骤：
步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；
进一步的，在上述技术方案中，具体步骤如下：
1.1、令ILR代表输入的高光谱图像的尺寸，且
其中，h为高光谱空间的高度，
w为高光谱空间的宽度，
C代表高光谱图像的波段数，即共有C个通道；
1.2、将ILR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块；
在本实施例中，由于高光谱图像有很多个通道，普通自然图像只有R、G、B三个通道，通道之间具有相关性；
因此将输入的高光谱图像按通道进行分组，可以更好的获取光谱通道之间的相关性。
步骤2、对已分组的高光谱图像进行浅层特征提取；
进一步的，在上述技术方案中，将Igroup依次输入至3*3卷积中，将通道数由n变为Cmin，通过下述公式计算浅层特征F0，
其中，Conv(·)为卷积操作；
为Igroup中第i组数据；
在本实施例中，将分组后的数据经过卷积操作，获取一个浅层特征F0。这样的特征分辨率更高，包含更多位置、细节信息；
浅层特征具体含义为：提取的特征和输入比较近，包含更多的像素点的信息，一些细粒度的信息是图像的一些颜色、纹理、边缘、棱角信息。
步骤3、将浅层特征分批输入并行网络获取深层特征；
进一步的，在上述技术方案中，具体步骤如下：
3.1、将输入到Transformer与CNN并行网络中；
3.2、按下述公式获取全局信息的深层特征TDF和局部信息深层特征CDF：
T0＝C0＝F0
Ti＝MSAMi(Ti-1+IAU(Ci-1))，i＝1，2...K
Ci＝CBAMi(Ci-1+IAU(Ti-1))，i＝1，2...K
IAU(·)＝Conv(sigmoid(·))
TDF＝Conv(TK)
CDF＝Conv(CK)
其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，Ti为TransGroup中每一个block的输出结果；
Ci为CNN Group中每一个block的输出结果；
而Trans Group此处为Transformer模块组，即多尺度注意力模块，
CNN Group为CNN模块组，即卷积注意力模块；
MSAM(·)为多尺度注意力模块，
CBAM(·)为卷积注意力模块，
IAU(·)为合并单元；
且根据上述公式获取TDF和CDF的具体过程如下：
3.2.1、将Ci输入到IAU模块后与Ti相加得到T′i，将T′i输入到多尺度Transformer模块，对T′i分别做2倍和4倍下采样操作，得到将T′i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果Ti+1，计算公式如下：
T′i＝Ti+IAU(Ci)
3.2.2、将Ti输入到IAU模块后与Ci相加得到C′i，输入到CBAM卷积注意力模块，计算公式如下：
C′i＝Ci+IAU(Ti)
Ci+1＝CBAM(C′i)
3.3、将TDF和CDF合并得到深层特征FDF，公式表达如下：
具体计算公式如下：
FDF＝Conv(Cat(TDF，CDF))。
3.4、将Ti输入到IAU模块后与Ci相加得到C′i，输入到CBAM卷积注意力模块，计算公式如下：
C′i＝Ci+IAU(Ti)
Ci+1＝CBAM(C′i)
3.5、将TDF和CDF合并得到计算公式如下：
FDF＝Conv(Cat(TDF，CDF))；
在本实施例中，将浅层特征F0输入到Trans Group与CNN Group两个分支，可以分别获取全局空间信息和局部空间信息以及光谱相关性特征；
因为Transformer相较于CNN更适合获取全局的信息，CNN由于卷积的限制，只能获取局部信息，因此通过两二者的结合可以有效的获取更加全面的特征信息；这两个分支在内部也会进行信息交互，完成整合。
步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；
进一步的，在上述技术方案中，具体步骤如下：
4.1、将先全部按通道拼接起来得特征Fcat，且/>
4.2、通过卷积将Fcat通道数n降为Cmid，得到FDF中恢复通道数量的中间特征F′cat；
4.4、将F′cat通过反卷积操作将分辨率重建至目标大小；
4.4、将深层特征通过反卷积操作将分辨率重建至目标大小；
其中，为FDF中第i组特征；
4.6、将F′cat与计算特征差异，获得区分嵌入；
4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：
Fcat＝Cat(FDF)
其中，F是一个集合，里面包含每组通过分组融合模块的特征；
在本实施例中，由于将高光谱图像按通道分组，每组分别进行浅层特征与深层特征的提取时，此过程中应顾及相邻光谱通道之间相似性、缺失信息的问题，故增加分组融合模块对深层特征进行处理，防止高光谱图像中有信息丢失。
步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化；
进一步的，在上述技术方案中，具体步骤为：
5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像IRHQ；
5.2、通过最小化l1像素损失进行优化参数，具体公式如下：
其中，为l1损失函数公式，
损失计算公式，IHQ为真实标签，
f(x)、y均为公式中参数，且具体到上述/>与/>公式中，f(x)为IRHQ，y为IHQ；
在本实施例中，损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型；
而由于高光谱图像超分辨模型也为神经网络模型，即重建后的高分辨率高光谱模型也可以通过损失函数来提高模型的性能，因此，该步骤通过损失函数的应用，可以根据模型的参数对进行高分辨率高光谱图像进行优化，从而提高模型的预测性能以及准确度。
综上所述，本发明通过将低空间分辨率高光谱图像按照通道进行分组，在提取浅层特征后，利用Transformer获取了高光谱图像全局信息的深层特征TDF，通过CNN获取高光谱图像局部信息的深层特征CDF，进而在合并单元网络中，通过单元交互，即将TDF和CDF合并得到高光谱图像全部的深层特征FDF，以此融合了高光谱图像全局和高光谱图像局部信息、空间以及光谱特征，保留了高光谱图像的完整光谱和空间特征，且通过分组融合模块解决了高光谱图像临近光谱通道相似性、缺失信息的问题，具有方法科学合理、适用性强和效果佳，从而获得可靠的高分辨率高光谱图像。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：包括以下步骤：
步骤1、输入低空间分辨率的高光谱图像，并按通道进行分组；
步骤2、对已分组的高光谱图像进行浅层特征提取；
步骤3、将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征；
步骤4、将深层特征输入分组融合模块获取丢失信息并恢复分辨率；
步骤5、将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化。
2.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤1中，输入低空间分辨率高光谱图像，并按通道进行分组，具体步骤如下：
1.1、令ILR代表输入的高光谱图像的尺寸，且
其中，h为高光谱空间的高度，
w为高光谱空间的宽度，
C代表高光谱图像的波段数，即共有C个通道；
1.2、将ILR按通道数量分成G组，其中每组含有n个通道，每组有m个重叠通道，分组结果表示为：其中，i为第i个多尺度注意力模块。
3.根据权利要求2所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤2中，对已分组的高光谱图像进行浅层特征提取，具体过程如下：
2.1、将Igroup依次输入至3*3卷积中，将通道数由n变为Cmid，通过下述公式计算浅层特征F0，
其中，Conv(·)为卷积操作；
为lgroup中第i组数据。
4.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤3中，将浅层特征分批输入Transformer和CNN的并行网络中获取深层特征，具体步骤如下：
3.1、将输入到Transformer与CNN并行网络中；
3.2、按下述公式获取全局信息的深层特征TDF和局部信息深层特征CDF：
T0＝C0＝F0
Ti＝MSAMi(Ti-1+IAU(Ci-1))，i＝1，2...K
Ci＝CBAMi(Ci-1+IAU(Ti-1))，i＝1，2...K
IAU(·)＝Conv(sigmoid(·))
TDF＝Conv(TK)
CDF＝Conv(CK)
其中，由于Trans Group与CNN Group中均包括K个重复的block，因此，Ti为Trans Group中每一个block的输出结果；
Ci为CNN Group中每一个block的输出结果；
而Trans Group此处为Transformer模块组，即多尺度注意力模块，
CNN Group为CNN模块组，即卷积注意力模块；
MSAM(·)为多尺度注意力模块，
CBAM(·)为卷积注意力模块，
IAU(·)为合并单元；
3.3、将TDF和CDF合并得到深层特征FDF，公式表达如下：
具体计算公式如下：
FDF＝Conv(Cat(TDF，CDF))。
5.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤3.2中，按下述公式获取全局信息的深层特征TDF和局部信息深层特征CDF，具体过程如下：
3.2.1、将Ci输入到IAU模块后与Ti相加得到T′i，将T′i输入到多尺度Transformer模块，对T′i分别做2倍和4倍下采样操作，得到将T′i、/>分别输入到滑动窗口自注意力模块，得到/>将/>分别进行2倍和4倍上采样，恢复空间分辨率得到/>最后将结果相加，经过归一化与全连接层得到中间结果Ti+1，计算公式如下：
T′i＝Ti+IAU(Ci)
3.2.2、将Ti输入到IAU模块后与Ci相加得到C′i，输入到CBAM卷积注意力模块，计算公式如下：
C′i＝Ci+IAU(Ti)
Ci+1＝CBAM(C′i)。
6.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤4中，将深层特征输入分组融合模块获取丢失信息并恢复分辨率，具体过程如下：
4.1、将先全部按通道拼接起来得特征Fcat，且/>
4.2、通过卷积将Fcat通道数n降为Cmid，得到FDF中恢复通道数量的中间特征F′cat；
4.2、将F′cat通过反卷积操作将分辨率重建至目标大小；
4.3、将深层特征通过反卷积操作将分辨率重建至目标大小；
其中，为FDF中第i组特征；
4.4、将F′cat与计算特征差异，获得区分嵌入；
4.6、将区分嵌入与目标图像组融合，并经过卷积将通道恢复为n，得到每组通过分组融合模块后的特征F，计算公式如下：
Fcat＝Cat(FDF)
其中，F是一个集合，里面包含每组通过分组融合模块的特征。
7.根据权利要求1所述的一种基于Transformer与CNN分组融合的高光谱图像超分辨方法，其特征在于：在步骤5中，将恢复分辨率的高光谱图像进行合并分组，获得重建后的高分辨率高光谱图像，并通过对比损失函数对网络进行优化，具体步骤为：
5.1、将F中每组图像按通道合并，重复通道相加并除以重复次数，得到重建后图像IRHQ；
5.2、通过最小化l1像素损失进行优化参数，具体公式如下：
￡＝||IRHQ-IHQ||
其中，为l1损失函数公式，
￡损失计算公式，IHQ为真实标签，
f(x)、y均为公式中参数，且具体到上述/>与￡公式中，f(x)为IRHQ，y为IHQ。
CN202310381242.9A 2023-04-11 2023-04-11 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法 Active CN116452420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310381242.9A CN116452420B (zh) 2023-04-11 2023-04-11 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310381242.9A CN116452420B (zh) 2023-04-11 2023-04-11 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法

Publications (2)

Publication Number Publication Date
CN116452420A true CN116452420A (zh) 2023-07-18
CN116452420B CN116452420B (zh) 2024-02-02

Family

ID=87125054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310381242.9A Active CN116452420B (zh) 2023-04-11 2023-04-11 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法

Country Status (1)

Country Link
CN (1) CN116452420B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139902A (zh) * 2021-04-23 2021-07-20 深圳大学 一种高光谱图像超分辨率重建方法、装置及电子设备
CN114926337A (zh) * 2022-05-24 2022-08-19 闽江学院 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
CN115272078A (zh) * 2022-08-01 2022-11-01 西安交通大学 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
CN115661635A (zh) * 2022-09-22 2023-01-31 深圳大学 基于Transformer融合卷积神经网络的高光谱图像重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139902A (zh) * 2021-04-23 2021-07-20 深圳大学 一种高光谱图像超分辨率重建方法、装置及电子设备
CN114926337A (zh) * 2022-05-24 2022-08-19 闽江学院 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
CN115272078A (zh) * 2022-08-01 2022-11-01 西安交通大学 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
CN115661635A (zh) * 2022-09-22 2023-01-31 深圳大学 基于Transformer融合卷积神经网络的高光谱图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QING MA等: "Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution", ARXIV, pages 1 - 10 *
何明智等, 南昌工程学院学报, vol. 41, no. 4, pages 52 - 57 *

Also Published As

Publication number Publication date
CN116452420B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN111476133B (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
Zhu et al. Stacked U-shape networks with channel-wise attention for image super-resolution
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Long et al. Bishift networks for thick cloud removal with multitemporal remote sensing images
CN114694039A (zh) 一种遥感高光谱与激光雷达图像融合分类方法及装置
CN116385326A (zh) 一种基于多目标分割的多光谱图像融合方法、装置及设备
CN113962905B (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Gao A method for face image inpainting based on generative adversarial networks
CN116935044B (zh) 一种多尺度引导和多层次监督的内镜息肉分割方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN116452420B (zh) 一种基于Transformer与CNN分组融合的高光谱图像超分辨方法
CN116703725A (zh) 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
Wang et al. A Novel Neural Network Based on Transformer for Polyp Image Segmentation
CN114862685A (zh) 一种图像降噪方法、及图像降噪模组
Dixit et al. A Review of Single Image Super Resolution Techniques using Convolutional Neural Networks
CN117036893B (zh) 一种基于局部跨阶段和快速下采样的图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant