CN115565045A - 基于多尺度空谱变换的高光谱与多光谱图像融合方法 - Google Patents

基于多尺度空谱变换的高光谱与多光谱图像融合方法 Download PDF

Info

Publication number
CN115565045A
CN115565045A CN202211317702.3A CN202211317702A CN115565045A CN 115565045 A CN115565045 A CN 115565045A CN 202211317702 A CN202211317702 A CN 202211317702A CN 115565045 A CN115565045 A CN 115565045A
Authority
CN
China
Prior art keywords
spectral
spatial
image
features
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211317702.3A
Other languages
English (en)
Inventor
贾森
闵智超
符喜优
徐萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202211317702.3A priority Critical patent/CN115565045A/zh
Publication of CN115565045A publication Critical patent/CN115565045A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，其中，上述方法包括：使用双分支网络结构在融合前先进行跨分支融合以加强双分支网络提取特征之间的相关性；采用基于空间域划分的多头自注意力提取光谱特征，能有效获取光谱的全局特征；采用多尺度补丁提取空间特征以更好地挖掘多光谱中丰富的空间特征，再融合光谱特征和空间特征并进行图像重建，获得高分辨率高光谱图像。与现有技术相比，充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。

Description

基于多尺度空谱变换的高光谱与多光谱图像融合方法
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及的是一种基于多尺度空谱变换的高光谱与多光谱图像融合方法。
背景技术
拍摄遥感图像时，受限于当前的物理成像系统，不能同时获得高空间分辨率和高光谱分辨率。只能捕获具有高空间分辨率和有限光谱带的图像(高分辨率多光谱图像)，或低空间分辨率但具有更高光谱分辨率的图像(低分辨率高光谱图像)。因此，实践中需要融合多光谱的高空间分辨率和高光谱的高光谱分辨率来生成高分辨率高光谱图像(HR-HSI)。
虽然目前使用深度神经网络学习遥感图像的光谱和空间细节，获得了较好的融合性能，但仍没有考虑到多光谱图像和高光谱图像特征图之间的相关性，忽略了多光谱图像与高光谱图像之间可能会具有的互补性特征，多光谱图像和高光谱图像特征交互弱，提取特征精度不高，导致获得的图像质量不高。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于多尺度空谱变换的高光谱与多光谱图像融合方法、装置、智能终端及计算机可读存储介质，旨在解决现有技术中多光谱图像和高光谱图像特征交互弱，提取特征精度不高的问题。
为了实现上述目的，本发明提供了一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，包括：
将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力；
将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
可选的，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像，包括：
对高光谱图像进行上采样，获得采样后高光谱图像；
对多光谱图像进行下采样，获得采样后多光谱图像；
连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；
连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。
可选的，所述将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，包括：
将所述光谱浅层特征展平，获得二维矩阵；
对所述二维矩阵进行线性投影，获得光谱token；
将所述光谱token输入所述第一Transformer模块，获得光谱中间特征；
对所述光谱中间特征进行卷积，获得所述光谱深度特征。
可选的，所述第一Transformer模块包括多个Transformer层，每个Transformer层均设有基于空间域划分的多头自注意力。
可选的，所述第二Transformer模块包括若干个并列的特征提取子模块，所述将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，包括：
以不同尺度的补丁划分所述空间浅层特征，获得不同尺度的补丁嵌入后特征；
对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个所述空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；
聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
可选的，所述聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征，包括：
采用可学习的权重聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
可选的，所述融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征，包括：
采用跳跃连接聚合所述光谱浅层特征和所述光谱深度特征，获得光谱特征；
采用跳跃连接聚合所述空间浅层特征和所述空间深度特征，获得空间特征；
对光谱特征进行上采样以使得光谱特征的特征维度和所述空间特征的特征维度相同；
连接所述空间特征和上采样后的光谱特征，获得所述空间光谱特征。
为了实现上述目的，本发明还提供了一种基于多尺度空谱变换的高光谱与多光谱图像融合装置，所述装置包括：
跨分支融合模块，用于将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
浅层特征模块，用于分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
深度特征模块，用于将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力，将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
深度特征融合模块，用于融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
重建模块，用于将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
为了实现上述目的，本发明还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被上述处理器执行时实现任意一项上述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
为了实现上述目的，本发明还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被处理器执行时实现任意一项上述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
由上述可见，本发明的基于多尺度空谱变换的高光谱与多光谱图像融合方法，首先通过跨分支融合，加强双分支网络提取特征之间的相关性，然后采用基于空间域划分的多头自注意力提取光谱特征，提高了提取高相关性的光谱特征的能力，采用多尺度补丁以多尺度提取空间特征，能更好地挖掘多光谱中丰富的空间特征，最后融合光谱特征和空间特征并进行重建获得高分辨率高光谱图像。与现有技术相比，充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的基于多尺度空谱变换的高光谱与多光谱图像融合方法实施例的流程示意图；
图2是图1实施例的网络模型示意图；
图3是图1实施例步骤S300的具体流程示意图；
图4是图1实施例步骤S400的具体流程示意图；
图5是本发明实施例提供的基于多尺度空谱变换的高光谱与多光谱图像融合装置的结构示意图；
图6是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
高光谱遥感图像通常是由飞机或者卫星从高空和太空中拍摄，因此一幅高光谱遥感图像往往覆盖面积非常大的地域，这也就导致高光谱遥感图像的空间分辨率普遍较小，一个像素代表的区域也会非常大。然而，受限于当前的物理成像系统，存在一个不可避免的权衡，不能同时获得高空间分辨率和高光谱分辨率。成像机制只能捕获具有高空间分辨率和有限光谱带的图像，例如高分辨率多光谱图像；或低空间分辨率但具有更高光谱分辨率的图像，例如低分辨率高光谱图像。因此，实践中需要融合多光谱的高空间分辨率和高光谱的高光谱分辨率来生成高分辨率高光谱图像(HR-HSI)。
现有技术虽然已使用深度神经网络学习遥感图像的光谱和空间细节，获得了较好的融合性能，如构建无监督稀疏Dirichlet网络，使用无监督的编码器-解码器架构来提取两种不同维度的模态的空间信息和光谱信息并进行融合。但仍没有考虑到多光谱图像和高光谱图像特征图之间的相关性，忽略了多光谱图像与高光谱图像之间可能会具有的互补性特征，多光谱图像和高光谱图像特征交互弱，提取特征精度不高，导致获得的图像质量不高。
为了解决上述技术问题，本发明使用双分支网络结构在融合前先进行跨分支融合以加强双分支网络提取特征之间的相关性；提取光谱特征时，采用基于空间域划分的多头自注意力，有效获取光谱的全局特征；提取空间特征时，采用多尺度补丁以更好地挖掘多光谱中丰富的空间特征。因此，本发明充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。
示例性方法
如图1所示，本发明实施例提供一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，部署于智能终端上，具体的，上述方法包括如下步骤：
步骤S100：将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
具体地，需要同时从高光谱图像和多光谱图像中分别提取光谱特征和空间特征，因此本实施例的网络模型为双分支网络模型，具体如图2中(a)区域所示，包括上下两个并行的双分支网络，上面的分支用来处理高光谱图像，下面的分值用来处理多光谱图像。其中，浅层光谱特征提取器和浅层空间特征提取器由卷积网络构建而成，深层光谱特征提取器和深层空间特征提取器由Transformer网络构建而成。先通过卷积网络提取遥感图像的局部特征，再通过Transformer网络提取遥感图像的全局特征，获取的特征更加精准。
由于使用双分支网络结构在融合前提取的特征具有弱相关的问题，因此，本实施例的双分支网络结构中包括一个跨分支融合模块，将高光谱图像和多光谱图像输入特征提取器之前先进行融合，以加强双分支网络提取的空间特征和光谱特征(以下简称：空谱特征)之间的相关性。
本实施例中，跨分支融合具体包括如下步骤：
步骤S110：对高光谱图像进行上采样，获得采样后高光谱图像；
步骤S120：对多光谱图像进行下采样，获得采样后多光谱图像；
步骤S130：连接多光谱图像和采样后高光谱图像，获得融合后多光谱图像；
步骤S140：连接高光谱图像和采样后多光谱图像，获得融合后高光谱图像。
参考图2，假定
Figure BDA0003910084830000081
和
Figure BDA0003910084830000082
分别表示低分辨率的高光谱图像和高分辨率的多光谱图像。首先使用双线性插值上采样低分辨率高光谱图像得到
Figure BDA0003910084830000083
再使用双线性插值下采样高分辨率多光谱图像得到
Figure BDA0003910084830000084
然后在光谱维度上分别对
Figure BDA0003910084830000085
和
Figure BDA0003910084830000086
和
Figure BDA0003910084830000087
进行连接得到融合后高光谱图像
Figure BDA0003910084830000088
和融合后多光谱图像
Figure BDA0003910084830000089
需要说明的是，上采样和下采样采用的方法不限，也可以使用最近邻或者双三次插值。
通过跨分支融合连接，实现了双分支之间的跨模态信息交互，能够加强双分支网络提取的空谱特征之间的相关性，提高后续融合图像的质量。
步骤S200：分别对融合后高光谱图像和融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
具体地，将融合后高光谱图像和融合后多光谱图像各输入双分支网络中的一个分支中进行特征提取，获得光谱浅层特征和空间浅层特征。
本实施例通过浅层光谱特征提取器和浅层空间特征提取器分别提取光谱浅层特征和空间浅层特征。由于卷积是将图像映射到更高维特征空间的一种简单而有效的方法，浅层光谱特征提取器和浅层空间特征提取器均由卷积网络构建而成。并将光谱浅层特征和空间浅层特征的特征维度的大小统一映射成C。获得的光谱浅层特征为
Figure BDA00039100848300000810
空间浅层特征为
Figure BDA00039100848300000811
卷积核的尺寸和数量不做限定，在本实施例中，卷积核大小为3。
步骤S300：将光谱浅层特征输入第一Transformer模块，获得光谱深度特征，上述第一Transformer模块设有基于空间域划分的多头自注意力；
具体地，针对基于CNN的无监督训练网络只能获取局部特征的缺点，本发明使用Transformer网络，以更好地从高光谱中提取全局光谱特征。并在Transformer网络中，通过在谱域计算全局自注意力，在空间域划分多头，有效获取光谱的全局特征。
本实施例中，第一Transformer模块为深层光谱特征提取器，设置在处理高光谱图像分支上。在获得光谱浅层特征
Figure BDA0003910084830000091
后，输入深层光谱特征提取器，通过Transformer的多头自注意力更好地提取高光谱中的全局光谱特征。优选地，将深层光谱特征提取器的多头自注意力机制设计为基于空间域划分的多头自注意力，即根据空间维度拆分获得每个头，能够更有效地获取光谱的全局特征。
其中，Transformer具体可以为用于计算机视觉领域的任何Transformer，如常用的Swin Transformer、Vision Transformer等。
步骤S400：将空间浅层特征输入第二Transformer模块，获得空间深度特征，上述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
具体地，第二Transformer模块设置在用于处理多光谱图像的分支上。获得空间浅层特征
Figure BDA0003910084830000092
后，输入第二Transformer模块，以挖掘多光谱中丰富的空间特征。优选地，在第二Transformer模块中采用多尺度补丁嵌入来提取多尺度特征，然后通过使用可学习的权重融合多尺度特征来获得最终的空间特征，该权重自适应地调整每个提取特征的重要性，能够多尺度提取多光谱图像中的空间特征。
其中，Transformer具体可以为用于计算机视觉领域的任何Transformer，如常用的Swin Transformer、Vision Transformer等。
步骤S500：融合光谱深度特征和空间深度特征，获得空间光谱特征；
具体地，使用长跳跃连接聚合光谱浅层特征
Figure BDA0003910084830000093
和光谱深层特征
Figure BDA0003910084830000094
得到光谱特征
Figure BDA0003910084830000095
使用长跳跃连接聚合空间浅层特征
Figure BDA0003910084830000096
和空间深度特征
Figure BDA0003910084830000097
得到空间特征
Figure BDA0003910084830000098
为了保证重构图像前的特征维度相同，对光谱特征
Figure BDA0003910084830000099
进行上采样得到
Figure BDA00039100848300000910
然后连接
Figure BDA00039100848300000911
和
Figure BDA00039100848300000912
得到空间光谱特征
Figure BDA00039100848300000913
其中，对光谱特征进行上采样的方法不限，可以使用亚像素卷积层、转置卷积、预定义插值式等各种上采样方法。
步骤S600：将空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
具体地，将获得的空间光谱特征最后输入图像重建模块，得到高分辨率高光谱图像
Figure BDA0003910084830000101
例如：采用卷积神经网络对特征进行反卷积重建图像，利用重建损失和对抗损失优化模型参数，用海量图像构造训练样本，对设计的深度卷积神经网络进行训练以实现图像的重建。基于特征重建图像的方法为本领域的常规技术手段，在此不再赘述。
由上所述，通过使用双分支网络结构在融合前先进行跨分支融合以加强双分支网络提取特征之间的相关性；采用基于空间域划分的多头自注意力有效获取光谱的全局特征；采用多尺度补丁以更好地挖掘多光谱中丰富的空间特征，再融合光谱特征和空间特征并进行图像重建，获得高分辨率高光谱图像。因此，充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。
在一个实施例中，如图3所示，上述步骤S300具体包括如下步骤：
步骤S310：将光谱浅层特征展平，获得二维矩阵；
步骤S320：对二维矩阵进行线性投影，获得光谱token；
步骤S330：将光谱token输入第一Transformer模块，获得光谱中间特征；
步骤S340：对光谱中间特征进行卷积，获得光谱深度特征。
具体地，在将数据输入深层特征提取器之前，将光谱浅层特征
Figure BDA0003910084830000102
展平成二维矩阵，再通过一个可训练的线性投影对二维矩阵进行线性投影获得光谱token
Figure BDA0003910084830000103
然后，使用光谱Transformer(Spectral Transformer,SpeT)提取光谱中间特征
Figure BDA0003910084830000104
最后，使用卷积核大小为3的卷积输出光谱深度特征
Figure BDA0003910084830000105
参考图2所示，本实施例中，第一Transformer模块为深层光谱特征提取器，由上述光谱Transformer构建而成。具体的，包括多个SpeT层，每个SpeT层均设有基于空间域划分的多头自注意力。
其中，获取基于空间域划分的多头自注意力的步骤为：首先输入
Figure BDA0003910084830000106
通过可训练的线性投影得到query
Figure BDA0003910084830000107
key
Figure BDA0003910084830000108
和value
Figure BDA0003910084830000111
然后，计算query和key的相似度得到注意力的权重，将权重应用于value得到注意力。具体表达式为：
Figure BDA0003910084830000112
Figure BDA0003910084830000113
其中WQ、WK和WV是可学习的投影矩阵，Attention(·)是按比例缩放的点积运算。沿着空间维度将Q、K和V拆分为M2个头，每个头的高度和宽度分别为hd＝h/M和wd＝w/M。光谱多头自注意力(SpeMSA)的计算公式为：
headm＝Attention(Qm,Km,Vm),m＝1…M2
Figure BDA0003910084830000114
其中
Figure BDA0003910084830000115
表示第个m头，W是一个具有可学习参数的投影矩阵。
由上所述，本实施例提出了一种在光谱维度上进行计算的Transformer，通过光谱多头自注意力，在谱域计算全局自注意力，在空间域划分多头，能够有效地从高光谱中提取全局光谱特征，提高了网络提取高光谱中高相关性的光谱特征的能力。
由于现有的融合方法中，均使用单一的尺度提取空间特征。而使用Transformer从具有丰富空间信息的多光谱中提取全局空间特征，在不同尺度的补丁嵌入下获得的特征的精细度可能会有很大的不同。因此，在一个实施例中提供了一种使用多尺度补丁嵌入的特征提取方式，获得多光谱的不同尺度的空间特征并通过自适应的加权结合起来，用于后续与光谱特征融合。如图4所示，具体包括如下步骤：
步骤S410：以不同尺度的补丁划分空间浅层特征，获得不同尺度的补丁嵌入后特征；
步骤S420：对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；
具体地，本实施例中，第二Transformer模块包括多个特征提取子模块，每个特征提取子模块为一个深层空间特征提取器。每个深层空间特征提取器中包括多个空间Transformer(Spatial Transformer：SpaT)。将空间浅层特征按照不同尺度的补丁进行切分，获得多个不同尺度的补丁嵌入后特征。对每个补丁嵌入后特征进行线性投影，获得空间token
Figure BDA0003910084830000121
其中(p,p)是补丁的大小，
Figure BDA0003910084830000122
是token的数量。将每个空间token各输入一个深层空间特征提取器，即每个深度空间特征提取器的输入是不同尺度的补丁嵌入，每层空间Transformer依次输出空间中间特征
Figure BDA0003910084830000123
最后使用卷积核大小为3进行卷积处理，获得深层空间特征提取器输出的空间深度特征
Figure BDA0003910084830000124
步骤S430：聚合所有特征提取子模块输出的空间深度特征，获得最终的空间深度特征。
具体地，采用可学习的权重wl聚合所有深度空间特征提取器输出的空间深度特征
Figure BDA0003910084830000125
获得最终的空间深度特征
Figure BDA0003910084830000126
即第二Transformer模块输出的空间深度特征。具体表达式为：
Figure BDA0003910084830000127
由上所述，针对提取的特征尺度单一的问题，本实施例设计了一个多尺度特征提取分支，该分支首先使用多尺度补丁嵌入来提取多尺度特征，然后通过使用可学习的权重融合多尺度特征来获得最终的空间深度特征。该权重自适应地调整每个提取特征的重要性，更好地挖掘多光谱中丰富的空间特征。
综上所述，本实施例首先使用跨分支连接加强双分支网络提取的空谱特征之间的相关性，而后通过两个浅层特征提取器提取空谱的浅层特征，接下来使用两种深层特征提取器分别提取空谱的深层特征，两种深层特征提取器分别为深层光谱特征提取器和深层空间特征提取器。其中，深层光谱特征提取器包含多个光谱Transformer；深层空间特征提取器包含多个空间Transformer，最后通过一个图像重建模块对融合后的图像进行重建。充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。
示例性设备
如图5所示，对应于基于多尺度空谱变换的高光谱与多光谱图像融合方法，本发明实施例还提供一种基于多尺度空谱变换的高光谱与多光谱图像融合装置，具体的，所述装置包括：
跨分支融合模块600，用于将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
浅层特征模块610，用于分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
深度特征模块620，用于将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力，将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
深度特征融合模块630，用于融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
重建模块640，用于将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
本实施例中，上述基于多尺度空谱变换的高光谱与多光谱图像融合装置可以参照上述基于多尺度空谱变换的高光谱与多光谱图像融合方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于多尺度空谱变换的高光谱与多光谱图像融合程序。该内存储器为非易失性存储介质中的操作系统和基于多尺度空谱变换的高光谱与多光谱图像融合程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于多尺度空谱变换的高光谱与多光谱图像融合程序被处理器执行时实现上述任意一种基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被上述处理器执行时进行以下操作指令：
将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力；
将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
可选的，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像，包括：对高光谱图像进行上采样，获得采样后高光谱图像；对多光谱图像进行下采样，获得采样后多光谱图像；连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。
可选的，所述将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，包括：将所述光谱浅层特征展平，获得二维矩阵；对所述二维矩阵进行线性投影，获得光谱token；将所述光谱token输入所述第一Transformer模块，获得光谱中间特征；对所述光谱中间特征进行卷积，获得所述光谱深度特征。
可选的，所述第一Transformer模块包括多个Transformer层，每个Transformer层均设有基于空间域划分的多头自注意力。
可选的，所述第二Transformer模块包括若干个并列的特征提取子模块，所述将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，包括：以不同尺度的补丁划分所述空间浅层特征，获得不同尺度的补丁嵌入后特征；对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个所述空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
可选的，所述聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征，包括：采用可学习的权重wl聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
可选的，所述融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征，包括：采用跳跃连接聚合所述光谱浅层特征和所述光谱深度特征，获得光谱特征；采用跳跃连接聚合所述空间浅层特征和所述空间深度特征，获得空间特征；对光谱特征进行上采样以使得光谱特征的特征维度和所述空间特征的特征维度相同；连接所述空间特征和上采样后的光谱特征，获得所述空间光谱特征。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被处理器执行时实现本发明实施例提供的任意一种基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，包括：
将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力；
将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
2.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像，包括：
对高光谱图像进行上采样，获得采样后高光谱图像；
对多光谱图像进行下采样，获得采样后多光谱图像；
连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；
连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。
3.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，包括：
将所述光谱浅层特征展平，获得二维矩阵；
对所述二维矩阵进行线性投影，获得光谱token；
将所述光谱token输入所述第一Transformer模块，获得光谱中间特征；
对所述光谱中间特征进行卷积，获得所述光谱深度特征。
4.如权利要求3所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述第一Transformer模块包括多个Transformer层，每个Transformer层均设有基于空间域划分的多头自注意力。
5.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述第二Transformer模块包括若干个并列的特征提取子模块，所述将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，包括：
以不同尺度的补丁划分所述空间浅层特征，获得不同尺度的补丁嵌入后特征；
对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个所述空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；
聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
6.如权利要求5所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征，包括：
采用可学习的权重聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
7.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征，包括：
采用跳跃连接聚合所述光谱浅层特征和所述光谱深度特征，获得光谱特征；
采用跳跃连接聚合所述空间浅层特征和所述空间深度特征，获得空间特征；
对光谱特征进行上采样以使得光谱特征的特征维度和所述空间特征的特征维度相同；
连接所述空间特征和上采样后的光谱特征，获得所述空间光谱特征。
8.基于多尺度空谱变换的高光谱与多光谱图像融合装置，其特征在于，所述装置包括：
跨分支融合模块，用于将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
浅层特征模块，用于分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
深度特征模块，用于将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力，将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
深度特征融合模块，用于融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
重建模块，用于将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多尺度空谱变换的高光谱与多光谱图像融合程序，所述基于多尺度空谱变换的高光谱与多光谱图像融合程序被所述处理器执行时实现如权利要求1-7任意一项所述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多尺度空谱变换的高光谱与多光谱图像融合程序，所述基于多尺度空谱变换的高光谱与多光谱图像融合程序被处理器执行时实现如权利要求1-7任意一项所述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
CN202211317702.3A 2022-10-26 2022-10-26 基于多尺度空谱变换的高光谱与多光谱图像融合方法 Pending CN115565045A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211317702.3A CN115565045A (zh) 2022-10-26 2022-10-26 基于多尺度空谱变换的高光谱与多光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211317702.3A CN115565045A (zh) 2022-10-26 2022-10-26 基于多尺度空谱变换的高光谱与多光谱图像融合方法

Publications (1)

Publication Number Publication Date
CN115565045A true CN115565045A (zh) 2023-01-03

Family

ID=84769759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211317702.3A Pending CN115565045A (zh) 2022-10-26 2022-10-26 基于多尺度空谱变换的高光谱与多光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN115565045A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN116612337A (zh) * 2023-07-19 2023-08-18 中国地质大学（武汉） 基于高光谱图像的物体检测方法、装置、系统及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN116468645B (zh) * 2023-06-20 2023-09-15 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN116612337A (zh) * 2023-07-19 2023-08-18 中国地质大学（武汉） 基于高光谱图像的物体检测方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
WO2021184891A1 (zh) 遥感影像地物分类方法及系统
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
Dai et al. Is image super-resolution helpful for other vision tasks?
CN108009559B (zh) 一种基于空谱联合信息的高光谱数据分类方法
WO2018120740A1 (zh) 图片分类方法和装置、机器人
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN113222835A (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
Ma et al. Learning a 3D-CNN and transformer prior for hyperspectral image super-resolution
CN108288256A (zh) 一种多光谱马赛克图像复原方法
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
Mei et al. Hyperspectral image super-resolution via convolutional neural network
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Yang et al. Hierarchical spatio-spectral fusion for hyperspectral image super resolution via sparse representation and pre-trained deep model
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN111428809B (zh) 基于空间信息融合与卷积神经网络的人群计数方法
CN112734638A (zh) 一种遥感影像超分辨重建方法、装置及存储介质
CN115063336B (zh) 一种全色与多光谱图像融合方法及其装置、介质
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
Lu et al. Multi-Supervised Recursive-CNN for Hyperspectral and Multispectral Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination