CN115641503A - 一种基于Transformer网络的高光谱波段选择方法及装置 - Google Patents

一种基于Transformer网络的高光谱波段选择方法及装置 Download PDF

Info

Publication number
CN115641503A
CN115641503A CN202211210073.4A CN202211210073A CN115641503A CN 115641503 A CN115641503 A CN 115641503A CN 202211210073 A CN202211210073 A CN 202211210073A CN 115641503 A CN115641503 A CN 115641503A
Authority
CN
China
Prior art keywords
band
bands
attention
transformer
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211210073.4A
Other languages
English (en)
Inventor
刘宇飞
厉小润
许泽众
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211210073.4A priority Critical patent/CN115641503A/zh
Publication of CN115641503A publication Critical patent/CN115641503A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及高光谱遥感图像处理领域，公开了基于Transformer网络的高光谱波段选择方法及装置。包括：(1)计算波段位置编码；(2)构建并训练Transformer重建网络；(3)度量候选波段的代表性；(4)度量候选波段的冗余度；(5)设计兼顾波段代表性和冗余度的波段打分函数，评价候选波段；(6)逐个选择在所有未选波段中得分最高的波段，直到已选波段的数量达到预设值。本发明从高光谱图像特性出发，结合Transformer网络和卷积自编码器网络，挖掘了光谱波段之间潜在的非线性关系，充分利用了高光谱图像的空间信息，提出了兼顾波段代表性和冗余度的波段选择方法，能够有效地提升高光谱图像像素分类的效果。

Description

一种基于Transformer网络的高光谱波段选择方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种基于Transformer网络的高光谱波段选择方法及装置。
背景技术
高光谱图像由数百个连续的波段组成，包含丰富的光谱信息。然而在实际应用中，高维的光谱数据也带来了许多挑战，例如信息冗余、计算和存储负担沉重以及“休斯现象”。因此，有必要发展面向高光谱图像的降维技术。高光谱图像的降维方法通常可分为两类：特征提取和波段选择。前者会导致原始高光谱图像的物理特征丢失，而后者可以保留原始高光谱图像的物理特征。因此，波段选择方法受到了学者们的广泛关注。
国内外现有的波段选择方法可以大致分为以下四类：(1)基于排序的波段选择方法；(2)基于逐点式搜索的波段选择方法；(3)基于分组式搜索的波段选择方法；(4)基于机器学习算法的波段选择方法。这些方法依据特定的评价标准，从原始高光谱图像中选择出期望的波段子集。然而现有的波段选择方法主要面临三个问题：
(1)现有的波段选择方法大多只简单地考虑了波段之间的线性关系或基于预定义的核函数的非线性关系，而缺乏对波段之间潜在的非线性关系的考虑。
(2)现有的基于自编码器的波段选择方法无法在利用高光谱图像的空间和光谱信息的同时兼顾波段的代表性和冗余度，导致下游任务的实施效果无法取得突破。
(3)现有的基于自编码器的波段选择方法通过结合单个注意力头来关注某个表示子空间的波段注意力，却忽略了其他表示子空间的信息，导致学习到的波段注意力无法精确反映波段的代表性。
发明内容：
针对现有技术中的不足，本发明的目的是提供一种基于Transformer网络的高光谱波段选择方法及装置，借助在自然语言处理领域展示出优越性能的Transformer网络，揭示光谱波段之间潜在的非线性关系，充分利用高光谱图像的光谱和空间信息，研究能够兼顾波段代表性和冗余度的波段选择策略，提高对具有高代表性和冗余度低的波段子集的提取效果，解决由于不能选择出最具价值的波段子集而导致的像素分类精度低的问题。
为实现上述目的，本发明提供了如下技术方案：
本发明提供了一种基于Transformer网络的高光谱波段选择方法，包括如下步骤：
步骤1)计算波段位置编码：
将高光谱图像分块，每一个高光谱图像块作为一个样本；
根据波段位置编码策略，将波段位置信息转换为嵌入向量，计算公式表示为：
Figure BDA0003874836960000021
其中，pos代表某一波段在所有波段集合中的位置，i代表像素在波段向量中的位置，D代表一个波段向量包含的像素数，BPE(.)表示某一波段中某一像素的波段位置编码结果，所有波段的位置编码结果构成了波段位置编码矩阵；
步骤2)构建并训练Transformer重建网络：
构建Transformer重建网络；所述的Transformer重建网络包括基于Transformer的波段多头自注意力模块和基于卷积自编码器的重建模块；
所述的基于Transformer的波段多头自注意力模块以波段位置编码矩阵与按波段展开的高光谱图像样本之和作为输入，用于获取波段注意力掩膜，计算公式表示为：
a＝FTBA(Y；θt)
其中，a＝(a1,a2,...,aL)代表波段注意力掩膜向量，ai代表第i个波段的注意力掩膜，L代表波段数，Y代表波段位置编码矩阵与按波段展开的高光谱图像样本之和，FTBA(·)代表基于Transformer的波段多头自注意力模块，θt代表基于Transformer的波段多头自注意力模块中可训练的参数；
所述的波段多头自注意力模块包含一个或多个多头自注意力层，用于抑制单个注意力头可能产生的偏差，计算公式表示为：
FMHSA(M)＝Concat(head1,...,headh)WO
其中，FMHSA(·)代表多头自注意力层，M代表多头自注意力层的输入，Concat(·)代表拼接操作，
Figure BDA0003874836960000031
代表第i个注意力头，d＝D/h代表每个注意力头中键的维度，h代表注意力头的数目，WO、WQ、WK和WV都代表投影的参数矩阵；
利用波段注意力掩膜向量对原始高光谱图像块中的光谱波段进行重加权，得到的重加权的波段作为基于卷积自编码器的重建模块的输入，用于重建原始高光谱图像块；
以重建误差最小和波段注意力掩膜向量稀疏作为优化目标，训练Transformer重建网络；
步骤3)度量波段代表性：
利用训练后的基于Transformer的波段多头自注意力模块输出的波段注意力掩膜向量度量每一个候选波段的代表性；初始化时，将所有波段视为候选波段，构成候选波段集合；
所述的波段代表性的计算公式表示为：
Figure BDA0003874836960000032
其中，p(xt)代表候选波段xt的代表性度量值，n代表样本数，
Figure BDA0003874836960000033
代表第i个样本中候选波段xt的注意力掩膜；
从候选波段集合中选择代表性度量值最高的候选波段作为第一个被选波段，构建已选波段子集，并将其从候选波段集合中剔除；
步骤4)度量波段冗余度：
利用训练后的基于Transformer的波段多头自注意力模块中最后一个多头自注意力层中得到的波段相关性矩阵计算当前候选波段与当前已选波段之间的冗余度；
所述的波段相关性矩阵通过键矩阵和查询矩阵求得，计算公式表示为：
Figure BDA0003874836960000034
所述的当前候选波段与当前已选波段之间的冗余度的计算公式表示为：
Figure BDA0003874836960000035
其中，d(xt)代表候选波段xt的冗余度，q代表当前已选波段数目，Ct,k代表候选波段xt与第k个已选波段的相关性；
步骤5)构建兼顾波段代表性和冗余度的综合评价指标，计算公式表示为：
s(xt)＝p(xt)-β×d(xt)
其中，β代表两个度量值的平衡系数，s(xt)代表候选波段xt的综合得分；
步骤6)搜索期望波段子集：
对当前所有候选波段的综合得分进行排序，选择当前得分最高的候选波段加入已选波段子集；
重复步骤4)至步骤6)，直到已选波段子集包含波段的数目达到预先设定的值为止。
进一步地，步骤2)中利用波段注意力掩膜对原始高光谱图像块中的光谱波段进行重加权的计算表达式为：
Figure BDA0003874836960000041
其中，Z代表重加权的光谱波段，XP代表原始高光谱图像块，
Figure BDA0003874836960000042
代表按波段乘法符号。
进一步地，步骤2)中以重加权的波段作为基于卷积自编码器的重建模块的输入，用于重建原始高光谱图像块，重建模块的计算表达式为：
Figure BDA0003874836960000043
其中，
Figure BDA0003874836960000044
代表重建的高光谱图像块，θC代表基于卷积自编码器的重建模块中可训练的参数，FCAE(·)代表卷积自编码器操作。
进一步地，步骤2)中训练Transformer重建网络采用的损失函数为：
Figure BDA0003874836960000045
其中，L(θt,θc)代表损失函数，θt和θc代表可训练的参数，n为原始高光谱图像块的样本数，
Figure BDA0003874836960000046
代表第i个原始高光谱图像块，
Figure BDA0003874836960000047
代表第i个重建的高光谱图像块，
Figure BDA0003874836960000048
代表F范数的平方，γ代表平衡系数，||·||1代表1范数。
进一步地，步骤2)中基于Transformer的波段多头自注意力模块由6个相同的波段注意力块和一个池化层串联构成，所述的波段注意力块包括多头自注意力层、第一归一化层、前馈层和第二归一化层。
本发明还提供了一种基于Transformer网络的高光谱波段选择装置，所述装置包括：
波段位置编码计算模块，用于计算波段位置编码；
Transformer重建网络构建及训练模块，用于构建Transformer重建网络并对其进行训练；
波段代表性度量模块，用于度量候选波段代表性；
波段冗余度度量模块，用于度量候选波段与当前已选波段之间的冗余度；
兼顾波段代表性和冗余度的综合评价指标构建模块，用于设计兼顾波段代表性和冗余度的波段打分函数；
期望波段子集搜索模块，用于逐个搜索综合得分最高的期望波段，加入已选波段子集；
波段选择结果输出模块，用于输出所选的最优波段子集结果。
本发明的有益效果在于：
1)针对现有的技术中单个注意头无法准确挖掘波段代表性的问题，本发明提出了基于Transformer的波段多头注意力模块，通过借助多头注意力机制来抑制单个注意力头可能产生的偏差，有利于提高像素分类精度。
2)本发明提出将Transformer与卷积自编码器进行有效结合，构建Transformer重建网络用于高光谱图像波段选择，可以解决现有技术通常无法挖掘波段之间固有的非线性关系的问题，有利于下游任务的实施。
3)针对现有技术中不能在兼顾波段代表性和冗余度的同时很好地利用空间和光谱信息，本发明提出使用能够同时利用高光谱图像空间和光谱信息的Transformer重建网络来衡量波段的代表性和冗余度，以选择出具有高代表性和低冗余度的波段子集，进一步提升下游任务的实施效果。
附图说明
图1为本发明基于Transformer网络的高光谱波段选择方法实施例的基本步骤流程图。
图2为本发明高光谱图像波段选择装置的结构示意图。
图3为Indian Pines数据集的地物真实图像。
图4为在Indian Pines数据集上使用SVM分类器时不同波段选择方法的分类精度曲线。
图5为在Indian Pines数据集上使用EPF-G-g分类器时不同波段选择方法的分类精度曲线。
图6为从Indian Pines数据集上使用不同波段选择方法分别选择出15个波段时的SVM分类图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为所发明的高光谱图像波段选择方法实施例的基本步骤流程图，具体包括以下步骤。
输入：原始高光谱图像X∈RL×W×H，其中L代表波段数，W×H代表像素数；选择波段数k。
步骤一：计算波段位置编码。
(1)将原始高光谱图像分块，将高光谱图像块表示为XP∈RL×m×m，m×m是分块后的像素尺寸，每一个高光谱图像块作为一个样本，共计得到n个样本。
(2)设计波段位置编码策略，用于将波段位置信息转换为嵌入向量，计算公式表示为：
Figure BDA0003874836960000061
其中，pos代表某一波段在所有波段集合中的位置，i代表像素在波段向量中的位置，D代表一个波段向量包含的像素数，BPE(.)表示某一波段中某一像素的波段位置编码结果，所有波段的位置编码结果构成了波段位置编码矩阵。
步骤二：构建并训练Transformer重建网络。
(1)以波段位置编码与按波段展开的高光谱图像样本之和作为输入，构建基于Transformer的波段多头自注意力模块，用于获取波段注意力掩膜向量，计算公式表示为：
a＝FTBA(Y；θt)
其中，a＝(a1,a2,...,aL)代表波段注意力掩膜向量，ai代表第i个波段的注意力掩膜，L代表波段数，Y代表波段位置编码与按波段展开的高光谱图像样本之和，FTBA(·)代表基于Transformer的波段多头自注意力模块，θt代表基于Transformer的波段多头自注意力模块中可训练的参数。
在本实施例的一项具体实施中，基于Transformer的波段多头自注意力模块由6个相同的波段注意力块和一个池化层构成，其中每个波段注意力块又主要由多头自注意力层和前馈层组成，并且每个多头自注意力层和前馈层后面都跟有一个归一化层。
在每个波段注意力块中，首先将输入数据作为多头自注意力层的输入，所述的多头自注意力层的计算公式表示为：
FMHSA(M)＝Concat(head1,...,headh)WO
其中，FMHSA(·)代表多头自注意力层，M代表多头自注意力层的输入，Concat(·)代表拼接操作，
Figure BDA0003874836960000071
代表第i个注意力头，d＝D/h代表每个注意力头中键的维度，h代表注意力头的数目，WO、WQ、WK和WV都代表投影的参数矩阵。
随后，利用前馈层进一步变换学习到的所有注意力头的特征，每个前馈层包含两个线性变换，中间有一个ReLU激活函数。前馈层的计算公式表示为：
FFeed(x)＝ReLU(xW1+b1)W2+b2
其中，x为前馈层的输入，W1和W2表示权值参数，b1和b2表示偏置向量，ReLU(·)表示ReLU激活函数。
(2)利用波段注意力掩膜对高光谱图像块中的光谱波段进行重加权，计算公式表示为：
Figure BDA0003874836960000072
其中，Z代表重加权的光谱波段，XP代表原始高光谱图像块，
Figure BDA0003874836960000073
代表按波段乘法符号。
得到的重加权的波段作为基于卷积自编码器的重建模块的输入，用于重建原始高光谱图像块：
Figure BDA0003874836960000074
其中，
Figure BDA0003874836960000075
代表重建的高光谱图像块，θC代表基于卷积自编码器的重建模块中可训练的参数，FCAE(·)代表卷积自编码器操作。
本实施例中，基于卷积自编码器的重建模块包含二维卷积神经网络、批归一化、非线性激活函数层、残差连接等网络结构。本实施例中，首先将重加权的光谱波段集合Z依次通过输出通道大小为128、64和32的二维卷积层，卷积核大小都为3×3，并且每个卷积层之后都要进行批归一化处理和ELU激活函数处理；随后，将得到的数据输入一个核和输出通道的大小分别为3×3和64的二维反卷积层，结合批归一化和ELU激活函数处理，并且将激活函数输出的结果与前述第三个二维卷积层的输入值相加；将得到的数据输入一个核和输出通道的大小分别为3×3和128的二维反卷积层，结合批归一化和ELU激活函数处理，再将激活函数输出的结果与前述第二个二维卷积层的输入值相加；最后，将得到的数据输入一个核大小为3×3、输出通道数等于原始波段数L的二维反卷积层，结合批归一化和Sigmoid激活函数处理，得到重建后的原始高光谱图像块。
(3)定义以重建误差最小和波段注意力掩膜向量稀疏为优化目标的损失函数：
Figure BDA0003874836960000081
其中，L(θt,θc)代表损失函数，θt和θc代表可训练的参数，n为原始高光谱图像块的样本数，
Figure BDA0003874836960000082
代表第i个原始高光谱图像块，
Figure BDA0003874836960000083
代表第i个重建的高光谱图像块，
Figure BDA0003874836960000084
代表F范数的平方，γ代表平衡系数，||·||1代表1范数。
通过最小化损失函数，训练Transformer重建网络。
步骤三：利用波段注意力掩膜向量a度量波段的代表性：
Figure BDA0003874836960000085
其中，p(xt)代表候选波段xt的代表性，n代表样本数，
Figure BDA0003874836960000086
代表第i个样本中候选波段xt的注意力掩膜。
步骤四：度量波段冗余度。
通过基于Transformer的波段多头自注意力模块中最后一个多头自注意力层中的键矩阵和查询矩阵求得波段相关性矩阵：
Figure BDA0003874836960000087
利用波段相关性矩阵计算候选波段与当前已选波段之间的冗余度；
Figure BDA0003874836960000091
其中，d(xt)代表候选波段xt的冗余度，q代表当前已选波段数目，Ct,k代表候选波段xt与第k个已选波段之间的相关性。
步骤五：构建兼顾波段代表性和冗余度的综合评价指标，计算公式表示为：
s(xt)＝p(xt)-β×d(xt)
其中，β代表两个度量值的平衡系数，s(xt)代表候选波段xt的综合得分。
步骤六：搜索期望波段子集。
初始化阶段，从所有波段中选择代表性度量值最高的波段，作为第一个被选波段，构建初始已选波段子集。
之后，对所有未选波段的综合得分进行排序，选择当前得分最高的波段加入已选波段子集。
重复对当前未选波段排序并将得分最高的波段加入已选波段子集的操作，直到已选波段子集包含波段的数目达到预先设定的值为止。
与前述的基于Transformer网络的高光谱波段选择方法的实施例相对应，本申请还提供了一种基于Transformer网络的高光谱波段选择装置的实施例，其包括：
波段位置编码计算模块，用于计算波段位置编码；
Transformer重建网络构建及训练模块，用于构建Transformer重建网络并对其进行适当的训练；
波段代表性度量模块，用于度量候选波段代表性；
波段冗余度度量模块，用于度量候选波段与当前已选波段之间的冗余度；
兼顾波段代表性和冗余度的综合评价指标构建模块，用于设计兼顾波段代表性和冗余度的波段打分函数；
期望波段子集搜索模块，用于逐个搜索综合得分最高的期望波段，加入已选波段子集；
波段选择结果输出模块，用于输出所选的最优波段子集结果。
在本发明的一项具体实施中，所述波段选择装置还包括应用模块，所述应用模块使用波段选择结果进行高光谱图像分类或目标检测。
在本发明的一项具体实施中，所述的波段位置编码计算模块包括：
图像分块模块，用于将高光谱图像分块，每一个高光谱图像块作为一个样本；
波段位置编码模块，用于将波段位置信息转换为嵌入向量。
在本发明的一项具体实施中，所述的Transformer重建网络构建及训练模块包括：
基于Transformer的波段多头自注意力模块，用于获取波段注意力掩膜向量；
基于卷积自编码器的重建模块，用于重建原始高光谱图像块；
网络训练模块，用于设计损失函数，对Transformer重建网络中的参数进行优化。
关于上述实施例中的装置，其中各个单元或模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为波段位置编码计算模块以及Transformer重建网络构建及训练模块，都可以是或者也可以不是物理上分开的。另外，在本发明中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的模块或单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。
为了验证本发明的效果，在真实的高光谱图像上进行了实验。下面以IndianPines数据集为例说明具体的实施方式，实验如下：
本实施例采用的图像是Indian Pines数据集，是由AVIRIS传感器所拍摄的高光谱图像，如图3所示，大小是145×145个像元，除去水汽吸收波段和低信噪比的波段，剩余185个波段参与实验。
为进一步验证本发明的应用效果，将本发明方法和其他方法得到的结果用于像素分类。为了较为直观地比较各种波段选择方法对于下游分类任务精度的影响，图4显示了在Indian Pines数据集上使用SVM分类器时不同波段选择方法的分类精度随所选波段数大小变化的曲线，横坐标是选择波段数，纵坐标为总体分类精度。如图4所示，对于SVM分类器，在选择不同数目的波段时，本发明的具体实例总是可以取得明显高于其他波段选择方法的分类精度。
图5显示了在Indian Pines数据集上使用EPF-G-g分类器时不同波段选择方法的分类精度随所选波段数大小变化的曲线，横坐标是选择波段数，纵坐标为总体分类精度。图5的结果表明，本发明的具体实例在EPF-G-g分类器上可以取得明显优于其他波段选择方法的分类效果。
图6为在Indian Pines数据集上使用MVPCA(a)、LCMVBCC(b)、LCMVBCM(c)、OPBS(d)和本发明的具体实例(e)五种方法分别选择出15个波段时的SVM分类图。从图6可以看出，本发明的具体实例在各类地物上的总体分类效果最佳。
表1不同波段选择方法在SVM分类器上的分类性能比较
方法 OA(％) AA(％)
1.MVPCA 64.81 50.83
2.LCMVBCC 58.95 49.74
3.LCMVBCM 66.90 60.98
4.OPBS 72.33 62.97
5.MR 78.42 71.24
6.BS-Net-Conv 78.91 72.27
7.本发明 81.31 73.39
表1以k＝15为例，给出了不同波段选择方法在Indian Pines数据集上使用SVM分类器时获得的分类精度。表中给出了两种像素分类的定量评价指标的结果，即OA(OverallAccuracy)和AA(Average Accuracy)。前者是指正确分类的样本与总样本的比率，后者是指每种地物类别的样本分类准确率的平均值。从表1可以看出，本发明提出的基于Transformer网络的高光谱波段选择方法能提升波段选择的分类效果。
本发明描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (9)

1.一种基于Transformer网络的高光谱波段选择方法，其特征在于，包括如下步骤：
步骤1)计算波段位置编码：
将高光谱图像分块，每一个高光谱图像块作为一个样本；
根据波段位置编码策略，将波段位置信息转换为嵌入向量，计算公式表示为：
Figure FDA0003874836950000011
其中，pos代表某一波段在所有波段集合中的位置，i代表像素在波段向量中的位置，D代表一个波段向量包含的像素数，BPE(.)表示某一波段中某一像素的波段位置编码结果，所有波段的位置编码结果构成了波段位置编码矩阵；
步骤2)构建并训练Transformer重建网络：
构建Transformer重建网络；所述的Transformer重建网络包括基于Transformer的波段多头自注意力模块和基于卷积自编码器的重建模块；
所述的基于Transformer的波段多头自注意力模块以波段位置编码矩阵与按波段展开的高光谱图像样本之和作为输入，用于获取波段注意力掩膜，计算公式表示为：
a＝FTBA(Y；θt)
其中，a＝(a1,a2,...,aL)代表波段注意力掩膜向量，ai代表第i个波段的注意力掩膜，L代表波段数，Y代表波段位置编码矩阵与按波段展开的高光谱图像样本之和，FTBA(·)代表基于Transformer的波段多头自注意力模块，θt代表基于Transformer的波段多头自注意力模块中可训练的参数；
所述的波段多头自注意力模块包含一个或多个多头自注意力层，用于抑制单个注意力头可能产生的偏差，计算公式表示为：
FMHSA(M)＝Concat(head1,...,headh)WO
其中，FMHSA(·)代表多头自注意力层，M代表多头自注意力层的输入，Concat(·)代表拼接操作，
Figure FDA0003874836950000012
代表第i个注意力头，d＝D/h代表每个注意力头中键的维度，h代表注意力头的数目，WO、WQ、WK和WV都代表投影的参数矩阵；
利用波段注意力掩膜向量对原始高光谱图像块中的光谱波段进行重加权，得到的重加权的波段作为基于卷积自编码器的重建模块的输入，用于重建原始高光谱图像块；
以重建误差最小和波段注意力掩膜向量稀疏作为优化目标，训练Transformer重建网络；
步骤3)度量波段代表性：
利用训练后的基于Transformer的波段多头自注意力模块输出的波段注意力掩膜向量度量每一个候选波段的代表性；初始化时，将所有波段视为候选波段，构成候选波段集合；
所述的波段代表性的计算公式表示为：
Figure FDA0003874836950000021
其中，p(xt)代表候选波段xt的代表性度量值，n代表样本数，
Figure FDA0003874836950000022
代表第i个样本中候选波段xt的注意力掩膜；
从候选波段集合中选择代表性度量值最高的候选波段作为第一个被选波段，构建已选波段子集，并将其从候选波段集合中剔除；
步骤4)度量波段冗余度：
利用训练后的基于Transformer的波段多头自注意力模块中最后一个多头自注意力层中得到的波段相关性矩阵计算当前候选波段与当前已选波段之间的冗余度；
所述的波段相关性矩阵通过键矩阵和查询矩阵求得，计算公式表示为：
Figure FDA0003874836950000023
所述的当前候选波段与当前已选波段之间的冗余度的计算公式表示为：
Figure FDA0003874836950000024
其中，d(xt)代表候选波段xt的冗余度，q代表当前已选波段数目，Ct,k代表候选波段xt与第k个已选波段的相关性；
步骤5)构建兼顾波段代表性和冗余度的综合评价指标，计算公式表示为：
s(xt)＝p(xt)-β×d(xt)
其中，β代表两个度量值的平衡系数，s(xt)代表候选波段xt的综合得分；
步骤6)搜索期望波段子集：
对当前所有候选波段的综合得分进行排序，选择当前得分最高的候选波段加入已选波段子集；
重复步骤4)至步骤6)，直到已选波段子集包含波段的数目达到预先设定的值为止。
2.如权利要求1所述的基于Transformer网络的高光谱波段选择方法，其特征在于，步骤2)中利用波段注意力掩膜对原始高光谱图像块中的光谱波段进行重加权的计算表达式为：
Figure FDA0003874836950000031
其中，Z代表重加权的光谱波段，XP代表原始高光谱图像块，
Figure FDA0003874836950000032
代表按波段乘法符号。
3.如权利要求1所述的基于Transformer网络的高光谱波段选择方法，其特征在于，步骤2)中以重加权的波段作为基于卷积自编码器的重建模块的输入，用于重建原始高光谱图像块，重建模块的计算表达式为：
Figure FDA0003874836950000033
其中，
Figure FDA0003874836950000034
代表重建的高光谱图像块，θC代表基于卷积自编码器的重建模块中可训练的参数，FCAE(·)代表卷积自编码器操作。
4.如权利要求1所述的基于Transformer网络的高光谱波段选择方法，其特征在于，步骤2)中训练Transformer重建网络采用的损失函数为：
Figure FDA0003874836950000035
其中，L(θt,θc)代表损失函数，θt和θc代表可训练的参数，n为原始高光谱图像块的样本数，
Figure FDA0003874836950000036
代表第i个原始高光谱图像块，
Figure FDA0003874836950000037
代表第i个重建的高光谱图像块，
Figure FDA0003874836950000038
代表F范数的平方，γ代表平衡系数，||·||1代表1范数。
5.如权利要求1所述的基于Transformer网络的高光谱波段选择方法，其特征在于，步骤2)中基于Transformer的波段多头自注意力模块由6个相同的波段注意力块和一个池化层串联构成，所述的波段注意力块包括多头自注意力层、第一归一化层、前馈层和第二归一化层。
6.一种基于Transformer网络的高光谱波段选择装置，其特征在于，用于实现权利要求1所述的高光谱波段选择方法，所述的高光谱波段选择装置包括：
波段位置编码计算模块，用于计算波段位置编码；
Transformer重建网络构建及训练模块，用于构建Transformer重建网络并对其进行训练；
波段代表性度量模块，用于度量候选波段代表性；
波段冗余度度量模块，用于度量候选波段与当前已选波段之间的冗余度；
兼顾波段代表性和冗余度的综合评价指标构建模块，用于设计兼顾波段代表性和冗余度的波段打分函数；
期望波段子集搜索模块，用于逐个搜索综合得分最高的期望波段，加入已选波段子集；
波段选择结果输出模块，用于输出所选的最优波段子集结果。
7.根据权利要求6所述的基于Transformer网络的高光谱波段选择装置，其特征在于，所述波段选择装置还包括应用模块，所述应用模块使用波段选择结果进行高光谱图像分类或目标检测。
8.根据权利要求6所述的基于Transformer网络的高光谱波段选择装置，其特征在于，所述的波段位置编码计算模块包括：
图像分块模块，用于将高光谱图像分块，每一个高光谱图像块作为一个样本；
波段位置编码模块，用于将波段位置信息转换为嵌入向量。
9.根据权利要求6所述的基于Transformer网络的高光谱波段选择装置，其特征在于，所述的Transformer重建网络构建及训练模块包括：
基于Transformer的波段多头自注意力模块，用于获取波段注意力掩膜向量；
基于卷积自编码器的重建模块，用于重建原始高光谱图像块；
网络训练模块，用于设计损失函数，对Transformer重建网络中的参数进行优化。
CN202211210073.4A 2022-09-30 2022-09-30 一种基于Transformer网络的高光谱波段选择方法及装置 Pending CN115641503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211210073.4A CN115641503A (zh) 2022-09-30 2022-09-30 一种基于Transformer网络的高光谱波段选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211210073.4A CN115641503A (zh) 2022-09-30 2022-09-30 一种基于Transformer网络的高光谱波段选择方法及装置

Publications (1)

Publication Number Publication Date
CN115641503A true CN115641503A (zh) 2023-01-24

Family

ID=84941769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211210073.4A Pending CN115641503A (zh) 2022-09-30 2022-09-30 一种基于Transformer网络的高光谱波段选择方法及装置

Country Status (1)

Country Link
CN (1) CN115641503A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306819A (zh) * 2023-03-22 2023-06-23 大连海事大学 基于光谱重构的高光谱交叉定标方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306819A (zh) * 2023-03-22 2023-06-23 大连海事大学 基于光谱重构的高光谱交叉定标方法、装置及电子设备
CN116306819B (zh) * 2023-03-22 2024-05-03 大连海事大学 基于光谱重构的高光谱交叉定标方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111191514B (zh) 一种基于深度学习的高光谱图像波段选择方法
CN112749752B (zh) 一种基于深度Transformer的高光谱影像分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN105046276A (zh) 基于低秩表示的高光谱图像波段选择方法
Cai et al. Hypergraph-structured autoencoder for unsupervised and semisupervised classification of hyperspectral image
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN113486851A (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
CN113139512A (zh) 基于残差和注意力的深度网络高光谱影像分类方法
CN113537239A (zh) 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN115641503A (zh) 一种基于Transformer网络的高光谱波段选择方法及装置
Zhao et al. Band selection via explanations from convolutional neural networks
CN113052130B (zh) 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
Dang et al. Spectral-spatial attention transformer with dense connection for hyperspectral image classification
CN117315481A (zh) 基于光谱-空间自注意力和Transformer网络的高光谱图像分类方法
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN115908907A (zh) 一种高光谱遥感图像分类方法及系统
Shang et al. Spectral-spatial hypergraph-regularized self-representation for hyperspectral band selection
Trevino-Sanchez et al. Hybrid pooling with wavelets for convolutional neural networks
Pande et al. Attention based convolution autoencoder for dimensionality reduction in hyperspectral images
CN114998725A (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN114627370A (zh) 一种基于transformer特征融合的高光谱影像分类方法
CN113378979B (zh) 一种基于波段注意力重建网络的高光谱波段选择方法及装置
Arshad et al. A hybrid convolution transformer for hyperspectral image classification
CN114519769A (zh) 一种兼顾代表性和信息量的低冗余高光谱波段选择方法及装置
CN116258914B (zh) 基于机器学习及局部和全局特征融合的遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination