CN116824282B - 融合多跳图卷积和注意力的半监督高光谱图像分类方法 - Google Patents
融合多跳图卷积和注意力的半监督高光谱图像分类方法 Download PDFInfo
- Publication number
- CN116824282B CN116824282B CN202311108863.6A CN202311108863A CN116824282B CN 116824282 B CN116824282 B CN 116824282B CN 202311108863 A CN202311108863 A CN 202311108863A CN 116824282 B CN116824282 B CN 116824282B
- Authority
- CN
- China
- Prior art keywords
- representing
- pixel
- super
- indicate
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000006870 function Effects 0.000 claims abstract description 36
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 7
- 241001466077 Salina Species 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种融合多跳图卷积和注意力的半监督高光谱图像分类方法，属于高光谱图像处理技术和深度学习领域，包括以下步骤：获取原始高光谱图像，将原始高光谱图像编码成超像素图，确定像素和超像素之间的变换准则，并进行超像素分割；引入残差对超像素图进行多跳图卷积，并将不同跳数的特征进行拼接生成深层特征；使用多头注意力机制对提取的深层特征进行整合，生成代表性深层特征；使用深度对比增强损失函数协同学习最佳节点特征和原型，并利用得到的原型对每个像素点进行分类；计算分类的总损失，根据总损失更新深度对比增强损失函数中模型的参数。本发明能增强提取特征的鉴别性以及原型的代表性，以实现更精确的分类。
Description
技术领域
本发明属于高光谱图像处理和深度学习技术领域，具体涉及一种融合多跳图卷积和注意力的半监督高光谱图像分类方法。
背景技术
高光谱图像由数百个连续波段组成，包含丰富的光谱和空间信息，广泛应用于地质勘测、环境监测、农业评估和城市规划等各个领域。这些应用都是基于对高光谱图像每个像素的准确预测，因此在遥感领域，高光谱图像分类一直是研究的热点。
高光谱图像的分类不同于传统图像，其丰富的光谱信息使得分类器难以获得准确的分类结果。近年来，由于深度学习方法具有优秀的捕获深层特征的能力，为高光谱图像分类带来了新的思路。作为最常用的深度学习模型，卷积神经网络可以通过结合空间上下文，更好的克服频谱噪声、频谱特征的空间可变性以及数据中其他模糊性的影响。然而卷积神经网络依旧存在很多局限性，一方面基于欧几里得数据的卷积难以掌握复杂的拓扑结构，另一方面其高度依赖短程空间的土地覆盖，需要训练学习许多参数。而在卷积神经网络技术上发展的图卷积则可以在图的角度对利用所有样本的特征来构建拓扑结构，从而挖掘数据的深层特征。图卷积不仅在非欧式统计中被证明是实用的，而且在规则域（如图像数据集）中也是实用的。
然而，高光谱图像由于其像素的复杂性，对每一个像素点进行人工标记是很困难的。因此，无监督和半监督学习的方法逐渐受到关注，它们可以从大量未标记的样本中获取信息。另一方面，基于图的半监督学习可以通过图结构来充分利用未标记样本。但是传统图卷积每个节点的特征更新仅和与其直接相连的点有关，导致对于远程信息的关注不足，进而失去了很多全局信息。
对于得到的深层特征，往往是不具有代表性的，即深层特征是整个样本的深层特征。这便不利于对样本中某一个类别进行侧重分析。而注意力机制在近几年发挥着重要的作用，由于其对重点信息的关注特性，可以使提取到的特征具有侧重性，更关注于突出某类样本的特性。这将为分类问题提供更好的输入特征，亦会对结果产生有利影响。
综上，现有技术存在提取特征时对于远程信息关注不足，以及数据集中有标签数据量不足的问题。
发明内容
为了解决上述问题，本发明提出了一种融合多跳图卷积和注意力的半监督高光谱图像分类方法，通过多跳图卷积解决了传统图卷积对于远程信息关注不足的问题，提取更准确的深层特征，利用注意力机制突出有效特征，并且采用半监督的思想，充分利用无标签数据对模型参数进行更新，以实现准确的高光谱图像分类。
本发明的技术方案如下：
融合多跳图卷积和注意力的半监督高光谱图像分类方法，包括以下步骤：
步骤1、获取原始高光谱图像，采用SLIC函数和关系矩阵将原始高光谱图像编码成超像素图，确定像素和超像素之间的变换准则，并进行超像素分割；
步骤2、引入残差对超像素图进行多跳图卷积，并将不同跳数的特征进行拼接生成深层特征；
步骤3、使用多头注意力机制对提取的深层特征进行整合，生成代表性深层特征；
步骤4、使用深度对比增强损失函数协同学习最佳节点特征和原型，并利用得到的原型对每个像素点进行分类；
步骤5、计算分类的总损失，根据总损失更新深度对比增强损失函数中模型的参数。
进一步地，步骤1的具体过程如下：
步骤1.1、获取原始高光谱图像后，采用SLIC函数自动将原始高光谱图像划分为超像素图，在自动划分过程中SLIC函数使用K-means聚类算法生成超像素图节点；
步骤1.2、根据关系矩阵对每一个像素进行编码，将原始高光谱图像编码成超像素图；关系矩阵通过如下公式表示：
(1)；
(2)；
其中，表示第/>个像素/>和第/>个超像素/>之间的关系；/>是高光谱原始像素的变形；/>表示展平函数；
步骤1.3、确定像素和超像素之间的变换准则，表示如下：
(3)；
(4)；
其中，表示超像素节点矩阵；/>表示像素到超像素图节点的映射；/>表示/>的列归一化；/>为转置符号；/>表示由超像素节点还原的像素级节点矩阵；表示超像素节点到像素的映射；/>表示将数据恢复到原始维度；
步骤1.4、进行超像素分割，得到无向图结构，表示为：
(5)；
其中，表示顶点集，/>表示边集；
、/>分别被编码为超像素节点矩阵/>和邻接矩阵/>。
进一步地，步骤2中，多跳图卷积运算公式如下：
(12)；
其中，表示第/>层的特征输出；/>表示对输入/>的归一化；/>表示激活函数；/>为/>的度矩阵，/>表示图的单位矩阵/>和邻接矩阵/>的总和；/>表示第/>跳的/>，表示不同的跳数；/>和/>表示两个不同隐藏图卷积层的权重参数；
一层只包含一跳，在得到每一跳提取到的深层特征后，将每层得到的特征输出按照如下公式进行拼接以生成多跳图卷积提取后的最终深层特征；
(13)；
其中，表示输出的深层特征，/>表示第/>跳的特征输出，即对应第/>层的特征输出。
进一步地，步骤3的具体过程如下：将每个超像素点视为一个输入向量，关于每个子头的注意力分数计算公式为：
(14)；
其中，表示第/>个子头/>经过注意力机制后的结果；/>表示进行注意力机制运算；/>表示第/>个子头；/>表示Softmax函数；/>、/>、/>分别表示输入特征与三个不同的权重矩阵/>、/>、/>相乘得到的矩阵；/>是超像素数量；
然后对每个子头的注意力分数进行拼接，生成代表性深层特征，
(15)；
其中，表示输出的代表性深层特征；/>表示子头总数；
最后根据步骤1所述的变换准则将特征图还原成像素级，并将像素级代表性深层特征记为，/>包含所有像素点的代表性深层特征。
进一步地，步骤4中，深度对比增强损失函数为：
(16)；
其中，表示模型的参数；/>表示所有类最具有代表性的原型，/>表示第/>类的原型，/>表示类的数量，/>表示类的序号；/>表示样本的真实类别；表示第/>个样本属于第/>类的概率，由下式计算：
(17)；
其中，表示陡度参数；/>表示第/>个样本的像素级代表性深层特征与第/>类的原型/>之间的距离；
任意一个未标记数据点的类别与距离该数据点最近的原型的类别相同，如下公式：
(18)；
其中，表示第/>个样本的预测标签；/>表示第/>个样本距离所有原型的最小值。
进一步地，步骤5中，在深度对比增强损失的基础上，提出基于熵的正则化损失，基于熵的正则化损失由下式表示：
(19)；
其中，表示所有样本/>的集合；/>表示样本总数量，/>表示样本序号；/>表示对每个样本类别的预测；
对进行约束，约束公式如下：
(20)；
(21)；
其中，表示某个/>下的约束因子；/>表示影响正则化预热期的参数；/>表示中间变量；/>代表当前迭代次数，/>代表迭代的总次数；
最终分类的总损失函数表示为如下公式：
(22)。
本发明所带来的有益技术效果：与现有技术相比，本发明一方面充分利用了数据集中样本的远近程信息，另一方面充分利用了数据集中的无标签数据。通过SLIC函数将数据集划分为超像素图，不但极大程度的减少了计算量，并且确定了像素和超像素之间的变换准则，以便后续分类过程的实现；通过多跳图卷积对样本进行特征提取，不但增加了感受野，关注于远近程信息，也很好的控制了参数量，保证了运算效率；多头注意力机制的引入则突出了更具代表性的特征，使最终得到的深层特征可以很好的代表当前样本点，以提高后续分类过程的精度；将数据还原为像素级以便进行每个像素点的分类；使用深度对比增强损失函数协同学习最佳节点特征和原型，不仅可以确定某个类最有代表性的样本，即每个类别的原型，同时也将计算所有样本和所有原型之间的距离，实现对所有样本的分类；通过熵的正则化方法，对所有数据的损失进行衡量，进一步提高原型的代表性。通过深度对比增强损失和熵的正则化方法相结合，即可以产生更具鉴别性的底层特征，即类间分离和类内紧凑，同时在训练的过程中逐步提高分类的精度。
附图说明
图1为本发明融合多跳图卷积和注意力的半监督高光谱图像分类方法的流程图。
图2为本发明实验中的地面实况。
图3为本发明实验中PPF-CNN方法在IP数据集上的分类效果。
图4为本发明实验中DR-CNN方法在IP数据集上的分类效果。
图5为本发明实验中GCN方法在IP数据集上的分类效果。
图6为本发明实验中S2GCN方法在IP数据集上的分类效果。
图7为本发明实验中本发明方法在IP数据集上的分类效果。
具体实施方式
下面结合具体实施方式对本发明作进一步详细说明：
如图1所示，融合多跳图卷积和注意力的半监督高光谱图像分类方法，具体包括如下步骤：
步骤1、获取原始高光谱图像，采用SLIC函数和关系矩阵将原始高光谱图像编码成超像素图，确定像素和超像素之间的变换准则，并进行超像素分割。具体过程如下：
步骤1.1、获取原始高光谱图像后，采用SLIC函数自动将原始高光谱图像划分为超像素图，SLIC函数主要运用K-means聚类算法进行超像素的处理，因此在自动划分过程中SLIC函数使用K-means聚类算法生成超像素图节点；
步骤1.2、引入关系矩阵表示超像素和像素之间的关系，根据关系矩阵对每一个像素进行编码，将原始高光谱图像编码成超像素图；
关系矩阵可通过如下公式表示：
(1)；
(2)；
其中，表示第/>个像素/>和第/>个超像素/>之间的关系；/>是高光谱原始像素的变形，将长宽两个空间维度展平以适应二维矩阵（图）形式；/>表示展平函数。
步骤1.3、确定像素和超像素之间的变换准则，以便于后续将超像素级别特征恢复成像素级别特征；
像素和超像素之间的变换准则可以表示如下：
(3)；
(4)；
其中，表示超像素节点矩阵；/>表示像素到超像素图节点的映射；/>表示/>的列归一化；/>为转置符号；/>表示由超像素节点还原的像素级节点矩阵；表示超像素节点到像素的映射；/>表示将数据恢复到原始维度；
步骤1.4、进行超像素分割，得到无向图结构表示为：
(5)；
其中，表示顶点集，/>表示边集；
、/>分别被编码为超像素节点矩阵/>和邻接矩阵/>。
步骤2、引入残差对超像素图进行多跳图卷积，并将不同跳数的特征进行拼接生成深层特征。
对某个超像素点，在不同的跳数下计算其在多跳图卷积下提取的深层特征。所述跳数即是超像素图中两个直接或非直接相连的超像素点之间边的数量。
步骤2的具体过程如下：
根据得到的邻接矩阵，图卷积模型的卷积运算可以表示如下：
(6)；
其中，表示第/>层的特征输出；/>表示激活函数，此处采用的是Relu；/>表示图的单位矩阵/>和邻接矩阵/>的总和，即/>，/>为/>的度矩阵；/>表示第/>层的输出；/>表示第/>层的权重参数。
此外，为了提升运算速度以及提取更深层的特征，将每次图卷积操作集作为一个图卷积模块，该图卷积模块额外包含一个归一化层和两个图卷积层，每个两个图卷积层之后均设置一个ReLu激活函数；此时每个图卷积模块的运算公式如下：
(7)；
其中，和/>表示两个不同隐藏图卷积层的权重参数；/>表示对输入/>的归一化，公式如下：
(8)；
其中，表示均值；/>表示方差函数。
对于超像素节点，计算两个相邻超像素节点之间的权重，通过高斯核函数确定权重矩阵，公式如下：
(9)；
其中，是与第/>个超像素/>空间上相连的超像素，/>、/>表示两个不同的超像素序号；/>是一个超参数，由人为设定。随着两个向量距离的增加，高斯核函数的值单调减小。
对于每个超像素节点，将某个超像素点作为目标，使用深度优先搜索算法来查找并记录距离所选中心节点/>跳的所有路径，将路径端点表示为/>。通过计算节点/>和/>路径权重和的平均值，可以得到/>跳图的邻接矩阵/>，公式如下：
(10)；
其中，表示路径的中间节点。如果/>和/>之间有多条不同的路径，保留最大权重的/>条路径，其中/>根据具体情况设定。
输入数据首先经过全连接层，以统一中间层中的通道数量，得到全连接层输出，公式描述如下：
(11)；
其中，表示全连接层的权重；/>表示输入数据；/>表示全连接层的偏置。
由于图卷积层不会改变特征的数据形状，所以在级联网络中添加残差结构以增强鲁棒性，残差思想即每一跳的输入是前一跳的输出以及前一跳的输入。模型的多跳图卷积运算可以重写如下：
(12)；
其中，表示不同的跳数，/>表示第/>跳的/>。
一层只包含一跳，由于不同的跳数具有不同的感受野，在得到每一跳提取到的深层特征后，将每层的每一跳得到的特征输出按照如下公式进行拼以生成多跳图卷积提取后的最终深层特征，形成特征提取金字塔，用于后续分类过程；
(13)；
其中，表示输出的深层特征，/>表示第/>跳的特征输出，即对应第/>层的特征输出。
步骤3、使用多头注意力机制对提取的深层特征进行整合，生成代表性深层特征。具体过程如下：
将每个超像素点视为一个输入向量，将每个输入向量分别与三个可学习的权重矩阵、/>、/>相乘，以获得矩阵/>、/>、/>，其中/>、/>、/>由每个像素点/>的三个中间变量、/> i、/>组成，于是关于每个子头的注意力分数计算公式可写作：
(14)；
其中，表示第/>个子头/>经过注意力机制后的结果；/>表示进行注意力机制运算；/>表示第/>个子头；/>表示Softmax函数；/>表示输入特征与权重矩阵/>相乘得到的矩阵；/>表示输入特征与权重矩阵/>相乘得到的矩阵；/>表示输入特征与权重矩阵/>相乘得到的矩阵；/>是超像素数量，使梯度更稳定。
然后对每个子头的注意力分数进行拼接，实现多头注意力机制，生成代表性深层特征，即：
(15)；
其中，表示输出的代表性深层特征；/>表示子头总数。
最后根据步骤1所述的变换准则将特征图还原成像素级，以便于进行后续的分类过程。将像素级的代表性深层特征记为，/>包含所有像素点的代表性深层特征。
步骤4、使用深度对比增强损失函数协同学习最佳节点特征和原型，并利用得到的原型对每个像素点进行分类；
深度对比增强损失函数可表示为：
(16)；
其中，表示模型的参数；/>表示每个类最具有代表性的原型，/>表示第/>类的原型，/>表示类的数量，/>表示类的序号；/>表示样本的真实类别；表示第/>个样本属于第/>类的概率，可由下式计算：
(17)；
其中，表示陡度参数，由人为设定；/>表示第/>个样本的像素级代表性深层特征/>与第/>类的原型/>之间的距离，此处采用欧式距离。于是，所有未标记样本点的类别可由欧式距离决定，即，任意一个未标记数据点的类别与距离该数据点最近的原型的类别相同，写作如下公式：
(18)；
其中，表示第/>个样本的预测标签；/>表示第/>个样本距离所有原型的最小值。
步骤5、计算分类的总损失，根据总损失更新深度对比增强损失函数中模型的参数θ。具体过程如下：
在深度对比增强损失的基础上，另外提出一种基于熵的正则化方法，应用于所有标记和无标记的数据，来进一步增强提取特征的鉴别性以及原型的代表性。通过这种方式得到的原型不仅由标记数据影响，还受到未标记数据的影响，进一步增强原型的代表性。基于熵的正则化损失可以由下式表示：
(19)；
其中，表示所有样本/>的集合；/>表示样本总数量，/>表示样本序号；/>表示对每个样本类别的预测；
为了防止训练早期阶段，在模型未收敛阶段，可能产生意外偏差，采用以当前迭代次数/>为标准的约束来限制/>在训练早期的影响，使/>在训练早期对总损失的影响较小，随着训练过程进行，模型逐渐稳定而逐步减小对/>的限制，以提高模型的精度。具体实现过程可写作如下公式：
(20)；
(21)；
其中，表示某个/>下的约束因子；/>表示影响正则化预热期的参数，由人为设定；/>表示中间变量；/>代表当前迭代次数，/>代表迭代的总次数。
最终分类的总损失函数可以表示为如下公式：
(22)；
该总损失函数不仅从类别的角度约束了产生原型的准确性以及分类的准确性，也在训练过程中逐步加大所有数据对产生原型的约束力，使得产生的原型更能代表某种类别进而使得分类结果更加准确。
为了证明本发明的可行性与优越性，进行了如下实验。该实验采用印度松树（Indian Pines，IP）、帕维亚大学（University of Pavia，UP）以及萨利纳斯（Salinas，SA）数据集。其中，IP数据集包括16个类，涵盖了总共145×145个通道数为200的像素点；UP数据集有610×340个像素，每个像素有103个光谱带，涵盖了9个标记类；SA数据集则共有224个光谱带，包括512×217个像素点，有16个地面覆盖类别。本发明将PPF-CNN、DR-CNN、GCN以及S2GCN的结果与本发明提出的方法进行比较，其中，PPF-CNN为带有像素对特征的卷积神经网络；DR-CNN为具有六个不同patch的卷积神经分支网络；GCN为基本的图卷积模型；S2GCN为基于光谱空间的图卷积网络。采用总体准确度（OA），平均准确度（AA）和Kappa系数（k）作为评估标基准。为了得到可靠的结论，将所有评估重复10次取平均。对比结果如图1所示：
表1 本发明方法与其他方法在IP、UP和SA数据集上对比结果；
。
从表1中可以看出，本发明提出的方法与现有方法相比在性能上有较为明显的提升。具体而言，在IP数据集下，本发明方法得到的AA、OA以及k分别相较目前的先进技术上升了1.34%、1.04%和2.09%；在UP数据集下，则分别提升1.32%、3.82%和4.81%；在SA数据集下，分别提升了1.14%、0.73%和0.53%。其中SA数据集的土地覆盖相对集中，光谱多样性较低，所以显示出较好的分类结果。
将本发明方法与PPF-CNN、DR-CNN、GCN以及S2GCN方法在三个数据集上进行分类。本发明只展示各个方法在IP数据集上的分类效果对比，具体分类结果如图2-图7所示，图2为地面实况，图3-图7分别对应PPF-CNN、DR-CNN、GCN、S2GCN、本发明方法的分类结果。可以看出，图7所示的本发明方法的分类图中具有相对较少的噪声，并且边缘表示较为清晰，因此本发明方法具有较好的分类性能。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (3)
1.融合多跳图卷积和注意力的半监督高光谱图像分类方法，其特征在于，包括以下步骤：
步骤1、获取原始高光谱图像，采用SLIC函数和关系矩阵将原始高光谱图像编码成超像素图，确定像素和超像素之间的变换准则，并进行超像素分割；
步骤2、引入残差对超像素图进行多跳图卷积，并将不同跳数的特征进行拼接生成深层特征；
所述步骤2中，多跳图卷积运算公式如下：
(12)；
其中，表示第/>层的特征输出；/>表示对输入/>的归一化；/>表示激活函数；/>为/>的度矩阵，/>表示图的单位矩阵/>和邻接矩阵/>的总和；/>表示第/>跳的/>，/>表示不同的跳数；/>和/>表示两个不同隐藏图卷积层的权重参数；
一层只包含一跳，在得到每一跳提取到的深层特征后，将每层得到的特征输出按照如下公式进行拼接以生成多跳图卷积提取后的最终深层特征；
(13)；
其中，表示输出的深层特征，/>表示第/>跳的特征输出，即对应第/>层的特征输出；
步骤3、使用多头注意力机制对提取的深层特征进行整合，生成代表性深层特征；
所述步骤3的具体过程如下：将每个超像素点视为一个输入向量，关于每个子头的注意力分数计算公式为：
(14)；
其中，表示第/>个子头/>经过注意力机制后的结果；/>表示进行注意力机制运算；/>表示第/>个子头；/>表示Softmax函数；/>、/>、/>分别表示输入特征与三个不同的权重矩阵/>、/>、/>相乘得到的矩阵；/>是超像素数量；
然后对每个子头的注意力分数进行拼接，生成代表性深层特征，
(15)；
其中，表示输出的代表性深层特征；/>表示子头总数；
最后根据步骤1所述的变换准则将特征图还原成像素级，并将像素级代表性深层特征记为，/>包含所有像素点的代表性深层特征；
步骤4、使用深度对比增强损失函数协同学习最佳节点特征和原型，并利用得到的原型对每个像素点进行分类；
所述步骤4中，深度对比增强损失函数为：
(16)；
其中，表示模型的参数；/>表示所有类最具有代表性的原型，/>表示第/>类的原型，/>表示类的数量，/>表示类的序号；/>表示样本的真实类别；/>表示第/>个样本属于第/>类的概率，由下式计算：
(17)；
其中，表示陡度参数；/>表示第/>个样本的像素级代表性深层特征/>与第/>类的原型/>之间的距离；
任意一个未标记数据点的类别与距离该数据点最近的原型的类别相同，如下公式：
(18)；
其中，表示第/>个样本的预测标签；/>表示第/>个样本距离所有原型的最小值；
步骤5、计算分类的总损失，根据总损失更新深度对比增强损失函数中模型的参数。
2.根据权利要求1所述的融合多跳图卷积和注意力的半监督高光谱图像分类方法，其特征在于，所述步骤1的具体过程如下：
步骤1.1、获取原始高光谱图像后，采用SLIC函数自动将原始高光谱图像划分为超像素图，在自动划分过程中SLIC函数使用K-means聚类算法生成超像素图节点；
步骤1.2、根据关系矩阵对每一个像素进行编码，将原始高光谱图像编码成超像素图；关系矩阵通过如下公式表示：
(1)；
(2)；
其中，表示第/>个像素/>和第/>个超像素/>之间的关系；/>是高光谱原始像素/>的变形；/>表示展平函数；
步骤1.3、确定像素和超像素之间的变换准则，表示如下：
(3)；
(4)；
其中，表示超像素节点矩阵；/>表示像素到超像素图节点的映射；/>表示/>的列归一化；/>为转置符号；/>表示由超像素节点还原的像素级节点矩阵；/>表示超像素节点到像素的映射；/>表示将数据恢复到原始维度；
步骤1.4、进行超像素分割，得到无向图结构，表示为：
(5)；
其中，表示顶点集，/>表示边集；
、/>分别被编码为超像素节点矩阵/>和邻接矩阵/>。
3.根据权利要求1所述的融合多跳图卷积和注意力的半监督高光谱图像分类方法，其特征在于，所述步骤5中，在深度对比增强损失的基础上，提出基于熵的正则化损失，基于熵的正则化损失由下式表示：
(19)；
其中，表示所有样本/>的集合；/>表示样本总数量，/>表示样本序号；/>表示对每个样本类别的预测；
对进行约束，约束公式如下：
(20)；
(21)；
其中，表示某个/>下的约束因子；/>表示影响正则化预热期的参数；/>表示中间变量；代表当前迭代次数，/>代表迭代的总次数；
最终分类的总损失函数表示为如下公式：
(22)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108863.6A CN116824282B (zh) | 2023-08-31 | 2023-08-31 | 融合多跳图卷积和注意力的半监督高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108863.6A CN116824282B (zh) | 2023-08-31 | 2023-08-31 | 融合多跳图卷积和注意力的半监督高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824282A CN116824282A (zh) | 2023-09-29 |
| CN116824282B true CN116824282B (zh) | 2023-11-10 |
Family
ID=88117064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311108863.6A Active CN116824282B (zh) | 2023-08-31 | 2023-08-31 | 融合多跳图卷积和注意力的半监督高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824282B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392925A (zh) * | 2017-08-01 | 2017-11-24 | 西安电子科技大学 | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 |
| CN110516596A (zh) * | 2019-08-27 | 2019-11-29 | 西安电子科技大学 | 基于Octave卷积的空谱注意力高光谱图像分类方法 |
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN112633481A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种多跳图卷积神经网络模型及其训练方法 |
| CN113361334A (zh) * | 2021-05-18 | 2021-09-07 | 山东师范大学 | 基于关键点优化和多跳注意图卷积行人重识别方法及系统 |
| CN113723255A (zh) * | 2021-08-24 | 2021-11-30 | 中国地质大学（武汉） | 一种高光谱影像分类方法和存储介质 |
| CN113920442A (zh) * | 2021-09-29 | 2022-01-11 | 中国人民解放军火箭军工程大学 | 一种结合图结构与卷积神经网络的高光谱分类方法 |
| CN114155443A (zh) * | 2021-09-29 | 2022-03-08 | 中国人民解放军火箭军工程大学 | 一种基于多感受野图注意力网络的高光谱图像分类方法 |
| EP4095758A1 (en) * | 2021-05-28 | 2022-11-30 | Google LLC | Training large-scale vision transformer neural networks |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717354B (zh) * | 2018-07-11 | 2023-05-12 | 哈尔滨工业大学 | 基于半监督k-svd与多尺度稀疏表示的超像元分类方法 |
-
2023
- 2023-08-31 CN CN202311108863.6A patent/CN116824282B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392925A (zh) * | 2017-08-01 | 2017-11-24 | 西安电子科技大学 | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 |
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN110516596A (zh) * | 2019-08-27 | 2019-11-29 | 西安电子科技大学 | 基于Octave卷积的空谱注意力高光谱图像分类方法 |
| CN112633481A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种多跳图卷积神经网络模型及其训练方法 |
| CN113361334A (zh) * | 2021-05-18 | 2021-09-07 | 山东师范大学 | 基于关键点优化和多跳注意图卷积行人重识别方法及系统 |
| EP4095758A1 (en) * | 2021-05-28 | 2022-11-30 | Google LLC | Training large-scale vision transformer neural networks |
| CN113723255A (zh) * | 2021-08-24 | 2021-11-30 | 中国地质大学（武汉） | 一种高光谱影像分类方法和存储介质 |
| CN113920442A (zh) * | 2021-09-29 | 2022-01-11 | 中国人民解放军火箭军工程大学 | 一种结合图结构与卷积神经网络的高光谱分类方法 |
| CN114155443A (zh) * | 2021-09-29 | 2022-03-08 | 中国人民解放军火箭军工程大学 | 一种基于多感受野图注意力网络的高光谱图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| Feature pyramid network based on double filter feature fusion for hyperspectral image classification;Ge Wang 等;《2022 16th IEEE International Conference on Signal Processing (ICSP)》;全文 * |
| 基于Word Embedding的遥感影像检测分割;尤洪峰;田生伟;禹龙;吕亚龙;;电子学报(第01期);全文 * |
| 基于卷积神经网络的半监督高光谱图像分类;李绣心;凌志刚;邹文;;电子测量与仪器学报(第10期);全文 * |
| 结合自底向上注意力机制和记忆网络的视觉问答模型;闫茹玉;刘学亮;;中国图象图形学报(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824282A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728192B (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
| CN111259828B (zh) | 基于高分辨率遥感图像多特征的识别方法 | |
| CN111860612A (zh) | 无监督高光谱图像隐低秩投影学习特征提取方法 | |
| CN111738329A (zh) | 一种面向时间序列遥感影像的土地利用分类方法 | |
| CN109858557B (zh) | 一种新的高光谱图像数据半监督分类方法 | |
| CN113609889B (zh) | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 | |
| CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| Hu et al. | Delving into deep representations for remote sensing image retrieval | |
| CN108647682A (zh) | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 | |
| Wang et al. | A depthwise separable fully convolutional ResNet with ConvCRF for semisupervised hyperspectral image classification | |
| CN114842264A (zh) | 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 | |
| Chen et al. | Plant image recognition with deep learning: A review | |
| Yuan et al. | Few-shot scene classification with multi-attention deepemd network in remote sensing | |
| Li et al. | An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification | |
| Liu et al. | Hyperspectral image classification based on convolutional neural network and dimension reduction | |
| Yuan et al. | ROBUST PCANet for hyperspectral image change detection | |
| Jia et al. | Bipartite graph attention autoencoders for unsupervised change detection using vhr remote sensing images | |
| CN112381144B (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
| Wang et al. | MSFF-CDNet: A Multi-Scale Feature Fusion Change Detection Network for Bi-temporal High-Resolution Remote Sensing Image | |
| CN116824282B (zh) | 融合多跳图卷积和注意力的半监督高光谱图像分类方法 | |
| CN114821074B (zh) | 机载liDAR点云语义分割方法、电子设备及存储介质 | |
| Ghose et al. | Modeling extent-of-texture information for ground terrain recognition | |
| Zeng et al. | Masanet: Multi-angle self-attention network for semantic segmentation of remote sensing images | |
| CN113705718B (zh) | 基于多层次特征密集融合的遥感场景图像分类方法 | |
| Lv et al. | Multi-scale attentive region adaptive aggregation learning for remote sensing scene classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |