CN115376010A

CN115376010A - 一种高光谱遥感影像分类方法

Info

Publication number: CN115376010A
Application number: CN202210521373.8A
Authority: CN
Inventors: 李瑞瑞; 丁文达; 姜大光
Original assignee: Beijing University of Chemical Technology
Current assignee: Beijing University of Chemical Technology
Priority date: 2022-05-13
Filing date: 2022-05-13
Publication date: 2022-11-22

Abstract

本发明涉及一种高光谱遥感影像分类方法，包括：将预处理后的高光谱遥感图像进行数据划分；计算全局注意力权重矩阵，并基于全局注意力权重矩阵定义像素之间的关联关系，通过关联强度过滤不必要的连接，得到自适应的语义特征关联图表示；在自适应的语义特征关联图上进行特征聚合和特征嵌入；构建全卷积主干网络，以不分块的高光谱图像为输入，利用全卷积主干网络进行特征提取，并进行特征融合，得到分类结果。本发明可以自适应地捕捉特征之间的关联关系，从而以较低的计算成本构建特征关联图，并引入图卷积神经网络在特征关联图上进行特征聚合和特征嵌入，改善了高光谱遥感影像上下文信息感知问题。

Description

一种高光谱遥感影像分类方法

技术领域

本发明涉及一种轻量级自适应图学习机制的高光谱遥感影像分类方法，属于高光谱遥感影像分类技术领域。

背景技术

高光谱遥感成像是一项可以同时获取观测目标光谱和空间信息数据的实用技术，是对地观测的重要手段。高光谱遥感影像数据(Hyperspectral Imaging, HSI)集地物样本的空间信息和光谱信息于一身，空间信息可反应地物目标的规模、分布、形状等外部特征，而光谱信息可反应样本内部的物理结构、化学组成的差异，所以高光谱影像数据具备“图谱合一”的性质，非常有利于深入挖掘地物的理化特征或者精细识别不同的地物。

通常，在高光谱遥感图像中显示的数据具有以下特征：丰富的对象标签，大规模像素和高维特征。高光谱图像分类不仅需要解决“光谱冗余”还需要克服高光谱数据本身存在的“同物异谱”、“同谱异物”等问题。基于传统机器学习的高光谱分类方法主要通过数据降维、特征工程以及设计针对小样本的分类器来实现，其分类效果受到数据规模以及特征维数的限制。

近年来，人们提出了许多基于CNN的HSI分类方法，这些方法具有不同的注意机制。然而，这些方法往往具有较高的内存开销，并且缺乏聚合关联关系进行推理的网络模块。此外，这些基于CNN的方法通常遵循基于patch 的局部学习框架，该框架首先生成一组大小固定的密集patch集，然后进行 patch-wise分类。然而，这些方法一般计算冗余，这也限制了感知范围，进一步影响了分类的准确性。

发明内容

本发明的主要目的是针对高光谱遥感影像包含丰富的空间-光谱信息，通常CNN框架感知上下文语义信息不充分的局限性，提供一种轻量级自适应图学习机制的高光谱遥感影像分类方法。

本发明的目的是通过以下技术方案实现的：

一种高光谱遥感影像分类方法，包括以下步骤：

S1：将预处理后的高光谱遥感图像进行数据划分，获取到训练集、测试集和验证集；

S2：构建轻量自适应图学习模块，包括图构建模块和图卷积模块，其中，

图构建模块用于：计算全局注意力权重矩阵，并基于全局注意力权重矩阵定义像素之间的关联关系，通过关联强度过滤不必要的连接，得到自适应的语义特征关联图表示；

图卷积模块用于：在自适应的语义特征关联图上进行特征聚合和特征嵌入；

S3：构建全卷积主干网络，以不分块的高光谱图像为输入，利用全卷积主干网络进行特征提取，并进行特征融合，得到分类结果。

进一步的，步骤S2中，图构建模块还包括：通过计算全局注意力权重矩阵，建立特征与远程特征之间的依赖关系，以在表征时考虑到这些远程依赖。

进一步的，步骤S2中，图卷积模块还包括：在所述图卷积模块输入加权图，在邻域范围内传播消息时考虑不同邻域间的关联强度。

进一步的，步骤S3中，所述全卷积主干网络将底层卷积层的特征与经过图卷积聚合后的特征采用拼接的方式进行融合，通过联合训练CNN和GCN 来增强图像特征表示，并丰富特征多样性。

进一步的，在得到分类结果后，还包括对分类结果进行验证。

进一步的，对分类结果的验证包括：采用平均分类精度、整体分类精度、 Kappa系数对分类结果进行验证。

本发明的有益效果为：

本发明可以自适应地捕捉特征之间的关联关系，从而以较低的计算成本构建特征关联图，并引入图卷积神经网络在特征关联图上进行特征聚合和特征嵌入，进而充分利用全局上下文信息，改善了高光谱遥感影像上下文信息感知问题，解决了语义特征关联关系难建模的问题。此外，本发明方法弥补了主流CNN框架因以小尺寸图像块为输入而无法有效整合远程上下文信息的不足。且与之前的工作相比，该方法更加轻量高效。

附图说明

图1a和图1b分别为原始图学习模块和本发明所述轻量自适应图学习模块结构对比图。

图2为高光谱遥感影像分类方法整体结构图。

图3为不同算法部分检测结果对比图。

图4为网络模型参数训练流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种高光谱遥感影像分类方法，包括以下步骤：

划分数据集。为了验证本发明方法的有效性，需要将已标注数据中的纯背景切片剔除，并从数据集中按照每类随机抽取一定比例的像素分别作为训练集、测试集和验证集。

构建轻量自适应图学习模块，包括图构建模块和图卷积模块。轻量自适应图学习模块整体结构如图2所示，具体包括自适应特征图构建模块和加权语义特征图卷积模块。

其中，图构建模块可选为一种自适应特征图构建模块，用于计算全局注意力权重矩阵，并基于全局注意力权重矩阵定义像素之间的关联关系，通过关联强度过滤不必要的连接，得到自适应的语义特征关联图表示。

关于该模块，自注意力机制是一种资源分配机制，可以将感受野扩大至整张图像从而更好的感知全局上下文信息。通过计算全局注意力权重矩阵，建立特征与远程特征之间的依赖关系，从而在表征时考虑到这些远程依赖。

具体的，特征之间的关系表示为一个无向加权图G＝(V,E,A)，其中V表示顶点集，由高光谱影像像素组成，E表示边集，

表示邻接矩阵，如果顶点i和顶点j之间有一条边，则a_ij表示这条边的权重。令X＝(x₁,x₂,...,x_n)为高光谱影像中的所有像素特征，其中N为像素个数，K表示从注意力图中所抽取的最重要节点的个数。为了降低计算复杂度，我们使用全局注意力图与最重要的K个节点共享注意力权重，而不是图1a所示的传统的点积计算。该操作降低了计算注意力权重矩阵的计算复杂度从O(H²W²)到O(HW)。具体来说，首先将特征图输入到1×1卷积层中，然后应用Softmax激活函数得到全局注意力矩阵M_ij，其计算可表示为:

其中，W_l也表示一个线性变换，可以用1×1卷积核为来实现。在此之后，复制注意力权重矩阵K份，以形成邻接矩阵。Softmax激活函数来实现邻接矩阵A的归一化，使与同一个实例相关的所有边值的和为1。同样，原始图学习模型的注意力权重矩阵大小为(HW)×(HW)，而注意力权重矩阵大小仅为 (HWK)，因此，在提高模型效率的同时，可以显著减少内存占用。

图卷积模块可选为一种全局语义特征图卷积模块或全局语义特征图嵌入模块，用于在自适应的语义特征关联图上进行特征聚合和特征嵌入。该模块是一种直接在图结构数据上操作的多层神经网络，其目的是通过从图节点的邻域中聚合特征信息来推理节点间的关联关系，从而更加充分利用全局上下文语义信息。此外，该模块的输入是加权图，在邻域范围内传播消息时考虑到了不同邻域间的关联强度。因此，与其他基于图卷积的高光谱分类方法相比，本发明提出的方法更具竞争力。

具体来说，在每一层，GCN在节点的领域范围内聚合信息。它的分层传播规则定义为：

式中，

即上一节中计算得到的邻接矩阵的归一化形式，D 是度矩阵D_ii＝∑_jA_ij，I_N表示单位矩阵,H^(l-1)和H^(l)是l^th层的输入和输出，σ(·)表示激活函数，

是当前层可学习的权重矩阵。

公式(2)即本发明所遵循的图卷积的传播规则。可以看出图中的每个节点无时无刻不因为领域和更远的点的影响，而在改变着自身的状态直到最终的平衡，关系越亲近的领域影响越大，使得相邻的节点在特征上更加接近。

构建全卷积主干网络，如图3所示。该网络包含两个主要分支，包括一个高效的图学习机制用于全局上下文信息学习，以及一个深度的FCN作为骨干网络用于空-谱特征提取。

该模块以不分块的W×H大小的高光谱图像为输入，利用全卷积主干网络进行特征提取，并进行特征融合，得到分类结果。以此，突破传统卷积神经网络感受野有限的限制。

为了避免破坏HSI的空间结构以及更好的捕捉远程上下文信息，本发明将不分块的W×H大小的HSI作为输入，直接利用全卷积骨干网络进行特征提取。具体地，采用正则卷积核提取光谱空间特征，即：

其中，F^l是卷积层特征图的第L个通道。σ(·)表示激活函数，W^l是卷积核， b^l表示偏置项。

在本发明中，为了进一步增强网络的鲁棒性，本发明将底层卷积层的特征与经过图卷积聚合后的特征采用拼接的方式进行融合，通过联合训练CNN 和GCN来增强特征识别能力，表示为：

其中，F_cat表示拼接后的特征，通过将特征融合，结合了CNN和GCN的优点，从而实现更好的特征表示。

对于高光谱遥感影像分类任务，本发明引入交叉熵损失函数，来度量网络输出与像素标签之间的差异，即：

其中，Y_ic是训练数据的真实标签值，C是类别数。

实施例1

本发明实施使用的样例数据是Indian pines(IP)、Pavia University(PU)和Kennedy Space Center(KSC)这三个常用的数据集。数据集详细情况描述如下：

IP数据集是在印第安纳州西北部的印度松树试验场上空通过AVIRIS传感器采集的。该数据集影像空间分辨率为20m×20m，大小为145×145像素，在400-2500nm的波长范围内有220个波段，去除水汽吸收和低信噪声比波段后，只保留200个波段进行实验。Indian Pines中三分之二为农作物，其余三分之一为森林或其他天然植被。该数据包括16种主要的土地覆盖类别，这些类别并不都是相互排斥的。

PU数据集是由ROSIS传感器在意大利北部帕维亚大学采集而来的，该影像由610×340像素组成，空间分辨率为1.3m×1.3m，在430-860nm的波长范围内拥有115个波段，同样的，去除其中包含噪声的波段后，保留剩下的103 个波段。

KSC数据集共包含13种地物类别，影像大小为512×614像素，空间分辨率是18m。去除其中包含水汽吸收和噪声的波段后，该数据集在0.4-2.5um的波长范围内有176个波段。

具体实施步骤如下所示：

高光谱遥感数据的预处理。

本发明针对高光谱遥感数据进行像素级的地物目标分类，需要从数据集中分别抽取一定比例的像素作为训练集、验证集和测试集。对于IP数据集，从每个类别中随机抽取10％，1％，89％的样本，分别作为训练集、验证集和测试集；PU数据集，从每个类别中随机抽取1％，1％，98％的样本，分别作为训练集、验证集和测试集；而对于KSC数据集，训练集、验证集和测试集的占比分别为每个类别的5％，1％，94％。

设定网络具体参数。

(1)全卷积主干网络参数

本发明以深层FCN网络作为主干网络，并做了一些细节上的调整来适应高光谱遥感数据。以KSC数据集为例，针对输入维度176*512*614的高光谱遥感数据，首先使用BN层进行标准化，之后堆叠卷积滤波器来进行维度变换并进行滤波，详细细节见表1。特征融合是将两组尺度大小相同的特征图进行通道维度方向的拼接，拼接之后尺度大小不变，通道维度为二者原始通道维度相加。

主干网络由4个具有相似结构的卷积组合堆叠而成，每个模块包含BN层、两个卷积层和激活函数，经过每个模块后的输出维度显示在表1中。

表1特征提取网络参数的设置

(2)轻量自适应图学习模块参数

轻量自适应图学习模块包括图构建模块与图卷积模块，图构建模块中包含一个1×1卷积将特征投影到嵌入空间，并使用softmax函数进行归一化处理，得到表征图结构的邻接矩阵，之后变换特征维度与邻接矩阵一同输入到图卷积模块中。

(3)其他实验参数设定

本发明基于PyTorch框架实现，并使用Adam对网络进行优化，设置学习速率为0.0005，权重衰减为0.0002，批大小设置为1，学习迭代次数为1000。模型在配备16G内存和英伟达GTX1080Ti显卡的计算机上运行。为了减少随机初始化对性能的影响，所有实验都重复执行10次，并记录平均结果。为了从各个方面定量分析不同的高光谱图像分类模型，以总体精度(OA)，平均精度(AA)，Kappa系数和每类精度(the per-class accuracy)作为指标。

训练网络模型

通过以上步骤将数据和网络结构都准备好后，接下来开始训练网络模型。将高光谱遥感数据输入到网络，在训练时，将验证集、测试集所涉及的像素掩码。验证、测试时同理。当所有的训练数据都在网络中训练过一遍后即为完成一轮(epoch)迭代。训练前会先设定最大的训练轮数，每完成一轮迭代后会利用当前的模型参数对验证集进行一次测试，并记录下验证集的测试精度，每当出现更好的验证结果时就将当前网络模型保存下来。

网络模型参数的训练过程如图4流程所示，具体步骤如下：

1)对网络的参数进行初始化。

2)开始进行一轮迭代。

3)对训练数据进行打乱并输入到网络中

4)经过网络的前向计算得到输出结果，再通过总的损失函数得到本次迭代的损失。

5)通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重W和偏置b的梯度。

6)最后再通过Adam优化函数更新网络参数。

7)回到步骤4)进行下一个批次的迭代，直到所有的批次全都完成计算即为完成一轮迭代。

8)用此刻的模型对验证集的数据进行测试，并记录结果。

9)返回步骤2)，直到达到设定的最大的训练轮数。

结果预测与验证

对照高光谱遥感影像分类算法整体结构图2，结果预测过程伪代码如下：

为了验证本发明方法在高光谱遥感数据集上的表现，针对三个通用数据集进行结果验证并与其他常用算法进行对比，针对显存占用和训练时间与其他算法进行对此，除此之外对轻量自适应图学习模块进行消融实验。

表2本发明方法与其他常用算法结果对比

表2中展示了本发明的实验结果以及其他一些检测方法，部分结果对比如图3所示，可以看到，本发明方法在三个通用的数据集上表现优异，整体分类精度(OA)、平均分类精度(AA)和Kappa这三个评价指标上要优于其他方法。从分类图中可以看到，本发明方法拥有更少的错分点，且在边界处更加平滑。

表3轻量自适应图学习模块消融实验

	IP	PU	KSC
				Baseline	97.66％	98.05％	98.19％
GCN-1	98.82％	99.15％	99.64％
				GCN-2	99.12％	99.22％	99.65％
GCN-3	99.13％	99.19％	99.65％

表3中Baseline代表在保持模型其他参数不变的情况下，删除图学习模块，从表中可以看出，与只有一层GCN的模型(GCN-1)相比，堆叠更多GCN 层的模型(GCN-2、GCN-3)拥有更好的分类性能，这是因为通过多次邻域聚合，可以获取到多跳邻居节点的信息，从而更好地捕捉远程上下文信息。为了平衡计算成本和分类精度，本发明最终在该模型中嵌入两层图卷积。

表4显存占用和训练时间对比实验

表4在三个数据集上比较了本发明提出的框架和原始图学习模块、 ENL-FCN模型的GPU内存占用(MB)和训练时间(s)，在相同的条件下进行了所有的测试。可以从结果中观察到，在KSC数据集上，利用原始图学习模块建图的分类模型比本文中提出的方法使用了超过十倍的GPU内存和100倍的时间，ENL-FCN比我们的方法使用了接近两倍的GPU内存和8倍的训练时间。说明了本发明可以显著节省计算资源。从时间对比来看，大大减少了框架的图学习组件所需的时间。这是因为本发明构建的图表示数据是轻量稀疏的，所以在训练时可以更快的收敛，性能更优异。

综上，本发明中，基于自注意力的图构建机制与图卷积神经网络共同构成了轻量自适应图学习模块，将其嵌入到全卷积神经网络可以充分融合局部信息与全局信息提高特征多样性，轻量级自适应图学习模块与全卷积神经网络联合构成了高光谱遥感影像分类框架。轻量级自适应图学习模块可以充分感知影像中的全局上下文语义信息，通过计算学习得到像素间的特征相似度来构建能表征高光谱遥感影像的光谱-空间语义特征关系图表示。

与利用像素间的欧式距离直接建图方法相比，引入自注意力机制可以在训练过程中基于图像特征计算像素间的注意力系数，针对不同的数据集生成与自身情况相适应的特征图表示，解决了语义特征关联关系难建模的问题。

此外，降低像素间的相似度计算复杂度得到全局注意力系数矩阵，并在稀疏的语义特征关联图上进行特征推理，避免了无效的矩阵运算和内存占用，解决了之前工作无法适用大规模数据集的局限性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种高光谱遥感影像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，步骤S2中，图构建模块还包括：通过计算全局注意力权重矩阵，建立特征与远程特征之间的依赖关系，以在表征时考虑到这些远程依赖。

3.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，步骤S2中，图卷积模块还包括：在所述图卷积模块输入加权图，在邻域范围内传播消息时考虑不同邻域间的关联强度。

4.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，步骤S3中，所述全卷积主干网络将底层卷积层的特征与经过图卷积聚合后的特征采用拼接的方式进行融合，通过联合训练CNN和GCN来增强图像特征表示，并丰富特征多样性。

5.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，在得到分类结果后，还包括对分类结果进行验证。

6.根据权利要求5所述的一种高光谱遥感影像分类方法，其特征在于，对分类结果的验证包括：采用平均分类精度、整体分类精度、Kappa系数对分类结果进行验证。