CN111160396B - 一种基于多图结构的图卷积网络的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多图结构的图卷积网络的高光谱图像分类方法，包括读入高光谱图像立方体和训练集；高光谱数据重排列得到像素数据矩阵；根据像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；利用图卷积网络分别对强制最近邻连接矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵A_F进行分类，最后验证高光谱图像分类结果。

Description

一种基于多图结构的图卷积网络的高光谱图像分类方法

技术领域

本发明涉及高维图像处理技术领域，具体涉及一种基于多图结构的图卷积网络的高光谱图像分类方法。

背景技术

高光谱图像是一种由高光谱图像传感器获取的、光谱维度波段数量较多的图像立方体，每个像素都由一定谱段范围内的光谱特征构成。光谱特征是目标地物的一种本质特征，反映了地物的材质组成等特性。相比起传统的单波段图像和多光谱图像，高光谱图像的光谱波段数量多达上百个，含有丰富的光谱信息。同时，高光谱图像的大数据量以及高维度的特征也给图像处理以及分类任务带来了巨大的挑战。另外由于标记样本的难度也相当大，需要进行实地的探测考察，因此标记的人力成本和时间成本较高，导致高光谱图像的标记样本无法大量提供。在这种情况下，高光谱图像分类时容易出现维度灾难等现象。其中，一些现有方法利用了大量的未标记样本的信息，计算并构建未标记样本与标记样本之间的关系，提升分类性能，降低标记样本不足的影响。

在已有的图卷积网络对高光谱图像进行分类的方法中，能够获得不错的分类准确率，但是当标记样本数量较少的情况下，分类的准确率不太理想。基于图卷积网络的高光谱图像分类方法对图的结构和标记样本的数量有一定的要求，在训练样本较少的情况下，如何充分利用高光谱图像的光谱信息和空间信息来设计图的结构来提高分类准确率是一个挑战。

发明内容

为了克服现有技术中的缺点与不足，本发明提供一种基于多图结构的图卷积网络的高光谱图像分类方法。

本发明采用如下技术方案：

一种基于多图结构的图卷积网络的高光谱图像分类方法，包括如下步骤：

S1读入高光谱数据立方体H(x,y,z)和训练集

其中x、y表示空间像素点位置，z表示所处光谱波段位置，

为训练像素集合，Y_L为对应的训练标签集合；

S2将高光谱图像立方体数据按像素的列顺序取出，重排列成像素数据矩阵V＝[v₁,v₂,...,v_N]^T，其中N是高光谱图像像素总数，每个像素点有b个特征；

S3根据像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；

S4利用图卷积网络分别对强制最近邻连接矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；

S5特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵A_F进行分类。

优选的，所述S3中构建强制最近邻连接矩阵，具体如下：

采用高斯径向基函数计算像素数据矩阵的全连接权重矩阵W，其中像素v_i和像素v_j间的连接权重为：

其中，W_ii＝0，σ＝1；

根据全连接权重矩阵W，计算每个像素点除自身外的k近邻；

构造强制最近邻的连接矩阵W_NN，其大小为N×N，具体为：将每个像素与其最近邻像素相连，并将强制最近邻的连接矩阵中对应位置的值设置为1，无连接的位置的值设置为0。

优选的，所述S3中，构建空间近邻连接矩阵，具体是构造互f近邻的连接矩阵W_SNN，大小为N×N，

在像素数据矩阵中，若v_p在v_i的f近邻域，v_i也在v_p的f近邻域，则连接两个像素点，设置互f近邻的连接矩阵W_SNN中第i行第j列的值为1，以及第j行第i列的值为1。

优选的，所述S4中具体过程为：

A_NN＝W_NNVM，A_SNN＝W_SNNVM_S，其中M与M_S是大小为b×16的权重矩阵，W_NN为最近邻连接矩阵，W_SNN为空间近邻连接矩阵。

优选的，所述S5中特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵A_F进行分类，具体为：

拼接特征矩阵，得到A＝[A_NN,A_SNN]，然后利用图卷积网络对特征矩阵A进行卷积，得到特征矩阵A_F＝W_NNReLU(A)M₂，其中ReLU为线性整流函数，M₂是32×16的权重矩阵。

优选的，f为8。

优选的，所述根据全连接权重矩阵W，计算每个像素点除自身外的k近邻；

对于像素v_i，计算该像素与所有的像素的连接权重W_i＝{W_i1,W_i2,...,W_iN}，取出除W_ii外的前k个最大的权重。

本发明的有益效果：

(1)本发明提供的基于多图结构的图卷积网络的高光谱图像分类方法，使用了强制最近邻和互k近邻的方法来构造不同的图结构，弥补的单一图结构所包含的高光谱图像的信息不足的局限性。通过拼接不同图结构所提取的特征，增强了不同类别之间的差异，提升分类准确率；

(2)现有技术中基本图网络分类方法首先利用高光谱图像计算出建模像素间的不规则连接，然后通过强制最近邻等规则构建的连接结构，使用标记样本训练图网络和分类器，最后再对未标记样本进行分类，本发明针对高光谱图像构建的图结构的方法单一，忽略了高光谱图像的空间信息的缺陷，本发明基于多图结构的图卷积网络的高光谱图像分类方法，使用多种近邻方式构造图结构，更有效地提取高光谱图像的不同特征，使得在训练样本比较少的情况下获得更好的分类准确率。

附图说明

图1是本发明的工作流程图；

图2是对于AVIRIS Indian Pines图像的训练样本标签，图像中的像素点被分为12类，训练样本是在AVIRIS Indian Pines图像中对每类随机采样10个像素点得到的。

图3是测试样本标签，图像中的像素点被分为12类，图中抽取的训练样本对应图2所示情况。

图4是全体样本标签，采用本发明提出的基于多图结构的图卷积网络的高光谱图像分类方法对AVIRIS Indian Pines图像分类得到的结果，图像中的像素点被分为12类。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于多图结构的图卷积网络的高光谱图像分类方法，包括如下步骤：

S1读入高光谱数据立方体H(x,y,z)和训练集

其中x、y表示空间像素点位置，z表示所处光谱波段位置，

为训练像素集合，Y_L为对应的训练标签集合；

S2将高光谱图像立方体数据按像素的列顺序取出，重排列成像素数据矩阵V＝[v₁,v₂,...,v_N]^T，其中N是高光谱图像像素总数，每个像素点有b个特征；

例如：图像大小本来是20*20，使用类似reshape的函数变成大小是(400，1)矩阵。

S3根据像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；

所述进行强制最近邻连接矩阵的构建，具体为：

采用高斯径向基函数计算像素数据矩阵的全连接权重矩阵W，其中像素v_i和像素v_j间的连接权重为：

其中，W_ii＝0，σ＝1；

根据全连接权重矩阵W，计算每个像素点除自身外的k近邻，具体为：对于像素v_i，计算该像素与所有的像素的连接权重W_i＝{W_i1,W_i2,...,W_iN}，取出除W_ii外的前k个最大的权重，以及它们对应被连接像素。

构造强制最近邻的连接矩阵W_NN，其大小为N×N，具体为：将每个像素与其最近邻像素相连，并将强制最近邻的连接矩阵中对应位置的值设置为1，无连接的位置的值设置为0。

构建空间近邻连接矩阵，具体是构造互f近邻的连接矩阵W_SNN，大小为N×N，

在像素数据矩阵中，若v_p在v_i的f近邻域，v_i也在v_p的f近邻域，则连接两个像素点，设置互f近邻的连接矩阵W_SNN中第i行第j列的值为1，以及第j行第i列的值为1。

S4利用图卷积网络分别对强制最近邻连接矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；

具体：A_NN＝W_NNVM，A_SNN＝W_SNNVM_S，其中M与M_S是大小为b×16的权重矩阵。

S5特征矩阵进行拼接，得到A＝[A_NN,A_SNN]，再次利用图卷积网络对特征矩阵A进行卷积，得到特征矩阵A_F＝W_NNReLU(A)M₂，其中ReLU为线性整流函数，M₂是大小为32×16的权重矩阵；

S6使用softmax分类器对像素的特征矩阵A_F进行分类,可以分为12类，比如说未耕作的玉米地，草地-牧场，未耕作的大豆地，稍作耕作的大豆地，木材。

S7验证高光谱图像分类结果，一般采用总体准确率为标准。

图2是对于AVIRIS Indian Pines图像的训练样本标签，图像中的像素点被分为12类，训练样本是在AVIRIS Indian Pines图像中对每类随机采样10个像素点得到的。

图3是测试样本标签，图像中的像素点被分为12类，图中抽取的训练样本对应图2所示情况。

图4是全体样本标签，采用本发明提出的基于多图结构的图卷积网络的高光谱图像分类方法对AVIRIS Indian Pines图像分类得到的结果，图像中的像素点被分为12类。

由图4得到表1利用基于多图结构的图卷积网络的高光谱图像分类方法以及图2训练样本对AVIRIS Indian Pines高光谱图像的测试样本进行分类，得到的准确率。其中，待分类的像素来自于12个类。

表1

每类训练样本个数	10
		分类准确率(％)	58.92

本实施例所述方法的优势如下：

本发明提供的基于多图结构的图卷积网络的高光谱图像分类方法，使用了强制最近邻和互k近邻的方法来构造不同的图结构，弥补的单一图结构所包含的高光谱图像的信息不足的局限性。通过拼接不同图结构所提取的特征，增强了不同类别之间的差异，一定程度上提升分类准确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于多图结构的图卷积网络的高光谱图像分类方法，其特征在于，包括如下步骤：

S1、读入高光谱数据立方体H(x,y,z)和训练集

其中x、y表示空间像素点位置，z表示所处光谱波段位置，

为训练像素集合，Y_L为对应的训练标签集合；

S2、将高光谱图像立方体数据按像素的列顺序取出，重排列成像素数据矩阵V＝[v₁,v₂,...,v_N]^T，其中N是高光谱图像像素总数，每个像素点有b个特征；

S3、根据像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；

S4、利用图卷积网络分别对强制最近邻连接矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；

S5、特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵A_F进行分类；

所述S3中构建强制最近邻连接矩阵，具体如下：

采用高斯径向基函数计算像素数据矩阵的全连接权重矩阵W，其中像素v_i和像素v_j间的连接权重为：

其中，W_ii＝0，σ＝1；

根据全连接权重矩阵W，计算每个像素点除自身外的k近邻；

构造强制最近邻的连接矩阵W_NN，其大小为N×N，具体为：将每个像素与其最近邻像素相连，并将强制最近邻的连接矩阵中对应位置的值设置为1，无连接的位置的值设置为0；

所述S5中特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵A_F进行分类，具体为：

拼接特征矩阵，得到A＝[A_NN,A_SNN]，然后利用图卷积网络对特征矩阵A进行卷积，得到特征矩阵A_F＝W_NNReLU(A)M₂，其中ReLU为线性整流函数，M₂是32×16的权重矩阵。

2.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述S3中，构建空间近邻连接矩阵，具体是构造互f近邻的连接矩阵W_SNN，大小为N×N，

在像素数据矩阵中，若v_j在v_i的f近邻域，v_i也在v_p的f近邻域，则连接两个像素点，设置互f近邻的连接矩阵W_SNN中第i行第j列的值为1，以及第j行第i列的值为1。

3.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述S4中具体过程为：

A_NN＝W_NNVM，A_SNN＝W_SNNVM_S，其中M与M_S是大小为b×16的权重矩阵，W_NN为最近邻连接矩阵，W_SNN为空间近邻连接矩阵。

4.根据权利要求2所述的高光谱图像分类方法，其特征在于，f为8。

5.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述根据全连接权重矩阵W，计算每个像素点除自身外的k近邻；

对于像素v_i，计算该像素与所有的像素的连接权重W_i＝{W_i1,W_i2,...,W_iN}，取出除W_ii外的前k个最大的权重。

Images