CN113344103B - 基于超图卷积神经网络的高光谱遥感图像地物分类方法 - Google Patents

Abstract

本发明公开了一种基于超图卷积神经网络的高光谱遥感图像地物分类方法，包括：提取高光谱遥感图像的多模态特征；基于不同模态特征构建超图；将超图和高光谱遥感图像输入至超图卷积神经网络提取特征，并利用全梯度下降法优化损失函数，得到地物分类结果。本发明分类精度高、速度快，提高了分类效率。

Description

基于超图卷积神经网络的高光谱遥感图像地物分类方法

技术领域

本发明涉及模式识别与机器学习技术领域，更具体的说是涉及基于超图卷积神经网络的高光谱遥感图像地物分类方法。

背景技术

遥感技术随着上世纪70年代第一颗遥感卫星Landsat-1发射之后得到了迅速的发展和广泛的关注。其中得益于光谱传感器以及光谱成像技术的进步，使得对目标区域进行数十至上百个连续波段的成像成为可能，这便是高光谱遥感技术。不同于可见光和多光谱图像，高光谱遥感图像第一次真正意义上将光谱信息与图像结合起来。由于光谱通道数的急剧增多，高光谱图像也被称作高光谱立方体，即高光谱图像多被表示为三维数据块而不是常规图像的二维数据。高光谱图像如今被广泛应用于食品安全检测、医疗辅助诊断和土地资源管理等领域。其中一项具有挑战性的任务便是地物分类，也被称作高光谱图像分类。

遥感图像分类是指对遥感图像进行逐像素的分类，类似于计算机视觉领域的语义分割任务。高光谱图像分类属于特殊的遥感图像分类，主要的区别在于样本数量以及类别丰富度和分类精度上。得益于更丰富的光谱信息，高光谱图像可以在样本数量更少的情况下进行多类别的精确地物分类。与此同时，大量的光谱信息会造成信息冗余的问题，样本数量不够也会造成方法过拟合等问题，这些问题都增加了高光谱分类的研究难度。

因此，如何提供一种分类精度高的高光谱遥感图像地物分类方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于超图卷积神经网络的高光谱遥感图像地物分类方法，分类精度高、速度快，提高了分类效率。

为了实现上述目的，本发明采用如下技术方案：

基于超图卷积神经网络的高光谱遥感图像地物分类方法，包括：

提取高光谱遥感图像的多模态特征；

基于不同模态特征构建超图；

将所述超图和所述高光谱遥感图像输入至超图卷积神经网络提取特征，并利用全梯度下降法优化损失函数，得到地物分类结果。

优选的，所述多模态特征包括光谱特征和空间特征。

优选的，利用主成分分析法提取所述高光谱遥感图像的光谱特征X_spectral；

利用空间位置编码方法提取所述高光谱遥感图像的空间特征X_spatial，计算公式为：

X_spatial[i]＝[x(i)，y(i)]

其中，x(i)，y(i)分别表示像素点i的横纵坐标。

优选的，基于不同模态特征构建超图具体为：

假设高光谱遥感图像中的每个像素点表示一个样本，将所述光谱特征和所述空间特征表示样本的特征，利用度量函数计算样本之间的相似性；

根据样本之间的相似性生成样本之间存在超边的概率，生成超图的关联矩阵，完成超图的构建。

优选的，关联矩阵H计算公式为：

其中，x_i表示第i个样本的特征,x_j表示第j个样本的特征，

表示x_j的k个邻居，mean表示k个邻居与样本x_j欧式距离的均值。

优选的，所述超图卷积神经网络利用所述关联矩阵H表示超图数据；

所述超图的卷积运算为：

其中，Θ是可训练参数，W为超边权重矩阵，Y是卷积运算后的输出，H是关联矩阵，D_v和D_e分别表示顶点度和边度的对角线矩阵，每个顶点度定义为d(v)＝∑_e∈Eω(e)h(v，e)和每个边度定义为δ(e)＝∑_v∈Vh(v，e)，V表示超图中顶点集合，E表示超图中超边集合；其中，

v表示超图顶点，e表示超图的超边；

所述超图卷积神经网络的卷积层通过超图卷积运算和非线性激活函数得到，计算公式为：

其中，X^(l+1)是第l层的输出，σ是用于非线性激活的RELU函数，Θ^(l)是可训练的参数，W是可训练的超边权重矩阵。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于超图卷积神经网络的高光谱遥感图像地物分类方法。本发明使用的方法采用光谱和空间构建超图结构，使用光谱和空间特征构建的超边能够表示长距离的关系。得益于有效结合长短距离依赖关系以及超图卷积的强大特征表示能力，本发明的方法分类精度高、速度快，提高了分类效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的基于超图卷积神经网络的高光谱遥感图像地物分类方法流程示意图。

图2附图为本发明提供的算法整体框架图。

图3附图为本发明提供的图结构与超图结构对比示意图，其中图3(a)为图结构，图3(b)为超图结构。

图4附图为本发明算法在Indian Pines数据集上的分类表现对比图，其中图4(a)表示真值，图4(b)表示本算法的分类结果。

图5附图为本发明算法在Botswana数据集上的分类表现对比图，其中图5(a)表示真值，图5(b)表示本算法的分类结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于超图卷积神经网络的高光谱遥感图像地物分类方法，包括：

S1：提取高光谱遥感图像的多模态特征；

a.光谱特征的获取

高光谱图像存在高维的光谱特征，特征间存在的冗余会导致hughes现象，即随着特征维数增多，分类效果变差。因此，选用主成分分析的方法进行特征的降维得到光谱特征X_spectral。

b.空间特征的获取

空间特征是指像素邻域的特征，本算法使用空间位置编码的方法提取图像的空间特征，如下：

X_spatial[i]＝[x(i)，y(i)] (1)

x(i)，y(i)分别表示像素点i的横纵坐标。

S2：基于不同模态特征构建超图；

从多模态特征中提取超图结构需要两步，第一步是使用特定的度量函数确定样本之间的相似性，第二步根据样本之间的相似性生成样本之间存在超边的概率。

对于高光谱数据，将每个像素点看作一个样本，并将提取好的光谱特征和空间特征当作样本的特征。

采用欧氏距离作为度量函数，并使用如下的公式生成超图的关联矩阵H：

x_i表示第i个样本的特征,x_j表示第j个样本的特征，

表示x_j的k个邻居，mean表示k个邻居与样本x_j欧式距离的均值。

S3：将超图和高光谱遥感图像输入至超图卷积神经网络提取特征，并利用全梯度下降法优化损失函数，得到地物分类结果。

超图数据是一种更广义的图数据，主要区别在于超图的边没有度的限制，而图结构中每条边的度都必须为2，即每条边只负责两个节点之间的连接，如图3所示。

超图卷积神经网络与普通的图网络相比有几点改进之处。首先超图卷积神经网络不在局限于邻接矩阵进行计算，更方便进行特征融合。另外，超图卷积神经网络可以通过学习权重矩阵动态更新超边的权重，相较于图网络中无法改变的图结构，超图卷积神经网络更加灵活。下面详细介绍超图卷积神经网络。

a.超图定义：

一个简单无向图可以用顶点V和边E的集合表示为G＝(V，E)。与简单无向图结构不同的是，超图中的超边无度的限制，这意味着超边可以连接两个以上的顶点。此外，每个超边e也有一个超边置信参数w(e)。因此，超图可以定义为G＝(V，E，W)，其中，V表示超图中顶点集合，E表示超图中超边集合，W为超边权重集合。超图卷积网络使用关联矩阵H表示超图数据,H的行和列(尺寸，|V|×|E|)分别表示节点和边,如下所示：

给出一个H矩阵，超图拉普拉斯矩阵可计算为：

其中，D_v和D_e分别表示顶点度和边度的对角线矩阵，每个顶点度定义为d(v)＝∑_e∈Eω(e)h(v，e)和每个边度定义为δ(e)＝∑_v∈Vh(v，e)，D_v和D_e的作用可简单概括为归一化关联矩阵H,W为超边权重集合。

b.超图卷积：

图卷积是基于谱图理论。简而言之，谱图理论采用图拉普拉斯矩阵的特征值和特征向量来研究图的性质，并由此导出了图的卷积。超图卷积由图卷积改进而来。给定超图G＝(V，E，W)，信号(顶点)x的傅里叶变换定义为：

其中Φ可以通过对角化正半定矩阵L计算：

L＝ΦΛΦ^T (6)

其中Φ＝diag(φ₁，...，φ_n)包含正交特征向量，Λ＝diag(λ₁，...，λ_n)是由特征值组成的对角矩阵。则信号x与滤波器g的超图卷积运算可记为:

g★x＝Φ((Φ^Tg)⊙(Φ^Tx))＝Φg(Λ)Φ^T (7)

其中g(Λ)＝diag(g(λ₁)，...，g(λ_n))是傅里叶系数，也可以看作卷积核函数，代表哈代码积。为了减少求特征向量的计算复杂度，使用切比雪夫多项式拟合g(Λ)：

其中

是重新缩放的Λ，以确保输入。切比雪夫多项式在[1，-1]之间，T_k为k阶切比雪夫多项式，由下式计算得到：

T_k(x)＝cos(k·arccos(x)) (9)

将公式8、9代入公式7可以得到：

其中

是缩放后的L，/>

θ_k是可训练参数。在降低计算复杂度后，进一步设置k＝1，λ_max≈2。因此，超图的卷积运算可以进一步简化为：

其中θ₀和θ₁可以用一个参数θ代替以避免过拟合，定义为：

然后，进一步推导了超图的卷积运算：

其中W为超边的权值矩阵，通常提前计算或直接初始化为单位矩阵。

给定一个具有n个顶点和c₁个特征通道的超图数据

超图上的卷积运算可以定义为：

其中W＝diag(w₁，w₂，...，w_n)表示超边权重集合，可训练，Θ是可训练参数。Y是卷积运算后的输出。

c.超图卷积神经网络：

完整的超图卷积层是通过上述超图卷积运算加上非线性激活函数得到的，其表达式为：

其中X^(l+1)是第l层的输出，σ是用于非线性激活的RELU函数，θ^(l)是可训练的参数。W为超边的权重矩阵，可训练，H矩阵是从多模态特征中提取出的超图结构，其余参数可由H矩阵计算得出。

实验验证部分：

本文使用了两个常见的高光谱遥感分类数据集，Indian Pines和Botswana数据集。其中：

Indian Pines：空间分辨率20m，谱段范围0.4～2.5μm，波段数220，地物种类为16类，图像大小为145×145。

Botswana：空间分辨率30m，谱段范围0.4～2.5μm，波段数242，地物种类为14类，图像大小为1476×256。

实验结果如下图所示，图4为本算法在Indian Pines数据集上的分类表现，达到了92.41％的分类精度。图5为本算法在Botswana数据集上的分类表现，达到了98.43％的分类精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.基于超图卷积神经网络的高光谱遥感图像地物分类方法，其特征在于，包括：

提取高光谱遥感图像的多模态特征；

基于不同模态特征构建超图；

将所述超图和所述高光谱遥感图像输入至超图卷积神经网络提取特征，并利用全梯度下降法优化损失函数，得到地物分类结果，

所述多模态特征包括光谱特征和空间特征，

利用主成分分析法提取所述高光谱遥感图像的光谱特征X_spectral；

利用空间位置编码方法提取所述高光谱遥感图像的空间特征X_spatial，计算公式为：

X_spatial[i]＝[x(i),y(i)]

其中，x(i)，y(i)分别表示像素点i的横纵坐标，

基于不同模态特征构建超图具体为：

假设高光谱遥感图像中的每个像素点表示一个样本，将所述光谱特征和所述空间特征表示样本的特征，利用度量函数计算样本之间的相似性；

根据样本之间的相似性生成样本之间存在超边的概率，生成超图的关联矩阵，完成超图的构建，

关联矩阵H计算公式为：

其中，x_i表示第i个样本的特征,x_j表示第j个样本的特征，N_k(x_j)表示x_j的k个邻居，mean表示k个邻居与样本x_j欧式距离的均值。

2.根据权利要求1所述的基于超图卷积神经网络的高光谱遥感图像地物分类方法，其特征在于，所述超图卷积神经网络利用所述关联矩阵H表示超图数据；

所述超图的卷积运算为：

其中，Θ是可训练参数，W为超边权重矩阵，Y是卷积运算后的输出，H是关联矩阵，D_v和D_e分别表示顶点度和边度的对角线矩阵，对于D_v和D_e中的元素，每个顶点度定义为d(v)＝Σ_e∈Eω(e)h(v,e)和每个边度定义为δ(e)＝Σ_v∈Vh(v,e)，V表示超图中顶点集合，E表示超图中超边集合；其中，

v表示超图顶点，e表示超图的超边；

所述超图卷积神经网络的卷积层通过超图卷积运算和非线性激活函数得到，计算公式为：

其中，X^(l+1)是第l层的输出，σ是用于非线性激活的RELU函数，Θ^(l)是可训练的参数，W是可训练的超边权重矩阵。

Images