CN114463173A

CN114463173A - 一种基于超像素分割的高光谱遥感图像子图重构方法

Info

Publication number: CN114463173A
Application number: CN202210014977.3A
Authority: CN
Inventors: 潘少明; 冯金鹏; 种衍文
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2022-01-07
Filing date: 2022-01-07
Publication date: 2022-05-10

Abstract

本发明提供了一种基于超像素分割的高光谱遥感图像子图重构方法，采用超像素分割(SLIC)算法对影像进行分割预处理，得到由具有空间‑光谱特征高度相似的多个像素点构成的超像素块，即每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域，生成的超像素保存高光谱图像的空间局部结构信息。因此，该分割结果将指引对目标节点的邻域节点的选取和对应邻接边的构建，从而完成构建基于图卷积的高光谱遥感影像分类初始输入子图的需求。本方案适用于任意光谱维度的同源遥感图像进行图卷积分类，实现端到端的遥感图像分类，具有进一步提高图卷积算法在影像地物分类上精度能力，此外，子图分割重构方案可以满足部署平台有限的资源规模需求。

Description

一种基于超像素分割的高光谱遥感图像子图重构方法

技术领域

本发明涉及图像重构领域，具体涉及一种基于超像素分割的高光谱遥感图像子图重构方法，可以应用于高光谱遥感影像图卷积分类领域，利用超像素分割技术对遥感图像进行输入子图的重构处理。

背景技术

相较于自然图像，高光谱遥感图像的光谱维包含了更加丰富的信息，且高光谱遥感图像种类繁多，数据量大。高光谱遥感图像处理原理是有效地利用地物的反射光谱特性，进行地物属性识别与信息量化提取，实现对地物类型的识别和划分。通过高光谱图像信息，不仅可以反映样本的大小、外观、平滑等外部品质特征，也可以分析出地物样本内部的物理构造、化学组成成分的区别。因此，利用不同地物所具有的光谱曲线差异，高光谱遥感图像分类技术被广泛应用于国民经济的各个领域。随着基于图神经网络在遥感影像分类中的应用普及，如何有效的利用遥感图像光谱和空间特征构建准确的初始子图从而显著提升图分类精度以及缓解内存增长等挑战是遥感图像应用过程中亟待解决的问题。

新兴的图像处理方法图卷积学习(Graph convolutional Learning)通过从少量训练样本中半监督学习目标的特征来完成特定的任务。目前图卷积学习已经在图像分类、推荐系统、社交网络等多个领域取得了重大成就。

目前，现有的图卷积学习的数据集，即输入图都是直接存在的，比如，蛋白质分子，社交网络等，而基于图卷积学习的高光谱遥感图像分类需要先将影像构建成输入图，然后对图节点进行邻接卷积嵌入表示，进行分类任务。Qin A等人(参考文献Qin A，Shang Z，Tian J，et al.Spectral–Spatial Graph Convolutional Networks for SemisupervisedHyperspectral Image Classification[J].IEEE Geoscience and Remote SensingLetters，2019，16(2):241-245.)提出了基于空谱图卷积神经网络的高光谱图像分类。该算法以每个像素作为图节点，利用了K-邻近法选取目标节点的空间邻域内节点作为邻居节点，并构建相应的邻接边，邻域外的节点则没有边连接。然后基于该输入图并结合像素丰富的光谱信息和空间信息进行卷积，取得较好的分类结果。宫辰等人(参考文献S.Wan,C.Gong,P.Zhong,B.Du,L.Zhang,and J.Yang,"Multiscale Dynamic GraphConvolutional Network for Hyperspectral Image Classification,"IEEETransactions on Geoscience and Remote Sensing,pp.1-16,2019.)提出了基于多尺度图卷积神经网络的高光谱图像分类。该算法以影像通过超像素分割得到的每个超像素作为图节点，并对超像素点直接邻接的其他超像素点作为邻接节点，并构建相应的邻接边，未直接邻接的点则无邻接边。然后基于该输入图捕捉不同邻居的尺度信息，实现自适应提取高光谱图像类边缘特征。Hong等人(参考文献D.Hong,L.Gao,J.Yao,B.Zhang,A.Plaza,andJ.Chanussot,"Graph Convolutional Networks for Hyperspectral ImageClassification,"IEEE Transactions on Geoscience and Remote Sensing,pp.1-13,2020,doi:10.1109/TGRS.2020.3015157.)等提出了基于批量图卷积神经网络的高光谱图像分类。此算法以每个像素作为图节点，随机选取固定数量的邻接点做邻近节点，并构建邻接边，其他点则与目标节点无邻接边。然后基于该输入图，融合卷积网络和图卷积网络的不同感受野，实现对影像地物的分类任务。但是这些作者提出的方法都是主要针对图卷积算法本身的结构和功能的改进，而不是针对初始输入图的如何精细构建。此外，随着大尺度遥感影像数据集的出现，构建的输入图所占内存也日益庞大，如何克服图卷积在显存资源需求上的壁垒，也是一项重要的议题。

综上所述，目前的基于图卷积学习的高光谱遥感图像分类还需要针对如何构建精细化的输入图来设计一套较为有效的方案，以进一步提高图卷积算法在影像地物分类上精度；同时为解决由大尺度遥感图像构建的输入图的显存需求，需要同时设计子图分割重构方案，来满足部署平台有限的资源规模需求。

发明内容

针对上述要求，本发明提供了一种基于超像素分割的高光谱遥感图像子图重构方法，采用超像素分割(SLIC)算法对影像进行分割预处理，得到由具有空间-光谱特征高度相似的多个像素点构成的超像素块，即每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域，生成的超像素保存高光谱图像的空间局部结构信息。因此，该分割结果将指引对目标节点的邻域节点的选取和对应邻接边的构建，从而完成构建基于图卷积的高光谱遥感影像分类初始输入子图的需求。

本发明所采用的技术方案为一种基于超像素分割的高光谱遥感图像子图重构方法，包括如下步骤：

步骤一，对高光谱遥感影像进行超像素分割，获得多个超像素块；

步骤二，选择子图节点，找到该节点所在的超像素块里的其他全部节点，作为该节点的邻域节点；

步骤三，连接节点和邻域节点，构建子图邻接边，获取邻接边的邻接权值；

步骤四，设置阈值，通过阈值过滤邻接权值较小的边；

步骤五，根据步骤二-四计算子图中每个节点的邻接权值，将该子图所有节点拼接即可重构得到该子图的邻接矩阵，将所有子图拼接即可重构得到高光谱遥感影像。

进一步的，步骤一的具体实现方式如下；

1.1，以步长S采样像素点，来确定初始化聚类中心，移动聚类中心到其3*3空间邻域内梯度最小的像素点位置；

1.2，计算在距离聚类中心2S*2S区域内的所有像素点到中心像素点的距离：

x_p,q和c_p,q表示聚类中心像素的光谱值和空间坐标；

x_i,j和c_i,j表示该聚类里当前像素的光谱值和空间坐标；

m表示空间和像素颜色的相对重要性的度量；

1.3，更新聚类中心；

1.4，重复上述操作，迭代收敛；

1.5，将过分割的小超像素块与邻近的正常分割产生的超像素块融合。

进一步的，步骤二的具体实现方式如下；

假设高光谱遥感影像共有N个像素点，即N个图节点，每个批量子图有M个节点，则有

个批量，其中

表示向上取整；为了增强模型的泛化能力，每个批量子图V_t都是随机选取M个节点，每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域，对于每一个目标节点v_i，找到该目标节点所在的超像素块里的其他全部节点u_j，作为该目标节点的邻域节点，超像素块的大小通过分割步长S决定，即分割步长决定目标节点的邻域节点的范围。

进一步的，步骤三的具体实现方式如下；

在确定节点v_i和邻域节点u_j后，其邻接权值可以由以下公式(2)确定：

其中，γ表示该径向基函数的步长，D_ij表示节点v_i和邻域节点u_j的光谱-空间相似度量距离，由公式(3)确定：

D_ij＝D_spectral·D_spatial (3)

光谱相似性度量由光谱角公式(4)确认，空间相似性度量由马氏距离公式(5)确认：

M是一个方差矩阵，表示节点v_i和邻域节点u_j的空间分布关系。

进一步的，步骤四中通过设置一个阈值β＝0.6来过滤一些邻接权值比较小的边，从而实现细化上下文关系图的不合要求的类间边的目的；

其中，

表示节点v_i和邻域节点u_j的邻接权值。

进一步的，步骤五中，对于子图V_t，节点v_i∈V_t所拼接构成的邻接矩阵为：

其中，

表示节点v_i和邻域节点u_j的邻接权值，M表示子图V_t共有M个节点；然后进行归一化处理，其中D^-1表示为非对称矩阵

的对角线矩阵；

邻接矩阵

其中S＝M×s，s表示每个节点选取固定数量的邻域节点。

本发明是一种应用于构建图卷积子图输入的方法，与现有的技术相比具有以下优点：

(1)本发明在超像素分割的基础上，从分割得到的超像素块具有光谱-空间相似同质性出发，应用于对目标节点选取合适的邻近点并构建邻接边的流程中，并实现适用于任意光谱维度的同源遥感图像进行图卷积分类的子图输入，实现端到端的遥感图像分类。

(2)本发明基于将整个高光谱数据集进行批量子图分割重构获得的，因此其在显存需求上要远少于其他模型的直接构图法，从而可以缓解子图重构对计算机资源的需求。

(3)本发明采用子图重构法使得其在后续图卷积过程中分类性能更优于其他方法，有明显的精度提升。

附图说明

图1是本发明实施例中的子图重构方法示意图。

图2是本发明实施例中超像素分割结果示意图。

具体实施方式

下面结合实例和附图，讲解具体的流程。

以帕维亚大学数据集(University of Pavia，3×610×340)的图像作为输入图像，如主图1所示，主要步骤包括：

步骤一：对高光谱遥感影像进行超像素分割(SLIC)，获得多个超像素块；

x_p,q和c_p,q表示聚类中心像素的光谱值和空间坐标；

x_i,j和c_i,j表示该聚类里当前像素的光谱值和空间坐标；

m表示空间和像素颜色的相对重要性的度量；

本模型中，设置m＝10，S＝4；

1.3，更新聚类中心；

1.4，重复上述操作，迭代收敛；

高光谱数据集经过超像素分割后，形成的超像素点内(聚类)保持相邻像素间的局部相似性，并与空间边界保持良好的一致性。为了便于观察，以印第安农场数据集(3×145×145)为例，如图2，采用白色背景，黑色边界，步长为10，实际步长为4时分割效果更加紧凑。

步骤二：选择子图节点，找到该节点所在的超像素块里的其他全部节点，作为该节点的邻域节点；

假设高光谱遥感影像共有N个像素点，即N个图节点，每个批量子图(batch)有M个节点，则有

个批量，其中

表示向上取整；为了增强模型的泛化能力，每个批量子图V_t都是随机选取M个节点，标记为

每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域，对于每一个目标节点v_i,

找到该节点所在的超像素块里的其他全部节点u_j,

表示节点v_i所在的超像素块里其它节点的集合，可作为该目标节点的邻域节点。超像素块的大小可有通过分割步长S决定，即分割步长可以决定目标节点的邻域节点的范围。

步骤三：连接节点和邻域节点，构建子图邻接边，获取邻接边的邻接权值；

在确定目标节点v_i和邻域节点u_j后，其邻接权值可以由以下公式(2)确定：

γ＝6，表示该径向基函数的步长，D_ij表示目标节点v_i和邻域节点u_j的光谱-空间相似度量距离，由公式(3)确定：

D_ij＝D_spectral·D_spatial (3)

M是一个方差矩阵，表示目标节点v_i和邻域节点u_j的空间分布关系。

步骤四：设置阈值，通过阈值过滤邻接权值较小的边；

在图的构建过程中，不同区域(不同类)之间的连接可能存在，这将导致后续图卷积过程中类内特征聚合受影响，降低图卷积结果的可分辨性。为了克服这一缺陷，使用边的权值过滤，通过设置一个阈值β＝0.6来过滤一些邻接权值比较小的边，从而实现细化上下文关系图的不合要求的类间边的目的。

步骤五：根据步骤2-4计算子图V_t中每个节点的邻接权值，将该子图所有节点拼接即可重构得到该子图的邻接矩阵，将所有子图拼接即可重构得到高光谱遥感影像；

对于子图V_t，其目标节点v_i∈V_t所拼接构成的邻接矩阵为：

然后进行归一化处理，其中D^-1表示为非对称矩阵

的对角线矩阵。

该邻接矩阵

其中S＝M×s，s表示每个目标节点选取固定数量的邻域节点，M表示该子图V_t共有M个节点。则输入子图已经构建完毕，可以进行后续图卷积处理。

本发明网络模型在实施阶段将图像，即数据集为印第安农场(Indian Pines)，肯尼迪航天中心(Kennedy Space Center)和帕维亚大学(University of Pavia)，依次输入执行，可以实现分类精度在数据集印第安农场(+1.2％)，肯尼迪航天中心(+0.82％)，帕维亚大学(+1.15％)提升的效果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。