CN116030355A

CN116030355A - 一种地物分类方法及系统

Info

Publication number: CN116030355A
Application number: CN202310322892.6A
Authority: CN
Inventors: 韩旭; 李显巨; 周业梅; 黄晓翔; 曹君; 张阳阳; 张菊; 黄丙利
Original assignee: Wuhan City Vocational College
Current assignee: Wuhan City Vocational College
Priority date: 2023-03-30
Filing date: 2023-03-30
Publication date: 2023-04-28
Anticipated expiration: 2043-03-30
Also published as: CN116030355B

Abstract

本发明提供了一种地物分类方法及系统，涉及图像处理技术领域，基于获取的指定区域的多光谱遥感图像和DEM数据构建样本数据集；提取样本数据集中的浅层多模态的像元特征，并堆叠像元特征，获取堆叠结果；利用图卷积神经网络和残差网络分别对堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征并进行融合，获得融合深度特征；将融合深度特征输入到分类器中，获得分类器输出的指定区域的地物标签。通过获得融合深度特征，能够利用数据中深层次的多样的地物特征，更能代表地物，分类器能够更加准确的识别地物，并对地物进行精细分类，有利于提高对复杂地形区域土地覆盖精细分类的精度。

Description

一种地物分类方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种地物分类方法及系统。

背景技术

土地覆盖是地表重要组成部分，也是保持陆地生态系统稳定的决定因素，在城市规划和环境保护等方面做出贡献。然而，多光谱遥感图像背景复杂，含有丰富的空间信息、纹理信息和地物几何结构，在具有大量数据和多波段空间结构的复杂环境中，利用多光谱遥感图像对土地覆盖进行分类仍然是一项具有挑战性的任务。传统的基于机器学习的方法通常因为人工设计特征提取方法的困难而无法充分利用地物的频谱空间特征，无法实现较高的分类性能。

发明内容

本发明所要解决的问题是现有对地物的识别分类方法，无法充分利用地物的频谱空间特征，地物的分类准确性不高。

为解决上述问题，一方面，本发明提供了一种地物分类方法，包括：

基于获取的指定区域的多光谱遥感图像和DEM数据构建样本数据集；

提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果；

利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征；

将所述光谱空间深度特征和所述地形深度特征进行融合，获得融合深度特征；

将所述融合深度特征输入到分类器中，获得所述分类器输出的指定区域的地物的一级类别和二级子类别。

可选地，所述提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果包括：

根据所述样本数据集中的所述多光谱遥感图像提取第一分支对应的第一像元特征，其中，所述第一像元特征包括光谱特征、主成分特征、植被指数、滤波特征和纹理特征中的一个或多个特征；

根据所述样本数据集中的所述DEM数据提取第二分支对应的第二像元特征，其中，所述第二像元特征包括地形特征；

对所述第一像元特征进行堆叠，得到所述第一分支对应的第一堆叠结果；

对所述第二像元特征进行堆叠，得到所述第二分支对应的第二堆叠结果。

可选地，所述对所述第一像元特征进行堆叠，得到所述第一分支对应的第一堆叠结果之后，所述地物分类方法还包括：

将每个所述第一像元特征作为一个图节点；

利用K近邻方法构建拓扑图；

利用图卷积神经网络聚合所述拓扑图中不同图节点的光谱空间深度特征。

可选地，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征包括：

利用图卷积神经网络对所述第一堆叠结果进行分析，提取所述光谱空间深度特征；

利用残差网络对所述第二堆叠结果进行分析，提取所述地形深度特征。

可选地，所述将所述光谱空间深度特征和所述地形深度特征进行融合时，采用的融合方法包括：加性特征融合、单元乘性特征融合、或级联特征融合中的其中一种或多种的组合。

可选地，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征之前，所述地物分类方法还包括：

使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练。

可选地，所述使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练包括：

从所述图卷积神经网络和所述残差网络中先选择一个神经网络，剩余另一个神经网络，将所述训练样本数据集输入到先选择的所述神经网络中进行训练；

训练后，冻结先选择的所述神经网络的网络层参数；

然后将所述训练样本数据集输入到另一个神经网络中进行训练。

将从所述训练样本数据集中提取得到的所述融合深度特征输入到所述分类器中，输出预测地物标签；

计算所述预测地物标签与真实地物标签之间的交叉熵损失；

利用试错法调整所述分类器中的所述参数，直至所述交叉熵损失值小于预期值。

可选地，所述利用试错法调整所述分类器中的所述参数，直至所述交叉熵损失值小于预期值包括：

利用试错法对所述地物的一级类别和所述二级子类别对应的损失权重进行整体综合调整，直至所述交叉熵损失值小于所述预期值；

或利用试错法先对所述地物的一级类别对应的损失权重进行调整，再对所述二级子类别对应的损失权重进行调整，直至所述交叉熵损失值小于所述预期值。

另外一方面，本发明还提供一种地物分类系统，包括:

数据集构建模块，用于基于获取的指定区域的多光谱遥感图像和DEM数据构建样本数据集；

浅层特征处理模块，用于提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果；

深度特征分析模块，用于利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征；

特征融合模块，用于将所述光谱空间深度特征和所述地形深度特征进行融合，获得融合深度特征；

识别分类模块，用于将所述融合深度特征输入到分类器中，获得所述分类器输出的指定区域的地物的一级类别和二级子类别。

与现有技术相比，本发明具有如下有益效果：

本发明提供的一种地物分类方法及系统，基于多光谱遥感图像和DEM数据对指定区域的地物特征先进行浅层的像元特征提取，然后将像元特征进行堆叠，并利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，进一步获得光谱空间深度特征和地形深度特征，能够利用数据中深层次的多样的地物特征，并将得到的光谱空间深度特征和地形深度特征进行融合，获得融合深度特征，融合深度特征具有地物的多种特征，更能代表地物，因此将融合深度特征输入到分类器中，分类器能够更加准确的识别地物，不仅能够识别地物所属的一级分类，还能够根据融合深度特征进一步识别地物所属的二级子类别，有利于提高对复杂地形区域土地覆盖精细分类的精度。

附图说明

图1示出了本发明实施例中地物分类方法的流程图；

图2示出了本发明实施例中提取的浅层的像元特征数据表；

图3示出了本发明实施例中地物分类方法的数据处理路线图；

图4示出了本发明实施例中图卷积神经网络所在分支的数据处理路线图；

图5示出了本发明实施例中残差网络所在分支的数据处理路线图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

图1示出了本发明实施例中地物分类方法的流程图，所示地物分类方法包括：

S100：基于获取的指定区域的多光谱遥感图像和DEM数据（Digital ElevationModel，数字高程模型数据）构建样本数据集。具体的，解译多光谱遥感图像，随机采样构建样本数据集，并为样本数据集中的样本打上标签。

S200：提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果；所述像元特征包括第一像元特征和第二像元特征。像元特征的类型（即特征参数类型）及其对应的参数名称和数量，如图2的图表中所示。另外，图3中示出，分两个支路对样本数据集进行分析，分别提取像元特征。

S300：利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征。其中，图卷积神经网络能够通过建模样本(或顶点)之间的关系来有效地处理图结构数据的特点，对多光谱遥感图像的远程空间关系进行建模，以获得光谱空间深度特征。与传统方法相比，以卷积神经网络为代表的深度学习算法能逐层提取鲁棒的深度特征，然而，卷积神经网络只注重提取固定核大小的图像区域特征，忽略了不同局部区域的长程空间关系，会导致边界信息丢失的问题，因此需要图卷积神经网络弥补卷积神经网络的缺陷。地形特征复杂多变，残差网络对从地形数据中提取的像元特征进行分析处理，获得地形深度特征，残差网络能够针对不同大小的图像区域进行分析，达到双向互补的效果。

S400：将所述光谱空间深度特征和所述地形深度特征进行融合，获得融合深度特征。采用双分支提取特征然后融合的方法能避免不同模态的光谱空间特征和地形特征数据因数值单位、含义和数量级不同而导致的“互相影响”，理论上更有利于多模态深度特征的提取。实现多模态的深度特征融合，使模型提取的特征被充分利用，有助于提升分类精度。

S500：将所述融合深度特征输入到分类器中，获得所述分类器输出的指定区域的地物的一级类别和二级子类别。所述地物指的是地面上各种有形物(如山川、森林、建筑物等)和无形物(如省、县界等)的总称。泛指地球表面上相对固定的物体。例如，地物的一级类别有矿山用地、耕地、林地、水域、道路、居民用地、未利用地；二级子类别有采坑、选矿厂、排土场、水田、温室大棚、旱地、休耕地、有林地、灌木、胁迫植被、苗圃和果园、池塘、采矿集水坑、沥青公路、水泥路、土路、城镇用地、农村居民点、其他建设用地、裸地。采用双输出或者多输出机制，构建精细分类输出（即输出二级子类别）及地物的一级类别输出，计算交叉熵损失函数，然后利用试错法微调模型的参数进行优化。相比于精细分类，一级类别每类的样本量更大且其忽略了每类一级类别中二级子类别之间的误分，因而进一步深化分类结果，可作为辅助优化输出模型。一级类别和二级子类别主要参考《土地利用现状分类》国家标准GB/T21010-2007及前期野外踏勘。其中，二级子类别即精细分类类别。

在本实施例中，基于多光谱遥感图像和DEM数据对指定区域的地物特征先进行浅层的像元特征提取，然后将像元特征进行堆叠，并利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，进一步获得光谱空间深度特征和地形深度特征，能够利用数据中深层次的多样的地物特征，并将得到的光谱空间深度特征和地形深度特征进行融合，获得融合深度特征，融合深度特征具有地物的多种特征，更能代表地物，因此将融合深度特征输入到分类器中，分类器能够更加准确的识别地物，不仅能够识别地物所属的一级分类，还能够根据融合深度特征进一步识别地物所属的二级子类别，有利于提高对复杂地形区域土地覆盖精细分类的精度。

在本发明的一种实施例中，所述提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果包括：

根据所述样本数据集中的所述多光谱遥感图像提取第一分支对应的第一像元特征，其中，第一分支为使用图卷积神经网络对多光谱遥感图像进行分析处理的支路，所述第一像元特征包括光谱特征、主成分特征、植被指数、滤波特征和纹理特征中的一个或多个特征。

根据所述样本数据集中的所述DEM数据提取第二分支对应的第二像元特征，其中，第二分支为使用残差网络对DEM数据进行分析处理的支路，所述第二像元特征包括地形特征；针对不同的数据类型采用不同的神经网络进行处理，能够提取出更准确的地物特征，而且将大量的数据分开处理，也有利于提高分析的速度。

对所述第二像元特征进行堆叠，得到所述第二分支对应的第二堆叠结果。其中，在进行像元特征堆叠时可以采用利用pytorch中的concat函数，堆叠数据。

在本发明的一种实施例中，所述对所述第一像元特征进行堆叠，得到所述第一分支对应的第一堆叠结果之后，所述地物分类还包括：

将每个所述第一像元特征作为一个图节点；

利用K近邻方法构建拓扑图作为所述第一堆叠结果；

利用图卷积神经网络聚合所述拓扑图中不同图节点的光谱空间深度特征。如图4所示图卷积神经网络所在分支的数据处理路线图。K近邻方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。

在本发明的一种实施例中，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征包括：

利用图卷积神经网络对所述第一堆叠结果进行分析，提取所述光谱空间深度特征。如图3，图卷积神经网络对从多光谱遥感图像中提取的像元特征进行分析处理，图卷积神经网络的结构如图4所示。

将光谱、空间特征输入图卷积神经网络，是因为图卷积神经网络可以利用自身图结构将远程的空间信息结合起来就能提高分类的精度。

利用残差网络对所述第二堆叠结果进行分析，提取所述地形深度特征。如图3，残差网络对从地形数据（如DEM数据）中提取的像元特征进行分析处理，残差网络的结构如图5所示，所述残差网络包括4个部分,四个部分分别有三个、四个、六个和三个残差块。每个部分分别有64个、128个、256个和512个滤波器（即每个部分的输出通道分别是64个、128个、256个和512个）。因为地形特征较为复杂，如图5所示，残差网络包含一个卷积层和多个残差块，具有较强的特征提取能力；将ResNet提取的复杂近程地形特征，和GCN提取的远程光谱空间特征结合起来，大大促进分类的精度。

在本发明的一种实施例中，如图3所示，所述将所述光谱空间深度特征和所述地形深度特征进行融合时，采用的融合方法包括：加性特征融合⊕、单元乘性特征融合⊙、或级联特征融合[•,•]中的其中一种或多种的组合。其中，加性特征融合是信息之间的叠加，描述图像的每种特征下的信息量增多，但是描述图像的特征种类本身并没有增加，只是每个特征下的信息量在增加。单元乘性特征融合是同位元素对应相乘，即特征矩阵对应位置相乘。级联特征融合是通道数的增加，描述图像本身的特征数（通道数）增加了，而每一特征下的信息是没有增加。

在本发明的一种实施例中，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征之前，所述地物分类还包括：

使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练。其中，图卷积神经网络的输入是图片或者图结构，图卷积神经网络能够聚合一个节点附近的其他节点的特征，通过加权聚合学习到节点的特征，从而去做一系列的预测任务。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。分类是数据挖掘的一种非常重要的方法，分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型（即我们通常所说的分类器），该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。对图卷积神经网络、残差网络和分类器的训练，可以两个网络同时进行训练，不断调整两个网络和分类器中的参数；也可以先训练一个网络，调整该网络和分类器的参数，等该网络稳定之后，再训练另一个网络，在不断训练过程中，调整另一个网络的参数以及微调分类器的参数。

在本实施例中，所述使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练包括：

训练后，冻结先选择的所述神经网络的网络层参数；

举例说明，基于输入训练数据提取特征，GCN（图卷积神经网络）分支提取的特征作为图节点，利用K近邻算法构建图结构，然后使用GCN模型聚合节点信息，融合空间特征，最后将获取的光谱-空间特征与ResNet网络（残差网络）提取的地形特征进行融合。在对两个分支进行参数优化的时候，输入部分训练样本，对ResNet网络进行充分训练，对ResNet网络层参数进行优化，然后冻结ResNet网络层参数；再输入部分训练样本，对GCN网络进行充分训练，对GCN网络层参数进行优化，直到整体精度趋向于收敛。当然两个神经网络的优化顺序可以前后调整，即也可以选择先对GCN网络进行参数优化，再对ResNet网络进行参数优化。

在本发明的一种实施例中，所述使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练包括：

计算所述预测地物标签与真实地物标签之间的交叉熵损失；并反向传播计算出的交叉熵损失值，对分类器以及两种神经网络中的参数进行调整，如图3-图5所示。

在本实施例中，所述利用试错法调整所述分类器中的所述参数，直至所述交叉熵损失值小于预期值包括：

利用试错法对所述地物的一级类别和所述二级子类别对应的损失权重进行整体综合调整，直至所述交叉熵损失值小于所述预期值。对一级类别和二级子类别损失进行加权，采用交叉熵损失微调模型，如图3所示。

或利用试错法先对所述地物的一级类别对应的损失权重进行调整，再对所述二级子类别对应的损失权重进行调整，直至所述交叉熵损失值小于所述预期值。采用损失加权、先后分两步微调的方式对模型进行优化，先用一级类别损失微调模型，再用二级子类别损失进行再次微调，如图3所示，另外，对于两个分支的微调路径和方式，如图4和图5所示。

在进行损失加权时，将二级子类别对应的损失权重设为1，一级类别对应的损失权重拟设为WGCN，拟采用两套参数范围，以应对一级类别分类过拟合（损失较小）和欠拟合（损失较大）的情况，WGCN的两套参数范围分别为1到10（以1为步长）和0.1到1（以0.1为步长）。具体实施过程中，将根据实际情况调整WGCN的范围。将待识别的测试样本，输入到训练好的整体网络中，直接输出指定区域内地物的地物的一级类别和二级子类别。

本发明另一实施例的一种地物分类系统，包括:

识别分类模块，用于将所述融合深度特征输入到分类器中，获得所述分类器输出的指定区域的地物标签，其中所述地物标签包括地物的一级类别和二级子类别。

本发明实施例中的地物分类系统与上述地物分类方法的技术效果相近似，在此不再进行赘述。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims

1.一种地物分类方法，其特征在于，包括：

将所述融合深度特征输入到分类器中，获得所述分类器输出的所述指定区域的地物的一级类别和二级子类别。

2.根据权利要求1所述的地物分类方法，其特征在于，所述提取所述样本数据集中的浅层多模态的像元特征，并堆叠所述像元特征，获取堆叠结果包括：

3.根据权利要求2所述的地物分类方法，其特征在于，所述对所述第一像元特征进行堆叠，得到所述第一分支对应的第一堆叠结果之后，还包括：

将每个所述第一像元特征作为一个图节点；

利用K近邻方法构建拓扑图；

4.根据权利要求2所述的地物分类方法，其特征在于，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征包括：

5.根据权利要求1所述的地物分类方法，其特征在于，所述将所述光谱空间深度特征和所述地形深度特征进行融合时，采用的融合方法包括：加性特征融合、单元乘性特征融合、或级联特征融合中的其中一种或多种的组合。

6.根据权利要求1所述的地物分类方法，其特征在于，所述利用图卷积神经网络和残差网络分别对所述堆叠结果进行分析，分别获得光谱空间深度特征和地形深度特征之前，还包括：

7.根据权利要求6所述的地物分类方法，其特征在于，所述使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练包括：

训练后，冻结先选择的所述神经网络的网络层参数；

8.根据权利要求6所述的地物分类方法，其特征在于，所述使用训练样本数据集对所述图卷积神经网络、所述残差网络以及所述分类器进行预训练包括：

计算所述预测地物标签与真实地物标签之间的交叉熵损失；

利用试错法调整所述分类器中的参数，直至所述交叉熵损失值小于预期值。

9.根据权利要求8所述的地物分类方法，其特征在于，所述利用试错法调整所述分类器中的所述参数，直至所述交叉熵损失值小于预期值包括：

利用试错法对所述地物的所述一级类别和所述二级子类别对应的损失权重进行整体综合调整，直至所述交叉熵损失值小于所述预期值；

或利用试错法先对所述地物的所述一级类别对应的损失权重进行调整，再对所述二级子类别对应的损失权重进行调整，直至所述交叉熵损失值小于所述预期值。

10.一种地物分类系统，其特征在于，包括:

识别分类模块，用于将所述融合深度特征输入到分类器中，获得所述分类器输出的所述指定区域的地物的一级类别和二级子类别。