CN114663749A - 滑坡体识别模型的训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种滑坡体识别模型的训练方法、装置、电子设备及存储介质，其方法包括：获取原始数据，其中，所述原始数据包括高分影像和DEM数据；将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；构建并初始化图神经网络模型；将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。本申请结合遥感领域的研究，将面向对象的思想延伸至遥感语义分割，同时采用图卷积的思想，能够加强超像素块之间的空间表征能力，实现了遥感影像的超像素分割，并将面向像元的识别问题转化为面向对象的识别问题，显著提高了滑坡体的识别精度，实用性强。

Description

滑坡体识别模型的训练方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，具体涉及一种滑坡体识别模型的训练方法、装置、电子设备及存储介质。

背景技术

近年来，我国突发多种地质灾害，其隐蔽性高、破坏性大，而且地面调查难以到达。随着深度学习尤其是卷积神经网络的发展，许多科学家与科研人员实施了不同的技术，用于生产代表可能有滑坡位置的滑坡敏感性图。众多学者基于遥感光学影像数据，利用卷积神经网络在喜马拉雅、黄土滑坡、归州老城滑坡等地区进行滑坡体识别，并进行逐像素滑坡识别。

现有技术中，运用卷积神经网络对遥感影像上的目标物进行识别，主要是利用卷积层进行遥感数据的目标特征进行提取，利用池化层对得到的特征进行下采样，最终得到逐像素点的滑坡体识别结果。

但是基于卷积神经网络的语义分割方法以暴力的拟合手段对数据特征进行提取，缺少对目标物形状特征的运用，难以达到较高精度。

发明内容

针对上述问题，本申请实施例提供了一种滑坡体识别模型的训练方法、装置、电子设备及存储介质，以克服或部分克服现有技术的不足之处。

第一方面，本申请实施例提供了一种滑坡体识别模型的训练方法，所述方法包括：

获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建并初始化图神经网络模型；

将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。

第二方面，本申请实施例还提供了一种滑坡体识别模型的训练装置，所述装置包括：

获取单元，用于获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

转化单元，用于将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建单元，用于构建并初始化图神经网络模型；

训练单元，用于将所述图结构数据输入至所述图神经网络模型中进行训练，以得到滑坡体识别模型。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请通过将高分影像和DEM数据转化为由图节点矩阵和连接矩阵组成的图结构数据，并采用图神经网络模型作为滑坡体识别模型的初始模型，将图结构数据输入至图神经网络模型进行训练，得到滑坡体识别模型。本申请结合遥感领域的研究，将面向对象的思想延伸至遥感语义分割，同时采用图卷积的思想，能够加强超像素块之间的空间表征能力，实现了遥感影像的超像素分割，并将面向像元的识别问题转化为面向对象的识别问题，显著提高了滑坡体的识别精度，实用性强。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一个实施例的滑坡体识别模型的训练方法的流程示意图；

图2示出了根据本申请一个实施例的图结构数据的示意图；

图3示出了根据本申请一个实施例的对训练数据框进行旋转增强的结果的示意图；

图4示出了根据本申请一个实施例的对训练数据框进行翻转增强的结果的示意图；

图5是根据本申请的一个实施例的超像素提取结果的示意图；

图6示出了根据本申请的一个实施例的区域A的滑坡体识别的可视化展示结果；

图7示出了根据本申请的一个实施例的区域B的滑坡体识别的可视化展示结果；

图8示出了根据本申请的一个实施例的区域C的滑坡体识别的可视化展示结果；

图9示出了根据本申请的一个实施例的区域D的滑坡体识别的可视化展示结果；

图10示出了根据本申请的一个实施例的区域E的滑坡体识别的可视化展示结果；

图11示出了根据本申请的一个实施例的区域F的滑坡体识别的可视化展示结果；

图12示出了根据本申请的一个实施例的区域G的滑坡体识别的可视化展示结果；

图13示出了根据本申请的一个实施例的滑坡体识别模型的训练装置的结构示意图；

图14为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

近年来，我国突发多种地质灾害，其隐蔽性高、破坏性大，而且地面调查难以到达。目前滑坡地质灾害监测技术还处于落后的地位，对于大型滑坡地质灾害的应急管理水平远远落后于发达国家。

当前深度学习在计算机视觉(Computer Vision,CV)和自然语言处理(Naturallanguage processing,NLP)方面取得较多成就，随着深度学习尤其是卷积神经网络的发展，许多科学家与科研人员实施了不同的技术，用于生产代表可能有滑坡位置的滑坡敏感性图。众多学者基于遥感光学影像数据，利用卷积神经网络在喜马拉雅、黄土滑坡、归州老城滑坡等地区进行滑坡体识别，并进行逐像素滑坡识别。

常规的面向对象的语义分割算法，直接将超像素分割后的数据进行特征提取，运用传统机器学习方法进行特征拟合。目前，较为前沿的做法是运用卷积神经网络对遥感影像上的目标物进行识别，利用卷积层进行遥感数据的目标特征进行提取，利用池化层对得到的特征进行下采样，不仅能实现感受野扩大，还能减少网络参数与计算量，最终得到逐像素点的滑坡体识别结果。但是基于卷积神经网络的语义分割方法以暴力的拟合手段对数据特征进行提取，缺少对目标物形状特征的运用，难以达到较高精度。

图1示出了根据本申请的一个实施例的滑坡体识别模型的训练方法的流程示意图，从图1所示的方法，本申请至少包括步骤S110～步骤S140：

步骤S110：获取原始数据，其中，所述原始数据包括高分影像和DEM数据。

在本申请中，将采用遥感技术获取的高分影像和DEM数据作为原始数据，可以将原始数据作为简单的处理，如去噪处理等，如以预处理得到的4M分辨率得高分二号卫星影像与DEM数据(地面数字高程数据)作为原始数据，在一个实施例中，原始数据中研究区共29586*11957个像素。

步骤S120：将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵。

图(Graph)是由众多的顶点和顶点间的连接边组成的离散结构化数据。图结构数据在众多数据结构中是最灵活的，并且许多问题都可以抽象成为图结构数据，如社交网络、分子结构等。

图像也可以转化图结构数据，图像中像素点值即为顶点，而相邻像素点空间欧氏距离即为边。对于遥感影像语义分割来说，不同对象之间也可以转化为图数据结构。

对于遥感影像语义分割结果而言，需要得到的信息是各目标物(滑坡、植被、水体及建成区域)的相对位置，并且此相对位置不随图像旋转平移等操作影响。即原始图像旋转或平移后，语义分割结果随之旋转平移，但各目标物之间的相对位置不变，这符合图结构数据特征。故本申请将图结构数据引入，以解决卷积神经网络存在的数据集不足的问题。

如图2所示，图2示出了根据本申请一个实施例的图结构数据的示意图，图2示出的图结构数据可称为无向图，从图2可以看出：无向图G＝(V,E)中顶点集Value＝[1，2，3，4，5，6，7]，边集合Edge＝[(1,2)，(2,3)，(2,4)，(3,4)，(3,5)，(4,5)，(5,6)]。(u，v)代表顶点u与顶点v邻接，无向图中边(u，v)与(v,u)相同，因此也代表顶点v与u邻接。无向图中的顶点可以理解为图结构数据的图节点矩阵，边可以理解为图结构数据的连接矩阵。

本申请对原始数据的处理的主要思想是将原始数据的图像数据转为图结构数据，使其符合图神经网络模型的输入要求。

将原始数据转化为图结构数据的流程可以简单理解为首先利用分割算法将一张影像数据转换为许多相互连接的超像素块，一个超像素块表示图中的一个图节点，超像素块提取的特征为该图节点的图节点矩阵。两两超像素之间是否有相邻决定图中对应节点是否相连通，相邻两个超像素块质心之间的欧氏距离则为对应连通边的权重值，从而确定出图结构数据的连接矩阵；图节点矩阵和连接矩阵共同构成了图结构数据。步骤S130：构建并初始化图神经网络模型。

在本申请中，采用图神经网络模型作为滑坡体识别模型的初始模型，其中图神经网络模型的架构可参考现有技术。

步骤S140：将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。

最后将转化得到的图结构数据输入至所述图神经网络模型中进行迭代训练，得到滑坡体识别模型。

在上述训练的过程中，不断的调整图神经网络模型的参数，即可得到滑坡体识别模型。训练的过程是不断迭代的过程，一个轮次的训练过程结束后，根据该轮次的训练过程得到的结果，对图神经网络模型的参数进行调整，然后将更新后的模型参数用于下一轮次的训练，直到达到预设的训练要求，如预设的训练要求为迭代20000次，则当达到这个迭代次数后，整个训练过程结束，即得到滑坡体识别模型。

由图1所示的方法可以看出，本申请通过将高分影像和DEM数据转化为由图节点矩阵和连接矩阵组成的图结构数据，并采用图神经网络模型作为滑坡体识别模型的初始模型，将图结构数据输入至图神经网络模型进行训练，得到滑坡体识别模型。本申请结合遥感领域的研究，将面向对象的思想延伸至遥感语义分割，同时采用图卷积的思想，能够加强超像素块之间的空间表征能力，实现了遥感影像的超像素分割，并将面向像元的识别问题转化为面向对象的识别问题，显著提高了滑坡体的识别精度，实用性强。

在本申请的一些实施例中，所述将所述原始数据转化为图结构数据包括：对所述原始数据进行采样和数据增强处理，得到多个训练数据框；对各所述训练数据框进行超像素提取，得到多个像素块；对各所述像素块进行光学特征和高程特征等特征的提取，得到各像素块的图节点矩阵；根据各所述像素块的相邻关系，确定各像素块的连接矩阵。

首先对原始数据进行采样和数据增强处理，在本申请的一些实施例中，对原始数据进行采样和数据增强处理包括：根据指定大小裁剪尺度，对所述原始数据采用逐级递减的随机采样方式，进行采样，得到多个数据块；确定各数据块中，滑坡体元素数量占各数据块元素数量的比例值；确定各数据块对应的比例值所属的比例值范围，并在各比例值范围内，选取指定数量的数据块；对选取的数据块进行数据增强，得到所述训练数据框；其中，所述数据增强包括矩阵旋转和矩阵翻转。

数据的不同裁剪尺度对卷积神经网络的训练存在一定影响，裁剪尺度过大，会增大训练成本，且难以学习全局特征，降低网络精度；裁剪尺度过小，会导致数据无法覆盖大型滑坡，滑坡完整特征丢失等问题；因此，在最好根据指定大小裁剪尺度对原始数据进行采样。在本申请的一些实施例中，设置指定大小裁剪尺度为256*256像素，即对原始数据采用256像素*256像素的裁剪尺度，对原始影像进行裁剪，以取得效果理想的训练效果，经过裁剪得到多个训练数据框。

在本申请的一些实施例中，滑坡地区在整个研究区域内呈现零散式分布，滑坡大小分布不均，且滑坡体像素共1507378个像素，仅占整个研究区域内约4.26％，占比极小。为尽可能保证数据多样性，并避免大部分数据为非滑坡区域的情况下难以成功学习滑坡体特征。本申请采用逐级递减的随机采样方式进行采样。

具体的，可利用python语言，在原始影像数据内随机裁剪256像素*256像素的数据，计算各数据块中，滑坡体元素数量占各数据块元素数量的比例值，在本实施例中，即为滑坡区域占256像素*256像素的比例值。

将各像素块的该比例值赋值为a，然后确定各数据块对应的比例值所属的比例值范围，并在各比例值范围内，选取指定数量的数据块，如取450个a为0的数据块，450个a在0-0.1之间的数据块，400个a在0.1-0.2之间的数据块，400个a在0.1-0.2之间的数据块，350个a在0.2-0.3之间的数据块，300个a在0.3-0.4之间的数据块，250个a在0.4-0.5之间的数据块，200个a在0.5-0.6之间的数据块，150个a在0.6-0.7之间的数据块，100个a在0.7-0.8之间的数据块，50个a在0.8-0.9之间的数据块，50个a在0.9-1之间的数据块，最终得到2750个256像素*256像素的数据块。

上述根据指定大小裁剪尺度，对所述原始数据采用逐级递减的随机采样方式，进行采样，得到多个数据块也可以根据下述流程实现：以全图随机点为起点，截取256×256范围大小的数据框；计算该范围内滑坡体像素占256×256大小的比例，令比例为a；按照表1进行控制，当已有的比例数据框不足时，将该数据框保留；已有的比例数据框足够时，不保留该数据框；循环上述两个步骤，直至各个比例内数据框达到个数要求，共生成2750个数据框。

表1

比例值(a)	数据框个数(个)
		0	450
0＜a≤0.1	450
		0.1＜a≤0.2	400
0.2＜a≤0.3	350
		0.3＜a≤0.4	300
0.4＜a≤0.5	250
		0.5＜a≤0.6	200
0.6＜a≤0.7	150
		0.7＜a≤0.8	100
0.8＜a≤0.9	50
		0.9＜a≤1.0	50

注：上述训练数据框的比例值及数量仅为示例性说明，本申请对此不作限制。

为了得到更好的训练效果，可以对采样得到的数据块进行数据增强，得到训练数据框，具体的数据增强手段包括但不限于矩阵旋转和矩阵翻转。

具体的，将上述得到的2750个数据按照1:9进行分割，得到2475个数据组成的训练集和275个数据组成的验证集。由于滑坡具有旋转及翻转不变性，使用python语言实现矩阵旋转与翻转进而实现对训练数据进行旋转、翻转等方法进行数据增强。旋转增强如图3所示，其中图3中的3-(a0)表示原始数据中的高分影像可视化结果；3-(a1)表示原始数据对应的DEM数据可视化结果，其中，将DEM数据归一化至[0,1]区间，白色区域代表高值区域，黑色代表低值区域；3-(a2)表示原始数据区域对应的滑坡标签(label)，白色区域代表滑坡区域，黑色区域代表非滑坡区域。图3中的图3-(b0)～3-(b2)、3-(c0)～3-(c2)、3-(d0)～3-(d2)分别对应3-(a0)～3-(a2)逆时针旋转90°、180°和270°的结果。

翻转增强如图4所示，其中图4-(a0)表示原始数据中的高分影像可视化结果，图4-(a1)表示原始数据对应的DEM数据可视化结果，其中，将DEM数据归一化至[0,1]区间，白色区域代表高值区域，黑色代表低值区域；图4-(a2)表示原始数据区域对应的滑坡标签(label)，白色区域代表滑坡区域，黑色区域代表非滑坡区域。图4中的图4-(b0)～4-(b2)、4-(c0)～4-(c2)分别对应4-(a0)～4-(a2)上下翻转和左右翻转结果。

在得到训练数据框后，对各所述训练数据框进行超像素提取，得到多个像素块，具体的，对各所述训练数据框进行可视化处理，得到可视化数据框；将所述可视化数据框，采用简单线性迭代聚类方法(simple linear iterativeclustering，SLIC)进行超像素提取，得到多个像素块，以使同一地物属性的像素归纳为同一超像素块。

影像分割是指将数字图像划分为多个细小的子区域，每个子区域中是多个像素的集合，简称为超像素。图像分割简化了图像的表达形式，使影像更容易理解，突出了细节上的特征。

承上，将256像素×256像素大小的可见光高分影像作为输入，借助SLIC分割出2000个超像素，图5是根据本申请的一个实施例的超像素提取结果的示意图，其中，图5-(a)为256像素×256像素大小的原始数据对应高分影像可视化结果，图5-(b)为经过SLIC算法分割后的超像素块，图5-(c)是将超像素块与原始影像叠加的效果。SLIC分割算法可以十分清楚的将属于同一地物属性的像素归纳为同一超像素块，滑坡区域、水、裸地与植被都能被分开，大大减小分类模型能力，滑坡体不再是单独的像素，进而变化成为一个目标块。这还能够极大减小传统分类算法带来的边缘模糊和椒盐现象。

在得到像素块后，对各所述像素块进行特征提取，特征包括但不限于光学特征、高程特征等等。在本申请中的一些实施例中，包括但不限于可以以下述参数来表征这些特征：超像素内包含像素个数、超像素内红色波段均值、超像素内红色波段方差、超像素内绿色波段均值、超像素内绿色波段方差、超像素内蓝色波段均值、超像素内蓝色波段方差、超像素内红色波段纵向梯度均值、超像素内红色波段纵向梯度方差、超像素内绿色波段纵向梯度均值、超像素内绿色波段纵向梯度方差、超像素内蓝色波段纵向梯度均值、超像素内蓝色波段纵向梯度方差、超像素内红色波段横向梯度均值、超像素内红色波段横向梯度方差、超像素内绿色波段横向梯度均值、超像素内绿色波段横向梯度方差、超像素内蓝色波段横向梯度均值、超像素内蓝色波段横向梯度方差、超像素内红色波段梯度均值、超像素内红色波段梯度方差、超像素内绿色波段梯度均值、超像素内绿色波段梯度方差、超像素内蓝色波段梯度均值、超像素内蓝色波段梯度方差、超像素内DEM均值、超像素内DEM方差、超像素内横向坡度均值、超像素内横向坡度方差、超像素内纵向坡度均值、超像素内纵向坡度方差、超像素内坡度均值、超像素内坡度方差、超像素内坡度均值、超像素内坡度方差。

下面仅以光学特征和高程特征提取作示例性说明，这些特征形成了各像素块的图节点矩阵。在本申请的一些实施例中，光学特征包括：色调特征和纹理特征；对于光学特征的提取可以采用下述方法：确定各像素块的各波段原始光谱值的均值以及各波段光谱值的方差，以表征各像素块的色调特征；确定各像素块的各波段原始光谱在第一方向和第二方向的梯度均值与梯度方差，并根据所述梯度均值与所述梯度方差确定各像素块的总体梯度，以表征各像素块的纹理特征；

一个像素块中各波段原始光谱值的均值用以确定该像素块中色调相对集中较多的中心位置，该值可以反映像素块色调的集中趋；而一个像素块中各波段光谱值的方差可以用于表征该像素块中色调的震荡幅度，两者相结合用于表征超像素块内色调的大致范围。

图像的纹理主要依靠图像中的边缘信息或异常信息决定，而图像的灰度变化率可以十分明显的表征这种纹理变化，由于图像可以表示为一个关于坐标的二维函数f(x,y)，所以图像中每个点拥有两个方向的偏微分进行灰度表示，由于图像，是按照像素离散的二维函数，其中∈最小值为1(单个像素)：

在一个像素块内，光学数据中各波段原始光谱在x方向(式1)与y方向(式2)的梯度均值与梯度方差表征该像素块内纹理变化情况的大致阈值范围，进一步计算图像的总体梯度，以表征该像素块的纹理特征。其中，将x方向和y方向分别记为第一方向和第二方向。

高程特征包括高度特征和坡度特征，高程特征提取可参考下述方法：根据各像素块对应的DEM数据，确定各像素块的DEM均值与DEM方差，以表征各像素块的高度特征；确定各像素块的各波段原始光谱在第一方向和第二方向的梯度，并根据所述梯度确定各像素块的像素坡向，以表征各像素块的坡向特征。

DEM原始数据对滑坡体高度信息进行了极好的补充，使用DEM的均值与方差可以表征超像素块的高度信息范围，即高度特征。

相同于光学影像数据的图像梯度，依据坡度与坡向定义，采用上述式1计算各像素点在x方向的梯度，即为x方向坡度；并计算各像素点在y方向的梯度，即为y方向坡度(式2)；并进一步的根据式3计算各像素块的像素坡向，这些参数就可以表征坡度特征。

在本申请的一些实施例中，根据各所述像素块的相邻关系，确定各像素块的连接矩阵包括：将得到的各像素块进行像素化，得到多个指定大小的分割矩阵；确定各所述分割矩阵的index值；将各所述分割矩阵的边缘增加一层边缘值，并在指定地点，以指定大小裁剪尺度进行裁剪，得到多个对比矩阵；将所述分割矩阵与得到的多个对比矩阵逐像素比对，若被比较的两个像素值不同，则确定所述两个像素值分别对应的第一index值和第二index值，并确定所述第一index值和所述第二index值对应的超像素块相邻。

从图5中可以看出，像素块并非规整的图像斑块，存在大量不规则图形，连接矩阵的确定可以采用逐点筛查的方法对超像素块之间是否相邻进行判断。

具体的，将经过SLIC分割后的结果进行像素化，得到256*256大小的分割矩阵seg-metric。每个超像素块有不同的index值，且超像素块中所有像素值均为该index值。将得到的seg-matric上下左右均padding一层边缘值，得到258*258大小矩阵；分别以(0,1)、(0,2)、(1,2)、(2,1)和(2,2)点为起点裁剪得到5个256*256大小的矩阵，分别为seg-matric向上、右上、右、下和右下方向平移一个单位。将原始seg-matric矩阵分别与得到的5个矩阵进行逐像素比较，若被比较的两个像素值不相同，则代表这两个像素值对应index的超像素块相邻。

假设一个5*5大小图像分割后得到7个超像素块，则最终可判定相邻的超像素块为：((0，1)，(1，2)，(1，3)，(1，4)，(1，5)，(2，4)，(2，5)，(2，6)，(2，7)，(3，4)，(3，5)，(3，7)，(5，7))，这些数据就组成了连接矩阵。

在本申请的一些实施例中，所述构建并初始化图神经网络模型包括：采用python语言，基于Pytorch Geometric框架构建所述图神经网络模型；设置所述图神经网络模型的参数，所述参数包括：Batch Size、Epoches、监控验证集损失、优化器、初始学习率；采用python生成器，将所述图结构数据分批次进入所述图神经网络模型中。

本申请采用图神经网络模型来学习遥感数据中的特征信息，以提取的多种特征为网络的输入节点特征数据，以节点相关关系构建网络的输入连接矩阵。可采用python进行全程的代码编写，基于Pytorch Geometric(PYG)框架构建网络模型。并可使用PYG框架下封装的torch_geometric.data.Data模块对图数据进行封装。采用python中生成器进行批量数据传递，使数据逐批次通过内存进入模型，而不需要一次性将所有数据传入内存，避免因数据集大小大于内存而造成的Out of Memory(OOM)。

在对模型初始化过程中，对图神经网络模型的参数进行设置，根据机器性能设立Batch Size大小，使得模型能尽可能的一次性学习足够多内容，如依据机器大小设置BatchSize为16，即每个批次送入16个图节点矩阵与连接矩阵构成的图结构数据，在本申请的一些实施了中，还设置超参数如下：Epoches为100；监控验证集损失，当验证集损失在10个批次内不再下降，立即停止学习；设置优化器为SGD；设置初始学习率为0.001，且每隔10个循环下降当前学习率的0.1。

本申请对得到的滑坡体识别模型进行了验证，具体的，图6示出了根据本申请的一个实施例的区域A的滑坡体识别的可视化展示结果，其中图6-(a)为原始高分影像图；图6-(b)为高分影像与SLIC分割框相叠加图；图6-(c)为模型预测图和图6-(d)为真实滑坡标注图；图6-(e)为真实滑坡标注结果图。从图6-(e)可以看出，结果具有明显的分割痕迹。

由图6-(e)可以看出，区域A均为滑坡体，滑坡体自左上角至右下角进行分布，且该滑坡区域在高分原始影像上已发滑坡纹理较为明显。在大面积都是滑坡的情况下，滑坡体识别模型能够有较高的识别度，且在滑坡体不规整的情况下，滑坡体边缘趋势识别情况较好。

图7示出了根据本申请的一个实施例的区域B的滑坡体识别的可视化展示结果，其中图7-(a)为原始高分影像图；图7-(b)为高分影像与SLIC分割框相叠加图；图7-(c)为模型预测图和图7-(d)为真实滑坡标注图；图7-(e)为真实滑坡标注结果图。

从图7-(e)可以看出，区域B内右上角为滑坡区域。滑坡体在高分影像上有明显的滑坡边缘纹理信息。在这种边缘部分滑坡的情况下，模型能够对大致区域进行较为准确的识别，且识别结果较为贴近真实结果，在滑坡边缘复杂的情况下，能够较为准确的识别边缘。

图8示出了根据本申请的一个实施例的区域C的滑坡体识别的可视化展示结果，其中图8-(a)为原始高分影像图；图8-(b)为高分影像与SLIC分割框相叠加图；图8-(c)为模型预测图和图8-(d)为真实滑坡标注图；图8-(e)为真实滑坡标注结果图。

从图8-(e)可以看出，区域C内右测为滑坡区域。滑坡体在高分影像上有明显的滑坡边缘纹理信息。在这种边缘部分滑坡的情况下，模型能够对大致区域进行较为准确的识别，且滑坡体边缘识别较为准确。

图9示出了根据本申请的一个实施例的区域D的滑坡体识别的可视化展示结果，其中图9-(a)为原始高分影像图；图9-(b)为高分影像与SLIC分割框相叠加图；图9-(c)为模型预测图和图9-(d)为真实滑坡标注图；图9-(e)为真实滑坡标注结果图。

从图9-(e)可以看出，区域D内右下角为滑坡区域。滑坡体在高分影像上有明显的滑坡边缘纹理信息，且滑坡较为明显:自山体顶部发生滑坡至山脚与河流相会。模型能够识别滑坡体主要位置，且滑坡形态贴近真实滑坡体。

图10示出了根据本申请的一个实施例的区域E的滑坡体识别的可视化展示结果，其中图10-(a)为原始高分影像图；图10-(b)为高分影像与SLIC分割框相叠加图；图10-(c)为模型预测图和图10-(d)为真实滑坡标注图；图10-(e)为真实滑坡标注结果图。

从图10-(e)可以看出，区域E内右侧为滑坡区域。滑坡体在高分影像上有明显的滑坡边缘纹理信息。在这种边缘部分滑坡的情况下，模型能够对大致区域进行较为准确的识别，且不因滑坡体在边缘的原因，造成滑坡体未识别。

图11示出了根据本申请的一个实施例的区域F的滑坡体识别的可视化展示结果，其中图11-(a)为原始高分影像图；图11-(b)为高分影像与SLIC分割框相叠加图；图11-(c)为模型预测图和图11-(d)为真实滑坡标注图；图11-(e)为真实滑坡标注结果图。

从图11-(e)可以看出，区域F内右上角为滑坡区域。滑坡体在高分影像上有明显的滑坡边缘纹理信息。在这种边缘部分滑坡的情况下，模型能够对大致区域进行较为准确的识别，且识别结果贴近真实滑坡情况。

图12示出了根据本申请的一个实施例的区域G的滑坡体识别的可视化展示结果，其中图12-(a)为原始高分影像图；图12-(b)为高分影像与SLIC分割框相叠加图；图12-(c)为模型预测图和图12-(d)为真实滑坡标注图；图12-(e)为真实滑坡标注结果图。

从图12-(e)可以看出，区域G内右上角为小部分滑坡区域。原始数据仅裁剪出小部分滑坡体区域，且滑坡区域位于数据边缘。在这种边缘部分滑坡的情况下，图模型能够识别滑坡体。

与滑坡体识别的卷积神经网络模型一样，滑坡体识别的图神经网络模型的精度评价指标也选择重叠度IoU指标，用于评价面向对象的图神经网络对上述7个区域滑坡体的识别精度。在滑坡体大量存在的A区域，图神经网络相对于CLI并没有有明显提升，但在滑坡体占比相对较少的B、C、D、E、F区域，识别精度得到了明显提升：其中B、E区域IoU指标分别提高了5.64％与8.65％，而C、D区域指标得到大幅度提升，分别提高了38.14％和52.04％，CLI对G区域的小块滑坡体无识别能力，而图神经网络能够识别出滑坡体所在位置。

相较于基于传统卷积神经网络的识别结果，采用图神经网络的方法进行滑坡体识别结果中：大部分滑坡体识别度较好，且小块滑坡体也能较好。较少出现误识别或漏识别情况。整体识别精度高达89％，IoU为91.3％。相较于传统卷积神经网络，滑坡区域所在IoU为90.49％，提高3.17％，全局IoU为94.58％提高0.55％(表2)。

表2

区域	CLI	本申请
			A	98.83	98.47
B	89.96	95.60
			C	54.69	89.83
D	44.04	96.08
			E	85.96	94.61
F	53.06	94.67
			G	0	55
7区域IoU	82.97	96.06
			研究区总体	88.23	97.94

图13示出了根据本申请的一个实施例的滑坡体识别模型的训练装置的结构示意图，从图13可以看出，所述装置1300包括：

获取单元1310，用于获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

转化单元1320，用于将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建单元1330，用于构建并初始化图神经网络模型；

训练单元1340，用于将所述图结构数据输入至所述图神经网络模型中进行训练，以得到滑坡体识别模型。

在本申请的一些实施例中，在上述装置中，转化单元1320，用于对所述原始数据进行采样和数据增强处理，得到多个训练数据框；对各所述训练数据框进行超像素提取，得到多个像素块；对各所述像素块进行特征提取，得到各像素块的图节点矩阵；根据各所述像素块的相邻关系，确定各像素块的连接矩阵。

在本申请的一些实施例中，在上述装置中，转化单元1320，用于根据指定大小裁剪尺度，对所述原始数据采用逐级递减的随机采样方式，进行采样，得到多个数据块；确定各数据块中，滑坡体元素数量占各数据块元素数量的比例值；确定各数据块对应的比例值所属的比例值范围，并在各比例值范围内，选取指定数量的数据块；对选取的数据块进行数据增强，得到所述训练数据框；其中，所述数据增强包括矩阵旋转和矩阵翻转。

在本申请的一些实施例中，在上述装置中，转化单元1320，用于对各所述训练数据框进行可视化处理，得到可视化数据框；将所述可视化数据框，采用简单线性迭代聚类方法进行超像素提取，得到多个像素块，以使同一地物属性的像素归纳为同一超像素块。

在本申请的一些实施例中，在上述装置中，转化单元1320，用于确定各像素块的各波段原始光谱值的均值以及各波段光谱值的方差，以表征各像素块的色调特征；确定各像素块的各波段原始光谱在第一方向和第二方向的梯度均值与梯度方差，并根据所述梯度均值与所述梯度方差确定各像素块的总体梯度，以表征各像素块的纹理特征；以及，用于根据各像素块对应的DEM数据，确定各像素块的DEM均值与DEM方差，以表征各像素块的高度特征；确定各像素块的各波段原始光谱在第一方向和第二方向的梯度，并根据所述梯度确定各像素块的像素坡向，以表征各像素块的坡向特征。

在本申请的一些实施例中，在上述装置中，转化单元1320，用于将得到的各像素块进行像素化，得到多个指定大小的分割矩阵；

确定各所述分割矩阵的index值；将各所述分割矩阵的边缘增加一层边缘值，并在指定地点，以指定大小裁剪尺度进行裁剪，得到多个对比矩阵；

将所述分割矩阵与得到的多个对比矩阵逐像素比对，若被比较的两个像素值不同，则确定所述两个像素值分别对应的第一index值和第二index值，并确定所述第一index值和所述第二index值对应的超像素块相邻。

在本申请的一些实施例中，在上述装置中，构建单元1330，用于采用python语言，基于Pytorch Geometric框架构建所述图神经网络模型；设置所述图神经网络模型的参数，所述参数包括：Batch Size、Epoches、监控验证集损失、优化器、初始学习率；采用python生成器，将所述图结构数据分批次进入所述图神经网络模型中。

能够理解，上述滑坡体识别模型的训练装置，能够实现前述实施例中提供的滑坡体识别模型的训练方法的各个步骤，关于滑坡体识别模型的训练方法的相关阐释均适用于滑坡体识别模型的训练装置，此处不再赘述。

图14是本申请的一个实施例电子设备的结构示意图。请参考图14，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成滑坡体识别模型的训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建并初始化图神经网络模型；

将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。

上述如本申请图13所示实施例揭示的滑坡体识别模型的训练装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图13中滑坡体识别模型的训练装置执行的方法，并实现滑坡体识别模型的训练装置在图13所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图13所示实施例中滑坡体识别模型的训练装置执行的方法，并具体用于执行：

获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建并初始化图神经网络模型；

将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种滑坡体识别模型的训练方法，其特征在于，所述方法包括：

获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建并初始化图神经网络模型；

将所述图结构数据输入至所述图神经网络模型中进行训练，得到滑坡体识别模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始数据转化为图结构数据包括：

对所述原始数据进行采样和数据增强处理，得到多个训练数据框；

对各所述训练数据框进行超像素提取，得到多个像素块；

对各所述像素块进行特征提取，得到各像素块的图节点矩阵；

根据各所述像素块的相邻关系，确定各像素块的连接矩阵。

3.根据权利要求2所述的方法，其特征在于，所述对所述原始数据进行采样和数据增强处理，得到训练数据框包括：

根据指定大小裁剪尺度，对所述原始数据采用逐级递减的随机采样方式，进行采样，得到多个数据块；

确定各数据块中，滑坡体元素数量占各数据块元素数量的比例值；

确定各数据块对应的比例值所属的比例值范围，并在各比例值范围内，选取指定数量的数据块；

对选取的数据块进行数据增强，得到所述训练数据框；其中，所述数据增强包括矩阵旋转和矩阵翻转。

4.根据权利要求2所述的方法，其特征在于，所述对各所述训练数据框进行超像素提取，得到多个像素块包括：

对各所述训练数据框进行可视化处理，得到可视化数据框；

将所述可视化数据框，采用简单线性迭代聚类方法进行超像素提取，得到多个像素块，以使同一地物属性的像素归纳为同一超像素块。

5.根据权利要求2所述的方法，其特征在于，

所述对各所述像素块进行特征提取包括：

确定各像素块的各波段原始光谱值的均值以及各波段光谱值的方差，以表征各像素块的色调特征；

确定各像素块的各波段原始光谱在第一方向和第二方向的梯度均值与梯度方差，并根据所述梯度均值与所述梯度方差确定各像素块的总体梯度，以表征各像素块的纹理特征；

以及，

根据各像素块对应的DEM数据，确定各像素块的DEM均值与DEM方差，以表征各像素块的高度特征；

确定各像素块的各波段原始光谱在第一方向和第二方向的梯度，并根据所述梯度确定各像素块的像素坡向，以表征各像素块的坡向特征。

6.根据权利要求2所述的方法，其特征在于，根据各所述像素块的相邻关系，确定各像素块的连接矩阵包括：

将得到的各像素块进行像素化，得到多个指定大小的分割矩阵；

确定各所述分割矩阵的index值；将各所述分割矩阵的边缘增加一层边缘值，并在指定地点，以指定大小裁剪尺度进行裁剪，得到多个对比矩阵；

将所述分割矩阵与得到的多个对比矩阵逐像素比对，若被比较的两个像素值不同，则确定所述两个像素值分别对应的第一index值和第二index值，并确定所述第一index值和所述第二index值对应的超像素块相邻。

7.根据权利要求1所述的方法，其特征在于，所述构建并初始化图神经网络模型包括：

采用python语言，基于Pytorch Geometric框架构建所述图神经网络模型；

设置所述图神经网络模型的参数，所述参数包括：Batch Size、Epoches、监控验证集损失、优化器、初始学习率；

采用python生成器，将所述图结构数据分批次进入所述图神经网络模型中。

8.一种滑坡体识别模型的训练装置，其特征在于，所述装置包括：

获取单元，用于获取原始数据，其中，所述原始数据包括高分影像和DEM数据；

转化单元，用于将所述原始数据转化为图结构数据，其中，所述图结构数据包括图节点矩阵和连接矩阵；

构建单元，用于构建并初始化图神经网络模型；

训练单元，用于将所述图结构数据输入至所述图神经网络模型中进行训练，以得到滑坡体识别模型。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7所述方法。

Images