CN114463643A - 多模型决策级融合的滑坡识别方法及装置 - Google Patents

Abstract

本发明提供一种多模型决策级融合的滑坡识别方法及装置，方法包括：获取待识别遥感影像；将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。本发明实现了消落带滑坡信息的智能化提取，提高了滑坡识别的工作效率和滑坡智能化识别的实用水平。

Description

多模型决策级融合的滑坡识别方法及装置

技术领域

本发明涉及滑坡遥感识别技术领域，尤其涉及一种多模型决策级融合的滑坡识别方法及装置。

背景技术

遥感技术是滑坡识别中的一种重要技术。针对传统卫星遥感和航空遥感手段难以及时采集到低水位期的遥感影像、垂直下视视角遥感难以获取陡峭地形的立面信息等不足，近年来产生了一种船载遥感技术，即使用船平台，以水平视角获取库区消落带的遥感影像，利用船载影像对消落带进行三维建模，然后使用人工目视解译方法在三维模型上进行滑坡的识别。人工目视解译方法存在耗时费力、工作效率低等不足，如何从遥感影像中自动、高效地识别滑坡一直以来是滑坡遥感研究的热点和难点问题。

随着遥感数据深度学习技术的快速发展，采用深度学习方法进行滑坡自动识别已成为滑坡遥感中的主流研究方向。现有的深度学习滑坡识别方法主要使用垂直下视视角的遥感影像，对于库区消落带船载影像而言，如将其处理成垂直正射影像，则在地形陡峭地区将造成严重的信息缺失，造成滑坡的漏判。随着三维点云深度学习技术的发展，尤其是PointNet等深度学习模型的提出，将船载影像处理生成三维点云，然后从点云上直接识别滑坡成为一种理论上上较为可行的方案。但是从实际应用的角度来说，将所有船载数据处理成三维点云，然后再在点云上利用深度学习算法识别滑坡是一个工作量巨大的工作，实用性较低。

发明内容

本发明提供一种多模型决策级融合的滑坡识别方法及装置，用以解决现有技术中滑坡识别的精度与实用性不能兼得的缺陷，提高滑坡识别的自动化水平和实用性。

本发明提供一种多模型决策级融合的滑坡识别方法，包括：

获取待识别遥感影像；

将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

根据本发明提供的一种多模型决策级融合的滑坡识别方法，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

根据本发明提供的一种多模型决策级融合的滑坡识别方法，所述多个学习器是通过分别将经过预处理的样本数据集送入不同的神经网络模型中训练后得到的。

根据本发明提供的一种多模型决策级融合的滑坡识别方法，所述数据预处理包括：

样本数据集划分、归一化、编码转化、数据增强、正负样本拼接和增加随机性。

根据本发明提供的一种多模型决策级融合的滑坡识别方法，所述样本数据集划分包括：采用五折交叉验证方法将样本数据集划分为5 堆，每一次训练选取其中一堆作为测试集，另外四堆作为训练集。

根据本发明提供的一种多模型决策级融合的滑坡识别方法，所述神经网络模型包括：

VGG19、DenseNet121、EffiientNetB0、SEresNext50和Vit。

本发明还提供一种多模型决策级融合的滑坡识别装置，包括：

采集模块，用于获取待识别遥感影像；

识别模块，用于将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

根据本发明提供的一种多模型决策级融合的滑坡识别装置，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模型决策级融合的滑坡识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模型决策级融合的滑坡识别方法的步骤。

本发明提供的一种多模型决策级融合的滑坡识别方法及装置，通过基于深度学习目标识别方法从大量原始船载影像上识别出包含有滑坡的影像，然后根据影像对应的原始位置数据对滑坡的进行粗略定位，这种技术流程既避免了正射影像导致的信息缺失，也极大减少了三维建模的工作量，较为符合实际应用需求，实用水平较高。同时，本发明实现了消落带滑坡信息的智能化提取，提高了滑坡识别的工作效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的模型决策级融合的滑坡识别方法的流程示意图；

图2是本发明实施例提供的滑坡识别模型的训练方法流程示意图；

图3是本发明实施例提供的决策级融合的滑坡识别装置的结构示意图；

图4是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的滑坡智能化识别方法中，使用垂直下视视角的遥感正射影像存在信息缺失问题，点云深度学习方法计算量巨大且包含大量无效计算，这两种消落带滑坡识别方法的实用性均较低。滑坡数据获取过程中，样本中滑坡体拍摄距离差别较大、滑坡区域在整幅样本图像中占比例差别较大、样本量少以及正负样本数据量不平衡。针对这一系列难题，本发明制定了一系列针对性的方法调整，从而能够很好的提高识别算法精度。本发明实施例提出了一种多模型决策级融合的滑坡识别方法，如图1所示，包括如下步骤：

步骤101、获取待识别遥感影像；

步骤102、将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

需要说明的是，所述类别包括属于滑坡或不属于滑坡。

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

需要说明的是，所述学习器是通过样本数据集训练后的神经网络模型。

本发明实施例提出的多模型决策级融合的滑坡识别方法，通过基于深度学习目标识别方法从大量原始船载影像上识别出包含有滑坡的影像，然后根据影像对应的原始位置数据对滑坡的进行粗略定位，这种技术流程既避免了正射影像导致的信息缺失，也极大减少了三维建模的工作量，较为符合实际应用需求，实用性较高。

在本发明的至少一个实施例中，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

需要说明的是，在本发明实施例中，消落带，是指河流、湖泊、水库中由于季节性水位涨落，而使被水淹没的土地周期性出露水面，成为陆地的一段特殊区域，属于湿地范畴。

在本发明的至少一个实施例中，对所述水平视角获取的库区消落带的遥感影像进行自动裁切，保证各样本中岸坡区域在整幅样本图像中占比基本一致。优选的，根据遥感影像样本中的图像像素值采用区域增长算法对岸坡区域进行自动提取，并进行样本自动裁切。

本发明实施例的待识别遥感影像在样本处理的过程中，由于在水平拍摄时，受船只航线的约束，以及河岸蜿蜒曲折的原因，样本照片中滑坡体拍摄距离差别较大、滑坡区域在整幅样本图像中占比例差别较大。故本发明实施例采用了根据滑坡区域占比对样本进行裁切的措施，保证各样本中滑坡区域在整幅样本图像中占比基本一致。

在本发明的至少一个实施例中，所述多个学习器是通过分别将经过预处理的样本数据集送入不同的神经网络模型中训练后得到的。

在本发明的至少一个实施例中，所述决策器还包括全连接层，所述全连接层采用投票法进行决策级融合，投票法适用于分类任务，对多个学习器的预测结果进行投票，即少数服从多数。

在本发明的至少一个实施例中，所述数据预处理包括：

样本数据集划分、归一化、编码转化、数据增强、正负样本拼接和增加随机性。

需要说明的是，样本数据集划分具体是指：

对于训练集、验证集和测试集的划分，完成数据集划分后，生成正负样本的npy文件(.npy文件是numpy专用的二进制文件)和样本标签对应的npy文件。

在本发明的至少一个实施例中，所述样本数据集划分包括：采用五折交叉验证方法将样本数据集划分为5堆，将正样本和负样本分别分为5堆；每一次训练选取一堆作为测试集，另外四堆作为训练集；上一步操作共重复五次，每次选取的训练集不同。

需要说明的是，所述正样本和负样本分别包括属于滑坡的遥感图像和不属于滑坡的遥感图像。由于本发明实施例中数据集的数据量很少，为减少模型训练中可能出现的欠学习状态，除了数据增强外还选择了五折交叉验证，交叉验证中每一个样本数据都能既被当作训练数据也能当作测试数据，有效的解决了数据量小的问题。

所述归一化具体是指：

最大最小值归一化处理方法，计算公式如式(1)所示：

式中，x_i表示图像像素点值，min(x)、max(x)分别表示图像像素的最小与最大值。

图像归一化使得像素值落在[0,1]区间上。

归一化是为了消除指标之间量纲的影响，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，以进行综合对比评价。

所述编码转化是指独热编码转化，独热编码即One-Hot编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。One-Hot 编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，被标记为1。独热编码解决了本发明实施例中分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。

所述数据增强是对数据进行扩充的方法的总称。数据增强可以增加训练集的样本，可以有效缓解模型过拟合的情况，也可以给模型带来的更强的泛化能力。图像数据增强通常有以下几种方式：图像水平翻转、垂直翻转、平移、旋转、亮度调整、加噪声。

为解决正负样本不均衡问题，需要对正样本进行数据增强。在将正样本分为五堆后，对后续将用于模型训练的4堆数据通过增添噪音，翻转，旋转等手段进行数据增强，为避免测试结果虚高，用于测试的 1堆数据不做处理。

所述正负样本拼接具体是指，分别将正样本中完成数据增强的训练数据与负样本中训练数据进行拼接得到每一折的训练集。同理，将正样本中测试数据与负样本中的测试数据进行拼接得到每一折的测试集。由于本发明实施例的数据集中的正负样本数据量不平衡，为减少样本平衡问题，需要对模型训练数据中正样本进行数据增强，另外，对于负样本我们是不做处理的。完成正样本的增强后，进行正负样本的拼接并suffle打乱生成最终的数据集。

所述增加随机性具体采用shuffle操作，该操作就是为了避免数据投入的顺序对网络训练造成的影响，增加随机性，提高网络的泛化性能，避免因为有规律的数据出现，导致权重更新时的梯度过于极端，避免最终模型过于拟合或欠拟合。

在本发明的至少一个实施例中，所述神经网络模型包括：

VGG19、DenseNet121、EffiientNetB0、SEresNext50和Vit。

在本发明的实施例中，分别对VGG19、DenseNet121、 EffiientNetB0、SEresNext50和Vit 5个模型进行训练，并得到了相应的准确率和损失值，如表1所示。由此可见本发明实施例的神经网络模型使用的5个模型在滑坡分类方面表现优异，准确率均超过92％。

表1不同神经网络模型准确度对比

	Acc	Loss
			VGG19	92.59259104728699％	0.30833032727241516
DenseNet121	93.33333373069763％	0.20521868765354156
			EffiientNetB0	92.59259104728699％	0.23532849550247192
SEresNext50	93.33333373069763％	0.42525672912597656
			Vit	94.44444179534912％	0.42417433857917786
average	93.259258270263672％	0.219661715626716612

为了提高图像分类的准确性，本发明进行了决策级模型融合，并分别采用了结果多数表决(本发明的投票法)、结果直接平均、结果加权平均三种类型的结果融合方式。结果直接平均是通过融合每个模型的平均预测水平来提高整体模型的预测能力，它并不能够强调个别模型的凸出优势，但是能够有效弥补部分模型的缺点。最后，结果加权平均是在结果直接平均基础上改进的，它通过增添权重参数来表达每个模型对融合模型结果的贡献程度。不同的权重可以得到不同的模型融合结果，进而得到不同的预测结果。其中VIT模型表现最好，准确率为94.44％。

如表2所示，三种不同的决策融合都取得了显著的效果，其中本发明实施例采用的结果多数表决方法的分类精度高且损失小，效果最好。

表2不同融合方式的精度对比

	Acc	Loss
			结果多数表决	0.9481481481481482	0.8418248418248417
结果直接平均	0.9444444444444444	0.829004329004329
			结果加权平均	0.9481481481481482	0.8524808524808525

在本发明的至少一个实施例中，如图2所示，各个神经网络的模型的训练过程如下：

步骤a：获取船载影像数据；

步骤b：数据预处理；

步骤c、模型预训练；

采用迁移学习将预训练好的模型参数迁移过来进行训练，来提高小规模训练集的准确率。本发明使用ImageNet训练出的权重做特征提取器，并冻结卷积神经网络(Convolutional Neutral Network,CNN) 模型全连接层外的所有参数。

步骤d：采用样本数据集对预训练后的模型进行训练，获得训练好的模型作为学习器；

在完成模型预加载后，将训练集投入模型进行训练，完成准确率和损失值曲线的绘制，最后计算模型在测试集上的准确度。完成模型训练后，将每一次训练中验证集上结果最好的一组模型权重存储下来。

步骤e：模型融合。

本发明实施例的滑坡识别模型的各个学习器训练时各项配置如下：

本发明实施例采用Adam优化器，其中学习率设定为0.001。

本发明实施例采用的交叉熵损失函数的公式如下：

本发明实施例采用EarlyStopping和ModelCheckpoint作为回调函数。EarlyStopping是用于提前停止训练的回调函数，可以加快学习的速度，提高调参效率。可以达到当训练集上的交叉熵损失函数不再减小(即减小的程度小于某个阈值)的时候停止继续训练。 ModelCheckpoint在模型训练完之后，用于保存权重文件。

本发明进行VGG19、DenseNet121、EffiientNetB0、SEresNext50 和Vit 5个模型的训练，即对五折交叉验证的每一折中的测试集，分别有了5个预训练的模型，分别进行预测后对结果进行加和投票，得到这一折的准确率和损失值，最后经计算最后得到五折平均精度。

下面对本发明提供的多模型决策级融合的滑坡识别装置进行描述，下文描述的多模型决策级融合的滑坡识别装置与上文描述的多模型决策级融合的滑坡识别方法可相互对应参照。如图3所示，本实施例的多模型决策级融合的滑坡识别装置，包括：

采集模块301，用于获取待识别遥感影像；

识别模块302，用于将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

本发明实施例提出的多模型决策级融合的滑坡识别装置，通过基于深度学习目标识别方法从大量原始船载影像上识别出包含有滑坡的影像，然后根据影像对应的原始位置数据对滑坡的进行粗略定位，这种技术流程既避免了正射影像导致的信息缺失，也极大减少了三维建模的工作量，较为符合实际应用需求，实用性较高

在本发明的至少一个实施例中，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

在本发明的至少一个实施例中，所述多个学习器是通过分别将经过预处理的样本数据集送入不同的神经网络模型中训练后得到的。

在本发明的至少一个实施例中，所述数据预处理包括：

样本数据集划分、归一化、编码转化、数据增强、正负样本拼接和增加随机性。

在本发明的至少一个实施例中，所述样本数据集划分包括：采用五折交叉验证方法将样本数据集划分为5堆，每一次训练选取其中一堆作为测试集，另外四堆作为训练集。

在本发明的至少一个实施例中，所述神经网络模型包括：

VGG19、DenseNet121、EffiientNetB0、SEresNext50和Vit。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行多模型决策级融合的滑坡识别方法，该方法包括：

获取待识别遥感影像；

将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多模型决策级融合的滑坡识别方法，该方法包括：

获取待识别遥感影像；

将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多模型决策级融合的滑坡识别方法，该方法包括：

获取待识别遥感影像；

将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多模型决策级融合的滑坡识别方法，其特征在于，包括：

获取待识别遥感影像；

将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

2.根据权利要求1所述的多模型决策级融合的滑坡识别方法，其特征在于，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

3.根据权利要求2所述的多模型决策级融合的滑坡识别方法，其特征在于，所述多个学习器是通过分别将经过预处理的样本数据集送入不同的神经网络模型中训练后得到的。

4.根据权利要求3所述的多模型决策级融合的滑坡识别方法，其特征在于，所述数据预处理包括：

样本数据集划分、归一化、编码转化、数据增强、正负样本拼接和增加随机性。

5.根据权利要求4所述的多模型决策级融合的滑坡识别方法，其特征在于，所述样本数据集划分包括：采用五折交叉验证方法将样本数据集划分为5堆，每一次训练选取其中一堆作为测试集，另外四堆作为训练集。

6.根据权利要求3所述的多模型决策级融合的滑坡识别方法，其特征在于，所述神经网络模型包括：

VGG19、DenseNet121、EffiientNetB0、SEresNext50和Vit。

7.一种多模型决策级融合的滑坡识别装置，其特征在于，包括：

采集模块，用于获取待识别遥感影像；

识别模块，用于将所述待识别遥感影像输入滑坡识别模型中，获得滑坡识别模型输出的待识别遥感影像的类别；

其中，所述滑坡识别模型包括决策器和多个学习器，所述多个学习器用于分别获取待识别遥感影像的预测类别，所述决策器用于对所述多个学习器的预测类别进行投票获得所述输出的待识别遥感影像的类别。

8.根据权利要求7所述的多模型决策级融合的滑坡识别装置，其特征在于，所述待识别遥感影像包括水平视角获取的库区消落带的遥感影像。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述多模型决策级融合的滑坡识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多模型决策级融合的滑坡识别方法的步骤。

Images