CN110008301A - 基于机器学习的区域性地质灾害易发性预测方法及装置 - Google Patents

Abstract

本发明提供一种基于机器学习的区域性地质灾害易发性预测方法及装置，涉及地质分析领域，以缓解现有技术中存在的预测精度低的技术问题，可以提高预测精度。其中，该方法包括：获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；对各个单体监测点的监测数据进行预处理得到各个单体监测点的标准化数据；对各个单体监测点的标准化数据进行特征工程，得到各个单体监测点的训练用参数数据；分别基于各个单体监测点的训练用参数数据利用预设机器学习的方法对各个单体监测点进行单体指标预测，得到各个单体监测点的单体预测结果；对各个单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

Description

基于机器学习的区域性地质灾害易发性预测方法及装置

技术领域

本发明涉及地质分析评估技术领域，尤其是涉及一种基于机器学习的区域性地质灾害易发性预测方法及装置。

背景技术

近些年，地质灾害时有发生，对居民的人身安全、交通运输、水利水电、工业厂矿等造成巨大的影响。

针对地质灾害的短期预警预报研究十分深入，在预警预报基础上许多地质灾害得以临灾避险，避免了大量人员伤亡和财产损失。但仅仅临灾避险是不够的，更重要的是提早部署地质灾害防灾减灾工作，因此，有必要开展地质灾害预测，地质灾害预测是评价地质灾害风险的基础，是地质灾害研究的重要内容。地质灾害预测根据历史地质灾害活动规律、形成条件、发生机制以及灾害区承灾能力等因素，运用逻辑推理等方法，推测和评估未来一定时期内地质灾害的发展变化情况和可能的危险性与破坏损失程度。

地质灾害防灾减灾工作需要开展长周期、针对较大区域的地质灾害预测，由于预测时间跨度长、区域范围广、影响因素复杂且难以量化，目前针对长周期、一定区域的地质灾害趋势预测多以定性预测(例如专家会商法、分析综合法)为主，预测结果精度低。

发明内容

有鉴于此，本发明的目的在于提供一种基于机器学习的区域性地质灾害易发性预测方法及装置，以缓解现有技术中存在的预测精度低的技术问题，可以提高预测精度。

第一方面，本发明实施例提供了一种基于机器学习的区域性地质灾害易发性预测方法，包括以下步骤：

获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；

对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据；

对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据；

分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据，包括：

确定目标区域以及目标地质灾害类型；

在所述目标区域选取并设置多个单体监测点；

基于所述目标地质灾害类型在各个所述单体监测点设置预设传感器组；

利用各个所述单体监测点的所述预设传感器组对预设采集参数进行数据采集获得各个单体监测点的预设时间段内的监测数据。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据，包括：

利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理，得到各个所述单体监测点的标准化数据：

X＝X_{实际监测值}/(X_{监测最大值}-X_{监测最小值})。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在所述利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理，得到各个所述单体监测点的标准化数据的步骤之前，所述方法还包括：

对各个所述单体监测点的所述监测数据进行异常数据剔除处理；和/或，对各个所述单体监测点的所述监测数据进行滤波处理。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据，包括：

基于各个所述单体监测点所述标准化数据采用皮尔逊相关系数法对所述预设采集参数进行相关性分析，从所述预设采集参数中筛选得到各个所述单体监测点的输入特征参数，将各个所述单体监测点的所述输入特征参数的标准化数据作为各个所述单体监测点的训练用参数数据。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果，包括：

在所述预设机器学习的方法为一种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的算法模型；利用各个单体监测点的所述算法模型分别对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

在所述预设机器学习的方法为至少两种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的多个算法模型；从各个单体监测点的多个所述算法模型中确定出各个单体监测点的最优算法模型；利用各个单体监测点的所述最优算法模型对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果，包括：

根据各个所述单体监测点的单体预测结果以及各个单体监测点的预设权重利用整合公式计算获得目标区域的区域性预测结果；

整合公式如下：

y＝α₁x₁+α₂x₂+...+α_nx_n

其中，y为区域性预测结果，n为监测点的数量，α₁，α₂，…，α_n为各个监测点的预设权重，x₁，x₂，…，x_n为各个监测点的单体预测结果。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：

获取全国地质灾害专业监测数据库中的历史数据；

基于所述历史数据利用构建的拟合模型对所述目标区域在所述预设时间段内进行预测，得到第二区域性预测结果。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述方法还包括：

将所述区域性预测结果、所述第二区域性预测结果与基于地理信息系统(Geographic Information System或Geo－Information system，GIS)分析的区域性地质灾害易发性评估结合起来综合考虑得到最终的结果。

第二方面，本发明实施例还提供一种基于机器学习的区域性地质灾害易发性预测装置，包括：

获取模块，用于获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；

处理模块，用于对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据；

特征模块，用于对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据；

单体预测模块，用于分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

区域预测模块，用于对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述的方法的步骤。

本发明实施例带来了以下有益效果：本发明实施例提供的基于机器学习的区域性地质灾害易发性预测方法、装置、电子设备及计算机可读介质，其中，该方法通过首先获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；接着对各个单体监测点的监测数据进行预处理得到各个单体监测点的标准化数据；然后对各个单体监测点的标准化数据进行特征工程，得到各个单体监测点的训练用参数数据；随后分别基于各个单体监测点的训练用参数数据利用预设机器学习的方法对各个单体监测点进行单体指标预测，得到各个单体监测点的单体预测结果；最后对各个单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。本发明实施例提供的技术方案可以对地质灾害进行定量的分析，因此，该方法能够缓解现有技术中存在的预测精度低的技术问题，提高了预测精度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于机器学习的区域性地质灾害易发性预测方法的流程图；

图2为本发明实施例提供的另一种基于机器学习的区域性地质灾害易发性预测方法的流程图；

图3为本发明实施例提供的基于机器学习的区域性地质灾害易发性预测方法的应用场景图；

图4为本发明实施例提供的基于机器学习的区域性地质灾害易发性预测装置的结构框图；

图5为本发明实施例提供的基于机器学习的区域性地质灾害易发性预测装置的执行原理图；

图6为本发明实施例提供的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前地质灾害防灾减灾工作需要开展长周期、针对较大区域的地质灾害预测，由于预测时间跨度长、区域范围广、影响因素复杂且难以量化，目前针对长周期、一定区域的地质灾害趋势预测多以定性预测(例如专家会商法、分析综合法)为主，预测结果精度低，基于此，本发明实施例提供的一种基于机器学习的区域性地质灾害易发性预测方法及装置，以缓解现有技术中存在的预测精度低的技术问题，可以提高预测精度。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于机器学习的区域性地质灾害易发性预测方法进行详细介绍。

实施例一：

本发明实施例提供了一种基于机器学习的区域性地质灾害易发性预测方法，可以应用于滑坡、泥石流、崩塌等地质灾害的区域性预测和评估。

如图1所示，该方法包括以下步骤：

步骤S101，获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据。

这里的预设时间段可以是过去一段时间内，也可以是未来一段时间内。

具体的，该步骤S101主要通过以下步骤实现：

1、确定目标区域以及目标地质灾害类型；

其中，目标区域是指需要监测的任意区域，例如可以是西南地区、东北地区等，也可以是省市、乡镇等；本实施例不作具体限制；目标地质灾害类型为需要预测的地质灾害，可以是泥石流、滑坡、崩坍等。

例如，选定目标区域为A市，确定目标地质灾害类型为滑坡。

2、在所述目标区域选取并设置多个单体监测点；

单体监测点可以根据实际需要进行选取。需要说明的是，可以以目标区域活跃的地点为原则来选取单体监测点。

例如，在A市选取多个县，在各个县均设置一个单体监测点。

3、基于所述目标地质灾害类型在各个所述单体监测点设置预设传感器组；

例如，与滑坡地质灾害相关的变量有地表位移、裂缝、水位、雨量等，因此，各个单体监测点设置位移计、裂缝计、水位计、雨量计等预设传感器组。

4、利用各个所述单体监测点的所述预设传感器组对预设采集参数进行数据采集获得各个单体监测点的预设时间段内的监测数据。

利用上述各个单体监测点设置位移计、裂缝计、水位计、雨量计等预设传感器组来采集如地表位移数据、裂缝扩展数据、水位数据、雨量数据等与滑坡相关的数据，获取预设时间段内的监测数据作为变量数据进行后续处理。

综上，选定目标区域，选定区域内各活跃监测点，布设监测点进行数据采集，获得长时间段(例如未来24小时或48小时)原始监测数据，如地表位移数据、裂缝扩展数据、水位数据、雨量数据等与某项地质灾害类型相关的变量数据。

步骤S102，对各个单体监测点的监测数据进行预处理得到各个单体监测点的标准化数据。

这里的预处理包括但不限于纠正不一致数据，消除异常数据，修补遗漏数据，平滑噪声数据，重采样，对变量进行min-max标准化处理；其中min-max标准化处理是指将变量投射至[0，1]的区间内。

具体实现时，该步骤S102主要包括：

利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理(即min-max标准化处理)，得到各个所述单体监测点的标准化数据：

X＝X_{实际监测值}/(X_{监测最大值}-X_{监测最小值}) (1)

由于不同的监测参数，其值域区间不一样，采用上述标准化公式(1)统一为0到1的值域区间。

考虑到监测的数据存在异常的情况，因此，在进行上述标准化处理得到标准化数据之前，该方法还包括：

1对各个所述单体监测点的所述监测数据进行异常数据剔除处理；

判断某一采集参数的异常数据的标准如下，若该值与平均值的差的绝对值大于等于3倍的标准差，则认为该值为异常值，即对于数据x，正常值需要满足：

|x-mean|<3*std

其中mean代表平均值，std代表标准差。

或者，根据监测数据变化曲线剔除异常值。

和/或，2对各个所述单体监测点的所述监测数据进行滤波处理。

考虑到监测传感器受到环境因素如温度的影响，监测数据或多或少会存在温漂，所以在使用数据前，本发明实施例采用经典时间序列方法(如卡尔曼滤波，小波滤波)对原始监测数据进行滤波处理。

具体的，首先对原始的采集数据进行下采样，取一天24小时(或者48小时，时间不定)的平均值，然后再使用插值法如三次样条插值法(cubic spline interpolation)对下采样处理后的数据进行上采样。

需要指出的是，该方法还可以包括以下任意步骤的一种或多种：

3对各个所述单体监测点的所述监测数据进行纠正处理。

该步骤用于纠正不一致数据。

4对各个所述单体监测点的所述监测数据进行修补处理。

该步骤4用于修补遗漏数据。

5对各个所述单体监测点的所述监测数据进行平滑处理。

该步骤用于平滑噪声数据。

6对各个所述单体监测点的所述监测数据进行重采样等处理。

步骤S103，对各个单体监测点的标准化数据进行特征工程，得到各个单体监测点的训练用参数数据。

这里的特征工程包括：针对预测目标进行各个变量(预设采集参数)的相关性分析，通过筛选得到与目标变量皮尔逊相关系数大于预设系数阈值(例如0.8)的变量，同时构建自变量矩阵；若不满足要求，则通过PCA(Principal Component Analysis，即主成分分析方法)算法对自变量进行降维处理，把维度降至可接受范围之内。

该步骤通过以下步骤执行：

A、基于各个所述单体监测点所述标准化数据采用皮尔逊相关系数法对所述预设采集参数进行相关性分析，从所述预设采集参数中筛选得到各个所述单体监测点的输入特征参数，将各个所述单体监测点的所述输入特征参数的标准化数据作为各个所述单体监测点的训练用参数数据。

这里的预设采集参数包括第一采集参数和第二采集参数，所述第一采集参数用于表征预测地质灾害类型的参数；所述第二采集参数是指与所述预测地质灾害类型相关的参数；相应的，所述标准化数据包括第一标准化数据和第二标准化数据，所述第一标准化数据为所述第一采集参数的标准化数据；所述第二标准化数据为所述第二采集参数的标准化数据。

采用皮尔逊(积矩)相关系数法分析各第二采集参数与第一采集参数(裂缝)的相关性，粗选模型输入特征参数；将各个单体监测点的输入特征参数的标准化数据作为各个所述单体监测点的训练用参数数据。

例如，对于每个监测点，采用皮尔逊相关系数法分析水位、降雨量与裂缝的相关性，相关性高的参数均为降雨量，因此输入特征参数为降雨量，训练用参数数据为降雨量数据。

需要指出的是，上述的输入特征参数可以是第二采集参数中的一个参数，也可以是第二采集参数中的多个参数的组合。

步骤S104，分别基于各个单体监测点的训练用参数数据利用预设机器学习的方法对各个单体监测点进行单体指标预测，得到各个单体监测点的单体预测结果；

根据自变量矩阵的历史数据(过去采集的数据，用于训练模型)，训练包括岭回归，套索回归，决策树，支持向量机的多个算法模型，通过交叉验证对比各个模型的表现和结果，在此基础上调整参数从而得到最优模型，随之得到预测结果。

具体的，该步骤S104通过以下方式之一实现：

1)在所述预设机器学习的方法为一种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的算法模型；利用各个单体监测点的所述算法模型分别对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

2)在所述预设机器学习的方法为至少两种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的多个算法模型；从各个单体监测点的多个所述算法模型中确定出各个单体监测点的最优算法模型；利用各个单体监测点的所述最优算法模型对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果。

其中，上述的预设机器学习的方法包括岭回归、支持向量机、套索回归、决策树、集成学习等全监督的机器学习方法。

需要指出的是，各个监测点的预设机器学习方法可以是相同的，也可以是不同的，还可以是部分相同的，对此不实施例不作限定。

步骤S105，对各个单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

实施过程中，可以对各个单体监测点的单体预测结果利用综合分析法进行整合获得目标区域的区域性预测结果。这里的综合分析法是指根据事先拟定的该区域内各个监测点的重要程度，按照比例加权计算得到区域性预测。

具体的，该步骤S105通过以下步骤实现：

根据各个所述单体监测点的单体预测结果以及各个单体监测点的预设权重利用整合公式计算获得目标区域的区域性预测结果；

整合公式如下：

y＝α₁x₁+α₂x₂+...+α_nx_n

其中，y为区域性预测结果，n为监测点的数量，α₁，α₂，…，α_n为各个监测点的预设权重，x₁，x₂，…，x_n为各个监测点的单体预测结果。

需要说明的是，这里的预设权重是由专家预先给出的。

本发明实施例提供的基于机器学习的区域性地质灾害易发性预测方法通过获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；接着对各个单体监测点的监测数据进行预处理得到各个单体监测点的标准化数据；然后对各个单体监测点的标准化数据进行特征工程，得到各个单体监测点的训练用参数数据；随后分别基于各个单体监测点的训练用参数数据利用预设机器学习的方法对各个单体监测点进行单体指标预测，得到各个单体监测点的单体预测结果；最后对各个单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。本发明实施例提供的技术方案可以对地质灾害进行定量的分析，因此，该方法能够缓解现有技术中存在的预测精度低的技术问题，提高了预测精度；此外，该方法还可以提高预测范围，应用场景更加广泛。

实施例二：

参照图2，在实施例一的基础上，本发明实施例提供了另一种基于机器学习的区域性地质灾害易发性预测方法，与实施例一的区别在于，该方法还包括：

步骤S201，获取全国地质灾害专业监测数据库中的历史数据；

具体的，调查国内目前所有有数据记录的地质灾害事件，汇总全国范围内所有监测数据，建立全国地质灾害专业监测数据库；

需要指出的是，所有监测数据作为地质灾害易发性预测模型的数据样本，输入参数包括诱发因素(气象数据、地震数据)、地形资料、变形监测数据等，预测目标为地质灾害在不同区域内发生的概率；

步骤S202，基于历史数据利用构建的拟合模型对目标区域在预设时间段内进行预测，得到第二区域性预测结果。

拟合区域内发生某种地质灾害的概率和该区域内的与该地质灾害相关的所有变量的历史数据，并训练模型，根据训练模型和新的变量数据预测该区域内发生地质灾害的概率，具体包括：根据预处理之后的数据，构造目标矩阵，通过逻辑回归算法训练历史数据，得到一个拟合模型，该拟合模型可以根据输入直接输出发生地质灾害的概率。

其中，构建拟合模型的过程如下：

对历史数据进行标记，将发生地质灾害的历史数据添加标记1；并对该发生地质灾害对应的历史数据进行标准化处理，然后利用标准化的参数并基于逻辑回归算法训练得到拟合模型。

步骤S203，将区域性预测结果、第二区域性预测结果与基于地理信息系统GIS分析的区域性地质灾害易发性评估结合起来综合考虑得到最终的结果。

其中，基于GIS分析的区域性地质灾害易发行评估主要是发挥地理信息系统强大的空间数据存储和分析能力，建立区域性地质灾害数据库，该区域性地质灾害数据库包含所有已发生的地质灾害的各个因素的相关数据(比如在该次灾害发生时的气象数据、当地地形地貌、该单体岩体结构、岩性属性、人类工程活动等)。在此基础上，通过对产生地质灾害的各个因素的分析，结合各个因素特点采取统计和一般规律，重新组合灾害因素，从而建立区域性地质灾害易发性评估模型，明确不同区域内引发灾害发生的关键因素及其权重，解决了地质灾害易发性评估中各个因子的选择、不同数据合并和各数据层叠加的权重问题；因此，基于GIS分析的区域性地质灾害易发性评估的区域性评估结果，可以与上述区域性预测结果、第二区域性预测结果互相补充、验证，三者可以结合使用。

在一个实施例中，可以将区域性预测结果、第二区域性预测结果以及基于GIS分析的区域性地质灾害易发性评估的区域性评估结果取平均值作为最终的预测结果。

在其他实施例中，也可以分别对区域性预测结果、第二区域性预测结果以及基于GIS分析的区域性地质灾害易发性评估的区域性评估结果的权重进行预设(即设置三者的权重系数，该三者的权重系数可以根据实际需求设置，对此本实施例不作具体限定，)然后分别将区域性预测结果、第二区域性预测结果以及基于GIS分析的区域性地质灾害易发性评估的区域性评估结果乘以与其相对应的权重系数后相加得到最终的预测结果。

本发明实施例提供的一种基于机器学习的区域性地质灾害易发性预测方法，基于实时监测数据和历史数据，可以对目标区域的地质灾害易发性进行有效预测。具体的，该方法根据现场监测数据和地质灾害历史数据，采用机器学习方法对预测模型进行训练和验证测试，先生成单体地质灾害易发性预测，然后利用综合分析法合成一个区域性的预测结果，最后与基于传统GIS分析的区域性地质灾害易发性评估结合起来综合考虑得到最终的结果。该方法具有以下优点：预测算法可在任意地质灾害监测预警平台进行集成开发，较现有其他滑坡预报方法工作量大大减少，同时提供了区域性的综合预测，从更高层面上为决策者提供判断依据，更加全面，方便和可靠。

为了便于理解，下面结合图3对本发明实施例提供的基于机器学习的区域性地质灾害易发性预测方法进行说明：

该方法包括：

S301，采集监测数据；

具体的，选定目标区域，选定区域内各活跃监测点，布设监测点进行数据采集，获得长时间段(预设时间段)原始监测数据，如地表位移数据、裂缝扩展数据、水位数据、雨量数据等与某项地质灾害(滑坡)相关的变量数据；

S302，数据预处理；

该步骤S302包括：

(1)根据监测数据变化曲线剔除异常值；

(2)监测传感器受到环境因素如温度的影响，监测数据或多或少会存在温漂，所以在使用数据前，本发明采用经典时间序列方法(如卡尔曼滤波，小波滤波)对原始数据进行滤波处理。

具体的，首先对原始数据进行下采样，取一天24小时(或者48小时，时间不定)的平均值，然后再使用插值法如三次样条插值法(cubic spline interpolation)对下采样处理后的数据进行上采样；

(3)数据标准化处理，不同的监测参数，其值域区间不一样，采用上述标准化公式(1)统一为0到1的值域区间。

步骤S303，模型训练；

该步骤包括：

1.1采用皮尔逊积矩相关系数法分析各变量(监测参数)与预测目标(某地质灾害)的相关性，粗选模型输入特征(输入量)；

1.2本发明采用机器学习(全监督)方法训练模型，包括岭回归、支持向量回归和集成学习等方法，因为不同的监测点，其监测数据情况不一样，各种算法的预测效果也不一样，所以各种算法可以互为比较，在某监测点自动选择最优的算法；

本实施例中，采用包括岭回归、支持向量机等训练模型，在某个监测点选择最优的算法模型；

具体的，对于每一种算法均会采用十折交叉验证方法来训练该算法的模型，譬如将1年的数据集等分为10份，每一次取一份作为模型验证集，另九份作为模型训练集，如此重复10次训练该算法的模型，训练后获得10个该算法的模型，采用纳什效率系数(英文：Nash-Sutcliffe efficiency coefficient，简称：NSE)定量评价所有训练得到的算法模型(包括同一算法的和不同算法的算法模型)预测的表现，确定最优算法模型；

纳什效率系数(NSE)：

其中，Qo为验证集的监测值，Qm为与验证集相应的模型训练集训练的算法模型的模拟预测值，T表示验证集的样本量(比如每份数据的样本量为10，即T＝10)，为监测值的总平均值。需要指出的是，上述的t不是指数的含义，仅是表示验证集的第t个样本。

其中，E值最大的算法模型为最优算法模型。比如对于一个监测点，岭回归的10个岭回归算法模型得到的E最大为0.5，支持向量机10个支持向量算法模型得到的E最大为0.7，则E最大为0.7对应的支持向量算法模型为该监测点的最优算法模型；而对于另一个监测点，所有算法模型中，E最大为0.8对应的是岭回归算法模型为最优算法模型；即不同的监测点，其监测数据情况不一样，各种算法的预测效果也不一样，所以各种算法可以互为比较，在各个监测点分别选择最优算法模型。

然后利用各个监测点的最优算法模型分别对各个监测点在待预测时段进行单体预测，得到各个单体监测点的单体预测结果；

具体的，对于一个单体监测点，获取该监测点的待预测时段的输入特征参数，将输入特征参数代入该监测点的最优算法模型，得到该监测点的单体预测指标；最后将该单体预测指标转换并对应为目标地质灾害发生概率，目标地质灾害发生概率即得到单体预测结果。

例如，对于一个监测点，获取该监测点的待预测时段的输入特征参数降雨量，将输入特征参数代入该监测点的最优算法模型(裂缝与降雨量的函数关系)，得到裂缝值，该裂缝值为该监测点的单体预测指标；最后将该裂缝值转换为滑坡发生概率得到单体预测结果。

其中，将该单体预测指标按照预设转换公式转换得到概率系数，然后将概率系数按照对应表对应得到为目标地质灾害发生概率；

可以通过预设转换公式计算概率系数(A值)来确定目标地质灾害发生的概率：

当A<0时，边坡处于初始变形阶段，发生滑坡灾害概率记为20％；

当A＝0时，边坡处于等速变形阶段，发生滑坡灾害概率记为50％；

当A>0时，边坡处于加速变形阶段，发生滑坡灾害概率记为80％。

进一步的，1.3确定适合各个监测点的机器学习算法后，继续调整输入特征训练模型(譬如第一次训练时采用降雨和监测位移数据作为输入特征，第二次的输入特征包括降雨、监测位移数据和地下水位，输入特征的组合有很多)，重复操作定量评价过程，直到各项指标再难以优化(由E来确定)，最终确定最优的输入特征组合。

1.4在确定最优算法(如岭回归)和最优输入特征组合(如降雨+地下水位+位移监测数据)后，需要对模型进行更长时间(至少半年以上的监测数据)的精细化训练，确定预测方案。针对每一个监测点、每一个预测方案都需要训练出对应的模型，对目标地质灾害进行待预测时段(例如24小时)的单体预测。

步骤S304，综合分析；

在单体预测的基础上，本发明将会把区域内所有监测点的预测值整合成一个区域性地质灾害易发性指标；

具体的，根据事先由专家评定的各个监测点的权重，本发明实施例将会根据公式：y＝α₁x₁+α₂x₂+...+α_nx_n

得到区域性地质灾害易发性指标，其中y为区域性地质灾害易发性指标，α为专家给出的各监测点权重，x为各监测点单体易发性指标。

步骤S305，历史数据逻辑回归拟合；

根据上述的内容，全国地质灾害专业监测数据库中的历史数据在也起到了预测的作用，但其方法不同于整合单体预测的；

根据历史数据库中的各项数据，可以建立一个对应关系，即地质灾害的发生概率VS.各项诱发因素(例如气象数据、地震数据)、地形资料等历史数据库中有关的内容；

然后利用逻辑回归模型拟合历史数据，总结各项诱发因素与地质灾害发生概率之间的关系，得到一个训练完的可以在各项诱发因素数据完备的情况下识别出地质灾害发生概率的模型；

由于逻辑回归模型输出的值是处于[0,1]的区间内，可以将这个输出视为目标地质灾害在区域内的发生概率。

具体的，该步骤包括以下子步骤：

a对相应的数据打上标签，发生了灾害的记为1，未发生的记为0；

b对数据进行标准化处理，利用标准化公式(1)将数据映射到[0,1]的区间；

c利用逻辑回归算法对数据进行训练得到拟合模型；

d利用拟合模型对目标区域进行预测。

步骤S306，传统GIS分析；

具体的，在例如ArcGIS的GIS软件上通过目标区域的地质条件图层叠加得到该区域的地质灾害易发性指标。

需要指出的是，鉴于GIS的预测范围有限，因此当选定的目标区域小于预设区域阈值时，才利用基于GIS分析的区域性地质灾害易发性评估模型预测概率。

实施例三：

如图4所示，本发明实施例提供了一种基于机器学习的区域性地质灾害易发性预测装置，包括：

获取模块100，用于获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；

其中，获取模块100具体用于确定目标区域以及目标地质灾害类型；在所述目标区域选取并设置多个单体监测点；基于所述目标地质灾害类型在各个所述单体监测点设置预设传感器组；利用各个所述单体监测点的所述预设传感器组对预设采集参数进行数据采集获得各个单体监测点的预设时间段内的监测数据。

处理模块200，用于对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据；

其中，处理模块200具体用于对各个所述单体监测点的所述监测数据进行异常数据剔除处理；对各个所述单体监测点的所述监测数据进行滤波处理；利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理，得到各个所述单体监测点的标准化数据：

X＝X_{实际监测值}/(X_{监测最大值}-X_{监测最小值})。

特征模块300，用于对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据；

其中，特征模块300具体用于基于各个所述单体监测点所述标准化数据采用皮尔逊相关系数法对所述预设采集参数进行相关性分析，从所述预设采集参数中筛选得到各个所述单体监测点的输入特征参数，将各个所述单体监测点的所述输入特征参数的标准化数据作为各个所述单体监测点的训练用参数数据。

单体预测模块400，用于分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

其中，单体预测模块400具体用于在所述预设机器学习的方法为一种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的算法模型；利用各个单体监测点的所述算法模型分别对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；在所述预设机器学习的方法为至少两种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的多个算法模型；从各个单体监测点的多个所述算法模型中确定出各个单体监测点的最优算法模型；利用各个单体监测点的所述最优算法模型对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果。

区域预测模块500，用于对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

其中，区域预测模块500具体用于根据各个所述单体监测点的单体预测结果以及各个单体监测点的预设权重利用整合公式计算获得目标区域的区域性预测结果；整合公式如下：

y＝α₁x₁+α₂x₂+...+α_nx_n

其中，y为区域性预测结果，n为监测点的数量，α₁，α₂，…，α_n为各个监测点的预设权重，x₁，x₂，…，x_n为各个监测点的单体预测结果。

进一步的，该装置还包括：历史数据拟合模块(未示于图中)，用于获取全国地质灾害专业监测数据库中的历史数据；基于所述历史数据利用构建的拟合模型对所述目标区域在所述预设时间段内进行预测，得到第二区域性预测结果。

进一步的，该装置还包括：GIS模块，用于利用传统地理信息系统GIS分析得到目标区域的传统GIS分析结果。

参照图5，对该装置的执行原理图进行简要说明：

一条执行线为：首先，获取各监测点监测数据；然后，计算得到单体易发性预测结果；最后，综合分析得到区域性结果；

第二条执行线为：建立全国地质灾害专业监测数据库，然后根据数据库的历史数据逻辑回归拟合结果。

第三条执行线为：传统GIS分析结果。

最后对三种结果结合预测得到区域性地质灾害易发性。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供的基于机器学习的区域性地质灾害易发性预测装置，与上述实施例提供的基于机器学习的区域性地质灾害易发性预测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

参见图6，本发明实施例还提供一种电子设备10，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例所提供的进行基于机器学习的区域性地质灾害易发性预测方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于机器学习的区域性地质灾害易发性预测方法，其特征在于，包括以下步骤：

获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；

对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据；

对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据；

分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据，包括：

确定目标区域以及目标地质灾害类型；

在所述目标区域选取并设置多个单体监测点；

基于所述目标地质灾害类型在各个所述单体监测点设置预设传感器组；

利用各个所述单体监测点的所述预设传感器组对预设采集参数进行数据采集获得各个单体监测点的预设时间段内的监测数据。

3.根据权利要求1所述的方法，其特征在于，所述对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据，包括：

利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理，得到各个所述单体监测点的标准化数据：

X＝X_{实际监测值}/(X_{监测最大值}-X_{监测最小值})。

4.根据权利要求3所述的方法，其特征在于，在所述利用下列公式对各个所述单体监测点的所述监测数据进行标准化处理，得到各个所述单体监测点的标准化数据的步骤之前，所述方法还包括：

对各个所述单体监测点的所述监测数据进行异常数据剔除处理；

和/或，

对各个所述单体监测点的所述监测数据进行滤波处理。

5.根据权利要求1所述的方法，其特征在于，所述对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据，包括：

基于各个所述单体监测点所述标准化数据采用皮尔逊相关系数法对所述预设采集参数进行相关性分析，从所述预设采集参数中筛选得到各个所述单体监测点的输入特征参数，将各个所述单体监测点的所述输入特征参数的标准化数据作为各个所述单体监测点的训练用参数数据。

6.根据权利要求1所述的方法，其特征在于，所述分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果，包括：

在所述预设机器学习的方法为一种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的算法模型；利用各个单体监测点的所述算法模型分别对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

在所述预设机器学习的方法为至少两种的情况下，基于各个单体监测点的所述训练用参数利用所述预设机器学习的方法训练得到各个单体监测点的多个算法模型；从各个单体监测点的多个所述算法模型中确定出各个单体监测点的最优算法模型；利用各个单体监测点的所述最优算法模型对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果。

7.根据权利要求1所述的方法，其特征在于，所述对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果，包括：

根据各个所述单体监测点的单体预测结果以及各个单体监测点的预设权重利用整合公式计算获得目标区域的区域性预测结果；

整合公式如下：

y＝α₁x₁+α₂x₂+...+α_nx_n

其中，y为区域性预测结果，n为监测点的数量，α₁，α₂，…，α_n为各个监测点的预设权重，x₁，x₂，…，x_n为各个监测点的单体预测结果。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取全国地质灾害专业监测数据库中的历史数据；

基于所述历史数据利用构建的拟合模型对所述目标区域在所述预设时间段内进行预测，得到第二区域性预测结果。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

将所述区域性预测结果、所述第二区域性预测结果与基于地理信息系统GIS分析的区域性地质灾害易发性评估结合起来综合考虑得到最终的结果。

10.一种基于机器学习的区域性地质灾害易发性预测装置，其特征在于，包括：

获取模块，用于获取预设时间段内目标区域的各个单体监测点预设采集参数的监测数据；

处理模块，用于对各个所述单体监测点的所述监测数据进行预处理得到各个所述单体监测点的标准化数据；

特征模块，用于对各个所述单体监测点的所述标准化数据进行特征工程，得到各个所述单体监测点的训练用参数数据；

单体预测模块，用于分别基于各个单体监测点的所述训练用参数数据利用预设机器学习的方法对各个所述单体监测点进行单体指标预测，得到各个所述单体监测点的单体预测结果；

区域预测模块，用于对各个所述单体监测点的单体预测结果进行整合获得目标区域的区域性预测结果。