CN110824142B - 一种地质灾害的预测方法、装置及设备 - Google Patents

一种地质灾害的预测方法、装置及设备 Download PDF

Info

Publication number
CN110824142B
CN110824142B CN201911106198.0A CN201911106198A CN110824142B CN 110824142 B CN110824142 B CN 110824142B CN 201911106198 A CN201911106198 A CN 201911106198A CN 110824142 B CN110824142 B CN 110824142B
Authority
CN
China
Prior art keywords
indirect
direct
deep learning
network model
learning network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911106198.0A
Other languages
English (en)
Other versions
CN110824142A (zh
Inventor
郑增荣
董梅
宋杰
胡辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruhr Technology Co Ltd
Original Assignee
Hangzhou Ruhr Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruhr Technology Co Ltd filed Critical Hangzhou Ruhr Technology Co Ltd
Priority to CN201911106198.0A priority Critical patent/CN110824142B/zh
Publication of CN110824142A publication Critical patent/CN110824142A/zh
Application granted granted Critical
Publication of CN110824142B publication Critical patent/CN110824142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/24Earth materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Remote Sensing (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种地质灾害的预测方法、装置及设备,该预测方法包括:获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。本发明实施例的技术方案,通过将监测数据分为两组,并结合包含注意力机制的深度学习网络模型对数据进行处理以预测地质灾害,实现了地质灾害的短期预测,预测精度高。

Description

一种地质灾害的预测方法、装置及设备
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种地质灾害的预测方法、装置及设备。
背景技术
中国是一个地质灾害多发的国家,崩塌、滑坡、泥石流灾害几乎遍布全国各省山地丘陵区,每年还会出现几万至十几万处新的灾害点。每年地质灾害死亡人数近千人,直接经济损失80-100亿元,因中断交通、摧毁生产生活设施所带来的间接损失更是难以估计。
现阶段许多学者对滑坡位移预测进行了大量的研究,从具体的时间和精度上滑坡位移预测可分为:长期预测(1-10年以上),中长期预测(1月-1年以上),中短期预测(数日-1月)以及短期预测(数小时-1日)。
目前,绝大多数的研究都是对于中长期的预测(1月-1年以上),极少有对于中短期的预测(数日-1月),而对于短期预测则(数小时-1日)更是少之又少。这是因为在短期预测上,传感器受到外界因素(如温度)的影响,导致每小时的监测值波动剧烈,且存在极大的噪声干扰,因此,难以获取其形变趋势,给实时、准确的预测带来相当大的难度。
发明内容
本发明提供了一种地质灾害的预测方法、装置及设备,以实现地质灾害的实时监测和预测。
第一方面,本发明实施例提供了一种地质灾害的预测方法,该方法包括:
获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;
对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;
基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。
第二方面,本发明实施例还提供了一种地质灾害的预测装置,该装置包括:
监测数据获取模块,用于获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;
特征提取模块,用于对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;
灾害预测模块,用于基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。
第三方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的地质灾害的预测方法。
本发明实施例的技术方案,通过实时获取监测区域的监测数据,将其分为直接影响因子和间接影响因子进行后续分析,通过特征提取及包含注意力机制的深度学习网络模型对数据进行编码和解码,根据模型输出对地质灾害进行预测,实现了地质灾害的短期预测,且通过包含注意力机制的深度学习网络对地质灾害进行预测,预测精度高、速度快、鲁棒性强。
附图说明
图1是本发明实施例一中的一种地质灾害的预测方法的流程图;
图2是本发明实施例二中的一种地质灾害的预测方法的流程图;
图3是本发明实施例三中的一种地质灾害的预测装置的示意图;
图4是本发明实施例四中的一种设备的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种地质灾害的预测方法的流程图,本实施例可适用于对地质灾害预测的情况,该方法可以由地质灾害的预测装置来执行,该装置可以通过软件和硬件的方式实现,如图1所示,该方法具体包括如下步骤:
步骤110、获取监测区域的监测数据,其中,监测数据包括直接影响因子和间接影响因子。
其中,监测区域可以是地质灾害的易发地区或设定区域,可以包括一个或多个目标区域或监测点。地质灾害包括滑坡、崩塌、水土流失、盐碱化、地面沉降、地震、泥石流等,指的是以地质动力活动或地质环境异常变化为主要成因的自然灾害。直接影响因子指的是与地质灾害的发生存在直接联系的影响因素,而间接影响因子则指的是与地质灾害的发生存在间接联系的影响因素。
可选的,直接影响因子包括位移、裂缝和沉降量中的一项或多项,间接影响因子包括:降雨量、水位、土壤湿度、人类活动、地表覆被指数、植被类型、道路和距离河流的距离中的一项或多项。具体的,对于降雨量可以是每天采集一次,水位高程可以是每小时采集一次,而对于位移可以是每小时采集一次。
由于每个影响因子的采样频率不一致,因此,在获取监测区域的监测数据之后,还包括:基于三次样条差值方法对所述监测数据进行缺失值填补。从而可以有效保证每个影响因子的数据量一致,即维度相同。
示例性的,假设监测数据包括位移、降雨量和水位三个影响因子,而位移、水位均包括100个数据,降雨量包括20个数据,那么,便需要通过三次样条插值方法将降雨量的数据扩充为100,从而保证各个影响因子的数据量一致,以方便后续处理。
具体的,可以从相关部门以及文献调研中确定可以用于评价地质灾害易发性的间接影响因子。以滑坡为例,可以从国土部门、地方地质勘查局、环境保护局以及文献调研中确定可以用来评价滑坡易发性的影响因子,作为备选影响因子。进一步,可以根据监测区域的地区特性,如地质情况、人文活动、气候以及历史灾害分布从备选影响因子中确定该地区的地质灾害的间接影响因子。
具体的,可以基于3S技术获取监测区域的监测数据。3S技术是由遥感系统(Remotesensing,RS)、地理信息系统(Geography information systems,GIS)和全球卫星定位系统(Global positioning systems,GPS)三种技术构成。当然也可以仅采用RS技术获取数据,或者基于其他监测设备采集数据,本发明实施例对获取数据的方式不进行限制。
具体的,RS技术主要从大尺度范围对监测区域进行监测,可以根据RS技术识别地表植被信息、河流分布、降雨量等气候信息、人类活动等间接影响因子;GPS技术负责监测地区的形变信息,如坡度变化量、高程变化量、裂缝、沉降量等变形量信息,即直接影响因子;GIS技术用于视化的形式进行展示。
步骤120、对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵。
其中,需要提取的特征包括:均值、方差、最大值、最小值、中位数、一阶差分的平均值和方差等中的一项或多项。
示例性的,假设监测数据为:X=[X(1),X(2),X(3)…X(n)],其中,X(i),i=1,2,3…n,为m维列向量,[X(1),X(2),X(3)]表示直接影响因子,[X(4),…X(n)]表示间接影响因子。对于直接影响因子位移X(1)来说,需要提取的特征包括:两个月、一个月、15天、10天、5天、3天的位移平均值、方差、最大值、最小值、中位数、一阶差分的均值和方差,以及位移变化的速度和加速度信息。
具体的,每个影响因子需要提取的特征可以不相同,如位移可以包括变化的速度和加速度信息,而降雨量则不需要提取该特征。特征提取后,监测数据的维数成倍增加,扩充为一个数据量很大的矩阵。
步骤130、基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。
其中,包含注意力机制的深度学习网络模型,也称为注意力模型,进一步地,可以是包含注意力机制的seq2seq形式的深度学习网络模型,seq2seq(Sequence to Sequence,序列到序列),是一种能够根据给定的序列,通过特定的方法生成另一个序列的方法,其包括一个编码器、注意力层和解码器,编码器以循环神经网络(recurrent neural network,RNN)作为编码函数对输入的数据进行编码,循环神经网络可以是长短记忆网络(LongShort Term Memory networks,LSTM)、门控循环单元(Gated Recurrent Unit,GRU)或者双向RNN等,解码器与编码器采用相应的解码函数,损失函数可以是平均绝对误差(MeanAbsolute Deviation,MAE)、Huber损失函数、Log-Cosh损失函数或MSE(Mean SquaredError,均方误差)等。
具体的,深度学习网络模型的输出为预测位移,可以是设定时间段的预测位移。其中,设定时间段与输入的数据的时间长短有关。
进一步地,可以根据深度学习网络模型输出的预测位移判断地质灾害发生的概率。还可以根据预测位移生成警报信息进行预警。
本发明实施例的技术方案,通过实时获取监测区域的监测数据,将其分为直接影响因子和间接影响因子进行后续分析,通过特征提取及包含注意力机制的深度学习网络模型对数据进行编码和解码,根据模型输出对地质灾害进行预测,实现了地质灾害的短期预测,且通过包含注意力机制的深度学习网络对地质灾害进行预测,预测精度高、速度快、鲁棒性强。
实施例二
图2为本发明实施例二提供的一种地质灾害的预测方法的流程图,本实施例是对上一实施例的进一步细化和补充,本发明实施例所提供的地质灾害的预测方法还包括:对所述监测数据进行异常值去除和对所述直接特征矩阵和间接特征矩阵进行归一化处理。
如图2所示,该方法包括如下步骤:
步骤210、获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子。
示例性的,假设监测数据为:X=[X(1),X(2),X(3)…X(n)],其中,X(c),c=1,2,3…n,为m维列向量,[X(1),X(2),X(3)]表示直接影响因子,[X(4),…X(n)]表示间接影响因子。
步骤220、对所述监测数据进行异常值去除。
可选的,对所述监测数据进行异常值去除,包括:基于高斯混合模型对所述监测数据进行异常值去除,并对去除异常值的监测数据进行缺失值填补。
其中,高斯混合模型通过求解两个或多个高斯模型,并通过一个权重将两个高斯模型融合成为一个混合模型。假设高斯混合模型由K个高斯模型组成(数据需要分为K类),则高斯混合模型的概率密度函数的具体表达式为:
Figure BDA0002271359690000071
其中,N(x|μk,σk)表示第k个高斯模型的概率密度函数,πk是第k个高斯模型的权重,且满足
Figure BDA0002271359690000081
μk为第k个高斯模型的均值,σk为第k个高斯模型的均值的方差。
具体的,进行异常值去除的详细过程如下:
1)参数初始化:设定聚类成分数的个数或高斯模型的个数,如K=2,并随机初始化混合高斯模型的参数,如高斯分布的均值μk (c)、方差σk (c)以及权重πk (c),其中,上角标(c)表示影响因子X(c)相关的参数,X(c)=[x1 (c),x2 (c),…xm (c)]。
2)样本概率计算:计算每个样本点xi (c),i=1,2,…m的由每个成分生成的概率γ(i,k)c,具体为:
Figure BDA0002271359690000082
3)似然函数参数计算:最大似然函数的表达式为:
Figure BDA0002271359690000083
计算高斯混合模型的最大似然函数对应的参数值,具体为:
Figure BDA0002271359690000084
Figure BDA0002271359690000085
Figure BDA0002271359690000086
其中,
Figure BDA0002271359690000087
判断最大似然函数是否收敛,是则输出聚类后的监测数据X=[X1,X2],其中,X2中所包含的数据即为异常值;否则修改混合高斯函数的参数重复进行上述步骤,直至最大似然函数收敛。
通过上述步骤将监测数据分为两类,即正常监测数据和异常监测数据。进一步地,为了提高异常值去除的精度,在根据混合高斯模型对监测数据进行聚类之后,还包括:
计算正常监测数据和异常监测数据的各个影响因子样本量;
分别计算所述正常监测数据和异常监测数据的样本量的均值和标准差;
根据所述均值和方差判断是否去除所述异常监测数据。
进一步地,可以循环执行上述步骤,以提高异常值去除的准确度。
示例性的,在进行聚类之后,得到正常监测数据X1和异常监测数据X2,其中,X1=[X1 (1),X1 (2),X1 (3)…X1 (n)],X2=[X2 (1),X2 (2),X2 (3)…X2 (n)],计算正常监测数据X1和异常监测数据X2各个影响因子X1 (c)、X2 (c)对应的样本量m1 (c)和m2 (c),其中,c=1,2,…n。计算样本量m1和m2的均值和标准差,,其中,m1=[m1 (1),m1 (2),m1 (3)…m1 (n)],m2=[m2 (1),m2 (2),m2 (3)…m2 (n)],记为αk和βk,k=1,2。取indn=argmax{m1,m2},indabn=argmin{m1,m2},判断indabn对应的均值是否落在indn对应的均值的三倍标准差内,示例性的,若indn=m1,indabn=m2,则判断α2是否属于[α1-3β1,α1+3β1]区间内。若不是,则去除异常监测数据X2,并对正常监测数据X1重复上述高斯混合模型聚类以进一步去除异常值;若是,则异常值去除步骤完成,输出去除异常值后的监测数据
Figure BDA0002271359690000091
其中,
Figure BDA0002271359690000092
步骤230、对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵。
示例性的,特征矩阵
Figure BDA0002271359690000101
包括直接特征矩阵和间接特征矩阵,其表达式为:
Figure BDA0002271359690000102
其中,直接特征矩阵
Figure BDA0002271359690000103
Figure BDA0002271359690000104
间接特征矩阵
Figure BDA0002271359690000105
步骤240、对所述直接特征矩阵和间接特征矩阵进行归一化处理。
具体的,对每个特征
Figure BDA0002271359690000106
进行Z-Score标准化,具体标准化公式如下:
Figure BDA0002271359690000107
其中,
Figure BDA0002271359690000108
为每个特征
Figure BDA0002271359690000109
的数据,
Figure BDA00022713596900001018
和σ为每个特征
Figure BDA00022713596900001010
的均值和方差。
进一步地,对数据进行归一化处理后,由于每个影响因子的特征包括多个,如5个或者8个,甚至上十个,导致数据维度十分庞大,因此需要对数据进行降维。
具体的,通过上述归一化处理后得到直接特征矩阵
Figure BDA00022713596900001011
和间接特征矩阵
Figure BDA00022713596900001012
基于主成分分析方法对直接特征矩阵
Figure BDA00022713596900001013
和间接特征矩阵
Figure BDA00022713596900001014
分别进行降维。
示例性的,以直接特征矩阵
Figure BDA00022713596900001015
为例,降维主思路为:给定累积方差贡献率θ1,选择累积方差贡献率大于θ1的部分作为主成分,而将其他成分去除进行降维。具体步骤为:
1)计算直接特征矩阵
Figure BDA00022713596900001016
的协方差矩阵:
Figure BDA00022713596900001017
2)对协方差矩阵进行特征分解,并按照特征值大小顺序对特征值及其对应的特征向量进行降序排列,记排序后的特征值为λ=[λ1,λ2,λ3…λn1],其中,n1为直接特征矩阵的列数,λ1为最大特征值,而λn1为最小特征值,特征向量组成的特征矩阵为W=[W1,W2,W3…Wn1]。
3)计算累计方差贡献率θ,其中,累计方差贡献率θ的表达式为:
Figure BDA0002271359690000111
其中,n2为降维后的直接特征矩阵的列数,θ>θ1。则降维后的特征值为λ=[λ1,λ2,λ3…λn2],其对应的特征向量为P=[W1,W2,W3…Wn2]。
4)计算降维后的直接特征矩阵
Figure BDA0002271359690000112
其列数为n2,降维后的直接特征矩阵
Figure BDA0002271359690000113
的表达式为:
Figure BDA0002271359690000114
同理,采用上述步骤,可以得到间接特征矩阵
Figure BDA0002271359690000115
降维后的矩阵
Figure BDA0002271359690000116
两者组成降维后的特征矩阵
Figure BDA0002271359690000117
步骤250、获取预先建立的包含注意力机制的深度学习网络模型。
其中,包含注意力机制的深度学习网络模型可以是包含注意力机制的seq2seq形式的深度学习网络模型。
可选的,所述深度学习网络模型的训练过程为:
获取所述深度学习网络模型训练所需的训练集、验证集和测试集;按照设定步长将所述训练集划分为各个训练子集,其中,每次训练按照时间顺序采用一个训练子集进行训练,且当前训练子集中包括上一次训练时输出的预测值;根据各个所述训练子集对所述深度学习网络模型进行训练,以确定所述深度学习网络模型的参数,并通过所述验证集和测试集对所述深度学习网络模型进行验证和测试。
具体的,设置训练集初始百分比train_per,验证集所占百分比val_per,测试集所占百分比test_per,之后每次增加训练集的百分比,具体为增加百分比per,最终得到多个训练数据集,其个数为num,每个训练数据集都包括训练集、验证集与测试集。同时对各个训练数据集进行模型训练、验证和评价,以使各个模型的平均绝对误差(Mean AbsoluteDeviation,MAE)的平均值满足设定条件。
进一步地,为了降低模型训练过程的误差累积问题,在设定时间点,采用以模型输出的预测值替换部分模型输入数据的方式进行模型训练,提高了模型的准确性。
步骤260、将所述直接特征矩阵和间接特征矩阵输入所述深度学习网络模型中,得到所述深度学习网络模型输出的所述监测地区的预测位移。
步骤270、根据所述预测位移对所述监测区域的地质灾害进行预测。
本发明实施例的技术方案,通过对监测数据进行异常值去除,提高了数据样本的清洁度,从而为模型预测的准确度提供了可靠依据;通过对各个特征进行归一化处理,避免了部分特征被淹没,保证了监测数据的全面而有效,丰富了预测的依据;通过对特征进行降维,提高了数据处理的速度,进而提高了预测的速度;通过包含注意力机制的网络模型进行位移预测,提高了位移预测的精度,同时,模型采用预测值与监测值混合的方式进行训练,克服了传统模型训练方式导致的误差累积的问题,提高模型的准确度。
实施例三
图3是本发明实施例三提供的一种地质灾害的预测装置的示意图,如图3所示,该装置包括:监测数据获取模块310、特征提取模块320和灾害预测模块330。
其中,监测数据获取模块310,用于获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;特征提取模块320,用于对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;灾害预测模块330,用于基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。
本发明实施例的技术方案,通过实时获取监测区域的监测数据,将其分为直接影响因子和间接影响因子进行后续分析,通过特征提取及包含注意力机制的深度学习网络模型对数据进行编码和解码,根据模型输出对地质灾害进行预测,实现了地质灾害的短期预测,且通过包含注意力机制的深度学习网络对地质灾害进行预测,预测精度高、速度快、鲁棒性强。
可选的,地质灾害的预测装置,还包括异常值去除模块,用于:
在获取监测区域的监测数据之后,对所述监测数据进行异常值去除。
可选的,异常值去除模块,具体用于:
基于高斯混合模型对所述监测数据进行异常值去除,并对去除异常值的监测数据进行缺失值填补。
可选的,地质灾害的预测装置,还包括归一化处理模块,用于:
在对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵之后,对所述直接特征矩阵和间接特征矩阵进行归一化处理。
可选的,地质灾害的预测装置,还包括特征降维模块,用于:
对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵之后,分别计算所述直接特征矩阵和间接特征矩阵的协方差矩阵,记为直接协方差矩阵和间接协方差矩阵;分别对所述直接协方差矩阵和间接协方差矩阵进行特征分解,得到直接特征值集和间接特征值集,并分别对所述直接特征值集和间接特征值集按照从大到小的顺序进行排序;根据所述直接特征值集和间接特征值集的累计方差贡献率对所述直接特征值集和间接特征值集进行筛选,并获取筛选后的直接特征值集和间接特征值集分别对应的特征向量组成的直接降维矩阵和间接降维矩阵;根据所述直接降维矩阵和间接降维矩阵分别对所述直接特征矩阵和间接特征矩阵进行降维。
可选的,灾害预测模块330,具体用于:
获取预先建立的包含注意力机制的深度学习网络模型,其中,所述深度学习网络模型包括编码器、时间注意力层、解码器和优化器,所述深度学习网络模型的损失函数为均方误差损失函数;将所述直接特征矩阵和间接特征矩阵输入所述深度学习网络模型中,得到所述深度学习网络模型输出的所述监测地区的预测位移;根据所述预测位移对所述监测区域的地质灾害进行预测。
其中,深度学习网络模型的训练过程为:
获取所述深度学习网络模型训练所需的训练集、验证集和测试集;按照设定步长将所述训练集划分为各个训练子集,其中,每次训练按照时间顺序采用一个训练子集进行训练,且当前训练子集中包括上一次训练时输出的预测值;根据各个所述训练子集对所述深度学习网络模型进行训练,以确定所述深度学习网络模型的参数,并通过所述验证集和测试集对所述深度学习网络模型进行验证和测试。
本发明实施例所提供的地质灾害的预测装置可执行本发明任意实施例所提供的地质灾害的预测方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图,如图4所示,该设备包括处理器410、存储器420、输入装置430和输出装置440;设备处理器410的数量可以是一个或多个,图4中以一个处理器410为例;设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的地质灾害的预测方法对应的程序指令/模块(例如,地质灾害的预测装置中的监测数据获取模块310、特征提取模块320和灾害预测模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的地质灾害的预测方法。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种地质灾害的预测方法,该方法包括:
获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;
对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;
基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的地质灾害的预测方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述地质灾害的预测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种地质灾害的预测方法,其特征在于,包括:
获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;
对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;
基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测,包括:
获取预先建立的包含注意力机制的深度学习网络模型,其中,所述深度学习网络模型包括编码器、时间注意力层、解码器和优化器;
将所述直接特征矩阵和间接特征矩阵输入所述深度学习网络模型中,得到所述深度学习网络模型输出的所述监测区域的预测位移;
根据所述预测位移对所述监测区域的地质灾害进行预测;
所述直接影响因子包括位移、裂缝和沉降量中的一项或多项,所述间接影响因子包括:降雨量、水位、土壤湿度、人类活动、地表覆被指数、植被类型、道路和距离河流的距离中的一项或多项。
2.根据权利要求1所述的方法,其特征在于,在获取监测区域的监测数据之后,还包括:
对所述监测数据进行异常值去除。
3.根据权利要求2所述的方法,其特征在于,所述对所述监测数据进行异常值去除,包括:
基于高斯混合模型对所述监测数据进行异常值去除,并对去除异常值的监测数据进行缺失值填补。
4.根据权利要求1所述的方法,其特征在于,在对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵之后,还包括:
对所述直接特征矩阵和间接特征矩阵进行归一化处理。
5.根据权利要求1所述的方法,其特征在于,在对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵之后,还包括:
分别计算所述直接特征矩阵和间接特征矩阵的协方差矩阵,记为直接协方差矩阵和间接协方差矩阵;
分别对所述直接协方差矩阵和间接协方差矩阵进行特征分解,得到直接特征值集和间接特征值集,并分别对所述直接特征值集和间接特征值集按照从大到小的顺序进行排序;
根据所述直接特征值集和间接特征值集的累计方差贡献率对所述直接特征值集和间接特征值集进行筛选,并获取筛选后的直接特征值集和间接特征值集分别对应的特征向量组成的直接降维矩阵和间接降维矩阵;
根据所述直接降维矩阵和间接降维矩阵分别对所述直接特征矩阵和间接特征矩阵进行降维。
6.根据权利要求1所述的方法,其特征在于,所述深度学习网络模型的训练过程为:
获取所述深度学习网络模型训练所需的训练集、验证集和测试集;
按照设定步长将所述训练集划分为各个训练子集,其中,每次训练按照时间顺序采用一个训练子集进行训练,且当前训练子集中包括上一次训练时输出的预测值;
根据各个所述训练子集对所述深度学习网络模型进行训练,以确定所述深度学习网络模型的参数,并通过所述验证集和测试集对所述深度学习网络模型进行验证和测试。
7.一种地质灾害的预测装置,其特征在于,包括:
监测数据获取模块,用于获取监测区域的监测数据,其中,所述监测数据包括直接影响因子和间接影响因子;
特征提取模块,用于对所述直接影响因子和间接影响因子进行特征提取,以获取直接特征矩阵和间接特征矩阵;
灾害预测模块,用于基于包含注意力机制的深度学习网络模型对所述直接特征矩阵和间接特征矩阵进行编码和解码,以根据所述深度学习网络模型的输出对所述监测区域的地质灾害进行预测;
灾害预测模块,还用于:
获取预先建立的包含注意力机制的深度学习网络模型,其中,所述深度学习网络模型包括编码器、时间注意力层、解码器和优化器,所述深度学习网络模型的损失函数为均方误差损失函数;将所述直接特征矩阵和间接特征矩阵输入所述深度学习网络模型中,得到所述深度学习网络模型输出的所述监测区域的预测位移;根据所述预测位移对所述监测区域的地质灾害进行预测;
所述直接影响因子包括位移、裂缝和沉降量中的一项或多项,所述间接影响因子包括:降雨量、水位、土壤湿度、人类活动、地表覆被指数、植被类型、道路和距离河流的距离中的一项或多项。
8.一种地质灾害的预测设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的地质灾害的预测方法。
CN201911106198.0A 2019-11-13 2019-11-13 一种地质灾害的预测方法、装置及设备 Active CN110824142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911106198.0A CN110824142B (zh) 2019-11-13 2019-11-13 一种地质灾害的预测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911106198.0A CN110824142B (zh) 2019-11-13 2019-11-13 一种地质灾害的预测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110824142A CN110824142A (zh) 2020-02-21
CN110824142B true CN110824142B (zh) 2022-06-24

Family

ID=69554890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911106198.0A Active CN110824142B (zh) 2019-11-13 2019-11-13 一种地质灾害的预测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110824142B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582017B (zh) * 2020-03-24 2021-03-16 成都信息工程大学 面向视频监控端到端地质灾害自动识别方法、系统及应用
CN111709072B (zh) * 2020-06-01 2022-05-17 哈尔滨工业大学 一种地下地震动幅值参数预测方法
CN112071025A (zh) * 2020-08-06 2020-12-11 中国公路工程咨询集团有限公司 公路地质灾害监测预警系统
CN112215439B (zh) * 2020-11-09 2021-05-14 广东新禾道信息科技有限公司 一种基于gis的地质灾害应急指挥数据处理方法及系统
CN112735094B (zh) * 2020-12-17 2022-08-09 中国地质环境监测院 基于机器学习的地质灾害预测方法、装置和电子设备
CN112446559B (zh) * 2021-02-01 2021-05-25 中国测绘科学研究院 一种基于深度学习的大范围地面沉降时空预测方法和系统
CN113470316B (zh) * 2021-05-24 2022-03-25 电子科技大学 一种基于自编码单分类模型的泥石流监测预警方法
CN113808370A (zh) * 2021-09-17 2021-12-17 国家石油天然气管网集团有限公司 一种面向滑坡的多指标耦合监测预警方法
CN115331394B (zh) * 2022-08-30 2023-09-01 重庆地质矿产研究院 基于关键参数预测值降低地质灾害预警系统故障率的方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574832A (zh) * 2014-12-30 2015-04-29 杭州鲁尔物联科技有限公司 一种无线传感器网络地质灾害监测预警系统和方法
CN106600059A (zh) * 2016-12-13 2017-04-26 北京邮电大学 基于改进rbf神经网络的智能电网短期负荷预测方法
CN107092797A (zh) * 2017-04-26 2017-08-25 广东亿荣电子商务有限公司 一种基于深度学习的药品推荐算法
CN107860889A (zh) * 2017-09-22 2018-03-30 华南农业大学 土壤有机质的预测方法和设备
CN108318008A (zh) * 2017-12-14 2018-07-24 深圳大学 一种地质灾害的探测方法、装置和系统
CN108363886A (zh) * 2018-03-08 2018-08-03 杭州鲁尔物联科技有限公司 基于深度学习的变形预测方法及系统
CN108417029A (zh) * 2018-02-11 2018-08-17 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN108959512A (zh) * 2018-06-28 2018-12-07 清华大学 一种基于属性增强注意力模型的图像描述网络及技术
CN109036553A (zh) * 2018-08-01 2018-12-18 北京理工大学 一种基于自动抽取医疗专家知识的疾病预测方法
CN109492793A (zh) * 2018-09-29 2019-03-19 桂林电子科技大学 一种动态灰色费尔哈斯特神经网络滑坡形变预测方法
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109885977A (zh) * 2019-03-25 2019-06-14 成都理工大学 一种岸坡变形预测方法
CN109992847A (zh) * 2019-03-14 2019-07-09 桂林电子科技大学 一种混合机器学习模型的滑坡位移预测方法
CN110008301A (zh) * 2019-04-12 2019-07-12 杭州鲁尔物联科技有限公司 基于机器学习的区域性地质灾害易发性预测方法及装置
CN110060273A (zh) * 2019-04-16 2019-07-26 湖北省水利水电科学研究院 基于深度神经网络的遥感影像滑坡测图方法
CN110263965A (zh) * 2019-05-06 2019-09-20 平安科技(深圳)有限公司 基于视频的预警方法、装置、计算机设备及存储介质
CN110288602A (zh) * 2019-05-10 2019-09-27 香港理工大学深圳研究院 滑坡提取方法、滑坡提取系统及终端
CN110324337A (zh) * 2019-07-02 2019-10-11 成都信息工程大学 一种基于胶囊神经网络的车内网入侵检测方法及系统
CN110363115A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于ais轨迹数据的船舶作业异常半监督实时检测方法
CN110362949A (zh) * 2019-07-23 2019-10-22 电子科技大学 一种基于神经网络的滑坡敏感性评估方法
CN110386144A (zh) * 2019-06-19 2019-10-29 长安大学 一种对驾驶人制动意图进行辨识的ghmm/ggap-rbf混合模型及辨识方法
CN110414788A (zh) * 2019-06-25 2019-11-05 国网上海市电力公司 一种基于相似日和改进lstm的电能质量预测方法
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574832A (zh) * 2014-12-30 2015-04-29 杭州鲁尔物联科技有限公司 一种无线传感器网络地质灾害监测预警系统和方法
CN106600059A (zh) * 2016-12-13 2017-04-26 北京邮电大学 基于改进rbf神经网络的智能电网短期负荷预测方法
CN107092797A (zh) * 2017-04-26 2017-08-25 广东亿荣电子商务有限公司 一种基于深度学习的药品推荐算法
CN107860889A (zh) * 2017-09-22 2018-03-30 华南农业大学 土壤有机质的预测方法和设备
CN108318008A (zh) * 2017-12-14 2018-07-24 深圳大学 一种地质灾害的探测方法、装置和系统
CN108417029A (zh) * 2018-02-11 2018-08-17 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN108363886A (zh) * 2018-03-08 2018-08-03 杭州鲁尔物联科技有限公司 基于深度学习的变形预测方法及系统
CN108959512A (zh) * 2018-06-28 2018-12-07 清华大学 一种基于属性增强注意力模型的图像描述网络及技术
CN109036553A (zh) * 2018-08-01 2018-12-18 北京理工大学 一种基于自动抽取医疗专家知识的疾病预测方法
CN109492793A (zh) * 2018-09-29 2019-03-19 桂林电子科技大学 一种动态灰色费尔哈斯特神经网络滑坡形变预测方法
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109992847A (zh) * 2019-03-14 2019-07-09 桂林电子科技大学 一种混合机器学习模型的滑坡位移预测方法
CN109885977A (zh) * 2019-03-25 2019-06-14 成都理工大学 一种岸坡变形预测方法
CN110008301A (zh) * 2019-04-12 2019-07-12 杭州鲁尔物联科技有限公司 基于机器学习的区域性地质灾害易发性预测方法及装置
CN110060273A (zh) * 2019-04-16 2019-07-26 湖北省水利水电科学研究院 基于深度神经网络的遥感影像滑坡测图方法
CN110263965A (zh) * 2019-05-06 2019-09-20 平安科技(深圳)有限公司 基于视频的预警方法、装置、计算机设备及存储介质
CN110288602A (zh) * 2019-05-10 2019-09-27 香港理工大学深圳研究院 滑坡提取方法、滑坡提取系统及终端
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法
CN110386144A (zh) * 2019-06-19 2019-10-29 长安大学 一种对驾驶人制动意图进行辨识的ghmm/ggap-rbf混合模型及辨识方法
CN110414788A (zh) * 2019-06-25 2019-11-05 国网上海市电力公司 一种基于相似日和改进lstm的电能质量预测方法
CN110363115A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于ais轨迹数据的船舶作业异常半监督实时检测方法
CN110324337A (zh) * 2019-07-02 2019-10-11 成都信息工程大学 一种基于胶囊神经网络的车内网入侵检测方法及系统
CN110362949A (zh) * 2019-07-23 2019-10-22 电子科技大学 一种基于神经网络的滑坡敏感性评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BP神经网络应用于地质灾害预测的研究;谭延嗣;《江西建材》;20171230(第24期);第235-239页 *
BP算法在中小型地质灾害监测系统中的应用;王建国等;《信息化建设》;20160715(第07期);第365页 *
基于神经网络的矿山地质灾害评估模型研究;柴春龙;《现代工业经济和信息化》;20130315;第70-72页 *

Also Published As

Publication number Publication date
CN110824142A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110824142B (zh) 一种地质灾害的预测方法、装置及设备
CN111144651A (zh) 一种地质灾害的预测方法、装置及设备
Eckert et al. A spatio-temporal modelling framework for assessing the fluctuations of avalanche occurrence resulting from climate change: application to 60 years of data in the northern French Alps
Ndehedehe et al. Climate teleconnections influence on West Africa's terrestrial water storage
Sellars et al. Computational Earth science: Big data transformed into insight
CN110008301B (zh) 基于机器学习的区域性地质灾害易发性预测方法及装置
Valavanis et al. Modelling of essential fish habitat based on remote sensing, spatial analysis and GIS
CN112819207B (zh) 基于相似性度量的地质灾害空间预测方法、系统及存储介质
Zhao et al. A comparative study of landslide susceptibility mapping using SVM and PSO-SVM models based on Grid and Slope Units
Alexandridis et al. Large earthquake occurrence estimation based on radial basis function neural networks
Aloisio et al. Assessment of structural interventions using Bayesian updating and subspace-based fault detection methods: The case study of S. Maria di Collemaggio basilica, L’Aquila, Italy
CN107944590B (zh) 一种渔情分析预报的方法及设备
Ridolfi et al. An entropy approach for evaluating the maximum information content achievable by an urban rainfall network
Zhang et al. An automatic and effective parameter optimization method for model tuning
Cipriotti et al. Understanding the long‐term spatial dynamics of a semiarid grass‐shrub steppe through inverse parameterization for simulation models
Di et al. Developing machine learning tools for long-lead heavy precipitation prediction with multi-sensor data
Tarhule et al. Exploring temporal hydroclimatic variability in the Niger Basin (1901–2006) using observed and gridded data
Azizah et al. An application of Markov chain for predicting rainfall data at West Java using data mining approach
Esposito et al. Automatic recognition of landslides based on neural network analysis of seismic signals: an application to the monitoring of Stromboli volcano (Southern Italy)
CN114740550B (zh) 一种连续风暴事件智能识别预警方法及系统
CN111460733A (zh) 一种基于深度学习的山火预警方法
Nicolet et al. A multi-criteria leave-two-out cross-validation procedure for max-stable process selection
Mitchell et al. The use of the Conway–Maxwell–Poisson in the seasonal forecasting of tropical cyclones
Sharma et al. NGFS rainfall forecast verification over India using the contiguous rain area (CRA) method
Porto et al. Machine learning approaches to extreme weather events forecast in urban areas: Challenges and initial results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 206-002, 2 / F, building 8, Xixi bafangcheng, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: HANGZHOU RUHR TECHNOLOGY Co.,Ltd.

Address before: A4-4-201, No. 643, Shuangliu, Zhuantang street, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU RUHR TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant