CN105869100A - 一种基于大数据思维的滑坡多场监测数据的融合及预测方法 - Google Patents

一种基于大数据思维的滑坡多场监测数据的融合及预测方法 Download PDF

Info

Publication number
CN105869100A
CN105869100A CN201610282839.8A CN201610282839A CN105869100A CN 105869100 A CN105869100 A CN 105869100A CN 201610282839 A CN201610282839 A CN 201610282839A CN 105869100 A CN105869100 A CN 105869100A
Authority
CN
China
Prior art keywords
data
analysis
landslide
prediction
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610282839.8A
Other languages
English (en)
Other versions
CN105869100B (zh
Inventor
刘军旗
唐辉明
吴冲龙
苏爱军
刘刚
欧阳春
丁瑶
林晨
樊俊青
王菁莪
邹宗兴
翁正平
滕伟福
周汉文
熊承仁
刘清秉
龚松林
钟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201610282839.8A priority Critical patent/CN105869100B/zh
Publication of CN105869100A publication Critical patent/CN105869100A/zh
Application granted granted Critical
Publication of CN105869100B publication Critical patent/CN105869100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)

Abstract

本发明公开了一种基于大数据思维的滑坡多场监测数据的融合及预测方法,该方法以获取的各类监测数据为唯一依据,通过集成方差计算、相关性分析、聚类分析、回归分析和BP神经网络分析来确定隐含在各类监测数据间的滑坡滑移预测函数;把多元统计的定量分析与BP神经网络的定性趋势分析相结合,两者相互补充、相互验证,以多元统计分析来确定参与预测函数的数据种类和初步的预测函数,以BP神经网络的趋势模拟来验证预测函数的合理性,以调整参与的数据种类使两者达到比较理想的统一,完成每个滑坡的滑移预测。该技术可以对滑坡进行实时预测,对全国滑坡进行定性普查和天气预报式预警,具有重大的现实意义和广阔的应用前景。

Description

一种基于大数据思维的滑坡多场监测数据的融合及预测方法
技术领域
本发明涉及灾害预测预警技术,尤其涉及一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法。
背景技术
现有滑坡滑移预测一般采用以下方法:
1、多元统计分析:是数理统计学的分支学科,主要研究客观事物中多个变量(或多个因素)之间相互依赖的统计规律性。重要的多元统计分析方法有:回归分析、判别分析、聚类分析、主成分分析、对应分析、因子分析、相关分析、方差分析等。如相关性分析可以对变量之间的密切程度进行分析,聚类分析可以在相似分析的基础上对数据进行影响程度大小的分类,回归分析可以确定两种或两种以上变量间相互依赖的定量关系。每种多元统计分析方法在滑坡滑移预测中可以起到各自的部分参考作用,但是都不足以完成滑坡的有效滑移预测。
2、BP(Back Propagation)神经网络:是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,其学习规则使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。网络的学习和记忆具有不稳定性,这与学习的样本种类和样本数量有很大关系,有效的样本种类的选择对输出结果是否合理至关重要,而这是神经网络本身无能为力的,另外BP神经网络只提供趋势预测,一般没有一个比较明确的预测函数。
大数据思维与传统思维的主要区别在于:一切分析不是依据已有的公式或经验等,而是依据数据。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法。
本发明解决其技术问题所采用的技术方案是:一种基于大数据思维的滑坡多场监测数据的融合及滑移预测方法,包括以下步骤:
1)采集可以收集到的待预测滑坡的多场数据,如GPS、测斜仪、裂隙计等位移监测数据,重力仪等地球物理场数据,降雨量等气象数据,水位、含水量等水文数据,等等;
2)对采集的数据进行预处理,包括:统一坐标系;通过方差计算剔除每类数据中的奇异数据;对每类数据取单位时间(如每天)的平均值作为后续的计算和模拟数据;
3)进行相关性分析,得到钻孔测斜或GPS地表位移与其他数据种类间相对显著相关的数据类及其相关系数。
4)依据相关系数,对测斜数据、GPS位移数据和其他与滑坡滑移最相关的两个或多个变量和其他剩余数据进行聚类分析,得到对滑坡滑移影响大小的聚类结果;将对滑坡滑移影响大的因素确定为参与后续分析的变量或数据种类;
5)对选定参与的变量进行回归分析,获得回归方程和回归方程的拟合效果。
6)对选定参与的变量(与回归分析参与的变量保持一致)进行BP神经网络分析,将步骤1)中采集的对应数据的2/3数据作为训练数据,1/3数据作为校验数据,取得最佳的迭代模型和对期望拟合程度的评估数据。
7)增加参与的变量数量(前面只选取了影响较大的,再选影响在一般以上的,再选所有的变量等,视具体情况而定,甚至可以把聚类分析结果分为更多的种类),重复步骤5)与步骤6),这个过程可进行多次,直到找到其中回归拟合效果最好和BP神经网络拟合程度最高(误差最小)的那个回归方程。
8)用最新获得的数据再次验证最后获得的回归方程,如误差不超过第7)步的最终误差,分析结束;如误差超过,则把最新数据加入到采集的整体数据中,转入第2)步重新开始循环;
9)获得本次分析的滑坡滑移预测公式。
本发明产生的有益效果是:
1、这种基于大数据思维的滑坡预测方法对传统滑坡滑移理论与经验的依赖很小,可以不依赖专家而快速对单体滑坡的滑移进行预测;
2、这种方法通过集成多种多元统计分析和神经网络的不确定性或统计性或模拟性,得到一个相对可信的结果,避免了单一方法的片面性;
3、可以对每个滑坡的滑移趋势进行定量化“体检”,获取的数据越多,“体检”的效果越好,从而实现单体滑坡的滑移预测;
4、通过本发明可以快速建立大量滑坡的滑移趋势动态数据库,实现对滑坡滑移天气预报式的预测预警,起到防灾减灾的目的。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种基于大数据思维的滑坡多场监测数据融合及滑移预测方法,包括以下步骤:
1、收集A滑坡最近某段时间(如数个月或数年)每天的河水位(如在河流边)、降雨量、过去48小时的降雨量、滑体含水量、GPS地表位移监测点1、GPS地表位移监测点2(GPS监测点至少一个)、2个GPS监测点间的距离、裂隙计、钻孔水位、钻孔测斜(最好至少有一个,测斜数据比GPS数据要稳定)、滑体温度数据等,在收集的数据中能直接反应滑坡滑移的测斜数据或GPS数据至少有一到两项,能收集的数据越丰富,后续的分析结果越好。
2、取每类数据每天的平均值参与后续的计算和模拟,其中用GPS位移数据中主滑方向上的分量代替GPS位移数据,用钻孔测斜主滑方向上的分量代替测斜数据。
3、通过方差计算剔除每类数据中的奇异数据(偏差很大的数据)。
4、进行相关性分析,得到钻孔测斜或GPS地表位移(地下测斜数据更能代表滑坡是否滑移,如有,用测斜数据,如无,用GPS数据代替)与其他数据种类间显著相关的数据类及其相关系数。
5、依据相关系数,对测斜数据、GPS位移数据和其他与滑坡滑移密切相关的变量(如裂隙宽度等)(选两个以上)和其他数据进行聚类分析,得到对A滑坡滑移影响大的因素和影响小的因素。
建议做聚类分析时,把所有收集到的数据分为影响较大、一般和影响较小三类,这样在回归分析和BP神经网络分析时可以调整参与分析的数据类的多少,以找到其中能使回归分析与BP神经网络的误差最小那一组。
相关性分析和聚类分析的主要目的是确定参与后续分析的变量或数据种类。
6、对选定参与的变量进行回归分析(如影响较大的变量较多,先只选影响较大的那组参与,如较少,让影响一般的变量也参与,必要时,所有变量都参与),获得回归方程和回归方程的拟合效果。
7、对选定参与的变量(与回归分析参与的变量保持一致)进行BP神经网络分析,其中选定变量的2/3数据为训练数据,1/3的数据为校验数据(具体数据的比例视整体数据量的大小可以进行调整),取得最佳的迭代模型和对期望拟合程度的评估数据(使误差最小)。
8、调整参与的变量数量(如先选影响最大的,再选影响在一般以上的,再选所有的变量等,视具体情况而定,甚至可以把聚类分析结果分为更多的种类),重新进行回归分析和BP神经网络验证,这个过程可进行多次,直到找到其中回归拟合效果最好和BP神经网络拟合程度最高(误差最小)的那个回归方程。
9、用最新获得的数据再次验证最后获得的回归方程,如误差不超过第8步的误差,分析结束。如误差超过,则把最新数据加入到整体数据中,从第2步重新开始新的循环。
10、获得滑坡滑移的预测公式。本次分析结束。
11、过一段时间后,对经验公式再次进行验证,使其保持动态更新。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于大数据思维的滑坡多场监测数据融合及滑移预测方法,其特征在于,以获取的各类监测数据为唯一依据,通过集成方差计算、相关性分析、聚类分析、回归分析和BP神经网络分析来确定隐含在各类监测数据间的滑坡滑移预测函数。
2.一种基于大数据思维的滑坡多场监测数据融合及滑移预测方法,其特征在于,包括以下步骤:
1)采集待预测滑坡的多场数据,包括:位移监测数据、地球物理场数据、气象数据和水文数据;
2)对采集的数据进行预处理,包括:统一坐标系;通过方差计算剔除每类数据中的奇异数据;对每类数据取单位时间的平均值作为后续的计算和模拟数据;
3)进行相关性分析,得到钻孔测斜或GPS地表位移与其他数据种类间相对显著相关的数据类及其相关系数;
4)依据相关系数,对测斜数据、GPS位移数据和其他与滑坡滑移最相关的两个或多个变量和其他剩余数据进行聚类分析,得到对滑坡滑移影响大小的聚类结果;将对滑坡滑移影响大的因素确定为参与后续分析的变量或数据种类;
5)对选定参与的变量进行回归分析,获得回归方程和回归方程的拟合效果;
6)对选定参与的变量进行BP神经网络分析,将步骤1)中采集的对应数据的2/3数据作为训练数据,1/3数据作为校验数据,取得最佳的迭代模型和对期望拟合程度的评估数据;
7)增加参与的变量数量,重复步骤5)与步骤6),这个过程可进行多次,直到找到其中回归拟合效果最好和BP神经网络拟合程度最高的回归方程;
8)用最新获得的数据再次验证最后获得的回归方程,如误差不超过第7)步的最终误差,分析结束;如误差超过第7)步的最终误差,则把最新数据加入到采集的整体数据中,转入第2)步重新开始循环;
9)获得本次分析的滑坡滑移预测公式。
CN201610282839.8A 2016-04-29 2016-04-29 一种基于大数据思维的滑坡多场监测数据的融合及预测方法 Active CN105869100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610282839.8A CN105869100B (zh) 2016-04-29 2016-04-29 一种基于大数据思维的滑坡多场监测数据的融合及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610282839.8A CN105869100B (zh) 2016-04-29 2016-04-29 一种基于大数据思维的滑坡多场监测数据的融合及预测方法

Publications (2)

Publication Number Publication Date
CN105869100A true CN105869100A (zh) 2016-08-17
CN105869100B CN105869100B (zh) 2018-06-12

Family

ID=56628883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610282839.8A Active CN105869100B (zh) 2016-04-29 2016-04-29 一种基于大数据思维的滑坡多场监测数据的融合及预测方法

Country Status (1)

Country Link
CN (1) CN105869100B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529197A (zh) * 2016-12-07 2017-03-22 中国地质大学(武汉) 一种滑坡稳定性时变规律分析的方法
CN106846736A (zh) * 2016-12-28 2017-06-13 中国科学院深圳先进技术研究院 一种山体滑坡地质灾害监测的传感器系统
CN107045543A (zh) * 2017-03-02 2017-08-15 杭州变啦网络科技有限公司 一种应用低通滤波算法的减脂数据分享方法
CN107631754A (zh) * 2017-09-26 2018-01-26 中电科新型智慧城市研究院有限公司 基于大数据平台的边坡监测方法及系统
CN108228988A (zh) * 2017-12-25 2018-06-29 重庆大学 一种基于大数据驱动的边坡位移预测及滑动判别方法
CN109063247A (zh) * 2018-06-26 2018-12-21 西安工程大学 基于深度信念网络的滑坡灾害预报方法
CN109887240A (zh) * 2019-03-22 2019-06-14 福州大学 一种基于人工智能的滑坡灾害安全监测与预警方法
CN111563135A (zh) * 2020-03-31 2020-08-21 武汉大学 结合地形因子与神经网络的gm(1,3)模型城市地面沉降预测方法
CN117454212A (zh) * 2023-12-25 2024-01-26 中国西安卫星测控中心 一种基于数据聚类的遥测数据互检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799756A (zh) * 2012-06-08 2012-11-28 冉启华 一种降雨作用下的滑坡预测方法
CN103578230A (zh) * 2013-11-22 2014-02-12 江兴明 基于物联网的山体滑坡和泥石流报警方法
CN105239608A (zh) * 2015-09-28 2016-01-13 中国地质大学(武汉) 一种基于wt-rs-svr相结合的滑坡位移预测方法
CN105260625A (zh) * 2015-11-19 2016-01-20 阿坝师范学院 一种滑坡地质灾害预警推送方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799756A (zh) * 2012-06-08 2012-11-28 冉启华 一种降雨作用下的滑坡预测方法
CN103578230A (zh) * 2013-11-22 2014-02-12 江兴明 基于物联网的山体滑坡和泥石流报警方法
CN105239608A (zh) * 2015-09-28 2016-01-13 中国地质大学(武汉) 一种基于wt-rs-svr相结合的滑坡位移预测方法
CN105260625A (zh) * 2015-11-19 2016-01-20 阿坝师范学院 一种滑坡地质灾害预警推送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王佳佳 等: "基于WEBGIS和四库一体技术的三峡库区滑坡灾害预测预报系统研究", 《岩石力学与工程学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529197A (zh) * 2016-12-07 2017-03-22 中国地质大学(武汉) 一种滑坡稳定性时变规律分析的方法
CN106529197B (zh) * 2016-12-07 2019-03-22 中国地质大学(武汉) 一种滑坡稳定性时变规律分析的方法
CN106846736A (zh) * 2016-12-28 2017-06-13 中国科学院深圳先进技术研究院 一种山体滑坡地质灾害监测的传感器系统
CN107045543A (zh) * 2017-03-02 2017-08-15 杭州变啦网络科技有限公司 一种应用低通滤波算法的减脂数据分享方法
CN107631754A (zh) * 2017-09-26 2018-01-26 中电科新型智慧城市研究院有限公司 基于大数据平台的边坡监测方法及系统
CN108228988A (zh) * 2017-12-25 2018-06-29 重庆大学 一种基于大数据驱动的边坡位移预测及滑动判别方法
CN109063247A (zh) * 2018-06-26 2018-12-21 西安工程大学 基于深度信念网络的滑坡灾害预报方法
CN109063247B (zh) * 2018-06-26 2023-04-18 西安工程大学 基于深度信念网络的滑坡灾害预报方法
CN109887240A (zh) * 2019-03-22 2019-06-14 福州大学 一种基于人工智能的滑坡灾害安全监测与预警方法
CN111563135A (zh) * 2020-03-31 2020-08-21 武汉大学 结合地形因子与神经网络的gm(1,3)模型城市地面沉降预测方法
CN117454212A (zh) * 2023-12-25 2024-01-26 中国西安卫星测控中心 一种基于数据聚类的遥测数据互检测方法
CN117454212B (zh) * 2023-12-25 2024-03-15 中国西安卫星测控中心 一种基于数据聚类的遥测数据互检测方法

Also Published As

Publication number Publication date
CN105869100B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN105869100A (zh) 一种基于大数据思维的滑坡多场监测数据的融合及预测方法
CN108009674A (zh) 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN110782093B (zh) 融合ssae深度特征学习和lstm的pm2.5小时浓度预测方法及系统
Malagò et al. Comparing calibrated parameter sets of the SWAT model for the Scandinavian and Iberian peninsulas
Cofıno et al. Bayesian networks for probabilistic weather prediction
Marinoni A stochastic spatial decision support system based on PROMETHEE
CN107463730B (zh) 一种考虑土地利用时空演变的径流变化归因识别方法
Singh et al. Assessing the performance and uncertainty analysis of the SWAT and RBNN models for simulation of sediment yield in the Nagwa watershed, India
CN108172301A (zh) 一种基于梯度提升树的蚊媒传染病疫情预测方法及系统
Greve et al. Quantifying the ability of environmental parameters to predict soil texture fractions using regression-tree model with GIS and LIDAR data: The case study of Denmark
Tapoglou et al. Groundwater-level forecasting under climate change scenarios using an artificial neural network trained with particle swarm optimization
CN109408848B (zh) 一种考虑径流演变时空异质性的分布式归因方法
Chilkoti et al. Multi-objective autocalibration of SWAT model for improved low flow performance for a small snowfed catchment
CN108170765A (zh) 基于在校行为数据多维分析的贫困生资助推荐方法
CN107133686A (zh) 基于时空数据模型的城市级pm2.5浓度预测方法
Das et al. FORWARD: a model for forecasting reservoir water dynamics using spatial Bayesian network (SpaBN)
Ni et al. Evolutionary modeling for streamflow forecasting with minimal datasets: a case study in the West Malian River, China
Fang et al. Application of long short-term memory (LSTM) on the prediction of rainfall-runoff in karst area
CN107169289A (zh) 一种基于可拓最优组合赋权法的滑坡危险性评价方法
CN116777079A (zh) 一种基于贝叶斯层间结构模型的沙漠化侵扰灾害预测方法
Gui et al. Simulation-based inexact fuzzy semi-infinite programming method for agricultural cultivated area planning in the Shiyang River Basin
Liu et al. Measuring the smart growth pattern for medium-sized cities
CN115759445A (zh) 一种基于机器学习和云模型的分类洪水随机预报方法
Zhang et al. Input-parameter optimization using a SVR based ensemble model to predict landslide displacements in a reservoir area–A comparative study
Morillo Balsera et al. Artificial neural networks and geostatistical models for housing valuations in urban residential areas

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant