CN108363886A - 基于深度学习的变形预测方法及系统 - Google Patents
基于深度学习的变形预测方法及系统 Download PDFInfo
- Publication number
- CN108363886A CN108363886A CN201810192288.5A CN201810192288A CN108363886A CN 108363886 A CN108363886 A CN 108363886A CN 201810192288 A CN201810192288 A CN 201810192288A CN 108363886 A CN108363886 A CN 108363886A
- Authority
- CN
- China
- Prior art keywords
- prediction
- feature vector
- feature
- input feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
Abstract
本发明提供了基于深度学习的变形预测方法及系统,涉及滑坡监测预警技术领域,包括对滑坡监测点的监测数据进行采集并据此获取多个特征;通过对特征进行分析确定第一输入特征;在每个机器学习算法中采用第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;通过对模拟模型的预测效果分别进行评价,确定最优算法和超参数;调整第二输入特征,并根据最优算法对第二输入特征的预测效果进行评价,确定最优输入特征;根据最优算法和最优输入特征进行模型训练生成模型集;在模型集中选择对应条件下的预测模型并输入新数据,输出预测值。本发明可以提高对滑坡灾害进行预测的准确性、可靠度,减小工作量,并且扩大适用范围。
Description
技术领域
本发明涉及滑坡监测预警技术领域,尤其是涉及基于深度学习的变形预测方法及系统。
背景技术
滑坡灾害预测预报分为空间预测和时间预测,是当今国际滑坡灾害研究和环境地质研究领域的前沿课题,具有重要的理论和实际应用意义。滑坡灾害的时间预测预报是要确定滑坡在未来可能发生的时间区段或确切时间,为提前采取必要的预防措施提供科学依据。通常,所要预测预报的时间越长,所能依据信息的可靠度就相应地下降,预测预报结果的可靠度也就越低。
由于工程地质条件复杂、自然条件的变化以及人类工程活动影响等因素的随机性和不可控制性,现阶段对滑坡做出准确可靠的预测预报还十分困难,从过去已经发生的滑坡地质灾害来看,当前绝大多数的滑坡都很难做到提前预报。滑坡等地质灾害具有突发性,其成灾机理复杂,不确定性因素多,对滑坡破坏方式、变形演化过程及变形机理的理解缺失大大增加了预报的难度。
发明内容
有鉴于此,本发明的目的在于提供基于深度学习的变形预测方法及系统,以提高对滑坡灾害进行预测的准确性、可靠度,减小工作量,并且扩大适用范围,比如桥梁、隧道、大坝、危旧房、古遗迹、风塔、电塔等应用场景。
第一方面,本发明实施例提供了一种基于深度学习的变形预测方法,其中,包括:
对滑坡监测点的监测数据进行采集,并根据所述监测数据获取多个特征;
通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征;
根据问题类别选择对应的机器学习算法,并在所述机器学习算法中采用所述第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;
通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数;
调整不同组合的第二输入特征,并根据所述最优算法对所述第二输入特征的预测效果进行评价,确定最优输入特征;
根据所述最优算法和所述最优输入特征对每个预测方案进行模型训练,生成模型集;
在所述模型集中选择对应条件下的预测模型,并对所述预测模型输入与所述最优输入特征相对应的新数据,输出预测值。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述特征包括原始特征和衍生特征,所述对滑坡监测点的监测数据进行采集,并根据所述监测数据获取原始特征和衍生特征,包括:
选择所述滑坡监测点并对所述滑坡监测点进行持续监测,采集原始数据;
对所述原始数据进行异常值剔除,得到所述监测数据;
对所述监测数据进行处理,得到衍生数据;
根据所述监测数据得到所述原始特征,以及根据所述衍生数据得到所述衍生特征。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征,包括:
通过单变量可视化方式对所述特征进行分析,获取所述特征的分布及变化规律;
通过单变量与目标变量归一可视化对所述特征与所述预测目标之间的关系进行分析,得到第一关系;
通过通过采用皮尔逊积矩相关系数法对所述特征与所述预测目标之间的线性相关性进行分析,得到第二关系;
根据所述分布及变化规律、所述第一关系和所述第二关系对所述特征进行初选,确定所述第一输入特征
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数,包括:
根据所述模拟模型获取所述第一输入特征中的监测值以及与所述监测值对应的模拟预测值;
根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数;
根据所述纳什效率系数在所述机器学习算法中确定所述最优算法和所述超参数。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数,包括:
根据下式得到所述纳什效率系数:
其中,Qo为所述监测值,Qm为所述模拟预测值,t为时间点,为所述第一输入特征的总平均值。
第二方面,本发明实施例还提供一种基于深度学习的变形预测系统,其中,包括:
现场监测单元,用于对滑坡监测点的监测数据进行采集,并根据所述监测数据获取多个特征;
第一输入单元,用于通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征;
第一模型训练单元,用于根据问题类别选择对应的机器学习算法,并在所述机器学习算法中采用所述第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;
评价单元,用于通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数;
第二输入单元,用于调整不同组合的第二输入特征,并根据所述最优算法对所述第二输入特征的预测效果进行评价,确定最优输入特征;
第二模型训练单元,用于根据所述最优算法和所述最优输入特征对每个预测方案进行模型训练,生成模型集;
预测单元,用于在所述模型集中选择对应条件下的预测模型,并对所述预测模型输入与所述最优输入特征相对应的新数据,输出预测值。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述特征包括原始特征和衍生特征,所述现场监测单元包括:
选择所述滑坡监测点并对所述滑坡监测点进行持续监测,采集原始数据;
对所述原始数据进行异常值剔除,得到所述监测数据;
对所述监测数据进行处理,得到衍生数据;
根据所述监测数据得到所述原始特征,以及根据所述衍生数据得到所述衍生特征。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述第一输入单元包括:
通过单变量可视化方式对所述特征进行分析,获取所述特征的分布及变化规律;
通过单变量与目标变量归一可视化对所述特征与所述预测目标之间的关系进行分析,得到第一关系;
通过通过采用皮尔逊积矩相关系数法对所述特征与所述预测目标之间的线性相关性进行分析,得到第二关系;
根据所述分布及变化规律、所述第一关系和所述第二关系对所述特征进行初选,确定所述第一输入特征。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述评价单元包括:
根据所述模拟模型获取所述第一输入特征中的监测值以及与所述监测值对应的模拟预测值;
根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数;
根据所述纳什效率系数在所述机器学习算法中确定所述最优算法和所述超参数。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数,包括:
根据下式得到所述纳什效率系数:
其中,Qo为所述监测值,Qm为所述模拟预测值,t为时间点,为所述第一输入特征的总平均值。
本发明实施例带来了以下有益效果:本发明提供的基于深度学习的变形预测方法及系统,包括对滑坡监测点的监测数据进行采集,并根据监测数据获取多个特征;通过对特征以及特征与预测目标之间的关系进行分析,确定第一输入特征;根据问题类别选择对应的机器学习算法,并在机器学习算法中采用第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;通过对模拟模型的预测效果分别进行评价,在机器学习算法中确定最优算法和与最优算法对应的超参数;调整不同组合的第二输入特征,并根据最优算法对第二输入特征的预测效果进行评价,确定最优输入特征;根据最优算法和最优输入特征对每个预测方案进行模型训练,生成模型集;在模型集中选择对应条件下的预测模型,并对预测模型输入与最优输入特征相对应的新数据,输出预测值。本发明可以提高对滑坡灾害进行预测的准确性、可靠度,减小工作量,并且扩大适用范围,比如桥梁、隧道、大坝、危旧房、古遗迹、风塔、电塔等应用场景。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于深度学习的变形预测方法流程图;
图2为本发明实施例一提供的滑坡变形预测原理示意图;
图3为本发明实施例二提供的基于深度学习的变形预测系统示意图。
图标:
100-现场监测单元;200-第一输入单元;300-第一模型训练单元;400-评价单元;500-第二输入单元;600-第二模型训练单元;700-预测单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,由于工程地质条件复杂、自然条件的变化以及人类工程活动影响等因素的随机性和不可控制性,现阶段对滑坡做出准确可靠的预测预报还十分困难,从过去已经发生的滑坡地质灾害来看,当前绝大多数的滑坡都很难做到提前预报。滑坡等地质灾害具有突发性,其成灾机理复杂,不确定性因素多,对滑坡破坏方式、变形演化过程及变形机理的理解缺失大大增加了预报的难度。以当前对滑坡灾害孕灾机理的认知建立精确的滑坡运行机理模型还存在困难,而构造数据驱动的预测模型,则可以避开复杂的力学分析,为滑坡的预测预报提供一条可行之径。近年来,各种先进的原位监测和遥感监测仪器不断涌现,如各类高精度物联网监测传感器、GPS、遥感影像、无人机测绘及地面雷达等技术方法在滑坡监测中的应用,可以提供高精度动态实时监测数据,可以为滑坡灾害预测预报提供数据支撑。
基于此,本发明实施例提供的基于深度学习的变形预测方法及系统,将先进的数据驱动建模方法引入滑坡灾害的时间预测预报中,把监测数据作为模型输入特征对滑坡在时间上的变形发展规律进行预测,进而对可能发生的滑坡灾害及灾害发生的时间进行预报,可以提高对滑坡灾害进行预测的准确性、可靠度,减小工作量,并且扩大适用范围。
为便于对本实施例进行理解,首先对本发明实施例所公开的基于深度学习的变形预测方法进行详细介绍。
实施例一:
图1为本发明实施例一提供的基于深度学习的变形预测方法流程图。
参照图1和图2,基于深度学习的变形预测方法分为训练过程和应用过程;训练过程为对训练数据进行学习后建立模型,应用过程为根据模型对测试数据进行测试后输出预测结果的一个过程。基于深度学习的变形预测方法包括如下步骤:
步骤S01,对滑坡监测点的监测数据进行采集,并根据监测数据获取多个特征;
特征分为原始特征和衍生特征,本步骤具体的包括:首先,选择滑坡监测点并对滑坡监测点进行持续监测,采集原始数据。选定处于变形活动状态的边坡布设监测点进行数据采集,获得长时间段的原始数据,如地表位移数据、裂缝扩展数据、水位数据、雨量数据、地球物理场数据、气象数据等。
其次,对原始数据进行异常值剔除,得到监测数据。
然后,对监测数据进行滤波、差分或移动等方式的处理,得到衍生数据。监测传感器受到环境因素(如温度)的影响,监测数据会存在温漂,需要对监测数据进行处理。该处理过程可以为但不限于采用经典时间序列方法(如卡尔曼滤波,小波滤波)对第二监测数据进行滤波处理:对原始数据进行下采样,取一天24小时(或者48小时,时间不定)的平均值,再使用插值法(如三次样条插值法)对下采样处理后的数据进行上采样,最终得到处理后的衍生数据。
最后,根据监测数据得到原始特征,以及根据衍生数据得到衍生特征。
步骤S02,通过对特征以及特征与预测目标之间的关系进行分析,确定第一输入特征;
具体的,通过对特征和预测目标进行分析得到三方面的考虑因素,并据此在上述的众多特征中初选出第一输入特征,包括以下内容:第一、通过单变量可视化方式对特征进行分析,获取特征的分布及变化规律。
第二、通过单变量与目标变量归一可视化对特征与预测目标之间的关系进行分析,得到第一关系;这里,由于监测数据中包括不同的监测方面,其值域区间不一样,故采用公式(1)将特征对应的监测数据统一为0到1的值域区间:
X=(X0-Xmin)/(Xmax-Xmin) (1),
其中,X0为实际监测值,Xmax为最大监测值,Xmin为最小监测值。第一关系中既有特征与预测目标之间线性关系又有二者之间的非线性关系。
第三、通过通过采用皮尔逊积矩相关系数法对特征与预测目标之间的线性相关性进行分析,得到第二关系;
第四、根据分布及变化规律、第一关系和第二关系对特征进行初选,确定第一输入特征。第一输入特征为模型输入量。
步骤S03,根据问题类别选择对应的机器学习算法,并在机器学习算法中采用第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型。
具体的,根据问题类别(如分类问题、回归问题,本实施例的问题类别属于回归问题)选择对应的机器学习算法。采用机器学习(监督学习)算法训练模型,机器学习算法包括岭回归方法、支持向量回归方法和集成学习方法等。各种方法的预测效果不一样,因此将各种方法进行互相比较,为滑坡监测点选择最优算法。采用机器学习算法训练模型的目标是优化一个损失函数,即:使目标函数L最小化,如公式(2):
其中,f(Xi,ω)为模型的预测值,Xi为第一输入特征,yi为Xi对应的实际值,ω为各变量权重。当机器学习算法为岭回归方法时,还需要在公式(2)的基础上再加上L2范数惩罚项(L2正则化处理),如公式(3)所示:
其中,α≥0,是正则化系数(超参数),α和ω将通过十折交叉验证方法来确定其最优值。
对于每个机器学习算法,均采用十折交叉验证法进行模型训练。比如,第一输入特征为一年的监测数据集,将其等分为十分,轮流取其中的一份作为模型验证集,另外九份作为模型训练集,如此重复十次训练模型,训练后获得十个模拟模型,并查看模型在各个验证集上的表现。接下来将采用纳什效率系数、决定系数、均方差、平均绝对误差等方法对各模拟模型进行定量评价,以确定最优算法和超参数的最优值。
步骤S04,通过对模拟模型的预测效果分别进行评价,在机器学习算法中确定最优算法和与最优算法对应的超参数;
具体的,以采用纳什效率系数(Nash-Sutcliffe efficiency coefficient,NSE)的方法为例来对模拟模型的评价效果进行评价。
首先,根据模拟模型获取第一输入特征中的监测值以及与监测值对应的模拟预测值。第一输入特征中的监测值比如为位移监测值Qo,在模拟模型中输入Qo,则输出对应的位移预测值Qm。
其次,根据监测值和模拟预测值对模拟模型的预测效果进行评价,得到纳什效率系数。根据公式(4)计算各模拟模型的纳什效率系数:
其中,Qo为监测值,Qm为模拟预测值,t为时间点,为第一输入特征的总平均值。
最后,根据纳什效率系数在机器学习算法中确定最优算法和超参数。纳什效率系数E取值为负无穷至1,E接近1,表示模型的预测效果好,可信度高;E接近0,表示模型的预测效果接近观测值的平均值水平,即总体结果可信,但过程模拟误差大;E远远小于0,则模型是不可信的。基于此,根据最佳E值对应的模拟模型确定机器学习算法中对应的最优算法和超参数。
步骤S05,调整不同组合的第二输入特征,并根据最优算法对第二输入特征的预测效果进行评价,确定最优输入特征;
具体的,在确定适合本滑坡监测点的最优算法后,继续调整输入特征训练模型,譬如第一次训练时采用降雨和监测位移数据作为第一输入特征,第二次训练时采用降雨、监测位移数据和地下水位作为第二输入特征……输入特征的组合有很多,调整不同组合的第二输入特征,并重复操作定量评价过程,直到各项指标再难以优化,最终确定最优输入特征。
步骤S06,根据最优算法和最优输入特征对每个预测方案进行模型训练,生成模型集;
具体的,再确定最优算法(如岭回归)和最优输入特征(如降雨+地下水位+位移监测数据)后,需要对模型进行更长时间(至少半年以上)的精细化训练,确定预测方案(如6小时预测和24小时预测)。针对每一个监测点、每一个预测方案都需要训练出对应的模型,生成一个模型集供使用,如表1所示。
表1模型集列表
6小时预测 | 24小时预测 | |
监测点1 | 模型A | 模型B |
监测点2 | 模型C | 模型D |
步骤S07,在模型集中选择对应条件下的预测模型,并对预测模型输入与最优输入特征相对应的新数据,输出预测值。
具体的,调用通过训练和验证的模型集里面的预测模型,输入新的特征Xi来预测y值,y值比如为裂缝或位移值,新的特征即为与最优输入特征相对应的新数据:Xi=[x1,x2,...xn]。通过预测模型计算输出y值(如某监测点6小时或24小时后的预测值),生成监测和预测动态显示双曲线。最后还可以采用纳什效率系数对预测效果进行动态评价。
上述实施例所提供的基于深度学习的变形预测方法,通过构造数据驱动的预测模型,可以避开复杂的滑坡运行机理模型的构建和相关的力学分析,通过滑坡实时监测数据对滑坡在时间上的变形发展变形规律进行准确的动态预测,较现有其他滑坡预测预报方法多工作量大大减少,同时提高了预测精度,简化了滑坡灾害时间预测的流程,更加方便和可靠,可大范围推广使用,比如桥梁、隧道、大坝、危旧房、古遗迹、风塔、电塔等应用场景。
基于深度学习的变形预测方法,可以采用C++和云平台开发“基于岭回归算法的滑坡变形预测预报模型”计算程序。使用该程序,只需持续的输入滑坡变形监测数据,即会自动绘制滑坡变形预测曲线,并与监测数据的匹配度,即预测可靠度进行动态定量评价,预报滑坡灾害时间,实现预报图表成果可视化及数字输出。
实施例二:
图3为本发明实施例二提供的基于深度学习的变形预测系统示意图。
本发明实施例还提供了基于深度学习的变形预测系统,用于实现上述的基于深度学习的变形预测方法。参照图3,基于深度学习的变形预测系统包括如下单元:
现场监测单元100,用于对滑坡监测点的监测数据进行采集,并根据监测数据获取多个特征;
第一输入单元200,用于通过对特征以及特征与预测目标之间的关系进行分析,确定第一输入特征;
第一模型训练单元300,用于根据问题类别选择对应的机器学习算法,并在机器学习算法中采用第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;
评价单元400,用于通过对模拟模型的预测效果分别进行评价,在机器学习算法中确定最优算法和与最优算法对应的超参数;
第二输入单元500,用于调整不同组合的第二输入特征,并根据最优算法对第二输入特征的预测效果进行评价,确定最优输入特征;
第二模型训练单元600,用于根据最优算法和最优输入特征对每个预测方案进行模型训练,生成模型集;
预测单元700,用于在模型集中选择对应条件下的预测模型,并对预测模型输入与最优输入特征相对应的新数据,输出预测值。
进一步的,特征包括原始特征和衍生特征,现场监测单元100包括:
选择滑坡监测点并对滑坡监测点进行持续监测,采集原始数据;
对原始数据进行异常值剔除,得到监测数据;
对监测数据进行处理,得到衍生数据;
根据监测数据得到原始特征,以及根据衍生数据得到衍生特征。
进一步的,第一输入单元200包括:
通过单变量可视化方式对特征进行分析,获取特征的分布及变化规律;
通过单变量与目标变量归一可视化对特征与预测目标之间的关系进行分析,得到第一关系;
通过通过采用皮尔逊积矩相关系数法对特征与预测目标之间的线性相关性进行分析,得到第二关系;
根据分布及变化规律、第一关系和第二关系对特征进行初选,确定第一输入特征。
进一步的,评价单元400包括:
根据模拟模型获取第一输入特征中的监测值以及与监测值对应的模拟预测值;
根据监测值和模拟预测值对模拟模型的预测效果进行评价,得到纳什效率系数;
根据纳什效率系数在机器学习算法中确定最优算法和超参数。
进一步的,根据监测值和模拟预测值对模拟模型的预测效果进行评价,得到纳什效率系数,包括:
根据下式得到纳什效率系数:
其中,Qo为监测值,Qm为模拟预测值,t为时间点,为第一输入特征的总平均值。
本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例带来了以下有益效果:本发明提供的基于深度学习的变形预测方法及系统,包括对滑坡监测点的监测数据进行采集,并根据监测数据获取多个特征;通过对特征以及特征与预测目标之间的关系进行分析,确定第一输入特征;根据问题类别选择对应的机器学习算法,并在机器学习算法中采用第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;通过对模拟模型的预测效果分别进行评价,在机器学习算法中确定最优算法和与最优算法对应的超参数;调整不同组合的第二输入特征,并根据最优算法对第二输入特征的预测效果进行评价,确定最优输入特征;根据最优算法和最优输入特征对每个预测方案进行模型训练,生成模型集;在模型集中选择对应条件下的预测模型,并对预测模型输入与最优输入特征相对应的新数据,输出预测值。本发明可以提高对滑坡灾害进行预测的准确性、可靠度,减小工作量,并且扩大适用范围,比如桥梁、隧道、大坝、危旧房、古遗迹、风塔、电塔等应用场景。
本发明实施例还提供一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的基于深度学习的变形预测方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的基于深度学习的变形预测方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行基于深度学习的变形预测方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的变形预测方法,其特征在于,包括:
对滑坡监测点的监测数据进行采集,并根据所述监测数据获取多个特征;
通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征;
根据问题类别选择对应的机器学习算法,并在所述机器学习算法中采用所述第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;
通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数;
调整不同组合的第二输入特征,并根据所述最优算法对所述第二输入特征的预测效果进行评价,确定最优输入特征;
根据所述最优算法和所述最优输入特征对每个预测方案进行模型训练,生成模型集;
在所述模型集中选择对应条件下的预测模型,并对所述预测模型输入与所述最优输入特征相对应的新数据,输出预测值。
2.根据权利要求1所述的方法,其特征在于,所述特征包括原始特征和衍生特征,所述对滑坡监测点的监测数据进行采集,并根据所述监测数据获取原始特征和衍生特征,包括:
选择所述滑坡监测点并对所述滑坡监测点进行持续监测,采集原始数据;
对所述原始数据进行异常值剔除,得到所述监测数据;
对所述监测数据进行处理,得到衍生数据;
根据所述监测数据得到所述原始特征,以及根据所述衍生数据得到所述衍生特征。
3.根据权利要求1所述的方法,其特征在于,所述通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征,包括:
通过单变量可视化方式对所述特征进行分析,获取所述特征的分布及变化规律;
通过单变量与目标变量归一可视化对所述特征与所述预测目标之间的关系进行分析,得到第一关系;
通过通过采用皮尔逊积矩相关系数法对所述特征与所述预测目标之间的线性相关性进行分析,得到第二关系;
根据所述分布及变化规律、所述第一关系和所述第二关系对所述特征进行初选,确定所述第一输入特征。
4.根据权利要求1所述的方法,其特征在于,所述通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数,包括:
根据所述模拟模型获取所述第一输入特征中的监测值以及与所述监测值对应的模拟预测值;
根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数;
根据所述纳什效率系数在所述机器学习算法中确定所述最优算法和所述超参数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数,包括:
根据下式得到所述纳什效率系数:
其中,Qo为所述监测值,Qm为所述模拟预测值,t为时间点,为所述第一输入特征的总平均值。
6.一种基于深度学习的变形预测系统,其特征在于,包括:
现场监测单元,用于对滑坡监测点的监测数据进行采集,并根据所述监测数据获取多个特征;
第一输入单元,用于通过对所述特征以及所述特征与预测目标之间的关系进行分析,确定第一输入特征;
第一模型训练单元,用于根据问题类别选择对应的机器学习算法,并在所述机器学习算法中采用所述第一输入特征进行模型训练,以及采用十折交叉验证法进行模型验证,得到多组模拟模型;
评价单元,用于通过对所述模拟模型的预测效果分别进行评价,在所述机器学习算法中确定最优算法和与所述最优算法对应的超参数;
第二输入单元,用于调整不同组合的第二输入特征,并根据所述最优算法对所述第二输入特征的预测效果进行评价,确定最优输入特征;
第二模型训练单元,用于根据所述最优算法和所述最优输入特征对每个预测方案进行模型训练,生成模型集;
预测单元,用于在所述模型集中选择对应条件下的预测模型,并对所述预测模型输入与所述最优输入特征相对应的新数据,输出预测值。
7.根据权利要求6所述的系统,其特征在于,所述特征包括原始特征和衍生特征,所述现场监测单元包括:
选择所述滑坡监测点并对所述滑坡监测点进行持续监测,采集原始数据;
对所述原始数据进行异常值剔除,得到所述监测数据;
对所述监测数据进行处理,得到衍生数据;
根据所述监测数据得到所述原始特征,以及根据所述衍生数据得到所述衍生特征。
8.根据权利要求6所述的系统,其特征在于,所述第一输入单元包括:
通过单变量可视化方式对所述特征进行分析,获取所述特征的分布及变化规律;
通过单变量与目标变量归一可视化对所述特征与所述预测目标之间的关系进行分析,得到第一关系;
通过通过采用皮尔逊积矩相关系数法对所述特征与所述预测目标之间的线性相关性进行分析,得到第二关系;
根据所述分布及变化规律、所述第一关系和所述第二关系对所述特征进行初选,确定所述第一输入特征。
9.根据权利要求6所述的系统,其特征在于,所述评价单元包括:
根据所述模拟模型获取所述第一输入特征中的监测值以及与所述监测值对应的模拟预测值;
根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数;
根据所述纳什效率系数在所述机器学习算法中确定所述最优算法和所述超参数。
10.根据权利要求4所述的系统,其特征在于,所述根据所述监测值和所述模拟预测值对所述模拟模型的预测效果进行评价,得到纳什效率系数,包括:
根据下式得到所述纳什效率系数:
其中,Qo为所述监测值,Qm为所述模拟预测值,t为时间点,为所述第一输入特征的总平均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810192288.5A CN108363886A (zh) | 2018-03-08 | 2018-03-08 | 基于深度学习的变形预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810192288.5A CN108363886A (zh) | 2018-03-08 | 2018-03-08 | 基于深度学习的变形预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108363886A true CN108363886A (zh) | 2018-08-03 |
Family
ID=63003634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810192288.5A Pending CN108363886A (zh) | 2018-03-08 | 2018-03-08 | 基于深度学习的变形预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108363886A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008301A (zh) * | 2019-04-12 | 2019-07-12 | 杭州鲁尔物联科技有限公司 | 基于机器学习的区域性地质灾害易发性预测方法及装置 |
CN110008541A (zh) * | 2019-03-20 | 2019-07-12 | 北京明略软件系统有限公司 | 建立轨道交通车辆能耗模型的方法、系统和终端 |
CN110242310A (zh) * | 2019-06-14 | 2019-09-17 | 西安电子科技大学 | 基于深度神经网络与关联分析结合的盾构轴线纠偏方法 |
CN110706808A (zh) * | 2019-09-12 | 2020-01-17 | 北京深睿博联科技有限责任公司 | 动脉瘤破裂状态预测方法和装置 |
CN110728397A (zh) * | 2019-09-26 | 2020-01-24 | 河海大学 | 一种基于模型自动匹配的大坝单测点阈值计算方法 |
CN110824142A (zh) * | 2019-11-13 | 2020-02-21 | 杭州鲁尔物联科技有限公司 | 一种地质灾害的预测方法、装置及设备 |
CN110955862A (zh) * | 2019-11-26 | 2020-04-03 | 新奥数能科技有限公司 | 一种用于设备模型趋势相似度的评估方法及装置 |
CN111382787A (zh) * | 2020-03-06 | 2020-07-07 | 芯薇(上海)智能科技有限公司 | 一种基于深度学习的目标检测方法 |
CN111929683A (zh) * | 2020-07-28 | 2020-11-13 | 中国自然资源航空物探遥感中心 | 滑坡形变聚集区预测模型生成方法和滑坡形变聚集区预测方法 |
CN112668238A (zh) * | 2020-12-30 | 2021-04-16 | 杭州鲁尔物联科技有限公司 | 一种降雨量处理方法、装置、设备和存储介质 |
CN112735094A (zh) * | 2020-12-17 | 2021-04-30 | 中国地质环境监测院 | 基于机器学习的地质灾害预测方法、装置和电子设备 |
CN112800589A (zh) * | 2021-01-08 | 2021-05-14 | 中国石油大学(华东) | 一种基于人工智能的油水两相流相对渗透网格粗化方法 |
CN113065455A (zh) * | 2021-03-30 | 2021-07-02 | 中国水利水电科学研究院 | 一种基于深度学习的滑坡风险巡检方法及系统 |
CN113474098A (zh) * | 2019-02-21 | 2021-10-01 | 杰富意钢铁株式会社 | 轧制载荷预测方法、轧制载荷预测装置及轧制控制方法 |
CN113625645A (zh) * | 2021-08-19 | 2021-11-09 | 福州大学 | 一种堆石混凝土坝智能监测方法及管理系统 |
CN115965246A (zh) * | 2023-03-16 | 2023-04-14 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种岩溶塌陷灾害的预警分析方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136446A (zh) * | 2013-01-31 | 2013-06-05 | 南信大影像技术工程(苏州)有限公司 | 基于优化输入层的bp神经网络预报滑坡的方法 |
CN106844948A (zh) * | 2017-01-19 | 2017-06-13 | 北京辰安科技股份有限公司 | 滑坡预测方法和装置 |
-
2018
- 2018-03-08 CN CN201810192288.5A patent/CN108363886A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136446A (zh) * | 2013-01-31 | 2013-06-05 | 南信大影像技术工程(苏州)有限公司 | 基于优化输入层的bp神经网络预报滑坡的方法 |
CN106844948A (zh) * | 2017-01-19 | 2017-06-13 | 北京辰安科技股份有限公司 | 滑坡预测方法和装置 |
Non-Patent Citations (4)
Title |
---|
侯征: ""支持向量机在物探方法预测含水层含水量中的应用"", 《中国优秀硕士学位论文全文数据库 基础科学辑(月刊)》 * |
罗战友等: ""基于支持向量机的边坡稳定性预测模型"", 《岩石力学与工程学报》 * |
胡安龙等: ""基于智能算法优化支持向量机模型的滑坡稳定性预测"", 《自然灾害学报》 * |
胡添翼等: ""基于随机森林分类算法的边坡稳定预测模型"", 《人民黄河》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113474098A (zh) * | 2019-02-21 | 2021-10-01 | 杰富意钢铁株式会社 | 轧制载荷预测方法、轧制载荷预测装置及轧制控制方法 |
CN110008541A (zh) * | 2019-03-20 | 2019-07-12 | 北京明略软件系统有限公司 | 建立轨道交通车辆能耗模型的方法、系统和终端 |
CN110008301A (zh) * | 2019-04-12 | 2019-07-12 | 杭州鲁尔物联科技有限公司 | 基于机器学习的区域性地质灾害易发性预测方法及装置 |
CN110242310A (zh) * | 2019-06-14 | 2019-09-17 | 西安电子科技大学 | 基于深度神经网络与关联分析结合的盾构轴线纠偏方法 |
CN110242310B (zh) * | 2019-06-14 | 2020-08-11 | 西安电子科技大学 | 基于深度神经网络与关联分析结合的盾构轴线纠偏方法 |
CN110706808A (zh) * | 2019-09-12 | 2020-01-17 | 北京深睿博联科技有限责任公司 | 动脉瘤破裂状态预测方法和装置 |
CN110728397B (zh) * | 2019-09-26 | 2021-03-02 | 河海大学 | 一种基于模型自动匹配的大坝单测点阈值计算方法 |
CN110728397A (zh) * | 2019-09-26 | 2020-01-24 | 河海大学 | 一种基于模型自动匹配的大坝单测点阈值计算方法 |
CN110824142A (zh) * | 2019-11-13 | 2020-02-21 | 杭州鲁尔物联科技有限公司 | 一种地质灾害的预测方法、装置及设备 |
CN110824142B (zh) * | 2019-11-13 | 2022-06-24 | 杭州鲁尔物联科技有限公司 | 一种地质灾害的预测方法、装置及设备 |
CN110955862A (zh) * | 2019-11-26 | 2020-04-03 | 新奥数能科技有限公司 | 一种用于设备模型趋势相似度的评估方法及装置 |
CN110955862B (zh) * | 2019-11-26 | 2023-10-13 | 新奥数能科技有限公司 | 一种用于设备模型趋势相似度的评估方法及装置 |
CN111382787A (zh) * | 2020-03-06 | 2020-07-07 | 芯薇(上海)智能科技有限公司 | 一种基于深度学习的目标检测方法 |
CN111929683A (zh) * | 2020-07-28 | 2020-11-13 | 中国自然资源航空物探遥感中心 | 滑坡形变聚集区预测模型生成方法和滑坡形变聚集区预测方法 |
CN112735094A (zh) * | 2020-12-17 | 2021-04-30 | 中国地质环境监测院 | 基于机器学习的地质灾害预测方法、装置和电子设备 |
CN112735094B (zh) * | 2020-12-17 | 2022-08-09 | 中国地质环境监测院 | 基于机器学习的地质灾害预测方法、装置和电子设备 |
CN112668238A (zh) * | 2020-12-30 | 2021-04-16 | 杭州鲁尔物联科技有限公司 | 一种降雨量处理方法、装置、设备和存储介质 |
CN112668238B (zh) * | 2020-12-30 | 2024-04-09 | 杭州鲁尔物联科技有限公司 | 一种降雨量处理方法、装置、设备和存储介质 |
CN112800589B (zh) * | 2021-01-08 | 2022-09-09 | 中国石油大学(华东) | 一种基于人工智能的油水两相流相对渗透网格粗化方法 |
CN112800589A (zh) * | 2021-01-08 | 2021-05-14 | 中国石油大学(华东) | 一种基于人工智能的油水两相流相对渗透网格粗化方法 |
CN113065455A (zh) * | 2021-03-30 | 2021-07-02 | 中国水利水电科学研究院 | 一种基于深度学习的滑坡风险巡检方法及系统 |
CN113065455B (zh) * | 2021-03-30 | 2021-09-17 | 中国水利水电科学研究院 | 一种基于深度学习的滑坡风险巡检方法及系统 |
CN113625645A (zh) * | 2021-08-19 | 2021-11-09 | 福州大学 | 一种堆石混凝土坝智能监测方法及管理系统 |
CN115965246A (zh) * | 2023-03-16 | 2023-04-14 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种岩溶塌陷灾害的预警分析方法 |
CN115965246B (zh) * | 2023-03-16 | 2023-05-19 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种岩溶塌陷灾害的预警分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108363886A (zh) | 基于深度学习的变形预测方法及系统 | |
RU2573746C2 (ru) | Система и способы для прогнозирования поведения скважины | |
CN110008301A (zh) | 基于机器学习的区域性地质灾害易发性预测方法及装置 | |
CN114563150B (zh) | 桥梁健康在线检测模块生成方法、检测方法、工具箱及装置 | |
US11676375B2 (en) | System and process for integrative computational soil mapping | |
Lee et al. | Cultural heritage and the intelligent internet of things | |
EP3795975A1 (en) | Abnormality sensing apparatus, abnormality sensing method, and abnormality sensing program | |
Sabamehr et al. | System identification and model updating of highway bridges using ambient vibration tests | |
KR20210131160A (ko) | 딥러닝 모델 기반의 전력 수요 예측 장치 및 방법 | |
CN106663086A (zh) | 用于核回归模型的集体的设备和方法 | |
Ye et al. | A deep learning-based method for automatic abnormal data detection: Case study for bridge structural health monitoring | |
CN117824756B (zh) | 一种建筑结构监测方法、设备及存储介质 | |
CN117171657A (zh) | 风力发电设备故障诊断方法、装置、电子设备及存储介质 | |
KR102054500B1 (ko) | 설계 도면 제공 방법 | |
CN117172131B (zh) | 基于人工神经网络预测高分辨率地下水位的方法及系统 | |
CN117909777A (zh) | 一种工业多变量时间序列异常检测方法及装置 | |
Hoell et al. | Fukunaga-Koontz feature transformation for statistical structural damage detection and hierarchical neuro-fuzzy damage localisation | |
Yanez-Borjas et al. | Convolutional neural network-based methodology for detecting, locating and quantifying corrosion damage in a truss-type bridge through the autocorrelation of vibration signals | |
GB2584449A (en) | Apparatus method and computer-program product for calculating a measurable geological metric | |
CN117708551A (zh) | 基于双精度gdp数据展布的洪涝灾害影响评估方法和系统 | |
Da Silva et al. | Selection of a dimensionality reduction method: An application to deal with high-dimensional geostatistical realizations in oil reservoirs | |
Pamuncak et al. | Correlation-based damage detection method using convolutional neural network for civil infrastructure | |
Di Mucci et al. | Artificial intelligence in structural health management of existing bridges | |
GB2584447A (en) | Apparatus method and computer-program product for processing geological data | |
Shiri et al. | Data-driven segmentation of long term condition monitoring data in the presence of heavy-tailed distributed noise with finite-variance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 206-002, 2 / F, building 8, Xixi bafangcheng, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: HANGZHOU RUHR TECHNOLOGY Co.,Ltd. Address before: 310000 Zhejiang, Xihu District Tong Tong Street Shuangliu, No. 643 A4-4-201 Applicant before: HANGZHOU RUHR TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180803 |
|
RJ01 | Rejection of invention patent application after publication |