CN110728397B - 一种基于模型自动匹配的大坝单测点阈值计算方法 - Google Patents

一种基于模型自动匹配的大坝单测点阈值计算方法 Download PDF

Info

Publication number
CN110728397B
CN110728397B CN201910917819.7A CN201910917819A CN110728397B CN 110728397 B CN110728397 B CN 110728397B CN 201910917819 A CN201910917819 A CN 201910917819A CN 110728397 B CN110728397 B CN 110728397B
Authority
CN
China
Prior art keywords
value
model
measuring point
prediction model
square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910917819.7A
Other languages
English (en)
Other versions
CN110728397A (zh
Inventor
毛莺池
陈程军
迟福东
王龙宝
陈豪
程杨堃
戚荣志
廖贵能
余意
王顺波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Huaneng Lancang River Hydropower Co Ltd
Original Assignee
Hohai University HHU
Huaneng Lancang River Hydropower Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, Huaneng Lancang River Hydropower Co Ltd filed Critical Hohai University HHU
Priority to CN201910917819.7A priority Critical patent/CN110728397B/zh
Publication of CN110728397A publication Critical patent/CN110728397A/zh
Application granted granted Critical
Publication of CN110728397B publication Critical patent/CN110728397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于模型自动匹配的大坝单测点阈值计算方法，步骤为：(1)构建可扩充的预测模型总库，(2)构建数据库，(3)计算数据相似度，选择最小相似度值的测点作为相似测点，若最小相似度值小于等于阈值S，则直接配置该测点与相似测点相同的预测模型，否则重新匹配最佳模型，(4)更新预测模型，比较该时段测点数据的R平方值与原预测模型离线阶段时的初始R平方值，若不小于初始R平方值则不变，若小于且差值在0.02范围内则仅更新原预测模型的超参数，否则重新匹配模型，(5)计算出该测点阈值当日的异常级别。本发明在节约人力成本和降低数据与模型的耦合度的同时，保证单点阈值计算结果精确性和实时性。

Description

一种基于模型自动匹配的大坝单测点阈值计算方法
技术领域
本发明属于大坝安全监测技术领域，特别涉及一种基于模型自动匹配的大坝单测点阈值计算方法。
背景技术
大坝安全监测是通过仪器观测和巡视检查对水工建筑物主体结构、地基基础、两岸边坡、相关设施以及周围环境所作的测量及观察；监测不仅包括对建筑物固定测点按一定频次进行的仪器观测，也包括对建筑物外表及内部大范围对象的定期和不定期的直观检查和仪器探查。通过观测仪器和设备，以及时取得反映大坝和基岩性态的变化以及环境对大坝作用的各种数据的观测和资料处理等工作。其目的是分析估计大坝的安全程度，以便及时采取措施，设法保证大坝安全运行。
发明内容
发明目的：为了克服现有技术中大坝安全监测系统监仪器多、测点多、数据量庞杂、人工处理和评判难度高且效率低的问题，本发明提供一种基于模型自动匹配的大坝单测点阈值计算方法，通过离线和在线两个阶段的模型匹配，为每个测点配置最佳的预测模型，在节约人力成本和降低数据与模型的耦合度的同时，保证单点阈值计算结果精确性和实时性。
技术方案：为实现上述目的，本发明提供一种基于模型自动匹配的大坝单测点阈值计算方法，包括如下步骤：
(1)选择多项式回归、差分自回归移动平均模型、长短期记忆网络、多层感知机、均值、最小二乘回归、基于注意力机制的长短期记忆网络的机器学习和深度学习模型，构建到预测模型总库；
(2)从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库；
(3)剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，若最小相似度值小于等于阈值S，则直接配置该测点与相似测点相同的预测模型，否则返回步骤(2)重新匹配最佳模型；
(4)每隔一个月更新一次预测模型，计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变，若小于初始R平方值且两者相差在0.02范围内，则仅更新原预测模型的超参数，否则返回步骤(2)重新匹配模型；
(5)将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别。
进一步的，所述步骤(2)中从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库的具体步骤如下：
(2.1)对于所有仪器类型，每个模型需要训练的超参数皆事先设定好并存入数据库，并分为无参数、机器学习模型参数和深度学习模型参数3种情况；其中无参数情况下不训练参数；机器学习模型参数下先随机生成G1个超参数值组，与测点数据一同输入模型训练，并得到G1个R平方值，将G1个超参数值组和R平方值输入代理模型训练，其中代理模型选择随机森林，之后随机生成G2个超参数值组，输入代理模型得到G2个R平方值，从中选择值最大的超参数值组作为最佳参数，其中G1默认值为1000，G2默认值是2000；
(2.2)试点集中每个测点依次向模型总库中所有模型输入测点数据，得到
Figure BDA0002216622870000021
的结果，再求每个预测模型的R平方值，
Figure BDA0002216622870000022
其中j＝1,2,…,N，
Figure BDA0002216622870000023
是第i个预测模型的预测值，
Figure BDA0002216622870000025
是平均值，比较
Figure BDA0002216622870000024
值并将最大值的预测模型赋予给该测点，并将模型名和R平方值存入数据库。
进一步的，所述步骤(3)中剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，并与阈值比较做出相应处理的具体步骤如下：
(3.1)依次遍历剩余测点，获取测点Ti前Y年数据(ti1,...tin)和仪器类型名，与所有已配置好的同仪器类型的测点Tj计算数据相似度，其中相似度计算应用形态相似距离的方法，公式如下所示：
Figure BDA0002216622870000031
其中tik是测点Ti第k天的测值，tjk是测点Tj第k天的测值，
Figure BDA0002216622870000032
计算的是欧式距离，
Figure BDA0002216622870000033
计算的是曼哈顿距离，
Figure BDA0002216622870000034
计算的是每天测值差值之和的绝对值；
(3.2)选择DMSD值最小的测点作为相似测点，当DMSD≤S时，则直接配置该测点与相似测点相同的预测模型，否则返回步骤(2)重新匹配最佳模型；
进一步的，所述步骤(4)中更新预测模型，比较该时段测点数据的R平方值与原预测模型离线阶段时的初始R平方值，若不小于初始R平方值则不变，若小于且差值在0.02范围内则仅更新原预测模型的超参数，否则重新匹配模型的具体步骤如下：
每隔一个月更新一次预测模型，若未满一个月则直接进行阈值计算，否则计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变；若小于初始R平方值且两者差值在0.02范围内，则为原始超参数组(v1,v2,...vn)中各参数设置取值区间，即vi参数的取值区间为[0.5vi,1.5vi]，之后从中随机取值生成G个超参数值组，与清洗后的测点数据一同输入原预测模型，并比较计算出来的R平方值，包含原始超参数组的R平方值，选择其中值最大的超参数组来更新原预测模型参数；否则返回步骤(2)中重新匹配模型，若更新后的预测模型仍是原模型，则报出预测模型总库需要增加新预测模型的日志。
进一步的，所述步骤(5)中计算出该测点阈值当日的异常级别的具体步骤如下：
将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别，即当
Figure BDA0002216622870000035
时，测点发生异常，其中残差
Figure BDA0002216622870000036
xi是测值，
Figure BDA0002216622870000037
是平均值。
自动化机器学习是未来研究的热点方向，它可以自动选择算法、超参调整、迭代建模以及模型评价，大幅度减少了人的工作量，提高了工作效率。由于不同测点的数据变化趋势不同，所需的预测模型和超参数也会不同，逐一调试会花费大量的时间，且不能复用，而自动匹配预测模型可以提高阈值计算的效率，同时也保证了准确率。由于并不存在几个模型就能解决所有问题，可自添加模型的设计模式增加了可持续性能力。
本发明提供一种基于模型自动匹配的大坝单测点阈值计算方法，为每个测点配置最佳的模型，在节约人力成本的同时，保证了单点阈值计算结果精确性和实时性。
有益效果：本发明与现有技术相比具有以下优点：
与现有技术相比，本发明提供一种基于模型自动匹配的大坝单测点阈值计算方法，通过学习大坝测点历史数据的特征，自动为测点挑选最佳预测模型和模型参数，定时检测测点数据变化趋势并自动更新模型和参数，节约了人力成本的同时，提高了大坝单点阈值计算的效率和精度，为大坝监测提供了可靠依据；此外提供了自添加模型接口，灵活性高。
附图说明
图1为具体实施例中4个引张线仪仪器测点的历史时序对比图；
图2为本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
图1所示是4个引张线仪仪器测点，可以直观看出这四个测点高度相似，计算第一个测点与其他三个测点的相似度，值分别为0.74、0.73和1.99，都小于阈值S，所以四个测点配置相同预测模型且只需要训练第一个测点即可。
如图2所示，本发明提供一种基于模型自动匹配的大坝单测点阈值计算方法，包括如下步骤：
(1)采用工厂设计模式，选择7个现有的机器学习和深度学习模型，即多项式回归、差分自回归移动平均模型、长短期记忆网络、多层感知机、均值、最小二乘回归、基于注意力机制的长短期记忆网络，构建到预测模型总库；
(2)从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库；
(3)剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，若最小相似度值小于等于阈值S(默认为3，具体可按实际情况做调整)，则直接配置该测点与相似测点相同的预测模型，否则按(2)中方法匹配最佳模型；
(4)每隔一个月更新一次预测模型，计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变，若小于初始R平方值且两者相差在0.02范围内，则仅更新原预测模型的超参数，否则按(2)中方法重新匹配模型；
(5)将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别。
进一步的，所述步骤(2)中从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库，具体步骤为：
(2.1)共有23种仪器类型，具体包括沉降量、压应力计、五芯钢板计、水质参数、引张线仪、水面高程、振弦式测缝计、双向垂线坐标仪(含正垂线和倒垂线)、电容式三向测缝计、五芯测缝计、多点位移计、五芯无应力计、锚索测力计、渗压计、锚杆应力计、五芯测缝计、五芯钢筋计、五芯应变计(含单向和多向)、静力水准仪、表面变形监测、四芯温度计、扬压力计和量水堰仪；
(2.2)各模型需要训练的超参数皆事先设定好并存入数据库，并分无参数，机器学习模型参数和深度学习模型参数3种情况；无参数情况下不训练参数；机器学习模型参数下先随机生成G1个超参数值组，与测点数据一同输入模型训练，并得到G1个R平方值，将G1个(超参数值组，R平方值)输入代理模型训练，其中代理模型选择随机森林，之后随机生成G2个超参数值组，输入代理模型得到G2个R平方值，从中选择值最大的超参数值组作为最佳参数，其中G1默认值为1000，G2默认值是2000，具体可按实际情况做调整；
(2.3)试点集中每个测点依次向模型总库中所有模型输入测点数据，得到
Figure BDA0002216622870000061
的结果，再求每个预测模型的R平方值，
Figure BDA0002216622870000062
其中j＝1,2,…,N，
Figure BDA0002216622870000063
是第i个预测模型的预测值，
Figure BDA0002216622870000064
是平均值，比较
Figure BDA0002216622870000065
值并将最大值的预测模型赋予给该测点，并将模型名和R平方值存入数据库；
进一步的，所述步骤(3)中剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，若最小相似度值小于阈值S(默认为3，具体可按实际情况做调整)，则直接配置该测点与相似测点相同的预测模型，否则按(2)中方法匹配最佳模型，具体步骤为：
(3.1)依次遍历剩余测点，获取测点Ti前Y年数据(ti1,...tin)和仪器类型名，与所有已配置好的同仪器类型的测点Tj计算数据相似度，其中相似度计算应用形态相似距离的方法，公式如下所示：
Figure BDA0002216622870000066
其中tik是测点Ti第k天的测值，tjk是测点Tj第k天的测值，
Figure BDA0002216622870000067
计算的是欧式距离，
Figure BDA0002216622870000068
计算的是曼哈顿距离，
Figure BDA0002216622870000069
计算的是每天测值差值之和的绝对值；
(3.2)选择DMSD值最小的测点作为相似测点，当DMSD≤S时，则直接配置该测点与相似测点相同的预测模型，否则按(2)中方法匹配最佳模型，如图1所示是4个引张线仪仪器测点，可以直观看出这四个测点高度相似，计算第一个测点与其他三个测点的相似度，值分别为0.74、0.73和1.99，都小于阈值S，所以四个测点配置相同预测模型且只需要训练第一个测点即可；
进一步的，所述步骤(4)中每隔一个月更新一次预测模型，若未满一个月则直接进行阈值计算，否则计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变；若小于初始R平方值且两者差值在0.02范围内，则为原始超参数组(v1,v2,...vn)中各参数设置取值区间，即vi参数的取值区间为[0.5vi,1.5vi]，之后从中随机取值生成G个超参数值组(G默认值为200)，与清洗后的测点数据一同输入原预测模型，并比较计算出来的R平方值(包原始超参数组的R平方值)，选择其中值最大的超参数组来更新原预测模型参数；否则按(2)中方法重新匹配模型，若更新后的预测模型仍是原模型，则报出预测模型总库需要增加新预测模型的日志。
进一步的，所述步骤(5)中将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别，即当
Figure BDA0002216622870000071
时，测点发生异常，其中残差
Figure BDA0002216622870000072
xi是测值，
Figure BDA0002216622870000073
是平均值。
本发明所述的一种基于模型自动匹配的大坝单测点阈值计算方法，具体实施流程如下所示：
①采用工厂设计模式，选择7个现有的机器学习和深度学习模型，即多项式回归、差分自回归移动平均模型、长短期记忆网络、多层感知机、均值、最小二乘回归、基于注意力机制的长短期记忆网络，构建到预测模型总库；
②首先分别从23种仪器类型即沉降量、压应力计、五芯钢板计、水质参数、引张线仪、水面高程、振弦式测缝计、双向垂线坐标仪(含正垂线和倒垂线)、电容式三向测缝计、五芯测缝计、多点位移计、五芯无应力计、锚索测力计、渗压计、锚杆应力计、五芯测缝计、五芯钢筋计、五芯应变计(含单向和多向)、静力水准仪、表面变形监测、四芯温度计、扬压力计和量水堰仪中，选择5个测点构成试点集；
然后针对试点集中的每个测点，为所有预测模型配置最佳参数并计算其R平方值，各模型需要训练的超参数皆事先设定好并存入数据库，并分无参数，机器学习模型参数和深度学习模型参数3种情况；无参数情况下不训练参数；机器学习模型参数下先随机生成G1个超参数值组，与测点数据一同输入模型训练，并得到G1个R平方值，将G1个(超参数值组，R平方值)输入代理模型训练，其中代理模型选择随机森林，之后随机生成G2个超参数值组，输入代理模型得到G2个R平方值，从中选择值最大的超参数值组作为最佳参数，其中G1默认值为1000，G2默认值是2000，具体可按实际情况做调整；
最后将试点集中每个测点数据，依次输入到模型总库中所有预测模型，得到
Figure BDA0002216622870000081
的结果，再求每个预测模型的R平方值，
Figure BDA0002216622870000082
其中j＝1,2,…,N，
Figure BDA0002216622870000083
是第i个预测模型的预测值，
Figure BDA0002216622870000084
是平均值，比较
Figure BDA0002216622870000085
值并将最大值的预测模型赋予给该测点，并将模型名和R平方值存入数据库；
③依次遍历剩余测点，获取测点Ti前Y年数据(ti1,...tin)和仪器类型名，与所有已配置好的同仪器类型的测点Tj计算数据相似度，其中相似度计算应用形态相似距离的方法，公式如下所示：
Figure BDA0002216622870000086
其中tik是测点Ti第k天的测值，tjk是测点Tj第k天的测值，
Figure BDA0002216622870000087
计算的是欧式距离，
Figure BDA0002216622870000088
计算的是曼哈顿距离，
Figure BDA0002216622870000089
计算的是每天测值差值之和的绝对值；
选择DMSD值最小的测点作为相似测点，当DMSD≤S时，则直接配置该测点与相似测点相同的预测模型，否则按(2)中方法匹配最佳模型；
④每隔一个月更新一次预测模型，若未满一个月则直接进行阈值计算，否则计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变；若小于初始R平方值且两者差值在0.02范围内，则为原始超参数组(v1,v2,...vn)中各参数设置取值区间，即vi参数的取值区间为[0.5vi,1.5vi]，之后从中随机取值生成G个超参数值组(G默认值为200)，与清洗后的测点数据一同输入原预测模型，并比较计算出来的R平方值(包原始超参数组的R平方值)，选择其中值最大的超参数组来更新原预测模型参数；否则按(2)中方法重新匹配模型，若更新后的预测模型仍是原模型，则报出预测模型总库需要增加新预测模型的日志。
⑤将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别，即当
Figure BDA0002216622870000091
时，测点发生异常，其中残差
Figure BDA0002216622870000092
xi是测值，
Figure BDA0002216622870000093
是平均值。
根据以上实例可知，针对大坝测点数据变化趋势繁多、脏数据和异常点较多、模型与数据耦合度高、无法实时响应测点数据的周期突变、计算效率低、评判精度低、人力成本高等问题，本发明的方法通过离线和在线两个阶段的模型匹配，为每个测点配置最佳的预测模型，提高了单点阈值计算的效率和精度，为大坝监测提供可靠的依据；同时实现了方法的高复用和可扩充，只需修改较少部分的内容，就可以在其他大坝上应用。

Claims (5)

1.一种基于模型自动匹配的大坝单测点阈值计算方法，其特征在于，包括如下步骤：
(1)选择多项式回归、差分自回归移动平均模型、长短期记忆网络、多层感知机、均值、最小二乘回归、基于注意力机制的长短期记忆网络的机器学习和深度学习模型，构建到预测模型总库；
(2)从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库；
(3)剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，若最小相似度值小于等于阈值S，则直接配置该测点与相似测点相同的预测模型，否则返回步骤(2)重新匹配模型；
(4)每隔一个月更新一次预测模型，计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变，若小于初始R平方值且两者相差在0.02范围内，则仅更新原预测模型的超参数，否则返回步骤(2)重新匹配模型；
(5)将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别。
2.根据权利要求1中所述的一种基于模型自动匹配的大坝单测点阈值计算方法，其特征在于，所述步骤(2)中从每类仪器中选择5个测点构成试点集，试点集中每个测点依次向模型总库中所有模型输入测点数据，为每个模型配置最佳参数并计算其R平方值，比较R平方值选择对应值最大的预测模型配置给该测点，并存入数据库的具体步骤如下：
(2.1)对于仪器类型，每个模型需要训练的超参数皆事先设定好并存入数据库，并分为无参数、机器学习模型参数和深度学习模型参数3种情况；其中无参数情况下不训练参数；机器学习模型参数下先随机生成G1个超参数值组，与测点数据一同输入模型训练，并得到G1个R平方值，将G1个超参数值组和R平方值输入代理模型训练，其中代理模型选择随机森林，之后随机生成G2个超参数值组，输入代理模型得到G2个R平方值，从中选择值最大的超参数值组作为最佳参数，其中G1默认值为1000，G2默认值是2000；
(2.2)试点集中每个测点依次向模型总库中所有模型输入测点数据，得到
Figure FDA0002794155960000021
的结果，再求每个预测模型的R平方值，
Figure FDA0002794155960000022
其中j＝1,2,…,N，
Figure FDA0002794155960000023
是第i个预测模型的预测值，
Figure FDA0002794155960000024
是平均值，比较
Figure FDA0002794155960000025
值并将最大值的预测模型赋予给该测点，并将模型名和R平方值存入数据库。
3.根据权利要求1中所述的一种基于模型自动匹配的大坝单测点阈值计算方法，其特征在于，所述步骤(3)中剩余测点与所有已配置好的同仪器类型的测点计算数据相似度，选择最小相似度值的测点作为相似测点，并与阈值比较做出相应处理的具体步骤如下：
(3.1)依次遍历剩余测点，获取测点Ti前Y年数据(ti1,...tin)和仪器类型名，与所有已配置好的同仪器类型的测点Tj计算数据相似度，其中相似度计算应用形态相似距离的方法，公式如下所示：
Figure FDA0002794155960000026
其中tik是测点Ti第k天的测值，tjk是测点Tj第k天的测值，
Figure FDA0002794155960000027
计算的是欧式距离，
Figure FDA0002794155960000028
计算的是曼哈顿距离，
Figure FDA0002794155960000029
计算的是每天测值差值之和的绝对值；
(3.2)选择DMSD值最小的测点作为相似测点，当DMSD≤S时，则直接配置该测点与相似测点相同的预测模型，否则返回步骤(2)重新匹配最佳模型；
4.根据权利要求1中所述的一种基于模型自动匹配的大坝单测点阈值计算方法，其特征在于，所述步骤(4)中更新预测模型，比较该时段测点数据的R平方值与原预测模型离线阶段时的初始R平方值，若大于等于初始R平方值则不变，若小于且差值在0.02范围内则仅更新原预测模型的超参数，否则重新匹配模型的具体步骤如下：
每隔一个月更新一次预测模型，若未满一个月则直接进行阈值计算，否则计算这个月测点数据的R平方值，与原预测模型离线阶段时的初始R平方值比较，若大于等于初始R平方值，则原预测模型不变；若小于初始R平方值且两者差值在0.02范围内，则为原始超参数组(v1,v2,...vn)中各参数设置取值区间，即vi参数的取值区间为[0.5vi,1.5vi]，之后从中随机取值生成G个超参数值组，与清洗后的测点数据一同输入原预测模型，并比较计算出来的R平方值，包含原始超参数组的R平方值，选择其中值最大的超参数组来更新原预测模型参数；否则返回步骤(2)中重新匹配模型，若更新后的预测模型仍是原模型，则报出预测模型总库需要增加新预测模型的日志。
5.根据权利要求1中所述的一种基于模型自动匹配的大坝单测点阈值计算方法，其特征在于，所述步骤(5)中计算出测点阈值当日的异常级别的具体步骤如下：
将清洗后的测点数据输入预测模型，得到预测值，并根据3σ准则计算出测点阈值当日的异常级别，即当
Figure FDA0002794155960000031
时，测点发生异常，其中残差
Figure FDA0002794155960000032
xi是测值，
Figure FDA0002794155960000033
是平均值。
CN201910917819.7A 2019-09-26 2019-09-26 一种基于模型自动匹配的大坝单测点阈值计算方法 Active CN110728397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910917819.7A CN110728397B (zh) 2019-09-26 2019-09-26 一种基于模型自动匹配的大坝单测点阈值计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910917819.7A CN110728397B (zh) 2019-09-26 2019-09-26 一种基于模型自动匹配的大坝单测点阈值计算方法

Publications (2)

Publication Number Publication Date
CN110728397A CN110728397A (zh) 2020-01-24
CN110728397B true CN110728397B (zh) 2021-03-02

Family

ID=69218361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910917819.7A Active CN110728397B (zh) 2019-09-26 2019-09-26 一种基于模型自动匹配的大坝单测点阈值计算方法

Country Status (1)

Country Link
CN (1) CN110728397B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802021B (zh) * 2021-04-09 2021-07-30 泰瑞数创科技(北京)有限公司 基于数字孪生技术的城市桥梁道路诊断方法及其系统
CN114418321A (zh) * 2021-12-24 2022-04-29 杭州鲁尔物联科技有限公司 一种基于物联网的水库大坝群实时预警可视化集成监控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092759A (zh) * 2017-05-05 2017-08-25 河海大学 基于重力坝坝基参数反演的坝体位移监测点优化布置方法
CN107480341A (zh) * 2017-07-21 2017-12-15 河海大学 一种基于深度学习的大坝安全综合评判方法
CN108363886A (zh) * 2018-03-08 2018-08-03 杭州鲁尔物联科技有限公司 基于深度学习的变形预测方法及系统
CN109255180A (zh) * 2018-09-07 2019-01-22 国网湖南省电力有限公司 一种大坝安全监测变形极值的相似工况比对分析法
CN110188399A (zh) * 2019-05-07 2019-08-30 河海大学 一种基于多相关序列的大坝安全监测单测点评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092759A (zh) * 2017-05-05 2017-08-25 河海大学 基于重力坝坝基参数反演的坝体位移监测点优化布置方法
CN107480341A (zh) * 2017-07-21 2017-12-15 河海大学 一种基于深度学习的大坝安全综合评判方法
CN108363886A (zh) * 2018-03-08 2018-08-03 杭州鲁尔物联科技有限公司 基于深度学习的变形预测方法及系统
CN109255180A (zh) * 2018-09-07 2019-01-22 国网湖南省电力有限公司 一种大坝安全监测变形极值的相似工况比对分析法
CN110188399A (zh) * 2019-05-07 2019-08-30 河海大学 一种基于多相关序列的大坝安全监测单测点评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Event Fusion and Decision Approach Based on Node Reliability in Dam Safety Monitoring;Yingchi Mao 等;《2019 IEEE Fifth International Conference on Big Data Computing Service and Applications (BigDataService)》;20190409;全文 *
小湾水电站工程安全分析与决策支持系统研究与构建;易魁 等;《水利发电》;20170331;第43卷(第3期);全文 *
澜沧江流域水电站大坝智慧管理实践与展望;马洪琪 等;《中国水利》;20181030(第20期);全文 *
面向大坝变形监测的时空一体化预测算法;毛莺池 等;《计算机科学》;20190228;第46卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110728397A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Su et al. Time-varying identification model for dam behavior considering structural reinforcement
CN110738360A (zh) 一种设备剩余寿命预测方法及系统
CN110728397B (zh) 一种基于模型自动匹配的大坝单测点阈值计算方法
CN112926273A (zh) 一种多元退化设备剩余寿命预测方法
CN104200265A (zh) 一种改进的基于神经网络的桥梁损伤识别方法
CN111651708B (zh) 一种大坝安全监测数据异常识别的预警阈值设置方法
CN106504122A (zh) 一种基于邻域保持嵌入算法的环网柜的故障监测方法及系统
CN109858112B (zh) 基于结构应力监测结果的数值反演分析方法
Su et al. Dam structural behavior identification and prediction by using variable dimension fractal model and iterated function system
CN110851897B (zh) 一种多因素关联下的渡槽应力应变预测方法
CN118095813B (zh) 基于bim技术的地基沉降的可视化监测方法及系统
CN115114822A (zh) 基于数字孪生的水下节流阀剩余使用寿命估计方法及系统
CN117029968A (zh) 一种流量数据的诊断方法、系统、存储介质和电子设备
CN104048843A (zh) 基于gps位移监测的大跨桥梁钢箱梁损伤预警方法
CN112883478B (zh) 钢结构位移预测方法、装置、终端设备和系统
Lai et al. Neural modal ordinary differential equations: Integrating physics-based modeling with neural ordinary differential equations for modeling high-dimensional monitored structures
CN117421701B (zh) 一种自升式平台桩腿三维空间姿态分布式监测方法
CN111047476A (zh) 基于rbf神经网络的大坝结构安全监控精确预测方法及系统
CN110705152B (zh) 用于建筑机电管线抗震性能监测的加速度传感器布置方法
CN102288431A (zh) 支座角位移时基于应变监测的索系统的健康监测方法
CN102323076A (zh) 基于应变监测识别受损索松弛索支座广义位移的递进方法
Najar et al. Comparative Machine Learning Study for Estimating Peak Cladding Temperature in AP1000 Under LOFW
Chen et al. Application of BP artificial neural network in structure damage identification
CN102323097A (zh) 基于索力监测识别受损索支座广义位移的递进式方法
CN110705186A (zh) 通过rbf粒子群优化算法即时在线仪表校验和诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant