CN113569324A - 边坡形变监测异常数据分析与优化方法 - Google Patents

边坡形变监测异常数据分析与优化方法 Download PDF

Info

Publication number
CN113569324A
CN113569324A CN202110886188.4A CN202110886188A CN113569324A CN 113569324 A CN113569324 A CN 113569324A CN 202110886188 A CN202110886188 A CN 202110886188A CN 113569324 A CN113569324 A CN 113569324A
Authority
CN
China
Prior art keywords
data
slope
monitoring
value
abnormal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110886188.4A
Other languages
English (en)
Inventor
阎宗岭
黄河
谭玲
徐峰
温辉波
王立洪
罗溢
古瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Chongqing Communications Research and Design Institute Co Ltd
Original Assignee
China Merchants Chongqing Communications Research and Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Chongqing Communications Research and Design Institute Co Ltd filed Critical China Merchants Chongqing Communications Research and Design Institute Co Ltd
Priority to CN202110886188.4A priority Critical patent/CN113569324A/zh
Publication of CN113569324A publication Critical patent/CN113569324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种边坡形变监测异常数据分析与优化方法,包括以下步骤:S1、将边坡监测实测数据转换为多个包含时序的数组,绘制实测值时序图;S2、将任意一个数组输入到边坡监测数据预测模型中进行预测S3、绘制的预测值时序图;S4、根据实测值、预测值时序图,计算边坡监测实测数据与预测数据的差值,将差值大于阈值时所对应的边坡监测实测数据作为异常数据;S5、在数组中删除异常数据,将异常数据所处时序在预测值时序图上对应的边坡监测预测数据填充入数组中。本发明可以解决对边坡形变监测异常数据没有进行分析和优化,使用异常数据对后期的数据处理过程会产生干扰的技术问题。

Description

边坡形变监测异常数据分析与优化方法
技术领域
本发明涉及边坡形变监测技术领域,具体涉及一种边坡形变监测异常数据分析与优化方法。
背景技术
边坡监测数据的处理与优化,一直以来被提及较少,但随着边坡智能监测系统的逐渐规模化应用,得到的监测数据量越来越大,异常数据越来越多,影响越来越大。如果得不到完整可靠的优质数据,即使有完全准确的边坡预警模型,也不可能得到准确的预警结果,所以需要将对边坡监测数据中的异常数据进行识别分析,从而对边坡监测数据进行优化。
对于边坡监测异常数据来讲,具有序列相关性的特点。序列相关性体现出的异常状态,会因为经过物联网系统复杂业务交互从而在时间上和空间上会持续一段时间,使系统发生连续异常,反映在数据方面就是异常数据存在时间上的相关关系。目前,因为还没有一种结合边坡监测异常数据在时间上的相关关系,对边坡形变监测异常数据进行分析和优化的方法,所以使用异常数据对后期的数据处理过程会产生干扰。
发明内容
针对现有技术存在的不足,本发明提出一种边坡形变监测异常数据分析与优化方法,以解决现有技术中存在的对边坡形变监测异常数据没有进行分析和优化,使用异常数据对后期的数据处理过程会产生干扰的技术问题。
本发明采用的技术方案如下:
第一方面,提供了一种边坡形变监测异常数据分析与优化方法,包括以下步骤:
S1、将边坡监测实测数据转换为多个包含时序的数组,绘制边坡监测实测数据的实测值时序图;
S2、将任意一个数组输入到边坡监测数据预测模型中进行预测,得到边坡监测预测数据;所述边坡监测数据预测模型使用长短期记忆网络训练得到;
S3、根据边坡监测预测数据绘制的预测值时序图;
S4、根据实测值时序图和预测值时序图,计算边坡监测实测数据与边坡监测预测数据的差值,将差值与阈值进行比较,将差值大于阈值时所对应的边坡监测实测数据作为异常数据;
S5、在数组中删除异常数据,将异常数据所处时序在预测值时序图上对应的边坡监测预测数据填充入数组中;
S6、重复步骤S2到S5。
进一步的,边坡监测数据预测模型具体按以下步骤进行构建:
S21、根据实测值时序图,把多个数组分为训练集和测试集;
S22、指定预测变量和响应;
S23、使用训练集对长短期记忆网络进行训练,使用测试集对训练后的长短期记忆网络进行测试,得到边坡监测数据预测模型。
进一步的,训练集、测试集中的边坡监测实测数据具有零均值和单位方差。
进一步的,长短期记忆网络的超参数具体如下:
通道隐藏层数为8-12均匀分布,
隐含单元的数量为200个随机分布,
训练轮数为250,
初始学习率0.005,
激活函数为RELU或THAN。
进一步的,将边坡监测实测数据转换为多个包含时序的数组,具体如下:
以自然日作为单位,将接收到的json数据在java中转换成包含时序的数组。
进一步的,阈值为10%。
第二方面,提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现第一方面提供的边坡形变监测异常数据分析与优化方法。
第三方面,提供了一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时实现第一方面提供的边坡形变监测异常数据分析与优化方法。
第四方面,提供了一种边坡形变监测系统,包括监测传感器、通信设备、数据存储处理平台,数据存储处理平台使用第一方面提供的边坡形变监测异常数据分析与优化方法,对边坡形变监测数据进行处理。
由上述技术方案可知,本发明的有益技术效果如下:
使用基于长短期记忆网络的边坡监测数据预测模型提取时间序列深层非线性互相关关系,剔除边坡形变监测数据中的异常值,利用监测数据实测值中的隐藏信息来提高数据填充的准确率,获得结构完整的数据,避免数据异常值对后期的数据处理过程产生干扰。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例1的边坡形变监测异常数据分析与优化流程图;
图2为本发明实施例1的边坡形变监测数据预测模型建模流程图;
图3为本发明实施例1的实测值时序图和预测值时序图;
图4为本发明实施例1的实测值与预测值之差与阈值的比较示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
在本实施例中,采用LSTM网络(长短期记忆网络)对边坡形变监测异常数据进行分析与优化,如图1所示,步骤具体如下:
S1、将边坡监测实测数据转换为多个包含时序的数组,绘制边坡监测实测数据的实测值时序图
边坡监测的对象有多种类型,包括加速度、位移、温度、降雨量等,这些边坡监测实测数据都有各自对应的监测时间点。在本实施例中,将边坡监测实测数据转换为包含时序的数组;在具体的实施方式中,以现有技术中任意一种可实现方式,将接收到的json数据在java中转换成包含时序的数组。转换形成的数组有多个,在具体的实施方式中,以自然日作为单位,每一个自然日的边坡监测实测数据形成一个数组。
边坡监测实测数据转换形成的数组是一个一维数组,包含一个时序,其时间步对应于每30分钟的一个采样点,值对应于监测设备的监测值,比如:加速度、位移、温度。根据时序和监测值,可以绘制出边坡监测实测数据的实测值时序图,其横轴为时间点,纵轴为某一种类型的边坡监测数据实测值。
S2、将任意一个数组输入到边坡监测数据预测模型中进行预测,得到边坡监测预测数据
在具体的实施方式中,边坡监测数据预测模型按照以下步骤进行构建:
S21、根据实测值时序图,把多个数组分为训练集和测试集
在具体的实施方式中,将实测值时序图中在时间轴上分布的按时间先后顺序前90%的边坡监测数据定义为训练集,在时间轴上分布的按时间先后顺序后10%的边坡监测数据定义为测试集。通过实测值时序图进行训练集和测试集的划分,在调整训练集和测试集比例时更加便捷。
为了获得较好的拟合并防止训练发散,将训练集、测试集中的边坡监测实测数据标准化,使标准化后的边坡监测实测数据具有零均值和单位方差。
S22、指定预测变量和响应
要预测序列在将来时间步的值,可以把响应设为将值移位了一个时间步的训练序列。也就是说,在输入序列的每个时间步,LSTM网络都学习预测下一个时间步的值,预测变量是没有最终时间步的训练序列。
S23、使用训练集对LSTM网络进行训练,使用测试集对训练后的LSTM网络进行测试,得到边坡监测数据预测模型。
训练及测试的过程具体如下:
S23-1、定义LSTM网络架构
在具体的实施方式中,LSTM网络的输入为训练集中的边坡监测实测数据,长短期记忆网络的超参数具体如下:
通道隐藏层数为8-12均匀分布,
隐含单元的数量为200个随机分布,
训练轮数为250,
初始学习率0.005,
激活函数为RELU或THAN。
在125轮训练后通过乘以因子0.2来降低学习率,以防止梯度爆炸。
S23-2、使用训练集对LSTM网络进行训练,使用测试集对训练后的LSTM网络进行测试,得到边坡监测数据预测模型。
在具体的实施方式中,边坡监测数据预测模型预测边坡监测数据时,需要预测将来多个时间步的值。边坡监测数据预测模型一次预测一个时间步的值,并在每次预测时更新LSTM网络状态。对于每次预测,使用前一次预测的时间步的值作为LSTM网络的输入。
通过上述技术方案,使用边坡监测数据预测模型,可以根据前一个自然日的边坡监测实测数据,得到下一个自然日的边坡监测预测数据。
S3、根据边坡监测预测数据绘制的预测值时序图
根据步骤S2得到的边坡监测预测数据,绘制边坡监测预测数据的预测值时序图,其横轴为时间点,纵轴为某一种类型的边坡监测数据预测值。
S4、根据实测值时序图和预测值时序图,计算边坡监测实测数据与边坡监测预测数据的差值,将差值与阈值进行比较,将差值大于阈值时所对应的边坡监测实测数据作为异常数据。
实测值时序图和预测值时序图在横轴上有着共同的时序,将两者的坐标原点重叠,即可看出边坡监测数据的实测值、预测值是否一致;如图3所示,图3中,光滑的曲线表示实测值,带小圆点的曲线表示预测值。
在具体的实施方式中,通过设定阈值来提取异常数据,阈值可以是以百分比的形式表示,也可以是某一数值的形式表示;优选为百分比,阈值具体为10%。如图4所示,计算边坡监测预测数据与边坡监测数据的之差,当差值的绝对值小于或等于10%时,说明边坡监测数据(即边坡监测数据的实测值)属于正常的范围,不是异常数据。当差值的绝对值大于10%时,说明边坡监测数据超出了正常的范围,此时所对应的边坡监测实测数据属于异常数据。通过本实施例的上述步骤,可以分析出边坡形变监测实测数据中的异常数据。
S5、在数组中删除异常数据,将异常数据所处时序在预测值时序图上对应的边坡监测预测数据填充入数组中。
在数组中提取并删除异常数据。实测值时序图和预测值时序图在横轴上有着共同的时序,异常数据实测值时序图所处时序,该时序在预测值时序图上会对应有一边坡监测预测数据,将该边坡监测预测数据填充入数组中,进行边坡形变监测异常数据的优化。
S6、重复步骤S2到S5。
重复步骤S2到S5,遍历边坡监测实测数据,完成对边坡形变监测异常数据的分析和优化。
通过本实施例的技术方案,使用基于LSTM网络的边坡监测数据预测模型提取时间序列深层非线性互相关关系,剔除边坡形变监测数据中的异常值,利用监测数据实测值中的隐藏信息来提高数据填充的准确率,获得结构完整的数据,避免数据异常值对后期的数据处理过程产生干扰。
实施例2
提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现实施例1提供的边坡形变监测异常数据分析与优化方法。
实施例3
提供了一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时实现实施例1提供的边坡形变监测异常数据分析与优化方法。
实施例4
提供了一种边坡形变监测系统,包括监测传感器、通信设备、数据存储处理平台,数据存储处理平台使用实施例1提供的边坡形变监测异常数据分析与优化方法,对边坡形变监测数据进行处理。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种边坡形变监测异常数据分析与优化方法,其特征在于,包括以下步骤:
S1、将边坡监测实测数据转换为多个包含时序的数组,绘制边坡监测实测数据的实测值时序图;
S2、将任意一个数组输入到边坡监测数据预测模型中进行预测,得到边坡监测预测数据,所述边坡监测数据预测模型使用长短期记忆网络训练得到;
S3、根据边坡监测预测数据绘制的预测值时序图;
S4、根据实测值时序图和预测值时序图,计算边坡监测实测数据与边坡监测预测数据的差值,将差值与阈值进行比较,将差值大于阈值时所对应的边坡监测实测数据作为异常数据;
S5、在数组中删除异常数据,将异常数据所处时序在预测值时序图上对应的边坡监测预测数据填充入数组中;
S6、重复步骤S2到S5。
2.根据权利要求1所述的边坡形变监测异常数据分析与优化方法,其特征在于,所述边坡监测数据预测模型具体按以下步骤进行构建:
S21、根据实测值时序图,把多个数组分为训练集和测试集;
S22、指定预测变量和响应;
S23、使用训练集对长短期记忆网络进行训练,使用测试集对训练后的长短期记忆网络进行测试,得到边坡监测数据预测模型。
3.根据权利要求2所述的边坡形变监测异常数据分析与优化方法,其特征在于,训练集、测试集中的边坡监测实测数据具有零均值和单位方差。
4.根据权利要求2所述的边坡形变监测异常数据分析与优化方法,其特征在于,所述长短期记忆网络的超参数具体如下:
通道隐藏层数为8-12均匀分布,
隐含单元的数量为200个随机分布,
训练轮数为250,
初始学习率0.005,
激活函数为RELU或THAN。
5.根据权利要求1所述的边坡形变监测异常数据分析与优化方法,其特征在于,将边坡监测实测数据转换为多个包含时序的数组,具体如下:
以自然日作为单位,将接收到的json数据在java中转换成包含时序的数组。
6.根据权利要求1所述的边坡形变监测异常数据分析与优化方法,其特征在于,所述阈值为10%。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现权利要求1-6中任一所述的边坡形变监测异常数据分析与优化方法。
8.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6中任一所述的边坡形变监测异常数据分析与优化方法。
9.一种边坡形变监测系统,其特征在于,包括监测传感器、通信设备、数据存储处理平台,所述数据存储处理平台使用权利要求1-6中任一所述的边坡形变监测异常数据分析与优化方法,对边坡形变监测数据进行处理。
CN202110886188.4A 2021-08-03 2021-08-03 边坡形变监测异常数据分析与优化方法 Pending CN113569324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110886188.4A CN113569324A (zh) 2021-08-03 2021-08-03 边坡形变监测异常数据分析与优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110886188.4A CN113569324A (zh) 2021-08-03 2021-08-03 边坡形变监测异常数据分析与优化方法

Publications (1)

Publication Number Publication Date
CN113569324A true CN113569324A (zh) 2021-10-29

Family

ID=78170173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110886188.4A Pending CN113569324A (zh) 2021-08-03 2021-08-03 边坡形变监测异常数据分析与优化方法

Country Status (1)

Country Link
CN (1) CN113569324A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115217152A (zh) * 2022-07-29 2022-10-21 招商局重庆交通科研设计院有限公司 一种沉管隧道管节接头张合变形的预测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036075A (zh) * 2020-08-11 2020-12-04 中国环境监测总站 一种基于环境监测数据关联关系的异常数据判定方法
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036075A (zh) * 2020-08-11 2020-12-04 中国环境监测总站 一种基于环境监测数据关联关系的异常数据判定方法
CN113076975A (zh) * 2021-03-17 2021-07-06 长江水利委员会长江科学院 一种基于无监督学习的大坝安全监测数据异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张灵等: "基于长短期记忆网络的断面交通数据异常处理", 《交通科学与工程》, vol. 36, no. 3, pages 81 - 87 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115217152A (zh) * 2022-07-29 2022-10-21 招商局重庆交通科研设计院有限公司 一种沉管隧道管节接头张合变形的预测方法及装置

Similar Documents

Publication Publication Date Title
CN109934337B (zh) 一种基于集成lstm的航天器遥测数据异常的检测方法
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN111784061B (zh) 一种电网工程造价预测模型的训练方法、装置和设备
CN107944550A (zh) 一种基于探测式深度网络的时空大数据预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN115545334B (zh) 土地利用类型预测方法、装置、电子设备及存储介质
CN111310317B (zh) 基于大数据与插值预测的粮仓空时温度场预测方法及装置
CN110852415B (zh) 基于神经网络算法的植被指数预测方法、系统及设备
CN115389743A (zh) 一种变压器油中溶解气体含量区间预测方法、介质及系统
CN118484679A (zh) 一种高含水期的油田产量预测方法、系统及存储介质
CN117791856B (zh) 一种基于巡检机器人的电网故障预警方法及装置
CN113569324A (zh) 边坡形变监测异常数据分析与优化方法
CN115438897A (zh) 一种基于blstm神经网络的工业过程产品质量预测方法
CN111930728B (zh) 一种设备的特征参数和故障率的预测方法及系统
CN111754033B (zh) 一种基于循环神经网络的非平稳时序数据预测方法
CN117574835A (zh) Nand Falsh LLR分布的模拟方法、设备及存储介质
CN116544931A (zh) 基于集成片段变换和时间卷积网络的电力负荷分布预测方法
CN116703455A (zh) 基于时间序列的混合模型的医药数据销售预测方法及系统
CN114510469B (zh) 电力系统不良数据辨识方法、装置、设备及介质
CN115456168A (zh) 强化学习模型的训练方法、能耗确定方法和装置
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
CN112926774A (zh) 基于长短时记忆神经网络的地热产能预测方法及系统
CN118606657B (zh) 一种大坝变形量的预测方法、系统、设备及存储介质
CN117829822B (zh) 一种电力变压器故障预警方法及系统
CN117851953B (zh) 用水异常检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029