CN105930870A - 一种工程安全监测数据离群值检测方法 - Google Patents

一种工程安全监测数据离群值检测方法 Download PDF

Info

Publication number
CN105930870A
CN105930870A CN201610264999.XA CN201610264999A CN105930870A CN 105930870 A CN105930870 A CN 105930870A CN 201610264999 A CN201610264999 A CN 201610264999A CN 105930870 A CN105930870 A CN 105930870A
Authority
CN
China
Prior art keywords
outlier
data
avg
value
measured value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610264999.XA
Other languages
English (en)
Inventor
张宗亮
汪国斌
赵志勇
张礼兵
许后磊
胡灵芝
杨硕文
张帅
赵世明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Kunming Engineering Corp Ltd
Original Assignee
PowerChina Kunming Engineering Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Kunming Engineering Corp Ltd filed Critical PowerChina Kunming Engineering Corp Ltd
Priority to CN201610264999.XA priority Critical patent/CN105930870A/zh
Publication of CN105930870A publication Critical patent/CN105930870A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Abstract

本发明涉及一种安全监测数据离群值检测方法，属于水电工程安全监测技术领域。本发明的方法是对于某一测点数据，将其按时间顺序排列。根据工程经验设置其合理最大允许偏差P。对于该测点的一次测值，选取其前面N次测值并计算得到平均值AVGx。若该值超出区间[AVGx‑|P|，AVGx+|P|]，则为离群值。本方法的主要优点是简单，便于计算机编程实现；同时能充分使用资料分析人员的工程经验来进一步避免离群值判别过程中的误判发生。

Description

一种工程安全监测数据离群值检测方法
技术领域
本发明属于水电工程安全监测技术领域，具体涉及一种安全监测数据离群值检测方法。
背景技术
近年来，随着安全监测工作在水电工程中越来越受重视，监测数据量越来越大。如何快速准确的做好数据可靠性分析，识别出离群值是资料分析中的一个重点。
离群值是指在数据中有一个或几个数值与其他数值相比差异较大。离群值可能是错误数据，也可能是被测物体状态发生改变后产生的关键数据。
目前，安全监测资料离群值判别有多种方法，比如：莱因达（PauTa）准则、格拉布斯（Grubbs）准则、肖维纳（Chauvenet）准则……，但尚无一种方法能避免误判。在现实的资料分析工作中，一方面现有的各种方法均居于数理统计，在离群值判别过程中均有自己的局限，误判较为频繁；另一方面现有方法均未充分结合安全监测工作实际，未充分利用资料分析人员的专业背景和经验。因此如何克服现有技术的不足是目前水电工程安全监测技术领域亟需解决的问题。
发明内容
本发明的目的是为了解决现有技术的不足，为有一定工程经验的安全监测资料分析人员提供一种快速的、可以充分利用自己专业背景和经验的工程安全监测数据离群值判别方法，进一步减少离群值判别过程中的误判。
本发明的原理为：正常情况下，同一测点相近几次测值在一定幅度内跳动。超过该跳动幅度数据，就是分析人员需要高度关注的离群数据。
本发明的技术方案为：
一种工程安全监测数据离群值检测方法，按以下步骤进行：
步骤（1），对于工程安全监测中的某一测点，将其所测得的值（即监测数据）按时间排列为X1、X2……Xx……Xn，并设置其合理最大允许偏差P；
步骤（2），对于该测点的某一次测值Xx，N<x≤n，获取该测值Xx的前面的N个测值，即Xx-N，Xx-N+1，Xx-N+2，……Xx-1，然后计算这N个测值的平均值AVGx；
步骤（3），将区间[AVGx-|P|，AVGx+|P|]作为Xx是否为离群值的评判标准；即当Xx超出了区间[AVGx-|P|，AVGx+|P|]时，Xx为离群值；当Xx未超出区间[AVGx-|P|，AVGx+|P|]时，Xx不为离群值；
监测数据从来源上分为人工测读和自动化测读两种。处理人工测读数据时，N为3～10；处理自动化测读数据时，N为5～30；既有人工测读又有自动化测读数据时，N为5～10。
进一步，优选的是工程安全监测数据为对应力应变、位移、温度、开合度或渗透压力的监测数据，但不限于此。
合理最大允许偏差P可根据资料分析人员自己的专业知识、经验、数据测读方式和仪器测量误差来设置，也可根据文献或检测标准中所记载的误差来设置。
本发明与现有技术相比，其有益效果为：
本发明可以抛开复杂的统计学计算，计算量小，原理简单，便于理解，便于通过计算机编程来实现同时运算效率较高。此外，对于有工程背景的人来说，结合自己的工程经验和监测仪器的测量精度，设置合理最大允许偏差P和常数N，能进一步避免离群值判别过程中的误判发生。
在使用C#开发的检测工具中，使用本方法判别远程数据库中1262个测点的197万条数据仅需要35秒，误判90个点，准确率为93%；而采用莱茵达准则在相同的情下判别相同的数据则需要75秒，误判342，准确率为73%（基准值和变幅较小测点数据容易产生误判）。使用本方法的性能达到了莱茵达法则的214.28%，同时准确率高了20%。
附图说明
图1是本发明工程安全监测数据离群值检测方法的流程图。
图2是本发明实施例测缝计A16-LFG-01开合度-时间曲线，其中实心的开合度为离群值。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。
实施例1
如图1所示，一种工程安全监测数据离群值检测方法，按以下步骤进行：
步骤（1），对于工程安全监测中的某一测点，将其所测得的值按时间排列为X1、X2……Xx……Xn，并设置其合理最大允许偏差P；
步骤（2），对于该测点的某一次测值Xx，N<x≤n，获取该测值Xx的前面的N个测值，即Xx-N，Xx-N+1，Xx-N+2，……Xx-1，然后计算这N个测值的平均值AVGx，；
步骤（3），将区间[AVGx-|P|，AVGx+|P|]作为Xx是否为离群值的评判标准；即当Xx超出了区间[AVGx-|P|，AVGx+|P|]时，Xx为离群值；当Xx未超出区间[AVGx-|P|，AVGx+|P|]时，Xx不为离群值；
本发明实施例所述的测点为某大坝的开合度观测，测量方法为采用测缝计A16-LFJ-01测得开合度，其数据见表1和图2。
在表1中，使用本方法时：根据工程经验，设置合理最大允许偏差P=1mm，设置N=15。计算得AVGx-|P|和AVGx+|P|后判断开合度是否在该区间内，从而分析出离群值。由于被判别为‘离群值’的数据虽然满足条件大于AVGx-|P|，但未能满足小于AVGx+|P|这一条件。故为离群值。
在表1中，当采用莱因达准则进行评判时：计算得全系列数据的平均值μ=0.810，根据公式计算得标准差σ=0.126。对于任何一个测点XX，根据|XX-μ|>3σ来判定是否为离群值。
表1 测缝计A16-LFJ-01数据及离群值判别
以上两种方法检索成果相同，同时在图2中也可明显看出检索到的数据即为离群值，故本方法检索准确。由于本方法只需计算前N个测值的平均值AVGx，再根据合理最大允许偏差P，就可根据测值是否位于区间[AVGx-|P|，AVGx+|P|]就可判定是否为离群值。而莱茵达法则则需要计算全系列平均值和标准差，再针对每一个成果根据|XX-μ|>3σ来判断是否为离群值。本方法较莱茵达法则简单。格拉布斯（Grubbs）准则、肖维纳（Chauvenet）准则需要根据情况查表得到相应的参数，再进行判别，不利于计算机开发中使用。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种工程安全监测数据离群值检测方法，其特征在于，按以下步骤进行：
步骤（1），对于工程安全监测中的某一测点，将其所测得的值按时间排列为X1、X2……Xx……Xn，并设置其合理最大允许偏差P；
步骤（2），对于该测点的某一次测值Xx，N<x≤n，获取该测值Xx的前面的N个测值，即Xx-N，Xx-N+1，Xx-N+2，……Xx-1，然后计算这N个测值的平均值AVGx，；
步骤（3），将区间[AVGx-|P|，AVGx+|P|]作为Xx是否为离群值的评判标准；即当Xx超出了区间[AVGx-|P|，AVGx+|P|]时，Xx为离群值；当Xx未超出区间[AVGx-|P|，AVGx+|P|]时，Xx不为离群值；
其中，当步骤（1）所测得的值为人工测读的数据时，N为3～10；当步骤（1）所测得的值为自动化测读的数据时，N为5～30；当步骤（1）所测得的值既有人工测读的数据，又有自动化测读的数据时，N为5～10。
2.根据权利要求1所述的工程安全监测数据离群值检测方法，其特征在于：工程安全监测数据为对应力应变、位移、温度、开合度或渗透压力的监测数据。
CN201610264999.XA 2016-04-26 2016-04-26 一种工程安全监测数据离群值检测方法 Pending CN105930870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610264999.XA CN105930870A (zh) 2016-04-26 2016-04-26 一种工程安全监测数据离群值检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610264999.XA CN105930870A (zh) 2016-04-26 2016-04-26 一种工程安全监测数据离群值检测方法

Publications (1)

Publication Number Publication Date
CN105930870A true CN105930870A (zh) 2016-09-07

Family

ID=56836347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610264999.XA Pending CN105930870A (zh) 2016-04-26 2016-04-26 一种工程安全监测数据离群值检测方法

Country Status (1)

Country Link
CN (1) CN105930870A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570259A (zh) * 2016-11-03 2017-04-19 国网电力科学研究院 一种大坝位移数据的粗差剔除方法
CN108596210A (zh) * 2018-03-29 2018-09-28 上海交通大学 一种机械部件对接状态的智能识别系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198147A (zh) * 2013-04-19 2013-07-10 上海岩土工程勘察设计研究院有限公司 自动化监测异常数据的判别及处理方法
CN103310085A (zh) * 2012-03-13 2013-09-18 杭州核安科技有限公司 一种动态检验处理服从正态分布数据的方法
CN104715031A (zh) * 2015-03-12 2015-06-17 福建工程学院 一种海量数据近似聚集查询中的离群分治取样方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310085A (zh) * 2012-03-13 2013-09-18 杭州核安科技有限公司 一种动态检验处理服从正态分布数据的方法
CN103198147A (zh) * 2013-04-19 2013-07-10 上海岩土工程勘察设计研究院有限公司 自动化监测异常数据的判别及处理方法
CN104715031A (zh) * 2015-03-12 2015-06-17 福建工程学院 一种海量数据近似聚集查询中的离群分治取样方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570259A (zh) * 2016-11-03 2017-04-19 国网电力科学研究院 一种大坝位移数据的粗差剔除方法
CN106570259B (zh) * 2016-11-03 2019-08-23 国网电力科学研究院 一种大坝位移数据的粗差剔除方法
CN108596210A (zh) * 2018-03-29 2018-09-28 上海交通大学 一种机械部件对接状态的智能识别系统及方法
CN108596210B (zh) * 2018-03-29 2020-12-01 上海交通大学 一种机械部件对接状态的智能识别系统及方法

Similar Documents

Publication Publication Date Title
CN111508216B (zh) 一种大坝安全监测数据智能预警方法
CN104764869B (zh) 一种基于多维特征量的变压器气体故障诊断和报警方法
CN102789676B (zh) 一种基于报警证据融合的工业报警器设计方法
CN108319664A (zh) 一种大坝及工程安全监测数据粗差识别方法及系统
CN108806218A (zh) 一种可燃气体监测数据异常原因的判断方法及装置
CN116611712B (zh) 基于语义推断的电网工作票评估系统
CN105041631A (zh) 一种气体压缩机的驱动轴振动信号的检测方法和系统
KR100997009B1 (ko) 산업설비의 공정 여유도에 대한 동적 감시 및 적시 경보 방법
CN111126759A (zh) 一种基于异常事件故障关联度的电能表状态评估方法
CN107067100A (zh) 风电功率异常数据辨识方法及辨识装置
CN106872172A (zh) 航空发动机试验安全参数监视的实时判别方法及系统
JP2012018623A (ja) 異常データ分析システム
CN105930870A (zh) 一种工程安全监测数据离群值检测方法
CN107103425B (zh) 发电设备运行状态计算机智能量化评价系统
CN106644055B (zh) 一种旋转设备振动监测保护装置通道异常的检测方法
JP2014044510A (ja) 異常診断装置
CN114664063A (zh) 一种基于通用指标趋势分析的设备分级报警方法
CN109613372B (zh) 一种基于多元电网数据库的电网故障诊断方法
CN106855990B (zh) 核电机组仪表通道测量误差论证方法
US11244235B2 (en) Data analysis device and analysis method
CN117109805A (zh) 一种压力传感设备的异常压力检测与校正方法
US7366639B2 (en) Methods for establishing alerts and/or alert limits for monitoring mechanical devices
CN116773239A (zh) 一种智能燃气表控制器可靠性寿命预测方法
CN111562037A (zh) 一种温度表的故障检测方法及装置
CN107545355B (zh) 一种故障原因诊断方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907

RJ01 Rejection of invention patent application after publication