CN104462794A - 一种基于对比统计分析发现环境监测异常数据的算法 - Google Patents

一种基于对比统计分析发现环境监测异常数据的算法 Download PDF

Info

Publication number
CN104462794A
CN104462794A CN201410685957.4A CN201410685957A CN104462794A CN 104462794 A CN104462794 A CN 104462794A CN 201410685957 A CN201410685957 A CN 201410685957A CN 104462794 A CN104462794 A CN 104462794A
Authority
CN
China
Prior art keywords
data
environmental monitoring
abnormal
monitoring
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410685957.4A
Other languages
English (en)
Inventor
邹志强
王正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING JINSHUI YONGLI TECHNOLOGY Co Ltd
Original Assignee
BEIJING JINSHUI YONGLI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING JINSHUI YONGLI TECHNOLOGY Co Ltd filed Critical BEIJING JINSHUI YONGLI TECHNOLOGY Co Ltd
Priority to CN201410685957.4A priority Critical patent/CN104462794A/zh
Publication of CN104462794A publication Critical patent/CN104462794A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)

Abstract

本发明涉及一种基于对比统计分析发现环境监测异常数据的算法。该算法可以通过利用统计分析原理对环境监测数据的横向、纵向比较，发现环境监测数据的异常情况，从而对异常数据进行报警，达到对环境监测数据利用数学方法进行质量管理的目的。本发明的基本原理是环境数据是相关联的，因此某地点的监测数据应当与其周边地点的监测数据具有相关性而不应有异常的差异；且环境数据应具有一定的稳定性，在短期内的环境数据不应发生异常大的突变，因此某时点的环境监测数据与其临近时点的监测数据应该具有连续性。本发明的算法是基于此原理发现环境监测数据中的异常数据。

Description

一种基于对比统计分析发现环境监测异常数据的算法
所属技术领域
本发明涉及一种基于对比统计分析发现环境监测异常数据的算法。该算法可以利用统计分析原理对环境监测数据的横向、纵向比较，发现环境监测数据的异常情况，从而对异常数据进行报警，达到利用数学方法对环境监测数据进行质量管理的目的。 
背景技术
环境监测数据如空气监测数据、水质监测数据来源于环境监测网络的监测与通讯设备。在实际环境监测过程中，由于各种因素的影响，会在环境监测网络中产生一些异常数据，这些异常数据并不能够反应所监测地区的真实环境信息，如果这些数据进入环境监测数据库，将极大地影响环境监测数据的质量。在本发明之前，传统的方法是通过校准监测仪器或人工审核的方法来保证数据质量，但是校准仪器的方法并不能避免在网络通讯异常等情况下产生的异常数据，而人工审核的方法则无法应对目前海量的环境监测数据。其他有通过设置固定限值或者采用移动平均的方式发现异常数据的方法，但是那些方法无法全面考虑历史和周边数据，导致异常误报率较高或灵敏度较低。 
而本发明所描述的算法则可以对环境监测数据进行对比统计分析，从而发现海量数据中存在的异常数据，且算法综合参考历史数据和周边站点数据，能够保证异常数据发现的准确性。 
发明内容
本发明利用对比统计分析原理解决了难于从海量环境监测数据中快速发现异常数据的问题。本发明对环境监测数据进行横向、纵向的数据比较，综合考虑周边地区监测数据和历史数据，当发现某环境监测站点的数据与参考数据发生背离时则认为该数据为异常数据。 
本发明的基本原理是环境数据是相关联的，因此某地点的监测数据应当与其周边地点的监测数据具有相关性而不应有异常大的差异；且环境数据具有一定的稳定性，在极短时间内的环境数据不应发生异常大的突变，因此某时点的环境监测数据与其临近时点的监测数据应该具有连续性。本发明的算法是基于此原理发现监测数据的异常情况。 
本发明的算法描述如图1所示，通过软件开发实现该算法，则可以通过对当前监测数据与历史数据和周边站点监测数据的对比，判定该监测数据是否为异常数据。该算法通过历史数据，计算所对比监测站点相对于周边站点监测数据的标准差，并以标准差倍数设置异常数据判定阈值，当监测数据超出阈值时，可以判定为异常数据。与传统的设置固定阈值或采用移动平均法进行计算的方法对比，该算法所设定的阈值是根据历史数据相对周边站点监测数据的变化量动态计算而来，因此更具有准确性和可靠性。 
本发明的有益效果是：可以通过统计对比的分析方法，发现并排除环境监测数据中的数据异常，从而提高环境监测数据的数据质量。 
附图说明
下面结合附图对本发明进一步说明。 
图1基于对比统计分析发现环境监测异常数据的算法流程图 
具体实施方式
在图1中，描述了基于对比统计分析发现环境监测异常数据的算法流程。主要步骤包括： 
1、在参考时间段的每个时间点，获取在每个时间点当前监测站点监测数据(D1[t])及该站点周边其他监测站点的监测数据平均值(AVGDR[t]) 
2、求参考时间段的标准差：STDDR＝SQRT(∑SQR((D1[t]-AVGDR[t]))) 
3、确定报警倍数阈值n 
4、对于待分析时间点t0，设待分析监测站点监测数据为D1(t0)，该站点周边其他监测站点的监测数据平均值(AVGDR[t0]) 
5、异常数据的判定：如D1(t0)＞AVGDR[t0]+n*STDDR或D1(t0)＜AVGDR[t0]-n*STDDR，则判定该监测数据为异常数据，否则不判定为异常数据。 

Claims (2)

1.一种基于对比统计分析发现环境监测异常数据的算法，其特征是：本发明的基本原理是环境数据是相关联的，因此某地点的监测数据应当与其周边地点的监测数据具有相关性而不应有异常的差异；且环境数据应具有一定的稳定性，在短期内的环境数据不应发生异常大的突变，因此某时点的环境监测数据与其临近时点的监测数据应该具有连续性。 
2.根据权利要求1所述的一种基于对比统计分析发现环境监测异常数据的算法，其算法步骤特征是： 
1)在参考时间段的每个时间点，获取在每个时间点当前监测站点监测数据(D1[t])及该站点周边其他监测站点的监测数据平均值(AVGDR[t]) 
2)求参考时间段的标准差：STDDR＝SQRT(∑SQR((D1[t]-AVGDR[t]))) 
3)确定报警倍数阈值n 
4)对于待分析时间点t0，设待分析监测站点监测数据为D1(t0)，该站点周边其他监测站点的监测数据平均值(AVGDR[t0]) 
5)异常数据的判定：如D1(t0)＞AVGDR[t0]+n*STDDR或D1(t0)＜AVGDR[t0]-n*STDDR，则判定该监测数据为异常数据，否则不判定为异常数据。 
CN201410685957.4A 2014-11-26 2014-11-26 一种基于对比统计分析发现环境监测异常数据的算法 Pending CN104462794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410685957.4A CN104462794A (zh) 2014-11-26 2014-11-26 一种基于对比统计分析发现环境监测异常数据的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410685957.4A CN104462794A (zh) 2014-11-26 2014-11-26 一种基于对比统计分析发现环境监测异常数据的算法

Publications (1)

Publication Number Publication Date
CN104462794A true CN104462794A (zh) 2015-03-25

Family

ID=52908823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410685957.4A Pending CN104462794A (zh) 2014-11-26 2014-11-26 一种基于对比统计分析发现环境监测异常数据的算法

Country Status (1)

Country Link
CN (1) CN104462794A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279386A (zh) * 2015-11-16 2016-01-27 拉扎斯网络科技（上海）有限公司 一种指标异常数据确定的方法及装置
CN106227640A (zh) * 2016-07-27 2016-12-14 北京市环境保护监测中心 一种基于自动监测仪器的异常数据检测方法及系统
CN106570073A (zh) * 2016-10-14 2017-04-19 周磊 地表水水质数据粗误差筛查方法及装置
CN107368678A (zh) * 2017-07-13 2017-11-21 珠海高凌信息科技股份有限公司 离群判断方法及装置
CN109063993A (zh) * 2018-07-23 2018-12-21 上海市环境监测中心 一种大气环境VOCs在线监测数据质量自动判别的方法
CN109241353A (zh) * 2018-09-12 2019-01-18 北京英视睿达科技有限公司 一种数据审核方法
CN109302444A (zh) * 2018-08-06 2019-02-01 佛山科学技术学院 一种基于区块链的无人机信息采集方法及系统
CN109798935A (zh) * 2019-01-29 2019-05-24 上海无线通信研究中心 一种用于幕墙的多源传感器协同监测预警方法及系统
CN110595535A (zh) * 2019-08-19 2019-12-20 湖南强智科技发展有限公司 监测方法、装置和存储介质
CN111650346A (zh) * 2020-07-14 2020-09-11 中科三清科技有限公司 大气污染监测数据的自动审核方法、装置及电子设备
CN111896039A (zh) * 2020-07-24 2020-11-06 中国水利水电科学研究院 一种便携式安全监测数据采集和诊断系统
CN112101969A (zh) * 2020-09-27 2020-12-18 西安交通大学 一种基于时序滑动窗口离散系数的环保数据造假检测方法
CN116186017A (zh) * 2023-04-25 2023-05-30 蓝色火焰科技成都有限公司 一种大数据协同监管方法及平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198147A (zh) * 2013-04-19 2013-07-10 上海岩土工程勘察设计研究院有限公司 自动化监测异常数据的判别及处理方法
CN103729444A (zh) * 2013-12-30 2014-04-16 清华大学 一种基于设备监测数据间潜在关系的异常数据检测方法
US20140258791A1 (en) * 2013-03-08 2014-09-11 Vmware, Inc. Monitoring method and subsystem that detects abnormal system states

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140258791A1 (en) * 2013-03-08 2014-09-11 Vmware, Inc. Monitoring method and subsystem that detects abnormal system states
CN103198147A (zh) * 2013-04-19 2013-07-10 上海岩土工程勘察设计研究院有限公司 自动化监测异常数据的判别及处理方法
CN103729444A (zh) * 2013-12-30 2014-04-16 清华大学 一种基于设备监测数据间潜在关系的异常数据检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王重阳: ""无线传感器网络中基于多属性的异常检测技术的研究"", 《万方》 *
郑琳: ""海洋监测数据质量评估研究"", 《海洋通报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279386A (zh) * 2015-11-16 2016-01-27 拉扎斯网络科技（上海）有限公司 一种指标异常数据确定的方法及装置
CN105279386B (zh) * 2015-11-16 2019-08-16 拉扎斯网络科技（上海）有限公司 一种指标异常数据确定的方法及装置
CN106227640A (zh) * 2016-07-27 2016-12-14 北京市环境保护监测中心 一种基于自动监测仪器的异常数据检测方法及系统
CN106227640B (zh) * 2016-07-27 2019-03-19 北京市环境保护监测中心 一种基于自动监测仪器的异常数据检测方法及系统
CN106570073A (zh) * 2016-10-14 2017-04-19 周磊 地表水水质数据粗误差筛查方法及装置
CN106570073B (zh) * 2016-10-14 2019-11-15 北京建筑大学 地表水水质数据粗误差筛查方法及装置
CN107368678A (zh) * 2017-07-13 2017-11-21 珠海高凌信息科技股份有限公司 离群判断方法及装置
CN109063993A (zh) * 2018-07-23 2018-12-21 上海市环境监测中心 一种大气环境VOCs在线监测数据质量自动判别的方法
CN109302444A (zh) * 2018-08-06 2019-02-01 佛山科学技术学院 一种基于区块链的无人机信息采集方法及系统
CN109241353B (zh) * 2018-09-12 2023-10-31 北京英视睿达科技股份有限公司 一种数据审核方法
CN109241353A (zh) * 2018-09-12 2019-01-18 北京英视睿达科技有限公司 一种数据审核方法
CN109798935A (zh) * 2019-01-29 2019-05-24 上海无线通信研究中心 一种用于幕墙的多源传感器协同监测预警方法及系统
CN110595535A (zh) * 2019-08-19 2019-12-20 湖南强智科技发展有限公司 监测方法、装置和存储介质
CN111650346A (zh) * 2020-07-14 2020-09-11 中科三清科技有限公司 大气污染监测数据的自动审核方法、装置及电子设备
CN111896039A (zh) * 2020-07-24 2020-11-06 中国水利水电科学研究院 一种便携式安全监测数据采集和诊断系统
CN111896039B (zh) * 2020-07-24 2021-10-15 中国水利水电科学研究院 一种便携式安全监测数据采集和诊断系统
CN112101969A (zh) * 2020-09-27 2020-12-18 西安交通大学 一种基于时序滑动窗口离散系数的环保数据造假检测方法
CN112101969B (zh) * 2020-09-27 2024-04-02 西安交通大学 一种基于时序滑动窗口离散系数的环保数据造假检测方法
CN116186017A (zh) * 2023-04-25 2023-05-30 蓝色火焰科技成都有限公司 一种大数据协同监管方法及平台

Similar Documents

Publication Publication Date Title
CN104462794A (zh) 一种基于对比统计分析发现环境监测异常数据的算法
CN109313104B (zh) 机器监测
KR101825023B1 (ko) 리스크 조기 경보 방법 및 장치
EP3270252B1 (en) Equipment control based on failure determination
US10654472B2 (en) Vehicle condition detection and warning system
CN112188531B (zh) 异常检测方法、装置、电子设备及计算机存储介质
AU2016286280A1 (en) Combined method for detecting anomalies in a water distribution system
Won et al. HybridBaro: Mining driving routes using barometer sensor of smartphone
WO2019125532A1 (en) Programmatic ally identifying a personality of an autonomous vehicle
KR102564191B1 (ko) 실시간으로 재난 상황을 감지하고 대응하는 재난 대응 시스템
CN113298162A (zh) 一种基于K-means算法的桥梁健康监测方法及系统
CN116105802A (zh) 一种基于物联网的地下设施安全监测预警方法
Ameddah et al. Cloud-assisted real-time road condition monitoring system for vehicles
CN117453962A (zh) 测量仪的数据存储方法及系统
CN117517596B (zh) 基于物联网的可燃及有毒有害气体实时监测方法及系统
CN117171366B (zh) 用于电网调度运行态势的知识图谱构建方法及系统
CN102509020A (zh) 基于传感器网络的复杂环境下多目标信息融合方法
CN109615879B (zh) 基于车联网的车速异常预警模型、方法及模型构建方法
CN112949735A (zh) 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法
CN110458713B (zh) 模型监控方法、装置、计算机设备及存储介质
US20200272137A1 (en) System, method, and computer-readable storage medium for automated manufacturing defect detection
CN110660217B (zh) 用于检测信息安全的方法及装置
EP3472742A1 (en) Machine monitoring
US20240142332A1 (en) System And Method For Detecting Pressure Loss Rate And Associated Events For Motor Vehicle Tires
CN111835830B (zh) 一种数据感知系统、方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150325