CN106909490B - 一种监测设备数据流评估和噪声消除方法 - Google Patents
一种监测设备数据流评估和噪声消除方法 Download PDFInfo
- Publication number
- CN106909490B CN106909490B CN201710111079.9A CN201710111079A CN106909490B CN 106909490 B CN106909490 B CN 106909490B CN 201710111079 A CN201710111079 A CN 201710111079A CN 106909490 B CN106909490 B CN 106909490B
- Authority
- CN
- China
- Prior art keywords
- point
- data
- correction value
- detection
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种监测设备数据流评估和噪声消除方法。该方法:首先,输入数据,根据关联分析方法,得到所要分析的参量之间的关联性;根据不同的数据流形式和类型,采用不同的应对措施;对于相关性较强的两个序列:若两个序列同时产生突变,根据关联规则的原理认为突变量并不是错误数据,不对检测点进行处理;若其中一个序列产生突变,则认为是错误数据,对检测点进行修正;对于与其他序列相关性不强的序列:将突变量或者分离的数据认为是错误数据,对检测点进行修正。本发明实现了对监测设备数据流评估和噪声消除,便于掌握监测设备的状态,及时采取应对措施。
Description
技术领域
本发明涉及一种监测设备数据流评估和噪声消除方法
背景技术
随着信息通信技术的不断进步,物联网、云计算等技术的飞速发展,生产生活的数字化、信息化的程度越来越高,全球的数据量大约每两年就要翻一番,不仅每天产生的数据量高速增长,数据结构也变得越来越复杂,包括各种非结构化的数据,传统的数据处理方式已经显得力不从心,“大数据时代”已经到来,成为了信息技术产业讨论的焦点。在这个背景下,流式数据的处理就显得越来越重要。数据流是一种实时的时间序列,其中的数据表达的是当前时间对象的状态,具有时效性,而随着时间的不断变化,数据的变化又具有高速型和非确定性,所以需要对数据流中到达的有限数据及时进行分析处理,预测数据流将来的变化和趋势,便于掌握对象的状态,及时采取措施。
发明内容
本发明的目的在于提供一种监测设备数据流评估和噪声消除方法,实现了对监测设备数据流评估和噪声消除,便于掌握监测设备的状态,及时采取应对措施。
为实现上述目的,本发明的技术方案是:一种监测设备数据流评估和噪声消除方法,包括如下步骤,
S1:输入数据,根据关联分析方法,得到所要分析的参量之间的关联性;根据不同的数据流形式和类型,采用不同的应对措施;
S2:相关性较强的两个序列:若两个序列同时产生突变,根据关联规则的原理认为突变量并不是错误数据,不对检测点进行处理;若其中一个序列产生突变,则认为是错误数据,对检测点进行修正;
S3:与其他序列相关性不强的序列:将突变量或者分离的数据认为是错误数据,对检测点进行修正。
在本发明一实施例中,步骤S2中的修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
在本发明一实施例中,步骤S3中的修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
在本发明一实施例中,步骤S1中采用的关联分析方法为DBSCAN聚类算法。
在本发明一实施例中,步骤S1中,在采用关联分析方法前,还需对输入数据进行缺失值检测,若检测到缺失值,则采用平均值代替。
相较于现有技术,本发明具有以下有益效果:本发明实现了对监测设备数据流评估和噪声消除,便于掌握监测设备的状态,及时采取应对措施。
附图说明
图1为本发明方法流程图。
图2为DBSCAN实例。
图3为本发明一实施例三相总有功和三相总电流清洗结果(强相关性)图。
图4为本发明一实施例三相总有功和三相总电流清洗结果(强相关性、有噪声)图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
如图1所示,本发明的一种监测设备数据流评估和噪声消除方法,包括如下步骤,
S1:输入数据,根据关联分析方法,得到所要分析的参量之间的关联性;根据不同的数据流形式和类型,采用不同的应对措施;
S2:相关性较强的两个序列:若两个序列同时产生突变,根据关联规则的原理认为突变量并不是错误数据,不对检测点进行处理;若其中一个序列产生突变,则认为是错误数据,对检测点进行修正;
S3:与其他序列相关性不强的序列:将突变量或者分离的数据认为是错误数据,对检测点进行修正。
步骤S2、S3中的修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
步骤S1中采用的关联分析方法为DBSCAN聚类算法。步骤S1中,在采用关联分析方法前,还需对输入数据进行缺失值检测,若检测到缺失值,则采用平均值代替。
以下为本发明的具体实施过程。
DBSCAN(Density-based Spatial Clustering of Application with Noise)算法是属于一种基于密度模式的空间数据聚类方法,最开始是由Ester Martin等人所提出一种算法。该算法可以将原先具有高密度的区域划分成不同的簇,并且可以针对具有“噪声的”空间数据中也能发现任意形状的聚类模式和相似簇群。DBSCAN算法的最为核心的思想是:对于每一种聚类中的每个分析对象,在给定的半径(常用Eps表示)的邻域(neighborhood)内数据对象个数必须要大于初始设定的给定值。即邻域密度必须要大于一定的阈值(常用MinPts表示)。DBSCAN算法通过检索相邻点,对所有的数据只用查询搜索一次就可以得到最后的结果,所以其运行速度很快。并且DBSCAN还有一个很大的有点在于它能够处理任意形状的聚类性质,并不受噪声的干扰,并且还能够根据阈值MinPts来去除含有的噪声。
下面给出DBSCAN算法所涉及到的定义:
定义1点的Eps-邻域:空间中任意一点p的Eps邻域是指以p为圆心,以Eps为半径的区域内所包含的点的集合。
定义2密度:空间中任意一点p的密度是以该点p为圆心,以Eps为半径的圆区域内包含点的数目。
定义3核心点和边界点:空间中某一点的密度如果大于某一给定阈值MinPts,则称该点为核心点。否则称该点为边界点。
定义4直接密度可达:点p从点q直接密度可达,若它们满足以下两个条件:p处于邻域中;q是核心点。
定义5密度可达:点p从点q密度可达,若(p1,p2,…,pn,其中p1=p,pn=q)且有pi从pi+1直接密度可达。
定义6密度连接:点p和电q是密度连接的,若对任意的o,是p和q都从o密度可达。
定义7聚类:数据库D的非空集合A是一个类,当且仅当A满足以下条件“
(1)对于p和q,若p∈A,且从p密度可达到q,则q∈A;
(2)对于p和q,若p∈A和q∈A,则p和q是密度连接的。
定义8噪声:数据库D中不属于任何类的点为噪声。
DBSCAN有别于其他的一些聚类算法,DBSCAN算法可以发现不满足聚类的一些异常点。如图2所示,在图2中表示的是以半径邻域Eps为输入的聚类方法得到的簇群。DBSCAN算法同时依赖于另一个参数最小数目Minpts,如果设置最小数目Minpts等于4时,簇群3和簇群5可以被认为是孤立的异常点。
DBSCAN算法可以归为聚类方法中的一个最具有代表性的算法。它能将要分析的类定义为密度相连的点的最大集合体,与此同时还具有很高的抗噪声能力。所以在对数据挖掘寻找孤立点的过程中常常会使用DBSCAN的算法。但是DBSCAN自身也有一定的局限性。首先DBSCAN依赖于输入的两个参数,即需要事先确定参数半径邻域Eps以及最小数目Minpts,对于不同参数的选取,会导致最终数据的聚类结果不同。其次在DBSCAN算法中,由于变量半径邻域Eps以及最小数目Minpts是设置为全局变量的,并且具有唯一性,所以当数据分布不均匀时聚类效果一般。但是由于是将DBSCAN算法应用在电力系统输变电设备监测数据中,考虑到其监测和采集到的数据特点,所以后一个存在的问题可以不需要考虑。
根据上述DBSCAN算法的优点,如图1所示,本发明的一种监测设备数据流评估和噪声消除方法,包括如下步骤,
S1:输入数据,根据关联分析方法,得到所要分析的参量之间的关联性;根据不同的数据流形式和类型,采用不同的应对措施;其中,采用的关联分析方法为DBSCAN聚类算法,另,在采用关联分析方法前,还需对输入数据进行缺失值检测,若检测到缺失值,则采用平均值代替。
S2:相关性较强的两个序列:若两个序列同时产生突变,根据关联规则的原理认为突变量并不是错误数据,不对检测点进行处理;若其中一个序列产生突变,则认为是错误数据,对检测点进行修正;
S3:与其他序列相关性不强的序列:将突变量或者分离的数据认为是错误数据,对检测点进行修正。
上述修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
以下为本发明的具体实施例。
以电网环境温度数据为例。其中原始数据总长为480,FCM分析中的序列数n=10,q=48。
如图3所示,第一个子图是输入原始数据,其中蓝色线表示的是三相电路总有功功率,绿色线表示的是三相电路的总电流。第二张子图是修正后的图像,其中黑色的表示三相电路的总电流,粉色的表示是三相电路总有功功率。蓝色圆圈标记的是通过DBSCAN算法得出的总有功功率的孤立点,对应的时间为t=28和t=84。红色圆圈标记的是总电流的孤立点,对应的时间为t=28和t=205。可以看出两者在第一个孤立点发生的位置是相同的。又因为总有功功率和总电流之间具有强相关性,所以对这一时间点的数据不做处理。而对于三相功率发生在t=84时刻的孤立点,三相电流并没有发生异常,所以可以认为这点为异常点,需要进行修正,通过数据清洗对该点的数据做以替换。同理,对已三相电流发生在t=205时刻的点同样需要被清洗和修正。两者修正后的图像如第二张子图所示,可以看出第一个点被保留了下来,供后续的进一部分分析和处理,而其余的点已经被处理。
如图4所示,第一个子图是输入原始数据,其中蓝色线表示的是三相电路总有功功率,绿色线表示的是三相电路的总电流。第二张子图是修正后的图像,其中黑色的表示三相电路的总电流,粉色的表示是三相电路总有功功率。其中对三相的总有功功率t=300附近叠加了一个噪声。通过DBSCAN算法发现这一部分存在大量的异常点,然后通过清洗算法进行了初步的清洗,降低了噪声的影响。但是还是存在一定的噪声干扰,需要后续进一步的处理和分析。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (3)
1.一种监测设备数据流评估和噪声消除方法,其特征在于:包括如下步骤,
S1:输入数据,根据关联分析方法,得到所要分析的参量之间的关联性;根据不同的数据流形式和类型,采用不同的应对措施;
S2:相关性较强的两个序列:若两个序列同时产生突变,根据关联规则的原理认为突变量并不是错误数据,不对检测点进行处理;若其中一个序列产生突变,则认为是错误数据,对检测点进行修正;
S3:与其他序列相关性不强的序列:将突变量或者分离的数据认为是错误数据,对检测点进行修正;
步骤S2中的修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
步骤S3中的修正方法为:当检测出检测点需要修正时,先将该点的数据值计为零,然后使用后向插值法和前向插值法计算出该点的修正值,具体的:设需要清洗的序列为X,序列中的一段数据为{xi-5,xi-4,xi-3,xi-2,xi-1,xi,xi+1,xi+2,xi+3,xi+4,xi+5},其中需要修正的检测点为xi;
(1)首先使用前向插值法求得该点的修正值:
(2)然后使用后向插值法求得该点的修正值:
2.根据权利要求1所述的一种监测设备数据流评估和噪声消除方法,其特征在于:步骤S1中采用的关联分析方法为DBSCAN聚类算法。
3.根据权利要求1所述的一种监测设备数据流评估和噪声消除方法,其特征在于:步骤S1中,在采用关联分析方法前,还需对输入数据进行缺失值检测,若检测到缺失值,则采用平均值代替。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710111079.9A CN106909490B (zh) | 2017-02-28 | 2017-02-28 | 一种监测设备数据流评估和噪声消除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710111079.9A CN106909490B (zh) | 2017-02-28 | 2017-02-28 | 一种监测设备数据流评估和噪声消除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106909490A CN106909490A (zh) | 2017-06-30 |
| CN106909490B true CN106909490B (zh) | 2020-05-05 |
Family
ID=59209189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710111079.9A Active CN106909490B (zh) | 2017-02-28 | 2017-02-28 | 一种监测设备数据流评估和噪声消除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909490B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083593B (zh) * | 2019-04-23 | 2023-02-10 | 中国大唐集团科学技术研究院有限公司华东电力试验研究院 | 电站运行参数清洗及修复方法、修复系统 |
| CN110188810A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 一种基于密度聚类的在线野值检测、识别与修正方法 |
| CN112699113B (zh) * | 2021-01-12 | 2022-08-05 | 上海交通大学 | 时序数据流驱动的工业制造流程运行监测系统 |
| CN119646405A (zh) * | 2024-12-12 | 2025-03-18 | 同济大学 | 一种工业时序数据异常双向修正方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488736A (zh) * | 2015-12-02 | 2016-04-13 | 国家电网公司 | 一种用于光伏电站数据采集系统的数据处理方法 |
| CN106295850A (zh) * | 2016-07-15 | 2017-01-04 | 广东电网有限责任公司电力科学研究院 | 一种基于历史量测的不良数据辨识方法及系统 |
-
2017
- 2017-02-28 CN CN201710111079.9A patent/CN106909490B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488736A (zh) * | 2015-12-02 | 2016-04-13 | 国家电网公司 | 一种用于光伏电站数据采集系统的数据处理方法 |
| CN106295850A (zh) * | 2016-07-15 | 2017-01-04 | 广东电网有限责任公司电力科学研究院 | 一种基于历史量测的不良数据辨识方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 多变量时间序列滑动窗口异常点的检测;戴慧等;《南京信息工程大学学报:自然科学版》;20141231;第06卷(第06期);第515-519页 * |
| 戴慧等.多变量时间序列滑动窗口异常点的检测.《南京信息工程大学学报:自然科学版》.2014,第06卷(第06期),第515-519页. * |
| 数据挖掘方法在短期负荷预测中的应用研究;王志勇;《中国博士学位论文全文数据库工程科技II辑》;20080415(第04期);摘要,第二章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106909490A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086720B (zh) | 一种人脸聚类方法、装置和存储介质 | |
| CN106685750B (zh) | 系统异常检测方法和装置 | |
| CN111177505A (zh) | 指标异常检测模型的训练方法、推荐的方法及装置 | |
| CN114153888B (zh) | 一种时间序列数据的异常值检测方法和装置 | |
| CN110995153A (zh) | 一种光伏电站的异常数据检测方法、装置及电子设备 | |
| CN112765219B (zh) | 一种跳过平稳区域的流数据异常检测方法 | |
| CN111143413A (zh) | 基于数据流概念漂移的异常检测方法 | |
| CN115175192A (zh) | 一种基于图神经网络的车联网入侵检测方法 | |
| CN104778237A (zh) | 一种基于关键用户的个性化推荐方法和系统 | |
| CN106909490A (zh) | 一种监测设备数据流评估和噪声消除方法 | |
| CN111179276A (zh) | 一种图像处理方法和装置 | |
| CN105335368B (zh) | 一种产品聚类方法及装置 | |
| CN106650228A (zh) | 改进k‑means算法的噪声数据去除方法及实施系统 | |
| CN112732682A (zh) | 时空轨迹数据的处理方法、装置及计算机存储介质 | |
| CN108596170B (zh) | 一种自适应非极大抑制的目标检测方法 | |
| Wang et al. | K-GetNID: Knowledge-guided graphs for early and transferable network intrusion detection | |
| CN116776155A (zh) | 一种基于联邦学习的模型训练方法、装置、设备和介质 | |
| CN114861858A (zh) | 一种路面异常数据检测方法、装置、设备及可读存储介质 | |
| CN110770753B (zh) | 高维数据实时分析的装置和方法 | |
| CN111669411A (zh) | 一种工控设备异常检测方法及系统 | |
| CN116485805A (zh) | 图像分割模型的获取方法、设备及存储介质 | |
| Janos et al. | On finding all reducts of consistent decision tables | |
| CN110176132A (zh) | 基于贝叶斯网络的逻辑报警根源分析方法及系统 | |
| CN106055674A (zh) | 一种分布式环境下基于度量空间的top‑k支配查询方法 | |
| CN106814608B (zh) | 基于后验概率分布的预测控制自适应滤波算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |









































