CN109766334A - 用于电力设备在线监测异常数据的处理方法及系统 - Google Patents

Abstract

本发明公开了一种用于电力设备在线监测异常数据的处理方法及系统，实施步骤包括针对原始数据集进行异常数据定位分析，选择基于DBSCAN聚类算法进行缺失值填充完成数据清洗或者基于关联规则的异常数据清洗方法完成数据清洗；计算预设的数据质量评估体系中的各项数据质量指标值，生成数据质量评价报告；将异常数据定位分析结果、数据质量评价报告展示输出。本发明能够实现对异常数据的精确有效清洗、清洗效果好，能够实现数据清洗前后数据质量的直观展示、对异常数据产生的比例及原因进行统计展示，有利于电网工作者采取相应措施改善数据的采集与上传过程，从源头上减少异常数据的产生，从而减小数据处理的工作量，提高工作效率与准确率。

Description

用于电力设备在线监测异常数据的处理方法及系统

技术领域

本发明涉及电力设备在线监测技术，具体涉及一种用于电力设备在线监测异常数据的处理方法及系统。

背景技术

为保证设备运行的可靠性和安全性，需要实时获取电力设备的健康状态。而实现状态监测的主要手段是利用在线监测装置不间断地测量反映设备运行状态的关键特征参量，如油中溶解气体，局部油温等数据。随着在线监测技术的不断发展，如何对数量庞大的电力设备多源异质数据进行有效处理，是电力企业需要面对的新问题。

然而，目前获取的实时数据存在着数据突变、部分数据缺失等数据异常突出问题，这些问题使得采集的到的数据质量较低，无法直接对原始数据进行进一步分析和使用。同时现阶段，电网工作人员缺乏对在线监测产生异常数据的原因的统计与了解，无法从源头上有效减少这些异常数据的产生。根据现有在线监测数据存在的突出问题，有必要制定一套高效、适用于在线监测数据的处理方案，有效地提高数据质量，为后续的电力设备故障诊断工作提供有力保障。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种用于电力设备在线监测异常数据的处理方法及系统，本发明能够实现对异常数据的精确有效清洗、清洗效果好，能够实现数据清洗前后数据质量的直观展示、对异常数据产生的比例及原因进行统计展示，有利于电网工作者采取相应措施改善数据的采集与上传过程，从源头上减少异常数据的产生，从而减小数据处理的工作量，提高工作效率与准确率。

为了解决上述技术问题，本发明采用的技术方案为：

一种用于电力设备在线监测异常数据的处理方法，实施步骤包括：

1)针对电力设备在线监测得到的原始数据集进行异常数据定位分析，根据异常数据定位分析结果选择清除异常数据再基于DBSCAN聚类算法进行缺失值填充完成数据清洗或者基于关联规则的异常数据清洗方法完成数据清洗；

2)计算预设的数据质量评估体系中的各项数据质量指标值，所述数据质量评估体系中包括至少一项数据质量指标；

3)根据各项数据质量指标值生成数据质量评价报告；

4)将异常数据定位分析结果、数据质量评价报告展示输出。

优选地，步骤1)的详细步骤包括：

1.1)基于原始数据集的指定数据和预设的阈值比较判断电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态，将电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态加入异常数据定位分析结果；

1.2)针对原始数据集利用阈值分析进行异常数据定位；

1.3)基于异常数据定位的数据获取异常数据统计信息，所述异常数据统计信息包括异常数据中增大、或减少、或缺失的规模及变化幅度，将异常数据统计信息加入异常数据定位分析结果；

1.4)基于异常数据统计信息获取最可能出现的异常数据原因，将异常数据原因及其对应的异常数据定位信息加入异常数据定位分析结果；

1.5)判断异常数据的变化幅度是否未超过预设阈值，如果未超过预设阈值则将异常数据清空，并使用基于DBSCAN聚类算法进行缺失值填充完成数据清洗；如果超过预设阈值，则使用基于关联规则的异常数据清洗方法完成数据清洗。

优选地，步骤1.2)中针对原始数据集利用阈值分析进行异常数据定位的详细步骤包括：针对原始数据集的每一种数据利用阈值分析函数进行遍历检测，所述阈值分析函数每检测到一个待判断数据时，将该待判断数据与同种数据中最近一个判定为正常数据之间的差值超过该正常数据的预设百分比的正负值，则判定该待判断数据为异常数据，否则判定该待判断数据为正常数据。

优选地，步骤1.4)中基于异常数据统计信息获取最可能出现的异常数据原因的详细步骤包括：将异常数据统计信息和预设的映射模型得到最可能出现的异常数据原因，所述预设的映射模型包括异常数据统计信息、异常数据原因之间的映射关系。

优选地，所述预设的映射模型为预设的映射数据库或者机器学习分类模型。

优选地，步骤2)中所述数据质量评估体系中的数据质量指标包括规范性和有效性。

优选地，所述规范性的计算函数表达式如式(1)所示；

式(1)中，S_acc为规范性的指标值，D_r为原始数据集的数据总数，D_q为异常数据的数量。

优选地，所述有效性的计算函数表达式如式(2)所示；

式(2)中，S_cons为有效性的指标值，C_r为原始数据集的记录总数，R_q为异常数据的数量，C_pd为数据表中数据项的总数，C_s为缺少的数据项的数量。

本发明还提供一种用于电力设备在线监测异常数据的处理系统，包括计算机设备，所述计算机设备被编程以执行本发明前述用于电力设备在线监测异常数据的处理方法的步骤；或者所述计算机设备的存储介质上存储有被编程以执行本发明前述用于电力设备在线监测异常数据的处理方法的计算机程序。

本发明还提供一种计算机可读的存储介质，所述存储介质上存储有被编程以执行本发明前述用于电力设备在线监测异常数据的处理方法的计算机程序。

和现有技术相比，本发明具有下述优点：

1、本发明包括判断异常数据的变化幅度是否未超过预设阈值，如果未超过预设阈值则将异常数据清空，并使用基于DBSCAN聚类算法进行缺失值填充完成数据清洗；如果超过预设阈值，则使用基于关联规则的异常数据清洗方法完成数据清洗。基于DBSCAN聚类算法的缺失值填充在原数据较为完整且异常数据较少的情况下效果较好，但实际中由于设备故障或通信故障等影响会出现大范围的数据异常，这种情况下，数据的聚类效果非常不好，清洗的结果也会产生较大误差。基于关联规则的异常数据清洗方法能够很好地弥补基于DBSCAN聚类算法的缺失值填充的不足，通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测，并将预测结果填充至异常数据所在位置，实现异常数据清洗，两种方法使得不同类型的异常数据得到了有效清洗。

2、本发明包括根据预设的数据质量评估体系对完成数据清洗的数据进行评价生成数据质量评价报告，通过数据质量评估体系的建立，有利于多源异质数据的分析、评估，以及数据清洗前后数据质量的直观展示。

3、对异常数据产生的比例及原因进行统计展示，有利于电网工作者采取相应措施改善数据的采集与上传过程，从源头上减少异常数据的产生，从而减小数据处理的工作量，提高工作效率与准确率。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例中的系统分层模块结构示意图。

图3为本发明实施例中系统分层模块的工作流程示意图。

具体实施方式

以下结合附图和较佳实施例，对依据本发明提出的用于电力设备在线监测异常数据的处理方法及洗头具体实施方式、特征及其功效，详细说明如下文所示。

如图1所示，本实施例用于电力设备在线监测异常数据的处理方法的实施步骤包括：

1)针对电力设备在线监测得到的原始数据集进行异常数据定位分析，根据异常数据定位分析结果选择清除异常数据再基于DBSCAN聚类算法进行缺失值填充完成数据清洗或者基于关联规则的异常数据清洗方法完成数据清洗；

2)计算预设的数据质量评估体系中的各项数据质量指标值，所述数据质量评估体系中包括至少一项数据质量指标；

3)根据各项数据质量指标值生成数据质量评价报告；

4)将异常数据定位分析结果、数据质量评价报告展示输出，从而为电力设备状态预测、状态评估做好准备。

基于DBSCAN聚类算法进行缺失值填充完成数据清洗的原理为：采用DBSCAN聚类算法(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)来对原始数据集进行聚类，得到的聚类结果可作为正常数据，然后根据需要使用正常数据填充清除异常数据导致的缺失值，从而实现对异常数据的数据清洗；基于关联规则的异常数据清洗方法完成数据清洗的原理为：首先利用灰色关联度计对在线监测数据进行关联度计算，将不同的在线监测参数作为参考序列，而其余参数作为比较序列，通过计算它们之间的关联度，与参考序列关联度较大的序列可以作为后续清洗模型的输入，然后利用基于BP神经网络的异常数据检测与清洗，预测在线监测数据的变化趋势从而达到异常数据检测和清洗的目的。需要说明的是，基于DBSCAN聚类算法进行缺失值填充完成数据清洗、基于关联规则的异常数据清洗方法完成数据清洗均为数据清洗领域的现有技术。本实施例仅仅涉及对上述方法的使用，并不涉及对上述方法的改进，而且上述方法的使用为本领域的公知常识，故在此不再赘述。

本实施例中，本实施例中步骤1)的详细步骤包括：

1.1)基于原始数据集的指定数据和预设的阈值比较判断电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态，将电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态加入异常数据定位分析结果；对于具体的电力设备而言，其电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态对应的参数对于本领域技术人员而言是确定的，因此针对不同的电力设备本领域技术人员可以根据需要选择对应的指定数据和预设的阈值比较判断电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态，例如根据电力设备对应通信设备的收发数据量判定电力设备对应通信设备的负载状态，根据电力设备对应通信设备的通断状态判断电力设备对应通信设备的是否正常工作等等。

1.2)针对原始数据集利用阈值分析进行异常数据定位；

1.3)基于异常数据定位的数据获取异常数据统计信息，所述异常数据统计信息包括异常数据中增大、或减少、或缺失的规模及变化幅度，将异常数据统计信息加入异常数据定位分析结果；

1.4)基于异常数据统计信息获取最可能出现的异常数据原因，将异常数据原因及其对应的异常数据定位信息加入异常数据定位分析结果；

1.5)判断异常数据的变化幅度是否未超过预设阈值，如果未超过预设阈值则将异常数据清空，并使用基于DBSCAN聚类算法进行缺失值填充完成数据清洗；如果超过预设阈值，则使用基于关联规则的异常数据清洗方法完成数据清洗。本实施例中，判断异常数据的变化幅度是否未超过预设阈值具体是指判断异常数据的变化幅度是否未超过10％，如果未超过10％则将异常数据清空，并使用基于DBSCAN聚类算法进行缺失值填充完成数据清洗；如果超过10％，则使用基于关联规则的异常数据清洗方法完成数据清洗。

本实施例中，步骤1.2)中针对原始数据集利用阈值分析进行异常数据定位的详细步骤包括：针对原始数据集的每一种数据利用阈值分析函数进行遍历检测，所述阈值分析函数每检测到一个待判断数据时，将该待判断数据与同种数据中最近一个判定为正常数据之间的差值超过该正常数据的预设百分比的正负值，则判定该待判断数据为异常数据，否则判定该待判断数据为正常数据。例如，阈值分析函数检测当第n个数据判定为正常时，第n+1个数据超过第n个数据的±限值，如设定限值±30％，则认为第n+1个数据异常，且在检测第n+2个数据时继续将第n+2个数据与第n个数据比较，即与位置最近的正常数据比较不超过限值则判定为正常数据。

本实施例中，步骤1.4)中基于异常数据统计信息获取最可能出现的异常数据原因的详细步骤包括：将异常数据统计信息和预设的映射模型得到最可能出现的异常数据原因，所述预设的映射模型包括异常数据统计信息、异常数据原因之间的映射关系。比如设备现场状态指示装置指示变压器某个部件故障，此时这种故障产生的异常数据在个数以及超过限值的程度，比如与正常数据相比，异常程度基本都在20％左右，在数据处理的时候也将异常数据特点统计起来，这种情况对应什么故障。同理对于其他部件的故障，也统计异常数据特点。当以后发生这样的情况，结合设备现场状态指示装置的信息、环境监测模块的信息、以及以往异常数据的特点，在数据分析层中进行异常数据的特点进行匹配，看与以前发生的哪种故障最相近，简称相似性匹配法。毫无疑问，预设的映射模型可以根据需要采用预设的映射数据库或者机器学习分类模型。

本实施例中，步骤2)中所述数据质量评估体系中的数据质量指标包括规范性和有效性。

规范性的计算函数表达式如式(1)所示；

式(1)中，S_acc为规范性的指标值，D_r为原始数据集的数据总数，D_q为异常数据的数量。

有效性的计算函数表达式如式(2)所示；

式(2)中，S_cons为有效性的指标值，C_r为原始数据集的记录总数，R_q为异常数据的数量，C_pd为数据表中数据项的总数，C_s为缺少的数据项的数量。

本实施例中，对所有在线监测数据清洗情况进行汇总，得到4个数据表内共含23个数据项，25878条记录，183552条数据，其中变压器气体压力数据表中的套管温度、绝对温度和密度这三项监测值以及断路器SF6气体压力数据表中的绝对温度在线监测值出现缺失，缺失数据数为11967个。清洗前共有23545条问题记录，144451个问题数据，其中重复记录12012条，重复数据132132个，异常记录11533条，异常数据12319个。清洗过后的记录为13866条，数据63035个，其中无重复数据，仍有异常数据11967个。

最终，步骤4)将异常数据定位分析结果、数据质量评价报告展示输出，从而为电力设备状态预测、状态评估做好准备，展示的具体信息包括数据评价指标的大小、含义、异常数据产生的原因等。

如图2和图3所示，本实施例中用于电力设备在线监测异常数据的处理系统的结构的逻辑分层结构包括状态监测层、数据层、数据处理层、数据分析层、数据展示层。

1、状态监测层对电力设备及通信设备的现场状态指示装置进行监测，将设备的状态信息传输给数据层，进而到数据处理层。状态监测层包括电力设备现场状态指示装置监测模块、通信设备现场状态指示装置监测模块、环境监测模块。

2、数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储。数据层包括数据传输通信模块、数据存储模块、数据管理模块。

3、数据处理层根据数据特点利用各种算法进行异常数据的清洗与数量统计，选择合适的评价指标并进行指标计算等操作。数据处理层包括数据质量任务管理模块、数据清洗模块、质量评估指标计算模块、数据检测与统计模块。数据检测与统计模块包括数据检测与统计定向模块、数据检测与统计非定向模块，数据检测与统计定向模块具有更高的处理速度和能耗。4、数据分析层对清洗前后的数据指标进行分析、评估。数据分析层包括数据质量分析模块、异常数据原因匹配模块。数据分析层根据状态监测层反馈的设备状态及环境参数，当发生电力设备或者通信设备处于故障、工作环境恶劣中的任意情况时，将信息反馈给数据检测与统计定向模块，数据检测与统计定向模块对在线检测数据进行快速定位；其余情况，只有数据检测与统计非定向模块进行工作。数据分析层根据数据处理层统计到的数据异常增大、减少或缺失的规模及幅度等特点，结合状态监测层监测到的设备此时的状态信息及工作环境信息，根据相似性匹配法匹配最可能出现异常数据的原因，数据展示层展示异常数据出现的各类原因数量及比例。例如，异常数据产生原因中，设备故障会造成某段区域及某些时间点的在线监测值异常增大或减少，这样匹配到的设备故障导致的异常数据的产生占到了43％；通信故障会导致某段区域的在线监测值缺失，通信故障的影响占到了24％。

5、数据展示层用于展示原始数据信息、评估的结果，原始数据情况包括上传的数据中异常数据个数、百分比等，评估的结果包括指标的大小及含义、评估进程、数据清洗前后指标的对比等信息。数据展示层包括数据质量信息、质量评估进度信息、异常数据及原因展示信息、质量评估分析报告信息。

如图3所示，当数据处理层处理的异常数据没有超过设置的范围，比如异常数据少于总数据10％，则属于小范围数据异常，数据处理层在对异常数据进行清洗时，使用基于DBSCAN聚类算法的缺失值填充，此时设备的现场状态指示装置一般处于正常工作状态，设备工作环境良好；当设备的现场状态指示装置表明电力设备故障或通信设备故障，或环境监测模块发现设备工作环境恶劣，此时数据处理层处理的异常数据超过设置的范围，比如异常数据超过总数据10％，则属于大范围数据异常，在这种情况下，数据的聚类效果非常不好，清洗的结果也会产生较大误差，使用基于关联规则的异常数据清洗方法，通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测，并将预测结果填充至异常数据所在位置，实现异常数据清洗。在数据质量评估流程中，当数据进入数据处理层后，数据检测与统计模块利用阈值分析函数进行异常数据的定位，根据异常数据的异常规模等特点，数据清洗模块利用基于DBSCAN聚类算法的缺失值填充，以及基于关联规则的异常数据清洗方法，对异常数据进行清洗；清洗完成后，数据质量任务管理模块将清洗后的数据信息存入质量评估指标计算模块中，模块中评价指标模型里面的各个算法依次计算各指标值。设置一个指标阀值以评估清洗效果，当评价指标不满足阈值要求时，调整数据评价指标模型中的参数进行二次计算，一般适当降低阈值。评估任务完成后，电网工作人员可以进入数据展示层，访问相应查询模块，查看评价结果信息。参见图3，本实施例中对每一个指标都设置一个阈值，对于有效性、规范性这两类指标，当清洗后的指标值大于阀值时，则说明清洗效果良好，当清洗后的指标值小于阀值时，则说明清洗没有达到预期效果。当所计算的指标值不满足评估指标阈值要求时，调整质量评估指标计算模块中参数，一般是适当降低有效性、规范性这两类指标的阈值。

本实施例还提供一种用于电力设备在线监测异常数据的处理系统，包括计算机设备，该计算机设备被编程以执行本实施例前述用于电力设备在线监测异常数据的处理方法的步骤；

本实施例还提供一种用于电力设备在线监测异常数据的处理系统，包括计算机设备，该计算机设备的存储介质上存储有被编程以执行本实施例前述用用于电力设备在线监测异常数据的处理方法的计算机程序。

本实施例还提供一种计算机可读的存储介质，该存储介质上存储有被编程以执行本实施例前述用用于电力设备在线监测异常数据的处理方法的计算机程序，该存储介质可以为固定的存储介质，也可以为便携式存储介质(例如U盘、移动硬盘、光盘等)。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于电力设备在线监测异常数据的处理方法，其特征在于实施步骤包括：

1)针对电力设备在线监测得到的原始数据集进行异常数据定位分析，根据异常数据定位分析结果选择清除异常数据再基于DBSCAN聚类算法进行缺失值填充完成数据清洗或者基于关联规则的异常数据清洗方法完成数据清洗；

2)计算预设的数据质量评估体系中的各项数据质量指标值，所述数据质量评估体系中包括至少一项数据质量指标；

3)根据各项数据质量指标值生成数据质量评价报告；

4)将异常数据定位分析结果、数据质量评价报告展示输出。

2.根据权利要求1所述的用于电力设备在线监测异常数据的处理方法，其特征在于，步骤1)的详细步骤包括：

1.1)基于原始数据集的指定数据和预设的阈值比较判断电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态，将电力设备的工作状态、电力设备对应通信设备状态以及工作环境状态加入异常数据定位分析结果；

1.2)针对原始数据集利用阈值分析进行异常数据定位；

1.3)基于异常数据定位的数据获取异常数据统计信息，所述异常数据统计信息包括异常数据中增大、或减少、或缺失的规模及变化幅度，将异常数据统计信息加入异常数据定位分析结果；

1.4)基于异常数据统计信息获取最可能出现的异常数据原因，将异常数据原因及其对应的异常数据定位信息加入异常数据定位分析结果；

1.5)判断异常数据的变化幅度是否未超过预设阈值，如果未超过预设阈值则将异常数据清空，并使用基于DBSCAN聚类算法进行缺失值填充完成数据清洗；如果超过预设阈值，则使用基于关联规则的异常数据清洗方法完成数据清洗。

3.根据权利要求2所述的用于电力设备在线监测异常数据的处理方法，其特征在于，步骤1.2)中针对原始数据集利用阈值分析进行异常数据定位的详细步骤包括：针对原始数据集的每一种数据利用阈值分析函数进行遍历检测，所述阈值分析函数每检测到一个待判断数据时，将该待判断数据与同种数据中最近一个判定为正常数据之间的差值超过该正常数据的预设百分比的正负值，则判定该待判断数据为异常数据，否则判定该待判断数据为正常数据。

4.根据权利要求2所述的用于电力设备在线监测异常数据的处理方法，其特征在于，步骤1.4)中基于异常数据统计信息获取最可能出现的异常数据原因的详细步骤包括：将异常数据统计信息和预设的映射模型得到最可能出现的异常数据原因，所述预设的映射模型包括异常数据统计信息、异常数据原因之间的映射关系。

5.根据权利要求4所述的用于电力设备在线监测异常数据的处理方法，其特征在于，所述预设的映射模型为预设的映射数据库或者机器学习分类模型。

6.根据权利要求1所述的用于电力设备在线监测异常数据的处理方法，其特征在于，步骤2)中所述数据质量评估体系中的数据质量指标包括规范性和有效性。

7.根据权利要求6所述的用于电力设备在线监测异常数据的处理方法，其特征在于，所述规范性的计算函数表达式如式(1)所示；

式(1)中，S_acc为规范性的指标值，D_r为原始数据集的数据总数，D_q为异常数据的数量。

8.根据权利要求6所述的用于电力设备在线监测异常数据的处理方法，其特征在于，所述有效性的计算函数表达式如式(2)所示；

式(2)中，S_cons为有效性的指标值，C_r为原始数据集的记录总数，R_q为异常数据的数量，C_pd为数据表中数据项的总数，C_s为缺少的数据项的数量。

9.一种用于电力设备在线监测异常数据的处理系统，包括计算机设备，其特征在于，所述计算机设备被编程以执行权利要求1～8中任意一项所述用于电力设备在线监测异常数据的处理方法的步骤；或者所述计算机设备的存储介质上存储有被编程以执行权利要求1～8中任意一项所述用于电力设备在线监测异常数据的处理方法的计算机程序。

10.一种计算机可读的存储介质，其特征在于：所述存储介质上存储有被编程以执行权利要求1～8中任意一项所述用于电力设备在线监测异常数据的处理方法的计算机程序。