CN109739841A - 一种针对于电力设备在线监测重复数据的整合系统及方法 - Google Patents

Abstract

本发明公开了一种针对于电力设备在线监测重复数据的整合系统及方法，具体为：分析电力设备在线监测数据质量需求，利用字段匹配法和记录匹配法对重复数据进行检测，并清洗；根据重复数据产生的时间及规模特点，分析出现重复数据的原因；制定数据质量评估指标，计算清洗前、后的数据的评估指标值，并生成数据质量评估报告；展示原始数据信息、评估的结果以及数据重复原因。本发明用于电力设备在线监测数据的整合，有利于在这些海量的在线监测数据中更快、更准确地挖掘有用的信息，为电力设备的状态评估、状态预测打好基础。

Description

一种针对于电力设备在线监测重复数据的整合系统及方法

技术领域

本发明涉及一种针对于电力设备在线监测重复数据的整合系统及方法，属于电力系统数据监控与分析技术领域。

背景技术

随着电力公司对输变电设备状态监测的广度和深度不断扩大，并逐步实现了设备的实时在线监测。同时状态监测向高采样率、连续稳态记录和大存储的趋势发展，逐渐形成了智能电网状态监测大数据。因此，如何对数量庞大的电力设备多源异质数据进行有效处理，是电力企业需要面对的新问题。然而，目前获取的实时数据存在着重复率较高，无法直接对原始数据进行进一步分析和使用。重复数据严重影响了数据的使用和信息的挖掘，因而亟待开展数据清洗工作。同时现阶段，电网工作人员缺乏对在线监测产生重复数据的原因的统计与了解，无法从源头上有效减少这些重复数据的产生。根据现有在线监测数据存在的突出问题，有必要制定一套高效、适用于在线监测重复数据的整合方案，有效地提高数据质量，为后续的电力设备故障诊断工作提供有力保障。

发明内容

本发明的目的在于提供一种针对于电力设备在线监测重复数据的整合系统及方法，用于电力设备在线监测数据的整合，有利于在这些海量的在线监测数据中更快、更准确地挖掘有用的信息，为电力设备的状态评估、状态预测打好基础。

为达到上述目的，本发明采用的技术方案如下：

一种针对于电力设备在线监测重复数据的整合系统，包括数据层，数据处理层，数据分析层和数据展示层；

所述数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；

所述数据处理层依次采用字段匹配法和记录匹配法对重复数据进行检测，所述数据处理层对检测到的重复数据进行清洗，所述数据处理层根据数据特点选择质量评估指标，并计算数据清洗前后的评估指标值；

所述数据分析层根据数据处理层统计到的重复数据产生的时间及规模特点，利用相似性匹配法匹配出重复数据的原因；

所述数据展示层展示原始数据信息和评估结果。

前述的数据层包括数据传输通信模块、数据存储模块和数据管理模块；所述数据传输通信模块用于在线监测装置数据的上传；所述数据管理模块用于将接收的数据按时间先后顺序进行分类，分成不同的窗口；所述数据存储模块用于分类存储数据。

前述的数据管理模块进行数据分类的方式为：在线监测装置的报送时间为n小时/次，则设置窗口长度为n小时，即将n小时内的数据集划为一类。

前述的数据处理层包括数据质量任务管理模块、数据清洗模块、质量评估指标计算模块和数据检测与统计模块；

所述数据检测与统计模块对进入数据处理层不同窗口内的数据进行重复数据检测，所述数据检测与统计模块先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度，如果两个数据的记录相似度超过了某一阈值，则认为这两个数据是重复的，进行标记；

所述数据清洗模块对检测到的重复数据进行清洗；

所述数据质量任务管理模块在重复数据的高发/低发时间段调用相应模块进行检测、清洗，将清洗后的数据信息存入质量评估指标计算模块中；所述质量评估指标计算模块计算数据清洗前后的评估指标值。

前述的数据检测与统计模块在对不同窗口内的数据进行重复性检测的同时，对以时间为顺序的n号窗口的最末数据与n+1号窗口的第一个数据进行重复性检测，并对重复数据所处位置进行标记。

前述的数据检测与统计模块包括数据检测与统计定向模块，和数据检测与统计非定向模块，在重复数据产生的高发时间段，由数据检测与统计定向模块对在线监测数据进行重复性检测与标记；在重复数据产生的低发时间段，由数据检测与统计非定向模块进行重复性检测与标记；所述高发时间段为数据传输的频率远大于传感器采样频率时，或者传感器发生故障时；所述低发时间段为数据传输的频率与传感器采样频率相差不大时，或者传感器正常工作时。

前述的数据清洗模块包括数据高速清洗模块与数据低速清洗模块；所述数据高速清洗模块对数据检测与统计定向模块标记的重复数据进行清洗，所述数据高速清洗模块设置一个相似度阈值，当检测到的重复数据大于相似度阈值时，则采用自动方式清洗；所述数据低速清洗模块对数据检测与统计非定向模块标记的重复数据进行清洗；所述数据低速清洗模块，采用半自动方式，设置两个相似度阈值，当检测到的重复数据大于最高相似度阈值时，采用机器自动合并，当检测到的重复数据位于两者之间时，采用人工方式进行手动合并，小于最低相似度阈值时，不进行数据清洗。

前述的数据展示层展示的数据包括数据质量信息、质量评估进度信息、重复数据及原因展示信息、和质量评估分析报告信息；所述数据质量信息包括上传的数据中重复数据个数、百分比；所述质量评估进度信息包括评估进程；所述重复数据及原因展示信息包括重复数据的各类原因数量及比例；所述质量评估分析报告信息包括数据评估指标的大小、含义、数据清洗前后评估指标的对比信息。

基于前述的整合系统对重复数据进行整合的方法，包括以下步骤：

1）数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；

2）对进入数据处理层的数据，先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度；如果两个数据的记录相似度超过了某一阈值，则这两个数据是重复的，进行标记；

3）对步骤2）标记的重复数据，如果是属于重复数据产生的高发时间段，则采用数据高速清洗模块对重复数据进行自动清洗，如果是属于重复数据产生的低发时间段，则采用数据低速清洗模块对重复数据进行半自动清洗；

4）数据分析层根据重复数据产生的时间及规模特点，采用相似性匹配法匹配出现重复数据的原因；

5）制定数据质量评估指标，计算清洗前、后的数据的评估指标值，对清洗前后的数据和评估指标进行分析，并生成数据质量评估报告；

6）展示原始数据信息、评估的结果以及原因展示信息。

本发明与现有技术相比，具有以下优点：

1.本发明用于电力设备在线监测数据的整合，有利于在这些海量的在线监测数据中更快、更准确地挖掘有用的信息，为电力设备的状态评估、状态预测打好基础。

2.本发明采用数据高速清洗模块对数据检测与统计定向模块标记的大量重复数据进行快速清洗，数据低速清洗模块对数据检测与统计非定向模块标记的重复数据进行清洗，这样的搭配使得数据清洗过程更加高效经济。

3. 本发明在重复数据检测过程中，对数据集进行分割，使数据集分成不同的窗口，再对窗口内的数据进行重复数据检测，即可大大降低重复数据的检测时间。

4、本发明对产生重复数据的比例及原因进行统计展示，有利于电网工作者采取相应措施改善数据的采集与上传过程，从源头上减少重复数据的产生，从而减小数据整合的工作量，提高工作效率与准确率。

附图说明

图1是本发明的针对于电力设备在线监测重复数据的整合方法流程图。

图2是本发明的数据质量评估体系结构示意图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种针对于电力设备在线监测重复数据的整合系统，如图2所示，包括数据层，数据处理层，数据分析层和数据展示层。

数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；数据处理层利用字段匹配法和记录匹配法对重复数据进行检测，利用半自动方式进行清洗并进行数量统计，根据数据特点选择合适的评价指标并进行指标计算；数据分析层对清洗前后的评价指标进行分析、评估；数据展示层用于展示原始数据信息、评估的结果，原始数据信息包括上传的数据中重复数据个数、百分比等，评估的结果包括数据评价指标的大小、含义及评估进程、数据清洗前后评价指标的对比等信息。

如图2所示，数据层包括数据传输通信模块、数据存储模块和数据管理模块；其中，数据传输通信模块用于在线监测装置数据的上传；数据管理模块用于将接收的数据按时间先后顺序进行分类，分成不同的窗口；数据存储模块用于分类存储数据。

数据管理模块进行数据分类的过程为：在进行数据检测时，输变电设备在线监测数据是以时间为顺序报送的，且重复数据一定为某时间区间内的临近数据，因此对数据集进行分割，使数据集分成不同的窗口，再对窗口内的数据进行重复数据检测。在线监测装置的报送时间为n小时/次，则设置窗口长度为n小时，也就是将n小时内的数据集划为一类。

数据处理层包括数据质量任务管理模块、数据清洗模块、质量评估指标计算模块和数据检测与统计模块。

数据检测与统计模块对进入数据处理层不同窗口内的数据进行重复数据的检测与标记。在线监测上传的数据一般有两个记录匹配的属性，每个属性由一些字段组成，在线监测数据的属性都包括数据的时间这一属性，对于不同的电力设备属性还有油温、油色谱数据、套管温度、绝对温度、密度、气体温度、绝对压力、气体压力等。在进行重复性检测时，先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度，如果两个数据的记录相似度超过了某一阈值，则认为这两个数据是匹配的即是重复的，否则就认为它们指向不同实体的记录。

数据检测与统计模块包括数据检测与统计定向模块与数据检测与统计非定向模块，数据检测与统计定向模块具有更高的处理速度和能耗；数据分析层分析历史重复数据产生的高发时间段及分布特点，将信息反馈给数据检测与统计模块，在重复数据产生的高发时间段，一般是数据传输的频率远大于传感器采样频率时，或者传感器发生故障时，由数据检测与统计定向模块对在线监测数据进行重复性检测与标记；在重复数据产生的低发时间段，一般是数据传输的频率与传感器采样频率相差不大时，或者传感器等正常工作时，由数据检测与统计非定向模块进行重复性检测与标记。

在数据层对在线监测数据进行了分类存储，在数据检测与统计模块分别对每一个分类内的数据进行重复数据检测。为了避免两个相邻分类刚好将两个重复数据划分到不同的分类，导致重复数据不能检测出来，在对各个分类内的数据进行重复性检测的同时，对以时间为顺序的n号分类的最末数据与n+1号分类的第一个数据进行重复性检测，并对重复数据所处位置进行标记。

数据清洗模块包括数据高速清洗模块与数据低速清洗模块，其中，数据高速清洗模块具有更高的处理速度和能耗，数据高速清洗模块对数据检测与统计定向模块标记的重复数据进行快速清洗，数据低速清洗模块对数据检测与统计非定向模块标记的重复数据进行清洗。对于数据高速清洗模块，采用一个比较适中的阈值比如0.8，当检测到的重复数据大于相似度阈值0.8时，则采用自动方式清洗。对于数据低速清洗模块，采用半自动方式，设置两个相似度阈值，比如0.7和0.9，当检测到的重复数据大于相似度阈值0.9时，采用机器自动合并，当检测到的重复数据位于0.7-0.9之间时，采用人工方式进行手动合并，小于最低阈值的则认为不属于重复数据不进行数据清洗。

数据质量任务管理模块在重复数据的高发/低发时间段调用相应模块进行检测、清洗，将清洗后的数据信息存入质量评估指标计算模块中。质量评估指标计算模块中依据不同的算法计算质量评估指标，质量评估指标一般包括完备性、冗余性、规范性和有效性四大类，对每个评估指标都设置一个评估指标阀值以评估清洗效果，如对于有效性、规范性这两类指标，当清洗后计算的评估指标值大于阀值时，则说明清洗效果良好，当清洗后计算的评估指标值小于阀值时，则说明清洗没有达到预期效果；对于冗余性指标，当清洗后计算的评估指标值小于阀值时，则说明清洗效果良好，当清洗后计算的评估指标值大于阀值时，则说明清洗没有达到预期效果。当所计算的指标值不满足评估指标阈值要求时，调整质量评估指标计算模块中的参数进行二次计算，一般是适当降低指标的阈值。评估任务完成后，电网工作人员可以进入数据展示层，访问相应查询模块，查看评估结果。评估报告的内容包括数据展示层用于展示原始数据信息、评估的结果，原始数据信息包括上传的数据中重复数据个数、百分比等，评估的结果包括数据评价指标的大小、含义及评估进程、数据清洗前后评价指标的对比等信息。

数据分析层包括数据质量分析模块和重复数据原因匹配模块；不同原因导致的重复数据在产生时间与重复数据个数上有一定规律，数据分析层根据数据处理层统计到的重复数据产生的时间及规模特点，利用相似性匹配法匹配最可能出现重复数据的原因。例如由于数据传输的频率远大于传感器采样频率导致的数据重复，这样的重复数据在重复个数和时间特点上会有规律，当检测到重复数据具有相同数据特点时就可以匹配最相关的数据重复原因。

数据展示层展示的数据包括数据质量信息、质量评估进度信息、重复数据及原因展示信息、质量评估分析报告信息。数据质量信息包括上传的数据中重复数据个数、百分比等；质量评估进度信息包括评估进程；重复数据及原因展示信息直接调用重复数据原因匹配和统计模块的计算结果，包括重复数据原因匹配和统计模块统计的各类原因数量及比例；质量评估分析报告信息调用的是数据处理层和数据分析层的结果，包括数据评估指标的大小、含义、数据清洗前后评估指标的对比等信息。

基于上述系统，本发明提供一种针对于电力设备在线监测重复数据的整合方法，参见图1，包括以下步骤：

1）数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储。

2）对进入数据处理层的数据，先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度；如果两个数据的记录相似度超过了某一阈值，则认为这两个数据是重复的，进行标记。

3）对步骤2）标记的重复数据，如果是属于重复数据产生的高发时间段，则采用数据高速清洗模块对重复数据进行自动清洗，如果是属于重复数据产生的低发时间段，则采用数据低速清洗模块对重复数据进行半自动清洗。

4）数据分析层根据重复数据产生的时间及规模特点，采用相似性匹配法匹配出现重复数据的原因。

5）制定数据质量评估指标，计算清洗前、后的数据的评估指标值，对清洗前后的数据和评估指标进行分析，并生成数据质量评估报告。

6）展示原始数据信息、评估的结果以及原因展示信息，为电力设备状态预测、状态评估做好准备。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种针对于电力设备在线监测重复数据的整合系统，其特征在于，包括数据层，数据处理层，数据分析层和数据展示层；

所述数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；

所述数据处理层依次采用字段匹配法和记录匹配法对重复数据进行检测，所述数据处理层对检测到的重复数据进行清洗，所述数据处理层根据数据特点选择质量评估指标，并计算数据清洗前后的评估指标值；

所述数据分析层根据数据处理层统计到的重复数据产生的时间及规模特点，利用相似性匹配法匹配出重复数据的原因；

所述数据展示层展示原始数据信息和评估结果。

2.根据权利要求1所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据层包括数据传输通信模块、数据存储模块和数据管理模块；所述数据传输通信模块用于在线监测装置数据的上传；所述数据管理模块用于将接收的数据按时间先后顺序进行分类，分成不同的窗口；所述数据存储模块用于分类存储数据。

3.根据权利要求2所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据管理模块进行数据分类的方式为：在线监测装置的报送时间为n小时/次，则设置窗口长度为n小时，即将n小时内的数据集划为一类。

4.根据权利要求1所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据处理层包括数据质量任务管理模块、数据清洗模块、质量评估指标计算模块和数据检测与统计模块；

所述数据检测与统计模块对进入数据处理层不同窗口内的数据进行重复数据检测，所述数据检测与统计模块先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度，如果两个数据的记录相似度超过了某一阈值，则认为这两个数据是重复的，进行标记；

所述数据清洗模块对检测到的重复数据进行清洗；

所述数据质量任务管理模块在重复数据的高发/低发时间段调用相应模块进行检测、清洗，将清洗后的数据信息存入质量评估指标计算模块中；所述质量评估指标计算模块计算数据清洗前后的评估指标值。

5.根据权利要求4所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据检测与统计模块在对不同窗口内的数据进行重复性检测的同时，对以时间为顺序的n号窗口的最末数据与n+1号窗口的第一个数据进行重复性检测，并对重复数据所处位置进行标记。

6.根据权利要求4所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据检测与统计模块包括数据检测与统计定向模块，和数据检测与统计非定向模块，在重复数据产生的高发时间段，由数据检测与统计定向模块对在线监测数据进行重复性检测与标记；在重复数据产生的低发时间段，由数据检测与统计非定向模块进行重复性检测与标记；所述高发时间段为数据传输的频率远大于传感器采样频率时，或者传感器发生故障时；所述低发时间段为数据传输的频率与传感器采样频率相差不大时，或者传感器正常工作时。

7.根据权利要求6所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据清洗模块包括数据高速清洗模块与数据低速清洗模块；所述数据高速清洗模块对数据检测与统计定向模块标记的重复数据进行清洗，所述数据高速清洗模块设置一个相似度阈值，当检测到的重复数据大于相似度阈值时，则采用自动方式清洗；所述数据低速清洗模块对数据检测与统计非定向模块标记的重复数据进行清洗；所述数据低速清洗模块，采用半自动方式，设置两个相似度阈值，当检测到的重复数据大于最高相似度阈值时，采用机器自动合并，当检测到的重复数据位于两者之间时，采用人工方式进行手动合并，小于最低相似度阈值时，不进行数据清洗。

8.根据权利要求1所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据展示层展示的数据包括数据质量信息、质量评估进度信息、重复数据及原因展示信息、和质量评估分析报告信息；所述数据质量信息包括上传的数据中重复数据个数、百分比；所述质量评估进度信息包括评估进程；所述重复数据及原因展示信息包括重复数据的各类原因数量及比例；所述质量评估分析报告信息包括数据评估指标的大小、含义、数据清洗前后评估指标的对比信息。

9.基于权利要求1至8任意一项所述的整合系统对重复数据进行整合的方法，其特征在于，包括以下步骤：

1）数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；

2）对进入数据处理层的数据，先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度；如果两个数据的记录相似度超过了某一阈值，则这两个数据是重复的，进行标记；

3）对步骤2）标记的重复数据，如果是属于重复数据产生的高发时间段，则采用数据高速清洗模块对重复数据进行自动清洗，如果是属于重复数据产生的低发时间段，则采用数据低速清洗模块对重复数据进行半自动清洗；

4）数据分析层根据重复数据产生的时间及规模特点，采用相似性匹配法匹配出现重复数据的原因；

5）制定数据质量评估指标，计算清洗前、后的数据的评估指标值，对清洗前后的数据和评估指标进行分析，并生成数据质量评估报告；

6）展示原始数据信息、评估的结果以及原因展示信息。