CN106557546A - 一种对特高压在线监测数据进行挖掘并评价的方法及系统 - Google Patents

Abstract

本发明公开了一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：步骤1，对在线监测的重复数据进行清洗；步骤2，基于关联规则对在线监测的异常数据进行清洗；以及步骤3，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，则结束；若不满足，则重新返回步骤2。本发明还公开了一种对特高压电力设备在线监测数据进行挖掘并评价的系统，包括：重复数据清洗单元、异常数据清洗单元、和分析评价单元。本发明的有益效果在于：提出基于关联规则的异常数据清洗方法，可有效分辨异常数据；建立了数据质量评价体系，实现特高压在线监测数据的实时监控和在线考评。

Description

一种对特高压在线监测数据进行挖掘并评价的方法及系统

技术领域

本发明涉及特高压输变电技术领域，并且更具体地，涉及一种对特高压在线监测数据进行挖掘并评价的方法及系统。

背景技术

随着特高压电网建设的不断推进以及用户对电力系统安全稳定运行的要求日益提高，电力公司对输变电设备状态监测的广度和深度不断扩大，状态监测向高采样率、连续稳态记录和大存储的趋势发展，逐渐形成了特高压电网状态监测大数据。如何在这些海量的在线监测数据中更快、更准的挖掘有用的信息已成为当前研究的热点领域。目前中国特高压电力设备在线监测数据存在着重复率较高，部分数据缺失等突出问题，这些问题使得采集的到的数据质量较低，无法直接对原始数据进行进一步分析和使用。具体问题如下：

1.数据重复

当数据传输的频率远大于传感器采样频率时，将使系统获取大量的重复数据，不仅占用了大量的存储空间，还导致数据价值的降低。以2016年3月22日复龙8111换流变B相CO气体含量为例，在线监测装置每4小时对CO气体含量进行报送，获得的监测数据通过间隔层传入站控层的状态信息接入控制器(Condition Information AcquisitionController,CAC)装置中，CAC装置再定期向网省的数据中心传输数据。但由于CAC装置设置的传输周期过短(约为3分钟)，导致CAC装置会向数据中心传输大量的重复数据，极大地占用了系统的存储空间。

2.数据异常

数据异常主要指设备正常运行情况下在线监测数据的缺失和数据错误。受设备、环境和运行状态等因素影响，异常数据特点较为复杂。安装在现场的各种远方监测设备、用电信息采集终端和各类通信设备长期暴露于户外，部分设备环境适应能力较差，故障率较高，当出现故障时会产生大量监测数据漏传。其次各环节设备的制造工艺和安装缺陷以及调试和使用上的波动都会带来各种各样的误差因素，这些误差因素包括：时间不同步导致数据采集的不同时性、三相不平衡及功率因数变化导致的误差。

另外，在线监测数据传输网络所使用的通信方式在电力系统中较为复杂，信道既包括可靠性很强的光纤以太网方式，也有一些质量较差的配电载波、GPRS或3G无线等通信方式，以及小众的无线扩频、Zigbee技术。这些信道当遭受过电压、大电流冲击等强电磁干扰时会出现错码断码现象。

重复及异常数据严重影响了数据的使用和信息的挖掘，由于特高压设备发展处于起步阶段，还没有针对其在线监测数据的完整挖掘体系；数据汇集的重复，异常数据问题暴露不久，现有针对在线监测领域的异常值处理方法多采用阈值标定的方法，难以分辨设备缺陷造成的异常值，以及数值较小异常值；重复数据多采用定频采样的方式，容易发生遗漏；没有针对特高压设备在线监测数据处理质量的完整评价体系。综上，根据现有在线监测数据存在的突出1问题，亟待制定一套高效、适用于在线监测数据的清洗及评价方法，有效地提高数据质量，为后续的输变电设备故障诊断工作提供有力保障。

发明内容

为了解决上述问题，根据本发明的一个方面，提供了一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：

对在线监测的重复数据进行清洗；

基于关联规则对在线监测的异常数据进行清洗；以及

对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，结束；若不满足，则重新对异常数据进行清洗。

优选地，其中所述对在线监测的重复数据进行清洗包括：预处理、重复记录监测和冲突处理。

优选地，其中通过设置相似阈值R_simf的方式来对在线监测的重复数据进行清洗。

优选地，其中所述相似动态阈值可表示为：

其中，若Rsim(R1，R2)>Rsimf(R1，R2)，则认为记录极度相似或完全重复，采用机器自动合并/删除方式处理；若Rsim(R1，R2)<Rsimf(R1，R2)，则认为两记录略微相似，采用人工方式进行手动合并/删除。

优选地，其中根据预测值和实际值的误差与误差阈值的大小确定异常数据，当误差超过所述误差阈值时，该时间点处的在线监测数据为异常值。

优选地，其中所述有效性阈值的计算公式为：

其中，D_r为数据集的数据总数，D_q为问题数据数。

优选地，其中所述完备性阈值的计算公式为：

其中，D_r为数据集的数据总数，D_s为缺失数据个数。

优选地，其中所述规范性阈值的计算公式为：

其中，C_r为数据集的记录总数，R_q为问题记录数，C_pd为数据表中数据项的总署，C_s为缺少的数据项个数。

优选地，其中所述冗余性阈值的计算公式为：

其中，C_r为数据集的记录总数，R_r为冗余记录总数。

根据本发明的另一个方面，提供了一种对特高压电力设备在线监测数据进行挖掘并评价的系统，所述系统包括：

重复数据清洗单元，对在线监测的重复数据进行清洗；

异常数据清洗单元，基于关联规则对在线监测的异常数据进行清洗；以及

分析评价单元，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值。

本发明的有益效果在于：

1.针对特高压设备在线监测重复数据，确立了重复数据清洗的整体流程，流程中包含了数据预处理、重复数据检测以及冲突处理,可有效分别传统方法难以分辨的相似重复记录，并确保监测无遗漏。

2.提出基于关联规则的异常数据清洗方法，该方法通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测以实现异常数据清洗，可有效分辨电力设备缺陷造成的异常数据与监测装置异常造成的异常数据，传统方法无此功能。

3.建立了数据质量评价体系，体系中包含完备性、规范性、有效性和冗余性四类评价指标，首次实现特高压在线监测数据的实时监控和在线考评，强化数据质量事中控制，事后评价，问题整改，提升决策分析依据的准确性和实用性。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明实施方式的方法100的流程图；

图2为根据本发明实施方式的基于关联规则的在线监测异常数据清洗的流程图；

图3为根据本发明实施方式的BP神经网络算法的流程图；

图4为根据本发明实施方式的分析评估的结构示意图；

图5为根据本方面实施方式的分析评价方法500的流程图。

图6为根据本发明实施方式的系统600的结构示意图。以及

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

本发明公开了一种针对特高压电力设备在线监测数据的有效性,完备性与规范性挖掘方法,属于电力设备监测技术领域。所述方法针对在线监测重复数据，提出了基于层次分析法的属性权值动态分配方法，实现了重复数据的半自动筛选。针对在线监测异常数据提出了基于关联规则的异常数据清洗方法，该方法通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测以实现异常数据清洗。最后，建立了数据质量评价体系，包含完备性、规范性、有效性和冗余性四类评价指标，以及数据后评价流程。本发明可实现特高压电力设备在线监测数据的动态有效清洗。

图1为根据本发明实施方式的方法100的流程图。如图1所示，所述方法100从步骤101处开始，在步骤101对在线监测的重复数据进行清洗。优选地，其中所述对在线监测的重复数据进行清洗包括：预处理、重复记录监测和冲突处理。在预处理阶段选取用于记录匹配的属性，根据属性决定两条记录相似性中重要程度的不同，为每个属性分配不同的权重。对于油色谱这样的在线监测数据，含有较多属性，使用层次分析法(Analytic HierarchyProcess，AHP)对各属性进行赋值。在重复记录检测阶段主要是解决字段匹配问题和记录匹配问题，其中，字段匹配问题是核心。比较数据的各对应字段，计算其相似度，再根据字段的权重，进行加权平均后得到数据的相似度，如果两条数据相似度超过了某一阈值，则认为两条数据是匹配的，否则认为是指向不同实体的数据。在冲突处理阶段，根据一定的规则合并或删除检测出的重复数据，只保留其中正确的那条记录数据；如果出现相似度相同的情况，一种办法是由用户决定保留哪条记录，另一种则是随机选取保留的数据。

对于在线监测数据，根据其重复数据的特点，为兼具处理精度与处理速度，本文采用半自动进行在线监测数据清洗。优选地，其中通过设置相似阈值Rsimf的方式来对在线监测的重复数据进行清洗。

优选地，其中所述相似动态阈值可表示为：

其中，若R_sim(R₁，R₂)>R_simf(R₁，R₂)，则认为记录极度相似或完全重复，采用机器自动合并/删除方式处理；若R_sim(R₁，R₂)<R_simf(R₁，R₂)，则认为两记录略微相似，采用人工方式进行手动合并/删除。

优选地，在步骤102基于关联规则对在线监测的异常数据进行清洗。图2为根据本发明实施方式的基于关联规则的在线监测异常数据清洗的流程图。如图2所示，首先确定参考序列y₀和比较序列x₁,x₂,x₃,…x_i，并对确定的序列进行归一化处理，然后计算参考序列和其余比较序列的绝对差值矩阵(Δ₀₁，Δ₀₂，...Δ_0t...Δ_0m)，绝对差值的计算公式为：

Δ_0t＝|y′₀(k)-x′_t(k)|，

其中，y₀为单参量，y′₀(k)和x′_t(k)为参考序列和比较序列无量纲化后取值，。绝对差值阵中的最大值和最小值即为极大差Δ_max和极小差Δ_min，而后利用上述结果计算关联系数进而可以得到关联度：

其中，γ_0t为极大差Δ_max和极小差Δ_min的关联系数。

图3为根据本发明实施方式的BP神经网络算法的流程图。如图3所示，对得到的关联度进行排序，选取与待检测参量关联度较高的状态参量作为BP神经网络的输入，接着对神经网络的结构和参数进行设置后，代入相应的历史数据进行训练，训练后可以得到输入与输出的对应关系模型，再将待检测时刻处的高关联度状态参量作为输入代入模型中，即可得到预测值。

优选地，其中根据预测值和实际值的误差与误差阈值的大小确定异常数据，当误差超过所述误差阈值时，该时间点处的在线监测数据为异常值。

若为异常值，可以利用预测值对实际值进行替换，完成异常检测与修复；若预测值和实际值的误差没有超过误差阀值，则该点处的在线监测数据为正常数据，不做处理。

优选地，在步骤103对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，结束；若不满足，则重新对异常数据进行清洗。

优选地，其中所述有效性阈值的计算公式为：

其中，D_r为数据集的数据总数，D_q为问题数据数。

优选地，其中所述完备性阈值的计算公式为：

其中，D_r为数据集的数据总数，D_s为缺失数据个数。

优选地，其中所述规范性阈值的计算公式为：

其中，C_r为数据集的记录总数，R_q为问题记录数，C_pd为数据表中数据项的总署，C_s为缺少的数据项个数。

优选地，其中所述冗余性阈值的计算公式为：

其中，C_r为数据集的记录总数，R_r为冗余记录总数。

图4为根据本发明实施方式的分析评估的结构示意图。如图4所示，当数据进入数据中心后，用户根据需求制定相应的清洗计划。在制定好清洗计划后，分析函数会进行问题定位，并根据相应的数据清洗模型对问题位置的数据进行清洗，清洗完成后，系统会将清洗后的数据概要信息、评估指标信息和图表信息存入数据质量评估指标模型中，再根据评价指标模型中的各个算法依次计算各指标值。评估任务完成后，用户可以进入数据质量分析评估系统，访问相应查询模块，查看评价结果信息。

上述数据质量评价指标分别用于计算清洗后的各指标值，清洗完成后需对各指标设置一个指标阀值以评估清洗效果。图5为根据本方面实施方式的分析评价方法500的流程图。如图5所示，在步骤501设置各指标阈值，其中所述各指标阈值包括：有效性阈值、完备性阈值、规范性阈值和冗余性阈值。在步骤502计算清洗后的在线监测数据的各指标值，其中所述个指标值包括：有效性值、完备性值、规范性值和冗余性值。在步骤503分别判断所述指标值和指标阈值的大小，若所述指标值大于所述指标阈值，则进入步骤504表示清洗效果良好，并结束；若所述指标值小于所述指标阈值，则进入步骤505调整清洗模型参数并对存在问题的数据段重新进行清洗后进入步骤501。

图6为根据本发明实施方式的系统600的结构示意图。如图6所示，所述系统600包括重复数据清洗单元601、异常数据清洗单元602和分析评价单元603。优选地，在重复数据清洗单元601对在线监测的重复数据进行清洗.

优选地，在异常数据清洗单元602基于关联规则对在线监测的异常数据进行清洗.

优选地，在分析评价单元603对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：

步骤1，对在线监测的重复数据进行清洗；

步骤2，基于关联规则对在线监测的异常数据进行清洗；以及

步骤3，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，则结束；若不满足，则重新返回步骤2。

2.根据权利要求1所述的方法，其中所述对在线监测的重复数据进行清洗包括：预处理、重复记录监测和冲突处理。

3.根据权利要求1所述的方法，其中通过设置相似阈值R_simf的方式来对在线监测的重复数据进行清洗。

4.根据权利要求3所述的方法，其中所述相似动态阈值可表示为：

其中，若Rsim(R1，R2)>Rsimf(R1，R2)，则认为记录极度相似或完全重复，采用机器自动合并/删除方式处理；若Rsim(R1，R2)<Rsimf(R1，R2)，则认为两记录略微相似，采用人工方式进行手动合并/删除。

5.根据权利要求1所述的方法，其中根据预测值和实际值的误差与误差阈值的大小确定异常数据，当误差超过所述误差阈值时，该时间点处的在线监测数据为异常值。

6.根据权利要求1所述的方法，其中所述有效性阈值的计算公式为：

$S_{acc}=(1-\frac{D_q}{D_r})\&times;100\%,$

其中，D_r为数据集的数据总数，D_q为问题数据数。

7.根据权利要求1所述的方法，其中所述完备性阈值的计算公式为：

$S_{comp}=(1-\frac{D_s}{D_r})\&times;100\%,$

其中，D_r为数据集的数据总数，D_s为缺失数据个数。

8.根据权利要求1所述的方法，其中所述规范性阈值的计算公式为：

$S_{cons}=(1-\frac{R_q}{C_r(C_{pd}-C_s)})\&times;100\%,$

其中，C_r为数据集的记录总数，R_q为问题记录数，C_pd为数据表中数据项的总署，C_s为缺少的数据项个数。

9.根据权利要求1所述的方法，其中所述冗余性阈值的计算公式为：

$S_r=\frac{R_r}{C_r}\&times;100\%,$

其中，C_r为数据集的记录总数，R_r为冗余记录总数。

10.一种对特高压电力设备在线监测数据进行挖掘并评价的系统，所述系统包括：

重复数据清洗单元，对在线监测的重复数据进行清洗；

异常数据清洗单元，基于关联规则对在线监测的异常数据进行清洗；以及

分析评价单元，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值。