CN109977107A - 一种用电采集数据清洗方法 - Google Patents

Abstract

本发明属于用能监测系统数据处理技术领域，具体来说是一种用电采集数据清洗方法。本发明的方法主要为，根据表计连续采集的5次变化的采集值，通过5个值同时比较的方式，判断出噪点进行清洗。因噪点往往是因为传输采集过程中的某种异常单个出现，并不会连续发生。如连续发生，即保存的5个变化数值队列无任何规律，则判定为智能表计出现故障，需要人工进行核实和修复。该方案最大程度的保证了数据结算时间的及时性和准确性，当噪点出现时，会将结算结果进行修正，并且减少了人工参与的过程，极大了降低了系统维护人员的工作量。

Description

一种用电采集数据清洗方法

技术领域

本发明属于用能监测系统数据处理技术领域，具体来说是一种用电采集数据清洗方法。

背景技术

物联网和通信技术的迅猛发展，大型建筑、工厂、智能园区的用能数据逐步采用远程数据采集的方式。将智能表计的读数按时间周期采集后，汇集到用能监测服务器中进行统计和分析。用能数据中，用电数据的地位举足轻重。智能电表的采集数据中，电流、电压、线电压等数据可以用来分析电力质量，但最为关心的数据为有功电量。

有功电量的数据采集为以固定的时间周期读取电表读数，并将读数通过网络上传到服务器中。数据的采集过程中，会因为各种各样的原因产生脏数据。脏数据如果不为正浮点数，可以轻易的将其去除。如果是正浮点数，但是是错误的数据，将这样的采集数据称为噪点。只有去除了噪点，统计和分析的结果才有意义。

发明内容

针对上述问题，本发明提供一种用电采集数据清洗的方法，能有效的通过全自动化的手段将噪点去除，再将清洗后的数据用于用能统计结算。

本发明的技术方案是：

如图1所示，首先根据用能监测系统数据的存储过程，将系统数据库在逻辑上划分为基础库、流水库、清洗库、冻结库和结算库。

基础库存放表计基础信息，将智能电表进行唯一化标识。该过程可以采用关系型数据库的表主键或者智能电表的出厂号区分每一只智能表计。

流水库的作用为完整的存放每次采集数据，清洗库的作用为保存参与计算的采集数据。智能电表的每次的采集数据都同时存放在流水库和清洗库中。如采集的数据为非正浮点数，可直接丢弃。保存入流水库和清洗库的数据经过数据预处理，已最低程度的保证了其数据正确性。保存的信息包含了表计的编号、读数、采集的时间点(精确到秒)。采集周期应小于统计结算周期，采集的周期越密，统计分析越精确。如系统需求最小的统计结算周期为1小时，即需要统计某表计测量的线路每小时的电耗，则采集周期可以设置为每5分钟或10分钟一次。

通过数据清洗，将清洗库中的噪点去除。根据清洗库中的数据，将每小时表计的读数，存放于冻结库中，参与用电量计算。每个计算周期的结算值，存放于结算库中。因清洗库噪点判定时，可能该部分数据已经参与了冻结和结算，所以去除噪点后，还需修正冻结数据和结算数据。

所述数据清洗方法为：

假设某智能表计E，第n次数据采集的时间点为t_n,表计读数为v_n。那么如智能表计运行正常，且采集过程未出现任何异常现象，则v_n>＝v₁(n∈Z∩n>＝2)。如图2所示，采集值随着时间的推移，是逐步上升的过程。

S1、数据清洗算法将表计E的最新的5次变化的采集值保存在队列中,即若出现v_n＝v_n+1保留v_n,v_n+1不参与运算。保存在队列中的5次变化采集值记为v_m1、v_m2、v_m3、v_m4、v_m5。v_m1≠v_m2≠v_m3≠v_m4≠v_m5。

S2、假设v_m1和v_m2是正常数据，已保留在清洗库中(该假设成立的依据为智能表计初始化的过程中，是有技术人员的人工安装调试，所以开始采集的v₁和v₂认定为正常数据)。若v_m1<v_m2<v_m3<v_m4<v_m5，则判定v_m3为正常采集数据，v_m4、v_m5只参与判断，并不做任何处理。

S3、有最新的变化采集值v_m6产生时，队列中v_m1出队v_m6入队。此时队列中保存的5个变化值为v_m2-v_m6。若v_m6>v_m5，则判定v_m4为正常采集值,以此类推,等待新的数据入队。

S4、若v_m6<v_m5，则说明v_m5或v_m6中其中一点是噪点，如图3所示，噪点有可能是高点，也有可能是低点，所以并不能确认噪点的位置。等待新的变化采集值v_m7产生，将v_m2出队v_m7入队，此时队列中保存的5个变化值为v_m3-v_m7，若v_m7>v_m5，则说明v_m6为噪点，将其从队列中和清洗库中去除。若v_m7<v_m5且v_m7>v_m6且v_m6>v_m4，判断v_m5为噪点，将其从队列中和清洗库去除。去除噪点后，队列中剩余4个数值。等待新变化采集值v_m8入队，此时v_m3不出队，保证队列中有5个数值，继续进行数据清洗。

此技术方案是基于对用电采集数据的观测结果总结而来，因噪点往往是因为传输采集过程中的某种异常单个出现，并不会连续发生。如连续发生，即保存的5个变化数值队列无任何规律，则判定为智能表计出现故障，需要人工进行核实和修复。该方案最大程度的保证了数据结算时间的及时性和准确性，当噪点出现时，会将结算结果进行修正，并且减少了人工参与的过程，极大了降低了系统维护人员的工作量。

附图说明

图1数据处理过程示意图

图2正常状态下电表采集值图示

图3电表采集值噪点图示

具体实施方式

在发明内容中已经对本发明的最佳实施方案做了详细描述，在此不再重复赘述。

Claims (2)

1.一种用电采集数据清洗方法，其特征在于，包括：

根据用能监测系统数据的存储过程，将系统数据库在逻辑上划分为基础库、流水库、清洗库、冻结库和结算库；

所述基础库用于存放表计基础信息，即将智能电表进行唯一化标识；

所述流水库用于存放每次采集的数据；所述采集的数据包括表计的编号、读数、采集的时间点；

所述清洗库用于存放每次采集的数据和数据清洗后的数据；

所述冻结库用于根据系统设定的统计结算周期，保存清洗后的数据；

所述结算库用于存放每个计算周期的结算值；

假设智能表计E，第n次数据采集的时间点为t_n,表计读数为v_n，且v_n>＝v₁，n为大于等于2的整数，所述数据清洗的具体方法为：

S1、将表计E的最新的5次变化的采集值保存在队列中,即若出现v_n＝v_n+1保留v_n,v_n+1不参与运算；保存在队列中的5次变化采集值记为v_m1、v_m2、v_m3、v_m4、v_m5，v_m1≠v_m2≠v_m3≠v_m4≠v_m5；

S2、假设v_m1和v_m2是正常数据，已保留在清洗库中，若v_m1<v_m2<v_m3<v_m4<v_m5，则判定v_m3为正常采集数据，v_m4、v_m5只参与判断，并不做任何处理；

S3、有最新的变化采集值v_m6产生时，队列中v_m1出队v_m6入队；此时队列中保存的5个变化值为v_m2-v_m6，若v_m6>v_m5，则判定v_m4为正常采集值,以此类推,等待新的数据入队，否则进入步骤S4；

S4、判定v_m5或v_m6中其中一点是噪点，等待新的变化采集值v_m7产生，将v_m2出队v_m7入队，此时队列中保存的5个变化值为v_m3-v_m7，若v_m7>v_m5，则判定v_m6为噪点，将其从队列中和清洗库中去除；若v_m7<v_m5且v_m7>v_m6且v_m6>v_m4，判定v_m5为噪点，将其从队列中和清洗库去除；去除噪点后，队列中剩余4个数值，等待新变化采集值v_m8入队，此时v_m3不出队，保证队列中有5个数值，继续进行数据清洗。

2.根据权利要求1所述的一种用电采集数据清洗方法，其特征在于，所述采集的数据在存入流水库和清洗库时，还包括预处理过程，即采集的数据如果为非正浮点数，则直接丢弃。