CN109634944B - 一种基于多维度时空分析的网损数据清洗方法 - Google Patents

Abstract

本发明提出的是一种基于多维度时空分析的网损数据清洗方法，包括：（1）数据性质定位：根据数据的历史接入时间判定规则对其进行新上测点或历史测点的性质划分；（2）异常数据辨识：包括新上测点的异常数据辨识和历史测点的异常数据辨识，其中新上测点应用基于电压电流法的短期数据异常辨识，历史测点应用基于回归分析法的中长期异常数据辨识；（3）异常数据修正：针对前一步骤辨识出的异常数据，利用多重线性插值法进行异常数据修正；（4）修正数据检验：采用电量还原法重新计算网损，以网损高低验证修正数据准确度。优点：能够应用于网损计算系统中多类型接入电量数据的清洗和筛查，提供准确可靠数据源，实现科学有效的网损优化。

Description

一种基于多维度时空分析的网损数据清洗方法

技术领域

本发明涉及的是一种基于多维度时空分析的网损数据清洗方法，属于属于网损数据处理技术领域。

背景技术

网损优化调控管理的目的，是以完成节能降损任务为目标，加强系统运行过程管理和监控，提升网损管理的计划性，在满足安全约束的前提下，合理降低电网运行损耗。现阶段由于技术和管理水平的限制，电网网损管理多停留在统计阶段，数据量少而难以做到精细化管理，且缺乏对数据正确性的校核手段，导致统计结果可靠性存在不足，从而很大程度地影响了电力企业的持续健康发展。因此，通过从多方面分析影响网损的主要因素，从技术和管理两个角度寻求降损改进措施将是加强对电网网损管理，降低网损率，提高企业经营效益，最终实现企业可持续发展与节约电能资源长远目标的主要途径。

实现网损的精益化管理，需要对多个电网运行系统接入的海量数据进行分析，这些数据源的准确性和可靠性是进行科学有效的网损计算及网损优化的前提。但在实际统计分析过程中，数据源端采集系统的损坏、异常会造成原始数据缺失或错误，系统传输通道的不稳定会造成数据丢失或数据变形，因此加强接入数据准确性是进行网损优化调控管理的重点研究内容。目前，接入网损计算系统的多来源数据仍然缺乏有效的辨识和筛选，难免会引入大量错误数据，影响网损计算的准确性，降低网损优化效益。

发明内容

本发明提出的是一种基于多维度时空分析的网损数据清洗方法，其目的在于克服现有网损管理数据统计与计算方法的缺陷，基于接入网损系统的历史测点和新上测点两种测点维度及短期和中长期两个时间尺度，针对网损计算中的电量数据，建立一种异常数据辨识-异常数据修正-修正数据检验的网损数据清洗方法。

本发明的技术解决方案：一种基于多维度时空分析的网损数据清洗方法，该方法包括如下步骤：

(1)数据性质定位，根据数据的历史接入时间判定规则对其进行新上测点或历史测点的性质划分。所述数据性质定位包括以下步骤：

A.对测点的历史数据组进行累计，并按式(1)计算历史接入时间：

历史接入时间计算公式：

t_ex＝N_ex×T_C (1)

其中，t_ex为测点的历史接入时间，N_ex为测点的历史接入数据数目，T_C为测点的采集周期；

B.对测点的历史接入时间进行判定，判定规则：

t_ex>240h (2)

满足式(2)的将该测点数据性质标记为Y类，否则标记为X类。其中，数据标记X表示新上测点，数据标记Y表示历史测点。

(2)异常数据辨识，包括新上测点异常数据辨识和历史测点异常数据辨识两个部分：新上测点应用基于电压电流法的短期数据异常辨识，历史测点应用基于回归分析法的中长期异常数据辨识。所述异常数据辨识包括以下步骤：

A.对于X类测点数据，因其历史数据少，清洗功能对其实时表底值开放，根据某时刻的上传数据计算该时刻的上传实时电量：

上传实时电量计算公式：

W_Coti＝(B_Coti-B_Cot(i-1))×L_C (3)

其中，W_Coti为i时刻上传实时电量，B_Coti、B_Cot(i-1)分别为i时刻及其上一时刻的上传表底值，L_C为该测点的倍率；

B.对于X类测点数据，通过电压电流法计算上传周期内的实时计量电量：

实时计量电量计算公式：

其中，W_Joti为i时刻实时计量电量，U_Joti、I_Joti分别为i时刻的电压、电流值；

C.对于X类测点数据，比较其上传实时电量与实时计量电量差异，进行异常辨识。考虑到计量装置误差及不同采集通道的误差，当上传实时电量与实时计量电量误差大于10％时，判定上传电量数据为异常；

判定条件：

(W_Joti-W_Coti)/W_Joti≥10％ (5)

D.对于X类测点数据，当满足异常判定条件(5)时，将该时刻的上传数据标记为“异常”；

E.对于Y类测点数据，因其历史数据多，清洗功能对其电量值开放。根据选择的不同时间尺度，通过日电量统计、周电量统计、月电量统计形成最新30日日电量特性曲线、最新24周周电量特性曲线、最新12月月电量特性曲线；

F.对于Y类测点数据，根据选择的不同时间尺度，对最新30日日电量特性曲线、最新24周周电量特性曲线、最新12月月电量特性曲线进行回归拟合；

G.对于Y类测点数据，根据选择的不同时间尺度，分别计算最新30日日电量拟合曲线、最新24周周电量拟合曲线、最新12月月电量拟合曲线拟合曲线的相关系数，相关系数计算公式如下：

其中，n为样本量，这里根据选择的不同时间尺度，x、y变量可分别指日期、日电量或月度、月电量或年度、年电量，r²值越大表明相关性越强；

H.对于Y类测点数据，根据选择的不同时间尺度，分别剔除待辨识的某一日电量数据、某一周电量数据、某一月电量数据，根据剔除后的电量曲线重新进行回归拟合，并计算重新拟合后的相关系数；

I.对于Y类测点数据，当原始拟合曲线的相关系数与重新拟合的相关系数满足下述条件时，将对应的电量数据标记为“异常”。考虑到原本电量负荷的波动性，其拟合度不会太好，因此当剔除数据后的相关系数提升15％便判定剔除的数据为异常数据；相关系数判别公式：

其中，

为最新30日拟合曲线的相关系数，

为剔除数据后拟合曲线的相关系数。

(3)异常数据修正，针对前一步骤辨识出的异常数据，利用多重线性插值法进行异常数据修正。所述异常数据修正包括以下步骤：

A.对于标记为“异常”的X类测点数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，在其时间点前后两端以1时刻为最小步长，分别进行5次线性插值计算(数据量不够则按其最大次数计算)，并取5次的插值计算结果平均值作为修正数据；单次线性插值计算公式：

表底值修正计算公式：

其中，B_Coti为第i时刻的原始表底值，B_Xoti为第i时刻的修正表底值，B_Xoti.m为第m次线性插值的修正表底值；

B.对于标记为“异常”的Y类测点数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，根据选择的不同时间尺度，在其时间点前后两端以1日或1月或1年为最小步长，分别进行10次线性插值计算(数据量不够则按其最大次数计算)，并取5次的插值计算结果平均值作为修正数据；单次线性插值计算公式：

电量修正计算公式：

其中，W_Coti为第i日(或月或年)的原始表底值，W_Xoti为第i日(或月或年)的修正表底值，W_Xoti.m为第m次线性插值的修正表底值。

C.利用计算得到的修正数据替换原上传数据，并将替换后的修正数据标记为“修正”。

(4)修正数据检验，采用电量还原法重新计算网损，以网损高低验证修正数据准确度。所述修正数据校验包括以下步骤：

A.将修正后的数值带入原网损计算公式重新计算网损率：

表底值修正后的网损计算公式：

电量修正后的网损计算公式：

其中，∑W_sr为原网损计算中输入总电量，∑W_sc为原网损计算中输出总电量；

B.若修正前网损不合理、而修正后网损仍不合理或修正前网损合理、修正后网损不合理，表明数据修正不准确或网损不合理不仅仅由接入数据异常造成，暂不确认此次清洗；

C.若修正前网损不合理、修正后网损合理，表明数据修正准确且网损不合理仅由接入数据异常造成，此次数据清洗成功。

本发明的优点：基于多维度时空分析的网损数据清洗方法具备可行性和有效性，能够应用于网损计算系统中多类型接入电量数据的清洗和筛查，为网损计算提供准确可靠的数据源，实现科学有效的网损优化。

附图说明

附图1是本发明提出的基于多维度时空分析的网损数据清洗方法流程图。

附图2为本发明实施例的30日日电量曲线图。

附图3为本发明实施例的30日日电量回归拟合图。

附图4为本发明实施例的剔除数据后的日电量回归拟合图。

具体实施方式

下面根据实施例进一步说明本发明的技术方案。

数据条件：

(1)某网损计算模型输出端测点“0x4532”表计倍率为200，每1h计量上传一次表底数据，数据清洗功能开放时该测点在网损系统中共存在23组数据，如下表所示，不同时刻对应的网损计算模型实时输入电量、实时输出电量、实时网损率也附于下表：

(2)某网损计算模型输入端某测点“0114”表计倍率为8000，每1h计量上传一次表底数据，数据清洗功能开放时该测点在网损系统中共存在8066组数据，以日电量数据为清洗对象，其近30日电量数据如下表所示，对应的网损计算模型日输入电量、日输出电量、日网损率也附于下表：

下面通过具体数据对本申请提供的方法进行说明：基于多维度时空分析的网损数据清洗方法，包括如下步骤：

(1)数据性质定位，根据数据的历史接入时间判定规则对其进行新上测点或历史测点的性质划分；

A.对测点的历史数据组进行累计，并按式(1)计算历史接入时间：

测点“0x4532”历史接入时间：

t_ex|0x4532＝23×1＝23h (14)

测点“0114”历史接入时间：

t_ex|0114＝8066×1＝8066h (15)

B.对测点的历史接入时间进行判定：

t_ex|0114＝8066h>240h，满足式(2)，将该测点数据性质标记为Y类，t_ex|0x4532不满足，则标记为X类。

(2)异常数据辨识，包括新上测点异常数据辨识和历史测点异常数据辨识两个部分：新上测点应用基于电压电流法的短期数据异常辨识，历史测点应用基于回归分析法的中长期异常数据辨识；

A.对于X类测点“0x4532”数据，因其历史数据少，清洗功能对其实时表底值开放，根据某时刻的上传数据计算该时刻的上传实时电量，以时刻11为例，上传实时电量：

W_Cot11|0x4532＝(B_Cot11|0x4532-B_Cot10|0x4532)×L_C＝(0.299-0.283)×800＝12.8kWh(16)

对接入的23组表底值数据分别计算上传实时电量，如下表所示。

B.对于X类测点“0x4532”数据，通过电压电流法计算上传周期内的实时计量电量，同样以时刻11为例，该时刻电压为10kV，电流为1.81A，实时计量电量：

C.对于X类测点“0x4532”数据，比较其上传实时电量与实时计量电量差异，进行异常辨识，以时刻11为例：

(W_Jot11|0x4532-W_Cot11|0x4532)/W_Jot11|0x4532＝(31.35-12.8)/31.35＝59.17％≥10％(18)

D.对于X类测点“0x4532”数据，时刻11的值满足异常判定条件(5)，因此该时刻11的上传数据标记为“异常”；

E.对于Y类测点“0114”数据，因其历史数据多，清洗功能对其电量值开放。根据本实施具体数据，最新30日日电量特性曲线如图2所示。

F.对于Y类测点“0114”数据，对最新30日电量数据进行回归拟合，拟合曲线如图3所示。

G.对于Y类测点“0114”数据，计算最新30日电量线性拟合曲线的相关系数：最新30日拟合曲线的相关系数：

H.对于Y类测点“0114”数据，剔除其某一日日电量数据，对剔除后的日电量数据重新进行线性回归拟合，以第4日数据为例，剔除后的拟合曲线如图4所示；

I.对于Y类测点“0114”数据，以第5日数据为例，计算剔除后的日电量线性拟合曲线的相关系数：

J.对于Y类测点“0114”数据，第5日的数据满足异常判定条件(7)，即

因此第5日的日电量数据标记为“异常”。

(3)异常数据修正，针对前一步骤辨识出的异常数据，利用多重线性插值法进行异常数据修正：

A.对于标记为“异常”的X类测点“0x4532”数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，在其时间点前后两端以1时刻为最小步长，分别进行5次线性插值计算，并取5次的插值计算结果平均值作为修正数据；以时刻11数据为例，其表底值修正值：

B.对于标记为“异常”的Y类测点“0114”数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，根据选择的不同时间尺度，在其时间点前后两端以1日或1月或1年为最小步长，分别进行10次线性插值计算(数据量不够则按其最大次数计算)，并取5次的插值计算结果平均值作为修正数据；以第5日数据为例，其电量修正值：

C.利用计算得到的修正数据替换原上传数据，并将替换后的修正数据标记为“修正”。

(4)修正数据检验，采用电量还原法重新计算网损，以网损高低验证修正数据准确度，包括以下步骤：

A.将修正后的数值带入原网损计算公式重新计算网损率：

对于标记为“异常”的X类测点“0x4532”数据，时刻1表底值修正后的网损：

对于标记为“异常”的Y测点“0114”数据，第5日电量修正后的网损：

B.对于标记为“异常”的X类测点“0x4532”数据，时刻1表底值修正前的网损为10.66％，修正后的网损为9.6％，符合修正前网损不合理、而修正后网损仍合理的情况，此次数据清洗成功；

C.对于标记为“异常”的Y测点“0114”数据，第5日电量修正前的网损为-39.9％，修正后的网损为-0.7％，符合修正前网损不合理、而修正后网损仍合理的情况，此次数据清洗成功。

应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于多维度时空分析的网损数据清洗方法，其特征是该方法包括如下步骤：

(1)数据性质定位：根据数据的历史接入时间判定规则对其进行新上测点或历史测点的性质划分；

(2)异常数据辨识：包括新上测点的异常数据辨识和历史测点的异常数据辨识，其中新上测点应用基于电压电流法的短期数据异常辨识，历史测点应用基于回归分析法的中长期异常数据辨识；

(3)异常数据修正：针对前一步骤辨识出的异常数据，利用多重线性插值法进行异常数据修正；

(4)修正数据检验：采用电量还原法重新计算网损，以网损高低验证修正数据准确度；

所述异常数据辨识包括以下步骤：

A.对于X类测点数据，因其历史数据少，清洗功能对其实时表底值开放，根据某时刻的上传数据计算该时刻的上传实时电量：

上传实时电量计算公式：

W_Coti＝(B_Coti-B_Cot(i-1))×L_C (3)

其中，W_Coti为i时刻上传实时电量，B_Coti、B_Cot(i-1)分别为i时刻及其上一时刻的上传表底值，L_C为该测点的倍率；

B.对于X类测点数据，通过电压电流法计算上传周期内的实时计量电量：

实时计量电量计算公式：

其中，W_Joti为i时刻实时计量电量，U_Joti、I_Joti分别为i时刻的电压、电流值，T_C为测点的采集周期；

C.对于X类测点数据，比较其上传实时电量与实时计量电量差异，进行异常辨识；考虑到计量装置误差及不同采集通道的误差，当上传实时电量与实时计量电量误差大于10％时，判定上传电量数据为异常；

判定条件：

(W_Joti-W_Coti)/W_Joti≥10％ (5)

D.对于X类测点数据，当满足异常判定条件(5)时，将该时刻的上传数据标记为“异常”；

E.对于Y类测点数据，因其历史数据多，清洗功能对其电量值开放；根据选择的不同时间尺度，通过日电量统计、周电量统计、月电量统计形成最新30日日电量特性曲线、最新24周周电量特性曲线、最新12月月电量特性曲线；

F.对于Y类测点数据，根据选择的不同时间尺度，对最新30日日电量特性曲线、最新24周周电量特性曲线、最新12月月电量特性曲线进行回归拟合；

G.对于Y类测点数据，根据选择的不同时间尺度，分别计算最新30日日电量拟合曲线、最新24周周电量拟合曲线、最新12月月电量拟合曲线拟合曲线的相关系数，相关系数计算公式如下：

其中，n为样本量，根据选择的不同时间尺度，x、y变量可分别指日期、日电量或月度、月电量或年度、年电量，r²值越大表明相关性越强；

H.对于Y类测点数据，根据选择的不同时间尺度，分别剔除待辨识的某一日电量数据、某一周电量数据、某一月电量数据，根据剔除后的电量曲线重新进行回归拟合，并计算重新拟合后的相关系数；

I.对于Y类测点数据，当原始拟合曲线的相关系数与重新拟合的相关系数满足下述条件时，将对应的电量数据标记为“异常”；考虑到原本电量负荷的波动性，其拟合度较差，因此当剔除数据后的相关系数提升15％便判定剔除的数据为异常数据；相关系数判别公式：

其中，

为最新30日拟合曲线的相关系数，

为剔除数据后拟合曲线的相关系数；

基于多维度时空分析的网损数据清洗方法的异常数据修正包括以下步骤：

A.对于标记为“异常”的X类测点数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，在其时间点前后两端以1时刻为最小步长，分别进行5次线性插值计算，数据量不够则按其最大次数计算，并取5次的插值计算结果平均值作为修正数据；

单次线性插值计算公式：

表底值修正计算公式：

其中，B_Coti为第i时刻的原始表底值，B_Xoti为第i时刻的修正表底值，B_Xoti.m为第m次线性插值的修正表底值；

B.对于标记为“异常”的Y类测点数据，通过多重线性插值法计算其修正表底值，多重线性插值指对于异常数据，根据选择的不同时间尺度，在其时间点前后两端以1日或1月或1年为最小步长，分别进行10次线性插值计算，数据量不够则按其最大次数计算，并取5次的插值计算结果平均值作为修正数据；单次线性插值计算公式：

电量修正计算公式：

其中，W_Coti为第i日或月或年的原始表底值，W_Xoti为第i日或月或年的修正表底值，W_Xoti.m为第m次线性插值的修正表底值；

C.利用计算得到的修正数据替换原上传数据，并将替换后的修正数据标记为“修正”。

2.根据权利要求1所述的一种基于多维度时空分析的网损数据清洗方法，其特征是所述数据性质定位包括以下步骤：

A.对测点的历史数据组进行累计，并按式(1)计算历史接入时间：

历史接入时间计算公式：

其中，t_ex为测点的历史接入时间，N_ex为测点的历史接入数据数目，T_C为测点的采集周期；

B.对测点的历史接入时间进行判定，判定规则：

t_ex＞240 (2)

满足式(2)的将该测点数据性质标记为Y类，否则标记为X类；其中，数据标记X表示新上测点，数据标记Y表示历史测点。

3.根据权利要求1所述的一种基于多维度时空分析的网损数据清洗方法，其特征是所述修正数据检验包括以下步骤：

A.将修正后的数值带入原网损计算公式重新计算网损率：

表底值修正后的网损计算公式：

电量修正后的网损计算公式：

其中，∑W_sr为原网损计算中输入总电量，∑W_sc为原网损计算中输出总电量；

B.若修正前网损不合理、而修正后网损仍不合理或修正前网损合理、修正后网损不合理，表明数据修正不准确或网损不合理不仅仅由接入数据异常造成，暂不确认此次清洗；

C.若修正前网损不合理、修正后网损合理，表明数据修正准确且网损不合理仅由接入数据异常造成，此次数据清洗成功。

Images