CN111459925A

CN111459925A - 一种园区综合能源异常数据组合式插补方法

Info

Publication number: CN111459925A
Application number: CN202010224425.6A
Authority: CN
Inventors: 郭小璇; 孙乐平; 韩帅; 吴宛潞; 肖静; 陈卫东; 秦丽娟; 杨艺云; 吴宁; 戴承承; 廖敏乐
Original assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-28

Abstract

本发明公开了一种园区综合能源异常数据组合式插补方法，所述插补方法包括：将园区内的综合能源数据作为一个样本数据集，获取所述样本数据集中的异常数据；基于所述异常数据的所在位置对所述样本数据集进行插补，获取相应的插补序列；对所述插补序列进行误差分析，确定所述样本数据集的插补权重；基于所述插补权重对与所述样本数据集特征相似的用户数据进行插补。在本发明实施例中，将提高综合能源系统的数据插补效率，同时兼顾插补工作的高精准率。

Description

一种园区综合能源异常数据组合式插补方法

技术领域

本发明涉及电气技术领域，尤其涉及一种园区综合能源异常数据组合式插补方法。

背景技术

园区综合能源能耗数据真实反映了特定时间段内企业生产用能多少。根据能耗数据是否满足能耗曲线的连续性与相似性，通常将能耗数据分为两大类：常规数据与异常数据，其中异常数据通常受到各种影响，致使监测到的负荷值与实际负荷存在一定偏差。对综合能源系统的实际运行来讲，异常数据的出现为非正常情况，将严重影响园区内的其它实际业务的开展。针对异常数据的筛选剔除与空白插补这一问题，通常利用人工维护来完成，工作较为繁琐，且存在较高的遗漏率与误差率，然而目前还没有提出一种高效的插补方法来解决人工维护所出现的弊端。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种园区综合能源异常数据组合式插补方法，将减少人工维护的工作量以及遗漏的可能性，极大地降低插补工作的误差率。

为了解决上述技术问题，本发明实施例提供了一种园区综合能源异常数据组合式插补方法，所述插补方法包括：

将园区内的综合能源数据作为一个样本数据集，获取所述样本数据集中的异常数据；

基于所述异常数据的所在位置对所述样本数据集进行插补，获取相应的插补序列；

对所述插补序列进行误差分析，确定所述样本数据集的插补权重；

基于所述插补权重对与所述样本数据集特征相似的用户数据进行插补。

可选的，所述获取所述样本数据集中的异常数据包括：

分别获取所述样本数据集中的坏数据集与缺失数据集，将所述坏数据集中所包含的坏数据剔除并重新归类到所述缺失数据集中，此时所述缺失数据集中所包含的缺失数据均为所述异常数据。

可选的，在获取所述样本数据集中的异常数据之后，包括：

将所述异常数据记录在一个参考序列中，所述参考序列Y₀为：

Y₀＝{Y₀(1)，Y₀(2)，…，Y₀(m)}

其中，m为所述参考序列Y₀中的数值个数，即所述异常数据的总个数。

可选的，所述基于所述异常数据的所在位置对所述样本数据集进行插补，获取相应的插补序列包括：

利用期望最大化插补法对所述样本数据集进行插补，得到第一插补序列Y₁为：

Y₁＝{Y₁(1)，Y₁(2)，…，Y₁(m)}

利用回归插补法对所述样本数据集进行插补，得到第二插补序列Y₂为：

Y₂＝{Y₂(1)，Y₂(2)，…，Y₂(m)}

其中，m为所述第一插补序列Y₁或者所述第二插补序列Y₂的数值个数，与所述异常数据的总个数相同。

可选的，所述对所述插补序列进行误差分析包括：

将平均相对误差作为评估指标，分别计算所述第一插补序列Y₁的平均相对误差值X₁和所述第二插补序列Y₂的平均相对误差值X₂。

可选的，所述平均相对误差MAPE为：

其中，y_i为所述参考序列中的值，

为所述第一插补序列Y₁或者所述第二插补序列Y₂中的值。

可选的，所述插补权重ω_j为：

其中，X_j为第j插补序列所对应的平均相对误差值，ω_j为第j插补序列所对应的插补权重，且第j插补序列为所述第一插补序列Y₁或者所述第二插补序列Y₂，n为选用第j插补序列的数据个数(n>1)。

可选的，所述基于所述插补权重对与所述样本数据集特征相似的用户数据集进行插补包括：

将计算所得的插补数据记录在一个最终插补序列中，所述最终插补序列Y′为：

Y′＝{Y′(1)，Y′(2)，…，Y′(t)}

式中，所述插补数据为：

Y′(i)＝∑_jω_jY_j(i)

其中，Y_j(i)为第j插补序列中的第i个数值，ω_j为第j插补序列所对应的插补权重，Y′(i)为所述最终插补序列Y′中的第i个插补数据(i＝1,2,…,t)，t为所述用户数据中的缺失值的个数。

在本发明实施例中，所述插补方法首先对样本数据集中的异常数据进行重新筛选与归类，再利用插补权重作为插补依据，对重新归类后的异常数据进行空白插补。相比于现有的通过人工维护的插补方法，在处理大量负荷原始数据的过程中，将最大程度地减少人工维护的工作量，有效提高综合能源系统的数据清洗效率，同时降低插补工作中的遗漏率与误差率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例公开的一种园区综合能源异常数据组合式插补方法的流程示意图；

图2是本发明实施例公开的一组样本数据所对应的负荷曲线示意图；

图3是本发明实施例公开的经插补后的一组样本数据所对应的负荷曲线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明实施例中的一种园区综合能源异常数据组合式插补方法的流程示意图，所述插补方法包括如下步骤：

S101、将园区内的综合能源数据作为一个样本数据集，获取所述样本数据集中的异常数据；

需要说明的是，对所述样本数据集进行负荷数据的监测时，可能识别到的异常数据实际分为缺失数据和坏数据两大类，其中：缺失数据一般是由部分线路检修停电、切负荷停电或者数据采集系统出现暂时性故障等原因引起的，主要体现在数据库单元表格中随机出现的单个空缺值或者连续的空缺值；坏数据一般是由设备、采集器、通信信道等任一环节出现故障所引起的，譬如极端天气造成电气设备故障、采集器异常供电、传感器电源浪涌现象等，主要体现为负荷曲线中明显偏离正常值的变化范围且只出现一次的数据，不符合用能业务特性。在本发明实施例中，仅针对缺失数据进行空白填补，而对坏数据的更正则采用先剔除本身数据再插补空缺值的方式，事实上将坏数据剔除本身数据的做法也是将其转变为缺失数据。这种处理方式将减少算法的使用，不需要对缺失数据和坏数据分开进行插补处理，从而提高工作效率。

具体实施过程为：首先，分别获取所述样本数据集中的坏数据集与缺失数据集，将所述坏数据集中所包含的坏数据剔除并重新归类到所述缺失数据集中，此时所述缺失数据集中所包含的缺失数据均为所述异常数据；其次，将所述异常数据记录在一个参考序列中，所述参考序列Y₀为：

Y₀＝{Y₀(1)，Y₀(2)，…，Y₀(m)}

对于所述异常数据的规定，利用具体数据进行说明为：假设原始坏数据集中包含m个坏数据，原始缺失数据集中包含n个缺失数据，在完成剔除处理后的所述缺失数据集中包含n+m个缺失数据，即此处的n+m个缺失数据均为以下步骤所使用到的所述异常数据。

S102、基于所述异常数据的所在位置对所述样本数据集进行插补，获取相应的插补序列；

在本发明实施例中，由于单一的数据插补方法无法适用于园区内的全部用户，此处采用期望最大化插补法(EM插补法)与回归插补法这两种插补方式来实现组合式数据插补，以对所述样本数据集中的缺失部分进行正常数据的填补，具体实施过程为：

Y₁＝{Y₁(1)，Y₁(2)，…，Y₁(m)}

Y₂＝{Y₂(1)，Y₂(2)，…，Y₂(m)}

S103、对所述插补序列进行误差分析，确定所述样本数据集的插补权重；

具体的，将平均相对误差作为评估指标，首先分别计算所述第一插补序列Y₁的平均相对误差值X₁和所述第二插补序列Y₂的平均相对误差值X₂，其中所述平均相对误差MAPE的计算公式为：

式中：y_i为所述参考序列中的值，

为所述第一插补序列Y₁或者所述第二插补序列Y₂中的值。

需要说明的是，对于同一个样本数据集来说，计算得到的平均相对误差值越小，则表示插补准确率越高，从而可以通过实际数据判断出当前的样本数据集采用期望最大化插补法和回归插补法中哪一种插补法更优，即本发明实施例可以适用于不同的样本数据集，为其提供最优的插补方法，以保证插补效果达到最佳。

接着，将所述平均相对误差值X₁和所述平均相对误差值X₂进行比较，获取二者中最小的平均相对误差值所对应的插补序列，记为第j插补序列，以此确定所述样本数据集的插补权重ω_j为：

本发明实施过程中，由于插补权重是基于误差反馈的信息，对插补权重的求解实际上只需要执行一次，且是利用最适用于所述样本数据集的插补方法所对应的平均相对误差值进行计算。当然，本发明实施例也可以分别计算出两种不同插补方法所对应的插补权重，再利用插补权重与平均相对误差成反比的关系，获取最大的插补权重，然后执行以下的插补动作。

S104、基于所述插补权重对与所述样本数据集特征相似的用户数据进行插补。

具体的，根据步骤S103计算所得的插补权重ω_j，计算所述样本数据集中的插补数据为：

Y′(i)＝∑_jω_jY_j(i)

Y′＝{Y′(1)，Y′(2)，…，Y′(t)}

其中，Y_j(i)为第j插补序列中的第i个数值，ω_j为第j插补序列所对应的插补权重，Y′(i)为所述最终插补序列Y′中的第i个插补数据(i＝1,2,…,t)，t为所述用户数据中的缺失值的个数；

获取与所述样本数据集特征相似的用户数据，利用所述最终插补序列Y′对其空白部分进行插补。

本发明实施过程中，以某园区的5个用户从2016年6月至9月这四个月的用电数据为例，按照10min的采样频率在每一个月中各取两组数据，共5x4x2组数据且各组数据的维度为144×3，指定前20组数据为样本集，后20组数据为验证集。将前20组数据(样本集)优先进行异常数据分布分析与随机的异常处理，再从所述前20组数据中任选一组样本数据为例，经拟合后的负荷曲线图如图2所示，可直观看出该组样本数据中包含六处数据缺失点(缺失点为不连续点，在图中以“○”作为显示)和四处数据异常点(即数据超出正常用电水平，在图中以“*”作为显示)。当该组样本数据经过识别处理后，得到异常数据汇总信息如表1所示：

表1异常数据结果展示

此时，将表1中所出现的4个坏数据剔除并归类为缺失数据，即该组样本数据中只有10个缺失数据(异常数据)，并对插补结果进行误差分析以获取对应的MAPE值。在本发明实施例中，基于所述前20组数据中的每一组样本数据，采用步骤S102中所提到的期望最大化插补法进行误差分析，计算出所述前20组数据所对应的20个MAPE值的均值为0.0732，以此计算出对应的插补权重为0.6002；同理，采用回归插补法进行误差分析，计算出所述前20组数据所对应的20个MAPE值的均值为0.1099，并以此计算出对应的插补权重为0.3997。综上所述，采用最优的期望最大化插补法对园区内的用户用电样本数据进行插补，图3示出了经插补后的该组样本数据所对应的负荷曲线示意图，与图2对比可知，插补前所出现的所有异常数据已被修正。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种园区综合能源异常数据组合式插补方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种园区综合能源异常数据组合式插补方法，其特征在于，所述插补方法包括：

2.根据权利要求1所述的园区综合能源异常数据组合式插补方法，其特征在于，所述获取所述样本数据集中的异常数据包括：

3.根据权利要求2所述的园区综合能源异常数据组合式插补方法，其特征在于，在获取所述样本数据集中的异常数据之后，包括：

Y₀＝{Y₀(1)，Y₀(2)，…，Y₀(m)}

4.根据权利要求3所述的园区综合能源异常数据组合式插补方法，其特征在于，所述基于所述异常数据的所在位置对所述样本数据集进行插补，获取相应的插补序列包括：

Y₁＝{Y₁(1)，Y₁(2)，…，Y₁(m)}

Y₂＝{Y₂(1)，Y₂(2)，…，Y₂(m)}

5.根据权利要求4所述的园区综合能源异常数据组合式插补方法，其特征在于，所述对所述插补序列进行误差分析包括：

6.根据权利要求5所述的园区综合能源异常数据组合式插补方法，其特征在于，所述平均相对误差MAPE为：

其中，y_i为所述参考序列中的值，

为所述第一插补序列Y₁或者所述第二插补序列Y₂中的值。

7.根据权利要求6所述的园区综合能源异常数据组合式插补方法，其特征在于，所述插补权重ω_j为：

其中，X_j为第j插补序列所对应的平均相对误差值，ω_j为第j插补序列所对应的插补权重，且第j插补序列为所述第一插补序列Y₁或者所述第二插补序列Y₂，n为选用第j插补序列的数据个数(n＞1)。

8.根据权利要求7所述的园区综合能源异常数据组合式插补方法，其特征在于，所述基于所述插补权重对与所述样本数据集特征相似的用户数据集进行插补包括：

Y′＝{Y′(1)，Y′(2)，…，Y′(t)}

式中，所述插补数据为：

Y′(i)＝∑_jω_jY_j(i)

其中，Y_j(i)为第j插补序列中的第i个数值，ω_j为第j插补序列所对应的插补权重，Y′(i)为所述最终插补序列Y′中的第i个插补数据(i＝1，2，...，t)，t为所述用户数据中的缺失值的个数。