CN105447620A - 一种电能量缺失值自动处理的方法 - Google Patents

Abstract

本发明属于电力系统电能量数据处理技术领域，尤其涉及一种电能量缺失值自动处理的方法，包括对电表计量过程中采集到的数据进行判别，识别定位缺失值在序列中的位置，根据遍历测量点电表的历史数据，当识别到空值时将下标保存在电能量的空缺集合中，集合的大小为，然后对应用组合优化局部加权多项式拟合模型对电能量缺失值进行预测，本发明能提供了更准确的电能量缺失值处理，并根据不同数据分布进行自适应的预测，从而达到更好得管理和使用远程电能计量管理系统电量能数据的目的。

Description

一种电能量缺失值自动处理的方法

技术领域

本发明属于电力系统电能量数据处理技术领域，尤其涉及一种电能量缺失值自动处理的方法。

背景技术

电能量数据缺失问题可以被形式化看成数据缺失值自动插补问题。目前，常见的缺失值处理方法有均值替代、回归、缺失指示变量模型等。其中，回归填补插值的方法和思路得到了许多研究者的深入和扩展。

李序颖.基于空间自回归模型的缺失值插补方法[J].数理统计与管理,2005,24(3):45-50，研究来自于区域的截面数据中缺失值的插补问题,讨论了当数据中存在空间相关时,空间自回归模型的建立以及利用其对缺失值进行插补的方法，但其研究仅考虑到空间相关的因素，而未考虑到时间相关的因素。

潘立强,李建中,骆吉洲.传感器网络中一种基于时-空相关性的缺失值估计算法[J].计算机学报，2010,33(1):1-11。研究了在无线传感器网络中感知数据的缺失问题，提出了一种线性插值方法对短时间内平稳变化的数据进行插补，但是现实中的数据大多数是非线性且不平稳的。

由于一般的线性回归假设数据误差服从高斯分布，当数据不平稳或者偏态情况严重时，预测误差变得不可控。稳健的非参数组合优化局部加权多项式拟合(lowess)回归模型可以有效地解决数据不服从正态分布的情况，lowess回归模型在地理、基因等领域都得到了许多研究者的应用。

黄喻.LOWESS方法在同位素地层学中的应用[D].成都理工大学,2007.通过研究比较参数与非参数方法的不同特点和相应优缺点，并提出应用lowess方法建立了地层厚度和同位素的拟合插值模型，并通过比较多个lowess曲线来选择最优参数，但其算法易陷入局部最优的状况。

董芳英,张帼奋.基因芯片数据标准化局部加权回归法权函数探究[J].浙江大学学报：理学版,2010,37(1):22-29.通过从误差为重尾型的t分布出发，模拟不同自由度的基因芯片数据，然后选择不同的权函数对这些数据进行lowess方法标准化，并利用残差平方和、标准化后的M和A值的相关系数及MA图作为评判标准，最终得到相关指标量与权函数的变化关系。但其研究局限于相关指标量和权函数的定性关系，没有得到定量刻画的代数关系。

因此，lowess回归模型的准确性受控于给定的窗宽和多项式的阶数。对于电能量数据缺失问题而言，由于测量点的环境的差异性，其数据分布可能完全不相同，应用同一组参数得到的结果与真实值之间可能有非常大的差距。所以，研究一个自动根据数据分布进行自动应插值的处理方法成为在线处理电能量数据需要解决的问题。

发明内容

本发明的目的为解决现有技术的上述问题，提供一种能准确预测电能量缺失值自动处理的方法，为了实现上述目的，本发明采用的技术方案如下：

一种电能量缺失值自动处理的方法，其特征在于：包括以下步骤：

步骤1：对电表计量过程中采集到的数据进行判别，识别定位缺失值在序列中的位置；

步骤2：应用组合优化局部加权多项式拟合模型对电能量缺失值进行预测。

优选地，所述步骤1的识别过程为，遍历测量点电表的历史数据，当识别到空值时将下标保存进集合T中，集合T的大小为h。

优选地，所述步骤2对电能量缺失值进行预测的过程进一步包括以下步骤：

a)、初始化迭代最大步骤f，迭代窗宽步长l；

b)、重复进行局部加权多项式拟合回归模型预测，对于每次回归，应用经验风险最小化规则判别此次的预测值和加权误差是否加入结果集S＝{(t_i,e_i)}，然后根据窗宽步长l按风险最小化规则更新窗宽d和拟合阶数p，并将中间计算值存入结果集S＝{(t_i,e_i)}；

c)、将结果集和权函数相乘，然后加和得到最终预测值；所述最终预测值满足：

r^s＝∑t_j×k_js，j＝1，2，……h，z其中，k_j是权函数，z等于结果集的数量；

所述结果集相乘的权函数满足：

k_j＝(1/e_j)/∑(1/e_j),其中，j＝1，2，…,z，z等于结果集的数量。

优选地，所述迭代最大步骤f设定为10,所述迭代终止条件为局部加权多项式拟合回归中的最后n项加权误差的差值在-0.1～+0.1内波动。

优选地，所述窗宽步长满足：

l＝d/10，其中，d为初始化局部加权多项式拟合回归的窗宽。

优选地，所述经验风险最小化原则判别原则为，若e_i小于S中所有的误差，则保存t_i和e_i入集合S；若e_i大于预测值对应的误差，则不保存，所述窗宽更新和拟合阶数更新条件为，若e_i＜e_i-1，则d＝d+l，否则，d＝d-l，n＝n+1。

优选地，通过所述组合优化局部加权多项式拟合模型进行多项式回归式预测，然后利用给定阶数p，再次进行多项式回归预测，所述局部加权多项式回归式满足：

$m\left(x\right)\≈m\left(x_0\right)+m^{\′}\left(x_0\right)(x-x_0)+...+\frac{m^p(x-x_0)}{p!}{(x-x_0)}^p,$

x₀是模型的截距项。

优选地，所述组合优化局部加权多项式拟合模型中设有加权误差平均和满足：

E＝∑(w_i×(y_i-m(x_i))²)，

其中，i＝1，2，3…n，y_i是电表实际计量，m(x_i)是模型预测值，w_i是拟合模型的权重。

优选地，所述组合优化局部加权多项式拟合模型的权重满足：

$w_s\left(v_j\right)=\left\{\begin{array}{cc}{(1-|{\mathrm{\Δ}}_{\[s\]}{\left(v_j\right)}^{*}{|}^k)}^k& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)\≤1\\ 0& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)>1\end{array}\right.,$

其中：Δ_[s](v_j)^*＝|x_s-x_j|/x_q-x_j|s＝1,2,…,h；j＝1,2,…,q；q＝d*h。

综上所述，本发明由于采用了以上技术方案，本发明具有以下显著效果：

(1)、本发明能提供更准确的电能量缺失值处理，并根据不同数据分布进行自适应的预测，从而达到更好得管理和使用远程电能智能管理系统的目的。

(2)、本发明的电能量缺失值自动化处理算法在不同的测量点上表现优良，预测值与实际值的偏差小，针对不同数据源下的适应能力良好，以及在数据集的高比例缺失下表现良好。

(3)、本发明在本自动处理最坏的情况下，可能出现只有一个结果或者全部结果都被选取进来，由于基于误差进行加权平均后，全部被选取进来的结果在理论中应该优于仅仅出现一个的情况；对于只出现一个的情况，由于排除了糟糕的结果，因此，理论上最差的情况应该稍优于固定窗宽和拟合阶数。

附图说明

为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实施实例或现有技术描述中所需要的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来说，在不付出创造性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种电能量缺失值自动处理的方法的流程图。

图2是本发明一种电能量缺失值自动处理的方法中对于同一测量点缺失值的预测值和实际值的曲线对比图。

图3是本发明一种电能量缺失值自动处理的方法中缺失比例在0％～50％的模型的预测电能和实际电能平均差值的曲线图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图1，对一种电能量缺失值自动处理的方法，包括以下步骤：

步骤1：对电表计量过程中采集到的数据进行判别，识别定位缺失值在序列中的位置；所述识别过程为，遍历测量点电表的历史数据，当识别到空值时将下标保存进集合T中，集合T的大小为h。由于电能量缺失数据的情况各异，对于缺失值的智能判别需要用遍历的方法，先取得缺失值在当前序列中的位置，然后再调用缺失值的插值。在本实例中，为了对比结果好坏，使用的数据是来自某供电局供电分局表计为0202I1B032****的2014年的输入有功数据，输入的有功数据如表1所示，表1中的记录时间为电表采集时间，写入时间为数据插入数据库时间，输入有功为电表计量的电能值。所采用的缺失值是用随机无重复抽样的方法进行抽取，抽取的缺失值比例占总数据集的比例为10％。

表1有功电能量数据

步骤2：应用组合优化局部加权多项式拟合模型对电能量缺失值进行预测。

由于在用电过程中，用户在一段时间内的用电行为总是类似的，如夏天的时候，制冷设备的使用等。因此，可以考虑使用一段时间内的数据进行本时间内的预测，同时，还考虑到用电规律的时间差距效应，离缺失值越远的数据，从逻辑上来说，离预测点越远的数据对预测点的影响越小。因此，最关键的问题在于，如何选取一个合适的宽度，使得该宽度以外的值对预测点的影响为0。因此，通过本发明的组合优化局部加权多项式拟合(lowess)回归来自适应数据以达到精确插值的效果。通过重复得进行lowess回归预测，对于每次回归，应用经验风险最小化规则判别此次的预测值和加权误差是否加入结果集S，然后根据窗宽步长l按风险最小化规则更新窗宽d和拟合阶数p，并将中间计算值存入结果集S＝{(t_i,e_i)}。

在本发明中，对所述步电能量缺失值进行预测的过程进一步包括以下步骤：

a)、初始化迭代最大步骤f，迭代窗宽步长l；所述迭代最大步骤f设定为10,所述迭代终止条件为局部加权多项式拟合回归中的最后n项加权误差的差值在+0.1～-0.1内波动。

b)、重复进行局部加权多项式拟合回归模型预测，对于每次回归，应用经验风险最小化规则判别此次的预测值和加权误差是否加入结果集S＝{(t_i,e_i)}，然后根据窗宽步长l按风险最小化规则更新窗宽d和拟合阶数p，并将中间计算值存入结果集S＝{(t_i,e_i)}；所述窗宽步长满足：l＝d/10；其中，d为初始化局部加权多项式拟合回归的窗宽。

所述经验风险最小化原则判别原则为，若e_i小于S中所有的误差，则保存t_i和e_i入集合S；若e_i大于预测值对应的误差，则不保存，所述窗宽更新和拟合阶数更新条件为，若e_i＜e_i-1，则d＝d+l，否则，d＝d-l，n＝n+1。

c)、将结果集和权函数相乘，然后加和得到最终预测值；所述与结果集相乘的权函数满足：

k_j＝(1/e_j)/∑(1/e_j),其中，j＝1，2，…，z，z等于结果集的数量，e为平均误差；

所述最终预测值满足：

t^*∑t_j×k_jj＝1，2，…，z其中，k_j是权函数，z等于结果集的数量。

在本发明中，通过所述组合优化局部加权多项式拟合模型进行多项式回归式预测，然后利用给定阶数p，再次进行多项式回归预测，所述局部加权多项式回归式满足：

$m\left(x\right)\≈m\left(x_0\right)+m^{\′}\left(x_0\right)(x-x_0)+...+\frac{m^p(x-x_0)}{p!}{(x-x_0)}^p,$

x₀是模型的截距项，然后利用给定阶数p，再次进行多项式回归预测，然后再次进行多项式回归预测进行加权误差平均和：

E＝∑(w_i×(y_i-m(x_i))²)，

其中，i＝1，2，3…n，y_i是电表实际计量值，m(x_i)是模型预测值，w_i是拟合模型的权重，所述组合优化局部加权多项式拟合模型的权重满足：

$w_s\left(v_j\right)=\left\{\begin{array}{cc}{(1-|{\mathrm{\Δ}}_{\[s\]}{\left(v_j\right)}^{*}{|}^k)}^k& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)\≤1\\ 0& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)>1\end{array}\right.,$

其中：Δ_[s](v_j)^*＝|x_s-x_j|/|x_q-x_j|s＝1，2，…，h；j＝1，2，…，q；q＝d*h。

在本实例中，初始化宽度d＝20，p＝1，迭代最大步骤f设定为10。迭代终止条件为组合优化lowess回归中的最后n项加权误差的差值在+0.1～-0.1波动，对于缺失点迭代过程举例如下：

缺失点1，实际值为602：

第一次预测值：616.2531，加权误差：3.0274，更新后d：22，n:1，放入结果集；

第二次预测值：616.4799，加权误差：3.0960，更新后d：22，n:2，不放入结果集；

第三次预测值：605.7463，加权误差：0.9933，更新后d：20，n:3，放入结果集；

第四次预测值：608.4803，加权误差：1.3607，更新后d：18，n:3，不放入结果集；

第五次预测值：612.1527，加权误差：1.8802，更新后d：16，n:4，不放入结果集；

被选取进来的值为第一次和第三次的预测值，加权后得到最终预测值为604.3421。因此，通过缺失点1进行处理的电能量缺失值在不同的测量点上表现优良，

缺失点2，实际值为594：

第一次预测值：602.9900，加权误差：3.6872，d：22，n：1，放入结果集；

第二次预测值：602.7636，加权误差：3.6352，d：24，n：1，放入结果集；

第三次预测值：603.4500，加权误差：3.5851，d：26，n：1，放入结果集；

第四次预测值：605.0846，加权误差：3.5463，d：28，n:1，放入结果集；

第五次预测值：607.7000，加权误差：3.6007，d：26，n:2，不放入结果集；

第六次预测值：601.2429，加权误差：3.4865，d：28，n:2，放入结果集；

第七次预测值：598.8916，加权误差：3.4478，d：30，n:2，放入结果集；

第八次预测值：597.3293，加权误差：3.4552，d：28，n:3，不放入结果集；

第九次预测值：598.8916，加权误差：3.9894，d：26，n:4，不放入结果集。

被选取进来的值为第一、二、三、四、六和七次，最终预测值为596.3765；对所有缺失值进行以上过程的预测，得到预测值和实际值的对比如图2所示，由图2可以看出，本发明提出的电能量缺失值处理的预测能力较为准确，与实际情况偏离不大。而图3中，展示了缺失比例在0％～50％的模型的预测电能和实际电能平均差值的曲线图，则说明本发明的电能量缺失值在数据集的高比例缺失下表现良好。

本发明通过不改变参数的lowess回归插值，在电能量缺失的情况下，可能出现只有一个结果或者全部结果都被选取进来，由于基于误差进行加权平均后，全部被选取进来的结果在理论中应该优于仅仅出现一个的情况；对于只出现一个的情况，由于排除了糟糕的结果，因此，理论上最差的情况应该稍优于固定窗宽和拟合阶数。

以上所述仅为发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种电能量缺失值自动处理的方法，其特征在于：包括以下步骤：

步骤1：对电表计量过程中采集到的数据进行判别，识别定位缺失值在序列中的位置；

步骤2：应用组合优化局部加权多项式拟合模型对电能量缺失值进行预测。

2.根据权利要求1所述的一种电能量缺失值自动处理的方法，其特征在于：所述步骤1的识别过程为，遍历测量点电表的历史数据，当识别到空值时将下标保存在电能量的空缺集合T中，集合T的大小为h。

3.根据权利要求1所述的一种电能量缺失值自动处理的方法，其特征在于：所述步骤2对电能量缺失值进行预测的过程进一步包括以下步骤：

a)、初始化迭代最大步骤f，迭代窗宽步长l；

b)、重复进行局部加权多项式拟合回归模型预测，对于每次回归，应用经验风险最小化规则判别此次的预测值和加权误差是否加入结果集S＝{(t_i,e_i)}，然后根据窗宽步长l按风险最小化规则更新窗宽d和拟合阶数p，并将中间计算值存入结果集S＝{(t_i,e_i)}；

c)、将结果集和权函数相乘，然后加和得到最终预测值；所述最终预测值满足：

r^s＝∑t_j×k_js,j＝1,2,…,h,z，其中，k_j是权函数，z等于结果集的数量；

所述结果集相乘的权函数满足：

k_j＝(1/e_j)/∑(1/e_j),其中，j＝1,2,…,z，z等于结果集的数量。

4.根据权利要求3所述的一种电能量缺失值自动处理的方法，其特征在于：所述迭代最大步骤f设定为10,所述迭代终止条件为局部加权多项式拟合回归中的最后1项加权误差的差值在-0.1～+0.1内波动。

5.根据权利要求3所述的一种电能量缺失值自动处理的方法，其特征在于：所述窗宽步长满足：l＝d/10，其中，d为初始化局部加权多项式拟合回归的窗宽。

6.根据权利要求3所述的一种电能量缺失值自动处理的方法，其特征在于：所述经验风险最小化原则判别原则为，若e_i小于S中所有的误差，则保存t_i和e_i入集合S；若e_i大于预测值对应的误差，则不保存，所述窗宽更新和拟合阶数更新条件为，若e_i＜e_i-1，则d＝d+l，否则，d＝d-l，p＝p+1。

7.根据权利要求3所述的一种电能量缺失值自动处理的方法，其特征在于：通过所述组合优化局部加权多项式拟合模型进行多项式回归式预测，然后利用给定阶数p，再次进行多项式回归预测，所述局部加权多项式回归式满足：

$m\left(x\right)\≈m\left(x_0\right)+m^{\′}\left(x_0\right)(x-x_0)+...+\frac{m^p(x-x_0)}{p!}{(x-x_0)}^p,$

x₀是模型的截距项。

8.根据权利要求3所述的一种电能量缺失值自动处理的方法，其特征在于：所述组合优化局部加权多项式拟合模型中设有加权误差平均和满足：

E＝∑(w_i×(y_i-m(x_i))²)，

其中，i＝1,2,3…n，y_i是电表实际计量，m(x_i)是模型预测值，w_i是拟合模型的权重。

9.根据权利要求7所述的一种电能量缺失值自动处理的方法，其特征在于：所述组合优化局部加权多项式拟合模型的权重满足：

$w_s\left(v_j\right)=\left\{\begin{array}{cc}{(1-{\left|{\mathrm{\Δ}}_{\[s\]}{\left(v_j\right)}^{*}\right|}^k)}^k& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)\≤1\\ 0& {\mathrm{\Δ}}_{\[s\]}\left(v_j\right)>1\end{array}\right.,$

其中：Δ_[s](v_j)^*＝|x_s-x_j|/|x_q-x_j|s＝1,2,…,h；j＝1,2,…,q；q＝d*h。