CN105117988A - 一种电力系统中缺失数据插补的方法 - Google Patents

Abstract

本发明公开了一种对电力系统缺失数据进行插补的复合模型。其技术方案是，首先对来自电力系统的原始数据集进行数据分类，分为完全数据集和不完全数据集；利用得到的完全数据集产生新的不完全数据集，分别使用基于链式方程的多元插补算法和基于随机森林的插补算法对新产生的不完全数据集进行数据填充，并计算相应的填充误差；将上述算法所得的误差进行线性组合并最小化组合误差以确定各种算法的权重；最后使用上述各种算法对原始数据集进行数据插补，将各自填充的数据与相应算法的权重组合获得最终的填充值。本发明提供一种可操作性强的、基于链式方程的多元插补算法和随机森林的插补算法的复合模型，实现电力系统中缺失数据插补。

Description

一种电力系统中缺失数据插补的方法

技术领域

本发明属于电力系统中缺失数据插补技术领域，尤其涉及一种链式方程的多元填充算法和基于随机森林算法的缺失值插补方法。

背景技术

伴随着信息科技时代的到来，大数据在各个领域得到越来越广泛的应用。而随着我国智能电网建设的全面展开，电力大数据应需而生，并成为电网智能化过程中不可或缺的一部分。

智能电网建设的最终目标是成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储，以及累积的海量多源数据快速分析。但是在数据采集，传输和存储的过程中，不可避免的会出现数据缺失，数据的缺失对数据快速分析具有重要影响，如何有效地处理缺失数据关系到分析的结果。而要对海量电力多源数据进行快速分析，如何进行数据插补一项有意义且棘手的问题。

缺失数据的存在不仅干扰估计精度,也影响统计工作人员后续工作的有效开展。目前常用的缺失数据处理方法有删除缺失值，插补缺失值。对于删除缺失值的方法，当缺失数据比例很大时，这种方法丢失大量信息并且会产生偏倚是不完全观测数据与完全观测数据间产生系统差异。插补方法是目前主流的方式。插补方法有简单填充，均值填充，随机填充，回归模型填充，最大期望算法填充，多重填充，最近距离填充和热卡填充等。由于电力数据呈现出规模大、类型多、价值密度低、变化快等特征；且缺失数据出现在多个变量带来特殊的挑战。上述插补方法很难有效同时对不同的数据类型的进行数据填充。急需能有效填充多类型数据的比较稳定方法。

发明内容

本发明针对现有方法存在的问题作出改进，即本发明所要解决的技术问题是提供一种可操作性强的、对电力系统中的缺失数据进行插补的复合模型，实现电力系统中的缺失数据插补。

本发明的技术方案是：一种对电力系统缺失数据进行插补的复合模型，该模型基于链式方程的多元插补算法和随机森林的插补算法而开发的，其特征在于，所述方法包括下列步骤：

步骤1：对所收集的原始记录数据进行数据分类，分为完全数据和不完全数据(需要插补的数据)，

步骤2：利用得到的完全数据产生新的不完全数据作为样本集。

步骤:3：分别使用基于链式方程的多元插补算法和基于随机森林的缺失值插补算法对新产生的不完全数据进行数据填充。

步骤4：计算步骤2中各算法得到的每个填充数据与相应的真实数据之间的偏差，将各算法所得的每个填充数据对应的偏差进行线性组合，计算该线性组合的偏差的平方并加所有填充数据的平方偏差。

步骤5：最小化所有填充数据的平方偏差，获得各个算法在组合模型中所占的权重。

步骤6：将步骤3中的填充算法应用于原始数据集，获得原始数据集中缺失值的插补值，并与步骤5所得各个模型的权重相乘，获得最终的插补值。

所述的一种对电力系统缺失数据进行插补的方法，其特征在于，提供一种对电力系统缺失数据进行插补的复合模型，所述链式方程的多元填充算法可以进行多元插补，并且可以针对混合类型的数据进行插补。该算法通过从条件分布中迭代抽样获得缺失数据的后验分布，此外，该算法可以容易地将多个一维变量串联起来执行从而插补缺失数据。该算法的主体部分如下：假设完全数据Y是部分观测到的随机样本来自P个变量的多元分布，其中Y的分布完全由未知的参数向量θ确定，该算法通过从以下条件分布中迭代抽样获得参数的后验分布，

P(Y₁|Y_-1,θ₁)

.

.

.

P(Y_p|Y_-p,θ_p)

自观测到的边际分布开始进行简单抽样，第t此链式方程的迭代的结果是依次从以下分布中抽取的Gibbs样本

$\begin{array}{c}{\mathrm{\θ}}_1^{*\left(t\right)}~P\left({\mathrm{\θ}}_1|Y_1^{obs},Y_2^{\left(t-1\right)},\mathrm{...},Y_p^{\left(t-1\right)}\right)\\ Y_1^{*\left(t\right)}~P\left(Y_1|Y_1^{obs},Y_2^{\left(t-1\right)},\mathrm{...},Y_p^{\left(t-1\right)},{\mathrm{\θ}}_1^{*\left(t\right)}\right)\\ .\\ .\\ .\\ {\mathrm{\θ}}_p^{*\left(t\right)}~P\left({\mathrm{\θ}}_p|Y_p^{obs},Y_1^{\left(t\right)},\mathrm{...},Y_{p-1}^{\left(t\right)}\right)\\ Y_p^{*\left(t\right)}~P\left(Y_p|Y_p^{obs},Y_1^{\left(t\right)},\mathrm{...},Y_p^{\left(t\right)},{\mathrm{\θ}}_p^{*\left(t\right)}\right)\end{array}$

其中是第t次迭代中第j次填充的变量。该算法可同时执行多个赏识过程，每个过程执行一个插补数据集。

所述的一种对电力系统缺失数据进行插补的复合模型，其特征在于，随机森林算法通过平均许多为剪枝的分类或者回归树随机深林来进行缺失数据的插补，该算法可以同时处理混合类型的数据。随机森林算法通过训练数据集的观测到的部分来预测缺失值。给定一个含有n个观测实例，p个变量的数据集X，停止条件为γ，其算法的具体流程如下：

1.对缺失值进行初始估计，

2.k←X中关于缺失值递增总数的所对应的向量在矩

阵X中的下标

3.While没有达到

4.←存储之前插补的矩阵

5.Fors在k中do

6.拟合一随机森林

7.使用预测

8.←使用预测的更新插补的矩阵

9.Endfor

10.更新停止条件γ

11.Endwhile

12.返回插补的矩阵X^imp

当新的插补的数据矩阵和之前的插补的数据矩阵的差第一次增加时候，停止条件就已经满足，插补过程停止。其中连续变量的矩阵的差定义为

${\mathrm{\Δ}}_N=\frac{{\Σ}_{j\∈N}{(X_{new}^{imp}-X_{old}^{imp})}^2}{{\Σ}_{j\∈N}{\left(X_{new}^{imp}\right)}^2}$

类别变量矩阵的差定义为

${\mathrm{\Δ}}_F=\frac{{\Σ}_{j\∈F}{\Σ}_{i=1}^n{I}_{X_{new}^{imp}\≠X_{old}^{imp}}}{\#NA}$

其中#NA是分类变量中缺少值的个数。

所述的一种对电力系统缺失数据进行插补的复合模型，其特征在于，随机森林插补算法在插补缺失值之后，采用归一化的均方根误差评估插补值的优劣

$NRMSE=\sqrt{\frac{mean\left((X^{true}-X^{imp})\right)}{\mathrm{var}\left(X^{true}\right)}}$

其中是X^true完全数据矩阵，X^imp是插补数据矩阵。

所述的一种对电力系统缺失数据进行插补的复合模型，其特征在于，组合预测是提高预测精度的最佳方法之一，是对同一个问题，采用两种以上不同预测方法的预测。采用多种预测方法组合模型可以弥补单一模型的不足，从而，得到比较理想的预测结果。组合模型的预测精度主要取决于权系数的确定，针对第j个变量的权系数p_j采用不等权组合的方差倒数组合预测法进行计算，通过最小化所有第j列插补数据的总偏差

$\Σ{\left(e_H\right)}_{ij}^2=\Σ\[{\left(p{\left(e_s\right)}_{ij}\right)}^2+2p\left(1-p\right){\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}+{\left(\left(1-p\right){\left(e_v\right)}_{ij}\right)}^2\]$

可以得到 $p_j=\min \left(max\left(\frac{\Σ{\left(e_s\right)}_{ij}^2-\Σ{\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}}{\Σ{\left(e_s\right)}_{ij}^2-2\Σ{\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}+\Σ{\left(e_v\right)}_{ij}^2},0\right),1\right),$ 其中，(e_s)_ij和(e_v)_ij分别是链式方程的多元插补算法和随机森林的插补算法所得的第i行第j列的插补值与对应的真实值之间的偏差。

附图说明

图1是基于链式方程的多元插补算法和随机森林的插补算法的复合模型的流程图。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是实例性的，而不是为了限制本发明的范围及其应用。

图1是本发明的流程图。图1中，本发明提供的方法包括以下步骤：

步骤1：将原始数据集分为完全数据集和缺失数据集假定采集的实例数据集(RD)含有1100行3列，其中每列含有100个缺失值，假定对于同一行不能同时出现缺失值，总计200行。首先标记含有缺损数据的行数，分离出完全数据集(CD)。

步骤2：利用得到的完全数据集(CD)，按照事先设定的缺失数据比例(比如10％)，产生新的含有缺失数据的不完全数据集(MD)对产生新的含有缺失数据的不完全数据集(MD)，其中MD中180行含有缺失值。

步骤3：分别使用基于链式方程的多元插补算法和基于随机森林的缺失值插补算法对新产生的不完全数据进行数据填充。基于链式方程的多元插补算法和基于随机森林的缺失值插补算法得到的插补数据分别记为 $y_{ij}^s,i=1...900,j=1,2,3$ 和 $y_{ij}^v,i=1...900,j=1,2,3.$

步骤4：计算步骤2中各算法得到的每个填充数据与相应的真实数据之间的偏差。

对于采用基于链式方程的多元插补算法和基于随机森林的缺失值插补算法得到的第i行j列的插补数据，偏差分别记为和从而复合模型的偏差记为(e_h)_ij＝p(e_s)_ij+(1-p)(e_v)_ij，所有第j列插补数据的总偏差为

$\Σ{\left(e_H\right)}_{ij}^2=\Σ\[{\left(p{\left(e_s\right)}_{ij}\right)}^2+2p\left(1-p\right){\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}+{\left(\left(1-p\right){\left(e_v\right)}_{ij}\right)}^2\]$

步骤5：最小化上述总偏差，可以得到

$p_j=\min \left(max\left(\frac{\Σ{\left(e_s\right)}_{ij}^2-\Σ{\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}}{\Σ{\left(e_s\right)}_{ij}^2-2\Σ{\left(e_s\right)}_{ij}{\left(e_v\right)}_{ij}+\Σ{\left(e_v\right)}_{ij}^2},0\right),1\right)$

步骤6：将步骤3中的填充算法应用于原始数据集，获得原始数据集中缺失值的插补值为和并与步骤5所得各个模型的权重相乘，获得最终的插补值，其中第i行j列的插补值为 $p_j*z_{ij}^s+(1-p_j)*z_{ij}^v,i=1...900,j=1,2,3.$

Claims (5)

1.一种对电力系统中的缺失数据进行插补的方法，其特征在于，所述方法提供一种对电力系统中的缺失数据进行插补的复合模型，具体包括下列步骤：

步骤1：对所收集的原始记录数据进行数据分类，分为完全数据和不完全数据；

步骤2：利用得到的完全数据产生新的不完全数据作为样本集；

步骤:3：分别使用基于链式方程的多元插补算法和基于随机森林的缺失值插补算法对新产生的不完全数据进行数据填充；

步骤4：计算步骤2中各算法得到的每个填充数据与相应的真实数据之间的偏差，将各算法所得的每个填充数据对应的偏差进行线性组合，计算该线性组合的偏差的平方并加所有填充数据的平方偏差；

步骤5：最小化所有填充数据的平方偏差，获得各个算法在组合模型中所占的权重；

步骤6：将步骤3中的填充算法应用于原始数据集，获得原始数据集中缺失值的插补值，并与步骤5所得各个模型的权重相乘，获得最终的插补值。

2.根据权利要求1所述的一种对电力系统中的缺失数据进行插补的方法，其特征在于，所述链式方程的多元填充算法可以进行多元插补，并且可以针对混合类型的数据进行插补。

3.根据权利要求1所述的一种对电力系统中的缺失数据进行插补的方法，其特征在于，随机森林算法通过平均许多为剪枝的分类或者回归树随机深林来进行缺失数据的插补，该算法可以同时处理混合类型的数据。

4.根据权利要求1所述的一种对电力系统中的缺失数据进行插补的方法，其特征在于，随机森林插补算法在插补缺失值之后，采用归一化的均方根误差评估插补值的优劣

其中是X^true完全数据矩阵，X^imp是插补数据矩阵。

5.根据权利要求1所述的一种对电力系统中的缺失数据进行插补的复合模型，其特征在于，针对第j个变量的权系数p_j采用不等权组合的方差倒数组合预测法进行计算：

其中，(e_s)_ij和(e_v)_ij分别是链式方程的多元插补算法和随机森林的插补算法所得的第i行第j列的插补值与对应的真实值之间的偏差。