CN112070121A - 一种基于变分自编码器的智能电表数据填补方法 - Google Patents

Abstract

本发明公开了一种基于变分自编码器的智能电表数据填补方法，具体按照以下步骤实施：以智能电表中获取的历史日负荷数据集为聚类样本进行聚类分析，得到具有不同用电特征的类型日即聚类结果；以聚类结果所含日期中的历史负荷数据为输入，生成基于VAE的海量日负荷曲线；建立离散曲线相似性的数学模型，通过与每个聚类中心比较选取与缺失数据日相似度最高的组，在相似度最高的组中找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线；通过改进的加权平均法处理相似历史日负荷曲线对应的数据，得到对应缺失数据预测值，实现缺失日智能电表负荷数据填补。能够通过历史负荷数据精确填补缺失数据。

Description

一种基于变分自编码器的智能电表数据填补方法

技术领域

本发明属于电气数据监测技术领域，具体涉及一种基于变分自编码器的智能电表数据填补方法。

背景技术

大量智能电表的部署和应用，使得电力公司能获取高频率、广覆盖且时标一致的配电网末端的实测数据。然而用户用电负荷数据的观测值受到各种因素的影响，在采集和传输中可能会出现缺失。这些数据的缺失对正确的建立负荷模型，挖掘智能电表数据内在关联和深层价值，为电力公司的商业运营、电网规划和运行维护等提供决策支持有很大的负面影响。因此在对智能电表数据进行分析前需要将这些缺失负荷数据有效的辨识出来并且进行相应的修正。

目前在智能电表缺失数据填补方面的研究较少，因此，需要提供一种或多种至少能够解决上述技术问题的技术方案。利用变分自编码器生成海量场景，通过加权平均算法填补智能电表缺失数据是目前文献中没有的。需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的是提供一种基于变分自编码器的智能电表数据填补方法，能够通过历史负荷数据精确填补缺失数据。

本发明采用的技术方案是，一种基于变分自编码器的智能电表数据填补方法，具体按照以下步骤实施：

步骤1、以智能电表中获取的历史日负荷数据集为聚类样本进行聚类分析，得到具有不同用电特征的类型日即聚类结果；

步骤2、以聚类结果所含日期中的历史负荷数据为输入，生成基于VAE 的海量日负荷曲线；

步骤3、建立离散曲线相似性的数学模型，通过与每个聚类中心比较选取与缺失数据日相似度最高的组，在相似度最高的组中找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线；

步骤4、通过改进的加权平均法处理相似历史日负荷曲线对应的数据，得到对应缺失数据预测值，实现缺失日智能电表负荷数据填补。

本发明的特点还在于：

步骤1具体过程为：

步骤1.1、从历史日负荷数据集中选取n个样本数据，从n个样本数据中随机选择其中的多个数据作为初始聚类中心对象；

步骤1.2、分别计算n个样本数据中每个对象与每个中心对象的距离，并根据最小距离把n个样本数据中每个对象划分到不同的组；

步骤1.3、得到分组后，计算聚类数，进而获得新的聚类中心对象；

步骤1.4、循环步骤1.2和步骤1.3的操作，直到中心对象不再发生变化或者差值在要求的范围内为止。

步骤1.3中计算聚类数过程为：采用轮廓系数作为选定最优聚类数评估标准；每个用户样本的轮廓系数SC表示为：

SC＝(b-a)/max{b,a}

其中，b为该样本与其他组内样本间最小平均距离，a为该样本与该样本所在组内样本平均距离，max{b,a}为a与b的最大值；

将求得的轮廓系数作为聚类数。

步骤2具体过程为：

步骤2.1、采用变分自编码器，定义生成网络为p_θ(x|z)，识别网络为q_φ(z|x)，以聚类结果所含日期中的历史负荷数据为输入，构建基于数据驱动的VAE 场景生成模型；

步骤2.2、将聚类结果所含日期中的历史负荷数据为输入输入基于数据驱动的VAE场景生成模型，生成基于VAE的海量日负荷曲线。

步骤2.1中VAE场景生成模型中，

VAE的最大化下界为：

通过识别模型q_φ(z|x)逼近观测数据后验概率p_θ(x|z)，采用KL散度 div_KL衡量这2个分布的相似程度；则有：

logp_θ(x⁽ⁱ⁾)＝div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+L(θ,φ；x⁽ⁱ⁾)

使用变分的思想优化下界L(θ,φ；x⁽ⁱ⁾)，由概率乘法得到：

L(θ,φ；x⁽ⁱ⁾)＝-div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z]

令q_φ(z|x)取独立高斯分布，p_θ(x|z)取标准正态分布，则由KL散度可计算如下：

E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z)]是关于x⁽ⁱ⁾后验概率的对数似然，通过蒙特卡洛抽样的方式可得：

如果每次只采样一个点，则有

该式形式与神经网络损失函数一致，假设p_θ(x|z)服从伯努利分布，则对应损失函数f_loss为互熵损失：

步骤3中离散曲线相似性的数学模型具体为离散Fréchet距离模型。

步骤3具体过程为：

步骤3.1、建立离散Fréchet距离模型；

步骤3.2、将数据缺失日负荷曲线作为基准曲线，分别找出基准曲线和基于VAE的海量日负荷曲线的至高点与至低点，将它们表示成 A＝<a₁,...,a_m>,B＝<b₁,...,b_n>，其中，a₁,...,a_m是基准曲线的m个至高点或至低点，b₁,...,b_n是基于VAE的海量日负荷曲线的n个至高点或至低点，且m≤n，若n-m＞2则认为它们不相似，否则执行下一步；

步骤3.3、以峰值点少的曲线为基准，将峰值点多的曲线划分成m步，划分时保证同一时刻的曲线A和曲线B的峰值相互对应，即a_i只能对应空或者与b_i-1，b_i，b_i+1，之中的某个峰值点对应，假设有K种划分，每一种划分W_j＝{(A_i,B_i)},(1≤i≤m,1≤j≤k)；

步骤3.4、在每一种划分中，先计算出每一步中所有对应点之间的最大距离，再求出这种划分的所有步中的最大距离中的最大值；

步骤3.5、找出所有划分中的距离的最小值，则为基准曲线和基于VAE 的海量日负荷曲线之间的离散Fréchet距离；

步骤3.6、分别得到至高点和至低点的最小离散Fréchet距离，让两个最小距离相减，如果结果的绝对值小于一个特定的阈值ε，则两条曲线相似，找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线。

步骤4中改进的加权平均法公式为：

其中，n为合成负荷数据数，Q_i为权重，由第i个历史负荷数据相似度决定。

权重Q_i的计算过程为：

将十条与缺失数据日负荷曲线形状相似的曲线上的数据根据同一时间对应的数据进行相加平均，得到平均数据

计算得出需要加权平均处理的数据与对应的平均数据

之间的相对距离D_j，

根据各数据的相对距离D_j，求出各数据的支持度Sup_j，

将同一时刻对应的历史日负荷曲线上各数据的支持度进行归一化处理，得出每个数据的可信度权值s_j，

对可信度权值进行修正，得到最终用于加权平均的权值Q_j：

本发明的有益效果是：

本发明一种基于变分自编码器的智能电表数据填补方法，一方面，对历史负荷数据进行聚类后，通过VAE生成海量场景，能够更直观的分析各类型日负荷数据，便于获取相似日负荷场景；另一方面，使用改进的加权平均算法相较于直接求取平均值等方法可以使填补数据更精确。

附图说明

图1为本发明一种基于变分自编码器的智能电表数据填补方法流程图；

图2为本发明实施例中聚类后各类内负荷的聚类中心示意图；

图3为本发明实施例中聚类后各类内日负荷场景图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于变分自编码器的智能电表数据填补方法，如图1所示，具体按照以下步骤实施：

步骤1、以智能电表中获取的历史日负荷数据集为聚类样本进行聚类分析，得到具有不同用电特征的类型日即聚类结果；

通过对历史日负荷数据进行K-Means聚类分析:

K-Means聚类算法的主要思想是将以日为单位的负荷数据作为聚类样本，通过聚类把所有的日期划分到多个不同的类中，通过逐次迭代从而使得目标函数最小，使得最终生成的各个类别中的对象尽可能地相似而与其它类中的对象又尽可能地相异。K-means算法采用距离作为相似性的评价指标：两个对象的距离越近，就认为其相似度就越大，把距离最近的对象聚集为一个簇。算法最终目标是使所有类的平方误差和最小，得到紧凑并且独立的簇。

步骤1具体过程为：

步骤1.1、从历史日负荷数据集中选取n个样本数据，从n个样本数据中随机选择其中的多个数据作为初始聚类中心对象；

令历史负荷数据集X＝{x_i}，i＝1,2,...,n表示负荷数据集中需要进行聚类的n个历史日负荷数据，将n个历史日负荷数据分为k个负荷类型，每个对象的维度为d。

步骤1.2、分别计算n个样本数据中每个对象与每个中心对象的距离，并根据最小距离把n个样本数据中每个对象划分到不同的组；

K-means算法将数据集X进行划分，使得类中心与类内每一个对象的误差平方最小公式为：

其中，c_k为第k类的数据集合，α_k为类c_k的类中心，x_i为第i个日负荷样本数据x。

步骤1.3、得到分组后，计算聚类数，进而获得新的聚类中心对象；在应用聚类方法将聚类样本进行细化分组之前，需要设置适当的聚类数；计算聚类数过程为：采用轮廓系数作为选定最优聚类数评估标准；每个用户样本的轮廓系数SC表示为：

SC＝(b-a)/max{b,a}

其中，b为该样本与其他组内样本间最小平均距离，a为该样本与该样本所在组内样本平均距离，max{b,a}为a与b的最大值；

将求得的轮廓系数作为聚类数。

步骤1.4、循环步骤1.2和步骤1.3的操作，直到中心对象不再发生变化或者差值在要求的范围内为止。

步骤2、以聚类结果所含日期中的历史负荷数据为输入，生成基于VAE 的海量日负荷曲线；

步骤2具体过程为：

步骤2.1、采用变分自编码器，若真实样本x与潜变量z(z∈R)存在特殊的映射关系，为使生成场景更加合理，则潜变量必须服从单位正态高斯分布。采用VAE生成场景时，定义生成网络为p_θ(x|z)，识别网络为q_φ(z|x)，以聚类结果所含日期中的历史负荷数据为输入，构建基于数据驱动的VAE场景生成模型；

VAE场景生成模型中，

VAE的最大化下界为：

通过识别模型q_φ(z|x)逼近观测数据后验概率p_θ(x|z)，采用KL散度 div_KL衡量这2个分布的相似程度；则有：

logp_θ(x⁽ⁱ⁾)＝div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+L(θ,φ；x⁽ⁱ⁾)

使用变分的思想优化下界L(θ,φ；x⁽ⁱ⁾)，由概率乘法得到：

L(θ,φ；x⁽ⁱ⁾)＝-div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z]

令q_φ(z|x)取独立高斯分布，p_θ(x|z)取标准正态分布，则由KL散度可计算如下：

E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z)]是关于x⁽ⁱ⁾后验概率的对数似然，通过蒙特卡洛抽样的方式可得：

如果每次只采样一个点，则有

该式形式与神经网络损失函数一致，假设p_θ(x|z)服从伯努利分布，则对应损失函数f_loss为互熵损失：

步骤2.2、将聚类结果所含日期中的历史负荷数据为输入输入基于数据驱动的VAE场景生成模型，生成基于VAE的海量日负荷曲线。

步骤3、建立离散曲线相似性的数学模型，通过与每个聚类中心比较选取与缺失数据日相似度最高的组，在相似度最高的组中找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线；

离散曲线相似性的数学模型具体为离散Fréchet距离模型。

步骤3具体过程为：

步骤3.1、建立离散Fréchet距离模型；

离散Fréchet距离的定义如下：

给定一个有n个至高点的多边形链P＝{P₁,P₂,...P_n}，一个沿着P的k 步，分割P的至高点成为k个不相交的非空子{P_i}_i＝1,...k，使得

和1＝n₀＜n₁＜...＜n_k＝n。

给定两个多边形链A＝<a₁,...,a_m>,B＝<b₁,...,b_n>，一个沿着A和B的组合步是一个沿着A的k步{A_i}_i＝1,...,k和一个沿着B的K步{B_i}_i＝1,...,k组成，使得对于1≤i≤k,且A_i，B_i中有一个恰好包含一个至高点。

一个沿着链A和B的组合步W_j＝{(A_i,B_i)}的花费为：

其中，dist(a,b)为a,b间的欧式距离，则链A和B间的离散Fréchet距离为：

设A＝<a₁,...,a_m>,B＝<b₁,...,b_n>组成的曲线，称d¹ _F(A,B)为它们的至高点间的离散Fréchet距离，d² _F(A,B)为它们的至低点间的离散Fréchet 距离；如果对于给定的值ε，如果A,B相似，则|d¹ _F(A,B)-d² _F(A,B)|≤ε，否则称它们不相似。

步骤3.2、将数据缺失日负荷曲线作为基准曲线，分别找出基准曲线和基于VAE的海量日负荷曲线的至高点与至低点，将它们表示成 A＝<a₁,...,a_m>,B＝<b₁,...,b_n>，其中，a₁,...,a_m是基准曲线的m个至高点或至低点，b₁,...,b_n是基于VAE的海量日负荷曲线的n个至高点或至低点，且m≤n，若n-m＞2则认为它们不相似，否则执行下一步。

步骤3.3、以峰值点少的曲线为基准，将峰值点多的曲线划分成m步，划分时保证同一时刻的曲线A和曲线B的峰值相互对应，即a_i只能对应空或者与b_i-1，b_i，b_i+1，之中的某个峰值点对应，假设有K种划分，每一种划分W_j＝{(A_i,B_i)},(1≤i≤m,1≤j≤k)；

步骤3.4、在每一种划分中，先计算出每一步中所有对应点之间的最大距离，再求出这种划分的所有步中的最大距离中的最大值；

步骤3.5、找出所有划分中的距离的最小值，则为基准曲线和基于VAE 的海量日负荷曲线之间的离散Fréchet距离；

步骤3.6、分别得到至高点和至低点的最小离散Fréchet距离，让两个最小距离相减，如果结果的绝对值小于一个特定的阈值ε，则两条曲线相似，找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线。

步骤4、通过改进的加权平均法处理相似历史日负荷曲线对应的数据，得到对应缺失数据预测值，实现缺失日智能电表负荷数据填补；

其中，改进的加权平均法公式为：

其中，n为合成负荷数据数，Q_i为权重，由第i个历史负荷数据相似度决定。

权重Q_i的计算过程为：

将十条与缺失数据日负荷曲线形状相似的曲线上的数据根据同一时间对应的数据进行相加平均，得到平均数据

计算得出需要加权平均处理的数据与对应的平均数据

之间的相对距离D_j，

根据各数据的相对距离D_j，求出各数据的支持度Sup_j，

将同一时刻对应的历史日负荷曲线上各数据的支持度进行归一化处理，得出每个数据的可信度权值s_j，

对确定的可信度权值进行修正，得到最终用于加权平均的权值Q_j：

实施例

对东北某电网的负荷数据进行提取，通过上述方法对其进行聚类和场景生成，聚类后各类内负荷的聚类中心如图2所示，得到四个簇，聚类后各类内日负荷场景如图3所示，从每个簇中分别选取了七条原始数据曲线，分别对其设置了不同的缺失数据时间段，即每日共获取96个时刻的数据，每隔15分钟一个，分别对这七条曲线设置0：00到1：00、3：00到4：00、6：00到7：00等不同的缺失时间段，表1所示为其中某两条曲线的填补效果，曲线一的缺失时间段为0：00到1：00，曲线二的缺失时间段为3：00到4：00；

表1

将填补数据与相应原始数据对比的误差用平均绝对百分比(MAPE) 衡量，

MAPE为0证明该模型为完美模型，即 MAPE值越小填补数据越精确，对上述实施例求取MAPE值，如表2所示：

表2

曲线1

曲线2

曲线3

曲线4

曲线5

曲线6

曲线7

簇一

2.21％

4.07％

3.43％

3.12％

2.45％

4.13％

2.83％

簇二

4.15％

2.31％

2.08％

3.52％

2.54％

3.06％

3.31％

簇三

2.61％

3.21％

3.57％

2.32％

2.37％

3.26％

3.42％

簇四

4.23％

3.42％

2.93％

3.45％

2.76％

4.31％

2.27％

由表2中数据可知，在不同的时段对不同的曲线进行数据填补都能得到很好的效果。

通过上述方式，本发明一种基于变分自编码器的智能电表数据填补方法，通过以智能电表中获取的历史日负荷数据为聚类样本进行聚类分析，得到具有不同用电特征的类型日即聚类结果；以聚类结果所含日期中的历史负荷数据为输入，生成基于VAE的海量日负荷曲线；通过与聚类中心比较选取与缺失数据日相似度最高的簇，。建立离散曲线相似性的数学模型，找出十条与缺失数据日负荷曲线形状相似的历史日负荷曲线；通过改进的加权平均法处理相似历史日负荷数据，得到对应缺失数据预测值，实现缺失日智能电表负荷数据填补。

Claims (9)

1.一种基于变分自编码器的智能电表数据填补方法，其特征在于，具体按照以下步骤实施：

步骤1、以智能电表中获取的历史日负荷数据集为聚类样本进行聚类分析，得到具有不同用电特征的类型日即聚类结果；

步骤2、以聚类结果所含日期中的历史负荷数据为输入，生成基于VAE的海量日负荷曲线；

步骤3、建立离散曲线相似性的数学模型，通过与每个聚类中心比较选取与缺失数据日相似度最高的组，在相似度最高的组中找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线；

步骤4、通过改进的加权平均法处理相似历史日负荷曲线对应的数据，得到对应缺失数据预测值，实现缺失日智能电表负荷数据填补。

2.根据权利要求1所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤1具体过程为：

步骤1.1、从历史日负荷数据集中选取n个样本数据，从n个样本数据中随机选择其中的多个数据作为初始聚类中心对象；

步骤1.2、分别计算n个样本数据中每个对象与每个中心对象的距离，并根据最小距离把n个样本数据中每个对象划分到不同的组；

步骤1.3、得到分组后，计算聚类数，进而获得新的聚类中心对象；

步骤1.4、循环步骤1.2和步骤1.3的操作，直到中心对象不再发生变化或者差值在要求的范围内为止。

3.根据权利要求1所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤1.3中所述计算聚类数过程为：采用轮廓系数作为选定最优聚类数评估标准；每个用户样本的轮廓系数SC表示为：

SC＝(b-a)/max{b,a}

其中，b为该样本与其他组内样本间最小平均距离，a为该样本与该样本所在组内样本平均距离，max{b,a}为a与b的最大值；

将求得的轮廓系数作为聚类数。

4.根据权利要求1所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤2具体过程为：

步骤2.1、采用变分自编码器，定义生成网络为p_θ(x|z)，识别网络为q_φ(z|x)，以聚类结果所含日期中的历史负荷数据为输入，构建基于数据驱动的VAE场景生成模型；

步骤2.2、将聚类结果所含日期中的历史负荷数据为输入输入基于数据驱动的VAE场景生成模型，生成基于VAE的海量日负荷曲线。

5.根据权利要求4所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤2.1中所述VAE场景生成模型中，

VAE的最大化下界为：

通过识别模型q_φ(z|x)逼近观测数据后验概率p_θ(x|z)，采用KL散度div_KL衡量这2个分布的相似程度；则有：

logp_θ(x⁽ⁱ⁾)＝div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+L(θ,φ；x⁽ⁱ⁾)

使用变分的思想优化下界L(θ,φ；x⁽ⁱ⁾)，由概率乘法得到：

L(θ,φ；x⁽ⁱ⁾)＝-div_KL(q_φ(z|x⁽ⁱ⁾),p_θ(z|x⁽ⁱ⁾))+E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z]

令q_φ(z|x)取独立高斯分布，p_θ(x|z)取标准正态分布，则由KL散度可计算如下：

E_qφ(z|x)[logp_θ(x⁽ⁱ⁾|z)]是关于x⁽ⁱ⁾后验概率的对数似然，通过蒙特卡洛抽样的方式可得：

如果每次只采样一个点，则有

该式形式与神经网络损失函数一致，假设p_θ(x|z)服从伯努利分布，则对应损失函数f_loss为互熵损失：

6.根据权利要求1所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤3中所述离散曲线相似性的数学模型具体为离散Fréchet距离模型。

7.根据权利要求6所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤3具体过程为：

步骤3.1、建立离散Fréchet距离模型；

步骤3.2、将数据缺失日负荷曲线作为基准曲线，分别找出基准曲线和基于VAE的海量日负荷曲线的至高点与至低点，将它们表示成A＝<a₁,...,a_m>,B＝<b₁,...,b_n>，其中，a₁,...,a_m是基准曲线的m个至高点或至低点，b₁,...,b_n是基于VAE的海量日负荷曲线的n个至高点或至低点，且m≤n，若n-m＞2则认为它们不相似，否则执行下一步；

步骤3.3、以峰值点少的曲线为基准，将峰值点多的曲线划分成m步，划分时保证同一时刻的曲线A和曲线B的峰值相互对应，即a_i只能对应空或者与b_i-1，b_i，b_i+1，之中的某个峰值点对应，假设有K种划分，每一种划分W_j＝{(A_i,B_i)},(1≤i≤m,1≤j≤k)；

步骤3.4、在每一种划分中，先计算出每一步中所有对应点之间的最大距离，再求出这种划分的所有步中的最大距离中的最大值；

步骤3.5、找出所有划分中的距离的最小值，则为基准曲线和基于VAE的海量日负荷曲线之间的离散Fréchet距离；

步骤3.6、分别得到至高点和至低点的最小离散Fréchet距离，让两个最小距离相减，如果结果的绝对值小于一个特定的阈值ε，则两条曲线相似，找出十条与缺失数据日负荷曲线形状相似的曲线作为历史日负荷曲线。

8.根据权利要求1所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，步骤4中所述改进的加权平均法公式为：

其中，n为合成负荷数据数，Q_i为权重，由第i个历史负荷数据相似度决定。

9.根据权利要求8所述一种基于变分自编码器的智能电表数据填补方法，其特征在于，权重Q_i的计算过程为：

将十条与缺失数据日负荷曲线形状相似的曲线上的数据根据同一时间对应的数据进行相加平均，得到平均数据

计算得出需要加权平均处理的数据与对应的平均数据

之间的相对距离D_j，

根据各数据的相对距离D_j，求出各数据的支持度Sup_j，

将同一时刻对应的历史日负荷曲线上各数据的支持度进行归一化处理，得出每个数据的可信度权值s_j，

对可信度权值进行修正，得到最终用于加权平均的权值Q_j：

Images