CN111639882B - 一种基于深度学习的用电风险的判定方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的用电风险的判定方法，分为历史数据清洗及缺失值补全、风险判定模型建立及检测、用电预测及风险判断三个步骤，历史数据清洗及缺失值补全使用了期望最大化算法对缺失的数据进行插补，风险判定模型建立及检测根据历史数据样本采用FCM模糊聚类算法对数据集特征进行处理，并提取各特征权重，模型数据；最后，根据各特征权重，预测用电量情况，并按照判定原则给与预测数据判定结果。本发明将大数据分析、神经网络和电力营销领域相结合，提升了用电量预测能力，以及用电风险的监控能力。

Description

一种基于深度学习的用电风险的判定方法

技术领域

本发明基于深度学习技术，运用电力营销及稽查领域，具体是一种基于深度学习的用电风险的判定方法。

背景技术

在人工智能大背景下，单纯的依靠人力去发现用电异常行为已经过时，如何通过大数据以及深度学习来实现用电风险行为的分析，部分单位先后开展了电量预测方面以的应用研究，但各个单位相关工作开展的水平不一，用电量的预测结果也不够理想，同时用电量的作用还只是用于辅助电费的收缴，目前需要充分运用电量信息加强设备，营销稽查管理的作用，建立一套电量预测及快速分析异常情况的方法，提高设备使用率以及营销的风险管控管理。

目前，对于缺失值的补全主要是均值插补、热卡填充以及聚类填充几种。但是对于大样本量以及复杂度高的数据这些方法填补的数据准确度较低，不能保证样本数据的准确性。

现有的风险判定等级模式所使用的方式通过基于业务专家设计判定规则，规则指出用户是否属于淘汰落后产能，当月欠费情况，年内违约金记录，是否大电量用户，用户行业类别，用户缴费方式，用户缴费频率，预付费到账情况，用户缴费额度，月度费控余额情况，用户用电行为等多个方面。根据规则检验给出主要的风险特征，并对各种特征排序后按照重要性程度，判断待判定户号的风险等级。该方法完全基于经验，并不能根据实际情况全面的做到控制和调整，全方位多角度判定用电风险等级。

发明内容

本发明的目的是提供一种基于深度学习的用电风险的判定方法，利用最新的深度学习数据分析技术，解决传统方法在电量预测及异常用电预警中存在的一些缺陷，构建一个结构清晰，高精度和高鲁棒性的数据分析解决方案，从而提高用电风险判定结果。

本发明的目的通过以下技术方案实现：

一种基于深度学习的用电风险的判定方法，其特征在于：包括结合深度学习神经网络，对历史数据清洗及缺失值补全；风险判定模型建立及检测；用电预测及风险判断三个过程；

其中历史数据清洗及缺失值采用期望最大化算法进行补全，首先根据参数初始值来计算出期望值，然后将似然函数最大化以或得新的参数值，重复两个步骤直至收敛，最后将估算的值对缺失的数据进行插补；

风险特征权重的获取是根据历史数据集样本采用FCM模糊聚类算法提取，首先指定聚类类别数，更新划分矩阵，当变化不大的时候则停止迭代，否则循环；对数据集特征处理，获得各特征权重，处理数据集获得建模数据；

预测用户用电量信息使用，结合风险相关各特征的数据，对数据预测数据的风险结果；风险判断是根据构成风险的各特征值的权重，以及某特定风险概率下的预期分析以及指定的风险概率翻倍的情况，获取待判定值所在判定区间，确定风险等级。

具体步骤如下：

步骤一、从电力计量系统自动化系统和营销系统有选择的抽取部分大用电用户数据用电信息以及关联特征信息。

步骤二、对数据进行数据预处理,包括数据清洗,缺失值处理，首先将清除毛刺数据，用空值替代，然后使用EM算法对缺失数据插值补全。设定初始化分布参数θ,按照EM算法步骤重复直至收敛。

E步骤：根据参数初始值θ₀或上一次迭代的模型参数θ_n来计算出隐性变量的后验概率，其实就是隐性变量的期望值Q函数；作为隐藏变量的现估计值：

M步骤：得到Q函数的极大值点，来作为第n+1次迭代所得到的参数估计值Q_n+1：

重复E步骤和M步骤直至收敛得到估算的数据，同时将新构建的数据集映射到缺失值的位置，做到缺失值补全，从而构建出样本数据集；

其中：观测数据Y＝(y₁,y₂,...,y_n)，不可观测数据Z＝(z₁,z₂,...,z_n)，模型参数θ＝(θ₀,θ₁,...θ_n)；

步骤三、采用步骤二的方法对用电量预测值进行填补。

步骤四、采用FCM模糊聚类算法对数据集特征处理，获得各特征权重，处理数据集获得建模数据。

FCM算法的具体流程如下：

1)、确定分类数c，指数m的值，确定迭代次数。

2)、初始化一个隶属度U(和为1)；

3)、根据U计算聚类中心C；

4)、这个时候可以计算目标函数J和约束条件

/>

5)、根据C返回去计算U，回到算法的3)步骤，直至循环结束得到特征权重。

其中J代表了目标函数；c代表了最后聚合的分类数目；n代表了数据集中的数据个数；U_ij代表了样本j属于类i的隶属度；x_j代表了数据集j的位置；c_i代表了类i的中心位置；m代表了样本的轻缓程度。

步骤五、创建风险判定计算公式，算取各特征对应的分值，最后得到预测待判定户号的情况，结合风险等级区间，并给出判定结果。

本发明基于数据量大、复杂度高的样本情况，提出一种提高缺失值补全精确度、提高风险特征权重估算准确度的方法，将大数据分析、神经网络和电力营销领域相结合，提升了用电量预测能力，以及用电风险的监控能力，构建一个结构清晰，高精度和高鲁棒性的数据分析解决方案，从而提高用电风险判定结果。

附图说明

图1本发明结构示意图。

具体实施方式

一种基于深度学习的用电风险的判定方法，包括结合深度学习神经网络，对历史数据清洗及缺失值补全；风险判定模型建立及检测；用电预测及风险判断三个过程，

其中历史数据清洗及缺失值采用期望最大化算法进行补全，首先根据参数初始值来计算出期望值，然后将似然函数最大化以或得新的参数值，重复两个步骤直至收敛，最后将估算的值对缺失的数据进行插补；

风险特征权重的获取是根据历史数据集样本采用FCM模糊聚类算法提取，首先指定聚类类别数，更新划分矩阵，当变化不大的时候则停止迭代，否则循环；对数据集特征处理，获得各特征权重，处理数据集获得建模数据；

预测用户用电量信息使用，结合风险相关各特征的数据，对数据预测数据的风险结果；风险判断是根据构成风险的各特征值的权重，以及某特定风险概率下的预期分析以及指定的风险概率翻倍的情况，获取待判定值所在判定区间，确定风险等级。

如图1所示，包括：

1、从电力计量系统自动化系统和营销系统有选择的抽取部分大用电用户数据用电信息以及关联特征信息。

2、对数据进行数据预处理,包括数据清洗,缺失值处理，首先将清除毛刺数据，用空值替代，然后使用EM算法对缺失数据插值补全。设定初始化分布参数θ,按照EM算法步骤重复直至收敛。

E步骤：根据参数初始值θ₀或上一次迭代的模型参数θ_n来计算出隐性变量的后验概率，其实就是隐性变量的期望值Q函数；作为隐藏变量的现估计值：

M步骤：得到Q函数的极大值点，来作为第n+1次迭代所得到的参数估

计值Q_n+1：

重复E步骤和M步骤直至收敛得到估算的数据，同时将新构建的数据集映射到缺失值的位置，做到缺失值补全，从而构建出样本数据集；

其中：观测数据Y＝(y₁,y₂,...,y_n)，不可观测数据Z＝(z₁,z₂,...,z_n)，模型参数θ＝(θ₀,θ₁,...θ_n)；

历史数据清洗及缺失值补全：

从历史数据中获取同地区，同运行容量的的用电企业样本数据7312个，缺失是数据499个，同时获取这7312个样本中无效信息数据，并从样本数据中删除无效数据值。对数据及训练200轮后得到无缺失值的矩阵。在做EM算法补齐数据之前，需对各变量进行正态分布检验。

面对多元正态性检验问题，由于多元正态随机向量P～N(μ,∑)，那么P与μ的马氏距离的平方服从自由度为p的卡方分布。通过验证显示P值大于0.05，变量服从正态分布。通过EM迭代算法的原理，首先计算不含缺失值的列均值来作为初始数据来补齐，并得到Σ的极大似然估计初始值。最后通过期望值计算估计值，并通过极大似然估计初始值不断校正μ,∑，直至收敛。通过比较未补齐之前数据与补齐后的数据，准确率提高0.13％。并与其他补齐方式比较，其准确率EM算法准确率最高。对于异常值处理方式采用描述性统计。缺失值补全后的数据作为样本查看其存在风险的样本比例远小于正常比例，只占5.78％小于10％，为了保证、准确性，对样本做平衡处理。然后用样本数据创建训练集和测试集：训练集用于建模；测试集用于检测模型准确性。

3、风险判定模型建立及检测，采用FCM模糊聚类算法对数据集特征处理，获得各特征权重，处理数据集获得建模数据。

FCM算法的具体流程如下：

1)、确定分类数c，指数m的值，确定迭代次数。

2)、初始化一个隶属度U(和为1)；

3)、根据U计算聚类中心C；

4)、这个时候可以计算目标函数J和约束条件

/>

5)、根据C返回去计算U，回到算法的3)步骤，直至循环结束得到特征权重。

其中J代表了目标函数；c代表了最后聚合的分类数目；n代表了数据集中的数据个数；U_ij代表了样本j属于类i的隶属度；x_j代表了数据集j的位置；c_i代表了类i的中心位置；m代表了样本的轻缓程度。

根据数据样本集情况可以获得样本特征15个，(1)当月是否欠费；(2)是否淘汰落后产能用户；(3)本年内有无违约金记录；(4)缴费方式；(5)是否大电量用户(暂定5万度以上为大电量)；(6)是否高风险行业(煤炭、造纸、土石开采)；(7)本年内违约金次数；(8)当前费控余额；(9)月度费空余额负值次数；(10)缴费频率；(11)负荷变化情况；(12)月预付费余额情况；(13)电子托收到账情况；(14)分次划拨到账情况；(15)违规用电、安全事故.采用FCM模糊聚类分析和卡方检验经过合并相似特征，对各类特征分析获取其概率。对数据集特征处理，获得各特征权重，处理数据集获得建模数据。

4、用电预测及风险判断

运用上述数据补全方式对数据集做数据预测，获取待预测户号的用电量信息。创建评分公式S＝A-B*log(o),其中S:评定结果；A:补偿值，指定特定风险概率下的预期分值；B权重，指定的风险概率翻倍的结果；o:风险可能性，不受特征值影响的截距。本例中A值8.03，B值为0.4，o值为-0.016547，最终得分为8.04。

采用该公式计算出各特征分类对应的风险判定结果值；最后通过参考值确定以及总分得到的值确定该户号是否存在风险；风险等级划分：风险概率P的分段界限值，将P值在[0,1]之间定义为高风险，在(1,6]之间定义为中风险，在(6,10]之间定义为低风险。

通过本发明方法，能非常可靠地获得数据期望值，并用于数据缺失值补全和数据预测，保证了样本数据准确性；通过聚类分析筛选出与风险最为关联紧密的5种特征类别，并根据数据集创建建模数据，提高了分析风险的精确性从而更好的实现用电风险的判定。

Claims (2)

1.一种基于深度学习的用电风险的判定方法，其特征在于：包括结合深度学习神经网络，对历史数据清洗及缺失值补全；风险判定模型建立及检测；用电预测及风险判断三个过程；

其中历史数据清洗及缺失值采用期望最大化算法进行补全，首先根据参数初始值来计算出期望值，然后将似然函数最大化以或得新的参数值，重复两个步骤直至收敛，最后将估算的值对缺失的数据进行插补；

风险特征权重的获取是根据历史数据集样本采用FCM模糊聚类算法提取，首先指定聚类类别数，更新划分矩阵，当变化不大的时候则停止迭代，否则循环；对数据集特征处理，获得各特征权重，处理数据集获得建模数据；

预测用户用电量信息使用，结合风险相关各特征的数据，对数据预测数据的风险结果；风险判断是根据构成风险的各特征值的权重，以及某特定风险概率下的预期分析以及指定的风险概率翻倍的情况，获取待判定值所在判定区间，确定风险等级；

具体步骤如下：

步骤一、从电力计量系统自动化系统和营销系统有选择的抽取部分大用电用户数据用电信息以及关联特征信息；

步骤二、对数据进行数据预处理,包括数据清洗,缺失值处理，首先将清除毛刺数据，用空值替代，然后使用EM算法对缺失数据插值补全；设定初始化分布参数θ₀,按照EM算法步骤重复直至收敛；

E步骤：根据参数初始值θ₀或上一次迭代的模型参数θ_n来计算出隐性变量的后验概率，

其实就是隐性变量的期望值Q函数；作为隐藏变量的现估计值：

M步骤：得到Q函数的极大值点，来作为第n+1次迭代所得到的参数估计值Q_n+1：

重复E步骤和M步骤直至收敛得到估算的数据，同时将新构建的数据集映射到缺失值的位置，做到缺失值补全，从而构建出样本数据集；

其中：观测数据Y＝(y₁,y₂,...,y_n)，不可观测数据Z＝(z₁,z₂,...,z_n)，模型参数θ＝(θ₀,θ₁,...θ_n)；

步骤三、采用步骤二的方法对用电量预测值进行填补；

步骤四、采用FCM模糊聚类算法对数据集特征处理，获得各特征权重，处理数据集获得建模数据；

FCM算法的具体流程如下：

1)、确定分类数c，指数m的值，确定迭代次数；

2)、初始化一个隶属度U；

3)、根据U计算聚类中心C；

4)、计算目标函数J和约束条件

5)、根据C返回去计算U，回到算法的3)步骤，直至循环结束得到特征权重；

其中J代表了目标函数；c代表了最后聚合的分类数目；n代表了数据集中的数据个数；U_ij代表了样本j属于类i的隶属度；x_j代表了数据集j的位置；c_i代表了类i的中心位置；m代表了样本的轻缓程度；

步骤五、创建风险判定计算公式，算取各特征对应的分值，最后得到预测待判定户号的情况，结合风险等级区间，并给出判定结果。

2.根据权利要求1所述的基于深度学习的用电风险的判定方法，其特征在于：运用数据补全方式对数据集做数据预测，获取待预测户号的用电量信息；创建评分公式：

S＝A-B*log(o)

其中S:评定结果；A:补偿值，指定特定风险概率下的预期分值；B权重，指定的风险概率翻倍的结果；o:风险可能性，不受特征值影响的截距；

采用该公式计算出各特征分类对应的风险判定结果值；最后通过参考值确定以及总分得到的值确定该户号是否存在风险；风险等级划分：风险概率P的分段界限值，将P值在[0,1]之间定义为高风险，在(1,6]之间定义为中风险，在(6,10]之间定义为低风险。

Images