CN110929843A - 一种基于改进深度自编码网络的异常用电行为辨识方法 - Google Patents

Abstract

本发明涉及一种基于改进深度自编码网络的异常用电行为辨识方法，将用户的用电数据作为训练样本，由自编码网络逐层自动地学习数据的有效特征，并以网络参数的形式保存。为了改善自编码网络的特征提取能力与鲁棒性，分别引入稀疏项限制和噪声编码，并利用粒子群算法对网络的超参数进行自适应的选取以提高模型的学习效率和泛化能力。当测试样本存在异常用电行为时，用电数据的特征规则遭到破坏，因此自编码网络对异常数据重构将产生较大的误差，以此判定是否存在异常行为。改进的深度自编码网络可实现无监督异常用电行为的辨识，且具有检测准确度高、训练时间短和鲁棒性强等优点。

Description

一种基于改进深度自编码网络的异常用电行为辨识方法

技术领域

本发明涉及电数据分析、处理以及挖掘技术领域，特别是一种基于改进深度自编码网络的异常用电行为辨识方法。

背景技术

电力用户用电行为主要包括生产性、技术性和异常三大类。其中生产性行为是其生产计划的实施造成的用电变化，技术性是线路和变压器损耗等可计算损耗，而异常因素通常指电力用户的窃电、欺诈等异常用电行为。

传统的用户异常用电检测方法主要依靠技术人员现场筛查，费时费力且增加了运营成本。随着智能电网的发展以及远程用电信息采集系统的建立，可以通过分析用电信息数据来检测异常用电行为，常用的方法如支持向量机、人工神经网络、决策树等。随着配用电数据量的迅速增长，各类数据信息已呈现出高复杂度、高冗余度的特点，为了充分利用历史数据实现异常用电行为的精准检测，国内外均做了许多探索，如基于系统状态的检测方法，通过计算每个节点的状态向量，并注入条件深度置信网络进行异常数据的入侵检测。这一方法依赖于固定的配电网详细拓扑结构和参数，当系统节点连接发生变化时需要重新训练模型，适应性差。利用随机权网络构建随机森林模型，并通过稀疏编码对模型稀疏化以实现对异常用电数据的分类。这一方法需要带标签的数据集提供训练样本，费时费力。通过模糊C均值聚类和主成分分析计算用户的用电特征，再由高斯核函数计算用户的离群程度以确定异常用电行为，其主成分分析的特征降维容易丢失原始信息，且聚类方法的分类效果对参数的依赖性太强。

发明内容

有鉴于此，本发明的目的是提供一种基于改进深度自编码网络的异常用电行为辨识方法，能够实现对用户异常用电行为的辨识。

本发明采用以下方案实现：一种基于改进深度自编码网络的异常用电行为辨识方法，包括以下步骤：

步骤S1：构建深度自编码网络；

步骤S2：用粒子群算法优化深度自编码网络中各层网络的隐含层节点数，以及稀疏自编码器的稀疏系数，得到改进深度自编码模型；

步骤S3：将用户的用电数据作为训练样本，所述改进深度自编码网络逐层自动地学习所述训练样本的有效特征，并进行数据重构，设定重构误差阈值；

步骤S4：对于异常用电行为，异常客户用电数据的特征规则遭到破坏，所述改进深度自编码网络对异常客户用电数据进行重构时将产生误差，以此判定是否存在异常行为。

进一步地，所述步骤S1具体包括以下内容：

在第一、二级自编码器中分别引入稀疏项限制，分别构成两个稀疏自编码器；在第三级自编码器的输入信号中融入噪声鲁棒性约束，构成降噪自编码器；两个稀疏自编码器和一个降噪自编码器采用贪婪训练的方式堆叠而成，将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数。

进一步地，所述在第一、二级自编码器中分别引入稀疏项限制，构建稀疏自编码器的具体内容为：

稀疏自动编码器要求隐藏层神经元的激活度满足稀疏性；令H_m(x)表示隐藏层上第m个神经元的激活度，则有：

其中

表示隐藏层上第m个神经元在样本数据集S＝{x⁽ⁱ⁾}_i＝N上的平均激活度；为了保证隐藏层上的神经元满足稀疏性限制，要求：

其中ρ为稀疏参数，通常ρ≈0；当

较大时，则进行如下调整：

进而得到稀疏自编码器的损失函数为：

其中β为稀疏性惩罚项的权重系数。

进一步地，所述在第三级自编码器的输入信号中融入噪声鲁棒性约束，构建降噪自编码器的具体内容为：

对原始输入数据x随机加入噪声干扰得到干扰信号

通过编码函数将

映射到隐藏层，得到隐藏层的特征表达，然后由解码函数将该特征表达映射到输出层得到重构信号；如果输出信号能够保持原始输入数据的信息，那么该网络便具有强壮的鲁棒性；降噪自编码器的损失函数表示为：

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：对用电数据样本进行归一化处理；

步骤S22：粒子群优化算法的参数初始化，设定学习因子c、种群数目N、最高迭代次数K_max和惯性权重ω；

步骤S23：对样本进行预估建模，即将用电数据作为样本训练自编码网络；并根据损失函数计算每个粒子的适应度函数；

步骤S24：根据粒子适应度更新个体、群体极值；

步骤S25：判断是否满足循环终止条件，即网络循环迭代次数小于K_max若满足，则得到最优深度自编码参数值；否则，返回步骤步骤S23；

步骤S26：基于最优参数组合，更新自编码网络的超参数，得到改进的模型。

进一步地，步骤S3中所述设定重构误差阈值的具体内容为：将若干组用电数据输入到训练后的改进深度自编码网络，得到每一组数据重构误差，则阈值＝(误差的平均值+误差的均方差)*1.2。

与现有技术相比，本发明具有以下有益效果：

本发明提出在自编码网络中分别引入稀疏项限制和噪声编码，并利用粒子群算法对网络的超参数进行自适应的选取；将改进的深度自编码网络对用户的用电数据进行特征提取与重构，通过比较重构误差以实现异常用电行为的自动辨识，并具有强壮的鲁棒性和强大的特征提取能力。

附图说明

图1为本发明实施例的自编码网络的结构图。

图2为本发明实施例的降噪自编码网络结构图。

图3为本发明实施例的深度自编码网络结构图。

图4为本发明实施例的粒子群优化自编码网络超参数的流程图。

图5为本发明实施例的基于深度自编码网络异常用电行为辨识的技术路线图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例还提供一种基于改进深度自编码网络的异常用电行为辨识方法，包括以下步骤：

步骤S1：构建深度自编码网络；

步骤S2：用粒子群算法优化深度自编码网络中各层网络的隐含层节点数，以及稀疏自编码器的稀疏系数，得到改进深度自编码模型；

步骤S3：将用户的用电数据作为训练样本，所述改进深度自编码网络逐层自动地学习所述训练样本的有效特征，并进行数据重构，设定重构误差阈值；

步骤S4：对于异常用电行为，异常客户用电数据的特征规则遭到破坏，所述改进深度自编码网络对异常客户用电数据进行重构时将产生误差，以此判定是否存在异常行为。

在本实施例中，所述步骤S1具体包括以下内容：

现有深度自编码网络由三个自编码器采用贪婪训练的方式堆叠而成，即将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数。在本实施例，对于改进的深度自编码网络是在第一、二级自编码器中分别引入稀疏项限制，分别构成两个稀疏自编码器；在第三级自编码器的输入信号中融入噪声鲁棒性约束，构成降噪自编码器；两个稀疏自编码器和一个降噪自编码器采用贪婪训练的方式堆叠而成，将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数。

较佳的，在本实施例中自编码网络由编码器和解码器两部分组成，如附图1所示。其特点是不需要输入的标签信息，网络的输出是对输入的重构，通过二者的误差值对网络参数进行反馈调整，能够自动学习原始数据的特征表达。

编码和解码的过程可用如下式描述：

式中：x和

为输入和输出数据；y为网络学习的特征表达；W₁和W₂分别为编码和解码网络的权重；b₁和b₂分别表示隐含层单元偏置和输出层单元偏置；f表示激活函数，通常选用Sigmoid函数，其具有连续可导的性质，提高了特征识别度。

在本实施例中，所述在第一、二级自编码器中分别引入稀疏项限制，构成稀疏自编码器的具体内容为：

稀疏自动编码器要求隐藏层神经元的激活度满足稀疏性；令H_m(x)表示隐藏层上第m个神经元的激活度，则有：

其中

表示隐藏层上第m个神经元在样本数据集S＝{x⁽ⁱ⁾}_i＝N上的平均激活度；为了保证隐藏层上的神经元满足稀疏性限制，要求：

其中ρ为稀疏参数，通常ρ≈0；当

较大时，则进行如下调整：

进而得到稀疏自编码器损失函数为：

其中β为稀疏性惩罚项的权重系数。

在本实施例中，所述在第三级自编码器的输入信号中融入噪声鲁棒性约束，构成降噪自编码器的具体内容为：

降噪自编码器是在输入信号中加入噪声鲁棒性约束，要求隐藏层神经元的表达对输入的噪声干扰具有一定的鲁棒性，其基本结构如附图2所示。对原始输入数据x随机加入噪声干扰得到干扰信号

通过编码函数将

映射到隐藏层，得到隐藏层的特征表达，然后由解码函数将该特征表达映射到输出层得到重构信号；如果输出信号能够有效保持原始输入数据的信息，那么该网络便具有很好的鲁棒性；降噪自编码器的损失函数表示为：

较佳的，在本实施例中，深度自编码网络由两个稀疏自编码器和一个降噪自编码器采用贪婪训练的方式堆叠而成，将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数，其结构如附图3所示。训练多层神经网络存在梯度弥散问题，即当使用反向传播更新网络权重时，靠近输入端的传播梯度幅度值会急剧地减小，导致权重变化非常缓慢，难以从样本中进行有效的学习。而贪婪训练将深度学习的过程分为自下而上的无监督预训练和自上而下的有监督微调两部分，从而有效地解决了多层网络训练的弥散问题。

在本实施例中，通常利用穷举和对比方法以实现自编码网络的超参数优化，存在较强的主观性，缺乏理论支撑，耗时长且容易陷入局部最优。实际上超参数选择是一个动态优化过程，粒子群优化算法在处理多目标优化中能大概率地找到全局最优解，且计算效率高、鲁棒性好。因此，将深度自编码网络的重构误差作为网络超参数(即隐含层节点数以及稀疏系数)的多模态函数，通过粒子寻找误差的极小值以实现网络的优化。

粒子P的编码格式如表1所示，其中P_i表示隐藏层节点个数，P_t表示编码网络的稀疏系数，V表示粒子的更新速度，适应度fitness表示样本的平均重构误差。

表1粒子的编码格式

粒子编码P	更新速度V	适应度fitness
			P<sub>i1</sub>,P<sub>i2</sub>,…,P<sub>tn</sub>	V<sub>1</sub>,V<sub>2</sub>,...,V<sub>n</sub>	平均重构误差

如图4所示，所述步骤S2具体包括以下步骤即优化的具体步骤为：

步骤S21：对用电数据样本进行归一化处理；

步骤S22：粒子群优化算法的参数初始化，设定学习因子c、种群数目N、最高迭代次数K_max和惯性权重ω；

步骤S23：对样本进行预估建模，即将用电数据作为样本训练自编码网络；并根据损失函数计算每个粒子的适应度函数；

步骤S24：根据粒子适应度更新个体、群体极值；

步骤S25：判断是否满足循环终止条件，即网络循环迭代次数小于K_max若满足，则得到最优深度自编码参数值；否则，返回步骤步骤S23；

步骤S26：基于最优参数组合，更新自编码网络的超参数，得到改进的模型。

在本实施例中，步骤S3中所述设定重构误差阈值的具体内容为：将若干组用电数据输入到改进深度自编码网络，得到每一组数据重构误差，则阈值＝(误差的平均值+误差的均方差)*1.2。

较佳的，本实施例的技术路线如图5所示。选取用电数据的80％作为训练集，用于改进深度自编码网络的训练。剩余20％数据作为测试集，以检验模型的辨识准确度。本实施例利用深度自编码网络提取用电数据间的固有关系，以网络参数的形式保存，并最大限度地拟合输入数据。因此，正常样本数据得到的重构误差保持在一定的范围内，由稳定的重构误差可确定一个合理的阈值。当出现异常用电行为时，数据之间的关联被破坏，导致重构误差发生明显变化。因此，选择重构误差作为判定是否存在异常用电行为的标准。

另外，本实施例确定重构误差阈值的方法如下：改进深度自编码网络的参数优化完成后，将若干组正常用电数据输入编码网络，可得到每一组数据重构误差，则阈值＝(误差的平均值+误差的均方差)*1.2。

较佳的，本实施例深度自编码网络共有三级，在第一、二级自编码器分别引入稀疏项限制，构成稀疏自编码器；在第三级自编码器的输入信号中融入噪声鲁棒性约束，构成降噪自编码器。编码器的连接采用贪婪训练的方式，即将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数。最后由粒子群算法优化深度自编码网络中各层网络的隐含层节点数，以及稀疏自编码器的稀疏系数。将用户的用电数据作为训练样本，改进深度自编码网络逐层自动地学习数据的有效特征，并进行数据的重构与误差阈值的设定。通过比较测试样本的重构误差以判定是否存在异常行为。

较佳的，本实施例基于无监督的深度自编码通过深层学习用户用电数据内在的结构特征，提取用户数据内部蕴含的关系，并融入稀疏项限制和加噪编码以改善网络的特征提取能力与鲁棒性。采取逐层贪婪编码的方式进行预训练，解决了多层网络训练的弥散问题。并由粒子群算法优化神经网络的参数，保证了改进编码网络的学习效率和泛化能力。

较佳的，本实施例将用户的用电数据作为训练样本，由自编码网络逐层自动地学习数据的有效特征，并以网络参数的形式保存。为了改善自编码网络的特征提取能力与鲁棒性，分别引入稀疏项限制和噪声编码，并利用粒子群算法对网络的超参数进行自适应的选取以提高模型的学习效率和泛化能力。当测试样本存在异常用电行为时，用电数据的特征规则遭到破坏，因此自编码网络对异常数据重构将产生较大的误差，以此判定是否存在异常行为。改进的深度自编码网络可实现无监督异常用电行为的辨识，且具有检测准确度高、训练时间短和鲁棒性强等优点。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：包括以下步骤：

步骤S1：构建深度自编码网络；

步骤S2：用粒子群算法优化深度自编码网络中各层网络的隐含层节点数，以及稀疏自编码器的稀疏系数，得到改进的深度自编码模型；

步骤S3：将用户的用电数据作为训练样本，所述改进深度自编码网络逐层自动地学习所述训练样本的有效特征，并进行数据重构，设定重构误差阈值；

步骤S4：对于异常用电行为，异常客户用电数据的特征规则遭到破坏，所述改进深度自编码网络对异常客户用电数据进行重构时将产生误差，以此判定是否存在异常行为。

2.根据权利要求1所述的一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：所述步骤S1具体包括以下内容：

在第一、二级自编码器中分别引入稀疏项限制，分别构成两个稀疏自编码器；在第三级自编码器的输入信号中融入噪声鲁棒性约束，构成降噪自编码器；两个稀疏自编码器和一个降噪自编码器采用贪婪训练的方式堆叠而成，将编码器隐藏层的输出作为更高一级的输入，同时训练下一级的网络参数。

3.根据权利要求2所述的一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：所述在第一、二级自编码器中分别引入稀疏项限制，构建稀疏自编码器的具体内容为：

稀疏自动编码器要求隐藏层神经元的激活度满足稀疏性；令H_m(x)表示隐藏层上第m个神经元的激活度，则有：

其中

表示隐藏层上第m个神经元在样本数据集S＝{x⁽ⁱ⁾}_i＝N上的平均激活度；为了保证隐藏层上的神经元满足稀疏性限制，要求：

其中ρ为稀疏参数，通常ρ≈0；当

较大时，则进行如下调整：

进而得到稀疏自编码器的损失函数为：

其中β为稀疏性惩罚项的权重系数。

4.根据权利要求2所述的一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：所述在第三级自编码器的输入信号中融入噪声鲁棒性约束，构建降噪自编码器的具体内容为：

对原始输入数据x随机加入噪声干扰得到干扰信号

通过编码函数将

映射到隐藏层，得到隐藏层的特征表达，然后由解码函数将该特征表达映射到输出层得到重构信号；如果输出信号能够保持原始输入数据的信息，那么该网络便具有强壮的鲁棒性；降噪自编码器的损失函数表示为：

5.根据权利要求1所述的一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S21：对用电数据样本进行归一化处理；

步骤S22：粒子群优化算法的参数初始化，设定学习因子c、种群数目N、最高迭代次数K_max和惯性权重ω；

步骤S23：对样本进行预估建模，即将用电数据作为样本训练自编码网络；并根据损失函数计算每个粒子的适应度函数；

步骤S24：根据粒子适应度更新个体、群体极值；

步骤S25：判断是否满足循环终止条件，即网络循环迭代次数小于K_max若满足，则得到最优深度自编码参数值；否则，返回步骤步骤S23；

步骤S26：基于最优参数组合，更新自编码网络的超参数，得到改进的模型。

6.根据权利要求1所述的一种基于改进深度自编码网络的异常用电行为辨识方法，其特征在于：步骤S3中所述设定重构误差阈值的具体内容为：将若干组用电数据输入到改进深度自编码网络，得到每一组数据重构误差，则阈值＝(误差的平均值+误差的均方差)*1.2。

Images