CN108846410A - 基于稀疏自动编码深度神经网络的电能质量扰动分类方法 - Google Patents

Abstract

本发明公开了一种基于稀疏自动编码深度神经网络的电能质量扰动分类方法，包括以下步骤：对电能质量扰动原始数据集进行预处理；把预处理后的数据样本输入到堆栈式稀疏自动编码器中进行自动特征学习，得到特征表达；把提取到的特征表达传送给softmax分类器进行微调，对网络参数做进一步调整得到训练好的分类模型；将测试样本输入到分类模型中进行电能质量扰动分类。本发明能够准确地识别包含两种复合扰动在内的九种电能质量扰动信号，并且具有很好的鲁棒性。

Description

基于稀疏自动编码深度神经网络的电能质量扰动分类方法

技术领域

本发明涉及一种电能质量扰动分类方法，特别涉及一种基于稀疏自动编码深度神经网络的电能质量扰动分类方法。

背景技术

近年来，随着智能电网的快速发展和大量新能源发电装置与冲击性、非线性、波动性负荷接入电网，电力系统的电能质量问题日益突出，各种电能质量扰动事件对工业生产和居民生活造成非常严重的影响。另一方面随着科学技术的不断发展，越来越多的用电设备对电能质量提出了更高的要求，而电能质量扰动的准确识别和有效分类，能为电能质量的管理和治理提供辅助决策，对最终解决电能质量问题十分必要。

目前，国内外学者已经提出的电能质量扰动分类方法通常包括特征提取和扰动识别两个步骤。特征提取步骤主要对电能质量扰动波形信号进行变换和重构，然后从中提取出实现扰动分类的特征量。目前常用的特征提取方法包括快速傅里叶变换(FFT)、S变换、小波变换(WT)和希尔伯特–黄变换(HHT)等。其中FFT主要反映信号所分析时段上的整体信息，无法反映信号的局部特性。WT具有良好的时域局部化特征，但易受噪声影响，对低频扰动分析效果不明显，且小波基选择困难。与FFT和WT相比，S变换在时频表现更加直观，具有良好的时频分析和特征提取特性，高频部分的分解也更加细致，但S变换对信号奇异点的检测不敏感，且计算量大。HHT方法能自适应地分析非平稳信号，具有检测精度高，抗噪性能好的特点，但存在端点效应和模态混叠现象，而且经验模态分解不彻底会出现虚假分量，影响检测的准确性。扰动识别步骤主要用于确定扰动信号的类别，现有扰动识别方法有决策树(DT)、支持向量机(SVM)、聚类算法和人工神经网络(ANN)等。其中DT主要通过制定规则和模仿人类的逻辑思维完成分类，但某些类别的特征阈值确定易受噪声影响。SVM能识别的扰动种类较多且分类精度较高，但设计难度大且计算量也比较大。ANN结构简单，问题求解能力强，且可较好地处理噪声数据，但训练时间较长且准确性也有待提高。

上述特征提取方法已在电能质量扰动识别上取得较好结果，但是这些方法的实现均需要相关的先验知识，并且确定实现细节的过程通常需要重复的修改和调整，十分耗时且很难获得故障数据的深层本质特征。另一方面上述特征提取和扰动识别方法的组合几乎是任意的，很难从中选择到最理想的组合，因此这种传统的手工特征设计过程可以被具有通用性的自动特征学习方法所替代。深度学习作为机器学习中一种能从大量非标签数据中自动提取具有多级抽象的特征的方法，已经在图像识别、语音识别等领域取得显著成果。其中稀疏自动编码器(sparse autoencoder，SAE)作为一种无监督的深度学习网络，可以在有标记数据有限的情况下进行特征学习和提取，从高维的原始数据中获得低维的特征表达，简化了分类工作，而且克服了传统神经网络中的权重系数初始化存在随机性的缺点。

发明内容

为了解决上述技术问题，本发明提供一种鲁棒性好、分类精度高的基于稀疏自动编码深度神经网络的电能质量扰动分类方法。

本发明解决上述问题的技术方案是：一种基于稀疏自动编码深度神经网络的电能质量扰动分类方法，包括以下步骤：

步骤一：对电能质量扰动原始数据集进行预处理；

步骤二：把预处理后的数据样本输入到堆栈式稀疏自动编码器中进行自动特征学习，得到特征表达；

步骤三：把提取到的特征表达传送给softmax分类器进行微调，对网络参数做进一步调整得到训练好的分类模型；

步骤四：将测试样本输入到分类模型中进行电能质量扰动分类。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，步骤一中，预处理包括数据标准化和切割波形长度两部分。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，所述步骤二中，首先利用稀疏自动编码器在电能质量扰动数据集中进行无监督特征学习，提取初步的数据特征表达，然后通过堆栈稀疏自动编码器进行逐层学习，获得电能质量扰动数据的深度特征表达。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，利用稀疏自动编码器提取初步的数据特征表达的过程为，

给定一个电能质量扰动的无标签数据集{x₁,x₂,…,x_m}，其中m是训练样本的个数，在编码阶段，训练样本x_i经过编码得到隐含层的特征表达a_i；在解码阶段，网络将重构出与原始输入数据最接近的输出z_i，其表达式如下：

a_i＝f_θ(x_i)＝f(W₁x_i+b₁)

z_i＝f_θ(a_i)＝f(W₂a_i+b₂)

式中，f(x)是激活函数，在编码阶段选择sigmoid函数，在解码阶段选择ReLU函数；θ＝(W₁，W₂，b₁，b₂)表示网络参数；分别为输入层与隐含层，隐含层与输出层之间的关联权值矩阵，R为实数集；n_in为输入层节点数，n_h1为隐含层节点数，W₁＝(W₂)^T；分别为输入层与隐含层，隐含层与输出层的偏置项；

稀疏自动编码器的损失函数表示为：

式中，第一项为稀疏自动编码器输入数据与输出数据的方差；第二项为权重衰减项；第三项为稀疏惩罚项；式中引入了Kullback-Leibler相对熵ρ是稀疏性参数；为隐含层上第j个神经元在训练集上的平均激活度，令λ和β分别为权重衰减项和稀疏惩罚项的系数；的上标(1)表示该参数属于第一层稀疏自动编码器；

经过编码和解码阶段后，稀疏自动编码器网络训练的目标就是最小化J_sparse代价函数，利用L-BFGS-B优化算法，训练得到最优的参数θ，其实现过程通过反向传播算法来完成，采用批梯度下降法在每一次迭代过程中更新权值，在得到最优的参数θ之后，将输入的数据x_i转换成新的特征表示则电能质量扰动数据{x₁,x₂,…,x_m}被表示为{h₁(x₁)，h₂(x₂)，L h_m(x_m)}。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，所述步骤二中，将多个稀疏自动编码器依次堆叠构成深度网络结构，即堆栈式稀疏自动编码器，堆栈式稀疏自动编码器是分层编码结构，后面各层的训练过程与第一层稀疏自动编码器类似，不同的是后面各层的输入是前一层稀疏自动编码器的隐含层输出，经过逐层训练后获得电能质量扰动数据的多层抽象特征表达。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，所述步骤三中，Softmax分类器的输入是堆栈式稀疏自动编码器的最后一层的输出层，这里为第二层稀疏自动编码器的输出的上标(2)表示该参数属于第二层系数自动编码器，则第i个输入向量属于第n类的概率为计算公式如下：

式中Y为所对应的输出类别；k为类别数量，θ_n∈R^k为类别n(n＝0,1,...,k-1)所对应的参数向量；softmax分类器的输出是一个包含k个概率值的k维向量，表示第i个输入样本属于每一类的概率；

根据最大概率原则得到所对应的预测故障类别

Softmax分类器的损失函数为：

式中：y_i为所对应的真实类别；λ_s为权重衰减参数，用于平衡损失函数J_s(θ)中的2项，为一个正数，以使得函数为凸函数；I{y_i＝j}为示性函数，当I{·}内的等式为真时，I的值为1，否则值为0。

上述基于稀疏自动编码深度神经网络的电能质量扰动分类方法，稀疏自动编码器和堆栈式稀疏自动编码器还通过随机梯度下降算法进行微调，对整个网络中的权值和偏置项进一步全局调整，训练得到最优的参数将参数θ重塑成微调结束后，保留稀疏自动编器的隐含层，撤去输出层及权重。

本发明的有益效果在于：本发明首先对电能质量扰动原始数据集进行预处理，然后利用稀疏自动编码器在电能质量扰动数据集中进行无监督特征学习，提取简明的数据特征表达，再通过堆栈稀疏自动编码器(Stacked sparse autoencoder，SSAE)进行逐层学习获得电能质量扰动数据的深度特征，最后将其连接到softmax分类器进行微调训练，实现电能质量扰动事件分类。本发明能够准确地识别包含两种复合扰动在内的九种电能质量扰动信号，并且具有很好的鲁棒性。

附图说明

图1为本发明的整体流程框图。

图2为本发明的实施例中9种电能质量扰动波形图。

图3为本发明的实施例中单层稀疏自动编码器在不同稀疏参数下的分类准确率示意图。

图4为本发明的实施例中单层稀疏自动编码器在不同隐含节点个数下的准确率示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种基于稀疏自动编码深度神经网络的电能质量扰动分类方法，包括以下步骤：

步骤一：对电能质量扰动原始数据集进行预处理，预处理包括数据标准化和切割波形长度两部分。

步骤二：把预处理后的数据样本输入到堆栈式稀疏自动编码器中进行自动特征学习，得到特征表达。

稀疏自动编码器是一种对称的三层神经网络，分为三层：输入层，隐含层和输出层。其中，输入层与输出的神经元个数是相同的，隐含层的神经元个数小于输入层和输出层，它通过隐含层对输入数据进行编码，然后由输出层进行重构，训练过程中保证输出数据尽可能地等于输入数据，使得重构误差最小，这样可以使得隐含层获得更加有效的特征表示。

首先利用稀疏自动编码器在电能质量扰动数据集中进行无监督特征学习，提取初步的数据特征表达，然后通过堆栈稀疏自动编码器进行逐层学习，获得电能质量扰动数据的深度特征表达。

利用稀疏自动编码器提取初步的数据特征表达的过程为，

给定一个电能质量扰动的无标签数据集{x₁,x₂,…,x_m}，其中m是训练样本的个数，在编码阶段，训练样本x_i经过编码得到隐含层的特征表达a_i；在解码阶段，网络将重构出与原始输入数据最接近的输出z_i，其表达式如下：

a_i＝f_θ(x_i)＝f(W₁x_i+b₁)

z_i＝f_θ(a_i)＝f(W₂a_i+b₂)

式中，f(x)是激活函数，在编码阶段选择sigmoid函数，在解码阶段可以选择sigmoid函数或者ReLU函数，采用ReLU函数可以使训练得到的模型更容易应用，而且SAE对参数的变化也更为鲁棒；θ＝(W₁，W₂，b₁，b₂)表示网络参数；分别为输入层与隐含层，隐含层与输出层之间的关联权值矩阵；R为实数集，n_in为输入层节点数，n_h1为隐含层节点数，W₁＝(W₂)^T； 分别为输入层与隐含层，隐含层与输出层的偏置项；

稀疏自动编码器的损失函数表示为：

式中，第一项为稀疏自动编码器输入数据与输出数据的方差；第二项为权重衰减项，用于限制权重大小，防止稀疏自动编码器过拟合；第三项为稀疏惩罚项，用于惩罚ρ与有显著差异的情况，使隐含层神经元的平均激活度保持在较小的范围内，确保隐含层的特征单元足够稀疏。式中引入相对熵，其中ρ是稀疏性参数，通常是一个近似于0的较小值；λ和β分别为权重衰减项和稀疏惩罚项的系数；为隐含层上第j个神经元在训练集上的平均激活度，为近似保持稀疏性约束，令的上标(1)表示该参数属于第一层稀疏自动编码器。

经过编码和解码阶段后，输入数据与输出数据应该尽可能地相等，因此稀疏自动编码器网络训练的目标就是最小化J_sparse代价函数，利用L-BFGS-B优化算法，训练得到最优的参数θ，其实现过程通过反向传播算法来完成，采用批梯度下降法在每一次迭代过程中更新权值，在得到最优的参数θ之后，将输入的数据x_i转换成新的特征表示则电能质量扰动数据{x₁,x₂,…,x_m}被表示为{h₁(x₁),h₂(x₂),L h_m(x_m)}。

由于稀疏自动编码器的函数构造能力有限，为了构成表达能力更强的函数，学习数据的深度特征，将多个稀疏自动编码器依次堆叠构成深度网络结构，即堆栈式稀疏自动编码器，堆栈式稀疏自动编码器是分层编码结构，后面各层的训练过程与第一层稀疏自动编码器类似，不同的是后面各层的输入是前一层稀疏自动编码器的隐含层输出，经过逐层训练后获得电能质量扰动数据的多层抽象特征表达。

稀疏自动编码器和堆栈式稀疏自动编码器还通过随机梯度下降算法进行微调，对整个网络中的权值和偏置项进一步全局调整，训练得到最优的参数将参数θ重塑成微调结束后，保留稀疏自动编器的隐含层，撤去输出层及权重。

步骤三：把提取到的特征表达传送给softmax分类器进行微调，对网络参数做进一步调整得到训练好的分类模型。

Softmax分类器的输入是堆栈式稀疏自动编码器的最后一层的输出层，这里为第二层SAE的输出的上标(2)表示该参数属于第二层系数自动编码器，则第i个输入向量属于第n类的概率为计算公式如下：

式中Y为所对应的输出类别；k为类别数量，θ_n∈R^k为类别n(n＝0,1,...,k-1)所对应的参数向量；softmax分类器的输出是一个包含k个概率值的k维向量，表示第i个输入样本属于每一类的概率；

根据最大概率原则得到所对应的预测故障类别

Softmax分类器的损失函数为：

式中：y_i为所对应的真实类别；λ_s为权重衰减参数，用于平衡损失函数J_s(θ)中的2项，为一个正数，以使得函数为凸函数；I{y_i＝j}为示性函数，当I{·}内的等式为真时，I的值为1，否则值为0。

步骤四：将测试样本输入到分类模型中进行电能质量扰动分类。

实施例

选取电压暂降、电压暂升、电压中断、振荡暂态、谐波、电压缺口、电压尖峰、谐波+电压暂降和谐波+电压暂升共9种扰动信号，其中包括2种复合电能质量扰动信号，扰动模型如表1所示。

表1电能质量扰动仿真模型

表中u(g)和sgn(g)分别是单位阶跃函数和符号函数，t₁、t₂、T分别是扰动的启始时刻、结束时刻和信号周期，ω是额定角频率。为了验证本文方法的适用性，仿真实验中通过随机改变A、h_i、k等参数值生成了多组电能质量扰动波形，并且运用本文提出的方法对不同参数条件下的各组电能质量扰动信号进行了分类，都取得的很好地分类效果，因此文中只列出了其中一种参数下的扰动信号。

本文的扰动信号基波频率f选取为50Hz，振幅A＝1(pu)，ω＝2πf，扰动信号的采样频率f_s为12.8kHz，每个扰动信号基频周期采样256点，长度为10个基频周期，即采样2560个点，每个扰动信号生成266组，共计2394组，并随机打乱顺序，9种扰动波形如图2所示。

表2 9种电能质量扰动分类效果

利用本方法对电能质量扰动进行分类。所得结果如表2所示。每种电能质量扰动类型的分类准确度都达到了99％以上，总体分类准确度达到了99.84％。该实验结果表明本文所提出的方法能以很高的精度完成电能质量扰动分类。

为了验证本方法的有效性及泛化能力，采用了10折交叉验证法，即把数据集中的2394个样本随机分成10份，每次选择其中1份用来测试模型的性能，剩下的9份用来训练模型，交叉验证重复9次，将9次的平均交叉验证结果作为最终对模型精度的估计，根据最终的实验结果确定SAE和SSAE的几个重要参数。在下面的章节中，参数λ和β分被设定为0.003和3。

稀疏自动编码器核心思想是把所有隐含节点的平均激活水平限制在比较小的范围内，但对于模型的稀疏性参数的选择没有给出明确的指示。我们可以从(sp_l,sp_h)范围内选择优化稀疏参数，其中sp_h的选择不宜过大，这样才能满足稀疏条件。同时，sp_l的值也不能过小，否则所有隐含的节点都不能被有效地激活，会降低特征提取的效率。参数λ和β分被设定为0.003和3。图3给出了单层SAE(隐含节点为50)在不同稀疏参数下的分类准确率。结果表明，对于给定的数据集，当稀疏参数设定在(0.3,0.5)之间时，整体分类的准确度达到99％以上；当参数取得过小，例如0.1以下，分类准确度就降低到95％；而当参数值达到0.5以上时，分类准确度也会下降，方差也会有所增加。因此，在实验中稀疏参数将在(0.3,0.5)范围内进行选择。

隐含层中的隐含节点数量将会直接影响稀疏自动编码器的特征提取能力，为了保证从训练集找到有效的特征，达到预想的分类精度，隐含节点的数目就不能选择过大。图4中给出了单层SAE在不同隐含节点个数下的准确率，其输入波形长度为6倍工频周期，稀疏参数为0.4。结果表明，当隐含层的节点数目达到40时，分类准确度超过99％，并且能够随着数量的增加保持稳定。因此，单层SAE的隐含层节点数目选为50是比较合理的。

在双层SSAE的特征提取中，两个隐含层都要考虑，每一个隐含层中的节点数的选择都十分重要，所以隐含节点的确定比较困难。表3中给出了双层SSAE在不同隐含节点数目下的电能质量扰动分类准确度，其输入波形长度为6倍工频周期，稀疏参数为0.4。

表3双层SSAE不同隐含节点个数下的分类准确率(％)

结果表明，在隐含节点数目较小时，分类精度会随着数目的增加而增加，当两层中隐含节点的数目分别达到90和50时，分类准确度可以达到99.84％，且随着数目的增加保持稳定。另一方面，节点数目选择过大会导致训练时间加长，因此，在双层SSAE中，把隐含节点的数目设置为90和50是比较合理的。

采用双层SSAE在不同的采样频率下对电能质量扰动信号进行分类，实验中分别采用1.6kHz，3.2kHz，6.4kHz，12.8kHz，25.6kHz等五种不同的采样频率，结果如表4所示。实验表明本文所提出的方法在不同的采样频率下都可以达到很高的分类准确率，采样频率对分类准确率的影响可以忽略不计，同时也说明了该方法具有很好的适应性。

表4采样频率对电能质量扰动分类的影响

在9种电能量扰动信号的基础上叠加SNR分别为50dB、40dB、30dB、20dB、10dB的高斯白噪声，生成同样数量的电能质量扰动信号数据样本，检验本文分类方法的准确率，仿真测试结果如表5所示。可以看出，本文方法在不同信噪比下的分类准确率能够稳定在99％以上，表明本文基于稀疏自动编码器的电能质量扰动分类方法具有很好的鲁棒性。

表5噪声对电能质量扰动分类的影响

为了进一步验证本文电能质量扰动分类方法的有效性，将本文分类结果与其他分类方法进行对比，结果如表6所示。可以看出，本文所提出的分类方法在准确率上均高于其他方法。

表6 3种电能质量扰动分类方法对比

Claims (7)

1.一种基于稀疏自动编码深度神经网络的电能质量扰动分类方法，包括以下步骤：

步骤一：对电能质量扰动原始数据集进行预处理；

步骤二：把预处理后的数据样本输入到堆栈式稀疏自动编码器中进行自动特征学习，得到特征表达；

步骤三：把提取到的特征表达传送给softmax分类器进行微调，对网络参数做进一步调整得到训练好的分类模型；

步骤四：将测试样本输入到分类模型中进行电能质量扰动分类。

2.根据权利要求1所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：步骤一中，预处理包括数据标准化和切割波形长度两部分。

3.根据权利要求1所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：所述步骤二中，首先利用稀疏自动编码器在电能质量扰动数据集中进行无监督特征学习，提取初步的数据特征表达，然后通过堆栈稀疏自动编码器进行逐层学习，获得电能质量扰动数据的深度特征表达。

4.根据权利要求3所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：利用稀疏自动编码器提取初步的数据特征表达的过程为，

给定一个电能质量扰动的无标签数据集{x₁,x₂,…,x_m}，其中m是训练样本的个数，在编码阶段，训练样本x_i经过编码得到隐含层的特征表达a_i；在解码阶段，网络将重构出与原始输入数据最接近的输出z_i，其表达式如下：

a_i＝f_θ(x_i)＝f(W₁x_i+b₁)

z_i＝f_θ(a_i)＝f(W₂a_i+b₂)

式中，f(x)是激活函数，在编码阶段选择sigmoid函数，在解码阶段选择ReLU函数；θ＝(W₁,W₂,b₁,b₂)表示网络参数；分别为输入层与隐含层，隐含层与输出层之间的关联权值矩阵，R为实数集；n_in为输入层节点数，n_h1为隐含层节点数，W₁＝(W₂)^T；分别为输入层与隐含层，隐含层与输出层的偏置项；

稀疏自动编码器的损失函数表示为：

式中，第一项为稀疏自动编码器输入数据与输出数据的方差；第二项为权重衰减项；第三项为稀疏惩罚项；式中引入了Kullback-Leibler相对熵ρ是稀疏性参数；为隐含层上第j个神经元在训练集上的平均激活度，令λ和β分别为权重衰减项和稀疏惩罚项的系数；的上标(1)表示该参数属于第一层稀疏自动编码器；

经过编码和解码阶段后，稀疏自动编码器网络训练的目标就是最小化J_sparse代价函数，利用L-BFGS-B优化算法，训练得到最优的参数θ，其实现过程通过反向传播算法来完成，采用批梯度下降法在每一次迭代过程中更新权值，在得到最优的参数θ之后，将输入的数据x_i转换成新的特征表示则电能质量扰动数据{x₁,x₂,…,x_m}被表示为{h₁(x₁),h₂(x₂),L h_m(x_m)}。

5.根据权利要求3所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：所述步骤二中，将多个稀疏自动编码器依次堆叠构成深度网络结构，即堆栈式稀疏自动编码器，堆栈式稀疏自动编码器是分层编码结构，后面各层的训练过程与第一层稀疏自动编码器类似，不同的是后面各层的输入是前一层稀疏自动编码器的隐含层输出，经过逐层训练后获得电能质量扰动数据的多层抽象特征表达。

6.根据权利要求3所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：所述步骤三中，Softmax分类器的输入是堆栈式稀疏自动编码器的最后一层的输出层，这里为第二层稀疏自动编码器的输出 的上标(2)表示该参数属于第二层系数自动编码器，则第i个输入向量属于第n类的概率为计算公式如下：

式中Y为所对应的输出类别；k为类别数量，θ_n∈R^k为类别n(n＝0,1,...,k-1)所对应的参数向量；softmax分类器的输出是一个包含k个概率值的k维向量，表示第i个输入样本属于每一类的概率；

根据最大概率原则得到所对应的预测故障类别

Softmax分类器的损失函数为：

式中：y_i为所对应的真实类别；λ_s为权重衰减参数，用于平衡损失函数J_s(θ)中的2项，为一个正数，以使得函数为凸函数；I{y_i＝j}为示性函数，当I{·}内的等式为真时，I的值为1，否则值为0。

7.根据权利要求3所述的基于稀疏自动编码深度神经网络的电能质量扰动分类方法，其特征在于：稀疏自动编码器和堆栈式稀疏自动编码器还通过随机梯度下降算法进行微调，对整个网络中的权值和偏置项进一步全局调整，训练得到最优的参数将参数θ重塑成微调结束后，保留稀疏自动编器的隐含层，撤去输出层及权重。