CN113591728A - 基于集成深度学习的电能质量扰动分类方法 - Google Patents

Abstract

本发明涉及电能质量扰动分类技术，为实现电能质量扰动信号的自动分类，简化扰动分类步骤，在噪声数据中也具有较高的分类性能，本发明，基于集成深度学习的电能质量扰动分类方法，步骤如下：1)根据IEEE‑1159标准，建立电能质量扰动信号模型，产生包括正弦波信号在内的扰动信号，用于电能质量扰动分类模型的测试；2)针对产生的扰动信号数据，利用基于深度学习和集成学习的分类器进行分类，所述分类器采用LSTM网络作为基分类器，通过Bagging算法对多个LSTM网络进行集成实现分类；3)利用步骤1和步骤2所述的分类器，训练一个适用于电能质量扰动分类的模型。本发明主要应用于电能质量扰动分类场合。

Description

基于集成深度学习的电能质量扰动分类方法

技术领域

本发明涉及电能质量扰动分类技术，具体涉及基于集成深度学习的电能质量扰动分类方法。

背景技术

随着电力电子器件的大量使用，分布式电源并网、非线性负载增多，无功功率设备和固态开关的增加导致电网频繁遭受各种干扰。这些干扰极大影响了智能电网的安全和经济运行，并降低了电气设备的使用寿命和性能，引起了供电部门和广大电力用户的普遍重视。同时科技的不断发展使电能消耗日益增多，电力用户和用电设备也对供电质量提出了更高要求，电力系统的最终目标是提供稳定，干净且无失真的电网信号，因此准确有效地对电能质量扰动信号进行分类是后续对电能质量的评估及治理的前提。近年来，机器学习算法的发展，硬件计算能力的提升，更多智能算法被应用于电能质量扰动分类领域。深度学习是一种新兴且有前途的分类架构，可以从多层次抽象化信号(如电能质量扰动信号)中学习特征，并捕获规律。

发明内容

为克服现有技术的不足，实现电能质量扰动信号的自动分类，本发明旨在提出基于集成学习和长短期记忆网络(Long Short Term Memory network，LSTM)的电能质量扰动分类框架，能够自动对扰动信号进行特征选择及分类。相较于传统方法，本发明无需使用额外的信号处理和特征选择模块，简化了扰动分类步骤。提出的扰动分类框架在较短的训练时间内，实现一个较高的分类性能。在噪声数据中也具有较好的分类性能。为此，本发明采取的技术方案是，基于集成深度学习的电能质量扰动分类方法，步骤如下：

1)根据IEEE-1159标准，建立电能质量扰动信号模型，产生包括正弦波信号在内的扰动信号，用于电能质量扰动分类模型的测试；

2)针对产生的扰动信号数据，利用基于深度学习和集成学习的分类器进行分类，所述分类器采用LSTM网络作为基分类器，通过集成学习中的Bagging算法对多个LSTM网络进行集成，从而实现分类；

3)利用步骤1中的电能质量扰动数据和步骤2所述的分类器，训练一个适用于电能质量扰动分类的模型。

Bagging算法中，使用基于权重的表决策略。

长短期记忆网络LSTM是一种特殊的递归神经网络RNN(recurrent neuralnetwork)，在RNN中，神经元不仅可以接受其他神经元的信息，还可以接受自身的信息，形成一个环路结构，输入是可变长度序列x＝(x₁,x₂,...,x_t)；

RNN的隐藏层存在有向反馈，RNN中的每一个神经元接受上一时刻隐藏层神经元输出h_t-1和当前时刻的输入x_t，计算隐藏层神经元输出h_t以及输出o_t，其计算公式表示为：

式(1)中，f为隐藏层函数，g为输出层函数；s_t为t时刻隐藏层的输入；h_t为t时刻隐藏层输出；U，V，W为不同时刻隐藏状态的共享矩阵；

x_t、f_t、i_t、o_t、c_t、a_t、h_t分别表示t时刻的输入、遗忘门、输出门、记忆单元、候选状态和隐藏层的输出，c_t-1和h_t-1分别表示记忆单元和隐藏层在t-1时刻的输出，δ为Logisticsigmoid函数，tanh为激活函数；

设W_xf、W_xi、W_xo、W_xc分别表示x_t与遗忘门、输入门、输出门、记忆单元间的权值，W_hf、W_hi、W_ho、W_hc分别表示隐藏层与遗忘门、输入门、输出门、记忆单元间的权值，b_f、b_i、b_o表示偏置，⊙表示向量元素乘积，LSTM循环结构单元通过控制遗忘门、输入门和输出门的开关程度，控制信息的流动，具体过程如下：

步骤1:遗忘门f_t以当前层的输入x_t、上一时刻隐藏层的输出h_t-1作为输入，遗忘门的输出结果与c_t-1相乘，控制上一时刻的内部状态c_t-1需要遗忘多少信息，其表达式见(2)式：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

步骤2:输入门选择性地保存当前输入信息，输出结果i_t作为将要更新的信息，表达式如(3)式：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (3)

步骤3:输出门o_t控制当前时刻内部状态c_t，有多少信息需要输出给外部状态h_t，表达式见(4)式:

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (4)

步骤4:输出门o_t与经过tanh层处理后的记忆单元状态相乘，得到隐藏层的输出h_t，见(5)式：

h_t＝o_ttanh⊙(c_t) (5)

步骤5:记忆单元c_t记录了到当前时刻为止的历史信息，由(6)式计算得出：

c_t＝f_t⊙c_t-1+i_t⊙a_t (6)

步骤6:候选状态a_t由(7)式得出：

a_t＝tanh(W_xcx_t+W_hch_t-1+b_c) (7)

通过改变时间步长对序列数据进行拆分为多个固定长度的子序列，通过对序列数据的拆分处理提高分类效率。

Bagging-LSTM网络

(1)Bagging算法

将不同的训练数据集输入LSTM，以满足多样性的要求。Bootstrap是随机抽样算法中常用的方法，对于原始训练的M个样本集，通过又放回的抽样法随机抽样M次，得到一个包含M个样本的样本集，这样，每个基础分类器的训练数据集就不同于原始训练集和其他样本集，从而保证了每个基础器分类的多样性；

w_i是第i个分类器的权重，则加权多数投票的定义如下：

当前已经提出了许多方案来估计分类器权重，使用优劣加权投票方案作为量化权重的措施，使用验证集上的估计误差来确定集合中最差和最好的分类器成员，在这种情况下，a_i使用以下方式确定：

式中：a_i为第i个个体学习器的相对准确度；e_w和e_b分别为所有个体学习器中最大和最小错误率，错误率＝1-准确率；e_i为第i个体学习器的错误率；

则每个分类器所占比重w_i为：

式中：L为个体学习器的总数。

(2)Bagging-LSTM网络框架

Bagging-LSTM模型将集成学习的思想与深度学习模型结合在一起。在传统的Bagging算法的框架下，引入处理电能质量扰动序列的LSTM模型，作为对电能质量扰动信号的基础分类器，Bagging算法构建了具有差异性的多个LSTM分类器，使用一种投票策略优劣加权投票方案集成多个分类器的预测结果从而得到一个最终的分类结果，有效提高了网络的泛化性。

具体的实现步骤如下：

(1)根据十倍交叉验证原则，将电能质量扰动信号训练数据的10％作为验证集进行拆分，每个信号序列的样本标签是其相应的类别；

(2)通过随机抽样获得T组训练样本，对于第T个训练样本，引入LSTM模型来训练第T个Softmax分类器，即第T个弱分类器；

(3)训练弱分类器并收集与第T个训练样本对应的验证集准确率数据，从而计算出第T个弱分类器的权重；

(4)我们将所有基本分类器与相应的权重分布链接在一起，并使用改进的投票策略来预测测试集的类别并计算准确率。

本发明的特点及有益效果是：

针对传统电能质量信号扰动识别方式，人工选取特征困难，计算量较大等缺陷，本发明提出了一种集成深度学习的Bagging-LSTM神经网络的新方法，具体来说，通过有放回的抽样方式构建多个不同的LSTM神经网络分类器，改进了传统Bagging算法的多数表决策略，提出基于权重的表决策略，采用并行算法将LSTM的分类结果汇总，从而提高了网络的泛化性。仿真和实测数据验证了本文提出的Bagging-LSTM神经网络可以有效地学习分类电能质量扰动信号，分类准确率较高且算法结构紧凑。

附图说明：

图1传统RNN结构图。

图2LSTM循环单元结构。

图3Bagging算法示意图。

图4Bagging-LSTM网络框架。

图5集成策略对比图。

具体实施方式

本发明提供一种新的电能质量扰动分类方法，所述方案包括以下步骤：

1)根据IEEE-1159标准，建立电能质量扰动信号模型，产生包括正弦波信号在内的十五种扰动信号，用于电能质量扰动分类模型的测试。

2)针对产生的扰动信号数据，设计一种基于深度学习和集成学习的分类器。对分类框架进行设计时，构造设计采用最简单的LSTM网络作为基分类器，通过集成学习中的Bagging算法对多个LSTM网络进行集成，从而实现一个较强的分类性能。

3)改进传统Bagging算法中的多数投票策略，而使用基于权重的表决策略，从而更好的提高分类模型的泛化性能。

4)利用步骤1中的电能质量扰动数据和步骤2，3设计的分类器，训练一个适用于电能质量扰动分类的模型。

下面对本发明进行详细说明。

一、电能质量扰动信号类型

根据IEEE 1159标准建立电能质量扰动信号模型，使用包括纯正弦波的十五种电能质量扰动信号来评估所提出的算法的分类性能。电能质量扰动信号由10种单一类型组成，包括纯正弦波形(C1)，暂降(C2)，暂升(C3)，中断(C4)，谐波(C5)，脉冲瞬态(C6)，振荡瞬态(C7)，闪变(C8)，陷波(C9)和尖峰(C10)，5种复合类型的扰动信号为谐波暂降(C11)，谐波暂升(C12)，谐波中断(C13)，暂降闪变(C14)和暂升闪变(C15)。仿真信号在Matlab环境下产生，采样频率设置为6.4kHz，单个样本数据长度为1280个点，通过随机更改约束参数，可以生成无限数量的数据。因此，它可以满足深度学习对训练数据数量的要求。

二、长短时记忆神经网络及状态

长短期记忆网络(Long Short Term Memory network，LSTM)是一种特殊的递归神经网络(recurrent neural network，RNN)，其开发目的是通过在整个网络之间共享权重来分析序列数据。它们是由Hochreiter和Schmidhuber于1997年提出的，并被各个领域的许多人所完善。在介绍LSTM网络前，我们先简单介绍RNN网络。

在RNN中，神经元不仅可以接受其他神经元的信息，还可以接受自身的信息，形成一个环路结构。图1为传统RNN结构图。输入是可变长度序列x＝(x₁,x₂,...,x_t)。

图1左图为RNN的折叠形式，右图为其展开形式。与一般神经网络不同的是，RNN的隐藏层存在有向反馈，正是这种反馈赋予了RNN记忆能力。RNN中的每一个神经元接受上一时刻隐藏层神经元输出h_t-1和当前时刻的输入x_t，计算隐藏层神经元输出h_t以及输出o_t，其计算公式表示为：

式(1)中，f为隐藏层函数，g为输出层函数；s_t为t时刻隐藏层的输入；h_t为t时刻隐藏层输出；U，V，W为不同时刻隐藏状态的共享矩阵。

LSTM是应用在深度学习领域的特殊循环神经网络，是对RNN模型的改良，能够建立较长距离的时序依赖关系，并有效解决RNN梯度爆炸和梯度消失。LSTM模型的关键是引入了记忆单元进行循环信息传递，记录到当前时刻为止的所有历史信息。因此，相对于传统RNN的短期记忆，LSTM具有长期记忆能力；采用取值在(0,1)之间的门控机制(遗忘门、输入门、输出门)控制模型内部信息的传递路径。其循环单元结构如图2所示.

图2中，x_t、f_t、i_t、o_t、c_t、a_t、h_t分别表示t时刻的输入、遗忘门、输出门、记忆单元、候选状态和隐藏层的输出，c_t-1和h_t-1分别表示记忆单元和隐藏层在t-1时刻的输出，δ为Logistic sigmoid函数，tanh为激活函数。

设W_xf、W_xi、W_xo、W_xc分别表示x_t与遗忘门、输入门、输出门、记忆单元间的权值，W_hf、W_hi、W_ho、W_hc分别表示隐藏层与遗忘门、输入门、输出门、记忆单元间的权值，b_f、b_i、b_o表示偏置，

表示向量元素乘积。LSTM循环结构单元通过控制遗忘门、输入门和输出门的开关程度，控制信息的流动，具体过程如步骤1～步骤6所示。

步骤1:遗忘门f_t以当前层的输入x_t、上一时刻隐藏层的输出h_t-1作为输入，遗忘门的输出结果与c_t-1相乘，控制上一时刻的内部状态c_t-1需要遗忘多少信息，其表达式见(2)式：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (12)

步骤2:输入门选择性地保存当前输入信息，输出结果i_t作为将要更新的信息，表达式如(3)式：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (13)

步骤3:输出门o_t控制当前时刻内部状态c_t，有多少信息需要输出给外部状态h_t，表达式见(4)式:

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (14)

步骤4:输出门o_t与经过tanh层处理后的记忆单元状态相乘，得到隐藏层的输出h_t，见(5)式：

h_t＝o_ttanh⊙(c_t) (15)

步骤5:记忆单元c_t记录了到当前时刻为止的历史信息，可由(6)式计算得出：

c_t＝f_t⊙c_t-1+i_ta_t (16)

步骤6:候选状态a_t由(7)式得出：

a_t＝tanh(W_xcx_t+W_hch_t-1+b_c) (17)

对于每个输入都有一个输出(如时间序列预测和文本翻译任务)，那么LSTM可以运行得很好。LSTM在面临超长输入序列(单个或少量输出的情形)时就会遇到困难。这种问题通常被称为序列标记，或序列分类。电能质量扰动信号原始数据点为1280，对于LSTM网络来说已经是一个超长序列，直接输入网络中，训练效果并不理想，因此，LSTM网络在面对超长序列输入时，需要对数据进行特殊处理，在处理较长的时间序列时，仍然可以采取一些序列数据处理方法。因为一个电能质量扰动样本相当于一句完整的语句，我们在理解一句话时，必然需要理解句中的每一个单词，而且还需要断句。所以电能质量扰动分类与自然语言处理中的文本分类(情感分类、主题分类和问题分类)并无较大差异。时间步长(timesteps)确定用于电能质量扰动信号输入的长度，我们通过改变时间步长对序列数据进行拆分为多个固定长度的子序列，如将1280的序列拆分为(10，128)来输入网络。通过对序列数据的拆分处理有效地提高了分类效率。

二、Bagging-LSTM网络

(1)Bagging算法

集成学习网络分为以Bagging表示的并行算法和以Boosting表示的串行算法。Bagging专注于减少总体方差，而Boosting和Stacking专注于减少模型偏差。作为人工神经网络或深度学习方法，更有可能获得过拟合模型而不是欠拟合模型。因此，减少方差是提高人工神经网络模型性能的主要考虑因素，这就是为什么在本发明中使用Bagging集成模型的原因。另外，Boosting是一种使用串行操作的迭代算法，并且计算复杂性显着增加。因此，本文采用Bagging算法对电能质量扰动信号进行分类。

Bagging算法有助于训练复杂的模型并防止过度拟合的问题。如图3所示，首先，通过随机采样T次获得T个样本集，并分别开发T个独立的弱学习者(也称为基本分类器)。然后，通过对T个弱学习者的投票策略，获得最终的强学习者，Bagging算法的特点是各个分类器之间没有依赖关系，这也是Bagging算法与Boosting算法的不同之处。

为了确保集成模型有意义，基本分类器的多样性是关键因素。代替结构变化，我们将不同的训练数据集输入LSTM，以满足多样性的要求。Bootstrap是随机抽样算法中常用的方法，对于原始训练的M个样本集，通过又放回的抽样法随机抽样M次，得到一个包含M个样本的样本集。这样，每个基础分类器的训练数据集就不同于原始训练集和其他样本集，从而保证了每个基础分类的多样性。

集成策略是指将以某种方式组合基本分类器的输出预测，以做出最终决定。多数表决是一种简单的汇总方法，已证明其有效性。在多数表决方案中，每个分类器都会做出选择输入样本标签的决定。将获得最高投票数的类别确定为集合中所有分类器的预测。但是，多数表决法在最终决策中未考虑每个分类器的个体准确性，这是多数表决方法的主要限制。因此，加权投票方法用于汇总选择的分类器决策。在这种集合方法中，每个分类器的输出由影响组合过程的系数加权。假设w_i是第i个分类器的权重，则加权多数投票的定义如下：

当前已经提出了许多方案来估计分类器权重。通常，这些权重是使用每个分类器的准确性来估计的。本文中使用优劣加权投票方案作为量化权重的措施，该方案的基本思想是使用验证集上的估计误差来确定集合中最差和最好的分类器成员，在这种情况下，a_i使用以下方式确定：

式中：a_i为第i个个体学习器的相对准确度；e_w和e_b分别为所有个体学习器中最大和最小错误率(错误率＝1-准确率)；e_i为第i个体学习器的错误率。

则每个分类器所占比重w_i为：

式中：L为个体学习器的总数。

(2)Bagging-LSTM网络框架

本技术方案提出一种基于LSTM网络和改进Bagging算法的电能质量扰动信号分类模型，网络流程图如图4所示：Bagging-LSTM模型将集成学习的思想与深度学习模型结合在一起。在传统的Bagging算法的框架下，引入处理电能质量扰动序列的LSTM模型，作为对电能质量扰动信号的基础分类器，Bagging算法构建了具有差异性的多个LSTM分类器，使用一种新颖的投票策略优劣加权投票方案集成多个分类器的预测结果从而得到一个最终的分类结果，有效提高了网络的泛化性。具体的实现步骤如下：

(1)根据十倍交叉验证原则，将电能质量扰动信号训练数据的10％作为验证集进行拆分，每个信号序列的样本标签是其相应的类别。

(2)通过随机抽样获得T组训练样本，对于第T个训练样本，引入LSTM模型来训练第T个Softmax分类器，即第T个弱分类器。

(3)训练弱分类器并收集与第T个训练样本对应的验证集准确率数据，从而计算出第T个弱分类器的权重。

(4)我们将所有基本分类器与相应的权重分布链接在一起，并使用改进的投票策略来预测测试集的类别并计算准确率。

利用本发明所提方法进行电能质量扰动信号分类，每类扰动信号有900个样本，共产生12000条训练集，1500个测试集。标签数据由一种one-hot编码表示，例如[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0](表示样本属于第一类)，以方便计算损失函数。由于实际电能信号采集过程中，信号不可避免地会受到采集设备以及环境噪声的干扰，因此，我们在采样信号的基础上，将高斯白噪声随机添加到不同级别的合成PQD数据中，信噪比(SNR)为20dB到50dB不等。表1本文所采用的数据集。

表1训练数据集

Bagging集成策略对网络的效果有较大影响，为验证本文算法的有效性及集成策略优越性，将本文所用的以准确度为基准的优劣加权投票法和传统的多数投票法命名为Vote1和Vote2，基分类器的训练结果分别命名为LSTM1,2,3。为了确定哪种投票策略表现最好，设计试验将2种投票策略在数据集上的预测结果进行比较分析，结果如图5示：各项指标均为训练10次的平均值。从图5知，本文所用投票策略的评价指标均优于传统的多数投票法策略，而且Bagging集成算法通过多个分类器参与决策，获得比单一分类器更良好的泛化性能。

为了验证本文算法的优越性，将本文的Bagging-LSTM算法与四种先进的深度学习算法进行对比，基于算法对比公平原则，在相同配置的电脑和数据集上对四种算法进行训练比较，迭代轮次均设为100次，由表2以看出五种方法中，DCNN可以实现较高的分类准确率，但算法训练时间较长，GRU网络相对于LSTM网络，训练时间稍短，但由于取消了单独的存储单元，因此准确率略低于Bagging-LSTM网络。综合考虑训练时间和准确率，本文的Bagging-LSTM神经网络都取得了一个较好的效果，优于现有的深度学习方法。

表2电能质量扰动分类方法比较

为了比较Bagging-LSTM网络与传统方法准确率之间的区别，表3出了复杂电能质量信号在不同方法下的性能。

表3与传统算法对比准确率对比

传统方式中，对信号分解后要对特征进行选择，关于特征数目的选取并没有明确的规定，采用TQWT和RF方法，在30dB噪声环境下，选取了16个特征，准确率达到98.13％。采用ST和PNN方法，仅选取了4个特征，在30dB的噪声下，达到了与TQWT和RF近似的准确率。从表3以看出，本文集成深度学习算法可以自动提取有效特征，不仅简化了电能质量扰动识别过程，而且缩短了特征的提取和选择时间。训练后的网络，在各种噪声条件下都取得了不错的效果。

针对传统电能质量信号扰动识别方式，人工选取特征困难，计算量较大等缺陷，本发明提出了一种集成深度学习的Bagging-LSTM神经网络的新方法，具体来说，通过有放回的抽样方式构建多个不同的LSTM神经网络分类器，改进了传统bagging算法的多数表决策略，提出基于权重的表决策略，采用并行算法将LSTM的分类结果汇总，从而提高了网络的泛化性。仿真和实测数据验证了本文提出的Bagging-LSTM神经网络可以有效地学习分类电能质量扰动信号，分类准确率较高且算法结构紧凑。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于集成深度学习的电能质量扰动分类方法，其特征是，步骤如下：

1)根据IEEE-1159标准，建立电能质量扰动信号模型，产生包括正弦波信号在内的扰动信号，用于电能质量扰动分类模型的测试；

2)针对产生的扰动信号数据，利用基于深度学习和集成学习的分类器进行分类，所述分类器采用LSTM网络作为基分类器，通过集成学习中的Bagging算法对多个LSTM网络进行集成，从而实现分类；

3)利用步骤1中的电能质量扰动数据和步骤2所述的分类器，训练一个适用于电能质量扰动分类的模型。

2.如权利要求1所述的基于集成深度学习的电能质量扰动分类方法，其特征是，Bagging算法中，使用基于权重的表决策略。

3.如权利要求1所述的基于集成深度学习的电能质量扰动分类方法，其特征是，长短期记忆网络LSTM是一种特殊的递归神经网络RNN(recurrent neural network)，在RNN中，神经元不仅可以接受其他神经元的信息，还可以接受自身的信息，形成一个环路结构，输入是可变长度序列x＝(x₁,x₂,...,x_t)；

RNN的隐藏层存在有向反馈，RNN中的每一个神经元接受上一时刻隐藏层神经元输出h_t-1和当前时刻的输入x_t，计算隐藏层神经元输出h_t以及输出o_t，其计算公式表示为：

式(1)中，f为隐藏层函数，g为输出层函数；s_t为t时刻隐藏层的输入；h_t为t时刻隐藏层输出；U，V，W为不同时刻隐藏状态的共享矩阵；

x_t、f_t、i_t、o_t、c_t、a_t、h_t分别表示t时刻的输入、遗忘门、输出门、记忆单元、候选状态和隐藏层的输出，c_t-1和h_t-1分别表示记忆单元和隐藏层在t-1时刻的输出，δ为Logisticsigmoid函数，tanh为激活函数；

设W_xf、W_xi、W_xo、W_xc分别表示x_t与遗忘门、输入门、输出门、记忆单元间的权值，W_hf、W_hi、W_ho、W_hc分别表示隐藏层与遗忘门、输入门、输出门、记忆单元间的权值，b_f、b_i、b_o表示偏置，⊙表示向量元素乘积，LSTM循环结构单元通过控制遗忘门、输入门和输出门的开关程度，控制信息的流动，具体过程如下：

步骤1:遗忘门f_t以当前层的输入x_t、上一时刻隐藏层的输出h_t-1作为输入，遗忘门的输出结果与c_t-1相乘，控制上一时刻的内部状态c_t-1需要遗忘多少信息，其表达式见(2)式：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (2)

步骤2:输入门选择性地保存当前输入信息，输出结果i_t作为将要更新的信息，表达式如(3)式：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (3)

步骤3:输出门o_t控制当前时刻内部状态c_t，有多少信息需要输出给外部状态h_t，表达式见(4)式:

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (4)

步骤4:输出门o_t与经过tanh层处理后的记忆单元状态相乘，得到隐藏层的输出h_t，见(5)式：

h_t＝o_ttanh⊙(c_t) (5)

步骤5:记忆单元c_t记录了到当前时刻为止的历史信息，由(6)式计算得出：

c_t＝f_t⊙c_t-1+i_t⊙a_t (6)

步骤6:候选状态a_t由(7)式得出：

a_t＝tanh(W_xcx_t+W_hch_t-1+b_c) (7)

通过改变时间步长对序列数据进行拆分为多个固定长度的子序列，通过对序列数据的拆分处理提高分类效率。

4.如权利要求1所述的基于集成深度学习的电能质量扰动分类方法，其特征是，Bagging-LSTM网络具体如下：

(1)Bagging算法

将不同的训练数据集输入LSTM，以满足多样性的要求。Bootstrap是随机抽样算法中常用的方法，对于原始训练的M个样本集，通过又放回的抽样法随机抽样M次，得到一个包含M个样本的样本集，这样，每个基础分类器的训练数据集就不同于原始训练集和其他样本集，从而保证了每个基础器分类的多样性；

w_i是第i个分类器的权重，则加权多数投票的定义如下：

当前已经提出了许多方案来估计分类器权重，使用优劣加权投票方案作为量化权重的措施，使用验证集上的估计误差来确定集合中最差和最好的分类器成员，在这种情况下，a_i使用以下方式确定：

式中：a_i为第i个个体学习器的相对准确度；e_w和e_b分别为所有个体学习器中最大和最小错误率，错误率＝1-准确率；e_i为第i个体学习器的错误率；

则每个分类器所占比重w_i为：

式中：L为个体学习器的总数。

(2)Bagging-LSTM网络框架

Bagging-LSTM模型将集成学习的思想与深度学习模型结合在一起，在Bagging算法的框架下，引入处理电能质量扰动序列的LSTM模型，作为对电能质量扰动信号的基础分类器，Bagging算法构建了具有差异性的多个LSTM分类器，使用一种投票策略优劣加权投票方案集成多个分类器的预测结果从而得到一个最终的分类结果。

5.如权利要求4所述的基于集成深度学习的电能质量扰动分类方法，其特征是，步骤(2)Bagging-LSTM网络框架中，具体的实现步骤如下：

(1)根据十倍交叉验证原则，将电能质量扰动信号训练数据的10％作为验证集进行拆分，每个信号序列的样本标签是其相应的类别；

(2)通过随机抽样获得T组训练样本，对于第T个训练样本，引入LSTM模型来训练第T个Softmax分类器，即第T个弱分类器；

(3)训练弱分类器并收集与第T个训练样本对应的验证集准确率数据，从而计算出第T个弱分类器的权重；

(4)将所有基本分类器与相应的权重分布链接在一起，并使用改进的投票策略来预测测试集的类别并计算准确率。

Images