CN109034054A - 基于lstm的谐波多标签分类方法 - Google Patents

Abstract

一种基于深度学习模型的谐波多标签分类方法，属于电能质量分类识别技术领域。该方法采用具有记忆特性的长短期记忆单元（LSTM）网络，对具有时间序列特性的谐波数据进行特征提取操作，再通过全连接层对其提取的特征值进行降维处理，然后将降维过的特征值输入到sigmoid网络层对谐波数据进行分类识别。本发明使得电能质量谐波扰动的相关特征可以通过数据驱动的方式来提取，完全克服了基于时域、频域以及变换域等物理特性的分类识别建模方法，在适应性、算法效率和准确性方面面临的挑战。该方法在克服电能质量扰动多标签分类时常用的标签幂集法缺陷的同时，还具有较高的谐波分类识别准确率。

Description

基于LSTM的谐波多标签分类方法

技术领域

本发明涉及一种基于LSTM的谐波多标签分类方法，属于电能质量分类识别技术领域。

背景技术

随着新能源发电的研究和应用在世界范围内的超高速增长，对智能电力电子设备的发展提出了一系列的新需求。同时，能源互联网建设的推进，电网将从传统的发、输、配、荷的垂直单一模式，转变为含多电力电子变换的功率与信息双向流动模式，新一代电力系统呈现出电力电子化和多源多变换特征。电能质量问题变得更加复杂。

由于电力电子设备的广泛接入，非线性负荷对电网造成的冲击，影响更广泛、更严重，谐波污染也将更加复杂，对电力系统的经济效益、安全运行构成严重威胁。准确识别出谐波类型，有助于抑制和治理谐波污染以及进一步控制电网的电能质量，对于维护电网安全稳定运行具有重要意义。

目前，对谐波的分类识别研究已经形成较为成熟的思路。即采取特征提取和信号分类两步骤来实现。其中常见的特征提取方法包括小波变换、短时傅里叶变换、S变换等；常见的信号分类方法包括决策树、支持向量机等。但是，物理模型具有较强的局限性，对扰动变化的复杂性和影响因素多样化适应性不强，难以依据不确定性因素建模。已无法充分适应复杂扰动现象高维、时变、非线性、多物理参量影响所带来的综合挑战，需要根据扰动成因的变化，不断地新建或改进模型。因此，基于物理特性的分析识别建模方法，面对复杂扰动现象的模式识别建模在适应性、算法效率和准确性方面面临挑战。

深度学习是数据驱动的技术，它的核心是利用大量的数据训练模型，通过学习发现规律，完全避免了基于物理特性建模的局限性。

深度学习是典型的数据特征提取技术，分为前馈神经网络（代表性网络模型有深度置信网络DBN，卷积神经网络CNN等）和反馈神经网络（代表性网络模型有循环神经网络RNN）。它和传统的人工神经网络的不同在于分层训练机制，采用无监督逐层训练、多层堆叠，有监督整体微调的结构设计和优化激活函数方法，构建多隐含层的多层感知器，实现逐层数据特征提取，通过组合底层特征形成更加抽象的高层特征，最终揭示数据对象的特征分布。

长短期记忆网络(Long Short-Term Memory,LSTM)属于反馈神经网络。本发明提出了基于LSTM的谐波多标签分类模型，该模型首先通过LSTM提取特征值，再通过全连接层进行特征降维处理，最后采用sigmoid网络层进行多标签分类识别。使用该模型可以很好地克服传统方法提取步骤繁琐复杂，可能会丢失部分信号的原始特征等缺点，并改善了传统RNN网络容易发生梯度爆炸等缺陷，在克服标签幂集法缺陷的同时，具有较高的谐波分类识别准确率。

发明内容

本发明的目的在于，针对谐波信号人工特征提取步骤复杂繁琐，易丢失部分信号特征，信号叠加分类识别准确率不高等问题，提供一种新型的基于LSTM的谐波多标签分类方法。

本方法采用具有记忆特性的长短期记忆单元（LSTM）网络，对具有时间序列特性的谐波数据进行特征提取操作、再通过全连接层将其提取的特征值进行降维处理，然后通过分类输出层对降维过的特征值进行多标签分类。通过数据驱动的方式来获取电能质量谐波扰动的相关特征，完全克服了基于时域、频域以及变换域等物理特性的谐波分类识别建模方法，在适应性、算法效率和准确性方面面临的缺陷。该方法在克服多标签常用的标签幂集法缺陷的同时，还具有较高的谐波分类识别准确率。

一种基于LSTM的谐波多标签分类方法，该方法在数据处理层对样本数据进行标签处理和按设定的时间步长进行数据的矩阵重构操作，然后是模型训练过程，该过程可分为无监督预训练和模型微调两部分。该方法步骤为：

步骤1：将原始样本数据进行数据预处理；

步骤2：将处理好的样本数据输入到LSTM模型中进行无监督预训练，调整模型的各项超参数得到合适的模型结构；

步骤3：将样本数据输入到预训练后得到的模型进行模型的微调，并保存模型；

步骤4：对需要分类的谐波数据进行与训练数据同样的预处理；

步骤5：将处理过的数据输入到保存的模型，得到分类结果。

所述的数据预处理包括以下步骤：

步骤1：将样本数据的训练集和测试集按9：1划分；

步骤2：对训练集的数据进行按照规定的步长进行矩阵向量重构，并将对应的标签向量化；

步骤3：按步骤2处理测试集。

数据的标签向量化处理是将类型的对应位置用0代表不是这一类，1代表是这一类，向量中若有2个及以上的位置为1，则表示这个样本是多个谐波信号叠加的复合扰动。

所述的无监督预训练包括以下步骤：

步骤1：将数据输入到预设的LSTM模型中；

步骤2：查看模型训练的收敛效果，调整LSTM层单元个数等超参数；

步骤3：重复步骤1、2直到模型的收敛速度达到较好的范围。

所述的模型微调包括以下步骤：

步骤1：将数据输入到预训练好的LSTM模型中；

步骤2：查看模型的识别准确率，对模型进行细微权重等自我调整；

步骤3：将调整得到的通用模型保存下来。

所述的使用保存好的模型进行分类包括以下步骤：

步骤1：对新的谐波数据进行预处理；

步骤2：在实际系统中导入保存好的通用模型；

步骤3：将预处理后的数据输入到模型，得到分类结果。

与现有技术相比，本发明方法具有以下的优点：

(1)本发明采用的基于数据驱动的深度学习技术，可以有效避免人工特征提取步骤的繁琐复杂，及其可能发生的局部特征丢失等问题；

(2)本发明采用的深度学习技术——LSTM通过输入门、遗忘门、输出门这三个门来控制记忆细胞以及每个LSTM单元的输出实现了其特殊的记忆功能，使得该模型更适合学习具有前后关联和连续性的数据的特征。通过LSTM可以记忆数据的长期依赖关系。谐波数据作为连续的波形数据，其数据具有时间连续性，谐波的特征值与其发生的一段时间内采样到的数据都相关，因此选用LSTM学习谐波特征具有明显优势；

(3) 本发明采用的基于算法扩展的多标签分类方法，可以克服目前针对复合扰动的多标签分类方法——标签幂集法所导致的标签空间发生维数危机，容易造成样本的不平衡性,使得采用此方法的分类器最后在预测过程中无法预测出新的标签组等问题。

附图说明

图1是基于LSTM的谐波多标签分类模型图。

图2是本发明的模型训练构建图。

具体实施方式

下面结合附图1、附图2和实施例对基于LSTM的谐波多标签分类方法作详细介绍，但本发明的实施不局限于此。

实施例：

如图1所示，本实施例的基于LSTM的谐波多标签分类方法，搭建一个含有数据处理层、LSTM层、全连接层、分类层的四层深度学习网络模型，其中数据处理层也是整个模型的输入层，分类层也是结果输出层。

如图2所示，本实施例模型的训练过程包括无监督预训练和模型微调两个步骤，其中无监督预训练过程用来确定整个模型每层的神经元个数和学习率等超参数，模型微调则是在预训练的基础上对模型进行权重等参数的微调，通过这两步最终获得本发明的基于LSTM的谐波多标签分类模型。

整个模型的建立步骤如下：

(1) 准备谐波数据：谐波可按照其与基波频率大小比值来进行分类。其频率为基波频率的几倍则称为几次谐波。此外，还可按照谐波次数的奇偶性进行分类，可分为奇次谐波和偶次谐波。在平衡的三相系统中，因为对称关系，偶次谐波通常已经被消除了，其危害很小。所以这里主要研究奇次谐波的分类。

以奇次谐波3、5、7次为例，分别用R1～R3表示，每类谐波信号以基波频率50Hz，采样频率10kHz，仿真产生3种单一的谐波扰动和4种复合谐波扰动，各生成200个随机样本。由于现场数据会受到噪声的影响，在仿真信号上又叠加信噪比(SNR)强度分别为50、40、30和20dB的高斯白噪声，以此来证明该识别算法模型的抗噪性能。表1给出了这3种谐波信号的数学表达式及其参数。

表13种单-谐波扰动信号表达式(ω₀＝2π*50rads，T＝0.02s)

Table 1Three single harmonic disturbance signal expressions

(2)对谐波数据进行预处理：对谐波数据的每个样本的维度调整为20*10的矩阵向量，划分训练集和测试集，数据训练批次的划分等；

(3)无监督预训练构建整体模型，步骤如下：

a)多长短期记忆神经元特征提取：选择循环神经网络中的通用的LSTM神经单元T个(T＞1，本实施例最终选定T＝20)构建LSTM网络层，对预处理后的谐波数据进行内部计算，得到20个谐波的抽象特征值；所述LSTM 神经元内部计算包括遗忘门系数f_t、输入门系数i_t、输出系数o_t、输出值h_t和细胞状态值C_t等计算；

f_t＝σ(ω_f·[h_t-1，x_t]+b_t) (1.1)

公式(1.1)中h_t-1为t-1时刻的输出，x_t为t时刻的输入，ω_f和b_f为t-1时刻到达t时刻的神经元所对应的遗忘门的权重和偏置，最后通过 sigmoid函数得到遗忘系数f_t。

i_t＝σ(ω_i·[h_t-1，x_t]+b_i) (1.2)

公式(1.2)中h_t-1为t-1时刻的输出，x_t为t时刻的输入，ω_i和b_i为 t-1时刻到达t时刻的神经元所对应的输入门的权重和偏置，最后通过 sigmoid函数得到输入系数i_t。

公式(1.3)中h_t-1为t-1时刻的输出，x_t为t时刻的输入，ω_C和b_C为 t-1时刻到达t时刻的神经元所对应的输入数据的权重和偏置，最后通过tanh函数得到输入数据

公式(1.4)中C_t为t时刻更新后的细胞状态，其值等于前一时刻通过遗忘算法得到的细胞状态中保留的数据f_t*C_t-1加上t时刻输入门决定的输入数据

o_t＝σ(ω_o·[h_t-1，x_t]+b_o) (1.5)

公式(1.5)中h_t-1为t-1时刻的输出，x_t为t时刻的输入，ω_o和b_o为 t-1时刻到达t时刻的神经元所对应的输出门的权重和偏置，最后通过 sigmoid函数得到输出系数o_t。

h_t＝o_t·tanh(C_t) (1.6)

公式(1.6)中h_t为t时刻的输出，C_t为t时刻更新后的细胞状态，o_t为输出门计算的出的输出系数，通过tanh(C_t)，o_t的值可得到t时刻输出的数据h_t。

b)全连接层以步骤(a)的输出作为输入，对步骤(a)提取的特征值进行降维处理，降低分类输出层的数据复杂度；

c)多标签分类层以步骤(b)的输出作为输入，对样本进行分类识别，并输出结果；

本实施例的分类问题有3个标签，若样本数量为n，数学表示为：

X＝{x₁，x₂，...，x_n}

Y＝{y₁，y₂，y₃}，其中y_i∈{1，2，3}

多标签分类层主要是计算P(c_j|x_i)：样本x_i的标签为c_j的概率。最后模型的输出为：

基于样本属于每个标签的概率是相互独立的关系，本层选用sigmoid函数作为激活函数；

无监督预训练后，最终确定模型的层数、各层神经元个数、学习率等超参数，为下一步模型微调做好准备。

(4) 模型微调：使用步骤(2)的数据对步骤(3)构建好的模型进行训练，最终得到收敛效果好，在测试集中分类识别准确率高的通用模型，并将该模型保存好。

(5) 应用通用模型分类识别，步骤如下：

a)对采集的新数据进行与步骤(2)同样的预处理操作；

b)将通用模型导入到应用的系统中；

c) 将a)处理的数据输入到导入的模型中，得到分类结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不局限于此，如LSTM神经元还可选择其他的反馈神经网络使用的神经元。该模型还可应用到电能质量其他波形数据的分类识别。

本发明提供了一种基于深度学习模型的谐波多标签分类方法，该方法属于电能质量分类识别技术领域。该方法采用具有记忆特性的长短期记忆单元（LSTM）网络，对具有时间序列特性的谐波数据进行特征提取操作、再通过全连接层对其提取的特征值进行降维处理，然后将降维处理过的特征值输入到sigmoid网络层对谐波进行分类识别。本发明使得电能质量谐波扰动的相关特征可以通过数据驱动的方式来提取，完全克服了基于时域、频域以及变换域等物理特性的谐波分类识别建模方法，在适应性、算法效率和准确性方面面临的挑战。此外，该方法不仅克服了传统人工神经网络收敛速度慢，易陷入局部最优等缺陷。还在克服了电能质量扰动多标签分类常用的标签幂集法缺陷的同时，还具有较高的谐波分类识别准确率。

Claims (5)

1.一种基于LSTM的谐波多标签分类方法，其特征在于，采用深度学习中的LSTM网络，通过分层训练机制，将不同的谐波数据的特征提取出来输入到全连接层；全连接层将LSTM层提取的高维特征进行降维处理输入到分类层；最后由分类层计算提取的特征值，将不同的谐波信号和多种谐波叠加的信号分类识别出来；该方法中的模型训练过程分为无监督预训练和模型微调两部分；最后得到通用的基于LSTM的谐波多标签分类模型；该方法步骤为：

步骤1：将原始样本数据进行数据预处理；

步骤2：将处理好的样本数据输入到LSTM模型中进行无监督预训练，调整模型的各项超参数得到合适的模型结构；

步骤3：将样本数据输入到预训练后得到的模型进行模型的微调，并保存模型；

步骤4：对需要分类的谐波数据进行与训练数据同样的预处理；

步骤5：将处理过的数据输入到保存的模型，得到分类结果。

2.根据权利要求1所述的一种基于LSTM的谐波多标签分类方法，其特征在于，所述的数据预处理的步骤为：

步骤1：将样本数据的训练集和测试集按9：1划分；

步骤2：对训练集的数据进行按照规定的步长进行矩阵向量重构，并将对应的标签向量化；

步骤3：按步骤2处理测试集；

数据的标签向量化处理是将类型的对应位置用0代表不是这一类，1代表是这一类，向量中若有2个及以上的位置为1，则表示这个样本是多个谐波信号叠加的复合扰动。

3.根据权利要求1所述的一种基于LSTM的谐波多标签分类方法，其特征在于，所述的无监督预训练的步骤为：

步骤1：将数据输入到预设的LSTM模型中；

步骤2：查看模型训练的收敛效果，调整LSTM层单元个数等超参数；

步骤3：重复步骤1、2直到模型的收敛速度达到较好的范围。

4.根据权利要求1所述的一种基于LSTM的谐波多标签分类方法，其特征在于，所述的模型微调的步骤为：

步骤1：将数据输入到预训练好的LSTM模型中；

步骤2：查看模型的识别准确率，对模型进行细微权重等自我调整；

步骤3：将调整得到的通用模型保存下来。

5.根据权利要求1所述的一种基于LSTM的谐波多标签分类方法，其特征在于，所述的使用保存好的模型进行分类的步骤为：

步骤1：对新的谐波数据进行预处理；

步骤2：在实际系统中导入保存好的通用模型；

步骤3：将预处理后的数据输入到模型，得到分类结果。