CN109635928A - 一种基于深度学习模型融合的电压暂降原因识别方法 - Google Patents

Abstract

一种基于深度学习模型融合的电压暂降原因识别方法，属于电能质量分析方法技术领域。方法包括对电压暂降录波及其暂降原因标签进行数据预处理；搭建卷积神经网络；对卷积神经网络进行有监督预训练；用深度置信网络替换卷积神经网络的全连接层；对深度置信网络进行无监督预训练；添加softmax层；对整个网络进行有监督训练；对生成的模型进行准确率的验证；对融合模型输出的各类别概率进行判断，自动识别输入对应的暂降原因类型。本发明利用历史电压暂降录波及其暂降原因标签对网络进行迭代训练，生成融合后的模型。将监测点可能出现的电压暂降录波输入模型，就可以得到对应的暂降原因类型。本发明对现有的电能质量监测系统是一大补充，具有十分重要的现实意义。

Description

一种基于深度学习模型融合的电压暂降原因识别方法

技术领域

本发明涉及一种基于深度学习模型融合的电压暂降原因识别方法，属于电能质量分析方法技术领域。

背景技术

电能质量问题包括稳态电能质量和暂态电能质量两个方面。随着工业与信息社会的迅速发展，一方面，配电网中非线性负荷对电网的电能质量构成了严重的威胁；另一方面，配电网中电力电子设备的多样化应用和工业生产中敏感用电设备的广泛使用，对电能质量提出了高可靠性、高可控性、高暂态恒定性等要求。电压暂降是电力系统中难以避免且最容易引起敏感工业用户经济损失的电能质量扰动事件之一，现有电能质量问题中，80%以上的电能质量问题由电压暂降引起，暂态电能质量问题已然成为国内外研究的热点之一。

引起电压暂降的扰动原因主要有系统短路故障、大型感应电动机启动、变压器投切等单一电压暂降原因及其之间相互影响而构成的复合电压暂降原因，不同电压暂降原因的信号具有明显不同的特性。由此可见，如果能够对电压暂降的历史录波数据及其暂降原因标签进行分析，找出其中隐藏的规律，便可以准确识别电压暂降事件的暂降原因。实现电压暂降原因的准确识别有助于干扰治理方案的及时制定和事故双方责任的明确界定，能够有效降低经济损失并解决相关纠纷，对实际生活生产具有重要的现实意义。

目前，国内外学者们对电压暂降原因的识别主要是基于物理特征的方法，包括特征提取和模式识别两个环节。特征提取是通过信号处理和数理统计对电压暂降信号进行变换和重构，并从中提取时域、频域和时频域上的有效特征，常用方法包括小波变换、傅里叶变换、Hilbert-Huang变换、S变换等；模式识别是利用算法设计分类器，用于确定扰动信号所属的电压暂降原因类别，主要方法包括神经网络、支持向量机、主成分分析约简、模糊综合评价等。

随着电网设备的复杂化和用电模式的区域化，电力系统中很难再对复杂时间序列数据建立精确且通用的数理统计模型。同时，特征提取过程的信息丢失和分类模型的过度复杂也使得现有方法的缺陷日益凸显。大数据时代背景下，基于数据驱动的方法则备受青睐，其不依赖物理模型的特性有效地弥补了基于数理模型的不足。深度学习便是一种基于对数据进行表征学习的方法，其特征学习和分层特征提取的高效算法能够克服人工获取特征的问题。经过多年的实际运行，电能质量智能信息系统已经累积了大量的电能质量电压暂降事件记录，这为深度学习在电能质量中的应用提供了良好的数据支撑。

考虑到电网中电能的三相方式传输和不同电压暂降原因的信号特点，本发明引入了深度学习算法中的卷积神经网络和深度置信网络，首先通过卷积神经网络获取电压暂降信号的时序特征和空间特征，然后采用深度置信网络替换卷积神经网络中用于提纯高维特征和起分类器作用的全连接层，从而增强网络的多标签分类能力。再确定损失函数作为网络目标来指导学习过程，并用带暂降原因标签的历史电压暂降录波数据对搭建好的网络进行迭代训练。最终训练生成的融合模型能够根据暂降事件的录波数据自动识别其对应的电压暂降原因。

发明内容

本发明的目的在于，提出一种基于深度学习模型融合的电压暂降原因识别方法，挖掘历史电压暂降事件中录波数据与电压暂降原因的关系，达到对电压暂降事件对应的电压暂降原因的准确识别。

首先，对电能质量监测点的电压暂降录波数据及其暂降原因标签进行数据预处理。所述数据预处理包括对电压暂降录波数据的连续采样、对采样电压值的归一化处理、对电压暂降原因标签的向量化，最后将预处理后的数据和标签划分为训练集和测试集。

然后，搭建卷积神经网络，并用训练集数据对搭建好的卷积神经网络进行有监督预训练。所述卷积神经网络的组件包括卷积层、池化层、全连接层，每层均使用非饱和非线性的Relu激活函数，每层均加入批标准化处理。所述有监督预训练采用处理后的连续电压值及其对应的电压暂降原因标签对搭建好的卷积神经网络进行迭代训练，训练过程中将网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。

其次，用深度置信网络替换卷积神经网络的全连接层，并用训练集数据对深度置信网络进行无监督预训练。所述深度置信网络由多个传统的受限玻尔兹曼机层串联堆叠而成。所述无监督预训练将处理后的连续电压值输入预训练好的卷积神经网络，利用其池化层的输出对搭建好的深度置信网络的第一个受限玻尔兹曼机进行无监督预训练，利用第一个受限玻尔兹曼机的隐含层输出对下一个受限玻尔兹曼机继续进行无监督预训练，以此类推。其中，受限玻尔兹曼机的无监督预训练引入了能量函数，其训练目标是使网络的能量函数达到最低值状态。训练过程中，先从受限玻尔兹曼机的显层获取输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层单元和显层单元被激活的概率，从而得到网络偏置的求解结果。最后依据隐层单元和显层单元之间的相关性差异，通过反向传播算法迭代更新网络的权重和偏置，最终实现网络的最佳稳定状态。

再次，添加softmax层，并用训练集数据对整个网络进行有监督训练，保存生成的融合模型。所述softmax层将网络的输出映射到(0，1)区间内，从而获得网络输入数据属于各电压暂降原因类别的概率。所述有监督训练采用处理后的连续电压值及其对应的电压暂降原因标签对整个网络进行迭代训练，训练过程中将softmax层输出和对应标签的交叉熵作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。

最后，用测试集数据对融合模型进行准确率的验证，并利用融合模型自动识别输入的电压暂降录波数据对应的电压暂降原因类型。所述准确率的验证将处理后的连续电压值输入训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别。接着将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率。最终，经过训练生成的融合模型能够根据暂降事件的录波数据自动识别其对应的电压暂降原因。

可行性分析：第一，符合实际应用需求；目前我国多个省市已建立了电能质量监测网络，引入了电能质量信息系统，基本实现了对电能质量状态的实时监测。进一步控制和治理电能质量扰动问题，特别是电压暂降问题，是目前电能质量领域关注的重点，许多省网公司已经提出了要在现有电能质量监测系统中接入扰动检测及识别模块；第二，具备数据支撑条件；目前投入使用的电能质量监测系统已经积累了大量的电压暂降事件及其暂降原因的记录，并拥有各监测点的详细信息，这为基于数据驱动的电压暂降原因识别方法提供了可靠的数据来原因；第三，技术的可行性；深度学习是当下最受关注的研究课题之一，目前已经提出了很多成熟的算法。而且在图像工程、自然语言处理、语音识别等领域中，已经成功的将深度学习算法应用于分类识别的模型中，技术层面上也具备了可靠的理论依据和现实依据。

本发明的有益效果：提供一种基于深度学习模型融合的电压暂降原因识别方法，该方法利用历史电压暂降录波数据及其电压暂降原因标签对搭建好的深度神经网络进行迭代训练，生成融合模型。将电能质量监测点可能出现的电压暂降事件的录波数据输入融合模型，就可以得到其对应的电压暂降原因类型。有助于电能质量扰动治理方案的及时制定，能够有效降低经济损失，对现有的电能质量监测系统是一大补充，具有十分重要的现实意义。

附图说明

图1基于深度学习模型融合的电压暂降原因识别方法的结构示意图。

图2卷积神经网络的结构示意图。

图3受限玻尔兹曼机的结构示意图。

图4深度置信网络的结构示意图。

图5本发明流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

图1基于深度学习模型融合的电压暂降原因识别方法的结构示意图。图2卷积神经网络的结构示意图。图3受限玻尔兹曼机的结构示意图。图4深度置信网络的结构示意图。图5本发明流程图。如图1、2、3、4、5所示，基于深度学习模型融合的电压暂降原因识别方法，该方法步骤如下：

步骤1：对电能质量监测点的电压暂降录波及其电压暂降原因标签进行数据预处理；

本专利的数据预处理包括对电压暂降录波数据的连续采样、对采样电压值的归一化处理、对电压暂降原因标签的向量化，最后将预处理后的数据和标签划分为训练集和测试集；

步骤2：搭建传统的卷积神经网络；

所述卷积神经网络的组件包括卷积层、池化层、全连接层。如图2所示，卷积神经网络每层均使用非饱和非线性的Relu激活函数，从而提升网络的表达能力，每个池化层后均加入批标准化处理，从而加快网络的学习速率；

步骤3：用训练集数据对步骤2搭建好的网络进行有监督预训练；

所述有监督预训练包含前向传播和反向传播两个过程：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤2搭建好的网络进行迭代训练，训练过程中将网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。

假设网络处理K类m个训练样本，单个输入样本为(x ⁽ⁱ⁾，y ⁽ⁱ⁾)，其中x ⁽ⁱ⁾为n维输入向量，y ⁽ⁱ⁾为该样本所属的类别。用l表示当前层，l层输入特征向量为x ^l-1，输出特征向量为x ^l ，该层卷积滤波器的权值和偏置分别为w ^l 和b ^l 。则前向传播在每层对于输入特征的计算如下：

其中f(·)取Relu激活函数。对于含有m个样本的样本集{(x ⁽¹⁾，y ⁽¹⁾)，…，(x ^(m)，y ^(m))}，卷积神经网络的整体代价函数为：

其中λ为权重衰减参数，n _l 为网络总层数，s _l 为网络第l层节点数。反向传播时，用批量梯度下降法对每层的参数w _ij ^(l)和b _i ^(l)进行更新，使整体代价函数最小化。更新公式如下：

其中，α为学习速率。当网络结构的代价误差最小时，就得到预训练好的网络模型；

步骤4：保留卷积神经网络的参数，用深度置信网络替换卷积神经网络的全连接层；

所述深度置信网络由多个传统的受限玻尔兹曼机层串联堆叠而成，一个典型的受限玻尔兹曼机结构如图3所示。显层v作为输入层，隐层h作为输出层，偏置w用来控制显层和隐层中单元的激活状态，层内单元相互独立^[16]。其中，网络的显层第i个单元与隐层第j个单元之间的权重用参数w _ij 表示，显层的偏置为参数b = (b ₁，b ₂，…，b _m )，隐层的偏置为参数c =(c ₁，c ₂，…，c _n )；

步骤5：用训练集数据对深度置信网络进行无监督预训练；

所述无监督预训练为：将步骤1处理后的连续电压值输入步骤3预训练好的卷积神经网络，利用其池化层的输出对步骤4搭建好的深度置信网络的第一个受限玻尔兹曼机进行无监督预训练，利用第一个受限玻尔兹曼机的隐含层输出对下一个受限玻尔兹曼机继续进行无监督预训练，以此类推，如图4所示。其中，受限玻尔兹曼机的无监督预训练为：引入能量函数，训练目标是使网络的能量函数达到最低值状态，即网络的最佳稳定状态。训练过程中，先从受限玻尔兹曼机的显层获取输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层单元和显层单元被激活的概率，从而得到网络偏置的求解结果。最后依据隐层单元和显层单元之间的相关性差异来更新权重w和偏置b，更新公式如下：

式中的上标代表取样步骤，(v ⁽⁰⁾ h _j ⁽⁰⁾)代表基于显层和隐层的第一次取样，反复多次后便可以得到合适的w，从而确定显层输入所对应的隐层输出信息；

步骤6：保留深度置信网络的参数，在现有网络的输出层后面添加softmax层；

所述softmax层调用softmax函数用于多标签分类。假设有K个类别，S _i 代表的是第i个单元的输出，softmax层的计算过程为：

softmax层将网络的输出映射到(0，1)区间内，从而获得网络输入数据属于各电压暂降原因类别的概率。添加softmax层后的整体网络如图1所示；

步骤7：用训练集数据对整个网络进行有监督训练并保存模型；

所述有监督训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤6搭建好的网络进行迭代训练，训练过程中将softmax层输出和对应标签的交叉熵作为损失函数c，假设y _i 表示真实的分类结果，c的计算过程为：

通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标；

步骤8：用测试集数据对步骤7生成的模型进行准确率的验证；

所述准确率的验证为：将步骤1处理后的连续电压值输入步骤7训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别。最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率；

步骤9：用户输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型。

实施例1

本实施例的样本暂降数据原因是选取某省电能质量监测系统中2012至2016年间2100条电压暂降记录，记录中包含单相接地故障C₁、大型感应电动机启动C₂、变压器投切C₃、短路故障引起的多级电压暂降C₄、单相接地与大型感应电动机启动的复合C₅、单相接地与变压器投切的复合C₆和大型感应电动机启动与变压器投切的复合C₇七种电压暂降原因的信号各300组样本数据。通过搭建深度神经网络并迭代训练，可以学习到不同电压暂降原因对应的录波数据的抽象化特征参数并生成融合后的模型。假定几组电压暂降录波数据，输入融合模型可以得到相应的电压暂降原因类型。

基于该样本实施步骤如下：

1.对样本进行数据预处理：为了匹配网络的数据输入接口要求，每组样本数据的采样点设为625个，并对采样电压值进行归一化预处理。同时对电压暂降原因标签进行向量化处理，最后在每类样本中取75个样本作为测试集，剩余的225个样本为训练集；

2.在深度学习框架TensorFlow上搭建传统的卷积神经网络：主要由两个卷积层C₁-C₂、两个池化层P₁-P₂和三个全连接层FC₁-FC₃组成，用于处理25px*25px*3大小的输入数据。卷积层C₁使用32个5px*5px*3的卷积核，卷积层C₂使用64个5px*5px*3的卷积核，滑动步长均为1px。池化层P₁-P₂均使用SAME边缘填充的方式进行最大值池化处理，滑动步长均为2px。全连接层FC₁-FC₃神经元个数依次为1024、256和3。在搭建的卷积神经网络中，每层均使用非饱和非线性的Relu激活函数，从而提升网络的表达能力。每个池化层后均加入批标准化处理，从而加快网络的学习速率。同时，在池化层P₂和全连接层FC₁之间通过Flatten函数将三维特征向量变换成一维特征向量，从而保证网络中维度的一致性；

3.用训练集数据对卷积神经网络进行有监督预训练：分为前向传播和反向传播两个过程。训练过程中输入训练集数据，将前向传播的网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。随着迭代次数的增加，网络的损失逐渐下降并趋于稳定，生成模型的准确率逐渐上升，并趋于93%；

4.用深度置信网络替换卷积神经网络的全连接层：深度置信网络由三个受限玻尔兹曼机串联堆叠而成，受限玻尔兹曼机的隐层单元个数依次为1024、256和3；

5.用训练集数据对深度置信网络进行无监督预训练：分为前向传播和反向传播两个过程。深度置信网络首先训练第一个受限玻尔兹曼机得到合适的隐层，将隐层单元的激活概率作为第二个受限玻尔兹曼机的显层输入，第二个和第三个受限玻尔兹曼机的训练过程以此类推。在受限玻尔兹曼机的无监督预训练过程中，先从显层获取训练集的输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层和显层单元被激活的概率，从而得到偏置的求解结果。最后依据隐层单元和显层单元之间的相关性差异来更新网络的权重和偏置，反复多次后便可以使能量函数达到最低值状态，即网络的最佳稳定状态，从而确定显层输入所对应的隐层输出信息。随着迭代次数的增加，网络的损失逐渐下降并趋于稳定，生成模型的准确率逐渐上升，并趋于97%；

6.在网络的输出层后面添加softmax层：softmax函数将最后一个受限玻尔兹曼机的隐层输出映射到(0，1)区间内，获得各类别的概率，从而进行多标签分类；

7.用训练集数据对整个网络进行有监督训练并保存模型：分为前向传播和反向传播两个过程。训练过程中输入训练集数据，将softmax层输出和对应标签的交叉熵作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。随迭代次数的增加，网络的损失继续下降并趋于稳定，生成模型的准确率逐渐上升，并趋于99%；

8.用测试集数据对生成的模型进行准确率的验证：将测试集数据的连续电压值输入训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别。最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率。结果中各电压暂降原因类别的识别准确率：

单相接地故障C₁：100%；

大型感应电动机启动C₂：98.3%；

变压器投切C_3：99.4%；

短路故障引起的多级电压暂降C₄：100%；

单相接地与大型感应电动机启动的复合C₅：98%；

单相接地与变压器投切的复合C_6：99.3%；

大型感应电动机启动与变压器投切的复合：98.7%；

9.输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型并输出。

本发明提供一种基于深度学习模型融合的电压暂降原因识别方法，该方法融合深度学习算法中的卷积神经网络和深度置信网络，利用历史电压暂降录波数据及其电压暂降原因标签对搭建好的深度神经网络进行迭代训练，能够自主学习其抽象化特征参数并生成融合后的模型。将电能质量监测点可能出现的电压暂降事件的录波数据输入融合模型，就可以得到其对应的电压暂降原因类型。有助于电能质量扰动治理方案的及时制定，能够有效降低经济损失，对现有的电能质量智能监测系统是一大补充，具有十分重要的现实意义。

本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的具体实现方式不应构成本发明的限定，本发明将以附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，该方法包括以下步骤：

步骤1：对电能质量监测点的电压暂降录波及其电压暂降原因标签进行数据预处理；

步骤2：搭建传统的卷积神经网络；

步骤3：用训练集数据对步骤2搭建好的网络进行有监督预训练；

步骤4：保留卷积神经网络的参数，用深度置信网络替换卷积神经网络的全连接层；

步骤5：用训练集数据对深度置信网络进行无监督预训练；

步骤6：保留深度置信网络的参数，在现有网络的输出层后面添加softmax层；

步骤7：用训练集数据对整个网络进行有监督训练并保存模型；

步骤8：用测试集数据对步骤7生成的模型进行准确率的验证；

步骤9：用户输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型。

2.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤1所述数据预处理包括对电压暂降录波数据的连续采样、对采样电压值的归一化处理、对电压暂降原因标签的向量化，最后将预处理后的数据和标签划分为训练集和测试集。

3.根据权利要求1所述的基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤2所述卷积神经网络的组件包括卷积层、池化层、全连接层，每层均使用非饱和非线性的Relu激活函数，每层均加入批标准化处理。

4.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤3所述有监督预训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤2搭建好的网络进行迭代训练，训练过程中将网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。

5.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤4所述深度置信网络由多个传统的受限玻尔兹曼机层串联堆叠而成。

6.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤5所述无监督预训练为：将步骤1处理后的连续电压值输入步骤3预训练好的卷积神经网络，利用其池化层的输出对步骤4搭建好的深度置信网络的第一个受限玻尔兹曼机进行无监督预训练，利用第一个受限玻尔兹曼机的隐含层输出对下一个受限玻尔兹曼机继续进行无监督预训练，以此类推。

7.根据权利要求6所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，受限玻尔兹曼机的无监督预训练为：引入能量函数，训练目标是使网络的能量函数达到最低值状态；训练过程中，先从受限玻尔兹曼机的显层获取输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层单元和显层单元被激活的概率，从而得到网络偏置的求解结果，最后依据隐层单元和显层单元之间的相关性差异，通过反向传播算法迭代更新网络的权重和偏置，最终实现网络的最佳稳定状态。

8.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤6所述softmax层调用softmax函数将网络的输出映射到(0，1)区间内，从而获得网络输入数据属于各电压暂降原因类别的概率。

9.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤7所述有监督训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤6搭建好的网络进行迭代训练，训练过程中将softmax层输出和对应标签的交叉熵作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。

10.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤8所述准确率的验证为：将步骤1处理后的连续电压值输入步骤7训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别，最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率。