CN109214416A - 一种基于深度学习的多维信息融合变压器故障诊断方法 - Google Patents

Abstract

本发明提供一种基于深度学习的多维信息融合变压器故障诊断方法。该方法首先选取最能够反映变压器真实运行状态的多维度状态监量进行归一化处理作为深度学习模型的输入；其次，对需要辨识的常见变压器故障进行编码分类；然后基于深度学习理论，采用稀疏受限玻尔兹曼机堆叠形成底层网络；最后在深度学习模型顶层加入分类器，形成基于稀疏深度信念网络的深度学习模型；该故障诊断方法能够利用变压器海量的无标签多维监测数据作为学习样本，只需少量带标签进行辅助优化，训练后的模型能够根据变压器实时的多维监测数据对变压器本体状态做出准确的诊断。本发明所提出的故障诊断方法可行有效，而且其性能优于现有变压器故障诊断方法。

Description

一种基于深度学习的多维信息融合变压器故障诊断方法

技术领域

本发明是涉及变压器故障类型诊断的研究，提出了一种基于深度学习的多维信息融合变压器故障诊断方法。

背景技术

变压器作为输变电系统中最为核心的电力设备，其运行状况直接关系到整个电网的安全稳定运行。一旦发生故障，必将引起局部、甚至大面积停电，造成巨大的经济损失。导致变压器发生故障的原因众多，因此通过大量的多源异构监测数据来迅速准确判断变压器的故障，对提高变压器的安全稳定运行水平具有重要意义。

目前，电力变压器的故障诊断方法主要分为传统方法和智能方法两种。传统方法包括预防性电气试验、油中溶解气体分析法和模糊综合评估法等；智能方法主要包括人工神经网络、支持向量机和专家诊断系统。但以上方法存在着或需要停电操作、费事费力，或诊断结果过于模糊、准确度不高，或学习效率低、收敛速度慢、容易发生局部收敛等问题。

发明内容

本发明目的在于提出一种智能的变压器故障诊断方法，通过建立一个半监督学习算法，有效的利用大量的无标签样本对诊断网络进行预训练，解决了SVM、神经网络等智能算法过于依赖带标签样本的问题，具有更强的学习能力，诊断性能更好。

一种基于深度学习的多维信息融合变压器故障诊断方法，其基于深度学习神经网络，采用稀疏受限玻尔兹曼机堆叠形成底层网络，再在顶层加入分类器模型，形成基于稀疏深度信念网络(Sparse Deep Believe Network，Sparse-DBN)的深度学习模型，然后将变压器的多维度监测量作为输入量，变压器可能发生的各种故障类型作为输出量，构建基于多维度信息融合和深度学习的变压器故障诊断模型。

进一步的，把变压器的多维度在线监测信息与深度学习模型Sparse-DBN结合，利用变压器海量的无标签多维监测数据作为学习样本，加上带标签多维监测数据进行辅助优化，进行训练后基于稀疏深度信念网络的深度学习模型能够根据变压器实时的多维监测数据对变压器本体状态做出实时、准确的诊断。

进一步的，将稀疏系数引入受限玻尔兹曼机即RBM，形成了稀疏RBM；通过对原有RBM的对数似然函数增加稀疏惩罚项，以此控制隐含层神经元被激活的概率。相比传统RBM，提取的数据特征更具抽象性，表达能力更强，参数收敛速度更快，识别的准确率更高。

进一步的，稀疏RBM的具体实现方法为在RBM的训练过程中，每当采用CD算法更新一次参数时，再用稀疏惩罚项的梯度更新一次。

进一步的，采用LogSum范数作为稀疏惩罚项，形成LogSum-RBM，其稀疏惩罚项表示如下：

其中L_S表示稀疏惩罚项，m表示训练样本个数，n_h表示隐含层神经元个数，ε表示稀疏常数，表示在第t次参数更新后已知可见层神经元v^(t)分布下的隐含层第j个神经元的期望，

所以稀疏惩罚项对参数的梯度表示为：

其中其中sigmoid为神经网络中常用的激活函数，定义为sigmoid(x)＝1/(1+e^-x)；ε表示稀疏常数，ω_ij表示可见层第i个神经元与隐含层第j个神经元之间的权重，c_j表示隐含层第j个神经元的偏置，表示第t次参数更新后可见层第i个神经元的状态。

进一步的，将LogSum-RBM作为DBN的底层，形成基于LogSum-DBN变压器故障诊断模型，模型的输入为变压器多维监测指标的归一化数据，输出为概率值最大的一项故障编码且作为该样本的最终诊断结果。

与现有技术相比，本发明具有如下优点和技术效果：本发明构建基于多维度信息融合和深度学习(Deep Learning，DP)的变压器故障诊断模型。该模型可以利用现场大量的多维度监测数据作为无标签样本进行预训练，以优化模型参数，最后通过选取少量变压器故障案例及相应的监测数据作为有标签样本对模型进行调优，以保证模型能够根据变压器多维监测量有效地进行故障诊断，并提高准确率。最后通过工程实例验证了本发明的故障诊断方法的有效性和优势。该故障诊断方法可以利用现场大量多维度监测数据作为无标签样本进行预训练，通过选取少量有变压器故障案例及相应的监测数据作为有标签样本对模型进行调优，能够根据变压器多维监测量准确、有效地进行故障诊断。相比传统RBM，提取的数据特征更具抽象性，表达能力更强，参数收敛速度更快，识别的准确率更高。

附图说明

图1是本发明实现故障诊断训练流程的示意图。

图2为实例中RBM模型示意图。

图3为实例中深度置信网络结构图。

图4是预训练样本与诊断正确率的关系图。

图5是实例中变压器故障诊断模型示意图。

具体实施方式

下面结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现的。

如图1，本实例提出的一种基于深度学习的多维度信息变压器故障诊断方法，包括以下步骤：

(1)确定采用基于受限玻尔兹曼机的深度学习方法，RBM模型由可见层(visiblelayer)和隐含层(hidden layer)组成，网络神经元两种状态：未激活状态和激活状态，分别用0、1表示。规定层内的神经元之间无自连接，层与层之间的神经元相互全连接，其模型结构如图2所示。

n_v和n_h分别表示可见层和隐含层所包含的的神经元个数；ω_ij表示可见层第i个神经元与隐含层第j个神经元之间的权重；表示可见层神经元的偏置；表示隐含层神经元的偏置。其能量函数定义如下：

v_i表示可见层第i个神经元的状态；h_j表示可见层第j个神经元的状态，θ＝{ω_ij，b_i，c_j}为该RBM的参数。

其状态(v，h)的联合概率分布为：

其中为归一化因子，即配分函数。所以关于v，h的边缘概率分布为：

能量函数是一种描述整个系统状态的测度，概率分布越集中，则表示系统的能量越小，系统能量为最小的状态即为该系统最为稳定的状态。

(2)在深度学习模型中添加稀疏系数，避免了特征信息冗余，通过对原有RBM的对数似然函数增加稀疏惩罚项，控制隐含层神经元被激活的概率。本发明采用LogSum范数作为稀疏惩罚项，形成LogSum-RBM，其稀疏惩罚项表示如下：

其中m表示训练样本个数，n_h表示隐含层神经元个数，ε表示稀疏常数，所以稀疏惩罚项对参数的梯度表示为：

其中

(3)形成深度置信网络，如图3，由多层RBM堆叠而成，前一层RBM的输出为后一层RBM的输入。同时将DBN中底层的RBM全部替换为上文所提的LogSum-RBM，从而构成稀疏LogSum-DBN。图3中，V表示可见层，Hn表示第n层可见层，深度置信网络由多个RBM(受限玻尔兹曼机)堆叠而成，前一层RBM的输出作为后一层RBM的输入，最顶层采用softmax分类器作为标签层输出分类表示的结果。深度置信网络的训练分为预训练和调优两个阶段，预训练阶段采用无监督的逐层贪心训练方法来训练每层RBM参数，先训练网络的第一个隐含层，训练好后将第一个隐含层当做第二个RBM的可见层来训练第二个RBM的隐含层，以此类推直到最后一层隐含层训练结束。微调阶段，对预训练好的采用BP算法有监督地对整个网络参数进行进一步优化和调整，使其达到全局最优。

对深度置信网络进行训练，包括预训练和调优两个阶段，预训练阶段采用无监督的逐层贪心训练方法来训练每层RBM的参数，先训练网络的第1个隐含层，训练好的第一个隐含层的输出作为第二个隐含层的输入，接着训练第2个隐含层，以此类推直到最后一层隐含层训练结束。微调阶段，对预训练好的网络，采用有监督学习的BP算法对整个网络进行微调，使其达到全局最优。

(4)选取变压器多维监测数据，归一化处理，选取的参数包括油中溶解气体含量(氢气、甲烷、乙烷、乙烯、乙炔、一氧化碳、二氧化碳)及其产气速率、套管介损、套管电容、变压器顶层油温.、变压器振动信号、油中微水含量、铁芯接地电流，对于监测数据越低越优的评估指标，采用下降半梯形模型进行归一化：

对于监测数据越高越优的评估指标，采用上升半梯形模型：

式中x_i为评估指标的实际测量值；a、b为该评估指标的阈值。

(5)对变压器故障进行编码，进行故障统计，使诊断系统的输出项尽可能的覆盖变压器常见故障类别。

(6)形成基于LogSum-DBN的变压器故障诊断模型。

(7)进行基于LogSum-DBN的变压器故障诊断模型的训练。

作为举例，选取某市供电局的220kV主变作为诊断对象，该变压器的型号SFPS10-180000/220，生产厂家为常州西电变压器有限公司。收集该型号变压器的无标签多维监测数据500组作为预训练集，收集该型号变压器故障前后的多维监测数据100组，按一定比例分为调优集和测试集。如图4所示，引入稀疏后的变压器故障诊断情况，如图所示预训练集样本数(即无标签样本)的增加能明显提高模型的诊断正确率，当无标签样本达到800时，诊断正确率达到90％左右。虽然随着无标签样本的进一步增加，诊断正确率的增长幅度有所递减，但其上升趋势并未改变。这是因为充分的无监督训练有效的改善了模型参数，为参数的微调奠定了基础。同时可以得出，引入稀疏系数后的深度置信网络模型在诊断正确率上有所提升，随着训练样本的减少，两者的正确率都会下降，但稀疏深度置信网络模型的性能下降幅度更小，即在更少训练样本下有更好的表现。通过本发明设计的深度学习模型来提取变压器多维度监测数据与变压器故障之间的高阶非线性关系。

设定每层隐含层的神经元数目均为100，每层RBM以及最后调优阶段的循环迭代次数epoch＝50次，本发明将用于变压器故障诊断的深度学习模型的深度(隐含层层数)设为5层。可见层(输入层)所含的神经元个数为18即为变压器监测项的维度；输出层的神经元个数为9；每层隐含层从下至上每层分别含有的神经元个数均为100。在每个Case中，将所有样本顺序打乱，每次随机10个样本为一批进行分批迭代训练，网络中每个RBM的最大迭代次数均为50次，网络顶层的BP网络的最大迭代次数也设定为50次。

将稀疏算法引入诊断模型，如图5所示，在上述测试样本的基础上通过改变预训练集样本数来体现Sparse-DBN在性能上的提升程度。引入稀疏后的DBN模型在诊断正确率上有所提升，随着训练样本的减少，两者的正确率都会下降，但稀疏DBN的性能下降幅度更小，即在更少样本情况下有更好的表现。

表1 3种不同情况下的训练样本分类

Case	调优集比例％	测试集比例％
			C1	70	30
C2	50	50
			C3	30	70

将100组带标签样本根据调优集和测试集的数据比例的不同组合，如表1所示将测试分为3个Case进行，以验证在不同情况下该模型的有效性。测试结果见表1。

Claims (5)

1.一种基于深度学习的多维信息融合变压器故障诊断方法，其特征在于基于深度学习神经网络，采用稀疏受限玻尔兹曼机堆叠形成底层网络，再在顶层加入分类器模型，形成基于稀疏深度信念网络的深度学习模型，然后将变压器的多维度监测量作为输入量，变压器可能发生的各种故障类型作为输出量，构建基于多维度信息融合和深度学习的变压器故障诊断模型。

2.根据权利要求1所述的一种基于深度学习的多维信息融合变压器故障诊断方法，其特征在于把变压器的多维度在线监测信息与深度学习模型Sparse-DBN结合，利用变压器海量的无标签多维监测数据作为学习样本，加上带标签多维监测数据进行辅助优化，进行训练后基于稀疏深度信念网络的深度学习模型，能够根据变压器实时的多维监测数据对变压器本体状态做出在线诊断。

3.根据权利要求1所述的一种基于深度学习的多维信息融合变压器故障诊断方法，其特征在于将稀疏系数引入受限玻尔兹曼机(Restricted Boltzmann Machine-RBM)，形成了稀疏RBM。

4.根据权利要求3所述的一种基于深度学习的多维信息融合变压器故障诊断方法，其特征在于稀疏RBM的具体实现方法：在RBM的训练过程中，每当采用对比散度算法(Constrastive Divergence-CD)算法更新一次参数时，再用稀疏惩罚项的梯度更新一次。

5.根据权利要求4所述的一种基于深度学习的多维信息融合变压器故障诊断方法，其特征在于采用对数和(LogSum)范数作为稀疏惩罚项，形成对数和RBM(LogSum-RBM)，其稀疏惩罚项表示如下：

其中L_S表示稀疏惩罚项，m表示训练样本个数,n_h表示隐含层神经元个数,ε表示稀疏常数，表示在第t次参数更新后已知可见层神经元v^(t)分布下的隐含层第j个神经元的期望。所以，稀疏惩罚项对参数的梯度表示为：

其中其中sigmoid为神经网络中常用的激活函数，定义为sigmoid(x)＝1/(1+e^-x)；ε表示稀疏常数，ω_ij表示可见层第i个神经元与隐含层第j个神经元之间的权重，c_j表示隐含层第j个神经元的偏置，表示第t次参数更新后可见层第i个神经元的状态。