CN109612708B - 基于改进卷积神经网络的电力变压器在线检测系统及方法 - Google Patents

Abstract

本发明提出基于改进卷积神经网络的电力变压器在线检测系统及方法，其中，在线检测系统具体包括：传感器组、信号放大装置、信号采集与存储装置、故障定位装置；基于改进卷积神经网络的电力变压器在线检测系统的方法，包括离线训练部分和在线检测部分；本发明根据变压器自身结构特点与振动原理，确定振动传感器布点，实时获取变压器振动信号；将原始信号进行数据处理转换为易于卷积神经网络识别的二维灰度图作为卷积神经网络输入；根据变压器实时振动数据噪声干扰较大的特点，改进传统卷积神经网络结构、改进卷积核尺寸，建立应用于电力变压器故障定位的改进卷积神经网络架构，并验证了该方法的合理性与优越性。

Description

基于改进卷积神经网络的电力变压器在线检测系统及方法

技术领域

本发明属于电力变压器故障诊断技术领域，具体涉及一种基于改进卷积神经网络的电力变压器在线检测系统及方法。

背景技术

电力变压器作为电力系统安全的关键设备，也是其中造价最高、最复杂的设备之一。由于电力变压器处于电网的关键位置，运行环境繁杂，一旦发生故障，很大程度上会造成电网连锁故障、大面积停电等问题，更有甚者会引起爆炸、火灾等严重事故的发生，其带来的直接或间接经济损失可高达数亿元人民币，因此电力变压器是否能安全、可靠、稳定的运行与国民正常的生产和生活息息相关。随着电网容量的增大与“智能电网”概念的提出，智能变电站应运而生，而传感监测设备的不断发展以及在电力变压器表面和内部的大量部署和应用，对电力变压器设备监测与定位智能水平的要求也大大提高，其数据也逐渐呈现出多源、异构等典型的大数据特性，传统变压器故障监测与定位方法在大数据背景下无论在准确性还是时效性上都捉襟见肘。

近年来，卷积神经网络特征提取方法在语音识别领域和图像处理领域取得了突飞猛进的发展并获得了很大成功，其强大的学习能力为电力变压器故障定位提供了全新的思路。卷积神经网络具有多层的神经网络，享有共同权值的结构大大降低了网络模型的复杂度，其优势在于可以在大数据环境下完成复杂的特征提取，此外理论上卷积神经网络可以获得分布式表示，即可以通过逐层学习的算法获取输入数据的主要驱动变量。利用卷积神经网络对变压器进行故障定位，主要利用卷积神经网络的区分性深度结构对变压器故障位置进行分类处理，判断故障发生的具体部件和位置。

发明内容

针对以上技术问题，本发明提出基于改进卷积神经网络的电力变压器在线检测系统及方法，其中，基于改进卷积神经网络的电力变压器在线检测系统具体包括：传感器组、信号放大装置、信号采集与存储装置、故障定位装置；

所述传感器组放置在被测试变压器箱体不同位置上，传感器组与信号放大装置相连接，信号放大装置与信号采集与存储装置相连接，信号采集与存储装置与故障定位装置相连接；

所述传感器组，放置在被测试变压器箱体不同位置上，用于检测变压器箱体振动情况，并将振动信号传递给信号放大装置；

所述信号放大装置，将振动信号放大，并将放大后的信号传递给信号采集与存储装置；

所述信号采集与存储装置，按照时间先后顺序保存放大后的信号，并根据故障检测装置的需要提取对应时间段的放大后信号；

所述故障定位装置，采用计算机实现，并编写程序用来实现基于改进卷积神经网络的电力变压器故障在线检测功能；

所述传感器组放置在被测试变压器箱体不同位置上，传感器组分别位于被测试变压器的一侧的表面，从顶端到低端，传感器被放置依次在：顶端铁架中心位置处、A相5/6处、B相5/6处、C相5/6处、A相1/2处、B相1/2处、C相1/2处、A相1/6处、B相1/6处、C相1/6处；

所述传感器组采用压电式加速度传感器；

基于改进卷积神经网络的电力变压器在线检测系统的方法，采用基于改进卷积神经网络的电力变压器在线检测系统实现，具体包括离线训练部分和在线检测部分，包括如下步骤：

离线训练部分：

步骤1：采集离线数据：采集故障时段与正常时段的被测试变压器J个传感器传递出的振动波形信号，经过信号放大装置，振动波形信号转换为放大后信号；

步骤2：采用灰度图转换方法将放大后信号转换为二维矩阵：在放大后信号上等距截取相同长度的采样片段，每个片段选取等距的K个采样点，采样点的纵坐标为振幅，将K个振幅值纵向依次排列为K×J的二维矩阵中，其中J为传感器个数，K为采样点数；

步骤3：对灰度图转换后的二维矩阵进行归一化处理，归一化后的二维矩阵作为输入层，即输入归一化二维图：

其中，L(i)表示数据灰度图转换后的二维矩阵，其中i＝1,2,...,K×J；P(k,j)(k＝1,...,K；j＝1,...,J)表示图像像素强度，round函数为循环函数，max(L)为第一个灰度图中最大的元素，min(L)为第一个灰度图中最小的元素，循环函数使所有的像素值标准化到0～255之间；

步骤4：建立网络初始化参数：采用高斯初始化方法，即从均值为0，方差为1的高斯分布中采样，生成随机数，作为卷积神经网络的初始权值，卷积神经网络的权值即为卷积核；

步骤5：依次经过卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、卷积层C6、全连接层F6与输出层Softmax，建立改进卷积神经网络FDL-CNN；

步骤5.1：所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用卷积操作，具体如下：

K和J分别表示输入层的高度和宽度，代表J个振动信号传感器变量在时间间隔K上的监测值，改进卷积神经网络的输入层为包含K×J个点的矩阵；k和j分别表示卷积核的高和宽，执行卷积操作后的激活值，即卷积层提取的特征，如式下式所示：

经过上式的卷积操作后，输出特征图尺寸缩小至

大小；其中，S为步长，b为卷积神经网络偏置，w_rc为卷积神经网络的权值，t为输出特征图的行坐标，m为输出特征图的列坐标，r为卷积核的行坐标，c为卷积核的列坐标，其初始值为步骤4中的随机数；

输出特征图尺寸满足下式的约束条件：

为了避免提取特征后，维度缺失，所述卷积层C3采用补零算法，使提取的特征没有维度缺失；

步骤5.2：所述池化层(Pooling Layer)进行的是池化操作，将所述卷积层提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度，采用最大值池化的方法来进行池化操作，公式如下：

其中，H和W分别为池化区域的高和宽。t为卷积后输出特征图的行坐标，m为卷积后输出特征图的列坐标，i为池化后输出特征图的行坐标，j为池化后输出特征图的列坐标；

步骤5.3：所述全连接层是将过滤器特征提取出的特征进行分类；具体方法为，先将最后一个池化层的输出，展开成一维的特征向量，作为全连接层的输入；再将输入与输出之间组成全连接神经网络，其中隐含层使用的激活函数为ReLU函数，输出层的激活函数采用的是Softmax函数，在这里Softmax函数的目的是将输入的神经元转化为和为1的概率分布，为后续的多分类目标函数的建立基础；

全连接的正向传播方法如下式所示：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值；

为第l+1层第j个神经元的输出值；

为第l层所有神经元对第l+1层第j个神经元的偏置值，a^l(i)为第l层第i个神经元的输出值。a与z的区别在于，a表示激活后的值，z表示激活之前的值。

当第l+1层为隐含层时，激活函数为ReLU函数，即：

a^l+1(i)＝max{0,z^l+1(i)}

当第l+1层为输出层时，激活函数为Softmax函数，即：

其中，K为Softmax函数输出的向量维数。

步骤6：计算误差函数E的值，具体公式如下：

其中，

为卷积神经网络输入第k组数据的实际输出的第j个Softmax函数值，

为目标输出值；m为样本组数；

使用损失函数(Objective Function)来评价输入信号对应的输出与其应得的目标值是否一致，神经网络训练的目的是使输入信号对应的输出与其应得的目标值一致，在分类问题中，一般选择交叉熵函数作为损失函数；

利用损失函数是否收敛来判断一致性，输入信号对应的输出与其应得的目标值是否一致，若收敛，则说明输入信号对应的输出与其应得的目标值是一致的，若不收敛，则说明输入信号对应的输出与其应得的目标值是不一致的。

步骤7：判断误差E是否收敛：若收敛，则输出故障定位改进卷积神经网络参数；否则转到步骤8；

步骤8：利用反向传播算法更新卷积神经网络的权值，并转到步骤7判断误差是否收敛，直到误差达到收敛精度，则输出故障定位改进卷积神经网络参数，具体步骤如下：

利用链式求导计算损失函数对每个卷积神经网络的权值的偏导数，也称为梯度，然后根据梯度下降公式更新卷积神经网络的权值；训练算法是反向传播算法，反向传播算法主要分为四个步骤，即前向计算每个神经元的输出值、反向计算每个神经元的误差项、计算每个神经元连接权重的梯度、根据梯度下降法则更新每个权重；

步骤8.1：输出故障定位改进卷积神经网络参数，即前向计算每个神经元的输出值；

步骤8.2：反向计算每个神经元的误差项：当卷积神经网络输出的结果与期望值不符时，进行反向传播，求出结果与期望值的总误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，得到最优的卷积神经网络。节点j的误差δ_j实际上是网络的损失函数E_d对神经元加权输入net_j的偏导数，即

本发明的卷积神经网络由卷积层、池化层、全连接层构成，卷积层每层误差项计算公式如下：

其中，δ^l,δ^l+1,net^l均为矩阵。

由于池化层没有要学习的参数，因此，在卷积神经网络的训练中，池化层要做的仅仅是将误差项传递到上一层，而没有梯度的计算。对于本申请使用的最大池化(Max-pooling)下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所在的单元，而其他神经元的误差项的值都为0。池化层的误差传递依靠上采样函数upsample(·)实现，即：

δ^l＝upsample(δ^l+1)*σ'(z^l)

其中，σ(·)为激活函数，z^l表示第l层的激活值。

全连接层包括隐藏层和输出层，隐藏层误差反向传播关系式为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

输出层误差反向传播关系式为：

δ_j＝a_j(1-a_j)(t_j-a_j)

其中，a_j为输出层第j个神经元的激活值，t_j为输出层第j个神经元的目标值，本发明为输入对应的故障位置，用概率形式表示。

步骤8.3：计算每个神经元连接权重的梯度，由于池化层没有梯度计算，只介绍卷积层与全连接层的梯度计算方法，卷积层梯度计算方法为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

全连接层梯度计算方法分为隐藏层梯度计算与输出层梯度计算，隐藏层梯度计算公式如下，它与卷积层梯度计算方法相同：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

输出层梯度计算公式如下：

其中，δ_j为输出层误差，

为输出层前一层的第i个神经元的输出值。

步骤8.4：根据梯度下降法更新权值，具体公式如下，其中η为学习率：

所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用ReLU函数作为激活函数；

所述故障定位改进卷积神经网络参数如下：

输入层：输入归一化后二维图，二维图大小15×10；

卷积层C1：10个6×1卷积核，步长取1，输出特征图大小：10×10×10；

池化层S2：采用最大池化方法，采样区域2×2，步长取1，输出特征图大小：10×9×9；

卷积层C3：20个3×3卷积核，步长取1，用补零算法补零个数为1，上下左右各补一个0，即补一圈0，S2层中前3个相邻的特征矩阵为第1组输入，S2层中中间3个相邻的特征矩阵为第2组输入，S2中后4个相邻特征矩阵为第3组输入，S2中所有特征矩阵为第4组输入，输出特征图大小20×8×8；

池化层S4：采用最大池化Max-pooling方法，采样区域2×2，步长取2，输出特征图大小：20×4×4；

卷积层C5：40个3×3卷积核，步长取1，输出特征图大小：40×2×2；

卷积层C6：120个2×2卷积核，输出特征图大小1×120×1；

全连接层F7：80个节点；

输出层Softmax：20个节点；

学习率η：0.005，见步骤7.4中学习率；

训练批次大小Batch size:100；

所述卷积层C3采用补零算法，具体如下：

补零算法(Padding Method)是调节特征维度的一种十分重要的方法，目前被广泛应用于卷积神经网络中用来解决特征维度缺失的问题，令M为输入特征维度，N为输出特征维度，F为过滤器宽度，S为步长。两侧补零个数利用下式计算：

PT＝(N-1)×S+F-M

PR＝PT-PL

其中PL为左侧补零个数，PR为右侧补零个数。函数ceil为正向取整函数，函数floor为向下取整函数。

在线检测部分：

步骤8：在线采集数据：在线实时采集被测试变压器n个传感器传递出的振动信号，经过信号放大装置，振动信号转换为放大后信号；

步骤9：同离线训练中步骤2～步骤3，对在线采集的数据进行处理，得到在线采集数据归一化后二维矩阵；

步骤10：使用离线训练中得到故障定位改进卷积神经网络参数，对在线采数据归一化后二维矩阵进行处理，得到检测结果；

有益技术效果：

针对传统电力变压器变压器故障定位信息获取耗时耗力，故障定位技术检测精度不高，难以适应大数据环境下复杂性强、智能度高的智能变电系统，难以快速高效的达到理想识别精度等不足，提供一种基于改进卷积神经网络的电力变压器故障在线检测与定位方法，根据变压器自身结构特点与振动原理，确定振动传感器布点，实时获取变压器振动信号；将原始信号进行数据处理转换为易于卷积神经网络识别的二维灰度图作为卷积神经网络输入；根据变压器实时振动数据噪声干扰较大的特点，改进传统卷积神经网络结构、改进卷积核尺寸，建立应用于电力变压器故障定位的改进卷积神经网络架构；根据所建立的架构图，基于Python/TensorFlow框架，以3种故障类型、10个故障位置进行模拟分析，全面验证了该方法的合理性与优越性。

本发明提出一种基于改进卷积神经网络的电力变压器在线检测系统及方法，传统在利用CNN提取振动信号特征时，为了提取到输入信号的低频特征，卷积核不能太小，另一方面，为了保留输入信号的原始特征，卷积核不能太大。而变压器故障振动信号频率往往高于正常振动信号频率，高频振动时会产生较大噪声，因此与LeNet-5不同，FDL-CNN的第一层卷积核采用宽卷积核，后续卷积核采用相对较窄的卷积核，以排除噪声对故障振动信号的干扰。

附图说明

图1为本发明实施例的基于改进卷积神经网络的电力变压器在线检测方法整体流程图；

图2为本发明实施例的三相双绕组油浸式变压器器身内部主要振源结构图；

图3为本发明实施例的变压器振动信号监测位置示意图；

图4为本发明实施例的变压器振动信号传感器位置及编号；

图5为本发明实施例的电力变压器振动信号在线监测方法示意图；

图6为本发明实施例的振动信号排列为输入层规则示意图；

图7为本发明实施例的振动信号转换为二维灰度图的方法；

图8为本发明实施例的不同故障位置的二维灰度图样例；

图9为深度神经网络在变压器故障诊断领域应用现状；

图10为传统卷积神经网络LeNet-5结构图；

图11为本发明实施例的应用于电力变压器故障定位的改进卷积神经网络架构；

图12为本发明实施例的改进卷积神经网络的特征提取过程；

图13为本发明实施例的补零算法具体操作示意图；

图14为本发明实施例的二维池化操作示意图；

图15为本发明实施例的传统卷积神经网络LeNet-5与改进卷积神经网络的迭代误差收敛曲线；

1-被测试变压器箱体；2-传感器组；3-信号放大装置；4-信号采集与存储装置；5-故障定位装置。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明：本发明提出基于改进卷积神经网络的电力变压器在线检测系统及方法，其中，基于改进卷积神经网络的电力变压器在线检测系统具体包括：传感器组2、信号放大装置3、信号采集与存储装置4、故障定位装置5，如图5所示；

所述传感器组2放置在被测试变压器箱体1不同位置上，传感器组2与信号放大装置3相连接，信号放大装置3与信号采集与存储装置4相连接，信号采集与存储装置4与故障定位装置5相连接；

所述传感器组2，放置在被测试变压器箱体1不同位置上，用于检测变压器箱体振动情况，并将振动信号传递给信号放大装置；

所述信号放大装置3，将振动信号放大，并将放大后的信号传递给信号采集与存储装置4；

所述信号采集与存储装置4，按照时间先后顺序保存放大后的信号，并根据故障检测装置5的需要提取对应时间段的放大后信号；

所述故障定位装置5，采用计算机实现，并编写程序用来实现基于改进卷积神经网络的电力变压器故障在线检测功能；

所述传感器组2放置在被测试变压器箱体1不同位置上，传感器组2分别位于被测试变压器的一侧的表面，从顶端到低端，传感器被放置依次在：顶端铁架中心位置处、A相5/6处、B相5/6处、C相5/6处、A相1/2处、B相1/2处、C相1/2处、A相1/6处、B相1/6处、C相1/6处；

本发明研究的三相双绕组油浸式变压器器身内部主要振源，绕组、铁芯结构图如图2所示。其中，Z为铁芯，低压绕组与高压绕组以此缠绕在铁芯外侧。为了较全面的监测变压器绕组、铁芯、分接开关等部件的振动，本文共采集变压器箱体10个位置的振动信号，所述传感器组放置在被测试变压器箱体不同位置上，传感器分别位于被测试变压器顶端中心位置处和A相、B相、C相的5/6位置处、1/2位置处、1/6位置处；如图3所示，传感器编号见图4。

所述传感器组2采用压电式加速度传感器；振动分析法利用置于变压器箱体外壁的传感器采集振动信号，与电力系统没有电气连接，对系统没有干扰，是一种安全可靠的在线监测手段，也是实现变压器故障在线定位的基础。

变压器振动信号在线监测需要获取变压器油箱壁多点振动信号，因此该方法要利用若干振动信号传感器和信号装置，如图5所示。多路传感器采集到的振动信号经过信号放大装置调理后由采集装置采集、存储并传输给下一级故障定位终端装置。在选择振动传感器时需要考虑的性能指标主要有灵敏度、漂移度、测量范围、输出范围等，而在实际应用中，确定性、可靠性和适应性同样是需要考虑的重要因素。确定性可保证一定的准确性、灵敏性和稳定性；可靠性可保证在适当成本的前提下具有较长的使用寿命；适应性可保证较快较好的适应工作时的外界环境温度，且受环境影响较小。目前用于测量振动信号传感器主要有三类：位移传感器、速度传感器、加速度传感器，其中加速度传感器灵敏度最高，体积小，工作频率范围宽，可在强磁场、大电流、潮湿环境中进行测量。且引起铁芯振动的磁致伸缩现象可表现在硅钢片的振动加速度上，因此本发明采用压电式加速度传感器对振动信号进行监测。

磁致伸缩现象与加速度的关系解释如下：

铁芯硅钢片的磁致伸缩效应和所受的电磁力是引起铁芯振动的主要原因。变压器中铁芯硅钢片的磁致伸缩效应一般用磁致伸缩率ε来表示，即：

L为硅钢片的原始尺寸，△L为硅钢片在外加磁场中的最大形变量。用ε_s来表示饱和磁致伸缩率，它是指当磁场达到饱和时的磁致伸缩率。磁场中的硅钢片发生的线性形变与磁场强度的关系为：

其中，H_c为矫顽力，单位为G/s；H为磁场强度，单位为A/m。

将上式代入磁致伸缩率公式得：

空载情况下，变压器铁芯中的磁感应强度如下式所示：

其中，φ为主磁通大小，单位为Wb；B为磁通密度，单位为T；V₀为最大电压值，单位为V；A为铁芯的截面积，单位为cm²；N₁为原侧绕组匝数。

令B_s为饱和磁感应强度，μ为磁导率，则铁芯中的磁场强度为：

将上式代入变压器铁芯中的磁感应强度公式，得：

由上式可得磁致伸缩引起铁芯振动的加速度为：

基于改进卷积神经网络的电力变压器在线检测系统的方法，采用基于改进卷积神经网络的电力变压器在线检测系统实现，具体包括离线训练部分和在线检测部分，如图1所示，所述包括如下步骤：

离线训练部分：

步骤1：采集离线数据：采集故障时段与正常时段的被测试变压器J个传感器传递出的振动波形信号，经过信号放大装置，振动波形信号转换为放大后信号；

步骤2：采用灰度图转换方法将放大后信号转换为二维矩阵：在放大后信号上等距截取相同长度的采样片段，每个片段选取等距的K个采样点，采样点的纵坐标为振幅，将K个振幅值纵向依次排列为K×J的二维矩阵中，其中J为传感器个数，K为采样点数；

步骤3：对灰度图转换后的二维矩阵进行归一化处理，归一化后的二维矩阵作为输入层，即输入归一化二维图：

其中，L(i)表示数据灰度图转换后的二维矩阵，其中i＝1,2,...,K×J；P(k,j)(k＝1,...,K；j＝1,...,J)表示图像像素强度，round函数为循环函数，max(L)为第一个灰度图中最大的元素，min(L)为第一个灰度图中最小的元素，循环函数使所有的像素值标准化到0～255之间；

在传统的二维卷积神经网络中，尺寸为F×F的卷积核在输入图像上按平行和垂直两个方向移动进行卷积操作，进而提取局部特征，然而这种网络结构的输入多为正方形二维数据矩阵或二维图片，在输入为多传感器时间序列变量的背景下效果并不理想。本发明中的卷积神经网络在传统网络结构上进行了改进，使其可直接输入并列的时间序列传感器变量，由多个振动信号传感器采集的变压器振动信号数据可按时间轴和传感器变量轴排列为一个二维矩阵，如图6所示。

将利用上述方法得到的数据二维矩阵进行数据处理，使原始数据的特征显现的更为明显，更适合卷积神经网络识别，数据处理分为数据灰度图转换和归一化两个步骤。数据灰度图转换方法如图7所示，在振动原始振动波形上等距截取相同长度的采样片段，每个片段选取等距的K个采样点，采样点的纵坐标为振幅，将K个振幅值纵向依次排列在图7中尺寸为K×J的矩形中，其中J为传感器个数，K为采样点数；。数据灰度图转换后得到尺寸为K×J。数据灰度图转换后得到的灰度图如图8所示。

步骤4：建立网络初始化参数：采用高斯初始化方法，即从均值为0，方差为1的高斯分布中采样，生成随机数，作为卷积神经网络的初始权值，卷积神经网络的权值即为卷积核；

步骤5：依次经过卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、卷积层C6、全连接层F6与输出层Softmax，建立改进卷积神经网络FDL-CNN；

本发明所解决的电力变压器智能故障定位属于故障诊断的一个分支，电力变压器故障诊断方法的研究重点是特征提取和特征分类，为了提取更好的特征，Hinton在2006年提出了深度学习，利用深度神经网络从大量的数据中自动地学习高层特征，相比于设计的特征，学习的特征更加丰富、表达能力更强。常用的深度学习方法主要包括深度置信网络(DBN)、堆叠自动编码器(SAE)、递归神经网络(RNN)和卷积神经网络(CNN)，其中，DBN、SAE、RNN在变压器故障诊断领域已有成熟的应用，流程如图9所示。

由图9可见，现有变压器的深度学习故障诊断方法多为利用无标签数据进行训练，利用带标签数据调整权值的方法，训练速度较慢。卷积神经网络可利用带标签数据直接进行训练，训练效率更高，因此基于卷积神经网络的目标检测得到了广泛的关注，成为当前计算机视觉领域的研究热点之一。本发明中应用卷积神经网络实现故障定位的方法主要分为离线训练网络和在线测试网络2个部分，其中，离线训练部分分为随机建立网络初始化参数、前向传播计算误差、判断误差是否收敛3个步骤，若误差达到设定收敛精度，则输出故障定位网络，否则利用反向传播算法更新权值。

卷积神经网络是一个多层前馈神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成，基本结构构成包括输入层、卷积层、下采样层、全连接层、输出层，输入图像通过多个卷积层和池化层进行特征提取，逐步由低层特征变为高层特征；高层特征再经过全连接层和输出层进行分类，产生一维向量，表示当前输入图像的类别。因此，根据每层的功能，卷积神经网络可以划分为两个部分：由输入层、卷积层和池化层构成的特征提取器，以及由全连接层和输出层构成的分类器。传统卷积神经网络的基本结构如图10所示。

与传统卷积神经网络结构不同，本发明采用宽和高不相等的矩形矩阵作为输入层，在特征提取阶段，通过调整卷积核的尺寸使第一次卷积操作得到的特征图为正方形二维矩阵，然后执行传统卷积操作的步骤。通常在利用卷积神经网络提取振动信号特征时，为了提取到输入信号的低频特征，卷积核不能太小，另一方面，为了保留输入信号的原始特征，卷积核不能太大。而变压器故障振动信号频率往往高于正常振动信号频率，高频振动时会产生较大噪声，实时监测与定位的条件下如何有效排除噪声干扰是电力变压器在线定位的关键，因此与传统卷积神经网络不同，应用于变压器故障定位的改进卷积神经网络的第一层卷积核采用宽卷积核，后续卷积核采用相对较窄的卷积核，以排除噪声对故障振动信号的干扰。基于上一步骤构造的故障图像，本发明建立应用于电力变压器故障定位的改进卷积神经网络架构图，具体结构如图11所示，特征提取过程如图12所示。

由图11可见，本发明中的卷积神经网络包括输入层、4层卷积层、2层池化层、1层全连接层、输出层为Softmax层。在经过卷积操作之后，产生输出特征图上每个神经元都会添加一个可训练调节的参数偏置(Bias)。添加偏置后，激活函数将对每一个输出值进行非线性变换，将原本线性不可分的多维特征映射到另一空间，在此空间内，特征的线性可分性将增强，本发明选择ReLU函数作为激活函数，既能达到激活目的，又很好的克服了梯度消失现象。

步骤5.1：所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用卷积操作，具体如下：

K和J分别表示输入层的高度和宽度，代表J个振动信号传感器变量在时间间隔K上的监测值，改进卷积神经网络的输入层为包含K×J个点的矩阵；k和j分别表示卷积核的高和宽，执行卷积操作后的激活值，即卷积层提取的特征，如式下式所示：

经过上式的卷积操作后，输出特征图尺寸缩小至

大小；其中，S为步长，b为卷积神经网络偏置，w_rc为卷积神经网络的权值，t为输出特征图的行坐标，m为输出特征图的列坐标，r为卷积核的行坐标，c为卷积核的列坐标，其初始值为步骤4中的随机数；

在本发明所改进的卷积神经网络中，J＝10，代表10个传感器的振动信号采样值，选择的步长S＝1。由上文分析可知，输出特征图尺寸满足下式的约束条件。

可以得到K＝15，因此本发明输入图像高度为15，宽度为10；即本发明网络并行输入由10个振动传感器采集到的10个振动信号波形的15个采样点。与标准二维卷积神经网络结构不同，本发明提出的应用于电力变压器故障定位的卷积神经网络的首层卷积核尺寸为6×1。随着卷积层数和池化层数的增加，卷积层提取的变量内部的非线性关系越来越明显；特征越明显，对网络正确有效的分类越有利。

步骤5.2：所述池化层(Pooling Layer)进行的是池化操作，将所述卷积层提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度，采用最大值池化的方法来进行池化操作，公式如下：

其中，H和W分别为池化区域的高和宽。t为卷积后输出特征图的行坐标，m为卷积后输出特征图的列坐标，i为池化后输出特征图的行坐标，j为池化后输出特征图的列坐标；

池化层(Pooling Layer)进行的是池化操作，主要目的是减少神经网络的参数。卷积层提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度，可以避免过拟合。常用的池化函数有平均值池化Mean-pooling；、最大值池化Max-Pooling与随机池化三种。均值池化则是求出特征图的平均值，随机池化方法则是先求出所有的特征值出现在该特征图中的概率，然后在来随机选取其中的一个概率作为该特征图的特征值，其中概率越大的选择的几率越大。本申请选择最大池化Max-Pooling，将感知域中的最大值作为输出，如图14所示，二维池化操作示意图。

步骤5.3：所述全连接层是将过滤器特征提取出的特征进行分类；具体方法为，先将最后一个池化层的输出，展开成一维的特征向量，作为全连接层的输入；再将输入与输出之间组成全连接神经网络，其中隐含层使用的激活函数为ReLU函数，输出层的激活函数采用的是Softmax函数，在这里Softmax函数的目的是将输入的神经元转化为和为1的概率分布，为后续的多分类目标函数的建立基础；

全连接的正向传播方法如下式所示：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值；

为第l+1层第j个神经元的输出值；

为第l层所有神经元对第l+1层第j个神经元的偏置值，a^l(i)为第l层第i个神经元的输出值。a与z的区别在于，a表示激活后的值，z表示激活之前的值。

当第l+1层为隐含层时，激活函数为ReLU函数，即：

a^l+1(i)＝max{0,z^l+1(i)}

当第l+1层为输出层时，激活函数为Softmax函数，即：

其中，K为Softmax函数输出的向量维数，本实施例Softmax函数输出有20个节点，K＝20。

步骤:6：计算误差函数E的值，具体公式如下：

其中，

为卷积神经网络输入第k组数据的实际输出的第j个Softmax函数值，

为目标输出值；m为样本组数。

使用损失函数(Objective Function)来评价输入信号对应的输出与其应得的目标值是否一致，神经网络训练的目的是使输入信号对应的输出与其应得的目标值一致，在分类问题中，一般选择交叉熵函数作为损失函数；

如图15所示，利用损失函数是否收敛来判断一致性，输入信号对应的输出与其应得的目标值是否一致，若收敛，则说明输入信号对应的输出与其应得的目标值是一致的，若不收敛，则说明输入信号对应的输出与其应得的目标值是不一致的。

步骤7：判断误差是否收敛：若误差达到收敛精度，以图15收敛曲线稳定为基准，则输出故障定位改进卷积神经网络参数；否则利用反向传播算法更新卷积神经网络的权值，转到步骤8；

步骤8：利用反向传播算法更新卷积神经网络的权值，并转到步骤7判断误差是否收敛，直到误差达到收敛精度，则输出故障定位改进卷积神经网络参数，具体步骤如下：

利用链式求导计算损失函数对每个卷积神经网络的权值的偏导数，也称为梯度，然后根据梯度下降公式更新卷积神经网络的权值；训练算法是反向传播算法，反向传播算法主要分为四个步骤，即前向计算每个神经元的输出值、反向计算每个神经元的误差项、计算每个神经元连接权重的梯度、根据梯度下降法则更新每个权重；

步骤8.1：输出故障定位改进卷积神经网络参数，即前向计算每个神经元的输出值；

步骤8.2：反向计算每个神经元的误差项：当卷积神经网络输出的结果与期望值不符时，进行反向传播，求出结果与期望值的总误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，得到最优的卷积神经网络。节点j的误差δ_j实际上是网络的损失函数E_d对神经元加权输入net_j的偏导数，即

本发明的卷积神经网络由卷积层、池化层、全连接层构成，卷积层每层误差项计算公式如下：

其中，δ^l,δ^l+1,net^l均为矩阵。

由于池化层没有要学习的参数，因此，在卷积神经网络的训练中，池化层要做的仅仅是将误差项传递到上一层，而没有梯度的计算。对于本申请使用的最大池化(Max-pooling)下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所在的单元，而其他神经元的误差项的值都为0。池化层的误差传递依靠上采样函数upsample(·)实现，即：

δ^l＝upsample(δ^l+1)*σ'(z^l)

其中，σ(·)为激活函数，z^l表示第l层的激活值。

全连接层包括隐藏层和输出层，隐藏层误差反向传播关系式为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

输出层误差反向传播关系式为：

δ_j＝a_j(1-a_j)(t_j-a_j)

其中，a_j为输出层第j个神经元的激活值，t_j为输出层第j个神经元的目标值，本申请为输入对应的故障位置，用概率形式表示。

步骤8.3：计算每个神经元连接权重的梯度，由于池化层没有梯度计算，只介绍卷积层与全连接层的梯度计算方法，卷积层梯度计算方法为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

全连接层梯度计算方法分为隐藏层梯度计算与输出层梯度计算，隐藏层梯度计算公式如下，它与卷积层梯度计算方法相同：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值。

输出层梯度计算公式如下：

其中，δ_j为输出层误差，

为输出层前一层的第i个神经元的输出值。

步骤8.4：根据梯度下降法更新权值，具体公式如下，其中η为学习率：

所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用ReLU函数作为激活函数；所述故障定位改进卷积神经网络参数如下：

输入层：输入归一化后二维图，二维图大小15×10；

卷积层C1：10个6×1卷积核，步长取1，输出特征图大小：10×10×10；

池化层S2：采用最大池化方法，采样区域2×2，步长取1，输出特征图大小：10×9×9；

卷积层C3：20个3×3卷积核，步长取1，用补零算法补零个数为1，上下左右各补一个0，即补一圈0，S2层中前3个相邻的特征矩阵为第1组输入，S2层中中间3个相邻的特征矩阵为第2组输入，S2中后4个相邻特征矩阵为第3组输入，S2中所有特征矩阵为第4组输入，输出特征图大小20×8×8；

池化层S4：采用最大池化Max-pooling方法，采样区域2×2，步长取2，输出特征图大小：20×4×4；

卷积层C5：40个3×3卷积核，步长取1，输出特征图大小：40×2×2；

卷积层C6：120个2×2卷积核，输出特征图大小1×120×1；

全连接层F7：80个节点；

输出层Softmax：20个节点；

学习率η：0.005，见步骤7.4中学习率；

训练批次大小Batch size:100；

所述卷积层C3采用补零算法，具体如下：

补零算法(Padding Method)是调节特征维度的一种十分重要的方法，目前被广泛应用于卷积神经网络中用来解决特征维度缺失的问题，如图13所示，令M为输入特征维度，N为输出特征维度，F为过滤器宽度，S为步长。两侧补零个数利用下式计算：

PT＝(N-1)×S+F-M

PR＝PT-PL

其中PL为左侧补零个数，PR为右侧补零个数。函数ceil为正向取整函数，函数floor为向下取整函数。

在线检测部分：

步骤8：在线采集数据：在线实时采集被测试变压器n个传感器传递出的振动信号，经过信号放大装置，振动信号转换为放大后信号；

步骤9：同离线训练中步骤2～步骤3，对在线采集的数据进行处理，得到在线采集数据归一化后二维矩阵；

步骤10：使用离线训练中得到故障定位改进卷积神经网络参数，对在线采数据归一化后二维矩阵进行处理，得到检测结果；

基于上述设计结果，在Python/TensorFlow框架下，建立应用于变压器故障定位的改进卷积神经网络。利用辽宁某研究院提供的220kv三相双绕组变压器振动信号数据为研究基础，对故障定位模型进行训练和测试。本申请中故障定位仿真实验数据库内共有3种故障类型，即绕组故障(Winding fault,WF)，铁芯故障(Core fault,CF)，分接开关故障(Tapswitch fault,TSF)，其中绕组故障和铁芯故障各有9个位置，分接开关故障有1个位置。每隔0.02s采样一次，采样频率为50Hz。故障类型和数据量如表1所示，所述故障定位改进卷积神经网络参数，如表2所示。

表1：电力变压器不同故障位置及数据量

表2：故障定位改进卷积神经网络参数

本申请调参过程为：

(1)根据CNN特点确定激活函数种类，本申请选择ReLU函数；

(2)确定误差函数与初始化权值方法，本申请为分类问题，选择交叉熵函数作为误差函数，初始化权值方法采用高斯初始化；

(3)确定网络层数以及每层神经元个数；

(4)确定batch size的大小，分别用50、100、150、200进行训练，选择100时，速度与精度达到最优；

(5)调整学习率，分别选0.5、0.05、0.005、0.0025、0.0005进行训练，选取0.005时收敛效果最好。

为了证明本文定位方法的有效性，利用传统卷积神经网络LeNet-5和改进卷积神经网络分别进行故障定位数据集的训练和测试，二者的误差收敛曲线如图15所示。

由图15可以看出，本申请改进的卷积神经网络在第5次完全迭代后即可达到收敛，相比于LeNet-5的第10次后收敛，在训练速度上具有很大优势。且收敛时改进卷积神经网络的误差较小。

此外，本申请将改进卷积神经网络与传统卷积神经网络LeNet-5进行比较，其定位准确率如表3所示，虽然部分故障位置的定位LeNet-5网络效果更好，但从总准确率来看，改进后的卷积神经网络明显高于LeNet-5，且改进后各位置定位准确率均在90％以上，具有较高的稳定性，更适用于电力变压器故障定位。

表3：传统卷积神经网络与改进卷积神经网络应用于电力变压器故障定位的准确率

Claims (4)

1.一种基于改进卷积神经网络的电力变压器在线检测方法，采用一种基于改进卷积神经网络的电力变压器在线检测系统实现，具体包括离线训练部分和在线检测部分，包括如下步骤：

离线训练部分：

步骤1：采集离线数据：采集故障时段与正常时段的被测试变压器J个传感器传递出的振动波形信号，经过信号放大装置，振动波形信号转换为放大后信号；

步骤2：采用灰度图转换方法将放大后信号转换为二维矩阵：在放大后信号上等距截取相同长度的采样片段，每个片段选取等距的K个采样点，采样点的纵坐标为振幅，将K个振幅值纵向依次排列为K×J的二维矩阵中，其中J为传感器个数，K为采样点数；

步骤3：对灰度图转换后的二维矩阵进行归一化处理，归一化后的二维矩阵作为输入层，即输入归一化二维图：

其中，L(i)表示数据灰度图转换后的二维矩阵，其中i＝1,2,...,K×J；P(k,j)(k＝1,...,K；j＝1,...,J)表示图像像素强度，round函数为循环函数，max(L)为第一个灰度图中最大的元素，min(L)为第一个灰度图中最小的元素，循环函数使所有的像素值标准化到0～255之间；

步骤4：建立网络初始化参数：采用高斯初始化方法，即从均值为0，方差为1的高斯分布中采样，生成随机数，作为卷积神经网络的初始权值，卷积神经网络的权值即为卷积核；

步骤5：依次经过卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、卷积层C6、全连接层F6与输出层Softmax，建立改进卷积神经网络FDL-CNN；

步骤5.1：所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用卷积操作，具体如下：

K和J分别表示输入层的高度和宽度，代表J个振动信号传感器变量在时间间隔K上的监测值，改进卷积神经网络的输入层为包含K×J个点的矩阵；k和j分别表示卷积核的高和宽，执行卷积操作后的激活值，即卷积层提取的特征，如式下所示：

经过上式的卷积操作后，输出特征图尺寸缩小至

大小；其中，S为步长，b为卷积神经网络偏置，w_rc为卷积神经网络的权值，t为输出特征图的行坐标，m为输出特征图的列坐标，r为卷积核的行坐标，c为卷积核的列坐标，其初始值为步骤4中的随机数；

输出特征图尺寸满足下式的约束条件：

为了避免提取特征后，维度缺失，所述卷积层C3采用补零算法，使提取的特征没有维度缺失；

步骤5.2：所述池化层进行的是池化操作，将所述卷积层提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度，采用最大值池化的方法来进行池化操作，公式如下：

其中，H和W分别为池化区域的高和宽，t为卷积后输出特征图的行坐标，m为卷积后输出特征图的列坐标，i为池化后输出特征图的行坐标，j为池化后输出特征图的列坐标；

步骤5.3：所述全连接层是将过滤器特征提取出的特征进行分类；具体方法为，先将最后一个池化层的输出，展开成一维的特征向量，作为全连接层的输入；再将输入与输出之间组成全连接神经网络，其中隐含层使用的激活函数为ReLU函数，输出层的激活函数采用的是Softmax函数，在这里Softmax函数的目的是将输入的神经元转化为和为1的概率分布，为后续的多分类目标函数的建立基础；

全连接的正向传播方法如下式所示：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值；

为第l+1层第j个神经元的输出值；

为第l层所有神经元对第l+1层第j个神经元的偏置值，a^l(i)为第l层第i个神经元的输出值；a与z的区别在于，a表示激活后的值，z表示激活之前的值；

当第l+1层为隐含层时，激活函数为ReLU函数，即：

a^l+1(i)＝max{0,z^l+1(i)}

当第l+1层为输出层时，激活函数为Softmax函数，即：

其中，K为Softmax函数输出的向量维数；

步骤:6：计算误差函数E的值，具体公式如下：

其中，

为卷积神经网络输入第k组数据的实际输出的第j个Softmax函数值，

为目标输出值；m为样本组数；

步骤7：判断误差E是否收敛：若收敛，则输出故障定位改进卷积神经网络参数；否则转到步骤8；

步骤8：利用反向传播算法更新卷积神经网络的权值，并转到步骤7判断误差是否收敛，直到误差达到收敛精度，则输出故障定位改进卷积神经网络参数，具体步骤如下：

利用链式求导计算损失函数对每个卷积神经网络的权值的偏导数，也称为梯度，然后根据梯度下降公式更新卷积神经网络的权值；训练算法是反向传播算法，反向传播算法分为四个步骤，即前向计算每个神经元的输出值、反向计算每个神经元的误差项、计算每个神经元连接权重的梯度、根据梯度下降法则更新每个权重；

步骤8.1：输出故障定位改进卷积神经网络参数，即前向计算每个神经元的输出值；

步骤8.2：反向计算每个神经元的误差项：当卷积神经网络输出的结果与期望值不符时，进行反向传播，求出结果与期望值的总误差，再将误差一层一层的返回，计算出每一层的误差，然后进行权值更新，得到最优的卷积神经网络；节点j的误差δ_j实际上是网络的损失函数E_d对神经元加权输入net_j的偏导数，即

卷积神经网络由卷积层、池化层、全连接层构成，卷积层每层误差项计算公式如下：

其中，δ^l,δ^l+1,net^l均为矩阵；

池化层的误差传递依靠上采样函数upsample(·)实现，即：

δ^l＝upsample(δ^l+1)*σ'(z^l)

其中，σ(·)为激活函数，z^l表示第l层的激活值；

全连接层包括隐藏层和输出层，隐藏层误差反向传播关系式为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值；

输出层误差反向传播关系式为：

δ_j＝a_j(1-a_j)(t_j-a_j)

其中，a_j为输出层第j个神经元的激活值，t_j为输出层第j个神经元的目标值，为输入对应的故障位置，用概率形式表示；

步骤8.3：计算每个神经元连接权重的梯度，由于池化层没有梯度计算，只介绍卷积层与全连接层的梯度计算方法，卷积层梯度计算方法为：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值；

全连接层梯度计算方法分为隐藏层梯度计算与输出层梯度计算，隐藏层梯度计算公式如下，它与卷积层梯度计算方法相同：

其中，

为第l层第i个神经元与第l+1层第j个神经元之间的权重值，

为第l+1层的第j个神经元的误差值，

为第l层的第i个神经元的输出值；

输出层梯度计算公式如下：

其中，δ_j为输出层误差，

为输出层前一层的第i个神经元的输出值；

步骤8.4：根据梯度下降法更新权值，具体公式如下：

其中，η为学习率；

在线检测部分：

步骤9：在线采集数据：在线实时采集被测试变压器n个传感器传递出的振动信号，经过信号放大装置，振动信号转换为放大后信号；

步骤10：同离线训练中步骤2～步骤3，对在线采集的数据进行处理，得到在线采集数据归一化后二维矩阵；

步骤11：使用离线训练中得到故障定位改进卷积神经网络参数，对在线采数据归一化后二维矩阵进行处理，得到检测结果。

2.根据权利要求1所述一种基于改进卷积神经网络的电力变压器在线检测方法，其特征在于，步骤5中，所述卷积层C1、卷积层C3、卷积层C5、卷积层C6均采用ReLU函数作为激活函数。

3.根据权利要求1所述一种基于改进卷积神经网络的电力变压器在线检测方法，其特征在于，所述故障定位改进卷积神经网络参数如下：

输入层：输入归一化后二维图，二维图大小15×10；

卷积层C1：10个6×1卷积核，步长取1，输出特征图大小：10×10×10；

池化层S2：采用最大池化方法，采样区域2×2，步长取1，输出特征图大小：10×9×9；

卷积层C3：20个3×3卷积核，步长取1，用补零算法补零个数为1，上下左右各补一个0，即补一圈0，S2层中前3个相邻的特征矩阵为第1组输入，S2层中中间3个相邻的特征矩阵为第2组输入，S2中后4个相邻特征矩阵为第3组输入，S2中所有特征矩阵为第4组输入，输出特征图大小20×8×8；

池化层S4：采用最大池化Max-pooling方法，采样区域2×2，步长取2，输出特征图大小：20×4×4；

卷积层C5：40个3×3卷积核，步长取1，输出特征图大小：40×2×2；

卷积层C6：120个2×2卷积核，输出特征图大小1×120×1；

全连接层F7：80个节点；

输出层Softmax：20个节点；

学习率η：0.005，见步骤7.4中学习率；

训练批次大小Batch size:100。

4.根据权利要求1所述一种基于改进卷积神经网络的电力变压器在线检测方法，其特征在于，所述卷积层C3采用补零算法，具体如下：

令M为输入特征维度，N为输出特征维度，F为过滤器宽度，S为步长，两侧补零个数利用下式计算：

PT＝(N-1)×S+F-M

PR＝PT-PL

其中PL为左侧补零个数，PR为右侧补零个数，函数ceil为正向取整函数，函数floor为向下取整函数。

Images