CN112070128B - 一种基于深度学习的变压器故障诊断方法 - Google Patents

Abstract

一种基于深度学习的变压器故障诊断方法，属于变压器故障诊断领域。该方法首先对油中溶解气体分析方法采集的故障特征气体H₂、CH₄、C₂H₂、C₂H₄、C₂H₆的浓度数据进行去重、异常值处理并用随机森林方法对缺失值进行填充，然后对数据进行归一化处理，形成训练集样本和测试集样本；建立三层栈式稀疏降噪自编码器模型，并将传统分类模型中的交叉熵损失函数改写为Focal损失函数；该方法通过类别样本权重确定超参数并在输入中加入高斯白噪声，让自编码器充分提取有效特征，从而得到有效的特征提取模型，利用Softmax分类器输出模型的诊断结果。本发明提供的变压器故障诊断方法与三比值法、SVM和BP神经网络等现有方法比较具有很好的诊断性能，有效地提高了变压器故障诊断的准确率。

Description

一种基于深度学习的变压器故障诊断方法

技术领域

本发明属于变压器故障诊断领域，涉及一种基于深度学习的变压器故障诊断方法。

背景技术

变压器是电力系统运行的核心设备，准确诊断变压器内部潜伏性故障对于电网安全运行具有十分重要的意义。油中溶解气体分析(dissolved gas analysis，DGA)是诊断和检测变压器内部潜伏性故障的有效方法。基于DGA的电力变压器故障诊断方法主要分为传统故障诊断方法和智能诊断方法。

传统方法主要有三比值法、改良三比值法，三比值法的基本原理是变压器发生故障时，从变压器油中提取的特征气体含量算出相应的三对比值并赋予相应的编码，再由编码规则，得到一组编码表，然后根据表中提供的诊断标准可找到相应的故障类型。但上述方法在实践过程中逐渐显露出编码不全、判断标准过于绝对等缺点。

智能方法主要有专家系统、支持向量机、模糊理论法、人工神经网络法等，现有的这些智能方法在不同程度上提高了变压器故障诊断准确率，但是仍然存在一些问题和一定的局限性。如专家系统需要大量正确的专家经验，实际应用较困难；支持向量机法本质上是二分类算法，变压器故障诊断为多分类问题，面对多分类问题，参数设置繁琐，构造分类器过程繁琐；模糊理论法需要人为设置初始聚类中心，诊断效果受初始聚类中心限制较大；神经网络法存在着收敛速度慢，易陷入局部最优解的缺陷。

发明内容

本发明针对背景技术中变压器故障诊断技术存在的缺陷，而提出一种深度学习的变压器故障诊断方法。

本发明采用的技术方案为：

一种基于深度学习的变压器故障诊断方法，包括以下步骤：

步骤一，采用油中溶解气体分析方法获得变压器油中溶解的五种气体H₂、CH₄、C₂H₂、C₂H₄、C₂H₆的数据；

步骤二，对步骤一采集的原始数据进行数据去重、异常值检测和缺失值填充，确定输入向量、输出向量；并对输入向量进行归一化处理，同时对变压器的故障(即输出向量)进行one_hot编码，作为类标签，取各类样本的80％组成训练样本集，各类样本的20％组成测试样本集；

步骤三，在步骤二的训练样本集和测试样本集中加入高斯白噪声；

步骤四，设置隐藏层的层数为3层；首个隐藏层神经元的数目根据经验公式得出，第二层和第三层神经元数目与上级神经元数目之比为2：1。

步骤五，采用逐层贪婪法依次实现栈式稀疏降噪自编码器中各层网络参数的无监督预训练；

步骤六，去除所述步骤四中栈式稀疏降噪自编码器的解码层，增加Softmax分类层，基于Focal损失函数梯度值和BP算法实现栈式稀疏降噪自编码器中各层网络参数有监督微调，进而得到最终变压器故障诊断模型；

步骤七：将步骤三中的测试样本集输入步骤六得到的最终变压器故障诊断模型中，经最终变压器故障诊断模型诊断后，通过匹配类标签，得出故障类型，完成诊断。

进一步的，所述步骤二中，所述异常值检测使用Tukey’test方法，具体方法如下：

UL＝Q3+1.5IQR

DL＝Q1-1.5IQR

式中，UL为上边界；DL为下边界；Q1为下四分位数，即25％分位数；Q3为上四分位数，即75％分位数；IQR为上下四分位数差，即分位距。判断标准为大于上边界或小于下边界的所有值为异常值数据，删除异常值数据，将其视为为缺失值。

进一步的，所述步骤二中，所述缺失值填充按类别标签将样本分为7类，并采用随机森林法对7类样本中的缺失值进行数据填充。

进一步的，所述步骤三中，加入高斯白噪声，其均值为0，方差为1。

进一步的，所述步骤四中，首个隐藏层神经元根据如下经验公式得出，如下式所示：

式中，N_h为隐藏层神经元的数目；N_s为训练集样本数；N_i为输入神经元的数目；N_o为输出神经元的数目；α为任意取值变量，通常取1～5。

进一步的，所述步骤五中，采用逐层贪婪法依次实现栈式稀疏降噪自编码器中各层网络参数的无监督预训练的具体步骤如下：

(1)以所述步骤三中训练样本集的5种特征气体含量作为第一个稀疏自编码器的输入和输出，经过迭代训练，得到第一个稀疏自编码器模型参数。

(2)以所述步骤(1)中第一个稀疏自编码器的隐藏层输出作为第二个稀疏自编码的输入和输出，经过迭代训练，得到第二个稀疏自编码器模型参数。

(3)以所述步骤(2)中第二个稀疏自编码器的隐藏层输出作为第三个稀疏自编码的输入和输出，经过迭代训练，得到第三个稀疏自编码器模型参数。

其中，稀疏自编码器是在自编码器的基础上对其隐藏层神经元进行稀疏性限制，即在损失函数中加入KL散度。

进一步的，所述步骤六中，去除步骤五中各个稀疏自编码器的解码层，将第一个稀疏自编码器的隐藏层输出连接到第二个稀疏自编码器的输入，将第二个稀疏自编码器的隐藏层输出连接到第三个稀疏自编码器的输入，将第三个稀疏自编码器的隐藏层输出连接到Softmax分类层，使Focal损失函数取得最小值作为整个网络优化的目标，经过迭代训练，对整个模型的各个参数进行微调。

进一步的，所述步骤六中，Focal损失函数为分类模型的损失函数，其公式为：

式中，α为平衡参数；γ为聚焦参数；

为预测标签概率。

进一步的，对于聚焦参数γ的确定，取值范围为1～5；对于平衡参数α的确定，为了消除样本不平衡对结果的影响，希望各类样本对于分类器同等的重要，则加大少数样本损失的权重，减少多数样本损失的权重，具体而言，任意两个类别权重之比等于这两个类别样本数量的反比。如下式所示：

式中，n_i为第i类样本总数；α_i为第i类样本的平衡参数；N为类别总数。

本发明具有如下有益效果：

(1)本发明提供的基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法，有效地提取数据的深层特征，进而提高模型的诊断准确率。

(2)本发明提供的基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法，在输入数据中加入高斯白噪声，提高模型的泛化能力，进而提高模型的诊断精度。

(3)本发明提供的基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法，针对样本类别不平衡，将传统分类模型的交叉熵损失函数改写为Focal损失函数，有效地提升了小样本数据的分类准确率，进而提升了整个模型的分类准确率。

(4)本发明提供的基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法，在变压器故障诊断中，避免了人的主观因素影响，使诊断更客观，故障诊断准确率更高。

附图说明

图1是本发明基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法的结构图。

图2是本发明基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法的流程图。

具体实施方式

下面根据说明书附图对本发明进行更为详尽的说明。

本发明的流程图如附图2所述，包括以下步骤：

步骤一，采用油中溶解气体分析方法获得变压器油中溶解的五种气体H₂、CH₄、C₂H₂、C₂H₄、C₂H₆的浓度数据；

其中，所述变压器故障特征气体为H₂、CH₄、C₂H₂、C₂H₄、C₂H₆。

步骤二，所述步骤一中原始数据进行数据去重、异常值检测和缺失值填充并进行归一化处理，同时对变压器的故障进行one_hot编码，作为类标签，取各类样本的80％组成训练样本集，各类样本的20％组成测试样本集；

变压器的故障数据中由于人为操作或传感器故障等因素采集到重复或异常数据，而重复数据会使模型更偏向于重复样本的类别，因此需要对原始数据进行去重处理。异常数据会使诊断模型的准确率降低，因此使用Tukey’test法对异常值进行检测，具体函数式为：

UL＝Q3+1.5IQR

DL＝Q1-1.5IQR

式中，UL为上边界；DL为下边界；Q1为下四分位数，即25％分位数；Q3为上四分位数，即75％分位数；IQR为上下四分位数差，即分位距。判断标准为大于上边界或小于下边界的所有值为异常值数据，删除异常值数据，将其视为为缺失值。按类别标签将样本分为7类，并用随机森林法对7类样本中的缺失值进行数据填充。

考虑到各种溶解气体含量的巨大差异性，为降低它们之间由于量值差异过大造成的影响，需要对数据进行归一化处理，即将各种溶解气体含量换算为[0,1]范围内的相对含量。归一化处理方法如下：

式中，x_i为第i种气体的原始浓度数据；x′_i为归一化后的数据；x_imin为第i种气体浓度的最小值；x_imax为第i种气体浓度得最大值。

正常状态编码为1000000；局部放电编码为0100000；低能放电编码为0010000；高能放电编码为0001000；低温过热编码为0000100；中温过热编码为0000010；高温过热编码为0000001。

步骤三，所述步骤二中所述训练样本集和所述测试样本集中加入高斯白噪声；

式中，x为原始数据；

为增加高斯白噪声后的数据；α为系数，取值范围为0-1；ε为服从均值为0，方差为1的正太分布的随机数。

步骤四，设置隐藏层的层数为3层；首个隐藏层神经元的数目根据如下经验公式得出，第二层和第三层神经元数目与上级神经元数目之比为2：1。

式中，N_h为隐藏层神经元的数目；N_s为训练集样本数；N_i为输入神经元的数目；N_o为输出神经元的数目；α为任意取值变量，通常取1～5。

步骤五，采用逐层贪婪法依次实现栈式稀疏降噪自编码器各层网络参数的无监督预训练；

设X＝{x¹,x²,…,x^N}为无标签训练样本数据集，其中N为样本组数，输入层和输出层都包含n个神经元，输入向量表示为x＝(x₁,x₂,x₃,…,x_n)^T，输出向量表示为

隐含层包含m个神经元，隐含层向量表示为h＝(h₁,h₂,h₃,…,h_m)^T，因此自编码器的编码和解码过程分别为：

h＝f(W₁x+b₁)；

式中，W₁∈R^n×m为编码权重矩阵；b₁∈R^m为编码偏置向量；W₂∈R^m×n为解码权重矩阵；b₂∈Rⁿ为解码偏置向量；f(·)及g(·)为编码、解码过程非线性激活函数，一般采用Relu函数，其公式表示为：f(x)＝max(0,x)。

以均方误差作为模型损失函数，目标是使损失函数取得全局最优解，即最小值点，故使模型重构输入数据,其损失函数为：

式中，W为权重矩阵；b为偏置向量；N为样本个数；x_i为第i个样本的输入向量；

为第i个样本的输出向量。

当自编码器中隐藏层节点比输入层节点数目多时，应当人为地对隐藏层实施一定的约束，选择在损失函数中增加惩罚因子项对其进行稀疏性限制，进而构成稀疏自编码器(sparse au-to-encoder，SAE)。则SAE的代价函数为：

式中，β为稀疏惩罚项系数，一般设置为0.3；m为隐藏层神经元数量；

为KL散度；

为隐藏层神经元j对于所有训练数据的平均激活度；ρ为稀疏性参数，一般设为0.05或0.1。

按上诉方式采用逐层贪婪法依次实现栈式稀疏降噪自编码器各层网络参数的无监督预训练的具体步骤如下：

(1)以所述步骤三中训练样本集的5种特征气体含量作为第一个稀疏自编码器的输入和输出，经过迭代训练，得到第一个稀疏自编码器模型参数。其中，第一个稀疏自编码器的输入层、输出层包含5个神经元，隐藏层包含58个神经元。

(2)以所述步骤(1)中第一个稀疏自编码器的隐藏层输出作为第二个稀疏自编码的输入和输出，经过迭代训练，得到第二个稀疏自编码器模型参数。其中，第二个稀疏自编码器的输入层、输出层包含58个神经元，隐藏层包含29个神经元。

(3)以所述步骤(2)中第二个稀疏自编码器的隐藏层输出作为第三个稀疏自编码的输入和输出，经过迭代训练，得到第三个稀疏自编码器模型参数。其中，第三个稀疏自编码器的输入层、输出层包含29个神经元，隐藏层包含15个神经元。

步骤六，去除所述步骤四中栈式稀疏降噪自编码器的解码层，增加Softmax分类层，基于Focal损失函数梯度值和BP算法实现栈式稀疏降噪自编码器各层网络参数有监督微调，进而得到最终变压器故障诊断模型；

分类模型的损失函数采用Focal损失函数，其公式为：

式中，α为平衡参数；γ为聚焦参数；

为预测标签概率。

对于聚焦参数γ的确定，取值范围为1～5；对于平衡参数α的确定，为了消除样本不平衡对结果的影响，希望各类样本对于分类器同等的重要，则加大少数样本损失的权重，减少多数样本损失的权重，具体而言，任意两个类别权重之比等于这两个类别样本数量的反比。如下式所示：

式中，n_i为第i类样本总数；α_i为第i类样本的平衡参数；N为类别总数。

本发明提供的基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法，通过对栈式稀疏降噪自编码器进行无监督预训练，得到网络初始参数，去除解码层加入Softmax分类层，利用Focal损失函数经过有监督参数微调得到最终模型，而Focal损失考虑样本数量对损失的影响，即加大少数样本损失的权重，减少多数样本损失的权重，使模型更多的关注少数样本，从而提高模型的故障诊断效果。

步骤六：将所述步骤三中的所述测试样本集输入所述最终变压器故障诊断模型中，经所述最终变压器故障诊断模型诊断后，通过匹配所述类标签，得出所述故障类型，完成诊断。

将测试样本集输入到已训练好的诊断模型中，经过Softmax分类器输出属于变压器各个状态的概率值，选择概率最大所匹配的类标签，得出所述故障类型，Softmax分类器函数为：

式中，

为第i个状态对应的概率值；m为输出神经元的个数，即对应变压器的各个状态。

所述基于Focal损失栈式稀疏降噪自编码器的变压器故障诊断方法能有效地提取数据的深层特征，加入高斯白噪声能提升模型的泛化能力，加入Focal损失能有效的解决数据样本不平衡导致准确率偏低的问题，并采用Softmax分类器，对故障一次性分类。此方法对变压器的故障具有良好的诊断性能。本发明通过做对比实验发现，采用三比值法分类准确率约为56.42％；采用SVM算法的分类准确率约为80.45％；采用决策树算法的分类准确率约为80.45％；采用随机森林算法的分类准确率约为83.24％；采用BP神经网络算法的分类准确率约为83.80％；而采用基于Focal损失栈式稀疏降噪自编码器算法的变压器故障诊断方法的分类准确率约为92.74％，整体准确率明显高于其他分类算法。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (6)

1.一种基于深度学习的变压器故障诊断方法，其特征在于，包括以下步骤：

步骤一，采用油中溶解气体分析方法获得变压器油中溶解的五种气体H₂、CH₄、C₂H₂、C₂H₄、C₂H₆的数据；

步骤二，对步骤一采集的原始数据进行数据去重、异常值检测和缺失值填充，并对输入向量进行归一化处理，同时对变压器的故障进行one_hot编码，作为类标签，取各类样本的80％组成训练样本集，各类样本的20％组成测试样本集；

步骤三，在步骤二的训练样本集和测试样本集中加入高斯白噪声；

步骤四，设置隐藏层的层数为3层；首个隐藏层神经元的数目根据经验公式得出，第二层和第三层神经元数目与上级神经元数目之比为2：1；

步骤五，采用逐层贪婪法依次实现栈式稀疏降噪自编码器中各层网络参数的无监督预训练，具体步骤如下：

(1)以所述步骤三中训练样本集的5种特征气体含量作为第一个稀疏自编码器的输入和输出，经过迭代训练，得到第一个稀疏自编码器模型参数；

(2)以所述步骤(1)中第一个稀疏自编码器的隐藏层输出作为第二个稀疏自编码的输入和输出，经过迭代训练，得到第二个稀疏自编码器模型参数；

(3)以所述步骤(2)中第二个稀疏自编码器的隐藏层输出作为第三个稀疏自编码的输入和输出，经过迭代训练，得到第三个稀疏自编码器模型参数；

其中，稀疏自编码器是在自编码器的基础上对其隐藏层神经元进行稀疏性限制，即在损失函数中加入KL散度；

步骤六，去除所述步骤五中栈式稀疏降噪自编码器的解码层，增加Softmax分类层，将第一个稀疏自编码器的隐藏层输出连接到第二个稀疏自编码器的输入，将第二个稀疏自编码器的隐藏层输出连接到第三个稀疏自编码器的输入，将第三个稀疏自编码器的隐藏层输出连接到Softmax分类层，使Focal损失函数取得最小值作为整个网络优化的目标，经过迭代训练，对整个模型的各个参数进行微调；最终基于Focal损失函数梯度值和BP算法实现栈式稀疏降噪自编码器中各层网络参数有监督微调，进而得到最终变压器故障诊断模型；

步骤七：将步骤三中的测试样本集输入步骤六得到的最终变压器故障诊断模型中，经最终变压器故障诊断模型诊断后，通过匹配类标签，得出故障类型，完成诊断。

2.根据权利要求1所述的一种基于深度学习的变压器故障诊断方法，其特征在于，所述步骤二中，所述异常值检测使用Tukey’test方法，具体方法如下：

UL＝Q3+1.5IQR

DL＝Q1-1.5IQR

式中，UL为上边界；DL为下边界；Q1为下四分位数，即25％分位数；Q3为上四分位数，即75％分位数；IQR为上下四分位数差，即分位距；判断标准为大于上边界或小于下边界的所有值为异常值数据，删除异常值数据，将其视为为缺失值。

3.根据权利要求1所述的一种基于深度学习的变压器故障诊断方法，其特征在于，所述步骤二中，所述缺失值填充按类别标签将样本分为7类，并采用随机森林法对7类样本中的缺失值进行数据填充。

4.根据权利要求1所述的一种基于深度学习的变压器故障诊断方法，其特征在于，所述步骤二中，所述步骤三中，加入高斯白噪声，其均值为0，方差为1。

5.根据权利要求1所述的一种基于深度学习的变压器故障诊断方法，其特征在于，所述步骤二中，所述步骤四中，首个隐藏层神经元根据如下经验公式得出，如下式所示：

式中，N_h为隐藏层神经元的数目；N_s为训练集样本数；N_i为输入神经元的数目；N_o为输出神经元的数目；α为任意取值变量，通常取1～5。

6.根据权利要求1所述的一种基于深度学习的变压器故障诊断方法，其特征在于，所述步骤二中，所述步骤六中，Focal损失函数为分类模型的损失函数，其公式为：

式中，α为平衡参数；γ为聚焦参数；

为预测标签概率；

所述聚焦参数γ的取值范围为1～5；

所述平衡参数α的确定原则为：为了消除样本不平衡对结果的影响，任意两个类别权重之比等于这两个类别样本数量的反比；如下式所示：

式中，n_i为第i类样本总数；α_i为第i类样本的平衡参数；N为类别总数。

Images