CN114167180B - 一种基于图注意力神经网络的充油电气设备故障诊断方法 - Google Patents

Abstract

本发明涉及人工智能及电力系统领域，具体涉及一种基于图注意力神经网络的充油电气设备故障诊断方法。本发明利用充油电气设备故障时产生的5种特征气体以及气体之间可能存在的相关性作为图数据输入，6种故障类型作为输出，搭建图注意力神经网络，实现充油电气设备故障诊断。该网络不仅可以学习到特征气体与故障类型之间的非线性关系，还能学习到各个特征气体之间的相互关系。本发明采用了注意力机制，通过横向与纵向的深度挖掘充分挖掘了更多隐含的关系，消除了充油电气设备某些故障类型无法诊断的问题，提高了故障诊断的准确率。

Description

一种基于图注意力神经网络的充油电气设备故障诊断方法

技术领域

本发明涉及人工智能及电力系统领域，具体涉及一种基于图注意力神经网络的充油电气设备故障诊断方法。

背景技术

电力充油电气设备，如电力变压器，电抗器，互感器，充油套管等是电力系统中常见的一类重要设备，一旦发生故障必将引起局部甚至大面积的停电。电力充油电气设备绝缘油中溶解气体分析(DGA)是油浸式充油电气设备故障诊断的常用方法，在此基础上发展形成了特征气体法、三比值法以及人工神经网络法等。然而，充油电气设备在发生故障时，各个故障特征气体之间存在着关联关系，不同气体成分含量可能存在相互影响关系。当前存在的充油电气设备故障诊断方法多数是对充油电气设备故障类型和各特征气体含量这两者间的对应关系进行了研究，对故障发生时各个特征气体彼此之间关联关系的考虑比较欠缺。传统三比值方法不仅存在编码不全的问题，而且也只反映了故障类型与三组气体比值间的对应关系。人工神经网络也仅仅以多个独立的特征气体浓度值作为输入，以充油电气设备故障类型作为输出，通过训练网络得到输入与输出之间存在的非线性关系。上述的充油电气设备故障诊断方法由于缺乏对各个特征气体之间关联关系的考虑，影响充油电气设备故障类型的准确判断，对充油电气设备的某些故障类型甚至无法诊断。

发明内容

针对目前基于特征气体含量的充油电气设备故障诊断技术对各特征气体之间关联关系挖掘不够充分的问题，本发明提出了一种基于图注意力神经网络的充油电气设备故障诊断方法。

本发明方法将各个故障特征气体信息及气体间相互关系转化为图数据，利用图注意力神经网络(GAT)挖掘特征气体与故障类型之间的非线性关系，并通过引入注意力机制来挖掘特征气体之间的相互关系。通过横向与纵向的深度挖掘，消除了充油电气设备某些故障类型无法诊断的问题，并能够提高充油电气设备各种故障类型诊断的准确率。

本发明方法包括以下步骤：

步骤一、建立基于图注意力神经网络的充油电气设备故障诊断模型，该模型包括四个部分，分别为输入的气体关系图、图注意力层、多个线性层以及输出的故障类型；

步骤二、收集各种故障状况下油中溶解气体的浓度值，并将充油电气设备的状态类型及相应的各个特征气体浓度值作为一组有标签样本，以此形成数据集。将数据集中的数据按照7比3的比例分为训练集以及测试集；

步骤三、将训练集输入到模型中，通过学习得到模型所需的参数；学习过程分为两个部分，分别是图注意力层的训练和多个线性层的训练；

第一部分是图数据经过图注意力层；该部分通过引入注意力机制，从各个故障气体的初始信息出发，以此获得特征气体之间相互关系的大小并作为聚合系数，然后中心节点的特征气体依据聚合系数大小来聚合其邻居节点气体的特征信息，并对自身节点的信息进行更新，该部分实现了对充油电气设备的五种故障特征气体信息的更新；

第二部分是更新后的气体特征信息经过多个线性层；该部分通过使用多个线性层，从更新后的各个故障气体的特征信息出发，最后输出预测的故障类型；

步骤四、利用训练好的模型去预测测试集中各组数据对应的故障类型，统计模型判断的故障类型与实际故障类型一致的情况占总测试数据的比例，并以此作为测试集的准确率。

具体地，步骤一中，首先构建基于充油电气设备特征气体的气体关系图，图上的各个节点表示的是充油电气设备故障时的特征气体，分别为氢气、甲烷、乙烷、乙烯以及乙炔，节点与节点之间的边代表两种特征气体之间的关联关系，特征气体两两之间全部设为双向全连接，接着构建单头注意力机制的图注意力层以及多个线性层，最后基于图注意力层和多个线性层建立充油电气设备故障诊断模型。

步骤二中，收集中温过热、高温过热、低能放电、高能放电和局部放电5种故障情况以及充油电气设备正常情况时油中溶解气体的浓度值，并将充油电气设备的状态类型及相应的各个特征气体浓度值作为一组有标签样本，以此形成数据集，将数据集中的数据按照7比3的比例分为训练集以及测试集。

步骤三中，该模型的训练过程分为两个部分。

第一部分是图数据经过图注意力层；其具体过程为：

首先根据各个特征气体的初始信息，形成气体之间的原始注意力系数，它代表着故障特征气体两两之间相关性的大小，原始注意力系数用公式表示为：

e_ij＝LeakyRelu(a^T[Wh_i||Wh_j]) (1)

式中，h_i和h_j为特征气体i和j的初始特征信息，即气体i和j的浓度值大小。权重矩阵W代表着将各个气体初始的低维特征信息升维，||表示的是将两个升维后的气体特征信息进行拼接操作；LeakyRelu为非线性激活函数，以此从气体i和j的初始特征信息中学习到两者之间的相关性大小；

为了使中心节点的特征气体与其邻居节点的特征气体之间的相关性大小易于比较，需要将当前中心节点与其邻居节点的原始注意力系数进行归一化处理，归一化操作使用softmax函数归一化，用公式表示为：

归一化后的注意力系数就是各个气体特征信息更新时使用的聚合系数，特征气体之间的注意力系数矩阵中的元素α_ij表示的是气体j对于气体i的重要程度；

得到归一化的注意力系数矩阵后，中心节点的气体特征信息与其邻居节点的气体特征信息之间的相关度便可得到，中心节点的各个不同邻居节点按照注意力系数大小，将其与对应的高维节点特征信息线性组合，最后的结果作为中心节点气体更新后的特征信息，从而实现对自身节点信息的更新。

第二部分是更新后的气体特征信息经过多个线性层；

该部分通过使用多个线性层网络，从更新后的各个故障气体的特征信息出发，最后输出预测的故障类型，该部分的具体过程用公式表示为：

Y＝σ(wH'+b) (3)

式中，H'为更新后故障气体的特征信息矩阵，σ为非线性激活函数，使用的是Relu激活函数；

将模型预测的故障类型与样本数据中实际的故障类型进行比较，通过误差反向传播对网络中的参数进行调整，使用的损失函数为交叉熵损失函数，用公式表示为：

式中，p和q为两个概率分布，p为真实的概率分布，q为预测的概率分布，n表示该分类问题共有n种分类情况，p(x_i)为该分类问题是第i种分类情况的实际概率，它是由输入的标签决定，q(x_i)为将该分类问题预测为第i种分类情况的概率。

根据输入的各故障类型对应的标签形成相应的编码规则，从而得到实际的概率分布，通过图注意力神经网络，预测该组输入气体信息为各个故障类型的可能性大小，然后使用softmax进行归一化，得到预测的概率分布；利用交叉熵损失函数公式计算两个概率分布之间的差异程度，通过误差反向传播算法对网络的参数进行不断调整；通过不断的训练，当交叉熵满足设定的数值时，基于图注意力神经网络的充油电气设备故障诊断模型中的权重W、向量a、注意力系数α_ij以及多个线性层中的权重w、偏置b参数调整并学习到合适的数值。

本发明方法提出了图注意力神经网络应用于电力系统充油电气设备故障诊断的方法。本发明利用充油电气设备故障时产生的5种特征气体以及气体之间可能存在的相关性作为图数据输入，6种故障类型作为输出，形成基于图注意力神经网络的充油电气设备故障诊断模型。

本发明采用注意力机制，构建图注意力神经网络，该网络不仅可以学习到特征气体与故障类型之间的非线性关系，还能学习到各个特征气体之间的相互关系。因此，通过横向与纵向的深度挖掘，图注意力神经网络应用于充油电气设备故障诊断能够挖掘更多隐含的关系，提高了故障诊断的准确率。

附图说明

图1基于图注意力网络的充油电气设备故障诊断模型。

图2气体关系图。

图3原始注意力系数的形成过程。

图4气体初始低维信息升维过程。

图5注意力系数矩阵。

图6图注意力层节点更新原理。

图7更新后的各个气体特征信息。

图8故障类型的输出。

图9两种网络训练集准确率的对比图。

具体实施方式

针对目前基于特征气体含量的充油电气设备故障诊断技术对各特征气体之间关联关系挖掘不够充分的问题，本发明提出了一种基于图注意力神经网络的充油电气设备故障诊断方法。

步骤1

根据图1所示的充油电气设备故障诊断总模型，首先构建基于充油电气设备特征气体法的气体关系图，如图2所示。其中，图上的各个节点表示的是充油电气设备故障时的特征气体，分别为氢气、甲烷、乙烷、乙烯以及乙炔。节点与节点之间的边代表两种特征气体之间的关联关系(本方法为了充分挖掘特征气体两两之间可能存在的关联关系，将气体之间设为双向全连接)。接着构建单头注意力机制的图注意力层以及多个线性层。最后基于图注意力神经网络和多个线性神经网络层建立充油电气设备故障诊断模型。

步骤2

收集中温过热、高温过热、低能放电、高能放电和局部放电5种故障情况以及充油电气设备正常情况时油中溶解气体的浓度值，并将充油电气设备的状态类型及相应的各个特征气体浓度值作为一组有标签样本，以此形成数据集。将数据集中的数据按照7比3的比例分为训练集以及测试集。

步骤3：

利用训练集对基于图注意力神经网络的充油电气设备故障诊断模型进行训练。该模型的训练过程分为两个部分：

第一部分是图数据经过图注意力层。该部分通过引入注意力机制，从各个故障气体的初始信息出发，以此获得特征气体之间相互关系的大小并作为聚合系数。然后中心节点的特征气体依据聚合系数大小来聚合其邻居节点气体的特征信息，并对自身节点的信息进行更新。该部分实现了对充油电气设备的五种故障特征气体信息的更新，其具体过程为：

首先根据各个特征气体的初始信息，形成气体之间的原始注意力系数，它代表着故障特征气体两两之间相关性的大小。原始注意力系数的形成过程如图3所示，用公式可以表示为：

e_ij＝LeakyRelu(a^T[Wh_i||Wh_j]) (5)

式中，h_i和h_j为特征气体i和j的初始特征信息，即气体i和j的浓度值大小。

权重矩阵W代表着将各个气体初始的低维特征信息升维，如图4所示。

||表示的是将两个升维后的气体特征信息进行拼接操作。为权重向量，其意义是将拼接后的高维特征转化为原始注意力系数。LeakyRelu为非线性激活函数，以此从气体i和j的初始特征信息中学习到两者之间的相关性大小。

为了使中心节点的特征气体与其邻居节点的特征气体之间的相关性大小易于比较，需要将当前中心节点与其邻居节点的原始注意力系数进行归一化处理。归一化操作使用softmax函数归一化，用公式表示为：

通过上式的处理，能够保证中心节点与各个邻居节点之间相关性系数和为1。归一化后的注意力系数就是各个气体特征信息更新时使用的聚合系数。特征气体之间的注意力系数矩阵如图5所示，该矩阵中的元素α_ij表示的是气体j对于气体i的重要程度。

得到归一化的注意力系数矩阵后，中心节点的气体特征信息与其邻居节点的气体特征信息之间的相关度便可得到。中心节点的各个不同邻居节点按照注意力系数大小，将其与对应的高维节点特征信息线性组合，最后的结果作为中心节点气体更新后的特征信息，从而实现对自身节点信息的更新。更新原理如图6所示，用公式表示为：

各个特征气体的初始信息在经过图注意力层的训练之后，各个节点的气体特征信息如图7所示。

第二部分是更新后的气体特征信息经过多个线性层。该部分通过使用多个线性层网络，从更新后的各个故障气体的特征信息出发，最后输出预测的故障类型。该部分的具体过程如图8所示，用公式表示为：

Y＝σ(wH'+b) (8)

式中，H'为更新后故障气体的特征信息矩阵。w为权重，b为偏置。σ为非线性激活函数，本发明中使用的是Relu激活函数，因为其比sigmoid和tanh激活函数的收敛速度快，而且梯度不会饱和。

将模型预测的故障类型与样本数据中实际的故障类型进行比较，通过误差反向传播对网络中的参数进行调整。本发明使用的损失函数为交叉熵损失函数，用公式表示为：

式中，p和q为两个概率分布。在分类问题中，p为真实的概率分布，q为预测的概率分布。n表示该分类问题共有n种分类情况，p(x_i)为该分类问题是第i种分类情况的实际概率，它是由输入的标签决定。q(x_i)为将该分类问题预测为第i种分类情况的概率。

根据输入的各故障类型对应的标签形成相应的编码规则，如表1所示，从而得到实际的概率分布。通过图注意力神经网络，预测该组输入气体信息为各个故障类型的可能性大小，然后使用softmax进行归一化，得到预测的概率分布。利用交叉熵损失函数公式计算两个概率分布之间的差异程度，通过误差反向传播算法对网络的参数进行不断调整。交叉熵越小，两个概率分布就越相似，证明模型预测的效果越好。

表1不同故障编码规则

通过不断的训练，当交叉熵满足设定的数值时，基于图注意力神经网络的充油电气设备故障诊断模型中的权重W、向量a、注意力系数α_ij以及多个线性层中的权重w、偏置b参数调整并学习到合适的数值。

步骤4：

利用充油电气设备数据集中的剩余数据作为测试集，对训练好的充油电气设备故障诊断模型进行测试。具体过程如下：

将测试集中的各组特征气体浓度值及气体之间相互关系转化为图数据输入到训练好的模型中，通过图注意力层实现特征气体初始信息的更新，更新后的各个特征气体信息通过多个线性层，最终输出预测的故障类型。统计模型判断的故障类型与实际故障类型一致的情况占总测试数据的比例，并以此作为测试集的准确率。

步骤5：

将基于图注意力神经网络的充油电气设备故障诊断模型与其它充油电气设备故障诊断方法进行效果对比。IEC三比值法、无编码比值法常用来判断充油电气设备的故障类型，因此，本文将IEC三比值法、无编码比值法和本发明所提方法对充油电气设备故障类型的判断效果进行对比。另外，对BP神经网络和本发明所提方法对充油电气设备正常状态和5种故障情况的判断效果进行对比，其中包括准确率、收敛速度和查全率、查准率指标。

(1)比值法和图注意神经网络法的效果对比

利用IEC三比值法、无编码比值法和图注意力神经网络法对本发明数据集中的故障类型判断。部分故障数据判断结果对比如表2所示。

表2部分数据判断结果对比

通过结果得出，IEC三比值法对于故障数据集中的高温过热故障类型数据不能判断，得到是“未知故障”的结果。而无编码比值法对于高温过热故障数据的类型判断有所改善，但其对于局部放电故障类型数据无法正确判断，得到是“低温过热”的结果。另外，对于中温过热、低能放电和高能放电故障类型，IEC比值法和无编码比值法的判断准确率较低。综上所述，传统比值法存在着较大的误判，甚至存在某些故障类型无法判断的情况。图注意神经网络方法对故障数据有良好的诊断效果。

(2)BP神经网络与注意力神经网络正确率的对比

利用BP神经网络和图注意力神经网络对充油电气设备正常情况以及故障情况下的数据进行故障类型判断，并对两个网络训练集准确率、测试集准确率以及收敛速度的效果进行对比。利用相同的训练集和测试集对两个网络进行训练，在迭代次数一样的情况下，比较两个网络训练集准确率和测试集准确率。另外，将两个网络的学习率设置为相同的数值，比较其收敛速度。图9为两种网络训练集准确率的对比图。训练集和测试集的准确率如表3所示。

表3两种网络的充油电气设备故障诊断准确率比较

从表格3可以得出，在同样迭代300次的情况下，图注意力神经网络训练集的准确率与BP神经网络都较高，测试集准确率图神经网络明显高于BP神经网络。图9的训练过程也显示了注意力神经网络的准确性高于BP神经网络，且图注意力神经网络的收敛速度比传统BP神经网络明显要快。

(3)两种方法查准率和查全率的对比

充油电气设备油中溶解气体样本具有不均衡的特点，在不均衡的充油电气设备故障诊断样本中，有时更关心的是故障数据中有多少被正确检测出来了，又或者需要知道正常样本中有多少被分类错。因此，本文在实验结果对比中引入查准率(precision)和查全率(recall)的指标对BP和图注意力算法性能进行比较分析。

混淆矩阵(confusion matrix)用来刻画一个分类器的分类准确程度。主要用于比较实际分类和预测分类，并把分类结果的精度显示在一个混淆矩阵里面。本发明中，两种网络对应的混淆矩阵如下表所示，表4为BP算法下的混淆矩阵，表5为图注意力算法下的混淆矩阵。

表4BP算法下的混淆矩阵

表5图注意力算法下的混淆矩阵

查准率用公式表示为：

查全率用公式表示为：

上式中，TP_i为将分类i正确地预测为分类i；FP_i为将其他分类错误地预测为分类i；FN_i为将分类i错误地预测为其他分类。因此，可以得出两种机器学习算法下的充油电气设备各种故障类型诊断的查准率以及查全率，如表6所示。

表6不同故障类型的查准率和查全率

从表中可以得出，对于不同故障类型的查准率和查全率，基于图注意力神经网络的充油电气设备故障诊断方法基本上优于BP神经网络。

Claims (2)

1.一种基于图注意力神经网络的充油电气设备故障诊断方法，其特征在于，包括以下步骤：

步骤一、建立基于图注意力神经网络的充油电气设备故障诊断模型，该模型包括四个部分，分别为输入的气体关系图、图注意力层、多个线性层以及输出的故障类型；

步骤二、收集各种故障状况下油中溶解气体的浓度值，并将充油电气设备的状态类型及相应的各个特征气体浓度值作为一组有标签样本，以此形成数据集，将数据集中的数据按照7比3的比例分为训练集以及测试集；

步骤三、将训练集输入到模型中，通过学习得到模型所需的参数；学习过程分为两个部分，分别是图注意力层的训练和多个线性层的训练；

第一部分是图数据经过图注意力层；该部分通过引入注意力机制，从各个故障气体的初始信息出发，获得特征气体之间相互关系的大小并作为聚合系数，然后中心节点的特征气体依据聚合系数大小来聚合其邻居节点气体的特征信息并更新自身节点的信息，该部分实现了对充油电气设备的五种故障特征气体信息的更新；

第二部分是更新后的气体特征信息经过多个线性层；该部分通过使用多个线性层网络，从更新后的各个故障气体的特征信息出发，最后输出预测的故障类型；

步骤四、利用训练好的模型去预测测试集中各组数据对应的故障类型，统计模型判断的故障类型与实际故障类型一致的情况占总测试数据的比例，并以此作为测试集的准确率；

所述步骤一中，首先构建基于充油电气设备特征气体的气体关系图，图上的各个节点表示的是充油电气设备故障时的特征气体，分别为氢气、甲烷、乙烷、乙烯以及乙炔，节点与节点之间的边代表两种特征气体之间的关联关系，特征气体两两之间全部设为双向全连接，接着构建单头注意力机制的图注意力层以及多个线性层，最后基于图注意力层和多个线性层建立充油电气设备故障诊断模型；

所述步骤二中，收集中温过热、高温过热、低能放电、高能放电和局部放电5种故障情况以及充油电气设备正常情况时油中溶解气体的浓度值，并将充油电气设备的状态类型及相应的各个特征气体浓度值作为一组有标签样本，以此形成数据集。

2.根据权利要求1所述的充油电气设备故障诊断方法，其特征在于，步骤三中，该模型的训练过程分为两个部分；

第一部分是图数据经过图注意力层；其具体过程为：

首先根据各个特征气体的初始信息，形成气体之间的原始注意力系数，它代表着故障特征气体两两之间相关性的大小，原始注意力系数用公式表示为：

e_ij＝LeakyRelu(a^T[Wh_i||Wh_j]) (1)

式中，h_i和h_j为特征气体i和j的初始特征信息，即气体i和j的浓度值大小，权重矩阵W代表着将各个气体初始的低维特征信息升维，||表示的是将两个升维后的气体特征信息进行拼接操作；LeakyRelu为非线性激活函数，以此从气体i和j的初始特征信息中学习到两者之间的的相关性大小；

为了使中心节点的特征气体与其邻居节点的特征气体之间的相关性大小易于比较，需要将当前中心节点与其邻居节点的原始注意力系数进行归一化处理，归一化操作使用softmax函数归一化，用公式表示为：

归一化后的注意力系数就是各个气体特征信息更新时使用的聚合系数，特征气体之间的注意力系数矩阵中的元素α_ij表示的是气体j对于气体i的重要程度；

得到归一化的注意力系数矩阵后，中心节点的气体特征信息与其邻居节点的气体特征信息之间的相关度便可得到，中心节点的各个不同邻居节点按照注意力系数大小，将其与对应的高维节点特征信息线性组合，最后的结果作为中心节点气体更新后的特征信息，从而实现对自身节点信息的更新；

第二部分是更新后的气体特征信息经过多个线性层；

该部分通过使用多个线性层网络，从更新后的各个故障气体的特征信息出发，最后输出预测的故障类型，该部分的具体过程用公式表示为：

Y＝σ(wH'+b) (4)

式中，H'为更新后故障气体的特征信息矩阵，σ为非线性激活函数，使用的是Relu激活函数；

将模型预测的故障类型与样本数据中实际的故障类型进行比较，通过误差反向传播对网络中的参数进行调整，使用的损失函数为交叉熵损失函数，用公式表示为：

式中，p和q为两个概率分布，p为真实的概率分布，q为预测的概率分布，n表示该分类问题共有n种分类情况，p(x_i)为该分类问题是第i种分类情况的实际概率，它是由输入的标签决定，q(x_i)为将该分类问题预测为第i种分类情况的概率；

根据输入的各故障类型对应的标签形成相应的编码规则，从而得到实际的概率分布，通过图注意力神经网络，预测该组输入气体信息为各个故障类型的可能性大小，然后使用softmax进行归一化，得到预测的概率分布；利用交叉熵损失函数公式计算两个概率分布之间的差异程度，通过误差反向传播算法对网络的参数进行不断调整；通过不断的训练，当交叉熵满足设定的数值时，基于图注意力神经网络的充油电气设备故障诊断模型中的权重W、向量a、注意力系数α_ij以及多个线性层中的权重w、偏置b参数调整并学习到合适的数值。