CN117829822B

CN117829822B - 一种电力变压器故障预警方法及系统

Info

Publication number: CN117829822B
Application number: CN202410241724.9A
Authority: CN
Inventors: 刘鑫; 黄海宏; 陈志伟; 汪宇航; 常文婧; 甘津瑞; 吴春鹏; 李奇越; 李帷韬; 马欢
Original assignee: Hefei University of Technology; State Grid Anhui Electric Power Co Ltd
Current assignee: Hefei University of Technology; State Grid Anhui Electric Power Co Ltd
Priority date: 2024-03-04
Filing date: 2024-03-04
Publication date: 2024-06-04
Anticipated expiration: 2044-03-04
Also published as: CN117829822A

Abstract

本发明提供一种电力变压器故障预警方法及系统，方法包括：预测得到供Transformer训练的适用采样数据；利用Transformer‑BO模型中的自适应BO管道，根据适用采样数据进行样本采样操作；根据训练数据集合，对Transformer‑BO模型进行小样本学习，以得到适用故障预警模型；从适用采样数据中获取溶解气体时间序列数据，利用适用故障预警模型，处理溶解气体时间序列数据，以捕获气体变化顺序信息、气体变化多维特征，据以获取气体浓度预测结果。本发明解决了变压器故障预警操作的准确性及稳定性较差、对训练样本要求较高以及小样本学习能力和抗高噪声能力弱的技术问题。

Description

一种电力变压器故障预警方法及系统

技术领域

本发明涉及电力设备监测数据处理领域，具体涉及一种电力变压器故障预警方法及系统。

背景技术

电力变压器是电网运行中的关键设备之一，变压器故障可能会对环境造成严重威胁，包括爆炸和火灾危险，并给电力公司带来巨大的收入损失和回收成本。因此，有必要对变压器油绝缘状况进行监控，并制定方法来预测电气和热故障造成的不良系统中断。变压器潜在故障的一个显著标志是油中各种溶解气体突然激增。正常运行时的一些低浓度气体，如氢气(H₂)、甲烷(CH₄)、乙炔(C₂H₂)、乙烯(C₂H₄)、乙烷(C₂H₆)、一氧化碳(CO)和二氧化碳(CO₂)，在故障情况下会高浓度释放。因此，近几十年来，监测和分析变压器中的气体浓度已成为研究人员的热门研究课题和电力公司的强力工具。

在变压器故障预警中，首先需要预测未来的气体浓度，然后使用基于气体浓度的变压器故障诊断技术来预测相应的故障。溶解气体分析(DGA)是从热学和电学角度通过溶解气体浓度诊断变压器故障的最广泛应用技术之一。最新的技术包括人工神经网络(ANN)，人工神经网络(ANN)利用历史数据来测量气体浓度与故障类型之间的联系，使ANN能够直接预测故障类型。

在时间序列数据预测中，最常用的方法之一是使用循环神经网络(RNN)模型及其衍生模型，如长短期记忆网络(Transformer)。该模型旨在解决标准RNN的局限性，如梯度消失问题和短记忆存储。典型的Transformer单元包含一个输入门、一个输出门/>和一个遗忘门/>，这种网络具有处理和关联长期序列的优势。

虽然Transformer在某些时间序列预测任务中表现出色，但Transformer可能会受到训练数据序列输入顺序的影响，影响模型的训练。此外，深度学习方法通常需要大量数据集进行训练，这在现实世界中可能并不实用。在变压器气体浓度预测中，所需的训练数据通常是多变量时间序列数据，这使得深度学习模型更难在小样本情况中学习。

电力变压器故障是电网运行中一个长期存在的问题，可能导致前所未有的安全问题和经济损失，对电网运行带来负面影响。为了避免对电网系统造成破坏和恶化，电力变压器故障预警成为了一个活跃的研究领域。近年来，Transformer模型在动态数据处理领域被广泛应用，并在故障预警等多个领域取得了显著成果。然而，传统的递归模型对训练数据规模非常敏感，当输入序列不理想时，这类模型可能会导致预测结果不佳。

例如公布号为CN112884089A的现有发明专利申请文献《一种基于数据挖掘的电力变压器故障预警系统》包括：电力变压器全维度原始数据集模块，无缝嵌入数据应用接口模块，电力变压器全维度原始数据集清洗模块，电力变压器高质量样本数据集模块，电力变压器核心算法模块，电力变压器故障预警模型分析模块，人机界面展示模块。以及公布号为CN115622047A的现有发明专利申请文献《基于Transformer模型的电力变压器负荷预测方法》，包括步骤：采集电力变压器的负荷数据，将采集的电力变压器负荷数据按时间进行排列得到序列样本数据集；将数据集划分为训练集、测试集和验证集，并保证每个数据集采样周期能代表同一时段的特征变化样本；定义和建立基于交互式多头注意力Transformer模型，并初始化网络内部参数及学习率；采用多头注意力层和多头注意力交互层构建三层解码器。现有技术中采用的Transformer和循环神经网络（RNN）等传统模型在气体浓度预测过程中对训练数据要求较高，检测精度易受到输入序列质量影响，小样本学习能力和抗高噪声能力弱。Transformer训练数据采样操作效果较差，而且Transformer-BO算法能够实现更准确、更稳定的变压器故障预警。

综上，现有技术存在变压器故障预警操作的准确性及稳定性较差、对训练样本要求较高以及小样本学习能力和抗高噪声能力弱的技术问题。

发明内容

本发明所要解决的技术问题在于：如何解决现有技术中变压器故障预警操作的准确性及稳定性较差、对训练样本要求较高以及小样本学习能力和抗高噪声能力弱的技术问题。

本发明是采用以下技术方案解决上述技术问题的：一种电力变压器故障预警方法包括：

S1、进行时间序列预测，获取供Transformer训练的适用采样数据；

S2、结合处理BO采样工具与深度学习模型Transformer，以得到Transformer-BO模型，利用Transformer-BO模型中的自适应BO管道，根据适用采样数据进行样本采样操作，其中，在自适应BO管道中，基于训练数据集合的贝叶斯统计代用模型进行建模操作，对预置获取函数进行优化操作，以根据适用采样数据，查询并添加后续训练数据至训练数据集合/>，其中，X _train表示给定训练集，Y _train表示训练目标集；

S3、根据训练数据集合，对Transformer-BO模型进行小样本学习，以得到适用故障预警模型；

S4、从适用采样数据中获取溶解气体时间序列数据，利用适用故障预警模型，处理溶解气体时间序列数据，以捕获气体变化顺序信息、气体变化多维特征，据以获取气体浓度预测结果。

在更具体的技术方案中，步骤S2中，采集并预处理原始多溶解气体数据，以得到并输入多溶解气体预处理数据至经训练的Transformer-BO模型，供预测气体浓度预测结果。

本发明采用进行小样本学习的Transformer-BO模型，结合了Transformer和贝叶斯优化（BO）技术，对输入序列进行最优采样，产生更优的预测结果。与Transformer和循环神经网络（RNN）等传统方法相比，本发明采用的Transformer-BO模型在气体浓度预测精度方面取得了显著提升，具有更好的小样本学习能力和抗高噪声能力。BO不仅有助于Transformer进行训练数据采样，而且Transformer-BO算法能够实现更准确、更稳定的变压器故障预警，从时间序列数据预测、小样本学习和抗噪声等多个角度来看，都优于传统的Transformer和RNN模型，包括在数据可用性低的情况下进行小样本学习，以及在高噪声水平干扰气体浓度时的抗噪性。

本发明在数据有限的情况下，利用贝叶斯优化（BO）技术提高了数据处理效率。通过将BO集成到Transformer框架中，让模型更好地适应了小样本学习，从而提高了模型的整体性能。本发明采用的Transformer-BO可以有效解决实践中数据可用性有限的问题。

在更具体的技术方案中，利用DGA诊断技术，分析变压器的运行状态以及运行异常时相应的故障类型。

在更具体的技术方案中，步骤S2包括：

S21、利用下述逻辑设置训练集D：

式中，是预设长度N的给定数据集，x表示训练数据，y是在BO采样工具中作为优化目标设置的预测数据的目标值，并且/>是预设长度N的目标值数据集，/>表示第i个训练数据，/>表示第i个预测数据的目标值，/>表示第i个未知函数；

S22、从训练集D中选取第i个训练数据作为训练数据集合/>中的唯一数据；

S23、通过自适应BO操作，利用Transformer-BO模型，从训练集D中，找到下一个查询数据集，将查询数据集添加至训练数据集合；

S24、在深度学习模型Transformer，对训练数据集合进行训练，进行下一次迭代操作，利用BO采样工具更新训练数据集合/>；

S25、当训练数据集合的大小与训练集D相同时，完成当前次的迭代操作，返回起点并清空当前的训练数据集合/>；

S26、迭代执行步骤S22至步骤S26，以得到经训练的Transformer-BO模型。

本发明基于训练数据集合的贝叶斯统计代用模型建模，以及通过优化指定的获取函数来查询后续训练数据并将其添加到集合中。自适应BO框架有助于高效地找到全局最优值，并最大限度地减少寻找最优值所需的模拟次数，同时还能为Transformer提供更好的训练数据。

在更具体的技术方案中，步骤S2中的样本采样操作中，利用下述逻辑，寻找未知函数的全局最优值目标：

(1)

式中，表示与训练数据对应的最大目标函数，/>表示与训练数据对应的最小目标函数。

本发明利用BO优化了训练数据序列的排序，使得Transformer-BO在时间序列数据预测方面表现优异。Transformer模型本质上对输入序列的顺序非常敏感，而训练数据序列是任意的或按时间顺序排列的，这并不直接反映数据中真实的潜在依赖关系。通过使用BO来优化训练数据的顺序，可以让Transformer模型学习到更稳健、更好的时间依赖关系，从而提高预测准确率。

在更具体的技术方案中，步骤S2中的建模操作中，使用置信度上限UCB设置预置获取函数：

(2)

式中，为权衡参数，/>表示特定权衡参数及样本数据对应的预置获取函数，/>表示对训练数据x的正态分布采样，/>表示带权重/>的预置获取函数。

本发明采用的Transformer-BO模型对测试数据中引入的噪声也有很强的抵抗力。BO采样工具在探索和利用数据之间取得了平衡，从而找到了最佳的训练序列顺序，这将使Transformer能够学习到数据中更多真实的、与噪声无关的模式。Transformer-BO模型的抗噪能力还表明，该模型有潜力进一步应用于其他领域，如经常受到噪声干扰的地震电信号数据。

在更具体的技术方案中，步骤S4中，利用下述逻辑，设置适用故障预警模型的输入层、隐藏层以及输出层：

(3)

(4)

(5)

(6)

(7)

式中，、/>和/>分别是遗忘门、输入门以及输出门激活向量，/>是层索引，/>是sigmoid激活函数，/>是单元激活向量，/>为上一层单元激活向量，/>是输出向量，/>是上一层输出向量，/>为t层输出向量，/>、/>、/>以及/>、/>、/>分别为遗忘门、输入门以及输出门的单元参数，/>为当前激活向量单元参数，/>表示对单位激活向量/>的反正切值。

在更具体的技术方案中，步骤S4中，将作为输入/>进行训练，以深度学习模型Transformer的最后Transformer层的输出，作为气体浓度预测结果，其中，/>为数据批次，b _k为训练数据集合子集，X为给定数据集。

在更具体的技术方案中，步骤S4中，以下述平均平方误差，作为模型训练损失函数：

(8)

式中，为实际输出，/>为预测输出，n为数据点数，MSE是实际输出与预测输出之间的平均平方误差，能够因平方差而对大误差造成更大的惩罚。

在更具体的技术方案中，一种电力变压器故障预警系统包括：

适用样本获取模块，用以进行时间序列预测，获取供Transformer训练的适用采样数据；

模型构建及样本采样模块，用以结合处理BO采样工具与深度学习模型Transformer，以得到Transformer-BO模型，利用Transformer-BO模型中的自适应BO管道，根据适用采样数据进行样本采样操作，其中，在自适应BO管道中，基于训练数据集合的贝叶斯统计代用模型进行建模操作，对预置获取函数进行优化操作，以根据适用采样数据，查询并添加后续训练数据至训练数据集合/>，其中，X _train表示给定训练集，Y _train表示训练目标集，模型构建及样本采样模块与适用样本获取模块连接；

小样本学习模块，用以根据训练数据集合，对Transformer-BO模型进行小样本学习，以得到适用故障预警模型，小样本学习模块与模型构建及样本采样模块连接；

气体浓度预测模块，用以从适用采样数据中获取溶解气体时间序列数据，利用适用故障预警模型，处理溶解气体时间序列数据，以捕获气体变化顺序信息、气体变化多维特征，据以获取气体浓度预测结果，气体浓度预测模块与小样本学习模块连接。

本发明相比现有技术具有以下优点：

本发明利用BO优化了训练数据序列的排序，使得Transformer-BO在时间序列数据预测方面表现优异。Transformer模型本质上对输入序列的顺序非常敏感，而训练数据序列往往是任意的或按时间顺序排列的，这并不直接反映数据中真实的潜在依赖关系。通过使用BO来优化训练数据的顺序，可以让Transformer模型学习到更稳健、更好的时间依赖关系，从而提高预测准确率。

本发明解决了现有技术中存在的变压器故障预警操作的准确性及稳定性较差、对训练样本要求较高以及小样本学习能力和抗高噪声能力弱的技术问题。

附图说明

图1为本发明实施例1的一种电力变压器故障预警方法基本步骤示意图；

图2为本发明实施例1的利用Transformer-BO中的自适应BO管道进行样本采样的具体步骤示意图；

图3为本发明实施例1的一种电力变压器故障预警方法的Transformer-BO模型结构及数据流处理示意图；

图4a为本发明实施例2的在4小时间隙预测氢气浓度时，Transformer-BO、Transformer和RNN与实际气体浓度(RefGas)的比较示意图；

图4b为本发明实施例2的在4小时间隙预测甲烷浓度时，Transformer-BO、Transformer和RNN与实际气体浓度(RefGas)的比较示意图；

图4c为本发明实施例2的在4小时间隙预测乙烯浓度时，Transformer-BO、Transformer和RNN与实际气体浓度(RefGas)的比较示意图；

图4d为本发明实施例2的在4小时间隙预测乙烷浓度时，Transformer-BO、Transformer和RNN与实际气体浓度(RefGas)的比较示意图；

图4e为本发明实施例2的在4小时间隙预测乙炔浓度时，Transformer-BO、Transformer和RNN与实际气体浓度(RefGas)的比较示意图；

图5为本发明实施例2的随着训练集大小增加的少样本学习性能示意图；

图6为本发明实施例2的模型噪声抗性的消融示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明提供的一种电力变压器故障预警方法，包括以下基本步骤：

S1、进行时间序列预测，获取供Transformer训练的最佳采样数据；

传统时间序列预测技术大多侧重于参数模型。例如，指数平滑技术将恒定权重分配给以前的预测和当前数据，以预测未来数据，经典的参数自回归方法侧重于短时间关系，并使用以前值的线性回归。由于线性回归模型的局限性，这些传统统计方法无法捕捉到长序列中的信息，随着预测范围的增加，误差也会不断累积。另一方面，深度学习模型可以发现跨时空线性依赖关系，并通过多个模型输出将预测误差分布到整个预测序列中。

RNN序列模型是常用的时间序列预测深度学习模型，而Transformer则被广泛应用于大多数现有相关工作中。ANN也被用于时间序列预测，ANN模拟人类处理数据的方式。但在实际应用中，ANN仍存在问题，如过拟合和权重初始化，因此ANN并不常用于预测。

Transformer已被应用于多个领域的预测问题，包括金融数据、石油生产与营销以及风力涡轮机故障诊断。还有将Transformer与其他模型相结合的混合模型。Xue提出了一种Transformer-Autoencoder网络，用于检测地震电信号。这些信号总是受到各种噪声的干扰，传统方法很难对信号进行分析和预测，而Transformer-Autoencoder自动编码器对噪声的抗干扰能力更强，能够产生更好的信号预测结果。GA-Transformer模型将遗传算法融入到Transformer-模型，与其他成熟的机器学习方法相比，能很好地预测多阶段流感爆发。Transformer-ARIMA模型将Transformer与自回归整合移动平均模型相结合。在ARIMA和其他分离模型中，该混合模型的误差值最低。在本实施例中，提出的Transformer-BO，使用Transformer作为基础模型，并将BO应用于该模型以改进预测。

S2、结合处理BO采样工具与深度学习模型Transformer，以得到Transformer-BO模型，利用Transformer-BO模型中的自适应BO管道，根据适用采样数据进行样本采样操作；

在本实施例中，在自适应BO管道中，基于训练数据集合的贝叶斯统计代用模型进行建模操作，对预置获取函数进行优化操作，以根据适用采样数据，查询并添加后续训练数据至训练数据集合/>；

如图2所示，在本实施例中，利用Transformer-BO中的自适应BO管道进行样本采样的步骤S2，还包括以下具体步骤：

S21、设置训练集D：

式中，是预设长度N的给定数据集，x表示训练数据，y是在BO中作为优化目标设置的预测数据的目标值，并且/>是预设长度N的目标值数据集，/>表示第i个训练数据，/>表示第i个预测数据的目标值，/>表示第i个未知函数；

S22、从训练集D中选取第i个训练数据作为训练数据集合{X _train ,Y _train }中的唯一数据；

S23、通过自适应BO操作，利用Transformer-BO模型，从训练集D中，找到下一个查询数据集，将查询数据集添加至训练数据集合{X _train ,Y _train }；

S24、在深度学习模型Transformer，对训练数据集合{X _train ,Y _train }进行训练，进行下一次迭代操作，利用BO采样工具更新训练数据集合{X _train ,Y _train }；

S25、当训练数据集合{X _train ,Y _train }的大小与训练集D相同时，完成当前次的迭代操作，返回起点并清空当前的训练数据集合{X _train ,Y _train }；

在本实施例中，自适应BO管道中，基于的贝叶斯统计代用模型建模，以及通过优化指定的获取函数来查询后续训练数据并将其添加到集合中；

在本实施例中，BO可应用于不同领域。在机器学习中，BO经常用于深度学习模型，例如Transformer的超参数调优。Transformer神经网络利用BO来优化超参数组合，领域生成算法的检测和识别准确率超过97%，高于传统方法。在注意力-Transformer结构中，在将编码器-解码器和注意力机制纳入Transformer的混合模型中，使用BO来促进各种参数的确定。研究表明，前述模型具有短期预测室内温度的优势，其R平方值大于0.9。在本实施例中，使用BO作为Transformer模型的采样工具，从训练数据中提高Transformer的训练效率；

如图3所示，在本实施例中，原始的多溶解气体数据经过预处理后被送入训练完成的Transformer-BO模型，预测的气体浓度即为模型的输出结果。然后采用基于DGA的诊断技术，分析变压器的运行状态以及运行异常时相应的故障类型。在整个过程中，Transformer-BO是故障预警程序的核心要素。如果没有可靠的预测模型，三比率法等基于DGA的技术难以准确预测变压器的运行状态和故障类型；

在本实施例中，Transformer-BO算法的实现操作包括但不限于：

在本实施例中，相关参数包括：训练集，迭代次数/>，获取函数/>，定义域/>，/>表示数据批次，其中x _N为第N个训练数据，有y _N为第N个目标值。

初始迭代次数：；

利用下述命令进行循环操作：fordo，其中，iter为迭代参数；

从D中随机选择初始数据；

，其中，n为数据点数；

利用下述命令进行循环操作：whiledo，通过/>和数据批次/>更新后验概率分布；

其中，，/>表示在连续的定义域上取最大值。

在本实施例中，利用下述公式确定给定数据集中的第i+1个训练数据：

其中，表示在连续的定义域上取最小值，/>对训练数据x和取归一化操作，/>表示第j个训练数据，/>表示给定数据集中的第i+1个训练数据，

，其中，/>表示下一个训练数据，/>表示下一个目标值；

进行下一次循环：，其中，n表示数据点数；

将分成K批/>和/>，其中，/>表示第k批训练数据，/>表示第k批目标；

取每个为输入/>，并推导出预测的/>，其中，/>表示预测的第k批目标值，/>表示第k批训练数据；

取和/>的平均平方误差损失MSE Loss来训练Transformer模型；

进行下一次迭代：。

在本实施例中，设：

为训练集，其中是预设长度的给定数据集，为供模型预测的输入数据，Transformer训练时需要在给定数据后跟随相同长度的预测数据，为供模型输出的目标数据；y是在BO中作为优化目标设置的预测数据的目标值，并且/>。

在本实施例采用的Transformer-BO的每次迭代过程，从训练集D中随机选择一组数据作为/>中的唯一数据；通过使用自适应BO流程，Transformer-BO从训练集D中找到下一个查询数据集，并将其添加到数据集中/>，而不会重复使用同一组数据；在Transformer完成对数据集/>的训练后，新的循环开始，BO将更新/>，在两个数据集中都加入新的数据；当/>的大小与训练集D相同，/>时，完成一次迭代，返回起点并清空训练集。

在本实施例的基于BO取样过程中采用的BO是一种黑箱优化算法，用于寻找未知函数的全局最优值目标如下：

(1)

在本实施例中，BO对函数评估中的随机噪声具有容忍性，适用于低维优化问题。在连续域上，BO在少于维的情况下工作效率更高，选择一种气体作为的输入，而/>的维数相当于给定数据和预测数据的步数。自适应BO框架有助于高效地找到全局最优值，并最大限度地减少寻找最优值所需的昂贵模拟次数，同时还能为Transformer提供更好的训练数据；

在本实施例中，高斯过程(GP)是一种常用的贝叶斯统计方法，用于代用函数建模，假定函数遵循高斯概率分布。在特定条件下，高斯过程(GP)对求和、条件化和边际化有高效的闭式解析解。在每次迭代时，GP使用函数值对代理模型进行建模，假设这些值是从多元正态分布中随机抽取的，具有闭式均值向量和协方差矩阵。协方差矩阵可通过核函数来构建，核函数用于衡量每一对点/>的函数值的相似性。使用GP对代理函数建模后，将使用基于代理函数的获取函数对下一个查询数据进行采样。在本实施例中，使用置信度上限UCB作为获取函数的一般形式为：

(2)

权衡参数可以在探索查询最不确定的点作为下一个点和查询最有希望找到最优点的操作之间取得平衡。在变压器故障预警场景中，高效地训练Transformer，让β值变大从而通过训练促进数据的探索，减少模型的不确定性。从尚未从训练集D中选择的所有数据中，选取与/>最接近的预选气体浓度、BO输入所用气体类型的浓度作为下一个采样点，添加到/>中进行Transformer训练。在本实施例中，/>表示在连续的定义域上取最大值。在本实施例中，选择一种气体作为BO输入，在本实施例中根据相同的气体浓度选择下一个查询点。为了在BO采样和多溶解气体之间建立联系，BO中使用的效用函数将取决于所有气体。

S3、根据训练数据集合{X _train ,Y _train }，对Transformer-BO模型进行小样本学习，以得到适用故障预警模型；

在本实施例中，基于Transformer和注意力机制的小样本学习方法，不需要对给定的目标任务进行再训练，同时能够保持所提方法的准确性。结果表明与近邻预测模型相比，预测误差更小。在本实施例中，提出的方法中，将BO应用于Transformer模型，在模型可用的训练数据有限的情况下，BO对小样本训练很有帮助；

在本实施例中，Transformer网络是一种循环神经网络(RNN)，适用于序列预测问题。与标准的前馈神经网络不同，Transformer网络具有反馈连接。反馈连接将一层的输出转发给下一层，并将一层的输出转发给该反馈连接自身。Transformer单元包括一个存储单元，可将信息长时间保存在内存中。一组门用于控制存储、遗忘和输出信息的时间，这样的架构可以让Transformer模型学习更长期的依赖关系。

在本实施例中，Transformer网络由输入层、预设数量的隐藏层和输出层组成：

(3)

(4)

(5)

(6)

(7)

其中，、/>和/>分别是遗忘门、输入门以及输出门激活向量。/>是层索引，/>是sigmoid激活函数，/>是单元激活向量，/>是输出向量。将/>作为输入/>进行训练，最后Transformer层的输出将作为最终的气体预测值。

在本实施例中，使用平均平方误差作为训练Transformer模型的损失函数，表示为：

(8)

其中，为实际输出，/>为预测输出，n为数据点数。MSE是实际输出与预测输出之间的平均平方误差，能够因平方差而对大误差造成更大的惩罚。

实施例2

在本实施例中，利用下述表1的数据集进行验证：

表1：最近5次预处理和原始气体浓度

在本实施例中，气体浓度数据采集自中国某换流站的800千伏变压器。从2019-07-01凌晨0点到2019-12-31晚上8点，每4小时测量一次，共采集了607个有效样本。每个时间点由12种属性组成，在本实施例中，使用氢气、乙炔/>、乙烯/>、乙烷/>和甲烷进行模型训练和评估。

在本实施例中，将607个有效样本分成303组数据，包括：242组训练数据和61组测试数据。在本实施例中，对于每种气体，所有数据都将除以特定气体的最大和最小浓度之差，因此数据将归一化为[0, 1]范围。此外，所有的零数据都将根据气体浓度的前一次和后一次测量结果进行内插。为了说明本方案在所有实验中使用的数据，表1显示了预处理前后气体浓度的最新测量值。

在本实施例的实验装置设置过程中，根据验证损失调整Transformer-BO模型的超参数之后，确定I=10作为迭代次数，径向基函数(RBF)内核作为内核，学习率为0.01，并且在UCB采集阶段时，设置=0.5，这样更加注重Transformer学习数据的探索过程。在Transformer-BO中，从/>中选择/>作为输入，并将/>作为用于训练数据的效用函数。其中，/>表示效用函数，/>表示协方差矩阵。

在本实施例中，使用部分训练数据作为验证数据，以避免过度拟合，并将242个样本中的10个样本设置为验证数据。如果验证损失在5个完整迭代（epoch）中没有减少，则提前停止训练过程，以防止过拟合。在所有实验中使用不同的随机种子运行了10次，并得出了测试数据损失的平均值和标准偏差，其中损失越小代表预测准确率越高。

在主要时间序列预测实验外，本实施例还进行了两项消融研究。选择的训练集大小为。

在本实施例中，对于抗噪研究，在训练集大小固定的情况下，往测试数据中加入高斯噪声，其均值为0，标准偏差为0.01、0.05至0.5，间隔为0.05。

本实施例中的实验结果包括：Transformer-BO和其他基线在测试集上的评估结果。为了进一步检验Transformer-BO的灵活性和稳定性，展示了Transformer-BO在训练集大小不断变化的少次学习环境中的有效性，提供了鲁棒性实验和抗噪性经验分析。

本实施例中的时间序列预测实验过程中，进行了时间序列预测实验，以研究Transformer-BO、Transformer和RNN在实际电力变压器故障诊断环境中的预测性能。

在本实施例中，下表2显示了在指定不同随机种子的情况下，10次运行的时间序列预测结果，包括：MSE和平均损失、标准偏差。结果表明，与Transformer相比，Transformer-BO将平均损失最小化了19%(MSE)和13%(MAE)；与RNN相比，Transformer-BO将损失最小化了17%(MSE)和10%(MAE)。与两个基线相比，Transformer-BO在、/>、/>和/>的单个气体浓度预测中也实现了较低的MSE和MAE损失。此外，在所有算法中，Transformer-BO的平均MSE和MAE损失的标准偏差最小，这表明Transformer-BO的预测结果总体上是一致的。

表2：建议的Transformer-BO和基线的损失均值和标准偏差结果

如图4a至图4e所示，在本实施例中显示了各种算法对每种气体的预测浓度。其中，Transformer-BO可以对所有气体进行稳定而准确的预测。Transformer和RNN在、/>和的预测中表现不佳，因为Transformer和RNN的一些预测结果明显偏离了实际气体浓度。在160小时的/>预测中，归一化后的真实/>浓度为0.1072，Transformer-BO的预测值为0.1051，与真实浓度相当接近，而Transformer的预测值为0.3216，RNN的预测值为-0.0395。对于/>和/>的浓度预测，Transformer-BO的平均损失并没有明显优于Transformer和RNN，但Transformer-BO的预测结果比较稳定，而其他基线的某些预测结果超出了归一化范围[0, 1]。在88小时/>预测和小时/>预测中，Transformer和RNN都给出了负的预测结果。相比之下，Transformer-BO没有给出超出范围的预测值。

如图5所示，在本实施例中，进行了一项少样本学习实验，以研究在训练数据非常少的情况下，Transformer-BO的性能。参见图5中的结果，尽管训练样本数量变化，Transformer-BO的损失大部分时间都比Transformer要小得多。当训练样本数量增加时，Transformer-BO和Transformer的损失都呈现出一种先增加后急剧下降的趋势，并逐渐趋于收敛。Transformer-BO在训练样本数量为100时达到最大损失，并在训练样本数量为170到180时急剧下降。另一方面，Transformer在训练样本数量为120时达到最大损失，损失为0.1583，并从训练样本数量为180到190开始急剧下降，这个转变比Transformer-BO来得稍晚。这表明，在非常少的数据点上，Transformer-BO的损失比使用少于190个数据进行训练的Transformer要小。参见图5，x轴代表训练集大小，y轴代表损失，点的坐标为：：A(100，0.1327)，B(170，0.0995)，C(120，0.1583)，D(180，0.1288)。

如图6所示，在本实施例中，通过抗噪实验获取抗噪声消融研究的结果。参见图6，x轴代表标准偏差，y轴代表损失，点的坐标为：A(0.05，0.0087)，B(0.45，0.0501)，C(0.05，0.0109)，D(0.3，0.0525)。在本实施例中，当噪声标准偏差达到0.1以上时，两种算法的损耗都会增加得更快，曲线斜率也会稍大，而Transformer-BO的损耗增加速度比Transformer慢。这说明Transformer-BO在测试数据中具有更好的抗噪能力，尤其是当噪声较大时。此外，当测试集标准偏差约为0.3时，Transformer的损失达到0.05，而当标准偏差约为0.45时，Transformer-BO的损失也达到相同水平。当标准偏差设定为0.5时，Transformer-BO的MSE损失比Transformer降低了34%。结果表明，在实际应用中，BO比传统的Transformer模型具有更强的抗噪能力。

结合前述实验结果，可知本方案在多种情况下都显示出了更好的效果。从时间序列数据预测、小样本学习和抗噪声等多个角度来看，都优于传统的Transformer和RNN模型。

Transformer-BO在时间序列数据预测方面的优异表现，是由于BO优化了训练数据序列的排序。Transformer模型本质上对输入序列的顺序非常敏感，而训练数据序列往往是任意的或按时间顺序排列的，这并不一定反映数据中真实的潜在依赖关系。通过使用BO来优化训练数据的顺序，可以让Transformer模型学习到更稳健、更好的时间依赖关系，从而提高预测准确率。这一发现支持了训练数据顺序对性能起关键作用的假设，为改进基于Transformer的时间序列预测模型开辟了新的途径。在变压器故障预警应用中，Transformer-BO模型的预测结果可进一步用于基于DGA的技术，包括：三比值法，并获得比Transformer和RNN更好的诊断结果，因为这些传统方法会产生大量偏离真实气体浓度的预测结果。对于三比率法等DGA诊断技术，诊断结果取决于数值所处的比率区域，因此对每种气体进行稳定且损失较小的预测可提供可靠的诊断结果。相反，如果对几种气体的预测值与实际值相差甚远，那么诊断结果很可能与变压器的实际状态不同。因此，在DGA技术的支持下，Transformer-BO更有可能给出真实的诊断结果。

在本实施例中，还证明了Transformer-BO在小样本学习场景中的优势。在数据有限的情况下，BO的优势在于其效率。通过将BO集成到Transformer框架中，让模型更好地适应了小样本学习，从而提高了模型的整体性能。这表明，Transformer-BO可以有效解决实践中数据可用性有限的情况，而传统的Transformer和RNN模型往往在这种情况下举步维艰。

Transformer-BO对测试数据中引入的噪声也有很强的抵抗力。BO在探索和利用数据之间取得了平衡，从而找到了最佳的训练序列顺序，这将使Transformer能够学习到数据中更多真实的、与噪声无关的模式。Transformer-BO的抗噪能力还表明，Transformer-BO有潜力进一步应用于其他领域，如经常受到噪声干扰的地震电信号数据。

综上，本发明采用进行小样本学习的Transformer-BO模型，结合了Transformer和贝叶斯优化（BO）技术，对输入序列进行最优采样，产生更优的预测结果。与Transformer和循环神经网络（RNN）等传统方法相比，本发明采用的Transformer-BO模型在气体浓度预测精度方面取得了显著提升，具有更好的小样本学习能力和抗高噪声能力。BO不仅有助于Transformer进行训练数据采样，而且Transformer-BO算法能够实现更准确、更稳定的变压器故障预警，从时间序列数据预测、小样本学习和抗噪声等多个角度来看，都优于传统的Transformer和RNN模型，包括在数据可用性低的情况下进行小样本学习，以及在高噪声水平干扰气体浓度时的抗噪性。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种电力变压器故障预警方法，其特征在于，所述方法包括：

S2、结合处理BO采样工具与深度学习模型Transformer，以得到Transformer-BO模型，利用所述Transformer-BO模型中的自适应BO管道，根据所述适用采样数据进行样本采样操作，其中，在所述自适应BO管道中，基于训练数据集合的贝叶斯统计代用模型进行建模操作，对预置获取函数进行优化操作，以根据所述适用采样数据，查询并添加后续训练数据至所述训练数据集合/>，其中，X _train表示给定训练集，Y _train表示训练目标集；

其中，所述Transformer-BO模型的实现操作包括：

初始迭代次数：；

从训练集中随机选择初始数据/>：

式中，n为数据点数；

利用下述命令进行循环操作：

whiledo；

根据所述训练数据集合和数据批次/>更新后验概率分布；

其中：

式中，表示在连续的定义域上取最大值；

利用下述公式确定所述给定数据集X _train中的第i+1个训练数据：

式中，表示在连续的定义域上取最小值，/>表示对所述训练数据x和/>取归一化操作，/>表示第j个训练数据，/>表示给定数据集中的第i+1个训练数据；

利用下述逻辑，处理所述给定训练集X _train，所述训练目标集Y _train：

式中，表示下一个训练数据，/>表示下一个目标值；

进行下一次循环：，其中，n表示数据点数；

将所述训练数据集合分成K批/>和/>，其中，/>表示第k批训练数据，/>表示第k批目标；

取所述第k批训练数据为输入/>，并推导出预测的/>，其中，/>表示预测的第k批目标值，/>表示第k批训练数据；

取所述预测的第k批目标值和所述第k批训练数据/>的平均平方误差损失MSE Loss，训练Transformer模型；

累加所述迭代参数，以进行下一次迭代：；

其中，迭代次数，获取函数/>，定义域/>，/>表示数据批次，其中x _N为第N个训练数据，y _N为第N个目标值；

所述步骤S2中的所述建模操作中，使用置信度上限UCB设置所述预置获取函数：

(2)

式中，为权衡参数，/>表示特定权衡参数及样本数据对应的所述预置获取函数，/>表示对训练数据x的正态分布采样，/>表示带权重/>的所述预置获取函数；

S3、根据所述训练数据集合，对所述Transformer-BO模型进行小样本学习，以得到适用故障预警模型；

S4、从所述适用采样数据中获取溶解气体时间序列数据，利用所述适用故障预警模型，处理所述溶解气体时间序列数据，以捕获气体变化顺序信息、气体变化多维特征，据以获取气体浓度预测结果。

2.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S2中，采集并预处理原始多溶解气体数据，以得到并输入多溶解气体预处理数据至经训练的Transformer-BO模型，供预测所述气体浓度预测结果。

3.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，利用DGA诊断技术，分析变压器的运行状态以及运行异常时相应的故障类型。

4.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S2包括：

S21、利用下述逻辑设置训练集D：

式中，是预设长度N的给定数据集，x表示训练数据，y是在所述BO采样工具中作为优化目标设置的预测数据的目标值，并且/>是预设长度N的目标值数据集，/>表示第i个训练数据，/>表示第i个预测数据的目标值，/>表示第i个未知函数；

S22、从所述训练集D中选取所述第i个训练数据作为所述训练数据集合/>中的唯一数据；

S23、通过自适应BO操作，利用所述Transformer-BO模型，从所述训练集D中，找到下一个查询数据集，将所述查询数据集添加至所述训练数据集合；

S24、在所述深度学习模型Transformer，对所述训练数据集合进行训练，进行下一次迭代操作，利用所述BO采样工具更新所述训练数据集合/>；

S25、当所述训练数据集合的大小与所述训练集D相同时，完成当前次的所述迭代操作，返回起点并清空当前的所述训练数据集合/>；

S26、迭代执行所述步骤S22至所述步骤S26，以得到经训练的所述Transformer-BO模型。

5.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S2中的所述样本采样操作中，利用下述逻辑，寻找未知函数的全局最优值目标：

(1)

6.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S4中，利用下述逻辑，设置所述适用故障预警模型的输入层、隐藏层以及输出层：

(3)

(4)

(5)

(6)

(7)

式中，、/>和/>分别是遗忘门、输入门以及输出门激活向量，/>是层索引，/>是sigmoid激活函数，/>是单元激活向量，/>为上一层单元激活向量，/>是输出向量，/>是上一层输出向量，/>为t层输出向量，/>、/>、/>以及/>、/>、/>分别为所述遗忘门、所述输入门以及所述输出门的单元参数，/>为当前激活向量单元参数，/>表示对单位激活向量/>的反正切值。

7.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S4中，将作为输入/>进行训练，以所述深度学习模型Transformer的最后Transformer层的输出，作为所述气体浓度预测结果，其中，/>为数据批次，b _k为训练数据集合子集，X为给定数据集。

8.根据权利要求1所述的一种电力变压器故障预警方法，其特征在于，所述步骤S4中，以下述平均平方误差，作为模型训练损失函数：

(8)

式中，为实际输出，/>为预测输出，n为数据点数，MSE是实际输出与预测输出之间的所述平均平方误差。

9.一种电力变压器故障预警系统，执行所述权利要求1至8所述的一种电力变压器故障预警方法，其特征在于，所述系统包括：

模型构建及样本采样模块，用以结合处理BO采样工具与深度学习模型Transformer，以得到Transformer-BO模型，利用所述Transformer-BO模型中的自适应BO管道，根据所述适用采样数据进行样本采样操作，其中，在所述自适应BO管道中，基于训练数据集合的贝叶斯统计代用模型进行建模操作，对预置获取函数进行优化操作，以根据所述适用采样数据，查询并添加后续训练数据至所述训练数据集合/>，其中，X _train表示给定训练集，Y _train表示训练目标集，所述模型构建及样本采样模块与所述适用样本获取模块连接；

小样本学习模块，用以根据所述训练数据集合，对所述Transformer-BO模型进行小样本学习，以得到适用故障预警模型，所述小样本学习模块与所述模型构建及样本采样模块连接；

气体浓度预测模块，用以从所述适用采样数据中获取溶解气体时间序列数据，利用所述适用故障预警模型，处理所述溶解气体时间序列数据，以捕获气体变化顺序信息、气体变化多维特征，据以获取气体浓度预测结果，所述气体浓度预测模块与所述小样本学习模块连接。