CN112734028A - 一种变压器油中溶解气体浓度预测模型建模方法 - Google Patents

Abstract

一种变压器油中溶解气体浓度预测模型建模方法，选择可能对变压器油中溶解气体预测具有积极影响的重要因素并建立变量环境，设定每一种气体的预测都受到其余所有变量的积极影响，使用长短时记忆网络(LSTM)预测模型分别预测并比较误差，验证假设并提取对待预测气体变量具有积极影响的重要因素，在已筛选出重要因素的基础上，建立融合时间注意力机制的LSTM预测模型，增强重要因素历史时序数据中关键信息的表达，将重要因素对应的时序数据作为融合时间注意力机制的LSTM的输入，预测模型建模完成。本发明方法可以根据已采集的变压器历史运行状态数据，解决基于传统关联性分析方法的变压器油中溶解气体浓度预测方法精度不高的问题。

Description

一种变压器油中溶解气体浓度预测模型建模方法

技术领域

本发明涉及电力变压器运行状态评估及预测领域，具体涉及一种变压器油中溶解气体浓度预测模型建模方法。

背景技术

电力变压器作为电力系统中最关键的设备之一，具有传输和转换电能的作用，保证其安全稳定运行对整个电力网络至关重要。依靠传统定期人工检修方式对变压器设备进行健康检查会耗费大量人力、物力及财力，还可能出现维修过多或维修不及时，导致变压器损坏和寿命折损，因此对变压器未来状态进行预测，并实施全生命周期的精细化管理，正在成为热点。

油中溶解气体分析(Dissolved Gas Analysis，DGA)技术是当前国际上公认的发现变压器初期故障及缺陷的有效手段，通过油色谱在线监测装置采集的油中相关状态指标历史数据，对未来油中溶解气体浓度进行建模预测，可以有效掌握设备状态和发展趋势，对于电力变压器状态预测具有重要的技术价值。

当前的一些关于变压器状态预测研究方法中考虑的变量种类不够全面，对变量间相互影响关系缺乏深入的分析，如灰色关联分析法、相关系数法等方法通过人为确定系数过于主观性，并且没有挖掘时序信息中的依赖关系导致长期预测效率不高。

发明内容

针对目前电力变压器状态评估过程中对油中溶解气体预测精度不高的问题。本发明提供一种变压器油中溶解气体浓度预测模型建模方法，采用本发明的预测模型，可基于已采集的变压器历史运行数据完成预测模型输入变量的筛选和模型训练，实现对变压器油中溶解气体的精准预测，提高了变压器油中溶解气体浓度预测效率和准确性。

本发明采取的技术方案为：

一种变压器油中溶解气体浓度预测模型建模方法，首先，从建立的变量环境中找出溶解气体浓度预测的积极影响因素；然后，采用时间注意力机制增强积极影响因素对应的历史时序中关键信息的表达；最后，通过预测模型得出变压器油中溶解气体未来浓度值。

一种变压器油中溶解气体浓度预测模型建模方法，包括以下步骤：

步骤1、建立变量环境：

包括变压器油中溶解气体、运行状态和运行环境：H₂(μL/L)、CH₄(μL/L)、C₂H₆(μL/L)、C₂H₄(μL/L)、C₂H₂(μL/L)、CO(μL/L)、CO₂(μL/L)、总烃(μL/L)、负荷(MW)、油温(℃)、环境温度(℃)，其中，输入到预测模型的是各变量对应的时间序列信息，7种溶解气体为待预测变量；

步骤2、设定待预测气体的积极影响因素：

设任一种待预测气体y的浓度预测受到积极影响因素x₁、积极影响因素x₂、…、积极影响因素x_n-1的影响，其中：n为变量环境内总变量个数。

步骤3、对步骤2设定的待预测气体的积极影响因素进行验证：

步骤3.1：将待预测气体y的历史时序数据输入到LSTM网络，预测该气体的未来浓度值，并计算结果的均方根误差RMSE₁；

步骤3.2：将待预测气体y与积极影响因素x₁的历史时序数据输入到LSTM网络，预测该气体的未来浓度值，并计算预测结果的均方根误差RMSE₂；

步骤3.3：若RMSE₁＞RMSE₂，认为积极影响因素x₁对待预测气体y的浓度预测具有积极影响并提取积极影响因素x₁对应的时序信息，否则不提取；

步骤3.4：重复步骤3.1～步骤3.3，验证下一个影响因素，直至验证完所有影响因素。

步骤4、在已提取积极影响因素x₁对应的时序信息的基础上，构造融合时间注意力机制的LSTM预测模型，对7种变压器油中溶解气体浓度进行预测，将待预测气体y对应的时序信息和步骤3中提取的积极影响因素的时序信息，作为融合时间注意力机制的LSTM预测模型的输入，预测油中溶解气体的未来浓度值，预测模型建模完成。

所述步骤1中，变量环境的样本数据来自中国国家电网公司750kV电力变压器的油中溶解气体、运行状态和运行环境监测数据的历史数据，共计45组监测数据，前40组监测数据用于预测模型的训练，后5组监测数据用于训练完成的预测模型的测试；

对预测模型进行训练，当预测误差小于设定值后，得到训练完成的预测模型。

所述步骤3包括以下步骤：

步骤3.1、建立长短时记忆网络LSTM预测模型：

步骤3.1.1：在t时刻LSTM的输入为x_t，在t-1时刻的隐藏层状态为h_t-1，h_t-1也是上一时刻的输出，选择性遗忘信息由激活函数确定，计算步骤：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中：f_t是遗忘门计算结果，W_f是遗忘门的权重，[h_t-1，x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，W_fx为当前输入项x_t的权重，W_fh为上一时刻隐藏层状态h_t-1的权重，σ是sigmoid激活函数。在t时刻的输入x_t的维度是d_x，隐藏层状态h_t-1的维度是d_h，单元状态的维度是d_c，通常d_c＝d_h，则遗忘门的权重矩阵W_f维度是d_c×(d_h+d_x)。步骤3.1.2：把LSTM关于当前的记忆c′_t和长期的记忆c_t-1组合在一起，形成了新的单元状态c_t，由于遗忘门的控制，它可以有选择的保存历史信息，由于输入门的控制，能够避免当前不重要的内容进入记忆，计算过程如下：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

c′_t＝tanh(W_c·[h_t-1，x_t]+b_c)

其中：i_t是输入门计算结果，c′_t是当前时刻输入单元状态，W_i是输入门的权重，W_c是输入单元状态权重，b_i是输入门的偏置项，b_c是输入单元状态的偏置项，tanh(·)为双曲正切激活函数，

表示矩阵按元素相乘规则运算。

步骤3.1.3：LSTM最终的输出结果h_t是由输出门状态o_t和单元状态c_t共同决定：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

其中：o_t是输出门计算结果，W_o是输出门权重，b_o是输出门偏置，tanh(c_t)是将单元状态c_t映射在-1和1之间。

步骤3.2、验证并提取积极影响因素：

步骤3.2.1：使用待预测气体y对应的历史时序值y₁，y₂，…，y_T，输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y′_T+1，计算预测结果的均方根误差RMSE₁，计算方法如下：

y′_T+1＝F_LSTM(y₁，y₂，…，y_T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y′_i是气体浓度预测值，n为预测值个数。

步骤3.2.2：使用待预测气体y的历史时序值y₁，y₂，…，y_T和积极影响因素x₁的历史时序值x₁₁，x₁₂，…，x_1T，输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y″_T+1，计算预测结果的均方根误差RMSE₂，计算方法如下：

y″_T+1＝F_LSTM(y₁，y₂，…，y_T，x₁₁，x₁₂，…，x_1T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y″_i是气体浓度预测值，n为预测值个数。

步骤3.2.3：通过比较步骤3.2.1和步骤3.2.2中的预测误差，来判断影响因素x₁是否对气体浓度序列y的预测真正具有积极影响，若：

RMSE₁＞RMSE₂

则假设成立，认为x₁是y的积极影响因素并提取，否则不提取，重复以上步骤检验下一个影响因素直至全部设定影响因素检验完成。

所述步骤4中，在已提取出积极影响因素对应的时序信息的基础上，建立融合时间注意力机制的LSTM预测模型，该模型首先采用两层LSTM分别实现模型的编码阶段和解码阶段；然后，在编码器和解码器中间增加注意力层，分析编码器的隐藏层状态h_k并分配权重得到中间向量c_t；其次，由第一个单层前馈网络将c_t与目标序列y_t融合，结合解码器的前一时刻隐藏层状态d_t-1得到下一时刻隐藏层状态d_t，循环迭代计算，最终时刻d_T；最后，由第二个单层前馈网络将最终时刻c_T和d_T融合得到目标序列的预测值，预测模型建模完成。

所述步骤4包括以下步骤：

步骤4.1：以待预测气体浓度序列y的所有积极影响因素x¹，x²，…，x^m在k时刻的测量值组成的向量

作为LSTM编码器的输入，并参考上一时刻LSTM编码器隐层状态信息h_k-1共同建立时序模型，对k时刻所有积极影响因素的时序信息进行融合，得到LSTM编码器隐层状态输出h_k，计算方法如下：

h_k＝f_LSTM(h_k-1，x_k)

其中：f_LSTM是长短期记忆网络模型的简写。

步骤4.2：为了挖掘出影响因素的各时刻时序信息对待预测气体在t时刻预测值y_t的影响，以步骤4.1中LSTM编码器输出的隐层状态h_k作为时序注意力机制的输入，并参照LSTM解码器前一时刻的隐层状态d_t-1和单元状态s_t-1蕴含的历史时序信息，得到全部影响因素在k时刻的时序信息对LSTM解码器当前迭代时刻t的注意力权重

计算方法如下：

其中：V_e、W_e和U_e为时间注意力机制网络多层感知机的权重系数矩阵，

为V_e矩阵的转置。

步骤4.3：通过softmax函数，对注意力权重进行归一化处理，得到全部影响因素在k时刻的时序信息对t时刻预测值y_t的重要程度

计算方法如下：

其中：

表示第j个注意力权重，j＝1，…，T，T表示LSTM编码器隐藏单元数量，softmax(·)表示归一化指数函数。

步骤4.4：为综合考虑影响因素所有时序信息，将时序权值

与LSTM编码器隐层状态h_k加权求和，得到中间向量c_t，计算方法如下：

步骤4.5：将待预测气体在t时刻实际值y_t与中间向量c_t经单层前馈网络进行融合，得到LSTM解码器t时刻的输入，计算方法如下：

y′_t＝w′[y_t，c_t]+b′

其中：w′和b′是单层前馈网络的权重和偏置参数。

步骤4.6：将y′_t输入LSTM解码器中对所有历史时刻信息进行迭代更新t时刻LSTM解码器隐层状态d_t，将最终时刻隐层状态d_T与注意力机制输出的中间向量c_T由单层前馈网络进行融合和维度变换，得到待预测气体在下一时刻的预测值，预测模型建立完成。计算过程如下：

d_t＝f_LSTM(d_t-1，y′_t)

其中：d_t-1表示LSTM解码器在t-1时刻的隐藏层状态，y′_t表示t时刻LSTM解码器输入状态，W_T和b_T分别为单层前馈网络融合时的权重和偏置，V_y和b_y为进行前馈网络维度变换时的权重和偏置。

一种变压器油中溶解气体浓度预测模型建模方法，通过对变压器运行状态指标和历史数据的分析，

首先，建立一个包含变压器油中溶解气体、运行状态和运行环境的变量环境，变量环境包括H₂(μL/L)、CH₄(μL/L)、C₂H₆(μL/L)、C₂H₄(μL/L)、C₂H₂(μL/L)、CO(μL/L)、CO₂(μL/L)、总烃(μL/L)、负荷(MW)、油温(℃)、环境温度(℃)，这些变量对应的样本数据为变压器油色谱在线监测数据；

然后，引用LSTM预测模型，提取出待预测气体变量的积极影响因素，

接着，建立融合时间注意力机制的长短时记忆网络预测模型；

最后，使用已提取的积极影响因素对应的时序数据，来训练并测试该模型。

本发明一种变压器油中溶解气体浓度预测模型建模方法，技术效果如下：

1)可以从模型中假设的可能对变压器油中溶解气体预测具有重要影响的积极影响因素中筛选出真正的影响因素，同时能增强这些重要变量历史时序数据中关键信息的表达，得到一种面向变压器油中溶解气体浓度准确预测的有效方法。

2)该方法首先从建立的变量环境中提取出待预测气体的积极影响因素，增强这些重要因素历史时序关键信息的表达并作为预测模型的输入，提高模型的预测效率和准确性。

3)通过本发明方法，可以根据已采集的变压器历史运行状态数据，解决基于传统关联性分析方法的变压器油中溶解气体浓度预测方法精度不高和主观性强的问题，为电力变压器状态评估和剩余寿命预测提供一定的支持和帮助。

附图说明

图1(a)为本发明方法与传统方法H₂浓度预测结果对比图。

图1(b)为本发明方法与传统方法CH₄浓度预测结果对比图。

图1(c)为本发明方法与传统方法C₂H₆浓度预测结果对比图。

图1(d)为本发明方法与传统方法C₂H₂浓度预测结果对比图。

图1(e)为本发明方法与传统方法C₂H₄浓度预测结果对比图。

图1(f)为本发明方法与传统方法CO浓度预测结果对比图。

图1(g)为本发明方法与传统方法CO₂浓度预测结果对比图。

图2为本发明方法与传统方法预测误差对比图。

图3为本发明预测模型建模方法流程图。

具体实施方式

一种变压器油中溶解气体浓度预测模型建模方法，

步骤1、建立变量环境：包括以下步骤：

变压器油中溶解气体预测是一个多变量、多输入、单输出的时间序列数据分析问题，针对传统预测方法中使用的关联性分析方法对各变量间相互影响分析不全面解释不清楚的问题，分别分析各种气体变量的发生机理，设定出各气体变量在设备日常运行过程中可能受到哪些其他因素的影响。

首先，建立一个变量环境，为筛选重要变量提供分析平台，根据当前变压器油中溶解气体浓度预测研究现状，结合油中溶解气体产生机理，本发明选择了变压器油中溶解气体，以及可能影响这些气体产生的运行状态变量和环境变量，共包括11个原始变量：H₂、CH₄、C₂H₆、C₂H₄、C₂H₂、CO、CO₂、总烃、负荷、油温、环境温度，这些原始变量对应样本数据为中国国家电网公司750kV电力变压器油色谱在线监测数据，2012年1月9日～2012年7月3日共计45组监测数据作为本发明一种变压器油中溶解气体浓度预测模型的训练数据集和测试数据集，样本采样间隔为3天，在已建立了变量环境平台下，方可对环境内各原始变量进行分析和筛选，令待预测气体浓度序列为y，其余变量时序数据为x₁，x₂，…，x₁₀。

步骤2、假设待预测气体的积极影响因素：

假设变量环境中H₂、CH₄、C₂H₆、C₂H₄、C₂H₂、CO、CO₂这7种油中溶解气体浓度在变压器日常运行过程中相互影响，并受到油中总烃含量、变压器负荷、油温、环境温度影响。即：变量环境中所有原始指标均对7种待预测溶解气体之间具有积极影响，等待进一步对待预测气体变量的积极影响因素进行验证和提取。

步骤3、验证假设，用于对步骤2中的设定进行验证，找出真正对待预测气体具有积极影响的重要因素，包括以下步骤：

步骤3.1：建立长短时记忆网络(LSTM)预测模型；

步骤3.1包括以下步骤：

步骤3.1.1：在t时刻LSTM的输入为x_t，在t-1时刻的隐藏层状态为h_t-1，h_t-1也是上一时刻的输出，选择性遗忘信息由激活函数确定，计算步：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中f_t是遗忘门计算结果，W_f是遗忘门的权重，[h_t-1，x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，W_fx为当前输入项x_t的权重，W_fh为上一时刻隐藏层状态h_t-1的权重，σ是sigmoid激活函数。在t时刻的输入x_t的维度是d_x，隐藏层状态h_t-1的维度是d_h，单元状态的维度是d_c，通常d_c＝d_h，则遗忘门的权重矩阵W_f维度是d_c×(d_h+d_x)。

步骤3.1.2：把LSTM关于当前的记忆c′_t和长期的记忆c_t-1组合在一起，形成了新的单元状态c_t，由于遗忘门的控制，它可以有选择的保存历史信息，由于输入门的控制，它可以避免当前不重要的内容进入记忆，计算过程如下：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

c′_t＝tanh(W_c·[h_t-1，x_t]+b_c)

其中：i_t是输入门计算结果，c′_t是当前时刻输入单元状态，W_i是输入门的权重，W_c是输入单元状态权重，b_i是输入门的偏置项，b_c是输入单元状态的偏置项，tanh(·)为双曲正切激活函数。

步骤3.1.3：LSTM最终的输出结果h_t是由输出门状态o_t和单元状态c_t共同决定：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

其中：o_t是输出门计算结果，W_o是输出门权重，b_o是输出门偏置，tanh(c_t)是将单元状态c_t映射在-1和1之间。

步骤3.2：验证并提取积极影响因素；

步骤3.2包括以下步骤：

步骤3.2.1：使用待预测气体浓度序列y的历史时序数据y₁，y₂，…，y_T输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y′_T+1，计算预测结果的均方根误差RMSE₁，计算方法如下：

y′_T+1＝F_LSTM(y₁，y₂，…，y_T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y′_i是气体浓度预测值，n为预测值个数。

步骤3.2.2：使用待预测气体浓度序列y的历史时序数据y₁，y₂，…，y_T和积极影响因素x₁的历史时序数据x₁₁，x₁₂，…，x_1T输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y″_T+1，计算预测结果的均方根误差RMSE₂，计算方法如下：

y″_T+1＝F_LSTM(y₁，y₂，…，y_T，x₁₁，x₁₂，…，x_1T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y″_i是气体浓度预测值，n为预测值个数。

步骤3.2.3：通过比较步骤3.2.1和步骤3.2.2中的预测误差来判断影响因素x₁是否对气体浓度序列y的预测真正具有积极影响，若：

RMSE₁＞RMSE₂

则假设成立，认为x₁是y的积极影响因素并提取，否则不提取，重复以上步骤检验下一个影响因素直至全部假设影响因素检验完成。

步骤4、在已提取出重要变量的基础上，建立融合时间注意力机制的LSTM预测模型，该模型首先采用两层LSTM分别实现模型的编码阶段和解码阶段。然后在编码器和解码器中间增加注意力层，分析编码器的隐藏层状态h_k并分配权重得到中间向量c_t。其次，由第一个单层前馈网络将c_t与目标序列y_t融合，结合解码器的前一时刻隐藏层状态d_t-1得到下一时刻隐藏层状态d_t，循环迭代计算最终时刻d_T。最后由第二个单层前馈网络将最终时刻c_T和d_T融合得到目标序列的预测值，预测模型建模完成。具体步骤如下：

步骤4.1：以待预测气体浓度序列y的所有积极影响因素x¹，x²，…，x^m在k时刻的测量值组成的向专

作为LSTM编码器的输入，并参考上一时刻LSTM编码器隐层状态信息h_k-1共同建立时序模型，对k时刻所有积极影响因素的时序信息进行融合，得到LSTM编码器隐层状态输出h_k，计算方法如下：

h_k＝f_LSTM(h_k-1，x_k)

其中：f_LSTM是长短期记忆网络模型的简写。

步骤4.2：为了挖掘出影响因素的各时刻时序信息对待预测气体在t时刻预测值y_t的影响，以步骤4.1中LSTM编码器输出的隐层状态h_k作为时序注意力机制的输入，并参照LSTM解码器前一时刻的隐层状态d_t-1和单元状态s_t-1蕴含的历史时序信息，得到全部影响因素在k时刻的时序信息对LSTM解码器当前迭代时刻t的注意力权重

计算方法如下：

其中：V_e、W_e和U_e为时序注意力机制网络的多层感知机权重系数矩阵，

表示V_e矩阵的转置。

步骤4.3：通过softmax函数对注意力权重进行归一化处理，得到全部影响因素在k时刻的时序信息对t时刻预测值y_t的重要程度，计算方法如下：

其中：

表示第j个注意力权重，j＝1，…，T，T表示LSTM编码器隐藏单元数量，softmax(·)表示归一化指数函数。

步骤4.4：为综合考虑影响因素所有时序信息，将时序权值

与LSTM编码器隐层状态h_k加权求和得到中间向量c_t，计算方法如下：

步骤4.4：将待预测气体在t时刻实际值y_t与中间向量c_t经单层前馈网络进行融合，得到LSTM解码器t时刻的输入，计算方法如下：

y′_t＝w′[y_t，c_t]+b′

其中：w′和b′是单层前馈网络的权重和偏置参数。

步骤4.5：将y′_t输入LSTM解码器中对所有历史时刻信息进行迭代更新t时刻LSTM解码器隐层状态d_t，将最终时刻隐层状态d_T与注意力机制输出的中间向量c_T由单层前馈网络进行融合和维度变换，得到待预测气体在下一时刻的预测值，计算过程如下：

d_t＝f_LSTM(d_t-1，y′_t)

其中：d_t-1表示LSTM解码器在t-1时刻的隐藏层状态，y′_t表示t时刻LSTM解码器输入状态，W_T和b_T分别为单层前馈网络融合时的权重和偏置，V_y和b_y为进行前馈网络维度变换时的权重和偏置。

步骤4功能在于：在已经筛选出重要变量的条件下，现需要将注意力机制引用到LSTM时序建模中，构造融合时间注意力机制的LSTM预测模型，增强历史时序中关键信息的表达，提高预测模型在长期预测中的稳定性和准确性。

步骤5、基于步骤1-4得到的一种变压器油中溶解气体浓度预测模型，用步骤1中油色谱在线监测数据前40组历史数据对预测模型进行训练，当预测误差小于设定值后，得到训练完成的预测模型，后5组数据用于预测模型的测试，然后气体浓度进行预测。该发明中的预测模型能准确的预测出结果并为电力变压器状态评估和寿命预测提供很大的帮助。验证案例：

实验数据采用步骤1中所述中国国家电网公司750kV电力变压器，设备型号为BKD-120000/800，从2012年1月9日～2012年7月3日每隔三天采样一次，采样变量包括：H₂(μL/L)、CH₄(μL/L)、C₂H₆(μL/L)、C₂H₂(μL/L)、C₂H₄(μL/L)、CO(μL/L)、CO₂(μL/L)、总烃(μL/L)、负荷(MW)、油温(℃)、环境温度(℃)。积极影响因素提取结果(以H₂为例)如表格1所示。

表1对H₂预测具有积极影响的重要因素提取结果

从表格1可得，将H₂和CO对应的时序信息、H₂和总烃对应的时序信息分别输入LSTM模型对H₂浓度的预测误差小于单独输入H₂的时序信息时的预测误差，这表明通过本发明方法提取对H₂的浓度预测具有积极影响的因素包括CO和总烃，而其余变量对H₂的浓度预测没有积极影响作用，与传统预测方法相比，该发明方法将预测模型的输入维度从11维降到3维，降低模型中参数个数，提高模型运算速度和预测效率。

表2为7种待预测气体的重要变量提取结果，第一列为待预测气体变量，Y代表是积极影响因素，N代表不是积极影响因素。

表2待预测气体变量的积极影响因素提取结果

从表2可得，C₂H₂的积极影响因素最多，包括CH₄、C₂H₆、C₂H₄、CO₂、总烃、油温、负荷、环境温度，C₂H₄的积极影响因素最少，油温和环境温度是C₂H₆、C₂H₂、CO和CO₂等多个变量的积极影响因素，这与电力变压器实际运行过程中当油温过高时绝缘油会裂解产生不同成分的气体相符合。

结合以上重要变量提取结果，将待预测气体浓度序列和它的积极影响因素对应的时序信息一起输入到融合时间注意力机制的LSTM，并预测未来气体浓度值，图1(a)～图1(g)为7种油中溶解气体浓度预测结果，红色线段表示原始数据，绿色线段表示没有经过积极影响因素提取的模型预测结果，蓝色线段表示经过积极影响因素提取的模型预测结果。

从图1(a)～图1(g)可得，本发明方法预测结果与真实值的拟合度高于传统预测方法，传统预测方法出现大幅度偏差情况较多，而本发明所提方法与之相比更加稳定，准确性更高。

每一种变压器油中溶解气体浓度预测误差及不同方法的比较结果如图2所示。根据有积极影响因素提取的模型预测结果与无积极影响因素提取的模型预测结果对比情况可得，验证了本发明一种变压器油中溶解气体浓度预测模型建模方法可以准确提取出对待预测气体变量的预测具有积极影响的重要因素，排除冗余因素，减小预测模型输入维度，在传统LSTM预测模型的基础上有效地提高了变压器油中溶解气体浓度预测的准确性。

Claims (7)

1.一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：首先，从建立的变量环境中找出溶解气体浓度预测的积极影响因素；然后，采用时间注意力机制增强积极影响因素对应的历史时序中关键信息的表达；最后，通过预测模型得出变压器油中溶解气体未来浓度值。

2.一种变压器油中溶解气体浓度预测模型建模方法，其特征在于包括以下步骤：

步骤1、建立变量环境：

包括变压器油中溶解气体、运行状态和运行环境：H₂(μL/L)、CH₄(μL/L)、C₂H₆(μL/L)、C₂H₄(μL/L)、C₂H₂(μL/L)、CO(μL/L)、CO₂(μL/L)、总烃(μL/L)、负荷(MW)、油温(℃)、环境温度(℃)，其中，输入到预测模型的是各变量对应的时间序列信息；

步骤2、设定待预测气体的积极影响因素：

设任一种待预测气体y的浓度预测受到积极影响因素x₁、积极影响因素x₂、...、积极影响因素x_n-1的影响，其中：n为变量环境内总变量个数；

步骤3、对步骤2设定的待预测气体的积极影响因素进行验证：

步骤3.1：将待预测气体y的历史时序数据输入到LSTM网络，预测该气体的未来浓度值，并计算结果的均方根误差RMSE₁；

步骤3.2：将待预测气体y与积极影响因素x₁的历史时序数据输入到LSTM网络，预测该气体的未来浓度值，并计算预测结果的均方根误差RMSE₂；

步骤3.3：若RMSE₁＞RMSE₂，认为积极影响因素x₁对待预测气体y的浓度预测具有积极影响并提取积极影响因素x₁对应的时序信息，否则不提取；

步骤3.4：重复步骤3.1～步骤3.3，验证下一个影响因素，直至验证完所有影响因素；

步骤4、在已提取积极影响因素x₁对应的时序信息的基础上，构造融合时间注意力机制的LSTM预测模型，对7种变压器油中溶解气体浓度进行预测，将待预测气体y对应的时序信息和步骤3中提取的积极影响因素的时序信息，作为融合时间注意力机制的LSTM预测模型的输入，预测油中溶解气体的未来浓度值，预测模型建模完成。

3.根据权利要求2所述一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：所述步骤1中，变量环境的样本数据来自中国国家电网公司750kV电力变压器的油中溶解气体、运行状态和运行环境监测数据的历史数据，共计45组监测数据，前40组监测数据用于预测模型的训练，后5组监测数据用于训练完成的预测模型的测试；

对预测模型进行训练，当预测误差小于设定值后，得到训练完成的预测模型。

4.根据权利要求2所述一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：所述步骤3包括以下步骤：

步骤3.1、建立长短时记忆网络LSTM预测模型：

步骤3.1.1：在t时刻LSTM的输入为x_t，在t-1时刻的隐藏层状态为h_t-1，h_t-1也是上一时刻的输出，选择性遗忘信息由激活函数确定，计算步骤：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中：f_t是遗忘门计算结果，W_f是遗忘门的权重，[h_t-1，x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，W_fx为当前输入项x_t的权重，W_fh为上一时刻隐藏层状态h_t-1的权重，σ是sigmoid激活函数；在t时刻的输入x_t的维度是d_x，隐藏层状态h_t-1的维度是d_h，单元状态的维度是d_c，通常d_c＝d_h，则遗忘门的权重矩阵W_f维度是d_c×(d_h+d_x)；

步骤3.1.2：把LSTM关于当前的记忆c′_t和长期的记忆c_t-1组合在一起，形成了新的单元状态c_t，计算过程如下：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

c′_t＝tanh(W_c·[h_t-1，x_t]+b_c)

其中：i_t是输入门计算结果，c′_t是当前时刻输入单元状态，W_i是输入门的权重，W_c是输入单元状态权重，b_i是输入门的偏置项，b_c是输入单元状态的偏置项，tanh(·)为双曲正切激活函数，

表示矩阵按元素相乘规则运算；

步骤3.1.3：LSTM最终的输出结果h_t是由输出门状态o_t和单元状态c_t共同决定：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

其中：o_t是输出门计算结果，W_o是输出门权重，b_o是输出门偏置，tanh(c_t)是将单元状态c_t映射在-1和1之间；

步骤3.2、验证并提取积极影响因素：

步骤3.2.1：使用待预测气体y对应的历史时序值y₁，y₂，…，y_T，输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y′_T+1，计算预测结果的均方根误差RMSE₁，计算方法如下：

y′_T+1＝F_LSTM(y₁，y₂，…，y_T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y′_i是气体浓度预测值，n为预测值个数；

步骤3.2.2：使用待预测气体y的历史时序值y₁，y₂，…，y_T和积极影响因素x₁的历史时序值x₁₁，x₁₂，…，x_1T，输入到步骤3.1中所建立的LSTM预测模型，得到待预测气体未来浓度值y″_T+1，计算预测结果的均方根误差RMSE₂，计算方法如下：

y″_T+1＝F_LSTM(y₁，y₂，…，y_T，x₁₁，x₁₂，…，x_1T)

其中：F_LSTM是LSTM预测模型的简写，y_i是气体浓度测量值，y″_i是气体浓度预测值，n为预测值个数；

步骤3.2.3：通过比较步骤3.2.1和步骤3.2.2中的预测误差，来判断影响因素x₁是否对气体浓度序列y的预测真正具有积极影响，若：

RMSE₁＞RMSE₂

则假设成立，认为x₁是y的积极影响因素并提取，否则不提取，重复以上步骤检验下一个影响因素直至全部设定影响因素检验完成。

5.根据权利要求2所述一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：所述步骤4中，在已提取出积极影响因素对应的时序信息的基础上，建立融合时间注意力机制的LSTM预测模型，该模型首先采用两层LSTM分别实现模型的编码阶段和解码阶段；然后，在编码器和解码器中间增加注意力层，分析编码器的隐藏层状态h_k并分配权重得到中间向量c_t；其次，由第一个单层前馈网络将c_t与目标序列y_t融合，结合解码器的前一时刻隐藏层状态d_t-1得到下一时刻隐藏层状态d_t，循环迭代计算，最终时刻d_T；最后，由第二个单层前馈网络将最终时刻c_T和d_T融合得到目标序列的预测值，预测模型建模完成。

6.根据权利要求2或5所述一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：所述步骤4包括以下步骤：

步骤4.1：以待预测气体浓度序列y的所有积极影响因素x¹，x²，…，x^m在k时刻的测量值组成的向量

作为LSTM编码器的输入，并参考上一时刻LSTM编码器隐层状态信息h_k-1共同建立时序模型，对k时刻所有积极影响因素的时序信息进行融合，得到LSTM编码器隐层状态输出h_k，计算方法如下：

h_k＝f_LSTM(h_k-1，x_k)

其中：f_LSTM是长短期记忆网络模型的简写；

步骤4.2：为了挖掘出影响因素的各时刻时序信息对待预测气体在t时刻预测值y_t的影响，以步骤4.1中LSTM编码器输出的隐层状态h_k作为时序注意力机制的输入，并参照LSTM解码器前一时刻的隐层状态d_t-1和单元状态s_t-1蕴含的历史时序信息，得到全部影响因素在k时刻的时序信息对LSTM解码器当前迭代时刻t的注意力权重

计算方法如下：

其中：V_e、W_e和U_e为时间注意力机制网络多层感知机的权重系数矩阵，

为V_e矩阵的转置；

步骤4.3：通过softmax函数，对注意力权重进行归一化处理，得到全部影响因素在k时刻的时序信息对t时刻预测值y_t的重要程度

计算方法如下：

其中：

表示第j个注意力权重，j＝1，...，T，T表示LSTM编码器隐藏单元数量，softmax(·)表示归一化指数函数；

步骤4.4：为综合考虑影响因素所有时序信息，将时序权值

与LSTM编码器隐层状态h_k加权求和，得到中间向量c_t，计算方法如下：

步骤4.5：将待预测气体在t时刻实际值y_t与中间向量c_t经单层前馈网络进行融合，得到LSTM解码器t时刻的输入，计算方法如下：

y′_t＝w′[y_t，c_t]+b′

其中：w′和b′是单层前馈网络的权重和偏置参数；

步骤4.6：将y′_t输入LSTM解码器中对所有历史时刻信息进行迭代更新t时刻LSTM解码器隐层状态d_t，将最终时刻隐层状态d_T与注意力机制输出的中间向量c_T由单层前馈网络进行融合和维度变换，得到待预测气体在下一时刻的预测值，预测模型建立完成；计算过程如下：

d_t＝f_LSTM(d_t-1，y′_t)

其中：d_t-1表示LSTM解码器在t-1时刻的隐藏层状态，y′_t表示t时刻LSTM解码器输入状态，W_T和b_T分别为单层前馈网络融合时的权重和偏置，V_y和b_y为进行前馈网络维度变换时的权重和偏置。

7.一种变压器油中溶解气体浓度预测模型建模方法，其特征在于：

首先，建立一个包含变压器油中溶解气体、运行状态和运行环境的变量环境，变量环境包括H₂(μL/L)、CH₄(μL/L)、C₂H₆(μL/L)、C₂H₄(μL/L)、C₂H₂(μL/L)、CO(μL/L)、CO₂(μL/L)、总烃(μL/L)、负荷(MW)、油温(℃)、环境温度(℃)，这些变量对应的样本数据为变压器油色谱在线监测数据；

然后，引用LSTM预测模型，提取出待预测气体变量的积极影响因素；

接着，建立融合时间注意力机制的长短时记忆网络预测模型；

最后，使用已提取的积极影响因素对应的时序数据，来训练并测试该模型。

Images