CN114490596B - 一种基于机器学习与神经网络的变压器油色谱数据清洗的方法 - Google Patents

Abstract

本发明公开了一种变压器油色谱数据清洗的方法，通过神经网络机器学习的方法，对变压器油色谱在线数据进行清洗，包括以下步骤：S1.获取历史变压器油色谱在线监测数据和变压器油色谱离线监测数据，对其进行整合及预处理。S2.将预处理完成的数据进一步处理为训练集合。S3.提取出训练集合中的气体浓度数据输入LSTM神经网络进行训练，让神经网络找到能使在线监测数据转变为贴近离线监测数据的模型。S4.将待清洗的变压器油色谱在线监测数据输入训练好的模型，得到清洗后的数据。本发明能够通过神经网络机器学习清洗变压器油色谱在线监测数据，实现保证方法快键方便的同时确保准确率保持在较高水平。

Description

一种基于机器学习与神经网络的变压器油色谱数据清洗的 方法

技术领域

本发明属于在线监测技术领域，尤其涉及一种变压器油色谱数据清洗方法。

背景技术

变压器是一种复杂的装置，其在电厂、变电站等电力设施中具有十分重要的作用。由于结构复杂，长期耐受高电压和电动力，变压器很可能存在各种各样的隐患。变压器油色谱分析是一种重要的测试手段，能够通过分析变压器绝缘油中各种气体组分及其变化情况发现变压器内部存在的受潮、局部过热、低能放电等潜伏性故障。变压器油色谱分析目前主要有在线监测和离线检测两种方式。离线检测准确性高，然而需要进行繁琐的取样及化验，实时性也较差；在线监测取样方便，但是由于监测设备校准难度大，长期工作后测试数据往往不够准确，只能反映大致的趋势。因此，基于离线检测数据，利用数据处理技术把在线监测油色谱数据清洗为较为准确、可靠的数据对于油色谱在线监测数据的有效利用非常重要。

机器学习在寻找模式上具有独特的优势。它基于神经网络，获取知识并通过一系列算法建立模型，自动找到事物之间的联系。在模型训练完成后，机器可以对其获取的变压器油色谱数据在线监测数据进行清洗，使其更加符合实际情况，既保留了在线监测方便快捷的优点，又保证了数据的真实可靠。

发明内容

本发明专利目的在于提供一种变压器油色谱数据清洗的方法，通过神经网络机器学习的方法，对变压器油色谱在线数据进行清洗。

为了达到上述目的，本发明专利采用以下方式予以实现。

1.获取历史变压器油色谱在线监测数据和变压器油色谱离线监测数据，对其进行整合及预处理。

2.将预处理完成的数据进一步处理为训练集合。

3.提取出训练集合中的气体浓度数据输入LSTM神经网络进行训练，让神经网络找到能使在线监测数据转变为贴近离线监测数据的模型，由于离线监测数据较为准确，故可以使其进一步使其输出能够清洗变压器油色谱在线监测数据，使在线数据贴近真实状况的模型。

4.将待清洗的变压器油色谱在线监测数据输入训练好的模型，得到清洗后的数据。

本发明中所述的数据清洗，指的是将在线监测得到的相对不准确的数据，通过神经网络训练后的模型，转变为接近真实情况的有效数据。

本发明中所述的LSTM神经网络是神经网络的一种，是一种改良的循环神经网络。它按照误差的方向传播来进行多层级的向前反馈来训练模型，同时继承了循环神经网络使用梯度下降方法，即沿着某个函数下降最快的方向来不断修订参数，从而使模型估计值与真实值误差最小。在此基础上，LSTM神经网络还在每一个层级中加入单元状态来记录上一层级的信息，从而使神经网络能够记忆很长时期的数据。

本专利的积极效果是：

能够通过神经网络机器学习清洗变压器油色谱在线监测数据，实现保证方法快键方便的同时确保准确率保持在较高水平。

附图说明

图1为本专利一种基于机器学习与神经网络的变压器油色谱数据清洗的方法实施流程示意图；

图2为LSTM神经网络模型图；

图3为LSTM神经网络隐藏层结构；

图4为某变压器在甲烷线监测数据清洗曲线。

具体实施方法

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明专利目的在于提供一种变压器油色谱数据清洗的方法，通过神经网络机器学习的方法，对变压器油色谱在线数据进行清洗。

为了达到上述目的，本发明专利采用以下方式予以实现。

1.获取历史变压器油色谱在线监测数据和变压器油色谱离线监测数据，对其进行整合及预处理。

收集历史在线与离线监测数据，去除掉一些无关信息及错误信息，初步整合出训练所用的数据集。

2.将预处理完成的数据进一步处理为训练集合。

将数据集进行向量化，即把在线监测数据和离线监测数据整合为有序数对，以利于神经网络的读取，同时进一步去除掉一些不合理的数据。

3.将训练集合输入LSTM神经网络进行训练，使其输出能够清洗变压器油色谱在线监测数据的模型。

把处理好的训练集合，即包含有在线及离线油色谱数据的向量化数据输入神经网络进行训练，由于离线数据是比较接近真实情况的，让神经网络找到在线监测数据与离线监测数据间的关系，输出的模型能一定程度上把变压器油色谱在线监测数据清洗为比较符合真实状况的数据。

LSTM神经网络的训练采用的是反向传播算法。其主要包括三个步骤。一是向前计算每个神经元的输出值，二是反向计算每个神经元的误差值δ，三是根据误差项计算每个权重的梯度。即，先将输入的测试数据逐层向前计算，并计算出误差值，该误差值由输出层向输入层传播，逐层调整其权重。输入信号通过隐藏层的逐层计算后，产生输出结果。当输出结果与预期结果能很好地符合时，训练结束。若输出结果与预期结果相差不可接受，即进入反向计算过程。神经网络根据公式，对前一层的各参数(权重、系数等)进行求导，将误差平分到各层的各个单元，从而使神经网络的函数逐渐与真实函数接近。所有测试数据经过以上循环过程，得到的模型便能使计算结果最接近预期结果。训练好的模型即能对数据进行清洗。

由图2，一个完整的LSTM网络具有输入层、输出层及隐藏层。

由图3，LSTM隐藏层中实际存在两个状态，一个是长期存储状态c，一个是当前状态h。这两个状态由三个门，即三个函数控制。一个是遗忘门，它控制了有多少来自上一单元状态的信息保留进入本层单元状态；一个是输入门，它控制了有多少当前输入的信息进入本层单元状态；一个是输出门，它控制了本层单元状态有多少信息输出。长期状态可以存储之前很长一段层数的有价值的数据，当前状态则反映了当前输入与长期储存交互影响得到的结果。

根据图3，向前计算展开说明为：

上一单元状态c_t-1输入该隐藏层，上一层输出h_t-1输入该隐藏层。

记激活函数权重矩阵为W。

则遗忘门如下计算：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)(式1)。

方括号表示把两个向量相连接。

同理可得，输入门如下计算：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)(式2)。

当前输入的单元状态根据上一次输出和本次输入计算：

其中tanh为双曲正切函数，

于是当前时刻的单元状态c_t可以计算：

表示哈达玛积，也称矩阵的按元素乘法，即把两个结构相同的矩阵对应位置的元素相乘。

得到以上几个状态后，即可计算输出门：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)(式5)。

最后，该层的最终输出如下计算：

h_t＝o_tοtanh(c_t)(式6)。

式1至式6为LSTM神经网络向前计算的公式。

LSTM神经网络反向计算展开说明为：

设t时刻误差项δ_t为：

t-1时刻误差项为：

利用全导数公式及偏导数公式可得误差项向前传递到任意k时刻的公式：

将误差传导上一层的公式：

处理权重的梯度时，应先算出各个参量在t时刻的梯度，再相加，即：

偏置项的梯度也应相加，即：

最后是各个门关于输入x的权重梯度：

4.将待清洗的变压器油色谱在线监测数据输入训练好的模型，得到清洗后的数据。

模型训练完成后，此时把另一组需要清洗的数据输入模型，即可以得到清洗后的数据。

数据处理案例：

将某变压器历史数据输入LSTM神经网络后，训练后得到模型，再将同一变压器另外100天的在线监测数据输入神经网络，得到清洗后的数据，如图4。可以看到，经过数据清理后的数据与离线监测数据吻合得很好，也就意味着其与真实状况十分相符，该神经网络准确率很高。

本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。

另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。以上所述是本发明实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进、润饰也应视为本申请的保护范围。

Claims (1)

1.一种基于机器学习与神经网络的变压器油色谱数据清洗的方法，其特征在于：包括以下步骤：

S1.获取历史变压器油色谱在线监测数据和变压器油色谱离线监测数据，对其进行整合及预处理；

S2.收集历史在线与离线监测数据，去除掉一些无关信息及错误信息，初步整合出训练所用的数据集；

S2.将预处理完成的数据进一步处理为训练集合；

S4.将数据集进行向量化，即把在线监测数据和离线监测数据整合为有序数对，以利于神经网络的读取，同时进一步去除掉一些不合理的数据；

S5.将训练集合输入LSTM神经网络进行训练，使其输出能够清洗变压器油色谱在线监测数据的模型；

S6.把处理好的训练集合，即包含有在线及离线油色谱数据的向量化数据输入神经网络进行训练，由于离线数据是比较接近真实情况的，让神经网络找到在线监测数据与离线监测数据间的关系，输出的模型能把变压器油色谱在线监测数据清洗为比较符合真实状况的数据；

LSTM神经网络的训练采用的是反向传播算法，包括三个步骤：

一是向前计算每个神经元的输出值，

二是反向计算每个神经元的误差值δ，

三是根据误差项计算每个权重的梯度；

先将输入的测试数据逐层向前计算，并计算出误差值，该误差值由输出层向输入层传播，逐层调整其权重，输入信号通过隐藏层的逐层计算后，产生输出结果；当输出结果与预期结果能很好地符合时，训练结束，若输出结果与预期结果相差不可接受，即进入反向计算过程，神经网络根据公式，对前一层的各参数进行求导，将误差平分到各层的各个单元，从而使神经网络的函数逐渐与真实函数接近，所有测试数据经过以上循环过程，得到的模型便能使计算结果最接近预期结果，训练好的模型即能对数据进行清洗；

LSTM网络具有输入层、输出层及隐藏层；

LSTM隐藏层中实际存在两个状态，一个是长期存储状态c，一个是当前状态h；这两个状态由三个门，即三个函数控制，包括：

遗忘门，它控制了有多少来自上一单元状态的信息保留进入本层单元状态；

输入门，它控制了有多少当前输入的信息进入本层单元状态；

输出门，它控制了本层单元状态有多少信息输出；

长期状态可以存储之前很长一段层数的有价值的数据，当前状态则反映了当前输入与长期储存交互影响得到的结果；

其中，向前计算展开说明为：

上一单元状态c_t-1输入该隐藏层，上一层输出h_t-1输入该隐藏层；

记激活函数权重矩阵为W；

则遗忘门如下计算：

f_t＝σ(W_f·[h_t-1，x_t]+b_f) (式1)；

方括号表示把两个向量相连接；

同理可得，输入门如下计算：

i_t＝σ(W_i·[h_t-1，x_t]+b_i) (式2)

当前输入的单元状态根据上一次输出和本次输入计算：

其中tanh为双曲正切函数，

于是当前时刻的单元状态c_t可以计算：

表示哈达玛积，也称矩阵的按元素乘法，即把两个结构相同的矩阵对应位置的元素相乘；

得到以上几个状态后，即可计算输出门：

o_t＝σ(W_o·[h_t-1，x_t]+b_o) (式5)；

最后，该层的最终输出如下计算：

式1至式6为LSTM神经网络向前计算的公式；

LSTM神经网络反向计算展开说明为：

设t时刻误差项δ_t为：

t-1时刻误差项为：

利用全导数公式及偏导数公式可得误差项向前传递到任意k时刻的公式：

将误差传导上一层的公式：

处理权重的梯度时，应先算出各个参量在t时刻的梯度，再相加，即：

偏置项的梯度也应相加，即：

最后是各个门关于输入x的权重梯度：

将待清洗的变压器油色谱在线监测数据输入训练好的模型，得到清洗后的数据；模型训练完成后，此时把另一组需要清洗的数据输入模型，即可以得到清洗后的数据。