CN112598186A - 一种基于改进的lstm-mlp的小型发电机故障预测方法 - Google Patents

Abstract

本发明涉及一种基于改进的LSTM‑MLP的小型发电机故障预测方法，属于人工智能和机器学习技术领域。该方法包括基于改进的LSTM‑MLP与多层感知机两种模型，通过输入小型发电机组DTU模块所采集的数据进行预测的输入，在网络中改进的LSTM网络作为前置网络负责小型发电机组的状态预测，多层感知机作为后置网络负责小型发电机组故障分类并对整个系统的结果进行输出。本发明通过改进LSTM网络结构，通过在网络的门控结构中引入上个时序状态和本时序状态的协方差作为权重系数，进一步提高了LSTM网络预测的准确率，增加了小型发电机的可靠使用时间，并减少了发电机组运维所需要的人力成本。

Description

一种基于改进的LSTM-MLP的小型发电机故障预测方法

技术领域

本发明属于人工智能和机器学习技术领域，涉及一种基于改进的LSTM-MLP的小型发电机故障预测方法。

背景技术

故障预测是工业设备中非常关键的一环，近些年来，生产制造模式的创新、新兴技术的出现，“智能制造诊断评价”成为了工业中必不可少的系统之一。传统的故障诊断和预测技术大部分依靠专家系统或人工评定进行，小型发电机设备运维企业大多不能支付高额的专家咨询费用。设备故障诊断和预测性维护作为整个智能诊断系统中的一大内容，是制造业向着智能化、数字化方向转型升级中必须跨过的一道关口。通过引入人工智能前沿技术，设备的运行和维护工作可以做到智能化和提前化；物联网技术的加入，也给传感器采集设备信息带来了更多的便利；云数据平台的出现使得复杂的运算可以在远程云端进行从而补足了可移动设备本身算力不足的缺点。一套合理并优秀的故障预测与运行维护系统，可以减少设备维护的成本，并且大大提高设备的运行寿命。

LSTM长短期记忆人工神经网络作为RNN循环神经网络中的一种，在时间序列预测中有着优秀的表现。LSTM网络相比于RNN网络引入了3种门，分别为输入门、遗忘门和输出门，同时引入了隐藏状态和记忆细胞的概念。3种门控制了隐藏状态和记忆细胞的更新，解决了长期依赖问题的同时，也解决了梯度消失/梯度爆炸的问题。但是在传统的LSTM网络中，随着网络输入维度的增加，各维度之间的耦合度变得越来越低，从而导致预测的准确度降低。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进的LSTM-MLP的小型发电机故障预测方案，通过改进的LSTM网络和MLP网络进行发电机状态和故障预测的方法，避免了运行维护中的欠维护和过度维护的情况，同时也延长了小型发电机设备的工作寿命。

为达到上述目的，本发明提供如下技术方案：

一种基于改进的LSTM-MLP的小型发电机故障预测方法，如图1和图2所示，具体包括以下步骤：

S1：发电机数据传输单元(Data Transfer unit，DTU)模块采集数据；

S2：对采集的数据进行预处理，包括：对噪声较大的数据进行剔除，对噪声较小的数据进行缺失值填补，并将数据转换为便于处理的向量格式，最后将数据根据时间序列进行排序；

S3：输入步骤S2预处理后的数据，并通过改进的LSTM网络进行发电机状态的预测；

S4：将步骤S3预测得到的发电机状态数据通过MLP网络进行发电机的故障预测；

S5：输出故障的生成几率并发送至相应的设备。

进一步，步骤S1中，发电机DTU模块每隔60分钟采集一次数据，并输出CSV格式。

进一步，步骤S2中，对采集的数据进行预处理，具体包括：采集的数据为N×11的二维矩阵，数据标签分别为time,dtu_num,p_load,p_active,v_generatingline,v_generationphase,v_frequency,temperature_water,pressure_oil,rotating_speed,failure_code；分别代表数据采集时间、DTU模块编号、负载功率、总有功功率、发电线电压、发电相电压、发电频率、水温值、油温值、转速、错误代码，共十一个发电机参数；将dtu_num列删除并将time作为时间序列识别码。完成删除后，判断每条数据是否存在缺失值，判断完成后对存在缺失值的数据进行处理。

进一步，步骤S3中，LSTM网络训练的过程中，训练过程：①首先将除time列之外的所有数据做归一化处理；②查看数据缺失条目情况，若特征缺失占总条数的10％以下，则采用均值填充的方式对数据进行填充，若特征缺失占总条数的10％以上，则舍弃掉该特征值；③对处理后的数据输入LSTM网络进行训练，LSTM网络的模型如图4所示，并生成模型；④进行模型评估。

进一步，步骤S3中，改进的LSTM网络是通过在的LSTM网络的输入门、输出门、遗忘门三个门控结构中加入本状态和上个状态之间的协方差来加强每条特征各参数之间的关联，加强了每条特征各参数之间的关联，但同时也引入了更多的参数，导致运算更加复杂。为解决复杂度问题，通过引入Embedding嵌入层来加快运算速度，具体是引入Embedding嵌入层对相乘的矩阵做降维处理来减少迭代过程中的参数数量从而加快运算速度。

改进的LSTM网络结构具体为：网络的输入为上一个时刻的隐藏输入H_t-1、前后时序隐藏输入的协方差Cov(H_t-2,H_t-1)和本时刻的输入X_t、前后时序输入的协方差Cov(x,x_t-1)，网络中存在三个控制门，分别为遗忘门、输入门和输出门，通过LSTM网络的三个控制门进行记忆细胞的更新、本时刻的隐藏状态更新；其中三个门的激活函数均为sigmoid函数，记忆细胞C_t更新的激活函数为tanh函数，在改进的LSTM网络中，权重系数分类两部分，其中W代表一般权重，Cov(x)代表x矩阵各列之间的协方差，b代表偏差参数；则输入门I_t、遗忘门H_t、输出门O_t的计算公式分别为：

I_t＝σ(Cov(x,x_t-1)X_tW_xi+Cov(H_t-2,H_t-1)H_t-1W_hi+b_i)

F_t＝σ(Cov(x_t,x_t-1)X_tW_xf+Cov(H_t-2,H_t-1)H_t-1W_hf+b_f)

O_t＝σ(Cov(x_t,x_t-1)X_tW_xo+Cov(H_t-2,H_t-1)H_t-1W_ho+b_o)

记忆细胞C_t的更新计算公式为：

C_t＝F_t⊙C_t-1+I_t⊙tanh(X_tW_xc+H_t-1W_hc+b_c)

隐藏状态H_t的更新计算公式为：

H_t＝O_t⊙tanh(C_t)。

进一步，步骤S4中，MLP网络训练过程为：①对原始的状态数据进行缺少值均值补全；②将数据集中出现的failure_code作为数据的label进行训练；③对处理后的数据输入MLP网络进行训练，MLP网络的模型如图5所示；④进行交叉熵损失计算对模型进行评估。

进一步，步骤S4中，所述MLP网络包括输入层、隐藏全连接层和输出层，其中输出层使用softmax损失函数对故障进行分类。

MLP多层感知机也是人工神经网络的一种，作为一种搭建简单并且效率高的人工神经网络，常用于分类系统。在参数数量较少、训练集数量较大的情况下，可以快速得到表现优异的分类模型。

进一步，步骤S4中，在MLP网络中，网络的输入为X，拥有9个状态，隐藏层H和输出层O的计算公式如下，结果表示每种类别的可能性大小，通过可能性大小来判判断故障的输出。

H＝XW_h+b_h

O＝XW_hW_o+b_hW_o+b_o

进一步，在整个神经网络的搭建中，采集数据的条数为N，则在改进的LSTM网络中，网络的输入为[9,N]的发电机状态数据矩阵，输出为[9,N]的发电机状态数据矩阵，在Embedding嵌入层前，每个时序的参数大小为(36N+360)个；在MLP网络中，网络的输入为[[9,N],[1,N]]的发电机故障分类矩阵，输出为[6,N]的发电机各故障概率。

本发明的有益效果在于：本发明中所采用LSTM长短期记忆人工神经网络，是循环神经网络中的一种，其特点是可以解决循环神经网络中的长期依赖的问题，发电机的时序数据存在特征明显的长期依赖问题。在改进的LSTM网络中，引入了协方差的概念来应对发电机状态预测中各状态的强关联问题，提高了预测的准确性，同时加入了Embedding嵌入层解决了改进后由于系统参数变多导致训练速度变慢的问题，提高了网络的训练速度。

本发明中所采用的MLP多层感知机网络是一种简单的人工神经网络，用来对发电机的故障进行分类。多层感知机作为一种结构简单，训练快速的网络，在模型简单并且数据源丰富的情况下有着优秀的表现。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明中发电机故障预测方法的流程图；

图2为本发明中故障预测系统的整体结构示意图；

图3为本发明中LSTM网络结构的示意图；

图4为本发明中MLP网络结构的示意图

图5为本发明中结果接收数字终端显示内容的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图5，本实施例提供一种基于改进的LSTM-MLP的小型发电机故障预测方法，包括DTU数据采集模块、LSTM网络层、MLP网络层和结果接收数字终端。其中DTU数据采集模块是安装在小型发电机上的终端设备，用于采集本时刻的发电机的各种运行状态；LSTM网络层负责生成发电机状态预测模型并实时预测发电机状态；MLP网络层负责生成发电机故障分类模型并对发电机所在的状态进行故障预测；结果接收数字终端用来接收LSTM网络层预测的发电机状态结果和MLP网络层预测的发电机故障概率。

DTU数据采集模块是一种嵌入在小型发电机中的嵌入式设备。在小型发电机工作的过程中，DTU模块可以通过读取小型发电机上安装的各种传感器，来对小型发电机的工作状态进行收集。在本发明中，DTU模块每60分钟对数据进行一次收集，每条数据包含的数据有：time,dtu_num,p_load,p_active,v_generatingline,v_generationphase,v_frequency,temperature_water,pressure_oil,rotating_speed,failure_code。分别代表数据采集时间、DTU模块编号、负载功率、总有功功率、发电线电压、发电相电压、发电频率、水温值、油温值、转速、错误代码共十一个发电机参数，如表1所示。

表1 DTU模块采集的每条数据包含的信息

为了保证预测的准确性，在本发明中，使用了改进的LSTM网络对小型发电机的状态进行预测。在平台的选择上，选择了搭建效率高、可移植性高的MXNET平台。首先对数据进行预处理，如果出现数据缺失比较严重的条件，评估缺失程度，若缺失程度大于百分之10以上，则选择舍弃条件。完成条件选择后，按照时间顺序将数据进行排序并将其归一化。

在建立改进的LSTM网络模型的过程中，采用SGD的梯度下降方法，相比于传统的LSTM网络，增加了协方差的参数运算，并将协方差参数放入SGD运算模型中。模型引入batch批处理的方式，将大量数据分成多个批次进行训练，通过并行化的方式提高了内存的利用率，提高了数据量大情况下的学习速度。在引入batch批处理方式的过程中，也引入了batch_size批大小参数。

对参数batch_size批大小和超参数hidden_layers隐藏层数量、learning_rate学习率进行调整后，进行模型的学习。完成训练集的学习后，通过测试集对结果进行测试。

为了保证故障分类的高效性，在本发明中，使用了MLP网络对小型发电机的当前状态进行故障归类。同样使用MXNET平台进行网络模型的搭建，在模型中拥有输入层数量参数、隐藏层数量超参数、输出层数量参数。根据DTU模块采集的信息类别多少进行输入层数量选择，在本发明中输入数量为9；隐藏层数量和层数默认设置为2和15，在模型调参中可对这项超参数进行调整；输出层为小型发电机常见故障类别，这里设置为6。完成参数调整后，进行模型的学习。完成学习后，通过测试集对结果进行准确性测试。

接收结果数字终端可以是任何可以访问web界面的设备，在接收结果数字终端中，会显示发电机参数预测情况与发电机各种故障率情况。如图5所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于改进的LSTM-MLP的小型发电机故障预测方法，其特征在于，该方法具体包括以下步骤：

S1：发电机数据传输单元(Data Transfer unit，DTU)模块采集数据；

S2：对采集的数据进行预处理，包括：对噪声大的数据进行剔除，对噪声小的数据进行缺失值填补，并将数据转换向量格式，最后将数据根据时间序列进行排序；

S3：输入步骤S2预处理后的数据，并通过改进的LSTM网络进行发电机状态的预测；

S4：将步骤S3预测得到的发电机状态数据通过MLP网络进行发电机的故障预测；

S5：输出故障的生成几率并发送至相应的设备。

2.根据权利要求1所述的小型发电机故障预测方法，其特征在于，步骤S1中，发电机DTU模块每隔60分钟采集一次数据，并输出CSV格式。

3.根据权利要求1所述的小型发电机故障预测方法，其特征在于，步骤S2中，对采集的数据进行预处理，具体包括：采集的数据为N×11的二维矩阵，数据标签分别为time,dtu_num,p_load,p_active,v_generatingline,v_generationphase,v_frequency,temperature_water,pressure_oil,rotating_speed,failure_code；分别代表数据采集时间、DTU模块编号、负载功率、总有功功率、发电线电压、发电相电压、发电频率、水温值、油温值、转速、错误代码，共十一个发电机参数；将dtu_num列删除并将time作为时间序列识别码；完成删除后，判断每条数据是否存在缺失值，判断完成后对存在缺失值的数据进行处理。

4.根据权利要求1所述的小型发电机故障预测方法，其特征在于，步骤S3中，改进的LSTM网络是通过在的LSTM网络的输入门、输出门、遗忘门三个门控结构中加入本状态和上个状态之间的协方差来加强每条特征各参数之间的关联；并引入Embedding嵌入层对相乘的矩阵做降维处理。

5.根据权利要求4所述的小型发电机故障预测方法，其特征在于，步骤S3中，改进的LSTM网络结构具体为：网络的输入为上一个时刻的隐藏输入H_t-1、前后时序隐藏输入的协方差Cov(H_t-2,H_t-1)和本时刻的输入X_t、前后时序输入的协方差Cov(x,x_t-1)，网络中存在三个控制门，分别为遗忘门、输入门和输出门，通过LSTM网络的三个控制门进行记忆细胞的更新、本时刻的隐藏状态更新；其中三个门的激活函数均为sigmoid函数，记忆细胞C_t更新的激活函数为tanh函数，在改进的LSTM网络中，权重系数分类两部分，其中W代表一般权重，Cov(x)代表x矩阵各列之间的协方差，b代表偏差参数；则输入门I_t、遗忘门H_t、输出门O_t的计算公式分别为：

I_t＝σ(Cov(x,x_t-1)X_tW_xi+Cov(H_t-2,H_t-1)H_t-1W_hi+b_i)

F_t＝σ(Cov(x_t,x_t-1)X_tW_xf+Cov(H_t-2,H_t-1)H_t-1W_hf+b_f)

O_t＝σ(Cov(x_t,x_t-1)X_tW_xo+Cov(H_t-2,H_t-1)H_t-1W_ho+b_o)

记忆细胞C_t的更新计算公式为：

C_t＝F_t⊙C_t-1+I_t⊙tanh(X_tW_xc+H_t-1W_hc+b_c)

隐藏状态H_t的更新计算公式为：

H_t＝O_t⊙tanh(C_t)。

6.根据权利要求1所述的小型发电机故障预测方法，其特征在于，步骤S4中，所述MLP网络包括输入层、隐藏全连接层和输出层，其中输出层使用softmax损失函数对故障进行分类。

Images