CN110737952A - 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法 - Google Patents

一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法 Download PDF

Info

Publication number
CN110737952A
CN110737952A CN201910877113.2A CN201910877113A CN110737952A CN 110737952 A CN110737952 A CN 110737952A CN 201910877113 A CN201910877113 A CN 201910877113A CN 110737952 A CN110737952 A CN 110737952A
Authority
CN
China
Prior art keywords
layer
representing
output
backward
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910877113.2A
Other languages
English (en)
Inventor
丁华
杨亮亮
陈思红
王义亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201910877113.2A priority Critical patent/CN110737952A/zh
Publication of CN110737952A publication Critical patent/CN110737952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于机械设备关键零部件使用寿命技术领域，公开了一种结合AE和bi‑LSTM的机械设备关键零部件剩余寿命预测方法，包括以下步骤：通过自编码机对输入数据进行特征提取；对特征提取后的数据进行划分，得到训练集和测试集；构建双向LSTM预测模型，所述双向LSTM预测模型中，LSTM网络隐藏层包括前向层和后向层，通过训练集数据和测试集数据进行训练，直至评价指标接近最优，保存双向LSTM预测模型及其参数；S5、将待预测数据输入双向LSTM预测模型中，输出预测寿命。本发明提高了预测结果，可以应用于机械零件寿命预测领域。

Description

一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测 方法
技术领域
本发明属于机械设备关键零部件使用寿命技术领域，具体涉及一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法。
背景技术
双长短时记忆神经网络(bi-directionallong short-term memory,bi-LSTM)被广泛应用于自然语言识别，文本分析等方面，但是很少用于机械设备关键零部件剩余寿命预测中。现有的用于机械设备关键零部件的特征提取方法有待改善，其剩余寿命预测方法的准确性有待进一步提升。现有的关于机械设备剩余寿命预测方法通过对历史数据的单向学习(依据时间序列，按照时间递进关系进行剩余寿命预测模型训练)，仅依据历史监测数据进行特征学习并预测将来的剩余寿命，并未考虑将来数据中的特征，导致预测结果存在片面性，预测准确率有待进一步提升。而且，对于多特征的数据，直接输入预测模型导致预测模型结构复杂，参数冗余，模型进行调参困难，最终导致模型的运算速度降低，其预测准确率也有待提升。
发明内容
针对现有机械设备关键零部件剩余寿命预测准确率低，其特征提取困难等问题，本发明提供了一种基于自编码器(autoencoder,AE)和bi-LSTM的机械设备关键零部件剩余寿命预测方法，以提高机械设备关键零部件剩余寿命预测的精度。
为了解决上述技术问题，本发明采用的技术方案为：一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，包括以下步骤：
S1、通过自编码机对输入数据进行特征提取；
S2、对特征提取后的数据进行划分，得到训练集和测试集；
S3、构建双向LSTM预测模型，通过训练集数据对双向LSTM预测模型进行训练，实现模型参数优化，然后确定训练次数、模型层数、模型具体结构以及每一层神经元的数目，并保存训练好的模型；
S4、将测试集数据输入到训练好的模型中，计算评价指标并判断是否接近最优，若是，则训练结束，若否，则调整双向LSTM预测模型的参数，返回步骤S3重新训练，直至评价指标接近最优，保存双向LSTM预测模型及其参数；
S5、将待预测数据输入步骤S4得到的双向LSTM预测模型中，输出预测寿命；
所述双向LSTM预测模型中，LSTM网络隐藏层包括前向层和后向层，每一项训练序列分别参加前向层和后向层的训练，前向层和后向层分别输出当前时刻的预测结果，输出层将前向层和后向层的预测结果进行综合分析，输出网络的最后预测结果。
所述步骤S1中，所述自编码机包括编码结构和解码结构，所述编码结构用于对输入层的信息进行编码，编码之后的特征通过隐藏层输出，所述解码结构用于对隐藏层的输出的特征进行解码，解码之后的结果通过输出层输出，自编码机通过对比网络输入数据和输出数据，以各自对应的差值作为目标函数，通过BP网络进行反向调参，完成自编码网络的优化。
所述双向LSTM预测模型中，后向层中神经元的计算公式为：
Figure BDA0002204656140000022
Figure BDA0002204656140000023
Figure BDA0002204656140000024
Figure BDA0002204656140000025
Figure BDA0002204656140000026
其中，
Figure BDA0002204656140000027
表示后向层中遗忘门在t时刻的输出，
Figure BDA0002204656140000028
表示后向层中遗忘门的运算系数，表示后向层中t+1时刻单元模块的输出，
Figure BDA00022046561400000210
为后向层中遗忘门的偏置参数，
Figure BDA00022046561400000211
表示后向层中输入门的更新层的值，表示后向层的输入门中更新层的权重，
Figure BDA00022046561400000213
表示后向层的输入门中更新层的偏置参数，
Figure BDA00022046561400000214
表示后向层中的输入门的状态层的新的候选向量，表示后向层中的输入门的状态层的值；
Figure BDA00022046561400000216
表示后向层的输出门中更新层的值，表示后向层的输出门中状态层的值。
所述双向LSTM预测模型中，前向层中各神经元的运算公式为：
Figure BDA00022046561400000218
Figure BDA00022046561400000219
Figure BDA00022046561400000220
Figure BDA00022046561400000221
Figure BDA00022046561400000222
Figure BDA00022046561400000223
其中，
Figure BDA0002204656140000031
表示前向层中遗忘门在t时刻的输出，σ表示sigmoid激活函数,
Figure BDA0002204656140000032
表示前向层中遗忘门的运算系数，
Figure BDA0002204656140000033
表示前向层中t-1时刻单元模块的输出，xt表示t时刻单元模块的输入，
Figure BDA0002204656140000034
表示前向层中遗忘门的偏置参数；
Figure BDA0002204656140000035
表示前向层中输入门的更新层的值，表示前向层的输入门中更新层的权重，
Figure BDA0002204656140000037
表示前向层的输入门中更新层的偏置参数，
Figure BDA0002204656140000038
表示前向层中的输入门的状态层的新的候选向量，表示前向层中的输入门的状态层的值；
Figure BDA00022046561400000310
表示前向层的输出门中更新层的值，
Figure BDA00022046561400000311
表示前向层的输出门中状态层的值。
前向层的输出
Figure BDA00022046561400000312
和后向层的输出
Figure BDA00022046561400000313
通过双向长短时记忆神经网络的回归层连接运算，得到输出
Figure BDA00022046561400000314
输出
Figure BDA00022046561400000315
的计算公式为：
Figure BDA00022046561400000316
所述步骤S3中的训练方法具体为：通过训练集数据对双向LSTM预测模型进行训练，判断预测模型的交叉熵值是否达到设定值，若是，则保存训练好的模型，若否，则采用随时间反向传播的算法进行反向调参，调整模型中前向层和后向层中的输入门、遗忘门和输出门的权重以及偏置，重复进行训练，直至交叉熵达到设定值，然后保存训练好的模型。
模型的交叉熵的计算公式为：
Figure BDA00022046561400000317
其中，N表示参加训练的数据量，ypi表示对第i个输入的预测值，yti表示第i个输入对应的实际值。
所述步骤S4中，将测试集数据输入到训练好的模型中，若评价指标未接近最优，则通过调整双向LSTM预测模型的训练次数，隐藏层神经元数目以及隐藏层的深度，然后返回步骤S3重新训练，直至各个评价指标接近最优。
所述评价指标包括均方根误差RMSE、拟合优度检验R2、平均绝对百分误差MAPE和分值函数score。
本发明与现有技术相比具有以下有益效果：
1、本发明通过AE对输入数据进行特征提取，实现数据的降维和特征提取，避免特征过多导致预测模型冗余复杂的现象；
2、本发明构建bi-LSTM剩余寿命预测模型，通过历史数据进行模型训练，利用bi-LSTM模型的双向特征学习，提高模型特征学习能力和预测能力；
3、本发明将AE提取的特征输入bi-LSTM预测模型中进行剩余寿命预测，提高剩余寿命预测精度，提高预测手段智能化。
附图说明
图1为本发明实施例提供的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法的流程图；
图2为本发明实施例中应用的自编码器的机构示意图；
图3为LSTM模型的结构框架示意图；
图4为本发明实施例构建的bi-LSTM双向长短时记忆神经网络的结构示意图；
图5为结合AE自编码后，bi-LSTM与其他几种对比模型的对比实验的预测效果对比图；(a)RNN；(b)bi-RNN；(c)LSTM；(d)bi-LSTM。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，包括以下步骤：
S1、通过自编码机对输入数据进行特征提取；
首先，为了避免噪音对数据分析结果的影响，对原始数据进行去噪；然后，将去噪后的数据输入AE模型中提取特征。
本实施例中，特征提取基于自编码机(auto-encoder,AE)实现，AE是一种自监督学习模型，在神经网络进行学习中，输入数据的特征与输出数据的特征维度一样，网络的编码结构和解码结构关于隐藏层对称。自编码机通过编码(encoder)结构对输入层的信息进行编码，隐藏层输出编码之后的特征，然后解码(decoder)结构对隐藏层的特征进行解码，输出层输出解码之后的结果。分别对比网络输入数据和输出数据，以各自对应的差值作为目标函数进行网络的反向调参和优化，具体结构如图2所示。隐藏层的值为编码器编码之后的结果，也是AE提取的特征。也就是说，自编码机包括编码结构和解码结构，所述编码结构用于对输入层的信息进行编码，编码之后的特征通过隐藏层输出，所述解码结构用于对隐藏层的输出的特征进行解码，解码之后的结果通过输出层输出，自编码机通过对比网络输入数据和输出数据，以各自对应的差值作为目标函数，通过BP网络进行反向调参，完成自编码网络的优化。
自编码器的输入数据为X＝(X1,X2,···,Xn)，自编码器的编码输出结果为H＝(h1,h2,···,hm),其解码输出为AE编码器运算为：
H＝fe(W*X+b)； (1)
其中，W表示编码器的权重，fe表示编码器的激活函数，b表示偏置。
解码层的输入为编码层的输出，即隐藏层的特征H，则AE解码器运算为：
Figure BDA0002204656140000052
其中，W′表示解码器的权重，fd表示解码器的激活函数，b′表示偏置。
该网络的损失函数设置为编码器的输入数据和输出数据的差值，通过BP网络进行反向调参，实现输出数据和输入数据的无限接近，完成网络的优化。
S2、对特征提取后的数据进行划分，得到训练集和测试集。训练集用于模型训练，测试集进行模型预测性能的测试。
S3、构建双向LSTM预测模型，通过训练集数据对双向LSTM预测模型进行训练，实现模型对数据特征的双向学习，通过测试集验证模型的有效性。
首先介绍下LSTM模型。为了避免因循环神经网络(recurrent neural network，RNN)深度过大引起梯度爆炸或消失现象，对其结构进行改进得到LSTM。通常LSTM单元模块由遗忘门(forget gate)，输入门(input gate)，输出门(output gate)组成，通过三个门的协同控制完成信息的丢弃和记忆，实现对梯度爆炸或梯度消失现象的抑制。其结构如图3所示。
遗忘门通过激活函数σ控制对上一单元的输出ht-1的遗忘程度，其中σ的变化范围为[0，1]。当σ＝0时表示彻底遗忘该信息，当σ＝1时表示完全保留该信息。遗忘门的计算公式为：
ft＝σ(Wf·[ht-1，xt]+bf)； (3)
其中，ft表示遗忘门的输出，σ为sigmoid激活函数，Wf表示遗忘门的运算系数，ht-1表示t-1时刻单元模块的输出，xt表示t时刻单元模块的输入，bf为对应的偏置参数。
输入门由sigmoid层和tanh层组成。sigmoid层为更新层，tanh层为状态层，更新层确定需要更新的值，由t-1时刻的输出ht-1和t时刻的输入xt决定，更新层的值it的计算公式为式(4)。tanh层产生新的候选向量其计算公式为式(5)所示。更新层在状态更新之后丢弃掉需要丢弃的信息，并将保留的信息与新产生的信息结合，更新细胞的状态，使细胞状态，即输入门的状态层的值，由t-1时刻的ct-1更新为t时刻的ct，如式(4)所示。
it＝σ(Wi·[ht-1，xt]+bi)； (4)
Figure BDA0002204656140000054
Figure BDA0002204656140000055
式中，it表示输入门的更新层的值，Wi表示更新层的权重，bi表示更新层的偏置，Wc表示产生新向量层的权重，bt表示状态层的偏置，
Figure BDA0002204656140000061
表示t时刻输入门的状态层产生的新的候选向量。
输出门也包含sigmoid更新层和tanh状态层。sigmoid层确定细胞将要输出状态的部分，输出门中更新层的值ot的计算公式式(7)所示。tanh状态层将细胞输出状态部分变为[-1，1]之间的值。两层运算结果相乘得到最后的输出结果，即输出门在t时刻的输出ht的值，其计算如式(8)所示。
ot＝σ(Wo·[ht-1，xt]+bo)； (7)
ht＝ot*tanh(ct)； (8)
σ表示sigmoid激活函数，Wo表示sigmoid层的权重，bo表示输出门的偏置。
上述LSTM仅仅考虑单向的信息流动，即信息从上一时刻向下一时刻传输，未能考虑未来信息。为了使模型学习的特征更加完整，提高模型预测准确率，在神经网络进行特征学习时，实现信息双向流动，完成模型对前向信息和后向信息的学习，本申请采用了双向长短时记忆神经网络模型(双向LSTM模型，即bi-LSTM模型)。
双向LSTM模型为LSTM的一种变异，即在LSTM网络隐藏层中添加一类后向层，使信息由后向前流动，学习未来数据的特征。通过前向层和后向层达到信息双向流动，实现网络对信息的双向学习。双向LSTM网络的前向层和后向层训练过程与LSTM模型前向层训练一样，其展开结构如图4所示。每一项训练序列分别参加前向层和后向层的训练，前向层和后向层分别输出当前时刻的预测结果，输出层将两类预测结果进行综合分析，输出网络的最后预测结果。在此过程中，前向层负责顺序训练，学习历史数据中的特征。后向层进行倒序训练，学习未来数据中的特征。
前向层中神经元的运算如式(9)所示：
其中，
Figure BDA0002204656140000071
表示前向层中遗忘门在t时刻的输出，σ表示sigmoid激活函数，
Figure BDA0002204656140000072
表示前向层中遗忘门的运算系数，
Figure BDA0002204656140000073
表示前向层中t-1时刻单元模块的输出，xt表示t时刻单元模块的输入，
Figure BDA0002204656140000074
表示前向层中遗忘门的偏置参数；
Figure BDA0002204656140000075
表示前向层中输入门的更新层的值，
Figure BDA0002204656140000076
表示前向层的输入门中更新层的权重，
Figure BDA0002204656140000077
表示前向层的输入门中更新层的偏置参数，
Figure BDA0002204656140000078
表示前向层中的输入门的状态层产生的新的候选向量，
Figure BDA0002204656140000079
表示前向层中输入门的状态层的偏置参数，表示前向层中的输入门的状态层的值；
Figure BDA00022046561400000711
表示前向层的输出门中更新层的值，表示前向层的输出门中更新层的偏置，
Figure BDA00022046561400000713
表示前向层的输出门的输出值。
后向层中神经元的运算如式(10)所示：
Figure BDA00022046561400000714
其中，
Figure BDA00022046561400000715
表示后向层中遗忘门在t时刻的输出，表示后向层中遗忘门的运算系数，
Figure BDA00022046561400000717
表示后向层中t+1时刻单元模块的输出，为后向层中遗忘门的偏置参数，表示后向层中输入门的更新层的值，表示后向层的输入门中更新层的权重，
Figure BDA00022046561400000721
表示后向层的输入门中更新层的偏置参数，
Figure BDA00022046561400000722
表示后向层中的输入门的状态层产生的新候选向量，
Figure BDA00022046561400000723
表示后向层中输入门的状态层的偏置参数，
Figure BDA00022046561400000724
表示后向层中的输入门的状态层的值；表示后向层的输出门中更新层的值，表示后向层的输出门中更新层的偏置，表示后向层的输出门的值。
最后，前向层的输出
Figure BDA00022046561400000728
和后向层的输出
Figure BDA00022046561400000729
通过双向长短时记忆神经网络的回归层连接运算，得到模型的输出
Figure BDA00022046561400000730
输出
Figure BDA00022046561400000731
的计算公式为：
Figure BDA00022046561400000732
步骤S3中，首先利用python语言实现bi-LSTM预测模型，然后用训练集进行双向LSTM模型的训练，使模型学习到不同阶段的特征，进行参数优化，调整模型的层数、模型的具体结构及神经元的数量，直至训练集中的预测值和实际值的均方误差达到最小，训练预测结果达到最优。确定训练次数、模型层数、模型具体结构以及每一层神经元的数目，保存模型。
步骤S3的训练方法具体为：通过训练集数据对双向LSTM预测模型进行训练，判断预测模型的交叉熵值是否达到设定值，若是，则保存训练好的模型，若否，则采用随时间反向传播的算法进行反向调参，调整模型中前向层和后向层中的输入门、遗忘门和输出门的权重以及偏置，重复进行训练，直至交叉熵达到设定值，然后保存训练好的模型。其中，交叉熵的计算公式为：
其中，N表示参加训练的数据量，ypi表示第i个输入的预测值，yti表示第i个输入对应的实际值。
S4、将测试集数据输入到训练好的模型中，计算评价指标并判断是否接近最优，若是，则说明模型参数优化达到要求；若否，则调整双向LSTM预测模型的参数，包括训练次数、隐藏层神经元数目、隐藏层深度、然后返回S3中的步骤，调整输入门、输出门和遗忘门的权重和偏置，重新训练，至预测值和实际值的均方误差达到最小后，再判断评价指标是否接近最优，若否，重新调整双向LSTM预测模型的参数，不断循环，直至评价指标接近最优，保存双向LSTM预测模型及其参数。
其中，评价指标可以包括方根误差RMSE、拟合优度检验R2、平均绝对百分误差MAPE和分值函数score，方根误差RMSE的表达式为：
Figure BDA0002204656140000082
预测分析中，RMSE越接近0，代表预测结果越精确。拟合优度检验R2的表达式为：
Figure BDA0002204656140000083
其中，
Figure BDA0002204656140000084
表示预测的均值，R2值越接近1，代表预测结果越好。平均绝对百分误差(MAPE)不仅仅考虑预测值与真实值之间的误差，其表达式为：
Figure BDA0002204656140000085
其中，yti表示第i组输入数据的寿命实际值，ypi表示第i组输入数据的寿命预测值。分值函数score的计算公式为：
Figure BDA0002204656140000091
其中，di＝ypi-yti，Score值越接近0，代表预测结果越精确。
本发明提供了一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，基于辛辛那提大学轴承全寿命周期退化实验数据，进行了对比实验，通过对比实验发现，本发明可以提高预测结果的精度。
首先对比了AE自编码对预测效果的影响，几种对比实验的模型预测指标值如表1所示。
表1 AE对比实验模型预测指标值
Figure BDA0002204656140000092
表1中“Direct”表示将数据直接输入预测模型中，“AE”表示将数据经过AE模型进行编码，将得到的编码特征作为预测模型的输入，其中选取的对比模型有RNN，bi-RNN，LSTM模型，表中黑色字体代表效果最好的值。对比值可知AE不仅可以有效提高预测模型的精度，还可以减少模型运算时间，提高运算效率。
然后进行结合AE自编码后，bi-LSTM与其他几种对比模型的对比实验，其预测效果见图5所示，预测指标值见表2所示。
表2 bi-LSTM模型对比实验预测指标值
由图5和表2对比可知，当同时结合AE时，bi-LSTM模型的预测效果最好，其预测性能最好。图5中虚线代表实际剩余寿命，实线代表预测剩余寿命趋势，黄色区域代表95％置信区间，底部阴影区代表预测的剩余寿命预测实际的剩余寿命差值的绝对值。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，包括以下步骤：
S1、通过自编码机对输入数据进行特征提取；
S2、对特征提取后的数据进行划分，得到训练集和测试集；
S3、构建双向LSTM预测模型，通过训练集数据对双向LSTM预测模型进行训练，实现模型参数优化，然后确定训练次数、模型层数、模型具体结构以及每一层神经元的数目，并保存训练好的模型；
S4、将测试集数据输入到训练好的模型中，计算评价指标并判断是否接近最优，若是，则训练结束，若否，则调整双向LSTM预测模型的参数，返回步骤S3重新训练，直至评价指标接近最优，保存双向LSTM预测模型及其参数；
S5、将待预测数据输入步骤S4得到的双向LSTM预测模型中，输出预测寿命；
所述双向LSTM预测模型中，LSTM网络隐藏层包括前向层和后向层，每一项训练序列分别参加前向层和后向层的训练，前向层和后向层分别输出当前时刻的预测结果，输出层将前向层和后向层的预测结果进行综合分析，输出网络的最后预测结果。
2.根据权利要求1所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述步骤S1中，所述自编码机包括编码结构和解码结构，所述编码结构用于对输入层的信息进行编码，编码之后的特征通过隐藏层输出，所述解码结构用于对隐藏层的输出的特征进行解码，解码之后的结果通过输出层输出，自编码机通过对比网络输入数据和输出数据，以各自对应的差值作为目标函数，通过BP网络进行反向调参，完成自编码网络的优化。
3.根据权利要求1所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述双向LSTM预测模型中，后向层中神经元的计算公式为：
Figure FDA0002204656130000011
Figure FDA0002204656130000012
Figure FDA0002204656130000013
Figure FDA0002204656130000014
Figure FDA0002204656130000016
其中，表示后向层中遗忘门在t时刻的输出，表示后向层中遗忘门的运算系数，表示后向层中t+1时刻单元模块的输出，
Figure FDA0002204656130000021
为后向层中遗忘门的偏置参数，
Figure FDA0002204656130000022
表示后向层中输入门的更新层的值，
Figure FDA0002204656130000023
表示后向层的输入门中更新层的权重，
Figure FDA0002204656130000024
表示后向层的输入门中更新层的偏置参数，
Figure FDA0002204656130000025
表示后向层中的输入门的状态层的新的候选向量，
Figure FDA0002204656130000026
表示后向层中的输入门的状态层的值；
Figure FDA0002204656130000027
表示后向层的输出门中更新层的值，
Figure FDA0002204656130000028
表示后向层的输出门中状态层的值。
4.根据权利要求3所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述双向LSTM预测模型中，前向层中各神经元的运算公式为：
Figure FDA00022046561300000211
Figure FDA00022046561300000212
Figure FDA00022046561300000213
Figure FDA00022046561300000214
其中，
Figure FDA00022046561300000215
表示前向层中遗忘门在t时刻的输出，σ表示sigmoid激活函数,
Figure FDA00022046561300000216
表示前向层中遗忘门的运算系数，
Figure FDA00022046561300000217
表示前向层中t-1时刻单元模块的输出，xt表示t时刻单元模块的输入，表示前向层中遗忘门的偏置参数；表示前向层中输入门的更新层的值，表示前向层的输入门中更新层的权重，
Figure FDA00022046561300000221
表示前向层的输入门中更新层的偏置参数，
Figure FDA00022046561300000222
表示前向层中的输入门的状态层的新的候选向量，
Figure FDA00022046561300000223
表示前向层中的输入门的状态层的值；
Figure FDA00022046561300000224
表示前向层的输出门中更新层的值，
Figure FDA00022046561300000225
表示前向层的输出门中状态层的值。
5.根据权利要求4所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，前向层的输出
Figure FDA00022046561300000226
和后向层的输出
Figure FDA00022046561300000227
通过双向长短时记忆神经网络的回归层连接运算，得到输出
Figure FDA00022046561300000228
输出
Figure FDA00022046561300000229
的计算公式为：
Figure FDA00022046561300000230
6.根据权利要求1所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述步骤S3中的训练方法具体为：通过训练集数据对双向LSTM预测模型进行训练，判断预测模型的交叉熵值是否达到设定值，若是，则保存训练好的模型，若否，则采用随时间反向传播的算法进行反向调参，调整模型中前向层和后向层中的输入门、遗忘门和输出门的权重以及偏置，重复进行训练，直至交叉熵达到设定值，然后保存训练好的模型。
7.根据权利要求6所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，模型的交叉熵MSE的计算公式为：
其中，N表示参加训练的数据量，ypi表示对第i个输入的预测值，yti表示第i个输入对应的实际值。
8.根据权利要求6所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述步骤S4中，将测试集数据输入到训练好的模型中，若评价指标未接近最优，则通过调整双向LSTM预测模型的训练次数，隐藏层神经元数目以及隐藏层的深度，然后返回步骤S3重新训练，直至各个评价指标接近最优。
9.根据权利要求8所述的一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法，其特征在于，所述评价指标包括均方根误差RMSE、拟合优度检验R2、平均绝对百分误差MAPE和分值函数score。
CN201910877113.2A 2019-09-17 2019-09-17 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法 Pending CN110737952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910877113.2A CN110737952A (zh) 2019-09-17 2019-09-17 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910877113.2A CN110737952A (zh) 2019-09-17 2019-09-17 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法

Publications (1)

Publication Number Publication Date
CN110737952A true CN110737952A (zh) 2020-01-31

Family

ID=69267943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877113.2A Pending CN110737952A (zh) 2019-09-17 2019-09-17 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法

Country Status (1)

Country Link
CN (1) CN110737952A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860460A (zh) * 2020-08-05 2020-10-30 江苏新安电器股份有限公司 一种基于改进的lstm模型在人体行为识别上的应用方法
CN112232366A (zh) * 2020-09-09 2021-01-15 国网上海市电力公司 一种基于rfid监测的电气设备故障预警方法及系统
CN112364119A (zh) * 2020-12-01 2021-02-12 国家海洋信息中心 基于lstm编解码模型的海洋浮标轨迹预测方法
CN112580257A (zh) * 2020-12-10 2021-03-30 东北大学 基于深度学习的复杂工业系统预报模型构建方法、装置、设备及存储介质
CN112712501A (zh) * 2020-12-28 2021-04-27 江苏合泰飞梵科技有限公司 一种基于人工智能的后视镜组装生产方法
CN114138942A (zh) * 2021-12-09 2022-03-04 南京审计大学 基于文本情感倾向的违规检测方法
CN115759088A (zh) * 2023-01-10 2023-03-07 中国测绘科学研究院 一种评论信息的文本分析方法及存储介质
CN116956759A (zh) * 2023-09-21 2023-10-27 宝德计算机系统股份有限公司 一种调节bmc风扇转速的方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967251A (zh) * 2017-10-12 2018-04-27 北京知道未来信息技术有限公司 一种基于Bi-LSTM-CNN的命名实体识别方法
CN109412900A (zh) * 2018-12-04 2019-03-01 腾讯科技（深圳）有限公司 一种网络状态识别的方法、模型训练的方法及装置
CN109472110A (zh) * 2018-11-29 2019-03-15 南京航空航天大学 一种基于lstm网络和arima模型的航空发动机剩余使用寿命预测方法
CN109766930A (zh) * 2018-12-24 2019-05-17 太原理工大学 一种基于dcnn模型的矿井机械设备的剩余寿命预测方法
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN107967251A (zh) * 2017-10-12 2018-04-27 北京知道未来信息技术有限公司 一种基于Bi-LSTM-CNN的命名实体识别方法
CN109472110A (zh) * 2018-11-29 2019-03-15 南京航空航天大学 一种基于lstm网络和arima模型的航空发动机剩余使用寿命预测方法
CN109412900A (zh) * 2018-12-04 2019-03-01 腾讯科技（深圳）有限公司 一种网络状态识别的方法、模型训练的方法及装置
CN109766930A (zh) * 2018-12-24 2019-05-17 太原理工大学 一种基于dcnn模型的矿井机械设备的剩余寿命预测方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUA DING ETC.: "A Predictive Maintenance Method for Shearer Key Parts based on Qualitative and Quantitative Analysis of Monitoring Data", 《IEEE ACCESS》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860460A (zh) * 2020-08-05 2020-10-30 江苏新安电器股份有限公司 一种基于改进的lstm模型在人体行为识别上的应用方法
CN112232366A (zh) * 2020-09-09 2021-01-15 国网上海市电力公司 一种基于rfid监测的电气设备故障预警方法及系统
CN112232366B (zh) * 2020-09-09 2024-04-16 国网上海市电力公司 一种基于rfid监测的电气设备故障预警方法及系统
CN112364119A (zh) * 2020-12-01 2021-02-12 国家海洋信息中心 基于lstm编解码模型的海洋浮标轨迹预测方法
CN112580257A (zh) * 2020-12-10 2021-03-30 东北大学 基于深度学习的复杂工业系统预报模型构建方法、装置、设备及存储介质
CN112580257B (zh) * 2020-12-10 2022-03-29 东北大学 基于深度学习的复杂工业系统预报模型构建方法、装置、设备及存储介质
CN112712501A (zh) * 2020-12-28 2021-04-27 江苏合泰飞梵科技有限公司 一种基于人工智能的后视镜组装生产方法
CN114138942A (zh) * 2021-12-09 2022-03-04 南京审计大学 基于文本情感倾向的违规检测方法
CN115759088A (zh) * 2023-01-10 2023-03-07 中国测绘科学研究院 一种评论信息的文本分析方法及存储介质
CN116956759A (zh) * 2023-09-21 2023-10-27 宝德计算机系统股份有限公司 一种调节bmc风扇转速的方法、系统及装置

Similar Documents

Publication Publication Date Title
CN110737952A (zh) 一种结合AE和bi-LSTM的机械设备关键零部件剩余寿命预测方法
CN111191841B (zh) 一种电力负荷预测方法、装置、计算机设备及存储介质
CN108681610B (zh) 生成式多轮闲聊对话方法、系统及计算机可读存储介质
CN112364119B (zh) 基于lstm编解码模型的海洋浮标轨迹预测方法
CN110929092B (zh) 一种基于动态注意力机制的多事件视频描述方法
CN108764539B (zh) 一种梯级电站的上下游水位预测方法
CN110516833A (zh) 一种基于特征提取的Bi-LSTM预测道路交通状态的方法
CN111815053B (zh) 一种针对工业时序数据的预测方法及系统
CN113723007B (zh) 基于drsn和麻雀搜索优化的设备剩余寿命预测方法
CN109886343B (zh) 图像分类方法及装置、设备、存储介质
CN111626764A (zh) 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
CN111553535B (zh) 一种基于ae-lstm-bo车流量预测的导航参考方法
CN109635938B (zh) 一种自主学习脉冲神经网络权值量化方法
CN112288137A (zh) 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置
CN112784479B (zh) 一种洪水流量预测的方法
CN112257847A (zh) 一种基于CNN和LSTM预测地磁Kp指数的方法
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN113537539B (zh) 一种基于注意力机制的多时间步供热用气量预测模型
CN115510748A (zh) 基于变分模态分解和cnn-gru的滑坡位移预测方法
CN115660167A (zh) 基于麻雀搜索算法和分解误差校正的短期空气质量预测方法
CN117420443A (zh) 基于遗传算法的lstm的氢燃料电池剩余使用寿命预测方法
CN116822345A (zh) 一种基于ssa-vmd-gru的滑坡位移预测方法
CN114819346A (zh) 一种基于meemd和神经网络的电力短期负荷预测方法
CN114036821A (zh) 一种基于非确定性隐空间模型的浓密机控制方法及装置
CN113516171A (zh) 基于贝叶斯神经网络随机加法分解结构的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication