CN111695607A - 基于lstm增强模型的电子设备故障预测方法 - Google Patents

基于lstm增强模型的电子设备故障预测方法 Download PDF

Info

Publication number
CN111695607A
CN111695607A CN202010450281.6A CN202010450281A CN111695607A CN 111695607 A CN111695607 A CN 111695607A CN 202010450281 A CN202010450281 A CN 202010450281A CN 111695607 A CN111695607 A CN 111695607A
Authority
CN
China
Prior art keywords
lstm
model
enhanced
forgetting
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010450281.6A
Other languages
English (en)
Inventor
王超
吴明慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202010450281.6A priority Critical patent/CN111695607A/zh
Publication of CN111695607A publication Critical patent/CN111695607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的基于LSTM增强模型的电子设备故障预测方法涉及对长短时神经网络进行记忆增强的方法，目的是为了克服对设备故障采用现有LSTM模型预测，精度会随着时序长度而逐渐下降的问题，方法具体如下：步骤一、采集电子设备运行过程中的监测数据，并对监测数据进行预处理；步骤二、搭建LSTM增强模型，将预处理后的监测数据输入到LSTM增强模型里进行训练，得到训练后的LSTM增强模型；步骤三、根据训练后的LSTM增强模型和一段时间内的监测数据，对电子设备故障进行预测。

Description

基于LSTM增强模型的电子设备故障预测方法
技术领域
本发明涉及一种神经网络改进方法，具体涉及对长短时神经网络进行记忆增强的方法。
背景技术
时间序列预测技术在经济、气象、地质、水文、科学、军事、医学等诸多领域有着重要的应用价值。在工业控制中，机器不间断地运作导致故障的发生，通过对工业数据的处理和预测可以有效地监督自动化生产过程、预防风险隐患。在此领域，实际场景下的应用问题具有复杂的非线性特征，早期用于时间序列分析的线性模型具有局限性。传统机器学习方法如矩阵分解、支持向量机SVM(Support Vector Machine)、贝叶斯网络，很大程度上依赖于人工设计的数据表示和特征抽取的有效性。近年来，神经网络在时间序列问题的预测上得到了更广泛的应用。深度学习(Deep learning)通过建立深层神经网络往往能够自动完成特征提取，通过数据在不同层级、维度构建关联,提高自变量与因变量间的解释能力。
其中最常用的就是循环神经网络RNN(Recurrent Neural Network)，与传统的神经网络不同，RNN在隐藏层中，同时考虑当前输入和上一层的结果。从而使得循环神经网络具有记忆能力。但是由于传统RNN使用随时间反向传播算法BPTT(Back-PropagationThrough Time)，训练过程中存在梯度消失和梯度爆炸，从而限制了RNN的长期预测能力。在此场景下提出了长短时神经网络LSTM(Long Short-Term Memory)，有效地解决了RNN的梯度消失的问题。
在工业环境中，对设备故障进行预测的时序数据是从高采样率的传感器收集得到，通常这些数据的间隔很短，因此长期依赖性的问题更有可能暴露出来。即便现有LSTM模型可以预测出大量数据的变化趋势，但是预测精度会随着时序长度而逐渐下降。
发明内容
本发明的目的是为了克服对设备故障采用现有LSTM模型预测，精度会随着时序长度而逐渐下降的问题，提供了基于LSTM增强模型的电子设备故障预测方法。
本发明的基于LSTM增强模型的电子设备故障预测方法，方法具体如下：
步骤一、采集电子设备运行过程中的监测数据，并对监测数据进行预处理；
步骤二、搭建LSTM增强模型，将预处理后的监测数据输入到LSTM增强模型里进行训练，得到训练后的LSTM增强模型；
LSTM增强模型基于LSTM进行搭建，具体步骤如下：
步骤二一、前一时刻细胞状态经过遗忘门后输出待记忆部分和遗忘部分，遗忘部分根据待记忆部分得到，前一时刻细胞状态-待记忆部分＝遗忘部分；
步骤二二、将待记忆部分和遗忘部分分别赋予权值；
步骤二三、将赋予权值的遗忘部分和待记忆部分均加入当前时刻细胞状态，对当前时刻细胞状态进行更新；
步骤三、根据训练后的LSTM增强模型和一段时间内的监测数据，对电子设备故障进行预测。
其中，LSTM增强模型中，待记忆部分为Ct-1(r)，遗忘部分为Ct-1(f)；且待记忆部分Ct-1(r)属于遗忘门，遗忘部分Ct-1(f)属于强化门；
则当前时刻细胞状态为：
Figure BDA0002507449470000021
Figure BDA0002507449470000022
式中，Ct-1为前一时刻细胞状态，Ct为当前时刻细胞状态，W1为赋予遗忘部分的权值，W2为赋予待记忆部分的权值，it为输入门中使用sigmoid激活函数实现的控制单元，
Figure BDA0002507449470000023
为输入门中使用tanh激活函数的记忆单元，ft为遗忘门的值，Θ为哈达玛积。
其中，在LSTM的记忆单元里，由原有遗忘门的基础上，增加了强化门，强化门的取值范围为[0,1]，上述的记忆单元为LSTM的基本计算单元。
本发明的有益效果是：本发明采用了记忆增强的LSTM循环神经网络的故障时间序列预测方法，提出在现有LSTM的记忆单元中构建信息的分类提取模型，在原有的遗忘信息基础上，通过增设强化门实现对遗忘信息与记忆信息的双通道传送，并将两者按比例选取、融合、重新输入记忆单元。该机制使网络对相对较远的信息保持敏感以提升记忆能力。
用工业故障数据将LSTM增强模型，即改进后的LSTM模型与现有LSTM模型对比，结果表明，改进后的LSTM模型的均方根误差RSME(Root Mean Squard Error)与平均绝对误差MAE(Mean Absolute Error)分别为0.145与0.083，较现有LSTM模型提升了53.8％与69.9％，AUC达到0.959。在长时间序列的预测问题上记忆增强LSTM的记忆能力得到提升，可有效保证预测性能的同时延长时间步长。即对设备故障采用改进后的LSTM模型预测，精度不会随着时序长度而逐渐下降。
附图说明
图1为现有的面向预测问题的LSTM方法原理图；其中，在现有LSTM模型内部结构中σ和Tanh分别表示sigmoid激活函数和Tanh激活函数；X为按元素相乘；
图2为本发明的基于LSTM增强模型的电子设备故障预测方法中改进后的LSTM模型结构示意图；
图3为图2的强化门的等效原理图，其中，Ct-1(r)代表t-1时刻的待记忆部分，Ct-1(f)代表t-1时刻的遗忘部分，t-1时刻即前一时刻，t为正整数；
图4为训练集因变量18S的数值曲线图；
图5为本发明的方法中改进后的LSTM模型预测曲线；
图6现有LSTM模型预测曲线；
图7为本发明的方法中改进后的LSTM模型和现有LSTM模型的RMSE结果比较；其中，上方曲线为现有LSTM模型的RMSE曲线，下方曲线为改进后的LSTM模型的RMSE曲线；
图8为本发明的方法中改进后的LSTM模型和现有LSTM模型的MAE结果比较；其中，上方曲线为现有LSTM模型的MAE曲线，下方曲线为改进后LSTM模型的MAE曲线；
图9为现有LSTM模型与改进后的LSTM模型1(W1＝0.9)、改进后的LSTM模型2(W1＝0.4)的ROC曲线对比；
图10为本发明的方法中改进后的LSTM模型的训练误差曲线。
具体实施方式
1、现有LSTM模型实现原理：
RNN是一种隐层具有自连接关系的神经网络，每个节点通过当前时刻的状态来计算该时刻的输出，而当前时刻的状态由上一时刻的状态和当前时刻的输入共同决定，从而实现时序数据的记忆。LSTM延续了RNN的链式传导结构，并在RNN的基础上增加了四种交互门。如图1所示，input(输入门)、forget(遗忘门)、output(输出门)和cell(细胞状态)，以解决梯度爆炸问题。每个LSTM节点包含三个输入，即上一时刻的节点状态Ct-1、上一时刻的节点输出ht-1和当前时刻的输入xt。LSTM特有的门结构包含一个非线性激活函数sigmoid，决定了在节点之间传递的信息量。通过门结构LSTM实现对遗忘信息的传递控制。
(a)遗忘门用来控制前一个过程中状态信息的保存；(b)输入门是用来控制序列的输入大小；(c)细胞状态用来记录当前时刻LSTM神经网络的状态；(d)输出门用来控制输入信息在计算后的输出；(e)隐状态通过输出激活函数进行预测。具体过程如下：
(a)遗忘门通过控制自循环权重，控制前一个过程中状态信息的保存。同时通过sigmoid激活函数将遗忘门的值限制在0至1之间，控制细胞状态以防止记忆饱和。计算公式为：ft＝σ(Wfht-1+Ufxt+bf) (1)
其中Wf为遗忘门循环权重，Uf为遗忘门输入权重，bf为遗忘门偏置，ht-1和xt分别为隐含层的输出和输入。
(b)输入门由使用sigmoid激活函数实现的控制单元it与使用tanh激活函数的记忆单元
Figure BDA0002507449470000041
组成，以控制序列的输入。计算公式为：
it＝σ(Wiht-1+Uixt+bi) (2)
Figure BDA0002507449470000042
其中Ui和Uc分别为输入门控制单元输入权重和输入门记忆单元输入权重，Wi和Wc分别为输入门控制单元循环权重和输入门记忆单元循环权重，bi和bc分别为输入门控制单元偏置和输入门记忆单元偏置。
(c)细胞状态更新。细胞状态Ct用来记录当前时刻LSTM神经网络的状态。由Ct-1和遗忘门输出ft的乘积，和输入门it和
Figure BDA0002507449470000043
的乘积两部分组成。计算公式为：
Figure BDA0002507449470000044
其中Θ为哈达玛积。
(d)输出门将输入的数据经过隐藏层计算再通过激活函数压缩到0至1进行输出。计算公式为：
ot＝σ(Woht-1+Uoxt+bo) (5)
ht＝otΘtanh(Ct) (6)
其中Wo和Uo分别为输出门循环权重和输出门输入权重，bo为输出门偏置。
(e)隐状态通过输出激活函数实现预测。设输入序列X＝(x0,x1,…,xt)，预测值用
Figure BDA0002507449470000045
Figure BDA0002507449470000046
表示，计算公式为：
Figure BDA0002507449470000047
其中wy为权重，by为偏置，
Figure BDA0002507449470000048
代表LSTM的输出激活函数。当输入序列(x0,x1,…,xt)，LSTM模型会生成相应的隐状态(h0,h1,…,ht)，隐状态经过数据激活函数
Figure BDA0002507449470000049
转换为预测值。
2、面向LSTM的记忆增强机制：
本方法中在长短时神经网络的最基本单元(记忆单元)中构建遗忘信息再提取模型，通过设立强化门机制，增强网络对历史信息的记忆能力。该机制对遗忘信息Ct-1(f)与记忆信息Ct-1(r)的双通道传送，并将两者按比例选取、融合、重新输入记忆单元。使得网络对相对较远信息保持敏感以提升记忆能力。记忆强化过程如图2所示。
2.1理论分析
引入记忆加强单元后，记忆单元为：
Figure BDA00025074494700000410
化简后得：
Figure BDA0002507449470000051
Figure BDA0002507449470000052
其中W3＝W2-W1，通过对遗忘信息加权记忆，使LSTM对遗忘信息可以保持一定程度的敏感性。由(10)可知，通过设置W1的值，可以让LSTM对上一时刻传过来的信息保留最低限度的记忆。
将公式(4)展开得：
Figure BDA0002507449470000053
通过(11)式可知：第t个时间步的单元记忆为第i步的输入记忆经历t-i次遗忘求和得到，因此通过加强每一时间步的输入记忆，即可实现单元记忆的加强。
由(9)式展开可得：
Figure BDA0002507449470000054
已知0<ft<1，当0<W1<1且W1+W3＝1时，
Figure BDA0002507449470000055
所以
Figure BDA0002507449470000056
恒大于Ct，即W2＝W1+W3＝1，W2保持原遗忘门传递下来的信息，在此基础上通过W1额外添加历史信息，实现记忆加强。
LSTM允许在任意时滞中存储信息，并且可以将误差信号传送到更远的时间序列。但是，在某些情况下，这种潜在的优势可能会导致性能降低：细胞状态Ct通常在时间序列的学习过程中倾向于线性增长，在持续输入的情况下，单元状态可能会无限增长，从而导致输出门的饱和。输出门饱和将使ht的导数消失，从而无法获取输入误差，并且使单元输出等于输出门的激活函数，导致细胞停止记忆功能，故引入取值在0至1的遗忘门实现对单元记忆饱和度的控制。因
Figure BDA0002507449470000057
所以改进后的LSTM模型不会因为对输入信息记忆增加而导致单元记忆饱和。
3、实验结果分析
实验选取均方根误差(Root Mean Square Error，RMSE)，平均绝对误差(MeanAbsolute Error，MAE)和受试者工作特征曲线(Receiver Operating CharacteristicCurve,ROC)及其线下面积(Area Under Curve，AUC)对改进后的LSTM模型效果进行评估。依次通过预测拟合曲线、RMSE、MAE三项指标对比改进后的LSTM模型与原模型的预测能力。对比训练误差曲线与测试误差曲线，分析模型训练过程的拟合情况。通过ROC曲线与AUC表展示对比模型在此故障检测问题上的真实性。
3.1数据集
实验数据集取自某器件中的监控数据，单个传感器按照每20ms一次的频率记录一次数值，将160个传感器在同时刻记录的数值集合记为一条数据。数据集包含某时刻起连续29小时采集的正常数据4000686条数据，在0.3小时内采集的故障数56954条，数据集共有160个维度，每个维度表示相应的传感器监测值。为平衡正负样本，本实验将正常数据以20为间隔选取，将数据压缩至200000条，故障数据直接选取，总数据量共计256954条。将传感器编号18S记录的指标设为因变量18S，当18S数值大于170时机器异常(18S是可以鉴别器件故障的主要数据之一，经过观察它是特征区分最明显的)，其余指标作为自变量，依据训练集与测试集8：2划分数据集，基于keras框架搭建LSTM模型实现对故障特征参数18S的预测。训练集中因变量18S的数值如图6所示，横坐标为样本数量，纵坐标表示数值，以此数据分布模拟实际场景中一个训练周期。
3.2度量指标
实验实验选取均方根误差RMSE，平均绝对误差MAE和受试者工作特征线下面积AUC对模型效果进行评估，
(1)均方根误差RMSE的计算公式表示为：
Figure BDA0002507449470000061
其中yt和
Figure BDA0002507449470000062
分别为数据时间序列在t时刻的观测值和预测值，T为数据点个数，当RMSE达到最小时，可得到最佳回归模型。
(2)平均绝对误差MAE的计算公式为：
Figure BDA0002507449470000063
其中yt和ft分别为数据时间序列在t时刻的观测值和模型输出值，T为数据点个数。
(3)受试者工作特征线下面积(AreaUnder Curve，AUC)。受试者工作特征曲线(receiver operating characteristic curve，ROC)是以真阳性率(敏感性)为纵坐标，假阳性率(1-特异性)为横坐标绘制的曲线。AUC为ROC曲线下与坐标轴围成的面积，AUC越接近1.0，检测方法真实性越高。本文通过对测试集计算RMSE,MAE和AUC值来定量地评价模型的拟合和预测精度。
3.3数据分析与预处理
在数据采集的过程中，数据集质量会受环境因素干扰，采集数据的不正当操作以及设备本身的问题会导致采集的数据中存在异常。在训练前先对数据进行预处理。
数据归一化处理方法广泛运用于工程数据处理中,归一化处理能使数据具有统一性和可比性。本文采用min-max归一化是对原始数据的线性变换，变换公式如式(15)所示:
Figure BDA0002507449470000064
其中，Maxvalue为数据中的最大值，Minvalue为数据中的最小值，Maxvalue-Minvalue为极差，xi为在数据集中所取的数据，
Figure BDA0002507449470000071
为归一化后数据的大小。
3.4结果分析
图5与图6分别展示了改进后的LSTM模型与现有LSTM模型的预测结果，横坐标均表示数据量，纵坐标均表示参数数值。浅色线条为测试集因变量18S的值，深色线条为模型预测的因变量值。因变量在潜在故障时由93变为163，发生故障时由163增长超过170阈值。在正常时序区间,改进后的LSTM模型预测曲线比现有LSTM模型的预测曲线更贴近于原曲线。但在故障时序区，改进后的LSTM模型的预测误差为5，相对于现有LSTM模型的预测误差(13)减少61.5％。
图7和图8分别给出了现有LSTM模型(LSTM)与改进后的LSTM模型(S_LSTM)预测过程中的RMSE与MAE随输入序列长度的变化趋势，横坐标表示序列长度，纵坐标表示误差。如图7所示，现有LSTM模型在输入序列长度为50时均方根误差最大，随序列长度增加至130降至最低。说明原LSTM模型能够接受的持续输入序列长度存在上限，通过单一遗忘门结构建立的记忆能力上限为130。然而，改进后的LSTM模型不存在此问题，在0至160序列长度范围内误差曲线波动幅度很小，并在160后继续下探。如图8所示，平均绝对误差MAE的变化趋势与均方根误差RMSE十分类似，印证了原LSTM模型的记忆能力上限为130。均方根误差RMSE与平均绝对误差MAE在不同输入序列长度上的对比，体现了引入强化门记忆机制后LSTM记忆上限得到显著提升。
表1展示了W1参数对模型预测精度的影响，其中序列长度设置为160，学习率为0.01，L2正则化系数为0.01。W1以0.1为间隔在0至1区间取值，RMSE,MAE和AUC三项评价指标随参数W1的变化情况如表1所示。AUC越接近1.0，检测方法真实性越高。当W1取值为0.2及0.8时RMSE与MAE最小，分别为0.145与0.085，远低于原LSTM的0.314与0.276。在W1取值为0.9时，AUC取值最高为0.959。可见，改进后的LSTM模型的预测结果在RMSE,MAE和AUC等方面均优于现有LSTM模型。
表1.参数W1对模型的影响
Figure BDA0002507449470000072
Figure BDA0002507449470000081
图9为现有LSTM模型与改进后的LSTM模型1(W1＝0.9)、改进后的LSTM模型2(W1＝0.4)的ROC曲线对比，横坐标表示假阳性率(False Positive Rate)，纵坐标表示真阳性率(True Positive Rate)。分别选取AUC为最大(W1＝0.9)和中位数(W1＝0.4)时的数据绘制ROC曲线。图9中，改进后的LSTM模型1和改进后的LSTM模型2预测能力突出，相比之下现有LSTM模型(最优配置)仍远低于改进后的LSTM模型。
图10所示，为改进后的LSTM模型的训练误差曲线，训练迭代epoch轮数为横坐标，平均绝对误差为纵坐标。训练过程中，训练集误差(深色)与测试集误差(浅色)均随训练轮数增加而下降。模型在epoch为7时，进入拐点，误差不再明显改变。在50轮训练时，结束训练。
综上可知，改进后的LSTM在此预测上性能较好，不仅可以提升记忆上限，同时在中短序列的预测精度上也有提升。

Claims (3)

1.基于LSTM增强模型的电子设备故障预测方法，其特征在于，所述方法具体如下：
步骤一、采集电子设备运行过程中的监测数据，并对所述监测数据进行预处理；
步骤二、搭建LSTM增强模型，将预处理后的监测数据输入到所述LSTM增强模型里进行训练，得到训练后的LSTM增强模型；
所述LSTM增强模型基于LSTM进行搭建，具体步骤如下：
步骤二一、前一时刻细胞状态经过遗忘门后输出待记忆部分和遗忘部分，所述遗忘部分根据所述待记忆部分得到，前一时刻细胞状态-待记忆部分＝遗忘部分；
步骤二二、将所述待记忆部分和所述遗忘部分分别赋予权值；
步骤二三、将赋予权值的遗忘部分和待记忆部分均加入当前时刻细胞状态，对当前时刻细胞状态进行更新；
步骤三、根据训练后的LSTM增强模型和一段时间内的监测数据，对电子设备故障进行预测。
2.根据权利要求1所述的基于LSTM增强模型的电子设备故障预测方法，其特征在于，所述LSTM增强模型中，待记忆部分为Ct-1(r)，遗忘部分为Ct-1(f)；
则当前时刻细胞状态为：
Figure FDA0002507449460000011
Figure FDA0002507449460000012
式中，Ct-1为前一时刻细胞状态，Ct为当前时刻细胞状态，W1为赋予遗忘部分的权值，W2为赋予待记忆部分的权值，it为输入门中使用sigmoid激活函数实现的控制单元，
Figure FDA0002507449460000013
为输入门中使用tanh激活函数的记忆单元，ft为遗忘门的值，Θ为哈达玛积。
3.根据权利要求1或2所述的基于LSTM增强模型的电子设备故障预测方法，其特征在于，在LSTM的记忆单元里，由原有遗忘门的基础上，增加了强化门，强化门的取值范围为[0,1]。
CN202010450281.6A 2020-05-25 2020-05-25 基于lstm增强模型的电子设备故障预测方法 Pending CN111695607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450281.6A CN111695607A (zh) 2020-05-25 2020-05-25 基于lstm增强模型的电子设备故障预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450281.6A CN111695607A (zh) 2020-05-25 2020-05-25 基于lstm增强模型的电子设备故障预测方法

Publications (1)

Publication Number Publication Date
CN111695607A true CN111695607A (zh) 2020-09-22

Family

ID=72478259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450281.6A Pending CN111695607A (zh) 2020-05-25 2020-05-25 基于lstm增强模型的电子设备故障预测方法

Country Status (1)

Country Link
CN (1) CN111695607A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598144A (zh) * 2020-12-31 2021-04-02 西安理工大学 基于相关性分析的cnn-lstm突发故障预警方法
CN112882887A (zh) * 2021-01-12 2021-06-01 昆明理工大学 一种云计算环境下服务故障模型动态建立方法
CN113011102A (zh) * 2021-04-01 2021-06-22 河北工业大学 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法
CN113033695A (zh) * 2021-04-12 2021-06-25 北京信息科技大学 一种电子器件故障的预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴祯涛等: "某型军用飞机下降阶段燃油消耗模型研究", 信号处理 *
王祥雪;许伦辉;: "基于深度学习的短时交通流预测研究", 交通运输系统工程与信息 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598144A (zh) * 2020-12-31 2021-04-02 西安理工大学 基于相关性分析的cnn-lstm突发故障预警方法
CN112598144B (zh) * 2020-12-31 2024-02-23 西安理工大学 基于相关性分析的cnn-lstm突发故障预警方法
CN112882887A (zh) * 2021-01-12 2021-06-01 昆明理工大学 一种云计算环境下服务故障模型动态建立方法
CN112882887B (zh) * 2021-01-12 2022-08-09 昆明理工大学 一种云计算环境下服务故障模型动态建立方法
CN113011102A (zh) * 2021-04-01 2021-06-22 河北工业大学 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法
CN113033695A (zh) * 2021-04-12 2021-06-25 北京信息科技大学 一种电子器件故障的预测方法
CN113033695B (zh) * 2021-04-12 2023-07-25 北京信息科技大学 一种电子器件故障的预测方法

Similar Documents

Publication Publication Date Title
CN111695607A (zh) 基于lstm增强模型的电子设备故障预测方法
CN107688871B (zh) 一种水质预测方法和装置
CN110414788B (zh) 一种基于相似日和改进lstm的电能质量预测方法
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN113723007B (zh) 基于drsn和麻雀搜索优化的设备剩余寿命预测方法
CN108124065A (zh) 一种对垃圾电话内容进行识别与处置的方法
CN113011796A (zh) 一种基于“层次分析-神经网络”的食用油安全预警方法
CN111680786A (zh) 一种基于改进权重门控单元的时序预测方法
Suryo et al. Improved time series prediction using LSTM neural network for smart agriculture application
CN112948743B (zh) 一种基于时空融合的煤矿瓦斯浓度缺失值填充方法
CN111144552A (zh) 一种粮食品质多指标预测方法及装置
CN112288137A (zh) 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置
CN112881601A (zh) 一种基于云平台的水分检测系统
CN112734002A (zh) 一种基于数据层和模型层联合迁移学习的寿命预测方法
CN115759461A (zh) 一种面向物联网的多元时间序列预测方法及系统
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
CN116930609A (zh) 一种基于ResNet-LSTM模型的电能计量误差分析方法
CN116818325A (zh) 一种滚动轴承故障诊断方法及系统
CN116738868A (zh) 一种滚动轴承剩余寿命预测方法
CN115438897A (zh) 一种基于blstm神经网络的工业过程产品质量预测方法
CN113536662B (zh) 基于萤火虫优化LightGBM算法的电子式互感器误差状态预测方法
CN113627594A (zh) 基于wgan的一维时序数据增广方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN113610147A (zh) 一种基于lstm的多潜在子空间信息融合地震短临预测方法
CN112101482B (zh) 一种对有缺失卫星数据进行参数异常模式检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination