CN117010263A - 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 - Google Patents
一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 Download PDFInfo
- Publication number
- CN117010263A CN117010263A CN202310339141.5A CN202310339141A CN117010263A CN 117010263 A CN117010263 A CN 117010263A CN 202310339141 A CN202310339141 A CN 202310339141A CN 117010263 A CN117010263 A CN 117010263A
- Authority
- CN
- China
- Prior art keywords
- model
- rul
- data
- prediction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 230000007787 long-term memory Effects 0.000 title claims abstract description 6
- 230000006403 short-term memory Effects 0.000 title claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000006731 degradation reaction Methods 0.000 claims abstract description 24
- 230000015556 catabolic process Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000036541 health Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000013100 final test Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000012614 Monte-Carlo sampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法，涉及剩余寿命预测领域。该方法主要分为数据预处理和训练模型两部分。预处理阶段主要完成对失效的设备监测数据进行工况信息识别，根据工况类别进行归一化和标准化，对预处理监测数据和相应的RUL同时进行滑动窗口处理得到输入样本和输出标签。模型训练阶段主要将训练样本输入CNN‑LSTM模型中进行时序特征提取和退化相关性建模，经前向传播得到输入信息的预测RUL，计算真实值和预测值的误差并利用损失函数对模型参数进行反向传播更新，重复进行直至预测损失值下降至一定范围并趋于稳定。本发明引入了Dropout和早停法来降低过拟合问题对模型预测性能带来的负面影响，提升了RUL预测的准确性，为RUL预测的退化过程建模提供了更佳的解决方案。
Description
技术领域
本发明涉及剩余寿命预测领域，更具体的涉及基于卷积神经网络和长短期记忆网络的剩余寿命预测应用领域。
现有技术
基于数据驱动的剩余寿命(Remaining Useful Life,RUL)预测方法凭借其强大的数据处理能力已经成为最广泛运用的预测分类方法。然而，现有的研究主要对监测设备的传感器数据完成深层特征提取和RUL预测任务，但对复杂工况环境下的预测问题缺乏考虑，而实际工业环境中往往存在的各种噪声因素，考虑工况对RUL预测结果的影响有重要的应用价值。
通过对目前的文献检索发现，尽管基于人工智能下的各种神经网络在对复杂系统的退化过程和RUL预测过程进行建模时的表现已十分优异，表现出十分强大的非线性逼近能力。但是大多数的算法只能得到数据和RUL之间的映射关系，缺乏了对建模过程中不确定性因素的考虑。Sbarufatti等人在《Sequential Monte-Carlo sampling based on acommittee of artificial neural networks for posterior state estimation andresidual lifetime prediction》中将前馈神经网络与蒙特卡洛方法相结合应用于受疲劳裂纹影响零件的RUL概率分布，能够实时检测零件的损伤状态。Yang等人在《RemainingUseful Life Prediction Based on a Double-Convolutional Neural NetworkArchitecture》中提出了两个卷积神经网络(Convolutional Neural Network，CNN)结合的模型进行RUL预测，第一个卷积网络用于识别不同组件的初始故障点，第二个卷积网络建立具有可靠性的中间变量于RUL之间的映射关系。深度神经网络还可以用来对健康指标(Health Indicator，HI)建模，Chen等人在《An integrated deep learning-basedapproach for automobile maintenance prediction with GIS data》中引入了Cox PHM比例风险模型构建HI，并结合提出的多个长短期记忆网络(Long Short-Term Memory，LSTM)深度神经网络结构对HI建模，体现了LSTM模型在预测准确性方面表现优异。要建立基于深度神经网络的RUL预测模型，关键在于准确的建立输入监测数据和目标健康状态指标的映射函数。此外神经网路将数据特征处理和建模分析融合在一个网络结构中，端到端地实现RUL预测，保证预测准确度的同时，极大的简化了传统RUL预测流程。
目前，基于深度学习的寿命预测方法主要面向设备的监测数据完成深层特征提取和RUL预测任务，但是对于复杂工况环境下的预测问题却鲜有研究，结合设备实际运行环境的多变性与随机性，考虑工况对寿命预测结果的影响是十分必要且有价值的。因此，需要一种基于深度学习的RUL方法用以解决复杂工况下的RUL预测。
发明内容
针对现有的问题，本发明提出了一种基于卷积神经网络和长短时记忆网络的RUL预测方法。首先采用K-means方法对采集到的监测数据进行工况识别以降低设备环境工况对模型性能的影响，并在数据预处理阶段使用滑动窗口用于生成LSTM擅长处理的三维样本形式；然后采用CNN通过其对完成工况分析的数据进行深度特征提取；最后运用LSTM对提取的特征拟合建立时序退化模型，并外推完成的RUL预测任务。
本发明的总体数据流程框架图如图1所示，主要分为数据预处理和训练模型两部分。
(1)预处理阶段主要完成对失效的设备监测数据进行工况信息识别，根据工况类别进行归一化和标准化，对预处理监测数据和相应的RUL同时进行滑动窗口处理得到输入样本和输出标签。
(2)模型训练阶段主要将训练样本输入CNN-LSTM模型中进行时序特征提取和退化相关性建模，经前向传播得到输入信息的预测RUL，计算真实值和预测值的误差并利用损失函数对模型参数进行反向传播更新，重复进行直至预测损失值下降至一定范围并趋于稳定。
步骤一：选定原始数据集
根据维护设备的实际情况，选择多个传感器采集数据，得到原始数据集。
步骤二：数据集预处理
(1)数据工况信息识别
由于相同的设备在不同的配置下的工作状态并不相同，因此需要识别设备不同运行状态下的工况信息。从原始数据集中随机选取若干个数据点作为初始聚类质心，调用K-means算法对训练集数据分布进行学习，并对训练集及测试集数据工况情况进行分类，使得数据增加一个新的表示工况信息的标签。
(2)数据归一化及标准化处理
在不同工况环境下工作的设备其运行状态必然不同，因此需要结合步骤1得到的标签对数据进行归一化和标准化处理。
公式(1)主要完成数据的归一化操作，其中xd表示第d个传感器的原始值，xd-max和xd-min表示所有训练集中该传感器的最大值和最小值,xd表示归一化后的值。
公式(2)完成了数据的标准化过程，保留了数据的统计分布信息。其中ud和σd分别表示第d个传感器的均值和标准差。
(3)时间序列样本生成
为了将原始的二维信号转化为LSTM输入数据格式的三维矩阵，需要进行滑动窗口处理，利用滑动时间窗生成多变量时间样本序列样本的原理如图2所示。
公式(3)表示滑动窗口的处理过程，输入表示第i个设备收集到的全部监测数据，/>n表示传感器的个数。Ntw表示滑动窗口大小，则在第k个时间点内滑动窗口得到的全部信息为/>将窗口以步长1从左到右滑动，直到最后的时间点T。
(4)RUL标签生成
结合实际生活中设备工作状态可知，每个设备都有一个初始正常运行状态，也就是说在这段时间内可以认为其RUL是不变的。根据分段线性模型，如图3所示，设置一个表示设备RUL健康状态的阈值，当设备的RUL低于阈值时认为设备开始退化设备的，当RUL低于阈值时认为设备开始呈线性退化。
步骤三：构建CNN-LSTM网络模型
本发明提出的基于CNN-LSTM模型的网络结构如图4所示，输入样本为一个二维矩阵，一个维度为特征数量，另一个维度为时间序列长度，权值共享的卷积核在样本矩阵的时间维度上以步长1进行滑动特征提取，实现了1维卷积操作。此外，为保证输入和输出大小相同，得到每个时间点的特征向量表示，对卷积输入在时间维度上用0进行填充，每层卷积后跟一个激活层，为了避免信息损失，不再添加池化层降采样。经过3层CNN的特征筛选得到充分描述退化信息的特征向量，然后使用1层LSTM网络完成退化系统健康指标的时间相关性建模，多层感知机(Multilayer Perceptron，MLP)对经过深度神经网络提取得到的健康状态表征向量进行拟合。为了减少训练过拟合发生的可能性，引入Dropout方法，如图5所示，在训练过程中以一定概率随机使一些神经元失活，避免其参与网络训练，增强模型的泛化能力。
步骤四：模型训练
(1)参数更新
在参数更新过程中采用小批量梯度下降算法，既利用了深度学习高效的矩阵运算，又避免了使用单个样本梯度更新参数可能引起的波动。首先，采用BP算法的链式求导法则计算各层梯度，经MBGD算法更新该层权重参数w(l)。
式中，δ(l)表示第l层的梯度，η为学习率。
在对卷积层进行参数更新时，需要将卷积核周围补一圈0后旋转180度，得到梯度误差，并根据得到的梯度误差求出更新后的权重矩阵Wl：具体步骤如式(6-10)：
α(l)＝fl(netl) (6)
net(l+1)＝conv(Wl+1,α(l)) (7)
δ(l)＝δ(l+1)rot180(Wl+1)⊙fl(net(l)) (8)
式中，fl(·)表示第l个卷积层后使用的激活函数，Wl+1表示卷积层的权重矩阵，α(l)表示第l层的输出，conv(·)表示卷积操作，net(l)表示经过卷积操作得到的特征图，rot180表示旋转180度。
采用早停法提高模型训练效率，如图6所示，经多轮epoch训练结束后，训练集上损失误差下降，但在验证集上损失有上升趋势，此时可认为模型发生了过拟合现象，在此处停止网络训练并保存模型权重参数Wl，完成预测模型的建立。
(2)模型参数优化
采用Adam自适应优化算法对模型参数进行优化，用一阶矩来控制模型更新的方向，二阶矩控制学习率，相较于其他优化算法，其对梯度尺度不敏感，适合参数稀疏或者高度复杂的深度模型的优化。
步骤五：模型评价
为了更直接的观察模型的预测性能优化过程，基于均方根误差(Root MeanSquare Error，RMSE)构建模型损失函数：
其中，n是测试单元的个数，RULpred_i和RULtrue_i分别表示第i个测试单元的预测RUL和真实RUL。
采用Score函数评估模型的有效性，如(12)所示
其中Score为为总的预测评分函数，n表示测试单元的数量，di表示第i个单元的预测误差。
步骤六：RUL预测
将测试样本输入到预测模型经前向计算，输出最终的测试样本各时刻的RUL预测结果。
本发明提出了基于CNN-LSTM的RUL预测方法，对复杂工况下采集数据的特点进行分析，结合提出网络的结构和特点，提出了对多工况数据进行预处理的方法。搭载了具体的CNN-LSTM网络模型，给出设备寿命预测的具体步骤，由于神经网络训练存在过拟合风险，引入了Dropout和早停法来降低过拟合问题对模型预测性能带来的负面影响，提升了RUL预测的准确性，为RUL预测的退化过程建模提供了更佳的解决方案。
附图说明
图1是基于CNN-LSTM的RUL预测方法流程框架图
图2是滑动窗口生成序列样本示意图
图3是分段线性化RUL标签模型
图4是CNN-LSTM网络结构图
图5是dropout原理图
图6是早停法示意图
图7是FD002数据集21个传感器原始退化趋势示意图
图8是FD002发动机数据聚类结果图
图9是FD002数据集21个传感器标准化后退化趋势示意图
图10是网络结构参数实验结果图
图11是输入样本参数实验结果图
图12是FD001数据集100个测试集发动机预测结果
图13是C-MAPSS测试子集单个发动机预测结果
具体实施例
下面通过一个具体案例验证本发明提出的基于卷积神经网络和长短期记忆网络的剩余寿命预测方法，其具体过程包括如下步骤：
步骤1：选定原始数据集
本发明的效果通过商业模块化航空推进系统仿真(Commercial Modular Aero-Propulsion System Simulation，C-MAPSS)数据集进行展示与验证。
在C-MAPSS数据集中一共有4个子集，具体信息如表1所示，数据集FD001和FD003均是在单工况环境下的发动机退化数据，FD002和FD004则是在六种不同运行环境下的多工况发动机退化数据，因此将基于不同运行工况的数据集完成提出的CNN-LSTM寿命预测方法的性能验证。
表1C-MAPSS发动机数据集简介
每个数据子集均包含21个传感器数据和3个运行操作数据，且根据操作设置的不同，发动机的运行工况又可进一步细化为6种，且影响着对应传感器的监测数据。图7给出了FD002数据集其中一个发动机的21个传感器的原始退化数据。从图中可以看出，由于工况对发动机性能的影响，FD002所包含的21个传感器的原始退化数据在整个退化过程中均发生了明显波动，因此需要根据工况进一步分析来筛选传感器提取有效退化信息。
步骤2：数据预处理
(1)数据工况信息识别
首先使用K-means算法对FD002和FD004数据集进行工况识别并标记，以便于根据当前运行状态对监测数据进行标准化处理。图8给出了利用FD002的操作信息对设备运行工况的聚类结果，可以看出不同工况操作信息之间距离间隔较大，因此能实现很好的聚类效果。
(2)数据归一化及标准化处理
然后对数据进行标准化和归一化处理，图9展示了标准化之后的21个传感器的退化轨迹示意图。从图中不难看出，标准化处理后的个别传感器如T24、T30、T50有了明显的变化趋势，而对于T2、P20、P15等传感器仍无法获取有效退化信息。
(3)时间序列样本生成
利用滑动窗口技术对初步筛选后保留的传感器进行处理并生成时序样本。
(4)RUL标签生成
根据分段线性函数设置RUL标签的阈值为120。
步骤3：构建并训练CNN-LSTM网络模型
影响预测性能的主要参数有：CNN的卷积层数、LSTM网络的隐藏单元数、样本的序列长度和训练批量大小。采用控制单一变量法分别对这些参数进行调整,此外，为了消除网络参数初始化随机性对实验结果的影响，对每组参数设置进行5次重复实验并取评估结果的平均值。
图10展示了卷积神经网络层数和LSTM隐藏单元维度对模型预测性能的影响，由图可以看出随着网络卷积层数的增加，模型特征提取能力进一步提高，评分函数Score值和RMSE值逐渐减小，当卷积层数达到3时，模型预测性能相较来讲达到最佳状态，此后再增加卷积层数，模型复杂度提升，存在过拟合风险，模型预测性能有下降趋势。固定卷积层数为3，随着LSTM隐藏单元维度增加，实验结果有着相似的变化，当LSTM隐藏单元维度为64时，模型预测误差降至历史最低点。
除了网络结构会影响模型预测效果，训练样本大小也是影响提出方法预测性能的重要参数，特别是对模型收敛速度的影响。从图11可以看出，随着样本序列长度增加，网络需要更多的时间对这些输入信息进行分析处理，因此模型收敛速度有所降低。此外，随着序列长度增加，单个样本包含信息量增加，预测误差逐渐降低，预测精度逐步提高。特别是在序列长度从20增至25时，预测准确性有大幅提升，由此可推断，越长的样本序列包含的充足的历史信息有助于对退化趋势预测。训练样本的批量大小也是影响模型预测性能的另一个重要因素，由图11的右图可见，随着训练批量的增加，处理相同数据的速度提高，梯度下降方向也趋于平稳，模型收敛速度提高。
综上所述，选择网络结构参数设置如表2所示
表2网络参数设置
步骤4：RUL预测结果及分析
基于CNN-LSTM的寿命预测方法首先在离线阶段通过有监督的网络训练获得设备的退化模型，其次在进行在线RUL预测阶段，将处理好的数据输入训练保存模型后可以直接得到RUL。图12给出FD001测试集共100个发动机最后一个监测点的RUL预测结果，可以看出预测RUL与真实RUL标签基本重合，基于神经网络建立的RUL预测模型预测准确度较基于粒子滤波的方法有极大提升。
从四个测试集中分别随机选取一个发动机进行RUL预测，图13展示了发动机76号、190号、99号、126号随时间变化的预测RUL，不难发现，对四个不同运行工况的发动机的整个退化过程预测期间，提出方法的RUL预测值与相应的RUL真实标记值变化趋势基本一致，预测值与真实值误差较小。从图中可以得出：
(1)提出的算法在四种不同工况环境的设备上都给出了准确的寿命估计，表现出较强的模型泛化性能，并且随着输入信息的增多，估计的RUL进一步收敛至真实值。这是因为在监测初期，设备可认为是处于正常运行阶段，因此预测值在常量周围波动。随着监测时间的增长，设备进入退化阶段，且失效趋势进一步显著，此时RUL预测值逐渐靠近真实标签值，模型的预测准确性逐渐提高。在设备临近故障前期能够给出准确性较高的健康状态评估，对后续制定预测性维护计划有着重要的指导意义，这种预测性能在实际工业环境应用中是非常有价值的。
(2)工况的复杂性对模型预测表现有着较大的影响。图中给出了随机选取的不同工况环境下的发动机RUL预测结果，从RUL预测曲线的波动性对比来看，单一工况下的FD001和FD003中的76号和99号发动机，要小于复杂工况下的FD002和FD004中的190号和126号发动机。特别是在临近失效阶段，简单工况的RUL测值逐渐收敛，且与真实标签值已经基本重合，而复杂工况的RUL预测值仍在真实标签上下波动。本章提出的CNN-LSTM算法在将数据输入深度网络模型前进行工况的聚类分析，有助于减小工况噪声对预测模型的影响，提高预测方法在实际场景中的预测准确率。
此外，根据RMSE和Score衡量模型预测性能，结果如表3所示。
表3基于CNN-LSTM的RUL预测性能
综合RUL预测的结果和两种模型性能评估方法给出的评价来说，提出的基于CNN-LSTM的RUL预测方法能够较为准确的给出RUL预测结果，算法的鲁棒性较强，在不同工况环境下均有着稳定且有效的预测表现。
Claims (1)
1.一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法，其特征在于，包括如下步骤：
步骤一：选定原始数据集
根据维护设备的实际情况，选择多个传感器采集数据，得到原始数据集；
步骤二：数据集预处理
(1)数据工况信息识别
从原始数据集中随机选取若干个数据点作为初始聚类质心，调用K-means算法对训练集数据分布进行学习，并对训练集及测试集数据工况情况进行分类，使得数据增加一个新的表示工况信息的标签；
(2)数据归一化及标准化处理
在不同工况环境下工作的设备其运行状态必然不同，因此需要结合步骤1得到的标签对数据进行归一化和标准化处理；
公式(1)主要完成数据的归一化操作，其中xd表示第d个传感器的原始值，xd-max和xd-min表示所有训练集中该传感器的最大值和最小值,表示归一化后的值；
公式(2)完成了数据的标准化过程，保留了数据的统计分布信息；其中ud和σd分别表示第d个传感器的均值和标准差；
(3)时间序列样本生成
为了将原始的二维信号转化为LSTM输入数据格式的三维矩阵，需要进行滑动窗口处理；
公式(3)表示滑动窗口的处理过程，输入表示第i个设备收集到的全部监测数据，n表示传感器的个数；Ntw表示滑动窗口大小，则在第k个时间点内滑动窗口得到的全部信息为/>将窗口以步长1从左到右滑动，直到最后的时间点T；
(4)实际RUL标签生成
结合实际可知，每件设备都有一个初始正常运行状态，也就是说在这段时间内可以认为其RUL是不变的；因此，根据分段线性模型设置一个表示设备RUL健康状态的阈值，当设备正常工作时认为RUL不变，当设备的RUL低于阈值时认为设备开始呈线性退化；
步骤三：构建CNN-LSTM网络模型
输入一个二维矩阵样本，该样本一个维度为特征数量，另一个维度为时间序列长度，权值共享的卷积核在样本矩阵的时间维度上以步长1进行滑动特征提取，实现1维卷积操作；此外，为保证输入和输出大小相同，得到每个时间点的特征向量表示，对卷积输入在时间维度上用0进行填充，每层卷积后跟一个激活层；经过3层CNN的特征筛选得到特征向量，然后使用1层LSTM网络完成退化系统健康指标的建模，选用MLP对提取得到的健康状态表征向量进行拟合；为了减少训练过拟合发生的可能性，引入Dropout方法；在训练过程中以一定概率随机使一些神经元失活，避免其参与网络训练，增强模型的泛化能力；
完成CNN-LSTM网络模型搭建；
步骤四：模型训练
(1)参数更新
在参数更新过程中采用小批量梯度下降算法；首先，采用BP算法的链式求导法则计算各层梯度，经MBGD算法更新该层权重参数w(l)；
式中，δ(l)表示第l层的梯度，η为学习率；
在对卷积层进行参数更新时，将卷积核周围补一圈0后旋转180度，得到梯度误差，并根据得到的梯度误差求出更新后的权重参数矩阵Wl：具体步骤如式(6-10)：
α(l)＝fl(netl) (6)
net(l+1)＝conv(Wl+1,α(l)) (7)
δ(l)＝δ(l+1)rot180(Wl+1)⊙fl(net(l)) (8)
式中，fl(·)表示第l个卷积层后使用的激活函数，Wl+1表示卷积层的权重矩阵，α(l)表示第l层的输出，conv(·)表示卷积操作，net(l)表示经过卷积操作得到的特征图，rot180表示旋转180度；
采用早停法提高模型训练效率，经多轮epoch训练结束后，训练集上损失误差下降，但在验证集上损失有上升趋势，此时可认为模型发生了过拟合现象，在此处停止网络训练并保存模型权重参数Wl，完成预测模型的建立；
(2)模型参数优化
采用Adam自适应优化算法对模型参数进行优化，用一阶矩来控制模型更新的方向，二阶矩控制学习率，相较于其他优化算法，其对梯度尺度不敏感，适合参数稀疏或者高度复杂的深度模型的优化；
步骤五：模型评价
为了更直接的观察模型的预测性能优化过程，基于均方根误差(Root Mean SquareError，RMSE)构建模型损失函数：
其中，n是测试单元的个数，RULpred_i和RULtrue_i分别表示第i个测试单元的预测RUL和真实RUL；
采用Score函数评估模型的有效性，如(12)所示
其中Score为为总的预测评分函数，n表示测试单元的数量，di表示第i个单元的预测误差；
步骤六:RUL预测
将测试样本输入到预测模型经前向计算，输出最终的测试样本各时刻的RUL预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310339141.5A CN117010263A (zh) | 2023-04-01 | 2023-04-01 | 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310339141.5A CN117010263A (zh) | 2023-04-01 | 2023-04-01 | 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117010263A true CN117010263A (zh) | 2023-11-07 |
Family
ID=88564299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310339141.5A Pending CN117010263A (zh) | 2023-04-01 | 2023-04-01 | 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117010263A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117545122A (zh) * | 2023-12-07 | 2024-02-09 | 广东省科技基础条件平台中心 | 一种led灯阵控制方法、装置、存储介质及设备 |
-
2023
- 2023-04-01 CN CN202310339141.5A patent/CN117010263A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117545122A (zh) * | 2023-12-07 | 2024-02-09 | 广东省科技基础条件平台中心 | 一种led灯阵控制方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321603B (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
| CN109141847B (zh) | 一种基于mscnn深度学习的飞机系统故障诊断方法 | |
| CN110023850B (zh) | 用于控制技术系统的方法和控制装置 | |
| US11840998B2 (en) | Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning | |
| CN111340282B (zh) | 基于da-tcn的设备剩余使用寿命的估计方法及系统 | |
| CN112926273A (zh) | 一种多元退化设备剩余寿命预测方法 | |
| CN111310965A (zh) | 一种基于lstm网络的飞行器航迹预测方法 | |
| CN113642225A (zh) | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 | |
| CN114218872B (zh) | 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法 | |
| CN112132394B (zh) | 一种电厂循环水泵预测性状态评估方法及系统 | |
| CN111784061B (zh) | 一种电网工程造价预测模型的训练方法、装置和设备 | |
| Suryo et al. | Improved time series prediction using LSTM neural network for smart agriculture application | |
| CN112000015A (zh) | 一种基于lstm和生物激励神经网络的重型燃机控制系统控制器模块智能bit设计方法 | |
| CN117010263A (zh) | 一种基于卷积神经网络和长短期记忆网络的剩余寿命预测方法 | |
| Ma et al. | An estimating combination method for interval forecasting of electrical load time series | |
| Cui et al. | Intelligent health management of fixed-wing UAVs: A deep-learning-based approach | |
| CN113469013A (zh) | 一种基于迁移学习和时间序列的电机故障预测方法及系统 | |
| CN113673774A (zh) | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 | |
| CN112686333A (zh) | 一种基于深度子域适配迁移网络的开关柜局部放电模式识别方法 | |
| Zhao et al. | Remaining useful life prediction method based on convolutional neural network and long short-term memory neural network | |
| CN116415485A (zh) | 一种基于动态分布自适应的多源域迁移学习的剩余使用寿命预测方法 | |
| CN113821974B (zh) | 基于多故障模式的发动机剩余寿命预测方法 | |
| CN114254828B (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 | |
| CN116127831A (zh) | 一种重型燃气轮机难测参数软测量方法 | |
| CN115982988A (zh) | 一种基于PCA-Transformer的设备剩余使用寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |