CN114707234A - 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法 - Google Patents

一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法 Download PDF

Info

Publication number
CN114707234A
CN114707234A CN202210214313.1A CN202210214313A CN114707234A CN 114707234 A CN114707234 A CN 114707234A CN 202210214313 A CN202210214313 A CN 202210214313A CN 114707234 A CN114707234 A CN 114707234A
Authority
CN
China
Prior art keywords
rul
data
prediction
model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210214313.1A
Other languages
English (en)
Other versions
CN114707234B (zh
Inventor
刘宇
王福
夏侯唐凡
陈中舒
张昌华
左琳
黄洪钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210214313.1A priority Critical patent/CN114707234B/zh
Publication of CN114707234A publication Critical patent/CN114707234A/zh
Application granted granted Critical
Publication of CN114707234B publication Critical patent/CN114707234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04—Ageing analysis or optimisation against ageing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，属于深度学习和预测与健康管理领域。本发明所述方法将航空发动机所采集的状态监测数据和运行环境数据通过不同的通道输入到深度网络中，同时提取性能退化特征和未来运行载荷信息；随后运用拼接和回归分析网络对特征数据进行融合、降维和映射，以实现剩余寿命预测点估计；然后提出一种改进的蒙特卡罗Dropout方法对剩余寿命预测的不确定性进行估计，得到预测结果的置信区间。本发明所述方法实现了准确且可信的航空发动机剩余寿命预测点估计和置信区间估计，解决了传统的基于深度学习的航空发动机剩余寿命预测方法未考虑未来运行载荷和剩余寿命预测结果不确定性的问题。

Description

一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法
技术领域
本发明属于深度学习和预测与健康管理(Prognostics and Health Management,PHM)领域， 具体涉及一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法。
背景技术
航空发动机、航天飞机等大型装备结构复杂，研发和制造价值不菲。然而，这些大型装 备在使用过程中性能会逐渐退化而发生失效，导致意外事故频发，严重地威胁了人民的生命 和财产安全。因此，为了保证航空发动机等大型装备在使用过程中保持良好的性能状态，防 止意外事件发生，就必须对航空发动机的RUL进行准确而有效的预测。
航空发动机具有结构复杂、性能退化过程非线性、运行环境与失效类型种类非单一化的 特点，从而导致RUL预测面临诸多棘手的难点和挑战。与此同时，经过长期调查和研究发现， 航空发动机未来任务和载荷分配情况与RUL衰减速度直接相关。此外，RUL预测过程中模 型的认知不确定性和测量数据中的偶然不确定性使得RUL预测结果的可信度低，从而导致健 康管理计划的容错率较低。现有的大部分RUL预测方法并未考虑未来载荷对RUL的影响， 也未对基于深度学习的RUL预测结果的不确定性进行量化和评估。因此，需要一种基于贝叶 斯深度学习且考虑未来载荷的航空发动机RUL预测方法，将未来载荷剖面特征融入到RUL 预测中，实现准确可信的航空发动机RUL预测点估计与置信区间估计，为航空发动机健康管 理提供准确可信的辅助决策信息。
发明内容
本发明提供了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，目的是解决传 统的基于深度学习的航空发动机RUL预测方法未考虑未来运行载荷和RUL预测结果不确定 性的问题，实现准确且可信的航空发动机RUL预测点估计和置信区间估计，为维修方案的进 一步制定提供给予有效的参考。
本发明所提出的技术问题是这样解决的：
一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，包括以下步骤：
步骤1，时变运行环境下的数据预处理：将航空发动机所采集的数据集分离为状态监测 数据和运行环境数据，根据单调性、相关性、预测性和鲁棒性等评价指标筛选出数据集中具 有预测性的监测数据和运行环境数据用于后续特征提取；随后运用max-min标准化方法对数 据进行归一化处理；若航空发动机样本只在单一运行环境下采集，则直接运用max-min标准 化方法进行归一处理；若航空发动机样本在时变离散的运行环境下采集，则分别对各运行环 境下的数据进行归一化处理；最后将数据转换为模型可识别的形式和文件格式；
步骤2，RUL标签修正：选择RULmax作为航空发动机运行过程中的RUL上限，对训练集样本的RUL标签值进行修正和标注；其中，RULmax为125；
步骤3，贝叶斯深度网络模型构建：构建一种双输入通道的深度LSTM(Dual-Input-Channels Long Short-Term Memory,DIC-LSTM)网络，分别对航空发动机的状态监测数据中 的性能退化特征和运行环境数据中的运行载荷剖面信息进行提取；同时将所构建的DIC- LSTM网络参数设置为随机变量，并在DIC-LSTM网络的每一层都构建Dropout层，在避免 模型训练过拟合的同时实现贝叶斯深度网络的构建，为后续IMCD方法的提出提供技术支撑；
步骤4，贝叶斯深度网络模型训练：基于步骤1和2中得到的预处理后的训练数据和RUL 标签值，运用补零和打包(Padding&Packing,P&P)训练模式、改进损失函数、Lookahead优 化器和早停方法，对步骤3所构建的贝叶斯双输入通道的深度LSTM(Bayesian Dual-Input- Channels Long Short-Term Memory,BDIC-LSTM)网络进行训练；
步骤5，RUL预测不确定性分析与量化：对RUL预测结果的不确定性进行分析，提出一 种IMCD方法对RUL预测的认知不确定性和偶然不确定性进行评估，从而获得RUL预测结果的置信区间估计；
步骤6，RUL预测点估计与置信区间估计结果获得：利用步骤1获得的预处理后的航空 发动机测试样本输入到经过步骤4完成训练的BDIC-LSTM网络中，运用步骤5提出的IMCD方法，获得RUL预测的点估计与区间估计结果。
本发明步骤3包括：
步骤3-1，针对航空发动机数据集包含状态监测数据和运行环境数据两类数据的特点，构 建双输入通道特征提取网络，即性能退化特征提取通道和运行载荷剖面信息提取通道：
(1)性能退化特征提取通道构建
运用长短期记忆(Long Short-Term Memory,LSTM)网络、全连接(FullyConnected,FC) 和Dropout层构建特征提取模块，对蕴含在航空发动机状态监测数据中的性能退化特征进行 提取；随后，将状态监测数据Xmonitor输入到所构建的性能退化特征提取通道，便可得到性能 退化特征fpd；
fpd＝Φpd(Xmonitor,θpd,pdropout) (1)
其中，Φpd(·)和θpd分别表示所构建的性能退化特征提取通道的映射函数和参数，pdropout为Dropout层神经元间连接的屏蔽率；通过网格搜索法在交叉验证实验中验证得pdropout取0.25时 可同时满足缓解模型过拟合和保证IMCD方法性能的要求；
(2)运行载荷剖面信息提取通道构建
运用双向长短期记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)网络、FC和 Dropout层构建特征提取模块，对蕴含在航空发动机运行环境数据中的运行载荷剖面信息进行 提取；随后，将运行环境数据Xcondition输入到所构建的运行载荷剖面信息提取通道，便可得到 运行载荷剖面特征flp，从而将未来载荷信息融入到RUL预测中；
flp＝Φlp(Xcondition,θlp,pdropout) (2)
其中，Φlp(·)和θlp分别表示所构建的运行载荷剖面信息提取通道的映射函数与参数，pdropout取 0.25；
步骤3-2，针对步骤2-1中提取的性能退化特征和运行载荷剖面信息，构建特征拼接与回 归分析子网络，对两种特征向量进行拼接、特征降维、回归分析和映射，从而实现航空发动 机RUL的预测。
(1)特征拼接层构建
运用Concatenate层，将步骤2-1和步骤2-2获得的性能退化特征向量和运行载荷剖面特 征向量拼接为一个整体的特征向量ftotal，作为RUL预测的特征数据；
ftotal＝Concatenate(fpd,flp)＝[fpd,flp] (3)
其中，Concatenate(·)表示向量拼接函数；
(2)回归分析网络构建
针对拼接后所得多维特征向量ftotal，运用FC层和Dropout层搭建回归分析网络，实现特 征降维和回归分析，从而构建特征向量ftotal与RUL之间的映射关系；
y＝Φregression(ftotal,θregression,pdropout) (4)
其中，y为RUL的估计值序列，Φregression(·)和θregression分别表示所构建的回归分析网络的映射 函数与参数，pdropout取0.25；
步骤3-3，将所构建的DIC-LSTM模型的参数采用高斯分布进行初始化，并将模型参数 设置为服从高斯分布的随机变量，从而得到BDIC-SLTM模型。
本发明步骤4包括：
步骤4-1，将步骤1和2中得到的预处理后的训练样本数据集按特定的批量大小划分为 若干批训练样本数据，并将批训练样本数据转换为Tensor格式；
步骤4-2，将各批次训练样本数据通过补零的方式填充到与各批次样本最长序列一致；随 后运用打包方法将所填充的“0”剔除，并将被填充后的序列打包为PackedSequence格式，以 方便后续送入LSTM网络进行训练；
步骤4-3，将步骤3所得RUL估计值与RUL标签使用改进的损失函数，通过对传统的均 方误差(MSE)损失函数依时间进行指数加权，从而实现对航空发动机运行后期RUL预测误 差的惩罚；
Figure BDA0003529788680000041
Figure BDA0003529788680000042
其中，exp(·)表示以自然常数e为底的指数函数，y和y分别表示航空发动机RUL的真实值和 估计值序列，m为RUL序列数据长度，t为序列的当前时刻点；
步骤4-4，运用Lookahead优化器，结合步骤3-3提出的改进损失函数，对步骤2所提出 模型的参数进行优化和更新，从而提高了模型的训练效率和收敛速度；
步骤4-5，运用早停方法，在模型完成每次迭代训练后计算验证集上的RUL预测性能， 并规定模型验证性能开始出现下降征兆(或验证性能保持不变)，则停止训练过程输出模型参 数更新结果；
本发明步骤5包括：
步骤5-1，RUL不确定性分析：
假设
Figure BDA0003529788680000043
为原始数据、真实标签序列、预测标签序列和预测标签均值序列组成 的训练数据集，xi、yi、yi和
Figure BDA0003529788680000044
分别是第i个训练样本原始数据、真实标签序列、预测标签序 列和预测标签均值序列；将所得RUL预测结果中不确定性划分为预测模型的认知不确定性和 测量数据的偶然不确定性，并进一步对其进行推导和量化；
Figure BDA0003529788680000045
其中，f(·)表示从原始数据xi到真实标签序列yi的映射函数，fensemble(·)为f(·)的集成模型(即 f(·)的均值)，θ*为经过步骤3训练得到的模型最优参数集合；
对真实标签序列yi与预测标签均值序列
Figure BDA0003529788680000051
之间的误差εi进行计算：
Figure BDA0003529788680000052
Figure BDA0003529788680000053
其中，将
Figure BDA0003529788680000054
定义为
Figure BDA0003529788680000055
明显地，εi和
Figure BDA0003529788680000056
相互独立，所以真实标签序列yi与预测标签均 值序列
Figure BDA0003529788680000057
的方差
Figure BDA0003529788680000058
表示为：
Figure BDA0003529788680000059
式中，
Figure BDA00035297886800000510
和
Figure BDA00035297886800000511
分别表示模型预测方差和模型预测误差项的方差；其中，模型预测方差
Figure BDA00035297886800000512
又 可以进一步地被划分为表征认知不确定性和偶然不确定性的认知方差
Figure BDA00035297886800000513
和偶然方差
Figure BDA00035297886800000514
之和；
Figure BDA00035297886800000515
步骤5-2，RUL预测置信区间构建：
基于步骤5-1所得的
Figure BDA00035297886800000516
和
Figure BDA00035297886800000517
运用t-分布对RUL预测结果的 置信区间进行构建：
Figure BDA00035297886800000518
其中，1-α为置信度，df为t-分布的自由度，
Figure BDA00035297886800000519
为t-分布的1-α/2分位数；α可取0.1和 0.05等值，对应的RUL置信区间为90％和95％置信区间。
步骤5-3，IMCD方法：
①在不关闭Dropout操作的前提下对测试样本输入步骤3训练好的BDIC-LSTM模型中， 前向传播N次得到N组预测标签序列，计算得到第i个样本的预测标签的均值序列
Figure BDA00035297886800000520
认知 方差
Figure BDA00035297886800000521
与偶然方差
Figure BDA00035297886800000522
在计算认知方差
Figure BDA00035297886800000523
与偶然方差
Figure BDA00035297886800000524
过 程中，将N组预测标签序列划分为大小为K个等量批次，每个批次中含有M组预测标签序 列(N可以被M整除)；其中，N、K、M分别为1000、10、100；
Figure BDA0003529788680000061
Figure BDA0003529788680000062
Figure BDA0003529788680000063
Figure BDA0003529788680000064
Figure BDA0003529788680000065
其中，
Figure BDA0003529788680000066
表示第i个样本的第n组预测标签序列，
Figure BDA0003529788680000067
表示第i个样本在第k批次中第m个预 测标签序列，
Figure BDA0003529788680000068
和
Figure BDA0003529788680000069
分别为第i个样本在第k批次中的预测标签序列；
②计算第i个样本的预测误差项的方差Ri：
Figure BDA00035297886800000610
③运用FC层和Dropout层构建BP神经网络，将
Figure BDA00035297886800000611
作为训练集，采用留一法(Leave- One-Out Method,LOOM)对BP神经网络进行训练，从而得到原始数据xi到模型预测项方差 的预测序列Ri的映射；
④利用步骤4-2构建的式(12)得到RUL预测结果的置信区间。
本发明提出了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，有益效果在于：
本发明将深度学习与贝叶斯理论相结合，同时考虑了航空发动机未来载荷剖面信息对 RUL衰减速度的影响，能够实现准确且可信的RUL预测点估计与置信区间估计；本发明采 用双输入通道深度LSTM网络，对航空发动机所采集的状态监测数据和运行环境数据进行分 析和挖掘，提取其中的性能退化特征和运行载荷剖面信息，同时运用Bi-LSTM对未来载荷特 征进行捕获，提升了RUL预测的准确性；本发明运用贝叶斯理论对RUL预测结果中的不确 定性进行分析，提出了一种IMCD方法对RUL预测模型中的认知不确定性和测量数据中的 偶然不确定性进行分离和量化，实现了准确可信的RUL预测的置信区间估计，为航空发动机 维修方案的进一步制定提供辅助信息参考。
附图说明
图1为本发明实施例的航空发动机剩余寿命预测方法的总流程图；
图2为本发明实施例的时变运行环境下的数据预处理方法的流程图；
图3为本发明实施例的RUL标签修正示意图；
图4为本发明实施例的贝叶斯深度网络模型构建的流程图；
图5为本发明实施例的贝叶斯深度网络模型训练的流程图；
图6为本发明实施例的P&P训练模式的示意图；
图7为本发明实施例的改进损失函数的示意图；
图8为本发明实施例的RUL预测不确定性分析与量化的流程图；
图9为本发明实施例的IMCD方法的实现流程图；
图10为本发明实施例的部分航空发动机RUL预测点估计与区间估计结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明方法所总体流程如图1所示，其中包括的数据预处理流程如图2所示，RUL标签 修正方法的示意图如图3所示，贝叶斯深度网络模型构建的流程如图4所示，深度网络模型 训练的流程如图5所示，P&P训练模式的示意图如图6所示，改进损失函数的示意图如图7所示，RUL预测不确定性分析与量化的流程如图8所示，IMCD方法的实现流程如图9所示， 部分航空发动机RUL预测点估计与区间估计结果如图10所示。本发明实施例中的航空发动 机剩余寿命预测具体构建步骤如下：
步骤1，时变运行环境下的数据预处理：如图2所示，将航空发动机所采集的数据集分 离为状态监测数据和运行环境数据，根据单调性、相关性、预测性和鲁棒性等评价指标筛选 出数据集中具有预测性的监测数据和运行环境数据用于后续特征提取；随后运用max-min标 准化方法对数据进行归一化处理；若航空发动机样本只在单一运行环境下采集，则直接运用 max-min标准化方法进行归一处理；若航空发动机样本在时变离散的运行环境下采集，则分 别对各运行环境下的数据进行归一化处理；最后将数据转换为模型可识别的形式和文件格式；
步骤2，RUL标签修正：选择RULmax作为航空发动机运行过程中的RUL上限，对训练集样本的RUL标签值进行修正和标注，如图3所示；其中，RULmax为125；
步骤3，贝叶斯深度网络模型构建：构建一种双输入通道的深度LSTM(Dual-Input-Channels Long Short-Term Memory,DIC-LSTM)网络，分别对航空发动机的状态监测数据中 的性能退化特征和运行环境数据中的运行载荷剖面信息进行提取，相应的构建流程如图4所 示；同时将所构建的DIC-LSTM网络参数设置为随机变量，并在DIC-LSTM网络的每一层都 构建Dropout层，在避免模型训练过拟合的同时实现贝叶斯深度网络的构建，为后续IMCD 方法的提出提供技术支撑；
步骤4，贝叶斯深度网络模型训练：基于步骤1和2中得到的预处理后的训练数据和RUL 标签值，运用补零和打包(Padding&Packing,P&P)训练模式、改进损失函数、Lookahead优 化器和早停方法，对步骤3所构建的贝叶斯双输入通道的深度LSTM(Bayesian Dual-Input- Channels Long Short-Term Memory,BDIC-LSTM)网络进行训练，具体流程如图5所示；
步骤5，RUL预测不确定性分析与量化：如图8和图9所示，对RUL预测结果的不确定性进行分析，提出一种IMCD方法对RUL预测的认知不确定性和偶然不确定性进行评估，从而获得RUL预测结果的置信区间估计；
步骤6，RUL预测点估计与置信区间估计结果获得：利用步骤1获得的预处理后的航空 发动机测试样本输入到经过步骤4完成训练的BDIC-LSTM网络中，运用步骤5提出的IMCD方法，获得RUL预测的点估计与区间估计结果如图10所示。
本发明步骤3包括：
步骤3-1，针对航空发动机数据集包含状态监测数据和运行环境数据两类数据的特点，构 建双输入通道特征提取网络，即性能退化特征提取通道和运行载荷剖面信息提取通道：
(1)性能退化特征提取通道构建
运用长短期记忆(Long Short-Term Memory,LSTM)网络、全连接(FullyConnected,FC) 和Dropout层构建特征提取模块，对蕴含在航空发动机状态监测数据中的性能退化特征进行 提取；随后，将状态监测数据Xmonitor输入到所构建的性能退化特征提取通道，便可得到性能 退化特征fpd；
fpd＝Φpd(Xmonitor,θpd,pdropout) (19)
其中，Φpd(·)和θpd分别表示所构建的性能退化特征提取通道的映射函数和参数，pdropout为 Dropout层神经元间连接的屏蔽率；通过网格搜索法在交叉验证实验中验证得pdropout取0.25时 可同时满足缓解模型过拟合和保证IMCD方法性能的要求；
(2)运行载荷剖面信息提取通道构建
运用双向长短期记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)网络、FC和 Dropout层构建特征提取模块，对蕴含在航空发动机运行环境数据中的运行载荷剖面信息进行 提取；随后，将运行环境数据Xcondition输入到所构建的运行载荷剖面信息提取通道，便可得到 运行载荷剖面特征flp，从而将未来载荷信息融入到RUL预测中；
flp＝Φlp(Xcondition,θlp,pdropout) (20)
其中，Φlp(·)和θlp分别表示所构建的运行载荷剖面信息提取通道的映射函数与参数，pdropout取 0.25
步骤3-2，针对步骤2-1中提取的性能退化特征和运行载荷剖面信息，构建特征拼接与回 归分析子网络，对两种特征向量进行拼接、特征降维、回归分析和映射，从而实现航空发动 机RUL的预测。
(1)特征拼接层构建
运用Concatenate层，将步骤2-1和步骤2-2获得的性能退化特征向量和运行载荷剖面特 征向量拼接为一个整体的特征向量ftotal，作为RUL预测的特征数据；
ftotal＝Concatenate(fpd,flp)＝[fpd,flp] (21)
其中，Concatenate(·)表示向量拼接函数；
(2)回归分析网络构建
针对拼接后所得多维特征向量ftotal，运用FC层和Dropout层搭建回归分析网络，实现特 征降维和回归分析，从而构建特征向量ftotal与RUL之间的映射关系；
y＝Φregression(ftotal,θregression,pdropout) (22)
其中，y为RUL的估计值序列，Φregression(·)和θregression分别表示所构建的回归分析网络的映射 函数与参数，pdropout取0.25；
步骤3-3，将所构建的DIC-LSTM模型的参数采用高斯分布进行初始化，并将模型参数 设置为服从高斯分布的随机变量，从而得到BDIC-SLTM模型。
本发明步骤4包括：
步骤4-1，将步骤1和2中得到的预处理后的训练样本数据集按特定的批量大小划分为 若干批训练样本数据，并将批训练样本数据转换为Tensor格式；
步骤4-2，如图6所示，将各批次训练样本数据通过补零的方式填充到与各批次样本最长 序列一致；随后运用打包方法将所填充的“0”剔除，并将被填充后的序列打包为PackedSequence格式，以方便后续送入LSTM网络进行训练；
步骤4-3，将步骤3所得RUL估计值与RUL标签使用改进的损失函数，通过对传统的均 方误差(MSE)损失函数依时间进行指数加权，从而实现对航空发动机运行后期RUL预测误 差的惩罚，相应的方法示意图如图7所示；
Figure BDA0003529788680000101
Figure BDA0003529788680000102
其中，exp(·)表示以自然常数e为底的指数函数，y和y分别表示航空发动机RUL的真实值和 估计值序列，m为RUL序列数据长度，t为序列的当前时刻点；
步骤4-4，运用Lookahead优化器，结合步骤3-3提出的改进损失函数，对步骤2所提出 模型的参数进行优化和更新，从而提高了模型的训练效率和收敛速度；
步骤4-5，运用早停方法，在模型完成每次迭代训练后计算验证集上的RUL预测性能， 并规定模型验证性能开始出现下降征兆(或验证性能保持不变)，则停止训练过程输出模型参 数更新结果；
本发明步骤5包括：
步骤5-1，RUL不确定性分析：
假设
Figure BDA0003529788680000103
为原始数据、真实标签序列、预测标签序列和预测标签均值序列组成 的训练数据集，xi、yi、yi和
Figure BDA0003529788680000104
分别是第i个训练样本原始数据、真实标签序列、预测标签序 列和预测标签均值序列；将所得RUL预测结果中不确定性划分为预测模型的认知不确定性和 测量数据的偶然不确定性，并进一步对其进行推导和量化；
Figure BDA0003529788680000105
其中，f(·)表示从原始数据xi到真实标签序列yi的映射函数，fensemble(·)为f(·)的集成模型(即f(·)的均值)，θ*为经过步骤3训练得到的模型最优参数集合；
对真实标签序列yi与预测标签均值序列
Figure BDA0003529788680000111
之间的误差εi进行计算：
Figure BDA0003529788680000112
Figure BDA0003529788680000113
其中，将
Figure BDA0003529788680000114
定义为
Figure BDA0003529788680000115
明显地，εi和
Figure BDA0003529788680000116
相互独立，所以真实标签序列yi与预测标签均 值序列
Figure BDA0003529788680000117
的方差
Figure BDA0003529788680000118
表示为：
Figure BDA0003529788680000119
式中，
Figure BDA00035297886800001110
和
Figure BDA00035297886800001111
分别表示模型预测方差和模型预测误差项的方差；其中，模型预测方差
Figure BDA00035297886800001112
又 可以进一步地被划分为表征认知不确定性和偶然不确定性的认知方差
Figure BDA00035297886800001113
和偶然方差
Figure BDA00035297886800001114
之和；
Figure BDA00035297886800001115
步骤5-2，RUL预测置信区间构建：
基于步骤5-1所得的
Figure BDA00035297886800001116
和
Figure BDA00035297886800001117
运用t-分布对RUL预测结果的 置信区间进行构建：
Figure BDA00035297886800001118
其中，1-α为置信度，df为t-分布的自由度，
Figure BDA00035297886800001119
为t-分布的1-α/2分位数；α可取0.1和 0.05等值，对应的RUL置信区间为90％和95％置信区间。
步骤5-3，IMCD方法：
①在不关闭Dropout操作的前提下对测试样本输入步骤3训练好的BDIC-LSTM模型中， 前向传播N次得到N组预测标签序列，计算得到第i个样本的预测标签的均值序列
Figure BDA00035297886800001120
认知 方差
Figure BDA00035297886800001121
与偶然方差
Figure BDA00035297886800001122
在计算认知方差
Figure BDA00035297886800001123
与偶然方差
Figure BDA00035297886800001124
过 程中，将N组预测标签序列划分为大小为K个等量批次，每个批次中含有M组预测标签序 列(N可以被M整除)；其中，N、K、M分别为1000、10、100；
Figure BDA0003529788680000121
Figure BDA0003529788680000122
Figure BDA0003529788680000123
Figure BDA0003529788680000124
Figure BDA0003529788680000125
其中，
Figure BDA0003529788680000126
表示第i个样本的第n组预测标签序列，
Figure BDA0003529788680000127
表示第i个样本在第k批次中第m个预 测标签序列，
Figure BDA0003529788680000128
和
Figure BDA0003529788680000129
分别为第i个样本在第k批次中的预测标签序列；
②计算第i个样本的预测误差项的方差Ri：
Figure BDA00035297886800001210
③运用FC层和Dropout层构建BP神经网络，将
Figure BDA00035297886800001211
作为训练集，采用留一法(Leave- One-Out Method,LOOM)对BP神经网络进行训练，从而得到原始数据xi到模型预测项方差 的预测序列Ri的映射；
④利用步骤4-2构建的式(30)得到RUL预测结果的置信区间。
本发明提出了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，有益效果在于：
本发明将深度学习与贝叶斯理论相结合，同时考虑了航空发动机未来载荷剖面信息对 RUL衰减速度的影响，能够实现准确且可信的RUL预测点估计与置信区间估计；本发明采 用双输入通道深度LSTM网络，对航空发动机所采集的状态监测数据和运行环境数据进行分 析和挖掘，提取其中的性能退化特征和运行载荷剖面信息，同时运用Bi-LSTM对未来载荷特 征进行捕获，提升了RUL预测的准确性；本发明运用贝叶斯理论对RUL预测结果中的不确 定性进行分析，提出了一种IMCD方法对RUL预测模型中的认知不确定性和测量数据中的 偶然不确定性进行分离和量化，实现了准确可信的RUL预测的置信区间估计，为航空发动机 维修方案的进一步制定提供辅助信息参考。
本发明提供了一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法，具体实现该技 术方案的方法和途径很多，以上所述是本发明的优选实施方式；其中，上述设计的开源方法、 数据处理工具、参数值等是为了帮助读者理解发明的原理和思路，本发明的保护范围并不局 限于这样的特别陈述和实施例。对于本技术领域的普通技术人员来说，在不脱离本发明原理 的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于贝叶斯深度学习的航空发动机剩余寿命(Remaining Useful Life,RUL)预测方法，其特征在于，包括以下步骤：
步骤1，时变运行环境下的数据预处理：将航空发动机所采集的数据集分离为状态监测数据和运行环境数据，根据单调性、相关性、预测性和鲁棒性等评价指标筛选出数据集中具有预测性的监测数据和运行环境数据用于后续特征提取；随后运用max-min标准化方法对数据进行归一化处理；若航空发动机样本只在单一运行环境下采集，则直接运用max-min标准化方法进行归一处理；若航空发动机样本在时变离散的运行环境下采集，则分别对各运行环境下的数据进行归一化处理；最后将数据转换为模型可识别的形式和文件格式；
步骤2，RUL标签修正：选择RULmax作为航空发动机运行过程中的RUL上限，对训练集样本的RUL标签值进行修正和标注；
步骤3，贝叶斯深度网络模型构建：构建一种双输入通道的深度LSTM(Dual-Input-Channels Long Short-Term Memory,DIC-LSTM)网络，分别对航空发动机的状态监测数据中的性能退化特征和运行环境数据中的运行载荷剖面信息进行提取；同时将所构建的DIC-LSTM网络参数设置为随机变量，并在DIC-LSTM网络的每一层都构建Dropout层，在避免模型训练过拟合的同时实现贝叶斯深度网络的构建，为后续改进的蒙特卡罗Dropout(ImprovedMonte Carlo Dropout,IMCD)方法的提出提供技术支撑；
步骤4，贝叶斯深度网络模型训练：基于步骤1和2中得到的预处理后的训练数据和RUL标签值，运用补零和打包(Padding&Packing,P&P)训练模式、改进损失函数、Lookahead优化器和早停方法，对步骤3所构建的贝叶斯双输入通道的深度LSTM(Bayesian Dual-Input-Channels Long Short-Term Memory,BDIC-LSTM)网络进行训练；
步骤5，RUL预测不确定性分析与量化：对RUL预测结果的不确定性进行分析，提出一种IMCD方法对RUL预测的认知不确定性和偶然不确定性进行评估，从而获得RUL预测结果的置信区间估计；
步骤6，RUL预测点估计与置信区间估计结果获得：利用步骤1获得的预处理后的航空发动机测试样本输入到经过步骤4完成训练的BDIC-LSTM网络中，运用步骤5提出的IMCD方法，获得RUL预测的点估计与区间估计结果。
2.根据权利要求1所述的方法，其特征在于步骤3包括：
步骤3-1，针对航空发动机数据集包含状态监测数据和运行环境数据两类数据的特点，构建双输入通道特征提取网络，即性能退化特征提取通道和运行载荷剖面信息提取通道：
(1)性能退化特征提取通道构建
运用长短期记忆(Long Short-Term Memory,LSTM)网络、全连接(Fully Connected,FC)和Dropout层构建特征提取模块，对蕴含在航空发动机状态监测数据中的性能退化特征进行提取；随后，将状态监测数据输入到所构建的性能退化特征提取通道，便可得到性能退化特征；
(2)运行载荷剖面信息提取通道构建
运用双向长短期记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)网络、FC和Dropout层构建特征提取模块，对蕴含在航空发动机运行环境数据中的运行载荷剖面信息进行提取；随后，将运行环境数据输入到所构建的运行载荷剖面信息提取通道，便可得到运行载荷剖面特征，从而将未来载荷信息融入到RUL预测中；
步骤3-2，针对步骤2-1中提取的性能退化特征和运行载荷剖面信息，构建特征拼接与回归分析子网络，对两种特征向量进行拼接、特征降维、回归分析和映射，从而实现航空发动机RUL的预测。
(1)特征拼接层构建
运用Concatenate层，将步骤2-1和步骤2-2获得的性能退化特征向量和运行载荷剖面特征向量拼接为一个整体的特征向量，作为RUL预测的特征数据；
(2)回归分析网络构建
针对拼接后所得多维特征向量，运用FC层和Dropout层搭建回归分析网络，实现特征降维和回归分析，从而构建特征向量与RUL之间的映射关系；
步骤3-3，将所构建的DIC-LSTM模型的参数采用高斯分布进行初始化，并将模型参数设置为服从高斯分布的随机变量，从而得到BDIC-SLTM模型。
3.根据权利要求1所述的方法，其特征在于步骤4包括：
步骤4-1，将步骤1和2中得到的预处理后的训练样本数据集按特定的批量大小划分为若干批训练样本数据，并将批训练样本数据转换为Tensor格式；
步骤4-2，将各批次训练样本数据通过补零的方式填充到与各批次样本最长序列一致；随后运用打包方法将所填充的“0”剔除，并将被填充后的序列打包为PackedSequence格式，以方便后续送入LSTM网络进行训练；
步骤4-3，将步骤3所得RUL估计值与RUL标签使用改进的损失函数，通过对传统的均方误差(MSE)损失函数依时间进行指数加权，从而实现对航空发动机运行后期RUL预测误差的惩罚；
Figure FDA0003529788670000021
其中，exp(·)表示以自然常数e为底的指数函数，y和y分别表示航空发动机RUL的真实值和估计值序列，m为RUL序列数据长度，t为序列的当前时刻点；
步骤4-4，运用Lookahead优化器，结合步骤3-3提出的改进损失函数，对步骤2所提出模型的参数进行优化和更新，从而提高了模型的训练效率和收敛速度；
步骤4-5，运用早停方法，在模型完成每次迭代训练后计算验证集上的RUL预测性能，并规定模型验证性能开始出现下降征兆(或验证性能保持不变)，则停止训练过程输出模型参数更新结果。
4.根据权利要求1所述的方法，其特征在于步骤5包括：
步骤5-1，RUL不确定性分析：
假设
Figure FDA0003529788670000031
为原始数据、真实标签序列、预测标签序列和预测标签均值序列组成的训练数据集，xi、yi、yi和
Figure FDA0003529788670000032
分别是第i个训练样本原始数据、真实标签序列、预测标签序列和预测标签均值序列；将所得RUL预测结果中不确定性划分为预测模型的认知不确定性和测量数据的偶然不确定性，并进一步对其进行推导和量化；
对真实标签序列yi与预测标签均值序列
Figure FDA0003529788670000033
之间的误差εi进行计算和变换得：
Figure FDA0003529788670000034
其中，将
Figure FDA0003529788670000035
定义为
Figure FDA0003529788670000036
明显地，εi和
Figure FDA0003529788670000037
相互独立，所以真实标签序列yi与预测标签均值序列
Figure FDA0003529788670000038
的方差
Figure FDA0003529788670000039
表示为模型预测方差
Figure FDA00035297886700000310
和模型预测误差项的方差
Figure FDA00035297886700000311
之和；其中，模型预测方差
Figure FDA00035297886700000312
又可以进一步地被划分为表征认知不确定性和偶然不确定性的认知方差
Figure FDA00035297886700000313
和偶然方差
Figure FDA00035297886700000314
之和；
步骤5-2，RUL预测置信区间构建：
基于步骤5-1所得的
Figure FDA00035297886700000315
和
Figure FDA00035297886700000316
运用t-分布对RUL预测结果的置信区间进行构建：
Figure FDA00035297886700000317
其中，1-α为置信度，df为t-分布的自由度，
Figure FDA00035297886700000318
为t-分布的1-α/2分位数；
步骤5-3，IMCD方法：
①在不关闭Dropout操作的前提下对测试样本输入步骤3训练好的BDIC-LSTM模型中，前向传播N次得到N组预测标签序列，计算得到第i个样本的预测标签的均值序列
Figure FDA0003529788670000041
认知方差
Figure FDA0003529788670000042
与偶然方差
Figure FDA0003529788670000043
在计算认知方差
Figure FDA0003529788670000044
与偶然方差
Figure FDA0003529788670000045
过程中，将N组预测标签序列划分为大小为K个等量批次，每个批次中含有M组预测标签序列(N可以被M整除)；
②计算第i个样本的预测误差项的方差Ri；
③运用FC层和Dropout层构建BP神经网络，将
Figure FDA0003529788670000046
作为训练集，采用留一法(Leave-One-Out Method,LOOM)对BP神经网络进行训练，从而得到原始数据xi到模型预测项方差的预测序列Ri的映射；
④利用步骤4-2构建的式(3)得到RUL预测结果的置信区间。
CN202210214313.1A 2022-03-03 2022-03-03 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法 Active CN114707234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210214313.1A CN114707234B (zh) 2022-03-03 2022-03-03 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210214313.1A CN114707234B (zh) 2022-03-03 2022-03-03 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法

Publications (2)

Publication Number Publication Date
CN114707234A true CN114707234A (zh) 2022-07-05
CN114707234B CN114707234B (zh) 2023-04-25

Family

ID=82166072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210214313.1A Active CN114707234B (zh) 2022-03-03 2022-03-03 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法

Country Status (1)

Country Link
CN (1) CN114707234B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011109A (zh) * 2023-01-13 2023-04-25 北京控制工程研究所 一种航天器寿命预测方法、装置、电子设备及存储介质
CN116502544A (zh) * 2023-06-26 2023-07-28 武汉新威奇科技有限公司 一种基于数据融合的电动螺旋压力机寿命预测方法及系统
CN116910920A (zh) * 2023-09-12 2023-10-20 陕西万禾数字科技有限公司 基于增强现实技术的航空发动机综合健康管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3035140A1 (en) * 2014-12-19 2016-06-22 Rolls-Royce Deutschland Ltd & Co KG Equipment health monitoring method and system
CN107194050A (zh) * 2017-05-11 2017-09-22 电子科技大学 随机载荷作用下涡轮盘结构的概率疲劳寿命预测方法
CN110222371A (zh) * 2019-05-05 2019-09-10 北京大学 基于贝叶斯和神经网络的发动机剩余寿命在线预测方法
CN110532626A (zh) * 2019-07-31 2019-12-03 西安交通大学 基于数字孪生的航空发动机主轴承剩余寿命预测方法
CN112287596A (zh) * 2020-09-22 2021-01-29 南京航空航天大学 一种基于聚类和lstm的发动机剩余寿命预测方法
CN113221282A (zh) * 2021-05-19 2021-08-06 西安交通大学 基于贝叶斯残差卷积网络的航空发动机寿命预测方法
CN113326577A (zh) * 2021-04-25 2021-08-31 潍坊学院 考虑多应力比的全寿命与剩余寿命预测方法、系统及应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3035140A1 (en) * 2014-12-19 2016-06-22 Rolls-Royce Deutschland Ltd & Co KG Equipment health monitoring method and system
CN107194050A (zh) * 2017-05-11 2017-09-22 电子科技大学 随机载荷作用下涡轮盘结构的概率疲劳寿命预测方法
CN110222371A (zh) * 2019-05-05 2019-09-10 北京大学 基于贝叶斯和神经网络的发动机剩余寿命在线预测方法
CN110532626A (zh) * 2019-07-31 2019-12-03 西安交通大学 基于数字孪生的航空发动机主轴承剩余寿命预测方法
CN112287596A (zh) * 2020-09-22 2021-01-29 南京航空航天大学 一种基于聚类和lstm的发动机剩余寿命预测方法
CN113326577A (zh) * 2021-04-25 2021-08-31 潍坊学院 考虑多应力比的全寿命与剩余寿命预测方法、系统及应用
CN113221282A (zh) * 2021-05-19 2021-08-06 西安交通大学 基于贝叶斯残差卷积网络的航空发动机寿命预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUE ZHANG: "Aeroengine Remaining Life Prediction Algorithm Based on Improved Differential Time Domain Features and LSTM" *
答宇航: "基于残余应力的航空发动机压气机叶片剩余寿命预测研究" *
黄洪钟等: "基于ALK-MCS算法的航空发动机轴承可靠性分析" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011109A (zh) * 2023-01-13 2023-04-25 北京控制工程研究所 一种航天器寿命预测方法、装置、电子设备及存储介质
CN116011109B (zh) * 2023-01-13 2023-09-08 北京控制工程研究所 一种航天器寿命预测方法、装置、电子设备及存储介质
CN116502544A (zh) * 2023-06-26 2023-07-28 武汉新威奇科技有限公司 一种基于数据融合的电动螺旋压力机寿命预测方法及系统
CN116502544B (zh) * 2023-06-26 2023-09-12 武汉新威奇科技有限公司 一种基于数据融合的电动螺旋压力机寿命预测方法及系统
CN116910920A (zh) * 2023-09-12 2023-10-20 陕西万禾数字科技有限公司 基于增强现实技术的航空发动机综合健康管理系统及方法
CN116910920B (zh) * 2023-09-12 2023-12-05 陕西万禾数字科技有限公司 基于增强现实技术的航空发动机综合健康管理系统及方法

Also Published As

Publication number Publication date
CN114707234B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN114707234A (zh) 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法
CN113312447B (zh) 基于概率标签估计的半监督日志异常检测方法
CN112052979A (zh) 基于故障预测与健康管理的设备备件需求预测系统
Kim et al. Abnormality diagnosis model for nuclear power plants using two-stage gated recurrent units
Xu et al. A novel health indicator for intelligent prediction of rolling bearing remaining useful life based on unsupervised learning model
CN115017826B (zh) 一种装备剩余使用寿命预测方法
Guo et al. A hybrid prognosis scheme for rolling bearings based on a novel health indicator and nonlinear Wiener process
CN115062674B (zh) 基于深度学习的刀具排布及换刀方法、设备及存储介质
CN113962308A (zh) 一种航空设备故障预测方法
Zheng et al. An unsupervised transfer learning method based on SOCNN and FBNN and its application on bearing fault diagnosis
CN113094826A (zh) 一种基于任务可靠度的多态制造系统剩余寿命预测方法
CN116840658A (zh) 一种针对芯片固件的故障预测和诊断方法
CN106844152A (zh) 银行后台任务跑批时间的相关性分析方法及装置
CN116933003A (zh) 基于DaNet的无人机发动机的剩余使用寿命预测方法
CN116910574A (zh) 基于元学习和时间卷积网络的机械设备诊断方法及装置
CN116415485A (zh) 一种基于动态分布自适应的多源域迁移学习的剩余使用寿命预测方法
CN112016240B (zh) 一种相似证据非完全降解设备剩余稳定使用寿命预测方法
CN113468720B (zh) 一种数模联动的随机退化设备寿命预测方法
CN114723323A (zh) 一种融合物理知识的数据驱动风险分析方法及装置
CN110874506A (zh) 一种低温设备故障预测的方法
CN115600695A (zh) 一种计量设备的故障诊断方法
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
Luo et al. A novel method for remaining useful life prediction of roller bearings involving the discrepancy and similarity of degradation trajectories
Lu et al. Physics guided neural network: Remaining useful life prediction of rolling bearings using long short-term memory network through dynamic weighting of degradation process
CN114330515A (zh) 一种桥梁监测数据异常诊断与修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant