CN115618733A - 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 - Google Patents
针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 Download PDFInfo
- Publication number
- CN115618733A CN115618733A CN202211299946.3A CN202211299946A CN115618733A CN 115618733 A CN115618733 A CN 115618733A CN 202211299946 A CN202211299946 A CN 202211299946A CN 115618733 A CN115618733 A CN 115618733A
- Authority
- CN
- China
- Prior art keywords
- attention mechanism
- data
- head
- service life
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000036541 health Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101100066308 Neisseria gonorrhoeae farB gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004514 thermodynamic simulation Methods 0.000 description 1
- 230000000930 thermomechanical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，属于航空发动机的健康管理与预测技术领域。首先，对数据预处理得到样本，设置RUL标签，得到样本的剩余使用寿命真实值。其次，构建由位置编码层、特征提取层和回归预测层组成的多尺度混杂注意力机制模型。再次，对模型进行训练，通过最小化损失函数，使模型输出的剩余使用寿命预测值RUL与真实值之间的差异逐渐变小，直到达到停止标准。最后，使用训练后的模型预测剩余使用寿命。本发明能够实现单个样本不同时间步信息的充分融合，可以考虑到所有样本间的相关性；能够更精确地预测航空发动机的剩余使用寿命。
Description
技术领域
本发明属于航空发动机的健康管理与预测技术领域，涉及一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制的深度学习建模方法。
背景技术
航空发动机作为飞机的重要部件，其安全性和可靠性举足轻重。然而由于大部分零件都长时间工作在高温、高压、高速旋转等恶劣工作环境下，航空发动机发生故障的概率较高，并且随着使用时长的增加，各部件逐步老化，故障率随步攀升，严重影响飞机的安全运行。传统的航空发动机维修方式主要分为计划维修和事后维修，经常会导致“过修”和“失修”等两种情形，不仅造成了严重的资源浪费，也无法消除航空发动机潜在的安全隐患。解决这个问题的有效方法主要是针对航空发动机的历史传感器数据，提出一种基于数据驱动的机器学习或深度学习模型，从而预测航空发动机的剩余使用寿命，对地面系统提供一些决策支持，辅助地面维修人员对发动机进行一些维修工作，保证飞机安全性能的同时，避免“过度维护”造成的人力和物力方面的浪费。
目前，预测航空发动机剩余使用寿命的方法有以下几种：
1)基于卷积神经网络的预测方法。
该方法是在航空发动机历史传感器数据上，通过滑动时间窗口构造样本，然后使用卷积神经网络提取特征，最后通过全连接层进行剩余使用寿命的预测。卷积神经网络是一种通过卷积计算的前馈神经网络，是受生物学上的感受野机制启发而提出的，具有平移不变性，使用卷积核，最大的应用了局部信息，保留了平面结构信息。但是该方法在历史传感器数据的所有时间步上，感受野受到卷积核大小的限制，因此无法挖掘在时间维度相距较远的两组数据之间的相关性，预测能力比较有限。
2)基于长短期记忆神经网络的预测方法。
该方法也是在航空发动机历史传感器数据上，使用滑动时间窗口构造样本，然后通过长短期记忆神经网络提取特征，最后引入全连接层进行剩余使用寿命的预测。长短期记忆神经网络通过引入门控机制来设计历史数据特征的流动与损失，解决了传统循环神经网络的长期依赖问题。虽然长短期记忆神经网络能够充分利用时序信息，但是每一个时间步的信息是串行连接的，并行度较差，训练和预测耗时较长，同时由于没有考虑每个时间步的权重，冗余信息较多，从而最终影响预测的能力。
综合以上论述，本发明设计的多尺度混杂注意力机制深度学习模型是一种能够精确预测具有耦合时间序列数据的航空发动机剩余使用寿命。本专利由中国博士后科学基金(2022TQ0179)和国家重点研发计划(2022YFF0610900)资助。
发明内容
本发明针对卷积神经网络和长短期记忆神经网络在航空发动机剩余使用寿命预测中所带来的局限性问题，提供了一种多尺度混杂注意力机制模型，并获得了更好的预测精确度。由于航空发动机是一种高度复杂和精密的气动热力机械系统，其传感器产生的时间序列数据具有很强的时序关联性，耦合性与多模态特征，因此，如何在多变的全包线环境下来预测航空发动机的剩余使用寿命一直是一个具有挑战性的难题。
为了达到上述目的，本发明采用的技术方案为：
一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法(方法流程图如图1所示)，包括离线训练阶段和在线测试阶段，这两个阶段的数据预处理方法类似。离线训练阶段采用航空发动机历史传感器数据训练多尺度混杂注意力机制模型，在线测试阶段根据航空发动机传感器采集的实时数据，使用训练好的模型预测剩余使用寿命。
具体步骤如下：
步骤1：数据预处理
1.1)分析航空发动机传感器原始数据与剩余使用寿命间的相关性，如果某个传感器原始数据的数值是恒定的，不随飞行循环数增加而变化，则剔除该传感器原始数据，实现数据降维。
1.2)对所选取的传感器产生的时间序列数据进行标准化，标准化公式如下：
其中，x是航空发动机各传感器产生的原始时间序列数据，μ是原始时间序列数据的均值，δ是原始时间序列数据的方差，z是标准化后的时间序列数据。
1.3)在标准化后的时间序列数据上使用滑动时间窗口构造样本。具体方式如图2所示，其中，fij表示航空发动机第i个传感器数据标准化后的第j个时间步的数值，航空发动机传感器数据的维度为k，时间序列长度为m，滑动时间窗口大小为n，滑动步长为1，沿着时间增长方向滑动，最终构造出的样本形式为
步骤2：设置RUL标签
对于步骤1.3构造的样本
中的最后一条数据(即第n条数据)，将总飞行循环数Cycletotal与当前飞行循环数Cyclecur的差值和剩余使用寿命阈值RULTH相比取小者，计算其剩余使用寿命RULlabel：
RULlabel＝min(Cycletotal-Cyclecur,RULTH) (2)
将RILlabel作为该样本的剩余使用寿命真实值供步骤4训练时使用。
步骤3：构建多尺度混杂注意力机制模型
多尺度混杂注意力机制模型网络结构图如图3a所示，可以分为位置编码层、特征提取层和回归预测层这三个部分。
(3.1)位置编码层
首先，将步骤1.3构造的样本
通过线性层映射到更高维度的空间
使数据维度d可以被后续的注意头数量H整除：
Y＝XWY (3)
其中，
是可训练的投影矩阵。
然后，加入正弦余弦位置编码得到
作为步骤3.2的输入，位置编码矩阵
中各个位置的值如下：
其中，Pi,2j是编码矩阵P第i行第2j列(即为偶数列)的值；Pi,2j+1是编码矩阵P第i行第2j+1列(即为奇数列)的值；i∈[0,n-1]表示行数，
表示列数。
(3.2)特征提取层
特征提取层又可以分为多头混杂注意力机制和多尺度卷积神经网络两个部分，同时在这两个部分的结束位置加入残差连接和层归一化方法来抑制过拟合。多头混杂注意力机制部分由多头自注意力机制和多头外部注意力机制混杂而成。
①多头自注意力机制如图3d所示，首先，将步骤3.1得到的结果
作为输入通过线性层映射到查询Q、键K和值V这3个子空间：
其中
是可训练的投影矩阵。接着将他们拆分为H个注意头：
其中
是第i个注意头的查询、键和值。
然后，在每个注意头中对查询Qi和键Ki进行点积运算，并通过除以数据维度d的开根号进行缩放，接着按列进行指数归一化(Softmax)运算后乘以值Vi得到单个注意头的结果：
最后，将每个注意头的结果进行拼接，得到最终结果MultiHeadSelfAttention，实现多头自注意力机制在不同时间步上对数据之间的相关性进行特征提取。
其中，headi＝SelfAttention(Qi,Ki,Vi)，
是可训练的投影矩阵。
②多头外部注意力机制如图3e所示，首先，将步骤3.1得到的结果
作为输入通过线性层映射到查询(Query)子空间：
其中
是可训练的投影矩阵。接着将其拆分为H个注意头：
其中
是第i个注意头的查询。
然后，在每个注意头Qi中对查询和外部键记忆单元
进行点积运算，并进行规范化，接着乘以外部值记忆单元
得到单个注意头的结果：
其中规范化采用双重归一化，即先按列进行指数归一化，接着按列进行归一化，具体方法如下：
其中
为原始数据的第i行第j列的值，αi,j为规范化后数据的第i行第j列的值。
最后，将每个注意头的结果进行拼接，得到最终结果MultiHeadExternalAttention，实现多头外部注意力机制在不同时间步上对数据之间相关性进行特征提取。
其中headi＝ExternalAttention(Qi)，
是可训练的投影矩阵。
③接下来将多头自注意力机制和多头外部注意力机制进行混杂形成多头混杂注意力机制。与传统单一注意力机制不同，多头混杂注意力机制将两种不同的注意力机制进行混杂，既保留了自注意力机制对单个样本数据优秀的时序间相关性特征提取能力，又由于引入了在全数据集上共享的外部键记忆单元和外部值记忆单元，从而考虑到了不同样本间的相关性，提升了注意力机制对时序数据的概括能力。
首先设置1个可以训练的参数
α＝[α1,α2]，初始值为1(后续在步骤4的训练过程中进行梯度更新)，然后对其进行指数归一化，最后使用该参数对多头自注意力机制提取的特征MultiHeadSelfAttention和多头外部注意力机制提取的特征MultiHeadExternalAttention进行加权求和形成得到最终结果HybridAttention：
④多尺度卷积神经网络如图3a所示，不同于传统的卷积神经网络，多尺度卷积神经网络不包含池化层和全连接层，只使用卷积层。同时卷积层的卷积核尺寸不再是单个，而是使用多个不同尺寸的卷积核对时序数据进行特征提取，并将结果进行融合，实现对数据本地特征提取能力的增强。
将多头混杂注意力机制提取的特征HybridAttention作为输入，首先使用3个不同尺寸(1*1，1*3和1*5)的卷积核分别提取特征，然后设置1个可以学习的参数
初始值为1(后续在步骤4的训练过程中进行梯度更新)，并对其进行指数归一化，最后使用该参数对3个卷积核提取的特征进行加权求和得到最终结果MultiScaleConv：
其中
为第i个卷积核提取的特征。
(3.3)回归预测层
首先将步骤3.2得到的结果
展开为
然后通过两层全连接神经网络计算结果，得到航空发动机剩余使用寿命(RUL)的预测值：
RUL＝Relu(FW2+b1)W2+b2 (16)
其中，
为第一层全连接神经网络的投影矩阵，
为第一层全连接神经网络的偏置，
为第二层全连接神经网络的投影矩阵，
为第二层全连接神经网络的偏置，投影矩阵和偏置都是可训练的，Relu为激活函数，公式如下：
Relu(x)＝max(x,0) (17)
步骤4：模型训练
通过最小化损失函数，使模型输出的剩余使用寿命(RUL)预测值与真实值(即为步骤2所设置的RUL标签RULlabel)之间的差异逐渐变小，直到达到停止标准，损失函数采用均方误差(MSE)损失函数：
其中，n是样本数，RULi为第i个样本剩余使用寿命的实际值，
为第i个样本剩余使用寿命的预测值。
首先将步骤1.3得到的样本分批次输入到步骤3构建的多尺度混杂注意力机制模型中得到RUL预测值，然后计算MSE损失值，接着使用自适应矩估计(Adma)优化器对模型进行梯度更新，完成一次迭代训练。设置总的模型训练迭代次数，对模型进行多次迭代训练。
步骤5：使用训练后的模型预测剩余使用寿命
在线测试阶段，根据航空发动机传感器采集的实时数据，通过步骤1的数据预处理，然后输入到步骤4训练好的多尺度混杂注意力机制模型计算输出值，输出值即为航空发动机剩余使用寿命的预测值。
本发明的有益效果：
本发明采用的多尺度混杂注意力机制模型充分考虑了航空发动机数据之间相互耦合，相互影响的自然关系。首先，自注意力机制先通过计算查询向量与键向量的相关性获得注意力权重，然后使用该注意力权重与值向量加权计算获得特征图，实现单个样本不同时间步信息的充分融合。其次，外部注意力机制通过引入外部键和值记忆单元，由于这两个记忆单元在全数据集共享，从而可以考虑到所有样本间的相关性。同时引入多头机制，不仅实现对数据的不同子空间的信息特征提取，也增加了算法的并行性。最后，多尺度卷积神经网络由于使用不同尺寸的卷积核，增强了对数据的本地特征提取能力。所以该模型能够更精确地预测航空发动机的剩余使用寿命。
附图说明
图1是多尺度混杂注意力机制建模方法的流程图。
图2是使用滑动时间窗口构造样本的方法示意图。
图3是多尺度混杂注意力机制模型的网络结构图，其中(a)是该模型的整体网络结构图，(b)是多尺度卷积神经网络的网络结构图，(c)是多头混杂注意力机制的网络结构图，(d)是多头自注意力机制的网络结构图，(e)是多头外部注意力机制的网络结构图。
图4是多尺度混杂注意力机制模型在FD001数据集上的预测结果。注：图中的实心点表示航空发动机剩余使用寿命的真实值，空心点表示航空发动机剩余使用寿命的预测值。
图5是多尺度混杂注意力机制模型在FD001数据集中第24号发动机数据上的预测结果。注：图中的实心点表示航空发动机剩余使用寿命的真实值，空心点表示航空发动机剩余使用寿命的预测值。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明使用的是涡扇发动机退化仿真数据集C-MAPSS中的FD001子集，该数据集分为训练集和测试集，训练集中包含发动机初始状态到发生故障彻底失效时刻的全部数据信息，而测试集只包含发动机生命周期前一部分的数据。该数据集包含26列数据，第1列为发动机单元号，第2列为发动机循环数，第3列到第5列为发动机运行工况，分别是飞行高度、马赫数和油门杆角度。其余的21列数据为发动机各传感器的监测数据，具体如下：
表1发动机传感器参数信息
| 序号 | 符号 | 描述 |
| 1 | T2 | 风扇入口总温 |
| 2 | T24 | 低压压气机出口总温 |
| 3 | T30 | 高压压气机出口总温 |
| 4 | T50 | 低压涡轮出口总温 |
| 5 | P2 | 风扇入口压力 |
| 6 | P15 | 外涵总压 |
| 7 | P30 | 高压压气机出口总压 |
| 8 | Nf | 风扇物理转速 |
| 9 | Nc | 核心机物理转速 |
| 10 | epr | 发动机压比 |
| 11 | Ps30 | 高压压气机出口静压 |
| 12 | phi | 燃料流量与P30比值 |
| 13 | NRf | 校正风扇转速 |
| 14 | NRc | 校正核心转速 |
| 15 | BPR | 涵道比 |
| 16 | farB | 燃烧室燃气比 |
| 17 | htBleed | 引气焓值 |
| 18 | Nf_dmd | 设定风扇转速 |
| 19 | PCNfR_dmd | 设定核心机换算转速 |
| 20 | W31 | 高压涡轮冷却引气流量 |
| 21 | W32 | 低压涡轮冷却引气流量 |
实施例：
步骤1：对于FD001训练集和测试集，首先分析航空发动机传感器原始数据与剩余使用寿命间的相关性，由于第1、5、6、10、16、18、19号这7个传感器的数值是恒定的，不随飞行循环数增加而变化，所以选择其余14个传感器数据，然后对于每列传感器数据进行Z-Score标准化，最后通过滑动时间窗口构造样本，滑动窗口大小为30，步长为1，最终构造出的样本形式为
步骤2：对于步骤1构造的样本
中的最后一条数据(即第30条数据)，将总飞行循环数Cycletotal与当前飞行循环数Cyclecur的差值与剩余使用寿命阈值RULTH相比取小者，计算其剩余使用寿命RULlabel，作为该样本的剩余使用寿命。其中RULTH为125。
步骤3：对于FD001训练集，首先将构造的样本X通过线性层映射到更高维度的空间Y，然后加入正弦余弦位置编码得到U，接着分别使用多头自注意力机制和多头外部注意力机制完成对不同时间步数据之间相关性的特征提取，其次将这两个注意力机制提取的特征进行加权求和形成混杂注意力机制，再次使用多尺度卷积神经网络进一步提取特征，最后将特征展开，并通过两层全连接神经网络计算结果，得到航空发动机剩余使用寿命(RUL)的预测值，完成多尺度混杂注意力机制模型的构建。其中
注意力头数为8，第一层全连接神经网络的投影矩阵为
第一层全连接神经网络的偏置为
第二层全连接神经网络的投影矩阵为
第二层全连接神经网络的偏置为
步骤4：对于FD001训练集，首先将步骤1构造的样本批量输入到步骤3构建的多尺度混杂注意力机制模型中，计算得到航空发动机剩余使用寿命(RUL)的预测值，然后根据RUL预测值与步骤2设置RUL标签计算MSE损失值，接着使用自适应矩估计(Adma)优化器对模型进行梯度更新，完成一次迭代训练，最后对模型进行多次迭代训练，其中批次大小为128，学习率为0.0003，总迭代次数为50。
步骤5：对于FD001测试集，将步骤1构造的样本输入步骤4训练好的多尺度混杂注意力机制模型中，计算得到航空发动机剩余使用寿命(RUL)的预测值。
实施结果
以涡扇发动机退化仿真数据集C-MAPSS中的FD001子集为研究对象进行实例分析。该数据集通过模拟低压涡轮(LPT)，高压涡轮(HPT)，低压压气机(LPC)，高压压气机(HPC)和风扇(Fan)这五个主要的涡扇发动机组件的退化过程，来获取发动机在不同工况下，每个飞行循环数的性能退化数据。所有数据通过涡扇发动机的热力学仿真模型生成，具体的涡扇发动机传感器参数如表1所示。该数据集数据集分为训练集和测试集，训练集用来训练模型，测试集用来验证模型的预测精度。航空发动机剩余使用寿命(RUL)预测的评价指标为均方根误差(RMSE)和Score：
其中，n是样本个数，i是样本序号，hi是RUL预测值与实际值之差。RMSE指标对于RUL预测值大于或小于真实值的惩罚程度是相同的，而Score指标对于RUL预测值大于真实值的情况有着更高的惩罚程度，也更符合符合实际情况，高估RUL往往会造成更严重的后果。预测结果的RMSE值和Score值越小表明预测精度越高。
准确的剩余使用寿命预测可以提前知道航空发动机的故障时间，进而对地面系统提供一些决策支持，辅助地面维修人员对发动机进行一些维修工作，保证飞机安全性能的同时，避免传统计划维修造成的人力和物力方面的浪费。
本发明多尺度混杂注意力机制模型在FD001数据集上的预测结果评价指标与其他方法的比较如下：
表2：不同方法在FD001数据集上预测结果的评价指标对比
| 方法 | RMSE | Score |
| 对比例：卷积神经网络 | 18.45 | 1290 |
| 对比例：长短期记忆神经网络 | 16.14 | 338 |
| 本发明：多尺度混杂注意力机制 | 9.35 | 119 |
1)从表2中可以看出，与卷积神经网络模型和长短期记忆神经网络模型相比，本发明提出的多尺度混杂注意力机制模型在FD001数据集上的预测结果拥有更小的RMSE值和Score值，预测精度更高。
2)从图4中可以看出，针对FD001数据集中的100台航空发动机，使用多尺度混杂注意力机制模型预测剩余使用寿命，预测值与真实值非常接近，体现了该模型优秀的预测性能。
3)从图5中可以看出，针对单个航空发动机，其剩余使用寿命预测值在真实值附近小范围波动，符合航空发动机实际性能退化趋势。并且随着飞行循环数的增加，模型预测精度也就越高。
因此，这样的结果符合多尺度混杂注意力机制模型的本质特性。同时也证明了多尺度混杂注意力机制模型对航空发动机的剩余使用寿命具有更准确的预测能力。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例仅用以说明本发明的技术方案，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明原理和宗旨情况下，在本发明的范围内可以对以上述实施例进行修改和替换。
Claims (3)
1.一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，其特征在于，包括以下步骤：包括离线训练阶段和在线测试阶段，离线训练阶段采用航空发动机历史传感器数据训练多尺度混杂注意力机制模型，在线测试阶段根据航空发动机传感器采集的实时数据，使用训练好的多尺度混杂注意力机制模型预测剩余使用寿命；包括以下步骤：
步骤1：数据预处理最终得到样本
其中k为航空发动机传感器数据的维度，n为滑动时间窗口大小；
步骤2：设置RUL标签
对于步骤1.3构造的样本
中的最后一条数据，此处最后一条数据指第n条数据，将总飞行循环数Cycletotal与当前飞行循环数Cyclecur的差值和剩余使用寿命阈值RULTH相比取小者，计算其剩余使用寿命RULlabel：
RULlabel＝min(Cycletotal-Cyclecur，RULTH) (2)
将RULlabel作为该样本的剩余使用寿命真实值，在步骤4训练时使用；
步骤3：构建多尺度混杂注意力机制模型
多尺度混杂注意力机制模型网络结构图包括位置编码层、特征提取层和回归预测层这三个部分；
(3.1)位置编码层
首先，将样本
通过线性层映射到更高维度的空间
使数据维度d可以被后续的注意头数量H整除：
Y＝XWY (3)
其中，
是可训练的投影矩阵；
然后，加入正弦余弦位置编码得到
作为步骤3.2的输入，位置编码矩阵
中各个位置的值如下：
其中，Pi，2j是编码矩阵P第i行第2j列的值；Pi，2j+1是编码矩阵P第i行第2j+1列的值；i∈[0，n-1]表示行数，
表示列数；
(3.2)特征提取层
特征提取层包括多头混杂注意力机制和多尺度卷积神经网络两部分，同时在这两部分的结束位置加入残差连接和层归一化方法来抑制过拟合；
所述的多头混杂注意力机制由多头自注意力机制和多头外部注意力机制混杂而成，得到特征HybridAttention；
所述的多尺度卷积神经网络不包含池化层和全连接层，只使用多个不同尺寸的卷积核对时序数据进行特征提取，并将结果进行融合，实现对数据本地特征提取能力的增强；
将多头混杂注意力机制提取的特征HybridAttention作为输入，首先使用3个不同尺寸的卷积核分别提取特征，然后设置1个可以学习的参数
初始值为1，其中参数β在步骤4的训练过程中进行梯度更新；并对参数β进行指数归一化，最后使用该参数对3个卷积核提取的特征进行加权求和得到最终结果MultiScaleConv：
其中
为第i个卷积核提取的特征；
(3.3)回归预测层
首先将步骤3.2得到的结果
展开为
然后通过两层全连接神经网络计算结果，得到航空发动机的剩余使用寿命预测值RUL：
RUL＝Relu(FW2+b1)W2+b2 (16)
其中，
为第一层全连接神经网络的投影矩阵，
为第一层全连接神经网络的偏置，
为第二层全连接神经网络的投影矩阵，
为第二层全连接神经网络的偏置，投影矩阵和偏置都是可训练的，Relu为激活函数；
步骤4：模型训练
通过最小化损失函数，使模型输出的剩余使用寿命预测值RUL与真实值之间的差异逐渐变小，直到达到停止标准，所述真实值为步骤2所设置的RUL标签RULlabel；损失函数采用均方误差(MSE)损失函数：
其中，n是样本数，RULi为第i个样本剩余使用寿命的实际值，
为第i个样本剩余使用寿命的预测值；
首先将步骤1.3得到的样本分批次输入到步骤3构建的多尺度混杂注意力机制模型中得到RUL预测值，然后计算MSE损失值，接着使用自适应矩估计优化器对模型进行梯度更新，完成一次迭代训练；设置总的模型训练迭代次数，对模型进行多次迭代训练；
步骤5：使用训练后的模型预测剩余使用寿命
在线测试阶段，根据航空发动机传感器采集的实时数据，通过步骤1的数据预处理，然后输入到步骤4训练好的多尺度混杂注意力机制模型计算输出值，输出值即为航空发动机剩余使用寿命的预测值。
2.根据权利要求1所述的一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，其特征在于，所述的步骤1中，数据预处理具体步骤为：
1.1)分析航空发动机传感器原始数据与剩余使用寿命间的相关性，若某个传感器原始数据的数值是恒定的，不随飞行循环数增加而变化，则剔除该传感器原始数据，实现数据降维；
1.2)对所选取的传感器产生的时间序列数据进行标准化；
1.3)在标准化后的时间序列数据上使用滑动时间窗口构造样本；定义：fij表示航空发动机第i个传感器数据标准化后的第j个时间步的数值，航空发动机传感器数据的维度为k，时间序列长度为m，滑动时间窗口大小为n，滑动步长为1，沿着时间增长方向滑动，最终构造出的样本形式为
3.根据权利要求1所述的一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，其特征在于，所述的步骤(3.2)中，多头混杂注意力机制由多头自注意力机制和多头外部注意力机制混杂而成，具体如下：
①所述的多头自注意力机制：
首先，将步骤3.1得到的结果
作为输入通过线性层映射到查询Q、键K和值V3个子空间，并将其分别拆分为H个注意头：
其中，
是第i个注意头的查询、键和值；
然后，在每个注意头中对查询Qi和键Ki进行点积运算，并通过除以数据维度d的开根号进行缩放，接着按列进行指数归一化运算后乘以值Vi得到单个注意头的结果；
最后，将每个注意头的结果进行拼接，得到最终结果MultiHeadSelfAttention，实现多头自注意力机制在不同时间步上对数据之间的相关性进行特征提取；
其中，headi＝SelfAttention(Qi，Ki，Vi)，
是可训练的投影矩阵；
②所述的多头外部注意力机制：
首先，将步骤3.1得到的结果
作为输入通过线性层映射到查询子空间Q，并其拆分为H个注意头：
Q＝[Q1，Q2，…，QH] (10)
其中
是第i个注意头的查询；
然后，在每个注意头Qi中对查询和外部键记忆单元
进行点积运算，并进行规范化，接着乘以外部值记忆单元
得到单个注意头的结果；其中规范化采用双重归一化，即先按列进行指数归一化，接着按列进行归一化；
最后，将每个注意头的结果进行拼接，得到最终结果MultiHeadExternalAttention，实现多头外部注意力机制在不同时间步上对数据之间相关性进行特征提取；
其中headi＝ExternalAttention(Qi)，
是可训练的投影矩阵；
③将多头自注意力机制和多头外部注意力机制进行混杂形成多头混杂注意力机制，具体为：
首先设置1个可以训练的参数
α＝[α1，α2]，初始值为1，然后对其进行指数归一化，最后使用该参数对多头自注意力机制提取的特征MultiHeadSelfAttention和多头外部注意力机制提取的特征MultiHeadExternalAttention进行加权求和，形成得到最终结果HybridAttention：
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211299946.3A CN115618733B (zh) | 2022-10-24 | 2022-10-24 | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 |
| PCT/CN2022/128100 WO2024087128A1 (zh) | 2022-10-24 | 2022-10-28 | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211299946.3A CN115618733B (zh) | 2022-10-24 | 2022-10-24 | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115618733A true CN115618733A (zh) | 2023-01-17 |
| CN115618733B CN115618733B (zh) | 2023-04-07 |
Family
ID=84863826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211299946.3A Active CN115618733B (zh) | 2022-10-24 | 2022-10-24 | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115618733B (zh) |
| WO (1) | WO2024087128A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994630A (zh) * | 2023-03-24 | 2023-04-21 | 山东大学 | 基于多尺度自注意力的设备剩余使用寿命预测方法及系统 |
| CN117113843A (zh) * | 2023-08-29 | 2023-11-24 | 太原理工大学 | 一种航空发动机剩余寿命预测方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118133687B (zh) * | 2024-05-06 | 2024-07-23 | 广东石油化工学院 | 轴承剩余寿命预测方法、装置、设备和存储介质 |
| CN118296499B (zh) * | 2024-06-05 | 2024-08-06 | 山东电力建设第三工程有限公司 | 一种基于自注意力机制的光热电站气象数据预测方法 |
| CN118332354B (zh) * | 2024-06-12 | 2024-08-20 | 之江实验室 | 考虑设备结构信息的剩余使用寿命预测方法、装置及介质 |
| CN118468226B (zh) * | 2024-07-10 | 2024-09-06 | 山东黄海智能装备有限公司 | 一种用于药剂灌装机的灌装口药液泄露风险预测方法 |
| CN118568448A (zh) * | 2024-08-05 | 2024-08-30 | 济南一杯水环保科技有限公司 | 一种供水管道微生物污染动态监测与消毒响应预测方法 |
| CN118692591A (zh) * | 2024-08-26 | 2024-09-24 | 海之信(山东)新材料有限公司 | 一种基于机器学习的复合材料托盘性能预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112839024A (zh) * | 2020-11-05 | 2021-05-25 | 北京工业大学 | 一种基于多尺度特征注意力的网络流量分类方法及系统 |
| CN113158445A (zh) * | 2021-04-06 | 2021-07-23 | 中国人民解放军战略支援部队航天工程大学 | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 |
| CN113656915A (zh) * | 2021-08-19 | 2021-11-16 | 燕山大学 | 一种基于深度注意力网络的轴承剩余寿命预测方法 |
| CN114297918A (zh) * | 2021-12-22 | 2022-04-08 | 大连理工大学 | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 |
| CN114377398A (zh) * | 2021-12-06 | 2022-04-22 | 中国科学院自动化研究所 | 一种实体轨迹的反事实预测方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220187819A1 (en) * | 2020-12-10 | 2022-06-16 | Hitachi, Ltd. | Method for event-based failure prediction and remaining useful life estimation |
| CN113641819B (zh) * | 2021-08-10 | 2023-08-22 | 福州大学 | 基于多任务稀疏共享学习的论辩挖掘系统及方法 |
| CN115101085B (zh) * | 2022-06-09 | 2024-08-30 | 重庆理工大学 | 一种卷积增强外部注意力的多说话人时域语音分离方法 |
-
2022
- 2022-10-24 CN CN202211299946.3A patent/CN115618733B/zh active Active
- 2022-10-28 WO PCT/CN2022/128100 patent/WO2024087128A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112839024A (zh) * | 2020-11-05 | 2021-05-25 | 北京工业大学 | 一种基于多尺度特征注意力的网络流量分类方法及系统 |
| CN113158445A (zh) * | 2021-04-06 | 2021-07-23 | 中国人民解放军战略支援部队航天工程大学 | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 |
| CN113656915A (zh) * | 2021-08-19 | 2021-11-16 | 燕山大学 | 一种基于深度注意力网络的轴承剩余寿命预测方法 |
| CN114377398A (zh) * | 2021-12-06 | 2022-04-22 | 中国科学院自动化研究所 | 一种实体轨迹的反事实预测方法及装置 |
| CN114297918A (zh) * | 2021-12-22 | 2022-04-08 | 大连理工大学 | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994630A (zh) * | 2023-03-24 | 2023-04-21 | 山东大学 | 基于多尺度自注意力的设备剩余使用寿命预测方法及系统 |
| CN117113843A (zh) * | 2023-08-29 | 2023-11-24 | 太原理工大学 | 一种航空发动机剩余寿命预测方法 |
| CN117113843B (zh) * | 2023-08-29 | 2024-06-07 | 太原理工大学 | 一种航空发动机剩余寿命预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024087128A1 (zh) | 2024-05-02 |
| CN115618733B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115618733B (zh) | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 | |
| Liu et al. | Aircraft engine remaining useful life estimation via a double attention-based data-driven architecture | |
| CN112580263B (zh) | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 | |
| CN106021826B (zh) | 一种基于工况识别和相似性匹配的变工况下航空发动机整机剩余寿命预测方法 | |
| CN108256173B (zh) | 一种航空发动机动态过程的气路故障诊断方法及系统 | |
| CN108375474B (zh) | 一种航空发动机过渡态关键性能参数预测方法 | |
| WO2023115598A1 (zh) | 一种基于生成式对抗网络的平面叶栅定常流动预测方法 | |
| CN114297918A (zh) | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 | |
| Xu et al. | New RUL prediction method for rotating machinery via data feature distribution and spatial attention residual network | |
| CN109359668A (zh) | 一种航空发动机多故障并发诊断方法 | |
| Lin et al. | Channel attention & temporal attention based temporal convolutional network: A dual attention framework for remaining useful life prediction of the aircraft engines | |
| CN114298183B (zh) | 飞行动作智能识别方法 | |
| CN115375026A (zh) | 一种多故障模式下的航空发动机寿命预测方法 | |
| Li et al. | A CM&CP framework with a GIACC method and an ensemble model for remaining useful life prediction | |
| Ruan et al. | Remaining useful life prediction for aero-engine based on LSTM and CNN | |
| Zhou et al. | An adaptive remaining useful life prediction model for aeroengine based on multi-angle similarity | |
| CN112116101B (zh) | 一种基于群体约减核极限学习机的航空发动机故障诊断方法 | |
| CN113836787A (zh) | 基于区分性特征学习的超声速进气道流动状态监测方法 | |
| Wu et al. | Ensemble recurrent neural network-based residual useful life prognostics of aircraft engines | |
| CN116227367B (zh) | 直接空冷系统的背压预测模型构建方法、预测方法及装置 | |
| CN112560252A (zh) | 一种航空发动机剩余寿命预测方法 | |
| CN115048873B (zh) | 一种用于飞机发动机的剩余使用寿命预测系统 | |
| Cui et al. | Prediction of Aeroengine Remaining Useful Life Based on SE-BiLSTM | |
| CN116204781A (zh) | 旋转机械故障迁移诊断方法及系统 | |
| Deng et al. | Prediction of remaining useful life of aero-engines based on CNN-LSTM-Attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |