CN113158445B - 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 - Google Patents
一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 Download PDFInfo
- Publication number
- CN113158445B CN113158445B CN202110368898.8A CN202110368898A CN113158445B CN 113158445 B CN113158445 B CN 113158445B CN 202110368898 A CN202110368898 A CN 202110368898A CN 113158445 B CN113158445 B CN 113158445B
- Authority
- CN
- China
- Prior art keywords
- attention mechanism
- self
- engine
- residual
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 20
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。所述识别方法流程包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果。针对自注意力机制的缺陷，引入双层残差网络抑制误差函数反向传播中扩散性，提出了一种残差自注意力机制的深度学习方法。本发明提出了一种残差自注意力机制，可以有效优化权重矩阵，进而构建了一种卷积记忆残差自注意力机制的航空发动机剩余寿命使用算法，对航空发动机状态监控有着促进作用。
Description
技术领域
本发明涉及目标识别领域，特别涉及一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。
背景技术
航空发动机是机械装备制造领域的皇冠，代表着一个国家的国防工业和科技发展水平。然而航空发动机在使用上和航天发动机有着本质的区别，对于航天发动机来说，大多数都只需要使用一次，而航空发动机需要在复杂的环境下持续使用，这就给航空发动机的可靠性和安全性带来了极大的挑战。对于军用飞机而言，在战场上不仅会面对各类武器的攻击，而且需要发动机做出快速反应，在极短时间内完成加速减速、大角度变换方位等需求，这就加剧了航空发动机的性能退化速度。因此，有效地进行航空发动机健康管理成为保障飞机飞行安全的重中之重。
传统的发动机剩余使用寿命预测方法是基于物理模型的，虽然基于物理模型的剩余使用寿命预测方法有一定缺陷，但是通过研究发动机失效机理来判断发动机的健康状态，是一种可靠性高的方法。然而，机器失效机理通常充满不确定性，难以建立精确的模型。
专利号为CN201811441584.0的公开发明专利公开了“一种基于LSTM网络和ARIMA模型的航空发动机剩余使用寿命预测方法”，通过使用LSTM提取航空发动机的长序列时间信息，但是有效未能提取信号的深层特征。专利号为CN201910140906.6的公开发明专利公开了“一种航空涡扇发动机剩余使用寿命预测方法及系统”，使用航空发动机退化阶段的数据，进行经验模态分解，该方法在处理速度上不及深度学习方法。
发明内容
(一)发明目的
本发明的目的是提供通过一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。本发明飞机发动机剩余使用寿命预测精确度高，能够快速处理相关信号信息。同时提出一种残差自注意力机制，可以有效优化权重矩阵。
(二)技术方案
本发明的技术解决方案，一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法，其特征在于，包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果，该方法的由如下步骤构成。
将传感器数据进行有效的预处理，使用离差标准化：
其中，
表示归一化数据，xmax为样本最大值，xmin为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度；
特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码；
针对航空发动机检测信号是高维度的特点，提出一种残差自注意力机制，可以有效优化权重矩阵。将特征ai与三个权重矩阵相乘得到Q,K,V：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上ai，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根；
将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的预测值；
将航空发动机监测数据输入至模型中，网络学习率设置为0.005，选用均方误差函数，利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。
本发明实现了基于卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测。本发明提出一种残差自注意力机制，可以有效优化权重矩阵，使得航空发动机剩余使用寿命预测精度更高。
(三)有益效果
本发明的上述技术方案具有如下有益的技术效果：本发明被用来预测航空发动机剩余使用寿命，提出了一种残差自注意力机制，可以有效优化权重矩阵，进而提高航空发动机剩余使用寿命预测精度。实验结果如图4所示，使用均方误差作为评价指标，其模型输出值和标签的均方误差为222，未使用残差连接的模型预测精度为278。结果证明了一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测方法可以应用于航空发动机剩余使用寿命预测。
附图说明
图1是本发明的流程框架图；
图2是本发明实施例识别模型训练时的损失函数图；
图3是本发明实施例卷积记忆自注意力机制预测模型结果图；
图4是本发明实施例卷积记忆残差自注意力机制预测模型结果图；
具体实施方式
为使本发明的技术方案、优点和目的更加清楚明了，结合具体实例说明了方法流程并参照附图，对本发明的技术方案进一步说明。
本发明实施例1，一种基于飞机音频的机型智能识别方法，参见图1，按下述步骤进行：
选用NASA Ames研究中心提供的航空涡扇发动机退化实验数据集C-MAPSS数据集，NASA利用C-MAPSS软件对航空涡扇发动机进行了失效模拟，使用24个传感器采集数据，模拟了航空涡扇发动机的失效过程。C-MAPSS由四个子数据集组成，每个子数据集分为训练数据集和测试数据集，如下表所示，
本实验选用第1组编号FD001的数据集，训练集train_FD001.txt包含100条训练样本，每条样本包含24个传感器读数，包括21个依赖传感器和3个操作设定传感器；text_FD001.txt包含100条测试样本；RUL_FD001.txt中提供测试集对应的剩余使用寿命值。
将FD001数据集中传感器数据进行有效的预处理，使用离差标准化：
其中，
表示归一化数据，xmax为样本最大值，xmin为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度。
将经过归一化的FD001数据集的训练集输入至特征提取层，特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码得到特征ai；
将特征ai与三个权重矩阵相乘得到Q,K,V：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上ai，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根；
将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的航空发动机剩余使用寿命预测值；
在预测模型训练时，网络学习率设置为0.005，选用均方误差函数，
式中：
表示卷积记忆残差自注意力机制模型预测值，yi表示真实值，即C-MAPSS数据集中航空涡扇发动机真实的剩余使用寿命。利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。
将将经过归一化的FD001数据集的测试集输入到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测中，得到测试集的模型预测值，并与标签对比，通过均方误差计算模型预测精度；在训练过程中，测试集的训练损失函数值变化如图2所示，卷积记忆残差自注意力机制模型预测精确度如图4所示。为验证残差连接的有效性，增加卷积记忆自注意力机制对比模型，其处理流程与卷积记忆残差自注意力机制模型一致，卷积记忆自注意力机制模型预测精确度如图3所示。对比图3和图4，卷积记忆残差自注意力机制模型预测值均方误差为225，卷积记忆自注意力机制模型预测值均方误差为274，其结果验证了残差连接可以提高自注意力机制算法的性能，同时证明了一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法的有效性。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (1)
1.一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法，其特征在于，包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果，该方法的步骤包括如下；
(1)航空发动机传感器数据预处理：
将传感器数据进行有效的预处理，使用离差标准化：
其中，
表示归一化数据，xmax为样本最大值，xmin为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度。
(2)特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码；
(3)残差自注意力机制：
针对航空发动机检测信号是高维度的特点，提出一种残差自注意力机制，可以有效优化权重矩阵。将特征ai与三个权重矩阵相乘得到Q,K,V：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上ai，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根；
(4)将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的预测值；
(5)参数设置：
将航空发动机监测数据输入至模型中，网络学习率设置为0.005，选用均方误差函数，利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368898.8A CN113158445B (zh) | 2021-04-06 | 2021-04-06 | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368898.8A CN113158445B (zh) | 2021-04-06 | 2021-04-06 | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158445A CN113158445A (zh) | 2021-07-23 |
| CN113158445B true CN113158445B (zh) | 2022-10-21 |
Family
ID=76888687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110368898.8A Active CN113158445B (zh) | 2021-04-06 | 2021-04-06 | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158445B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673774A (zh) * | 2021-08-25 | 2021-11-19 | 北京航空航天大学 | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 |
| CN113722833B (zh) * | 2021-09-09 | 2023-06-06 | 湖南工业大学 | 基于双通道长短时记忆网络的涡扇发动机剩余使用寿命预测方法 |
| CN114493755B (zh) * | 2021-12-28 | 2022-10-14 | 电子科技大学 | 一种融合时序信息的自注意力序列推荐方法 |
| CN114266278B (zh) * | 2021-12-29 | 2024-02-20 | 合肥工业大学 | 一种基于双重注意力网络的设备剩余使用寿命预测方法 |
| CN115033977B (zh) * | 2022-04-12 | 2023-04-25 | 北京理工大学 | 一种基于神经网络技术的地面实测脉动压力参数辨识方法 |
| CN114841063A (zh) * | 2022-04-26 | 2022-08-02 | 重庆邮电大学 | 一种基于深度学习的航空发动机剩余寿命预测方法 |
| CN115618733B (zh) * | 2022-10-24 | 2023-04-07 | 大连理工大学 | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 |
| CN115659797B (zh) * | 2022-10-24 | 2023-03-28 | 大连理工大学 | 针对航空发动机数据重构的生成对抗多头注意力神经网络自学习方法 |
| CN116300075B (zh) * | 2023-05-23 | 2023-08-11 | 华南师范大学 | 基于多头串联神经网络的层状纳米光子学器件设计方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807257A (zh) * | 2019-11-04 | 2020-02-18 | 中国人民解放军国防科技大学 | 航空发动机剩余寿命预测方法 |
| CN111721535B (zh) * | 2020-06-23 | 2021-11-30 | 中国人民解放军战略支援部队航天工程大学 | 一种基于卷积多头自注意力机制的轴承故障检测方法 |
-
2021
- 2021-04-06 CN CN202110368898.8A patent/CN113158445B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158445A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113158445B (zh) | 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 | |
| CN112131760B (zh) | 基于cbam模型的航空发动机剩余寿命预测方法 | |
| CN109597043B (zh) | 基于量子粒子群卷积神经网络的雷达信号识别方法 | |
| CN114997051A (zh) | 一种基于迁移学习的航空发动机寿命预测与健康评估方法 | |
| CN114282579A (zh) | 基于变分模态分解和残差网络的航空轴承故障诊断方法 | |
| CN115618733B (zh) | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 | |
| CN110851957A (zh) | 一种基于深度学习的大气数据传感系统解算方法 | |
| CN111913156A (zh) | 基于深度学习模型与特征联合的雷达辐射源个体识别方法 | |
| CN108153982B (zh) | 基于堆叠自编码深度学习网络的航空发动机修后性能预测方法 | |
| CN111123232B (zh) | 一种具有任务适应性的雷达个体识别系统 | |
| CN111126134A (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
| CN110082738B (zh) | 基于高斯混合和张量循环神经网络的雷达目标识别方法 | |
| CN113255432A (zh) | 基于深度神经网络与流形对齐的汽轮机振动故障诊断方法 | |
| CN114330517A (zh) | 一种基于神经网络的航空发动机传感器故障自诊断方法 | |
| CN116662743A (zh) | 一种基于多模态深度学习的发动机剩余寿命预测方法 | |
| CN107545112B (zh) | 多源无标签数据机器学习的复杂装备性能评估与预测方法 | |
| CN114357372A (zh) | 一种基于多传感器数据驱动的飞机故障诊断模型生成方法 | |
| CN112560252B (zh) | 一种航空发动机剩余寿命预测方法 | |
| Yao et al. | Fault Diagnosis of Rolling Bearing based on VMD Feature Energy Reconstruction and ADE-ELM | |
| CN113673774A (zh) | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 | |
| CN115048873B (zh) | 一种用于飞机发动机的剩余使用寿命预测系统 | |
| CN114818811B (zh) | 一种基于孪生网络度量学习的航空发动机滚动轴承故障诊断方法 | |
| Cui et al. | Prediction of Aeroengine Remaining Useful Life Based on SE-BiLSTM | |
| CN115017984A (zh) | 一种航空发动机故障风险预警方法及系统 | |
| CN113947028A (zh) | 一种基于XGBoost和Datawig机器学习的RBCC健康管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |