CN113158445A - 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法 - Google Patents

Abstract

一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。所述识别方法流程包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果。针对自注意力机制的缺陷，引入双层残差网络抑制误差函数反向传播中扩散性，提出了一种残差自注意力机制的深度学习方法。本发明提出了一种残差自注意力机制，可以有效优化权重矩阵，进而构建了一种卷积记忆残差自注意力机制的航空发动机剩余寿命使用算法，对航空发动机状态监控有着促进作用。

Description

一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命 预测算法

技术领域

本发明涉及目标识别领域，特别涉及一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。

背景技术

航空发动机是机械装备制造领域的皇冠，代表着一个国家的国防工业和科技发展水平。然而航空发动机在使用上和航天发动机有着本质的区别，对于航天发动机来说，大多数都只需要使用一次，而航空发动机需要在复杂的环境下持续使用，这就给航空发动机的可靠性和安全性带来了极大的挑战。对于军用飞机而言，在战场上不仅会面对各类武器的攻击，而且需要发动机做出快速反应，在极短时间内完成加速减速、大角度变换方位等需求，这就加剧了航空发动机的性能退化速度。因此，有效地进行航空发动机健康管理成为保障飞机飞行安全的重中之重。

传统的发动机剩余使用寿命预测方法是基于物理模型的，虽然基于物理模型的剩余使用寿命预测方法有一定缺陷，但是通过研究发动机失效机理来判断发动机的健康状态，是一种可靠性高的方法。然而，机器失效机理通常充满不确定性，难以建立精确的模型。

专利号为CN201811441584.0的公开发明专利公开了“一种基于LSTM网络和ARIMA模型的航空发动机剩余使用寿命预测方法”，通过使用LSTM提取航空发动机的长序列时间信息，但是有效未能提取信号的深层特征。专利号为CN201910140906.6的公开发明专利公开了“一种航空涡扇发动机剩余使用寿命预测方法及系统”，使用航空发动机退化阶段的数据，进行经验模态分解，该方法在处理速度上不及深度学习方法。

发明内容

(一)发明目的

本发明的目的是提供通过一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法。本发明飞机发动机剩余使用寿命预测精确度高，能够快速处理相关信号信息。同时提出一种残差自注意力机制，可以有效优化权重矩阵。

(二)技术方案

本发明的技术解决方案，一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法，其特征在于，包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果，该方法的由如下步骤构成。

将传感器数据进行有效的预处理，使用离差标准化：

其中，

表示归一化数据，x_max为样本最大值，x_min为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度；

特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码；

针对航空发动机检测信号是高维度的特点，提出一种残差自注意力机制，可以有效优化权重矩阵。将特征a_i与三个权重矩阵相乘得到Q,K,V：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上a_i，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根；

将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的预测值；

将航空发动机监测数据输入至模型中，网络学习率设置为0.005，选用均方误差函数，利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。

本发明实现了基于卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测。本发明提出一种残差自注意力机制，可以有效优化权重矩阵，使得航空发动机剩余使用寿命预测精度更高。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果：本发明被用来预测航空发动机剩余使用寿命，提出了一种残差自注意力机制，可以有效优化权重矩阵，进而提高航空发动机剩余使用寿命预测精度。实验结果如图4所示，使用均方误差作为评价指标，其模型输出值和标签的均方误差为222，未使用残差连接的模型预测精度为278。结果证明了一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测方法可以应用于航空发动机剩余使用寿命预测。

附图说明

图1是本发明的流程框架图；

图2是本发明实施例识别模型训练时的损失函数图；

图3是本发明实施例卷积记忆自注意力机制预测模型结果图；

图4是本发明实施例卷积记忆残差自注意力机制预测模型结果图；

具体实施方式

为使本发明的技术方案、优点和目的更加清楚明了，结合具体实例说明了方法流程并参照附图，对本发明的技术方案进一步说明。

本发明实施例1，一种基于飞机音频的机型智能识别方法，参见图1，按下述步骤进行：

选用NASA Ames研究中心提供的航空涡扇发动机退化实验数据集C-MAPSS数据集，NASA利用C-MAPSS软件对航空涡扇发动机进行了失效模拟，使用24个传感器采集数据，模拟了航空涡扇发动机的失效过程。C-MAPSS由四个子数据集组成，每个子数据集分为训练数据集和测试数据集，如下表所示，

本实验选用第1组编号FD001的数据集，训练集train_FD001.txt包含100条训练样本，每条样本包含24个传感器读数，包括21个依赖传感器和3个操作设定传感器；text_FD001.txt包含100条测试样本；RUL_FD001.txt中提供测试集对应的剩余使用寿命值。

将FD001数据集中传感器数据进行有效的预处理，使用离差标准化：

其中，

表示归一化数据，x_max为样本最大值，x_min为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度。

将经过归一化的FD001数据集的训练集输入至特征提取层，特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码得到特征a_i；

将特征a_i与三个权重矩阵相乘得到Q,K,V：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上a_i，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根；

将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的航空发动机剩余使用寿命预测值；

在预测模型训练时，网络学习率设置为0.005，选用均方误差函数，

式中：

表示卷积记忆残差自注意力机制模型预测值，y_i表示真实值，即C-MAPSS数据集中航空涡扇发动机真实的剩余使用寿命。利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。

将将经过归一化的FD001数据集的测试集输入到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测中，得到测试集的模型预测值，并与标签对比，通过均方误差计算模型预测精度；在训练过程中，测试集的训练损失函数值变化如图2所示，卷积记忆残差自注意力机制模型预测精确度如图4所示。为验证残差连接的有效性，增加卷积记忆自注意力机制对比模型，其处理流程与卷积记忆残差自注意力机制模型一致，卷积记忆自注意力机制模型预测精确度如图3所示。对比图3和图4，卷积记忆残差自注意力机制模型预测值均方误差为225，卷积记忆自注意力机制模型预测值均方误差为274，其结果验证了残差连接可以提高自注意力机制算法的性能，同时证明了一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法的有效性。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1.一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法，其特征在于，包括：航空发动机传感器数据预处理，通过卷积神经网络提取数据底层特征，使用长短期记忆网络关联时序特征，位置编码器对特征进行位置编码，残差自注意力机制对特征进行再训练，最后通过全连接层输出结果，该方法的步骤包括如下；

(1)航空发动机传感器数据预处理：

将传感器数据进行有效的预处理，使用离差标准化：

其中，

表示归一化数据，x_max为样本最大值，x_min为样本最小值。数据标准化可以将特征的各个维度，统一到特定区间，从而加快梯度下降训练模型的收敛速度。

(2)特征提取层由卷积神经网络和长短期记忆网络组成，综合了卷积神经网络的局部特征提取能力和长短期记忆网络的时序关联能力，使用位置编码器对信号特征进行位置编码；

(3)残差自注意力机制：

针对航空发动机检测信号是高维度的特点，提出一种残差自注意力机制，可以有效优化权重矩阵。将特征a_i与三个权重矩阵相乘得到Q,K,V：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，然后将Q,K,V加上a_i，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根；

(4)将输出的自注意力值输入至全局平均池化层，可以减少网络参数，防止过拟合现象。全连接层由神经元组成，此处的神经元个数设置为1，表示输出的预测值；

(5)参数设置：

将航空发动机监测数据输入至模型中，网络学习率设置为0.005，选用均方误差函数，利用梯度下降法迭代训练网络，直至损失函数收敛，得到卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测模型。

Images