CN115952724A - 航空发动机剩余寿命预测方法、系统、设备及介质 - Google Patents

航空发动机剩余寿命预测方法、系统、设备及介质 Download PDF

Info

Publication number
CN115952724A
CN115952724A CN202211296415.9A CN202211296415A CN115952724A CN 115952724 A CN115952724 A CN 115952724A CN 202211296415 A CN202211296415 A CN 202211296415A CN 115952724 A CN115952724 A CN 115952724A
Authority
CN
China
Prior art keywords
module
layer
projection
engine
residual life
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211296415.9A
Other languages
English (en)
Inventor
蔺杰
龙丹
杨新宇
赵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202211296415.9A priority Critical patent/CN115952724A/zh
Publication of CN115952724A publication Critical patent/CN115952724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种航空发动机剩余寿命预测方法、系统、设备及介质，包括：获取并筛选待预测航空发动机中各零部件的传感器数据，得到主要影响指标数据；将主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；其中，预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；本发明采用在Transformer网络模型的输入序列中加入传感器数据的位置编码信息向量编码信息，以使模型具有时间信息建模能力和泛化能力；引入多头概率稀疏自注意力模块，提高了模型的特征提取能力；满足针对多维度的航空发动机传感器数据，对航空发动机的剩余使用寿命进行精确预测。

Description

航空发动机剩余寿命预测方法、系统、设备及介质
技术领域
本发明属于航空发动机剩余使用寿命预测技术领域，特别涉及一种航空发动机剩余寿命预测方法、系统、设备及介质。
背景技术
航空发动机作为飞机动力系统的核心组件，其机动性、可靠性、稳定性、安全性和环境适应性是飞行安全的重要保障；剩余寿命预测作为故障预测与健康管理(PrognosticsHealth Management，PHM)的核心技术，旨在通过预测整机或部件的剩余寿命退化趋势，为运行规划和维修决策提供技术支持。
现有航空发动机的剩余使用寿命预测方法可分为基于传统物理模型的方法、基于循环神经网络(Recurrent Neural Network,RNN)的方法和基于卷积神经网络(Convolutional Neural Networks,CNN)的方法；其中，基于传统物理模型的方法通过建立数学方程进行模拟来描述系统的退化机理，但由于数学模型对退化机理的先验知识的严重依赖性和实际工程的复杂性，很少有系统可以通过数学模型进行精确建模；基于循环神经网络的方法是通过在序列的演进方向进行递归，将当前时刻的隐藏状态和上一时刻的反馈信息共同作为下一时刻的输入，但其特别的处理数据的顺序方式限制了模型并行计算的能力，导致模型需要更多的训练和预测时间；基于卷积神经网络的方法通过沿时间维度对序列进行卷积运算，获取传感器序列的局部特征信息，但由于其特定时间步的感受野取决于卷积核大小和层数，导致在输入长序列的情况下，模型捕捉远程依赖关系的能力迅速衰减；因此，现有航空发动机的剩余使用寿命预测方法，无法针对多维度的航空发动机传感器监测数据，对航空发动机的剩余使用寿命进行精确预测。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种航空发动机剩余寿命预测方法、系统、设备及介质，以解决现有航空发动机的剩余使用寿命预测方法，无法针对多维度的航空发动机传感器监测数据，对航空发动机的剩余使用寿命进行精确预测的技术问题。
为达到上述目的，本发明采用的技术方案为：
本发明提供了一种航空发动机剩余寿命预测方法，包括：
获取待预测航空发动机中各零部件的传感器数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；
将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；
其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；
所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
进一步的，所述嵌入层包括位置嵌入模块、向量嵌入模块及嵌入层输出模块；
所述位置嵌入模块，用于对所述航空发动机剩余寿命的主要影响指标数据进行位置编码，得到传感器数据的位置编码信息；
所述向量嵌入模块，用于将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；
所述嵌入层输出模块，用于将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层的输出结果；其中，所述嵌入层输出结果作为编码层的输入。
进一步的，按向量嵌入公式，将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；其中，所述向量嵌入公式为：
Figure BDA0003902886910000031
其中，
Figure BDA0003902886910000032
为第i列且维度为t的传感器数据的向量编码值；Conv1d(*)为卷积核大小为3、步幅大小为1的一维卷积；
Figure BDA0003902886910000033
为第i列且维度为t的传感器数据；i为传感器数据的列数，i∈(1,2,…,Lx)，Lx为传感器数据的列数最大值；t为传感器数据的维度；
按照叠加公式，将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层输出结果；其中，所述叠加公式为：
Figure BDA0003902886910000034
其中，out嵌入层为嵌入层的输出结果；
Figure BDA0003902886910000035
为第i列且维度为t的传感器数据的位置编码值。
进一步的，所述编码层包括第一多头概率稀疏自注意力模块、第一叠加与归一化模块、第二多头概率稀疏自注意力模块、第二叠加与归一化模块、前馈神经网络模块、第三叠加与归一化模块及编码层输出模块；
所述第一多头概率稀疏自注意力模块，用于对嵌入层的输出结果进行多头概率稀疏自注意力操作，得到第一多头概率稀疏自注意力模块的输出结果；
所述第一叠加与归一化模块，用于对所述嵌入层的输出结果和所述第一多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第一叠加与归一化模块的输出结果；
所述第二多头概率稀疏自注意力模块，用于对第一叠加与归一化模块的输出结果进行多头概率稀疏自注意力操作，得到第二多头概率稀疏自注意力模块的输出结果；
所述第二叠加与归一化模块，用于对所述第一叠加与归一化模块的输出结果和所述第二多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第二叠加与归一化模块的输出结果；
所述前馈神经网络，用于对所述第二叠加与归一化模块的输出结果进行前馈全连接运算，得到前馈神经网络的输出结果；
所述第三叠加与归一化模块，用于对所述前馈神经网络的输出结果和所述第二叠加与归一化模块的输出结果进行非线性变化的线性叠加处理，得到第三叠加与归一化模块的输出结果；
所述编码层输出模块，用于将所述第三叠加与归一化模块的输出结果输出至投影层。
进一步的，所述第一多头概率稀疏自注意力模块和所述第二自注意力模块的计算公式均为：
MultiHead(Q,K,V)＝Concat(head1,head2,…headh)
其中，MultiHead(Q,K,V)为第一或第二多头概率稀疏自注意力模块的输出结果；Q为查询值向量；K为键值向量；V为值向量；Concat(*)为沿指定轴对数据进行拼接；headh为第一或第二多头概率稀疏自注意力模块中第h个概率稀疏自注意力模块的输出；
所述编码层输出模块的输出结果为：
Figure BDA0003902886910000042
其中，out编码层为编码层输出模块的输出结果；GELU(*)为高斯误差线性单元激活函数；
Figure BDA0003902886910000041
为第m个编码器单元的第t个序列；[[*]]AB为经过第一个多头概率稀疏自注意力模块、叠加与归一化模块得到输出A，再经过第二个多头概率稀疏自注意力模块、叠加与归一化模块得到输出B。
进一步的，所述投影层，包括卷积线性投影模块、线性投影模块、卷积模块及投影层输出模块；
所述卷积线性投影模块，用于对编码层的输出结果依次进行卷积操作和线性映射处理，得到卷积线性投影结果；
所述线性投影模块，用于对编码层的输出结果进行线性映射处理，得到线性投影结果；
所述卷积模块，用于对编码层的输出结果进行卷积操作，得到卷积投影结果；
投影层输出模块，用于将对所述卷积线性投影结果、所述线性投影结果及所述卷积投影结果，进行拼接、卷积操作，输出得到待预测航空发动机的剩余寿命预测结果。
进一步的，所述投影层输出模块的输出结果为：
out投影层＝RUL
＝Conv1d(Concat(Conv_Proj(out编码层),Linear_Proj(out编码层),Linear_Linear_Proj(out编码层)))
其中，out投影层为投影层输出模块的输出结果；Proj(out编码层)为卷积投影结果；Linear_Proj(out编码层)为线性投影结果；Linear_Linear_Proj(out编码层)为卷积线性投影结果。
本发明还提供了一种航空发动机剩余寿命预测系统，包括：
数据获取单元，用于获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；
预测输出单元，用于将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；
其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
本发明还提供了一种航空发动机剩余寿命预测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的航空发动机剩余寿命预测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的航空发动机剩余寿命预测方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明提供了一种航空发动机剩余寿命预测方法及系统，采用在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息，以使模型具有时间信息建模能力和泛化能力，确保了局部特征和全局特征的一致性；引入多头概率稀疏自注意力模块，解决了在长序列输入情况下模型的可伸扩展性问题，提高了模型的特征提取能力；采用混合投影机制，通过将模型输出投射到连续的向量空间，有效提高了模型剩余寿命预测的准确性；满足针对多维度的航空发动机传感器监测数据，对航空发动机的剩余使用寿命进行精确预测。
附图说明
图1为实施例中所述的航空发动机剩余寿命预测方法的流程图；
图2为航空发动机剩余寿命的分段线性退化函数曲线示意图；
图3为实施例中改进的Transformer网络模型的示意图；
图4为实施例中FD001数据集的训练集中各维度数据随运行时间的曲线图；
图5为实施例中FD003数据集的训练集中各维度数据随运行时间的曲线图；
图6为实施例中改进的Transformer网络模型训练过程损失函数随着迭代次数变化曲线图；
图7为实施例中FD001数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图；
图8为实施例中FD002数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图；
图9为实施例中FD003数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图；
图10为实施例中FD004数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图。
具体实施方式
为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种航空发动机剩余寿命预测方法，包括以下步骤：
获取待预测航空发动机中各零部件的传感器数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；
将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；
其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；
所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
本发明中，所述嵌入层包括位置嵌入模块、向量嵌入模块及嵌入层输出模块。
所述位置嵌入模块，用于对所述航空发动机剩余寿命的主要影响指标数据进行位置编码，得到传感器数据的位置编码信息；其中，按照位置嵌入公式，对所述航空发动机剩余寿命的主要影响指标数据进行位置编码，得到传感器数据的位置编码信息；
其中，所述位置嵌入公式为：
Figure BDA0003902886910000071
其中，PE(pos,2i)为第pos行第2i列传感器数据的位置编码值；PE(pos,2i+1)为第pos行第2i+1列传感器数据的位置编码值；dmodel为航空发动机剩余寿命的主要影响指标数据的维度；i为传感器数据的列数，i∈(1,2,…,Lx)，Lx为传感器数据的列数最大值。
所述向量嵌入模块，用于将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；其中，按向量嵌入公式，将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；
其中，所述向量嵌入公式为：
Figure BDA0003902886910000081
其中，
Figure BDA0003902886910000082
为第i列且维度为t的传感器数据的向量编码值；Conv1d(*)为卷积核大小为3、步幅大小为1的一维卷积；
Figure BDA0003902886910000083
为第i列且维度为t的传感器数据；t为传感器数据的维度。
所述嵌入层输出模块，用于将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层的输出结果，所述嵌入层输出结果作为编码层的输入；其中，按照叠加公式，将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层输出结果；
其中，所述叠加公式为：
Figure BDA0003902886910000084
其中，out嵌入层为嵌入层的输出结果；
Figure BDA0003902886910000085
为第i列且维度为t的传感器数据的位置编码值。
本发明中，所述编码层包括第一多头概率稀疏自注意力模块、第一叠加与归一化模块、第二多头概率稀疏自注意力模块、第二叠加与归一化模块、前馈神经网络模块、第三叠加与归一化模块及编码层输出模块。
所述第一多头概率稀疏自注意力模块，用于对嵌入层的输出结果进行多头概率稀疏自注意力操作，得到第一多头概率稀疏自注意力模块的输出结果；所述第一叠加与归一化模块，用于对所述嵌入层的输出结果和所述第一多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第一叠加与归一化模块的输出结果；所述第二多头概率稀疏自注意力模块，用于对第一叠加与归一化模块的输出结果进行多头概率稀疏自注意力操作，得到第二多头概率稀疏自注意力模块的输出结果；所述第二叠加与归一化模块，用于对所述第一叠加与归一化模块的输出结果和所述第二多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第二叠加与归一化模块的输出结果；所述前馈神经网络，用于对所述第二叠加与归一化模块的输出结果进行前馈全连接运算，得到前馈神经网络的输出结果；所述第三叠加与归一化模块，用于对所述前馈神经网络的输出结果和所述第二叠加与归一化模块的输出结果进行非线性变化的线性叠加处理，得到第三叠加与归一化模块的输出结果；所述编码层输出模块，用于将所述第三叠加与归一化模块的输出结果输出至投影层。
本发明中，所述第一多头概率稀疏自注意力模块和所述第二自注意力模块的计算公式均为：
MultiHead(Q,K,V)＝Concat(head1,head2,…headh)
其中，MultiHead(Q,K,V)为第一或第二多头概率稀疏自注意力模块的输出结果；Q为查询值向量；K为键值向量；V为值向量；Concat(*)为沿指定轴对数据进行拼接；headh为第一或第二多头概率稀疏自注意力模块中第h个概率稀疏自注意力模块的输出；
所述编码层输出模块的输出结果为：
Figure BDA0003902886910000091
其中，out编码层为编码层输出模块的输出结果；GELU(*)为高斯误差线性单元激活函数；
Figure BDA0003902886910000092
为第m个编码器单元的第t个序列；[[*]]AB为经过第一个多头概率稀疏自注意力模块、叠加与归一化模块得到输出A，再经过第二个多头概率稀疏自注意力模块、叠加与归一化模块得到输出B。
本发明中，所述投影层包括卷积线性投影模块、线性投影模块、卷积模块及投影层输出模块；所述卷积线性投影模块，用于对编码层的输出结果依次进行卷积操作和线性映射处理，得到卷积线性投影结果；所述线性投影模块，用于对编码层的输出结果进行线性映射处理，得到线性投影结果；所述卷积模块，用于对编码层的输出结果进行卷积操作，得到卷积投影结果；投影层输出模块，用于将对所述卷积线性投影结果、所述线性投影结果及所述卷积投影结果，进行拼接、卷积操作，输出得到待预测航空发动机的剩余寿命预测结果。
其中，所述投影层输出模块的输出结果为：
out投影层＝RUL
＝Conv1d(Concat(Conv_Proj(out编码层),Linear_Proj(out编码层),Linear_Linear_Proj(out编码层)))
其中，out投影层为投影层输出模块的输出结果；Proj(out编码层)为卷积投影结果；Linear_Proj(out编码层)为线性投影结果；Linear_Linear_Proj(out编码层)为卷积线性投影结果。
本发明所述的航空发动机剩余寿命预测方法，以航空发动机的剩余寿命为预测目标，对设备退化过程和状态监测数据的函数关系进行建模，通过模型可以从原始数据中捕捉重要特征信息，实现端到端的预测；采用位置嵌入与向量嵌入技术，将位置及向量信息嵌入输入序列，使模型具有时间信息建模能力以及泛化能力；其次，使用多头概率稀疏自注意力编码器结构，解决了在长序列输入情况下模型的可伸扩展性问题，提高了模型的特征提取能力；通过建立混合投影机制，将模型输出投射到连续的向量空间，进一步提高模型剩余寿命预测的准确性。
本发明还提供了一种航空发动机剩余寿命预测系统，包括数据获取单元及预测输出单元；数据获取单元，用于获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；预测输出单元，用于将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
本发明还提供了一种航空发动机剩余寿命预测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现航空发动机剩余寿命预测方法的步骤。
所述处理器执行所述计算机程序时实现上述航空发动机剩余寿命预测方法的步骤，例如：获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
或者，所述处理器执行所述计算机程序时实现上述系统中各模块的功能，例如：数据获取单元，用于获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；预测输出单元，用于将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成预设功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在所述航空发动机剩余寿命预测设备中的执行过程。例如，所述计算机程序可以被分割成数据获取单元及预测输出单元，各单元具体功能如下：数据获取单元，用于获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；预测输出单元，用于将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果。
所述航空发动机剩余寿命预测设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述航空发动机剩余寿命预测设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述是航空发动机剩余寿命预测设备的示例，并不构成对航空发动机剩余寿命预测设备的限定，可以包括比上述更多的部件，或者组合某些部件，或者不同的部件，例如所述航空发动机剩余寿命预测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器是所述航空发动机剩余寿命预测设备的控制中心，利用各种接口和线路连接整个航空发动机剩余寿命预测设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述航空发动机剩余寿命预测设备的各种功能。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smar t Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种航空发动机剩余寿命预测方法的步骤。
所述航空发动机剩余寿命预测系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述航空发动机剩余寿命预测方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述航空发动机剩余寿命预测方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
实施例
如附图1所示，本实施例提供了一种航空发动机剩余寿命预测方法，包括以下步骤：
步骤1、数据预处理
(1)获取待预测航空发动机中各零部件的传感器数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；根据所述航空发动机剩余寿命的主要影响指标数据，构建得到原始数据集；其中，进行有效特征维度筛选处理的过程中，采用将传感器数据对航空发动机剩余寿命预测的贡献率小于预设阈值的传感器数据进行剔除，得到航空发送机剩余寿命的主要影响指标数据。
(2)采用归一化公式，将原始数据集中的传感器数据进行归一化处理，以将每个维度的传感器数据限制在[0,1]的区间范围内，得到归一化后的原始数据集；
其中，所述归一化公式为：
Figure BDA0003902886910000141
其中，Xa为第a个运行周期中同一工况和维度的原始传感器数据值；
Figure BDA0003902886910000142
为Xa归一化后的值；min(X)为所有运行周期中同一工况和维度的原始传感器数据值的最小值；max(X)为所有运行周期中同一工况和维度的原始传感器数据值的最大值。
(3)将归一化后的原始数据集按照8:1:1的比例划分为训练集、验证集及测试集；其中，所述训练集、验证集及测试集之间的交集为空；所述训练集，用于训练预测模型，即对预测模型的权重和偏置参数进行确定；所述验证集，用于对训练后的预测模型进行筛选，得到最优预测模型，即选择损失函数最小的模型超参数；所述测试集，用于作为最优预测模型的输入，进行航空发动机剩余寿命预测。
(4)发动机性能退化阶段划分
本实施例中，采用航空发动机剩余寿命的分段线性函数作为设备的真实剩余寿命值；利用常数RULmax标记航空发动机运行的初始阶段，在运行预设时间段后，设备进入退化阶段，直至故障发生；如附图2所示，附图2中给出了航空发动机剩余寿命的分段线性退化函数曲线示意图；本实施例中，根据所述航空发动机剩余寿命的分段线性退化函数曲线，对发动机性能退化阶段进行划分。
步骤2、构建及训练模型
构建改进的Transformer网络模型，如附图3所示；其中，所述改进的Transformer网络模型，包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
利用所述训练集对所述改进的Transformer网络模型进行训练，利用所述验证集对训练后的改进的Transformer网络模型进行选择验证，以选择损失函数最小的超参数，得到预测精度最高的网络模型；其中，使用反向传播更新模型参数；具体的，使用随机种子构建初始权重，将原始权重代入前向传播计算模型的目标函数，将目标函数代入反向传播计算权重梯度，重复这些步骤更新模型参数；最后，保存更新后的模型参数，得到预训练的航空发动机剩余寿命预测模型。
以下对所述改进的Transformer网络模型进行详细说明：
(1)嵌入层
本实施例中，所述嵌入层包括位置嵌入模块、向量嵌入模块及嵌入层输出模块；其中，所述位置嵌入模块的输入为原始航空发动机器的传感器数据，输出为传感器数据的位置编码信息；具体的，为每一个传感器单元分配一个唯一的表示，用于保留数据序列的位置信息；所述向量嵌入模块的输入为原始航空发动机器的传感器数据，输出为传感器数据的向量编码信息；具体的，将传感器数据映射到实数的向量空间，用于区分不同的传感器数据来源。
所述位置嵌入模块，用于按照位置嵌入公式，对所述航空发动机剩余寿命的主要影响指标数据进行位置编码，得到传感器数据的位置编码信息；
其中，所述位置嵌入公式为：
Figure BDA0003902886910000151
其中，PE(pos,2i)为第pos行第2i列传感器数据的位置编码值；PE(pos,2i+1)为第pos行第2i+1列传感器数据的位置编码值；dmodel为航空发动机剩余寿命的主要影响指标数据的维度；i为传感器数据的列数，i∈(1,2,…,Lx)，Lx为传感器数据的列数最大值。
所述向量嵌入模块，用于按向量嵌入公式，将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；
其中，所述向量嵌入公式为：
Figure BDA0003902886910000161
其中，
Figure BDA0003902886910000162
为第i列且维度为t的传感器数据的向量编码值；Conv1d(*)为卷积核大小为3、步幅大小为1的一维卷积；
Figure BDA0003902886910000163
为第i列且维度为t的传感器数据；t为传感器数据的维度。
所述嵌入层输出模块，用于将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层的输出结果，所述嵌入层输出结果作为编码层的输入；其中，按照叠加公式，将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层输出结果；
其中，所述叠加公式为：
Figure BDA0003902886910000164
其中，out嵌入层为嵌入层的输出结果；
Figure BDA0003902886910000165
为第i列且维度为t的传感器数据的位置编码值。
(2)编码层
本实施例中，所述编码层包括第一多头概率稀疏自注意力模块、第一叠加与归一化模块、第二多头概率稀疏自注意力模块、第二叠加与归一化模块、前馈神经网络模块、第三叠加与归一化模块及编码层输出模块。
所述第一多头概率稀疏自注意力模块，用于对嵌入层的输出结果进行多头概率稀疏自注意力操作，得到第一多头概率稀疏自注意力模块的输出结果；其中，所述第一多头概率稀疏自注意力模块用于计算航空发动机传感器数据之间中长距离相互依赖关系，捕获关键特征，根据相似度更新特征，实现特征增强。
所述第一叠加与归一化模块，用于对所述嵌入层的输出结果和所述第一多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第一叠加与归一化模块的输出结果；其中，所述第一叠加与归一化模块，对输入特征进行非线性变换的线性叠加，解决模型训练中出现的梯度弥散、梯度爆炸以及网络退化问题，消除传感器指标之间的量纲影响，解决指标可比性问题。
所述第二多头概率稀疏自注意力模块，用于对第一叠加与归一化模块的输出结果进行多头概率稀疏自注意力操作，得到第二多头概率稀疏自注意力模块的输出结果；其中，所述第二多头概率稀疏自注意力模块与所述第一多头概率稀疏自注意力模块作用相同，通过叠加相同模块，在不增加模型复杂度的情况下，提高了模型提取特征的能力。
所述第二叠加与归一化模块，用于对所述第一叠加与归一化模块的输出结果和所述第二多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第二叠加与归一化模块的输出结果；其中，所述第二叠加与归一化模块与第一叠加与归一化模块作用相同，通过叠加相同模块，在不增加模型复杂度的情况下，提高了模型鲁棒及泛化的能力。
所述前馈神经网络，用于对所述第二叠加与归一化模块的输出结果进行前馈全连接运算，得到前馈神经网络的输出结果；其中，所述前馈神经网络通过前馈全连接层弥补了多头概率稀疏自注意力模块对复杂过程拟合程度不够的问题，进一步增强了模型对提取特征的能力。
所述第三叠加与归一化模块，用于对所述前馈神经网络的输出结果和所述第二叠加与归一化模块的输出结果进行非线性变化的线性叠加处理，得到第三叠加与归一化模块的输出结果；其中，所述第三叠加与归一化模块，与第一、第二叠加与归一化模块作用相同，通过叠加相同模块，在不增加模型复杂度的情况下，提高了模型鲁棒及泛化的能力
所述编码层输出模块，用于将所述第三叠加与归一化模块的输出结果输出至投影层。
本实施例中，解码层的输入X与权重矩阵WQ、权重矩阵WK及权重矩阵WV相乘，得到三个新的向量；所述三个新的向量包括查询值向量Q、键值向量K及值向量V；其中，查询值向量Q、键值向量K及值向量V的计算公式如下：
Q＝X*WQ＝[q1,q2,…,qi,…,qN]
K＝X*WK＝[k1,k2,…,kj,…kN]
V＝X*WV＝[v1,v2,…,vm,…vN]
其中，qi为第i个查询值；kj为第j个键值；vm为第m个值。
本实施例中，利用KL散度(Kullback-Leibler divergence)区分p(kj|qi)和满足均匀分布的
Figure BDA0003902886910000181
其中，KL散度的计算公式如下所示：
Figure BDA0003902886910000182
忽略常数项，则第i个查询值的稀疏性评价公式为：
Figure BDA0003902886910000183
其中，
Figure BDA0003902886910000184
为第i个查询值qi与所有键值内积的对数指数总和(Log-Sum-Exp)；
Figure BDA0003902886910000185
为第i个查询值qi与所有键值内积的算数平均值。
由于对数指数总和潜在的数值稳定性问题，因此，第i个查询值的稀疏性评价近似公式为：
Figure BDA0003902886910000186
第一或第二多头概率稀疏自注意力模块中概率稀疏自注意力计算公式为：
Figure BDA0003902886910000191
其中，
Figure BDA0003902886910000192
为与Q维度相同的稀疏性矩阵，只包含稀疏性度量下Top_u的查询值，Top_u的大小由恒定的采样参数决定；所述第一或第二多头概率稀疏自注意力模块可以同时关注不同位置子空间的信息。
所述第一多头概率稀疏自注意力模块和所述第二自注意力模块的计算公式均为：
MultiHead(Q,K,V)＝Concat(head1,head2,…headh)
其中，MultiHead(Q,K,V)为第一或第二多头概率稀疏自注意力模块的输出结果；Concat(*)为沿指定轴对数据进行拼接；headh为第一或第二多头概率稀疏自注意力模块中第h个概率稀疏自注意力模块的输出。
所述编码层输出模块的输出结果为：
Figure BDA0003902886910000193
其中，out编码层为编码层输出模块的输出结果；GELU(*)为高斯误差线性单元激活函数；
Figure BDA0003902886910000194
为第m个编码器单元的第t个序列；[[*]]AB为经过第一和第二多头概率稀疏自注意力模块、叠加与归一化模块的输出。
本实施例中，所述投影层包括卷积线性投影(Linear_Linear_Proj)模块、线性投影(Linear_Proj)模块、卷积投影(Conv_Proj)模块及投影层输出模块；其中，所述投影层的混合投影机制的详细描述，具体如下表1所示。
表1混合投影机制的详细描述表
Figure BDA0003902886910000195
Figure BDA0003902886910000201
所述卷积线性投影模块，用于对编码层的输出结果依次进行卷积操作和线性映射处理，得到卷积线性投影结果。
所述线性投影模块，用于对编码层的输出结果进行线性映射处理，得到线性投影结果；所述卷积模块，用于对编码层的输出结果进行卷积操作，得到卷积投影结果。
所述投影层输出模块，用于将对所述卷积线性投影结果、所述线性投影结果及所述卷积投影结果，进行拼接、卷积操作，输出得到待预测航空发动机的剩余寿命预测结果；其中，投影层输出模块通过对所述卷积线性投影结果、所述线性投影结果及所述卷积投影结果采用一维卷积进行拼接。
其中，所述投影层输出模块的输出结果为：
out投影层＝RUL
＝Conv1d(Concat(Conv_Proj(out编码层),Linear_Proj(out编码层),Linear_Linear_Proj(out编码层)))
其中，out投影层为投影层输出模块的输出结果；Proj(out编码层)为卷积投影结果；Linear_Proj(out编码层)为线性投影结果；Linear_Linear_Proj(out编码层)为卷积线性投影结果。
步骤3、剩余寿命预测
(1)将所述测试集，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；本实施例中，将输出的剩余寿命预测值与原始数据集中的真实剩余寿命值进行比较，判断模型是否具有剩余寿命预测能力。
(2)预测效果评估：使用均方根误差(Root Mean Square Error，RMSE)对所述模型剩余寿命的预测能力；均方根误差RMSE指标的数值越小，代表模型的剩余寿命预测估计准确性越高；其中，均方根误差RMSE为：
Figure BDA0003902886910000211
di＝RULpredict,i-RULtrue,i
其中，n为测试集中的样本数；RULpredict,i为预测剩余寿命值；RULtrue,i为真实剩余寿命值。
试验结果说明
(1)试验数据描述
本实施例中，使用以某型号的发动机为具体实验对象的C-MAPSS数据集；考虑到不同的运行工况和故障模式，C-MAPSS数据集有四个子数据集，分别是FD001、FD002、FD003和FD004；每个子数据集有多个训练和测试序列；其中，训练序列包含不同发动机的全寿命周期数据，测试序列包含不同发动机的部分退化数据；C-MAPSS数据集的详细信息，如表2所示。
表2 C-MAPSS数据集的详细信息表1
FD001 FD002 FD003 FD004
训练集监测单元 100 260 100 249
测试集监测单元 100 259 100 248
运行工况 1 6 1 6
故障模式 1 1 2 2
训练集大小 20631 53759 24720 61249
测试集大小 13096 33991 16596 41214
C-MAPSS数据集中的每个子数据集包含26个维度的数据；其中，包含1个维度的发动机编号数据、1个维度的运行周期数据、3个维度的操作设定数据及21个维度的传感器观测值数据，如表3所示。
表3 C-MAPSS数据集的详细信息表2
Figure BDA0003902886910000212
Figure BDA0003902886910000221
(2)数据预处理
如附图4所示，附图4中给出了FD001数据集的训练集中各维度数据随运行时间的曲线图；从附图4中可以看出，编号3、4、8、13、19、21及22在运行时间检测单元中是固定值，所以上述维度的数据被删除；图4是FD003数据集的训练集中各维度数据随运行时间的曲线图，从附图5中可以看出，编号3、4、8、19、21及22在运行时间检测单元中是固定值，所以上述维度的数据被删除；此外，FD002和FD004数据集中没有定值数据；采用剩余寿命的分段线性函数作为设备的真实剩余寿命值；在本实施例中，常数RULmax设置为120。
(3)构建及训练模型。
构建基于改进Transformer的网络模型：包括含有位置嵌入和向量嵌入模块的嵌入层、含有多头概率稀疏自注意力模块的编码层及含有混合投影的投影层；使用反向传播更新模型参数：如附图6所示，附图6中给出了改进的Transformer网络模型训练过程损失函数随着迭代次数变化曲线图；从附图6中可以看出，本实施例中提出的预测模型可以有效的进行训练及收敛至预设的稳定数值。
(4)剩余寿命预测
输入测试集到训练完成的网络模型；具体的，将FD001、FD002、FD003和FD004数据集的测试集输入到训练完成的网络模型中进行测试；如附图7-10所示，所述附图7中给出了FD001数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图，所述附图8中给出了FD002数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图，所述附图9中给出了FD003数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图，所述附图10中给出了FD004数据集中测试集的剩余寿命预测值与剩余寿命真实值对比图；附图7-10中，横坐标为发动机的序列号，纵坐标是剩余寿命值，实线矩形点代表真实值，虚线圆形点代表预测值；从附图7-10中可以看出，测试发动机的剩余寿命预测值和剩余寿命真实值接近，本实施的方法可以对航空发动机的剩余寿命做较准确地预测。
(5)预测效果评估
为了进一步直观地了解改进的Transformer网络模型在剩余寿命预测方面的表现，将其与多种现有典型方法进行了比较；其中，本实施例中所述的预测方法以及现有典型方法的预测结果计算得到的RMSE指标如表4所示；从表4中可以看出，本实施例中提出的改进的Transformer网络模型对不同运行工况、不同故障类型的发动机具有较高的综合预测性能，可以更好地应用于航空发动机剩余寿命的预测。
表4各寿命预测算法RMSE指标预测对比结果
方法 FD001 FD002 FD003 FD004 平均
SVR 20.96 42.00 21.05 45.35 32.34
RF 17.91 29.59 20.27 31.12 24.72
GB 15.67 29.09 16.84 29.01 22.65
ELM 17.27 37.28 18.90 38.43 27.97
MLP 16.78 28.78 18.47 30.96 23.75
DBN 15.21 27.12 14.71 29.88 21.73
LSTM 16.14 24.49 16.18 28.17 21.25
CNN 18.45 30.29 19.81 29.16 24.43
MONBNE 15.04 25.05 12.51 28.66 20.32
BiLSTM 13.65 23.18 13.74 24.86 18.86
AGCNN 12.42 19.43 13.39 21.50 16.69
GCU-Transformer 11.27 22.81 11.42 24.86 17.59
本实施例的预测方法 11.14 16.43 11.76 15.26 13.65
本实施例提供的一种航空发动机剩余寿命预测系统、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种航空发动机剩余寿命预测方法中对应部分的详细说明，在此不再赘述。
本发明中，以航空发动机的剩余寿命为预测目标，通过对设备退化过程和状态监测数据的函数关系进行建模，通过模型可以从原始数据中捕捉重要特征信息，实现端到端的预测，预测结果精确度较高。
本发明所述的航空发动机剩余寿命预测，首先，对航空发动机各部件的传感器监测数据筛选有效特征维度，并对数据进行归一化处理，并使用分段的剩余使用寿命线性函数对发动机性能退化阶段进行划分；其次，构建包括嵌入层、编码层及投影层的改进Transformer的网络模型，并使用反向传播更新模型参数，得到训练完成的网络模型；最后，输入测试数据集到训练完成的网络模型，进行航空发动机剩余寿命预测，将模型预测效果进行评估；实现对不同运行工况和不同故障类型条件下航空发动机的剩余寿命预测问题；满足针对多维度的航空发动机传感器监测数据，对航空发动机的剩余使用寿命进行精确预测。
上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。

Claims (10)

1.一种航空发动机剩余寿命预测方法，其特征在于，包括：
获取待预测航空发动机中各零部件的传感器数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；
将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；
其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；
所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
2.根据权利要求1所述的一种航空发动机剩余寿命预测方法，其特征在于，所述嵌入层包括位置嵌入模块、向量嵌入模块及嵌入层输出模块；
所述位置嵌入模块，用于对所述航空发动机剩余寿命的主要影响指标数据进行位置编码，得到传感器数据的位置编码信息；
所述向量嵌入模块，用于将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；
所述嵌入层输出模块，用于将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层的输出结果；其中，所述嵌入层输出结果作为编码层的输入。
3.根据权利要求2所述的一种航空发动机剩余寿命预测方法，其特征在于，按向量嵌入公式，将所述航空发动机剩余寿命的主要影响指标数据映射到实数向量空间中，得到传感器数据的向量编码信息；其中，所述向量嵌入公式为：
Figure FDA0003902886900000011
其中，
Figure FDA0003902886900000021
为第i列且维度为t的传感器数据的向量编码值；Conv1d(*)为卷积核大小为3、步幅大小为1的一维卷积；
Figure FDA0003902886900000022
为第i列且维度为t的传感器数据；i为传感器数据的列数，i∈(1,2,…,Lx)，Lx为传感器数据的列数最大值；t为传感器数据的维度；
按照叠加公式，将所述传感器数据的位置编码信息与传感器数据的向量编码信息进行叠加，得到嵌入层输出结果；其中，所述叠加公式为：
Figure FDA0003902886900000023
其中，out嵌入层为嵌入层的输出结果；
Figure FDA0003902886900000024
为第i列且维度为t的传感器数据的位置编码值。
4.根据权利要求1所述的一种航空发动机剩余寿命预测方法，其特征在于，所述编码层包括第一多头概率稀疏自注意力模块、第一叠加与归一化模块、第二多头概率稀疏自注意力模块、第二叠加与归一化模块、前馈神经网络模块、第三叠加与归一化模块及编码层输出模块；
所述第一多头概率稀疏自注意力模块，用于对嵌入层的输出结果进行多头概率稀疏自注意力操作，得到第一多头概率稀疏自注意力模块的输出结果；
所述第一叠加与归一化模块，用于对所述嵌入层的输出结果和所述第一多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第一叠加与归一化模块的输出结果；
所述第二多头概率稀疏自注意力模块，用于对第一叠加与归一化模块的输出结果进行多头概率稀疏自注意力操作，得到第二多头概率稀疏自注意力模块的输出结果；
所述第二叠加与归一化模块，用于对所述第一叠加与归一化模块的输出结果和所述第二多头概率稀疏自注意力模块的输出结果进行非线性变化的线性叠加处理，得到第二叠加与归一化模块的输出结果；
所述前馈神经网络，用于对所述第二叠加与归一化模块的输出结果进行前馈全连接运算，得到前馈神经网络的输出结果；
所述第三叠加与归一化模块，用于对所述前馈神经网络的输出结果和所述第二叠加与归一化模块的输出结果进行非线性变化的线性叠加处理，得到第三叠加与归一化模块的输出结果；
所述编码层输出模块，用于将所述第三叠加与归一化模块的输出结果输出至投影层。
5.根据权利要求4所述的一种航空发动机剩余寿命预测方法，其特征在于，所述第一多头概率稀疏自注意力模块和所述第二自注意力模块的计算公式均为：
MultiHead(Q,K,V)＝Concat(head1,head2,…headh)
其中，MultiHead(Q,K,V)为第一或第二多头概率稀疏自注意力模块的输出结果；Q为查询值向量；K为键值向量；V为值向量；Concat(*)为沿指定轴对数据进行拼接；headh为第一或第二多头概率稀疏自注意力模块中第h个概率稀疏自注意力模块的输出；
所述编码层输出模块的输出结果为：
Figure FDA0003902886900000031
其中，out编码层为编码层输出模块的输出结果；GELU(*)为高斯误差线性单元激活函数；
Figure FDA0003902886900000033
为第m个编码器单元的第t个序列；
Figure FDA0003902886900000032
为经过第一个多头概率稀疏自注意力模块、叠加与归一化模块得到输出A，再经过第二个多头概率稀疏自注意力模块、叠加与归一化模块得到输出B。
6.根据权利要求1所述的一种航空发动机剩余寿命预测方法，其特征在于，所述投影层，包括卷积线性投影模块、线性投影模块、卷积模块及投影层输出模块；
所述卷积线性投影模块，用于对编码层的输出结果依次进行卷积操作和线性映射处理，得到卷积线性投影结果；
所述线性投影模块，用于对编码层的输出结果进行线性映射处理，得到线性投影结果；
所述卷积模块，用于对编码层的输出结果进行卷积操作，得到卷积投影结果；
投影层输出模块，用于将对所述卷积线性投影结果、所述线性投影结果及所述卷积投影结果，进行拼接、卷积操作，输出得到待预测航空发动机的剩余寿命预测结果。
7.根据权利要求6所述的一种航空发动机剩余寿命预测方法，其特征在于，所述投影层输出模块的输出结果为：
out投影层＝RUL
＝Conv1d(Concat(Conv_Proj(out编码层),Linear_Proj(out编码层),Linear_Linear_Proj(out编码层)))
其中，out投影层为投影层输出模块的输出结果；Proj(out编码层)为卷积投影结果；Linear_Proj(out编码层)为线性投影结果；Linear_Linear_Proj(out编码层)为卷积线性投影结果。
8.一种航空发动机剩余寿命预测系统，其特征在于，包括：
数据获取单元，用于获取待预测航空发动机中各零部件的传感器监测数据，并进行有效特征维度筛选处理，得到航空发动机剩余寿命的主要影响指标数据；
预测输出单元，用于将所述航空发动机剩余寿命的主要影响指标数据，作为预训练的航空发动机剩余寿命预测模型的输入，输出得到待预测航空发动机的剩余寿命预测结果；
其中，所述预训练的航空发动机剩余寿命预测模型为改进的Transformer网络模型；所述改进的Transformer网络模型包括依次相连的嵌入层、编码层及投影层；所述嵌入层为在Transformer网络模型的输入序列中加入传感器数据的位置编码信息和传感器数据的向量编码信息；所述编码层为将Transformer编码器中的注意力模块替换为多头概率稀疏自注意力模块；所述投影层为将Transformer投影层中的投影机制替换为混合投影机制。
9.一种航空发动机剩余寿命预测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-7任一项所述的航空发动机剩余寿命预测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的航空发动机剩余寿命预测方法的步骤。
CN202211296415.9A 2022-10-21 2022-10-21 航空发动机剩余寿命预测方法、系统、设备及介质 Pending CN115952724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211296415.9A CN115952724A (zh) 2022-10-21 2022-10-21 航空发动机剩余寿命预测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211296415.9A CN115952724A (zh) 2022-10-21 2022-10-21 航空发动机剩余寿命预测方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115952724A true CN115952724A (zh) 2023-04-11

Family

ID=87285028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211296415.9A Pending CN115952724A (zh) 2022-10-21 2022-10-21 航空发动机剩余寿命预测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115952724A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236193A (zh) * 2023-10-30 2023-12-15 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于Transformer网络的离子磨机剩余使用寿命预测方法
CN117763976A (zh) * 2024-02-22 2024-03-26 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236193A (zh) * 2023-10-30 2023-12-15 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于Transformer网络的离子磨机剩余使用寿命预测方法
CN117763976A (zh) * 2024-02-22 2024-03-26 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备
CN117763976B (zh) * 2024-02-22 2024-05-14 华南师范大学 航空发动机润滑油量预测方法、装置以及计算机设备

Similar Documents

Publication Publication Date Title
Chen et al. Learning graph structures with transformer for multivariate time-series anomaly detection in IoT
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN109034368B (zh) 一种基于dnn的复杂设备多重故障诊断方法
CN105719001B (zh) 使用散列的神经网络中的大规模分类
CN115952724A (zh) 航空发动机剩余寿命预测方法、系统、设备及介质
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
Ayodeji et al. Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction
CN112257263B (zh) 基于自注意力机制的设备剩余寿命预测系统
CN113723070B (zh) 文本相似度模型训练方法、文本相似度检测方法及装置
CN112925909B (zh) 一种考虑局部不变性约束的图卷积文献分类方法及系统
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN110956309A (zh) 基于crf和lstm的流程活动预测方法
Shang et al. Machine remaining life prediction based on multi-layer self-attention and temporal convolution network
CN110795522B (zh) 一种移动用户轨迹位置的预测方法及装置
CN113657595B (zh) 基于神经网络实时剪枝的神经网络加速器
CN116861373A (zh) 一种查询选择率估算方法、系统、终端设备及存储介质
CN116737681A (zh) 一种实时异常日志检测方法、装置、计算机设备和存储介质
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN115034225A (zh) 应用于医学领域的词语处理方法、装置、电子设备和介质
Reddy et al. Effect of image colourspace on performance of convolution neural networks
US20220164659A1 (en) Deep Learning Error Minimizing System for Real-Time Generation of Big Data Analysis Models for Mobile App Users and Controlling Method for the Same
CN112906824A (zh) 车辆聚类方法、系统、设备及存储介质
US20220076148A1 (en) Information processing device and information processing method
Wang et al. Neural network acceleration methods via selective activation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination