CN117312770A - 基于多层次图特征融合的航空发动机剩余寿命预测方法 - Google Patents
基于多层次图特征融合的航空发动机剩余寿命预测方法 Download PDFInfo
- Publication number
- CN117312770A CN117312770A CN202311258537.3A CN202311258537A CN117312770A CN 117312770 A CN117312770 A CN 117312770A CN 202311258537 A CN202311258537 A CN 202311258537A CN 117312770 A CN117312770 A CN 117312770A
- Authority
- CN
- China
- Prior art keywords
- sequence
- level
- node
- graph
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 120
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 230000036541 health Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000009499 grossing Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 49
- 230000002776 aggregation Effects 0.000 claims description 38
- 238000004220 aggregation Methods 0.000 claims description 38
- 230000015556 catabolic process Effects 0.000 claims description 35
- 238000006731 degradation reaction Methods 0.000 claims description 35
- 230000000737 periodic effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012352 Spearman correlation analysis Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000015654 memory Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于多层次图特征融合的航空发动机剩余寿命预测方法,涉及航空发动机的健康管理与预测技术领域。获取航空发动机状态数据集;将航空发动机状态数据集划分为训练集和测试集;对训练集和测试集中的工况条件信号、多元传感器时序信号和RUL标签进行预处理;搭建多层次图特征融合模型;利用训练集对多层次图特征融合模型进行设定轮次的训练,得到训练完成的多层次图特征融合模型;将测试集输入多层次图特征融合模型,得到航空发动机RUL预测序列;将多层次图特征融合模型预测的RUL预测序列进行光滑处理,实时得到RUL平滑预测序列,本方法解决了现有的多元传感器时序信号特征提取高度规则化以及预测结果可信度低的问题。
Description
技术领域
本发明涉及航空发动机的健康管理与预测技术领域,尤其涉及一种基于多层次图特征融合的航空发动机剩余寿命预测方法。
背景技术
当前,随着现代工业系统的日益复杂化和精密化,对系统的安全性和可靠性提出了更高的要求,尤其是像航空发动机这样的关键系统,一旦在其运行过程中发生故障,将可能会导致重大的经济损失并威胁生命安全。因此发展设备的故障预测与健康管理(PHM)技术对保障系统安全、提高系统可靠性、降低维护成本具有极其重要的意义。剩余使用寿命(RUL)预测是PHM系统的重要组成部分,其主要目的是通过对航空发动机内部的传感器信号进行分析与处理,建模并预测出航空发动机的剩余使用寿命,为设备的预测性维护提供决策支持,实现提高设备运行安全性、降低设备维护成本和增加设备使用寿命的目的。
通常来说,在剩余使用寿命预测的研究中,主要有三种研究路线:基于物理模型的方法、基于数据驱动的方法和混合方法。由于设备的物理机理极其复杂,很难对其建立精确的数学模型,这也意味着基于物理模型的方法和混合方法存在局限性。而随着大数据技术的不断发展,目前基于数据驱动的方法成为了研究的热点。与另外两条路线不同的是,该方法不需要领域的先验知识,可以从海量的运行数据中直接学习到反映设备健康状态的特征,根据设备传感器网络所记录的多元状态监测序列对航空发动机的退化特征进行建模,再将退化特征进行映射,最终获得航空发动机当前的RUL预测值。由于航空发动机的状态监测序列并非一维的,而是由传感器网络所采集到的多元时序信号,且系统的运行工况和退化模式也并非单一的,这也给特征的提取带来了困难。
深度学习技术由于其强大的特征提取能力和数据拟合能力已成为目前数据驱动方法中最热门的方向,例如卷积神经网络(CNN)、长短时记忆网络(LSTM)等等,2022年,Cheng等人在《Multi-dimensional recurrent neural network for remaining usefullife prediction under variable operating conditions andmultiple fault modes》提出了一种基于Bi-LSTM和Bi-GRU的多维递归神经网络,用于预测变工况和多故障下的RUL,能够通过不同通道从多个传感器数据和工况中提取特征。Xiang等人在《Spatiotemporally multi-differential processing deep neural network and itsapplication to equipment remaining useful life prediction》中提出了一种基于LSTM的时空多差分深度神经网络来预测设备的RUL,利用多趋势、多阶段信息来提高特征提取能力。
目前基于数据驱动的航空发动机RUL预测技术主要存在两个缺陷:
第一,数据处理高度规则化;现有方法绝大部分都将传感器所采集到的时序信号看作是类似于文本、语音、图片等规则的欧式数据,并利用CNN、LSTM等传统的、高度规则化的深度学习技术进行处理,这忽略了传感器网络所包含的拓扑特征,例如在航空发动机中,不同监测位置的流体压力、温度是存在一定的物理关联的,并非相互独立的,将其看作是欧式数据实际上是不合理的,此外这种规则化的数据存在一种安全风险,一旦在模型的输入过程中交换了传感器数据的输入顺序将会出现完全错误的预测结果,这导致预测模型的鲁棒性低。
第二,忽略预测结果的平滑性;目前现有的基于深度学习的RUL预测技术,往往都存在预测曲线抖动剧烈的问题,例如连续几天内的预测值差别过大,这导致预测结果的可信度降低,极大影响技术的实际应用。
发明内容
本发明要解决的问题是针对上述现有技术的不足,提供一种基于多层次图特征融合的航空发动机剩余寿命预测方法,以解决现有的多元传感器时序信号特征提取高度规则化以及预测结果可信度低的问题。
本发明提供一种基于多层次图特征融合的航空发动机剩余寿命预测方法,包括如下步骤:
步骤1:获取航空发动机状态数据集;所述航空发动机状态数据集中包括若干种工况条件信号、若干个多元传感器时序信号、若干个虚拟传感器信号、发动机健康参数、RUL标签、发动机单元编号、飞行周期、飞行类别和健康状态标签;
步骤2:将航空发动机状态数据集划分为训练集和测试集;
步骤3:对训练集和测试集中的工况条件信号、多元传感器时序信号和RUL标签进行预处理;
步骤3.1:对工况条件信号、多元传感器时序信号进行最大最小值归一化操作,得到归一化后的若干个工况条件信号和多元传感器时序信号;
步骤3.2:对归一化后的每个多元传感器时序信号中的值进行排序,得到每个值的排序值,由每个值的排序值构成秩次序列,进而由若干个多元传感器时序信号得到若干个秩次序列;
步骤3.3:根据秩次序列,利用Spearman相关性分析方法计算归一化后的多元传感器时序信号xs中任意两个多元传感器时序信号之间的Spearman相关性系数,并根据Spearman相关性系数构建传感器网络拓扑图;所述传感器网络拓扑图由若干个代表传感器的传感器节点及连接它们的边组成;
所述构建传感器网络拓扑图的方法具体为:若两个多元传感器时序信号之间的Spearman相关性系数大于等于设定阈值,则两个多元传感器时序信号所对应的传感器节点之间存在边,否则不存在;
所述Spearman相关性系数计算公式为:
其中,n表示秩次序列中的样本量;S′1,index为秩次序列S'1中的第index个值;S'2,index为秩次序列S2中的第index个值;ρs为Spearman相关性系数;
步骤3.4:对多元传感器时序信号进行退化增强处理,得到多元残差时序信号;
步骤3.4.1:将工况条件信号中的健康状态下的工况条件信号作为输入,多元传感器时序信号中的健康状态下的多元传感器时序信号作为输出,利用三层全连接神经网络FNN来拟合健康状态下的航空发动机输入输出模型;
步骤3.4.2:将任意工况条件信号输入健康状态下的航空发动机输入输出模型,得到对应的健康状态下的理想多元传感器时序信号;
步骤3.4.3:将健康状态下的理想多元传感器时序信号与航空发动机状态数据集中真实的多元传感器时序信号计算残差并按飞行周期为单位经过SG平滑滤波去噪处理,得到多元残差时序信号。
步骤3.5:基于传感器网络拓扑图对多元残差时序信号进行图信号构建,得到航空发动机全生命周期的图序列;所述图信号包括拓扑图、节点特征和边特征三个要素;
所述得到图序列的方法具体为:利用时间滑窗法对一个飞行周期内的多元残差时序信号按照设定的窗口大小进行截取,将截取的时序信号作为节点特征,使用传感器网络拓扑图所对应的邻接矩阵中边的权重作为边特征,由传感器网络拓扑图、节点特征和边特征构建图信号,得到子图,然后将一个飞行周期内的若干个子图放入集合中得到一个飞行周期的子图序列,进而得到由多个周期的子图序列组成的航空发动机全生命周期的图序列;
步骤3.6:对原始RUL标签进行非线性处理,定义RUL标签;
所述RUL标签yt定义为:
其中,yt为飞行周期t的RUL标签值;tEOL表示发动机发生故障而无法使用的时间点;FPT表示发动机开始退化的时间点;RULt表示航空发动机状态数据集中当前飞行周期t的原始RUL标签值。
步骤4:搭建多层次图特征融合模型;所述多层次图特征融合模型依次包括节点级特征提取模型、子图级特征提取模型、周期级特征提取模型、时间级特征提取模型和输出层;
步骤4.1:搭建节点级特征提取模型;
所述节点级特征提取模型输入是包括航空发动机m个飞行周期的子图序列的图序列,进行节点级特征提取处理,输出包括航空发动机m个飞行周期的经过节点级特征提取处理的子图序列的图序列;
所述节点级特征提取模型是由若干个并行设置且参数共享的GNN-ResNet块构成,所述GNN-ResNet块的数目与输入的图序列中所包含的飞行周期数m相等,所述GNN-ResNet块包括第一GATv2层、第一LayerNorm层、第一非线性激活层、第二GATv2层、第二LayerNorm层、第一FNN层和第二非线性激活层;所述每个GNN-ResNet块将一个飞行周期的子图序列以子图为单位通过第一GATv2层进行节点的特征聚合,并利用第一LayerNorm层对第一GATv2层聚合后的节点特征向量组进行归一化处理,然后通过第一非线性激活层对归一化后的节点特征向量组进行非线性映射,然后再利用第二GATv2层进一步进行节点特征聚合,并利用第二LayerNorm层对聚合后的节点特征向量组进行归一化处理,然后利用第一FNN层将输入的该飞行周期的子图序列进行维度变换并与第二LayerNorm层输出的归一化后的节点特征向量组进行特征融合,然后利用第二非线性激活层对融合后的节点特征向量组进行非线性激活得到一个通路的经过GNN-ResNet块特征提取的子图序列;
所述第一非线性激活层为ReLu激活函数;所述第二非线性激活层为Tanh函数;
步骤4.2:搭建子图级特征提取模型;
所述子图级特征提取模型输入的是包括航空发动机m个飞行周期的经过节点级特征提取处理的子图序列的图序列,进行子图级特征提取处理,输出由m个飞行周期的子图级特征序列组成的子图级特征序列集合;所述子图级特征提取模型由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成,所述自注意力聚合层的并行通路数与输入的图序列中所包含的飞行周期数m相等,所述自注意力聚合层通过带温度的自注意力机制对输入的子图序列进行注意力计算,得到子图级特征序列,所述带温度的自注意力机制对节点级特征提取模型输出的子图序列中每一个子图中的节点进行相似性计算,计算其中任意节点与其他节点的相似度,并将这些相似度归一化为注意力权重,其中增加一个温度参数用于调节注意力权重的计算值,增大注意力权重大的数值,然后,通过将每个节点特征与对应的注意力权重进行加权求和,可以得到自注意力机制所输出的子图级特征hk,t,将子图级特征整合成子图级特征序列;
步骤4.3:搭建周期级特征提取模型;
所述周期级特征提取模型输入的是由m个飞行周期的子图级特征序列组成的子图级特征序列集合,进行周期级特征提取处理,输出由m个周期级特征整合成的周期级特征序列;所述周期级特征提取模型是由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成的,所述自注意力聚合层的并行数与输入的图序列中所包含的飞行周期数m相等,所述任一自注意力聚合层的输入为子图级特征提取模型输出的经过子图级特征提取的一个飞行周期的子图级特征序列,输出的是该子图级特征序列的周期级特征;
步骤4.4:搭建时间级特征提取模型;
所述时间级特征提取模型依次包括第一Bi-LSTM层、第二Bi-LSTM层和第三非线性激活层,输入的是周期级特征序列,输出的是经过时间级特征提取的时间级退化特征;
所述第三非线性激活层为Tanh函数;
步骤4.5:设计输出层;
所述输出层依次包括特征展开层、第二FNN层、第三FNN层、第四FNN层、第四非线性激活层、第五非线性激活层,输入为时间级特征提取模型输出的时间级退化特征,输出为当前m个周期的RUL预测值和未来m个周期的RUL预测值;所述第四非线性激活层为Tanh函数,第五非线性激活层为ReLu函数。
步骤5:利用训练集对多层次图特征融合模型进行设定轮次的训练,得到训练完成的多层次图特征融合模型;
步骤6:将测试集输入多层次图特征融合模型,得到航空发动机RUL预测序列;
步骤6.1:将图序列输入节点级特征提取模型进行节点级特征提取,得到经过节点级特征提取的图序列;
所述节点级特征提取表达式为:
其中,αi,j表示节点i和节点j之间的注意力系数,表示节点i当前层的节点特征,表示节点i下一层的节点特征,表示节点j当前层的节点特征,和表示可学习的参数,表示节点i的邻居节点集合,j表示节点的编号,且j取值可以与i相等;[xi||xj]表示节点特征和的拼接组合,LeakyReLU(·)表示激活函数;
步骤6.2:将经过节点级特征提取的图序列输入子图级特征提取模型进行子图级特征提取,得到子图级特征序列集合;
所述子图级特征提取的表达式为:
其中,hk,t表示飞行周期t中第k个子图的子图级特征;表示飞行周期t中第k个子图第i个节点的注意力系数;表示飞行周期t中第k个子图第i个节点的特征;表示飞行周期t中第k个子图第j个节点的特征;表示飞行周期t中第k个子图第i个节点和第j个节点之间的相似性度量;d表示节点特征的维度;N表示节点的数量,i,j表示节点编号;τ表示温度系数;
步骤6.3:将子图级特征序列集合输入周期级特征提取模型进行周期级特征提取,得到周期级特征序列;
所述周期级特征提取表达式为:
其中,ht表示飞行周期t的周期级特征;αk,t表示飞行周期t中第k个子图的注意力系数,该系数越大表示其对应的子图关注度越高,也即和退化特征关系越强;表示周期t中第k个子图和第l个子图之间的相似性度量;d′表示周期特征hk,t的维度;M表示飞行周期t内的子图数量,k和l表示一个飞行周期内的子图编号;τ表示温度系数;
步骤6.4:将周期级特征序列输入时间级特征提取模型进行时间级特征提取,再输入输出层得到航空发动机RUL预测序列。
步骤7:将多层次图特征融合模型预测的RUL预测序列进行光滑处理,实时得到RUL平滑预测序列。
所述光滑处理方法为:
其中,为飞行周期t的经过光滑处理的RUL预测值,为飞行周期t在当次RUL预测序列的第i′个位置的RUL预测值,βi′为权重向量第i′个位置所对应的权重值。
本发明提出的基于多层次图特征融合的航空发动机剩余寿命预测方法,与现有技术相比较具有如下有益效果:
(1)将多元传感器时序信号建模成更为一般的图数据,有利于从非欧空间中对系统的退化特性进行分析和提取,解决当前多元传感器时序信号特征提取高度规则化的问题,提高模型的预测鲁棒性,且该方法基于数据驱动方法开发,无需复杂的先验知识,避免了复杂系统内部结构不易深入分析的问题,更具有扩展性和推广性;
(2)提出了多层次图特征融合方法,从节点级、子图级、周期级和时间级这四个层次对航空发动机的健康特征进行提取,不仅解决了因不同飞行周期其数据长度不固定而带来的特征融合难的问题,而且还增加了对多元传感器时序信号的信息利用率,提高了RUL预测精度;
(3)针对目前基于深度学习的常见RUL预测方案几乎都存在预测曲线波动较大的问题,提出了一种简单、通用的加权线段预测光滑方法来代替传统的点预测,不仅提高了预测的平滑度和可靠性,而且还扩大了RUL预测的范围,且值得注意的是,所提出的光滑技巧可以实现RUL预测值的实时优化,这与其他先计算完全部RUL数值再光滑的方法有本质的不同。
附图说明
图1为本发明实施例中的基于多层次图特征融合的航空发动机剩余寿命预测方法的流程图;
图2为本发明实施例中的传感器网络拓扑图;
图3为本发明实施例中的经过退化增强处理前后的多元传感器时序信号对比图;
其中,a)为未经处理的多元传感器时序信号;b)为处理后的拥有退化趋势的多元传感器时序信号;
图4为本发明实施例中的各级特征提取模型的结构图;
其中,a)为基于图神经网络的节点级特征提取模型结构图;b)为基于自注意力机制的子图级特征提取模型结构图;c)为基于自注意力机制的周期级特征提取模型结构图;d)为基于Bi-LSTM的时间级特征提取模型结构图和模型输出层的结构图;
图5为本发明实施例中的Bi-LSTM网络示意图;
其中,a)为具体的网络示意图;b)为网络中LSTM的一个计算单元;
图6为本发明实施例中的RUL预测值对比图;
图7为本发明实施例中的归因分析图;
其中,a)为一台航空发动机RUL预测曲线图;b)为本次预测过程中各传感器数据的注意力系数所占比例图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本实施方式的基于多层次图特征融合的航空发动机剩余寿命预测方法,如图1所示,该方法包括以下步骤:
步骤1:获取航空发动机状态数据集;所述航空发动机状态数据集中包括工况条件信号、多元传感器时序信号、虚拟传感器信号、发动机健康参数、RUL标签、发动机单元编号、飞行周期、飞行类别和健康状态标签;
本实施方式中以NASA开源的航空发动机状态数据集N-CMAPSS为例,该数据集一共包含9个可用的子数据集,每一个子数据集包含多台发动机从健康到失效的全生命周期的状态监测数据,一共包含4种工况条件信号ω、14个多元传感器时序信号xs、14个虚拟传感器信号xv、10个发动机健康参数θ、1个RUL标签y,以及发动机单元编号、飞行周期、飞行类别和健康状态标签。本发明所提的方法是用工况条件信号ω和14个多元传感器时序信号xs来预测出航空发动机当前的RUL预测值和未来一段时间的RUL变化情况。
步骤2:将航空发动机状态数据集划分为训练集和测试集;
在N-CMAPSS数据集中分为9个子数据集,每个子数据集都包含不同的退化模式,在一个子数据集中又有多台发动机的全生命周期数据,现将N-CMAPSS数据集进行训练集和测试集的划分,具体划分如下表所示:
表1训练集和测试集划分情况表
步骤3:对训练集和测试集中的工况条件信号、多元传感器时序信号和RUL标签进行预处理;
从数据集中可以了解到,在航空发动机RUL预测中,由于存在多种飞行状态共存以及原始数据中不同飞行周期内数据的长短不等的问题,所以其健康状态的退化趋势很容易被隐藏,很难直接从传感器所采集到的时序信号中观察到健康状况退化的信息。本发明设计了飞行数据退化趋势增强操作和传感器网络的拓扑图构建操作。
步骤3.1:对工况条件信号、多元传感器时序信号进行最大最小值归一化操作,得到归一化后的若干个工况条件信号和多元传感器时序信号;
本实施方式中对工况条件信号、多元传感器时序信号进行最大最小值归一化操作,归一化公式如下:
其中,x′为归一化之后的时序信号,x为原始时序信号,xmin为原始时序信号中最小的值,xmax为原始时序信号中最大的值。
步骤3.2:对归一化后的每个多元传感器时序信号中的值进行排序,得到每个值的排序值,由每个值的排序值构成秩次序列,进而由若干个多元传感器时序信号得到若干个秩次序列;
本实施方式中假设14个多元传感器时序信号中的任意两个时间序列为S1和S2,将这两个序列的值进行排序,得到秩次序列S'1和S'2。
步骤3.3:根据秩次序列,利用Spearman相关性分析方法计算归一化后的多元传感器时序信号xs中任意两个多元传感器时序信号之间的Spearman相关性系数,并根据Spearman相关性系数构建传感器网络拓扑图;所述传感器网络拓扑图由若干个代表传感器的传感器节点及连接它们的边组成;
所述构建传感器网络拓扑图的方法具体为:若两个多元传感器时序信号之间的Spearman相关性系数大于等于设定阈值,则两个多元传感器时序信号所对应的传感器节点之间存在边,否则不存在;本实施方式中利用Spearman相关性分析方法将多元传感器时序信号xs间的单调关系表征出来,并以此为依据构建出传感器节点之间的连接关系。这两个多元传感器时序信号的Spearman相关性系数可计算为:
其中,n表示秩次序列中的样本量;S′1,index为秩次序列S'1中的第index个值;S'2,index为秩次序列S2中的第index个值;ρs为Spearman相关性系数,表示变量之间的秩相关强度,其数值越大表示两个变量之间的单调变化越相似,一般来说,若ρs∈[0.8,1.0],则可以认为这两个序列是非常强相关的。因此本发明所提方法选取0.8作为阈值,即当ρs≥0.8时,认为多元传感器时序信号对应的传感器节点之间存在边的关系。最终计算所得的传感器网络拓扑图如图2所示。
步骤3.4:对多元传感器时序信号进行退化增强处理,得到多元残差时序信号;
步骤3.4.1:将工况条件信号中的健康状态下的工况条件信号作为输入,多元传感器时序信号中的健康状态下的多元传感器时序信号作为输出,利用三层全连接神经网络FNN来拟合健康状态下的航空发动机输入输出模型;
为了使得隐藏的退化趋势显现,设计了多元传感器时序信号的退化增强操作,以健康状态下的工况条件信号ω为输入,14个多元传感器时序信号xs中的健康状态下的多元传感器时序信号为输出,利用三层全连接神经网络(FNN)来拟合健康状态下的航空发动机输入输出模型。具体的参数为:第一层FNN有128个隐藏神经元,非线性激活函数为Relu函数;第二层FNN有64个隐藏神经元,非线性激活函数为Relu函数,并带有参数为0.2的Dropout层,避免过拟合;第三层为线性输出层。此后,只要将工况条件输入健康状态下的航空发动机输入输出模型即可得到设备健康状态下的理想多元传感器时序信号;
步骤3.4.2:将任意工况条件信号输入健康状态下的航空发动机输入输出模型,得到对应的健康状态下的理想多元传感器时序信号;
步骤3.4.3:将健康状态下的理想多元传感器时序信号与航空发动机状态数据集中真实的多元传感器时序信号计算残差并按飞行周期为单位经过SG平滑滤波去噪处理,得到多元残差时序信号;
本实施方式中多元传感器时序信号退化增强前后的对比,如图3所示。
步骤3.5:基于传感器网络拓扑图对多元残差时序信号进行图信号构建,得到航空发动机全生命周期的图序列;所述图信号包括拓扑图、节点特征和边特征三个要素;
所述得到图序列的方法具体为:利用时间滑窗法对一个飞行周期内的多元残差时序信号按照设定的窗口大小进行截取,将截取的时序信号作为节点特征,使用传感器网络拓扑图所对应的邻接矩阵中边的权重作为边特征,由传感器网络拓扑图、节点特征和边特征构建图信号,得到子图,然后将一个飞行周期内的若干个子图放入集合中得到一个飞行周期的子图序列,进而得到由多个周期的子图序列组成的航空发动机全生命周期的图序列;
本实施方式中,设定时间滑窗的窗口长度为D,将一个飞行周期内的多元残差时序信号进行分割,其分割第i个多元残差时序信号所得的信号可以表示为并将其作为图中对应的传感器节点的节点特征。关于图中的传感器节点i和传感器节点j间的边的特征是由传感器网络拓扑图所对应的邻接矩阵所描述(i,j=1,2,…,N,N是传感器数量)。将传感器网络拓扑图、节点特征和边特征所构建图信号定义为无向子图Gk,t=(V,E),由于不同飞行周期内数据的长短是不固定的,因此分割出的子图数量也是不固定的,其中Gk,t表示飞行周期为t的第k张子图;表示传感器节点,表示传感器节点i与传感器节点j之间边的关系。那么一个飞行周期t的子图序列可以描述为其中M是在飞行周期t中所切割出的子图数量。因此,进一步可以得到航空发动机全生命周期的图序列Q表示该航空发动机全生命周期的飞行周期总数。
步骤3.6:对原始RUL标签进行非线性处理,定义RUL标签;
关于RUL标签的处理,考虑到设备的退化并非纯线性,因此优化为分段线性退化的百分比形式,飞行周期t的RUL标签yt定义为:
其中,yt为飞行周期t的RUL标签值;tEOL表示发动机发生故障而无法使用的时间点;FPT表示发动机开始退化的时间点;RULt表示航空发动机状态数据集中当前飞行周期t的原始RUL标签值。
本实施方式中,给定若干个周期的航空发动机生命周期的图序列预测若干个周期的RUL序列,因此定义RUL序列为本发明以给定前8个飞行周期的图序列,预测当前8个周期和未来8个周期的RUL值为例,即:
其中Yt为飞行周期t的RUL标签序列,为RUL预测序列,为yt的预测值。
步骤4:搭建多层次图特征融合模型;所述多层次图特征融合模型依次包括节点级特征提取模型、子图级特征提取模型、周期级特征提取模型、时间级特征提取模型和输出层;
步骤4.1:搭建节点级特征提取模型;
所述节点级特征提取模型的输入是包括航空发动机若干飞行周期的子图序列的图序列输出是经过节点级特征提取处理的包括航空发动机若干飞行周期的子图序列的图序列其中一个输入和输出的子图序列分别为和该节点级特征提取模型是由若干个并行设置且参数共享的GNN-ResNet块构成,所述GNN-ResNet块的数目与输入的图序列中所包含的飞行周期数m相等,对于不同周期内所包含的不同数量的子图,将其视为可变的batch_size进行批处理。具体的模型结构如图4a)所示,GNN-ResNet块包括第一GATv2层、第一LayerNorm层、第一非线性激活层、第二GATv2层、第二LayerNorm层、第一FNN层和第二非线性激活层;所述节点级特征提取模型将m个飞行周期的数据分别输入给m个GNN-ResNet块,以其中一个通路为例:一个飞行周期的子图序列以子图为单位通过第一GATv2层进行节点的特征聚合,并利用第一LayerNorm层对第一GATv2层聚合后的节点特征向量组进行归一化处理,然后通过第一非线性激活层对归一化后的节点特征向量组进行非线性映射,然后再利用第二GATv2层进一步进行节点特征聚合,并利用第二LayerNorm层对聚合后的节点特征向量组进行归一化处理,然后利用第一FNN层将输入的该飞行周期的子图序列进行维度变换并与第二LayerNorm层输出的归一化后的节点特征向量组进行特征融合,然后利用第二非线性激活层对融合后的节点特征向量组进行非线性激活得到一个通路的经过GNN-ResNet块特征提取的子图序列,最后将m个通路的经过GNN-ResNet块特征提取的子图序列整合成经过节点级特征提取的图序列并将该图序列发送给子图级特征提取模型;
本实施方式中,并行通路数为8,第一GATv2层具体参数为输入特征维度64、输出特征维度128、dropout值为0.2、注意力头数为4;第一LayerNorm层,对经过GATv2聚合的节点特征向量组进行归一化,稳定反向传播的梯度,加快网络的收敛速度,具体参数为输入输出维度为128;第一非线性激活层是ReLu激活函数;第二GATv2层具体参数为输入特征维度128、输出特征维度256、dropout值为0.2、注意力头数为4;第二LayerNorm层具体参数为输入输出维度为256;第一FNN层和第二LayerNorm层的输出进行特征融合,该部分设计是借鉴了残差网络的思想,允许输入通过跨层线路更快地向前传播,提高拟合能力,其具体参数为输入特征维度64、输出特征维度256;第二非线性激活层选择的是tanh层,将融合的特征通过Tanh非线性函数输出到下一层级的任务中。
步骤4.2:搭建子图级特征提取模型;
所述子图级特征提取模型是由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成的,所述自注意力聚合层的并行通路数与输入的图序列中所包含的飞行周期数m相等。将经过节点特征提取的图序列按飞行周期分别输入到m个自注意力聚合层,即任一自注意力聚合层的输入为节点级特征提取模型输出的经过节点特征提取的一个飞行周期的子图序列输出的是该子图序列的子图级特征序列{h1,t,h2,t,…,hM,t}。所述自注意力聚合层通过带温度的自注意力机制对输入的子图序列进行注意力计算,得到子图级特征序列,所述带温度的自注意力机制对节点级特征提取模型输出的子图序列中每一个子图中的节点进行相似性计算,计算其中任意节点与其他节点的相似度,并将这些相似度归一化为注意力权重,其中增加一个温度参数用于调节注意力权重的计算值,增大注意力权重大的数值,然后,通过将每个节点特征与对应的注意力权重进行加权求和,可以得到自注意力机制所输出的子图级特征hk,t,将子图级特征整合成子图级特征序列{h1,t,h2,t,…,hM,t},最后将m个通路的子图级特征序列整合成子图级特征序列集合发送给周期级特征提取模型,其中子图级特征序列集合表示为{{h1,t,h2,t,…,hM,t},…,{h1,t+m-1,h2,t+m-1,…,hM′,t+m-1}}。
本实施方式中子图级特征提取模型包括一层带温度的自注意力聚合层,并行通路数为8,该网络层是在注意力机制的基础上改进得到的。注意力机制是一种模仿人类视觉和认知系统的方法,它允许神经网络对输入序列的不同位置分配不同的权重。通过引入注意力机制,神经网络能够自动地学习并选择性地关注输入中的重要信息,提高模型的性能和泛化能力。具体而言,如图4b)所示,对于图信号中的每个节点,自注意力机制计算其与其他节点之间的相似度,并将这些相似度归一化为注意力权重。然后,通过将每个节点特征与对应的注意力权重进行加权求和,可以得到自注意力机制所输出的子图特征。本发明中引入一个温度参数,是旨在扩大注意力系数大的值,让相似度大的节点占子图特征的主导因素,重点关注那些和健康参数退化强相关的传感器节点,也为后续RUL预测结果的归因分析打下基础。具体的网络层参数为注意力头数为4、温度系数为0.1。
步骤4.3:搭建周期级特征提取模型;
所述周期级特征提取模型是由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成的,所述自注意力聚合层的并行数与输入的图序列中所包含的飞行周期数m相等。将子图级特征序列集合按飞行周期分为m个子图级特征序列,并分别输入到m个自注意力聚合层中,即任一自注意力聚合层的输入为子图级特征提取模型输出的经过子图级特征提取的一个飞行周期的子图级特征序列,输出的是该子图级特征序列的周期级特征,最后将m个通路的周期级特征整合成周期级特征序列{ht,ht+1,…,ht+m-1}发送给时间级特征提取模型,其中ht为飞行周期t中所有子图级特征所融合成的周期级特征。
本实施方式中周期级特征提取模型包括一层带温度的自注意力聚合层,并行通路数为8,如图4c)所示,将一个飞行周期内的所有子图级特征通过带温度的自注意力聚合层加权融合成一个周期级特征,整合并行通路的所有周期级特征得到周期级特征序列,为后面的时序预测做准备。具体的网络层参数为注意力头数为4、温度系数为0.1。
步骤4.4:搭建时间级特征提取模型;
所述时间级特征提取模型依次包括第一Bi-LSTM层、第二Bi-LSTM层和第三非线性激活层,输入的是若干飞行周期所组成的周期级特征序列{ht,ht+1,…,ht+m-1},输出的是经过时间级特征提取的时间级退化特征;
本实施方式中时间级特征提取模型的目的是从上述所得的周期级特征序列中提取退化特征,并将其通过输出层与RUL标签相对应。具体的网络层参数是输入特征维度256、隐藏层单元数32、网络层数为2、dropout值为0.2。
步骤4.5:设计输出层;
所述输出层为应用全连接神经网络的特征空间映射网络,依次包括特征展开层、第二FNN层、第三FNN层、第四FNN层、第四非线性激活层、第五非线性激活层,输入为时间级特征提取模型输出的时间级退化特征,输出为当前若干个周期的RUL预测值和未来若干个周期的RUL预测值;
本实施方式中第二FNN层的输入特征维度512、输出维度64、dropout值为0.2;第三FNN层的输入特征维度64、输出特征维度32、dropout值为0.2;第四FNN层的输入特征维度32、输出特征维度16,第四非线性激活层为Tanh函数,第五非线性激活层为ReLu函数。
本实施方式中将8个周期的时间级退化特征展开成一列的特征向量(2*8*32=512),然后通过第二、第三和第四FNN层将上述所得的一列特征向量进行降维映射,将其映射成与待预测的若干飞行周期的RUL的维度一致,然后利用第四、第五为非线性激活层,将上述FNN层所输出的特征向量进行非线性激活处理,将预测值约束在[0,1]的范围内,所得到的输出向量即为待预测的若干飞行周期的RUL预测值,此处输出向量的16个值分别对应当前8个周期的RUL预测值和未来8个周期的预测值。
步骤5:利用训练集对多层次图特征融合模型进行设定轮次的训练,得到训练完成的多层次图特征融合模型;
一般来说,对于RUL的预测,我们希望训练的模型能够更准确地拟合退化段的情况,这对于预测性维护具有更重要的指导意义。因此,参考强化学习中奖励函数的设计思路,在传统的MSE损失函数基础上增加飞行周期时间t,其表达式为:
其中loss表示损失值,表示飞行周期为t时所对应的RUL预测值,yt表示飞行周期为t时所对应的RUL标签,t表示飞机的飞行周期。
步骤6:将测试集输入多层次图特征融合模型,得到航空发动机RUL预测序列;
本实施方式中将包括8个周期的子图序列的图序列输入,得到16个周期的航空发动机RUL预测值;
步骤6.1:将图序列输入节点级特征提取模型进行节点级特征提取,得到经过节点级特征提取的图序列;
在节点级特征提取任务中,主要基于GNN网络和残差神经网络,在两者的基础上构造了GNN-ResNet块,该块包含两层GATv2,其计算公式如式(6)和(7)所示,该模块可以使传感器节点的特征提取不仅包含自身的特征,还可以聚合相邻节点的特征,更丰富地学习每个节点所包含的退化特征。具体来说,首先将数据输入到一层GATv2层进行第一次特征提取,紧接着通过一层LayerNorm层,对经过GATv2层聚合的节点特征进行归一化,稳定反向传播的梯度,加快网络的收敛速度;然后再经过一层GATv2层进行第二次特征提取,同样进行上述的节点归一化操作;接着和跳跃链接的经过FNN处理的特征进行融合,该部分设计是借鉴了残差网络的思想,允许输入通过跨层线路更快地向前传播,提高拟合能力;最后将融合的特征通过Tanh非线性函数输出到下一层级的任务中。
其中αi,j表示节点i和节点j之间的注意力系数,表示节点i当前层的节点特征,表示节点i下一层的节点特征,表示节点j当前层的节点特征,和表示可学习的参数,表示节点i的邻居节点集合,j表示节点的编号,且j取值可以与i相等;[xi||xj]表示节点特征和的拼接组合,LeakyReLU(·)表示激活函数。
步骤6.2:将经过节点级特征提取的图序列输入子图级特征提取模型进行子图级特征提取,得到子图级特征序列集合;
在子图级特征提取任务中,利用注意力机制设计了带温度的自注意力聚合层,将子图中所有节点的特征进行融合,重点关注那些和健康参数退化强相关的传感器节点,也为后续RUL预测结果的归因分析打下基础。具体的表达式如下:
其中,hk,t表示飞行周期t中第k个子图的子图级特征;表示飞行周期t中第k个子图第i个节点的注意力系数,该系数越大表示其对应的节点关注度越高,也即和退化特征关系越强;表示飞行周期t中第k个子图第i个节点的特征;表示飞行周期t中第k个子图第j个节点的特征;表示飞行周期t中第k个子图第i个节点和第j个节点之间的相似性度量;d表示节点特征的维度;N表示节点的数量,i,j表示节点编号;τ表示温度系数,可以控制注意力的集中度,如果τ≤1则可以放大原本注意力系数较大的值,使得特征的融合更具针对性,引导模型学习和RUL变化更相关的特征,增强预测的准确性。
步骤6.3:将子图级特征序列集合输入周期级特征提取模型进行周期级特征提取,得到周期级特征序列;
在周期级特征提取任务中,采用和子图级任务相同的处理策略,如式(11)至(13)所示,只不过此任务的目的是将一个飞行周期内所有的子图特征全部进行融合,为后续时间级特征提取奠定基础。这一操作还可以解决原始数据中飞行周期数据长短不一的问题,即将一个飞行周期内的所有数据高度聚合为一个与发动机健康状态强相关的高维特征,即周期级特征ht。
其中,ht表示飞行周期t的周期级特征;αk,t表示飞行周期t中第k个子图的注意力系数,该系数越大表示其对应的子图关注度越高,也即和退化特征关系越强;表示周期t中第k个子图和第l个子图之间的相似性度量;d′表示周期特征hk,t的维度;M表示飞行周期t内的子图数量,k和l表示一个飞行周期内的子图编号;τ表示温度系数。
步骤6.4:将周期级特征序列输入时间级特征提取模型进行时间级特征提取,再输入输出层得到航空发动机RUL预测序列;
在时间级特征提取任务中,利用双向长短时记忆网络(Bi-LSTM)的时序特征提取能力,将经过多层次注意力图融合的、能够表征航空发动机健康状态的高维特征,即周期级特征序列{ht,ht+1,…,ht+7}输入到网络中,进一步提取不同飞行周期间航空发动机健康状态变化的特征。Bi-LSTM的结构如图5a)所示,其中每一个LSTM计算单元结构如图5b)所示,具体的特征计算公式如下:
ft=σ(Wxfht+bxf+Whfpt-1+bhf)
it=σ(Wxiht+bxi+Whipt-1+bhi)
gt=tanh(Wxght+bxg+Whgpt-1+bhg)
ot=σ(Wxoht+bxo+Whopt-1+bho)
ct=ft⊙ct-1+it⊙gt
h′t=ot⊙tanh(ct) (14)
其中,ht表示飞行周期t的周期级特征;pt-1表示前一时刻的隐藏状态值;ct表示记忆单元状态值,ft表示遗忘门输出值,用来控制前一时刻记忆状态值ct-1信息保存的比例;it表示输入门的值,选择性记忆输入状态ht对前一时刻记忆单元状态值ct-1的影响;gt表示候选记忆单元值,在更新ct前会先计算出候选记忆单元值gt,用以更新记忆单元状态值;ot表示输出门的值,控制当前记忆单元值ct的输出,h′t表示LSTM基本单元的输出值,将其传递给下一个层;Wxf,Whf,Wxi,Whi,Wxg,Whg,Wxo,Who和bxf,bhf,bxi,bhi,bxg,bhg,bxo,bho表示各单元可学习的参数,σ表示Sigmoid激活函数。通过门控机制可以让LSTM网络具备长距离依赖信息能力,同时在训练过程中避免梯度爆炸和梯度消失的问题。Bi-LSTM能分别对所输入的时间序列进行正序和逆序的特征提取,让特征数据同时拥有过去和未来的信息,使得预测结果更加准确。
最后通过输出层将经过时间级特征提取模型处理的时间级退化特征映射到RUL空间中,得到航空发动机的RUL预测值序列。所提方法的完整框架如图1所示。
步骤7:将多层次图特征融合模型预测的RUL预测序列进行光滑处理,实时得到RUL平滑预测序列;
考虑到目前基于深度学习的常见RUL预测方案几乎都存在预测曲线波动较大的问题。本发明提出了一种通用的RUL预测光滑技巧,将传统RUL预测方法中的点预测改进为线段预测。改进后的预测方法不仅可以增加RUL的预测范围,而且可以通过同时使用多个预测值来优化预测结果,使预测结果更加准确,预测曲线更加平滑。值得注意的是,本发明提出的光滑技巧可以实现RUL预测值的实时优化。该模型每次可以从所输入的若干周期的数据中预测出其所对应的当前若干周期和未来若干周期的RUL预测值,这与先计算出所有RUL值再进行光滑处理的方法有本质的不同。为了调节预测性能,此处增加一个置信度权重β来更合理地优化RUL预测值,最终输出的RUL预测值如下式所示:
其中,为飞行周期t的经过光滑处理的RUL预测值,为飞行周期t在当次RUL预测序列的第i′个位置的RUL预测值,βi′为权重向量第i′个位置所对应的权重值。
本实施方式中,输入的图序列包含8个飞行周期的数据,输出其所对应的当前8个周期的RUL预测值和未来8个周期的RUL预测值,在进行预测时,我们假设模型所预测的前8个周期的RUL预测值是准确的,因为存在真实的多元传感器时序信号与之对应,而未来8个周期的RUL预测值是不确定的,因此不妨设计前8个周期的置信度高,后8个周期的置信度线性减弱,可以设计置信度权重向量β=[1,1,1,1,1,1,1,1,1,0.9,0.8,0.7,0.6,0.5,0.4,0.3]来优化RUL预测值。
为了衡量所设计方法的有效性,采用均方根(RMSE)、均方误差(MSE)、动态时间翘曲(DTW)、NASA评分函数(S)和PHM-2021评分函数(score)等性能指标来验证方法的性能,其评价指标公式如下:
score=0.5×RMSE+0.5×S (20)
其中,Q是选定的测试单元中航空发动机全生命周期的飞行周期总数;和yt分别表示RUL的预测值和真实值;和Y分别表示为一台发动机预测和实际的RUL序列;K表示DTW的翘曲路径长度;wk′表示变形路径中第k′步处和yt之间的距离;α表示惩罚系数,如果RUL被低估了则其值为1/13,反之则为1/10。
为验证方法的有效性,对全部9个数据集都进行了实验,并将其与传统的深度学习方法进行比较。
为证明本发明所提方法的优越性,以N-CMAPSS数据集为实验对象,与深度卷积神经网络DCNN、残差神经网络ResNet、长短时记忆网络LSTM、双向长短时记忆网络Bi-LSTM、ProgNet和Inception DCNN等现有常见的深度学习方法进行比较,为了保证对比的公平性,上述方法在数据预处理阶段,均进行多元传感器时序信号的退化趋势增强处理,不同的是上述方法将多元传感器时序信号处理成高度规则化的数据,而本发明所提的方法则将数据建模为非欧的图结构。实验效果如图6所示,从左往右分别是:第一列为各个方法在DS01子数据集unit8测试单元下的预测结果图,第二列为各个方法在DS03子数据集unit10测试单元下的预测结果图,第三列为各个方法在DS08a子数据集unit12测试单元下的预测结果图;从上到下分别是:第一行为基于DCNN方法的预测结果图,第二行为基于ResNet方法的预测结果图,第三行为基于LSTM方法的预测结果图,第四行为基于Bi-LSTM方法的预测结果图,第五行为基于本发明方法的预测结果图,可以看到本发明方法预测的RUL曲线和真实RUL曲线更接近,且平滑性更好,特别的在DS08a子数据集unit12测试单元下,对比方法甚至无法完成对RUL的预测任务,后期的预测值直接成为一个常数,而反观本文所提的方法都能完成RUL预测任务,且能刻画出航空发动机的RUL变化趋势,说明本发明方法具有更好的预测能力。结合下表2的性能指标数据可以看出,在RMSE、MSE、S、score指标中,本发明都比其他方法有更低的数值,说明本发明的方法具有更高的预测精度;在DTW指标上,本发明也比其他方法有更低的数值,说明RUL预测曲线有更平滑的性能,预测结果也更鲁棒。综上本发明所提的方法优于其他方法,具有较高的预测精度、较好的平滑性和鲁棒性。而且如图7所示,所提的方法还可以进行归因分析,了解模型得出该RUL值的主要依据,如果某项注意力系数所占比例大,则表示其所对应的传感器时序信号是影响当前RUL预测值的主要因素,便于工程师进行进一步分析和判断,能给预测性维护提供一定程度的决策支持,更具工程应用性。
表2不同预测方法下的各性能指标统计表
Claims (9)
1.一种基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,包括如下步骤:
步骤1:获取航空发动机状态数据集;所述航空发动机状态数据集中包括工况条件信号、多元传感器时序信号、虚拟传感器信号、发动机健康参数、RUL标签、发动机单元编号、飞行周期、飞行类别和健康状态标签;
步骤2:将航空发动机状态数据集划分为训练集和测试集;
步骤3:对训练集和测试集中的工况条件信号、多元传感器时序信号和RUL标签进行预处理;
步骤4:搭建多层次图特征融合模型;所述多层次图特征融合模型依次包括节点级特征提取模型、子图级特征提取模型、周期级特征提取模型、时间级特征提取模型和输出层;
步骤5:利用训练集对多层次图特征融合模型进行设定轮次的训练,得到训练完成的多层次图特征融合模型;
步骤6:将测试集输入多层次图特征融合模型,得到航空发动机RUL预测序列;
步骤7:将多层次图特征融合模型预测的RUL预测序列进行光滑处理,实时得到RUL平滑预测序列。
2.根据权利要求1所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,所述步骤3包括如下具体步骤:
步骤3.1:对工况条件信号、多元传感器时序信号进行最大最小值归一化操作,得到归一化后的若干个工况条件信号和多元传感器时序信号;
步骤3.2:对归一化后的每个多元传感器时序信号中的值进行排序,得到每个值的排序值,由每个值的排序值构成秩次序列,进而由若干个多元传感器时序信号得到若干个秩次序列;
步骤3.3:根据秩次序列,利用Spearman相关性分析方法计算归一化后的多元传感器时序信号xs中任意两个多元传感器时序信号之间的Spearman相关性系数,并根据Spearman相关性系数构建传感器网络拓扑图;所述传感器网络拓扑图由若干个代表传感器的传感器节点及连接它们的边组成;
所述构建传感器网络拓扑图的方法具体为:若两个多元传感器时序信号之间的Spearman相关性系数大于等于设定阈值,则两个多元传感器时序信号所对应的传感器节点之间存在边,否则不存在;
所述Spearman相关性系数计算公式为:
其中,n表示秩次序列中的样本量;S'1,index为秩次序列S'1中的第index个值;S'2,index为秩次序列S2中的第index个值;ρs为Spearman相关性系数;
步骤3.4:对多元传感器时序信号进行退化增强处理,得到多元残差时序信号;
步骤3.5:基于传感器网络拓扑图对多元残差时序信号进行图信号构建,得到航空发动机全生命周期的图序列;所述图信号包括拓扑图、节点特征和边特征三个要素;
所述得到图序列的方法具体为:利用时间滑窗法对一个飞行周期内的多元残差时序信号按照设定的窗口大小进行截取,将截取的时序信号作为节点特征,使用传感器网络拓扑图所对应的邻接矩阵中边的权重作为边特征,由传感器网络拓扑图、节点特征和边特征构建图信号,得到子图,然后将一个飞行周期内的若干个子图放入集合中得到一个飞行周期的子图序列,进而得到由多个周期的子图序列组成的航空发动机全生命周期的图序列;
步骤3.6:对原始RUL标签进行非线性处理,定义RUL标签;
所述RUL标签yt定义为:
其中,yt为飞行周期t的RUL标签值;tEOL表示发动机发生故障而无法使用的时间点;FPT表示发动机开始退化的时间点;RULt表示航空发动机状态数据集中当前飞行周期t的原始RUL标签值。
3.根据权利要求1所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,所述步骤4包括如下具体步骤:
步骤4.1:搭建节点级特征提取模型;
所述节点级特征提取模型输入是包括航空发动机m个飞行周期的子图序列的图序列,进行节点级特征提取处理,输出包括航空发动机m个飞行周期的经过节点级特征提取处理的子图序列的图序列;
所述节点级特征提取模型是由若干个并行设置且参数共享的GNN-ResNet块构成,所述GNN-ResNet块的数目与输入的图序列中所包含的飞行周期数m相等,所述GNN-ResNet块包括第一GATv2层、第一LayerNorm层、第一非线性激活层、第二GATv2层、第二LayerNorm层、第一FNN层和第二非线性激活层;所述每个GNN-ResNet块将一个飞行周期的子图序列以子图为单位通过第一GATv2层进行节点的特征聚合,并利用第一LayerNorm层对第一GATv2层聚合后的节点特征向量组进行归一化处理,然后通过第一非线性激活层对归一化后的节点特征向量组进行非线性映射,然后再利用第二GATv2层进一步进行节点特征聚合,并利用第二LayerNorm层对聚合后的节点特征向量组进行归一化处理,然后利用第一FNN层将输入的该飞行周期的子图序列进行维度变换并与第二LayerNorm层输出的归一化后的节点特征向量组进行特征融合,然后利用第二非线性激活层对融合后的节点特征向量组进行非线性激活得到一个通路的经过GNN-ResNet块特征提取的子图序列;
所述第一非线性激活层为ReLu激活函数;所述第二非线性激活层为Tanh函数;
步骤4.2:搭建子图级特征提取模型;
所述子图级特征提取模型输入的是包括航空发动机m个飞行周期的经过节点级特征提取处理的子图序列的图序列,进行子图级特征提取处理,输出由m个飞行周期的子图级特征序列组成的子图级特征序列集合;所述子图级特征提取模型由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成,所述自注意力聚合层的并行通路数与输入的图序列中所包含的飞行周期数m相等,所述自注意力聚合层通过带温度的自注意力机制对输入的子图序列进行注意力计算,得到子图级特征序列,所述带温度的自注意力机制对节点级特征提取模型输出的子图序列中每一个子图中的节点进行相似性计算,计算其中任意节点与其他节点的相似度,并将这些相似度归一化为注意力权重,其中增加一个温度参数用于调节注意力权重的计算值,增大注意力权重大的数值,然后,通过将每个节点特征与对应的注意力权重进行加权求和,可以得到自注意力机制所输出的子图级特征hk,t,将子图级特征整合成子图级特征序列;
步骤4.3:搭建周期级特征提取模型;
所述周期级特征提取模型输入的是由m个飞行周期的子图级特征序列组成的子图级特征序列集合,进行周期级特征提取处理,输出由m个周期级特征整合成的周期级特征序列;所述周期级特征提取模型是由若干个并行设置且参数共享的一层带温度的自注意力聚合层所构成的,所述自注意力聚合层的并行数与输入的图序列中所包含的飞行周期数m相等,所述任一自注意力聚合层的输入为子图级特征提取模型输出的经过子图级特征提取的一个飞行周期的子图级特征序列,输出的是该子图级特征序列的周期级特征;
步骤4.4:搭建时间级特征提取模型;
所述时间级特征提取模型依次包括第一Bi-LSTM层、第二Bi-LSTM层和第三非线性激活层,输入的是周期级特征序列,输出的是经过时间级特征提取的时间级退化特征;
所述第三非线性激活层为Tanh函数;
步骤4.5:设计输出层;
所述输出层依次包括特征展开层、第二FNN层、第三FNN层、第四FNN层、第四非线性激活层、第五非线性激活层,输入为时间级特征提取模型输出的时间级退化特征,输出为当前m个周期的RUL预测值和未来m个周期的RUL预测值;所述第四非线性激活层为Tanh函数,第五非线性激活层为ReLu函数。
4.根据权利要求1所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,所述步骤6包括如下具体步骤:
步骤6.1:将图序列输入节点级特征提取模型进行节点级特征提取,得到经过节点级特征提取的图序列;
步骤6.2:将经过节点级特征提取的图序列输入子图级特征提取模型进行子图级特征提取,得到子图级特征序列集合;
步骤6.3:将子图级特征序列集合输入周期级特征提取模型进行周期级特征提取,得到周期级特征序列;
步骤6.4:将周期级特征序列输入时间级特征提取模型进行时间级特征提取,再输入输出层得到航空发动机RUL预测序列。
5.根据权利要求2所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,所述步骤3.4包括如下具体步骤:
步骤3.4.1:将工况条件信号中的健康状态下的工况条件信号作为输入,多元传感器时序信号中的健康状态下的多元传感器时序信号作为输出,利用三层全连接神经网络FNN来拟合健康状态下的航空发动机输入输出模型;
步骤3.4.2:将任意工况条件信号输入健康状态下的航空发动机输入输出模型,得到对应的健康状态下的理想多元传感器时序信号;
步骤3.4.3:将健康状态下的理想多元传感器时序信号与航空发动机状态数据集中真实的多元传感器时序信号计算残差并按飞行周期为单位经过SG平滑滤波去噪处理,得到多元残差时序信号。
6.根据权利要求1所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,所述步骤7中光滑处理方法为:
其中,为飞行周期t的经过光滑处理的RUL预测值,为飞行周期t在当次RUL预测序列的第i′个位置的RUL预测值,βi′为权重向量第i′个位置所对应的权重值。
7.根据权利要求4所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,步骤6.1中所述节点级特征提取的表达式为:
其中,αi,j表示节点i和节点j之间的注意力系数,表示节点i当前层的节点特征,表示节点i下一层的节点特征,表示节点j当前层的节点特征,和表示可学习的参数,表示节点i的邻居节点集合,j表示节点的编号,且j取值可以与i相等;[xi||xj]表示节点特征和的拼接组合,LeakyReLU(·)表示激活函数。
8.根据权利要求4所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,步骤6.2中所述子图级特征提取的表达式为:
其中,hk,t表示飞行周期t中第k个子图的子图级特征;表示飞行周期t中第k个子图第i个节点的注意力系数;表示飞行周期t中第k个子图第i个节点的特征;表示飞行周期t中第k个子图第j个节点的特征;表示飞行周期t中第k个子图第i个节点和第j个节点之间的相似性度量;d表示节点特征的维度;N表示节点的数量,i,j表示节点编号;τ表示温度系数。
9.根据权利要求4所述的基于多层次图特征融合的航空发动机剩余寿命预测方法,其特征在于,步骤6.3中所述周期级特征提取表达式为:
其中,ht表示飞行周期t的周期级特征;αk,t表示飞行周期t中第k个子图的注意力系数,该系数越大表示其对应的子图关注度越高,也即和退化特征关系越强;表示周期t中第k个子图和第l个子图之间的相似性度量;d′表示周期特征hk,t的维度;M表示飞行周期t内的子图数量,k和l表示一个飞行周期内的子图编号;τ表示温度系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311258537.3A CN117312770A (zh) | 2023-09-27 | 2023-09-27 | 基于多层次图特征融合的航空发动机剩余寿命预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311258537.3A CN117312770A (zh) | 2023-09-27 | 2023-09-27 | 基于多层次图特征融合的航空发动机剩余寿命预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117312770A true CN117312770A (zh) | 2023-12-29 |
Family
ID=89280579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311258537.3A Pending CN117312770A (zh) | 2023-09-27 | 2023-09-27 | 基于多层次图特征融合的航空发动机剩余寿命预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117312770A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118017503A (zh) * | 2024-04-08 | 2024-05-10 | 吉林大学 | 一种用户用电负荷数据预测方法、系统、终端及存储介质 |
-
2023
- 2023-09-27 CN CN202311258537.3A patent/CN117312770A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118017503A (zh) * | 2024-04-08 | 2024-05-10 | 吉林大学 | 一种用户用电负荷数据预测方法、系统、终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960303B (zh) | 一种基于lstm的无人机飞行数据异常检测方法 | |
Wu et al. | A weighted deep domain adaptation method for industrial fault prognostics according to prior distribution of complex working conditions | |
CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
CN108564326A (zh) | 订单的预测方法及装置、计算机可读介质、物流系统 | |
CN114282443B (zh) | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 | |
CN114266278B (zh) | 一种基于双重注意力网络的设备剩余使用寿命预测方法 | |
CN117312770A (zh) | 基于多层次图特征融合的航空发动机剩余寿命预测方法 | |
Wang et al. | A remaining useful life prediction model based on hybrid long-short sequences for engines | |
CN113988263A (zh) | 工业物联网边缘设备中基于知识蒸馏的空时预测方法 | |
CN115456245A (zh) | 一种感潮河网区溶解氧预测方法 | |
CN115146844A (zh) | 一种基于多任务学习的多模式交通短时客流协同预测方法 | |
Li et al. | A deep branched network for failure mode diagnostics and remaining useful life prediction | |
CN116244647A (zh) | 一种无人机集群的运行状态估计方法 | |
Ding et al. | A high-precision and transparent step-wise diagnostic framework for hot-rolled strip crown | |
CN117390407B (zh) | 变电站设备的故障识别方法、系统、介质和设备 | |
CN114720129A (zh) | 一种基于双向gru的滚动轴承剩余寿命预测方法及系统 | |
CN112613227B (zh) | 基于混合机器学习的航空发动机剩余使用寿命预测模型 | |
CN115761654B (zh) | 一种车辆重识别方法 | |
Zhao et al. | A Hybrid Time Series Model based on Dilated Conv1D and LSTM with Applications to PM2. 5 Forecasting. | |
CN115048873B (zh) | 一种用于飞机发动机的剩余使用寿命预测系统 | |
CN113887807B (zh) | 基于机器学习和证据理论的机器人博弈战术预测方法 | |
CN115062762A (zh) | 一种海流轨迹预测方法 | |
CN114841063A (zh) | 一种基于深度学习的航空发动机剩余寿命预测方法 | |
Liu et al. | Aero-Engines Remaining Useful Life Prognostics Based on Multi-Hierarchical Gated Recurrent Graph Convolutional Network | |
CN113868597A (zh) | 一种用于年龄估计的回归公平性度量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |