CN113743016A - 基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法 - Google Patents
基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法 Download PDFInfo
- Publication number
- CN113743016A CN113743016A CN202111053448.6A CN202111053448A CN113743016A CN 113743016 A CN113743016 A CN 113743016A CN 202111053448 A CN202111053448 A CN 202111053448A CN 113743016 A CN113743016 A CN 113743016A
- Authority
- CN
- China
- Prior art keywords
- data
- engine
- value
- input
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000006731 degradation reaction Methods 0.000 claims abstract description 21
- 230000015556 catabolic process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000008034 disappearance Effects 0.000 claims abstract description 6
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001788 irregular Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
一种基于改进的堆叠式稀疏自编码器(SSAE)和注意力回声状态网络(Atten‑ESN)的发动机剩余使用寿命预测方法，首先采用3sigma准则去除原始噪声获得高质量的原始数据并实现数据重构，利用改进的SSAE提取发动机每个周期的特征并进行特征降维，其中在编码器中采用BN层与Dropout层解决梯度消失以及过拟合问题，然后将提取的发动机特征构建成HI值，获得表征发动机退化趋势的HI曲线，最后在ESN网络中引入注意力机制，自适应处理不同类型的特征并优化网络参数，最终得到RUL值，实现涡扇发动机的剩余使用寿命预测。本发明采用特征提取加网络预测结构的组合模型进行剩余使用寿命预测，提高了预测精度。摘要附图如图1。
Description
技术领域
本发明属于机械设备的剩余使用寿命预测技术领域，具体涉及基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法。
背景技术
涡扇发动机是飞机的核心，涡扇发动机的健康状态分析对于航空器的评估、安全使用以及制定维护策略都至关重要，而剩余使用寿命(remaining useful life,RUL)是衡量涡扇发动机的健康状况的关键指标，准确地预测剩余使用寿命既能够避免未及时维护带来的安全事故，也能减少过度维护产生的昂贵成本。涡扇发动机因测点较多，工况复杂，数据量大等使得剩余使用寿命预测面临特征提取、预测精度等的极大挑战，要解决这些问题，关键在于：一方面，选择合适的预测方法或者模型，方法或模型的选择直接决定了预测的效果。另一方面是构建出反映涡扇发动机退化过程的健康指标(health indicator,HI)，一个合理准确的健康指标能够提高预测精度并简化模型
目前主流的RUL预测方法主要有两类：分别是基于模型的预测和基于数据驱动的预测。基于模型的寿命预测是建立一个数学或者物理模型，通过该模型来分析描述设备或者部件的退化过程取长补短，在特定领域能有效提高特征提取率，提升模型的预测精度和泛化能力。基于数据驱动的预测方法通过收集到的设备退化数据、测试数据或者多个传感器采集的历史数据，对数据进行特征提取和训练，学习到设备的退化趋势，采用机器学习以及数理统计方法将设备退化趋势与剩余使用寿命联系建模并进行RUL预测。但是，涡扇发动机等设备的退化过程通常是由多个传感器采集的，这类传感器数据的数据量庞大且有效信息难以提取，所以如何设计由不同模型构成的组合结构，采用何种特征提取方式提取有效特征，对发动机的退化趋势进行构建，对构建好的特征趋势，使用何种网络进行RUL预测并平衡模型之间的内在关系，使模型的功能最优化，降低时间复杂度是该方法面临的挑战。
发明内容
为了克服现有技术存在的缺点，本发明提供了一种基于改进的堆叠式稀疏自编码器(SSAE)和注意力回声状态网络(Atten-ESN)的发动机剩余使用寿命预测方法。首先，采用3sigma准则去除原始噪声并实现数据重构，再利用改进的SSAE提取发动机每个周期的特征并进行特征降维，同时，在编码器中采用BN层与Dropout层解决梯度消失以及过拟合问题，然后将提取的发动机特征构建成HI值，获得发动机退化趋势，最后在ESN网络中引入注意力机制，自适应处理不同类型的输入并得到RUL值，实现涡扇发动机的剩余使用寿命预测。
为了达到上述目的，本发明采取的技术方案为：
一种基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法，包括以下步骤：
1)对于获取的不同的发动机随时间产生的传感器数据进行数据选择形成原始数据集
每个数据样本都包含第i个环境中的发动机的编号、从开始到现在的运行时间、操作设置以及传感器的信息，其中，i表示第i个环境，随后对该原始数据集进行数据的3sigma降噪和归一化处理，3sigma准则来消除测量数据中的粗差，即数据分布几乎集中在(μ-3σ,μ+3σ)区间，其比例是99.73％，超过该区间的数据比例为0.27％，这部分数据属于粗大误差被认为是原始数据的噪声，我们在降噪过程中消除这部分数据，归一化则是将数据大小限定在[0,1]之间，3sigma和归一化计算式如(1)(2)所示：
P(μ-3σ<x<μ+3σ)＝0.9973 (1)
式中：μ代表样本平均值，σ代表标准差，
为归一化处理之后的第n个特征m数据点的值，Xm,n为处理前的原始数据，
分别是对应特征的最大值和最小值；
经过数据处理后对传感器数据进行趋势分析，经过数据分析可知，传感器信号随发动机退化过程的变化趋势分为单调上升、单调下降、不规则变化、恒定值四种，排除恒定不变的值并对训练集、测试集进行数据清理及数据集重组，只保留14类传感器信号，形成新的训练集、测试集；
2)将步骤1)中得到的高质量数据输入到改进的堆叠式稀疏编码器中进行训练，编码器结构使用14-8-4-1的网络结构，输入节点数14是各个运行周期的14维传感器数据值，两个隐藏层节点数分别是8和4，输出节点数1则对应单个运行周期的特征值。先进行初始化参数，再初始化第一层的权重值，计算代价函数(均方差项，权重衰减项及稀疏因子项)。损失函数、总体代价函数如式(3)、式(4)所示：
式中，J(W,b)定义中的第一项是平均平方和误差项,第二项是权重去伪项，防止过拟合，其中n是样本个数，hw,b()是隐藏层函数，其近似恒等函数，使输入接近输出，
对应于第i个样本的输入与输出，W，b分别是编码器的权重、偏置参数矩阵，λ是权重衰减系数，nl为网络层数，sl为第l层的单元数,
是l层第j个神经元对第i个样本的权重，β是控制稀疏性惩罚因子的权重，t是隐藏神经元的个数；
每层的编码、解码过程中BN层和Dropout层优化输入和输出，解决梯度消失，进行稀疏约束，对于每层的输出和均方差项使用梯度下降法进行迭代优化，使用反向传播法进行训练，优化权重和偏置值，最终计算重构误差并应用Adam算法下降误差，调节参数。
3)将步骤2)的结果用于构建HI值，每个发动机在经过改进的SSAE特征提取后，获得一组一维特征值，其中每个特征值代表发动机的每个寿命周期的多传感器数据信息，根据每个发动机全寿命周期的一维特征值，得到某个寿命周期的实时状态特征和历史退化特征以及发动机失效时的特征，通过改进的SSAE提取的发动机失效特征和其某个寿命周期的实时特征构建发动机的HI如下式所示：
其中，T为该发动机的HI曲线长度，Ft是第t个寿命周期的实时特征，Fend是发动机失效特征，在构建过程中，HI的取值为0代表发动机完全失效，为1代表发动机完全正常，因此，利用式(6)将HI的退化状态更新并限制在[0,1]之间，HI、HI′分别是更新之前和更新之后的HI值，HImax、HImin分别是HI的最大值和最小值；
4)将步骤3)输出的HI值或者HI曲线输入Atten-ESN网络，ESN网络中引入注意力机制，目的是将我们所提取的发动机的多种不同的特征分别进行自适应处理，保证将输入元素完整的输入到神经网络中处理并得到正确的输出，注意力机制定义如下：
其中，注意力机制的输出d(t)是一个向量，其维度和t时刻输入层状态u(t)是一致的，
代表激活函数，本发明的激活函数是tanh函数(式16)，Win是输入层与储备池的连接权重，
是储备池状态反馈权重，bd是注意力机制的偏置，储备池前一时刻的输出状态x(t-1)和t时刻输入层状u(t)是用来确定输入层每个特征的重要性水平。经过注意力机制的更新，原始输入变成：
其中，
是新的输入层状态，⊙指的是元素式乘法，当新的输入代替原有的输入之后，ESN网路储备池的状态也将会改变，其将更新为：
其中，x(t)是t时刻储备池状态，λ是渗漏率，取值范围[0,1]，Wback是输入和输出反馈的权重矩阵，
是t-1时刻输出层状态，η是正则化系数；
采样阶段：选取网络的初始状态为0，训练样本
经过输入连接权值矩阵Win被加入到储备池；
权值计算：在采样阶段收集到系统状态x(t)和样本数据，计算输出连接权重矩阵Wout，即计算权值矩阵满足网络均方差误差最小，利用粒子群优化算法更新网络的参数，获得最佳参数，更新或记录储备池状态，使用线性回归确定输出连接权值矩阵Wout；
5)通过步骤4)得到预测的发动机各个周期的RUL值，模型训练过程中的损失函数如式(10)所示，Xn数据样本个数，Yi指的是第i个发动机的RUL预测值与RUL实际值的差值；
6)测试阶段，从传感器获取到随时间变化的数据，通过步骤1)获得处理后的高质量数据及有效传感器个数，步骤2)将每个周期的数据进行特征压缩，然后利用步骤3)的HI构建方法得到能表征退化趋势的HI值，构造HI曲线，将特征值输入步骤4)的Atten-ESN网络中获得预测的RUL值；
本发明提出了基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机寿命预测方法，利用3sigma以及传感器趋势分析去除冗余及无效特征，利用改进的堆叠式稀疏自编码器将多维传感器特征压缩至一维特征，将得到的一维特征值构建成HI值，将获得的HI值输入至注意力回声状态网络中进行自适应提取，最终输出预测的RUL值，另外，本发明将特征的压缩、提取与神经网络相结合，增强了模型的泛化能力，提高了模型精度，在多工况、多故障模式下均有良好的预测效果。
附图说明
图1为本发明的流程图；
图2为模型结构示意图；
图3为imSSAE和imESn结构图；
图4为模型的训练流程图；
图5原始样本数据分布图；
图6(a)(b)(c)(d)分别为传感器单调上升、单调下降、不规则变化、恒定值四种变化趋势图；
图7(a)(b)为Dropout、稀疏度SD参数设置过程图；
图8(a)(b)10个发动机训练集HI曲线和测试集HI曲线图；
图9(a)(b)(c)(d)分别为四个监测单元的RUL预测结果图；
图10为测试集RUL预测结果图。
具体实施方式
参照图1，一种基于改进的堆叠式稀疏自编码器和注意力回声状态网络的涡扇发动机剩余使用寿命预测方法，包括以下步骤：
1)对于获取的不同的发动机随时间产生的传感器数据进行数据选择形成原始数据集
每个数据样本都包含第i个环境中的发动机的编号、从开始到现在的运行时间、操作设置以及传感器的信息，其中，i表示第i个环境，随后对该原始数据集进行数据的3sigma降噪和归一化处理，3sigma准则来消除测量数据中的粗差，即数据分布几乎集中在(μ-3σ,μ+3σ)区间，其比例是99.73％，超过该区间的数据比例为0.27％，这部分数据属于粗大误差被认为是原始数据的噪声，在降噪过程中消除这部分数据，归一化则是将数据大小限定在[0,1]之间，3sigma和归一化计算式如(1)(2)所示：
P(μ-3σ<x<μ+3σ)＝0.9973 (1)
式中：μ代表样本平均值，σ代表标准差，
为归一化处理之后的第n个特征m数据点的值，Xm,n为处理前的原始数据，
分别是对应特征的最大值和最小值；
经过数据处理后对传感器数据进行趋势分析，经过数据分析可知，传感器信号随发动机退化过程的变化趋势分为单调上升、单调下降、不规则变化、恒定值四种，排除恒定不变的值并对训练集、测试集进行数据清理及数据集重组，只保留14类传感器信号，形成新的训练集、测试集；
2)将步骤1)中得到的高质量数据输入到改进的堆叠式稀疏编码器中进行训练，编码器结构使用14-8-4-1的网络结构，输入节点数14是各个运行周期的14维传感器数据值，两个隐藏层节点数分别是8和4，输出节点数1则对应单个运行周期的特征值，图2为模型结构示意图，图3为改进的堆叠式稀疏自编码器和引入注意力机制的回声状态网络结构图，为了解决梯度消失问题，首先在编码和解码部分将Sigmoid函数替换成Tanh函数，其函数及导函数表达式如下：
对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，加速模型学习，模型对网络中的参数敏感性减弱，简化网络调参，BN层加上稀疏自编码器(SAE)以Tanh函数为激活函数则解决了堆叠式稀疏自编码器(SSAE)的梯度消失问题，BN层处理公式如下：
其中，
是第l层的第i个输入数据，i＝1,2,…,n指的是前一层传递给后一层的数据个数，μ是输入数据的数据均值，σ2是输入数据的方差，
是数据进行标准化后的值，ε是非常小的常数项，γ和β是网络的训练参数，BN即标准化的值经过γ和β的线性变换得到新的值；
添加Dropout层实现SAE的稀疏性，同BN层一样，本发明在隐藏层编码和解码过程中的激活函数前引入Dropout层，Dropout机制在进行编码和解码时能够让神经元激活值随机失活(即以一定的概率p被置为0，以此达到稀疏性约束，它的表达式为:
其中，I表示原始激活函数的输入数据，I′表示经过dropout层处理的激活函数的输入数据，Bernoulli(·)表示伯努利分布，当神经元激活值被置为0,表示相应的神经元的权重和偏置在本次学习中并未更新,对原始的编码和解码过程不产生影响；
3)将步骤2)的结果用于构建HI值，根据每个发动机全寿命周期的一维特征值，可以得到某个寿命周期的实时状态特征和历史退化特征以及发动机失效时的特征，本发明通过改进的SSAE提取的发动机失效特征和其某个寿命周期的实时特征构建发动机的HI如下式所示：
其中，T为该发动机的HI曲线长度，Ft是第t个寿命周期的实时特征，Fend是发动机失效特征，在构建过程中，HI的取值为0代表发动机完全失效，为1代表发动机完全正常，因此，利用式(8)将HI的退化状态更新并限制在[0,1]之间，HI、HI′分别是更新之前和更新之后的HI值，HImax、HImin分别是HI的最大值和最小值。
为了定量的评价发动机HI曲线的构建效果，本发明选用时间关联性和单调性作为评价指标，第i个发动机单元的HI曲线的时间关联性如下：
式中，T为该发动机的HI曲线长度，HIti代表第i个发动机的HI曲线在第t个周期处的健康值(i＝1,2,…,N)，
为HI曲线的各周期处对应的HI平均值,lti代表第i个涡轮发动机周期的编号，
为周期编号的平均值；
第i个发动机单元的HI曲线的单调性如下：
式中，dQi为第i个发动机HI曲线中序列值的微分，Num of dQi＞0表示大于0的dQi值的个数，Num of dQi＜0表示小于0的dQi值的个数。对本发明数据集中N个发动机的N条HI曲线进行评价，使用时间关联性平均值和单调性平均值分别为：
4)将步骤3)输出的HI值或者HI曲线输入Atten-ESN网络，网络结构为输入层-储备池-输出层，各层具体参数如下：
输入层：t时刻的输入层神经元的节点数为n，输入层的状态为u(t)＝[u1(t),u2(t),…,un(t)]T，输入层与储备池的连接权重为
输入层权重无需训练，进行随机初始化即可；
储备池：t时刻的储备池神经元的节点数为m，储备池的状态为x(t)＝[x1(t),x2(t),…,xm(t)]T，储备池接受两个输入：输入向量u(t)和储备池前一时刻的输出状态x(t-1)，储备池状态反馈权重
和
一样不需要训练，由随机初始状态决定，
为大型稀疏矩阵，其中的非0元素代表储备池中被激活的神经元，t时刻储备池的状态更新方式如式(12)所示：
输出层：t时刻的输出层神经元节点数为l，输出层的状态为f(t)＝[f1(t),f2(t),…,fl(t)]T，网络的储备池与输出层是线性连接关系，满足式(13)，训练过程中需要训练线性连接的权重，其中
是储备池与输出层的连接权重；
为了得到输出权值的稳定解，采用岭回归的方法产生稀疏解，利用岭回归方法训练输出权值，输出权值的求解等价于优化式(14)：
其中，Wout为输出权值，Z为网络内部状态矩阵(Z＝[X(1),…,X(N)]T，X(n)＝[u(n)T,x(n)T]T,n∈N,N是样本数)，Y为输出序列矩阵，正则化系数为λ，这里对输出权值进行L2正则化。对式(14)求导，令其导数为0，得到最终的输出权值Wout如式(15)所示，其中I为单位阵；
Wout＝YZT(ZZT+λI)-1 (15)
5)通过步骤4)得到预测的发动机各个周期的RUL值，模型训练过程中的损失函数如式(16)(17)所示，Xn数据样本个数，Yi指的是第i个发动机的RUL预测值与RUL实际值的差值；
6)测试阶段，为进一步证明本发明方法的有效性，采用NASAC-MAPSS涡扇发动机退化数据集，结合本发明方法开展寿命预测，发动机的数量在每个子集中各不相同，每台发动机有着不同程度的初始磨损，但这种磨损被认为是正常的，有三种操作设置对发动机性能有较大的影响，发动机在每个时间序列开始时工作正常，在时间序列结束后出现故障，在训练集中，故障不断增大，直到系统失效。在测试集中，时间序列在系统故障前的某个时间结束，在每个时间序列中，21个传感器参数和其它3个参数显示了涡扇发动机的运行状态，如表1展示数据集以压缩文本文件的形式提供，每一行都是在单个操作周期中获取的数据的快照，每列都是不同的变量，如表2展示传感器数据描述。具体数据集描述如表3所示，数据集中的训练集是包括了发动机整个生命周期的数据，而测试集的数据轨迹在失效前的某一个时刻终止，传感器数和运行参数种类对于四个数据子集(FD001-FD004)来说是一致的；
为了验证改进的SSAE和Atten-ESN模型的可行性和有效性以及更加全面的衡量模型的预测表现，本发明方法选取了最近多种先进的设备剩余寿命预测方法，在相同的数据集下对各种方法的误差进行比较，评价指标为RMSE和评分函数score；FD001数据集比较结果见表4：由结果可知，本发明方法的模型与表中其它的方法相比，本发明所提的方法在RMSE和score这两个评分指标中都属于最低值。可以看出，本发明方法的RMSE比传统机器学习方法如MLP，SVM，RF降低了39.5％-75％，score比RF降低59％，这是因为本发明方法的神经网络结构可以自适应的提取发动机不同的特征，优化网络参数，从而提高模型的预测效果。与混合神经网络结构(DBN、CNN-LSTM、HDNN)相比，RMSE降低了22.1％-33.3％，score降低了19.5％-52.8％,这得益于编码器的特征提取，能够获得低维更有效的特征以及合理利用HI构建使得神经网络预测效果较好，与含有编码器结构的Autoencoder-BLSTM、VAE-D2GAN相比，RMSE分别降低了12.5％、25.6％，score分别降低了10.8％、24.5％，说明本发明在特征提取前的数据预处理更有优势以及改进之后的堆叠稀疏自编码器更适合提取发动机数据特征。
表1数据集文件列内容
表2涡扇发动机传感器数据描述：
表3数据集详述
表4：多种模型在FD001数据集上的比较
Claims (1)
1.一种基于改进的堆叠式稀疏自编码器和注意力回声状态网络的发动机剩余使用寿命预测方法，其特征在于，包括以下步骤：
1)对于获取的不同的发动机随时间产生的传感器数据进行数据选择形成原始数据集
每个数据样本都包含第i个环境中的发动机的编号、从开始到现在的运行时间、操作设置以及传感器的信息，其中，i表示第i个环境，随后对该原始数据集进行数据的3sigma降噪和归一化处理，3sigma准则来消除测量数据中的粗差，即数据分布几乎集中在(μ-3σ,μ+3σ)区间，其比例是99.73％，超过该区间的数据比例为0.27％，这部分数据属于粗大误差被认为是原始数据的噪声，我们在降噪过程中消除这部分数据，归一化则是将数据大小限定在[0,1]之间，3sigma和归一化计算式如(1)(2)所示；
P(μ-3σ<x<μ+3σ)＝0.9973 (1)
式中：μ代表样本平均值，σ代表标准差，
为归一化处理之后的第n个特征m数据点的值，Xm,n为处理前的原始数据，
分别是对应特征的最大值和最小值；
经过数据处理后对传感器数据进行趋势分析，经过数据分析可知，传感器信号随发动机退化过程的变化趋势分为单调上升、单调下降、不规则变化、恒定值四种，排除恒定不变的值并对训练集、测试集进行数据清理及数据集重组，只保留14类传感器信号，形成新的训练集、测试集；
2)将步骤1)中得到的高质量数据输入到改进的堆叠式稀疏编码器中进行训练，编码器结构使用14-8-4-1的网络结构，输入节点数14是各个运行周期的14维传感器数据值，两个隐藏层节点数分别是8和4，输出节点数1则对应单个运行周期的特征值，先进行初始化参数，再初始化第一层的权重值，计算代价函数(均方差项，权重衰减项及稀疏因子项)，损失函数、总体代价函数如式(3)、式(4)所示：
式中，J(W,b)定义中的第一项是平均平方和误差项,第二项是权重去伪项,防止过拟合，其中n是样本个数，hw,b()是隐藏层函数，其近似恒等函数，使输入接近输出。
对应于第i个样本的输入与输出，W，b分别是编码器的权重、偏置参数矩阵，λ是权重衰减系数，nl为网络层数，sl为第l层的单元数,
是l层第j个神经元对第i个样本的权重，β是控制稀疏性惩罚因子的权重，t是隐藏神经元的个数，每层的编码、解码过程中BN层和Dropout层优化输入和输出，解决梯度消失，进行稀疏约束，对于每层的输出和均方差项使用梯度下降法进行迭代优化，使用反向传播法进行训练，优化权重和偏置值，最终计算重构误差并应用Adam算法下降误差，调节参数；
3)将步骤2)的结果用于构建HI值，每个发动机在经过改进的堆叠式稀疏自编码器(SSAE)特征提取后，最终获得了一组一维特征值，其中每个特征值代表发动机的每个寿命周期的多传感器数据信息，根据每个发动机全寿命周期的一维特征值，得到某个寿命周期的实时状态特征和历史退化特征以及发动机失效时的特征，通过改进的SSAE提取的发动机失效特征和其某个寿命周期的实时特征构建发动机的HI如下式所示：
其中，T为该发动机的HI曲线长度，Ft是第t个寿命周期的实时特征，Fend是发动机失效特征，在构建过程中，HI的取值为0代表发动机完全失效，为1代表发动机完全正常，因此，利用式(6)将HI的退化状态更新并限制在[0,1]之间，HI、HI′分别是更新之前和更新之后的HI值，HImax、HImin分别是HI的最大值和最小值；
4)将步骤3)输出的HI值或HI曲线输入注意力回声状态网络(Atten-ESN)网络，回声状态网络(ESN)中引入注意力机制，目的是将提取的发动机的多种不同的特征分别进行自适应处理，保证将输入元素完整的输入到神经网络中处理并得到正确的输出，注意力机制定义如下：
其中，注意力机制的输出d(t)是一个向量，其维度和t时刻输入层状态u(t)是一致的，
代表激活函数，本发明的激活函数是tanh函数(式16),Win是输入层与储备池的连接权重，
是储备池状态反馈权重,bd是注意力机制的偏置，储备池前一时刻的输出状态x(t-1)和t时刻输入层状u(t)是用来确定输入层每个特征的重要性水平，经过注意力机制的更新，原始的输入会变成：
其中，
是新的输入层状态，⊙指的是元素式乘法，当新的输入代替原有的输入之后，ESN网路储备池的状态也将会改变，其将更新为：
其中，x(t)是t时刻储备池状态，λ是渗漏率，取值范围[0,1]，Wback是输入和输出反馈的权重矩阵，
是t-1时刻输出层状态，η是正则化系数；
采样阶段：选取网络的初始状态为0，训练样本
经过输入连接权值矩阵Win被加入到储备池；
权值计算：在采样阶段收集到系统状态x(t)和样本数据，计算输出连接权重矩阵Wout,即计算权值矩阵满足网络均方差误差最小，利用粒子群优化算法更新网络的参数，获得最佳参数，更新或记录储备池状态，使用线性回归确定输出连接权值矩阵Wout；
5)通过步骤4)得到预测的发动机各个周期的RUL值，模型训练过程中的损失函数如式(10)所示，Xn数据样本个数，Yi指的是第i个发动机的RUL预测值与RUL实际值的差值；
6)测试阶段，从传感器获取到随时间变化的数据，通过步骤1)获得处理后的高质量数据及有效传感器个数，步骤2)将每个周期的数据进行特征压缩，然后利用步骤3)的HI构建方法得到能表征退化趋势的HI值，构造HI曲线，将特征值输入步骤4)的Atten-ESN网络中获得预测的RUL值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053448.6A CN113743016B (zh) | 2021-09-09 | 2021-09-09 | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053448.6A CN113743016B (zh) | 2021-09-09 | 2021-09-09 | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743016A true CN113743016A (zh) | 2021-12-03 |
| CN113743016B CN113743016B (zh) | 2023-06-30 |
Family
ID=78737490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111053448.6A Active CN113743016B (zh) | 2021-09-09 | 2021-09-09 | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743016B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114282443A (zh) * | 2021-12-28 | 2022-04-05 | 浙江大学 | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 |
| CN114675118A (zh) * | 2022-05-30 | 2022-06-28 | 广东电网有限责任公司佛山供电局 | 一种变压器绕组异常检测方法、装置、设备及存储介质 |
| CN114840914A (zh) * | 2022-03-31 | 2022-08-02 | 南京航空航天大学 | 一种高超飞行器数据驱动和机理驱动融合的智能建模方法 |
| CN115469627A (zh) * | 2022-11-01 | 2022-12-13 | 山东恒远智能科技有限公司 | 基于物联网的智能工厂运行管理系统 |
| CN116826731A (zh) * | 2023-06-30 | 2023-09-29 | 昆明理工大学 | 基于持续学习的自适应风电功率预测方法、系统 |
| WO2024077642A1 (zh) * | 2022-10-12 | 2024-04-18 | 大连理工大学 | 针对航空发动机故障预警的量子回声状态网络模型构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941928A (zh) * | 2019-11-26 | 2020-03-31 | 哈尔滨理工大学 | 一种基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测方法 |
| CN111831955A (zh) * | 2020-06-05 | 2020-10-27 | 南京航空航天大学 | 一种锂离子电池剩余寿命预测方法及系统 |
| CN112580263A (zh) * | 2020-12-24 | 2021-03-30 | 湖南工业大学 | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 |
| CN112785092A (zh) * | 2021-03-09 | 2021-05-11 | 中铁电气化局集团有限公司 | 一种基于自适应深层特征提取的道岔剩余寿命预测方法 |
-
2021
- 2021-09-09 CN CN202111053448.6A patent/CN113743016B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941928A (zh) * | 2019-11-26 | 2020-03-31 | 哈尔滨理工大学 | 一种基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测方法 |
| CN111831955A (zh) * | 2020-06-05 | 2020-10-27 | 南京航空航天大学 | 一种锂离子电池剩余寿命预测方法及系统 |
| CN112580263A (zh) * | 2020-12-24 | 2021-03-30 | 湖南工业大学 | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 |
| CN112785092A (zh) * | 2021-03-09 | 2021-05-11 | 中铁电气化局集团有限公司 | 一种基于自适应深层特征提取的道岔剩余寿命预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHENG PENG 等: "A Remaining Useful Life Prognosis of Turbofan Engine Using Temporal and Spatial Feature Fusion" * |
| 刘康;肖娜;: "基于堆叠稀疏自编码神经网络的航空发动机剩余寿命预测方法研究" * |
| 谢宏远 等: "基于粒子滤波和遗传算法的氢燃料电池剩余使用寿命预测" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114282443A (zh) * | 2021-12-28 | 2022-04-05 | 浙江大学 | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 |
| CN114840914A (zh) * | 2022-03-31 | 2022-08-02 | 南京航空航天大学 | 一种高超飞行器数据驱动和机理驱动融合的智能建模方法 |
| CN114675118A (zh) * | 2022-05-30 | 2022-06-28 | 广东电网有限责任公司佛山供电局 | 一种变压器绕组异常检测方法、装置、设备及存储介质 |
| WO2024077642A1 (zh) * | 2022-10-12 | 2024-04-18 | 大连理工大学 | 针对航空发动机故障预警的量子回声状态网络模型构建方法 |
| CN115469627A (zh) * | 2022-11-01 | 2022-12-13 | 山东恒远智能科技有限公司 | 基于物联网的智能工厂运行管理系统 |
| CN116826731A (zh) * | 2023-06-30 | 2023-09-29 | 昆明理工大学 | 基于持续学习的自适应风电功率预测方法、系统 |
| CN116826731B (zh) * | 2023-06-30 | 2024-08-20 | 昆明理工大学 | 基于持续学习的自适应风电功率预测方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743016B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113743016B (zh) | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 | |
| CN112580263B (zh) | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 | |
| CN116757534B (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
| CN109490814B (zh) | 基于深度学习和支持向量数据描述的计量自动化终端故障诊断方法 | |
| CN114297910A (zh) | 一种基于改进lstm的航空发动机寿命预测方法 | |
| CN115017826B (zh) | 一种装备剩余使用寿命预测方法 | |
| CN111144552B (zh) | 一种粮食品质多指标预测方法及装置 | |
| CN112836604A (zh) | 一种基于vmd-ssae的滚动轴承故障诊断分类方法、系统、设备及其存储介质 | |
| CN114218872B (zh) | 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法 | |
| CN114692507B (zh) | 基于堆叠泊松自编码器网络的计数数据软测量建模方法 | |
| CN112149355B (zh) | 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 | |
| CN105606914A (zh) | 一种基于iwo-elm的航空功率变换器故障诊断方法 | |
| CN111784061B (zh) | 一种电网工程造价预测模型的训练方法、装置和设备 | |
| CN116680105A (zh) | 一种基于邻域信息融合注意力机制的时序异常检测方法 | |
| CN114580545A (zh) | 一种基于融合模型的风电机组齿轮箱故障预警方法 | |
| CN114707712A (zh) | 一种发电机组备件需求的预测方法 | |
| CN115510748A (zh) | 基于变分模态分解和cnn-gru的滑坡位移预测方法 | |
| CN116738868B (zh) | 一种滚动轴承剩余寿命预测方法 | |
| CN116822920B (zh) | 一种基于循环神经网络的流程预测方法 | |
| CN114462459A (zh) | 一种基于1dcnn-lstm网络模型的液压机故障诊断方法 | |
| CN114676814A (zh) | 一种基于satcn-lstm的风功率超短期预测方法 | |
| CN113673774A (zh) | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 | |
| CN117392813A (zh) | 一种高填方土体侧向位移超前预测报警方法 | |
| CN117578441A (zh) | 基于神经网络提高电网负荷预测精度的方法 | |
| CN117232817A (zh) | 电动阀智能化的大数据监测方法及物联网系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |