CN115017826A - 一种装备剩余使用寿命预测方法 - Google Patents

Abstract

本发明涉及一种装备剩余使用寿命预测方法，包括：1)无需先验的特征工程，直接对原始多源传感器数据进行简单预处理后生成训练集和测试集；2)搭建深度学习预测模型，包括基于局部特征交互机制的特征矫正子网络、基于全局信息补偿机制的表示学习子网络和估计器子网络；3)将训练集数据输入预测模型对模型进行训练，根据均方根误差(RMSE)和得分函数(Score)两个指标判断模型的有效性，并得到训练好的预测模型；4)将测试装备的运行数据输入训练好的模型中，以进行装备的实时剩余使用寿命预测。本发明有效提高关键装备剩余使用寿命的预测精度。

Description

一种装备剩余使用寿命预测方法

技术领域

本发明属于设备故障预测与人工智能相结合的学科交叉领域，具体涉及一种装备剩余使用寿命预测方法。

背景技术

机器设备的故障预测和健康管理(Prognostic and health management，PHM)已经广泛应用于众多的工业活动中，它对预防意外事故和降低维修成本具有重要的意义。不同于传统的计划检修模式，PHM是一种基于状态检修(condition-based maintenance，CBM)的技术，该技术的核心步骤是剩余使用寿命(remaining useful life，RUL)的预测。关键装备往往都是在高温、高压、高转速环境下运行，故障问题难以避免，因此关键装备RUL的准确预测将直接关系到机械系统的安全运行。

目前，基于物理模型的方法、基于统计的方法和基于传统机器学习等的方法在RUL预测方面取得了不错的效果。但是复杂度高的装备故障机理不明确，因此很难用基于物理模型的方法实现准确的预测。此外，基于统计的方法和基于传统机器学习的方法往往需要先验知识进行特征工程，因此模型的性能非常依赖于特征的选择。深度学习的方法具有强大的非线性拟合能力，因此可以更好的对复杂度高、故障模式多的装备进行RUL的预测。但是在对具有多源传感器数据的关键装备进行RUL预测时，仍然面临以下问题：

(1)多源传感器提供的特征是多维的，不同的特征与装备退化趋势之间的相关性也是不同的，无差别使用所有特征会导致特征冗余，甚至会影响预测模型的训练效率和预测精度。目前一些基于神经网络的特征矫正方法会计算所有特征之间的相关性来获取每个特征的权重，并且通过特征降维来的方法减少模型参数。然而计算所有特征之间的相关性是不必要的，并且特征降维的过程会造成相关退化信息的丢失。

(2)LSTM网络已被证明可以缓解梯度消失和梯度爆炸的问题，但在将长序列编码成固定长度的特征向量时仍存在早期序列信息丢失的问题。在装备退化过程中，装备当前退化状态与前一阶段退化状态的相关性很高，因此在编码过程中早期序列的信息是不可忽略的，它对装备当前状态的剩余使用寿命预测起着至关重要的作用。现有的一些使用LSTM网络进行装备剩余使用寿命预测的方法通常仅使用最后一个时间步的隐藏状态向量进行预测，然而最后一个时间步的隐藏状态向量往往会丢失早期的退化信息，这将造成预测效果不佳。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种装备剩余使用寿命预测方法。本发明的局部特征交互机制以极其轻量高效的方式完成特征矫正过程，此外全局信息补偿机制通过利用LSTM编码中间量实现编码过程中丢失信息的补偿，进而帮助表示学习子网络提取到更加全面完整的退化特征。

本发明技术解决方案：一种装备剩余使用寿命预测方法，其特点在于采用基于局部特征交互机制与全局信息补偿机制实现，具体包括以下步骤：

步骤1：利用传感器采集装备从运行到失效的全寿命数据作为训练集，采集装备实时运行数据作为测试集，并对采集到的原始数据进行预处理，剔除装备工作过程中数据恒定或变化微弱的传感器数据，将剩余的数据作为筛选出的多传感器数据；

步骤2：搭建一种端到端的深度学习预测模型，所述端到端是直接利用经过预处理的原始数据而无需额外的特征工程；

所述端到端的深度学习预测模型包括基于局部特征交互机制的特征矫正子网络、基于全局信息补偿机制的表示学习子网络和估计器子网络；

所述基于局部特征交互机制的特征矫正子网络，对步骤1的多传感器数据进行特征自适应矫正，突出对退化敏感的传感器数据，抑制对退化不敏感的传感器数据；所述自适应矫正过程为先计算每个传感器数据的整体特征，再根据每个传感器数据的整体特征进行局部特征交互以获取每个传感器的特征权重，最后根据每个传感器的特征权重进行每个传感器数据的自适应矫正；经过矫正后的多传感器数据为后续的基于全局信息补偿机制的表示学习子网络提供更好的数据源，使其从中提取到更全面准确的装备退化特征；所述退化敏感的传感器数据是指传感器获取的装备运行状态数据中能够正确反映装备退化状态的传感器数据；所述退化不敏感的传感器数据是指传感器获取的装备运行状态数据中无法正确反映装备退化状态的传感器数据；所述的装备退化特征是指矫正后的多传感器数据经过基于全局信息补偿机制的表示学习子网络的编码后获得的一种能够表示装备当前退化状态的指标。

所述基于全局信息补偿机制的表示学习子网络，由LSTM预编码框架和全局信息补偿机制构成；LSTM预编码框架对矫正后的多传感器数据进行初步编码，得到初步的装备退化特征；然而基于LSTM网络在编码传感器序列的过程中会逐渐丢失早期传感器数据的信息，再采用一种全局信息补偿机制，利用LSTM网络的编码中间量即各个时间步的隐藏状态实现LSTM编码过程中丢失信息的补偿，从而得到能更加准确反映装备退化状态的装备退化特征；

估计器子网络，将所述得到的能更加准确反映装备退化状态的装备退化特征映射成一个具体的剩余使用寿命值，该值即为预测模型输出的装备剩余使用寿命值(训练过程中得到的是从运行到失效的全寿命装备的剩余使用寿命，测试过程中得到的实时运行装备的剩余使用寿命)实现装备剩余使用寿命的预测；

步骤3：将训练集数据输入深度学习预测模型对所述端到端深度学习预测模型进行训练，根据均方根误差RMSE和评分函数Score判断所述模型的有效性，并得到训练好的深度学习预测模型；

步骤4：将步骤1测试集中的装备实时运行数据输入至训练好的深度学习预测模型中，进行装备的实时剩余使用寿命预测，得到实时运行装备的剩余使用寿命。

所述步骤1中，对采集到的原始数据进行预处理，具体包括：

采用Min-Max normalization对筛选出的数据进行归一化，不同传感器采集到的数据的数量级是不同的，将数量级不同的传感器数据归一化至同一数量级；

使用滑动窗口将归一化后的多传感器数据分割成多个矩阵的形式，并将时间窗口中最后一个时间步所对应的剩余使用寿命作为该窗口的剩余使用寿命标签，被分割后的多传感器数据表示成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；

表示第f个传感器数据； T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数；将多传感器数据分割成多个矩阵的形式起到增强传感器数据的作用，并减少异常数据对训练的影响。

所述基于局部特征交互机制的特征矫正子网络采用全局平均池化层、一维卷积层和 sigmoid激活函数来实现特征的自适应矫正，具体过程如下：

使用全局平均池化层操作提取每个传感器数据的整体特征，该整体特征代表了各个传感器序列的整体信息：

式中：x_f表示第f个传感器数据，即第f个传感器所获取的装备运行数据；v_f表示第f个传感器数据的整体特征；

在得到每个传感器数据的整体特征的基础上，使用一维卷积对局部的几个传感器数据进行局部特征交互，并获取其中一个传感器数据的特征权重：

式中：

表示第f个传感器数据及其相邻的k个传感器数据的整体特征的集合；

表示作用于

上的一维卷积的卷积核参数；σ(·)为sigmoid激活函数；α_f代表第f个传感器数据的特征权重；

基于每个传感器数据的特征权重完成多传感器数据的矫正：

式中：x⁽ⁿ⁾为第n个输入样本；α⁽ⁿ⁾为第n个样本的F个传感器数据特征权重的集合；y⁽ⁿ⁾为第n个经过矫正后的多传感器数据。

所述LSTM预编码框架对矫正后的多传感器数据进行初步编码以得到装备的退化特征，其中编码多传感器数据第t个时间点信息的过程如下：

第t个时间步，LSTM中输入门、遗忘门、输出门的输出为：

i^t＝σ(w_iy^t+s_ih^t-1+b_i)

f^t＝σ(w_fy^t+s_fh^t-1+b_f)

o^t＝σ(w_oy^t+s_oh^t-1+b_o)

第t个时间步，LSTM的记忆单元状态为：

第t个时间步，LSTM输出的隐藏状态向量：

式中：

表示权利要求2中一个时间窗口中第t个时间步的数据，F代表传感器总数；

和

分别表示第t-1个时间步的隐藏状态和记忆单元状态，

和

分别表示第t个时间步的隐藏状态和记忆单元状态，N指隐藏单元的数量；

依次表示输入门、遗忘门、输出门；

表示记忆单元中各个门的待训练参数，T指的是时间窗口的大小；δ(·)和τ(·)分别表示sigmoid 和tanh激活函数；

基于编码过程，经过T个时间步后，得到T个隐藏状态向量

其中第T个时间步的隐藏状态向量h^T即为LSTM预编码框架对矫正后的多传感器数据进行初步编码得到的装备的退化特征；

所述全局信息补偿机制实现丢失信息的补偿过程如下：

根据各个隐藏状态向量对装备退化特征的贡献程度计算每个隐藏状态向量的补偿因子：

β^t＝δ(w^th^t⊙h^T)

式中：β^t表示第t个隐藏状态的补偿因子，也即第t个时间步的信息补偿系数；w^t表示全连接层的待训练参数矩阵；h^t和h^T分别代表所述的LSTM网络的第t个和第T个时间步的隐藏状态；⊙表示按元素点乘；δ(·)代表sigmoid激活函数；

基于补偿因子β^t，从隐藏状态中捕获早期丢失的信息构成补偿向量：

式中：

表示第n个样本经过LSTM编码后获得的N个长度为T 的隐藏状态的集合；

表示第n个样本的T个补偿因子的集合；u⁽ⁿ⁾表示第n个训练样本的补偿向量；

将补偿向量u⁽ⁿ⁾与LSTM网络的预编码结果h^T相整合以完成装备退化特征的补偿：

式中：z⁽ⁿ⁾为从第n个样本提取到的完成信息补偿的装备退化特征；f_CON(·)表示向量的拼接操作。

所述步骤2中，估计器子网络由三层全连接层构成，前两层采用ReLU激活函数，最后一层采用ReLU激活函数，激活函数起到增强估计器子网络非线性拟合的能力，并且ReLU激活函数和Linear激活函数的组合起到在增强估计器子网络非线性拟合的能力的同时避免预测模型的过拟合；

此外，为了防止过拟合，在前两层中采用了Dropout正则化；

估计器子网络将表示学习子网络提取到的装备的退化特征

映射成装备的一个具体剩余使用寿命值

从而实现装备剩余使用寿命的预测；

映射的具体计算过程如下：

式中，r⁽ⁿ⁾为最终的预测RUL值；

和l(·)分别表示RuLU和Linear激活函数；w_F1,w_F2,w_F3分别表示三个全连接层的参数。

本发明的有益效果是：

(1)本发明提出了一种装备剩余使用寿命预测方法，这是一种不需要特征工程的端到端的预测模型。首先，原始数据经过特征筛选、Min-Max归一化、滑动窗口的处理后作为网络的输入数据。然后，预处理后的数据经过基于局部特征交互机制的特征响应矫正子网络，突出退化敏感特征并抑制不敏感特征，以此提升网络的收敛速度和预测精度。接着，将矫正重构后的多维序列数据输入基于全局信息补偿机制的表示学习子网络中进行表示特征的提取。其中的全局信息补偿机制可以有效缓解LSTM预编码框架在编码长序列过程中信息丢失的问题。最后，估计器子网络将学习到的装备退化表示特征映射成相应的RUL值。

(2)本发明是一种端到端的预测模型，可以直接利用预处理好的原始传感器数据而不需要额外的特征工程。因此可以在不过多掌握装备退化机理的情况下完成装备剩余使用寿命的预测。

(3)本发明采用的局部特征交互机制以极其轻量高效的方式完成特征的矫正，使突出退化敏感特征，抑制不敏感特征的过程更高效。

(4)在缓解LSTM网络编码长序列过程中信息丢失的问题上，本发明的全局信息补偿机制通过利用LSTM网络的编码中间量实现编码过程中早期序列信息的补偿，使表示学习子网络能够提取到更加全面的能够反映装备退化状态的特征，进而使得预测模型的预测结果更加准确。

总之，本发明解决了传统机器学习需要特征工程的问题，直接使用原始数据进行模型训练，实现了端到端的模型训练。在局部特征交互机制的作用下，特征矫正子网络以更为轻量高效的方式实现多源特征的自适应矫正。此外，表示学习子网络中的全局信息补偿机制通过利用LSTM编码过程中的中间量以达到LSTM编码过程中丢失信息的补偿，从而能使表示学习网络更充分地提取输入序列中的退化信息。总之，本发明可以有效提高关键装备剩余使用寿命的预测精度。

附图说明

图1为本发明的基于局部特征交互与全局信息补偿机制的装备剩余使用寿命预测方法的流程图；

图2为本发明的深度神经网络预测模型的结构图；

图3为LSTM网络的原理图；

图4是本发明在飞机涡扇发动机数据集上拟合结果的示意图；图中(a)表示FD001子集中#76引擎的RUL拟合图；(b)表示FD002子集中#80引擎的RUL拟合图；(c)表示FD003 子集中#99引擎的RUL拟合图；(d)表示FD004子集中#102引擎的RUL拟合图。

具体实施方式

下面结合附图和具体数据，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不限制本发明的范围。

如图1所示，本发明的一种装备剩余使用寿命预测方法，首先采用基于局部特征交互机制的特征矫正子网络对原始的多源传感器数据进行特征矫正，以达到增强有效特征，抑制无效特征的目的。然后，矫正后的特征数据被送入基于全局信息补偿机制的表示学习子网络进行退化特征的提取：(1)采用LSTM网络进行预编码。(2)全局信息补偿机制作用于LSTM 网络的所有时间步的隐藏状态，以充分捕捉有用信息实现丢失信息的补偿。最后，利用估计器子网络将表示学习子网络提取到的装备退化特征映射成装备的剩余使用寿命。

具体包括如下步骤：

步骤1：利用传感器采集装备从运行到失效的全寿命数据作为训练集，采集装备实时运行数据作为测试集，并对采集到的原始数据进行预处理，剔除装备工作过程中数据恒定或变化微弱的传感器数据，将剩余的数据作为筛选出的多传感器数据；

步骤2：搭建深度学习预测模型，所述的深度学习预测模型包括基于局部特征交互机制的特征矫正子网络、基于全局信息补偿机制的表示学习子网络和估计器子网络。这是一种端到端的预测模型，可直接利用经过预处理的原始数据而无需额外的特征工程。

①基于局部特征交互机制的特征矫正子网络

利用多个传感器从装备上采集状态信息时，每个传感器对装备退化信息的贡献度是不同的，因此针对性的使用每个传感器数据(特征矫正)是非常必要的。现有的一些基于全连接层的特征矫正方法通过计算每个特征之间的相关性来获取各个特征的使用权重，并且通过特征降维的方式降低模块的参数量。然而计算每个特征之间的相关性是没有必要的，并且特征降维还会造成一些退化特征的丢失，这些都会导致预测模型的性能不佳。

针对这个问题，提出一种基于局部特征交互机制的特征矫正子网络，采用局部的特征进行相关性的计算代替所有特征之间相关性的计算，具体来说一个特征仅与其相邻的k个特征进行相关性计算，从而获得该特征的使用权重。这种局部特征交互机制通过避免不必要的特征交互和特征降维，显著提升了特征矫正的效率。

从装备上采集到的多传感器数据经过基于局部特征交互机制的特征矫正子网络后可以实现特征的自适应矫正，从而达到突出退化敏感特征，抑制不敏感特征的效果。经过矫正后的多传感器数据可以为后续的表示学习子网络提供更好的数据源，使其从中提取到更准确的退化表示特征。

②基于全局信息补偿机制的表示学习子网络

所述的表示学习子网络采用LSTM网络作为子网络的头部预编码框架，它可以从①中矫正后的多传感器数据中完成装备退化特征的初步提取。在一般的方法中，都是使用LSTM网络的最后一个时间步输出的隐藏状态做后续的RUL值映射，然而随着输入到LSTM网络中序列长度的增加，LSTM网络在编码过程中会逐渐丢失早期序列中的有用信息。为了缓解LSTM网络的这种早期信息丢失的问题，本发明提出了一种全局信息补偿机制。该机制通过利用LSTM网络的编码中间量(各个时间步的隐藏状态)来实现LSTM编码过程中丢失信息的补偿，从而得到能更加准确反映装备退化状态的装备退化特征。

③估计器子网络

估计器子网络可以将表示学习子网络提取到的装备的退化特征映射成一个具体的剩余使用寿命值，从而实现装备剩余使用寿命的预测。

步骤3：将训练集数据输入深度学习预测模型对所述深度学习模型进行训练，根据均方根误差(RMSE)和评分函数(Score)判断所述深度学习模型的有效性，并得到训练好的深度学习预测模型。

步骤4：将测试装备的运行数据输入训练好的深度学习预测模型中，以进行装备的实时剩余使用寿命预测。

进一步的，步骤1中的对传感器采集到的原始数据进行预处理，具体包括：

筛选出退化敏感的传感器数据。即剔除装备工作过程中数据恒定或变化微弱的传感器数据，将剩余的数据作为筛选出的数据。

采用Min-Max normalization对筛选出的数据进行归一化。不同传感器采集到的数据的数量级是不同的，为了防止预测模型在训练过程中被数量级大的数据左右，将数量级不同的传感器数据归一化至同一数量级是非常必要的。

使用滑动窗口将归一化后的数据分割成多个时间窗口的形式。时间窗口起到传感器数据增强的作用，减少异常数据对预测模型训练的影响。时间窗口中最后一个时间步所对应的剩余使用寿命将作为该窗口的剩余使用寿命标签。对于信号长度小于窗口长度的数据，采取线性插值的方法对信号进行补长。

经过上述的预处理，多传感器数据被分割成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；

表示第f个传感器数据； T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数。

进一步的，步骤2中所述的基于局部特征交互机制的特征矫正子网络采用全局平均池化层、一维卷积层和sigmoid激活函数来实现特征的自适应矫正，具体的计算过程如下：

使用全局平均池化操作提取每个传感器数据的整体特征：

式中：x_f表示第f个传感器数据，即第f个传感器所获取的装备运行数据；v_f表示第f个传感器数据的整体特征。

在得到每个传感器数据的整体特征的基础上，使用一维卷积对局部的几个传感器数据进行局部特征交互，并获取其中一个传感器数据的特征权重：

式中：

表示第f个传感器数据及其相邻的k个传感器数据的整体特征的集合；

表示作用于

上的一维卷积的卷积核参数；σ(·)为sigmoid激活函数；α_f代表第f个传感器数据的特征权重。

基于每个传感器数据的特征权重完成多传感器数据的矫正：

式中：x⁽ⁿ⁾为第n个输入样本；α⁽ⁿ⁾为第n个样本的F个传感器数据特征权重的集合；y⁽ⁿ⁾为第n个经过矫正后的多传感器数据。

进一步的，步骤2中所述的基于全局信息补偿机制的表示学习子网络由LSTM预编码框架和全局信息补偿机制构成。

LSTM预编码框架对矫正后的多传感器数据进行时间相关性的初步提取，第t个时间步隐藏状态的计算如下：

i^t＝σ(w_iy^t+s_ih^t-1+b_i)

f^t＝σ(w_fy^t+s_fh^t-1+b_f)

o^t＝σ(w_oy^t+s_oh^t-1+b_o)

o^t＝σ(w_oy^t+s_oh^t-1+b_o)

式中：

表示权利要求2中一个时间窗口中第t个时间步的数据，F代表传感器总数；

和

分别表示第t-1个时间步的隐藏状态和记忆单元状态，

和

分别表示第t个时间步的隐藏状态和记忆单元状态，N指隐藏单元的数量；

依次表示输入门、遗忘门、输出门；

表示记忆单元中各个门的待训练参数，T指的是时间窗口的大小；δ(·)和τ(·)分别表示sigmoid 和tanh激活函数。

经过T个时间步后，得到T个隐藏状态向量

在现有的一些剩余使用寿命预测方法中，只使用最后一个时间步的隐藏状态向量h^T进行预测。然而在编码过程中，h^t会逐渐丢失早期的退化信息，这会导致最后一个时间步的隐藏状态h^T并没有包含全局的退化信息。因此我们提出全局信息补偿机制以实现丢失信息的补偿，具体补过程如下：

根据各个隐藏状态向量对装备退化信息的贡献程度计算每个隐藏状态向量的补偿因子：

β^t＝δ(w^th^t⊙h^T)

式中：β^t表示第t个隐藏状态的补偿因子，也即第t个时间步的信息补偿系数；w^t表示全连接层的待训练参数矩阵；h^t和h^T分别代表所述的LSTM网络的第t个和第T个时间步的隐藏状态；⊙表示按元素点乘；δ(·)代表sigmoid激活函数。

基于补偿因子，从隐藏状态中捕获早期丢失的信息构成补偿向量：

式中：

表示第n个样本经过LSTM编码后获得的N个长度为T 的隐藏状态的集合；

表示第n个样本的T个补偿因子的集合；u⁽ⁿ⁾表示第n个训练样本的补偿向量；

将补偿向量u⁽ⁿ⁾与LSTM网络的预编码结果h^T相整合以完成装备退化特征的补偿：

式中：z⁽ⁿ⁾为从第n个样本提取到的完成信息补偿的装备退化特征；f_CON(·)表示向量的拼接操作。

进一步的，步骤2中所述的估计器子网络由3层全连接层构成，前两层采用ReLU激活函数，最后一层采用Linear激活函数。此外，为了防止本发明预测模型过拟合，在前两层中采用了Dropout正则化。估计器子网络可以将表示学习子网络提取到的装备的退化特征

映射成一个剩余使用寿命值

从而实现装备剩余使用寿命的预测。

映射的具体计算过程如下：

式中，r⁽ⁿ⁾为最终的预测RUL值；

和l(·)分别表示RuLU和Linear激活函数；w_F1,w_F2,w_F3分别表示三个全连接层的参数。

下面再针对实施进行更详细的说明。

本实施案例采用NASA Ames预测中心提供的商用模块化航空推进系统仿真模拟的飞机涡扇发动机的退化数据来评估本发明提出的方法。根据运行条件和故障模式，该数据集被分为四个不同复杂度的子集。每个子集均由一定数量发动机的21个传感器和3种运行条件的多维时间序列构成。根据序列的完整度可将数据划分为训练集和测试集，前者是指在发动机的整个生命周期中从运行到故障的传感器信号，而后者则是在故障前的某个时刻停止运行。

表1提供了该数据集的细节。

表1.数据集介绍

如图1所示，本发明的实施包括以下步骤：

步骤1：数据预处理

(1)对数据集进行退化特征敏感特征进行筛选，剔除恒定特征或退化特征不敏感特征。对FD001和FD003两个简单子集，选择编号为3，4，9，11，14，15，17，20和21的9个传感器数据作为原始数据。对FD002和FD004两个复杂子集，选择编号为2，3,4,7,8,9,11, 12,13,14,15,17,20和21的14个传感器数据作为原始数据。

(2)使用Min-Max归一化对筛选出的数据进行标准化，将量级不同的传感器数据处理至同一数量级，较少方差大的特征对模型性能的影响。计算公式如下所示：

式中：

和

分别表示第i个传感器在第j个数据点上的原始数据和标准化后的数据；

和

则分别代表第i个传感器的最小值和最大值。

(3)采用滑动窗口来捕捉时间依赖关系，实现数据增强。具体来说，利用固定长度的窗口将连续的传感器序列数据切割封装成二维矩阵，这里窗口长度取30。对于信号长度小于 30的数据，采取线性插值的方法对信号进行补长至30。

窗口内最后一个时间步所对应的RUL值即为该时间窗口的RUL值。此外，在大多数情况下，工程系统初始阶段的退化可以忽略不计，因此该段窗口的RUL值可以同一为一个常数。针对该数据集，该阈值一般取125-150。

(4)经过(1)－(3)步的处理，多传感器数据被分割成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；

表示第f个传感器数据； T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数。

最终数据样本如表2所示：

表2.数据预处理后的样本描述

步骤2：搭建深度神经网络预测模型

如图2所示，所述的深度学习预测模型包括基于局部特征交互机制的特征矫正子网络、基于全局信息补偿机制的表示学习子网络和估计器子网络。下面将对各个子网络的组成及计算过程做详细说明。

(1)基于局部特征交互机制的特征矫正子网络

特征响应矫正子网络由全局平均池化层、一维卷积层和sigmoid激活函数组成，具体计算过程如下：

使用全局平均池化操作提取每个传感器数据的整体特征，该整体特征代表了各个传感器序列的整体信息：

式中：x_f表示第f个传感器数据，即第f个传感器所获取的装备运行数据；v_f表示第f个传感器数据的整体特征；

在得到每个传感器数据的整体特征的基础上，使用一维卷积对局部的几个传感器数据进行局部特征交互，并获取其中一个传感器数据的特征权重：

式中：

表示第f个传感器数据及其相邻的k传感器数据的整体特征的集合；

表示作用于

上的一维卷积的卷积核参数；σ(·)为sigmoid激活函数；α_f代表第f个传感器数据的特征权重。

基于每个传感器数据的特征权重完成多传感器数据的矫正：

式中：x⁽ⁿ⁾为第n个输入样本；α⁽ⁿ⁾为第n个样本的F个传感器数据特征权重的集合；y⁽ⁿ⁾为第n个经过矫正后的多传感器数据。

经过以上过程，输入数据的的退化敏感特征被突出，退化不敏感特征被抑制，使得模型的收敛速度更快，性能得到有效提升。

(2)基于全局信息补偿机制的表示学习子网络

表示学习子网络由LSTM预编码框架和全局信息补偿机制组成。LSTM预编码框架对矫正后的多传感器数据进行时间相关性的初步提取，LSTM层的隐藏神经元数量设置为50，第 t个时间步隐藏状态的计算如下：

i^t＝σ(w_iy^t+s_ih^t-1+b_i)

f^t＝σ(w_fy^t+s_fh^t-1+b_f)

o^t＝σ(w_oy^t+s_oh^t-1+b_o)

式中：

表示权利要求2中一个时间窗口中第t个时间步的数据，F代表传感器总数；

和

分别表示第t-1个时间步的隐藏状态和记忆单元状态，

和

分别表示第t个时间步的隐藏状态和记忆单元状态，N指隐藏单元的数量；

依次表示输入门、遗忘门、输出门；

表示记忆单元中各个门的待训练参数，T指的是时间窗口的大小；δ(·)和τ(·)分别表示sigmoid 和tanh激活函数。

经过T个时间步后，得到T个隐藏状态向量

在现有的一些剩余使用寿命预测方法中，只使用最后一个时间步的隐藏状态向量h^T进行预测。然而在编码过程中， h^t会逐渐丢失早期的退化信息，这会导致最后一个时间步的隐藏状态h^T并没有包含全局的退化信息。因此提出全局信息补偿机制以实现丢失信息的补偿，具体补过程如下：

首先根据各个隐藏状态向量对装备退化信息的贡献程度计算每个隐藏状态向量的补偿因子：

β^t＝δ(w^th^t⊙h^T) (7)

式中：β^t表示第t个隐藏状态的补偿因子，也即第t个时间步的信息补偿系数；w^t表示全连接层的待训练参数矩阵；h^t和h^T分别代表所述的LSTM网络的第t个和第T个时间步的隐藏状态；⊙表示按元素点乘；δ(·)代表sigmoid激活函数。

接着，基于补偿因子β^t，从隐藏状态向量中捕获早期丢失的信息构成补偿向量：

式中：

表示第n个样本经过LSTM编码后获得的N个长度为T 的隐藏状态的集合；

表示第n个样本的T个补偿因子的集合；u⁽ⁿ⁾表示第n个训练样本的补偿向量；

然后，将补偿向量u⁽ⁿ⁾与LSTM网络的预编码结果h^T相整合以完成装备退化特征的补偿：

式中：z⁽ⁿ⁾为从第n个样本提取到的完成信息补偿的装备退化特征；f_CON(·)表示向量的拼接操作。经过上述计算，表示学习子网络即可完成较完整退化特征的提取。

(3)估计器子网络

估计器子网络由3个全连接层构成，输出神经元的数量依次为128，64，1，前两层采用ReLU激活函数，最后一层采用Linear激活函数。此外，为了防止过拟合，在前两层中采用了Dorpout正则化，丢失率分别设置为0.2，0.5。估计器子网络可以将表示学习子网络提取到的装备的退化特征

映射成一个剩余使用寿命值

从而实现装备剩余使用寿命的预测。映射的具体计算过程如下：

式中，r⁽ⁿ⁾为最终的预测RUL值；

和l(·)分别表示RuLU和Linear激活函数；w_F1,w_F2,w_F3分别表示三个全连接层的参数。该过程将整合向量z⁽ⁿ⁾映射成装备的一个具体剩余使用寿命值，即

步骤3：训练深度神经网络预测模型

RUL预测作为一种回归任务，一般都采用均方误差(MSE)作为损失函数来衡量训练误差。然后，利用Adma优化器迭代更新网络参数以最小化均方差损失函数，并将学习率设置为 0.0005。最后将训练数据输入深度神经网络预测模型进行模型的训练，直至训练周期结束或这模型性能达到要求。

步骤4：验证深度神经网络预测模型

本实施实例将采用均方根误差(RMSE)和评分函数(Score)两个指标来衡量模型的性能，其表达式如下所示：

式中，

表示模型的预测值与样本真实值之间的误差，r⁽ⁿ⁾表示剩余使用寿命的预测值，

表示剩余使用寿命真实值标签。

本发明所述的基于局部特征交互与全局信息补偿机制的装备剩余使用寿命预测方法在4 组验证集上的指标如表3所示：

表3.本发明在4组验证集上的结果

此外，为了直观地表示预测值与真实值之间的误差，在4个子集上各选取1个引擎进行预测值的拟合，拟合结果如图4所示。图中(a)表示FD001子集中#76引擎的RUL拟合图；(b)表示FD002子集中#80引擎的RUL拟合图；(c)表示FD003子集中#99引擎的RUL 拟合图；(d)表示FD004子集中#102引擎的RUL拟合图。其中拟合图的横坐标表示测试过程中实时运行装备的运行时间，纵坐标表示相应时间下的剩余使用寿命。虚线代表真实的剩余使用寿命，实线表示预测模型预测的剩余使用寿命。

由表3和图4可以看出，本发明提出的方法能够有效的预测飞机涡扇发动机的剩余使用寿命，从而及时获取装备的运行状态，在装别故障发生前为用户采取预防性措施提供合适的决策依据，避免发生故障而产生灾难性的后果，减少不必要的定期维护。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于本发明实施例和附图所公开的内容。

Claims (5)

1.一种装备剩余使用寿命预测方法，其特征在于：采用基于局部特征交互机制与全局信息补偿机制实现，具体包括以下步骤：

步骤1：利用传感器采集装备从运行到失效的全寿命数据作为训练集，采集装备实时运行数据作为测试集，并对采集到的原始数据进行预处理，剔除装备工作过程中数据恒定或变化微弱的传感器数据，将剩余的数据作为筛选出的多传感器数据；

步骤2：搭建一种端到端的深度学习预测模型，所述端到端是直接利用经过预处理的原始数据而无需额外的特征工程；

所述端到端的深度学习预测模型包括基于局部特征交互机制的特征矫正子网络、基于全局信息补偿机制的表示学习子网络和估计器子网络；

所述基于局部特征交互机制的特征矫正子网络，对步骤1的多传感器数据进行特征自适应矫正，突出对退化敏感的传感器数据，抑制对退化不敏感的传感器数据；所述自适应矫正过程为先计算每个传感器数据的整体特征，再根据每个传感器数据的整体特征进行局部特征交互以获取每个传感器的特征权重，最后根据每个传感器的特征权重进行每个传感器数据的自适应矫正；经过矫正后的多传感器数据为后续的基于全局信息补偿机制的表示学习子网络提供更好的数据源，使其从中提取到更全面准确的装备退化特征；所述退化敏感的传感器数据是指传感器获取的装备运行状态数据中能够正确反映装备退化状态的传感器数据；所述退化不敏感的传感器数据是指传感器获取的装备运行状态数据中无法正确反映装备退化状态的传感器数据；所述的装备退化特征是指矫正后的多传感器数据经过基于全局信息补偿机制的表示学习子网络的编码后获得的一种能够表示装备当前退化状态的指标；

所述基于全局信息补偿机制的表示学习子网络，由LSTM预编码框架和全局信息补偿机制构成；LSTM预编码框架对矫正后的多传感器数据进行初步编码，得到初步的装备退化特征；然而基于LSTM网络在编码传感器序列的过程中会逐渐丢失早期传感器数据的信息，再采用一种全局信息补偿机制，利用LSTM网络的编码中间量即各个时间步的隐藏状态实现LSTM编码过程中丢失信息的补偿，从而得到能更加准确反映装备退化状态的装备退化特征；

估计器子网络，将基于全局信息补偿机制的表示学习子网络所述得到的能更加准确反映装备退化状态的装备退化特征射成具体的剩余使用寿命值，该值即为预测模型输出的装备剩余使用寿命值，实现装备剩余使用寿命的预测；

步骤3：将训练集数据输入深度学习预测模型对所述端到端深度学习预测模型进行训练，根据均方根误差RMSE和评分函数Score判断所述模型的有效性，并得到训练好的深度学习预测模型；

步骤4：将步骤1测试集中的装备实时运行数据输入至训练好的深度学习预测模型中，进行装备的实时剩余使用寿命预测，得到实时运行装备的剩余使用寿命。

2.根据权利要求1所述的一种装备剩余使用寿命预测方法，其特征在于：所述步骤1中，对采集到的原始数据进行预处理，具体包括：

采用Min-Max normalization对筛选出的数据进行归一化，不同传感器采集到的数据的数量级是不同的，将数量级不同的传感器数据归一化至同一数量级；

使用滑动窗口将归一化后的多传感器数据分割成多个矩阵的形式，并将时间窗口中最后一个时间步所对应的剩余使用寿命作为该窗口的剩余使用寿命标签，被分割后的多传感器数据表示成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；

表示第f个传感器数据；T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数；将多传感器数据分割成多个矩阵的形式起到增强传感器数据的作用，并减少异常数据对训练的影响。

3.根据权利要求1所述的一种装备剩余使用寿命预测方法，其特征在于：所述步骤2中，所述基于局部特征交互机制的特征矫正子网络采用全局平均池化层、一维卷积层和sigmoid激活函数来实现特征的自适应矫正，具体过程如下：

使用全局平均池化层操作提取每个传感器数据的整体特征，该整体特征代表了各个传感器序列的整体信息：

式中：x_f表示第f个传感器数据，即第f个传感器所获取的装备运行数据；v_f表示第f个传感器数据的整体特征；

在得到每个传感器数据的整体特征的基础上，使用一维卷积对局部的几个传感器数据进行局部特征交互，并获取其中一个传感器数据的特征权重：

式中：

表示第f个传感器数据及其相邻的k个传感器数据的整体特征的集合；

表示作用于

上的一维卷积的卷积核参数；σ(·)为sigmoid激活函数；α_f代表第f个传感器数据的特征权重；

基于每个传感器数据的特征权重完成多传感器数据的矫正：

式中：x⁽ⁿ⁾为第n个输入样本；α⁽ⁿ⁾为第n个样本的F个传感器数据特征权重的集合；y⁽ⁿ⁾为第n个经过矫正后的多传感器数据。

4.根据权利要求1所述的一种装备剩余使用寿命预测方法，其特征在于：所述步骤2中，所述LSTM预编码框架对矫正后的多传感器数据进行初步编码以得到装备的退化特征，其中编码多传感器数据第t个时间点信息的过程如下：

第t个时间步，LSTM中输入门、遗忘门、输出门的输出为：

i^t＝σ(w_iy^t+s_ih^t-1+b_i)

f^t＝σ(w_fy^t+s_fh^t-1+b_f)

o^t＝σ(w_oy^t+s_oh^t-1+b_o)

第t个时间步，LSTM的记忆单元状态为：

第t个时间步，LSTM输出的隐藏状态向量：

式中：

表示权利要求2中一个时间窗口中第t个时间步的数据，F代表传感器总数；

和

分别表示第t-1个时间步的隐藏状态和记忆单元状态，

和

分别表示第t个时间步的隐藏状态和记忆单元状态，N指隐藏单元的数量；

依次表示输入门、遗忘门、输出门；

表示记忆单元中各个门的待训练参数，T指的是时间窗口的大小；δ(·)和τ(·)分别表示sigmoid和tanh激活函数；

基于编码过程，经过T个时间步后，得到T个隐藏状态向量

其中第T个时间步的隐藏状态向量h^T即为LSTM预编码框架对矫正后的多传感器数据进行初步编码得到的装备的退化特征；

所述全局信息补偿机制实现丢失信息的补偿过程如下：

根据各个隐藏状态向量对装备退化特征的贡献程度计算每个隐藏状态向量的补偿因子：

β^t＝δ(w^th^t⊙h^T)

式中：β^t表示第t个隐藏状态的补偿因子，也即第t个时间步的信息补偿系数；w^t表示全连接层的待训练参数矩阵；h^t和h^T分别代表所述的LSTM网络的第t个和第T个时间步的隐藏状态；⊙表示按元素点乘；δ(·)代表sigmoid激活函数；

基于补偿因子β^t，从隐藏状态中捕获早期丢失的信息构成补偿向量：

式中：

表示第n个样本经过LSTM编码后获得的N个长度为T的隐藏状态的集合；

表示第n个样本的T个补偿因子的集合；u⁽ⁿ⁾表示第n个训练样本的补偿向量；

将补偿向量u⁽ⁿ⁾与LSTM网络的预编码结果h^T相整合以完成装备退化特征的补偿：

式中：z⁽ⁿ⁾为从第n个样本提取到的完成信息补偿的装备退化特征；f_CON(·)表示向量的拼接操作。

5.根据权利要求1所述的一种装备剩余使用寿命预测方法，其特征在于：所述步骤2中，估计器子网络由三层全连接层构成，前两层采用ReLU激活函数，最后一层采用Linear激活函数，激活函数起到增强估计器子网络非线性拟合的能力，并且ReLU激活函数和Linear激活函数的组合起到在增强估计器子网络非线性拟合的能力的同时避免预测模型的过拟合；

此外，为了防止过拟合，在前两层中采用了Dropout正则化；

估计器子网络将表示学习子网络提取到的装备的退化特征

映射成装备的一个具体剩余使用寿命值

从而实现装备剩余使用寿命的预测；

映射的具体计算过程如下：

式中，r⁽ⁿ⁾为最终的预测RUL值；

和l(·)分别表示RuLU和Linear激活函数；w_F1,w_F2,w_F3分别表示三个全连接层的参数。

Images