CN114266278B - 一种基于双重注意力网络的设备剩余使用寿命预测方法 - Google Patents

Abstract

本发明公开了一种基于双重注意力网络的设备剩余使用寿命预测方法，其步骤包括：1收集传感器数据并进行预处理，通过滑动时间窗口方法构建数据样本集；2搭建双重注意力网络，网络结构包含空间注意力模块、双向长短期记忆模块、时间注意力模块和全连接网络预测模块；3训练双重注意力网络模型，优化模型参数；4利用训练好的双重注意力网络模型预测设备的剩余使用寿命。本发明能自适应融合多源传感器数据，并能实现不同时间的特征的差异性利用，从而提升剩余使用寿命预测效果。

Description

一种基于双重注意力网络的设备剩余使用寿命预测方法

技术领域

本发明属于剩余使用寿命预测领域，具体涉及一种基于双重注意力网络的设备剩余使用寿命预测方法。

背景技术

故障预测与健康管理(Prognostic and Health Management，PHM)技术是现代工业发展的核心技术之一。剩余使用寿命(Remaining Useful Life，RUL)预测是PHM的重要组成部分，能为企业进行设备健康管理提供基础的决策信息。剩余使用寿命预测是根据系统现在或者历史的监测状态数据预测系统从当前时刻到发生故障所经历的时间，准确的剩余寿命预测有助于企业在系统故障前采取相应的维修措施，对保障系统的安全性与可靠性，降低企业维护成本具有重大意义和应用价值。

当前，对RUL进行预测主要有两种方法：基于物理模型的方法和数据驱动的方法。其中，基于物理模型的方法通过分析系统的退化机理，结合先验知识和系统运行状态建立数学模型，进而预测系统的剩余使用寿命。但由于工业系统的复杂性以及工作条件的多变性，建立准确的物理模型十分困难。与基于物理模型的方法相比，数据驱动的预测方法依赖于传感信号数据，基于统计和机器学习方法来建立健康监测数据与RUL之间的映射关系，在精度、复杂度和泛化能力等方面具有一定的优势。近年来，随着物联网的发展，企业可以收集到大量的传感器数据，其中很多数据(如振动、温度、压力等数据)能够反映设备的健康状态变化。一方面，深度学习方法已成为预测RUL的主流方法，能够从多个传感器数据中自动学习特征表示并预测RUL。但是，这些方法大多忽略了多源传感器之间的差异和关系，缺乏有效机制来自动区分不同传感器的重要性，也无法充分利用多个传感器中的交互信息。另一方面，传感器监测的数据本质上是时间序列数据，虽然传统的长短期记忆网络等能够学习监测数据内的时间依赖性，但其仍然存在一定的局限性，难以反映不同时刻的特征对剩余使用寿命预测结果的差异。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于双重注意力网络的设备剩余使用寿命预测方法，以期能实现不同传感器数据的自适应融合以及不同时间步的序列特征的差异性利用，从而提高剩余使用寿命预测的精度。

本发明为达到上述发明目的，采用以下技术方案：

本发明一种基于双重注意力网络的设备剩余使用寿命预测方法的特点包括以下步骤：

步骤1，从多个传感器获取设备运行时的状态监测数据并进行预处理，通过滑动时间窗口构建数据样本集：

步骤1.1，获取设备从初始运行到失效的全寿命周期下的状态监测数据并进行归一化处理，得到归一化后的状态监测数据；

步骤1.2，通过滑动时间窗口对归一化后的状监测数据进行样本划分，得到样本集D＝{(X₁,y₁),(X₂,y₂),...,(X_u,y_u),...,(X_U,y_U)}，其中，(X_u,y_u)为第u个样本，X_u代表第u个滑动窗口内的传感器数据，且 表示第u个滑动窗口内第n个传感器所采集的数据，且/>p代表时间窗口的大小，y_u为第u个滑动窗口内最后一个时间点对应的剩余使用寿命；

步骤2，搭建双重注意力网络，包括：空间注意力模块、双向长短期记忆模块、时间注意力模块和全连接预测模块：

步骤2.1，定义迭代次数为z，并初始化z＝1，迭代阈值为Z；初始化所述双重注意力网络中的参数；

步骤2.2，将所述样本集中每个滑动窗口内的传感器数据依次输入所述空间注意力模块进行处理，并相应输出加权后的传感器数据：

步骤2.2.1，所述空间注意力模块利用式(1)得到第z次迭代的传感器的注意力权重矩阵

式(1)中，z为迭代次数，k为空间注意力模块的超参数，/>为第z次迭代输入的传感器数据；；表示拼接，/>表示第z-1次迭代的抽象特征矩阵；当z＝1时，令/>为随机初始化的向量，q为抽象特征向量的维数，/>是第z次迭代的空间注意力模块的参数矩阵，tanh(·)表示双曲正切激活函数；

步骤2.2.2，所述空间注意力模块利用式(2)对注意力权重矩阵进行处理，得到归一化后的注意力矩阵/>

式(2)中，表示第z次迭代的空间注意力模块的另一个参数矩阵；softmax表示激活函数；

步骤2.2.3，所述空间注意力模块利用式(3)获得第z次迭代输入的传感器数据的注意力分数α^(z)：

式(3)中，sum_column(·)表示对矩阵每列求和；

步骤2.2.4，所述空间注意力模块利用式(4)更新第z次迭代输入的传感器数据，得到第z次迭代加权后的传感器数据X′^(z)：

X′^(z)＝BN(α^(z)⊙X^(z)) (4)

式(4)中，⊙表示两个矩阵的对应元素相乘，BN(·)表示批归一化操作；

步骤2.3，将所述第z次迭代加权后的传感器数据X′^(z)输入所述双向长短期记忆模块进行处理，并相应输出深度时序特征：

所述双向长短期记忆模块对所述第z次迭代加权后的传感器数据X′^(z)进行前向信息与后向信息的提取，并在最后一层的长短期记忆模块中，将时间步t上的前向隐藏状态向量和后向隐藏状态向量/>进行拼接后，得到第z次迭代的时间步t上的深度时序特征且/>d为拼接后的特征维数，从而得到第z次迭代的所有时间步上的深度时序特征，记为/>T^*为总时间步长；

步骤2.4，将所述第z次迭代的所有时间步上的深度时序特征输入时间注意力模块和第z-1次迭代的抽象特征向量f^(z-1)输入所述时间注意力模块进行处理，输出相应的融合时序特征：

步骤2.4.1，所述时间注意力模块利用式(5)和式(6)计算时间步t的注意力权重

式(5)和(6)中，表示第z-1次迭代的抽象特征f^(z-1)和第z次迭代的时间步t上的深度时序特征/>之间的相似性，/>和/>分别是第z次迭代的时间注意力模块的两个参数矩阵，T表示矩阵转置，exp(·)是以自然常数e为底的指数函数；

步骤2.4.2，所述时间注意力模块利用式(7)得到第z次迭代的初始融合时序特征再利用式(8)获得第z次迭代的时间注意力模块最终的融合时序特征h″^(z)：

h″^(z)＝BN(h′^(z)) (8)

步骤2.5，将所述融合时序特征h″^(z)输入全连接预测模块进行处理，并在第一层全连接层输出抽象特征，在第二层全连接层输出RUL预测值：

所述全连接预测模块中的第一个全连接层利用式(9)提取第z次迭代的抽象特征

所述全连接预测模块中的第二个全连接层利用式(10)输出第z次迭代的剩余使用寿命预测结果

式(9)和(10)中，和/>是第z次迭代的全连接预测模块中的两个参数矩阵，/>和/>是第z次迭代的全连接预测模块的偏置向量，f(·)表示非线性激活函数；

步骤2.6，使用均方误差MSE作为损失函数，以损失函数最小化为目标，通过时间反向传播算法和自适应矩估计优化算法对双重注意力网络中的参数进行优化更新，直到z＞Z为止，结束训练，并得到训练好的双重注意力网络模型，从而利用训练好的双重注意力网络模型预测设备的剩余使用寿命。

与已有技术相比，本发明的有益效果体现在：

1、本发明克服了现有方法中复杂的数据处理与特征提取的缺点，在无需事先了解系统任何先验知识的情况下，实现了从原始传感器数据到RUL的端到端预测，具有操作简单、泛化性强的优点。

2、本发明利用空间注意力机制，充分挖掘不同传感器数据之间的交互信息，自动为不同的传感器分配不同的重要性权重，使得多个传感器的数据能够在网络中自适应融合，从而提高了剩余使用寿命预测的性能。

3、本发明充分考虑不同时间的数据的预测差异性，利用时间注意力机制区分不同时间步的时序特征对RUL预测的差异性，使得模型更多地关注关键时间节点的数据，从而提高了RUL预测的精度。

附图说明

图1为本发明方法的流程示意图；

图2为本发明的双重注意力网络的结构图；

图3是本发明的空间注意力机制的原理图；

图4是本发明的时间注意力机制的原理图。

具体实施方式

本实施例中，如图1所示，一种基于双重注意力网络的设备剩余使用寿命预测方法的流程包括以下步骤：

步骤1，从多个传感器获取设备运行时的状态监测数据并进行预处理，通过滑动时间窗口构建数据样本集：

步骤1.1，获取设备从初始运行到失效的全寿命周期下的状态监测数据并进行归一化处理，得到归一化后的状态监测数据；

步骤1.2，通过滑动时间窗口对归一化后的状监测数据进行样本划分，得到样本集D＝{(X₁,y₁),(X₂,y₂),...,(X_u,y_u),...,(X_U,y_U)}，其中，(X_u,y_u)为第u个样本，X_u代表第u个滑动窗口内的传感器数据，且 表示第u个滑动窗口内第n个传感器所采集的数据，且/>p代表时间窗口的大小，y_u为第u个滑动窗口内最后一个时间点对应的剩余使用寿命；

步骤2，搭建双重注意力网络，如图2所示，包括：空间注意力模块、双向长短期记忆模块、时间注意力模块和全连接预测模块：

步骤2.1，定义迭代次数为z，并初始化z＝1，迭代阈值为Z；初始化双重注意力网络中的参数；

步骤2.2，将样本集中每个滑动窗口内的传感器数据依次输入空间注意力模块进行处理，并相应输出加权后的传感器数据，如图3所示：

步骤2.2.1，空间注意力模块利用式(1)得到第z次迭代的传感器的注意力权重矩阵

式(1)中，z为迭代次数，k为空间注意力模块的超参数，/>为第z次迭代输入的传感器数据；；表示拼接，/>表示第z-1次迭代的抽象特征矩阵，由抽象特征向量f^(z-1)复制扩展N次获得；当z＝1时，令/>为随机初始化的向量，q为抽象特征向量的维数，/>是第z次迭代的空间注意力模块的参数矩阵，tanh(·)表示双曲正切激活函数；

步骤2.2.2，空间注意力模块利用式(2)对注意力权重矩阵进行处理，得到归一化后的注意力矩阵/>

式(2)中，表示第z次迭代的空间注意力模块的另一个参数矩阵；softmax表示激活函数；

步骤2.2.3，空间注意力模块利用式(3)获得第z次迭代输入的传感器数据的注意力分数α^(z)：

式(3)中，sum_column(·)表示对矩阵每列求和；

步骤2.2.4，空间注意力模块利用式(4)更新第z次迭代输入的传感器数据，得到第z次迭代加权后的传感器数据X′^(z)：

X′^(z)＝BN(α^(z)⊙X^(z)) (4)

式(4)中，⊙表示两个矩阵的对应元素相乘，BN(·)表示批归一化操作；

步骤2.3，将第z次迭代加权后的传感器数据X′^(z)输入双向长短期记忆模块进行处理，并相应输出深度时序特征：

将第z次迭代加权后的传感器数据X′^(z)沿时间序列切片获得第z次迭代的时间切片数据T^*为总时间步长，本实施例中，T^*＝p，/>表示第z次迭代的第t个时间切片数据；

双向长短期记忆模块对时间切片数据进行前向信息与后向信息的提取，并在最后一层的长短期记忆模块中，将时间步t上的前向隐藏状态向量和后向隐藏状态向量/>进行拼接后，得到第z次迭代的时间步t上的深度时序特征/>且/>d为拼接后的特征维数，从而得到第z次迭代的所有时间步上的深度时序特征，记为/>不失一般性，省略前向符号→，在时间步t上的前向隐藏状态向量计算过程如下：

式(5)中，表示第z次迭代的时间步t上的输入门，f_t ^(z)表示第z次迭代的时间步t上的遗忘门，/>表示第z次迭代的时间步t上的输出门，/>表示第z次迭代的时间步t上的候选记忆细胞，/>表示第z次迭代的时间步t上的记忆细胞，/>为第z次迭代的时间步t上的输入，其他变量为第z次迭代的双向长短期记忆模块的参数，σ(·)表示Sigmoid激活函数。

步骤2.4，将第z次迭代的所有时间步上的深度时序特征输入时间注意力模块和第z-1次迭代的抽象特征向量f^(z-1)输入时间注意力模块进行处理，输出相应的融合时序特征，如图4所示：

步骤2.4.1，时间注意力模块利用式(6)和式(7)计算时间步t的注意力权重

式(6)和(7)中，表示第z-1次迭代的抽象特征f^(z-1)和第z次迭代的时间步t上的深度时序特征/>之间的相似性，/>和/>分别是第z次迭代的时间注意力模块的两个参数矩阵，T表示矩阵转置，exp(·)是以自然常数e为底的指数函数；

步骤2.4.2，时间注意力模块利用式(8)得到第z次迭代的初始融合时序特征再利用式(9)获得第z次迭代的时间注意力模块最终的融合时序特征h″^(z)：

步骤2.5，将融合时序特征h″^(z)输入全连接预测模块进行处理，并在第一层全连接层输出抽象特征，在第二层全连接层输出RUL预测值：

全连接预测模块中的第一个全连接层利用式(10)提取第z次迭代的抽象特征

全连接预测模块中的第二个全连接层利用式(11)输出第z次迭代的剩余使用寿命预测结果

式(10)和(11)中，和/>是第z次迭代的全连接预测模块中的两个参数矩阵，/>和/>是第z次迭代的全连接预测模块的偏置向量，f(·)表示非线性激活函数；

步骤2.6，使用均方误差MSE作为损失函数，以损失函数最小化为目标，通过时间反向传播算法和自适应矩估计优化算法对双重注意力网络中的参数进行优化更新，直到z＞Z为止，结束训练，并得到训练好的双重注意力网络模型，从而利用训练好的双重注意力网络模型预测设备的剩余使用寿命。

下面以具体实例，针对本发明方法进行实验论证，具体内容如下：

1、数据集

本发明中采用的数据为美国宇航局提供的飞机涡轮风扇发动机数据，该数据由商业模块化航空推进系统仿真(Commercial Modular Aero-Propulsion SystemSimulation，C-MAPSS)生成，包括21个传感器监测变量。本实验中选用的数据集为FD001，训练数据集和测试数据集各包括100个发动机在固定工作条件下的运行数据，其中训练数据集为发动机的全寿命周期数据，测试数据集则是发动机初始运行一段时间内的数据。

2、评价指标

本发明使用均方根误差(Root Mean Square Error，RMSE)和平均绝对误差(MeanAbsolute Error，MAE)作为评价指标。RMSE和MAE的计算公式如下：

其中，y_i和分别代表RUL真实值和RUL预测值，L是测试集中的样本数。RMSE和MAE的取值越小，代表预测结果的误差越小，模型的预测性能也就越好。

3、实验流程

为了验证所提出方法的有效性，本发明与其他方法进行了比较。比较方法包括支持向量回归(SupportVector Regression，SVR)方法，多层感知机(MultilayerPerceptron，MLP)，卷积神经网络(Convolution Neural Network，CNN)，长短期记忆网络(Long Short-Term Memory，LSTM)，本文所提空间注意力机制结合LSTM(S-LSTM)，本文所提时间注意力机制结合LSTM(T-BLSTM)。实验中SVR使用的核函数为高斯核函数(Radialbasis function，RBF)。MLP模型是通过使用三层隐藏层构建的，使用的激活函数为ReLU函数。CNN模型通过卷积层、池化层和全连接层来构建回归模型。LSTM模型将所有时间步的特征不作区分，直接加和平均输入全连接层来预测RUL。实验过程中，本发明随机划分训练数据集的80％的数据来训练模型，使用另外20％的数据作为验证数据集检验模型的预测效果，然后选取在验证集上预测效果最好的模型保存下来，最终使用测试集进行模型效果的评估。

4、实验结果

为了验证本发明所提出方法的有效性，本发明在涡轮风扇发动机数据上进行实验，并将本发明所提方法以及对比方法的实验结果进行比较。实验结果如表1所示。

表1 RMSE和MAE实验结果

方法	RMSE	MAE
			SVR	32.75	25.01
MLP	36.71	26.15
			CNN	18.36	13.30
LSTM	16.80	12.42
			S-LSTM	14.69	9.26
T-LSTM	15.52	10.12
			本发明方法	12.47	8.99

由表1可以看出，本发明所提方法在RMSE和MAE两个评价指标下均优于其他六种预测方法。从表1还可以看出，相比其他方法，具有空间注意力的网络S-LSTM和具有时间注意力的网络T-LSTM的RUL预测误差下降，与S-LSTM和T-LSTM相比，本发明方法的预测性能又进一步提升。这一结果表明，对于剩余使用寿命预测而言，本发明方法中提出的空间注意力机制能够自适应融合不同传感器的数据，基于双向长短期记忆网络的时间注意力机制能够差异性利用不同时间步的特征，从而有助于预测效果的提升。

Claims (1)

1.一种基于双重注意力网络的设备剩余使用寿命预测方法，其特征包括以下步骤：

步骤1，从多个传感器获取设备运行时的状态监测数据并进行预处理，通过滑动时间窗口构建数据样本集：

步骤1.1，获取设备从初始运行到失效的全寿命周期下的状态监测数据并进行归一化处理，得到归一化后的状态监测数据；

步骤1.2，通过滑动时间窗口对归一化后的状监测数据进行样本划分，得到样本集D＝{(X₁,y₁),(X₂,y₂),...,(X_u,y_u),...,(X_U,y_U)}，其中，(X_u,y_u)为第u个样本，X_u代表第u个滑动窗口内的传感器数据，且 表示第u个滑动窗口内第n个传感器所采集的数据，且/>p代表时间窗口的大小，y_u为第u个滑动窗口内最后一个时间点对应的剩余使用寿命；

步骤2，搭建双重注意力网络，包括：空间注意力模块、双向长短期记忆模块、时间注意力模块和全连接预测模块：

步骤2.1，定义迭代次数为z，并初始化z＝1，迭代阈值为Z；初始化所述双重注意力网络中的参数；

步骤2.2，将所述样本集中每个滑动窗口内的传感器数据依次输入所述空间注意力模块进行处理，并相应输出加权后的传感器数据：

步骤2.2.1，所述空间注意力模块利用式(1)得到第z次迭代的传感器的注意力权重矩阵

式(1)中，z为迭代次数，k为空间注意力模块的超参数，/>为第z次迭代输入的传感器数据；；表示拼接，/>表示第z-1次迭代的抽象特征矩阵；当z＝1时，令/>为随机初始化的向量，q为抽象特征向量的维数，/>是第z次迭代的空间注意力模块的参数矩阵，tanh(·)表示双曲正切激活函数；

步骤2.2.2，所述空间注意力模块利用式(2)对注意力权重矩阵进行处理，得到归一化后的注意力矩阵/>

式(2)中，表示第z次迭代的空间注意力模块的另一个参数矩阵；softmax表示激活函数；

步骤2.2.3，所述空间注意力模块利用式(3)获得第z次迭代输入的传感器数据的注意力分数α^(z)：

式(3)中，sum_column(·)表示对矩阵每列求和；

步骤2.2.4，所述空间注意力模块利用式(4)更新第z次迭代输入的传感器数据，得到第z次迭代加权后的传感器数据X′^(z)：

X′^(z)＝BN(α^(z)⊙X^(z)) (4)

式(4)中，⊙表示两个矩阵的对应元素相乘，BN(·)表示批归一化操作；

步骤2.3，将所述第z次迭代加权后的传感器数据X′^(z)输入所述双向长短期记忆模块进行处理，并相应输出深度时序特征：

所述双向长短期记忆模块对所述第z次迭代加权后的传感器数据X′^(z)进行前向信息与后向信息的提取，并在最后一层的长短期记忆模块中，将时间步t上的前向隐藏状态向量和后向隐藏状态向量/>进行拼接后，得到第z次迭代的时间步t上的深度时序特征且/>d为拼接后的特征维数，从而得到第z次迭代的所有时间步上的深度时序特征，记为/>T^*为总时间步长；

步骤2.4，将所述第z次迭代的所有时间步上的深度时序特征输入时间注意力模块和第z-1次迭代的抽象特征向量f^(z-1)输入所述时间注意力模块进行处理，输出相应的融合时序特征：

步骤2.4.1，所述时间注意力模块利用式(5)和式(6)计算时间步t的注意力权重

式(5)和(6)中，表示第z-1次迭代的抽象特征f^(z-1)和第z次迭代的时间步t上的深度时序特征/>之间的相似性，/>和/>分别是第z次迭代的时间注意力模块的两个参数矩阵，T表示矩阵转置，exp(·)是以自然常数e为底的指数函数；

步骤2.4.2，所述时间注意力模块利用式(7)得到第z次迭代的初始融合时序特征再利用式(8)获得第z次迭代的时间注意力模块最终的融合时序特征h″^(z)：

h″^(z)＝BN(h′^(z)) (8)

步骤2.5，将所述融合时序特征h″^(z)输入全连接预测模块进行处理，并在第一层全连接层输出抽象特征，在第二层全连接层输出RUL预测值：

所述全连接预测模块中的第一个全连接层利用式(9)提取第z次迭代的抽象特征

所述全连接预测模块中的第二个全连接层利用式(10)输出第z次迭代的剩余使用寿命预测结果

式(9)和(10)中，和/>是第z次迭代的全连接预测模块中的两个参数矩阵，/>和/>是第z次迭代的全连接预测模块的偏置向量，f(·)表示非线性激活函数；

步骤2.6，使用均方误差MSE作为损失函数，以损失函数最小化为目标，通过时间反向传播算法和自适应矩估计优化算法对双重注意力网络中的参数进行优化更新，直到z＞Z为止，结束训练，并得到训练好的双重注意力网络模型，从而利用训练好的双重注意力网络模型预测设备的剩余使用寿命。