CN116089822B

CN116089822B - 一种基于时空注意力网络的设备rul预测方法及系统

Info

Publication number: CN116089822B
Application number: CN202310166396.6A
Authority: CN
Inventors: 刘永斌; 李宣霖; 杨阳; 胡娅维; 杜明刚; 刘先增; 曹正; 刘方
Original assignee: Anhui University; China North Vehicle Research Institute
Current assignee: Anhui University; China North Vehicle Research Institute
Priority date: 2023-02-27
Filing date: 2023-02-27
Publication date: 2023-07-28
Anticipated expiration: 2043-02-27
Also published as: CN116089822A

Abstract

本发明适用于设备故障预测和人工智能领域，提供了一种基于时空注意力网络的设备RUL预测方法及系统，所述方法包括以下步骤：将从设备获取的多源传感器数据进行预处理，使各源传感器数据具有相同的数据量级；通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码；挖掘加权和编码后的各所述传感器数据中的隐藏特征；对加权后的所述传感器数据进行补全，并对其中的隐藏特征进行加权和解码；对解码后的隐藏特征进行映射，输出设备RUL的预测结果。本发明解决了多传感器数据输入中重要信息不突出的问题，能够减少检测信号中的干扰；且只需要原始数据输入即可得到预测结果，无需额外的特征工程，计算过程简单，预测精度很高。

Description

一种基于时空注意力网络的设备RUL预测方法及系统

技术领域

本发明属于设备故障预测和人工智能技术领域，尤其涉及一种基于时空注意力网络的设备RUL预测方法及系统。

背景技术

信息技术和自动化技术在现代工业中的发展，导致机械设备的复杂性增加，任何部件的故障都可能导致严重事故，产生巨大经济损失甚至造成人员伤害。预测和健康管理(PHM)能够为设备安全运行提供保障。剩余使用寿命(RUL)预测作为PHM中的核心功能模块，对于防止突发性事故的发生，确保系统的可靠运行具有重要意义。

目前，基于物理模型的方法、基于统计的方法和基于传统机器学习等的方法在RUL预测方面取得了不错的效果。但是复杂度高的设备故障机理不易厘清，难以用基于物理模型的方法实现准确的预测。此外，基于统计的方法和基于传统机器学习的方法往往需要先验知识进行特征工程，这可能导致模型的适用性较差。

发明内容

本发明实施例的目的在于提供一种基于时空注意力网络的设备RUL预测方法，能够更深入的挖掘数据中的潜在退化信息，解决现有预测模型预测精度不高，数据利用不充分或适用性较差的问题。

本发明实施例是这样实现的，一种基于时空注意力网络的设备RUL预测方法，所述方法包括以下步骤：

将从设备获取的多源传感器数据进行预处理，使各源传感器数据具有相同的数据量级；

通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码；

挖掘加权和编码后的各所述传感器数据中的隐藏特征；

对加权后的所述传感器数据进行补全，并对其中的隐藏特征进行加权和解码；

对解码后的隐藏特征进行映射，输出设备RUL的预测结果。

本发明实施例的另一目的在于提供一种基于时空注意力网络的设备RUL预测系统，该系统包括：数据预处理单元、深度学习预测模型和预测结果输出单元，所述深度学习预测模型包括：时空注意力模块、特征特取模块和信息强化模块；

所述数据预处理单元，用于将从设备获取的多源传感器数据进行预处理，使各源传感器数据具有相同的数据量级；

所述时空注意力模块，用于对预处理后的传感器数据进行加权和编码；

所述特征特取模块，用于挖掘加权和编码后的各所述传感器数据中的隐藏特征；

所述信息强化模块，用于对加权后的所述传感器数据进行补全，并对其中的隐藏特征进行加权和解码；

所述预测结果输出单元，用于对解码后的隐藏特征进行映射，输出设备RUL的预测结果。

本发明实施例提供的一种基于时空注意力网络的设备RUL预测方法，该方法通过对时空注意力网络进行改进，使得在进行数据的处理时，无需先验数据，能够更深入的挖掘数据中的潜在退化信息，解决现有模型预测精度不高，数据利用不充分的问题。

附图说明

图1为本发明实施例提供的一种基于时空注意力网络的设备RUL预测方法的流程图；

图2为本发明实施例中神经网络预测模型的结构图；

图3为本发明实施例中LSTM网络的原理图；

图4至图7分别为本发明实施例中FD003子集中#3、#10、#14、#20引擎的RUL拟合图；

图8为本发明实施例提供的一种基于时空注意力网络的设备RUL预测方法的流程框图；

图9为为本发明实施例提供的一种基于时空注意力网络的设备RUL预测系统的框架结构示意图；

图10为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的一种基于时空注意力网络的设备RUL预测方法的流程图，具体可以包括如图8所示的步骤S101-步骤S109：

步骤S101，将从设备获取的多源传感器数据进行预处理，使各源传感器数据具有相同的数据量级；

本步骤中，可以通过数据线从设备的电控箱中获取数据，多源传感器数据为设备原本的各种传感器采集的数据，能够反映设备的运行情况；但是，不同传感器采集的数据，在数量级上可能存在不同，因为，为了挖掘各传感器之间的内在联系，需要对多源传感器的数据进行对齐或补全等处理。本步骤在一个示例中，所述将从设备获取的多源传感器数据进行预处理的步骤，可以包括：在多源传感器数据中，剔除过程变化幅度小于指定第一阈值的传感器数据；对剩余的多源传感器数据进行归一化处理、滑动窗口处理，生成数据序列。具体地，首先，利用传感器采集设备从开始运行到最后失效的全寿命数据作为训练集，采集设备实时运行数据作为测试集，之后，对采集到的原始数据即训练集或测试集进行预处理；剔除设备工作过程中恒定或变化微弱的传感器数据，可以通过设置第一阈值(第一阈值为一个常数，主要用于排除检测值稳定的传感器数据)来实现，将剩余的数据作为筛选出的数据集。上述的滑动窗口处理，即将每个窗口数据中的最后一个数据的寿命作为该窗口的剩余使用寿命标签，对原始数据与剩余使用寿命标签进行处理后，即完成了数据集或数据序列的制作过程。

进一步地，在一个示例中，所述将从设备获取的多源传感器数据进行预处理，具体包括：

采用Min-Max normalization(离差标准化变换)对筛选出的数据进行归一化处理，不同传感器采集到的数据的数量级是不同的，将数量级不同的传感器数据归一化至同一数量级；

使用滑动窗口将归一化后的多传感器数据分割成多个矩阵的形式，并将时间窗口中最后一个时间步所对应的剩余使用寿命作为该窗口的剩余使用寿命标签，被分割后的多传感器数据表示成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；表示第f个传感器数据；T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数；本示例中，不同数据点之间的相关性对时序问题来说非常重要，为了捕获这些相关性，使用时间窗口处理能够将多个数据的关联封装在滑动窗口中，并且使用滑动窗口对原始数据进行处理，能够实现一定的数据扩充；便于后续对数据的处理和挖掘。

在一个实施例中，所述方法包括：步骤S103，通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码；

步骤S105，挖掘加权和编码后的各所述传感器数据中的隐藏特征；

步骤S107，对加权后的所述传感器数据进行补全，并对其中的隐藏特征进行加权和解码；

步骤S109，对解码后的隐藏特征进行映射，输出设备RUL(设备剩余使用寿命)的预测结果。

本实施例的一个示例中，所述通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码的步骤，具体包括：

将所述数据序列进行全局平均池化，得到整体特征信息；

对所述整体特征信息进行一维卷积操作，得到共享权重信息的传感器数据矩阵；

通过第一激活函数将传感器数据矩阵进行加权，获得各传感器对应的注意力权重；

对数据序列和注意力权重进行处理，得到加权后的传感器数据；

使用位置编码对加权后的传感器数据进行标记，并采取不同频率的正弦和余弦函数对标记后的传感器数据进行编码。

如图2所示，在本实施例的一个示例中，所述深度学习预测模型包括时空注意力模块、特征提取模块和信息强化模块；

在一个示例中，时空注意力模块实现步骤如下：首先采用全局平均池化、一维卷积和第一激活函数来实现对特征的自适应加权，第一激活函数可以采用sigmoid激活函数；具体过程如下：

在不降低输入数据传感器通道维数(输入数据的列数)的情况下进行全局平均池化。该操作可以提取出每个传感器通道数据的整体特征，反映其整体信息：

式中：x_f表示第f个传感器的输入数据，即第f个传感器所获取的设备运行数据；v_f表示第f个传感器数据的整体特征，F表示传感器总数；

在得到每个传感器数据的整体特征的基础上，对数据进行一维卷积操作，不仅可以保证模型效率和计算效果，还可以让不同传感器通道的数据在一定程度上共享权重信息，实现局部跨通道的特征交互：

式中：表示第f个传感器数据及其相邻的k个传感器数据的整体特征的集合；/>表示作用与/>上的一维卷积的卷积核参数；α_f代表第f个传感器数据的特征权重；

通过sigmoid激活函数使经过卷积操作之后的数据α_f获得非线性，即可得到与输入数据相关的权重矩阵。接下来将其扩展维度至与输入矩阵的大小相同，即可获得各传感器通道的注意力权重W_f；之后将各传感器通道的注意力权重W_f与输入数据x_f进行逐元素相乘，最终可得到加权后的数据

在一个示例中，计算加权后的数据具体计算过程可以用下面公式表示：

并且考虑到在设备RUL预测中，数据的时序关系对于预测精度有着极为重要的影响，所以为了尽可能的挖掘数据的潜在信息，在数据序列中注入了一些能够反映相对位置的标记，采取不同频率的正弦和余弦函数进行编码：

其中，t为时间步长，k为传感器尺寸；这样，P_t与P_t+l之间即存在线性关系。并且通过这种方法编码得出的向量与原始数据逐元素相加，即可得到含有位置信息的数据，这使得模型可以更容易地挖掘到隐藏在时序关系中的隐藏特征。

在一个示例中，特征提取模块的实现，以进行深层隐藏特征的提取。特征提取模块可以是基于LSTM的深层特征提取模块，由两个LSTM网络以及lookback机制组成；

在一个示例中，所述挖掘加权后的各所述传感器数据中的隐藏特征的步骤，具体包括：

利用第一LSTM网络对各加权后的传感器数据进行首次特征提取；

定义第二LSTM网络，并利用其对第一LSTM网络提取出的相关数据进行二次特征提取，得到隐藏特征；

引入一个超参数lookback值，对第一LSTM网络输出的数据进行优化处理。

如图3所示，该特征提取模块中各门函数和状态传递过程的计算公式如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (8)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (9)

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (10)

C_t＝tanh(W_c·[h_t-1,x_t]+b_c) (11)

C_t＝f_t⊙C_t-1+i_t⊙C_t (12)

h_t＝o_t⊙tanh(C_t) (13)

式中，x_t和h_t表示时间步t的输入和隐藏状态，W_*和b_*分别为权值矩阵和偏置矩阵，⊙表示元素乘积算子，σ(·)表示sigmoid型激活函数，即σ(x)＝1/(1+e^-x)和tanh(·)表示双曲切线激活函数，即tanh(x)＝(e^x-e^-x)/(e^x+e^-x)；f_t表示第z次迭代的时间步t上的输入门，i_t表示第z次迭代的时间步t上的遗忘门，ο_t表示第z次迭代的时间步t上的输出门，C_t表示第z次迭代的时间步t上的候选记忆细胞，C_t表示第z次迭代的时间步t上的记忆细胞，其他变量为第z次迭代的特征提取模块的参数。

将经过时空注意力模块处理过后的特征输入到第一LSTM网络中进行首次特征提取；可以将网络中隐层的特征数量设置为H_hs。从第一LSTM网络(LSTM1)中得到其输出H，h_n，c_n。其中，H为除最后一个时间步之外的每个时间步的隐状态h_i拼接成的矩阵，H＝{h₁,h₂,h₃,,h_n-1}^T。h_n为最后一个时间步的隐状态，c_n为最后一个时间步的细胞状态。

之后对第二LSTM网络(LSTM2)进行定义，将其输入特征数量与隐层特征数量均设置为H_hs。并将h_n，c_n作为其初始化隐状态和细胞状态，h_n作为其序列输入。使用LSTM2对LSTM1提取出的最后一个时间步的隐状态h_n进行更深层次的特征提取，最终得到输出h_t，c_t。

而后引入一个超参数lookback值，对LSTM1的输出H进行处理，不仅关注最后一个隐状态h_n，同时也要回看近期部分的隐状态，lookback值取的越大表明回看的隐状态越多，但是也意味着引入的干扰增多，取值越小表明回看的隐状态越少，但同时也会产生信息量不足的问题。

在一个实施例的示例中，所述信息强化模块的实现步骤如下：

经过特征提取模块处理后，深层的特征已经被提取出，但是随着特征提取的加深不可避免的会产生信息丢失问题，以及一定的信息冗杂现象。所以，通过信息强化模块对特征数据再次进行加权解码，在实现自适应筛选重要信息的同时实现一定的信息补全。

最后将其输入全连接层网络，把信息强化模块处理后的深层退化特征映射成具体的设备剩余使用寿命值，该值即为深度学习预测模型输出的设备剩余使用寿命值。

在一个示例中，所述对加权后的所述传感器数据进行补全，并对其中的所述隐藏特征进行加权和解码的步骤，具体包括：

对第二LSTM网络输出的数据和优化处理后的第一LSTM网络输出的数据进行数学计算，得到加权后的各隐状态矩阵；

根据各隐状态矩阵获得与各隐状态矩阵相同形状的历史信息矩阵；

将各隐状态矩阵与历史信息矩阵进行拼接，得到包含隐藏特征的传感器数据；

解码所述传感器数据。

进一步地，在一个示例中，输入到信息强化模块的数据为LSTM2的输出h_t，和加入了超参数lookback值后的LSTM1的输出H，即H_lb。首先对两矩阵h_t、H_lb进行相乘计算，之后使用softmax激活函数处理即可得到各历史隐状态的相对权重矩阵α_t，具体如下：

将H_lb与权重矩阵α_t相乘即可获得加权后的各隐状态矩阵H_tal：

而后将其沿着第1维进行求和运算，即可得到与h_t相同形状的历史信息矩阵h_h。

最后，将历史信息矩阵h_h与h_t矩阵进行拼接：

h＝Concat(h_h,h_t) (16)

删去无关的第1维度，最终得到h，即解码步骤。将其输入后续的全连接层网络运算，即可得出最终的设备RUL的预测结果。

本实施例的一个示例中，本步骤中，深度学习预测模型可以通过前述的训练集进行训练，而后通过均方根误差RMSE和评分函数Score判断所述模型的有效性，通过测试集或扩充后的数据进行测试。

本实施例中的基于时空注意力网络的设备RUL预测方法，相比目前的基于物理模型的方法、基于统计的方法和基于传统机器学习等方法，在设备RUL预测方面具有以下优势：(1)、本方法是一种不需要先验知识的端到端的预测方式，可以直接利用预处理好的原始传感器数据，而不需要额外的特征工程；因此可以在不过多掌握设备退化机理的情况下，完成设备剩余使用寿命的预测；(2)、这种端到端的预测方式，可以直接利用预处理好的原始传感器数据，自适应的对数据进行加权处理，把深层退化特征映射成具体的设备剩余使用寿命值；(3)、本实施例以极其轻量高效的方式自适应的完成特征的加权筛选，突出退化敏感特征，抑制不敏感特征；(4)、在缓解LSTM网络编码长序列过程中信息丢失的问题上，对其提取的特征进行二次挖掘，并使用lookback机制以及信息强化模块在实现自适应筛选重要信息的同时，实现一定的信息补全，进而使得预测结果更加准确。

在一个实施例中，所述方法还包括：

在所述通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码的步骤前，基于时空注意力网络，搭建、训练深度学习预测模型。

本实施例中，所述基于时空注意力网络，搭建、训练深度学习预测模型的步骤，具体包括：

基于时空注意力网络，搭建时空注意力模块；

搭建特征提取模块、信息强化模块，与时空注意力模块构成深度学习预测模型；

获取设备在全生命周期的运行数据作为训练集；

将所述训练集输入所述深度学习预测模型；

根据指定评分规则判断所述深度学习预测模型的有效性，得到训练好的深度学习预测模型。

在一个实施例中，在进行深度学习预测模型的搭建时，可以根据经验以及实验结果优化模型，确定最终模型结构，可以按照实际需求给定学习率、迭代步数，选取合适的激活函数、损失函数、优化器等。在一些示例中，学习率可以选择为0.001，同时为了减少过拟合现象，在深度学习预测模型后续的全连接层网络的前两层中采用Dropout正则化，优化器选择Adam优化器，来提高模型的运行效率和测试准确性，但本示例并不局限于此。

下面结合具体应用实例对本实施例的实现过程以及预测效果进行说明：

本实施例中，采用的是NASA Ames预测中心提供的商用模块化航空推进系统仿真模拟的飞机涡扇发动机的退化数据来评估本基于时空注意力网络的设备RUL预测方法。根据运行条件和故障模式，该数据集被分为四个不同复杂度的子集。每个子集均由一定数量发动机的21个传感器和3种运行条件的多维时间序列构成。根据序列的完整度可将数据划分为训练集和测试集，前者是指在发动机的整个生命周期中从运行到故障的传感器信号，而后者则是在故障前的某个时刻停止运行的传感器信号。

表1为该数据集的目录清单

子集	FD001	FD002	FD003	FD004
					训练集引擎数	100	260	100	249
测试集引擎数	100	259	100	248
					操作模式	1	6	1	6
故障模式	1	1	2	2

对该数据集进行预处理，如图1所示，训练集和测试集均需要进行预处理。包括以下步骤：

步骤1：数据预处理

子步骤(1)、对数据集中退化特征敏感特征进行筛选，剔除恒定特征或退化特征不敏感特征。对每个子集，选择14个传感器数据(编号为2,3,4,7,8,9,11,12,13,14,15,17,20和21)作为原始数据。

子步骤(2)、使用Min-Max归一化对筛选出的数据进行标准化，将量级不同的传感器数据处理至同一数量级，将原始信号映射到[0,1]内。计算公式如下所示：

式中：和/>分别表示第i个传感器在第j个数据点上的原始数据和标准化后的数据；/>和/>则分别代表第i个传感器的最小值和最大值。

子步骤(3)、采用滑动窗口来捕捉时间依赖关系，实现一定的数据增强。具体来说，利用固定长度的窗口将连续的传感器序列数据切割封装成二维矩阵，这里窗口长度取30。对于信号长度小于30的数据，采取线性插值的方法将数据补长至30。其中，将滑动窗口中最后一个数据点的RUL作为该窗口数据的RUL。此外，在大多数情况下，工程系统初始阶段的退化可以忽略不计，因此该段窗口的RUL值可以同一为一个常数。使用分段线性RUL目标函数对该数据集标签处理，常数阈值设置为125cycle。

子步骤(4)、经过子步骤(1)至子步骤(3)的处理，多传感器数据被分割成以下形式：

式中：x⁽ⁿ⁾表示第n个样本，N表示样本总数；表示第f个传感器数据；T表示时间窗口的长度，也即输入序列的长度；F代表传感器总数。最终数据样本如表2所示：

表2为原始数据经过预处理后的样本清单

Subsets	FD001	FD002	FD003	FD004
					窗口形状	30*14	30*14	30*14	30*14
RUL阈值	125	125	125	125
					训练集样本数	17731	46219	21820	54028
测试集样本数	10196	26511	13696	34092

步骤2：搭建、训练深度学习预测模型

本步骤中，在训练时，一般都采用均方误差(MSE)作为损失函数来衡量训练误差；然后，利用Adma优化器迭代更新网络参数以最小化均方差损失函数，并将学习率设置为0.001；最后将训练数据输入深度学习预测模型进行训练，直至训练周期结束或模型性能达到要求。

步骤3：验证深度学习预测模型

本实施例中，采用均方根误差(RMSE)和评分函数(Score)两个指标来衡量模型的性能，其表达式如下所示：

式中，r_i表示剩余使用寿命的预测值，r_i表示剩余使用寿命真实值标签。

上述，所述的基于时空注意力网络的设备RUL预测方法，在4组验证集(子集)上的指标如表3所示：

表3为本方法在4组验证集上的结果

此外，为了直观地表示预测值与真实值之间的误差，以FD003子集为例进行预测值的拟合，拟合结果如图4至图7所示。图4至图7分别为FD003子集中#3、#10、#14、#20引擎的RUL拟合图。其中拟合图的横坐标表示测试过程中实时运行设备的运行时间，纵坐标表示相应时间下的剩余使用寿命。虚线代表真实的剩余使用寿命，实线表示预测模型预测的剩余使用寿命。

由表3和图4至图7可以看出，本实施例的方法，能够有效的预测飞机涡扇发动机的剩余使用寿命，从而根据预测的RUL来安排适当的维护策略和运行时间，在设备故障发生前为用户采取预防性措施提供合适的决策依据，避免发生故障而产生灾难性的后果。

如图9所示，在另一个实施例中，一种基于时空注意力网络的设备RUL预测系统，所述系统包括：数据预处理单元100、深度学习预测模型200和预测结果输出单元300，所述深度学习预测模型200包括：时空注意力模块210、特征特取模块220和信息强化模块230；

所述数据预处理单元100，用于将从设备获取的多源传感器数据进行预处理，使各源传感器数据具有相同的数据量级；

所述时空注意力模块210，用于对预处理后的传感器数据进行加权和编码；

所述特征特取模块220，用于挖掘加权和编码后的各所述传感器数据中的隐藏特征；

所述信息强化模块230，用于对加权后的所述传感器数据进行补全，并对其中的隐藏特征进行加权和解码；

所述预测结果输出单元300，用于对解码后的隐藏特征进行映射，输出设备RUL的预测结果。

在本实施例中，所述数据预处理单元100可以参考上述的步骤1：数据预处理的步骤；在此不再赘述。

进一步地，所述时空注意力模块对预处理后的传感器数据进行加权和编码的步骤，包括：数据池化、一维卷积、数据加权和数据编码；

所述数据池化，将所述数据序列进行全局平均池化，得到整体特征信息；

所述一维卷积，对所述整体特征信息进行一维卷积操作，得到共享权重信息的传感器数据矩阵；

所述数据加权，通过第一激活函数将传感器数据矩阵进行加权，获得各传感器对应的注意力权重；对数据序列和注意力权重进行处理，得到加权后的传感器数据；

所述数据编码，使用位置编码对加权后的传感器数据在时间维度上进行标记，并采取不同频率的正弦和余弦函数对标记后的传感器数据进行编码。

本实施例中，通过数据池化进行全局平均池化；可以提取出每个传感器通道数据的整体特征，反映其整体信息，如上式(2)；

在得到每个传感器数据的整体特征的基础上，对数据进行一维卷积操作，不仅可以保证模型效率和计算效果，还可以让不同传感器通道的数据在一定程度上共享权重信息，实现局部跨通道的特征交互，如上式(3)；

在一个示例中，考虑到在设备RUL预测中，数据的时序关系对于预测精度有着极为重要的影响，所以为了尽可能的挖掘数据的潜在信息，在数据序列中注入了一些能够反映相对位置的标记，采取不同频率的正弦和余弦函数进行编码，其原理可参考上式(6)和式(7)；通过这种方法编码得出的向量与原始数据逐元素相加，即可得到含有位置信息的数据，这使得模型可以更容易地挖掘到隐藏在时序关系中的隐藏特征。

本实施例提高的一种基于时空注意力网络的设备RUL预测方法，可以不需要先验知识的实现端到端的预测，可以直接利用预处理好的原始传感器数据，而不需要额外的特征工程；因此可以在不过多掌握设备退化机理的情况下，完成设备剩余使用寿命的预测；这种端到端的预测，可以直接利用预处理好的原始传感器数据，自适应的对数据进行加权处理，把深层退化特征映射成具体的设备剩余使用寿命值；同时，以极其轻量高效的方式自适应的完成特征的加权筛选，突出退化敏感特征，抑制不敏感特征；在缓解LSTM网络编码长序列过程中信息丢失的问题上，对其提取的特征进行二次挖掘，并使用lookback机制以及信息强化模块在实现自适应筛选重要信息的同时，实现一定的信息补全，进而使得预测结果更加准确。

如图10所示，在另一个实施例中，提供的一种计算机设备，所述计算机设备存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于时空注意力网络的设备RUL预测方法的步骤S101-步骤S109：

步骤S103，通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码；

步骤S109，对解码后的隐藏特征进行映射，输出设备RUL的预测结果。

图10示出了一个实施例中计算机设备的内部结构图。该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于时空注意力网络的设备RUL预测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于时空注意力网络的设备RUL预测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于时空注意力网络的设备RUL预测方法，其特征在于，所述方法包括以下步骤：

挖掘加权和编码后的各所述传感器数据中的隐藏特征；

对解码后的隐藏特征进行映射，输出设备RUL的预测结果；

所述将从设备获取的多源传感器数据进行预处理的步骤，具体包括：

在多源传感器数据中，剔除过程变化幅度小于指定第一阈值的传感器数据；

对剩余的多源传感器数据进行归一化处理、滑动窗口处理，生成数据序列；

所述通过已训练的深度学习预测模型对预处理后的传感器数据进行加权和编码的步骤，具体包括：

将所述数据序列进行全局平均池化，得到整体特征信息；

使用位置编码对加权后的传感器数据进行标记，并采取不同频率的正弦和余弦函数对标记后的传感器数据进行编码；

所述挖掘加权后的各所述传感器数据中的隐藏特征的步骤，具体包括：

引入一个超参数lookback值，对第一LSTM网络输出的数据进行优化处理；

所述对加权后的所述传感器数据进行补全，并对其中的所述隐藏特征进行加权和解码的步骤，具体包括：

解码所述传感器数据。

2.根据权利要求1所述的基于时空注意力网络的设备RUL预测方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的基于时空注意力网络的设备RUL预测方法，其特征在于，所述基于时空注意力网络，搭建、训练深度学习预测模型的步骤，具体包括：

基于时空注意力网络，搭建时空注意力模块；

获取设备在全生命周期的运行数据作为训练集；

将所述训练集输入所述深度学习预测模型；

4.一种基于时空注意力网络的设备RUL预测系统，其特征在于，所述系统包括：数据预处理单元、深度学习预测模型和预测结果输出单元，所述深度学习预测模型包括：时空注意力模块、特征特取模块和信息强化模块；

所述预测结果输出单元，用于对解码后的隐藏特征进行映射，输出设备RUL的预测结果；

将所述数据序列进行全局平均池化，得到整体特征信息；

解码所述传感器数据。

5.根据权利要求4所述的基于时空注意力网络的设备RUL预测系统，所述时空注意力模块对预处理后的传感器数据进行加权和编码的步骤，包括：数据池化、一维卷积、数据加权和数据编码；

6.根据权利要求4所述的基于时空注意力网络的设备RUL预测系统，其特征在于，所述预测结果输出单元包括全连接层网络。