CN115994630A

CN115994630A - 基于多尺度自注意力的设备剩余使用寿命预测方法及系统

Info

Publication number: CN115994630A
Application number: CN202310293148.8A
Authority: CN
Inventors: 宋文; 张志政; 李歧强
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2023-03-24
Filing date: 2023-03-24
Publication date: 2023-04-21
Anticipated expiration: 2043-03-24
Also published as: CN115994630B

Abstract

本发明属于设备剩余使用寿命预测技术领域，提出了一种基于多尺度自注意力的设备剩余使用寿命预测方法及系统，包括：获取多个传感器采集的机械设备的实时运行状态数据；将实时运行状态数据输入至训练完成的剩余使用寿命预测模型中，得到机械设备的实时剩余使用寿命；剩余使用寿命预测模型包括：并行工作的多尺度全局特征提取网络和多尺度局部特征提取网络，以及全局和局部特征融合网络。本发明通过两个基于自注意力的多规模特征提取网络并行工作来分别有效提取设备的全局和局部模式退化信息，并行工作可以有效防止不同特征信息之间的相互干扰，可以有效提高剩余使用寿命的预测精度。

Description

基于多尺度自注意力的设备剩余使用寿命预测方法及系统

技术领域

本发明属于设备剩余使用寿命预测技术领域，尤其涉及一种基于多尺度自注意力的设备剩余使用寿命预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

预测性维护（Predictive Maintenance,PdM）是保障现代大型机械设备运行可靠性和稳定性，以及减少冗余维护操作和花费的重要手段。PdM通过分析工业物联网中各种传感器监测的工业大数据来分析设备的健康状态。剩余使用寿命预测（Remaining UsefulLife,RUL）是PdM有效实施的关键技术之一，准确且及时的RUL预测可以在设备出现故障之前掌握运行状况信息并警告维护人员采取维护措施，有效帮助维护人员制定灵活可靠的维护计划，避免设备停机带来的危害和经济损失。因此，建立一套有效的RUL预测系统对于PdM至关重要。

目前RUL的预测方法主要分为两类：基于模型的方法和基于数据驱动的方法。基于模型的RUL预测方法，例如Wiener过程模型、指数模型以及Weibull分布模型等，需要利用大量的机械设备先验知识建立可以描述退化过程的物理或数学模型。基于深度学习的RUL预测方法主要是基于RNN（Recurrent neural network）和CNN(Convolution neuralnetwork)架构以及它们的变体和混合网络构建的，通过直接作用于监测序列数据来提取设备的退化特征信息进而实现RUL预测。随着现代大型设备智能化提高，使工作人员的维护难度增大，对RUL的预测精度提出了更高的要求，研究发现上述几种方法至少存在以下问题：

（1）由于现代大型机械设备结构的复杂性以及对退化过程认识不足，基于模型的方法难以应用在实际过程中且在模型传递过中表现不佳；

（2）基于RNN（如Long Short-Term Memory, LSTM)和(Gated Recurrent Unit,GRU)）的RUL预测方法由于其内部存在循环网络结构，需要依次经过每个处理单元才能提取到全局的退化信息，因此不可避免的会成重要信息遗忘的问题。基于CNN的RUL预测模型可以有效提取局部退化特征信息，但是要想提取序列数据中潜在的长期依赖信息只能通过不断扩大卷积核的尺寸和深度，造成难以承受的计算量，实际应用困难；

（3）在RUL预测中对于不同时间段采集的监测历史数据对最后的预测贡献是不同的，然而，现有RUL预测方法对此问题的处理是相同的，这严重限制了RUL预测方法的性能。

发明内容

为克服上述现有技术的不足，本发明提供了基于多尺度自注意力的设备剩余使用寿命预测方法及系统。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了基于多尺度自注意力的设备剩余使用寿命预测方法，包括：

获取多个传感器采集的机械设备的实时运行状态数据；

将实时运行状态数据输入至训练完成的剩余使用寿命预测模型中，得到机械设备的实时剩余使用寿命；

所述剩余使用寿命预测模型包括：并行工作的多尺度全局特征提取网络和多尺度局部特征提取网络，以及全局和局部特征融合网络；

所述多尺度全局特征提取网络用于从多传感器监测数据中提取机械设备的不同尺度上的全局退化特征；

所述多尺度全局特征提取网络的结构依次是：输入嵌入模块、位置编码模块、多尺度自注意力模块以及拼接和归一化层；

所述输入嵌入模块用于将采集的多传感器时间序列线性映射到高维，得到不同时间步信息在高维空间中的表示；

所述位置编码模块对映射到高维的时间序列数据注入位置信息；

将经过嵌入表示和位置编码后的时间序列输入至所述多尺度自注意力模块中，通过控制多尺度自注意力模块的不同关注范围来从不同时间尺度提取更丰富的全局退化特征信息；

将所述多尺度自注意力模块输出的全局退化特征信息经过拼接和归一化层后，输出最终的全局退化特征；

所述多尺度局部特征提取网络用于从多传感器监测数据中提取机械设备在退化的过程中存在的局部退化特征；

所述全局和局部特征融合网络用于对全局退化特征和局部退化特征进行融合后输出预测的设备剩余使用寿命。

本发明第二方面提供了基于多尺度自注意力的设备剩余使用寿命预测系统，包括：

数据获取模块，被配置为：获取多个传感器采集的机械设备的实时运行状态数据；

实时剩余使用寿命预测模块，被配置为：将实时运行状态数据输入至训练完成的剩余使用寿命预测模型中，得到机械设备的实时剩余使用寿命；

以上一个或多个技术方案存在以下有益效果：

本发明通过两个基于自注意力机制的多规模特征提取网络并行工作来分别有效提取设备的全局和局部模式退化信息，在全局特征提取网络中，所提出的多尺度自注意力机制特征提取策略，可以使模型从不同尺度学习到更丰富的退化特征表达，同时全局和局部特征提取网路并行工作可以有效防止不同特征信息之间的相互干扰，这可以有效提高RUL的预测精度。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一的机械设备RUL预测整体流程图；

图2为本发明实施例一的基于多尺度自注意力的机械设备剩余使用寿命预测模型结构图；

图3为本发明实施例一提出的多尺度自注意力模块特征提取示意图；

图4为本发明实施例一提出的自注意力模块结构图；

图5为本发明实施例一提出的局部特征提取网络结构图。

具体实施方式

本发明提出的总体思路以下步骤：

获取航空发动机的多传感器历史运行数据作为训练数据，将与检测数据相应的剩余使用寿命作为标签，构建训练集和测试集；

构建基于多尺度全局和局部自注意力机制的剩余使用寿命预测模型，该方法包含两个基于自注意力机制的特征提取网络,全局和局部特征提取网络，其可以分别同时关注机械设备的全局和局部退化模式；全局特征提取网络中提出了一种多规模自注意力机制设计，可以帮助模型从不同尺度上提取更丰富的全局模式退化特征；局部特征提取网络首先采用多规模卷积神经网络设计来提取设备的局部模式退化信息，然后通过自注意力机制实现对不同局部特征的重要性关注；全局和局部特征提取网络的并行工作可以避免不同特征信息之间的相互干扰；最后，对提取的全局和局部退化特征信息进行拼接，并通过多个全连接层来输出预测的RUL。

实施例一

如图1所示，本发明提出的基于多尺度自注意力的设备剩余使用寿命预测方法，包括以下步骤：

步骤1、采集机械设备的运行状态数据以及机械设备对应的剩余使用寿命构建训练集和测试集；

步骤2、构建基于多尺度全局和局部自注意力机制的剩余使用寿命预测模型；

步骤3、基于训练集和测试集数据对剩余使用寿命预测模型进行训练和测试，损失函数选择MSE函数，采用Adam优化器对模型参数进行梯度下降优化，得到训练之后的剩余使用寿命预测模型；

步骤4、将多个传感器采集的实时机械设备运行状态数据输入至训练完成的剩余使用寿命预测模型中，得到机械设备的实时剩余使用寿命。

如图2所示，本发明提出的剩余使用寿命预测模型包括：并行工作的多尺度全局特征提取网络和多尺度局部特征提取网络，以及全局和局部特征融合网络；首先，多尺度全局和局部特征提取网络分别从多传感器采集的监测数据中进行退化特征信息提取，通过全局特征提取网络提取到多规模全局退化特征信息，通过局部特征提取网络提取到多规模全局退化特征信息。然后，通过全局和局部特征融合网络对两个特征提取网络提取到全局和局部退化特征信息进行融合。最后通过全连接层输出预测的剩余使用寿命；

其中，全局退化特征信息是是指设备的整体变化趋势是趋于退化状态，例如不同传感器的监测数值在这个过程中表现为数值上升或者下降，通过全局特征提取网络来捕捉长期的依赖信息。局部退化特征信息是指在设备退化的过程中，可能设备受到损坏或者干扰而导致多传感器数值呈现出局部变化，传感器数值呈现波动或与全局趋势相反，而这种局部变化信息对最终的RUL预测也很重要。两个网络是并行工作因此不会造成不同特征信息之间相互影响。

具体的，多尺度全局特征提取网络主要由输入嵌入模块，位置编码模块、多尺度自注意力模块以及拼接和归一化层组成，多尺度全局特征提取网络通过多个不同规模的并行自注意力机制模块，作用于多传感器监测数据中来提取设备的全局退化特征；

其中，输入嵌入模块将采集的多传感器时间序列从 k维线性映射到高维时间序列来得到不同时间步信息在高维空间中的表示，代表时间序列长度，表示数据维度，表示映射后维度，是映射后的维时间序列，k表示传感器的数量；输入嵌入模块表示如下；

其中，表示线性映射的参数矩阵。

由于多尺度自注意力模块中不含有循环网络和卷积结构，为了使模型充分的利用序列的顺序信息，通过位置编码对时间序列数据注入位置信息。位置编码与输入嵌入层具有相同的维度，因此可以将这两部分信息相加。在本发明中，使用了不同频率的正弦和余弦函数用于位置编码，如下所示：

，

其中，代表位置，代表维度，表示经过正弦编码后第个位置对应的第个维度对应的位置编码信息，表示经过余弦编码后第个位置对应的位置信息。

经过嵌入表示和位置编码后的时间序列将作为多尺度自注意力模块的输入。多尺度结构可以帮助模型捕获不同时间尺度的退化特征，不同时间尺度对应不同的信息感受野范围从而获取不同细粒度下的特征信息，这些不同尺度下的提取的特征信息被有效组合，相比单一感受野下提取的特征更具有鲁棒性。本发明设计了一种多尺度自注意力结构，通过控制自注意力模块的不同关注范围来提取设备丰富的全局退化特征信息。相比于传统的自注意力模块，本发明所提出的多尺度自注意力模块的设计可以使模型从不同时间尺度提取更丰富的全局退化模式信息。

如图3所示，本发明提出的多尺度自注意力模块由多个不同尺度的自注意力机制模块并行组成，作为多尺度自注意力模块的输入，定义多规模变量M，其是一个根据时间序列长度和不同规模的自注意力机制模块的数量来控制自注意力机制模块工作范围的比率：

其中，代表时间序列长度，表示不同规模的自注意力机制模块的数量；

例如：当，时,对应，有3个不同规模的自注意力机制模块，每个自注意力机制模块对应的关注时间尺度分别为。

下面介绍自注意力机制模块的细节：

如图4所示，多个不同规模的自注意力机制模块区别在于关注的时间感受野不同，内部结构是相同的。每个自注意力机制模块包含2个子部分：多头自注意力机制和全连接网络。在每个子部分后面有一个残差连接和层归一化。残差连接可以减轻训练深度神经网络的难度，层归一化加速训练过程使模型更快收敛。

接下来，将介绍自注意力机制模块的全局退化特征信息提取计算过程。以第一个规模自注意力机制模块为例，其时间感受野为整个多传感器时间序列，,代表时间序列的长度。自注意力机制模块首先会将输入映射为三个不同的矩阵：，，，如下式所示：

其中，为多尺度全局特征提取网络中的三个注意力矩阵，分别表示将输入映射为的可学习的参数矩阵；

然后，查询矩阵中的每一个元素，为了确定当前元素与其他元素之间的相关性，将采取与所有的缩放点积对相关性进行评分，通过softmax函数（即归一化指数函数）沿着时间维度来获得注意力权重。最后当前时间步与其他时间步之间的相关性特征信息被计算为矩阵的加权和，输出如下：

自注意力机制模块的输出与输入序列保持一样的维度。在本发明中采取多头策略，其可以使模型更加全面的挖掘不同位置在不同子空间下的表征信息，多头自注意力机制如下所示：

，

其中表示可学习的参数矩阵，其可以充分融合多头信息，是头的数量，表示多头注意力机制，表示第个头的注意力，表示多头信息的拼接操作，代表注意力机制。第一个规模的自注意力机制模块提取的特征为,多头自注意力机制后会有残差连接和层归一化，表示如下:

其中，Norm表示层归一化操作，残差连接是指将新提取的特征信息与输入数据相加，这可以有效降低模型复杂度以减少过拟合，并防止梯度消失。

分别利用三个不同规模的自注意力机制模块的可以得到不同规模提取的全局退化特征信息为：

，

三个不同规模的自注意力机制模块的输出经过拼接和归一化操作后，最终输出的全局退化特征如下：

其中，，其包含了多时间尺度下自注意力机制模块提取的全局退化特征信息。

如图5所示为本发明提出的多规模局部特征提取网络，用于提取设备在退化的过程中存在的局部退化特征信息，包含：多尺度卷积模块、位置编码模块和自注意力机制模块；首先通过多个并联的具有不同感受野的卷积模块同时从原始的多传感器数据集中提取局部特征信息，然后通过位置编码模块实现位置嵌入，最后通过自注意力机制模块实现对不同局部特征的关注。

具体的，首先，采用多尺度卷积模块直接作用于原始采集的多传感器数据来提取丰富的局部退化特征表达：

多尺度卷积模块的计算过程细节如下:

，

其中，代表原始的多传感器输入数据，代表时间步的长度，代表传感器个数，代表在规模下第个卷积核的可学习权重矩阵的转置，。代表激活函数，代表第规模下第个卷积核的偏置，代表第个规模下卷积核的个数。然后，不同规模提取的局部退化特征信息将被充分融合，如下所示：

，

其中，代表多尺度卷积模块的输出，是可学习的参数矩阵，其融合了不同规模提取的局部退化特征信息，代表传感器个数。

然后，将输入至位置编码模块进行位置嵌入；

最后，提取的局部特征信息作为自注意力机制模块的输入实现对不同局部特征信息重要性的关注，提高模型的局部特征信息获取能力；

将经过位置嵌入的作为自注意力机制模块的输入，其对提取的局部退化特征进行重要性关注，自注意力机制如下所示：

作为局部特征提取网络最终的输出，其中可训练参数矩阵;

；

其中，表示第个头的注意力；表示局部特征提取网络中的注意力矩阵。

最后通过全局和局部特征融合网络将两部分信息进行融合并输出所预测的设备剩余使用寿命值；全局和局部特征融合网络包括融合层、平铺层、第一全连接层和第二全连接层。

本发明提出的基于多尺度自注意力机制的机械设备剩余使用寿命预测方法，首先，通过采集的机械设备的历史运行状态数据构建训练集和测试集。其次通过构建多尺度自注意力机制网络，多尺度全局和局部特征提取网络分别从多传感器采集的监测数据中进行退化特征信息提取，两个网络是并行工作因此不会造成不同特征信息之间相互影响。通过全局网络提取到多规模全局退化特征信息，通过局部网络提取到多规模全局退化特征信息。然后，通过全局和局部融合网络对两个子网络提取到全局和局部退化特征信息进行融合，能够有效提高机械设备剩余使用寿命预测的准确性，因此本发明方法具有很好的应用前景。

实施例二

如图2所示，本实施例公开了一种基于多尺度自注意力的设备剩余使用寿命预测系统，包括：

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，包括：

获取多个传感器采集的机械设备的实时运行状态数据；

2.如权利要求1所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述剩余使用寿命预测模型的训练过程包括：采集机械设备的运行状态数据以及机械设备对应的剩余使用寿命构建训练集和测试集；

基于训练集和测试集数据对所述的剩余使用寿命预测模型进行训练和测试，得到训练完成的剩余使用寿命预测模型。

3.如权利要求1所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述多尺度自注意力模块包括多个不同规模的并行工作的自注意力机制模块，通过定义多规模变量确定每个自注意力机制模块对应的关注时间尺度。

4.如权利要求3所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述多规模变量是一个根据时间序列长度和不同规模的自注意力机制模块的数量来控制自注意力机制模块工作范围的比率。

5.如权利要求4所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述自注意力机制模块包含2个子部分：多头自注意力机制和全连接网络，在每个子部分后面有一个残差和层归一化。

6.如权利要求5所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述的从不同时间尺度提取更丰富的全局退化特征信息的具体步骤包括：

自注意力机制模块采取多头策略挖掘不同位置在不同子空间下的表征信息；

分别利用多个不同规模的自注意力机制模块得到不同规模提取的全局退化特征信息；

不同规模提取的全局退化特征信息经过残差连接和层归一化后，进行输出。

7.如权利要求3所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述输入嵌入模块和位置编码模块具有相同的维度，位置编码模块使用不同频率的正弦函数和余弦函数用于位置编码。

8.如权利要求1所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述多尺度局部特征提取网络包括多尺度卷积模块、位置编码模块和自注意力机制模块；

所述多尺度卷积模块用于从原始采集的多传感器数据来提取丰富的局部退化特征信息；

所述位置编码模块用于对局部退化特征信息注入位置信息；

所述自注意力机制模块用于实现对不同局部退化特征信息重要性的关注，得到局部特征提取网络最终的输出。

9.如权利要求1所述的基于多尺度自注意力的设备剩余使用寿命预测方法，其特征在于，所述全局和局部特征融合网络包括融合层、平铺层、第一全连接层和第二全连接层。

10.基于多尺度自注意力的设备剩余使用寿命预测系统，其特征在于，包括：