CN115409217B - 一种基于多专家混合网络的多任务预测性维护方法 - Google Patents

Abstract

本发明公开一种基于多专家混合网络的多任务预测性维护方法，包括：步骤S1：将设备的传感器数据处理成传感器特征张量，输入多专家网络模块，计算得到相应的专家子网络张量；步骤S2：将传感器特征张量输入多任务门控网络，得到多任务门控网络输出向量；步骤S3：对于每个任务，结合对应多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；步骤S4：将计算得到的编码器张量输入任务相关的解码器网络，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。本发明解决了错误传递问题，可以缓解跷跷板效应，减小预测性维护任务的计算成本，提升预测效率。

Description

一种基于多专家混合网络的多任务预测性维护方法

技术领域

本发明涉及工业设备预测性维护领域，特别涉及一种基于多专家混合网络的多任务预测性维护方法。

背景技术

在工业领域，关键设备的故障会带来重大财产和生命安全的威胁，因此有必要在设备发生故障之前作出合适地维护操作。传统的设备维护方法是基于专家意见、领域经验，制定出设备维护与部件更换周期。这种方法虽然可以做到一定程度的防患于未然，但相对固定的维护周期缺乏灵活性，容易造成人工资源和配件的浪费。随着工业传感器的广泛应用，可以收集到大量关键设备的监控数据。数据驱动的预测性维护技术应运而生，通过对传感器数据的实时监控，可实现在设备失效前及时的采取维护作业。

预测性维护任务的目的是为专业人员提供辅助决策信息，以便采取相应的应对动作。因此，预测性维护任务除了要识别设备当前是否有异常之外，通常还需要提供异常原因、设备的磨损趋势、预计剩余使用寿命等信息。通常的方法是先将设备的运行状态分为几种区间，如正常区、磨损区、异常区等。先通过分类模型判断设备所处的运行区间，如果进入磨损区，则进一步地调用预计剩余使用寿命模型，对设备可能出现问题的时间作预估。这类方法中各个任务之间是相互独立的，会存在如下问题：(1)各任务之间存在次序关系，容易出现错误传递的问题，即前一步的预测错误会直接导致后续任务失效(2)不方便对各个任务作联合优化。因此，需要一种端到端的多任务模型，可以并行的处理、联合优化预测性维护中的各项子任务。

另外，监控设备的传感器类型多样，监控的物理量、数据采集频率都有差异。比如同一套设备可能采用震动传感器、压力传感器、温度传感器，这些传感器还可能是以不同的频率采集数据的。工业领域的多传感器数据包含着丰富的信息。传统预测性维护模型采用单一的神经网络结构对传感器特征进行提取，对数据中蕴含的丰富模式表达能力不足。

对于预测性维护领域的多任务问题，通常采用“底共享”(Shared-bottom)结构，即多个任务共用同一个特征提取网络模块，不同的任务通过各自的任务子网络实现。但是这种方法存在以下不足：对于相关性较弱的不同任务，容易出现“跷跷板效应”，即模型通过牺牲其他任务来提升部分任务效果，与单独优化各项任务相比，多个任务无法同时提升效果。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多专家混合网络的多任务预测性维护方法，对于预测性维护场景的多个任务，可以实现联合优化且同时输出目标结果，其具体技术方案如下：

一种基于多专家混合网络的多任务预测性维护方法，包括以下步骤：

步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量；

步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量；

步骤S3：对于每个任务，结合对应的多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；

步骤S4：将计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。

进一步的，所述步骤S1具体包括以下子步骤：

步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量v_inp∈R^n×h，其中n是传感器数据时间窗口大小，h为传感器特征张量的隐藏层维度；

步骤S12：将传感器特征张量v_inp作为多专家网络模块的输入，通过所述多专家网络模块中的m个专家子网络，计算得到m个维度一致的专家子网络张量{e₁,e₂,e₃,...,e_m}，其中第l个专家子网络的输出向量e_l∈R^ne×he，ne、he分别为专家子网络输出隐藏层的维度。

进一步的，所述传感器数据是一个2D时间序列矩阵：X＝[x¹，x²，...，x^t，...，xⁿ]，X∈R^n×p其中每列是一个时间步上的数据，P为传感器数量，对于每个时间步：

X中每行是单个传感器在时间窗口内采集到的数据，为第q个传感器在时刻t的读数；对于传感器q，在所选时间窗口内的时间序列为：

进一步的，所述预处理神经网络模块采用单层的LSTM网络，传感器数据X输入到LSTM网络，计算得到传感器特征张量为v_inp∈R^n×h，其中h是LSTM网络层输出张量隐藏层的维度。

进一步的，所述多专家网络模块采用m个结构相同但相互独立的双层LSTM网络，对于第l个专家子网络，输出为：

其中，n_e、h_e分别为专家子网络隐层维度，整个多专家网络模块的输出为：

E＝[e¹，e²，...e^l，...，e^m]∈R^m×ne×he。

进一步的，所述步骤S2具体为：将传感器特征张量v_inp输入多任务门控网络，对于每个任务i，有相对独立的门控单元gateⁱ，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第i个任务，相应的多任务门控网络中的门控单元输出向量为：

其中，分别为第i个任务的门控单元中，第一层与第二层的网络参数矩阵；b_layer1∈R^n×g、b_layer2∈R^n×m为相应的偏置项；此处g为门控网络的隐藏单元大小，m为专家子网络的数量。

进一步的，所述步骤S3具体为：通过门控网络对多专家网络模块的输出作混合，对于第i个任务，计算得到相应的混合专家网络模块的编码器张量：

进一步的，所述步骤S4具体为：将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出yⁱ，通过多任务预测性维护模型同时计算并输出k个任务的结果{y¹,y²,...,y^k}。

进一步的，所述k个任务中，当任务T₁为二分类任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：

其中，分别为任务T₁解码器中三个全连接层相应的权重；

当任务T₂为回归任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数，表达式如下：

其中，分别为任务T₂解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为回归任务的结果数值。

进一步的，所述多任务预测性维护模型的训练使用反向传播方式，对模型的网络参数进行更新，各个任务联合优化，具体为：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异；然后将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内；其中，所述加权求和中，各任务损失函数的系数通过人工设定，采用交叉熵损失函数L_cross以及均方根损失函数L_MSE作为目标函数，最终的目标函数为：

L_total＝L_cross+αL_MSE

其中，α为人工设定的超参数，采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。

有益效果：(1)可以实现端到端的训练与优化，解决了错误传递问题；(2)采用多任务混合专家模型，各个任务可以做到联合优化，同时计算并输出目标结果；(3)编码器采用多专家网络结构，不同专家子网络负责捕捉特定的数据模型，具有更强的表达能力；(4)每个任务靠各自相对独立的门控模块调整多专家网络的输出，可以缓解跷跷板效应；(5)任务间通过共用多专家网络，可以减小预测性维护任务的计算成本，提升预测效率。

附图说明

图1为本发明的一种基于多专家混合网络的多任务预测性维护方法流程示意图；

图2为本发明方法的主要流程示意图；

图3为本发明实施例的一种基于多专家混合网络的多任务预测性维护装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

如图1和图2所示，本发明的一种基于多专家混合网络的多任务预测性维护方法，包括以下步骤：

步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量。

所述步骤S1具体包括以下子步骤：

步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量v_inp∈R^n×h，其中n是传感器数据时间窗口大小，h为传感器特征张量的隐藏层维度；

更具体的，假设有P个传感器，所选取的以n为长度的传感器数据是一个2D时间序列矩阵：X＝[x¹，x²，...，x^t，...，xⁿ]，X∈R^n×p其中每列是一个时间步上的数据，对于每个时间步：

X中每行是单个传感器在时间窗口内采集到的数据，为第q个传感器在时刻t的读数；同样的，对于传感器q，在所选时间窗口内的时间序列为：

预处理神经网络模块的一个实施例是采用单层的LSTM网络：传感器数据X输入到LSTM网络，计算得到传感器特征张量为v_inp∈R^n×h，其中n是时间窗口的大小，h是LSTM网络层输出张量隐藏层的维度。

步骤S12：将传感器特征张量v_inp作为多专家网络模块的输入，通过所述多专家网络模块中的m个专家子网络，计算得到m个维度一致的专家子网络张量{e₁,e₂,e₃,...,e_m}，其中第l个专家子网络的输出向量e_l∈R^ne×he，ne、he分别为专家子网络输出隐藏层的维度。

作为一个实施例，此处采用m个结构相同但相互独立的双层LSTM网络作为多专家网络模块，对于第l个专家子网络，输出为：

其中，ne、he分别为专家子网络隐层维度。整个多专家网络模块的输出为：

E＝[e¹，e²，...e^l，...，e^m]∈R^m×ne×he。

步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量，所述门控单元与下游任务一一对应，所述多任务门控网络输出向量的维度与专家子网络的数量一致。

具体的，将传感器特征张量v_inp输入门控网络，对于每个任务i，有相对独立的门控单元gateⁱ。

作为一个实施例，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第i个任务，相应的门控网络中的门控单元输出向量为：

其中，分别为第i个任务的门控单元中，第一层与第二层的网络参数矩阵；b_layer1∈R^n×g、b_layer2∈R^n×m为相应的偏置项；此处g为门控网络的隐藏单元大小，m为专家子网络的数量。

步骤S3：对于每个任务，结合对应多任务门控网络的输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量。

具体的，通过多任务门控网络对多专家网络模块的输出作混合，对于第i个任务，计算得到相应的混合专家网络模块的编码器张量：

步骤S4：将步骤S3计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。

具体的，将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出yⁱ，模型同时计算并输出k个任务的结果{y¹,y²,...,y^k}。

特别地，作为一个实施例，此处设备异常状态识别任务T₁为二分类任务，预测值为0或1，分别代表“否”与“是”。剩余寿命检测任务T₂为回归任务，对于任务T₁，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：

其中，分别为任务T₁解码器中三个全连接层相应的权重；对于剩余寿命检测任务T₂，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数：

其中，分别为任务T₂解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为剩余使用寿命时常的数值。

其中，使用反向传播进行模型训练，同时对网络参数进行更新，各个任务联合优化：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异。最后，将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内。可选的，所述加权求和中，各任务损失函数的系数可以人工设定。作为一个实施例：任务一中，预测值y¹与真实值对比；任务二中，预测值y²与真实值/>对比。两个任务分别采用交叉熵损失函数L_cross以及均方根损失函数L_MSE作为目标函数，最终的目标函数为：

L_total＝L_cross+αL_MSE

其中，α为人工设定的超参数。采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。训练完成后，得到训练好的多任务预测性维护模型。

然后，将训练好的多任务预测性维护模型，对未标注的传感器数据、设备上下文数据作端到端的多目标预测，同时输出设备异常识别、剩余使用寿命的目标值，实现预测性维护功能。

综上，本发明方法采用编解码器结构：编码器部分采用多专家网络来提取传感器数据中丰富的数据模式，解码器为多个子任务相应的网络模块；多个任务通过共用同一组多专家网络，可以减小计算成本、提升计算效率；每个任务通过相应的门控网络的门控单元对多专家网络的输出作加权平均，可以灵活地适应差异较大的预测性维护任务。

与前述一种基于多专家混合网络的多任务预测性维护方法的实施例相对应，本发明还提供了一种基于多专家混合网络的多任务预测性维护装置的实施例。

参见图3，本发明实施例提供的一种基于多专家混合网络的多任务预测性维护装置，包括一个或多个处理器，用于实现上述实施例中的一种基于多专家混合网络的多任务预测性维护方法。

本发明的一种基于多专家混合网络的多任务预测性维护方法的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种基于多专家混合网络的多任务预测性维护装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于多专家混合网络的多任务预测性维护方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多专家混合网络的多任务预测性维护方法，其特征在于，包括以下步骤：

步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量；

步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量；

步骤S3：对于每个任务，结合对应的多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；

步骤S4：将计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值；

所述步骤S1具体包括以下子步骤：

步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量v_inp∈R^n×h，其中n是传感器数据时间窗口大小，h为传感器特征张量的隐藏层维度；

步骤S12：将传感器特征张量v_inp作为多专家网络模块的输入，通过所述多专家网络模块中的m个专家子网络，计算得到m个维度一致的专家子网络张量{e₁,e₂,e₃,...,e_m}，其中第l个专家子网络的输出向量e_l∈R^ne×he，ne、he分别为专家子网络输出隐藏层的维度；

所述多专家网络模块采用m个结构相同但相互独立的双层LSTM网络，对于第l个专家子网络，输出为：

其中，ne、he分别为专家子网络隐层维度，整个多专家网络模块的输出为：

E＝[e¹，e²，...e^l，...，e^m]∈R^m×ne×he；

所述步骤S2具体为：将传感器特征张量v_inp输入多任务门控网络，对于每个任务i，有相对独立的门控单元gateⁱ，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第i个任务，相应的多任务门控网络中的门控单元输出向量为：

其中，分别为第i个任务的门控单元中，第一层与第二层的网络参数矩阵；b_layer1∈R^n×g、b_layer2∈R^n×m为相应的偏置项；此处g为门控网络的隐藏单元大小，m为专家子网络的数量；

所述步骤S3具体为：通过多任务门控网络对多专家网络模块的输出作混合，对于第i个任务，计算得到相应的混合专家网络模块的编码器张量：

所述步骤S4具体为：将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出yⁱ，通过多任务预测性维护模型同时计算并输出k个任务的结果{y¹,y²,...,y^k}。

2.如权利要求1所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述传感器数据是一个2D时间序列矩阵：X＝[x¹，x²，...，x^t，...，xⁿ]，X∈R^n×P其中每列是一个时间步上的数据，P为传感器数量，对于每个时间步：

X中每行是单个传感器在时间窗口内采集到的数据，为第q个传感器在时刻t的读数；对于传感器q，在所选时间窗口内的时间序列为：

3.如权利要求2所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述预处理神经网络模块采用单层的LSTM网络，传感器数据X输入到LSTM网络，计算得到传感器特征张量为v_inp∈R^n×h，其中h是LSTM网络层输出张量隐藏层的维度。

4.如权利要求1所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述k个任务中，当任务T₁为二分类任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：

其中，W₁ ¹、W₂ ¹、W₃ ¹分别为任务T₁解码器中三个全连接层相应的权重；

当任务T₂为回归任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数，表达式如下：

其中，W₁ ²、W₂ ²、W₃ ²分别为任务T₂解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为回归任务的结果数值。

5.如权利要求4所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述多任务预测性维护模型的训练使用反向传播方式，对模型的网络参数进行更新，各个任务联合优化，具体为：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异；然后将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内；其中，所述加权求和中，各任务损失函数的系数通过人工设定，采用交叉熵损失函数L_cross以及均方根损失函数L_MSE作为目标函数，最终的目标函数为：

L_total＝L_cross+αL_MSE

其中，α为人工设定的超参数，采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。