CN115409217A - 一种基于多专家混合网络的多任务预测性维护方法 - Google Patents

一种基于多专家混合网络的多任务预测性维护方法 Download PDF

Info

Publication number
CN115409217A
CN115409217A CN202211352910.7A CN202211352910A CN115409217A CN 115409217 A CN115409217 A CN 115409217A CN 202211352910 A CN202211352910 A CN 202211352910A CN 115409217 A CN115409217 A CN 115409217A
Authority
CN
China
Prior art keywords
expert
network
task
tensor
predictive maintenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211352910.7A
Other languages
English (en)
Other versions
CN115409217B (zh
Inventor
刘通
郏维强
陈志伟
马树楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211352910.7A priority Critical patent/CN115409217B/zh
Publication of CN115409217A publication Critical patent/CN115409217A/zh
Application granted granted Critical
Publication of CN115409217B publication Critical patent/CN115409217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于多专家混合网络的多任务预测性维护方法，包括：步骤S1：将设备的传感器数据处理成传感器特征张量，输入多专家网络模块，计算得到相应的专家子网络张量；步骤S2：将传感器特征张量输入多任务门控网络，得到多任务门控网络输出向量；步骤S3：对于每个任务，结合对应多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；步骤S4：将计算得到的编码器张量输入任务相关的解码器网络，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。本发明解决了错误传递问题，可以缓解跷跷板效应，减小预测性维护任务的计算成本，提升预测效率。

Description

一种基于多专家混合网络的多任务预测性维护方法
技术领域
本发明涉及工业设备预测性维护领域，特别涉及一种基于多专家混合网络的多任务预测性维护方法。
背景技术
在工业领域，关键设备的故障会带来重大财产和生命安全的威胁，因此有必要在设备发生故障之前作出合适地维护操作。传统的设备维护方法是基于专家意见、领域经验，制定出设备维护与部件更换周期。这种方法虽然可以做到一定程度的防患于未然，但相对固定的维护周期缺乏灵活性，容易造成人工资源和配件的浪费。随着工业传感器的广泛应用，可以收集到大量关键设备的监控数据。数据驱动的预测性维护技术应运而生，通过对传感器数据的实时监控，可实现在设备失效前及时的采取维护作业。
预测性维护任务的目的是为专业人员提供辅助决策信息，以便采取相应的应对动作。因此，预测性维护任务除了要识别设备当前是否有异常之外，通常还需要提供异常原因、设备的磨损趋势、预计剩余使用寿命等信息。通常的方法是先将设备的运行状态分为几种区间，如正常区、磨损区、异常区等。先通过分类模型判断设备所处的运行区间，如果进入磨损区，则进一步地调用预计剩余使用寿命模型，对设备可能出现问题的时间作预估。这类方法中各个任务之间是相互独立的，会存在如下问题：（1）各任务之间存在次序关系，容易出现错误传递的问题，即前一步的预测错误会直接导致后续任务失效（2）不方便对各个任务作联合优化。因此，需要一种端到端的多任务模型，可以并行的处理、联合优化预测性维护中的各项子任务。
另外，监控设备的传感器类型多样，监控的物理量、数据采集频率都有差异。比如同一套设备可能采用震动传感器、压力传感器、温度传感器，这些传感器还可能是以不同的频率采集数据的。工业领域的多传感器数据包含着丰富的信息。传统预测性维护模型采用单一的神经网络结构对传感器特征进行提取，对数据中蕴含的丰富模式表达能力不足。
对于预测性维护领域的多任务问题，通常采用“底共享”（Shared-bottom）结构，即多个任务共用同一个特征提取网络模块，不同的任务通过各自的任务子网络实现。但是这种方法存在以下不足：对于相关性较弱的不同任务，容易出现“跷跷板效应”， 即模型通过牺牲其他任务来提升部分任务效果，与单独优化各项任务相比，多个任务无法同时提升效果。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多专家混合网络的多任务预测性维护方法，对于预测性维护场景的多个任务，可以实现联合优化且同时输出目标结果，其具体技术方案如下：
一种基于多专家混合网络的多任务预测性维护方法，包括以下步骤：
步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量；
步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量；
步骤S3：对于每个任务，结合对应的多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；
步骤S4：将计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。
进一步的，所述步骤S1具体包括以下子步骤：
步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量
Figure 100002_DEST_PATH_IMAGE002
，其中
Figure 100002_DEST_PATH_IMAGE004
是传感器数据时间窗口大小，
Figure 100002_DEST_PATH_IMAGE006
为传感器特征张量的隐藏层维度；
步骤S12：将传感器特征张量
Figure 100002_DEST_PATH_IMAGE008
作为多专家网络模块的输入，通过所述专多家网络模块中的
Figure 100002_DEST_PATH_IMAGE010
个专家子网络，计算得到
Figure 771374DEST_PATH_IMAGE010
个维度一致的专家子网络张量 {
Figure 100002_DEST_PATH_IMAGE012
,
Figure 100002_DEST_PATH_IMAGE014
,
Figure 100002_DEST_PATH_IMAGE016
,...,
Figure 100002_DEST_PATH_IMAGE018
}，其中第
Figure 100002_DEST_PATH_IMAGE020
个专家子网络的输出向量
Figure 100002_DEST_PATH_IMAGE022
，
Figure 100002_DEST_PATH_IMAGE024
、
Figure 100002_DEST_PATH_IMAGE026
分别为专家子网络输出隐藏层的维度。
进一步的，所述传感器数据是一个2D时间序列矩阵：
Figure 100002_DEST_PATH_IMAGE028
其中每列是一个时间步上的数据，
Figure 100002_DEST_PATH_IMAGE030
为传感器数量，对于每个时间步：
Figure 100002_DEST_PATH_IMAGE032
Figure 100002_DEST_PATH_IMAGE034
中每行是单个传感器在时间窗口内采集到的数据，
Figure 100002_DEST_PATH_IMAGE036
为第
Figure 100002_DEST_PATH_IMAGE038
个传感器在时刻
Figure 100002_DEST_PATH_IMAGE040
的读数；对于传感器
Figure 983787DEST_PATH_IMAGE038
，在所选时间窗口内的时间序列为：
Figure 100002_DEST_PATH_IMAGE042
。
进一步的，所述预处理神经网络模块采用单层的LSTM网络，传感器数据
Figure 100002_DEST_PATH_IMAGE044
输入到LSTM网络，计算得到传感器特征张量为
Figure 901540DEST_PATH_IMAGE002
，其中
Figure 765591DEST_PATH_IMAGE006
是LSTM网络层输出张量隐藏层的维度。
进一步的，所述多专家网络模块采用
Figure 48805DEST_PATH_IMAGE010
个结构相同但相互独立的双层LSTM网络，对于第
Figure 340109DEST_PATH_IMAGE020
个专家子网络，输出为：
Figure 100002_DEST_PATH_IMAGE046
其中，
Figure 100002_DEST_PATH_IMAGE048
、
Figure 100002_DEST_PATH_IMAGE050
分别为专家子网络隐层维度，整个多专家网络模块的输出为：
Figure 100002_DEST_PATH_IMAGE052
。
进一步的，所述步骤S2具体为：将传感器特征张量
Figure 100002_DEST_PATH_IMAGE054
输入多任务门控网络，对于每个任务
Figure 100002_DEST_PATH_IMAGE056
，有相对独立的门控单元
Figure 100002_DEST_PATH_IMAGE058
，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第
Figure 357874DEST_PATH_IMAGE056
个任务，相应的多任务门控网络中的门控单元输出向量为：
Figure 100002_DEST_PATH_IMAGE060
其中，
Figure 100002_DEST_PATH_IMAGE062
、
Figure 100002_DEST_PATH_IMAGE064
分别为第
Figure 100002_DEST_PATH_IMAGE066
个任务的门控单元中，第一层与第二层的网络参数矩阵；
Figure 100002_DEST_PATH_IMAGE068
、
Figure 100002_DEST_PATH_IMAGE070
为相应的偏置项；此处
Figure 100002_DEST_PATH_IMAGE072
为门控网络的隐藏单元大小，
Figure 304577DEST_PATH_IMAGE010
为专家子网络的数量。
进一步的，所述步骤S3具体为：通过门控网络对多专家网络模块的输出作混合，对于第
Figure 442298DEST_PATH_IMAGE066
个任务，计算得到相应的混合专家网络模块的编码器张量：
Figure 100002_DEST_PATH_IMAGE074
。
进一步的，所述步骤S4具体为：将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出
Figure 100002_DEST_PATH_IMAGE076
，通过多任务预测性维护模型同时计算并输出
Figure 100002_DEST_PATH_IMAGE078
个任务的结果{
Figure 100002_DEST_PATH_IMAGE080
,
Figure 100002_DEST_PATH_IMAGE082
, ...,
Figure 100002_DEST_PATH_IMAGE084
}。
进一步的，所述
Figure 248711DEST_PATH_IMAGE078
个任务中，当任务
Figure 100002_DEST_PATH_IMAGE086
为二分类任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：
Figure 100002_DEST_PATH_IMAGE088
其中，
Figure 100002_DEST_PATH_IMAGE090
分别为任务
Figure 143986DEST_PATH_IMAGE086
解码器中三个全连接层相应的权重；
当任务
Figure 100002_DEST_PATH_IMAGE092
为回归任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数，表达式如下：
Figure 100002_DEST_PATH_IMAGE094
其中，
Figure 100002_DEST_PATH_IMAGE096
分别为任务
Figure 956696DEST_PATH_IMAGE092
解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为回归任务的结果数值。
进一步的，所述多任务预测性维护模型的训练使用反向传播方式，对模型的网络参数进行更新，各个任务联合优化，具体为：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异；然后将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内；其中，所述加权求和中，各任务损失函数的系数通过人工设定，采用交叉熵损失函数
Figure 100002_DEST_PATH_IMAGE098
以及均方根损失函数
Figure 100002_DEST_PATH_IMAGE100
作为目标函数，最终的目标函数为：
Figure 100002_DEST_PATH_IMAGE102
其中，
Figure 100002_DEST_PATH_IMAGE104
为人工设定的超参数，采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。
有益效果：（1）可以实现端到端的训练与优化，解决了错误传递问题；（2）采用多任务混合专家模型，各个任务可以做到联合优化，同时计算并输出目标结果；（3）编码器采用多专家网络结构，不同专家子网络负责捕捉特定的数据模型，具有更强的表达能力；（4）每个任务靠各自相对独立的门控模块调整多专家网络的输出，可以缓解跷跷板效应；（5）任务间通过共用多专家网络，可以减小预测性维护任务的计算成本， 提升预测效率。
附图说明
图1为本发明的一种基于多专家混合网络的多任务预测性维护方法流程示意图；
图2为本发明方法的主要流程示意图；
图3为本发明实施例的一种基于多专家混合网络的多任务预测性维护装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1和图2所示，本发明的一种基于多专家混合网络的多任务预测性维护方法，包括以下步骤：
步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量。
所述步骤S1具体包括以下子步骤：
步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量
Figure 89868DEST_PATH_IMAGE002
，其中
Figure 988554DEST_PATH_IMAGE004
是传感器数据时间窗口大小，
Figure 433442DEST_PATH_IMAGE006
为传感器特征张量的隐藏层维度；
更具体的，假设有
Figure 177407DEST_PATH_IMAGE030
个传感器，所选取的以
Figure 289720DEST_PATH_IMAGE004
为长度的传感器数据是一个2D时间序列矩阵：
Figure 93728DEST_PATH_IMAGE028
其中每列是一个时间步上的数据，对于每个时间步：
Figure DEST_PATH_IMAGE032A
Figure 25912DEST_PATH_IMAGE034
中每行是单个传感器在时间窗口内采集到的数据，
Figure 594075DEST_PATH_IMAGE036
为第
Figure 560894DEST_PATH_IMAGE038
个传感器在时刻
Figure 801383DEST_PATH_IMAGE040
的读数；同样的，对于传感器
Figure 955284DEST_PATH_IMAGE038
，在所选时间窗口内的时间序列为：
Figure DEST_PATH_IMAGE106
预处理神经网络模块的一个实施例是采用单层的LSTM网络：传感器数据
Figure 244314DEST_PATH_IMAGE044
输入到LSTM网络，计算得到传感器特征张量为
Figure 862377DEST_PATH_IMAGE002
，其中
Figure 273767DEST_PATH_IMAGE004
是时间窗口的大小，
Figure 180543DEST_PATH_IMAGE006
是LSTM网络层输出张量隐藏层的维度。
步骤S12：将传感器特征张量
Figure 70001DEST_PATH_IMAGE008
作为多专家网络模块的输入，通过所述多专家网络模块中的
Figure 745833DEST_PATH_IMAGE010
个专家子网络，计算得到
Figure 593704DEST_PATH_IMAGE010
个维度一致的专家子网络张量 {
Figure 722197DEST_PATH_IMAGE012
,
Figure 415346DEST_PATH_IMAGE014
,
Figure 945685DEST_PATH_IMAGE016
,...,
Figure 698877DEST_PATH_IMAGE018
}，其中第
Figure 376983DEST_PATH_IMAGE020
个专家子网络的输出向量
Figure 870894DEST_PATH_IMAGE022
，
Figure 521318DEST_PATH_IMAGE024
、
Figure 179832DEST_PATH_IMAGE026
分别为专家子网络输出隐藏层的维度。
作为一个实施例，此处采用
Figure 548497DEST_PATH_IMAGE010
个结构相同但相互独立的双层LSTM网络作为多专家网络模块，对于第
Figure 583449DEST_PATH_IMAGE020
个专家子网络，输出为：
Figure DEST_PATH_IMAGE046A
其中，
Figure 26063DEST_PATH_IMAGE048
、
Figure 855478DEST_PATH_IMAGE050
分别为专家子网络隐层维度。整个多专家网络模块的输出为：
Figure 508177DEST_PATH_IMAGE052
。
步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量，所述门控单元与下游任务一一对应，所述多任务门控网络输出向量的维度与专家子网络的数量一致。
具体的，将传感器特征张量
Figure 346820DEST_PATH_IMAGE054
输入门控网络，对于每个任务
Figure 706257DEST_PATH_IMAGE056
，有相对独立的门控单元
Figure 972153DEST_PATH_IMAGE058
。
作为一个实施例，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第
Figure 49830DEST_PATH_IMAGE056
个任务，相应的门控网络中的门控单元输出向量为：
Figure DEST_PATH_IMAGE060A
其中，
Figure 364268DEST_PATH_IMAGE062
、
Figure 840861DEST_PATH_IMAGE064
分别为第
Figure 277659DEST_PATH_IMAGE066
个任务的门控单元中，第一层与第二层的网络参数矩阵；
Figure 842633DEST_PATH_IMAGE068
、
Figure 819816DEST_PATH_IMAGE070
为相应的偏置项；此处
Figure 153845DEST_PATH_IMAGE072
为门控网络的隐藏单元大小，
Figure 761544DEST_PATH_IMAGE010
为专家子网络的数量。
步骤S3：对于每个任务，结合对应多任务门控网络的输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量。
具体的，通过多任务门控网络对多专家网络模块的输出作混合，对于第
Figure 548235DEST_PATH_IMAGE066
个任务，计算得到相应的混合专家网络模块的编码器张量：
Figure 266792DEST_PATH_IMAGE074
。
步骤S4：将步骤S3计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。
具体的，将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出
Figure 720907DEST_PATH_IMAGE076
，模型同时计算并输出
Figure 499507DEST_PATH_IMAGE078
个任务的结果{
Figure 39073DEST_PATH_IMAGE080
,
Figure 358059DEST_PATH_IMAGE082
, ...,
Figure 869943DEST_PATH_IMAGE084
}。
特别地，作为一个实施例，此处设备异常状态识别任务
Figure 616182DEST_PATH_IMAGE086
为二分类任务，预测值为0或1，分别代表“否”与“是”。剩余寿命检测任务
Figure 377464DEST_PATH_IMAGE092
为回归任务，对于任务
Figure 703403DEST_PATH_IMAGE086
，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：
Figure DEST_PATH_IMAGE088A
其中，
Figure DEST_PATH_IMAGE108
分别为任务
Figure DEST_PATH_IMAGE110
解码器中三个全连接层相应的权重；对于剩余寿命检测任务
Figure DEST_PATH_IMAGE112
，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数：
Figure DEST_PATH_IMAGE094A
其中，
Figure 676651DEST_PATH_IMAGE096
分别为任务
Figure 531475DEST_PATH_IMAGE092
解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为剩余使用寿命时常的数值。
其中，使用反向传播进行模型训练，同时对网络参数进行更新，各个任务联合优化：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异。最后，将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内。可选的，所述加权求和中，各任务损失函数的系数可以人工设定。作为一个实施例：任务一中，预测值
Figure 45633DEST_PATH_IMAGE080
与真实值
Figure DEST_PATH_IMAGE114
对比；任务二中，预测值
Figure 378525DEST_PATH_IMAGE082
与真实值
Figure DEST_PATH_IMAGE116
对比。两个任务分别采用交叉熵损失函数
Figure 865001DEST_PATH_IMAGE098
以及均方根损失函数
Figure 421884DEST_PATH_IMAGE100
作为目标函数，最终的目标函数为：
Figure DEST_PATH_IMAGE102A
其中，
Figure 626601DEST_PATH_IMAGE104
为人工设定的超参数。采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。训练完成后，得到训练好的多任务预测性维护模型。
然后，将训练好的多任务预测性维护模型，对未标注的传感器数据、设备上下文数据作端到端的多目标预测，同时输出设备异常识别、剩余使用寿命的目标值，实现预测性维护功能。
综上，本发明方法采用编解码器结构：编码器部分采用多专家网络来提取传感器数据中丰富的数据模式，解码器为多个子任务相应的网络模块；多个任务通过共用同一组多专家网络，可以减小计算成本、提升计算效率；每个任务通过相应的门控网络的门控单元对多专家网络的输出作加权平均，可以灵活地适应差异较大的预测性维护任务。
与前述一种基于多专家混合网络的多任务预测性维护方法的实施例相对应，本发明还提供了一种基于多专家混合网络的多任务预测性维护装置的实施例。
参见图3，本发明实施例提供的一种基于多专家混合网络的多任务预测性维护装置，包括一个或多个处理器，用于实现上述实施例中的一种基于多专家混合网络的多任务预测性维护方法。
本发明的一种基于多专家混合网络的多任务预测性维护方法的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明一种基于多专家混合网络的多任务预测性维护装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于多专家混合网络的多任务预测性维护方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多专家混合网络的多任务预测性维护方法，其特征在于，包括以下步骤：
步骤S1：将工业设备的传感器数据处理成传感器特征张量，输入多专家网络模块，通过多专家网络模块的每个专家子网络，计算得到相应的专家子网络张量；
步骤S2：将传感器特征张量输入多任务门控网络，使用多任务门控网络中的门控单元计算专家子网络各个专家的权重，得到多任务门控网络输出向量；
步骤S3：对于每个任务，结合对应的多任务门控网络输出向量，对多专家网络模块中各个专家子网络的输出作加权求和，计算得到每个任务的编码器张量；
步骤S4：将计算得到的每个任务的编码器张量输入任务相关的解码器网络，计算得到输出结果，再通过多个任务联合优化，同时计算并输出预测性维护场景各个子任务的目标值。
2.如权利要求1所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述步骤S1具体包括以下子步骤：
步骤S11：利用预处理神经网络模块，将输入的传感器数据转化为传感器特征张量
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE004
是传感器数据时间窗口大小，
Figure DEST_PATH_IMAGE006
为传感器特征张量的隐藏层维度；
步骤S12：将传感器特征张量
Figure DEST_PATH_IMAGE008
作为多专家网络模块的输入，通过所述专多家网络模块中的
Figure DEST_PATH_IMAGE010
个专家子网络，计算得到
Figure 253266DEST_PATH_IMAGE010
个维度一致的专家子网络张量 {
Figure DEST_PATH_IMAGE012
,
Figure DEST_PATH_IMAGE014
,
Figure DEST_PATH_IMAGE016
, ...,
Figure DEST_PATH_IMAGE018
}，其中第
Figure DEST_PATH_IMAGE020
个专家子网络的输出向量
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE026
分别为专家子网络输出隐藏层的维度。
3.如权利要求2所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述传感器数据是一个2D时间序列矩阵：
Figure DEST_PATH_IMAGE028
其中每列是一个时间步上的数据，
Figure DEST_PATH_IMAGE030
为传感器数量，对于每个时间步：
Figure DEST_PATH_IMAGE032
Figure DEST_PATH_IMAGE034
中每行是单个传感器在时间窗口内采集到的数据，
Figure DEST_PATH_IMAGE036
为第
Figure DEST_PATH_IMAGE038
个传感器在时刻
Figure DEST_PATH_IMAGE040
的读数；对于传感器
Figure 358363DEST_PATH_IMAGE038
，在所选时间窗口内的时间序列为：
Figure DEST_PATH_IMAGE042
。
4.如权利要求3所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述预处理神经网络模块采用单层的LSTM网络，传感器数据
Figure DEST_PATH_IMAGE044
输入到LSTM网络，计算得到传感器特征张量为
Figure 23831DEST_PATH_IMAGE002
，其中
Figure 450264DEST_PATH_IMAGE006
是LSTM网络层输出张量隐藏层的维度。
5.如权利要求2所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述多专家网络模块采用
Figure 653188DEST_PATH_IMAGE010
个结构相同但相互独立的双层LSTM网络，对于第
Figure 645414DEST_PATH_IMAGE020
个专家子网络，输出为：
Figure DEST_PATH_IMAGE046
其中，
Figure DEST_PATH_IMAGE048
、
Figure DEST_PATH_IMAGE050
分别为专家子网络隐层维度，整个多专家网络模块的输出为：
Figure DEST_PATH_IMAGE052
。
6.如权利要求5所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述步骤S2具体为：将传感器特征张量
Figure DEST_PATH_IMAGE054
输入多任务门控网络，对于每个任务
Figure DEST_PATH_IMAGE056
，有相对独立的门控单元
Figure DEST_PATH_IMAGE058
，其中每个门控单元由两层全连接层组成，第一层使用ReLU非线性单元激活，第二层使用Softmax函数激活，对于第
Figure 763674DEST_PATH_IMAGE056
个任务，相应的多任务门控网络中的门控单元输出向量为：
Figure DEST_PATH_IMAGE060
其中，
Figure DEST_PATH_IMAGE062
、
Figure DEST_PATH_IMAGE064
分别为第
Figure DEST_PATH_IMAGE066
个任务的门控单元中，第一层与第二层的网络参数矩阵；
Figure DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE070
为相应的偏置项；此处
Figure DEST_PATH_IMAGE072
为门控网络的隐藏单元大小，
Figure 221944DEST_PATH_IMAGE010
为专家子网络的数量。
7.如权利要求6所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述步骤S3具体为：通过多任务门控网络对多专家网络模块的输出作混合，对于第
Figure 434751DEST_PATH_IMAGE066
个任务，计算得到相应的混合专家网络模块的编码器张量：
Figure DEST_PATH_IMAGE074
。
8. 如权利要求7所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述步骤S4具体为：将混合专家网络模块的编码器张量输入到相应的任务解码器网络中，计算得到相应的输出
Figure DEST_PATH_IMAGE076
，通过多任务预测性维护模型同时计算并输出
Figure DEST_PATH_IMAGE078
个任务的结果{
Figure DEST_PATH_IMAGE080
,
Figure DEST_PATH_IMAGE082
, ...,
Figure DEST_PATH_IMAGE084
}。
9.如权利要求8所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述
Figure 625692DEST_PATH_IMAGE078
个任务中，当任务
Figure DEST_PATH_IMAGE086
为二分类任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU，最后一层为输出层，激活函数为Sigmoid函数，将结果映射到0、1两种值，表达式如下：
Figure DEST_PATH_IMAGE088
其中，
Figure DEST_PATH_IMAGE090
分别为任务
Figure 528836DEST_PATH_IMAGE086
解码器中三个全连接层相应的权重；
当任务
Figure DEST_PATH_IMAGE092
为回归任务，其对应的解码器结构由三层全连接网络构成，前两层的激活函数为ReLU函数，最后一层输出层采用线性激活函数，表达式如下：
Figure DEST_PATH_IMAGE094
其中，
Figure DEST_PATH_IMAGE096
分别为任务
Figure 601965DEST_PATH_IMAGE092
解码器中三个全连接层相应的权重，最后一层的线性激活函数将网络的预测结果映射为回归任务的结果数值。
10.如权利要求8所述的一种基于多专家混合网络的多任务预测性维护方法，其特征在于，所述多任务预测性维护模型的训练使用反向传播方式，对模型的网络参数进行更新，各个任务联合优化，具体为：分别将模型的预测值与真实值对比，以各任务相应的目标函数来描述模型预测值与真实值的差异；然后将所有任务的目标函数加权求和，得到整个模型的总目标函数，模型训练的目标为最小化上述总目标函数，或者将目标函数的值优化到某一区间内；其中，所述加权求和中，各任务损失函数的系数通过人工设定，采用交叉熵损失函数
Figure DEST_PATH_IMAGE098
以及均方根损失函数
Figure DEST_PATH_IMAGE100
作为目标函数，最终的目标函数为：
Figure DEST_PATH_IMAGE102
其中，
Figure DEST_PATH_IMAGE104
为人工设定的超参数，采用Adam优化器进行训练、更新网络参数，实现多个任务的联合优化。
CN202211352910.7A 2022-11-01 2022-11-01 一种基于多专家混合网络的多任务预测性维护方法 Active CN115409217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352910.7A CN115409217B (zh) 2022-11-01 2022-11-01 一种基于多专家混合网络的多任务预测性维护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352910.7A CN115409217B (zh) 2022-11-01 2022-11-01 一种基于多专家混合网络的多任务预测性维护方法

Publications (2)

Publication Number Publication Date
CN115409217A true CN115409217A (zh) 2022-11-29
CN115409217B CN115409217B (zh) 2023-09-26

Family

ID=84167427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352910.7A Active CN115409217B (zh) 2022-11-01 2022-11-01 一种基于多专家混合网络的多任务预测性维护方法

Country Status (1)

Country Link
CN (1) CN115409217B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390407A (zh) * 2023-12-13 2024-01-12 国网山东省电力公司济南供电公司 变电站设备的故障识别方法、系统、介质和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210860B1 (en) * 2018-07-27 2019-02-19 Deepgram, Inc. Augmented generalized deep learning with special vocabulary
CN111860787A (zh) * 2020-07-27 2020-10-30 南京工程学院 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
WO2022006329A1 (en) * 2020-06-30 2022-01-06 Google Llc Attention neural networks with conditional computation
CN114120045A (zh) * 2022-01-25 2022-03-01 北京猫猫狗狗科技有限公司 一种基于多门控混合专家模型的目标检测方法和装置
CN114491828A (zh) * 2021-12-09 2022-05-13 西安邮电大学 一种基于多门控混合专家多任务学习的复合故障诊断方法
CN114566230A (zh) * 2021-12-15 2022-05-31 中国科学院深圳先进技术研究院 一种基于多任务深度学习模型预测化合物性质的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210860B1 (en) * 2018-07-27 2019-02-19 Deepgram, Inc. Augmented generalized deep learning with special vocabulary
WO2022006329A1 (en) * 2020-06-30 2022-01-06 Google Llc Attention neural networks with conditional computation
CN111860787A (zh) * 2020-07-27 2020-10-30 南京工程学院 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
CN114491828A (zh) * 2021-12-09 2022-05-13 西安邮电大学 一种基于多门控混合专家多任务学习的复合故障诊断方法
CN114566230A (zh) * 2021-12-15 2022-05-31 中国科学院深圳先进技术研究院 一种基于多任务深度学习模型预测化合物性质的方法
CN114120045A (zh) * 2022-01-25 2022-03-01 北京猫猫狗狗科技有限公司 一种基于多门控混合专家模型的目标检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NOEMIE JAQUIER: "Tensor-variate mixture of experts for proportional myographic control of a robotic hand", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
NOEMIE JAQUIER: "Tensor-variate mixture of experts for proportional myographic control of a robotic hand", 《ROBOTICS AND AUTONOMOUS SYSTEMS》, 31 August 2021 (2021-08-31) *
陈颖: "基于交叉层级数据共享的多任务模型", 《计算机应用》 *
陈颖: "基于交叉层级数据共享的多任务模型", 《计算机应用》, vol. 42, no. 5, 10 May 2022 (2022-05-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390407A (zh) * 2023-12-13 2024-01-12 国网山东省电力公司济南供电公司 变电站设备的故障识别方法、系统、介质和设备
CN117390407B (zh) * 2023-12-13 2024-04-05 国网山东省电力公司济南供电公司 变电站设备的故障识别方法、系统、介质和设备

Also Published As

Publication number Publication date
CN115409217B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
Fan et al. A novel image-based transfer learning framework for cross-domain HVAC fault diagnosis: From multi-source data integration to knowledge sharing strategies
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN113220450B (zh) 面向云端多数据中心的负载预测方法、资源调度方法及装置
CN112052948B (zh) 一种网络模型压缩方法、装置、存储介质和电子设备
He et al. MTAD‐TF: Multivariate Time Series Anomaly Detection Using the Combination of Temporal Pattern and Feature Pattern
Dangut et al. A rare failure detection model for aircraft predictive maintenance using a deep hybrid learning approach
CN113328908B (zh) 异常数据的检测方法、装置、计算机设备和存储介质
CN114004383A (zh) 时间序列预测模型的训练方法、时间序列预测方法及装置
CN115168443A (zh) 一种基于gcn-lstm和注意力机制的异常检测方法及系统
CN114255121A (zh) 信贷风险预测模型的训练方法和信贷风险预测方法
CN114896899A (zh) 一种基于信息交互的多智能体分散式决策方法及系统
CN115409217A (zh) 一种基于多专家混合网络的多任务预测性维护方法
CN112580798A (zh) 基于多输入多输出ResNet的设备智能预警方法
KR102105951B1 (ko) 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치
CN110766231A (zh) 基于多头神经网络的犯罪预测方法及系统
DE102023103798A1 (de) Automatische fehlervorhersage in rechenzentren
JP4735973B2 (ja) 電力価格ゾーン予測方法、及び電力価格ゾーン予測プログラム
Kotenko et al. Formation of Indicators for Assessing Technical Reliability of Information Security Systems
CN116992937A (zh) 神经网络模型的修复方法和相关设备
Kuo et al. Part family formation through fuzzy ART2 neural network
CN114334029A (zh) 化合物活性预测方法、网络训练方法、装置、介质及设备
Zhou et al. Exploring Cloud Assisted Tiny Machine Learning Application Patterns for PHM Scenarios
CN112232557A (zh) 基于长短期记忆网络的转辙机健康度短期预测方法
CN115174421B (zh) 基于自监督解缠绕超图注意力的网络故障预测方法及装置
CN116521972B (zh) 信息预测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant