CN113159126A - 基于通用域适应的工业物联网设备故障诊断方法 - Google Patents

Abstract

本发明提供了一种基于通用域适应的的工业物联网设备故障诊断方法，首先，在样本权重学习阶段，根据设计的可迁移性度量为输入的监测数据样本赋予相应的权重，权重表示该样本属于源域和目标域的公共标签集的可能性；其次，在加权对抗训练阶段，利用最小最大博弈有效的匹配源域和目标域公共类别样本的分布，同时得到在目标域上具有鲁棒性的分类器；最后，在目标域故障分类阶段，判断样本类别属于公共标签集或目标域私有标签集，从而将样本归为源域标签集中的某一类或标记为未知类别。本发明提高了整体诊断模型的泛化能力，从而保证了工业监测中健康状态判别的准确性和实时性。

Description

基于通用域适应的工业物联网设备故障诊断方法

技术领域

本发明涉及工业物联网中故障检测技术领域，具体涉及一种基于通用域适应的工业设备故障诊断方法。

背景技术

随着万物互联的概念出现，物联网技术已渗透到医疗、交通、安全、工业制造等生活的各个方面。在现代制造业务多元化的环境下，工业设备运行工况繁杂多变，恶劣的运行条件更增加了设备性能退化失效的速率和发生故障的概率。为满足传统制造系统向适应现代工业革命的系统过渡的发展需求，具有监控、感知能力的各种控制传感器已被部署到设备的各个组件上，结合传感器收集的状态数据，使用工业物联网技术构建数据驱动的故障诊断模型实现工业设备的实时健康状态监测已成为了工业4.0的主要研究方向之一。

现有的故障诊断方法已经开始关注工业4.0时代下的海量数据处理需求，利用深度学习的自动提取特征和高上限的数据处理能力形成的诊断方案已能初步满足实时性需求；且考虑到深度学习方法的数据密集型特性，尤其是对标签的要求限制了其实际应用，很多研究者将域自适应思想引入了工业故障诊断任务中，结合不同运行条件、工作环境、故障程度的相关源域数据，利用可迁移的知识构建出在目标域上具有相当强的泛化性能的诊断模型。

虽然上述研究放宽了对目标域数据标签的需求，但仍存在着一些限制：(1)现有的方法大多假设源域和目标域具有相同的标签空间，这在实际工业应用中同样难以满足，当源域和目标域的标签空间并不完全相同时，这些方法将由于负迁移而导致性能大幅下降。(2)单一通过置信度判别源域和目标域的公共类别是不够准确的(3)可用的有标签源域数据并不一定是充足的、类别平衡的，源域数据的全面性和平衡性会对构建的模型性能有很重要的影响。针对上述问题，本发明基于通用域自适应，在不对标签空间作出任何假设的前提下，最大限度地从源域数据中提取有价值的信息，构建出可在目标域上泛化的故障诊断网络。

发明内容

本发明提供了一种基于通用域适应的的工业物联网设备故障诊断方法，包括如下步骤：首先，在样本权重学习阶段，根据设计的可迁移性度量为输入的监测数据样本赋予相应的权重，权重表示该样本属于源域和目标域的公共标签集的可能性；其次，在加权对抗训练阶段，利用最小最大博弈有效的匹配源域和目标域公共类别样本的分布，同时得到在目标域上具有鲁棒性的分类器；最后，在目标域故障分类阶段，判断样本类别属于公共标签集或目标域私有标签集，从而将样本归为源域标签集中的某一类或标记为未知类别。

本发明从数据层面弱化对源域信息的品质要求，放宽对样本类别平衡的限制，并进一步摆脱有关标签空间先验知识的依赖，提高了整体诊断模型的泛化能力，从而保证了工业监测中健康状态判别的准确性和实时性。具体步骤如下：

步骤一：样本权重学习

为了有效迁移源域的可用知识，避免盲目迁移造成的负迁移，根据设计的多种不确定量，为输入的监测数据赋予相应的权重，其中源域样本权重为类别级权重，目标域样本由于缺乏标签，赋予样本级权重，该样本级权重代表对应样本属于源域和目标域的公共标签集的可能性，即可迁移性的度量。

其中目标域样本级权重w^t由多种互补的不确定量构成，包括熵w_e、域相似性w_s、置信度w_c和不一致性w_d，计算公式如下：

对于源域样本的权重，由于目标域样本级权重能够准确地区分目标域中私有标签集数据和公共标签集数据，并且公共标签集的数据应该在某一个公共类别上具有很高的概率，因此可对目标域样本的预测结果进行求和，来计算源域各类别的权重，该类别级权重仅对源域中属于公共标签集的类别来说很高。

其中y^t表示输入目标域无标签样本后分类器输出的概率分布，x表示输入的样本，X_t表示目标域的样本空间，此处分类器采用softmax分类器。

类似地，源域的类别级权重可以有效的区分源域中的私有标签集和公共标签集，并赋予公共标签集的类别较高的权重，避免盲目的迁移无用知识。

为计算所述的多个不确定量，构造两个初始化不同但结构相同的分类器G₁，G₂和一个辅助域判别器D′，均不参与对抗训练，其中辅助域判别器用源域有标签数据和目标域无标签数据进行训练，分类器用源域有标签的数据进行充分训练，因此辅助域判别器可以准确区分源域样本和目标域样本，而两个独立的分类器都能较好的对源域数据进行分类。损失函数如下：

L(G_i)＝E_(x,y)～pL(y,G_i(F(x))) (3)

L(D′)＝-E_x～plogD′(F(x))-E_x～qlog(1-D′(F(x)) (4)

其中，G_i(i＝1,2)表示两个独立的分类器，D′表示辅助域判别器，F表示特征提取器，E表示数学期望，x表示输入样本，y表示样本对应的标签，p表示源域数据的分布，q表示目标域数据的分布，损失L采用标准交叉熵损失。对于目标域私有标签集中的样本，初始化不同的两个分类器很可能做出不同的预测。因为两个独立的分类器犯相同错误的概率很低，即不同的分类器错误地、巧合地将样本预测到同一类中。不一致性越高，该目标域样本属于公共标签集的概率越低，属于目标域私有标签集的概率越高。

因此，权利要求2所述的各不确定量计算公式如下：

w_s(x^t)＝d(x^t) (7)

其中，

表示第i个分类器对该目标域样本做出的预测，

表示第i个分类器预测该目标域样本属于第j类的概率，d(x^t)指对应样本的域判别器输出，max()表示选取预测概率最大的一项。同时通过最小-最大规范化将上述不确定量统一在[0,1]内，C^s表示源域的标签集。

步骤二：加权对抗训练

构建整体诊断网络，，同时依据样本权重学习模块输出的各样本的可迁移性度量，为不同样本在训练过程中所做的贡献进行重要性分配，公共标签集中的样本在训练中具有更高的权重，从而有效的匹配源域和目标域公共类别样本的分布，进一步采用对抗训练的方式优化整体诊断网络。

首先构建的诊断网络中包括特征提取器F、域判别器D、分类器G等网络模块。样本输入特征提取器获得高维特征，并馈入域判别器和分类器当中；域判别器根据输入的特征输出域相似性，判断输入样本属于源域还是目标域；同时分类器根据输入的特征输出基于源域类别的伪概率向量判断样本的具体类别。

此处分类器网络不单使用有标签的源域数据，为了最大限度利用未标记的数据，采用了伪标签策略，同时为了避免负迁移，仅对具有可迁移性度量高于某个阈值的样本使用伪标签，分类器网络的损失函数如下：

其中，G表示分类器网络，F表示特征提取器网络，w_α表示设定的阈值，γ为超参数，损失L采用标准交叉熵损失。

注意阈值w_α(t)为动态阈值，训练初期将阈值设置为较高的值，随着训练的进行，网络可对样本进行更好的分类，因此可以进一步降低阈值，该阈值具体公式如下：

其中t表示当前训练代数，T表示训练总迭代数，λ为常数，w₀为超参数，用于判断样本是否属于公共标签集。考虑源域有标签样本可能存在类别不平衡情况，在分类原损失函数的基础上添加类别平衡项，修改后分类器损失函数如下：

域判别器网络对抗地匹配源域和目标域的公共标签集中样本的特征分布，通过在损失函数中添加可迁移度量来区分公共标签集样本和私有标签集样本，避免盲目的特征对齐。域判别器网络损失函数如下：

L(D)＝-E_x～pw^s(x)logD(F(x))-E_x～qw^t(x)log(1-D(F(x)) (12)

其中D表示对抗训练中的域判别器网络。

因此在训练过程中，整体诊断网络的优化目标如下：

其中λ为超参数，权衡提取特征的可迁移性和类别可判别性。

步骤三：目标域故障分类

根据输入的目标域待诊断样本，结合网络输出的该样本的可迁移性度量，判断样本类别属于公共标签集或目标域私有标签集，从而将样本归为源域标签集中的某一类或标记未知类别，分类器在步骤二中加权对抗训练完成，且考虑源域样本分布不平衡的弥补机制，进一步输出当前设备的健康状态。

该步骤基于步骤一样本权重学习和步骤二加权对抗训练构建的网络，在部署阶段，输入的待诊断样本由特征提取器网络提取特征，并输入权重学习网络得到相应的目标域样本集权重w^t，将其与预设的超参数w₀比较，判断是否属于源域和目标域的公共标签集；如果属于目标域私有标签集，将样本标记为未知；如果属于公共标签集，则分类器输出概率分布中最大值对应的类别，具体如下：

本发明从数据层面弱化对源域信息的品质要求，放宽对样本类别平衡的限制，并进一步摆脱有关标签空间先验知识的依赖，提高了整体诊断模型的泛化能力，从而保证了工业监测中健康状态判别的准确性和实时性。

附图说明

图1是本发明的应用场景；

图2是本发明的网络架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理做详细的描述。

实验例：

结合工业物联网中的数据分析为例，在轴机械臂等设备上安装传感器，收集轴承的振动信号，在本地计算机上建立好模型，实时接收传感器的数据进行检测和诊断。收集不同工作条件(负载、转速、噪声)下各健康状态的轴承数据，并构造标签空间不一致的源域和目标域验证算法性能。

如图1所示，传统诊断方法在面对目标域相对源域产生的域偏移时，性能会大幅度下降，本发明通过准确的衡量样本的可迁移性，寻找源域和目标域的公共标签集样本，并通过对抗性迁移有效的传递有用知识进行迁移。

步骤一：样本权重学习

如图2所示，为输入的监测数据赋予相应的权重，其中源域样本权重为类别级权重，目标域样本由于缺乏标签，赋予样本级权重，该样本级权重代表对应样本属于源域和目标域的公共标签集的可能性，即可迁移性的度量。

样本首先输入特征提取器F提取特征，并将特征馈入到辅助域判别D′和辅助分类器G₁,G₂中，用于计算目标域样本级权重w^t，包括多种互补的不确定量构成：熵w_e、域相似性w_s、置信度w_c和不一致性w_d。

特征同时馈入分类器G，对目标域样本的预测结果进行求和，来计算源域各类别的权重，该类别级权重仅对源域中属于公共标签集的类别来说很高。

其中两个初始化不同但结构相同的辅助分类器G₁，G₂和一个辅助域判别器D′，均不参与对抗训练，辅助域判别器用源域有标签数据和目标域无标签数据进行训练，分类器用源域有标签的数据进行充分训练，因此辅助域判别器可以准确区分源域样本和目标域样本，而两个独立的分类器都能较好的对源域数据进行分类。

步骤二：加权对抗训练

在加权对抗训练阶段，样本同样输入特征提取器获得高维特征，并馈入域判别器D和分类器G当中；为了最大限度利用未标记的数据，采用了伪标签策略，同时为了避免负迁移，仅对具有可迁移性度量高于某个阈值的样本使用伪标签。

域判别器网络对抗地匹配源域和目标域的公共标签集中样本的特征分布，通过在损失函数中添加可迁移度量来区分公共标签集样本和私有标签集样本，避免盲目的特征对齐。

分类器网络损失梯度反向传播馈入特征提取器中，促使提取的特征具有更强的类别可分性，同时域判别器通过梯度反转层GRL参与对抗训练。对抗训练的目标函数如下：

步骤三：目标域故障分类

在部署阶段，输入的待诊断样本由特征提取器网络提取特征，并输入权重学习网络得到相应的目标域样本集权重w^t，将其与预设的超参数w₀比较，判断是否属于源域和目标域的公共标签集；如果属于目标域私有标签集，将样本标记为未知；如果属于公共标签集，则分类器输出概率分布中最大值对应的类别，进而判断此时机器的健康状态，具体公式如下：

以上描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于通用域适应的的工业物联网设备故障诊断方法，其特征在于，包含如下步骤：

步骤一：样本权重学习

为了有效迁移源域的可用知识，避免盲目迁移造成的负迁移，根据设计的多种不确定量，为输入的监测数据赋予相应的权重，其中源域样本权重为类别级权重，目标域样本由于缺乏标签，赋予样本级权重，样本级权重代表对应样本属于源域和目标域的公共标签集的可能性，即可迁移性的度量；

步骤二：加权对抗训练

构建整体诊断网络，同时依据样本权重学习模块输出的各样本的可迁移性度量，为不同样本在训练过程中所做的贡献进行重要性分配，公共标签集中的样本在训练中具有更高的权重，从而有效的匹配源域和目标域公共类别样本的分布，进一步采用对抗训练的方式优化整体诊断网络；

步骤三：目标域故障分类

根据输入的目标域待诊断样本，结合网络输出的该样本的可迁移性度量，判断样本类别属于公共标签集或目标域私有标签集，从而将样本归为源域标签集中的某一类或标记未知类别，分类器在步骤二中加权对抗训练完成，且考虑源域样本分布不平衡的弥补机制，进一步输出当前设备的健康状态。

2.根据权利要求1所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：所述步骤一中的目标域的样本级权重w^t由多种互补的不确定量构成，包括熵w_e、域相似性w_s、置信度w_c和不一致性w_d，计算公式如下：

对目标域样本的预测结果进行求和，来计算源域各类别的权重：

其中y^t表示输入目标域无标签样本后分类器输出的概率分布，x表示输入的样本，X_t表示目标域的样本空间，所述分类器采用softmax分类器；

计算所述的不一致性，构造两个初始化不同但结构相同的分类器G₁，G₂和一个辅助域判别器D′，均不参与对抗训练，其中辅助域判别器用源域有标签数据和目标域无标签数据进行训练，分类器用源域有标签的数据进行充分训练，因此辅助域判别器可以准确区分源域样本和目标域样本，而两个独立的分类器都能较好的对源域数据进行分类，损失函数如下：

L(G_i)＝E_(x,y)～pL(y,G_i(F(x))) (3)

L(D′)＝-E_x～plogD′(F(x))-E_x～qlog(1-D′(F(x)) (4)

其中，G_i(i＝1,2)表示两个独立的分类器，D′表示辅助域判别器，F表示特征提取器，E表示数学期望，x表示输入样本，y表示样本对应的标签，p表示源域数据的分布，q表示目标域数据的分布，损失L采用标准交叉熵损失；

所述的各不确定量计算公式如下：

w_s(x^t)＝d(x^t) (7)

其中，

表示第i个分类器对该目标域样本做出的预测，

表示第i个分类器预测该目标域样本属于第j类的概率，d(xt)指对应样本的域判别器输出，max()表示选取预测概率最大的一项，同时通过最小-最大规范化将所述不确定量统一在[0,1]内，C^s表示源域的标签集。

3.根据权利要求1所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：所述步骤二中构建的诊断网络包括特征提取器F、域判别器D、分类器G网络模块；

样本输入特征提取器获得高维特征，并馈入域判别器和分类器中；域判别器根据输入的特征输出域相似性，判断输入样本属于源域还是目标域；同时分类器根据输入的特征输出基于源域类别的伪概率向量判断样本的具体类别。

4.根据权利要求3所述的基于通用域适应的的工业物联网设备故障诊断方法其特征在于：

所述分类器网络不单使用有标签的源域数据，为了最大限度利用未标记的数据，采用了伪标签策略，同时为了避免负迁移，仅对具有可迁移性度量高于某个阈值的样本使用伪标签，分类器网络的损失函数如下：

其中，G表示分类器网络，F表示特征提取器网络，w_α表示设定的阈值，γ为超参数，损失L采用标准交叉熵损失；

所述域判别器网络对抗地匹配源域和目标域的公共标签集中样本的特征分布，通过在损失函数中添加可迁移度量来区分公共标签集样本和私有标签集样本，避免盲目的特征对齐；域判别器网络损失函数如下：

L(D)＝-E_x～pw^s(x)logD(F(x))-E_x～qw^t(x)log(1-D(F(x)) (10)

其中D表示对抗训练中的域判别器网络。

5.根据权利要求3所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：所述的分类器网络伪标签策略设置的阈值w_α(t)为动态阈值，具体公式如下：

其中t表示当前训练代数，T表示训练总迭代数，w₀为超参数，用于判断样本是否属于公共标签集。

6.根据权利要求3所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：考虑源域有标签样本可能存在类别不平衡情况，在分类原损失函数的基础上添加类别平衡项，修改L₁后分类器损失函数如下：

7.根据权利要求1所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：在训练过程中，整体诊断网络的优化目标如下：

其中λ为超参数，权衡提取特征的可迁移性和类别可判别性。

8.根据权利要求1所述的基于通用域适应的的工业物联网设备故障诊断方法，其特征在于：所述目标域故障分类基于步骤一样本权重学习和步骤二加权对抗训练构建的网络，在部署阶段，输入的待诊断样本由特征提取器网络提取特征，并输入权重学习网络得到相应的目标域样本集权重w^t，将其与预设的超参数w₀比较，判断是否属于源域和目标域的公共标签集；如果属于目标域私有标签集，将样本标记为未知；如果属于公共标签集，则分类器输出概率分布中最大值对应的类别，具体如下：

Images