CN114879628A - 基于对抗局部最大均值差异的多模态工业过程故障诊断方法 - Google Patents

Abstract

本发明公开了基于对抗局部最大均值差异的多模态工业过程故障诊断方法，小样本条件下目标模态故障诊断方法的过程包括：对过程序列数据进行滑动窗口截取，获得二维故障诊断输入样本；通过卷积特征提取器提取多模态过程数据的局部动态特征；引入梯度反转层使卷积特征提取器和领域判别器形成对抗关系，以对抗的方式提取模态间领域不变特征，实现全局分布对齐；将局部最大均值差异(LMMD)度量嵌入到类标签预测器的全连接层，结合目标模态无标签样本的伪标签信息精确实现类级对齐。本发明所述的多模态故障诊断方法，在基于对抗训练的基础上引入LMMD子域对齐，来实现关键过程知识的迁移，最终有效提升跨域故障诊断性能。

Description

基于对抗局部最大均值差异的多模态工业过程故障诊断方法

技术领域

本发明涉及基于数据驱动的过程监测与故障诊断领域，特别是涉及一种针对多模态工业过程小样本条件下故障诊断提出的一种基于对抗局部最大均值差异的多模态工业过程故障诊断方法。

背景技术

故障监测与故障诊断技术对工业过程的安全生产起着至关重要的作用。生产需求的变化、外界环境的影响、产品原料的波动、过程单元设备的损坏等因素导致过程运行于不同的工况，使工业过程呈现出多模态的特点。在不同的操作模态下，过程统计特性存在较大的差异，如果使用同一个操作模态的故障诊断模型，则其他模态的故障诊断性能将显著下降。因此，为了保证多模态工业过程的安全可靠运行、提高产品质量、及时判定故障的具体类型，研究多模态工业过程的故障诊断具有积极重大的实际价值。

传统的基于多元统计的单模型过程故障诊断方法在多模态工业过程故障诊断中表现较差，这些模型仅仅能够用于具有相似过程特性的模态，由于提取的信息不充分，很容易造成大量的误分类现象。为每个操作模态分别建立故障诊断子模型，能充分拟合多模态过程中所有操作模态的数据分布，进而显著提升多模态过程的故障诊断精度。深度学习因其强大的特征提取能力被广泛应用在工业过程监测与故障诊断领域，常见的网络主要有：自编码器网络(AE)、卷积神经网络(CNN)、长短期记忆网络(LSTM)等。然而，为操作模态建立一个性能良好的深度学习故障诊断模型需要海量的过程故障数据进行训练。刚刚投产的目标模态运行时间较短，有标签故障样本收集不充分，为目标模态建立基于深度学习的故障诊断模型较为困难。当前，深度无监督领域自适应故障诊断方法能够解决目标模态有标签故障样本匮乏导致的无法有效建模的问题，该方法大致分为两类：一类是基于分布度量差异的方法，一类是基于领域对抗的方法。

基于分布度量差异的方法旨在将知识从具有大量带标签的源域迁移到未带标签的目标域，消除跨域分布之间的差异，以构建有效的目标域故障诊断模型。在基于分布度量差异的方法中，常用的分布度量有：最大均值差异(MMD)、中心矩差异(CMD)、二阶统计量匹配以及相关性对齐(CORAL)等。Lu等提出了一种基于深度卷积领域自适应的故障诊断框架，使用MMD来衡量不同领域之间的分布差异，通过最小化MMD来对齐源域和目标域之间的数据分布。Jia等提出了一种基于MMD的评估标准，从工业大数据中挖掘合适的数据用于机器预测和健康管理。然而，这些均为最小化全局差异的方法，仅仅对齐故障数据的边缘分布，过分地缩小两个领域数据的分布差异，有可能使不同类别之间的距离过近，使得故障诊断精度下降。

基于领域对抗方法的网络结构由特征提取器、类标签预测器、领域判别器三部分组成，通过引入梯度反转层，使特征提取器和领域判别器形成对抗的形式，从而在训练的过程中使得领域判别器最大化分布差异、特征提取器最小化分布差异。该方法能够学习源域和目标域数据在特征空间中的领域不变性，并利用这些领域不变特征表示消除领域间数据分布的偏移。Wang等提出了一种深度对抗领域自适应网络，使用基于Wasserstein距离的领域对抗训练从原始信号中学习域不变特征，使源模型的故障特征迁移到新的目标模型中，提高了目标域的故障诊断性能。Zhao等提出了一种基于深度多尺度对抗的机械故障诊断迁移网络，采用决策边界辅助对抗学习策略消除领域分布差异，得到了良好的跨域故障诊断性能。然而，这些基于领域对抗的方法也仅仅是领域间全局分布的对齐，目标模态故障样本可能会被从源模态学习到的决策边界错误分类，该方法并没有考虑到域间相同类别的对齐，最终导致领域在错误的方向对齐。

上述方法有其优势，但也存在待解决的问题，即如何有效利用目标模态类标签预测器预测的类别(伪标签)信息，充分利用带标签源域样本，准确地对齐相同类别的子域分布，从而增大类间距离、减少类内距离，最终得到良好的跨域故障诊断性能。

发明内容

为克服现有方法在小样本条件下目标模态领域故障诊断建模困难的问题，本发明采用一种基于对抗局部最大均值差异(ALMMD)的多模态工业过程故障诊断方法。本发明主要有以下创新点：1)使特征提取器和领域判别器形成对抗关系，充分提取源模态和目标模态的领域不变特征，从而缩小模态间全局分布的差异。2)类标签预测器全连接层中嵌入局部最大均值差异(LMMD)度量，利用目标模态的伪标签信息捕获相同类别的差异性特征，实现相同类别的精确对齐。

基于对抗局部最大均值差异(ALMMD)的多模态工业过程故障诊断方法，其特征在于包括以下步骤：

Ⅰ数据预处理；

1)采集不同稳定模态下的正常历史数据和故障样本，得到某一稳定模态的过程数据构成样本集X＝[x′₁,x′₂,…,x′_N]^T∈R^N×A，R表示实数集，该样本集包含N个采样时刻，每个采样时刻采集A个过程变量，即第k个采样时刻采集的数据为x′_k＝[x_k,1,x_k,2,…,x_k,A]。

2)对历史过程数据X进行标准化处理，处理方法为：首先计算历史数据X所有时刻上所有过程变量的均值和标准方差，其中第a个过程变量的计算公式为，

x_k,a表示第k个采样时刻的第a个过程变量的测量值；第a个过程变量的标准方差计算公式为，

然后对历史过程数据X进行标准化，其中第k个采样时刻的第a个过程变量的标准化计算公式如下：

其中，k＝1,2,…,N，a＝1,2,…,A；

上述预处理后使第k时刻每个元素的值限定在[0,1]的范围之间。

3)考虑到过程变量前后时刻的动态性和关联性有助于表征过程变量的关联关系，将采样时刻前后相邻时刻的所有观测变量作为一个整体构成二维矩阵，该二维矩阵作为一个样本输入网络进行训练。使用滑动窗对标准化后的历史数据序列进行分割，滑动窗的窗宽为h，步长为s。从第h采样时刻开始收集第一个样本，共可分割(N-h)/s个样本，第i个样本x_i的数据格式为h×A。

4)经过上述样本分割之后，得到带标签源模态样本

和无标签目标模态样本

其中，

表示领域，即模态，

和

分别表示分割后的源模态样本和目标模态样本，

表示源模态样本

的真实标签，n_S表示源模态的样本数量，n_T表示目标模态的样本数量。

II目标模态故障诊断模型训练；

1)构建基于对抗局部最大均值差异的深度领域自适应网络模型，其中包括卷积特征提取器、领域判别器、类标签预测器。卷积特征提取器的输出特征进行展平分别作为领域判别器、类标签预测器的输入，类标签预测器输出预测的具体故障类别信息，领域判别器输出领域类别信息。三部分的结构细节如下：卷积特征提取器共包括三层卷积层、一层最大池化层、三层BatchNorm层，为了防止过拟合问题，加入一层随机置零概率为0.5的Dropout层；类标签预测器由两层全连接层、两层BatchNorm层、一层随机置零概率为0.5的Dropout层以及一层Softmax输出层构成；领域判别器由两层全连接层、两层BatchNorm层以及一层Softmax输出层构成。卷积特征提取器每层的参数分别为：卷积核为3*4、步长为1、通道数为64的卷积层1；通道数为64的BatchNorm层1；最大池化层1；卷积核为2*4、步长为1、通道数为50的卷积层2；通道数为50的BatchNorm层2；卷积核为3*4、步长为1、通道数为50的卷积层3；通道数为50的BatchNorm层3；Dropout层1。类标签预测器每层的参数分别为：通道数为500的全连接层1；通道数为500的BatchNorm层1；Dropout层1；通道数为100的全连接层2；通道数为100的BatchNorm层2；通道数为12的Softmax输出层。领域判别器每层的参数分别为：通道数为500的全连接层1；通道数为500的BatchNorm层1；通道数为100的全连接层2；通道数为100的BatchNorm层2；通道数为2的Softmax输出层。

2)在源模态样本上使用损失函数L_y(θ_f,θ_y)训练整体网络模型，优化过程如下所示：

其中，类分类误差选用交叉熵损失函数，G_f(·)表示卷积特征提取器输入空间到输出空间的映射关系，G_y(·)表示类标签预测器的特征映射。θ_f、θ_y分别表示卷积特征提取器、类标签预测器的网络参数，训练前进行随机初始化，训练过程中使用随机梯度下降算法或者改进算法不断迭代更新参数值。

3)领域判别器标记源模态样本的领域标签d_i为0，目标模态样本的领域标签d_i为1，领域判别器的损失函数如下所示：

其中，θ_d表示领域判别器的网络参数，训练前进行随机初始化，训练过程中使用随机梯度下降算法或者改进算法不断迭代更新参数值。

4)结合上述步骤，最小化类标签预测器的分类损失，最大化领域判别器的判别损失，对抗训练损失函数定义如下：

其中，λ为权衡参数，一般取值为(0,1]之间，具体在训练的过程中选择确定。

5)采用局部最大均值差异(LMMD)度量对齐两个领域的子域分布，LMMD的无偏估计如下式所示：

其中，再生核Hillbert空间(RKHS)是一个由核函数构成的带有内积的完备向量空间，φ(·)表示将原始样本映射到RKHS的核函数，c表示样本属于第c类，C表示整个样本集共有C个类别。f_i ^S、

分别表示第i个源模态样本类标签预测器最后一层全连接层的特征表示、第j个目标模态样本类标签预测器最后一层全连接层的特征表示。

分别表示属于类别c的

和

的权重参数，并且权重参数满足：

样本x_i的权重参数

通过下式计算：

其中，y_ic表示向量y_i的第c个分量。对于源模态样本，通过利用真实标签

的one-hot编码计算每个样本的

目标模态样本由于没有真实标签，可以使用类标签预测器的输出

进行计算。该分布度量实质是最小化源模态和目标模态相同类别样本的距离，最大化不同类别样本的距离，从而实现类级对齐。

6)基于对抗局部最大均值差异的多模态工业过程故障诊断框架总体损失函数如下：

7)本发明使用损失函数L(θ_f,θ_y,θ_d)训练整个网络模型，利用Adam优化器对模型参数进行迭代优化，当总体损失函数趋于稳定且前后两批次误差小于0.001，或者达到最大迭代次数时，终止迭代，继而获得无标签目标模态的故障诊断模型。

III将目标模态样本输入相应的目标模态故障诊断模型，获得过程样本的具体健康状况标签，实现故障类型的准确判断。

有益效果

本发明实现了多模态工业过程小样本条件下目标模态的领域故障诊断建模，构建基于对抗局部最大均值差异的多模态工业过程故障诊断方法。在深度学习的基础上结合领域自适应知识，通过充分利用大量的有标签源模态故障信息，以及少量的无标签目标模态故障数据，自动提取源模态和目标模态相似的领域不变特征，提高跨域故障诊断性能。通过引入梯度反转层，使卷积特征提取器和领域判别器形成对抗关系，缩小模态间的边缘分布差异；类标签预测器全连接层中嵌入局部最大均值差异度量，能够减小相同类别的分布差异，增大不同类别的分布距离，实现子域的类级对齐。本发明提出的ALMMD框架可直接进行联合训练，无需分步训练，并且容易嵌入到大多数深度学习模型当中来解决跨领域学习问题。该方法显著提升小样本条件下的目标模态故障诊断精度，对工业过程的多模态故障诊断具有重要的实际应用价值。

附图说明

图1所示为本发明方法的流程图；

图2所示为滑动窗分割样本数据预处理图示；

图3所示为本发明方法的模型框架；

图4a)所示为CNN方法在mode1→mode2任务的t-SNE可视化结果；

图4b)所示为DDC方法在mode1→mode2任务的t-SNE可视化结果；

图4c)所示为DAN方法在mode1→mode2任务的t-SNE可视化结果；

图4d)所示为DSAN方法在mode1→mode2任务的t-SNE可视化结果；

图4e)所示为DANN方法在mode1→mode2任务的t-SNE可视化结果；

图4f)所示为ALMMD方法在mode1→mode2任务的t-SNE可视化结果；

图5a)所示为CNN方法在mode1→mode2任务的混淆矩阵结果；

图5b)所示为DDC方法在mode1→mode2任务的混淆矩阵结果；

图5c)所示为DAN方法在mode1→mode2任务的混淆矩阵结果；

图5d)所示为DSAN方法在mode1→mode2任务的混淆矩阵结果；

图5e)所示为DANN方法在mode1→mode2任务的混淆矩阵结果；

图5f)所示为ALMMD方法在mode1→mode2任务的混淆矩阵结果。

具体实施方式

下面结合实际过程数据对本发明进行详细说明：

田纳西-伊斯曼过程(TE过程)是一个对实际化工过程进行仿真的模型，常作为测试复杂多模态工业过程故障诊断的基准。TE过程包含五个操作单元：反应器单元、产物分离器单元、冷凝器单元、压缩机单元和汽提塔单元。本发明基于该仿真模型对多模态工业过程进行实验仿真，如表1、2所示，选取22个过程变量和19个成分变量，共41个观测变量，该过程使用原料A、C、D、E生成两个液态产品G、H。根据最优操作条件，仿真中设置了三种模态，如表3所示。

设置采样间隔为0.02小时，分别在表3中的mode1、mode2、mode3下采集正常样本和故障样本。如表4所示，故障样本的类型选择1、2、8、10、11、12、13、14、17、18、20，以此验证本发明跨域故障诊断性能。本实验共包含12种类别，并且每种类别选择800个带标签的源模态样本、200个无标签的目标模态样本作为训练集。设置六组实验，第一组实验设置mode1带标签的数据作为源模态样本，同时设置mode2无标签的数据作为目标模态样本，使用符号mode1→mode2表示这组迁移任务。其他五组迁移任务分别为mode1→mode3、mode2→mode1、mode2→mode3、mode3→mode1、mode3→mode2。

基于以上描述，按照发明内容，具体过程实现如下：

Ⅰ数据预处理；

1)本实验采集上述过程数据，每个采样时刻均采集41个观测变量。将过程数据进行标准化处理，使其中每个值限定在0～1的范围内，避免量纲对后续结果产生消极的影响。

2)对标准化后的过程数据进行分割，分割操作如图2所示，设置滑动窗的窗宽h＝20，步长s＝1，则每个样本的数据格式为20×41。

Ⅱ目标模态故障诊断模型训练；

本发明采用的模型框架如图3所示，总体由卷积特征提取器、类标签预测器以及领域判别器三部分组成，具体结构参数设置如表5所示。

总体优化目标包括类标签预测损失、领域判别损失以及局部最大均值差异损失。类标签预测损失计算如下：

领域判别损失计算如下：

整体对抗训练损失计算如下，设置λ＝0.4：

局部最大均值差异损失计算如下：

由上述步骤，总体损失计算如下：

采用Adam优化器优化模型参数，设置学习率为0.002，最大迭代次数为300次，充分利用大量有标签源模态样本和少量无标签目标模态样本学习领域不变特征，得到良好的目标模态故障诊断模型。

III将目标模态样本输入相应的目标模态故障诊断模型，获得样本的具体健康状况标签，实现故障类型的准确判断。

为了验证模型的故障诊断性能，本实验选择五种主流方法进行对比：1)直接使用卷积神经网络(CNN)，不使用任何领域自适应方法；2)DDC方法，网络中使用MMD度量缩小两个模态的分布差异；3)DAN方法，使用多核MMD度量对齐两个模态的分布差异；4)DSAN方法，仅使用LMMD度量进行类级对齐；5)DANN方法，使用对抗领域自适应的思想提取领域不变特征。实验结果记录于表6中，从表中可知本发明所提出的方法故障诊断精度较DANN方法平均提高2％～4％个百分点，与其他方法相比跨域故障诊断性能显著。

表1TE过程选取的过程变量

Table 1Process variables selected of TE process

表2TE过程选取的成分变量

Table 2 Component variables selected of TE process

表3三种模态参数

Table 3 Details of three modes

表4TE过程故障细节

Table 4 The fault details for TE process

为直观展示本发明模型框架优势，本发明使用t-SNE技术对迁移任务mode1→mode2进行可视化，可视化结果见图4所示。图中“○”表示源模态数据，“×”表示目标模态数据。图4a)观察可得，未使用任何领域自适应的CNN方法不同类别之间的分布距离较大，无法有效提高目标模态上的故障分类精度。相比于CNN方法，使用MMD度量的方法在图4b)c)中拉近了领域之间的距离，但是不同类别在特征空间发生了较为复杂的混叠，从而导致目标模态的诊断精度较低。而本发明提出的方法数据分布结构较为清晰，不同类别的边界轮廓较为清晰且距离较大，同一类别的样本距离较为接近。该可视化结果也直观说明所提出的模型框架能有效提取模态间领域不变特征，既能实现全局对齐，又能实现精确的类级对齐。图5为mode1→mode2任务的混淆矩阵对比结果，从各个类别准确率的关系也能客观表现本发明模型框架的故障诊断优势。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

表5模型参数设置

Table 5 Settings of model parameters

表6不同方法故障诊断准确率(％)比较结果

Table 6 Comparison results of fault diagnostic accuracy(％)usingdifferent methods

Claims (1)

1.基于对抗局部最大均值差异的多模态工业过程故障诊断方法，其特征在于包括以下步骤：

Ⅰ数据预处理；

1)采集不同稳定模态下的正常历史数据和故障样本，得到某一稳定模态的过程数据构成样本集X＝[x₁′,x′₂,…,x′_N]^T∈R^N×A，R表示实数集，该样本集包含N个采样时刻，每个采样时刻采集A个过程变量，即第k个采样时刻采集的数据为x′_k＝[x_k,1,x_k,2,…,x_k,A]；

2)对历史过程数据X进行标准化处理，处理方法为：首先计算历史数据X所有时刻上所有过程变量的均值和标准方差，其中第a个过程变量的计算公式为，

x_k,a表示第k个采样时刻的第a个过程变量的测量值；第a个过程变量的标准方差计算公式为，

然后对历史过程数据X进行标准化，其中第k个采样时刻的第a个过程变量的标准化计算公式如下：

其中，k＝1,2,…,N，a＝1,2,…,A；

上述预处理后使第k时刻每个元素的值限定在[0,1]的范围之间；

3)考虑到过程变量前后时刻的动态性和关联性有助于表征过程变量的关联关系，将采样时刻前后相邻时刻的所有观测变量作为一个整体构成二维矩阵，该二维矩阵作为一个样本输入网络进行训练；使用滑动窗对标准化后的历史数据序列进行分割，滑动窗的窗宽为h，步长为s；从第h采样时刻开始收集第一个样本，共可分割(N-h)/s个样本，第i个样本x_i的数据格式为h×A；

4)经过上述样本分割之后，得到带标签源模态样本

和无标签目标模态样本

其中，

表示领域，即模态，

和

分别表示分割后的源模态样本和目标模态样本，

表示源模态样本

的真实标签，n_S表示源模态的样本数量，n_T表示目标模态的样本数量；

II目标模态故障诊断模型训练；

1)构建基于对抗局部最大均值差异的深度领域自适应网络模型，其中包括卷积特征提取器、领域判别器、类标签预测器；卷积特征提取器的输出特征进行展平分别作为领域判别器、类标签预测器的输入，类标签预测器输出预测的具体故障类别信息，领域判别器输出领域类别信息；三部分的结构细节如下：卷积特征提取器共包括三层卷积层、一层最大池化层、三层BatchNorm层，为了防止过拟合问题，加入一层随机置零概率为0.5的Dropout层；类标签预测器由两层全连接层、两层BatchNorm层、一层随机置零概率为0.5的Dropout层以及一层Softmax输出层构成；领域判别器由两层全连接层、两层BatchNorm层以及一层Softmax输出层构成；卷积特征提取器每层的参数分别为：卷积核为3*4、步长为1、通道数为64的卷积层1；通道数为64的BatchNorm层1；最大池化层1；卷积核为2*4、步长为1、通道数为50的卷积层2；通道数为50的BatchNorm层2；卷积核为3*4、步长为1、通道数为50的卷积层3；通道数为50的BatchNorm层3；Dropout层1；类标签预测器每层的参数分别为：通道数为500的全连接层1；通道数为500的BatchNorm层1；Dropout层1；通道数为100的全连接层2；通道数为100的BatchNorm层2；通道数为12的Softmax输出层；领域判别器每层的参数分别为：通道数为500的全连接层1；通道数为500的BatchNorm层1；通道数为100的全连接层2；通道数为100的BatchNorm层2；通道数为2的Softmax输出层；

2)在源模态样本上使用损失函数L_y(θ_f,θ_y)训练整体网络模型，优化过程如下所示：

其中，类分类误差选用交叉熵损失函数，G_f(·)表示卷积特征提取器输入空间到输出空间的映射关系，G_y(·)表示类标签预测器的特征映射；θ_f、θ_y分别表示卷积特征提取器、类标签预测器的网络参数，训练前进行随机初始化，训练过程中不断迭代更新参数值；

3)领域判别器标记源模态样本的领域标签d_i为0，目标模态样本的领域标签d_i为1，领域判别器的损失函数如下所示：

其中，θ_d表示领域判别器的网络参数，训练前进行随机初始化，训练过程中使用随机梯度下降算法或者改进算法不断迭代更新参数值；

4)结合上述步骤，最小化类标签预测器的分类损失，最大化领域判别器的判别损失，对抗训练损失函数定义如下：

其中，λ为权衡参数，取值为(0,1]之间；

5)采用局部最大均值差异(LMMD)度量对齐两个领域的子域分布，LMMD的无偏估计如下式所示：

其中，再生核Hillbert空间(RKHS)是一个由核函数构成的带有内积的完备向量空间，φ(·)表示将原始样本映射到RKHS的核函数，c表示样本属于第c类，C表示整个样本集共有C个类别；f_i ^S、

分别表示第i个源模态样本类标签预测器最后一层全连接层的特征表示、第j个目标模态样本类标签预测器最后一层全连接层的特征表示；

分别表示属于类别c的

和

的权重参数，并且权重参数满足：

样本x_i的权重参数

通过下式计算：

其中，y_ic表示向量y_i的第c个分量；对于源模态样本，可以通过利用真实标签

的one-hot编码计算每个样本的

目标模态样本由于没有真实标签，使用类标签预测器的输出

进行计算；该分布度量实质是最小化源模态和目标模态相同类别样本的距离，最大化不同类别样本的距离，从而实现类级对齐；

6)基于对抗局部最大均值差异的多模态工业过程故障诊断框架总体损失函数如下：

7)使用损失函数L(θ_f,θ_y,θ_d)训练整个网络模型，利用Adam优化器对模型参数进行迭代优化，当总体损失函数趋于稳定且前后两批次误差小于0.001，或者达到最大迭代次数300时，终止迭代，继而获得无标签目标模态的故障诊断模型；

III将目标模态样本输入相应的目标模态故障诊断模型，获得过程样本的具体健康状况标签，实现故障类型的准确判断。

Images