CN111026058A - 基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法，它采用堆叠自编码器的结构；在自编码器的有监督微调阶段加入无标签样本进行训练，将有标签样本和无标签样本通过自编码器提取的特征之间分布的距离通过瓦瑟斯坦距离进行计算，并且将该距离加入损失函数进行优化。该网络将无标签样本加入了自编码器在微调阶段的训练，解决了自编码器在微调阶段只能使用有标签数据导致的过拟合问题，从而提升了模型的泛化能力，提高了故障分类的准确率。

Description

基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断 方法

技术领域

本发明属于工业过程领域，涉及一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法。

背景技术

为了提高工业生产过程中的安全性和生产质量，过程监测方法在工业生产过程中受到了越来越多的应用。故障分类属于过程监测方法的一部分，是指通过建立变量与故障类别之间的数学模型来对故障进行分类的一种方法。通过故障分类将检测到的故障划分到已知类别有利于我们发现故障的原因，对故障进行修复。目前故障分类的方法主要分为机理建模和数据驱动建模的方法，随着现代工业的逐渐集成化和复杂化，基于机理建模的方法很难再满足我们的要求，同时DCS系统带来了大量的工业过程数据，这使得数据驱动的故障分类方法得以广泛应用。

目前常见的基于数据驱动的故障分类方法主要有：KNN,PCA,FDA，SVM，RF,ANN等等，ANN作为一种非线性方法，可以很好的处理过程变量之间的非线性关系，同时具有强大的特征提取能力，近年来在故障分类领域获得了广泛的使用。

以上的方法都属于有监督学习的范畴，需要大量的有标签数据进行训练。然而，在实际的工业生产过程中，有标签数据往往比较难获得，需要耗费大量的时间和专家知识。因此，我们往往只有少量的有标签样本和大量的无标签样本，这使得建立半监督学习的方法成为必要。

自编码器(Auto-encoder，AE)是一种常见的深度学习的方法，它通过编码器将输入变量变为隐变量，再通过解码器将隐变量还原成输入变量，其中，编码器和解码器都是通过神经网络实现。通过这个编码和解码的过程，神经网络可以学习到数据内部之间的关联，这赋予了自编码器强大的特征提取能力，使AE在工业过程建模(故障检测、故障分类、软测量)领域获得了广泛的使用。自编码器属于无监督学习，只对输入进行重构，不需要数据的标签，它可以很容易的拓展到半监督学习的方法：先通过所有数据(有标签和无标签)进行重构的预训练，再在训练好的AE的基础上接一个全连接层输出数据的类别，通过有标签数据训练整个网络，进行微调。然而，以上方法在微调阶段只能使用有标签数据，这使得AE有过拟合有标签数据的风险，同时，在无标签数据上学习到的特征可能会被湮没。因此，我们提出了一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法(WASS-AE)的方法，让无标签数据也能够参与AE微调阶段的训练，这增强了AE在无标签数据上的泛化能力，减小了在有标签数据上过拟合的风险，提高了故障分类的准确率。

发明内容

针对现有的自编码器在微调阶段只能使用有标签数据的缺点，本发明提出了一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法，该方法将无标签数据也加入了AE的微调阶段，在微调过程中使得有标签数据和无标签数据的特征(隐变量)分布一致，增强了AE在无标签数据上的泛化能力，提高了故障分类的准确率。

本发明具体技术方案如下：

一种基于WASS-AE的半监督深度学习故障分类方法，包括如下步骤：

步骤一：收集历史工业过程故障数据建立训练数据集，所述的训练集包括含有故障类别标签的有标签数据集D＝{X，Y}＝{(x^h，y^h)}，以及不含有故障类别标签的无标签数据集D_u＝{X}＝{x^k}，其中，x为样本，y为标签，y^h∈{1，2，...，C}，h＝1，2，...，n，k＝1，2，...，m，C表示故障的类别个数，n代表有标签数据集的样本个数，m代表无标签数据集的样本个数。

步骤二：将步骤一中收集到的训练数据集标准化，将样本x化成均值为0，方差为1的标准化有标签数据集D_s和无标签数据集D_us。选取标准化有标签数据和无标签数据进行堆叠自编码器的训练，训练过程可以分为以下两步：

(2.1)逐层训练单隐层自编码器，单隐层自编码器训练时，其中编码器的输入输出由下式描述：

Z_i＝σ(W_iX_i+b_i)

解码器的输入输出由下式描述：

目标函数是输入的重构误差，由下式表示：

对于网络的参数θ_i＝{W_i，b_i，F_i，G_i}，采用随机初始化，并且用随机梯度下降法对网络的参数进行训练，直到目标函数收敛，单隐层自编码器训练完成，其中i代表堆叠自编码器的第i层，

代表自编码器对X_i的重构，σ是非线性激活函数。

(2.2)取训练好的单隐层自编码器的隐层输出作为下一层的输入训练下一个单隐层自编码器，如此堆叠，得到堆叠自编码器。

步骤三：WASS-AE有监督训练：

(3.1)将步骤二预训练得到的堆叠自编码器添加一层全连接层作为类别的输出组成WASS-AE堆叠自编码器，其中，步骤二预训练得到的AE参数θ_i＝{W_i,b_i}作为WASS-AE堆叠自编码器的初始化参数，全连接层的参数采用随机初始化；将交叉熵和Wassersteindistance按比例相加作为最后的目标函数，其中，交叉熵用有标签数据的预测类别和对应的真实标签进行计算：

其中，Q(x)是真实标签，P(y^h|x^h,θ)是当前网络对输入x的预测结果。

Wasserstein distance采用有标签数据的特征分布和无标签数据的特征分布进行计算，其中，特征分布为WASS-AE堆叠自编码器最后一层的隐层输出。

其中，Z_l是有标签数据的特征分布，Z_u是无标签数据的特征分布。

是指以Z_l和Z_u为边缘分布概率的联合分布概率。

指联合分布

情况下

的期望。

目标函数可以由下式进行表示：

Loss＝cross_entropy+λW₂(Z_l,Z_u)

λ是比例系数。

(3.2)输入步骤二中随机选取的标准化有标签数据和无标签数据对WASS-AE堆叠自编码器进行有监督训练，训练完成得到WASS-AE模型。

步骤四：待测数据故障类别诊断：

(4.1)获取新的未知故障类别的工业连续过程数据并标准化得到待测标准化数据集；

(4.2)将待测标准化数据集输入到步骤(3.2)中得到的WASS-AE模型，WASS-AE模型输出即为诊断的故障类别。

本发明的有益效果是，本发明方法在AE的微调阶段加入了无标签数据进行训练，并且通过Wasserstein distance使得有标签数据和无标签数据通过AE后的特征分布保持一致，从而增强了AE在无标签数据上的泛化能力，防止了对有标签数据的过拟合，最终提高了模型的准确度和精度。

附图说明

图1是本发明所使用的AE自编码器模型；

图2是TE工艺流程示意图；

图3是AE对故障分类结果示意图；

图4是WASS-AE对故障分类结果示意图。

具体实施方式

下面结合具体实施方式对本发明WASS-AE故障分类方法作进一步的详述。

本发明提出了一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法，该方法首先收集历史工业过程故障数据建立训练数据集，所述的训练集包括含有故障类别标签的有标签数据集D＝{X，Y}＝{(x^h，y^h)}，以及不含有故障类别标签的无标签数据集D_u＝{X}＝{x^k}，其中，x为样本，y为标签，y^h∈{1，2，...，C}，h＝1，2，...，n，k＝1，2，...，m，C表示故障的类别个数，n代表有标签数据集的样本个数，m代表无标签数据集的样本个数。

将收集到的训练数据集标准化，将样本x化成均值为0，方差为1的标准化有标签数据集D_s和无标签数据集D_us。并采用上述的数据集训练堆叠自编码器网络。本发明使用的堆叠自编码器网络结构如图1所示，由多个堆叠的单层的自编码器以及最后的全连接层构成。其中，编码器将上一层的输入X_i编码为隐变量输出Z_i；而解码器将隐变量输出Z_i还原成输入X_i。堆叠时，只使用编码器的部分进行堆叠，最后采用一个全连接层获得输出，也就是分类的概率。

其中编码器的输入输出可由下式描述

Z_i＝σ(W_iX_i+b_i)

其中解码器的输入输出可由下式描述

其中输出全连接层可由下式描述

y＝σ(W_iX_i+b_i)

所述的WASS-AE网络的训练过程可以分为二个阶段：

(1)AE无监督预训练

AE无监督预训练的目的是通过编码器和解码器对输入进行编码和重构，由此提取数据内部的特征。训练时先逐层的训练单隐层的自编码器，然后取训练好的单隐层自编码器的隐层输出作为下一层的输入，再训练下一个单隐层自编码器，如此堆叠，到达我们设置好的层数得到堆叠自编码器。

训练单隐层自编码器时，目标函数是输入的重构误差，可以由下式表示：

对于网络的参数θ_i＝{W_i，b_i，F_i，G_i}，采用随机初始化，并且用随机梯度下降算法对网络的参数进行训练，直到目标函数收敛。其中，随机梯度下降算法是训练神经网络常用的算法，训练时，使用损失函数关于网络的参数求偏导，并且乘以学习率对网络的参数进行更新。其中i代表堆叠自编码器的第i层，

代表自编码器对X_i的重构，σ是非线性激活函数

(2)WASS-AE有监督训练

将上一步骤中预训练得到的堆叠自编码器添加一层全连接层作为类别的输出组成WASS-AE堆叠自编码器，A其中，步骤二预训练得到的AE参数θ_i＝{W_i,b_i}作为WASS-AE堆叠自编码器的初始化参数，全连接层的参数采用随机初始化；

此时训练的目标是最小化分类的交叉熵损失以及有标签数据和无标签数据特征分布的距离。其中，交叉熵损失可以由下式表示：

其中，Q(x)是真实标签，P(y^h|x^h,θ)是当前网络对输入x的预测结果。

对于有标签数据和无标签数据特征分布的距离，我们采用Wasserstein distance来进行衡量，其可以由下式进行表示：

其中，Z_l是有标签数据的特征分布，Z_u是无标签数据的特征分布。

因此总的损失函数可以由下式进行表示：

Loss＝cross_entropy+λW₂(Z_l,Z_u)

λ是比例系数。

输入随机选取的标准化有标签数据和无标签数据对WASS-AE堆叠自编码器进行有监督训练，训练完成得到WASS-AE模型。在实际应用过程中网络的输入、输出神经元个数由数据集决定，各隐层神经元个数、交叉熵和Wasserstein distance的比例通过经验和调试得到。

将未知故障类别的工业连续过程数据标准化后输入上述训练得到的WASS-AE模型，其输出即为诊断的故障类别。

以下结合一个具体的TE过程的例子来说明基于WASS-AE的故障分类方法的性能。TE过程是故障诊断与故障分类领域常用的标准数据集，整个数据集包括53个过程变量，其工艺流程如图2所示。该流程由气液分离塔，连续搅拌式反应釜，分凝器，离心式压缩机，再沸器等5个操作单元组成，该过程可以由多个代数和微分方程来表示，非线性和强耦合性是该过程传感数据的主要特点。

TE过程可人为设置21类故障，在这21类故障中，包括16类已知故障，5类未知故障，故障的种类包括流量的阶跃变化、缓慢斜坡增大、阀门的粘滞等等，包含典型的非线性故障和动态性故障，表1给出了21类故障的具体介绍。

表1：TE过程故障列表

针对该过程，采用较容易获取的16个过程变量作为建模变量，正常情况、故障1、故障2、故障5、故障7、故障8、故障12、故障14作为故障种类进行分类。通过仿真生成了每类各1100个，共计8800个样本，其中8000个作为无标签训练数据，400个作为有标签训练数据，400个作为测试集数据。

在该过程中，有16个过程变量，因此网络的输入层神经元个数为16，网络中包含隐藏层神经元3层，分别包含70、100、70个神经元，全连接输出层的神经元个数为8，即分类种类的个数。交叉熵在损失函数中的比例为1，Wasserstein distance的比例为0.05。采用SGD算法进行优化。

在训练过程中，先用无监督预训练对网络前三层的权重进行初始化，最后随机初始化全连接层的输出，使用有监督数据和无监督数据一起对网络进行微调。

在图3和图4中，我们分别展示了AE和WASS-AE在测试集上对故障分类的结果，其中，0～50、50～100、100～150、150～200、200～250、250～300、300～350、350～400个样本的真实标签应该分别属于正常情况、故障1、故障2、故障5、故障7、故障8、故障12、故障14。可以看出，相对AE，WASS-AE取得了更好的分类准确度。

Claims (1)

1.一种基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法，其特征在于，包括如下步骤：

步骤一：收集历史工业过程故障数据建立训练数据集，所述的训练集包括含有故障类别标签的有标签数据集D＝{X，Y}＝{(x^h，y^h)}，以及不含有故障类别标签的无标签数据集D_u＝{X}＝{x^k}，其中，x为样本，y为标签，y^h∈{1，2，...，C}，h＝1，2，...，n，k＝1，2，...，m，C表示故障的类别个数，n代表有标签数据集的样本个数，m代表无标签数据集的样本个数。

步骤二：将步骤一中收集到的训练数据集标准化，将样本x化成均值为0，方差为1的标准化有标签数据集D_s和无标签数据集D_us。选取标准化有标签数据和无标签数据进行堆叠自编码器的训练，训练过程可以分为以下两步：

(2.1)逐层训练单隐层自编码器，单隐层自编码器训练时，其中编码器的输入输出由下式描述：

Z_i＝σ(W_iX_i+b_i)

解码器的输入输出由下式描述：

目标函数是输入的重构误差，由下式表示：

对于网络的参数θ_i＝{W_i，b_i，F_i，G_i}，采用随机初始化，并且用随机梯度下降法对网络的参数进行训练，直到目标函数收敛，单隐层自编码器训练完成，其中i代表堆叠自编码器的第i层，

代表自编码器对X_i的重构，σ是非线性激活函数。

(2.2)取训练好的单隐层自编码器的隐层输出作为下一层的输入训练下一个单隐层自编码器，如此堆叠，得到堆叠自编码器。

步骤三：WASS-AE有监督训练：

(3.1)将步骤二预训练得到的堆叠自编码器添加一层全连接层作为类别的输出组成WASS-AE堆叠自编码器，其中，步骤二预训练得到的AE参数θ_i＝{W_i，b_i}作为WASS-AE堆叠自编码器的初始化参数，全连接层的参数采用随机初始化；将交叉熵和Wassersteindistance按比例相加作为最后的目标函数，其中，交叉熵用有标签数据的预测类别和对应的真实标签进行计算：

其中，Q(x)是真实标签，P(y^h|x^h，θ)是当前网络对输入x的预测结果。

Wasserstein distance采用有标签数据的特征分布和无标签数据的特征分布进行计算，其中，特征分布为WASS-AE堆叠自编码器最后一层的隐层输出。

其中，Z_l是有标签数据的特征分布，Z_u是无标签数据的特征分布。

是指以Z_l和Z_u为边缘分布概率的联合分布概率。

指联合分布

情况下

的期望。

目标函数可以由下式进行表示：

Loss＝cross_entropy+λ W₂(Z_l，Z_u)

λ是比例系数。

(3.2)输入步骤二中随机选取的标准化有标签数据和无标签数据对WASS-AE堆叠自编码器进行有监督训练，训练完成得到WASS-AE模型。

步骤四：待测数据故障类别诊断：

(4.1)获取新的未知故障类别的工业连续过程数据并标准化得到待测标准化数据集；

(4.2)将待测标准化数据集输入到步骤(3.2)中得到的WASS-AE模型，WASS-AE模型输出即为诊断的故障类别。

Images