CN111046961A - 基于双向长短时记忆单元和胶囊网络的故障分类方法 - Google Patents

Abstract

本发明公开了一种基于双向长短时记忆单元和胶囊网络的工业过程故障分类方法，它由双向长短时记忆单元、胶囊网络、感知器和Softmax输出层组成。双向长短时记忆单元可以处理序列数据，并能够从数据中提取动态特征；胶囊网络的每个胶囊具有大小和方向信息，具有更强的表达能力，能够对双向长短时记忆单元提取的动态特征进行进一步整合，感知器和Softmax输出层根据胶囊网络整合的故障样本特征进行故障分类，该网络适合处理非线性特性和动态性特性工业数据的分类问题。本发明可以有效地提高存在动态性等特性样本的分类精度。

Description

基于双向长短时记忆单元和胶囊网络的故障分类方法

技术领域

本发明属于工业过程故障诊断和分类领域，涉及一种基于双向长短时记忆单元和胶囊网络的故障分类方法。

背景技术

在工业过程监测中，当检测到故障发生后，需要对故障信息进行进一步分析，而故障分类是其中的一个重要环节，获得发生故障类别，有利于进行工业过程的恢复。

随着工业自动化的发展以及传感器的普及，工业数据量更大，此外，由于工业过程的复杂化，工业数据普遍存在非线性、动态性(也称自相关性)等特性，而深度学习能够很好利用数据量大的特点来提取工业数据的非线性特征、动态性特征，因此，深度学习方法被应用到工业过程监测中。

循环神经网络，如长短时记忆单元，常来提取序列数据的动态性特征，同时，双向记忆单元包含前向和后向长短时记忆单元，具有更好的性能。但是，双向长短时记忆单元对前面时刻样本信息进行部分遗忘和根据当前时刻样本更新动态特征，当序列样本过长时出现靠前时刻样本信息因遗忘机制而不能有效利用的问题。胶囊网络考虑了长短时记忆单元在每个时刻提取的动态特征，并进行特征聚类整合。其中，动态路由算法给予不同时刻的动态特征不同的权重。因此，结合双向长短时记忆单元和胶囊网络，能增强提取数据的动态性问题，适用于工业数据的动态性问题，提高工业故障的分类精度。

发明内容

针对目前工业过程中数据存在非线性、强动态性等问题，本发明提出了一种基于双向长短时记忆单元和胶囊网络的故障分类方法，该方法将双向长短时记忆单元(BiLSTM)、胶囊网络(CapsNet)、多层感知器(MLP)、Dropout层和Softmax层组成整个BiLSTM-CapsNet模型，实现了对工业过程中故障精确分类。

本发明具体技术方案如下：

一种基于双向长短时记忆单元和胶囊网络的故障分类方法，包括如下步骤：

(1)获取历史工业连续过程的样本x及其标签y组成的数据集

D＝{X,Y}＝{(x^t,y^t)|t＝1,2,...,N}，其中X,Y分别代表所有样本组成的样本集和相应的样本标签集，y^t∈{1,2,...,C}，t代表样本在时间维度的顺序，N表示数据集的样本个数，C为样本类别数；

(2)将步骤(1)中收集到的数据集标准化，将样本X每个变量x化成均值为0，方差为1，得到新的标准化样本集X_std，通过one-hot编码将标签集Y元素从标量转化为一维向量，然后，用大小为k的时间窗对样本集X_std和标签集Y同时进行序列化，从而得到新的序列数据集

其中,

(3)构建BiLSTM-CapsNet模型：构建一个第一部分由隐层节点分别为k的前向、后向长短时记忆单元组成的双向长短时记忆单元(BiLSTM)，第二部分为胶囊网络(CapsNet)，第三部分为单隐层的感知器(MLP)，第四部分为Dropout层，第五部分是Softmax输出层的BiLSTM-CapsNet模型。其中，BiLSTM中前向LSTM和后向LSTM的隐层向量拼接成一个长向量作为CapsNet的输入，CapsNet的输出向量经过Flatten操作变成一维长向量作为MLP的输入，MLP输出作为Dropout层输入，Dropout的输出作为Softmax网络层的输入；

(4)将步骤(2)中得到的数据集D_{std_seq}作为输入，对步骤(3)构建的BiLSTM-CapsNet进行有监督训练，采用BP方法调整网络权重及偏置，得到整个网络参数较优的BiLSTM-CapsNet模型；

(5)获取新的未知故障类别的工业连续过程数据，使用步骤(2)标准化方法和序列化方法处理数据，得到待测序列数据集d_{std_seq}；

(6)将待测序列数据集d_{std_seq}输入到步骤(4)训练好的BiLSTM-CapsNet模型中，在Softmax输出层得到该序列样本属于每个故障类别的后验概率，并把后验概率最大的类别作为该序列样本的标签，完成对于该序列样本的故障分类。

进一步地，所述步骤(3)中，BiLSTM用于提取动态特征，前向LSTM顺序读取序列数据，后向LSTM反向读取序列数据，分别提取动态特征：

前向LSTM提取动态特征：

后向LSTM提取动态特征：

BiLSTM前向、后向隐层特征拼接，作为CapsNet的输入：

其中，

是BiLSTM前向LSTM的隐层向量，

是BiLSTM后向LSTM的隐层向量，u

是CapsNet输入向量，t代表样本或者特征在时间维度的顺序。

进一步地，所述步骤(3)中，CapsNet用于对动态特征聚类：

CapsNet对输入向量进行聚类

其中，W_tn是一个随机初始化的权重矩阵，v_n是CapsNet的输出向量，Z_t是归一化因子，

n是向量的索引。

squash压缩函数定义为：

进一步地，CapsNet完成特征聚类的动态路由算法如下：

输入：输入向量u，迭代次数e.

输出：输出向量v

1：初始化向量

2：对任一Capsule t:

迭代e次：

c_t←softmax(b_t)；

返回v。

本发明的有益效果是，本发明可以提取每个时刻样本的非线性特征，同时考虑该时刻相邻样本，提升模型对非线性、动态性过程数据的特征提取能力，从而有效提升故障分类的精度。

附图说明

图1是基于双向长短时记忆单元和胶囊网络的模型结构；

图2是过程数据的序列化操作；

图3是Tennessee Eastman(TE)过程流程图；

图4是测试集样本的真实标签情况；

图5是BiLSTM网络对测试集的故障分类结果；

图6是BiLSTM-CapsNet对测试集的故障分类结果；

图7是BiLSTM对21类TE过程故障情况(含正常工况)的平均准确率随时间步长变化折线图；

图8是BiLSTM-CapsNet对21类TE过程故障情况(含正常工况)的平均准确率随时间步长变化折线图；

具体实施方式

下面结合具体实施方式对本发明基于双向长短时记忆单元和胶囊网络的故障分类方法作进一步的详述。

本发明的一种基于双向长短时记忆单元和胶囊网络的故障分类方法，包括如下步骤：

步骤一：获取历史工业连续过程的样本x及其标签y组成的数据集

D＝{X,Y}＝{(x^t,y^t)|t＝1,2,...,N}，其中X,Y分别代表所有样本组成的样本集和相应的样本标签集，y^t∈{1,2,...,C}，t代表样本在时间维度的顺序，N表示数据集的样本个数，C为样本类别数；

步骤二：将步骤一中收集到的训练数据集中标准化，将样本X每个变量x化成均值为0，方差为1，得到新的标准化样本集X_std，通过one-hot编码将标签集Y元素从标量转化为一维向量，然后，用大小为k的时间窗对样本集X_std和标签集Y同时进行序列化，从而得到新的序列样本集

其中,

其操作如图2所示。

步骤三：构建BiLSTM-CapsNet模型：构建一个第一部分为一个单隐层的2k个长短时记忆单元组成的双向长短时记忆单元(BiLSTM)，第二部分为胶囊网络(CapsNet)，第三部分为单隐层的感知器(MLP)，第四部分为Dropout层，第五部分是Softmax输出层的BiLSTM-CapsNet模型。其中，BiLSTM中前向LSTM和后向LSTM的隐层向量经过拼接成一个长向量作为CapsNet的输入，CapsNet的输出向量经过Flatten操作变成一维长向量作为MLP的输入，MLP输出作为Dropout层输入，Dropout的输出作为Softmax网络层的输入，再经过Softmax网络层得到样本属于每个类别的后验概率；模型的具体结构如图1所示。

步骤四：将步骤二中得到的样本集D_{std_seq}作为输入，对步骤三构建的BiLSTM-CapsNet进行有监督训练，L个序列样本作为一个批次并进行前向传播，在Softmax层获得网络对真实标签为

的输入序列样本的估计值

使用交叉熵作为损失函数：

然后，获得的损失通过反向传播算法(BP)调整网络权重及偏置，经过多次迭代得到整个网络参数较优的BiLSTM-CapsNet模型；

步骤五：获取新的未知故障类别的工业连续过程数据，使用步骤二标准化方法和序列化方法处理数据，得到新的序列样本d_{std_seq}；

步骤六：将待测试的序列样本d_{std_seq}输入到步骤四训练好的BiLSTM-CapsNet模型中，在Softmax输出层得到该序列样本属于每个故障类别的后验概率，并把后验概率最大的类别作为该序列样本的标签，完成对于该序列样本的故障分类。其中，

所述的BiLSTM-CapsNet的学习过程可以分为三个阶段：

(1)BiLSTM网络提取动态特征

BiLSTM网络由前向的LSTM和后向的LSTM组成，前向LSTM顺序读取序列数据，后向LSTM反向读取序列数据，分布提取动态特征。

前向LSTM提取动态特征：

后向LSTM提取动态特征：

LSTM提取特征的过程为：

h_t＝o_t·tanh(z_t)

其中，W₁,W₂,W₃,W₄都是权重矩阵，b₁,b₂,b₃,b₄是偏置，σ是sigmoid激活函数。前向LSTM和后向LSTM分别学习这些参数。

BiLSTM前向、后向隐层特征拼接，作为CapsNet的输入:

(2)CapsNet对动态特征聚类

CapsNet对输入向量进行聚类

其中，W_tn是一个随机初始化的权重矩阵，v_n是CapsNet的输出向量，Z_t是归一化因子，

t,n都是向量的索引。

squash压缩函数定义为：

CapsNet完成特征聚类的动态路由算法如下.

输入：输入向量u，迭代次数e.

输出：输出向量v

1：初始化

2：对任一Capsule t:

迭代e次：

c_t←softmax(b_t)；

(3)返回v。

MLP，Dropout和Softmax分类网络

对CapsNet的输出向量进行Flatten操作，获得一维向量，然后经过MLP网络，Dropout层，Softmax输出层，最终得到样本的后验概率。

为了平均该故障分类模型的性能，定义某类故障样本的分类准确率accuracy：

其中A为实际标签为该类故障的样本数，M为实际标签为该类故障的样本被错误标记为其他类别的样本数。

以下结合一个具体的TE过程的例子来说明基于双向长短时记忆单元和胶囊网络的故障分类方法的性能。TE过程是故障诊断与故障分类领域常用的标准数据集，整个数据集包括53个过程变量，其工艺流程如图3所示。该流程由气液分离塔，连续搅拌式反应釜，分凝器，离心式压缩机，再沸器等5个操作单元组成。

TE过程包含1类正常工况和21类故障，其中，21类故障的种类包括流量的阶跃变化阀门的粘滞等等，包含典型的非线性故障和动态性故障，表1给出了21类故障的具体介绍。

表1：TE过程故障列表

针对该过程，选取除故障6之外的20种故障和1类正常工况，将22种过程测量变量和12种控制变量共34个变量作为建模变量，在正常工况和20类故障工况数据上测试分类性能。

使用TE仿真平台生成样本，并用大小为100的时间窗序列化样本，每类获得400个序列样本，共8400个序列样本。其中，前面时刻的80％序列样本作为训练样本集，剩下作为测试样本集，如图2所示为时间窗长度k＝3的过程数据序列化操作。

BiLSTM-CapsNet中，BiLSTM的输入节点数为34，隐层的节点数为100，CapsNet的个数为21，Capsule维度为10，Capsule动态路由算法中迭代次数为5,MLP隐层的节点数为210，Softmax输出层的节点数为21，Dropout层节点丢失概率为0.5。使用初始学习率为1e-3的Adam优化器进行网络参数更新，每次选取一个批次数据进行优化，批次大小32，总共迭代100次，并且MLP网络后接的。

图4是所有测试集的样本真实类别标签，图5是BiLSTM预测的测试集类别结果，图6是BiLSTM-CapsNet预测的测试集类别结果。通过图4、图5和图6的对比，可以看出所提出的基于双向长短时记忆单元和胶囊网络比双向长短时记忆单元的性能更好，其中，BiLSTM-CapsNet对测试集预测的准确率达到82.3％，而BiLSTM对测试集预测的准确率只有79.4％。

图7是BiLSTM在不同训练的步数在训练集和测试集的预测精度折线图，图8是BiLSTM-CapsNet在不同训练的步数对训练集和测试集的预测精度折线图。通过图7和图8的对比，可以看出BiLSTM-CapsNet不仅在最终测试集预测的精度更高，而且模型收敛速度更快。

Claims (4)

1.一种基于双向长短时记忆单元和胶囊网络的故障分类方法，其特征在于，包括如下步骤：

(1)获取历史工业连续过程的样本x及其标签y组成的数据集

D＝{X，Y}＝{(x^t，y^t)|t＝1，2，...，N}，其中X，Y分别代表所有样本组成的样本集和相应的样本标签集，y^t∈{1，2，...，C}，t代表样本在时间维度的顺序，N表示数据集的样本个数，C为样本类别数；

(2)将步骤(1)中收集到的数据集标准化，将样本X每个变量x化成均值为0，方差为1，得到新的标准化样本集X_std，通过one-hot编码将标签集Y元素从标量转化为一维向量，然后，用大小为k的时间窗对样本集X_std和标签集Y同时进行序列化，从而得到新的序列数据集

其中，

(3)构建BiLSTM-CapsNet模型：构建一个第一部分由隐层节点分别为k的前向、后向长短时记忆单元组成的双向长短时记忆单元(BiLSTM)，第二部分为胶囊网络(CapsNet)，第三部分为单隐层的感知器(MLP)，第四部分为Dropout层，第五部分是Softmax输出层的BiLSTM-CapsNet模型。其中，BiLSTM中前向LSTM和后向LSTM的隐层向量拼接成一个长向量作为CapsNet的输入，CapsNet的输出向量经过Flatten操作变成一维长向量作为MLP的输入，MLP输出作为Dropout层输入，Dropout的输出作为Softmax网络层的输入；

(4)将步骤(2)中得到的数据集D_{std_seq}作为输入，对步骤(3)构建的BiLSTM-CapsNet进行有监督训练，L个序列样本作为一个批次并进行前向传播，在Softmax层获得网络对真实标签为

的输入序列样本的估计值

使用交叉熵作为损失函数：

然后，获得的损失通过反向传播算法(BP)调整网络权重及偏置，经过多次迭代得到整个网络参数较优的BiLSTM-CapsNet模型；

(5)获取新的未知故障类别的工业连续过程数据，使用步骤(2)标准化方法和序列化方法处理数据，得到待测序列数据集d_{std_seq}；

(6)将待测序列数据集d_{std_seq}输入到步骤(4)训练好的BiLSTM-CapsNet模型中，在Softmax输出层得到该序列样本属于每个故障类别的后验概率，并把后验概率最大的类别作为该序列样本的标签，完成对于该序列样本的故障分类。

2.根据权利要求1所述的基于双向长短时记忆单元和胶囊网络的故障分类方法，其特征在于，所述步骤(3)中，BiLSTM用于提取动态特征，前向LSTM顺序读取序列数据，后向LSTM反向读取序列数据，分别提取动态特征：

前向LSTM提取动态特征：

后向LSTM提取动态特征：

BiLSTM前向、后向隐层特征拼接，作为CapsNet的输入：

其中，

是BiLSTM前向LSTM的隐层向量，

是BiLSTM后向LSTM的隐层向量，u是CapsNet输入向量，t代表样本或者特征在时间维度的顺序。

3.根据权利要求1所述的基于双向长短时记忆单元和胶囊网络的故障分类方法，其特征在于，所述步骤(3)中，CapsNet用于对动态特征聚类：

CapsNet对输入向量进行聚类

其中，W_tn是一个随机初始化的权重矩阵，v_n是CapsNet的输出向量，Z_t是归一化因子，

n是向量的索引。

squash压缩函数定义为：

4.根据权利要求3所述的基于双向长短时记忆单元和胶囊网络的故障分类方法，其特征在于，CapsNet完成特征聚类的动态路由算法如下：

输入：输入向量u，迭代次数e.

输出：输出向量v

1：初始化向量b_t＝0，

2：对任一Capsule t：

迭代e次：

c_t←softmax(b_t)；

返回v。

Images