CN109614992A - 一种基于dssae的间歇过程故障诊断方法 - Google Patents

Abstract

一种基于DSSAE的间歇过程故障诊断方法本发明涉及机器学习的故障诊断技术领域，包括“数据预处理”、“模型训练”和“故障诊断”三个阶段。“数据预处理”包括对发酵过程的三维数据沿变量方向进行展开；其次利用随机映射把输入数据腐蚀为受损数据样本，即加入降噪编码；最后对腐蚀后的受损数据样本进行归一化处理。“模型训练”包括利用无监督预训练和有监督调优两个过程。故障诊断包括将采集到的测试数据输入已经训练好的网络中进行故障诊断，输出故障类别，并统计准确率。本发明只填充发生故障时段的数据，减小了由于人为的填充过多的未知数据对DSSAE故障诊断的准确率带来的影响。同时由于加入了降噪编码，提升了网络的鲁棒性。

Description

一种基于DSSAE的间歇过程故障诊断方法

技术领域

本发明涉及机器学习的故障诊断技术领域，特别涉及一种针对间歇过程在线故障诊断技术。本发明的基于机器学习的方法即是在典型的间歇过程—青霉素发酵过程故障诊断方面的具体应用。

背景技术

间歇过程作为现代工业过程中极其重要的一种生产方式，已经被广泛应用于医药、食品、生物化工、半导体等多品种、高附加值产品的生产中。但是在实际过程中，由于设备老化和外在环境突变等一系列问题，使得故障时有发生。因此，对间歇过程进行故障诊断对于保证生产过程的安全以及提高产品质量变得至关重要。

对于间歇过程的故障诊断，目前比较常用的方法有贡献图和模式识别的方法，有些学者利用多元统计方法对间歇过程进行在线监控，并利用贡献图的方法追溯故障变量，但该方法采用正常的数据进行故障诊断，不能够真正反应故障的信息，且忽略了变量之间的相关性，只能诊断单变量故障间歇过程的故障诊断，而模式识别的方法是在已知故障类型的训练集的基础上，确定一个新的数据样本属于哪个故障类别的问题。支持向量机与Fisher判别分析作为线性分类技术在间歇过程的故障分类中得到了广泛应用。但是它们都只是在小样本下才能取得不错的分类效果，同时模型的鲁棒性较弱，诊断的准确率也相对较低。

发明内容

为了克服现有技术的不足，本发明提供了一种基于机器学习技术堆叠稀疏自动编码(DSSAE)网络的间歇过程在线故障诊断方法，用于大样本环境下的间歇过程故障诊断。

本发明采用了如下的技术方案及实现步骤：

A.数据预处理

1)采集青霉素发酵过程正常工况与故障工况下的历史数据，所述的历史数据X是由m个批次、j个变量和每个批次的k个采样点组成的三维矩阵；X＝(X₁,X₂,...,X_m)^T，其中X_i(i＝1,2,…,m)表示第i批次数据，X_i＝(X_i,1,X_i,2,...,X_i,k)，其中X_i,k表示第i批次第k采样时刻采集的数据，X_i,k＝(x_i,k,1,x_i,k,2,...,x_i,k,j)，其中x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值；

2)对步骤1采集的三维矩阵进行变量展开，展开成X(m·k×j)的矩阵，相当于m·k个j维的数据组成的矩阵。具体展开步骤为将后一批次的第一个数据接在前一批次最后一个数据后面，组成沿时间轴上的样本点；

3)利用一个随机映射把输入X腐蚀为部分受损的输入具体过程是将输入X中的部分元素按0.1的比例随机置零,变为以这受损的数据作为输入，将输出与原始X做误差迭代，这样网络就学习了这个受损的数据；

4)对腐蚀后的受损数据样本进行归一化处理。首先计算样本矩阵的所有时刻上所有过程变量的均值和标准方差。其中第j个过程变量的均值的计算公式为

第j个过程变量的方差的计算公式为：

然后对历史数据进行标准化，其中标准化计算公式如下：

其中x_i,j表示第i个批次第j个过程变量值；

B.模型训练

模型训练包括无监督预训练和有监督调优两个过程，如下所示：

无监督预训练过程：

1)设置两个SSAE网络层数，并根据样本数量设置各隐含层神经元的节点数目、稀疏性参数ρ取接近于0的较小值，可取ρ＝0.05从而获得神经网络的结构，并随机初始化权重矩阵W和偏置B；

2)输入已经预处理的训练数据，逐层训练两个SAE神经网络，即将第一个SAE的输出作为下一个SAE的输入，完成两个SAE的预训练，其编码与解码过程分别如式(4)和(5)所示

h_i＝σ(W₂₁σ(W₁₁x_i+b₁₁)+b₂₁) (4)

o_i＝σ(W₁₂σ(W₂₂h_i+b₂₂)+b₁₂) (5)

式中，h_i为编码过程，W_i1和b_i1为编码过程中第i个SAE的权值和偏置，o_i为解码过程，W_i2和b_i2为解码过程中第i个SAE的权值和偏置，σ为激活函数，如式(6)所示：

3)设置前向算法中的批量训练数，为了使学习对于间歇过程大样本数据更加有效率，可批量训练，对于青霉素发酵这一间歇过程，一批数据为400个采样点，因此可以设置批量训练数为400；设置学习率，学习率取值在0-1之间；设置迭代次数需考虑批量训练数，设置为1000时效性最优；执行前向算法，计算平均激活度ρ_j,表达式为：

式中，h_j(x⁽ⁱ⁾)表示第i个训练样本第j个神经元的激活度；

4)对输出层的每一个神经元，计算稀疏损失函数

式中，第一项为均方误差项，h_w,b(x⁽ⁱ⁾)为对实际输入的输出，o⁽ⁱ⁾为期望输出，第二项为正则化项，防止过拟合，γ为权重衰减系数，又称L2正则系数，取值在0-1之间，第三项是稀疏惩罚项，β为稀疏性惩罚因子，取值在0-1之间，ρ为稀疏性参数，可取ρ＝0.05；ρ_j为第j个神经元的平均激活度。

5)执行反向传播(Backpropagation Algorithm，BP)算法来最小化损失函数J(W,b)得到优化的W和b，并采用梯度下降法在每一次迭代过程中更新一次权重值和偏置值,如式(9)、(10)所示；

式中，ε为学习率，取值在0-1之间。

有监督调优过程：

6)用已预训练的结果初始化编码器权重向量W和偏置向量B参数；

7)设置神经网络的学习率，批量训练数和迭代次数，与无监督预训练时的取值保持一致，在预训练的基础上输入有标签样本(x_(i),y_(i)),执行前向传播算法，得到各层上的激活值；

8)计算网络的损失函数

9)根据梯度下降法更新权值与偏置，从而对整个网络参数进行调优。

C.故障诊断

1)将实际数据经过预处理后作为测试数据，输入到已经训练好的网络；

2)与标签数据对比，输出模型对每类故障的诊断结果。

有益效果

与现有技术相比，本发明利用DSSAE提取间歇过程数据特征并进行故障诊断，运用该方法进行在线故障诊断时，无需填充整个过程的未知数据，同时，引入了降噪编码，使得网络不仅较高的准确率，而且具有良好的鲁棒性。

附图说明

图1为本发明的故障诊断模型图；

图2为SSAE模型示意图；

图3为样本数据X展开示意图；

图4为仿真数据特征可视化图；

图5为DSSAE、SSAE、SAE三种方法诊断准确率对比图

具体实施方式

美国Illinois州立理工学院过程监控与技术小组开发的青霉素仿真平台PenSim2.0，为间歇过程的监控和故障诊断提供了一个标准平台，该平台已成为国际上较有影响力的青霉素仿真平台。

本发明以该平台为仿真研究对象，设置每个批次青霉素发酵的反应时间为400h，采样间隔为1小时，选取10个过程变量进行仿真研究，如表1所示。同时，该仿真平台可以设定三种类型的故障：1.空气流量，2.搅拌功率，3.底物流加速率。每种类型的故障又可以分阶跃扰动和斜坡扰动两种，可进一步设定两种扰动的幅度、扰动的引入时间和终止时间。

表1建立模型所用变量

本实验仿真了6批正常数据，共2400个样本，12批故障数据，共4800个数据样本，其中正常样本2000个，故障1即变量1阶跃故障数据、故障2即变量2阶跃故障数据和故障3即变量3斜坡故障数据各1200个用于训练DSSAE故障诊断模型，其余的1600个样本用于测试该诊断模型。为了使每一种故障数据包含更全面的故障信息，同一种故障的训练数据分别是在不同的反应时间引入扰动且均延续到反应结束。

将本发明方法应用到上述青霉素发酵过程仿真对象包括数据预处理、模型训练和故障诊断三大步骤，具体陈述如下：

A.数据预处理阶段：

1)：将上述18批数据X(18×10×400)沿变量方向展开为一个7200行10列的矩阵。具体展开步骤为将后一批次的第一个数据接在前一批次最后一个数据后面，这样能够保留各个变量延时间轴的变化规律从而为后续计算提供基础。

2)：利用一个随机映射把输入X腐蚀为部分受损的输入具体过程是将输入X中的部分元素按0.1的比例随机置零变为以这受损的数据作为输入，将输出与原始X做误差迭代，这样网络就学习了这个受损的数据；

3)：对腐蚀后的受损数据样本进行归一化处理。首先计算样本矩阵的所有时刻上所有过程变量的均值和标准方差。其中第j个过程变量的均值的计算公式为

第j个过程变量的方差的计算公式为：

然后对历史数据进行标准化，其中标准化计算公式如下：

其中i＝1,…,m，j＝1,...,J；

B.模型训练

模型训练包括无监督预训练和有监督调优两个过程，如下所示：

无监督预训练过程：

1)设置SSAE网络层数2，第一个隐含层100个节点，第二个隐含层30个节点、稀疏度参数ρ取0.05，并随机初始化权重矩阵W和偏置B；

2)输入已经预处理的训练数据，逐层训练两个SAE神经网络，即将第一个SAE的输出作为下一个SAE的输入，完成两个SAE的预训练，因本发明所选网络层数为2，其编码与解码过程分别如式(4)和(5)所示

h_i＝σ(W₂₁σ(W₁₁x_i+b₁₁)+b₂₁) (4)

o_i＝σ(W₁₂σ(W₂₂h_i+b₂₂)+b₁₂) (5)

式中，h_i为编码过程，W_i1和b_i1为编码过程中第i个SAE的权值和偏置，o_i为解码过程，W_i2和b_i2为解码过程中第i个SAE的权值和偏置，σ为激活函数，如式(6)所示：

3)设置前向算法中的批量训练数为400、迭代次数为1000、学习率ε为0.01，执行前向算法，计算平均激活度ρ_j,表达式为：

式中，h_j(x⁽ⁱ⁾)表示第i个训练样本第j个神经元的激活度；

4)对输出层的每一个神经元，计算稀疏损失函数

式中，第一项为均方误差项，h_w,b(x⁽ⁱ⁾)为对实际输入的输出，o⁽ⁱ⁾为期望输出，第二项为正则化项，防止过拟合，γ为权重衰减系数，又称L2正则系数，取值为0.01,第三项是稀疏惩罚项，β为稀疏性惩罚因子，取值为0.1,ρ为稀疏性参数，取值为0.05；ρ_j为第j个神经元的平均激活度。

5)执行反向传播(Backpropagation Algorithm，BP)算法来最小化损失函数J(W,b)得到优化的W和b，并采用梯度下降法在每一次迭代过程中更新一次权重值和偏置值,如式(9)、(10)所示；

式中，ε为学习率,取值0.01。

有监督调优过程：

6)用已预训练的结果初始化编码器权重向量W和偏置向量B参数；

7)设置神经网络的学习率0.01、批量训练数400和迭代次数1000，在预训练的基础上输入有标签样本(x_(i),y_(i)),执行前向传播算法，得到各层上的激活值；

8)计算网络的损失函数

9)根据梯度下降法更新权值与偏置，从而对整个网络参数进行调优。

C.故障诊断

1)将实际数据经过预处理后作为测试数据，输入到已经训练好的网络；

2)与标签数据对比，输出模型对每类故障的诊断结果。网络对仿真数据的诊断结果如表2所示，数据结果为10次随机试验的平均值。

网络对仿真数据的诊断结果

从表2可以看出，网络整体准确率都在97％以上，尤其是对于故障1，诊断准确率达到100％，对于缓慢变化的斜坡扰动故障3，准确率相对较低，但也达到了97.25％。

为了进一步对比稀疏自编码网络、堆叠稀疏自动编码网络与本发明方法降噪稀疏自动编码网络的特征学习能力对诊断准确率的影响，图5给出了用这三种网络得到的整体诊断准确率。试验结果均为10次随机试验结果的平均值。

从图5可以看出，随着训练样本数的增加，网络诊断准确率都有提升，说明训练样本越多，网络性能越好。由于稀疏自编码网络是单隐含层，特征学习提取能力较弱，因此稀疏自编码网络的诊断准确率最低。当网络由单层堆叠为多层时，多层稀疏自动编码对原始输入复杂数据的逐层无监督学习和有监督调优，使得网络的学习能力和特征提取能力均优于前者，网络的准确率有了明显的提升。同时，当加入了降噪编码后，网络学习到了受损数据的特征，加强了网络的抗干扰能力与鲁棒性。

Claims (5)

1.一种基于DSSAE的间歇过程故障诊断方法，包括“数据预处理”、“模型训练”和“故障诊断”三个阶段，其特征具体步骤如下：

A.数据预处理

1)采集青霉素发酵过程正常工况与故障工况下的历史数据，所述的历史数据X是由m个批次、j个变量和每个批次的k个采样点组成的三维矩阵；X＝(X₁,X₂,...,X_m)^T，其中X_i表示第i批次数据，其中i＝1,2,…,m；X_i＝(X_i,1,X_i,2,...,X_i,k)，其中X_i,k表示第i批次第k采样时刻采集的数据，X_i,k＝(x_i,k,1,x_i,k,2,...,x_i,k,j)，其中x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值；

2)对步骤1采集的三维矩阵进行变量展开，展开成X(m·k×j)的矩阵，相当于m·k个j维的数据组成的矩阵；具体展开步骤为将后一批次的第一个数据接在前一批次最后一个数据后面，组成沿时间轴上的样本点；

3)利用一个随机映射把输入X腐蚀为部分受损的输入具体过程是将输入X中的部分元素按0.1的比例随机置零,变为以这受损的数据作为输入，将输出与原始X做误差迭代，这样网络就学习了这个受损的数据；

4)对腐蚀后的受损数据样本进行归一化处理；首先计算样本矩阵的所有时刻上所有过程变量的均值和标准方差；其中第j个过程变量的均值的计算公式为

第j个过程变量的方差的计算公式为：

然后对历史数据进行标准化，其中标准化计算公式如下：

其中x_i,j表示第i个批次第j个过程变量值；

B.模型训练

模型训练包括无监督预训练和有监督调优两个过程，如下所示：

无监督预训练过程：

1)设置两个SSAE网络层数，设置各隐含层神经元的节点数目、稀疏性参数ρ取0到1之间的值，从而获得神经网络的结构，并随机初始化权重矩阵W和偏置B；

2)输入已经预处理的训练数据，逐层训练两个SAE神经网络，即将第一个SAE的输出作为下一个SAE的输入，完成两个SAE的预训练，其编码与解码过程分别如式(4)和(5)所示

h_i＝σ(W₂₁σ(W₁₁x_i+b₁₁)+b₂₁) (4)

o_i＝σ(W₁₂σ(W₂₂h_i+b₂₂)+b₁₂) (5)

式中，h_i为编码过程，W_i1和b_i1为编码过程中第i个SAE的权值和偏置，o_i为解码过程，W_i2和b_i2为解码过程中第i个SAE的权值和偏置，σ为激活函数，如式(6)所示：

3)设置前向算法中的批量训练数，对于青霉素发酵这一间歇过程，一批数据为400个采样点，因此设置批量训练数为400；学习率设置在0-1之间；设置迭代次数为1000；执行前向算法，计算平均激活度ρ_j,表达式为：

式中，h_j(x⁽ⁱ⁾)表示第i个训练样本第j个神经元的激活度；

4)对输出层的每一个神经元，计算稀疏损失函数

式中，第一项为均方误差项，h_w,b(x⁽ⁱ⁾)为对实际输入的输出，o⁽ⁱ⁾为期望输出，第二项为正则化项，防止过拟合，γ为权重衰减系数，又称L2正则系数，取值在0-1之间，第三项是稀疏惩罚项，β为稀疏性惩罚因子，取值在0-1之间，ρ为稀疏性参数；ρ_j为第j个神经元的平均激活度；

5)执行反向传播算法来最小化损失函数J(W,b)得到优化的W和b，并采用梯度下降法在每一次迭代过程中更新一次权重值和偏置值,如式(9)、(10)所示；

式中，ε为学习率，取值在0-1之间；

有监督调优过程：

6)用已预训练的结果初始化编码器权重向量W和偏置向量B参数；

7)设置神经网络的学习率、批量训练数和迭代次数，与无监督预训练时的取值保持一致，在预训练的基础上输入有标签样本(x_(i),y_(i)),执行前向传播算法，得到各层上的激活值；

8)计算网络的损失函数

9)根据梯度下降法更新权值与偏置，从而对整个网络参数进行调优；

C.故障诊断

1)将实际数据经过预处理后作为测试数据，输入到已经训练好的网络；

2)与标签数据对比，输出模型对每类故障的诊断结果。

2.根据权利要求1所述方法，其特征在于：稀疏性参数ρ取0.05。

3.根据权利要求1所述方法，其特征在于：对于青霉素发酵这一间歇过程，一批数据为400个采样点，因此设置批量训练数为400；设置迭代次数为1000。

4.根据权利要求1所述方法，其特征在于：权重衰减系数γ取值在0-1之间，稀疏性惩罚因子β取值在0-1之间。

5.根据权利要求1所述方法，其特征在于：学习率设置在0-1之间。