CN109740687B - 一种基于dlae的发酵过程故障监测方法 - Google Patents

Abstract

本发明公开了一种对青霉素发酵过程进行实时故障监测的新方法，包括“离线建模”和“在线监测”两个阶段。“离线建模”包括：首先对发酵过程的三维数据进行处理；之后分别计算各个发酵批次数据的拉普拉斯矩阵，用以表示批次内数据局部结构信息；最后利用降噪拉普拉斯自动编码器(DLAE)进行建模构造监控统计量，并利用核密度估计方法确定控制限。“在线监测”包括：对新采集的数据按照模型进行处理，计算其统计量并与控制限进行比较判断发酵过程是否运行正常。本发明能有效利用批次内数据局部结构，同时降低了拉普拉斯自动编码器训练成本及硬件需求。同时采用降噪训练方式增强了模型鲁棒性，故障监测的准确率较高。

Description

一种基于DLAE的发酵过程故障监测方法

技术领域

本发明涉及基于数据驱动的故障诊断技术领域，特别是涉及一种针对间歇过程的故障诊断技术。本发明的基于数据驱动的方法即是在典型间歇过程——青霉素发酵过程故障监测方面的具体应用。

背景技术

近几十年来，间歇过程因其可以满足生产高附加值产品的需求而受到广泛关注。但其机理复杂、操作复杂度高、产品质量易受不确定性因素的影响。青霉素发酵过程作为典型的间歇过程，具有较强的非线性、动态性、混合高斯分布等特点，为了保证发酵过程操作系统的安全性和稳定性，建立一种有效的过程监控方案来及时地检测异常现象是十分有必要的。

目前，多元统计技术已经广泛应用到间歇过程(包括发酵过程)的过程监控。其中应用较多的方法有多向主成分分析(Multi-way Principal Component Analysis，MPCA)和多向偏最小二乘分析(Multi-way Partial Least Squares，MPLS)，然而这些方法是线性统计方法，对于复杂的实际间歇过程，变量之间往往呈现出很强的非线性相关关系特性。核方法如多向核主成分分析MKPCA和多向核偏最小二乘分析MKPLS可解决非线性问题，但当过程变量众多且采样值数量大，核矩阵K的运算将变得十分复杂，同时核主元的个数对整体的监控性能影响较大。自动编码器(Autoencoder，AE)可以看做PCA的非线性扩展，能够提取工业数据的非线性特征。但AE是基于数据全局结构的特征提取方法，并未考虑数据的局部结构信息，且隐层特征鲁棒性较差，容易受到噪声干扰。这些都极大限制了AE的故障监控性能。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于降噪拉普拉斯自动编码器(Denoising Laplacian Autoencoder，DLAE)的发酵过程故障监测方法。首先将三维的发酵过程数据展开标准化，分别计算每个发酵批次的拉普拉斯矩阵，用于构建拉普拉斯正则项，表示批次内数据局部结构信息。然后引入加噪和去噪的步骤，通过小批量梯度下降算法训练DLAE模型，每次迭代使用一个发酵批次样本以及对应的拉普拉斯矩阵。本发明方法在有效提取数据局部结构信息的同时避免了数据量较大造成的拉普拉斯自动编码器的训练困难。此外，通过降噪的方式训练模型，提高了模型的鲁棒性，有效减少过程监测中误报、漏报的发生，提高故障监测的准确性。

本发明采用了如下的技术方案及实现步骤：

A.离线建模阶段：

1)采集发酵过程正常工况下的历史数据，由离线测试得到的同一发酵过程相同工艺下的I批次数据构成样本集X＝(X₁,X₂,...,X_I)^T，其中X_i表示第i批次数据，每个批次包含K个采样时刻，每个采样时刻采集J个过程变量，即X_i＝(X_i,1,X_i,2,...,X_i,K)，其中X_i,k表示第i批次第k采样时刻采集的数据，X_i,k＝(x_i,k,1,x_i,k,2,...,x_i,k,J)，其中x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值；

2)对历史数据X进行标准化处理，处理方式如下：

首先计算历史数据X的所有时刻上所有过程变量的均值和标准方差，其中第k采样时刻的第j个过程变量的均值

的计算公式为，

x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值，k＝1,...,K，j＝1,...,J；第k采样时刻的第j个过程变量的标准方差s_k,j的计算公式为，

然后对历史数据X进行标准化，其中第i批次中第k采样时刻的第j个过程变量的标准化计算公式如下：

其中，i＝1,...,I，j＝1,...,J，k＝1,...,K；

3)将步骤2)标准化后的数据重新构造成三维矩阵X'，该矩阵共有I个批次，即X'＝(X’₁,X'₂,...,X’_I)^T，其中第i个批次数据X’_i＝(X’_i,1,...,X’_i,K)，X’_i,k＝(X’_i,k,1,...,X’_i,k,J)，其中X’_i,k,j表示经过步骤2)标准化处理后的第i个批次中第k个采样时刻第j个过程变量的值，其中i＝1,...,I，k＝1,...,K，j＝1,...,J；

4)分别计算每个发酵批次的拉普拉斯矩阵，对于步骤3)标准化后的第i批次数据X’_i＝(X’_i,1,X’_i,2,...,X’_i,K)，其拉普拉斯矩阵Lⁱ求取方式如下：

利用k近邻法确定X’_i中各样本X’_i,k的邻域N(X’_i,k)，即与X’_i,k距离最近的k个样本点。X’_i中第k时刻样本X’_i,k和第l时刻样本X’_i,l的邻接权系数

求取方式为：

由此构造第i批次数据的邻接权矩阵Sⁱ：

第i批次数据的对角矩阵Dⁱ中对角线元素求取方式如下：

第i批次的拉普拉斯矩阵Lⁱ的计算方式如下：

Lⁱ＝Dⁱ-Sⁱ

5)建立降噪拉普拉斯自动编码器模型，具体包括以下步骤：

(5.1)确定降噪拉普拉斯自动编码器网络结构，包括输入层、隐含层和输出层，输入为加入掩蔽噪声的步骤3)标准化后的发酵过程数据，输出为步骤3)标准化后的发酵过程数据。由输入层到隐含层为编码过程，具体形式为：

其中，

为加入掩蔽噪声的第i批次中第k采样时刻标准化后的数据，H_i,k为

的隐含层编码，σ为隐含层激活函数，W和b分别为输入层到隐含层的连接权值和偏置向量；由隐含层到输出层为解码过程，具体形式为：

R_i,k＝W′H_i,k+b′

其中，R_i,k为输入

后输出层所产生的实际输出向量，W′和b′分别为隐含层到输出层的连接权值和偏置向量；

(5.2)对网络参数θ＝{W,W′,b,b′}进行随机初始化，采用小批量梯度下降算法迭代训练降噪拉普拉斯自动编码器，每次迭代使用一个发酵批次样本X_i'来对参数θ进行更新；定义降噪拉普拉斯自动编码器损失函数为：

其中，K为第i个批次中的样本个数，X’_i,k为第i个批次中第k时刻的样本，R_i,k为X’_i,k加入掩蔽噪声输入网络得到的输出层实际输出，λ为平衡参数，取值在0-1之间，trace(·)为求矩阵的迹，Lⁱ为步骤4)中得到的第i批次数据的拉普拉斯矩阵，H_i＝(H_i,1,H_i,2,...,H_i,K)为第i批次数据X’_i的隐含层编码；

6)计算建模数据相应的SPE统计量，SPE＝(SPE₁,...,SPE_I)，SPE_i＝(SPE_i,1,...,SPE_i,K)，i＝1,...,I，k＝1,...,K，第i个批次中第k个采样时刻的SPE统计量定义如下：

SPE_i,k＝(X’_i,k-R_i,k)^T(X’_i,k-R_i,k)

X’_i,k为第i个批次中第k个采样时刻的样本，R_i,k为输入X’_i,k到训练好的降噪拉普拉斯自动编码器得到的实际输出；最后，利用核密度估计方法估计上述求得的SPE统计量在预设置信限时的估计值，并将其作为SPE统计量的控制限；

B.在线监测阶段：

7)采集当前发酵过程第k采样时刻的J个过程变量的数据x_k，并根据步骤2)中得到的k时刻的均值和标准方差对其进行标准化得到

其中第k采样时刻的第j个过程变量

的标准化公式如下：

其中，x_k,j为当前第k采样时刻所采集发酵数据中的第j个过程变量，

为第k采样时刻的第j个过程变量的平均值，s_k,j为第k采样时刻的第j个过程变量的标准方差，j＝1,...,J，k＝1,...,K；

8)计算当前发酵过程第k时刻采集数据的监控统计量SPE_k，计算公式如下：

其中，r_k为将

输入离线建模阶段步骤5)中降噪拉普拉斯自动编码器模型得到的输出向量；

9)将上述计算得到的监控统计量SPE_k与建模阶段的步骤6)确定的控制限进行比较，如果超限则认为发生故障，进行报警；否则即为正常。

10)若发酵过程完毕，则终止监测；否则采集下一时刻的数据，返回步骤7)，继续进行过程监测。

有益效果

1)本发明方法采用拉普拉斯自动编码器建立监控模型，有效利用批次内数据局部结构进行监控建模，相比传统自动编码器对故障更加敏感，可以减少过程监测中误报、漏报的发生。并且模型训练的每次迭代使用一个发酵批次样本和该批次的拉普拉斯矩阵对参数进行更新，降低了拉普拉斯自动编码器的训练成本及硬件需求。

2)本发明结合降噪自动编码器，在拉普拉斯自动编码器的基础上引入了加噪和去噪步骤，增强了监控模型的鲁棒性，提高了故障监测的准确性。

附图说明

图1为本发明的方法流程图；

图2为正常数据X_40×10×400组成形式示意图；

图3为标准化后重新构造的三维矩阵X'组成形式示意图；

图4为本发明的自动编码器结构；

图5为现有AE方法对正常批次数据的SPE监测图；

图6为本发明方法对正常批次数据的SPE监测图；

图7为现有AE方法对阶跃故障批次数据的SPE监测图；

图8为本发明方法对阶跃故障批次数据的SPE监测图；

图9为现有AE方法对斜坡故障批次数据的SPE监测图；

图10为本发明方法对斜坡故障批次数据的SPE监测图。

其中，图1中的虚线表示“在线监测”与“离线建模”各步骤之间存在的联系。

具体实施方式

青霉素是一种高效、低毒、临床应用广泛的重要抗生素，其生产过程是一个典型的动态、非线性、多阶段的间歇生产过程。美国Illinois州立理工学院过程监控与技术小组开发的青霉素仿真平台PenSim2.0，为青霉素间歇生产过程的监测、故障诊断以及控制提供了一个标准平台。在此平台上可以实现青霉素发酵过程的一系列仿真，相关研究已表明该仿真平台的实用性与有效性，其已经成为国际上较有影响的青霉素仿真平台。

本实验即以PenSim2.0为仿真研究对象，设置采样时间间隔为1h，选取10个过程变量监视过程运行状况，如表1所示。仿真了41批正常数据，2批故障数据，每个批次400小时。其中选择40批正常数据X_40×10×400用于建立模型，另外1批正常数据和2批故障数据作为测试数据，用于验证方法的有效性。设置的2种故障类型、幅度、起止时间，见表2。

表1建立模型所用变量

表2故障设置情况

将本发明方法应用到上述发酵过程仿真对象包括离线建模和在线监测两个大步骤，具体陈述如下：

A.离线建模阶段：

步骤1：将上述40批正常数据X_40×10×400沿批次方向展开，具体形式见图2。可以看到一共有400个矩形框(即400个时刻)，每个矩形框都由40行10列构成(即40个批次，10个变量)；

步骤2：对X_40×10×400进行标准化处理。首先按公式

计算第k采样时刻的第j个过程变量在所有批次上的均值，其中x_i,k,j为X_40×10×400第i批次中第k采样时刻的第j个过程变量的测量值，k＝1,...,400，j＝1,...,10；第k采样时刻的第j个过程变量的标准方差s_k,j的计算公式为，

然后对X_40×10×400进行标准化，其中第i批次中第k采样时刻的第j个过程变量的标准化计算公式如下：

其中，i＝1,...,40，j＝1,...,10，k＝1,...,400；

步骤3：将步骤2)标准化后的数据重新构造成三维矩阵X'，见图3，可以看到一共有40个矩形框(即40个批次)，每个矩形框都由400行10列构成(即400个时刻，10个变量)；

步骤4：分别计算各个发酵批次的拉普拉斯矩阵：利用k近邻法确定第i批次数据X’_i＝(X’_i,1,X’_i,2,...,X’_i,K)中各时刻样本X’_i,k的邻域N(X’_i,k)，近邻数k＝10，X’_i中第k时刻样本X’_i,k和第l时刻样本X’_i,l的邻接权系数

求取方式为：

由此构造第i批次数据的邻接权矩阵Sⁱ：

Sⁱ由400行400列构成(即400个时刻样本两两间的邻接权系数)，对角矩阵Dⁱ的对角线元素计算方式为

由此可得到第i批次数据的拉普拉斯矩阵Lⁱ＝Dⁱ-Sⁱ；

步骤5：设计用于发酵过程监控建模的降噪拉普拉斯自动编码器网络，具体形式见图4。确定网络10-5-10的连接方式，即输入层神经元为10个，隐含层神经元为5个，输出层神经元为10个，由输入层到隐含层为编码过程，具体形式为：

其中，

为加入0.1比例掩蔽噪声的第i批次中第k采样时刻标准化后的数据，H_i,k为

的隐含层编码，σ为sigmoid函数，W和b分别为输入层到隐含层的连接权值和偏置向量；由隐含层到输出层为解码过程，具体形式为：

R_i,k＝W′H_i,k+b′

其中，R_i,k为输入

后输出层所产生的实际输出向量，W′和b′分别为隐含层到输出层的连接权值和偏置向量；

然后在(-1,1)的范围内对参数θ＝{W,W′,b,b′}进行随机初始化，采用小批量梯度下降算法迭代训练降噪拉普拉斯自动编码器，每次迭代使用一个发酵批次样本X’_i来对参数θ进行更新，定义损失函数为：

其中，K为第i个批次中的样本个数，X’_i,k为第i个批次中第k时刻的样本，R_i,k为X’_i,k加入掩蔽噪声输入网络得到的输出层实际输出，λ＝0.5，trace(·)为求矩阵的迹，Lⁱ为步骤4中得到的第i批次数据的拉普拉斯矩阵，H_i＝(H_i,1,H_i,2,...,H_i,K)为第i批次数据X’_i的隐含层编码；

步骤6：计算建模数据相应的SPE统计量，SPE＝(SPE₁,...,SPE_I)，SPE_i＝(SPE_i,1,...,SPE_i,K)，i＝1,...,I，k＝1,...,K，第i个批次中第k个采样时刻的SPE统计量计算方式如下：

SPE_i,k＝(X’_i,k-R_i,k)^T(X’_i,k-R_i,k)

其中，X’_i,k为第i个批次中第k个采样时刻的样本，R_i,k为输入X’_i,k到训练好的降噪拉普拉斯自动编码器得到的实际输出；最后，利用Matlab中的核密度估计函数“ksdensity”估计上述求得的SPE统计量在置信限为0.99时的值，并将其作为SPE的控制限；

B.在线监测阶段：

步骤7：采集当前发酵过程第k采样时刻的10个过程变量的数据x_k，并根据步骤2中得到的k时刻的均值和标准方差对其进行标准化得到

其中第k采样时刻的第j个过程变量

的标准化公式如下：

其中，x_k,j为当前第k采样时刻所采集发酵数据中的第j个过程变量，

为第k采样时刻的第j个过程变量的平均值，s_k,j为第k采样时刻的第j个过程变量的标准方差，j＝1,...,10；

步骤8：计算标准化后的k时刻采集数据

的监控统计量SPE_k，计算公式如下：

其中，r_k为将

输入离线建模阶段步骤5中降噪拉普拉斯自动编码器模型得到的输出向量；

步骤9：将上述计算得到的监控统计量SPE_k与建模阶段的步骤6确定的控制限进行比较，如果超限则认为发生故障，进行报警；否则即为正常。

步骤10：若发酵过程完毕，则终止监测；否则采集下一时刻的数据，返回步骤7，继续进行过程监测。

上述步骤即为本发明方法在青霉素发酵仿真平台故障监测领域的具体应用。为了验证本方法的有效性，对3批测试数据分别进行了在线监测阶段的实验。得到的实验结果见图5至图10，每幅图分别包括与横坐标平行的虚线和曲线，其中与横坐标平行的虚线为通过核密度估计方法确定的控制限，曲线为实时的监测值。如果曲线的值大于控制限的值，说明在此时刻发酵过程发生了故障；否则说明发酵过程运行正常。

图5和图6分别为现有AE方法和本发明方法对正常批次数据的监测效果图。图5中与横坐标平行的虚线为控制限，曲线为实时的SPE监测值；图6中与横坐标平行的虚线为控制限，曲线为实时的SPE监测值。可以发现，图5中的SPE监测图在第91、93、201时刻发生了3次超限，为误报警；而本发明方法的SPE监测图没有发生任何误报警，监测效果较好。图7和图8分别为现有AE方法和本发明方法对阶跃故障批次数据的监测效果图。图7中与横坐标平行的虚线为控制限，曲线为实时的SPE监测值；图8中与横坐标平行的虚线为控制限，曲线为实时的SPE监测值。由于故障1为较大的阶跃型故障，两种监测方法均可有效的检测出故障的发生。但是现有方法依然存在较多的误报警，比如图7中的SPE统计量在第30、106、151、297、302时刻均发生了误报警，而本发明方法没有任何误报警，且检测到的故障阶跃幅值更大，显示出更好的监测效果。图9和图10分别为现有AE方法和本发明方法对斜坡故障批次数据的监测效果图。图9中的横线为控制限，曲线为实时的SPE监测值；图10中的横线为控制限，曲线为实时的SPE监测值。图9中的SPE统计量在第59、95、122、161、177时刻均发生了误报警，而本发明方法没有任何误报警。由于此故障为缓慢变化的斜坡故障，两种监测方法均不能及时检测出在第200时刻发生的故障，有一定的延时性。其中，图9中的SPE监测图在第206时刻开始检测到故障，但在之后的210、211、212、213、216、219时刻均出现了漏报警；图10中的SPE监测图在第205时刻开始检测到故障。相比之下，本发明方法在故障检测的及时性和鲁棒性方面优于现有AE方法。

为了更形象地对比现有方法与本发明方法应用于发酵过程故障监测的有效性，对上述三批测试数据的监测效果列表对比如下：

表3故障检测情况

注：1)未发生故障时不产生警报的样本数目加上故障发生后报警的样本数目总和与总的样本数目比值；2)未发生故障时产生报警的样本与正常样本数目比值；3)发生故障后未报警的样本与故障样本数目的比值.

从上表3不难发现，无论是在误报率、漏报率方面还是在准确率方面，本发明方法均比现有方法有所提升，提高了青霉素发酵过程故障监测效果。

Claims (1)

1.一种基于降噪拉普拉斯自动编码器(Denoising Laplacian Autoencoder，DLAE)的发酵过程故障监测方法，其特征包括“离线建模”和“在线监测”两个阶段，具体步骤如下：

A.离线建模阶段：

1)采集发酵过程正常工况下的历史数据，由离线测试得到的同一发酵过程相同工艺下的I批次数据构成样本集X＝(X₁,X₂,...,X_I)^T，其中X_i表示第i批次数据，每个批次包含K个采样时刻，每个采样时刻采集J个过程变量，即X_i＝(X_i,1,X_i,2,...,X_i,K)，其中X_i,k表示第i批次第k采样时刻采集的数据，X_i,k＝(x_i,k,1,x_i,k,2,...,x_i,k,J)，其中x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值；

2)对历史数据X进行标准化处理，处理方式如下：

首先计算历史数据X的所有时刻上所有过程变量的均值和标准方差，其中第k采样时刻的第j个过程变量的均值

的计算公式为，

x_i,k,j表示第i批次中第k采样时刻的第j个过程变量的测量值，k＝1,...,K，j＝1,...,J；第k采样时刻的第j个过程变量的标准方差s_k,j的计算公式为，

然后对历史数据X进行标准化，其中第i批次中第k采样时刻的第j个过程变量的标准化计算公式如下：

3)将步骤2)标准化后的数据重新构造成三维矩阵X′，该矩阵共有I个批次，即X′＝(X′₁,X′₂,...,X′_I)^T，其中第i个批次数据X′_i＝(X′_i,1,...,X′_i,K)，X′_i,k＝(X′_i,k,1,...,X′_i,k,J)，其中X′_i,k,j表示经过步骤2)标准化处理后的第i个批次中第k个采样时刻第j个过程变量的值；

4)分别计算每个发酵批次的拉普拉斯矩阵，对于步骤3)标准化后的第i批次数据X′_i＝(X′_i,1,X′_i,2,...,X′_i,K)，其拉普拉斯矩阵Lⁱ求取方式如下：

利用k近邻法确定X′_i中各样本X′_i,k的邻域N(X′_i,k)，即与X′_i,k距离最近的k个样本点；X′_i中第k时刻样本X′_i,k和第l时刻样本X′_i,l的邻接权系数

求取方式为：

由此构造第i批次数据的邻接权矩阵Sⁱ：

第i批次数据的对角矩阵Dⁱ中对角线元素求取方式如下：

第i批次的拉普拉斯矩阵Lⁱ的计算方式如下：

Lⁱ＝Dⁱ-Sⁱ

5)建立降噪拉普拉斯自动编码器模型，具体包括以下步骤：

(5.1)确定降噪拉普拉斯自动编码器网络结构，包括输入层、隐含层和输出层，输入为加入掩蔽噪声的步骤3)标准化后的发酵过程数据，输出为步骤3)标准化后的发酵过程数据，由输入层到隐含层为编码过程，具体形式为：

其中，

为加入掩蔽噪声的第i批次中第k采样时刻标准化后的数据，H_i,k为

的隐含层编码，σ为隐含层激活函数，W和b分别为输入层到隐含层的连接权值和偏置向量；由隐含层到输出层为解码过程，具体形式为：

R_i,k＝W′H_i,k+b′

其中，R_i,k为输入

后输出层所产生的实际输出向量，W′和b′分别为隐含层到输出层的连接权值和偏置向量；

(5.2)对网络参数θ＝{W,W′,b,b′}进行随机初始化，采用小批量梯度下降算法迭代训练降噪拉普拉斯自动编码器，每次迭代使用一个发酵批次样本X′_i来对参数θ进行更新；定义降噪拉普拉斯自动编码器损失函数为：

其中，K为第i个批次中的样本个数，X′_i,k为第i个批次中第k时刻的样本，R_i,k为X′_i,k加入掩蔽噪声输入网络得到的输出层实际输出，λ为平衡参数，取值在0-1之间，trace(·)为求矩阵的迹，Lⁱ为步骤4)中得到的第i批次数据的拉普拉斯矩阵，H_i＝(H_i,1,H_i,2,...,H_i,K)为第i批次数据X_i′的隐含层编码；

6)计算建模数据相应的SPE统计量，SPE＝(SPE₁,...,SPE_I)，SPE_i＝(SPE_i,1,...,SPE_i,K)，第i个批次中第k个采样时刻的SPE统计量定义如下：

SPE_i,k＝(X′_i,k-R_i,k)^T(X′_i,k-R_i,k)

X′_i,k为第i个批次中第k个采样时刻的样本，R_i,k为输入X′_i,k到训练好的降噪拉普拉斯自动编码器得到的实际输出；最后，利用核密度估计方法估计求得的上述SPE统计量在预设置信限时的估计值，并将其作为SPE统计量的控制限；

B.在线监测阶段：

7)采集当前发酵过程第k采样时刻的J个过程变量的数据x_k，并根据步骤2)中得到的k时刻的均值和标准方差对其进行标准化得到

其中第k采样时刻的第j个过程变量

的标准化公式如下：

其中，x_k,j为当前第k采样时刻所采集发酵数据中的第j个过程变量，

为第k采样时刻的第j个过程变量的平均值，s_k,j为第k采样时刻的第j个过程变量的标准方差；

8)计算当前发酵过程第k时刻采集数据的监控统计量SPE_k，计算公式如下：

其中，r_k为将

输入离线建模阶段步骤5)中降噪拉普拉斯自动编码器模型得到的输出向量；

9)将上述计算得到的监控统计量SPE_k与建模阶段的步骤6)确定的控制限进行比较，如果超限则认为发生故障，进行报警；否则即为正常；

10)若发酵过程完毕，则终止监测；否则采集下一时刻的数据，返回步骤7)，继续进行过程监测。

Images