CN109116834A - 一种基于深度学习的间歇过程故障检测方法 - Google Patents

Abstract

一种基于深度学习的间歇过程故障检测方法。该方法不需要对原始数据进行假设，首先对原始数据进行等长和缩放处理，并以最小重构误差的原则在具有卷积和多个中间层的深层神经网络上进行训练，以非线性的方式自动、精确地进行阶段划分和特征提取；然后在网络的编码层上建立高斯混合模型并进行聚类，在提取特征的同时大大减少了建立模型的计算量；最后结合马氏距离提出全局概率检测指标，实现故障检测。通过在一类半导体蚀刻过程的仿真实验，结果表明该方法可以有效地提高故障检测率。

Description

一种基于深度学习的间歇过程故障检测方法

技术领域

本发明涉故障检测领域，尤其涉及一种基于深度学习的间歇过程故障检测方法。

背景技术

间歇生产过程是一类复杂工业过程，是指生产过程在同一位置而在不同的时间分批进行，已广泛应用于生物制药、食品、半导体加工等工业生产领域，其操作状态不稳定，过程参数随时间而变，与连续生产相比，过程更加复杂多变，即使任意过程微小的异常状况都会影响最终产品的质量，所以找到有效的过程监控方法对间歇过程进行故障检测具有重要意义。

由于不同的操作阶段具有不同的过程特性，使得监测变量会受到时间维度上的影响，所以针对具有多阶段操作特性的间歇生产过程进行正确的操作阶段划分，通过深度学习对实现间歇过程数据的检测具有很重要的作用。

深度学习涉及的模型算法有许多，根据参考文献：Ge Z Q在Chemometrics&Intelligent Laboratory Systems杂志2017-171:16-25发表的Review on data-drivenmodeling and monitoring for plant-wide industrial processes论文中提到的传统的基于数据驱动的多向主元分析(Multiple direction principal component analysis,MPCA)和多向偏最小二乘(Multiple direction partial least squares,MPLS)方法已经被广泛运用于间歇过程的监控，但在具有多工序、非线性、非高斯等特征的间歇过程故障检测中应用不理想，这两种方法均假设过程数据是高斯分布的，且均来自同一个操作阶段，没有考虑间歇过程的多阶段特性及其划分；常玉清,王姝,谭帅等人在自动化学报,2010年36(9):1312-1320提出的基于多时段MPCA模型的间歇过程监测方法研究中提出的基于多时段MPCA模型的间歇过程监测方法研究，依据PCA方法对间歇过程的多阶段进行划分，但该划分方法需要一定的先验知识的假设；王建林,马琳钰,邱科鹏等人仪器仪表学报2017年38(11):2752-2761发表的基于SVDD的多时段间歇过程故障检测中提出的基于SVDD的多时段间歇过程故障检测，利用时间片数据样本集构建的SVDD超球体半径值与支持向量个数的变化划分间歇过程的多时段，不需要假设过程数据服从正态分布及变量间线性相关，同时实现了多时段间歇过程的时段划分和故障检测，但在面对数据量大、种类多的间歇过程，该方法建模速度较慢，易于过拟合。

发明内容

本发明为了解决现有技术问题是：针对间歇过程故障，现有技术在检测过程中建模数据复杂，建模速度慢导致故障检测速度慢的问题，提出一种基于深度学习的间歇过程故障检测方法。

本发明的技术方案是：一种基于深度学习的间歇过程故障检测方法，包括以下步骤：

步骤1：对原始数据进行等长和缩放处理，并以最小重构误差的原则在具有卷积和多个中间层的深层神经网络上进行训练，以非线性的方式进行阶段划分和特征提取；

步骤2：通过深层自编码器在网络的编码层上建立高斯混合模型并进行聚类；

步骤3：结合马氏距离提出全局概率检测指标，实现故障检测。

作为一种优选：所述的等长处理是在所有的批次中找到最短的一批数据，然后以这批数据作为标准，将其他批次的数据的相应区间进行截取，即使得所有批次具有等长数据。解决了间歇过程产生批次长度不完全等长、采样步长不完全等长、采样进程易发生偏移等问题。

作为一种优选：所述的缩放处理是采用训练数据的最大最小值来对测试数据进行缩放处理。这样的缩放处理能最大范围的保证数据的真实性，并能与此同时实现自编码网络能以非线性的方式重构数据。

作为一种优选：所述的深层自编码器是一维卷积自动编码器，用堆叠编码器方式进行逐层预训练，包括编码和解码两个部分；所述的编码部分具体是在神经网络编码层的第一层加入了一维卷积层，首先将一批预处理数据重新排列为二维数据，在局部感受范围内构造全连接神经网络，形成一个卷积核，每个局部感受域可以有多个卷积核，之后每隔一定的卷积步长选取一次局部感受域，并构造同样数目的卷积核，以此类推，所有卷积核之间的权值均不共享，得到降维数据；所述的解码部分，是对降维数据进行重构，并在最后一层设置反卷积层，建立的反卷积层应与卷积层对称，通过训练使得重构数据和预处理数据之间的误差最小。这样做的优势在于：解决了传统的深层自编码器不能处理数据间的多时段特性，而无法提取到不同采样时刻之间的变化信息及变量的动态特性的问题。

作为一种优选：所述的高斯混合模型具体如下：经过一维卷积自动编码器得到N批m维数据x_n∈R^m,n＝1,2,3,…,N，则高斯混合模型的概率密度函数将由下式表示：

其中K是高斯模型的数目，π_k是第k类高斯模型的权重，η(x_n|μ_k,Σ_k)表示第k类服从均值向量和协方差矩阵分别为μ_k,Σ_k的高斯模型的密度函数；该模型通过期望最大化算法的不断迭代来自动确定相应的参数。好处是：高斯混合模型进行建模可以较好地模拟数据分布，并进一步的完善和优化一维卷积自动编码器。

作为一种优选：所述的全局概率检测指标具体是指，当编码网络降维后的测试样本为x_test∈R^m，第k类高斯模型的均值向量和协方差矩阵分别为μ_k,Σ_k，则该样本点到该高斯模型的马氏距离为：

由于近似服从卡方分布，即可以得到测试样本与每个高斯成分的局部概率指标：

而每个测试样本属于第k个高斯成分的后验概率根据贝叶斯公式得：

最终得到作为检测的全局概率指标：

根据α＝0.05的显著性水平判断，如果P(x_test)＞0.95，则表明测试样本为故障样本。解决了融入高斯模型后，由于整个高斯混合模型包括不同阶段和多个高斯成分，使用单一模型的监控指标进行检测不合适的问题。

本发明的有益效果是：

本发明基于的深度学习模型是针对间歇过程的非线性和自适应时段的特殊特征提取方法，并结合高斯混合模型引入全局概率检测指标进行故障检测，得到一维卷积自编码器-高斯混合模型(One dimensional convolution-auto encoder-Gaussian mixturemodel,1DC-AE-GMM)有效融合的一种间歇过程故障检测方法，该发明基于1DC-AE-GMM深度学习模型与现有技术方法比较得出，其故障检测率明显优于不加卷积和反卷积层的网络模型；同时本发明方法该方法在快速建模和检测的同时有效地提高了检测准确率。此外实验发现自编码网络的训练过程具有很大的随机性，导致一些故障不能百分之百地检测出来，但作为一类人工智能模型，自编码网络可以加入有监督训练环节，在得知某个新样本为故障而又无法检测时，可以通过有监督学习该故障样本的特性并记住该类故障，这是传统的MPCA模型无法做到的。

附图说明

图1：数据按批次方向展开图

图2：深层自编码器网络结构图

图3：一维卷积层图

图4：一维反卷积层图

图5：1DC-AE网络结构图

图6：数据训练流程图

图7：三种模型的聚类效果比较图

(a)MPCA-GMM网络聚类效果(b)AE-GMM聚类效果(c)本发明1DC-AE-GMM网络聚类效果

图8：三种模型的批次故障检测结果图

(a)MPCA-GMM故障检测结果(b)AE-GMM故障检测结果(c)本发明1DC-AE-GMM故障检测结果

具体实施方式

设一批等长数据X的批次总数为I，每批的采样数为J，变量数为K，则按批次展开的方式。如图1所示，将三维数据(J×K×I)按批次方向展开为二维矩阵(JK×I)。其中，展开后的矩阵每一列即为一批数据，最终得到训练数据：X＝{x₁,x₂,…,x_I}∈R^JK×I。

与主成分分析(Principal Component Analysis，PCA)不同，自编码网络使用了非线性激活函数来进行非线性转换，如sigmoid函数或tanh函数等非线性函数，为了使自编码网络可以提取特征并重构数据，需要对原始数据进行缩放，否则自编码网络将无法以非线性的方式重构数据。以tanh激活函数为例：

tanh是双曲正切函数，其输出区间为[-1,1]，因此需要数据展开后对其进行缩放处理。具体方法为：

1)对于训练数据X的每一列x_i中的每一个元素x_ik(k＝1,2,…,JK)，采用如下的标准化处理，使数据处在[0,1]区间。

其中，x_ik,std是标准化处理后的数据。

2)对于每一个x_ik,std，按如下方式缩放到[-1,1]区间。

x′_ik＝x_ik,std×2-1 (3)

其中x′_ik是最终缩放处理后的数据。

在线检测阶段将采用训练数据的最大最小值来对测试数据进行缩放处理。除了适应自编码网络，处理后的数据实际上是缩放了间歇过程正常操作下过程变量的平均运行轨迹，在一定程度上降低了变量轨迹中的非线性和动态特性(如进程漂移)对建模的影响，并突出了间歇过程不同操作批次之间的变化信息。

本发明使用的深层自动编码器(AE)及一维卷积(1DC)的介绍：

深层自编码器的基本结构如图2所示，包括编码和解码两个过程。对于高维的原始数据集，编码网络可通过特殊变换找到一组低维数据集，而解码网络属于重构部分，可视为编码网络的逆过程，可将低维数据重构为高维数据。

一般多层自编码器的工作原理如下：采用全连接神经网络的方式构造，首先用限制玻尔兹曼机(Restricted Boltzmann Machine,RBM)初始化编码和解码中的权值，然后按照原始数据和重构数据之间误差最小化的原则对自编码网络进行训练，如采用均分误差损失函数以及反向传播误差导数的链式法则很容易取得各个权重的梯度值，也可按照堆叠编码器(Stacked Auto Encoder，SAE)的方式进行训练，进而将自编码网络的权值训练到最佳值，本文将采用SAE的逐层预训练方式。

对于间歇过程，每一批次的样本数据由多个采样时刻的信息拼接而成，而AE采用全连接网络的方式提取特征则是不合理的，它默认把每个样本点认为一个时刻，并忽略了数据间的多时段特性，而无法提取到不同采样时刻之间的变化信息及变量的动态特性。因而本文在AE的第一层和最后一层分别加入了一维卷积层和反卷积层，以刻画数据的多时段特性，如图3所示。

在一维卷积层中，首先将一批预处理数据(JK×1)重新排列为二维数据(J×K)，在局部感受域(Local receptive field)范围内构造全连接神经网络，形成一个卷积核(Convolution kernel)，每个局部感受域可以有多个卷积核，之后每隔一定的卷积步长选取一次局部感受域，并构造同样数目的卷积核，以此类推，所有卷积核之间的权值均不共享。如图3所示，建立了一个局部感受域长度(卷积核的时域窗长度)为3，卷积核数目为2，卷积步长(strides)为2的一维卷积层，为保证自编码网络的重构数据与原始数据维数相同，之后建立的反卷积层应与卷积层对称，即如图4所示。

有了局部感受域，自编码网络想要更少损失的建立重构数据，就需要学习间歇过程数据中时间序列之间的变化信息，最终形成的一维卷积自动编码器(1DC-AE)网络如图5和数据训练流程图如图6所示。

采用该网络得到的降维数据进行建模不仅可以大大减少了计算量，而且网络不用假设原始数据的分布形式，充分考虑了间歇过程数据间的多时段特性，能有效提高特征提取的精确性。

高斯混合模型(GMM)的说明：

复杂间歇过程往往具有多工况、多阶段特性，而采用高斯混合模型进行建模可以较好地模拟数据分布，并已成功应用到工业过程中的数据分类及故障检测。

假设按批次展开的间歇过程数据经过1DC-AE网络得到N批m维数据x_n∈R^m,n＝1,2,3,…,N，则GMM的概率密度函数将由下式表示：

其中K是高斯模型的数目，π_k是第k类高斯模型的权重，η(x_n|μ_k,Σ_k)表示第k类服从均值向量和协方差矩阵分别为μ_k,Σ_k的高斯模型的密度函数。该模型可以通过期望最大化(EM)算法的不断迭代来自动确定相应的参数。首先给定高斯模型数目K，对每个模型设置π_k,μ_k,Σ_k(k＝1,2,3,…,K)的初始值有如下运算：

期望步(E-step)，根据初始值或上一次迭代所得参数值来计算出隐性变量的后验概率(即隐性变量的期望)，作为隐性变量的现估计值：

C_k表示属于第k类高斯模型，p^(s)(C_k|x_n)表示在第s步迭代中，训练数据x_n属于第k类高斯模型的后验概率。

最大化步(M-step)，将似然函数最大化以获得新的参数值：

式中(s+1)表示第s+1步迭代中相应的参数更新。最终检查参数或对数似然函数是否收敛，若不收敛则返回期望步继续迭代。

在使用训练数据建立起高斯混合模型之后，需要对新批次进行故障检测。由于整个高斯混合模型包括不同阶段和多个高斯成分，使用单一模型的监控指标进行检测不合适，因此需要全局监控概率指标。

假设经过卷积自编码网络降维后的测试样本为x_test∈R^m，第k类高斯模型的均值向量和协方差矩阵分别为μ_k,Σ_k，则该样本点到该高斯模型的马氏距离为：

由于近似服从卡方分布，即可以得到测试样本与每个高斯成分的局部概率指标：

而每个测试样本属于第k个高斯成分的后验概率根据贝叶斯公式得：

最终得到作为检测的全局概率指标：

可根据α＝0.05的显著性水平判断，如果P(x_test)＞0.95，则表明测试样本为故障样本。

基于1DC-AE-GMM的间歇过程故障检测主要包括离线建模和在线检测两个部分。

离线建模：

1)采集间歇过程中的正常历史数据并用第1节所述方法进行等长化处理得到一批训练数据X，同时对其进行按批次展开及缩放处理。

2)根据图5搭建并初始化1DC-AE网络，用训练数据X训练该网络，训练完成后通过网络的中间编码层输出得到降维数据。

3)在降维数据上建立如式(4)所示的高斯混合模型并进行训练，首先设定高斯模型数目K，并通过EM算法即式(5)～(8)的不断迭代，得到高斯混合模型的最优模型参数π_k,μ_k,Σ_k(k＝1,2,3,…,K)。

在线检测：

1)对于测试数据和新的采样点，首先采用和正常历史数据相同的预处理方法(等长化处理、按批次展开及缩放)。

2)通过离线建模阶段训练好的1DC-AE网络进行特征提取和降维，得到测试样本x_test。

3)采用离线建模阶段训练好的GMM模型，并利用式(9)～(12)计算x_test的全局检测概率指标，如果P(x_test)＞0.95，则表明测试样本为故障样本。

本发明故障检测方法的计算量主要集中在离线建模阶段，而在线检测时均为简单的线性计算，对于一般的工业过程来说完全可以保证在线监控的实时性。

实验验证：

以半导体蚀刻工艺过程检测故障数据为例，半导体蚀刻工艺是半导体制造过程中非常重要的一个环节，需要在不同的工况条件下运行，是一个典型的非线性、多时段和多工况的间歇过程。该实验在Lam9600等离子体蚀刻工具上进行堆叠蚀刻，目的是用一种电感耦合的Bl₃/Cl₂等离子体蚀刻TiN/A1-0.5％Cu/TiN/oxide堆叠。该实验所用的金属蚀刻机配备有三种传感器系统：设备状态(machine state)、射频监视器(radiofrequency monitors)和光发射光谱仪(optical emission spectroscopy)。

设备状态传感器在晶片处理期间收集设备数据，包括40个过程设定点，在蚀刻过程中以1秒为间隔进行采样，如气体流量、腔室压力、射频功率等。在这过程中，使用了具有正常变化的19种非设定点过程变量进行监测，如表1所示，并且实验表明这些变量将会影响到晶片最终的状态。本次实验将采用表一所示变量的数据进行。

表1设备状态的过程监测变量

Tab.1 Process monitoring variables for machine state

实验数据集采集于129个晶片，其中包括108个正常硅片和21个故障硅片，故障硅片是分别通过改变实验过程中的TCP功率、RF功率、室压、Cl₂、Bl₃流量或者He夹盘压力，使得21个硅片出现故障。其中正常晶片批次里第56号和故障晶片批次里第12号有大量数据缺失，所以舍去，即共有107批正常数据和20批故障数据。数据首先进行预处理，每批数据等长处理为85个采样时刻，并在正常数据里随机选出97批用于建模，得到X_train∈R^97×1445，其余的10批正常数据X_test∈R^10×1445和20批故障数据X_fault∈R^20×1445用于测试模型故障检测能力。从该过程变量5、7的变化中可见该过程工艺具有批次不等长、多个工况、进程轨迹漂移等复杂特性。

为了更好地说明本文所提方法的有效性，将与传统的MPCA-GMM模型和不包含一维卷积层的AE-GMM模型进行比较，首先分别运用MPCA方法和1DC-AE模型将数据处理为二维，而MPCA模型中提取前两个主元PC1、PC2，卷积自动编码器的中间编码层设置为两个神经元x、y，取局部感受域长度(卷积核的时域窗长度)为5，卷积核数目为1，卷积步长为1，编码层不采用激活函数，其他层激活函数为tanh函数，网络除了卷积层外仅设置一层隐藏层。AE-GMM网络除了不包含卷积层，其它参数将与1DC-AE-GMM网络参数一致。

训练阶段，MPCA训练3秒即可完成，自编码网络视迭代次数不同总体训练时间不同，在GPU加速下每迭代训练一次约为500微秒。训练完成后，分别在三种模型提取到的特征数据上建立GMM模型，设定6个高斯成分，经过EM算法多次迭代后得出得聚类效果如图6所示。

图中画圈部分为基于全局检测概率指标所表示的控制线，圈外即判断为故障点，数字代表故障批次。在本次实验中，MPCA-GMM模型将故障3、6、9、11、14判断为正常，AE-GMM模型将故障2、3、5、6、8、9、11、14、15、20判断为正常，而1DC-AE-GMM模型仅将故障7、11判断为正常，可见本次实验中本文方法的检测效果明显优于其它模型方法。

另外将10批正常测试数据X_test分别对所建模型进行测试，检验模型处理正常数据的能力，详细的批次故障检测图如图8所示。由图8可以看出，本次实验AE-GMM模型对正常数据的检测率最低，将正常批次4、5、10判断为故障批次，而MPCA-GMM模型仅将正常批次9判断为故障批次，略优于1DC-AE-GMM模型。

由于自编码网络建模过程具有随机性，实验将进行多次并统计出三种模型对测试集的检测率，每次随机划分正常数据集和测试集并用于实验，三种方法对正常和故障批次的检测结果如表2所示。

由表2得出，MPCA-GMM无法检测出故障6、9、11，对故障3、14的检测率较低。AE-GMM模型整体的故障检测率明显低于其它两种模型，说明全连接形式的自编码网络无法较好地学习具有多时段特性的数据，而1DC-AE-GMM方法加入一维卷积和反卷积层可以强迫AE网络在得到随机分段了的过程数据的情况下尽可能地重构原始数据，从而有效地提取了间歇过程数据的特征。

本方法可以完全检测故障6、9，而且对故障3、11、14有较高检测率，对正常数据的检测率略低于MPCA-GMM模型，这对于工业过程的故障检测损失不大，总体而言，该方法具有较好的优势。另一方面，自编码网络训练时间要比MPCA方法长，与训练迭代次数和网络复杂度有关，但训练完成后参数固定，其在线检测过程与MPCA模型比较均可在短时间内完成检测，显示了该网络方法的优越性。

表2三种方法在线检测结果比较

总结：本发明的一种针对间歇过程故障检测方法，通过非线性和自适应时段的特殊特征提取方法，并结合高斯混合模型引入全局概率检测指标进行故障检测。得到1DC-AE-GMM方法，通过实验应用于一类半导体蚀刻工艺中进行故障检测，与AE-GMM方法比较得出，其故障检测率明显优于不加卷积和反卷积层的AE网络模型；同时与传统的MPCA-GMM比较得出，该方法在快速建模和检测的同时有效地提高了检测准确率。此外实验发现自编码网络的训练过程具有很大的随机性，导致一些故障不能百分之百地检测出来，但作为一类人工智能模型，自编码网络可以加入有监督训练环节，在得知某个新样本为故障而又无法检测时，可以通过有监督学习该故障样本的特性并记住该类故障，这是传统的MPCA模型无法做到的。

Claims (6)

1.一种基于深度学习的间歇过程故障检测方法，包括以下步骤：

步骤1：对原始数据进行等长和缩放处理，并以最小重构误差的原则在具有卷积和多个中间层的深层神经网络上进行训练，以非线性的方式进行阶段划分和特征提取；

步骤2：通过深层自编码器在网络的编码层上建立高斯混合模型并进行聚类；

步骤3：结合马氏距离提出全局概率检测指标，实现故障检测。

2.根据权利要求1所述的方法，其特征在于：所述的等长处理是在所有的批次中找到最短的一批数据，然后以这批数据作为标准，将其他批次的数据的相应区间进行截取，即使得所有批次具有等长数据。

3.根据权利要求1所述的方法，其特征在于：所述的缩放处理是采用训练数据的最大最小值来对测试数据进行缩放处理。

4.根据权利要求1所述的方法，其特征在于：所述的深层自编码器是一维卷积自动编码器，用堆叠编码器方式进行逐层预训练，包括编码和解码两个部分；所述的编码部分具体是在神经网络编码层的第一层加入了一维卷积层，首先将一批预处理数据重新排列为二维数据，在局部感受范围内构造全连接神经网络，形成一个卷积核，每个局部感受域可以有多个卷积核，之后每隔一定的卷积步长选取一次局部感受域，并构造同样数目的卷积核，以此类推，所有卷积核之间的权值均不共享，得到降维数据；所述的解码部分，是对降维数据进行重构，并在最后一层设置反卷积层，建立的反卷积层应与卷积层对称，通过训练使得重构数据和预处理数据之间的误差最小。

5.根据权利要求4所述的方法，其特征在于：所述的高斯混合模型具体如下：经过一维卷积自动编码器得到N批m维数据x_n∈R^m，n＝1，2，3，…，N，则高斯混合模型的概率密度函数将由下式表示：

其中K是高斯模型的数目，π_k是第k类高斯模型的权重，η(x_n|μ_k，∑_k)表示第k类服从均值向量和协方差矩阵分别为μ_k，∑_k的高斯模型的密度函数；该模型通过期望最大化算法的不断迭代来自动确定相应的参数。

6.根据权利要求1所述的方法，其特征在于：所述的全局概率检测指标具体是指，当编码网络降维后的测试样本为x_test∈R^m，第k类高斯模型的均值向量和协方差矩阵分别为μ_k，∑_k，则该样本点到该高斯模型的马氏距离为：

由于近似服从卡方分布，即可以得到测试样本与每个高斯成分的局部概率指标：

而每个测试样本属于第k个高斯成分的后验概率根据贝叶斯公式得：

最终得到作为检测的全局概率指标：

根据α＝0.05的显著性水平判断，如果P(x_test)＞0.95，则表明测试样本为故障样本。