CN106649789B - 一种基于集成半监督费舍尔判别的工业过程故障分类方法 - Google Patents

Abstract

本发明公开了一种基于集成半监督费舍尔判别的工业过程故障分类方法，该方法首先进行离线建模，对无标签数据进行随机采样，并与有标签数据组成若干个随机训练子集，然后进行半监督费舍尔降维，获得多个费舍尔判别矩阵。将降维后的样本数据根据贝叶斯统计方法得到一系列的后验概率矩阵，将有标签数据的后验概率矩阵和对应的标签作为度量层融合算法K近邻的训练样本。在线分类时调用上述各个半监督费舍尔判别分类器得到每个在线待测样本的后验概率矩阵，输入到度量层融合K近邻分类器中得到最终的故障分类结果。相比目前其他方法，本发明提高了工业过程的故障分类效果，增强了过程操作员对过程的掌握和操作信心，更加有利于工业过程的自动化实施。

Description

一种基于集成半监督费舍尔判别的工业过程故障分类方法

技术领域

本发明属于工业过程控制领域，尤其涉及一种基于集成半监督费舍尔判别的工业过程故障分类方法。

背景技术

作为过程系统工程的重要组成部分，过程监测技术对于保障过程安全及提高产品质量等现代流程工业的核心目标而言，具有重大的研究意义和应用价值。得益于过程工业控制技术的不断发展，集散控制系统(DCS)在流程工业中得到了广泛应用，流程工业因而采集到了海量的过程数据。因此，基于多变量统计和模式识别的过程监测技术受到了学术界和工业界的普遍关注，成为过程监测领域的研究热点。近二十年来，大量的研究成果和应用随之产生。

虽然传统的模式识别的故障分类方法，如基于聚类或分类的方法在过程监测领域已经取得了不错的进展，可是工业过程的实际数据往往是比理想的假设前提要复杂得多。其中，现代工业过程广泛存在如故障数据数目与正常数据数目极其不均衡，训练样本的标签丢失或者变量丢失等问题。基于监督学习的故障分类方法在面对训练样本较少的情况，会出现学习得到的特征空间对少量样本过拟合的问题。可是，实际工业过程会有大量无标签数据伴随产生，这些数据含有对于分析过程信息的有用信息，如果能够有效利用这些信息，那么数据驱动的故障分类方法会得到更优的结果，因此半监督算法的引入是解决这一问题的重要途径。但实际问题是，半监督学习的表现并不稳定，在特定的数据下表现可能还不如有监督学习的效果。集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。分类器融合中的度量层融合属于集成学习的一个分支。本发明采用将半监督学习和集成学习相结合的方法，通过半监督算法利用无标签数据中所包含的大量信息，用集成算法的泛化能力提高半监督算法表现不稳定的缺陷，两种算法的结合可以互为补充泛化出更稳定更准确的学习模型，提高工业过程故障分类的准确率。

发明内容

本发明的目的在于针对现有方法的假设局限，提供一种基于集成半监督费舍尔判别的工业过程故障分类方法。

本发明的目的是通过以下技术方案来实现的：一种基于集成半监督费舍尔判别的工业过程故障分类方法，包括以下步骤：

(1)利用系统收集过程正常工况的数据以及各种故障数据组成建模用的有标签训练样本集：假设故障类别为C,在加上一个正常类，建模数据的总类别为C+1,即X_i＝[x₁；x₂；…；x_n]i＝1,2,…,C+1。其中X_i∈R^n×m，n为训练样本数，m为过程变量数，R为实数集，R^n×m表示X满足n×m的二维分布。所以完整的有标签训练样本集为X_l＝[X₁；X₂；…；X_C+1],X∈R^{((C +1)*n)*m}，记录所有数据的标签信息，正常工况下标记标签为1，故障1标签为2，以此类推，即Y_i＝[i；i；…；i]i＝1,2,…,C+1，完整的标签集为Y_l＝[Y₁,Y₂,…,Y_C+1],Y_l∈R^{1×((C+1)*n)*m}。将这些数据存入历史数据库作为有标签数据集。

(2)利用系统收集若干工况及故障情况未知的数据组成建模用的无标签训练样本集：X_u＝[x_u1；x_u2；…；x_uq],X_u∈R^q×m，其中q为训练样本数，m为过程变量数，R为实数集，R^q×m表示X满足q×m的二维分布。将这些数据存入历史数据库作为无标签数据集。

(3)从数据库中调用训练用的有标签数据和无标签数据数据X_l,X_u，对其进行预处理和归一化，使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为

(4)设定迭代次数即弱分类器个数为G，每次在无标签数据矩阵集中随机抽取α％的数据和有标签数据矩阵集组成训练子集在每个训练子集下建立不同的半监督费舍尔判别分类器模型。

(5)在有标签数据矩阵集下，利用不同的分类器模型和参数，计算每个样本x_i的度量矩阵P_i,i＝1,2,…,(C+1)*n，并且P_i∈R^g×(C+1)。

(6)将建模数据和各个模型参数以及各个有标签数据的度量层矩阵存入历史数据库中备用。

(7)在线收集新的过程数据X_new，并对其进行预处理和归一化使得各个过程变量的均值为零，方差为1，得到分别采用不同的半监督费舍尔判别模型对其进行监测得到度量层矩阵。

(8)将在线过程数据的度量层矩阵和之前得到的有标签数据度量层矩阵及其标签进行K近邻融合，得到待分类过程数据的最终分类结果。

本发明的有益效果是：本发明通过对每一个故障数据分别进行不同分类器方法下的分析和建模。然后，通过层次分析法对不同分类器的分类效果做出打分评价，最后结合模糊融合方法将不同分类器方法下的分类结果进行集成融合，得到最终的分类结果。相比目前的其他故障分类方法，本发明不仅提高了工业过程的监测效果，增加了分类的准确性，使工业生产更加安全可靠，而且在很大程度上改善了单一故障分类方法的局限性，以及分类方法对过程知识的依赖性，增强了过程操作员对过程状态的掌握，更加有利于工业过程的自动化实施。

附图说明

图1为FDA处理的结果示意图；

图2为SFDA处理的结果示意图；

图3为迭代次数G为7时的半监督费舍尔判别度量层融合算法(ESFDA)的分类结果图。

具体实施方式

本发明针对工业过程的故障分类问题，该方法，首先利用集散控制系统收集正常工作状态下的数据以及几种故障数据作为训练数据集，先进行离线建模，对大量的无标签数据进行随机采样，并与全部的有标签数据组成若干个随机训练子集，然后进行半监督费舍尔降维，获得多个费舍尔判别矩阵(由r个费舍尔判别向量组成，r为降维后的维度)。将降维后的样本数据进行贝叶斯分类得到一系列的后验概率矩阵，将有标签数据的后验概率矩阵和对应的标签作为度量层融合算法K近邻的训练样本。最后，在线分类时调用上述各个半监督费舍尔判别分类器得到每个样本的后验概率矩阵，输入到度量层融合K近邻分类器中得到最终的故障分类结果。

本发明采用的技术方案的主要步骤分别如下：

第一步 利用系统收集过程正常工况的数据以及各种故障数据组成建模用的有标签训练样本集：假设故障类别为C,在加上一个正常类，建模数据的总类别为C+1,即X_i＝[x₁；x₂；…；x_n]i＝1,2,…,C+1。其中X_i∈R^n×m，n为训练样本数，m为过程变量数，R为实数集，R^n×m表示X满足n×m的二维分布。所以完整的有标签训练样本集为X_l＝[X₁；X₂；…；X_C+1],X∈R^{((C +1)*n)*m}，记录所有数据的标签信息，正常工况下标记标签为1，故障1标签为2，以此类推，即Y_i＝[i；i；…；i]i＝1,2,…,C+1，完整的标签集为Y_l＝[Y₁,Y₂,…,Y_C+1],Y_l∈R^{1×((C+1)*n)*m}。将这些数据存入历史数据库作为有标签数据集。

第二步 利用系统收集若干工况及故障情况未知的数据组成建模用的无标签训练样本集：X_u＝[x_u1；x_u2；…；x_uq],X_u∈R^q×m，其中q为训练样本数，m为过程变量数，R为实数集，R^{q ×m}表示X满足q×m的二维分布。将这些数据存入历史数据库作为无标签数据集。

第三步 从数据库中调用训练用的有标签数据和无标签数据数据X_l,X_u，对其进行预处理和归一化，使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为

第四步 设定迭代次数即弱分类器个数为G，G的选取视具体工况数据表现而定，每次在无标签数据矩阵集中随机抽取α％的数据和有标签数据矩阵集组成训练子集在每个训练子集下建立不同的半监督费舍尔判别分类器模型。

具体步骤如下：

a)根据FDA算法计算有监督FDA的类间散度矩阵S_b和类内散度矩阵S_w，计算方法如下所示：

其中权值矩阵与定义为

b)根据无监督降维方法PCA进行全局散度矩阵的计算，整理成与FDA的对应形式，计算方法如下所示：

其中为n×n维矩阵，且

c)计算半监督费舍尔判别(SFDA)的正则化类间散度矩阵S_rb与正则化类内散度矩阵S_rw，计算方法如下所示：

S_rb＝(1-β)S_b+βS_t (5)

S_rw＝(1-β)S_w+βI_m (6)

其中其中I_m是m维的单位对角矩阵，β∈[0,1]是调整参数，负责设置SFDA的平滑性。当β的值比较大时，SFDA更倾向于无监督学习的PCA。反之，则SFDA更接近FDA。当β的值为两种极端时，会比较特殊：当β＝0，SFDA退化为FDA；当β＝1,SFDA退化为PCA。

d)进行半监督费舍尔判别向量求解，计算方法如下所示：

半监督费舍尔判别向量同样可以通过求解下面的优化问题得到：

上述的优化问题同样可等价于广义特征值问题

其中是广义特征值，而向量w是对应的广义特征向量。将所求得的广义特征值降序排列为相应广义特征向量为w₁,w₂,…,w_m即为半监督费舍尔判别向量q₁,q₂,…,q_m，而这些向量的分类性能依次减弱。

e)选取前r个特征向量，得到费舍尔判别子空间Q_r＝[q₁,q₂,…,q_r]。

f)对每个子训练集重复以上a)-e)步骤，得到G个子分类器的费舍尔判别子空间。

第五步 在有标签数据矩阵集下，利用不同的分类器模型和参数，利用不同子分类器的费舍尔判别子空间进行降维分类，计算每个样本x_i的度量矩阵P_i,i＝1,2,…,(C+1)*n，并且P_i∈R^g×(C+1)。具体步骤如下：

a)通常情况下，正常工况下的数据可假设是满足多变量高斯分布，故障如某些变量阶跃变化或者变量值随机增加的所引发的故障数据也可以认为是满足高斯分布的。假设样本属于每一类的先验概率相等为计算的条件概率密度函数，方法如下：

其中是C_k类样本的均值向量。

b)根据贝叶斯准则，计算属于第i类型的后验概率，方法如下：

c)将每个样本用不同子分类器的半监督费舍尔判别矩阵Q_r进行上述运算，计算每个样本x_i的度量矩阵P_i,i＝1,2,…,(C+1)*n，并且P_i∈R^g×(C+1)。

其中p_gj表示待分类样本被第g个子分类器判断成第j类的概率。最终得到所有样本的度量层矩阵集合P_l＝[P₁,P₂,…,P_C+1],P∈R^{g×(C+1)×((C+1)*n)}。

第六步 将建模数据和各个模型参数以及各个有标签数据的度量层矩阵存入历史数据库中备用。

第七步 收集新的在线过程数据X_new，并对其进行预处理和归一化使得各个过程变量的均值为零，方差为1，得到将新得到的每一个过程数据采用不同的半监督费舍尔判别模型对其进行监测得到度量层矩阵，具体方法和步骤(5)相同。

第八步 将之前得到的有标签数据度量层矩阵及其标签作为K近邻的训练样本集，将待测在线过程数据的度量层输出进行K近邻融合，得到待分类过程数据的最终分类结果。具体步骤如下：

a)初始化k值，如果对于二分类问题k取奇数。将有标签数据的度量矩阵集P_l＝[P₁,P₂,…,P_C+1],P∈R^{g×(C+1)×((C+1)*n)}和数据相应标签Y_l＝[Y₁,Y₂,…,Y_C+1],Y∈R^((C+1)*n)*m作为度量层K近邻融合算法的训练集。

b)对于待分类的过程样本x_newi的度量层输出P_newi，计算其与训练集所有样本的欧氏距离D_ij，在其中找出最近的k个样本点。

D_ij＝||P_newi-P_j||_F

其中D_ij为第i个待分类样本与第j个训练样本间的欧氏距离。

c)计算这k个样本中属于C＝(c₁,c₂,…,c_C+1)类的样本个数k_i，显然则该待分类样本属于最大值k_i的那一类c_i。

以下结合一个具体的工业过程的例子来说明本发明的有效性。该过程的数据来自美国TE(Tennessee Eastman——田纳西-伊斯曼)化工过程实验，原型是Eastman化学公司的一个实际工艺流程。目前,TE过程己经作为典型的化工过程故障检测与诊断对象被广泛研究。整个TE过程包括41个测量变量和12个操作变量(控制变量),其中41个测量变量包括22个连续测量变量和19个成分测量值，它们每3分钟被采样一次。其中包括21批故障数据。这些故障中,16个是己知的,5个是未知的。故障1～7与过程变量的阶跃变化有关,如冷却水的入口温度或者进料成分的变化。故障8～12与一些过程变量的可变性增大有关系。故障13是反应动力学中的缓慢漂移,故障14、15和21是与粘滞阀有关的。故障16～20是未知的。为了对该过程进行监测，一共选取了44个过程变量，如表1所示。接下来结合该具体过程对本发明的实施步骤进行详细地阐述：

1.采集正常数据以及4种故障数据作为训练样本数据，进行数据预处理和归一化。本实验中分别选择了正常工况以及故障1、2、5、6作为训练样本，故障1和故障2都是流4中的成分变化。故障6是由流1中的A进料损失所引起的，但是最终会对流4中的A成分产生影响。故障5与上面3种故障都不一样，它是由冷凝器冷却水的入口温度阶跃变化所引发的。采样时间为3min，其中正常工况含有标签样本120个样本，其余故障分类分别选择有标签样本20个。

2.采集无标签数据，使样本的标签率σ＝20％，设置迭代次数G，将无标签数据随机采样G次，每次取70％的无标签数据，和有标签数据一起组成子分类器训练集。

3.对每个子训练集进行模型训练，求得半监督费舍尔判别向量矩阵，实验中选取r＝5。

4.对训练样本集中的有标签数据进行半监督费舍尔判别分类，得到所有有标签数据的度量层矩阵。将有标签度量层矩阵和其标签集作为度量层融合算法K近邻的训练集。

5.在线分类测试

收集与训练数据不同的样本数据作为在线分类的测试数据，包括正常工况数据共C+1类，每一类数据为X_tj＝[x_t1；x_t2；…；x_tN],j＝1,2,…,C+1，实验中C为4。其中正常测试样本取100个，其余各工况各选50个。

先对在线测试数据进行归一化处理，将处理后的样本输入到每个子分类器中，得到测试样本的度量层矩阵。将测试样本的度量层矩阵放入K近邻方法中进行度量层融合得到最终的分类结果。

从图1和图2中可以看出，半监督算法的引入对传统的有监督FDA分类算法的分类效果有一个明显的提升。图3为迭代7次的半监督费舍尔判别度量层融合算法(ESFDA)的分类结果，可以看出算法的错分率相较于SFDA有更好的表现。

由不同迭代次数G下的ESFDA算法的表现可见，在一定范围内随着迭代次数的增加，算法的分类结果越好。

表1：监控变量说明

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于集成半监督费舍尔判别的工业过程故障分类方法，其特征在于，包括以下步骤：

(1)利用系统收集过程正常工况的数据以及各种故障数据组成建模用的有标签训练样本集：假设故障类别为C,再加上一个正常类，建模数据的总类别为C+1,即X_i＝[x₁；x₂；…；x_n]i＝1,2,…,C+1，其中X_i∈R^n×m，n为训练样本数，m为过程变量数，R为实数集，R^n×m表示X满足n×m的二维分布，所以完整的有标签训练样本集为X_l＝[X₁；X₂；…；X_C+1],X∈R^((C+1)*n)*m，记录所有数据的标签信息，正常工况下标记标签为1，故障标签为2，以此类推，即Y_i＝[i；i；…；i]i＝1,2,…,C+1，完整的标签集为Y_l＝[Y₁,Y₂,…,Y_C+1],Y_l∈R^{1×((C+1)*n)*m}，将这些数据存入历史数据库作为有标签数据集；

(2)利用系统收集若干工况及故障情况未知的数据组成建模用的无标签训练样本集：X_u＝[x_u1；x_u2；…；x_uq],X_u∈R^q×m，其中q为训练样本数，m为过程变量数，R为实数集，R^q×m表示X满足q×m的二维分布，将这些数据存入历史数据库作为无标签数据集；

(3)从数据库中调用训练用的有标签数据和无标签数据X_l,X_u，对其进行预处理和归一化，使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为

(4)设定迭代次数即弱分类器个数为G，每次在无标签数据矩阵集中随机抽取α％的数据和有标签数据矩阵集组成训练子集在每个训练子集下建立不同的半监督费舍尔判别分类器模型；

(5)在有标签数据矩阵集下，利用不同的分类器模型和参数，计算每个样本x_i的度量矩阵P_i,i＝1,2,…,(C+1)*n，并且P_i∈R^g×(C+1)；

(6)将建模数据和各个模型参数以及各个有标签数据的度量层矩阵存入历史数据库中备用；

(7)在线收集新的过程数据X_new，并对其进行预处理和归一化使得各个过程变量的均值为零，方差为1，得到分别采用不同的半监督费舍尔判别模型对其进行监测得到度量层矩阵；

(8)将在线过程数据的度量层矩阵和之前得到的有标签数据度量层矩阵及其标签进行K近邻融合，得到待分类过程数据的最终分类结果。

2.根据权利要求1所述基于集成半监督费舍尔判别的工业过程故障分类方法，其特征在于，所述步骤(4)具体为：选取合适的弱分类器个数G，G的选取视具体工况数据表现而定，每次在无标签数据矩阵集中随机抽取α％的数据和有标签数据矩阵集组成训练子集每个训练子集下进行半监督费舍尔判别分类器建模具体步骤如下：

(4.1)根据FDA算法计算有监督FDA的类间散度矩阵S_b和类内散度矩阵S_w，将公式整理改写成对等形式，计算方法如下所示：

其中权值矩阵与定义为：

(4.2)根据无监督降维方法PCA进行全局散度矩阵的计算，整理成与FDA的对应形式，计算方法如下所示：

其中为n×n维矩阵，且

(4.3)计算半监督费舍尔判别SFDA的正则化类间散度矩阵S_rb与正则化类内散度矩阵S_rw，计算方法如下所示：

S_rb＝(1-β)S_b+βS_t (1)

S_rw＝(1-β)S_w+βI_m (2)

其中I_m是m维的单位对角矩阵，β∈[0,1]是调整参数，负责设置SFDA的平滑性；当β的值比较大时，SFDA更倾向于无监督学习的PCA，反之，则SFDA更接近FDA；当β的值为两种极端时，会比较特殊：当β＝0，SFDA退化为FDA；当β＝1,SFDA退化为PCA；

(4.4)进行半监督费舍尔判别向量求解，计算方法如下所示：

半监督费舍尔判别向量同样可以通过求解下面的优化问题得到：

上述的优化问题同样可等价于广义特征值问题：

其中，是广义特征值，而向量w是对应的广义特征向量；将所求得的广义特征值降序排列为相应广义特征向量为w₁,w₂,…,w_m即为半监督费舍尔判别向量q₁,q₂,…,q_m，而这些向量的分类性能依次减弱；

(4.5)选取前r个特征向量，得到费舍尔判别子空间Q_r＝[q₁,q₂,…,q_r]；

(4.6)对每个子训练集重复以上步骤4.1-4.5步骤，得到G个子分类器的费舍尔判别子空间。

3.根据权利要求1所述基于集成半监督费舍尔判别的工业过程故障分类方法，其特征在于，所述步骤(5)具体为：在有标签数据矩阵集下，利用不同子分类器的费舍尔判别子空间进行降维分类，得到所有有标签数据的度量矩阵，具体步骤如下：

(5.1)通常情况下，正常工况下的数据可假设是满足多变量高斯分布，故障如某些变量阶跃变化或者变量值随机增加的所引发的故障数据也可以认为是满足高斯分布的；假设样本属于每一类的先验概率相等为计算的条件概率密度函数，方法如下：

其中，是C_k类样本的均值向量；

(5.2)根据贝叶斯准则，计算属于第i类型的后验概率，方法如下：

(5.3)将每个样本用不同子分类器的半监督费舍尔判别矩阵Q_r进行上述运算，计算每个样本x_i的度量矩阵P_i,i＝1,2,…,(C+1)*n，并且P_i∈R^g×(C+1)；

其中，p_gj表示待分类样本被第g个子分类器判断成第j类的概率；最终得到所有样本的度量层矩阵集合P_l＝[P₁,P₂,…,P_C+1],P∈R^{g×(C+1)×((C+1)*n)}。

4.根据权利要求1所述基于集成半监督费舍尔判别的工业过程故障分类方法，其特征在于，所述步骤(7)具体为：收集新的过程数据X_new，并对其进行预处理和归一化得到将新得到的每一个过程数据采用不同的半监督费舍尔判别模型对其进行监测得到度量层矩阵。

5.根据权利要求1所述基于集成半监督费舍尔判别的工业过程故障分类方法其特征在于，所述步骤(8)具体为：将之前得到的有标签数据度量层矩阵及其标签作为K近邻的训练样本集，将待测过程数据的度量层矩阵进行K近邻融合，得到待分类过程数据的最终分类结果；具体步骤如下：

(8.1)初始化k值，如果对于二分类问题k取奇数，将有标签数据的度量矩阵集P_l＝[P₁,P₂,…,P_C+1],P∈R^{g×(C+1)×((C+1)*n)}和数据相应标签Y_l＝[Y₁,Y₂,…,Y_C+1],Y∈R^{1×((C+1)*n)*m}作为度量层K近邻融合算法的训练集；

(8.2)对于待分类的过程样本x_newi的度量层输出P_newi，计算其与训练集所有样本的欧氏距离D_ij，在其中找出最近的k个样本点；

D_ij＝||P_newi-P_j||_F

其中D_ij为第i个待分类样本与第j个训练样本间的欧氏距离；

(8.3)计算这k个样本中属于C＝(c₁,c₂,…,c_C+1)类的样本个数k_i，显然则该待分类样本属于最大值k_i的那一类c_i：