CN107657274A - 一种基于k‑means的二叉SVM‑tree不平衡数据工业故障分类方法 - Google Patents

Abstract

本发明公开一种基于k‑means的二叉SVM‑tree不平衡数据工业故障分类方法，该方法在每一个树节点处对该节点所包含类别的中心点进行k‑means聚类，分为两个类别，然后使用SVM方法在这两个类别训练一个超平面，即将这个节点分出两个分支，重复使用该方法，直到每个叶节点只包含一个类别。该方法较常规的“one‑to‑all”、“one‑to‑one”等方法训练精度高，计算复杂度低，且更适合于不平衡类数据的分析处理。

Description

一种基于k-means的二叉SVM-tree不平衡数据工业故障分类 方法

技术领域

本发明属于工业过程控制领域，尤其涉及一种不平衡类数据的工业过程故障分类方法。

背景技术

在工业故障分类的工作中，一些常用的分类方法都会有一个使用前提，即在训练集中各类数据的数据量相当。但是现实的情况往往不是这样，当某一类数据很多，或者某一类数据很少，即不平衡类数据出现时，直接使用传统的分类方法则会产生很大的分类误差。

近年来，不平衡类数据的研究一直是一个热点，传统SVM多分类方法，例如“one-to-one”、“one-to-all”，加剧了不平衡度对分类性能的影响，无法获取最优的分类超平面。

发明内容

针对现有技术的不足，本发明提供一种不平衡类数据的工业过程故障分类方法，该方法既能快速找出各层的最优分类平面，大大降低了计算复杂度，又因为每一个节点处大多出现“some-to-some”的分类情况，在一定程度下降低了不平衡度对于分类性能的影响。具体技术方案如下：

一种基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，其特征在于，包括以下步骤：

步骤一：收集建模用的有标签训练样本，对其进行预处理和归一化，得到训练样本集X_l＝[X₁；X₂；...；X_C+1]，该有标签训练样本集包括工业过程中正常工况的数据以及各种故障工况的数据，分为C个故障工况类别和1个正常工况类别，每个类别的样本集为其中n_i为训练样本数，m为过程变量数，R为实数集；记录所述的标签训练样本集X_l＝[X₁；X₂；...；X_C+1]的所有数据的标签信息，标记正常工况标签为1，故障工况标签依次为2,...,C+1，则每个类别的标签信息为Y_i＝[i,i,...i],i＝1,2,...,C+1，完整的标签集为Y_l＝[Y₁；Y₂；...；Y_C+1]；其中，正常工况类别的数据多于故障工况类别的数据，每个故障工况类别的数据量相等，各个工况数据量的差别用不平衡度为u表征，即

步骤二：通过计算每个工况类别每个维度的平均值获得每个工况类别的中心点，得到与类别对应的中心点集为O＝[o₁,o₂,...,o_C+1]；

步骤三：将训练样本集进行拆分：使用k-means聚类方法，将中心点集O分为2个子集O₁,O₂，则，分别属于O₁,O₂包含的中心点所对应的类别的训练样本子集为D₁,D₂；

步骤四：构建树的根节点：使用SVM在D₁,D₂之间构建超平面，则树的两个分支为D₁,D₂；

步骤五：分别对D₁,D₂对应的节点重复步骤三和四的操作，再对D₁,D₂分别得到的分支对应的节点重复步骤三和四的操作，以此类推，直到每一个叶节点都只包含一个类别停止，完成SVM-tree的构建；

步骤六：利用测试样本对步骤四中构建的SVM-tree作测试，获得测试样本的标签信息。

进一步地，所述的步骤三的具体步骤如下：

(1)首先在正常类O中选取2个初始均值向量，计算O中每个样本与这些均值向量之间的距离，并根据每个样本距离最近的均值向量确定o_j的簇标记λ_j，此处j＝1,2,...,C+1，λ_j＝1或-1；

(2)重新计算2个簇的均值向量，并选择这两个均值向量重复步骤(1)的操作；迭代至均值向量不再变化，得出最终的均值向量和O中每个元素的簇标记，将簇标记为1的中心所对应的训练样本归为D₁类，将簇标记为-1的中心所对应的训练样本归为D₂类。

进一步地，所述步骤四具体如下：

(1)设D＝D₁∪D₂＝{z₁,z₂,...,z_N},此处N＝n₁+...+n_C+1，为D₁,D₂中的样本设立临时标签y，

并设超平面方程为ω^Tz+b＝0，将其记为(ω,b)，则任一样本z到超平面的距离可写作

(2)由于超平面(ω,b)能将训练样本正确分类，即对于(z_j,y_j)，若y_j＝1，则ω^Tz_j+b>0，若y_j＝-1，则ω^Tz_j+b<0,再令间隔SVM的目标函数即为：

s.t.y_j(ω^Tx_j+b)≥1,j＝1,2,...,N

根据上式优化计算出(ω,b)，即得到分类超平面，即为树的根节点。

进一步地，所属步骤六具体为：对于每一个测试样本，从步骤五中构建的二叉树的根节点出发，带入根节点的超平面方程中，根据其结果1或-1运动下一个节点，并带入此节点的超平面方程，以此类推，直到它运动到某一个叶节点处，则该测试样本的标签等于此叶节点处训练样本的标签。

与现有技术相比，本发明的有益效果如下：

相对于传统的SVM方法，本发明的分类方法既能快速找出各层的最优分类平面，大大降低了计算复杂度，又因为每一个节点处大多出现“some-to-some”的分类情况，在一定程度下降低了不平衡度对于分类性能的影响。

附图说明

图1为常规SVM“one-to-all”处理的结果示意图；

图2为基于k-means的SVM-tree处理结果示意图。

具体实施方式

一种基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，包括以下步骤：

步骤一：收集建模用的有标签训练样本，对其进行预处理和归一化，得到训练样本集X_l＝[X₁；X₂；...；X_C+1]，该有标签训练样本集包括工业过程中正常工况的数据以及各种故障工况的数据，分为C个故障工况类别和1个正常工况类别，每个类别的样本集为其中n_i为训练样本数，m为过程变量数，R为实数集；记录所述的标签训练样本集X_l＝[X₁；X₂；...；X_C+1]的所有数据的标签信息，标记正常工况标签为1，故障工况标签依次为2,...,C+1，则每个类别的标签信息为Y_i＝[i,i,...i],i＝1,2,...,C+1，完整的标签集为Y_l＝[Y₁；Y₂；...；Y_C+1]；其中，正常工况类别的数据多于故障工况类别的数据，每个故障工况类别的数据量相等，各个工况数据量的差别用不平衡度为u表征，即

步骤二：通过计算每个工况类别每个维度的平均值获得每个工况类别的中心点，得到与类别对应的中心点集为O＝[o₁,o₂,...,o_C+1]；

步骤三：将训练样本集进行拆分：使用k-means聚类方法，将中心点集O分为2个子集O₁,O₂，则，分别属于O₁,O₂包含的中心点所对应的类别的训练样本子集为D₁,D₂；

(1)首先在正常类O中选取2个初始均值向量，计算O中每个样本与这些均值向量之间的距离，并根据每个样本距离最近的均值向量确定o_j的簇标记λ_j，此处j＝1,2,...,C+1，λ_j＝1或-1；

(2)重新计算2个簇的均值向量，并选择这两个均值向量重复步骤(1)的操作；迭代至均值向量不再变化，得出最终的均值向量和O中每个元素的簇标记，将簇标记为1的中心所对应的训练样本归为D₁类，将簇标记为-1的中心所对应的训练样本归为D₂类。

步骤四：构建树的根节点：使用SVM在D₁,D₂之间构建超平面，则树的两个分支为D₁,D₂；

(1)设D＝D₁∪D₂＝{z₁,z₂,...,z_N},此处N＝n₁+...+n_C+1，为D₁,D₂中的样本设立临时标签y，

并设超平面方程为ω^Tz+b＝0，将其记为(ω,b)，则任一样本z到超平面的距离可写作

(2)由于超平面(ω,b)能将训练样本正确分类，即对于(z_j,y_j)，若y_j＝1，则ω^Tz_j+b>0，若y_j＝-1，则ω^Tz_j+b<0,再令间隔SVM的目标函数即为：

s.t.y_j(ω^Tx_j+b)≥1,j＝1,2,...,N

根据上式优化计算出(ω,b)，即得到分类超平面，即为树的根节点。

步骤五：分别对D₁,D₂对应的节点重复步骤三和四的操作，再对D₁,D₂分别得到的分支对应的节点重复步骤三和四的操作，以此类推，直到每一个叶节点都只包含一个类别停止，完成SVM-tree的构建；

步骤六：利用测试样本对步骤四中构建的SVM-tree作测试，获得测试样本的标签信息；

对于每一个测试样本，从步骤五中构建的二叉树的根节点出发，带入根节点的超平面方程中，根据其结果1或-1运动下一个节点，并带入此节点的超平面方程，以此类推，直到它运动到某一个叶节点处，则该测试样本的标签等于此叶节点处训练样本的标签。

以下结合一个具体的工业过程的例子来说明本发明的有效性。该过程的数据来自美国TE(Tennessee Eastman——田纳西-伊斯曼)化工过程实验，原型是Eastman化学公司的一个实际工艺流程。目前,TE过程己经作为典型的化工过程故障检测与诊断对象被广泛研究。整个TE过程包括41个测量变量和12个操作变量(控制变量),其中41个测量变量包括22个连续测量变量和19个成分测量值，它们每3分钟被采样一次。其中包括21批故障数据。这些故障中,16个是己知的,5个是未知的。故障1～7与过程变量的阶跃变化有关,如冷却水的入口温度或者进料成分的变化。故障8～12与一些过程变量的可变性增大有关系。故障13是反应动力学中的缓慢漂移,故障14、15和21是与粘滞阀有关的。故障16～20是未知的。为了对该过程进行监测，一共选取了44个过程变量，如表1所示。本实施例中采用前22个过程变量。

表1：监控变量说明

变量编号	测量变量	变量编号	测量变量
				1	A进料流量	22	分离器冷却水出口温度
2	D进料流量	23	物流6中A摩尔含量
				3	E进料流量	24	物流6中B摩尔含量
4	A+C进料流量	25	物流6中C摩尔含量
				5	再循环流量	26	物流6中D摩尔含量
6	反应器进料流速	27	物流6中E摩尔含量
				7	反应器压力	28	物流6中F摩尔含量
8	反应器等级	29	物流9中A摩尔含量
				9	反应器温度	30	物流9中B摩尔含量
10	排放速度	31	物流9中C摩尔含量
				11	产品分离器温度	32	物流9中D摩尔含量
12	产品分离器等级	33	物流9中E摩尔含量
				13	产品分离器温度	34	物流9中F摩尔含量
14	产品分离器塔底流量	35	物流9中G摩尔含量
				15	汽提塔等级	36	物流9中H摩尔含量
16	汽提塔压力	37	物流11中D摩尔含量
				17	汽提塔塔底流量	38	物流11中E摩尔含量
18	汽提塔温度	39	物流11中F摩尔含量
				19	汽提塔流量	40	物流11中G摩尔含量
20	压缩机功率	41	物流11中H摩尔含量
				21	反应器冷却水出口温度

采用正常数据以及2种故障数据作为训练样本数据，进行数据预处理和归一化。本实验中分别选择了正常工况以及故障7、8作为训练样本。采样时间为3min，其中正常工况含有标签样本5000个样本，其余故障分类分别选择有标签样本10个，即不平衡度为500。

利用测试样本对步骤五中构建的SVM-tree作测试。测试样本中，编号1～100为正常类，101～180为故障7的样本，181～310为故障8的样本。

采用本发明的分类方法得到的测试样本的分类信息如图2所示，采用常规的SVM“one-to-all”得到的测试样本的分类信息如图1所示。从图1-2可以看出，对于故障7，常规的SVM“one-to-all”的分类准确率为0，本发明的方法的准确率为72％；对于故障8，常规的SVM“one-to-all”的分类准确率为51％，本发明的方法的准确率为75％，充分说明了本发明的分类方法准确率远高于常规的SVM“one-to-all”的分类方法。

Claims (4)

1.一种基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，其特征在于，包括以下步骤：

步骤一：收集建模用的有标签训练样本，对其进行预处理和归一化，得到训练样本集X_l＝[X₁；X₂；...；X_C+1]，该有标签训练样本集包括工业过程中正常工况的数据以及各种故障工况的数据，分为C个故障工况类别和1个正常工况类别，每个类别的样本集为其中n_i为训练样本数，m为过程变量数，R为实数集；记录所述的标签训练样本集X_l＝[X₁；X₂；...；X_C+1]的所有数据的标签信息，标记正常工况标签为1，故障工况标签依次为2,...,C+1，则每个类别的标签信息为Y_i＝[i,i,...i],i＝1,2,...,C+1，完整的标签集为Y_l＝[Y₁；Y₂；...；Y_C+1]；其中，正常工况类别的数据多于故障工况类别的数据，每个故障工况类别的数据量相等，各个工况数据量的差别用不平衡度为u表征，即

步骤二：通过计算每个工况类别每个维度的平均值获得每个工况类别的中心点，得到与类别对应的中心点集为O＝[o₁,o₂,...,o_C+1]；

步骤三：将训练样本集进行拆分：使用k-means聚类方法，将中心点集O分为2个子集O₁,O₂，则，分别属于O₁,O₂包含的中心点所对应的类别的训练样本子集为D₁,D₂；

步骤四：构建树的根节点：使用SVM在D₁,D₂之间构建超平面，则树的两个分支为D₁,D₂；

步骤五：分别对D₁,D₂对应的节点重复步骤三和四的操作，再对D₁,D₂分别得到的分支对应的节点重复步骤三和四的操作，以此类推，直到每一个叶节点都只包含一个类别停止，完成SVM-tree的构建；

步骤六：利用测试样本对步骤四中构建的SVM-tree作测试，获得测试样本的标签信息。

2.根据权利要求1所述的基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，所述的步骤三的具体步骤如下：

(1)首先在正常类O中选取2个初始均值向量，计算O中每个样本与这些均值向量之间的距离，并根据每个样本距离最近的均值向量确定o_j的簇标记λ_j，此处j＝1,2,...,C+1，λ_j＝1或-1；

(2)重新计算2个簇的均值向量，并选择这两个均值向量重复步骤(1)的操作；迭代至均值向量不再变化，得出最终的均值向量和O中每个元素的簇标记，将簇标记为1的中心所对应的训练样本归为D₁类，将簇标记为-1的中心所对应的训练样本归为D₂类。

3.根据权利要求1所述基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，其特征在于，所述步骤四具体如下：

(1)设D＝D₁∪D₂＝{z₁,z₂,...,z_N},此处N＝n₁+...+n_C+1，为D₁,D₂中的样本设立临时标签y，并设超平面方程为ω^Tz+b＝0，将其记为(ω,b)，则任一样本z到超平面的距离可写作

(2)由于超平面(ω,b)能将训练样本正确分类，即对于(z_j,y_j)，若y_j＝1，则ω^Tz_j+b>0，若y_j＝-1，则ω^Tz_j+b<0,再令间隔SVM的目标函数即为：

s.t. y_j(ω^Tx_j+b)≥1,j＝1,2,...,N

根据上式优化计算出(ω,b)，即得到分类超平面，即为树的根节点。

4.根据权利要求1所述基于k-means的二叉SVM-tree不平衡数据工业故障分类方法，其特征在于，所属步骤六具体为：

对于每一个测试样本，从步骤五中构建的二叉树的根节点出发，带入根节点的超平面方程中，根据其结果1或-1运动下一个节点，并带入此节点的超平面方程，以此类推，直到它运动到某一个叶节点处，则该测试样本的标签等于此叶节点处训练样本的标签。