CN102122349B - 应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法 - Google Patents

Abstract

基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法，属于模式识别领域，本发明为解决传统多分类策略因结构固定而无法利用类别间可分性不同的先验信息，训练速度随着训练样本数或类别数的增多而变慢，计算量大的问题。本发明方法包括以下步骤：步骤一、对多分类对象，分别计算训练样本中两两类别之间的巴氏距离；步骤二、根据步骤一获取的两两类别之间的巴氏距离建立初始操作表单；步骤三、根据步骤二获取的初始操作表单构建基于有向无环图结构的多分类器；步骤四、采用支持向量机作为二元分类器，基于有向无环图结构实施多分类。

Description

应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法

技术领域

本发明涉及一种基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法，属于模式识别领域。

背景技术

由Viadimir N.Vapnik与其同事所提出来的支持向量机(Support Vector Machine，SVM)作为一个强有力的机器学习方法，已成功地应用于模式识别尤其是故障诊断与分类领域。SVM采用基于统计学习理论的结构风险最小化原则(Structural Risk MinimizationPrinciple)，能有效地解决非线性、有限样本和高维数等问题，通常可以提供良好的学习能力和推广能力。支持向量机最初是针对二元分类问题提出来的，不能直接用于多元分类问题，而大部分的故障诊断问题为多元分类情况，如何有效地把它扩展到多分类情况是一个正在研究的热点问题，而且合理的多分类策略，能够有效地组织各自分类器的工作，提高子分类器精度并最终得到更好的决策分类精度。

为了更有针对性地提升每个子分类器的分类性能，需要对每两种类别之间的可分性作出评定。最理想的可分性度量准则是Bayes分类最小误差。但由于通常情况下数据的概率分布难以确定，导致Bayes分类误差无法计算和分析。类别间Bhattacharyya距离，即巴氏距离，确定了Bayes分类误差的一个上界，也是模式识别中一种常用的分析手段。在应用中，假设同种类别的同一属性数据值均服从高斯分布，则可用下式来求取两种类别之间的巴氏距离：

$B_{\mathrm{pq}}=\frac{1}{8}{(M_p-M_q)}^T{\left(\frac{C_p+C_q}{2}\right)}^{-1}(M_p-M_q)+\frac{1}{2}\ln \left(\frac{\left|\frac{C_p+C_q}{2}\right|}{\sqrt{\left|C_p\right|\left|C_q\right|}}\right)$

其中，B_pq为第p类和第q类之间的巴氏距离，M_p为第p类的均值向量，M_q为第q类的均值向量，C_p为第p类的协方差矩阵，C_q为第q类的协方差矩阵。

目前扩展二元分类器(如支持向量机)到多分类器的策略主要有两种：其一为一对一(one against one)算法，该算法组合所有可能的二元分类器，每次对其中的两个类别进行训练；其二为一对多(one against all)算法，该算法将其中一个类别的样本作为一类，其它不属于该类别的样本作为一类，依次进行训练。上述两类传统多分类策略因结构固定而无法利用类别间可分性不同的先验信息，这两种算法在实际应用中存在局限性：任何一个分类器的错误分类都会导致不可分区域的存在，而且以上两个多元分类器的训练速度将随着训练样本数或类别数的增多而变慢，同时各子分类器的输入数据永远是整个测试集合，这也增大了这两种多分类策略的计算量。

发明内容

本发明目的是为了解决传统多分类策略因结构固定而无法利用类别间可分性不同的先验信息，训练速度随着训练样本数或类别数的增多而变慢，计算量大的问题，提供了一种应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法。

本发明所述基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法包括以下步骤：

步骤一、对多分类对象，分别计算训练样本中两两类别之间的巴氏距离；

步骤二、根据步骤一获取的两两类别之间的巴氏距离建立初始操作表单；

步骤三、根据步骤二获取的初始操作表单构建基于有向无环图结构的多分类器；

步骤四、采用支持向量机作为二元分类器，基于有向无环图结构实施多分类；

步骤二中的建立初始操作表单的过程：

步骤21、将第k类与其他类的巴氏距离

按从小到大的顺序重新排列为

k＝1，2，…m，m为训练样本的类别数，t＝1，2，…m，且k≠t；

步骤22、对m类对象按从大到小的顺序进行排序，排序规则为：

首先根据每类中与其它类最小巴氏距离

对m类对象进行排序，

当存在两个或两个以上的类别具有相同的

时，则根据它们的

大小的进行局部排序，依此类推，若所述两个或两个以上的类别的

都相同，则把类标号小的类作为数值大的进行排序；

步骤23、根据步骤22的排序获取初始操作表单[a(1)，a(2)，...，a(m)]，a(m)表示类标号，所述类标号a(m)的顺序与步骤22中该类的位置相对应；

步骤三中的有向无环图结构共含有m(m-1)/2个二元分类器，m为训练样本的类别数依等差数列分布于m-1层结构，则构建基于有向无环图结构的多分类器的过程为：

第1层：设置1个二元分类器，处理a(m)-a(1)之间的分类，得到“非a(m)”和“非a(1)”两组数据，将此分类器简记为S_a(m)-a(1)；

第2层：设置2个二元分类器，第2层第一个分类器S_a(m-1)-a(1)对第1层得到的“非a(m)”数据进行二分类，进一步得到“非a(m)&非a(m-1)”和“非a(m)&非a(1)”两组数据；第2层第二个分类器S_a(m)-a(2)对第1层得到的“非a(1)”数据进行二分类，进一步得到“非a(1)&非a(m)”和“非a(1)&非a(2)”两组数据。将第2层得到的4组数据中的“非a(m)&非a(1)”与“非a(1)&非a(m)”合并，故第2层获得3组数据；

依此类推，

第m-1层：设置m-1个二元分类器，分别是S_a(2)-a(1)，S_a(3)-a(2)，...，S_a(m)-a(m-1)，以S_a(2)-a(1)为例对m-1个二元分类器的输出进行分析，S_a(2)-a(1)的输入数据是上一层的“非a(m)&非a(m-1)&...&非a(3)”，即“a(1)或a(2)”，因此S_a(2)-a(1)直接得出单一分类结果数据a(1)及a(2)；本层中的其他二元分类器也分别获取单一分类结果数据，进而完成基于有向无环图结构的多分类器的构建。

本发明的优点：

1)本发明通过计算巴氏距离估计各类训练数据间的可分性分布性质，建立初始操作表单，使得可分性差异相对较大的类别被优先判别。

2)本发明采用有向无环图构造多分类器，该拓扑结构具有冗余性，同一类别的样本可以具有不同的分类路径，这种路径分流减少了子分类器的数据输入量，使计算更快，且学习效果也更好。

附图说明

图1为基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法流程图；

图2为实施例对应的多分类有向无环图结构。

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式通过巴氏距离辅助构造基于有向无环图结构的多分类器，使得可分性差异相对较大的类别被优先判别，且该拓扑结构具有冗余性，同一类别的样本可以具有不同的分类路径，这种路径分流减少了子分类器的数据输入量，使计算更快，且学习效果也更好。

本发明的目的是通过以下技术方案实现的：通过计算巴氏距离估计各类训练数据间的可分性分布性质，建立初始操作表单，将样本所有可能的类别按照一定顺序排列在表单中，重新组合有向无环图的节点顺序，进而利用支持向量机作各个节点的子分类器，从而实现针对数据本身进行策略优化的多分类器。

本发明的流程图如图1所示，基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法包括以下步骤：

步骤一、对多分类对象，分别计算训练样本中两两类别之间的巴氏距离；

步骤二、根据步骤一获取的两两类别之间的巴氏距离建立初始操作表单；

步骤三、根据步骤二获取的初始操作表单构建基于有向无环图结构的多分类器；

步骤四、采用支持向量机作为二元分类器，基于有向无环图结构实施多分类。

步骤一中的两两类别之间的巴氏距离按如下公式获取：

$B_{\mathrm{pq}}=\frac{1}{8}{(M_p-M_q)}^T{\left(\frac{C_p+C_q}{2}\right)}^{-1}(M_p-M_q)+\frac{1}{2}\ln \left(\frac{\left|\frac{C_p+C_q}{2}\right|}{\sqrt{\left|C_p\right|\left|C_q\right|}}\right),$

其中，B_pq为第p类和第q类之间的巴氏距离，M_p为第p类的均值向量，M_q为第q类的均值向量，C_p为第p类的协方差矩阵，C_q为第q类的协方差矩阵，p＝1，2，…m，q＝1，2，…m，且p≠q，m为训练样本的类别数。

步骤二中的建立初始操作表单的过程：

步骤21、将第k类与其他类的巴氏距离B_kt按从小到大的顺序重新排列为

k＝1，2，…m，t＝1，2，…m，且k≠t；

步骤22、对m类对象按从大到小的顺序进行排序，排序规则为：

首先根据每类中与其它类最小巴氏距离

对m类对象进行排序，

当存在两个或两个以上的类别具有相同的

时，则根据它们的

大小的进行局部排序，依此类推，若所述两个或两个以上的类别的都相同，则把类标号小的类作为数值大的进行排序；

步骤23、根据步骤22的排序获取初始操作表单[a(1)，a(2)，...，a(m)]，a(m)表示类标号，a(m)即为步骤22中所述的k，所述类标号a(m)的顺序与步骤22中该类的位置相对应。经过排序后表单中首尾两个类别的可分性具有相对较大差异。

步骤三中的有向无环图结构共含有m(m-1)/2个二元分类器，依等差数列分布于m-1层结构，则构建基于有向无环图结构的多分类器的过程为：

第1层：设置1个二元分类器，处理a(m)-a(1)之间的分类，得到“非a(m)”和“非a(1)”两组数据，将此分类器简记为S_a(m)-a(1)；

第2层：设置2个二元分类器，第2层第一个分类器S_a(m-1)-a(1)对第1层得到的“非a(m)”数据进行二分类，进一步得到“非a(m)&非a(m-1)”和“非a(m)&非a(1)”两组数据；第2层第二个分类器S_a(m)-a(2)对第1层得到的“非a(1)”数据进行二分类，进一步得到“非a(1)&非a(m)”和“非a(1)&非a(2)”两组数据。将第2层得到的4组数据中的“非a(m)&非a(1)”与“非a(1)&非a(m)”合并，故第2层获得3组数据；

依此类推，

第m-1层：设置m-1个二元分类器，分别是S_a(2)-a(1)，S_a(3)-a(2)，...，S_a(m)-a(m-1)，以S_a(2)-a(1)为例对m-1个二元分类器的输出进行分析，S_a(2)-a(1)的输入数据是上一层的“非a(m)&非a(m-1)&...&非a(3)”，即“a(1)或a(2)”，因此S_a(2)-a(1)直接得出单一分类结果数据a(1)及a(2)；本层中的其他二元分类器也分别获取单一分类结果数据，进而完成基于有向无环图结构的多分类器的构建。

步骤四中采用支持向量机作为二元分类器，基于有向无环图结构实施多分类的过程为：

对于类别{-1，+1}，支持向量机分类器f(x)可表示为：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x_i,x)+b)$

其中，K(x_i，x)是线性核函数K_Lin(x，x′)、多项式核函数K_Poly(x，x′)、径向基核函数K_RBF(x，x′)或Sigmoid核函数K_Sig(x，x′)中的任意一种：

线性核函数K_Lin(x，x′)＝(x^Tx′)，

多项式核函数K_Poly(x，x′)＝(x^Tx′+1)^d，

径向基核函数 $K_{\mathrm{RBF}}(x,x^{\′})=\exp \left(\frac{{\left|\right|x-x^{\′}\left|\right|}^2}{2{\mathrm{\σ}}^2}\right),$

Sigmoid核函数K_Sig(x，x′)＝tanh(x^Tx′+t)，

在每次分类之前，需要从训练样本中抽取涉及到的两类目标数据，并对支持向量机进行训练，得到支撑向量x_i以及拉格朗日系数α_i，1≤i≤n。

基于有向无环图结构的m元分类器总计包含m(m-1)/2个支持向量机二元子分类器，因此本步骤需要分别执行m(m-1)/2次训练及分类，最终得到全部m个类别的分类结果。

具体实施方式二：本实施方式结合UCI(University ofCalifornia，Irvine)机器学习公用数据库中的伺服电机系统辨识数据阐述本发明的一个具体实施例：

UCI机器学习公用数据库的伺服电机系统数据集，所记录的输出值是调整时间，即系统处在一个设定的位置时，对阶跃指令响应并运行到位的时间，根据该时间数值，可均等划分为5种类别，分别由电机类型、导轨螺纹类型、位置环比例增益以及速度环比例增益这4个属性描述，数据集包含167个样本，取其中的84个作为训练样本，剩余的83个作为测试样本。

执行步骤一：对5分类的伺服电机系统对象，计算训练样本两两类别之间的巴氏距离。

巴氏距离的计算公式如下：

$B_{\mathrm{pq}}=\frac{1}{8}{(M_p-M_q)}^T{\left(\frac{C_p+C_q}{2}\right)}^{-1}(M_p-M_q)+\frac{1}{2}\ln \left(\frac{\left|\frac{C_p+C_q}{2}\right|}{\sqrt{\left|C_p\right|\left|C_q\right|}}\right)$

其中，B_pq分别为第p类和第q类之间的B距离，M_p(q)与C_p(q)分别为第p(q)类的均值向量与协方差矩阵。

对于每一类，都存在4个与其他类的巴氏距离，分别对这些值按从小到大的顺序进行排列，并重新编号，例如，第3类与其他类的巴氏距离为B_3t(t＝1，2，4，5)，按从小到大的顺序重新排列为

其中按照实际计算的结果应有如下数值对应： $B_3^1=B_{32},$ $B_3^2=B_{34},$ $B_3^3=B_{31},$ $B_3^4=B_{35}.$

执行步骤二：建立初始操作表单。

然后根据值

按从大到小的顺序，对相应的类别进行排序，即

越大第k类排序就越靠前。当存在两个或两个以上的类别具有相同的

时，再比较它们的

大小。如此下去，若它们的

都相同，则把类标号小的类排在前面。最后可得所有类别的排列a(1)，a(2)，a(3)，a(4)，a(5)，其中按照实际计算的结果应有如下数值对应：a(1)＝3，a(2)＝1，a(3)＝2，a(4)＝5，a(5)＝4。根据类标号的排序，建立初始操作表单[3，1，2，5，4]，则表单中首尾两个类别的可分性具有相对较大差异。

执行步骤三：构建基于有向无环图结构的多分类器。

对于一个5元分类问题，有向无环图结构共含有5(5-1)/2＝10个二元分类器，依等差数列分布于4层结构中。该5分类器的详细有向无环图结构见图2。

执行步骤四：采用支持向量机作为二元分类器，基于有向无环图结构实施多分类。

对于类别{-1，+1}，支持向量机分类器f(x)可表示为：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x_i,x)+b)$

其中，K(x_i，x)选取径向基核函数K_RBF(x，x′)：

$K_{\mathrm{RBF}}(x,x^{\′})=\exp \left(\frac{{\left|\right|x-x^{\′}\left|\right|}^2}{2{\mathrm{\σ}}^2}\right)$

在每次分类之前，需要从训练样本中抽取涉及到的两类目标数据，并对支持向量机进行训练，得到支撑向量x_i以及拉格朗日系数α_i，1≤i≤n。

基于有向无环图结构的5元分类器总计包含10个支持向量机二元子分类器，因此本步骤需要分别执行10次训练及分类，最终得到全部5个类别的分类结果。

由于测试样本的真实类别已经知道，因此可以计算该分类方法的平均精度(5种类别的分类精度均值)及总体精度(所有类别中正确分类样本的总体比率)。同时，为了对比方法的优劣，还采取了基于一对一(one against one)策略和基于一对多(one againstall)策略的支持向量机多分类器做比较，结果记录于表1，从中可见，本发明方法具有最高的平均精度和总体精度，虽然较其他方法多出了计算巴氏距离设计有向无环图结构的步骤，但是它利用了类别间隐含的可分性信息，优化了多分类器的结构，从而在不增加训练样本的前提下进一步提高了分类精度。

表1三种方法的分类精度比较

Claims (3)

1.应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法，其特征在于，该方法包括以下步骤：

步骤一、对多分类对象，分别计算训练样本中两两类别之间的巴氏距离；

步骤二、根据步骤一获取的两两类别之间的巴氏距离建立初始操作表单；

步骤三、根据步骤二获取的初始操作表单构建基于有向无环图结构的多分类器；

步骤四、采用支持向量机作为二元分类器，基于有向无环图结构实施多分类；

步骤二中的建立初始操作表单的过程：

步骤21、将第k类与其他类的巴氏距离

按从小到大的顺序重新排列为

k＝1，2，…m，m为训练样本的类别数，t＝1，2，…m，且k≠t；

步骤22、对m类对象按从大到小的顺序进行排序，排序规则为：

首先根据每类中与其它类最小巴氏距离

对m类对象进行排序，

当存在两个或两个以上的类别具有相同的

时，则根据它们的

大小的进行局部排序，依此类推，若所述两个或两个以上的类别的

都相同，则把类标号小的类作为数值大的进行排序；

步骤23、根据步骤22的排序获取初始操作表单[a(1)，a(2)，...，a(m)]，a(m)表示类标号，所述类标号a(m)的顺序与步骤22中该类的位置相对应；

步骤三中的有向无环图结构共含有m(m-1)/2个二元分类器，m为训练样本的类别数依等差数列分布于m-1层结构，则构建基于有向无环图结构的多分类器的过程为：

第1层：设置1个二元分类器，处理a(m)-a(1)之间的分类，得到“非a(m)”和“非a(1)”两组数据，将此分类器简记为S_a(m)-a(1)；

第2层：设置2个二元分类器，第2层第一个分类器S_a(m-1)-a(1)对第1层得到的“非a(m)”数据进行二分类，进一步得到“非a(m)&非a(m-1)”和“非a(m)&非a(1)”两组数据；第2层第二个分类器S_a(m)-a(2)对第1层得到的“非a(1)”数据进行二分类，进一步得到“非a(1)＆非a(m)”和“非a(1)&非a(2)”两组数据，将第2层得到的4组数据中的“非a(m)&非a(1)”与“非a(1)&非a(m)”合并，故第2层获得3组数据；

依此类推，

第m-1层：设置m-1个二元分类器，分别是S_a(2)-a(1)，S_a(3)-a(2)，...，S_a(m)-a(m-1)，以S_a(2)-a(1)为例对m-1个二元分类器的输出进行分析，S_a(2)-a(1)的输入数据是上一层的“非a(m)＆非a(m-1)&...&非a(3)”，即“a(1)或a(2)”，因此S_a(2)-a(1)直接得出单一分类结果数据a(1)及a(2)；本层中的其他二元分类器也分别获取单一分类结果数据，进而完成基于有向无环图结构的多分类器的构建。

2.根据权利要求1所述的应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法，其特征在于，步骤一中的两两类别之间的巴氏距离按如下公式获取：

$B_{\mathrm{pq}}=\frac{1}{8}{(M_p-M_q)}^T{\left(\frac{C_p+C_q}{2}\right)}^{-1}(M_p-M_q)+\frac{1}{2}1n\left(\frac{\left|\frac{C_p+C_q}{2}\right|}{\sqrt{\left|C_p\right|\left|C_q\right|}}\right),$

其中，B_pq为第p类和第q类之间的巴氏距离，M_p为第p类的均值向量，M_q为第q类的均值向量，C_p为第p类的协方差矩阵，C_q为第q类的协方差矩阵，p＝1，2，…m，q＝1，2，…m，且p≠q，m为训练样本的类别数。

3.根据权利要求1所述的应用于伺服电机系统的基于巴氏距离和有向无环图构建多分类支持向量机分类器的方法，其特征在于，步骤四中采用支持向量机作为二元分类器，基于有向无环图结构实施多分类的过程为：

对于类别{-1，+1}，支持向量机分类器f(x)可表示为：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x_i,x)+b)$

其中，K(x_i，x)是线性核函数K_Lin(x，x′)、多项式核函数K_Poly(x，x′)、径向基核函数K_RBF(x，x′)或Sigmoid核函数K_Sig(x，x′)中的任意一种：

线性核函数K_Lin(x，x′)＝(x^Tx′)，

多项式核函数K_Poly(x，x′)＝(x^Tx′+1)^d，

径向基核函数 $K_{\mathrm{RBF}}(x,x^{\′})=\exp (-\frac{{\left|\right|x-x^{\′}\left|\right|}^2}{{2\mathrm{\σ}}^2}),$

Sigmoid核函数 $K_{\mathrm{Sig}}(x,x^{\′})=\tanh (x^T{x}^{\′}+t),$

在每次分类之前，需要从训练样本中抽取涉及到的两类目标数据，并对支持向量机进行训练，得到支撑向量x_i以及拉格朗日系数α_i，1≤i≤n。

Images