CN101859377A - 基于多核支持向量机的肌电信号分类方法 - Google Patents

Abstract

本发明涉及一种基于多核支持向量机的肌电信号分类方法。对于分布复杂的样本，基于单核支持向量机的分类性能，在分类精度和支持向量的数目上容易受到影响。本发明方法是将多核支持向量机方法与二叉树组合策略相结合，具体步骤是：通过肌电信号采集仪拾取人体下肢的肌电信号；采用小波系数尺度间相关性消噪法对含有干扰噪声的肌电信号进行消噪；对消噪后的肌电信号进行特征提取，利用消噪后的小波系数得到肌电信号的特征；基于多核支持向量机的分类操作。本发明方法可以较好地满足下肢假肢控制中的多分类要求，兼顾分类的准确性和实时性，该方法在智能假肢控制的多运动模式识别中具有广阔的应用前景。

Description

基于多核支持向量机的肌电信号分类方法

技术领域

本发明属于模式识别技术领域，涉及一种用于肌电信号处理中具有高识别率和实时性的多种类分类方法。

背景技术

佩戴假肢是截肢者康复的重要方式，可以从外形和活动能力上不同程度地恢复其正常状态，有利于全面提高残疾人士的生活质量和社会参与能力。在实际生活中，人体下肢的运动可以划分为水平行走、上台阶、下台阶、站立、坐下、起立、转弯、慢跑等多个运动模式，因而需要下肢假肢控制能以较高的准确性和实时性识别出多个运动模式。

肌电信号(Electromyography，EMG)作为一种重要的运动生物力学信息源，与肌肉的活动状态和功能状态之间存在着不同程度的关联性，已在运动医学、康复医疗等领域中得到研究。通过对EMG的分析，提取反映运动意愿的有效特征，利用EMG实现包括水平行走、上台阶、下台阶、站立等多个运动模式的识别和运动控制，是目前下肢假肢技术研究的一个热点。肌电信号的多运动模式识别实际上解决的是一个多分类问题。由于神经网络具有并行分布信息、自学习及实现复杂的非线性映射，被认为是解决EMG运动模式识别问题的一个强有力的工具，已取得了一些良好的应用效果。然而，由于神经网络学习算法是利用梯度下降法调节权值使得目标函数达到极小，而目标函数仅为给定输入和相应输出的平方和，导致了神经网络过分强调克服学习错误而泛化性能不强。同时，神经网络存在局部极小点、结构选择过分依赖于经验等，限制其在EMG多模式分类中的发展和应用。

近年来，由于支持向量机(Support Vector Machine，SVM)能够较好地解决神经网络等传统学习理论的缺点和不足，近年来国内外学者将SVM与不同的特征提取方法有效结合，很大程度上提高了EMG多运动模式识别的准确性和泛化性能。国外，Lucas等采用基于最小分类误差标准来优化母小波参数的离散小波变换方法与SVM结合，对6个手部动作进行识别，平均错分类率达到5％。Castellini等针对AHP(Active Hand Prosthesis)控制，分别比较了高斯核SVM、神经网络和局部加权投影回归(Locally Weighted ProjectionRegression)法对前臂EMG的分类以及抓取力的预测效果，实验结果验证了SVM在处理小样本问题的优越性。国内，崔建国等采用小波变换和SVM对前臂8个动作的EMG进行识别，取得的识别率明显优于BP、Elman和RBF神经网络。罗志增等采用基于相关性分析的特征提取与二叉树SVM的混合算法，以较高识别率区分了手部的几种动作模式，分类结果优于传统的神经网络分类器。SVM在EMG运动模式识别的应用实际上是一个多类分类问题，目前的研究工作大多集中在对单个核函数的构造和多类问题的组合策略上。然而，对于分布复杂的样本，基于单核的支持向量机的性能主要取决于核函数的构造及其参数的选择，而常规的交叉验证或考察训练集等参数确定方法相当费时且存在很大的随意性，因此在分类精度和支持向量的数目上容易受到影响。由于采集的下肢肌电信号是针对不同部位浅层肌肉的多数据源，采用单核支持向量机的分类效果还不是太理想。而多核支持向量机获得的混合核可使数据信息在特征空间得到更充分的表示，不仅可以提高分类精度，而且能减少支持向量的数目，已在生物序列数据的分类上取得了良好的效果。

将支持向量机应用于下肢肌电信号的多运动模式识别领域，属于多类分类问题，其分类效果不仅与支持向量的数目有关，而且与多类分类器的组合策略有关。由于多核支持向量机需要对多个核函数的权重和参数进行相应的优化，导致多核支持向量机在大规模数据集下学习和决策效率比单核支持向量机相对要低，因此还需要设计有效的组合策略与多核支持向量机结合，以提高其性能，即分类准确性和实时性。实际上，不同受试者同一动作的肌电信号有区别，且同一受试者在不同时间所做的同一动作也会有差异，实际应用迫切要求提高对复杂运动模式的分类性能。因此，本发明采用多核支持向量机(Multiple Kernel Support Vector Machine，MKSVM)和二叉树组合策略，构造基于多核支持向量机的分类方法，提高多运动模式分类的准确性和实时性。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于多核支持向量机的肌电信号分类方法。

本发明的核心思想是根据多核支持向量机方法和二叉树组合策略，设计了基于多核支持向量机的分类方法，不仅可以减少支持向量的数目，提高分类精度，而且有利于减少学习和分类时间，兼顾多类问题分类的准确性和实时性。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤(1)通过肌电信号采集仪拾取人体下肢的肌电信号；

步骤(2)采用小波系数尺度间相关性消噪法对含有干扰噪声的肌电信号进行消噪；小波系数尺度间相关性消噪法为成熟的信号消噪方法；

步骤(3)对消噪后的肌电信号进行特征提取，利用消噪后的小波系数得到肌电信号的特征T_j

$T_j=\frac{\sqrt{{\mathrm{\Σ}}_{k=1}^N\tilde{W}{(j,k)}^2}}{N},$ j＝1，2，…，J-1

其中，

表示尺度j上位置k处被抽取的小波系数，N为信号长度，J为分解的最大尺度。

步骤(4)基于多核支持向量机的分类操作，具体是：

对于一个c类的模式识别问题，给定n维欧氏空间的训练样本集

其中i＝1，2，…，l，l为样本数，

为输入值，y_i∈Y＝{1，2，…，c}为类标号。根据模式识别理论，两个样本向量之间的距离是它们相似度的一种很好度量，对应同一类别的样本在特征空间中聚集在一起，而不同类别的样本互相距离得较远。定义第y_k∈Y类的第k个样本点

与第y_l∈Y类的第l个样本点

之间的距离为

${\mathrm{\δ}}^2(x_k^i,x_l^j)={\left|\right|x_k^i-x_l^j\left|\right|}^2$

i＝1，2，…，N_k；j＝1，2，…，N_l

其中，N_k为样本集S中y_k类的训练样本数，N_l为S中y_l类的训练样本数。接下来，定义第y_k类与第y_l类之间的距离D(y_k，y_l)为

$D(y_k,y_l)=\min \left(\mathrm{\δ}(x_k^i,x_l^j)\right|i=\mathrm{1,2},...,N_k;j=\mathrm{1,2},...,N_l)$

对每个类，分别计算该类与c-1个其他类之间的距离，得到相应的距离矩阵D。

对矩阵D每一行中的c-1个距离值按由大到小的顺序排列，得到对应的距离排序矩阵

根据矩阵

第一列元素的大小

(i＝1，2，…，c)，按照由大到小的顺序对相应的类标号重新编号，即(i＝1，2，…，c)最大者对应的类标号记为1，而最小者对应的类标号记为c。最终得到所有类别的排列为y₁，y₂，…，y_c。由此，根据二叉树原理，将c类分类问题转化为c-1个二类分类器来解决。

在二叉树结构中，每一个节点上只把某一个类别和其他类别加以分开，即从根节点开始，沿树的路径依次得到的类别标签为y₁，y₂，…，y_c。在求解二叉树各内节点的MKSVM分类决策函数时，算法步骤如下：首先，以第y₁类样本为正样本集，以其他类样本为负样本集，构造根节点处的MKSVM二类分类器；其次，以第y₂类样本为正样本集，以其他类样本为负样本集，构造第二个内节点处的MKSVM二类分类器；依次下去，可得到基于二叉树的MKSVM多分类方法。

本发明与已有的针对肌电信号的多类别分类方法相比，具有如下优点：

1、减少支持向量的数目

根据支持向量机的分类时间与支持向量数目成正比这一原理，本方法可以有效减少支持向量的数目，不仅提高泛化性能，而且有利于减少学习和分类时间。

2、提高分类精度

本方法在多个核函数构成的混合核空间实现数据分类，针对多数据源或异构数据集，较之标准的单核支持向量机具有优越性，可以提高分类准确性。

3、提高分类的实时性

结合二叉树组合策略和多核支持向量机理论而设计的分类方法，采用有效的决策树型分类策略，可以兼顾分类的精度和速度，适合于实时性要求的多类分类应用。

本发明方法可以较好地满足下肢假肢控制中的多分类要求，兼顾分类的准确性和实时性，该方法在智能假肢控制的多运动模式识别中具有广阔的应用前景。

具体实施方式

人体下肢的运动可以划分为水平行走、上台阶、下台阶、站立、坐下、起立、转弯、慢跑等多种运动模式。考虑到假肢迫切要实现的基本功能，本文以水平行走、上台阶、下台阶、站立等4种运动模式为例进行说明，因此设计的多类分类器需要识别的模式共有4种。

基于多核支持向量机的肌电信号分类方法的实施主要包括四个步骤：(1)下肢肌电信号的采集；(2)消噪处理；(3)特征提取；(4)基于多核支持向量机的分类操作。

下面逐一对各步骤进行详细说明。

步骤一：下肢肌电信号的采集。设计的下肢信息获取系统通过表面电极来拾取下肢EMG信号，然后对提取的信号进行信号滤波、放大等预处理，最后通过A/D转换采集到PC机上。通过比较各肌肉在各个运动模式下的不同肌电信号的变化趋势，找出变化趋势特征明显的信号，选取最具代表性的腿部肌肉肌电信号作为研究对象。实验中，采用Noraxon公司的MyoTrace 400肌电信号采集仪来拾取大腿信号，同时采集大腿上4块肌肉群(股内侧肌、半腱肌、阔筋膜张肌和长收肌)对应的肌电信号。

步骤二：消噪处理。小波系数尺度间相关性消噪法能够保留信号突变点位置携带的重要信息，且对噪声有很好的滤波效果。为了提高传统的小波系数尺度间相关性消噪法的精度，通过引入与尺度相关的系数因子和噪声能量因子，对传统的小波系数尺度间相关性消噪法进行改进，并用于肌电信号的消噪处理。具体操作是：

1)用离散二进小波变换求出含噪肌电信号在尺度j上位置k处的小波变换系数W(j，k)，j＝1，2，…，J，J＝log₂N；N为信号长度，J为分解的最大尺度。

2)计算各尺度噪声小波变换的标准方差

3)对每个小波分解尺度j(j＝1，2，…，J)，执行以下步骤：

①计算相关系数Cor(j，k)及其规范化系数NCor(j，k)，方法如下

Cor(j，k)＝W(j，k)gW(j+1，k)

$\mathrm{NCor}(j,k)=\mathrm{Cor}(j,k)\sqrt{\frac{\mathrm{PW}\left(j\right)}{\mathrm{PCor}\left(j\right)}}$

其中，

PW(j)为W(j，k)在第j级的能量，PCor(j)为Cor(j，k)在第j级的能量，k＝1，2，…，N。

②对于k＝1，2，L，N_s，引入一个与尺度相关的系数因子λ(j)≥1，通过比较NCor(j，k)和λ(j)W(j，k)的绝对值，提取肌电信号的边缘信息，具体是：如果|NCor(j，k)|≥λ(j)|W(j，k)|，那么认为该点为信号的边缘(即信号的重要部分)，将该点的小波系数W(j，k)赋值给各尺度下被抽取的小波系数

相应的位置保存起来，然后将该点的小波系数W(j，k)和相关系数Cor(j，k)都置为0；否则，对应点的W(j，k)和相关系数Cor(j，k)保持不变。

③设W(j，k)被抽取出K个边缘点后变为W′(j，k)，如果将W′(j，k)完全看成是由噪声构成的，则W′(j，k)的能量取为

但是，由于W′(j，k)是由肌电信号和噪声的小波变换共同构成的，因此考虑到肌电信号与噪声在不同尺度下的能量大小的不同变化，引入一个噪声能量因子τ(j)，使得噪声阈值的选取更加合理。如果

则对尺度j循环终止；否则，重复步骤①、②和③。

4)将前面步骤处理后得到的各尺度下被抽取的小波系数

经过离散二进小波的逆变换得到消噪后的肌电信号，j＝1，2，…，J。

在实验中，对采集的原始肌电信号进行5层小波分解，基小波选用双正交样条小波bior1.5。在改进的小波系数尺度间相关性消噪法中，需要设定某一噪声阈值，以信号的80个只含有噪声的点估计噪声在各层的方差，并以此10倍作为噪声能量阈值。对于权重因子λ(j)和τ(j)，选取经验值取得较好的效果：λ(1)＝1.15，λ(2)＝1.06，λ(3)＝λ(4)＝λ(5)＝1，τ(1)＝1.15，τ(2)＝1.3，τ(3)＝1.5，τ(4)＝1.7，τ(5)＝1.75。

步骤三：特征提取。将原始EMG经离散二进小波变换得到的小波系数记为W(j，k)，经小波系数尺度间相关性消噪后，被抽取的小波系数

是肌电信号的最主要部分在各尺度上的体现，保留了重要信息，能够更清晰地表示EMG的特征。因此，将

在各尺度上的平方和构成的向量作为EMG的特征，但考虑到受试者在每次下肢运动时肌肉能量可能有较大差别，将

各尺度上的能量除以信号长度，求取相对均值构成的向量作为特征向量，如下式所示。

$T_j=\frac{\sqrt{{\mathrm{\Σ}}_{k=1}^N\tilde{W}{(j,k)}^2}}{N},$ j＝1，2，…，J-1    (1)

其中，

表示尺度j上位置k处被抽取的小波系数，N为信号长度，J为分解的最大尺度。在改进的小波系数尺度间相关性消噪法中采用了5层小波分解，选用前三个尺度的相关系数，根据公式(1)计算出各运动模式下的特征值。由于每路肌电信号对应的特征值有3个，同时采集大腿上4块肌肉群，因此每种运动模式对应12个特征值，每个样本由一组12维的特征向量构成。

步骤四：基于多核支持向量机的分类操作

标准的多核支持向量机(Multiple Kernel Support Vector Machine，MKSVM)算法是针对二类问题的分类的。给定n维欧氏空间的训练样本集其中i＝1，2，…，l，l为样本数，

为输入值，y_i∈{+1，-1}为类标号。多核支持向量机算法本质上是用M个核函数凸组合，记为有d_m≥0且输入值x_i通过映射m＝1，2，…，M，从输入空间映射到高维特征空间(Ф₁(x_i)，Ф₂(x_i)，…，Ф_M(x_i))，这里D_m表示为M维特征空间的维数。实际上，当M＝1时，多核支持向量机演变成标准的单核支持向量机。

根据多核支持向量机的基本原理，可以将其表示为下面的优化问题

min $\frac{1}{2}{\left(\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|w_m\left|\right|}_2\right)}^{\text{2}}+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

w.r.t.

s.t.ξ_i≥0，

i＝1，2，…，l

其中，C为惩罚系数，w_m＝d_mw′_m，d_m≥0，

和

由式(2)得到对偶，可等价于

min     γ

w.r.t.

s.t.    0≤α≤1C， $\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0---\left(3\right)$

$\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j{K}_m(x_i,x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\≤\mathrm{\γ},$ m＝1，2，…，M

其中，K_m(x_i，x_j)＝<Ф_m(x_i)，Ф_m(x_j)>是核函数。为了解决式(3)，可以先解决下面的鞍点问题

$L=\mathrm{\&gamma;}+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{d}_m(\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_j{K}_m(x_i,x_j)-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i-\mathrm{\&gamma;})---\left(4\right)$

其中，0≤α＜1C和

i＝1，2，…，l，d_m≥0和

m＝1，2，…，M。式(4)

又等价于求解下面的半无限线性规划(Semi-Infinite Linear Program，SILP)问题

max      θ

w.r.t.

s.t.     d≥0， $\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{d}_m=1,$ $\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{d}_m(\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_j{K}_m(x_i,x_j)-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i)\&GreaterEqual;\mathrm{\&theta;}---\left(5\right)$

0≤α≤1C， $\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_i=0$

求解SILP可得到MKSVM关于二类分类问题的解。但是，对于多运动模式识别问题，还必须重新构造MKSVM多分类方法来求解。

对于一个c类的模式识别问题，给定n维欧氏空间的训练样本集

其中i＝1，2，…，l，l为样本数，

为输入值，y_i∈Y＝{1，2，…，c}为类标号。根据模式识别理论，两个样本向量之间的距离是它们相似度的一种很好度量，对应同一类别的样本在特征空间中聚集在一起，而不同类别的样本互相距离得较远。定义第y_k∈Y类的第k个样本点

与第y_l∈Y类的第l个样本点

之间的距离为

${\mathrm{\&delta;}}^2(x_k^i,x_l^j)={\left|\right|x_k^i-x_l^j\left|\right|}^2---\left(6\right)$

i＝1，2，…，N_k；j＝1，2，…，N_l

其中，N_k为样本集S中y_k类的训练样本数，N_l为S中y_l类的训练样本数。接下来，定义第y_k类与第y_l类之间的距离为

$D(y_k,y_l)=\min \left(\mathrm{\&delta;}(x_k^i,x_l^j)\right|i=\mathrm{1,2},...,N_k;j=\mathrm{1,2},...,N_l)---\left(7\right)$

对每个类，根据公式(7)分别计算它与c-1个其他类之间的距离，得到如下距离矩阵

$D=\left[\begin{array}{cccc}D(y_1,y_2)& D(y_1,y_3)& ...& D(y_1,y_c)\\ D(y_2,y_1)& D(y_2,y_3)& ...& D(y_2,y_c)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ D(y_c,y_1)& D(y_c,y_2)& ...& D(y_c,y_{c-1})\end{array}\right]---\left(8\right)$

对矩阵D每一行中的c-1个距离值按由大到小的顺序排列，得到对应的距离排序矩阵

根据矩阵

第一列元素的大小

(i＝1，2，…，c)，按照由大到小的顺序对相应的类标号重新编号，即

(i＝1，2，…，c)最大者对应的类标号记为1，而最小者对应的类标号记为c。最终得到所有类别的排列为y₁，y₂，…，y_c。由此，根据二叉树原理，可以将c类分类问题转化为c-1个二类分类器来解决。

在二叉树结构中，每一个节点上只把某一个类别和其他类别加以分开，即从根节点开始，沿树的路径依次得到的类别标签为y₁，y₂，…，y_c。在求解二叉树各内节点的MKSVM分类决策函数时，算法步骤如下：首先，以第y₁类样本为正样本集，以其他类样本为负样本集，构造根节点处的MKSVM二类分类器；其次，以第y₂类样本为正样本集，以其他类样本为负样本集，构造第二个内节点处的MKSVM二类分类器；依次下去，可得到基于二叉树的MKSVM多分类方法。由于c-1个二类MKSVM分类器是根据样本向量之间的距离由大到小排列的，新模式产生时，只需按照二叉树由高到低进行搜索，可在很大程度上降低样本的重复训练量。

该方法结合多核支持向量机理论和二叉树组合策略设计了基于MKSVM的多种类分类方法，在支持向量数目、分类精度和速度上优于传统的单核支持向量机分类方法，兼顾肌电信号多模式分类的准确性和实时性要求。

Claims (1)

1.基于多核支持向量机的肌电信号分类方法，其特征在于该方法包括以下步骤：

步骤(1)通过肌电信号采集仪拾取人体下肢的肌电信号；

步骤(2)采用小波系数尺度间相关性消噪法对含有干扰噪声的肌电信号进行消噪，具体步骤包括：

a.用离散二进小波变换求出含噪肌电信号在尺度j上位置k处的小波变换系数W(j，k)，j＝1，2，…，J，J＝log₂N；N为信号长度，J为分解的最大尺度；

b.计算各尺度噪声小波变换的标准方差

c.对每个小波分解尺度j，j＝1，2，…，J，具体是：

①计算相关系数Cor(j，k)及其规范化系数NCor(j，k)，方法如下

Cor(j，k)＝W(j，k)gW(j+1，k)

$\mathrm{NCor}(j,k)=\mathrm{Cor}(j,k)\sqrt{\frac{\mathrm{PW}\left(j\right)}{\mathrm{PCor}\left(j\right)}}$

其中，

PW(j)为W(j，k)在第j级的能量，PCor(j)为Cor(j，k)在第j级的能量，k＝1，2，…，N；

②对于k＝1，2，L，N_s，引入一个与尺度相关的系数因子λ(j)≥1，通过比较NCor(j，k)和λ(j)W(j，k)的绝对值，提取肌电信号的边缘信息，具体是：如果|NCor(j，k)|≥λ(j)|W(j，k)|，那么认为该点为信号的边缘，将该点的小波系数W(j，k)赋值给各尺度下被抽取的小波系数

相应的位置保存起来，然后将该点的小波系数W(j，k)和相关系数Cor(j，k)都置为0；否则，对应点的W(j，k)和相关系数Cor(j，k)保持不变；

③设W(j，k)被抽取出K个边缘点后变为W′(j，k)，如果W′(j，k)的能量

满足

则对尺度j循环终止；否则，重复步骤①、②和③；τ(j)为噪声能量因子；

d.将处理后得到的各尺度下被抽取的小波系数经过离散二进小波的逆变换得到消噪后的肌电信号，j＝1，2，…，J；

步骤(3)对消噪后的肌电信号进行特征提取，利用消噪后的小波系数得到肌电信号的特征T_j

$T_j=\frac{\sqrt{{\mathrm{\&Sigma;}}_{k=1}^N\tilde{W}{(j,k)}^2}}{N},$ j＝1，2，…，J-1

其中，

表示尺度j上位置k处被抽取的小波系数，N为信号长度，J为分解的最大尺度；

步骤(4)基于多核支持向量机的分类操作，具体步骤是：

a.求解基于多核支持向量机二类分类问题

给定n维欧氏空间的训练样本集

其中i＝1，2，…，l，l为样本数，为输入值，y_i∈{+1，-1}为类标号；多核支持向量机算法本质上是用M个核函数凸组合，记为

有d_m≥0且

输入值x_i通过映射

m＝1，2，…，M，从输入空间映射到高维特征空间，其中D_m表示为M维特征空间的维数，将其表示为下面的优化问题

min $\frac{1}{2}{\left(\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\left|\right|w_m\left|\right|}_2\right)}^2+C\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_i$

w.r.t.

s.t.    ξ_i≥0，

i＝1，2，…，l

其中，C为惩罚系数，w_m＝d_mw′_m，d_m≥0，m＝1，2，…，M和

b.利用二叉树组合策略解决多类分类问题

对于一个c类的模式识别问题，给定n维欧氏空间的训练样本集

其中i＝1，2，…，l，l为样本数，

为输入值，y_i∈Y＝{1，2，…，c}为类标号；定义第y_k∈Y类的第k个样本点与第y_l∈Y类的第l个样本点

之间的距离为

i＝1，2，…，N_k；j＝1，2，…，N_l，其中N_k为样本集S中y_k类的训练样本数，N_l为S中y_l类的训练样本数；然后，定义第y_k类与第y_l类之间的距离为

对每个类，根据上式分别计算它与c-1个其他类之间的距离，得到相应的距离矩阵D

$D=\left[\begin{array}{cccc}D(y_1,y_2)& D(y_1,y_3)& ...& D(y_1,y_c)\\ D(y_2,y_1)& D(y_2,y_3)& ...& D(y_2,y_c)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ D(y_c,y_1)& D(y_c,y_2)& ...& D(y_c,y_{c-1})\end{array}\right]$

对矩阵D每一行中的c-1个距离值按由大到小的顺序排列，得到对应的距离排序矩阵

根据矩阵

第一列元素的大小

(i＝1，2，…，c)，按照由大到小的顺序对相应的类标号重新编号，即

(i＝1，2，…，c)最大者对应的类标号记为1，而最小者对应的类标号记为c；最终得到所有类别的排列为y₁，y₂，…，y_c；由此，将c类分类问题转化为c-1个二类分类器来解决。