CN103839071A - 一种基于模糊支持向量机的多分类方法 - Google Patents

Abstract

本发明设计一种基于模糊支持向量机的多分类方法。模糊支持向量机（FSVMs）的基本思想是：将模糊技术应用于支持向量机中，对不同的样本采用不同的惩罚权系数，使得在构造目标函数时，不同的样本有不同的贡献，对含有噪声或野值的样本赋予较小的权值，从而达到消除噪声与野值样本影响的目的。模糊支持向量机在多类分类问题上存在不可分区域，即对于训练好的分类函数，可能对一个待分数据无法进行分类。为了避免产生不可分区域，我们引入模糊隶属度函数，在很大程度上消除了不可分区域的问题。另外，通过模糊支持进行修正，还保证了各分类器分类结果的一致性。

Description

一种基于模糊支持向量机的多分类方法

技术领域

本发明涉及分类方法，特别是一种基于模糊支持向量机的多分类方法。 

背景技术

早在20世纪70年代，以V.N.Vapnik为首的一批学者就开始研究在有限样本情况下的机器学习理论，直到20世纪90年代中期，有限样本下的机器学习理论才逐步发展和成熟起来，从而形成了一个比较完善的理论体系--统计学习理论（Statistical Learning Theory）。而同时期在机器学习领域的一些比较流行的方法则遇到一些问题的困扰，如在神经网络中，网络模型结构的确定问题、“过学习”问题以及局部最小点问题等，这在一定程度上给统计学习理论在机器学习领域中受到关注提供了机会。1995年左右，Vapnik等人在统计学习理论基础上发展出了一套新的机器学习方法-支持向量机（SVMs)。该方法在处理小样本学习问题上体现出了较传统机器学习方法更大的理论优势，并快速广泛的应用到模式识别和函数拟合上。目前SVM正逐渐成为继人工神经网络方法之后在机器学习领域中的一个新的研究热点，由此带来的对该方法的研究和完善必将有力地推动机器学习领域的重大发展。 

支持向量机实现思想充分体现了统计学习理论中关于学习过程一致性和结构风险最小化的思想。它的设计方法遵循在保持经验风险固定（甚至为零）的基础上最小化置信范围。SVM的核心思想就是把学习样本非线性映射到高维核空间，在高维核空间创建具低VC维的最优分类超平面。它通过综合考虑经验风险和置信范围的大小，根据结构风险最小化原则取其折衷，从而得到风险上界最小的分类函数。由于经典的支持向量机算法是针对两类的分类问题提出的，是一个典型的二元分类器，而在实际应用中，一般要解决的是多元识别问题，为实现对k个类别的识别，需对SVM进行推广。 

支持向量机通过最优超平面，将样本划分为互相对立的两个类。然而在实际应用中，在某些情况下，每个样本并不是完全能够划归到某一类，即样本与类别之间存在着某种模糊的隶属关系，由此，针对传统支持向量机存在的一些 问题，许多学者将模糊理论引入到支持向量机中，提出了模糊支持向量机(FSVMs)，它是对传统支持向量机的进一步改进与完善。 

发明内容

模糊支持向量机是针对一对多组合与一对一组合支持向量机存在决策盲区而提出的。解决在多类分类问题上存在不可分区域，即对于训练好的分类函数，可能对一个待分数据无法进行分类的问题。 

为了实现上述目的，本发明的技术方案如下：一种基于模糊向量机的多分类方法，包括以下步骤： 

A、使用一对一组合方法进行分类 

A1、定义分类函数 

在样本中单独取出第i类和第j类(1≤i,j≤K)，考虑一个两类分类问题，得到分类函数： $D_{\mathrm{ij}}=w_{\mathrm{ij}}^{t}g\left(x\right)+b_{\mathrm{ij}}.$

A2、定义归属度函数 

定义D_ij=-D_ji，对于给定数据x进行分类，定义x对第i类的归属度： 

$D_i\left(x\right)=\underset{j\≠i,j=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{sign}\left[D_{\mathrm{ij}}\left(x\right)\right]$ i=1,2,...,K  。 

A3、分类 

计算出K个D_i后，将x分入归属度最大的一类，即分入：argMax(D_i(x))。如果x不能被确切分类，转向下一步。 

B、使用最小归属度模糊支持向量机或平均归属度模糊支持向量机进行分类 

B1、定义模糊隶属度函数 

为了避免产生不可分区域，引入模糊隶属度函数，定义： 

$m_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}1& D_{\mathrm{ij}}\&GreaterEqual;1\\ D_{\mathrm{ij}}& -1<D_{\mathrm{ij}}<1\\ -1& D_{\mathrm{ij}}\&le;-1\end{array}\right.$

B2、定义归属度函数 

归属度函数可以有两种定义方法最小归属度和平均归属度。 

最小归属度： $m_i=\underset{j=1,...,k,j\&NotEqual;i}{\mathrm{Min}}\left(m_{\mathrm{ij}}\left(x\right)\right)$

平均归属度： $m_i=\frac{1}{k-1}\underset{j\&NotEqual;i,j=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{\mathrm{ij}}\left(x\right)$

B3、分类 

得到k个m_i后，将x归入m_i最大的一类：

与现有技术相比，本发明具有以下有益效果： 

1、与其他多分类方法相比，本发明提出的基于模糊支持向量机的多分类方法能够消除多分类问题中的不可分区域； 

2、本发明提出的基于模糊支持向量机的多分类方法在消除多分类问题中的不可分区域的同时，保证了各分类器分类结果的一致性。 

附图说明

本发明共有附图1张，其中： 

图1是1-v-1SVM中不可分区域。 

具体实施方式

如图1所示A、使用一对一组合方法进行分类 

A1、定义分类函数 

在样本中单独取出第i类和第j类(1≤i,j≤K)，考虑一个两类分类问题，得到分类函数： $D_{\mathrm{ij}}=w_{\mathrm{ij}}^{t}g\left(x\right)+b_{\mathrm{ij}}.$

A2、定义归属度函数 

定义D_ij=-D_ji，对于给定数据x进行分类，定义x对第i类的归属度： 

$D_i\left(x\right)=\underset{j\&NotEqual;i,j=1}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{sign}\left[D_{\mathrm{ij}}\left(x\right)\right]$ i=1,2,...,K  。 

A3、分类 

计算出K个D_i后，将x分入归属度最大的一类，即分入：argMax(D_i(x))。如果x不能被确切分类如图1所示，转向下一步。 

B、使用最小归属度模糊支持向量机或平均归属度模糊支持向量机进行分类 

B1、定义模糊隶属度函数 

为了避免产生不可分区域，引入模糊隶属度函数，定义： 

$m_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}1& D_{\mathrm{ij}}\&GreaterEqual;1\\ D_{\mathrm{ij}}& -1<D_{\mathrm{ij}}<1\\ -1& D_{\mathrm{ij}}\&le;-1\end{array}\right.$

B2、定义归属度函数 

归属度函数可以有两种定义方法最小归属度和平均归属度。 

最小归属度： $m_i=\underset{j=1,...,k,j\&NotEqual;i}{\mathrm{Min}}\left(m_{\mathrm{ij}}\left(x\right)\right)$

平均归属度： $m_i=\frac{1}{k-1}\underset{j\&NotEqual;i,j=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{\mathrm{ij}}\left(x\right)$

B3、分类 

得到k个m_i后，将x归入m_i最大的一类：

 。

Claims (1)

1.一种基于模糊支持向量机的多分类方法，其特征在于：包括以下步骤：

A、使用一对一组合方法进行分类

A1、定义分类函数

在样本中单独取出第i类和第j类(1≤i,j≤K)，考虑一个两类分类问题，得到分类函数： $D_{\mathrm{ij}}=w_{\mathrm{ij}}^{t}g\left(x\right)+b_{\mathrm{ij}};$

A2、定义归属度函数

定义D_ij=-D_ji，对于给定数据x进行分类，定义x对第i类的归属度：

$D_i\left(x\right)=\underset{j\&NotEqual;i,j=1}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{sign}\left[D_{\mathrm{ij}}\left(x\right)\right]$ i=1,2,...,K  ；

A3、分类

计算出K个D_i后，将x分入归属度最大的一类，即分入：argMax(D_i(x))；如果x不能被确切分类，转向下一步；

B、使用最小归属度模糊支持向量机或平均归属度模糊支持向量机进行分类

B1、定义模糊隶属度函数

为了避免产生不可分区域，引入模糊隶属度函数，定义：

$m_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}1& D_{\mathrm{ij}}\&GreaterEqual;1\\ D_{\mathrm{ij}}& -1<D_{\mathrm{ij}}<1\\ -1& D_{\mathrm{ij}}\&le;-1\end{array}\right.$

B2、定义归属度函数

归属度函数可以有两种定义方法最小归属度和平均归属度；

最小归属度： $m_i=\underset{j=1,...,k,j\&NotEqual;i}{\mathrm{Min}}\left(m_{\mathrm{ij}}\left(x\right)\right)$

平均归属度： $m_i=\frac{1}{k-1}\underset{j\&NotEqual;i,j=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{\mathrm{ij}}\left(x\right)$

B3、分类

得到k个m_i后，将x归入m_i最大的一类：

Images