CN105447520A - 一种基于加权投影对支持向量机的样本分类方法 - Google Patents

Abstract

本发明公开了一种基于加权投影对支持向量机的样本分类方法，包括以下步骤：在每类样本内部及不同类样本之间分别构造类内近邻图G_s和类间近邻图G_d；依据每类样本的类内近邻图G_s计算样本权值,并计算每类样本的加权均值中心；依据类间近邻图G_d确定离特定类样本较近的相反类样本，并构造线性模式下的优化问题；求解上述优化问题的对偶问题，获得两类样本的决策超平面：x^Tw₁+b₁＝0和x^Tw₂+b₂＝0，依据决策超平面对未知样本进行分类，其中，w₁、w₂为第1类和第2类样本的投影轴，x表示n维度矢量空间中的样本，b₁、b₂分别表示两类样本决策超平面的偏置。在一定程度上提高了算法的局部学习能力，很大程度上降低了算法求解的计算复杂度。

Description

一种基于加权投影对支持向量机的样本分类方法

技术领域

本发明涉及一种非平行超平面分类器方法，具体地涉及一种基于加权投影对支持向量机的样本分类方法。

背景技术

对于二分类问题，传统支持向量机(supportvectormachine,SVM)依据大间隔原则生成分类超平面，存在的缺陷是计算复杂度高且没有充分考虑样本的分布。近年来，作为SVM的拓展方向之一，以对支持向量机(twinsupportvectormachine,TWSVM)为主要代表的非平行超平面分类器(nonparellelhyperplaneclassifiers,NHCs)正逐渐成为模式识别领域新的研究热点。TWSVM思想源于广义特征值近似支持向量机(generalizedeigenvalueproximalSVM,GEPSVM)，将GEPSVM问题转换为两个规模较小的形如SVM的二次规划问题，计算复杂度缩减为SVM的1/4。除了速度上的优势，TWSVM继承了GEPSVM的优势，即线性模式下能够较好地处理异或(XOR)问题。然而，当两类样本具有不同的散度分布时，TWSVM的泛化性能欠佳。

投影对支持向量机(projectiontwinsupportvectormachine,PTSVM)，一种新的非平行超平面分类器，与TWSVM不同的是：PTSVM优化目的是为每类样本寻找最佳投影轴，而且通过递归迭代算法，PTSVM能够生成多个正交投影轴。实验结果表明，PTSVM对复杂的XOR问题具有更好的分类能力。为解决非线性分类问题,也有提出PTSVM的非线性方法。

PTSVM算法如下：

给定两类n维的m个训练样本点,分别用m₁×n的矩阵A和m₂×n的矩阵B表示第1类(+1类)和第2类(-1类)，这里m₁和m₂分别是两类样本的数目，并令m＝m₁+m₂。PTSVM的目标也是在n维空间中寻找两个投影轴w₁和w₂，要求本类样本投影后尽可能聚集，同时他类样本尽可能分散。事实上，PTSVM优化目标也是在n维空间中寻找两个超平面：

x^Tw₁+b₁＝0,x^Tw₂+b₂＝0.(1)

需要注意的是，这里的偏置e₁和e₂是两个实体为1的列向量， $A={\[x_1^{\left(1\right)},...,x_{m_1}^{\left(1\right)}\]}^T,B={\[x_1^{\left(2\right)},...,x_{m_2}^{\left(2\right)}\]}^T,$ 表示第i类的第j个样本。

第1类超平面的优化准则为

$(PTSVM-1)\begin{array}{cc}\min & \frac{1}{2}\underset{i=1}{\overset{m_1}{\mathrm{\Σ}}}{(w_1^T{x}_i^{\left(1\right)}-w_1^T\frac{1}{m_1}\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{x}_j^{\left(1\right)})}^2+C_1\underset{l=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\ξ}}_l\\ s.t.& -(w_1^T{x}_l^{\left(2\right)}-w_1^T\frac{1}{m_1}\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{x}_l^{\left(1\right)})+{\mathrm{\ξ}}_l\≥1,{\mathrm{\ξ}}_l\≥0,\end{array}---\left(2\right)$

其中，C₁是惩罚参数，ξ_l为损失变量。令 $S_1=\underset{i=1}{\overset{m_1}{\Σ}}(x_i^{\left(1\right)}-\frac{1}{m_1}\underset{j=1}{\overset{m_1}{\Σ}}{x}_j^{\left(1\right)}){(x_i^{\left(1\right)}-\frac{1}{m_1}\underset{j=1}{\overset{m_1}{\Σ}}{x}_j^{\left(1\right)})}^T,$ 式(2)可用矩阵形式表示为

$(PTSVM-1)\begin{array}{cc}\min & \frac{1}{2}{w}_1^T{S}_1{w}_1^T+C_1{e}_2^T\mathrm{\ξ},\\ s.t.& -({\mathrm{Bw}}_1^T-\frac{1}{m_1}{e}_2{e}_1^T{\mathrm{Aw}}_1)+\mathrm{\ξ}\≥e_2,\mathrm{\ξ}\≥0,\end{array}---\left(3\right)$

其中ξ＝[ξ₁,…,ξ_m2]^T。

显然，PTSVM的优化目标函数考虑的是样本的散度，类内方差S₁反应的是样本的全局分布，不是样本之间的局部几何结构。因此，该方法没有考虑蕴含在样本之间局部鉴别信息。忽视了样本空间的局部结构和局部信息。许多研究结果表明同类数据集中大部分样本在局部上是关联的，即数据集中存在潜藏的局部几何结构，而这种内在的局部信息对数据分类又是至关重要的。这种潜在的局部信息可以通过数据集中样本间的k近邻关系进行挖掘。

发明内容

针对上述技术问题，本发明目的是：提供一种基于加权投影对支持向量机的样本分类方法，通过构造类内近邻图为每个样本获取特定的权值,并且以加权均值取代标准均值，在一定程度上提高了算法的局部学习能力；利用类间近邻图选择相反类中少量的边界样本进行二次规划求解,很大程度上降低了算法求解的计算复杂度。

本发明的技术方案是：

一种基于加权投影对支持向量机的样本分类方法，其特征在于，包括以下步骤：

S01：在每类样本内部及不同类样本之间分别构造类内近邻图G_s和类间近邻图G_d；

S02：依据每类样本的类内近邻图G_s计算样本权值,并计算每类样本的加权均值中心；

S03：依据类间近邻图G_d确定离特定类样本较近的相反类样本，并构造线性模式下的优化问题；

S04：求解上述优化问题的对偶问题，获得两类样本的决策超平面：x^Tw₁+b₁＝0和x^Tw₂+b₂＝0，依据决策超平面对未知样本进行分类，其中，w₁、w₂为第1类和第2类样本的投影轴，x表示n维度矢量空间中的样本，b₁、b₂分别表示两类样本决策超平面的偏置。

优选的，同类中给定的任意两个c类样本和m_c为c类样本数，则类内近邻图G_s的相似矩阵为:

$W_{ij}^s=\left\{\begin{array}{cc}\begin{array}{c}\exp (-||x_i^{\left(c\right)}-x_j^{\left(c\right)}|{|}^2/t)\\ 0\end{array}& \begin{array}{c}if{x}_j^{\left(c\right)}isknearestneighborsof{x}_i^{\left(c\right)}\\ or{x}_i^{\left(c\right)}isknearestneighborsof{x}_j^{\left(c\right)}\\ otherwise,\end{array}\end{array}\right.,---\left(4\right)$

其中t为热核参数；

第c类样本的相反类中任意样本则类间近邻图G_d的相似矩阵为:

$W_{il}^d=\left\{\begin{array}{cc}1& if{x}_l^{\left(\stackrel{\‾}{c}\right)}isknearestneighborsof{x}_i^{\left(c\right)}\\ 0& therwise\end{array}\right.,---\left(5\right)$

第类中每一个样本定义权重为：

$f_l^{\left(\stackrel{\‾}{c}\right)}=\left\{\begin{array}{cc}1& \∃i,W_{il}^d\≠0,\\ 0& therwise.\end{array}\right.---\left(6\right)$

显然，第类中的那些样本是离第c类样本比较近的边界点；

第1类超平面和第2类超平面优化目标是为第1类和第2类样本寻找最佳投影轴w₁和w₂,使得权重较大的样本投影后尽可能聚集在加权均值中心附近，第1类超平面优化准则为：

$(WPTSVM-1)\begin{array}{cc}\min & \frac{1}{2}\underset{i=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i^{\left(1\right)}{(w_1^T{x}_i^{\left(1\right)}-w_1^T\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)})}^2+C_1\underset{l=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\ξ}}_l,\\ s.t.& -f_l^{\left(2\right)}(w_1^T{x}_l^{\left(2\right)}-w_1^T\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)})+{\mathrm{\ξ}}_l\≥f_l^{\left(2\right)},{\mathrm{\ξ}}_l\≥0.\end{array}---\left(7\right)$

第2类超平面优化准则为：

$(WPTSVM-2)\begin{array}{cc}\min & \frac{1}{2}\underset{l=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\ρ}}_l^{\left(2\right)}{(w_2^T{x}_l^{\left(2\right)}-w_2^T\underset{j=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)})}^2+C_2\underset{i=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\η}}_i,\\ s.t.& f_i^{\left(1\right)}(w_2^T{x}_i^{\left(1\right)}-w_2^T\underset{j=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)})+{\mathrm{\η}}_i\≥f_i^{\left(1\right)},{\mathrm{\η}}_i\≥0.\end{array}---\left(8\right)$

其中，C₁和C₂是惩罚参数，ξ_l和η_i为损失变量，c＝1、2，代表样本的权重，为第1类样本空间的加权均值，可通过分别求解优化准则式(7)和(8)的对偶问题，获得两类样本的最佳投影轴：

第1类样本投影轴w₁为：

$w_1=-{\left({\left(A-e_1{e}_1^T{E}^{\left(1\right)}A\right)}^T{D}^{\left(1\right)}\right(A-e_1{e}_1^T{E}^{\left(1\right)}A\left)\right)}^{-1}{\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right)}^T\mathrm{\α}.---\left(16\right)$

第2类样本投影轴w₂为：

$w_2={\left({\left(B-e_2{e}_2^T{E}^{\left(2\right)}B\right)}^T{D}^{\left(2\right)}\right(B-e_2{e}_2^T{E}^{\left(2\right)}B\left)\right)}^{-1}{\left(F^{\left(1\right)}\right(A-e_1{e}_2^T{E}^{\left(2\right)}B\left)\right)}^T\mathrm{\γ}.---\left(17\right)$

其中: $D^{\left(1\right)}=diag({\mathrm{\ρ}}_1^{\left(1\right)},...,{\mathrm{\ρ}}_{m_1}^{\left(1\right)}),D^{\left(2\right)}=diag({\mathrm{\ρ}}_1^{\left(2\right)},...,{\mathrm{\ρ}}_{m_2}^{\left(2\right)}),E^{\left(1\right)}=diag({\mathrm{\λ}}_1^{\left(1\right)},...,{\mathrm{\λ}}_{m_1}^{\left(1\right)}),$ $E^{\left(2\right)}=diag({\mathrm{\λ}}_1^{\left(2\right)},...,{\mathrm{\λ}}_{m_2}^{\left(2\right)}),F^{\left(1\right)}=diag(f_1^{\left(1\right)},...,f_{m_1}^{\left(1\right)}),F^{\left(2\right)}=diag(f_1^{\left(2\right)},...,f_{m_2}^{\left(2\right)}),A\∈R^{m_1\×n}$ 表示第1类(即+1类)样本集，表示第2类(即-1类)样本集，及为单位1向量， $\mathrm{\α}={\[{\mathrm{\α}}_1,...,{\mathrm{\α}}_{m_2}\]}^T$ 和 $\mathrm{\γ}={\[{\mathrm{\γ}}_1,...,{\mathrm{\γ}}_{m_1}\]}^T$ 是非负拉格朗日乘子；

对于未知样本x，WPTSVM的分类决策函数为：

其中, $d_c=\left|w_c^{T}x-w_c^T\underset{j=1}{\overset{m_c}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}{x}_j^{\left(c\right)}\right|.$

优选的，若所述样本的几何结构呈现出高维非线性流行时，构造非线性模式下的优化问题；求解上述优化问题的对偶问题，获得两类样本的决策超平面：K(x^T,C^T)u₁+b₁＝0和K(x^T,C^T)u₂+b₂＝0，依据决策超平面对未知样本进行分类；其中，K(,)为高斯核函数，u₁和u₂分别为第1类和第2类样本的投影矢量，x位n维矢量空间中的样本，C为全体样本集。

优选的，构造第1类决策超平面的优化准则为：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)}^T{D}^{\left(1\right)}\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+C_1{e}_2^T\mathrm{\ξ},\\ s.t.& -F^{\left(2\right)}\left(K\right(B,C^T)u_1-e_2{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+\mathrm{\ξ}\≥F^{\left(2\right)}{e}_2,\mathrm{\ξ}\≥0.\end{array}---\left(19\right)$

构造第2类决策超平面的优化准则为：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)}^T{D}^{\left(2\right)}\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+C_2{e}_1^T\mathrm{\η},\\ s.t.& F^{\left(1\right)}\left(K\right(A,C^T)u_2-e_1{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+\mathrm{\η}\≥F^{\left(1\right)}{e}_1,\mathrm{\η}\≥0.\end{array}---\left(20\right)$

其中，K(,)为高斯核函数，u₁和u₂分别为第1类和第2类样本的投影矢量， $\mathrm{\ξ}=({\mathrm{\ξ}}_1,...,$ ${\mathrm{\ξ}}_{m_2}{)}^T,\mathrm{\η}={({\mathrm{\η}}_1,...,{\mathrm{\η}}_{m_1})}^T,D^{\left(1\right)}=diag({\mathrm{\ρ}}_1^{\left(1\right)},...,{\mathrm{\ρ}}_{m_1}^{\left(1\right)}),D^{\left(2\right)}=diag({\mathrm{\ρ}}_1^{\left(2\right)},...,{\mathrm{\ρ}}_{m_2}^{\left(2\right)}),E^{\left(1\right)}=diag({\mathrm{\λ}}_1^{\left(1\right)},...,{\mathrm{\λ}}_{m_1}^{\left(1\right)}),$ $E^{\left(2\right)}=diag({\mathrm{\λ}}_1^{\left(2\right)},...,{\mathrm{\λ}}_{m_2}^{\left(2\right)}),F^{\left(1\right)}=diag(f_1^{\left(1\right)},...,f_{m_1}^{\left(1\right)}),F^{\left(2\right)}=diag(f_1^{\left(2\right)},...,f_{m_2}^{\left(2\right)}),A\∈R^{m_1\×n}$ 表示第1类(即+1类)样本集，表示第2类(即-1类)样本集，及为单位1向量，x位n维矢量空间中的样本，C为全体样本集，ξ、η为松弛变量；

通过引入拉格朗日函数，推导出对偶形式，然后通过二次规划求解得出投影矢量u₁和u₂；

对于未知样本x，NWPTSVM的分类决策函数为：

其中， $d_c=|K(x^T,C^T)u_i-\underset{j=1}{\overset{m_c}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}K({\left(x_j^{\left(c\right)}\right)}^T,C^T)u_i|,i=1,2.$

本发明的优点是：

1.通过构造类内近邻图为每个样本获取特定的权值，并且以加权均值取代标准均值，在一定程度上提高了算法的局部学习能力。

2.利用类间近邻图选择相反类中少量的边界样本进行二次规划求解,很大程度上降低了算法求解的计算复杂度。

3.本发明继承了PTSVM的优点,可以看成PTSVM的推广算法。

4.理论分析及其在人造数据集和真实数据集上的测试结果都表明本发明具有更好的分类性能。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于加权投影对支持向量机的样本分类方法的流程图；

图2为本发明WPTSVM和PTSVM在人造数据集上的决策超平面。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

如图1所示，该方法包括以下步骤：

第一步：在每类样本内部及不同类样本之间分别构造近邻图G_s和G_d；

第二步：依据每类样本的近邻图G_s计算样本权值；

第三步：在第二步的基础上计算出每类样本的加权均值中心；

第四步：依据类间近邻图确定离特定类样本较近的相反类样本；

第五步：利用第一、二、三、四步的结果构造线性模式下的优化问题；

第六步：求解第五步优化问题的对偶问题，获得两类样本的决策超平面：x^Tw₁+b₁＝0和x^Tw₂+b₂＝0；

第七步：依据第六步的决策超平面对未知样本进行分类。

针对每一类超平面，构造一对k近邻图G_s和G_d分别刻画类内样本的紧凑性及类间样本的分散性。

考虑同类中给定的任意两个c类样本和m_c为c类样本数，则类内近邻图G_s的相似矩阵为:

$W_{ij}^s=\left\{\begin{array}{cc}\begin{array}{c}\exp (-||x_i^{\left(c\right)}-x_j^{\left(c\right)}|{|}^2/t)\\ 0\end{array}& \begin{array}{c}if{x}_j^{\left(c\right)}isknearestneighborsof{x}_i^{\left(c\right)}\\ or{x}_i^{\left(c\right)}isknearestneighborsof{x}_j^{\left(c\right)}\\ otherwise,\end{array}\end{array}\right.,---\left(4\right)$

其中t为热核参数。

考虑第c类样本给定相反类中任意样本则类间近邻图G_d的相似矩阵为:

$W_{il}^d=\left\{\begin{array}{cc}1& if{x}_l^{\left(\stackrel{\‾}{c}\right)}isknearestneighborsof{x}_i^{\left(c\right)}\\ 0& therwise\end{array}\right.,---\left(5\right)$

第类中每一个样本定义权重为：

$f_l^{\left(\stackrel{\‾}{c}\right)}=\left\{\begin{array}{cc}1& \∃i,W_{il}^d\≠0,\\ 0& therwise.\end{array}\right.---\left(6\right)$

显然,第类中的那些样本是离第c类样本比较近的边界点。

本方法是针对两类样本的二分类问题提出的分类方法。

第1类超平面优化目标是为第1类样本寻找最佳投影轴w₁,使得权重较大的样本投影后尽可能聚集在加权均值中心附近。优化准则为：

$(WPTSVM-1)\begin{array}{cc}\min & \frac{1}{2}\underset{i=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i^{\left(1\right)}{(w_1^T{x}_i^{\left(1\right)}-w_1^T\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)})}^2+C_1\underset{l=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\ξ}}_l,\\ s.t.& -f_l^{\left(2\right)}(w_1^T{x}_l^{\left(2\right)}-w_1^T\underset{j=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)})+{\mathrm{\ξ}}_l\≥f_l^{\left(2\right)},{\mathrm{\ξ}}_l\≥0.\end{array}---\left(7\right)$

第2类超平面优化准则为：

$(WPTSVM-2)\begin{array}{cc}\min & \frac{1}{2}\underset{l=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\ρ}}_l^{\left(2\right)}{(w_2^T{x}_l^{\left(2\right)}-w_2^T\underset{j=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)})}^2+C_2\underset{i=1}{\overset{m_1}{\mathrm{\Σ}}}{\mathrm{\η}}_i,\\ s.t.& f_i^{\left(1\right)}(w_2^T{x}_i^{\left(1\right)}-w_2^T\underset{j=1}{\overset{m_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)})+{\mathrm{\η}}_i\≥f_i^{\left(1\right)},{\mathrm{\η}}_i\≥0.\end{array}---\left(8\right)$

其中，C₁和C₂是惩罚参数，ξ_l和η_i为损失变量，c＝1、2。

式(7)中，代表样本的权重，值越大,表示越重要，对保持样本空间局部信息的贡献程度越大；为第1类样本空间的加权均值，比起式(2)中的标准均值更能体现样本空间的局部结构。约束条件表明WPTSVM-1仅仅考虑第2类样本中的边界样本。式(8)有类似的几何解释式。

式(7)矩阵形式为：

$(WPTSVM-1)\begin{array}{cc}\min & \frac{1}{2}{({\mathrm{Aw}}_1-e_1{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)}^T{D}^{\left(1\right)}({\mathrm{Aw}}_1-e_1{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)+C_1{e}_2^T\mathrm{\ξ},\\ s.t.& -F^{\left(2\right)}({\mathrm{Bw}}_1-e_2{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)+\mathrm{\ξ}\≥F^{\left(2\right)}{e}_2,\mathrm{\ξ}\≥0,\end{array}---\left(9\right)$

其中: $\mathrm{\ξ}={({\mathrm{\ξ}}_1,...,{\mathrm{\ξ}}_{m_2})}^T,D^{\left(1\right)}=diag({\mathrm{\ρ}}_1^{\left(1\right)},...,{\mathrm{\ρ}}_{m_1}^{\left(1\right)}),E^{\left(1\right)}=diag({\mathrm{\λ}}_1^{\left(1\right)},...,{\mathrm{\λ}}_{m_1}^{\left(1\right)}),$ $F^{\left(2\right)}=diag(f_1^{\left(2\right)},\mathrm{...},f_{m_2}^{\left(2\right)}).A\∈R^{m_1\×n}$ 表示第1类(即+1类)样本集，表示第2类(即-1类)样本集，及为单位1向量。

式(9)优化问题对应的拉格朗日形式为：

$\begin{array}{c}L(w_1,\mathrm{\ξ},{\mathrm{\α}}^T,{\mathrm{\β}}^T)=\frac{1}{2}{({\mathrm{Aw}}_1-e_1{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)}^T{D}^{\left(1\right)}({\mathrm{Aw}}_1-e_1{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)+\\ C_1{e}_2^T\mathrm{\ξ}+{\mathrm{\α}}^T\left(F^{\left(2\right)}\right({\mathrm{Bw}}_1-e_2{e}_1^T{E}^{\left(1\right)}{\mathrm{Aw}}_1)-\mathrm{\ξ}+F^{\left(2\right)}{e}_2)-{\mathrm{\β}}^T\mathrm{\ξ}.\end{array}---\left(10\right)$

其中:和是非负拉格朗日乘子。令式(10)对w₁和ξ的偏导数为0，可得：

$\begin{array}{c}\frac{\∂L}{\∂w_1}=0\⇒\\ w_1=-{\left({\left(A-e_1{e}_1^T{E}^{\left(1\right)}A\right)}^T{D}^{\left(1\right)}\right(A-e_1{e}_1^T{E}^{\left(1\right)}A\left)\right)}^{-1}{\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right)}^T\mathrm{\α}.\end{array}---\left(11\right)$

$\frac{\∂L}{\∂\mathrm{\ξ}}=0\⇒C_1{e}_2-\mathrm{\α}-\mathrm{\β}=0.---\left(12\right)$

α≥0,β≥0.(13)

式(11)(12)代入(10)得原问题的对偶形式为：

$\begin{array}{cc}\min & \frac{1}{2}{\mathrm{\α}}^T\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right){\left({\left(A-e_1{e}_1^T{E}^{\left(1\right)}A\right)}^T{D}^{\left(1\right)}\right(A-e_1{e}_1^T{E}^{\left(1\right)}A\left)\right)}^{-1}.\\ & {\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right)}^T\mathrm{\α}-e_2^T\mathrm{\α},\\ s.t.& 0\≤\mathrm{\α}\≤C_1{e}_2.\end{array}---\left(14\right)$

由类似的推导方法可得，第2类样本优化准则式(8)对应的对偶形式为：

$\begin{array}{cc}\min & \frac{1}{2}{\mathrm{\γ}}^T\left(F^{\left(1\right)}\right(A-e_1{e}_2^T{E}^{\left(2\right)}B\left)\right){\left({\left(B-e_2{e}_2^T{D}^{\left(2\right)}B\right)}^T{D}^{\left(2\right)}\right(B-e_2{e}_2^T{E}^{\left(2\right)}B\left)\right)}^{-1}.\\ & {\left(F^{\left(1\right)}\right(A-e_1{e}_2^T{E}^{\left(2\right)}B\left)\right)}^T\mathrm{\γ}-e_1^T\mathrm{\γ},\\ s.t.& 0\≤\mathrm{\γ}\≤C_2{e}_1.\end{array}---\left(15\right)$

其中， $\mathrm{\γ}={\[{\mathrm{\γ}}_1,...,{\mathrm{\γ}}_{m_1}\]}^T$ 是非负拉格朗日乘子, $D^{\left(2\right)}=diag({\mathrm{\ρ}}_1^{\left(2\right)},...,{\mathrm{\ρ}}_{m_2}^{\left(2\right)}),$ $E^{\left(2\right)}=diag({\mathrm{\λ}}_1^{\left(2\right)},...,{\mathrm{\λ}}_{m_2}^{\left(2\right)}),F^{\left(1\right)}=diag(f_1^{\left(1\right)},...,f_{m_1}^{\left(1\right)}).$

通过分别求解对偶问题式(14)和(15),获得两类样本的最佳投影轴：

第1类样本投影轴w₁为：

$w_1=-{\left({\left(A-e_1{e}_1^T{E}^{\left(1\right)}A\right)}^T{D}^{\left(1\right)}\right(A-e_1{e}_1^T{E}^{\left(1\right)}A\left)\right)}^{-1}{\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right)}^T\mathrm{\α}.---\left(16\right)$

第2类样本投影轴w₂为：

$w_2={\left({\left(B-e_2{e}_2^T{E}^{\left(2\right)}B\right)}^T{D}^{\left(2\right)}\right(B-e_2{e}_2^T{E}^{\left(2\right)}B\left)\right)}^{-1}{\left(F^{\left(1\right)}\right(A-e_1{e}_2^T{E}^{\left(2\right)}B\left)\right)}^T\mathrm{\γ}.---\left(17\right)$

对于未知样本x，WPTSVM的分类决策函数为：

其中, $d_c=\left|w_c^{T}x-w_c^T\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}{x}_j^{\left(c\right)}\right|.$

WPTSVM与PTSVM比较：

考虑WPTSVM的第1类样本的优化准则(7)。令则式(7)转化为PTSVM的第1类样本的优化准则(2)。对于WPTSVM的第2类样本的优化准则(8)有类似的特性。因此，PTSVM是WPTSVM的特例，而WPTSVM是PTSVM的推广算法。

WPTSVM算法继承了PTSVM的优点，进一步比较式(14)和(2)可知，PTSVM仅仅考虑类内样本的全局信息，而WPTSVM用加权均值代替PTSVM中标准均值，可以在一定程度上提高算法的局部学习能力，因为基于近邻图的加权均值比起标准均值更能体现样本空间的局部结构。除此之外，WPTSVM还在优化目标函数中引入了样本权值，权值越大，说明该样本越重要，对保持样本空间局部信息的贡献程度越大。图2描述了PTSVM和WPTSVM在人造数据集上的决策超平面。显然，WPTSVM明显区别于PTSVM，WPTSVM的两个超平面在一定程度上反映了两类样本的内在局部流行结构；而PTSVM反映的是每类样本分布的平均信息，图2也进一步证明了PTSVM确实没有考虑样本空间局部几何结构。

从二次规划求解角度分析，PTSVM在训练阶段要针对每类中全部样本进行求解，所以计算复杂度为而WPTSVM优化准则中约束条件指明只对的样本(边界样本)进行二次规划求解，计算复杂度为其中m_1-SV,m_2-SV分别为第1类样本及第2类样本中相应边界样本点数，WPTSVM在训练阶段要事先求出每个样本的类内权重及类间权重，计算复杂度分别为和o(2m₁·m₂)。

当样本内在的几何结构呈现出高维非线性流行时,上述线性WPTSVM方法是没有办法得到非线性流行结构的，因此本文进一步提出基于核空间(KFS)的非线性WPTSVM(NWPTSVM)算法。算法步骤为：

第一步：在每类样本内部及不同类样本之间分别构造近邻图G_s和G_d；

第二步：依据每类样本的近邻图G_s计算样本权值；

第三步：在第二步的基础上计算出每类样本的加权均值中心；

第四步：依据类间近邻图确定离特定类样本较近的相反类样本；

第五步：利用第一、二、三、四步的结果构造非线性模式下的优化问题；

第六步：求解第五步优化问题的对偶问题，获得两类样本的决策超平面：K(x^T,C^T)u₁+b₁＝0和K(x^T,C^T)u₂+b₂＝0；

第七步：依据第六步的决策超平面对未知样本进行分类。

为了获得非线性模式下第1类样本的决策超平面，构造优化问题：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)}^T{D}^{\left(1\right)}\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+C_1{e}_2^T\mathrm{\ξ},\\ s.t.& -F^{\left(2\right)}\left(K\right(B,C^T)u_1-e_2{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+\mathrm{\ξ}\≥F^{\left(2\right)}{e}_2,\mathrm{\ξ}\≥0.\end{array}---\left(19\right)$

同样，为了获得非线性模式下第2类样本的决策超平面，构造优化问题：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)}^T{D}^{\left(2\right)}\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+C_2{e}_1^T\mathrm{\η},\\ s.t.& F^{\left(1\right)}\left(K\right(A,C^T)u_2-e_1{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+\mathrm{\η}\≥F^{\left(1\right)}{e}_1,\mathrm{\η}\≥0.\end{array}---\left(20\right)$

式(19)(20)中：K(,)为高斯核函数，u₁和u₂分别为第1类和第2类样本的投影矢量， $\mathrm{\ξ}={({\mathrm{\ξ}}_1,...,{\mathrm{\ξ}}_{m_2})}^T,\mathrm{\η}={({\mathrm{\η}}_1,...,{\mathrm{\η}}_{m_1})}^T,$ ξ、η为松弛变量。

通过引入拉格朗日函数,可按照类似上述WPTSVM算法的推导过程分别得出式(18)和(19)的对偶形式，然后通过二次规划求解可求得投影矢量u₁和u₂。

对于未知样本x，NWPTSVM的分类决策函数为：

其中, $d_c=|K(x^T,C^T)u_i-\underset{j=1}{\overset{m_c}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}K{\left(\right(x_j^{\left(c\right)}\left)\right)}^T,C^T)u_i|,i=1,2.$

为验证本文WPTSVM方法的有效性，在不同数据集上对其性能进行评估，所采用的数据集有两类：1)人造数据集；2)多个针对不同应用领域的真实数据集。

首先验证WPTSVM测试交叉数据集的能力，使用一种较复杂的人造交叉数据集:ComXor。下表给出了TWSVM、PTSVM和WPTSVM三种算法在该测试数据集上10折交叉验证结果。参数C₁与C₂的搜索范围为{2ⁱ|i＝-8,-6,…,+8}；WPTSVM中类内近邻参数k₁的搜索范围为{1,…,9}，类间近邻参数k2＝5，热核参数t的搜索范围为{2ⁱ|i＝-1,0,…,8}。从下表实验结果来看,PTSVM对复杂交叉数据集的测试效果优于TWSVM，而本文WPTSVM则具有更强的测试能力。

数据集two-moons的结构具有明显局部流行，所以该数据集多用于测试算法的局部学习能力。这里通过测试two-moons数据集,并与TWSVM和PTSVM方法进行比较,说明本文WPTSVM方法在处理局部流行数据的有效性。

实验设计:two-moons数据集大小为100,其中正负类数据数各50,随机抽取40％训练集和60％测试集,重复10次,分别记录实验结果,且将实验结果的平均值记录于下表。显然,WPTSVM方法具有更好的测试效果,这说明本文加权措施的确能够在一定程度上提高PTSVM算法的局部学习能力.

抽取该数据集多个分类数据子集来分别测试TWSVM,PTSVM和本文WPTSVM。对于每个数据子集,选用10-折交叉验证方法。实验结果给出了平均识别精度和训练时间。非线性算法采用高斯核函数exp(-||x_i-x_j||²/σ)，核宽参数σ的搜索范围为{2ⁱ|i＝-1,0,…,7}，其它参数搜索范围同上。下表为线性模式下的3种分类方法的测试结果。

下表给出了非线性模式下3种分类方法的测试结果。

从训练时间上看:TWSVM与PTSVM相当，WPTSVM明显比这两种算法快，这主要是因为前两种算法用相反类中全部样本进行二次规划求解，而本文的WPTSVM则用少量边界样本点求解。

从泛化性能上看:相比于TWSVM和PTSVM,本文提出的WPTSVM算法具有更好的分类能力,这也进一步验证了本文提高算法局部学习能力的措施确实有效。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于加权投影对支持向量机的样本分类方法，其特征在于，包括以下步骤：

S01：在每类样本内部及不同类样本之间分别构造类内近邻图G_s和类间近邻图G_d；

S02：依据每类样本的类内近邻图G_s计算样本权值,并计算每类样本的加权均值中心；

S03：依据类间近邻图G_d确定离特定类样本较近的相反类样本，并构造线性模式下的优化问题；

S04：求解上述优化问题的对偶问题，获得两类样本的决策超平面：x^Tw₁+b₁＝0和x^Tw₂+b₂＝0，依据决策超平面对未知样本进行分类，其中，w₁、w₂为第1类和第2类样本的投影轴，x表示n维度矢量空间中的样本，b₁、b₂分别表示两类样本决策超平面的偏置。

2.根据权利要求1所述的基于加权投影对支持向量机的样本分类方法，其特征在于，同类中给定的任意两个c类样本和m_c为c类样本数，则类内近邻图G_s的相似矩阵为:

$W_{ij}^s=\left\{\begin{array}{cc}\exp (-{||x_i^{\left(c\right)}-x_j^{\left(c\right)}||}^2/t)& \begin{array}{c}if{x}_j^{\left(c\right)}isknearestneighborsof{x}_i^{\left(c\right)}\\ or{x}_i^{\left(c\right)}isknearestneighborsof{x}_i^{\left(c\right)},\end{array}\\ 0& otherwise,\end{array}\right.---\left(4\right)$

其中t为热核参数；

第c类样本的相反类中任意样本则类间近邻图G_d的相似矩阵为:

$W_{il}^d=\left\{\begin{array}{cc}1& if{x}_l^{\left(\stackrel{\‾}{c}\right)}isknearestneighborsof{x}_i^{\left(c\right)},\\ 0& therwise.\end{array}\right.---\left(5\right)$

第类中每一个样本定义权重为：

$f_l^{\left(\stackrel{\‾}{c}\right)}=\left\{\begin{array}{cc}1& \∃i,W_{il}^d\≠0,\\ 0& therwise.\end{array}\right.---\left(6\right)$

显然，第类中的那些样本是离第c类样本比较近的边界点；

第1类超平面和第2类超平面优化目标是为第1类和第2类样本寻找最佳投影轴w₁和w₂,使得权重较大的样本投影后尽可能聚集在加权均值中心附近，第1类超平面优化准则为：

$(WPTSVM-1)\begin{array}{cc}\min & \frac{1}{2}\underset{i=1}{\overset{m_1}{\Σ}}{\mathrm{\ρ}}_i^{\left(1\right)}{\left(w_1^T{x}_i^{\left(1\right)}-w_1^T\underset{j=1}{\overset{m_1}{\Σ}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)}\right)}^2+C_1\underset{l=1}{\overset{m_2}{\Σ}}{\mathrm{\ξ}}_l,\\ s.t.& -f_l^{\left(2\right)}\left(w_1^T{x}_l^{\left(2\right)}-w_1^T\underset{j=1}{\overset{m_1}{\Σ}}{\mathrm{\λ}}_j^{\left(1\right)}{x}_j^{\left(1\right)}\right)+{\mathrm{\ξ}}_l\≥f_l^{\left(2\right)},{\mathrm{\ξ}}_l\≥0.\end{array}---\left(7\right)$

第2类超平面优化准则为：

$(WPTSVM-2)\begin{array}{cc}\min & \frac{1}{2}\underset{l=1}{\overset{m_2}{\Σ}}{\mathrm{\ρ}}_l^{\left(2\right)}{\left(w_2^T{x}_l^{\left(2\right)}-w_2^T\underset{j=1}{\overset{m_2}{\Σ}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)}\right)}^2+C_2\underset{i=1}{\overset{m_1}{\Σ}}{\mathrm{\η}}_i,\\ s.t.& f_i^{\left(1\right)}\left(w_2^T{x}_i^{\left(1\right)}-w_2^T\underset{j=1}{\overset{m_2}{\Σ}}{\mathrm{\λ}}_j^{\left(2\right)}{x}_j^{\left(2\right)}\right)+{\mathrm{\η}}_i\≥f_l^{\left(1\right)},{\mathrm{\η}}_i\≥0.\end{array}---\left(8\right)$

其中，C₁和C₂是惩罚参数，ξ_l和η_i为损失变量，c＝1、2，代表样本的权重，为第1类样本空间的加权均值，可通过分别求解优化准则式(7)和(8)的对偶问题，获得两类样本的最佳投影轴：

第1类样本投影轴w₁为：

$w_1=-{\left({\left(A-e_1{e}_1^T{E}^{\left(1\right)}A\right)}^T{D}^{\left(1\right)}\right(A-e_1{e}_1^T{E}^{\left(1\right)}A\left)\right)}^{-1}{\left(F^{\left(2\right)}\right(B-e_2{e}_1^T{E}^{\left(1\right)}A\left)\right)}^T\mathrm{\α}.---\left(16\right)$

第2类样本投影轴w₂为：

$w_2={\left({\left(B-e_2{e}_2^T{E}^{\left(2\right)}B\right)}^T{D}^{\left(2\right)}\right(B-e_2{e}_2^T{E}^{\left(2\right)}B\left)\right)}^{-1}{\left(F^{\left(1\right)}\right(A-e_1{e}_2^T{E}^{\left(2\right)}B\left)\right)}^T\mathrm{\γ}.---\left(17\right)$

其中: $D^{\left(1\right)}=diag({\mathrm{\ρ}}_1^{\left(1\right)},...,{\mathrm{\ρ}}_{m_1}^{\left(1\right)}),D^{\left(2\right)}=diag({\mathrm{\ρ}}_1^{\left(2\right)},...,{\mathrm{\ρ}}_{m_2}^{\left(2\right)}),E^{\left(1\right)}=diag({\mathrm{\λ}}_1^{\left(1\right)},...,{\mathrm{\λ}}_{m_1}^{\left(1\right)}),$ $E^{\left(2\right)}=diag({\mathrm{\λ}}_1^{\left(2\right)},...,{\mathrm{\λ}}_{m_2}^{\left(2\right)}),F^{\left(1\right)}=diag(f_1^{\left(1\right)},...,f_{m_1}^{\left(1\right)}),F^{\left(2\right)}=diag(f_1^{\left(2\right)},...,f_{m_2}^{\left(2\right)}),A\∈R^{m_1\×n}$ 表示第1类(即+1类)样本集，表示第2类(即-1类)样本集，及为单位1向量， $\mathrm{\α}={\[{\mathrm{\α}}_1,...,{\mathrm{\α}}_{m_2}\]}^T$ 和 $\mathrm{\γ}={\[{\mathrm{\γ}}_1,...,{\mathrm{\γ}}_{m_1}\]}^T$ 是非负拉格朗日乘子；

对于未知样本x，WPTSVM的分类决策函数为：

其中, $d_c=\left|w_c^{T}x-w_c^T\underset{j=1}{\overset{m_c}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}{x}_j^{\left(c\right)}\right|.$

3.根据权利要求1所述的基于加权投影对支持向量机的样本分类方法，其特征在于，若所述样本的几何结构呈现出高维非线性流行时，构造非线性模式下的优化问题；求解上述优化问题的对偶问题，获得两类样本的决策超平面：K(x^T,C^T)u₁+b₁＝0和K(x^T,C^T)u₂+b₂＝0，依据决策超平面对未知样本进行分类；其中，K(,)为高斯核函数，u₁和u₂分别为第1类和第2类样本的投影矢量，x位n维矢量空间中的样本，C为全体样本集。

4.根据权利要求3所述的基于加权投影对支持向量机的样本分类方法，其特征在于，构造第1类决策超平面的优化准则为：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)}^T{D}^{\left(1\right)}\left(K\right(A,C^T)u_1-e_1{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+C_1{e}_2^T\mathrm{\ξ},\\ s.t.& -F^{\left(2\right)}\left(K\right(B,C^T)u_1-e_2{e}_1^T{E}^{\left(1\right)}K(A,C^T\left)u_1\right)+\mathrm{\ξ}\≥F^{\left(2\right)}{e}_2,\mathrm{\ξ}\≥0.\end{array}---\left(19\right)$

构造第2类决策超平面的优化准则为：

$\begin{array}{cc}\min & \frac{1}{2}{\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)}^T{D}^{\left(2\right)}\left(K\right(B,C^T)u_2-e_2{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+C_1{e}_1^T\mathrm{\η},\\ s.t.& F^{\left(1\right)}\left(K\right(A,C^T)u_2-e_1{e}_2^T{E}^{\left(2\right)}K(B,C^T\left)u_2\right)+\mathrm{\η}\≥F^{\left(1\right)}{e}_1,\mathrm{\η}\≥0.\end{array}---\left(20\right)$

其中，K(,)为高斯核函数，u₁和u₂分别为第1类和第2类样本的投影矢量， $\mathrm{\ξ}=({\mathrm{\ξ}}_1,...,$ ${\mathrm{\ξ}}_{m_2}{)}^T,\mathrm{\η}={({\mathrm{\η}}_1,...,{\mathrm{\η}}_{m_1})}^T,D^{\left(1\right)}=diag({\mathrm{\ρ}}_1^{\left(1\right)},...,{\mathrm{\ρ}}_{m_1}^{\left(1\right)}),D^{\left(2\right)}=diag({\mathrm{\ρ}}_1^{\left(2\right)},...,{\mathrm{\ρ}}_{m_2}^{\left(2\right)}),E^{\left(1\right)}=diag({\mathrm{\λ}}_1^{\left(1\right)},...,{\mathrm{\λ}}_{m_1}^{\left(1\right)}),$ $E^{\left(2\right)}=diag({\mathrm{\λ}}_1^{\left(2\right)},...,{\mathrm{\λ}}_{m_2}^{\left(2\right)}),F^{\left(1\right)}=diag(f_1^{\left(1\right)},...,f_{m_1}^{\left(1\right)}),F^{\left(2\right)}=diag(f_1^{\left(2\right)},...,f_{m_2}^{\left(2\right)}),A\∈R^{m_1\×n}$ 表示第1类(即+1类)样本集，表示第2类(即-1类)样本集，及为单位1向量，x位n维矢量空间中的样本，C为全体样本集，ξ、η为松弛变量；

通过引入拉格朗日函数，推导出对偶形式，然后通过二次规划求解得出投影矢量u₁和u₂；

对于未知样本x，NWPTSVM的分类决策函数为：

其中， $d_c=|K(x^T,C^T)u_i-\underset{j=1}{\overset{m_c}{\Σ}}{\mathrm{\λ}}_j^{\left(c\right)}K({\left(x_j^{\left(c\right)}\right)}^T,C^T)u_i|,i=1,2.$