CN103605631B - 一种基于支持向量几何意义的增量学习方法 - Google Patents

Abstract

本发明公开了一种基于支持向量几何意义的增量学习方法，包括以下步骤：首先提出有效的选取给定个数凸包顶点样本的方法，称为CHVS方法，并从理论上证明此方法所选取的样本就是凸包顶点样本；其次通过在每一类样本集合中运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度保持各类凸包信息的重要样本，称为VS方法；最后用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器。本发明实现了有效的SVM增量学习分类方法，是一种通用的方法，相对于其它的经典SVM增量学习方法，本发明的增量学习方法更适合于大数据量的在线增量学习任务，具有很好的应用前景。

Description

一种基于支持向量几何意义的增量学习方法

技术领域

本发明涉及计算机模式识别领域，特别是涉及一种基于支持向量机即SVM几何意义的增量学习方法。

背景技术

分类器设计是计算机模式识别领域中的研究重点，因为分类器作为模式识别研究的基本工具。总的来说，目前的分类器算法主要有两个关键性的问题：（1）分类器的推广能力；（2）训练分类器所耗费的时间。

分类器的推广能力就是分类器预测未知样本类别的能力，即分类精度的高低。支持向量机即SVM是一种建立在统计学习理论基础上的机器学习方法，是结构风险最小化思想的具体实现，具有很好的推广能力。它通过引入核映射方法，有效克服了维数灾难，较好地解决了非线性问题，因此成为近年来最成功的分类器，被广泛应用于人工智能、金融预测、神经生物学、医学等众多领域。SVM在模式分类中具有其它方法不可比拟的优越性，但是它依然有存在着一些问题：

（1）训练分类器时需要占据很大的内存：理论上来讲，训练样本数量越多，分类器的精度越高，然而基于核函数的SVM在训练时需要存储一个O(l²)的非稀疏核矩阵,其中l是训练样本的个数。这就使得SVM不能处理大数据量的分类问题。

（2）不能用于在线学习任务：在机器学习领域，在线学习指的是分类器能够根据依次新来的错分样本不断地做出调整，从而提升分类器的推广能力。分类器的在线学习在一些实时系统中，如行人检测系统和飞机视觉导航系统，都有着非常重要的应用。当有新来的错分样本时，如果将它和已有的所有样本重新训练去更新分类器则要消耗大量的运算资源，满足不了实时在线任务的要求。

为了克服上述缺陷，一些增量SVM学习方法被提了出来。他们的主要思想是在训练过程中仅仅考虑部分有重要作用的数据样本，这样一方面能够保持分类精度，另一方面也缓解了对内存的巨大需求，提高了训练速度，为实现在线学习提供了可能。

Syed等人[1]和Mitra等人[2]最早提出了针对SVM的增量学习方法。其基本思想是当新来一批样本时，就用先前分类器的支持向量与这些新来的样本重新训练实现分类器的更新。由于新来的样本中也存在着部分冗余，为了更快地实现分类器的更新，Domeniconi等人[3]引进了一种探寻机制，即新来一批样本时，先计算出它们到当前分类器超平面的距离，然后把那些距离小于某个阈值的样本挑选出来，与先前的支持向量一起重新训练。Ralaivola等人[4]利用径向基函数的局部性设计了一种局部在线增量学习算法，当有新样本进入训练集时，不用重新考虑整个训练集而只考虑新样本的邻集，从而节省了计算时间。这类方法比较简单，容易实现，但是由于每次仅利用上一次训练结果中的支持向量而丢弃了其他样本，这很可能会引起重要数据样本的丢失，从而影响分类精度。

Cauwenberghs[5]从理论上分析了增加一个训练样本或者减少一个训练样本时SVM对偶QP问题KKT条件的变化情况，提出了针对SVM的精确的增量训练方法。Lau等人[6]通过不断迭代训练上一步的支持向量、违背当前KKT条件的样本和新来的样本，使得分类器的系数不断调整更新，迭代过程一直到所有样本均满足KKT条件。Cheng[7]等人根据当前SVM的错误率和每个样本到当前分类器超平面的距离计算出每个样本的权重，将那些权重超过一定阈值的样本加入到当前训练集中进行重新训练，得到新的分类器，迭代过程直到所有含有信息的样本都在训练集中为止。Bordes等人[8]基于SMO的基本思想提出了LASVM，即新来一个样本，如果它违背KKT条件，则分类器通过PROCESS过程将此样本加入到支持向量集中；同时再通过REPROCESS过程将支持向量集中最不违背KKT条件的样本移除；最后通过FINISH步骤使得所有在支持向量集中的样本均满足KKT条件。这类方法虽然克服了前一类方法在增量学习过程中可能丢失重要数据样本的缺陷，提高了分类精度，但是在处理大规模数据时需要很多次迭代才能达到停止条件，因此满足不了实时在线的要求。

发明内容

本发明的目的在于：现有技术中已有的经典SVM增量学习方法在训练分类器时需要占据很大的内存，并且不能应用于在线学习任务，针对上述不足，本发明从SVM的这个几何意义出发，提供了一种可以实现分类器快速更新的同时又不会影响分类精度，使得其在处理大数据量的在线学习任务时更加有效的基于支持向量几何意义的增量学习方法。

为了实现上述目的，本发明采用了以下的技术方案：

一种基于支持向量几何意义的增量学习方法，包括以下步骤：

（1）、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本；

（2）、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法；

（3）、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器；

（4）、步骤（2）和（3）重复迭代，直到没有新的样本到来为止。

作为优选，所述的步骤（1）包括以下子步骤：

首先，用贪婪的方法选取出d+1个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+1个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数；

其次，根据上一步所选取的d+1个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数；

最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止；由于每次更新凸包顶点样本集合时仅仅需要计算子区域样本到对应子凸包的距离，因此很大程度上降低了计算复杂度，提高了算法效率。

作为优选，所述的步骤（2）包括以下子步骤：

首先，初始化所需要选取的凸包顶点样本占总样本的比例；

其次，利用CHVS方法按照此比例在各类样本集中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率；

再次，根据正确率来判断当前所选取的样本是否能够最大程度地保持各类训练样本集的凸包信息；如果不是，增加所需要选取样本的比例，返回步骤（2）的第二步骤；

如果能够最大程度地保持各类训练样本集的凸包信息，最后，输出所选取的能够最大程度地保持凸包信息的重要样本子集。

作为优选，所述的步骤（3）包括以下子步骤：

首先，初始化当前训练样本集为已存在的所有训练样本；

其次，利用步骤（2）在当前训练样本集中选出那些能够最大程度地保持凸包信息的样本作为当前训练样本，并用这些样本训练SVM分类器，这样使得训练出来的SVM分类器尽可能接近于用全部训练样本训练出来的SVM分类器；

再次，若有新来样本，则计算其到当前分类器超平面的距离，如果距离小于某个阈值，就将此样本加入当前训练样本集中，进行重新训练，实现分类器的更新；否则，分类器不更新；最后，判断当前训练样本集中个数是否超过给定阈值，如果是，返回第二步，否则，返回第三步。这样一方面使得那些能够对分类器起到作用的样本都参与了分类器的更新过程，实现了分类器的准确更新；另一方面大幅度减少了参与训练样本的个数，提高了分类器的更新速度。

从几何上看，SVM的求解等价于求解正负类样本分别所形成凸包之间的最近点对。因此，训练过程中起作用的是两类样本分别形成的凸包上的顶点样本，而在凸包内的样本对训练不起任何作用。本发明的增量学习方法从SVM的这个几何意义出发，提供了一种基于凸包顶点样本选取的增量学习方法。本发明的增量学习方法从理论上证明了训练过程中所选取的样本就是凸包顶点样本，保证了它们能够最大程度的保持凸包的有效信息。相对于已有的经典SVM增量学习方法，本发明的增量学习方法解决了分类精度与实时在线之间的矛盾，能够在实现分类器快速更新的同时又不会影响分类精度，使得其在处理大数据量的在线学习任务时更加有效。

本发明的有益效果在于：

1、本发明所提出的SVM增量学习算法是一种通用的方法，对任意分类数据类型都适用；

2、本发明提出一种凸包顶点样本选取方法，能够选取出那些最大程度地保持凸包信息的样本子集；相比于经典的样本子集选取方法，由于此方法充分考虑了SVM分类器的几何意义，因此选取出来的样本子集更具有代表性；

3、本发明采用了一种基于凸包顶点样本选取的增量SVM分类器，其基本思想就是用每一类已有样本所分别形成的凸包上的顶点样本代替全部样本去训练SVM分类器。相比于经典的基于样本子集选择的增量SVM分类器，由于选择的样本子集最大程度地保持了凸包信息，即分类器的关键信息，因此提高了分类器的推广能力；

相比于经典的基于KKT条件变化的增量SVM分类器，由于在增量学习过程中只需要用这些选取的少量凸包顶点样本与新来的样本一起重新训练一次就可以得到更新后的分类器，避免了针对大数据量的重复迭代过程，使得训练时间复杂度大大降低，从而能够满足大数据量的在线增量学习任务。

附图说明

图1为本发明的整体流程图；

图2为本发明的凸包顶点样本选取方法即CHVS方法的二维例子展示；

图3为本发明的能最大程度保持凸包信息的样本子集选取即VS方法的过程流程图。

具体实施方式

如图1-图3所示，本发明为一种基于SVM几何意义的增量学习方法。

本发明的实施例采用一台具有IntelCore-i3中央处理器和4G字节内存的计算机并用Matlab语言编制了基于凸包顶点样本选取的SVM增量学习的工作程序，实现了本发明的方法。

本发明的基于SVM几何意义的增量学习分类方法主要包括以下三个步骤：凸包顶点样本选取方法的设计、能最大程度地保持凸包信息的样本选取以及分类器的在线更新等模块，具体步骤如下：

（1）提出有效的选取凸包顶点样本的方法（称为CHVS方法），即在给定样本集合中选取出给定数目的凸包顶点样本，图2是CHVS方法的二维例子展示，其主要包含：

a）在样本集中选取两个距离最远的样本，记为x_j0和x_j1，初始化凸包顶点样本集合S={x_j0,x_j1}，图2中的S={x₁,x₂}；

b）找出距离当前S中样本所形成的子空间最远的点，记为x_j2，并将其加入到S中，即S=S∪{x_j2}；重复此步骤，直到S中的样本个数是d+1为止，不妨假设得到的d+1个样本为图2中的S={x₁,x₂,x₃}；

c）这d₊1个样本组成了R^d空间中的一个d-单纯形,用它的d+1个(d-1)-维面将数据集P分成d+1个子区域方法如下：

$P_i=\left\{x\right|x\∈P,(x-\stackrel{\‾}{x})=\underset{k=1,k\≠i}{\overset{d+1}{\mathrm{\Σ}}}{\mathrm{\α}}_k(x_j-\stackrel{\‾}{x}),\underset{k=1,k\≠i}{\overset{d+1}{\mathrm{\Σ}}}{\mathrm{\α}}_k\≥1,{\mathrm{\α}}_k\≥0\}$

其中是这d+1个顶点样本的中心，容易看出d-单纯形的一个(d-1)-维面与中心决定了一个区域，我们称这个(d-1)-维面为这个区域的对应面；如图2所示，射线Ox₁、Ox₂、Ox₃将样本集分成了A、B、C三个子区域，边x₂x₃、x₁x₃、x₁x₂就分别叫做区域A、B、C的对应边；

d）如果存在某个子区域P_i0，其样本个数超过了给定的阈值整数，则需要用以下步骤对这个区域做进一步划分：设P_i0的对应面的顶点样本集合为我们在集合P_i中找出距离P_i对应面所在超平面最远的样本并记为则样本构成了一个d-单纯形，利用类似c)的步骤，这个d-单纯形新产生的d个(d-1)-维面和中心又将P_i0分成了d个更小的区域；将加入到当前凸包顶点样本集合中，即如图2所示，假设C中的样本个数大于给定阈值，{x₁,x₂}是C的对应边的顶点样本集合，x₄是C中距离过x₁和x₂的直线最远的样本，则{x₁,x₂,x₄}构成了一个三角形即2-单纯形，线段x₂x₄和x₁x₄是新产生的两条边，中心O和这两条边就把C分成了两个更小的区域C₁和C₂，此时凸包顶点样本集合为{x₁,x₂,x₃,x₄}；用以上的方法，我们就能实现对大数据量样本集合的分割，使得每一小区域的样本个数均不超过给定的阈值。

e）计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合S中，同时更新此样本所在区域的子凸包，迭代直到选取的凸包顶点样本个数达到给定数目为止；按照这种方法，图2中x₅,x₆,x₇,x₈相继被选了出来。

（2）通过在每一类样本集合中运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度保持各类凸包信息的重要样本即VS方法，具体流程如图3所示，其主要包含：

a）初始化所需要选取的凸包顶点样本占总样本的比例，如图3所示，初始比例为0.01；

b）利用CHVS方法按照比例在各类样本中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率；

c）一般来说，选取的样本个数越多，训练出来的分类器正确率越高，因此我们根据正确率的增益来判断当前所选取的样本是否能够最大程度地保持所有训练样本的凸包信息；如图3所示，表示选取比例为0.01*i时得到的凸包顶点样本集，a_i表示用训练得到的SVM分类器Γ_i在测试集上的正确率，a_δ是正确率增益向量，即其中如果aδ≤ε，则意味着正确率增益已经稳定在ε范围内，即选取的样本子集已经最大程度保持了所有样本的凸包信息；否则，增加所需要选取样本的比例，返回步骤b）；

d）输出能够最大程度保持凸包信息的样本集合

（3）用选取的这些能够最大程度保持凸包信息的样本子集与新来的样本一起重新训练得到更新的分类器，其主要包含：

a）记当前训练样本集合为P_cur，初始化P_cur为已存在的所有训练样本；

b）用VS方法在训练样本集P_cur中选取能够最大程度保持凸包信息的样本子集，记为P_s，令P_cur=P_s，并用P_cur训练SVM分类器；

c）若有新来样本x_new，计算f(x_new)，其中f是当前的SVM分类器函数，如果y_newf(x_new)≤1+λ，则令P_cur=P_cur∪{x_new}，用样本集P_cur训练分类器以实现分类器的更新，否则，分类器不更新；

d）若|P_cur|>M，返回b），否则，返回步骤c）。

我们周期地执行步骤b）是为了减少当前训练样本集的个数，只有这样，才能实现SVM分类器随着新来的样本不断地在线更新。在步骤c）中，1+λ是关于分类器函数值的阈值。我们用满足条件y_newf(x_new)≤1+λ的新来样本去更新分类器，是因为它们在当前分类超平面附近，有很大的概率成为更新后分类器的支持向量。

本发明实施例为对本发明进行具体的描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，该领域的技术人员可根据上述发明的内容对本发明做出一些非本质的改进和调整。本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其它工作模式不再赘述。

Claims (3)

1.一种基于支持向量几何意义的增量学习方法，其特征在于包括以下步骤：

(1)提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本；

(2)通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法；

(3)用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器；

(4)步骤(2)和(3)重复迭代，直到没有新的样本到来为止；

所述的步骤(1)包括以下子步骤：

首先，用贪婪的方法选取出d+1个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+1个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数；

其次，根据上一步所选取的d+1个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数；

最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止。

2.根据权利要求1所述的基于支持向量几何意义的增量学习方法，其特征在于：所述的步骤(2)包括以下子步骤：

首先，初始化所需要选取的凸包顶点样本占总样本的比例；

其次，利用CHVS方法按照此比例在各类样本集中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率；

再次，根据正确率来判断当前所选取的样本是否能够最大程度地保持各类 训练样本集的凸包信息；如果不是，增加所需要选取样本的比例，返回步骤(2)的第二步骤；如果能够最大程度地保持各类训练样本集的凸包信息；

最后，输出所选取的能够最大程度地保持凸包信息的重要样本子集。

3.根据权利要求1所述的基于支持向量几何意义的增量学习方法，其特征在于：所述的步骤(3)包括以下子步骤：

首先，初始化当前训练样本集为已存在的所有训练样本；

其次，利用步骤(2)在当前训练样本集中选出那些能够最大程度地保持凸包信息的样本作为当前训练样本，并用这些样本训练SVM分类器；

再次，若有新来样本，则计算其到当前分类器超平面的距离，如果距离小于某个阈值，就将此样本加入当前训练样本集中，进行重新训练，实现分类器的更新；否则，分类器不更新；

最后，判断当前训练样本集中个数是否超过给定阈值，如果是，返回第二步，否则，返回第三步。