CN113780637B - 基于辅助优化与拉格朗日优化的支持向量机学习方法 - Google Patents

Abstract

本发明提供一种基于辅助优化与拉格朗日优化的支持向量机学习方法，包括：通过迭代的方式求解支持向量机对偶问题，每次所述迭代的过程如下：构建所述支持向量机对偶问题的辅助优化问题；将所述辅助优化问题转化为拉格朗日辅助优化问题；求解所述拉格朗日辅助优化问题的最优解。本发明所述的方法容易实现，并且收敛速度更快。

Description

基于辅助优化与拉格朗日优化的支持向量机学习方法

技术领域

本专利涉及一种基于辅助优化与拉格朗日优化的支持向量机学习方法，属于模式识别与机器学习领域。

背景技术

支持向量机(Support Vector Machine，SVM)是Vapnik和Cortes于1995年提出的一种基于统计学习理论的分类方法。对于一个线性可分的分类任务，支持向量机选择具有最大分类间隔的超平面作为分类超平面，具有良好的泛化性能。除了线性可分的分类任务外，支持向量机还可以通过核方法来处理线性不可分的分类问题，是最常见的核学习(Kernel Learning)方法之一。支持向量机适用于小样本，非线性和高维度的分类任务，已被广泛应用于人脸识别，文本分类，语音识别等实际问题中，并取得了良好的应用效果。

对于一个2分类问题，已知其训练集T＝{(x₁，y₁)，(x₂，y₂)，...，(x_N，y_N)}，其中x_i∈R^d为观测样本，y_i∈{-1，1}为样本x_i的标签，i＝1，2，...，N。支持向量机首先通过映射函数φ将样本数据映射到高维的特征空间，然后在高维特征空间中寻找分离超平面w^Tφ(x)+b＝0，使其与最相近的样本之间的间隔最大化。在数学上，分离超平面参数w和b可通过如下最优化问题求解得到：

其中ξ_i，i＝1，2，...，N为松弛变量，C为折衷参数。上述问题被称为支持向量机原问题。通过对偶优化理论，可以得到支持向量机原问题(1)的对偶优化问题，其被表示如下：

支持向量机原问题(1)的最优解可以由对偶问题(2)的最优解计算得到：

其中K(x_i，x_j)＝φ(x_i)^Tφ(x_j)为核函数，(x_j，y_j)为某个满足0＜α_j＜C的训练样本。根据公式(3)，支持向量机分类函数可以被表述如下：

相比于支持向量机原问题(1)，对偶问题(2)在优化方面具有如下优势：1)对偶问题(2)可以利用核技巧直接计算两个高维特征向量的内积而无需先进行特征映射；2)对偶问题(2)的约束条件更为简单。因此，在实际应用中，人们往往通过对偶问题(2)来学习支持向量机分类器。

目前，许多有效的优化算法被提出用于求解支持向量机对偶问题(2)，例如序列最小优化算法(Sequential Minimal Optimization，SMO)和乘性间隔最大化算法(Multiplicative Margin Maximization，M3)。然而，大部分已有的算法难以同时兼顾算法的实现简便性和收敛快速性。

发明内容

为了解决现有技术的不足，本发明提供一种基于辅助优化与拉格朗日优化的支持向量机学习方法。

本发明所采用的技术方案是：

基于辅助优化与拉格朗日优化的支持向量机学习方法，通过迭代的方式求解所述支持向量机对偶问题，每次所述迭代的过程如下：

构建所述支持向量机对偶问题的辅助优化问题；

将所述辅助优化问题转化为拉格朗日辅助优化问题；

求解所述拉格朗日辅助优化问题的最优解。

所述构建所述支持向量机对偶问题的辅助优化问题，包括：

将对偶优化问题表示为如下形式：

其中，矩阵A∈R^N×N为对称的半正定矩阵，其第(i，j)个元素A_ij＝y_iy_jK(x_i，x_j)，

K(x_i，x_j)为核函数，y＝[y₁，y₂，...，y_N]^T为训练集标签，α＝[α₁，α₂，...，α_N]^T，1∈R^N为全1的向量，x_i，i＝1，2，...，N为训练集中的样本，y_i∈{-1，1}为样本x_i的标签。

构造函数F(α)的辅助函数f(α|α^k-1)如下：

其中L为A的最大特征值，I∈R^N×N为单位矩阵，矩阵A∈R^N×N为对称的半正定矩阵；α^k-1为支持向量机对偶问题在第k-1次迭代后得到的α向量；

使用上述辅助函数f(α|α^k-1)代替目标函数F(α)，得到对偶问题的辅助优化问题：

所述将所述辅助优化问题转化为拉格朗日辅助优化问题，包括：

将辅助优化问题转化为如下拉格朗日辅助优化问题：

其中，α与λ均为待优化变量；C为α的上限；其中L为A的最大特征值，I∈R^N×N为单位矩阵，α^k-1为支持向量机对偶问题在第k-1次迭代后得到的α向量；y＝[y₁，y₂，...，y_N]^T为训练集标签，1∈R^N为全1的向量。

所述求解拉格朗日辅助优化问题的最优解，包括：

确定所述拉格朗日辅助优化问题的最优解α与λ之间的函数关系；

求解所述拉格朗日辅助优化问题的最优λ值；

求解所述拉格朗日辅助优化问题的最优α向量。

所述确定所述拉格朗日辅助优化问题的最优解α与λ之间的函数关系，包括：

假设λ为某个固定的值，则所述拉格朗日辅助优化问题被简化为如下优化问题：

得到函数Φ(α，λ|α^k-1)关于α的偏导数，其被表示如下：

令得到所述拉格朗日辅助优化问题中α关于λ的函数关系α(λ)：

其中函数P_[0，C](x)为区间[0，C]上的投影函数，其第i个元素为

α为待优化变量；矩阵A∈R^N×N为对称的半正定矩阵；α^k-1为支持向量机对偶问题在第k-1次迭代后得到的α向量；y＝[y₁，y₂，...，y_N]^T为训练集标签；

所述求解所述拉格朗日辅助优化问题的最优λ值，包括：

应用牛顿法求解拉格朗日辅助优化问题的最优λ值，通过不断迭代更新公式：直到g(λ|α^k-1)＝0，得到拉格朗日辅助优化问题的最优的λ值；其中，在第k步迭代中拉格朗日辅助优化问题的最优λ值记为λ^k。

所述求解所述拉格朗日辅助优化问题的最优α向量，包括：

在第k步迭代中拉格朗日辅助优化问题的最优α向量记为α^k，α^k的计算公式如下：

其中，L为A的最大特征值；y＝[y₁，y₂，...，y_N]^T；矩阵A∈R^N×N为对称的半正定矩阵；K为迭代次数

一种基于辅助优化与拉格朗日优化的支持向量机学习的电子装置，包括：

存储介质，用于存储计算机程序；

处理单元，与所述存储介质进行数据交换，用于在进行人脸识别、文本分类或语音识别时，通过所述处理单元执行所述计算机程序，进行如上所述的基于辅助优化与拉格朗日优化的支持向量机学习方法的步骤。

本发明的有益效果是：

本发明所述的基于辅助优化与拉格朗日优化的支持向量机学习方法，通过迭代的方式求解支持向量机对偶问题，每次迭代的过程如下：通过构建所述支持向量机对偶问题的辅助优化问题；再将所述辅助优化问题转化为拉格朗日辅助优化问题；最后求解所述拉格朗日辅助优化问题的最优解；本发明所述的方法非常容易编程实现，并且本发明所提出的方法收敛速度更快。

附图说明

图1为本发明所述方法的流程图；

图2为序列最小优化算法(Sequential Minimal Optimization，SMO)、乘性间隔最大化算法(Multiplicative Margin Maximization，M3)以及本发明所述方法的目标函数F(α)随时间的变化图。

具体实施方式

本发明所述的方法步骤如图1所示，在本部分提供本发明所述方法的一种实施例：

将本发明所提出方法应用于如下二分类问题，其训练集为其中观测样本x_i的维数为39，即x_i∈R³⁹，x_i的每个元素的数值为+1或者-1，当x_i中数值为+1的元素数目大于数值为-1的元素数目时，x_i的标签y_i为+1，否则y_i为-1。

上述二分类问题所对应的支持向量机对偶问题(4)表示如下：

在本实施例中，我们选择线性核函数计算矩阵A∈R^1000×1000，其第(i，j)个元素A_ij＝y_iy_jK(x_i，x_j)＝y_iy_jx_i ^Tx_j，并且设置C＝+∞。

本专利所提出的方法通过迭代的方式求解上述优化问题(4)，现以第k步迭代为例，对每步迭代的操作步骤进行说明：

步骤1：构建对偶问题(4)的辅助优化问题：

该步骤的核心在于构造目标函数F(α)的辅助函数f(α|α^k-1)，使其满足

其中，α^k-1为支持向量机对偶问题在第k-1次迭代后得到的α向量；

在本实施例中，构造辅助函数f(α|α^k-1)如下：

其中L为A的最大特征值，I∈R^N×N为单位矩阵，

使用上述辅助函数f(α|α^k-1)代替对偶问题(4)中的目标函数F(α)；得到对偶问题(4)的辅助优化问题(6)：

其中，L为A的最大特征值，I∈R^1000×1000为单位矩阵，

步骤2.求解辅助优化问题(6)，其包含如下子步骤：

步骤2.1问题转化

通过拉格朗日优化理论，将辅助优化问题(6)转化为如下拉格朗日辅助优化问题(7)：

其中λ为待优化变量。

步骤2.2确定α与λ之间的函数关系

假设λ为某个固定的值，则拉格朗日辅助优化问题(7)被简化为如下优化问题：

通过求解上述问题，可以得到拉格朗日辅助优化问题(7)中α关于λ的函数关系α(λ)：

其中，

步骤2.3求解拉格朗日辅助优化问题(7)的最优λ值

为了求解最优的λ值，将α＝α(λ)代入到拉格朗日辅助优化问题(7)中，从而消去变量α，消去变量α后的拉格朗日辅助优化问题(7)表示如下：

求解上述的问题(9)等价于求解如下方程：

定义应用牛顿法来求解方程：g(λ|α^k-1)＝0，其迭代更新公式(10)表示如下：

通过不断迭代更新公式(10)直到g(λ|α^k-1)＝0，可以得到拉格朗日辅助优化问题(7)的最优λ值，记为λ^k。

步骤2.4求解最优α

根据公式(8)，计算拉格朗日辅助优化问题(7)的最优α向量，记为α^k，其计算公式如下所示：

由于辅助优化问题(6)为凸优化问题并且强对偶性成立，因此拉格朗日辅助优化问题(7)的最优α向量α^k为辅助优化问题(6)的最优解。

通过上述迭代方式，可以最终获得支持向量机对偶优化问题(4)的最优解。最后，根据得到支持向量机分类函数；所述支持向量机分类函数表述如下：/>

其中，(x_j，y_j)为某个满足0＜α_j＜C的训练样本。

本发明所述方法的单调性验证：

α^k为辅助优化问题(6)的最优解，因此：

f(α^k，α^k-1)≤f(α^k-1，α^k-1)。

根据公式(5)，可以得到：

F(α^k)≤f(α^k，α^k-1)≤f(α^k-1，α^k-1)＝F(α^k-1)，即目标函数单调不增。因此，通过上述迭代方式，可以得到支持向量机对偶优化问题(4)的最优解。

下面给出上述支持向量机学习方法伪代码。从下面伪代码可以看出，本实施例中所提出的方法非常容易实现。

为显示本发明所述方法的性能，将其和序列最小优化方法(Sequential MinimalOptimization，SMO)、乘性间隔最大化方法(Multiplicative Margin Maximization，M3)进行比较，图2显示三个方法的目标函数F(α)随时间的变化图。从图2可知，本实施例所提出的方法收敛速度更快。

本发明提供一种实施例：以人脸识别为例，首先用计算机根据本发明提出的方法训练得到支持向量机分类函数，即然后把训练得到支持向量机分类函数加载到到硬件；以后，每当输入一张人脸图像，硬件就会根据训练得到的分类函数去判断这是属于哪个人的，达到人脸识别的目的。

本发明还提供一种实施例：一种基于辅助优化与拉格朗日优化的支持向量机学习的电子装置，包括：存储介质和处理单元；其中，存储介质，用于存储计算机程序；处理单元与所述存储介质进行数据交换，用于在进行人脸识别、文本分类或语音识别时，通过所述处理单元执行所述计算机程序，进行如图1所述的基于辅助优化与拉格朗日优化的支持向量机学习方法的步骤。

本发明还提供一种实施例：

一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如上所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被CPU执行时，执行本发明的系统中限定的上述功能。

本发明还提供一种实施例：

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的基于辅助优化与拉格朗日优化的支持向量机学习方法的步骤。

在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (2)

1.基于辅助优化与拉格朗日优化的支持向量机学习方法，其特征在于，通过迭代的方式求解支持向量机对偶问题，每次所述迭代的过程如下：

构建所述支持向量机对偶问题的辅助优化问题；

将所述辅助优化问题转化为拉格朗日辅助优化问题；

求解所述拉格朗日辅助优化问题的最优解；

所述的基于辅助优化与拉格朗日优化的支持向量机学习方法的步骤，包括：

首先用计算机根据基于辅助优化与拉格朗日优化的支持向量机学习方法训练得到支持向量机分类函数然后把训练得到的支持向量机分类函数加载到硬件；硬件就会根据训练得到的分类函数进行人脸识别；其中，y_i∈{-1，1}为训练集中的第i个样本x_i的标签；i＝1，2……N；

所述构建所述支持向量机对偶问题的辅助优化问题，包括：

将对偶优化问题表示为如下形式：

其中，矩阵A∈R^N×N为对称的半正定矩阵，其第(i，j)个元素A_ij＝y_iy_jK(x_i，x_j)，K(x_i，x_j)为核函数；y＝[y₁，y₂，...，y_N]^T为训练集标签；α为待优化变量，α＝[α₁，α₂，...，α_N]^T；为全1的向量；C为α的上限；F(α)为构造的目标函数；

构造的目标函数F(α)的辅助函数f(α|α^k-1)如下：

其中L为A的最大特征值，I∈R^N×N为单位矩阵，α^k-1为支持向量机对偶问题在第k-1次迭代后得到的α的向量；k为支持向量机对偶问题的迭代次数；

使用上述辅助函数f(α|α^k-1)代替目标函数f(α)，得到对偶问题的辅助优化问题：

所述将所述辅助优化问题转化为拉格朗日辅助优化问题，包括：

将所述辅助优化问题转化为如下拉格朗日辅助优化问题：

其中，λ为待优化变量；

求解所述拉格朗日辅助优化问题的最优解，包括：

确定拉格朗日辅助优化问题的α的最优解与λ之间的函数关系；

求解拉格朗日辅助优化问题的最优的λ值；

求解拉格朗日辅助优化问题的α的最优向量；

所述确定所述拉格朗日辅助优化问题的最优的α与λ之间的函数关系，包括：

假设λ为某个固定的值，则所述拉格朗日辅助优化问题被简化为如下优化问题：

得到函数Φ(α，λ|α^k-1)关于α的偏导数，其被表示如下：

令得到所述拉格朗日辅助优化问题中α关于λ的函数关系α(λ)：

其中，函数P_[0，C](s)为区间[0，C]上的投影函数，其第i个元素为

所述求解所述拉格朗日辅助优化问题的最优的λ值，包括：

应用牛顿法求解拉格朗日辅助优化问题的最优的λ值，通过不断迭代更新公式：直到g(λ|α^k-1)＝0,得到拉格朗日辅助优化问题的最优的λ值；其中，在第k步迭代中拉格朗日辅助优化问题的最优λ值记为λ^k；

所述求解拉格朗日辅助优化问题的α的最优向量，包括：

在第k步迭代中拉格朗日辅助优化问题的最优的α向量记为α^k，α^k的计算公式如下：

2.一种基于辅助优化与拉格朗日优化的支持向量机学习的电子装置，其特征在于，包括：

存储介质，用于存储计算机程序；

处理单元，与所述存储介质进行数据交换，用于在进行人脸识别时，通过所述处理单元执行所述计算机程序，进行如权利要求1所述的基于辅助优化与拉格朗日优化的支持向量机学习方法的步骤。