CN109508735A - 一种基于神经动力学的软间隔支持向量机分类方法 - Google Patents

Abstract

本发明公开了一种基于神经动力学的软间隔支持向量机分类方法，包括如下步骤：1)、导入训练集并生成软间隔支持向量机系数矩阵；2)、利用步骤1)中的系数矩阵设计受等式及不等式约束的凸二次规划问题；3)、将步骤2)中的受等式及不等式约束的凸二次规划问题等价转化为线性变分不等式；4)、将步骤3)中的线性变分不等式等价转化为分段线性投影方程；5)、利用神经动力学的方法求得步骤4)中的分段线性投影方程的最优解，并得到软间隔支持向量机的决策函数；6)、导入测试集并使用步骤5)中的决策函数进行分类。本发明采用神经动力学求解器进行求解，具有敏感度、特异度更好，实时性更强，准确率更高的优点。

Description

一种基于神经动力学的软间隔支持向量机分类方法

技术领域

本发明涉及软间隔支持向量机分类方法领域，具体涉及一种基于神经动力学的软间隔支持向量机分类方法。

背景技术

在模式识别的各种方法中，支持向量机是机器学习中的一种重要的分类技术，其被广泛应用于手写体数字识别、物体识别、人脸检测、文本分类和语音识别。支持向量机的主要目标是构建一个最优决策函数(超平面)，它可以区分给定样本特征集的数据点。支持向量机分类器主要通过构造一个超平面将由一个n维向量表示的数据点分为不同的类。此外，支持向量机选择具有最大间隔的最优超平面，以实现数据点的最大分离。

基础的支持向量机问题可以归结为解决一个二次规划问题，该问题可以通过最大化两个类之间的间隔来提高分类器的泛化能力，其可以描述为：

s.t.y_i(wx_i+b)-1≥0

with i＝1，2，...，m

其中，x_i∈R^1×n，i＝1，2，...，m为样本向量，y_i∈{1，-1}为每个样本向量对应的标签，m∈R是样本的总数，n∈R是样本空间的维数，w和b为变量。

在此基础上，许多不同形式的支持向量机被提出，如软间隔支持向量机(C-SVM)，其二次规划问题形式如下：

s.t.y_i(wx_i+b)-1+ξ_i≥0

ξ_i≥0

其中C为常数，然而，在训练样本时，上述二次规划问题拥有两个变量w和b，因此其最优解较难求得。传统的求解多采用数值算法求解器，如分解算法、顺序最小优化(SMO)算法等。这些数值算法求解器通常具有的优点是它们可以显著提高计算速度，然而由于迭代次数的增加，数值算法求解器的运算精度可能会降低。此外，在大规模实时应用中，数值算法求解器可能因其串行处理的特性而降低性能。

发明内容

本发明的目的是针对现有技术的不足，提供了一种基于神经动力学的软间隔支持向量机分类方法，相对于数值算法求解器，所述方法采用的神经动力学求解器具有敏感度、特异度更好，实时性更强，准确率更高的优点。

本发明的目的可以通过如下技术方案实现：

一种基于神经动力学的软间隔支持向量机分类方法，所述方法包括以下步骤：

1)、导入训练集并生成软间隔支持向量机系数矩阵；

2)、利用步骤1)中的系数矩阵设计受等式及不等式约束的凸二次规划问题；

3)、将步骤2)中的受等式及不等式约束的凸二次规划问题等价转化为线性变分不等式；

4)、将步骤3)中的线性变分不等式等价转化为分段线性投影方程；

5)、利用神经动力学的方法求得步骤4)中的分段线性投影方程的最优解，并得到软间隔支持向量机的决策函数；

6)、导入测试集并使用步骤5)中的决策函数进行分类。

进一步地，步骤1)的具体过程为：首先，导入训练集：

T＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)} (1)

其中x_i∈R^1×n，i＝1，2，...，m为样本向量，y_i∈{1，-1}为每个样本向量对应的标签，m∈R是样本的总数，n∈R是样本空间的维数；

考虑软间隔支持向量机的二次规划问题：

s.t.y_i(wx_i+b)-1+ξ_i≥0 (3)

ξ_i≥0 (4)

其中C为常数，其决策函数为：

g(x)＝wx_i+b (5)

对于公式(2)-(4)所述的考虑软间隔支持向量机的二次规划问题，直接同时处理两个变量w和b来求出最优解是比较困难的，因此，考虑采用拉格朗日乘子法来将其等价转换为只有一个变量α的形式，公式(2)-(4)的拉格朗日函数为：

其中a_i是公式(3)中每个约束条件所对应的拉格朗日乘子，u_i是公式(4)中每个约束条件所对应的拉格朗日乘子；当满足公式(3)和公式(4)中所有约束条件时，能够得到：

with i＝1，2，...，m

通过求其对w，b，ξ的偏导数及求解其对偶问题，公式(7)能够转化为：

0≤a₁，a₂，...，a_m≤C (10)

决策函数，即公式(5)中的系数w和b能够通过以下等式求得：

根据训练集T及a_i的定义，为方便计算，定义软间隔支持向量机的系数矩阵如下：

W＝Y·X (16)

A＝[y₁ y₂ … y_m] (17)。

进一步地，步骤2)中，若在支持向量机中使用核函数，乘子x_i ^Tx_j将会被替换为K(x_i，x_j)，则矩阵X将会被替换为：

则二次规划问题(2)-(4)能够转化为如下受等式及不等式约束的凸二次规划问题：

s.t.Aα＝0 (20)

0≤α≤C (21)

其中q∈R^m×1是一个内部元素全为-1的向量。

进一步地，步骤3)中，为了求解公式(19)-(21)的受等式及不等式约束的凸二次规划问题，将其转化为如下的求解一个向量的线性变分不等式：

(y-y^*)^T(H_y ^*+p)≥0 (22)

其中原对偶向量y∈R^m+1及其下界y^-和上界y⁺分别定义为：

其中u∈R是对应于等式约束(20)的对偶决策系数，定义为一个足够大以取代+∞的常数，1_α是一个维数和方向与向量α相同、内部元素全部为1的向量，公式(22)中的系数矩阵H和p分别定义为：

进一步地，步骤4)中，将步骤3)中的线性变分不等式转化为如下分段线性投影方程：

e(y)＝P_Ω(y-(Hy+p))-y＝0 (25)

其中分段线性投影算子P_Ω(·)：R^m+1→Ω能够表示为：

P_Ω(y)＝[[P_Ω(y)]₁，[P_Ω(y)]₂，...，[P_Ω(y)]_m+1]^T (26)

其中第i个元素定义为：

进一步地，步骤5)中，为了求解分段线性投影方程(25)，定义一个如下的基于线性变分不等式的原始-对偶神经网络：

其中I是单位矩阵，从任意初始状态y(0)开始，公式(28)中的状态向量y(t)将收敛于y^*，其中前m个元素构成二次规划问题(19)-(21)的最优解α^*，至此，能够利用最优解α^*求解决策函数(5)中的w和b，求解方式为：

得到决策函数(5)并由其正负进行分类。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提供的一种基于神经动力学的软间隔支持向量机分类方法，相对于数值算法求解器，所述方法采用的神经动力学求解器具有敏感度、特异度更好，实时性更强，准确率更高的优点。

附图说明

图1为本发明实施例一种基于神经动力学的软间隔支持向量机分类方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于神经动力学的软间隔支持向量机分类方法，所述方法的流程如图1所示，包括以下步骤：

1)、导入训练集并生成软间隔支持向量机系数矩阵；

2)、利用步骤1)中的系数矩阵设计受等式及不等式约束的凸二次规划问题；

3)、将步骤2)中的受等式及不等式约束的凸二次规划问题等价转化为线性变分不等式；

4)、将步骤3)中的线性变分不等式等价转化为分段线性投影方程；

5)、利用神经动力学的方法求得步骤4)中的分段线性投影方程的最优解，并得到软间隔支持向量机的决策函数；

6)、导入测试集并使用步骤5)中的决策函数进行分类。

所述方法的具体过程如下：首先，导入训练集：

T＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)} (1)

其中x_i∈R^1×n，i＝1，2，...，m为样本向量，y_i∈{1，-1}为每个样本向量对应的标签，m∈R是样本的总数，n∈R是样本空间的维数；

考虑软间隔支持向量机的二次规划问题：

s.t.y_i(wx_i+b)-1+ξ_i≥0 (3)

ξ_i≥0 (4)

其中C为常数，其决策函数为：

g(x)＝wx_i+b (5)

对于公式(2)-(4)所述的考虑软间隔支持向量机的二次规划问题，直接同时处理两个变量w和b来求出最优解是比较困难的，因此，考虑采用拉格朗日乘子法来将其等价转换为只有一个变量α的形式，公式(2)-(4)的拉格朗日函数为：

其中a_i是公式(3)中每个约束条件所对应的拉格朗日乘子，u_i是公式(4)中每个约束条件所对应的拉格朗日乘子；当满足公式(3)和公式(4)中所有约束条件时，能够得到：

with i＝1，2，...，m

通过求其对ω，b，ξ的偏导数及求解其对偶问题，公式(7)能够转化为：

0≤a₁，a₂，...，a_m≤C (10)

决策函数，即公式(5)中的系数w和b能够通过以下等式求得：

根据训练集T及a_i的定义，为方便计算，定义软间隔支持向量机的系数矩阵如下：

W＝Y·X (16)

A＝[y₁ y₂ … y_m] (17)

若在支持向量机中使用核函数，乘子x_i ^Tx_j将会被替换为K(x_i，x_j)，则矩阵X将会被替换为：

则二次规划问题(2)-(4)能够转化为：

s.t.Aα＝0 (20)

0≤α≤C (21)

其中q∈R^m×1是一个内部元素全为-1的向量，为了求解公式(19)-(21)，首先将其转化为如下的求解一个向量的线性变分不等式：

(y-y^*)^T(Hy^*+p)≥0 (22)

其中原对偶向量y∈R^m+1及其下界y^-和上界y⁺分别定义为：

其中u∈R是对应于等式约束(20)的对偶决策系数，定义为一个足够大以取代+∞的常数，1_α是一个维数和方向与向量α相同、内部元素全部为1的向量，公式(22)中的系数矩阵H和p分别定义为：

其次，将其转化为如下分段线性投影方程：

e(y)＝P_Ω(y-(Hy+p))-y＝0 (25)

其中分段线性投影算子P_Ω(·)：R^m+1→Ω能够表示为：

P_Ω(y)＝[[P_Ω(y)]₁，[P_Ω(y)]₂，...，[P_Ω(y)]_m+1]^T (26)

其中第i个元素定义为：

为了求解分段线性投影方程(25)，定义一个如下的基于线性变分不等式的原始-对偶神经网络：

其中I是单位矩阵，从任意初始状态y(0)开始，公式(28)中的状态向量y(t)将收敛于y^*，其中前m个元素构成二次规划问题(19)-(21)的最优解α^*，至此，能够得到决策函数(5)并由其正负进行分类。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种基于神经动力学的软间隔支持向量机分类方法，其特征在于，所述方法包括以下步骤：

1)、导入训练集并生成软间隔支持向量机系数矩阵；

2)、利用步骤1)中的系数矩阵设计受等式及不等式约束的凸二次规划问题；

3)、将步骤2)中的受等式及不等式约束的凸二次规划问题等价转化为线性变分不等式；

4)、将步骤3)中的线性变分不等式等价转化为分段线性投影方程；

5)、利用神经动力学的方法求得步骤4)中的分段线性投影方程的最优解，并得到软间隔支持向量机的决策函数；

6)、导入测试集并使用步骤5)中的决策函数进行分类。

2.根据权利要求1所述的一种基于神经动力学的软间隔支持向量机分类方法，其特征在于，步骤1)的具体过程为：首先，导入训练集：

T＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}(1)

其中x_i∈R^1×n，i＝1，2，...，m为样本向量，y_i∈{1，-1}为每个样本向量对应的标签，m∈R是样本的总数，n∈R是样本空间的维数；

考虑软间隔支持向量机的二次规划问题：

s.t. y_i(wx_i+b)-1+ξ_i≥0 (3)

ξ_i≥0 (4)

其中C为常数，其决策函数为：

y(x)＝wx_i+b (5)

对于公式(2)-(4)所述的考虑软间隔支持向量机的二次规划问题，直接同时处理两个变量w和b来求出最优解是比较困难的，因此，考虑采用拉格朗日乘子法来将其等价转换为只有一个变量α的形式，公式(2)-(4)的拉格朗日函数为：

其中a_i是公式(3)中每个约束条件所对应的拉格朗日乘子，u_i是公式(4)中每个约束条件所对应的拉格朗日乘子；当满足公式(3)和公式(4)中所有约束条件时，能够得到：

with i＝1，2，...，m

通过求其对w，b，ξ的偏导数及求解其对偶问题，公式(7)能够转化为：

0≤a₁，a₂，...，a_m≤C (10)

决策函数，即公式(5)中的系数w和b能够通过以下等式求得：

根据训练集T及a_i的定义，为方便计算，定义软间隔支持向量机的系数矩阵如下：

W＝Y·X (16)

A＝[y₁ y₂ … y_m] (17)。

3.根据权利要求2所述的一种基于神经动力学的软间隔支持向量机分类方法，其特征在于，步骤2)中，若在支持向量机中使用核函数，乘子将会被替换为K(x_i，x_j)，则矩阵X将会被替换为：

则二次规划问题(2)-(4)能够转化为如下受等式及不等式约束的凸二次规划问题：

s.t. Aα＝0 (20)

0≤α≤C (21)

其中q∈R^m×1是一个内部元素全为-1的向量。

4.根据权利要求3所述的一种基于神经动力学的软间隔支持向量机分类方法，其特征在于，步骤3)中，为了求解公式(19)-(21)的受等式及不等式约束的凸二次规划问题，将其转化为如下的求解一个向量的线性变分不等式：

(y-y^*)^T(Hy^*+p)≥0 (22)

其中原对偶向量y∈R^m+1及其下界y^-和上界y⁺分别定义为：

其中u∈R是对应于等式约束(20)的对偶决策系数，定义为一个足够大以取代+∞的常数，1_α是一个维数和方向与向量α相同、内部元素全部为1的向量，公式(22)中的系数矩阵H和p分别定义为：

5.根据权利要求4所述的一种基于神经动力学的软间隔支持向量机分类方法，其特征在于，步骤4)中，将步骤3)中的线性变分不等式转化为如下分段线性投影方程：

e(y)＝P_Ω(y-(Hy+p))-y＝0 (25)

其中分段线性投影算子P_Ω(·)：R^m+1→Ω能够表示为：

P_Ω(y)＝[[P_Ω(y)]₁，[P_Ω(y)]₂,...,[P_Ω(y)]_m+1]^T (26)

其中第i个元素定义为：

6.根据权利要求5所述的一种基于神经动力学的软间隔支持向量机分类方法，其特征在于：步骤5)中，为了求解分段线性投影方程(25)，定义一个如下的基于线性变分不等式的原始-对偶神经网络：

其中I是单位矩阵，从任意初始状态y(0)开始，公式(28)中的状态向量y(t)将收敛于y^*，其中前m个元素构成二次规划问题(19)-(21)的最优解α^*，至此，能够利用最优解α^*求解决策函数(5)中的w和b，求解方式为：

得到决策函数(5)并由其正负进行分类。