CN103559294A

CN103559294A - 支持向量机分类器的构造方法及装置、分类方法及装置

Info

Publication number: CN103559294A
Application number: CN201310559733.4A
Authority: CN
Inventors: 刘建伟; 刘媛; 罗雄麟
Original assignee: China University of Petroleum Beijing
Current assignee: China University of Petroleum Beijing
Priority date: 2013-11-12
Filing date: 2013-11-12
Publication date: 2014-02-05

Abstract

本发明提供了一种支持向量机分类器的构造方法及装置、分类方法及装置，其中，该方法包括：确定非线性的带权核函数；基于带权核函数确定非凸Lp分式范数罚目标函数；利用非凸Lp分式范数罚目标函数构造支持向量机分类器。本发明与现有技术中对高维小样本数据进行分类时需要遍历所有特征维的组合来寻找所需的特征的技术方案相比，使得构造的支持向量机分类器能实现非线性核映射后样例原空间的特征选择功能，能用于对高维小样本数据进行分类，产生更稀疏的模型，实现更准确的特征选择，得到更好的预测准确度，大幅度地降低了计算复杂度，避免了数据灾难。

Description

支持向量机分类器的构造方法及装置、分类方法及装置

技术领域

本发明涉及智能信息处理技术领域，尤其涉及一种支持向量机（Support VectorMachine，SVM）分类器的构造方法及装置、分类方法及装置。

背景技术

在计算机视觉例如：脑核磁共振三维成像、生物信息学、癌症微阵列基因诊断和商业网站客户关系分析等领域，存在着大量的高维小样本数据。高维小样本数据的特点是样例为高维数据，样例的类标签获取比较困难，如果采用人工标注的方式代价高。基于以上原因导致了有类标签的样例比较少，然而，分类预测的目标不但要求算法有准确的预测性能，还希望算法能够找出与该输出最相关的输入特征，例如：需要输出与预测的疾病最相关的基因，以便于生物学研究及医学诊断治疗，因此确定样例的类标签就显得更为重要。

目前，常用的分类器是L2范数正则化SVM分类器，这种分类器难以满足上述在保证预测准确性的前提下，对样本进行准确分类。目前的L1、L0范数SVM分类器依靠遍历所有特征维的组合来寻找所需的特征，这样就导致得到的模型向量不是稀疏向量，靠人工选取数值最大的分量作为所选特征。如果采用这种L1、L0范数SVM分类器对高维小样本数据进行分类的话，计算量太大，而且目前的L1、L0、L2范数正则化SVM分类器通常不能实现样例原空间特征选择，不能实现非线性核映射后原空间的特征选择功能分类器设计。

发明内容

本发明实施例提供了一种支持向量机分类器的构造方法及装置、分类方法及装置，用以实现非线性核映射分类器设计，并具有原空间样例特征选择功能，降低计算复杂度。

本发明实施例提供了一种支持向量机SVM分类器的构造方法，包括：确定非线性的带权核函数；基于带权核函数确定非凸Lp分式范数罚目标函数；利用非凸Lp分式范数罚目标函数构造SVM分类器。

在一个实施例中，带权核函数包括以下至少之一：

阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

带权神经元的非线性作用核函数：k_Ψ(x_i,x_j)=tanh(k(Ψx_i)^T(Ψx_j)-δ)；

其中，k_Ψ(.,.)表示带权核函数；i和j表示样例下标；(x_i,x_j)表示样例标签对，x_i和x_j表示样例；c和k表示常数，c>0；Ψ表示权对角矩阵，Ψ∈R^m×m，0≤Ψ_ii≤1；q、σ、k和δ表示核参数，σ>0。

在一个实施例中，基于带权核函数确定的非凸Lp分式范数罚目标函数为：

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

其中，w表示模型向量；C表示L(w^Tk_Ψ(x,·),y)与Ω₂(Ψ)之间的权衡参数，C≥0；p表示正则化阶次，0<p≤2；L(w^Tk_Ψ(x,·),y)表示损失函数，k_Ψ(x,·)表示以x作为自变量的带权核函数，另一个参数为一确定值；w^T表示求w的转置；Ω₁(w)表示正则化项；Ω₂(Ψ)表示样例特征权矩阵正则化项。

在一个实施例中吗，利用非凸Lp分式范数罚目标函数构造SVM分类器，包括：

在Ω₂(Ψ)中引入辅助变量θ，构造辅助凸函数g(Ψ,θ)，用g(Ψ,θ)来替代目标函数中的Ω₂(Ψ)，得到替代目标函数：

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

其中，g(Ψ,θ)是以和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

diag(Ψ)表示Ψ的对角矩阵，diag(Ψ)=(Ψ₁₁,Ψ₂₂,…,Ψ_mm)^T，由Ψ的对角线元素组成；

求解替代目标函数的最优解，根据求得的最优解构造SVM分类器。

在一个实施例中，所述构造辅助凸函数g(Ψ,θ)，用g(Ψ,θ)来替代目标函数中的Ω₂(Ψ)，得到替代目标函数，包括：

采用局部二次变分近似法，或者局部线性变分近似法构造g(Ψ,θ)得到替代目标函数；

所述求解替代目标函数的最优解，包括：

重复执行以下操作直至轮转变量寻优算法的输出结果经计算后的测试误差与前一次计算得到的测试误差相同为止：采用进化算法求解所述替代目标函数当前的最优模型参数值，其中，模型参数包括：C、p和核参数；固定模型参数在当前的最优模型参数值上；使用轮转变量寻优算法求解替代目标函数得到最优解；

将最终得到的最优解作为所述替代目标函数的最优解。

在一个实施例中，采用进化算法求解所述替代目标函数当前的最优模型参数值，包括：

将模型参数的值作为表现型形式；

利用预定的编码机制，将模型参数转换为基因型染色体编码；

按照非线性的带权核函数的核函数类型，将基因染色体编码叠加组成核染色体编码；

输入核染色体编码作为基因进化计算过程的输入，进行基因进化计算，产生更新种群编码序列；

对更新种群编码序列进行译码转换为表现型形式；

将表现型形式作为替代目标函数当前的最优模型参数值。

在一个实施例中，进行基因进化计算，产生更新种群编码序列，包括：

产生由初始编码序列表示的初始种群；

将轮转变量寻优算法的输出结果经计算后的测试误差，作为适应度评价函数，对所述初始种群中的个体进行适应度评价；

按照适应度评价的结果对组合染色体进行选择，产生子代个体，其中，适应度越高的个体被选中的概率越大；

将初始种群作为父代染色体编码；

对父代染色体编码按小概率扰动产生变化，得到子代个体染色体编码；

对子代个体染色体编码进行变异交叉操作，产生更新种群编码序列。

在一个实施例中，采用局部二次变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

在一个实施例中，采用局部线性变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

在一个实施例中，固定C、p和核参数在当前的最优参数值上，使用轮转变量寻优算法求解替代目标函数得到最优解，包括：

设置最大迭代次数T；

设置θ、w和Ψ的初始值；

重复执行以下步骤，直至满足预设的终止条件或者重复次数大于T次：将当前θ和w的值作为已知值，求解替代目标函数中Ψ的最优值，将求得的Ψ的最优值和当前θ的值作为已知值，求解替代目标函数中w的最优值，将求得的w和Ψ的最优值作为已知值，求解替代目标函数中θ的最优值；

将求得的θ、w和Ψ的最优值作为替代目标函数的最优解。

本发明实施例还提供一种对高维小样本数据进行分类的方法，包括：根据上述的SVM分类器的构造方法，构造SVM分类器；利用构造的SVM分类器，对高维小样本数据进行分类。

本发明实施例还提供了一种支持向量机分类器的构造装置，包括：核函数确定模块，用于确定非线性的带权核函数；目标函数确定模块，用于基于带权核函数确定非凸Lp分式范数罚目标函数；构造模块，用于利用非凸Lp分式范数罚目标函数构造SVM分类器。

在一个实施例中，带权核函数包括以下至少之一：

阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

在一个实施例中，所述目标函数确定模块确定的非凸Lp分式范数罚目标函数为：

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

在一个实施例中，所述构造模块包括：替代目标函数构造单元，用于在Ω₂(Ψ)中引入辅助变量θ，构造辅助凸函数g(Ψ,θ)，用g(Ψ,θ)来替代目标函数中的Ω₂(Ψ)，得到替代目标函数：

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

其中，g(Ψ,θ)是以

和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

分类器构造单元，用于求解替代目标函数的最优解，根据求得的最优解构造SVM分类器。

在一个实施例中，所述替代目标函数构造单元具体用于采用局部二次变分近似法，或者局部线性变分近似法构造g(Ψ,θ)得到替代目标函数；

所述分类器构造单元包括：

迭代子单元，用于重复执行以下操作直至轮转变量寻优算法的输出结果经计算后的测试误差与前一次计算得到的测试误差相同为止：采用进化算法求解所述替代目标函数当前的最优模型参数值，其中，模型参数包括：C、p和核参数；固定模型参数在当前的最优模型参数值上；使用轮转变量寻优算法求解替代目标函数得到最优解；

求解子单元，用于将最终得到的最优解作为所述替代目标函数的最优解。

在一个实施例中，所述迭代子单元包括：

第一转换子单元。用于将模型参数的值作为表现型形式，利用预定的编码机制，将模型参数转换为基因型染色体编码；

叠加子单元，用于按照非线性的带权核函数的核函数类型，将基因染色体编码叠加组成核染色体编码；

计算子单元，用于输入核染色体编码作为基因进化计算过程的输入，进行基因进化计算，产生更新种群编码序列；

第二转换子单元，用于对更新种群编码序列进行译码转换为表现型形式，并将表现型形式的值作为替代目标函数当前的最优模型参数值。

在一个实施例中，所述计算子单元包括：

构建子单元，用于产生由初始编码序列表示的初始种群；

评价子单元，用于将轮转变量寻优算法的输出结果经计算后的测试误差，作为适应度评价函数，对所述初始种群中的个体进行适应度评价；

选择子单元，用于按照适应度评价的结果对组合染色体进行选择，产生子代个体，其中，适应度越高的个体被选中的概率越大；

扰动子单元，用于将初始种群作为父代染色体编码，对父代染色体编码按小概率扰动产生变化，得到子代个体染色体编码；

编译子单元，用于对子代个体染色体编码进行变异交叉操作，产生更新种群编码序列。

在一个实施例中，所述凸函数构造单元采用局部二次变分近似法得到的替代目标函数为：

其中，λ=1-C，表示将样例映射到非线性函数空间中的非线性映射函数。

在一个实施例中，所述凸函数构造单元采用局部线性变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

本发明实施例还提供了一种对高维小样本数据进行分类的装置，包括：构造单元，用于利用上述SVM分类器的构造装置，构造SVM分类器；分类单元，用于利用构造的SVM分类器，对高维小样本数据进行分类。

在上述实施例中，确定非线性的带权核函数，并基于该带权核函数确定非凸Lp分式范数罚目标函数，利用该目标函数构造SVM分类器，将核方法和Lp范数正则化用到了SVM分类器的设计过程中，并在核矩阵中引入了带权的核函数，与现有技术中对高维小样本数据进行分类时需要遍历所有特征维的组合来寻找所需的特征的技术方案相比，使得构造的SVM分类器能实现非线性核映射后样例原空间的特征选择功能，能用于对高维小样本数据进行分类，产生更稀疏的模型，实现更准确的特征选择，得到更好的预测准确度，大幅度地降低了计算复杂度，避免了数据灾难。

附图说明

图1是本发明实施例SVM分类器的构造方法的流程图；

图2是本发明实施例求解目标函数的最优解的方法流程图；

图3是本发明实施例采用memetic进化算法求解所述替代目标函数的最优模型参数值的方法流程图；

图4是本发明实施例memetic进化计算产生更新种群编码序列的方法流程图；

图5是本发明实施例memetic-Lp-SVM算法整体系统结构示意图；

图6是本发明实施例的多项式核染色体编码示意图；

图7是本发明实施例的径向基核染色体编码示意图；

图8是本发明实施例的sigmoid核染色体编码示意图；

图9是本发明实施例求解Lp范数带权核SVM问题轮转变量优化算法的方法流程框图；

图10是本发明实施例memetic算法流程图；

图11是本发明实施例求解Lp范数带权核SVM问题的轮转寻优算法的方法流程图；

图12是本发明实施例用局部二次变分近似法求解Lp范数带权核SVM问题的方法流程图；

图13是本发明实施例用局部线性变分近似法求解Lp范数带权核SVM问题的方法流程图；

图14是本发明实施例SVM分类器的构造装置的结构框图；

图15是本发明实施例对高维小样本数据进行分类的方法的流程图；

图16是本发明实施例对高维小样本数据进行分类的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

发明人通过对L2-SVM、L1-SVM和L0-SVM分类算法中的实验源代码进行分析后发现，具有特征选择功能的各正则化SVM分类器为线性分类器，不是非线性核SVM分类器，各正则化的SVM分类算法训练得到的权向量w不是稀疏向量，即w的各分量大小数量级基本是一致的。一般的特征选择需要靠人为保留w中值最大的d个分量，将其余的分量置零，经过处理后的权向量w作为最终的模型权向量，再在测试样本上进行预测，以上的过程在选择不同的d值时反复进行，从而得到一组测试错误率，最终的特征选择结果是由测试误差最小时所选特征个数（d）和各特征在w中的下标位置确定的。而且当前的L2-SVM、L1-SVM和L0-SVM非线性映射SVM分类器一般不能实现原样例空间特征选择功能。

本发明实施例提出了一种SVM分类器的构造方法，如图1所示，包括以下步骤：

步骤101：确定非线性的带权核函数；

步骤102：基于带权核函数确定非凸Lp分式范数罚目标函数；

步骤103：利用非凸Lp分式范数罚目标函数构造SVM分类器。

在上述实施方式中，确定非线性的带权核函数，并基于该带权核函数确定非凸Lp分式范数罚目标函数，利用该目标函数构造SVM分类器，将核方法和Lp范数正则化用到了SVM分类器的设计过程中，并在核矩阵中引入了带权的核函数，与现有技术中对高维小样本数据进行分类时需要遍历所有特征维的组合来寻找所需的特征的技术方案相比，使得构造的SVM分类器为非线性核SVM分类器，能实现非线性核映射后样例原空间的特征选择功能，能用于对高维小样本数据进行分类，产生更稀疏的模型，实现更准确的特征选择，得到更好的预测准确度，大幅度地降低了计算复杂度，避免了数据灾难。

在构造分类器的过程中，需要通过目标函数来衡量一个分类器的好坏，因此对目标函数的构造和求解是构建分类器十分重要的一步，目标函数所限定的是一个分类器的各项指标的好坏，目标函数的值越小表明构造的分类器越好，在本发明实施例中，构造的分类器所对应的目标函数为：

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

其中，w表示模型向量；

表示带权核函数；Ψ表示权对角矩阵，Ψ∈R^m×m，表示每个样例的各个分量上的权，0≤Ψ_ii≤1；C表示L(w^Tk_Ψ(x,·),y)与Ω₂(Ψ)之间的权衡参数，C≥0；p表示正则化阶次，0<p≤2；L(w^Tk_Ψ(x,·),y)表示损失函数，k_Ψ(x,·)表示以x作为自变量的带权核函数，另一个参数为一确定值，w^T表示求w的转置；Ω₁(w)表示正则化项，Ω₂(Ψ)表示样例特征权矩阵正则化项。

对L(w^Tk_Ψ(x,·),y)求最小，表示要解得的模型向量得到的分类器预测错误率最小；对Ω₁(w)求最小，表示解得的模型向量得到的分类器的间隔最大；对Ω₂(Ψ)求最小，表示解得的模型向量构造的分类器所参与的特征分量最少。

具体的，上述目标函数可以表示如下：

\begin{matrix} P : \min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ) \\ = \min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + \frac{1}{2} {| | w | |}_{2}^{2} + (1 - C) \frac{1}{p} {| | diag (Ψ) | |}_{p}^{p} \end{matrix}

其中，diag(Ψ)表示Ψ的对角矩阵，diag(Ψ)=(Ψ₁₁,Ψ₂₂,…,Ψ_mm)^T，由Ψ的对角线元素组成；

考虑到权矩阵正则化项Ω₂(Ψ)采用Lp范数

表示，0<p≤2不满足三角不等式，Lp范数在零点不可微，并且为非凸函数，从而使得求解变得很困难。为了解决上述问题，在本发明实施例中，采用变分法在Ω₂(Ψ)中引入新的辅助变量θ构造辅助凸函数g(Ψ,θ)，其中，g(Ψ,θ)是以

和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

用辅助凸函数来替代目标函数中的样例特征权矩阵正则化项，得到替代目标函数：

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

然后，求解替代目标函数的最优解，也就相当于求解得到了原始目标函数的最优解，最后通过求得的最优解构造SVM分类器。

在一个实施例中，上述带权核函数可以包括但不限于以下至少之一：

1）阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

2）径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

3）带权Sigmoid（神经元的非线性作用）核函数：

k_Ψ(x_i,x_j)=tanh(k(Ψx_i)^T(Ψx_j)-δ)；

其中，

表示带权核函数；i和j表示样例下标；(x_i,x_j)表示样例标签对，x_i和x_j表示样例；c和k表示常数，c>0；Ψ表示权对角矩阵，Ψ∈R^m×m表示每个样例的各个分量上的权，0≤Ψ_ii≤1；q、σ、k和δ表示核参数，σ>0。

具体的，在上述步骤103利用非凸Lp分式范数罚目标函数构造SVM分类器的过程中，主要采用局部二次变分近似法或者局部线性变分近似法构造g(Ψ,θ)，同时采用memetic进化算法和轮转变量寻优算法来具体求解目标函数的最优解，如图2所示，包括以下步骤：

步骤201：采用局部二次变分近似法，或者局部线性变分近似法构造所述辅助凸函数g(Ψ,θ)；

步骤202：将memetic进化算法作为内循环，将轮转变量寻优算法作为外循环进行迭代运算得到最优解，具体的：重复执行以下操作直至轮转变量寻优算法的输出结果经计算后的测试误差与前一次计算得到的测试误差相同为止：采用进化算法（例如memetic进化算法）求解所述替代目标函数当前的最优模型参数值，其中，模型参数包括：C、p和核参数；固定模型参数在当前的最优模型参数值上；使用轮转变量寻优算法求解替代目标函数得到最优解；

步骤203：将最终得到的最优解作为所述替代目标函数的最优解。

在上述步骤202中，采用memetic进化算法求解所述替代目标函数的最优模型参数值的步骤可以如图3所示，包括：

步骤301：将模型参数的值作为表现型形式；

步骤302：利用预定的编码机制，将模型参数转换为基因型染色体编码；

步骤303：按照非线性的带权核函数的核函数类型（即根据非线性映射使用的不同的带权核），将基因染色体编码叠加组成对应于该核函数的类型的核染色体编码；

步骤304：输入核染色体编码作为memetic进化计算过程的输入，进行memetic进化计算，产生更新种群编码序列；

步骤305：对更新种群编码序列进行译码转换为表现型形式；

步骤306：将表现型形式的值作为替代目标函数当前的最优模型参数值。

在一个实施例中，上述步骤304进行memetic进化计算，产生更新种群编码序列可以如图4所示，包括：

步骤401：产生由初始编码序列表示的初始种群；

步骤402：将轮转变量寻优算法的输出结果经计算后的测试误差，作为适应度评价函数，对所述初始种群中的个体进行适应度评价；

步骤403：按照适应度评价的结果对组合染色体进行选择，产生子代个体，其中，适应度越高的个体被选中的概率越大；

步骤404：将初始种群作为父代染色体编码；

步骤405：对父代染色体编码按小概率扰动产生变化，得到子代个体染色体编码；

步骤406：对子代个体染色体编码进行变异交叉操作，产生更新种群编码序列。

在上述步骤201中：

采用局部二次变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

采用局部线性变分近似法得到的替代目标函数为：

在一个实施例中，上述步骤204使用轮转变量寻优算法求解替代目标函数得到最优解可以包括：设置最大迭代次数T；设置θ、w和Ψ的初始值；重复执行以下步骤，直至满足预设的终止条件或者重复次数大于T次：将当前θ和w的值作为已知值，求解替代目标函数中Ψ的最优值，将求得的Ψ的最优值和当前θ的值作为已知值，求解替代目标函数中w的最优值，将求得的w和Ψ的最优值作为已知值，求解替代目标函数中θ的最优值；将求得的θ、w和Ψ的最优值作为替代目标函数的最优解。

本发明实施例给出了一个具体的实施对本发明实施例的构造SVM分类器的方法进行具体说明：

给定样例-类标签对

x_i∈R^m，y_i∈{-1,+1}，即，给定训练样例：D=(x₁,x₂,...,x_n),x_i∈R^m和样例的类标签y=(y₁,y₂,...,y_n)∈{-1,+1}ⁿ。

分类器学习的目标是学习从训练样例到类标签的映射，从而能够实现对未知测试样例的类标签进行准确预测，同时实现原空间特征选择。在本发明实施例中，分类判别函数为也可以是

然而由于

可以经过中心变换变为

的形式。因此，在本发明实施例仅以模型函数为

为例进行说明，其中

表示非线性带权核基函数，用于将输入向量空间映射到高维特征空间，使数据线性可分。根据表示理论，模型权向量可以表示为训练数据点的线性组合

在本发明实施例中，可以采用多项式带权核、径向基带权核、Sigmoid带权核等核函数，得到

用符号函数sign(f(x))作为分类判别函数来预测样例的类标签，当f(x_i)>0时，

当f(x_i)<0时，

实现原空间特征选择的非线性带权核空间上的Lp分式范数罚SVM分类器的目标函数为：

\begin{matrix} P : \min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ) \\ = \min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + \frac{1}{2} {| | w | |}_{2}^{2} + (1 - C) \frac{1}{p} {| | diag (Ψ) | |}_{p}^{p} \end{matrix}

（公式1）

在公式1中

为带权非线性映射函数，L(w^Tk_Ψ(x,·),y)为分类器的损失函数，Ω₁(w)为使得分类器间隔最大的正则化项（也可以称为罚项），Ω₂(Ψ)为带权矩阵正则化项（也可以称为特征集罚项)，权矩阵Ψ∈R^m×m为对角阵，除对角线上的元素为0≤Ψ_ii≤1外，权矩阵Ψ中其余的元素都为0，即

用于确定数据点的特征所占的权重。向量diag(Ψ)=(Ψ₁₁,Ψ₂₂,L,Ψ_mm)^T由权矩阵Ψ的对角线元素组成并实现特征选择，C≥0，C为L(w^Tk_Ψ(x,·),y)和Ω₂(Ψ)之间的权衡参数，0<p≤2，p为正则化阶次。

在本发明实施例中，使用的带权核函数包括但不限于以下至少之一：

1）阶次为q的多项式带权核：

k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q，c>0 （公式2）

2）径向基带权核：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2}), σ > 0

（公式3）

3）Sigmoid带权核

k_Ψ(x_i,x_j)=tanh(k(Ψx_i)^T(Ψx_j)-δ) （公式4）

因为在上述目标函数中权矩阵正则化项采用Lp范数正则化：

Ω_{2} (Ψ) = {| | diag (Ψ) | |}_{p}^{p} = Σ_{i = 1}^{m} {| Ψ_{ii} |}^{p}, 0 < p \leq 2,

不满足三角不等式，因此在数学定义上来说不是严格的范数。Lp范数在零点不可微，并且非凸，这使得求解变得非常困难。为了解决上述问题，在本例中采用变分法，在Ω₂(Ψ)中引入新的辅助变量θ，构造辅助主控凸函数g(Ψ,θ)，其中g(Ψ,θ)是将

和θ的某个代数表达式作为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix}

（公式5）

也就是说，曲面g(Ψ,θ)在曲面Ω₂(Ψ)的上面，并且曲面g(Ψ,θ)与曲面Ω₂(Ψ)在diag(Ψ)点正切。

通过引入上述辅助凸函数g(Ψ,θ)，保证了在更新

下Ω₂(Ψ)是非递增的。仅当Ψ^old是g(Ψ,Ψ^old)的局部极小值，并且更新估计的迭代序列收敛到Ω₂(Ψ)的局部极小值时，Ω₂(Ψ^new)=Ω₂(Ψ^old)。

通过辅助凸函数（即最小化主控函数）g(Ψ,θ)来代替目标函数中的最小化Ω₂(Ψ)，目标函数P变为替代目标函数（也可以称为替代问题）：

Q : \min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

（公式6）

根据表示理论，有：

（公式7）

（公式8）

则

公式6所示的替代目标函数中w^Tk_Ψ(x,·)，

和均只包含乘积项不需要显式求解

的表达式。

在实际求解问题

Q : \min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

之前，需要选择最优的C值、p值以及不同带权核函数的核参数的值，所谓不同带权核函数的核参数的值即：多项式带权核的阶次q的值，径向基带权核的核宽度σ的值，Sigmoid带权核的k和δ的值。

在本例中，采用memetic-Lp-SVM算法求解最优的C值、p值以及核参数的值，如图5所示，memetic-Lp-SVM算法采用memetic进化计算过程学习替代目标函数的模型参数值，包括：

首先，将模型参数C，p，q，σ，k和δ的值作为表现型形式，利用某种编码机制，转换为基因型染色体编码形式。图6、图7和图8分别为多项式带权核、径向基带权核和Sigmoid带权核的染色体编码示意图。图中假定C由C₁,...,C_C位二值码编码C的基因型表示，p由p₁,...,p_p位二值码编码p的基因型表示，q由q₁,...,q_q位二值码编码q的基因型表示，σ由σ₁,...,σ_σ位二值码编码σ的基因型表示，k由k₁,...,k_k位二值码编码k的基因型表示，δ由δ₁,...,δ_δ位二值码编码δ的基因型表示，根据非线性映射使用的不同的带权核，将这些基因型染色体编码叠加起来组成如图6，图7和图8所示的输入编码序列，输入编码序列作为memetic进化计算过程的输入。

memetic进化计算过程为：

1）产生初始种群，即产生初始编码序列；

2）适应度评价，当给定C，p和核参数时，Lp范数罚SVM问题轮转变量优化算法的输出结果经计算获得的测试误差作为适应度评价函数；

3）选择操作，可使用轮盘赌选择、随机遍历抽样选择、局部选择、截断选择、锦标赛选择等选择策略，对组合染色体选择产生子代个体，适应度高的个体被选中的概率大，而适应度低的个体有可能被淘汰。

4）交叉操作，可以采用单点交叉、多点交叉、均匀交叉、洗牌交叉、缩小代理交叉等交叉策略，重组父代种群中的信息产生新的个体。交叉操作是对父代染色体编码按小概率扰动产生变化，即小概率翻转，得到子代个体染色体编码；

5）变异操作，可以采用二进制变异操作，实现变异交叉操作。

memetic进化计算过程结果产生更新种群编码序列，更新种群编码序列经过译码转换为表现型形式输入到Lp范数罚SVM问题轮转变量优化算法，Lp范数罚SVM问题轮转变量优化算法的输出结果经计算获得的测试误差作为适应度评价函数，并在测试误差不再改变时，结束整个算法。

当给定C，p和核参数时，求解Lp范数罚SVM问题轮转变量优化算法的一般框架结构如图9所示，根据学习目标构造公式1中的优化目标函数：

P : \min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

然后，构造满足公式5的辅助主控凸函数g(Ψ,θ)，将目标函数P变为公式6的替代目标函数：

Q : \min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

并进行求解。

如图10所示，memetic进化算法包括：

输入：最大世代数G_max，种群大小S_g，交叉池大小S_m，锦标赛大小S_t，交叉概率P_c，变异概率P_m。

步骤1：产生初始种群；

重复执行下述步骤2到步骤5，直至满足适应度评价或达到最大世代数：

步骤2：选择操作；步骤3：交叉操作；步骤4：变异操作；

步骤5：将基因型染色体编码转换为表现型形式输出给Lp范数罚SVM问题轮转变量优化算法。

在选择C、p和核参数时，可以选择C∈[2^-3,2³]，C可取有限个值0.001，0.01，…，1000，p∈(0,2]，σ>0，k∈[1,10]，δ∈[0,1000]。

在固定C值、p值和核参数的情况下，使用轮转寻优算法求解问题Q。如图11所示，首先随机置θ，w和Ψ的初始值，固定θ值，求解替代问题Q中w和Ψ的最优值，在这个过程中，固定w值，求解Ψ的最优值，然后将得到的Ψ值作为已知值，求解w的最优值，然后再将得到的w值和Ψ值作为已知值，求解替代问题Q中θ的最优值，反复迭代上述过程，直至满足预先定义的终止条件或达到预置迭代步数，算法结束。

具体的：根据结构风险最小化原理，选取

代入公式1中，得到目标函数：

（公式9）

在上述公式9中，选择采用铰链损失函数

由于0<p<1时，权矩阵正则化项

是非凸函数，因此采用变分法，在Ω₂(Ψ)中引入新的辅助变量θ，构造辅助凸函数g(Ψ,θ)，使其满足上述公式5。将构造的辅助凸函数代入到公式9中得到替代目标函数：

（公式10）

按照如图10所示的memetic进化算法得到次优（当前最优）的C，p和核参数的值，然后将C，p和核参数的值固定在得到的次优值上，然后用轮转寻优算法求解Lp范数罚带权核SVM问题：最小化替代目标函数来代替公式9的最小化原始优化问题，求解得到最优解，反复迭代上述过程，直至满足预先定义的终止条件或预置迭代次数，算法结束，得到最优的模型参数值时的最优分类器。

进一步的，上述的替代问题Q，可以使用的近似技术有二次变分近似和线性变分近似两种实现形式，下面对采用二次变分近似和线性变分近似这两种变分近似法构造辅助函数，用memetic进化算法寻找最优模型参数值C值、p值和核参数，并采用轮转寻优算法进行替代目标函数Q的求解。具体内容描述如下：

1）如图12所示，用局部二次变分近似构造辅助凸函数g(Ψ,θ)求解Lp范数带权核SVM问题，包括：

步骤1：给定输入（x，y），得到目标函数P；

步骤2：采用局部二次变分近似法构造原始函数

的二次边界：

由于0<p<1，|Ψ_ii|^p是凹函数，则有

γ (Ψ_{ii}) = {| Ψ_{ii} |}^{p} = \min_{α_{i}} {α_{i} Ψ_{ii}^{2} - γ^{*} (α_{i})}

（公式11）

γ^{*} (α_{i}) = \min_{θ_{i}} {α_{i} {θ_{i}}^{2} - γ (θ_{i})}

（公式12）

其中，γ^*(·)称为γ(·)的共轭函数或对偶函数。

令p(θ_i)=α_iθ_i ²-γ(θ_i) （公式13）

当θ_i=0，p(θ_i=0)=0时，或者当θ_i≠0，p(θ_i)有稳定解时，对偶函数γ^*(α_i)达到极大值，此时：

p^{'} (θ_{i}) = 2 α_{i} θ_{i} - γ^{'} (θ_{i}) = 0 &DoubleRightArrow; α_{i} = \frac{γ^{'} (θ_{i})}{2 θ_{i}}

（公式14）

同时，由于γ(θ_i)=|θ_i|^p，有：

γ'(θ_i)=p|θ_i|^p-1sign(θ_i) （公式15）

将公式12、公式14、公式15代入公式11中，整理得到：

\begin{matrix} {| Ψ_{ii} |}^{p} \leq \frac{γ^{'} (θ_{i})}{2 θ_{i}} (Ψ_{ii}^{2} - {θ_{i}}^{2}) + γ (θ_{i}) \\ = \frac{1}{2} {p {| θ_{i} |}^{p - 2} Ψ_{ii}^{2} + (2 - p) {| θ_{i} |}^{p}} \\ = g (Ψ_{ii}, θ_{i}) \end{matrix}

（公式16）

在公式16中，

g (Ψ_{ii}, θ_{i}) = \frac{1}{2} {p {| θ_{i} |}^{p - 2} Ψ_{ii}^{2} + (2 - p) {| θ_{i} |}^{p}}

即为得到的辅助函数，参数θ_i称为变分参数，得到的变分上界

g (Ψ_{ii}, θ_{i}) = \frac{1}{2} {p {| θ_{i} |}^{p - 2} Ψ_{ii}^{2} + (2 - p) {| θ_{i} |}^{p}}

在θ_i=±|Ψ_ii|处正切于原正则化项

将公式16式代入公式10中得到原优化问题的替代问题：

（公式17）

即，目标函数存在上界：

（公式18）

步骤3：设定迭代次数T，随机置初值θ⁽⁰⁾，用Q的L2正则化问题的解初始化w⁽⁰⁾和Ψ⁽⁰⁾，令t=0；

步骤4：令θ^(t+1):=|diag(Ψ)^(t)|来收紧辅助函数界；

步骤5：求解w^(t+1)和Ψ^(t+1)：

固定w^(t)值不变，求解

Ψ^{(t + 1)} : = \underset{Ψ}{\arg \min} q^{quad} (w^{(t)}, Ψ^{(t)}, θ^{(t + 1)});

固定Ψ^(t+1)值不变，求解

w^{(t + 1)} : = \underset{w}{\arg \min} q^{quad} (w^{(t)}, Ψ^{(t + 1)}, θ^{(t + 1)});

若满足||q^quad(w^(t+1),Ψ^(t+1),θ^(t+1))-q^quad(w^(t),Ψ^(t),θ^(t+1))||₂<10^-6或t>T，则转而执行步骤7；否则执行步骤6；

步骤6：令t=t+1，执行步骤4和步骤5；

步骤7：停止计算并输出结果w^(t+1)，Ψ^(t+1)和θ^(t+1)。

即，在步骤2：采用局部二次变分近似法构造原始函数

的二次边界之后，迭代执行最小化目标函数的上界q^quad(w,Ψ,θ)，首先外循环用上述memetic-Lp-SVM算法得到当前步骤最优的C，p和核参数的值；然后，将C，p和核参数的值固定在得到的当前最优值上，再使用轮转寻优算法迭代求解替代问题的最优解，使用轮转寻优算法求解最优解的步骤包括：

随机置θ、w和Ψ的初始值，固定w值和Ψ值，使目标函数对于变分参数θ最小，即收紧变分界。求解

得到：

θ=|diag(Ψ)| （公式19）

将得到的θ值作为已知值，使目标函数对于w和Ψ最小，得到w和Ψ的最优值。

因为是通过二次变分近似法得到的替代问题，由于公式18二次依赖于w和Ψ，因此替代问题是L2正则化问题，可使用标准的二次优化算法的解初始化w和Ψ。

在将θ值作为已知值，得到w和Ψ的最优值的过程中，首先需要固定w的值，使目标函数对于Ψ最小，得到Ψ的最优值，然后固定Ψ的值不变，使目标函数对于w最小，得到w的最优值。接着利用得到的w值和Ψ值重新估计θ的最优值，再利用得到的θ值重新估计w和Ψ的最优值，反复迭代，直到收敛到局部最优值。

2）如图13所示，用局部线性变分近似构造辅助凸函数g(Ψ,θ)求解Lp范数带权核SVM问题，包括：

步骤1：给定输入（x，y），得到目标函数P；

步骤2：采用局部线性变分近似法构造原始函数

的线性边界

由于0<p<1，|Ψ_ii|^p是凹函数，则有

γ (Ψ_{ii}) = {| Ψ_{ii} |}^{p} = \min_{α_{i}} {α_{i} | Ψ_{ii} | - γ^{*} (α_{i})}

（公式20）

γ^{*} (α_{i}) = \min_{θ_{i}} {α_{i} | θ_{i} | - γ (θ_{i})}

（公式21）

其中，γ^*(·)称为γ(·)的共轭函数或对偶函数。

令p(θ_i)=α_i|θ_i|-γ(θ_i) （公式22）

p^{'} (θ_{i}) = α_{i} sign (θ_{i}) - γ^{'} (θ_{i}) = 0 &DoubleRightArrow; α_{i} = \frac{γ^{'} (θ_{i})}{sign (θ_{i})}

（公式23）

同时，由于γ(θ_i)=|θ_i|^p，有：

γ'(θ_i)=p|θ_i|^p-1sign(θ_i) （公式24）

将公式24代入公式23中，整理得到：

α_i=p|θ_i|^p-1 （公式25）

将公式25代入公式21中，得到γ^*(α_i)≤(p-1)|θ_i|^p。将公式21和公式25代入公式20中，整理得到：

\begin{matrix} {| Ψ_{ii} |}^{p} \leq p {| θ_{i} |}^{p - 1} | Ψ_{ii} | + (1 - p) {| θ_{i} |}^{p} \\ = g (Ψ_{ii}, θ_{i}) \end{matrix}

（公式26）

在公式26中，g(Ψ_ii,θ_i)=p|θ_i|^p-1|Ψ_ii|+(1-p)|θ_i|^p即为得到的辅助函数，参数θ_i称为变分参数，得到的变分上界g(Ψ_ii,θ_i)=p|θ_i|^p-1|Ψ_ii|+(1-p)|θ_i|^p在θ_i=±|Ψ_ii|处正切于原正则化项

Ω_{2} (Ψ) = {| | diag (Ψ) | |}_{p}^{p} .

将公式26代入公式10中得到原优化问题的替代问题：

（公式27）

即，目标函数存在上界：

（公式28）

步骤3：设定迭代次数T，随机置初值θ⁽⁰⁾，用Q的L1正则化和L2正则化的混合问题的解初始化w⁽⁰⁾和Ψ⁽⁰⁾，令t=0；

步骤4：令θ^(t+1):=|diag(Ψ)^(t)|来收紧辅助函数界；

步骤5：求解w^(t+1)和Ψ^(t+1)：

固定w^(t)值不变，求解

Ψ^{(t + 1)} : = \underset{Ψ}{\arg \min} q^{lin} (w^{(t)}, Ψ^{(t)}, θ^{(t + 1)});

固定Ψ^(t+1)值不变，求解

w^{(t + 1)} : = \underset{w}{\arg \min} q^{lin} (w^{(t)}, Ψ^{(t + 1)}, θ^{(t + 1)});

若满足||q^lin(w^(t+1),Ψ^(t+1),θ^(t+1))-q^lin(w^(t),Ψ^(t),θ^(t+1))||₂<10^-6或t>T，则转而执行步骤7；否则执行步骤6；

步骤6：令t=t+1，执行步骤4和步骤5；

步骤7：停止计算并输出结果w^(t+1)，Ψ^(t+1)和θ^(t+1)。

即，在步骤2采用局部线性变分近似法构造原始函数

的线性边界之后，迭代执行最小化目标函数的上界q^lin(w,Ψ,θ)，首先外循环用上述memetic-Lp-SVM算法得到当前步骤最优的C，p和核参数的值；然后，将C，p和核参数的值固定在得到的当前最优值上，再使用轮转寻优算法迭代求解替代问题的最优解，使用轮转寻优算法求解最优解的步骤包括：

得到：

θ=|diag(Ψ)| （公式29）

因为是通过线性二次变分近似法得到的替代问题，由于公式28线性依赖于Ψ并二次依赖于w，因此替代问题是L1正则化和L2正则化问题，可使用L1正则化和L2正则化的解初始化w和Ψ。

本发明实施例提出了一种构造SVM分类器的方法，通过本发明的方法构造的分类器采用原空间特征选择的非线性带权核空间Lp分式范数(0<p≤2)罚SVM分类方法进行分类，因为采用的带权核空间，因此计算得到的w为稀疏向量，而不是特征变量的分量的值基本为零，特征变量的值比不是特征变量的分量的值要大出几个数量级，特征选择个数和各特征在w中的下标位置也可以通过这种方式一次训练得到。

在上述实施例中提出了一种构造SVM分类器的方法，构造的分类器用于解决高维小样本数据分类问题并实现原空间特征选择的非线性带权核空间Lp分式范数(0<p≤2)罚SVM分类方法，在上述构造方法中将核方法和Lp范数正则化方法应用到了SVM分类器的设计过程中。基于核的学习方法并不直接给出数据点的坐标，而是通过规定的每对数据点之间的内积，来间接地将数据嵌入到非线性核空间中，然后搜索原数据的非线性映射在该空间中的线性关系。Lp范数正则化方法在分类器目标函数中引入Lp范数正则化项，实现模型的稀疏化。在上述实施例中还用嵌入方法将特征选择作为分类算法执行过程的一部分，在核矩阵中引入在[0,1]实数区间内取值的权向量，权向量的分量为0时，表示样例的特征维没有被选中，权向量的分量为1时，表示样例的特征维被选中，应用上述方法可实现原空间特征选择的非线性带权核空间的Lp范数罚SVM分类器，得到适当稀疏而又预测准确的分类器，同时该方法可选择原空间中的特定特征映射到核空间中进行处理。

基于同一发明构思，本发明实施例中还提供了一种SVM分类器的构造装置，如下面的实施例所述。由于SVM分类器的构造装置解决问题的原理与SVM分类器的构造方法相似，因此SVM分类器的构造装置的实施可以参见SVM分类器的构造方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图14是本发明实施例的SVM分类器的构造装置的一种结构框图，如图14所示，包括：核函数确定模块1401、目标函数确定模块1402和构造模块1403下面对该结构进行说明。

核函数确定模块1401，用于确定非线性的带权核函数；

目标函数确定模块1402，用于基于带权核函数确定非凸Lp分式范数罚目标函数；

构造模块1403，用于利用非凸Lp分式范数罚目标函数构造SVM分类器。

在一个实施例中，带权核函数包括但不限于以下至少之一：

阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

其中，k_Ψ表示带权核函数；i和j表示样例下标；(x_i,x_j)表示样例标签对，x_i和x_j表示样例；c和k表示常数，c>0；Ψ表示权对角矩阵，Ψ∈R^m×m，0≤Ψ_ii≤1；q、σ、k和δ表示核参数，σ>0。

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

其中，w表示模型向量；Ψ表示权对角矩阵，Ψ∈R^m×m，0≤Ψ_ii≤1；C表示L(w^Tk_Ψ(x,·),y)与Ω₂(Ψ)之间的权衡参数，C≥0；p表示正则化阶次，0<p≤2；L(w^Tk_Ψ(x,·),y)表示损失函数，对L(w^Tk_Ψ(x,·),y)求最小，表示要解得的模型向量得到的分类器预测错误率最小，k_Ψ(x,·)表示以x作为自变量的带权核函数，另一个自变量待定；Ω₁(w)表示正则化项；Ω₂(Ψ)表示样例特征权矩阵正则化项。

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

其中，g(Ψ,θ)是以和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

所述分类器构造单元包括：

在一个实施例中，所述迭代子单元包括：第一转换子单元。用于将模型参数的值作为表现型形式，利用预定的编码机制，将模型参数转换为基因型染色体编码；

在一个实施例中，所述计算子单元包括：

构建子单元，用于产生由初始编码序列表示的初始种群；

其中，λ=1-C。

在一个实施例中，所述迭代子单元具体用于按照以下方式使用轮转变量寻优算法求解替代目标函数得到最优解：

设置最大迭代次数T；

设置θ、w和Ψ的初始值；

将求得的θ、w和Ψ的最优值作为替代目标函数的最优解。

本发明实施例还提供一种对高维小样本数据进行分类的方法，如图15所示，包括：

步骤1501：根据上述的SVM分类器的构造方法，构造SVM分类器；

步骤1502：利用构造的SVM分类器，对高维小样本数据进行分类。

本发明实施例还提供了一种对高维小样本数据进行分类的装置，如图16所示，包括：构造单元1601，用于根据上述SVM分类器的构造方法，构造SVM分类器；分类单元1602，用于利用构造的SVM分类器，对高维小样本数据进行分类。

从以上的描述中，可以看出，本发明实施例实现了如下技术效果：确定非线性的带权核函数，并基于该带权核函数确定非凸Lp分式范数罚目标函数，利用该目标函数构造SVM分类器，将核方法和Lp范数正则化用到了SVM分类器的设计过程中，并在核矩阵中引入了带权的核函数，与现有技术中对高维小样本数据进行分类时需要遍历所有特征维的组合来寻找所需的特征的技术方案相比，使得构造的SVM分类器能实现非线性核映射后样例原空间的特征选择功能，能用于对高维小样本数据进行分类，产生更稀疏的模型，实现更准确的特征选择，得到更好的预测准确度，大幅度地降低了计算复杂度，避免了数据灾难。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种支持向量机分类器的构造方法，其特征在于，包括：

确定非线性的带权核函数；

基于带权核函数确定非凸Lp分式范数罚目标函数；

利用非凸Lp分式范数罚目标函数构造支持向量机SVM分类器。

2.如权利要求1所述的方法，其特征在于，带权核函数包括以下至少之一：

阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

3.如权利要求2所述的方法，其特征在于，基于带权核函数确定的非凸Lp分式范数罚目标函数为：

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

其中，w表示模型向量；C表示L(w^Tk_Ψ(x,·),y)与Ω₂(Ψ)之间的权衡参数，C≥0；p表示正则化阶次，0<p≤2；L(w^Tk_Ψ(x,·),y)表示损失函数，k_Ψ(x,·)表示以x作为自变量的带权核函数，另一个参数为一确定值；w^T表示求w的转置；Ω₁(w)表示正则化项，Ω₂(Ψ)表示样例特征权矩阵正则化项。

4.如权利要求3所述的方法，其特征在于，利用非凸Lp分式范数罚目标函数构造SVM分类器，包括：

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

其中，g(Ψ,θ)是以和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

5.如权利要求4所述的方法，其特征在于：

所述构造辅助凸函数g(Ψ,θ)，用g(Ψ,θ)来替代目标函数中的Ω₂(Ψ)，得到替代目标函数，包括：

所述求解替代目标函数的最优解，包括：

将最终得到的最优解作为所述替代目标函数的最优解。

6.如权利要求5所述的方法，其特征在于，采用进化算法求解所述替代目标函数当前的最优模型参数值，包括：

将模型参数的值作为表现型形式；

对更新种群编码序列进行译码转换为表现型形式；

将表现型形式作为替代目标函数当前的最优模型参数值。

7.如权利要求6所述的方法，其特征在于，进行基因进化计算，产生更新种群编码序列，包括：

产生由初始编码序列表示的初始种群；

将初始种群作为父代染色体编码；

8.如权利要求5所述的方法，其特征在于，采用局部二次变分近似法得到的替代目标函数为：

9.如权利要求5所述的方法，其特征在于，采用局部线性变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

10.如权利要求5所述的方法，其特征在于，固定C、p和核参数在当前的最优参数值上，使用轮转变量寻优算法求解替代目标函数得到最优解，包括：

设置最大迭代次数T；

设置θ、w和Ψ的初始值；

将求得的θ、w和Ψ的最优值作为替代目标函数的最优解。

11.一种对高维小样本数据进行分类的方法，其特征在于，包括：

根据权利要求1至10中任一项所述的支持向量机SVM分类器的构造方法，构造SVM分类器；

利用构造的SVM分类器，对高维小样本数据进行分类。

12.一种支持向量机分类器的构造装置，其特征在于，包括：

核函数确定模块，用于确定非线性的带权核函数；

目标函数确定模块，用于基于带权核函数确定非凸Lp分式范数罚目标函数；

构造模块，用于利用非凸Lp分式范数罚目标函数构造支持向量机SVM分类器。

13.如权利要求12所述的装置，其特征在于，带权核函数包括以下至少之一：

阶次为q的多项式带权核函数：k_Ψ(x_i,x_j)=((Ψx_i)^T(Ψx_j)+c)^q；

径向基带权核函数：

k_{Ψ} (x_{i}, x_{j}) = \exp (- {| | (Ψ x_{i}) - (Ψ x_{j}) | |}_{2}^{2} / σ^{2});

14.如权利要求13所述的装置，其特征在于，所述目标函数确定模块确定的非凸Lp分式范数罚目标函数为：

\min_{w, Ψ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + Ω_{2} (Ψ)

15.如权利要求14所述的装置，其特征在于，所述构造模块包括：

替代目标函数构造单元，用于在Ω₂(Ψ)中引入辅助变量θ，构造辅助凸函数g(Ψ,θ)，用g(Ψ,θ)来替代目标函数中的Ω₂(Ψ)，得到替代目标函数：

\min_{w, Ψ, θ, C, p} C \cdot L (w^{T} k_{Ψ} (x, \cdot), y) + Ω_{1} (w) + g (Ψ, θ)

其中，g(Ψ,θ)是以

和θ为变量的函数，且满足：

\{\begin{matrix} g (Ψ, θ) &GreaterEqual; Ω_{2} (θ), & &ForAll; θ \\ g (Ψ, Ψ) = Ω_{2} (Ψ) \end{matrix},

16.如权利要求15所述的装置，其特征在于：

所述替代目标函数构造单元具体用于采用局部二次变分近似法，或者局部线性变分近似法构造g(Ψ,θ)得到替代目标函数；

所述分类器构造单元包括：

17.如权利要求16所述的装置，其特征在于，所述迭代子单元包括：

第二转换子单元，用于对更新种群编码序列进行译码转换为表现型形式，并将表现型形式作为替代目标函数当前的最优模型参数值。

18.如权利要求17所述的装置，其特征在于，所述计算子单元包括：

构建子单元，用于产生由初始编码序列表示的初始种群；

19.如权利要求16所述的装置，其特征在于，所述凸函数构造单元采用局部二次变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

20.如权利要求16所述的装置，其特征在于，所述凸函数构造单元采用局部线性变分近似法得到的替代目标函数为：

其中，λ=1-C，

表示将样例映射到非线性函数空间中的非线性映射函数。

21.如权利要求16所述的装置，其特征在于，所述迭代子单元具体用于按照以下方式使用轮转变量寻优算法求解替代目标函数得到最优解：

设置最大迭代次数T；

设置θ、w和Ψ的初始值；

将求得的θ、w和Ψ的最优值作为替代目标函数的最优解。

22.一种对高维小样本数据进行分类的装置，其特征在于，包括：

构造单元，用于利用权利要求12至21中任一项所述的支持向量机分类器的构造装置，构造支持向量机SVM分类器；

分类单元，用于利用构造的SVM分类器，对高维小样本数据进行分类。