CN102567742A - 一种基于自适应核函数选择的支持向量机自动分类方法 - Google Patents

Abstract

本发明公开了一种基于自适应核函数选择的支持向量机自动分类方法，涉及图像信息处理技术，步骤为：建立分类图像代表集；统计训练图像的特征向量；结合数据驱动下的机器学习处理思想，提出核函数的原型；基于自适应的遗传算法实现核函数类型及参数的最优选择；使用学习得到的分类器对待分类图像进行分类处理。本发明的自动分类方法，克服了传统的支持向量机模型选择方法中人为指定核函数类型导致模型不能达到最优性能的缺点，能够满足不同场景图像的分类需求。

Description

一种基于自适应核函数选择的支持向量机自动分类方法

技术领域

本发明涉及图像信息处理技术领域中关于图像分类的方法，尤其是一种通过自适应地选择核函数来实现对多类场景图像进行分类的方法。

背景技术

图像分类是指在对图像总体认识的基础上，根据情景信息将多幅图像标记为不同类别的过程。随着图像内容的复杂化和数据量的增大，传统的依靠人工目视对图像进行分类标注的方式逐渐受到挑战，如何自动准确地完成图像分类，已成为信息处理领域的研究热点。

支持向量机(Support Vector machine，SVM)是由Vapnik等人在1992年提出的一种新的机器学习方法。该方法通过引入核方法，将原空间中线性不可分的数据映射到高维特征空间，在克服传统机器学习存在的维数灾难和局部最小问题的同时，实现了数据的线性分类，并在图像分类中取得了一定的效果。

模型选择直接决定支持向量机方法的性能。它主要包括核函数类型的选择、核函数参数以及权衡最大化分类边界和最小化分类误差的惩罚因子C的优化，C可以并入核函数中作为核函数的参数之一。因此，支持向量机模型选择就是核函数类型及其参数的选择。不少学者先后提出若干支持向量机模型选择的方法。

一类方法通过网格算法选择支持向量机模型。由于其实际上是一种穷举搜索算法，当核函数较复杂(参数超过两个)时，时间开销较大，在复杂分类问题中的应用受到限制。

另一类方法基于分类器性能评估准则采用迭代寻优选择支持向量机模型。如Olivier等计算了类器性能评估准则T对于核函数参数的梯度，并采用梯度下降法求解最优模型。Carl等引入了贝叶斯证据理论作为支持向量机分类器性能的评估准则，并采用蒙特卡罗算法推断贝叶斯证据的梯度值。虽然这类方法可以快速得到较好的模型，但是对于初始值较敏感，容易收敛到局部最优值，且要求分类器性能评估准则和核函数对于支持向量机模型参数均为可导。

由于以上两类方法的局限性，一种新的进化方法被用于支持向量机模型的选择。该类方法可以在复杂参数空间进行高效的搜索，主要包括遗传算法、进化程序和进化策略等。Friedrichs等采用遗传策略优化带有尺度因子和旋转因子的高斯核函数，实验表明遗传策略对于参数较多的问题在搜索效率上具有很大的优势。类似的，Ana等在其研究中证明了遗传算法用于复杂参数空间搜索可以获得全局最优值。然而，进化方法仍然存在以下若干问题：(1)进化方法自身的控制参数是根据经验设定的，没有针对具体问题在进化过程中进行动态调整，这会导致算法不稳定以及收敛速度较慢等问题；(2)采用进化方法对支持向量机模型进行选择，优化的核函数类型较单一，核函数的参数也较少，进化算法对于复杂参数空间的高效搜索优势没有得到充分利用；(3)之前的大多研究只把重点放在对核函数参数的选择上，并没有提出有效的核函数类型的选择方法。

发明内容

本发明的目的是提供一种基于自适应核函数选择的支持向量机自动分类方法，以解决不同场景图像的分类问题。

为实现上述目的，本发明的技术方案如下：

一种基于自适应核函数选择的支持向量机自动分类方法，其包括以下步骤：

第一步，建立分类图像代表集；

第二步，依多类图像代表集计算所有训练图像的灰度均值、标准偏差、平滑度、三阶矩、一致性、熵，得到所有训练图像的特征向量；

第三步，结合数据驱动下的机器学习处理思想，提出核函数的原型；

第四步，基于自适应的遗传算法实现核函数类型及参数的最优选择；

第五步，重复第二步，计算得到待分类图像的特征向量；

第六步，使用学习得到的分类器进行处理，得到待分类图像所属的类别。

所述的自动分类方法，其所述第一步，包括：

(1)根据需要定义J个类别的图像或数据，类别编号为1～J，J为自然数；

(2)对每类图像标记出实际所属的类别，选取其中数量为L的图像数据作为训练集，其余图像作为测试集；

(3)将所有J类图像代表合并为多类图像代表集。

所述的自动分类方法，其所述第三步，方法是：

(A)构造满足核函数性质的基本核函数，具体步骤是：

A1、构造多项式核K_poly，定义为：

K_poly(x_i，x_j)＝(a(x_i·x_j)+b)^d       (1)

A2、构造径向基核K_rbf，定义为：

K_rbf(x_i，x_j)＝exp(-γ||x_i-x_j||²)    (2)

A3、构造神经网络核K_sig，定义为：

K_sig(x_i，x_j)＝tanh(a(x_i·x_j)+β)    (3)

以上三式中，a，b，α，β，γ为核函数系数，x为核函数中的数据向量。

(B)基于(A)步所得基本核函数，构建核函数原型，定义如下：

$K(x,z)={\mathrm{\λ}}_1{K}_{\mathrm{poly}}{(x,z)}^{{\mathrm{\θ}}_1}+{\mathrm{\λ}}_2{K}_{\mathrm{rbf}}{(x,z)}^{{\mathrm{\θ}}_2}+{\mathrm{\λ}}_3{K}_{\mathrm{sig}}{(x,z)}^{{\mathrm{\θ}}_3}---\left(4\right)$

其中，λ_i，θ_i∈R⁺，i＝1，2，3，x和z分别为数据向量；根据多项式核与径向基核的表达式，指数因子θ₁和θ₂可以分别并入核函数自身参数中，使核函数原型简化为如下的普适形式：

K(x，z)＝λ₁K_poly(x，z)+λ₂K_rbf(x，z)+λ₃K_sig(x，z)^θ    (5)。

所述的自动分类方法，其所述(A)步中，基本核函数应满足以下性质：

假设K₁，K₂是X×X上的核函数，

a∈R⁺，则下面的函数也是核函数：

(1)K(x，z)＝K₁(x，z)+K₂(x，z)

(2)K(x，z)＝K₁(x，z)K₂(x，z)

(3)K(x，z)＝aK₁(x，z)。

其中，x和z分别为数据向量。

所述的自动分类方法，其所述第四步中，为了使用自适应遗传算法对核函数的类型和参数进行选择，必须将核函数类型参数和各基本核函数的参数以基因的方式编码到染色体中；染色体编码方式为，λ(21位)和e(4位)为核函数类型参数，a(7位)、b(7位)、Y(12位)、α(12位)和β(12位)为核函数参数，C(15位)为惩罚因子。

所述的自动分类方法，其所述公式(5)的核函数原型中存在两类参数，分别是：核函数类型参数λ_i和e_i，及核函数原型的各基本核函数的参数；基于自适应核函数选择的支持向量机分类方法针对具体问题，选择出最优的

和然后将和代入核函数原型中得到适合该问题的最优的核函数类型。

所述的自动分类方法，其所述第四步，方法是：

(1)采用最佳随机初始化算法形成初始种群，首先随机生成一定数量的个体，然后计算其适应度，从中选择适应度最高的个体加入初始种群，循环这个操作，直到初始种群的大小达到要求为止；

(2)对种群中个体的染色体进行解码形成一组支持向量机模型，在训练集上对这组支持向量机模型进行训练得到一组支持向量机分类器；

(3)采用交叉验证方法对每个支持向量机分类器进行性能评估，将交叉验证准确率作为遗传算法中的适应度函数，而每个个体的适应度值就是每个支持向量机模型对应的交叉验证准确率与所有支持向量机模型交叉验证准确率总和的比值，其值在0～1之间，由此得到种群中每个个体的适应度；

(4)通过自适应方法动态调整种群中个体的交叉概率和变异概率，并据此对种群中的个体进行选择、交叉和变异操作，形成下一代种群；

(5)如果算法的进化代数达到设定的最大值，或者种群中已经产生了最优解，则算法结束；否则重复步骤(2)至(4)。

所述的自动分类方法，其所述第四步的步骤(2)，支持向量机分类器的训练方法如下：

假定训练数据集为{(x_i，y_i)}^m，其中，x_i是输入向量的第i个样本，x_i∈R^d，m是样本容量，y_i∈{-1，+1}是第i个样本的类别；目标是寻找一个最优的分类超平面：w^Tx+b＝0，使其将训练数据线性分开，并能获得最大分类间隔，其中w是分类超平面的法向量，b为超平面的偏移量；

求解最优分类超平面的问题，被转化成下面的二次最优化问题：

$\left\{\begin{array}{c}{\min }_{w,b,\mathrm{\ξ}}\frac{1}{2}\left|\right|w\left|\right|+C{\mathrm{\Σ}}_{i=1}^m{\mathrm{\ξ}}_i\\ y_i((w\·x)+b)\≥1-{\mathrm{\ξ}}_i,i=1,...,m\\ {\mathrm{\ξ}}_i\≥0\end{array}\right.---\left(6\right)$

其中，ξ_i是松弛变量，C是一个可调节的参数，用来权衡最大化分类间隔和最小化训练误差；

其最终的决策函数为：

f(x)＝sgn((w^*·x)+b^*)        (7)

其中，w^*和b^*是最优超平面的参数；

引入核函数的支持向量机分类器的表示如下：

$\left\{\begin{array}{c}{\max }_a{\mathrm{\Σ}}_{i=1}^m{a}_i-\frac{1}{2}{\mathrm{\Σ}}_{i,j=1}^m{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\\ {\mathrm{\Σ}}_{i=1}^m{a}_i{y}_i=0\\ 0\≤a_i\≤C\∀i\end{array}\right.---\left(8\right)$

其决策函数为：

$f\left(x\right)=\mathrm{sgn}({\mathrm{\Σ}}_{i=1}^m{a}_i{y}_{i}K(x,x_i)+b^{*})---\left(9\right).$

所述的自动分类方法，其所述第四步的步骤(4)，步骤为：

4a、从种群中选择适应度最高的个体，并采用经典的轮盘赌算法选择出适应度较高的个体，这些个体经过繁殖形成下一代种群，使得在维持种群规模不变的同时，保证种群中出现的最佳个体是历史最优的；

4b、交叉操作使得种群中个体的基因进行重组，产生出新的基因型，采用自适应交叉算子根据个体的适应度对其交叉概率进行动态调整，保证新的基因型获得更好的解；

4c、变异算子用于恢复种群进化过程中丢失的遗传信息，与构造上述自适应交叉算子的原理类似，采用自适应变异算子动态调整种群的变异概率。

所述的自动分类方法，其所述第四步的步骤(4)4a中，自适应交叉算子的计算方式如下：

$p_c=\frac{f_{\max }-f^{\′}}{f_{\max }-f^{\′}},f^{\′}>\stackrel{\‾}{f}---\left(10\right)$

p_c＝1.0， $f^{\′}\≤\stackrel{\‾}{f}---\left(11\right)$

其中，p_c是遗传算法中的交叉概率，f′是进行交叉的两个个体中较大的适应度，f_max是种群中个体的最大适应度，

是种群的平均适应度；

所述的自动分类方法，其所述第四步的步骤(4)4c中，自适应变异算子的计算方式如下：

$p_m=\frac{0.5(f_{\max }-f)}{f_{\max }-f},f>\stackrel{\‾}{f}---\left(12\right)$

p_c＝0.5， $f\≤\stackrel{\‾}{f}---\left(13\right)$

其中p_m是遗传算法中的变异概率，f是种群中个体的适应度。

本发明的一种基于自适应核函数选择的支持向量机自动分类方法，针对具体问题选择最优核函数类型及相应的最优核函数参数，克服了传统的支持向量机模型选择方法中人为指定核函数类型导致模型不能达到最优性能的缺点。同时它将遗传算法自身控制参数的优化和支持向量机模型的选择统一在一个完整的进化过程中，通过动态调整遗传算法的控制参数，提高了整个支持向量机模型选择方法的收敛速度，并且克服了一般遗传算法控制参数固定不变用于支持向量机模型时选择容易陷入局部最优值的问题。本发明的方法提高了支持向量机模型选择的性能，能够满足不同场景图像的分类需求。

附图说明

图1为本发明基于自适应核函数选择的支持向量机自动分类方法的流程示意图。

图2为采用本发明方法和相关方法在标准数据集上进行分类试验的结果比较。

图3为采用本发明方法在标准数据集上选择的最优核函数类型。

具体实施方式

图1为本发明一种基于自适应核函数选择的支持向量机自动分类方法的流程示意图，具体包括：

步骤1，建立分类图像代表集。具体步骤包括：

1.1、根据需要定义J个类别的图像或数据，类别编号为1～J，J为自然数；

1.2、对每类图像标记出实际所属的类别，选取其中数量为L的图像数据作为训练集，其余图像作为测试集。在实际处理中，实验数据主要取自于LibSVM官方网站上的4个标准数据集，其中Fourclass数据集包括862个样本、2个特征、2个类别，Iris数据集包括150个样本、4个特征、3个类别，Australian数据集包括690个样本、14个特征、2个类别，Vehicle数据集包括846个样本、18个特征、4个类别。为保证训练得到分类器的有效性，L取值一般应在100以上；

1.3、将所有J类图像代表合并为多类图像代表集；

步骤2，依此计算所有训练图像的灰度均值、标准偏差、平滑度、三阶矩、一致性、熵等6类统计特征，得到所有训练图像的特征向量；

步骤3，提出核函数的原型。具体步骤包括：

3.1、构造满足核函数性质的基本核函数，具体步骤是：

3.1.1、构造多项式核K_poly，定义为：

K_poly(x_i，x_j)＝(a(x_i·x_j)+b)^d      (1)

3.1.2、构造径向基核K_rbf，定义为：

K_rbf(x_i，x_j)＝exp(-γ||x_i-x_j||²)   (2)

3.1.3、构造神经网络核K_sig，定义为：

K_sig(x_i，x_j)＝tanh(a(x_i·x_j)+β)   (3)

以上三式中，a，b，α，β，γ分别为核函数系数，x为核函数中的数据向量。

3.2、基于上述基本核函数，构建核函数原型，定义如下：

$K(x,z)={\mathrm{\λ}}_1{K}_{\mathrm{poly}}{(x,z)}^{{\mathrm{\θ}}_1}+{\mathrm{\λ}}_2{K}_{\mathrm{rbf}}{(x,z)}^{{\mathrm{\θ}}_2}+{\mathrm{\λ}}_3{K}_{\mathrm{sig}}{(x,z)}^{{\mathrm{\θ}}_3}---\left(4\right)$

其中，λ_i，θ_i∈R⁺，i＝1，2，3，x和z分别为数据向量；根据多项式核与径向基核的表达式，指数因子θ₁和θ₂可以分别并入核函数自身参数中，使核函数原型简化为如下的普适形式：

K(x，z)＝λ₁K_poly(x，z)+λ₂K_rbf(x，z)+λ₃K_sig(x，z)^θ    (5)

步骤4，基于自适应的遗传算法实现核函数类型及参数的最优选择。在公式(5)的核函数原型中存在两类参数，分别是：核函数类型参数λ_i和e_i，以及核函数原型的各基本核函数的参数。基于自适应核函数选择的支持向量机分类方法针对具体问题，选择出最优的

和

然后将

和

代入核函数原型中得到适合该问题的最优的核函数类型。具体步骤是：

4.1、采用最佳随机初始化算法形成初始种群，首先随机生成一定数量的个体，然后计算其适应度，从中选择适应度最高的个体加入初始种群，循环这个操作，直到初始种群的大小达到要求为止；

4.2、对种群中个体的染色体进行解码形成一组支持向量机模型，在训练集上对这组支持向量机模型进行训练得到一组支持向量机分类器；

4.3、采用交叉验证方法对每个支持向量机分类器进行性能评估，将交叉验证准确率作为遗传算法中的适应度函数，而每个个体的适应度值就是每个支持向量机模型对应的交叉验证准确率与所有支持向量机模型交叉验证准确率总和的比值，其值在0～1之间，由此得到种群中每个个体的适应度；

4.4、通过自适应方法动态调整种群中个体的交叉概率和变异概率，并据此对种群中的个体进行选择、交叉和变异操作，形成下一代种群，具体步骤为：

4.4.1、从种群中选择适应度最高的个体，并采用经典的轮盘赌算法选择出适应度较高的个体，这些个体经过繁殖形成下一代种群，使得在维持种群规模不变的同时，保证种群中出现的最佳个体是历史最优的；

4.4.2、交叉操作使得种群中个体的基因进行重组，产生出新的基因型，采用自适应交叉算子根据个体的适应度对其交叉概率进行动态调整，保证新的基因型可以获得更好的解；

4.4.3、变异算子用于恢复种群进化过程中丢失的遗传信息。与构造上述自适应交叉算子的原理类似，采用自适应变异算子动态调整种群的变异概率；

4.5、如果算法的进化代数达到设定的最大值，或者种群中已经产生了最优解，则算法结束；否则重复步骤4.2至4.4。

步骤5，重复步骤2，计算得到待分类图像的特征向量，使用学习得到的分类器进行处理，得到待分类图像所属的类别。

本发明的方法，其所述步骤3.1中，基本核函数应满足以下性质：

假设K₁，K₂是X×X上的核函数，

a∈R⁺，则下面的函数也是核函数：

(1)K(x，z)＝K₁(x，z)+K₂(x，z)

(2)K(x，z)＝K₁(x，z)K₂(x，z)

(3)K(x，z)＝aK₁(x，z)

其中，x和z分别为数据向量。

本发明的方法，其所述步骤4.2中，支持向量机分类器的训练方法如下：

假定训练数据集为{(x_i，y_i)}^m，其中，x_i是输入向量的第i个样本，x_i∈R^d，m是样本容量，y_i∈{-1，+1}是第i个样本的类别。目标是寻找一个最优的分类超平面：w^Tx+b＝0，使其可以将训练数据线性分开，并能获得最大分类间隔，其中，w是分类超平面的法向量，b为超平面的偏移量。求解最优分类超平面的问题最终被转化下面的二次最优化问题：

$\left\{\begin{array}{c}{\min }_{w,b,\mathrm{\ξ}}\frac{1}{2}\left|\right|w\left|\right|+C{\mathrm{\Σ}}_{i=1}^m{\mathrm{\ξ}}_i\\ y_i((w\·x)+b)\≥1-{\mathrm{\ξ}}_i,i=1,...,m\\ {\mathrm{\ξ}}_i\≥0\end{array}\right.---\left(6\right)$

其中，ξ_i是松弛变量，C是一个可调节的参数，用来权衡最大化分类间隔和最小化训练误差。

最终的决策函数为：

f(x)＝sgn((w^*·x)+b^*)        (7)

其中w^*和b^*是最优超平面的参数。

核函数的引入很容易将基本的线性分类扩展到非线性分类，同时也使支持向量机克服了传统机器学习算法固有的维数灾难问题。引入核函数的支持向量机分类器的表示如下：

$\left\{\begin{array}{c}{\max }_a{\mathrm{\Σ}}_{i=1}^m{a}_i-\frac{1}{2}{\mathrm{\Σ}}_{i,j=1}^m{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\\ {\mathrm{\Σ}}_{i=1}^m{a}_i{y}_i=0\\ 0\≤a_i\≤C\∀i\end{array}\right.---\left(8\right)$

决策函数为：

$f\left(x\right)=\mathrm{sgn}({\mathrm{\Σ}}_{i=1}^m{a}_i{y}_{i}K(x,x_i)+b^{*})---\left(9\right)$

本发明的方法，其所述步骤4.2中，为了使用自适应遗传算法对核函数的类型和参数进行选择，必须将核函数类型参数和各基本核函数的参数以基因的方式编码到染色体中。染色体编码方式为，λ(21位)和e(4位)为核函数类型参数，a(7位)、b(7位)、Y(12位)、α(12位)和β(12位)为核函数参数，C(15位)为惩罚因子。

本发明的方法，其所述步骤4.4.2中，自适应交叉算子的计算方式如下：

$p_c=\frac{f_{\max }-f^{\′}}{f_{\max }-f^{\′}},f^{\′}>\stackrel{\‾}{f}---\left(10\right)$

p_c＝1.0， $f^{\′}\≤\stackrel{\‾}{f}---\left(11\right)$

其中p_c是遗传算法中的交叉概率，f′是进行交叉的两个个体中较大的适应度，f_max是种群中个体的最大适应度，

是种群的平均适应度。

本发明的方法，其所述步骤4.4.3中，自适应变异算子的计算方式如下：

$p_m=\frac{0.5(f_{\max }-f)}{f_{\max }-f},f>\stackrel{\‾}{f}---\left(12\right)$

p_c＝0.5， $f\≤\stackrel{\‾}{f}---\left(13\right)$

其中p_m是遗传算法中的变异概率，f是种群中个体的适应度。

图2对采用本发明方法和其他相关方法(网格算法、标准遗传算法)在标准数据集上进行分类试验的结果进行比较。其中对于内容较简单的Fourclass数据集，三种算法选择出来的支持向量机模型均有最好的性能，其交叉验证准确性均为100％，但是本发明方法的收敛速度比标准遗传算法更快，这是由于本发明方法根据每个个体的适应度对其交叉和变异概率进行动态调整的结果。本发明方法在Iris数据集上经过133代的进化获得了一个最佳的适应度，而标准遗传算法在相同的数据集上经过了30代的进化收敛到一个较差的适应度，这反映出标准遗传算法在固定的不合适的交叉和变异概率的控制下容易导致种群进入“早熟”的状态，即过早的收敛于一个较差的适应度。对于Australian数据集，网格算法与标准遗传算法选择出来的支持向量机模型的性能相当，标准遗传算法选择出来的模型性能略低一些，这反映了其由于其固定的交叉概率和变异概率而容易陷入局部最优值的缺点；实验在Vehicle数据集上的结果反映了相同的结论。

纵观整个性能比较实验，本发明方法选择出来的支持向量机模型的性能普遍优于标准遗传算法和网格算法选择出来的模型，并且本发明方法用于模型选择的收敛速度远高于其他相关方法。4个标准支持向量机数据集上的结果均证明了本发明方法用于支持向量机模型选择的有效性和高效性。图3中列出了本发明方法用于各数据集得到的最优支持向量机核函数类型。

Claims (11)

1.一种基于自适应核函数选择的支持向量机自动分类方法，其特征在于：包括以下步骤：

第一步，建立分类图像代表集；

第二步，依多类图像代表集计算所有训练图像的灰度均值、标准偏差、平滑度、三阶矩、一致性、熵，得到所有训练图像的特征向量；

第三步，结合数据驱动下的机器学习处理思想，提出核函数的原型；

第四步，基于自适应的遗传算法实现核函数类型及参数的最优选择；

第五步，重复第二步，计算得到待分类图像的特征向量；

第六步，使用学习得到的分类器进行处理，得到待分类图像所属的类别。

2.如权利要求1所述的自动分类方法，其特征在于：所述第一步，包括：

(1)根据需要定义J个类别的图像或数据，类别编号为1～J，J为自然数；

(2)对每类图像标记出实际所属的类别，选取其中数量为L的图像数据作为训练集，其余图像作为测试集；

(3)将所有J类图像代表合并为多类图像代表集。

3.如权利要求1所述的自动分类方法，其特征在于：所述第三步，方法是：

(A)构造满足核函数性质的基本核函数，具体步骤是：

A1、构造多项式核K_poly，定义为：

K_poly(x_i，x_j)＝(a(x_i·x_j)+b)^d       (1)

A2、构造径向基核K_rbf，定义为：

K_rbf(x_i，x_j)＝exp(-γ||x_i-x_j||²)    (2)

A3、构造神经网络核K_sig，定义为：

K_sig(x_i，x_j)＝tanh(a(x_i·x_j)+β)    (3)

以上三式中，a，b，α，β，γ分别为核函数系数，x为核函数中的数据向量。

(B)基于(A)步所得基本核函数，构建核函数原型，定义如下：

$K(x,z)={\mathrm{\λ}}_1{K}_{\mathrm{poly}}{(x,z)}^{{\mathrm{\θ}}_1}+{\mathrm{\λ}}_2{K}_{\mathrm{rbf}}{(x,z)}^{{\mathrm{\θ}}_2}+{\mathrm{\λ}}_3{K}_{\mathrm{sig}}{(x,z)}^{{\mathrm{\θ}}_3}---\left(4\right)$

其中，λ_i，θ_i∈R⁺，i＝1，2，3，x和z分别为数据向量；根据多项式核与径向基核的表达式，指数因子θ₁和θ₂可以分别并入核函数自身参数中，使核函数原型简化为如下的普适形式：

K(x，z)＝λ₁K_poly(x，z)+λ₂K_rbf(x，z)+λ₃K_sig(x，z)^θ    (5)。

4.如权利要求3所述的自动分类方法，其特征在于：所述(A)步中，基本核函数应满足以下性质：

假设K₁，K₂是X×X上的核函数，

a∈R⁺，则下面的函数也是核函数：

(1)K(x，z)＝K₁(x，z)+K₂(x，z)

(2)K(x，z)＝K₁(x，z)K₂(x，z)

(3)K(x，z)＝aK₁(x，z)。

其中，x和z分别为数据向量。

5.如权利要求1所述的自动分类方法，其特征在于：所述第四步中，为了使用自适应遗传算法对核函数的类型和参数进行选择，必须将核函数类型参数和各基本核函数的参数以基因的方式编码到染色体中；染色体编码方式为，λ(21位)和e(4位)为核函数类型参数，a(7位)、b(7位)、Y(12位)、α(12位)和β(12位)为核函数参数，C(15位)为惩罚因子。

6.如权利要求3所述的自动分类方法，其特征在于：所述公式(5)的核函数原型中存在两类参数，分别是：核函数类型参数λ_i和e_i，及核函数原型的各基本核函数的参数；基于自适应核函数选择的支持向量机分类方法针对具体问题，选择出最优的

和

然后将

和代入核函数原型中得到适合该问题的最优的核函数类型。

7.如权利要求1或6所述的自动分类方法，其特征在于：所述第四步，方法是：

(1)采用最佳随机初始化算法形成初始种群，首先随机生成一定数量的个体，然后计算其适应度，从中选择适应度最高的个体加入初始种群，循环这个操作，直到初始种群的大小达到要求为止；

(2)对种群中个体的染色体进行解码形成一组支持向量机模型，在训练集上对这组支持向量机模型进行训练得到一组支持向量机分类器；

(3)采用交叉验证方法对每个支持向量机分类器进行性能评估，将交叉验证准确率作为遗传算法中的适应度函数，而每个个体的适应度值就是每个支持向量机模型对应的交叉验证准确率与所有支持向量机模型交叉验证准确率总和的比值，其值在0～1之间，由此得到种群中每个个体的适应度；

(4)通过自适应方法动态调整种群中个体的交叉概率和变异概率，并据此对种群中的个体进行选择、交叉和变异操作，形成下一代种群；

(5)如果算法的进化代数达到设定的最大值，或者种群中已经产生了最优解，则算法结束；否则重复步骤(2)至(4)。

8.如权利要求7所述的自动分类方法，其特征在于：所述第四步的步骤(2)，支持向量机分类器的训练方法如下：

假定训练数据集为{(x_i，y_i)}^m，其中，x_i是输入向量的第i个样本，x_i∈R，m是样本容量，y_i∈{-1，+1}是第i个样本的类别；目标是寻找一个最优的分类超平面：w^Tx+b＝0，使其将训练数据线性分开，并能获得最大分类间隔，其中，w是分类超平面的法向量，b为超平面的偏移量；

求解最优分类超平面的问题，被转化成下面的二次最优化问题：

$\left\{\begin{array}{c}{\min }_{w,b,\mathrm{\ξ}}\frac{1}{2}\left|\right|w\left|\right|+C{\mathrm{\Σ}}_{i=1}^m{\mathrm{\ξ}}_i\\ y_i((w\·x)+b)\≥1-{\mathrm{\ξ}}_i,i=1,...,m\\ {\mathrm{\ξ}}_i\≥0\end{array}\right.---\left(6\right)$

其中，ξ_i是松弛变量，C是一个可调节的参数，用来权衡最大化分类间隔和最小化训练误差；

其最终的决策函数为：

f(x)＝sgn((w^*·x)+b^*)    (7)

其中，w^*和b^*是最优超平面的参数；

引入核函数的支持向量机分类器的表示如下：

$\left\{\begin{array}{c}{\max }_a{\mathrm{\Σ}}_{i=1}^m{a}_i-\frac{1}{2}{\mathrm{\Σ}}_{i,j=1}^m{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\\ {\mathrm{\Σ}}_{i=1}^m{a}_i{y}_i=0\\ 0\≤a_i\≤C\∀i\end{array}\right.---\left(8\right)$

其决策函数为：

$f\left(x\right)=\mathrm{sgn}({\mathrm{\Σ}}_{i=1}^m{a}_i{y}_{i}K(x,x_i)+b^{*})---\left(9\right).$

9.如权利要求7所述的自动分类方法，其特征在于：所述第四步的步骤(4)，步骤为：

4a、从种群中选择适应度最高的个体，并采用经典的轮盘赌算法选择出适应度较高的个体，这些个体经过繁殖形成下一代种群，使得在维持种群规模不变的同时，保证种群中出现的最佳个体是历史最优的；

4b、交叉操作使得种群中个体的基因进行重组，产生出新的基因型，采用自适应交叉算子根据个体的适应度对其交叉概率进行动态调整，保证新的基因型获得更好的解；

4c、变异算子用于恢复种群进化过程中丢失的遗传信息，与构造上述自适应交叉算子的原理类似，采用自适应变异算子动态调整种群的变异概率。

10.如权利要求9所述的自动分类方法，其特征在于：所述第四步的步骤(4)4a中，自适应交叉算子的计算方式如下：

$p_c=\frac{f_{\max }-f^{\′}}{f_{\max }-f^{\′}},f^{\′}>\stackrel{\‾}{f}---\left(10\right)$

p_c＝1.0， $f^{\′}\≤\stackrel{\‾}{f}---\left(11\right)$

其中，p_c是遗传算法中的交叉概率，f′是进行交叉的两个个体中较大的适应度，f_max是种群中个体的最大适应度，

是种群的平均适应度；

11.如权利要求9所述的自动分类方法，其特征在于：所述第四步的步骤(4)4c中，自适应变异算子的计算方式如下：

$p_m=\frac{0.5(f_{\max }-f)}{f_{\max }-f},f>\stackrel{\‾}{f}---\left(12\right)$

p_c＝0.5， $f\≤\stackrel{\‾}{f}---\left(13\right)$

其中p_m是遗传算法中的变异概率，f是种群中个体的适应度。

Images