CN106156854A - 一种基于dna编码的支持向量机参数预测方法 - Google Patents

Abstract

本发明公开了一种基于DNA编码的支持向量机参数预测方法，包括：随机生成具有T条染色体的DNA候选种群，设定控制参数；DNA解码和支持向量机训练；在计算适应度值之后，判断是否满足局部搜索条件，如满足则执行局部搜索，否则执行选择操作；对新生成的种群执行转基因操作；对新生成的种群执行变异操作；判断是否满足终止条件，如果不满足则继续执行DNA解码和支持向量机训练，直至满足终止判别标准。本发明利用DNA遗传算法的搜索能力提高支持向量机的收敛速度，该方法将DNA遗传算法用于给定核函数的情况下支持向量机的参数寻优中，结果表明所发明方法能够加速支持向量机训练的收敛速度，同时提高支持向量机的分类性能。

Description

一种基于DNA编码的支持向量机参数预测方法

技术领域

本发明涉及机器学习领域，具体涉及一种基于DNA编码的支持向量机参数预测方法。

背景技术

支持向量机是由Vapnik提出的一种非常有效的用于分类的机器学习技术。和其他分类技术相比，支持向量机有很多独一无二的优点，比如：非线性构造，使用核函数的高维分类函数以及良好的泛化能力。分类技术是指通过创建规则从而将对象划分成不同的条目或类。规则的创建主要是使用数据集中已知的类元素构建分类函数或分类器。成功构建分类函数之后便可以将其应用于未知类数目的新的数据集中，并希望新的分类却准确越好。支持向量机在很多领域都有应用，如：特征识别、文本分类、脸部识别、文件分类等。

但是支持向量机还是存在一些不足之处，其中最主要的就是并没有建立一个统一的标准进行核函数的选择，也没有用来确定参数的理论模型。参数很大程度上决定着支持向量机的性能，所以参数的确定比较困难。目前常用的确定参数的方法就是不断重复的进行实验。尽管使用了一些系统模型，比如网格搜索，但是效果依然不理想，还是需要不断寻求更好的方法。

遗传算法模拟生物进化过程，已被应用于求解很多复杂优化问题。遗传算法通过染色体的形式表示个体，并通过遗传操作最终显示进化结果。基于DNA计算生物背景的启发，学者们相信利用DNA遗传操作能够提高遗传算法的性能。因此，学者们研究使用DNA遗传算法并将其应用于商业方面以及工程方面的优化问题上。

发明内容

为解决现有技术存在的不足，本发明公开了一种基于DNA编码的支持向量机参数预测方法，具体为基于DNA遗传算法在给定核函数的情况下求解支持向量机的最佳参数值，最佳参数值指具体需要求解的参数是调整参数C和高斯核参数γ。本申请的方法寻优能力非常强，同时显著改善支持向量机的分类性能。本发明的主要贡献就是利用了DNA遗传算法的搜索能力提高了支持向量机训练的收敛速度。

为实现上述目的，本发明的具体方案如下：

一种基于DNA编码的支持向量机参数预测方法，包括：

随机生成具有T条染色体的DNA候选种群，设定控制参数：包括染色体的长度为L，转基 因和变异操作的概率，DNA种群大小T，最大迭代次数G_max；

DNA解码和支持向量机训练：在当前种群中，将每条染色体解码成对应的调整参数C和高斯核参数γ，用这些参数值进行SVM训练，并计算适应度值；

在计算适应度值之后，判断是否满足局部搜索条件，如满足则执行局部搜索，否则执行选择操作；

对当前种群执行选择操作时，生成新的染色体种群，同时在新的DNA种群中随机生成多条染色体，直至染色体总数达到T；

对新生成的种群执行转基因操作；对新生成的种群执行变异操作；

判断是否满足终止条件，如果不满足则继续执行DNA解码和支持向量机训练，直至满足终止判别标准，记录最佳染色体，选取最优调整参数C和高斯核参数γ并停止运行。

上述方案中，局部搜索的目的是提高算法的局部搜索能力，同时加快算法的收敛速度。

局部搜索是算法运行过程中的一个步骤，该方法可以在种群陷入局部最优的情况下，产生新的个体，使种群跳出局部最优，重新搜索。

进一步的，使用给定参数进行SVM训练，需构建的分类函数为：

其中，w和b是原始变量，将输入空间中输入向量映射到高维特征空间中。

进一步的，对参数w和b进行估计时，构建二次规划模型为：

其中C是调整参数，需要预定义，ξ_i表示i的调整误差，x_i是输入向量，y_i表示分类类别，m表示元素的个数。

进一步的，二次规划模型的最优解是求解拉格朗日函数的鞍点，拉格朗日函数如下：

其中，α_i是点i的拉格朗日乘子，α是所有α_i的向量。

进一步的，根据拉格朗日函数进而派生出的二次规划模型为：

其中，α_i和α_j是拉格朗日乘子，y_i和y_j分别是指点i和j的分类。

进一步的，求解二次规划模型时引入核函数，二次规划模型形式转换为如下：

其中，α_i和α_j是拉格朗日乘子，y_i和y_j分别是指点i和j的分类，K(x_i,y_i)是核函数。

进一步的，所述核函数的形式如下：

其中，γ高斯核参数，需要预定义，||x_i,x_j||表示的两个向量x_i,x_j之间的距离。

进一步的，局部搜索的方法为：在进行适应度值评估之后，记录最佳染色体S_best以及对应的适应度值f(S_best)，如果在之后的连续G_L代之内，最佳适应度的差值小于或等于设定参数认定最佳适应度值没有明显性的提升，则触发局部搜索。

关于最佳适应度值是否是明显性的，此处需要设定参数，比较连续GL代最佳适应度的差值。

进一步的，终止准则为：达到预设的最大进化代数G_max或者是在预设的进化代数G_end之内，最佳适应度值的变化值小于给定的δ。

进一步的，选择操作方法为：根据个体的适应度值，对新生成种群的每个个体St以概率Pt进行选择，最终选择N-1个个体进入下一代种群，同时保留当代的最优个体进入下一代，其中选择概率为：

进一步的，转基因操作方法为：转基因操作是在成对的染色体上进行操作，成对的染色体分别做为父代A和父代B，在转基因操作之后生成子代A和子代B，DNA种群中的染色体首先需要根据适应度值进行降序排序，适应度最高的染色体首先做为父代A，适应度值排在最后的染色体做为父代B，然后适应度值排在第二高的染色体和第二低的做为一对，适应度值排在第三高的染色体和第三低的做为一对，以此交叉操作。

此处进行的交叉操作，两两一对，本方法采用的是适应度最高的和适应度值最低的做为一对，适应度值第二高的和适应度值第二低的做为一对，适应度值第三高的和适应度值第三低的做为一对，依次配对，进行转基因(即交叉)操作。

进一步的，变异操作方法为：以概率P_m从DNA序列中移除一段序列之后，在DNA序列末端随机生成相同长度的片段，以概率P_m在DNA序列中插入一段序列，则在DNA序列末端移去相同长度的DNA序列。

进一步的，所述局部搜索的具体步骤如下：

步骤3.1：在最佳染色体S_best附近随机生成T条染色体，并计算每条染色体的适应度值；

步骤3.2：T条染色体中，适应度值最大的染色体用S′_t表示，适应度记做f(S'_t)；

步骤3.3：如果f(S'_t)≥f(S_best)，则在DNA种群中用S′_t代替S_best。

进一步的，所述适应度函数为二次规划模型中主函数的倒数，表示为：

进一步的，转基因操作的步骤为：

步骤6.1：以概率P_c随机选取父代染色体A中η位置之后的核苷酸片段，其中，将选取的父代A中η+1到η的DNA片段记为R_S，同时将R_S中核苷酸的数量记为n_Rs；

步骤6.2：将父代A末端的DNA片段R_S移到父代B的DNA片段前端，形成中间个体A和中间个体B；

步骤6.3：随机生成具有n_Rs个核苷酸的DNA片段Rs'，将其粘贴到中间个体A的末端，形成子代A；

步骤6.4：在中间个体B的末端切去长度为n_Rs的核苷酸片段，生成子代B的DNA片段。

本发明的有益效果：

本发明利用DNA遗传算法的搜索能力提高支持向量机的收敛速度，该方法将DNA遗传算法用于给定核函数的情况下支持向量机的参数寻优中，结果表明所发明方法能够加速支持向量机训练的收敛速度，同时提高支持向量机的分类性能。

本发明中使用DNA编码技术将支持向量机的参数编码成染色体，并对染色体进行DNA遗传操作，包括选择操作、转基因操作和变异操作。使用四个数据集来证明本发明SVM-DNAGA方法的有效性，与其他一些常规的分类方法进行对比，实验结果表明，本发明方法的分类效果更好。

附图说明

图1本发明的方法的具体流程图。

具体实施方式：

下面结合附图对本发明进行详细说明：

基于DNA编码的支持向量机参数预测方法，简称为SVM-DNAGA，使用本方法可以求得支持向量机的最优参数值。本发明方法能够加速支持向量机训练的收敛速度，同时提高支持向量机的性能。

下面以UCI数据库中的Wine,Heart,Vowal和Glass数据集作为实施例，对本发明作进一步解释。

该实施例中，如图1所示，一种基于DNA编码的支持向量机参数预测方法包括如下步骤：

步骤1：随机生成具有T＝30条染色体的DNA候选种群。设定SVM-DNAGA算法中的控制参数：包括染色体的长度为L＝30，转基因和变异操作的概率，DNA种群大小T，最大迭代次数G_max。

步骤2：DNA解码和支持向量机训练过程。在当前种群中，将每条染色体解码成对应的参数值C和γ，用这些参数值对SVM进行训练，并计算适应度值。

步骤3：当满足局部搜索条件时，执行局部搜索。

步骤4：终止条件，当满足终止判别标准时，记录最佳染色体并停止运行，否则继续。

步骤5：对当前种群执行选择操作，生成新的染色体种群，同时在新的DNA种群中随机生成多条染色体，直至染色体总数达到30。

步骤6：对新生成的种群执行转基因操作。

步骤7：对新生成的种群执行变异操作。

步骤8：返回步骤2。

步骤2使用给定参数进行SVM训练，需构建的分类函数为：

其中，w和b是需要估计的参数。

对参数w和b进行估计时，构建的二次规划模型为：

其中C是调整参数，需要预定义，ξ_i表示i的调整误差。

求解二次规划模型时引入核函数，形式如下：

其中，α_i是拉格朗日乘子，K(x_i,y_i)是核函数。

核函数的形式如下：

其中，γ高斯核参数，需要预定义，||x_i,x_j||表示的两个向量x_i,x_j之间的距离。

步骤3局部搜索的方法为：在进行适应度值评估之后，记录最佳染色体S_best以及对应的适应度值f(S_best)。如果在之后的连续G_L＝3代之内，最佳适应度值没有明显性的提升，则触发局部搜索。

步骤4的终止准则为：达到预设的最大进化代数G_max＝150或者是在预设的进化代数G_end＝5之内，最佳适应度值的变化值小于给定的δ＝0.00001。

步骤5选择操作方法为：根据个体的适应度值，对新生成种群的每个个体St以概率Pt进行选择，最终选择N-1个个体进入下一代种群，同时保留当代的最优个体进入下一代,其中选择概率为：

步骤6转基因操作方法为：转基因操作是在成对的染色体上进行操作，成对的染色体分 别做为父代A和父代B，在转基因操作之后生成子代A和子代B。DNA种群中的染色体首先需要根据适应度值进行降序排序，适应度最高的染色体首先做为父代A，适应度值排在最后的染色体做为父代B，然后适应度值排在第二高的染色体和第二低的做为一对，以此类推。

步骤7变异操作方法为：以概率P_m＝0.01从DNA序列中移除一段序列之后，在DNA序列末端随机生成相同长度的片段。以概率P_m在DNA序列中插入一段序列，则在DNA序列末端移去相同长度的DNA序列。

局部搜索的具体步骤如下：

步骤3.1：在最佳染色体S_best附近随机生成30条染色体，并计算每条染色体的适应度值。

步骤3.2：30条染色体中，适应度值最大的染色体用S′_t表示，适应度记做f(S'_t)。

步骤3.3：如果f(S'_t)≥f(S_best)，则在DNA种群中用S′_t代替S_best。

所述适应度函数计算的方法为二次规划模型中主函数的倒数，表示为：

所述转基因操作的步骤为：

步骤6.1：以概率P_c随机选取父代染色体A中η位置之后的核苷酸片段，其中，将选取的父代A中η+1到η的DNA片段记为R_S，同时将R_S中核苷酸的数量记为n_Rs。

步骤6.2：将父代A末端的DNA片段R_S移到父代B的DNA片段前端，形成中间个体A和中间个体B。

步骤6.3：随机生成具有n_Rs个核苷酸的DNA片段Rs'，将其粘贴到中间个体A的末端，形成子代A。

步骤6.4：在中间个体B的末端切去长度为n_Rs的核苷酸片段，生成子代B的DNA片段。

本发明中使用了UCI中的4个数据集来测试所发明的有效性，同时还使用了四种标准的分类方法k-nearest neighbor(KNN),naive Bayes(NB),C4.5和SVM进行对比。实验结果表明，DNA遗传算法比其他的四种标准分类方法都有效。实验从正确分类率以及正确分类标准差两方面 进行分析，结果如下：

(1)正确分类率，如表1所示。

表1

实验运行50次，Wine数据集得到的SVM参数分别为C＝89.9474且γ＝1.2272，Heart数据集得到的SVM参数分别为C＝71.5857且γ＝0.0046866，Vowel数据集得到的SVM参数分别为C＝56.0756且γ＝0.843378，Glass数据集得到的SVM参数分别为C＝0.4且γ＝2.76。结果表明在Vowel数据集中本发明方法优于NB,C4.5,SVM方法，另外可以看出在Wine、Heart以及Glass数据集中本发明提出的方法结果都优于其他分类方法，说明了本方法的有效性。

(2)正确分类标准差，如表2所示。

表2

实验结果可以看出，在Wine、Heart、Vowel数据集中，本发明方法都得到了最低的标准差，这说明本发明方法更具稳定性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于DNA编码的支持向量机参数预测方法，其特征是，包括：

随机生成具有T条染色体的DNA候选种群，设定控制参数：包括染色体的长度为L，转基因和变异操作的概率，DNA种群大小T，最大迭代次数G_max；

DNA解码和支持向量机训练：在当前种群中，将每条染色体解码成对应的调整参数C和高斯核参数γ，用这些参数值进行SVM训练，并计算适应度值；

在计算适应度值之后，判断是否满足局部搜索条件，如满足则执行局部搜索，否则执行选择操作；

对当前种群执行选择操作时，生成新的染色体种群，同时在新的DNA种群中随机生成多条染色体，直至染色体总数达到T；

对新生成的种群执行转基因操作；对新生成的种群执行变异操作；

判断是否满足终止条件，如果不满足则继续执行DNA解码和支持向量机训练，直至满足终止判别标准，记录最佳染色体，选取最优调整参数C和高斯核参数γ并停止运行。

2.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，使用给定参数进行SVM训练，需构建的分类函数为：

其中，w和b是原始变量，将输入空间中输入向量映射到高维特征空间中。

3.如权利要求2所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，对参数w和b进行估计时，构建二次规划模型为：

$\left\{\begin{array}{c}min\frac{1}{2}\left|\right|w|{|}^2+C\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i\\ \begin{array}{cc}s.t.& y_i(w^T{x}_i+b)\≥1-{\mathrm{\ξ}}_i,i=1,...,m\end{array}\end{array}\right.$

其中C是调整参数，需要预定义，ξ_i表示i的调整误差，x_i是输入向量，y_i表示分类类别，m表示元素的个数。

4.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，局部搜索的方法为：在进行适应度值评估之后，记录最佳染色体S_best以及对应的适应度值f(S_best)，如果在之后的连续G_L代之内，连续GL代最佳适应度的差值，如果差值小于或等于设定参数，认定最佳适应度值没有明显性的提升，则触发局部搜索。

5.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，终止准则为：达到预设的最大进化代数G_max或者是在预设的进化代数G_end之内，最佳适应度值的变化值小于给定的δ。

6.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，选择操作方法为：根据个体的适应度值，对新生成种群的每个个体St以概率Pt进行选择，最终选择N-1个个体进入下一代种群，同时保留当代的最优个体进入下一代，其中选择概率为：

$P_t=\underset{t^{\′}=1}{\overset{t}{\Σ}}f\left(S_t\right)/\underset{t^{\′}=1}{\overset{T}{\Σ}}f\left(S_t\right).$

7.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，转基因操作方法为：转基因操作是在成对的染色体上进行操作，成对的染色体分别做为父代A和父代B，在转基因操作之后生成子代A和子代B，DNA种群中的染色体首先需要根据适应度值进行降序排序，适应度最高的染色体首先做为父代A，适应度值排在最后的染色体做为父代B，然后适应度值排在第二高的染色体和第二低的做为一对，适应度值排在第三高的染色体和第三低的做为一对，以此交叉操作。

8.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，变异操作方法为：以概率P_m从DNA序列中移除一段序列之后，在DNA序列末端随机生成相同长度的片段，以概率P_m在DNA序列中插入一段序列，则在DNA序列末端移去相同长度的DNA序列。

9.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，所述局部搜索的具体步骤如下：

步骤3.1：在最佳染色体S_best附近随机生成T条染色体，并计算每条染色体的适应度值；

步骤3.2：T条染色体中，适应度值最大的染色体用S′_t表示，适应度记做f(S'_t)；

步骤3.3：如果f(S'_t)≥f(S_best)，则在DNA种群中用S′_t代替S_best。

10.如权利要求1所述的一种基于DNA编码的支持向量机参数预测方法，其特征是，转基因操作的步骤为：

步骤6.1：以概率P_c随机选取父代染色体A中η位置之后的核苷酸片段，其中，将选取的父代A中η+1到η的DNA片段记为R_S，同时将R_S中核苷酸的数量记为n_Rs；

步骤6.2：将父代A末端的DNA片段R_S移到父代B的DNA片段前端，形成中间个体A和中间个体B；

步骤6.3：随机生成具有n_Rs个核苷酸的DNA片段Rs'，将其粘贴到中间个体A的末端，形成子代A；

步骤6.4：在中间个体B的末端切去长度为n_Rs的核苷酸片段，生成子代B的DNA片段。