CN109344956A - 基于改进莱维飞行粒子群算法的svm参数优化 - Google Patents

Abstract

本发明涉及数据挖掘算法和随机搜索算法的结合问题，提出基于改进莱维飞行粒子群算法的SVM参数优化算法。随着大数据时代的到来，如何提高数据挖掘算法的性能成为研究热点。传统PSO算法优化SVM参数时，存在易陷入局部极值、后期震荡严重问题。莱维飞行具有短距离的搜索兼偶尔长距离的行走相结合的特性，可以从根本上克服PSO算法易陷入局部极值的问题；考虑到算法后期震荡严重，改进粒子位置更新公式，引入动量项，可以减缓算法震荡；同时考虑到惯性权重的取值权衡着局部搜索和全局搜索，本发明基于粒子间距离的自适应惯性权重，可以提高算法收敛速度，从而提高PSO算法寻优能力，进而找到最优SVM分类模型。

Description

基于改进莱维飞行粒子群算法的SVM参数优化

技术领域

本发明涉及数据挖掘技术领域，具体涉及支持向量机参数优化和一种改进的莱维飞行粒子群算法。

背景技术

随着大数据时代的到来，对数据分析工具提出了更高的要求，针对大数据的各种数据挖掘算法成为研究热点，如支持向量机(Support Vector Machines，SVM)、人工神经网络(Artificial neural networks，ANN)、决策树(Decision tree，DT)等。支持向量机是应用最广泛的分类算法之一，该方法的核心思想是在特征空间寻找最优超平面将两类样本无误地分开，且分类间隔最大。传统的支持向量机对内部参数依赖性很强，惩罚参数C和核参数g的选择直接决定了支持向量机的好坏。为了优化支持向量机的参数，近年来提出了许多优化方法，张向东等利用网格搜索算法寻找SVM最优参数，但是只适用于小样本预测；陈晋音等提出采用粒子群算法(Particle swarm optimization，PSO)优化SVM参数，分类准确率显著提升，但是易造成分类器过拟合或者欠拟合；沈陆垚等采用遗传算法优化SVM参数，对于二分类性能良好，但是遗传算法工作相对较复杂；XUE Z H等利用PSO优化SVM参数，但是PSO参数基本都是定值，易陷入局部最优；此外还有人工蜂群算法、蚁群算法、混合核函数等。这些方法在一定程度上提高了支持向量机的分类效果，但是由于群智能算法本身的局限性，使得很难准确地找到SVM的最优参数。粒子群算法是目前使用最多的优化算法，收敛速度快、搜索能力强，但是传统PSO算法易陷入局部极值，后期震荡严重。针对前者，牛海帆提出的莱维飞行粒子群算法可以从根本上克服，但是算法复杂度增加且震荡严重现象依然存在。因此，本发明设计了一种改进的粒子群算法并与莱维飞行结合，提高算法搜索能力，从而准确地找到支持向量机的最优参数，提高SVM的分类准确率。

在传统粒子群算法中，随着迭代次数增加，粒子会出现“聚集”现象，从而导致算法易陷入局部极值，考虑到莱维飞行的特性可以打破这种“聚集”现象，将莱维飞行引入到粒子群算法中，但是传统的莱维飞行粒子群算法只是简单的将二者结合，虽然从根本上克服了PSO算法易陷入局部极值的问题，但是增加了算法的复杂度，本发明在莱维飞行粒子群算法的基础上进行改进，提高算法搜索能力。

考虑到算法后期震荡严重的问题，本发明设计了一种新的追随粒子。根据已有的简化粒子更新公式，借鉴当代所有粒子的个体最优位置的平均值生成新的追随粒子并加入粒子位置迭代公式，引入动量项减弱后期震荡。同时，考虑到惯性权重的取值也会影响算法的搜索能力，本发明提出一种基于粒子间距离的自适应动态惯性权重，可以很好地平衡全局搜索与局部搜索，提高粒子群寻优能力。最后，将改进的PSO算法应用到支持向量机参数优化中，将待优化的核参数g和惩罚参数C编码为粒子群中的粒子，以支持向量机的分类准确率为适应度值，找到最优解后解码即为支持向量机的最优参数。

发明内容

本发明的目的在于设计基于改进莱维飞行粒子群算法的SVM参数优化。设计一种改进的粒子群算法与莱维飞行结合，并用于优化支持向量机的参数，以期提高支持向量机算法的分类准确率。

支持向量机是Corinna Cortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。SVM的基本原理是在数据集线性可分的情况下找出最优分类面，所谓最优分类面，就是该分类线不仅可以将两类数据准确地分开，还要使两类之间的分类间隔最大。

假设给定训练样本集D＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，y_i∈{+1,-1}，x_i代表输入数据，y_i代表类别。在样本空间中，存在一个划分超平面：w^Τx+b＝0，其中w＝(w₁；w₂；...；w_d)为法向量，b为位移项。若超平面已知，样本空间中任意点x_i到超平面的距离可以记为

若超平面可以将训练集样本正确分类，则对于任意(x_i,y_i)∈D，满足下列公式

离最优分类超平面最近的两类样本称之为支持向量，两个异类支持向量到超平面的距离之和为根据结构风险最小化原则，应使该距离之和最大，则求解超平面的问题转化为下述优化问题。

但是现实中的训练样本集大多数情况是线性不可分的，针对这一情况SVM引入非负松弛因子ξ_i，同时加入惩罚系数C。通过核函数进行非线性映射后，将上述目标函数变化为

使用Lagrange乘子法求解上述最小值问题，最终得到模型为：

其中：κ(x,x_i)为核函数，应用最广泛的核函数是高斯径向基函数：κ(x,x_i)＝exp(-g||x-x_i||²)，g为核函数宽度。

支持向量机对内部参数依赖性很强，核参数g和惩罚参数C直接决定了算法的好坏。目前最常用的参数优化算法是粒子群算法。粒子群算法作为一种随机搜索算法，搜索能力强，收敛速度快，但是传统PSO算法，易陷入局部极值、后期震荡严重，莱维飞行粒子群算法可以从根本上改善PSO易陷入局部极值的问题，但是算法复杂度增加且后期震荡问题依然存在，因此，本发明提出一种改进的莱维飞行PSO算法来减缓震荡问题。

粒子群算法的基本概念是基于对自然界鸟群觅食行为的研究。在PSO算法中，任一待优化问题的每个可行解都可以理解为粒子群中的一个粒子，并由相应的评价函数来判定粒子的好坏，通过迭代找到最优粒子即为要找的最优解。假设问题解的维数为d，粒子个数为n，粒子i的位置表示为x_i＝{x_i1,x_i2,...,x_id}，i＝1,2,...,n，粒子i的速度表示为：v_i＝{v_i1,v_i2,...,v_id}，i＝1,2,...,n。搜索过程中，把粒子i的当前个体最优位置记为整个种群的当前最优位置记为gbest^t，粒子的速度和位置更新公式为：

其中：是第i个粒子在第t代的速度，是第i个粒子在第t代的位置，w是惯性权重，c₁，c₂是学习因子，r₁，r₂是0～1之间的随机数，t为当前迭代次数。已有研究证明，粒子的速度项并不能反映出一个粒子趋近于最优位置的能力，反而可能会误导粒子偏离正确的搜索方向，影响粒子的搜索能力。胡旺等人在公式(6)、(7)的基础上提出了简化后的粒子群优化公式，见公式(8)。该公式中剔除了粒子速度项，从而减少了算法复杂度，提高了搜索效率。

研究表明粒子群算法易陷入局部极值的根本原因是PSO算法的搜索策略约束了粒子在后期的邻域搜索能力，导致粒子种群多样性降低，粒子“聚集”在局部最优位置的附近而不能跳出。莱维飞行是一种模拟自然界中动物觅食的一个随机游走过程，兼顾了小范围的搜索和偶尔长距离的迁移，这一特性可以打破粒子“聚集”现象。莱维飞行具有更广泛的搜索能力，可以扩大搜索范围、增加种群多样性，有利于粒子跳出局部最优。利用莱维飞行优化PSO算法能够提高粒子的活力和跳跃能力，从根本上改善了粒子群算法易陷入局部最优的缺陷。

莱维飞行位置更新公式为：

levy～μ＝t^-λ 1＜λ≤3 (10)

其中：α是步长缩放因子，Levy(λ)是莱维随机路径，就是点乘运算，由于莱维分布的概率密度函数很难求解，常采用Mantegna方法模拟生成萊维分布，步长s计算公式如下：

其中：1＜β≤3，μ，v均服从正态分布，且μ～N(0,σ²)，v～N(0,1)，此时s服从莱维分布。令公式(8)中α₀一般为0.01，则新的莱维飞行更新公式为

在上述莱维飞行粒子群中，莱维飞行能有效的使粒子通过随机游走产生新的解，提高种群多样性，可以从根本上改善粒子群算法易陷入局部极值的问题。但是算法后期震荡严重现象还是存在，已有学者提出借鉴其余粒子的经验生成新的追随粒子并加入到粒子迭代公式中，但是追随粒子的获取是一个难点。郭广寒等提出采用赌轮方式选出整个种群中的其余粒子当中的任一粒子的最优位置作为追随粒子，不足之处在于只借鉴了一个粒子的经验；王振武提出借鉴多个粒子的经验，所有个体粒子中选出的适应度优于且劣于所有其余粒子个体位置的平均值作为追随粒子。在此基础上，本发明设计了一种新的追随粒子，借鉴当代所有粒子的个体最优位置的平均值生成新的追随粒子，更新粒子位置迭代公式，因此公式(8)调整为

其中：c₃是新引入的学习因子，r₃是0～1之间的随机数，是第t代中所有粒子的个体最优位置的平均值。在算法迭代过程中，粒子的每一次进化都是gbest^t、三者共同引导的结果，使得粒子可以获得更多信息，向着最优解方向进化。同时新加入的追随粒子，相当于在原来的基础上增加一个小的扰动，可以提高算法迭代后期种群的多样性，避免陷入局部极值。针对算法后期震荡严重的现象，基于改进后的粒子迭代公式引入动量项来减弱。令：

引入动量项改进的粒子位置更新公式为

本发明定义动量项为η是动量因子，且|η|∈[0,1]，为修正量。当与前次符号相同，适当增加可提高的速度，加快算法收敛；当与前次符号相反，适当减小以减弱震荡，提高算法稳定性。引入动量项，将粒子历史速度修正量纳入考虑范围，减缓了算法后期震荡，加快了算法收敛速度。

大量研究已经证明，w平衡着粒子群算法的局部搜索与全局搜索，取值不当会直接影响算法的搜索能力。当w较大时算法具有较强的全局搜索能力，可以增加种群多样性和快速地定位最优解区域；w较小时算法则倾向于局部搜索，在最优解附近搜索，加快收敛速度。标准粒子群中w始终保持不变，虽然算法在前期具有较快的收敛速度，但在后期粒子的更新不够，算法容易陷入局部最优。目前使用最多的是线性递减动态权重，但是现实生活的很多函数优化问题很复杂，线性递减动态权重并不能很好地启发粒子，易陷入局部极值，对此不少学者提出改进方案。梅恒荣提出一中指数型函数与一个随机数乘积形式的动态惯性权重，但w波动性太强，收敛速度慢；顾明亮提出一种基于sigmod函数的w；邓伟提出根据粒子与全局最优粒子之间的距离改进w，本发明在此研究的基础上提出一种自适应的动态惯性权重。

本发明定义l_i表示粒子i与全局最优粒子间的欧式距离，且粒子到全局最优粒子间的距离最大为l_max，最小为l_min。当l_i≥l_max时，惯性权重取最大值；当l_i≤l_min时，惯性权重取最小值；当l_min＜l_i＜l_max时，惯性权重根据距离自适应改变。改进的自适应的动态惯性权重计算公式为：

其中：w_max为最大惯性权重，w_min为最小惯性权重，T种群最大迭代次数，t当前迭代次数。较传统的线性递减惯性权重不同，本发明利用粒子与全局最优粒子之间的距离来动态的调整惯性权重，靠近pbest的粒子使用较小的w，可以在pbest附近进行局部搜索，提高收敛速度；远离pbest的粒子使用较大的w，执行全局搜索，增加种群多样性，通过算法迭代最终寻到最优解。

由于采用以上技术方案，本发明具有以下优点：

1、本发明利用莱维飞行粒子群算法的优点，考虑到PSO算法后期震荡严重，提出一种新的追随粒子，并基于此引入动量项减弱震荡现象；同时考虑到惯性权重的取值也会影响PSO的搜索能力，提出一种基于粒子间距离的自适应动态惯性权重，从而改善了粒子群算法的局限性，提高了搜索能力。

2、本发明利用提出的改进莱维飞行粒子群算法来优化SVM参数，将待优化的核参数g和惩罚参数C编码为粒子群中的粒子，以支持向量机的分类准确率为适应度值，找到最优解后解码即为支持向量机的最优参数，从而提高了SVM的分类准确率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1本发明提出的基于改进莱维飞行粒子群算法的SVM参数优化流程图；

具体实施方案

本发明利用莱维飞行粒子群算法，克服了PSO算法易陷入局部极值的问题，同时结合动量项、自适应惯性权重技术，减缓算法后期震荡问题，提高PSO算法搜索性能。将改进的莱维飞行粒子群算法应用到SVM参数优化中，提高SVM算法的分类准确率。以下结合附图对本发明的具体实施说明如下。

1、基于改进莱维飞行粒子群算法的SVM参数优化

本发明中对传统粒子群算法改进，并与莱维飞行结合，提出了改进的莱维飞行粒子群算法，并用于SVM参数优化，其流程图如图1所示，具体步骤如下所述：

步骤1：对数据集进行规范化处理，将所有特征值转化到[0,1]区间上，并将数据集D划分为训练集D₁和测试集D₂；

步骤2：初始化参数。初始化种群规模N，最大迭代次数T，最大惯性权重w_max，最小惯性权重w_min，学习因子c₁＝c₂＝c₃＝2，初始化粒子位置，设P_t为第t代粒子，可表示为：P_t＝{α_1t,α_2t,...,α_Lt,β_1t,β_2t,...,β_Lt}，其中α_it为参数C的二进制位串，β_it为参数g的二进制位串；

步骤3：将粒子中代表参数C参数g二进制以通过公式(18)、(19)转换成实际的参数值：

其中C、g为十进制参数值，p_min、p_max为参数的最小值和最大值，L为二进制长度，dec(β)为二进制位串对应的十进制数；将得到的C、g带入到SVM模型中进行学习和训练，得出分类准确率即为粒子适应度值。

步骤4：根据粒子适应度值，更新每个粒子的个体历史最优位置以及整个粒子种群的历史最优位置gbest^t；

步骤5：按照公式(15)更新粒子位置，生成中间种群X_t，对X_t按照公式(12)更新粒子位置生成新一代种群；

步骤6：计算更新后的每个粒子的适应度值，并与之前经历过的最优位置对应的适应度值比较，若当前位置更好，则将当前位置赋给

步骤7：更新后每一个粒子的适应度值与种群历史最优位置gbest^t对应的适应度值比较，若当前粒子位置更好，则将当前位置赋给gbest^t；

步骤8：判断是否满足算法结束条件，若满足，输出最优的C、g，得到最优SVM分类模型；否则跳转步骤(5)；

综上所述，本方案旨在利用莱维飞行粒子群算法的优点，对该算法仍存在的易陷入局部极值、后期震荡严重等问题进行改进，并用于优化SVM参数，提高SVM算法分类准确率。该方案利用莱维飞行，从根本上克服了PSO算法易陷入局部极值的问题，利用提出的追随粒子改进粒子更新方式，相当于在公式(8)的基础上增加一个小的扰动，可以增加算法后期多样性，进一步避免算法陷入局部极值；同时基于改进的粒子更新公式，引入动量项，减缓算法后期震荡，考虑到惯性权重对算法寻优能力的影响，提出自适应惯性权重，提高后期收敛速度，进而准确找到SVM最优参数，提高算法分类准确率，满足大数据时代对数据挖掘算法的高要求。

Claims (3)

1.基于改进莱维飞行粒子群算法的SVM参数优化，其特征在于，利用改进的粒子群算法结合莱维飞行优化支持向量机，改善了传统支持向量机中参数选择对算法分类性能影响较大的问题。利用剔除速度项的简化粒子更新公式，借鉴多个粒子经验生成第三个追随粒子加入到粒子迭代公式中，并引入动量项改进粒子更新公式以期减弱后期震荡,加快算法的收敛速度；同时考虑到惯性权重的取值也会影响到PSO算法的搜索能力，提出一种基于粒子间距离的自适应动态惯性权重，在算法复杂度增加不大的基础上快速找到支持向量机的最优解，提高支持向量机的分类性能。

2.根据权利要求1所述的基于改进莱维飞行粒子群算法的SVM参数优化，其特征在于，根据简化的粒子更新公式，借鉴当代所有粒子的最优个体极值的平均值生成新的追随粒子加入到粒子位置迭代公式中，在此前提下，利用引入动量项改进粒子迭代公式，本发明提出一种新的追随粒子生成方式。

3.根据权利要求1所述的基于改进莱维飞行粒子群算法的SVM参数优化，其特征在于，传统粒子群算法采用固定的惯性权重，取值不当会影响算法的搜索能力，在此前提下，本发明提出一种自适应的动态惯性权重，公式为：算法初期，惯性权重比较大，全局搜索能力强，可以快速定位最优解区域，随着迭代次数增加，惯性权重逐渐减小，局部搜索能力增强，可以进一步锁定最优解。