CN105426954A - 一种基于多策略协同作用的粒子群优化的方法 - Google Patents

Abstract

本发明的目的是提出一种基于多策略协同作用的粒子群优化的方法，其技术方案是：第一步是对粒子种群的初始化，初始化NP个粒子；第二步是对NP个粒子计算适应度值；第三步是确定粒子速度和位置变化的方式；第四步是对粒子的位置执行柯西变异；第五步是对粒子停止执行的条件进行确定。本发明适用于函数的优化求解，充分利用精英反向学习提高函数优化的速度和精度，利用高斯变异策略防止粒子陷入局部的最优值，利用提出的一种柯西分布比例参数线性递减的柯西变异对粒子位置进行变异，从而产生更优的粒子引导其余粒子向更优解方向运动，既提高了函数优化的精度，又提高了函数优化的稳定性。

Description

一种基于多策略协同作用的粒子群优化的方法

技术领域

本发明属于人工智能领域中的智能计算，特别是涉及一种具有高效函数优化的实现方法。

背景技术

群智能算法是一种通过模拟自然界生物群体的随机优化算法，粒子群优化算法(particleswarmoptimization,PSO)是由学者Kennedy和Eberhart提出的一种群体智能算法。

PSO算法是一种随机的智能优化算法，源于对鸟群觅食行为的研究。算法中每个粒子的位置都是搜索空间中潜在的一个解，在每次迭代搜索过程中，粒子通过追逐个体极值pbest和全局极值gbest来更新自己的位置，粒子都有一个由适应度函数决定的适应值，评价粒子位置的优劣。假设在D维搜索空间中有NP个粒子，用向量x_i＝(x_i1,x_i2,...,x_id)表示第i个粒子在搜索空间中的位置，向量v_i＝(v_i1,v_i2,...,v_id)表示第i个粒子在迭代搜索中的速度。第i个粒子的个体极值用p_i＝(p_i1,p_i2,...,p_id)表示，粒子的全局极值表示为p_g＝(p_g1,p_g2,...,p_gd)。粒子的更新公式如下：

v_id(t+1)＝wv_id(t)+c₁r₁(p_id-x_id(t))+c₂r₂(p_gd-x_id(t))(1)

x_id(t+1)＝x_id(t)+v_id(t+1)(2)

其中，t表示当前迭代搜索的次数，C₁和C₂分别为自我认知参数和社会认知参数，通常取为C₁＝C₁＝2；w为非负常数，称为惯性权重；r₁与r₂为[0,1]之间的随机数；v_id∈[-v_max,v_max]，v_max为粒子的最大速度。

由于PSO算法具有结构简单、调整参数少、搜索效率高、容易实现等特点，已经广泛的应用于路径优化，神经网络的训练，多目标优化，电力系统控制等领域。然而，PSO算法也存在易早熟收敛、进化后期收敛速度慢等缺点。针对这些问题，很多学者进行了改进的研究。SHIY和EBERHARTR.提出对惯性权重采用一种线性递减的方式动态的更新权重，使粒子迭代初期拥有较大权重利于粒子快速搜索，迭代后期权重较小而利于粒子局部搜索。KLRANMS和GUNDUZM提出一种融合人工蜂群算法的粒子群优化算法，通过粒子群算法与人工蜂群算法中的信息共享，增强全局和局部的搜索能力，提升算法性能。刘朝华等人提出一种协同进化的的粒子群算法，粒子间的协同作用，扩大了解空间的搜索范围，粒子间共享着更加丰富的信息。周新宇等人提出一种精英反向学习的策略，通过对适应度值较好的粒子进行反向学习，增强算法的全局勘探能力。

为了进一步的改进粒子群算法的不足，将一些变异策略引入到粒子群中，王晖等人针对粒子群算法容易陷入局部极值，提出了粒子群算法中引入柯西变异，对优秀粒子进行变异产生更好的解来引导粒子的运动。SUBBARAJP等人提出融合的柯西变异粒子群算法与自适应变异的粒子群算法，利用变异策略，提升了解决最优无功调度问题的性能。朱德刚等人提出一种基于高斯扰动策略的粒子群算法，采用对粒子个体最优位置加入高斯扰动，防止粒子陷入局部最优。SAHNEHSARAEI等人提出将遗传算法中的交叉和变异操作与粒子群算法混合，利用粒子群算法与遗传算法交叉和变异的各自优势，较大程度的提升了算法性能。

上面的变异策略大多只是单个变异策略对粒子进行作用。粒子在迭代执行过程中，各个阶段执行的特征不同，单一的变异策略在粒子执行的某个阶段会起作用，在粒子执行的另一些阶段，作用效果并不明显。

发明内容

本发明旨在克服现有技术缺陷，目的在于提供一种能够提高函数优化精度和提高函数优化稳定性的多策略协同作用的粒子群优化的方法。

为实现上述目的，本发明采用的技术方案具体步骤是：

第一步、粒子种群的初始化

对于粒子的初始化，首先随机初始化种群大小为NP个粒子，包括粒子的位置L、速度V、控制粒子变化的惯性权重W、粒子的迭代次数T、粒子的维数D、粒子的社会学习能力C₁和粒子的自我学习能力C₂；则粒子的总评估次数Sum为：

Sum＝NP*T(1)

第二步、对NP个粒子计算适应度值

每个粒子都有一个由适应度函数决定的适应度值，所述适应度值用于评价粒子的优劣，适应度函数用f(*)表示；NP个粒子中每个粒子还有个体极值，第i个粒子的个体极值用P_i＝(P_i1,P_i2,...,P_id)表示；NP个粒子中粒子的全局极值用P_g＝(P_g1,P_g2,...,P_gd)表示；通过粒子的运行迭代，更新粒子的适应度值；

第三步、确定粒子速度和位置变化的方式

首先在粒子执行过程中给定一个概率P，所给的概率用来控制粒子按照精英反向学习策略来执行粒子速度和位置的变化或按照高斯扰动变异策略来执行粒子速度和位置的变化，然后产生一个(0,1)之间的随机数R为：

R＝rand(0,1)(2)

最后比较R和P的大小，当R<P时，按照公式(3)给出的精英反向学习策略来执行粒子位置的变化，

$X_{i,j}^{*}=k(a_i+b_j)-X_{i,j}---\left(3\right)$

其中a_i和b_i是粒子的动态边界的最大值和最小值，X_i,j是当前粒子中的精英个体；

当R>P时，按照公式(4)给出高斯扰动变异策略来执行粒子置的变化；

X_id(t+1)＝X_id(t)*(1+k*Gauss(u,δ²))(4)

其中k∈(0,1)，u表示期望，δ²表示方差；

第四步、对粒子的位置执行柯西变异

首先对粒子进行柯西变异，在粒子迭代进化的过程中，所有的粒子都向全局最优的粒子学习，较好的最优粒子能提高粒子的搜索效率；柯西分布是一个数学期望不存在的连续分布函数，一维的柯西分布概率密度函数为：

$f_t\left(x\right)=\frac{1}{\mathrm{\&pi;}}\frac{t}{t^2+x^2},-\mathrm{\&infin;}<x<\mathrm{\&infin;}---\left(5\right)$

其中t为比例参数且大于0；通过对粒子的最优位置进行柯西变异，适应度函数评价粒子变异后的位置，将较优的位置赋给粒子，让粒子群体拥有一个较好的领导粒子，提高算法的收敛精度；

对粒子位置进行柯西变异公式如下：

P′_gbest＝P_gbest+(X_max-X_min)*Cauchy(o,s)(6)

其中X_max为当前粒子空间的最大值，X_min为当前粒子空间的最小值；

然后比较粒子当前最优解和粒子历史最优解，当粒子当前最优解优于粒子历史最优解，则按公式(7)更新粒子的位置，

P_gbest＝P′_gbest(7)

当粒子当前最优解劣于粒子历史最优解时，粒子全局最优解不发生改变；

最后，对柯西变异的比例参数s按照公式(8)进行线性的递减，

$s(t+1)=s\left(t\right)-\frac{1}{{\mathrm{Iter}}_{max}}---\left(8\right)$

其中，Iter_max为粒子的最大迭代次数；

第五步、对粒子停止执行的条件进行确定

在粒子初始化时，设定了粒子的迭代次数T，和评估次数Sum，NP个粒子每迭代完成一次，迭代次数加1，粒子的评估次数加NP，若当前粒子的迭代次数小于初始设定的迭代次数T，则粒子进行新一次的迭代；若当前粒子的迭代次数达到设定的迭代次数T，则粒子停止迭代运行。

优选的，第五步中，对粒子停止执行的条件进行确定，还包括：设定一种初始给出函数优化精度e，当达到精度e时，粒子停止迭代运行。

优选的，所述高斯扰动变异策略中，期望u设置为0。

优选的，在比例参数线性递减的柯西变异策略中，比例参数s初始设置为1。

本发明还给出了上述的基于多策略协同作用的粒子群函数优化的方法性能的测试，采用多种测试方法进行测试，测试函数如下所述：

a.单峰测试函数，用来测试函数的寻优速度和收敛精度；

b.多峰测试函数，多峰函数具有多个局部极值点，用于测试算法避免陷入局部极值的性能。

其中，所述多峰测试函数包括以下三种情况：

简单的多峰函数，类似于所述单峰测试函数，用于测试函数的寻优速度；

非旋转的多峰函数，该函数会有多个局部极值，用于测试粒子是否陷入局部极值；

带旋转的多峰函数，是一种条件更为严格的测试函数。

本发明针对PSO容易早熟收敛、在进化后期收敛精度低的缺陷，提出了一种多策略协同作用的粒子群优化方法，通过采用精英反向学习策略，生成精英粒子的反向解，提高收敛速度。采用对种群中粒子的位置进行高斯变异策略，保持粒子种群的多样性，避免粒子陷入局部最优。最后，对粒子个体适应度位置进行柯西变异，引导粒子向更优解的位置运动，提高精度。

本发明的创新点如下：

1、提出一种基于多策略协同作用的粒子群优化的方法。针对粒子在不同阶段时执行的情况不同，提出多策略协同作用，在不同的阶段对粒子采用不同的变异策略来解决粒子在执行过程中可能出现的早熟收敛、收敛精度低、算法不稳定等性能。

2、提出了一种比例参数线性递减的柯西变异策略，根据粒子执行前期和后期的情况特点，采用柯西变异策略，让粒子能产生更好的解，引导其余粒子向更优解方向运动，提高优化的精度。

附图说明

图1是本发明的基于多策略协同作用的粒子群优化的方法的步骤示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的描述，并非对其保护范围的限制。

一种基于多策略协同作用的粒子群优化的方法。该实现方法的步骤如下：

第一步、粒子种群的初始化

对于粒子的初始化，首先随机初始化种群大小为NP个粒子，包括粒子的位置L、速度V、控制粒子变化的惯性权重W、粒子的迭代次数T、粒子的维数D、粒子的社会学习能力C1和粒子的自我学习能力C2；则粒子的总评估次数Sum为：

Sum＝NP*T(1)

每个粒子都具有维数，每个粒子的位置是由一个1行D列的向量来表示的，在粒子种群的初始化中不同的维数对粒子的执行速度和精度会有影响，当维数太低时，粒子执行速度快，但粒子执行不稳定。在低维数和适应度维数之间，粒子会随着维数的增加，粒子迭代执行的精度和稳定性会有一个较好的平衡。当粒子维数取值为合适的维数时，粒子执行精度和稳定性间的平衡最优。当超过了粒子合适维数时，随着粒子维度的增加，粒子收敛精度越低，收敛速度越慢。如表1所示，给出了粒子低维度到合适维度，合适维度，合适维度到更高维度之间的粒子迭代所需的时间和收敛精度的变化。

表1粒子维度和属性的变化

第二步、对NP个粒子计算适应度值

每个粒子都有一个由适应度函数决定的适应值，用适应值来评价粒子的优劣，适应度函数用f(*)表示；NP个粒子中每个粒子还有个体极值，第i个粒子的个体极值用P_i＝(P_i1,P_i2,...,P_id)表示；NP个粒子中粒子的全局极值用P_g＝(P_g1,P_g2,...,P_gd)表示；通过粒子的运行迭代，更新粒子的适应度值。粒子的个体极值记录着粒子每次迭代中个体所经历的最好的值，个体极值反应的NP个粒子中每个粒子所经历的位置，全局极值是NP个粒子中具有最优位置的粒子的值；根据适应度函数f(*)的不同，粒子得出的收敛精度也会不同。

第三步、确定粒子速度和位置变化的方式

在标准的粒子群函数优化方法中中粒子的速度和位置更新方式如式(2)和式(3)所示：

v_id(t+1)＝wv_id(t)+c₁r₁(p_id-x_id(t))+c₂r₂(p_gd-x_id(t))(2)

x_id(t+1)＝x_id(t)+v_id(t+1)(3)

标准的粒子群函数优化对没有对粒子在执行迭代中给出对粒子执行的相应的引导，方法健壮性不高。本发明给出了对粒子的位置和速度的不同执行方式。

首先在粒子执行过程中给定一个概率P，所给的概率用来控制粒子按照精英反向学习策略来执行粒子速度和位置的变化或按照高斯变异策略来执行粒子速度和位置的变化，然后产生一个(0,1)之间个随机数R为：

R＝rand(0,1)(4)

最后比较R和P的大小，(a)当R<P时，按照公式(3)给出的精英反向学习策略来执行粒子位置的变化，

$X_{i,j}^{*}=k(a_i+b_j)-X_{i,j}---\left(5\right)$

其中a_i和b_i是粒子的动态边界的最大值和最小值，X_i,j是当前粒子中的精英个体。

(b)当R>P时，按照公式(4)给出高斯扰动变异策略来执行粒子置的变化：

X_id(t+1)＝X_id(t)*(1+k*Gauss(u,δ²))(6)

其中k∈(0,1)，高斯分布是一类重要的概率分布，在许多领域都得到广泛应用。高斯变异就是对粒子原有位置产生一个服从高斯分布的扰动项。高斯分布的概率密度函数为：

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}\mathrm{\&delta;}}}{e}^{-\frac{{(x-u)}^2}{2{\mathrm{\&delta;}}^2}}---\left(7\right)$

δ为高斯分布的方差，u为期望。

第四步、对粒子的位置执行柯西变异

首先对粒子进行柯西变异，在粒子迭代进化的过程中，所有的粒子都向全局最优的粒子学习，较好的最优粒子能提高粒子的搜索效率。柯西分布是一个数学期望不存在的连续分布函数，一维的柯西分布概率密度函数为：

$f_t\left(x\right)=\frac{1}{\mathrm{\&pi;}}\frac{t}{t^2+x^2},-\mathrm{\&infin;}<x<\mathrm{\&infin;}---\left(8\right)$

其中t为比例参数且大于0。通过对粒子的最优位置进行柯西变异，适应度函数评价粒子变异后的位置，将较优的位置赋给粒子，让粒子群体拥有一个较好的领导粒子，提高算法的收敛精度。对粒子位置进行柯西变异公式如下：

P′_gbest＝P_gbest+(X_max-X_min)*Cauchy(o,s)(9)

其中X_max为当前粒子空间的最大值，X_min为当前粒子空间的最小值。

然后比较粒子当前最优解和粒子历史最优解，(a)当粒子当前最优解优于粒子历史最优解，则按公式(7)更新粒子的位置

P_gbest＝P′_gbest(10)

(b)当粒子当前最优解劣于粒子历史最优解时，粒子全局最优解不发生改变。

最后，对柯西变异的比例参数s按照公式(8)进行线性的递减。

$s(t+1)=s\left(t\right)-\frac{1}{{\mathrm{Iter}}_{max}}---\left(11\right)$

其中，Iter_max为粒子的最大迭代次数。

由于柯西分布具有较高的两翼概率特性，容易产生一个远离原点具有更宽的分布范围的随机数，使算法可以在更宽的范围进行搜索，同时降低粒子陷入局部最优的危险。对粒子个体适应度位置进行柯西变异，引导粒子向更优解的位置运动，提高算法的精度。

第五步、对粒子停止执行的条件进行确定

当粒子迭代达到一定的次数时，优化精度不会在继续提高，在迭代更多的代数或执行更长时间，函数的优化效果不会在增强，因此，可以初始的给粒子设定一个合适的迭代次数来对粒子的执行进行控制。这样做的好处有(1)给出迭代的终止条件，在一定的时间内能得到函数优化的效果。(2)达到一定的精度，想比较哪个方法所用时间更短时，设定一个相同的固定精度，就能对方法进行比较。

在粒子初始化时，设定了粒子的迭代次数T，和评估次数Sum，NP个粒子每迭代完成一次，次数加1，粒子的评估次数加NP，若当前粒子的迭代次数小于初始设定的迭代次数T，则粒子进行新一次的迭代。若当前粒子的迭代次数达到设定的迭代次数T，则粒子停止迭代运行。本发明还设定了一种初始给出函数优化精度e，当达到精度e时，粒子也会停止迭代运行。从不同的角度控制粒子结束执行时的条件，多方面的得出函数优化的性能。

如图1所示，本发明采用的技术方案流程是：

1)随机初始化粒子种群维数D，粒子规模为NP；

2)评价粒子的适应度值；

3)初始化粒子的p_best和g_best；

4)foriter＝1toIter_max

5)按非线性递减方式更新惯性权重；

6)ifrand≤p

7)获取粒子区间范围的最小值和最大值；

8)fori＝1toNP

9)生成随机系数k；

10)forj＝1toD

11)按公式(3)生成精英粒子的反向解；

12)if粒子位置超过设定的最大区间范围

13)更新粒子位置为粒子动态区间范围内的一个随机数；

14)endif

15)endfor

16)重新计算粒子的适应度值；

17)endfor

18)从当前解和精英反向解中选择NP个粒子作为下一代群体；

19)else

20)动态获取粒子区间最大值与最小值；

21)fori＝1toNP

22)设置最大限制速度为区间大小的一半；

23)按式(4)更新粒子位置；

24)重新计算粒子的适应度值；

25)endfor

26)fori＝1toNP

27)更新p_best和g_best

28)endfor

29)endif

30)获取粒子空间的最小值和最大值

31)fori＝1toNP

32)按公式(6)对粒子个体最优适应值进行柯西变异；

33)ifp′_best≤g_best

34)g_best＝p′_best；

35)变异后粒子位置赋给全局最优位置；

36)endif

37)按公式(8)更新s的值；

38)如果达到最大迭代次数或达到精度要求输出g_best；

39)endfor

为了测试我们提出的多策略协同作用的粒子群函数优化的方法，我们将其与基于高斯变异的粒子群算法(GDPSO)和基于柯西变异的反向学习粒子群优化算法(GOPSO)进行比较。评价本发明方法的性能，主要使用函数优化的收敛精度的最优值、和平均值。采用本发明的方法，对函数进行优化测试，测试函数包括单峰测试函数、简单的多峰函数、非旋转的多峰函数、带旋转的多峰函数，给出函数维数均为30维，初始化粒子数为40个，为了消除算法在执行过程中的一些随机因素的影响，将算法在各个函数上独立运行30次，以获得真实客观的评价。具体测试结果详见表二。

表2、算法性能的比较

Claims (5)

1.一种基于多策略协同作用的粒子群优化的方法,其特征在于，包括以下步骤：

第一步、粒子种群的初始化

对于粒子的初始化，首先随机初始化种群大小为NP个粒子，包括粒子的位置L、速度V、控制粒子变化的惯性权重W、粒子的迭代次数T、粒子的维数D、粒子的社会学习能力C₁和粒子的自我学习能力C₂；则粒子的总评估次数Sum为：

Sum＝NP*T(1)

第二步、对NP个粒子计算适应度值

每个粒子都有一个由适应度函数决定的适应度值，所述适应度值用于评价粒子的优劣，适应度函数用f(*)表示；NP个粒子中每个粒子还有个体极值，第i个粒子的个体极值用P_i＝(P_i1,P_i2,...,P_id)表示；NP个粒子中粒子的全局极值用P_g＝(P_g1,P_g2,...,P_gd)表示；通过粒子的运行迭代，更新粒子的适应度值；

第三步、确定粒子速度和位置变化的方式

首先在粒子执行过程中给定一个概率P，所给的概率用来控制粒子按照精英反向学习策略来执行粒子速度和位置的变化或按照高斯扰动变异策略来执行粒子速度和位置的变化，然后产生一个(0,1)之间的随机数R为：

R＝rand(0,1)(2)

最后比较R和P的大小，当R<P时，按照公式(3)给出的精英反向学习策略来执行粒子位置的变化，

$X_{i,j}^{*}=k(a_i+b_j)-X_{i,j}---\left(3\right)$

其中a_i和b_i是粒子的动态边界的最大值和最小值，X_i,j是当前粒子中的精英个体；

当R>P时，按照公式(4)给出高斯扰动变异策略来执行粒子置的变化；

X_id(t+1)＝X_id(t)*(1+k*Gauss(u,δ²))(4)

其中k∈(0,1)，u表示期望，δ²表示方差；

第四步、对粒子的位置执行柯西变异

首先对粒子进行柯西变异，在粒子迭代进化的过程中，所有的粒子都向全局最优的粒子学习，较好的最优粒子能提高粒子的搜索效率；柯西分布是一个数学期望不存在的连续分布函数，一维的柯西分布概率密度函数为：

$f_t\left(x\right)=\frac{1}{\mathrm{\&pi;}}\frac{t}{t^2+x^2},-\mathrm{\&infin;}<x<\mathrm{\&infin;}---\left(5\right)$

其中t为比例参数且大于0；通过对粒子的最优位置进行柯西变异，适应度函数评价粒子变异后的位置，将较优的位置赋给粒子，让粒子群体拥有一个较好的领导粒子，提高算法的收敛精度；

对粒子位置进行柯西变异公式如下：

P'_gbest＝P_gbest+(X_max-X_min)*Cauchy(o,s)(6)

其中X_max为当前粒子空间的最大值，X_min为当前粒子空间的最小值；

然后比较粒子当前最优解和粒子历史最优解，当粒子当前最优解优于粒子历史最优解，则按公式(7)更新粒子的位置，

P_gbest＝P'_gbest(7)

当粒子当前最优解劣于粒子历史最优解时，粒子全局最优解不发生改变；

最后，对柯西变异的比例参数s按照公式(8)进行线性的递减，

$s(t+1)=s\left(t\right)-\frac{1}{{\mathrm{Iter}}_{max}}---\left(8\right)$

其中，Iter_max为粒子的最大迭代次数；

第五步、对粒子停止执行的条件进行确定

在粒子初始化时，设定了粒子的迭代次数T，和评估次数Sum，NP个粒子每迭代完成一次，迭代次数加1，粒子的评估次数加NP，若当前粒子的迭代次数小于初始设定的迭代次数T，则粒子进行新一次的迭代；若当前粒子的迭代次数达到设定的迭代次数T，则粒子停止迭代运行。

2.根据权利要求1所述的基于多策略协同作用的粒子群函数优化的方法，其特征在于，第五步中，对粒子停止执行的条件进行确定，还包括：设定一种初始给出函数优化精度e，当达到精度e时，粒子停止迭代运行。

3.根据权利要求1所述的基于多策略协同作用的粒子群函数优化的方法，其特征在于：所述高斯扰动变异策略中，期望u设置为0。

4.根据权利要求1所述的基于多策略协同作用的粒子群函数优化的方法，其特征在于：在比例参数线性递减的柯西变异策略中，比例参数s初始设置为1。

5.根据权利要求1-4任一项所述的基于多策略协同作用的粒子群函数优化的方法性能的测试，其特征在于，采用多种测试方法进行测试，测试函数如下所述：

a.单峰测试函数，用来测试函数的寻优速度和收敛精度；

b.多峰测试函数，多峰函数具有多个局部极值点，用于测试算法避免陷入局部极值的性能；

其中，所述多峰测试函数包括以下三种情况：

简单的多峰函数，类似于所述单峰测试函数，用于测试函数的寻优速度；

非旋转的多峰函数，该函数会有多个局部极值，用于测试粒子是否陷入局部极值；

带旋转的多峰函数，是一种条件更为严格的测试函数。