CN105095960A - 一种梯度粒子群混合优化方法 - Google Patents

Abstract

本发明提供了一种梯度粒子群混合优化方法，属于人工智能算法技术领域。本方法包括：步骤1，初始化一种群粒子，赋予随机位置和速度，置k：＝0；步骤2，计算每个粒子的适应度值步骤3，将与当前最好位置p_j的适应度值fitness(p_j)比较，若优于fitness(p_j)，则将该粒子赋值为p_j，然后转入步骤4；否则进入步骤4；步骤4，将与全局经历的最好位置p_g的适应度值fitness(p_g)比较，若优于fitness(p_g)，则将该粒子赋值为p_g，然后转入步骤5；否则进入步骤5；步骤5，用式(1)、式(2)计算粒子的速度和位置其中：j＝1，2，...，m，m为种群内粒子个数；步骤6，若达到预设梯度算法启动条件，返回全局最优个体p_g，转向步骤7；否则，k：＝k+1，转步骤2。

Description

一种梯度粒子群混合优化方法

技术领域

本发明属于人工智能算法技术领域，具体涉及一种梯度粒子群混合优化方法，结合梯度和粒子群的混合优化算法，可用于解决地球科学领域非线性反演等优化领域的寻优问题。

背景技术

常用的寻优反演算法一般分为全局寻优类方法和局部寻优类方法。其中，全局寻优类算法一般以随机方法为代表，这类算法包括大家所熟知的蒙特卡洛法、模拟退火法等，由于其全局寻优能力强，对初始模型的依赖性小，多用于强非线性多极值类寻优问题，然而，这类算法由于计算过程中需要大量的耗时，对CPU和内存要求都较高；以迭代方法为代表的局部寻优类方法，如牛顿法、高斯牛顿法等，虽然收敛速度快，但算法收敛结果强烈依赖于初始模型，容易陷入局部极值。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种梯度粒子群混合优化方法，解决地球科学领域的高度非线性反演，如石油工业领域的速度结构反演、叠前AVO反演等。

本发明是通过以下技术方案实现的：

一种梯度粒子群混合优化方法，包括：

步骤1，初始化一种群粒子，赋予随机位置和速度，置k：＝0；

步骤2，计算每个粒子的适应度值

步骤3，将与当前最好位置p_j的适应度值fitness(p_j)比较，若优于fitness(p_j)，则将该粒子赋值为p_j，然后转入步骤4；否则进入步骤4；

步骤4，将与全局经历的最好位置p_g的适应度值fitness(p_g)比较，若优于fitness(p_g)，则将该粒子赋值为p_g，然后转入步骤5；否则进入步骤5；

步骤5，用式(1)、式(2)计算粒子的速度和位置其中：j＝1，2，...，m，m为种群内粒子个数：

v_is(t+1)＝ω·v_is(t)+c₁r₁(p_is(t)-x_is(t))+c₂r₂(p_gs(t)-x_is(t))

(1)

x_is(t+1)＝x_is(t)+v_is(t+1)

(2)；

步骤6，若达到预设梯度算法启动条件，返回全局最优个体p_g，转向步骤7；否则，k：＝k+1，转步骤2；

步骤7，进行梯度算法：以步骤6返回的p_g为梯度算法的初始点，进行迭代；

步骤8，若达到终止条件，则结束，输出当前结果作为所求问题的最优解；否则转步骤7。

所述步骤2中的适应度值为待求问题的目标函数。

所述步骤3中的当前最好位置p_j是指粒子群算法里当次迭代的最优解；

所述步骤4中的全局经历的最好位置p_g是指粒子群算法里整个所有迭代过程中的最优解。

所述步骤8中的终止条件为：终止误差ε＞0或达到设定的最大迭代次数。

与现有技术相比，本发明的有益效果是：

(1)能够保持梯度算法的快速收敛性；

(2)能够保持粒子群算法的全局收敛性；

(3)能够兼顾梯度算法和粒子群算法的优点。

附图说明

图1二维Rastrigin函数曲面图。

图2一维情况下Rastrigin函数梯度法寻优示意图。

图3分别利用梯度方法、粒子群方法以及梯度粒子群混合方法寻得的最优解。

图4本发明方法的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

近年来，随着计算机技术的快速发展，需要大量计算、复杂度高的地球科学、气象科学等领域的反演问题也变得可能，使用全局优化和局部寻优的方法来解决这类问题都有尝试。由于局部寻优方法具有确定的收敛方向、较快的局部收敛性，而随机方法具有很好地全局性，因此将两种方法按照一定的方式结合起来的综合算法能吸纳两种算法的优点，结合的关键问题在于找到恰当的接入点。本发明将全局算法中的粒子群算法与局部寻优的梯度算法结合，提出一种梯度粒子群混合算法，该算法可用于解决地球科学领域的高度非线性反演，如石油工业领域的速度结构反演、叠前AVO反演等。

粒子群优化算法是近年来发展起来的一种全局性的群体智能随机搜索算法，最早由美国社会心理学家R.Eberhart和J.Kennedy于1995年受人工生命研究结果的启发、通过模拟鸟群觅食活动中迁徙和群居行为而提出来的。算法的基本思想是，通过对简单社会系统的模拟，在多维解空间中构造“粒子群”，把待求问题潜在的可行解看作群体中的每个粒子，并赋予与目标函数相关的适应度值。群体中每个粒子通过跟踪自己和群体所发现的最优值，修正粒子飞翔的前进方向和速度，从而带领整个粒子群体实现寻优，实现对问题最优解的搜索。

设在n维搜索空间中，种群x＝x₁，x₂，…，x_i，…，x_m内包含m个粒子，粒子i的“位置”记为x_i＝(x_i1，x_i2，…，x_in)^T，“速度”记为v_i＝(v_i1，v_i2，…，v_in)^T，其经历的最优位置记作p_i＝(p_i1，p_i2，…，p_im)^T，整个粒子群经历过的最优位置记作p_g＝(p_g1，p_g2，…，p_gm)^T，粒子x_i将按式(1)、式(2)改变速度和位置。

v_is(t+1)＝ω·v_is(t)+c₁r₁(p_is(t)-x_is(t))+c₂r₂(p_gs(t)-x_is(t))

(1)

x_is(t+1)＝x_is(t)+v_is(t+1)

(2)

式中，s＝1，2，…，n，代表搜索空间的维数，ω为惯性权值，代表前一次速度对当前速度的影响：若ω较小，粒子容易陷入局部极值，若ω较大，粒子虽容易跳出局部极值，但收敛速度较慢。因此ω的取值可以平衡粒子收敛性和计算速度。迭代初期ω取值较大以获得较快的收敛速度，ω随着迭代过程逐渐变小，在迭代后期可以使得解跳出局部极值。c₁为粒子自身的加速度权重系数，代表粒子向自身经验的学习，c₂为全局加速度权重系数，代表粒子向整个群体经验的学习。r₁、r₂为介于[0，1]间的相互独立的随机数，用来动态调节粒子向自身经验学习和向群体经验学习的权重。为了减少进化过程中粒子离开搜索空间的可能，一般还需对速度加以约束，使之限定在一个范围[v_min，v_max]之内，并且通过先验信息对粒子的位置进行合理化评估。

梯度法(Gradientmethod)，又名最速下降法(Steepest-descentmethod)，是一种求解无约束多元函数极值的数值方法，早在1847年就已由柯西(Cauchy)提出。梯度法由于计算消耗内存小，对初始值的要求不太高，存储量也较少，是无约束优化方法中最基本的方法之一，也是导出其他更为实用、有效的优化方法的理论基础。

梯度法(最速下降法)的基本思想是：假设目标函数f：Rⁿ→R¹一阶连续可微。从当前点x^k出发，取函数在x^k点处下降最快的方向作为搜索方向。

由f(x)的Taylor展开式知：

$f\left(x^k\right)-f(x^k+{\mathrm{tp}}^k)={-t\▿f\left(x^k\right)}^T{p}^k+o\left(\right|\left|{\mathrm{tp}}^k\right|\left|\right)$

(3)

略去t的高阶无穷小项不计，可见在式(3)中取时，函数值下降得最多。换而言之，函数在当前点梯度相反的方向(负梯度方向)下降得最快。

梯度法的实现步骤为：

步骤1选定初始点x⁰，给定终止误差ε＞0，令k：＝0；

步骤2计算f(x^k)的梯度若停止迭代，输出x^k；否则转步骤3；

步骤3取 $p^k=-\▿f\left(x^k\right);$

步骤4进行一维搜索，求t^k，使得令x^k+1＝x^k+t^kp^k，k：＝k+1，转步骤2。其中，步长t^k可用一维寻优法求得。

要将粒子群算法与梯度算法结合起来，得到梯度粒子群混合算法。一种可行的实现思想是，在算法迭代之初使用粒子群算法，选取多个不同的初始模型(体现在下面的步骤1)，用粒子群算法迭代找到适应值较好地初始模型，然后利用梯度算法的快速局部收敛特性寻找最优解。这样做的好处是可以尽可能地降低初始模型的选取对梯度算法的影响。

如图4所示，本发明方法的具体步骤为：

步骤1初始化一种群粒子(具体到实际问题时，可以把待求的变量作为粒子，如求取地层速度参数时，可以把速度参数作为待求解的粒子)，赋予随机位置和速度，置k：＝0；

步骤2计算每个粒子的适应度值此处适应度值无具体计算公式，是指待求问题的目标函数，如具体求解地层速度问题，则一种可能的目标函数为地层速度的最小二乘解。

步骤3将与当前最好位置p_j(在粒子群算法里，当前最好位置是指当次迭代的最优解)的适应度值fitness(p_j)比较，若优于fitness(p_j)(即指其对应目标函数的值更接近真实解)，则将该粒子赋值为p_j；否则进入步骤4；

步骤4将与全局经历的最好位置p_g(在粒子群算法里，当前最好位置是指整个所有迭代过程中的最优解)的适应度值fitness(p_g)比较，若优于fitness(p_g)，则将该粒子赋值为p_g；否则进入步骤5；

步骤5用式(1)、式(2)计算和其中：j＝1，2，...，m，m为种群内粒子个数；

步骤6若达到预设梯度算法启动条件(该启动条件是根据具体问题设置的，如后述例子中当当前误差达到1×10^-5时)，返回全局最优个体p_g(在粒子群算法里，当前最好位置是指整个所有迭代过程中的最优解)，转向步骤7；否则，k：＝k+1，转步骤2；

步骤7开始梯度算法。以步骤6返回的p_g为梯度法的初始点，进行迭代(即进行上述的“梯度法的实现步骤”。)；

步骤8若达到终止条件(终止误差ε＞0或达到设定的最大迭代次数)，则结束，输出当前结果作为所求问题的最优解；否则转步骤7.

通过一个数学算例来说明梯度粒子群算法的实现过程，并与单纯的梯度算法以及粒子群算法进行对比。本例中，使用测试函数Rastrigin函数来测试梯度算法和梯度粒子群混合算法的计算精度和收敛速度，并与标准粒子群算法进行对比。Rastrigin函数表达式为

$f\left(x\right)=\underset{i=1}{\overset{D}{\mathrm{\Σ}}}[x_i^2-10\cos \left(2\mathrm{\πx}\right)+10]---\left(4\right)$

该函数为最优化领域常用的标准测试函数，在全局最优点附近有多个局部极小值。

为直观可见而且不失一般性，本例中使用二维Rastrigin函数进行测试，定义域为x∈[-5，5](i＝1，2)，全局最优点为[0，0]，f(0，0)＝0为全局极小值。定义域内其曲面图分别如图1。

如图2为一维情况下Rastrigin函数用普通梯度法迭代寻优过程，梯度法搜索最优值附近仅用了7次，而搜索到满足收敛条件的解时用了19次，说明梯度法容易陷入局部极值，且在迭代后期收敛缓慢。事实上，多维Rastrigin函数要比图2的情况复杂的多。

对二维Rastrigin函数分别进行梯度算法和梯度粒子群混合算法寻优测试。由于梯度类算法不同的初始模型可能导致不同的结果，而粒子群方法属于随机优化方法，每次得到的结果也不尽相同。这里采用了多次测试取平均值的方法。具体做法是随机生成100个定义域范围内的初始模型，分别用梯度算法、单纯粒子群算法和梯度粒子群混合算法进行寻优，重复10次得到结果。

粒子群和梯度粒子群混合法中的粒子群参数为：最大迭代次数为2000，惯性权重变化截止次数为1500，粒子种群数为24，c₁、c₂均取为2，搜索到当前解连续20次改变值小于预设精度时停止迭代。粒子群算法预设精度1×10^-5，梯度粒子群混合算法预设精度为1×10^-3(当误差小于该预设精度时，启动梯度算法)。

记ε为寻优得到结果与全局极小值之误差，当误差ε小于预设精度且该点在真解附近时，记为该初始模型对应的寻优过程收敛。收敛次数与总计算次数之比记为收敛率。本例中收敛判断准则设为|ε|＜1×10^-5且||x-x_min||≤0.01。

在用梯度方法寻优过程中，10次实验中每次收敛的次数分别为6、32、21、0、10、9、24、43、21、14，其平均值为18。而粒子群以及梯度粒子群混合算法的寻优中均为100次收敛，其中粒子群算法的实际收敛精度达到了1×10^-8。

表1

表1

三种算法寻得的最优解比较(以第8次寻优过程为例)如表1所示，从表1中可以看出，粒子群算法的精度最高，但是迭代次数最长，也即对应的耗时最长；梯度算法迭代次数最少，但是收敛成功率较低，且10次结果的收敛次数相差较大，这是由于随机给定初始模型，使得梯度算法在处理此问题上变得不稳定。而梯度粒子群混合法则很好地吸收了两种方法的优点。在保障了收敛成功率的同时，也降低了迭代次数，它的平均次数为62次(其中包含了后期梯度法平均迭代次数9次)。注意到单纯使用梯度法的平均14次迭代次数，梯度粒子群混合法在后期梯度计算过程中减少了一定的迭代次数，这在一定程度上可以抵消由于粒子群所带来的部分时间增加量，当然这与粒子群和梯度法相比耗时孰高有关系。

图3记录了其中第8次寻优后三种方法搜寻得到的最优解；其中“○”为最速下降法搜索得到的最优解集合，“+”为粒子群算法，“☆”为梯度粒子群混合算法搜索到的最优解。可以看出，粒子群算法与梯度粒子群混合梯度粒子群混合算法的稳健性以及其在解决多峰局部极值问题上的优越性法寻得的最优解都集中在[0，0]附近，而梯度法则多次陷入局部极值。这也进一步说明了梯度粒子群混合算法的稳健性以及在解决多峰极致问题上的优越性。

可以看到，梯度粒子群混合算法在收敛成功率和收敛精度上均具有上佳的表现。而梯度粒子群混合算法由于后期采用了梯度算法，因此在算法后期的收敛速度大大加快，总的迭代次数比单独用粒子群方法减少了很多。这说明，梯度粒子群混合方法能够综合粒子群方法和梯度法的优点，在保证收敛率的同时提高计算速度，减少搜索时间(迭代次数)。

本发明将优化领域应用较广的全局随机非线性粒子群算法与局部迭代梯度法相结合，构造了一种梯度粒子群混合算法。数值实验和应用结果表明，梯度粒子群混合算法能继承梯度法快速收敛和粒子群法全局寻优的特点，适用于高维非线性反演问题，无论在计算精度还是在降低解的非唯一性方面，都有较明显的改善。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (4)

1.一种梯度粒子群混合优化方法，其特征在于：所述方法包括：

步骤1，初始化一种群粒子，赋予随机位置和速度，置k：＝0；

步骤2，计算每个粒子的适应度值

步骤3，将与当前最好位置p_j的适应度值fitness(p_j)比较，若优于fitness(p_j)，则将该粒子赋值为p_j，然后转入步骤4；否则进入步骤4；

步骤4，将与全局经历的最好位置p_g的适应度值fitness(p_g)比较，若优于fitness(p_g)，则将该粒子赋值为p_g，然后转入步骤5；否则进入步骤5；

步骤5，用式(1)、式(2)计算粒子的速度和位置其中：j＝1，2，...，m，m为种群内粒子个数：

v_is(t+1)＝ω·v_is(t)+c₁r₁(p_is(t)-x_is(t))+c₂r₂(p_gs(t)-x_is(t))

(1)

x_is(t+1)＝x_is(t)+v_is(t+1)

(2)；

步骤6，若达到预设梯度算法启动条件，返回全局最优个体p_g，转向步骤7；否则，k：＝k+1，转步骤2；

步骤7，进行梯度算法：以步骤6返回的p_g为梯度算法的初始点，进行迭代；

步骤8，若达到终止条件，则结束，输出当前结果作为所求问题的最优解；否则转步骤7。

2.根据权利要求1所述的梯度粒子群混合优化算法，其特征在于：所述步骤2中的适应度值为待求问题的目标函数。

3.根据权利要求1所述的梯度粒子群混合优化方法，其特征在于：所述步骤3中的当前最好位置p_j是指粒子群算法里当次迭代的最优解；

所述步骤4中的全局经历的最好位置p_g是指粒子群算法里整个所有迭代过程中的最优解。

4.根据权利要求1所述的梯度粒子群混合优化算法，其特征在于：所述步骤8中的终止条件为：终止误差ε＞0或达到设定的最大迭代次数。