CN106250979A - 一种基于互信息相似度策略的粒子群优化方法 - Google Patents

Abstract

本发明公开了一种基于互信息相似度策略的粒子群优化方法，所述基于互信息相似度策略的粒子群优化方法利用求解互信息的联合直方图法，重新定义联合直方图中的h(e，g)和粒子的速度更新公式；其中e，g分别为待匹配路径和模板路径，h(e，g)表示在最优路径e出现的位置上，在历史路径相应的位置g出现的次数。与现有的基本PSO算法相比，减少了迭代次数，提高了收敛速度，并且搜索的平均结果也有一定提高。

Description

一种基于互信息相似度策略的粒子群优化方法

技术领域

本发明属于粒子群优化算法技术领域，尤其涉及一种基于互信息相似度策略的粒子群优化方法。

背景技术

粒子群优化算法(Particle Swarm Optimization，PSO)是由Eberhart和Kennedy博士于1995年发明的。该算法是通过模拟鸟群觅食行为而发展起来的一种基于群体协作的随机搜索算法，它利用鸟类使用简单的规则决定自己的飞行方向和飞行速度的方法。把飞行速度和位移由被优化函数(即目标函数)决定的适应值来更新。PSO通过粒子间的相互作用搜索复杂空间中的最优区域，是一类基于迭代的随机全局优化算法^[1]。该算法简单易操作而被广泛应用于组合函数优化问题、模式识别、机器学习、系统控制和QOS路由规划等方面。互信息(Mutual Information)是由香农信息论中的信息熵引出的，通常用于描述两个系统间的统计相关性。目前研究最多的是将其用到图像匹配上，用来测量一幅图像包含另一幅图像信息的总量。假设E和G是两个随机变量，边缘概率分布分别是p_E(e)和p_G(g)，联合概率分布p_EG(eg)，如果边缘概率分布和联合概率分布满足p_EG(eg)＝p_E(e)*p_G(g)，其中E和G是独立的。互信息具体计算通过Kullback-Leibler，测量为：

$I(E,G)=\underset{e,g}{\Σ}p(e,g)\log \frac{p(e,g)}{p\left(e\right)p\left(g\right)}---\left(2.1\right)$

PSO是群体根据对环境的适应度将个体移动到好的区域的过程。它不对个体使用演化算子，而是将每个个体看作是D维搜索空间中的一个没有体积的微粒，在搜索空间中以一定的速度飞行，这个速度根据它本身的飞行经验和同伴的飞行经验来动态调整。第i个微粒表示为X_i＝(x_i1，x_i2，…，x_iD)，它经历过的最好位置记为P_i＝(p_i1，p_i2，…，p_iD)，记为pbest。在群体所有微粒经历过的最好位置的索引号用符号g表示，即P_g，也称为gbest。微粒i的“飞行”速度也是一个D维的向量，记为V_i＝(v_i1，v_i2，…，v_iD)。对每一代，它的第d维(1≤d≤D)根据如下方程进行变化：

v_i(d+1)＝w*v_i(d)+c₁r₁*(p_i(d)-x_i(d))+c₂r₂*(p_g(d)-x_i(d)) (2.2)

x_i(d+1)＝x_i(d)+v_i(d+1) (2.3)

每个粒子的最好解和整个粒子群的最好解是分别按照下列两式更新：

${\mathrm{pbest}}_i(d+1)=\left\{\begin{array}{c}{\mathrm{pbest}}_i\left(d\right),iff\left(X_i\right(d+1\left)\right)\&GreaterEqual;{\mathrm{pbest}}_i\left(d\right)\\ X_i(d+1),iff\left(X_i\right(d+1\left)\right)<{\mathrm{pbest}}_i\left(d\right)\end{array}\right.---\left(2.4\right)$

其中，d表示代数，w是惯性权重(w>0)，r₁、r₂是[0，1]之间的随机数，c₁、c₂表示学习因子。c₁r₁*(p_i(d)-x_i(d))为“个体认知”，促使粒子朝着自身所经历的最好位置移动；c₂r₂*(p_g(d)-x_i(d))为“社会认知”，促使粒子朝着群体发现的最好位置移动，表示粒子间的信息共享。

PSO在实际应用中求解高维空间函数时容易出现局部范围内徘徊、后期收敛速度慢。

发明内容

本发明的目的在于提供一种基于互信息相似度策略的粒子群优化方法，旨在解决PSO在实际应用中求解高维空间函数时容易出现局部范围内徘徊、后期收敛速度慢，无法找到最优解的问题。

本发明是这样实现的，一种基于互信息相似度策略的粒子群优化方法，所述基于互信息相似度策略的粒子群优化方法是：群体中的粒子在朝着群体发现的最好位置移动时采用基于互信息的配准方法，利用求解互信息的联合直方图法，重新定义联合直方图中的h(e，g)和粒子的速度更新公式；通过新的公式更新粒子的速度和位移，从而找到最优解的过程；其中e，g分别为待匹配路径和模板路径，h(e，g)表示在最优路径e出现的位置上，在历史路径相应的位置g出现的次数。

所述粒子的速度和位移更新公式定义如下：

$v_{i,j}^1(t+1)={\mathrm{wv}}_{i,j}\left(t\right)+c_{1}h(e,g)\&lsqb;p_{i,j}-x_{i,j}\left(t\right)\&rsqb;+c_{2}h(e,g)\&lsqb;p_{g,j}-x_{i,j}\left(t\right)\&rsqb;;$

其中，v表示粒子速度，t表示时间，i表示第i个粒子，j表示第j个路径，w是惯性权重，c₁、c₂表示学习因子，p_i,j表示第i个粒子经历过的最好位置，p_g,j表示群体所有微粒经历过的最好位置；

$x_{i,j\left(1\right)}=x_{i,j}+v_{i,j}^1.$

x_i,j表示第i个粒子第j个路径所需要更新的位移，x_i,j(1)表示的是x_i,j的下一个，每次都在变化，下一次就为x_i,j(2)。

进一步，所述粒子的位移更新方法包括：

(1)按照x_i,j＝v_i,j+wv_i,j对x_i,j进行更改；

(2)以概率c₁h(e,g)修改(p_i,j-x_i,j)的交换序，得到x_i,j(1)为x_i,j与c₁h(e,g)(p_i,j-x_i,j)的和，p_i,j-x_i,j(t)表示每个粒子与个体最优位置的交换序；

(3)以概率c₂h(e,g)修改(p_g,j-x_i,j)的交换序，得到x_i,j(2)为x_i,j(1)与c₂h(e，g)(p_g，j-x_i，j)的和，p_g,j-x_i,j(t)表示群体最优位置与个体位置的交换序，更新位移完毕。

本发明的另一目的在于提供一种应用所述基于互信息相似度策略的粒子群优化方法的组合函数优化方法。

本发明的另一目的在于提供一种应用所述基于互信息相似度策略的粒子群优化方法的模式识别方法。

本发明的另一目的在于提供一种应用所述基于互信息相似度策略的粒子群优化方法的机器学习方法。

本发明的另一目的在于提供一种应用所述基于互信息相似度策略的粒子群优化方法的QOS路由规划方法。

本发明提供的基于互信息相似度策略的粒子群优化方法，与现有的基本PSO算法相比，减少了迭代次数，提高了收敛速度，并且搜索的平均结果也有一定提高。通过表1互信息PSO和基本PSO算法Burma14、Ulysses22、Oliver30和Att48数据集上测试，结果显示互信息PSO算法可以搜索到最优路径，搜索性能比基本PSO算法有了明显提高。互信息PSO算法的平均搜索距离比基本PSO算法较优，体现了局部搜索能力的增强，同时也减少了迭代次数。以Ulysses22为例，运行30次。将互信息PSO与基本PSO在搜索最优值时，最主要的是互信息PSO与基本PSO算法相比，减少了迭代次数，提高了收敛速度，并且搜索的平均结果也有一定提高。

附图说明

图1是本发明实施例提供的基于互信息相似度策略的粒子群优化方法流程图。

图2是本发明实施例提供的图像配准和蚁群算法对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于互信息相似度策略的粒子群优化方法包括以下步骤：

S101：初始化参数，包括粒子数，路径点数，粒子位置，速度；

S102：初始化互信息联合直方图2D矩阵；

S103：如果满足结束条件，转步骤S111；

S104：计算每个粒子历史路径的路径值；

S105：找出当前粒子所在位置中的最小适应度值；

S106：找出当前所有粒子所在位置中的最小适应度值；

S107：计算互信息矩阵，根据重新定义的h(e，g)，列出互信息联合直方图；

S108：更新粒子的速度；

S109：更新粒子的位移；

S110：找到个体极值更新，找到全局极值更新，并转到S103；

S111：显示输出结果；

下面结合附图对本发明的应用原理作进一步的描述

互信息的计算概括为随机变量分布的样本估计，通常采用形式比较简单、计算速度快的直方图法，一般用于图像匹配。当两幅图像达到最佳配准时，它们所对应像素灰度之间的互信息应达到最大。需要两种变化的图像:模板图像和待配准图像，应用联合直方图法计算模板图像和待配准图像之间互信息；之后，基于互信息的配准方法就是寻找两幅图像之间的互信息达到最大时，它们之间的最佳变化参数。互信息PSO算法是利用求解互信息的联合直方图法，重新定义联合直方图中的h(e，g)和粒子的速度更新公式。其中e，g分别为待匹配路径和模板路径(最优路径)，h(e，g)表示在最优路径e出现的位置上，在历史路径相应的位置g出现的次数。对比如图2所示。

当前寻优最优路径表示v_gbest＝(v_i1,v_i2,v_i3,…v_in)，i为第i个粒子，n为路径点数，历史路径为v＝(v_i1,v_i2,v_i3,…v_in)，联合匹配直方图可以通过如下矩阵表示：

$H=\left[\begin{array}{ccccc}h& (0,0)& h(0,1)& \mathrm{...}& h(0,g-1)\\ h& (1,0)& h(1,1)& \mathrm{...}& h(1,g-1)\\ & \mathrm{...}& \mathrm{...}& & \mathrm{...}\\ h& (e-1,0)& h(e-1,1)& \mathrm{...}& h(e-1,g-1)\end{array}\right]---\left(2.5\right)$

利用边缘和联合概率分布可以通过对联合直方图归一化方法进行计算得到推论1如下：

求证引入联合概率归一化方法得到由于每个粒子，都要走完所有节点，所以为m_粒子数n_路径节点。推论2如下：

同理因为每个路径点都被走过m次，每个粒子都要走完所有的路径点。所以可以得到推论3如下：

$H(e,g)=\underset{e,g}{\&Sigma;}\frac{h(e,g)}{mn}\log \frac{nh(e,g)}{m}---\left(2.8\right)$

对于粒子群算法速度更新公式，p_i,j-x_i,j(t)表示每个粒子与个体最优位置的交换序，p_g,j-x_i,j(t)表示群体最优位置与个体位置的交换序，通过引入互信息概念，使其交换序根据个体和群体最优之间的相互信息进行更新，提高局部搜索能力，为了使算法避免陷入局部最小点，采用线性递减权重法。基于互信息粒子群求解路径寻优，其速度和位移更新公式定义如下：

$v_{i,j}^1(t+1)={\mathrm{wv}}_{i,j}\left(t\right)+c_{1}h(e,g)\&lsqb;p_{i,j}-x_{i,j}\left(t\right)\&rsqb;+c_{2}h(e,g)\&lsqb;p_{g,j}-x_{i,j}\left(t\right)\&rsqb;---\left(2.9\right)$

其中，v表示粒子速度，t表示时间，i表示第i个粒子，j表示第j个路径，w是惯性权重，c₁、c₂表示学习因子，p_i,j表示第i个粒子经历过的最好位置，p_g,j表示群体所有微粒经历过的最好位置；

$x_{i,j\left(1\right)}=x_{i,j}+v_{i,j}^1---\left(2.10\right)$

x_i,j表示第i个粒子第j个路径所需要更新的位移。

互信息相似度策略的粒子群算法表示为：

Step1 初始化参数，包括粒子数，路径点数，粒子位置，速度；

Step2 初始化互信息联合直方图2D矩阵；

Step3 如果满足结束条件，转步骤11；

Step4 计算每个粒子历史路径的路径值；

Step5 找出当前粒子所在位置中的最小适应度值；

Step6 找出当前所有粒子所在位置中的最小适应度值；

Step7 计算互信息矩阵，根据重新定义的h(e，g)，列出互信息联合直方图；

Step8 根据公式(2.9)更新粒子的速度v_i,j；

Step9 根据公式(2.10)更新粒子的位移，其中具体步骤为：

(1)按照x_i,j＝v_i,j+wv_i,j对x_i,j进行更改；

(2)以概率c₁h(e,g)修改(p_i,j-x_i,j)的交换序，得到x_i,j(1)为x_i,j与c₁h(e，g)(p_i，j-x_i，j)的和，p_i,j-x_i,j(t)表示每个粒子与个体最优位置的交换序；

(3)以概率c₂h(e,g)修改(p_g,j-x_i,j)的交换序，得到x_i,j(2)为x_i,j(1)与c₂h(e，g)(p_g，j-x_i，j)的和，，p_g,j-x_i,j(t)表示群体最优位置与个体位置的交换序，更新位移完毕。

Step10 找到个体极值更新p_i,j，找到全局极值更新p_g,j，并转到步骤3；

Step11 显示输出结果。

下面结合实验对本发明的应用效果作详细的描述。

为了验证算法的有效性，利用TSP问题进行性能检测。采用TSPLIB中的Burma14、Ulysses22、Att48和Oliver30对算法进行测试。改进算法参数设置Max_Iteration＝2000，c＝0.003，c₁＝0.4，c₂＝0.7，w＝0.96-Max_Iteration。基本PSO算法参数设定为Max_Iteration＝2000，c₁＝0.5，c₂＝0.7，w＝0.96-Max_Iteration。通过算法求得的距离平均值对算法的性能进行评价，利用平均收敛时间对算法计算量进行评价。针对不同规模的路径寻优问题，两种算法独立运行30次，第一行为改进算法结果，第二行为基本算法结果，如表1所示。

表1 不同规模数据测试结果

通过表1互信息PSO和基本PSO算法Burma14、Ulysses22、Oliver30和Att48数据集上测试，结果显示互信息PSO算法可以搜索到最优路径，搜索性能比基本PSO算法有了明显提高。互信息PSO算法的平均搜索距离比基本PSO算法较优，体现了局部搜索能力的增强，同时也减少了迭代次数。

以Ulysses22为例，运行30次。将互信息PSO与基本PSO在搜索最优值时，最主要的是互信息PSO与基本PSO算法相比，减少了迭代次数，提高了收敛速度，并且搜索的平均结果也有一定提高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于互信息相似度策略的粒子群优化方法，其特征在于，所述基于互信息相似度策略的粒子群优化方法为：

利用求解互信息的联合直方图法，重新定义联合直方图中的h(e，g)以及粒子的速度和位移更新公式，所述粒子的速度和位移更新公式定义如下：

$v_{i,j}^1(t+1)={\mathrm{wv}}_{i,j}\left(t\right)+c_{1}h(e,g)\&lsqb;p_{i,j}-x_{i,j}\left(t\right)\&rsqb;+c_{2}h(e,g)\&lsqb;p_{g,j}-x_{i,j}\left(t\right)\&rsqb;,$

其中，v表示粒子速度，t表示时间，i表示第i个粒子，j表示第j个路径，w是惯性权重，c₁、c₂表示学习因子，p_i,j表示第i个粒子经历过的最好位置，p_g,j表示群体所有微粒经历过的最好位置，其中e，g分别为待匹配路径和模板路径，h(e，g)表示在最优路径e出现的位置上，在历史路径相应的位置g出现的次数；

通过粒子的速度和位移更新公式更新粒子的速度和位移，找到优解，优解公式为：

x_i,j表示第i个粒子第j个路径所需要更新的位移，x_i，j(1)表示的是x_i,j的下一个，每次都在变化，下一次就为x_i,j(2)。

2.如权利要求1所述的基于互信息相似度策略的粒子群优化方法，其特征在于，所述粒子的位移更新方法包括：

(1)按照x_i,j＝v_i,j+wv_i,j对x_i,j进行更改；

(2)以概率c₁h(e,g)修改(p_i,j-x_i,j)的交换序，得到x_i,j(1)为x_i,j与c₁h(e,g)(p_i,j-x_i,j)的和，p_i,j-x_i,j(t)表示每个粒子与个体最优位置的交换序；

(3)以概率c₂h(e,g)修改(p_g,j-x_i,j)的交换序，得到x_i,j(2)为x_i,j(1)与c₂h(e,g)(p_g,j-x_i,j)的和，，p_g,j-x_i,j(t)表示群体最优位置与个体位置的交换序，更新位移完毕。

3.一种应用权利要求1-2任意一项所述基于互信息相似度策略的粒子群优化方法的组合函数优化方法。

4.一种应用权利要求1-2任意一项所述基于互信息相似度策略的粒子群优化方法的模式识别方法。

5.一种应用权利要求1-2任意一项所述基于互信息相似度策略的粒子群优化方法的机器学习方法。

6.一种应用权利要求1-6任意一项所述基于互信息相似度策略的粒子群优化方法的QOS路由规划方法。