CN101819651A - 粒子群算法在多机上并行执行的方法 - Google Patents

Abstract

本发明公开了一种粒子群算法在多台计算机上并行化的方法。包括初始化步骤，评价和调整步骤，判断终止条件步骤，结束并输出步骤；所述的评价和调整步骤为通过MPI+OpenMP并行编程实现并行计算的部分。本发明根据粒子群算法更新时的前后独立性，结合目前已有的MPI+OpenMP多核程序设计方法，将粒子群算法中更新粒子和评价粒子的操作进行并行化。本发明采用了一种主从的并行程序设计模式，解决了以往单机运行粒子群算法过慢的问题，加快了粒子群算法的速度，使得粒子群算法的应用价值和应用领域大大拓宽。

Description

粒子群算法在多机上并行执行的方法

技术领域

本发明涉及并行计算的粒子群算法技术，尤其涉及一种粒子群算法在多机上并行执行的方法。

背景技术

随着社会的发展，人们需要处理的问题越来越复杂，如工业控制过程中经常碰到的最优化问题。这些问题既无法通过数学方法获得最优解，同时由于规模巨大，复杂程度以阶乘地速度上升，穷举的方法也是不可行的.受到大自然的启发，人们从大自然的运行规律中找到了许多解决实际问题的办法，这些方法被称为启发式算法(heuristic algorithm)。近年来，演化算法，蚁群算法，拟人拟物算法和粒子群算法等相继兴起，掀起了研究启发式算法的高潮。由于这些算法简单有效，而且具有某种智能，因而成为科学计算与人类之间的桥梁。

其中粒子群优化(Particle Swarm Optimi-zation，PSO)算法是一种新兴的全局优化技术。PSO算法同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，然后通过粒子在解空间中追随最优粒子来搜索最优值。其保留了基于种群的、并行的全局搜索策略，采用“速度一位移”模型，操作简单，易于实现，同时又有深刻的智能背景，既适合科学研究，又特别适于工程应用。作为一种简单、有效的随机全局优化算法，PSO算法是一种有着潜在竞争力的最优化算法。

但是在优化复杂问题，比如训练大规模神经网络时，随着神经元数目的增多，待优化参数的数目也随之增多，从而造成进化计算的搜索空间急剧增大，在单个CPU上运行通常需要很长的计算时间，运算效率低，有时运行时间甚至长达几天，大大降低了粒子群算法的实际应用价值。

并行计算通过协同若干处理器进行并行工作，可以有效解决大规模计算时间过长的问题。随着个人计算机的日益普及，我们的身边就有大量的可利用的计算资源，多机并行计算可以充分利用这些资源来提高计算效率，有着很好的实用价值。

由于粒子群算法和并行计算的技术都比较成熟，本发明中认真研究粒子群算法流程中，分析了粒子群算法并行化的可行性，然后划分粒子群算法中可并行的部分，通过MPI+openMP多核编程实现并行粒子群算法。

发明内容

本发明的目的在于提供一种粒子群算法在多机上并行执行的方法。

本发明解决其技术问题采用的技术方案如下：

包括初始化步骤，评价和调整步骤，判断终止条件步骤，结束并输出步骤；其特征在于：所述的评价和调整步骤为通过MPI+OpenMP并行编程实现并行计算的部分；其具体步骤如下：

1)发现粒子群算法中的可并行部分：

分析粒子群算法流成图，找出粒子群算法中并行计算的部分；并行计算部分应满足以下两条原则，第一条原则：并行计算部分中的任务前后互不依赖，第二条原则：每个并行计算部分中的任务运行时间相同，粒子群算法中，只有评价和调整步骤满足以上两条原则，通过并行计算加速粒子的评价计算和调整，从而达到加速粒子群算法的目的；

2)主从模式作为并行粒子群算法的通讯模式：

由一个计算机担当主机的角色，执行粒子群算法中串行部分，并向多台从机中分发任务，当全部从机任务完成后，主机对全部从机的任务进行收集和整理，并继续开展下一步的工作；

3)MPI多机并行编程实现并行粒子群算法：

安装MPICH2的Win32A32版本。每台计算机的安装相同，之后，通过MPICH与MSVC++6.0整合，通过C++语言和MPI库函数进行多核程序设计，实现主机和从机的任务分配，达到并行计算的效果；

4)基于局域网的并行计算：

通过VLAN或者子网掩码技术设置局域网，并关闭所有计算机的防火墙，每一台计算机划定共享资源区域方便其他机器进行访问，在主机和从机通过局域网络进行通讯；

5)动态调配参与工作的计算机的数量：

在并行计算的过程中，首先引入一台从机，然而引入一台额外从机观察效果，若加速比提高则引入第二台额外从机，若加速比下降则踢出此台从机，依次类推；

6)动态调配实现负载平衡：

并行计算的加速比往往会因为一台计算速度慢的从机而下降，在任务分配的时，首先将部分任务平均分配给每一台从机，当发现某台从机计算完成任务后，再给它分配额外的任务，直到任务全部完成，这种多能多劳的分配模式可以减少计算速度慢的计算机所带来的损失；

7)OpenMP进一步加速：

MPI并行编程将任务分配到每台从机上，目前，多核计算机已经非常普遍，为了提高并行计算的速度，通过openMP多核编程将从机上的任务进一步并行化，比如前后无关的循环，矩阵，然而将它们分配到每个CPU上。

本发明与背景技术相比，具有的有益的效果是：

本发明将openMP和MPI结合，解决粒子群优化算法中计算时间较长的问题，充分利用了多机、多核的资源，降低计算耗时。在平台化的情况下，将并行计算进行广泛性的应用。作为发出请求的主机，并不需要知道并行计算的实现方式，只需要将要做的任务共享，这样的平台能够对任何连网的计算机适用。

(1)灵活性。平台在分配任务的时候采用动态搜索资源、动态分配任务的方法，能够让连接平台的机器各取所需。任务的实时分配以及从机资源的动态利用，让程序不会僵死在某些特殊的机器上。

(2)高效性。时刻连网的计算机资源是庞大、可利用的资源，通过这样一个平台能够找到一定空闲资源提高并行计算效率；同时，openMP可以使从机在计算时充分利用各个kernel的资源，达到资源的高效利用。

(3)实用性。这样的并行计算平台能够帮助解决优化算法的加速问题。目前，粒子群优化算法在气象预报、地址探测、交通管理等等方面有广泛的应用。但是，这些往往需要实时性的计算会因为计算效率低而降低本身计算的价值。通过加速平台的应用，可以给我们现实生活中很多计算问题该来便利和效率。

(4)可扩展性。将来越来越多的计算的复杂度会大大提高，可以使用这样的平台来帮助高校的实验室提高实验和测试的速率。随着科学技术的发展，将来会有越来越多的PC机同样需要大量的计算，这样的平台可以扩展到千家万户每个人的电脑上的应用，具有广阔的发展前景。

附图说明

图1是传统串行情况下的粒子群算法流程图。

图2是本发明中并行情况下的粒子群算法流程图。

图3是本发明基于的并行粒子群中硬件的架设结构。

具体实施方式

粒子群算法并行加速平台运作的具体操作步骤如下：

第一步：挖掘可并行程序段。

粒子群算法的计算流程如图1。挖掘在进行计算的过程中，对不同粒子数据的计算以及对它们调整的代码段，主机在运行程序前做出标记。需要标记做并行加速运算的原则有：大量的重复的计算；无关联的大量循环；无关联的计算体系；矩阵计算的乘法等。通过观察图1，计算每个个体的适应值和调整每个个体速度这两个步骤可以实现并行化，并行化后的结果如图2。

第二步：搭建OpenMP+MPI本地接口。

MPI是基于多机的通行式接口，它能够通过网络管理和传递机器之间想要传递的信息；openMP是基于本地机器多核多线程的运行接口，它能够将本地的任务分配到多核后共同完成。

由平台开发者完成这样一个OpenMP+MPI本地接口：基本元素来源于OpenMP和MPI，并且引用他们的库；包装成一个整体方便本地机器使用，它还包含了平台的相关信息，以及连接平台的必要认证。

本地机器安装这样的本地接口，即可通过这个接口完成与平台的对接。

第三步：基于局域网的并行计算：

如图3所示，通过VLAN或者子网掩码技术设置局域网，并关闭所有计算机的防火墙，每一台计算机划定共享资源区域方便其他机器进行访问，在主机和从机通过局域网络进行通讯；

第四步：共享程序段及平台端的管理

经过本地机器的代码共享，平台端接受到机器的并行计算请求，建立一定的数据空间将其储存，对其进行一定的处理和加工后，寻找网络中可以利用的资源，将整合后的代码分配到若干机器上完成并行计算。在分配的过程中使用动态分配方法保证计算时间经过优化。完成计算后，经过检验和整理，返回结果到发出请求的机器，并释放数据空间。具体步骤说明如下：

1、建立数据空间并储存代码。当一个机器发出请求时，平台中的服务器检测到这个信号后，创建一个数据空间，并按照对应的IP、时间命名。将机器本地接口中的代码拷贝到这块区域中，这样的一块区域就对应着一个任务。

2、数据检测、整理、激活。当一个数据空间的代码拷贝完毕后，接着运行一些检测程序，对这段代码进行测试，检测这样的代码是否可以成功运行，是否有语法错误。同时可以对这段代码进行简单的并行检测，看有没有进一步并行优化的空间。经过整理后，这样的一个任务才被激活，才可以为这样的一个任务寻找需要分配的资源。

3、任务分配。对所有连接到平台的机器进行检测，检测它们的CPU当前利用率，优先选择一些CPU可利用空间较大的机器。再通过动态分配从机数量来寻找最优的资源利用方式。若通过5台从机来计算比通过4台计算快，则使用5台，若通过6台从机计算比通过7台计算快，则使用6台。并且，任务是逐一分配，每当有机器空闲，再分配相应任务。

4、信息的记录和反馈。完成计算后，服务器要确认计算是否确实结束，并且需要记录这样的结果，写回到当初创建的数据空间中。同时，服务器需要记录这次请求和接受请求的主体来记录这样一个互联过程。最后，服务器将结果返回给发出请求的主机。

Claims (1)

1.一种粒子群算法在多机上并行执行的方法，包括初始化步骤，评价和调整步骤，判断终止条件步骤，结束并输出步骤；其特征在于：所述的评价和调整步骤为通过MPI+OpenMP并行编程实现并行计算的部分；其具体步骤如下：

1)发现粒子群算法中的可并行部分：

分析粒子群算法流成图，找出粒子群算法中并行计算的部分；并行计算部分应满足以下两条原则，第一条原则：并行计算部分中的任务前后互不依赖，第二条原则：每个并行计算部分中的任务运行时间相同，粒子群算法中，只有评价和调整步骤满足以上两条原则，通过并行计算加速粒子的评价计算和调整，从而达到加速粒子群算法的目的；

2)主从模式作为并行粒子群算法的通讯模式：

由一个计算机担当主机的角色，执行粒子群算法中串行部分，并向多台从机中分发任务，当全部从机任务完成后，主机对全部从机的任务进行收集和整理，并继续开展下一步的工作；

3)MPI多机并行编程实现并行粒子群算法：

安装MPICH2的Win32A32版本。每台计算机的安装相同，之后，通过MPICH与MSVC++6.0整合，通过C++语言和MPI库函数进行多核程序设计，实现主机和从机的任务分配，达到并行计算的效果；

4)基于局域网的并行计算：

通过VLAN或者子网掩码技术设置局域网，并关闭所有计算机的防火墙，每一台计算机划定共享资源区域方便其他机器进行访问，在主机和从机通过局域网络进行通讯；

5)动态调配参与工作的计算机的数量：

在并行计算的过程中，首先引入一台从机，然而引入一台额外从机观察效果，若加速比提高则引入第二台额外从机，若加速比下降则踢出此台从机，依次类推；

6)动态调配实现负载平衡：

并行计算的加速比往往会因为一台计算速度慢的从机而下降，在任务分配的时，首先将部分任务平均分配给每一台从机，当发现某台从机计算完成任务后，再给它分配额外的任务，直到任务全部完成，这种多能多劳的分配模式可以减少计算速度慢的计算机所带来的损失；

7)OpenMP进一步加速：

MPI并行编程将任务分配到每台从机上，目前，多核计算机已经非常普遍，为了提高并行计算的速度，通过openMP多核编程将从机上的任务进一步并行化，比如前后无关的循环，矩阵，然而将它们分配到每个CPU上。

Images