CN101324854A - 一种基于并行遗传算法的网格资源分配方法 - Google Patents

Abstract

本发明涉及一种基于并行遗传算法的网格资源分配方法，本发明首先在一个主线程中初始化任务集合，机器集合，任务的执行时间矩阵E，子任务对机器的映射等信息。然后产生若干子线程并映射到不同的处理器上，各子线程独立生成初始子种群，并行地进行进化计算，并将每代的最优个体传给主线程，主线程进行比较，并保留其中最优个体。当到达预定代数时，进行子群体间的迁移操作。直到满足终止条件，主线程和各子群体的操作结束。本发明提出的遗传算法作为一种最有效的启发式全局随机搜索算法，最时候NP问题的求解。本发明根据遗传算法天然的并行性提出的并行遗传算法提高了算法求解的质量与速度，是一种有效的网格能量资源优化方法，有利于提高网格的服务质量。

Description

一种基于并行遗传算法的网格资源分配方法

技术领域

本发明属于计算机网格资源的分配方法，特别是一种基于并行遗传算法的网格资源分配方法。

背景技术

目前，网格计算已成为高性能计算发展的主要趋势，它是未来全球科学合作、大规模计算和数据处理的基石。由于网格中集成资源的异构性、分布性和自治性等特点，需要提供网格中间件来屏蔽这些特性，从而为人们提供透明的服务。Ad hoc网格是一个异构的计算(HC)通信系统，允许移动的设施在对立的环境中完成一组任务。例如灾难管理、森林灭火和防护作用等任务，这些任务要求如同网格这样的工作环境可靠的支持，从而在这些特定环境下工作的计算机能协调工作。这样能量管理问题成了Ad hoc网格关心的主要问题。这里主要研究在Ad hoc网格中如何静态的分配资源给由相互通信的子任务组成的请求。这样分配的目标是在ad hoc网格环境下最小化此请求执行时的平均能量消耗。其中，要解决的关键问题就是能量资源分配问题。简单地说，网格能量资源分配就是将n个独立的任务映射到m台机器的能量资源上，使得任务在满足约束的条件下，最大化HC系统性能特性。显然，在空间大小为2m的资源集合上寻找满足目标的最优资源集合，这是一个NP问题。于是人们通常利用启发式算法来简化问题，并寻求问题的最优解，但多数这类算法通常都难以避免局部最小值问题。遗传算法作为一种最有效的启发式全局随机搜索算法，对于NP问题，能够得到满意的结果。

遗传算法是根据自然进化论与遗传变异理论为基础求解全局最优解的仿生型算法，其本质是一种求解问题的高效并行全局搜索算法。它能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程，从而得到最优解或准最优解。遗传算法是一个以适应度函数为依据，通过对群体个体施加遗传操作实现群体内个体结构重组的迭代处理过程。在这一过程中，群体个体一代一代地得以优化并逐渐逼近最优解。尽管遗传算法比其他传统搜索方法有更强的鲁棒性，但它更擅长于全局搜索，由于算法的交叉、变异和选择算子是在概率意义下进行的，容易引起模式的丢失或缺失，导致算法的早熟，因此它的局部搜索能力不足。研究发现，遗传算法可以用极快的速度达到最优解的90％左右，但要达到真正的最优解则要花费很长的时间。一些对比实验还表明，如果兼顾收敛速度和解的品质两个指标，单纯的遗传算法未必比其他方法更优越。

遗传算法已被应用于异质计算环境中的任务匹配和调度，但它们都采用串行的方法，得到的资源分配速度不够理想。考虑到遗传算法的天然并行性，并结合网格资源分配的特点。

发明内容

本发明的目的是将能量资源引入到网格资源调度中，提出了基于并行遗传算法的网格资源分配方法。

为了实现本发明的目的，本发明的具体方法是：

第一步骤：开始；

第二步骤：主线程初始化系统数据信息创建子线程，并传送数据；

第三步骤：并行执行第四步骤至第十步骤；

第四步骤：产生子群体；

第五步骤：计算个体适应度；

第六步骤：向主线程传送最优个体；

第七步骤：判断当前时间是否是迁移率的整数倍，若是，转第八步骤；若不是，转第九步骤；

第八步骤：执行迁移；

第九步骤：执行遗传算子；

第十步骤：判断是否满足终止条件，若是，转第十一步骤；若不是，返回到第五步骤；

第十一步骤：执行停止，输出最优结果；

第十二步骤：结束。

本发明提出的遗传算法作为一种最有效的启发式全局随机搜索算法，最时候NP问题的求解。遗传算法根据自然进化论与遗传变异理论为基础求解全局最优解，其本质是一种求解问题的高效并行全局搜索算法。它能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程，从而得到最优解或准最优解。随着机器数目和任务数量的增加，问题的规模将以指数级增长，因此需要研究更为高效的能量管理算法。本发明根据遗传算法天然的并行性提出的并行遗传算法提高了算法求解的质量与速度，是一种有效的网格能量资源优化方法，有利于提高网格的服务质量。

附图说明

图1为染色体任务的DAG图。

图2为图1中DAG的2个染色体。

图3为任务调度串交叉操作的例子。

图4为匹配串交叉操作的例子。

图5为本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

在描述本发明的技术方案前，先对本发明中的一些问题作出如下定义：

在ad hoc网格里讨论的资源分配是静态的，即网格中资源和任务的信息是事先已知的，而且提交到网格中的应用已被分解成多个任务。即每一个应用进程由一组相互通信的子任务组成，子任务用一个S维向量T_s＝{t₁，t₂，...，t_s}表示，这些子任务之间存在数据依赖。这些数据依赖可以用有向无环图DAG表示。这里研究如何将互相自由通信的子任务组成的大的应用任务映射到ad hoc网络的各机器中。这种映射的目标是使所有机器的平均能量消耗最小。显然，这是一个NP问题。遗传算法作为一种最有效的启发式全局随机搜索算法，对于NP问题，能够得到满意的结果。

网格中的机器用一个M维向量表示，M_m＝{m₁，m₂，...，m_m}。这里每台机器j包括4个能量指标：

(1)初始电能B(j)；

(2)在机器j上执行一个子任务消耗的单位时间能量：E(j)；

(3)子任务之间相互通信消耗的单位时间能量：C(j)；

(4)机器之间的通信带宽：BW(j)。

这里可得到三个值：

(1)设子任务i在机器j上的预计执行时间为ETC(i，j)，得到机器j上单独执行一次子任务i消耗的能量为：ETC(i，j)×E(j)；

(2)机器之间的相互通信时间为CMT(j，k)，其中CMT＝1/min(BW(j)，BW(k))，设通信发送的数据长度为g，那么机器j和机器k之间发送数据长度为g的数据项所消耗的能量为：CMT(j，k)×C(j)×|g|；

(3)设整个应用任务结束后机器j上总的能量消耗为EC(j)，每台机器完成总任务的能量消耗百分率B_pavg＝∑_j＝1 ^M(EC(j)/B(j))/|M|。

本发明研究的环境是设定所有移动设备都是离很近的情况，即每台机器之间能单跳的通信，而不需要进行转接。在这种环境下，每台机器可以和其他任何一台机器单跳的通信，但是这台机器上的子任务完成后只转移到一个目的地，在通信过程中，一台机器能同时处理数据的发送和接收。本发明要设定以下几点是成立的：

(1)一个子任务只有完成执行后才能发送数据；

(2)一个子任务在收到所有数据项之前不能开始执行。

同时本发明提出的这种能量模型是一种简易的能量模型，它设定以下情况是成立的：

(1)子任务收到一个数据项的能量消耗被忽略；

(2)初始的数据在任务执行前已经被下载好了；

(3)机器在空闲时刻无能量消耗。

遗传算法是一个很有价值随机优化的搜索算法，它从一组初始解出发，除了目标函数值，在不需要其他信息的情况下就可以实现对可行域的全局高效搜索。遗传算法操作的是一群编码化的可行解，称为种群。它通过种群的更新与迭代来搜索全局最优解，而迭代是由选择、交叉和变异等具有生物意义的遗传算子来实现的。遗传算法的求解过程一般包括如下步骤：

(1)随机给定一组初始解；

(2)评价当前这组解的性能；

(3)根据步骤(2)，从当前解中选择一定数量的解作为基因操作的对象；

(4)通过交叉和变异等遗传算子产生后代，得到一组新解；

(5)若当前解满足要求或进化过程达到一定的代数，计算结束，否则转向步骤(2)继续执行。

对于染色体的设计：首先设计问题解的编码方式，即染色体表示。本发明采用整数形式表示问题的编码。任务和机器都用它们的序号来表示，染色体包括2部分：

第1部分是任务调度串Tsch，它是任务图的一个拓扑排序(图1)，是将DAG中所有子任务顶点排成一个线性序列，使得图中任意一对顶点t_i和他t_j，若存在边(t_i，t_j)，则子任务t_i在线性序列中出现在子任务t_j之前。Tsch为一个s维整数向量，其中Tsch(k)＝i表示任务t_i是调度串中的第k个任务，该串主要表示DAG图中服从前驱约束的子任务总的执行顺序。

其中结点表示子任务，边(t_i，t_j)表示执行先后关系，边上的值表示数据传输，另外，称t_i为t_j的直接前驱任务，称t_j为t_i的直接后继任务。如图中所示子任务t₀为子任务t₁和t₄的直接前驱，t₂为t₄的直接前驱，t₁和t₄为t₃的直接前驱。这里的子任务数为5个，调度串可以是Tsch(0，2，1，4，3)，Tsch(0，1，2，4，3)等等。注意调度串中前驱任务一定要排在后继任务的前面，即调度串是指的服从前驱约束关系的子任务序列。

第2部分是匹配串Mmat，将子任务分配给不同的机器完成。同样是一个S维向量，其中Mmat(i)＝j表示将子任务t_i分配给机器m_j去完成。

下面给出图1中DAG的一个染色体的例子(图2)，其中任务集为T＝{t₀，t₁，t₂，t₃，t₄}，机器集合为M＝{m₀，m₁，m₂}。

考虑机器上能量消耗问题，设定整个应用任务结束后机器j上总的能量消耗为EC(j)，每台机器完成总任务的能量消耗百分率B_pavg＝∑_j＝1 ^M(EC(j)/B(j))/|M|，B_pavg用于评估子任务到机器这种映射的能量消耗百分比。本发明采用B_pavg的倒数作为染色体的适应度，即f_j＝1/B_pavg。这样B_pavg越小，适应度值越大。

本发明采用赌轮选择机制挑选染色体，这种赌轮选择机制可用于复制一些染色体和删除其他染色体。适应度强的个体有更大的可能行被复制到下一代染色体中。这样就能保证优良的基因能被传递。令∑f表示群体的适应度值之总和，f_i表示种群中第i个染色体的适应度值，它产生后代的能力正好为其适应度值所占份额f_i/∑f。染色体被选中后，将经历下面的交叉、变异和评估过程。

交叉操作中，一对父染色体从染色体组中被挑选出来进行交叉操作。采取两种策略，即对于任务调度串(Tsch)和匹配串(Mmat)的交叉是不同的。对于调度串的交叉是这样操作的：对于两个任务调度串随机选择一个分割点(对两个串是相同的)，将两个串分成前后两部分，然后将后面部分中的任务重新排序，使得一个调度串中重排序的任务是这些任务在另一个串中的原始排列(见图3)。这样做的目的是保证调度串的合法性，使它仍为任务DAG的一个拓扑排序。对于机器匹配串的操作是这样进行的：对于一个匹配串随机选择一个分割点将匹配串分割成前后两部分，然后将后面部分中子任务的机器分配重新排列(图4)。

变异操作中，一个父染色体从染色体组中被挑选出来进行变异操作。被选中的染色体叫有害染色体。变异操作对任务调度串(Tsch)和机器匹配串(Mmat)也是不同的。对于调度串的变异操作首先随机选择一个任务，然后确定该任务的合法变化范围。这里合法变化范围指的是在拓扑排序中该任务的所有直接前趋任务之后和所有直接后继任务之前的位置。经过变异操作，该任务被随机地移动到合法范围内的其他位置。对于匹配串变异操作较简单，即从任意选择的一个匹配串中随机选取两个机器，然后把这两台机器完成的任务交换即完成匹配串的变异。

染色体经过以上的交叉操作和变异操作之后，得到新一代的个体。只要这些新的个体不违背时间约束和能量约束，它们将代替父染色体，否则这些新生代被丢弃。本发明将这种迭代操作进行一次生成的染色体群叫做第一代个体，迭代n次生成的染色体群叫第n代个体。这里提到的时间约束和能量约束条件包括：

(1)一个应用总任务中的所有子任务都必须被执行；

(2)映射总任务到网格时，子任务执行和机器间数据通信所消耗的能量不能超过每台机器的初始电能B(j)；

(3)给定一个最优跨度T，即总的应用任务完成的时间不能超过T；

(4)在一台速率为1GH典型无负载台式机上，每一个映射执行的时间不得超过60min。

当然对于染色体的交叉操作和变异操作是以一定概率进行的，本发明的方法中交叉概率取0.4，变异概率取0.2。这些概率是通过实验的方法选定的。

并行遗传算法可以克服经典遗传算法的不足，从而提高遗传算法的求解速度和质量。目前，并行遗传算法主要存在主从式、粗粒度和细粒度的并行化模型。粗粒度模型又称分布式模型或孤岛模型，是适应性最强和应用最广的遗传算法并行化模型。粗粒度模型是将随机生成的初始群体依处理器个数分割成若干个子群体。各个子群体在不同的处理器上相互独立地并发执行。每经过一定的进化代，各子群体间会交换若干个体以引入其它子群体的优秀基因，丰富各子群体的多样性，防止未成熟收敛的发生。另外，粗粒度模型的通信开销较小，可获得接近线性的加速比，而且非常适合运行在通信带宽较低的集群系统上。本发明是基于粗粒度并行遗传算法设计的。

本发明初始化子群体采用各个子节点相互独立的随机生成自己的初始子种群，由于并发执行，可以节省子群体初始化的时间。

本发明子群体间的连接拓扑包括单向环(子群体邻居数为1)、双向环(子群体邻居数为2)、超环面(子群体邻居数为4)等。根据本发明的目的，采用双向环拓扑方式，每个子群体与相邻的两个子群体交换个体，得到了较好的结果。

本发明子群体的迁移策略：粗粒度模型引入了“迁移”算子，负责管理子种群之间的个体交换。迁移策略的主要控制参数如下：

(1)迁移规模n_m：即每次迁移个体的数目，迁移规模通常以绝对数或以子种群大小的百分比形式给出。有的实现采用大于1的迁移规模，这是因为迁移个体在同其它子种群中完全不同的个体重组时，生存机会较小。本发明中取n_m＝2。

(2)迁移率t：指的是个体迁移的时间间隔，即隔几代迁移一次，也可以在一代之内迁移。一般而言，迁移间隔过小，不利于得到高质量的解，本发明中取t＝10。

(3)迁移选择与替换：在粗粒度模型中，有的选择子群体中最优的个体向外“移民”，有的采用适应度比例或者排列比例来选择迁移个体，也有的采用随机选取。迁移替换与迁移选择的策略类似，但大多数情况下是把最差的个体替换掉。本发明中采取最优个体迁出，最差个体被取代的策略。

(4)通信方式：子种群间的通信有同步和异步方式两种。大多数粗粒度的并行遗传算法通常采用的同步迁移方式，即在一定的进化代进行迁移操作。在本发明中也采用同步的方式。

本发明终止条件主要有3个终止条件：(1)预设最大迭代代数，当达到最大迭代代数时，执行终止；(2)在连续若干代以后染色体的适应度没有明显改进时，执行终止。(3)种群已经收敛，也就是种群中所有染色体具有相同的适应度。

本发明首先在一个主线程中初始化任务集合，机器集合，任务的执行时间矩阵E，子任务对机器的映射等信息。然后产生若干子线程并映射到不同的处理器上，各子线程独立生成初始子种群，并行地进行进化计算，并将每代的最优个体传给主线程，主线程进行比较，并保留其中最优个体。当到达预定代数时，进行子群体间的迁移操作。直到满足终止条件，主线程和各子群体的操作结束。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1、一种基于并行遗传算法的网格资源分配方法，具体方法是：

第一步骤：开始；

第二步骤：主线程初始化系统数据信息创建子线程，并传送数据；

第三步骤：并行执行第四步骤至第十步骤；

第四步骤：产生子群体；

第五步骤：计算个体适应度；

第六步骤：向主线程传送最优个体；

第七步骤：判断当前时间是否是迁移率的整数倍，若是，转第八步骤；若不是，转第九步骤；

第八步骤：执行迁移；

第九步骤：执行遗传算子；

第十步骤：判断是否满足终止条件，若是，转第十一步骤；若不是，返回到第五步骤；

第十一步骤：执行停止，输出最优结果；

第十二步骤：结束。

Images