CN101477475A - 运用蚁群算法优化动态网格工作流的方法 - Google Patents

Abstract

本发明公开了一种使用蚁群算法求解动态网格工作流调度问题的方法。算法在一个周期内通过跟踪工作流的拓扑结构而对一个调度的性能进行评估。在蚁群算法的迭代搜索过程中，蚂蚁根据信息素和启发式信息的取值对工作流进行调度。在解的构造过程中，蚂蚁会改变它选择的路径上的信息素，称为局部信息素更新。在所有解构造完成后，算法还要进行全局信息素的更新，以加强最优解上的信息素。此外，设计出了完整的启发式信息用以平衡工作流的费用和时限。最后，通过对9任务4拓扑网格工作流的优化，证明了发明的方法是有效的。

Description

运用蚁群算法优化动态网格工作流的方法

技术领域：

本发明涉及网格计算以及智能算法两大领域，主要涉及一种基于蚁群算法的动态网格工作流优化方法。

技术背景：

网格计算可以支持大范围的并行和分布式计算，被认为是有潜力的下一代计算平台。与电网类似，计算网格使得分布于不同地理位置的各种不同计算资源的共享、选择和协同运作成为可能。网格技术可以满足科学和商业上的计算需求，并且提供了解决计算密集型问题的可行方法。最近，开放式网格服务体系结构(OGSA)将网络服务引入到网格模型中，并且迅速成为了占主导地位的技术。OGSA通过引入更加丰富的计算资源而加强了网格技术。

在网格中处理的计算应用通常称为工作流。在网格的环境中，工作流定义是：一个完成复杂目标的特定的任务序列。在网格计算中，如何调度工作流以达到更高的性能是一个十分重要的问题。在OGSA中，一个任务可以由任意一组由不同的网格服务供应商提供的服务进程完成。一个具有挑战性的问题是如何将任务映射到服务进程中以满足用户对服务质量(QoS)的要求并达到工作流的最高性能。这一问题是NP-完全问题。在OGSA的环境下，工作流调度者需要平衡多个对QoS的要求，包括时限和费用等。因此，很多传统的工作流调度算法，例如OLB算法，MET算法，MCT算法，Min-min算法，Max-min算法，Duplex算法，Sufferage算法和HEFT算法等并不适用。

近年来，带有多个QoS要求的网格工作流调度问题成为了研究的热点。由于网格应用的规模越来越大，传统的确定性算法往往不能给出令人满意的解。因此，元启发式算法得到研究人员的更多关注，包括蚁群算法和粒子群算法等。但是，已提出的方法只能针对拓扑结构不变的工作流进行处理。在日常应用中，还存在另一种拓扑结构会随着时间变化的动态工作流。例如，一些科学工作流会在不同的计算阶段采用不同的拓扑结构。此外，许多商业工作流也运用多种拓扑以完成长期的业务流程。为了解决动态工作流的调度问题，调度者需要在一个周期中考虑工作流的性能并给出最优的调度方案。

本发明的目标是解决在网格中的时变工作流调度问题，最小化在一个周期中的总费用并满足时限的约束。

发明内容：

本发明将蚁群算法运用到动态网格工作流的优化中。算法的具体步骤包括：

(1)初始化算法的各个参数，并设置信息素的初始值为τ₀，其取值由以下公式决定：

${\mathrm{\τ}}_0=\frac{\min \_\mathrm{total}\_\cos t}{\max \_\mathrm{total}\_\cos t}$

其中，min_total_cost和max_total_cost分别表示工作流在一个周期内最小和最大费用。

(2)所有蚂蚁进行解的构造。在构造解的每一步中，蚂蚁会基于信息素和启发式信息选择一个服务进程，并将任务队列中第一个未映射的任务映射到这个服务进程中。选择将任务T_i映射到

的方法为

公式中q∈[0，1]为一个随机数，q₀∈[0，1]为一个预先定义的算法参数。β≥1是决定信息素和启发式信息相对影响的参数。

启发式信息的计算方法为：

${\mathrm{\η}}_{\mathrm{ij}}=\frac{1}{2}({\mathrm{\η}}_{\mathrm{ij}}^c+{\mathrm{\η}}_{\mathrm{ij}}^t)$

其中，表示费用的启发式信息而则表示执行时间的启发式信息。

当蚂蚁将一个任务T_i映射到一个服务进程

后，马上执行局部信息素的更新。局部信息素更新的方法由以下公式给出

τ_ij＝(1-ρ)·τ_ij+ρ·τ₀

其中，ρ∈(0，1)是一个参数。

(3)评估所有蚂蚁构造出的解的适应值，使用的适应值函数为：

其中，Kmax_makespan表示调度K的最大工期，Deadline表示期限约束，K.cost为调度K的费用。

(4)执行全局信息素的更新。加强历史最优解上的信息素。假设K(K₁，K₁，...，K_n)(表示任务T_i映射到服务进程

)是历史最优解，那么更新公式为：

${\mathrm{\τ}}_{{\mathrm{iK}}_i}=(1-\mathrm{\ρ})\·{\mathrm{\τ}}_{i{K}_i}+\mathrm{\ρ}\·K\·\mathrm{fitness},i=\mathrm{1,2},...,n$

其中，K.fitness表示调度K的适应值。

(5)如果达到结束条件则终止程序，否则返回步骤(2)。

本发明考虑的是网格环境中的动态工作流调度问题，调度的目标是最小化在一个周期的内的费用，并且满足期限的约束条件。发明的算法通过追踪工作流调度一个周期内的拓扑变化来计算其性能。此外，设计了完整的启发式信息用以平衡问题的目标和约束条件。因此，发明的算法在动态工作流调度问题的求解上是十分有效的。

附图说明：

图1 蚁群算法优化动态网格工作流的流程图

图2 e-Economic工作流的基本结构图

具体实施方式：

以下结合附图进一步对发明的方法进行描述。

网格工作流可以以有向无环图(DAG)的形式给出：G＝(V，A)。在该模型中，令n为工作流中任务的数量，节点的集合V＝{T₁，T₂，…，T_n}对应工作流中的任务。箭线的集合A表示任务之间的优先次序关系。一条箭线用(T_i，T_j)表示，其中T_i称为T_j的父任务，而T_j称为T_i的子任务。在正常情况下，一个子任务只能在其所有父任务都完成后才能开始执行。

每个任务T_i(1≤i≤n)都有一个执行范围 $S_i=\{s_i^1,s_i^2,\·\·\·,s_i^{m_i}\},$ 其中

表示由工作站提供的一个服务进程，m_i表示T_i可用的服务进程的数量。一个服务进程的属性可以用一组四个变量来表示

其中，

表示

所属的工作站是

和

分别代表

的执行时间和费用。

在动态工作流中，每个任务都有两种工作状态：活跃和不活跃。只有当任务处于活跃(也就是工作)状态时，它才能影响工作流的总体费用和时间。工作流的拓扑定义为由所有活跃的任务所组成的一个工作流结构。时间单位是指一个预定义的整个工作流完整执行一次的时间段。一个周期由多个时间单位组成。假设在一个带有P个时间单位的周期内，一个工作流的拓扑序列可以表示为{Φ₁，Φ₂，...，Φ_Г}，其中Г表示所有拓扑的总数，每个Φ_i持续p_i个时间单位。于是可得：

$P=\underset{i=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_i$

工作流调度算法的作用是将工作流中的所有任务映射到服务进程，以生成最优的具体工作流。算法的目标是最小化工作流在一个周期内的总费用，并使得其在每个单位时间内的执行时间不超过一个用户定义的变量Deadline。

在本发明中，运用蚁群算法求解在网格环境下的动态工作流调度问题。蚁群算法运用一系列人工蚂蚁，通过信息素的释放和追踪，进行循环搜索问题的最优解。在每一个循环里，每只蚂蚁根据信息素和启发式信息选择组成部分以构造出问题的一个解。在解的构造过程中，蚂蚁会改变它选择的路径上的信息素，称为局部信息素更新。在所有解构造完成后，算法还要进行全局信息素的更新，以加强最优解上的信息素。

在蚁群算法中，启发式信息用于指导人工蚂蚁进行搜索，因此它对调度问题是十分重要的。假设将任务T_i映射到服务进程

的启发式信息为η_ij。η_ij由两部分组成，目的是平衡调度问题的目标和约束条件：

${\mathrm{\η}}_{\mathrm{ij}}=\frac{1}{2}({\mathrm{\η}}_{\mathrm{ij}}^c+{\mathrm{\η}}_{\mathrm{ij}}^t)$

其中，

表示费用的启发式信息而

则表示执行时间的启发式信息。

根据如下公式进行计算：

${\mathrm{\η}}_{\mathrm{ij}}^c=\frac{\max \_{\cos t}_i-s_i^j.c+1}{\max \_{\cos t}_i-\min \_{\cos t}_i+1}$

其中， $\min \_{\cos t}_i={\min }_{1\≤j\≤m_i}\{s_i^j.c\},$ $\max \_{\cos t}_i={\max }_{1\≤j\≤m_i}\{s_i^j.c\}.$ 这样费用较低的服务进程就带有更高的启发式信息。

通过比较一个进程的执行时间与对应任务估计的执行期限(ESD)而计算得出。ESD可以在所有任务都活跃的拓扑结构中计算得出。在计算ESD之前，首先需要计算每个任务的最早开始时间以及后向最早开始时间。任务T_i的最早开始时间(EST_i)的计算方法为：将每个任务T_i映射到执行时间最短的服务进程中，EST_i等于在这种映射下任务T_i的开始时间。此外，在这种映射方法下的工作流执行总工期可以被看作估计的最小总工期，并用min_Makespan表示。任务T_i的后向最早开始时间(BEST_i)的计算方法为：通过将DAG中的开始节点作为结束节点，将结束节点作为开始节点，并将所有的箭线的方向反转，就可以将DAG转换为一个后向网络。对于每个任务T_i，在后向网络中的EST_i值就是BEST_i。

基于以上两个时间，就可以计算任务T_i的平均最短执行时间：

$\mathrm{avg}\_\min \_{\mathrm{time}}_i=\frac{({\min }_{{\∀T}_j\∈\mathrm{succ}\left(T_i\right)}\left\{{\mathrm{EST}}_j\right\}-{\mathrm{EST}}_i)+({\min }_{\∀T_j\∈\mathrm{pred}\left(T_i\right)}{\mathrm{BEST}}_j-{\mathrm{BEST}}_i)}{2}$

任务T_i的估计执行期限可以如下进行计算

于是计算

的公式为：

MAT＝max{|max_time_i-ESD_i|，|ESD_i-min_time_i|}

根据以上的公式，执行时间小于ESD的服务进程将被赋予同样的启发式信息。对于执行时间超出ESD的服务进程，执行时间越长那么启发式信息就越小。

在蚁群算法中，蚂蚁通过调整信息素来指导后续的搜索过程。在算法的初始化阶段，所有的信息素都设置为一个初始值τ₀，其取值由以下公式决定：

${\mathrm{\τ}}_0=\frac{\min \_\mathrm{total}\_\cos t}{\max \_\mathrm{total}\_\cos t}$

其中，min_total_cost和max_total_cost分别表示工作流在一个周期内最小和最大费用。

当蚂蚁将一个任务Ti映射到一个服务进程

后，马上执行局部信息素的更新。局部信息素更新的方法由以下公式给出

τ_ij＝(1-ρ)·τ_ij+ρ·τ₀

其中，ρ∈(0，1)是一个参数。由于τ₀同时也是信息素的最低值，因此局部信息素更新的作用是降低τ_ij的取值以增加算法的多样性。

当所有蚂蚁都构造完解后执行全局信息素的更新，加强历史最优解上的信息素。假设K(K₁，K₁，...，K_n)(表示任务Ti映射到服务进程

)是历史最优解，那么更新公式为：

${\mathrm{\τ}}_{{\mathrm{iK}}_i}=(1-\mathrm{\ρ})\·{\mathrm{\τ}}_{i{K}_i}+\mathrm{\ρ}\·K\·\mathrm{fitness},i=\mathrm{1,2},...,n$

基于定义好的启发式信息和信息素，蚂蚁就可以进行解的构造了。在每一次循环中，蚂蚁分N步对问题的解进行构造。在构造解的每一步中，蚂蚁会基于信息素和启发式信息选择一个服务进程，并将任务队列中第一个未映射的任务映射到这个服务进程中。选择将任务T_i映射到的方法为

在这种选择方法中，生成一个随机数q∈[0，1]，并将其与一参数q₀∈[0，1]比较。如果q≤q₀，那么蚂蚁就会将T_i映射到含有最大值的服务进程中。否则，将运用轮盘赌的选择方法，也就是选择

的可能性与

大小成正比。其中，β≥1是决定信息素和启发式信息相对影响的参数。

在所有蚂蚁完成解的构造后，需要根据适应值函数判断每个解的优劣。对于一个调度K而言，适应值是根据其在一个周期内的性能给出的。由于工作流在一个周期中有多种不同的拓扑结构，调度K的总费用就是每个拓扑结构费用的总和。第j个拓扑的费用cost_j可以根据以下公式计算：

${\cos t}_j=p_j\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{act}(i,j)\·S_i^{K_i}.c$

其中，act(i，j)表示任务i在拓扑j中的工作状态。如果该任务是活跃的，那么act(i，j)的取值为1，否则取值为0。

因此，调度K的费用如下给出：

$K.\cos t=\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{\cos t}_j=\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_j\·\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{act}(i,j)\·S_i^{K_i}.c$

为了满足调度问题的期限约束，必须保证K的最大工期K.max_makespan在任何时间单位都不能大于一个用户定义的期限。约束用数学公式的表达为：

K.max_makespan＝max_1≤i≤PK.makespan_i≤Deadline

其中K.makespan_i是在第i个时间单位的工期。

K的适应值由两部分组成：期限部分和费用部分。如果K的最大工期在所有时间单位内均满足期限的约束，那么期限部分的取值为1，而费用部分的取值则随着费用的降低而升高。在另一方面，如果K不能满足期限约束，那么期限部分就要根据满足程度进行取值，而费用部分则被限制在一个较小的取值。每一部分的取值区间均为(0，1]，因此适应值的取值区间为(0，2]。用公式表达为：

其中，min_total_cost和max_total_cost分别表示工作流在一个周期内最小和最大费用。它们通过以下公式进行计算：

$\min \_\mathrm{total}\_\cos t=\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_j\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{act}(i,j)\·\min \_{\cos t}_i$

$\max \_\mathrm{total}\_\cos t=\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_j\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{act}(i,j)\·\max \_{\cos t}_i$

蚁群算法优化动态网格工作流的流程图如图1所示。

用一个实例对提出的算法进行性能上的测试。图2是9任务e-Economic工作流的基本结构图。假设工作流的运行周期为30个时间单位，运行时间刚好每时间单位一次。除了T₄和T₅以外所有任务在整个时间段内都处于工作状态。但是，T₄和T₅的工作状态是可变的，因此工作流在一个周期内有4种不同的拓扑结构。在实验中，随机为工作流中的每个任务赋予6到10个进程，这些进程的费用和执行时间也是随机初始化的。算法的参数设置为：蚂蚁数量等于30，最大循环次数等于250，β＝1.2，ρ＝0.1，q₀＝0.5。实验设置了多个不同的期限约束，并对每种约束运用发明的算法进行100次求解。在所有执行结果中，蚁群算法均可以得到最优或接近最优的调度。这证明发明的算法在动态网格工作流优化中是十分有效的。

Claims (4)

1、一种运用蚁群算法优化动态网格工作流的方法，其特征在于，该方法包括以下步骤：

(1)初始化算法的各个参数，并设置信息素的初始值为τ₀。

(2)所有蚂蚁进行解的构造。在构造解的每一步中，蚂蚁会基于信息素和启发式信息选择一个服务进程，并将任务队列中第一个未映射的任务映射到这个服务进程中。选择将任务T_i映射到

的方法为

公式中q∈[0，1]为一个随机数，q₀∈[0，1]为一个预先定义的算法参数。β≥1是决定信息素和启发式信息相对影响的参数。

当蚂蚁将一个任务T_i映射到一个服务进程

后，马上执行局部信息素的更新。局部信息素更新的方法由以下公式给出

τ_ij＝(1-ρ)·τ_ij+ρ·τ₀

其中，ρ∈(0，1)是一个参数。

(3)评估所有蚂蚁构造出的解的适应值。

(4)执行全局信息素的更新。加强历史最优解上的信息素。假设K(K₁，K₁，...，K_n)(表示任务T_i映射到服务进程)是历史最优解，那么更新公式为：

${\mathrm{\τ}}_{{\mathrm{iK}}_i}=(1-\mathrm{\ρ})\·{\mathrm{\τ}}_{{\mathrm{iK}}_i}+\mathrm{\ρ}\·K.\mathrm{fitness},$ i＝1，2，...，n

其中，K.fitness表示调度K的适应值。

(5)如果达到结束条件则终止程序，否则返回步骤(2)。

2、基于权利要求1所述的一种运用蚁群算法优化动态网格工作流的方法，其特征在于信息素的初始值为τ₀由以下公式决定：

${\mathrm{\τ}}_0=\frac{\min \_\mathrm{total}\_\cos t}{\max \_\mathrm{total}\_\cos t}$

其中，min_total_cost和max_total_cost分别表示工作流在一个周期内最小和最大费用。

3、基于权利要求1所述的一种运用蚁群算法优化动态网格工作流的方法，其特征在于启发式信息的计算方法为：

${\mathrm{\η}}_{\mathrm{ij}}=\frac{1}{2}({\mathrm{\η}}_{\mathrm{ij}}^c+{\mathrm{\η}}_{\mathrm{ij}}^t)$

其中，

表示费用的启发式信息而

则表示执行时间的启发式信息。

4、基于权利要求1所述的一种运用蚁群算法优化动态网格工作流的方法，其特征在于使用的适应值函数为：

其中，Kmax_makespan表示调度K的最大工期，Deadline表示期限约束，K.cost为调度K的费用。

Images