CN103226759A - 基于遗传算法的动态云工作流调度方法 - Google Patents

Abstract

本发明公开了一种运用遗传算法优化动态云工作流的方法，算法的目标是最小化迭代执行的云工作流的每周期平均费用，并使得工作流每次在动态环境中执行一个周期的总执行时间不超过用户定义的最大执行期限。由于工作流在云计算的实现环境下执行方式是动态多变的，本发明提出的方法对工作流所有可能出现的流拓扑结果进行整体建模，从而综合考虑了云工作流的动态时变的特性，并采用遗传算法使得云工作流在动态环境中执行的平均性能得到优化，从而提高了云工作流的执行效率。

Description

基于遗传算法的动态云工作流调度方法

技术领域：

本发明涉及云计算以及智能算法两大领域，主要涉及一种基于遗传算法的动态云工作流调度方法。

技术背景：

云计算是近年来快速兴起的一类新型的计算模式，已成为了我国十二五期间的重要发展方向。云计算通过对大量计算资源的虚拟聚合和共享，实现按需向用户提供各种各样的计算服务，因此能够满足日益增长的大数据处理需求。为了进一步提高云计算系统对大数据的管理和处理能力，如何合理、高效地调度云计算的资源从而实现向用户弹性地提供计算服务是提高云计算系统性能的关键。

在云计算环境中，由于云计算资源的数量庞大、云系统所承担的计算服务量也相当巨大，云网络的使用状态也时刻变化，因此动态时变性是云计算系统运作过程中所具有的重要特征。在应用云计算处理大数据计算任务时，一类常用的任务组织方式是工作流。工作流定义为一个完成复杂目标的特定的任务序列。通常地，工作流可以通过有向无环图(DAG)的形式给出，图的节点表示单个任务，而节点之间的有向边表示任务之间的优先约束关系。然而，在现有的工作流调度模型中，一个工作流的控制流拓扑结构是固定不变的，即是由单一的DAG给出。在实际应用中，云工作流的控制流结构可能还具有IF-THEN等选择分支，其控制流拓扑结构也具有动态时变的特性，如何能够在云工作流调度过程中考虑云环境和云工作流控制拓扑的动态时变特性，从而进一步提高云工作流调度系统在动态、时变环境中的可用性，对云工作流调度方法提出了新的挑战。

随着优化技术的发展，如遗传算法等新型的元启发式智能计算方法为复杂优化问题的求解提供了新的有效手段。遗传算法是模拟自然界生物的进化现象而提出的一种随机式优化方法，它自20世纪60年代提出以来引起了广泛的关注，并且已经被成功地应用于众多科学与工程领域的应用中。利用遗传算法所提高的全局优化能力，本发明提出了一种基于历史运行信息统计分析循环执行的云工作流的控制流拓扑结构及其发生概率，基于遗传算法优化动态时变环境中云工作流的平均期望性能的方法，从而有效地提高了动态时变环境下云工作流调度的效率。

发明内容：

本发明提出了基于遗传算法的动态云工作流调度方法。该方法采用了一种基于历史统计信息的云工作流控制流拓扑结构描述模型。该模型的主要特征是：

(1)采用一个有向无环图G＝(V，A)对云工作流进行建模，节点的集合V＝{T₁，T₂，…，T_n}对应工作流中的任务，有向边的集合A表示任务之间的优先次序关系。

(2)根据该工作流在执行过程中可能出现的各种控制流，可以将该图G分解为一系列的子图{Φ₁，Φ₂，...，Φ_Γ}，其中Γ表示所有拓扑的总数，其中每一个子图也是一个有向无环图，对应该动态工作流可能出现的一种控制流拓扑结构。

(3)每种控制流拓扑结构Φ_j都对应着一个概率p_j，表示动态工作流采取该种控制流拓扑结构执行的概率，这个概率是根据工作流在此前的500次历史执行记录信息中采取该控制流拓扑结构的比例而统计得出的，有

(4)在模型中，工作流调度解是可行的，当且仅当调度解对所有工作流可能出现的控制流拓扑结构{Φ₁，Φ₂，...，Φ_Γ}，其执行时间都能够满足用户自定义的执行时间限制Deadline。

(5)该模型的优化目标是找到一组云工作流调度方式K，使得云工作流在动态环境下执行的费用耗费的期望值

$\frac{1}{\mathrm{\Γ}}\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_{j}K.C\left({\mathrm{\Φ}}_j\right)$

最小化，其中K.C(Φ_j)是指调度K在控制流拓扑结构Φ_j下所需的费用。

基于这一模型，所提出的算法的主要步骤包括：

(1)初始化算法的交叉率px、变异率pm和种群大小参数popsize，并生成第一代种群；

(2)评价种群中每个个体的适应值；

(3)采用竞争选择的方式，从上一代种群中选出popsize个个体；

(4)对上述选出的每个个体，根据交叉概率px进行单点交叉操作；

(5)对上述选择、交叉后得到的个体，按照变异概率pm实施单点变异操作；

(6)对由步骤(4)-(5)所得到的新一代种群的每个个体进行适应值评价。

(7)用目前算法所找到的最优个体替换当前一代种群的最差个体。

(8)如果达到结束条件则结束程序，否则回到步骤(3)。

附图说明：

图1动态云工作流的多控制流拓扑结构有向无环图建模示意图

图2基于遗传算法的动态云工作流调度方法流程图

具体实施方式：

以下结合附图进一步对发明的方法进行描述。

云工作流可以通过一个有向无环图G＝(V，A)来表述，其中节点的集合V＝{T₁，T₂，…，T_n}对应工作流中的计算任务，n是工作流所包含的任务的数目，一条有向边(T_i，T_j)表示任务T_i和T_j之间的优先约束关系，即任务T_j只能在其父任务T_i完成后才能开始执行。在云计算的环境下，每项任务都可以通过多种不同的云计算服务来实现，即任务T_i对应一系列与其相关的云服务

其由

表示一种可用于实现T_i的云计算服务，m_i是任务T_i所对应的所有可用云服务的总数。一个云服务的属性可以用一组二元组来表示

其中，

和

分别代表服务的执行时间和费用。

传统上基于有向无环图的工作流调度模型往往是静态的。但在实际云计算应用中，由于云系统及计算应用的时变动态特性，云工作流往往也具有一定的时变动态特性。为了能够使提出的方法能够充分考虑云工作流的时变动态特性，本发明所采用的云工作流调度模型将云工作流对应的有向无环图G分解为一系列的子图{Φ₁，Φ₂，...，Φ_Γ}，其中Γ表示所有拓扑的总数，其中每一个子图也是一个有向无环图，对应该动态工作流可能出现的一种控制流拓扑结构。每种控制流拓扑结构Φ_j都对应着一个概率p_j，表示动态工作流采取该种控制流拓扑结构执行的概率，这个概率是根据工作流在此前的500次历史执行记录信息中采取该控制流拓扑结构的比例而统计得出的，有

基于这种建模方式，本发明所采用的模型就能够充分地考虑云工作流所具有的动态时变特性。在模型中，工作流调度解是可行的，当且仅当调度解对所有工作流可能出现的控制流拓扑结构{Φ₁，Φ₂，...，Φ_Γ}，其执行时间都能够满足用户自定义的执行时间限制Deadline。该模型的优化目标是找到一组云工作流调度方式K，使得云工作流在动态环境下执行的费用耗费的期望值

$\frac{1}{\mathrm{\Γ}}\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_{j}K.C\left({\mathrm{\Φ}}_j\right)$

最小化，其中K.C(Φ_j)是指调度K在控制流拓扑结构Φ_j下所需的费用。

基于这一模型，所提出的算法的主要步骤包括：

(1)初始化算法的交叉率px、变异率pm和种群大小参数popsize，并生成第一代种群，种群中每个个体的编码方式为

K(k₁，k₂，…，k_n)

其中，k_i表示将工作流的任务T_i匹配到相应的云计算服务

执行。

(2)评价种群中每个个体的适应值，评价的方式是：根据动态云工作流的每一种可能的控制流拓扑结构Φ_j，分别计算每个解K在该拓扑结构Φ_j下所需的执行时间K.T(Φ_j)和费用开销K.C(Φ_j)。如果对于所有的拓扑结构Φ_j，都有K.T(Φ_j)≤Deadline，即所有拓扑结构下工作流的执行时间都能够满足用户所定义的完成期限Deadline，则解K的适应值K.fitness按如下式子计算：

$K.\mathrm{fitness}=\frac{1}{\mathrm{\Γ}}\underset{j=1}{\overset{\mathrm{\Γ}}{\mathrm{\Σ}}}{p}_{j}K.C\left({\mathrm{\Φ}}_j\right)$

如果该调度K在一个或多个控制流拓扑结构中有K.T(Φ_j)＞Deadline，不能满足用户定义的完成期限，则该解K的适应值设置为适应值的上限MAX。解K的适应值越低，表明该解的质量越优。

(3)采用竞争选择的方式，从上一代种群中选出popsize个个体。即算法首先从种群中任意选择出两个个体，比较这两个个体的适应值K.fitness的大小，并从中选择K.fitness较小的一个进入新的种群之中。按照上述步骤重复执行popsize次得到popsize个进入下一代种群的个体。

(4)对上述选出的新一代群体进行交叉操作。首先对于每一个个体，按照交叉概率px确定是否需要对该个体进行交叉操作。对于需要进行交叉操作的个体，算法按照随机的方式将这些个体两两配对。设配对的两个个体分别为和

则这两个个体按照如下的方法进行交叉操作：①生成一个1到n-1之间的随机整数p作为交叉位置；②将这两个个体按照位置p作单点交叉得到两个新的个体

和

③将交叉得到的新个体代替其父母个体。对于不需要进行交叉的个体，将在新一代种群中继续保留。

(5)对选择、交叉后得到的新一代种群进一步进行变异操作。首先对于每一个个体，按照变异概率pm确定是否需要对该个体进行变异操作。如果需要进行变异操作，则任意选择K(k₁，k₂，…，k_n)中的一项k_ran，其中ran是1到n之间的随机整数，并将k_ran设置为集合

中的任意一种。

(6)对由上述步骤(4)-(5)所得到的新一代种群的每个个体，按照步骤(2)的方式进行适应值评价。

(7)用目前算法所找到的最优个体替换当前一代种群的最差个体。

(8)如果达到结束条件则结束程序，否则回到步骤(3)。

整个算法的流程图如图2所示。

Claims (2)

1.一种基于遗传算法的动态云工作流调度方法，其特征在于，该方法采用了一种基于历史统计信息的云工作流控制流拓扑结构描述模型，该模型的主要特征是： 

(1)采用一个有向无环图G＝(V，A)对云工作流进行建模，节点的集合V＝{T₁，T₂，…，T_n}对应工作流中的任务，有向边的集合A表示任务之间的优先次序关系； 

(2)根据该工作流在执行过程中可能出现的各种控制流，可以将该图G分解为一系列的子图{Φ₁，Φ₂，...，Φ_Γ}，其中Γ表示所有拓扑的总数，其中每一个子图也是一个有向无环图，对应该动态工作流可能出现的一种控制流拓扑结构； 

(3)每种控制流拓扑结构Φ_j都对应着一个概率p_j，表示动态工作流采取该种控制流拓扑结构执行的概率，这个概率是根据工作流在此前的500次历史执行记录信息中采取该控制流拓扑结构的比例而统计得出的，有

(4)在模型中，工作流调度解是可行的，当且仅当调度解对所有工作流可能出现的控制流拓扑结构{Φ₁，Φ₂，...，Φ_Γ}，其执行时间都能够满足用户自定义的执行时间限制Deadline； 

(5)该模型的优化目标是找到一组云工作流调度方式K，使得云工作流在动态环境下执行的费用耗费的期望值 

最小化，其中K.C(Φ_j)是指调度K在控制流拓扑结构Φ_j下所需的费用。 

2.一种基于遗传算法的动态云工作流调度方法，其特征在于，该遗传算法的主要流程包括： 

(1)初始化算法的交叉率px、变异率pm和种群大小参数popsize，并生成第一代种群； 

(2)评价种群中每个个体的适应值； 

(3)采用竞争选择的方式，从上一代种群中选出popsize个个体； 

(4)对上述选出的每个个体，根据交叉概率px进行单点交叉操作。 

Images