CN103473122B - 一种云计算环境中的工作流系统资源调度方法 - Google Patents

Abstract

本发明公开了一种云计算环境中的工作流系统资源调度方法，用于对一工作流中的若干任务进行调度，包括如下步骤：步骤S1：对工作流中的所有任务进行分组；步骤S2：将工作流的最晚完成时间分别分配到每个任务组上；并计算每个任务组的最晚完成时间；步骤S3：对所有任务组进行拓扑排序；步骤S4：将任务组按拓扑排序值由高到低依次运行；将每个任务安排在费用最低的云服务虚拟机和时段。本发明的有益效果在于：利用动态规划算法，能找到工作流中串行部分的最优解，而相比基于平均价格的算法，能更合理的把任务安排到价格较低的时段和云服务虚拟机，从而使得总体价格更加便宜。

Description

一种云计算环境中的工作流系统资源调度方法

技术领域

本发明属于云工作流系统技术领域，具体涉及一种云计算环境中的工作流系统资源调度方法。

背景技术

近年来，云计算已经成为一种新的大规模分布式计算方式，它提供了一种动态的可扩展的服务方式。在支持云计算的服务中，用户只需要在必要的时候调用相应的服务，并且只需对他们使用的部分进行付款。

云计算环境中的工作流系统不仅能发挥更大的效用，也能为云计算服务提供便利。一方面，大量的云服务提供商可以为用户提供比集群更加庞大的工作流执行能力，另一方面，种类繁多的云服务也能通过工作流组织起来，便于用户设计运行满足特定需求的工作流流程。

由于在云计算环境中的工作流同之前的网格工作流等相比，运行环境有了巨大变化，用户对于工作流系统的效率、安全性等方面也有了更高的要求，为了满足用户的不同需求，传统工作流的一些典型问题需要被重新思考，例如调度问题，云资源管理问题等。云工作流中包含的所有任务都是在若干云服务虚拟机上运行的，不同的任务在不同的云服务虚拟机上的运行费用，以及在不同运行时段的运行费用都是不同的，有必要对工作流中的任务作出更合理的调度，使云工作流在使用者期待的结束时间之前运行结束，且尽量降低使用者的开销。

发明内容

为了克服现有技术中存在的缺陷云工作流资源调度不合理的缺陷，本发明提供一种能够降低使用者的开销的云计算环境中的工作流系统资源调度方法，具体的技术方案如下：

一种云计算环境中的工作流系统资源调度方法，用于对一工作流中的若干任务进行调度，工作流在若干云服务虚拟机上运行，每个任务可在一台云服务虚拟机上运行，该调度方法包括如下步骤：

步骤S1：对工作流中的所有任务进行分组，获得若干任务组，每个任务组中包括一个或多个串行的任务；

步骤S2：将工作流的最晚完成时间分别分配到每个任务组上，使得每个任务组的最晚完成时间不晚于工作流的最晚完成时间；分别计算工作流中每个任务的最晚完成时间，再经计算得到每个任务组的最晚完成时间；

步骤S3：对所有任务组进行拓扑排序，计算每个任务组的拓扑排序值，根据拓扑排序值对所有任务组进行降序排序；

步骤S4：将任务组按拓扑排序值由高到低依次运行；依次计算每个任务组中每个任务在每个云服务虚拟机上的最低运行费用，将每个任务安排在费用最低的云服务虚拟机和时段。

作为优化方案，步骤S1进一步包括，对所有任务进行分组的方法为：

对工作流中的所有任务进行遍历；对于正在访问的当前任务，若当前任务仅有一个前继任务，且前继任务仅有当前任务一个后继任务，则将前继任务和当前任务加入同一任务组，否则加入不同的任务组。

作为优化方案，步骤S2进一步包括，工作流中每个任务的最晚完成时间的计算方法如下：

由工作流中出度为零的任务向入度为零的任务依次进行推导；对于出度为零的任务，最晚结束时间为整个工作流的最晚结束时间；对于其他任务，最晚结束时间为其他任务的后继任务中，需要最早开始的后继任务的开始时间；其中，出度为零是指没有后继任务，入度为零是指没有前继任务。

作为优化方案，步骤S3进一步包括，任务组的拓扑排序值的计算方法如下：

步骤S31，依次计算当前任务组中的各任务的平均运行时间，即各任务在所有机器上的平均运行时间：

步骤S32，依次计算当前任务组中的各任务的平均传输时间，即各任务向对应的后继任务传输数据所需的平均时间；

步骤S33，计算当前任务组的平均运行时间，即所有任务的平均运行时间加所有任务的平均传输时间的总和的平均值；

步骤S34，计算当前任务组的平均传输时间，即当前任务组中最后一个任务和某一后继任务组中第一个任务之间的数据传输平均时间；

步骤S35，若当前任务组中包含出度为零的任务，则当前任务组的拓扑排序值即为当前任务组的平均运行时间；否则，当前任务组的拓扑排序值不仅取决于当前任务组的平均运行时间，还取决于当前任务组的平均传输时间以及后继任务组的拓扑排序值。

作为优化方案，步骤S4进一步包括，

对于某一任务组中的每个任务，计算每个任务在截止时间内在所有云服务虚拟机上的最低费用，把每个任务在截止时间内安排到相应的云服务虚拟机上，使整个任务组的费用最低。

与现有技术相比，本发明具有以下有益效果：

本发明利用动态规划算法，能找到工作流中串行部分的最优解，而相比基于平均价格的算法，能更合理的把任务安排到价格较低的时段和云服务虚拟机，从而使得总体价格更加便宜。本发明的创新点在于，考虑了价格变化的虚拟机服务，而不是价格固定不变的虚拟机服务，对于虚拟机的信息考虑更加全面，从而得出的调度结果也更加符合用户对于价格的要求。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图以实施例的方式详细描述本发明。

实施例1：

如图1所示，本发明提供一种云计算环境中的工作流系统资源调度方法，用于对一工作流中的若干任务进行调度，工作流在若干云服务虚拟机上运行，每个任务可在一台云服务虚拟机上运行。

为了更好地说明本发明，首先设置一些概念：

ET(ti，PCj)(Execution Time)：任务ti在云服务虚拟机PCj上的运行时间，其中i=0,1,2,3...，j=0,1,2,3...；

TT(ti，PCm，tj，PCn)(Transmission Time):在云服务虚拟机PCm上运行的任务ti向在云服务虚拟机PCn上运行的后继任务tj传输数据所需的时间，其中，m=0,1,2,3...，n=0,1,2,3...；

RFT(t_p)(Real Finish Time)：任务t_p经过调度之后，根据具体调度机器计算得出的任务t_p的真实结束时间，其中，p=0,1,2,3...；

PC(t_p)：任务t_p经过调度所安排的云服务虚拟机；

T_entry：所有入度为零的任务的集合，其中，入度为零是指没有前继任务；

T_exit：所有出度为零的任务的集合，其中，出度为零是指没有后继任务；

EFT(t_i，PC_j)(Earliest Finish Time)：任务t_i在云服务虚拟机PC_j上的最早结束时间；计算EFT(t_i，PC_j)的前提是任务t_i的前继任务都已经完成调度了；

如果任务t_i没有前继任务，即任务t_i的入度为零，则该任务的最早结束时间就是任务t_i在该云服务虚拟机PC_j上的运行时间，如式（1）所示：

EFT(t_iPC_j)=ET(t_i，PC_j)，t_i∈T_entry (1)

如果任务t_i有前继任务，任务t_i的最早结束时间不仅取决于任务t_i在云服务虚拟机PC_j上的运行时间，还取决于任务t_i的前继任务之中，运行结束的时间与将数据传递到t_i的时间的和，如式（2）所示：

$\mathrm{EFT}(t_i,{\mathrm{PC}}_j)=\underset{t_p\∈\mathrm{predecessorsof}{t}_i}{\max }\{\mathrm{RFT}\left(t_p\right)+\mathrm{TT}(t_p,\mathrm{PC}\left(t_p\right),t_i,{\mathrm{PC}}_j)\}+\mathrm{ET}(t_i,{\mathrm{PC}}_j)---\left(2\right)$

其中，t_p∈predecessors of t_i是指任务t_p属于任务t_i的前继任务集。

本发明包括如下步骤：

步骤S1：对工作流中的所有任务进行分组，获得若干任务组，每个任务组中包括一个或多个串行的任务。

对所有任务进行分组的方法为：对工作流中的所有任务进行遍历；对于正在访问的当前任务，若当前任务仅有一个前继任务，且前继任务仅有当前任务一个后继任务，则将前继任务和当前任务加入同一任务组，否则加入不同的任务组。

步骤S2：将工作流的最晚完成时间分别分配到每个任务组上，使得每个任务组的最晚完成时间不晚于工作流的最晚完成时间；分别计算工作流中每个任务的最晚完成时间，再经计算得到每个任务组的最晚完成时间。

所述工作流中每个任务的最晚完成时间的计算方法如下：设LFT(t_i)(LatestFinish Time)为任务t_i的最晚结束时间，由工作流中出度为零的任务向入度为零的任务依次推导，只需要考虑任务在最快的云服务虚拟机上的运行时间，不用分配具体的任务和云服务虚拟机即可计算得出；

对于出度为零的任务，最晚结束时间为整个工作流的最晚结束时间，如式（3）所示：

LFT(t_i)=0，t_i∈T_exit (3)

对于其他任务，最晚结束时间为所述其他任务的后继任务中，需要最早开始的后继任务的开始时间，如式（4）所示：

$\mathrm{LFT}\left(t_i\right)=\underset{t_c\∈\mathrm{successorof}{t}_i}{\min }\{\mathrm{LFT}\left(t_c\right)-\underset{{\mathrm{PC}}_j\∈\mathrm{PC}}{\min }\{\mathrm{ET}(t_c,{\mathrm{PC}}_j)\left\}\right\}---\left(4\right)$

其中，t_c∈successor of t_i是指任务t_c属于任务t_i的后继任务集；PC是指云服务虚拟机集，PC_j∈PC即是指云服务虚拟机PC_j为PC集中的某一云服务虚拟机。

步骤S3：对所有任务组进行拓扑排序，计算每个任务组的拓扑排序值，根据拓扑排序值对所有任务组进行降序排序；

任务组的拓扑排序值的计算方法如下：

步骤S31，依次计算当前任务组中的各任务的平均运行时间，即各任务在所有机器上的平均运行时间，如式（5）所示：

$\stackrel{\‾}{\mathrm{ET}\left(t_i\right)}=\frac{{\mathrm{\Σ}}_{j=1}^{j=N}\left(\mathrm{ET}(t_i,{\mathrm{PC}}_j)\right)}{N}---\left(5\right)$

其中，为任务t_i在所有云服务虚拟机上的平均运行时间，N为所有云服务虚拟机的总数。

步骤S32，依次计算当前任务组中的各任务的平均传输时间，即各任务向对应的后继任务传输数据所需的平均时间，如式（6）所示：

$\stackrel{\‾}{\mathrm{TT}(t_i,t_j)}=\frac{{\mathrm{\Σ}}_{k=1}^{k=N}{\mathrm{\Σ}}_{l=1}^{l=N}\mathrm{TT}(t_i,{\mathrm{PC}}_k,t_j,{\mathrm{PC}}_l)}{N\×N}---\left(6\right)$

其中，为任务t_i向任务t_j传输数据所需的平均时间，N为所有云服务虚拟机的总数。

步骤S33，设任务组为G_m，如式（7）所示：

G_m=<t_m1，..，t_mM> (7)

其中，m=0,1,2,3…，M=0,1,2,3…，G_m是指第m个任务组，该任务组G_m共包括M个任务，其中任务t_mk是任务t_mk+1的前继任务；

计算当前任务组的平均运行时间，即所有任务的平均运行时间加所有任务的平均传输时间的总和的平均值，如式（8）所示：

$\stackrel{\&OverBar;}{T\left(G_m\right)}=\stackrel{\&OverBar;}{\underset{i=m1}{\overset{i=\mathrm{mM}}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{\mathrm{ET}\left(t_i\right)}+\underset{i=m1}{\overset{i=\mathrm{mM}-1}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{\mathrm{TT}(t_i,t_{i+1})}}---\left(8\right)$

其中，T(G_m)是指任务组G_m内所有M个组内任务的平均运行时间以及所有组内任务的数据传输平均时间的总和，即为任务组G_m的平均运行时间。

步骤S34，计算当前任务组的平均传输时间，即当前任务组中最后一个任务和某一后继任务组中第一个任务之间的数据传输平均时间；设为任务组G_i向任务G_j传输数据所需的平均时间。

步骤S35，若当前任务组中包含出度为零的任务，则当前任务组的拓扑排序值即为当前任务组的平均运行时间，如式（9）所示：

其中，Urank(G_i)是指任务组G_i的拓扑排序值；

否则，当前任务组的拓扑排序值不仅取决于当前任务组的平均运行时间，还取决于当前任务组的平均传输时间以及后继任务组的拓扑排序值，如式（10）所示：

$\mathrm{Urank}\left(G_i\right)=\underset{G_j\&Element;\mathrm{successorof}{G}_i}{\max }\{\mathrm{urank}\left(G_j\right)+\stackrel{\&OverBar;}{\mathrm{TT}(G_i,G_j)}\}+\stackrel{\&OverBar;}{T\left(G_i\right)}---\left(10\right)$

其中G_j∈successor of G_i是指G_j属于G_i的后继任务组集。

步骤S4：将任务组按拓扑排序值由高到低依次运行；依次计算每个任务组中每个任务在每个云服务虚拟机上的最低运行费用，在任务的截止时间内将该任务安排在费用最低的云服务虚拟机和时段。

对于任务组中的第一个任务t₁，计算出其在所有云服务虚拟机上的最低运行费用,在截止时间d内把任务t₁安排到费用最低的云服务虚拟机上。此处的截止时间是一列离散的时间节点，取值区间是：由步骤S2中得出的最晚完成时间和任务组总的运行时间计算得出的任务组最早完成时间，和已经计算得出的任务组最晚完成时间之间的每一个离散时间点。其代表了任务可能结束的每一个合理的离散时间点。本发明的这一步骤将计算任务在每一个合理的时间段的最低调度价格。任务t₁在云服务虚拟机PC_j上的最低费用由两部分组成：在截止时间d内任务t_i在云服务虚拟机PC_j上的最低运行费用以及数据传输费用，如式（11）所示：

$C=(t_1,d,{\mathrm{PC}}_j)=$

$\left\{\begin{array}{c}+\&infin;,d<\mathrm{EFT}(t_1,{\mathrm{PC}}_j)\\ \min \mathrm{EC}(t_1,\mathrm{EFT}(t_1,{\mathrm{PC}}_j),d,{\mathrm{PC}}_j)+\underset{t_k\&Element;\mathrm{predecessorsof}{t}_1}{\mathrm{\&Sigma;}}\mathrm{TC}(t_k,\mathrm{PC}\left(t_k\right),t_1,{\mathrm{PC}}_j),\mathrm{EFT}(t_1,{\mathrm{PC}}_j)\&le;d\&le;\mathrm{LFT}\left(t_1\right)\\ +\&infin;,d>\mathrm{LFT}\left(t_1\right)\end{array}\right.$

（11）

其中，C(t_i，d，PC_j)：表示t_i的截止时间为d时，把任务t_i安排到PC_j,任务组t₁,..,t_i最便宜的总开销；

minEC(t_i，from，to，PC_j)：表示在时间范围为from到to内，把任务t_i安排到PC_j上最便宜的费用；

EC(from，to，PC_j)：表示在时间范围为from到to内，PC_j上的单位计算量费用；

TC(t_i，PC_m，t_j，PC_n)：表示在PC_m上运行的任务t_i向运行在PC_n上的任务t_j传递数据所需的花费。

由公式（11）可知，在截止时间早于最早结束时间或者晚于最晚结束时间时，工作流运行的代价均为正无穷。对于在合理的区间之内结束的所有可能的任务调度方案，任意任务在任意具体虚拟机上的某一区间段的花费，取决于该任务的前继任务所在虚拟机与该任务所在虚拟机数据交换的费用，和任务在虚拟机上运行的费用之和。由此，任务组的首个任务在所有可能运行区间，于所有可能利用的虚拟机上的最低花费，都已经计算得出。

对于任务组中的其他任务t_i，同样需要计算其在所有云服务虚拟机上的最低费用，在截止时间d内把任务t_i安排到费用最低的云服务虚拟机上。任务t_i在云服务虚拟机PC_j上的最低费用将在两种可能的情况中取费用更低的一种作为解：

（1）在截止时间d-1内把任务t_i安排到云服务虚拟机PC_j的最低费用是上述问题的一个可能解；

（2）若考虑任务t_i的截止时间为d，任务t_i在云服务虚拟机PC_j上的最低消费不仅取决任务t_i在云服务虚拟机PC_j上的运行时间带来的消费，也取决于任务t_i-1的所在云服务虚拟机及任务t_i和任务t_i-1的数据传输消费。由任务t_i的结束时间和运行时间，可算出任务t_i-1的截止时间，而对于任务t_i-1的最优化问题上一步已计算，因此其在每个云服务虚拟机上的最低消费已经已知。将每台云服务虚拟机的运行消费及其与任务t_i所在云服务虚拟机的传输消费综合考虑，可以得出任务t_i的最低消费。

任务t_i的最低消费计算公式如式（12）所示：

此处的计算方法与上文中，任务组首个任务的计算过程类似。区别在于，在合理的截止时间内，任务在某个虚拟机上的最低消费C(t_i，d，PC_j)，不仅将考虑在该截止时间运行结束的任务调度花费，也将考虑该任务在前一个截止时间运行结束的任务调度花费C(t_i,d-1，PC_j)。若任务提前一个时间节点结束得到的最低运行花费低于在当前时间节点结束得到的最低运行花费，本发明将选择更早时间节点结束的调度策略，从而使任务在运行结束之后暂停一个时间点，以等待下一个任务的开始。

而对于在当前时间节点结束的调度策略，本发明将根据当前任务结束时间，当前任务运行时间，和当前任务与其前继任务的任务传输时间，共同计算得出前继任务的结束时间。对于前继任务，由于对于同一任务组中的任务，本发明采用了迭代的计算顺序，任务组从第一个任务到该任务在所有合理结束时间的最低总花费都已经计算得出了，因此，此处的值可以通过查阅之前计算的值直接得出。将该值与任务在当前虚拟机上得到的最低花费相加，则可以得到从任务组第一个任务到当前任务的所有任务所构成的任务群，在所有可能的结束时间和结束虚拟机上，所能得到的最低花费。

该计算过程全部结束后，将得出最后一个任务在预定的结束时间，所有虚拟机上的最低花费。将这个最低花费数组进行排序，得到最低值的即为最佳调度方案。

以上公开的仅为本申请的几个具体实施例，但本申请并非局限于此任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

Claims (2)

1.一种云计算环境中的工作流系统资源调度方法，用于对一工作流中的若干任务进行调度，所述工作流在若干云服务虚拟机上运行，每个所述任务可在一台云服务虚拟机上运行，其特征在于，包括如下步骤：

步骤S1：对所述工作流中的所有所述任务进行分组，获得若干任务组，每个所述任务组中包括一个或多个串行的所述任务；

步骤S2：将所述工作流的最晚完成时间分别分配到每个所述任务组上，使得每个所述任务组的最晚完成时间不晚于所述工作流的最晚完成时间；分别计算所述工作流中每个任务的最晚完成时间，再经计算得到每个所述任务组的最晚完成时间；

步骤S3：对所有所述任务组进行拓扑排序，计算每个所述任务组的拓扑排序值，根据拓扑排序值对所有所述任务组进行降序排序；

步骤S4：将所述任务组按拓扑排序值由高到低依次运行；依次计算每个所述任务组中每个所述任务在每个云服务虚拟机上的最低运行费用，将每个所述任务安排在费用最低的云服务虚拟机和时段；

所述步骤S1进一步包括，对所有所述任务进行分组的方法为：

对所述工作流中的所有所述任务进行遍历；对于正在访问的当前任务，若所述当前任务仅有一个前继任务，且所述前继任务仅有所述当前任务一个后继任务，则将所述前继任务和当前任务加入同一任务组，否则加入不同的任务组；

所述步骤S2进一步包括，所述工作流中每个任务的最晚完成时间的计算方法如下：

由工作流中出度为零的任务向入度为零的任务依次进行推导；对于出度为零的任务，最晚结束时间为整个工作流的最晚结束时间；对于其他任务，最晚结束时间为所述其他任务的后继任务中，需要最早开始的后继任务的开始时间；其中，出度为零是指没有后继任务，入度为零是指没有前继任务；

所述步骤S3进一步包括，任务组的拓扑排序值的计算方法如下：

步骤S31，依次计算当前任务组中的各任务的平均运行时间，即各任务在所有机器上的平均运行时间；

步骤S32，依次计算当前任务组中的各任务的平均传输时间，即各任务向对应的后继任务传输数据所需的平均时间；

步骤S33，计算当前任务组的平均运行时间，即所有任务的平均运行时间加所有任务的平均传输时间的总和的平均值；

步骤S34，计算当前任务组的平均传输时间，即当前任务组中最后一个任务和某一后继任务组中第一个任务之间的数据传输平均时间；

步骤S35，若当前任务组中包含出度为零的任务，则当前任务组的拓扑排序值即为当前任务组的平均运行时间；否则，当前任务组的拓扑排序值不仅取决于当前任务组的平均运行时间，还取决于当前任务组的平均传输时间以及后继任务组的拓扑排序值。

2.根据权利要求1所述的一种云计算环境中的工作流系统资源调度方法，其特征在于，所述步骤S4进一步包括，

对于某一任务组中的每个任务，计算每个任务在截止时间内在所有云服务虚拟机上的最低费用，把每个任务在截止时间内安排到相应的云服务虚拟机上，使整个任务组的费用最低。