CN104035819A

CN104035819A - 科学工作流调度处理方法及装置

Info

Publication number: CN104035819A
Application number: CN201410302064.7A
Authority: CN
Inventors: 李秀; 宋靖东
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2014-06-27
Filing date: 2014-06-27
Publication date: 2014-09-10
Anticipated expiration: 2034-06-27
Also published as: CN104035819B

Abstract

本发明公开了一种在网格环境下的科学工作流调度处理方法及装置，该方法包括如下步骤：查询作为目标的异构计算资源，记录每个异构计算资源的计算能力PC_j；查询作为目标的工作流中所有可调度的任务；计算所有可调度的任务中的每个任务t_i在可利用的第j个异构计算资源r_j上的任务百分比p(t_i，r_j)：ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；在获取的所有的任务百分比中，获取最大的任务百分比p(t_m，r_n)，将对应的第m个任务t_m调度到第n个异构计算资源r_n上执行。本发明具有较好的资源负载平衡性，适应静态和动态环境，而且本身调度时间较短，总的执行时间较短，综合性能在现有的调度算法中较优。

Description

科学工作流调度处理方法及装置

【技术领域】

本发明涉及数据处理领域，具体涉及科学工作流调度处理方法及装置。

【背景技术】

网格就是通过将大规模的、分散的、异构的计算资源、存储资源、数据资源等整合起来实现一个全球的为科学研究、商业运营等提供虚拟服务的网络基础设施。近些年来越来越多的科学领域例如生物医学、地理、天体物理等开始使用网格来进行学科内和学科间的大数据集的分享、管理与处理。在这种大数据、密集计算的环境下，科学工作流在网格中的应用显得越来越重要。采用科学工作流的主要目的在于可以将处理大数据的复杂过程模块化、不透明化，可以实现把需要多次计算、重复计算的过程简单地调用和复用，可以将一个大的工作流程分阶段化并且分配到不同的计算资源上实现并行化以减少时间提高效率。一个安排好的工作流可以根据既定的子工作块的依赖关系和资源分布实现过程执行的自动化，最大化节省资源和提高使用的满意度，因此工作流的调度问题成为网格计算中工作流管理应用的关键。调度即为将具有内部关联的不同任务映射到异构的资源上进行执行的过程。

在网格环境下一个科学工作流应用通常表示为一个有向无回路图(Directed Acyclic Graph，缩写DAG)，每个节点代表一个任务，图的边代表了各个任务间的依赖关系。节点的权重代表了任务的大小，边的权重代表了任务结束输出文件的大小。由于DAG调度问题是一个NP复杂度的问题，无法使用严格的数学推导得出最优的调度策略，目前国内外的众多学者提出了很多启发式和元启发式算法。与此同时工作流的调度算法又可以分为两大类即基于尽力而为(Best-Effort)和基于服务质量控制(QoS-constraint)的调度算法。基于尽力而为的算法不考虑资源的金钱花费，竭尽全力实现最早完成执行任务或者最小化工作流的总体完成时间。基于服务质量控制的调度算法不仅考虑尽早完成任务同时考虑使用不同资源的物质花费，以达到不同网格用户的服务质量的要求。

在公共网格(或称社区网格)环境下，网格资源的使用主要集中在科学研究领域，为不同学科的科学家进行研究提供和支持，同时也可以为普通民众提供独立研究的平台。在该环境下科学工作流的调度算法主要采用基于尽力而为的调度算法，尽可能的为科学家或者民众提供好的资源服务。

目前在基于尽力而为调度算法方面已有一些比较成熟的算法，各有优缺点，使用的场景不尽相同。Myopic算法是一种最为简单的调度算法，每次任意调度一个可调度的任务到一个最优的资源上，但是结果往往总执行时间较长，资源负载平衡性不好；Min-Min算法每次在所有可执行的任务中执行具有最小预期执行时间的任务，分配到相应的资源，直到所有的任务调度完成，调度结果一般可以缩短总的执行时间但是在资源差异较大时，负载不均衡性较大，相应的总执行时间也会变长；Max-Min算法即是在Min-Min算法上进行改进，在执行过程中只是每次执行所有可执行任务具有最大预期执行时间的任务，并且将其映射到花费时间最小的资源上，负载均衡性好，但是在较少短任务较多长任务的情况下不如Min-Min算法。Sufferage算法寻找调度损失最大的任务优先执行，一般来说平衡性好，但是当在多集群环境下执行效果不好；DCP(Dynamic Critical Path，动态关键路径算法)首先要计算每个任务的最早开始时间与最晚开始时间，两者相等的任务认为是关键路径上的任务优先执行，一般该调度算法时间花费相比前几种较长，在不规则工作流情况下总执行时间也较长；遗传算法属于元启发式算法，需要在全局范围内搜索最优解，所以本身算法执行时间最长，有时因为适应度函数等条件设置不当会陷入局部最优点，导致效果不理想，而且动态特性较差，结果也不如以上几种算法。

【发明内容】

为了克服现有技术的不足，本发明提供了一种科学工作流调度处理方法及装置。

一种科学工作流调度处理方法，包括如下步骤：

S10，查询作为目标的异构计算资源，记录每个异构计算资源的计算能力PC_j，其中，PC_j表示第j个异构计算资源的计算能力；

S20，查询作为目标的科学工作流中所有可调度的任务；

S30，计算所有可调度的任务中的每个任务t_i在可利用的第j个异构计算资源r_j上的任务百分比p(t_i，r_j)：

p (t_{i}, r_{j}) = \frac{ext (t_{i}, r_{j})}{ct (t_{i}, r_{j})} \times \frac{{PC}_{j}}{PC};

执行完成时间ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；

其中，ext(t_i，r_j)是指第i个任务t_i在第j个异构计算资源r_j上的执行时间，rt(t_i，r_j)表示是指任务t_i在异构计算资源r_j开始执行前的等待时间，执行完成时间ct(t_i，r_j)是指任务t_i在异构计算资源r_j上的执行完成时间；PC是指所述作为目标的异构计算资源的计算能力中最高的计算能力；

S40，在获取的所有的任务百分比中，获取最大的任务百分比p(t_m，r_n)，将对应的第m个任务t_m调度到第n个异构计算资源r_n上执行。

在一个实施例中，在步骤S40之后还包括如下步骤：

若一个任务t_x在不同的异构计算资源上的任务百分比相同，则优先将所述任务t_x调度到所述不同的异构计算资源中的一个异构计算资源r_y上，其中在所述不同的异构计算资源中，所述任务t_x在所述异构计算资源r_y上的执行完成时间最小。

在一个实施例中，在步骤S40之后还包括如下步骤：

若存在不同的任务在一个异构计算资源上的任务百分比相同，则优先调度所述不同的任务中调度损失最大的一个任务t_x，其中，所述调度损失是指任务在所有目标异构计算资源上的次小执行完成时间与最小执行完成时间的差值。

在一个实施例中，在步骤S30中：

rt(t_i，r_j)＝Max(art(t_i，r_j)，att(t_i，r_j))；

其中，art(t_i，r_j)是指由于异构计算资源r_j正在执行其他任务而需要任务t_i等待的第一等待时间；att(t_i，r_j)是指在任务t_i能被异构计算资源r_j获取前任务t_i等待的第二等待时间。

在一个实施例中，在步骤S10中还包括：

获取相邻异构计算资源之间的资源传输带宽；

根据任务t_i输出的从前一个异构计算资源输送至所述异构计算资源r_j的文件大小、以及所述前一个异构计算资源至所述异构计算资源r_j之间的资源传输带宽来计算第二等待时间att(t_i，r_j)。

在一个实施例中，S50，在步骤S40之后，在调度完一个任务后，在所述所有可调度的任务中删除所述调度完的一个任务，继续执行步骤S30和步骤S40，直至所述所有可调度的任务被调度完。

本发明还提供了一种科学工作流调度处理装置，包括如下单元：

第一处理单元，用于查询作为目标的异构计算资源，记录每个异构计算资源的计算能力PC_j，其中，PC_j表示第j个异构计算资源r_j的计算能力；

第二处理单元，查询作为目标的科学工作流中所有可调度的任务；

第三处理单元，计算所有可调度的任务中的每个任务t_i在可利用的第j个异构计算资源r_j上的任务百分比p(t_i，r_j)：

p (t_{i}, r_{j}) = \frac{ext (t_{i}, r_{j})}{ct (t_{i}, r_{j})} \times \frac{{PC}_{j}}{PC};

执行完成时间ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；

其中，ext(t_i，r_j)是指第i个任务t_i在第j个异构计算资源r_j上的执行时间，rt(t_i，r_j)表示是指任务t_i在异构计算资源r_j开始执行前的等待时间，执行完成时间ct(t_i，r_j)任务t_i在异构计算资源r_j上的执行完成时间；PC是指所述作为目标的异构计算资源的计算能力中最高的计算能力；

第四处理单元，获取所有的任务百分比中，获取最大的任务百分比p(t_m，r_n)，将对应的第m个任务t_m调度到第n个异构计算资源r_n上执行。

在一个实施例中，还包括第五处理单元，用于若一个任务t_x在不同的异构计算资源上的任务百分比相同，则优先将所述任务t_x调度到所述不同的异构计算资源中的一个异构计算资源r_y上，其中在所述不同的异构计算资源中，所述任务t_x在所述异构计算资源r_y上的执行完成时间最小。

在一个实施例中，还包括第五处理单元，用于若存在不同的任务在一个异构计算资源上的任务百分比相同，则优先调度所述不同的任务中调度损失最大的一个任务t_x，其中，所述调度损失是指任务在所有目标异构计算资源上的次小执行完成时间与最小执行完成时间的差值。

在一个实施例中，rt(t_i，r_j)＝Max(art(t_i，r_j)，att(t_i，r_j))；

在本发明的实施例中，整合了科学工作流中所有任务信息和异构计算资源的信息，通过计算并行任务在不同异构计算资源所占任务百分比完成调度任务，使调度处理方法的整体性能更佳。与传统的调度算法相比，本发明的实施例充分考虑到异构资源的差异性，尽可能实现异构资源负载的均衡性，并且通过调度处理方法的设计并行化缩短每个资源上的使用时间，以达到缩短整个科学工作流的执行时间。本发明的实施例的科学工作流调度处理方法能在各种类型的科学工作流执行系统中缩短科学工作流总的执行时间，具有较好的资源负载平衡性，适应静态和动态环境，而且本身调度时间较短，综合性能在现有的调度算法中较优。

【附图说明】

图1是本发明一种实施例的科学工作流模型展示图；

图2是本发明一种实施例的科学工作流的应用示例图；

图3是本发明一种实施例的科学工作流调度处理方法流程框图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，图形表示的是科学工作流与网格异构计算资源的映射关系。科学工作流的调度即，使不同的任务映射到不同的异构计算资源上进行执行的过程。

如图2所示，是一个科学工作流的有向无环路图，每个圆圈代表一个节点，每个节点代表科学工作流中的一个任务，这些节点构成任务集合T＝{T0，T₁，T₂，T₃，…T_i…}，每个节点旁边的数字标明了对应任务的大小，任务的大小可以使用MI(million instructions，百万指令)表示，例如任务T0和T1的大小分别为300000和2500000等。假设每个任务输出文件大小为1GB(GigaByte，十亿字节)。图中箭头关系代表了任务之间的依赖关系，箭头出发端的任务为父任务，箭头指向端的任务为子任务，初始任务无父任务，结束任务无子任务。科学工作流的执行按照箭头指向顺序执行，父任务未结束，子任务不可开始执行。异构计算资源构成异构计算资源集合R＝{r₁，r₂，r₃，…r_j…}(图中未标出)，第j个异构计算资源r_j的指令处理速率为PC_j，传输带宽为BW_j(定义为异构计算资源r_j向相邻的下一个异构计算资源的资源传输带宽)。

如图3所示，一种工作流调度处理方法，包括如下步骤：

S10，查询作为目标的异构计算资源，记录每个异构计算资源的计算能力PC_j，以及相邻的异构计算资源之间的资源传输带宽BW_j，其中，PC_j表示第j个异构计算资源的计算能力，并记录其中计算能力最好的异构计算资源，该最好的计算能力为PC。

S20，查询作为目标的工作流中所有可调度的任务；查询工作流中所有任务T，查找所有可调度的任务(可调度的任务是指，即其父任务都已调用安排完毕)，将所有可调度的任务存入可调度任务列表avaT中，并且记录总的可调度任务数S，如果可调度任务数S为空则结束调度。

S30，在可调度任务列表avaT中的所有可调度的任务中，计算每个任务t_i在可利用的第j个异构计算资源r_j上的任务百分比p(t_i，r_j)：

p (t_{i}, r_{j}) = \frac{ext (t_{i}, r_{j})}{ct (t_{i}, r_{j})} \times \frac{{PC}_{j}}{PC};

执行完成时间ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；

其中，ext(t_i，r_j)是指第i个任务t_i在第j个异构计算资源r_j上的执行时间(即从执行任务t_i开始至执行任务t_i结束的时长)，rt(t_i，r_j)表示是指任务t_i在异构计算资源r_j开始执行前的等待时间，执行完成时间ct(t_i，r_j)是指任务t_i在异构计算资源r_j上的执行完成时间；PC是指所述作为目标的异构计算资源的计算能力中最高的计算能力；其中，

rt(t_i，r_j)＝Max(art(t_i，r_j)，att(t_i，r_j))，art(t_i，r_j)是指由于异构计算资源r_j正在执行其他任务而需要任务t_i等待的第一等待时间，也就是说异构计算资源r_j要经过第一等待时间art(t_i，r_j)才能出现空闲；att(t_i，r_j)是指在任务t_i能被异构计算资源r_j获取前任务t_i等待的第二等待时间，也即是说，任务t_i的父任务正在被前一个异构计算资源执行，或者任务t_i的父任务输出的文件正向异构计算资源r_j传送当中。不同的资源传输时间不同，如果父任务与子任务在同一资源上则传输时间记为0，如果父任务与子任务不再同一资源上则传输时间记为父任务输出文件的大小比上父任务所在资源的带宽大小。

若同一个任务t_x在不同的异构计算资源上的任务百分比相同，则优先将所述任务t_x调度到所述不同的异构计算资源中的一个异构计算资源r_y上，其中在所述不同的异构计算资源中，所述任务t_x在所述异构计算资源r_y上的执行完成时间最小。

S50，在调度完一个任务后，在可调度任务列表avaT中删除所述调度完的任务，并且可调度任务数S自减1，如果可调度任务数S为0则跳回步骤S20，寻找新的可调度的任务；如果可调度任务数S不为零，继续执行步骤S30和步骤S40，直至所述所有可调度的任务被调度完。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims

1.一种科学工作流调度处理方法，其特征是，包括如下步骤：

S20，查询作为目标的科学工作流中所有可调度的任务；

p (t_{i}, r_{j}) = \frac{ext (t_{i}, r_{j})}{ct (t_{i}, r_{j})} \times \frac{{PC}_{j}}{PC};

执行完成时间ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；

2.如权利要求1所述的科学工作流调度处理方法，其特征是，在步骤S40之后还包括如下步骤：

3.如权利要求1所述的科学工作流调度处理方法，其特征是，在步骤S40之后还包括如下步骤：

4.如权利要求1所述的科学工作流调度处理方法，其特征是，在步骤S30中：

rt(t_i，r_j)＝Max(art(t_i，r_j)，att(t_i，r_j))；

5.如权利要求4所述的科学工作流调度处理方法，其特征是，在步骤S10中还包括：

获取相邻异构计算资源之间的资源传输带宽；

6.如权利要求4所述的科学工作流调度处理方法，其特征是，

S50，在步骤S40之后，在调度完一个任务后，在所述所有可调度的任务中删除所述调度完的一个任务，继续执行步骤S30和步骤S40，直至所述所有可调度的任务被调度完。

7.一种科学工作流调度处理装置，其特征是，包括如下单元：

p (t_{i}, r_{j}) = \frac{ext (t_{i}, r_{j})}{ct (t_{i}, r_{j})} \times \frac{{PC}_{j}}{PC};

执行完成时间ct(t_i，r_j)＝ext(t_i，r_j)+rt(t_i，r_j)；

8.如权利要求7所述的科学工作流调度处理装置，其特征是：

还包括第五处理单元，用于若一个任务t_x在不同的异构计算资源上的任务百分比相同，则优先将所述任务t_x调度到所述不同的异构计算资源中的一个异构计算资源t_y上，其中在所述不同的异构计算资源中，所述任务t_x在所述异构计算资源t_y上的执行完成时间最小。

9.如权利要求7所述的科学工作流调度处理装置，其特征是：

还包括第五处理单元，用于若存在不同的任务在一个异构计算资源上的任务百分比相同，则优先调度所述不同的任务中调度损失最大的一个任务t_x，其中，所述调度损失是指任务在所有目标异构计算资源上的次小执行完成时间与最小执行完成时间的差值。

10.如权利要求7所述的科学工作流调度处理装置，其特征是：

rt(t_i，r_j)＝Max(art(t_i，r_j)，att(t_i，r_j))；