CN103336713A - 一种基于任务复制与聚簇的并行任务分配方法 - Google Patents

Abstract

本发明涉及一种基于任务复制与聚簇的并行任务分配方法，其特征在于：初始化并对子节点无约束类节点进行复制；应用DCPEZ过程,依据为聚簇的调度不增加原则，对任务进行聚簇，在聚簇关系的基础上对其余可复制节点进行复制；得到最终复制聚簇结果。本发明具有以下优点：PTDADC方法依据调度长度不增加原则，发展了子节点无约束复制的调度长度不增加定理、子结点带约束复制的调度长度不增加原则、动态关键路径聚簇的调度长度不增加原则，从而缩短了任务的执行时间。PTDADC方法遵循了最小化聚簇与复制的原则，减少了处理器的需求数量。

Description

一种基于任务复制与聚簇的并行任务分配方法

技术领域

本发明属于分布与并行计算机领域的并行任务分配，涉及一种基于任务复制与聚簇的并行任务分配方法。

背景技术

在多处理器系统上需要将任务按照一定的规则和约束分配到相应的计算机或处理器中，任务的不恰当分配会使系统真正的潜在计算能力不能被开发出来，而且可能会抵消由并行所带来的利益。

如图1，一个典型的计算机任务模型实例：

在这个实例中包含任务n₁,n₂,n₃,n₄,n₅,n₆,n₇,n₈。其中，任务n₂,n₃依赖于任务n₁的完成；n₄,n₅依赖于任务n₃；n₆依赖于任务n₄,n₅的完成；n₇依赖于任务n₅的完成；n₈依赖于任务n₂,n₆,n₇的完成。n₂,n₃可以并行计算n₄,n₅可以并行计算；n₆,n₇可以并行计算。

对于这类任务模型，如何把任务分配到计算资源上，以获得优选的计算时间，是一个很重要的问题。

目前，解决该问题的方法主要包括基于任务复制的分配、基于优先级列表的分配和基于簇的分配三类。基于任务复制（TDB,Task Duplication Based）的分配算法通常要优于基于优先级列表和基于簇的分配算法。TDB算法的理论基础是采取以空间换时间的策略，通过冗余分配任务到多个资源以减少通信开销，从而减少总的调度长度。如何准确地确定应被复制的重要任务是获得较短调度的关键，各种TDB算法的主要区别也正在于此。TDB算法以TDS和OSA算法最优也最具代表性。TDS的主要算法思想是：将DAG图中join节点与其友好前驱节点分配到同一处理器，以降低并行执行时间。OSA算法去掉了TDS算法中的约束限制条件，是对TDS算法的一个改进算法，它允许join节点与其多个前驱节点分配到同一处理器，以尽量缩短任务的执行时间。

上述算法中，TDS算法不允许多个父任务和子任务分配到同一处理器，使子任务难以获得较好的最早开始时间。OSA算法将尽可能多的父任务和子任务分配到同一处理器，尽管当前任务能获得最小的最早开始时间，却限制了其子孙或祖先任务的调度，制约了调度长度优化。另外，TDS算法未考虑处理器数目的优化，较多地占用了资源。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于任务复制与聚簇的并行任务分配方法，使调度长度最小、减少处理机数目。

技术方案

一种基于任务复制与聚簇的并行任务分配方法，其特征在于步骤如下：

步骤1：初始化并对子节点无约束类节点进行复制；

步骤2：应用DCPEZ过程,依据为聚簇的调度不增加原则，对任务进行聚簇，

步骤3：在聚簇关系的基础上对其余可复制节点进行复制；

步骤4：重复步骤2，得到最终复制聚簇结果；

所述DCPEZ步骤如下：

步骤1）初始化每条边均为“未被访问过”；

步骤2）扫描此刻的DAG，找出那些至少含有一条未被访问边的关键路径，否则找出那些至少含有一条未被访问边的次关键路径；

步骤3）把关键路径上边的权值按降序进行排列；

步骤4）从被选择的DCP上挑选一条未被访问的具有最大权值的边，如果这样的边不止一条，那么则按如下的规则选取：如果c_ij＝c_ki并且tn_i＜tn_k，那么选择边e_ij，把这条边设置为“访问过”的标志；如果把这条边的权值赋为0能够满足如下条件，也就是此赋0操作不会产生另外一条不同的关键路径，它的长度不会等于甚至大于当前关键路径的长度。合并这两个簇；重复此步骤直到此DCP上的所有边都己经访问过；

步骤5）对赋0操作产生簇中的多复制节点进行单一化处理；

循环执行步骤2）～步骤5），直到DAG上的所有边都已经被访问过；

步骤6）检查这些不同的簇，看它们是否还能够进一步合并但不会增加程序的并行执行时间。若合并再进行下单一化处理。

有益效果

本发明提出的一种基于任务复制与聚簇的并行任务分配方法，具有以下优点：

1）更短的调度长度

PTDADC方法依据调度长度不增加原则，发展了子节点无约束复制的调度长度不增加定理、子结点带约束复制的调度长度不增加原则、动态关键路径聚簇的调度长度不增加原则，从而缩短了任务的执行时间。

2）更少的处理器环境

PTDADC方法遵循了最小化聚簇与复制的原则，减少了处理器的需求数量。

附图说明

图1为DAG图

图2为一种基于任务复制与聚簇的并行任务分配方法的流程图

图3为任务复制情况图

图4为DCPEZ算法的流程图

图5为实施例的PTDADC分配结果

具体实施方式

现结合实施例、附图对本发明作进一步描述：

针对图2所示的DAG图，运用PTDADC算法进行任务分配。

按照步骤一：进行初始化过程，对子节点无约束类节点进行复制。按图3所示，任务约束分为两种情况：

1）U₁为空且U₂为空，这是最简单的一种情形，将n_m对所有后继进行复制得到最优的调度长度。

2）U₁不为空且U₂为空，这种情况又分为三种子情况：

①U₁为簇内约束，不可能脱离n_m所在簇对其进行复制，设簇执行时间为t,此时调度长度SL＝t+max(τ_k+C_mk)≥t+max(τ_k),k＝i,i+1,…,j。为使得调度长度减小需要对n_m所在簇进行复制。

②U₁为簇外约束，此时调度长度SL＝τ_m+max(τ_k+C_mk)≥τ_m+max(τ_k),k＝i,i+1,…,j。为使得调度长度减小需要对n_m进行复制。

③U₁包含簇内簇外双重约束，复制策略同①。

本例中根据情形1）的分析，将节点n₁进行复制；根据情形2）的分析，在n₁复制的基础上，对n₁、n₃进行复制。

按照步骤二：初始化每条边为“未标记过”，找出关键路径为(n₁,n₂,n₈)，挑选出一条未被访问的具有最大权值的边为(n₁,n₂)，对其进行赋0操作；接着，找出关键路径为(n₁,n₃,n₄,n₆,n₈)，挑选出一条未被访问的具有最大权值的边为(n₃,n₄)，对其进行赋0操作；找出关键路径为(n₁,n₃,n₅,n₇,n₈)，挑选出一条未被访问的具有最大权值的边为(n₃,n₅)，对其进行赋0操作；找出关键路径为(n₁,n₃,n₅,n₇,n₈)，挑选出一条未被访问的具有最大权值的边为(n₃,n₅,n₇)，对其进行赋0操作；找出关键路径为(n₁,n₂,n₈)，挑选出一条未被访问的具有最大权值的边为(n₂,n₈)，对其进行赋0操作；找出关键路径为(n₁,n₃,n₄,n₆,n₈)，挑选出一条未被访问的具有最大权值的边为(n₄,n₆)，对其进行赋0操作；找出关键路径为(n₁,n₃,n₅,n₇,n₈)，挑选出一条未被访问的具有最大权值的边为(n₁,n₃)，对其进行赋0操作；找出关键路径为(n₁,n₃,n₄,n₆,n₈)，挑选出一条未被访问的具有最大权值的边为(n₁,n₃)，对其进行赋0操作；这时所有边都被访问过了。

按照步骤三：在聚簇关系的基础上对其余可复制节点进行复制。按图2所示的任务约束情况，增加3）、4）情形的复制分析如下：

3）U₁为空且U₂不为空。此时的复制需要针对不同的后继节点，以后继节点i为例同样有如下三种子情况：

①U₂为簇内约束，设簇内其他先于n_m的任务执行时间为t₁，此时调度长度SL＝max(τ_m+τ_i+C_mi,t₁+τ_i)。当

时，复制对C_mi的减小不会使得调度长度变小，因而τ_m+C_mi＜t₁时，不进行复制。当τ_m+τ_i+C_mi≥t₁+τ_i时，不复制的调度长度为τ_m+τ_i+C_mi，进行复制的调度长度为τ_m+τ_i+t₁，仍然需要分情况讨论：当

时，即复制造成的通信减小足以弥补复制带来的计算增加时，复制；当τ_m+τ_i+C_mi≤τ_m+τ_i+t₁，即复制造成的通信减小不足以弥补复制带来的计算增加时，不进行复制。

②U₂为簇外约束，此时调度长度SL＝τ_m+τ_i+C_mi＞τ_m+τ_i。为了使得调度长度减小需要对n_m进行复制。

③U₂包含簇内簇外双重约束，复制策略同①。

4）U₁为不空且U₂不为空。参照情形3）判断是否进行复制，再参照情形2）判断复制的范围。

剩余的可复制节点为n₅，对于此节点，复制造成的通信减小不足以弥补复制带来的计算增加，因此不需要进行复制。

按照步骤四：对已完成复制和部分聚簇的DAG进行最后的聚簇操作。经检查这些不同的簇，发现不能够进一步合并。同时对赋0操作产生簇中的多复制节点进行单一化处理，最终结果如图5所示。

Claims (1)

1.一种基于任务复制与聚簇的并行任务分配方法，其特征在于步骤如下：

步骤1：初始化并对子节点无约束类节点进行复制；

步骤2：应用DCPEZ过程,依据为聚簇的调度不增加原则，对任务进行聚簇，

步骤3：在聚簇关系的基础上对其余可复制节点进行复制；

步骤4：重复步骤2，得到最终复制聚簇结果；

所述DCPEZ步骤如下：

步骤1）初始化每条边均为“未被访问过”；

步骤2）扫描此刻的DAG，找出那些至少含有一条未被访问边的关键路径，否则找出那些至少含有一条未被访问边的次关键路径；

步骤3）把关键路径上边的权值按降序进行排列；

步骤4）从被选择的DCP上挑选一条未被访问的具有最大权值的边，如果这样的边不止一条，那么则按如下的规则选取：如果c_ij＝c_ki并且tn_i＜tn_k，那么选择边e_ij，把这条边设置为“访问过”的标志；如果把这条边的权值赋为0能够满足如下条件，也就是此赋0操作不会产生另外一条不同的关键路径，它的长度不会等于甚至大于当前关键路径的长度。合并这两个簇；重复此步骤直到此DCP上的所有边都己经访问过；

步骤5）对赋0操作产生簇中的多复制节点进行单一化处理；

循环执行步骤2）～步骤5），直到DAG上的所有边都已经被访问过；

步骤6）检查这些不同的簇，看它们是否还能够进一步合并但不会增加程序的并行执行时间。若合并再进行下单一化处理。

Images