CN102799475A - 一种基于任务复制的多复本容错并行任务调度方法 - Google Patents

Abstract

本发明公开了一种基于任务复制的多复本容错并行任务调度方法，包括如下步骤：首先确定任务节点的优先级，然后考虑优先级最高的任务，最后将该任务分配到能使它最早执行的处理器上。本发明容错能力强，有更短的调度长度，能应对有限处理器环境。

Description

一种基于任务复制的多复本容错并行任务调度方法

技术领域

本发明涉及计算机领域的并行任务调度，特别是有限处理器环境下的容错并行DAG任务调度方法。 

背景技术

将DAG图中的并行任务调度到处理器机群中以获得最短执行时间一直是并行任务调度中的重要研究课题。随着高速局域网以及分布式计算的发展，基于分布式主存的并行计算获得了快速的发展，分布式环境下处理器节点以及网络数据传输都有可能会出现失效问题，因此在满足系统容错参数f的前提下，追求更短的调度长度成为需要研究的问题。 

并行任务调度一般分为表调度、基于任务机群的调度、非确定性调度和基于任务复制的调度，任务模型一般采用DAG模型。由于局域网环境下通信开销成为影响并行计算效率的主要因素，而同一处理器上前驱后继任务间的数据传输时间可以忽略不计，一般局域网环境下可以采用任务复制调度思路，任务复制的基本思想是利用处理器的空闲时隙冗余地复制当前任务的前驱任务，从而避免任务间的数据传输。常用的任务复制算法有DSH、PY、LWB、BTDH、LCTD、CPFD等。 

上述并行任务调度方法不具备容错能力，分布式并行环境下，处理器节点和网络数据传输的失效问题使得容错能力成为并行计算模型的一个主要的考虑因素。一般并行计算的容错模式主要有被动复制(Passive replication/Primary &Backup)和主动复制(Active replication/N-Modular redundancy)，主动复制容错也被称为多复本容错。被动复制技术是传统的考虑时间和空间的容错方法，该方法的主要思想是从任务只有在主任务出现错误的时候才被激活。该模式的主要优点是在提供容错机制的同时能够达到很好的可调度性，因为任意的任务节点只有两个复本，而缺点就是容错能力有限，系统不能容纳超过一个节点的失效问题(fail-stop错误)。主动复制技术采用空间冗余思想，为了能够容纳f个计算节点的失效，DAG任务图中的任意任务节点都将被备份f+1份。下面简要介绍已有容错并行调度方法FTBAR算法和FTSA算法。 

FTBAR(Fault Tolerant Based Active Replication strategy)算法基于贪心的表调度思想，算法采用称为调度压力的代价函数，在算法执行的第n步，任务t_i调度到处理器p_j上的调度压力公式为：σ⁽ⁿ⁾(t_i,p_j)=S⁽ⁿ⁾(t_i,p_j)+s(t_i)-R^(n-1)，其中，S⁽ⁿ⁾(t_i,p_j)表示任务t_i在处理器p_j上的最早执行时间，s(t_i)表示任务t_i的最迟执行时间，R^(n-1)表示第n-1步时的调度长度，该算法的基本调度思路如下： 

①对于任意未调度任务t_i，计算其在所有处理器上的调度压力，并记录调度压力最小的f+1个处理器； 

②选择所有未调度任务t_i的所有配对<t_i,p_jk>，选择其中调度压力值最大的任务t_i； 

③根据步骤①的记录将任务t_i调度到调度压力最小的f+1个处理器上，计算 最早开始时间。 

FTSA(Fault Tolerant Scheduling Algorithm)算法首先采用任务重要性(task criticalness)的概念来衡量DAG任务的优先级，其计算公式如下：TC(t)=tl(t)+bl(t)，其中，tl(t)表示开始任务到当前任务的最长路径，该值为动态值，依赖于前驱任务的调度安排，bl(t)表示结束任务到当前任务的静态值，该值可以在调度开始前根据DAG图计算出来，FTSA算法的基本思路如下： 

①计算所有未调度任务的重要性值，选择优先队列中优先级最高的任务t_i； 

②利用FTSA算法公式计算出任务t_i在所有处理器上的结束时间，并记录结束时间最早的f+1个处理器，然后将任务t_i调度到这些处理器上； 

③将任务t_i加入已调度队列中，并更新任务t_i后继的重要性值，循环调度剩余任务。 

上述并行任务调度方法存在如下不足之处： 

(1)DSH、PY、LWB、CPFD等算法不具备容错能力，即任意一个处理器发生故障，并行任务无法成功完成； 

(2)FTSA和FTBAR算法没有采用任务复制来减少局域网环境下任务间的通信开销； 

(3)没有考虑处理器数量有限的情况，即系统中的处理器数量有限，如何在满足容错参数f的情况下追求更短的调度长度。 

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于任务复制的多复本容错并行任务调度方法。 

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于任务复制的多复本容错并行任务调度方法(CPBAR方法，Critical Path-Based Active Replication)，下面首先介绍CPBAR方法使用的基本符号如下： 

f：系统容错要求，即系统最多能够容纳f个处理器错误，因此采用(f+1)个复本来容错； 

m：DAG图的任务数目； 

n：系统中实际的处理器数目； 

c(t_i,t_j)：任务t_i与t_j间的数据传输时间； 

t_p∈pred(t_i)表示任务t_i的前驱任务； 

p_j：处理器编号(p_j∈P，1≤j≤m)； 

FT(t_i,p_j)：任务t_i在处理器p_j上的完成时间； 

任务t_i的第k个复本(1≤i≤n,1≤k≤f+1)； 

nc(t_i)：任务t_i的实际复本数； 

表示任务t_i的第k个复本所在的处理器； 

任务t_i的第k个复本的完成时间； 

RT(p_j)：处理器p_j的可用时间； 

DAT(t_p,p_j)：任务t_p的数据到达处理器p_j上的到达时间； 

EST(t_i,p_j)表示任务t_i在处理器p_j上的最早开始时间； 

OPT(t_i)：任务的最早开始时间优化值，即采用空处理器来进行并行复本调度，任务t_i的最早开始时间的优化值。 

CPBAR方法包括如下步骤： 

(1)确定任务优先级；采用以关键路径构建优先级队列的方法来确定任务的属性优先级； 

(2)预调度：首先根据关键路径构造任务优先级队列，假定处理器数量无限，每轮调度加入f+1个空处理器，首先利用多复本任务复制函数MST_AR()计算任务t_i在当前所有处理器上的最早开始时间优化值EST(t_i,p_j)，p_j为处理器编号，通过计算选择空处理器和不选择空处理器两种情况下的最早开始时间的差值来获得最早开始时间优化值OPT(t_i)，然后选择EST(t_i,p_j)值最小的f+1个处理器预放置t_i的f+1个复本，以<t_i,OPT(t_i)>的格式记录最早开始时间优化值； 

(3)重调度：首先按照最早开始时间优化值排序，然后统计任务t_i在最早开始时间优化值集合中出现的次数z(t_i)，然后每轮调度加入z(t_i)个空处理器，调用MST_AR()函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i,p_j)，选择开始时间最早的f+1个处理器来放置任务t_i的所有复本，从而完成任务调度。 

进一步地，在多复本任务复制函数MST_AR()中，利用MST_AR()函数计算任务t_i的在处理器p_j上的最早开始时间EST(t_i,p_j)时： 

①任务t_i在处理器p_j上的最早开始时间取决于其所有前驱任务的数据到达时间与该处理器的可用时间，前驱任务的数据达到时间等于前(f+1)个复本的数据到达时间，但不需要等待该前驱所有复本的数据； 

②若本地有前驱任务t_p的一个复本，则不需要等待t_p的其他复本； 

预调度阶段计算最早开始时间优化值中，每轮加入f+1个处理器，记录处理器空闲状态empty(ti)，根据MST_AR()函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i,p_j)，将最早开始时间按照处理器的空闲状态分为两组并升序排列，两组的差值就是任务t_i选择空处理器获得的最早开始时间优化值集合； 

重调度阶段，系统中处理器数量n有限，首先降序排序所有任务的最早开始时间优化值，选择优化值最好的n个记录，记为集合F，并统计任务t_i在最早开始时间优化值集合F中出现的次数z(t_i)，最后在每轮调度中，对于当前任务t_i加入z(t_i)个空处理器。 

CPBAR方法具有以下优点： 

(1)容错能力： 

本发明采用主动复制容错策略，将DAG(有向无环图)图中的任意任务备份f+1份来容纳f个处理器fail-stop(故障停止)错误，即容错参数为f的CPBAR方法可以容纳f个处理器出现故障停止错误，并保证并行任务最终成功执行。 

(2)更短的调度长度： 

CPBAR方法采用改进的多复本任务复制函数MST_AR()，有效地利用冗余思想减少任务间的数据传输时间，从而获得更短的调度长度，最终得到更高的并行效率和并行加速比。 

(3)应对有限处理器环境： 

CPBAR方法提出了最早开始时间优化值的概念，并基于此概念来分配有限的处理器资源，从而获得更好的调度长度。 

附图说明

图1为最早开始时间优化值示意图； 

图2为求解拉普拉斯方程DAG图。 

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。 

并行任务调度一般分为三步，首先确定任务节点的优先级，然后考虑优先级最高的任务，最后将该任务分配到能使它最早执行的处理器上。 

（1）确定任务优先级 

本发明采用关键路径(Critical Path)构建优先级队列的方法来确定任务的属性优先级。DAG图的关键路径指的是从开始任务到结束任务间具有最大计算开销与通信开销的路径，关键路径上的任务决定算法的调度长度。将DAG图中的任务节点分为三类，关键路径上的节点称为CPN节点(关键路径节点)，有路径到达CPN节点的节点称为IBN节点(入枝节点)，不能到达CPN节点的节点称为OBN节点(出枝节点)。上述三种类型节点的优先级顺序是：CPN>IBN>OBN，为简单起见，本发明不考虑OBN节点，即DAG图只有一个开始节点和一个结束节点，优先级队列的构造方法如下所示： 

任务优先级队列构造方法： 

①计算图的关键路径CP，确定CPN节点、IBN节点； 

②初始化任务优先级队列为空，将关键路径上的第一个节点加入队列中(即开始任务节点)，令t_next为关键路径上下一个CPN节点； 

while还有CPN节点未加入队列 

if任务t_next的所有前驱任务都在队列中 

③将任务t_next加入到队列中 

else 

④令t_p∈pred(t_next)是不在队列中的具有最大的b-level值的任务，若t_p的所有前驱任务 

都在队列中，将t_p加入队列；否则递归地加入所有t_p的前驱任务； 

⑤循环上述步骤直至t_next的所有前驱任务都已经加入队列，将t_next加入队列中 

end if 

⑥令t_next为下一个CPN节点 

end while 

所构造的任务优先级队列符合DAG图中的前驱后继顺序，任意CPN节点的前驱任务IBN节点都在该CPN之前加入到队列中。 

（2）公式与多复本任务复制函数MST_AR() 

确定了任务优先级队列后，需要选择队列中具有最高优先级任务将其调度到使其具有最早开始时间的(f+1)个处理器上。本发明采用任务复制方法确定任务t_i在处理器p_j上的最早开始时间，即尝试递归地复制任务t_i的最重要前驱任务到处理器p_j上以忽略任务t_i与其前驱任务间的数据传输等待时间，比较能否让任务t_i的最早开始时间EST提前，以减少调度长度，首先介绍任务复制函数需要的公式。 

公式一任务完成时间与复本完成时间的关系。任务t_i的前(f+1)个复本完成表示该任务完成，令t_i的实际复本数为nc(t_i)，则其完成时间 

$\mathrm{FinishTime}\left(t_i\right)=M{\mathrm{IN}}^{f+1\mathrm{th}}\left\{{\&cup;}_{k=1}^{k=\mathrm{nc}\left(t_i\right)}\mathrm{FT}(t_i^k,P\left(t_i^k\right))\right\}---\left(1\right)$

其中，MIN^f+1th表示按任务t_i复本的完成时间排序，第f+1个复本的完成时间。 

公式二前驱任务t_p的数据到达时间DAT(t_p,p_j)等于前(f+1)个复本的数据到达时间 $\mathrm{DAT}(t_p,p_j)=$

${\mathrm{MIN}}^{f+1\mathrm{th}}\left\{{\&cup;}_{k=1}^{k=\mathrm{nc}\left(t_p\right)}\mathrm{DAT}(t_p^k,p_j)\right\}={\mathrm{MIN}}^{f+1\mathrm{th}}\left\{{\&cup;}_{k=1}^{k=\mathrm{nc}\left(t_p\right)}(\mathrm{FT}(t_p^k,p\left(t_p^k\right))+c(t_p,t_i))\right\}---\left(2\right)$

公式二的前驱任务的达到时间可以进行优化，若任务t_p的一个复本 与任务t_i在同一个处理器上，则DAT(t_p,p_j)=FT(t_p,p_j)，即任务t_i不需要等待t_p的(f+1)个复本执行完成，只需要等待 执行完成即可。因为若该处理器正常运行，则可以直接获取t_p的数据；若该处理器崩溃，也不需要等待t_p其他复本的数据。MC-FTSA算法也是基于类似的假设来降低数据通信量。 

公式三任务t_i在处理器p_j上的最早开始时间取决于其所有前驱任务的数据到达时间与该处理器的可用时间 

$\mathrm{EST}(t_i,p_j)=\max \left\{\underset{t_p\&Element;\mathrm{pred}\left(t_i\right)}{\max }\right\{\mathrm{DAT}(t_p,p_j)\},\mathrm{RT}\left(p_j\right)\}---\left(3\right)$

公式四VIP前驱任务的确定。任务t_i的最重要前驱任务就是数据到达时间最迟的前驱任务，即 $t_{\mathrm{vip}}=\underset{t_p\&Element;\mathrm{pred}\left(t_i\right)}{\max }\mathrm{DAT}(t_p,p_j)---\left(4\right)$

基于上述公式，基于任务复制的最早开始时间函数MST函数核心思想如下：最小化任务t_i的开始时间，需要通过复制VIP前驱任务到该处理器上以避免数据传输时间，并通过递归求解前驱任务的最早开始时间获得任务t_i的最早开始时间。CPFD算法研究的是无限处理器环境下的不考虑容错的任务调度，本发明研究有限处理器环境下基于主动复制的容错技术，因此修改后的最早开始时间计算函数MST_AR(t_i，p_j)如下： 

①将多复本容错技术应用到最早开始时间计算函数中(公式二、公式三)，任务t_i的最早开始时间依赖于该任务的最早完成的(f+1)个复本的最迟时间(公式一)； 

②增加数组empty(p_j)存储函数MST_AR(t_i，p_j)执行前处理器p_j的状态，为最早开始时间优化值的计算做准备。 

多复本任务复制函数MST_AR(t_i，p_j)的实现如下所示： 

多复本任务复制函数MST_AR(t_i，p_j)： 

①记录处理器当前状态：若处理器p_j为空处理器，empty(p_j)=TRUE，否则empty(p_j)=FALSE； 

②根据公式2、公式3计算任务t_i在处理器p_j上的最早开始时间； 

③根据公式4计算得到任务t_i的VIP前驱任务t_vip； 

④递归调用MST_AR(t_vip，p_j)来计算t_vip的最早开始时间； 

⑤计算新的最早开始时间EST，若最早开始时间没有提前，则取消步骤4中的任务复制；否则循环调度t_vip的前驱任务 

⑥记录最早开始时间以及调度方案(调度前驱VIP任务的过程) 

（3）任务调度 

基于MST_AR(t_i，p_j)函数以及状态数组empty(p_j)，本发明提出了最早开始时间优化值的概念。假设任务t_i为当前调度的任务，m_i为当前系统中处理器数并记录处理器的空闲(empty)状态，利用MST_AR函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i,p_j)，CPBAR方法首先排序所有的EST(t_i,p_j)，选择EST最早的(f+1)个处理器来放置任务t_i，即最优调度。 

假设任务t_i的最优调度中使用了x=e(t_i)个空处理器，记为p_e1,p_e2,…,p_ex，处理器p_a1,p_a2,…,p_ax为非最优调度中的处理器，上述处理器编号都是按照最早开始时间降序排列，如图1所示。 

若处理器数不够，则用非空处理器p_a来代替空处理器p_e来放置任务t_i，因此可以计算任务t_i选择空处理器进行放置，所获得的最早开始时间优化值OPT(t_i)： 

OPT(t_i)=EST(t_i,p_a)-EST(t_i,p_e)                                (5) 

通过公式(5)可以看出，任务t_i选择空处理器放置复本而没有选择非空处理器，可以获得最早开始时间上的提升，即最早开始时间优化值。假设ne(t_i)表示任务t_i选择的(f+1)个处理器中空处理器的数量，那么需要计算ne(t_i)个最早开始时间优化值，无限处理器环境下算法需要的处理器总数为 

CPBAR方法采用关键路径来确定任务的优先级顺序，提出最早开始时间优化值来改进有限处理器资源环境下处理器资源的分配问题。CPBAR分为两轮，方法描述如下所示： 

CPBAR调度方法： 

①计算DAG图关键路径，构造任务优先级队列，初始化N＝0； 

While任务优先级队列中存在未调度任务 

②令任务t_i为队列中优先级最高的未调度任务； 

③每轮调度加入f+1空处理器，记录当前所有处理器的状态empty(p_j)，调用函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i，p_j)； 

④选择EST(t_i，p_j)值最小的f+1处理器预放置任务t_i的f+1个复本；若其中含有ne(t_i)个空处理器，计算采用上述空处理器的最早开始时间优化值： 

$\underset{j=1}{\overset{j=\mathrm{ne}\left(t_i\right)}{\mathrm{\&cup;}}}\mathrm{OPT}\left(t_i\right),$ 并以 

<t_i,OPT(t_i)＞的格式记录下来； 

⑤任务t_i调度完成，统计N+=ne(t_i)； 

End While 

if N≤n(n为实际处理器数) 

⑥按照预调度方案调度任务，算法结束； 

end if 

⑦将最早开始时间优化值集合按照降序排列，选择优化值最好的n个记录，记为集合F； 

⑧重新初始化任务优先级队列所有任务为未调度状态； 

While任务优先级队列中存在未调度任务 

⑨令任务t_i为级队列中优先级最高的未调度任务； 

⑩统计任务t_i在最早开始时间优化值集合F中出现的次数z(t_i)； 加入z(t_i)个空处理器，调用函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i，p_j)；选择开始时间最早的f+1个处理器来放置任务t_i的所有复本； 

重调度完成。 

End while 

第一轮预调度：假设处理器数量无限，采用MST_AR函数计算任务t_i在所有处理器上的最早开始时间EST(t_i,p_j)以及empty(p_j)，若采用空处理器的数为m(t_i)，那么计算任务t_i采用这些空处理器获得的最早开始时间优化值 

并以<任务号，优化值>的格式记录下来；同时统计无限处理器环境下算法需要的处理器数N； 

第二轮重调度：若N≤n，那么重调度终止，按照第一轮调度方法部署任务；否则根据第一轮调度结果，将最早开始时间优化值集合按照降序排列，选择优化值最好的n个记录，统计任务出现的次数，即为实际重调度中分配的处理器数。 

下面以图2的求解拉普拉斯方程的并行应用DAG图为例来说明CPBAR方法的执行过程。假设容错参数f＝1，实际处理器数n=8。求解拉普拉斯方程DAG图的任务优先级队列如表1所示。 

表1 求解拉普拉斯方程DAG图的优先级队列 

预调度后最早开始时间优化值集合以及排序后的结果如表2所示。 

表2图2所示DAG图的最早开始时间优化值集合 

根据表2的数据显示，由于任务优先级队列中的第一个任务需要分配(f+1)个处理器，即2个处理器，剩余6个空处理器可以调度，查询排序后的<ti，OPT-EST>集合可得，当调度到任务2、任务5、任务9时分别加入2个空的处理器。最后CPBAR方法的调度长度以及平均负载如表3所示。 

表3图2所示DAG图的调度长度 

调度长度	理想处理器数	实际处理器数	平均负载
				80	10	8	47.5

Claims (2)

1.一种基于任务复制的多复本容错并行任务调度方法，包括如下步骤：

(1)确定任务优先级；采用以关键路径构建优先级队列的方法来确定任务的属性优先级；

(2)预调度：首先根据关键路径构造任务优先级队列，假定处理器数量无限，每轮调度加入f+1个空处理器，首先利用多复本任务复制函数MST_AR()计算任务t_i在当前所有处理器上的最早开始时间优化值EST(t_i,p_j)，p_j为处理器编号，通过计算选择空处理器和不选择空处理器两种情况下的最早开始时间的差值来获得最早开始时间优化值OPT(t_i)，然后选择EST(t_i,p_j)值最小的f+1个处理器预放置t_i的f+1个复本，以<t_i,OPT(t_i)>的格式记录最早开始时间优化值；

(3)重调度：首先按照最早开始时间优化值排序，然后统计任务t_i在最早开始时间优化值集合中出现的次数z(t_i)，然后每轮调度加入z(t_i)个空处理器，调用MST_AR()函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i,p_j)，选择开始时间最早的f+1个处理器来放置任务t_i的所有复本，从而完成任务调度。

2.根据权利要求1所述一种基于任务复制的多复本容错并行任务调度方法，其特征在于：

在多复本任务复制函数MST_AR()中，利用MST_AR()函数计算任务t_i的在处理器p_j上的最早开始时间EST(t_i,p_j)时：

①任务t_i在处理器p_j上的最早开始时间取决于其所有前驱任务的数据到达时间与该处理器的可用时间，前驱任务的数据达到时间等于前(f+1)个复本的数据到达时间，但不需要等待该前驱所有复本的数据；

②若本地有前驱任务t_p的一个复本，则不需要等待t_p的其他复本；

预调度阶段计算最早开始时间优化值中，每轮加入f+1个处理器，记录处理器空闲状态empty(t_i)，根据MST_AR()函数计算任务t_i在当前所有处理器上的最早开始时间EST(t_i,p_j)，将最早开始时间按照处理器的空闲状态分为两组并升序排列，两组的差值就是任务t_i选择空处理器获得的最早开始时间优化值集合；

重调度阶段，系统中处理器数量n有限，首先降序排序所有任务的最早开始时间优化值，选择优化值最好的n个记录，记为集合F，并统计任务t_i在最早开始时间优化值集合F中出现的次数z(t_i)，最后在每轮调度中，对于当前任务t_i加入z(t_i)个空处理器。

Images