CN102231122A - 一种集群环境中基于分簇的节能调度方法 - Google Patents

Abstract

一种集群环境中基于分簇的节能调度方法，具体步骤是：读并行任务的有向无环图DAG文件，构建每个任务所对应的簇，簇的合并，最后是簇的映射，完成簇到处理机的调度。其根据集群系统对性能和能耗的注重程度以及系统中CPU功耗和网络功耗特点设置一个阈值，在簇的合并过程中对当前未分簇任务增加的计算能耗和减少的通信能耗进行权衡，决定是否删除已分簇任务，以此来控制系统性能、CPU能耗以及网络通信能耗。综合考虑了集群系统性能和能耗这两方面的要求，采取聚簇调度方法，在性能、CPU能耗以及网络通信能耗之间进行平衡，在保证系统性能的前提下节省系统总能耗，适用于集群系统环境中基于能量优化的并行任务调度。

Description

一种集群环境中基于分簇的节能调度方法

技术领域

本发明涉及一种计算机节能调度方法，特别是涉及一种支持集群系统环境中基于能量优化的并行任务调度方法。

背景技术

集群是一种并行分布式处理系统，由很多连接在一起的独立计算机组成，像一个单独集成的计算资源一样协同工作，对于用户来说就像一个独立的计算系统。自20世纪90年代以来，随着PC机性能的显著提高和价格的日益下降，高速网络的发展，以及集群软件的日益成熟，集群系统已经成为高性能计算的主流平台。

集群系统已经在工商业等诸多领域得到广泛而深入的应用。然而，高性能集群计算平台在提供强大的计算能力同时也消耗着巨大的能量。根据UN(EnergyUser News)报告，现今，集群计算中心能量需求从150W/ft2到200W/ft2，在未来几年将会增加到200-300W/ft2。根据美国环境保护总署报告，2006年，美国数据中心的总能耗是614亿KWh，2006年是2000年的两倍。能耗大是成为集群系统发展的瓶颈，急需得到有效的解决。

任务调度对于集群系统的性能是至关重要的，因为任务的不恰当调度会使得系统真正强大的计算能力得不到体现，并且可能会抵消掉并行化所带来的效果。

并行任务的调度问题一般可以抽象为经典有向无环图DAG(DirectedAcyclic Graph)调度问题，它已经被证明是一个NP完全问题，因此主要采用启发式调度方法求解。基于不同的调度策略，这些调度方法主要可以分为三类：表调度方法，聚簇调度方法，基于任务复制的调度方法。有向无环图DAG调度的目标既要减少任务之间的通信代价，又要最大化任务之间的并行度。如果调度策略选取不当，可能会降低任务并行化所带来的效果。所以有向无环图DAG调度方法必须在任务间的通信总量和任务的并行度之间进行权衡。目前这三类方法及其国内外的现状如下：

一、表调度方法

表调度方法就是通过给每个任务分配一个优先级，并根据任务优先级确定一个调度列表，然后循环执行以下两步直到所有任务被调度完：

1、从调度列表中移除第一个节点；

2、把该任务调度到使它的启动时间最早的处理机节点上。

由于那些传统表调度方法的调度表是在任务调度之前就已经静态生成，而且生成的调度表在任务调度过程中不能改变，这样难免会造成在任务调度过程中那些本应该优先执行的任务节点因其优先级较低而久久不能执行的情况发生。鉴于该问题，近些年来人们提出了一种基于动态表调度的策略。该策略在每次分配一个任务后，都会重新计算所有未调度的任务节点的属性，然后重新安排调度列表中任务节点的次序。因此，这些方法实际采取下列三个步骤：

1、确定所有未被调度任务节点的新属性；

2、从新调度表中选择优先级最高的任务节点进行调度；

3、把该任务节点分配到使它的启动时间最早的处理机上。

二、聚簇调度方法

聚簇调度方法就是在调度的开始阶段，有向无环图DAG的每个任务节点都被认为是一个簇。在不增加整个任务总的完成时间的前提下，进行簇的合并，该合并操作直到所有簇合并完为止。聚簇方法假设有无限个虚拟处理机，充分利用足够多的处理机来最小化并行任务的调度长度。由于该调度方法总是假设有无数个虚拟处理机节点，但现实中处理机节点数量总是有限的，所以聚簇方法一般在合并簇完成后，有一个簇到现实处理机的映射过程。当然，映射完毕之后还要确定每个任务在各个处理机节点上的执行开销。根据簇中是否有独立任务，可以将聚簇方法分为线性聚簇和非线性聚簇两大类。目前的一些任意处理机节点、通信网络和异构系统结构的调度特别适合运用聚簇方法，因为聚簇调度方法具有阶段性的特性。当有向无环图DAG被分簇后，由于在任意处理机节点、通信网络和异构系统结构中，处理机节点的处理能力以及连接处理节点的网络数据传输速率均不同，所以簇到不同处理机的映射阶段，任务间的通信时间和任务计算所耗费的时间也会不同。现有的聚簇方法有EZ、LC、MD、DSC、DCP和EZDCP等。

三、任务复制调度方法

基于任务复制的调度方法就是通过复制某个或某些任务到不同处理机上，消除具有约束关系的任务间的通信开销，从而减少整个任务调度时间长度。该方法是基于一种假设——如果某两个任务被分配到一个处理机上，它们之间的通信时间是可以忽略不计的，但这样做往往会增大其空间复杂度。不同的任务节点复制策略的选择将产生不同的任务复制调度方法，基于此国内外进行了广泛的研究。有的复制调度方法尽可能复制前驱节点，而有的只是选择性地复制某些前驱节点。近些来，为了达到最小化并行任务的调度长度的目标，人们开始不断研究怎样选取合适的任务复制调度方法。因为基于任务复制的调度方法要进行向后搜索选取合适的任务进行复制，所以任务复制方法的时间复杂度比同类其他方法高些，又因为复制的任务而另开辟存储复制的任务的空间，所以基于任务的调度方法的空间复杂度比同类方法要高出很多。这也是基于复制任务调度方法更多的用于理论研究，而较少用于实际调度工具中的原因。现有的任务复制调度方法有DSH，TDH，LCTD，CPFD和TCSD等。

目前，由于能量优化问题越来越受人们的关注，基于以上方法的能量优化调度方法不断被提出。基于能量优化的Adhoc网格资源调度方法E_sufferage，该方法是对经典sufferage方法进行改进，综合考虑能量消耗和时间跨度两约束条件下，实现能量消耗最小化。基于遗传方法的Adhoc网格任务调度方法，该方法在满足最优跨度的情况下，最优化Adhoc能量消耗。基于能量优化的任务复制调度策略，主要是在网络通信能量消耗和节点计算能量消耗之间作平衡，改变过去一贯考虑计算节点的节能，而忽略网络通信的能耗的状况。

综上所述，传统调度方法有的只考虑性能而完全忽略能耗；有的虽然既考虑了性能又考虑了能耗，但忽略了网络通信能耗；有些基于能量优化的调度方法虽然考虑了能耗问题，但对性能的考虑不足。本发明提出一种集群环境中基于分簇的节能调度方法，该方法在能耗和性能方面优于以往一些调度方法。

发明内容

针对集群系统带来的巨大能耗问题，本发明的目的是提供一种集群环境中基于能量优化的并行任务调度方法，在保证系统性能的前提下节省系统总能耗。

本发明提供的技术方案是一种集群环境中基于能量优化的并行任务调度方法，包括以下步骤：

一、首先读取并行任务有向无环图DAG文件。

二、构建每个任务所对应的簇。对于并行任务集V，共有n＝|V|个任务，标记所有任务为未分簇。首先从入口任务v₁开始并构造对应的簇C(v₁)＝{v₁}。对于其他的每个任务v_k合并其最佳前驱所对应的簇C(FP(v_k))，也即是C(v_k)＝{v_k}∪C(FP(v_k))，其中循环变量k为任务序号，依次循环执行直到出口任务v_n结束。

三、簇的合并。根据集群系统对性能和能耗这两个指标的注重程度以及处理器功耗和网络功耗特点，设置一个阈值Threshold。从出口任务v_n开始，检验每个任务v_i所对应的簇C(v_i)。如果该簇中至少有一个任务未分簇，则进入该簇将未分簇的任务标记为已分簇，并从簇尾(序号较大的任务)到簇头分析已分簇的任务；倘若该簇中的所有任务均已分簇，则将该簇清空。对已分簇任务进行分析过程中，如果不删除当前已分簇的任务，则会减少调度长度以及任务之间的通信能耗，增加未删除任务的计算能耗，减少时间为lesstime(等于减小的任务调度长度)，增加能耗为moreenergy(等于未删除任务计算能耗减去它与后继任务之间的通信能耗)。对于同构集群，如果增加能耗moreenergy大于指定的阈值Threshold，则将该任务前面的所有任务从簇中删除；对于异构集群，如果减少时间lesstime＜0，则将该任务前面的所有任务从簇中删除。

四、最后是簇的映射，完成簇到处理机的调度。对于同构集群，如果某个簇非空，则将该簇分配给一个空闲处理器，完成簇C(v_k)到处理机Pm的映射，m为处理机的数目；对于异构集群，若某个簇在某个空闲处理机上执行的能量消耗最小，就将该簇调度到对应的处理机上，并且标记该处理机已经被占用。

本发明的特点：针对集群环境中的能量优化问题，采取聚簇调度策略，通过设置一个阈值来权衡不删除已分簇任务对计算能耗和通信能耗的影响，从而对任务删除进行控制，这样既可以对性能进行控制，又可以对CPU能耗和网络通信能耗进行控制，通过平衡性能和能耗，在保证系统性能的前提下节省系统总能耗。

附图说明

附图为本发明流程框图；

具体实施方式

下面结合附图对本发明作进一步的详细描述。

用户任务：用户提交的任务用有向无环图DAG表示，定义为(V，E)。其中V＝(v₁，v₂，L，v_n)表示并行任务，V是节点v的集合，t_i是执行第i个任务所需要的时间。E是有向边集合，表示任务间优先约束关系，e_ij＝(v_i，v_j)∈E表任务v_i到任务v_j传递的消息，c_ij表示消息e_ij∈E的通信代价。

集群资源：同构集群用集合P＝{p₁，p₂...，p_m}表示，p_i表示集群的计算节点，对于同构集群，也即处理器具有相同的处理能力，节点间的网络连接也是同构的，因此，对于固定数据大小的消息，在任何节点间的通信开销被认为是相同的。异构集群可以用集合P＝{p₁，p₂...，p_m}中的计算节点通过局域网相互连接而成。我们可以用一个n×m的二维矩阵X来表示n个任务映射到m个异构计算节点的调度过程。如果任务t_i调度到计算节点p_j，则x_ij＝1，否则x_ij＝0，其中x_ij∈X。

具体实施方式按照以下步骤进行。

一、读并行任务有向无环图DAG文件。

二、构建每个任务所对应的簇。对于并行任务集V，共有n＝V个任务，标记所有任务为未分簇。首先从入口任务v₁开始并构造对应的簇C(v₁)＝{v₁}。对于其他的各个任务v_k，合并其最佳前驱(FP)所对应的簇C(FP(v_k))，即C(v_k)＝{v_k}∪C(FP(v_k))，依次循环执行直到出口任务v_n结束。其中最佳前驱FP(v_i)定义如公式(1)所示：

$\mathrm{FP}\left(v_i\right)=v_{j,}\mathrm{where}\∀e_{\mathrm{ji}}\∈E,e_{\mathrm{ki}}\∈E,j\≠k|\mathrm{ECT}\left(v_j\right)+c_{\mathrm{ji}}\≥\mathrm{ECT}\left(v_k\right)+c_{\mathrm{ki}}---\left(1\right)$

入口任务的最早开始(EST)时间是0，其他任务的最早开始时间可以自上而下递归计算。对于(V，E)并行任务，每个任务的最早开始时间，可以由公式(2)计算得到。

任务v_i的最早完成时间(ECT)等于任务v_i最早开始时间加上任务v_i的执行时间，如公式(3)所示：

ECT(v_i)＝EST(v_i)+t_i                                                 (3)

从前驱任务v_i到其后继任务v_k的数据到达时间DRT(v_i，v_k)，如公式(4)所示：

DRT(v_i，v_k)＝ECT(v_i)+c_ik                                            (4)

SBP(v_i)表示任务v_i的次佳前驱，定义如公式(5)所示：

SBP(v_i)＝v_j，where(j≠k)∧(v_j≠FP(v_i))∧(DRT(v_j，v_i)≥DRT(v_k，v_i))  (5)

三、簇的合并。根据集群系统对性能和能耗这两个指标的注重程度以及处理器功耗和网络功耗特点，设置一个阈值Threshold。从出口任务v_n开始，检验每个任务v_i所对应的簇C(v_i)。如果该簇中至少有一个任务未分簇，则进入该簇将未分簇的任务标记为已分簇，并从簇尾(序号较大的任务)到簇头分析已分簇的任务；倘若该簇中的所有任务均已分簇，则将该簇清空。对已分簇的任务进行分析过程中，如果不删除当前已分簇的任务，则会减少调度长度以及任务之间的通信能耗，增加未删除任务的计算能耗，减少时间为lesstime，增加能耗为moreenergy。对于同构集群，如果增加能耗moreenergy大于指定的阈值Threshold，则将该任务前面的所有任务从簇中删除；对于异构集群，如果减少时间lesstime＜0，则将该任务前面的所有任务从簇中删除。其中减少时间lesstime＝LACT(v_i)-LAST(v_j)+c_ij，增加能耗moreenergy＝en_i-el_ij＝PN×t_i-PL×c_ij，v_j为任务v_i的最佳后继。

出口任务的最晚允许完成时间(LACT)等于其最早完成时间，其他任务的最晚允许完成时间自上而下递归计算，如公式(6)所示：

$\mathrm{LACT}\left(v_i\right)=\left\{\begin{array}{c}\mathrm{ECT}\left(v_i\right),\mathrm{if\; predecessor}\left(i\right)=\mathrm{\Φ}\\ \underset{e_{\mathrm{ij}}\∈E}{\min }(\underset{v_i\≠\mathrm{FP}\left(v_j\right)}{\min }(\mathrm{LAST}\left(v_j\right)-c_{\mathrm{ij}}),\underset{v_i=\mathrm{FP}\left(v_j\right)}{\min }\left(\mathrm{LAST}\left(v_j\right)\right)),\mathrm{otherwise}.\end{array}\right.---\left(6\right)$

其他任务v_i的最晚允许开始时间(LAST)等于其最晚允许完成时间减去其执行时间，LAST(v_i)定义如公式(7)：

LAST(v_i)＝LACT(v_i)-t_i            (7)

对于任务集合V和分配矩阵X的并行应用程序，我们所有任务的计算能耗可以用公式(8)计算获得，其中PN是处理机功耗。

${\mathrm{EN}}_{\mathrm{active}}=\underset{i=1}{\overset{\left|V\right|}{\mathrm{\Σ}}}{\mathrm{en}}_i=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\mathrm{PN}*t_i)=\mathrm{PN}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_i---\left(8\right)$

网络通信能耗EL可以表示为公式(9)，其中EL^ab是节点P_a和P_b之间的网络通信所消耗的能量，PL是网络功耗，如果任务v_i分配到节点P_a，则x_ia＝1，f否则x_ia＝0，c_ij是网络通信代价。

$\mathrm{EL}=\underset{a=1,b=1}{\overset{m}{\mathrm{\Σ}}}\underset{,b\≠a}{\overset{m}{\mathrm{\Σ}}}{\mathrm{EL}}^{\mathrm{ab}}=\underset{i=1,b=1}{\overset{n}{\mathrm{\Σ}}}\underset{j\≠i}{\overset{n}{\mathrm{\Σ}}}\underset{a=1,b=1}{\overset{m}{\mathrm{\Σ}}}\underset{b\≠a}{\overset{m}{\mathrm{\Σ}}}(x_{\mathrm{ia}}\·x_{\mathrm{jb}}\·\mathrm{PL}\·c_{\mathrm{ij}})---\left(9\right)$

四、最后是簇的映射，完成任务簇到处理机的调度。对于同构集群，如果某个簇非空，则将该簇分配给一个处理器，完成簇C(v_k)到处理机Pm的映射，m记录处理机的数目；对于异构集群，若某个簇在某个处理机上执行的能量消耗最小，就将该簇调度到对应的处理机上，并且标记该处理机已经被占用。

Claims (1)

1.一种集群环境中基于分簇的节能调度方法，其步骤如下：

一、首先读取并行任务有向无环图DAG文件；

二、构建每个任务所对应的簇对于并行任务集V，共有n＝|V|个任务，标记所有任务为未分簇；首先从入口任务v1开始并构造对应的簇C(v1)＝{v1}；对于其他的每个任务vk合并其最佳前驱所对应的簇C(FP(vk))，也即是C(vk)＝{vk}∪C(FP(vk))，其中循环变量k为任务序号，依次循环执行直到出口任务vn结束；

三、簇的合并根据集群系统对性能和能耗这两个指标的注重程度以及处理器功耗和网络功耗特点，设置一个阈值Threshold；从出口任务vn开始，检验每个任务vi所对应的簇C(vi)；如果该簇中至少有一个任务未分簇，则进入该簇将未分簇的任务标记为已分簇，并从簇尾(序号较大的任务)到簇头分析已分簇的任务；倘若该簇中的所有任务均已分簇，则将该簇清空；对已分簇任务进行分析过程中，如果不删除当前已分簇的任务，则会减少调度长度以及任务之间的通信能耗，增加未删除任务的计算能耗，减少时间为lesstime(等于减小的任务调度长度)，增加能耗为moreenergy(等于未删除任务计算能耗减去它与后继任务之间的通信能耗)；对于同构集群，如果增加能耗moreenergy大于指定的阈值Threshold，则将该任务前面的所有任务从簇中删除；对于异构集群，如果减少时间lesstime＜0，则将该任务前面的所有任务从簇中删除；

四、最后是簇的映射，完成簇到处理机的调度对于同构集群，如果某个簇非空，则将该簇分配给一个空闲处理器，完成簇C(vk)到处理机Pm的映射；对于异构集群，若某个簇在某个空闲处理机上执行的能量消耗最小，就将该簇调度到对应的处理机上，并且标记该处理机已经被占用。

Images