CN103530183A - 大规模异构计算系统中任务计算量具有随机性的调度方法 - Google Patents

Abstract

本发明针对大规模异构计算系统环境下任务执行时间具有随机性及优先约束依赖关系，提出了一种高效的任务调度方法。该方法主要由以下几步构成：第一步，针对应用程序的每个任务，计算其随机sb_level值；第二步，对已就绪任务队列中的每个任务查找最优处理机，并计算每对任务－处理机的随机动态级SDL；第三步：利用操作算子＜比较随机动态级SDL的大小，确定最优任务－处理机对；第四步：将任务调度到相应的处理机上执行，并把已就绪的任务加入就绪任务队列；第五步：更新目标计算系统的相关参数。采用该方法，较之现有面向异构计算系统的调度方法相比具有调度长度短、加速比高等性能优势。

Description

大规模异构计算系统中任务计算量具有随机性的调度方法

技术领域

本发明属于计算机软件以及超级计算机中资源管理技术领域，涉及一种基于任务计算量具有随机性的任务调度方法。 

背景技术

随着以信息技术变革为主的社会经济飞速发展，大型复杂科学工程计算和海量数据处理对高性能计算需求越来越高。由于硬件局限，单一计算机很难满足这些问题的海量计算需求。同时，高速互联网络与超大规模高性能集成电路技术迅猛发展，可移植高性能通讯软件广泛应用，以网络为基础的高性能并行计算成为可能。并行计算用以解决许多中、粗粒度的复杂科学计算、海量数据搜索处理问题，如高精度的中尺度数值天气预报、图形渲染、核爆炸模拟、新药筛选、飞行器数字模拟、作战模拟和金融电子服务等。 

由于目前大规模并行计算系统具明显的的异构性，而各种资源动态加入和退出具有随机性，因而系统资源管理与任务调度所面临的问题将更加复杂，这种复杂性已成为提高异构并行计算系统实际应用性能和效率必须解决的关键问题之一。另一方面，传统资源管理与任务调度系统在应对大规模计算系统动态资源时呈现出系统延迟性高、可扩展性差、实时性差、任务调度效率低等一系列问题，其中最核心的是系统任务调度效率低。 

任务调度问题本质上属于组合优化问题，而组合优化问题的最优解属于NP完全问题，特别是满足系统可靠性、安全性、任务间约束关系的多目标任务调度更是NP完全问题。目前解决调度问题的策略和方法大致分为：局部和全局、静态和动态(在全局类中)、最优和次优(在静态和动态两种类型中)、近似和启发式(在次优类型中)、集中控制和分散控制(在动态类型中)、协作和非协作(对分散控制)、单个和多个应用程序、非抢占式和抢占式、非自适应和自适应等。在实际应用上，相对于高复杂的精确任务调度策略，启发式任务调度策略与方法是解决分布式系统任务调度问题的一种有效方法。 

另一方面，经典研究方法都假定任务调度时已知任务计算量，常见方法有任务多次 执行的平均值或者任务执行的最坏值等。然而实际任务执行时间具有随机性，这种任务实际执行时间随机性对计算系统任务调度提出巨大挑战，下面将以一个简单的例子说明。如当以全部任务总完成时间做为任务调度方法效率衡量标准时，有这样4个任务其均值和方差如表1示： 

表1任务计算量具有随机性示例 

任务	1	2	3	4
					E(期望)	35	40	20	22
D(方差)	8	5	20	0

经典调度策略和方法是通过获得最小期望处理时间来选择最佳调度序列，很明显SEPT（最短执行时间优先）方法是其中的一种有效技术，因而其调度序列为3-4-1-2。如果假定任务vi的完成时间为C_i，那么全部任务完成时间的期望与方差结果分别为：E[∑C_i]=256和Var[∑C_i]=357。但在4-3-1-2调度序列中，其全部任务完成时间的期望与方差结果则为：E[∑C_i]=258和Var[∑C_i]=217。第二种调度方法有稍微略高的期望值，但却比SEPT调度方法有低很多的方差。假设所有任务计算量都服务正态分布且此问题求解的期限为280，则 

调度方案1(SEPT调度)： 

u1=256，D1=357，Pr[∑Ci≦280]=Pr[Z≦1.272]=0.898=89.8% 

调度方案2： 

u2=258，D2=217，Pr[∑Ci≦280]=Pr[Z≦1.493]=0.9324=93.24% 

调度方案2的期望值高，但其能在期限内求解的可能性为：93.24%，明显高于调度方案1的89.8%。因而，本文认为方案2是一种处理随机任务调度问题的较好方法。由此可见当考虑任务计算量具有随机性时，经典调度方法不一定就是最优的策略和方法。因而研究并提出针对任务计算量具有随机性的调度方法是提高并行计算系统应用效率的重要技术手段。 

发明内容

本发明针对大规模异构计算系统环境下任务执行时间具有随机性及优先约束依赖关系，提出了一种高效的任务调度方法。采用该方法，较之现有面向异构计算系统的调 度方法相比具有调度长度短、加速比高等性能优势。 

为解决上述技术问题，本发明所采用的技术方案为：一种大规模异构计算系统中任务计算量具有随机性的调度方法，包括如下步骤： 

第一步，对运行在大规模异构计算系统环境下所有服从正态分布的随机有向无环并行应用程序，求就绪任务队列中任务v_x到出口任务v_exit的随机近似路径长度sb_level(v_x)，其中sb_level(v_x)为： 

$\mathrm{sb}\_\mathrm{level}\left(v_x\right)={\mathrm{MAX}}_{e_{x,i}\∈E,v_i\∈\mathrm{succ}\left(v_x\right)}\{w\left(e_{x,i}\right)+\mathrm{sb}\_\mathrm{level}\left(v_i\right)\}+\frac{w\left(v_x\right)}{\stackrel{\‾}{w\left(p\right)}},$

其中e_x,_i表示任务间的数据通信量，v_x，v_i是任务节点，且任务v_x是任务v_i具有优先约束性的前驱任务，也就是说只有当任务v_x执行完成后，任务v_i才可以执行，E为所有通信边集合，succ(v_x)为任务v_x的直接后继任务集，w(v_x)表示任务节点vx的计算需求，w(e_x,i)表示通信边e_x,i的通信需求，

是计算系统平均计算能力； 

对于出口任务v_exit， 

$\mathrm{sb}\_\mathrm{level}\left(v_{\mathrm{exit}}\right)=\frac{N({\mathrm{\μ}}_{\mathrm{exit}},{\mathrm{\σ}}_{\mathrm{exit}}^2)}{\stackrel{\‾}{w\left(p\right)}};$

其中sb_level(v_exit)为任务v_exit本身的随机近似路径长度，

是任务v_exit服从正态分布的计算量； 

第二步，为了给已就绪任务队列中的每个任务查找最优处理机，将就绪任务队列中的每个任务都分别与所有的处理机逐一配对，并计算由此产生的每对任务－处理机的随机动态级SDL，其任务－处理机对的随机动态级SDL为： 

SDL(v_i,p_x)=sb_level(v_i)-EST(v_i,p_x)┤Δ(v_i,p_x)； 

其中EST(v_i,p_x)是任务v_i在处理机p_x上的最早开始执行时间，Δ(v_i,p_x)代表计算资源的差异性； 

第三步：将第二步中所得到的SDL(v_i,p_x)进行比较，以获得最优任务－处理机对；比较随机动态级SDL的大小是利用操作算子＜来实现，操作算子＜的实现方法是对任意两个服从正态分布的随机动态级SDL(X₁)和SDL(X₂)，当x=x₁时，随机动态级 SDL(X₁)的累积分布函数F(SDL(X₁))=0.9；x=x₂时，随机动态级SDL(X₂)的累积分布函数F(SDL(X₂))=0.9，则操作算子＜计算如下： 

$\mathrm{SDL}\left(X_1\right)<\mathrm{SDL}\left(X_2\right)=\left\{\begin{array}{ccc}\mathrm{SDL}\left(X_2\right),& \mathrm{for}& x_1<x_2\\ \mathrm{SDL}\left(X_1\right),& \mathrm{otherwise}& \end{array}\right.$

其中x是自变量，x₁是x定义域上的点，x₂是x定义域上的另一点； 

第四步：将最优任务－处理机对的任务调度到相应的处理机上执行；在任务调度后，若还有原来受此任务约束的任务，则将这些任务变为就绪任务，再将这些变为就绪任务的任务加入就绪任务队列； 

第五步：检查就绪任务队列中所有任务是否调度完毕，如果调度完毕则输出任务－处理机对序列；否则更新目标计算系统的参数，所更新的参数包括处理机的运行时间、完成时间，该任务已经调度的标记，相应数组信息等，并返回第二步重新计算所有就绪任务－处理机对的SDL(v_i,p_x)，这样循环执行第二、三、四、五步直至就绪任务队列中所有任务均调度完毕。 

所述的一种大规模异构计算系统中任务计算量具有随机性的调度方法，第二步中Δ(v_i,p_x)的计算公式为： 

$\mathrm{\&Delta;}(v_i,p_x)=\frac{w\left(v_i\right)}{\stackrel{\&OverBar;}{w\left(p\right)}}-\frac{w\left(v_i\right)}{w\left(p_x\right)},$

其中，w(v_i)为任务节点v_i的计算需求，w(p_x)为处理机p_x的计算能力，这里Δ(v_i,p_x)值越大，代表处理机计算能力越强；如果Δ(v_i,p_x)负值，则表示其计算能力低于系统平均计算能力。 

本发明的有益效果在于，本发明针对经典调度方法以任务计算量为确定值进行调度，这与任务实际执行时间有较大差别，从而调度性能低下。本发明首先研究任务计算量服从正态分布的应用程序，利用Clark方程实现并行任务完成时间期望与方差的计算，在此基础上提出随机sb_level近似计算方法，受确定型表调度方法DLS启发，提出针对随机任务调度问题的随机动态级调度方法(SDLS)。 

该方法最大实用之处是从大规模异构计算系统任务执行时间的实际状态出发，研究其自身固的规律，从而提出符合实际需求的任务调度方法，有效提高高性能应用的实际应用效率。 

下面结合附图对本发明作进一步说明。 

附图说明

图1是本发明的流程图； 

图2是服从正态分布的串—并结构随机任务图示例； 

图3是服从正态分布的累积分布函数和操作算子＜示例； 

图4是100任务DAG图实验结果(a)调度长度，(b)加速比，(c)调度长度标准方差； 

图5是200任务DAG图实验结果(a)调度长度，(b)加速比，(c)调度长度标准方差； 

图6是300任务DAG图实验结果(a)调度长度，(b)加速比，(c)调度长度标准方差； 

具体实施方式

本发明所采用的技术方案包括以下关键方法： 

1、并行应用程序DAG（有向无环）近似路经长度 

基于DAG（有向无环）模型的并行应用程序表调度方法关键是如何有效计算从入口任务到任务或任务到出口任务的路经长度，确定型调度方法计算路经长度的方法很多，如t-level、b-level、关路经等。但对于随机DAG（有向无环）模型，由于其每个任务计算量和任务间的通信量是随机变量，因而任务的路经长度也是随机变量。另一方面，任务DAG（有向无环）图的数据依赖关系实际上由两种类型构成：任务间串行结构，如图2(a)所示；任务间并行结构，如图2(b)所示。计算随机任务路经长度可通过重复多次计算串行结构随机路经长度和并行结构随机路经长度来实现。 

对于服从正态分布的随机概率变量X_i(i=1,2,3,…n)，其数学期望和方差分别为μi、 

则随机变量之和 $X=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_i$ 服从期望为

和方差为

的正态分布，也可以写成： 

$X~N(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_i,\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_i^2)---\left(1\right)$

随机正态分布变量的这个重要属性可以应用在串行结构随机任务路经长度计算上。如图2(a)，其随机串行路经为(v_i→e_i,j→v_j)，则路经长度为w(v_i)+w(e_i,j)+w(v_j)。由于v_i、e_i,j、v_j都服从正态分布，因而其路经长度X服从 

正态分布。这里我们假定随机变量X的概率密度函数为f(x)、累积分布函数为F(x)，则有： 

$\left\{\begin{array}{c}f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}({\mathrm{\&sigma;}}_1^2+{\mathrm{\&sigma;}}_{\mathrm{1,2}}^2+{\mathrm{\&sigma;}}_2^2)}}\exp (-\frac{{(x-({\mathrm{\&mu;}}_1+{\mathrm{\&mu;}}_{\mathrm{1,2}}+{\mathrm{\&mu;}}_2))}^2}{2({\mathrm{\&sigma;}}_1^2+{\mathrm{\&sigma;}}_{\mathrm{1,2}}^2+{\mathrm{\&sigma;}}_2^2)})\\ F\left(x\right)={\&Integral;}_{-\&infin;}^{x}f\left(t\right)\mathrm{dt}\end{array}\right.$

对于并行应用程序随机任务DAG（有向无环）图中任务间具有并行结构的随机任务路经长度计算，如图2(b)，关键是如何计算数据准备完成时间DRT。而数据准备完成时间取决最晚通信完成时间，对于随机DAG（有向无环）任务图，本发明采用Clark方程计算其的期望和方差，从而近似计算准备完成时间DRT： 

[0050] DRT(v_n)=MAX{EFT(e_1,n),EFT(e_2,n),…,EFT(e_n-1,n)} 

(2) 

=MAX{MAX{EFT(e_1,n),EFT(e_2,n)},…,EFT(e_n-1,n)} 

因为任务计算量和任务间通信量都是独立且服从正态分布，因而任意任务间通信完成时间的相关系数为零，也就是说： 

ρ_i,j=ρ(EFT(e_i,n),EFT(e_j,n))=0, 

$\&ForAll;i,j=\mathrm{1,2,3}\&CenterDot;\&CenterDot;\&CenterDot;,n-1\mathrm{and\; i}\&NotEqual;j$

本文采用Clark方程计算MAX{EFT(e_1,n),EFT(e_2,n)}的期望和方差。由于ρ_1,2=0，因而其期望为： 

E[MAX{EFT(e_1,n),EFT(e_2,n)]=E[EFT(e_1,n)]Φ(ξ_1,2)┤E[EFT(e_2,n)]Φ(-ξ_1,2)┤ε_1,2ψ(ξ_1,2) 

=E[EFT(e_2,n)]+(E[EFT(e_1,n)]-E[EFT(e_2,n)])Φ(ξ_1,2)+ε_1,2ψ(ξ_1,2) 

上式中， $\mathrm{\&psi;}\left(t\right)\frac{1}{\sqrt{2\mathrm{\&pi;}}}{e}^{-\frac{1}{2}{t}^2},$ $\mathrm{\&Phi;}\left(x\right)={\&Integral;}_{-\&infin;}^x\mathrm{\&psi;}\left(t\right)\mathrm{dt}=\frac{1}{\sqrt{2\mathrm{\&pi;}}}{\&Integral;}_{-\&infin;}^x{e}^{-\frac{1}{2}{t}^2}\mathrm{dt},$

$\begin{array}{c}{\mathrm{\&epsiv;}}_{\mathrm{1,2}}=\sqrt{\mathrm{Var}\left[\mathrm{EFT}\left(e_{1,n}\right)\right]+\mathrm{Var}\left[\mathrm{EFT}\left(e_{2,n}\right)\right]-{2\mathrm{\&rho;}}_{\mathrm{1,2}}{x}_{\mathrm{1,2}}}\\ =\sqrt{\mathrm{Var}\left[\mathrm{EFT}\left(e_{1,n}\right)\right]+\mathrm{Var}\left[\mathrm{EFT}\left(e_{2,n}\right)\right]}\end{array},$ $x_{\mathrm{1,2}}=\sqrt{\mathrm{Var}\left[\mathrm{EFT}\left(e_{1,n}\right)\right]\mathrm{Var}\left[\mathrm{EFT}\left(e_{2,n}\right)\right]},$

${\mathrm{\&xi;}}_{\mathrm{1,2}}=\frac{E\left[\mathrm{EFT}\left(e_{1,n}\right)\right]-E\left[\mathrm{EFT}\left(e_{2,n}\right)\right]}{{\mathrm{\&epsiv;}}_{\mathrm{1,2}}}$

MAX{EFT(e_1,n),EFT(e_2,n)}的方差可以使用第二Clark方程计算为： 

Var[MAX{EFT(e_1,n),EFT(e_2,n)}]=(E²[EFT(e_1,n)]+Var[EFT(e_1,n)])Φ(ξ_1,2) 

+(E²[EFT(e_2,n)]+Var[EFT(e_2,n)])Φ(-ξ_1,2)+(E[EFT(e_1,n)](3) 

+E[EFT(e_2,n)])ε_1,2ψ(ξ_1,2)-E²[MAX{EFT(e_1,n),EFT(e_2,n)}] 

接下来，考虑三个并行通信的期望和方差，由于 

MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)} 

=MAX{MAX{EFT(e_1,n),EFT(e_2,n)},EFT(e_3,n)} 

其相关系数ρ_1,2,3可以看成MAX{EFT(e_1,n),EFT(e_2,n)}和EFT(e_3,n)的相关系数，因ρ_1,2=0和任务及任务间通信相互独立，所以ρ_1,2,3=0。所以三个任务并行结构MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)}的期望如下： 

E[MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)}]=E[MAX{EFT(e_1,n),EFT(e_2,n)}]Φ(ξ_1,2,3) 

+E[EFT(e_3,n)]Φ(-ξ_1,2,3)+ε_1,2,3ψ(ξ_1,2,3) 

这里， 

${\mathrm{\&epsiv;}}_{\mathrm{1,2,3}}=\sqrt{\mathrm{Var}\left[\mathrm{MAX}\right\{\mathrm{EFT}\left(e_{1,n}\right),\mathrm{EFT}\left(e_{2,n}\right)\left\}\right]+\mathrm{Var}[\mathrm{EFT}\left(e_{3,n}\right)}$

${\mathrm{\&xi;}}_{\mathrm{1,2}}=\frac{E\left[\mathrm{MAX}\right\{\mathrm{EFT}\left(e_{1,n}\right)\mathrm{EFT}\left(e_{2,n}\right)\left\}\right]-E\left[\mathrm{EFT}\left(e_{3,n}\right)\right]}{{\mathrm{\&epsiv;}}_{\mathrm{1,2}}}$

同样，MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)}的方差可按如下方法计算： 

Var[MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)}]=(E²[MAX{EFT(e_1,n),EFT(e_2,n)}] 

+Var[MAX{EFT(e_1,n),EFT(e_2,n)}])Φ(ξ_1,2,3)+(E²[EFT(e_3,n)]+Var[EFT(e_3,n)])Φ(-ξ_1,2,3) 

+(E[MAX{EFT(e_1,n),EFT(e_2,n)}]+E[EFT(e_3,n)])ε_1,2,3ψ(ξ_1,2,3) 

-E²[MAX{EFT(e_1,n),EFT(e_2,n),EFT(e_3,n)}] 

把上述Clark方程递推式应用n-2步即可得到数据准备完成时间DRT(v_n)的期望与方差。因为所有的任务服从正态分布，所以本文认为数据准备完成时间DRT(v_n)也近似服从满足上述期望和方差的正态分布过程。从而可计算随机DAG模型中并行结构的近似路经长度。 

2、随机动态级调度方法 

在DAG（有向无环）模型中，b_level(v_i)是指从任务v_i到出口任务的最长路径长度，是基于DAG（有向无环）模型的任务调度的关键技术指标。对于任务计算量服从随机分布的DAG（有向无环）图，每个任务的b_level也具有随机性，因而本发明提出随机sb_level(Stochastic Bottom Level)的概念。其定义如下： 

定义1：对于服从正态分布的随机DAG应用程序，sb_level(v_x)是指从任务v_x到出口任务v_exit的随机近似路径长度。随机近似路径长度是指在这条路径上所有任务包括任务v_x本身所构成并近似服从正态分布。 

由定义1可知，计算随机sb_level(v_x)的关键是如何计算随机近似路经长度，而随机近似路经长度是由串行结构和并行结构的随机任务构成。这里 

$\mathrm{sb}\_\mathrm{level}\left(v_x\right)={\mathrm{MAX}}_{e_{x,i}\&Element;E,v_i\&Element;\mathrm{succ}\left(v_x\right)}\{w\left(e_{x,i}\right)+\mathrm{sb}\_\mathrm{level}\left(v_i\right)\}+\frac{w\left(v_x\right)}{\stackrel{\&OverBar;}{w\left(p\right)}}---\left(4\right)$

对于出口任务v_exit

$\mathrm{sb}\_\mathrm{level}\left(v_{\mathrm{exit}}\right)=\frac{N({\mathrm{\&mu;}}_{\mathrm{exit}},{\mathrm{\&sigma;}}_{\mathrm{exit}}^2)}{\stackrel{\&OverBar;}{w\left(p\right)}}---\left(5\right)$

同时，提出随机sb_level的计算过程，如下述计算过程1所示。 

计算过程1计算任务随机sb_levels 

本发明以任务计算量确定的动态优先级调度方法(DLS)为基础，考虑任务计算量服 从正态分布和计算系统的异构性，提出随机动态优先级调度方法(SDLS)。为了体现各计算资源的异构性，Δ(v_i,p_x)代表其差异性，可计算如下： 

$\mathrm{\&Delta;}(v_i,p_x)=\frac{w\left(v_i\right)}{\stackrel{\&OverBar;}{w\left(p\right)}}-\frac{w\left(v_i\right)}{w\left(p_x\right)}---\left(6\right)$

这里Δ(v_i,p_x)值越大，代表处理机计算能力越强（也就是计算速度越快）；如果Δ(v_i,p_x)负值，则表示其计算能力低于系统平均计算能力。DLS方法的关键是任务的动态级DL(v_i,p_x)，当考虑到系统异构性时，其动态级则可表述为： 

DL(v_i,p_x)=SBL(v_i)-EST(v_i,p_x)┤Δ(v_i,p_x)。签于此，本文提出随机动态级SDL(v_i,p_x)，它是随机任务的sb_level(v_i)减去任务在处理机p_x上的最早开始执行时间EST(v_i,p_x)，再加上Δ(v_i,p_x)。可表示如下： 

SDL(v_i,p_x)=sb_level(v_i)-EST(v_i,p_x)┤Δ(v_i,p_x)(7) 

与确定型动态级调度方法(DLS)类似，随机动态优先级调度方法(SDLS)为任务查找最佳处理机的每一步都使用公式(4)去计算所有未调度任务和处理机对的动态级SDL(v_i,p_x)，然后从中选择最优任务—处理机对并把任务分配到相应的处理机上执行。计算过程伪代码如计算过程2所示。 

计算过程2SDLS方法的伪代码 

上述SDLS方法思想的一个关键点是如何挑选任务—处理机，确定型的动态级DL(v_i,p_x)是一个可比较大小的数值，因而一般选择最大的DL(v_i,p_x)为最优任务—处理机。而对于随机动态级调度方法SDLS，其随机动态级SDL(v_i,p_x)服从正态概率分布，因而无法简单的采用最大SDL(v_i,p_x)方法。基于此，本文给出比较操作算子＜，其定义如下： 

定义2：任意两个服从正态分布的随机动态级SDL(X₁)和SDL(X₂)，当x=x₁时，随机动态级SDL(X₁)的累积分布函数F(SDL(X₁))=0.9；x=x₂时，随机动态级SDL(X₂)的累积分布函数F(SDL(X₂))=0.9。则操作算子计算如下： 

$\mathrm{SDL}\left(X_1\right)<\mathrm{SDL}\left(X_2\right)=\left\{\begin{array}{ccc}\mathrm{SDL}\left(X_2\right),& \mathrm{for}& x_1<x_2\\ \mathrm{SDL}\left(X_1\right),& \mathrm{otherwise}& \end{array}\right.---\left(8\right)$

定义2所定义的操作算子＜能有效进行最优随机动态级选择，主要归功于其选择的最优动态级优于其它动态级的概率为90%，这是个高概率事件，因而足够保证随机任务调度的性能。图2为服从正态分布的累积分布函数和操作算子＜示例图，从图中可知SDL(X₂)在大部分情况下优于SDL(X₁)，因而本发明提出的随机动态级调度方法SDLS选SDL(X₂)为最优动态级SDL。 

实验证明： 

实验比较的经典任务调度方法主要有：Rob-HEFT、SHEFT和HEFT，采用的模拟计算平台为16台处理机性能从1000MIPS到3000MIPS的异构并行计算系统。随机并行应用程序DAG（有向无环）图是通过随机改变任务数、DAG（有向无环）图深度、任务连接密度、任务计算量的最大最小期望和方差、任务间通信量的最大最小期望和方差等参数获得。性能评价指标主要有调度长度(Makespan)、加速比(Speedup)和调度长度标准方差(Makespan standard deviation)。 

实验结果如图3、4、5所示，所有的实验数据都是多次实验的平均值。图3是100任务随机并行应用程序在异构计算系统上应用上述四种调度策略所得的实验结果。从图3可知，考虑任务计算量和任务间通信量期望、方差的随机任务调度方法，如SDLS、SHEFT、Rob-HEFT，无论是在调度长度、加速比，还是调度长度标准方差都要优于确定型调度方法HEFT。实际上，在平均调度长度方面，SDLS要比SHEFT短30.03%、比Rob-HEFT短14.07%、比HEFT短33.85%。对于平均加速比而言，SDLS比SHEFT优19.1%、比Rob-HEFT优15%、比HEFT优30.2%。由于调度长度标准方差是衡量并行应用程序在系统上执行稳定性的一种重要指标，而从图3(c)可知SDLS的调度长度标准方差短于SHEFT、Rob-HEFT和HEFT，因而SDLS在异构并行计算系统上具有较好的稳定性。相对确定型调度策略而言，随机任务调度方法SDLS主要是把随机变量的期望和方差综合考虑，因而能产生较优的调度序列。而确定型调度方法HEFT对随机任务调度问题仅简单的把任务期望做为其计算量，调度效率明显低于SDLS，所以确定型调度方法不适合随机调度问题。随着处理机台数的增加，四个调度方法的调度长度和调度长度标准方差随之降低，而加速比增加。 

从图3亦可知，SDLS优于其它两种随机任务调度策略(SHEFT和Rob-HEFT)。这主要归因于SDLS能有效的采用Clark方程计算并行结构的期望与方差，并采用近似的正态分布来计算并行结构的准备完成时间，因而能有效的计算近似任务路经长度，这对高效调度序列的产生起关键作用。其次，SDLS方法使用两种应用在随机任务调度中的关键技术，任务随机sb_level(v_i)和随机动态级SDL，这两种技术对提高任务调度精度有重要作用。而Rob-HEFT调度策略，采用一种标准空间(makespan，standard deviation)去进行近似任务和任务间通信边的选择与分配，因而降低了计算随机DAG图调度长度 的精度。 

在随机任务调度问题上，SDLS方法优于SHEFT、Rob-HEFT和HEFT的结论还可以从图4、5得出。图4是200任务随机并行应用程序模拟仿真实验结果，从图中可知在平均调度长度方面，SDLS比SHEFT优16.4%、比Rob-HEFT优11.5%、比HEFT优27.73%。在平均并行加速比方面，SDLS比SHEFT优28.3%、比Rob-HEFT优6.4%、比HEFT优31.7%。同样，从图4(c)可知，SDLS在系统执行稳定性方面比SHEFT好10.22%、比Rob-HEFT好5.56%、比HEFT好40.5%。图5是300任务随机并行应用程序模拟实验结果，从图中可知无论是平均调度长度、加速比，还是调度长度标准方差，SDLS都优于SHEFT、Rob-HEFT和HEFT。由这些实验结果我们可以得出如下结论，对于随机变量中如何有效的把方差考虑进任务计算量或任务间通信量是随机任务调度问题高效解决的关键。这些实验结果也说明，本发明提出的随机路动态级调度方法能有提高高性能并行应用的效率。 

Claims (2)

1.一种大规模异构计算系统中任务计算量具有随机性的调度方法，其特征在于，包括如下步骤：

第一步，对运行在大规模异构计算系统环境下所有服从正态分布的随机有向无环并行应用程序，求就绪任务队列中任务v_x到出口任务v_exit的随机近似路径长度sb_level(v_x)，其中sb_level(v_x)为：

$\mathrm{sb}\_\mathrm{level}\left(v_x\right)={\mathrm{MAX}}_{e_{x,i}\&Element;E,v_i\&Element;\mathrm{succ}\left(v_x\right)}\{w\left(e_{x,i}\right)+\mathrm{sb}\_\mathrm{level}\left(v_i\right)\}+\frac{w\left(v_x\right)}{\stackrel{\&OverBar;}{w\left(p\right)}},$

其中e_x,_i表示任务间的数据通信量，v_x，v_i是任务节点，且任务v_x是任务v_i具有优先约束性的前驱任务，E为所有通信边集合，succ(v_x)为任务vx的直接后继任务集，w(v_x)表示任务节点v_x的计算需求，w(e_x,i)表示通信边e_x,i的通信需求，是计算系统平均计算能力；

对于出口任务v_exit，

$\mathrm{sb}\_\mathrm{level}\left(v_{\mathrm{exit}}\right)=\frac{N({\mathrm{\&mu;}}_{\mathrm{exit}},{\mathrm{\&sigma;}}_{\mathrm{exit}}^2)}{\stackrel{\&OverBar;}{w\left(p\right)}};$

其中sb_level(v_exit)为任务vexit本身的随机近似路径长度，

是任务v_exit服从正态分布的计算量；

第二步，为了给已就绪任务队列中的每个任务查找最优处理机，将就绪任务队列中的每个任务都分别与所有的处理机逐一配对，并计算由此产生的每对任务－处理机的随机动态级SDL，其任务－处理机对的随机动态级SDL为：

SDL(v_i,p_x)=sb_level(v_i)-EST(v_i,p_x)┤Δ(v_i,p_x)；

其中EST(v_i,p_x)是任务v_i在处理机p_x上的最早开始执行时间，Δ(v_i,p_x)代表计算资源的差异性；

第三步：将第二步中所得到的SDL(v_i,p_x)进行比较，以获得最优任务－处理机对；比较随机动态级SDL的大小是利用操作算子＜来实现，操作算子＜的实现方法是对任意两个服从正态分布的随机动态级SDL(X₁)和SDL(X₂)，当x=x₁时，随机动态级SDL(X₁)的累积分布函数F(SDL(X₁))=0.9；x=x₂时，随机动态级SDL(X₂)的累积分布函数F(SDL(X₂))=0.9，则操作算子＜计算如下：

$\mathrm{SDL}\left(X_1\right)<\mathrm{SDL}\left(X_2\right)=\left\{\begin{array}{ccc}\mathrm{SDL}\left(X_2\right),& \mathrm{for}& x_1<x_2\\ \mathrm{SDL}\left(X_1\right),& \mathrm{otherwise}& \end{array}\right.$

其中x是自变量，x₁是x定义域上的点，x₂是x定义域上的另一点；

第四步：将最优任务－处理机对的任务调度到相应的处理机上执行；在任务调度后，若还有原来受此任务约束的任务，则将这些任务变为就绪任务，再将这些变为就绪任务的任务加入就绪任务队列；

第五步：检查就绪任务队列中所有任务是否调度完毕，如果调度完毕则输出任务－处理机对序列；否则更新目标计算系统的参数，并返回第二步重新计算所有就绪任务－处理机对的SDL(v_i,p_x)，这样循环执行第二、三、四、五步直至就绪任务队列中所有任务均调度完毕。

2.根据权利要求1所述的一种大规模异构计算系统中任务计算量具有随机性的调度方法，其特征在于，第二步中Δ(v_i,p_x)的计算公式为：

$\mathrm{\&Delta;}(v_i,p_x)=\frac{w\left(v_i\right)}{\stackrel{\&OverBar;}{w\left(p\right)}}-\frac{w\left(v_i\right)}{w\left(p_x\right)},$

其中，w(v_i)为任务节点v_i的计算需求，w(p_x)为处理机p_x的计算能力，这里Δ(v_i,p_x)值越大，代表处理机计算能力越强；如果Δ(v_i,p_x)负值，则表示其计算能力低于系统平均计算能力。

Images