CN103309738B - 用户作业调度方法及装置 - Google Patents

Abstract

本发明提供一种用户作业调度方法和装置，方法包括：管理节点接收任务调度触发信号；管理节点根据任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；管理节点将待作业任务发送至目标计算节点的任务缓存队列中，以使目标计算节点执行该待作业任务。本发明实施例有效解决了现有技术中，用户作业调度方法执行效率低下的问题。

Description

用户作业调度方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种用户作业调度方法及装置。

背景技术

分布式系统基础架构(Hadoop)的缺省作业调度采用简单的单一主节点的主从结构，即一个主节点(Job Tracker)管理一系列从节点(TaskTracker)。其中，Job Tracker负责用户作业的任务划分、状态监控、错误恢复以及Task Tracker的状态维护；Task Tracker负责具体任务的执行和本地资源的管理。Task Tracker的计算能力以任务槽(slot)的形式提供，依据任务类型的不同，slot分为Map槽和Reduce槽，分别用于执行Map任务和Reduce任务。

现有技术在多用户共享场景中，Hadoop的作业调度过程包含三个步骤：首先是作业选择，其次是在选定作业内选择一个任务，最后将该任务分发到请求任务的TaskTracker上执行。当一个计算节点的TaskTracker发现一个任务完成，存在可用的任务槽时，就会在下次的心跳消息中附加任务请求信息发送给主节点Job Tracker，然后JobTracker执行调度算法，遍历所有作业的可执行任务，依据公平份额调度算法选取适合的任务分配给任务槽进行处理。但是，该方法执行效率低下。

发明内容

本发明提供一种用户作业调度方法和装置，用以解决现有技术中，用户作业调度方法执行效率低下的问题。

一方面，本发明实施例提供一种用户作业调度方法，其特征在于，包括：

管理节点接收任务调度触发信号；

所述管理节点根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述管理节点将所述待作业任务发送至所述目标计算节点的任务缓存队列中。

本发明实施例提供另一种用户作业调度方法，其特征在于，包括：

计算节点的任务缓存队列中接收管理节点发送的待作业任务，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的计算节点；

所述计算节点执行所述任务缓存队列中存储的所述待作业任务。

另一方面，本发明实施例提供一种用户作业调度装置，包括：接收模块、处理模块和发送模块；

所述接收模块，用于接收任务调度触发信号；

所述处理模块，用于根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述发送模块，用于将所述待作业任务发送至所述目标计算节点的任务缓存队列中。

本发明实施例提供另一种用户作业调度装置，包括：接收模块和处理模块；

所述接收模块，用于接收管理节点发送的待作业任务并存储至计算节点的任务缓存队列中，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的计算节点；

所述处理模块，用于执行所述任务缓存队列中存储的所述待作业任务。

本发明提供的用户作业调度方法和装置，管理节点接收任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点，并将待作业任务发送至该目标计算节点的任务缓存队列中；计算节点接收到管理节点发送的待作业任务后，执行该待作业任务，提高了执行效率。

附图说明

图1为本发明提供的用户作业调度方法一个实施例的流程图；

图2为本发明提供的用户作业调度方法另一个实施例的流程图；

图3为本发明提供的用户作业调度方法又一个实施例的流程图；

图4为本发明提供的基于最小代价流的多用户任务调度的网络流图；

图5为本发明提供的用户作业调度装置一个实施例的结构示意图；

图6为本发明提供的用户作业调度装置另一个实施例的结构示意图；

图7为本发明提供的用户作业调度装置又一个实施例的结构示意图；

图8为本发明提供的用户作业调度装置结构示意图。

具体实施方式

图1为本发明提供的用户作业调度方法一个实施例的流程图。如图1所示，以下步骤的执行主体可以为分布式系统基础架构中用于作业调度的管理节点，也可称作主节点或调度节点；可以管理一系列计算节点，并可向计算节点分配任务。该用户作业调度方法具体包括：

S101，管理节点接收任务调度触发信号；

其中，该任务调度触发信号是用于指示管理节点向指定计算节点分配任务的指示信号，可以是执行任务的计算节点如在该节点的任务完成后通过心跳包发送给管理节点的；也可以是系统在接到新的待作业任务时，由系统触发生成并发送给管理节点的；本步骤中对该任务调度触发信号的具体形式和触发条件不作限定。

S102，管理节点根据上述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

管理节点在接到任务调度触发信号后，确定待作业任务被发送的目标计算节点，该确定过程遵照各任务在分布式系统的各计算节点上的处理时间最短原则。通常，一个任务在一个计算节点上的处理时间，与该任务本身的类型，和该计算节点处理该类型的任务的能力是相关的。为某个任务选择适合的计算节点作为目标计算节点处理该任务，可以有效缩短该任务的处理时间。

S103，管理节点将待作业任务发送至目标计算节点的任务缓存队列中；

管理节点确定了一个待作业任务对应的目标计算节点后，可将该任务发送至该目标计算节点的任务缓存队列中，以使该目标计算节点对该待作业任务进行处理，该目标计算节点的任务缓存队列中可以容纳多个待作业任务。在每个计算节点上设置这样的任务缓存队列，可以降低计算节点频繁的向管理节点请求调度任务，同时也兼顾了为不同类型的待作业任务选择适合的目标计算节点。

本发明提供的用户作业调度方法，管理节点接收任务调度触发信号后，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点，并将该待作业任务发送至目标计算节点的任务缓存队列中，以使目标计算节点对该任务进行处理，提高了执行效率。

图2为本发明提供的用户作业调度方法另一个实施例的流程图，如图2所示，以下步骤的执行主体可以为分布式系统基础架构中用于作业调度的计算节点，该计算节点可以接收管理节点，也可称作主节点或调度节点分配的任务，并处理该任务。该用户作业调度方法具体包括：

S201，计算节点的任务缓存队列中接收管理节点发送的待作业任务，该计算节点为该管理节点在分布式系统的各计算节点中确定的该待作业任务处理时间最短的计算节点；

计算节点接收到管理节点发送的待作业任务并存储至该计算节点的任务缓存队列中。其中，该计算节点为该管理节点在分布式系统的各计算节点中确定的该待作业任务处理时间最短的计算节点，该确定过程可参见步骤102的相应内容。

S202，计算节点执行任务缓存队列中存储的待作业任务；

计算节点从管理节点接收到待作业任务后，将该待作业任务存储至任务缓存队列中存储，并根据各任务在任务缓存队的位置顺序执行。

本发明提供的用户作业调度方法，计算节点的任务缓存队列中接收管理节点发送的待作业任务，该计算节点为该管理节点在分布式系统的各计算节点中确定的该待作业任务处理时间最短的计算节点；该计算节点执行任务缓存队列中的上述待作业任务，提高了执行效率。

图3为本发明提供的用户作业调度方法又一个实施例的流程图，是如图1和图2所示方法的一种具体实现方式。如图3所示，以下步骤的执行主体涉及分布式系统基础架构中用于作业调度的管理节点(也称主节点或调度节点)和计算节点。该管理节点可以管理一系列计算节点，并可向计算节点分配任务；该计算节点可以接收管理节点分配的任务，并处理该任务。该用户作业调度方法具体包括：

S301，管理节点接收任务调度触发信号；该步骤具体执行过程可参见步骤101的相应内容。

S302，管理节点根据任务调度触发信号，确定分布式系统中包括的各计算节点的任务缓存队列中的空闲位置；

本案中，分布式系统中的各计算节点上的任务包括该计算节点的任务槽中正在执行的业务，和设置在该计算节点上的任务缓存队列中缓存的任务。管理节点接收到任务调度触发信号后，先要统计各计算节点的任务缓存队列中的空闲位置，以获知各计算节点上接收待作业任务的能力。

S303，管理节点根据各计算节点的任务缓存队列中的空闲位置确定待作业任务的数目；

管理节点通过统计各计算节点的任务缓存队列中的空闲位置，并将这些空闲位置转换成可容纳的任务数目，再将这些任务数相加的和值确定为该分布式系统当前可接收的待作业任务的数目。

S304，管理节点根据待作业任务的数目、待执行的任务群中各任务的优先级从待执行的任务群中获取待作业任务；

通常，管理节点将用户提交的作业自动划分为多个任务形成任务群，且这些用户之间存在优先级，优先级越高的用户所提交的作业可以占用更多的系统资源来处理该作业对应的任务，而针对每一个任务而言，用户的优先级则代表着该用户提交的任务被计算节点处理的优先级。管理节点根据确定的待作业任务的数目，及待执行的任务群中各任务的优先级从待执行的任务群中获取待作业任务。例如，当前有三个用户，对应的优先级分别为1、2和3，而计算节点所能接收的总的待作业任务的数目为12，则从待执行的任务群中获取待作业任务为：从优先级为1的用户所提交的任务中提取2个、从优先级为2的用户所提交的任务中提取4个、从优先级为3的用户所提交的任务中提取6个。该举例仅用于说明任务群中各任务对应的优先级与该任务被提取作为待作业任务之间的影响关系，并不是对从各用户提交任务中具体提取任务作为待作业任务的数目比例加以限制。本领域技术人员也可以采用其他方法根据任务的优先级原则获取待作业任务。

管理节点根据待作业任务的数目、待执行的任务群中各任务的优先级从待执行的任务群中获取待作业任务后，需在分布式系统的各计算节点中为每个待作业任务确定其对应的目标计算节点，以使该任务在该目标计算节点上被处理时间较其他计算节点最短。以下给出了在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点的一种具体实现方式(步骤305～307)。

S305，管理节点根据分布式系统中每个计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；

管理节点通过统计各计算节点的任务缓存队列中的空闲位置，并将这些空闲位置转换成可容纳的任务数目，可获得每个计算节点可接收待作业任务数目的能力值，本案中，该能力值具体可以为可接收待作业任务数目。

S306，管理节点根据 $t_{\mathrm{ert}}(T_k(U_i,J_j),S_l)=t_{\mathrm{data}\_\mathrm{movement}}+\frac{1}{\mathrm{pr}(S_l,U_i,J_j)}$

计算每个待作业任务在各计算节点上的预计执行时间；其中，U_i为第i个用户、J_j为用户的第j个作业、T_k为作业J_j的第k个任务、S_l为所有计算节点上的第l个任务槽、pr(S_l,U_i,J_j)为S_l处理U_i的J_j的速率、t_ert(T_k(U_i,J_j)S_l)为U_i的J_j中的T_k在S_l上预计执行时间；

在对该步骤进行详细说明前，首先对本案中用到的相关概念进行如下介绍：

用户(User)：具有提交作业权限的独立个体称为用户，负责定义Map和Reduce函数，设置作业参数后向系统提交作业，假设系统中有m个用户，用U₁,...,U_m表示。每个用户具有一些属性，以用户U_i为例，其具有以下属性：

l(U_i)：用户U_i的等级，用[1,L]之内的自然数表示，等级越高，表示用户可以使用更多的资源；

N_max(U_i)：用户U_i最多可以提交作业的数目，这是为了限制用户提交过多作业而造成系统过载以及频繁在不同作业间切换；

N(U_i)：用户U_i当前提交作业的数目，要求0≤N(U_i)≤N_max(U_i)；

p(U_i)：用户U_i能够使用的系统资源比例，如果我们使用布尔变量u_i表示用户是否有作业提交，即当N(u_i)＞0时u_i=1，否则u_i=0，则U_i能够使用资源的比例如下，

$p\left(U_i\right)=\left\{\begin{array}{cc}\frac{l\left(U_i\right)\·u_i}{{\mathrm{\Σ}}_{j=1,...,m}l\left(U_j\right)\·u_j}& \mathrm{if}\∃u_k\≠0,k=1,...,m\\ 0& \mathrm{if}\∀u_k=0,k=1,...,m\end{array}\right.$ (1)

由式(1)可知，用户之间的公平性体现在每个用户可以按比例使用该系统资源，该比例依据用户的等级确定，当某用户不使用资源时，即该用户没有提交作业或者没有作业处于就绪状态时，该用户的资源会在其他用户间按照用户的等级公平分配；

J(U_i)：用户U_i所提交的作业，J_j(U_i)表示用户U_i提交第j个作业，j≤N(U_i)；

n_t(U_i)：用户U_i提交的作业中所有等待调度的任务数之和，可由式(2)计算；

$n_t\left(U_i\right)=\underset{j=1,...,N\left(U_i\right)}{\mathrm{\Σ}}{n}_t(U_i,J_j)$ (2)

n(U_i)：用户U_i一次能够调度的任务数，假如某次调度任务槽能够容纳的任务总数为n，包括能够马上处理和预先缓存在任务缓存队列中的任务数，可由式(3)计算；

$n\left(U_i\right)=\left\{\begin{array}{cc}p\left(U_i\right)\·n& \mathrm{if}(p\left(U_i\right)\·n)\≤n_t\left(U_i\right)\\ n_t\left(U_i\right)& \mathrm{if}(p\left(U_i\right)\·n)>n_t\left(U_i\right)\end{array}\right.$ (3)

exc(U_i)：用户U_i的过剩资源，即可以使用的资源与需要调度任务的差值，可由式(4)计算；

exc(U_i)=p(U_i)·n-n(U_i)(4)

作业(Job)由用户提交，完成特定Map和Reduce函数中包含的业务逻辑的MapReduce应用的一次执行，称为一个作业。

J_j(U_i)表示用户U_i提交的第j个作业，它具有以下属性：

ω(U_i,J_j)：作业J_j(U_i)的权重，由用户提交时设定，用[1,W]之内的自然数表示，等级越高，代表作业可以更多地使用该用户拥有的资源；

p(U_i,J_j)：作业J_j(U_i)能够使用的U_i拥有资源的比例，初次构建网络流图数据结构时或者用户有新的作业提交时会依据用户所提交作业的情况和数目以及各个作业的权重值由公式(5)自适应计算。

$p(U_i,J_j)=\frac{\frac{1}{\mathrm{\ω}(U_i,J_j)}}{{\mathrm{\Σ}}_{j=1,...,N\left(U_i\right)\frac{1}{\mathrm{\ω}(U_i,J_j)}}}$ (5)

n_t(U_i,J_j)：作业J_j(U_i)中等待调度的任务数。

n(U_i,J_j)：作业J_j(U_i)能够调度的任务数，包括能够被任务槽马上处理和预先缓存在任务缓存队列中任务的总和，可由公式(6)计算；

$n(U_i,J_j)=\left\{\begin{array}{cc}p(U_i,J_j)\·n\left(U_i\right)& \mathrm{if}(p(U_i,J_j)\·n\left(U_i\right)){\≤n}_t(U_i,J_j)\\ n_t(U_i,J_j)& \mathrm{if}(p(U_i,J_j)\·n\left(U_i\right))>n_t(U_i,J_j)\end{array}\right.$ (6)

exc(U_iJ_j)：作业J_j(U_i)的过剩资源，即可以使用的资源和现有需要调度任务的差值，可由公式(7)计算。

exc(U_i,J_j)=p(U_i,J_j)·n-n(U_i,J_j)(7)

任务(Task)：由管理节点自动划分，对特定数据块执行用户指定的Map或Reduce函数的一组操作过程称为任务，分为Map任务和Reduce任务两类。

用户U_i提交的J_j作业的第k个任务，用T_k(U_i,J_j)表示，对Map任务而言，具有以下属性：

d(U_i,J_j,T_k)：任务T_k(U_i,J_j)需要处理的数据块，已经预先存储在分布式文件系统(Hadoop Distributed File System，HDFS)的数据节点上。

任务槽(Slot)能够独立运行一个Map任务或者Reduce任务的资源逻辑单元，称为任务槽，依照处理任务类型的不同，分为Map任务槽和Reduce任务槽两类。

任务槽由计算节点负责管理，本方案主要针对Map任务分配，所以任务槽主要指Map任务槽，设某时刻系统有s个任务槽可用，第l个任务槽用Sl表示，它具有如下属性：

D(S_l)：提供任务槽S_l的计算节点上由数据节点存储的全部数据块的集合，该信息可以由计算节点向名称节点查询得知，其中，该名称节点为Hadoop系统中的文件信息数据服务器，类似于目录服务器，其上存储所有输入数据块的存储位置等信息；

pr(S_l,U_i,J_j)：任务槽处理用户U_i提交的作业J_j中的任务在S_l上被执行的速率，可通过样本任务测试运行的方法估计得出，对于周期性任务，也可通过作业日志分析估计得出；

cap(S_l)：任务槽S_l可接受调度的任务数，等于该S_l对应计算节点上的任务缓存队列的空闲位置。

bω(S_l,S_p)：任务槽S_l和S_p所在节点之间的统计带宽，可以通过监控系统提供的细粒度资源能力监控信息获取。

管理节点根据 $t_{\mathrm{ert}}(T_k(U_i,J_j),S_l)=t_{\mathrm{data}\_\mathrm{movement}}+\frac{1}{\mathrm{pr}(S_l,U_i,J_j)}$ 计算每个待作业任务在各计算节点上的预计执行时间；其中

$t_{\mathrm{data}\_\mathrm{movent}}=\left\{\begin{array}{cc}0& \mathrm{ifd}(U_i,J_j,T_k)\·n)\∈D\left(S_l\right)\\ \frac{\left|d(U_i,J_j,T_k)\right|}{\mathrm{b\ω}(S_i,S_p)}& \mathrm{ifd}(U_i,J_j,T_k)\·n)\∈D\left(S_p\right)\end{array}\right.$ (8)。

S307，管理节点根据待作业任务的数目，待作业任务的优先级、每个计算节点可接收待作业任务数目的能力值，以及t_ert(T_k(U_i,J_j),S_l)确定每个待作业任务的目标计算节点；

优选的，在考虑每个计算节点可接收待作业任务数目的能力值的前提下，以每个待作业任务对应的t_ert(T_k(U_i,J_i),S_l)最短的计算节点确定为该任务的目标计算节点。但在实际场景中，仍可能出现一个计算节点作为多个任务的目标计算节点的情形，这种情况下，还要考虑待作业任务本身的优先级，优先级越高的，其被分配到该目标计算节点的几率越大，通过对以上各因素的综合考虑，最终确定各待作业任务对应的目标计算节点。

本方案给出了一个确定各待作业任务对应的目标计算节点的具体实现方法。将通过对以上各因素的综合考虑，最终确定各待作业任务对应的目标计算节点的过程转换成为在如图4所示的网络流图中求解最小代价路径的过程。具体方法如下：

图4所示的网络流图中包括：

节点：用户42、作业43、任务44和任务槽45，而为了对网络流图中流入数据流等于流出数据流的完整性，还定义了两个系统节点，流入41和流出46，其中，用户42、作业43、任务44和任务槽45，在步骤306中均对此有定义和说明；

边：即图中箭头所指向的连接两个节点边：

a)任务槽到流出节点的边

所有任务槽都有一条指向流出节点(Sink)的边，对任一任务槽S_l而言，可用e(S_l,Sink)表示任务槽S_l到Sink的边，则其对应的能力值如式(9)，带价值如式(10)：

capacity(e(S_l,Sink))=cap(S_l) (9)

cost(e(S_l,Sink))=1 (10)

b)任务到任务槽的边

每个任务都有一条指向每个任务槽的边，表示这个任务可能被分配给该任务槽执行，用e(T_k(U_i,J_j),S_l)表示用户U_i提交的作业J_j中的第k个任务到任务槽S_l的边。

则边e(T_k(U_i,J_j),S_l)的能力值可由式(11)求得，代价值可由公式(12)求得。

capacity(e(T_k(U_i,J_j),S_l))=1 (11)

$\cos t\left(e(T_k(U_i,J_j),S_l)\right)=\frac{t_{\mathrm{ert}}(T_k(U_i,J_j),S_l)}{{\mathrm{\Σ}}_{q=1,...,s}{t}_{\mathrm{ert}}(T_k(U_i,J_j),S_q)}$ (12)

其中，t_ert(T_k(U_i,J_j)S_l)为U_i提交的J_j中的T_k在S_l上的预计执行时间，该部分内容可参见步骤306中的相应部分描述。由式(12)可知，边e(T_k(U_i,J_j),S_l)的代价值表明了T_k(U_i,J_j)对在S_l上运行的优化性，该代价值越小，说明T_k(U_i,J_j)如果被调度到S_l上执行的话，相对其他任务槽能取得更短的预计运行时间。

c)作业到任务的边

作业到各自的每个任务有一条边，用e(J_j(U_i),T_k(U_i,J_j))代表作业J_j(U_i)到其第k个任务T_k(U_i,J_j)的边，则e(J_j(U_i),T_k(U_i,J_j))的能力值可由式(13)求得，代价值可由公式(14)求得。

capacity(e(J_j(U_i),T_k(U_i,J_j)))=1 (13)

cost(e(J_j(U_i),T_k(U_i,J_j)))=1 (14)

d)用户到作业的边

每个用户到其提交的作业有一条边，用e(U_i,J_j(U_i))表示用户U_i到作业J_j(U_i)的边，则其代价值可由式(15)求得，

cost(e(U_i,J_j(U_i)))=1 (15)

e)流入节点到用户的边

流入节点(Source)到每个用户有一条边，用e(Src,U_i)表示Source节点到用户U_i的边，则其代价值由式(16)计算，

cost(e(Src,U_i))=1 (16)

用户的资源需要在作业间实现共享，而系统的资源需要在用户间公平分配。因此，用户到作业的边，以及Source到用户的边的能力值的物理意义都为该作业或用户可以调度多少任务。为保证最大效用-最低保障公平性，不能按照每条边来独立考虑，而应该组合优化。本案中，采用如表1中的算法计算用户到作业的边的能力值；采用如表2的算法计算Source到用户边的能力值。

表1用户到作业的边的能力值设置算法

表2Source到用户的边的能力值设置算法

f.流入节点的数据的输入

Source节点的输入数据用d表示，其物理意义是当前系统中可供使用的资源或可供调度任务的最小值，可用式(17)。

$d=\min (\left(\mathrm{availablecapacity}\right),\left(\mathrm{numberoftasks}\right))=\underset{i=1,...,m}{\mathrm{\Σ}}$ capacity(e(Src,U_i))(17)

由此，确定各待作业任务所对应的目标计算节点，就转化为在如图4所示的各边的能力值下，各任务对应的最小代价流途径。从图4中可以观察到，除了任务到任务槽的边，针对每个任务有多条途径外，其他的边均只有唯一一条途径。这一点从以上各边对应的带价值也可以看出，只有任务到任务槽的边在求解代价值时，其价值时与每个待作业任务在各计算节点上的预计执行时间有关。而针对任务槽到Sink的边、作业到任务的边、用户到作业的边和Source节点到用户的边，其各自对应的带价值，或是相等，或是跟各自起始节点本身的优先级，或使用资源的比重有关。而这些特点，在本方案中又与系统在从待作业任务群中选取待作业任务紧密相关，且最终都转换为任务群中各任务本身的优先级，一旦通过任务群中各任务本身的优先级确定了待作业任务(如步骤304)，那么系统在通过最小代价流方法为每个待作业任务进行目标计算节点选取时，则主要以待作业任务在目标计算节点上执行时间最短的原则进行选取，而这一点即为任务到任务槽的边的带价值。当出现多个任务取的目标计算节点相同，且数目超出该计算节点所能接收的待作业任务数目的能力值时，则还要通过再次比较这些待作业任务的优先级来最终确定各待作业任务最终要被发送的目标计算节点。

S308，管理节点将待作业任务发送至目标计算节点的任务缓存队列中；该步骤具体执行过程可参见步骤103的相应内容。

计算节点接收到管理节点发送的待作业任务后，开始执行任务缓存队列中存储的各待作业任务，具体包括：

S309，计算节点在本地数据库中查找任务缓存队列中待作业任务所需调用的数据；

计算节点接收到管理节点发送的待作业任务后，在本地数据库中查找任务缓存队列中待作业任务所需调用的数据，具体可通过向名称节点查询。

S310，若本地数据库中存在所需调用的数据，则计算节点根据待作业任务在任务缓存队列中的位置顺序执行该任务；

若计算节点在名称节点中查询到本地数据库中存在所需调用的数据，则计算节点根据待作业任务在任务缓存队列中的位置顺序执行该任务。

S311，若本地数据库中不存在所需调用的数据，则计算节点从所需调用的数据的存储单元获取所需调用的数据后执行该待作业任务；

若计算节点在名称节点中查询到本地数据库中不存在所需调用的数据，则计算节点从名称节点上获知该所需调用的数据的存储单元位置，并从该存储单元中获取所需调用的数据后执行该待作业任务。

S312，若计算节点执行完任务缓存队列中所有待作业任务，则向所述管理节点发送任务调度请求信号；该任务调度请求信号可以携带在计算节点向管理节点定期发送的心跳包中发送给管理节点，以请求管理节点进行新一轮的用户作业任务调度。

本发明提供的用户作业调度方法，管理节点接收任务调度触发信号后，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点，并将该待作业任务发送至目标计算节点的任务缓存队列中，目标计算节点接收到该待作业任务后，对该任务进行处理，提高了执行效率。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本发明提供的用户作业调度装置一个实施例的结构示意图。该装置可以为分布式系统基础架构中用于作业调度的管理节点，并可以执行如图1所示实施例中的用户作业调度方法。如图4所示，该用户作业调度装置包括：接收模块51、处理模块52和发送模块53，其中：

接收模块51，用于接收任务调度触发信号；

处理模块52，用于根据任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

发送模块53，用于将待作业任务发送至目标计算节点的任务缓存队列中。

具体地，本实施例所示装置实现用户作业调度的过程为：

接收模块51接收任务调度触发信号；该过程可参见步骤101的相应内容。处理模块52根据接收模块51接收的任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；该过程可参见步骤102的相应内容。发送模块53将待作业任务发送至处理模块52确定的目标计算节点的任务缓存队列中。

本发明提供的用户作业调度装置，接收模块接收任务调度触发信号后，在分布式系统的各计算节点中通过处理模块确定待作业任务处理时间最短的目标计算节点，并将该待作业任务通过发送模块发送至目标计算节点的任务缓存队列中，以使目标计算节点对该任务进行处理，提高了执行效率。

图6为本发明提供的用户作业调度装置另一个实施例的结构示意图。该结构示意图是如图5所示实施例的一种具体的实现方式，可以执行如图1所示实施例的方法步骤和如图3所示的部分方法步骤。如图6所示，该用户作业调度装置在如图5所示结构及功能的基础上还包括：获取模块54，其中：

处理模块52，用于确定分布式系统中包括的各计算节点的任务缓存队列中的空闲位置；根据各计算节点的任务缓存队列中的空闲位置确定待作业任务的数目；

获取模块54，用于根据待作业任务的数目、待执行的任务群中各任务的优先级从待执行的任务群中获取待作业任务；

处理模块52，还用于根据分布式系统中每个计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；根据 $t_{\mathrm{ert}}(T_k(U_i,J_j),S_l)=t_{\mathrm{data}\_\mathrm{movement}}+\frac{1}{\mathrm{pr}(S_l,U_i,J_j)}$ 计算每个待作业任务在各计算节点上的预计执行时间；根据待作业任务的数目，以及待作业任务的优先级、每个计

算节点可接收待作业任务数目的能力值，t_ert(T_k(U_i,J_j)S_l)确定每个待作业任务的目标计算节点。

具体地，本实施例所示装置实现用户作业调度的过程为：

接收模块51接收任务调度触发信号，该过程可参见步骤301的相应内容；

处理模块52根据接收模块51接收的任务调度触发信号，确定分布式系统中包括的各计算节点的任务缓存队列中的空闲位置，并根据各计算节点的任务缓存队列中的空闲位置确定待作业任务的数目；该过程可参见步骤302～303的相应内容；

获取模块54根据处理模块52确定的待作业任务的数目、以及待执行的任务群中各任务的优先级从待执行的任务群中获取待作业任务，该过程可参见步骤304的相应内容；

处理模块52还根据分布式系统中每个计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；并根据 $t_{\mathrm{ert}}(T_k(U_i,J_j),S_l)=t_{\mathrm{data}\_\mathrm{movement}}+\frac{1}{\mathrm{pr}(S_l,U_i,J_j)}$ 计算每个待作业任务在各计算节点上的预计执行时间；最后根据待作业任务的数目，以及待作业任务的优先级、每个计算节点可接收待作业任务数目的能力值，以及t_ert(T_k(U_i,J_j),S_l)确定每个待作业任务的目标计算节点，该过程可参见步骤305～307的相应内容；

发送模块53将待作业任务发送至处理模块52确定的目标计算节点的任务缓存队列中；该过程可参见步骤103的相应内容。

本发明提供的用户作业调度装置，接收模块接收管理节点发送的待作业任务，该计算节点为该管理节点在分布式系统的各计算节点中确定的该待作业任务处理时间最短的计算节点；处理模块执行任务缓存队列中的上述待作业任务，提高了执行效率。

图7为本发明提供的用户作业调度装置又一个实施例的结构示意图。该装置可以为分布式系统基础架构中用于作业调度的计算节点，并可以执行如图2所示实施例中的用户作业调度方法。如图7所示，该用户作业调度装置包括：接收模块71和处理模块72，其中：

接收模块71，用于接收管理节点发送的待作业任务并存储至计算节点的任务缓存队列中，该计算节点为管理节点在分布式系统的各计算节点中确定的待作业任务处理时间最短的计算节点；

处理模块72，用于执行任务缓存队列中存储的待作业任务。

具体地，本实施例所示装置实现用户作业调度的过程为：

接收模块71接收管理节点发送的待作业任务并存储至计算节点的任务缓存队列中，该计算节点为管理节点在分布式系统的各计算节点中确定的待作业任务处理时间最短的计算节点，该确定过程可参见步骤102的相应内容或实施例3中管理节点确定待作业任务处理时间最短的计算节点的相关步骤内容(步骤305～307)；

处理模块72执行任务缓存队列中存储的待作业任务。

进一步的，本实施例中所示的装置还可以包括发送模块73(如图8所示)；且处理模块72在接收模块71接收到管理节点发送的待作业任务后，可先在本地数据库中查找任务缓存队列中的待作业任务所需调用的数据；若本地数据库中存在所需调用的数据，则处理模块72根据待作业任务在任务缓存队列中的位置顺序执行该任务，若本地数据库中不存在所需调用的数据，则处理模块72从所需调用的数据的存储单元获取所需调用的数据后执行该待作业任务；并且，发送模块73在处理模块72执行完任务缓存队列中所有待作业任务后，还可向管理节点发送任务调度请求信号，以请求管理节点进行新一轮的用户作业任务调度。

本发明提供的用户作业调度装置，接收模块接收管理节点发送的待作业任务，该计算节点为该管理节点在分布式系统的各计算节点中确定的该待作业任务处理时间最短的计算节点；处理模块执行任务缓存队列中的上述待作业任务，提高了执行效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种用户作业调度方法，其特征在于，包括：

管理节点接收任务调度触发信号；

所述管理节点根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述管理节点将所述待作业任务发送至所述目标计算节点的任务缓存队列中；

其中，所述管理节点根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点，包括：

所述管理节点根据所述分布式系统中每个所述计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；

所述管理节点根据

计算每个所述待作业任务在各所述计算节点上的预计执行时间；其中，所述U_i为第i个用户、所述J_j为用户的第j个作业、所述T_k为作业J_j中第k个任务、所述S_l为所有计算节点上的第l个任务槽、所述pr(S_l,U_i,J_j)为所述S_l处理所述U_i的J_j的速率、所述t_ert(T_k(U_i,J_j)S_l)为所述U_i的J_j中的T_k在S_l上预计执行时间；其中，所述d(U_i,J_j,T_k)为任务T_k(U_i,J_j)需要处理的数据块、所述bω(S_l,S_p)为任务槽S_l和S_p所在节点之间的统计带宽、所述D(S_l)为任务槽S_l的计算节点上由数据节点存储的全部数据块的集合、所述D(S_p)为任务槽S_p的计算节点上由数据节点存储的全部数据块的集合、所述n为任务槽能够容纳的任务总数；

所述管理节点根据所述待作业任务的数目，以及所述待作业任务的优先级、每个所述计算节点可接收待作业任务数目的能力值，所述t_ert(T_k(U_i,J_j)S_l)确定每个所述待作业任务的目标计算节点。

2.根据权利要求1所述的方法，其特征在于，所述确定待作业任务处理时间最短的目标计算节点之前，包括：

所述管理节点确定所述分布式系统中包括的各计算节点的任务缓存队列中的空闲位置；

所述管理节点根据所述各计算节点的任务缓存队列中的空闲位置确定所述待作业任务的数目；

所述管理节点根据所述待作业任务的数目、待执行的任务群中各任务的优先级从待执行的任务群中获取所述待作业任务；

3.一种用户作业调度方法，其特征在于，包括：

计算节点的任务缓存队列中接收管理节点发送的待作业任务，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的目标计算节点；其中，所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的目标计算节点，包括：所述管理节点根据所述分布式系统中每个所述计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；所述管理节点根据计算每个所述待作业任务在各所述计算节点上的预计执行时间；其中，所述U_i为第i个用户、所述J_j为用户的第j个作业、所述T_k为作业J_j中第k个任务、所述S_l为所有计算节点上的第l个任务槽、所述pr(S_l,U_i,J_j)为所述S_l处理所述U_i的J_j的速率、所述t_ert(T_k(U_i,J_j)S_l)为所述U_i的J_j中的T_k在S_l上预计执行时间；其中，所述d(U_i,J_j,T_k)为任务T_k(U_i,J_j)需要处理的数据块、所述bω(S_l,S_p)为任务槽S_l和S_p所在节点之间的统计带宽、所述D(S_l)为任务槽S_l的计算节点上由数据节点存储的全部数据块的集合、所述D(S_p)为任务槽S_p的计算节点上由数据节点存储的全部数据块的集合、所述n为任务槽能够容纳的任务总数；所述管理节点根据所述待作业任务的数目，以及所述待作业任务的优先级、每个所述计算节点可接收待作业任务数目的能力值，所述t_ert(T_k(U_i,J_j)S_l)确定每个所述待作业任务的目标计算节点；

所述计算节点执行所述任务缓存队列中存储的所述待作业任务。

4.根据权利要求3所述方法，其特征在于，所述计算节点执行所述任务缓存队列中存储的所述待作业任务，包括：

所述计算节点在本地数据库中查找所述任务缓存队列中待作业任务所需调用的数据；

若所述本地数据库中存在所述所需调用的数据，所述计算节点根据所述待作业任务在所述任务缓存队列中的位置顺序执行所述待作业任务；

若所述本地数据库中不存在所述所需调用的数据，所述计算节点从所述所需调用的数据的存储单元获取所述所需调用的数据后执行所述待作业任务。

5.根据权利要求3或4所述方法，其特征在于，所述计算节点执行所述任务缓存队列中存储的所述待作业任务之后，还包括：

若所述计算节点执行完所述任务缓存队列中所有待作业任务，则所述计算节点向所述管理节点发送任务调度请求信号。

6.一种用户作业调度装置，其特征在于，包括：接收模块、处理模块和发送模块；

所述接收模块，用于接收任务调度触发信号；

所述处理模块，用于根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述发送模块，用于将所述待作业任务发送至所述目标计算节点的任务缓存队列中；

其中，所述处理模块还用于，

根据所述分布式系统中每个所述计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；

根据

计算每个所述待作业任务在各所述计算节点上的预计执行时间；其中，所述U_i为第i个用户、所述J_j为用户的第j个作业、所述T_k为作业J_j中第k个任务、所述S_l为所有计算节点上的第l个任务槽、所述pr(S_l,U_i,J_j)为所述S_l处理所述U_i的J_j的速率、所述t_ert(T_k(U_i,J_j)S_l)为所述U_i的J_j中的T_k在S_l上预计执行时间；其中，所述d(U_i,J_j,T_k)为任务T_k(U_i,J_j)需要处理的数据块、所述bω(S_l,S_p)为任务槽S_l和S_p所在节点之间的统计带宽、所述D(S_l)为任务槽S_l的计算节点上由数据节点存储的全部数据块的集合、所述D(S_p)为任务槽S_p的计算节点上由数据节点存储的全部数据块的集合、所述n为任务槽能够容纳的任务总数；

根据所述待作业任务的数目，以及所述待作业任务的优先级、每个所述计算节点可接收待作业任务数目的能力值，所述t_ert(T_k(U_i,J_j)S_l)确定每个所述待作业任务的目标计算节点。

7.根据权利要求6所述的装置，其特征在于，还包括获取模块；

所述处理模块，用于确定所述分布式系统中包括的各计算节点的任务缓存队列中的空闲位置；

所述处理模块，还用于根据所述各计算节点的任务缓存队列中的空闲位置确定所述待作业任务的数目；

所述获取模块，用于根据所述待作业任务的数目、待执行的任务群中各任务的优先级从待执行的任务群中获取所述待作业任务。

8.一种用户作业调度装置，其特征在于，包括：接收模块和处理模块；

所述接收模块，用于接收管理节点发送的待作业任务并存储至计算节点的任务缓存队列中，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的目标计算节点；其中，所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的目标计算节点，包括：所述管理节点根据所述分布式系统中每个所述计算节点的任务缓存队列中的空闲位置确定该计算节点可接收待作业任务数目的能力值；所述管理节点根据计算每个所述待作业任务在各所述计算节点上的预计执行时间；其中，所述U_i为第i个用户、所述J_j为用户的第j个作业、所述T_k为作业J_j中第k个任务、所述S_l为所有计算节点上的第l个任务槽、所述pr(S_l,U_i,J_j)为所述S_l处理所述U_i的J_j的速率、所述t_ert(T_k(U_i,J_j)S_l)为所述U_i的J_j中的T_k在S_l上预计执行时间；其中，所述d(U_i,J_j,T_k)为任务T_k(U_i,J_j)需要处理的数据块、所述bω(S_l,S_p)为任务槽S_l和S_p所在节点之间的统计带宽、所述D(S_l)为任务槽S_l的计算节点上由数据节点存储的全部数据块的集合、所述D(S_p)为任务槽S_p的计算节点上由数据节点存储的全部数据块的集合、所述n为任务槽能够容纳的任务总数；所述管理节点根据所述待作业任务的数目，以及所述待作业任务的优先级、每个所述计算节点可接收待作业任务数目的能力值，所述t_ert(T_k(U_i,J_j)S_l)确定每个所述待作业任务的目标计算节点；

所述处理模块，用于执行所述任务缓存队列中存储的所述待作业任务。

9.根据权利要求8所述的装置，其特征在于，所述处理模块具体包括：查找单元和处理单元；

所述查找单元，用于在本地数据库中查找所述任务缓存队列中待作业任务所需调用的数据；

所述处理单元，用于若所述查找单元在所述本地数据库中查找到所述所需调用的数据，则根据所述待作业任务在所述任务缓存队列中的位置顺序执行所述待作业任务；

若所述查找单元在所述本地数据库中未查找到所述所需调用的数据，则从所述所需调用的数据的存储单元获取所述所需调用的数据后执行所述待作业任务。

10.根据权利要求8或9所述的装置，其特征在于，还包括发送模块，用于在处理模块执行完所述任务缓存队列中所有待作业任务后，向所述管理节点发送任务调度请求信号。