CN108268316A

CN108268316A - 作业调度的方法及装置

Info

Publication number: CN108268316A
Application number: CN201611257698.0A
Authority: CN
Inventors: 薛戬
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2018-07-10

Abstract

本发明公开了一种作业调度的方法及装置，涉及互联网技术领域，为解决现有Hadoop集群中的非本地化计算存在数据迁移，数据迁移会造成时间的浪费，从而导致计算效率降低的问题而发明。本发明的方法包括：根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；为所述目标Task Tracker节点查找目标作业；将所述目标作业调度至目标Task Tracker节点进行计算。本发明适合应用在Hadoop集群作业调度的过程中。

Description

作业调度的方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种作业调度的方法及装置。

背景技术

在Hadoop集群中，调度器是一个非常重要的组件，它的作用是保证整个集群内有效地进行作业的调度与执行。在Hadoop集群中通常有多个队列，每个队列中又包含有用户提交的多个作业，每个作业代表一个应用，每个作业中可以包含多个任务。当调度器进行作业调度时，通常的调度方式为：按照预设规则选择一个队列，然后根据预设的条件对队列中的作业设置优先级，再按照优先级的次序调度作业，并为作业选择与之匹配的计算节点。通常匹配的计算节点是按照本地主机资源、同机架主机资源、其他机架主机资源的顺序进行选择的。

然而上述常用的调度器的调度方式，会造成非本地化计算的增加。例如，当某一作业A被调度时，有可能对应的本地主机资源已经占满，无空闲计算节点，因此只能在同机架的其他主机或者不同机架的其他主机上选择空闲的计算节点进行计算。当作业量很大时，有可能将其他非本地主机的资源占满，这样就会造成本地主机计算的是非本地的作业，而本地作业无法在本地主机计算。然而非本地化计算由于存在数据迁移，数据迁移会造成时间的浪费，从而非本地化计算的增加必然会降低计算的效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种作业调度的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种作业调度的方法，该方法包括：

根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；

从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；

为所述目标Task Tracker节点查找目标作业；

将所述目标作业调度至目标Task Tracker节点进行计算。

另一方面，本发明还提供了一种作业调度的装置，该装置包括：

第一选择单元，用于根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；

第二选择单元，用于从空闲的Task Tracker节点中选择符合预设条件的目标TaskTracker节点；

查找单元，用于为所述目标Task Tracker节点查找目标作业；

计算单元，用于将所述目标作业调度至目标Task Tracker节点进行计算。

借由上述技术方案，本发明提供的作业调度的方法及装置，能够根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；并从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；然后为目标Task Tracker节点查找目标作业；将目标作业调度至目标Task Tracker节点进行计算。与现有技术相比，本发明能够从Task Tracker节点的角度出发，通过Task Tracker节点来决定作业的调度顺序，而不是以作业的角度出发，按照作业的优先级来调度作业以及选择Task Tracker节点。以TaskTracker节点为出发点可以有更多的机会选择本地作业进行计算，因此可以有效地较少非本地化的计算，从而提高计算效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种作业调度的方法流程图；

图2示出了本发明实施例提供的另一种作业调度的方法流程图；

图3示出了本发明实施例提供的一种作业调度的装置的组成框图；

图4示出了本发明实施例提供的另一种作业调度的装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决现有调度器的调度的方式导致Hadoop集群中计算效率低的问题，本发明实施例提供了一种作业调度的方法，如图1所示，该方法包括：

首先需要说明的是，本实施例中的作业调度的方法能够应用于计算机CPU内存资源的调度中，本实施例以分布式集群中的计算资源为主来说明。在分布式集群中，可能同时运行多道作业，而且各作业的类型不同，而且作业之间还可能存在依赖关系，调度器是用来保证在整个集群内有效地进行作业的调度与执行过程的组件。

101、根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点。

其中，任务调度Task Tracker节点负责执行JobTracker节点分配的映射/归约(Map/Reduce)任务，JobTracker节点用来管理和调度用户提交的作业。通常Task Tracker节点的使用状态是由调度器程序中的作业控制Job Tracker进行监控的，因此能够通过JobTracker获取到所有的Task Tracker节点的使用状态。Task Tracker节点的使用状态包括占用和空闲两种状态。

选择空闲的Task Tracker节点是为了以Task Tracker节点为出发点，为其选择作业进行计算。

102、从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点。

由于当前空闲的Task Tracker节点可能有多个，因此需要从多个空闲的TaskTracker节点中选择出符合预设条件的一个Task Tracker节点作为目标Task Tracker节点。当预设条件为空闲Task Tracker节点中最久未使用的Task Tracker节点时，本实施例中目标Task Tracker节点为最久未使用的空闲Task Tracker节点。

103、为目标Task Tracker节点查找目标作业。

在选择出目标Task Tracker节点之后，以目标Task Tracker节点为出发点查找当前与其对应的目标作业。在查找目标作业时主要依据的原则是以目标Task Tracker节点为参照，依据本地作业优先的原则进行查找。

104、将目标作业调度至目标Task Tracker节点进行计算。

在查找到目标作业后，将目标作业调度至目标Task Tracker节点进行计算，并将该目标Task Tracker节点的状态改为占用，当完成当前作业的计算之后，该目标TaskTracker节点的状态变为空闲，然后继续等待被确定为目标Task Tracker节点后再次执行计算的任务。

本实施例提供的作业调度的方法，能够根据各Task Tracker节点的使用状态，选择空闲的Task Tracker节点；并从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；然后为目标Task Tracker节点查找目标作业；将目标作业调度至目标Task Tracker节点进行计算。与现有技术相比，本实施例能够从Task Tracker节点的角度出发，通过Task Tracker节点来决定作业的调度顺序，而不是以作业的角度出发，按照作业的优先级来调度作业以及选择Task Tracker节点。以Task Tracker节点为出发点可以有更多的机会选择本地作业进行计算，因此可以有效地较少非本地化的计算，从而提高计算效率。

进一步的，作为对图1所示实施例的细化及扩展，本发明还提供了另一实施例。如图2所示，该实施例中作业调度的方法包括：

201、根据各Task Tracker节点的使用状态，选择空闲的Task Tracker节点。

该步骤的实现方式与图1步骤101的实现方式相同，此处不再赘述。

202、从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点。

该步骤的实现方式与图1步骤102的实现方式相同，此处不再赘述。

203、若存在同主机作业，则按照优先级的顺序从同主机作业中查找目标作业。

在选择出目标Task Tracker节点之后，需要以目标Task Tracker节点为出发点首先查找是否有同主机作业，同主机作业为申请的资源为目标Task Tracker节点所属的主机的资源的作业。若存在同主机作业，则在同主机作业中查找目标作业。在查找目标作业时，若只有一个同主机作业，则将该作业直接确定为目标作业；若有多个同主机作业，需要按照作业的优先级顺序从多个同主机作业中选择优先级最高的作业确定为目标作业。

在按照作业的优先级顺序从多个同主机作业中选择优先级最高的作业之前，需要确定每个同主机作业的优先级。具体的确定优先级的方式为：第一，获取每个同主机作业对应的优先级的影响因素，影响因素包括当前时间与作业的提交时间之间的间隔时长、提交作业的用户的等级以及作业申请的资源量。第二，将获取到的对应每个同主机作业的所有影响因素按照预设的加权系数计算对应每个同主机作业的优先级。具体的计算公式如下：

P＝M*p1+T*p2+N*p3

其中P为作业的优先级，M为提交作业的用户的等级，T为当前时间与作业的提交时间之间的间隔时长，N为作业申请的资源量，p1，p2，p3分别为对应M、T、N三个优先级影响因素的加权系数。在实际应用中，不同优先级影响因素的加权系数可以根据实际的业务需求自由设置。

204、若不存在同主机作业，则按照优先级的顺序从同机架作业中查找目标作业。

若不存在同主机作业，即不存在作业申请的资源为目标Task Tracker节点所属的主机的资源的作业，则查找同机架作业，其中同机架作业为申请的资源为与目标TaskTracker节点所属的主机为同机架的其他主机的资源的作业。若同机架作业为一个，则将该同机架作业作为目标作业；若同机架作业为多个，则按照优先级顺序从多个同机架作业中选择优先级最高的同机架作业作为目标作业。在按照优先级顺序从多个同机架作业中选择优先级最高的同机架作业之前，需要确定每个同机架作业的优先级。具体同机架作业的优先级的确定方式与步骤203中同主机作业的优先级的确定方式相同，此处不再赘述。

进一步的，若不存在同主机作业也不存在同机架作业，则需要查找最久未调度的作业，若最久未调度的作业只有一个，则将该作业确定为目标作业，若最久未调度的作业有多个，则按照优先级顺序从多个最久未调度的作业中选择优先级最高的作业作为目标作业。在按照优先级顺序从多个最久未调度的作业中选择优先级最高的作业之前，需要确定每个最久未调度的作业的优先级。具体确定最久未调度的作业的优先级的方式与步骤203中确定同主机作业的优先级的方式相同，此处不再赘述。

205、将目标作业调度至目标Task Tracker节点进行计算。

本步骤的实现方式与图1步骤104的实现方式相同，此处不再赘述。

进一步的，在步骤205之后，判断是否存在未调度的作业，若存在未调度的作业，则按照上述步骤201至205的执行过程重新进行选择目标Task Tracker节点、查找对应的目标作业、将目标作业调度至目标Task Tracker节点进行计算。直到不存在未调度的作业为止，退出程序，结束调度。当有新的作业提交时，再重新启动程序，执行步骤201至205。

进一步的，作为对上述图1和图2所示方法的实现，本发明实施例另一实施例还提供了一种作业调度的装置，用于对上述图1和图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：第一选择单元31、第二选择单元32、查找单元33以及计算单元34。

第一选择单元31，用于根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点。

第二选择单元32，用于从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点。

由于当前空闲的Task Tracker节点可能有多个，因此需要从多个空闲的TaskTracker节点中选择出符合预设条件的一个Task Tracker节点作为目标Task Tracker节点。本实施例中目标Task Tracker节点为最久未使用的空闲Task Tracker节点。

查找单元33，用于为目标Task Tracker节点查找目标作业。

计算单元34，用于将目标作业调度至目标Task Tracker节点进行计算。

进一步的，如图4所示，查找单元33，包括：

第一查找模块331，用于若存在同主机作业，则按照优先级的顺序从同主机作业中查找目标作业，同主机作业为申请的资源是目标Task Tracker节点所属的主机的资源的作业；

第二查找模块332，用于若不存在同主机作业，则按照优先级的顺序从同机架作业中查找目标作业，同机架作业是申请的资源为与目标Task Tracker节点所属的主机为同机架的其他主机的资源的作业。

进一步的，如图4所示，查找单元33，还包括：

第三查找模块333，用于若不存在同机架作业，则按照优先级顺序从最久未调度的作业中查找目标作业。

进一步的，如图4所示，装置进一步包括：

确定单元35，用于在按照优先级顺序查找目标作业之前，根据当前时间与作业的提交时间之间的间隔时长、提交作业的用户的等级以及作业申请的资源量确定对应的作业的优先级。

具体的确定优先级的方式为：第一，获取每个作业对应的优先级的影响因素，影响因素包括当前时间与作业的提交时间之间的间隔时长、提交作业的用户的等级以及作业申请的资源量。第二，将获取到的对应每个作业的所有影响因素按照预设的加权系数计算对应每个作业的优先级。具体的计算公式如下：

P＝M*p1+T*p2+N*p3

进一步的，如图4所示，装置进一步包括：

判断单元36，用于在将目标作业调度至目标Task Tracker节点进行计算之后，判断是否存在未调度的作业；

第三选择单元37，用于若存在未调度的作业，则继续选择目标Task Tracker节点；

结束单元38，用于若不存在未调度的作业，则结束调度。

本实施例提供的作业调度的装置，能够根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；并从空闲的Task Tracker节点中选择符合预设条件的目标Task Tracker节点；然后为目标Task Tracker节点查找目标作业；将目标作业调度至目标Task Tracker节点进行计算。与现有技术相比，本实施例能够从Task Tracker节点的角度出发，通过Task Tracker节点来决定作业的调度顺序，而不是以作业的角度出发，按照作业的优先级来调度作业以及选择Task Tracker节点。以Task Tracker节点为出发点可以有更多的机会选择本地作业进行计算，因此可以有效地较少非本地化的计算，从而提高计算效率。

所述作业调度装置包括处理器和存储器，上述第一选择单元31、第二选择单元32、查找单元33以及计算单元34等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：根据各任务调度Task Tracker节点的使用状态，选择空闲的Task Tracker节点；从空闲的Task Tracker节点中选择符合预设条件的目标TaskTracker节点；为所述目标Task Tracker节点查找目标作业；将所述目标作业调度至目标Task Tracker节点进行计算。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种作业调度的方法，其特征在于，所述方法包括：

为所述目标Task Tracker节点查找目标作业；

将所述目标作业调度至目标Task Tracker节点进行计算。

2.根据权利要求1所述的方法，其特征在于，所述为所述目标Task Tracker节点查找目标作业，包括：

若存在同主机作业，则按照优先级的顺序从所述同主机作业中查找目标作业，所述同主机作业为申请的资源是所述目标Task Tracker节点所属的主机的资源的作业；

若不存在同主机作业，则按照优先级的顺序从同机架作业中查找目标作业，所述同机架作业为申请的资源是与所述目标Task Tracker节点所属的主机为同机架的其他主机的资源的作业。

3.根据权利要求2所述的方法，其特征在于，所述为所述目标Task Tracker节点查找目标作业，还包括：

若不存在同机架作业，则按照优先级顺序从最久未调度的作业中查找目标作业。

4.根据权利要求2或3中任一所述的方法，其特征在于，在按照优先级顺序查找目标作业之前，所述方法进一步包括：

根据当前时间与作业的提交时间之间的间隔时长、提交作业的用户的等级以及作业申请的资源量确定对应的作业的优先级。

5.根据权利要求1所述的方法，其特征在于，在所述将所述目标作业调度至目标TaskTracker节点进行计算之后，所述方法进一步包括：

判断是否存在未调度的作业；

若存在未调度的作业，则继续选择目标Task Tracker节点；

若不存在未调度的作业，则结束调度。

6.一种作业调度的装置，其特征在于，所述装置包括：

第一选择单元，用于根据各任务调度Task Tracker节点的使用状态，选择空闲的TaskTracker节点；

查找单元，用于为所述目标Task Tracker节点查找目标作业；

7.根据权利要求6所述的装置，其特征在于，所述查找单元，包括：

第一查找模块，用于若存在同主机作业，则按照优先级的顺序从所述同主机作业中查找目标作业，所述同主机作业为申请的资源是所述目标Task Tracker节点所属的主机的资源的作业；

第二查找模块，用于若不存在同主机作业，则按照优先级的顺序从同机架作业中查找目标作业，所述同机架作业是申请的资源为与所述目标Task Tracker节点所属的主机为同机架的其他主机的资源的作业。

8.根据权利要求7所述的装置，其特征在于，所述查找单元还包括：

第三查找模块，用于若不存在同机架作业，则按照优先级顺序从最久未调度的作业中查找目标作业。

9.根据权利要求7或8中任一所述的装置，其特征在于，所述装置进一步包括：

确定单元，用于在按照优先级顺序查找目标作业之前，根据当前时间与作业的提交时间之间的间隔时长、提交作业的用户的等级以及作业申请的资源量确定对应的作业的优先级。

10.根据权利要求6所述的装置，其特征在于，所述装置进一步包括：

判断单元，用于在所述将所述目标作业调度至目标Task Tracker节点进行计算之后，判断是否存在未调度的作业；

第三选择单元，用于若存在未调度的作业，则继续选择目标Task Tracker节点；

结束单元，用于若不存在未调度的作业，则结束调度。