CN106776025A - 一种计算机集群作业调度方法及其装置 - Google Patents

Abstract

本发明公开了一种计算机集群作业调度方法，包括依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个未处理任务的资源占用率；按照资源占用率的大小，分别为各个未处理任务分配相应大小的container进程进行任务处理。能够根据任务所需的资源调整container的大小，尽可能避免资源的浪费，提高运行资源的利用效率。本发明还公开了一种采用上述方法的计算机集群作业调度装置，也具有上述优点，在此不再赘述。

Description

一种计算机集群作业调度方法及其装置

技术领域

本发明涉及作业调度领域，特别是涉及一种计算机集群作业调度方法及其装置。

背景技术

Hadoop是一种能在大规模计算机集群上运行大数据处理应用的开源框架，作业调度是Hadoop系统的一个重要组成部分。

在作业调度过程中，调度基本单元为container，每个任务对应一个container，container的大小(一般为内存大小)为固定的，当任务过大时，会将任务分割为几个小任务后由几个container执行，但对于较小的任务而言，一般用不了container所包含的全部资源，即较小的任务所需的内存等资源较少，而这些小任务也由一个container来完成的话，会造成资源的浪费。

因此，如何提供一种节约资源的计算机集群作业调度方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种计算机集群作业调度方法及其装置，能够根据任务所需的资源调整container的大小，尽可能避免资源的浪费，提高运行资源的利用效率。

为解决上述技术问题，本发明提供了一种计算机集群作业调度方法，包括：

步骤s101：依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个所述未处理任务的资源占用率；

步骤s102：按照所述资源占用率的大小，分别为各个所述未处理任务分配相应大小的container进程进行任务处理。

优选地，步骤s101与步骤s102之间还包括：

依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量；

周期性检测所述集群的空闲资源占用率；

从当前的各个所述未处理任务中，筛选出资源占用率未超出所述空闲资源占用率的未处理任务作为候选任务，并将各个所述候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，所述候选任务列表中的任务处理顺序为任务排列顺序。

优选地，所述依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量的过程具体为：

依据各个所述未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个所述未处理任务的单位数据量的平均占用时间；

确定每个所述未处理任务的输入数据量；

分别将每个所述未处理任务的所述输入数据量与自身的单位数据量的平均占用时间相乘，得到每个所述未处理任务的占用时间；

将每个所述未处理任务的占用时间与自身的资源占用率相乘，得到每个所述未处理任务的资源占用量。

优选地，将各个所述候选任务加入所述候选任务列表后，还包括：

将筛选出的资源占用率超出所述空闲资源占用率的若干个未处理任务按照预设顺序添加至所述候选任务列表中最后一个候选任务的后面。

为解决上述技术问题，本发明还提供了一种计算机集群作业调度装置，包括：

资源占用率计算模块，用于依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个所述未处理任务的资源占用率；

调度模块，用于按照所述资源占用率的大小，分别为各个所述未处理任务分配相应大小的container进程进行任务处理。

优选地，还包括：

资源占用量计算模块，用于依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量；

空闲检测模块，用于周期性检测所述集群的空闲资源占用率；

排序模块，用于从当前的各个所述未处理任务中，筛选出资源占用率未超出所述空闲资源占用率的未处理任务作为候选任务，并将各个所述候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，所述候选任务列表中的任务处理顺序为任务排列顺序。

优选地，所述资源占用量计算模块具体用于：

依据各个所述未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个所述未处理任务的单位数据量的平均占用时间；确定每个所述未处理任务的输入数据量；分别将每个所述未处理任务的所述输入数据量与自身的单位数据量的平均占用时间相乘，得到每个所述未处理任务的占用时间；将每个所述未处理任务的占用时间与自身的资源占用率相乘，得到每个所述未处理任务的资源占用量。

优选地，所述排序模块还用于：

将筛选出的资源占用率超出所述空闲资源占用率的若干个未处理任务按照预设顺序添加至所述候选任务列表中最后一个候选任务的后面。

本发明提供了一种计算机集群作业调度方法及其装置，能够预先估计各个未处理任务的资源占用率，然后依据其资源占用率的大小，来为其分配相应大小的container进行任务处理；其中，这里的资源占用率为任务在稳定运行过程中，任务对运行资源的占用情况。即本发明中，container的大小是变化的，是根据其执行的任务所需的资源进行分配的，这样能够极大程度上避免资源的浪费，提高运行资源的利用效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种计算机集群作业调度方法的过程的流程图；

图2为本发明提供的另一种计算机集群作业调度方法的过程的流程图；

图3为本发明提供的另一种计算机集群作业调度装置的结构示意图。

具体实施方式

本发明的核心是提供一种计算机集群作业调度方法及其装置，能够根据任务所需的资源调整container的大小，尽可能避免资源的浪费，提高运行资源的利用效率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供了一种计算机集群作业调度方法，参见图1所示，图1为本发明提供的一种计算机集群作业调度方法的过程的流程图；该方法包括：

步骤s101：依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个未处理任务的资源占用率；

步骤s102：按照资源占用率的大小，分别为各个未处理任务分配相应大小的container进程进行任务处理。

可以理解的是，这里的资源占用率为任务在稳定运行过程中，任务对运行资源的占用情况，但步骤s101中确定的未处理任务的资源占用率，仅是根据之前实验或实际应用中的经验值进行估计后得到的，并不能是未处理任务实际所需的资源占用率，但该估计得到的资源占用率与未处理任务实际所需的资源占用率较为接近，故能够在极大程度上减小资源的浪费。

其中，这里的任务类型包括计算类型、IO类型等，当然，还可包括其他类型，本发明对此不作限定。

另外，这里的某一任务类型的平均资源占用率的计算关系式为：

x任务类型的平均资源占用率＝之前运行过的x类型的多个任务的资源占用率总和/以上多个任务的数量。

当然，本发明不限定计算平均资源占用率时使用的任务的数量。

本发明提供了一种计算机集群作业调度方法，能够预先估计各个未处理任务的资源占用率，然后依据其资源占用率的大小，来为其分配相应大小的container进行任务处理；其中，这里的资源占用率为任务在稳定运行过程中，任务对运行资源的占用情况。即本发明中，container的大小是变化的，是根据其执行的任务所需的资源进行分配的，这样能够极大程度上避免资源的浪费，提高运行资源的利用效率。

实施例二

基于实施例一的基础上，本发明还提供了另一种实施例。参见图2所示，图2为本发明提供的另一种计算机集群作业调度方法的过程的流程图。

作为优选地，步骤s101与步骤s102之间还包括：

依据各个未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个未处理任务的资源占用量；

周期性检测集群的空闲资源占用率；

从当前的各个未处理任务中，筛选出资源占用率未超出空闲资源占用率的未处理任务作为候选任务，并将各个候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，候选任务列表中的任务处理顺序为任务排列顺序。

此时，步骤s102的过程具体为：

按照候选任务列表内的顺序，按照资源占用率的大小，依次为未处理任务分配相应大小的container进程进行任务处理。

可以理解的是，当未处理任务的估计资源占用率超出空闲资源占用率时，表明该未处理任务实际运行时所需的资源占用率很可能会超出空闲资源占用率，这种情况下该未处理任务则不可执行。

其中，这里的空闲资源占用率的关系式具体为：

空闲资源占用率＝1-当前所有运行中任务的资源占用率总和。

具体的，依据各个未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个未处理任务的资源占用量的过程具体为：

依据各个未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个未处理任务的单位数据量的平均占用时间；

确定每个未处理任务的输入数据量；

分别将每个未处理任务的输入数据量与自身的单位数据量的平均占用时间相乘，得到每个未处理任务的占用时间；

将每个未处理任务的占用时间与自身的资源占用率相乘，得到每个未处理任务的资源占用量。

可以理解的是，有些任务虽然资源占用率低，但是占用时间很长，这种情况下也会影响其他任务对资源的使用，故综合考虑资源占用率以及占用时间，得到的资源占用量能够更准确的反应任务对资源的占用情况。

另外，x任务类型的单位数据量的平均占用时间的计算关系式为：

x任务类型的单位数据量的平均占用时间＝之前运行过的x类型的多个任务的运行时间总和/以上多个任务的输入数据总量。

未处理任务的占用时间的计算关系式为：

未处理任务的占用时间＝该类型任务的单位数据量的平均占用时间*该未处理任务的输入数据量。

资源占用量的计算关系式为：

资源占用量＝资源占用率*占用时间。

可以理解的是，将各个当前能够进行处理的未处理任务按照资源占用量进行排序处理，能够优先处理那些资源占用率小并且占用时间短的任务，避免有任务同时占用大量资源或占用时间过长而导致的任务处理效率慢的情况出现，提高任务处理的效率。

作为优选地，将各个候选任务加入候选任务列表后，还包括：

将筛选出的资源占用率超出空闲资源占用率的若干个未处理任务按照预设顺序添加至候选任务列表中最后一个候选任务的后面。

可以理解的是，这些任务由于资源占用率过大，此时无法进行处理，故可以将其加入候选任务列表的最后，也可以不将其加入候选任务列表，而是放在原始的未处理任务列表内，具体采用哪种方式本发明不作限定。由于未处理任务会周期性的发出处理请求，故系统会周期性的查询当前的空闲资源占用率，若这些任务在某时刻满足的处理条件，则可将其插入至候选任务列表内的相应位置。当然，具体采用哪种方式本发明不作限定。

参见图2所示，图2为本发明提供的另一种计算机集群作业调度方法的过程的流程图。

另外，需要注意的是，步骤s101与计算占用时间的步骤并无先后顺序，两者可以同时进行，也可以先计算占用时间，再计算资源占用率，具体采用哪种方式，本发明不作限定。

与实施例一相比，本发明还增加了资源占用量的计算，以及对各个未处理任务的筛选和排序，综合考虑的任务的资源占用率以及占用时间，考虑更为全面，并且通过优先处理资源占用率少且占用时间短的任务，避免了先处理大任务而导致大量任务积压的情况出现，提高了任务处理效率。

本发明还提供了一种计算机集群作业调度装置，参见图3所示，图3为本发明提供的另一种计算机集群作业调度装置的结构示意图。该装置包括：

资源占用率计算模块11，用于依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个未处理任务的资源占用率；

调度模块12，用于按照资源占用率的大小，分别为各个未处理任务分配相应大小的container进程进行任务处理。

作为优选地，该装置还包括：

资源占用量计算模块13，用于依据各个未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个未处理任务的资源占用量；

空闲检测模块14，用于周期性检测集群的空闲资源占用率；

排序模块15，用于从当前的各个未处理任务中，筛选出资源占用率未超出空闲资源占用率的未处理任务作为候选任务，并将各个候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，候选任务列表中的任务处理顺序为任务排列顺序。

其中，资源占用量计算模块13具体用于：

依据各个未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个未处理任务的单位数据量的平均占用时间；确定每个未处理任务的输入数据量；分别将每个未处理任务的输入数据量与自身的单位数据量的平均占用时间相乘，得到每个未处理任务的占用时间；将每个未处理任务的占用时间与自身的资源占用率相乘，得到每个未处理任务的资源占用量。

作为优选地，排序模块15还用于：

将筛选出的资源占用率超出空闲资源占用率的若干个未处理任务按照预设顺序添加至候选任务列表中最后一个候选任务的后面。

本发明提供了一种计算机集群作业调度装置，能够预先估计各个未处理任务的资源占用率，然后依据其资源占用率的大小，来为其分配相应大小的container进行任务处理；其中，这里的资源占用率为任务在稳定运行过程中，任务对运行资源的占用情况。即本发明中，container的大小是变化的，是根据其执行的任务所需的资源进行分配的，这样能够极大程度上避免资源的浪费，提高运行资源的利用效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种计算机集群作业调度方法，其特征在于，包括：

步骤s101：依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个所述未处理任务的资源占用率；

步骤s102：按照所述资源占用率的大小，分别为各个所述未处理任务分配相应大小的container进程进行任务处理。

2.根据权利要求1所述的方法，其特征在于，步骤s101与步骤s102之间还包括：

依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量；

周期性检测所述集群的空闲资源占用率；

从当前的各个所述未处理任务中，筛选出资源占用率未超出所述空闲资源占用率的未处理任务作为候选任务，并将各个所述候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，所述候选任务列表中的任务处理顺序为任务排列顺序。

3.根据权利要求2所述的方法，其特征在于，所述依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量的过程具体为：

依据各个所述未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个所述未处理任务的单位数据量的平均占用时间；

确定每个所述未处理任务的输入数据量；

分别将每个所述未处理任务的所述输入数据量与自身的单位数据量的平均占用时间相乘，得到每个所述未处理任务的占用时间；

将每个所述未处理任务的占用时间与自身的资源占用率相乘，得到每个所述未处理任务的资源占用量。

4.根据权利要求2所述的方法，其特征在于，将各个所述候选任务加入所述候选任务列表后，还包括：

将筛选出的资源占用率超出所述空闲资源占用率的若干个未处理任务按照预设顺序添加至所述候选任务列表中最后一个候选任务的后面。

5.一种计算机集群作业调度装置，其特征在于，包括：

资源占用率计算模块，用于依据各个未处理任务的任务类型以及预设的每种任务类型的平均资源占用率确定各个所述未处理任务的资源占用率；

调度模块，用于按照所述资源占用率的大小，分别为各个所述未处理任务分配相应大小的container进程进行任务处理。

6.根据权利要求5所述的装置，其特征在于，还包括：

资源占用量计算模块，用于依据各个所述未处理任务的任务类型、预设的每种任务类型单位数据量的平均占用时间以及对应的资源占用率确定各个所述未处理任务的资源占用量；

空闲检测模块，用于周期性检测所述集群的空闲资源占用率；

排序模块，用于从当前的各个所述未处理任务中，筛选出资源占用率未超出所述空闲资源占用率的未处理任务作为候选任务，并将各个所述候选任务按照资源占用量从小到大的顺序加入候选任务列表；其中，所述候选任务列表中的任务处理顺序为任务排列顺序。

7.根据权利要求6所述的装置，其特征在于，所述资源占用量计算模块具体用于：

依据各个所述未处理任务的任务类型以及预设的每种任务类型单位数据量的平均占用时间，确定每个所述未处理任务的单位数据量的平均占用时间；确定每个所述未处理任务的输入数据量；分别将每个所述未处理任务的所述输入数据量与自身的单位数据量的平均占用时间相乘，得到每个所述未处理任务的占用时间；将每个所述未处理任务的占用时间与自身的资源占用率相乘，得到每个所述未处理任务的资源占用量。

8.根据权利要求6所述的装置，其特征在于，所述排序模块还用于：

将筛选出的资源占用率超出所述空闲资源占用率的若干个未处理任务按照预设顺序添加至所述候选任务列表中最后一个候选任务的后面。