CN107423134A - 一种大规模计算集群的动态资源调度方法 - Google Patents

Abstract

本发明公布了一种大规模计算集群的动态资源调度方法。本方法为：1)预先设定各资源使用者可使用的最大、最小计算资源数量；2)采集当前整体可用计算资源总量wn、各资源使用者占用的计算资源数量和当前资源使用者总数；3)若当前空余计算资源数量free，则将该free个空闲计算资源分配给有运行作业需求的资源使用者；如果当前没有空余计算资源且存在有运行作业需求的资源使用者，则从当前各资源使用者使用的计算资源中抽取若干计算资源或是逐步减少当前计算资源使用者的可用计算资源量并将其分配给有运行作业需求的新资源使用者。本发明提高了计算集群整体资源利用率，尤其当集群中有大量单核串行作业的时候，效果十分明显。

Description

一种大规模计算集群的动态资源调度方法

技术领域

本发明属于高性能计算、资源管理作业调度研究领域，以提高资源利用率为目标，涉及一种对大规模计算集群资源管理和作业调度的方法，尤为利于提高以单核串行作业为主的集群资源利用率。

背景技术

Torque是一款历史久远、应用广泛的资源管理软件，用于计算集群的资源管理和作业调度，一般与Maui结合使用。Torque负责作业队列设置、资源管理和作业分发。Maui根据设定的作业算法为每个作业分配合适的计算资源，再由Torque将作业送到计算资源上运行。按照预先设定的作业调度算法，Maui根据用户身份、所属用户组别、作业所属作业队列等多种因素为作业分配相应的计算资源，并通知Torque。由Torque将作业分配到该计算资源上运行，并由Torque负责作业运行过程的监管和作业结果的返回。系统管理员需要先在Torque中设定作业队列，每个作业队列对应一种计算需求模式。每个作业队列的作业被调度到一组指定计算资源上运行。不同用户和不同用户组在Torque中被赋予不同权限，向被赋予权限的作业队列提交作业。如果Torque中未做特别设定，不同队列之间、同一队列作业所属不同用户组之间、同用户组不同用户之间的作业优先级相同。优先级相同作业会按先来先服务原则，根据作业被提交的先后顺序为每个作业依次分配相应的资源。反之如果不同用户组之间、同组不同用户之间的作业优先级不同，则优先为高优先级作业分配计算资源。

为了提高资源利用率，可以通过对Torque配置，使不同作业队列共享同一组计算资源。此种情况下，为了避免单独一个作业队列、作业队列的单独用户组或是作业队列的单独用户过多占用资源，需要对不同队列、不同用户组或是不同用户可占用的计算资源总量进行限制。设定指定队列最大可占用运行计算资源数、指定用户组最大可占用计算资源数或是单用户最大可占用计算资源数。这种设定在一定程度上可以保证用户使用资源的公平性，避免单个队列、单个用户组或是单个用户长期过多占用资源，使新用户的新作业可以被快速调度到计算资源上运行，而不必长期在作业队列中等待，直至该作业前面没有其它排队作业再被调度。但另一方面，尽管此限制设定满足了队列、用户组、用户之间的资源公平共享的需求，但在很多情况下会导致计算资源整体利用率降低。例如当几个用户在同一时间段均提交了大量作业，受到Torque“用户最大可占用计算资源数”的限制，每个用户可占用的计算资源数量不能超过“用户最大可占用资源数”。如果这样的用户数量较少，则会出现即使集群当前还有空闲计算资源，也无法分配给正在排队的作业运行。例如，设Torque中设定的每用户最大可运行作业数为“r”，当前用户数量为“u”，可用计算资源总量为“n”。当u≥(n/r)时，计算资源可以被100％利用。但如果u＜(n/r)时会出现存在作业排队但是同时计算资源空闲，即计算资源利用率变低。u越小，计算资源利用率越低。

同样的情况对于共享同一组计算资源的多个队列也是一样存在。当一个或几个作业队列中有大量作业，受到每作业队列可占用的计算资源数量限制，会出现即使还有空闲计算资源也不能分配给队列中排队作业运行的情况，使得资源利用率降低。同理，当一个队列供多个用户组共享使用时，受每用户组可占用的计算资源数量限制，也可能出现即使还有空闲计算资源也不能分配给队列中用户组的排队作业运行。

发明内容

本发明的目的在于提供一种大规模计算集群的动态资源调度方法，根据当前集群的实际运行情况动态调节作业队列、用户组、用户的”最大可占用计算资源数”。

本发明旨在保证用户使用计算资源公平性前提下，提供一种资源动态分配的算法，让尽可能多的作业被调度运行，提高计算集群的整体资源利用率。

本发明的算法适用于三类情况，且可对三类情况同时进行动态调节，也可只对其中一种情况进行动态调节。

情况一：多个队列共享同一组计算资源：通过对当前实际有计算需求的队列”最大可占用计算资源数”动态调节，既保证不同队列可以公平共享该组资源，还可提高该组计算资源的利用率。

情况二：多个用户组共享同一个计算队列的计算资源：通过对当前实际有计算需求用户组”最大可占用计算资源数”动态调节，既保证不同用户组可以公平共享该队列计算资源，还可提高支持作业队列的计算资源利用率。

情况三：多个用户共享一个计算队列的计算资源：通过对当前实际有计算需求的用户”最大可占用计算资源数”动态调节，既保证不同用户可以公平共享该队列计算资源，还可提高支持作业队列的计算资源利用率。

本发明中将上述三种情况中的队列、用户组和用户统称为资源使用者。

情况1需要集群系统管理员预先设定共享的各个作业队列的最大和最小可占用计算资源数量。情况2需要集群系统管理员预先设定共享计算队列的各个用户组最大和最小可占用计算资源数量。情况3需要集群系统管理员预先设定共享计算队列的各个用户可以使用最大和最小可占用计算资源数量。调度算法按照集群系统管理员的预先设定，根据作业集群当前作业占用计算资源的数量、运行作业的用户数量等情况为每个作业队列、每个用户组和每个用户分别计算出可占用的最佳计算资源量，即为每个队列、每个用户组和每个用户按最佳可占用资源数量分配资源，保证作业集群中队列、用户组和用户既可以公平使用计算资源，又可使整体计算资源的利用率最高。根据算法计算结果动态调整Torque中对于作业队列、用户组和用户的”最大可占用计算资源数”参数。随着作业集群状态变化，“最大可占用计算资源数”被不断调整优化，以保持最大资源利用率。为了防止出现大量用户小作业引起“最大可占用计算资源数”的调整振荡变化，本算法根据集群管理员设定的调整步长，每次按步长逐步增加或减少“最大可占用计算资源数”。

为实现上述目的，本发明的内容包括：

(1)集群系统管理员编写算法配置文件，指明需要运行本算法的队列，用户组，和用户可使用的最大和最小”可占用计算资源数量”。

(2)作业集群资源现状采集

根据算法的配置文件中指定需要实施本算法的对象范围，实时采集作业集群使用情况，包括；各个队列占用资源情况，各个用户组以及各个用户的资源占用情况和用户整体数量。通过执行Torque批作业软件自身命令或是调用Torque提供的API函数进行实时采集。

(3)使用数据库存储(2)中采集到的计算集群的运行状态。

(4)使用linux的crontab的工具周期性执行算法对批作业管理进行调整。

(5)管理员编写配置文件用于设置并保存计算资源每次可调整的步长数量以及最大最小”可占用计算资源数”量。

本发明的技术方案为：

一种大规模计算集群的动态资源调度方法，其步骤包括：

1)预先设定各资源使用者可使用的最大计算资源数量、最小计算资源数量；

2)采集当前整体可用计算资源总量wn、各资源使用者占用的计算资源数量和当前资源使用者总数；

3)若当前空余计算资源数量free，则将该free个空闲计算资源分配给有运行作业需求的资源使用者；如果当前没有空余计算资源且存在有运行作业需求的资源使用者，则从当前各资源使用者使用的计算资源中抽取若干计算资源或是逐渐减少当前计算资源使用量分配给有运行作业需求的资源使用者。

进一步的，将该free个空闲计算资源分配给有运行作业需求的资源使用者的方法为：

31)设当前有运行作业需求的资源使用者使用的计算资源量分别为：wn(group1′),wn(group2′),……,wn(groupN′)；N′为当前有运行作业需求的资源使用者总数，wn(groupN′)为第N′个资源使用者groupN′使用的计算资源量；

32)计算当前有运行作业需求的每一用资源使用者groupi′可用的最大计算资源数量max(i′)；

33)根据各资源使用者的可用计算资源数量调整步长step(group1′),step(group2′),……,step(groupN′)，计算当前有运行作业需求的每一资源使用者groupi′调整后的最佳计算资源数量best_wn(groupi′)。

进一步的，第i′个资源使用者可用的最大计算资源数量其中，quota_max(groupN′)为资源使用者groupN′可使用的最大计算资源占当前整体可用计算资源总量wn的百分比，quota_max(groupi′)为资源使用者groupi′可使用的最小计算资源占当前整体可用计算资源总量wn的百分比。

进一步的，资源使用者groupi′调整后的最大可占用计算资源数量best_wn(groupi′)＝min((wn(groupi′)+step(groupi′)),max(i′))。

进一步的，从当前各资源使用者使用的计算资源中抽取若干计算资源分配给该有运行作业需求的资源使用者的方法为：

34)设当前有运行作业需求的资源使用者使用的计算资源量分别:wn(group1′),wn(group2′),……,wn(groupN′)；N′为当前有运行作业需求的资源使用者总数，wn(groupN′)为第N′个资源使用者groupN′使用的计算资源量；

35)计算当前有运行作业需求的每一资源使用者groupi′可用的最大计算资源量max(wn(groupi′))；

36)根据各资源使用者的可用计算资源数量调整步长step(group1′),step(group2′),……,step(groupN′)，计算当前有运行作业需求的每一资源使用者groupi′调整后的最大可占用计算资源数best_wn(groupi′)；

37)根据每一资源使用者groupi′调整后的最大可占用计算资源数best_wn(groupi′)，使得对应资源使用者groupi′当前使用的计算资源被减少若干计算资源，以分配给该有运行作业需求的资源使用者。

进一步的，当前有运行作业需求的每一资源使用者groupi′可用的最大计算资源数量其中，quota_main(groupN′)为资源使用者groupN′可使用的最小计算资源数量占当前整体可用计算资源总量wn的百分比，quota_min(groupi′)为资源使用者groupi′可使用的最小计算资源占当前整体可用计算资源总量wn的百分比。

进一步的，资源使用者groupi′调整后的最大可占用计算资源数量best_wn(groupi′)＝min((wn(groupi′)-step(groupi′)),max(wn(groupi′)))。

进一步的，所述资源使用者为共享同一组计算资源的队列、共享同一个计算队列的计算资源的用户组或共享一个计算队列的计算资源的用户。

发明的优点和积极效果

基于本发明的方法，可以使得由Torque管理的计算集群整体资源利用率提高，尤其当集群中有大量单核串行作业的时候，效果十分明显，新算法使用前：大量作业排队，长期存在，资源利用率为74.56％；使用算法后，资源利用率为97.84％。

图1为实际计算集群在算法使用前和使用后的对比情况。横坐标轴表示时间区域，左边的纵坐标轴表示计算集群中可用计算资源数量以及作业队列正在占用的计算资源数量和排队作业数量，右边的纵坐标轴表用户数量。实线表示表示计算集群总计算资源数量；虚线表示计算集群中被占用的计算资源数量；柱条表示为正在排队的作业数量；三角表示有作业在运行的用户数量，圆点表示所有用户(包括有作业运行和没有作业运行用户)数量。

从图1(a)可以看出，在没有使用新的作业调度算法时，虽然有大量作业在排队，但是计算集群中存在空闲资源不能被使用。从图1(b)中可以看出在使用了新的作业调度算法后，集群中所有计算资源都在运行作业，排队数量明显减少。

附图说明

图1为效果对比图；

(a)使用算法前，资源利用率为74.56％，(b)使用算法后，资源利用率为97.84％；

图2为本发明方法流程图。

具体实施方式

下面结合具体实例对本发明进行进一步详细描述。

本算法用于调整多个用户组资源最佳分配量，根据实际作业对同一组资源的最佳作业分配方案，调整参数包括：(1)队列可占用最大计算资源数量，(2)用户组最大可占用计算资源数量，(3)用户可占用最大计算资源数量

以用户组最佳”可占用计算资源数”量为例，说明具体实施方式，本发明方法流程如图2所示，首先预先设定作业队列可使用的最大计算资源数量、最小计算资源数量，每一用户组可使用的最大计算资源数量和最小计算资源数量，每一用户在各个作业队列中可使用的最大计算资源数量和最小计算资源数量。

设存在N个用户组，分别为：group1,group2,……,groupN。

计算集群可使用计算资源总量:wn。

用户组N最大可占用的计算资源wn的百分比分别为：quota_max(groupN)

用户组N最少可占用的计算资源wn的百分比分别为：quota_min(groupN)。

每用户组最大可占用计算资源数量：wn*quota_max(group1),wn*quota_max(group2),……,wn*quota_max(groupN)

每用户组可使用最少计算资源数量：wn*quota_min(group1),wn*quota_min(group2),……,wn*quota_min(groupN)。

实际提交作业的用户组分别为：group1′,group2′,……,groupN′。

计算资源的使用存在以下两种情况：

情况一：如若当前还有空余计算资源量，则设当前空余计算资源数量为：free。需要将这些空闲计算资源合理分配给有运行作业需求的用户组。

(1)设当前有运行作业的各用户组正在使用计算资源量为：

wn(group1′),wn(group2′),……,wn(groupN′)。

(2)当前情况下，用户组N’可用的最大计算资源数量为：

(3)设配置文件中各用户组可用计算资源数量调整步长：

step(group1′),step(group2′),……,step(groupN′)。

则当前用户组N’调整后最大可占用计算资源数量为：

best_wn(groupN′)＝min((wn(groupN′)+step(groupN′)),max(wn(groupN‘)))；

情况二：如若当前所有计算资源已经全部被作业占满，没有空余计算资源，即free＝0。需要减少当前各种用户组使用的资源，将多占的资源让出给新用户的用户作业。

(1)设当前有运行作业的各用户组正在使用计算资源量:

wn(group1′),wn(group2′),……,wn(groupN′)。

(2)当前情况下，用户组N’可用的最大计算资源数量为：

(3)各用户组可用计算资源数量调整步长：

step(group1′),step(group2′),……,step(groupN′)。

则当前用户组N’调整后最大作业运行数量为：

best_wn(groupN′)＝max((wn(groupN′)-step(groupN′)),max(wn(group′)))；

实施实例说明

设现有Torque集群计算节点的cpu核数为1000个，设置一个队列queuq接收来自group1，group2，group3和group4四个用户组的作业，共享使用计算资源。原始设置每个组最大作业运行数为250个。管理员对于各个组的动态调节参数文件group_job_tune.txt内容如下：

(1)在torque服务器上设置crontab，让动态调节用户组最大运行作业数的算法每5分钟被执行一次。设不同时间点，各个组用户提交及运行的作业总量变量如表1所示：

表1四用户组提交作业情况

如果没有使用本算法则各个组的占用资源情况如表2所示。

表2未使用本算法用户组作业被调度情况

如果没有使用本算法则各个组的占用资源情况如表3所示。

表3为未使用本算法用户组作业被调度情况

从上例中可以看到，本算法对可以使用户的作业排队时间减少，资源利用率得到很大提高。

Claims (8)

1.一种大规模计算集群的动态资源调度方法，其步骤包括：

1)预先设定各资源使用者可使用的最大计算资源数量、最小计算资源数量；

2)采集当前整体可用计算资源总量wn、各资源使用者占用的计算资源数量和当前资源使用者总数；

3)若当前空余计算资源数量free，则将该free个空闲计算资源分配给有运行作业需求的资源使用者；如果当前没有空余计算资源且存在有运行作业需求的资源使用者，则从当前各资源使用者使用的计算资源中抽取若干计算资源分配给该有运行作业需求的资源使用者。

2.如权利要求1所述的方法，其特征在于，将该free个空闲计算资源分配给有运行作业需求的资源使用者的方法为：

21)设当前有运行作业需求的资源使用者使用的计算资源量分别

为：wn(group1′),wn(group2′),……,wn(groupN′)；N′为当前有运行作业需求的资源使用者总数，wn(groupN′)为第N′个资源使用者groupN′使用的计算资源量；

22)计算当前有运行作业需求的每一用资源使用者groupi′可用的最大计算资源数量max(i′)；

23)根据各资源使用者的可用计算资源数量调整步长

step(group1′),step(group2′),……,step(groupN′)，计算当前有运行作业需求的每一资源使用者groupi′调整后的最佳计算资源数量best_wn(groupi′)。

3.如权利要求2所述的方法，其特征在于，第i′个资源使用者可用的最大计算资源数量其中，quota_max(groupN′)为资源使用者groupN′可使用的最大计算资源占当前整体可用计算资源总量wn的百分比，quota_max(groupi′)为资源使用者groupi′可使用的最小计算资源占当前整体可用计算资源总量wn的百分比。

4.如权利要求2所述的方法，其特征在于，资源使用者groupi′调整后的最大可占用计算资源数量best_wn(groupi′)＝min((wn(groupi′)+step(groupi′)),max(i′))。

5.如权利要求1所述的方法，其特征在于，从当前各资源使用者使用的计算资源中抽取若干计算资源分配给该有运行作业需求的资源使用者的方法为：

51)设当前有运行作业需求的资源使用者使用的计算资源量分别:wn(group1′),wn(group2′),……,wn(groupN′)；N′为当前有运行作业需求的资源使用者总数，wn(groupN′)为第N′个资源使用者groupN′使用的计算资源量；

52)计算当前有运行作业需求的每一资源使用者groupi′可用的最大计算资源量max(wn(groupi′))；

53)根据各资源使用者的可用计算资源数量调整步长

step(group1′),step(group2′),……,step(groupN′)，计算当前有运行作业需求的每一资源使用者groupi′调整后的最大可占用计算资源数best_wn(groupi′)；

54)根据每一资源使用者groupi′调整后的最大可占用计算资源数best_wn(groupi′)，使得对应资源使用者groupi′当前使用的计算资源被减少若干计算资源，以分配给该有运行作业需求的资源使用者。

6.如权利要求5所述的方法，其特征在于，当前有运行作业需求的每一资源使用者groupi′可用的最大计算资源数量其中，quota_main(groupN′)为资源使用者groupN′可使用的最小计算资源数量占当前整体可用计算资源总量wn的百分比，quota_min(groupi′)为资源使用者groupi′可使用的最小计算资源占当前整体可用计算资源总量wn的百分比。

7.如权利要求5所述的方法，其特征在于，资源使用者groupi′调整后的最大可占用计算资源数量best_wn(groupi′)＝min((wn(groupi′)-step(groupi′)),max(wn(groupi′)))。

8.如权利要求1至7任一所述的方法，其特征在于，所述资源使用者为共享同一组计算资源的队列、共享同一个计算队列的计算资源的用户组或共享一个计算队列的计算资源的用户。