CN117348983A - 一种对海量任务进行高效资源调度的方法与系统 - Google Patents

Abstract

本发明提供一种对海量任务进行高效资源调度的方法与系统，包括中央调度器、分组调度器以及资源调度器，中央调度器和分组调度器实现对客户资源的有序，合理分配；资源调度器实现了对弹性主机的合理管理，任务和资源分开调度，在智能财税平台中构建两层结构的“任务‑资源”调度系统，提升了任务和资源的调动效率，大大的节省了任务处理时间；此外中央调度器结合了“带权的最大最小公平算法”、分组调度器结合了“高优先权算法”计算“优先权系数”，分别完成了对整体客户和组内客户的一次资源分配和二次资源分配，不会出现“一家独大”的资源倾斜分配现象，明显提升了任务‑资源调度的公平性、合理性。

Description

一种对海量任务进行高效资源调度的方法与系统

技术领域

本发明涉及财税信息化技术及数据处理领域，尤其涉及一种对海量任务进行高效资源调度的方法与系统。

背景技术

随着RPA机器人流程自动化技术在财税领域的大规模应用，智能财税平台每日会执行数十万名客户提交的数百万个财税自动化任务。海量的自动化任务运行在云平台的弹性主机上，由于受网络资源限制，云平台最大仅能提供数万台弹性主机资源。

目前智能财税平台主要采用先进先出（FIFO）算法来为任务分配弹性主机资源，先提交的任务优先分配主机资源执行。这会出现少数客户一次性下发大量任务，占用了大量主机资源，导致后续客户下发的任务无资源可用，必须长时间排队等待的现象，主机资源调度不合理，客户体验较差。从而不能保证海量任务能有主机资源在最短时间内尽快执行完毕，不能保证主机资源在不同客户之间合理分配，出现“一家独大”的资源倾斜分配现象。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种对海量任务进行高效资源调度的方法与系统。

为实现上述目的，本发明采用了如下技术方案：

一种对海量任务进行高效资源调度的系统，包括中央调度器、分组调度器、资源调度器。

所述中央调度器：接收到外部客户提交的任务后，先按按预设的不同维度将其分配到不同的任务分组中，每个任务分组人工设置权重值；再从资源调度器查询当前空闲的资源数，采用“带权的最大最小公平算法”将空闲资源分配到各个任务分组上；接收弹性主机上报的任务执行结果，维护任务状态。

所述分组调度器：每个任务分组对应一个分组调度器，分组调度器计算组内任务的“优先权系数”，采用“高优先权算法”将本组的空闲资源分配给任务；再将任务下发到对应的弹性主机上运行，在任务运行期间监控任务运行状态，接收到任务运行结果后反馈给客户。

所述资源调度器：负责管理云端的弹性主机资源，接收主机上报的忙闲状态，计算空闲主机资源；预测未来周期内的主机需求量，提前向云平台申请开通新主机，关机释放空闲主机。

所述中央调度器置于所述分组调度器上游，所述分组调度器独立运行。

一种对海量任务进行高效资源调度的方法：具体包括以下步骤：

S1：启动中央调度器进程，中央调度器根据不同维度创建若干任务分组，并对每一个任务分组设置分组权重；

S2:对每一个启动分组调度器进程，分组调度器进程查询该任务分组维度下上一周期任务的平均运行时长作为本周期该分组的任务预估运行时长；

S3：中央调度器接收到客户提交的任务后，将任务按对应的分组维度放入对应的分组中；

S4：资源调度器查询当前空闲资源数量，资源调度器周期性计算主机资源变更数，并依据主机资源变更数部署弹性主机，实时启动关闭弹性主机，形成主机资源列表，实时上报中央调度器；

S5：中央调度器采用 “带权的最大最小公平算法”将主机资源列表中资源分配到各个任务分组上完成对分组进行资源的一次分配，确认各任务分组的主机数量和主机列表并下发主机列表；

S6：若干任务分组的分组调度器查询对应分组的任务列表，计算任务等待时长；

S7：分组调度器根据该任务分组的任务预估运行时长和任务等待时长，采用“高优先权算法”计算“任务优先权系数”，根据“任务优先权系数”对分组中任务将主机列表中的资源进行二次分配，确认任务对应主机，并向对应主机下发任务执行；

S8：对应任务的主机执行接收到的任务，并向中央调度器上报执行结果，中央调度器接收任务执行结果，更改任务状态。

进一步的，S4步骤具体包括：

S41：资源调度器查询当前空闲资源数量；

S42：资源调度器使用时间序列预测算法预测未来一个周期内的未运行任务数量；

S43：资源调度器根据历史任务平均运行时间来估算未来一个周期内可完成的任务量，即释放主机资源数量；

S44：资源调度器计算未来一个周期内的主机资源变更数，即：

主机资源变更数=未运行任务数量-当前空闲资源数量-释放主机资源数量；

S45：如主机资源变更数>0，则调用云平台（腾讯云平台、阿里云平台、华为云平台等）接口开通部署弹性主机；如资源变更数<0，则调用云平台接口关闭释放弹性主机；开通或关闭的弹性主机数量与主机资源变更数相等；

S46：资源调度器根据任务的实际开始和完成，对弹性主机进行启动和关闭；

S47：实时根据S45中云平台的弹性主机部署开通量或释放量，结合S46中弹性主机启动或关闭量，资源调度器获得主机资源列表，实时上报中央调度器。

进一步的，带权的最大最小公平算法具体包括以下步骤：

S51：计算每组可分配的资源数，计算公式为本组可分配资源数=剩余资源总数*本组权重/∑(所有组权重之和)，四舍五入取整数；

剩余资源总数即为当前主机资源列表中主机资源数量；

S52：在本组分配资源数≥本组未运行任务数时，修正本组资源分配数=本组未运行任务数，并且将多余资源释放；

S53：在资源分配在多组之间产生冲突时，在权重不同时，则资源根据权重从大到小依次进行分配，如权重相同则资源根据需求从大到小依次进行分配；

S54：所有组的任务都有资源运行则分配结束，如还有剩余资源未分配则从转S51进行第二轮分配直至剩余资源为0结束。

进一步的，“高优先权算法”计算“任务优先权系数”具体包括以下步骤：

S71：分组调度器根据该任务分组下每个任务的任务预估运行时长和任务等待时长，计算任务优先权系数：

任务优先权系数=(任务等待时长+任务预估运行时长)/任务预估运行时长；

S72：按照任务优先权系数对任务分组下每个任务从高到低排序，

对分组中任务中主机列表中的资源按照排序进行主机资源分配。

一种财税平台系统，其运用一种对海量任务进行高效资源调度的系统。

与现有技术相比，本发明的有益效果为：（1）系统按不同维度对任务进行分组，采用两层任务调度结构对任务-资源进行调度。第一层中央调度器负责对任务分组进行主机资源的管理与分配，第二层分组调度器负责对不同分组中的任务进行主机资源的二次分配，明显提升了任务-资源调度的公平性、合理性。

（2）在调度过程中引入了“带权重的最大最小公平算法”、“高优先权调度算法”算法，可动态调整任务的排队顺序，不会出现“一家独大”的资源倾斜分配现象。

附图说明

图1为本发明实施例1的系统中中央调度器、分组调度器、资源调度器与外部连接示意图。

实施方式

为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。

实施例

一种对海量任务进行高效资源调度的系统，包括中央调度器、分组调度器、资源调度器；

中央调度器：接收到外部客户提交的任务后，先按不同的维度（包括地区维度、客户信息、任务类型等维度）将其分配到不同的任务分组中，每个任务分组进行人工设置权重值；再从资源调度器查询当前空闲的资源数，采用“带权的最大最小公平算法”将空闲资源分配到各个任务分组上；接收弹性主机上报的任务执行结果，维护任务状态。

中央调度器按照不同维度对客户资源进行分组，并设置权重，将客户群里按照属性进行划分，从而在初步分配主机的资源过程中，可以合理的考虑客户的主机资源的优先级，让权重更高的分组获得更多的主机资源，同时对弹性主机执行结果进行维护。

分组调度器：每个任务分组对应一个分组调度器，分组调度器计算组内任务的“优先权系数”，采用“高优先权算法”将本组的空闲资源分配给任务；再将任务下发到对应的弹性主机上运行，在任务运行期间监控任务运行状态，接收到任务运行结果后反馈给客户。

分组调度器对本组内的主机资源负责，负责主机在组内落地，并下发任务到主机执行相关任务，二次分配过程让组内的已分配到的主机资源更合理、公平的被利用。

资源调度器：负责管理云端的弹性主机资源，接收主机上报的忙闲状态，计算空闲主机资源；预测未来周期内的主机需求量，提前向云平台申请开通新主机，关机释放空闲主机。

主机调度器单独负责资源调度模块，他执行主机资源的管理，与客户资源的分配相互独立但是共同完成主机分配的任务，具备独立大脑，更合理的处理主机忙闲动态管理。

中央调度器置于分组调度器上游，分组调度器独立运行。

任务和资源分开调度，在智能财税平台中构建两层结构的“任务-资源”调度系统，即能保证海量任务能有主机资源在最短时间内尽快执行完毕，又能保证主机资源在不同客户之间合理分配，不会出现“一家独大”的资源倾斜分配现象。

实施例

一种对海量任务进行高效资源调度的方法，具体包括以下步骤：

S1：启动中央调度器进程，中央调度器根据不同维度（包括地区维度、客户信息、任务类型等维度）创建若干任务分组，并对每一个任务分组设置分组权重。

在初次客户分配的过程中不仅按照不同维度进行客户分组划分，这是根据客观因素分配；还兼顾权重配比，这是根据主观因素加权，所以，客户能够分配到的资源同时由客户所在客观维度和以及主观情形进行配比，更加科学。

S2:对每一个启动分组调度器进程，分组调度器进程查询该任务分组维度下上一周期（一般为上一日）任务的平均运行时长作为本周期（一般为当日）该分组的任务预估运行时长。

按照周期对组内任务时长进行周期性统计并且作为任务预估运行时长，方便进行下文的二次分配。

S3：中央调度器接收到客户提交的任务后，将任务按对应的分组维度放入对应的分组中。

S4：资源调度器查询当前空闲资源数量，资源调度器周期性计算主机资源变更数，并依据主机资源变更数部署弹性主机，实时启动或关闭弹性主机，形成主机资源列表，实时上报中央调度器。

对主机资源变更数的计算，更加合理的结合了未运行任务数量、当前空闲资源数量、释放主机资源数量三个重要数据，对主机资源和任务量进行合理协调，实现在现有主机的直接管理和云平台主机的预管理。

S5：中央调度器采用 “带权的最大最小公平算法”将主机资源列表中资源分配到各个任务分组上完成对分组进行资源的一次分配，确认各任务分组的主机数量和主机列表并下发主机列表。

带权的最大最小公平算法充分的考虑到主管因素和客观因素，实现了一次的合理公平分配。

S6：若干任务分组的分组调度器查询对应分组的任务列表，计算任务等待时长。

S7：分组调度器根据该任务分组的任务预估运行时长和任务等待时长，采用“高优先权算法”计算“任务优先权系数”，根据“任务优先权系数”对分组中任务将主机列表中的资源进行二次分配，确认任务对应主机，并向对应主机下发任务执行。

任务优先权系数及高优先权算法的计算体系，让本组内弹性主机有机的“滚动”，任务跑得快可以尽快释放主机资源，而预估运行时长大的任务会随着等待时长的不断加大，优先权也不断变大，让分配的过程变得动态，且具备不断学习的属性，上一次任务完成的时间变成了重要的参考数据。

S8：对应任务的主机执行接收到的任务，并向中央调度器上报执行结果，中央调度器接收任务执行结果，更改任务状态。

进一步的，S4步骤具体包括：

S41：资源调度器查询当前空闲资源数量。

S42：资源调度器使用时间序列预测算法预测未来一个周期内（默认为5分钟，可配置）的未运行任务数量。

S43：资源调度器根据历史任务平均运行时间来估算未来一个周期（默认为5分钟，可配置）内可完成的任务量，即释放主机资源数量。

S44：资源调度器计算未来一个周期内（默认为5分钟，可配置）的主机资源变更数，即：

主机资源变更数=未运行任务数量-当前空闲资源数量-释放主机资源数量。

S45：如主机资源变更数>0，则调用云平台接口开通部署弹性主机；如资源变更数<0，则调用云平台接口关闭释放弹性主机；开通或关闭的弹性主机数量与主机资源变更数相等。

S46：资源调度器根据任务的实际开始和完成，对弹性主机进行启动和关闭。

S47：实时根据S45中云平台的弹性主机部署开通量或释放量，结合S46中弹性主机启动或关闭量，资源调度器获得主机资源列表，实时上报中央调度器。

主机资源变更数作为计算出的参考特征，既考虑到现有主机的数量，也预估接下来需要的主机数量，既可以对当前部署的资源合理利用，也可以预估需求的在云平台的弹性主机，做好预备，这可以充分调动弹性主机资源为任务的完成做后勤准备。

进一步的，带权的最大最小公平算法有以下原则：

1) 通过权重的加权平均实现分配的公平标准化；

2) 不存在用户得到的资源超过自己的需求；

3) 未得到满足的用户，按照权重共享资源；

4) 如权重不同，则资源根据权重从大到小分配；

5) 如权重相同，则资源根据需求从大到小分配；

6) 分配结束条件为所有资源分完或所有需求都满足。

具体包括以下步骤：

S51：计算每组可分配的资源数，计算公式为本组可分配资源数=剩余资源总数*本组权重/∑(所有组权重之和)，四舍五入取整数；

剩余资源总数即为当前主机资源列表中主机资源数量；

S52：在本组分配资源数≥本组未运行任务数时，修正本组资源分配数=本组未运行任务数，并且将多余资源释放；

S53：在资源分配在多组之间产生冲突时，在权重不同时，则资源根据权重从大到小依次进行分配，如权重相同则资源根据需求从大到小依次进行分配；

S54：所有组的任务都有资源运行则分配结束，如还有剩余资源未分配则从转S51进行第二轮分配直至剩余资源为0结束。

举一个例子来说明该算法，假设有13个空闲主机资源，要分配给4个任务分组，各分组中的任务数和权重如下：

1) A组有2个任务，权重为3；

2) B组有5个任务，权重为1；

3) C组有3个任务，权重为1；

4) D组有9个任务，权重为2。

资源分配过程如下表1所示：

表1

按照上述分配方案，最终：

1) A组分配到2台主机，运行2个任务，未运行0个任务；

2) B组分配到3台主机，运行3个任务，未运行2个任务；

3) C组分配到2台主机，运行2个任务，未运行1个任务；

4) D组分配到6台主机，运行6个任务，未运行3个任务。

进一步的，“高优先权算法”计算“任务优先权系数”具体包括以下步骤：

S71：分组调度器根据该任务分组下每个任务的任务预估运行时长和任务等待时长，计算任务优先权系数：

任务优先权系数=(任务等待时长+任务预估运行时长)/任务预估运行时长；

S72：按照任务优先权系数对任务分组下每个任务从高到低排序，

对分组中任务中主机列表中的资源按照排序进行主机资源分配。

从上述公式可以看出，预估运行时长小的任务会优先执行，因为任务跑得快可以尽快释放主机资源。而预估运行时长大的任务会随着等待时长的不断加大，优先权也不断变大，也可获得主机资源运行。任务预估时长可取同类型任务的历史运行平均时长进行估算。

实施例

一种财税平台系统，其运用一种对海量任务进行高效资源调度的系统。

其包括中央调度器、分组调度器、资源调度器对财税平台系统中录入的客户资源进行处理。

本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (6)

1.一种对海量任务进行高效资源调度的系统，其特征在于：包括中央调度器、分组调度器、资源调度器；

所述中央调度器：接收到外部客户提交的任务后，先按预设的不同维度将其分配到不同的任务分组中，每个任务分组人工设置权重值；再从资源调度器查询当前空闲的资源数，采用“带权的最大最小公平算法”将空闲资源分配到各个任务分组上；接收弹性主机上报的任务执行结果，维护任务状态；

所述维度包括：地区、客户、任务类型；

所述分组调度器：每个任务分组对应一个分组调度器，分组调度器计算组内任务的“优先权系数”，采用“高优先权算法”将本组的空闲资源分配给任务；再将任务下发到对应的弹性主机上运行，在任务运行期间监控任务运行状态，接收到任务运行结果后反馈给客户；

所述资源调度器：负责管理云端的弹性主机资源，接收主机上报的忙闲状态，计算空闲主机资源；预测未来周期内的主机需求量，提前向云平台申请开通新主机，关机释放空闲主机；

所述中央调度器置于所述分组调度器上游，所述分组调度器独立运行。

2.一种对海量任务进行高效资源调度的方法，其特征在于：具体包括以下步骤：

S1：启动中央调度器进程，中央调度器根据先按预设的不同维度创建若干任务分组，并对每一个任务分组设置分组权重；

S2:对每一个启动分组调度器进程，分组调度器进程查询该任务分组维度下上一周期任务的平均运行时长作为本周期该分组的任务预估运行时长；

S3：中央调度器接收到客户提交的任务后，按任务对应的分组维度将任务放入对应的分组中；

S4：资源调度器查询当前空闲资源数量，资源调度器周期性计算主机资源变更数，并依据主机资源变更数部署弹性主机，实时启动或关闭弹性主机，形成主机资源列表并实时上报中央调度器；

S5：中央调度器采用 “带权的最大最小公平算法”将主机资源列表中资源分配到各个任务分组上完成对分组进行资源的一次分配，确认各任务分组的主机数量和主机列表并下发主机列表；

S6：若干任务分组的分组调度器查询对应分组的任务列表，计算任务等待时长；

S7：分组调度器根据该任务分组的任务预估运行时长和任务等待时长，采用“高优先权算法”计算“任务优先权系数”，根据“任务优先权系数”对分组中任务将主机列表中的资源进行二次分配，确认任务对应主机，并向对应主机下发任务执行；

S8：对应任务的主机执行接收到的任务，并向中央调度器上报执行结果，中央调度器接收任务执行结果，更改任务状态。

3.如权利要求2所述的对海量任务进行高效资源调度的方法，其特征在于：S4步骤具体包括：

S41：资源调度器查询当前空闲资源数量；

S42：资源调度器使用时间序列预测算法预测未来一个周期内的未运行任务数量；

S43：资源调度器根据历史任务平均运行时间来估算未来一个周期内可完成的任务量，即释放主机资源数量；

S44：资源调度器计算未来一个周期内的主机资源变更数，即：

；

S45：如主机资源变更数>0，则调用云平台接口开通部署弹性主机；如资源变更数<0，则调用云平台接口关闭释放弹性主机；开通或关闭的弹性主机数量与主机资源变更数相等；

S46：资源调度器根据任务的实际开始和完成，对弹性主机进行启动和关闭；

S47：实时根据S45中云平台的弹性主机部署开通量或释放量，结合S46中弹性主机启动或关闭量，资源调度器获得主机资源列表，实时上报中央调度器。

4.如权利要求2所述的对海量任务进行高效资源调度的方法，其特征在于：带权的最大最小公平算法具体包括以下步骤：

S51：计算每组可分配的资源数，计算公式为本组可分配资源数=剩余资源总数*本组权重/∑(所有组权重之和)，四舍五入取整数；

剩余资源总数即为当前主机资源列表中主机资源数量；

S52：在本组分配资源数≥本组未运行任务数时，修正本组资源分配数=本组未运行任务数，并且将多余资源释放；

S53：在资源分配在多组之间产生冲突时，在权重不同时，则资源根据权重从大到小依次进行分配，如权重相同则资源根据需求从大到小依次进行分配；

S54：所有组的任务都有资源运行则分配结束，如还有剩余资源未分配则从转S51进行第二轮分配直至剩余资源为0结束。

5.如权利要求2所述的对海量任务进行高效资源调度的方法，其特征在于：“高优先权算法”计算“任务优先权系数”具体包括以下步骤：

S71：分组调度器根据该任务分组下每个任务的任务预估运行时长和任务等待时长，计算任务优先权系数：

；

S72：按照任务优先权系数对任务分组下每个任务从高到低排序，

对分组中任务中主机列表中的资源按照排序进行主机资源分配。

6.一种财税平台系统，其运用权利要求1所述的一种对海量任务进行高效资源调度的系统。