CN112732437B - 一种高效的动态均衡分布式任务调度方法及系统 - Google Patents

Abstract

本发明公开了一种高效的动态均衡分布式任务调度方法，属于大数据处理的技术领域，该调度方法包括：通过主节点master获取当前空闲的处理节点slave；主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务；主节点master将切分后的多个子任务分发给各个处理节点slave；将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息，以达到改善分布式调度流程、提高任务调度效率以及提高资源利用率的目的。

Description

一种高效的动态均衡分布式任务调度方法及系统

技术领域

本发明属于大数据处理的技术领域，更涉及分布处理的技术领域，具体而言，涉及一种高效的动态均衡分布式任务调度方法及系统。

背景技术

在分布处理领域，大部分业务处理任务需要分发到多个节点进行处理，最后再回收处理结果。在一个分布式集群类，往往每个节点的资源情况、业务情况各不相同，直接影响的是对于相同的任务其处理能力各不相同，那怎样来切分以及分发任务到这些节点显的尤为重要，因为这不仅关系到资源是否充分利用，还关系到任务是否能及时的被完成。

目前分布调度方案，在任务层面主要有均衡法、加权均衡法等调度方案，具体如下：

(1)均衡法是将任务平均分配给每个处理节点。该方案没有管理处理节点本身的处理能力，当每个节点资源情况不同时，任务看似均分，实则会导致部分节点繁忙，部分节点空闲，调度效率低下，且造成资源浪费；

(2)加权均衡法是将各个节点的资源情况换算成一个权重，在分发任务时，加上权重进行均分。

该方案，根据各个节点的资源情况，差异性分发任务，能较好的将任务量和资源情况关联起来，较好的充分利用资源，但该方案无法适应动态的资源变化，因为一个处理节点的处理能力，可能在实时变化，如果只按一套固定的权重，同样会导致上述问题。

基于上述，需要对分布式调度方案进行优化处理，使其能充分利用资源。

发明内容

鉴于此，为了解决现有技术存在的上述问题，本发明的目的在于提供一种高效的动态均衡分布式任务调度方法及系统以达到改善分布式调度流程、提高任务调度效率以及提高资源利用率的目的。

本发明所采用的技术方案为：一种高效的动态均衡分布式任务调度方法，该调度方法包括：

通过主节点master获取当前空闲的处理节点slave；

主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务；

主节点master将切分后的多个子任务分发给各个处理节点slave；

将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息。

进一步地，所述资源信息包括处理节点slave的CPU个数、内存大小以及处理效率因子。

进一步地，所述主节点master接收到处理节点slave对任务的处理结果后，根据其处理时长动态调整处理效率因子。

进一步地，所述动态调整处理效率因子的方法为：

记所有处理节点slave处理的平均耗时为a；

令处理节点slave的处理效率因子为1～b，且处理时长等于a的slave的效率因子为b/2；处理时长为t的处理效率因子＝t/a*(b/2)，且处理效率因子大于b的记为b，处理效率因子小于1的记为1。

进一步地，通过加权均衡算法将任务加权均衡成多个子任务，该加权均衡算法为：

设每单位CPU个数的权重为i，设每单位内存大小的权重为j，单个处理节点slave的权重为f，f＝i+j+处理效率因子；

设总任务量为T且总共有n个处理节点slave，累加的总权重为fn，则计算均值为：(T/fn)，且单个处理节点slave的时段为：(T/fn)*f；

根据各个处理节点slave所计算的时段将任务切分成多个子任务。

进一步地，对各个处理节点slave的资源信息动态刷新，将各个处理节点slave资源信息通过心跳接口及时返回至主节点master，并通过主节点master刷新对应处理节点slave的资源信息。

进一步地，该调度方法还包括：

在各所述处理节点slave处理任务过程中，通过主节点master实时查询各所述处理节点slave工作状态，工作状态的判断方法如下：

S1：判断处理节点slave与主节点master是否保持心跳连接，若是，则进入S2；若不是，则进入S3；

S2：判断处理节点slave当前是否空闲，若是，则下发任务；若不是，则不再下发任务；

S3：连续m次查询处理节点slave未与主节点master连接，则判断为该处理节点slave掉线并将其状态设为挂起，从处理列队中弹出，不再下发任务，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave。

进一步地，记处理节点slave挂起的缓存时间为t1，若在时间t1内该处理节点slave未能重连，则将该处理节点slave从处理列队中删除，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave。

在本发明中还提供了一种高效的动态均衡分布式任务调度系统，该调度系统包括：主节点master和多个处理节点slave，主节点master与各所述处理节点slave之间保持心跳连接；

所述主节点master接收各所述处理节点slave的资源信息并管理资源信息，根据资源信息计算各所述处理节点slave的权重以对任务切分，将切分后的子任务分批次打包至对应的处理节点slave；

各所述处理节点slave主动连接主节点master并上报资源信息，接收主节点master下发的任务并上报处理结果。

进一步地，所述主节点master和各个所述处理节点slave之间为分开部署或集成部署。

本发明的有益效果为：

1.采用本发明所提供的高效的动态均衡分布式任务调度方法及系统，其根据实时权重切分任务，能够充分合理的利用资源且保证各个节点资源不紧张、不空闲；根据对任务的响应效率对权重动态调整，根据实际处理能力自动获取，能够自适应环境且无需人为干预。

2.采用本发明所提供的高效的动态均衡分布式任务调度方法及系统，其适用场景广，既适用于传统的处理节点固定资源的分布式系统，也适用于处理节点资源动态变化的分布式系统，甚至可以用于普通的非分布式任务调度。

附图说明

图1是本发明所提供的高效的动态均衡分布式任务调度方法的工作流程示意图；

图2是本发明所提供的高效的动态均衡分布式任务调度系统的系统框架图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

实施例1

在本实施例中具体提供了一种高效的动态均衡分布式任务调度方法，旨在改善分布式调度流程，提高任务调度效率，提高资源利用率，该调度方法的主体思想为：由主节点master来管理各个处理节点slave的资源信息、处理能力信息等，当接收到一个任务后，由主节点master根据资源信息将任务进行切分，并发送到对应的处理节点slave，最后，再根据处理节点slave的处理效率，进行动态调整处理效率因子，以保证最优调度策略、提高调度效率且充分利用资源。

如图1所示，本实施例的调度方法包括：

S1：通过主节点master获取当前空闲的处理节点slave，各个所述处理节点slave主动连接主节点master注册，上报自己的资源信息和监听地址，并应当与主节点master保持心跳。其中，资源信息包括处理节点slave的CPU个数、内存大小以及处理效率因子，在本实施例中，处理效率因子为1～10，默认为10。

S2：各个处理节点slave的资源信息上报至主节点master，主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务。在实际应用中，通过加权均衡算法将任务加权均衡成多个子任务，该加权均衡算法为：

S201：设每单位CPU个数的权重为i，设每单位内存大小的权重为j，且按比例增减，例如：1个CPU的权重为1，1GB内存的权重为1，按比例增减，2个CPU的权重为2，4GB内存的权重为4；计算单个处理节点slave的权重为f，f＝i+j+处理效率因子，基于上述，则权重f为2+4+效率因子10＝16。

S202：设总任务量为T且总共有n个处理节点slave，累加的总权重为fn，则计算均值为：(T/fn)，且单个处理节点slave的时段为：(T/fn)*f，此处，单个处理节点slave的时段则匹配该处理节点slave所对应的子任务工作量，举例说明：

共有4个处理节点slave，各所述处理节点slave的权重分别是1、2、3和4，总任务量为100，则代入上面均值公式：(T/fn)，计算均值为：A＝(100/(1+2+3+4))＝10；再分别计算单个处理节点slave的时段为：

处理节点slave1的时段为：A*1＝10，即处理[0,10)的任务量；

处理节点slave2的时段为：A*2＝20，即处理[10,30)的任务量；

处理节点slave3的时段为：A*3＝30，即处理[30,60)的任务量；

处理节点slave4的时段为：A*4＝40，即处理[60,100]的任务量；

如果A出现小数结果，按四舍五入取值。

S203：根据各个处理节点slave所计算的时段对任务进行切分，以切分成多个子任务，如上述举例，将总任务量为100切分为[0,10)、[10,30)、[30,60)以及[60,100]几个子任务部分。

S3：主节点master将切分后的多个子任务分发给各个处理节点slave，以保证分发给每个处理节点slave的任务量是合适的，且其处理时长基本一致，以此来提高整体的调度效率以及资源利用效率。

S4：将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息。当主节点master接收到处理节点slave对任务的处理结果后，根据其处理时长动态调整处理效率因子，以动态调整各个处理节点slave的资源信息，进而可动态计算各所述处理节点slave的权重，再根据权重加权均衡分发任务。该动态调整处理效率因子的方法为：

S401：记所有处理节点slave处理的平均耗时为a；

S402：令处理节点slave的处理效率因子为1～10，且处理时长等于a的slave的效率因子为5；处理时长为t的处理效率因子＝t/a*5，且处理效率因子大于10的记为10，处理效率因子小于1的记为1。

在上述中，各个处理节点slave与主节点master保持心跳连接，对各个处理节点slave的资源信息动态刷新，将各个处理节点slave资源信息通过心跳接口及时返回至主节点master，并通过主节点master刷新对应处理节点slave的资源信息。在下次分发任务时，即可使用该处理节点slave最新的资源信息。

为进一步确保任务调度的有效性，该调度方法还包括：

在各所述处理节点slave处理任务过程中，通过主节点master实时查询各所述处理节点slave工作状态，工作状态判断方法如下：

M1：判断处理节点slave与主节点master是否保持心跳连接，若是，则进入M2；若不是，则进入M3；

M2：判断处理节点slave当前是否空闲，若是，则下发任务；若不是，则不再下发任务；

M3：连续3次查询处理节点slave未与主节点master连接，则判断为该处理节点slave掉线并将其状态设为挂起，从处理列队中弹出，不再下发任务，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave，此处的均衡还是采用加权均衡的方式进行分配，具体参见步骤S2中的加权均衡算法，此处不再赘述。

在实际应用时，记处理节点slave的挂起缓存时间为t1＝10分钟，若在10分钟内该处理节点slave未能重连，则将该处理节点slave从处理列队中删除，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave。

通过上述所设计的方案，该分布式任务调度方案能动态的根据处理节点的处理能力，实时调整任务分发策略，保证最优调度策略，提高调度效率，充分利用资源，既适用于传统的处理节点固定资源的分布式系统，也适用于处理节点资源动态变化的分布式系统，甚至可以用于普通的非分布式任务调度。

实施例2

在本发明中还提供了一种高效的动态均衡分布式任务调度系统，该系统基于实施例1中所提供的高效的动态均衡分布式任务调度方法，如图2所示，该调度系统的服务器包括：主节点master和多个处理节点slave，主节点master与各所述处理节点slave之间保持心跳连接；其中，主节点master负责处理任务的产生、分发和处理结果的检查回收；各所述处理节点slave主要是做实际的任务处理。

主节点master用于下发任务至各个所述处理节点slave，且对各个所述处理节点slave进行状态查询；通过接收各所述处理节点slave的资源信息并管理资源信息，根据资源信息计算权重以对任务切分，将切分后的子任务分批次打包至对应的处理节点slave，以确保每个slave的任务量是合适的，且其处理时长基本一致，以此来提高整体的调度效率以及资源利用效率；

各所述处理节点slave主动连接主节点master并上报资源信息，接收主节点master下发的任务并上报处理结果，主节点master根据当前处理节点slave的资源情况和处理效率，动态计算各所述处理节点slave的权重，以此来动态均衡的分发任务。

主节点mastermaster需要实现主备高可用性，且所述主节点master和各个所述处理节点slave之间为分开部署或集成部署，根据实际情况选择。

通过动态均衡分布式任务调度系统动态计算权重，再根据权重加权均衡分发任务，能动态的根据处理节点处理能力，实时调整任务分发策略，保证最优调度策略，提高调度效率，充分利用资源。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种高效的动态均衡分布式任务调度方法，其特征在于，该调度方法包括：

通过主节点master获取当前空闲的处理节点slave；

主节点master根据各个处理节点slave的资源信息，动态计算各所述处理节点slave的权重并根据权重将任务加权均衡成多个子任务；

主节点master将切分后的多个子任务分发给各个处理节点slave；

将处理结果上报至主节点master并动态调整各个处理节点slave的资源信息；

所述资源信息包括处理节点slave的CPU个数、内存大小以及处理效率因子；

所述主节点master接收到处理节点slave对任务的处理结果后，根据其处理时长动态调整处理效率因子；

所述动态调整处理效率因子的方法为：

记所有处理节点slave处理的平均耗时为a；

令处理节点slave的处理效率因子为1～b，且处理时长等于a的slave的效率因子为b/2；处理时长为t的处理效率因子＝t/a*(b/2)，且处理效率因子大于b的记为b，处理效率因子小于1的记为1；

通过加权均衡算法将任务加权均衡成多个子任务，该加权均衡算法为：

设每单位CPU个数的权重为i，设每单位内存大小的权重为j，单个处理节点slave的权重为f，f＝i+j+处理效率因子；

设总任务量为T且总共有n个处理节点slave，累加的总权重为fn，则计算均值为：(T/fn)，且单个处理节点slave的时段为：(T/fn)*f；

根据各个处理节点slave所计算的时段将任务切分成多个子任务。

2.根据权利要求1所述的高效的动态均衡分布式任务调度方法，其特征在于，对各个处理节点slave的资源信息动态刷新，将各个处理节点slave资源信息通过心跳接口及时返回至主节点master，并通过主节点master刷新对应处理节点slave的资源信息。

3.根据权利要求1所述的高效的动态均衡分布式任务调度方法，其特征在于，该调度方法还包括：

在各所述处理节点slave处理任务过程中，通过主节点master实时查询各所述处理节点slave工作状态，工作状态的判断方法如下：

S1：判断处理节点slave与主节点master是否保持心跳连接，若是，则进入S2；若不是，则进入S3；

S2：判断处理节点slave当前是否空闲，若是，则下发任务；若不是，则不再下发任务；

S3：连续m次查询处理节点slave未与主节点master连接，则判断为该处理节点slave掉线并将其状态设为挂起，从处理列队中弹出，不再下发任务，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave。

4.根据权利要求3所述的高效的动态均衡分布式任务调度方法，其特征在于，记处理节点slave挂起的缓存时间为t1，若在时间t1内该处理节点slave未能重连，则将该处理节点slave从处理列队中删除，并将该处理节点slave的剩余处理时段均衡到其他的处理节点slave。

5.一种高效的动态均衡分布式任务调度系统，其特征在于，该调度系统包括：主节点master和多个处理节点slave，主节点master与各所述处理节点slave之间保持心跳连接；

所述主节点master接收各所述处理节点slave的资源信息并管理资源信息，根据资源信息计算各所述处理节点slave的权重以对任务切分，将切分后的子任务分批次打包至对应的处理节点slave；

各所述处理节点slave主动连接主节点master并上报资源信息，接收主节点master下发的任务并上报处理结果；

所述资源信息包括处理节点slave的CPU个数、内存大小以及处理效率因子；

所述主节点master接收到处理节点slave对任务的处理结果后，根据其处理时长动态调整处理效率因子；

所述动态调整处理效率因子的方法为：

记所有处理节点slave处理的平均耗时为a；

令处理节点slave的处理效率因子为1～b，且处理时长等于a的slave的效率因子为b/2；处理时长为t的处理效率因子＝t/a*(b/2)，且处理效率因子大于b的记为b，处理效率因子小于1的记为1；

通过加权均衡算法将任务加权均衡成多个子任务，该加权均衡算法为：

设每单位CPU个数的权重为i，设每单位内存大小的权重为j，单个处理节点slave的权重为f，f＝i+j+处理效率因子；

设总任务量为T且总共有n个处理节点slave，累加的总权重为fn，则计算均值为：(T/fn)，且单个处理节点slave的时段为：(T/fn)*f；

根据各个处理节点slave所计算的时段将任务切分成多个子任务。

6.根据权利要求5所述的高效的动态均衡分布式任务调度系统，其特征在于，所述主节点master和各个所述处理节点slave之间为分开部署或集成部署。