CN106940656A - 一种任务调度方法及装置 - Google Patents

Abstract

本申请公开了一种任务调度方法及装置。在所述调度节点侧配置用于记录响应缓慢处理节点的列表，所述任务调度方法包括：针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；判断所述期望处理节点是否属于所述列表；如果不属于，则将所述任务分配给所述期望处理节点；如果属于，则进一步判断所述期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；如果小于，则将所述任务分配给所述期望处理节点；如果不小于，则调用所述选择算法，重新确定用于处理所述任务的期望处理节点。应用上述方案，可以有效减少处理节点处理响应超时情况的发生。

Description

一种任务调度方法及装置

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种任务调度方法及装置。

背景技术

任务调度是计算机应用技术领域的一种常见概念，其既可以指一台设备内部的任务调度(例如将不同的计算任务分配给不同的CPU内核)，也可以指多台设备之间的任务调度(例如将不同的业务请求转发给不同的业务服务器)。对于后一种应用场景，其通用的系统基本架构如图1所示，包括一个调度节点加若干个处理节点，其基本工作模式是：调度节点负责接收系统外部发来的待处理任务，然后根据一定的选择算法将任务分配到各个处理节点上去，常见的选择算法包括随机选择算法、轮询选择算法等等。

理论上讲，各个处理节点任务处理能力至少都应该能够满足基本的应用需求，即在规定的时间内将任务处理完毕并返回处理结果。但是在实际应用中，各个处理节点的软硬件配置可能存在差异，加上网络抖动、节点故障等不可控因素，使得处理任务响应超时的情况在所难免，进而导致后续处理受到影响，或者用户体验降低等不良后果。

发明内容

针对上述技术问题，本申请提供一种任务调度方法及装置，技术方案如下：

一种任务调度方法，应用于调度节点，在所述调度节点侧配置用于记录响应缓慢处理节点的列表，所述任务调度方法包括：

针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

判断所述期望处理节点是否属于所述列表；

如果不属于，则将所述任务分配给所述期望处理节点；

如果属于，则进一步判断所述期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；

如果小于，则将所述任务分配给所述期望处理节点；

如果不小于，则调用所述选择算法，重新确定用于处理所述任务的期望处理节点。

一种任务调度装置，应用于调度节点，在所述调度节点侧配置用于记录响应缓慢处理节点的列表，所述任务调度装置包括：

选择模块，用于针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

分配模块，用于判断所述期望处理节点是否属于所述列表；

如果不属于，则将所述任务分配给所述期望处理节点；

如果属于，则进一步判断所述期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；

如果小于，则将所述任务分配给所述期望处理节点；

如果不小于，则触发所述选择模块调用所述选择算法，重新确定用于处理所述任务的期望处理节点。

本申请所提供的技术方案，在调度节点侧配置响应缓慢节点的列表，调度节点在根据选择算法计算出分配目标处理节点后，还需要进一步根据该列表判断是否将任务实际分配给该节点，从而有效减少处理节点处理响应超时情况的发生。进一步地，通过特定策略对上述列表进行更新，可以有效保证列表中所记录信息的时效性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。另外，实施申请方案的任一产品或方法并不一定需要同时具备以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请的任务调度系统的结构示意图；

图2是本申请的任务调度方法的流程示意图；

图3是本申请的一种具体应用场景示意图；

图4是本申请的任务调度装置的第一种结构示意图；

图5是本申请的任务调度装置的第二种结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请保护的范围。

首先对本申请方案的运行系统架构进行说明。参见图1所示，本申请方案涉及的交互主体包括：一个调度节点以及多个处理节点，调度节点与各处理节点之间分别存在通信连接。各个节点的实际形式可以是物理设备，也可以是虚拟机，本申请对此并不需要进行限定。

调度节点是任务的分配方，处理节点是任务的执行方，调度节点接收到系统外部发来的待处理任务后，根据一定的调度策略将任务分配到各个处理节点上去。处理节点处理任务完毕后，向调度节点返回处理完成响应。

根据现有的调度策略，针对某个当前待分配的任务，处理节点利用特定选择算法确定处理节点后，直接将任务分配到该处理节点中，此时如果该节点侧出现问题(包括节点自身问题和网络问题等)，则可能导致调度节点无法在规定时间内收到处理完成响应，也即处理响应超时。

针对上述问题，本申请所提供的方案是，预先将处理响应缓慢的处理节点信息写入列表，并将该列表配置在调度节点侧。基于该列表，相应对调度策略也做出进一步调整，从而降低处理节点处理响应超时情况的发生。

图1所示，为本申请提供的任务调度方法的流程图，该方法由调度节点执行，可以包括以下步骤：

S101，针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

S102，判断所述期望处理节点是否属于缓慢节点列表：如果不属于，则执行S103；如果属于，则执行S104；

S103，将任务分配给该期望处理节点；

S104，判断该期望处理节点当前正在处理的任务数量是否小于预设的数量阈值C：如果小于，则执行S103；如果不小于，则返回S101；

可见，本申请方案与现有技术方案的显著区别在于：使用选择算法计算出处理节点后，并不一定将任务实际分配给该处理节点，因此本申请中将选择算法的计算结果称为“期望处理节点”，以区别于现有技术。根据S102～S104的处理，“期望处理节点”最终可能成为当前任务的实际处理节点，也可能被放弃、并且重新调用选择算法选择新的期望处理节点。

设置C值的意义在于，对于列表中的处理节点，也并不会完全停用，而是仍然允许其处理少量的任务。对于网络抖动问题而导致的超时，这种方式可以令调度节点侧及时了解处理节点侧的情况。如果是处理节点自身的性能问题导致超时，则通过减少任务的方式也可以适当缓解，某种意义上相当于做了负载均衡。C值应小于处理节点在正常情况下任务处理能力，为了尽量降低处理响应超时对整体业务的影响，可以按照理节点正常处理能力的某个百分比设置C值，例如设置为节点正常处理能力10％、20％等等，也可以直接将C设置为固定数值，例如直接设置为1、2等等，相当于列表中节点只允许积压不超过1或2个任务。如果各个处理节点的处理能力差别较大，也可以针对不同的处理节点分别设置不同的C值。另外可以理解的是，作为一种特例，如果某个处理节点的C值设置为0，则相当于对该处理节点停用，如果将C值统一设置为0，则相当于对于列表中的处理节点完全停用。

在一种具体的实施方式中，控制分配给处理节点任务数量的方式，可以通过信号量Semaphore机制来实现，Semaphore是一种可以用来保证关键代码段不被并发调用的机制。在进入一个关键代码段之前，线程必须获取一个信号量；一旦该关键代码段完成了，那么该线程必须释放信号量。由于每个任务都需要占用一个线程，因此通过设置信号量初始阈值C的方式，就可以实现对处理节点任务数量的方式的限制，表示最多允许C个线程进入关键代码。当然，这种方式并不应理解为对本申请方案的限定。

原则上，本申请方案并不需要对S101中所使用的选择算法进行限定，现有的任意选择算法都可以适用于本申请方案。但是通过上述流程可以看出，如果该算法针对任意两次相邻的调度i和i+i，其计算出来的结果相同，那么除非“期望处理节点当前正在处理的任务数量”变小、或者列表内容发生更新，否则上述流程会陷入死循环。因此在选择算法时建议使用不会导致第i次和第i+1次选择结果相同的算法。一般来讲，轮询算法都是以当前调度次数i作为函数变量计算选择结果，因此不会产生上述问题，例如常见的RoundRobin算法等等。而随机算法则情况各异，实际应用时注意选择即可。

本申请方案中的“列表”，其作用是记录处理响应缓慢的处理节点信息。在该列表中至少应包含各响应缓慢处理节点的标识，例如节点编号、节点地址等等。当然根据实际需求，还可以记录响应时长、加入列表时间等其他信息。

为了保证列表中信息的时效性，需要对列表进行及时更新。更新的方式包括自动、手动、手动自动结合等。例如，正常情况下，调度节点可以根据处理节点发来的通知消息，以被动触发的方式对列表进行更新；当出现较严重故障时，可能需要调度节点侧的管理员手动更新该列表。在本申请所提供的一种具体实施方式中，调度节点可以根据各个处理节点的任务执行情况，主动对列表进行更新。

本申请中的“响应缓慢”包括两种基本含义，相应也提出两种不同的列表信息管理方案，下面分别进行说明：

一种基本含义是绝对意义上的响应缓慢，也即通常所说的响应超时。这种情况下，列表中允许记录的节点数量不限，只要节点的处理响应时长大于某个阈值T1，就将该节点添加至列表中。反之，如果列表中节点的处理响应时长小于某个阈值T2，则可以将该节点从列表中删除。可以理解的是，T2与T1的取值可以统一，如果为了避免处理响应时长处于临界状态的节点反复加入/移出列表，也可令T2的取值适当小于T1。

另一种基本含义是相对意义上的响应缓慢，这种情况下，列表中记录的是所有处理节点之中响应时间最久的前N个节点。

实际应用中，上述两种列表管理方案均存在一些问题：

第一种列表信息管理方案存在的问题是：在某些极端情况下(例如大面积网络故障)，可能存在大量节点处理响应超时，如果将这些节点均添加至列表，将会导致无处理节点可用。那么原本用于减少响应超时现象的方案反而可能导致任务积压无法分配。

第二种列表信息管理方案存在的问题是：在处理节点情况普遍较好的情况下，处理响应最慢的节点也能够满足基本的需求，此时列表中记录会导致可用处理节点的资源浪费。

针对以上问题，本申请进一步提出一种折中的列表信息管理方案：将列表中允许记录的处理节点的最大数量限定为N，并且列表中所记录节点的处理响应时长均大于阈值T。如果在所有处理节点之中，处理响应时长大于T的节点数量超过N，则对这些节点的处理响应时长进行排序，选取处理响应时长最高的前N个节点添加至列表中。其中N的数值可以根据实际需求进行设置，例如设置为处理节点总数的10％、20％等等，通过这种方式，可以令列表中的节点数量在[0,N]的区间变动，从而既能避免响应速度特别慢的节点处理任务，又不会导致无处理节点可用的现象发生。

在上述三种列表信息管理方案的基础上，本申请进一步提供相应的调度节点自动更新列表的方法：

1)针对“绝对缓慢”情形：

一方面，调度节点针对已分配给非列表内节点的任务进行计时，如果该任务的处理响应时长超过了阈值T1，则将该任务对应的处理节点添加至列表。

另一方面，调度节点针对已分配给列表内节点的任务进行计时，如果该任务的处理响应时长未超过阈值T2，则将该任务对应的处理节点从所述列表中删除。

可以理解的是，上述两种更新策略可以同时使用，也可以分别单独使用。同时使用时，T2与T1的取值可以相同，如果为了避免处理响应时长处于临界状态的节点反复加入/移出列表，也可令T2的取值适当小于T1。

2)针对“相对缓慢”情形：

列表中允许记录的处理节点数量维持在固定数值N。调度节点对每个已分配的任务进行计时，按照各处理节点的处理响应时长从高到低进行排序，然后根据排序结果更新列表，每次更新后，列表中记录的节点都应该是当前处理响应时长最高的前N个节点。

3)针对“折中”情形：

列表中允许记录的处理节点数量为[0,N]，调度节点针对已分配的任务进行计时，对于当前处理响应时长大于阈值T的处理节点，如果总数不大于N，则全部添加至列表；如果总数大于N，则按照处理响应时长从高到低进行排序，将处理响应时长最高的前N个节点添加至列表。也就是说，每次更新后，列表中记录的节点的处理响应时长都大于T，且列表中的节点总数不大于N。

本申请方案可以应用于各种有任务调度需求的应用场景中，例如图3所示，前端应用服务器通过内网与后端处理服务器集群进行通信，集群中共有3台后端处理服务器。基本实现方案如下：

当后端服务器的响应时间超过一定的阈值时，前端服务器记录下这个超时的服务器地址，反之，如果响应时间小于该阈值，则把此地址从超时地址列表中删除；

前端服务器选择后端服务器地址时，使用RoundRobin算法；

如果前端服务器选择出来的后端服务器地址不在前端记录的超时地址列表里，则使用此次选择出来的地址；

如果前端应用选择出来的后端服务器地址已在前端记录的超时地址列表里，则进一步检查此地址的信号量：如果此地址的信号量已经大于或等于阈值(例如2)，则再次运行RoundRobin算法，重新选择后端服务器地址；如果此地址的信号量小于阈值，则使用此次选择出来的地址，同时信号量递增，以防止有后面有请求还会选择此超时的后端服务器地址。

通过上述方式，如果后端服务器超时，最多只会有2个请求选择已超时的后端服务器，其它请求选择正常的后端服务器，当之前超时的服务器响应时间正常时，则从超时记录里删除，通过这种方式，使得系统整体的上的超时情况得到明显控制。

相应于上述方法实施例，本申请还提供一种任务调度装置，该装置应用于调度节点，在调度节点侧配置用于记录响应缓慢处理节点的列表，参见图4所示，该装置可以包括：

选择模块110，用于针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

分配模块120，用于判断期望处理节点是否属于列表；

如果不属于，则将任务分配给期望处理节点；

如果属于，则进一步判断期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；

如果小于，则将任务分配给期望处理节点；

如果不小于，则触发选择模块调用选择算法，重新确定用于处理任务的期望处理节点。

参见图5所示，在本申请的一种具体实施方式中，上述装置还可以包括：

列表管理模块130，用于针对已分配给非列表内节点的任务进行计时，如果该任务的处理响应时长超过了预设的第一时长阈值，则将该任务对应的处理节点添加至列表。

在本申请的一种具体实施方式中，列表管理模块130还可以用于针对已分配给列表内节点的任务进行计时，如果该任务的处理响应时长未超过预设的第二时长阈值，则将该任务对应的处理节点从列表中删除。

在本申请的一种具体实施方式中，列表管理模块130还可以用于对已分配的任务进行计时，按照各处理节点的处理响应时长对各处理节点进行排序，根据排序结果更新列表。其中更新方式可以包括：

令列表中的节点维持在预设数量、且处理响应时长排序最高；

或者

令列表中的节点不大于预设数量、且处理响应时长超过预设的第三时长阈值。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本申请方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种任务调度方法，应用于调度节点，其特征在于，在所述调度节点侧配置用于记录响应缓慢处理节点的列表，所述任务调度方法包括：

针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

判断所述期望处理节点是否属于所述列表；

如果不属于，则将所述任务分配给所述期望处理节点；

如果属于，则进一步判断所述期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；

如果小于，则将所述任务分配给所述期望处理节点；

如果不小于，则调用所述选择算法，重新确定用于处理所述任务的期望处理节点。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对已分配给非列表内节点的任务进行计时，如果该任务的处理响应时长超过了预设的第一时长阈值，则将该任务对应的处理节点添加至所述列表。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对已分配给列表内节点的任务进行计时，如果该任务的处理响应时长未超过预设的第二时长阈值，则将该任务对应的处理节点从所述列表中删除。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对已分配的任务进行计时，按照各处理节点的处理响应时长对各处理节点进行排序，根据排序结果更新所述列表。

5.根据权利要求4所述的方法，其特征在于，所述根据排序结果更新所述列表，包括：

令所述列表中的节点维持在预设数量、且处理响应时长排序最高；

或者

令所述列表中的节点不大于预设数量、且处理响应时长超过预设的第三时长阈值。

6.根据权利要求1所述的方法，其特征在于，所述预设的选择算法为轮询选择算法。

7.一种任务调度装置，应用于调度节点，其特征在于，在所述调度节点侧配置用于记录响应缓慢处理节点的列表，所述任务调度装置包括：

选择模块，用于针对当前待分配的任务，调用预设的选择算法，确定用于处理该任务的期望处理节点；

分配模块，用于判断所述期望处理节点是否属于所述列表；

如果不属于，则将所述任务分配给所述期望处理节点；

如果属于，则进一步判断所述期望处理节点当前正在处理的任务数量是否小于预设的数量阈值；

如果小于，则将所述任务分配给所述期望处理节点；

如果不小于，则触发所述选择模块调用所述选择算法，重新确定用于处理所述任务的期望处理节点。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

列表管理模块，用于针对已分配给非列表内节点的任务进行计时，如果该任务的处理响应时长超过了预设的第一时长阈值，则将该任务对应的处理节点添加至所述列表。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

列表管理模块，用于针对已分配给列表内节点的任务进行计时，如果该任务的处理响应时长未超过预设的第二时长阈值，则将该任务对应的处理节点从所述列表中删除。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

列表管理模块，用于对已分配的任务进行计时，按照各处理节点的处理响应时长对各处理节点进行排序，根据排序结果更新所述列表。

11.根据权利要求10所述的装置，其特征在于，所述列表管理模块，具体用于：

令所述列表中的节点维持在预设数量、且处理响应时长排序最高；

或者

令所述列表中的节点不大于预设数量、且处理响应时长超过预设的第三时长阈值。

12.根据权利要求7所述的装置，其特征在于，所述选择模块调用的选择算法为轮询选择算法。