CN106325981A - 一种任务调度方法及装置 - Google Patents

Abstract

本申请涉及通信技术领域，尤其涉及一种任务调度方法及装置，用以解决在现有的任务轮询调度机制下，持续集成系统的任务调度效率较低的问题。本申请实施例提供的一种任务调度方法包括：当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务占用的时长总和；将所述待调度任务分配给所述负载值最低的任务执行装置。本申请实施例中，每次都将待调度任务分配给当前负载值最低的任务执行装置，并且以任务执行装置需要执行的各个任务所占用的时长总和来衡量各任务执行装置的负载值，从而可以保证各个任务执行装置之间的负载均衡，提高了任务调度效率。

Description

一种任务调度方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种任务调度方法及装置。

背景技术

随着互联网的高速发展，互联网公司往往需要大规模的持续集成调度来支持任务构建，目前持续集成系统平均每天调度任务接近7万次，而单台4核8G内存配置的任务执行装置(如持续集成工具Hudson)仅仅能支持1000次调度，因此需要大量任务执行装置组成的集群来支持任务调度。

持续集成系统在进行任务调度时，一般采用粗放型的轮询机制，即通过轮询集群中每一个任务执行装置，将各任务逐个分配到每个任务执行装置上。这种轮询调度虽然可以使集群中每个任务执行装置执行的任务平均化，但由于不同任务所需要的执行时长不一致，有些任务需要的执行时长很短，而有些任务需要的执行时长很长，从而有可能导致部分任务执行装置中等待执行的任务处于排队等待状态，而部分任务执行装置执行完了所有任务处于空闲状态。

可见，在现有的任务轮询调度机制下，持续集成系统的任务执行效率较低。

发明内容

本申请实施例提供一种任务调度方法及装置，用以解决在现有的任务轮询调度机制下，持续集成系统的任务执行效率较低的问题。

本申请实施例提供一种任务调度方法，包括：

当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和；

将所述待调度任务分配给所述负载值最低的任务执行装置。

可选地，根据以下步骤确定执行任一任务所占用的时长：

根据在一个开发周期内针对该任务的构建次数和构建时长，确定在一个开发周期内执行该任务所占用的时长；其中，所述构建时长为执行一次代码构建的时长，所述构建次数针对该任务所提交代码的次数。

可选地，任一任务执行装置的负载值T符合以下公式：

$T={\mathrm{\Σ}}_{i=1}^n{m}_i*f_i;$

其中，n为该任一任务执行装置需要执行的任务个数；f_i为在一个开发周期内针对第i个任务的构建次数；m_i为针对该第i个任务的构建时长。

可选地，根据以下步骤确定任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；

根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，或者记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

可选地，所述方法还包括：当任一任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值；

当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置，包括：当接收到待调度任务时，根据存储的各个任务执行装置的负载值，确定各个任务执行装置中负载值最低的任务执行装置。

可选地，当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置，包括：

当接收到待调度任务时，确定当前各个任务执行装置的负载值；

根据确定的各个任务执行装置的负载值，确定负载值最低的任务执行装置。

本申请实施例提供一种任务执行装置，包括：

确定模块，用于当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和；

分配模块，用于将所述待调度任务分配给所述负载值最低的任务执行装置。

本申请实施例中，每次都将待调度任务分配给当前负载值最低的任务执行装置，并且以任务执行装置需要执行的各个任务所占用的时长总和来衡量各任务执行装置的负载值，从而可以保证各个任务执行装置之间的负载均衡，提高了任务执行效率。

附图说明

图1为本申请实施例一提供的任务调度方法流程图；

图2(a)为在任务轮询调度机制下的任务分配示意图；

图2(b)为采用本申请实施例的负载均衡方案后的任务分配示意图；

图3为本申请实施例二提供的任务调度方法流程图；

图4为本申请实施例三提供的任务调度方法流程图；

图5为本申请实施例四提供的任务执行装置结构示意图。

具体实施方式

本申请实施例中，在为接收的待调度任务选择任务执行装置时，选择当前各个任务执行装置中负载值最低的任务执行装置，本申请实施例是以任务执行装置需要执行的各个任务所占用的时长总和来衡量负载值的，由于每次都将待调度任务分配给当前负载值最低的任务执行装置，从而可以保证各个任务执行装置之间的负载均衡，提高任务执行效率。

下面结合说明书附图对本申请实施例作进一步详细描述。

实施例一

如图1所示，为本申请实施例一提供的任务调度方法流程图，包括以下步骤：

S101：当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和。

本申请实施例中的各个任务执行装置可以是虚拟装置，比如由虚拟机(Virtual Machine，VM)实现的装置，也可以是独立的实体装置。本申请实施例的执行主体可以认为是负责进行任务调度的持续集成系统。

在具体实施中，当接收到待调度任务时，首先在集群的各个任务执行装置中选择当前负载值最低的任务执行装置，具体地，可以确定每个任务执行装置需要执行的各个任务所需占用的时长总和，以此来衡量每个任务执行装置当前的负载值。

在具体实施过程中，执行每个待执行的任务所需占用的时长可以是由用户在提交任务时输入的时长；也可以是由本申请实施例的持续集成系统基于历史任务完成记录(比如执行同类任务的时长，或执行对应的升级前的任务的时长；或者，针对同类任务的构建时长和构建次数，或针对升级前的任务的构建时长和构建次数)确定的。

一次任务执行过程通常是指的一个开发周期内的任务执行过程，因为在一个开发周期内需要完成包括软件代码的提交、修改及上线等任务环节在内的一个完整的任务执行流程。不管是已执行的任务还是待执行的任务，通常都会涉及到两种属性：构建时长和构建次数。其中，构建时长为执行一次代码构建的时长；一次代码构建过程通常包括代码下载、编译、静态扫描、单元测试和覆盖率分析等环节；构建次数为在一个开发周期内，开发人员针对该任务所提交代码的次数。在一个开发周期内执行任一任务的时长即为基于构建时长和构建次数这两种属性确定的，比如，将构建时长乘以构建次数，即为在一个开发周期内执行该任务的时长(这时要求每次的构建时长一致，或者这时的构建时长是指的每次的平均构建时长)；也可以将每次的构建时长相加得到在一个开发周期内执行该任务的时长。

S102：将所述待调度任务分配给所述负载值最低的任务执行装置。

在具体实施过程中，当在一个开发周期内执行完所述待调度任务之后，可以统计并记录该任务的构建时长和构建次数，或者，可以基于统计的该任务的构建时长和构建次数，确定并记录执行该任务占用的时长。这样，当在下一个开发周期调度与该执行完的任务对应的升级版本的任务或同一类任务之后，可以参考该执行完的任务的构建时长和构建次数，或者参考该执行完的任务所占用的时长，确定该在下一个开发周期内调度的任务所需占用的时长。比如，可以直接将记录的已执行完的任务的构建时长确定为该任务对应的升级版本的任务所需的构建时长，将记录的该已执行完的任务的构建次数确定为该任务对应的升级版本的任务所需的构建次数；或者，可以直接将记录的该已执行完的任务所占用的时长确定为该任务对应的升级版本的任务所需占用的时长。也即，在本申请实施例中，可以根据以下步骤确定任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；

根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，或者记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

如图2(a)所示，为在任务轮询调度机制下的任务分配示意图，图2(b)为采用本申请实施例的负载均衡方案后的任务分配示意图。从图2(a)中可见，若采用任务轮询调度机制，任务执行装置Hudson1、Hudson2、和Hudson3的负载将会非常高，而Hudson4却很空闲，说明集群中各任务执行装置之间的负载很不合理，导致集群调度效率较低。从图2(b)中可见，占用时长较长的任务(单次构建时长较长和/或构建频次较高)和占用时长较短的任务(单次构建时长较短和/或构建频次较低)可以在各任务执行装置之间平均分配，从而可以实现集群中各任务执行装置之间的负载均衡，提高了集群调度效率。

下面，通过两个具体的实施例来对本申请任务调度的思想作进一步说明。

实施例二

如图3所示，为本申请实施例二提供的任务调度方法流程图，包括以下步骤：

S301：当接收到待调度任务时，确定当前各个任务执行装置的负载值；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和。

具体地，可以根据以下公式确定任一任务执行装置的负载值T：

$T={\mathrm{\Σ}}_{i=1}^n{m}_i*f_i;$

其中，n为该任一任务执行装置需要执行的任务个数；f_i为在一个开发周期内针对第i个任务的构建次数；m_i为针对该第i个任务的构建时长。

在上述公式中，当每次构建所用构建时长不同时，m_i可以是指针对该第i个任务的f_i次构建中，每次构建的平均构建时长。

在上述公式中，可以根据以下步骤确定针对任一需要执行的任务的构建次数和构建时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；

根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，确定针对任一需要执行的任务的构建次数和构建时长。

这里，所述任一需要执行的任务和所述已执行的任务可以为实现的功能类似或实现的功能具有依赖关系的同一类任务，或者为同一种任务的不同版本。可以直接将该已执行的任务的构建时长和构建次数确定为该需要执行的任务的构建时长和构建次数，也可以根据任务的复杂程度对该需要执行的任务的构建时长和构建次数进行调整。

S302：根据确定的各个任务执行装置的负载值，确定负载值最低的任务执行装置。

该步骤中，基于S301确定的各个任务执行装置的负载值，从各个任务执行装置中选择当前负载值最低的任务执行装置。

S303：将所述待调度任务分配给所述负载值最低的任务执行装置。

以上实施例二中，在接收到待调度任务时，才确定当前各个任务执行装置的负载值；在本申请另一优选的实施方式中，为了提高任务分配效率，可以预先确定并存储每个任务执行装置的负载值，在任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值，从而在需要分配待调度任务时，可以直接基于各任务执行装置当前的负载值来选择任务执行装置。

实施例三

如图4所示，为本申请实施例三提供的任务调度方法流程图，包括以下步骤：

S401：当集群中任一任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务占用的时长总和，任一任务占用的时长为该任务的构建时长和构建次数的乘积。

在具体实施中，当任一任务执行装置需要增加任务时，可以将存储的该任务执行装置的负载值加上该任务所对应的负载值(也即执行该任务占用的时长)。当该任务执行装置执行完一个任务后，可以将存储的该任务执行装置的负载值减去已执行完的任务所对应的负载值。或者，当集群中任一任务执行装置需要执行的任务增加或减少时，重新计算并存储该任务执行装置的负载值。

在具体实施过程中，可以根据以下步骤确定任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；

根据在执行完所述已执行的任务后，记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

在具体实施中，在执行完任一任务后，可以统计在一个开发周期内，针对该执行完的任务的构建时长和构建次数，并基于统计的构建时长和构建次数，确定该执行完的任务所占用的时长。比如，将构建时长和构建次数相乘，得到该执行完的任务所占用的时长，或者，将所有构建次数中，每次构建所占用的时长相加，得到该执行完的任务所占用的时长。

S402：当接收到待调度任务时，根据存储的各个任务执行装置的负载值，确定各个任务执行装置中负载值最低的任务执行装置。

该步骤中，当接收到待调度任务时，可以直接基于存储的各个任务执行装置的负载值，选择当前负载值最低的任务执行装置。

S403：将所述待调度任务分配给所述负载值最低的任务执行装置。

基于同一发明构思，本申请实施例中还提供了一种与任务调度方法对应的任务执行装置，由于该装置解决问题的原理与本申请实施例的任务调度方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

实施例四

如图5所示，为本申请实施例四提供的任务执行装置结构示意图，包括：

确定模块51，用于当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和；

分配模块52，用于将所述待调度任务分配给所述负载值最低的任务执行装置。

可选地，所述确定模块51具体用于根据以下步骤确定执行任一任务所占用的时长：

根据在一个开发周期内针对该任务的构建次数和构建时长，确定在一个开发周期内执行该任务所占用的时长；其中，所述构建时长为执行一次代码构建的时长，所述构建次数针对该任务所提交代码的次数。

可选地，任一任务执行装置的负载值T符合以下公式：

$T={\mathrm{\Σ}}_{i=1}^n{m}_i*f_i;$

其中，n为该任一任务执行装置需要执行的任务个数；f_i为在一个开发周期内针对第i个任务的构建次数；m_i为针对该第i个任务的构建时长。

可选地，所述确定模块51具体用于根据以下步骤任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，或者记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

可选地，所述装置还包括：

更新模块53，用于当任一任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值；

所述确定模块具体用于：当接收到待调度任务时，根据存储的各个任务执行装置的负载值，确定各个任务执行装置中负载值最低的任务执行装置。

可选地，所述确定模块51具体用于：

当接收到待调度任务时，确定当前各个任务执行装置的负载值；根据确定的各个任务执行装置的负载值，确定负载值最低的任务执行装置。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种任务调度方法，其特征在于，该方法包括：

当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和；

将所述待调度任务分配给所述负载值最低的任务执行装置。

2.如权利要求1所述的方法，其特征在于，根据以下步骤确定执行任一任务所占用的时长：

根据在一个开发周期内针对该任务的构建次数和构建时长，确定在一个开发周期内执行该任务所占用的时长；其中，所述构建时长为执行一次代码构建的时长，所述构建次数针对该任务所提交代码的次数。

3.如权利要求2所述的方法，其特征在于，任一任务执行装置的负载值T符合以下公式：

$T={\mathrm{\Σ}}_{i=1}^n{m}_i*f_i;$

其中，n为该任一任务执行装置需要执行的任务个数；f_i为在一个开发周期内针对第i个任务的构建次数；m_i为针对该第i个任务的构建时长。

4.如权利要求1～3任一所述的方法，其特征在于，根据以下步骤确定任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；

根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，或者记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

5.如权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

当任一任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值；

当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置，包括：

当接收到待调度任务时，根据存储的各个任务执行装置的负载值，确定各个任务执行装置中负载值最低的任务执行装置。

6.如权利要求1～4任一所述的方法，其特征在于，当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置，包括：

当接收到待调度任务时，确定当前各个任务执行装置的负载值；

根据确定的各个任务执行装置的负载值，确定负载值最低的任务执行装置。

7.一种任务执行装置，其特征在于，该装置包括：

确定模块，用于当接收到待调度任务时，确定当前各个任务执行装置中负载值最低的任务执行装置；其中，每个任务执行装置的负载值为该任务执行装置需要执行的各个任务所占用的时长总和；

分配模块，用于将所述待调度任务分配给所述负载值最低的任务执行装置。

8.如权利要求7所述的装置，其特征在于，所述确定模块具体用于根据以下步骤确定执行任一任务所占用的时长：

根据在一个开发周期内针对该任务的构建次数和构建时长，确定在一个开发周期内执行该任务所占用的时长；其中，所述构建时长为执行一次代码构建的时长，所述构建次数针对该任务所提交代码的次数。

9.如权利要求8所述的装置，其特征在于，任一任务执行装置的负载值T符合以下公式：

$T={\mathrm{\Σ}}_{i=1}^n{m}_i*f_i;$

其中，n为该任一任务执行装置需要执行的任务个数；f_i为在一个开发周期内针对第i个任务的构建次数；m_i为针对该第i个任务的构建时长。

10.如权利要求7～9任一所述的装置，其特征在于，所述确定模块具体用于根据以下步骤确定任一需要执行的任务所需占用的时长：

确定与该需要执行的任务对应的已执行的任务；其中，该需要执行的任务为该已执行的任务的升级版本，或者，该需要执行的任务与该已执行的任务属于同一类任务的不同的任务分支；根据在执行完所述已执行的任务后，记录的针对该已执行的任务的构建次数和构建时长，或者记录的该已执行的任务所占用的时长，确定所述任一需要执行的任务所需占用的时长。

11.如权利要求7～10任一所述的装置，其特征在于，所述装置还包括：

更新模块，用于当任一任务执行装置需要执行的任务增加或减少时，更新存储的该任务执行装置的负载值；

所述确定模块具体用于：当接收到待调度任务时，根据存储的各个任务执行装置的负载值，确定各个任务执行装置中负载值最低的任务执行装置。

12.如权利要求7～10任一所述的装置，其特征在于，所述确定模块具体用于：

当接收到待调度任务时，确定当前各个任务执行装置的负载值；根据确定的各个任务执行装置的负载值，确定负载值最低的任务执行装置。