CN104142855A - 任务的动态调度方法与装置 - Google Patents

Abstract

本公开涉及一种任务的动态调度方法与装置。该方法包括在每个动态优先级更新周期内，判断是否有依赖于准备进入调度队列的任务A的其他任务；如没有，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级；根据任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算任务A的动态优先级；如有依赖于任务A的其他任务，则递归查找依赖任务A的最顶层任务，最顶层任务指不被任何任务所依赖的任务；将查找到的依赖于任务A的所有最顶层任务的动态优先级的最大值作为任务A的动态优先级；根据任务A的动态优先级将任务A插入到调度队列中的相应位置。本公开可以提高任务调度先后顺序的合理性和科学性。

Description

任务的动态调度方法与装置

技术领域

本公开涉及云计算领域，特别地，涉及一种任务的动态调度方法与装置。

背景技术

众所周知，云计算的出现使大规模并行计算得到普及和应用。在云计算技术中，调度是其中非常关键的一环，由它决定任务的优先执行顺序。如何更加合理地安排大规模任务调度的优先顺序、提高云计算资源的合理利用、确保紧急且重要的任务能被优先调度等成为云计算使用人员目前关注的焦点问题。

目前，现有技术主要通过预先配置好的静态优先级来控制任务调度的优先顺序，但这种方法存在如下不足：

首先，静态优先级包含较多的主观因素，不能真实、客观地反映任务的重要程度。因为每个人都认为自己负责的那部分任务是最重要和紧急的，这样，很容易导致任务优先级失去意义。

其次，任务的重要性在任务的整个生命周期内是动态变化的，这个月很重要，但下个月可能就不那么重要了，而静态优先级则无法体现这种变化。

当然，我们也可以通过手工方式及时修改任务的静态优先级，但当任务规模很大的时候，维护工作就会变得比较困难。

发明内容

本公开鉴于以上问题中的至少一个提出了新的技术方案。

本公开在其一个方面提供了一种任务的动态调度方法，其可以提高任务调度先后顺序的合理性和科学性。

本公开在其另一方面提供了一种任务的动态调度装置，其可以提高任务调度先后顺序的合理性和科学性。

根据本公开，提供一种任务的动态调度方法，包括：

在每个动态优先级更新周期内，判断是否有依赖于准备进入调度队列的任务A的其他任务；

如没有依赖于任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级；

根据任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算任务A的动态优先级；

如有依赖于任务A的其他任务，则递归查找依赖任务A的最顶层任务，最顶层任务指不被任何任务所依赖的任务；

将查找到的依赖于任务A的所有最顶层任务的动态优先级的最大值作为任务A的动态优先级；

根据任务A的动态优先级将任务A插入到调度队列中的相应位置。

在本公开的一些实施例中，该方法还包括：

在查找到依赖任务A的最顶层任务后，判断依赖任务A的最顶层任务的动态优先级在当前周期内是否已计算出；

如已计算出，则直接根据计算出动态优先级的依赖任务A的最顶层任务确定任务A的动态优先级，否则，根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖任务A的各个最顶层任务的动态优先级。

在本公开的一些实施例中，其他任务对任务A的依赖包括直接依赖和间接依赖。

在本公开的一些实施例中，任务输出物使用率与任务调度频率按设定频率更新。

根据本公开，还提供了一种任务的动态调度装置，包括：

依赖性判断单元，用于在每个动态优先级更新周期内判断是否有依赖于准备进入调度队列的任务A的其他任务；

顶层任务优先级计算单元，用于如没有依赖于任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级，根据任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算任务A的动态优先级；

依赖任务优先级计算单元，用于如有依赖于任务A的其他任务，则递归查找依赖任务A的最顶层任务，最顶层任务指不被任何任务所依赖的任务，将查找到的依赖于任务A的所有最顶层任务的动态优先级的最大值作为任务A的动态优先级；

任务插入单元，用于根据任务A的动态优先级将任务A插入到调度队列中的相应位置。

在本公开的一些实施例中，装置还包括：

计算判断单元，用于在查找到依赖任务A的最顶层任务后，判断依赖任务A的最顶层任务的动态优先级在当前周期内是否已计算出，如已计算出，则由依赖任务优先级计算单元直接根据计算出动态优先级的依赖任务A的最顶层任务确定任务A的动态优先级，否则，由顶层任务优先级计算单元根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖任务A的各个最顶层任务的动态优先级。

在本公开的一些实施例中，其他任务对任务A的依赖包括直接依赖和间接依赖。

在本公开的一些实施例中，任务输出物使用率与任务调度频率按设定频率更新。

在本公开的技术方案中，由于在每个更新周期内，最顶层任务都根据任务输出物使用率、任务调度频率与任务的静态优先级计算自身的动态优先级，并且任务输出物使用率与任务调度频率在每个更新周期内都动态更新，因此，可以得到各个任务的动态优先级。此外，在某个任务被其他任务依赖时，可以根据这些被依赖的任务来更新非最顶层任务的优先级，使得任务调度的先后顺序更合理、更科学。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分。在附图中：

图1是本公开一个实施例的任务的动态调度方法的流程示意图。

图2是本公开一个任务依赖关系示意图。

图3是本公开一个实施例的任务的动态调度装置的结构示意图。

图4是本公开另一实施例的任务的动态调度装置的结构示意图。

具体实施方式

下面将参照附图描述本公开。要注意的是，以下的描述在本质上仅是解释性和示例性的，决不作为对本公开及其应用或使用的任何限制。除非另外特别说明，否则，在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在适当的情况下意在成为说明书的一部分。

图1是本公开一个实施例的任务的动态调度方法的流程示意图。

如图1所示，该实施例可以包括以下步骤：

S102，在每个动态优先级更新周期内，判断是否有依赖于准备进入调度队列的任务A的其他任务，如没有，则转步骤S104，否则转步骤S108；

假设任务A准备进入调度队列，在进入调度队列之前需要计算任务A的动态优先级。在计算任务A的动态优先级时，可以分两种情况：一种是任务A为最顶层任务，即，不被其他任务所依赖；另一种是任务A不是最顶层任务，即，被其他任务所依赖。

对于最顶层任务的动态优先级的计算仅根据该任务的自身参数计算即可，而对于非最顶层任务的动态优先级的计算则需考虑依赖该非最顶层任务的其他任务的动态优先级来确定该非最顶层任务的动态优先级，因此，首先需要判断任务A是否被其他任务所依赖。

S104，如没有依赖于任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级；

即，表明任务A为最顶层任务，则可以根据任务A的自身动态参数计算其动态优先级，其中，任务输出物使用率与任务调度频率按设定频率更新。此外，在计算任务的动态优先级时考虑任务的静态优先级的目的是在一定程度上反映人为的主观判断和意图。

S106，根据任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算任务A的动态优先级；

例如，可以将任务输出物使用率与任务调度频率折合成与任务的静态优先级相同的量纲，再按照为任务输出物使用率、任务调度频率与任务的静态优先级分配的权值计算任务A的动态优先级。

S108，如有依赖于任务A的其他任务，则递归查找依赖任务A的最顶层任务，最顶层任务指不被任何任务所依赖的任务；

即，表明任务A不是最顶层任，查找依赖任务A的最顶层任务，进而根据查找到的一个或多个最顶层任务的动态优先级确定任务A的动态优先级。如果查找到的一个或多个最顶层任务的动态优先级在本周期内已根据步骤S106的方法计算出，则可以直接计算出任务A的动态优先级，否则，需要先计算出该一个或多个最顶层任务的动态优先级再计算任务A的动态优先级。

S110，将查找到的依赖于任务A的所有最顶层任务的动态优先级的最大值作为任务A的动态优先级；

由于查找到所有最顶层任务的调度均依赖任务A的调度，即，在调度这些最顶层任务的同时或之前必须先调度任务A，因此，可以将这些最顶层任务的动态优先级的最大值作为任务A的动态优先级。其中，动态优先级的值越大表明其优先级越高。需要指出的是，也可以规定动态优先级的值越小其优先级越高，但此时，需将查找到的依赖于任务A的所有最顶层任务的动态优先级的最小值作为任务A的动态优先级。

S112，根据任务A的动态优先级将任务A插入到调度队列中的相应位置。

在该实施例中，由于在每个更新周期内，最顶层任务都根据任务输出物使用率、任务调度频率与任务的静态优先级计算自身的动态优先级，并且任务输出物使用率与任务调度频率在每个更新周期内都动态更新，因此，可以得到各个任务的动态优先级。此外，在某个任务被其他任务依赖时，可以根据这些被依赖的任务来更新非最顶层任务的优先级，使得任务调度的先后顺序更合理、更科学。

在步骤S108之后，即，在查找到依赖任务A的最顶层任务后，判断依赖任务A的最顶层任务的动态优先级在当前周期内是否已计算出；

如已计算出，则直接根据计算出动态优先级的依赖任务A的最顶层任务确定任务A的动态优先级，否则，根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖任务A的各个最顶层任务的动态优先级。

其中，其他任务对任务A的依赖包括直接依赖和间接依赖。

图2是本公开一个任务依赖关系示意图。

如图2所示，任务B和任务C直接依赖于任务A，间接依赖于任务G。

最顶层任务是指在依赖于某个任务的所有任务中处于最顶层的那个任务。继续参见图2，以任务G为例，依赖于任务G的最顶层任务包括B、C和D。

为了提高任务调度先后顺序的合理性和科学性，使真正紧急、重要的任务优先被调度执行，本公开另一实施例提出了一种综合优先级和任务效用的动态自适应调度方法。其中，任务效用是指任务发挥的价值和作用，主要体现在任务调度后所生成的结果（通常是数据库表数据、数据文件等）被使用的次数、以及使用者重要程度等。举例说明，假设有A、B两个任务，任务A生成的数据表Ta被使用了5次，任务B生成的数据部Tb被使用了2次，则任务A的效用高于任务B的效用。

该实施例包括以下步骤：

步骤（1），判断是否需要计算任务A的动态优先级。

步骤（2），如需要计算任务A的动态优先级，则判断是否有其他任务依赖于任务A，如没有其他任务依赖于任务A，则转步骤（3），否则，转步骤（5）。

步骤（3），获取准备进入调度队列的任务A的相关信息，任务A的相关信息可以包括但不限于任务输出物使用率、任务调度频率与任务的静态优先级，这些相关信息可以通过下述方式获取：

任务输出物（例如，数据库表、数据文件等）使用率：通过监控方式获取到其被访问的次数，例如，Oracle数据库，打开SQL语句监控功能，则可获取到所有被执行的SQL语句，再从这些SQL语句中提取跟任务输出物相关的信息（例如，表名等），来统计指定时间范围内出现的次数；

任务调度频率：在任务调度历史记录中提取到指定时间范围内任务被调度的次数，例如，每天调度1次，每小时调度1次等。调度周期越小，调度频度就越大，也意味着该任务的时效性要求较高，其重要程度就越高。

任务的静态优先级：是指用户在配置该任务时，给该任务设定的一个重要程度值（例如，分为1-10级，数值越大，表明任务的重要程度越高）。

步骤（4），根据任务输出物使用率、任务调度频率和任务的静态优先级，计算任务A的动态优先级；

假设任务的静态优先级为Ps（通常为非0正整数，用Pmax表示静态优先级的最大值），任务输出物利用率（即某个时间范围内被访问次数，用整数表示，最小值为0，最大值为Vmax）为Fv，任务调度频度（即某个时间范围内被调度的次数，用整数表示，最小值为0，最大值为Smax）为Fs，则任务的动态优先级Pd的计算公式可以为：Pd=ceil（Cp*Ps+Cv*ceil（Fv/Vmax*Pmax）+Cs*ceil（Fs/Smax*Pmax））。

其中，

Cp为任务静态优先级的权重因子，Cv为任务输出物利用率的权重因子，Cs为任务调度频度的权重因子，并且Cp+Cv+Cs=100%；

ceil表示向上取整，“*”表示乘法，“/”表示除法；

Pmax为静态优先级的最大值，为静态值，通常在任务调度系统程序初始化时就已经确定，例如，1-10表示将任务优先级分为10个等级，10为最高优先级；

Vmax表示当前系统中指定周期内所有任务输出物利用率中的最大值，例如，系统中总共配置了5个任务，在指定周期内（例如，1个月）被访问的次数分别为1、2、6、10、30，那么Vmax为30，需要注意的是，Vmax是动态变化的，在下一个指定周期内可能就变成了15或者60等；

Smax表示当前系统中指定周期（例如，1个月）内所有任务被调度次数中的最大值，例如，系统中共配置了5个任务，其1个月内被调度的次数分别为1、3、4、30、720，则Smax为720。同样，Smax也是动态变化的，在下一个指定周期内可能变为1或者30。

步骤（5），如果有其他任务依赖于任务A，则首先递归查询依赖于任务A的最顶层任务，并判断在当前周期内是否已计算出这些最顶层任务的动态优先级，如尚未计算，则可以按照步骤（3）和（4）的方法计算最顶层任务的动态优先级，否则，取所有最顶层任务的动态优先级的最大值作为任务A的动态优先级，以确保任务A的动态优先级不拉低依赖于任务A的任务的动态优先级。

步骤（6），根据任务A的动态优先级，将任务A插入到调度队列的对应位置并等待被分派与执行。

接下来，再通过一个实例对本公开的技术方案进行详细的说明。

步骤1，任务A触发条件成立，需要被调度执行；

步骤2，检查任务A的动态优先级是否已计算，如果已计算，则转步骤9，否则，转步骤3；

步骤3，向上检查是否存在依赖任务A的任务Bx（即所有任务Bx需要等待任务A调度完成才能被正式调度执行，可以有多个，既包括直接向上依赖，也包括间接向上依赖），如果有，则转步骤4，否则，转步骤7；

步骤4，递归查找所有向上依赖任务Bx，直到找到最顶层的向上依赖任务Bt1、Bt2、Bt3…Btn；

步骤5，依次检查任务Bt1、Bt2、Bt3…Btn在当前周期内是否已经计算过动态优先级，如果没有，则分别计算并保存；

步骤6，选取任务Bt1、Bt2、Bt3…Btn中最大的动态优先级，作为任务A的动态优先级，并保存，转步骤9；

步骤7，获取任务A的静态优先级、任务输出结果访问频次、任务调度频次等信息；

步骤8，计算任务A的动态优先级，并保存；

步骤9，根据任务A的动态优先级，将任务插入到调度等待队列，等待被分配、执行；

步骤10，正式分配执行任务A。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

图3是本公开一个实施例的任务的动态调度装置的结构示意图。

如图3所示，该实施例中的任务的动态调度装置30可以包括依赖性判断单元302、顶层任务优先级计算单元304、依赖任务优先级计算单元306和任务插入单元308。其中，

依赖性判断单元302，用于在每个动态优先级更新周期内判断是否有依赖于准备进入调度队列的任务A的其他任务；

顶层任务优先级计算单元304，用于如没有依赖于任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级，根据任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算任务A的动态优先级，其中，任务输出物使用率与任务调度频率按设定频率更新；

依赖任务优先级计算单元306，用于如有依赖于任务A的其他任务，则递归查找依赖任务A的最顶层任务，最顶层任务指不被任何任务所依赖的任务，将查找到的依赖于任务A的所有最顶层任务的动态优先级的最大值作为任务A的动态优先级；

任务插入单元308，用于根据任务A的动态优先级将任务A插入到调度队列中的相应位置。

在该实施例中，由于在每个更新周期内，最顶层任务都根据任务输出物使用率、任务调度频率与任务的静态优先级计算自身的动态优先级，并且任务输出物使用率与任务调度频率在每个更新周期内都动态更新，因此，可以得到各个任务的动态优先级。此外，在某个任务被其他任务依赖时，可以根据这些被依赖的任务来更新非最顶层任务的优先级，使得任务调度的先后顺序更合理、更科学。

图4是本公开另一实施例的任务的动态调度装置的结构示意图。

如图4所示，与图3中的实施例相比，该实施例中的装置40还包括：

计算判断单元402，用于在查找到依赖任务A的最顶层任务后，判断依赖任务A的最顶层任务的动态优先级在当前周期内是否已计算出，如已计算出，则由依赖任务优先级计算单元直接根据计算出动态优先级的依赖任务A的最顶层任务确定任务A的动态优先级，否则，由顶层任务优先级计算单元根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖任务A的各个最顶层任务的动态优先级。

其中，其他任务对任务A的依赖包括直接依赖和间接依赖。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处可以参见方法实施例部分的说明。

虽然已参照示例性实施例描述了本公开，但应理解，本公开不限于上述的示例性实施例。对于本领域技术人员显然的是，可以在不背离本公开的范围和精神的条件下修改上述的示例性实施例。所附的权利要求的范围应被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

Claims (8)

1.一种任务的动态调度方法，其特征在于，包括：

在每个动态优先级更新周期内，判断是否有依赖于准备进入调度队列的任务A的其他任务；

如没有依赖于所述任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级；

根据所述任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算所述任务A的动态优先级；

如有依赖于所述任务A的其他任务，则递归查找依赖所述任务A的最顶层任务，所述最顶层任务指不被任何任务所依赖的任务；

将查找到的依赖于所述任务A的所有最顶层任务的动态优先级的最大值作为所述任务A的动态优先级；

根据所述任务A的动态优先级将所述任务A插入到调度队列中的相应位置。

2.根据权利要求1所述的任务的动态调度方法，其特征在于，所述方法还包括：

在查找到依赖所述任务A的最顶层任务后，判断依赖所述任务A的最顶层任务的动态优先级在当前周期内是否已计算出；

如已计算出，则直接根据计算出动态优先级的依赖所述任务A的最顶层任务确定所述任务A的动态优先级，否则，根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖所述任务A的各个最顶层任务的动态优先级。

3.根据权利要求1所述的任务的动态调度方法，其特征在于，所述其他任务对所述任务A的依赖包括直接依赖和间接依赖。

4.根据权利要求1所述的任务的动态调度方法，其特征在于，所述任务输出物使用率与任务调度频率按设定频率更新。

5.一种任务的动态调度装置，其特征在于，包括：

依赖性判断单元，用于在每个动态优先级更新周期内判断是否有依赖于准备进入调度队列的任务A的其他任务；

顶层任务优先级计算单元，用于如没有依赖于所述任务A的其他任务，则获取准备进入调度队列的任务A的任务输出物使用率、任务调度频率与任务的静态优先级，根据所述任务A的任务输出物使用率、任务调度频率与任务的静态优先级计算所述任务A的动态优先级；

依赖任务优先级计算单元，用于如有依赖于所述任务A的其他任务，则递归查找依赖所述任务A的最顶层任务，所述最顶层任务指不被任何任务所依赖的任务，将查找到的依赖于所述任务A的所有最顶层任务的动态优先级的最大值作为所述任务A的动态优先级；

任务插入单元，用于根据所述任务A的动态优先级将所述任务A插入到调度队列中的相应位置。

6.根据权利要求5所述的任务的动态调度装置，其特征在于，所述装置还包括：

计算判断单元，用于在查找到依赖所述任务A的最顶层任务后，判断依赖所述任务A的最顶层任务的动态优先级在当前周期内是否已计算出，如已计算出，则由所述依赖任务优先级计算单元直接根据计算出动态优先级的依赖所述任务A的最顶层任务确定所述任务A的动态优先级，否则，由所述顶层任务优先级计算单元根据任务输出物使用率、任务调度频率与任务的静态优先级分别计算依赖所述任务A的各个最顶层任务的动态优先级。

7.根据权利要求5所述的任务的动态调度装置，其特征在于，所述其他任务对所述任务A的依赖包括直接依赖和间接依赖。

8.根据权利要求5所述的任务的动态调度装置，其特征在于，所述任务输出物使用率与任务调度频率按设定频率更新。