CN109542620B - 一种云中关联任务流的资源调度配置方法 - Google Patents

Abstract

本发明提供一种云中关联任务流的资源调度配置方法，根据任务参数的设定权重，确定关联任务流中的各子任务的备份优先级，再根据预设备份模型对关联任务流进行重构，在重构后的关联任务流模型中寻找局部关键路径，为备份优先级最高的子任务分配性能最优的计算资源，综合考虑关联任务流的执行成本与计算资源之间的关系，以关联任务流的执行时间为主要优化目标，能够在任务执行时间尽量短的基础上尽量降低备份策略的执行成本。

Description

一种云中关联任务流的资源调度配置方法

技术领域

本发明属于云计算服务领域，尤其涉及一种云中关联任务流的资源调度配置方法。

背景技术

现有的商业云大多采用按照服务时间来向用户收取费用的计费模式，这就要求用户对所提交任务的执行时间有一个较为准确估计，否者就会产生预算的不确定性，进而对整个服务模式的质量带来挑战。但是，现实中的多数情况下，用户很难对任务的计算量形成完全清晰地认识，从而难以准确估算出任务的执行时间。另一方面，由于环境和技术等多方面原因，现有的云计算环境在计算性能和数据传输性能上也并不稳定，计算资源的计算效能具有不稳定性。由于以上两个方面的原因，使得用户和服务商均难以对任务执行时间进行准确预测，从而难以保证计算服务的质量。有学者对几个最著名的商业云进行研究发现，对于相同的任务，这些云环境在执行时间上的波动可以达到30％，在数据传输时间上的波动可以达到65％。这种不稳定性使得让用户来估计任务的执行时间是不科学的，用户需要一种能够为其提供计算执行效能保证的云服务机制。

对于工作流型任务而言，这种不确定性将会更加显著。工作流任务已经成为云计算需要考虑的一种典型任务类型，现有云计算服务商所面对的工作流任务规模正在呈现出不断增长的趋势。而由于工作流任务中子任务间具有关联性，每个任务的执行时间和任务间通信时间的浮动都会对工作流的完成时间产生影响，例如一副星云图像的生成过程需要执行200多个子任务，而随着这种工作流任务规模的不断增长，工作流执行时间的浮动范围将会增大，使得我们难以控制这类任务的执行时间。因此，为工作流型任务提供云计算服务时如何保证执行效能，降低计算资源性能不稳定性带来的影响成为了一项重要研究课题，研究能够保证任务时效性的工作流调度方法对于提升云计算服务质量具有重要意义。

解决这个问题的一种较为有效的办法是采用任务备份的方法，通过并行执行某些任务来减少这些任务可能存在的执行时间的浮动。同时，采用备份的方法意味着产生额外的成本，备份数量的增加将会带来任务执行稳定性的提升和成本的增加，需要寻找一种能够综合考虑服务成本和服务质量的资源优化配置方法来提升资源的利用效率。采用备份的方法来解决这种执行时间不稳定的问题在一些工作中已经被提及，但是这些研究均没有考虑备份任务选择策略以及备份数量的确定策略。另外，很多已有研究成果没有考虑到采用备份手段所引起的工作流调度过程上的变化，当多个任务并行执行时，任意一个任务均有可能成为主任务，这就会给工作流的关联任务确定带来不确定性，从而影响后续任务的选择以及整个调度方案的生成。

发明内容

为解决上述问题，本发明提供一种云中关联任务流的资源调度配置方法，能够在任务执行时间尽量短的基础上尽量降低备份策略的执行成本。

一种云中关联任务流的资源调度配置方法，包括以下步骤：

S1：确定关联任务流中的各子任务的备份优先级；

S2：重构所述关联任务流，具体的：按照预设备份模型中设定的备份数量等级，确定各子任务的备份数量，其中，备份优先级越高的子任务备份数量等级越高，从而备份数量越多；按照预设备份模型中设定的任务执行框架，确定各子任务在任务执行框架中的位置，其中，备份优先级越高的子任务在任务执行框架中的位置越靠前，从而越先被执行；

S3：在重构后的关联任务流中寻找局部关键路径，为该局部关键路径上的各子任务分配性能理论最优的计算资源；

S4：去除步骤S3中已经被分配计算资源的子任务，在剩余子任务中重新寻找局部关键路径，并为该局部关键路径上的各子任务分配性能理论次优的计算资源；以此类推，直到所有的子任务均被分配计算资源，完成关联任务流的资源调度配置。

进一步的，在步骤S4中所述完成关联任务流的资源调度配置后，还执行以下步骤：

判断具有多个备份的子任务中是否存在一个备份任务已经完成，如果是，则将该已经完成的备份任务记为任务Y，并判定任务Y所在的计算资源性能为实际最优，放弃执行与所述任务Y同属一个子任务的其他备份任务；

当判定出性能实际最优的计算资源不是性能理论最优的计算资源时，将性能理论最优的计算资源上与所述任务Y同属一个子任务的备份任务记为任务N，并获取任务N的执行进度，若该执行进度相对于所述任务Y的滞后时间大于预设值，则调换任务Y的后续任务与任务N的后续任务所在的计算资源，实现所述关联任务流的二次重构；

在完成二次重构的关联任务流中剩余未被执行的子任务重新寻找局部关键路径，并重新执行步骤S3和S4，完成关联任务流的二次资源调度配置。

进一步的，在步骤S4中所述完成关联任务流的资源调度配置后，还执行以下步骤：

当计算资源不足时，获取正在执行且具有多个备份的子任务中各备份任务的执行进度，只保留执行进度最快的M个备份任务，实现计算资源的释放，其中，M的确定方法为：

获取各备份任务的执行进度的平均值；

获取所述平均值与备份任务数量的乘积；

将所述乘积向上取整，得到M。

进一步的，步骤S1所述确定关联任务流中的各子任务的备份优先级，具体为：

为子任务参数赋予不同权重，其中，所述子任务参数包括任务后续任务、任务前驱任务、任务理论执行时间以及任务到终点任务的路径长度，所述终点任务为关联任务流中最后一个被执行的子任务；

获取各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度；

分别将各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度与对应子任务参数的权重进行加权求和，得到各子任务的备份优先级。

进一步的，所述子任务参数的权重从大到小依次为任务后续任务、任务前驱任务、任务理论执行时间以及任务到终点任务的路径长度。

有益效果：

本发明提供一种云中关联任务流的资源调度配置方法，根据任务参数的设定权重，确定关联任务流中的各子任务的备份优先级，再根据预设备份模型对关联任务流进行重构，在重构后的关联任务流模型中寻找局部关键路径，为备份优先级最高的子任务分配性能最优的计算资源，综合考虑关联任务流的执行成本与计算资源之间的关系，以关联任务流的执行时间为主要优化目标，能够在任务执行时间尽量短的基础上尽量降低备份策略的执行成本。

附图说明

图1为本发明提供的一种云中关联任务流的资源调度配置方法的流程图；

图2为本发明提供的任务的后续任务示意图；

图3为本发明提供的任务的前驱任务示意图；

图4为本发明提供的任务理论执行时间示意图；

图5为本发明提供的关联任务流路径长度示意图；

图6为本发明提供的备份数量与任务的执行时间的关系示意图；

图7为本发明提供的重构后的关联任务流的任务模型示意图；

图8为本发明提供的移除某条局部关键路径后的关联任务流的任务模型示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例一

参见图1，该图为本实施例提供的一种云中关联任务流的资源调度配置方法的流程图。一种云中关联任务流的资源调度配置方法，包括以下步骤：

S1：确定关联任务流中的各子任务的备份优先级。

可选的，备份优先级的确定方法具体为：

S101：为子任务参数赋予不同权重，其中，所述任务参数包括任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度，所述终点任务为关联任务流中最后一个被执行的子任务。

S102：获取各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度；

S103：分别将各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度与对应子任务参数的权重进行加权求和，得到各子任务的备份优先级。

参见图2，该图为本实施例提供的任务的后续任务示意图。任务A的延迟完成将会影响B₁和B₂的最早开始时间，当后续任务越多时，任务的稳定性对整个工作流执行时间稳定性的影响越大，因此，具有更多后续任务的子任务具有更高的优先级。

参见图3，该图为本实施例提供的任务的前驱任务示意图。前驱任务A₁和A₂的最晚完成时间，决定了任务B的最早开始时间；一个任务具有越多的前驱任务，任意一个前驱任务执行时间的不稳定都会影响该任务的开始时间，从而增大该任务开始时间滞后的概率。因此，具有更多前驱任务的任务具有更高的优先级。

参见图4，该图为本实施例提供的任务理论执行时间示意图。研究成果表明，云服务执行时间的浮动与任务量是相关的。任务A的理论执行时间大于任务B的理论执行时间，如果计算云层中产生了50％的资源执行能力浮动，那么任务A将会比任务B产生更大的执行时间延迟。因此，理论执行时间越长的任务具有更高的优先级。

需要说明的是，采用LL表示任务与终点任务间的距离，即LL为路径长度；更长的LL意味着从任务的开始执行到工作流的结束中间过程存在更多的任务需要执行，更多的任务就意味着更大的不稳定性；参见图5，该图为本实施例提供的关联任务流路径长度示意图。假设任务C和任务D具有相同的任务工作量并且开始执行时间相同，那么任务C的延迟更有可能导致任务G的延迟；因此，任务到终点任务的路径长度越长，应该具有更高的优先级。

需要说明的是，参见图6，该图为本实施例提供的备份数量与任务的执行时间的关系示意图。图6中，曲线由下到上分别对应的备份数量为2～9，由此可见，随着备份数量的增加，任务的执行时间趋于稳定。在低备份数量情况下增加任务的一个备份执行相对于高备份数量情况下增加任务的一个备份执行，对于任务整体执行稳定性的提升更为显著。在确定的设备环境下，无法通过备份方法完全避免任务执行时间的浮动，但是可以通过备份手段使其执行时间小于某个值的概率大于某个阈值。

需要说明的是，任务参数的设定权重从大到小依次为任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度；可选的，如果任务到终点任务的路径长度的权重ω₄＝1，则任务后续任务个数的权重ω₁＝1000，任务前驱任务个数的权重ω₂＝100，任务理论执行时间ω₃＝10。

S2：重构所述关联任务流，具体的：按照预设备份模型中设定的备份数量等级，确定各子任务的备份数量，其中，备份优先级越高的子任务备份数量等级越高，从而备份数量越多；按照预设备份模型中设定的任务执行框架，确定各子任务在任务执行框架中的位置，其中，备份优先级越高的子任务在任务执行框架中的位置越靠前，从而越先被执行。

例如，假设原始的关联任务流为参见图5，预设备份模型中设定的是将其中其中一个子任务备份三份，一个子任务备份两份；则根据步骤S1中确定关联任务流中的各子任务的备份优先级的方法，任务A有三个后继任务，且离终点任务的路径长度最长，则任务A的备份优先级最高；同理，可以根据任务执行时间等其他任务参数确定其他子任务的备份优先级，然后将任务F的备份优先级排第二。按照预设备份模型中设定的备份数量与任务执行框架，确定图5中原始的关联任务流的备份数量以及在任务执行框架中的位置；参见图7，该图为本实施例提供的重构后的关联任务流的任务模型示意图。其中，任务A是一个执行时间为0的虚拟任务，任务A₁，A₂，A₃，F₁，F₂是备份执行的任务。

S3：在重构后的关联任务流中寻找局部关键路径，为该局部关键路径上的各子任务分配性能理论最优的计算资源。

例如，对于图7所示的重构后的关联任务流的任务模型，通过局部关键路径法，获取局部关键路径A₁→C→F₂→G；然后为该局部关键路径上的任务A₁、C、F₂以及G分配性能理论最优的计算资源。

需要说明的是，获取局部关键路径的方法为现有技术，下面对获取局部关键路径的方法作简要介绍。如果任务T没有未调度前驱任务，则任务T的局部关键路径为任务T；如果任务T有未调度前驱任务，则任务T的局部关键路径包括任务T、任务T的关键前驱任务T_p以及任务T_p的局部关键路径；其中，任务T的关键前驱任务是指任务T未调度的前驱任务中与任务T路径长度最长的任务。

S4：去除步骤S3中已经被分配计算资源的子任务，在剩余子任务中重新寻找局部关键路径，并为该局部关键路径上的各子任务分配性能理论次优的计算资源；以此类推，直到所有的子任务均被分配计算资源，完成关联任务流的资源调度配置。

例如，对于图7所示的重构后的关联任务流的任务模型；将第一条局部关键路径上的子任务从任务模型中移除，可以得到如图8所示的任务模型。在图8的任务模型中，通过局部关键路径法，可以获得第二条局部关键路径：A₂→B→E；以此类推，直到所有任务均调度完。

实施例二

当多个任务并行执行时，任意一个任务均有可能成为主任务，这就会给工作流的关联任务流确定带来不确定性，从而影响后续任务的选择以及整个调度方案的生成；为了降低备份策略对于关联任务流调度过程带来的影响，基于以上实施例，本实施例提供另一种云中关联任务流的资源调度配置方法。

在步骤S4中所述完成关联任务流的资源调度配置后，还执行以下步骤：

判断具有多个备份的子任务中是否存在一个备份任务已经完成，如果是，则将该已经完成的备份任务记为任务Y，并判定任务Y所在的计算资源性能为实际最优，放弃执行与所述任务Y同属一个子任务的其他备份任务；

当判定出性能实际最优的计算资源不是性能理论最优的计算资源时，将性能理论最优的计算资源上与所述任务Y同属一个子任务的备份任务记为任务N，并获取任务N的执行进度，若该执行进度相对于所述任务Y的滞后时间大于预设值，则调换任务Y的后续任务与任务N的后续任务所在的计算资源，实现所述关联任务流的二次重构；

在完成二次重构的关联任务流中剩余未被执行的子任务重新寻找局部关键路径，并重新执行步骤S3和S4，完成关联任务流的二次资源调度配置。

也就是说，如果性能实际最优的计算资源不是性能理论最优的计算资源，则获取性能理论最优的计算资源上与所述已经完成的备份任务同属一个子任务的备份任务的执行进度，若该执行进度与所述已经完成的备份任务的执行进度的滞后时间大于预设值，则将性能理论最优的计算资源上，与所述已经完成的备份任务同属一个子任务的备份任务的后续任务调整到所述性能实际最优的资源上执行，所述已经完成的备份任务的后续任务调整到所述性能理论最优的资源上执行，实现所述关联任务流的二次重构；

需要说明的是，在关联任务流在执行的过程中，如果某个任务具有多个备份，对于同属于该任务的后续任务来说，只要该任务的其中一个备份任务执行完毕，则不属于同一条局部关键路径上的其他后续任务也可以接收到该备份任务执行完毕的信息，进而开始任务的执行。

例如，参见图7，任务A₁～A₃均属于任务A的备份任务，且路局关键路径有四条，分别为：A₁→C→F₂→G，A₂→B→E，A₃→D以及F₁，其中局部关键路径A₁→C→F₂→G所在的计算资源为理论最优。若任务A₁最先执行完毕，代表任务A₁所在的计算资源为实际最优，且在其他计算资源上的备份任务A₂和A₃就放弃执行。若任务A₂最先执行完毕，则任务A₂所在的计算资源为实际最优，此时判断任务A₁的执行进度，如果任务A₁的执行进度与任务A₂的执行进度相差不大，小于预设值，则保持现有的任务模型；如果任务A₁的执行进度滞后于任务A₂的执行进度的滞后值大于预设值，则将局部关键路径A₁→C→F₂→G中任务A₁的后续任务C→F₂→G转移到任务A₂所在的计算资源上，将任务A₂的后续任务B→E转移到任务A₁所在的计算资源上。

实施例三

云中的计算资源是有限的，为了提高计算资源的利用率，基于以上实施例，本实施例提供又一种云中关联任务流的资源调度配置方法。

在步骤S4中所述完成关联任务流的资源调度配置后，还执行以下步骤：

当计算资源不足时，获取正在执行且具有多个备份的子任务中各备份任务的执行进度，只保留执行进度最快的M个备份任务，实现计算资源的释放，其中，M的确定方法为：

获取各备份任务的执行进度的平均值；

获取所述平均值与备份任务数量的乘积；

将所述乘积向上取整，得到M。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种云中关联任务流的资源调度配置方法，其特征在于，包括以下步骤：

S1：确定关联任务流中的各子任务的备份优先级；

S2：重构所述关联任务流，具体的：按照预设备份模型中设定的备份数量等级，确定各子任务的备份数量，其中，备份优先级越高的子任务备份数量等级越高，从而备份数量越多；按照预设备份模型中设定的任务执行框架，确定各子任务在任务执行框架中的位置，其中，备份优先级越高的子任务在任务执行框架中的位置越靠前，从而越先被执行；

S3：在重构后的关联任务流中寻找局部关键路径，为该局部关键路径上的各子任务分配性能理论最优的计算资源；

S4：去除步骤S3中已经被分配计算资源的子任务，在剩余子任务中重新寻找局部关键路径，并为该局部关键路径上的各子任务分配性能理论次优的计算资源；以此类推，直到所有的子任务均被分配计算资源，完成关联任务流的资源调度配置；

完成关联任务流的资源调度配置后，还执行以下步骤：

判断具有多个备份的子任务中是否存在一个备份任务已经完成，如果是，则将该已经完成的备份任务记为任务Y，并判定任务Y所在的计算资源性能为实际最优，放弃执行与所述任务Y同属一个子任务的其他备份任务；

当判定出性能实际最优的计算资源不是性能理论最优的计算资源时，将性能理论最优的计算资源上与所述任务Y同属一个子任务的备份任务记为任务N，并获取任务N的执行进度，若该执行进度相对于所述任务Y的滞后时间大于预设值，则调换任务Y的后续任务与任务N的后续任务所在的计算资源，实现所述关联任务流的二次重构；

在完成二次重构的关联任务流中剩余未被执行的子任务重新寻找局部关键路径，并重新执行步骤S3和S4，完成关联任务流的二次资源调度配置。

2.如权利要求1所述的一种云中关联任务流的资源调度配置方法，其特征在于，在步骤S4中所述完成关联任务流的资源调度配置后，还执行以下步骤：

当计算资源不足时，获取正在执行且具有多个备份的子任务中各备份任务的执行进度，只保留执行进度最快的M个备份任务，实现计算资源的释放，其中，M的确定方法为：

获取各备份任务的执行进度的平均值；

获取所述平均值与备份任务数量的乘积；

将所述乘积向上取整，得到M。

3.如权利要求1所述的一种云中关联任务流的资源调度配置方法，其特征在于，步骤S1所述确定关联任务流中的各子任务的备份优先级，具体为：

为子任务参数赋予不同权重，其中，所述子任务参数包括任务后续任务、任务前驱任务、任务理论执行时间以及任务到终点任务的路径长度，所述终点任务为关联任务流中最后一个被执行的子任务；

获取各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度；

分别将各子任务的任务后续任务个数、任务前驱任务个数、任务理论执行时间以及任务到终点任务的路径长度与对应子任务参数的权重进行加权求和，得到各子任务的备份优先级。

4.如权利要求3所述的一种云中关联任务流的资源调度配置方法，其特征在于，所述子任务参数的权重从大到小依次为任务后续任务、任务前驱任务、任务理论执行时间以及任务到终点任务的路径长度。

Images