CN108154317A - 多云环境下基于实例自适应分配整合的工作流组调度方法 - Google Patents

Abstract

本发明公开多云环境下基于实例自适应分配整合的工作流组调度方法，通过预处理手段对工作流任务进行压缩，减少算法的执行时间；再设计一种基于实例执行性能的任务截止日期动态划分方法，从单工作流局部层面提高执行实例的利用率；并基于当前工作流组的性能需求，动态分配并整合相应的执行实例资源，从全局角度提高执行实例利用率，减少成本支出；最后，按照最短截止日期优先的原则，动态调度任务集到对应的实例上执行，保证各个任务在其对应子截止日期前被执行完成。本发明利用本方法同时从局部和全局两种层面分别对带截止日期工作流组优化调度和实例自适应分配整合展开深入研究，在满足工作流组性能需求的同时提高资源利用率，降低执行成本支出。

Description

多云环境下基于实例自适应分配整合的工作流组调度方法

技术领域

本发明涉及并行和分布式高性能计算领域，尤其涉及多云环境下基于实例自适应分配整合的工作流组调度方法。

背景技术

云环境下实例自适应自适应分配整合调度机制需要平衡好工作流组性能需求和系统成本支出。面对不可预测到达的工作流组，调度机制需要保证提供工作流组在对应截止日期前完成的最少实例资源量，并将工作流的任务调度到相应的实例资源上执行，同时在实例资源量供应过剩的情况下及时关闭多余实例，减少成本支出。多云环境下，各个云服务提供商提供多种不同类型的实例资源，每种实例类型的要价机制和执行性能均存在差异。云环境下的虚拟机实例需要一定的启动时间才能执行对应任务，其是按执行时间区间进行费用收取，所以立刻关闭正在执行的空闲虚拟机实例并不能达到节省成本支出的效果。动态多云环境的独有特征和工作流自身的复杂依赖结构给带截止日期约束工作流组的在线优化调度和执行实例自适应分配整合问题带来巨大挑战。

当前许多云服务提供商为终端用户提供自适应调整执行实例资源量的应用编程接口(Application Programming Interface,API)，方便用户在执行应用过程中动态调整所需资源量，减少执行代价。当前的云服务提供商，如AWS和RightScale，主要通过提供基于调度缩放和规则缩放两种机制来自适应调整执行实例资源量。基于调度缩放的自适应资源调整机制允许用户在某个时间段对执行实例资源进行添加或删除，如在每天的8:00到17:00之间，为用户提供20个高计算性能虚拟机实例，而其他时间段则仅提供5个高性能虚拟机实例。基于规则缩放的自适应资源调整机制则允许用户定义资源调整触发机制和措施规则，如当执行实例的CPU平均利用率超过80％时，则立刻添加新的执行实例；当CPU平均利用率低于20％，则迁移其中利用率最低实例上的任务，并关闭该执行实例。当用户可以预知工作流负载情况和到达规律时，以上两种资源缩放机制将为实例自适应分配整合提供便利。然而，现实环境下工作流组的到达时间和性能需求并不确定，因此需要一种动态环境下的资源缩放机制，在保证不确定工作流组性能需求前提下，自适应分配整合对应执行实例资源。

针对带截止日期约束工作流的调度问题，目前在云环境下的研究工作已陆续展开。Abrishami等人扩展传统网格环境下基于截止日期约束的工作流调度算法，该扩展方法是基于IaaS云环境并设计了两种新的云环境调度算法IC-PCP和IC-PCPD2，新算法考虑云计算的主要特征，如按需资源调配，均质网络环境和按区间要价的定价模式等，他们的目标是在用户规定的截止日期前完成工作流调度的同时最小化工作流的执行成本，该方法的目的与本发明工作相似，但其仅考虑单一的工作流调度方案，并未对不确定工作流组的调度工作深入探讨。Sakellariou等人在网格环境下提出的基于预算限制的单一工作流代价驱动GAIN调度算法，该算法利用最高性价比分配策略和逐步逼近地方式调整分配方案，该方法对本发明的截止日期分配过程有一定的启发作用。Mao和Humphrey考虑带截止日期约束工作流组的代价优化调度问题，提出一种自适应资源缩放方法，可以有效的降低执行实例成本支出，但其主要基于单云环境下的任务调度分配，并未考虑多云环境下的资源分配和任务调度问题。Malawski等人设计基于预算和截止日期双约束的工作流组静态和动态调度算法，其考虑到工作流中任务执行时间的不确定性，虚拟机启动的延时性等因素，利用关键的工作流准入技术在双约束前提下保障工作流组的完成率，该工作对本发明工作流组调度过程中任务执行时间和虚拟机启动延时因素的考虑具有一定借鉴作用，但其仅考虑一种虚拟机实例类型，未对多云环境下的多类型实例展开讨论。

发明内容

本发明的目的在于克服现有技术的不足，提供多云环境下基于实例自适应分配整合的工作流组调度方法。

本发明采用的技术方案是：

多云环境下基于实例自适应分配整合的工作流组调度方法，其包括以下步骤：

步骤1：扫描待执行工作流组，获取多云环境下的有效实例类型、已启动的虚拟机资源以及已启动的虚拟机资源上的任务执行情况信息；

步骤2：对待执行工作流组的各个工作流进行压缩‘有向割边’预处理操作；

步骤3：各个工作流进行截止日期再分配操作，计算假设执行区间，并对并行小任务进行转串行操作；

步骤4：计算各个任务对应不同实例类型的执行向量，获取当前启动虚拟机的执行状况和资源数量，对执行实例进行动态整合操作；

步骤5：判断是否存在资源供应不足的情况；

当存在资源供应不足，则启动新的对应数量资源实例，并转到步骤3执行；

否则，转到步骤6执行；

步骤6：判断是否出现资源供应过剩情况；

当存在资源供应过剩时，迭代判断并关闭空转的虚拟机，并转到步骤7执行；

当不存在资源供应过剩时，转到步骤7执行；

步骤7：按照任务最早子截止日期优先原则，对任务进行调度分配操作，每个任务都有相应的执行区间每个任务对应一个执行实例类型。

进一步地，任务执行情况信息包括每个工作流的到达时间和约束截止日期、每个工作流中每个任务的执行负荷量、每个任务对应不同实例类型虚拟机的执行时间。

进一步地，步骤2的具体步骤：

步骤2-1，在输入工作流过程中记录每个任务相应的出度和入度；

步骤2-2，构造一个父亲儿子图矩阵；

步骤2-3，判定父节点是否仅有一个儿子节点，且该儿子节点入度为1；

步骤2-4，并以该儿子节点为新的父节点迭代寻找新的‘有向割边’；

步骤2-5，将寻找到的‘有向割边’删除，合并对应的两个任务，更新相应执行时间；

步骤2-6，重复步骤2-3至步骤2-5直到不存在‘有向割边’。

进一步地，步骤3的具体步骤：

步骤3-1，确认当前多云环境下的所有有效实例类型，并将工作流中的所有任务按照相应顺序分别假设分配到对应的性价比最高实例中去，形成工作流任务的假设分配方案；

步骤3-2，对并行小任务进行转串行操作

步骤3-3，判断假设分配方案的执行时间跨度是否低于工作流的截止日期：

当分配方案的执行时间跨度低于工作流的截止日期时，则输出假设分配方案，后续操作根据该假设分配方案计算每个任务的执行区间分配情况；

当分配方案的执行时间跨度不低于工作流的截止日期时，则依次迭代改变每个任务的分配方案，将任务分配到更快的执行实例上执行，缩短假设分配方案的执行时间跨度。

进一步地，步骤3-2的具体步骤为：转串行操作针对具有相同父节点和子节点且在假设分配实例上的执行时间均不超过该实例要价区间一半的并行任务，并将转化后的串行任务统一假设分配到所有并行任务中执行速度最快的实例上执行，当调整后的合并方案出现超过截止日期约束情况，则立即停止。

进一步地，步骤3-3中采用启发式的方法更新假设分配方案，选取截止日期满足要求且具有最高性价等级的分配方案，性价等级rank的定义如公式(3)所示：

其中makespan(Map_before)表示前一种分配方案的执行时间跨度，makespan(Map_after)表示后一种分配方案的执行时间跨度，cost(Map_before)表示前一种分配方案的执行成本代价，cost(Map_after)表示后一种分配方案的执行成本代价。

进一步地，步骤4包括执行实例分配步骤和执行实例整合步骤；

执行实例分配步骤的具体方法为：

步骤4-1，计算每个任务对应不同实例类型虚拟机的执行时间：设定每个任务t_ij在假设分配中的开始时间为T₀，每个任务t_ij在假设分配中的结束时间为T1，则每个任务对应不同实例类型虚拟机的执行时间T_exe(t_ij,s_pk)计算公式如下：

其中Load_ij为每个任务t_ij对应的执行负荷量，表示实例类型s_pk的CPU数量，vel表示每个CPU的处理速度；

步骤4-2，将实例类型s_pk对应某一任务t_ij的执行单量ev(t_ij,s_pk)的定义为：

其中ev(t_ij,s_pk)表示任务t_ij对应实例类型s_pk的执行单量，T_exe(t_ij,s_pk)为任务t_ij在实例类型为s_pk的虚拟机上执行时间，T1为任务t_ij在假设分配中的结束时间，T₀为任务t_ij在假设分配中的开始时间；

步骤4-3，分别计算工作流上所有任务对应于不同实例类型的执行向量形成矩阵S_EV，执行向量形成矩阵S_EV，计算公式如下；

其中s_pk,s_qk...s_rk分别表示不同的实例类型虚拟机，执行向量EV(w_i,s_pk)，EV(w_i,s_qk)...EV(w_i,s_rk)分别表示在不同实例类型虚拟机上执行完成任务流w_i所需的虚拟机数量，ev(t_i1,s_pk),ev(t_i2,s_pk),…,ev(t_in,s_pk)，ev(t_i1,s_qk),ev(t_i2,s_qk),…,ev(t_in,s_qk)，...，ev(t_i1,s_rk),ev(t_i2,s_rk),…,ev(t_in,s_rk)分别表示不同实例类型虚拟机上对应任务流w_i的各个任务所需的虚拟机数量；

步骤4-4，通过将矩阵S_EV的行向量相加得到对应实例类型的执行向量之和，即为在截止日期D(w_i)内执行完成工作流w_i所需对应实例类型的虚拟机数量N_P＝{N_pk,N_qk,...,N_rk}；

步骤4-5，在动态调度过程中保证任何时刻的虚拟机数量大于等于对应实例类型的执行向量之和，即工作流中的任务均可在对应子截止日期前被执行完成；

执行实例整合步骤的具体方法为：

步骤4-6，当发现某种实例类型的执行向量和大于目前启动的对应虚拟机数量时，查找其他资源有剩余的实例类型；

步骤4-7，将未能在当前类型实例上完成的子截止日期最近的任务分配到其他实例类型的虚拟机上执行；

步骤4-8，循环步骤步骤4-6和步骤4-7直到启动的类型实例的虚拟机数量超过其对应执行向量和，才跳出循环等待下一个虚拟机资源量不满足需求的实例动态整合过程。

进一步地，步骤7的具体步骤为：

步骤7-1，将假设分配到该实例类型的所有任务按照它们的子截止日期从小到大排序，

步骤7-2，当该实例类型的某个虚拟机可用时，则按从小到大顺序调度对应任务到该虚拟机上执行；

步骤7-3，当工作流组动态调度过程中发现任务错过对应子截止日期时，立刻启动新的需求执行实例及时完成该错过的任务。

本发明采用以上技术方案，通过预处理手段对工作流任务进行压缩，减少算法的执行时间；其次，设计一种基于实例执行性能的任务截止日期动态划分方法，从单工作流局部层面提高执行实例的利用率；再次，基于当前工作流组的性能需求，动态分配并整合相应的执行实例资源，从全局角度提高执行实例利用率，减少成本支出；最后，按照最短截止日期优先的原则，动态调度任务集到对应的实例上执行，保证各个任务在其对应子截止日期前被执行完成。本发明利用本方法同时从局部和全局两种层面分别对带截止日期工作流组优化调度和实例自适应分配整合展开深入研究，在满足工作流组性能需求的同时提高资源利用率，降低执行成本支出。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明多云环境下基于实例自适应分配整合的工作流组调度方法的流程示意图；

图2为本发明多云环境下基于实例自适应分配整合的工作流组调度方法的框架示意图；

图3为本发明多云环境下基于实例自适应分配整合的工作流组调度方法的并行执行小任务转串行任务示例图；

图4为本发明多云环境下基于实例自适应分配整合的工作流组调度方法的基于执行单量的任务分配示例图；

图5为本发明多云环境下基于实例自适应分配整合的工作流组调度方法的执行实例整合示意图。

具体实施方式

如图1-5之一所示，本发明公开了多云环境下基于实例自适应分配整合的工作流组调度方法，本发明主要侧重公有云的工作流组调度方案，通过实例自适应分配整合和基于最早截止日期优先的调度原则分配调度工作流组任务，设置扫描周期N_scan为0，则本发明是一种实时监督算法，其包括以下步骤：

步骤1：扫描待执行工作流组，获取多云环境下的有效实例类型、已启动的虚拟机资源以及已启动的虚拟机资源上的任务执行情况信息；

步骤2：对待执行工作流组的各个工作流进行压缩‘有向割边’预处理操作；

步骤3：各个工作流进行截止日期再分配操作，计算假设执行区间，并对并行小任务进行转串行操作；

步骤4：计算各个任务对应不同实例类型的执行向量，获取当前启动虚拟机的执行状况和资源数量，对执行实例进行动态整合操作；

步骤5：判断是否存在资源供应不足的情况；

当存在资源供应不足，则启动新的对应数量资源实例，并转到步骤3执行；

否则，转到步骤6执行；

步骤6：判断是否出现资源供应过剩情况；

当存在资源供应过剩时，迭代判断并关闭空转的虚拟机，并转到步骤7执行；

当不存在资源供应过剩时，转到步骤7执行；

步骤7：按照任务最早子截止日期优先原则，对任务进行调度分配操作，每个任务都有相应的执行区间每个任务对应一个执行实例类型。

下面就本发明的具体内容做详细说明：

本发明考虑的动态多云环境下基于实例自适应分配整合的在线工作流组调度问题模型，主要侧重研究带截止日期约束工作流组的在线优化调度和执行实例自适应分配整合策略。

对于某个工作流w_i，用对应的有向无环图G_i(Vertex_i,Edge_i)来表示，其包含点集Vertex_i和边集Edge_i。Vertex_i是一个含有n个任务节点的有限点集{t_i1,t_i2,...,t_in}，而Edge_i则用来表示任务之间控制依赖关系的有限边集{e_i12,e_i13,...,e_ijk}。由于本发明侧重研究执行实例动态分配和整合对工作流调度的影响，所以本发明的工作流模型暂时不考虑任务间的数据传输因素。每条数据依赖边e_ij＝(t_i,t_j)代表任务t_i和任务t_j之间存在数据依赖关系，其中任务t_i是任务t_j的直接先驱(父)节点，而任务t_j则是任务t_i的直接后继(子)节点。在工作流调度过程中，一个任务必须在其所有先驱节点都已被执行完毕后，该任务才能开始执行。在某个给定的代表工作流的有向无环图中，把没有先驱节点的任务称为‘入任务’，同理，把没有后继节点的任务称为‘出任务’。另外，每个工作流w_i都有相应的到达时刻Arrived(w_i)和约束截止日期D(w_i)，其分别表示对应工作流被提交到多云调度系统的时刻和其本身用户定义的截止日期约束条件。每个工作流w_i中的任务t_ij都有一个对应的执行负荷量Load_ij，该任务对应不同实例类型虚拟机s_pk的执行时间T_exe(t_ij,s_pk)与该负荷量呈正相关关系，其静态定义如公式(1)所示：

其中表示实例类型s_pk的CPU数量，vel表示每个CPU的处理速度。本发明还考虑虚拟机执行性能波动因素。工作流组W中的各个工作流的到达时刻和资源需求量都是不可预判的。

不同的IaaS服务提供商P＝{p,q,...,r}，每个服务提供商p提供多种不同类型的实例类型S_p＝{s_p1,s_p2,...,s_pm}。每种类型的虚拟机实例都有其特定的计算能力和存储能力，本发明假设虚拟机在执行子任务过程中有足够的存储空间来存储传输数据，因此本文主要关注虚拟机计算能力(即CPUs数量)。本发明的同样假设虚拟机服务执行的要价区间是按1小时收费。每种实例类型s_pk有一个对应的每小时收费价格c_pk。由云服务提供商p提供的实例类型为s_pk的虚拟机vm_pkj，在被终端用户初次租赁时，需要一定的初始化启动时间T_boot(vm_pkj)来进行初始化配置。由于多云系统中工作流组的不确定到达性，且虚拟机实例需要一定的启动时间才能执行相应任务，所以每个云服务提供商需要良好的实例动态分配和整合策略，避免频繁开启或关闭执行实例，带来系统损耗。为进一步说明实例分配整合策略对工作流组在线调度的重要性，本发明同样考虑执行实例初始化启动时间波动带来的影响。

本发明主要考虑多云环境下，如何通过实例自适应分配整合策略来合理调度带截止日期约束的不确定工作流组，目的是在各个工作流截止日期前执行完成相应工作流，并进一步减少公有云下的工作流组执行代价。多云环境下带截止日期约束工作流组的代价优化调度问题模型，可形式化表示为公式(2):

其中Re表示执行工作流组过程中用到的所有执行实例集合，Tle(vm_i)和Tls(vm_i)分别表示执行实例vm_i对应的关闭时刻和开启时刻，s(vm_i)表示虚拟机vm_i所属的实例类型，p(vm_i)表示虚拟机vm_i所属的云服务提供商，则是该服务提供商对应的要价区间，AET(t_ij)表示工作流w_i的任务t_ij的实际执行完成时间。

调度方法

本节具体介绍动态多云环境下基于实例自适应分配整合的在线工作流组调度算法(Online Workflow Ensembles Scheduling based on Adaptive Allocation andConsolidation for the Instances,OWSA2CI)，其目的是在满足不确定工作流组对应截止日期约束前提下，提高执行实例利用率，减少执行成本支出。由于工作流组的到达时刻和到达规模都是不可预知的，所以OWSA2CI算法是一种实时在线算法。OWSA2CI算法每隔N_scan秒周期性地执行一次，为了更加符合实际环境操作过程，本发明的N_scan扫描周期定义为实时扫描，即N_scan＝0，根据当前系统的资源更新信息，对已到多云环境下的工作流组进行任务调度，并及时分配整合实例资源。由于云环境下的实例资源的收费标准是按区间(1小时)收费，并不是按实际执行时间收费，所以算法对未完全利用实例进行实例整合操作。首先，通过预处理手段对工作流任务进行压缩，减少算法的执行时间；其次，设计一种基于实例执行性能的任务子截止日期动态划分方法，从单工作流局部层面提高执行实例的利用率；再次，基于当前工作流组的性能需求，动态分配并整合相应的执行实例资源，从全局角度提高执行实例利用率，减少成本支出；最后，按照最短截止日期优先的原则，动态调度任务集到对应的实例上执行，保证各个任务在其对应子截止日期前被执行完成。本节将从工作流预处理、工作流截止日期再分配、执行实例分配整合、工作流组动态调度和算法的流程等四个方面具体介绍OWSA2CI调度算法。

工作流预处理：由于多云环境不包含私有云资源有限的限制，且追求的目标是最小化工作流组执行代价，所以工作流组的执行先后顺序不影响整体调度性能，在此不展开讨论。为了提高算法的时间执行性能，需要根据工作流的结构特点，对其进行预处理操作。其核心思想就是通过合并存在‘有向割边’的相邻任务，压缩工作流的数据传输量，缩短算法执行时间。首先，在输入工作流过程中记录每个任务相应的出度和入度；然后，为了减少寻找‘有向割边’的时间复杂度，本发明构造一个父亲儿子图矩阵father-son来直接判定父节点是否仅有一个儿子节点，且该儿子节点入度为1，并以该儿子节点为新的父节点迭代寻找新的‘有向割边’；将寻找到的‘有向割边’删除，合并对应的两个任务，更新相应执行时间，反复处理直到不存在‘有向割边’。

工作流截止日期再分配：对于每个到达多云环境的工作流w_i，都有相应的到达时刻Arrived(w_i)和约束截止日期D(w_i)，由于OWSA2CI算法为实时扫描算法，所以用户定义的截止日期D(w_i)即为执行调度操作过程中的最终截止日期。在执行调度前，把工作流中的任务划分成可以独立调度(不含依赖关系)的任务，所以需要把工作流的截止日期分配到任务上，即任务的子截止日期。如果工作流中的所有任务能够在其子截止日期前执行完成，整个工作流就可以在其对应的截止日期前执行完成。

首先，确认当前多云环境下的所有有效实例类型，并将工作流w_i中的所有任务按照相应顺序分别假设分配到对应的性价比最高实例中去，形成w_i的任务假设分配方案Map。假设分配是计算假设，并未在实际调度中真正分配，该操作只是为后续实际分配做铺垫。本发明用性价比最高的实例替代单云环境下的‘最适合’实例分配策略或者最快执行实例分配策略，主要是考虑工作流组是连续到达，一个实例可能同时需要执行多个不同工作流的任务；接着，考虑第出现的多个并行小任务单独占用执行实例小部分时间，浪费大量剩余执行时间的问题，采用并行执行小任务转串行任务操作Parallel_to_Serial(G_i(Vertex_i,Edge_i),D(w_i),Map)处理过程；最后，如果形成的假设分配方案Map的执行时间跨度makespan(Map)低于工作流w_i的截止日期D(w_i)，则输出假设分配方案，后续操作可以根据该方案计算每个任务的执行区间分配情况，否则，依次迭代改变每个任务的分配方案，将任务分配到更快一些的执行实例上执行，缩短假设分配方案的执行时间跨度。本发明的截止日期分配方案主要考虑在实际执行过程中，任务最终需要分配到执行实例上执行，具体执行区间需要依靠实例决定。在更新假设分配方案过程中，引入启发式方法，选取截止日期满足要求且具有最高性价等级的分配方案，性价等级rank的定义如公式(3)所示。

其中makespan(Map_before)和makespan(Map_after)分别表示前一种分配方案和后一种分配方案的执行时间跨度大小，而cost(Map)则是对应分配方案的执行成本代价，该代价按执行实例实际执行时间计算，而不是按云计算环境下的区间要价计算模式，由于此处的分配方案是假设分配，所以不按区间要价计算模式计算单工作流执行代价。

Parallel_to_Serial是并行执行小任务转串行任务过程操作，该处理过程主要针对云环境下存在一些并行任务的实例执行时间较短，产生大量的实例空闲时间，造成资源浪费。通过将占用短暂执行实例时间的并行任务转化成串行执行任务，可以有效提高执行实例资源利用率。本发明利用广度优先搜索策略，串行转化具有相同父节点和子节点，且在假设分配实例上的执行时间均不超过该实例要价区间一半的并行任务，并将这些转化后的串行任务统一假设分配到所有并行任务中执行速度最快的实例上执行。为了满足算法的完整性，即在并行转串行过程中，会出现假设分配方案的执行时间超过截止日期，所有需要对这种异常情况进行特殊处理，本发明对调整后的合并方案，一旦出现超过截止日期约束情况，则立即停止。

图3是并行执行小任务转串行任务过程的示例图。转串行前，工作流占用5个执行实例，且任务t₃，t₄，t₅，t₆是具有相同父节点t₁和子节点t₇的并行任务，分别占用其中一个执行实例，且其中vm₃执行速度最快。按照转化原则并行任务t₃，t₄，t₅，t₆转化成串行任务，并分配到执行速度最快的vm₃实例上执行，并能够在工作流截止日期前完成，并行任务转串行之后，可以节省出两个小时的执行实例时间费用。

执行实例分配整合

本发明中实例分配整合包括a.执行实例分配和b.执行实例整合，具体说明如下：

a.执行实例分配：经过工作流截止日期再分配处理过程，每个任务t_ij都有一个对应的假设执行区间Interval_ij(T₀,T₁)，该假设执行期间是基于每个任务对应不同类型执行实例的预计执行时间决定的。其中T₀表示任务在假设分配中的开始时间，T1则对应结束时间，任务t_ij的假设执行区间Interval_ij(T₀,T₁)定义如下：

Interval_ij(T₀,T₁)＝[T₀,T₁] (4)

另外，任务t_ij在实例类型为s_pk的虚拟机上执行时间为T_exe(t_ij,s_pk)，定义工作流上所有任务对应该类型实例的执行向量EV(w_i,s_pk)＝{ev(t_i1,s_pk),ev(t_i2,s_pk),…,ev(t_in,s_pk)}，其中ev(t_ij,s_pk)表示任务t_ij对应实例类型s_pk的执行单量，其定义如下：

从公式(5)的定义可知，执行单量ev(t_ij,s_pk)表示在实例类型s_pk虚拟机上执行完成任务t_ij所需的虚拟机数量，由于本文研究的工作流最小粒度是任务，任务不允许再拆分，所以当执行单量ev(t_ij,s_pk)大于1时，即执行时间超过了假设执行区间，则表示该任务在该实例类型虚拟机上无法在子截止日期内被执行完成。构建执行单量的目的，是为执行实例分配和整合做准备，如图4所示，有两个任务t_i1的t_i2，假设经过工作流截止日期再分配处理后，它们的假设执行区间分别是Interval_i1(5:00,6:00)和Interval_i2(5:20,5:40)，它们在执行实例vm_pk1上执行的预估执行时间分别是20分钟和10分钟，所以这两个任务对应实例类型s_pk的执行单量分别是1/3和1/2，这二者之和不超过1，所以可以把这两个任务同时分配到实例vm_pk1上执行，且能够在它们各自对应的假设执行区间内完成。

针对多云环境下多个云服务提供商的不同实例类型，分别计算工作流上所有任务对应于不同实例类型的执行向量形成矩阵S_EV，如公式(6)所示，通过将矩阵S_EV的行向量相加，则每行相加结果即为在截止日期D(w_i)内执行完成工作流w_i所需对应实例类型的虚拟机数量N_P＝{N_pk,N_qk,...,N_rk}。在动态调度过程中，保证任何时刻的虚拟机数量大于等于对应类型的执行向量之和，则工作流中的任务均可在对应子截止日期前被执行完成。

另外，本发明考虑由云服务提供商p提供的实例类型为s_pk的虚拟机vm_pkj，需要一定的初始化启动时间T_boot(vm_pkj)来进行初始化配置，所以任务t_ij的假设执行区间Interval_ij(T₀,T₁)被迫收到压缩，当任务假设分配到虚拟机vm_pkj上执行，公式(4)重新定义如下：

Interval_ij(T₀,T₁)＝[T₀+T_boot(vm_pkj),T₁] (7)

通过计算执行向量，可以动态分配执行实例资源，同样的，当虚拟机数量N_P超过对应类型实例的执行向量之和，且出现某些虚拟机空转大于一个要价周期，则通过关闭该虚拟机来提高实例资源利用率。不确定虚拟机启动时间对实例资源开启和关闭分配策略的性能会造成影响，本发明将在实验测试阶段具体说明。另外，基于执行向量进行的实例资源开启和关闭分配策略，需要动态更新各个任务的执行向量，在更新执行向量前，需要重新执行工作流截止日期再分配处理过程，因为在动态多云环境中，虚拟机实际执行时间不确定，一些任务可能比预期分配的子截止日期提早完成，这样可以让后续依赖任务分配到速度低但廉价的虚拟机上执行，降低执行成本。

b.执行实例整合：工作流组动态调度过程中，理想的分配方案是将每个任务调度到其对应性价比最高的执行实例上执行，且被启动的所有虚拟机实例的利用率都达到百分百。然而，在实际动态调度过程中，往往会出现一些虚拟机实例的利用率低下情况，这主要是因为工作流组的不确定到达和任务的执行时间存在差异等因素造成。为了提高执行实例的资源利用率，本发明对一些执行实例进行整合操作，将某些任务转移分配到其非最高性价比的执行实例上执行，达到降低工作流组总执行代价的目的。如图5所示，任务t_i1原先的假设分配执行实例是vm_pk1，任务t_i2原先的假设分配执行实例是vm_pj1，二者均只占用对应执行实例上某个要价区间的小部分时间，且在该要价区间内，没有其他任务占用这两个执行实例，故本发明通过将任务t_i1和t_i2整合分配到执行实例vm_pk1上，虽然任务t_i2的最高性价比执行实例不是vm_pk1，且在其上的执行时间更长，但这种实例整合方案能够节省一小时的实例vm_pj1执行代价。这里需要注意的是，在实例整合过程中，需要保证每个任务在对应子截止日期前完成。

执行实例动态整合操作，首先，将不同类型实例的执行向量相加，即计算完成当前任务所需的基本资源量，确认当前多云环境下不同类型启动虚拟机的资源量，基于这些相关更新信息对执行实例进行整合；当发现某种类型实例s_pk的执行向量和大于目前启动的对应虚拟机数量，本发明不采用立刻启动新实例的措施，而是通过不断查找其他资源有剩余的实例类型s_qk，将未能在类型实例s_pk上完成的子截止日期最近的任务t_{top_in_Spk}分配到实例类型s_qk的虚拟机上执行；该处理是一个循环过程，直到目前启动的类型实例s_pk的虚拟机数量超过其对应执行向量和，才跳出循环，进行下一个虚拟机资源量不满足需求的实例动态整合过程。

工作流组动态调度

经过执行实例动态分配整合过程，确定云环境下各种类型的执行实例需求数量，本发明通过最早截止日期优先EDF算法，对经过截止日期再分配处理的各个任务进行动态调度。截止日期再分配和执行实例分配整合过程确定了某个任务对应的执行实例类型。针对某种类型的执行实例，将假设分配到该类型实例的所有任务按照它们的子截止日期从小到大排序，当该类型的某个虚拟机可用时，则立刻按顺序调度对应任务到该虚拟机上执行。在工作流组动态调度过程中，任务错过对应子截止日期的情况会被及时发现，能够立刻启动新的需求执行实例来及时完成该任务，即在整个调度过程中，能够保证足够的执行实例资源量，但却不产生冗余浪费资源。

本发明采用以上技术方案，通过预处理手段对工作流任务进行压缩，减少算法的执行时间；再设计一种基于实例执行性能的任务截止日期动态划分方法，从单工作流局部层面提高执行实例的利用率；再次，基于当前工作流组的性能需求，动态分配并整合相应的执行实例资源，从全局角度提高执行实例利用率，减少成本支出；最后，按照最短截止日期优先的原则，动态调度任务集到对应的实例上执行，保证各个任务在其对应子截止日期前被执行完成。本发明利用本方法同时从局部和全局两种层面分别对带截止日期工作流组优化调度和实例自适应分配整合展开深入研究，在满足工作流组性能需求的同时提高资源利用率，降低执行成本支出。

Claims (8)

1.多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：其包括以下步骤：

步骤1：扫描待执行工作流组，获取多云环境下的有效实例类型、已启动的虚拟机资源以及已启动的虚拟机资源上的任务执行情况信息；

步骤2：对待执行工作流组的各个工作流进行压缩‘有向割边’预处理操作；

步骤3：各个工作流进行截止日期再分配操作，计算假设执行区间，并对并行小任务进行转串行操作；

步骤4：计算各个任务对应不同实例类型的执行向量，获取当前启动虚拟机的执行状况和资源数量，对执行实例进行动态整合操作；

步骤5：判断是否存在资源供应不足的情况；

当存在资源供应不足，则启动新的对应数量资源实例，并转到步骤3执行；

否则，转到步骤6执行；

步骤6：判断是否出现资源供应过剩情况；

当存在资源供应过剩时，迭代判断并关闭空转的虚拟机，并转到步骤7执行；

当不存在资源供应过剩时，转到步骤7执行；

步骤7：按照任务最早子截止日期优先原则，对任务进行调度分配操作，每个任务都有相应的执行区间每个任务对应一个执行实例类型。

2.根据权利要求1所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤1中任务执行情况信息包括每个工作流的到达时间和约束截止日期、每个工作流中每个任务的执行负荷量、每个任务对应不同实例类型虚拟机的执行时间。

3.根据权利要求1所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤2的具体步骤：

步骤2-1，在输入工作流过程中记录每个任务相应的出度和入度；

步骤2-2，构造一个父亲儿子图矩阵；

步骤2-3，判定父节点是否仅有一个儿子节点，且该儿子节点入度为1；

步骤2-4，并以该儿子节点为新的父节点迭代寻找新的‘有向割边’；

步骤2-5，将寻找到的‘有向割边’删除，合并对应的两个任务，更新相应执行时间；

步骤2-6，重复步骤2-3至步骤2-5直到不存在‘有向割边’。

4.根据权利要求1所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤3的具体步骤：

步骤3-1，确认当前多云环境下的所有有效实例类型，并将工作流中的所有任务按照相应顺序分别假设分配到对应的性价比最高实例中去，形成工作流任务的假设分配方案；

步骤3-2，对并行小任务进行转串行操作

步骤3-3，判断假设分配方案的执行时间跨度是否低于工作流的截止日期：

当分配方案的执行时间跨度低于工作流的截止日期时，则输出假设分配方案，后续操作根据该假设分配方案计算每个任务的执行区间分配情况；

当分配方案的执行时间跨度不低于工作流的截止日期时，则依次迭代改变每个任务的分配方案，将任务分配到更快的执行实例上执行，缩短假设分配方案的执行时间跨度。

5.根据权利要求4所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤3-2的具体步骤为：转串行操作针对具有相同父节点和子节点且在假设分配实例上的执行时间均不超过该实例要价区间一半的并行任务，并将转化后的串行任务统一假设分配到所有并行任务中执行速度最快的实例上执行，当调整后的合并方案出现超过截止日期约束情况，则立即停止。

6.根据权利要求4所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤3-3中采用启发式的方法更新假设分配方案，选取截止日期满足要求且具有最高性价等级的分配方案，性价等级rank的定义如公式(3)所示：

其中makespan(Map_before)表示前一种分配方案的执行时间跨度，makespan(Map_after)表示后一种分配方案的执行时间跨度，cost(Map_before)表示前一种分配方案的执行成本代价，cost(Map_after)表示后一种分配方案的执行成本代价。

7.根据权利要求1所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：步骤4包括执行实例分配步骤和执行实例整合步骤；

执行实例分配步骤的具体方法为：

步骤4-1，计算每个任务对应不同实例类型虚拟机的执行时间：设定每个任务t_ij在假设分配中的开始时间为T₀，每个任务t_ij在假设分配中的结束时间为T1，则每个任务对应不同实例类型虚拟机的执行时间T_exe(t_ij,s_pk)计算公式如下：

其中Load_ij为每个任务t_ij对应的执行负荷量，表示实例类型s_pk的CPU数量，vel表示每个CPU的处理速度；

步骤4-2，将实例类型s_pk对应某一任务t_ij的执行单量ev(t_ij,s_pk)的定义为：

其中ev(t_ij,s_pk)表示任务t_ij对应实例类型s_pk的执行单量，T_exe(t_ij,s_pk)为任务t_ij在实例类型为s_pk的虚拟机上执行时间，T1为任务t_ij在假设分配中的结束时间，T₀为任务t_ij在假设分配中的开始时间；

步骤4-3，分别计算工作流上所有任务对应于不同实例类型的执行向量形成矩阵S_EV，执行向量形成矩阵S_EV，计算公式如下；

其中s_pk,s_qk...s_rk分别表示不同的实例类型虚拟机，执行向量EV(w_i,s_pk)，EV(w_i,s_qk)...EV(w_i,s_rk)分别表示在不同实例类型虚拟机上执行完成任务流w_i所需的虚拟机数量，ev(t_i1,s_pk),ev(t_i2,s_pk),…,ev(t_in,s_pk)，ev(t_i1,s_qk),ev(t_i2,s_qk),…,ev(t_in,s_qk)，...，ev(t_i1,s_rk),ev(t_i2,s_rk),…,ev(t_in,s_rk)分别表示不同实例类型虚拟机上对应任务流w_i的各个任务所需的虚拟机数量；

步骤4-4，通过将矩阵S_EV的行向量相加得到对应实例类型的执行向量之和，即为在截止日期D(w_i)内执行完成工作流w_i所需对应实例类型的虚拟机数量N_P＝{N_pk,N_qk,...,N_rk}；

步骤4-5，在动态调度过程中保证任何时刻的虚拟机数量大于等于对应实例类型的执行向量之和，即工作流中的任务均可在对应子截止日期前被执行完成；

执行实例整合步骤的具体方法为：

步骤4-6，当发现某种实例类型的执行向量和大于目前启动的对应虚拟机数量时，查找其他资源有剩余的实例类型；

步骤4-7，将未能在当前类型实例上完成的子截止日期最近的任务分配到其他实例类型的虚拟机上执行；

步骤4-8，循环步骤步骤4-6和步骤4-7直到启动的类型实例的虚拟机数量超过其对应执行向量和，才跳出循环等待下一个虚拟机资源量不满足需求的实例动态整合过程。

8.根据权利要求1所述的多云环境下基于实例自适应分配整合的工作流组调度方法，其特征在于：

步骤7的具体步骤为：

步骤7-1，将假设分配到该实例类型的所有任务按照它们的子截止日期从小到大排序，

步骤7-2，当该实例类型的某个虚拟机可用时，则按从小到大顺序调度对应任务到该虚拟机上执行；

步骤7-3，当工作流组动态调度过程中发现任务错过对应子截止日期时，立刻启动新的需求执行实例及时完成该错过的任务。