CN104965755B - 基于预算约束的云服务工作流调度方法 - Google Patents

Abstract

本发明公开了一种基于预算约束的云服务工作流调度方法，属于云计算调度技术领域。本发明方法以用户租用云服务的花费不超出用户的资金预算作为约束条件，以工作流最大完工时间最小化为目标，为工作流中的各任务分配相应的虚拟机。本发明进一步通过构建的两个权值分别进行初始调度和重调度，使得算法更简单快速。本发明实现了云环境资源的高效供应，在有效保证了在用户预算之内完成其工作流的情况下，最小化了工作流的完工时间，且算法简单，易于实现。

Description

基于预算约束的云服务工作流调度方法

技术领域

本发明涉及云计算调度技术领域，尤其涉及一种基于预算约束的云服务工作流调度方法。

背景技术

云计算是一种以商业为主要推动力的计算模型和服务模式，从计算资源提供的角度来看，它是将计算资源作为一种服务通过网络提供给用户的计算模式，用户以便捷和按需扩展的方式来使用计算资源(包括数据软件硬件和网络带宽等)，无须了解它提供过程的细节。云计算提供的资源服务从具体应用角度分为三个层次，即软件即服务(SaaS)平台即服务(PaaS)和基础设施即服务(IaaS)这三个层次分别侧重于不同的应用，但是它们包含着相同的问题，即资源调度问题。

调度问题是云计算中的一个重要问题，直接关系到云服务的稳定性、资源的使用效率、用户满意度和运营成本。因此，对云计算调度问题的研究无论从理论技术本身还是实际应用价值方面都有非常重要的意义。与传统调度的研究重点不同，云资源以虚拟资源为核心决定了云调度的研究侧重于虚拟资源调度。由于云计算的商业应用模式，现在的研究多以降低成本、减少能耗等作为优化目标。

云计算的用户根据服务标准协议(Service Level Agreement)购买服务，该协议规定了用户需求的服务质量(Quality of Service)。现有的商业化云平台其收费通常按照周期进行计费，例如一天、一小时等。即使用户使用服务不满一天/小时，也按一天/小时来收取费用。

在分布式系统下，大量科学应用的计算模型都是采用工作流来表示的。通常我们采用有向无环图来表示工作流，其中每个节点表示一个计算任务，而每条有向线段表示计算任务之间的偏序关系。云环境下的工作流(简称云工作流)计算模型大概描述如下：用工作流模型来描述云计算中的计算任务，用户通过调度器来得出一套方案：采取按需(ondemand)方式租用资源，租用多少种不同型号的资源，如何将任务分配到不同的资源(如不同处理能力的虚拟机)上从而达到最小化任务工期或者最小化成本，确定方案之后，按照需求租用虚拟机。作为分布式系统下的服务提供模型，基础设备即服务(Iaas)对于执行科学计算的工作流，有很多潜在的优势。首先用户可以动态获得和释放所需计算资源，这样用户就能根据工作流的需要和截止时间与预算的约束，决定调整所需资源。其次资源总量可以认为是几乎无限的，意味着无论用户何时需要哪些资源，能够获得这些资源的可能性是非常高的。

目前，考虑按需收费方式、数据传输时间、虚拟机启动时间和软件安装(下载)时间等的云环境下工作流调度方法还寥寥无几。特别是带预算约束的工作流调度，目前还没有针对性的方法。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于预算约束的云服务工作流调度方法，能够实现在用户资金预算之内租用虚拟机，并最小化工作流最大完工时间。

本发明采用以下技术方案解决上述技术问题：

基于预算约束的云服务工作流调度方法，该方法以用户租用云服务的花费不超出用户的资金预算作为约束条件，以工作流最大完工时间最小化为目标，为工作流中的各任务分配相应的虚拟机。

具体地，所述云服务工作流调度方法包括以下步骤：

步骤A、按照其到开始任务的最长路径的长度从大到小的次序，依次对云服务工作流中的各任务分配初始的虚拟机，得到云服务工作流的初始调度方案；对于任意一个当前任务n_i，具体按照以下方法为其分配初始的虚拟机：将当前任务n_i的可选虚拟机按照计算能力从大到小进行排序，先以其中第一个可选虚拟机作为当前任务的当前最佳虚拟机v′，然后计算第二个可选虚拟机v_j相对于当前最佳虚拟机v′的优势权值W₁以及v'相对于v_j的优势权值W₁'，如W₁>W₁'，则将当前最佳虚拟机v'替换为v_j，否则，继续比较下一个可选虚拟机；依此类推，直到当前任务的所有可选虚拟机均完成比较；其中，虚拟机v_j相对于当前最佳虚拟机v′的优势W₁的计算公式如下：

式中，C(n_i,v_j)、est(n_i,v_j)、eft(n_i,v_j)分别表示任务n_i部署在虚拟机v_j上的花费、最早开始时间、最早结束时间；C(n_i,v')、est(n_i,v')、eft(n_i,v')分别表示任务n_i部署在虚拟机v'上的花费、最早开始时间、最早结束时间；α和β是两个0到1之间的预设参数，且α+β＝1；步骤B、首先按照以下公式计算云服务工作流中的每一个任务与每一个虚拟机之间的关系权值，并将所计算出的所有非零的关系权值按照从小到大进行排序：

式中，W₂(n_i,v_j)表示任务n_i与虚拟机v_j之间的关系权值，T_old和C_old是云服务工作流采用初始调度方案的完工时间和花费，T_new和C_new是指采用将任务n_i部署到虚拟机v_j上所得到的新的调度方案下云服务工作流的完工时间和花费；

然后，判断初始调度方案下云服务工作流的花费是否小于用户的资金预算，如是，则从第一个关系权值开始，按照该关系权值所对应的任务和虚拟机向后逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算，如否，则从最后一个关系权值开始，按照该关系权值所对应的任务和虚拟机向前逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算。

相比现有技术，本发明具有以下有益效果：

本发明可在满足用户预算约束的条件下，使得工作流最大完工时间最小；本发明通过构建的两个权值分别进行初始调度和重调度，使得算法更简单快速。

附图说明

图1为现有云环境的架构示意图；

图2为本发明调度方法中初始调度阶段的流程示意图；

图3为本发明调度方法中重调度阶段的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

现有云环境的基本架构如图1所示。用户的需求任务被拆分成若干子任务后，用工作流(workflow)模型表示。工作流用有向无环图表示，每个节点表示一个子任务，节点间的有向弧表示节点间的依赖关系。每个节点需要且仅需要一台一台虚拟机执行完成，不可中断。有多种计算能力不同的虚拟机类型，这就决定每个任务的执行具有多种选择，即多个模态。一般情况下，服务商提供多种不同类型的虚拟机供用户租用，不用的虚拟机具有不同的性能，单位时间的租用费用也各不相同。考虑到用户在租用云服务时通常会有预算约束，因此有必要提供一种在用户预算范围内使得用户的需求任务被最快完成的工作流调度方法。

本发明调度方法分为两个阶段：初始调度阶段和重调度阶段。下面分别予以说明。A、初始调度阶段：

首先计算用户工作流中所有任务的rank值，以该值作为任务的优先级，并按照rank值对所有任务进行降序排列，优先级高的任务优先分配虚拟机资源；rank值是指从有向无环图中的开始结点到当前结点的最长路径的长度，即当前任务到开始任务的最长路径的长度，其计算方法如下：

任务的rank值是递推计算出来的，其中，ω_j表示任务n_j的计算量，pred(n_i)表示任务n_i的直接前驱结点集合；

根据rank值的排序依次计算各任务在不同虚拟机上的占用时间、各任务的最早开始时间、最早结束时间、执行费用。开始任务的最早开始时间设为0，然后根据有向无环图中的偏序关系，数据传输，以及给定的任务所需软件信息，即可依次递推出各个任务的最早开始时间和最早结束时间。任一任务部署在某一虚拟机上的花费(执行费用)为该任务在该虚拟机的占用时间乘以该虚拟机的单位时间租赁费用，其中占用时间包括任务执行时间、数据传输时间和软件安装的准备时间。不同任务(任务)在虚拟机上执行需要不同的软件，如果执行任务的软件尚未安装在相应的虚拟机上，则在任务开始前需要先安装该软件，这段安装时间便是准备时间中的软件安装时间。不同的任务可能会用相同的软件来执行，如果某任务在虚拟机上执行前，已有与该任务所需软件相同的任务也在该虚拟机上执行过，那么无需重复安装该软件，即此时该软件的安装时间为0。在工作流中前后继节点之间有依赖关系，在不考虑数据传输时间的情况下，当一个节点的所有前驱任务完成之后，该节点的任务便可以开始执行，而在考虑数据传输时间的情况下，所有前驱任务完成之后，还要等待该任务所需要的所有前驱任务产生的数据传输至该节点，该节点的任务才可以开始进行，传输这些数据所需要的时间便是准备时间中的数据传输时间，数据传输的时间与所传输数据量的大小和网络带宽有关，等于两者的比值。因此，任务在虚拟机上的占用时间，可按照以下方法确定：首先，根据该任务的计算量和所在虚拟机类型，得出的任务执行时间；然后，查看是否是新租赁的虚拟机，如果是，则将虚拟机加载时间添加到任务执行时间上；如果是已经有的虚拟机实例，则查看上是否有需要的软件，如果没有，则将软件的下载和安装时间添加到任务执行时间上；最后，计算所有前序任务数据传输到该任务上的总时间，并添加到任务占用虚拟机的时间上，得出该任务在该虚拟机上的总占用时间。

根据所构建的一个与任务n_i和虚拟机v_j相关的优势权值W₁(n_i,v_j,v')(简称W₁，若v_j和v'互换位置则简称W₁')，为每个任务选出最优虚拟机，把每个任务分配到相应的虚拟机上，完成初始调度，得到初始调度方案S，并计算初始调度方案下的最大完工时间T_old和总花费C_old。

优势权值W₁(n_i,v_j,v')表征了任务n_i在v_j上执行相对于其在v'上执行的优势，相应地，W₁(n_i,v',v_j)表征任务n_i在v'上执行相对于其在v_j上执行的优势。优势权值的计算方法如下：

其中，v'表示任务n_i的当前最佳虚拟机，C(n_i,v_j)、est(n_i,v_j)、eft(n_i,v_j)分别表示任务n_i部署在虚拟机v_j上的花费、最早开始时间、最早结束时间；C(n_i,v')、est(n_i,v')、eft(n_i,v')分别表示任务n_i部署在虚拟机v'上的花费、最早开始时间、最早结束时间；α和β是两个0到1之间的参数，分别表示花费和时间的影响因子，且α+β＝1，可以根据具体问题合理设置α和β的具体值，使其更符合问题需要，找到最佳方案；

若W₁>W₁'则表明任务n_i在虚拟机v_j上执行相对于其在虚拟机v'上执行更有优势，则将当前最佳虚拟机v'替换为v_j。

在为任务分配最佳虚拟机时，可将所有虚拟机按照计算能力大小升序排列，并将各个任务的最佳虚拟机v'初始化为该队列中的首个虚拟机，然后按照该队列次序依次将各虚拟机与当前最佳虚拟机进行比较。

B、重调度阶段：

本发明根据所构建的一个与任务和虚拟机相关的关系权值W₂(n_i,v_j)来对初始调度方案进行重新调整，具体如下：

首先按照以下公式计算云服务工作流中的每一个任务与每一个虚拟机之间的关系权值，并将所计算出的所有非零的关系权值按照从小到大进行排序：

式中，W₂(n_i,v_j)表示任务n_i与虚拟机v_j之间的关系权值，T_old和C_old是云服务工作流采用初始调度方案的完工时间和花费，T_new和C_new是指采用将任务n_i部署到虚拟机v_j上所得到的新的调度方案下云服务工作流的完工时间和花费；

然后，判断初始调度方案下云服务工作流的花费是否小于用户的资金预算，如是，则从第一个关系权值开始，按照该关系权值所对应的任务和虚拟机向后逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算，如否，则从最后一个关系权值开始，按照该关系权值所对应的任务和虚拟机向前逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算。

图2、图3显示了本发明调度方法的一种具体算法流程，其中图2为初始调度阶段的算法流程，图3为重调度阶段的算法流程。

如图2所示，初始调度阶段包括以下步骤：

步骤s201，计算工作流中每个任务的rank值，并按此值降序排列；

步骤s202，将任务在某虚拟机上的占用时间表示成任务执行时间、软件安装时间和数据传输时间之和，并计算该任务的最早开始时间、最早结束时间以及该任务在虚拟机上的花费；

步骤s203，利用步骤s202中计算出的各个值，计算W1(n_i,v_j,v')；

步骤s204若W₁(n_i,v_j,v')大于W₁(n_i,v',v_j)，则用v_j替换v'；

步骤s205若已计算完所有的W1的值，转步骤s206，否则转步骤s202；

步骤s206，得到初始调度结果S，计算S的完工时间T和总花费C。

如图3所示，重调度阶段包括以下步骤：

步骤s301，建立数组γ[N][V]，根据之前的调度结果，若任务n_i分配到v_j上,则γ[i][j]为0，转步骤s304，否则转步骤s302；

步骤s302，假设把n_i分配到v_j上，并依据之前的规则完成n_i之后的任务的虚拟机分配，并计算此分配下新的完工时间T_new和新的花费C_new；

步骤s303，计算W2(n_i,v_j)，并将其赋给A[i][j]；

步骤s304，将数组γ中的非0值放入数组δ中并升序排列；

步骤s305，若δ非空，转步骤s306，否则转步骤s311；

步骤s306，如果当前花费大于预算值，转步骤s308；否则转步骤s307；

步骤s307从数组δ中取出第一个元素；

步骤s308，从数组δ中取出最后一个元素；

步骤s309，将任务n_i分配到虚拟机v_j上，计算此时的总花费；

步骤s310，如果总花费大于预算值，取消之前的分配动作，转步骤s305；

步骤s311，如果最终的总花费小于预算值，转步骤s305；

步骤s312，返回调度结果S；

步骤s313，返回不存在满足条件的调度方案。

通过上述过程，本发明实现了云环境资源的高效供应，在有效保证了在用户预算之内完成其工作流的情况下，最小化了工作流的完工时间。

Claims (2)

1.基于预算约束的云服务工作流调度方法，其特征在于，该方法以用户租用云服务的花费不超出用户的资金预算作为约束条件，以工作流最大完工时间最小化为目标，为工作流中的各任务分配相应的虚拟机，包括以下步骤：

步骤A、按照其到开始任务的最长路径的长度从大到小的次序，依次对云服务工作流中的各任务分配初始的虚拟机，得到云服务工作流的初始调度方案；对于任意一个当前任务n_i，具体按照以下方法为其分配初始的虚拟机：将当前任务n_i的可选虚拟机按照计算能力从大到小进行排序，先以其中第一个可选虚拟机作为当前任务的当前最佳虚拟机v′，然后计算第二个可选虚拟机v_j相对于当前最佳虚拟机v′的优势权值W₁以及v'相对于v_j的优势权值W₁'，如W₁>W₁'，则将当前最佳虚拟机v'替换为v_j，否则，继续比较下一个可选虚拟机；依此类推，直到当前任务的所有可选虚拟机均完成比较；其中，虚拟机v_j相对于当前最佳虚拟机v′的优势W₁的计算公式如下：

式中，C(n_i,v_j)、est(n_i,v_j)、eft(n_i,v_j)分别表示任务n_i部署在虚拟机v_j上的花费、最早开始时间、最早结束时间；C(n_i,v')、est(n_i,v')、eft(n_i,v')分别表示任务n_i部署在虚拟机v'上的花费、最早开始时间、最早结束时间；α和β是两个0到1之间的预设参数，且α+β＝1；

步骤B、首先按照以下公式计算云服务工作流中的每一个任务与每一个虚拟机之间的关系权值，并将所计算出的所有非零的关系权值按照从小到大进行排序：

式中，W₂(n_i,v_j)表示任务n_i与虚拟机v_j之间的关系权值，T_old和C_old是云服务工作流采用初始调度方案的完工时间和花费，T_new和C_new是指采用将任务n_i部署到虚拟机v_j上所得到的新的调度方案下云服务工作流的完工时间和花费；

然后，判断初始调度方案下云服务工作流的花费是否小于用户的资金预算，如是，则从第一个关系权值开始，按照该关系权值所对应的任务和虚拟机向后逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算，如否，则从最后一个关系权值开始，按照该关系权值所对应的任务和虚拟机向前逐步调整调度方案，直到调整后调度方案下所述云服务工作流的花费恰好不大于用户的资金预算。

2.如权利要求1所述云服务工作流调度方法，其特征在于，任一任务部署在某一虚拟机上的花费为该任务在该虚拟机的占用时间乘以该虚拟机的单位时间租赁费用，所述占用时间包括任务执行时间、数据传输时间和软件安装的准备时间。