CN109828821A - 云环境下基于批任务工作流的虚拟机动态租赁与调度方法 - Google Patents

Abstract

本发明公开了一种云环境下基于批任务工作流的虚拟机动态租赁与调度方法，考虑了基于时间区间的按需收费模型、竞价收费模型，数据传输时间、虚拟机启动时间和软件安装（下载时间），根据竞价时隙的未来预测价格合理的选择时间片。本发明主要描述了三个方法：A）基于价格类型感知和复制策略的调度方案（PRS）；B)基于任务包的延迟调度策略（BDT）；C)基于紧急度的调度方案（USL）；方法A的主要特点是通过调用当前已租赁的虚拟机时隙尽可能地分配任务包中的任务，最大化地利用剩余资源。方法B其主要特点是根据任务包的特性延迟相关的任务，统一地选择虚拟机时隙来节省租赁成本。方法C其主要特点是选择新的虚拟机时根据预测价格选择合适的时隙并给出竞价。本发明通过上述方法，充分降低了整个BoT工作流的租赁成本。

Description

云环境下基于批任务工作流的虚拟机动态租赁与调度方法

技术领域

本发明属于云计算资源调度技术领域，具体地说，是一种云环境下基于批任务工作流的虚拟机动态租赁与调度方法。

背景技术

基于分布式计算特别是网格计算的发展，产生了一种新型服务计算模型：云计算(Cloud Computing)。云计算是一种能够通过网络以便利的、按需的方式访问一个可配置的计算资源共享池的模式，这个资源共享池能以最少的管理开销和最少的与供应商的交互，迅速配置、提供或释放资源。云计算的主要优势在于：能够迅速地降低硬件成本和提升计算能力以及存储容量等；用户可以以极低的成本投入获得极高的计算品质，而不用再投资购买昂贵的硬件设备，进行频繁的保养与升级。

数据规模日益增大，图像处理，参数扫描、数据挖掘和其他的大数据应用通常包含了一些连接步骤，而每一步都需要大量数据的处理。用户处理任务时可租赁的虚拟机主要类型有两种：竞价虚拟机和按需虚拟机。按需虚拟机价格稳定，竞价虚拟机的价格实时变化，且租赁价格往往低于按需虚拟机，而用户设置的出价往往不尽如人意，对竞价虚拟机时隙的租赁得到了适得其反的作用，导致资源浪费，成本提升。因此，用户需要提出一种合理的虚拟机时隙租赁方案和出价策略以在保证系统性能的前提下节省租金开销。

然而，在云计算的实际应用中，通常涉及到虚拟机的设置时间、软件准备时间、数据传输时间、价格变动等多种因素的影响，很难真正利用好空闲资源。

目前已有的算法大多是针对按需虚拟机进行租赁或者基于当前的虚拟机价格对竞价虚拟机进行租赁，前者稳定但是价格高，后者由于没有结合价格预测的功能，往往无法达到应有的效果。

为了节省数据中心的维护开销，各种工作流部署在从公有云租赁的虚拟机上的弹性分布式计算机平台上。已经存在许多算法为工作流服务，但是用已有的调度算法分别执行每个任务包并不能减少总的租赁开销。而且对于竞价虚拟机类型，目前大多数已存在的方法采用当前虚拟机时间价格选择合适的竞价虚拟机时间片，这样往往达不到预期的效果，因为这些算法的静态概率分布模型忽略了价格变动的趋势。

发明内容

本发明的目的在于：针对现有技术中存在的问题与不足，提供一种云环境下基于批任务工作流的虚拟机动态租赁与调度方法，以保证满足截止期的前提下减少虚拟机调度开销。

技术方案：一种云环境下基于批任务工作流的虚拟机动态租赁与调度方法，包括以下方案：

A.基于价格类型感知和复制策略的调度方案(PRS)：根据前面工作提到的工作流截止期给出每个任务包的截止期，在不考虑租赁新虚拟机的前提下最小化虚拟机总租赁成本为目标，依据截止期给出任务最迟开始时间，将每个任务的结束时间与最迟开始时间进行比较，决定该任务的分配和执行方案，确定对可执行任务的分配与执行。

B.基于任务包的延迟调度策略(BDT)：每个任务都有其截止期，截止期前无法完成的任务需要延迟执行，通常的调度方案通常表现为：当新的虚拟机被租赁时，被延期的任务会争着占用资源执行。而本策略的目的是延迟一定数量的任务来选择合适类型的虚拟机，这样能够减少虚拟机调度资金。

C.基于紧急度的调度方案(USL)：对于未完成的任务有许多候选调度方案，当需要租赁新的虚拟机时，该方案根据最低的总处理开销选择出合适的虚拟机类型，并且帮助用户计算出合适的竞标价格，确定最后的处理方案。

基于价格类型感知和复制策略的调度方案(PRS)的具体描述：

数据输入：当前时间T_c，就绪任务集Γ，已创建的虚拟机集ζ^c，正创建的虚拟机集ζ^r

A1.对就绪任务集合Γ上的任务预估执行时间降序排列，对于在虚拟机m上的各个任务v_i∈Γ，其任务执行时间的期望值与标准差之和用来评估其实际任务执行时间Q_i，m；

A2.对任务集合中V中各任务v_i，都有统一的截止期据此计算出各个任务的最迟开始时间计算任务v_i的预估开始时间S_i，m，任务的结束时间F_i，m，分配在虚拟机m上活动v_i的租赁消费C_i，m；

A3.初始化待执行虚拟机集合m^s为空；

A4.判断目前租赁的虚拟机中是否有按需虚拟机m且满足 若有，则将完工时间最小的虚拟机m作为m^s；

A5.判断目前租赁的所有虚拟机中是否有竞价虚拟机m满足 若有，则将完工时间最小的虚拟机m作为m^s；否则，转S6；

A6.判断m^s是否为空，若不为空，转步骤A7；否则，转步骤A8；

A7.将任务v_i放入m^s中的虚拟机执行，并且更新集合Γ和执行任务的虚拟机的总任务执行时间转步骤A11；

A8.遍历目前已租赁的虚拟机m，若存在竞价虚拟机满足选出两台结束时间F_i，m最小的虚拟机分别执行任务v_i及其任务v_i的复制体转A9；否则，暂不执行任务v_i，转步骤A10；

A9.更新集合Γ和执行任务机器复制体的虚拟机的总任务执行时间

A10.若就绪任务集合Γ不为空，转A1，否则，转A11；

A11.返回集合Γ；

基于任务包的延迟调度策略(BDT)的具体描述：

数据输入：就绪集Γ，延迟因子α

B1.输入已就绪的任务集Γ和用户设定的延迟因子α，初始化待执行的集合的任务集

B2.选出一个任务v_i∈Γ，计算出当前任务包中已就绪的任务数量N_r和为就绪任务的数量N_l；

B3.计算出rate，其中|B_k|为当前任务包的总任务数量；

B4.若rate＞αor N_l＝0，那么Γ^s＝Γ^s∪{v_i}；

B5.若各个任务都经过了rate的计算并且与α进行了对比，则返回Γ^s，结束；否则转B2；

基于紧急度的调度方案(USL)的具体描述：

所述策略C中，当已租赁的虚拟机已经满足不了用户的需要时，即策略A 完成不了分配任务时，调用该策略可以采用租赁新的虚拟机的方式确定各个任务的最佳执行路径，其具体步骤包括：

C1.选择一个任务包B_k∈Γ^s，初始化最终选择的虚拟机类型δ′＝null，最终投入使用的虚拟机时间片分配记录S_δ′＝null，最大截止期超出值 V^s＝+∞，任务最终开销C^s＝+∞，其中Γ^s是经过BDT筛选出来的延迟集合；

C2.对于各个虚拟机m∈ζ^r，若m的执行时间那么其中ζ^r为已创建的虚拟机集合，T_c为当前时间；

C3.选择一种虚拟机类型δ，对每个虚拟机m初始化初始化复制集同时初始化其中表示当前暂时加入计划的虚拟机，S_δ表示任务分配记录集；

C4.选择一个任务v_i∈B_k，计算出最迟开始时间LST_i和预估最早结束时间初始化任务实际最后期限该类型虚拟机最终租赁费用C′＝+∞，当前活动选择的虚拟机

C5.若那么更新

C6.对于每个已租赁的虚拟机计算出执行任务v_i的结束时间F_i，m和所需的费用C_i，m，若存在虚拟机满足那么暂时保留该虚拟机，更新C′＝C_i，m，重复该步骤直至找出满足条件的最小C′和对应的

C7.若调用BHS或CSS方法选出一个新的虚拟机m′，计算出F_i，m′和 C_i，m′，否则转C10；

C8.若更新C′＝C_i，m′，转C10；否则转C9；

C9.初始化最终活动结束时间F_e＝+∞，C′＝+∞，对于已租赁的虚拟机m，若满足F_i，m＜F_e，则保留完工时间最小的虚拟机，使C′＝C_i，m，F_e＝F_i，m，然后继续和新选出的虚拟机完成时间进行比较，若F_i，m′≤F_e且F_e＞T_c+T^s+ T^r+L，那么更新虚拟机，使C′＝C_i，m′，F_e＝F_i，m′；

C10.若采用FMB或CSB方法设置竞价价格，更新临时租赁的虚拟机集

C11.更新被选中的虚拟机执行总时间

C12.若满足并且是竞价虚拟机，需要创建任务v_i的复制体 v_r，更新复制任务集R_δ＝R_δ∪{v_r}，同时对于任务v_r执行与v_i相同的步骤。若当前B_k还有任务未执行，转C4；

C13.计算出完成整个任务集的总成本和最大期限超出值若满足那么确定当前最适合的虚拟机类型，更新δ′＝δ，S_δ′＝S_δ，若还有虚拟机类型未检测，转C3；

C14.基于确定的虚拟机分配任务，同时对于每个更新虚拟机m执行总时间

C15.对于当前的所有已租赁虚拟机更新运行总时间若还有任务包未执行，转C1，否则结束；

本发明与现有技术相比的优点：(1)当考虑到存在按需虚拟机和竞价虚拟机的情况时，关键问题在于按需虚拟机和竞价虚拟机之间的选择。本发明优先选择按需虚拟机，如果该虚拟机类型价格高于竞价虚拟机，则选择开销最小的竞价虚拟机类型进行分配。(2)本发明能够使用预测算法结合用户调度过程，提前给出合适的竞价，选择最有利于减少总开销的虚拟机类型完成工作流。通过预测算法预测当前时刻的虚拟机价格，并通过该价格找出开销最小的虚拟机类型，结合 PRS和USL调度方案，有利于减小开销。

附图说明

图1是本发明实施例中云环境下的批任务工作流执行流程总架构图。

图2是本发明实施例中云计算资源动态租赁与调度的总流程图。

图3是调度过程中选用新虚拟机时间片的流程图。

具体实施方式

下面结合具体实施例和说明书附图对本发明作进一步说明。

本发明实施例实现云环境下的批任务工作流执行流程总架构图如图1所示，包括云提供服务商11、工作流任务包12、弹性中介13、工作流调度器14和各种类型虚拟机组成的数据中心15。云服务供应商向云服务用户提供资源租赁服务。云服务用户通过租赁其资源来组建自己的数据中心完成工作流任务包。工作流调度器根据任务的截止期分配虚拟机，合理调度按需虚拟机和竞价虚拟机，和弹性中介一起最小化资源租赁成本。

工作流中相同步骤的的平行任务被称为任务包。一个BoT工作流由多个任务包组成，每个任务包都有很多平行任务。当一个BoT工作流被提交给系统时，各种工作流被部署在租赁的虚拟机上运行的分布式计算平台上。工作流调度器主要根据现有的虚拟机时隙情况和价格预测来选择已有的时隙或者租赁新的虚拟机时间片。

图2是本发明实施例中云计算资源动态租赁与调度的总流程图。如图所示，任务执行步骤如下：

步骤S101，针对所给出的工作流，首先需要对当前任务的状态进行了解，这是算法执行的输入条件。当一个任务完成后，SFD被工作流调度器调用，需要输入的参数有当前的时间T_c、已创建的虚拟机ζ^c、正在创建的虚拟机ζ^r、延迟因子α、工作流的截止期D、竞价虚拟机价格以及BoT工作流；

步骤S102，检测每个任务是否有对应的截止期，对于截止期的划分我们在之前的文章中有介绍，截止期用来保证不违反工作流截止日期的前提下最小化总租赁成本。若未划分任务截止期，转S103；否则，转S104；

步骤S103，调用BDD算法为每个任务创建截止期；

步骤S104，在划分截止期后，更新当前已就绪集合来选择适当的虚拟机；

步骤S105，选用PRS算法从当前已经租赁的虚拟机中选择合适的时隙尽可能多地执行任务，必要时的时候可以执行复制任务来提高完成任务的可能性；

步骤S106，对于未完成的任务，使用BDT策略延迟部分任务，避免这些任务贪婪的创建新的虚拟机导致资源的浪费，此时α的值决定了延迟任务集的数量；

步骤S107，对于BDT策略延迟后的任务，用USL算法来利用已租赁虚拟机的剩余时隙，同时权衡已租赁虚拟机和新租赁虚拟机的开销，确认完成每个任务包的虚拟机类型并合理的租用新的虚拟机；

步骤S108，对于每个任务包，按其给定的分配结果执行任务；

图3是调度过程中选用新的虚拟机的流程图。如图所示，任务执行步骤如下：

步骤S201，输入当前的时间，目标任务截止期来预测未来将要租赁的虚拟机的价格，这儿采用S-ARIMA方法来预测竞价虚拟机时间片的未来价格。同时输入增长率β用来决定出价Bid，β决定了竞标成功的概率和总租赁价格的高低；

步骤S202，根据预测情况给出租赁期间时间片最高租赁价格p；

步骤S203，若p＜按需虚拟机的价格，转S204；否则转S206；

步骤S204、S205，确定选用竞价虚拟机之后，根据β和p确定该虚拟机接下来一段时间的出价；

步骤S206，此时选用按需虚拟机，因为按需虚拟机较为稳定且此时价格适中。

Claims (5)

1.一种云环境下基于批任务工作流的虚拟机动态租赁与调度方法，其特征在于，包括以下方案：

对于一个给定的工作流，找出其已就绪的任务作为任务集，任务集中的任务按预估执行时间降序排列，该集合作为方案A的输入内容之一，方案A利用当前已租虚拟机的时隙来完成集合A中的任务；方案B定义一个集合Γ，该集合集中存放一定数量可执行的就绪任务，包括方案A中未执行的就绪任务，作为方案C的输入内容之一，方案C为就绪集中的任务分配新的时间片或者调用新的虚拟机，完成整个工作流的执行；

A.基于价格类型感知和复制策略的调度方案PRS：根据工作流截止期给出每个任务包的截止期，在已租赁的虚拟机中，依据截止期给出任务最迟开始时间，将每个任务的结束时间与最迟开始时间进行比较，得出该任务的分配和执行方案并执行，最小化虚拟机总租赁成本；

B.采用集中延迟调度策略BDT对当前可执行的就绪任务做延迟执行操作，集中调度资源减少虚拟机调度资金；延迟策略为调度器延迟当前可执行的任务，待收集一定数量的就绪任务后一起调度资源执行；C.基于紧急度的调度方案USL：剩余的未执行的就绪任务调度该方案选择租赁新的时间片，对每种类型的任务包选出开销最低的虚拟机类型，并给出用户竞标价格，租用该类型的虚拟机执行任务。

2.根据权利要求1所述的虚拟机动态租赁与调度方法，其特征在于：所述方案A中各个任务在其执行过程中均要根据最迟结束时间进行分配，确定各个任务分配方式的具体步骤包括：

数据输入：当前时间T_c，就绪任务集Γ，已创建的虚拟机集ζ^c，正在创建的虚拟机集ζ^r；

A1.对就绪任务集合Γ上的任务按预估执行时间进行降序排列，对于在虚拟机m上的各个任务v_i∈Γ，其任务执行时间的期望值与标准差之和用来作为实际任务执行时间Q_i，m；

A2.对任务集合中V中各个任务v_i，都有统一的截止期据此计算出各个任务的最迟开始时间计算任务v_i的预估开始时间S_i，m，任务的结束时间F_i，m，分配在虚拟机m上活动v_i的租赁开销C_i，m；

A3.初始化待执行虚拟机m^s为空；

A4.判断目前租赁的虚拟机中是否有按需虚拟机m且满足 若有，则将完工时间最小的虚拟机m作为m^s，转A6；否则，转A5；

A5.判断目前租赁的所有虚拟机中是否有竞价虚拟机m且满足 若有，则将完工时间最小的虚拟机m作为m^s；

A6.判断m^s是否为空，若不为空，转步骤A7；否则，转步骤A8；

A7.将任务v_i放入m^s中的虚拟机执行，并且更新集合Γ和该虚拟机的总任务执行时间转步骤A10；

A8.遍历目前已租赁的虚拟机m，若存在竞价虚拟机满足选出两台结束时间F_i，m最小的虚拟机分别执行任务v_i及其任务v_i的复制体转A9；否则，不执行任务v_i，转步骤A10；

A9.更新集合Γ和这两台虚拟机的总任务执行时间

A10.若就绪任务集合Γ不为空，转A1，否则，转A11；

A11.返回集合Γ。

3.根据权利要求1所述的虚拟机动态租赁与调度方法，其特征在于：所述方案B包括以下步骤：

数据输入：就绪集Γ，延迟因子α

B1.输入已就绪的任务集Γ和用户设定的延迟因子α，初始化待执行的集合的任务集

B2.选出一个任务v_i∈Γ，计算出当前任务包中已就绪的任务数量N_r和为就绪任务的数量N_l；

B3.计算出rate，其中|B_k|为当前任务包的总任务数量；

B4.若rate＞αor N_l＝0，那么Γ^s＝Γ^s∪{v_i}；

B5.若各个任务都经过了rate的计算并且与α进行了对比，则返回Γ^s，结束；否则转B2。

4.根据权利要求2所述的虚拟机动态租赁与调度方法，其特征在于：所述步骤C中，当需要租赁新的虚拟机时间片时，采用USL方案确定就绪任务的最佳执行路径，其具体步骤包括：

C1.选择一个任务包B_k∈Γ^s，初始化最终选择的虚拟机类型δ′＝null，最终投入使用的虚拟机时间片分配记录S_δ′＝null，最大截止期超出值V^s＝+∞，任务最终开销C^s＝+∞，其中Γ^s是经过BDT筛选出来的延迟集合；

C2.对于各个虚拟机m∈ζ^r，若m的执行时间那么其中ζ^r为已创建的虚拟机集合，T_c为当前时间；

C3.选择一种虚拟机类型δ，对每个虚拟机m初始化初始化复制集同时初始化其中表示当前暂时加入计划的虚拟机，S_δ表示任务分配记录集；

C4.选择一个任务v_i∈B_k，计算出最迟开始时间LST_i和预估最早结束时间初始化任务实际最后期限该类型虚拟机最终租赁费用C′＝+∞，当前活动选择的虚拟机

C5.若那么更新

C6.对于每个已租赁的虚拟机计算出执行任务v_i的结束时间F_i，m和所需的费用C_i，m，若存在虚拟机满足那么暂时保留该虚拟机，更新C′＝C_i，m，重复该步骤直至找出满足条件的最小C′和对应的

C7.若调用BHS或CSS方法选出一个新的虚拟机m′，计算出F_i，m′和C_i，m′，否则转C10；

C8.若更新C′＝C_i，m′，转C10；否则转C9；

C9.初始化最终活动结束时间F_e＝+∞，C′＝+∞，对于已租赁的虚拟机m，若满足F_i，m＜F_e，则保留完工时间最小的虚拟机，使C′＝C_i，m，F_e＝F_i，m，然后继续和新选出的虚拟机完成时间进行比较，若F_i，m′≤F_e且F_e＞T_c+T^s+T^r+L，那么更新虚拟机，使C′＝C_i，m′，F_e＝F_i，m′；

C10.若采用FMB或CSB方法设置竞价价格，更新临时租赁的虚拟机集

C11.更新被选中的虚拟机执行总时间

C12.若满足并且是竞价虚拟机，需要创建任务v_i的复制体v_r，更新复制任务集R_δ＝R_δ∪{v_r}，同时对于任务v_r执行与v_i相同的步骤。若当前B_k还有任务未执行，转C4；

C13.计算出完成整个任务集的总成本和最大期限超出值若满足那么确定当前最适合的虚拟机类型，更新δ′＝δ，S_δ′＝S_δ，若还有虚拟机类型未检测，转C3；

C14.基于确定的虚拟机分配任务，同时对于每个更新虚拟机m执行总时间

C15.对于当前的所有已租赁虚拟机更新运行总时间若还有任务包未执行，转C1，否则结束；

5.根据权利要求4所述的虚拟机动态租赁与调度方法，其特征在于：租赁新的虚拟机的过程中，所述新的虚拟机时间片的选择算法BHS和出价算法FMB通过竞价虚拟机的预测价格得到，具体计算方法为：

1)在任务预期执行过程中，若存在执行期间竞价虚拟机时间片的最高预测价格低于按需虚拟机价格，则选择该竞价虚拟机；否则，选择按需虚拟机；

2)若选择的是竞价虚拟机，则用户对于虚拟机时隙的出价根据执行期间时间片的最大预测价格来确定，否则，用户的出价为当前按需虚拟机的价格。