CN110851247B - 一种带约束云工作流的成本优化调度方法 - Google Patents

Abstract

本发明公开了一种带约束云工作流的成本优化调度方法，利用遗传算法首先根据用户提交的工作流，与云服务提供商提供的虚拟机配置生成初始种群。其次对种群根据适应度进行迭代进化，最终通过精英保留操作返回全局最优的满足可靠性约束，完成时间约束和内存约束的工作流调度方案。本发明能够在用户给定完成时间约束，可靠性约束以及内存约束下搜索到近似成本最优的调度方案，极大地降低调度成本。

Description

一种带约束云工作流的成本优化调度方法

技术领域

本发明属于计算机领域，专注于云计算任务调度问题，尤其涉及带有内存约束、可靠性约束和完成时间约束云工作流的成本优化调度方法，能够根据给定工作流生成一个成本优化且满足完成时间，可靠性约束和内存约束的任务调度方案。

背景技术

云计算因其异构、虚拟化、运维方便、现收现付的特点提供了资源可扩展和弹性的计算平台。因此，含有大量计算任务的带有完工时间约束的大型企业和科学工作流应用程序交由云计算平台调度执行已成为趋势。

在竞争激烈的云计算市场，云服务提供商十分关心工作流调度的成本并尝试降低使用云服务设施的金额以吸引更多的用户为未来进行布局已有大量针对云环境下工作流调度的研究，现有的云工作流调度研究方法为了简化模型在建模时通常忽略了内存约束，但内存是任务执行必不可少的资源，直接影响调度策略且会被云服务提供商计费。因此考虑带有内存约束的建模是有必要的。此外，云服务提供商多样的虚拟机配置和灵活多变的定价策略，使得确定价格最优调度策略十分困难，而考虑到其他约束时如可靠性，完成时间等约束则工作流调度会变得更加复杂。因此，满足各种约束并为用户提供成本优化的工作流调度方案已成为亟待解决的问题。

发明内容

本发明的目的是提供一种带约束云工作流的成本优化调度方法，该方法从工作流任务分配的问题出发，寻找满足用户云服务质量要求，且成本低廉的虚拟机配置和工作流任务分配方案，为用户降低云服务的使用成本，创造更大的经济效益。

实现本发明目的的具体技术方案是：

一种带约束云工作流的成本优化调度方法，该方法包括以下具体步骤：

步骤1：初始化

使用遗传算法首先根据用户提交的工作流信息、云服务提供商提供的虚拟机配置和编码策略完成种群初始化操作即随机生成设定规模的种群，接着并在生成的种群中添加完成时间优化的HEFT算法生成的染色体，最后经过染色体修正操作对不符合内存约束的染色体进行修正；

步骤2：迭代进化

对初始化得到的种群计算适应度即利用染色体对应调度方案的成本、可靠性、完成时间计算每个染色体的适应度；再利用适应度进行选择操作，其次对选择出来的种群进行交叉、变异操作并再次经过染色体修正操作得到新的种群，接着对新的种群进行精英保留操作即选择当前全局最优染色体保留到下一代；经过多次迭代直到迭代次数达到设定的进化次数，最终再通过精英保留操作得到全局最优的满足用户需求的工作流调度方案；

其中：

所述染色体即为一个完整的工作流调度方案；

所述工作流信息包括任务依赖关系、任务执行时间、任务输入输出数据量和任务执行所需内存；

所述用户需求为工作流完工时间、可靠性约束和隐含的内存约束；

所述虚拟机配置包括虚拟机计算能力、主存大小、价格及故障率。

所述交叉操作以虚拟机中的一组任务与对应的虚拟机配置为交叉单位。

所述染色体修正操作使用贪心算法对染色体中不满足内存约束的虚拟机替换为满足内存约束且计算能力相同的机器。

所述适应度采用惩罚参数放大不满足完成时间约束和可靠性约束染色体的成本而得到。

本发明的有益效果在于：本发明能够在用户给定完成时间约束、可靠性约束以及内存约束下搜索到近似最优调度方案，极大地降低调度成本。

附图说明

图1是本发明流程图；

图2是本发明编码策略示意图；

图3是本发明交叉操作示意图。

具体实施方式

本发明是面向内存约束云工作流的可靠性感知及成本优化调度方法，为用户提交的工作流请求生成近似最优的调度方案。本发明使用遗传算法首先通过种群初始化生成初始种群，接着从初始种群开始迭代进化，最终返回近似最优的调度方案。

本发明包括以下步骤，具体流程如图1所示：

步骤1：初始化阶段

首先根据工作流信息、可用的虚拟机配置和编码策略完成种群初始化操作即随机生成一定规模的种群并在生成的种群中添加完成时间优化的HEFT算法生成的染色体，接着经过染色体修正操作对不符合内存约束的染色体进行修正。

步骤2：迭代进化阶段

对初始阶段得到的满足内存约束的种群利用适应度进行选择操作，其次对选择出来的种群进行交叉、变异操作并再次经过染色体修正操作得到新的种群，接着对种群进行精英保留操作即选择精英染色体保留到下一代。经过多次迭代直到迭代次数达到设定的进化次数，最终通过精英保留操作返回全局最优的满足用户需求的工作流调度方案。

具体包括：

(1)编码策略：编码策略将任务调度看作是两个阶段。首先，通过VM_VMC编码确定创建虚拟机的类型，数量，接着使用Task_VM编码决定每个任务分配到哪个虚拟机中。

编码规则如下：

如图2所示，Task_VM编码为基于组号的整数编码，长度为工作流中任务数量，每个基因位置表示对应任务分配到的虚拟机的整数编号，例如Task_VM[2]＝1表示任务2被分配到1号虚拟机中。VM_VMC编码为长度可变的整数编码，长度为Task_VM中虚拟机的最大整数编号，用于表示该编号虚拟机对应的虚拟机配置，例如VM_VMC[1]＝3表示1号虚拟机的配置为3号虚拟机配置。

(2)适应度：适应度函数表现了染色体编码的优劣程度，是遗传算法优化问题的目标。由于遗传算法中并不支持直接对约束条件进行建模，且如时间限制较为严格时随机产生的初始种群难以达到工作流完成时间约束，为避免产生无解或是过早陷入局部最优的情况，遗传算法应当具有容忍不符合完成时间约束的染色体的能力。所以本发明采用工作流成本作为染色体适应度函数，同时引入惩罚参数γ和δ，最终染色体适应度为：

适应度＝成本×δ×γ

根据工作流完成时间和可靠性，对不满足时间约束和可靠性约束的染色体的适应度进行恶化，若染色体不满足时间约束则δ>1,若不满足可靠性约束则γ>1。适应度越小则说明染色体所代表的调度方案越好。

(3)选择操作：选择操作采用规模为2的锦标赛选择策略。每次从待选种群中选择两个染色体进行适应度比较，选择较优者加入下一代，直到种群规模达到设定规模。

(4)交叉操作：对于每组染色体对(p1,p2)，以交叉概率应用交叉操作。交叉操作执行的设计思想为使用同一虚拟机上的任务集作为遗传算法交叉的单位以避免传统的对Task_VM直接进行交叉带来的可能破坏任务分组信息的问题。对于需要进行交叉操作的染色体对(ind1,ind2)，令ind1,ind2分别为母本和父本。首先创建一个空染色体c1作为子代染色体，接着从父本中的Task-VM编码中随机截取出一段基因，将父本中与截取出的基因同组的基因和相关的虚拟机配置复制进子代染色体c1中。在这个操作中，将截取出的基因长度len限制为：0<len<ind2.VM_VMC.size()，以避免复制的父本基因过多破坏母本中的分组信息。接着将母本中与之前复制的父本任务分配中没有重合的分组与虚拟机配置复制进c1中。此时子代染色体c1中仍会有一些任务因母本与父本分组重合的原因未被分配。在这里简单地将其随机分配到其他已经存在或新建的虚拟机中。这样就完成了以ind1为母本，以ind2为父本的交叉操作。接着以ind2为母本，ind1为父本执行相同操作，得到子代染色体c2，c1和c2就是经过交叉操作的染色体对。图3展示了交叉操作的执行过程。

(5)变异操作：变异操作以变异概率将一个染色体标记为变异染色体，随机删除其中的一个虚拟机，并将虚拟机中的任务随机分配到其他已经存在或是新建的虚拟机中。

(6)染色体修正操作：云工作流的任务分配包含内存约束。而遗传算法并不具备处理具有约束条件的问题的能力，种群在进化过程中可能产生不符合内存约束的染色体，所以需要根据约束对染色体进行检测与修正。采用贪心算法的思路实现染色体修正操作，使其满足内存约束。种群进化过程中，判断染色体是否满足内存约束，如不满足约束，则调用染色体修正算法对染色体进行修正。染色体修正算法的过程：

对于每个虚拟机，寻找满足内存约束的且计算能力同当前配置相同的备选配置集，对于备选配置集中的每种配置生成任务分配方案，从中选择最优的染色体替代当前的染色体。

(7)精英保留操作：为保证每轮进化过程中出现的最优染色体不被破坏，保证遗传算法的全局收敛性，精英保留策略首先遍历当前种群中所有染色体得到适应度最好的染色体、可靠性最高的染色体和完成时间最短的染色体，若适应度最好的染色体不满足时间或可靠性约束则选择完成时间最短或可靠性最高的染色体作为精英个体否则选择适应度最好的染色体。接着将此前出现的精英个体与当前的精英个体进行比较以确定全局最优个体，若全局最优个体不在种群中，则将种群中适应度最差的个体替换为全局最优个体。不直接使用染色体的适应度判断精英个体，而使用得到的工作流调度完成时间和可靠性综合判断的原因是：直接使用适应度有可能使适应度高但不满足完成时间约束或可靠性约束的染色体作为精英个体。

本发明能够在用户给定完成时间约束、可靠性约束以及内存约束下搜索到近似最优调度方案，极大地降低调度成本。

Claims (1)

1.一种带约束云工作流的成本优化调度方法，其特征在于，该方法包括以下具体步骤：

步骤1：初始化

使用遗传算法首先根据用户提交的工作流信息、云服务提供商提供的虚拟机配置和编码策略完成种群初始化操作即随机生成设定规模的种群，接着并在生成的种群中添加完成时间优化的HEFT算法生成的染色体，最后经过染色体修正操作对不符合内存约束的染色体进行修正；

步骤2：迭代进化

对初始化得到的种群计算适应度即利用染色体对应调度方案的成本、可靠性、完成时间计算每个染色体的适应度；再利用适应度进行选择操作，其次对选择出来的种群进行交叉、变异操作并再次经过染色体修正操作得到新的种群，接着对新的种群进行精英保留操作即选择当前全局最优染色体保留到下一代；经过多次迭代直到迭代次数达到设定的进化次数，最终再通过精英保留操作得到全局最优的满足用户需求的工作流调度方案；其中：

具体过程包括：

(1)编码策略：编码策略将任务调度看作是两个阶段；首先，通过VM_VMC编码确定创建虚拟机的类型及数量，接着使用Task_VM编码决定每个任务分配到哪个虚拟机中；编码规则如下：

Task_VM编码为基于组号的整数编码，长度为工作流中任务数量，每个基因位置表示对应任务分配到的虚拟机的整数编号，若Task_VM[2]＝1表示任务2被分配到1号虚拟机中；VM_VMC编码为长度可变的整数编码，长度为Task_VM中虚拟机的最大整数编号，用于表示该编号虚拟机对应的虚拟机配置，若VM_VMC[1]＝3表示1号虚拟机的配置为3号虚拟机配置；

(2)适应度：采用工作流成本作为染色体适应度函数，同时引入惩罚参数γ和δ，最终染色体适应度为：

适应度＝成本×δ×γ

根据工作流完成时间和可靠性，对不满足时间约束和可靠性约束的染色体的适应度进行恶化，若染色体不满足时间约束则δ>1,若不满足可靠性约束则γ>1；适应度越小则说明染色体所代表的调度方案越好；

(3)选择操作：选择操作采用规模为2的锦标赛选择策略；每次从待选种群中选择两个染色体进行适应度比较，选择优者加入下一代，直到种群规模达到设定规模；

(4)交叉操作：对于每组染色体对(p1,p2)，以交叉概率应用交叉操作；交叉操作执行为使用同一虚拟机上的任务集作为遗传算法交叉的单位；对于需要进行交叉操作的染色体对(ind1,ind2)，令ind1,ind2分别为母本和父本；首先创建一个空染色体c1作为子代染色体，接着从父本中的Task-VM编码中随机截取出一段基因，将父本中与截取出的基因同组的基因和相应的虚拟机配置复制进子代染色体c1中；在这个操作中，将截取出的基因长度len限制为：0<len<ind2.VM_VMC.size()；接着将母本中与之前复制的父本任务分配中没有重合的分组与虚拟机配置复制进c1中；完成了以ind1为母本，以ind2为父本的交叉操作；接着以ind2为母本，ind1为父本执行相同操作，得到子代染色体c2，c1和c2就是经过交叉操作的染色体对；

(5)变异操作：变异操作以变异概率将一个染色体标记为变异染色体，随机删除其中的一个虚拟机，并将虚拟机中的任务随机分配到其他已经存在或是新建的虚拟机中；

(6)染色体修正操作：采用贪心算法的思路实现染色体修正操作，使其满足内存约束；种群进化过程中，判断染色体是否满足内存约束，如不满足约束，则调用染色体修正算法对染色体进行修正；染色体修正算法的过程：

对于每个虚拟机，寻找满足内存约束的且计算能力同当前配置相同的备选配置集，对于备选配置集中的每种配置生成任务分配方案，从中选择最优的染色体替代当前的染色体；

(7)精英保留操作：首先遍历当前种群中所有染色体得到适应度最好的染色体、可靠性最高的染色体和完成时间最短的染色体，若适应度最好的染色体不满足时间或可靠性约束则选择完成时间最短或可靠性最高的染色体作为精英个体，否则选择适应度最好的染色体；接着将此前出现的精英个体与当前的精英个体进行比较以确定全局最优个体，若全局最优个体不在种群中，则将种群中适应度最差的个体替换为全局最优个体；

所述染色体即为一个完整的工作流调度方案；

所述工作流信息包括任务依赖关系、任务执行时间、任务输入输出数据量和任务执行所需内存；

所述用户需求为工作流完工时间、可靠性约束和隐含的内存约束；

所述虚拟机配置包括虚拟机计算能力、主存大小、价格及故障率。