CN105740051A - 基于改进的遗传算法的云计算资源调度实现方法 - Google Patents

Abstract

本发明为基于改进的遗传算法的云计算资源调度实现方法，随着云计算的发展，数据中心规模越大，能耗问题和资源利用率成为最主要的制约因素，因此在满足用户需求的基础上，如何设计合理的资源调度方法，提高资源利用率，降低能耗成为迫切需要解决的问题，也是目前云计算发展的瓶颈之一。该方法将遗传算法进行改进，并应用到云计算资源调度中。将SLA约束和能耗约束作为适应度函数，使得虚拟机在物理机上创建时能够找到最合适的放置策略，改进后的遗传算法在满足用户需求基础上，节约能耗，最大程度产生最优的经济效益。

Description

基于改进的遗传算法的云计算资源调度实现方法

技术领域

本发明涉及云计算的资源调度，利用改进的遗传算法来实现云计算的调度问题，属于人工智能和云计算领域。

背景技术

由于高可靠性、通用性、高可伸缩性、按需服务、成本低廉等种种优点，云计算近年来在国内外发展迅猛。云计算作为一种商业服务提供给用户使用，系统资源的合理调度和使用成为一个关键问题。云计算的资源调度与传统的资源调度不同，由于云计算具有异构性、动态性、大规模性等特性，在云环境下的任务随时可能并发的产生，并且多数情况下分布不均匀。在云环境下如何对异构节点上的资源进行合理的调度，使得用户在第一时间可以得到问题的解决，同时尽可能提高资源利用率，降低能耗，成为一个迫切需要解决的问题。

云计算的资源调度主要侧重于对虚拟资源的管理，将不同的用户任务在不同的约束下映射到计算节点上，属于一个NP问题。目前关于云计算任务调度问题的研究主要集中在任务调度策略的执行效率、任务调度的QoS控制、云服务提供商的经济利益等方面。调度的具体目标可以分为以下几个方面：(1)服务质量：用户提交的请求在很短的时间得到响应，用户可以得到很好的体验。(2)负载均衡：系统中多个节点之间以及一个节点中各个维度的资源负载均衡。(3)经济原则：提高资源利用率，降低系统能耗，获得最大的经济利益。

围绕这些目标，以性能为中心的调度将性能(任务的最快完成时间)为目标，目前应用的算法有：Min-min算法、Max-Min算法、遗传算法、蚁群算法、模拟退火算法等。IBM的云计算平台就是采用以性能为中心的调度方式；Intel公司针对虚拟机资源竞争而引起的性能下降，提出了预测虚拟资源竞争的模型来避免竞争；Sotomayor等人提出将虚拟机进行挂起和恢复来完成虚拟资源的预定。

从保障用户的QoS角度出发，Chanhan等人将网络带宽作为衡量服务质量的指标，将不同的任务标记不同的优先级，使资源先满足优先级较高的任务；Xu等人提出了在一个云环境下有多个工作流的多QoS调度策略，为了满足不同的用户不同的QoS的需求。

从云服务提供商的经济收益角度出发，Buyya提出了面向市场的云计算体系结构和资源分配的调度方法，通过SLA(服务等级协议)资源分配器实现云服务提供商和用户之间的协商。

Kolodziej和Xhafa提出了两种非合作博弈的方法，即对称非零博弈和不对称斯坦博格游戏，通过将用户需求建模为网格用户的行为，有效地表达在分层计算网格任务和资源调度优化问题。他们设计并实现了基于遗传算法(GA)的混合式调度器来近似平衡这两个博弈。遗传算法通过自适应的调整以及概率化的搜索方式得到最优解，具有良好的全局搜索能力，应用广泛。

徐文忠等人提出了一种新的基于遗传算法，根据历史数据和系统的当前状态，当所需的虚拟机资源部署给每个物理机节点之后，提前计算对系统的影响，然后选择对系统具有最低影响的虚拟机的部署方案，这种方案能够获得比较好的负载均衡，并没有考虑用户体验等其他条件。李建锋等人提出了一种基于双适应度的遗传算法的任务调度，该算法选取了两种适应度函数同时来为任务调度提供解决方法，在考虑性能时把任务平均完成时间作为唯一的参考量，在能耗等其他方面没有考虑。黄璐等将遗传算法和模拟退火算法结合起来，根据模拟退火算法中的Metropolis准则来决定是否接受遗传算法产生的新个体,在保证种群多样性的同时,也使种群能够逐步进化。

以上研究从不同的角度实现了云资源调度的策略和算法。现有的云计算任务调度策略往往是在建立在传统的分布式计算、网格计算的任务调度方法的基础上，或者加以改进得来的。由于云计算任务调度策略在满足用户的QoS约束的同时，要兼顾云服务提供商的收益，针对这些问题，并没有成熟的做法。本方法提出的基于改进的遗传算法的调度策略，在遗传算法的基础上，将SLA约束和能耗约束引入适应度函数，最大化经济利益的同时，为用户提供良好的使用体验，节省能耗。在满足用户体验、取得更优的经济效益、节省能耗、提高资源利用率这几个方面都有考虑。不同于其他改进的算法的是约束的条件全面，能够更好的在众多的优化目的中得到一个平衡点。

发明内容

随着云计算的发展，数据中心规模越大，能耗问题和资源利用率成为最主要的制约因素，因此在满足用户需求的基础上，如何设计合理的资源调度方法，提高资源利用率，降低能耗成为迫切需要解决的问题，也是目前云计算发展的瓶颈之一。

因此本发明提出基于改进的遗传算法的云计算资源调度实现方法，该方法将遗传算法进行改进，并应用到云计算资源调度中。将SLA约束和能耗约束作为适应度函数，使得虚拟机在物理机上创建时能够找到最合适的放置策略，改进后的遗传算法在满足用户需求基础上，节约能耗，最大程度产生最优的经济效益。

基于遗传算法的调度资源模型建立，遗传算法是一种借鉴生物界自然选择和遗传机制的启发式搜索算法，在解决多目标问题上它可以在大规模的解空间中寻找到高质量的解决方案。在搜索的过程中，得到解空间的最优解，经过迭代的过程发现新的个体，将局部最优解和新的个体结合起来，来完成寻找全局最优解的目标。在遗传算法中，用种群来表示一个解空间，用其中的染色体来表示一条具体的解决方案，用适应度函数来衡量染色体的质量。在云计算虚拟资源中，设计遗传算法时需要对拟分配的虚拟资源进行分析，具体分析过程如下：

(1)编码和种群初始化：本方法中采用的编码方式是实数编码，染色体的长度为即将创建虚拟机的个数，染色体{...host_i...}中第n个元素的值为host_i＝m，含义为第n台虚拟机创建在编号为m的host上。不断的随机产生新的染色体并加入到种群中，直到种群大小达到预设值。

(2)适应度函数：选择合适的适应度函数，根据适应度函数评估每个染色体的适应度，也就是根据适应度函数衡量该条调度方案的质量。

(3)判断：判断当前解是否满足要求或是否已经达到迭代次数；如果是，则终止计算，返回最优解；否则转向步骤(4)。

(4)选择、交叉、变异：根据既定规则选择出一部分解，并对这部分解进行基因操作(交叉、变异)，得到新的解，将新的解加入到种群中，转向步骤(2)进行判断。

具体实施算法如下：

1)初始化种群时，随机产生染色体，对产生的染色体进行约束。主机Host的资源包括CPU、内存、网络带宽、存储资源的集合，上述集合能抽象描述为下式(1)，其中Host_res为Host的总资源，CPU_res代表Host中的CPU资源，Ram_res代表内存资源，Bw_res代表网络带宽资源，Stor_res代表存储资源。

Host_res＝[CPU_res,Ram_res,Bw_res,Stor_res](1)

一个Host所占用的资源是分配在上边的所有VM所占用的资源的总和，VM_i表示在资源调度下第i个虚拟机，用户选择一共创建多少台虚拟机。有以下公式：

${\mathrm{Host}}_{res}={\mathrm{\Σ}}_{i=1}^m{\mathrm{VM}}_i---\left(2\right)$

根据公式(2)，在随机产生的染色体策略中，当在一个Host上即将创建VM时，从Host总的资源中减去VM所需的资源，当其中的任意一项小于零，说明此染色体中当前的Host资源已被全部占用，则这条染色体不在最优解的范围内，从种群中剔除。这样的约束能够保障整个种群的质量，避免VM之间的资源竞争而导致的云服务性能下降或VM创建不成功。

2)适应度函数的选择对于整个遗传算法来说至关重要，种群个体的适应度函数值越大说明该个体更容易适应环境。本方法中的调度目标是在保障用户的满意度即不违反SLA约束的基础上，使得能耗降低，云服务供应商取得更大的收益。将适应度函数设计为下式(3)。

Fitness＝Income_total-w1*Energy_total-w2*SLA_totalPenal(3)

其中，Fitness是适应度函数，w1,w2为各项的权重。Income_total代表着根据不同的云任务计算得到不同的收入，由于对于某个固定的调度任务来说所得到的收入是相同的，所以在计算个体的适应度值时这部分简化为零。Energy_total代表着完成调度任务所消耗的全部能耗，用虚拟机从开始创建到结束的时间差来衡量能耗的多少。

SLA_totalPenal是在调度中如果违反SLA约束的代价花费，SLA就是指当VM随时访问所需的所有MIPS时Host都能够百分之百提供，用来衡量VM可用性的百分比。如果虚拟机所期待得到的MIPS小于给它分配的，即违反SLA约束。SLA_totalPenal通过下式(4)得到：

${\mathrm{SLA}}_{totalPenal}=1-\frac{{\mathrm{MIPS}}_{totalAllocated}-{\mathrm{MIPS}}_{totalMissed}}{{\mathrm{MIPS}}_{totalAllocated}}---\left(4\right)$

其中的MIPS_{totalAllocated}表示所有已经分配的MIPS的值，MIPS_totalMissed表示未及时分配给VM的MIPS的值。

整体的能耗越小，证明虚拟机在创建的时候越集中在某些Host上，这样必然会使整个系统的资源使用率升高；违反SLA的次数越少，用户的体验越好，任务会在更短的时间内完成。从这两个角度来衡量种群中个体的质量是全面而合理的。

附图说明

图1为发明框架示意图

图2为基于改进的遗传算法的种群中最优个体的适应度值。

图3.基于改进的遗传算法与RR、RA算法的比较。

具体实施方式

为了验证本发明提出的改进的遗传算法在云计算资源中调度的表现，将模型在Cloudsim云计算模拟器上进行了实验。所有实验都在Eclipse环境中运行，如图2所示是实验结果的展示。

(1)当迭代次数不同时，种群中最优个体的适应度值。横坐标为算法迭代的次数，纵坐标为种群最优个体的适应度值。可以看到随着种群迭代次数的增加，最优个体的适应度值不断上升，说明改进的算法全局搜索能力强，具有很好的收敛性。

(2)为了证明本发明提出的改进算法的优势，在实验中将本算法与已有的Cloudsim中自带的随机分配算法RA(RandomAllocationScheduling)和轮询算法RR(Round-RobinScheduling)进行了对比。其中横坐标是创建的VM的个数，纵坐标是云服务的最终受益，最终受益是总的收入减去云服务的能耗和违反SLA约束的罚金，用来衡量调度策略的友谊程度。由于实验最初创建的VM数量过少，导致云平台的能耗要超过所得的收入，最终的收益呈现负数是合理的。从图3中可以看出，改进的GA算法优于RR算法和RA算法。证明本发明可以给云资源的调度方案提供有意义的解决思路。实验结果图3所示。

Claims (1)

1.基于改进的遗传算法的云计算资源调度实现方法，其特征在于：

随着云计算的发展，数据中心规模越大，能耗问题和资源利用率成为最主要的制约因素，因此在满足用户需求的基础上，如何设计合理的资源调度方法，提高资源利用率，降低能耗成为迫切需要解决的问题，也是目前云计算发展的瓶颈之一；

因此本方法提出基于改进的遗传算法的云计算资源调度实现方法，该方法将遗传算法进行改进，并应用到云计算资源调度中；将SLA约束和能耗约束作为适应度函数，使得虚拟机在物理机上创建时能够找到最合适的放置策略，改进后的遗传算法在满足用户需求基础上，节约能耗，最大程度产生最优的经济效益；

基于遗传算法的调度资源模型建立，遗传算法是一种借鉴生物界自然选择和遗传机制的启发式搜索算法，在解决多目标问题上它可以在大规模的解空间中寻找到高质量的解决方案；在搜索的过程中，得到解空间的最优解，经过迭代的过程发现新的个体，将局部最优解和新的个体结合起来，来完成寻找全局最优解的目标；在遗传算法中，用种群来表示一个解空间，用其中的染色体来表示一条具体的解决方案，用适应度函数来衡量染色体的质量；在云计算虚拟资源中，设计遗传算法时需要对拟分配的虚拟资源进行分析，具体分析过程如下：

(1)编码和种群初始化：本方法中采用的编码方式是实数编码，染色体的长度为即将创建虚拟机的个数，染色体{...host_i...}中第n个元素的值为host_i＝m，含义为第n台虚拟机创建在编号为m的host上；不断的随机产生新的染色体并加入到种群中，直到种群大小达到预设值；

(2)适应度函数：选择合适的适应度函数，根据适应度函数评估每个染色体的适应度，也就是根据适应度函数衡量该条调度方案的质量；

(3)判断：判断当前解是否满足要求或是否已经达到迭代次数；如果是，则终止计算，返回最优解；否则转向步骤(4)；

(4)选择、交叉、变异：根据既定规则选择出一部分解，并对这部分解进行基因操作(交叉、变异)，得到新的解，将新的解加入到种群中，转向步骤(2)进行判断；

具体实施算法如下：

1)初始化种群时，随机产生染色体，对产生的染色体进行约束；主机Host的资源包括CPU、内存、网络带宽、存储资源的集合，上述集合能抽象描述为下式(1)，其中Host_res为Host的总资源，CPU_res代表Host中的CPU资源，Ram_res代表内存资源，Bw_res代表网络带宽资源，Stor_res代表存储资源；

Host_res＝[CPU_res,Ram_res,Bw_res,Stor_res](1)

一个Host所占用的资源是分配在上边的所有VM所占用的资源的总和，VM_i表示在资源调度下第i个虚拟机，用户选择一共创建多少台虚拟机；有以下公式：

${\mathrm{Host}}_{res}={\mathrm{\Σ}}_{i=1}^m{\mathrm{VM}}_i---\left(2\right)$

根据公式(2)，在随机产生的染色体策略中，当在一个Host上即将创建VM时，从Host总的资源中减去VM所需的资源，当其中的任意一项小于零，说明此染色体中当前的Host资源已被全部占用，则这条染色体不在最优解的范围内，从种群中剔除；这样的约束能够保障整个种群的质量，避免VM之间的资源竞争而导致的云服务性能下降或VM创建不成功；

2)适应度函数的选择对于整个遗传算法来说至关重要，种群个体的适应度函数值越大说明该个体更容易适应环境；本方法中的调度目标是在保障用户的满意度即不违反SLA约束的基础上，使得能耗降低，云服务供应商取得更大的收益；将适应度函数设计为下式(3)；

Fitness＝Income_total-w1*Energy_total-w2*SLA_totalPenal(3)

其中，Fitness是适应度函数，w1,w2为各项的权重；Income_total代表着根据不同的云任务计算得到不同的收入，由于对于某个固定的调度任务来说所得到的收入是相同的，所以在计算个体的适应度值时这部分简化为零；Energy_total代表着完成调度任务所消耗的全部能耗，用虚拟机从开始创建到结束的时间差来衡量能耗的多少；

SLA_totalPenal是在调度中如果违反SLA约束的代价花费，SLA就是指当VM随时访问所需的所有MIPS时Host都能够百分之百提供，用来衡量VM可用性的百分比；如果虚拟机所期待得到的MIPS小于给它分配的，即违反SLA约束；SLA_totalPenal通过下式(4)得到：

${\mathrm{SLA}}_{totalPenal}=1-\frac{{\mathrm{MIPS}}_{totalAllocated}-{\mathrm{MIPS}}_{totalMissed}}{{\mathrm{MIPS}}_{totalAllocated}}---\left(4\right)$

其中的MIPS_{totalAllocated}表示所有已经分配的MIPS的值，MIPS_totalMissed表示未及时分配给VM的MIPS的值；

整体的能耗越小，证明虚拟机在创建的时候越集中在某些Host上，这样必然会使整个系统的资源使用率升高；违反SLA的次数越少，用户的体验越好，任务会在更短的时间内完成；从这两个角度来衡量种群中个体的质量是全面而合理的。