CN103338241A - 一种新的公有云架构及其虚拟化资源自适应配置方法 - Google Patents

Abstract

本发明公开了公开了一种公有云架构及其虚拟化资源自适应优化配置方法，该公有云架构是五层结构，由下至上分别是基础架构层、资源管理层、资源需求调度层、用户界面层，以及应用层；在该架构的基础上，提出了基于单虚拟机服务多用户的虚拟化资源自适应配置模式，该方法能针对不同用户提出的应用资源请求自动搜寻最优虚拟化资源，并在不影响服务质量的基础上，将不同的应用运行在同一台虚拟机上，使得云计算提供商能在保证服务质量的同时，提高云计算资源的利用效率，降低能耗。

Description

一种新的公有云架构及其虚拟化资源自适应配置方法

技术领域

本发明属于计算机通信技术领域，涉及一种新的公有云架构及其自适应虚拟化资源优化配置方法。

背景技术

云计算以承诺向用户提供具有充分可扩展性、灵活性的计算、存储及其它应用服务资源而受到业界的广泛关注。为了实现这些承诺，云计算服务提供商不仅需要构建完善的基础设施,同时还需采取迅速有效的虚拟化资源配置机制来提供高质量的服务，从而满足用户需求。

在云计算实施资源配置的过程中，良好的平台架构显得尤为重要，它需要能够根据云计算资源需求的变化情况以尽可能迅速的方式进行自适应调整，并进行高效的资源配置。在以往的研究中，文献（Q.Zhu and G.Agrawal.Resourceprovisioning with budget constraints for adaptive applications in cloud environments.In Proceedings of the19th ACM International Symposium on High PerformanceDistributed Computing,2010,pp.304-307.）中，作者设计、实施并评估了一个云计算环境下支持应用动态自动部署架构，该架构在满足应用需求的同时，能降低资源消耗和运营成本，实现云计算资源的高效利用。文献（R.N.Calheiros,R.Ranjan,and R.Buyya.Virtual machine provisioning based on analytical performanceand qos in cloud computing environments.In International Conference on ParallelProcessing(ICPP),2011,pp.295-304.）中，作者提出一种能自动适应高度动态化的环境和及时应对应用程序工作负载的变化的云计算资源管理系统，以此来最终保证用户的服务质量（QoS）。文献（S.J.Malkowski,M.Hedwig,J.Li,C.Pu,and D.Neumann.Automated control for elastic n-tier workloads based on empiricalmodeling.In Proceedings of the8th ACM international conference on Autonomiccomputing,2011,pp.131-140.）中，作者提出了一种多模型控制器，综合利用水平尺度模型（Horizontal Scale Model）、经验模型（Empirical Model）、工作流预测模型（Workload Forecast Model）对云计算的资源配置进行全面管理，选取最优资源分配策略，使得该模型具有优良的自适应能力，具有很高的SLA保障能力，有效地提升了云计算应用的可靠性和可用性。此外，在专利申请201210048342.1(一种弹性云计算平台下工作负载的调度方法)中，作者（曹军威，张帆）提出了一种弹性云计算平台下工作负载的调度方法的发明；在专利申请201010238329.3(云资源池的JEE应用资源弹性调度方法、装置及系统)中，作者（赵欣，李树贤）提出了一种云资源池的JEE应用资源弹性调度方法的发明，在云计算环境中部署JEE应用，对所部署的JEE应用配置弹性策略，监测应用的业务访问量，并根据监测结果为应用动态分配资源；在专利申请201010550085.2(支持弹性云计算平台开发的资源外包方法)中，作者（窦万春，齐连永，王励民）提出了一种支持弹性云计算平台开发的资源外包方法的发明，在确定了云计算平台终端用户的功能需求和非功能需求之后，对候选资源进行匹配、评估和排序，最终选取最优外包资源提交给用户。

近几年来，云计算环境下的资源优化配置的理论与方法同样受到了业界和学界广泛地关注，虚拟化技术的运用让云计算资源的动态分配成为可能，它使云用户能够享受差异化、多元化的资源服务，许多学者根据各自对云计算的理解，提出了相应的云计算资源优化分配的策略。文献（Guiyi Wei,Athanasios V.Vasilakos,Yao Zheng,and Naixue Xiong.A game-theoretic method of fair resource allocationfor cloud computing services[J],The Journal ofSupercomputing,2010,54(2):252-269.）中，作者提出了一种基于博弈论的云计算资源分配方法，在实现资源优化配置的同时兼顾分配过程中的公平性，保证了不同云计算用户的QoS。文献（Weiwei Lin,James Z.Wang,Chen Liang,and Deyu Qi.A Threshold-based Dynamic Resource Allocation Scheme for Cloud Computing[J],Procedia Engineering,2011(23),695-703.）中，作者提出基于阈值的虚拟化资源动态分配方案，使用阈值法优化资源重分配策略以解决云计算应用层的资源分配问题。文献（Wei Wang,Guosun Zeng,Daizhong Tang,and Jing Yao.Cloud-DLS:Dynamic trusted scheduling for Cloud computing[J],Expert Systems withApplications,2012,39(3):2321-2329.）中，作者首先构建了一种新的基于贝叶斯方法的认知信任模型，然后提出了一个云计算环境下基于信任级别的动态资源调度算法。文献（Jiayin Li,Meikang Qiu,Zhong Ming,Gang Quan,Xiao Qin,andZonghua Gu.Online optimization for scheduling preemptable tasks on IaaS cloudsystems[J],J.Parallel Distrib.Comput,2012,72(5):666-677.）中，作者提出了一种云计算环境异构资源优化配置方法，即在云计算进行应用并行处理时，建立一种任务执行顺序可抢占的资源分配和调度机制，从而在整体上提高资源的利用率。在专利申请201010268105.7(一种基于动态重配置虚拟资源的云计算资源调度方法)中，作者（林伟伟;齐德昱）提出了一种基于动态重配置虚拟资源的云计算资源调度方法的发明；在专利申请201110293354.6（一种基于动态预测的云计算资源部署方法）中，作者（樊六东，彭俊杰，范新进，侯军和刘晓军）提出了一种通过增加镜像模板的数量来改变多镜像共享所带来的网络拥堵问题，以及通过动态预测云计算中心在不同时刻对镜像需求的数量的云计算资源部署方法的发明；在专利申请201110454301.8（一种在云计算环境下动态分配资源的方法及装置）中，作者（蔡常喜）提出了一种在云计算环境下动态分配资源的方法及装置的发明；在专利申请201210123988.1（一种基于SMDP的动态云计算资源优化分配方法）中，作者（梁宏斌;孙利民）提出了一种基于半马氏决策过程（SMDP）的动态云计算资源优化分配方法的发明。

发明内容

针对云计算具有自适应能力的架构搭建，以及虚拟化资源优化分配问题，本发明首先构建了一种公有云环境下具有自适应虚拟化资源优化配置能力的架构，其次，在该架构下，着重提出了基于单虚拟机服务多请求的资源配置方法（SingleVM for Multi Consumers，SVMC）的资源优化配置方法，在保证满足用户服务质量的同时，提高虚拟化资源利用率，减少资源浪费，降低成本。

具体发明内容如下：

一种新的公有云架构及其自适应虚拟化资源优化配置方法，首先构建自适应虚拟化资源优化配置公有云架构，该公有云架构是五层结构，由下至上分别是基础架构层、资源管理层、资源需求调度层、用户界面层，以及应用层；其中：

基础架构层主要包括各种物理设备，以及在此基础上形成的各类虚拟化资源；

资源管理层主要包括三个模块，分别是虚拟化资源监控模块、虚拟化资源配置模块，以及虚拟化资源提供模块。其中虚拟化资源监控模块主要负责周期性地监控、搜集并记录底层虚拟化资源的使用情况；虚拟化资源配置模块主要负责综合考虑当前虚拟化资源使用状态、虚拟化资源历史使用情况，以及各个资源请求中包含的服务等级协议（Service Level Agreements，SLA），并以此为依据实施资源的优化配置；虚拟化资源提供模块根据虚拟化资源配置模块所提供的资源配置信息，将云计算资源提供给不同的用户；

资源需求调度层主要包括两个模块，分别是资源需求队列模块和资源需求调度模块，其中资源需求队列模块主要负责把各个用户递交的资源需求放入相应的资源队列中以供资源需求调度模块使用；资源需求调度模块主要负责调查存放在资源需求队列模块中的各个需求的优先级信息，并依据优先级信息将各个需求发送至虚拟化资源配置模块；

用户界面层中包含有应用需求解析器，主要负责接收由应用层递交的各类资源请求，对资源请求进行解析和分类，将处理结果递送至资源需求调度层的资源需求队列模块；

应用层主要负责接收和读取各类云计算用户的应用资源请求，并将这些请求发送至用户界面层。

其次，由于目前主流云计算供应商，如Amazon、IBM和Google使用的是单虚拟机（Virtual Machine，VM）服务单用户（Single VM for Single Consumer，SVSC）的虚拟化资源配置模式，即在特定时间范围内，一台虚拟机只对某个特定用户提供服务，而不考虑当前资源使用情况，从而出现任务提前完成但空闲的资源却不能被利用导致浪费的情况，降低了资源使用效率，增加了不必要的能源消耗。针对该情况，本发明提出了一种新的虚拟化资源自适应优化配置方法，称为单虚拟机服务多用户的资源配置方法（Single VM for Multi Consumers，SVMC），该方法在所构建的架构环境下能有效监控各类虚拟化资源的使用状态，及时获取虚拟化资源当前及历史使用情况，在不影响服务质量的前提下，在单台虚拟机上运行不同用户的应用，从而提高资源使用效率；具体步骤如下所示：

所述的单虚拟机服务多请求的资源配置方法（SVMC），设有I个云计算用户将应用资源请求Req_i提交至云计算平台，而每个应用资源请求中又包含有N个任务，即

这些任务在云计算平台中按序逐个完成，其中i=1,2,...,I，k=1,2,...,N。

云计算平台提供M种类型的虚拟化资源，即M种虚拟机类型来满足用户的应用资源需求，每种虚拟机提供包含有特定容量大小的四个基本资源：CPU，内存（Memory），存储空间（Disk）以及带宽（I/O Bandwidth），则VM_j={CPU_j,Memory_j,Disk_j,I/O_j}，其中j=1,2,...，M。

该方法主要包括以下步骤：

步骤1：云计算平台应用层接收来自用户的请求，用户界面层中的应用需求解析器将各个应用资源请求进行解析并放入相应的队列中，资源需求调度层中的资源需求调度模块依据各个应用资源请求中SLA所描述的优先级信息将各个应用资源请求发送至虚拟化资源配置模块。

步骤2：虚拟化资源配置模块根据各个应用资源需求与各个虚拟机类型进行匹配，其匹配度的计算公式为：

$D(i,j)=\sqrt{{\mathrm{\ω}}_{\mathrm{CPU}}{(\stackrel{\‾}{r_{\mathrm{CPU}}}-r_{C{\mathrm{PU}}_j})}^2+{\mathrm{\ω}}_{\mathrm{Memory}}{(\stackrel{\‾}{r_{\mathrm{Memory}}}-r_{{\mathrm{Memory}}_j})}^2+{\mathrm{\ω}}_{\mathrm{Disk}}{(\stackrel{\‾}{r_{\mathrm{Disk}}}-r_{{\mathrm{Disk}}_j})}^2+{\mathrm{\ω}}_{I/O}{(\stackrel{\‾}{r_{I/O}}-r_{{I/O}_j})}^2},$

其中D(i,j)为应用资源请求Req_i与特定的虚拟机VM_j中所含的虚拟化资源的匹配度；

和分别是应用资源请求Req_i所需的CPU，Memory，Disk以及I/O的资源量；

和

分别是第j类虚拟机VM_j所设定的CPU，Memory，Disk以及I/O的资源量；ω_CPU、ω_Memory、ω_Disk和ω_I/O则是Req_i中对四种资源需求的不同比例。

步骤3：选出与应用资源请求Req_i匹配度最接近的虚拟机类型VM_j。即选择具有最小D(i,j)：Minimum(D(i,j))的虚拟机中的虚拟化资源来对Req_i进行服务。

步骤4：从所有具有Minimum(D(i,j))的那类虚拟机VM_j中，选出当前正在运行的某个实例，而该实例已经运行有其它的应用，即符合单虚拟机服务多请求模式。选择的标准为该实例既能满足Req_i应用资源需求，并且在运行Req_i后，该实例上运行的总资源负载最接近该类型虚拟机所设定的容量。最后将Req_i添加到该实例上逐个运行其任务。

至此，基于自适应弹性控制的云计算资源优化配置系统及其理论与方法的发明内容已叙述完成。

本发明的优点是：

本发明在保证满足用户服务质量的同时，提高虚拟化资源利用率，减少资源浪费，降低成本。

附图说明

图1自适应虚拟化资源优化配置公有云架构的结构示意图。

图2单虚拟机服务单客户模式的示意图。

图3基于单虚拟机服务多用户的资源配置方法示意图。

图4SVSC和SVMC的资源耗费比较结果示意图。

图5SVSC和SVMC的服务性能比较结果示意图。

图6SVSC和SVMC的平均服务等待时间比较结果示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明保护的范围。

首先，本发明利用开源云计算平台OpenStack（OpenStack Foundation,http://www.openstack.org/）构建一种自适应虚拟化资源优化配置公有云架构，该公有云架构是五层结构，如图1所示，由下至上分别是基础架构层、资源管理层、资源需求调度层、用户界面层，以及应用层。OpenStack支持多种虚拟机类型，本发明使用XEN虚拟机，并在XEN中安装Nova组件，该组件能够使得该云计算平台完成包括用户请求管理、虚拟机配置、资源类型定义等在内的一系列工作。

该云计算环境配置有10台同质的服务器，其中一台被设为Nova控制器，用于处理云计算用户资源请求以及各虚拟机的配置，它具有16核2.4G的CPU，16GB内存和2TB存储空间。剩余9台服务器被设定为计算节点，即用来服务云计算用户。

虚拟机类型设有四种，分别是微型虚拟机、小型虚拟机、中型虚拟机及大型虚拟机。其中微型虚拟机设有单核CPU，1GB内存和64GB存储空间；小型虚拟机设有双核CPU，2GB内存和128GB存储空间；中型虚拟机设有4核CPU，4GB内存和256G存储空间；大型虚拟机设有8核CPU，8GB内存和512GB存储空间。

虚拟化资源配置模式为单虚拟机服务单用户（SVSC）和单虚拟机服务多用户（SVMC），其中SVSC虚拟化资源配置模式如图2所示，在Nova控制器识别用户需求类型并分配相应的虚拟机后，在设定的时间段内只对该用户服务，不管任务完成与否；而SVSC虚拟化资源配置模式如图3所示，Nova控制器在识别用户需求类型后，需要根据当前虚拟化资源运行状况，选出当前正在运行的某个实例，而该实例已经运行有其它的应用，即符合单虚拟机服务多请求模式。选择的标准为该实例既能满足该用户应用资源需求，并且在运行该应用后，实例上运行的总资源负载最接近该类型虚拟机所设定的容量。

在所搭建的云计算平台下，对以上两种虚拟化资源配置方式在资源耗费、服务性能、平均服务等待时间上进行了全面的比较，结果如图4、5和6所示。从图4、5和6可以看出，本发明所提的SVMC虚拟化资源配置模式在资源耗费要比传统的SVSC虚拟化资源配置模式小，服务性能也并没有因为但虚拟机服务多用户而受到明显的影响，依然能够保证服务质量，而平均服务等待时间如预期的那样，要比SVSC小很多，原因是SVMC不需要为新来的资源请求再去启用更多的虚拟机，省去了虚拟机启用时间，从而具有更短的服务等待时间。综上所述，SVMC虚拟化资源配置模式相比于目前基于SVSC的虚拟化资源配置模式在保证服务质量的。

Claims (2)

1.一种新的公有云架构，其特征在于，包括有五层结构，由下至上分别是基础架构层、资源管理层、资源需求调度层、用户界面层，以及应用层；其中，基础架构层主要包括各种物理设备，以及在此基础上形成的各类虚拟化资源；资源管理层主要包括三个模块，分别是虚拟化资源监控模块、虚拟化资源配置模块，以及虚拟化资源提供模块，其中虚拟化资源监控模块主要负责周期性地监控、搜集并记录底层虚拟化资源的使用情况；虚拟化资源配置模块主要负责综合考虑当前虚拟化资源使用状态、虚拟化资源历史使用情况，以及各个资源请求中包含的服务等级协议（Service Level Agreements，SLA），并以此为依据实施资源的优化配置；虚拟化资源提供模块根据虚拟化资源配置模块所提供的资源配置信息，将云计算资源提供给不同的用户；资源需求调度层主要包括两个模块，分别是资源需求队列模块和资源需求调度模块，其中资源需求队列模块主要负责把各个用户递交的资源需求放入相应的资源队列中以供资源需求调度模块使用；资源需求调度模块主要负责调查存放在资源需求队列模块中的各个需求的优先级信息，并依据优先级信息将各个需求发送至虚拟化资源配置模块；用户界面层中包含有应用需求解析器，主要负责接收由应用层递交的各类资源请求，对资源请求进行解析和分类，将处理结果递送至资源需求调度层的资源需求队列模块；应用层主要负责接收和读取各类云计算用户的应用资源请求，并将这些请求发送至用户界面层。

2.一种基于权利要求1所述的新的公有云架构的虚拟化资源自适应优化配置方法，其特征在于：

采用单虚拟机服务多请求的资源配置方法，即有I个云计算用户将应用资源请求Req_i提交至云计算平台，而每个应用资源请求中又包含有N个任务，即

这些任务在云计算平台中按序逐个完成，其中i=1,2,...,I，k=1,2,...,N；

云计算平台提供M种类型的虚拟化资源，即M种虚拟机类型来满足用户的应用资源需求，每种虚拟机提供包含有特定容量大小的四个基本资源：CPU、内存（Memory）、存储空间（Disk）以及带宽（I/O Bandwidth），则VM_j={CPU_j,Memory_j,Disk_j,I/O_j}，其中j=1,2,...,M；

该方法主要包括以下步骤：

步骤1：云计算平台应用层接收来自用户的请求，用户界面层中的应用需求解析器将各个应用资源请求进行解析并放入相应的队列中，资源需求调度层中的资源需求调度模块依据各个应用资源请求中SLA所描述的优先级信息将各个应用资源请求发送至虚拟化资源配置模块；

步骤2：虚拟化资源配置模块根据各个应用资源需求与各个虚拟机类型进行匹配，其匹配度的计算公式为：

$D(i,j)=\sqrt{{\mathrm{\ω}}_{\mathrm{CPU}}{(\stackrel{\‾}{r_{\mathrm{CPU}}}-r_{C{\mathrm{PU}}_j})}^2+{\mathrm{\ω}}_{\mathrm{Memory}}{(\stackrel{\‾}{r_{\mathrm{Memory}}}-r_{{\mathrm{Memory}}_j})}^2+{\mathrm{\ω}}_{\mathrm{Disk}}{(\stackrel{\‾}{r_{\mathrm{Disk}}}-r_{{\mathrm{Disk}}_j})}^2+{\mathrm{\ω}}_{I/O}{(\stackrel{\‾}{r_{I/O}}-r_{{I/O}_j})}^2}$

，其中D(i,j)为应用资源请求Req_i与特定的虚拟机VM_j中所含的虚拟化资源的匹配度；

和

分别是应用资源请求Req_i所需的CPU，Memory，Disk以及I/O的资源量；

和

分别是第j类虚拟机VM_j所设定的CPU，Memory，Disk以及I/O的资源量；ω_CPU、ω_Memory、ω_Disk和ω_I/O则是Req_i中对四种资源需求的不同比例；

步骤3：选出与应用资源请求Req_i匹配度最接近的虚拟机类型VM_j；即选择具有最小D(i,j)：Minimum(D(i,j))的虚拟机中的虚拟化资源来对Req_i进行服务；

步骤4：从所有具有Minimum(D(i,j))的那类虚拟机VM_j中，选出当前正在运行的某个实例，而该实例已经运行有其它的应用，即符合单虚拟机服务多请求模式；选择的标准为该实例既能满足Req_i应用资源需求，并且在运行Req_i后，该实例上运行的总资源负载最接近该类型虚拟机所设定的容量，最后将Req_i添加到该实例上运行。

Images