CN104601664A - 一种云计算平台资源管理与虚拟机调度的控制系统 - Google Patents

Abstract

本发明公开了一种云计算平台资源管理与虚拟机调度的控制系统，包括资源管理与调度系统，该资源管理与调度系统包括云计算平台资源管理单元、虚拟机调度单元；云计算平台资源管理单元用于将具体的物理硬件资源虚拟化成虚拟资源池的形式，并对资源池内的资源使用状况进行监管；虚拟机调度单元用于平台用户申请虚拟机时，调度系统根据用户具体请求与当前云平台运行状况，给用户分配相应配置的虚拟机并使用户正常使用虚拟机；虚拟机调度单元根据云计算平台资源管理单元统计得出的资源动态负载因子来确定虚拟机调度单元中的具体调度算法的参数。本发明满足经济、高效、可靠、均衡的资源利用需求，从而实现云计算平台资源的均衡分配，提高资源使用效率。

Description

一种云计算平台资源管理与虚拟机调度的控制系统

技术领域

本发明涉及云计算资源使用技术领域，特别涉及大规模集中式部署方式下的云计算平台资源管理与虚拟机调度的控制系统，具体是一种云计算平台资源管理与虚拟机调度的控制系统。

背景技术

规模化的硬件部署与较高的资源利用率是云计算平台重点关注的两个问题，同时也是决定整个云计算平台发展与应用的重要因素。云计算平台利用虚拟化技术将大量的物理硬件资源整合成虚拟的巨大的网络资源池，形成源源不断的云资源，云服务提供商可以将普通硬件资源划分成具体配的虚拟机，用户根据自己的需求去支配虚拟机，而不用关心这些具体资源的来源与维护。作为云平台提供者必须关注各式各样的用户需求，可提供的资源利用方式也是难以预料的规模，因此，能够在尽可能保证用户具体需求的前提下，运用较为合理的云计算资源分配策略与针对性的资源调度方案，避免用户使用成本的增加与不可靠情况出现，降低云计算服务提供商设备成本与资源浪费情况，已经成为当前云计算平台领域较为突出的问题。

云平台的资源调度需要尽量避免对具体硬件规格细粒度操作，而只需要关注如何将各类型配置的虚拟机合理、高效的管理起来，一次需要制定合理的虚拟机调度策略，满足经济、高效、可靠、均衡的云计算平台资源利用需求。

发明内容

本发明的目的是克服上述现有技术中存在的问题，提供一种高效的云计算平台下的资源管理与虚拟机调度的控制系统，从而改善以往的云计算平台资源管理与调度的各种缺陷，制定出一个可靠、完善的云计算平台虚拟机调度策略。

本发明公开了一种云计算平台资源管理与虚拟机调度的控制系统，其技术方案是：一种云计算平台资源管理与虚拟机调度的控制系统，包括资源管理与调度系统，该资源管理与调度系统包括云计算平台资源管理单元、虚拟机调度单元；所述云计算平台资源管理单元用于将具体的物理硬件资源虚拟化成虚拟资源池的形式，并对资源池内的资源使用状况进行监管；所述虚拟机调度单元用于平台用户申请虚拟机时，调度系统根据用户具体请求与当前云平台运行状况，给用户分配相应配置的虚拟机并使用户正常使用虚拟机；虚拟机调度单元根据云计算平台资源管理单元统计得出的资源动态负载因子来确定虚拟机调度单元中的具体调度算法的参数。

上述云计算平台资源管理单元包括云计算平台硬件资源虚拟化管理与分配子单元、硬件资源使用情况统计子单元；所述云计算平台硬件资源虚拟化管理与分配子单元用于将物理硬件资源采用虚拟化技术添加进平台资源池；所述硬件资源使用情况统计子单元用于收集物理服务器资源使用状况与负载状况，其利用云计算平台硬件资源虚拟化管理与分配子单元的接口并根据当前资源的分配情况进行具体的统计工作；

上述虚拟机调度单元包括用户队列调度管理子单元、基于动态反馈机制的机架选择子单元、机架内具体虚拟机选择子单元；在所述虚拟机调度单元中，首先根据用户队列调度管理子单元处理用户队列中的请求信息，进而采用基于动态反馈机制的机架选择子单元进行机架选择，最后利用机架内具体虚拟机选择子单元在机架中选择具体的虚拟机；所述用户队列调度管理子单元，用于将用户的请求添加进云计算平台处理队列；所述基于动态反馈机制的机架选择子单元按照云计算平台资源管理系统所反馈的负载状况，按照算法将用户请求导向合理的物理机架；所述机架内具体虚拟机选择子单元将定位到本机架的虚拟机请求按照机架内物理服务器使用状况进行合理的分配，使用户使用到合适的虚拟机；

上述云计算平台是大规模的集中式云计算平台部署方式；

    上述资源管理与调度系统还包括用户使用权限鉴定模块，用于对平台用户合法性以及需求合理性进行检测；

    上述云计算平台资源管理单元还包括资源负载反馈子单元；所述资源负载反馈子单元用于收集平台过程中物理服务器运行指标并将负载情况统计反馈到基于动态反馈机制的机架选择子单元；

上述虚拟机调度单元还包括用户使用单元；所述用户使用单元用于提交用户使用需求以及登陆具体虚拟机所使用的登陆方式；

上述资源管理与调度系统还包括电源管理单元，所述电源管理单元用于对闲置的物理服务器进行休眠工作，使其进入低功耗状态，并能在调用时唤醒具体的物理服务器。

本发明的有益效果：本发明利用基于资源负载统计反馈的方式进行具体的资源管理与虚拟机调度，利用管理系统收集平台相关数据，进行统计反馈。并对用户的请求队列做相应的冲突处理，利用收集的负载情况去更改调度时的哈希算法，可以将处理队列的用户请求定位到具体的机架，实现各域之间负载均衡。克服了集中式云平台规模过大导致的负载失衡、资源利用率低、扩展困难等问题，实现云计算平台资源的均衡、合理的高效管理。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1是本发明云计算平台资源管理与虚拟机调度的控制系统的系统框图；

图2是本发明控制系统进行用户请求过程与虚拟机分配过程的具体流程；

图3是本发明控制系统的资源管理方式的结构框图；

图4是本发明控制系统的用户请求队列处理的时序流程图；

图5是本发明控制系统的利用基于动态反馈的机架选择机制的机架定位示意图；

图6是本发明控制系统的机架内资源检索及虚拟机定位的流程图。

附图标记说明：10、资源管理与调度系统；11、虚拟机调度单元；12、云计算平台资源管理单元；30、资源管理单元；31、用户子单元；32、消费中心子单元；33、生产者子单元；40、用户请求调度单元；41、请求处理子单元；42、处理队列子单元；111、用户队列调度管理子单元；112、基于动态反馈机制的机架选择子单元；113、机架内具体虚拟机选择子单元；121、云计算平台硬件资源虚拟化管理与分配子单元；122、硬件资源使用情况统计子单元；411、许可队列；412、控制器。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。

本发明提出了一种云计算平台资源管理与虚拟机调度的控制系统，包括资源管理与调度系统，该资源管理与调度系统10包括云计算平台资源管理单元12、虚拟机调度单元11；云计算平台资源管理单元12用于将具体的物理硬件资源虚拟化成虚拟资源池的形式，并对资源池内的资源使用状况进行监管；虚拟机调度单元11用于平台用户申请虚拟机时，调度系统根据用户具体请求与当前云平台运行状况，给用户分配相应配置的虚拟机并使用户正常使用虚拟机；虚拟机调度单元11根据云计算平台资源管理单元12统计得出的资源动态负载因子来确定虚拟机调度单元11中的具体调度算法的参数。该动态负载因子为虚拟机调度单元11根据云计算平台资源管理单元12收集负载信息从而反馈到虚拟机调度单元11的具体调度算法的影响因子；本系统通过相应的云计算平台用户登陆模块提交用户使用需求以及登陆具体虚拟机所使用的登陆方式，其登陆方式可以包含任意操作系统的远程登录操作。

图1是本发明云计算平台资源管理与虚拟机调度的控制系统的系统框图。如图1所示，资源管理与调度系统10包括虚拟机调度单元11和云计算平台资源管理单元12。

虚拟机调度单元11包括用户队列调度管理子单元111、基于动态反馈机制的机架选择子单元112和机架内具体虚拟机选择子单元113。用户队列调度管理子单元111用于将用户请求根据资源申请状况以及用户角色决定是否将该用户请求添加进最终的平台处理队列中；基于动态反馈机制的机架选择子单元112用于针对平台处理队列调用合理的算法将需求定位到具体的机架；机架内具体虚拟机选择子单元113将定位到本机架的虚拟机请求按照机架内物理服务器使用状况进行合理的分配，使用户使用到合适的虚拟机；虚拟机调度过程为首先利用用户队列调度管理子单元111处理用户队列中的请求信息，进而利用基于动态反馈机制的机架选择子单元112进行机架选择，最后利用机架内具体虚拟机选择子单元113机架中选择具体的虚拟机。

虚拟机调度单元11还可以增加用户使用单元，该用户使用单元用于提交用户使用需求以及登陆具体虚拟机所使用的登陆方式。

云计算平台资源管理单元包括云计算平台硬件资源虚拟化管理与分配子单元121和硬件资源使用情况统计子单元122。云计算平台硬件资源虚拟化管理与分配子单元121用于对具体的服务器硬件资源，例如CPU、内存、硬盘、带宽资源进行虚拟机化管理，将其添加进平台虚拟机资源池中，并按照一定的分配方式生成可控调用的虚拟机实例；硬件资源使用情况统计子单元122用于统计平台内部各物理机架负载状况，系统在进行虚拟机调度时，为了保证负载均衡以及资源利用合理等因素，需要将负载状况及时反馈给调度系统，因此在管理单元中，需要在每个物理机架上收集本机架内资源利用情况，并计算出负载因子，反馈给基于动态反馈机制的机架选择子单元112，从而实现基于负载因子的动态机架选择机制；其中硬件资源使用情况统计子单元122借助于云计算平台硬件资源虚拟化管理与分配子单元121的硬件资源管理接口进行具体的资源利用情况统计工作。

其中，云计算平台资源管理单元12可以利用xen、kvm等虚拟机化工具进行资源的虚拟化管理，并且可以利用开源虚拟化资源管理接口库libvirt进行资源收集，也可以自己开发相应的资源统计工具进行统计资源使用状况。

云计算平台资源管理单元12还可以增加资源负载反馈子单元，该资源负载反馈子单元用于收集平台过程中物理服务器运行指标并将负载情况统计反馈到基于动态反馈机制的机架选择子单元；

本实施例的系统可以是大规模的集中式云计算平台部署方式，即针对数量巨大的集中放置在一起的云计算平台搭建方式。

资源管理与调度系统还可以增加用户使用权限鉴定模块，用于对平台用户合法性以及需求合理性进行检测。另外，资源管理与调度系统还可增加电源管理单元，该电源管理单元用于对闲置的物理服务器进行休眠工作，使其进入低功耗状态，并能在调用时唤醒具体的物理服务器。

图2是本发明的控制系统进行用户请求过程与虚拟机分配过程的具体流程图。如图2所示，在步骤210中资源管理与调度系统10的用户队列调度管理子单元111根据用户请求内容以及用户角色将用户请求添加进处理队列中。

在步骤220中资源管理与调度系统10的基于动态反馈机制的机架选择子单元112根据资源统计反馈系统得到的负载因子利用一定的选择策略将需求定位到具体机架上；

在步骤230中基于动态反馈机制的机架选择子单元112根据查询统计得到的各物理资源使用负载状况计算出相应的负载参数，该负载参数可以表示各机架服务器性能指标；

在步骤240中云计算平台资源管理单元12的硬件资源使用情况统计子单元122实时收集机架资源利用状况以及当前机架健康状况，并将CPU、内存、硬盘、带宽等数据上报给平台资源管理系统；

在步骤250中资源管理与调度系统10的机架内具体虚拟机选择子单元113根据请求得到的机架信息，直接去请求相应的可以提供具体虚拟机的机架，该机架内部通过选择机制生成具体配置的虚拟机供用户使用。

本请求调度过程通过将用户需求分布到各分布式控制节点，并结合动态负载统计因子进行实时调度优化，有效解决了大规模云计算平台下的控制过程繁杂、资源利用率低、负载失衡以及调度延时等不足。

图3是本发明控制系统的资源管理方式的结构框图。如图3所示，为了方便管理资源，必须对资源进行有效地管理，本文提出生产者-消费中心-消费者资源整合模型，即资源管理单元30具体有用户子单元31，消费中心子单元32以及生产者子单元33构成。

用户子单元31：根据之前提到的任务队列调度，将用户请求添加进处理队列后，管理程序就可以根据用户具体需求，在注册中心查看当前平台性能指标，根据当前平台各域的性能指标，调用提出的虚拟机分配算法，在消费中心查找到合适的虚拟机位置信息，用户根据此位置信息就可以连接具体机架；

消费中心子单元32：整个管理平台设定一个注册服务器，该服务器负责收集整个平台各域的管理节点所提交的各域的信息，按照各个域的负载与资源能力估算当前域的任务处理能力，然后及时调整分配策略的算法参数；

生产者子单元33：借鉴分而治之的思想，将资源管理任务划分到多个控制节点，主控制节点只需要协同各分节点工作。因此可以根据物理硬件规模将整个集群系统划分成若干个机架，每个机架有专门的管理节点可以收集各个域的资源利用情况以及各域的运行状况，只需各个域的管理节点与注册中心交互，将该域的虚拟机生产能力随时报告给注册中心。

图4是本发明第一实施例的控制系统的用户请求队列处理的时序流程图。如图4所示，用户请求调度单元40由请求处理子单元41和处理队列子单元42组成，其中请求处理子单元41由许可队列411与控制器412组成。

用户注册后成为合法用户，按照平台资源提供方式选择具体的资源配置，平台管理系统许可控制器412根据用户角色与当前平台运行状况接收或者拒绝用户请求。

将用户需求添加进许可队列411。平台控制系统对每个已经通过验证的需求定义一个具体的标间，即请求关键字，该关键字由用户权限以及具体需求情况确定，然后平台管理程序将此请求送入到相应的请求许可队列。

将请求添加进处理队列42。平台处理程序实时扫描个许可队列411，对许可队列中的请求按照一定的调度算法添加进最终的请求处理队列42，请求处理队列中的具体请求则会被管理系统实时处理。

图5是本发明第一实施例的控制系统的利用基于动态反馈的机架选择机制的机架定位示意图。如图5所示，调度系统在进行任务调度时，首先根据请求键值利用一致性哈希算法确定哈希值，将其映射到结果空间上，然后根据数据映射位置顺时针开始查找，就可以查找到申请服务的虚拟节点，根据上述的虚拟节点与具体机架的映射规则，就可以检索出请求服务的具体机架的信息。

步骤510：将设备和请求按照关键字映射到相同的hash空间中，他们采用的是一致的hash策略；

步骤520：根据hash区间将请求队列中的键值通过查找环上的节点定位到具体的虚拟节点上；

步骤530：检索虚拟节点与真实节点对应关系，查找出定位到的具体真实节点，即具体机架。

图6是本发明第一实施例的的控制系统的机架内资源检索及虚拟机定位的流程图。如图6所示，在具体域内进行选择的时候我们可以利用轮询机制以及循环首次适应算法查找到符合硬件资源指标需求的虚拟机服务。

步骤610：在该机架内从上次分配时的具体物理服务器的下一个服务器开始选择；

步骤620：查看当前如果服务器是否可用，如果可用，则转到步骤630；

步骤621：若当前选择机架服务器不可用，则将该服务器剔除出该机架内可用服务队列，转至步骤620；

步骤630：当前机架CPU、内存、硬盘等硬件资源是否满足请求需求，若满足，则转至步骤:640；

步骤631：当前服务器需求不满足请求队列需求，则表示本服务器当前可用资源较少，则将其调整至该机架内可用服务器队列队尾，转至步骤630；

步骤640：更新机架资源使用状况，并创建虚拟机。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (8)

1.一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：包括资源管理与调度系统，该资源管理与调度系统包括云计算平台资源管理单元、虚拟机调度单元；所述云计算平台资源管理单元用于将具体的物理硬件资源虚拟化成虚拟资源池的形式，并对资源池内的资源使用状况进行监管；所述虚拟机调度单元用于平台用户申请虚拟机时，调度系统根据用户具体请求与当前云平台运行状况，给用户分配相应配置的虚拟机并使用户正常使用虚拟机；虚拟机调度单元根据云计算平台资源管理单元统计得出的资源动态负载因子来确定虚拟机调度单元中的具体调度算法的参数。

2.如权利要求1所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述云计算平台资源管理单元包括云计算平台硬件资源虚拟化管理与分配子单元、硬件资源使用情况统计子单元； 

 所述云计算平台硬件资源虚拟化管理与分配子单元用于将物理硬件资源采用虚拟化技术添加进平台资源池；

 所述硬件资源使用情况统计子单元用于收集物理服务器资源使用状况与负载状况，其利用云计算平台硬件资源虚拟化管理与分配子单元的接口并根据当前资源的分配情况进行具体的统计工作。

3.如权利要求1所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述虚拟机调度单元包括用户队列调度管理子单元、基于动态反馈机制的机架选择子单元、机架内具体虚拟机选择子单元；在所述虚拟机调度单元中，首先根据用户队列调度管理子单元处理用户队列中的请求信息，进而采用基于动态反馈机制的机架选择子单元进行机架选择，最后利用机架内具体虚拟机选择子单元在机架中选择具体的虚拟机；

 所述用户队列调度管理子单元，用于将用户的请求添加进云计算平台处理队列；

 所述基于动态反馈机制的机架选择子单元按照云计算平台资源管理系统所反馈的负载状况，按照算法将用户请求导向合理的物理机架；

 所述机架内具体虚拟机选择子单元将定位到本机架的虚拟机请求按照机架内物理服务器使用状况进行合理的分配，使用户使用到合适的虚拟机。

4.如权利要求1或2或3所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述云计算平台是大规模的集中式云计算平台部署方式。

5.如权利要求1所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述资源管理与调度系统还包括用户使用权限鉴定模块，用于对平台用户合法性以及需求合理性进行检测。

6.如权利要求2所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述云计算平台资源管理单元还包括资源负载反馈子单元；

 所述资源负载反馈子单元用于收集平台过程中物理服务器运行指标并将负载情况统计反馈到基于动态反馈机制的机架选择子单元。

7.如权利要求3所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述虚拟机调度单元还包括用户使用单元；

所述用户使用单元用于提交用户使用需求以及登陆具体虚拟机所使用的登陆方式。

8.如权利要求1所述的一种云计算平台资源管理与虚拟机调度的控制系统，其特征在于：所述资源管理与调度系统还包括电源管理单元，所述电源管理单元用于对闲置的物理服务器进行休眠工作，使其进入低功耗状态，并能在调用时唤醒具体的物理服务器。