CN103533086B - 一种云计算系统中的资源统一调度方法 - Google Patents

Abstract

本发明公开了一种云计算系统中的资源统一调度方法。本方法为：1）建立一物理资源池和一虚拟资源池；2）系统控制器根据资源请求的需求类型，将其转发到相应组件；3）物理资源池管理组件收到该请求后，从物理资源池中选择服务器，并上电开机、初始化后，返回访问地址和口令给该用户；虚拟资源池管理组件收到该请求后，从虚拟资源池中选择物理资源并创建虚拟机，返回访问地址和口令；当虚拟资源池中的使用率大于设定阈值时，资源调度器从物理资源池中选取服务器并注销，将其迁移到虚拟资源池并注册；当物理资源池中的资源使用率大于设定阈值时，从虚拟资源池中选择服务器并注销，然后将其迁移到物理资源池并注册。本发明资源利用率高、能耗低。

Description

一种云计算系统中的资源统一调度方法

技术领域

本发明属于云计算领域，涉及云计算系统中的资源调度方法，特别涉及云计算系统中虚拟资源和物理资源的统一调度方法。

技术背景

云计算是由分布式计算、并行计算、网格计算发展来的一种新兴的商业计算模型。它将计算任务分配在大量计算机构成的资源池上，使各种应用系统能根据需要获取计算能力、存储空间和各种软件服务。提供云计算的厂商通过分布式计算和虚拟化技术搭建数据中心，以免费或者按需租用的方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务。

云计算的出现在某种意义上剥离了软件与硬件之间的联系。传统的管理员既需要维护服务器的硬件，同时又需要管理软件的应用，这使得企业为此付出了极大的成本。而云计算则并不限制应用程序与硬件之间的必然联系，亦即透过平行运算的方式，一个应用程序可以在不同的硬件上执行，全面解除应用服务与硬件资源间的固定对应关系

云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分为多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分为存储虚拟化、计算虚拟化、网络虚拟化等。

毫无疑问，虚拟化技术是云计算系统的核心组成部分，是将各种计算及存储资源充分整合和高效利用的关键。它将应用程序以及数据，在不同的层次以不同的面貌加以展现，从而使得不同层次的使用者、开发及维护人员，能够方便的使用开发及维护存储的数据、按需使用计算资源。如果把云计算单纯理解为虚拟化，其实也并不为过，因为没有虚拟化的云计算，是不可能实现按需计算的目标的。云计算使得应用软件脱离已经成为一种可能。目前Amazon所提供的多种云服务就是基于大规模虚拟化的应用。

虚拟化技术解决了多资源的整合和高效使用问题，为企业级的数据中心节约了大量成本，从这个角度来看，它可以称得上是一项革命性的新技术。由于虚拟化技术本身的运行开销，以及其易维护、资源隔离及整合等特点，虚拟化技术当前主要应用在互联网领域，以及传统行业的信息化建设中。

然而，虚拟化技术不能解决所有问题。考虑到资源使用的性能以及上层业务服务对具体硬件架构的要求，一些领域对物理资源仍然有着很直接的需求。例如，高性能计算中，硬件的利用率常常突破90%，几乎所有的高性能计算系统都处在全负荷或倍过量预定的状态。此时，领域的需求使得关注点在资源的性能发挥上，而不是资源的有效利用上，因此高性能计算领域看不到虚拟化技术的影子。在实时计算及专用系统领域，业务的需要及应用程序的实现往往对底层的硬件架构和指令集有着特殊的要求，虚拟化技术往往不能满足这类要求。

当前，以虚拟化技术为基础的云计算系统只提供了对虚拟资源的抽象，无法满足用户对物理资源的需求，这在很大程度上局限了云计算系统的应用领域。

发明内容

本发明解决的技术问题在于扩展了当前云计算系统的资源调度方法，增加了对物理资源的管理和分配，并以统一的资源管理接口展现给最终用户。在此过程中，考虑到资源使用的效率，本方法还给出了两种资源池的动态迁移机制。

本发明是通过如下的技术方案进行的：

一种云计算系统中的资源统一调度方法，其步骤为：

1）在云计算系统中建立一物理资源池和一物理资源池管理组件；其中，所述物理资源池管理组件用于对所述物理资源中的物理资源进行注册、注销、初始化以及销毁，并将所述物理资源池的使用情况发送给资源调度器；

2）在云计算系统中建立一虚拟资源池和一虚拟资源池管理组件；其中，所述虚拟资源池管理组件负责对所述虚拟资源池中虚拟机的创建、销毁、物理资源的加入以及退出，并将所述虚拟资源池的使用情况发送给所述资源调度器；

3）系统控制器根据用户的资源请求中的需求类型，将该资源请求转发到所述物理资源池管理组件或所述虚拟资源池管理组件；

4）所述物理资源池管理组件收到该资源请求后，从所述物理资源池中选择服务器，并上电开机、初始化后，返回所选服务器的访问地址和口令给该用户；所述虚拟资源池管理组件收到该资源请求后，从虚拟资源池中选择物理资源并创建虚拟机，然后返回该所建虚拟机的访问地址和口令；

其中，当所述虚拟资源池中的资源使用率大于预先设定的阈值Hv时，所述资源调度器从所述物理资源池中选取空闲的服务器并注销，然后将其迁移到所述虚拟资源池并利用所述虚拟资源池管理组件对其进行注册；当物理资源池中的资源使用率大于预先设定的阈值Hb时，所述资源调度器调用从所述虚拟资源池中选择空闲的服务器并注销，然后将其迁移到所述物理资源池，并利用所述物理资源池管理组件对其进行注册。

进一步的，所述物理资源池管理组件中记录所管理物理资源信息包括：服务器的mac地址、远程管理IP、登陆口令、资源配置情况、服务器型号和服务器的系统架构。

进一步的，所述虚拟资源池管理组件中记录所管理虚拟资源信息包括：当前虚拟机的数量、虚拟机的配置情况、虚拟机采用的虚拟化技术、当前的负载情况。

进一步的，当物理资源池中的资源使用率大于预先设定的阈值Hb时，所述虚拟资源池管理组件首先通过在线迁移技术对当前的资源使用布局进行压缩，使虚拟资源的使用布局集中。

进一步的，所述资源请求为json或者xml格式；所述资源请求中包含资源的需求类型、资源的规模。

进一步的，所述物理资源池管理组件分别在资源的注册、注销、创建和销毁环节设置回调函数，向所述资源调度器通知资源的使用情况；所述虚拟资源池管理组件分别在虚拟机的注册、销毁、物理资源的加入以及退出环节设置回调函数，向所述资源调度器通知资源的使用情况。

进一步的，所述从虚拟资源池中选择物理资源并创建虚拟机的方法为：虚拟资源池管理组件首先根据该资源请求中的资源规模，从所述虚拟资源池中选择一满足该资源规模的物理服务器，然后根据该资源请求中对操作系统类型的要求，获取对应的镜像文件，并通过虚拟化技术在该物理服务器上发起对应的虚拟机，并返回该所建虚拟机的访问地址和口令。

进一步的，对于迁移到所述虚拟资源池的服务器，所述资源调度器首先利用智能平台管理接口IPMI和预启动执行环境技术PXE为该服务器安装操作系统并部署云计算系统管理客户端，然后通过虚拟资源池管理组件对该服务器进行注册。

进一步的，当虚拟资源池中的资源使用率大于预先设定的阈值Hv，且物理资源池中的资源使用率大于预先设定的阈值Hb时，所述资源调度器停止迁移处理。

本发明中，方法的实现包括四部分：系统控制器、虚拟资源池管理组件、物理资源池管理组件、资源调度器，如图1所示。其中系统控制器负责接收用户的请求，并根据请求的类型转发给对应的管理组件；物理资源池管理组件负责对底层的物理资源进行管理，包括资源的注册、注销、初始化以及销毁等，同时监控整个物理资源池的使用情况。物理资源池管理组件记录了所管理服务器的mac地址、远程管理IP、登陆口令、资源配置情况、服务器型号、系统架构等信息；虚拟资源池管理组件负责虚拟机的创建、销毁、物理服务器的加入以及退出等操作，同时监控整个虚拟资源池的使用情况。它记录的信息包括：系统中当前虚拟机的数量、每台虚拟机的配置情况、采用的虚拟化技术、当前的负载情况、虚拟资源池的空闲资源等信息。资源池管理组件分别在资源的注册、注销、创建和销毁环节设置回调函数，向资源调度器通知资源的使用情况。此外，定期将虚拟机及物理机的运行情况发送给资源调度器。资源调度器收集到两大资源池的使用情况后，根据专用的调度算法触发资源的迁移以及资源迁移的数量。

本发明中，用户的资源请求以json或者xml的格式发送到系统控制器，资源的需求说明中包含了资源的需求类型、资源的规模以及资源的自定义名称等，如[“resource_type”:”baremetal”,“OS_TYPE”:”ubuntu12.04”,“CPU”:”5”,”MEM”:”10240”,”DISK”:”1024”,”name”:”test_machine”]。系统控制器根据请求中的resource_type字段判断资源需求的类型，如果是baremetal，该请求将被转发到物理资源池管理组件，如果是vm，则被转发到虚拟资源池管理组件。物理资源池管理组件拿到资源请求后，根据请求中的资源规模描述，从物理资源池的可用服务器列表中选择满足用户资源需求的服务器，通过智能平台管理接口（IPMI）技术上电开机，并通过预启动执行环境（PXE）技术给该服务器安装对应的操作系统并配置网络，最后返回该物理服务器的访问地址和口令。虚拟资源池管理组件拿到资源请求后，首先根据用户申请的资源规模，从虚拟资源池中选择一个可以满足用户资源需求的物理服务器，然后根据资源请求中对操作系统类型的要求，获取对应的镜像文件，并最终通过虚拟化技术（如kvm）发起对应的虚拟机，并返回该虚拟机的访问地址和口令。

本发明中，两大资源池之间的资源迁移由专用的算法触发。该算法收集资源池的使用情况，根据当前的负载和以往的使用信息，选择合适及适量的资源进行迁移。其中包括如下两种情况：

（1）资源从物理资源池迁移到虚拟资源池。

一旦虚拟资源池中的资源使用率大于预先设定的阈值（如90%），该过程将被触发。

首先根据当前物理资源的使用情况，通过最近最少使用算法（LRU），选择那些空闲且近期不会被使用的服务器，由物理资源池管理组件将该服务器从物理资源池中注销，然后通过智能平台管理接口（IPMI）和预启动执行环境（PXE）技术为该物理服务器安装基本的操作系统并部署云计算系统管理客户端，最后通过虚拟资源池管理组件对该服务器进行注册。

如果物理资源池中没有空闲的物理资源，该迁移过程不做任何操作。

（2）资源从虚拟资源池迁移到物理资源池

一旦物理资源池的资源使用率大于预先设定的阈值（如90%），该过程将被触发。

资源从虚拟资源池迁移到物理资源池相对比较复杂。首先，虚拟资源池管理组件通过在线迁移技术对当前的资源使用布局进行压缩，使虚拟资源的使用尽量的集中，然后选择空闲出来的服务器，在虚拟资源池中将其注销。最后，通过物理资源池管理组件，登记该服务器的mac地址、远程管理IP、登陆口令等信息，进行注册登记。

如果通过在线迁移技术调整资源的布局后，仍没有空闲的服务器，该迁移过程失败，不做任何操作。

（3）资源不做迁移

当两大资源池的负载都很高或者都很低的时候，不考虑资源的迁移。

与现有技术相比，本发明的积极效果为：

本发明采用了资源的动态迁移技术，根据当前应用的资源使用情况，合理调度两大资源池的规模，因此相比现有云计算系统，具有资源利用率高、能耗低、灵活性强的特点。

附图说明

图1为系统包含的模块以及各模块之间的关系。

图2为用户请求一个物理资源整个流程。

图3为用户请求一个虚拟资源的整个流程。

具体实施方式

下面结合附图对本发明做进一步详细说明，所述是对本发明的解释而不是限定。

图2为用户请求一个物理资源的整个流程。首先，系统控制器收到json格式表示的用户需求，解析到其中的resource_type类型为baremetal，于是请求被转发给物理资源池管理组件；物理资源池管理组件首先选择一个空闲的、符合资源请求大小的物理机，然后解析到其中os_type为ubuntu12.04，于是通过IPMI技术上电开机，并通过动态主机配置协议（dhcp）及预启动执行环境（pxe）安装ubuntu12.04操作系统。操作系统安装完毕之后，物理资源池管理组件将资源的访问地址及口令等信息返回给最终的用户。

图3为用户请求一个虚拟资源的整个流程。首先，系统控制器收到json格式的用户资源申请，解析到其中的resource_type类型为vm，于是资源请求被转发给虚拟资源池管理组件；虚拟资源池管理组件首先选择一个能满足用户资源需求的服务器，然后解析到其中的os_type类型为centos，于是获取centos的系统镜像，最后通过虚拟化技术启动centos镜像，设置虚拟资源的网络配置，最后将资源的访问地址及口令等信息返回给最终的用户。

Claims (9)

1.一种云计算系统中的资源统一调度方法，其步骤为：

1)在云计算系统中建立一物理资源池和一物理资源池管理组件；其中，所述物理资源池管理组件用于对所述物理资源池中的物理资源进行注册、注销、初始化以及销毁，并将所述物理资源池的使用情况发送给资源调度器；

2)在云计算系统中建立一虚拟资源池和一虚拟资源池管理组件；其中，所述虚拟资源池管理组件负责对所述虚拟资源池中虚拟机的创建、销毁、物理资源的加入以及退出，并将所述虚拟资源池的使用情况发送给所述资源调度器；

3)系统控制器根据用户的资源请求中的需求类型，将该资源请求转发到所述物理资源池管理组件或所述虚拟资源池管理组件；

4)所述物理资源池管理组件收到该资源请求后，从所述物理资源池中选择服务器，并上电开机、初始化后，返回所选服务器的访问地址和口令给该用户；所述虚拟资源池管理组件收到该资源请求后，从虚拟资源池中选择物理资源并创建虚拟机，然后返回该所建虚拟机的访问地址和口令；

其中，当所述虚拟资源池中的资源使用率大于预先设定的阈值Hv时，所述资源调度器从所述物理资源池中选取空闲的服务器并注销，然后将其迁移到所述虚拟资源池并利用所述虚拟资源池管理组件对其进行注册；当物理资源池中的资源使用率大于预先设定的阈值Hb时，所述资源调度器从所述虚拟资源池中选择空闲的服务器并注销，然后将其迁移到所述物理资源池，并利用所述物理资源池管理组件对其进行注册。

2.如权利要求1所述的方法，其特征在于所述物理资源池管理组件中记录所管理物理资源信息包括：服务器的mac地址、远程管理IP、登陆口令、资源配置情况、服务器型号和服务器的系统架构。

3.如权利要求1所述的方法，其特征在于所述虚拟资源池管理组件中记录所管理虚拟资源信息包括：当前虚拟机的数量、虚拟机的配置情况、虚拟机采用的虚拟化技术和当前的负载情况。

4.如权利要求1或2或3所述的方法，其特征在于，当物理资源池中的资源使用率大于预先设定的阈值Hb时，所述虚拟资源池管理组件首先通过在线迁移技术对当前的资源使用布局进行压缩，使虚拟资源的使用布局集中。

5.如权利要求1所述的方法，其特征在于所述资源请求为json或者xml格式；所述资源请求中包含资源的需求类型和资源的规模。

6.如权利要求1所述的方法，其特征在于所述物理资源池管理组件分别在资源的注册、注销、创建和销毁环节设置回调函数，向所述资源调度器通知资源的使用情况；所述虚拟资源池管理组件分别在虚拟机的注册、销毁、物理资源的加入以及退出环节设置回调函数，向所述资源调度器通知资源的使用情况。

7.如权利要求1所述的方法，其特征在于所述从虚拟资源池中选择物理资源并创建虚拟机的方法为：虚拟资源池管理组件首先根据该资源请求中的资源规模，从所述虚拟资源池中选择一满足该资源规模的物理服务器，然后根据该资源请求中对操作系统类型的要求，获取对应的镜像文件，并通过虚拟化技术在该物理服务器上发起对应的虚拟机，并返回该所建虚拟机的访问地址和口令。

8.如权利要求1所述的方法，其特征在于，对于迁移到所述虚拟资源池的服务器，所述资源调度器首先利用智能平台管理接口IPMI和预启动执行环境技术PXE为该服务器安装操作系统并部署云计算系统管理客户端，然后通过虚拟资源池管理组件对该服务器进行注册。

9.如权利要求1所述的方法，其特征在于，当虚拟资源池中的资源使用率大于预先设定的阈值Hv，且物理资源池中的资源使用率大于预先设定的阈值Hb时，所述资源调度器停止迁移处理。