CN107295096A - 一种私有云计算服务平台、管理方法及系统 - Google Patents

Abstract

本发明涉及一种私有云计算服务平台、管理方法及系统，私有云平台包括：信息监控模块，用于实时监控虚拟机的资源使用情况，为资源的利用与维护提供依据；文件管理模块，用于完成文件的上传、下载、查看、在各个虚拟机间的传输、删除操作；虚拟机管理模块，用于为用户提供虚拟机以及所需的多种操作系统基础镜像，根据用户请求动态部署虚拟机和虚拟机的克隆、在线迁移功能，根据用户需要自主管理虚拟机，虚拟机具有自主负载平衡决策。

Description

一种私有云计算服务平台、管理方法及系统

技术领域

本发明涉及云计算技术，具体涉及一种私有云计算服务平台、管理方法及系统。

背景技术

云计算采用虚拟化技术将资源以池的形式组织和管理，为用户提供弹性服务。结合云计算当前的研究与应用背景，可将其体系结构分为核心服务层、服务管理层和用户访问层。云计算底层是一系列资源，如网络资源、计算节点等物理设备组成的一个巨大的资源池，是云计算服务的基础支撑。云计算的核心服务可以良好的将基础设施、平台、软件应用环境等以服务的形式供用户使用。其具有高可用性及良好的伸缩性的特点，为用户提供了多种需求。云计算提供多种用户访问方式，用户访问接口层使用户具有多种访问云平台的方式，如通过计算机、移动设备等，都能快捷方便的访问云服务。云计算的核心服务具有良好的可靠性和可用性。并且在用户接口层提供了多样化的访问方式，使得云计算服务更加方便快捷。除此之外，其体系结构中的服务质量管理、安全管理、计费管理也是云计算中至关重要的一部分。

云计算主要由三种模式(公有云、私有云、混合云)，在这三种模式中，公有云拥有的用户量是最多的，其优势在于公有云价格低廉，并且使用起来方便简洁，能够满足大多数用户的需求，但是关于安全方面要求较多的企事业单位来说，公有云并不是很好的选择。现如今，构建私有云平台技术已日趋成熟。作为企事业单位内部的私有云，相对于公有云来说，其安全性得以保障，这就促使更多的机构企业加入到私有云这个大家庭中来。目前企业现代化的发展趋势是更少的资源做更多的事，这就决定着私有云对于企事业单位的发展趋势。在未来，私有云必将朝着更加轻量化、对数据的安全更有保障的方向发展。。

发明内容

针对现有技术中存在的不足，发明提供了一种私有云计算服务平台，并在此应用平台上加入了虚拟化服务，实现了虚拟机的申请、管理、监控全方位服务。实现了高效快捷的高性能计算、资源共享，可满足高校、科研教育机构不断增长的资源、应用服务的需求。

本发明的技术方案为：

一种私有云计算服务平台，包括：

信息监控模块，用于实时监控、采集虚拟机的资源使用情况，促进资源的利用与维护；

文件管理模块，用于完成文件的上传、下载、查看、在各个虚拟机间的传输、删除操作；

虚拟机管理模块，用于为用户提供虚拟机以及所需的多种操作系统基础镜像，根据用户请求动态部署虚拟机和虚拟机的克隆、在线迁移功能，根据用户需要自主管理虚拟机，虚拟机具有自主负载平衡决策；

作业提交执行模块，用于根据用户的指令，将作业提交到虚拟机中并在虚拟机中执行。

所述作业提交执行模块包括：

作业提交模块，用于采用指定文件形式，将用户上传的文件根据用户指定提交到虚拟机节点，所述虚拟机节点为用户申请的节点，每个用户只能将作业提交到与其对应的虚拟机内。

作业执行模块，用于分析作业提交请求，解析作业内容，创建作业描述对象，在任务执行虚拟机节点执行并监控该作业，当作业执行结束后，将结果通过文件管理模块返回到平台的文件存储中，用户可以自行查询下载相关结果文件。

进一步的，所述信息监控模块包括：

资源信息收集模块，用于采用Sigar(System Information Gather AndReporter)收集所有虚拟机的资源信息，所述资源信息包括静态资源信息和动态资源信息，所述静态资源信息为cpu、内存或存储介质的属性，所述动态资源信息为cpu、网络和内存使用情况；

资源信息监控模块，用于监控虚拟节点的资源信息，判断虚拟机的工作程度，对闲散空闲的虚拟节点进行销毁或关机操作。

进一步的，所述文件管理模块包括：

可视化图形界面，用于向用户提供交互界面，供用户输入访问指令；

文件上传模块，用于上传用户的本地文件到文件管理子模块；

文件下载模块，供用户随时下载平台内文件到本地；

文件管理子模块，用于执行虚拟机服务和作业服务，所述虚拟机服务包括传输镜像文件及虚拟机描述文件，所述作业服务包括删除文件、传输执行作业所需的文件；所述虚拟机描述文件用于描述分配给用户的虚拟机属性信息。

进一步的，所述虚拟机管理模块包括：

基础镜像库，存储多种操作系统的基础镜像，供用户选择使用；

虚拟机部署模块，用于根据用户请求创建、克隆虚拟机；

虚拟机管理子模块，用于根据虚拟机的运行情况，调整维护虚拟机，保证平台正常运行。

进一步的，所述虚拟机管理子模块包括：

虚拟机平衡模块，用于当虚拟节点负载过高时对该虚拟机节点进行包括虚拟机迁移、销毁在内的处理，虚拟机拥有自己的负载平衡决策，实时监控平台及虚拟机的运行情况，对于满负载的虚拟机节点进行及时的调整，以达到本模块和整个私有云平台的负载平衡使平台稳定运行；

虚拟机运维模块，用于对虚拟机进行包括开机、关机、暂停、回复、强制关机、销毁、创建快照在内的运维操作。

本发明还提出了一种私有云计算服务平台管理方法，包括：

根据用户第一请求数据，创建虚拟机；

根据用户第二请求数据，基于所创建的虚拟机执行文件管理工作，提交作业并执行；

实时监控虚拟机的资源使用情况，根据虚拟机资源使用情况协调管理虚拟机。

进一步的，所述根据用户第一请求数据，创建虚拟机包括：

接收用户请求数据，创建一台虚拟机；

判断该虚拟机是否为临时虚拟机，若是，则待虚拟机执行完任务后，自动销毁该虚拟机；若不是，则保留该虚拟机。

进一步的，所述根据用户第一请求数据，创建虚拟机还包括：

当需要进行并行计算或者多台虚拟机配合计算时，对所述已创建的虚拟机进行克隆，所克隆虚拟机的数量由平台的计算能力决定。

进一步的，实时监控虚拟机的资源使用情况，根据虚拟机资源使用情况协调管理虚拟机包括：

监控已创建虚拟机的资源使用情况，当虚拟机节点过载或空闲时，选择对应的虚拟机调度方法，保证平台正常运行；

所述虚拟机调度方法包括：

当虚拟机节点过载时，动态的将虚拟机迁移到别的空闲虚拟机节点中，或进行虚拟机销毁处理，来保证平台的正常运行；

当虚拟机空闲时，对该虚拟机进行非销毁的运维操作。

本发明还提供了一种私有云系统，不仅包括上述的私有云计算服务平台，还包括一个或多个终端设备。

本发明的有益效果：

本私有云平台主要使用户能够通过HTTP请求申请、创建虚拟机，应用定位于大数据的计算测试、分析实验等。同时本平台也提供信息监控、文件管理、任务的执行等服务来辅助、维护私有云平台的正常运行。具有以下有益效果：

(1)私有云平台安全稳定、简单、快捷可操作性强。

(2)私有云平台定位于高校及相关科研教育机构，系统管理员管理维护平台正常运行，平台用户可通过本平台申请虚拟机进行相应实验，并享有该虚拟机的所有权限。

(3)信息监控模块监控平台运行情况，并且对用户申请的虚拟机进行全局管理。

(4)文件管理模块为用户与虚拟机进行文件交互提供便利，用户可通过该模块上传下载相应文件。

(5)作业提交执行模块为用户使用虚拟机进行作业执行提供接口，通过该模块，用户提交作业到相应虚拟机执行并返回结果。

(6)私有云平台通过实时监控虚拟机运行情况，及时销毁闲散的虚拟机资源，保证平台资源冗余达到最小。

本发明结合JAVA框架技术与虚拟化技术，搭建基于框架的私有云服务计算平台。针对高校当前资源闲置以及资源利用率低下的问题，设计搭建以虚拟化为核心的私有云平台。与传统的私有云平台相比，该平台以IaaS为核心功能，聚合闲散资源，大大提高了资源利用率，并通过申请虚拟机和动态部署的方式实现了数据中心自治性和能耗的节约，提供了更好的用户体验。

附图说明

图1为本发明的私有云平台体系结构。

图2为本发明的私有云平台系统总用例图。

图3为本发明的私有云平台硬件部署。

图4为本发明的私有云平台系统数据流程图。

图5为本发明的虚拟机管理方法流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明的一种典型实施例是：一种私有云计算服务平台，该私有云平台从体系结构上可以分为应用层、服务层和资源层，如图1所示，其中资源层为私有云平台提供可共享的资源，包括物理或逻辑实体，也就是处理器、内存、存储系统等，还包括虚拟资源层，资源虚拟化在这一层实现，并且负责各个资源的申请、分配、监控等；服务层与应用层之间的交互是通过开发工具API调用相应的服务，服务通过调用相应的资源来完成具体的作业任务。

其中，资源层配置了信息监控模块，用于实时监控虚拟机的资源使用情况，为资源的利用与维护提供依据；

应用层主要负责与用户的交互，这其中配置了文件管理模块，用于完成文件的上传、下载、查看、在各个虚拟机间的传输、删除操作；

服务层主要设置有虚拟机管理模块和作业提交执行模块，虚拟机管理模块用于为用户提供虚拟机和多种操作系统镜像，根据用户请求动态部署虚拟机，根据虚拟机资源使用情况协调管理虚拟机，虚拟机管理模块需要在服务层与资源层之间传递信息；

作业提交执行模块，用于根据用户指令，完成作业的提交和执行。

本申请的私有云平台的用户主要有两种类型，系统管理员和普通用户。系统管理员拥有整个私有云平台的所有权限，普通用户只有使用的权限。由图2可知，虚拟机管理模块的实现，必须依赖于文件管理以及信息监控模块的实现。文件管理模块为虚拟机的创建及克隆提供保证；信息监控模块为虚拟机物理节点的选择提供依据。本申请的作业提交执行模块主要依赖于虚拟机管理模块，作业的执行是在虚拟机内部的，因此拥有较好的数据中心自治性，并且当作业执行结束后，还需要依靠文件管理模块来返回相关结果文件供用户查询及下载。

本申请所建立的私有云平台主要是以虚拟化服务为核心功能，其中最重要的物理资源的支撑就是计算机节点及存储设备，为防止因为单节点而导致系统崩溃的问题出现，所以采用对等式的资源组织架构。采用这一架构就要求整个网络中的每一个节点都必须有完整的服务，当新的消息到达时，响应节点就必须要将消息转播到各个节点中去，维护整个网络数据的一致性。具体硬件部署如图3所示。

下面进一步对本申请的私有云平台进行介绍：其中信息监控模块包括资源信息收集模块和资源信息监控模块，资源信息收集模块收集平台内所有节点，包括虚拟机节点的资源信息(内存、cpu、硬盘等)。包括静态信息列表的维护、动态信息的获取，本地节点历史信息查询及维护等。

资源信息主要包括两部分，静态资源(cpu、内存、存储等)和动态资源(cpu、网络和内存使用情况等)。大多数环境处于安全考虑都不支持直接获取这些信息，JAVA也仅能获取少数的资源信息，因此需要有一个第三方协助才能获取这些资源信息。本申请采用Sigar(System Information Gather And Reporter)收资源信息，选择适当的Sigar信息收集库即可完成对资源信息的收集。Sigar适用于系统资源的收集，并且是开源的，支持目前主流的操作系统版本。

资源信息监控模块监控平台内的所有虚拟节点。获取虚拟机节点的资源信息，对闲散空闲节点进行销毁或者关机等操作，使系统冗余资源达到最小从而保证平台资源得到充分有效的利用。

文件管理模块用于执行用户与文件子系统进行交互，完成在浏览器(或者客户端)进行文件的上传、下载、与各个节点间的传输、删除等具体操作。文件管理模块是用户与平台及虚拟机进行文件交互的唯一接口：

包括：可视化图形界面，用于向用户提供交互界面，供用户输入访问指令，对用户透明的界面易于操作，对平台内的虚拟机也提供可视化界面；

文件上传模块，用于上传用户的本地文件到文件管理子模块；

文件下载模块，供用户随时下载平台内文件到本地；

文件管理子模块，用于执行虚拟机服务和作业服务，所述虚拟机服务包括传输镜像文件及虚拟机描述文件，所述作业服务包括删除文件、传输执行作业所需的文件；所述虚拟机描述文件用于描述分配给用户的虚拟机属性信息。

文件管理子模块中默认的文件的具体存储路径及文件的副本数目对用户是透明的，用户只能查看文件系统中存在哪些文件，但用户可通过检索命令查找自己所需要的文件，以及文件副本存在的目的主机及物理路径等状态信息。

传输执行作业所需的文件时采用基于Socket的文件传输方式，其具有跨平台性的特点，实现较为简单，支持JAVA多线程，稳定性强，能够较好的支持大文件的上传。

文件管理模块与私有云平台同时启动，也就意味着Socket监听服务也随之启动，并且当用户的指令(上传、下载)由Resource层到来时，Socket服务负责监听并完成相关功能。

虚拟机管理模块是本私有云服务平台提供的最核心的模块。其他模块主要配合该模块协同用户完成对虚拟机的一系列操作要求，以达到用户科研实验的目的，它包括

基础镜像库，存储多种操作系统的基础镜像，供用户选择使用；本地资源应包括linux、win7等操作系统镜像库。有统一的资源信息管理服务进行管理该资源。管理员负责管理这些镜像。

虚拟机部署模块，用于根据用户请求创建、克隆虚拟机。

用户能够申请创建一台虚拟机，用来完成某一个实验，待试验结束后，系统自动回收该虚拟机，达到即用即申请的目的；用户也可以申请一台固有的虚拟机，该虚拟机不会被平台销毁，用户可以通过远程登录该虚拟机，通过平台功能完成对该虚拟机进行独立的配置，满足特定实验环境的要求。对于该种类型的虚拟机，平台仅对空闲的虚拟机进行关机操作，而不会进行摧毁。新建的虚拟机应以镜像库中已有虚拟机镜像模板为标准来创建，用户可以自行调整虚拟机的cpu核数、内存大小等相关配置。默认新建虚拟机只与内网相连接，不提供外网端口。新建完一台虚拟机，该虚拟机自动注册到本平台中作为平台的一个虚拟子节点。用户可通过私有云平台中的文件服务来与该虚拟机进行相关的文件操作，配置该虚拟机。

在用户配置好一台其所需要的虚拟机后，若要进行并行或者多台虚拟机进行配合的实验室，可利用本平台进行虚拟机的克隆，私有云平台所能克隆虚拟机数量的多少由平台的计算能力决定。

虚拟机管理子模块，用于根据虚拟机的运行情况，调整维护虚拟机，保证平台正常运行，虚拟机管理子模块又包括虚拟机平衡模块和虚拟机运维模块，

虚拟机平衡模块，这是虚拟机模块中最重要的模块之一。其最主要负责维持整个私有云平台的负载平衡，当虚拟机节点过载时就需要动态的将该虚拟机迁移到别的空闲节点中，使平台稳定运行；

虚拟机拥有自己的负载平衡决策，实时监控平台及虚拟机的运行情况，对于满负载的节点进行及时的调整，以达到本模块和整个私有云平台的负载平衡。物理节点的正常运作是整个云平台正常工作的基础，所以，必须时刻监控、维护物理节点，使其出错的概率达到最低。当节点负载过高时，平台会对该节点进行自动处理，如对虚拟机迁移、销毁等处理，结合VM的调度策略，选择合适的调度算法，保证平台正常运行。当系统监控到某一节点超负载，则就调用平台管理调度策略，采取一定措施，减少节点开销。

虚拟机运维模块使得用户能够管理自己创建的虚拟机，包括对虚拟机的日常操作，如开机、关机、暂停、回复、强制关机、销毁、创建快照等操作。

私有云平台为用户提供了作业提交执行模块。与普通私有云执行任务不同的是，本私有云平台的任务提交主要提交到虚拟主机中去执行，而不是直接在物理节点中。这样可有有效保证任务运行稳定性，防止节点出错导致任务数据的丢失。用户可通过本平台向虚拟机提交作业，让虚拟机执行，并通过文件管理模块返回作业执行结果。

作业提交执行模块执行的功能有：

(1)作业的提交。用户可以xml文件的形式提交作业，xml文件中用户需指定其提交作业的虚拟机节点。该虚拟机节点为用户申请的节点，每个用户只能将任务提交到其自己的虚拟机内。

(2)作业的执行。本平台作业的执行主要在虚拟机中，虚拟机节点申请完成会自动聚合到整个私有云平台网络中，所以其作业可以直接提交到虚拟机中执行。当接收到有作业提交到虚拟机时，任务执行模块先分析提交请求，解析作业内容，创建作业描述对象，在任务执行虚拟节点执行并监控该作业，当作业执行结束后，将结果通过文件管理模块返回到平台的文件存储中，用户可以自行查询下载相关结果文件。

作业提交与执行的实现，需要其他模块的支持与配合。虚拟机节点的获取需要虚拟机管理模块分配；虚拟机节点的监控需要信息监控模块来监听；作业文件的传输离不开文件管理模块的配合，因此整个作业提交与执行，需要整个私有云平台各个模块间的通信保持流畅稳定。

本发明的再一实施例是基于上述私有云平台的管理方法，其主要思想已经渗透于上述介绍中，这里再统一总结一下，包括：

根据用户申请创建虚拟机；基于所创建的虚拟机执行文件管理工作，提交作业并执行；

实时监控虚拟机的资源使用情况，根据虚拟机资源使用情况协调管理虚拟机。

创建虚拟机时，判断该虚拟机是否为临时虚拟机，若是，则待虚拟机执行完任务后，自动销毁该虚拟机；若不是，则保留该虚拟机。

当需要进行并行计算或者多台虚拟机配合计算时，对所述已创建的虚拟机进行克隆，所克隆虚拟机的数量由平台的计算能力决定。

监控已创建虚拟机的资源使用情况，当虚拟机节点过载时，动态的将虚拟机迁移到别的空闲虚拟机节点中；当虚拟机空闲时，对该虚拟机进行非销毁的运维操作。保证平台正常运行；

本发明的再一实施例是一种私有云系统，包括上述述的私有云计算服务平台和一个或多个终端设备。

本发明结合JAVA框架技术与虚拟化技术，搭建基于框架的私有云服务计算平台。针对高校当前资源闲置以及资源利用率低下的问题，设计搭建以虚拟化为核心的私有云平台。与传统的私有云平台相比，该平台以基础设施为服务(IaaS)为核心功能，聚合闲散资源，大大提高了资源利用率，并通过申请虚拟机和动态部署的方式实现了数据中心自治性和能耗的节约，提供了更好的用户体验。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种私有云计算服务平台，其特征在于，包括：

信息监控模块，用于实时监控虚拟机的资源使用情况，为资源的利用与维护提供依据；

文件管理模块，用于完成文件的上传、下载、查看、在各个虚拟机间的传输、删除操作；

虚拟机管理模块，用于为用户提供虚拟机以及所需的多种操作系统基础镜像，根据用户请求动态部署虚拟机和虚拟机的克隆、在线迁移功能，根据用户需要自主管理虚拟机，虚拟机具有自主负载平衡决策；

作业提交执行模块，用于根据用户的指令，将作业提交到虚拟机中并在虚拟机中执行。

2.根据权利要求1所述的私有云计算服务平台，其特征在于，所述信息监控模块包括：

资源信息收集模块，用于采用Sigar（System Information Gather And Reporter）收集所有虚拟机的资源信息，所述资源信息包括静态资源信息和动态资源信息，所述静态资源信息为cpu、内存或存储介质的属性，所述动态资源信息为cpu、网络和内存使用情况；

资源信息监控模块，用于监控虚拟节点的资源信息，判断虚拟机的工作程度，对闲散空闲的虚拟节点进行销毁或关机操作。

3.根据权利要求1所述的私有云计算服务平台，其特征在于，所述文件管理模块包括：

可视化图形界面，用于向用户提供交互界面，供用户输入访问指令；

文件上传模块，用于上传用户的本地文件到文件管理子模块；

文件下载模块，供用户随时下载平台内文件到本地；

文件管理子模块，用于执行虚拟机服务和作业服务，所述虚拟机服务包括传输镜像文件及虚拟机描述文件，所述作业服务包括删除文件、传输执行作业所需的文件；所述虚拟机描述文件用于描述分配给用户的虚拟机属性信息。

4.根据权利要求1所述的私有云计算服务平台，其特征在于，所述虚拟机管理模块包括：

基础镜像库，存储多种操作系统的基础镜像，供用户选择使用；

虚拟机部署模块，用于根据用户请求创建、克隆虚拟机；

虚拟机管理子模块，用于根据虚拟机的运行情况，调整维护虚拟机，保证平台正常运行。

5.根据权利要求4所述的有云计算服务平台，其特征在于，所述虚拟机管理子模块包括：

虚拟机平衡模块，用于当虚拟节点负载过高时对该虚拟机节点进行包括虚拟机迁移、销毁在内的处理，虚拟机拥有自己的负载平衡决策，实时监控平台及虚拟机的运行情况，对于满负载的虚拟机节点进行及时的调整，以达到本模块和整个私有云平台的负载平衡使平台稳定运行；

虚拟机运维模块，用于对虚拟机进行包括开机、关机、暂停、回复、强制关机、销毁、创建快照在内的运维操作。

6.一种基于权利要求1的私有云计算服务平台管理方法，其特征在于：

根据用户第一请求数据，创建虚拟机；

根据用户第二请求数据，基于所创建的虚拟机执行文件管理工作，提交作业并执行；

实时监控虚拟机的资源使用情况，根据虚拟机资源使用情况协调管理虚拟机。

7.根据权利要求6所述的方法，其特征在于，所述根据用户第一请求数据，创建虚拟机包括：接收用户请求数据，创建一台虚拟机；

判断该虚拟机是否为临时虚拟机，若是，则待虚拟机执行完任务后，自动销毁该虚拟机；若不是，则保留该虚拟机。

8.根据权利要求6所述的方法，其特征在于，所述根据用户第一请求数据，创建虚拟机还包括：

当需要进行并行计算或者多台虚拟机配合计算时，对所述已创建的虚拟机进行克隆，所克隆虚拟机的数量由平台的计算能力决定。

9.根据权利要求6所述的方法，其特征在于，实时监控虚拟机的资源使用情况，根据虚拟机资源使用情况协调管理虚拟机包括：

监控已创建虚拟机的资源使用情况，当虚拟机节点过载或空闲时，选择对应的虚拟机调度方法，保证平台正常运行；

所述虚拟机调度方法包括：

当虚拟机节点过载时，动态的将虚拟机迁移到别的空闲虚拟机节点中，或进行虚拟机销毁处理，来保证平台的正常运行；

当虚拟机空闲时，对该虚拟机进行非销毁的运维操作。

10.一种私有云系统，包括如权利要求1-6任意一项所述的私有云计算服务平台，其特征在于：

还包括一个或多个终端设备。