CN102946433B - 云公共服务平台下的大规模计算机资源的监控和调度方法 - Google Patents

Abstract

本发明公开了一种云公共服务平台下的大规模计算机资源的监控和调度方法，包括虚拟机查找与加载过程和虚拟机监控过程。对虚拟机按照租户的特性进行存储。建立资源管理表。如果监控到租户的业务运行请求，在服务器上和关系型数据库上查找对应的虚拟机存储位置。运行在服务器上的监控软件，并根据查找到的虚拟机提供业务。所述虚拟机监控过程包括对虚拟机的监控、对于业务的监控和对于服务器的监控。本发明的大规模计算机资源的监控和调度方法，具有可快速地对虚拟机进行查询和加载、并对虚拟机进行有效地监控、降低系统能耗和成本和在保证业务连续性的同时也最大限度地降低了服务器的空运行等优点。

Description

云公共服务平台下的大规模计算机资源的监控和调度方法

技术领域

本发明涉及一种云公共服务平台下的大规模计算机资源的监控和调度方法。

背景技术

云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云其实是网络、互联网的一种比喻说法。因为过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算关键的要素，还包括个性化的用户体验。

互联网上的云计算服务特征和自然界的云、水循环具有一定的相似性，因此，云是一个相当贴切的比喻。通常云计算服务应该具备以下几条特征：1）基于虚拟化技术快速部署资源或获得服务；2）实现动态的、可伸缩的扩展；3）按需求提供资源、按使用量付费；4）通过互联网提供、面向海量信息处理；5）用户可以方便地参与；6）形态灵活，聚散自如；7）减少用户终端的处理负担；8）降低了用户对于IT专业知识的依赖。

虚拟化是一个广义的术语，是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理，优化资源的解决方案。这种把有限的固定的资源根据不同需求进行重新规划以达到最大利用率的思路，在IT领域就叫做虚拟化技术。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。通过虚拟机软件，你可以在一台物理计算机上模拟出一台或多台虚拟的计算机，这些虚拟机完全就像真正的计算机那样进行工作，例如你可以安装操作系统、安装应用程序、访问网络资源等等。对于你而言，它只是运行在你物理计算机上的一个应用程序，但是对于在虚拟机中运行的应用程序而言，它就是一台真正计算机。

对于云计算服务提供商而言，利用虚拟机给不同的租户提供不同的运行环境是一个非常好的解决方案；但是随着租户数量和业务的增加，如何管理这些虚拟机是一个非常重要的问题。云服务提供商通常集中管理物理计算资源，通过存储设备提供数据的存储和备份。物理计算资源是指提供的计算能力的服务器，虚拟化软件的运行环境。通过运行在这些服务器上的虚拟软件来提供虚拟机的运行环境，而运行虚拟机需要的存储介质来源于储存设备。如何调度和监控这些虚拟机是云服务提供商需要解决的另一个重要问题。当前没有统一的标准，每个厂商按照自己的理解进行资源管理。因此，当前的云平台下的资源监控和调度缺乏统一的标准，不利于产业的发展和资源的共享，在新的业务需求下不能快速、有效的提供云服务。

发明内容

本发明是为避免上述已有技术中存在的不足之处，提供一种云公共服务平台下的大规模计算机资源的监控和调度方法，以对云服务平台下计算机资源进行有效地管理和调度、提高云公共服务平台的工作效率。

本发明提供了云公共服务平台下的大规模计算机资源的监控和调度方法。

云公共服务平台下的大规模计算机资源的监控和调度方法，包括虚拟机查找与加载过程和虚拟机监控过程；

所述虚拟机查找与加载过程包括以下几个步骤：

第一步骤：对虚拟机按照租户的特性进行存储，将每个租户的虚拟机储存在一个连续的空间内；

第二步骤：建立一个以IP地址、租户、业务和虚拟机的资源管理表；

第三步骤：对于经常使用的虚拟机、或则是优先级高的虚拟机，在服务器上建立资源管理表；

第四步骤：如果监控到租户的业务运行请求，在服务器上和关系型数据库上查找对应的虚拟机存储位置；

第五步骤：运行在服务器上的监控软件，并根据查找到的虚拟机提供业务；

所述虚拟机监控过程包括以下几个步骤：

第1步：对虚拟机的监控；监控CPU和内存的使用情况；如果CPU比较繁忙，则调整虚拟系统对应进程的优先级，将该进程绑定到特定的CPU上运行；如果是内存使用率较高，则调整该虚拟系统使用的内存大小；

第2步：对于业务的监控；如果在预设时间T内没有业务请求，则暂停虚拟机；如果在该时间段内有业务请求，则恢复该虚拟机；如果在2T时间内没有业务请求，则关闭该虚拟机，停止该业务的处理，否则恢复该虚拟机。关于时间T，根据租户相关信息和费用情况进行管理。

第3步：对于服务器的监控，监控管理程序监控服务器业务运行情况，并根据服务器的状态进行虚拟机的迁移，然后关闭不需要的服务器。

与已有技术相比，本发明有益效果体现在：

本发明的云公共服务平台下的大规模计算机资源的监控和调度方法，可快速地对虚拟机进行查询和加载，并对虚拟机进行有效地监控，关闭不需要服务的虚拟机，降低系统能耗和成本。通过对业务的监控，在保证业务连续性的同时也最大限度地降低了服务器的空运行，从而提高了系统的工作效率。

本发明的云公共服务平台下的大规模计算机资源的监控和调度方法，具有可快速地对虚拟机进行查询和加载、并对虚拟机进行有效地监控、降低系统能耗和成本和在保证业务连续性的同时也最大限度地降低了服务器的空运行等优点。

附图说明

图1为本发明的方法进行计算机资源管理、调度处理过程的示意图。

以下通过具体实施方式，并结合附图对本发明作进一步说明。

具体实施方式

参见图1，云公共服务平台下的大规模计算机资源的监控和调度方法，包括虚拟机查找与加载过程和虚拟机监控过程；

所述虚拟机查找与加载过程包括以下几个步骤：

第一步骤：对虚拟机按照租户的特性进行存储，将每个租户的虚拟机储存在一个连续的空间内；

第二步骤：建立一个以IP地址、租户、业务和虚拟机的资源管理表；

第三步骤：对于经常使用的虚拟机、或则是优先级高的虚拟机，在服务器上建立资源管理表；

第四步骤：如果监控到租户的业务运行请求，在服务器上和关系型数据库上查找对应的虚拟机存储位置；

第五步骤：运行在服务器上的监控软件，并根据查找到的虚拟机提供业务；

所述虚拟机监控过程包括以下几个步骤：

第1步：对虚拟机的监控；监控CPU和内存的使用情况；如果CPU比较繁忙，则调整虚拟系统对应进程的优先级，将该进程绑定到特定的CPU上运行；如果是内存使用率较高，则调整该虚拟系统使用的内存大小。

第2步：对于业务的监控；如果在预设时间T内没有业务请求，则暂停虚拟机；如果在该时间段内有业务请求，则恢复该虚拟机；如果在2T时间内没有业务请求，则关闭该虚拟机，停止该业务的处理，否则恢复该虚拟机。关于时间T，根据租户相关信息和费用情况进行管理。

第3步：对于服务器的监控，监控管理程序监控服务器业务运行情况，并根据服务器的状态进行虚拟机的迁移，然后关闭不需要的服务器。从而减少服务器的运行数量，降低功耗等。

如图1所示，本发明的方法的计算机资源管理、调度处理过程如下：1）租户提出业务服务请求；2）云服务提供上的业务管理程序向资源管理程序发出资源查询请求；3）资源查询程序同时向资源表和数据库发出查询请求；4）查询结果通知给资源管理程序；5）资源管理程序将查询结果通知给服务器管理程序；6）服务器管理程序根据资源记录信息，分配合适的服务器、加载对应的虚拟机；7）服务器对虚拟机的控制：启动、暂停、恢复、停止、调整运行资源等操作；8）业务管理程序将业务运行信息通知给服务器管理程序；9）虚拟机在服务器之间的迁移处理；10）虚拟机启动以后提供对租户的业务服务功能；11）服务器管理程序根据业务运行信息和服务器运行信息，对服务器的控制指令，例如：虚拟机的迁移指令、业务的停止/恢复/暂停等指令。

在云计算中强调的是按需提供服务。也就是说云服务提供商提供的这些服务不是每时每刻都运行的，而是可以根据租户的需要启动这些服务。如何快速根据租户的请求启动服务是调度的一个重要特性。

在海量的虚拟机中，如何高效的查找到有效地虚拟机、并加载虚拟机，具体实施时可以通过下列步骤完成：

1）对虚拟机管理采用按照租户为特性进行存储，及每个租户的虚拟机储存在一个连续的空间；

2）建立一个以IP地址、租户、业务和虚拟机的资源管理表；该表以IP地址、业务为关键字进行保存，通过关系型数据库来实现；

3）对于经常使用的虚拟机、或则是优先级高的虚拟机，在服务器上以某种的方式建立资源管理表；

4）如果监控到租户的业务运行请求，同时在服务器上和关系型数据库上查找对应的虚拟机存储位置；对于一个设计优秀的资源管理表，由于运行在服务器上，可以非常快的查找到对应的虚拟机，满足80%的业务请求；如果在服务器上查找失败，等待从关系型数据库的返回，这种情况占20%的情况。

5）运行在服务器上的监控软件根据查找到的虚拟机提供业务。

当虚拟机加载以后，我们需要对虚拟机的运行情况进行监控（监控分为两部分：一是对虚拟机的监控，另一个是对服务器的监控）；需要根据运行情况进行调整虚拟机的运行环境。处理方法和步骤如下：

1）对虚拟机的监控，主要监控CPU和内存的使用情况；如果CPU比较繁忙，可以通过这些方法进行调整：1）调整虚拟系统对应进程的优先级，2）将该进程绑定到特定的CPU上运行（减少因为CPU的不同而增加的任务切换导致的开销）；如果是内存使用率较高，则调整该虚拟系统使用的内存大小，以减少因为内存抖动引起的IO操作）；

2）对于业务的监控，体现在当租户的请求完成以后，需要一种机制来监控是否需要停止虚拟机的运行。由于云服务是通过网络提供的，监控程序通过监听网络的链接情况进行不同的处理。监控程序设定在一段时间T内（例如：5分钟）如果没有业务请求，则暂停虚拟机；如果在该时间段内有业务请求，则恢复该虚拟机。在2T时间内如果没有业务请求，则关闭该虚拟机，停止该业务的处理；否则恢复该虚拟机。通过这种方式在保证了业务的连续性的同时，又降低了服务器空运行。

3）对于服务器的监控，监控管理程序通过虚拟机迁移技术，来实现关闭暂时不需要的服务器，降低能源的消耗，实现按需提供服务、降低成本。

本发明中，云计算（Cloud Computing）是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。

租户，在云计算模式下，是指通过Internet租借云服务提供商提供的服务的客户。

计算资源，从广义上来讲是指所有参与计算的硬件、软件、网络等资源；本文描述的计算资源是指通过虚拟化软件提供的虚拟机。

云服务，指由云计算服务提供商提供的业务，该业务被租户通过Internet使用的服务。

虚拟机，通过虚拟化软件，在物理计算机系统上提供的虚拟计算机环境；该虚拟机提供某一种特殊的服务。

Claims (1)

1.云公共服务平台下的大规模计算机资源的监控和调度方法，其特征是，包括虚拟机查找与加载过程和虚拟机监控过程；

所述虚拟机查找与加载过程包括以下几个步骤：

第一步骤：对虚拟机按照租户的特性进行存储，将每个租户的虚拟机储存在一个连续的空间内；

第二步骤：建立一个以IP地址、租户、业务和虚拟机为字段的资源管理表；资源管理表以IP地址、业务为关键字进行保存，通过关系型数据库来实现；

第三步骤：对于经常使用的虚拟机、或是优先级高的虚拟机，在服务器上建立资源管理表；

第四步骤：如果监控到租户的业务运行请求，在服务器上和关系型数据库上查找对应的虚拟机存储位置；

第五步骤：运行服务器上的监控软件，并根据查找到的虚拟机提供业务；

所述虚拟机监控过程包括以下几个步骤：

第1步：对虚拟机的监控；监控CPU和内存的使用情况；如果CPU比较繁忙，则调整虚拟系统对应进程的优先级，将该进程绑定到特定的CPU上运行；如果是内存使用率较高，则调整该虚拟系统使用的内存大小；

第2步：对于业务的监控；如果在预设时间T内没有业务请求，则暂停虚拟机；如果在该时间段内有业务请求，则恢复该虚拟机；如果在2T时间内没有业务请求，则关闭该虚拟机，停止该业务的处理，否则恢复该虚拟机；

第3步：对于服务器的监控，监控管理程序监控服务器业务运行情况，并根据服务器的状态进行虚拟机的迁移，然后关闭不需要的服务器。