CN101488903A - 基于统一分类接口的数据中心自动化资源管理系统及方法 - Google Patents

Abstract

本发明公开基于统一分类接口的数据中心自动化资源管理系统及方法，系统包括多个分属应用所有者与资源所有者的资源，统一资源管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的资源连接用于提供或接受释放资源。本发明与现有的技术相比：服务在运营过程中，除了一些特别严重的突发事件，系统可以做到很高的自动化程度，而且也很能容易支持各种上层的决策系统。

Description

基于统一分类接口的数据中心自动化资源管理系统及方法

技术领域

本发明涉及一种资源管理系统及其工作方法，具体是一种基于统一分类接口的数据中心自动化资源管理系统及其工作方法，其应用了基于统一的分类资源接口，实现了一个自动化的多应用共享数据中心资源管理系统。

背景技术

随着计算机技术以及Internet的高速发展，越来越多的人或团体以基于Web的方式发布各种各样的服务。这些服务其中的成功者会以非常迅速的方式在Internet中流行开来。而流行的服务意味着每时每刻大量的访问流量。流量的快速上升意味着服务提供者必须投入大量的计算、存储、软/硬件资源来保证服务质量(后面通称其为基础设施)，以免因为客户体验的下降而造成客户流失。一般服务提供者基于成本的考虑，会选择将服务部署于第三方所有数据中心。但是，即使这样，基础设施规模不断膨胀。这样对于数据中心以及服务提供者，如何降低拥有和使用成本成为一个关键的问题。而即使对于一些大型机构，拥有自己的数据中心，也同样会对运行多个与业务相关的服务带来的管理问题。除了数量上的增加，服务提供者所使用的第三方的组件类型也随相应增加。于是带来了如何管理这些基础设施的问题。

传统的情况下，服务提供者需要雇佣大量的专业管理员来管理这些基础设施。表现为一般服务提供公司都会设有规模可观的运营维护部门。这样，一来造成了公司的经营成本，二来专业管理员的培训跟不上Internet膨胀的速度，必然导致管理人员开始相对稀缺。管理员的稀缺会导致更多水平达不到要求的管理员被迫上岗，同时也造成管理维护的质量得不到保证，进而影响系统对外的服务质量。

在这样的背景下，使得资源管理能够尽可能地自动化，必然能有效地节约服务提供者的成本。这个方法要能够屏蔽各种组件的异构性，并能够灵活地被各种上层的自动化策略所整合。

发明内容

本发明所要解决的技术问题是提供一种能够屏蔽各种软硬件资源异构性的数据中心自动化资源管理系统，使得各种各样的智能决策技术能够很方便地应用其上，使得整个资源管理可以尽可能的自动化，此外，本发明还提供了该系统的工作方法。

一种基于统一分类接口的数据中心自动化资源管理系统，包括通过Internet连接的多个资源，分属应用所有者与资源所有者，其特征是：它还包括统一资源管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的资源连接用于提供或接受释放资源。

上述统一资源接口包括生命周期管理接口、参数配置接口和状态检查接口。

一种基于统一分类接口的数据中心自动化资源管理方法，包括通过Internet连接的多个资源，分属应用所有者与资源所有者，其特征是：它还包括统一资源管理接口、资源池管理器和应用管理器，统一资源管理接口用于封装各种异构的资源，资源池管理器用于提供资源申请和释放的机制，应用管理器负责管理单个应用；其步骤如下：

h)对于应用所有者与资源所有者的各种软硬件资源，都使用统一资源管理接口来封装，使不同类型的资源可以用统一的接口来访问；

i)对于每个应用，应用所有者自行提供一套应用管理器，负责此应用资源使用的管理；

j)某个应用开始运行时，应用管理器根据预先配置基于资源池管理器申请资源；

k)资源池管理器接到应用管理器申请后，根据应用所有者与资源所有者的服务协议决定是否满足这个申请；

l)应用管理器在得到资源池管理器所分配的资源后，通过资源管理接口对资源整体进行配置，并激发其处于服务状态；

m)应用管理器通过状态检查接口监视应用运行的过程中环境的变化，发出对额外资源的申请，过程同上面启动过程；

n)对于空闲不使用的资源，应用管理器将其归还资源池管理器。

上述步骤a)中，统一资源接口包括三套接口：生命周期管理接口、参数配置接口和状态检查接口。

在上述步骤b)和c)中，使用资源类型名来区分不同类型的资源。

在上述步骤e)中，资源池管理器所返回的是应用管理器根据服务约定能够定位资源的资源唯一标识符，它在实现中是一个IP地址、URL或者UUID。

在上述步骤f)中，收集运行状态信息的检查接口实现上分为探针(probe)和度量(gauge)两部分，先由探针获得原始的监视信息，然后由度量部分分析处理，形成应用管理器能理解的事件。

上述方法需要使用下面的接口：

接口1申请和释放资源

Request“Resource Type”

Release“Resource Type”

Request用于向资源池管理器申请资源，而Release则用于向资源池管理器归还资源。

接口2生命周期管理

Create“component name”

Remove“component name”

Start

Stop

其中Create表示安装比较的组件，Remove表示卸载所安装的组件。Start表示激活资源使其处于可访问状态，Stop表示使资源处于就绪状态。

接口3配置

ReadConfig“key”

WriteConfig“key”“new value”

ReadConfig用来读取当前某个配置项目的配置值。WriteConfig用于用新的值更新配置项目的值。“key”是配置项目的名字，“new value”是配置项目的新值。

接口4状态检查

readStatusVariable“variable name”readStatusVariable读取某个状态项目的值，比如系统响应时间、吞吐量等。

本发明与现有的技术相比，其显著优点是：能够减少应用管理者的学习成本，以及更有效地实现管理的自动化。当前，在Internet上发布公共服务，大多数服务提供者会选择组合现有的解决方案，在加入自身个性的部分来实现。这种开发方式虽然缩短了开发周期，但是却为系统管理的自动化造成困难。这个困难来源于现有的各种解决方案由于来源、作者、出现的时间等的不同，造成其在管理接口、管理方式上的不同，这是所谓的资源异构性的一个突出方面。资源异构性造成了困难1)应用的管理者为了要对系统进行管理，需要掌握大量平台相关的细节知识；困难2)如果要将管理自动化，那么自动化程序则也需要应对这种管理接口和方管理式的复杂性，并且如果要新加入一个即使是常用的第三方组件，也需要进行相对大量的再开发劳动。因此，本发明所描述的方法正好能够很好地解决这个问题。应用管理者管理通过统一的资源管理接口封装过的资源，仅仅需要知道资源本身的职能以及可以调整的参数，不需要重新学习很多平台的细节。而对于自动化资源管理来说，由于统一的接口屏蔽了资源的异构型，决策模块对系统状态进行推理并选择行为的时候可以根据资源本质的属性(如，资源的类型、职能等)，而不需要涉及很多平台以及技术相关的细节。

四、附图说明

图1显示了本发明的系统结构。

图2显示了资源管理分类接口的进一步细节。

图3—1，3—2分别显示了资源池管理器和应用管理器的主要工作流程。

五、具体实施方式

1、运行环境：

(1)数据中心，拥有足够的计算设备(如，PC服务器)。

(2)使用至少一个主机用于部署资源池管理器。

(3)每个服务至少有一个主机用于部署应用服务器。

(4)在主机资源上分别部署各种所需类型的软件资源。

(5)为各种软件资源编写管理接口的实现。

系统结构如图1所示，它包括资源、资源池管理器、应用管理器，应用管理器根据服务提供者的设定，通过状态检查接口监视资源的运行状况，在一定情况下向资源池管理器申请或释放资源。资源池管理器根据资源拥有者(数据中心所有者)和服务提供者的协议确定是否提供资源(还可以进行资源使用计费)。

2、场景：

图2显示了应用管理器如何通过管理接口来管理资源。为了使得资源的管理标准化，这里首先需要用如上面说明书所介绍的管理接口对各种异构资源进行封装。在参考实现中，我们使用Java JMX技术来对外暴露管理接口，原因是Java本身跨平台的优点对于屏蔽资源的异构性很有益处。当然这里也可以采用更通用的Web Service来实现，取决于实际系统的需要。这里要实现的接口分三类：生命周期管理接口、配置接口和状态检查接口。

生命周期管理接口主要用于负责资源的安装卸载和启动停止。配置接口用于配置资源(主要是软件资源)的启动参数和各种运行时参数。状态检查接口主要用于查询资源运行时的各种状态参数。

声明周期接口在实现的时候需要使用原始的调用接口，也就是跟原始管理所使用的调用方式一致(例如，Shell、API等)。而配置接口，需要将原来被管理资源可能被修改的配置项目使用键-值映射(key-value mapping)保存起来，使得应用管理器能够通过键值读取以及修改配置值。这里实现读取和修改也要用到资源的原始接口。状态检查接口的实现需要讲究一点技巧，原始的资源本身可能并没有提供所需要的度量，因此需要根据资源目前提供的度量来计算或推断所需要的度量。

如图3-1所示，当底层的资源都已经封装完毕，应用管理器可以通过相对简单的方式来管理这些资源。首先是启动状态申请运行必须的最少资源，然后配置部署服务，并启动之。服务运行过程，应用管理器会不断通过检查资源的运行状态，当发现有服务的负载过重的时候，它根据预先设定或者学习得到的知识去确定问题所在。应用管理器可以作需要资源的决策，并向资源池管理器申请额外资源以增加服务能力。

如图3-2所示，资源池管理器的工作流程相对简单，首先是分类保存现在已有的资源，然后进入主循环。主循环中，只是等待并满足其他模块的请求。几个要实现核心功能分别是加入新资源，满足应用管理器的申请和释放的请求。其实在满足申请需求的时候，资源池管理器还需要根据服务约定来判断是否满足服务请求。

3、技术描述：

(1)JMX

参考实现中使用JMX技术，是Java平台上一个为应用程序植入管理功能的框架。它是一个完整的网络管理应用程序开发环境，它提供了一套标准的代理和服务，有效降低了管理系统的开发代价。另外，Java的跨平台特性也使得用这套框架进行开发具有非常良好的可扩展性。

(2)分类接口

分类接口的制定是根据一般计算机资源(软/硬件)的整个使用过程：安装→启动前配置→启动→运行时配置→停止→卸载，来制定的。分类的接口很好地覆盖了资源整个管理过程的各种事务，是对管理动作的有效抽象。

(3)状态信息加工

应用管理器通过状态检查接口获得状态的时候，仅仅通过提供各种各样原始的信息会使得管理的复杂度增加。所以在这里可以采用将这些原始信息加工的方式，将其提取成更高语义层次的词汇。例如，可以定义响应时间大于5秒为SystemOverload。这样可以用少量形式较集中的词汇来概括当前系统状态。上层所面对的状况值域也变得简单。

Claims (8)

1、一种基于统一分类接口的数据中心自动化资源管理系统，包括通过Internet连接的多个资源，分属应用所有者与资源所有者，其特征是：它还包括统一资源管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的资源连接用于提供或接受释放资源。

2、权利要求1所述的基于统一分类接口的数据中心自动化资源管理系统，其特征是：统一资源接口包括生命周期管理接口、参数配置接口和状态检查接口。

3、一种基于统一分类接口的数据中心自动化资源管理方法，包括通过Internet连接的多个资源，分属应用所有者与资源所有者，其特征是：它还包括统一资源管理接口、资源池管理器和应用管理器，统一资源管理接口用于封装各种异构的资源，资源池管理器用于提供资源申请和释放的机制，应用管理器负责管理单个应用；其步骤如下：

a)对于应用所有者与资源所有者的各种软硬件资源，都使用统一资源管理接口来封装，使不同类型的资源可以用统一的接口来访问；

b)对于每个应用，应用所有者自行提供一套应用管理器，负责此应用资源使用的管理；

c)某个应用开始运行时，应用管理器根据预先配置基于资源池管理器申请资源；

d)资源池管理器接到应用管理器申请后，根据应用所有者与资源所有者的服务协议决定是否满足这个申请；

e)应用管理器在得到资源池管理器所分配的资源后，通过资源管理接口对资源进行配置，并激发其处于服务状态；

f)应用管理器通过状态检查接口监视应用运行的过程中资源状态的变化，当发现系统资源出现短缺的时候，向资源所有者发出对额外资源的申请，过程同上面启动过程；

g)对于空闲不使用的资源，应用管理器将其置于停止使用的状态。如果相当长的时间不会使用则归还资源池管理器。

4、根据权利要求3所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是：在步骤a)中，统一资源接口包括三套接口：生命周期管理接口、参数配置接口和状态检查接口。

5、根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是：在步骤b)和c)中，使用资源类型名来区分不同类型的资源。

6、根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是：在步骤e)中，资源池管理器所返回的是应用管理器根据服务约定能够定位资源的资源唯一标识符，它在实现中是一种事先约定的URI。

7、根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是：在步骤f)中，收集运行状态信息的检查接口实现上分为探针(probe)和度量(gauge)两部分，先由探针获得原始的监视信息，然后由度量部分分析处理，形成应用管理器能理解的事件。

8、根据权利要求3所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是：需要使用下面的接口：

接口1申请和释放资源

Request“Resource Type”

Release“Resource Type”

Request  用于向资源池管理器申请资源，在步骤c中使用，而Release则用于向资源池管理器归还资源，在步骤g中使用；

接口2生命周期管理

Create“component name”

Remove“component name”

Start

Stop

其中Create表示安装比较的组件，Remove表示卸载所安装的组件，Start表示激活资源使其处于可访问状态，Stop表示使资源处于就绪状态，接口2的Create和Start在步骤g中使用；

接口3配置

ReadConfig“key”

WriteConfig“key”“new value”

ReadConfig用来读取当前某个配置项目的配置值，WriteConfig用于用新的值更新配置项目的值，“key”是配置项目的名字，“new value”是配置项目的新值，接口3在步骤e中对资源配置的时候使用；

接口4状态检查

readStatusVariable“variable name”

readStatusVariable读取某个状态项目的值，接口4被用在步骤g监视应用运行过程中资源运行状态的变化。

Images