CN103095853A - 云数据中心计算能力管理系统 - Google Patents

Abstract

一种应用于云数据中心内、基于虚拟资源池管理模式的计算能力管理系统。系统采用客户端/服务器模式，将用户对平台计算能力的需求抽象成以CU为单位的计算能力值，并以此度量云数据中心内所有计算平台（物理机或虚拟机）的计算能力、构建计算能力数据库。客户端负责收集所在计算平台的静态信息（CPU信息、IP、侦听端口）、进行计算能力测试；服务器端接收每个客户端发来的报告，构建并计算能力数据库，同时管理用户对计算能力的需求，依据当前分配策略和现有计算资源得出最优分配方案。该系统依据计算能力对云数据中心的计算资源进行了抽象，向用户屏蔽了云数据中心和分配过程细节，同时所制定的分配策略在保障用户需求前提下可以提高计算资源利用率。

Description

云数据中心计算能力管理系统

技术领域

本发明涉及计算机科学中的云计算、数据中心领域，特别是涉及云计算环境中根据计算能力需求进行资源管理分配的机制。

背景技术

云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算描述了一种IT应用、服务的部署、使用和交付模式，涉及通过互联网来提供动态、易扩展而且经常是虚拟化的计算资源。云计算中的“计算资源”包括存储、处理器、内存和网络带宽等，它们是由云数据中心内的所有物理机和虚拟机提供的；这些资源的总和经过统一管理、调度，称为“虚拟资源池”或“计算资源池”。

云数据中心是为云计算安置计算机系统及相关部件的设施，在大多数情况下表现为“服务器农场”，即安置有大量服务器的场所。对于云计算中应用、服务的部署，最终表现为将这些应用、服务分配到不同的一台或多台服务器上运行。本发明主要针对这一分配过程。

现有云数据中心计算资源管理系统的工作模式主要有：

（1）手动管理模式：

这是一种对用户不透明的管理方式。在云数据中心中，云计算提供商将根据用户需求，分配固定的服务器或虚拟机给用户，由用户自行完成应用、服务的部署。这样的部署方式常见于企业内部的私有云，并且较为落后，不利于资源统一管理。

（2）基于虚拟资源池的管理模式：

云计算提供商将其云数据中心内的资源整合成虚拟资源池，对用户屏蔽了云数据中心细节，使得在用户看起来就像是一台计算机一样。通过云计算提供商提供的工具软件，用户可以随时随地提交自己的应用、服务，由计算平台自动分配相应的物理机或虚拟机来运行。整个部署过程对用户透明，即用户根本不知道、也不需要知道他的应用、服务最终是由哪些物理机或虚拟机来运行。

这两种管理模式有其各自有缺点。在手动管理模式中，用户几乎参与了应用和服务的部署全过程。由于用户知道自己应用或服务的对计算资源的需求（即明确知道运行这些应用或服务需要的服务器、虚拟机的性能），因此这样的方式一般可以保障用户得到的应用、服务可以良好的运行。不足在于部署过程复杂，并且用户通常会在申请计算资源过程中要求最新的计算平台，从而造成大量旧的计算平台浪费，尽管它们也可满足需求。

而在基于虚拟资源池的部署模式中，用户的应用、服务的部署往往是根据用户付费的多少来决定。付费多的用户可用的计算资源更多，其所部署的应用、服务的运行效果相对就更好，但是这样往往造成资源的浪费，即用户虽然拥有很多计算资源，但其应用、服务的正常运行可能并不需要这么多的资源。这在无形中造成计算资源和用户资金的浪费。因此，本申请针对两种部署模式的不足，发明了一种依据计算能力进行云数据中心计算资源整合、分配的方法。

发明内容

本发明以充分利用云数据中心计算能力为目标，设计并实现了一种云数据中心计算能力管理系统，应用于一个或多个云数据中心中，可以克服现有管理分配方式的不足。具体内容包括：

1.客户端计算能力收集

在云数据中心内，所有最终可用来运行用户应用或服务的物理机和虚拟机称为该系统的全部客户端，即云数据中心内除去担任“服务器端”（服务器端定义见下文）的所有物理机和虚拟机。在每个客户端上运行一个负责测试计算能力的守护进程（使用Windows系统的客户端则为Windows Service，以下统称守护进程），该进程负责在服务器端的管理下测试客户端计算能力，并向服务器端汇报最终结果，同时，该进程还负责搜集客户端的计算机名称、IP地址等静态信息。

2.服务器端计算能力数据库维护与计算资源分配

在云数据中心内，该管理系统需要分配一台物理机或虚拟机作为该系统的服务器端。服务器端负责收集客户端计算测试结果报告，并根据这些报告创建、维护云数据中心的计算能力数据库。计算能力数据库包含当前计算能力总和、全部客户端——计算能力映射表、已分配的计算能力——客户端映射表、客户端分配频度记录表。对于用户提出的计算能力需求，该系统负责维护用户请求响应队列、根据相关匹配策略分配满足用户需要的计算资源。整个分配过程对用户透明，分配结果既能满足用户的计算能力需求，又可以最大程度利用计算资源。

3.计算能力的度量表示

计算能力的度量单位称作“计算单元（Computing Unit，以下简称CU）”，1CU的计算能力被定义为当前云数据中心内计算能力最小的客户端所能提供的计算能力，也称“CU基准分值”。客户端的守护进程对客户端进行整型数计算能力测试（Integer Benchmark）和浮点数计算能力测试（Floating PointBenchmark），将结果乘以相应权值并加和得出计算能力分值：

计算能力分值=浮点数计算能力得分×浮点数计算能力权值+整型数计算能力得分×整型数计算能力权值，其中浮点数计算能力得分、整型数计算能力得分分别为进行浮点数计算能力测试和整型数计算能力测试的结果，下同。

并且，

浮点数计算能力权值+整型数计算能力权值=1、0<浮点数计算能力权值，整型数计算能力权值<1

则，

当前客户端的计算能力=[CPU测试得分/CU基准分值」·CUs

假设当前客户端计算能力分值为m，CU基准分值为k，则当前客户端计算能力为[m/k」CUs。

4.计算能力分配策略

服务器端根据用户提出的计算能力需求，结合计算能力数据库和计算分配策略进行最终的资源分配。这些分配策略旨在满足用户需求的同时尽可能充分利用所有资源，包括如下：

（1）最小集合策略

该策略定义为：在满足用户需求的前提下，取所有可能的分配方案中包含的物理机和服务器数量总和最小的分配方案作为分配结果。

（2）旧服务器优先策略

该策略定义为：在满足用户需求的前提下，在所有可能的分配方案中优先选择包含旧服务器最多的方案作为分配结果。

（3）均匀分配策略

该策略定义为：在满足用户需求的前提下，查询客户端分配频度记录表，在所有可能的分配方案中优先选择使用频度和最小的方案作为分配结果。

5.用户请求响应队列的管理

服务器端负责维护用户请求响应队列，即根据响应策略组织、调整对用户请求的响应顺序。具体的响应策略包括：

（1）先来先服务策略

该策略定义为：依据用户请求到达服务器端的先后次序响应用户请求，优先响应先到达的请求。

（2）优先级响应策略

该策略定义为：根据用户的优先级高低来处理请求响应次序，用户的优先级越高，其请求就越早得到响应。

与现有技术相比，本系统发明的创新之处在于：能够根据计算能力组织、维护云数据中心计算资源池；能够根据用户对计算能力的要求进行计算资源的分配；分配过程对用户透明，并通过一系列分配策略提高计算资源的利用率。具体体现为：

1.本发明中，依据整型数和浮点数计算能力测试结果，在服务器端维护计算能力数据库，从而完成对云数据中心的计算能力整合，形成计算资源池。

2.本发明中，根据用户提出的计算能力需求来进行资源分配。并且在这一过程中，用户并不知道资源的具体细节，如所处位置、处理器型号等。避免手动管理模式中用户对全过程的参与，提升管理效率，同时，解决传统的基于虚拟资源池模式对计算能力的浪费问题。

3.本发明中，根据一系列分配策略来提高资源利用率，避免手动管理模式中旧服务器利用率不高问题，同时解决传统的基于虚拟资源池模式下的部分资源被频繁分配问题。

附图说明

图1：系统结构图

图2：系统基本工作流程

图3：客户端/服务器通信过程

图4：通信消息格式

图5：用户请求队列设计

图6：计算能力数据库设计

具体实施方式

如图1所示，云数据中心计算能力管理系统采用客户端/服务器模式，由两大主要部分构成：（1）在服务器端，如图1（a），服务器端由各模块和计算能力数据库两部分构成，包括以下5个模块：服务器端管理模块负责调度其他模块，当收到客户端发送的测试结果报告时，调用计算能力数据库访问模块执行对数据库信息的更新；当有新的用户请求到达时，则调用用户请求队列管理模块更新请求队列；通信模块，负责与客户端的通信，包括消息的收发、封装、解析等；计算能力数据库管理模块，负责维护和执行对计算能力数据库的访问，如对数据库中记录的增加、删除、查询、修改；用户请求队列管理模块，负责将用户的请求组织成队列形式，并在队列不为空时将队列首个用户请求传送给计算资源分配模块；计算资源分配模块，负责解析用户请求队列管理模块发来的队列元素，通过计算能力数据库管理模块查询相关记录，根据既定策略做出分配结果。计算能力数据库存储信息包括：当前云数据中心内所有客户端的计算能力表；客户端分配表，记录每个客户端当前处于空闲还是分配状态；客户端分配频度表，记录每个客户端的分配频度（次数）。（2）客户端由以下4个模块组成：通信模块，负责与服务器端的通信，包括消息的收发、封装、解析；信息收集模块，负责收集客户端静态信息，如CPU基本信息（使用汇编指令获得，根据得到的结果判断处理器架构等基本信息）、IP地址，端口号（该系统默认使用8887端口进行通信）等；客户端管理模块负责根据收到的服务器端消息调用不同模块，在收到服务器端要求进行计算能力测试（即收到下文所述req消息）时，该模块调用计算能力测试模块和信息收集模块进行计算能力测试、收集客户端静态信息；计算能力测试模块负责测试客户端的浮点数计算能力和整型数计算能力，计算能力测试模块汇总这两个测试结果并根据上文公式计算客户端计算能力。

如图2所示，系统的工作流程主要有两种情况，图2（a）是系统部署后初始化流程：服务器端对所有客户端发出广播信息，要求上报计算能力测试结果，此后根据收到的报告向数据库中添加相关记录，完成初始化过程。在其他服务器端主动发起管理请求的工作场景中，其工作流程与此类似。不同之处在于服务器端根据需要，向一个或多个客户端发送消息、或者向全部客户端发出广播消息。

如图2（b），用户请求处理的流程如下：若用户请求队列非空，则用户请求队列管理模块取出队首元素，解析相关计算能力需求，随后传送到分配模块；分配模块首先查阅计算能力数据库中相关记录，主要是剩余计算能力，以此做出包含所有可行的分配方案的集合；若该集合非空，则根据分配策略做出最优选择并返回结果，结束分配流程；若方案集合为空，则返回错误信息（用户需求不能得到满足），结束分配流程。

图3描述了客户端和服务器端的一次完整通信过程的交互过程。本系统发明中所有通信基于TCP套接字，且消息的基本格式遵循图4（a）所给出的结构，不同之处在于不同消息的消息体有区别，所有消息的头部为4个字节，包括3字节的消息魔数（魔数由ASCII码0x4D，0x47，0x54组成，即“MGT”的ASCII编码），下1字节表述消息的类型码，不同消息的类型码不同。通信过程如下：

（1）TCP连接建立完成后，服务器端首先向客户端发出req消息，该消息类型码为0x00，消息主体为空，表示要求收到消息的客户端上报计算能力测试结果；

（2）随后，目的客户端返回announce消息，该消息的类型码为0x10，消息主体格式参见图4（b），主要由16字节的客户端HASH值，2字节侦听端口号，2字节所属云数据中心编号，3字节CPU标识，1字节IP地址类型（0x00表示为IPv4地址，0x01表示为IPv6地址），16字节IP地址（若为ipv4地址，则前12字节均用0x00填充，后四字节表示地址；若为IPv6地址，则16字节全部表示地址），客户端HASH值由端口号、所属云数据中心编号、CPU标志、IP地址类型、IP地址通过MD5算法得出；

（3）服务器端收到announce消息后，返回ready消息，该消息类型码为0x02，消息主体见图4（c），主要由announce消息中的客户端HASH值，16字节的服务器端标志（由服务器IP地址，所示云数据中心编号经MD5算法生成），以及4字节确认码（0x00000000表示正常，可接受消息，0x00000001表示出错，这时双方断掉TCP连接，一段时间后重新建立通信，重复以上步骤）；

（4）客户端收到正常的ready消息后，发出report消息，该消息类型码为0x11，消息主体由客户端HASH值、服务器端标志、4字节填充码（随机生成），以及8字节计算结果组成，计算结果是客户端计算能力数值（例如计算能力为22CUs，则该8字节数据内容表示整数22）；

（5）report消息发送完毕，紧接着客户端发送report_complete消息，该消息类型码为0x12，消息主体由客户端HASH值、服务器端标志、4字节结束标志（0x00000000）组成；

（6）服务器端收到report消息后，紧接着对report_complete消息进行确认，发送ack_report消息给客户端，该消息类型码为0x01，消息主体由客户端HASH值、服务器端标志、4字节确认标识（0x00010000）组成；

（7）客户端收到ack_report消息后，得知服务器端已收到report消息且解析无误，这时可以进入通信结束阶段，客户端向服务器连续发送两次offline消息，该消息类型码为0x20，消息主体由客户端HASH值、服务器端标志、4字节离线标志（0x11111111）组成，若服务器端在30秒内无回复，则断开TCP连接。

图5表示用户请求管理的队列组成形式，图中标出三个队列元素作为示意。其中，队首指针指向当前可以读取的元素，队尾指针指向当前可以写入的元素，每个队列元素由用户名、优先级、计算能力需求组成，在默认情况下，队列根据先来先服务原则组织，亦可调整根据优先级来重新组织队列。

计算能力数据库结构如图6所示，图6（a）表示计算能力资源表的结构设计，其中客户端HASH值为该表主键，包含信息由客户端所属云数据中心编号、IP地址类型、IP地址、端口号、CPU标志和计算能力值；图6（b）为分配频度表，客户端HASH值为主键，并记录该客户端已分配次数；图6（c）为已分配客户端表，客户端HASH值为主键，分配码为0表示尚未分配，分配码为1表示当前已分配。

Claims (6)

1.一种应用于云数据中心的计算能力管理系统，将云数据中心内的虚拟计算资源依据现有计算能力、用户请求的计算能力、预先制定的分配策略形成最优分配方案，其特征在于，该系统包括服务器端和客户端，其中：

服务器端用于管理用户需求，根据用户需求和既定分配策略分配计算机资源，同时管理、维护计算能力数据库；

客户端测试当前客户端所在计算平台的计算能力，并收集计算平台的静态信息上报给服务器端。

2.如权利要求1所述的系统，其特征在于：服务器端包括计算能力数据库、服务器端管理模块，通信模块，计算能力数据库管理模块、用户请求队列管理模块和计算资源分配模块；

其中，计算能力数据库存储的信息包括：当前云数据中心内所有客户端的计算能力表；客户端分配表，用于记录每个客户端当前处于空闲还是分配状态；客户端分配频度表，用于记录每个客户端的分配频度；

计算能力数据库管理模块，负责维护和执行对计算能力数据库的访问，包括对数据库中记录的增加、删除、查询、修改；

用户请求队列管理模块，负责将用户的请求组织成队列形式，并在队列不为空时将队列首个用户请求传送给计算资源分配模块；

计算资源分配模块，负责解析用户请求队列管理模块发来的队列元素，通过计算能力数据库管理模块查询相关记录，根据既定策略做出分配结果；

服务器端管理模块负责调度其他模块，当收到客户端发送的测试结果报告时，调用计算能力数据库访问模块执行对数据库信息的更新；当有新的用户请求到达时，则调用用户请求队列管理模块更新请求队列；

通信模块，负责与客户端的通信，包括消息的收发、封装、解析。

3.如权利要求1所述的系统，其特征在于：客户端包括信息收集模块，客户端管理模块，计算能力测试模块和通信模块；

其中，通信模块，负责与服务器端的通信，包括消息的收发、封装、解析；

信息收集模块，负责收集客户端静态信息，包括CPU基本信息、IP地址，端口号；

客户端管理模块负责调用其他模块，在收到服务器端要求进行计算能力测试时，该模块调用计算能力测试模块和信息收集模块进行计算能力测试和收集客户端静态信息；

计算能力测试模块负责测试客户端的浮点数计算能力和整型数计算能力，计算能力测试模块汇总这两个测试结果并计算客户端计算能力。

4.如权利要求2所述的系统，其特征在于：测试计算能力包括整型数计算能力测试和浮点数计算能力测试。

5.如权利要求4所述的系统，其特征在于：

计算能力分值=浮点数计算能力得分×浮点数计算能力权值+整型数计算能力得分×整型数计算能力权值

并且，

浮点数计算能力权值+整型数计算能力权值=1，0<浮点数计算能力权值<1，0<整型数计算能力权值<1；

其中浮点数计算能力得分、整型数计算能力得分分别为进行浮点数计算能力测试和整型数计算能力测试的结果。

6.如权利要求1所述的系统，其特征在于：分配策略包括以下方案之一：

选择物理机和服务器数量总和最小的分配方案；

优先选择包含旧服务器最多的方案；

优先选择使用频度和最小的方案。

Images