CN103353852A - 一种虚拟化WebService的IaaS的构建方法 - Google Patents

Abstract

为了克服用现有虚拟机技术部署企业私有云存在的缺点，本发明提出了一种虚拟化WebService的IaaS的构建方法。该方法采用线程虚拟技术作为虚拟化的WebService，避开了运用主流虚拟机技术部署IaaS的复杂性。这种方法可直接利用企业现有的IT资源快速、高效的搭建IaaS，使企业无需购置新的IT计算资源便可适应动态变化的计算环境和存储环境。该方法在借鉴现有虚拟机技术管理硬件资源的基础上，避开了安装虚拟机。该技术的思想是运用并发线程的方法，把线程抽象成服务，基于线程管理资源，从而实现资源的动态扩展。

Description

一种虚拟化WebService的IaaS的构建方法

技术领域

本发明提出一种虚拟化WebService的IaaS构建方法，该方法采用线程虚拟技术作为虚拟化的WebService，避开了运用主流虚拟机技术部署IaaS的复杂性。本发明在降低部署复杂性的同时，同样能够适应业务动态变化、提高资源利用率和管理自动化，非常适合建立动态、可扩展的私有云环境。 

背景技术

云计算已经成为一种新兴的商业计算模型，是一系列已存技术和新技术的结合体（例如SOA和虚拟化的结合），为现有IT资源的有效利用提出了一种新的解决方案。云计算的理念是把一切IT资源看成服务，用服务的方式提供IT资源的动态、可扩展和按需供给。云计算的服务模式分为三类：软件即服务（SaaS）、平台即服务（PaaS）和基础设施即服务（IaaS）。 

       基础设施即服务（IaaS）的目的是实现存储资源和计算资源的动态扩展，在满足业务动态变化的同时，为企业节约硬件资源的成本。IaaS的目标是实现硬件资源的弹性自适应承载，满足企业业务的动态需求。 

       IaaS实现硬件资源弹性自适应承载的核心技术之一就是虚拟化技术。虚拟化技术把所有硬件资源看成逻辑整体，一方面可以实现业务的动态化，另一方面可以提高资源的利用率。IBM 认为，虚拟化是未来云计算架构的关键组成模块，而衡量一家 IT 企业的“云”能力的关键也正是其虚拟化实施能力。但用主流的虚拟机技术（如：VMWare、Xen、KVM）在构建企业私有云时存在以下不足：（1）对硬件的要求比较高，安装虚拟机软件本身需要占用大量的计算机资源，如CPU、内存和硬盘；（2）在分布式环境下部署技术复杂，且成本很高；（3）安全问题：部署了虚拟机后，虽然可以方便的实现资源的动态可扩展，但同时让业务在虚拟机环境中变的不可控，造成安全问题；（4）管理问题，如何管理数量众多且各自独立的虚拟机将对管理者提出极高的要求。 

为了克服用现有虚拟机技术部署企业私有云存在的缺点，我们提出了一种虚拟化WebService的IaaS的构建方法。该方法在借鉴现有虚拟机技术管理硬件资源的基础上，避开了安装虚拟机。该技术的思想是运用并发线程的方法，把线程抽象成服务，基于线程管理资源，从而实现资源的动态扩展。该技术在使IaaS部署技术极大简化的情况下，同样实现了以透明的方式，随需、可扩展的向用户提供计算、存储及基础软件服务。 

发明内容

本发明提供了一种虚拟化WebService的IaaS构建方法，并给出了该虚拟化WebService的具体实施步骤。这种方法可直接利用企业现有的IT资源快速、高效的搭建IaaS，使企业无需购置新的IT计算资源便可适应动态变化的计算环境和存储环境。本发明可获得如下有益效果： 

       1、提供一种IaaS虚拟环境的实现技术，该技术是用线程作为服务的最小单位，并对线程进行虚拟化。每台受控节点运行一个进程对该受控节点上的所有线程进行管理和维护。该技术实现简单，无需安装，基于主进程容易实现动态化管理和线程的可控管理。同时用该技术搭建的IaaS，底层运行的只是一些服务器进程和线程，将会对IaaS的搭建带来极大的方便性，且易于对IaaS环境进行控制，实现IaaS环境的安全性和可控性。

2、提供一种资源动态扩展、计算弹性扩展的方法。所开的线程是无状态的，能够随业务的增加或减少而动态的改变服务线程的数量。线程能够独立完成业务或以协作的方式完成业务，从而达到资源和计算的弹性扩展。 

 3、提供一中央服务器（即主控节点Master），该服务器可接收来自上层的任务请求。中央服务器存储任务的结构是Hash表和任务队列，这样可以支持多用户并发任务请求及任务的分配速度。中央服务器提供维护全局WebService列表的功能，它负责接收来自各受控节点的局部的WebService列表，并根据局部WebService列表更新全局WebService列表。 

4、提供一全局监控器，全局监控器负责和各受控节点的监控器通信，负责监督各受控节点的负载情况和故障情况。全局监控器设置在中央服务器（Master）中。 

5、提供一任务分配器，任务分配器读取中央服务器的业务请求和全局WebService列表，并根据负载均衡算法决定把接收的业务请求提交给哪个服务器的哪个线程负责处理。 

任务分配器根据全局监控器收集的信息和全局WebService列表来预测各受控节点的使用情况（即所谓的哪些机器负载过重，哪些机器负载不重，然后根据提供的算法关闭负载重的机器上的WebService，开启负载不重的机器上的WebService。实现服务器的负载均衡、达到服务器性能优化的目的，并生成各WebService优化的参数。这些参数会传给选中服务器上的任务分配器，任务分配器根据这些参数来处理某一具体的客户端请求。 

6、提供一负载均衡策略，该策略将每个集群节点按状态（KPI）分区，包括空闲态、瓶颈态和正常态。其中空闲态采用轮转算法；瓶颈态将不接收请求；正常态将按照响应能力概率转发。 

7、提供一监控器，监控器运行在每台受控节点的主进程中。监控器负责监控该机器上所开的服务数量和记录该机器的负载情况。主监控器负责把监控的结果反馈给全局监控器，同时把监控结果交给管理器。监控器记录该机器的硬件和软件的负载情况，并将记录的信息生成一规定格式的XML文件。 

8、提供一管理WebService的管理器，该管理器将会详细记录该机器中所用的服务及可以利用的服务列表信息。管理器负责把这些信息写到中央服务器中的WebService列表中；管理器读取本地监控器提供的结果决定是否开启新WebService或关闭WebService。 

9、提供一种虚拟化WebService的方法，不同于现有的虚拟化技术，该虚拟化技术不需要虚拟软件即虚拟操作系统；每台机器上将并发运行多个服务线程，这些线程将被虚拟化成WebService。这些虚拟化的WebService都是无状态的，默认情况下这些WebService都是关闭状态，只有当用到该WebService的时候才会被本地管理器唤醒，极大提高系统资源的利用率。 

10、提供一开启或关闭WebService的算法，该算法可以根据管理器的要求开启或关闭某一WebService。 

11、提供一消息队列（Queue），任务分配器、监控器和管理器间的通信是通过消息队列来进行的。消息队列一方面能够缓存消息，能够应对消息量的突然增加；另一方面使任务分配器、监控器和管理器的耦合性降低，增加了构建服务的灵活性。 

12、提供一幂等技术，每个基于线程的WebService可以应对短暂出错并自动恢复。每个线程所提供的服务是相同的，都具有自动重试、短时超时和操作可重复的特性。 

13、提供一虚拟WebService下的可控机制，在每个受控节点内有一主进程，其它WebService线程都是基于主进程而虚拟出来的线程，主进程能够对各线程进行有效的控制，从而使虚拟环境获得极大的可控性，从而提高了虚拟环境的安全性。 

所述的开源web服务器，在本发明中将被开发为虚拟化的WebService。其特征在于：（1）能够部署和处理web应用程序；（2）能够读写硬盘文件；（3）能够管理自己的内存；（4）每个web服务器都可以得到本机器中所有的内存；（4）通过随机端口或虚拟化（逻辑）端口，能够多开web服务，以此支持web服务器的动态扩展和收缩，使所开发的IaaS满足业务的动态化需求。 

所述的中央服务器，负责将任务分配到合适Web服务器上的任务分配器中。中央服务器还将负责维护整个系统的WebService列表。中央服务器拥有的全局监控器，负责维护整个系统的资源使用情况。中央服务器记录的只是各受控节点的元数据，具体的系统状态信息及如何开启各WebService将由各受控节点进行操作，这样可以减轻中央服务器的工作负载。 

所述的全局监控器收集每个受控节点监控器的信息，并根据各受控节点的IP、各WebService的标识和端口号组织成一张全局的WebService列表，这列表还将记录各WebService的状态信息。全局监控器只起到控制作用，它调用负载均衡算法把某一合适的WebService信息反馈给客户端，客户端通过Redirect重定向和这一WebService进行通信，实现控制信息和数据信息的分离，提高主控节点的效率。 

所述的任务分配器，接收来自中央服务器的任务和全局WebService的使用情况，以负载均衡的方式把任务发送给特定的受控节点，并接收web服务器处理完的结果，把结果反馈给中央服务器。 

所述的监控器，其功能是采集本受控节点的资源使用情况和负载情况，并生成资源使用情况表。监控器一方面把使用情况表反馈给中央服务器的全局监控器使用，另一方面传递给本受控节点的管理器使用。 

所述的管理器，其主要功能是理解监控器的信息，并根据监控器的信息完成如下功能：开启新WebService、发送任务给WebService、接受WebService处理完的结果、关闭WebService。如果服务器资源负载过大，管理器将关闭部分WebService，将正在运行的任务转移到空闲的机器上的WebService上处理。如果服务器资源负载不重，管理器将采用贪心算法将空闲服务器集合中集群节点进行重新分布，以减少服务器数量。管理器将根据结果把WebService信息写回到中央服务器的WebService列表中。 

所述的WebService列表，其特征在于：它以线性表的方式记录所有WebService端口和各端口占据的系统地址空间及空闲情况。 

所述的任务队列，其特征在于：它以Hash表来记录各任务的Hash码，具体的任务保存在缓冲区中。这样可以提高任务的查询速度和优化任务的分配策略。 

所述的管理器，监控器及任务分配器之间的逻辑关系和通信是指：管理器与监控器、监控器和任务分配器之间通过消息队列进行通信，物理上确保各自独立的情况下，在逻辑上形成一个能够互相协同共作的统一体。管理器是通过监控器的信息来管理具体WebService的，任务分配器是根据管理器生成的WebService列表来分配具体任务的。整个系统，多台机器，每个机器上都运行这些模块。 

所述的消息队列（Queue），将缓存不同模块产生的XML消息，该消息可以使不同模块间更容易相互理解。只要不同模块之间都能够理解Queue的消息，就可以使用不同的技术和编程语言实现应用模块的不同部分。同时消息队列将提供缓存机制，可以更好的应对任务的突然增大。 

所述的负载均衡策略，一方面用以达到各受控节点负载均衡的目的，提高资源的利用率；另一方面能够自动的根据负载的情况动态的增加服务资源或减少服务资源。负载均衡策略算法的核心是轮转算法。负载均衡策略能够以最优化的方式提供web服务，从而以更加灵活和高效的方式满足业务的动态需求。 

附图说明

图1是虚拟化WebService的IaaS的总体架构图 

图2是虚拟化WebService的IaaS的逻辑架构图

图3是基于WebService的IaaS的集群拓扑结构图

图4是任务分配器，监控器和管理器的通信过程图

图5是可伸缩的服务请求过程图

图6是虚拟化WebService的IaaS的构建方法流程图

下面将结合附图及实施对本发明的技术方案进行更加详细的说明。 

为了方便说明，首先介绍一下文中出现的几个概念，部分概念在背景技术和发明内容中已经用到，这里一并给出定义： 

WebService指的是虚拟化的线程所提供的服务接口，每个线程是一个WebService。

WebService列表指的是所有WebService的信息，包括WebService所在机器的Ip、线程占用的端口号、线程状态信息及线程标识等。 

KPI（关键性能指标）指的是集群节点的状态信息，包括空闲态、瓶颈态和正常态。系统将根据各节点的KPI采用不同的算法对资源进行调度。 

集群：指的是多台硬件设备协同工作，在本系统中也指多个WebService协同工作。 

线程：指的能够运行且处理任务的最小单位，在本系统中指能够独立提供服务的WebService。 

主控服务器：指的是具有全局调控功能的服务器，本身包含的模块有全局监控器、全局WebService列表和任务缓冲区等。 

受控服务器：指的是WebService的容器，对该容器的所有WebService进行管理、调度和监控。并负责与主控服务器进行通信。 

主控节点与受控节点的工作过程

如图1所示，主控节点与每个受控节点进行通信。主控节点（中央服务器）包括全局监控器、全局WebService列表和任务缓存区。全局监控器收集来自各受控节点中监控器的信息；全局WebService列表记录全局的服务列表，并对可用的服务和空闲的服务的所有状态进行记录；任务缓存区接收来自客户端的任务，并把任务缓冲保存在任务队列，其后将任务分发给合适的任务分配器。

中央服务器首先接收客户端发来的服务请求，并把这些服务请求缓存到中央服务器的缓存中去。中央服务器获得任务后，会读取全局的WebService列表，中央服务器把空闲的服务信息反馈给客户端，客户端根据空闲的服务列表重定向到某一台受控节点上。 

每个受控节点中包括任务分配器、监控器和管理器这三个模块。各受控节点间是彼此独立的，提供的服务也是相同的，这样有利于节点的维护和动态扩展。本系统由于采用的是线程的虚拟化技术，基于的是细粒度的web服务提供形式，因此能够保证各线程程处理能力的一致性，能更好的实现负载均衡。 

虚拟化WebService的IaaS的逻辑架构

如图2所示，虚拟化WebService的IaaS的逻辑架构图使用了典型的MVC结构，展示层负责与用户交互，并负责向业务层发送消息。传递参数、任务处理等具体功能由业务层完成，在完成具体任务之后向展示层返回处理结果对应的消息，由消息处理模块（Controller）来更新视图（View）。

在展示层，Controller模块负责翻译消息、向业务层转发消息以及接收业务层返回的消失，而Web View模块则负责与用户的交互。 

在业务层，将由主控节点和受控节点的各个功能模块共同构成一个逻辑的统一体为展示层提交的任务进行处理。其功能主要包括： 

（1）对WebService进行管理，通过记录各WebService的状态信息来对整个系统的所有WebService进行统一的规划和调度。

（2）对资源的管理，通过系统的全局监控器和局部监控器对该系统涉及的所有硬件资源进行监控，包括监控cpu的使用率、内存的使用情况及硬盘的负载情况等，并根据监控器的监控结果对资源进行优化处理。 

（3）对日志的管理，在业务层将负责记录本系统所有模块的所有操作，根据这些操作的信息将会对系统的维护带来很大的方便性，同时根据这些日志能够达到对系统的可控管理。对于日志的合理管理也将对系统性能的提高带来参考信息。 

在资源层，主要有计算资源和存储资源组成。计算资源主要用来为各WebService提供业务处理服务；存储资源主要用来存储WebService产生的关键数据和对业务的处理结果。 

虚拟化WebService的IaaS的集群拓扑结构

如图3所示，本图给出了本系统的集群拓扑。本系统提供的集群是一个逻辑整体。主控节点和受控节点、受控节点和受控节点之间都将进行通信，他们能够单独完成一个任务，也可以互相配合完成一个任务。

主控节点提供一召唤算法，能够通知各受控节点主动与主控节点进行通信。 

受控节点提供一心跳算法，该算法的作用是让受控节点以主动的方式通知主控节点自己运行的状态。同时主控节点通过受控节点的心跳信息来控制任务的分配。 

运行于一个逻辑域的几个WebService分布于不同的受控节点中，这样可以提高系统的鲁 

处理一个业务请求的几个WebService将分布于几个不同的逻辑域中，这样可以使业务的处理处于连续性，从而使IaaS环境具有真正的可扩展性和动态性。

可伸缩的服务请求过程

如图5所示，为了提高系统的安全性和可靠性，本系统所提供的服务将以冗余的状态分配给任务使用。每个任务请求在后台将有好几个WebService进行处理，这些WebService将分布在不同的几个服务器中，但相互之间进行协作形成一个逻辑的统一体。某一WebService在运行中若出现问题或由于所在的服务器负载过重需要对其进行关闭时，其它WebService将会接替出问题或关闭的WebService的业务请求，从而让用户感觉任务是无间断的。冗余的WebService将会分布在不同的受控节点上，可以最大限度的提高服务的安全性和可靠性。

任务分配器、监控器和管理器通信过程

如图4和图6所示，通信的具体过程介绍如下：

    （1）当客户端的请求到达受控节点后，任务分配器启动。任务分配器根据客户端的标识读取中央服务器中的任务列表和本受控节点中的WebService列表。任务分配器将以并行的方式选取任务和空闲的WebService，并把根据所选择的任务信息和WebService信息启动某一个或某几个WebService。接受任务的WebService将对这一具体的任务进行处理。

       （2）如果任务成功分配给某一个或某几个服务线程，服务线程将处理任务，并将处理完的结果会反馈给任务分配器。任务分配器根据反馈的信息决定把处理结果将直接反馈给客户端或根据失败信息启动监控器。 

       （3）如果任务分配失败，也就是没有空闲的WebService，这时会把失败信息提交给任务分配器与监控器共享的消息队列，监控器读取消息队列中的失败信息并开始工作。监控器将收集本地资源的利用率（CPU、内存及硬盘的资源的使用情况）、开启的WebService和未开启的WebService的状态等信息，并将这些信息生成列表信息，提交给监控器和管理器共享的消息队列。 

    （4）管理器会读取消息队列中的信息，并利用管理器自身设置的算法来决定是否开启新WebService或关闭WebService。并实时记录追踪这些服务的状态（包括正在处理、出错终止和已经完成），并将这些状态信息写入WebSevice服务列表。 

    （5）最后管理器和中央服务器进行通信，将得到的WebSevice服务列表更新到中央服务器的总的WebSevice服务列表中。 

  

Claims (10)

1.一种虚拟化WebService的IaaS的构建方法，包括中央服务器、全局监控器、任务分配器、监控器、管理器、WebService列表和任务队列，各部分通过消息队列（Queue）进行通信，任务通过负载均衡策略与相应的WebService进行关联，其特征在于，中央服务器部署和处理web应用程序，并通过任务分配器通过负载均衡策略将任务分配到WebService列表中的空闲的WebService中；WebService列表是由全局监控器通过收集各节点的监控器生成的元信息生成；管理器则负责根据监控器的信息对WebService进行管理和控制。

2.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的WebService指的是虚拟化的线程所提供的服务接口，每个线程是一个WebService。

3.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的中央服务器负责收集任务，并将获取的任务分配到合适的Web服务器的任务分配器中；同时，中央服务器还负责维护整个系统的WebService列表，它只记录各受控节点的元信息，具体的系统状态信息及如何开启各WebService将由各受控节点进行操作。

4.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的全局监控器负责收集各受控节点监控器的信息，并根据各受控节点的IP、各WebService的标识和端口号组织成一张全局的WebService列表；全局监控器负责调用负载均衡算法将合适的WebService信息反馈给客户端，客户端通过Redirect重定向和这一WebService进行通信，实现控制信息和数据信息的分离，提高主控节点的效率。

5.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的任务分配器，接收来自中央服务器的任务和全局WebService的使用情况，以负载均衡的方式把任务发送给特定的受控节点，并接收web服务器处理完的结果，把结果反馈给中央服务器。

6.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的监控器，其功能是采集本受控节点的资源使用情况和负载情况，并生成资源使用情况表；监控器一方面把使用情况表反馈给中央服务器的全局监控器使用，另一方面传递给本受控节点的管理器使用。

7.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的管理器，其主要功能是理解监控器的信息，并根据监控器的信息完成如下功能：开启新WebService、发送任务给WebService、接受WebService处理完的结果、关闭WebService；如果服务器资源负载过大，管理器将关闭部分WebService，将正在运行的任务转移到空闲的机器上的WebService上处理；如果服务器资源负载不重，管理器将采用贪心算法将空闲服务器集合中集群节点进行重新分布，以减少服务器数量；管理器将根据结果把WebService信息写回到中央服务器的WebService列表中。

8.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的WebService列表，其特征在于：它以线性表的方式记录所有WebService端口和各端口占据的系统地址空间及空闲情况。

9.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的任务队列，其特征在于：它以Hash表来记录各任务的Hash码，具体的任务保存在缓冲区中，这样可以提高任务的查询速度和优化任务的分配策略。

10.根据权利要求1所述的虚拟化WebService的IaaS的构建方法，其特征在于，所述的负载均衡策略的核心是轮转算法，负载均衡策略能够以最优化的方式提供web服务，从而以更加灵活和高效的方式满足业务的动态需求。

Images