CN101188624B - 基于虚拟机的网格中间件系统 - Google Patents

Abstract

本发明公开了一种基于虚拟机的网格中间件系统，包括位于应用层的安全授权与认证模块和虚拟工作空间客户端模块，位于中间层的虚拟工作空间原子服务模块，位于虚拟层的虚拟机映像传输模块和配置管理模块，以及硬件资源层各虚拟节点内的虚拟机后端插件。本发明不仅实现了大量分散资源的虚拟化，还实现了对单个系统的虚拟化。该模型利用虚拟机很好地克服了现在网格计算技术灵活性不够，效率不高，安全性不高等缺点，并且还有效地支持运行环境及应用程序在网格环境下的迁移同时还支持原有网格计算模型。

Description

基于虚拟机的网格中间件系统

技术领域

本发明属于网格计算领域，具体涉及一种基于虚拟机的网格中间件系统。

背景技术

网格计算是伴随着互联网而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用网络技术，把分散在不同物理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是在成千上万个“节点”组成的“网格”上完成的，所以这种计算方式叫网格计算。

网格计算环境的构建层次从下至上依次为：

1.网格结点

由分布在Internet上的各类资源组成，包括各类主机、工作站甚至PC机，它们是异构的，可运行在Unix、NT等各种操作系统下，也可以是上述机型的机群系统、大型存储设备、数据库或其他设备。

2.中间件

是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、登录和认证、安全性和服务质量(QoS)等。

3.开发环境和工具层

提供用户二次开发环境和工具，以便更好地利用网格资源。

4.应用层

提供系统能接受的语言，如HPC++和MPI等。可配置其他一些支持工程应用、数据库访问的软件，还可提供Web服务接口，使用户可以使用Web方式提交其作业并取得计算结果。

在传统的大型计算环境中(如并行计算机、向量机等)，资源的复用是建立在某种单一的操作系统之上的，因而不存在系统的兼容性问题和安全性问题。要在当今的网络环境下建立网格计算环境，虽然利用网络中间件或者说是网络操作系统，可以解决系统的兼容性问题，但跨管理域的网络安全问题却无法得到保证；同时也加大了广域环境下账号的管理和文件系统管理的复杂性。于是提出了一个利用操作系统中定义的虚拟机来实现网格计算的模型。在这种方法中，用户能与系统软件以及其他用户的共享资源完全隔开。因而，在安全方面，该模型能够确保一个用户或应用程序，在一个虚拟机内仅能与自己的操作系统交互，而不能控制计算资源或其他虚拟机；在管理层面上，由于虚拟机操作系统的配置完全独立于计算资源的配置之上，因而可以实现它在任一主机上的实例化，并且在特殊情况下，可以将一个正在运行的虚拟机转移到另外一个合适的计算设备上。

网格计算实现了对大量分散资源的虚拟化，不能实现对单个资源的虚拟化，受到硬件和软件的限制，从而限制了网格计算的灵活性，由于网格环境下恶意用户的存在，如果一网格结点受到恶意用户的攻击，该网格必将不能迅速崩溃而不能及时恢复，而虚拟机很好将各用户隔离起来，提高较好的安全性。最后在网格环境下应用程序的部署与安装通常是一件令人非常头疼的事情，而虚拟机很好地支持应用程序迁移与部署，正好弥补了网格计算这一缺陷。

随着虚拟化技术的发展、成熟，将虚拟机同网格计算相结合已经成为各国网格计算专家研究的热点问题。

发明内容

本发明的目的在于提供一种基于虚拟机的网格中间件系统，该系统实现了大量分散资源的虚拟化，以及对单个系统的虚拟化；还有效地支持了运行环境及应用程序在网格环境下的迁移以及原有网格计算模型。

本发明提供的基于虚拟机的网格中间件系统，其特征在于：该系统包括位于应用层的安全授权与认证模块和虚拟工作空间客户端模块，位于中间层的虚拟工作空间原子服务模块，位于虚拟层的虚拟机映像传输模块和配置管理模块，以及硬件资源层各虚拟节点内的虚拟机后端插件；

虚拟工作空间原子服务模块用于与虚拟工作空间客户端模块、虚拟结点上的虚拟机后端插件和虚拟机映像传输模块进行通讯；负责TCP监听，接收网格用户通过虚拟工作空间客户端模块提出的请求，虚拟工作空间原子服务模块根据虚拟工作空间客户端模块的请求对虚拟结点的虚拟机后端插件进行访问，虚拟工作空间原子服务模块通过虚拟机映像传输模块实现虚拟机映像的繁殖；

虚拟工作空间客户端模块用于在安全授权与认证模块的授权后，与虚拟工作空间原子服务模块进行通讯；

配置管理模块用于为虚拟工作空间原子服务模块提供目录和元数据的配置文件，并为虚拟机后端插件配置虚拟机后端支持的虚拟机类型和虚拟机映像存放目录的选择，还为虚拟机映像传输模块配置所需的传输协议；配置管理模块包括安全机制配置模块、传输协议配置模块和映像目录配置模块；安全机制配置模块用于与安全授权与认证模块、虚拟工作空间原子服务模块和虚拟机映像传输模块进行交互，配置安全机制，实现无密码登录与无密码三方虚拟机映像文件传输；传输协议配置模块用于配置传输协议，并将传输协议发送给虚拟机映像传输模块；映像目录配置模块用于配置映像目录，将映像目录配置信息传送给虚拟机映像传输模块；

虚拟机后端插件与虚拟工作空间原子服务模块进行通讯，解释虚拟工作空间客户端模块提出的请求以生成不同的命令控制管理虚拟工作空间；

安全授权与认证模块与虚拟工作空间客户端模块进行通讯，防止恶意用户提交恶意代码，保证用户的合法性；

虚拟机映像传输模块根据配置管理模块提供的源虚拟机映像存储目录和目的虚拟机映像存储目录将虚拟机映像从一个虚拟结点传输到另外一个虚拟结点。

虚拟工作空间原子服务模块包括权限检查器，请求接收器，请求解释器，虚拟机映像传输模块调用接口和虚拟机后端插件调用接口；

权限检查器用于负责检查网格用户是否合法，当用户合法时，将虚拟工作空间客户端模块的服务请求发送给请求接收器；

请求接收器用于保存接收的请求及参数，并设置并行处理服务请求个数的上限值，将接收的服务请求转发给请求解释器；

请求解释器对服务请求进行解释，先判断请求是否为传输虚拟机映像指令，如果是，获取源虚拟机映像存储目录和目的虚拟机映像存储目录，将其转交给虚拟机映像传输模块调用接口，虚拟机映像传输模块调用接口通过调用虚拟机映像传输模块采用配置管理模块配置的传输协议传送虚拟机映像；否则，获取虚拟工作空间的元数据描述，并将其传给虚拟机后端插件调用接口，虚拟机后端插件调用接口通过调用虚拟机后端插件构建不同用户需要的操作系统环境。

本发明将虚拟化技术与网格计算技术有机结合，提出了一种基于虚拟机的网格计算模型，并在此基础上构件了一套网格中间件系统。该系统利用虚拟机很好地克服了现在网格计算技术灵活性不够，效率不高，安全性不高等缺点。具体而言，本发明具有下述技术效果：

(1)不仅实现大量分散资源的虚拟化，还实现了对单个系统的虚拟化。

传统的网格计算在广域网上对大量分散资源的虚拟化，不能像虚拟机一样实现对单个计算系统的虚拟化，同时网格计算具有灵活性不够的缺点，这是因为一些复杂的网格应用对软件和硬件具有严格的要求，而网格节点基本都是预先设置好，最终将导致资源利用效率不高。虚拟机就是虚拟化技术的一种实现形式，它是对单个计算机系统的虚拟化，具有很强的灵活性，极高的安全性，它很好地克服网格计算在这方面的缺点，使得该基于虚拟机的网格中间件不仅实现大量分散资源的虚拟化，还实现了对单个系统的虚拟化。

(2)支持多种虚拟机类型

为了保证网格计算平台具备很强的灵活性，支持的虚拟机类型越多越好。因为支持虚拟机的类型越多意味着支持的操作系统越多。给不同的虚拟机开发各自的Adapter，最后通过统一的接口实现对虚拟机的控制与管理，这样做保证了系统的扩展性。实现上有点类似JDBC，JDBC就是给程序员提供一统一简单的数据库操作接口，通过安装不同数据库Driver实现对不同的数据库访问。

(3)保证更高的透明性

传统的网格计算不具备较好的透明性，主要原因是其灵活性不够，没灵活性，透明性无从说起。也就是说在网格环境下使用虚拟机使提高透明性成为可能。网格用户按照将要部署的应用需求向网格平台提出请求，网格平台通过对网格结点的虚拟机的控制与管理构建应用需要的执行环境，最后将只是简单地将结果返回给用户。有机地将不同虚拟工作空间原子服务组合在一起，是完全可以做到这点的。

(4)极强的系统扩展性

灵活的安全授权与认证系统和配置管理模块保证了这点。灵活的安全授权与认证系统，采用RSA，DSA，GSI等安全认证授权机制保证了网格中间件系统安全性，配置管理模块保证网格中间件系统的可扩展性与可维护性。

附图说明

图1为基于虚拟机的网格计算模型示意图；

图2为基于虚拟机的网格中间件系统示意图；

图3为虚拟工作空间原子服务系统结构示意图；

图4为虚拟工作空间原子服务数据处理流程示意图；

图5为虚拟工作空间客户端系统结构示意图；

图6为虚拟工作空间客户端数据处理流程示意图；

图7为配置管理系统结构示意图；

图8为虚拟机后端插件系统结构示意图。

具体实施方式

下面结合附图和实例对本发明作进一步详细地说明。

如图1所示，基于虚拟机的网格计算模型，利用虚拟机的优点很好地克服了传统网格计算在灵活性、安全性等方面的缺陷，同时还不影响原有网格计算应用的正常运行。使得基于虚拟机的网格中间件系统不仅实现大量分散资源的虚拟化，还实现了对单个系统的虚拟化，使得网格计算透明性更强，扩展性更好。

利用基于虚拟机的网格计算模型，开发出了一种基于虚拟机的网格中间件系统，下面将作详细的说明。

如图2所示，本发明基于虚拟机的网格中间件系统包括四个层次的模块：位于应用层的安全授权与认证模块5和虚拟工作空间客户端模块2，位于中间层的虚拟工作空间原子服务模块1，位于虚拟层的虚拟机映像传输模块6和配置管理模块3，以及硬件资源层各虚拟节点内的虚拟机后端插件4。

虚拟工作空间原子服务模块1用于与虚拟工作空间客户端模块2、虚拟结点上的虚拟机后端插件4、虚拟机映像传输模块6进行通讯，网格用户根据目前网格环境下的可用资源情况，根据网格应用需求通过虚拟工作空间客户端模块2提出请求，虚拟工作空间客户端模块2通过调用虚拟工作空间原子服务模块1实现对虚拟结点的虚拟机后端插件4的访问。最后虚拟工作空间原子服务模块1可以调用虚拟机映像传输模块6实现虚拟机映像的繁殖。

虚拟工作空间客户端模块2用于与安全授权与认证模块5和虚拟工作空间原子服务模块1进行通讯，在安全授权与认证模块5的授权后，虚拟工作空间客户端模块2才能与虚拟工作空间原子服务模块1进行通讯。

配置管理模块3同时与虚拟工作空间原子服务模块1、虚拟机后端插件4、虚拟机映像传输模块6通讯。配置管理模块3负责虚拟工作空间原子服务模块1目录选择，元数据管理等。同时它还负责为虚拟机后端插件4配置虚拟机后端支持的虚拟机类型和虚拟机映像存放目录的选择等。配置管理模块3需要配置虚拟机映像传输模块6的传输协议，如SCP，RCP，GridFTP等。

虚拟机后端插件4主要与虚拟工作空间原子服务模块1进行通讯。主要用于解释虚拟工作空间客户端模块2提出的请求以生成不同的命令控制管理虚拟工作空间。虚拟工作空间原子服务模块1通过虚拟机后端插件4实现对虚拟机的使用，针对不同的虚拟机开发出不同的虚拟机插件，而为虚拟工作空间提供统一的接口，供其调用。

安全授权与认证模块5与虚拟工作空间客户端模块2进行通讯。主要为了防止恶意用户提交恶意代码，保证网格中间件能正常运行。

虚拟机映像传输模块6用于将虚拟机映像从一个虚拟结点传输到另外一个虚拟结点。源虚拟机映像存储目录和目的虚拟机映像存储目录由配置管理模块3负责配置。

下面分别举例说明上述各部件的具体构成。

如图3所示，虚拟工作空间原子服务模块1包括权限检查器1.1，请求接收器1.2，请求解释器1.3，虚拟机映像传输模块调用接口1.4和虚拟机后端插件调用接口1.5。

虚拟工作空间原子服务模块1启动后进行TCP监听，等待来自虚拟工作空间客户端模块2的请求。当收到虚拟工作空间客户端模块2用户的服务请求时，首先权限检查器1.1负责检查网格用户是否合法，当用户合法时，虚拟工作空间原子服务模块1将新起一个进程，该进程主要用于处理来自虚拟工作空间客户端模块2的服务请求，其主要其处理过程为：首先将虚拟工作空间客户端模块2的服务请求发送给请求接收器1.2，请求接收器1.2利用队列保存接收的请求及参数，并设置可以同时处理的服务请求个数的上限值，接收器1.2负责将接收的服务请求转发给请求解释器1.3进行解释，先判断请求是否为传输虚拟机映像指令，如果是，获取源虚拟机映像存储目录和目的虚拟机映像存储目录，将其转交给虚拟机映像传输模块调用接口1.4，虚拟机映像传输模块调用接口1.4通过调用虚拟机映像传输模块6，用不同的传输协议传送虚拟机映像。请求执行完后继续进行TCP监听，等待其他服务请求。否则，获取虚拟工作空间的元数据描述，然后将它传给虚拟机后端插件调用接口1.5，虚拟机后端插件调用接口1.5通过调用虚拟机后端插件4最终构建出不同用户需要的操作系统环境。

虚拟工作空间原子服务数据处理流程如图4所示。

如图5所示，虚拟工作空间客户端模块2包括用户管理模块2.1、线程管理模块2.2、元数据管理模块2.3、可视化管理模块2.4和错误管理模块2.5。

虚拟工作空间客户端模块2是一基于Web的应用程序通常被安装在Web服务器上，当Web服务器启动后就进行TCP监听。用户通过浏览器建立与Web服务器的连接，首先调用可视化管理模块2.4，可视化管理模块2.4是用户操作与系统反馈信息的图形界面，负责实时的图形显示，用户可以通过可视化管理模块2.4分别向用户管理模块2.1和元数据管理模块2.3发送指令。如果发生异常，还可以显示错误管理模块2.5的错误信息。用户管理模块2.1负责接收用户通过可视化管理模块2.4发送的登录、注册请求以及管理员的指令，用户登录后，将用户登录信息发送给线程管理模块2.2。线程管理模块2.2根据用户登录信息产生相应的处理线程，将用户登录信息传送给元数据管理模块2.3，并根据用户指令调用元数据管理模块2.3更新元数据。元数据管理模块2.3接收授权用户通过可视化管理模块2.4发送的对元数据的查询指令和修改指令，主要用于操作系统类型的选择，内存、磁盘空间的分配，以及网络IP的配置。如果元数据管理模块2.3发生异常，就将异常信息发给错误管理模块2.5。错误管理模块2.5负责在元数据管理模块2.3发生异常时，处理异常以及进行异常恢复工作。

虚拟工作空间客户端数据处理流程如图6所示。

如图7所示，配置管理模块3包括安全机制配置模块3.1，传输协议配置模块3.2和映像目录配置模块3.3。

上述三个模块相互独立，安全机制配置模块3.1与安全授权与认证模块5进行通讯与虚拟工作空间原子服务模块1、虚拟机映像传输模块6交互，主要配置安全机制例如RSA、DSA加密技术，主要用于实现无密码登录与无密码三方虚拟机映像文件传输，安全授权与认证模块5利用安全机制配置模块3.1配置的安全机制进行授权与认证工作。传输协议配置模块3.2主要用于配置传输协议如SCP、RCP、GridFtp，虚拟机映像传输模块6按照传输协议配置模块3.2配置的传输协议进行映像的传输。映像目录配置模块3.3主要用来配置映像目录与虚拟机映像传输模块6进行通讯，虚拟机映像传输模块6将映像从映像目录配置模块3.3配置的源映像目录传输到目的映像目录。可以看到，配置管理模块数据处理流程很简单，用户只需要进行简单的操作就可以实现系统安全机制配置、传输协议配置、虚拟机映像目录配置。

如图8所示，虚拟机后端插件4包括请求接收器4.1，适配层模块4.2，命令产生器4.3和命令执行器4.4。

请求接收器4.1通过与虚拟工作空间原子服务模块1通讯间接地接收来自虚拟工作空间客户端模块2请求，其功能类似虚拟工作空间原子服务模块的请求接收器1.2，主要是利用队列保存接收的请求及参数，设置并行处理服务请求的上限值。适配层模块4.2主要是针对不同虚拟机而存在为不同的虚拟机请求传输不同的请求信息给命令产生器4.3，但是对外提供统一的接口，适配层模块4.2针对Xen、VMWare两种类型的虚拟机提供统一的调用接口。命令产生器4.3根据适配层模块4.2传入的信息判断虚拟机类型，如果是Xen虚拟机类型将按照Xen虚拟机的命令格式产生命令，反之将按照VMWare虚拟机生成命令，生成的命令将由命令执行器4.4执行。命令执行器4.4执行来自命令产生器4.3生成的命令。命令执行器4.4实际上可以说是一种Shell，用来进行命令执行，文件流的重定向等操作。

虚拟机后端插件数据处理流程与虚拟工作空间客户端数据处理流程相似，不再累述。

Claims (3)

1.一种基于虚拟机的网格中间件系统，其特征在于：该系统包括位于应用层的安全授权与认证模块(5)和虚拟工作空间客户端模块(2)，位于中间层的虚拟工作空间原子服务模块(1)，位于虚拟层的虚拟机映像传输模块(6)和配置管理模块(3)，以及硬件资源层各虚拟节点内的虚拟机后端插件；

虚拟工作空间原子服务模块(1)用于与虚拟工作空间客户端模块(2)、虚拟结点上的虚拟机后端插件和虚拟机映像传输模块(6)进行通讯；负责TCP监听，接收网格用户通过虚拟工作空间客户端模块(2)提出的请求，虚拟工作空间原子服务模块(1)根据虚拟工作空间客户端模块(2)的请求对虚拟结点的虚拟机后端插件进行访问，虚拟工作空间原子服务模块(1)通过虚拟机映像传输模块(6)实现虚拟机映像的繁殖；

虚拟工作空间客户端模块(2)用于在安全授权与认证模块(5)的授权后，与虚拟工作空间原子服务模块(1)进行通讯；

配置管理模块(3)用于为虚拟工作空间原子服务模块(1)提供目录和元数据的配置文件，并为虚拟机后端插件配置虚拟机后端支持的虚拟机类型和虚拟机映像存放目录的选择，还为虚拟机映像传输模块(6)配置所需的传输协议；配置管理模块(3)包括安全机制配置模块(3.1)、传输协议配置模块(3.2)和映像目录配置模块(3.3)；安全机制配置模块(3.1)用于与安全授权与认证模块(5)、虚拟工作空间原子服务模块(1)和虚拟机映像传输模块(6)进行交互，配置安全机制，实现无密码登录与无密码三方虚拟机映像文件传输；传输协议配置模块(3.2)用于配置传输协议，并将传输协议发送给虚拟机映像传输模块(6)；映像目录配置模块(3.3)用于配置映像目录，将映像目录配置信息传送给虚拟机映像传输模块(6)；

虚拟机后端插件与虚拟工作空间原子服务模块(1)进行通讯，解释虚拟工作空间客户端模块(2)提出的请求以生成不同的命令控制管理虚拟工作空间；

安全授权与认证模块(5)与虚拟工作空间客户端模块(2)进行通讯，防止恶意用户提交恶意代码，保证用户的合法性；

虚拟机映像传输模块(6)根据配置管理模块(3)提供的源虚拟机映像存储目录和目的虚拟机映像存储目录将虚拟机映像从一个虚拟结点传输到另外一个虚拟结点；虚拟工作空间原子服务模块(1)包括权限检查器(1.1)，请求接收器(1.2)，请求解释器(1.3)，虚拟机映像传输模块调用接口(1.4)和虚拟机后端插件调用接口(1.5)；

权限检查器(1.1)用于负责检查网格用户是否合法，当用户合法时，将虚拟工作空间客户端模块(2)的服务请求发送给请求接收器(1.2)；

请求接收器(1.2)用于保存接收的请求及参数，并设置并行处理服务请求个数的上限值，将接收的服务请求转发给请求解释器(1.3)；

请求解释器(1.3)对服务请求进行解释，先判断请求是否为传输虚拟机映像指令，如果是，获取源虚拟机映像存储目录和目的虚拟机映像存储目录，将其转交给虚拟机映像传输模块调用接口(1.4)，虚拟机映像传输模块调用接口(1.4)通过调用虚拟机映像传输模块(6)采用配置管理模块(3)配置的传输协议传送虚拟机映像；否则，获取虚拟工作空间的元数据描述，并将其传给虚拟机后端插件调用接口(1.5)，虚拟机后端插件调用接口(1.5)通过调用虚拟机后端插件构建不同用户需要的操作系统环境。

2.根据权利要求所述的网格中间件系统，其特征在于：虚拟工作空间客户端模块(2)包括用户管理模块(2.1)、线程管理模块(2.2)、元数据管理模块(2.3)、可视化管理模块(2.4)和错误管理模块(2.5)；

可视化管理模块(2.4)提供用户操作与系统反馈信息的图形界面，负责实时的图形显示，并转发用户向用户管理模块(2.1)和元数据管理模块(2.3)发送的指令；接收错误管理模块(2.5)提供的错误信息并予以显示；

用户管理模块(2.1)负责接收用户通过可视化管理模块(2.4)发送的登录、注册请求以及管理员的指令，用户登录后，将用户登录信息发送给线程管理模块(2.2)；

线程管理模块(2.2)根据用户登录信息产生相应的处理线程，将用户登录信息传送给元数据管理模块(2.3)，并根据用户指令调用元数据管理模块(2.3)更新元数据；

元数据管理模块(2.3)接收授权用户通过可视化管理模块(2.4)发送的对元数据的查询指令和修改指令；如果发生异常时，将异常信息发给错误管理模块(2.5)；

错误管理模块(2.5)负责在元数据管理模块(2.3)发生异常时，处理异常以及进行异常恢复工作，并将错误信息发送给可视化管理模块(2.4)。

3.根据权利要求1或2所述的网格中间件系统，其特征在于：虚拟机后端插件包括请求接收器(4.1)，适配层模块(4.2)，命令产生器(4.3)和命令执行器(4.4)；

请求接收器(4.1)通过与虚拟工作空间原子服务模块(1)通讯间接地接收来自虚拟工作空间客户端模块(2)的请求，利用队列保存接收的请求及参数，设置并行处理服务请求的上限值；

适配层模块(4.2)用于将请求接收器(4.1)转发的请求进行适配，并将适配后的请求发送给命令产生器(4.3)；

命令产生器(4.3)根据适配层模块(4.2)传入的请求判断虚拟机类型，根据不同的虚拟机类型产生不同的命令，并将生成的命令发送给命令执行器(4.4)；

命令执行器(4.4)用于执行来自命令产生器(4.3)生成的命令。

Images