CN103577247A - 基于Rocks集群技术的虚拟机计算和存储集群及其构建方法 - Google Patents

Abstract

基于Rocks集群技术的虚拟机计算和存储集群及其构建方法，首先将多台物理服务器通过网络设备互联，然后在物理服务器安装虚拟机管理器和虚拟机，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，该集群包括多个虚拟机和/或物理服务器，并在虚拟机和/或物理服务器中形成多个计算节点，及通过网络设备与多个计算节点连接的一个前端节点。该集群包括多个物理服务器以及连接物理服务器的Infiniband网络设备,网络接口卡为基于SR-IOV的PCI设备。该集群能够兼容虚拟机和物理服务器，使用SR-IOV技术将Infiniband网络接口卡虚拟化为多个虚拟功能端口，并分配给每个虚拟机，虚拟机通过该虚拟功能端口加入集群，结合Infiniband网络的高带宽、低延时、低CPU占用率等特点，提高集群的性能。

Description

基于Rocks集群技术的虚拟机计算和存储集群及其构建方法

技术领域

本发明涉及计算集群，尤其是，涉及一种基于Rocks集群技术的虚拟机计算和存储集群及其构建方法。

背景技术

在现有的高性能计算机体系结构中，集群拥有极强的灵活性和扩展性，同时还具有成本优势，已逐渐占据主导地位。集群是一组相互独立、通过高速网络互联的计算机，并以单一系统的模式加以管理。

由于现有的计算集群是由多个服务器组成，各个服务器之间的网络连接带宽、网络延时是制约计算集群性能的一个重要因素。此外，集群如何针对不同的应用弹性地切换集群规模、如何快速部署计算节点、如何便捷统一地管理、如何组建灵活性和扩展性俱佳高性能计算体系、如何提高整个集群体系的资源利用率等，都是现有技术亟需解决的问题。

发明内容

本发明的目的在于提出一种基于Rocks集群的虚拟计算集群，从而获得灵活性和扩展性俱佳的高性能计算机体系，并且提高整个体系的硬件资源利用率、降低管理成本。

为达此目的，本发明采用以下技术方案：

一种基于Rocks集群技术的虚拟计算和存储集群，包括多个物理服务器以及连接所述物理服务器的网络设备，其特征在于：所述物理服务器上安装有虚拟机管理器和虚拟机，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，所述虚拟计算和存储集群包括多个虚拟机和/或物理服务器，并在所述虚拟机和/或所述物理服务器中形成多个计算节点，以及通过所述网络设备与多个所述计算节点连接的一个前端节点。

优选地，所述网络设备为Infiniband网络设备。

进一步优选地，所述Infiniband网络设备中的网络接口卡为基于SR-IOV的PCI设备。

优选地，所述物理服务器能够关闭或者迁移虚拟机，切换到普通服务器模式。

优选地，所述虚拟计算集群是由所述虚拟机作为节点构成的集群，或者是由所述物理服务器和所述虚拟机作为节点构成的混合集群系统。

本发明还公开了一种基于Rocks集群技术的虚拟计算和存储集群的构建方法，包括如下步骤：

步骤1，将多台物理服务器通过网络设备互联；

步骤2，在物理服务器安装虚拟机管理器和虚拟机；

步骤3，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，所述虚拟计算和存储集群包括多个虚拟机和/或物理服务器，并在所述虚拟机和/或所述物理服务器中形成多个计算节点，以及通过所述网络设备与多个所述计算节点连接的一个前端节点。

优选地，所述网络设备为Infiniband网络设备。

进一步优选地，所述Infiniband网络设备中的网络接口卡为基于SR-IOV的PCI设备。

优选地，所述物理服务器能够关闭或者迁移虚拟机，切换到普通服务器模式。

优选地，所述虚拟计算集群是由所述虚拟机作为节点构成的集群，或者是由所述物理服务器和所述虚拟机作为节点构成的混合集群系统。

本发明具有如下优势：

1）硬件优势：利用Infiniband的高带宽、低延迟和低CPU占用等优点，支持集群节点之间大量数据的传输。结合SR-IOV技术，可以为虚拟机分配InfiniBand虚拟网卡，虚拟机通过该虚拟网卡加入集群。

2）架构优势：使用虚拟机作为集群的节点，可以灵活的定制集群的规模，可以构建物理服务器与虚拟机混合的计算集群，消除不同物理服务器体系架构之间的差异；集群中的物理服务器可以弹性地在不同应用之间切换，充分利用空闲资源。 

3）快速部署： Rocks集群技术采取整合的安装方式，把OS、集群指定的服务、集群建立的工具都整合在一起，所有服务和工具的安装、配置在前端节点安装时一次完成。针对每个计算节点软件安装的需求，Rocks集群技术利用前台节点来为每个计算节点定制发行所需软件包。

4）易优化和管理：Rocks自带的集群管理软件提供了图形化的集群管理界面，在前端节点运行集群管理软件，再连接到各个计算节点，统一管理和监控集群中的所有节点。由于Rocks集群采取整合的部署模式，非常利于软件的更新优化。

5）物理服务器复用：物理服务器可以在多种模式下工作，便捷地在不同应用之间切换；当集群计算任务较少时，可以切换到其他模式提供其他服务。

附图说明

图1 是根据本发明的Rocks集群基本架构：

图2是在Rocks的虚拟化服务器的结构；

图3是根据本发明的Rocks集群的虚拟计算和存储集群；

图4是根据本发明的Rocks集群的单根IO虚拟化SR-IOV示意图；

图5是根据本发明的基于Rocks集群的构建虚拟计算和存储集群的方法。

图中的附图标记所分别指代的技术特征为：

101、前端节点；102、网络设备；103、计算节点；104、虚拟机；105、虚拟机管理器；106、物理资源；107、物理服务器； 109、虚拟计算与存储集群；110、物理端口；111、虚拟网桥；112、物理功能接口；113、虚拟功能接口；114、虚拟功能接口驱动器；115、虚拟交换；116、网络接口卡。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

现有技术中已经出现了与集群计算相关的一系列的技术，分别如下：

Rocks集群技术整合了高性能计算集群的安装、配置和管理，简化了集群的部署过程，普通用户也能方便地建立和管理集群。Rocks是基于CentOS的一组用来创建和管理高性能计算集群的工具包，包括Kernel/Boot Roll、Service Pack Roll、Core Roll、PBS Roll等主要软件包，其中Core Roll包含了许多用于高性能计算的开源工具软件，如SGE（作业调度软件）、ganglia（集群监控软件）。Rocks的特点是软件包以称为Roll的形式组织，如HPC Roll、SGE Roll等。除了Rocks已提供的基本Roll之外，用户也可以创建自己的Roll，通过加入不同的Roll来定制自己的集群。

Rocks集群在安装前端节点时会自动设置好NFS、NIS、DHCP、NTP、MySQL等运作集群的服务器，计算节点全部通过PXE网络系统从前端节点下载文件并自动完成所有安装与配置。新增的计算节点或者修复的计算节点接入集群网络会自动完成文件的下载与安装配置，无需人为干预。Rocks集群自身提供了一整套基于WEB的组件（Roll）来监控自身的活动及配置状况，如处理器使用率、内存使用量、网络负载、节点状态和当前任务的进展，使用第三方厂商为Rocks开发的作业调度软件（SGE）进行任务管理。

虚拟化技术把物理资源转变为逻辑上可以管理的资源，它可以打破物理结构之间的壁垒，简化软件的重新配置过程。计算机虚拟化是一种前沿的软件技术，它正迅速改变着 IT 的面貌，并从根本上改变着人们的计算方式。利用服务器虚拟化技术，可以在一台物理服务器上运行多个虚拟机，因而使得多个业务在互不干涉环境下共享这一台计算机的资源，平均资源利用率提升到70%以上，能够显著地提升效率。

针对当前硬件设备成本的下降、硬件资源利用率不足、管理成本的攀升、系统安全等问题，虚拟化技术可以改善这些问题：

1）运用虚拟化技术将物理服务器的资源分配给数台虚拟机，同时虚拟机可以在物理服务器之间迁移，在保持业务可用性的条件下，对多台物理服务器进行动态的负载均衡，有效的利用了闲置资源，确保服务器发挥出最高的可用性和性能。

2）虚拟机之间是完全隔离的，就像它们是不同的物理计算机一样，在可用性和安全性方面，虚拟环境中运行的应用程序远优于在传统的非虚拟化系统中运行的应用程序。虚拟机实质上是一个软件容器，它将一整套虚拟硬件资源与操作系统及其所有应用程序封装在一个软件包内。封装使虚拟机具备超乎寻常的可移动性并且易于管理，可以方便的将虚拟机从一个位置移动和复制到另一位置，就像移动和复制任何其他软件文件一样。

3）虚拟机是独立于底层硬件进行工作的，可以为虚拟机配置与底层硬件完全不同的虚拟组件，因此虚拟机可以自由的在不同架构的物理服务器之间迁移，当一台虚拟机出现故障时可在最短时间内恢复且不影响整个集群的运作。

4）降低部署成本，只需要较少的服务器就可以实现需要大量服务器才能提供的业务，降低能耗，节能减排，间接降低了安全等其他方面的成本。

5）虚拟化可以屏蔽物理服务器的体系架构之间的差异，在不同体系架构的物理服务器上架设相同体系结构的虚拟机，降低兼容性问题，改善虚拟机的管理模式，管理员可以轻松管理比以前更多数量的服务器。 

单根IO虚拟化（SR-IOV）技术是一种基于硬件的虚拟化解决方案，它不需要软件模拟就可以共享I/O设备的物理功能，可提高性能和伸缩性。SR-IOV技术允许在虚拟机之间高效共享快速互连外设组件PCI-E设备，并且是在硬件中实现的，可以获得能与物理机性能相媲美的I/O性能。根据SR-IOV规范定义的标准，创建的新设备可允许将虚拟机接口直接连接到I/O设备。SR-IOV规范由PCI-SIG在 http://www.pcisig.com 上进行定义和维护。

SR-IOV技术使单个I/O资源可由许多虚拟机共享，每个虚拟机都可访问此I/O资源，并且具有自己的配置空间。每个支持SR-IOV技术的设备都可有一个物理功能接口 (Physical Function, PF)，并且每个PF最多可支持64000个与其关联的虚拟功能接口(Virtual Function, VF)。PF可以通过寄存器创建VF，并保存该VF的属性。

在PF中启用了SR-IOV，就可以通过PF的总线、设备和功能编号访问各个VF的PCI配置空间。每个VF都具有一个PCI存储空间，用于映射其寄存器集。VF设备驱动程序对寄存器集进行操作以启用其功能，并且显示为实际存在的PCI 设备。创建VF后，可以直接将其指定给虚拟机接口或各个应用程序。此功能使得虚拟功能可以共享物理设备，在没有 CPU 和虚拟机管理程序软件开销的情况下执行I/O通信。

支持SR-IOV技术的设备可以利用以下优点：

1）从虚拟机环境直接访问硬件，降低软件开销，提高I/O性能。

2）减少适配器数量，减少交换机端口数量，降低布线需求。

3）节能减排，降低成本。

本发明综合利用了上述技术，使用Rocks集群技术，构建由虚拟机作为计算节点的集群，还可以构建物理服务器和虚拟机的混合集群系统；使用SR-IOV技术，进行PCI设备的虚拟化，将PCI功能分配到多个虚拟机的接口，在虚拟化环境中共享一个PCI设备的资源。从而构建基于Rocks的虚拟计算集群。

实施例1：

参见图1-图3，公开了根据本发明的具体实施例1。该虚拟计算集群包括多个物理服务器107以及连接所述物理服务器107的网络设备102，所述物理服务器上安装有虚拟机管理器VMM（Virtual Machine Monitor）105和虚拟机VM（Virtual Machine）104，过Rocks集群技术进行构建和管理所述计算和存储集群，所述计算和存储集群包括多个虚拟机104和/或物理服务器107，在所述虚拟机104和/或所述物理服务器107中形成多个计算节点103，以及通过所述网络设备102与多个所述计算节点103连接的至少一个前端节点101。

所述虚拟计算集群可以是由虚拟机104作为节点的集群，还可以是由物理服务器107和虚拟机104作为节点的混合集群系统。

参见图2，公开了在物理服务器107安装有虚拟机管理器VMM（Virtual Machine Monitor）105和虚拟机VM（Virtual Machine）104。物理资源106由CPU、内存、硬盘等组成，包括支持虚拟化的PCI设备。

虚拟机管理器VMM（Virtual Machine Monitor）105管理物理硬件资源106，构建资源池，为虚拟机104提供虚拟的硬件资源。虚拟硬件资源的总量受物理硬件资源总量约束。

虚拟机104之间相互隔离，虚拟机104具备传统计算机的全部功能。由VMM提供虚拟机104的接口，使虚拟机104可以作为独立计算机或者服务器来使用。

参见图3，公开了根据本实施例的示例性的虚拟计算和存储集群109，虚拟计算和存储集群109构建在多台物理服务器107上，包括前端节点101和多个计算节点1034，与物理计算集群相比，其规模可以灵活变动。而且物理服务器107可以进行应用的切换。例如，在集群计算任务较少时，物理服务器107可以切换到普通服务器的模式，对外提供服务；或者将多台物理服务器107的资源整合，提供桌面虚拟化的服务等。

在一批物理服务器上可以构建多套的虚拟计算和存储集群，每个计算和存储集群进行独立的高性能计算任务，规模可以由计算任务量来决定，因此虚拟计算和存储集群可以使用基于任务的方式来运作。

虚拟计算和存储集群还可以采取混合的模式，例如前端节点101使用物理服务器107，或者把物理服务器107作为虚拟计算集群的计算节点103，构建方式可以更加灵活。

优选地，所述网络设备102为Infiniband网络设备102，这样，利用了Infiniband的高带宽、低延迟和低CPU占用率等优点，支持集群节点之间大量数据的传输。

优选地，为了实现对多个虚拟机104的I/O接口的输出，所述Infiniband网络设备102中的网络接口卡为基于SR-IOV的PCI设备。SR-IOV技术是对pass-through模型的一种优化，pass-through模型让虚拟机104直接使用物理设备，而SR-IOV技术主要解决pass-through模型的单一虚拟机访问的限制，使得多个虚拟机能同时使用该物理设备。支持SR-IOV功能的物理设备可以在Hypervior里面注册成多个虚拟设备，每个设备都有独立的中断ID、收发队列、QOS管理机制，以pass-through方式分配给虚拟子机。

物理端口110：是支持SR-IOV的物理设备的对外接口，与外界进行数据通信。

物理功能接口PF 112：包括SR-IOV的配置空间的扩展功能，用于支持虚拟化和配置VF等。

虚拟功能接口VF 113：是物理设备的虚拟化实例，具备自己的配置空间，多个VF共享一个物理设备。

参见图4，网络设备中的网络接口卡116包括物理端口110，上面具有虚拟网桥111，其可以设置物理功能接口112或多个虚拟功能接口113。物理功能接口112，即传统的交换模式，可以直接传递给虚拟机104，也可以对应多个虚拟功能接口113，使得虚拟功能接口113分别通过虚拟功能接口驱动器114（VF DRIVER）传递给虚拟机104。在一个示范性的实施例中，一个物理功能接口PF可以对应16个虚拟功能接口VF。

因此，根据实施例1的虚拟计算和存储集群具有如下特点：

1）运用Infiniband技术组建物理服务器之间的互联网络，提供超高带宽的数据传输链路。

2）使用Rocks集群技术，构建由虚拟机作为计算节点的集群，还可以构建物理服务器和虚拟机的混合集群系统。

3）使用SR-IOV技术将Infiniband网络接口卡虚拟化为多个虚拟功能端口，并分配给每个虚拟机，虚拟机通过该虚拟功能端口加入集群。

4）物理服务器可以便捷地在不同应用之间切换，在高性能计算任务较少时，关闭或者迁移虚拟机，切换到普通服务器模式，提供其他的服务。

因此，具有如下优势：

1）硬件优势：利用Infiniband的高带宽、低延迟和低CPU占用率等优点，支持集群节点之间大量数据的传输。结合SR-IOV技术，可以为虚拟机分配InfiniBand网络接口卡的虚拟功能端口，虚拟机通过该虚拟功能端口加入集群。

2）架构优势：使用虚拟机作为集群的计算节点，可以灵活的定制集群的规模，可以构建物理服务器与虚拟机混合的计算集群，消除不同物理服务器体系架构之间的差异；集群中的物理服务器可以弹性地在不同应用之间切换，充分利用空闲资源。 

3）快速部署： Rocks集群技术采取整合的安装方式，把OS、集群指定的服务、集群建立的工具都整合在一起，所有服务和工具的安装、配置在前端节点安装时一次完成。针对每个计算节点软件安装的需求，Rocks集群技术利用前台节点来为每个计算节点定制发行所需软件包。

4）易优化和管理：Rocks自带的集群管理软件提供图形化的集群管理界面，在前端节点运行集群管理软件，再连接到各个计算节点，统一管理和监控集群中的所有节点。

5）物理服务器复用：物理服务器可以在多种模式下工作，便捷地在不同应用之间切换；当集群计算任务较少时，可以切换到其他模式提供其他服务。

实施例2：

参见图5，公开了根据本发明的构建基于Rocks集群的虚拟计算集群的方法，包括如下步骤：

步骤201，将多台物理服务器通过网络设备互联；

步骤202，在物理服务器安装虚拟机管理器和虚拟机；

步骤203，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，所述虚拟计算和存储集群包括多个虚拟机和/或物理服务器，并在所述虚拟机和/或所述物理服务器中形成多个计算节点，以及通过所述网络设备与多个所述计算节点连接的至少一个前端节点。

优选地，所述网络设备为Infiniband网络设备。

进一步优选地，所述Infiniband网络设备中的网络接口卡为基于SR-IOV的PCI设备。

所述物理服务器能够关闭或者迁移虚拟机，切换到普通服务器模式。

这样，所述虚拟计算集群是由所述虚拟机作为节点构成的集群，或者是由所述物理服务器和所述虚拟机作为节点构成的混合集群系统。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (10)

1. 一种基于Rocks集群技术的虚拟计算和存储集群，包括多个物理服务器以及连接所述物理服务器的网络设备，其特征在于：所述物理服务器上安装有虚拟机管理器和虚拟机，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，所述虚拟计算和存储集群包括多个虚拟机和/或物理服务器，并在所述虚拟机和/或所述物理服务器中形成多个计算节点，以及通过所述网络设备与多个所述计算节点连接的至少一个前端节点。

2. 根据权利要求1所述的基于Rocks集群技术的虚拟计算和存储集群，其特征在于：

所述网络设备为Infiniband网络设备。

3. 根据权利要求2所述的基于Rocks集群技术的虚拟计算和存储集群，其特征在于：

所述Infiniband网络设备中的网络接口卡为基于SR-IOV的PCI设备。

4. 根据权利要求1-3中任意一项所述的基于Rocks集群技术的虚拟计算和存储集群，其特征在于：

所述物理服务器能够关闭或者迁移虚拟机，切换到普通服务器模式。

5. 根据权利要求4所述的基于Rocks集群技术的虚拟计算和存储集群，其特征在于：

所述虚拟计算集群是由所述虚拟机作为节点构成的集群，或者是由所述物理服务器和所述虚拟机作为节点构成的混合集群系统。

6. 一种基于Rocks集群技术的虚拟计算和存储集群的构建方法，包括如下步骤：

步骤1，将多台物理服务器通过网络设备互联；

步骤2，在物理服务器安装虚拟机管理器和虚拟机；

步骤3，通过Rocks集群技术构建与管理所述虚拟计算和存储集群，所述虚拟计算和存储集群包括多个虚拟机和/或物理服务器，并在所述虚拟机和/或所述物理服务器中形成多个计算节点，以及通过所述网络设备与多个所述计算节点连接的至少一个前端节点。

7. 根据权利要求6所述的基于Rocks集群技术的虚拟计算和存储集群的构建方法，其特征在于：

所述网络设备为Infiniband网络设备。

8. 根据权利要求7所述的基于Rocks集群技术的虚拟计算和存储集群的构建方法，其特征在于：

所述Infiniband网络设备中的网络接口卡为基于SR-IOV的PCI设备。

9.根据权利要求6-8中任意一项所述的基于Rocks集群技术的虚拟计算和存储集群的构建方法，其特征在于：

所述物理服务器能够关闭或者迁移虚拟机，切换到普通服务器模式。

10. 根据权利要求9所述的基于Rocks集群技术的虚拟计算和存储集群的构建方法，其特征在于：

所述虚拟计算集群是由所述虚拟机作为节点构成的集群，或者是由所述物理服务器和所述虚拟机作为节点构成的混合集群系统。

Images