CN103268252A - 基于分布式存储的虚拟化平台系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于分布式存储的虚拟化平台系统及其实现方法，虚拟化平台系统，包括虚拟化集群，由多台物理机组成，每台物理机均部署虚拟化平台系统；分布式文件系统，由多台分布式文件系统服务器组成；虚拟化集群和分布式文件系统通过高性能交换机连接。通过分布式文件系统用于存储虚拟化平台的虚拟机镜像文件，相对于其他传统虚拟化平台的存储方式，不仅有效地解决了存储虚拟化镜像文件中容灾和在线扩容的问题，而且提高了虚拟化平台读写虚拟机镜像文件的IO吞吐量。

Description

基于分布式存储的虚拟化平台系统及其实现方法

技术领域

本发明涉及一种数据读写存储系统，特别涉及一种基于分布式存储的虚拟化平台系统及其实现方法。

背景技术

近年来，随着云计算技术的发展，虚拟化平台解决方案逐渐增多，虚拟机镜像的数量也随之剧增。同时，虚拟化平台解决方案对存储容量的需求和稳定性也逐渐提高。传统的虚拟化镜像一般通过本地文件系统存储在虚拟化集群的本地磁盘，或者通过NFS共享存储在远端存储服务器。这两种存储方式存在一定的弊端：本地磁盘的容量有限，无法进行动态无缝扩容；NFS共享存储无法解决镜像文件的多副本存储问题，一旦NFS服务器发生不可补救的物理损伤，那么所有的镜像文件就会丢失，导致无法挽回的损失。因此，需要研究更合理、高效的针对虚拟化平台解决方案的存储技术。

发明内容

针对现有技术方案的不足，本发明的目的是通过在虚拟化平台上提供一套连接分布式文件系统存储集群的连接器，为虚拟化平台提供多副本、具有高可拓展性和高吞吐量的存储集群及其实现方法。

为了实现上述目的，本发明采用以下技术方案：一种基于分布式存储的虚拟化平台系统，包括：虚拟化集群，由多台物理机组成，每台物理机均部署虚拟化平台系统；分布式文件系统，由多台分布式文件系统服务器组成；虚拟化集群和分布式文件系统通过高性能交换机连接。

所述虚拟化平台系统分为2部分：底层是开源的KVM虚拟化平台，用于在服务器硬件环境上对虚拟机进行管理，包括管理虚拟机镜像的进程管理、内存分配和本地化存储工作；上层是GUI管理系统：通过管理系统，管理员可以创建、删除、迁移虚拟机镜像文件，并对虚拟机的集群进行可视化地管理和监控；在所述虚拟化平台系统中，用户可以根据自己的需求创建虚拟机，可以在虚拟机上安装操作系统。

所述虚拟化集群还包括客户端服务器，可以通过客户端服务器实现对分布式文件系统的操作。

所述分布式文件系统服务器包括用于对分布式存储集群进行管理、维护和保障整个集群的组织关系和结构的监控服务器；用于管理整个文件系统的名字空间，存储和管理整个文件系统中的存储文件存放的具体位置的元数据服务器；用于存储实际数据的数据存储服务器。

所述虚拟化平台服务器通过交换机和客户端服务器连接，客户端服务器通过交换机和分布式文件系统存储服务器连接。

上述虚拟化平台系统的实现方法，包括以下步骤：

启动连接器模块，连接器会创建一个进程，该进程负责通过客户端服务器和分布式文件系统进行通信；

通过连接器模块进程和客户端服务器，虚拟化平台服务器可以对分布式文件系统的状态信息进行实时监控；

用户通过虚拟化平台系统创建虚拟机，或者在已有的虚拟机上对分布式文件系统进行写操作；

分布式文件系统会使用自身的多副本机制，将虚拟化平台系统的镜像文件分为多份保存在多个物理服务器；

用户通过虚拟化平台中的虚拟机对分布式文件系统进行数据读操作；

在1个存储服务器发生故障，读操作无法顺利进行时，连接器进程会重新从分布式文件系统的其他存储副本中读取，直到读取成功为止。

所述对分布式文件系统进行写操作包括以下步骤：

连接器模块进程和客户端服务器建立通信连接后，和监控服务器进行通信，获取当前元数据服务器的状态及参数信息；

连接器模块进程通过客户端服务器和元数据服务器通信，获取写入位置时需要计算空闲容量，进而合理计算并确定写入位置，然后将该位置信息返回给连接器进程；

在对元数据服务器获取位置信息后，虚拟化平台服务器的连接器进程通过客户端服务器直接对数据服务器进行写操作。

所述对分布式文件系统进行数据读操作包括以下步骤：

连接器模块进程和客户端服务器建立通信连接后，和监控服务器进行通信，获取当前元数据服务器的状态及参数信息；

连接器模块进程通过客户端服务器和元数据服务器通信，获取存储数据在存储集群中实际存储的位置信息；

在对元数据服务器获取位置信息后，虚拟化平台服务器的连接器模块进程通过客户端服务器直接对数据服务器进行读操作。

在本发明中，通过分布式文件系统用于存储虚拟化平台的方法，相对于其他传统虚拟化平台的存储方式，不仅有效地解决了存储虚拟化镜像文件中容灾和在线扩容的问题，而且提高了虚拟化平台读写虚拟机镜像文件的IO吞吐量。主要优点有：

1.    系统容灾：在虚拟化存储系统中使用分布式文件系统，将虚拟机镜像进行多副本多节点存储，防止某个节点宕机或者损坏而导致存储数据丢失。

2.    在线扩容：传统的虚拟化存储系统在升级存储系统时将导致停机。传统的虚拟化平台在对存储系统进行升级扩容时，需要把旧的存储设备文件备份出来后，停机，换上新的存储设备，这会导致服务的停止。在把虚拟化平台中加入分布式文件系统后，可以在线动态扩容存储系统的容量，不用再使整个系统停机，保证服务不会中断。

3.        单点瓶颈：在虚拟化平台使用分布式存储系统，通过使用负载均衡技术将读写的工作按照负载均衡算法均匀分配到不同的存储服务器，避免个别存储服务器工作量过大造成瓶颈，以使得整个系统可以发挥最大效能。

4.        提高读写性能：虚拟化平台通过对使用分布式文件系统的多台存储服务器进行并发的数据读写操作，可以提高数据读写的性能。

附图说明

图1是本发明的整体系统的硬件关系结构。

具体实施方式

下面结合附图，对本发明做进一步的说明。

虚拟化平台和分布式系统平台主要由软件和硬件2个部分组成。对于硬件方面，二者都需要服务器、交换机等；在软件方面，二者均需要安装Linux操作系统。对于不同集群，分别安装不同软件：在虚拟化平台安装虚拟化管理软件；在分布式存储集群安装分布式文件系统。

集群的硬件配置如下：虚拟化集群：硬件服务器：IBM X3850X5；CPU：E7560 2.0GHZ ×4，内存：DDR III 64GB，硬盘：600GB ×2，HBA卡：2块，网卡：1GB×4，电源：双电源（主备）。分布式存储集群：硬件服务器：HP ProLiant DL180 G6（QP662A）；CPU：Xeon5606 ×2，2.13GHz，内存：DDR III 24GB，硬盘：14块SAS盘，主机接口：双NC362i多功能千兆网卡，2U机架式。交换机：硬件服务器：H3C S5800-32C；高性能千兆3层交换机，该交换机提供3层聚合功能，以保证多台同类交换机进行级联。

软件描述：

1) 虚拟化平台软件是Linux用户态的程序，在Linux操作系统上运行；

2) 分布式存储系统是基于Linux内核的分布式文件系统，需要在内核中加入该模块，重新编译新内核；

3) 虚拟化集群和分布式文件系统的连接器在用户态和内核态都有模块，用户态依赖于内核，内核态需要把修改的代码以patch的形式添加到内核，重新编译内核即可使用。

两个集群连接器的工作方法：

在完成虚拟化平台和分布式存储平台的搭建工作后，虽然两个集群通过交换机连接，但是二者之间并无法进行信息交互，需要一个软件的数据链接，此时，两个系统仍然是两条独立的集群环境。因此，需要在这两个集群之间加入的连接器可以保证虚拟化平台对分布式存储集群进行访问和控制。

鉴于对存储集群的访问控制工作是在虚拟平台上操作，因此，连接器是虚拟化平台的一个独立模块。该模块负责将虚拟化平台对分布式文件系统的操作传递给分布式文件系统。

该模块具体实施和工作方式：在虚拟化平台中，加入用于控制分布式文件系统的连接器，连接器用于协助虚拟化平台对分布式文件系统集群进行管理和操作，它是虚拟化平台对分布式文件系统的存储操作的执行单元。当启动虚拟化平台后则启动该连接器，连接器主体是一个守护进程（下称连接器进程），该守护进程承担和分布式文件系统客户端服务器直接通信的工作，进而使得虚拟化平台对分布式存储集群各节点的操作和监控。

启动连接器进程后，首先进行初始化工作，同本机中部署的分布式文件系统的客户端服务器建立通信。分布式文件系统的客户端服务器是分布式文件系统存储集群的服务器之一，用于对分布式文件系统进行操作。当成功建立连接器进程和客户端服务器的通信后，连接器进程通过对客户端服务器模块进行通信，获取当前分布式文件系统的集群监控节点中实时的整个系统信息，进而获取所有分布式存储集群节点的状态信息。为了保证虚拟化平台中的分布式存储集群的信息是最新的，连接器进程会周期性地轮询分布式集群的节点信息，此外，当分布式文件系统集群的存储节点发生变化时，也会主动向连接器进程发送通知。

当用户通过虚拟化平台创建虚拟机（建立虚拟机存储镜像），或者在已有虚拟化的存储镜像中进行数据写操作时，实际上是虚拟化平台中的节点对分布式文件系统存储集群进行数据写操作。具体的实现步骤为：

1）  连接器和客户端分别部署在2个物理服务器，建立通信连接；

2）  通过连接器和客户端的连接后，连接器继而可以建立和分布式文件系统存储集群中的控制节点进行通信；

3）  连接器通过分布式文件系统存储集群中的控制节点获取当前元数据节点的状态及参数信息；

4）  成功获取元数据节点后，连接器进程和分布式文件系统存储集群的元数据节点通信，获取元数据信息；

5）   获取元数据信息后，计算写入位置时需要计算空闲容量，进而确定适当的写入位置；

6）   在对元数据节点获取位置信息后，虚拟化平台节点的连接器进程直接对存储集群的数据节点进行写操作；

7）  在写操作进行时，分布式文件系统会启用自身多副本机制，将虚拟化平台的镜像文件分为多份保存在多个物理节点。

当用户打开虚拟化平台中的虚拟机时，虚拟化平台中的节点对分布式文件系统存储集群进行数据读操作。具体的实现步骤为：

1） 连接器和客户端分别在部署2个物理服务器，建立通信连接；

2） 通过连接器和客户端的连接，连接器继而可以建立和分布式文件系统存储集群中的控制节点进行通信，获取当前元数据节点的状态及参数信息；

3）  成功获取元数据节点后，连接器进程和分布式文件系统存储集群的元数据节点通信，获取存储数据在存储集群中实际存储的位置信息；

4）  在对元数据节点获取位置信息后，虚拟化平台节点的连接器进程直接对存储集群的数据节点进行读操作；

5） 如果某个存储节点发生故障，读操作无法顺利进行，连接器进程会重新从分布式文件系统集群的其他存储副本中读取，直到读取成功为止。

虽然本发明已以较佳实施例公开如上，但实施例和附图并不是用来限定本发明，任何熟悉此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，但同样在本发明的保护范围之内。因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (8)

1.一种基于分布式存储的虚拟化平台系统，其特征在于包括：

虚拟化集群，由多台物理机组成，每台物理机均部署虚拟化平台系统；

分布式文件系统，由多台分布式文件系统服务器组成；

虚拟化集群和分布式文件系统通过高性能交换机连接。

2.根据权利要求1所述的基于分布式存储的虚拟化平台系统，其特征在于：所述虚拟化平台系统分为2部分：底层是开源的KVM虚拟化平台，用于在服务器硬件环境上对虚拟机进行管理，包括管理虚拟机镜像的进程管理、内存分配和本地化存储工作；上层是GUI管理系统：通过管理系统，管理员可以创建、删除、迁移虚拟机镜像文件，并对虚拟机的集群进行可视化地管理和监控；在所述虚拟化平台系统中，用户可以根据自己的需求创建虚拟机，可以在虚拟机上安装操作系统。

3.根据权利要求2所述的基于分布式存储的虚拟化平台系统，其特征在于：所述虚拟化集群还包括客户端服务器，可以通过客户端服务器实现对分布式文件系统的操作。

4.根据权利要求3所述的基于分布式存储的虚拟化平台系统，其特征在于：所述分布式文件系统服务器包括用于对分布式存储集群进行管理、维护和保障整个集群的组织关系和结构的监控服务器；用于管理整个文件系统的名字空间，存储和管理整个文件系统中的存储文件存放的具体位置的元数据服务器；用于存储实际数据的数据存储服务器。

5.根据权利要求4所述的基于分布式存储的虚拟化平台系统，其特征在于：所述虚拟化平台服务器通过交换机和客户端服务器连接，客户端服务器通过交换机和分布式文件系统存储服务器连接。

6.一种基于分布式存储的虚拟化平台系统的实现方法，其特征在于包括以下步骤：

启动连接器模块，连接器会创建一个进程，该进程负责通过客户端服务器和分布式文件系统进行通信；

通过连接器模块进程和客户端服务器，虚拟化平台服务器可以对分布式文件系统的状态信息进行实时监控；

用户通过虚拟化平台系统创建虚拟机，或者在已有的虚拟机上对分布式文件系统进行写操作；

分布式文件系统会使用自身的多副本机制，将虚拟化平台系统的镜像文件分为多份保存在多个物理服务器；

用户通过虚拟化平台中的虚拟机对分布式文件系统进行数据读操作；

在1个存储服务器发生故障，读操作无法顺利进行时，连接器进程会重新从分布式文件系统的其他存储副本中读取，直到读取成功为止。

7.根据权利要求6所述的基于分布式存储的虚拟化平台系统的实现方法，其特征在于：所述对分布式文件系统进行写操作包括以下步骤：

连接器模块进程和客户端服务器建立通信连接后，和监控服务器进行通信，获取当前元数据服务器的状态及参数信息；

连接器模块进程通过客户端服务器和元数据服务器通信，获取写入位置时需要计算空闲容量，进而合理计算并确定写入位置，然后将该位置信息返回给连接器进程；

在对元数据服务器获取位置信息后，虚拟化平台服务器的连接器进程通过客户端服务器直接对数据服务器进行写操作。

8.根据权利要求6所述的基于分布式存储的虚拟化平台系统的实现方法，其特征在于：所述对分布式文件系统进行数据读操作包括以下步骤：

连接器模块进程和客户端服务器建立通信连接后，和监控服务器进行通信，获取当前元数据服务器的状态及参数信息；

连接器模块进程通过客户端服务器和元数据服务器通信，获取存储数据在存储集群中实际存储的位置信息；

在对元数据服务器获取位置信息后，虚拟化平台服务器的连接器模块进程通过客户端服务器直接对数据服务器进行读操作。

Images