CN104049912A - 基于虚拟化平台的分布式存储管理方法 - Google Patents

Abstract

本发明涉及一种基于虚拟化平台的分布式存储管理方法，该方法用于服务器集群中，所述的管理方法具体包括以下步骤：1)在服务器集群的每台服务器节点上安装虚拟化平台，并在虚拟化平台上部署一个存储管理虚拟机；2)存储管理虚拟机把节点上的直连磁盘汇聚成存储资源池；3)建立各台服务器节点上的存储管理虚拟机之间通信机制；4)将每个节点上的存储资源池，汇聚成一个分布式存储资源池；5)通过虚拟网络将分布式存储资源池，提供给虚拟化平台，作为虚拟化应用的基础资源。与现有技术相比，本发明具有提高了存储管理虚拟机和各种虚拟化应用系统的可靠性和可用性，优化IO处理机制、提高存储资源的扩展性等优点。

Description

基于虚拟化平台的分布式存储管理方法

技术领域

本发明涉及一种计算机存储技术领域，尤其是涉及一种基于虚拟化平台的分布式存储管理方法。

背景技术

当前，整个世界发生了非常巨大的变化：虚拟化技术出现，公有云和私有云也风起云涌，数据的规模变得越来越大，相应的数据项也变得更大，访问这些对象需要的带宽也变得更大了。所以，传统的存储系统设计时，针对的局面和现在完全不一样，已经无法应对上述挑战。服务器、存储、网络、能源与管理等交错在一起，令很多企业承受着巨大的成本压力和管理难题。如何将服务器与存储相连，如何实现物理环境和虚拟环境的沟通？

虚拟化平台使用的传统存储资源大都是通过外部FC/IP网络获取的SAN或NAS资源，在此虚拟化平台上，运行着各种应用VM，环境比较复杂：虚拟化中的数据存放分散、粒度细化、导致IOPS不理想，单次操作路径长、时间延迟大；存储资源可扩展性差；虚拟化平台与存储资源各自分开管理，导致管理复杂。

综上可知，在虚拟化平台上使用传统存储的方法，在实际使用上显然存在不便与缺陷。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于虚拟化平台的分布式存储管理方法，提高了存储管理虚拟机和各种虚拟化应用系统的可靠性和可用性，优化IO处理机制、提高存储资源的扩展性、简化存储资源的配置管理。

本发明的目的可以通过以下技术方案来实现：

一种基于虚拟化平台的分布式存储管理方法，该方法用于服务器集群中，其特征在于，所述的管理方法具体包括以下步骤：

1)在服务器集群的每台服务器节点上安装虚拟化平台，并在虚拟化平台上部署一个存储管理虚拟机；

2)存储管理虚拟机把节点上的直连磁盘汇聚成存储资源池；

3)建立各台服务器节点上的存储管理虚拟机之间通信机制；

4)将每个节点上的存储资源池，汇聚成一个分布式存储资源池；

5)通过虚拟网络将分布式存储资源池，提供给虚拟化平台，作为虚拟化应用的基础资源。

所述的存储管理虚拟机把节点上的直连磁盘汇聚成存储资源池具体为：

21)修改虚拟化平台上SAS/SATA HBA卡的模式为直通模式，把HBA卡直接呈现给虚拟化平台上的存储管理虚拟机；

22)存储管理虚拟机将HBA卡汇聚成存储资源池。

所述的分布式存储资源池为构建体现性能的条带化资源卷、或构建增强可用性的冗余资源卷。

本地节点上的应用虚拟机与本地存储管理虚拟机进行数据交互的同时，也与其他节点上的存储管理虚拟机进行数据交互。

本地节点上的应用虚拟机通过内部虚拟网络与外部网络，以条带化的形式写入本地节点和其他节点的存储资源池中，或者以条带化的形式从本地节点或其他节点的存储资源池中读取数据。

某节点上的应用虚拟机通过内部虚拟网络，把数据写入本地节点的存储资源池，同时通过虚拟网口连接外部网络，拷贝数据到其他节点，使其他节点上保持一份完整副本。

当本地节点上的存储管理虚拟机出现异常后，本地节点上应用虚拟机产生的IO数据，通过其他节点上的存储管理虚拟机，把数据写入其他节点上的存储资源池，或者从其他节点上的存储资源池读取应用虚拟机所取IO数据；

并且，当本地节点上的存储管理虚拟机恢复正常后，其他节点会同步增量数据到本地节点，保持本地节点与其他节点上数据的一致性。

当本地节点上的某个应用虚拟机异常后，启动其他节点上的对应本地节点的异常应用虚拟机副本，来恢复本地节点上的应用虚拟机。

当本地节点的服务器异常后，启动其他节点上所有对应本地节点上的异常应用虚拟机的副本，来恢复本地节点上的所有应用虚拟机。

获取本地节点和其他节点上的IO操作数，把两个节点上的IO操作数相减得到差值，如果差值大于某个阈值，在IO操作数大的节点上，关闭部分应用VM，然后，在IO操作数小的节点上，启动对应的应用虚拟机副本，用IO操作数小的节点接替IO操作数大的节点运行部分应用虚拟机。

与现有技术相比，本发明具有以下优点：

(1)在虚拟化应用下，缩短IO数据流操作的时间延迟，优化了IO数据处理；

(2)当存储空间不足时，扩展非常方便，直接在虚拟化的集群平台中，加入服务器节点，达到按需扩展的要求，为企业节省成本；

(3)虚拟化平台与存储资源的配置管理，已经融合到一个物理服务器中，因此，简化了虚拟化平台与存储资源的配置管理，消除了虚拟化平台配置管理员与存储资源配置管理之间的鸿沟。

附图说明

图1是基于虚拟化平台的分布式存储管理示意图；

图2是IO数据流示意图；

图3a是资源池一种IO数据流示意图；

图3b是资源池另一种IO数据流示意图；

图4是存储管理VM异常后IO数据流示意图；

图5是应用虚拟机异常后IO数据流示意图；

图6是虚拟化平台所在服务器节点异常后IO数据流示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明在每台服务器节点的虚拟化平台上创建一个虚拟机，虚拟机里面运行存储管理VM；对每台服务器节点上的直连磁盘，通过直通模式呈现给存储管理VM；存储管理VM把服务器节点上的直连磁盘汇聚成存储资源池；每个服务器节点上的存储管理VM建立通信机制，使各节点能够探测到其他节点上的存储资源池，把各节点上的存储资源池汇聚成一个大的分布式存储资源池，让存储资源池具有高可靠、高可用、高性能的特性；存储管理VM把所述存储资源池通过内部虚拟化网络提供给虚拟化平台，做为虚拟化应用的基础存储资源；各种应用VM所涉及的IO数据流，与分布式存储资源池进行交互，对每个服务器节点上的存储管理VM的IO操作数进行排序，根据排序均衡所有服务器节点上的应用VM。在虚拟化环境下，本发明提高了存储管理VM和各种虚拟化应用系统的可靠性和可用性，优化了IO数据处理，简化存储设施管理和部署。

如图1所示，本实施例提供一种基于虚拟化平台的分布式存储管理方法，应用在虚拟化平台中，该方法具体包括：

(1).在节点1和节点2上的系统盘上，安装虚拟化平台，如VMware、KVM、Hyper-V、XEN等；

(2).在虚拟化平台中，设置挂载物理磁盘的SAS/SATA HBA卡，该HBA卡为PCI设备，使能该PCI设备的pass through模式；

(3).在节点1和节点2的虚拟化平台上分别部署一个虚拟机，存储管理VM运行在该虚拟机中，此时，存储管理VM可以直接探测到各自节点HBA卡上的物理磁盘，虚拟化平台已经使用不了HBA卡上的磁盘；

(4).节点1上的存储管理VM把节点1上的所有直连磁盘汇聚成一个存储资源池，节点2上的存储管理VM把节点2上的所有直连磁盘汇聚成一个存储资源池；

(5).通过虚拟化平台的虚拟网络，建立节点1与节点2管理虚拟机的通信机制，使节点1与节点2的存储管理VM可以彼此探测到对方的存储资源池；

(6).在节点1或节点2上，把节点1与节点2的存储资源池，汇聚成一个大的分布式存储资源池，因此，该分布式存储资源池包括节点1、节点2上的存储资源池，并且，在节点1和节点2上都可以使用这个分布式存储资源池；

(7).通过虚拟化平台的虚拟网络，把上述分布式存储资源池挂载到节点1或节点2上的虚拟化平台，做为应用VM的基础资源；

(8).如图2所示，节点1的应用VM IO数据流，与本地存储管理VM进行数据交互的同时，也可以与节点2存储管理VM进行数据交互；

(9).如图3a所示，根据存储策略，为了提高分布式存储资源池的性能，应用VM IO数据流，通过内部虚拟网络与外部网络，以条带化的形式写入节点1和节点2的存储资源池中，或者以条带化的形式从节点1和节点2的存储资源池中读取数据；

(10).如图3b所示，根据存储策略，为了增加分布式存储资源池的高可用特性，应用VM产生的IO数据流，通过内部虚拟网络，把数据写入本地的存储资源池，同时，通过虚拟网口连接外部网络，拷贝数据到节点2，使节点2上保持一份完整副本。

(11).如图4所示，当节点1上的存储管理VM出现异常后，节点1上应用VM产生的IO数据，通过节点2上的存储管理VM，把数据写入节点2上的存储资源池，或者从节点2上的存储资源池读取应用VM所取IO数据。并且，当节点1上的存储管理VM恢复正常后，节点2会同步增量数据到节点1，保持节点1与节点2上数据的一致性。

(12).如图5所示，当节点1上的某个应用VM异常后，启动节点2上的对应节点1的异常应用VM副本，来恢复节点1上的应用VM。

(13).如图6所示，当节点1服务器异常后，启动节点2上所有对应节点1上的异常应用VM的副本，来恢复节点1上的所有应用VM。

(14).获取节点1和节点2上的IO操作数，把两个节点上的IO操作数相减得到差值，如果差值大于某个阈值，在IO操作数大的节点上，关闭部分应用VM，然后，在IO操作数小的节点上，启动对应的应用VM副本，用IO操作数小的节点接替IO操作数大的节点运行部分应用VM。

综上所述，本发明通过分布式存储管理方法，在虚拟化平台中，优化了IO处理机制、提高存储资源的扩展性，简化存储资源的配置管理。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的变化，但这些相应的变化都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于虚拟化平台的分布式存储管理方法，该方法用于服务器集群中，其特征在于，所述的管理方法具体包括以下步骤：

1)在服务器集群的每台服务器节点上安装虚拟化平台，并在虚拟化平台上部署一个存储管理虚拟机；

2)存储管理虚拟机把节点上的直连磁盘汇聚成存储资源池；

3)建立各台服务器节点上的存储管理虚拟机之间通信机制；

4)将每个节点上的存储资源池，汇聚成一个分布式存储资源池；

5)通过虚拟网络将分布式存储资源池，提供给虚拟化平台，作为虚拟化应用的基础资源。

2.根据权利要求1所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，所述的存储管理虚拟机把节点上的直连磁盘汇聚成存储资源池具体为：

21)修改虚拟化平台上SAS/SATA HBA卡的模式为直通模式，把HBA卡直接呈现给虚拟化平台上的存储管理虚拟机；

22)存储管理虚拟机将HBA卡汇聚成存储资源池。

3.根据权利要求1所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，所述的分布式存储资源池为构建体现性能的条带化资源卷、或构建增强可用性的冗余资源卷。

4.根据权利要求1所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，本地节点上的应用虚拟机与本地存储管理虚拟机进行数据交互的同时，也与其他节点上的存储管理虚拟机进行数据交互。

5.根据权利要求4所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，本地节点上的应用虚拟机通过内部虚拟网络与外部网络，以条带化的形式写入本地节点和其他节点的存储资源池中，或者以条带化的形式从本地节点或其他节点的存储资源池中读取数据。

6.根据权利要求4所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，某节点上的应用虚拟机通过内部虚拟网络，把数据写入本地节点的存储资源池，同时通过虚拟网口连接外部网络，拷贝数据到其他节点，使其他节点上保持一份完整副本。

7.根据权利要求4所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，当本地节点上的存储管理虚拟机出现异常后，本地节点上应用虚拟机产生的IO数据，通过其他节点上的存储管理虚拟机，把数据写入其他节点上的存储资源池，或者从其他节点上的存储资源池读取应用虚拟机所取IO数据；

并且，当本地节点上的存储管理虚拟机恢复正常后，其他节点会同步增量数据到本地节点，保持本地节点与其他节点上数据的一致性。

8.根据权利要求6所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，当本地节点上的某个应用虚拟机异常后，启动其他节点上的对应本地节点的异常应用虚拟机副本，来恢复本地节点上的应用虚拟机。

9.根据权利要求6所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，当本地节点的服务器异常后，启动其他节点上所有对应本地节点上的异常应用虚拟机的副本，来恢复本地节点上的所有应用虚拟机。

10.根据权利要求6所述的一种基于虚拟化平台的分布式存储管理方法，其特征在于，获取本地节点和其他节点上的IO操作数，把两个节点上的IO操作数相减得到差值，如果差值大于某个阈值，在IO操作数大的节点上，关闭部分应用VM，然后，在IO操作数小的节点上，启动对应的应用虚拟机副本，用IO操作数小的节点接替IO操作数大的节点运行部分应用虚拟机。