CN102164177A - 一种集群共享存储池的方法、装置及系统 - Google Patents

Abstract

本发明提供了一种集群共享存储池的方法、装置及系统，该方法包括：基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)，并行处理集群中各客户端节点的读写操作；所述集群中的各客户端节点根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作。该方法提供了一种网络级的高效数据共享方式，支持多个用户并行地读写文件，支持灵活的在线容量扩展和数据均衡分布技术。

Description

一种集群共享存储池的方法、装置及系统

技术领域

本发明涉及集群共享存储领域，尤其涉及一种集群共享存储池的方法、装置及系统。

背景技术

共享存储池是一种为集群提供文件共享，并行读写，统一管理和数据容灾能力的集群存储系统。

传统集群节点通常采用本地的单机文件系统，这样多个集群节点共享文件需要在每个节点存储数据副本，这样不仅不利于信息的沟通更新且造成存储资源的浪费。单机文件系统局限于本地级维护管理，缺乏集群资源的统一调度，管理成本高昂，单机文件系统亦局限于单点的数据容灾能力，缺乏集群式的故障转移/恢复能力。

在集群应用日益普及，规模日益庞大的发展趋势下，传统的本地OS级的文件系统已然不适合于存储需求。

发明内容

本发明要解决的技术问题是，提供一种集群共享存储池的方法、装置及系统，可以有效解决传统存储办法的技术瓶颈。

为了解决上述技术问题，本发明提出一种集群共享存储池的方法，包括：

基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)，并行处理集群中各客户端节点的读写操作；

所述集群中的各客户端节点根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作。

进一步地，上述方法还可具有以下特点：

配置所述全局文件系统包括：

将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

将所述逻辑存储卷组格式化为全局文件系统；

为所述全局文件系统配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统；

其中，所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位。

进一步地，上述方法还可具有以下特点：

所述逻辑存储卷组的配置是在集群linux环境下采用逻辑卷组管理工具(LVM)实现的。

进一步地，上述方法还可具有以下特点：

所述全局文件系统在处理客户端节点的读写操作时，还产生对应的元数据日志，并将其保存至所述客户端节点本地。

进一步地，上述方法还可具有以下特点：

所述全局文件系统还在获知所述挂载了所述全局文件系统部分分区的客户端节点发生故障时，禁止所述客户端节点对其执行读写操作。

进一步地，上述方法还可具有以下特点：

所述全局文件系统还采用动态锁定管理机制处理多个客户端节点对同一文件的读写操作，以确保同一时刻只有一个客户端对该文件执行读写操作。

进一步地，上述方法还可具有以下特点：

所述全局文件系统还分别为各客户端节点配置其能使用文件系统的容量；

所述客户端节点挂载的所述全局文件系统中的部分分区的容量不超过为其配置的容量。

为了解决上述技术问题，本发明还提出一种集群共享存储池的装置，包括：

配置模块，基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)的存储区域；

处理模块，允许集群中的各客户端节点将所述全局文件系统的部分分区挂载至本地，并行处理各客户端节点对挂载至本地的所述全局文件系统的部分分区的读写操作。

进一步地，上述装置还可具有以下特点：

所述配置模块包括：

第一配置模块，用于将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

第二配置模块，用于将所述逻辑存储卷组格式化为全局文件系统的存储区域；所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位；

第三配置模块，用于为所述全局文件系统的存储区域配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统。

为了解决上述技术问题，本发明还提出一种集群共享存储池的系统，包括：

基于存储域网络(SAN)配置，并行处理集群中各客户端节点的读写操作的集群共享的全局文件系统(GFS)；

根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作的集群中的多个客户端节点。

本发明提供的一种集群共享存储池的方法、装置及系统，提供了一种网络级的高效数据共享方式，支持多个用户并行地读写文件；支持灵活的在线容量扩展和数据均衡分布技术，全局统一的资源模型更加便于整体管理维护，全局级的文件配额管理实现统一的资源调度，分布式的日志管理体系和故障隔离机制实现数据的有效保护和灾难恢复。

附图说明

图1是本发明实施例一种集群共享存储池的方法流程图；

图2是本发明实施例配置集群共享的全局文件系统的方法流程图；

图3是本发明实施例集群共享的全局文件系统的共享存储架构示意图；

图4是本发明实施例一种集群共享存储池的装置方框图；

图5是本发明实施例一种集群共享存储池的装置功能架构示意图。

具体实施方式

参见图1，该图示出本发明实施例一种集群共享存储池的方法，包括步骤：

步骤S101：基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)；

步骤S102：所述集群中的各客户端节点根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作；

步骤S103：所述全局文件系统并行处理集群中各客户端节点的读写操作。

在执行步骤S101时，可以采用如图2所示方法配置所述全局文件系统：

步骤S1011：将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

在具体实现时，可以在集群节点linux系统下，采用逻辑卷组管理工具(LVM)，先将存储域网络中的物理存储裸设备配置为物理存储卷组，再将所述物理存储卷组配置为逻辑存储卷组；

步骤S1012：将所述逻辑存储卷组格式化为全局文件系统；

其中，所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位。相应地，在步骤S102中，客户端节点挂载的全局文件系统中的部分分区，即为一个或者多个逻辑卷组成的逻辑分区。

步骤S1013：为所述全局文件系统配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统。

为了更明显地示出本发明实施例的存储架构，请参见图3。

采用本发明上述方案，很好地为用户提供了一种网络级的高效数据共享，其支持多个客户端节点的并行读写操作，克服了传统的存储方式的瓶颈，且支持灵活的在线容量扩展和数据均衡分布，全局统一的资源模型更加利于整体管理维护。

较佳地，所述全局文件系统还具有故障节点隔离机制。即，所述全局文件系统还在获知所述挂载了所述全局文件系统部分分区的客户端节点发生故障时，禁止所述客户端节点对其执行读写操作，以免影响到其他客户端节点的正常工作。

较佳地，所述全局文件系统还采用分布式日志管理体系对整个文件系统提供数据保护和容灾恢复。即，所述全局文件系统可以在处理客户端节点的读写操作时，产生对应的元数据日志，并将其保存至所述客户端节点本地。即，将元数据日志备份分布到各个客户节点，各自做维护。这样在单点故障后，可在其余客户端节点完成数据的一致性检测和恢复，故障机恢复后数据能够正确地初始化。

较佳地，所述全局文件系统还采用动态锁定管理机制协调多个客户端节点对同一文件的读写操作，确保同一时刻只有一个客户端对该文件执行读写操作，以避免多个客户端节点同时对同一文件执行读写操作可能出现错误。所述动态锁定机制，即在多个客户端节点对同一文件进行同时写入时，进行数据一致性的协调管理，某用户进行文件写操作时，另外有用户申请该文件的写入，则该文件处于锁定状态，待前一用户完成写入后，则此文件被解锁。

较佳地，所述全局文件系统还提供用户配额管理功能，可根据各客户端节点的需求灵活地为其配置其能使用文件系统的容量，所述客户端节点挂载的所述全局文件系统中的部分分区的容量不超过为其配置的容量。

为了实现上述方法，本发明实施例还提供了一种集群共享存储池的装置，其为一集群共享的全局文件系统，如图4所示，包括：

配置模块，基于存储域网络配置集群共享的全局文件系统的存储区域；

处理模块，允许集群中的各客户端节点将所述全局文件系统的部分分区挂载至本地，并行处理各客户端节点对挂载至本地的所述全局文件系统的部分分区的读写操作。

其中，所述配置模块包括：

第一配置模块，用于将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

第二配置模块，用于将所述逻辑存储卷组格式化为全局文件系统的存储区域；所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位；

第三配置模块，用于为所述全局文件系统的存储区域配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统。

所述第一配置模块在具体实现时，可以是在集群节点linux系统下，采用逻辑卷组管理工具(LVM)，先将存储域网络中的物理存储裸设备配置为物理存储卷组，再将所述物理存储卷组配置为逻辑存储卷组。

其中，第二配置模块处理后得到的全局文件系统，是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位。相应地，客户端节点挂载的全局文件系统中的部分分区，即为一个或者多个逻辑卷组成的逻辑分区。

本发明上述装置，很好地为用户提供了一种网络级的高效数据共享，其支持多个客户端节点的并行读写操作，克服了传统的存储方式的瓶颈，且支持灵活的在线容量扩展和数据均衡分布，全局统一的资源模型更加利于整体管理维护。

较佳地，所述集群共享存储池的装置还具有故障节点隔离机制。即，还在获知所述挂载了所述全局文件系统部分分区的客户端节点发生故障时，禁止所述客户端节点对其执行读写操作，以免影响到其他客户端节点的正常工作。

较佳地，所述集群共享存储池的装置还采用分布式日志管理体系对整个文件系统提供数据保护和容灾恢复。即，可以在处理客户端节点的读写操作时，产生对应的元数据日志，并将其保存至所述客户端节点本地。即，将元数据日志备份分布到各个客户节点，各自做维护。这样在单点故障后，可在其余客户端节点完成数据的一致性检测和恢复，故障机恢复后数据能够正确地初始化。

较佳地，所述集群共享存储池的装置还采用动态锁定管理机制协调多个客户端节点对同一文件的读写操作，确保同一时刻只有一个客户端对该文件执行读写操作，以避免多个客户端节点同时对同一文件执行读写操作可能出现错误。所述动态锁定机制，即在多个客户端节点对同一文件进行同时写入时，进行数据一致性的协调管理，某用户进行文件写操作时，另外有用户申请该文件的写入，则该文件处于锁定状态，待前一用户完成写入后，则此文件被解锁。

较佳地，所述集群共享存储池的装置还提供用户配额管理功能，可根据各客户端节点的需求灵活地为其配置其能使用文件系统的容量，所述客户端节点挂载的所述全局文件系统中的部分分区的容量不超过为其配置的容量。

为了进一步说明，请参见图5，该图示出了本发明实施例上述集群共享存储池的装置的功能架构示意图。

为了实现上述方法，本发明实施例还提供了一种集群共享存储池的系统，包括如上所述一种集群共享存储池的装置，以及可根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作的集群中的多个客户端节点。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种集群共享存储池的方法，其特征在于，包括：

基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)，并行处理集群中各客户端节点的读写操作；

所述集群中的各客户端节点根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作。

2.如权利要求1所述的方法，其特征在于：

配置所述全局文件系统包括：

将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

将所述逻辑存储卷组格式化为全局文件系统；

为所述全局文件系统配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统；

其中，所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位。

3.如权利要求2所述的方法，其特征在于：

所述逻辑存储卷组的配置是在集群linux环境下采用逻辑卷组管理工具(LVM)实现的。

4.如权利要求1所述的方法，其特征在于：

所述全局文件系统在处理客户端节点的读写操作时，还产生对应的元数据日志，并将其保存至所述客户端节点本地。

5.如权利要求1所述的方法，其特征在于：

所述全局文件系统还在获知所述挂载了所述全局文件系统部分分区的客户端节点发生故障时，禁止所述客户端节点对其执行读写操作。

6.如权利要求1所述的方法，其特征在于：

所述全局文件系统还采用动态锁定管理机制处理多个客户端节点对同一文件的读写操作，以确保同一时刻只有一个客户端对该文件执行读写操作。

7.如权利要求1所述的方法，其特征在于：

所述全局文件系统还分别为各客户端节点配置其能使用文件系统的容量；

所述客户端节点挂载的所述全局文件系统中的部分分区的容量不超过为其配置的容量。

8.一种集群共享存储池的装置，其特征在于，包括：

配置模块，基于存储域网络(SAN)配置集群共享的全局文件系统(GFS)的存储区域；

处理模块，允许集群中的各客户端节点将所述全局文件系统的部分分区挂载至本地，并行处理各客户端节点对挂载至本地的所述全局文件系统的部分分区的读写操作。

9.如权利要求8所述的装置，其特征在于，所述配置模块包括：

第一配置模块，用于将存储域网络中的物理存储裸设备配置为逻辑存储卷组；

第二配置模块，用于将所述逻辑存储卷组格式化为全局文件系统的存储区域；所述全局文件系统是以一个或者多个逻辑卷组形成的逻辑分区作为所述全局文件系统的存储分区单位；

第三配置模块，用于为所述全局文件系统的存储区域配置标识所述集群的名称，以形成面向所述集群的统一命名空间的全局文件系统。

10.一种集群共享存储池的系统，其特征在于，包括：

基于存储域网络(SAN)配置，并行处理集群中各客户端节点的读写操作的集群共享的全局文件系统(GFS)；

根据需要将所述全局文件系统中的部分分区挂载至本地，对其进行读写操作的集群中的多个客户端节点。

Images