CN104424052A - 一种自动冗余的分布式存储系统及方法 - Google Patents

Abstract

本发明提供一种自动冗余的分布式存储系统及方法，属于数据存储领域。该系统包括：存储池，用于对多个逻辑驱动器进行管理；逻辑驱动器添加模块，用于将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；副本存储模块，用于将写入的数据以数据块进行存储，所述数据块的备份副本存储到所述存储池的逻辑驱动器中。本发明解决了现有的文件级容错资源利用率低，文件系统下复制实时性不高，主机性能不高。

Description

一种自动冗余的分布式存储系统及方法

技术领域

本发明属于数据存储领域，特别设计一种自动冗余的分布式存储系统及方法。

背景技术

随着数据增长，高性能计算发展，集群已经成为理想的并行计算平台。随着集群规模扩大，数据风险也越来越高。因此，使集群系统，在部分节点失效的情况下，也能正常运作，成为一个迫切的需求，容错机制的研究意义远大。

目前，业内对并行文件容错已经有所研究：元数据管理器按照数据放置策略，使一个I/O节点的所有子文件的副本可以平均分布的所有其他I/O节点上。在任一节点失效后，其上的工作负载能够平均分布到所有其他没有失效的I/O节点上。节点重新加入集群进行数据一致性的恢复时，系统使一致性恢复负载也能够平均分布到整个集群内。

然而，当前Hadoop单一Namenode单一Jobtracker的设计严重制约整个Hadoop可扩展性和可靠性。首先，Namenode和Jobtracker是整个系统中明显的单节点故障源。再次单一的内容量有限，使得集群的节点数量被限制到2000个左右，能支持的文件大小被限制在10-50PB，最多能支持的文件数量大约为1.5亿左右。而且文件级冗余，单个逻辑存储单元比较大，存储资源利用率低。

由于每个文件都是由不同的逻辑块组成，每一个逻辑的文件块存储在连续的物理磁盘块上，但组成一个文件的不同逻辑块极有可能存储在分散的磁盘快上。文件级复制在对非连续存储磁盘上的文件进行复制时需要额外的查找操作。这些额外的操作增加了磁盘的开销，降低了磁盘的吞吐率。且因为每次修改都是基于文件的，而文件的哪些部分被修改，系统很难实时捕获，故文件级难于做到实时备份。

发明内容

本发明要解决的技术问题是提供一种自动冗余的分布式存储系统及方法，实现磁盘块冗余提高资源利用率，复制的实时性以及备份效率，在存储设备故障时仍可保证所有数据可用。

为解决上述技术问题，本发明的实施例提供一种自动冗余的分布式存储系统，包括：

存储池，用于对多个逻辑驱动器进行管理；

逻辑驱动器添加模块，用于将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

副本存储模块，用于将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

其中，所述逻辑驱动器添加模块还用于将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

其中，所述逻辑驱动器添加模块还用于将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中。

其中，所述副本存储模块包括：

副本创建单元，用于根据预设的所述存储池的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

保存子单元，用于将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

上述系统，还包括：

检测模块，用于实时检测所述逻辑存储单元的冗余度级别；

冗余度级别设定模块，用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

故障修护模块，用于在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

其中，冗余度级别设定模块具体用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别。

其中，所述故障修护模块包括：

第一修护子模块，用于在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

第二修护子模块，用于在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

为达到上述目的，本发明的实施例还提供一种自动冗余的分布式存储方法，包括下列步骤：

将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

其中，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：

将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

其中，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：

将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中。

其中，将所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中的步骤具体包括：

根据预设的所述存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

上述的方法，还包括：

实时检测所述逻辑存储单元的冗余度级别；

在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

其中，在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别具体为在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别。

其中在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复的步骤具体包括：

在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

本发明的上述技术方案的有益效果如下：

本发明实施例的自动冗余的分布式存储系统，首先逻辑驱动器添加模块将磁盘阵列设备提供的逻辑驱动器添加到存储池中，同时副本存储模块将写入的数据以数据块进行存储，数据块中的数据的备份副本存储到存储池的逻辑驱动器中，以数据块进行存储提高资源利用率，并且可以自动备份副本到存储池的逻辑驱动器中，提高复制实时性和备份效率。

本发明实施例的自动冗余的分布式存储系统，逻辑驱动器添加模块还将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到存储池中，避免由于多个LD可能来自同一磁盘阵列设备，一台发生故障造成多个LD同时离线的问题。

本发明实施例的自动冗余的分布式存储系统，逻辑驱动器添加模块还将存储池中的逻辑驱动器分为为多个逻辑存储单元，数据块中的数据的一个备份副本保存于一个逻辑存储单元中。这种容错机制的单个逻辑存储单元的相对于文件级容错机制小了很多，有效提高了存储资源的利用率。本发明实施例的自动冗余的分布式存储系统，副本存储模块的副本创建单元根据预设的存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为数据块创建与冗余度级别数目相同的备份副本，而保存子单元则将备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中，使得系统在存储设备故障导致数据块丢失时仍可保证所有数据可用。

本发明实施例的自动冗余的分布式存储系统，检测模块实时检测逻辑存储单元的数据块冗余度级别，在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别。此时，故障修护模块在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。使得系统能够在可用存储设备上自动创建丢失的数据块使备份副本个数始终保持预设值。

附图说明

图1为本发明实施例的自动冗余的分布式存储系统的结构示意图；

图2为本发明实施例的自动冗余的分布式存储系统的存储示意图；

图3为本发明实施例的自动冗余的分布式存储系统的1级冗余情况的数据块分布示例；

图4为本发明实施例的自动冗余的分布式存储系统的数据块故障示例；

图5为本发明的冗余引擎在IO路径中的位置；

图6为本发明实施例的自动冗余的分布式存储系统的方法步骤示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的自动冗余的分布式存储系统，文件级冗余存储资源利用率低，复制的实时性以及备份效率不高的问题，提供一种自动冗余的分布式存储系统及其冗余方法。

如图1所示，本发明实施例的自动冗余的分布式存储系统，包括：

存储池10，用于对多个逻辑驱动器进行管理，具体的，将所有不同类型的存储资源整合成一个逻辑上的存储资源，并提供统一管理；

逻辑驱动器添加模块11，用于将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

副本存储模块12，用于将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

在本发明实施例的自动冗余的分布式存储系统中，存储池是将所有不同类型的存储资源整合成一个逻辑上的存储资源，并提供统一管理，如将不同阵列设备的存储器分别创建逻辑驱动器，并添加到该存储池中，也可以是同一阵列设备的不同存储器分别创建逻辑驱动器，并添加到该存储池中，该存储池本身并不具容量概念，不是可访问的逻辑设备，只为各个不同阵列设备的存储器对应的逻辑驱动器进行统一管理。因此，在存储池中设置有虚拟磁盘（VD）。VD提供给应用系统一存储空间，可以映射给主机源端口（Initiator端口），每一个VD在主机中呈现的即为标准磁盘驱动器。虚拟磁盘在应用服务器端充当一逻辑驱动器，管理后端存储资源中的很多块（可能是同一设备内的也可能是不同设备内的）。数据块是一固定容量的，其中可能包括了全部的数据，也可能只包含了部分数据。逻辑驱动器添加模块，将磁盘阵列提供的逻辑驱动器（LD）添加到所述存储池中，然后由副本存储模块，将正在写入的数据以数据块存储，完成数据块中的数据备份副本存储到所述存储池的LD中。至此，如图2所示，系统完成将写入的数据将备份副本存储到LD。以数据块进行存储提高资源利用率，并且可以自动备份副本到存储池的逻辑驱动器中，提高复制实时性和备份效率。

由于多个LD可能来自同一磁盘阵列设备，如图2所示的LD0、LD1、LD2、LD3可能是都来自于A磁盘阵列设备,也可能LD0来自A磁盘阵列设备，LD1、LD2来自B磁盘阵列设备，LD3来自C磁盘阵列设备，在此不一一列举。所以，一台发生故障可能造成多个LD同时离线，为此，本发明的另一实施例的自动冗余的分布式存储系统，在上述实施例的基础上，所述逻辑驱动器添加模块还用于将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

这样将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到存储池中，即每个组对应一个磁盘阵列设备。当组信息存在时，系统会优先跨组间散列排布冗余数据块，即使某一磁盘阵列设备故障，跨组间散列排布的冗余数据块仍可用，避免了故障带来的损失。

相较于文件级冗余，本发明以数据块为冗余对象，将数据以数据块进行存储。数据块是主存储器与输入、输出设备或外存储器之间进行传输的一个数据单位，属于存储系统的底层架构，因此与数据类型无关。以数据块为冗余对象，粒度更小，存储资源利用率高。为了适用于数据块的存储，本发明的另一实施例的自动冗余的分布式存储系统，在上述实施例的基础上，所述逻辑驱动器添加模块还用于将所述存储池中的所述逻辑驱动器切割为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中，即一个备份副本保存与一个逻辑存储单元中或一个备份副本保存与多个逻辑存储单元中。

在本发明的另一个实施例的自动冗余的分布式存储系统中，所述副本存储模块包括：

副本创建单元，用于根据预设的所述存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

保存子单元，用于将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

在存储池中设置有的冗余度级别，决定了数据块备份副本的数量。目前冗余度级别共分5级，最低的0级冗余代表不创建备份副本，而1级冗余代表仅创建一份备份副本，以此类推，最高的4级冗余系统中有四份数据块备份副本，连同原始数据块共有五份相同的数据。

如图3所示，为1级冗余情况的数据块分布示例。副本创建单元先根据预设的所述存储池的冗余度级别1级冗余，为数据块创建与一份备份副本，然后保存子单元，将备份副本连同原始数据块分散地存储在不同的逻辑驱动器中的逻辑存储单元。由图可见，每个数据块中的数据均保存有两份，且这两份数据分散在不同LD中。任意一个LD离线时，所有数据均可正常使用，VD数据依然保持完整。

一般而言，在故障发生后，不能断言不会有其他故障再次发生，如图4所示，故障发生后，存储冗余度级别为0级的逻辑存储单元的LD2若再出现故障就无法读取出其中的数据，所以要及时发现故障并进行修护。所以，本发明的另一实施例的自动冗余的分布式存储系统在上述实施例的基础上还包括：

检测模块，用于实时检测所述逻辑存储单元的冗余度级别；

冗余度级别设定模块，用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

故障修护模块，用于在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

其中，冗余度级别设定模块具体用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别。

其中，所述故障修护模块包括：

第一修护子模块，用于在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

第二修护子模块，用于在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

本发明的实施例中，检测模块实时检测所述逻辑存储单元的数据块冗余度级别，在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别。此时，故障修护模块在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。第一修护子模块，会在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别，如果存储池空闲空间不足，第二修护子模块，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息，要求增加LD或扩展现有LD容量。新增容量就位后，第一修护子模块继续开始修复工作。如此，如图4所示的冗余度级别为0级的逻辑存储单元就会恢复冗余度级别到1级。

在本发明的实施例中冗余度级别设定模块具体用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别，当然也可以在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别，可以是低两级或其他。

本发明实施例的自动冗余的分布式存储系统的处理数据冗余的机制在Target端实现，Initiator端无需任何特殊驱动，仅以标准系统IO调用访问磁盘驱动，而SCSI-3指令也是经标准存储区域网络SAN协议发送请求和数据，如图5所示，其中使用光纤通道协议FCP和网络小型计算机系统接口协议iSCSI。

容错引擎所提供的虚拟磁盘界面与传统磁盘阵列使用方式完全相同，可以经由任何SAN协议连接到主机服务器，而在主机端呈现的即为标准磁盘。任何操作系统和应用均能以使用普通磁盘的方式使用该虚拟磁盘。

本发明实施例的自动冗余的分布式存储系统能够根据用户策略，自动复制多个数据块中的数据备份副本，当某存储设备故障导致逻辑存储单元失效时，仍可保证其他逻辑存储单元中的数据可用，并在可用存储设备上自动创建丢失的数据块使备份副本个数始终保持预设值。解决了文件级容错资源利用率低，复制实时性不高，备份效率低的问题，还可自动恢复本份副本。

如图6所示，本发明还提供了一种自动冗余的分布式存储方法，包括下列步骤：

步骤11，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

步骤12，将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

其中，步骤11中，还可以包括：

步骤111，将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

其中，步骤11中，还可以包括：

步骤112，将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块的一个备份副本保存于一个逻辑存储单元中。

其中，步骤12具体包括：

步骤121，根据预设的所述存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

步骤122，将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

上述自动冗余的分布式存储系统的冗余方法，还包括下列步骤：

步骤13，实时检测所述逻辑存储单元的数据块冗余度级别；

步骤14，在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

步骤15，在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

其中,步骤15具体包括：

步骤151，在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

步骤152，在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

通过上述冗余方法，能够根据用户策略，自动复制多个数据块中的数据备份副本，当某存储设备故障导致逻辑存储单元失效时，仍可保证其他逻辑存储单元中的数据可用，并在可用存储设备上自动创建丢失的数据块使备份副本个数始终保持预设值。解决了文件级容错资源利用率低，复制实时性不高，备份效率低的问题，还可自动恢复备份副本。

需要说明的是该冗余方法是应用于上述自动冗余的分布式存储系统的方法，上述自动冗余的分布式存储系统的实现方式适用于该方法中，也能达到相同的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种自动冗余的分布式存储系统，其特征在于，包括：

存储池，用于对多个逻辑驱动器进行管理；

逻辑驱动器添加模块，用于将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

副本存储模块，用于将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

2.根据权利要求1所述的自动冗余的分布式存储系统，其特征在于，所述逻辑驱动器添加模块还用于将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

3.根据权利要求1所述的自动冗余的分布式存储系统，其特征在于，所述逻辑驱动器添加模块还用于将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中。

4.根据权利要求3所述的自动冗余的分布式存储系统，其特征在于，所述副本存储模块包括：

副本创建单元，用于根据预设的所述存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

保存子单元，用于将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

5.根据权利要求4所述的自动冗余的分布式存储系统，其特征在于，还包括：

检测模块，用于实时检测所述逻辑存储单元的冗余度级别；

冗余度级别设定模块，用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

故障修护模块，用于在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

6.根据权利要求5所述的自动冗余的分布式存储系统，其特征在于，冗余度级别设定模块具体用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别。

7.根据权利要求5所述的自动冗余的分布式存储系统，其特征在于，所述故障修护模块包括：

第一修护子模块，用于在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

第二修护子模块，用于在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

8.一种自动冗余的分布式存储方法，其特征在于，包括下列步骤：

将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

9.根据权利要求8所述的自动冗余的分布式存储方法，其特征在于，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：

将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

10.根据权利要求8所述的自动冗余的分布式存储方法，其特征在于，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：

将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中。

11.根据权利要求10所述的自动冗余的分布式存储方法，其特征在于，将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中的步骤具体包括：

根据预设的所述存储池的逻辑驱动器的逻辑存储单元的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

12.根据权利要求11所述的自动冗余的分布式存储方法，其特征在于，还包括：

实时检测所述逻辑存储单元的冗余度级别；

在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。