CN103870202A - 一种块设备的分布式存储方法和系统 - Google Patents

Abstract

本发明适用于存储领域，具体涉及分布式存储系统。本发明公开了一种块设备的分布式存储方法和系统。该方法包括：将块设备的存储空间定义为逻辑卷，并将其按固定大小切分成N个逻辑块；各逻辑块实际存储在多份物理存储上，逻辑块与其对应的各个物理存储地址的映射关系通过索引进行关联。该系统包括：数据接入层、索引服务器、存储服务器；数据接入层基于iSCSI协议处理对块设备的读写请求；数据接入层对协议进行解析后，向索引服务器获取此次请求所涉及逻辑块的实际物理存储位置；索引服务器接收到请求时，查询相关索引，找到对应的存储服务器并将信息返回给数据接入层；数据接入层收到索引服务器的回复之后，访问存储服务器完成后续的数据读写任务。

Description

一种块设备的分布式存储方法和系统

技术领域

本发明属于存储技术领域，具体涉及块设备的分布式存储。

背景技术

在分布式存储中，主要的存储方式有两种，一种是基于文件的存储，如NAS(Network Attached Storage),其特点是成本低、容易实现，但在某些需要提供大量数据传输、频繁IO的场景下效率不高、性能较差；另一种是基于Block的存储，如SAN(Storage Area Network)，其中FC SAN的成本较高，不便于大规模部署，而IP SAN具有成本低且兼具较高性能的特点，非常适合作为云存储的一种解决方案进行大规模部署。但传统的IP SAN由于iSCSI Target端通常是直接接入的块设备，不便于维护和功能扩展，如快照、克隆等，且无分布式的数据冗余解决单点故障问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种块设备的分布式存储方法和系统，基于iSCSI实现对块设备的存储访问，同时提供分布式的多份数据冗余，并且支持对块设备进行快照、克隆等功能。

为解决上述问题，本发明提供了一种针对块设备的分布式数据存储方法：将块设备的存储空间定义为逻辑卷，并将其按固定大小切分成N个逻辑块；各逻辑块实际存储在多个存储节点的物理硬盘上，即所有存储节点都是一个完整的数据备份以实现冗余，从而保证数据安全及可靠性；将逻辑块的实际物理存储地址定义为物理块，通过索引保存逻辑块与其对应的各个物理块的映射关系，处理块设备的读写请求时，根据相关索引得到对应的物理块信息。

进一步地，在上述方法的基础上，本发明提供了一种块设备的分布式存储系统，其中，所述系统包括：

数据接入层，负责与客户端进行交互，完成iSCSI协议的解析，并负责与系统内其他服务进行交互完成数据读写任务；

索引服务器，负责存储和维护所述逻辑卷和所述逻辑块的信息、所述物理块信息、所述索引信息、快照信息等元数据；

存储服务器，挂载多块硬盘，负责数据内容的实际物理存储，实际部署中将存在多个存储服务器，可使其互为备份实现高可靠。

进一步地，在上述方法和系统的基础上，当数据接入层接收到客户端的读写请求后，进行iSCSI协议解析，得到此次请求的起始位置和访问的数据长度，即读写的数据区域；

数据接入层将所涉及数据区域发送给索引服务器，以获取数据的实际存储位置；

索引服务器接收到数据接入层的请求后，首先对数据区域进行计算，将其转换成对应的多个逻辑块，而后为各个逻辑块查询相关索引，找到其所对应的物理块信息，即所对应的存储服务器以及该存储服务器上对应的硬盘信息；

当索引服务器收集完所有逻辑块的物理块信息后，将这些信息返回给数据接入层；

数据接入层根据回复的信息访问对应的存储服务器，存储服务器接收到数据接入层发送的读写请求，根据请求中的信息，在指定的物理硬盘上完成数据的读写，并将最终的读写结果返回给数据接入层。

数据接入层接收到存储服务器的处理结果后，将此次读写任务的结果返回给客户端。

另一方面，在本发明所提供的系统中，还实现了对块设备的快照、克隆功能。

快照的相关步骤包括：

步骤1，向索引服务器发送为块设备创建快照的请求；

步骤2，索引服务器在存储的元数据中找到该块设备的当前索引；

步骤3，为当前索引创建一个子索引，创建快照信息，并将当前索引信息保存到快照信息中；

步骤4，将块设备的当前索引修改为新创建的子索引；

克隆的相关步骤包括：

步骤1，向索引服务器发送对块设备进行克隆的请求；

步骤2，索引服务器在存储的元数据中找到该块设备的当前索引；

步骤3，为当前索引创建两个子索引，创建克隆卷信息，并将新创建的其中一个子索引设置为克隆卷的当前索引；

步骤4，将块设备的当前索引修改为步骤3中新创建的另一个子索引；

根据快照和克隆的步骤流程，当处理读写请求时，优先从块设备的当前索引上找到实际存储的物理位置；若无法找到，则回溯到该索引的父索引上进行查找，直至找到存储位置或者再无父索引可回溯。

本发明的有益效果在于：

1.    以分布式数据冗余的方式保证块设备数据的高可靠，解决单点故障问题。

2.    基于iSCSI协议可避免对客户端的依赖，从而使Windows、Linux等操作系统的各种版本均可无缝接入本系统。

3.    实现基于索引的块设备分布式存储的管理方式，为系统的功能扩展奠定基础。

4.    在IP SAN架构中实现了对块设备的快照、克隆等功能，同时在本系统中创建的块设备可以不受物理盘单盘大小的限制，最大能够支持8ZB(等于8589934592TB)。

附图说明

  通过参照附图对具体实施案例的详细描述，本发明所述内容将得到更清晰的阐述，其中：

图1为本发明的块设备分布式存储方法中对象关系图

图2为本发明的块设备分布式存储系统的架构图

图3为本发明存储系统中创建块设备快照的流程图

图4为本发明存储系统中克隆块设备的流程图

图5为本发明的块设备分布式存储方法的数据读写流程图。

具体实施方式

为了使本发明中所述方法和系统得到更清晰的阐述，以下结合附图和实施案例，进行进一步的详细说明。

本实施方式提供了一种对块设备进行分布式存储的方法，其关键对象的关系如图1所示，具体采用方案如下：

将块设备的存储空间定义为逻辑卷，并将其按固定大小切分成N个逻辑块；

各逻辑块实际存储在分布在系统中的多个物理硬盘上，这些实际的物理存储地址即为物理块；

通过索引保存逻辑块与其对应的各个物理块的映射关系，处理块设备的读写请求时，根据相关索引得到对应的物理块信息。

在所述存储方法的基础上，图2示出了一种块设备分布式存储的系统架构。该系统包括数据接入层、索引服务器、存储服务器：

数据接入层，负责与客户端进行交互，解析iSCSI协议从而获取读写请求中的关键参数，并负责与系统中的索引服务器和存储服务器进行交互，协作完成数据读写任务；

索引服务器，负责存储和维护所述逻辑卷和所述逻辑块的信息、所述物理块信息、所述索引信息等元数据，并为数据接入层提供元数据查询接口；同时提供对块设备进行快照和克隆等功能接口；

存储服务器，挂载多块硬盘作为物理存储介质，负责数据内容的实际物理存储；响应数据接入层的数据读写请求，在物理存储介质上完成数据的读写并将读写结果返回给数据接入层；实施方案中将部署多个存储服务器，可使数据内容同时保存在多个存储服务器上，互为备份实现高可靠。

本领域的相关人员可以理解，实际部署中索引服务器和存储服务器均可存在多个。为便于描述，图2进行了一定的简化。

图3示出了本发明所述系统中对所述逻辑卷，即块设备进行快照的具体方法流程：

步骤301，索引服务器接收到为逻辑卷创建快照的请求；

步骤302，在存储的元数据中找到该逻辑卷的当前索引；

步骤303，为当前索引创建一个子索引；

步骤304，创建快照信息并将当前索引信息保存到快照信息中；

步骤305，将逻辑卷的当前索引修改为新创建的子索引；

图4示出了本发明所述系统中对所述逻辑卷，即块设备进行快照的具体方法流程：

步骤401，索引服务器接收到对逻辑卷进行克隆的请求；

步骤402，在存储的元数据中找到该逻辑卷的当前索引；

步骤403，为当前索引创建两个子索引；

步骤404，创建克隆卷信息并将新创建的其中一个子索引设置为克隆卷的当前索引；

步骤405，将逻辑卷的当前索引修改为步骤403中新创建的另一个子索引；

图5示出了一次数据读写请求在本发明所述系统中的完整流程，具体的实施步骤如下：

步骤501，数据接入层接收到客户端的读写请求后，进行iSCSI协议解析，分析出此次请求在逻辑卷，即块设备中对应的起始位置和访问的数据长度，即读写的数据区域；

步骤502，数据接入层将此次读写所涉及数据区域信息发送给索引服务器，以获取数据的实际存储位置；

步骤503，索引服务器接收到数据接入层的请求后，首先对数据区域进行计算，将其转换成逻辑卷中对应的多个逻辑块；

步骤504，根据得到的各个逻辑块信息，索引服务器在逻辑卷的相关索引上查询逻辑块所对应的物理块信息，即所对应的存储服务器以及对应该存储服务器上的哪一块硬盘的哪部分区域；

根据本发明所述系统中对块设备进行快照和克隆的步骤，块设备相关的索引存在所述的父子关系，在索引上根据逻辑块信息查询物理块时，要判断是否需要回溯操作。若在当前索引上无法找到，则回溯到当前索引的父索引上继续查询，直至找到物理块信息或再无父索引可回溯；当索引服务器收集完所有逻辑块对应的物理块信息后，将信息返回给数据接入层；

步骤505，数据接入层根据回复的信息找到对应的存储服务器，并向其发送具体的数据读写请求，如对哪一块硬盘的哪一部分区域进行读写；

步骤506，存储服务器接收到数据接入层发送的读写请求，根据请求中的信息，在指定的物理硬盘上完成数据的读写，并将最终的读写结果返回给数据接入层。

步骤507，数据接入层接收到存储服务器的处理结果后，将此次读写任务的结果返回给客户端。

以上所述仅为本发明实施的一种实例场景，不能用于限定本发明的权利范围，根据本发明所做的任何形式和细节上的改变，仍属于本发明所包含的范围。

Claims (5)

1.一种块设备的分布式存储方法，其特征在于，包括：

将块设备的存储空间定义为逻辑卷，并将所述逻辑卷按固定大小切分成N个逻辑块；各所述逻辑块实际存储在多个存储节点的物理硬盘上，即所有存储节点都是一个完整的数据备份以实现冗余，保证数据安全及可靠性；将所述逻辑块的实际物理存储地址定义为物理块，所述逻辑块与其对应的各个所述物理块的映射关系通过索引进行关联，处理块设备的读写请求时，根据所述索引得到对应的所述物理块信息。

2.根据权利要求1所述的方法，一种块设备的分布式存储系统，其特征在于，所述系统包括数据接入层、索引服务器、存储服务器：

所述数据接入层负责与客户端进行交互，完成iSCSI协议的解析，并负责与系统内其他服务进行交互，协作完成数据读写任务；

所述索引服务器负责存储和维护所述逻辑卷和所述逻辑块的信息、所述物理块信息、所述索引信息、快照信息等元数据；

所述存储服务器负责实际存储数据内容，实际部署中将存在多个所述存储服务器，可使其互为备份实现高可靠。

3.根据权利要求1和权利要求2所述的方法及系统，其特征在于，当块设备进行读写时，具体方式为：

所述数据接入层接收到读写请求后，进行iSCSI协议解析，得到此次请求的起始位置和访问的数据长度，即所述逻辑块信息；

所述数据接入层将涉及的所述逻辑块信息发送给所述索引服务器，以获取数据的实际存储地址，即所述物理块信息；

所述索引服务器接收到所述数据接入层的请求后，根据所述逻辑块信息查询相关所述索引，找到所述逻辑块所对应的所述物理块并将其信息返回所述数据接入层；

所述数据接入层根据回复的所述物理块信息访问对应的所述存储服务器，所述存储服务器在对应的物理硬盘上完成数据读写任务，并由所述数据接入层将最终的读写结果返回给客户端。

4.根据权利要求1和权利要求2所述的方法及系统，其特征在于，当为块设备创建快照时，具体步骤为：

步骤1，向所述索引服务器发送为块设备创建快照的请求；

步骤2，所述索引服务器在存储的元数据中找到该块设备当前的所述索引；

步骤3，为当前的所述索引创建一个子所述索引，创建快照信息，并将当前的所述索引信息保存到快照信息中；

步骤4，将块设备的当前的所述索引修改为新创建的子所述索引；

当处理读写请求时，根据所述逻辑块信息，优先从块设备当前的所述索引上查询对应物理块；若无法找到，则回溯到该所述索引的父所述索引上进行查找，直至找到物理块信息或者再无父所述索引可回溯。

5.根据权利要求1和权利要求2所述的方法及系统，其特征在于，当对块设备进行克隆时，具体步骤为：

步骤1，向所述索引服务器发送对块设备进行克隆的请求；

步骤2，所述索引服务器在存储的元数据中找到该源块设备当前的所述索引；

步骤3，为当前的所述索引创建两个子所述索引，创建克隆卷信息，并将新创建的其中一个子所述索引分配给克隆卷，作为其当前的所述索引；

步骤4，将源块设备当前的所述索引修改为步骤3中新创建的另一个子所述索引；

当处理读写请求时，根据所述逻辑块信息，优先从块设备当前的所述索引上查询对应物理块；若无法找到，则回溯到该索引的父所述索引上进行查找，直至找到物理块信息或者再无父所述索引可回溯。

Images