CN103561057A - 基于分布式哈希表和纠删码的数据存储方法 - Google Patents

Abstract

本发明公开了一种基于分布式哈希表和纠删码的数据存储方法，主要涉及分布式存储领域。该方法包括以下步骤：存储系统对数据块的管理整体采用去中心化的分布式哈希表的结构；为保证可靠性，对数据块采用纠删码编码进行冗余存储；后台进程定期扫描数据来维护数据的一致性和冗余。本发明的基于分布式哈希表和纠删码的数据存储方法，具有去中心化的结构，比传统分布式存储系统具有更好的扩展性。同时，在保证数据可靠性的基础上，通过纠删码减少数据冗余带来的存储开销。

Description

基于分布式哈希表和纠删码的数据存储方法

技术领域

本发明涉及分布式存储领域，特别涉及一种基于纠删码以及分布式哈希表的数据存储方法，即去中心化存储的方法。

背景技术

分布式存储系统因其海量存储的优势，在互联网领域正逐渐取代传统的本地文件系统。亚马逊公司（Amazon）的Dynamo分布式存储引擎是另外一种典型的分布式存储系统，它的设计是完全去中心化的，具有非常良好的可扩展性和可用性，对外提供基于键值的key-value访问接口。Dynamo内部采用Chord协议来进行信息的路由，在P2P的环境下找到负责某个key对应的节点，同时在Chord中采用一致性哈希，使得整个系统具有较好的可扩展性。在Dynamo中，为了尽量保证数据随时可用，采用的是N副本的策略，每个数据都完全冗余的存储在key对应节点的后继节点列表上，通过Vector Clock和Quorum机制来保证数据的最终一致性。但是Dynamo比较适用于存储大规模的小数据(大小在1MB量级)，不太适合提供大规模的中等或者大文件的存储。

Google File System（GFS）是典型的分布式文件系统，提供了一套类似传统文件系统的API接口，文件以分层目录的结构组织，用路径名来标识。同时在GFS中，文件的元数据信息存储在Master节点中，文件的数据信息按照64MB大小切分为若干个chunk块，由chunk 服务器存储和管理，chunk块采用三副本的方式存储。但是因为GFS中存在Master节点，所以当Master出现错误无法工作的时候，会导致整个分布式文件系统不能提供服务，同时对于大规模的小文件的存储，Master会成为瓶颈。在数据规模较大的时候，三副本这种设计方案会使得存储开销大大增加。

Dynamo提供了很好的可扩展性和可用性，但是比较适合存储大规模的小数据，GFS能够提供文件级别的存储，但是可能会存在单点失败的问题，所以，如何设计一个在保证可扩展性和可用性的基础上，又适合具有大规模元数据和数据的分布式存储系统是一个需要解决的技术问题。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提供一个具有高可扩展性，可用性，并兼具减少冗余数据块占用的大规模块存储块（block）层次的分布式存储系统。

（二）技术方案

为解决上述技术问题，本发明提供一种基于分布式哈希表和纠删码的数据存储方法，该方法包括以下步骤：

S1: 基于分布式哈希表（如Chord）建立各服务器节点的拓扑逻辑结构，通过一致性哈希算法，确定各个key对应的block块所在的服务器的位置，服务器的拓扑结构同Chord；

S2: 客户端采用纠删码（如Vandermonde RS Code编码）对原始数据进行编码，将每个键对应的block块编码为若干个chunk块，并通过写操作write()将编码后的若干个chunk块存储到多个服务器节点。每个block块都包含一个版本信息，每次对key对应的block块的写操作都是通过追加写的方式完成，即每次对block的写操作都会使对应的版本号加1。

进一步地，当客户端读取一个指定键对应的block块时，根据该指定键的键值通过读操作read()从相应的服务器节点中获取若干个（如k个，k=2）chunk块，利用纠删码对获取的若干个chunk块进行解码，将获取的若干个chunk块还原成block块。

S3: 每隔预设时间间隔（如10分钟），通过基于分布式哈希表的协议（如Chord协议）检测服务器节点的加入和离开，并依据纠删码的方式计算各个chunk块所在的服务器节点（即存储节点）的位置，维护数据的冗余块的个数保持在预定数量（如3个）。

优选的，block块包括两个属性：block块编号（block-ID）和block块版本号（block-Version），在本系统的设计中，block-ID的值和key的值相同；

优选的，chunk块包括两个属性：chunk块编号（chunk-ID）和chunk块在服务器的文件系统的存储路径chunk-Path，其中chunk-ID与纠删码（Erasure Code编码）中的m有关；

优选地，所述服务器中存储两个key-value表：路由表finger.tbl和数据块表block.tbl；

所述Chord中的路由信息存储在所述路由表finger.tbl中；

所述block的version信息和block块对应的chunk块在文件系统中的地址存储在所述数据块表block.tbl中。

优选地，所述block的版本号，以block-ID+"#"为键key，以block对应的最新版本号为值value，存储在chunk.tbl中；

所述block块对应的chunk块的记录，以block-ID+block-Version+chunk-ID为键key，以该chunk块在服务器的文件系统中的存储路径为值value；

优选地，一个读操作read(key)具体包括以下步骤：

S2.2.1：客户端发送read请求，服务器通过Chord协议确定key对应的管理该key对应的block的节点s1；

S2.2.2：s1访问chunk.tbl表，以key+"#"为键值key，确定对应的block最新的版本号block-Version;

S2.2.3：s1把read请求转发给s1的后继节点列表s1_successor_list（后继节点列表可以通过Chord协议得到）；

S2.2.4：s1访问chunk.tbl表，以key+"$"+block-Version+"$"+chunk-ID为键值key，得到chunk块在s1上的路径chunk-Path，把对应的chunk块返回给客户端；

S2.2.5：后继节点列表s1_successor_list接收到请求之后，将进行S2.2.4中的操作，把chunk块返回给客户端；

S2.2.6：客户端根据返回的chunk块，通过Erasure Code解码，把数据还原。

（三）有益效果

本发明提供了一种基于纠删码的去中心化存储的设计方案，其采用Chord作为在p2p的环境下信息路由协议，具有较高的可扩展性和可用性；对数据的存储采用纠删码（Erasure Code）进行编码，有效的减少了在保证数据可靠性的前提下，存储的开销。在读写的过程中保证了读写的一致性，提供了一种最终一致性的解决方案。在本实现中采用的是Vandermonde RS Code编码，是Erasure Code的一种。

附图说明

图1是本发明中基于分布式哈希表和纠删码的数据存储方法的主体流程图。

图2是本发明中使用的Vandermonde RS Code编码的过程。

图3是本发明中使用的Vandermonde RS Code解码的过程。

图4是本发明中使用的路由表finger.tbl和基于Chord的分布式存储的拓扑逻辑结构。

图5是本发明实施例所述一个写入操作数据块表chunk.tbl的变化。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明中基于分布式哈希表和纠删码的数据存储方法的主体流程图。

步骤S1（节点创建步骤），通过分布式哈希表（如Chord）建立各服务器节点的拓扑逻辑结构（如图4所示），并通过一致性哈希算法，确定各个键（key）对应的block块（或称之为数据块）所在的服务器的位置。在本发明中，整个系统构建在本地的文件系统存储之上，数据块的管理对外提供get(key)返回数据块，put(key,block)写入数据块，read(key, offset, length)读出部分数据，以及write(key, offset, content)写入部分数据的内容。

其中，每个节点的服务器中存储两个key-value表：路由表（finger table，或称之为指针表）finger.tbl，数据块表chunk.tbl（或称之为block.tbl）。所述一致性哈希算法中，用于获取key对应的block所在服务器的信息，并将该信息存储在路由表finger.tbl中。参阅图4所示，所述路由表finger.tbl中，将block块对应的key（对应路由表中的“键”）的id称为RID，将服务器的id称为NID，以当前服务器的NID+2^Nk（即NID加上2的Nk次方，Nk范围为从0到log₂(N)，其中N为系统中服务器节点的个数）为key，将这个key看做是一个RID，那么以维护这个RID对应的服务器编号NID为value（对应路由表中的“值”）。如图4中，对于NID=0的服务器，路由表中包含三项，分别是Nk值为0，1，2时候的情形，以Nk=0的情况为例，在路由表中将会对应一条记录，这条记录的键key为NID+2^0 = 1，维护RID为1的服务器编号为1，所以对应的值value为1。

所述数据块表chunk.tbl用于存储所述block块的基本信息（或称之为基本属性记录），所述block块的基本信息，以block块标识（block-ID）为键key，以block块对应的最新的版本（block-Version）为值value。

步骤S2（数据写入步骤），客户端采用纠删码（Erasure Code编码，如Vandermonde RS Code编码）对原始数据进行编码，将每个键对应的block块编码为若干个chunk块（或称之为数据片），并通过写操作write()将编码后的若干个chunk块存储到多个服务器节点。其中，该若干个chunk块包含预定数量的数据冗余块（如1个）。每个block块都包含一个版本信息，每次对key对应的block块的写操作都是通过追加写的方式完成，即每次对block的写操作都会使对应的版本号加1。

所述数据块表chunk.tbl还用于存储所述chunk块的基本信息（或称之为基本属性记录）和该chunk块在服务器的文件系统上的存储路径。所述chunk块的基本信息，以block块标识（block-ID）+ "$" + block块版本（block-Version）+ "$" + chunk块标识（chunk-ID）为键key，以chunk块在服务器的文件系统上的存储路径为值value。其中，chunk-ID与Erasure Code编码中的参数m有关（详见对步骤S2的具体描述）。

进一步地，该方法还包括数据读取步骤：当客户端读取一个指定键对应的block块时，根据该指定键的键值通过读操作read()从相应的服务器节点中获取若干个chunk块，利用纠删码对获取的若干个chunk块进行解码，将获取的若干个chunk块还原成block块。

步骤S3（数据维护步骤），每隔预设时间间隔（如10分钟），通过基于分布式哈希表的协议（如Chord协议）检测服务器节点的加入和离开（即增加和删除），并依据纠删码的方式计算各个chunk块所在的服务器节点（即存储节点）的位置，维护数据冗余块的个数保持在该预定数量（如1个）。

下面详细介绍步骤S2中的写操作write()和读操作read()的具体方法步骤。

对于一个写操作write(key1,block1)的详细步骤如下:

S2.1.1：客户端对这个block块进行Vandermonde RS Code编码，得到m个chunk块，其中有m-k个冗余chunk块(m和k可配置)。编码过程如图2，图2中m=3，k=2，原始的数据块为D，D可以看作是两个小的数据块D1和D2构成的向量，矩阵B为Vandermonde矩阵，经过矩阵乘法之后得到3个数据块D1、D2和C1，数据块C1为冗余块；

S2.1.2：客户端发送写请求，服务器通过Chord协议，查找路由表finger.tbl（如图4），得到key1对应的管理该block块的节点s1（每个节点对应一台服务器），通过访问s1上的数据块表chunk.tbl得到当前block块的版本为1，通过Chord协议可以得到s1节点的后继m-1个节点s1_successor_list，将这些信息返回给客户端；

S2.1.3：客户端将编码后的chunk块并行的写到s1和s1_successor_list中，每个节点写入一个chunk块，同时将block-ID+block-Version+chunk-ID（如key1+ "$" + 2 + "$"+ chunk1）作为键值key，以chunk块在文件系统中的存储路径/root/key1_chunk4.data为值value写入chunk.tbl中，其他节点同理。在键值中，采用"$"作为分割各个属性的分割字符，分割字符还可以为“*”、“#”、“”等其他字符，但是其必须区分于本发明实施例的其他特殊字符；

S2.1.4：当所有chunk块写入成功之后，更新block块的版本号（通过更新版本号来确认写block成功），以key1为键值key，1+1=2为值value写入chunk.tbl中，这个时候key1对应的block块的版本就是2了（如图5）。

对于一个读操作read(key1)的详细步骤如下：

S2.2.1：客户端发送read请求，服务器通过Chord协议从路由表finger.tbl中确定管理该指定键key1对应的block块的节点s1；

S2.2.2：s1访问chunk.tbl表，以key1+"#"为键值key，确定对应的block最新的版本号block-Version为2;

S2.2.3：s1把read请求转发给s1的后继节点列表s1_successor_list；

S2.2.4：s1访问chunk.tbl表，以key+"$"+block-Version+"$"+chunk-ID（如key1 + "$" + 2 + "$" + chunk1）为键值key，得到chunk块在s1上的存储路径是/root/key1_chunk4.data，把对应的chunk块返回给客户端；

S2.2.5：后继节点列表s1_successor_list接收到请求之后，将进行S2.2.4中的操作，把chunk块返回给客户端，本实施例从后继节点列表中选取k个节点执行步骤S2.2.4，k为预设值（如k=2）；

S2.2.6：客户端根据返回的chunk块，通过Vandermonde RS Code解码，把数据还原。解码过程如图3，图3中对应m=3，k=2的情况，通过对B矩阵的一部分求逆得到矩阵B'^-1，客户端返回两个chunk块，分别是D1和C1，这时候，将B'^-1和D1与C1构成的矩阵做乘法就能够将原始的数据D1和D2还原。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种基于分布式哈希表和纠删码的数据存储方法，其特征在于，该方法包括如下步骤：

节点创建步骤: 通过分布式哈希表建立各服务器节点的拓扑逻辑结构，并通过一致性哈希算法，确定各个键key对应的block块所在的服务器的位置；

数据写入步骤: 客户端采用纠删码对原始数据进行编码，将每个键对应的block块编码为若干个chunk块，并通过写操作将编码后的若干个chunk块存储到多个服务器节点，其中，该若干个chunk块包含预定数量的数据冗余块；及

数据维护步骤: 每隔预设时间间隔，通过基于分布式哈希表的协议检测服务器节点的增加和删除，并依据纠删码的方式计算各个chunk块所在的服务器节点的位置，维护数据冗余块的个数保持在该预定数量。

2.如权利要求1所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于：

每个节点的服务器中存储有一个路由表和一个数据块表；

所述路由表存储各个键对应的block块所在服务器的路由信息，将该block块对应的键key的id称为RID，将服务器的id称为NID；

所述数据块表存储block块的基本信息、chunk块的基本信息和chunk块在服务器的文件系统中的存储路径。

3.如权利要求2所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于：

所述block块的基本信息通过以下方式记录，以block块标识block-ID为键key，以block块对应的最新的版本block-Version为值value；

所述chunk块的基本信息通过以下方式记录，以block-ID + "$" + block-Version+ "$" + chunk块标识chunk-ID 为键key，以chunk块在服务器的文件系统中的存储路径为值value，其中，"$"为分割各个属性的分割字符。

4.如权利要求2所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于：

所述路由表中，以当前服务器的NID+2^Nk为键key，将这个key作为一个RID，以维护这个RID对应的服务器编号NID为value，Nk取值为从0到log₂(N)，N为系统中服务器节点的个数。

5.如权利要求1所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于, 所述数据写入步骤包括：

客户端将block块通过纠删码，产生m个chunk块，其中，数据冗余块为m-k个，m和k为预设值；

通过基于分布式哈希表的协议，从路由表中查找到键key对应的服务器s1；

将第一个chunk块传输到对应的服务器上，依次将后续的chunk块传输到s1的后继节点列表上；及

在数据块表中更新block块对应的版本号。

6.如权利要求1所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于, 该方法还包括：

数据读取步骤: 当客户端读取一个指定键key对应的block块时，根据该指定键的键值通过读操作从相应的服务器节点中获取若干个chunk块，利用纠删码对获取的若干个chunk块进行解码，将获取的若干个chunk块还原成block块。

7.如权利要求6所述的基于分布式哈希表和纠删码的数据存储方法，其特征在于，所述数据读取步骤包括：

通过基于分布式哈希表的协议，从路由表中找到对应的管理该指定键key对应block块的服务器s1；

从数据块表中获取当前block块最新的版本号；

从s1及其后继节点列表中选取k个节点，每个节点根据数据块表中记录的信息，查找到block块标识和block块最新版本对应的chunk块在服务器的文件系统中的存储路径，将对应的chunk块返回给客户端；及

客户端获取k个chunk块，利用纠删码对该k个chunk块进行解码，将该k个chunk块还原成block块。

Images