CN105959419A - 基于一致性树的分布式存储结构的构建方法及系统 - Google Patents

Abstract

本发明公开了一种基于一致性树的分布式存储结构的构建方法及系统，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id；可见，在本实施例中，通过这种树形存储结构，可以实现数据的分布式存储，解决分布式存储系统的数据均衡问题及可扩展性问题，有效地实现数据的分布式存储。

Description

基于一致性树的分布式存储结构的构建方法及系统

技术领域

本发明涉及分布式存储领域，更具体地说，涉及一种基于一致性树的分布式存储结构的构建方法及系统。

背景技术

随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着数据存储成本高、管理困难、可靠性低的问题，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式数据存储得到了广泛的应用。然而，目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。对于一个分布式系统，核心在于其分布式算法，它直接影响系统的可用性、健壮性和扩展性，不同的分布式存储系统有不同的存储策略和方法。目前，已经存在很多分布式系统方案及其应用系统。主流的分布式存储算法有数据分割、哈希分布和一致性哈希分布算法等，它们各有优缺点，且现有的几种分布式存储方式并不能够完美地满足分布系统的需求，如数据分割无法解决数据平衡问题，哈希分布无法解决系统扩展问题。

因此，如何有效地实现数据的分布式存储，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于一致性树的分布式存储结构的构建方法及系统，以有效地实现数据的分布式存储。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于一致性树的分布式存储结构的构建方法，包括：

将物理存储节点划分为多个互不相交的有限集合；

将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

确定所述分布式存储结构中每个物理存储节点的位置id。

其中，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：

保存每个物理存储节点对应的位置id，并生成二位数组。

其中，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

若检测到第一目标叶子节点的容量不足或者IO压力较大时，将所述目标叶子节点分裂为预定数量个节点；

根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

其中，将所述目标叶子节点分裂为预定数量个节点，包括：

将所述第一目标叶子节点中存储的数据分布存储在新添加的叶子节点上。

其中，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

若检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，将所述第二目标叶子节点进行缩容，释放空闲节点；

根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。

其中，将所述第二目标叶子节点进行缩容包括：

将所述第二目标叶子节点存储的数据进行备份；

将所述第二目标叶子节点存储的数据存储至相关联的叶子节点中，并从所述二位数组删除所述第二目标叶子节点存储的位置id。

一种基于一致性树的分布式存储结构的构建系统，包括：

划分模块，用于将物理存储节点划分为多个互不相交的有限集合；

构建模块，用于将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

位置id确定模块，用于确定所述分布式存储结构中每个物理存储节点的位置id。

其中，还包括：

二位数组生成模块，用于保存每个物理存储节点对应的位置id，并生成二位数组。

其中，还包括：

第一检测模块，用于检测到第一目标叶子节点的容量不足或者IO压力较大时，触发节点分裂模块；

所述节点分裂模块，用于将所述目标叶子节点分裂为预定数量个节点；

第一更新模块，用于根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

其中，还包括：

第二检测模块，用于检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，触发节点缩容模块；

所述节点缩容模块，用于将所述第二目标叶子节点进行缩容，释放空闲节点；

第二更新模块，用于根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。

通过以上方案可知，本发明实施例提供的一种基于一致性树的分布式存储结构的构建方法及系统，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id；可见，在本实施例中，通过这种树形存储结构，可以实现数据的分布式存储，解决分布式存储系统的数据均衡问题及可扩展性问题，有效地实现数据的分布式存储。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种基于一致性树的分布式存储结构的构建方法流程示意图；

图2(a)为本发明实施例公开的一致性树分布示意图；

图2(b)为本发明实施例公开的一致性树分布式扩展示意图；

图3为本发明实施例公开的一种基于一致性树的分布式存储结构的构建系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于一致性树的分布式存储结构的构建方法及系统，以有效地实现数据的分布式存储。

参见图1，本发明实施例提供的一种基于一致性树的分布式存储结构的构建方法，包括：

S101、将物理存储节点划分为多个互不相交的有限集合；

S102、将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

具体的，本方案将存储节点组织为树结构的逻辑结构形式，其一致性在于树结构中的各个节点的一致性。

具体的，在本实施例中一致性树分布模型用一颗多叉树表示，本质上来说是以分支关系定义的层次结构，对于某一个特定的树形模型，在每一个树形层次上，树形节点被划分为多个互不相交的有限集合T1,T2,…Tn，其中，每个集合本身又可以看作一颗树，依次循环，可以将所有的存储节点划分到不同的层次结构的不同数据组中。在一致性树分布结构中，每个叶子节点对应实际的物理存储节点，每个内部节点为叶子节点的分组集合。

S103、确定所述分布式存储结构中每个物理存储节点的位置id。

其中，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：保存每个物理存储节点对应的位置id，并生成二位数组。

具体的，在本实施例中对于每个节点，都可以用唯一的数字序列进行定义。从而该数字序列也就唯一的确定了该树节点在树形结构中的位置id，当所有的叶子节点的编号确定时，该树的逻辑结构也就可以确定了。二者之间形成单射关系，所以，可以简单的把这样的树抽象为一个二位数组。

具体的，在一致性树分布结构中，每个叶子节点对应实际的物理存储节点，如图2(a)所示为一个包含6个节点的存储集群逻辑图。对于每个节点，用唯一的数字序列定义，它是由该节点在树结构的位置决定，从左到右依次代表从根节点到所经过的路径号(子树从左到右编号0.1.2…)，图2(a)中B节点的编号{1，0}，表示从根节点到B节点需要经过路径0和路径1。该数字序列也就唯一确定了B节点在树中的位置id。当进行数据存储操作时，根据树的结构将数据的位置id映射到对应的叶子节点上。

对于任何一个节点node，对其进行如下属性定义：Degree表示节点的度，代表子节点的数目；Children表示子节点列表，叶子节点为空；Isleaf表示是否为叶子节点。从而一个节点可以表示为：node{Degree，Children，Isleaf}。

对于存到分布式存储的数据data，对其进行如下属性的定义：Key表示数据的唯一索引id；Value表示数据的存储内容；从而一条数据可以表示为：data{Key，Value}。

有了树和数据的结构表示，就可以对其进行一一映射。Hash(key)表示将key哈希映射到0～232，即将key值映射为一个整型数字；Map(id，tree)表示将某id的数据映射到tree树对应的存储节点，id由Hash(key)返回。对于一个完整的数据映射过程可以表示为：Map(Hash(key)，tree)。

基于上述技术方案，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

S11、若检测到第一目标叶子节点的容量不足或者IO压力较大时，将所述目标叶子节点分裂为预定数量个节点；

其中，将所述目标叶子节点分裂为预定数量个节点，包括：

将所述第一目标叶子节点中存储的数据分布存储在新添加的叶子节点上。

S12、根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

具体的，本方案的扩展性实现方式以节点分裂的形式进行。参见图2(b)，当A节点的容量将要不足或者IO压力较大时，可以将A节点分裂为多个子节点，将A中的数据分布在各个子节点上存储从而降低该服务器的压力。节点分裂时将被分裂的节点数据拷贝到新增节点，数据拷贝完成后，更新树形结构的二维数组，完成系统扩展操作。

基于上述技术方案，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

S21、若检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，将所述第二目标叶子节点进行缩容，释放空闲节点；

其中，将所述第二目标叶子节点进行缩容包括：

将所述第二目标叶子节点存储的数据进行备份；

将所述第二目标叶子节点存储的数据存储至相关联的叶子节点中，并从所述二位数组删除所述第二目标叶子节点存储的位置id。

S22、根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。

具体的，本方案的缩容方式采用和扩展方式相反的方法进行，以图2(b)为例，释放A₂时，首先将A₂的数据备份，复制到A₁；然后将A替换成A₁；将A₁的数字序列{0，0，0}改为A的数字序列{0，0}；最后从树的二位数组中删除A₂的对应项。从而实现释放A₂物理节点，该操作影响的数据仅仅是A₂中的数据，对其余节点没有影响。

具体的，本实施例中的一致性树分布的扩展采用节点分裂的方式进行，这也是一致性树的显著特点。当一个叶子节点的容量不足或者IO压力较大时，可以将该节点分裂为多个节点以降低单个存储服务器的压力。该扩展方法影响的数据范围仅仅是被分裂的节点数据，其余节点无任何影响，扩展后各节点仍然是等价的。一致性树分布的缩容方式和扩展方式完全相反，在存储的数据被删除或者移动到其他位置时，或者存储能力远大于需求时，可以对其进行缩容来释放空闲节点。

本方案依据一致性树的分层分组结构，将所有的存储节点分布在不同层次的组里，数据按照不同层次的定位算法定位到不同的数据组中，从而完成数据和组的映射过程。而分层分组的结构可以用树形结构完美表示，从而形成一致性树分布式存储结构。

本方案实现数据的分布式存储，实现数据索引与存储位置的映射，既有数据分割算法的简单性，又有哈希算法的平衡性，同时具有一致性哈希算法的易扩展的优势。并且本方案借助树形结构的特征，解决分布式存储系统的数据均衡问题、可扩展性问题，在进行存储节点的扩展和缩容时，能够实现对其余存储节点的影响最小化。

下面对本发明实施例提供的构建系统进行介绍，下文描述的构建系统与上文描述的构建方法可以相互参照。

参见图3，本发明实施例提供的一种基于一致性树的分布式存储结构的构建系统，包括：

划分模块100，用于将物理存储节点划分为多个互不相交的有限集合；

构建模块200，用于将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

位置id确定模块300，用于确定所述分布式存储结构中每个物理存储节点的位置id。

基于上述技术方案，本方案还包括：

二位数组生成模块，用于保存每个物理存储节点对应的位置id，并生成二位数组。

基于上述技术方案，本方案还包括：

第一检测模块，用于检测到第一目标叶子节点的容量不足或者IO压力较大时，触发节点分裂模块；

所述节点分裂模块，用于将所述目标叶子节点分裂为预定数量个节点；

第一更新模块，用于根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

基于上述技术方案，本方案还包括：

第二检测模块，用于检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，触发节点缩容模块；

所述节点缩容模块，用于将所述第二目标叶子节点进行缩容，释放空闲节点；

第二更新模块，用于根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。

本发明实施例提供的一种基于一致性树的分布式存储结构的构建方法及系统，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id；可见，在本实施例中，通过这种树形存储结构，可以实现数据的分布式存储，解决分布式存储系统的数据均衡问题及可扩展性问题，有效地实现数据的分布式存储，且采用一致性树结构对分布式存储结构进行配置，相比传统的分布式方案，该方法能够有效提高可靠性，可用性和扩展性，同时具有实现简单的优点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于一致性树的分布式存储结构的构建方法，其特征在于，包括：

将物理存储节点划分为多个互不相交的有限集合；

将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

确定所述分布式存储结构中每个物理存储节点的位置id。

2.根据权利要求1所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：

保存每个物理存储节点对应的位置id，并生成二位数组。

3.根据权利要求2所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

若检测到第一目标叶子节点的容量不足或者IO压力较大时，将所述目标叶子节点分裂为预定数量个节点；

根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

4.根据权利要求3所述的构建方法，其特征在于，将所述目标叶子节点分裂为预定数量个节点，包括：

将所述第一目标叶子节点中存储的数据分布存储在新添加的叶子节点上。

5.根据权利要求2所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：

若检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，将所述第二目标叶子节点进行缩容，释放空闲节点；

根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。

6.根据权利要求5所述的构建方法，其特征在于，将所述第二目标叶子节点进行缩容包括：

将所述第二目标叶子节点存储的数据进行备份；

将所述第二目标叶子节点存储的数据存储至相关联的叶子节点中，并从所述二位数组删除所述第二目标叶子节点存储的位置id。

7.一种基于一致性树的分布式存储结构的构建系统，其特征在于，包括：

划分模块，用于将物理存储节点划分为多个互不相交的有限集合；

构建模块，用于将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；

位置id确定模块，用于确定所述分布式存储结构中每个物理存储节点的位置id。

8.根据权利要求7所述的构建系统，其特征在于，还包括：

二位数组生成模块，用于保存每个物理存储节点对应的位置id，并生成二位数组。

9.根据权利要求8所述的构建系统，其特征在于，还包括：

第一检测模块，用于检测到第一目标叶子节点的容量不足或者IO压力较大时，触发节点分裂模块；

所述节点分裂模块，用于将所述目标叶子节点分裂为预定数量个节点；

第一更新模块，用于根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。

10.根据权利要求8所述的构建系统，其特征在于，还包括：

第二检测模块，用于检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，触发节点缩容模块；

所述节点缩容模块，用于将所述第二目标叶子节点进行缩容，释放空闲节点；

第二更新模块，用于根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。