CN110532271A

CN110532271A - 基于dht算法实现的分布式存储方法、控制系统及装置

Info

Publication number: CN110532271A
Application number: CN201910816502.4A
Authority: CN
Inventors: 马怀旭
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2019-12-03

Abstract

本申请公开了一种基于DHT算法实现的分布式存储方法，包括：获取待存储数据和对应的多个副本；确定与多个所述副本对应的多个位置不同的节点，其中第一个所述节点为通过DHT算法计算得到的与第一个所述副本对应的节点，其他所述节点根据第一个所述节点确定；将多个所述副本分别存储在对应的所述节点中。由于本申请中多个副本中对应的多个节点明确分布于不同位置，因此当某一个节点出现故障时，可以将该节点通过物理故障域隔离的方式切断，不会影响其他节点的副本，避免因为单个物理故障导致整个集群不可用的现象出现，从而保证了数据的安全性和可靠性。本申请还公开了一种基于DHT算法实现的分布式存储的控制系统和控制装置。

Description

基于DHT算法实现的分布式存储方法、控制系统及装置

技术领域

本发明涉及分布式存储领域，特别涉及一种基于DHT算法实现的分布式存储方法、控制系统及装置。

背景技术

随着海量数据的增长，传统存储成本过高、效率低下，无法满足用户数据存储要求，高效智能的分布式存储由于其高性能、高可靠性、高可扩展性、透明性和自治性等优点，获取了许多应用市场。

分布式存储数据存放首先要进行分片切割处理，之后通过一定算法计算出数据存放位置。由于用户数据被切分为多个数据块，因此任何一个数据块丢失都会造成数据不可用，因此分布式存储必须考虑合理的冗余存储模型，为用户的数据分块提供多个冗余的存储副本，从而保证数据的安全性和可靠性。但是基于DHT(Distributed Hash Table，分布式哈希表)算法实现的分布式存储具有无元数据信息的特性，所有副本都是通过计算得出的，很难实现对故障域的隔离。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种能够实现物理故障域隔离的基于DHT算法实现的分布式存储方法、控制系统及装置。其具体方案如下：

一种基于DHT算法实现的分布式存储方法，包括：

获取待存储数据和对应的多个副本；

确定与多个所述副本对应的多个位置不同的节点，其中第一个所述节点为通过DHT算法计算得到的与第一个所述副本对应的节点，其他所述节点根据第一个所述节点确定；

将多个所述副本分别存储在对应的所述节点中。

优选的，所述确定与多个所述副本对应的多个位置不同的节点的过程，具体包括：

确定与多个所述副本一一对应的多个节点。

优选的，所述确定与多个所述副本一一对应的多个节点的过程，具体包括：

通过所述DHT算法确定第一个所述副本对应的节点；

根据该节点在存储架构的位置、所述副本的数量确定其他所述副本对应的所述节点在所述存储架构的位置，以使所有所述节点的位置均不相同。

优选的，所述根据该节点在存储架构的位置、所述副本的数量确定其他所述副本对应的节点在所述存储架构的位置的过程，具体包括：

自上而下比较所述存储架构中每个级别的隔离域的数量与所述副本的数量，直至出现某一级别的隔离域的数量不小于所述副本的数量时，将该级别确定为目标级别；

根据第一个所述副本对应的节点在所述存储架构中的位置，确定其他所述副本对应的节点，以使所有所述节点分别位于所述目标级别的不同隔离域中。

优选的，所述存储架构自上而下的级别包括：

数据中心、机房、机架、机柜和机箱。

优选的，所述确定与多个所述副本对应的多个位置不同的节点之前，还包括：

判断是否存在目标级别的配置指令；

如果是，则根据所述配置指令，执行所述确定与多个所述副本对应的多个位置不同的节点的步骤；

如果否，则根据存储架构和所述副本的数量，执行所述确定与多个所述副本对应的多个位置不同的节点的步骤。

相应的，本发明还公开了一种基于DHT算法实现的分布式存储的控制系统，包括：

获取模块，用于获取待存储数据和对应的多个副本；

节点确定模块，用于确定与多个所述副本对应的多个位置不同的节点，其中第一个所述节点为通过DHT算法计算得到的与第一个所述副本对应的节点，其他所述节点根据第一个所述节点确定；

动作模块，用于将多个所述副本分别存储在对应的所述节点中。

优选的，所述节点确定模块具体包括：

第一确定单元，用于通过所述DHT算法确定第一个所述副本对应的节点；

第二确定单元，用于根据该节点在存储架构的位置、所述副本的数量确定其他所述副本对应的所述节点在所述存储架构的位置，以使所有所述节点的位置均不相同。

优选的，所述第二确定单元具体用于：自上而下比较所述存储架构中每个级别的隔离域的数量与所述副本的数量，直至出现某一级别的隔离域的数量不小于所述副本的数量时，将该级别确定为目标级别；

相应的，本发明还公开了一种基于DHT算法实现的分布式存储的控制装置，包括：

存储器，用于存储控制程序；

处理器，用于执行所述控制程序时实现如上文任一项所述基于DHT算法方法的步骤。

本发明公开了一种基于DHT算法实现的分布式存储方法，包括：获取待存储数据和对应的多个副本；确定与多个所述副本对应的多个位置不同的节点，其中第一个所述节点为通过DHT算法计算得到的与第一个所述副本对应的节点，其他所述节点根据第一个所述节点确定；将多个所述副本分别存储在对应的所述节点中。由于本发明中多个副本中对应的多个节点明确分布于不同位置，因此当某一个节点出现故障时，可以将该节点通过物理故障域隔离的方式切断，不会影响其他节点的副本，避免因为单个物理故障导致整个集群不可用的现象出现，从而保证了数据的安全性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种基于DHT算法实现的分布式存储方法的步骤流程图；

图2为本发明实施例中一种具体的基于DHT算法实现的分布式存储方法的步骤流程图；

图3为本发明实施例中一种基于DHT算法实现的分布式存储的控制系统的结构分布图；

图4位本发明实施例中一种基于DHT算法实现的分布式存储的控制装置的结构分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于DHT算法实现的分布式存储具有无元数据信息的特性，所有副本都是通过计算得出的，很难实现对故障域的隔离。由于本申请中多个副本中对应的多个节点明确分布于不同位置，因此当某一个节点出现故障时，可以将该节点通过物理故障域隔离的方式切断，不会影响其他节点的副本，避免因为单个物理故障导致整个集群不可用的现象出现，从而保证了数据的安全性和可靠性。

本发明实施例公开了一种基于DHT算法实现的分布式存储方法，参见图1所示，包括：

S11：获取待存储数据和对应的多个副本；

S12：确定与多个副本对应的多个位置不同的节点，其中第一个节点为通过DHT算法计算得到的与第一个副本对应的节点，其他节点根据第一个节点确定；

可以理解的是，本实施例中副本的个数和节点的个数并不需要完全一致，副本个数大于或等于节点个数，也就是说一个节点可以存储一个或多个副本，但是所有副本必须对应至少两个位置不同的节点，从而能够保证其中有一个节点出现故障断电时，其他节点能够正常运行，正常运行的其他节点中存储的副本能够正常读取。

其中，第一个节点确定是直接以DHT算法计算得到的，其他的节点根据第一个节点确定，只要保证所有副本分布在不同的节点中即可。

S13：将多个副本分别存储在对应的节点中。

进一步的，在确定与多个副本对应的多个位置不同的节点之前，还包括：

判断是否存在目标级别的配置指令；

如果是，则根据配置指令，执行确定与多个副本对应的多个位置不同的节点的步骤；

如果否，则根据存储架构和副本的数量，执行确定与多个副本对应的多个位置不同的节点的步骤。

可以理解的是，该配置指令可以是对应整个存储集群的控制系统设置的，也可以是针对待存储数据设置的。当存在该配置指令，在确定节点的时候，所有节点的位置不同应当体现在至少目标级别均不相同。通常来说，存储架构自上而下的级别包括数据中心、机房、机架、机柜和机箱，例如目标级别为机柜时，所有节点的位置可以位于相同的机房或机架，但是不能位于相同的机柜中。

本发明实施例公开了一种基于DHT算法实现的分布式存储方法，包括：获取待存储数据和对应的多个副本；确定与多个副本对应的多个位置不同的节点，其中第一个节点为通过DHT算法计算得到的与第一个副本对应的节点，其他节点根据第一个节点确定；将多个副本分别存储在对应的节点中。由于本发明实施例中多个副本中对应的多个节点明确分布于不同位置，因此当某一个节点出现故障时，可以将该节点通过物理故障域隔离的方式切断，不会影响其他节点的副本，避免因为单个物理故障导致整个集群不可用的现象出现，从而保证了数据的安全性和可靠性。

本发明实施例公开了一种具体的基于DHT算法实现的分布式存储方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的，参见图2所示：

S21：获取待存储数据和对应的多个副本；

S22：确定与多个副本一一对应的多个节点，其中第一个节点为通过DHT算法计算得到的与第一个副本对应的节点，其他节点根据第一个节点确定；

进一步的，该步骤具体为：

S221：通过DHT算法确定第一个副本对应的节点；

S222：根据该节点在存储架构的位置、副本的数量确定其他副本对应的节点在存储架构的位置，以使所有节点的位置均不相同。

更具体的，步骤S222包括以下步骤：

自上而下比较存储架构中每个级别的隔离域的数量与副本的数量，直至出现某一级别的隔离域的数量不小于副本的数量时，将该级别确定为目标级别；

根据第一个副本对应的节点在存储架构中的位置，确定其他副本对应的节点，以使所有节点分别位于目标级别的不同隔离域中。

S23：将多个副本分别存储在对应的节点中。

具体的，存储架构自上而下的级别可以包括：

数据中心、机房、机架、机柜和机箱。

可见，本实施例中限定了副本个数与节点个数相同，每个副本对应一个节点，因此能够进一步提高存储集群中节点故障时副本数据的安全性。而存储架构中上一级隔离域包含下一级隔离域，也即一个数据中心包含一个或多个机房，一个机房包括一个或多个机架等等，上一级的隔离域的数量必然不会大于下一级所有的隔离域的数量，因此在确定节点时自上而下比较每个级别的隔离域与副本的个数，直至某一级别的隔离域数量不小于副本的数量时，确定这一级别为目标级别，目标级别的用意与上一实施例相似：是使所有节点分别位于目标级别的不同隔离域中。

由于本发明实施例中多个副本中对应的多个节点明确分布于不同位置，因此当某一个节点出现故障时，可以将该节点通过物理故障域隔离的方式切断，不会影响其他节点的副本，避免因为单个物理故障导致整个集群不可用的现象出现，从而保证了数据的安全性和可靠性。

相应的，本发明实施例还公开了一种基于DHT算法实现的分布式存储的控制系统，参见图3所示，包括：

获取模块01，用于获取待存储数据和对应的多个副本；

节点确定模块02，用于确定与多个副本对应的多个位置不同的节点，其中第一个节点为通过DHT算法计算得到的与第一个副本对应的节点，其他节点根据第一个节点确定；

动作模块03，用于将多个副本分别存储在对应的节点中。

在一些具体的实施例中，节点确定模块02具体用于：确定与多个副本一一对应的多个节点。

在一些具体的实施例中，节点确定模块02具体包括：

第一确定单元，用于通过DHT算法确定第一个副本对应的节点；

第二确定单元，用于根据该节点在存储架构的位置、副本的数量确定其他副本对应的节点在存储架构的位置，以使所有节点的位置均不相同。

在一些具体的实施例中，第二确定单元具体用于：自上而下比较存储架构中每个级别的隔离域的数量与副本的数量，直至出现某一级别的隔离域的数量不小于副本的数量时，将该级别确定为目标级别；根据第一个副本对应的节点在存储架构中的位置，确定其他副本对应的节点，以使所有节点分别位于目标级别的不同隔离域中。

在一些具体的实施例中，存储架构自上而下的级别包括：

数据中心、机房、机架、机柜和机箱。

在一些具体的实施例中，还包括指令判断模块04，用于判断是否存在目标级别的配置指令；如果是，则触发节点确定模块02，以根据配置指令，执行确定与多个副本对应的多个位置不同的节点的步骤；如果否，则触发节点确定模块02，以根据存储架构和副本的数量，执行确定与多个副本对应的多个位置不同的节点的步骤。

相应的，本发明实施例还公开了一种基于DHT算法实现的分布式存储的控制装置，包括处理器11和存储器12；参见图4所示，其中，处理11执行存储器12中保存的控制程序时实现以下步骤：

获取待存储数据和对应的多个副本；

确定与多个副本对应的多个位置不同的节点，其中第一个节点为通过DHT算法计算得到的与第一个副本对应的节点，其他节点根据第一个节点确定；

将多个副本分别存储在对应的节点中。

优选的，确定与多个副本对应的多个位置不同的节点的过程，具体包括：

确定与多个副本一一对应的多个节点。

在一些具体的实施例中，处理器11执行存储器12中保存的子控制程序时，具体可以实现以下步骤：

通过DHT算法确定第一个副本对应的节点；

根据该节点在存储架构的位置、副本的数量确定其他副本对应的节点在存储架构的位置，以使所有节点的位置均不相同。

在一些具体的实施例中，存储架构自上而下的级别包括：

数据中心、机房、机架、机柜和机箱。

判断是否存在目标级别的配置指令；

进一步的，本实施例中的基于DHT算法实现的分布式存储的控制装置，还可以包括：

输入接口13，用于获取外界导入的控制程序，并将获取到的控制程序保存至存储器12中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器11中，以便处理器11利用上述各种指令和参数展开相应的处理。本实施例中，输入接口13具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。

输出接口14，用于将处理器11产生的各种数据输出至与其相连的终端设备，以便于与输出接口14相连的其他终端设备能够获取到处理器11产生的各种数据。本实施例中，输出接口14具体可以包括但不限于USB接口、串行接口等。

通讯单元15，用于在控制装置和外部服务器之间建立远程通讯连接，以便于控制装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元15具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。

键盘16，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。

显示器17，用于对分布式存储的相关信息进行实时显示，以便于用户及时地了解当前存储数据的副本存储情况。

鼠标18，可以用于协助用户输入数据并简化用户的操作。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种基于DHT算法实现的分布式存储方法、控制系统及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于DHT算法实现的分布式存储方法，其特征在于，包括：

获取待存储数据和对应的多个副本；

将多个所述副本分别存储在对应的所述节点中。

2.根据权利要求1所述分布式存储方法，其特征在于，所述确定与多个所述副本对应的多个位置不同的节点的过程，具体包括：

确定与多个所述副本一一对应的多个节点。

3.根据权利要求2所述分布式存储方法，其特征在于，所述确定与多个所述副本一一对应的多个节点的过程，具体包括：

通过所述DHT算法确定第一个所述副本对应的节点；

4.根据权利要求3所述分布式存储方法，其特征在于，所述根据该节点在存储架构的位置、所述副本的数量确定其他所述副本对应的节点在所述存储架构的位置的过程，具体包括：

5.根据权利要求4所述分布式存储方法，其特征在于，所述存储架构自上而下的级别包括：

数据中心、机房、机架、机柜和机箱。

6.根据权利要求1至5任一项所述分布式存储方法，其特征在于，所述确定与多个所述副本对应的多个位置不同的节点之前，还包括：

判断是否存在目标级别的配置指令；

7.一种基于DHT算法实现的分布式存储的控制系统，其特征在于，包括：

获取模块，用于获取待存储数据和对应的多个副本；

8.根据权利要求7所述控制系统，其特征在于，所述节点确定模块具体包括：

9.根据权利要求8所述控制系统，其特征在于，所述第二确定单元具体用于：自上而下比较所述存储架构中每个级别的隔离域的数量与所述副本的数量，直至出现某一级别的隔离域的数量不小于所述副本的数量时，将该级别确定为目标级别；

10.一种基于DHT算法实现的分布式存储的控制装置，其特征在于，包括：

存储器，用于存储控制程序；

处理器，用于执行所述控制程序时实现如权利要求1至6任一项所述基于DHT算法方法的步骤。