CN106776001A - 一种分布式数据库集群数据的分布方法及装置 - Google Patents

Abstract

本发明提供了一种分布式数据库集群数据的分布方法及装置，其中，所述方法包括：在集群节点安装时，获取所述节点的硬件信息；配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。

Description

一种分布式数据库集群数据的分布方法及装置

技术领域

本发明属于数据库技术领域，尤其是涉及一种分布式数据库集群数据的分布方法及装置。

背景技术

分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。

在客户的业务场景中，当初始安装集群时，如果集群节点的硬件资源不对等，或者当安装完集群后需要进行节点替换时，当替换的新节点和原有集群节点的硬件资源不对等时，或者到进行集群扩容时，新的扩容的节点的硬件资源和原集群节点资源不对等时，当前版本的集群进行数据分布时采用一致性的hash方式来分布数据时把节点对等看待，保证了节点数据是均匀的，但节点的硬件资源的不对等导致了节点运算的木桶效应。目前市场上主流的分布式数据库系统vertica,GreepPlum一般也是采用一致性的hash方式来分布集群中的数据，经过hash分布的表，在初始安装，节点替换和扩容时，按照以上方式导致当集群中的物理节点的硬件配置即使不同时，采用一致性的hash方式来分布数据把节点对等看待，因此无论集群中硬件配置高的物理节点，还是集群中硬件配置低的物理节点都分配到了基本相当的数据量，带来的问题是硬件配置低的物理节点成为了系统性能的瓶颈。

发明内容

本发明实施例提供了一种分布式数据库集群数据的分布方法及装置，以解决现有技术中集群节点的硬件资源的不对等导致了节点运算的木桶效应。的技术问题。

一方面，本发明实施例提供了一种分布式数据库集群数据的分布方法，包括：

在集群节点安装时，获取所述节点的硬件信息；

配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

进一步的，所述方法还包括：

在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

进一步的，所述方法还包括：

在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

更进一步的，所述根据所述增加的节点的硬件信息分配哈希桶，包括：

移动变更哈希桶的节点的部分数据至所述增加的节点。

另一方面，本发明实施例提供了一种分布式数据库集群数据的分布装置，包括：

获取单元，用于在集群节点安装时，获取所述节点的硬件信息；

分配单元，用于配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

进一步的，所述装置还包括：

调整单元，用于在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

进一步的，所述装置还包括：

再分配单元，用于在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

更进一步的，所述再分配单元用于：

移动变更哈希桶的节点的部分数据至所述增加的节点。

本发明实施例提供的分布式数据库集群数据的分布方法及装置，通过根据分布式数据库集群节点的硬件配置哈希地图，并可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的分布式数据库集群数据的分布方法的流程示意图；

图2是本发明实施例二提供的分布式数据库集群数据的分布方法的流程示意图；

图3是本发明实施例三提供的分布式数据库集群数据的分布方法的流程示意图；

图4是本发明实施例四提供的布式数据库集群数据的分布装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的分布式数据库集群数据的分布方法的流程图，本实施例可适用于对集群中的数据进行分布的情况，该方法可以由分布式数据库集群数据的分布装置来执行，该装置可由软件/硬件方式实现，并可集成于分布式数据库系统的管理节点中。

参见图1，所述分布式数据库集群数据的分布的方法，包括：

S110，在集群节点安装时，获取所述节点的硬件信息。

分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库。每个计算机系统的硬件配置可能相同，也可能不同。在本实施例中，可以将分布式数据库系统的节点分为三类,分别为低硬件资源的节点，中硬件资源的节点，高硬件资源的节点。在创建分布式数据库时，对集群中每个节点进行安装，在进行安装时，可以通过网络和相应的指令获取每个节点的硬件信息。所述硬件信息可以包括：CPU频率、内存大小和硬盘大小等。

S120，配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

在节点硬件信息缺省情况下，各个节点所分配到的hash桶是均匀的，因此保证了各个节点所分配的数据是均匀的，但如果节点本身的硬件资源不均等时，如果数据分配是均匀的，反而造成了节点运算的木桶效应。在集群节点安装完成后，配置集群的hashmap。高硬件资源的节点分配更多的hash桶，其次是中硬件资源的节点，最后是低硬件资源的节点，按此方式自动产生hashmap。其中，hash map是hash值和节点的对应关系。哈希桶通常容量是固定值，即能处理固定次数的冲突。由此可以看出，哈希桶的容量与节点运算处理能力相关。所以，需要根据所述节点的硬件信息为每个节点分配哈希桶。当数据进行分布时，能够保证高硬件资源的节点分配更多的数据，其次是中硬件资源的节点，最后是低硬件资源的节点，按照该种方式避免了节点运算的木桶效应。缺省情况下，各个节点所分配到的hash桶是均匀的。根据hash map对数据进行分布。即在数据进行分布时，首先计算数据的hash值，根据hashmap中的hash值取得该hash值所对应的节点进行数据的分布。

本实施例通过根据分布式数据库集群节点的硬件配置哈希地图，并可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。

实施例二

图2是本发明实施例二提供的分布式数据库集群数据的分布的方法的流程示意图，本发明实施例以上述实施例为基础，进一步的，所述方法还包括：在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

参见图2，所述分布式数据库集群数据的分布的方法，包括：

S210，在集群节点安装时，获取所述节点的硬件信息。

S220，配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

S230，在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

集群中的硬件资源进行调整时，可以调整该hashmap中该节点所对应的hash桶，并对调整所涉及到的hash桶所对应的节点的数据重新进行分布

本实施例通过增加如下步骤：在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。可以在集群中的硬件资源进行调整时，可以调整该hashmap中该节点所对应的hash桶，并对调整所涉及到的hash桶所对应的节点的数据重新进行分布

实施例三

图3是本发明实施例二提供的分布式数据库集群数据的分布的方法的流程示意图，本发明实施例以上述实施例为基础，进一步的，所述方法还包括：在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

参见图3，所述分布式数据库集群数据的分布的方法，包括：

S310，在集群节点安装时，获取所述节点的硬件信息。

S320，配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

S330，在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

在所述集群进行扩容时，常规情况下新扩容的节点的硬件资源一般高于原集群中的节点，因此对扩容后的集群可以建立新的hashmap,新hashmap中，新扩容的节点可以分配更多的hash桶，来达到新节点可以分布更多数据的目的。

本实施例通过增加如下步骤：在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。可以使得新扩容的节点可以分配更多的hash桶，来达到新节点可以分布更多数据的目的。

在本实施例的一个优选实施方式中，将根据所述增加的节点的硬件信息分配哈希桶，具体优化为：移动变更哈希桶的节点的部分数据至所述增加的节点。重新调整hashmap后，对涉及到hash桶变更后的集群中原有节点进行数据重分布，移动hash桶变更的节点的部分数据到新扩容的节点上。可以保证新扩容的节点分布更多的数据。

实施例四

图4是本发明实施例四提供的分布式数据库集群数据的分布装置的结构示意图，如图4所示，所述装置包括：

获取单元410，用于在集群节点安装时，获取所述节点的硬件信息；

分配单元420，用于配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

进一步的，所述装置还包括：

调整单元，用于在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

进一步的，所述装置还包括：

再分配单元，用于在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

更进一步的，所述再分配单元用于：

移动变更哈希桶的节点的部分数据至所述增加的节点。

本实施例提供的分布式数据库集群数据的分布装置，通过根据分布式数据库集群节点的硬件配置哈希地图，并可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种分布式数据库集群数据的分布方法，其特征在于，包括：

在集群节点安装时，获取所述节点的硬件信息；

配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

4.根据权利要求3所述的方法，其特征在于，所述根据所述增加的节点的硬件信息分配哈希桶，包括：

移动变更哈希桶的节点的部分数据至所述增加的节点。

5.一种分布式数据库集群数据的分布装置，其特征在于，包括：

获取单元，用于在集群节点安装时，获取所述节点的硬件信息；

分配单元，用于配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

调整单元，用于在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

再分配单元，用于在所述集群增加节点时，建立新的Hash Map，并根据所述增加的节点的硬件信息分配哈希桶。

8.根据权利要求7所述的装置，其特征在于，所述再分配单元用于：

移动变更哈希桶的节点的部分数据至所述增加的节点。