CN113868335A - 一种内存数据库分布式集群的扩展方法和设备 - Google Patents

Abstract

本发明公开了一种内存数据库分布式集群的扩展方法和设备，内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组，有效提高了内存数据库分布式集群的扩展性能。

Description

一种内存数据库分布式集群的扩展方法和设备

技术领域

本申请涉及数据库技术领域，更具体地，涉及一种内存数据库分布式集群的扩展方法和设备。

背景技术

数据库的可扩展性一般需要满足以下三个准则：

a、水平扩展：支持多节点水平按需扩展，实现以更多服务器带来更多的负载。

b、对应用程序的透明性：服务器的扩展性实现必须与业务的应用逻辑无关，对之透明。

c、容错性、节点可拆卸：不允许单个或部分服务器节点故障或宕机，导致应用的错误或失败。

现有技术中，数据库扩展的方法主要有“垂直扩展”、“数据分片”和“读写分离”三种方式。

一、垂直扩展

垂直扩展，也成为“摩尔定律”扩展，该方法是通过使用一个计算性能更佳、存储空间更大的服务器替换原有的服务器，以此来获得更多的计算、存储和网络资源，提升数据处理的性能和效率。但垂直扩展的会带来如下四个问题：

1、扩展过程比较复杂（如硬件运行测试；重新安装操作系统、数据库和应用软件；数据迁移等），经常需要人工参与，也经常导致服务器停机。

2、成本高、资源浪费。需要花费更高的成本购买配置远超当前应用需求的服务器，造成超出部分的资源闲置，因此导致成本高，且带来计算、存储等资源浪费。同时被替换掉的服务器将变得没有价值，难以重复利用，再度增加了资源的浪费。

3、难以水平扩展，服务器性能存在瓶颈。因为计算、存储等资源高度集中于一台设备，该扩展方法通过单一地增加一台服务器升级实现计算、数据传输等性能提升和存储空间扩展，无法进行水平扩展。与此同时，单台设备的可控扩展空间总是有限的，因此无论单台服务器的配置有多高，都会存在性能瓶颈，为对成本较为敏感的用户带来巨大的使用成本。

二、数据分片

数据分片(Sharding)，也称为“数据分区”，是根据应用程序制定的“界限”把数据切分到不同数据库上的数据库扩展的方法。数据分片的方式有多种，包括基于键的分片、基于范围的分片和基于目录的分片。其中典型的方式基于范围的分片，如根据ID（这个划分的标准也可以以用户名的开头字母A-Z），把1-100的数据存储到一个数据库上，101-200存储到另一个服务器上，更多数据依次类推。数据分片的原理是将数据做水平切分，通过应用架构解决访问路由和数据合并的问题。数据分片架构的优势在于集群扩展能力很强，几乎可以做到线性扩展，而且整个集群的可用性也很高，部分节点故障不会影响其他节点正常提供服务。

但是数据分片对应用场景的要求很高，因为一旦使用数据分片架构，如果需要跨不同的节点做关联(join)，或者统计类型的操作，将会变得非常困难。导致这个困难的根本原因是数据分片需要和应用程序的逻辑紧密结合起来，并且要精心的设计划分的模式、数据库的模式和系统可能有的查询方式。因此，这种方式虽然具备水平扩展的特性，但是对应用程序的逻辑不透明，节点故障容易导致应用的错误。数据分片带来更深的问题是与关系数据库的本质有关，关系数据库中的表一般维护着关系模式，如果要记录被切分到不同服务器上的数据，就需要维护多个模式，即意味着要更改客户端的程序，所以采用这种架构会使得关系型数据库的很多特性荡然无存，大大弱化数据库的处理能力，尤其是对复杂查询要求较高的分析型数据库的处理能力。

三、读写分离

读写分离是通过配置主从复制的方式来实现数据库扩展。数据库的“主”服务器把数据实时地复制到“从”服务器，其中“主”服务器仅提供“只写”功能，“从”服务器仅提供“只读”功能，即一切的读操作分发到一个只读（SELECT）的“从”服务器上，一切的写操作（INSERT、UPDATE、DELETE）分发到“主”服务器上。对关系数据库来说，读写分离的数据库扩展方式被很多大型关系数据库系统采用，在读方面它提供了水平扩展的可扩展性，并且对应用程序来说也是透明的。

但是，读写分离也存在三大问题：

1、尽管提供“主”“从”复制的方式，但配置方式一般也会比较复杂，带来了不同程度的配置和维护难题。

2、读写分离是一个受限的技术，特别对于一些写操作频繁的应用，由“主”服务器带来的瓶颈会特别明显，数据库的性能仍然难以满足大规模数据高效处理的预期要求。

3、在容错性方面，读写分离方式会导致应用出现错误，且维护工作量较大。在服务器出现故障，尤其在“主”服务器宕机的情况下，会直接导致应用会出现错误。不仅如此，在维护中，利用只读“从”数据库可以很方便地恢复另一个服务器上的数据，但也需要同时对多个“从”服务器的运行状态时刻进行监视，这也使得日常维护会比较麻烦。

综合来看，不论是垂直扩展，还是数据分片和读写分离，这三种数据库扩展方式都无法完全满足数据库的海量水平扩展、对应用透明、及容错性和节点可拆卸三大特性。同时也很难提供很高的负载，满足大数据时代对海量数据的存储、复杂计算、实时处理、即时查询、数据安全、节点按需扩展等严苛要求。而且这三种现有数据库扩展技术基本都是基于磁盘数据库的，并不适合于内存数据库。

因此，如何有效提高内存数据库分布式集群的扩展性能，是目前有待解决的技术问题。

发明内容

本发明提供一种内存数据库分布式集群的扩展方法，用以解决现有技术中内存数据库分布式集群的扩展性能低的技术问题。所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，该方法包括：

基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；

根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；

根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；

基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；

其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一。

在本申请一些实施例中，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组，具体为：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

在本申请一些实施例中，根据M和N-X对所述新数据节点进行分组，具体为：

若M≤（N-X），将各所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至与未满配数据节点分组连接的目标从管理节点中；

若M＞（N-X），将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，将剩余的M-（N-X）个所述新数据节点增加为一个新增数据节点分组，在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

在本申请一些实施例中，根据M和N对所述新数据节点进行分组，具体为：

若M%N=0，增加M/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加M/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若M%N>0，增加M/N+1个新增数据节点分组，其中包括M/N个节点数量为N的新增数据节点分组和一个节点数量为M%N的新增数据节点分组，在所述管理节点分组中增加M/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

在本申请一些实施例中，根据M-（N-X）和N对所述新数据节点进行分组，具体为：

若{M-(N-X)}%N=0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若{M-(N-X)}%N>0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N+1个新增数据节点分组，其中包括{M-(N-X)}/N个节点数量为N的新增数据节点分组和一个节点数量为{M-(N-X)}%N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

在本申请一些实施例中，各新增数据节点分组中包括一个主数据节点和至少一个从数据节点，若新增数据节点分组中仅包括一个数据节点，新增数据节点分组中的一个数据节点既是主数据节点，又是从数据节点。

在本申请一些实施例中，根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中，具体为：

基于各从管理节点统计与分组结果对应的分组信息，并将所述分组信息提交给主管理节点；

基于主管理节点生成与所述分组信息对应的重新分配任务，并将所述重新分配任务下发至各数据节点分组执行，以将各原数据节点分组中的数据重新分配至各新数据节点分组中；

其中，所述分组信息包括各数据节点分组中的数据节点数量、最大存储容量和已存储的数据量。

在本申请一些实施例中，所述方法还包括：

基于预设集群性能分析算法对所述内存数据库分布式集群进行实时监测，并对监测到的性能参数进行分析后确定系统运行性能的分析结果；

若所述分析结果低于系统运行性能阈值，发出集群需要扩展的通知；

其中，所述性能参数包括任务处理时间、数据传输效率、硬件运行情况信息、资源消耗情况信息、内存数据库运行状况信息。

相应的，本发明还提出了一种内存数据库分布式集群的扩展设备，所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，所述设备包括：

接入模块，用于基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；

分组模块，用于根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；

分配模块，用于根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；

同步模块，用于基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；

其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一。

在本申请一些实施例中，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，所述分组模块，具体用于：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

通过应用以上技术方案，内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一，有效提高了内存数据库分布式集群的扩展性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地 ，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提出的一种内存数据库分布式集群的扩展方法的流程示意图；

图2示出了本发明实施例中内存数据库分布式集群的架构示意图；

图3示出了本发明实施例提出的一种内存数据库分布式集群的扩展设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种内存数据库分布式集群的扩展方法，所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组。

如图2所示，内存数据库分布式集群包括一个管理节点分组和至少一个数据节点分组，管理节点分组和各数据节点分组通过数据线连接。管理节点分组用于根据数据节点分组上的数据字典信息、数据节点分组的可用资源、内存数据库分布式集群的内部网络资源和应用请求对集群内的分组及节点进行扩展、管理和任务负载均衡。数据节点分组用于存储数据，并执行所述管理节点分组下发的任务。

预设节点分组规则为：管理节点分组包括一个主管理节点和至少一个从管理节点，数据节点分组包括一个主数据节点和至少一个从数据节点，从管理节点的数量等于数据节点分组的数量且不大于预设数量，数据节点分组中的节点数量不大于预设数量，节点数量小于预设数量的未满配数据节点分组的数量不大于一。

其中，主数据节点用于存储数据节点分组中的所有从数据节点的数据字典信息，及对所有从数据节点进行管理和任务负载均衡。各从数据节点用于存储数据。主管理节点用于接收应用请求、任务下发、请求反馈和管理所有从管理节点。从管理节点用于同步更新和存储数据节点分组中的数据字典信息和资源使用情况信息。数据字典信息包括数据节点分组中的元数据、索引等信息，以关系型模型进行存储；资源使用情况信息包括所述数据节点分组的网络、计算、存储等资源的使用信息。

通过在内存数据库分布式集群部署管理节点分组和数据节点分组，使得内存数据库分布式集群在响应应用请求时，由管理节点分组中的主管理节点根据从管理节点上存储的数据字典信息和资源使用情况信息，将任务下发给存储有与任务相关的数据且网络、计算、存储等资源充足的数据节点分组中；再由该数据节点分组的主数据节点根据该分组中数据节点的数据字典信息和资源使用情况信息将任务下发给各从数据节点上执行。

如图1所示，所述方法包括：

步骤S101，基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络。

本实施例中，用户（如管理员）在认为内存数据库分布式集群需要进行扩展时，会发送数据库扩展请求，新数据节点为预置的数据节点或用户选择的新数据节点，新数据节点可以为一个或多个，根据该数据库扩展请求将新数据节点通过数据线接入内存数据库分布式集群的数据传输网络，以与原数据节点分组和管理节点分组互相连接。

为了使用户在内存数据库分布式集群需要扩展时及时发出数据库扩展请求，在本申请一些实施例中，所述方法还包括：

基于预设集群性能分析算法对所述内存数据库分布式集群进行实时监测，并对监测到的性能参数进行分析后确定系统运行性能的分析结果；

若所述分析结果低于系统运行性能阈值，发出集群需要扩展的通知。

本实施例中，系统运行性能阈值可以是用户根据业务及应用系统要求内存数据库分布式集群应具备的性能、效率等指标预设的得分阈值，用户可根据需要对系统运行性能阈值进行调整，基于预设集群性能分析算法对内存数据库分布式集群进行实时监测，并对监测到的性能参数进行综合分析确定综合得分，将该综合得分作为分析结果与系统运行性能阈值进行比较，若分析结果低于系统运行性能阈值，说明内存数据库分布式集群的当前运行性能较差，需要进行扩展，发出集群需要扩展的通知，用户在看到该通知可及时发出数据库扩展请求。

可以理解的是，若分析结果不低于系统运行性能阈值，则说明内存数据库分布式集群的当前运行性能满足要求，不发出上述通知。

性能参数可包括任务处理时间、数据传输效率、硬件运行情况信息、资源消耗情况信息、内存数据库运行状况信息。

可选的，对监测到的性能参数进行综合分析确定综合得分，具体可以为：

基于预设打分规则分别对每种性能参数进行打分，确定每种性能参数的得分；

分别基于各得分与每种性能参数的对应的权重相乘后确定各权重得分；

基于各权重得分之和确定所述综合得分。

步骤S102，根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组。

本实施例中，为了保障数据计算、存储等高性能，在接入新数据节点后，根据新数据节点的数量和预设节点分组规则对新数据节点进行分组。

为了准确的对新数据节点进行分组，在本申请一些实施例中，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组，具体为：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

本实施例中，根据新数据节点的数量的不同以及是否存在未满配数据节点分组采用不同的方式对新数据节点进行分组。

需要说明的是，以上实施例的方案仅为本申请所提出的一种具体实现方案，其他根据新数据节点的数量和预设节点分组规则对新数据节点进行分组的方式均属于本申请的保护范围。

为了在M＜N且存在未满配数据节点分组时，准确的对新数据节点进行分组，在本申请一些实施例中，根据M和N-X对所述新数据节点进行分组，具体为：

若M≤（N-X），将各所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至与未满配数据节点分组连接的目标从管理节点中；

若M＞（N-X），将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，将剩余的M-（N-X）个所述新数据节点增加为一个新增数据节点分组，在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

本实施例中，未满配数据节点分组的数量不大于一，若M≤（N-X），说明新数据节点的数量不足使未满配数据节点分组的节点数量达到预设数量或刚好使未满配数据节点分组的节点数量达到预设数量，此时，直接将各新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至与未满配数据节点分组连接的目标从管理节点中；

若M＞（N-X），说明新数据节点的数量可以使未满配数据节点分组的节点数量达到预设数量，并还可形成一个新增数据节点分组，此时将N-X个新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至目标从管理节点，还将剩余的M-（N-X）个新数据节点增加为一个新增数据节点分组，在管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

可以理解的是，若M=N且存在未满配数据节点分组，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，将剩余的M-（N-X）个所述新数据节点增加为一个新增数据节点分组，在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

为了在M＞N且不存在未满配数据节点分组时，准确的对新数据节点进行分组，在本申请一些实施例中，根据M和N对所述新数据节点进行分组，具体为：

若M%N=0，增加M/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加M/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若M%N>0，增加M/N+1个新增数据节点分组，其中包括M/N个节点数量为N的新增数据节点分组和一个节点数量为M%N的新增数据节点分组，在所述管理节点分组中增加M/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

本实施例中，不存在未满配数据节点分组，若M%N=0，说明M除以N没有余数，此时增加M/N个节点数量为N的新增数据节点分组，在管理节点分组中增加M/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

若M%N>0，说明M除以N有余数，此时除了增加M/N个节点数量为N的新增数据节点分组，还增加一个节点数量为M%N的新增数据节点分组，并在所述管理节点分组中增加M/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

为了在M＞N且存在未满配数据节点分组时，准确的对新数据节点进行分组，在本申请一些实施例中，根据M-（N-X）和N对所述新数据节点进行分组，具体为：

若{M-(N-X)}%N=0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若{M-(N-X)}%N>0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N+1个新增数据节点分组，其中包括{M-(N-X)}/N个节点数量为N的新增数据节点分组和一个节点数量为{M-(N-X)}%N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

本实施例中，存在未满配数据节点分组，若{M-(N-X)}%N=0，说明补充未满配数据节点分组后，剩余的新数据节点的数量是N的整倍数，此时将N-X个新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，还增加{M-(N-X)}/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

若{M-(N-X)}%N>0，即补充未满配数据节点分组后，剩余的新数据节点的数量不能被N整除，此时将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，还增加{M-(N-X)}/N+1个新增数据节点分组，其中包括{M-(N-X)}/N个节点数量为N的新增数据节点分组和一个节点数量为{M-(N-X)}%N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

为了可靠的增加新增数据节点分组，在本申请一些实施例中，各新增数据节点分组中包括一个主数据节点和至少一个从数据节点，若新增数据节点分组中仅包括一个数据节点，新增数据节点分组中的一个数据节点既是主数据节点，又是从数据节点。

可选的，主数据节点为数据节点分组中任意一个数据节点或用户指定的数据节点。

步骤S103，根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中。

本实施例中，为了提高集群的性能，根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中。可选的，可基于负载均衡进行重新分配。

可以理解的是，新数据节点分组包括对未满配数据节点分组进行扩展后的数据节点分组和新增数据节点分组。

为了可靠的进行重新分配，在本申请一些实施例中，根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中，具体为：

基于各从管理节点统计与分组结果对应的分组信息，并将所述分组信息提交给主管理节点；

基于主管理节点生成与所述分组信息对应的重新分配任务，并将所述重新分配任务下发至各数据节点分组执行，以将各原数据节点分组中的数据重新分配至各新数据节点分组中。

本实施例中，先基于各从管理节点统计与分组结果对应的分组信息，分组信息包括各数据节点分组中的数据节点数量、最大存储容量和已存储的数据量，并将所述分组信息提交给主管理节点，主管理节点基于分组信息进行计算，生成重新分配任务，并将重新分配任务下发至各数据节点分组执行，各数据节点分组执行完成后使各原数据节点分组中的数据重新分配至各新数据节点分组中。

原数据节点分组接收到重新分配任务后，将超出当前性能需求数据量的部分数据通过内存数据库分布式集群的数据传输网络传输至各新数据节点分组中。

步骤S104，基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组。

本实施例中，可基于主数据节点根据各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将数据字典信息同步至对应的从管理节点。

通过应用以上技术方案，内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一，有效提高了内存数据库分布式集群的扩展性能。

为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。

本申请实施例提供一种内存数据库分布式集群的扩展方法，内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，该方法包括以下步骤：

步骤一，基于预设集群性能分析算法对所述内存数据库分布式集群进行实时监测。

步骤二，对监测到的性能参数进行分析后确定系统运行性能的分析结果，若所述分析结果低于系统运行性能阈值，发出集群需要扩展的通知。

步骤三，若接收到用户发送的数据库扩展请求，根据数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络。

本步骤中，数据库扩展请求可以是用户根据集群需要扩展的通知或实际业务需求发出。

步骤四，根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组。

具体的，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，未满配数据节点分组的数量不大于一，分为以下七种情况：

情况一，若M≤N且不存在未满配数据节点分组，根据预设节点分组规则，增加1个新增数据节点分组，其中将M-1个新数据节点作为该新增数据节点分组中的从数据节点，剩余的1个新数据节点作为该新增数据节点分组的主数据节点，同时在管理节点分组中增加1个新增从管理节点，并连接新增从管理节点和新增数据节点分组.

情况二，若M＜N且存在未满配数据节点分组，且M≤（N-X），直接将各所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至与未满配数据节点分组连接的目标从管理节点中。

情况三，若M＜N且存在未满配数据节点分组，且M >（N-X），将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，将剩余的M-（N-X）个所述新数据节点增加为一个新增数据节点分组，在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

情况四，若M＞N且不存在未满配数据节点分组，且M%N=0，即M刚好是N的整倍数，增加M/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加M/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组，其中，每个新增数据节点分组中包括N-1个从数据节点和1个主数据节点。

情况五，若M＞N且不存在未满配数据节点分组，且M%N>0 ，即M除以N有余数，增加M/N+1个新增数据节点分组，其中包括M/N个节点数量为N的新增数据节点分组（包括N-1个从数据节点和1个主数据节点）和一个节点数量为M%N的新增数据节点分组（包括M%N-1个从数据节点和1个主数据节点），在所述管理节点分组中增加M/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

情况六，若M＞N且存在未满配数据节点分组，且{M-(N-X)}%N=0，即补充未满配数据节点分组后，剩余的新数据节点的数量是N的整倍数，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N个节点数量为N的新增数据节点分组（包括N-1个从数据节点和1个主数据节点），在所述管理节点分组中增加{M-(N-X)}/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

情况七，若M＞N且存在未满配数据节点分组，且{M-(N-X)}%N>0，即补充未满配数据节点分组后，剩余的新数据节点的数量不能被N整除，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N+1个新增数据节点分组，其中包括{M-(N-X)}/N个节点数量为N的新增数据节点分组（包括N-1个从数据节点和1个主数据节点）和一个节点数量为{M-(N-X)}%N的新增数据节点分组（包括{M-(N-X)}%N-1个从数据节点和1个主数据节点），在所述管理节点分组中增加{M-(N-X)}/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

其中，若新增数据节点分组中仅包括1个数据节点，新增数据节点分组中的1个数据节点既是主数据节点，又是从数据节点，同时与1个从管理节点连接。

通过应用以上技术方案，对分布式内存数据库集群中的节点根据节点管理、数据存储、数据计算、网络传输等需求进行分组部署和管理，解决了内存数据库系统分布式集群因网络等导致数据库扩展性能低的问题，从而提升内存数据库分布式集群的扩展性能。

本申请实施例还提出了一种内存数据库分布式集群的扩展设备，所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，如图3所示，所述设备包括：

接入模块301，用于基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；

分组模块302，用于根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；

分配模块303，用于根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；

同步模块304，用于基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；

其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一。

在具体的应用场景中，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，所述分组模块，具体用于：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种内存数据库分布式集群的扩展方法，其特征在于，所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，所述方法包括：

基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；

根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；

根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；

基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；

其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一。

2.如权利要求1所述的方法，其特征在于，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组，具体为：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

3.如权利要求2所述的方法，其特征在于，根据M和N-X对所述新数据节点进行分组，具体为：

若M≤（N-X），将各所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至与未满配数据节点分组连接的目标从管理节点中；

若M＞（N-X），将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，将剩余的M-（N-X）个所述新数据节点增加为一个新增数据节点分组，在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组。

4.如权利要求2所述的方法，其特征在于，根据M和N对所述新数据节点进行分组，具体为：

若M%N=0，增加M/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加M/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若M%N>0，增加M/N+1个新增数据节点分组，其中包括M/N个节点数量为N的新增数据节点分组和一个节点数量为M%N的新增数据节点分组，在所述管理节点分组中增加M/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

5.如权利要求2所述的方法，其特征在于，根据M-（N-X）和N对所述新数据节点进行分组，具体为：

若{M-(N-X)}%N=0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N个节点数量为N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组；

若{M-(N-X)}%N>0，将N-X个所述新数据节点接入未满配数据节点分组，并将新接入的节点信息同步至所述目标从管理节点，增加{M-(N-X)}/N+1个新增数据节点分组，其中包括{M-(N-X)}/N个节点数量为N的新增数据节点分组和一个节点数量为{M-(N-X)}%N的新增数据节点分组，在所述管理节点分组中增加{M-(N-X)}/N+1个新增从管理节点，并分别连接各新增从管理节点和各新增数据节点分组。

6.如权利要求3-5任一项所述的方法，其特征在于，各新增数据节点分组中包括一个主数据节点和至少一个从数据节点，若新增数据节点分组中仅包括一个数据节点，新增数据节点分组中的一个数据节点既是主数据节点，又是从数据节点。

7.如权利要求1所述的方法，其特征在于，根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中，具体为：

基于各从管理节点统计与分组结果对应的分组信息，并将所述分组信息提交给主管理节点；

基于主管理节点生成与所述分组信息对应的重新分配任务，并将所述重新分配任务下发至各数据节点分组执行，以将各原数据节点分组中的数据重新分配至各新数据节点分组中；

其中，所述分组信息包括各数据节点分组中的数据节点数量、最大存储容量和已存储的数据量。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于预设集群性能分析算法对所述内存数据库分布式集群进行实时监测，并对监测到的性能参数进行分析后确定系统运行性能的分析结果；

若所述分析结果低于系统运行性能阈值，发出集群需要扩展的通知；

其中，所述性能参数包括任务处理时间、数据传输效率、硬件运行情况信息、资源消耗情况信息、内存数据库运行状况信息。

9.一种内存数据库分布式集群的扩展设备，其特征在于，所述内存数据库分布式集群包括按预设节点分组规则划分成的一个管理节点分组和至少一个数据节点分组，所述设备包括：

接入模块，用于基于用户发送的数据库扩展请求将新数据节点接入所述内存数据库分布式集群的数据传输网络；

分组模块，用于根据所述新数据节点的数量和所述预设节点分组规则对所述新数据节点进行分组；

分配模块，用于根据分组结果将分组前的各原数据节点分组中的数据重新分配至分组后的各新数据节点分组中；

同步模块，用于基于各所述新数据节点分组的数据分布情况更新和统计数据字典信息，并将所述数据字典信息同步至所述管理节点分组；

其中，所述预设节点分组规则为：所述管理节点分组包括一个主管理节点和至少一个从管理节点，所述数据节点分组包括一个主数据节点和至少一个从数据节点，所述从管理节点的数量等于所述数据节点分组的数量且不大于预设数量，所述数据节点分组中的节点数量不大于所述预设数量，节点数量小于所述预设数量的未满配数据节点分组的数量不大于一。

10.如权利要求9所述的设备，其特征在于，设M为所述新数据节点的数量，X为未满配数据节点分组中的节点数量，N为所述预设数量，所述分组模块，具体用于：

若M≤N且不存在未满配数据节点分组，增加一个节点数量为M的新增数据节点分组，并在所述管理节点分组中增加一个新增从管理节点，并连接新增从管理节点和新增数据节点分组；

若M＜N且存在未满配数据节点分组，根据M和N-X对所述新数据节点进行分组；

若M＞N且不存在未满配数据节点分组，根据M和N对所述新数据节点进行分组；

若M＞N且存在未满配数据节点分组，根据M-（N-X）和N对所述新数据节点进行分组。

Images