CN113886037A - 一种分布式数据库集群中实现数据分布的方法及系统 - Google Patents

Abstract

本发明涉及一种分布式数据库集群中实现数据分布的方法及系统，其包括：布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

Description

一种分布式数据库集群中实现数据分布的方法及系统

技术领域

本发明涉及一种数据库技术领域，特别是关于一种分布式数据库集群中实现数据分布的方法及系统。

背景技术

如图1所示，为目前分布式数据库通常采用的架构。其中，“节点”指一台服务器，“计算实例”通常是一完整的单体数据库实例。分布式数据库将数据拆分为若干个分片，每个分片交由不同的计算实例进行处理，节点间数据无共享。调度实例是整个集群的入口，负责整个集群的管理及执行的调度，调度实例保存了整个集群的元数据；计算实例负责对应数据分片的管理及执行，保存了对应分片的数据(包括分片数据的元数据)，通常一个节点上会部署多个计算实例，以充分利用节点CPU等资源。

这种结构存在的问题有：计算与存储是绑定的，无法单独扩展；当移动或扩展计算实例时，需移动大量分片数据，耗时较长；计算实例与数据分片的对应关系是固定的，且一个节点上的计算实例数与CPU核数等资源需匹配，不够灵活。

目前，也有使用分布式存储实现数据库集群的方法，虽然解耦了存储与计算，但仍存在一些问题限制了集群的灵活性，例如：计算实例与数据分片的对应关系一般仍是固定的；计算实例中仍保存了元数据，无法随意增删计算实例。

发明内容

针对上述问题，本发明的目的是提供一种分布式数据库集群中实现数据分布的方法及系统，其解耦了分布式数据库中数据库实例与数据分片的对应关系，可快速实现集群的扩容缩容等操作。

为实现上述目的，本发明采取以下技术方案：一种分布式数据库集群中实现数据分布的方法，其包括：布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

进一步，所述布置分布式存储系统用于保存数据库数据，包括：设置所述数据分片数；在一个计算节点部署一个或多个所述计算实例；设置所述计算实例与所述数据分片的对应关系，包括：所述数据分片数如果能被所述计算节点数整除，则采用将所有所述数据分片平均分配给各所述计算实例；或者，将配制高的计算节点内的所述计算实例分配的所述数据分片数多余其他所述计算实例。

进一步，所述设置所述数据分片数，满足的条件包括：在不移动数据的前提下，设置的所述数据分片数为集群计算节点最多扩展的数量；所述数据分片在所述计算节点间平均分配后，不同节点间的所述数据分片数最多相差1个，且当集群规模发生变化后，最多相差仍为1个；所述数据分片数不大于65536个。

进一步，单个所述计算实例能管理多个所述数据分片,并可由集群动态设置；所述数据分片支持按照哈希分片和随机分片。

进一步，所述快速实现数据库集群的扩容，包括：在新扩展出的计算节点上部署计算实例；总的数据分片数不变，根据扩展后的所述计算实例数重新分配所述数据分片，无需移动数据；所述分布式存储系统根据需要利用其自有机制对存储单独进行扩展，以适用更多的存储设备。

进一步，所述快速实现数据库集群的缩容，包括：在要删除的计算节点上停用所述计算实例；总的所述数据分片数不变，根据缩容后的所述计算实例数从新分配所述数据分片，无需移动数据；所述分布式存储系统根据需要利用其自有机制对存储单独进行收缩及重建高可用副本。

进一步，所述快速实现数据库集群的故障切换，包括：删除的故障计算节点上停用所述计算实例；总的所述数据分片数不变，根据删除后的所述计算实例数从新分配所述数据分片，无需移动数据；所述集群节点替换，包括：将原计算节点停用，并将原计算节点负责的数据分片交由新计算节点负责。

一种分布式数据库集群中实现数据分布的系统，其包括：数据布置模块、元数据共享模块和应用模块；所述数据布置模块，用于布置分布式存储系统用于保存数据库数据，将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；所述元数据共享模块，调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；所述应用模块，通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。

一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明解耦了分布式数据库中数据库实例与数据分片的对应关系，部署上更加灵活。

2、本发明无须从物理上移动或重建数据，即可快速实现集群的扩容缩容等操作。

3、本发明所有数据库实例共享元数据，实现计算实例无状态，增强了集群的高可用性和可扩展性。

附图说明

图1是现有技术中的分布式数据库框架结构；

图2是本发明一实施例中的数据分布方法整体示意图；

图3是本发明一实施例中的分布式数据库集群中实现数据分布的方法示意图；

图4是本发明一实施例中的集群初始化示意图；

图5是本发明一实施例中的集群初始化(计算节点部署多个计算实例)示意图；

图6是本发明一实施例中的集群执行示意图；

图7是本发明一实施例中的集群扩容后示意图；

图8是本发明一实施例中的计算设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供了一种分布式数据库集群中实现数据分布的方法及系统，包括：数据库集群使用分布式存储系统保存数据库数据；将整体数据划分为许多个数据分片进行管理；单个数据库计算实例可以管理多个数据分片,并可由集群动态设置；所有的数据库计算实例与调度实例共享集群元数据；通过控制数据库计算实例与数据分片的对应关系，可快速实现数据库集群的故障切换、节点替换、扩容缩容操作。本发明解耦了分布式数据库中数据库实例与数据分片的对应关系，部署上更加灵活；无须从物理上移动或重建数据，即可快速实现集群的扩容缩容等操作；所有数据库实例共享元数据，实现计算实例无状态，增强了集群的高可用性和可扩展性。

在本发明的一个实施例中，如图2、图3所示，提供一种分布式数据库集群中实现数据分布的方法，实现数据及元数据在集群中的分布、存储、访问及管理，该方法包括以下步骤：

步骤1、布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，数据分片数的设置不受计算实例数或节点CPU核数限制；

数据库集群使用分布式存储系统保存数据库数据，包括元数据，由分布式存储系统提供存储的高可用性、扩展性等；

步骤2、调度实例、计算实例、分布式存储系统通过网络相互连接，计算实例与调度实例共享集群元数据，计算实例支持对元数据进行缓存；

计算实例不直接存储、管理数据分片的元数据，通过计算实例支持对元数据进行缓存来提升性能，以避免每次从调度实例获得；

步骤3、通过控制计算实例与数据分片的对应关系，无需移动大量数据，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

上述实施例中，步骤1中具体包括：数据库集群将整体数据划分为许多个数据分片进行管理。数据分片数的设置不受计算实例数或节点CPU核数限制，可以设置很大(如共65536个)，从而使集群数据划分更加精细。数据分片支持按照哈希分片和随机分片，对不同的数据库表可根据业务需要进行数据划分。

上述实施例中，单个数据库计算实例可以管理多个数据分片,并可由集群动态设置。每个物理服务器节点可部署一个或多个计算实例，不受数据分片数或节点CPU核数限制。计算实例支持实例内并行执行，可充分利用节点CPU等资源。

上述实施例中，调度实例、计算实例、分布式存储系统可部署在相同服务器(混合部署)或不同服务器(独立部署)。

上述实施例中，步骤1中的布置分布式存储系统用于保存数据库数据，包括以下步骤：

步骤11、设置数据分片数；

数据分片为集群在计算实例间进行数据分配的单位，假设数量为n；

步骤12、在一个计算节点部署一个或多个计算实例；

一般每个计算节点部署一个计算实例即可；

为了CPU绑定等目的，也可在一个计算节点部署多个计算实例；

步骤13、设置计算实例与数据分片的对应关系，包括：

数据分片数如果能被计算节点数整除，则采用将所有数据分片平均分配给各计算实例；

或者，将配制高的计算节点内的计算实例分配的数据分片数多余其他计算实例；

具体的，设置每个计算实例负责哪些数据分片，一般平均分配即可；如果计算节点服务器配制不一致，也可不平均分配，如将配制高的节点分配更多的数据分片。例如，如图4所示，是一种集群初始化示意：2个计算节点，每个部署了1个计算实例，每个计算实例负责6个数据分片，共12个数据分片。如图5所示，图中一个计算节点部署了多个计算实例。

上述步骤11中，设置数据分片数，需满足以下条件：

在不移动数据(对分片进行拆分、重组)的前提下，设置的数据分片数为集群计算节点最多扩展的数量n；

数据分片在计算节点间平均分配后，不同节点间的数据分片数最多相差1个，即总数据量的1/n，且当集群规模发生变化后(扩容缩容、故障切换等)，最多相差仍为1个；

数据分片数不大于65536个；理论上讲，分片数越多越好，但过多的分片数会对IO性能、集群管理等造成负担，所以不能过大，如控制在小于65536个。

使用时，如图6所示，

①当集群调度实例收到执行任务(一般是SQL)后，如尚未读取元数据，则从分布式存储系统中读取所需元数据(如表定义)；

②调度实例生成并下发数据库执行计划到各计算实例；

③计算实例收到执行计划后，如果从本地的元数据缓存中找到所需的元数据，则直接使用，否则从调度实例获得并保存到缓存中；

④计算实例根据执行计划及元数据对负责的数据分片执行相应操作。

上述实施例步骤3中，快速实现数据库集群的扩容，包括以下步骤：

(1)在新扩展出的计算节点上部署计算实例；

(2)总的数据分片数不变，根据扩展后的计算实例数重新分配数据分片，无需移动数据；

(3)分布式存储系统根据需要利用其自有机制对存储单独进行扩展，以适用更多的存储设备，如图7所示，由两个计算节点扩容为三个计算节点。

在本实施例中，自由机制为分布式存储系统本身已有(自带)的功能，即分布式存储系统支持存储的冗余(存多份，即存储副本)、高可用(副本损坏时重建)、动态调整(加减存储/节点)等。

上述实施例步骤3中，快速实现数据库集群的缩容，包括：

(1)在要删除的计算节点上停用计算实例；

(2)总的数据分片数不变，根据缩容后的计算实例数从新分配数据分片，无需移动数据；

(3)分布式存储系统根据需要利用其自有机制对存储单独进行收缩及重建高可用副本。如图7、图4所示，集群从三个计算节点(如图7所示)缩容为两个计算节点(如图4所示)。

上述实施例步骤3中，快速实现数据库集群的故障切换，具体为：

删除的故障计算节点上停用计算实例；

总的数据分片数不变，根据删除后的计算实例数从新分配数据分片，无需移动数据。

如图7、图4所示：当集群在图7所示时，如果计算节点3出现故障，经故障切换后转换为图4所示状态。

上述实施例步骤3中，快速实现数据库集群的集群节点替换，具体为：将原计算节点停用，并将原计算节点负责的数据分片交由新计算节点负责。

在本发明的一个实施例中，提供一种分布式数据库集群中实现数据分布的系统，其包括数据布置模块、元数据共享模块和应用模块；

数据布置模块，用于布置分布式存储系统用于保存数据库数据，将整体数据划分为多个数据分片进行管理，数据分片数的设置不受计算实例数或节点CPU核数限制；

元数据共享模块，调度实例、计算实例、分布式存储系统通过网络相互连接，计算实例与调度实例共享集群元数据，计算实例支持对元数据进行缓存；

应用模块，通过控制计算实例与数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

如图8所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种分布式数据库集群中实现数据分布的方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：

布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、计算实例、分布式存储系统通过网络相互连接，计算实例与调度实例共享集群元数据，计算实例支持对元数据进行缓存；通过控制计算实例与数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、计算实例、分布式存储系统通过网络相互连接，计算实例与调度实例共享集群元数据，计算实例支持对元数据进行缓存；通过控制计算实例与数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，数据分片数的设置不受计算实例数或节点CPU核数限制；调度实例、计算实例、分布式存储系统通过网络相互连接，计算实例与调度实例共享集群元数据，计算实例支持对元数据进行缓存；通过控制计算实例与数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式数据库集群中实现数据分布的方法，其特征在于，包括：

布置分布式存储系统用于保存数据库数据，包括元数据；将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；

调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；

通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

2.如权利要求1所述方法，其特征在于，所述布置分布式存储系统用于保存数据库数据，包括：

设置所述数据分片数；

在一个计算节点部署一个或多个所述计算实例；

设置所述计算实例与所述数据分片的对应关系，包括：

所述数据分片数如果能被所述计算节点数整除，则采用将所有所述数据分片平均分配给各所述计算实例；

或者，将配制高的计算节点内的所述计算实例分配的所述数据分片数多余其他所述计算实例。

3.如权利要求2所述方法，其特征在于，所述设置所述数据分片数，满足的条件包括：

在不移动数据的前提下，设置的所述数据分片数为集群计算节点最多扩展的数量；

所述数据分片在所述计算节点间平均分配后，不同节点间的所述数据分片数最多相差1个，且当集群规模发生变化后，最多相差仍为1个；

所述数据分片数不大于65536个。

4.如权利要求1所述方法，其特征在于，单个所述计算实例能管理多个所述数据分片,并可由集群动态设置；所述数据分片支持按照哈希分片和随机分片。

5.如权利要求1所述方法，其特征在于，所述快速实现数据库集群的扩容，包括：

在新扩展出的计算节点上部署计算实例；

总的数据分片数不变，根据扩展后的所述计算实例数重新分配所述数据分片，无需移动数据；

所述分布式存储系统根据需要利用其自有机制对存储单独进行扩展，以适用更多的存储设备。

6.如权利要求1所述方法，其特征在于，所述快速实现数据库集群的缩容，包括：

在要删除的计算节点上停用所述计算实例；

总的所述数据分片数不变，根据缩容后的所述计算实例数从新分配所述数据分片，无需移动数据；

所述分布式存储系统根据需要利用其自有机制对存储单独进行收缩及重建高可用副本。

7.如权利要求1所述方法，其特征在于，所述快速实现数据库集群的故障切换，包括：

删除的故障计算节点上停用所述计算实例；

总的所述数据分片数不变，根据删除后的所述计算实例数从新分配所述数据分片，无需移动数据；

所述集群节点替换，包括：将原计算节点停用，并将原计算节点负责的数据分片交由新计算节点负责。

8.一种分布式数据库集群中实现数据分布的系统，其特征在于，包括：数据布置模块、元数据共享模块和应用模块；

所述数据布置模块，用于布置分布式存储系统用于保存数据库数据，将整体数据划分为多个数据分片进行管理，所述数据分片数的设置不受计算实例数或节点CPU核数限制；

所述元数据共享模块，调度实例、所述计算实例、所述分布式存储系统通过网络相互连接，所述计算实例与所述调度实例共享集群元数据，所述计算实例支持对元数据进行缓存；

所述应用模块，通过控制所述计算实例与所述数据分片的对应关系，快速实现数据库集群的故障切换、节点替换、扩容及缩容。

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。

10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。

Images