CN113515570B - 一种分布式数据库数据复制方法及装置 - Google Patents

Abstract

本发明提供一种分布式数据库数据复制方法及装置，本实施例提供的分布式数据库数据复制方法，包括：确定分布式数据库中各个节点上存储的复制表所构成的集合；当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数据。通过本公开实施例提供的数据复制方法，可以自动完成选择其他节点存储该关系表的复制对象，从而更好地缩短处理时间，提高工作效率。

Description

一种分布式数据库数据复制方法及装置

技术领域

本发明涉及分布式数据库领域，尤其涉及一种分布式数据库数据复制方法及装置。

背景技术

随着科技的高速发展，大数据的应用场景愈发广泛，承载大数据的系统主要是分布式数据库系统，这种系统的任务是把多台计算机有机的组合并连接起来，让其协同完成计算或存储类的工作。将其中的计算机称为分布式数据库系统的一个节点，同时分布式数据库中的关系表通常采用水平分布的方式存储在多个节点上，为保障系统在某个节点出现故障时仍可以正常运转，数据复制技术得以研究，数据复制技术是指将关系表复制保存在不同的节点上。

现有技术中的数据复制技术是由数据库管理员（Database Administrator，DBA）根据系统中关系表的数据量，手动地为每个节点上的关系表选择复制对象存储到其他节点上。这种手动操作的方式在系统的关系表增加到1000数量级以上时耗费精力非常大，而在现有的分布式数据库系统中，超过1000数量级的关系表是一种常见场景。

因此，现有技术的这种方式在关系表数量级达到1000以上时耗时长、效率低易影响分布式数据库系统的正常运行。

发明内容

本发明提供一种分布式数据库数据复制方法，以实现对每个节点上的关系表自动完成选择其他节点存储该关系表的复制对象，可以更好地缩短处理时间，提高工作效率。

第一方面，本公开提供一种分布式数据库数据复制方法，包括：

确定分布式数据库中各个节点上存储的复制表所构成的集合；

当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数据。

在一种可能的设计中，所述确定分布式数据库中各个节点上存储的复制表所构成的集合，包括：

获取分布式数据库的节点集合和关系表集合；

将所述关系表集合中的关系表分布至所述节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组；

根据所述关系表集合，对所述第一数组进行划分，得到第二数组；

通过建模获取所述第二数组对应的第三集合，其中，所述第三集合包括：节点上存储的其他节点的复制表所构成的集合。

在一种可能的设计中，所述通过建模获取所述第二数组对应的第三集合，包括：

根据所述第二数组和所述节点集合，组合得到二维数组；

对所述二维数组中的第i行第j列的第一值，当j大于i时，将所述第一值移动至第j-i列的位置；当j小于等于i时，将所述第一值移动至x-i+j列的位置，得到所述第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。

在一种可能的设计中，当节点上的复制表获取失败时，所述方法还包括：

生成节点故障提示信息，用以提醒对所述节点进行数据恢复。

在一种可能的设计中，当需要新增关系表时，所述方法还包括：

确定所述分布式数据库中所述新增关系表对应的各个节点上存储的复制表所构成的集合。

第二方面，本公开还提供一种数据复制装置，包括：

第一确定模块，用于确定分布式数据库中各个节点上存储的复制表所构成的集合；

第二确定模块，用于当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数据。

在一种可能的设计中，所述第一确定模块，用于：

获取分布式数据库的节点集合和关系表集合；

将所述关系表集合中的关系表分布至所述节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组；

根据所述关系表集合，对所述第一数组进行划分，得到第二数组；

通过建模获取所述第二数组对应的第三集合，其中，所述第三集合包括：节点上存储的其他节点的复制表所构成的集合。

在一种可能的设计中，所述通过建模获取所述第二数组对应的第三集合，包括：

根据所述第二数组和所述节点集合，组合得到二维数组；

对所述二维数组中的第i行第j列的第一值，当j大于i时，将所述第一值移动至第j-i列的位置；当j小于等于i时，将所述第一值移动至x-i+j列的位置，得到所述第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。

在一种可能的设计中，当节点上的复制表获取失败时，第一确定模块还用于：

生成节点故障提示信息，用以提醒对所述节点进行数据恢复。

在一种可能的设计中，当需要新增关系表时，第一确定模块还用于：

确定所述分布式数据库中所述新增关系表对应的各个节点上存储的复制表所构成的集合。

第三方面，本公开还提供一种电子设备，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种应用数据处理方法。

第四方面，本公开实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种应用数据处理方法。

本公开提供一种数据复制方法及装置，通过确定分布式数据库中各个节点上存储的复制表所构成的集合；当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数据。从而实现对每个节点上的关系表自动完成选择其他节点存储该关系表的复制对象，可以更好地缩短处理时间，提高工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开根据一示例实施例示出的数据复制方法的应用场景图；

图2为本公开根据一示例实施例示出的数据复制方法的流程示意图；

图3为本公开根据一示例实施例示出的数据复制装置的结构示意图；

图4为本公开根据一示例实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面将结合附图，对本发明的实施例进行描述。

图1为本公开根据一示例实施例示出的数据复制方法的应用场景图，如图1所示，分布式数据库分布在网络上的不同位置，分别有服务器101、服务器102、服务器103等，共有x个服务器，即x个节点在网络上用于对数据的存储及计算；如图中所示，分布式数据库中的关系表有关系表104、关系表105、关系表106、关系表107、关系表108等，共n张，每张关系表以水平分布的方式存储在x个服务器上。获取x个节点的集合和n张关系表的集合，组合得到n张关系表分布在x个节点上的第一数组；根据关系表的数据量大小对每个节点上的第一数组进行划分得到第二数组，将第二数组与x个节点的集合组合得到二维数组，通过建模的方式对二维数组的每行按照设定的规则调整数组值的位置，具体规则是：对二维数组中的第i行第j列的第一值，当j大于i时，将第一值移动至第j-i列的位置；当j小于等于i时，将第一值移动至x-i+j列的位置，得到第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。第三集合即为每张关系表的复制对象在x个节点上的分布情况。分布式数据库预先根据上述建模对关系表以及关系表的复制对象进行规划，之后在运行时，当遇到有某个节点宕机时，通过查询其他节点上存储的宕机节点的关系表的复制对象即可保证分布式数据库的正常运行。

图2为本公开根据一示例实施例示出的数据复制方法的流程示意图；如图2所示，本实施例提供的数据复制方法，包括：

步骤201、获取分布式数据库的节点集合和关系表集合。

具体的，用数组 ，表示分布式数据库系统中所有关系表的集 合，n是分布式数据库系统中关系表的数量，x表示分布式数据库系统中节点的数量。

获取分布式数据库的节点集合 ，其中 表示第i个 节点，x为i的最大值，i为大于0的整数，x为大于0的整数。

获取分布式数据库的关系表集合，其中表示第j张表，n 为j的最大值，j为大于0的整数，n为大于0的整数。

步骤202、将关系表集合中的关系表分布至节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组。

具体的，将关系表集合T分布至节点集合N中的每个节点上，得到第一数组，其中 表示第j张表在第i个节点上的分布。

步骤203、根据关系表集合，对第一数组进行划分，得到第二数组；

具体的，为了保障分布式数据库系统中一个节点宕机后，其它节点能够均匀分摊 宕机节点的查询负载，我们依据每张关系表的数据量大小对第一数组L进行划分，得到第二 数组，其中表示第i节点上存放的表集合 ，m为k的最大值，k为 大于0的整数，m为大于0的整数，关系表的数据量大小是指在分布式数据库设计过程中规划 的该关系表能承载的最大数据量。

通过这种划小的方式，将每个节点上存储的关系表拆分，以便各个节点在承载其他节点上关系表的复制对象的负载强度时能均衡分摊。

步骤204、通过建模获取第二数组对应的第三集合，其中，第三集合包括：节点上存储的其他节点的复制表所构成的集合。

具体的，通过建模的方式求解关系表的复制对象在每个节点上的分布情况，详情如下，将第二数组与x个节点的集合组合得到二维数组A[m][x]， m为第二数组C中元素的数量。二维数组A中每一行A[i][]是{1..m}个数字的一个全排列，每一列A[][j]中不能有数字j存在，即：

其中, 是数字{1..x}的一个全 排列。

采用一定的规则调整二维数组A中的数组值的位置，具体规则是：对二维数组中的 第i行第j列的第一值，当j大于i时，将第一值移动至第j-i列的位置；当j小于等于i时，将第 一值移动至x-i+j列的位置，得到第三集合，其中，i为大于0的整数，j为大于0的整数，x为 j的最大值。第三集合即为每张关系表的复制对象在x个节点上的分布情况。举例来说， 对二维数组A中的第一行，数组值的排列原先为{ … }，根 据规则，调整后的排列为{… ,}；对二维数组A中的第二行， 数组值的排列原先为{… }，根据规则，调整后的排列为{…}，这样可以让数组中每一列的数值都是互不相 同的，也就是说分配到节点j上的所有关系表的复制对象是分别来自于不同节点的，且不包 含j节点上的关系表的复制对象。

综合步骤201-204举例来说，分布式数据库的节点集合N={}，关系表有3 张，每张表有10行6列，根据节点数将每张表按照行拆分，比如按行拆成5段，每段2行；再将 每段与节点集合对应，组合成第一数组L，则 L为5行3列的数组，其中，为第一张关系表 中的前2行数据，依次类推， 为第三张表最后2行数据。再根据每张关系表的数据量，将 一个节点上组合后的关系表、和 再进行划小，比如按列拆分成2段，每段3列，得 到第二数组C，则C为5行2列的数组，其中， 为第一个节点上存储的3张关系表的前2行、 前3列数据，依次类推， 为第五个节点上存储的3张关系表的最后2行、后3列数据。将第 二数组C与5个节点的集合N组合得到二维数组A[2][5]，其中，A[1][1]为第一个节点上存储 的第二数组中对应的数值，依次类推，A[2][5]为第五个节点上存储的第二数组中对应的数 值。再根据规则调整二维数组A中数值的位置以得到关系表的复制对象，即对二维数组中的 第i行第j列的第一值，当j大于i时，将第一值移动至第j-i列的位置；当j小于等于i时，将第 一值移动至x-i+j列的位置，得到第三集合。

即将原二维数组 调整为第三集合 ，该第三集合即为每张关系表的复制对象在5个节点上的 分布情况。

通过上述方式对分布式数据库建模规划后，每张关系表以及其对应的复制对象都均衡的分配在各个节点上，且在同一个节点上存储的关系表和复制对象不会发生重复冲突。

进一步具体的，在分布式数据库运行过程中，当对某张关系表更新或插入字段时；或者当在某张关系表中更新或插入数据时，会同步对该关系表的复制对象进行操作，以保证数据的准确性、一致性。

进一步具体的，上述建模得到的关系表的复制对象方案是在分布式数据库规划时 设计操作的，一般情况下该方案不会做改动，当且仅当重新设计数据库的时候，才会调整复 制方案。因此在向分布式数据库中新增关系表，且新增的关系表没有在上述方案中体现时， 则在原方案不改动的基础上，将新增的关系表按照方案的步骤重新操作得出该新增关系表 对应的复制对象。原方案得到的复制对象与新增的方案得到的复制对象在分布式数据库查 询过程中相互独立，并不影响。举例来说，分布式数据库的节点集合N={ }，关系表 有3张的基础上，再新增一张关系表D表，则原先得到的第三集合不变，将新增的D表与节点 集合组合成第四数组。再根据D表的数据量，将D表在一个节点上的分布划小，比如按列拆分 成2段得到第五数组。将第五数组与5个节点结合N组合得到二维数组B[2][5]，再根据规则 调整二维数组B中数值的位置以得到D表的复制对象。

步骤205、当任一节点宕机时，根据各个节点上复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到宕机节点的复制数据。

具体的，在运行过程中，当某个节点发生宕机时，根据上述建模规划查询其他节点上存储的该宕机节点的关系表的复制对象以保证分布式数据库的正常运行。当查询复制对象所在的节点不可用时，分布式数据库会生成节点故障提示信息，用以提醒对该节点进行数据恢复，用户对该节点做维护处理，在该节点恢复后，分布式数据库可继续查询该节点上存储的复制对象。

图3为本公开根据一示例实施例示出的数据复制装置的结构示意图。如图3所示，本实施例提供的数据复制装置30，包括：

第一确定模块301，用于确定分布式数据库中各个节点上存储的复制表所构成的集合；

第二确定模块302，用于当任一节点宕机时，根据各个节点上复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到宕机节点的复制数据。

在一种可能的设计中，第一确定模块301，用于：

获取分布式数据库的节点集合和关系表集合；

将关系表集合中的关系表分布至节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组；

根据关系表集合，对第一数组进行划分，得到第二数组；

通过建模获取第二数组对应的第三集合，其中，第三集合包括：节点上存储的其他节点的复制表所构成的集合。

在一种可能的设计中，通过建模获取第二数组对应的第三集合，包括：

根据第二数组和节点集合，组合得到二维数组；

对二维数组中的第i行第j列的第一值，当j大于i时，将第一值移动至第j-i列的位置；当j小于等于i时，将第一值移动至x-i+j列的位置，得到第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。

在一种可能的设计中，当节点上的复制表获取失败时，第一确定模块301还用于：

生成节点故障提示信息，用以提醒对节点进行数据恢复。

在一种可能的设计中，当需要新增关系表时，第一确定模块301还用于：

确定分布式数据库中新增关系表对应的各个节点上存储的复制表所构成的集合。

图4为本公开根据一示例实施例示出的电子设备的结构示意图。如图4所示，本实施例提供的一种分布式数据库40，包括：

处理器401；以及，

存储器402，用于存储处理器的可执行指令，该存储器还可以是flash（闪存）；

其中，处理器401配置为经由执行可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地，存储器402既可以是独立的，也可以跟处理器401集成在一起。

当存储器402是独立于处理器401之外的器件时，分布式数据库40，还可以包括：

总线403，用于连接处理器401以及存储器402。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种分布式数据库数据复制方法，其特征在于，包括：

确定分布式数据库中各个节点上存储的复制表所构成的集合；

当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数据；

所述确定分布式数据库中各个节点上存储的复制表所构成的集合，包括：

获取分布式数据库的节点集合和关系表集合；

将所述关系表集合中的关系表分布至所述节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组；

根据所述关系表集合，对所述第一数组进行划分，得到第二数组；

通过建模获取所述第二数组对应的第三集合，其中，所述第三集合包括：节点上存储的其他节点的复制表所构成的集合。

2.根据权利要求1所述的方法，其特征在于，所述通过建模获取所述第二数组对应的第三集合，包括：

根据所述第二数组和所述节点集合，组合得到二维数组；

对所述二维数组中的第i行第j列的第一值，当j大于i时，将所述第一值移动至第j-i列的位置；当j小于等于i时，将所述第一值移动至x-i+j列的位置，得到所述第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。

3.根据权利要求1或2所述的方法，其特征在于，当节点上的复制表获取失败时，所述方法还包括：

生成节点故障提示信息，用以提醒对所述节点进行数据恢复。

4.根据权利要求1或2所述的方法，其特征在于，当需要新增关系表时，所述方法还包括：

确定所述分布式数据库中所述新增关系表对应的各个节点上存储的复制表所构成的集合。

5.一种数据复制装置，其特征在于，包括：

第一确定模块，用于确定分布式数据库中各个节点上存储的复制表所构成的集合；

第二确定模块，用于当任一节点宕机时，根据各个节点上所述复制表所构成的集合，查询宕机节点对应的关系表在其他节点上的复制表，得到所述宕机节点的复制数所述第一确定模块，具体用于：

获取分布式数据库的节点集合和关系表集合；

将所述关系表集合中的关系表分布至所述节点集合中的各个节点上，得到用以表征关系表和节点分布情况的第一数组；

根据所述关系表集合，对所述第一数组进行划分，得到第二数组；

通过建模获取所述第二数组对应的第三集合，其中，所述第三集合包括：节点上存储的其他节点的复制表所构成的集合。

6.根据权利要求5所述的装置，其特征在于，所述通过建模获取所述第二数组对应的第三集合，包括：

根据所述第二数组和所述节点集合，组合得到二维数组；

对所述二维数组中的第i行第j列的第一值，当j大于i时，将所述第一值移动至第j-i列的位置；当j小于等于i时，将所述第一值移动至x-i+j列的位置，得到所述第三集合，其中，i为大于0的整数，j为大于0的整数，x为j的最大值。

7.一种电子设备，其特征在于，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任一项所述的分布式数据库数据复制方法。

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述的分布式数据库数据复制方法。