CN110175202B

CN110175202B - 用于数据库的表的外连接的方法和系统

Info

Publication number: CN110175202B
Application number: CN201910345389.6A
Authority: CN
Inventors: 陈萌萌
Original assignee: ANT Financial Hang Zhou Network Technology Co Ltd
Current assignee: Beijing Oceanbase Technology Co Ltd
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2021-09-10
Anticipated expiration: 2039-04-26
Also published as: WO2020215830A1; CN110175202A

Abstract

本申请涉及一种用于将数据库的第一表外连接到第二表的方法，该方法包括将所述第一表广播到所述第二表的每个节点；以及在所述第二表的一个或多个节点上执行外连接操作，而在所述第二表的其它节点上执行内连接操作。还提供了相关联的系统和存储介质。本申请的方案在保证执行的正确性的情况下提高了执行效率。

Description

用于数据库的表的外连接的方法和系统

技术领域

本发明涉及数据库，尤其涉及用于数据库的表的外连接的方法和系统。

背景技术

连接(join)操作是针对数据库的常见逻辑操作，也是最为耗时的操作之一。连接操作执行效率的高低往往对整个请求的执行时间有着决定性的影响。在分布式数据库中，优化器除了要考虑数据的统计信息、连接顺序、访问路径等因素以外，还需要根据数据的物理分布信息，生成在分布式环境下执行代价最小的执行计划。

“外连接”操作是一种类型的“连接”操作。对于外连接操作，由于语义要求(除了返回匹配的行，还要返回外表没有匹配的行)，无法直接使用广播外表的执行计划，某些场景下可能引入大量的数据再分布，降低了执行效率。

因此，需要一种既能确保外连接的正确执行，又能提高外连接的执行效率的方案。

发明内容

为了在保证外连接结果的正确性的情况下提高执行效率，本发明提供了用于数据库的外连接的方法和系统。

本发明通过以下技术方案来实现其上述目的。

在本发明的一个方面中，公开了一种用于将数据库的第一表外连接到第二表的方法，包括：将所述第一表广播到所述第二表的每个节点；以及在所述第二表的一个或多个节点上执行外连接操作，而在所述第二表的其它节点上执行内连接操作。

优选地，对所述第二表的每个节点执行基于所述外连接的连接键的group by操作。

优选地，所述group by操作由聚合节点执行。

优选地，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的所有节点的真子集上执行外连接操作。

优选地，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的仅一个节点上执行外连接操作。

优选地，所述第一表包括多个节点，且将所述第一表广播到所述第二表的每个节点包括将所述第一表的每个节点广播到所述第二表的每个节点。

优选地，在所述第二表的一个或多个节点上执行外连接操作包括以所述第一表为外表且以所述第二表的相应节点作为内表来执行外连接操作。

在本发明的另一方面中，公开了一种用于存储数据的系统，其特征在于，包括：第一表；以及第二表，所述第二表包括多个节点，其中：所述第一表被广播到所述第二表的每个节点；以及在所述第二表的一个或多个节点上执行外连接操作，而在所述第二表的其它节点上执行内连接操作。

优选地，所述系统还包括聚合节点，在所述聚合节点上对所述第二表的每个节点执行基于所述外连接的连接键的group by操作

在本发明的又一方面中，公开了一种存储指令的计算机可读存储介质，所述指令当被计算机执行时，使所述计算机执行上述方法。

在本发明的再一方面中，公开了一种计算机系统，所述计算机系统包括用于执行上述方法的装置。

与现有技术相比，本发明可具有如下有益效果：

1.本方案通过混合内连接、外连接算子，以及引入最终的结果去重，确保了分布式外连接计划可以将左表通过广播的方式发送到右表所在的每一个节点上的执行方式。在右表数据分布广泛、数据量较大时，与传统计划相比，能够大大降低数据的网络传输量，从而提高执行效率。

2.本方案通过只保留一个外连接节点，确保最低程度的产生需要被删除的冗余数据，进一步降低了数据的传输量和计算量。

3.通过group by中对于不同场景的处理，确保针对有匹配行、无匹配行和在外连接节点上无匹配行的三种场景都能够返回正确的执行结果。

4.本方案无需对现有数据库系统做出实质性改变。

当然，实施本申请的任一技术方案无需同时达到所有上述技术效果。

附图说明

本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1是示出一种分布式外连接的执行方式的示意图。

图2是示出另一种分布式外连接的执行方式的示意图。

图3是示出又一种分布式外连接的执行方式的示意图。

图4是示出根据本发明的实施例的分布式外连接的执行方式的示意图。

图5是示出根据本发明的实施例的用于将第一表外连接到第二表的方法的流程图。

具体实施方式

以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

在下文中，首先介绍本申请中使用的一些术语，然后参考图1和图2介绍一些分布式外连接的执行方式，随后参考图3介绍根据本发明的实施例的分布式外连接的执行方式，最后参考图4介绍根据本发明的实施例的用于将数据库的第一表外连接到第二表的方法。

本文中所称的数据库通常是指行存式数据库，对数据库的存储引擎结构、网络互连方式、优化器的代价模型等均无依赖。所述数据库可包括各种常见的数据库，诸如但不限于OceanBase、MySQL、Oracle、DB2等。

数据库的连接(join)操作是指将数据库中相关联的数据通过某些条件关联在一起的操作。

外连接(outer join)操作是连接操作的一种形式，其通常涉及外表和内表。在外连接操作中，除了返回两个表的匹配行之外，还返回外表中的没有在内表中找到匹配的行。常见的外连接方式包括左外连接(left outer join)和右外连接(right outer join)。在左外连接中，将左表作为外表而右表作为内表；而在右外连接中，将右表作为外表而左表作为内表。在下文中，除非另外说明，“将第一数据库外连接到第二数据库”通常是指以第一数据库作为外表、以第二数据库作为内表执行外连接。

数据库包括集中式数据库和分布式数据库。在分布式数据库的连接操作中，通常需要进行数据再分布(data redistribution)操作。数据再分布式通常是指位于不同物理节点的数据通过网络连接将数据按照一定的规则进行重新分布的过程，一般的数据再分布方式包括：广播、随机、散列(hash)等。

在数据库操作中还常用到优化器。优化器通常是指数据库中生成执行计划的模块。一般来说，最先进的数据库往往采用基于执行代价的优化器，生成最佳的执行计划。

需要指出的是，上述术语介绍仅是帮助理解本申请，并不旨在以任何方式限制本发明的范围。

参考图1，其示出一种分布式外连接的执行方式的示意图。图1中示出了两个表T1和T2。

为方便描述，假设表T1如下表格1所示：

年龄	补贴
		22	1000
23	1500
		24	2000

表格1：表T1

假设表T2如下表格2所示：

表格2：表T2

假设对其执行外连接操作，例如：select*from T1 left outer join T2 on T1.年龄。

如图1所示，在此种连接方式中，外表T1和内表T2的数据根据连接键的散列值重新分布到多个join(连接)算子中。通过这种方式，确保了具有相同值的行一定会出现在同一个join算子的输入中。

例如，可通过以下方式执行所述操作。首先选取表中的某一列作为散列值，例如“年龄”，然后针对数据表中的每一行，通过某个预先定义的散列函数，生成对于不同年龄的散列值(一般结果为一个无符号整数)，然后按照预定义的分组数取模，并将该行数据发送到对应的分区上去，例如对于年龄22，生成的散列值为37，按照分组数4取模(结果为1)，则该行数据将发送到编号为1的分组上。分组为逻辑概念，同一分组的数据将被发送给同一工作者(worker)执行。

在上述表T1和T2的示例中，假设将年龄分组为三组：[22]、[23,25]、[27]，这样所有年龄为22的数据将发送给第一工作者执行，所有年龄为27的数据将被发送给第二工作者执行，而所有年龄为23、25的数据将被发送给第三工作者执行。所述第一、第二和第三工作者可分别执行相应的连接操作。

上述重新分布和连接方式可以按本领域技术人员所公知的任何方式执行，而不限于上述方式。

然而，这种方式需要进行大量的数据再分布，所需传输的数据量非常大，而且需要执行的操作也非常多。

为了简化上述操作，一种替代的分布式外连接执行方式如图2所示。在图2的示例中，外表被广播到内表的每个节点上。在每个节点上，均执行外连接操作。

然而这种外连接执行方式并非没有问题。根据外连接的语义，如果外表中的某一行在内表中不存在匹配的行，则该行需要被返回，并将投影中内表相关的列设为NULL。因此，这种外连接方式可能带来错误的结果。

以上面的表T2为例，其各个节点如下表格3-6所示：

年龄	补贴
		22	张三
22	李四

表格3：表T2_1

年龄	补贴
		23	王五

表格4：表T2_2

年龄	补贴
		25	赵六

表格5：表T2_3

年龄	补贴
		27	孙七
27	钱八

表格6：表T2_4

采用上述的外连接执行方式，对于表T1中的(22,1000)这一行，在与表T2_1的连接中将返回(22,1000,‘张三’)和(22,1000,‘李四’)两行，但在表T2_2/T2_3/T2_4中则找不到匹配的行。此时，根据外连接语义，会各自返回(22,1000,NULL)一行。而外连接在外表的行有匹配的时候，不应当返回NULL。因此，这种方式的执行结果将造成多余的包含NULL的行，从而得到错误的结果。此外，这种方式还生成大量包含NULL的表，从而带来了大量的冗余数据。

举例而言，对于(22,1000)这一行，该分布式计划最终返回的结果为

(22,1000,‘张三’)(来自T2_1)

(22,1000,‘李四’)(来自T2_1)

(22,1000,NULL)(来自T2_2)

(22,1000,NULL)(来自T2_3)

(22,1000,NULL)(来自T2_4)

但按照外连接语义，正确的结果应为：

(22,1000,‘张三’)(来自T2_1)

(22,1000,‘李四’)(来自T2_1)

又一种替代的分布式外连接执行方式如图3所示。图3的方式与图2类似，不同在于在每个节点出，执行的是内连接而不是外连接操作。这种执行方式也存在问题。同样以上面的示例为例，对于表T1中的(24,2000)这一行，由于在表T2的各节点中均找不到匹配的行，所以相应的内连接将返回空结果，造成最后得到的执行结果缺少该行的相应数据。

下面参考图4，其示出根据本发明的实施例的分布式外连接的执行方式的示意图。

在一个实施例中，将外表T1广播到内表T2的每个节点。采用广播的方式可以避免图1的示例中的大量数据再分布，相较于图1的执行方式具有优势。

与图2的全部使用外连接和全部使用内连接的方式不同，在本发明的优选实施例中，在一个或多个节点上将外表外连接到内表的相应节点，而在其它节点上均将外表内连接到内表的相应节点。通过减少执行外连接操作的节点的数量，极大地减少了包含NULL的行的数量，从而减少了冗余数据的量，因此相较于图2的执行方式也具有优势。此外，由于在至少一个节点上执行了外连接，所以将不会存在缺少的数据，因此相较于图3的执行方式同样具有优势。

优选地，仅在内表的一个节点上执行外连接操作，而在其它节点上均执行内连接操作。替代地，不是只在一个节点上执行外连接操作，而是在一个或多个节点上执行外连接操作，在其它节点上执行内连接操作。例如，可在内表的全部节点的真子集上执行外连接操作。或者，可在内表的全部节点上执行外连接操作。在其上执行外连接操作的节点的数量将对冗余数据的量产生影响。

在一个示例中，对执行外连接的节点的选择可以是随机的。在替代示例中，可基于特定标准来选择执行外连接的节点。例如，可选择内表中具有最少数据量的一个节点(或具有较少数据量的多个节点)作为执行外连接的节点。也可基于例如数据的网络分布等其它因素来选择执行外连接的一个或多个节点。

在本发明的一个实施例中，优选地，对所述内表的每个节点执行基于外连接的连接键的group by操作。所述group by操作可通过上层的聚合节点来执行。通过按照外连接的键值进行分组，本发明可以确保在相关分组内将错误产生的带NULL的行最终删除，从而确保了结果的正确性，减少了冗余数据的量。

下面以上面的表格1-6中的示例为例来具体说明。假设选择内表T2中的节点T2_1来执行外连接操作，并在内表T2中的其它节点上执行内连接操作。

对于外表T1中的(22,1000)这一行，由于在节点T2_1上能够找到匹配行，所以执行外连接操作将返回两行：(22,1000,‘张三’)和(22,1000,‘李四’)。在其它节点上执行内连接操作时，由于不存在匹配行，将不返回任何结果。而且，由于不存在包括NULL的行，所以聚合节点的处理将不改变数据。

对于外表T1中的(23,1500)这一行，在节点T2_1上执行外连接操作将返回行：(23,1500,NULL)，而在节点T2_2上执行内连接操作将返回(23,1500,‘王五’)，在其它节点上则不返回任何结果。在聚合节点进行group by操作时，行(23,1500,NULL)将被移除而行(23,1500,‘王五’)将被保留，从而产生正确的结果。

对于外表T1中的(24,2000)这一行，在节点T2_1上执行外连接操作将返回行：(24,2000,NULL)，而在其它所有节点上均不返回任何结果。在聚合节点进行group by操作时，将保留行(24,2000,NULL)，从而产生正确的结果。

可以领会，虽然上面的示例中外表T1被描述为非分布式表，但外表T1也可以是包括多个节点的分布式表。此时，外表T1的每个节点都将被广播到内表T2的每个节点。

下面参考图5，其示出根据本发明的实施例的用于将第一表外连接到第二表的方法500的流程图。

方法500可包括：在框502，将第一表(例如外表T1)广播到第二表(例如内表T2)的每个节点(例如节点T2_1、T2_2、T2_3、T2_4)。

方法500还可包括：在框504，在所述第二表的一个或多个节点上执行外连接操作，而在所述第二表的其它节点上执行内连接操作。例如，将外表T1外连接到内表T2_1，且将外表T1内连接到T2_1、T2_2、T2_3、T2_4中的每一者。

优选地，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的所有节点的真子集上执行外连接操作。更优选地，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的仅一个节点上执行外连接操作。

优选地，所述第一表为第一表，且将第一表广播到第二表的每个节点包括将所述第一表的每个节点广播到所述第二表的每个节点。

方法500还可包括：在可选框506，对所述第二表的每个节点执行基于所述外连接的连接键的group by操作。例如，对经外连接的节点T2_1、T2_2、T2_3、T2_4执行基于连接键(例如t1.年龄)的group by操作。

而且，本发明还公开了一种用于存储数据的系统，该系统包括第一表和第二表。所述系统可被配置成执行如上所述的方法。

优选地，还系统还可包括聚合节点，所述聚合节点可执行如上所述的group by操作。

而且，本申请还公开了一种包括存储于其上的计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。

而且，本申请还公开了一种计算机系统，包括用于执行本文所述的各实施例的方法的装置。

可以理解，根据本发明的各实施例的方法可以用软件、固件或其组合来实现。

应该理解，所公开的方法中各步骤的具体次序或阶层是示例性过程的解说。基于设计偏好，应该理解，可以重新编排这些方法中各步骤的具体次序或阶层。所附方法权利要求以样本次序呈现各种步骤的要素，且并不意味着被限定于所呈现的具体次序或阶层，除非在本文中有特别叙述。

应该理解，本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外，本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件，且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。

还应理解，本文采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims

1.一种用于将数据库的第一表外连接到第二表的方法，其特征在于，包括：

将分布式数据库的第一表广播到所述分布式数据库的第二表的每个节点；以及

在所述第二表的一个或多个节点上执行外连接操作，而在所述第二表的其它节点上执行内连接操作，所述外连接操作是指将所述第一表外连接到所述第二表的一个或多个节点，所述内连接操作是指将所述第一表内连接到所述第二表的其它节点。

2.如权利要求1所述的方法，其特征在于，对所述第二表的每个节点执行基于所述外连接的连接键的groupby操作。

3.如权利要求2所述的方法，其特征在于，所述groupby操作由聚合节点执行。

4.如权利要求1所述的方法，其特征在于，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的所有节点的真子集上执行外连接操作。

5.如权利要求4所述的方法，其特征在于，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的仅一个节点上执行外连接操作。

6.如权利要求1所述的方法，其特征在于，所述第一表包括多个节点，且将所述第一表广播到所述第二表的每个节点包括将所述第一表的每个节点广播到所述第二表的每个节点。

7.如权利要求1所述的方法，其特征在于，在所述第二表的一个或多个节点上执行外连接操作包括以所述第一表为外表且以所述第二表的相应节点作为内表来执行外连接操作。

8.一种用于存储数据的系统，其特征在于，包括：

分布式数据库的第一表；以及

所述分布式数据库的第二表，所述第二表包括多个节点，其中：

所述第一表被广播到所述第二表的每个节点；以及

9.如权利要求8所述的系统，其特征在于，所述系统还包括聚合节点，在所述聚合节点上对所述第二表的每个节点执行基于所述外连接的连接键的groupby操作。

10.如权利要求9所述的系统，其特征在于，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的所有节点的真子集上执行外连接操作。

11.如权利要求10所述的系统，其特征在于，在所述第二表的一个或多个节点上执行外连接操作是在所述第二表的仅一个节点上执行外连接操作。

12.如权利要求9所述的系统，其特征在于，所述第一表为第一表，且将第一表广播到第二表的每个节点包括将所述第一表的每个节点广播到所述第二表的每个节点。

13.如权利要求12所述的系统，其特征在于，在所述第二表的一个或多个节点上执行外连接操作包括以所述第一表为外表且以所述第二表的相应节点作为内表来执行外连接操作。

14.一种存储指令的计算机可读存储介质，所述指令当被计算机执行时，使所述计算机执行如权利要求1-7中任一项所述的方法。

15.一种计算机系统，包括用于执行如权利要求1-7中任一项所述的方法的装置。