CN117251480A - 一种分布式环境下左外连接查询方法、装置、设备及介质 - Google Patents
一种分布式环境下左外连接查询方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117251480A CN117251480A CN202311211526.XA CN202311211526A CN117251480A CN 117251480 A CN117251480 A CN 117251480A CN 202311211526 A CN202311211526 A CN 202311211526A CN 117251480 A CN117251480 A CN 117251480A
- Authority
- CN
- China
- Prior art keywords
- connection
- data
- operator
- current node
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012216 screening Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24558—Binary matching operations
- G06F16/2456—Join operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式环境下左外连接查询方法、装置、设备及介质。该方法包括：获取目标SQL语句；根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划；根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集，通过本发明的技术方案，能够通过广播左侧表数据的方式得到左外连接结果，并通过对左外连接结果进行修正，得到目标连接结果集，进而在左侧表数据量较少而右侧表数据量较多时，可以有效减少网络通讯开销，提升左外连接查询性能。
Description
技术领域
本发明实施例涉及车辆技术领域，尤其涉及一种分布式环境下左外连接查询方法、装置、设备及存储介质。
背景技术
在分布式环境下进行左外连接操作时，一般会对右侧数据进行广播，或者对两侧数据进行重新分发。当连接列并非都是分布列，并且左侧数据量较少而右侧数据量较多时，上述两种方法都会引起较大的网络通讯开销，造成性能低下。
发明内容
本发明实施例提供一种分布式环境下左外连接查询方法、装置、设备及存储介质，以实现能够通过广播左侧表数据的方式得到左外连接结果，并通过对左外连接结果进行修正，得到目标连接结果集，进而在左侧表数据量较少而右侧表数据量较多时，可以有效减少网络通讯开销，提升左外连接查询性能。
根据本发明的一方面，提供了一种分布式环境下左外连接查询方法，包括：
获取目标SQL语句；
根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；
若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符；
根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
根据本发明的另一方面，提供了一种分布式环境下左外连接查询装置，该分布式环境下左外连接查询装置包括：
目标SQL语句获取模块，用于获取目标SQL语句；
连接列确定模块，用于根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；
执行计划生成模块，用于若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符；
执行模块，用于根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的分布式环境下左外连接查询方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的分布式环境下左外连接查询方法。
本发明实施例通过获取目标SQL语句；根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划；根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集，能够通过广播左侧表数据的方式得到左外连接结果，并通过对左外连接结果进行修正，得到目标连接结果集，进而在左侧表数据量较少而右侧表数据量较多时，可以有效减少网络通讯开销，提升左外连接查询性能。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中的一种分布式环境下左外连接查询方法的流程图；
图2是本发明实施例中的执行计划示意图；
图3是本发明实施例中的一种分布式环境下左外连接查询装置的结构示意图；
图4是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
实施例一
图1为本发明实施例提供的一种分布式环境下左外连接查询方法的流程图，本实施例可适用于分布式环境下左外连接查询的情况，该方法可以由本发明实施例中的分布式环境下左外连接查询装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，获取目标SQL语句。
其中，所述目标SQL语句为用于进行左外连接的SQL语句。例如可以是，目标SQL语句可以为SELECT*FROM T1 LEFT JOIN T2 ON T1.C1＝T2.D1。
S120，根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列。
具体的，根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列。例如可以是，创建表T1和T2：
CREATE TABLE T1(C1 INT,C2 INT,ID INT)PARTITION BY HASH(ID)PARTITIONS2STORAGE ON(TS1,TS2)；
CREATE TABLE T2(D1 INT,D2 INT,ID INT)PARTITION BY HASH(ID)PARTITIONS2STORAGE ON(TS1,TS2)；
表T1以ID列作为分布列，将表分为2个HASH(哈希)子表，2个HASH子表分别存储在TS1和TS2两个存储节点上。
表T2以ID列作为分布列，将表分为2个HASH子表，2个HASH子表分别存储在TS1和TS2两个存储节点上。
目标SQL语句为：SELECT*FROM T1 LEFT JOIN T2 ON T1.C1＝T2.D1；
上述语句表示T1表和T2表进行左外连接，T1表的连接列为C1，T2表的连接列为D1，均不是分布列。由于T1表和T2表中的数据都是分散存储在多个节点上的，相匹配的数据可能并不在同一个节点上，因此如果简单的将各个节点的计算结果进行汇总，可能获得错误的连接结果集。
需要说明的是，若直接广播左侧表数据，可能导致最终的连接结果集错误。例如可以是，当前节点将一条T1表数据(1,2,3)广播给其他节点，其余节点接收到T1表数据后分别寻找匹配的T2表数据，若节点1上找到匹配的T2表数据(1,4,5)，则得到连接结果(1,2,3,1,4,5)；若节点2上未找到匹配的T2表数据，则得到连接结果(1,2,3,NULL,NULL,NULL)。最后汇总时，结果集中同时存在(1,2,3,1,4,5)和(1,2,3,NULL,NULL,NULL)，导致结果集错误。
S130，若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划。
其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符。
其中，所述第一表相关操作符可以为第一表数据扫描操作符，用于扫描右侧表数据，所述第二表相关操作符可以为第二表数据扫描操作符用于扫描左侧表数据。所述第二数据发送操作符用于以广播的方式将当前节点内的左侧表数据发送给每个节点上的第二数据接收操作符。所述第二数据接收操作符用于接收第二数据发送操作符发送的数据。所述左外连接操作符可以为哈希左外连接操作符，还可以为索引左外连接操作符，用于实现左外连接计算功能。所述第一数据发送操作符用于以数据重分发的方式将当前节点对应的连接结果发送至对应的第一数据接收操作符。第一数据接收操作符用于接收第一数据发送操作符发送的数据。
此外，在插入发送操作符和接收操作符之前，左外连接操作符两侧的操作符类型可以是任意的。
需要说明的是，分布式环境下的每个节点均按照生成的执行计划执行语句。
在一个具体的例子中，生成的执行计划如图2所示，执行计划包括：连接结果筛选操作符(NULL_DIST)、连接结果筛选操作符的左孩子节点第一数据接收操作符(Recv)、第一数据接收操作符的左孩子节点第一数据发送操作符(Send(by T1.ROWID))、第一数据发送操作符的左孩子节点哈希左外连接操作符(Hash Left Join)、哈希左外连接操作符的左孩子节点第二数据接收操作符(Recv)和右孩子节点第一表数据扫描操作符(Table Scan(T2))、第二数据接收操作符的左孩子节点第二数据发送操作符(Send)以及第二数据发送操作符的左孩子节点第二表数据扫描操作符(Table Scan(T1))。
S140，根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
具体的，根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集的方式可以为：根据所述执行计划执行所述目标SQL语句，得到初始连接结果集，对所述初始连接结果集进行筛选，得到目标SQL语句对应的目标连接结果集。根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集的方式还可以为：扫描当前节点内的左侧表数据和右侧表数据；将当前节点内的左侧表数据进行广播；接收左侧表的目标数据，其中，左侧表的目标数据包括：分布式环境下的所有存储左侧表数据的节点中的左侧表数据；根据所述左侧表的目标数据和当前节点中的右侧表数据进行左外连接查询，得到当前节点对应的连接结果；将当前节点对应的连接结果发送至分布式环境下的其他节点；接收分布式环境下的其他节点发送的连接结果；对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集；对分布式环境下每个节点对应的筛选后的连接结果集进行合并，得到目标连接结果集。
可选的，根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集，包括：
获取扫描左外连接操作符的两侧孩子节点数据，其中，所述两侧孩子节点数据包括：当前节点内的左侧表数据和右侧表数据；
将当前节点内的左侧表数据进行广播；
接收左侧表的目标数据，其中，左侧表的目标数据包括：分布式环境下的所有存储左侧表数据的节点中的左侧表数据；
根据所述左侧表的目标数据和当前节点中的右侧表数据进行左外连接查询，得到当前节点对应的连接结果；
将当前节点对应的连接结果发送至分布式环境下的其他节点；
接收分布式环境下的其他节点发送的连接结果；
对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集；
对分布式环境下每个节点对应的筛选后的连接结果集进行合并，得到目标连接结果集。
具体的，获取扫描左外连接操作符的两侧孩子节点数据的方式可以为：通过第二表数据扫描操作符扫描当前节点内的左侧表数据，通过第一表数据扫描操作符扫描当前节点内的右侧表数据。
具体的，将当前节点内的左侧表数据进行广播的方式可以为：通过所述第二数据发送操作符将当前节点内的左侧表数据发送给分布式环境下每个节点上的第二数据接收操作符。
具体的，接收左侧表的目标数据的方式可以为：通过第二数据接收操作符接收分布式环境下的所有存储左侧表数据的节点中的左侧表数据，并根据分布式环境下的所有存储左侧表数据的节点中的左侧表数据生成目标数据。
具体的，将当前节点对应的连接结果发送至分布式环境下的其他节点的方式可以为：通过所述第一数据发送操作符以数据重分发的方式将当前节点对应的连接结果发送至对应的第一数据接收操作符。需要说明的是，可以通过第一数据发送操作符根据设定规则，将当前节点对应的连接结果发送至设定规则对应的第一数据接收操作符，所述设定规则可以为：by T1.ROWID，也就是根据左侧表行标识通过第一数据发送操作符将当前节点对应的连接结果中同一左侧表行标识的连接结果发送至同一节点的第一数据接收操作符。
具体的，接收分布式环境下的其他节点发送的连接结果的方式可以为：通过第一数据接收操作符用于接收其他节点的第一数据发送操作符发送的连接结果。需要说明的是，第一数据接收操作符接收的连接结果和第一数据发送操作符发送的连接结果是相同的。
具体的，对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集的方式可以为：根据当前节点接收到的连接结果确定初始连接结果集，根据初始连接结果集中每个连接结果的右侧表数据对所述初始连接结果集中的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集。
可选的，所述第一数据发送操作符携带目标发送规则；
相应的，将当前节点对应的连接结果发送至分布式环境下的其他节点，包括：
根据连接结果对应的左侧表行标识将不同的左侧表行标识对应的连接结果发送至分布式环境下的不同的节点。
其中，所述目标发送规则可以为Send(by T1.ROWID)，也就是，SEND标识符根据T1表的ROWID将连接结果发送至不同节点的RECV。
可选的，对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集，包括：
获取哈希表，其中，所述哈希表包括：左侧表行标识和左侧表行标识对应的匹配状态；
将当前节点的所有连接结果中右侧表数据非NULL值的连接结果添加至当前节点的筛选后的连接结果集；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在连接结果对应的左侧表行标识的连接结果添加至缓存中；
将缓存中左侧表行标识对应的匹配状态为匹配失败的连接结果添加至当前节点的筛选后的连接结果集。
此外，将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在连接结果对应的左侧表行标识的连接结果添加至缓存中，也就是将首次判断右侧表数据为NULL值的连接结果添加至缓存中。需要说明的是，将连接结果添加至缓存中是为了在对当前节点的所有连接结果进行首次筛选完成后，对缓存中的连接结果进行二次筛选，防止出现由于首次筛选失误，导致丢失准确的连接结果的情况，能够对当前节点的所有连接结果进行更精准的筛选。
具体的，在将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在连接结果对应的左侧表行标识的连接结果添加至缓存中之后，将哈希表中所述左侧表行标识对应的匹配状态更新为匹配失败。
具体的，将缓存中左侧表行标识对应的匹配状态为匹配失败的连接结果添加至当前节点的筛选后的连接结果集的方式可以为：在当前节点的所有连接结果遍历完成后，遍历缓存中的连接结果，针对缓存中的每个连接结果执行以下操作：
获取当前连接结果对应的左侧表行标识，确定该左侧表行标识在哈希表中对应的匹配结果，若为匹配成功，则忽略当前连接结果，继续遍历下一个连接结果；若为匹配失败，则将当前连接结果添加至当前节点的筛选后的连接结果集中，并继续遍历下一个连接结果。缓存中所有的连接结果遍历完成后，即可确定每个节点对应的筛选后的连接结果集。将所有节点对应的筛选后的连接结果集汇总起来，即可得到最终结果集。
可选的，还包括：
将所述当前节点的所有连接结果中右侧表数据非NULL值，且哈希表中不存在对应的左侧表行标识的连接结果的左侧表行标识添加至所述哈希表中，并将所述左侧表行标识对应的匹配状态更新为匹配成功；
将所述当前节点的所有连接结果中右侧表数据非NULL值，哈希表中存在对应的左侧表行标识，且哈希表中所述左侧表行标识对应的匹配状态为匹配失败的连接结果的左侧表行标识对应的匹配状态更新为匹配成功；
将所述当前节点的所有连接结果中右侧表数据非NULL值，哈希表中存在对应的左侧表行标识，且哈希表中所述左侧表行标识对应的匹配状态为匹配成功的连接结果的左侧表行标识对应的匹配状态保持不变；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在对应的左侧表行标识的连接结果的左侧表行标识添加至所述哈希表中，并将所述左侧表行标识对应的匹配状态更新为匹配失败。
可选的，还包括：
将所述当前节点的所有连接结果中右侧表数据为NULL值，且左侧表行标识对应的匹配状态为匹配成功的连接结果丢弃；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且左侧表行标识对应的匹配状态为匹配失败的连接结果丢弃。
在一个具体的例子中，NULL_DIST操作符具体执行方法如下：使用哈希表来保存左侧表行标识对应的匹配状态，使用特定缓存空间来保存空连接结果。假设哈希表名称为HT，缓存空间名称为unmatch-cache，HT和unmatch-cache的初始状态均为空。
首先遍历当前节点的所有连接结果，针对每个连接结果执行以下操作：
步骤1.判断当前连接结果中右侧表数据是否为NULL值，若不为NULL值，则执行步骤2；若为NULL值，则执行步骤3；
步骤2.获取当前连接结果对应的左侧表行标识，在HT中寻找该左侧表行标识，若找到且匹配状态为匹配成功，则不修改该匹配结果；若找到且匹配状态为匹配失败，则将该左侧表行标识对应的匹配状态修改为匹配成功；
若未找到，则将该左侧表行标识添加到HT中，并将其对应的匹配状态更新为匹配成功。
需要说明的是，无论哈希表中查找结果如何，均将当前连接结果添加至目标结果集中，并继续遍历下一个连接结果。
3.获取当前连接结果对应的左侧表行标识，在HT中寻找该左侧表行标识，若找到，则忽略当前连接结果，继续遍历下一个连接结果；若未找到，则将该左侧表行标识添加到HT中，并将其对应的匹配状态设置为匹配失败，然后将当前连接结果添加至缓存unmatch-cache中，继续遍历下一个连接结果。
此外，若当前连接结果中右侧表数据为Null，且HT已经有匹配成功记录，此时丢弃当前连接结果；若当前连接结果中右侧表数据为Null，且HT中已有匹配失败记录，也丢弃当前连接结果。
当前节点上所有连接结果遍历完成后，遍历缓存unmatch-cache中所有的连接结果，针对每个连接结果执行以下操作：
获取当前连接结果对应的左侧表行标识，确定该左侧表行标识在HT中对应的匹配状态，若为匹配成功，则忽略当前连接结果，继续遍历下一个连接结果；若为匹配失败，则将当前连接结果添加至当前节点的筛选后的连接结果集中，并继续遍历下一个连接结果。缓存中所有的连接结果遍历完成后，即可确定当前节点的筛选后的连接结果集。
将所有节点对应的筛选后的连接结果集汇总起来，即可得到最终结果集。
可选的，若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，包括：
若左侧表的连接列和/或右侧表的连接列非分布列，左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价，则生成执行计划。
需要说明的是，若左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价，则说明左侧数据广播方式代价最小。在左侧数据广播方式代价最小的情况下采用左侧数据广播方式可以有效减少网络通讯开销，提升左外连接查询性能。
具体的，左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价的判断方式可以为：预先获取左侧表数据数量和右侧表数据数量，若左侧表数据数量小于右侧表数据数量，则说明左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价，也就是左侧数据广播方式代价最小。左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价的判断方式还可以为：若左侧表的行数小于右侧表的行数，则说明左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价。
可选的，若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，包括：
若左侧表的连接列和/或右侧表的连接列非分布列，则获取左侧表的行数；
若左侧表的行数小于右侧表的行数，则生成执行计划。
在一个具体的例子中，本发明实施例主要在计划生成阶段调整了Send操作符和Recv操作符的生成方法，并且引入了一个新的NULL_DIST操作符，来实现直接广播左侧数据并修正最终结果集的目的。
计划生成阶段包括如下流程：
步骤1、判定当前左外连接操作(包括哈希左外连接、索引左外连接)是否同时满足以下两个条件，若满足则在生成左外连接操作符后执行步骤2；否则按照右侧数据广播或者两侧数据重分发生成执行计划。
a.连接一侧或者连接两侧的连接列为非分布列(如果连接两侧均为分布列，则可以使用智能分区连接的方法，无需优化，也就是在每个节点扫描左侧表数据和右侧表数据后，直接进行左外连接计算)；
b.系统通过代价模型评估认为使用左侧数据广播方式代价最小；
步骤2、在当前左外连接操作符左侧插入一对SEND和RECV操作符，其中，SEND为广播类型的SEND操作符，用于将左侧数据发送给每一个节点。执行步骤3；
步骤3、在当前左外连接操作符上方插入一对SEND和RECV操作符，再在该RECV操作符上方插入一个NULL_DIST操作符。其中，SEND按照左侧表每行数据的唯一标识，将左外连接操作符的数据分发到各个节点上，唯一标识相同的数据会被分发到同一个节点上。唯一标识可以为ROWID，即表中每行数据对应的行号。
假设表T1中存在数据(1,2,3)，该数据对应的ROWID为1。节点1上针对该数据计算得到的连接结果为(1,2,3,1,4,5)，节点2上针对该数据计算得到的连接结果为(1,2,3,NULL,NULL,NULL)，由于上述两个结果对应的T1表行号均为1，因此会被分发给同一个节点进行后续处理。假设分发给节点1处理。
NULL_DIST操作符的功能是，针对同一个唯一标识对应的多个连接结果进行NULL值去重处理，包括：
a.若连接结果中既包含非空连接结果(例如(1,2,3,1,4,5))，又包含空连接结果(例如(1,2,3,NULL,NULL,NULL))，则消除所有的空连接结果，仅保留非空连接结果；
b.若连接结果中仅包含1个或多个非空连接结果，则保留所有的非空连接结果；
c.若连接结果中仅包含1个或多个空连接结果，则仅保留一个空连接结果。
(其余操作符，例如Table Scan操作符，还是照常生成)
经过上述操作后，SQL语句的执行计划如图2所示，按照图2所述执行计划，节点1执行NULL_DIST操作符时，针对本节点上ROWID为1的两个连接结果(1,2,3,1,4,5)和(1,2,3,NULL,NULL,NULL)。
消除掉(1,2,3,NULL,NULL,NULL)，仅保留(1,2,3,1,4,5)。
最后对各个节点的连接结果进行汇总，得到最终的连接结果集。
本实施例的技术方案，通过获取目标SQL语句；根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划；根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集，能够通过广播左侧表数据的方式得到左外连接结果，并通过对左外连接结果进行修正，得到目标连接结果集，进而在左侧表数据量较少而右侧表数据量较多时，可以有效减少网络通讯开销，提升左外连接查询性能。
实施例二
图3为本发明实施例提供的一种分布式环境下左外连接查询装置的结构示意图。本实施例可适用于分布式环境下左外连接查询的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供分布式环境下左外连接查询功能的设备中，如图3所示，所述分布式环境下左外连接查询装置具体包括：目标SQL语句获取模块310、连接列确定模块320、执行计划生成模块330和执行模块340。
其中，目标SQL语句获取模块，用于获取目标SQL语句；
连接列确定模块，用于根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；
执行计划生成模块，用于若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符；
执行模块，用于根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如分布式环境下左外连接查询方法。
在一些实施例中，分布式环境下左外连接查询方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的分布式环境下左外连接查询方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式环境下左外连接查询方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (11)
1.一种分布式环境下左外连接查询方法，其特征在于，包括：
获取目标SQL语句；
根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；
若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符；
根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
2.根据权利要求1所述的方法，其特征在于，根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集，包括：
获取扫描左外连接操作符的两侧孩子节点数据，其中，所述两侧孩子节点数据包括：当前节点内的左侧表数据和右侧表数据；
将当前节点内的左侧表数据进行广播；
接收左侧表的目标数据，其中，左侧表的目标数据包括：分布式环境下的所有存储左侧表数据的节点中的左侧表数据；
根据所述左侧表的目标数据和当前节点中的右侧表数据进行左外连接查询，得到当前节点对应的连接结果；
将当前节点对应的连接结果发送至分布式环境下的其他节点；
接收分布式环境下的其他节点发送的连接结果；
对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集；
对分布式环境下每个节点对应的筛选后的连接结果集进行合并，得到目标连接结果集。
3.根据权利要求2所述的方法，其特征在于，所述第一数据发送操作符携带目标发送规则；
相应的，将当前节点对应的连接结果发送至分布式环境下的其他节点，包括：
根据连接结果对应的左侧表行标识将不同的左侧表行标识对应的连接结果发送至分布式环境下的不同的节点。
4.根据权利要求2所述的方法，其特征在于，对当前节点接收到的连接结果进行筛选，得到当前节点对应的筛选后的连接结果集，包括：
获取哈希表，其中，所述哈希表包括：左侧表行标识和左侧表行标识对应的匹配状态；
将当前节点的所有连接结果中右侧表数据非NULL值的连接结果添加至当前节点的筛选后的连接结果集；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在连接结果对应的左侧表行标识的连接结果添加至缓存中；
将缓存中左侧表行标识对应的匹配状态为匹配失败的连接结果添加至当前节点的筛选后的连接结果集。
5.根据权利要求4所述的方法，其特征在于，还包括：
将所述当前节点的所有连接结果中右侧表数据非NULL值，且哈希表中不存在对应的左侧表行标识的连接结果的左侧表行标识添加至所述哈希表中，并将所述左侧表行标识对应的匹配状态更新为匹配成功；
将所述当前节点的所有连接结果中右侧表数据非NULL值，哈希表中存在对应的左侧表行标识，且哈希表中所述左侧表行标识对应的匹配状态为匹配失败的连接结果的左侧表行标识对应的匹配状态更新为匹配成功；
将所述当前节点的所有连接结果中右侧表数据非NULL值，哈希表中存在对应的左侧表行标识，且哈希表中所述左侧表行标识对应的匹配状态为匹配成功的连接结果的左侧表行标识对应的匹配状态保持不变；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且哈希表中不存在对应的左侧表行标识的连接结果的左侧表行标识添加至所述哈希表中，并将所述左侧表行标识对应的匹配状态更新为匹配失败。
6.根据权利要求4所述的方法，其特征在于，还包括：
将所述当前节点的所有连接结果中右侧表数据为NULL值，且左侧表行标识对应的匹配状态为匹配成功的连接结果丢弃；
将所述当前节点的所有连接结果中右侧表数据为NULL值，且左侧表行标识对应的匹配状态为匹配失败的连接结果丢弃。
7.根据权利要求1所述的方法，其特征在于，若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，包括：
若左侧表的连接列和/或右侧表的连接列非分布列，左侧数据广播代价小于右侧数据广播代价，且左侧数据广播代价小于两侧数据重分发代价，则生成执行计划。
8.根据权利要求1所述的方法，其特征在于，若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，包括：
若左侧表的连接列和/或右侧表的连接列非分布列，则获取左侧表的行数；
若左侧表的行数小于右侧表的行数，则生成执行计划。
9.一种分布式环境下左外连接查询装置，其特征在于，包括：
目标SQL语句获取模块，用于获取目标SQL语句；
连接列确定模块，用于根据所述目标SQL语句确定外连接操作对应的左侧表的连接列和右侧表的连接列；
执行计划生成模块，用于若左侧表的连接列和/或右侧表的连接列非分布列，则生成执行计划，其中，所述执行计划包括：连接结果筛选操作符、连接结果筛选操作符的左孩子节点第一数据接收操作符、第一数据接收操作符的左孩子节点第一数据发送操作符、第一数据发送操作符的左孩子节点左外连接操作符、左外连接操作符的左孩子节点第二数据接收操作符和右孩子节点第一表相关操作符、第二数据接收操作符的左孩子节点第二数据发送操作符以及第二数据发送操作符的左孩子节点第二表相关操作符；
执行模块，用于根据所述执行计划执行所述目标SQL语句，得到所述目标SQL语句对应的目标连接结果集。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的分布式环境下左外连接查询方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的分布式环境下左外连接查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211526.XA CN117251480A (zh) | 2023-09-19 | 2023-09-19 | 一种分布式环境下左外连接查询方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211526.XA CN117251480A (zh) | 2023-09-19 | 2023-09-19 | 一种分布式环境下左外连接查询方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117251480A true CN117251480A (zh) | 2023-12-19 |
Family
ID=89132516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311211526.XA Pending CN117251480A (zh) | 2023-09-19 | 2023-09-19 | 一种分布式环境下左外连接查询方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117251480A (zh) |
-
2023
- 2023-09-19 CN CN202311211526.XA patent/CN117251480A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119292B (zh) | 系统运行参数查询方法、匹配方法、装置及节点设备 | |
| US10534771B2 (en) | Database access method and apparatus, and database system | |
| CN111312352B (zh) | 一种基于区块链的数据处理方法、装置、设备和介质 | |
| CN115495473A (zh) | 数据库查询方法、装置、电子设备和存储介质 | |
| CN116501997B (zh) | 短链接生成方法、装置、电子设备及存储介质 | |
| CN111064729B (zh) | 报文的处理方法及装置、存储介质和电子装置 | |
| CN117251480A (zh) | 一种分布式环境下左外连接查询方法、装置、设备及介质 | |
| CN111404776A (zh) | 一种开放式硬件实现深度数据过滤分流的系统及方法 | |
| US8281000B1 (en) | Variable-length nonce generation | |
| CN113726885A (zh) | 一种流量配额的调整方法和装置 | |
| WO2021082538A1 (zh) | 会话控制处理方法、装置、设备及介质 | |
| CN110674068B (zh) | 一种板卡间的信息交互方法、分布式板卡及存储介质 | |
| CN108737522B (zh) | 一种消息的处理方法、装置和系统 | |
| CN113839940A (zh) | 基于url模式树的防御方法、装置、电子设备和可读存储介质 | |
| CN112860811A (zh) | 数据血缘关系的确定方法、装置、电子设备和存储介质 | |
| CN107562553B (zh) | 数据中心管理方法和设备 | |
| US20240054132A1 (en) | Computer system and query processing method | |
| CN112948246B (zh) | 数据平台的ab测试控制方法、装置、设备及存储介质 | |
| CN115174447B (zh) | 一种网络通信方法、装置、系统、设备及存储介质 | |
| CN110096504B (zh) | 流式事件特征匹配方法及装置 | |
| CN114840715A (zh) | 数据查询方法、装置及系统 | |
| EP3993366A2 (en) | Network load balancer, request message distribution method, program product and system | |
| CN117596298A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN115525659A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN107835105B (zh) | 半连接端口扫描优化方法、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |