CN116483867A - 数据查询方法及装置 - Google Patents
数据查询方法及装置 Download PDFInfo
- Publication number
- CN116483867A CN116483867A CN202310391361.2A CN202310391361A CN116483867A CN 116483867 A CN116483867 A CN 116483867A CN 202310391361 A CN202310391361 A CN 202310391361A CN 116483867 A CN116483867 A CN 116483867A
- Authority
- CN
- China
- Prior art keywords
- node
- query
- target
- data
- data tables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000001914 filtration Methods 0.000 claims abstract description 98
- 238000010586 diagram Methods 0.000 claims abstract description 88
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000006872 improvement Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 101100080600 Schizosaccharomyces pombe (strain 972 / ATCC 24843) nse6 gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101100440696 Caenorhabditis elegans cor-1 gene Proteins 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24558—Binary matching operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了数据查询方法及装置,该方法包括:从待执行的目标查询语句中解析出要查询的多个数据表、针对该多个数据表中的数据表的过滤条件、及数据表之间的关联条件;基于解析结果生成第一关系图,其中包括该多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;从第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;基于第一查询依赖关系,生成目标查询语句的逻辑执行计划,以用于该多个数据表的联合查询。
Description
技术领域
本说明书实施例属于计算机技术领域,尤其涉及数据查询方法及装置。
背景技术
在数据源查询受限场景下的多表联合查询中,各表的查询之间可能存在依赖关系,比如从A表中查询到的数据需要作为B表过滤条件的入参。当一次联合查询中的多个表存在依赖关系时,查询的先后顺序尤为重要。
发明内容
本发明的目的在于提供一种数据查询方案,可以对数据源查询受限场景下的多表联合查询进行查询分析,并根据该多表支持的读取方法、针对该多表中的表的过滤条件、及该多表之间的关联条件,自动生成可行的逻辑执行计划,能避免人工设计逻辑执行计划带来的错误风险。
本说明书第一方面提供一种数据查询方法,包括:获取待执行的目标查询语句,所述目标查询语句中指定多个数据表,并且包括查询条件;其中,所述多个数据表均支持读取方法,所述读取方法使用对应的数据表的部分字段进行过滤查询;从所述目标查询语句中解析出要查询的所述多个数据表、针对所述多个数据表中的数据表的过滤条件、及数据表之间的关联条件;基于解析结果生成第一关系图,所述第一关系图包括所述多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的所述节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析所述第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,以用于所述多个数据表的联合查询。
本说明书第二方面提供一种数据查询装置,包括:获取单元,被配置成获取待执行的目标查询语句,所述目标查询语句中指定多个数据表,并且包括查询条件;其中,所述多个数据表均支持读取方法,所述读取方法使用对应的数据表的部分字段进行过滤查询;解析单元,被配置成从所述目标查询语句中解析出要查询的所述多个数据表、针对所述多个数据表中的数据表的过滤条件、及数据表之间的关联条件;第一生成单元,被配置成基于解析结果生成第一关系图,所述第一关系图包括所述多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的所述节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;分析单元,被配置成从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析所述第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;第二生成单元,被配置成基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,以用于所述多个数据表的联合查询。
本说明书第三方面提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行如第一方面中任一实现方式描述的方法。
本说明书第四方面提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现如第一方面中任一实现方式描述的方法。
本说明书第五方面提供一种计算机程序,当该计算机程序在计算机中执行时,令计算机执行如第一方面中任一实现方式描述的方法。
在本说明书实施例提供的方案中,作为数据源的多个数据表均对外提供带有查询限制的数据查询服务,例如均支持读取方法,该读取方法使用对应的数据表的部分字段进行过滤查询。在该方案中,可以从待执行的目标查询语句中解析出要查询的该多个数据表、针对该多个数据表中的数据表的过滤条件、及数据表之间的关联条件,并基于解析结果生成第一关系图,第一关系图包括该多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的该节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件。之后,可以从第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系,并基于第一查询依赖关系,生成目标查询语句的逻辑执行计划,以用于该多个数据表的联合查询。由此,可以对数据源查询受限场景下的多表联合查询进行查询分析,并根据该多表支持的读取方法、针对该多表中的表的过滤条件、及该多表之间的关联条件,自动生成可行的逻辑执行计划,能避免人工设计逻辑执行计划带来的错误风险。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例可以应用于其中的一个应用场景的示意图;
图2是逻辑执行计划生成过程的一个示意图;
图3是本说明书实施例中数据查询方法的流程图;
图4是关系图G1的生成过程的一个示意图;
图5是逻辑执行计划生成过程的一个示意图;
图6是逻辑执行计划生成过程的一个示意图;
图7是关系图G1更新过程的一个示意图;
图8是子树SubTree1的一个示意图;
图9是更新后的关系图G1的一个示意图;
图10是更新后的关系图G1的一个示意图;
图11是本说明书实施例中数据查询装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
如前所述,在数据源查询受限场景下的多表联合查询中,各表的查询之间可能存在依赖关系,比如从A表中查询到的数据需要作为B表过滤条件的入参。当一次联合查询中的多个表存在依赖关系时,查询的先后顺序尤为重要。
目前,在数据源查询受限场景下,通常由开发者提前设计好针对多表联合查询的查询语句的逻辑执行计划。其中,执行计划可以理解为实现数据查询所需要执行的数据库操作指令序列。逻辑执行计划可以理解为由逻辑操作构成的执行计划,主要描述实现数据查询要执行的内容。对于一些复杂的查询场景,这种设计方式会为开发工作带来更繁琐的工作内容,也存在一定的错误风险。
为了避免人工设计逻辑执行计划带来的错误风险,本说明书实施例提供了一种数据查询方案,可以对数据源查询受限场景下的多表联合查询进行查询分析,并根据该多表支持的读取方法、针对该多表中的表的过滤条件、及该多表之间的关联条件,自动生成可行的逻辑执行计划。
图1是本说明书实施例可以应用于其中的一个应用场景的示意图。在图1所示的应用场景中,可以包括用户A使用的用户设备101,数据库服务器102,以及数据库服务器102中包括的数据表table1、table2、table3。其中,table1、table2、table3均包括多个字段。如图1中所示,table1可以包括字段col1_1、col1_2、col1_3,table2可以包括字段col2_1、col2_2、col2_3,table3可以包括字段col3_1、col3_2、col3_3、col3_4。需要说明,图1中示出的“##”可以表示字段值。
另外,table1、table2、table3均支持读取方法,该读取方法使用其对应的数据表的部分字段进行过滤查询。如图1中所示,table1可以支持读取方法read_method1(col1_1),read_method1可以使用字段col1_1进行过滤查询,其查询效果可以等价于SQL(Structured Query Language,结构化查询语言)语句“select*from table1 where col1_1=?”的查询效果。table2可以支持读取方法read_method2(col2_2),read_method2可以使用字段col2_2进行过滤查询,其查询效果可以等价于SQL语句“select*from table2 wherecol2_2=?”的查询效果。table3可以支持读取方法read_method3(col3_3,col3_4),read_method3可以使用字段col3_3和col3_4进行多列过滤查询,其查询效果可以等价于SQL语句“select*from table3 where col3_3=?and col3_4=?”的查询效果。需要指出,SQL语句中的“?”可称为参数占位符,该参数占位符所在的位置用于放置具体的字段值。
当用户A想要对table1、table2、table3进行联合查询时,可以通过用户设备101向数据库服务器102提交针对这三个数据表进行联合查询的目标查询语句。其中,目标查询语句可以是SQL语句,例如是如下所示的SQL语句:
select table1.*
from table1,table2,table3
where table1.col1_1=table2.col2_1
and table2.col2_2=table3.col3_2
and table1.col1_1='ee'
and table3.col3_3=123
and table3.col3_4='ABC'。
数据库服务器102可以从目标查询语句中解析出要查询的数据表table1、table2、table3,针对table1的过滤条件table1.col1_1='ee',针对table3的过滤条件table3.col3_3=123and table3.col3_4='ABC',table1和table2之间的关联条件table1.col1_1=table2.col2_1,以及table2和table3之间的关联条件table2.col2_2=table3.col3_2。之后,数据库服务器102可以基于解析结果,生成如图2中所示的关系图G1。其中,图2是逻辑执行计划生成过程的一个示意图。关系图G1中包括table1、table2、table3分别对应的节点,table1和table2分别对应的节点之间用于表征关联条件table1.col1_1=table2.col2_1的目标连接边,table2和table3分别对应的节点之间用于表征关联条件table2.col2_2=table3.col3_2的目标连接边。其中,关系图G1中的各节点均包括对应的数据表支持的读取方法,如包括该读取方法的方法名和所使用的字段的字段名。进一步地,该各节点还可以包括对应的数据表包括的各个字段的字段名。另外,关联过滤条件的数据表对应的节点还包括该过滤条件。需要说明,关系图G1中的“fields”表示字段,table1和table3分别对应的节点中的“filters”表示过滤条件。接着,数据库服务器102可以对关系图G1中的节点进行查询依赖关系分析,并基于分析出的查询依赖关系生成目标查询语句的逻辑执行计划,以用于table1、table2、table3的联合查询。
下面,结合具体的实施例,介绍本说明书实施例提供的数据查询方案。
参看图3,其是本说明书实施例中数据查询方法的流程图。该方法可由任何具有数据存储、计算、处理能力的设备、平台或设备集群执行,例如,可由数据库服务器(如图1中所示的数据库服务器102)、数据流转中枢平台、隐私协作应用平台或数矩服务平台等执行。
如图3所示,首先,在步骤S301,获取待执行的目标查询语句,目标查询语句中指定多个数据表,并且包括查询条件;其中,该多个数据表均支持读取方法,该读取方法使用对应的数据表的部分字段进行过滤查询。
具体地,可以接收用户通过用户设备提交的目标查询语句。目标查询语句可以包括SQL语句。其中,该SQL语句可以包括from子句和where子句,该from子句中指定上述多个数据表,该where子句中包括查询条件,该查询条件包括针对上述多个数据表中的数据表的过滤条件、及数据表之间的关联条件。
在步骤S303,从目标查询语句中解析出要查询的上述多个数据表、针对上述多个数据表中的数据表的过滤条件、及数据表之间的关联条件。
具体地,当目标查询语句为SQL语句时,可以对该SQL语句的from子句和where子句进行解析,以解析出要查询的上述多个数据表、针对上述多个数据表中的数据表的过滤条件、及数据表之间的关联条件。
在步骤S305,基于解析结果生成关系图G1,关系图G1包括上述多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件。
在一种实施方式中,关系图G1中上述多个数据表分别对应的节点可以为表扫描节点或查询调用节点。查询调用节点包括过滤条件且该过滤条件满足所包括的读取方法。关系图G1中的表扫描节点不包括过滤条件,或者其包括的过滤条件不满足所包括的读取方法。以前文中描述的用于对table1、table2、table3进行联合查询的目标查询语句为例,在该实施方式下,基于对目标查询语句的解析结果生成的关系图G1可以如图4中所示。其中,图4是关系图G1的生成过程的一个示意图。在图4所示的关系图G1中,table1、table3分别对应的节点均为查询调用(QueryCall)节点,table2对应的节点为表扫描(TableScan)节点。其中,table1对应的查询调用节点QueryCall1中的过滤条件中的字段col1_1是table1支持的读取方法read_method1使用的字段,该过滤条件满足该读取方法。table3对应的查询调用节点QueryCall3中的过滤条件中的字段col3_3和col3_4是table3支持的读取方法read_method3使用的字段,该过滤条件满足该读取方法。table2对应的表扫描节点TableScan2不包括过滤条件。
需要说明,通过识别对应于数据表的节点是表扫描节点还是查询调用节点,可以辅助判断该对应于数据表的节点是否查询受限,如辅助判断该节点的查询是否依赖于其他节点。实践中,关系图G1中的查询调用节点一般是查询不受限的节点,表扫描节点一般是查询受限的节点。
进一步地,在一个例子中,可以直接基于对目标查询语句的解析结果生成关系图G1。
在另一个例子中,可以先生成关系图G2,关系图G2包括上述多个数据表分别对应的表扫描节点、及节点之间用于表征关联条件的目标连接边,任意的表扫描节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的表扫描节点还包括该过滤条件。之后,对于上述多个数据表中关联过滤条件的数据表,可以响应于该过滤条件满足该数据表支持的读取方法,在关系图G2中将该数据表对应的表扫描节点转换成查询调用节点。然后,可以将更新后的关系图G2作为关系图G1。继续以前文中描述的用于对table1、table2、table3进行联合查询的目标查询语句为例,可以先基于对目标查询语句的解析结果生成如图4中所示的关系图G2,之后可以响应于table1、table3各自关联的过滤条件满足所支持的读取方法,而在关系图G2中将table1对应的表扫描节点TableScan1转换成查询调用节点QueryCall1,以及将table3对应的表扫描节点TableScan3转换成查询调用节点QueryCall3。然后,可以将更新后的关系图G2作为关系图G1。
在步骤S307,从关系图G1中选取所包括的过滤条件满足所包括的读取方法的节点作为目标节点T1,分析目标节点T1和与其有目标连接边相连的邻居节点S1之间的查询依赖关系R1。
作为示例,可以按深度优先的方式搜索查询路径。具体地,可以按深度优先的方式,从关系图G1中选取所包括的过滤条件满足所包括的读取方法的节点作为目标节点T1。需要说明,在关系图G1中对应于数据表的节点为表扫描节点或查询调用节点时,可以从关系图G1中选取查询调用节点作为目标节点T1。
在确定目标节点T1之后,可以从关系图G1中查找出与目标节点T1有目标连接边相连的邻居节点S1,并分析目标节点T1和邻居节点S1之间的查询依赖关系R1。例如,若目标节点T1和邻居节点S1之间的目标连接边所表征的关联条件C1满足邻居节点S1包括的读取方法,则可以获知目标节点T1的查询结果中的数据需要作为该读取方法的入参,因而可以确定邻居节点S1的查询依赖于目标节点T1。若关联条件C1不满足邻居节点S1包括的读取方法,则可以确定邻居节点S1的查询不依赖于目标节点T1。
在步骤S309,基于查询依赖关系R1,生成目标查询语句的逻辑执行计划,以用于上述多个数据表的联合查询。
在一种实施方式中,逻辑执行计划的生成过程可以如图5所示。其中,图5是逻辑执行计划生成过程的一个示意图。
如图5所示,首先,在步骤S501,若查询依赖关系R1为邻居节点S1的查询依赖于目标节点T1,则生成目标节点T1和邻居节点S1的关联查询节点。
在步骤S503,生成子树SubTree1,子树SubTree1包括关联查询节点、目标节点T1、邻居节点S1、从目标节点T1到关联查询节点的连接边、及从邻居节点S1到关联查询节点的连接边。
在步骤S505,将目标节点T1和邻居节点S1之间的目标连接边所表征的关联条件C1,转换成过滤条件F1添加到子树SubTree1中的邻居节点S1。
作为示例,关联查询节点具有节点标识,关联条件C1包括通过目标节点T1对应的数据表的表名N1引用的字段名,可以将关联条件C1中的表名N1修改为该节点标识,并将修改后的关联条件C1作为过滤条件F1。
在步骤S507,使用子树SubTree1替换关系图G1中的子树SubTree2,子树SubTree2由目标节点T1和与目标节点T1有目标连接边相连的邻居节点S1形成,关联查询节点用于替换子树SubTree2中的邻居节点S1。
需要说明,当邻居节点S1具有连接到其他节点的目标连接边时,通过使得关联查询节点替换子树SubTree2中的邻居节点S1,可以使得该目标连接边连接到关联查询节点。
在一种实施方式中,在关系图G1中对应于数据表的节点为表扫描节点或查询调用节点的情况下,在执行步骤S507之前,还可以将子树SubTree1中的邻居节点S1从表扫描节点转换成查询调用节点。
在一种实施方式中,在执行步骤S507之前,还可以在关联查询节点中添加针对其左右子节点的描述信息。该描述信息可以包括该左右子节点的节点名称或节点标识等。
在步骤S509,基于更新后的关系图G1生成目标查询语句的逻辑执行计划。
其中,当上述多个数据表为两个数据表时,可以直接基于更新后的关系图G1生成目标查询语句的逻辑执行计划,例如将该更新后的关系图G1作为逻辑执行计划。
需要说明,邻居节点S1在子树SubTree1中可以位于指定的一侧,例如位于右侧,这样,邻居节点S1可以作为关联查询节点的右子节点,目标节点T1可以作为关联查询节点的左子节点。基于此,逻辑执行计划可以描述查询依赖关系,其中的关联查询节点可以表示左右子节点存在查询依赖关系,右子节点的查询依赖左子节点。
在一种实施方式中,在按深度优先的方式搜索查询路径的情况下,在步骤S509之前,还可以响应于查询依赖关系R1为邻居节点S1的查询不依赖于目标节点T1,生成连接节点,该连接节点包括目标节点T1和邻居节点S1之间的目标连接边所表征的关联条件C1。之后,可以将该连接节点添加到关系图G1中,并且从关系图G1中移除目标节点T1和邻居节点S1之间的目标连接边,以及添加从目标节点T1到该连接节点、从邻居节点S1到该连接节点的连接边。进一步地,还可以在连接节点中添加针对其左右子节点的描述信息。该描述信息可以包括该左右子节点的节点名称或节点标识等。
在一种实施方式中,当上述多个数据表的数目大于2时,在步骤S507之后,并且在步骤S509之前,还可以继续对关系图G1中的节点进行查询依赖关系分析,并基于分析出的查询依赖关系对关系图G1进行更新处理。这样,在步骤S509中,可以基于最终更新完成的关系图G1生成逻辑执行计划,例如将该最终更新完成的关系图G1作为逻辑执行计划。
具体地,当上述多个数据表的数目大于2时,在按深度优先的方式搜索查询路径的情况下,在步骤S309中,可以执行如图6所示的逻辑执行计划生成过程。其中,图6是逻辑执行计划生成过程的一个示意图。
如图6所示,首先,在步骤S601,若查询依赖关系R1为邻居节点S1的查询依赖于目标节点T1,则生成目标节点T1和邻居节点S1的关联查询节点。
在步骤S603,生成子树SubTree1,子树SubTree1包括关联查询节点、目标节点T1、邻居节点S1、从目标节点T1到关联查询节点的连接边、及从邻居节点S1到关联查询节点的连接边。
在步骤S605,将目标节点T1和邻居节点S1之间的目标连接边所表征的关联条件C1,转换成过滤条件F1添加到子树SubTree1中的邻居节点S1。
在步骤S607,使用子树SubTree1替换关系图G1中的子树SubTree2,子树SubTree2由目标节点T1和与目标节点T1有目标连接边相连的邻居节点S1形成,关联查询节点用于替换子树SubTree2中的邻居节点S1。
其中,步骤S601-S607与图5对应的实施例中的步骤S501-S507相对应,可参考步骤S501-S507的相关说明,在此不再赘述。
在步骤S609,将关系图G1中的关联查询节点作为目标节点T2,分析目标节点T2和与其有目标连接边相连的邻居节点S2之间的查询依赖关系R2。
在步骤S611,基于查询依赖关系R2,对关系图G1进行更新处理。
具体地,当查询依赖关系R2为邻居节点S2的查询依赖于目标节点T2时,可以执行与步骤S601-S607类似的处理过程。当邻居节点S2的查询不依赖于目标节点T2时,可以执行如图7所示的关系图G1更新过程。其中,图7是关系图G1更新过程的一个示意图。
如图7所示,首先,在步骤S701,若查询依赖关系R2为邻居节点S2的查询不依赖于目标节点T2,则生成目标节点T2和邻居节点S2的连接节点,连接节点包括关联条件C2,关联条件C2基于目标节点T2和邻居节点S2之间的目标连接边所表征的关联条件而确定。
作为示例,目标节点T2和邻居节点S2之间的目标连接边所表征的关联条件包括,通过邻居节点S1对应的数据表的表名N2引用的字段名。可以将该关联条件中的表名N2修改为关联查询节点的节点标识,并将修改后的该关联条件作为关联条件C2。
在步骤S703,将连接节点添加到关系图G1中,并且从关系图G1中移除目标节点T2和邻居节点S2之间的目标连接边,以及添加从目标节点T1到连接节点、从邻居节点S2到连接节点的连接边。进一步地,还可以在连接节点中添加针对其左右子节点的描述信息。该描述信息可以包括该左右子节点的节点名称或节点标识等。
在执行完步骤S611之后,若关系图G1中不再包含目标连接边,则可以表明关系图G1已更新完成,可以接着执行步骤S613。
在步骤S613,基于更新后的关系图G1生成目标查询语句的逻辑执行计划。
下面,以图4所示的关系图G1为例,介绍在按深度优先的方式搜索查询路径的情况下,逻辑执行计划的生成过程。
首先,可以从关系图G1中选取QueryCall3节点,并分析QueryCall3节点和与其有目标连接边相连的TableScan2节点之间的查询依赖关系。由于QueryCall3节点和TableScan2节点之间的目标连接边所表征的关联条件中的字段col2_2是TableScan2节点包括的读取方法read_method2使用的字段,因而可以确定该关联条件满足该读取方法,进而确定TableScan2节点的查询依赖于QueryCall3节点。
接着,可以生成QueryCall3节点和TableScan2节点的关联查询节点Correlate,进而生成子树SubTree1。其中,Correlate节点的节点标识可以为Cor1。子树SubTree1包括Correlate节点、QueryCall3节点、TableScan2节点、从QueryCall3节点到Correlate节点的连接边、及从TableScan2节点到Correlate节点的连接边。其中,QueryCall3节点可以为Correlate节点的左子节点,TableScan2节点可以为Correlate节点的右子节点。
接着,可以将关联条件table2.col2_2=table3.col3_2,转换成过滤条件table2.col2_2=cor1.col3_2,并将该过滤条件添加到子树SubTree1中的TableScan2节点,以及将TableScan2节点转换成QueryCall2节点。另外,还可以将针对Correlate节点的左右子节点的描述信息,例如“left:QueryCall3”和“right:QueryCall2”,添加到Correlate节点。其中,“left”可以表示左子节点,“right”可以表示右子节点。此时的子树SubTree1可以如图8所示。其中,图8是子树SubTree1的一个示意图。
接着,可以使用图8所示的子树SubTree1替换图4所示的关系图G1中的子树SubTree2,子树SubTree2由QueryCall3节点和与QueryCall3节点有目标连接边相连的TableScan2节点形成,子树SubTree1中的Correlate节点用于替换子树SubTree2中的TableScan2节点。此时的关系图G1可以如图9所示。其中,图9是更新后的关系图G1的一个示意图。
接着,可以从关系图G1中选取出Correlate节点,并分析Correlate节点和与其有目标连接边相连的QueryCall1节点之间的查询依赖关系。在一个例子中,由于Correlate节点和QueryCall1之间的目标连接边所表征的关联条件中的字段col2_1并不是Correlate节点的子节点QueryCall2包括的读取方法read_method2使用的字段,因而可以确定该关联条件不满足该读取方法,进而确定QueryCall1节点的查询不依赖于Correlate节点。在另一个例子中,可以识别出QueryCall1节点是查询调用节点,由于查询调用节点中的过滤条件满足所包括的读取方法,因而可以确定QueryCall1节点的查询不依赖于Correlate节点。
接着,可以生成Correlate节点和QueryCall1节点的连接节点Join。其中,Join节点可以包括关联条件table1.col1_1=cor1.col2_1,该关联条件基于Correlate节点和QueryCall1节点之间的目标连接边所表征的关联条件table1.col1_1=table2.col2_1而确定。
接着,可以将Join节点添加到如图9所示的关系图G1中,并且在关系图G1中移除Correlate节点和QueryCall1节点之间的目标连接边,以及添加从Correlate节点到Join节点、从QueryCall1节点到Join节点的连接边。另外,还可以在Join节点中添加针对其左右子节点的描述信息,例如“left:QueryCall1”和“right:cor1”。此时的关系图G1可以如图10所示。其中,图10是更新后的关系图G1的一个示意图。在图10所示的关系图G1中,Join节点中的“condition”表示关联条件。
由于关系图G1中table1、table2、table3分别对应的节点均完成了分析,关系图G1不再包含目标连接边,因而可以获知图10所示的关系图G1是最终更新完成的关系图,从而可以基于图10所示的关系图G1生成目标查询语句的逻辑执行计划,例如直接将该关系图G1作为目标查询语句的逻辑执行计划。
需要说明,图10所示的关系图G1是一个包含连接节点、关联查询节点和查询调用节点的树,其中的叶子节点是查询调用节点,非叶子节点是连接节点或关联查询节点。树中描述了查询依赖关系,对于非叶子节点,如果是关联查询节点,可以表示其左右子节点存在查询依赖关系,右子节点的查询依赖于左子节点;如果是连接节点,可以表示其左右子节点不存在查询依赖关系,左右子节点的查询可以分别单独完成。同时,树也描述了数据源查询顺序、读取方法和查询结果关联的方式,可以表示当前目标查询语句的逻辑执行计划。逻辑执行计划中的节点可以代表一次操作,比如数据源查询操作或关联操作等。
图3对应的实施例提供的数据查询方案,可以对数据源查询受限场景下的多表联合查询进行查询分析,并根据该多表支持的读取方法、针对该多表中的表的过滤条件、及该多表之间的关联条件,自动生成可行的逻辑执行计划,能避免人工设计逻辑执行计划带来的错误风险。另外,该方案可以支持基于标准SQL的多源受限数据资源的集成开发,提高数据开发效率,并且可以避免人工设计逻辑执行计划的额外成本。
在一个实施例中,在生成目标查询语句的逻辑执行计划后,还可以基于该逻辑执行计划,对上述多个数据表进行联合查询。
实践中,除了按深度优先的方式搜索查询路径外,还可以按广度优先的方式搜索查询路径。
在通过执行上述步骤S305生成关系图G1后,当按广度优先的方式搜索查询路径时,可以将关系图G1中所包括的过滤条件满足所包括的读取方法的各个节点放入目标队列。接着,可以通过执行上述步骤S307,从目标队列中取出位于队首的节点作为目标节点T1,并分析目标节点T1和与其有目标连接边相连的邻居节点S1之间的查询依赖关系R1。然后,可以通过执行上述步骤S309,基于查询依赖关系R1,生成目标查询语句的逻辑执行计划,以用于上述多个数据表的联合查询。
需要说明,当邻居节点S1的查询不依赖于目标节点T1时,邻居节点S1的查询有可能依赖于其他节点,例如若邻居节点S1不包括过滤条件,或者邻居节点S1为表扫描节点,则可以获知邻居节点S1的查询依赖于其他节点。
基于此,在一种实施方式中,当查询依赖关系R1为邻居节点S1的查询不依赖于目标节点T1时,可以结束对目标节点T1的分析,然后从目标队列中取出位于队首的节点作为目标节点T4,分析目标节点T4和与其有目标连接边相连的邻居节点S4之间的查询依赖关系R4,并基于查询依赖关系R4,生成目标查询语句的逻辑执行计划。
以图4中示出的关系图G1为例,可以将QueryCall1节点和QueryCall3节点放入目标队列。假设QueryCall1节点位于队首,则可以从目标队列取出位于队首的QueryCall1节点,分析QueryCall1节点和与其有目标连接边相连的TableScan2节点之间的查询依赖关系。由于QueryCall1节点和TableScan2节点之间的目标连接边所表征的关联条件不满足TableScan2节点包括的读取方法,因而可以确定TableScan2节点不依赖于QueryCall1节点。因此,可以结束对QueryCall1节点的分析,然后从目标队列中取出位于队首的QueryCall3节点,分析QueryCall3节点和与其有目标连接边相连的TableScan2节点之间的查询依赖关系,并基于该查询依赖关系,生成目标查询语句的逻辑执行计划。
在另一种实施方式中,当查询依赖关系R1为邻居节点S1的查询依赖于目标节点T1时,可以执行如图5所示的逻辑执行计划生成过程。需要说明,当上述多个数据表的数目大于2时,在上述步骤S507之后,并且在上述步骤S509之前,还可以将关系图G1中的关联查询节点放入目标队列的队尾,然后从目标队列中取出位于队首的节点作为目标节点T3,分析目标节点T3和与其有目标连接边相连的邻居节点S3之间的查询依赖关系R3,并基于查询依赖关系R3对关系图G1进行更新处理。
继续以图4中示出的关系图G1为例,可以将QueryCall3节点和QueryCall1节点放入目标队列。假设QueryCall3节点位于队首,则可以从目标队列取出位于队首的QueryCall3节点。通过对QueryCall3节点和与其有目标连接边相连的TableScan2节点进行查询依赖关系分析,可以分析出TableScan2节点依赖于QueryCall3节点,之后可以采用与上述步骤S501-S507类似的处理过程,生成如图8所示的子树SubTree1,并使用子树SubTree1替换关系图G1中的子树SubTree2,得到如图9所示的更新后的关系图G1。接着,可以将关系图G1中的Correlate节点放入目标队列的队尾,并从目标队列中取出位于队首的QueryCall1节点。通过对QueryCall1节点和与其有目标连接边相连的Correlate节点进行查询依赖关系分析,可以分析出Correlate节点的查询不依赖于QueryCall1节点。接着,可以结束对QueryCall1节点的分析,从目标队列中取出位于队首的Correlate节点。通过对Correlate节点和与其有目标连接边相连的QueryCall1节点进行查询依赖关系分析,可以分析出QueryCall1节点的查询不依赖于Correlate节点。由于此时的目标队列为空,因而可以执行与上述步骤S701-S703类似的处理过程,对关系图G1进行更新处理,得到如图10所示的更新后的关系图G1。之后,可以基于该关系图G1生成目标查询语句的逻辑执行计划,例如直接将该关系图G1作为目标查询语句的逻辑执行计划。
概括来说,在按广度优先的方式搜索查询路径的情况下,可以用队列存储当前能查询的全部节点,依次取队首节点进行分析,再将分析生成的节点放入队尾,直至队列为空,分析结束。这种方案可以在一定程度上降低最终生成的树的高度,能优化查询流程,提高查询效率。
图11是本说明书实施例中的数据查询装置的结构示意图。该装置可以应用于任何具有数据存储、计算、处理能力的设备、平台或设备集群,例如,可以应用于数据库服务器(如图1中所示的数据库服务器102)、数据流转中枢平台、隐私协作应用平台或数矩服务平台等。
如图11所示,本说明书实施例中的数据查询装置1100可以包括:获取单元1101、解析单元1102、第一生成单元1103、分析单元1104和第二生成单元1105。其中,获取单元1101被配置成获取待执行的目标查询语句,目标查询语句中指定多个数据表,并且包括查询条件;其中,该多个数据表均支持读取方法,该读取方法使用对应的数据表的部分字段进行过滤查询;解析单元1102被配置成从目标查询语句中解析出要查询的该多个数据表、针对该多个数据表中的数据表的过滤条件、及数据表之间的关联条件;第一生成单元1103被配置成基于解析结果生成第一关系图,第一关系图包括该多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的该节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;分析单元1104被配置成从第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;第二生成单元1105被配置成基于第一查询依赖关系,生成目标查询语句的逻辑执行计划,以用于该多个数据表的联合查询。
在一种实施方式中,上述装置1100还可以包括:查询单元(图中未示出),被配置成基于逻辑执行计划,对上述多个数据表进行联合查询。
在一种实施方式中,分析单元1104可以进一步被配置成:若第一目标节点和第一邻居节点之间的目标连接边所表征的第一关联条件满足第一邻居节点包括的读取方法,则确定第一邻居节点的查询依赖于所述第一目标节点;若第一关联条件不满足第一邻居节点包括的读取方法,则确定第一邻居节点的查询不依赖于第一目标节点。
在一种实施方式中,第二生成单元1105可以进一步被配置成:若第一查询依赖关系为第一邻居节点的查询依赖于第一目标节点,则生成第一目标节点和第一邻居节点的关联查询节点;生成第一子树,第一子树包括关联查询节点、第一目标节点、第一邻居节点、从第一目标节点到关联查询节点的连接边、及从第一邻居节点到关联查询节点的连接边;将第一目标节点和第一邻居节点之间的目标连接边所表征的第一关联条件,转换成第一过滤条件添加到第一子树中的第一邻居节点;使用第一子树替换第一关系图中的第二子树,第二子树由第一目标节点和与第一目标节点有目标连接边相连的第一邻居节点形成,关联查询节点用于替换第二子树中的第一邻居节点;基于更新后的第一关系图生成逻辑执行计划。
在一种实施方式中,关联查询节点具有节点标识,第一关联条件包括通过第一目标节点对应的数据表的第一表名引用的字段名;以及第二生成单元1105可以进一步被配置成:将第一关联条件中的第一表名修改为该节点标识,并将修改后的第一关联条件作为第一过滤条件。
在一种实施方式中,第一关系图中上述多个数据表分别对应的节点为表扫描节点或查询调用节点;查询调用节点包括过滤条件且该过滤条件满足所包括的读取方法;第一关系图中的表扫描节点不包括过滤条件,或者其包括的过滤条件不满足所包括的读取方法。
在一种实施方式中,第一生成单元1103可以进一步被配置成:生成第二关系图,第二关系图包括上述多个数据表分别对应的表扫描节点、及节点之间用于表征关联条件的目标连接边,任意的表扫描节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的表扫描节点还包括该过滤条件;对于上述多个数据表中关联过滤条件的数据表,响应于该过滤条件满足该数据表支持的读取方法,在第二关系图中将该数据表对应的表扫描节点转换成查询调用节点;将更新后的第二关系图作为第一关系图。
在一种实施方式中,分析单元1104可以进一步被配置成:从第一关系图中选取查询调用节点作为第一目标节点;第二生成单元1105可以进一步被配置成:将第一子树中的第一邻居节点从表扫描节点转换成查询调用节点。
在一种实施方式中,分析单元1104可以进一步被配置成:按深度优先的方式,从第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点。
进一步地,在使用第一子树替换第一关系图中的第二子树之后,以及在基于更新后的第一关系图生成逻辑执行计划之前,分析单元1104还可以被配置成:将第一关系图中的关联查询节点作为第二目标节点,分析第二目标节点和与其有目标连接边相连的第二邻居节点之间的第二查询依赖关系;第二生成单元1105还可以被配置成:基于第二查询依赖关系,对第一关系图进行更新处理。
进一步地,第二生成单元1105可以进一步被配置成:若第二查询依赖关系为第二邻居节点的查询不依赖于第二目标节点,则生成第二目标节点和第二邻居节点的连接节点,连接节点包括第二关联条件,第二关联条件基于第二目标节点和第二邻居节点之间的目标连接边所表征的关联条件而确定;将连接节点添加到第一关系图中,并且从第一关系图中移除第二目标节点和第二邻居节点之间的目标连接边,以及添加从第二目标节点到连接节点、从第二邻居节点到连接节点的连接边。
在一种实施方式中,分析单元1104可以进一步被配置成:将第一关系图中所包括的过滤条件满足所包括的读取方法的各个节点放入目标队列;从目标队列中取出位于队首的节点作为第一目标节点。
进一步地,在使用第一子树替换第一关系图中的第二子树之后,以及在基于更新后的第一关系图生成逻辑执行计划之前,分析单元1104还可以被配置成:将关联查询节点放入目标队列的队尾;从目标队列中取出位于队首的节点作为第三目标节点,分析第三目标节点和与其有目标连接边相连的第三邻居节点之间的第三查询依赖关系;第二生成单元1105还可以被配置成:基于第三查询依赖关系对第一关系图进行更新处理。
在一种实施方式中,分析单元1104还可以被配置成:若第一查询依赖关系为第一邻居节点的查询不依赖于第一目标节点,则从目标队列中取出位于队首的节点作为第四目标节点,分析第四目标节点和与其有目标连接边相连的第四邻居节点之间的第四查询依赖关系;第二生成单元1105还可以被配置成:基于第四查询依赖关系,生成目标查询语句的逻辑执行计划。
在图11对应的装置实施例中,关于各单元的进一步解释,可参考前文中相关方法实施例中的相关说明,在此不再赘述。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,当该计算机程序在计算机中执行时,令计算机执行以上方法实施例描述的数据查询方法。
本说明书实施例还提供了一种计算设备,包括存储器和处理器,其中,该存储器中存储有可执行代码,该处理器执行该可执行代码时,实现以上方法实施例描述的数据查询方法。
本说明书实施例还提供了一种计算机程序,其中,当该计算机程序在计算机中执行时,令计算机执行以上方法实施例描述的数据查询方法。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为服务器系统。当然,本申请不排除随着未来计算机技术的发展,实现上述实施例功能的计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已,并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。
Claims (17)
1.一种数据查询方法,包括:
获取待执行的目标查询语句,所述目标查询语句中指定多个数据表,并且包括查询条件;其中,所述多个数据表均支持读取方法,所述读取方法使用对应的数据表的部分字段进行过滤查询;
从所述目标查询语句中解析出要查询的所述多个数据表、针对所述多个数据表中的数据表的过滤条件、及数据表之间的关联条件;
基于解析结果生成第一关系图,所述第一关系图包括所述多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的所述节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;
从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析所述第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;
基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,以用于所述多个数据表的联合查询。
2.根据权利要求1所述的数据查询方法,还包括:
基于所述逻辑执行计划,对所述多个数据表进行联合查询。
3.根据权利要求1所述的数据查询方法,其中,所述分析所述第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系,包括:
若所述第一目标节点和所述第一邻居节点之间的目标连接边所表征的第一关联条件满足所述第一邻居节点包括的读取方法,则确定所述第一邻居节点的查询依赖于所述第一目标节点;
若所述第一关联条件不满足所述第一邻居节点包括的读取方法,则确定所述第一邻居节点的查询不依赖于所述第一目标节点。
4.根据权利要求1所述的数据查询方法,其中,所述基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,包括:
若所述第一查询依赖关系为所述第一邻居节点的查询依赖于所述第一目标节点,则生成所述第一目标节点和所述第一邻居节点的关联查询节点;
生成第一子树,所述第一子树包括所述关联查询节点、所述第一目标节点、所述第一邻居节点、从所述第一目标节点到所述关联查询节点的连接边、及从所述第一邻居节点到所述关联查询节点的连接边;
将所述第一目标节点和所述第一邻居节点之间的目标连接边所表征的第一关联条件,转换成第一过滤条件添加到所述第一子树中的所述第一邻居节点;
使用所述第一子树替换所述第一关系图中的第二子树,所述第二子树由所述第一目标节点和与所述第一目标节点有目标连接边相连的所述第一邻居节点形成,所述关联查询节点用于替换所述第二子树中的所述第一邻居节点;
基于更新后的所述第一关系图生成所述逻辑执行计划。
5.根据权利要求4所述的数据查询方法,其中,所述关联查询节点具有节点标识,所述第一关联条件包括通过所述第一目标节点对应的数据表的第一表名引用的字段名;以及
所述将所述第一目标节点和所述第一邻居节点之间的目标连接边所表征的第一关联条件,转换成第一过滤条件,包括:
将所述第一关联条件中的所述第一表名修改为所述节点标识,并将修改后的所述第一关联条件作为所述第一过滤条件。
6.根据权利要求4所述的数据查询方法,其中,所述第一关系图中所述多个数据表分别对应的节点为表扫描节点或查询调用节点;所述查询调用节点包括过滤条件且该过滤条件满足所包括的读取方法;所述第一关系图中的表扫描节点不包括过滤条件,或者其包括的过滤条件不满足所包括的读取方法。
7.根据权利要求6所述的数据查询方法,其中,所述基于解析结果生成第一关系图,包括:
生成第二关系图,所述第二关系图包括所述多个数据表分别对应的表扫描节点、及节点之间用于表征关联条件的目标连接边,任意的表扫描节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的表扫描节点还包括该过滤条件;
对于所述多个数据表中关联过滤条件的数据表,响应于该过滤条件满足该数据表支持的读取方法,在所述第二关系图中将该数据表对应的表扫描节点转换成查询调用节点;
将更新后的所述第二关系图作为所述第一关系图。
8.根据权利要求6所述的数据查询方法,其中,所述从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,包括:
从所述第一关系图中选取查询调用节点作为第一目标节点;以及
在使用所述第一子树替换所述第一关系图中的第二子树之前,还包括:
将所述第一子树中的所述第一邻居节点从表扫描节点转换成查询调用节点。
9.根据权利要求4所述的数据查询方法,其中,所述从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,包括:
按深度优先的方式,从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点。
10.根据权利要求9所述的数据查询方法,其中,在使用所述第一子树替换所述第一关系图中的第二子树之后,以及在基于更新后的所述第一关系图生成所述逻辑执行计划之前,还包括:
将所述第一关系图中的所述关联查询节点作为第二目标节点,分析所述第二目标节点和与其有目标连接边相连的第二邻居节点之间的第二查询依赖关系;
基于所述第二查询依赖关系,对所述第一关系图进行更新处理。
11.根据权利要求10所述的数据查询方法,其中,所述基于所述第二查询依赖关系,对所述第一关系图进行更新处理,包括:
若所述第二查询依赖关系为所述第二邻居节点的查询不依赖于所述第二目标节点,则生成所述第二目标节点和所述第二邻居节点的连接节点,所述连接节点包括第二关联条件,所述第二关联条件基于所述第二目标节点和所述第二邻居节点之间的目标连接边所表征的关联条件而确定;
将所述连接节点添加到所述第一关系图中,并且从所述第一关系图中移除所述第二目标节点和所述第二邻居节点之间的目标连接边,以及添加从所述第二目标节点到所述连接节点、从所述第二邻居节点到所述连接节点的连接边。
12.根据权利要求4所述的数据查询方法,还包括:
将所述第一关系图中所包括的过滤条件满足所包括的读取方法的各个节点放入目标队列;以及
所述从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,包括:
从所述目标队列中取出位于队首的节点作为第一目标节点。
13.根据权利要求12所述的数据查询方法,其中,在使用所述第一子树替换所述第一关系图中的第二子树之后,以及在基于更新后的所述第一关系图生成所述逻辑执行计划之前,还包括:
将所述关联查询节点放入所述目标队列的队尾;
从所述目标队列中取出位于队首的节点作为第三目标节点,分析所述第三目标节点和与其有目标连接边相连的第三邻居节点之间的第三查询依赖关系;
基于所述第三查询依赖关系对所述第一关系图进行更新处理。
14.根据权利要求12所述的数据查询方法,其中,所述基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,还包括:
若所述第一查询依赖关系为所述第一邻居节点的查询不依赖于所述第一目标节点,则从所述目标队列中取出位于队首的节点作为第四目标节点,分析所述第四目标节点和与其有目标连接边相连的第四邻居节点之间的第四查询依赖关系;
基于所述第四查询依赖关系,生成所述目标查询语句的逻辑执行计划。
15.一种数据查询装置,包括:
获取单元,被配置成获取待执行的目标查询语句,所述目标查询语句中指定多个数据表,并且包括查询条件;其中,所述多个数据表均支持读取方法,所述读取方法使用对应的数据表的部分字段进行过滤查询;
解析单元,被配置成从所述目标查询语句中解析出要查询的所述多个数据表、针对所述多个数据表中的数据表的过滤条件、及数据表之间的关联条件;
第一生成单元,被配置成基于解析结果生成第一关系图,所述第一关系图包括所述多个数据表分别对应的节点、及节点之间用于表征关联条件的目标连接边,任意的所述节点包括其对应的数据表支持的读取方法,并且关联过滤条件的数据表对应的节点还包括该过滤条件;
分析单元,被配置成从所述第一关系图中选取所包括的过滤条件满足所包括的读取方法的节点作为第一目标节点,分析所述第一目标节点和与其有目标连接边相连的第一邻居节点之间的第一查询依赖关系;
第二生成单元,被配置成基于所述第一查询依赖关系,生成所述目标查询语句的逻辑执行计划,以用于所述多个数据表的联合查询。
16.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-14中任一项所述的方法。
17.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310391361.2A CN116483867A (zh) | 2023-04-11 | 2023-04-11 | 数据查询方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310391361.2A CN116483867A (zh) | 2023-04-11 | 2023-04-11 | 数据查询方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116483867A true CN116483867A (zh) | 2023-07-25 |
Family
ID=87214858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310391361.2A Pending CN116483867A (zh) | 2023-04-11 | 2023-04-11 | 数据查询方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116483867A (zh) |
-
2023
- 2023-04-11 CN CN202310391361.2A patent/CN116483867A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545030B (zh) | 数据血缘关系的处理方法、装置及设备 | |
CN108848244B (zh) | 一种分页显示的方法及装置 | |
CN107622080B (zh) | 一种数据处理方法及设备 | |
CN110704398A (zh) | 从MySQL到Oracle的数据库迁移方法、装置及计算机设备 | |
CN107562777B (zh) | 数据处理方法及其设备 | |
CN110399359B (zh) | 一种数据回溯方法、装置及设备 | |
CN103164455B (zh) | 数据库的优化方法及装置 | |
CN110109951B (zh) | 一种关联查询的方法、数据库应用系统及服务器 | |
CN115756449B (zh) | 一种页面复用方法、装置、存储介质及电子设备 | |
CN110083617B (zh) | 一种ddl语句的处理方法、装置、电子设备和介质 | |
CN116483859A (zh) | 数据查询方法及装置 | |
CN116521705A (zh) | 一种数据查询方法、装置、存储介质及电子设备 | |
US20240256613A1 (en) | Data processing method and apparatus, readable storage medium, and electronic device | |
CN115390852A (zh) | 一种生成统一抽象语法树与程序分析的方法和装置 | |
CN113434533A (zh) | 一种数据溯源工具构建方法、数据处理方法、装置及设备 | |
CN116644090B (zh) | 一种数据查询方法、装置、设备及介质 | |
CN116341642B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
CN116010419A (zh) | 一种创建唯一索引和优化逻辑删除的方法及装置 | |
CN115878654A (zh) | 一种数据查询的方法、装置、设备及存储介质 | |
CN116303625A (zh) | 一种数据查询的方法、装置、存储介质及电子设备 | |
CN116483867A (zh) | 数据查询方法及装置 | |
CN112541001A (zh) | 数据查询方法、装置、存储介质及设备 | |
CN107463618B (zh) | 一种索引创建方法和装置 | |
CN108241624B (zh) | 一种查询脚本的生成方法及装置 | |
CN115391426A (zh) | 一种数据查询方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |