CN114265909A - 关系型数据库查询优化方法、装置、电子设备及存储介质 - Google Patents

关系型数据库查询优化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114265909A
CN114265909A CN202111614637.6A CN202111614637A CN114265909A CN 114265909 A CN114265909 A CN 114265909A CN 202111614637 A CN202111614637 A CN 202111614637A CN 114265909 A CN114265909 A CN 114265909A
Authority
CN
China
Prior art keywords
value
grade
condition
execution
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111614637.6A
Other languages
English (en)
Inventor
徐登峰
尹强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingbase Information Technologies Co Ltd
Original Assignee
Beijing Kingbase Information Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingbase Information Technologies Co Ltd filed Critical Beijing Kingbase Information Technologies Co Ltd
Priority to CN202111614637.6A priority Critical patent/CN114265909A/zh
Publication of CN114265909A publication Critical patent/CN114265909A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种关系型数据库查询优化方法、装置、电子设备及存储介质,属于数据库技术领域,能够解决现有技术中通过谓词下推的方式进行SQL查询,若谓词条件复杂耗时会导致查询效率较低的问题。该方法包括:计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,SQL语句用于对至少两个基表进行连接查询;计算SQL语句的连接条件的第二等级值;在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行;在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行。

Description

关系型数据库查询优化方法、装置、电子设备及存储介质
技术领域
本申请涉及数据库技术领域,尤其涉及一种关系型数据库查询优化方法、装置、电子设备及存储介质。
背景技术
近年来,随着移动互联网、大数据、人工智能等新应用场景以及新型硬件技术的发展,数据库管理系统(Database Management System,DBMS)在规模和复杂性方面有了显著的增加,对数据库的查询性能的要求也越来越高。
谓词下推是最早的也是最普遍的数据库查询优化策略之一,但该策略有一定的局限性,它不一定适用于现有的所有的场景,比如当谓词中涉及非常耗时的操作,如包含复杂的自定义函数,把谓词操作下推到基表,然后执行该谓词条件操作的代价很大,尤其是当谓词条件操作选择性很差的情况下,频繁执行该谓词条件非常耗时,大大降低了查询的执行效率。
因此,亟需一种提高数据库查询效率的方法。
发明内容
本申请实施例提供了一种关系型数据库查询优化方法、装置、电子设备及存储介质,以解决现有技术中通过谓词下推的方式进行SQL查询,若谓词条件复杂耗时会导致查询效率较低的问题。
本申请实施例的第一方面,提供一种关系型数据库查询优化方法,该方法包括:计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,SQL语句用于对至少两个基表进行连接查询;计算SQL语句的连接条件的第二等级值;在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行;在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行;其中,每个第三等级值大于或等于所述第二等级值,每个第四等级值小于第二等级值,N为正整数。
可选地,每个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数。
可选地,计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值;计算SQL语句的连接条件的第二等级值,包括:基于每个过滤条件的执行代价,计算得到相应的第一等级值;基于连接条件的执行代价,计算得到第二等级值。
可选地,基于每个过滤条件的执行代价,计算得到相应的第一等级值;基于连接条件的执行代价,计算得到第二等级值,包括:基于每个过滤条件的执行代价和选择率,计算得到相应的第一等级值;基于连接条件的执行代价和选择率,计算得到第二等级值。
可选地,至少一个第三等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,至少一个第四等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,将每个第四等级值对应的过滤条件下推到连接条件之下执行之后,该方法还包括:在N个第一等级值中包括大于或等于等级阈值的第一等级值的情况下,保存SQL语句的执行结果。
本申请实施例的第二方面,提供一种关系型数据库查询优化装置,该装置包括:计算模块和执行模块;计算模块,用于计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,SQL语句用于对至少两个基表进行连接查询;计算SQL语句的连接条件的第二等级值;执行模块,用于在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行;在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行;其中,每个第三等级值大于或等于第二等级值,每个第四等级值小于所述第二等级值,N为正整数。
可选地,每个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数。
可选地,该计算模块,具体用于基于每个过滤条件的执行代价,计算得到相应的第一等级值;基于连接条件的执行代价,计算得到第二等级值。
可选地,该计算模块,具体用于基于每个过滤条件的执行代价和选择率,计算得到相应的第一等级值;基于连接条件的执行代价和选择率,计算得到第二等级值。
可选地,该执行模块,具体用于至少一个第三等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,该执行模块,具体用于至少一个第四等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,关系型数据库查询优化装置还包括:保存模块;该保存模块,用于在将每个第四等级值对应的过滤条件下推到连接条件之下执行之后,在N个第一等级值中包括大于或等于等级阈值的第一等级值的情况下,保存SQL语句的执行结果。
本申请实施例的第三方面,提供一种电子设备,该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令,该程序或指令被该处理器执行时实现如第一方面所述的关系型数据库查询优化方法的步骤。
本申请实施例的第四方面,提供一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面所述的关系型数据库查询优化方法的步骤。
本申请实施例的第五方面,提供一种计算机程序产品,其中,该计算机程序产品包括计算机程序或指令,当该计算机程序产品在处理器上运行时,使得处理器执行该计算机程序或指令,实现如第一方面所述的关系型数据库查询优化方法的步骤。
本申请实施例的第六方面,提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现如第一方面所述的关系型数据库查询优化方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点:
本申请实施例中,计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,SQL语句用于对至少两个基表进行连接查询;计算SQL语句的连接条件的第二等级值;在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行;在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行;其中,每个第三等级值大于或等于第二等级值,每个第四等级值小于第二等级值,N为正整数;本方案中,根据每个过滤条件等级值与连接条件的等级值的大小关系(即确定了每个过滤条件和连接条件的复杂关系),确定需要上拉的过滤条件(至少一个第三等级值对应的过滤条件)和需要下推的过滤条件(至少一个第四等级值对应的过滤条件),将比连接条件等级值低的过滤条件下推到基表执行,提高了SQL语句的执行效率,同时将比连接条件等级值高或者相等的过滤条件上拉到连接条件之上执行,减少了执行该复杂的过滤条件的次数,使得SQL查询的耗时更小,执行效率更高。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的关系型数据库查询优化方法的流程示意图之一;
图2为本申请实施例提供的一种关系型数据库查询优化方法的示例图;
图3为本申请实施例提供的关系型数据库查询优化方法的流程示意图之二;
图4为本申请实施例提供的关系型数据库查询优化方法的流程示意图之三;
图5为本申请实施例提供的关系型数据库查询优化方法的流程示意图之四;
图6为本申请实施例提供的一种关系型数据库查询优化装置的结构框图;
图7为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面首先对本发明的权利要求书和说明书中涉及的一些名词或者术语进行解释说明。
SQL,是结构化查询语言(Structured Query Language)的简称,SQL语言是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统,同时也是数据库脚本文件的扩展名。
本申请实施例中的电子设备可以为移动电子设备,也可以为非移动电子设备。移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等;非移动电子设备可以为个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等;本申请实施例不作具体限定。
本申请实施例提供的关系型数据库查询优化方法的执行主体可以为上述的电子设备(包括移动电子设备和非移动电子设备),也可以为该电子设备中能够实现该关系型数据库查询优化方法的功能模块和/或功能实体,具体的可以根据实际使用需求确定,本申请实施例不作限定。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的关系型数据库查询优化方法进行详细地说明。
如图1所示,本申请实施例提供一种关系型数据库查询优化方法,下面以执行主体为电子设备为例,对本申请实施例提供的关系型数据库查询优化方法进行示例性的说明。该方法可以包括下述的步骤101至步骤104。
101、计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值。
其中,SQL语句用于对至少两个基表进行连接查询,N为正整数。
其中,第一等级值用于表征过滤条件的复杂性。
可以理解,用于对至少两个基表进行连接查询的SQL语句中可能包含多个过滤条件,对每个过滤条件都计算出一个第一等级值,得到N个第一等级值(即计算每个过滤条件复杂性)。
可选地,保存所有第一等级值。如此,将每个过滤条件的第一等级值进行保存,下一次对于完全一样的过滤条件对应的第一等级值无需重复计算,可以直接使用,提升了SQL的执行效率。
可选地,保存大于第一阈值的第一等级值。
可以理解,第一阈值可以是根据历史经验预设的,也可以是根据实时数据计算的,具体可以根据实际情况确定,本申请实施例不做具体限定。示例性地,第一阈值可以是相应的连接条件的等级值(例如,第二等级值)。
本申请实施例中,由于一些过滤条件的等级值计算比较耗时,因此将过滤条件中第一等级值大于第一阈值的第一等级值保存,下一次对于完全一样的过滤条件对应的第一等级值无需重复计算,可以直接使用,提升了SQL的执行效率。
102、计算SQL语句的连接条件的第二等级值。
其中,第二等级值用于表征连接条件的复杂性。
可选地,保存第二等级值。如此,将SQL语句的连接条件的第二等级值进行保存,下一次对于完全一样的连接条件对应的第二等级值无需重复计算,可以直接使用,提升了SQL的执行效率。
103、在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行。
其中,每个第三等级值大于或等于第二等级值。
可以理解,第三等级值的对应的过滤条件即为第一等级值中大于或等于第二等级值时对应的过滤条件,将第三等级值对应的过滤条件上拉到连接条件之上执行;即将所有比连接条件等级值高或者相等的过滤条件上拉到连接条件之上执行。
104、在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行。
其中,每个第四等级值小于第二等级值。
可以理解,第四等级值的对应的过滤条件即为第一等级值中小于第二等级值时对应的过滤条件,将第四等级值对应的过滤条件下推到连接条件之下执行;即将所有比连接条件等级值低的过滤条件下推到连接条件之下执行。
可以理解,谓词下推在谓词条件操作较为简单(简单常量的大于、小于、等于的判断等),谓词条件操作执行代价很低且选择性较高的情况下,将谓词条件下推到基表执行,能够有效地提高SQL语句的执行效率;但是,如果谓词条件中包含了较为复杂耗时的函数调用(一般为自定义函数),并且选择性不高,此时再将谓词条件下推到基表(通常数据量较大)执行,频繁执行该计算复杂且耗时的谓词条件操作,会使整个SQL的执行效率很低,因此,本申请实施例,将谓词条件细分为连接条件和过滤条件,简单的过滤条件依旧下推到基表执行,但对于包含比较复杂的函数的耗时的过滤条件,将该过滤条件上拉到连接条件之上执行。
示例性地,当所有的过滤条件的等级值都大于或者等于连接条件的等级值情况下(即至少一个第三等级值对应的过滤条件有N个,第四等级值对应的过滤条件有0个),这时将所有的过滤条件上拉到连接条件之上执行;当所有的过滤条件的等级值都小于连接条件的等级值情况下(即至少一个第四等级值对应的过滤条件有N个,第三等级值对应的过滤条件有0个),这时将所有的过滤条件下推到连接条件之下执行;当有部分过滤条件的等级值大于或者等于连接条件的等级值情况下(即第三等级值对应的过滤条件的个数和第四等级值对应的过滤条件的个数的和为第一等级值对应的过滤条件的个数N),这时将第三等级值对应的过滤条件上拉到连接条件之上执行,将第四等级值对应的过滤条件下推到连接条件之下执行。
示例性地,SQL语句为:SELECT*FROM t1 INNER JOIN t2 ON t1.id=t2.id WHEREt1.age<40AND t2.name='Mary'AND myfunc(t1.id)>1;其中t1是第一个基表,t2是第二个基表,myfunc(t1.id)是一个用户自定义的函数,t1.age<40、t2.name='Mary'、myfunc(t1.id)>1均为过滤条件;t1.id=t2.id为连接条件;假设连接条件t1.id=t2.id的等级值为2;t1.age<40的等级值为1,t2.name='Mary'等级值为1,myfunc(t1.id)>1的等级值为5;则将myfunc(t1.id)>1上拉到INNER JOIN t1.id=t2.id之上执行,将t1.age<40、t2.name='Mary'下推到INNER JOIN t1.id=t2.id之下执行。
示例性地,如图2所示,标号200指示的是现有技术中将谓词下推,执行SQL语句SELECT*FROM t1 INER JOIN t2 ON t1.id=t2.id WHERE t1.age<40AND t2.name='Mary'AND myfunc(t1.id)>1的过程为:先扫描基表t1和t2,对于基表t1,通过t1.age<40过滤掉基表t1中t1.age大于或者等于40的部分,再通过myfunc(t1.id)>1过滤掉基表t1中myfunc(t1.id)大于或者等于1的部分;对于基表t2,通过t2.name='Mary'过滤掉t2.name不是'Mary'的部分;再将过滤后的基表t1和基表t2满足t1.id=t2.id连接条件的部分连接在一起作为结果集;在本申请实施例中,假设过滤条件myfunc(t1.id)的等级值大于连接条件t1.id=t2.id的等级值,其余过滤条件的等级值小于连接条件t1.id=t2.id的等级值,在此条件下,标号201指示的是本申请实施例的关系型数据库查询优化方法对于上述SQL语句的执行过程:先扫描基表t1和t2,对于基表t1,通过t1.age<40过滤掉基表t1中t1.age大于或者等于40的部分(将过滤条件下推到连接条件之下执行,即谓词下推);对于基表t2,通过t2.name='Mary'过滤掉t2.name不是Mary的部分;再将过滤后的基表t1和基表t2满足t1.id=t2.id连接条件的部分连接在一起作为结果集;再通过myfunc(t1.id)>1过滤掉结果集中myfunc(t1.id)大于或者等于1的部分(将过滤条件上拉到连接条件之上执行)。
本申请实施例中,根据每个过滤条件等级值与连接条件的等级值的大小关系(即确定了每个过滤条件和连接条件的复杂关系),确定需要上拉的过滤条件(至少一个第三等级值对应的过滤条件)和需要下推的过滤条件(至少一个第四等级值对应的过滤条件),将比连接条件等级值低的过滤条件下推到基表执行,提高了SQL语句的执行效率,同时将比连接条件等级值高或者相等的过滤条件上拉到连接条件之上执行,减少了执行该复杂的过滤条件的次数,使得SQL查询的耗时更小,执行效率更高。
可选地,每个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数。
可以理解,代价阈值可以是根据历史经验预设的,也可以是根据实时数据计算的,具体可以根据实际情况确定,本申请实施例不做具体限定。示例性地,代价阈值可以是SQL语句中包含的所有函数的执行代价值中的最小值。
可以理解,如果连接条件比较简单,这时对于上拉到连接条件之上执行的过滤条件可以进一步限定,在满足过滤条件的等级值大于或者等于连接条件,并且过滤条件中存在执行代价大于或等于代价阈值的函数(一般为自定义的函数),这时将过滤条件上拉到连接条件之上执行。
本申请实施例中,对于一个第三等级值对应的过滤条件(第三等级值大于或等于第二等级值),并且该一个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数,这时将过滤条件上拉到连接条件之上执行;因为如果连接条件比较简单,可能会存在过滤条件也相对简单但是其等级值大于连接条件的等级值,这时无需将过滤条件上拉到连接条件之上执行,而是进一步判断过滤条件中是否存在执行代价大于或等于代价阈值的函数,如果存在,则将过滤条件上拉到连接条件之上执行,否则,将该过滤条件下推到连接条件之下执行;通过使用代价阈值进一步限定了上拉到连接条件之上执行的过滤条件,优化了SQL查询的策略,提升了SQL查询的执行效率。
可选地,上述步骤101中第一等级值的计算具体可以通过下述步骤101a实现,上述步骤102中第二等级值的计算具体可以通过下述步骤102a实现。
101a、基于每个过滤条件的执行代价,计算得到相应的第一等级值。
102a、基于连接条件的执行代价,计算得到第二等级值。
可以理解,谓词条件(过滤条件和连接条件)的执行代价的计算方法不是单一不变,不同情况计算方法不同,具体根据实际情况确定,本申请实施例不做具体限定。
示例性地,如果只是简单的对单表的简单判断(大于、小于、等于)的情况,如:t1.id>4,求解执行代价可以是:代价(Cost)=操作符代价(operator_cost)*元组数量;如果是连接条件,比如t1.id=t2.id,求解执行代价可以是:Cost=获取一条元组的代价(tuple_cost)*((t1元组数量-1)+t2元组数量);如果谓词条件中包含了函数,如myfunc(t1.id)>1,其中函数代价是根据函数自身的实现所计算出来的,不同函数自身包含的需要执行的操作不同,比如函数中有对于表的非索引字段的扫描操作,则函数代价中就要累加该表的全局扫描代价,因此,函数代价的计算是通过计算数据库系统自身对各种不同操作的代价,再将不同操作的代价累加得到的。
本申请实施例中,基于每个过滤条件的执行代价确定每个第一等级值,基于连接条件的执行代价确定第二等级值,不同情况的执行代价不同,因此根据实际需求计算谓词条件的执行代价,执行代价越高,需要计算消耗的时间越多,SQL的执行效率也就越低,因此将执行代价较高的过滤条件上拉到连接条件之上执行,可以有效地减少对于比较复杂的过滤条件频繁的操作次数,进而有效提升SQL查询的执行效率。
可选地,结合图1如图3所示,上述步骤101中第一等级值的计算具体可以通过下述步骤101b实现,上述步骤102中第二等级值的计算具体可以通过下述步骤102b实现。
101b、基于每个过滤条件的执行代价和选择率,计算得到相应的第一等级值。
其中,第一等级值用于表征过滤条件的复杂性和选择性。
102b、基于连接条件的执行代价和选择率,计算得到第二等级值。
其中,第一等级值用于表征连接条件的复杂性和选择性。
可以理解,选择率是指根据过滤条件或者连接条件确定的被选中的元组数量与所有元组数量的比值,即:选择率(SelectRate)=选中的元组数量/所有元组数量。
其中,元组(tuple)是关系数据库中的基本概念,关系是一张表,表中的每行(即数据库中的每条记录)就是一个元组,每列就是一个属性,在二维表里,元组也称为行。
可以理解,基于选择率和执行代价计算等级值的方法可以依据实际需求确定,本申请实施例不做具体限定。示例性地,等级值=(SelectRate-1)/Cost。
本申请实施例中,基于每个过滤条件的执行代价和选择率确定每个第一等级值,基于连接条件的执行代价和选择率确定第二等级值;因为如果过滤条件中包含复杂函数,但是依据该过滤条件选中的元组的数量很少,那么再对数量很少的元组做操作的执行效率相对会提高,因此,等级值的计算将选择率也考虑进去,进一步限定了对于执行代价高但选择率低的过滤条件,计算得到的等级值较低,这种情况下无需将该过滤条件上拉到连接条件之上执行,进而优化了SQL查询的策略,提升了SQL查询的执行效率。
可选地,上述步骤103中至少一个第三等级值对应的过滤条件按照对应的等级值的大小从小到大执行;即将所有上拉到连接条件之上执行的过滤条件按照等级值的大小从小到大执行。
可以理解,上拉到连接条件之上执行的过滤条件可能不止一个,按照等级值的大小从小到大执行,因为等级值越小执行效率越高,相对于先执行等级值高的过滤条件,再执行等级值低的过滤条件,先根据等级值小的过滤条件过滤掉一部分元组,剩下的结果集会变小,再对结果集执行等级值高的过滤条件的计算量和耗时都会更小,因此,可以有效提升SQL查询的执行效率。
本申请实施例中,对于上拉到连接条件之上执行的多个过滤条件按照等级值的大小从小到大执行,先执行等级值低的过滤条件可以过滤掉一部分元组,再执行等级值高的过滤条件,可以使得等级值高的过滤条件被重复执行的次数减少,进而提升了SQL的执行效率;因为一部分元组先通过等级值较低的过滤条件过滤掉了,剩下的结果集变小,则执行等级值较高的过滤条件需要扫描的是结果集,因此,等级值较高的过滤条件被重复执行的次数减少,SQL的执行效率得到有效地提升。
可选地,上述步骤104中至少一个第四等级值对应的过滤条件按照对应的等级值的大小从小到大执行;即将所有下推到连接条件之下执行的过滤条件按照等级值的大小从小到大执行。
可以理解,下推到连接条件之下执行的过滤条件可能不止一个,按照等级值的大小从小到大执行,因为等级值越小执行效率越高,相对于先执行等级值高的过滤条件,再执行等级值低的过滤条件,先根据等级值小的过滤条件过滤掉一部分元组,剩下的结果集更小,再对结果集执行等级值高的过滤条件的计算量和耗时都会更小,因此,可以有效地提升SQL查询的执行效率。
本申请实施例中,对于下推到连接条件之下执行的多个过滤条件按照等级值的大小从小到大执行,先执行等级值低的过滤条件可以过滤掉一部分元组,再执行等级值高的过滤条件,可以使得等级值高的过滤条件被重复执行的次数减少,进而提升了SQL的执行效率;因为一部分元组先通过等级值较低的过滤条件过滤掉了,剩下的结果集更小,则执行等级值较高的过滤条件需要扫描的是结果集,因此,等级值较高的过滤条件被重复执行的次数减少,SQL查询的执行效率得到有效地提升。
可选地,结合图3如图4所示,上述步骤104之后,该方法还包括下述步骤105。
105、在N个第一等级值中包括大于或等于等级阈值的第一等级值的情况下,保存SQL语句的执行结果。
可以理解,等级阈值可以是根据历史经验预设的,也可以是根据实时数据计算的,具体可以根据实际情况确定,本申请实施例不做具体限定。示例性地,等级阈值可以是SQL语句中包含的所有自定义函数的执行代价值中的最小值。
本申请实施例中,对于SQL语句中包含比较复杂耗时的过滤条件的情况,将SQL语句的执行结果进行保存;因为同样的SQL语句经常被重复执行,如果SQL语句中包含比较复杂耗时的过滤条件,每次执行都要进行复杂的计算,耗费大量的时间,因此将第一次的执行结果进行保存,之后遇到同样的SQL语句就可以直接调取已保存的结果,无需重复执行该复杂的过滤条件,从而进一步提高整个SQL的执行效率。
示例性地,如图5所示,下述步骤501至步骤506为一种可选地对关系型数据库查询优化的流程。
501、查询开始。
502、基于每个谓词条件的执行代价和选择率,计算出等级值;
其中,谓词条件包括连接条件和过滤条件。
503、过滤条件的等级值是否不小于连接条件的等级值并且过滤条件中含有等级值大于等级阈值的函数;
是则执行步骤504,否则执行步骤505。
504、将过滤条件上拉到连接条件之上执行,多个过滤条件按等级值从小到大执行,缓存执行结果。
505、将过滤条件下推到连接条件之下执行,多个过滤条件按等级值从小到大执行。
506、结束。
图5为本申请实施例示出的一种关系型数据库查询优化装置的结构框图,如图6所示,包括:计算模块601和执行模块602;计算模块601,用于计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,SQL语句用于对至少两个基表进行连接查询;计算SQL语句的连接条件的第二等级值;执行模块602,用于在N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到连接条件之上执行;在N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到连接条件之下执行;其中,每个第三等级值大于或等于第二等级值,每个第四等级值小于所述第二等级值,N为正整数。
可选地,每个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数。
可选地,该计算模块601,具体用于基于每个过滤条件的执行代价,计算得到相应的第一等级值;基于连接条件的执行代价,计算得到第二等级值。
可选地,该计算模块601,具体用于基于每个过滤条件的执行代价和选择率,计算得到相应的第一等级值;基于连接条件的执行代价和选择率,计算得到第二等级值。
可选地,该执行模块602,具体用于至少一个第三等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,该执行模块602,具体用于至少一个第四等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
可选地,本申请实施例提供的一种关系型数据库查询优化装置还包括保存模块603,该保存模块603,用于在将每个第四等级值对应的过滤条件下推到连接条件之下执行之后,在N个第一等级值中包括大于或等于等级阈值的第一等级值的情况下,保存SQL语句的执行结果。
需要说明的是:如图6所示,关系型数据库查询优化装置600中一定包括的模块用实线框示意,如计算模块601和执行模块602;关系型数据库查询优化装置600中可以包括也可以不包括的模块用虚线框示意,如保存模块603。
需要说明的是,上述关系型数据库查询优化装置可以为本申请上述方法实施例中的电子设备,也可以是该电子设备中能够实现该装置实施例功能的功能模块和/或功能实体,本申请实施例不做限定。
本申请实施例中,各模块可以实现上述方法实施例提供的关系型数据库查询优化方法,且能达到相同的技术效果,为避免重复,这里不再赘述。
本实施例中各种实现方式具有的有益效果具体可以参见上述关系型数据库查询优化方法实施例中相应实现方式所具有的有益效果,为避免重复,此处不再赘述。
本申请实施例还提供一种电子设备,该电子设备可以包括:处理器701,存储器702以及存储在存储器702上并可在处理器701上运行的程序或指令,该程序或指令被处理器701执行时可以实现上述方法实施例提供的关系型数据库查询优化方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例提供一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现上述方法实施例提供的关系型数据库查询优化方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种计算机程序产品,其中,该计算机程序产品包括计算机程序或指令,当该计算机程序产品在处理器上运行时,使得处理器执行该计算机程序或指令,实现上述方法实施例提供的关系型数据库查询优化方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述关系型数据库查询优化方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置,服务器和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种关系型数据库查询优化方法,其特征在于,所述方法包括:
计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,所述SQL语句用于对至少两个基表进行连接查询;
计算所述SQL语句的连接条件的第二等级值;
在所述N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到所述连接条件之上执行;
在所述N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到所述连接条件之下执行;
其中,所述每个第三等级值大于或等于所述第二等级值,所述每个第四等级值小于所述第二等级值,N为正整数。
2.根据权利要求1所述的方法,其特征在于,所述每个第三等级值对应的过滤条件中存在执行代价大于或等于代价阈值的函数。
3.根据权利要求1所述的方法,其特征在于,所述计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值;计算所述SQL语句的连接条件的第二等级值,包括:
基于所述每个过滤条件的执行代价,计算得到相应的第一等级值;
基于所述连接条件的执行代价,计算得到所述第二等级值。
4.根据权利要求2所述的方法,其特征在于,所述基于所述每个过滤条件的执行代价,计算得到相应的第一等级值;基于所述连接条件的执行代价,计算得到所述第二等级值,包括:
基于所述每个过滤条件的执行代价和选择率,计算得到相应的第一等级值;
基于所述连接条件的执行代价和选择率,计算得到所述第二等级值。
5.根据权利要求1所述的方法,其特征在于,所述至少一个第三等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
6.根据权利要求1所述的方法,其特征在于,所述至少一个第四等级值对应的过滤条件按照对应的等级值的大小从小到大执行。
7.根据权利要求1至6任一所述的方法,其特征在于,所述将每个第四等级值对应的过滤条件下推到所述连接条件之下执行之后,所述方法还包括:
在所述N个第一等级值中包括大于或等于等级阈值的第一等级值的情况下,保存所述SQL语句的执行结果。
8.一种关系型数据库查询优化装置,其特征在于,所述装置包括:计算模块和执行模块;
所述计算模块,用于计算SQL语句的N个过滤条件中每个过滤条件的第一等级值,得到N个第一等级值,所述SQL语句用于对至少两个基表进行连接查询;计算所述SQL语句的连接条件的第二等级值;
所述执行模块,用于在所述N个第一等级值中存在至少一个第三等级值的情况下,将每个第三等级值对应的过滤条件上拉到所述连接条件之上执行;在所述N个第一等级值中存在至少一个第四等级值的情况下,将每个第四等级值对应的过滤条件下推到所述连接条件之下执行;其中,所述每个第三等级值大于或等于所述第二等级值,所述每个第四等级值小于所述第二等级值,N为正整数。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的关系型数据库查询优化方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的关系型数据库查询优化方法的步骤。
CN202111614637.6A 2021-12-27 2021-12-27 关系型数据库查询优化方法、装置、电子设备及存储介质 Pending CN114265909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111614637.6A CN114265909A (zh) 2021-12-27 2021-12-27 关系型数据库查询优化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111614637.6A CN114265909A (zh) 2021-12-27 2021-12-27 关系型数据库查询优化方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114265909A true CN114265909A (zh) 2022-04-01

Family

ID=80830472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111614637.6A Pending CN114265909A (zh) 2021-12-27 2021-12-27 关系型数据库查询优化方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114265909A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235118A (zh) * 2023-10-19 2023-12-15 北京人大金仓信息技术股份有限公司 一种查询优化方法、存储介质与计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235118A (zh) * 2023-10-19 2023-12-15 北京人大金仓信息技术股份有限公司 一种查询优化方法、存储介质与计算机设备
CN117235118B (zh) * 2023-10-19 2024-01-26 北京人大金仓信息技术股份有限公司 一种查询优化方法、存储介质与计算机设备

Similar Documents

Publication Publication Date Title
US11269878B2 (en) Uncorrelated subquery optimization method and apparatus, and storage medium
US8650181B2 (en) OLAP execution model using relational operations
US8396852B2 (en) Evaluating execution plan changes after a wakeup threshold time
US10372707B2 (en) Query execution pipelining with pump operators
US11003649B2 (en) Index establishment method and device
US8744994B2 (en) Data filtering and optimization for ETL (extract, transform, load) processes
US8843436B2 (en) Systems and methods for performing direct reporting access to transaction databases
CN110795455A (zh) 依赖关系解析方法、电子装置、计算机设备及可读存储介质
US7203685B2 (en) Apparatus and method for estimating cardinality when data skew is present
CN105320679A (zh) 一种数据表索引集合生成方法及装置
CN112732752A (zh) 一种查询语句优化方法、装置、设备和存储介质
CN114265909A (zh) 关系型数据库查询优化方法、装置、电子设备及存储介质
CN110704472A (zh) 数据查询统计方法及装置
US8239383B2 (en) System and method for managing execution of queries against database samples
US9135302B2 (en) Query rewrite with a nested materialized view
CN114490724B (zh) 处理数据库查询语句的方法和装置
US20070220058A1 (en) Management of statistical views in a database system
US11500839B1 (en) Multi-table indexing in a spreadsheet based data store
CN118556232A (zh) 数据模型生成的方法和装置
WO2024041221A1 (zh) 一种选择率估算方法及估算装置
CN117648391B (zh) 一种gnss轨迹数据存储、查询方法及数据库系统
CN108664481B (zh) 一种数据检索方法及服务器
CN116028519A (zh) 一种数据筛选方法、装置、电子设备及可读存储介质
CN117194519A (zh) 数据查询方法、装置、系统、存储介质及计算机设备
CN117494184A (zh) 基于差分隐私的Spark隐私保护方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination