CN105718593A - 一种数据库查询优化方法及系统 - Google Patents

Abstract

一种数据库查询优化方法及系统，该方法包括：将查询语句字符串用查询内部表示结构表示；对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示；对所述在语义上等价的查询内部表示进行语法分析，生成语义上的数据库内部表示；将语义上的数据库内部表示进行查询优化处理，生成最终的执行计划；对最终的执行计划进行解释和执行，生成查询结果或错误信息。本发明的方法及系统，可以有效的避免单靠计划优化的优化方法所带来的局限性，且减少查询的总资源占用和总时间的消耗，提供数据库查询效率。

Description

一种数据库查询优化方法及系统

技术领域

本发明涉及数据库领域，尤其涉及一种数据库查询优化方法及系统。

背景技术

数据库系统对用户隐藏数据结构细节，提供一个与数据无关的接口，用户只需对查询行为进行简单描述，无须关注获取这些数据的内部过程。查询优化就是在查询执行引擎生成一个执行策略的过程中，尽量使查询的总资源占用和总时间消耗极小化。数据库管理系统可以内置一个查询优化器，用于控制和加快查询执行和数据传输的过程，当用户查询表达经过查询处理器的语法分析处理后，查询优化器为查询选择一种适当的数据存取策略作为输出。然而，查询优化一直是个复杂的问题，特别是对海量数据的查询。

数据库系统的一个主要功能是它能够使得用户通过查询语言访问和修改数据。查询是数据库系统中最基本、最常用的一种操作，因此，查询是否具备较高的执行效率和快捷的反应速度，己成为数据库用户和设计者极其关注的问题。为了提高数据库系统的性能，对查询进行优化是必不可少的。

发明内容

本发明的目的在于提供一种数据库查询优化方法及系统，能够取得更好的优化效果，提高查询效率。

为实现上述目的，本发明提供的数据库查询优化方法，包括以下步骤：

1)将查询语句字符串用查询内部表示结构表示；

2)对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示；

3)对所述在语义上等价的查询内部表示进行语法分析，生成语义上的数据库内部表示；

4)将语义上的数据库内部表示进行查询优化处理，生成最终的执行计划；

5)对最终的执行计划进行解释和执行，生成查询结果或错误信息。

进一步地，所述步骤1)是将查询语句字符串分成多个词法单元并用查询内部表示结构表示。

进一步地，所述步骤2)是根据查询重写规则对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示。

进一步地，所述查询重写规则包括；

a)将过程性查询转换成描述性查询；

b)将效率较低的谓词转换为等价的效率高的谓词；

c)将查询语句转换成效率高的语句；

d)将查询转换为单个选择语句。

进一步地，所述步骤3)进一步包括以下步骤：对所述在语义上等价的查询内部表示进行语法分析及语义检查，如果语法是正确的，将生成一个语法树，然后再对该语法树进行检查；如果所述在语义上等价的查询内部表示涉及到的表、视图以及相关属性是合法的，则生成一个语义上的数据库内部表示。

进一步地，所述步骤4)进一步包括以下步骤：将查询的语义上的数据库内部表示转化为查询可执行的内部表示形式；对所述查询可执行的内部表示进行逻辑关系的优化，得到查询指令序列；执行操作的优化；执行操作间关系的优化，生成最终的执行计划。

更进一步地，所述逻辑关系的优化是根据表及其选择条件，选择先对哪个表作连接，通过条件类型及相关属性决定其关系代数运算的操作；所述执行操作的优化是针对操作确定其最佳执行效果；所述操作间关系的优化是针对不同的操作序列，进行等价的重新组合。

为实现上述目的，本发明提供的数据库查询优化系统，包括，词法分析器、查询优化器、语法分析器、查询执行引擎，以及计划管理模块，其中，

所述词法分析器，其将查询语句字符串分成多个词法单元，并用查询内部表示结构表示；

所述查询优化器，对所述查询内部表示进行特性分析，生成一个语义上等价的查询内部表示；将查询的语义上的数据库内部表示转化为查询可执行的内部表示形式；对所述查询的语义上的数据库内部表示分别进行优化，生成最优的执行指令序列；

所述语法分析器，对输入的查询内部表示进行语法分析，生成语法树和/或语义上的数据库内部表示；

所述查询执行引擎，从所述查询优化器模块获得最终的执行计划，并对其作出解释和执行，得出最终的正确结果或错误信息；

所述计划管理模块，存储并管理所述查询优化器发送的最终的执行计划。

进一步地，所述查询优化器，进一步包括查询重写模块、逻辑关系优化模块、执行操作优化模块，以及操作间关系优化模块，其中，

所述查询重写模块，对查询内部表示进行特性分析，生成语义上等价的查询内部表示；

所述逻辑关系优化模块，根据表及其选择条件，选择连接的表，并通过条件类型及相关属性决定其关系代数运算的操作；

所述执行操作优化模块，其针对某一特定操作，确定其最佳执行效果的算法。

所述操作间关系优化模块，其针对不同的操作序列，对其进行等价的重新组合。

更进一步地，所述查询重写模块，其根据查询重写规则对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示；所述查询重写条件，包括；将过程性查询转换成描述性查询；将效率较低的谓词转换为等价的效率高的谓词；将查询语句转换成效率高的语句；将查询转换为单个选择语句。

本发明的数据库查询优化方法及系统,将查询重写规则和执行策略相结合，对查询语句解析的不同层次分别进行优化，通过查询重写从语句级别根据数据库的执行特点转换成执行效率较高的语句，通过对解析后的执行策略重新排列、组合，转换成等价的高效的执行计划。这样可以很好地发挥查询重写的作用，一方面可以通过查询重写直接提高查询效率，另一方面可以使得计划优化能够取得更好的效果，从而可以避免单靠计划优化的优化方法所带来的局限性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的数据库查询优化方法的流程图；

图2为根据本发明的数据库查询优化系统的框图；

图3为根据本发明的查询优化器结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明的数据库查询优化方法的流程图，下面将参考图1，对本发明的数据库查询优化方法进行详细描述。

首先，在步骤101，在一个查询语句执行时，首先把包含该查询语句的字符串分成一个一个的词法单元，用查询内部表示结构表示，对查询语句进行词法分析。

在步骤102，对词法分析后的查询内部表示，进行查询语句的特性分析，将满足条件的查询重写规则实施在该查询上，从而生成一个语义上等价的查询内部表示，对查询语句进行查询重写。

本发明中，查询重写不考虑查询计划的代价，因此，查询重写后的查询不一定比原查询效率高，查询重写是基于规则的，只有当重写条件满足时才对查询做相应的转换，否则查询重写什么也不做。查询重写规则包括：

1.将过程性查询转换成描述性的；

2.将效率较低的谓词转化为等价的效率较高的谓词；

3.在查询重写阶段将查询语句转换成效率高的语句，消除冗余，常量条件；

4.将查询转换为单个选择语句。

查询重写，通过对所给的查询施加一些特定的变换(如:将嵌套子查询合并、等价谓词替换，等)，从而产生等价的希望比原来效率更高的查询。在重写阶段，只依赖于查询本身的特点，即如果查询满足了某些特性或条件就会实施相应的重写操作，它不考虑查询的执行代价。因此，不管重写后的查询效率是比原来的高还是比原来底，新产生的查询都会被传到下一阶段处理。

在步骤103，对查询语句进行语法分析及语义检查，如果查询语句语法是正确的，将生成一个语法树，然后再对该语法树进行检查，如果该语句涉及到的表、视图以及相关属性都是合法的，则生成一个语义上的数据库内部表示，该语义上的数据库内部表示主要用于生成sql语句对应的执行体序列。

在步骤104，将语义上的数据库内部表示进行查询优化处理。首先将查询的语义上的数据库内部表示转化为查询可执行的内部表示(执行体序列)形式，然后根据join算法对内部表示进行逻辑关系的优化操作，得到一系列查询指令序列；然后执行操作间关系的优化生成最优的执行指令序列，指令执行时在选择优化后的算法执行具体的指令操作。最终的执行计划(最优的执行指令序列)将提交给计划管理模块来存储或直接交给查询执行引擎执行。

在步骤105，对最终的执行计划进行解释和执行，生成查询结果或错误信息。查询执行引擎为每一个关系操作或操作序列实现一系列物理操作从而实现一系列数据库实现，如插入数据，查询等，这些物理操作包括排序、顺序扫描、索引扫描、连接、嵌套循环连接、排序归并连接，物化等。进而产生执行查询的代码，交给数据库处理器执行，最终生查询结果或报告错误信息。即获得最终的执行计划，并对其作出解释和执行，从而得出最终的正确结果或错误信息。查询执行引擎充分考虑数据的存储分布、大小、元组的排序情况和存取路径等，利用它们提高关系操作的运算效率。

为了选择最高效的查询计划，需要判断：

(1)当前查询语句，有哪几种等价形式，根据当前数据库的实现机制，哪种等价形式有着较高的执行效率。

(2)根据查询语句所操作表的不同，查询条件的不同，选择不同的执行流程、算法，使语句执行操作达到最优。

(3)对最优执行计划中的每个操作选择最优的执行算法。

(4)对解析后的执行体序列重新组合，转换，使得执行序列所费时间最短。

通过计划优化，在查询语句处理的不同阶段，通过有效的控制，让优化器解析成最优的执行序列，最后交由查询执行引擎执行。

本发明查询优化的目标是选择最有效的查询执行计划。假定S是适合该查询的所有策略的集合，S中的每一个元素a都有一个相关联的代价C(a)，查询优化算法的目标都是找到b∈S，满足：C(b)＝minC(a)，其中a∈S。

图2为根据本发明的数据库查询优化系统的框图，如图2所示，本发明的数据库查询优化系统，包括，词法分析器201、查询优化器202、语法分析器203、查询执行引擎204，以及计划管理模块205，其中，

词法分析器201，负责把包含查询语句的字符串分成一个一个的词法单元，用查询内部表示结构表示，然后把词法单元即查询内部表示传递给查询优化器202、语法分析器203。

查询优化器202，接收词法分析器201发送的查询内部表示，分析查询语句的特性，将满足条件的重写规则实施在该查询上，从而生成一个语义上等价的查询内部表示传给语法分析模块203；将查询的语义上的数据库内部表示转化为查询可执行的内部表示(执行体序列)形式，然后根据join算法对内部表示进行逻辑关系的优化操作，得到一系列查询指令序列；执行操作间关系的优化生成最优的执行指令序列(最终的执行计划)，指令执行时在选择优化后的算法执行具体的指令操作；最终的执行计划(最优的执行指令序列)将提交给计划管理模块205来存储或直接交给查询执行引擎204执行。

语法分析203，对输入的查询内部表示(词法单元)进行语法分析，如果查询内部表示语法是正确的，将生成一个语法树，然后再对该语法树进行检查，如果该查询内部表示涉及到的表、视图以及相关属性都是合法的，则将生成一个语义上的数据库内部表示传给查询优化器202，该语义上的查询内部表示主要用于生成sql语句对应的执行体序列。

查询执行引擎204，为每一个关系操作或操作序列实现一系列物理操作从而实现一系列数据库实现，如插入数据，查询等，这些物理操作包括排序、顺序扫描、索引扫描、连接、嵌套循环连接、排序归并连接，物化等。进而产生执行查询的代码，交给数据库处理器执行，最终生查询结果或报告错误信息。即它从查询优化器模块获得最终的执行计划，并对其作出解释和执行，从而得出最终的正确结果或错误信息。执行引擎要充分考虑数据的存储分布、大小、元组的排序情况和存取路径等，利用它们提高关系操作的运算效率。

本发明的查询执行引擎204，为了选择最高效的查询计划，需判断内容：当前查询语句，有哪几种等价形式，根据当前数据库的实现机制，哪种等价形式有着较高的执行效率；根据查询语句所操作表的不同，查询条件的不同，选择不同的执行流程、算法，使语句执行操作达到最优；对最优执行计划中的每个操作选择最优的执行算法；对解析后的执行体序列重新组合，转换，使得执行序列所费时间最短。

计划管理模块205，存储并管理查询优化器202发送的最终的执行计划(最优的执行指令序列)。

图3为根据本发明的查询优化器结构示意图，如图3所示，本发明的查询优化器，包括，查询重写模块301、逻辑关系优化模块302、执行操作优化模块303，以及操作间关系优化模块304，其中，

查询重写模块301，接收词法分析器201发送的查询内部表示，分析查询语句的特性，将满足条件的重写规则实施在该查询上，从而生成一个语义上等价的查询内部表示传给语法分析模块203。

查询重写模块301通过对所给的查询施加一些特定的变换(如:将嵌套子查询合并、等价谓词替换，等)，从而产生等价的希望比原来效率更高的查询。在重写阶段，优化器所做的仅仅是静态的，只依赖于查询本身的特点，即如果查询满足了某些特性或条件就会实施相应的重写操作。查询重写不考虑查询计划的代价，因此，查询重写后的查询不一定比原查询效率高，查询重写是基于规则的，只有当重写条件满足时才对查询做相应的转换，否则查询重写什么也不做。其查询重写规则：将过程性查询转换成描述性的；将效率较低的谓词转化为等价的效率较高的谓词；在查询重写阶段将查询语句转换成效率高的语句，消除冗余，常量条件；将查询转换为单个选择语句。

逻辑关系优化模块302，根据表及其选择条件，来选择究竟先对哪个表作连接，通过条件类型及相关属性决定其关系代数运算的操作，例如，在连接条件时，使用不同的连接算法。

执行操作优化模块303，针对某一特定操作，确定其最佳执行效果的算法。例如，利用内存特性，先采用分块算法(radix-cluster)，后面根据分块后具体实现上的不同，可以有两种实现，一是partition-join算法，分块后使用hash-join算法，用于数据比较分散的情况，另一个是radix-join算法，分块后使用顺序扫描的方式作连接，用于数据相对集中的情况。

操作间关系优化模块304，针对不同的操作序列，对其进行等价的重新组合，使得总的执行时间变短，可以利用计算机的并行性完成对执行序列的重新组合来实现优化。

本发明采用优化查询重写规则并结合执行策略，设计查询优化器，基本设计方法：在查询重写阶段将查询语句转换成效率高的语句，消除冗余，重复条件及常量条件；将查询转换为单个选择语句；在变换查询时，先做选择投影，再做连接等二元操作；在连接时，先做较小关系的连接，再做大关系的连接；提高对处理器和内存的利用率，通过算法优化提高查询计划的效率。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据库查询优化方法，其特征在于，包括以下步骤：

1)将查询语句字符串用查询内部表示结构表示；

2)对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示；

3)对所述在语义上等价的查询内部表示进行语法分析，生成语义上的数据库内部表示；

4)将语义上的数据库内部表示进行查询优化处理，生成最终的执行计划；

5)对最终的执行计划进行解释和执行，生成查询结果或错误信息。

2.根据权利要求1所述的数据库查询优化方法，其特征在于，所述步骤1)是将查询语句字符串分成多个词法单元并用查询内部表示结构表示。

3.根据权利要求1所述的数据库查询优化方法，其特征在于，所述步骤2)是根据查询重写规则对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示。

4.根据权利要求3所述的数据库查询优化方法，其特征在于，所述查询重写规则包括；

a)将过程性查询转换成描述性查询；

b)将效率较低的谓词转换为等价的效率高的谓词；

c)将查询语句转换成效率高的语句；

d)将查询转换为单个选择语句。

5.根据权利要求1所述的数据库查询优化方法，其特征在于，所述步骤3)进一步包括以下步骤：对所述在语义上等价的查询内部表示进行语法分析及语义检查，如果语法是正确的，将生成一个语法树，然后再对该语法树进行检查；如果所述在语义上等价的查询内部表示涉及到的表、视图以及相关属性是合法的，则生成一个语义上的数据库内部表示。

6.根据权利要求1所述的数据库查询优化方法，其特征在于，所述步骤4)进一步包括以下步骤：将查询的语义上的数据库内部表示转化为查询可执行的内部表示形式；对所述查询可执行的内部表示进行逻辑关系的优化，得到查询指令序列；执行操作的优化；执行操作间关系的优化，生成最终的执行计划。

7.根据权利要求6所述的数据库查询优化方法，其特征在于，所述逻辑关系的优化是根据表及其选择条件，选择先对哪个表作连接，通过条件类型及相关属性决定其关系代数运算的操作；所述执行操作的优化是针对操作确定其最佳执行效果；所述操作间关系的优化是针对不同的操作序列，进行等价的重新组合。

8.一种数据库查询优化系统，包括，词法分析器、查询优化器、语法分析器、查询执行引擎，以及计划管理模块，其特征在于，

所述词法分析器，其将查询语句字符串分成多个词法单元，并用查询内部表示结构表示；

所述查询优化器，对所述查询内部表示进行特性分析，生成一个语义上等价的查询内部表示；将查询的语义上的数据库内部表示转化为查询可执行的内部表示形式；对所述查询的语义上的数据库内部表示分别进行优化，生成最优的执行指令序列；

所述语法分析器，对输入的查询内部表示进行语法分析，生成语法树和/或语义上的数据库内部表示；

所述查询执行引擎，从所述查询优化器模块获得最终的执行计划，并对其作出解释和执行，得出最终的正确结果或错误信息；

所述计划管理模块，存储并管理所述查询优化器发送的最终的执行计划。

9.根据权利要求8所述的数据库查询优化系统，其特征在于，所述查询优化器，进一步包括查询重写模块、逻辑关系优化模块、执行操作优化模块，以及操作间关系优化模块，其中，

所述查询重写模块，对查询内部表示进行特性分析，生成语义上等价的查询内部表示；

所述逻辑关系优化模块，根据表及其选择条件，选择连接的表，并通过条件类型及相关属性决定其关系代数运算的操作；

所述执行操作优化模块，其针对某一特定操作，确定其最佳执行效果的算法。

所述操作间关系优化模块，其针对不同的操作序列，对其进行等价的重新组合。

10.根据权利要求9所述的数据库查询优化系统，其特征在于，所述查询重写模块，其根据查询重写规则对所述查询内部表示进行特性分析，生成在语义上等价的查询内部表示；所述查询重写条件，包括；将过程性查询转换成描述性查询；将效率较低的谓词转换为等价的效率高的谓词；将查询语句转换成效率高的语句；将查询转换为单个选择语句。