CN106991116A

CN106991116A - 数据库执行计划的优化方法和装置

Info

Publication number: CN106991116A
Application number: CN201710074396.8A
Authority: CN
Inventors: 李阳; 蒋志勇
Original assignee: Alibaba Group Holding Ltd
Current assignee: Beijing Oceanbase Technology Co Ltd
Priority date: 2017-02-10
Filing date: 2017-02-10
Publication date: 2017-07-28
Anticipated expiration: 2037-02-10
Also published as: CN106991116B

Abstract

本申请提供一种数据库执行计划的优化方法和装置。所述方法包括：根据数据库查询语句生成原始执行计划；判断所述原始执行计划是否满足预设的晚期物化条件；若所述原始执行计划满足所述晚期物化条件，则根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，所述物化时机包括：早期物化和晚期物化；基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，所述左子树和所述右子树通过行ID实现内连接；若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则基于所述目标执行计划实现本次数据库查询。本申请可减少数据库查询的执行代价，提高数据库的查询性能。

Description

数据库执行计划的优化方法和装置

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据库执行计划的优化方法和装置。

背景技术

数据库物化一般是指从底层存储中获取数据的时候进行的投影操作，通过数据库物化可以减少对底层存储的访问，加快访问速率。目前，针对行存结构的数据库，通常需要在开始访问的时候就物化出所有需要的属性，大量的属性物化会降低系统的性能、浪费系统的资源。

发明内容

有鉴于此，本申请提供一种数据库执行计划的优化方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种数据库执行计划的优化方法，所述方法包括：

根据数据库查询语句生成原始执行计划；

判断所述原始执行计划是否满足预设的晚期物化条件；

若所述原始执行计划满足所述晚期物化条件，则根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，所述物化时机包括：早期物化和晚期物化；

基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，所述左子树和所述右子树通过行ID实现内连接；

若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则基于所述目标执行计划实现本次数据库查询。

一种数据库执行计划的优化装置，所述装置包括：

原始生成单元，根据数据库查询语句生成原始执行计划；

条件判断单元，判断所述原始执行计划是否满足预设的晚期物化条件；

时机确定单元，若所述原始执行计划满足所述晚期物化条件，则根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，所述物化时机包括：早期物化和晚期物化；

目标生成单元，基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，所述左子树和所述右子树通过行ID实现内连接；

计划执行单元，若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则基于所述目标执行计划实现本次数据库查询。

由以上描述可以看出，本申请数据库内核可以在原始执行计划满足晚期物化条件时，基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，后续可在目标执行计划的执行代价小于原始执行计划的执行代价时，基于目标执行计划实现本次数据库查询，从而减少执行代价，提高数据库的查询性能。同时，本申请通过数据库内核即可实现上述优化方案，对于应用层而言完全透明，无需人工改写，节省了大量人力成本。

附图说明

图1是本申请一示例性实施例示出的一种数据库执行计划的优化方法的流程示意图。

图2是本申请一示例性实施例示出的一种原始执行计划示意图。

图3是本申请一示例性实施例示出的另一种原始执行计划示意图。

图4是本申请一示例性实施例示出的一种目标执行计划的左子树示意图。

图5是本申请一示例性实施例示出的一种目标执行计划的右子树示意图。

图6是本申请一示例性实施例示出的一种目标执行计划的示意图。

图7是本申请一示例性实施例示出的一种用于数据库执行计划的优化装置的一结构示意。

图8是本申请一示例性实施例示出的一种数据库执行计划的优化装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

相关技术中，针对行存结构的数据库，可以人工对查询语句进行改写，以解决早期物化所带来的问题，比如：可以将查询语句改写为一个访问、操作的数据量较大但是物化属性较少的子查询以及一个物化属性较多的子查询。

然而，人工改写的方式存在很多缺陷。首先，对于应用而言不够透明，还要求开发人员具备较为全面的数据库知识。其次，人工改写的方式存在风险，很可能出现改写前后语义不一致的情况。再次，人工改写后的语句的查询效率相较于改写前语句的查询效率更为低下。

针对上述问题，本申请提供一种数据库执行计划的优化方案。

请参考图1，所述数据库执行计划的优化方法可以应用在数据库内核，包括有以下步骤：

步骤101，根据数据库查询语句生成原始执行计划。

在本实施例中，所述数据库查询语句可以为SQL语句等，数据库内核可以根据所述数据库查询语句生成一个执行计划，为便于区分，可以将该执行计划称为原始执行计划。其中，所述原始执行计划的生成方式可以参照相关技术，本申请在此不再一一赘述。

步骤102，判断所述原始执行计划是否满足预设的晚期物化条件。

基于前述步骤101，在生成所述原始执行计划后，可以判断所述原始执行计划是否满足预设的晚期物化条件，若满足所述晚期物化条件，则可以说明该原始执行计划适合进行晚期物化，可以继续执行步骤103；若不满足所述晚期物化条件，则可以说明该原始执行计划不适合进行晚期物化，可以基于该原始执行计划实现本次数据库查询。通过晚期物化条件对原始执行计划进行判断，可以提高执行计划优化的效率。

在本实施例中，所述晚期物化条件通常由开发人员进行设置，所述晚期物化条件可以包括：针对单表查询、存在筛选条件、存在物化后的数据操作以及存在仅执行物化但无需数据操作的属性等。若所述原始执行计划同时满足这四项条件，则可以确定所述原始执行计划满足所述晚期物化条件。若所述原始执行计划不满足任意一项条件，则可以确定所述原始执行计划不满足所述晚期物化条件。

其中，针对单表查询通常是指本次数据库查询仅面向一张数据库表，不存在多表查询的情况。存在筛选条件通常是指本次查询存在针对属性的筛选条件，以SQL语句为例，筛选条件通常对应where子语句。存在仅执行物化但无需数据操作的属性可对应SQL语句中仅在select子句中出现的属性。

在本实施例中，数据操作可以包括：筛选、排序、分组等。有些数据操作需要在物化前进行，比如：筛选；有些数据操作需要在物化后进行，比如：排序、分组、记录限制limit等。

举例来说，假设一个数据库查询语句为“select name,age,salary,address fromworker where age>50order by salary limit 10”，该查询语句的意思是在worker表中查询年龄大于50岁，且薪水最高的前10个员工的姓名、年龄、薪水以及住址。基于该查询语句可以生成图2或图3所示的原始执行计划。其中，图2所示的原始执行计划是基于全表扫描的执行计划，而图3所示的原始执行计划是基于索引的执行计划。

在本步骤中，以图3为例，可以判断图3所示的所述原始执行计划是否满足预设的晚期物化条件：

1)针对单表查询

所述原始执行计划是针对worker表的查询，满足针对单表查询的条件。

2)存在筛选条件

所述原始执行计划存在针对age属性的筛选：age>50，满足存在筛选条件的条件。

3)存在物化后的数据操作

所述原始执行计划存在sort操作以及limit操作这两项物化后的数据操作，因而满足存在物化后的数据操作的条件。

4)存在仅执行物化但无需数据操作的属性

所述原始执行计划中的属性name和address仅物化即可，无需进行数据操作，因而满足存在仅执行物化但无需数据操作的属性的条件。

由此可以看出，上述原始执行计划满足所述晚期物化条件，可以继续执行步骤103。

步骤103，若所述原始执行计划满足所述晚期物化条件，则根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，所述物化时机包括：早期物化和晚期物化。

基于前述步骤102的判断结果，在所述原始执行计划满足所述晚期物化条件时，可以确定原始执行计划中各属性的物化时机。

在本实施例中，可以根据原始执行计划中属性的数据操作信息确定所述属性的物化时机。其中，所述数据操作信息可以包括：需要进行数据操作以及不需要进行数据操作。具体地，可以将所述原始执行计划中需要进行数据操作的属性的物化时机确定为早期物化，可以将所述原始执行计划中无需进行数据操作的属性的物化时机确定为晚期物化。

仍以图3所示的原始执行计划为例，基于步骤102的判断结果可知，属性age和salary需要进行数据操作(其数据操作分别为筛选和排序)，进而可以将属性age和salary的物化时机确定为早期物化。属性name和address不需要进行数据操作，进而可以将属性name和address的物化时机确定为晚期物化。

步骤104，基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，所述左子树和所述右子树通过行ID实现内连接。

基于前述步骤103，在确定原始执行计划中各个属性的物化时机后，可以根据物化时机生成目标执行计划。在本例中，可以基于早期物化的属性生成目标执行计划的左子树，还可以基于晚期物化的属性生成目标执行计划的右子树，进而将物化后的数据操作提前到物化之前，以减少数据的物化量以及数据操作的数据量。由此，本申请生成的目标执行计划将原始执行计划分为一个只进行必要数据操作的查询以及一个仅需属性物化的查询，为确保语义的正确性，可以通过行ID构造等值条件。

具体地，可以在所述左子树中增加行ID的输出，并在所述右子树中增加行ID的约束条件，所述行ID的约束条件是行ID等于所述左子树输出的行ID。仍以图3所示的原始执行计划为例，可以生成图4所示的左子树以及图5所示的右子数，进而生成图6所示的目标执行计划。

请参考图4，该左子树的执行计划为基于索引在worker表中扫描age>50的行，若满足条件，可以输出该行的年龄和行ID，整个过程无需回表，可以输出100万行记录。接着，可基于salary对这100万行记录进行排序。在排序后，可以取排列在前10行的记录并输出。请参考图5，针对左子树输出的行ID，可以物化name,age,salary,address这四种属性。

步骤105，若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则基于所述目标执行计划实现本次数据库查询。

基于前述步骤104，在生成目标执行计划后，可以分别估算目标执行计划的执行代价和原始执行计划的执行代价，若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则可以基于所述目标执行计划实现本次数据库查询。若所述目标执行计划的执行代价大于所述原始执行计划的执行代价，则可以基于所述原始执行计划实现本次数据库查询。若所述目标执行计划和所述原始执行计划的执行代价相同，则既可以基于所述目标执行计划实现本次数据库查询，也可以基于所述原始执行计划实现本次数据库查询。在本实施例中，可以采用相关技术中提供的数据库执行代价估算方式进行上述执行代价的估算，本申请在此不再一一赘述。

仍以前述举例为例，图2所示的原始执行计划的执行代价为3356，图3所示的原始执行计划的执行代价为3146，而图6所示的目标执行计划的执行代价仅为1231，相较于原始执行计划，本申请提供的优化方案可以大大减少执行代价，进而大大提高数据库的查询性能。

与前述数据库执行计划的优化方法的实施例相对应，本申请还提供了数据库执行计划的优化装置的实施例。

本申请数据库执行计划的优化装置的实施例可以应用在数据库上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在数据库的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本申请数据库执行计划的优化装置所在数据库的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的数据库通常根据该数据库的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图8，所述数据库执行计划的优化装置700可以应用在前述图7所示的数据库中，包括有：原始生成单元701、条件判断单元702、时机确定单元703、目标生成单元704以及计划执行单元705。

其中，原始生成单元701，根据数据库查询语句生成原始执行计划；

条件判断单元702，判断所述原始执行计划是否满足预设的晚期物化条件；

时机确定单元703，若所述原始执行计划满足所述晚期物化条件，则根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，所述物化时机包括：早期物化和晚期物化；

目标生成单元704，基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，所述左子树和所述右子树通过行ID实现内连接；

计划执行单元705，若所述目标执行计划的执行代价小于所述原始执行计划的执行代价，则基于所述目标执行计划实现本次数据库查询。

可选的，所述时机确定单元703，将所述原始执行计划中需要进行数据操作的属性的物化时机确定为早期物化；将所述原始执行计划中无需进行数据操作的属性的物化时机确定为晚期物化。

可选的，所述目标生成单元704，基于早期物化的属性生成目标执行计划的左子树，并在所述左子树中增加行ID的输出；基于晚期物化的属性生成目标执行计划的右子树，并在所述右子树中增加行ID的约束条件，所述行ID的约束条件是行ID等于所述左子树输出的行ID。

可选的，所述晚期物化条件包括：

针对单表查询；

存在筛选条件；

存在物化后的数据操作；以及

存在仅执行物化但无需数据操作的属性。

可选的，所述物化后的数据操作包括：sort操作、limit操作。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种数据库执行计划的优化方法，其特征在于，所述方法包括：

根据数据库查询语句生成原始执行计划；

判断所述原始执行计划是否满足预设的晚期物化条件；

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始执行计划中属性的数据操作信息确定所述属性的物化时机，包括：

将所述原始执行计划中需要进行数据操作的属性的物化时机确定为早期物化；

将所述原始执行计划中无需进行数据操作的属性的物化时机确定为晚期物化。

3.根据权利要求1所述的方法，其特征在于，所述基于早期物化的属性生成目标执行计划的左子树，基于晚期物化的属性生成目标执行计划的右子树，包括：

基于早期物化的属性生成目标执行计划的左子树，并在所述左子树中增加行ID的输出；

基于晚期物化的属性生成目标执行计划的右子树，并在所述右子树中增加行ID的约束条件，所述行ID的约束条件是行ID等于所述左子树输出的行ID。

4.根据权利要求1所述的方法，其特征在于，所述晚期物化条件包括：

针对单表查询；

存在筛选条件；

存在物化后的数据操作；以及

存在仅执行物化但无需数据操作的属性。

5.根据权利要求4所述的方法，其特征在于，

所述物化后的数据操作包括：sort操作、limit操作。

6.一种数据库执行计划的优化装置，其特征在于，所述装置包括：

原始生成单元，根据数据库查询语句生成原始执行计划；

7.根据权利要求6所述的装置，其特征在于，

所述时机确定单元，将所述原始执行计划中需要进行数据操作的属性的物化时机确定为早期物化；将所述原始执行计划中无需进行数据操作的属性的物化时机确定为晚期物化。

8.根据权利要求6所述的装置，其特征在于，

所述目标生成单元，基于早期物化的属性生成目标执行计划的左子树，并在所述左子树中增加行ID的输出；基于晚期物化的属性生成目标执行计划的右子树，并在所述右子树中增加行ID的约束条件，所述行ID的约束条件是行ID等于所述左子树输出的行ID。

9.根据权利要求6所述的装置，其特征在于，所述晚期物化条件包括：

针对单表查询；

存在筛选条件；

存在物化后的数据操作；以及

存在仅执行物化但无需数据操作的属性。

10.根据权利要求9所述的装置，其特征在于，

所述物化后的数据操作包括：sort操作、limit操作。