CN106599130B

CN106599130B - 选择干预关系型数据库管理系统的多个索引的方法及装置

Info

Publication number: CN106599130B
Application number: CN201611093769.8A
Authority: CN
Inventors: 沈刚; 张育新; 张琦
Original assignee: China Unionpay Co Ltd
Current assignee: China Unionpay Co Ltd
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2020-05-01
Anticipated expiration: 2036-12-02
Also published as: CN106599130A

Abstract

本发明涉及一种选择干预关系型数据库管理系统的多个索引的方法及装置，其中，方法包括：从多个索引中确定需要干预的索引；及时收集带有数据分布信息的统计信息，并备份当前统计信息；根据需要干预的索引，判断SQL语句中条件谓词为确定值还是为不确定参数；如果SQL语句中条件谓词为确定值时，则判断所述统计信息中是否涵盖条件谓词中的确定值；如果所述统计信息中需要干预的索引对应列的分布统计值涵盖确定值，则干预所述确定值对应的数量统计项。

Description

选择干预关系型数据库管理系统的多个索引的方法及装置

技术领域

本发明涉及关系型数据库管理系统技术领域，特别涉及一种选择干预关系型数据库管理系统的多个索引的方法及装置。

背景技术

在关系型数据库管理系统使用过程中，经常在SQL语句条件谓词中引用多个存在索引的列。主要依靠关系型数据库管理系统自身的优化器组件完成多个索引的选择性决策，但在如下场景中将导致性能问题：

1、数据库的统计信息不准确不及时，不能够随数据量变化实时更新；

2、SQL语句中存在引入不确定参数，优化器不能准确评估开销；

3、各索引效率存在较大偏差，索引之间不具备互相替代性；

在上述场景中，关系型数据库管理系统本身通常无法准确选择出高效索引，进而引发SQL语句执行效率底下等问题，可能会对依赖于关系型数据库的应用系统造成严重影响。但上述场景在关系型数据库管理系统的实际使用中却经常出现，从而经常造成关系型数据库管理系统不能够精准的评估出各种执行计划的成本开销，进而造成索引选择错误及SQL语句执行效率底下等问题。

发明内容

本发明实施例的主要目的在于构建一种选择干预关系型数据库管理系统的多个索引的方法及装置，可有效避免DB2等关系型数据库在执行SQL语句时由于选择非高效索引导致的执行性能低下的问题。

为实现上述目的，本发明提供了一种选择干预关系型数据库管理系统的多个索引的方法，包括：

从多个索引中确定需要干预的索引；

及时收集带有数据分布信息的统计信息，并备份当前统计信息；

根据需要干预的索引，判断SQL语句中条件谓词为确定值还是为不确定参数；

如果SQL语句中条件谓词为确定值时，则判断所述统计信息中是否涵盖条件谓词中的确定值；

如果所述统计信息中需要干预的索引对应列的分布统计值涵盖确定值，则干预所述确定值对应的数量统计项。

可选的，在本发明一实施例中，还包括：

如果所述统计信息中需要干预的索引对应列的分布统计值不涵盖确定值，则干预对应列的分布统计值临近的两个确定值的数量统计项。

可选的，在本发明一实施例中，还包括：

如果SQL语句中条件谓词为不确定参数时，则干预对应列的统计信息中的唯一值数量；其中，所述唯一值数量与数据库优化器使用的默认选择性存在线性关系。

可选的，在本发明一实施例中，所述确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。

为实现上述目的，本发明还提供了一种选择干预关系型数据库管理系统的多个索引的装置，包括：

索引干预确认单元，用于从多个索引中确定需要干预的索引；

统计信息更新单元，用于及时收集带有数据分布信息的统计信息，并备份当前统计信息；

第一判断单元，用于根据需要干预的索引，判断SQL语句中条件谓词为确定值还是为不确定参数；

第二判断单元，用于如果SQL语句中条件谓词为确定值时，则判断所述统计信息中是否涵盖条件谓词中的确定值；

第一干预单元，用于如果所述统计信息中需要干预的索引对应列的分布统计值涵盖确定值，则干预所述确定值对应的数量统计项。

可选的，在本发明一实施例中，还包括：

第二干预单元，用于如果所述统计信息中需要干预的索引对应列的分布统计值不涵盖确定值，则干预对应列的分布统计值临近的两个确定值的数量统计项。

可选的，在本发明一实施例中，还包括：

第三干预单元，用于如果SQL语句中条件谓词为不确定参数时，则干预对应列的统计信息中的唯一值数量；其中，所述唯一值数量与数据库优化器使用的默认选择性存在线性关系。

可选的，在本发明一实施例中，所述索引干预确认单元确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。

上述技术方案具有如下有益效果：

本技术方案能够有效控制关系型数据库多索引的选择性，及时降低由于多索引带来选择不确定性导致严重性能问题的风险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为SQL语句执行方式截图之一；

图2为SQL语句执行方式截图之二；

图3为SQL语句执行方式截图之三；

图4为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之一；

图5为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之二；

图6为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之三；

图7为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之一；

图8为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之二；

图9为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之三；

图10为唯一值数量与默认选择性值之间对应关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种选择干预关系型数据库管理系统的多个索引的方法及装置。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

使用背景：

表TBL_PAONL_POS_RECON_INF上存在：

索引IND_PAONL_PRI_I1 使用列 REC_UPD_TS

索引IND_PAONL_PRI_I3 使用列 EVENT_ID

执行SQL语句：

如图1所示，为SQL语句执行方式截图之一；如图2所示，为SQL语句执行方式截图之二；如图3所示，为SQL语句执行方式截图之三。三种方案的执行性能在数据分布不同的情况下差别很大，本例中假定IND_PAONL_PRI_I3(EVENT_ID)为高效率索引，而优化器在决策中由于SQL语句中引入rec_upd_ts<＝TIMESTAMP(:H00005)不确定数值、统计信息不随数据量实时更新等因素，造成优化器选择使用方案一或方案二中的路径去执行SQL语句，进而引发严重的性能问题。

换句话说，关系型数据库中基于成本模型的优化器工作原理为：优化器根据当前已经采集或估算出的统计信息，评估各种结果集数据获取方法的CPU时间成本和IO时间成本，然后对评估的成本结果进行排序，选择成本最小的结果集数据获取方法。但是，优化器选择出的最小成本的数据获取方法，在实际执行中不一定是最高效的，而不高效的原因通常是优化器没有选择合理的索引，这种情况是优化器的评估错误。

基于此，本案基于关系型数据库中基于成本模型的优化器工作原理，通过调整统计信息结果中的特定统计项数值来干预优化器对SQL语句执行计划的选择，来影响优化器的选择结果，避免由优化器评估错误造成的索引选择错误进而引发SQL语句执行性能下降等问题，最终达到使数据库管理系统能够按照使用者意图选择使用高效的索引方式。

基于上述描述，如图4所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之一。包括：

步骤401)：从多个索引中确定需要干预的索引；

在本步骤中，所述确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。

步骤402)：及时收集带有数据分布信息的统计信息，并备份当前统计信息；

步骤403)：根据需要干预的索引，判断SQL语句中条件谓词为确定值还是为不确定参数；

步骤404)：如果SQL语句中条件谓词为确定值时，则判断所述统计信息中是否涵盖条件谓词中的确定值；

步骤405)：如果所述统计信息中需要干预的索引对应列的分布统计值涵盖确定值，则干预所述确定值对应的数量统计项。

如图5所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之二。在图4的基础上，还包括：

步骤405’)：如果所述统计信息中需要干预的索引对应列的分布统计值不涵盖确定值，则干预对应列的分布统计值临近的两个确定值的数量统计项。

例如：在DB2数据库中，Sysstat.coldist表中Colvalue和Valcount两列。Colvalue表示分布统计值；Valcount表示符合某一个统计值的表中的记录数量，即对应分布统计值的数量统计项。

举例如下：

Colvalue Valcount

3 5

5 7

如SQL语句中条件谓词为3时，评估结果集为5。如需干预，只需要修改Colvalue＝3时Valcount的值。

如SQL语句中条件谓词为4时，评估结果集通常计算为(5+7)/2＝6，如需干预，则需兼顾修改Colvalue＝3和Colvalue＝5对应的Valcount的值。

如图6所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的方法流程图之三。在图5的基础上，还包括：

步骤404’)：如果SQL语句中条件谓词为不确定参数时，则干预对应列的统计信息中的唯一值数量；其中，所述唯一值数量与数据库优化器使用的默认选择性存在线性关系。

由上述描述可知，本技术方案对关系型数据库管理系统中涉及多索引SQL语句的索引选择结果进行有效干预，在数据库管理系统无法准确选择出高效索引的情况下，使数据库管理系统选择出正确、高效的索引。

本发明实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如图4、5、6所述的选择干预关系型数据库管理系统的多个索引的方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如图4、5、6所述的选择干预关系型数据库管理系统的多个索引的方法。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

如图7所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之一。包括：

索引干预确认单元701，用于从多个索引中确定需要干预的索引；

在本实施例中，所述索引干预确认单元701确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。

统计信息更新单元702，用于及时收集带有数据分布信息的统计信息，并备份当前统计信息；

第一判断单元703，用于根据需要干预的索引，判断SQL语句中条件谓词为确定值还是为不确定参数；

第二判断单元704，用于如果SQL语句中条件谓词为确定值时，则判断所述统计信息中是否涵盖条件谓词中的确定值；

第一干预单元705，用于如果所述统计信息中需要干预的索引对应列的分布统计值涵盖确定值，则干预所述确定值对应的数量统计项。

如图8所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之二。在图7的基础上，还包括：

第二干预单元705’，用于如果所述统计信息中需要干预的索引对应列的分布统计值不涵盖确定值，则干预对应列的分布统计值临近的两个确定值的数量统计项。

如图9所示，为本实施例提出的一种选择干预关系型数据库管理系统的多个索引的装置功能框图之二。在图8的基础上，还包括：

第三干预单元704’，用于如果SQL语句中条件谓词为不确定参数时，则干预对应列的统计信息中的唯一值数量；其中，所述唯一值数量与数据库优化器使用的默认选择性存在线性关系。

由图7～图9描述可知，本装置利用关系型数据库管理系统中基于成本模型的优化原则，可以通过干预统计信息中表记录数值的方法，达到区分不同索引使用开销的目的，最终达到数据库管理系统选择出正确、高效的索引。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一般计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

本领域技术人员还可以了解到本发明实施例列出的各种功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

此外，尽管在上文详细描述中提及了装置的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。

实施例

为了能够更加直观的描述本发明的特点和工作原理，下文将结合一个实际运用场景来描述。

在实际应用中，对于本领域的技术人员来讲，以实际测试效率为依据，来区别什么索引为高效索引，什么索引为低效索引。本例中，假定IND_PAONL_PRI_I3(EVENT_ID)为高效索引，干预目标为是SQL语句只使用IND_PAONL_PRI_I3(EVENT_ID)索引：

1、确定需要干预的索引可以选择EVENT_ID列索引(减少结果集)，也可以选择rec_upd_ts列索引(增加结果集)，在此本例中随机选择需要干预的列为rec_upd_ts。

2、针对本例中表TBL_PAONL_POS_RECON_INF收集带有分布的统计信息。

3、本例中需要干预的索引列为rec_upd_ts，在SQL语句中条件谓词为rec_upd_ts<＝TIMESTAMP(:H00005)，存在:H00005引入参数，为不确定值。

4、不确定值不使用分布统计信息，为默认选择性，仅与该列的唯一值相关。

5、确定需要干预的统计项为rec_upd_ts列中唯一值数量统计项，对应本例中的Sysstat.column表中Colcard列：

Sysstat.column中：Colname＝rec_upd_ts，Colcard＝8607410行记录。

由于唯一值数量与默认选择性值之间存在反比对应关系，如图10所示。而结果集的大小＝选择性×表中记录总数，而选择性的大小与唯一值数量成反比。因此，要增加结果集的大小，需要干预降低统计信息中的rec_upd_ts列唯一值数量，即Colcard数量；逐步减小查看索引选择效果，本案例中在表记录数约930万条的背景下，rec_upd_ts索引列的唯一值数量干预减小至6585966一下后，优化器将放弃rec_upd_ts列索引，改为只使用IND_PAONL_PRI_I3(EVENT_ID)索引。

本案在银联收单系统的联机数据库应用中，日志清理场次由于优化器在索引列ID和索引列Timestamp中做出了错误选择，导致日志清理场次执行时间严重超过预期[耗时>120秒]，经过本案中方法干预后，优化器在两列索引间做出正确选择，日志清理场次执行时间得到大幅提升[耗时<15秒]。

目前，本技术方案已经在多个系统中实际使用，效果良好。

以上具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种选择关系型数据库管理系统的多个索引的方法，其特征在于，包括：

从多个索引中确定需要干预的索引；

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求1或2所述的方法，其特征在于，还包括：

4.如权利要求1或2所述的方法，其特征在于，所述确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。

5.一种选择关系型数据库管理系统的多个索引的装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，还包括：

7.如权利要求5或6所述的装置，其特征在于，还包括：

8.如权利要求5或6所述的装置，其特征在于，所述索引干预确认单元确定需要干预的索引方法为：使高效索引的评估返回结果集行数减少的情况或者使低效索引的评估返回结果集行数增加的情况为干预的索引。