CN115048409A - 数据库连接操作的执行方法、存储介质与计算机设备 - Google Patents

Abstract

本发明提供了一种数据库连接操作的执行方法、存储介质与计算机设备。其中上述方法包括：获取数据库的连接操作，并确定连接操作指定的两侧连接目标的信息；根据两侧连接目标的信息判断连接操作是否符合预设的优化规则；若是，提取连接操作的连接条件，将连接条件下推为被优化目标的过滤条件，被优化目标为两侧连接目标中的一个；使用增加过滤条件后的被优化目标进行连接操作。本发明的方案，可以避免对大数据量进行连接操作消耗大量时间的问题，达到提升数据库性能的目的。

Description

数据库连接操作的执行方法、存储介质与计算机设备

技术领域

本发明涉及数据库技术，特别是涉及一种数据库连接操作的执行方法、存储介质与计算机设备。

背景技术

连接查询是关系数据库中最主要的查询。连接是关系数据库模型的主要特点，也是其区别于其他类型数据库系统的一个标志。现有数据库优化器在处理含有UNION集合(合并集合)的视图或者子查询与基表的连接操作时，连接操作的连接条件是放在含有UNION的视图或者子查询与基表的连接层。也即先获取连接两侧的元组，然后根据连接条件进行连接操作。

在大多数情况下，上述连接操作可以正常进行。但是在某些特定的场景中，例如含有UNION的视图或者子查询产生大量数据的情况下，上述连接操作的执行方式可能会是查询方式变慢，导致数据库的效率下降。

发明内容

本发明的一个目的是要至少解决上述任一方面技术问题的数据库连接操作的执行方法、存储介质与计算机设备。

本发明一个进一步的目的是提高含有UNION集合(合并集合)的视图或者子查询与基表的连接操作的执行效率。

特别地，本发明提供了一种数据库连接操作的执行方法，其包括：

获取数据库的连接操作，并确定连接操作指定的两侧连接目标的信息；

根据两侧连接目标的信息判断连接操作是否符合预设的优化规则；

若是，提取连接操作的连接条件，将连接条件下推为被优化目标的过滤条件，被优化目标为两侧连接目标中的一个；

使用增加过滤条件后的被优化目标进行连接操作。

可选地，确定连接操作指定的两侧连接目标的信息的步骤包括：

分别确定两侧连接目标的类型、包含的子操作、数据大小。

可选地，根据所述两侧连接目标的信息判断连接操作是否符合预设的优化规则的步骤包括：

判断两侧连接目标中的一个是否为基表并且基表参与连接的元组数量小于预设的数量阈值；

判断两侧连接目标中的另一个是否为包含合并操作的视图或子查询；

若两项判断的结果均为是的情况下，确定连接操作符合预设的优化规则，包含合并操作的视图或子查询成为被优化目标。

可选地，根据两侧连接目标的信息判断连接操作是否符合预设的优化规则的步骤包括：

判断两侧连接目标中的一个是否为基表并且基表参与连接的元组数量小于预设的数量阈值；

判断两侧连接目标中的另一个是否为包含合并操作的视图或子查询；

若两项判断的结果均为是的情况下，将包含合并操作的视图或子查询作为被优化目标，并预估过滤条件对被优化目标的选择率；

判断选择率是否小于或等于预设的比值阈值，若是则确定连接操作符合预设的优化规则。

可选地，将连接条件下推为被优化目标的过滤条件的步骤包括：

在被优化目标中参与合并的合并目标中分别增加过滤条件。

可选地，确定两侧连接目标中基表的数据大小的步骤包括：

数量阈值根据分配给数据库的内存大小进行设置，使得数量阈值随内存大小的增大而增大。

可选地，使用增加过滤条件的被优化目标进行连接操作包括：

由数据库的优化器对增加过滤条件后的被优化目标与两侧连接目标中的基表制定连接执行计划，按照连接执行计划进行连接操作。

可选地，在连接操作不符合优化规则的情况下，由数据库的优化器直接制定连接操作的执行计划。

根据本发明的另一个方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的数据库连接操作的执行方法。

根据本发明的又一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种的数据库连接操作的执行方法。

本发明的数据库连接操作的执行方法，适用于数据库对含有UNION的视图或者子查询与基表进行连接操作的场景中，在根据连接操作指定的两侧连接目标的信息判断当前连接操作是否符合为更改场景设置的优化规则，在确定符合后，将接条件下推为连接目标中被优化目标的过滤条件，从而利用该过滤条件减少其中含有UNION的视图或者子查询的数据量，从而避免对大数据量进行连接操作消耗大量时间的问题，达到提升数据库性能的目的。

进一步地，本发明的数据库连接操作的执行方法，有针对性地设置优化规则，通过优化规则的判定，筛选出的连接操作可以更好的实现预期的效果，大大缩短执行时间。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的数据库连接操作的执行方法的示意图；

图2是根据本发明另一实施例的数据库连接操作的执行方法的流程图；

图3是根据本发明一个实施例的机器可读存储介质的示意图；以及

图4是根据本发明一个实施例的计算机设备的示意图。

具体实施方式

图1是根据本发明一个实施例的数据库连接操作的执行方法的示意图，该数据库连接操作的执行方法一般性地可以包括：

步骤S102，获取数据库的连接操作，并确定连接操作指定的两侧连接目标的信息。其中两侧连接目标的信息可以包括两侧连接目标的类型、包含的子操作、数据大小。其中两侧连接目标的类型可以包括：基表、视图、子查询等等。也即在本实施例中，参与连接操作的连接目标可以包括基表、视图、子查询等等。子操作可以包括：连接目标中包含的其他单项操作或者组合操作，例如子查询、合并(UNION)等。

步骤S104，根据两侧连接目标的信息判断连接操作是否符合预设的优化规则。该优化规则可以根据需要进行优化的场景进行设置，从而有效确定出能够实现本实施例方法技术效果的连接操作。也即优化规则为根据需要优化的场景设置的一系列筛选条件，对满足这些筛选条件的操作执行相应的方法，可以达到设定的优化效果。

步骤S106，在步骤S104的判断结果为是的情况下，提取连接操作的连接条件，将连接条件下推为被优化目标的过滤条件。其中被优化目标为两侧连接目标中的一个，也即两侧连接目标中的包含合并(UNION)操作的视图或子查询。

下推过滤条件的过程可以为：在被优化目标中参与合并的合并目标中分别增加过滤条件。也即合并目标经过过滤条件过滤后再参与合并。从而参与合并的数据会有下降。需要进一步说明的是本实施例的合并操作为不包含UNION ALL的UNION操作。

步骤S108，使用增加过滤条件后的被优化目标进行连接操作。例如由数据库的优化器对增加过滤条件后的被优化目标与两侧连接目标中的基表制定连接执行计划，按照连接执行计划进行连接操作。

在连接操作不符合优化规则的情况下，由数据库的优化器直接制定连接操作的执行计划。也即在步骤S104的判断结果为否的情况下，数据库的优化器继续按原有的执行方式进行连接操作。

上述实施例的方法，将连接条件下推为参与UNION的表或其他节点各自的过滤条件，从而缩短参与连接的包含UNION的视图或者子查询的数据量，从而避免对大数据量进行连接操作消耗大量时间的问题，达到提升数据性能的目的。对于含有UNION的视图或者子查询的数据量较大的情况，其效率提高尤为明显。

优化规则的一种设置方式为包括以下条件：(1)获取的SQL语句为连接操作；(2)连接操作为基表与包含UNION的视图或子查询的连接；(3)基表参与连接数据量较小。在满足上述全部条件的情况下，连接操作被判定符合优化规则。

相应地，步骤S104的判断流程可以包括：判断两侧连接目标中的一个是否为基表并且基表参与连接的元组数量小于预设的数量阈值；判断两侧连接目标中的另一个是否为包含合并操作的视图或子查询；若两项判断的结果均为是的情况下，确定连接操作符合预设的优化规则，包含合并操作的视图或子查询成为被优化目标。

优化规则的另一种设置方式为包括以下条件：(1)获取的SQL语句为连接操作；(2)连接操作为基表与包含UNION的视图或子查询的连接；(3)基表参与连接数据量较小；(4)连接条件可以明显降低包含合并操作的视图或子查询的数据量。在满足上述全部条件的情况下，连接操作被判定符合优化规则。相比于前一种设置方式，通过设置条件(4)，可以进一步明确缩短连接时长的效果。也就是说条件(4)中的选择率会影响本实施例应用的优化效果，选择率也低，优化效果越明显。

相应地，步骤S104的判断流程可以包括：判断两侧连接目标中的一个是否为基表并且基表参与连接的元组数量小于预设的数量阈值；判断两侧连接目标中的另一个是否为包含合并操作的视图或子查询；若两项判断的结果均为是的情况下，将包含合并操作的视图或子查询作为被优化目标，并预估过滤条件对被优化目标的选择率；判断选择率是否小于或等于预设的比值阈值，若是则确定连接操作符合预设的优化规则。

上述选择率可以通过抽样的方式来进行预估，也即从子查询或者视图进行抽样，使用过滤条件对抽样的样本数据进行过滤，根据过滤结果确定出选择率。上述选择率是指通过筛选后的数据与筛选前数据的比值。

上述过程中出现数量阈值、比值阈值等阈值参数均可以根据需要进行调整。例如数量阈值可以根据分配给数据库的内存大小进行设置，使得数量阈值随内存大小的增大而增大。数量阈值与内存大小优选采用对数函数关系，保证在一定范围内使得数量阈值随为数据库分配的内存大小的增大而增大。又例如比值阈值可以根据优化效果的需要进行设置，比值阈值越小，优化规则越严格，而优化效果越好。

另外需要说明的是基表参与连接的元组数量是指在完成SQL语句对基表的子操作之后直接参与连接的元组数量。在SQL语句不包括对基表的子操作的情况下，基表参与连接的元组数量为基表的基数。

本实施例的方法，能够判断出使用优化规则的场景，也即含有UNION集合的视图或者子查询与基表的连接的情况，通过优化，减少子查询或者UNION集合操作后的结果集，进而大大减少连接操作在UNION集合或者子查询这一侧的数据量，达到提升性能的目的。

图2是根据本发明另一实施例的数据库连接操作的执行方法的流程图。该方法的流程包括：

步骤S202，获取SQL语句；

步骤S204，判断SQL语句是否为带有UNION操作的视图或子查询与基表的连接操作；

步骤S206，基表参与连接的元组数量小于数量阈值；

步骤S208，连接条件对含有UNION操作的视图或子查询的选择率小于或等于预设的比值阈值；

步骤S210，确定满足优化规则，将连接条件下推为含有UNION操作的视图或子查询的过滤条件；

步骤S212，优化器继续执行连接操作。

上述流程中，数据库的优化器增加的优化规则包括以下四个条件：

1.SQL语句为连接操作；

2.连接操作的一侧为含有UNION操作的视图或子查询；

3.连接操作的另一侧为基表；

3.参与连接操作的基表的元组数量较小，数量阈值可以根据分配给数据库的内存大小来确定，也即通过数据库分配内存大小与数量阈值的对应关系来确定基数大小，该对应关系优选为对数关系，例如64G内存，可认为小于5万条则满足该项条件。

4.连接条件下推为UNINON集合中选择条件后选择率较低(例如小于或等于20％)。选择率是指选择条件进行过滤后，剩余的元组数与表的总元组数的比值。20％的选择率指经过过滤，剩余20％的元组。

以下结合包含UNION集合的视图与与基表的连接的举例对本实施例的数据库连接操作的执行方法进行介绍。UNION集合视图的定义为：

create view v as

select*from t2

UNION

select*from t3；

也即UNION集合视图v是对表t2和表t3进行合并操作的视图。表t2和表t3为参与合并的合并目标。

获取到SQL语句：SELECT*FROM t1,v where v.id＝t1.id。也即对视图v以及表t1进行连接，而连接条件为：v.id＝t1.id。

如果表t1的基数较小(例如1000条)，而且t1.id的条件对表t2和表t3的选择率较低(例如10％，即仅保留10％的数据量)，那么可以确定该SQL语句是满足优化规则的。数据库优化器将连接条件v.id＝t1.id从连接层下推到UNION内部的两个子查询，来减少下层的元组数，即把连接条件v.id＝t1.id变为下层的t2.id＝t1.id和t3.id＝t1.id，下推后的子查询相当于由select*from t2和select*from t3变为：select*from t2 where t2.id＝t1.id和select*from t3where t3.id＝t1.id。连接条件下推后，其功能类似于与SQL语句转换为：SELECT*FROM t1,(SELECT*FROM t2 where t2.id＝t1.id UNION SELECT*FROMt2where t3.id＝t1.id)v。

上述优化规则，在UNION内部的子查询即执行计划较为底层的节点过滤掉大量的数据，从而使连接操作需要处理的数据集跟之前相比变得很小(具体变化与连接条件的选择率直接相关)，避免了在连接节点做大量的连接操作，进而起到提升性能的作用。

发明人使用本实施例的方法对一个实例的数据库进行了测试，测试环境为：视图zz_v是zz_tb2和zz_tb3表的UNION集合，zz_tb1表数据量1万，对视图zz_v和zz_tb1连接，在应用本实施例的方法之前，连接操作执行的时间达到2741.28ms，而应用本实施例的方法进行优化后，连接操作执行的时间降低至155.869ms。由此进一步可以确定本实施例的方法有效缩短特定应用场景的执行时间。

本实施例还提供了一种机器可读存储介质和计算机设备。图3是根据本发明一个实施例的机器可读存储介质40的示意图，图4是根据本发明一个实施例的计算机设备50的示意图。

机器可读存储介质40其上存储有机器可执行程序41，机器可执行程序41被处理器执行时实现上述任一实施例的数据库连接操作的执行方法。

计算机设备50可以包括存储器520、处理器510及存储在存储器520上并在处理器510上运行的机器可执行程序41，并且处理器510执行机器可执行程序41时实现上述任一实施例的数据库连接操作的执行方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本实施例的描述而言，机器可读存储介质40可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质40甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备50可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备50可以是云计算节点。计算机设备50可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备50可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备50可以包括适于执行存储的指令的处理器510、在操作期间为所述指令的操作提供临时存储空间的存储器520。处理器510可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器520可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器510可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备50连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备50的内置组件，或者可以是外部连接到计算设备的设备。

处理器510也可以通过系统互连链接到适于将计算机设备50连接到显示设备的显示接口。显示设备可以包括作为计算机设备50的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备50的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备50连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN)、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库连接操作的执行方法，包括：

获取所述数据库的连接操作，并确定所述连接操作指定的两侧连接目标的信息；

根据所述两侧连接目标的信息判断所述连接操作是否符合预设的优化规则；

若是，提取所述连接操作的连接条件，将所述连接条件下推为被优化目标的过滤条件，所述被优化目标为所述两侧连接目标中的一个；

使用增加所述过滤条件后的被优化目标进行连接操作。

2.根据权利要求1所述的数据库连接操作的执行方法，其中，所述确定所述连接操作指定的两侧连接目标的信息的步骤包括：

分别确定所述两侧连接目标的类型、包含的子操作、数据大小。

3.根据权利要求2所述的数据库连接操作的执行方法，其中，所述根据所述两侧连接目标的信息判断所述连接操作是否符合预设的优化规则的步骤包括：

判断所述两侧连接目标中的一个是否为基表并且所述基表参与连接的元组数量小于预设的数量阈值；

判断所述两侧连接目标中的另一个是否为包含合并操作的视图或子查询；

若两项所述判断的结果均为是的情况下，确定所述连接操作符合预设的优化规则，所述包含合并操作的视图或子查询成为所述被优化目标。

4.根据权利要求2所述的数据库连接操作的执行方法，其中，所述根据所述两侧连接目标的信息判断所述连接操作是否符合预设的优化规则的步骤包括：

判断所述两侧连接目标中的一个是否为基表并且所述基表参与连接的元组数量小于预设的数量阈值；

判断所述两侧连接目标中的另一个是否为包含合并操作的视图或子查询；

若两项所述判断的结果均为是的情况下，将所述包含合并操作的视图或子查询作为所述被优化目标，并预估所述过滤条件对所述被优化目标的选择率；

判断所述选择率是否小于或等于预设的比值阈值，若是则确定所述连接操作符合预设的优化规则。

5.根据权利要求3或4所述的数据库连接操作的执行方法，其中所述将所述连接条件下推为被优化目标的过滤条件的步骤包括：

在所述被优化目标中参与合并的合并目标中分别增加所述过滤条件。

6.根据权利要求3或4所述的数据库连接操作的执行方法，其中

所述数量阈值根据分配给所述数据库的内存大小进行设置，使得所述数量阈值随所述内存大小的增大而增大。

7.根据权利要求3或4所述的数据库连接操作的执行方法，其中所述使用增加所述过滤条件的被优化目标进行连接操作包括：

由所述数据库的优化器对增加所述过滤条件后的被优化目标与所述两侧连接目标中的基表制定连接执行计划，按照所述连接执行计划进行连接操作。

8.根据权利要求1所述的数据库连接操作的执行方法，其中，

在所述连接操作不符合所述优化规则的情况下，由所述数据库的优化器直接制定所述连接操作的执行计划。

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的数据库连接操作的执行方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的数据库连接操作的执行方法。

Images