CN117827905A - 远程数据库连接查询的方法、存储介质和设备 - Google Patents

Abstract

本发明提供了一种远程数据库连接查询的方法、存储介质和设备，该方法包括：获取连接查询语句；根据所述连接查询语句，确定出参与连接的至少两个目标外表及所述至少两个目标外表的相关信息，所述目标外表为本地数据库中与同一远程数据库中的数据表对应的本地外表；根据所述至少两个目标外表及其所述相关信息确定出远程操作语句；将所述远程操作语句下推给所述远程数据库；所述远程数据库运行所述远程操作语句，以生成所述至少两个目标外表对应的远程结果数据集；将所述远程结果数据集返回所述本地数据库。本发明能够将远程数据库中数据表的连接查询在远程数据库中进行，减少了对本地数据库资源的占用，提升了本地数据库的运行性能。

Description

远程数据库连接查询的方法、存储介质和设备

技术领域

本发明属于数据库技术领域，具体提供了一种远程数据库连接查询的方法、机器可读存储介质和计算机设备。

背景技术

在现有技术中，可以通过本地数据库查询远程数据库中的数据。

连接查询是数据库查询的一种常见操作。连接查询用于将多个表中的数据根据一定的关联条件连接起来，并返回结果集。通过连接查询，可以从不同的表中获取相关联的数据，并将它们组合在一起，以满足特定的查询需求。

通过连接查询可以从远程数据库获取多个表的数据。现有技术一般是将远程数据库中的相关数据全部查询到本地数据库后，再做连接查询操作。

但是，如果远程数据库中相关表内的数据非常大，将会导致大量的网络通讯，不仅耗时严重，而且还会挤占网络带宽，增加整个系统的不稳定性。并且，由于连接查询全部在本地数据库进行，增加了本地数据库的计算量。在本地数据库非常忙碌的时候，会显著增加本地数据库CPU的负载，拖慢本地数据库的性能，进而拖慢整个系统的性能。

发明内容

本发明的一个目的在于，解决现有技术中对远程数据库做连接查询时，容易因数据量较大而挤占网络带宽，以及会影响本地数据库性能的问题。

为实现上述目的，本发明在第一方面提供了一种远程数据库连接查询的方法，包括：

获取连接查询语句；

根据所述连接查询语句，确定出参与连接的至少两个目标外表及所述至少两个目标外表的相关信息，所述目标外表为本地数据库中与同一远程数据库中的数据表对应的本地外表；

根据所述至少两个目标外表及其所述相关信息确定出远程操作语句；

将所述远程操作语句下推给所述远程数据库；

所述远程数据库运行所述远程操作语句，以生成所述至少两个目标外表对应的远程结果数据集；

将所述远程结果数据集返回所述本地数据库。

可选地，所述至少两个目标外表的相关信息包括所述至少两个目标外表的目标检索列和连接查询条件。

可选地，所述至少两个目标外表的相关信息还包括所述至少两个目标外表的筛选条件。

可选地，如果所述目标检索列包括系统函数，记作检索系统函数，所述检索系统函数同时存在于所述本地数据库和所述远程数据库；和/或，如果所述连接查询条件包括系统函数，记作查询系统函数，所述查询系统函数同时存在于所述本地数据库和所述远程数据库；和/或，如果所述筛选条件包括系统函数，记作筛选系统函数，则所述筛选系统函数同时存在于所述本地数据库和所述远程数据库。

可选地，在所述将所述远程操作语句下推给所述远程数据库的步骤之前，所述方法还包括：

确定所述远程数据库与所述本地数据库的语法和规范是否相同；

如果不同，对所述远程操作语句与所述远程数据库的语法和规范进行适配。

可选地，所述方法还包括：

如果根据所述数据库操作语句，还确定出所述本地数据库中存在与任一所述远程数据库中的数据表均不对应的至少一个本地外表；

在将所述远程结果数据集返回本地数据库后，使所述本地数据库对所述远程结果数据集和所述至少一个本地外表做连接查询处理。

可选地，在所述将所述远程结果数据集返回本地数据库的步骤之后，所述方法还包括：

如果所述远程结果数据集为由不同的所述远程数据库返回的多个，则使所述本地数据库对多个所述远程结果数据集做连接查询处理。

可选地，所述方法，还包括：

如果根据所述数据库操作语句，还确定出所述本地数据库中存在与任一所述远程数据库中的数据表均不对应的至少一个本地外表；

在将所述远程结果数据集返回本地数据库后，如果所述远程结果数据集为由不同的所述远程数据库返回的至少两个，使所述本地数据库对所有的所述远程结果数据集和所述至少一个本地外表做连接查询处理。

本发明在第二方面提供了一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据第一方面中任一项所述的远程数据库连接查询的方法。

本发明在第三方面提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据第一方面任一项所述远程数据库连接查询的方法。

基于前文的描述，本领域技术人员能够理解的是，在本发明前述的技术方案中，根据连接查询语句，确定出参与连接的至少两个目标外表及至少两个目标外表的相关信息，能够确定出本地数据库中与同一远程数据库中的数据表对应的本地外表。根据至少两个目标外表及其相关信息确定出远程操作语句，然后将远程操作语句下推给远程数据库，并使远程数据库运行远程操作语句，能够生成至少两个目标外表对应的远程结果数据集。因此，本发明能够将远程数据库中数据表的连接查询在远程数据库中进行，减少了对本地数据库资源的占用，提升了本地数据库的运行性能。

进一步地，由于远程结果数据集相对于远程数据库中的相关数据表相比，数据量较小，数据传输时占用的网络带宽较小，从而提升了整个系统的稳定性。

本发明的其他有益效果将会在后文中结合附图进行详细描述，以便本领域技术人员能够更加清楚地了解本发明的改进目的、特征和优点。

附图说明

为了更清楚地说明本发明的技术方案，后文将参照附图来描述本发明的部分实施例。本领域技术人员应当理解的是，同一附图标记在不同附图中所标示的部件或部分相同或类似；本发明的附图彼此之间并非一定是按比例绘制的。

附图中：

图1是现有技术中对远程数据库连接查询的一个数据流示意图；

图2是本发明一些实施例中远程数据库连接查询的方法的步骤流程图；

图3是本发明中对远程数据库连接查询的一个数据流示意图；

图4是本发明再一些实施例中远程数据库连接查询的方法的步骤流程图；

图5是本发明又一些实施例中远程数据库连接查询的方法的部分步骤流程图；

图6是本发明另一些实施例中远程数据库连接查询的方法的部分步骤流程图；

图7是本发明提供的机器可读存储介质的一个示意图；

图8是本发明提供的计算机设备的一个示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，该一部分实施例旨在用于解释本发明的技术原理，并非用于限制本发明的保护范围。基于本发明提供的实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本发明的保护范围之内。

需要说明的是，在本发明的描述中，各个功能模块既可以是由多个结构、构件或电子元器件构成的物理模块，也可以是由多个程序构成的虚拟模块；各个功能模块既可以是彼此独立存在的模块，也可以是由一个整体模块按照功能划分而成的模块。本领域技术人员应当理解的是，在能够实现本发明所描述的技术方案的前提下，各个功能模块的构成方式、实现方式、位置关系无论怎样变化，都不会偏离本发明的技术原理，因此都应当落入本发明的保护范围之内。

在对本发明的实施例进行描述之前，先参照图1对与本发明相关的现有技术做举例说明，以方便本领域技术人员理解本发明的技术方案。

如图1所示地，其给出了一个基于SQL语言的JION操作的示例。其中，SQL语言(Structured Query Language)是一种具有数据操纵和数据定义等多种功能的数据库语言。JION是一个数据库查询的概念，用于表示将多个表或数据源的数据合并为一个结果集的操作。JION用于根据特定的关联条件将相关联的行组合在一起，通常用于数据库查询中以获取相关联的数据。JOIN操作可以通过多种方式实现，包括内连接(INNER JOIN)、左连接(LEFT JOIN)、右连接(RIGHT JOIN)和全连接(FULL JOIN)等。这些类型的JOIN可以根据不同的需求和场景选择使用。

在图1中所示的示例中，t1、t2和t3表示远程数据库20中的数据表。本地数据库10具有ft1、ft2和ft3三个外表，分别对应远程数据库20中的t1、t2和t3三个数据表。其中，外表是本地数据库10中的一个数据表，每一个外表分别对应远程数据库20中的一个数据表。

基于图1中的示例做JION的SQL语句为：

select*from ft1 join ft2 on(ft1a＝ft2a)join ft3 on(ft2a＝ft3a)whereft3.b>10

基于该语句的流程如图1：将远程数据库20中的数据表t1、t2和t3查询到本地数据库10，再由本地数据库10做JION操作(连接查询)。

换句话说，在图1所示的现有技术中，需要先把JOIN的外表拆解为对参与JOIN的外表的Select操作。然后通过对外表的Select操作，把外表代表的远程数据库20中数据表里的数据查询到本地数据库10，然后再使本地数据库10做JOIN操作。

图1给出的示例的操作，在远程数据库20向本地数据库10传输的数据量较大时，不仅耗时严重，而且还会挤占网络带宽，增加整个系统的不稳定性。而且，由于连接查询全部在本地数据库10进行，还增加了本地数据库10的计算量。在本地数据库10非常忙碌的时候，会显著增加本地数据库10CPU的负载，拖慢本地数据库10的性能，进而拖慢整个系统的性能。

下面参照图2至图6来对本发明的技术方案进行详细说明。

首先本发明提供了一种远程数据库20连接查询的方法。

如图2所示，在发明的一些实施例中，远程数据库20连接查询的方法包括：

步骤S110，获取连接查询语句；

步骤S120，根据连接查询语句，确定出参与连接的至少两个目标外表及至少两个目标外表的相关信息，目标外表为本地数据库10中与同一远程数据库20中的数据表对应的本地外表；

步骤S130，根据至少两个目标外表及其相关信息确定出远程操作语句；

步骤S140，将远程操作语句下推给远程数据库20；

步骤S150，远程数据库20运行远程操作语句，以生成至少两个目标外表对应的远程结果数据集；

步骤S160，将远程结果数据集返回本地数据库10。

在本发明的一些实施例中，连接查询语句可以是由用户等任意人员输入的输入的JOIN的SQL语句。此外，本领域技术人员也可以根据需要，使连接查询语句为其他任意可行的语句。

在步骤S120中，目标外表可以是JION的数据表。该至少两个目标外表的相关信息可以包括至少两个目标外表的目标检索列(可以是Select的目标列)和连接查询条件(可以是JOIN ON条件)。

在本发明的一些实施例中，如果目标检索列包括系统函数(例如求和函数)，记作检索系统函数，检索系统函数同时存在于本地数据库10和远程数据库20。如果连接查询条件包括系统函数，记作查询系统函数，查询系统函数同时存在于本地数据库10和远程数据库20。

进一步地，至少两个目标外表的相关信息还可以包括至少两个目标外表的筛选条件(可以是Where条件)。

在本发明的一些实施例中，如果筛选条件包括系统函数，记作筛选系统函数，则筛选系统函数同时存在于本地数据库10和远程数据库20。

本领域技术人员能够理解的是，通过使上述三个系统函数同时存在于本地数据库10和远程数据库20，能够确保远程数据库20连接查询的成功。

下面参照图3并对应照图1中所示现有技术的示例，来对本发明一些实施例中远程数据库20连接查询的方法进行举例说明。

如图3所示，在其示出的示例中，t1、t2和t3表示远程数据库20中的数据表。本地数据库10具有ft1、ft2和ft3三个外表，分别对应远程数据库20中的t1、t2和t3三个数据表。

基于图3中的示例做JION的SQL语句为：

select*from ft1 join ft2 on(ft1a＝ft2a)join ft3 on(ft2a＝ft3a)whereft3.b>10

基于该语句的流程如图3：将该语句设置为远程操作语句select*from t1join t2on(t1a＝t2.a)join t3 on(t2a＝t3a)where t3.b>10。将该远程操作语句下推给远程数据库20后，由远程数据库20运行并因此生成目标外表对应的远程结果数据集data。最后将远程结果数据集data返回本地数据库10。

基于前文的描述，本领域技术人员能够理解的是，在本发明的一些实施例中，能够将远程数据库20中数据表的连接查询在远程数据库20中进行，减少了对本地数据库10资源的占用，提升了本地数据库10的运行性能。并且，由于远程结果数据集相对于远程数据库20中的相关数据表相比，数据量较小，数据传输时占用的网络带宽较小，从而提升了整个系统的稳定性。

需要说明的是，本发明的上述实施例仅为本发明的一个基础实施例。在本发明的其他实施例中，本领域技术人员也可以根据需要，对上述实施例中的方案、步骤进行调整、优化和配置，以实现更进一步的技术效果。后文将结合附图来对本发明有别于上述实施例的其他实施例进行说明。当然，本领域技术人员也可以根据实际需要，对后文将描述的实施例中的步骤的执行顺序、运行条件和数量进行适当修改。修改后的实施例并不会偏离本发明的技术构思和/或技术原理，仍应落入本发明的保护范围之内。

如图4所示，在本发明的再一些实施例中，远程数据库20连接查询的方法包括：

步骤S210，获取连接查询语句；

步骤S220，根据连接查询语句，确定出参与连接的至少两个目标外表及至少两个目标外表的相关信息，目标外表为本地数据库10中与同一远程数据库20中的数据表对应的本地外表；

步骤S230，根据至少两个目标外表及其相关信息确定出远程操作语句；

步骤S240，确定远程数据库20与本地数据库10的语法和规范是否相同；

步骤S250，如果不同，对远程操作语句与远程数据库20的语法和规范进行适配；

步骤S260，将远程操作语句下推给远程数据库20；

步骤S270，远程数据库20运行远程操作语句，以生成至少两个目标外表对应的远程结果数据集；

步骤S280，将远程结果数据集返回本地数据库10。

其中，数据库的语法和规范是用来定义和指导数据库操作、查询和管理的一系列规则和标准。由于此为本领域的公知常识，所以此处不再进行过多说明。

本领域技术人员能够理解的是，根据连接查询语句确定出的本地外表包括以下四种情形：

情形一，本地外表全部对应同一个远程数据库20中的数据表。此种情形下，在远程结果数据集返回本地数据库10后，不用再继续进行连接查询。

情形二，本地外表对应不同的多个远程数据库20中的数据表。此种情形下，在远程结果数据集返回本地数据库10后，需要对返回的远程结果数据集继续做连接查询处理。

情形三，本地外表包括对应同一个远程数据库20中的数据表和由本地数据库10获取的外表。此种情形下，在远程结果数据集返回本地数据库10后，需要继续做连接查询处理。

情形四，本地外表包括对应不同的多个远程数据库20中的数据表和由本地数据库10获取的外表。此种情形下，在远程结果数据集返回本地数据库10后，需要继续做连接查询处理。

针对情形二，在本发明的再一些实施例中，相比于前文描述的一些实施例和再一些实施例，远程数据库20连接查询的方法还包括：如果远程结果数据集为由不同的远程数据库20返回的多个，则使本地数据库10对多个远程结果数据集做连接查询处理。

针对情形三，在本发明的又一些实施例中，相比于前文描述的一些实施例和再一些实施例，远程数据库20连接查询的方法还可以如图5所示地包括：

步骤S510，如果根据数据库操作语句，还确定出本地数据库10中存在与任一远程数据库20中的数据表均不对应的至少一个本地外表；

步骤S520，在将远程结果数据集返回本地数据库10后，使本地数据库10对远程结果数据集和至少一个本地外表做连接查询处理。

针对情形四，在本发明的另一些实施例中，相比于前文描述的一些实施例和再一些实施例，远程数据库20连接查询的方法还可以如图6所示地包括：

步骤S610，如果根据数据库操作语句，还确定出本地数据库10中存在与任一远程数据库20中的数据表均不对应的至少一个本地外表；

步骤S620，在将远程结果数据集返回本地数据库10后，如果远程结果数据集为由不同的远程数据库20返回的至少两个，使本地数据库10对所有的远程结果数据集和至少一个本地外表做连接查询处理。

进一步地，本发明还提供了一种机器可读存储介质70和计算机设备80。图7是本发明提供的机器可读存储介质70的示意图，图8是本发明提供的计算机设备80的示意图。

如图7所示，机器可读存储介质70其上存储有机器可执行程序71，机器可执行程序71被处理器执行时实现上述任一实施例的数据库共享内存缓冲池的处理方法。

如图8所示，计算机设备80可以包括处理器81、存储器82及存储在存储器82上并在处理器81上运行的机器可执行程序71，并且处理器81执行机器可执行程序71时实现上述任一实施例的数据库共享内存缓冲池的处理方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本实施例的描述而言，机器可读存储介质70可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质70甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备80可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备80可以是云计算节点。计算机设备80可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备80可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备80可以包括适于执行存储的指令的处理器81、在操作期间为所述指令的操作提供临时存储空间的存储器82。处理器81可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器82可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器81可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备80连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备80的内置组件，或者可以是外部连接到计算设备的设备。

处理器81也可以通过系统互连链接到适于将计算机设备80连接到显示设备的显示接口。显示设备可以包括作为计算机设备80的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备80的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备80连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

最后需要说明的是，由于在数据表确定了之后，对数据表进行连接查询和进行数据筛选的技术手段为现有技术，且被本领域技术人员所熟知，所以本发明并未对其进行过多说明。

至此，已经结合前文的多个实施例描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围并不仅限于这些具体实施例。在不偏离本发明技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本发明的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本发明的保护范围之内。

Claims (10)

1.一种远程数据库连接查询的方法，包括：

获取连接查询语句；

根据所述连接查询语句，确定出参与连接的至少两个目标外表及所述至少两个目标外表的相关信息，所述目标外表为本地数据库中与同一远程数据库中的数据表对应的本地外表；

根据所述至少两个目标外表及其所述相关信息确定出远程操作语句；

将所述远程操作语句下推给所述远程数据库；

所述远程数据库运行所述远程操作语句，以生成所述至少两个目标外表对应的远程结果数据集；

将所述远程结果数据集返回所述本地数据库。

2.根据权利要求1所述的方法，其中，

所述至少两个目标外表的相关信息包括所述至少两个目标外表的目标检索列和连接查询条件。

3.根据权利要求2所述的方法，其中，

所述至少两个目标外表的相关信息还包括所述至少两个目标外表的筛选条件。

4.根据权利要求3所述的方法，其中，

如果所述目标检索列包括系统函数，记作检索系统函数，所述检索系统函数同时存在于所述本地数据库和所述远程数据库；和/或，

如果所述连接查询条件包括系统函数，记作查询系统函数，所述查询系统函数同时存在于所述本地数据库和所述远程数据库；和/或，

如果所述筛选条件包括系统函数，记作筛选系统函数，则所述筛选系统函数同时存在于所述本地数据库和所述远程数据库。

5.根据权利要求1所述的方法，其中，

在所述将所述远程操作语句下推给所述远程数据库的步骤之前，所述方法还包括：

确定所述远程数据库与所述本地数据库的语法和规范是否相同；

如果不同，对所述远程操作语句与所述远程数据库的语法和规范进行适配。

6.根据权利要求1至5中任一项所述的方法，还包括：

如果根据所述数据库操作语句，还确定出所述本地数据库中存在与任一所述远程数据库中的数据表均不对应的至少一个本地外表；

在将所述远程结果数据集返回本地数据库后，使所述本地数据库对所述远程结果数据集和所述至少一个本地外表做连接查询处理。

7.根据权利要求1至5中任一项所述的方法，在所述将所述远程结果数据集返回本地数据库的步骤之后，所述方法还包括：

如果所述远程结果数据集为由不同的所述远程数据库返回的多个，则使所述本地数据库对多个所述远程结果数据集做连接查询处理。

8.根据权利要求1至5中任一项所述的方法，还包括：

如果根据所述数据库操作语句，还确定出所述本地数据库中存在与任一所述远程数据库中的数据表均不对应的至少一个本地外表；

在将所述远程结果数据集返回本地数据库后，如果所述远程结果数据集为由不同的所述远程数据库返回的至少两个，使所述本地数据库对所有的所述远程结果数据集和所述至少一个本地外表做连接查询处理。

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的远程数据库连接查询的方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述远程数据库连接查询的方法。