CN110389968A - 聚合查询方法、聚合查询装置、设备及介质 - Google Patents

Abstract

本公开提供了一种聚合查询方法，包括：响应于获得查询指令，通过解析查询指令，获得查询需求信息；获得已记录的元数据，元数据包括表分布信息和数据分布信息；基于元数据，将查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令；执行多个子查询指令，获得针对各个数据库的执行结果；以及聚合各个数据库的执行结果，得到查询结果。另外，本公开还提供了一种聚合查询装置、一种电子设备以及一种计算机可读存储介质。

Description

聚合查询方法、聚合查询装置、设备及介质

技术领域

本公开涉及数据库技术领域，尤其涉及一种聚合查询方法、聚合查询装置、设备及介质。

背景技术

自关系数据库诞生以来，各种关系数据库产品得到了长足的发展。随着数据库技术的不断发展，各种数据库产品日趋完善，各种数据库产品之间呈现差异化发展的趋势。企业在数据库选型的时候，单一的数据库类型已经无法满足生产需要。很多时候，处于产品转型等各种考虑，生产环境中可能会同时运行多种类型的数据库。既有Oracle，也有MySQL，甚至也有些新型的非关系型数据库。

生产环境中的各种不同类型的数据库，可能服务于多种不同的数据产生场景。各种数据库分别在各自的应用场景中满足了各自的增删改查需求。但是，实际中，可能会存在查询各种不同数据库中的数据的需求。为此，需要在应用层实现多数据库查询的逻辑，然后，在应用层的代码中做查询结果集的合并。这种方式，实现复杂，不好维护，复用度低，查询的执行效率也不高。

发明内容

本公开第一方面提供了一种聚合查询方法，包括：响应于获得查询指令，通过解析所述查询指令，获得查询需求信息；获得已记录的元数据，所述元数据包括表分布信息和数据分布信息；基于所述元数据，将所述查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令；执行所述多个子查询指令，获得针对各个数据库的执行结果；以及聚合所述各个数据库的执行结果，得到查询结果。

可选地，所述聚合查询方法还包括：基于针对所述各个数据库的执行结果，更新所述已记录的元数据。

可选地，所述基于所述各个数据库的执行结果，更新所述已记录的元数据包括：处理针对所述各个数据库的执行结果，获得新增元数据；将所述新增元数据合并记录到所述已记录的元数据中。

可选地，所述数据库包括Oracle、MySQL、Access、SQL Server、Redis、MongoDB中的至少一种。

本公开第二方面提供了一种聚合查询装置，包括解析器模块，用于响应于获得查询指令，通过解析所述查询指令，获得查询需求信息；元数据获得模块，用于获得已记录的元数据，所述元数据包括表分布信息和数据分布信息；查询指令拆分模块，用于基于所述元数据，将所述查询需求信息拆分为可独立针对各个数据库执行的多个子查询指令；查询指令执行模块，用于执行所述多个子查询指令，获得针对各个数据库的执行结果；以及查询结果聚合模块，用于聚合所述各个数据库的执行结果，得到查询结果。

可选地，该聚合查询装置还包括：元数据更新模块，用于基于针对所述各个数据库的执行结果，更新所述已记录的元数据。

可选地，所述元数据更新模块包括：处理子模块，用于处理针对所述各个数据库的执行结果，获得新增元数据；合并子模块，用于将所述新增元数据合并记录到所述已记录的元数据中。

可选地，所述数据库包括Oracle、MySQL、Access、SQL Server、Redis、MongoDB中的至少一种。

本公开第三方面提供了一种电子设备，包括：处理器；以及存储器，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行上述的方法。

本公开第四方面提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行上述的方法。

本公开提供了一种聚合查询方法、聚合查询装置、设备及介质，该方法通过解析并拆分查询需求信息，得到多个子查询指令，通过将子查询指令在各个数据库中得到的执行结果聚合，实现跨数据库的查询，解决了目前企业生产上多种数据库并存场景下的跨库数据查询需求，提高了查询效率。

附图说明

图1示意性示出了根据本公开实施例的聚合查询方法的流程图；

图2示意性示出了根据本公开实施例的聚合查询系统的框图；

图3示意性示出了根据本公开另一实施例的聚合查询方法的流程图；

图4示意性示出了根据本公开实施例的聚合查询装置的框图；

图5示意性示出了根据本公开实施例的元数据更新模块的框图；以及

图6示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

图1示意性示出了根据本公开实施例的聚合查询方法的流程图。

如图1所示，该方法可以包括操作S110～S150。

在操作S110，响应于获得查询指令，通过解析该查询指令，获得查询需求信息。

在操作S120，获得已记录的元数据，该元数据包括表分布信息和数据分布信息。

在操作S130，基于上述元数据，将上述查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令。

在操作S140，执行上述多个子查询指令，获得针对各个数据库的执行结果。

在操作S150，聚合上述各个数据库的执行结果，得到查询结果。

本公开实施例的方法解析并拆分查询需求信息，得到多个子查询指令，通过将子查询指令在各个数据库中得到的执行结果聚合，实现跨数据库的查询，解决了目前企业生产上多种数据库并存场景下的跨库数据查询需求，提高了查询效率。

下面结合图2～图3所示意的实施例对上述方法进行说明。

图2示意性示出了根据本公开实施例的聚合查询系统200的框图。

请参照图2，该聚合查询系统200包括解析器模块210、查询分派模块220以及查询结果聚合模块230。

解析器模块210用于获得查询指令，通过解析查询指令，获得查询需求信息。例如，解析用户提交的SQL查询，确定用户的数据查询需求等。

查询分派模块220用于获得已记录的元数据，基于该元数据，将上述查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令。其中，元数据包括表分布信息和数据分布信息。数据库包括Oracle、MySQL、Access、SQL Server、Redis、MongoDB中的至少一种。例如，根据包含表分布信息和数据分布信息的元数据，将用户发送的查询需求信息拆分成多个子查询指令，并将这些子查询指令分配到对应的数据库进行执行相应的查询，以使不同的子查询指令可以查询不同的数据库。

查询结果聚合模块230用于执行多个子查询指令，获得针对各个数据库的执行结果，聚合各个数据库的执行结果，得到查询结果。本公开实施例的方法还可以基于针对各个数据库的执行结果，更新已记录的元数据。例如，处理针对各个数据库的执行结果，获得新增元数据，将新增元数据合并记录到查询分派模块220已记录的元数据中。例如，查询结果聚合模块230将多个子查询指令查询的数据库的执行结果进行汇总，得到用户的发出的查询指令的执行结果。该查询结果聚合模块230还可以从各个子查询指令的执行结果中抽取其中的元数据信息，将这些元数据信息发送至查询分派模块220以丰富查询分派模块220中已经记录的元数据，丰富查询分派模块220中元数据库，优化查询效率。

图3示意性示出了根据本公开另一实施例的聚合查询方法的流程图。

在操作S310，解析器模块210获得查询指令，通过解析查询指令，获得查询需求信息。

在操作S320，查询分派模块220获得已记录的元数据，基于该元数据，将上述查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令。

在操作S330，查询结果聚合模块230执行多个子查询指令，获得针对各个数据库的执行结果，聚合各个数据库的执行结果，得到查询结果。并基于针对各个数据库的执行结果，更新已记录的元数据。

基于同一发明构思，本公开实施例还提供了一种聚合查询装置，下面结合图4对本公开实施例的聚合查询装置进行介绍。

图4示意性示出了根据本公开实施例的聚合查询装置400的框图。

如图4所示，聚合查询装置400包括：

解析器模块410例如执行参考上文图1描述的操作S110，用于响应于获得查询指令，通过解析该查询指令，获得查询需求信息。

元数据获得模块420例如执行参考上文图1描述的操作S120，用于获得已记录的元数据，该元数据包括表分布信息和数据分布信息。

查询指令拆分模块430例如执行参考上文图1描述的操作S130，用于基于上述元数据，将查询需求信息拆分为可独立针对各个数据库执行的多个子查询指令。其中，数据库包括Oracle、MySQL、Access、SQL Server、Redis、MongoDB中的至少一种

查询指令执行模块440例如执行参考上文图1描述的操作S140，用于执行上述多个子查询指令，获得针对各个数据库的执行结果。

查询结果聚合模块450例如执行参考上文图1描述的操作S150，用于聚合上述各个数据库的执行结果，得到查询结果。

该聚合查询装置400还包括元数据更新模块460，用于基于针对各个数据库的执行结果，更新已记录的元数据。

图5示意性示出了根据本公开实施例的元数据更新模块500的框图。

请参照图5，该元数据更新模块500包括：处理子模块510以及合并子模块520。

处理子模块510，用于处理针对各个数据库的执行结果，获得新增元数据。

合并子模块520，用于将新增元数据合并记录到已记录的元数据中。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

综上所述，本公开提供的聚合查询方法及装置，有效解决了目前企业生产环境中MySQL、Oracle等多种异构数据库并存场景下的数据查询需求。在实现夸数据库查询功能的基础上，该系统能够根据积累的元数据，对用户查询进行一定程度的智能分发，提高了查询的执行效率。主要具有如下优点：

1.使用该跨数据库聚合查询的系统及方法，能够比较便捷地解决目前企业生产上多种数据库并存场景下的跨库数据查询需求。

2.通过解析用户提交的查询请求，可以结合积累的元数据，进行查询请求的智能拆分和派发，这样能够提高数据查询的执行效率。

3.分析子查询执行结果中包含的数据分布信息等元数据，通过将其抽取并补充到系统中，可以进一步形成正向的闭环反馈，有助于进一步优化数据查询的执行效率。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，本发明提供了一种电子设备600，包括处理器610以及存储器620，该电子设备600可以执行根据本发明实施例的方法。

具体的，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器620，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

存储器620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行例如上面本发明实施例的方法流程及其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行例如上面结合本发明实施例的方法流程及其任何变形。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本申请实施例的方法。

根据本申请的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种聚合查询方法，包括：

响应于获得查询指令，通过解析所述查询指令，获得查询需求信息；

获得已记录的元数据，所述元数据包括表分布信息和数据分布信息；

基于所述元数据，将所述查询需求信息拆分为可针对各个数据库独立执行的多个子查询指令；

执行所述多个子查询指令，获得针对各个数据库的执行结果；以及

聚合所述各个数据库的执行结果，得到查询结果。

2.根据权利要求1所述的方法，还包括：

基于针对所述各个数据库的执行结果，更新所述已记录的元数据。

3.根据权利要求2所述的方法，其中，所述基于所述各个数据库的执行结果，更新所述已记录的元数据包括：

处理针对所述各个数据库的执行结果，获得新增元数据；

将所述新增元数据合并记录到所述已记录的元数据中。

4.根据权利要求1所述的方法，其中，所述数据库包括Oracle、MySQL、Access、SQLServer、Redis、MongoDB中的至少一种。

5.一种聚合查询装置，包括

解析器模块，用于响应于获得查询指令，通过解析所述查询指令，获得查询需求信息；

元数据获得模块，用于获得已记录的元数据，所述元数据包括表分布信息和数据分布信息；

查询指令拆分模块，用于基于所述元数据，将所述查询需求信息拆分为可独立针对各个数据库执行的多个子查询指令；

查询指令执行模块，用于执行所述多个子查询指令，获得针对各个数据库的执行结果；以及

查询结果聚合模块，用于聚合所述各个数据库的执行结果，得到查询结果。

6.根据权利要求5所述的装置，还包括：

元数据更新模块，用于基于针对所述各个数据库的执行结果，更新所述已记录的元数据。

7.根据权利要求6所述的装置，其中，所述元数据更新模块包括：

处理子模块，用于处理针对所述各个数据库的执行结果，获得新增元数据；

合并子模块，用于将所述新增元数据合并记录到所述已记录的元数据中。

8.根据权利要求5所述的装置，其中，所述数据库包括Oracle、MySQL、Access、SQLServer、Redis、MongoDB中的至少一种。

9.一种电子设备，包括：

处理器；以及

存储器，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～4中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行权利要求1～4中任意一项所述的方法。