CN110008244A - 一种数据查询方法及数据查询装置 - Google Patents

Abstract

本申请实施例公开了一种数据查询方法及数据查询装置，所述方法包括：获取数据查询信息；分析所述数据查询信息，并分解得到子查询信息；确定用以查询所述子查询信息的存储引擎；以第一预设算法对所述子查询信息进行第一处理，并发送进行了所述第一处理后的子查询信息至所述存储引擎；接收所述存储引擎反馈的子查询结果；对所述子查询结果进行第二处理，得到查询结果。其能够通过对数据查询信息的分解，充分利用存储引擎对分解后进行了第一处理的子查询信息的查询优势，快速查询得到相应子查询信息的子查询结果，进而提高对数据查询信息的查询性能以及分析效率。

Description

一种数据查询方法及数据查询装置

技术领域

本申请涉及信息分析及处理领域，特别是一种数据查询方法及数据查询装置。

背景技术

目前，随着大数据时代的到来，已经无法再通过单一的存储引擎满足针对所有类型数据的存储和分析，现有技术中，为了满足不同的数据存储需求和不同的数据访问方式，一般是采用HDFS(分布式文件系统)、Hive(数据仓库工具)、Elasticsearch(搜索服务器)、MySQL(关系型数据库管理系统)等数据存储技术分别对不同类型的数据进行存储，通过多种存储技术的并存满足了单一数据源的存储和访问需求，但是，其却为跨存储设备的数据关联查询和分析造成了不便。

当然，现有技术中，也存在着常用的Hive(数据仓库工具)、Spark(计算引擎)、Presto(数据查询引擎)等数据查询和分析引擎，其内置了不同的插件扩展机制，但是，其所提供的扩展机制并没有考虑到外部不同存储设备的数据源查询特性的不同，进而也就导致，虽然可以基于其内置扩展机制，实现跨存储设备的数据关联查询，但是，无法利用存储设备的特性，从而导致数据查询和分析性能较差。

发明内容

有鉴于现有技术中存在的上述问题，本申请提供了一种充分利用存储引擎查询信息，进而提高查询性能以及分析效率的数据查询方法及数据查询装置。

本申请实施例提供了一种数据查询方法，包括：

获取数据查询信息；

分析所述数据查询信息，并分解得到子查询信息；

确定用以查询所述子查询信息的存储引擎；

以第一预设算法对所述子查询信息进行第一处理，发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收所述存储引擎反馈的子查询结果；

对所述子查询结果进行第二处理，得到查询结果。

在本申请的一些实施例中，所述子查询信息为至少两个不同的子查询信息，所述确定用以查询所述子查询信息的存储引擎，包括：

基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎。

在本申请的一些实施例中，所述对所述子查询信息进行第一处理，包括：

对所述子查询信息进行全局规划下推、谓词下推、列下推、聚合下推、排序下推、限量下推以及关联下推中的至少一种。

在本申请的一些实施例中，所述以第一预设算法对所述子查询信息进行第一处理，包括：

基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。

在本申请的一些实施例中，所述以第一预设算法对所述子查询信息进行第一处理，发送进行了所述第一处理后的子查询信息至所述存储引擎，包括：

若不能够对所述子查询信息进行第一处理，则标记所述子查询信息为汇总查询信息，发送所述汇总查询信息至所述存储引擎。

在本申请的一些实施例中，所述发送进行了所述第一处理后的子查询信息至所述存储引擎，包括：

发送进行了所述第一处理后的子查询信息至所述存储引擎的适配器，其中，所述适配器用以将接收到的所述进行了第一处理后的子查询信息转换为存储引擎语言，并根据所述存储引擎语言进行查询，并获得子查询结果。

本申请实施例还提供了一种数据查询装置，包括：

获取模块，其用于获取数据查询信息；

分析处理模块，其用于分析所述数据查询信息，并分解得到子查询信息；

确定模块，其用于确定用以查询所述子查询信息的存储引擎；

第一处理模块，其用于以第一预设算法对所述子查询信息进行第一处理，并通过发送模块发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收模块，其用于接收所述存储引擎反馈的子查询结果；

第二处理模块，其用于对所述子查询结果进行第二处理，得到查询结果。

在本申请的一些实施例中，所述子查询信息为至少两个不同的子查询信息，所述确定模块具体用于：

基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎。

在本申请的一些实施例中，所述第一处理模块具体用于：

对所述子查询信息进行全局规划下推、谓词下推、列下推、聚合下推、排序下推、限量下推以及关联下推中的至少一种。

在本申请的一些实施例中，所述第一处理模块具体用于

基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。

与现有技术相比，本申请的有益效果在于：在获取到数据查询信息后，其能够对所述数据查询信息进行分析，并对所述数据查询信息进行分解，得到分解后的子查询信息，进而确定用以查询所述子查询信息的存储引擎；然后，以第一预设算法对所述子查询信息进行第一处理，并发送进行了所述第一处理后的子查询信息至所述存储引擎，并接受所述存储引擎反馈的子查询结果；最终，对所述子查询结果进行第二处理，得到所述数据查询信息对应的查询结果。可见，其能够通过对数据查询信息的分解，充分利用存储引擎对分解后进行了第一处理的子查询信息的查询优势，快速查询得到相应子查询信息的子查询结果，进而提高对数据查询信息的查询性能以及分析效率。

附图说明

图1为本申请实施例中数据查询方法的流程图；

图2为本申请实施例中数据查询装置的框图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。

此处参考附图描述本申请的各种方案以及特征。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其它方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所发明的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本申请模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其它实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

本申请实施例提供的一种数据查询方法，包括：

获取数据查询信息；

分析所述数据查询信息，并分解得到子查询信息；

确定用以查询所述子查询信息的存储引擎；

以第一预设算法对所述子查询信息进行第一处理，并发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收所述存储引擎反馈的子查询结果；

对所述子查询结果进行第二处理，得到查询结果。

通过上述方法可以看出，在获取到数据查询信息后，其能够对所述数据查询信息进行分析，并对所述数据查询信息进行分解，得到分解后的子查询信息，进而确定用以查询所述子查询信息的存储引擎；然后，以第一预设算法对所述子查询信息进行第一处理，并发送进行了所述第一处理后的子查询信息至所述存储引擎，并接受所述存储引擎反馈的子查询结果；最终，对所述子查询结果进行第二处理，得到所述数据查询信息对应的查询结果。可见，其能够通过对数据查询信息的分解，充分利用存储引擎对分解后进行了第一处理的子查询信息的查询优势，快速查询得到相应子查询信息的子查询结果，进而提高对数据查询信息的查询性能以及分析效率。

为了能够更加简单、详细的了解上述技术方案，下面结合实施例和附图对上述的数据查询方法进行详细阐述。

如图1所示，图1为本申请实施例中数据查询方法的流程图，所述数据查询方法包括如下步骤：

步骤101：获取数据查询信息。其中，所述数据查询信息可以是用户通过统一的查询语句或查询接口进行输入，所述数据查询信息包括有标准的查询语句，如SQL(Structured Query Language，结构化查询语言)。

步骤102：分析所述数据查询信息，并分解得到子查询信息。在接收到用户输入的数据查询信息后，读取所述数据查询信息并对该数据查询进行分析，同时，可以是结合存储引擎的适配情况以及通过相应的存储引擎对该数据查询信息进行查询时所需付出的代价(如查询所占用的时间)，对数据查询信息进行分解，并得到子查询信息，其中，对数据查询信息进行的分解可以是在经过预先结合存储引擎的适配情况及所需付出的查询代价后确定出的分解方式，其中，所需付出的查询代价至少包括以采用已进行了分解的分解方式后，对分解出的子查询信息进行查询时的查询代价，即，预先计算对分解后的子查询信息进行查询时的查询代价。

步骤103：确定用以查询所述子查询信息的存储引擎。其中，存储引擎可以为Hadoop Distributed File System(简称：HDFS，分布式文件系统)、ElasticSearch(ElasticSearch为基于Lucene的搜索服务器，其中，Lucene为全文搜索引擎)、或MYSQL(关系型数据库管理系统)中的至少一种。

在本申请的一些实施例中，所述子查询信息为至少两个不同的子查询信息，所述确定用以查询所述子查询信息的存储引擎，包括：基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎，其中，所述至少两个不同的所述子查询信息各自对应的存储引擎可以为同一存储引擎，也可以为不同的存储引擎。

步骤104：以第一预设算法对所述子查询信息进行第一处理，并发送进行了所述第一处理后的子查询信息至所述存储引擎。

在本申请的一些实施例中，所述对所述子查询信息进行第一处理，包括：对所述子查询信息进行全局规划下推(Global PlanPushdown存储引擎可完全支持用户的查询请求)、谓词下推(PredicatePushdown存储引擎可根据谓词条件进行过滤，返回匹配结果)、列下推(Projection PushDown存储引擎可仅返回用户查询请求中所需要的列)、聚合下推(Aggregation Pushdown存储引擎可处理分组聚合请求)、排序下推(Order Pushdown存储引擎可根据字段进行升序或降序排列)、限量下推(Limit Pushdown存储引擎可返回所需的结果而非全部匹配数据)以及关联下推(Join Pushdown存储引擎可处理内关联、外关联等关联操作)中的至少一种。在本实施例中，存储引擎并不需要能够对所述子查询信息进行上述全部的处理，可根据存储引擎各自的特性依据需要进行适配即可。具体地，HadoopDistributed File System(简称：HDFS，分布式文件系统)可以适配谓词下推(PredicatePushdown)和列下推(Projection PushDown)，进而实现提高列式存储格式的查询性能；ElasticSearch(基于Lucene的搜索服务器)可以适配全局规划下推(GlobalPlanPushdown)、谓词下推(Predicate Pushdown)、列下推(Projection PushDown)、聚合下推(Aggregation Pushdown)、排序下推(Order Pushdown)以及限量下推(LimitPushdown)，其利用内置的索引和缓存机制，提高查询性能，同时，实现关联查询，增强其查询能力；此外，MYSQL(关系型数据库管理系统)可以适配全局规划下推(GlobalPlanPushdown)、谓词下推(PredicatePushdown)、列下推(Projection PushDown)、聚合下推(Aggregation Pushdown)、排序下推(Order Pushdown)、限量下推(Limit Pushdown)以及关联下推(Join Pushdown)，能够利用其内置的多种处理方式，增加分布式执行机制，提高其查询能力；可见，通过将进行了第一处理的子查询信息分别通过不同的存储引擎进行查询，能够充分利用不同存储引擎的查询优势，查询得到相应子查询信息的子查询结果，进而提高对数据查询信息的查询性能以及分析效率。

在本申请的一些实施例中，所述以第一预设算法对所述子查询信息进行第一处理，包括：基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。具体地，由于已经确定了用以对所述子查询信息进行第一处理的存储引擎，而相应地，存储引擎本身可以是依据其固有特性配置了相应的适配器，进而为了能够通过存储引擎对子查询信息进行查询，则需要根据存储引擎的配置，以适配与所述存储引擎的方式对所述子查询信息进行第一处理，以使处理后的所述子查询信息能够通过相应的存储引擎查询并获得相应的子查询结果。

当然，在实际使用的过程中，在将用户输入的所述数据查询信息分解成子查询信息后，会尝试对每个子查询信息进行第一处理，并会将不能够进行第一处理的子查询信息标记为汇总查询信息，并将汇总查询信息直接通过所述存储引擎进行查询，即，通过对能够进行第一处理的子查询信息的查询效率以及时效的提高，提高对数据查询信息的查询效率以及时效。

在本申请的一些实施例中，所述发送进行了所述第一处理后的子查询信息至所述存储引擎，包括：发送进行了所述第一处理后的子查询信息至所述存储引擎的适配器，其中，所述适配器用以将接收到的所述进行了第一处理后的子查询信息转换为存储引擎语言，并根据所述存储引擎语言进行查询，并获得子查询结果，在获得子查询结果后，存储引擎的适配器还会反馈获得的子查询结果。

步骤105：接收所述存储引擎反馈的子查询结果。具体地，可以是接收每个存储引擎针反馈的其所接收到的子查询信息的子查询结果，在接收到全部的子查询结果后，执行步骤106。

步骤106：对所述子查询结果进行第二处理，得到查询结果。其中，对所述子查询结果进行第二处理，还可以包括对标记为汇总查询信息的汇总查询结果的处理，即，将所述子查询结果以及汇总查询结果一同进行处理后，得到最终的查询结果，其中，第二处理，还可以包括依据对所述数据查询信息进行分解时形成的子查询信息的顺序，对分解形成的子查询信息对应的子查询结果进行整合，也可以是依据对所述数据查询信息进行分解时形成的子查询信息的属性特性，对分解形成的子查询结果进行整合，以得到最终的查询结果。

本申请实施例还提供了一种数据查询装置，如图2所示，包括：

获取模块1，其用于获取数据查询信息；

分析处理模块2，其用于分析所述数据查询信息，并分解得到子查询信息；

确定模块3，其用于确定用以查询所述子查询信息的存储引擎；

第一处理模块4，其用于以第一预设算法对所述子查询信息进行第一处理，并通过发送模块5发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收模块6，其用于接收所述存储引擎反馈的子查询结果；

第二处理模块7，其用于对所述子查询结果进行第二处理，得到查询结果。

其中，所述第一处理模块4和所述第二处理模块7可以相同，也可以不同。

在本申请的一些实施例中，所述子查询信息为至少两个不同的子查询信息，所述确定模块3具体用于：基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎。

在本申请的一些实施例中，所述第一处理模块4具体用于：对所述子查询信息进行全局规划下推、谓词下推、列下推、聚合下推、排序下推、限量下推以及关联下推中的至少一种。

在本申请的一些实施例中，所述第一处理模块4具体用于基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。

在本申请的一些实施例中，所述第一处理模块4还用于：若不能够对所述子查询信息进行第一处理，则标记所述子查询信息为汇总查询信息，通过所述发送模块5发送所述汇总查询信息至所述存储引擎。

在本申请的一些实施例中，所述发送模块5具体用于：发送进行了所述第一处理后的子查询信息至所述存储引擎的适配器，其中，所述适配器用以将接收到的所述进行了第一处理后的子查询信息转换为存储引擎语言，并根据所述存储引擎语言进行查询，并获得子查询结果。

由于本实施例所介绍的存储介质、数据查询装置为本申请实施例中数据查询的方法所对应的存储介质、数据查询装置，故而，基于本申请实施例中数据查询方法，本领域的技术人员能够了解本申请实施例中存储介质、数据查询装置的具体实施方式以及其各种变化形式，所以在此对于该存储介质、数据查询装置不再详细介绍。只要本领域所述技术人员实施本申请实施例中数据查询方法的存储介质、数据查询装置，都属于本申请所欲保护的范围。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理模块以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理模块执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种数据查询方法，包括：

获取数据查询信息；

分析所述数据查询信息，并分解得到子查询信息；

确定用以查询所述子查询信息的存储引擎；

以第一预设算法对所述子查询信息进行第一处理，发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收所述存储引擎反馈的子查询结果；

对所述子查询结果进行第二处理，得到查询结果。

2.根据权利要求1所述的数据查询方法，其中，所述子查询信息为至少两个不同的子查询信息，所述确定用以查询所述子查询信息的存储引擎，包括：

基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎。

3.根据权利要求2所述的数据查询方法，所述对所述子查询信息进行第一处理，包括：

对所述子查询信息进行全局规划下推、谓词下推、列下推、聚合下推、排序下推、限量下推以及关联下推中的至少一种。

4.根据权利要求3所述的数据查询方法，所述以第一预设算法对所述子查询信息进行第一处理，包括：

基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。

5.根据权利要求1所述的数据查询方法，所述以第一预设算法对所述子查询信息进行第一处理，发送进行了所述第一处理后的子查询信息至所述存储引擎，包括：

若不能够对所述子查询信息进行第一处理，则标记所述子查询信息为汇总查询信息，发送所述汇总查询信息至所述存储引擎。

6.根据权利要求1所述的数据查询方法，所述发送进行了所述第一处理后的子查询信息至所述存储引擎，包括：

发送进行了所述第一处理后的子查询信息至所述存储引擎的适配器，其中，所述适配器用以将接收到的所述进行了第一处理后的子查询信息转换为存储引擎语言，并根据所述存储引擎语言进行查询，并获得子查询结果。

7.一种数据查询装置，包括：

获取模块，其用于获取数据查询信息；

分析处理模块，其用于分析所述数据查询信息，并分解得到子查询信息；

确定模块，其用于确定用以查询所述子查询信息的存储引擎；

第一处理模块，其用于以第一预设算法对所述子查询信息进行第一处理，并通过发送模块发送进行了所述第一处理后的子查询信息至所述存储引擎；

接收模块，其用于接收所述存储引擎反馈的子查询结果；

第二处理模块，其用于对所述子查询结果进行第二处理，得到查询结果。

8.根据权利要求7所述的数据查询装置，其中，所述子查询信息为至少两个不同的子查询信息，所述确定模块具体用于：

基于至少两个不同的子查询信息，分别确定所述至少两个不同的所述子查询信息各自对应的存储引擎。

9.根据权利要求8所述的数据查询装置，所述第一处理模块具体用于：

对所述子查询信息进行全局规划下推、谓词下推、列下推、聚合下推、排序下推、限量下推以及关联下推中的至少一种。

10.根据权利要求9所述的数据查询装置，所述第一处理模块具体用于：

基于确定的所述存储引擎，以适配于所述存储引擎的方式对所述子查询信息进行第一处理。