CN108536728A - 一种数据查询方法和装置 - Google Patents

Abstract

本发明公开了一种数据查询方法和装置。该方法包括：获取查询计划；确定所述查询计划中包含的数据源信息；根据所述数据源信息，对所述查询计划执行转义操作；根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。本发明通过将查询计划进行转义操作，将查询计划转义为需要查询的数据库能够识别的语言，通过这种操作，可以使用一条查询计划同时查询不同数据库，实现跨平台联合查询，提升了数据查询效率，打通了不同数据库之间的技术壁垒，降低了开发人员的学习门槛。

Description

一种数据查询方法和装置

技术领域

本发明涉及大数据技术领域，特别是涉及一种数据查询方法和装置。

背景技术

随着数据科学不断发展，在大数据领域不断涌现出各类数据存储系统。数据按照各自的类型和使用特性被分别存储到不同的数据存储系统中。

在大数据领域，为了使开发人员能够快速使用相关系统，通常会提供SQL(Structured Query Language，结构化查询语言)。SQL语言是一种为满足数据库查询、分析、挖掘等需求的常用技术手段。但是，在大数据系统中只有类似Hive这样的数据仓库具有使用SQL语言的能力，然而在大数据系统中，除了Hive还有ElasticSearch、HBase(HadoopDatabase)等数据存储系统，这就使得开发人员无法通过SQL语言在多个数据存储系统将进行查询。针对Hive、Hbase和ElasticSearch的查询只能分别使用SQL命令、HBase命令和ElasticSearch命令。然而这些命令在语法结构、实现原理、约束条件等方面不尽相同，这就使得开发人员必须学习多种语言，并且掌握每种语言的语言特征和语法特征，但是即便如此也会经常遇到难以解决的问题。

综上所述，在面临数据访问语法各异、数据相互隔离等问题时，现有技术无法提供跨平台进行联合查询的系统，导致数据的查询、分析、挖掘复杂性增加，且难以关联全量数据，严重影响数据的使用效率。

发明内容

本发明要解决的技术问题是一种数据查询方法和装置，用以解决现有技术无法提供跨平台联合查询的问题。

为了解决上述技术问题，本发明是通过以下技术方案来解决的：

本发明提供了一种数据查询方法，包括：获取查询计划；确定所述查询计划中包含的数据源信息；根据所述数据源信息，对所述查询计划执行转义操作；根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

其中，在确定所述查询计划中包含的数据源信息之前，还包括：获取以结构化查询语言SQL描述的查询语句；解析出所述查询语句中包含的数据源信息和查询条件；根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划；其中，所述查询条件包括：关键词、索引信息、查询范围、查询操作和查询结果的数量。

其中，根据转义后的所述查询计划，在所述数据源信息对应的数据源中查询数据，包括：根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

其中，根据所述数据源信息，对所述查询计划执行转义操作，包括：确定所述数据源信息对应的数据源；通过Spark SQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。

其中，所述数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。

本发明还提供了一种数据查询装置，包括：获取模块，用于获取查询计划；确定模块，用于确定所述查询计划中包含的数据源信息；转义模块，用于根据所述数据源信息，对所述查询计划执行转义操作；查询模块，用于根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

其中，所述获取模块，还用于：在确定所述查询计划中包含的数据源信息之前，获取以结构化查询语言SQL描述的查询语句；解析出所述查询语句中包含的数据源信息和查询条件；根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划；其中，所述查询条件包括：关键词、索引信息、查询范围、查询操作和查询结果的数量。

其中，所述查询模块，进一步用于：根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

其中，所述转义模块，进一步用于：确定所述数据源信息对应的数据源；通过SparkSQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。

其中，所述数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。

本发明有益效果如下：

本发明通过将查询计划进行转义操作，将查询计划转义为需要查询的数据库能够识别的语言，通过这种操作，可以使用一条查询计划同时查询不同数据库，实现跨平台联合查询，提升了数据查询效率，打通了不同数据库之间的技术壁垒，降低了开发人员的学习门槛。

附图说明

图1是根据本发明第一实施例的数据查询方法的流程图；

图2是根据本发明第二实施例的数据查询装置的结构图。

具体实施方式

以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

实施例一

本实施例提供一种数据查询方法。如图1所示，为根据本发明第一实施例的数据查询方法的流程图。

步骤S110，获取查询计划。

查询计划作为数据查询的基础，通过执行查询计划进行数据查询。

在查询计划中，包括：数据源信息和查询条件。

所述数据源信息，包括但不限于：数据源的路径。进一步地，数据源信息与数据源一一对应。数据源信息可以是一个或多个，这样可以从多个数据源中查询数据。

所述查询条件，包括但不限于：关键词、索引信息、查询范围、查询操作和查询结果的数量。其中，查询操作包括但不限于：表联合(将多张数据表合并为一张数据表)、求平均值、求和、排序、筛选。查询结果的数量即预先对规定需要多少查询结果。

具体的，在获取查询计划之前，获取以SQL描述的查询语句；解析出所述查询语句中包含的数据源信息和查询条件；根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划。

进一步地，查询语句可以是用户输入的，也可以是在数据处理过程中生成的。为了解决不同数据库之间查询需要使用不同语言的问题，本实施例将查询语句规定为SQL语句，这样能够降低开发人员的学习门槛，使开发人员能够快速查询数据。

步骤S120，确定所述查询计划中包含的数据源信息。

在本实施例中，数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。

Hive是建立在Hadoop上的数据仓库基础构架。Hive数据库存储数据量大，内部存储的数据多为结构化关系型数据，通常用于进行数据挖掘。

HBase是一个分布式的、面向列的开源数据库。HBase数据库存储压缩比较高，内部存储的数据多为列式数据，通常用于快速的统计分析。

ElasticSearch数据库可以用于分布式全文检索。ElasticSearch数据库查询性能高，内部存储的数据多为需要快速检索的文本数据，通常用于快速检索查询。

步骤S130，根据所述数据源信息，对所述查询计划执行转义操作。

转义操作，用于将查询计划翻译成数据源可识别的语言，使数据源能够执行翻译后的查询计划。

转义操作，具体包括以下两个步骤：

步骤1，确定数据源信息对应的数据源。如果查询计划中包含多个数据源信息，则分别确定每个数据源信息对应的数据源。具体可以根据数据源的路径确定具体的数据源。

步骤2，通过Spark SQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。Spark SQL接口用于将查询计划转义为数据源可识别的语言。如果查询计划中包含多个数据源信息，则将以SQL语言描述的查询计划分别转义为每个数据源可识别的查询命令。

本实施例的转义操作意在：先根据数据源信息确定该数据源信息对应的数据源，然后再确定该数据源支持的语言类型，即确定数据源能够识别的命令，最后对查询计划进行转义，将查询计划转义为该数据源能够识别的查询命令。

例如：查询计划中包括：Hive数据库的路径和Hbase数据库的路径，根据Hive数据库的路径和Hbase数据库的路径，可以确定Hive数据库能够识别Hive命令，Hbase数据库能够识别Hbase命令，进而将查询计划分别转义为Hive命令和Hbase命令。

步骤S140，根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，

根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

如果查询计划中包括多个数据源信息，则从多个数据源信息分别对应的数据源中查询数据，接收多个数据源返回的查询结果，汇总并展示该查询结果。

由于本实施例的查询条件包括但不限于：关键词、索引信息、查询范围、查询操作和查询结果的数量。因此，本实施例的数据查询支持关键词查询、索引查询、范围查询、查询操作查询和规定数量查询。

下面列举几个简单的例子，来说明本实施例的数据查询语句。

第一，本实施例对于全文索引支持Full_text关键词查询，通过Full_text关键词可以获得灵活的查询条件，以便更好的使用ElasticSearch数据库提供的各种功能。

第二，本实施例支持利用通配符的关键词查询，具体格式如下：

FULL_TEXT(FIELDNAME，"value*″)；

其中，FIELDNAME表示需要查询的文件名称；value*表示关键词。

使用符号′？′表示单个任意字符的通配，使用符号′*′表示多个任意字符的通配。若查询value含有以下特殊字符：′+′，，′-′，′&′，′|′，′(′，′)′，′{′，′}′，′[′，′]′，′^′，′～′，′*′，′″′，′？′，′！′，′′，′：′，′\′，′/′，需要对该特殊字符进行转义。′？′，′*′转义后丧失通配功能。如果value中有空格，需要根据需要查询的数据源，对空格进行转义，使该数据源能够识别该空格。

例如：FULL_TEXT(FIELDNAME，"abc\\？\\**")表示在FIELDNAME中查询所有前五个字符为abc？*的数据。

第三，本实施例支持查询范围查找，具体查询范围格式如下：

FULL_TEXT(FIELDNAME，"[from Value TO endValue]″)；

其中，FIELDNAME表示需要查询的文件名称；fromValue表示查询的起始位置；endValue表示查询的终点位置。

在查询范围的格式中，包含边界使用方括号′[′，′]′，不包括边界使用花括号′{′，′}′；使用′*′，表示无边界。如果fromValue和endValue中有空格或特殊字符，需要用双引号″″引起。因为fromValue与endValue作为常量，不会涉及分词，所以对于其中的特殊字符，不需要转义。

例如：FIELDNAME＝FULL_TEXT(FIELDNAME，"[value1 TO *]″)，表示在FIELDNAME中，查询所有值大于value1的数据。

又如：FIELDNAME＝FULL_TEXT(FIELDNAME，′["value1：//com ？"TO *]′)表示在FIELDNAME中，查询所有值大于“value1：//com？”的数据。

第四，本实施例支持权重排序(查询操作)查询，具体格式如下：

FULL_TEXT(FIELDANME，″value1^4 value^2″)；

其中，FIELDNAME表示需要查询的文件名称；value为查询部分；^后面的数字为权重，即给其查询部分添加权重(^权重)。

如果value中有多个词，则需要用双引号括起。如果value中包含特殊字符，则需要转义。

例如：FULL_TEXT(FIELDANME，"(text^4 com^2)″)表示在FIELDANME中，查询包含text、com的数据并按照权重排序。

又如：FULL_TEXT(FIELDANME，′abc^2 ″efg hb″^4′)表示在FIELDANME中，查询包含abc和efg hb的数据并按照权重排序。

第五，本实施例支持组合查询，具体格式如下：

+、AND：表示和；

-、NOT：表示非；

OR：表示或；

其中，AND/OR/NOT均大写。无操作符默认为+。

例如：在FULL_TEXT(FIELDANME，"+value1-value2")以及FULL_TEXT(FIELDANME，"value1 NOT value2")中，都表示在FIELDANME中查询包含关键词value1且不包含关键词value2的数据。如：FULL_TEXT(FIELDANME，"text-com")表示在FIELDANME中查询包含text且不包含com的数据。

若查询的value含有以下特殊字符：′+′，′-′，′&′，′|′，′(′，′)′，′{′，′}′，′[′，′]′，′^′，′～′，′*′，′″′，′？′，′！′，′′，′：′，′\′，′/′，需要对该特殊字符进行转义。例如：对特殊字符的转义方式可以是在特殊字符前添加转义符′\\′，使需要查询的数据源能够识别。

本实施例通过将查询计划转义为不同数据库能够识别的语言，实现了使用一条SQL语言的查询计划同时查询Hive数据库、HBase数据库和ElasticSearch数据库的跨平台联合查询，进而本实施例提供了一种基于SQL语言的大数据联合数据查询方法，提升了数据查询效率，打通了不同数据库之间的技术壁垒，为用户建立了跨数据存储系统的关联查询和分析的能力。

进一步地，本实施例为用户建立了统一的Spark SQL接口，在大数据领域，实现了SQL化的统一查询方法。本实施例基于SparkSQL接口对各个进行统一访问，实现了跨平台联合查询。本实施例可以提供统一的SQL解析引擎、查询接口，简单易用。

实施例二

本实施例提供一种数据查询装置。如图2所示，为根据本发明第二实施例的数据查询装置的结构图。

该数据查询装置，包括：

获取模块210，用于获取查询计划；

确定模块220，用于确定所述查询计划中包含的数据源信息；

转义模块230，用于根据所述数据源信息，对所述查询计划执行转义操作；

查询模块240，用于根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

可选地，所述获取模块210，还用于：在确定所述查询计划中包含的数据源信息之前，获取以结构化查询语言SQL描述的查询语句；解析出所述查询语句中包含的数据源信息和查询条件；根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划；其中，所述查询条件包括：关键词、索引信息、查询范围、查询操作和查询结果的数量。

可选地，所述查询模块240，进一步用于：根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

可选地，所述转义模块230，进一步用于：确定所述数据源信息对应的数据源；通过Spark SQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。

可选地，所述数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。

本实施例所述的装置的功能已经在图1所示的方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

本发明对于此领域的普通技术人员容易理解。上述方法中的全部或者部分步骤是可以通过程序指令来实现；所述的程序可以存储于一般计算机可读存储介质中。此程序在执行时，包括上述实施方案的所有步骤，所述的存储介质可以是ROM/RAM、磁盘、光盘、存储卡等。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

获取查询计划；

确定所述查询计划中包含的数据源信息；

根据所述数据源信息，对所述查询计划执行转义操作；

根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

2.如权利要求1所述的方法，其特征在于，在确定所述查询计划中包含的数据源信息之前，还包括：

获取以结构化查询语言SQL描述的查询语句；

解析出所述查询语句中包含的数据源信息和查询条件；

根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划；

其中，所述查询条件包括：关键词、索引信息、查询范围、查询操作和查询结果的数量。

3.如权利要求2所述的方法，其特征在于，根据转义后的所述查询计划，在所述数据源信息对应的数据源中查询数据，包括：

根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，

根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

4.如权利要求2所述的方法，其特征在于，根据所述数据源信息，对所述查询计划执行转义操作，包括：

确定所述数据源信息对应的数据源；

通过Spark SQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。

6.一种数据查询装置，其特征在于，包括：

获取模块，用于获取查询计划；

确定模块，用于确定所述查询计划中包含的数据源信息；

转义模块，用于根据所述数据源信息，对所述查询计划执行转义操作；

查询模块，用于根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。

7.如权利要求6所述的装置，其特征在于，所述获取模块，还用于：

在确定所述查询计划中包含的数据源信息之前，获取以结构化查询语言SQL描述的查询语句；

解析出所述查询语句中包含的数据源信息和查询条件；

根据所述数据源信息和所述查询条件，生成以SQL语言描述的查询计划；

其中，所述查询条件包括：关键词、索引信息、查询范围、查询操作和查询结果的数量。

8.如权利要求7所述的装置，其特征在于，所述查询模块，进一步用于：

根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量，从所述数据源信息对应的数据源中查询数据；和/或，

根据转义后的所述查询计划中包含的查询操作，使所述数据源信息对应的数据源执行所述查询操作，以便查询数据。

9.如权利要求7所述的装置，其特征在于，所述转义模块，进一步用于：

确定所述数据源信息对应的数据源；

通过Spark SQL接口，将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。

10.如权利要求6-9中任一项所述的装置，其特征在于，所述数据源包括：Hive数据库、HBase数据库和/或ElasticSearch数据库。