CN105677681A - 基于多个数据库的数据查询方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于多个数据库的数据查询方法及装置，该方法包括：解析用户发送的SQL语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据；对用户进行鉴权；若用户通过鉴权，确定每个关键表所在的数据库；分别从每个关键表所在的数据库中获取SQL语句请求的数据；合并获取的数据后发送给用户。可见，用户只需要提供用于查询数据的SQL语句，该方法就可以直接根据该SQL语句从多个数据库中查询用户需要的数据，无需用户依次从各个数据库中进行获取，相对于现有技术中用户需要多次请求才能够获取到需要的数据的方式，简化了用户操作步骤，提高了查询数据的效率。

Description

基于多个数据库的数据查询方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多个数据库的数据查询方法及装置。

背景技术

大数据(BigData)是指无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合，可以包括多个数据库，例如Hadoop、内存数据库、关系数据库等等。目前，一般采用数据共享平台或者数据开放平台对外开放超文本传送协议(Hypertexttransferprotocol，HTTP)应用程序编程接口(ApplicationProgrammingInterface，API)，从而实现用户查询多个数据库中的数据。

通常，每个API接口都对应特定参数，API接口接收到用户的请求后，根据该请求中携带的特定参数进行数据查询，将查询到的数据返回给用户，由于一个API只能提供一部分特定需求，若用户需要的数据存在于多个数据库中，就需要组合众多API接口联合实现数据查询。例如，公司的人力资源主管要查询某个员工的个人信息，个人信息包括工作简历、发表论文等等，若工作简历、发表论文等等信息保存在不同的数据库中，那么该人力资源主管只能分别通过这些数据库对应的API接口才能获取到该员工的个人信息。可见，若用户需要的数据存在于多个数据库中，用户需要多次请求才能够获取到需要的数据，用户的操作步骤非常繁琐，查询数据的效率也非常低。

发明内容

本发明实施例提供一种基于多个数据库的数据查询，用以解决现有技术中存在的用户的操作步骤非常繁琐，查询数据的效率也非常低的问题。

根据本发明实施例例，提供一种基于多个数据库的数据查询方法，包括：

解析用户发送的结构化查询语言SQL语句，得到所述SQL语句中包括的关键表，所述SQL语句用于请求从所述多个数据库中查询所述用户需要的数据；

对所述用户进行鉴权；

若所述用户通过鉴权，确定每个所述关键表所在的数据库；

分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据；

合并获取的数据后发送给所述用户。

具体的，解析用户发送的SQL语句，得到所述SQL语句中包括的关键表，具体包括：

提取所述SQL语句中包括的关键字；

判断所述关键字的拼写以及所述关键字之间的逻辑关系是否正确；

若所述关键字的拼写以及所述关键字之间的逻辑关系正确，则根据所述关键字和对应的关键元素建立所述SQL语句对应的语法树，获取所述语法树中的关键表。

可选的，所述方法还包括：

按照SQL语句的标准格式调整所述SQL语句；

将调整后的所述SQL语句发送给所述用户。

具体的，对所述用户进行鉴权，具体包括：

获取用户与关键表的对应关系，若所述对应关系中对应保存有所述用户和每个所述关键表，则确定所述用户通过鉴权；或者，

获取预先设置的白名单，若所述白名单中保存有所述用户，则确定所述用户通过鉴权。

具体的，确定每个所述关键表所在的数据库，具体包括：

获取预先保存的关键表描述信息；

从所述关键表描述信息中获取每个所述关键表所在的数据库；

分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据，具体包括：

确定每个所述关键表所在的数据库的类型；

将所述SQL语句翻译成每个所述关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取所述SQL语句请求的数据。

具体的，合并获取的数据后发送给所述用户，具体包括：

缓存获取的所述SQL语句请求的数据；

采用流计算方式合并缓存的数据；

将合并后的数据发送给所述用户。

根据本发明实施例，还提供一种基于多个数据库的数据查询装置，包括：

解析单元，用于解析用户发送的结构化查询语言SQL语句，得到所述SQL语句中包括的关键表，所述SQL语句用于请求从所述多个数据库中查询所述用户需要的数据；

鉴权单元，用于对所述用户进行鉴权；

确定单元，用于若所述用户通过鉴权，确定每个所述关键表所在的数据库；

获取单元，用于分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据；

发送单元，用于合并获取的数据后发送给所述用户。

具体的，所述解析单元，具体用于：

提取所述SQL语句中包括的关键字；

判断所述关键字的拼写以及所述关键字之间的逻辑关系是否正确；

若所述关键字的拼写以及所述关键字之间的逻辑关系正确，则根据所述关键字和对应的关键元素建立所述SQL语句对应的语法树，获取所述语法树中的关键表。

具体的，所述鉴权单元，具体用于：

获取用户与关键表的对应关系，若所述对应关系中对应保存有所述用户和每个所述关键表，则确定所述用户通过鉴权；或者，

获取预先设置的白名单，若所述白名单中保存有所述用户，则确定所述用户通过鉴权。

具体的，所述确定单元，具体用于：

获取预先保存的关键表描述信息；

从所述关键表描述信息中获取每个所述关键表所在的数据库；

所述获取单元，具体用于：

确定每个所述关键表所在的数据库的类型；

将所述SQL语句翻译成每个所述关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取所述SQL语句请求的数据。

本发明有益效果如下：

本发明实施例提供的基于多个数据库的数据查询方法及装置，通过解析用户发送的SQL语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据；对用户进行鉴权；若用户通过鉴权，确定每个关键表所在的数据库；分别从每个关键表所在的数据库中获取SQL语句请求的数据；合并获取的数据后发送给用户。可见，用户只需要提供用于查询数据的SQL语句，该方法就可以直接根据该SQL语句从多个数据库中查询用户需要的数据，无需用户依次从各个数据库中进行获取，相对于现有技术中用户需要多次请求才能够获取到需要的数据的方式，简化了用户操作步骤，提高了查询数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于多个数据库的数据查询方法的流程示意图；

图2为本发明实施例一种得到SQL语句中包括的关键表的方法流程图；

图3为本发明实施例一种基于多个数据库的数据查询装置的结构示意图；

图4为本发明实施例另一种基于多个数据库的数据查询装置的结构示意图。

具体实施方式

针对现有技术中存在的用户的操作步骤非常繁琐，查询数据的效率也非常低的问题，本发明实施例提供一种基于多个数据库的数据查询方法，该方法的执行主体可以是服务器，流程如图1所示，执行步骤如下：

S11：解析用户发送的结构化查询语言(StructuredQueryLanguage，SQL)语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据。

若用户需要从多个数据库中查询需要的数据，可以首先构建SQL语句，SQL语句有固定的格式，包括多个预先设定好的关键字，用户可以在每个关键字后填写关键元素从而在多个数据库中查询需要的信息，关键元素可以包括关键表、字段、过滤条件等等。

SQL语句可以是单一的SQL语句，也可以是嵌套式的SQL语句，下面对这两种SQL语句的格式分别进行说明。

单一的SQL语句可以为：

Selecta，b，c，d

Fromt1，t2，t3

Wheret1.id＝t3.id；

其中，t1，t2，t3为关键表；a，b，c，d为关键表中包括的字段；t1.id＝t3.id是过滤条件，From、Select、Where为关键字，关键字后面的信息可以称为关键元素。

嵌套式的SQL语句可以为：

Selecta,b,c,d

Fromt1,(selectid,a,b,c,dfromt2)t3

Wheret1.id＝t3.id

其中，selectid,a,b,c,dfromt2是被嵌套的SQL。

用户将构建好的SQL语句发送给服务器以查询需要的信息，无论是单一的SQL语句，还是嵌套式的SQL语句，服务器接收到该SQL语句后，可以通用SQL解析器(GeneralSQLParser)来解析该SQL语句。具体为，首先获取该SQL语句中包括的关键表，以便于后续确定从哪个数据库中获取数据，关键表的个数可以为多个。

S12：对用户进行鉴权，若用户通过鉴权，执行S13；若用户未通过鉴权，执行S16。

为了确保数据的安全性，还需要对用户进行鉴权，确定该用户是否有权限查询数据。

S13：确定每个关键表所在的数据库。

一旦确定用户通过鉴权，说明该用户有权限查询数据，就可以为用户查询需要的信息，首先可以确定每个关键表所在的数据库。

S14：分别从每个关键表所在的数据库中获取SQL语句请求的数据。

然后从S13确定的数据库中获取该SQL语句请求的数据。

继续沿用上例，若t1位于数据库T1中，t2位于数据库T2中，t3位于数据库T3中，就可以分别从T1、T2、T3中获取SQL语句请求的数据。

S15：合并获取的数据后发送给用户。

由于SQL语句请求的数据存在于多个数据库中，还需要将这些数据进行合并，然后发送给用户。

S16：向用户返回鉴权失败信息。

一旦确定用户未通过鉴权，说明用户没有权限查询数据，可以向用户返回鉴权失败信息，提示用户没有查询该数据的权限。

该方案中，解析用户发送的SQL语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据；对用户进行鉴权；若用户通过鉴权，确定每个关键表所在的数据库；分别从每个关键表所在的数据库中获取SQL语句请求的数据；合并获取的数据后发送给用户。可见，用户只需要提供用于查询数据的SQL语句，该方法就可以直接根据该SQL语句从多个数据库中查询用户需要的数据，无需用户依次从各个数据库中进行获取，相对于现有技术中用户需要多次请求才能够获取到需要的数据的方式，简化了用户操作步骤，提高了查询数据的效率。

具体的，如图2所示，上述S11中的解析用户发送的SQL语句，得到SQL语句中包括的关键表，具体包括：

S21：提取SQL语句中包括的关键字。

S22：判断关键字的拼写以及关键字之间的逻辑关系是否正确，若关键字的拼写以及关键字之间的逻辑关系正确，则执行S23；否则，执行S24。

一个SQL语句中会包括多个关键字，这些关键字之间也有一定的逻辑关系，只有关键字的拼写和关键字之间的逻辑关系正确时，才能保证准确地从多个数据库中获取用户查询的信息，因此，在解析用户发送的SQl语句时，需要判断SQL语句中包括的关键字的拼写以及关键字之前的逻辑关系是否正确。

S23：根据关键字和对应的关键元素建立SQL语句对应的语法树，获取语法树中的关键表。

若SQL语句中包括的关键字以及关键字之间的逻辑关系正确，则可以根据关键字和SQL语句中该关键字对应的关键元素建立SQL语句对应的语法树，然后从语法树中获取关键表。

如果用户发送的SQL语句中关键字的拼写以及关键字之间的逻辑关系正确，但是不符合SQK语句的标准格式，例如关键字与关键元素之间有多个空格等等，可以按照SQL语句的标准格式调整SQL语句，将调整后的SQL语句发送给用户，以便于用户后续可以按照该标准格式发送SQL语句，从而可以节省格式整理的时间。

S24：向用户返回SQL语句错误提示信息。

若SQL语句中包括的关键字以及关键字之间的逻辑关系不正确，则无法根据该SQL语句建立语法树，可以向用户返回SQL语句错误提示信息，提示用户重新发送正确的SQL语句。

这里列举了通过建立语法树来获取SQL语句中的关键表，当然还有很多实现方式，不再一一说明。

具体的，上述S12中的对用户进行鉴权，可以但不限于包括以下两种方式：

第一种方式，获取用户与关键表的对应关系，若对应关系中对应保存有用户和每个关键表，则确定用户通过鉴权。

可以预先建立用户与关键表的对应关系，该对应关系中保存每个用户可以使用的关键表，当得到用户发送的SQL语句中包括的关键表后，就可以在该对应关系中查询是否保存用户与每个关键表的对应关系，若保存，说明该用户具有查询该关键表的权限，则用户通过鉴权；否则，说明该用户不具有查询该关键表的权限，则用户没有通过鉴权。

第二种方式，获取预先设置的白名单，若白名单中保存有用户，则确定用户通过鉴权。

还可以通过设置白名单的方式来记录具有权限的用户，白名单可以分为账户级白名单、表级白名单、字段级白名单等等，还可以将用户查询数据的时间记录在日志信息，若需要对用户发送的SQL语句的次数进行控制，可以依据该日志信息，从而有效防止恶意暴力请求。

具体的，上述S13中的确定每个关键表所在的数据库，具体包括：

获取预先保存的关键表描述信息；

从关键表描述信息中获取每个关键表所在的数据库。

可以预先在关键表描述信息中记录每个关键表所在的数据库，当需要确定每个关键表所在的数据库时，就可从关键表描述信息中获取用户发送的SQL语句中包括的每个关键表所在的数据库，从而高效地确定关键表所在的数据库，提高数据查询效率。

具体的，上述S14中的分别从每个关键表所在的数据库中获取SQL语句请求的数据，具体包括：

确定每个关键表所在的数据库的类型；

将SQL语句翻译成每个关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取SQL语句请求的数据。

目前，数据库有很多类型，例如Hadoop、Nosql、Phoenix等等，每种类型的数据库使用的标准语句有所不同，因此需要首先确定每个关键表所在数据库的类型，将该SQL语句翻译成该数据库对应的标准语句，然后从该数据库中获取该SQL语句请求的数据。

例如，若一个关键表位于Hbase分布式Nosql数据库，则需要将SQL转换成HBase的API以及相应的查询参数；若一个关键表位于Phoenix，则需要将SQL转换成Phoneix的HSQL语句；若一个关键表位于其他关系数据库，则需要转将SQL语句转换成该数据库可执行的SQL语句。

具体的，上述S15中合并获取的数据后发送给用户，具体包括：

缓存获取的SQL语句请求的数据；

采用流计算方式合并缓存的数据；

将合并后的数据发送给用户。

当获取的数据来自于不同的数据库时，需要对数据进行合并再返给用户。具体实现过程为，首先缓存获取的数据，然后采用流计算的方式进行合并，从而以最小的内存实现最高效率的合并计算，并且可以根据返回行数的限制控制流计算的开始和结束。

基于同一发明构思，本发明实施例提供一种基于多个数据库的数据查询装置，该装置可以设置在服务器中，结构如图3所示，包括：

解析单元31，用于解析用户发送的SQL语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据；

鉴权单元32，用于对用户进行鉴权；

确定单元33，用于若用户通过鉴权，确定每个关键表所在的数据库；

获取单元34，用于分别从每个关键表所在的数据库中获取SQL语句请求的数据；

发送单元35，用于合并获取的数据后发送给用户。

该方案中，解析用户发送的SQL语句，得到SQL语句中包括的关键表，SQL语句用于请求从多个数据库中查询用户需要的数据；对用户进行鉴权；若用户通过鉴权，确定每个关键表所在的数据库；分别从每个关键表所在的数据库中获取SQL语句请求的数据；合并获取的数据后发送给用户。可见，用户只需要提供用于查询数据的SQL语句，该方法就可以直接根据该SQL语句从多个数据库中查询用户需要的数据，无需用户依次从各个数据库中进行获取，相对于现有技术中用户需要多次请求才能够获取到需要的数据的方式，简化了用户操作步骤，提高了查询数据的效率。

具体的，解析单元31，具体用于：

提取SQL语句中包括的关键字；

判断关键字的拼写以及关键字之间的逻辑关系是否正确；

若关键字的拼写以及关键字之间的逻辑关系正确，则根据关键字和对应的关键元素建立SQL语句对应的语法树，获取语法树中的关键表。

如图4所示提供另一种基于多个数据库的数据查询装置，该装置在如图3所示的装置的基础上还包括调整装置36。

调整单元36，用于按照SQL语句的标准格式调整SQL语句；

发送单元35，还用于将调整后的SQL语句发送给用户。

具体的，鉴权单元32，具体用于：

获取用户与关键表的对应关系，若对应关系中对应保存有用户和每个关键表，则确定用户通过鉴权；或者，

获取预先设置的白名单，若白名单中保存有用户，则确定用户通过鉴权。

具体的，确定单元33，具体用于：

获取预先保存的关键表描述信息；

从关键表描述信息中获取每个关键表所在的数据库。

具体的，获取单元34，具体用于：

确定每个关键表所在的数据库的类型；

将SQL语句翻译成每个关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取SQL语句请求的数据。

具体的，发送单元35，具体用于：

缓存获取的SQL语句请求的数据；

采用流计算方式合并缓存的数据；

将合并后的数据发送给用户。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多个数据库的数据查询方法，其特征在于，包括：

解析用户发送的结构化查询语言SQL语句，得到所述SQL语句中包括的关键表，所述SQL语句用于请求从所述多个数据库中查询所述用户需要的数据；

对所述用户进行鉴权；

若所述用户通过鉴权，确定每个所述关键表所在的数据库；

分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据；

合并获取的数据后发送给所述用户。

2.如权利要求1所述的方法，其特征在于，解析用户发送的SQL语句，得到所述SQL语句中包括的关键表，具体包括：

提取所述SQL语句中包括的关键字；

判断所述关键字的拼写以及所述关键字之间的逻辑关系是否正确；

若所述关键字的拼写以及所述关键字之间的逻辑关系正确，则根据所述关键字和对应的关键元素建立所述SQL语句对应的语法树，获取所述语法树中的关键表。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

按照SQL语句的标准格式调整所述SQL语句；

将调整后的所述SQL语句发送给所述用户。

4.如权利要求1所述的方法，其特征在于，对所述用户进行鉴权，具体包括：

获取用户与关键表的对应关系，若所述对应关系中对应保存有所述用户和每个所述关键表，则确定所述用户通过鉴权；或者，

获取预先设置的白名单，若所述白名单中保存有所述用户，则确定所述用户通过鉴权。

5.如权利要求1所述的方法，其特征在于，确定每个所述关键表所在的数据库，具体包括：

获取预先保存的关键表描述信息；

从所述关键表描述信息中获取每个所述关键表所在的数据库；

分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据，具体包括：

确定每个所述关键表所在的数据库的类型；

将所述SQL语句翻译成每个所述关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取所述SQL语句请求的数据。

6.如权利要求1-5任一所述的方法，其特征在于，合并获取的数据后发送给所述用户，具体包括：

缓存获取的所述SQL语句请求的数据；

采用流计算方式合并缓存的数据；

将合并后的数据发送给所述用户。

7.一种基于多个数据库的数据查询装置，其特征在于，包括：

解析单元，用于解析用户发送的结构化查询语言SQL语句，得到所述SQL语句中包括的关键表，所述SQL语句用于请求从所述多个数据库中查询所述用户需要的数据；

鉴权单元，用于对所述用户进行鉴权；

确定单元，用于若所述用户通过鉴权，确定每个所述关键表所在的数据库；

获取单元，用于分别从每个所述关键表所在的数据库中获取所述SQL语句请求的数据；

发送单元，用于合并获取的数据后发送给所述用户。

8.如权利要求7所述的装置，其特征在于，所述解析单元，具体用于：

提取所述SQL语句中包括的关键字；

判断所述关键字的拼写以及所述关键字之间的逻辑关系是否正确；

若所述关键字的拼写以及所述关键字之间的逻辑关系正确，则根据所述关键字和对应的关键元素建立所述SQL语句对应的语法树，获取所述语法树中的关键表。

9.如权利要求7所述的装置，其特征在于，所述鉴权单元，具体用于：

获取用户与关键表的对应关系，若所述对应关系中对应保存有所述用户和每个所述关键表，则确定所述用户通过鉴权；或者，

获取预先设置的白名单，若所述白名单中保存有所述用户，则确定所述用户通过鉴权。

10.如权利要求7-9任一所述的装置，其特征在于，所述确定单元，具体用于：

获取预先保存的关键表描述信息；

从所述关键表描述信息中获取每个所述关键表所在的数据库；

所述获取单元，具体用于：

确定每个所述关键表所在的数据库的类型；

将所述SQL语句翻译成每个所述关键表所在的数据库的类型对应的标准语句；

使用翻译后的标准语句分别从对应的数据库中获取所述SQL语句请求的数据。