CN108536853A - 一种基于查询资源与精确度的自动路由数据库查询系统及方法 - Google Patents

Abstract

本发明提供了一种基于查询资源与精确度的自动路由数据库查询系统，包括SQL标准化查询引擎模块、统一的查询入口模块、查询结果缓存模块和跨结构的数据传输模块，所述SQL标准化查询引擎模块包括用于提供基础数据的HIVE、用于提供对象获取和高速对象服务的HBase、用于提供数据建模和模型服务的MySQL、用于提供Cube的ElasticSearch、用于提供配置表和Meta信息的MongoDB；所述查询结果缓存模块用于统一的查询入口模块的数据缓存；所述SQL标准化查询引擎模块分别与所述统一的查询入口模块和跨结构的数据传输模块相连，本发明通过对数据获取的类型进行引擎分割和适度使用，并将实际数据引擎向实际用户隐匿，为用户提供实际，有效，无差异化的数据服务。

Description

一种基于查询资源与精确度的自动路由数据库查询系统及 方法

技术领域

本发明涉及数据库查询领域，具体涉及到一种基于查询资源与精确度的自动路由数据库查询系统及方法。

背景技术

企业在数据管理的过程中，往往会应用多种类型的数据库系统，包括且不限于：

1)基于数据仓库的管理系统-HIVE；

2)基于查询的实时大数据查询系统-Presto；

3)基于关系型数据库的查询系统-MySQL或PostgreSQL；

4)基于搜索引擎的查询系统-ElasticSearch；

5)基于文档的查询系统-MongoDB；

6)基于大规模KV数据的-HBase；

在实际应用的过程中，经常遇到的问题主要是：

1)查询语言不相同，导致技术人员在获取数据的过程中，负担过重，必须要学习过多的知识以应对不同的数据查询类型和方法；

2)选择数据引擎时，因每个引擎都有其自身的优缺点，对一般工程而言，选择其中之一作为实际的查询会变得相当困难；

3)数据管理方为了实现大量现实功能可能会选择多个数据引擎，不但会造成成本的增加，而且一旦选择了错误的引擎，使用时将对查询造成时间和空间上极大地损失。在数据管理中，为了实现大量功能造成的数据引擎选择困难、易出错，并且因多个引擎的选择使得技术人员负担过重，必须学习多种不同的数据查询类型和方法。

发明内容

为了解决上述不足的缺陷，本发明提供了一种基于查询资源与精确度的自动路由数据库查询系统及方法，本发明通过对数据获取的类型进行引擎分割和适度使用，并将实际数据引擎向实际用户隐匿，为用户提供实际，有效，无差异化的数据服务。

本发明提供了一种基于查询资源与精确度的自动路由数据库查询系统，包括SQL标准化查询引擎模块、统一的查询入口模块、查询结果缓存模块和跨结构的数据传输模块，所述SQL标准化查询引擎模块包括用于提供基础数据的HIVE、用于提供对象获取和高速对象服务的HBase、用于提供数据建模和模型服务的MySQL、用于提供Cube的ElasticSearch、用于提供配置表和Meta信息的MongoDB；所述查询结果缓存模块用于统一的查询入口模块的数据缓存；所述SQL标准化查询引擎模块分别与所述统一的查询入口模块和跨结构的数据传输模块相连。

上述的查询系统，其中，所述统一的查询入口模块将根据用户的目的介入指定的数据引擎查询，并形成两种结果，包括即席查询和离线查询。

上述的查询系统，其中，所述即席查询包括SQL查询的前100条记录，其可以供在线系统使用。

上述的查询系统，其中，所述离线查询将返回一个票据供系统后续使用，查询结果将以文件的形式提供给用户用以下载及后续处理。

上述的查询系统，其中，针对离线查询，将查询结果缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载。

同时在另一种实施例中，本发明还提供了一种基于查询资源与精确度的自动路由数据库查询方法，包括以下步骤：

步骤(1)：选择数据引擎；

步骤(2)：根据上述的数据引擎，建立查询资源与精确度的查询方法。

上述的查询方法，其中，所述步骤(1)具体包括：

步骤(1.1)基础数据，由HIVE支持；

步骤(1.2)对象获取和高速对象服务，由HBase支持；

步骤(1.3)数据建模和模型服务，由MySQL支持；

步骤(1.4)Cube，由ElasticSearch支持；

步骤(1.5)配置表和Meta信息，由MongoDB支持。

上述的查询方法，其中，所述步骤(2)具体包括：

步骤(2.1)：根据用户的目的介入指定的数据引擎查询，并形成两种结果；

步骤(2.2)：将查询结果进行缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载。

本发明具有以下有益效果：1、通过对数据获取的类型进行引擎分割和适度使用，并将实际数据引擎向实际用户隐匿，为用户提供实际，有效，无差异化的数据服务；2、可以降低技术人员的负担，减少技术人员因查询语言的不同需要学习的多种数据查询方法；3、提供选择的数据引擎的组合，降低选择的困难度；4、避免选择错误的数据引擎，极大的降低因查询造成的时间和空间的成本。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。

图1为本发明提供的流程示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

参照图1所示，本发明提供了一种基于查询资源与精确度的自动路由数据库查询系统，包括SQL标准化查询引擎模块、统一的查询入口模块、查询结果缓存模块和跨结构的数据传输模块，所述SQL标准化查询引擎模块包括用于提供基础数据的HIVE、用于提供对象获取和高速对象服务的HBase、用于提供数据建模和模型服务的MySQL、用于提供Cube的ElasticSearch、用于提供配置表和Meta信息的MongoDB；所述查询结果缓存模块用于统一的查询入口模块的数据缓存；所述SQL标准化查询引擎模块分别与所述统一的查询入口模块和跨结构的数据传输模块相连。

本发明通过对数据获取的类型进行引擎分割和适度使用，并将实际数据引擎向实际用户隐匿，为用户提供实际，有效，无差异化的数据服务，解决了目前为了实现大量功能造成的数据引擎选择困难、易出错，并且因多个引擎的选择使得技术人员负担过重，必须学习多种不同的数据查询类型和方法。

在本发明一优选但非限制的实施例中，在上述数据引擎中，其不完全支持Structured Query Language，故本方法先通过插件形式支持以上引擎使用SQL查询。

在本发明一优选但非限制的实施例中，用户在使用的过程中一般都是有目的的查询，所以路由系统将根据用户的目的介入指定的数据引擎查询，并形成两种结果：

1)即席查询。包括SQL查询的前100条记录，其可以供在线系统使用，在此，因为网络传输的原因，在线系统通常需要的数据量无需也无法超过限定范畴。

2)离线查询。系统将返回一个票据供系统后续使用，查询结果将以文件的形式提供给用户用以下载及后续处理。

在本发明一优选但非限制的实施例中，针对离线查询，将查询结果缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载，由于不同系统间提供服务类型不同，路由系统提供数据内部迁移的功能。

同时本发明还提供了一种基于查询资源与精确度的自动路由数据库查询方法，包括以下步骤：

步骤(1)：选择数据引擎；

步骤(2)：根据上述的数据引擎，建立查询资源与精确度的查询方法。

在本发明一优选但非限制的实施例中，步骤(1)具体包括：

步骤(1.1)基础数据，由HIVE支持；

步骤(1.2)对象获取和高速对象服务，由HBase支持；

步骤(1.3)数据建模和模型服务，由MySQL支持；

步骤(1.4)Cube，由ElasticSearch支持；

步骤(1.5)配置表和Meta信息，由MongoDB支持。

在本发明一优选但非限制的实施例中，步骤(2)具体包括：

步骤(2.1)：根据用户的目的介入指定的数据引擎查询，并形成两种结果，具体包括1)即席查询。包括SQL查询的前100条记录，其可以供在线系统使用，在此，因为网络传输的原因，在线系统通常需要的数据量无需也无法超过限定范畴。2)离线查询。系统将返回一个票据供系统后续使用，查询结果将以文件的形式提供给用户用以下载及后续处理；

步骤(2.2)：将查询结果进行缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载，其中，针对离线查询，将查询结果缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载，以及由于不同系统间提供服务类型不同，路由系统提供数据内部迁移的功能。

在本发明中，可以降低技术人员负担，减少技术人员因查询语言的不同需要学习的多种数据查询方法，并提供选择的数据引擎的组合，降低选择的困难度，以及避免选择错误的数据引擎，极大的降低因查询造成的时间和空间的成本。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种基于查询资源与精确度的自动路由数据库查询系统，其特征在于，包括SQL标准化查询引擎模块、统一的查询入口模块、查询结果缓存模块和跨结构的数据传输模块，所述SQL标准化查询引擎模块包括用于提供基础数据的HIVE、用于提供对象获取和高速对象服务的HBase、用于提供数据建模和模型服务的MySQL、用于提供Cube的ElasticSearch、用于提供配置表和Meta信息的MongoDB；所述查询结果缓存模块用于统一的查询入口模块的数据缓存；所述SQL标准化查询引擎模块分别与所述统一的查询入口模块和跨结构的数据传输模块相连。

2.如权利要求1所述的一种基于查询资源与精确度的自动路由数据库查询系统，其特征在于，所述统一的查询入口模块将根据用户的目的介入指定的数据引擎查询，并形成两种结果，包括即席查询和离线查询。

3.如权利要求2所述的一种基于查询资源与精确度的自动路由数据库查询系统，其特征在于，所述即席查询包括SQL查询的前100条记录，其可以供在线系统使用。

4.如权利要求3所述的一种基于查询资源与精确度的自动路由数据库查询系统，其特征在于，所述离线查询将返回一个票据供系统后续使用，查询结果将以文件的形式提供给用户用以下载及后续处理。

5.如权利要求4所述的一种基于查询资源与精确度的自动路由数据库查询系统，其特征在于，针对离线查询，将查询结果缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载。

6.一种基于查询资源与精确度的自动路由数据库查询方法，其特征在于，包括以下步骤：

步骤(1)：选择数据引擎；

步骤(2)：根据上述的数据引擎，建立查询资源与精确度的查询方法。

7.如权利要求6所述的一种基于查询资源与精确度的自动路由数据库查询方法，其特征在于，所述步骤(1)具体包括：

步骤(1.1)基础数据，由HIVE支持；

步骤(1.2)对象获取和高速对象服务，由HBase支持；

步骤(1.3)数据建模和模型服务，由MySQL支持；

步骤(1.4)Cube，由ElasticSearch支持；

步骤(1.5)配置表和Meta信息，由MongoDB支持。

8.如权利要求7所述的一种基于查询资源与精确度的自动路由数据库查询方法，其特征在于，所述步骤(2)具体包括：

步骤(2.1)：根据用户的目的介入指定的数据引擎查询，并形成两种结果；

步骤(2.2)：将查询结果进行缓存，若遇到一定范围内同样的查询，查询将并不直接执行而直接从缓存中下载。