CN108132987A - 一种数据查询系统及方法 - Google Patents

Abstract

本发明公开了一种数据查询系统及方法，系统包括：关系数据引擎和数据仓库；关系数据引擎包括：数据查询模块和接口配置模块，以及将数据查询模块和接口配置模块关联起来的元数据表。本发明的有益效果是：实现接口配置与数据查询业务逻辑的分离，项目结构更加清晰，角色分配明了，实现查询接口的配置界面化配置，配置的接口立即生效，无需重启无需重新编程，提升用户体验，提高使用效率。

Description

一种数据查询系统及方法

技术领域

本发明涉及数据查询领域，特别涉及一种数据查询系统及方法。

背景技术

现有技术中，基于Servlet的接口配置与查询方案的特点：

1、代码需要根据接口配置需求的更改而修改。每次添加新的接口配置需求，都需要对接口的查询逻辑进行重新开发：包括添加html/jsp视图、添加servlet转发新的请求、添加service层逻辑对数据进行业务逻辑处理，最后添加dao层逻辑，访问数据库。

2、每次更新接口查询请求需要停止当前服务，添加相关代码逻辑，等待逻辑添加完成，系统重新上线。

3、利用配置好的接口进行数据查询的时候，需要现场配置接口，参照接口配置文档，将所需要的参数逐一传递进去。

针对上述技术方案，现有技术的缺点：

1、在系统上线后，代码需要根据业务逻辑的变化而实时修改，不仅增加了运维的工作量，也使得服务具有不连贯性，影响用户体验与实际的业务需求。

2、接口配置的完成后需要根据接口开发的情况，需要开发人员出具相关的使用文档。不仅给开发人员增加了相应的任务负担，而且使用人员在参照文档操作的过程也可能因人而异地出现各种偏差，导致数据访问失败。运维人员的任务并没有因此减少，同时用户体验也极差。

3、对数据库种类的支持有限，而且每次配置新的数据库都需要暂停服务，重启系统。

发明内容

本发明提供了一种数据查询系统及方法，解决了现有技术中代码需要根据业务逻辑的变化而实时修改而导致的运维的工作量巨大和更新接口查询请求需要停止当前服务而导致的用户体验差的技术问题。

本发明解决上述技术问题的技术方案如下：

一种数据查询系统，包括：关系数据引擎和数据仓库；所述关系数据引擎包括：数据查询模块和接口配置模块，以及将所述数据查询模块和所述接口配置模块关联起来的元数据表；

所述接口配置模块用于接收用户通过终端发送的接口配置请求，根据所述接口配置请求进行用户身份验证和用户权限验证，验证成功后，对所述接口配置请求中的接口进行配置，得到配置好的接口，通过访问所述数据仓库对所述配置好的接口进行接口验证，验证成功后，对所述配置好的接口进行生成和发布，得到接口文档，将所述接口文档和对应的UID保存至所述元数据表，所述接口文档包括：所述配置好的接口的URL和接口参数，将所述URL和所述UID返回给所述终端；

所述数据查询模块用于接收用户通过所述终端发送的查询请求，根据所述查询请求中的所述UID访问所述元数据表，得到所述URL对应的接口参数，根据所述URL和所述接口参数访问所述数据仓库，得到查询结果，将所述查询结果返回给所述终端。

本发明的有益效果是：实现接口配置与数据查询业务逻辑的分离，项目结构更加清晰，角色分配明了，实现查询接口的配置界面化配置，配置的接口立即生效，无需重启无需重新编程，提升用户体验，提高使用效率。

在上述技术方案的基础上，本发明还可以做如下改进。

所述接口配置模块用于：

在用户身份验证和用户权限验证成功后进行数据源配置，对所述接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，所述新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。

优选地，所述关系数据引擎采用SpringBoot集成Mybatis框架。

优选地，所述数据仓库的类型包括：MySQL、Oracle、PostGreSQL、SQLServer、SQLite、Drill、Presto、Hive、HBase Phoniex和impala。

上述技术方案的有益效果是：根据数据查询的应用场景，用户需要的是操作简单易用的、7×24不间断运行的、配置完成的接口立即生效的、业务逻辑清晰层次分明的接口配置与数据查询工程。基于上述用户需求，着手改进了原来基于Servlet的接口配置与查询方案。本技术方案的优点：

1、针对原有系统在接口配置过程中，需要暂停服务并添加代码的缺点，使用了SpringBoot+Mybatis实现了接口“热配置”，接口的配置可以在服务不间断的情况下进行，并且配置好的接口立即生效，不需要重新修改代码，减少了运维人员的工作量，增强用户体验。

2、针对原有系统数据查询需要对照文档操作并且需要查询人员一定的技术能力的缺点，关系数据引擎实现了从接口配置到接口文档发布全过程界面化操作与流水线作业，文档自动生成。文档中包括数据查询的url以及参数，不需要再进行人为的拼接，减少了开发维护人员书写使用文档的工作量，同时减少了用户在使用接口时的门槛，减少了接口使用过程中的人为因素的错误。

3、针对原有系统接口配置与查询的业务逻辑糅合在一起的情况，关系数据引擎实现了接口配置和数据查询业务逻辑的分离，两个工程可以单独部署，数据查询工程可以根据业务量的大小进行多节点部署，并实现负载均衡，提高系统可靠性。接口配置工程可以实现接口集中配置与管理。关系数据引擎的业务逻辑层次更加分明。

4、针对用户需要将多种数据库集中使用从而减少用户使用成本的需求，关系数据引擎广泛支持多种数据库，从传统关系数据库MySQL、Oracle、PostGreSQL、SQLServer、SQLite、Drill、Presto到大数据生态圈的Hive、HBase Phoniex、impala。能够满足各种业务应用场景的需求。

一种数据查询方法，包括：

S1、接收用户通过终端发送的接口配置请求；

S2、根据所述接口配置请求进行用户身份验证和用户权限验证，验证成功后，对所述接口配置请求中的接口进行配置，得到配置好的接口；

S3、通过访问所述数据仓库对所述配置好的接口进行接口验证，验证成功后，对所述配置好的接口进行生成和发布，得到接口文档；

S4、将所述接口文档和对应的UID保存至元数据表，所述接口文档包括：所述配置好的接口的URL和接口参数，将所述URL和所述UID返回给所述终端；

S5、接收用户通过所述终端发送的查询请求；

S6、根据所述查询请求中的所述UID访问所述元数据表，得到所述URL对应的接口参数；

S7、根据所述URL和所述接口参数访问所述数据仓库，得到查询结果，将所述查询结果返回给所述终端。

优选地，所述步骤S2中，对所述接口配置请求中的接口进行配置，得到配置好的接口，具体包括：

进行数据源配置，对所述接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，所述新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。

附图说明

图1为本发明实施例提供的一种数据查询系统的结构示意图；

图2为本发明另一实施例提供的关系数据引擎流程图；

图3为本发明另一实施例提供的关系数据引擎部署架构图；

图4为本发明另一实施例提供的一种数据查询方法的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种数据查询系统，包括：关系数据引擎1和数据仓库2；关系数据引擎1包括：数据查询模块11和接口配置模块12，以及将数据查询模块11和接口配置模块12关联起来的元数据表13；

接口配置模块12用于接收用户通过终端发送的接口配置请求，根据接口配置请求进行用户身份验证和用户权限验证，验证成功后，对接口配置请求中的接口进行配置，得到配置好的接口，通过访问数据仓库2对配置好的接口进行接口验证，验证成功后，对配置好的接口进行生成和发布，得到接口文档，将接口文档和对应的UID保存至元数据表13，接口文档包括：配置好的接口的URL和接口参数，将URL和UID返回给终端；

数据查询模块11用于接收用户通过终端发送的查询请求，根据查询请求中的UID访问元数据表13，得到URL对应的接口参数，根据URL和接口参数访问数据仓库2，得到查询结果，将查询结果返回给终端。

RDB_READ和RDB_APIE分别就是数据查询与接口配置工程。关系数据引擎的使用流程如下：

1.用户向RDB_APIE接口配置工程发起接口配置请求，配置好的接口可以通过访问数据仓库进行验证；

2.当验证通过接口的查询逻辑后，将查询逻辑与对应的uid维护到元数据表中；

3.将经过验证的接口以接口文档的形式一键生成并发布，该接口文档提供了对本接口参数和功能的介绍，以及接口的url及参数值；

4.用户根据接口文档提供的url以及参数值对RDB_READ工程进行访问；

5.RDB_READ工程首先将根据用户提供的url访问元数据表，找到对应的接口参数；

6.通过真实的接口参数访问数据仓库，拿到真实的参数，以json视图的形式返回给用户。

如图2所示，关系数据引擎的两个工程RDB_READ和RDB_APIE内部的工作流程图。Meta Table就是RDB_READ和RDB_APIE两个工程维护的元数据表。

RDB_APIE接口配置工程详细工作流程：

1.数据源配置：决定数据库连接的种类和方式；

2.创建接口分类：完成接口的分类管理；

3.新增查询条目：其中包括了接口名称的指定、数据源的选用、SQL查询逻辑的编写、查询参数的配置、结果展示方式等；

4.查看接口：查看所有配置完成的接口；

5.接口文档的生成和发布。

整个RDB_APIE接口配置工程提供了用户角色、用户身份的验证和权限管理，在接口配置层面保证对数据访问过程的控制，保证数据的安全性。

由于元数据表Meta Table是整个系统最关键的数据交换中心，该表的内容不能被随意改变，不能随意暴露给外部，其维护和防护是重中之重。

实现接口配置与数据查询业务逻辑的分离，项目结构更加清晰，角色分配明了，实现查询接口的配置界面化配置，配置的接口立即生效，无需重启无需重新编程，提升用户体验，提高使用效率。

接口配置模块用于：

在用户身份验证和用户权限验证成功后进行数据源配置，对接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。

具体地，关系数据引擎采用SpringBoot集成Mybatis框架。

1.通过Spring+SpringMVC+Hibernate框架实现相同业务逻辑；

2.通过Spring+SpringMVC+Mybatis框架实现相同业务逻辑；

3.通过SpringBoot+Hibernate框架实现相同业务逻辑；

4.通过JFinal框架实现相同业务逻辑；

5.通过Struts2框架实现相同业务逻辑。

具体地，数据仓库的类型包括：MySQL、Oracle、PostGreSQL、SQLServer、SQLite、Drill、Presto、Hive、HBase Phoniex和impala。

根据数据查询的应用场景，用户需要的是操作简单易用的、7×24不间断运行的、配置完成的接口立即生效的、业务逻辑清晰层次分明的接口配置与数据查询工程。基于上述用户需求，着手改进了原来基于Servlet的接口配置与查询方案。本技术方案的优点：

1、针对原有系统在接口配置过程中，需要暂停服务并添加代码的缺点，使用了SpringBoot+Mybatis实现了接口“热配置”，接口的配置可以在服务不间断的情况下进行，并且配置好的接口立即生效，不需要重新修改代码，减少了运维人员的工作量，增强用户体验。

2、针对原有系统数据查询需要对照文档操作并且需要查询人员一定的技术能力的缺点，关系数据引擎实现了从接口配置到接口文档发布全过程界面化操作与流水线作业，文档自动生成。文档中包括数据查询的url以及参数，不需要再进行人为的拼接，减少了开发维护人员书写使用文档的工作量，同时减少了用户在使用接口时的门槛，减少了接口使用过程中的人为因素的错误。

3、针对原有系统接口配置与查询的业务逻辑糅合在一起的情况，关系数据引擎实现了接口配置和数据查询业务逻辑的分离，两个工程可以单独部署，数据查询工程可以根据业务量的大小进行多节点部署，并实现负载均衡，提高系统可靠性。接口配置工程可以实现接口集中配置与管理。关系数据引擎的业务逻辑层次更加分明。

4、针对用户需要将多种数据库集中使用从而减少用户使用成本的需求，关系数据引擎广泛支持多种数据库，从传统关系数据库MySQL、Oracle、PostGreSQL、SQLServer、SQLite、Drill、Presto到大数据生态圈的Hive、HBase Phoniex、impala。能够满足各种业务应用场景的需求。

如图3所示，关系数据引擎部署架构图。该架构图实现的功能包括以下几点：

1.用户通过互联网访问关系数据引擎服务，通过防火墙后，访问反向代理服务器Haproxy，同时实现高可用；

2.通过Nginx进行负载均衡处理，提高多节点关系数据引擎数据查询系统的可靠性；

3.必要的时候，可以通过增加数据查询系统节点来提高整体系统的服务能力；

4.最后数据查询系统实现对数据仓库的数据查询，并将拿到的数据返回给用户；

5.用户通过接口配置服务器，集中实现接口的配置、管理以及接口文档的发布。

如图4所示，一种数据查询方法，包括：

S1、接收用户通过终端发送的接口配置请求；

S2、根据接口配置请求进行用户身份验证和用户权限验证，验证成功后，对接口配置请求中的接口进行配置，得到配置好的接口；

S3、通过访问数据仓库对配置好的接口进行接口验证，验证成功后，对配置好的接口进行生成和发布，得到接口文档；

S4、将接口文档和对应的UID保存至元数据表，接口文档包括：配置好的接口的URL和接口参数，将URL和UID返回给终端；

S5、接收用户通过终端发送的查询请求；

S6、根据查询请求中的UID访问元数据表，得到URL对应的接口参数；

S7、根据URL和接口参数访问数据仓库，得到查询结果，将查询结果返回给终端。

具体地，步骤S2中，对接口配置请求中的接口进行配置，得到配置好的接口，具体包括：

进行数据源配置，对接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据查询系统，其特征在于，包括：关系数据引擎和数据仓库；所述关系数据引擎包括：数据查询模块和接口配置模块，以及将所述数据查询模块和所述接口配置模块关联起来的元数据表；

所述接口配置模块用于接收用户通过终端发送的接口配置请求，根据所述接口配置请求进行用户身份验证和用户权限验证，验证成功后，对所述接口配置请求中的接口进行配置，得到配置好的接口，通过访问所述数据仓库对所述配置好的接口进行接口验证，验证成功后，对所述配置好的接口进行生成和发布，得到接口文档，将所述接口文档和对应的UID保存至所述元数据表，所述接口文档包括：所述配置好的接口的URL和接口参数，将所述URL和所述UID返回给所述终端；

所述数据查询模块用于接收用户通过所述终端发送的查询请求，根据所述查询请求中的所述UID访问所述元数据表，得到所述URL对应的接口参数，根据所述URL和所述接口参数访问所述数据仓库，得到查询结果，将所述查询结果返回给所述终端。

2.根据权利要求1所述的一种数据查询系统，其特征在于，所述接口配置模块用于：

在用户身份验证和用户权限验证成功后进行数据源配置，对所述接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，所述新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。

3.根据权利要求1或2所述的一种数据查询系统，其特征在于，所述关系数据引擎采用SpringBoot集成Mybatis框架。

4.根据权利要求1或2所述的一种数据查询系统，其特征在于，所述数据仓库的类型包括：MySQL、Oracle、PostGreSQL、SQLServer、SQLite、Drill、Presto、Hive、HBase Phoniex和impala。

5.一种数据查询方法，其特征在于，包括：

S1、接收用户通过终端发送的接口配置请求；

S2、根据所述接口配置请求进行用户身份验证和用户权限验证，验证成功后，对所述接口配置请求中的接口进行配置，得到配置好的接口；

S3、通过访问所述数据仓库对所述配置好的接口进行接口验证，验证成功后，对所述配置好的接口进行生成和发布，得到接口文档；

S4、将所述接口文档和对应的UID保存至元数据表，所述接口文档包括：所述配置好的接口的URL和接口参数，将所述URL和所述UID返回给所述终端；

S5、接收用户通过所述终端发送的查询请求；

S6、根据所述查询请求中的所述UID访问所述元数据表，得到所述URL对应的接口参数；

S7、根据所述URL和所述接口参数访问所述数据仓库，得到查询结果，将所述查询结果返回给所述终端。

6.根据权利要求5所述的一种数据查询方法，其特征在于，所述步骤S2中，对所述接口配置请求中的接口进行配置，得到配置好的接口，具体包括：

进行数据源配置，对所述接口配置请求中的接口进行分类管理，新增查询条目，得到配置好的接口，所述新增查询条目包括：配置接口名称、设置数据源、确定查询结果展现方式、生成SQL查询逻辑以及配置查询参数。