CN111198901B - 基于多数据源的统一数据服务开放方法及系统 - Google Patents

Abstract

本发明公开了一种基于多数据源的统一数据服务开放方法及系统，其中，系统包括：动态数据服务子系统，用于将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；多数据源查询引擎子系统，用于将动态数据服务子系统传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求目标数据，实现和大数据系统底层组件的交互，且将最终结果进行统一封装返回并缓存。该系统具有高灵活性和高效性的优点，简单易实现。

Description

基于多数据源的统一数据服务开放方法及系统

技术领域

本发明涉及信息技术及数据业务技术领域，特别涉及一种基于多数据源的统一数据服务开放方法及系统。

背景技术

BDaaS(Big Data as a Service，大数据服务)是一种数据使用模式，是在对大数据统一建模的基础上，将各类数据操作进行封装，对外提供无处不在的、标准化的、随需的检索、分析或可视化服务交互。大数据服务不仅是一种新技术，也是一种新的数据资源使用模式和一种新的服务经济模式。但是目前大数据服务还面临一下难题：

1、面向差异化的服务场景和用户需求，如何设计一种能够屏蔽数据资源复杂性，实现检索、分析及可视化服务提供规范化的大数据服务架构，是大数据服务首先需要解决的问题；

2、为了适应多变的服务场景和个性化的用户需求，如何提高大数据服务能力，也是大数据服务面临的一大挑战。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多数据源的统一数据服务开放系统，该系统具有高灵活性和高效性的优点，可以适应多变的服务场景和个性化的用户需求，简单易实现。

本发明的另一个目的在于提出一种基于多数据源的统一数据服务开放方法。

为达到上述目的，本发明一方面实施例提出了一种基于多数据源的统一数据服务开放系统，包括：动态数据服务子系统，用于将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；多数据源查询引擎子系统，用于将所述动态数据服务子系统传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求所述目标数据，实现和大数据系统底层组件的交互，且将所述最终结果进行统一封装返回并缓存。

本发明实施例的基于多数据源的统一数据服务开放系统，具有高灵活性和高效性的优点，使用户方便集成多种数据源，对多数据源的元数据进行统一管理，提供动态数据服务引擎层，将上层需要的具体数据的查询任务封装成一个功能，转换成Service，以RestfulAPI的方式；将底层的数据(多数据源)，以JSON格式，有组织、有标准，可管理、易集成，易复用地对外提供数据服务，以适应多变的服务场景和个性化的用户需求。

另外，根据本发明上述实施例的基于多数据源的统一数据服务开放系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述动态数据服务子系统具体用于：接收SQL语句，并对所述SQL语句进行解析，得到抽象语法树；根据解析结果与多数据源的元数据进行比较，判断所述SQL语句是否合法；若SQL语句不合法，则给出相关提示，并退出；若SQL语句合法，则解析服务的输入输出模型；提取各个数据源的信息；根据所述输入输出模型及相关配置信息生成对应的服务。

进一步地，在本发明的一个实施例中，根据每条SQL语句对应的Web服务，在提交所述SQL语句前，将所述SQL语句与对应唯一标识进行绑定，并将所述唯一标识作为访问路径。

进一步地，在本发明的一个实施例中，所述动态数据服务子系统通过处理请求函数和所述唯一此标识找到所述SQL语句对应的解析信息，并调用所述多数据源查询引擎子系统进行跨数据源查询，及将所述最终结果作为响应返回给所述服务调用者。

进一步地，在本发明的一个实施例中，所述多数据源查询引擎子系统包括：查询任务构造模块，用于将每个数据源的期望操作构造成实际的底层数据源操作；多数据源连接中间件模块，用于根据所述底层数据源操作连接底层数据库进行查询操作；最终结果封装模块，用于将多个数据源的查询操作结果进行封装；缓存模块，用于将所述多个数据源的查询操作结果进行缓存。

为达到上述目的，本发明另一方面实施例提出了一种基于多数据源的统一数据服务开放方法，包括以下步骤：将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；将传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求所述目标数据，实现和大数据系统底层组件的交互，且将所述最终结果进行统一封装返回并缓存。

本发明实施例的基于多数据源的统一数据服务开放方法，具有高灵活性和高效性的优点，使用户方便集成多种数据源，对多数据源的元数据进行统一管理，提供动态数据服务引擎层，将上层需要的具体数据的查询任务封装成一个功能，转换成Service，以RestfulAPI的方式；将底层的数据(多数据源)，以JSON格式，有组织、有标准，可管理、易集成，易复用地对外提供数据服务，以适应多变的服务场景和个性化的用户需求。

另外，根据本发明上述实施例的基于多数据源的统一数据服务开放方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，进一步包括：接收SQL语句，并对所述SQL语句进行解析，得到抽象语法树；根据解析结果与多数据源的元数据进行比较，判断所述SQL语句是否合法；若SQL语句不合法，则给出相关提示，并退出；若SQL语句合法，则解析服务的输入输出模型；提取各个数据源的信息；根据所述输入输出模型及相关配置信息生成对应的服务。

进一步地，在本发明的一个实施例中，根据每条SQL语句对应的Web服务，在提交所述SQL语句前，将所述SQL语句与对应唯一标识进行绑定，并将所述唯一标识作为访问路径。

进一步地，在本发明的一个实施例中，所述当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者，进一步包括：通过处理请求函数和所述唯一此标识找到所述SQL语句对应的解析信息，并调用所述多数据源查询引擎子系统进行跨数据源查询，及将所述最终结果作为响应返回给所述服务调用者。

进一步地，在本发明的一个实施例中，还包括：将每个数据源的期望操作构造成实际的底层数据源操作；根据所述底层数据源操作连接底层数据库进行查询操作；将多个数据源的查询操作结果进行封装；将所述多个数据源的查询操作结果进行缓存。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于多数据源的统一数据服务开放系统的结构示意图；

图2为根据本发明一个实施例的基于多数据源的统一数据服务开放系统的结构示意图；

图3为根据本发明实施例的数据服务生成示意图；

图4为根据本发明实施例的动态数据服务生成示意图；

图5为根据本发明实施例的SELECT语句的语法树状图表示示意图；

图6为根据本发明实施例的多数据源查询引擎需要的信息示意图；

图7为根据本发明实施例的多数据源查询引擎模块示意图；

图8为根据本发明实施例的多数据源查询引擎查询流程图；

图9为根据本发明实施例的基于多数据源的统一数据服务开放方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于多数据源的统一数据服务开放方法及系统，首先将参照附图描述根据本发明实施例提出的基于多数据源的统一数据服务开放系统。

图1是本发明一个实施例的基于多数据源的统一数据服务开放系统的结构示意图。

如图1所示，该基于多数据源的统一数据服务开放系统10包括：动态数据服务子系统100和多数据源查询引擎子系统200。

其中，动态数据服务子系统100用于将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；多数据源查询引擎子系统200用于将动态数据服务子系统传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求目标数据，实现和大数据系统底层组件的交互，且将最终结果进行统一封装返回并缓存。本发明实施例的系统10具有高灵活性和高效性的优点，可以适应多变的服务场景和个性化的用户需求，简单易实现。

可以理解的是，基于多数据源的统一数据服务开放是指：在对大数据统一建模的基础上，将用户指定的对多数据源的各类数据的操作(SQL语句)动态封装成Restful API服务，并向外开放的大数据应用系统。主要由动态数据服务子系统及多数据源查询引擎子系统两部分构成，其系统模块图如图1所示。具体地，每个子系统的作用如下：

1、动态数据服务子系统：主要实现功能是：将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务。当发生服务请求时，将服务对应的多个数据源查询任务交由多数据源查询引擎子系统执行，从大数据系统中获取目标数据，并将最终结果返回给调用者。

2、多数据源查询引擎子系统的主要实现的功能是：将动态数据服务子系统传来的多个数据源查询任务，并封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求目标数据，实现和大数据系统底层组件的交互，最后将结果进行统一封装返回并缓存。

下面将对基于多数据源的统一数据服务开放系统10进行详细的阐述。

进一步地，在本发明的一个实施例中，动态数据服务子系统100具体用于：接收SQL语句，并对SQL语句进行解析，得到抽象语法树；根据解析结果与多数据源的元数据进行比较，判断SQL语句是否合法；若SQL语句不合法，则给出相关提示，并退出；若SQL语句合法，则解析服务的输入输出模型；提取各个数据源的信息；根据输入输出模型及相关配置信息生成对应的服务。

具体而言，动态数据服务子系统是数据服务开放平台的核心功能之一，示意图如图3所示。SQL查询语句等配置生成Restful服务，无需编写代码，实现数据消费者和物理数据的隔离、允许提供者使用一个或多个数据源来构造业务实体及为企业数据构建可重用单元，最终为数据消费者提供了更简单的编程接口去完成数据的访问、错误处理和维护。具体流程如图4所示，其中，动态服务的生成流程如下：

(1)接收SQL语句，并对SQL语句进行解析得到抽象语法树(AST)；

(2)根据解析结果与多数据源的元数据进行比较，判断是否SQL是否合法；

(3)若SQL语句不合法，给出相关提示并直接退出；

(4)若SQL语句合法，解析服务的输入输出模型；

(5)提取各个数据源的信息，即数据源中数据库名、数据表名、数据库表数据字段，或者列名等相关信息；

(6)根据输入输出模型及相关配置信息生成对应的服务。

其中，动态数据服务生成伪代码如表1所示。

表1

进一步而言，通过深度优先搜索遍历解析SQL得到的AST(抽象语法树)如图5所示，我们可以得到SQL中需要的条件及结果，需要的条件可以映射成最终生成服务对应的输入模型，结果映射成服务的输出模型(响应)。同时还能得到SQL语句中所有的数据库名，数据表及表中的字段名(列名)，除此之外还能获知SQL语句期望对每个数据源执行的操作。

所以通过三次深度优先搜索遍历处理SQL对应的AST(抽象语法树)，就可以完成对SQL的解析，得到多数据源查询引擎所需的所有信息。多数据源所需的所有信息如图6所示。

进一步地，在本发明的一个实施例中，根据每条SQL语句对应的Web服务，在提交SQL语句前，将SQL语句与对应唯一标识进行绑定，并将唯一标识作为访问路径。动态数据服务子系统100通过处理请求函数和唯一此标识找到SQL语句对应的解析信息，并调用多数据源查询引擎子系统进行跨数据源查询，及将最终结果作为响应返回给服务调用者。

具体而言，由于每条SQL语句对应一个Web服务，所以在提交SQL语句前应该与某一唯一标识进行绑定，并将此标识作为访问路径。处理请求函数通过此标识找到SQL对应的解析信息，然后调用多数据源查询引擎进行跨数据源查询，最后将返回结果作为响应返回给服务调用者。伪代码实现如表2所示，其中，表2为动态生成服务伪代码实现表。

表2

进一步地，在本发明的一个实施例中，多数据源查询引擎子系统200包括：查询任务构造模块、多数据源连接中间件模块、最终结果封装模块和缓存模块。其中，查询任务构造模块，用于将每个数据源的期望操作构造成实际的底层数据源操作；多数据源连接中间件模块，用于根据底层数据源操作连接底层数据库进行查询操作；最终结果封装模块，用于将多个数据源的查询操作结果进行封装；缓存模块，用于将多个数据源的查询操作结果进行缓存。

具体而言，多数据源查询引擎的主要作用是将数据服务对应的SQL语句解析得到的多数据源信息，转换成相应底层数据源的查询任务，获取大数据平台中的目标数据，并最终将结果返回给数据服务的调用者。如图7所示，多数据源查询引擎由查询任务构造、多数据源连接中间件、最终结果封装及缓存四个子模块组成，为上层的数据服务提供一个可靠的交互式查询引擎。

查询任务构造模块负责将每个数据源的期望操作构造成实际的底层数据源操作，然后交由多数据源连接中间件连接底层数据库进行查询操作，接着将多个数据源的查询操作结果进行封装，缓存。具体流程如图8所示：

(1)当外部访问相关服务时，先判断缓存中是否存在数据；

(2)若存在直接返回相关数据；

(3)否则先从数据库中获取SQL解析信息；

(4)任务构造模块构造查询任务(如果存在跨数据源，则存在多个查询任务)；

(5)将构造好的查询任务放入线程池中执行

(6)当全部任务执行完成之后，对全部查询结果进行封装整理，返回并缓存。

综上，本发明实施例集成多种数据源，对多数据源的元数据进行统一管理，提多数据源查询引擎层，以统一的方式进行多数据源数据查询；将SQL语句转换成RESTful服务，以JSON格式，有组织、有标准，可管理、易集成，易复用地对外提供数据服务；将跨数据源SQL语句解析构造成多个单数据源查询任务。

根据本发明实施例提出的基于多数据源的统一数据服务开放系统，具有高灵活性和高效性的优点，使用户方便集成多种数据源，对多数据源的元数据进行统一管理，提供动态数据服务引擎层，将上层需要的具体数据的查询任务封装成一个功能，转换成Service，以Restful API的方式；将底层的数据(多数据源)，以JSON格式，有组织、有标准，可管理、易集成，易复用地对外提供数据服务，以适应多变的服务场景和个性化的用户需求。

其次参照附图描述根据本发明实施例提出的基于多数据源的统一数据服务开放方法。

图9是本发明一个实施例的基于多数据源的统一数据服务开放方法流程图。

如图9所示，该基于多数据源的统一数据服务开放方法包括以下步骤：

在步骤S901中，将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；

在步骤S902中，将传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求目标数据，实现和大数据系统底层组件的交互，且将最终结果进行统一封装返回并缓存。

进一步地，在本发明的一个实施例中，将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，进一步包括：接收SQL语句，并对SQL语句进行解析，得到抽象语法树；根据解析结果与多数据源的元数据进行比较，判断SQL语句是否合法；若SQL语句不合法，则给出相关提示，并退出；若SQL语句合法，则解析服务的输入输出模型；提取各个数据源的信息；根据输入输出模型及相关配置信息生成对应的服务。

进一步地，在本发明的一个实施例中，根据每条SQL语句对应的Web服务，在提交SQL语句前，将SQL语句与对应唯一标识进行绑定，并将唯一标识作为访问路径。

进一步地，在本发明的一个实施例中，当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者，进一步包括：通过处理请求函数和唯一此标识找到SQL语句对应的解析信息，并调用多数据源查询引擎子系统进行跨数据源查询，及将最终结果作为响应返回给服务调用者。

进一步地，在本发明的一个实施例中，还包括：将每个数据源的期望操作构造成实际的底层数据源操作；根据底层数据源操作连接底层数据库进行查询操作；将多个数据源的查询操作结果进行封装；将多个数据源的查询操作结果进行缓存。

需要说明的是，前述对基于多数据源的统一数据服务开放系统实施例的解释说明也适用于该实施例的基于多数据源的统一数据服务开放方法，此处不再赘述。

根据本发明实施例提出的基于多数据源的统一数据服务开放方法，具有高灵活性和高效性的优点，使用户方便集成多种数据源，对多数据源的元数据进行统一管理，提供动态数据服务引擎层，将上层需要的具体数据的查询任务封装成一个功能，转换成Service，以Restful API的方式；将底层的数据(多数据源)，以JSON格式，有组织、有标准，可管理、易集成，易复用地对外提供数据服务，以适应多变的服务场景和个性化的用户需求。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于多数据源的统一数据服务开放系统，其特征在于，包括：

动态数据服务子系统，用于将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；

多数据源查询引擎子系统，用于将所述动态数据服务子系统传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求所述目标数据，实现和大数据系统底层组件的交互，且将所述最终结果进行统一封装返回并缓存；

所述动态数据服务子系统具体用于：接收SQL语句，并对所述SQL语句进行解析，得到抽象语法树，根据解析结果与多数据源的元数据进行比较，判断所述SQL语句是否合法：若SQL语句不合法，则给出相关提示，并退出，若SQL语句合法，则解析服务的输入输出模型，提取各个数据源的信息，根据所述输入输出模型及相关配置信息生成对应的服务。

2.根据权利要求1所述的系统，其特征在于，根据每条SQL语句对应的Web服务，在提交所述SQL语句前，将所述SQL语句与对应唯一标识进行绑定，并将所述唯一标识作为访问路径。

3.根据权利要求2所述的系统，其特征在于，所述动态数据服务子系统通过处理请求函数和所述唯一标识找到所述SQL语句对应的解析信息，并调用所述多数据源查询引擎子系统进行跨数据源查询，及将所述最终结果作为响应返回给服务调用者。

4.根据权利要求1所述的系统，其特征在于，所述多数据源查询引擎子系统包括：

查询任务构造模块，用于将每个数据源的期望操作构造成实际的底层数据源操作；

多数据源连接中间件模块，用于根据所述底层数据源操作连接底层数据库进行查询操作；

最终结果封装模块，用于将多个数据源的查询操作结果进行封装；

缓存模块，用于将所述多个数据源的查询操作结果进行缓存。

5.一种基于多数据源的统一数据服务开放方法，其特征在于，包括以下步骤：

将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，并且当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者；

将传来的多个数据源查询任务，封装成具体查询任务，通过数据源连接中间件向不同平台、数据源请求所述目标数据，实现和大数据系统底层组件的交互，且将所述最终结果进行统一封装返回并缓存；

所述将Web服务配置页面传来的SQL语句进行解析，生成相关数据源查询任务、用户指定服务的输入数据、输出数据模型以及对应的Restful服务，进一步包括：接收SQL语句，并对所述SQL语句进行解析，得到抽象语法树，根据解析结果与多数据源的元数据进行比较，判断所述SQL语句是否合法：若SQL语句不合法，则给出相关提示，并退出，若SQL语句合法，则解析服务的输入输出模型，提取各个数据源的信息，根据所述输入输出模型及相关配置信息生成对应的服务。

6.根据权利要求5所述的方法，其特征在于，根据每条SQL语句对应的Web服务，在提交所述SQL语句前，将所述SQL语句与对应唯一标识进行绑定，并将所述唯一标识作为访问路径。

7.根据权利要求6所述的方法，其特征在于，所述当发生服务请求时，发送服务对应的多个数据源查询任务，以从大数据系统中获取目标数据，并将最终结果返回给调用者，进一步包括：

通过处理请求函数和所述唯一标识找到所述SQL语句对应的解析信息，并进行跨数据源查询，及将所述最终结果作为响应返回给服务调用者。

8.根据权利要求5所述的方法，其特征在于，还包括：

将每个数据源的期望操作构造成实际的底层数据源操作；

根据所述底层数据源操作连接底层数据库进行查询操作；

将多个数据源的查询操作结果进行封装；

将所述多个数据源的查询操作结果进行缓存。

Images