CN103942234A - 对多个异构数据库操作的方法、中间件装置及系统 - Google Patents

Abstract

本发明公开了一种对多个异构数据库操作的方法、中间件装置及系统，针对多个异构数据库生成全局视图；SQL语法解析装置根据SQL语句生成全局任务，并将全局任务提交给任务调度装置；任务调度装置将全局任务分解为对于各个异构数据库的子任务，并将子任务分派到任务执行代理装置；任务执行代理单元在与子任务对应的异构数据库中执行操作。本发明的方法、中间件装置及系统，基于中介模型通过全局视图访问异构数据库，屏蔽了数据库的分布性、异构性差异，提供统一的数据视图，解决了各异构数据库之间的模式冲突问题，实现了对异构数据库的透明访问。

Description

对多个异构数据库操作的方法、中间件装置及系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种对多个异构数据库操作的方法、中间件装置及系统。

背景技术

在当前信息化的大趋势下，企业在信息化过程中存在着大量基于各种业务流程和异构数据库的应用系统。企业某一特定的业务只需要访问相应的数据库系统，但是随着企业信息化程度的提高，企业应用和决策往往需要综合利用各个系统之间的数据，它们各自的信息“孤岛”阻碍了企业信息化的进程。因此实现对异构数据库透明访问、消除企业信息“孤岛”的需求越来越迫切。

对于运营商、大型互联网公司等大型企业，业务数据通常可能分布于数家子公司的数个数据库系统中，分布于企业不同部门的数据库系统，在这种情况下，一些综合业务和决策往往会需要把不同子公司、不同部门的数据进行综合分析才能得到合理的结果。

在现有技术中，在集成的异构数据库系统结构方面，联邦数据库是由若干个自治的异构数据库互联构成，参与系统的各数据库之间实现一对一的连接。这种结构在新增数据库的时候需实现与各个已有数据库的对接，扩展性较差。数据仓库是建立一个存储数据的仓库，由ETL(Extract,Transform and Load)工具定期从数据源过滤数据，然后装载到数据仓库，供用户查询。其创建代价高，当有新数据源加入或已有数据源发生变化时对仓库的修改代价也比较高。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种对多个异构数据库操作的方法，通过全局视图访问异构数据库。

一种对多个异构数据库操作的方法，包括：针对所述多个异构数据库生成全局视图；SQL语法解析装置接收到对所述全局视图进行操作的SQL语句；所述SQL语法解析装置根据所述SQL语句生成全局任务，并将所述全局任务提交给任务调度装置；所述任务调度装置将所述全局任务分解为对于各个异构数据库的子任务，并将所述子任务分派到任务执行代理装置；所述任务执行代理单元在与所述子任务对应的异构数据库中执行操作。

根据本发明的方法的一个实施例，进一步的，在全局数据字典中设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号；其中，所述全局模式信息包括：全局视图的表名、表结构、列名、列类型；所述局部模式信息包括：异构数据库的表名、表结构、列名、列类型等；全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

根据本发明的方法的一个实施例，进一步的，所述SQL语法解析装置判断所述SQL语句是否符合SQL的语法规则；当符合时，所述SQL语法解析装置查询所述全局数据字典，判断所述SQL语句中的有关全局视图的数据的正确性；当正确时，所述SQL语法解析装置根据所述SQL语句生成全局任务。

根据本发明的方法的一个实施例，进一步的，所述任务调度装置查询所述全局数据字典，获取所述全局任务需要访问的异构数据库，并将所述全局任务分解为对应异构数据库的子任务；所述任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

根据本发明的方法的一个实施例，进一步的，所述任务调度装置将各个任务执行代理装置运行的结果合并，生成所述全局视图的关系结果集返回给用户；其中，所述任务执行代理装置设置在异构数据库中。

本发明要解决的一个技术问题是提供一种用于异构数据库系统集成的中间件装置，通过全局视图访问异构数据库。

一种用于异构数据库系统集成的中间件装置，包括：全局视图生成装置、SQL语法解析装置、任务调度装置和任务执行代理装置；所述全局视图生成装置，用于针对多个异构数据库生成全局视图；所述SQL语法解析装置，用于接收到对所述全局视图进行操作的SQL语句，根据所述SQL语句生成全局任务，并将所述全局任务提交给任务调度装置；所述任务调度装置，用于将所述全局任务分解为对于各个异构数据库的子任务，并将所述子任务分派到任务执行代理装置；所述任务执行代理单元，用于在与所述子任务对应的异构数据库中执行操作。

根据本发明的装置的一个实施例，进一步的，还包括：全局数据字典；在所述全局数据字典中设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号；其中，所述全局模式信息包括：全局视图的表名、表结构、列名、列类型；所述局部模式信息包括：异构数据库的表名、表结构、列名、列类型等；全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

根据本发明的装置的一个实施例，进一步的，所述SQL语法解析装置判断所述SQL语句是否符合SQL的语法规则；当符合时，所述SQL语法解析装置查询所述全局数据字典，判断所述SQL语句中的有关全局视图的数据的正确性；当正确时，所述SQL语法解析装置根据所述SQL语句生成全局任务。

根据本发明的装置的一个实施例，进一步的，所述任务调度装置查询所述全局数据字典，获取所述全局任务需要访问的异构数据库，并将所述全局任务分解为对应异构数据库的子任务；所述任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

根据本发明的装置的一个实施例，进一步的，所述任务调度装置将各个任务执行代理装置运行的结果合并，生成所述全局视图的关系结果集返回给用户；其中，所述任务执行代理装置设置在异构数据库中。

一种异构数据库系统，包括如上所述的中间件装置。

本发明的对多个异构数据库操作的方法、中间件装置及系统，基于中介模型通过全局视图访问异构数据库，屏蔽了数据库的分布性、异构性差异，提供统一的数据视图，解决了各异构数据库之间的模式冲突问题，实现了对异构数据库的透明访问。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的对多个异构数据库操作的方法的一个实施例的流程图；

图2为根据本发明的对多个异构数据库操作的方法的另一个实施例的流程图；

图3为根据本发明的用于异构数据库系统集成的中间件装置的一个实施例的示意图；

图4为根据本发明的用于异构数据库系统集成的中间件装置的一个实施例中任务执行代理装置的示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

异构数据库系统是相关的多个数据库系统的集合。异构数据库为异构数据库系统的各个数据库，分别具有自己的应用特性、完整性控制和安全性控制。异构数据库可以分别运行在大型机、小型机、工作站、PC或嵌入式系统中，可以是同为关系型数据库系统的Oracle、SQLServer等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库等。

中介模型是一种利用虚拟视图思想进行数据集成的模型，它集成系统内各数据源的数据模式而不实际存储数据。中介模型并不需要改变异构数据库数据的存储和管理方式，而是在异构数据源和应用层之间设置一个中间件，向下协调各数据源，向上为访问集成数据的应用提供统一的视图。中介模型结构清晰，可扩展性好，维护代价低。

图1为根据本发明的对多个异构数据库操作的方法的一个实施例的流程图。如图1所示：

步骤102，针对多个异构数据库生成全局视图。多个异构数据库可以是异构数据库系统中的多个数据库。全局视图为一种虚拟的视图。

步骤103，SQL语法解析装置接收到对全局视图进行操作的SQL查询语句。SQL语法解析装置根据SQL语句生成全局任务，并将全局任务提交给任务调度装置。SQL语句为查询语句。如果在异构数据库系统中进行关于数据同步性、一致性、权限等的相关性设置，SQL语句也可以为删除、修改等等。

步骤104，任务调度装置将全局任务分解为对于各个异构数据库的子任务，并将子任务分派到任务执行代理装置。

步骤105，任务执行代理单元在与子任务对应的异构数据库中执行操作。

根据本发明的一个实施例，在全局数据字典、或全局数据字典装置中，也可以是存放全局数据的数据库中，设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号。

全局模式信息包括：全局视图的表名、表结构、列名、列类型。局部模式信息包括：异构数据库的表名、表结构、列名、列类型等。全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

根据本发明的一个实施例，SQL语法解析装置判断SQL语句是否符合SQL的语法规则。当符合时，SQL语法解析装置查询全局数据字典，判断SQL语句中的有关全局视图的数据的正确性。当正确时，SQL语法解析装置根据SQL语句生成全局任务。

根据本发明的一个实施例，任务调度装置查询全局数据字典，获取全局任务需要访问的异构数据库，并将全局任务分解为对应异构数据库的子任务。任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

根据本发明的一个实施例，任务调度装置将各个任务执行代理装置运行的结果合并，生成全局视图的关系结果集返回给用户。其中，任务执行代理装置设置在异构数据库中。

本发明的对多个异构数据库操作的方法，解决了在大量企业数据分布性和异构性的情况下构建综合性应用时如何透明访问分布式异构数据库的问题，实现数据库集成、降低应用程序设计的复杂度。

本发明的对多个异构数据库操作的方法，对外提供全局视图，定义全局模式，将各个异构数据库的局部模式与全局模式进行映射，用户只需要基于全局视图提交SQL语句，中间件装置将SQL语法解析、全局任务分解、分派以及结果合并等过程封装隐藏起来，用户就像访问本地数据库一样感觉不到数据的分布性和异构性。

SQL语法解析器接收用户输入的SQL，首先检查是否有语法错误，然后查看数据字典进行数据验证，检查用户输入的表、列是否存在，如果存在错误则反馈给用户，确认输入无误后则基于全局视图生成一个全局任务。

用户的SQL查询请求经过解析，传入任务调度装置，查询请求被分解成具体的查询动作，分派给底层不同的任务执行代理，任务调度模块最后将底层各个任务执行代理运行的结果合并处理，以关系结果集的方式返回给用户。

任务执行代理装置构建于各个数据库平台之上，完成局部模式向全局模式的转换。任务执行代理装置充分考虑到各个异构数据库平台的数据操作模式上的差异，屏蔽各局部数据库的异构性，每个执行代理接受片段查询任务，转换成各个局部数据库可以执行的形式，发送到各个局部数据库进行子任务执行得到查询结果。

图2为根据本发明的对多个异构数据库操作的方法的另一个实施例的流程图。如图2所示：

步骤201，应用程序提交SQL查询语句。

步骤202，由SQL语法解析器进行语法验证，如果语法正确则进行数据合法性验证，例如：SQL语句中的全局表、列是否存在等问题，需要查阅全局数据字典中记录的元数据信息。

步骤203，如果SQL语法出错则提示用户相关语法错误，要求重新输入。

步骤204，不合法则提示相应错误，要求重新输入。

步骤205，验证合法则生成全局查询。

步骤206，生成的全局查询被发送至任务调度装置，此时的全局查询是基于虚拟全局视图的任务，需要对其进行任务分解，使之转换成带有数据源信息的局部子任务。

步骤207，任务调度装置获取模式映射信息。由于全局模式与局部模式的映射信息存储在全局数据字典，因此需要访问数据字典。

步骤208，任务调度装置根据映射信息将全局任务转换为局部子任务，假如需要请求全局关系R的数据，而R分别与三个局部关系M、N、T存在映射关系，这时候就将请求R的全局任务转换成分别请求M、N、T三个局部子任务。

步骤209，对于已经生成的局部子任务，任务调度器查找其请求数据所在的数据库信息，包括数据库类型、数据库的ip以及端口号，然后把子任务分派至各任务执行代理。

步骤210，任务执行代理向各局部数据库请求数据。

步骤211，局部数据库将子任务的执行结果返回给任务执行代理。

步骤212，任务执行代理将子任务结果返回给任务调度装置。

步骤213，任务调度器将各个子结果合并返回，提交给应用程序。

根据本发明的一个实施例，全局视图中有两张表，分别叫A、B，全局视图A表对应三个局部数据库（异构数据库）中的三张表A1、A2、A3，全局视图B表对应此三个局部数据库（异构数据库）中三张表B1、B2、B3。

A表中有一列columnA，B表中有一列columnB；

columnA对应A1、A2、A3中的columnA1、columnA2、columnA3，columnB对应B1、B2、B3中的columnB1、columnB2、columnB3。

现提交全局查询语句：select A.columnA,B.columnB from A,Bwhere A.columnA=B.columnB；即生成主任务。

将此查询语句分为对应的三个子查询语句，发送至三个局部数据库，分别如下：

select A1.columnA1,B1.columnB1 from A1,B1 whereA1.columnA1=B1.columnB1；

select A2.columnA2,B2.columnB2 from A2,B2 whereA2.columnA2=B2.columnB2；

select A3.columnA3,B3.columnB3 from A3,B3 whereA3.columnA3=B3.columnB3；

最后将这三个子查询结果合并，以A.columnA,B.columnB的形式返回最终查询结果，在这个过程中，用户对数据的分布式、结果合并无感知。

图3为根据本发明的用于异构数据库系统集成的中间件装置的一个实施例的示意图。如图3所示：用于异构数据库系统集成的中间件装置包括：全局视图生成装置（模块、单元）（在图3中未画出）、SQL语法解析装置（模块、单元）301、任务调度装置（模块、单元）302和任务执行代理装置（模块、单元）303。

全局视图生成装置针对多个异构数据库生成全局视图。

SQL语法解析装置301接收到对全局视图进行操作的SQL语句，根据SQL语句生成全局任务，并将全局任务提交给任务调度装置。

任务调度装置302将全局任务分解为对于各个异构数据库的子任务，并将子任务分派到任务执行代理装置303。

任务执行代理单元303在与子任务对应的异构数据库中执行操作。

根据本发明的一个实施例，在全局数据字典304中设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号。其中，全局模式信息包括：全局视图的表名、表结构、列名、列类型。局部模式信息包括：异构数据库的表名、表结构、列名、列类型等。全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

根据本发明的一个实施例，SQL语法解析装置301判断SQL语句是否符合SQL的语法规则。当符合时，SQL语法解析装置301查询全局数据字典304，判断SQL语句中的有关全局视图的数据的正确性。当正确时，SQL语法解析装置301根据SQL语句生成全局任务。

根据本发明的一个实施例，全局数据字典用于实现系统集成全局视图，描述集成的其他数据库的信息，主要包括下面几种：（1）全局模式信息，包括全局表名、表结构、列名、列类型等。（2）局部模式信息，包括局部表名、表结构、列名、列类型等。（3）全局模式与局部模式的映射信息，包括全局表到局部表名称的映射、域的映射、域的类型映射等信息。（4）局部数据库信息，包括数据库类型、IP地址及端口号。

在任务分解阶段，需要查询数据字典得到某一全局关系对应的局部关系所在数据库等信息，用以将全局任务转换成局部子任务。

图4为根据本发明的用于数据库集成的中间件装置的一个实施例中任务执行代理装置的示意图。如图4所示，任务调度装置查询全局数据字典，获取全局任务需要访问的异构数据库，并将全局任务分解为对应异构数据库的子任务。任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

任务执行代理装置可以设置在异构数据库中，例如，oracle、sql server、my sql数据库等等，可以具有多种类型的任务执行代理装置，例如：oracle、sql server、my sql任务执行代理装置等等。任务调度装置将各个任务执行代理装置运行的结果合并，生成全局视图的关系结果集返回给用户。

根据本发明的一个实施例，异构数据库集成系统包括如上的中间件装置。

本发明的对多个异构数据库操作的方法、中间件装置及系统，以中介模型思想为基础，中间件装置在应用程序和各个局部数据库之间它起了承上启下的作用，使应用程序可以通过提交SQL语句向分布式异构数据库请求数据，不用考虑局部数据库的异构问题，对下面的各个局部数据库规定统一的功能接口，使得现有的数据库可以方便地集成到整个分布式数据库系统中去。定义了一种全局模式，通过局部模式与全局模式的转换来屏蔽不同数据库的差异性，通过模式转换解决了不同异构数据库之间的模式冲突问题。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施。

Claims (11)

1.一种对多个异构数据库操作的方法，其特征在于，包括：

针对所述多个异构数据库生成全局视图；

SQL语法解析装置接收到对所述全局视图进行操作的SQL语句；

所述SQL语法解析装置根据所述SQL语句生成全局任务，并将所述全局任务提交给任务调度装置；

所述任务调度装置将所述全局任务分解为对于各个异构数据库的子任务，并将所述子任务分派到任务执行代理装置；

所述任务执行代理单元在与所述子任务对应的异构数据库中执行操作。

2.如权利要求1所述的方法，其特征在于：

在全局数据字典中设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号；

其中，所述全局模式信息包括：全局视图的表名、表结构、列名、列类型；所述局部模式信息包括：异构数据库的表名、表结构、列名、列类型等；

全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

3.如权利要求2所述的方法，其特征在于：

所述SQL语法解析装置判断所述SQL语句是否符合SQL的语法规则；

当符合时，所述SQL语法解析装置查询所述全局数据字典，判断所述SQL语句中的有关全局视图的数据的正确性；当正确时，所述SQL语法解析装置根据所述SQL语句生成全局任务。

4.如权利要求3所述的方法，其特征在于：

所述任务调度装置查询所述全局数据字典，获取所述全局任务需要访问的异构数据库，并将所述全局任务分解为对应异构数据库的子任务；

所述任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

5.如权利要求4所述的方法，其特征在于：

所述任务调度装置将各个任务执行代理装置运行的结果合并，生成所述全局视图的关系结果集返回给用户；

其中，所述任务执行代理装置设置在异构数据库中。

6.一种用于异构数据库系统集成的中间件装置，其特征在于，包括：全局视图生成装置、SQL语法解析装置、任务调度装置和任务执行代理装置；

所述全局视图生成装置，用于针对多个异构数据库生成全局视图；

所述SQL语法解析装置，用于接收到对所述全局视图进行操作的SQL语句，根据所述SQL语句生成全局任务，并将所述全局任务提交给任务调度装置；

所述任务调度装置，用于将所述全局任务分解为对于各个异构数据库的子任务，并将所述子任务分派到任务执行代理装置；

所述任务执行代理单元，用于在与所述子任务对应的异构数据库中执行操作。

7.如权利要求6所述的装置，其特征在于，还包括：

全局数据字典；在所述全局数据字典中设置各个异构数据库的局部模式信息与全局模式信息的映射关系、各个异构数据库的数据库类型、IP地址及端口号；

其中，所述全局模式信息包括：全局视图的表名、表结构、列名、列类型；所述局部模式信息包括：异构数据库的表名、表结构、列名、列类型等；

全局模式信息与局部模式信息的映射关系包括：全局视图的表到异构数据库的表名称、域、域的类型的映射关系。

8.如权利要求7所述的装置，其特征在于：

所述SQL语法解析装置判断所述SQL语句是否符合SQL的语法规则；

当符合时，所述SQL语法解析装置查询所述全局数据字典，判断所述SQL语句中的有关全局视图的数据的正确性；当正确时，所述SQL语法解析装置根据所述SQL语句生成全局任务。

9.如权利要求8所述的装置，其特征在于：

所述任务调度装置查询所述全局数据字典，获取所述全局任务需要访问的异构数据库，并将所述全局任务分解为对应异构数据库的子任务；

所述任务调度装置获取异构数据库的数据库类型、数据库的ip以及端口号，将异构数据库子任务分派至各个任务执行代理装置执行子任务。

10.如权利要求9所述的装置，其特征在于：

所述任务调度装置将各个任务执行代理装置运行的结果合并，生成所述全局视图的关系结果集返回给用户；

其中，所述任务执行代理装置设置在异构数据库中。

11.一种异构数据库系统，其特征在于：

包括如权利要求6至10任意一项所述的用于异构数据库系统集成的中间件装置。