CN103902286A - 基于soa的层级式多源数据融合方法 - Google Patents

Abstract

本发明公开了一种基于SOA的层级式多源数据融合方法，它的步骤如下：(1)建立基于面向服务体系结构的层级式多源数据融合体系，(2)建立XML数据集成方案，(3)建立Web服务式的数据交换与共享方法，本发明针对企业应用中各部门信息系统孤立、信息源分散，系统数据集成共享能力差的特点，提出了基于SOA层级式多源数据融合技术，该技术够屏蔽各异源数据的平台、系统环境、内部数据结构等方面的异构性，为用户提供了一个统一、透明的访问接口，实现对各异源数据中数据的集成处理。最终解决“信息孤岛”问题，达到信息的充分共享，以及提高信息应用水平。

Description

基于SOA的层级式多源数据融合方法

技术领域

本发明涉及一种广域、多层级、信息源分散、复杂信息采集的网络环境，具体涉及一种基于SOA的层级式多源数据融合技术与方法。

背景技术

SOA (Service Oriented Architecture)是指“以服务为中心的体系结构”或者“面向服务的架构”，可以认为SOA主要是一种架构风格，是包含运行环境、编程模型、架构风格和相关方法论等在内的一整套新的IT系统和软件的构建方法和过程，贯穿IT系统规划、设计、构建、运维的各个阶段。

SOA作为一种软件系统架构方法论，其主要目的就是帮助企业的业务流程更加灵活，通过让IT 运行环境更好的支持业务的变化，来保证业务的灵活性，SOA已经成为未来统一的企业级应用架构。面向服务架构(SOA)最大限度地重用应用程序中的“服务”以提高IT 适应性和效率。虽然这些概念已经存在了数十年之久，但只是在出现了基于标准的集成技术（如Web服务和XML）之后，SOA才开始被加速采用。对于利用SOA作为统一的企业基础架构，能够为企业的未来发展提供非常多的技术和业务优势。

交换的信息，按照公共信息模型（CIM）的方式进行建模，公共信息模型（CIM）是一个抽象模型，它是采用面向对象的方式来描述要交换的所有对象。通过提供一种用对象类和属性及他们之间的关系来表示要交换信息的标准方法。

面向服务的体系结构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。这种具有中立的接口定义（没有强制绑定到特定的实现上）的特征称为服务之间的松耦合。松耦合系统的好处有两点，一点是它的灵活性，另一点是，当组成整个应用程序的每个服务的内部结构和实现逐渐地发生改变时，它能够继续存在。而另一方面，紧耦合意味着应用程序的不同组件之间的接口与其功能和结构是紧密相连的，因而当需要对部分或整个应用程序进行某种形式的更改时，它们就显得非常脆弱。

对松耦合系统的需要来源于业务应用程序需要，根据业务的需要变得更加灵活，以适应不断变化的环境，比如经常改变的政策、业务级别、业务重点、合作伙伴关系、行业地位以及其他与业务有关的因素，这些因素甚至会影响业务的性质。我们称能够灵活地适应环境变化的业务为按需业务，在按需业务中，一旦需要，就可以对完成或执行任务的方式进行必要的更改。从业务角度来看，一切以最大化“服务”的价值为出发点，SOA利用企业现有的各种软件体系，重新整合并构建起一套新的软件架构。这套软件架构能够随着业务的变化，随时灵活地结合现有服务，组成新软件，共同服务于整个企业的业务体系。简单的理解，我们可以把SOA看作是模块化的组件，每个模块都可以实现独立功能，而不同模块之间的结合则可以提供不同的服务，模块之间的接口遵循统一标准，可以实现低成本的重构和重组。在SOA的技术框架下，可以把杂乱无章的庞大系统整合成一个全面有序的系统，从而增加企业在业务发展过程中应用系统的灵活性，实现最大的IT资产利用率。

服务数据对象(Service Data Object, SDO)是由IBM公司和 BEA公司于2003年11月合作发布的一种数据编程框架及其API。主要是为了统一对不同数据类型的访问和操作方法，并允许应用程序、工具、框架更加轻松地查询、查看、更新、绑定和内省数据。SDO架构具有以下优势。

（1）支持动态编程模型和静态编程模型。静态、强类型接口为应用开发者提供了一种简单易用的编程模型，这适用于开发时元数据即以明确的情况。但是，一些动态查询生成的结果数据的范围是不确定的，这种情况下，静态接口是不可行的。因此，对于一种统一的数据编程技术而言，需要同时无缝地支持静态和动态数据API。

（2）支持离线编程模型。客户端能够读取一组数据，短时间内保留在本地，操作这些数据，然后将这些修改提交到数据源中，这种方式能够使客户端在断线的情况下进行数据修改，满足了众多的应用需求，如Web 应用中的表单修改。

Web Service作为一种炙手可热的技术，应用到企业的IT系统和商业流程之中，并给企业带来直接的经济效益，一直以来得到了国内外企业管理者的推崇。在最低层次上，一个Web服务仅仅是在你的后端信息基础设施上执行的另一个程序。从外部的使用者的角度而言，Web服务是一种部署在Web上的对象/组件。

Web Service具有以下的主要特性：

(1) 互访性。Web服务通过SOAP实现相互间的访问，任何Web 服务都可以与其他Web 服务进行交互，避免了不同协议之间的相互转换。Web服务可以用任何语言编写，同时还可以在新的Web服务中使用已有的Web服务，而不必考虑Web服务的实现语言、运行环境等具体实现细节。

(2) 普遍性。Web服务使用HTTP和XML进行通信，任何支持这些技术的设备都可以拥有和访问Web 服务。

(3) 高效性。Web服务供应商提供的免费工具箱能够让开发者快速创建和部署自己的Web服务，其中某些工具箱还可以让已有的组件方便地成为Web 服务，这样就降低了Web服务的开发费用，同时也加快了开发速度。 

发明内容

本发明的目的是在异构、信息源分散、复杂信息采集的网络环境下，设计一种基于SOA的层级式多源异构数据融合技术与共享方法。

本发明的技术方案是：基于SOA的层级式多源数据融合方法，它的步骤如下：

(1) 建立基于面向服务体系结构的层级式多源数据融合体系，所述层级式多源数据融合体系分为用户接口层、业务层、中间件层、数据源层四个部分，所述用户接口层负责用户与系统的交互；业务层由四部分组成：查询分析器、查询队列、结果抽取器、数据包装器；查询分析器负责接收用户接口层的访问请求，对接收用户接口层进行语法解析，验证接收用户接口层访问请求的合法性，进行优化整理；结果抽取器负责对数据图逐个抽取后，形成新的数据图，并将新的数据图交给数据包装器；数据包装器负责将接收到的数据图形成标准数据图，返回给用户接口层进行结果展示，中间件层的XML数据集成模块完成对多源数据的访问，并将访问所得的结果数据生成目标XML文档返回给业务层，数据层是参与数据集成的各部门子系统所拥有的数据；

(2) 建立XML数据集成方案，运用一种以XML Schema为多源异构数据集成公共模型的方式，设计并实现对关系型数据库关系模式到XML模式的转换方法，使用输出模式到全局模式的全局映射以及局部模式到输出模式的局部映射的方法，解决多源异构数据集成平台模式与底层数据模式之间的映射问题，建立集成系统的公共模型；设计并实现对查询处理器中基于公共模型的XQuery全局查询分解处理；

(3) 建立Web 服务式的数据交换与共享方法，利用Web Service技术，在中间层建立一个公共的集成环境，中间件通过Web Service 访问每个局部数据源，将Web Service技术融入到多源异构数据集成的系统框架中，通过将每个异源数据源封装为一个Web服务，实现对异源数据源的无缝集成。

本发明的有益效果是：针对企业应用中各部门信息系统孤立、信息源分散，系统数据集成共享能力差的特点，提出了基于SOA层级式多源数据融合技术，该技术够屏蔽各异源数据的平台、系统环境、内部数据结构等方面的异构性，为用户提供了一个统一、透明的访问接口，实现对各异源数据中数据的集成处理。最终解决“信息孤岛”问题，达到信息的充分共享，以及提高信息应用水平。

本发明结合SOA等相关技术的优势，提出基于SOA层级式多源数据融合的构思，为分散的多源异构数据融合与共享提供了一种新的设计模式。

附图说明

图1 SDO数据集成体系结构图；

图2 SDO服务数据对象架构图；

图3 XML数据集成模块内部结构图；

图4 Web服务数据交换共享设计结构图。

具体实施方式

1. 基于面向服务的体系结构的多源数据集成方法

该方法将系统分为用户接口层、业务层、中间件层、数据源层四个部分。系统结构如附图1所示。用户接口层的主要任务是负责用户与系统的交互。系统提供访问界面，用户根据需求提出个人的访问请求，并将访问请求提交给业务层进行处理，当业务层将请求所获得的响应结果返回时，系统将处理结果以友好的形式展现给用户。业务层主要由四部分组成：查询分析器、查询队列、结果抽取器、数据包装器。查询分析器负责接收用户接口层的访问请求，对其进行语法解析，验证其访问请求的合法性，并进行优化整理。结果抽取器负责对数据图逐个抽取后，形成新的数据图，并将其交给数据包装器。数据包装器负责将接收到的数据图形成标准数据图，返回给用户接口层进行结果展示。中间件层的XML数据集成模块完成对多源数据的访问，并将访问所得的结果数据生成目标XML文档返回给业务层。数据层是参与数据集成的各部门子系统所拥有的数据。

SDO架构由元数据 (Metadata)、数据中介服务(Data Mediator Service，DMS)、数据图 ( Data Graph)、数据对象(Data Object)、SDO客户端 ( SDO Client)和数据源 (Data Source) 构成。SDO架构如附图2所示。

数据源：SDO能够对多种数据源进行访问、更新，如关系数据库、XML 数据文档、Web 数据等。

数据中介服务：SDO本身不与数据源进行连接，对数据源的访问、更新均由数据中介服务完成；不同的数据源采用不同的数据中介服务；SDO的API一致性通过不同的数据中介服务得以保证。

数据对象：是SDO的核心概念，数据对象是由属性及属性值，以及数据对象间关系的描述构成的。数据对象包含了一般性的属性getter、setter方法和新增数据对象、修改数据对象、属性值多种索引的API；同时提供序列Sequence的API操作，序列Sequence是数据对象内部对属性、类型的一种封装机制，用于支持对非结构化数据的支持。

数据图：数据图是整个数据的封装，包括了数据对象及对数据对象更改的记录。数据图

由数据中介服务访问数据源后依据元数据封装而成，SDO 对数据源的访问、更新，实际上是对数据图进行访问和更新, 对数据的增、删、改等操作首先被记录在修改摘要中, 然后由数据中介服务依据修改摘要对数据源进行相应的更新操作。

元数据: 元数据描述了数据对象中数据的类型, 数据间的关系及约束, 是数据中介服务创建数据图时的依据, 也是数据对象实例化的依据。SDO 客户端可以根据元数据的内容对数据对象进行内省。

2. XML数据集成模块设计

XML数据集成模块的中间件层包含映射文件和转换器，模块内部结构如附图3所示。转换器根据用户查询和相应的映射文件从数据库中抽取数据并转换为XML文档传递给业务层以供进一步处理后反馈给用户接口层，转换器中主要组件及功能介绍如下：

(1)查询解析模块：该模块实现对XQuery查询请求的语法解析，生成XQuery语法树，根据XQuery查询读入相应的映射文件，并将映射文件解析为一棵映射树，最后将解析结果传给查询处理模块。

(2)查询处理模块：该模块根据XQuery查询中的XPath表达式对映射树进行剪枝，生成一棵新的映射树，并对映射文件中的查询语句进行优化，经过此查询处理，只有符合用户要求的数据会被查询。

(3)查询执行模块：该模块生成一系列查询分派给各个数据源执行，并进行数据类型转换、组合查询结果。最后根据用户查询生成目标XML文档。

(4)类型转换模块：该模块由一系列数据类型转换函数组成，提供给查询执行模块调用，根据需要将从数据库中抽取出来的数据转换为符合DTD或XML Schema要求的数据。

在执行查询的过程中，由业务层发送过来的查询命令是要被分解的，以便准确的将查询命令转发给各个分布式系统服务接口，进而完成信息查询命令。查询分解算法如下：

查询分解是应用全局本体的推理结果，将全局查询映射成以各局部本体术语表示的子查询集，这一过程需要满足2个标准：一是分解后语义的正确性。分解后的从数据源获得的查询结果应该是分解前的查询所期望的正确结果。二是访问的数据源最少。为了避免重复访问同一数据源，查询分解后得到的查询应该明确到每个要访问的数据源。查询分解的目标是根据本体推理得到的推理结果列表，将全局查询分解为局部查询，即每一个子查询都只涉及到一个具体的数据源。因此，子查询的构建是进行语义查询的基础。对于XQuery全局查询语句，需进行全局查询的分解，将其分解到针对局部本体甚至基于各数据源的子查询。

本文拟以关系和XML两种数据源为例，前者应具体到数据库中的某个或某些表；后者具体到某个或某些XML文件．由XQuery语言FWR表达式性质可知，构造子查询包括：构造查询范围（for子句）、构造子查询条件（where子句）和构造子查询输出属性集（return子句）。因此算法将针对这三方面讨论查询分解，即分别对全局查询语句进行分解，得到不同数据源的子查询的查询范围、条件和结果、输出属性集等。

查询范围主要指查询语句所涉及的数据关系概念（对于XQuery，即指查询语句中的for语句）。从数据源考虑，对于关系数据库是确定查询所涉及的表；对于XML数据源则是确定XML文件。

在全局查询XQuery语句中，for子句包含了一个或多个形如“$var in E”的子项，可表示为$var in E_k(k>=１)．其中$var表示变量，E_k表示表达式,k表示本体推理产生的关于全局概念E的同义概念列表个数。对于每个子项，操作过程为：

1）分析字符串“for $var in E_k”,分离变量$var和表达式E_k。

2）将查询推理结果列表，从列表中取E_k1；如果E_k1与E_k同义且E_k1属于数据源1，则构造查询子句“for $var in E_k1”，将E_k1加入数据源1的for子句集合中；若不属于数据源1，而属于数据源2，则构造查询子句“for $var in E_k1”，将E_k1加入数据源2的for子句集合中。

3）之后可根据对全局本体的推理结果进行替换，最终形成子项列表。重复执行2）直到算法结束。

在XQuery查询语句中，查询条件是由where子句确定的。where子句给出所有的查询条件，其中包含一个或多个形如“E₁ op E_r”的子项，多个子项用and连接。每个子项中的E₁和E_r都是表达式；E_r可为常量表达式，op表示2个表达式之间的操作符。该子项可表示为“E_1k op E_rk”（k>1）。对于每个子项，操作过程为：1）用E_1k的推理结果E_1k’代替E_1k;2)判断E_rk是否为常量，如果“是”,则不需替换直接与E_1k’组成新的E_1k’op E_rk表达式；如果“否”，则用E_rk’代替E_rk，形成新的表达式E_1k’op E_rk’；3）将每次构造的新子项添加到where子句列表中。该替代过程是循环执行的，循环次数取决于where子句列表中k的值（子项个数）。构造查询条件子句时应注意：假设全局查询语句中where子句中包括的条件表达式个数为n（相当于出现and的次数加1），则算法得到的条件子句中也应具有n个条件。该算法由于op两端均为表达式，因此生成查询条件子句时相对复杂一些，且生成数据源的条件子句时易出现条件缺失或产生非该数据源的条件。解决办法是在定义局部本体时，使用的概念应尽可能地体现该局部本体的数据源（可用添加概念前缀方法实现），以使在进行数据源条件子句匹配时易于实现、避免出错。

在该系统模块中，映射文件以源代码的形式存在，对应数据在用户查询之前并不被物化，因此，每次查询到的数据都是最新的。因为各数据库系统一般都具有针对其自身特点的查询优化策略，查询被分配到各个数据库以充分利用它们各自的查询能力，从而效率得以提高；同时只有符合用户要求的数据被物化，减少了数据库与查询转换引擎之间的数据流量，因此，该设计理念具有实时性、高效性和动态性等特点。

3. Web Service的数据交换与共享设计

此共享方法将Web Service技术融入到多源异构数据集成的系统框架中，通过将每个数据源封装为一个Web服务，实现对各数据源的无缝集成。Web服务数据交换共享设计结构如附图4所示。

Web Service数据交换与共享原理如下：

基于上述XML和Web Service的技术优势，可以把不同结构的数据库中的数据，转换成XML结构的数据，通过HTTP协议在网络中传输，接收方可以把收到的XML数据进行转换，转换成其他方式的数据。这样，在异构数据系统中实现了数据的透明访问，用户就可以将异构分布式数据库系统看成普通的分布式数据库系统，用自己熟悉的数据处理语言去访问数据库，如同访问一个数据库系统一样。

对于统一管理层所定义的标准服务由每个子系统来实现，通过对统一管理层所定义的服务的调用实现对每个子系统数据的获取。每个子系统所提供的数据服务都用WSDL描述并且注册到一个UDDI注册表中。当系统不能提供服务的时候则从UDDI中将其注销。由于统一管理层是通过WSDL的定义去调用服务，只要服务接口定义不变，则用户不必关心服务的实现方式。统一管理层通过查询UDDI上所提供的标准服务信息进行服务调用，如果以后有了新的子系统只要提供了标准服务并且注册到UDDI注册表上，那么就可以被统一管理层自动发现并且进行调用，也就是说统一管理层可以动态扩展。这样只需要将执行命名通过统一的管理层平台，就可以对所有的子系统数据进行操作。

Claims (1)

1.基于SOA的层级式多源数据融合方法，它的步骤如下：

(1) 建立基于面向服务体系结构的层级式多源数据融合体系，所述层级式多源数据融合体系分为用户接口层、业务层、中间件层、数据源层四个部分，所述用户接口层负责用户与系统的交互；业务层由四部分组成：查询分析器、查询队列、结果抽取器、数据包装器；查询分析器负责接收用户接口层的访问请求，对接收用户接口层进行语法解析，验证接收用户接口层访问请求的合法性，进行优化整理；结果抽取器负责对数据图逐个抽取后，形成新的数据图，并将新的数据图交给数据包装器；数据包装器负责将接收到的数据图形成标准数据图，返回给用户接口层进行结果展示，中间件层的XML数据集成模块完成对多源数据的访问，并将访问所得的结果数据生成目标XML文档返回给业务层，数据层是参与数据集成的各部门子系统所拥有的数据；

 (2) 建立XML数据集成方案，运用一种以XML Schema为多源异构数据集成公共模型的方式，设计并实现对关系型数据库关系模式到XML模式的转换方法，使用输出模式到全局模式的全局映射以及局部模式到输出模式的局部映射的方法，解决多源异构数据集成平台模式与底层数据模式之间的映射问题，建立集成系统的公共模型；设计并实现对查询处理器中基于公共模型的XQuery全局查询分解处理；

(3) 建立Web 服务式的数据交换与共享方法，利用Web Service技术，在中间层建立一个公共的集成环境，中间件通过Web Service 访问每个局部数据源，将Web Service技术融入到多源异构数据集成的系统框架中，通过将每个异源数据源封装为一个Web服务，实现对异源数据源的无缝集成。

Images