CN100542178C - 基于数据流技术的多源异构数据集成系统 - Google Patents

Abstract

一种电信技术领域的基于数据流技术的多源异构数据集成系统，包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器。数据源管理服务器提供与外部异构数据源的接口，实现数据源的注册，并将采集数据传送到数据交换服务器。数据交换服务器管理局部模式和全局模式，以及存储它们之间的映射规则；对输入的数据实现局部模式和全局模式之间映射。数据流建模服务器根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型。数据流执行管理服务器与外部应用系统的连接、负责数据流启动执行，并将数据流流程结果返回给外部应用系统。本发明模块清晰，具有动态性、通用性及灵活性。

Description

基于数据流技术的多源异构数据集成系统

技术领域

本发明涉及的是一种电信技术领域的系统，具体地说是一种用于解决分布式多源异构数据集成的基于数据流技术的多源异构数据集成系统。

背景技术

信息化时代和全球经济竞争的环境下，随着信息化的不断发展，各行业、单位或者机构、部门内部逐渐实现了业务信息化。但由于业务和功能归属不同，所采用的计算机环境由不同平台组成，形成了大量分布式异构数据源，这些孤立的异构数据源也被称为“信息孤岛”。对多个异构数据源提供统一的表示、存储、查询和管理的工作称为信息集成。当前，不同人不同组织开发的针对不同领域的数据集成系统重复开发，系统灵活性差，增加了系统开发和维护的开销。现在缺乏各信息领域都能通用的灵活的，可扩展的数据交换集成系统。本发明将数据流技术引入数据集成领域，以一种柔性的手段为用户提供了可定制的数据服务，实现异构数据交换和集成，从根本上解决数据交换集成系统的灵活性、可扩展性和重用性。

经对现有技术文献的检索发现，中国专利申请号0410057020.9，发明名称：数据交换方法，公开号：CN1738309，该专利涉及的数据交换系统中，系统通过定义可扩展标记语言的文本格式，对交换数据进行封装，实现数据交换。但不能解决数据交换中出现的语义异构和数据冲突。该数据交换系统：(1)添加新的异构数据源时，需要重新定义可扩展标记语言，可扩展性差，难于实现该方法的即插即用。(2)需根据不同的应用领域定义可扩展标记语言文本格式，限制了该方法的应用领域，影响了数据交换集成系统的通用性。(3)由于不同数据源对同一数据项提供的数据可能会产生冲突，信息集成需要消除数据冲突，而该系统没有解决数据交换集成中出现的数据冲突问题。

发明内容

本发明针对现有技术的不足与缺陷，提供一种基于数据流技术的多源异构数据集成系统，使其能够在分布式环境下为不同信息集成系统提供一种灵活、通用的即插即用的数据集成系统，解决当前信息集成系统需要对数据集成功能进行重复开发，以及现有数据集成系统不能满足信息系统需求，以及不灵活、可扩展性差的问题，推动数据集成的应用和发展。

本发明是通过以下技术方案实现的，本发明包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器。

所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性；接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器。

所述数据交换服务器，接收数据源管理服务器传送的数据，管理各异构数据源提供的局部模式和由此生成的系统全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的数据全局模式和局部模式之间的映射，以及对数据源管理器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射。

所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中。

所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回的给外部应用系统。

外部异构数据源和外部应用系统是与本发明系统交互的两个外部系统，本发明的任务需求来自外部应用系统，集成的数据来自外部异构数据源，集成结果返回给外部应用系统。

所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，主要负责与外部异构数据源进行连接和数据交互，并负责外部异构数据源的注册，提供对外部异构数据源的相关描述信息；其中系统连接单元主要负责与外部异构数据源进行连接，外部异构数据源可以通过系统连接单元提供的接口与本发明系统进行连接，从而实现本发明系统在各种信息系统中的即插即用；数据管理单元主要负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部数据模式、数据源连接属性等相关信息，以及向数据模式服务器提供描述本数据源数据的局部模式；数据源存储单元负责存储外部异构数据源的注册信息。

所述的数据交换服务器包括：数据模式管理单元、数据交换引擎单元。整个系统中数据模式包括全局模式和局部模式：局部模式由每个外部异构数据源各自提供，描述本数据源所提供的数据内容；全局模式为系统对所有局部模式进行合成所生成的，面向外部应用系统描述当前整个系统所提供的数据内容，使整个数据交换集成系统对外部应用系统提供数据的统一表示格式，屏蔽了外部异构数据源的异构性。数据模式单元负责收集各外部异构数据源提交的局部模式，并按照提供者和类型进行存储，通过映射工具将各局部数据模式合成为全局模式。并且负责将输入的局部模式合成到全局模式中，以及局部模式和全局模式之间的映射，模式和映射规则的存储、增加、删除、修改、查找操作。数据交换引擎单元根据数据模式管理单元提供的映射规则实现了数据的全局模式和局部模式之间的映射，并调用相应的数据源操作。

所述的数据流建模服务器包括：模型编辑器、面向对象的模型表示和组件单元和模型库。模型编辑器不直接与文件系统或者是数据库系统连接。面向对象的模型表示和组件单元一方面提供了存取模型库的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法(例如增加、删除、修改活动的属性等)。模型编辑器将这些内存模型映射成图形化的表示，显示于屏幕上。组件是为协同建模而设计的。

所述的数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元；其中数据流引擎单元在系统中负责解释数据流定义；控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态；管理活动执行事件和执行历史；管理并维护数据流相关数据。数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎单元的复杂性；数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

外部异构数据源之间的数据交换集成可以有复杂的模型。例如从多个数据源获得的数据再插入到多个数据源、依据一个数据源中获得的数据在第二个数据源中查询相关数据再插入另外一个数据源、依据某些条件将数据插入某些数据源等。为了支持对这种复杂数据交换逻辑的描述，本发明提出了一个基于柔性数据流定义的数据集成系统，可以满足外部应用系统对数据集成的多种需求。本发明能够准确有效的对各类异构数据源进行动态交换集成。本发明是一种在互联网、广域网和局域网环境中，具有开放性和低成本的数据交换集成应用解析、数据模式管理、数据采集、数据源管理、集成服务柔性定制、数据交换集成能力的跨网络、跨平台、跨数据库的基于数据流技术的多源异构数据集成系统。本发明具有用户根据可视化图形界面进行数据流建模，使系统功能可以根据用户需求的不同进行扩展，具有一定的灵活性。同时，本发明可以以即插即用的方式对数据交换集成系统中新添加的异构数据源进行集成，适应信息领域发展对数据交换集成技术的需要。系统采用开放、模块化、可扩展的架构，数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器可以位于一台计算机中，也可以是分布在网络环境中的多台设备中，易于以即插即用的方式集成至信息系统中，减少了构建信息集成系统的开销，并适应未来增长需要。

与现有技术相比，本发明的特点在于：1)灵活性：用户根据可视化图形界面进行数据流建模，是系统功能可以根据用户需求的不同进行扩展，具有一定的灵活性。；2)实时性：数据是存储在分布式异构数据源中的，数据交换集成系统按应用需求动态采集分布式异构数据源上存储的数据，不存在数据延时的问题；3)通用性：本发明具有很强的通用性，不同领域的异构数据源以即插即用的方式通过接口与数据交换集成系统进行交互，适应信息集成发展的需求。

附图说明

图1为本发明的系统框架图；

图2为本发明的数据流建模服务器的数据流程图；

图3为本发明的数据流执行管理服务器的框架图；

图4为本发明系统功能示意图。

具体实施方式

下面对本发明的一实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实施例系统以微机为设备平台，基于数据流技术解决分布式多源异构数据的集成。

如图1所示，本实施例包括数据源管理服务器1、数据交换服务器2、数据流建模服务器3、数据流执行管理服务器4。

数据源管理服务器1提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性；接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器。与数据源管理服务器1相连的数据交换服务器2管理各异构数据源提供的局部模式和由此生成的系统全局模式，以及存储局部模式和全局模式之间的映射规则；根据映射规则实现数据集成任务涉及的数据全局模式和局部模式之间的映射；对数据源管理器1输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器4输入的参数实现由全局模式到局部模式的映射。数据流建模服务器3根据数据交换服务器4提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中。与数据交换服务器2相连的数据流执行管理服务器4负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器2，并将数据流流程结果返回给外部应用系统。

如图2所示，数据流建模是图形化的建模工具，是一种描述数据流过程定义，把实际的过程步骤用图形的方法描述出来并产生或转化成规范的、可被计算机处理的形式化描述，所生成的数据流模型最终将以文件的形式保存。数据流建模服务器3采用基于中间件的三层体系结构。模型编辑器33是可视化图形界面，它不直接与文件系统或者是数据库系统连接。面向对象的模型表示和组件32一方面提供了存取模型库31的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法(例如增加、删除、修改活动的属性等)。模型编辑器33将这些内存模型映射成图形化的表示，显示于屏幕上。组件是为协同建模而设计的。

如图3所示，数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元；其中数据流引擎单元在系统中负责解释数据流定义；控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态；管理活动执行事件和执行历史；管理并维护数据流相关数据。数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎服务器的复杂性；数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

其中：

数据流引擎单元包括规则解析器、状态管理组件和事件管理器。数据流的运行是一个事件驱动活动的过程，在数据流执行过程中，根据事件管理器中记录的事件判断规则解析器中是否有某些规则的条件表达式为真。如果为真，则去执行相应的活动。系统执行相应的动作后，又会引发新的事件，记录到事件管理器。状态管理部件描述活动由开始转化为结束或放弃的内部条件，以及某一活动的结束引发另一活动的开始条件。事件管理器负责记录系统中的发生的各种事件，并给予维护。

数据流管理单元包括数据流实例化管理器和变量管理部件，数据流实例化管理器负责数据流实例化过程，是以数据流模型为模板创建数据流对象的过程。在数据流模型中，有很多必须的变量，这些系统变量关系到流程的具体运作情况，而这些变量通常又是决定于某个活动中的某个文档，由变量管理部件管理。

数据流服务接口单元负责与外部应用系统的连接，外部应用系统通过数据流服务接口单元获取数据流的相应服务，以支持外部应用系统所需的服务。

如图4所示，数据源管理服务器管理数据源，包括数据源的添加、查询、删除等操作。系统通过数据交换服务器以全局模式视图对外部应用系统提供统一的数据视图，可以屏蔽外部数据源的异构性，使数据流中的活动通过对统一的全局模式数据的操作来处理外部数据源的数。在显示终端，通过数据流建模服务器中的可视化图形界面进行数据流的建模，扩展系统的功能，满足外部应用系统需求。数据流执行管理服务器执行外部用户定制的服务，获得外部应用系统所需结果。

本实施例中，所述的数据源管理服务器、数据交换服务器、数据流建模服务器和数据流执行管理服务器位于同一台计算机中或分布在同一个网络环境中的多台计算机中。

Claims (10)

1、一种基于数据流技术的多源异构数据集成系统，其特征在于，包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器，

所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；

所述数据交换服务器，接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；

所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中；

所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

2、根据权利要求1所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，其中系统连接单元负责与外部异构数据源进行连接，外部异构数据源通过系统连接单元提供的接口与整个系统进行连接，从而实现整个系统在各种信息系统中的即插即用，数据管理单元负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部模式、数据源连接属性相关信息，以及向数据源管理服务器提供描述本数据源数据的局部模式，数据源存储单元负责存储外部异构数据源的注册信息。

3、根据权利要求1所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据交换服务器包括：数据模式管理单元、数据交换引擎单元，数据模式管理单元负责收集各外部异构数据源提交的局部模式，并按照提供者和类型进行存储，通过映射工具将各局部数据模式合成为全局模式，并且负责将输入的局部模式合成到全局模式中，以及局部模式和全局模式之间的映射，模式和映射规则的存储、增加、删除、修改、查找操作，数据交换引擎单元根据数据模式管理单元提供的映射规则实现了数据的全局模式和局部模式之间的映射，并调用相应的数据源操作。

4、根据权利要求1或3所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的局部模式由每个外部异构数据源各自提供，描述本数据源所提供的数据内容；所述的全局模式为系统对所有局部模式进行合成所生成的，面向外部应用系统描述当前整个系统所提供的数据内容，使整个所述的基于数据流技术的多源异构数据集成系统对外部应用系统提供数据的统一表示格式，屏蔽了外部异构数据源的异构性。

5、根据权利要求1所述的基于数据流技术的多源异构数据集成系统，所述的数据流建模服务器包括：模型编辑器、面向对象的模型表示和组件单元和模型库，模型编辑器不直接与文件系统或者是数据库系统连接，面向对象的模型表示和组件单元一方面提供了存取模型库的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法，模型编辑器将这些内存模型映射成图形化的表示，显示于屏幕上，其中的组件是为协同建模而设计的。

6、根据权利要求1所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元，其中数据流引擎单元在系统中负责解释数据流定义，控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态，管理活动执行事件和执行历史，管理并维护数据流相关数据，数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎单元的复杂性，数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

7、根据权利要求6所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据流引擎单元包括规则解析器、状态管理组件和事件管理器，数据流的运行是一个事件驱动活动的过程，在数据流执行过程中，根据事件管理器中记录的事件判断规则解析器中是否有某些规则的条件表达式为真，如果为真，则去执行相应的活动，系统执行相应的动作后，又会引发新的事件，记录到事件管理器，状态管理部件描述活动由开始转化为结束或放弃的内部条件，以及某一活动的结束引发另一活动的开始条件，事件管理器负责记录系统中的发生的各种事件，并给予维护。

8、根据权利要求6所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据流管理单元包括数据流实例化管理器和变量管理部件，数据流实例化管理器负责数据流实例化过程，是以数据流模型为模板创建数据流对象的过程，在数据流模型中，有很多必须的系统变量，这些系统变量关系到流程的具体运作情况，而这些系统变量又是决定于某个活动中的某个文档，由变量管理部件管理。

9、根据权利要求6所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据流服务接口单元负责与外部应用系统的连接，外部应用系统通过数据流服务接口单元获取数据流的相应服务，以支持外部应用系统所需的服务。

10、根据权利要求1所述的基于数据流技术的多源异构数据集成系统，其特征是，所述的数据源管理服务器、数据交换服务器、数据流建模服务器和数据流执行管理服务器位于同一台计算机中或分布在同一个网络环境中的多台计算机中。

Images