CN111698194A - 一种多源异构数据集成系统及方法 - Google Patents

Abstract

本发明属于数据处理技术领域，具体涉及一种多源异构数据集成系统及方法。所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；解决当前信息集成系统需要对数据集成功能进行重复开发，以及现有数据集成系统不能满足信息系统需求，以及不灵活、可扩展性差的问题，推动数据集成的应用和发展。

Description

一种多源异构数据集成系统及方法

技术领域

本发明属于数据处理技术领域，具体涉及一种多源异构数据集成系统及方法。

背景技术

信息化时代和全球经济竞争的环境下，随着信息化的不断发展，各行业、单位或者机构、部门内部逐渐实现了业务信息化。但由于业务和功能归属不同，所采用的计算机环境由不同平台组成，形成了大量分布式异构数据源，这些孤立的异构数据源也被称为“信息孤岛”。对多个异构数据源提供统一的表示、存储、查询和管理的工作称为信息集成。当前，不同人不同组织开发的针对不同领域的数据集成系统重复开发，系统灵活性差，增加了系统开发和维护的开销。现在缺乏各信息领域都能通用的灵活的，可扩展的数据交换集成系统。本发明将数据流技术引入数据集成领域，以一种柔性的手段为用户提供了可定制的数据服务，实现异构数据交换和集成，从根本上解决数据交换集成系统的灵活性、可扩展性和重用性。

经对现有技术文献的检索发现，中国专利申请号0410057020.9，发明名称：数据交换方法，公开号：CN1738309，该专利涉及的数据交换系统中，系统通过定义可扩展标记语言的文本格式，对交换数据进行封装，实现数据交换。但不能解决数据交换中出现的语义异构和数据冲突。该数据交换系统：(1)添加新的异构数据源时，需要重新定义可扩展标记语言，可扩展性差，难于实现该方法的即插即用。(2)需根据不同的应用领域定义可扩展标记语言文本格式，限制了该方法的应用领域，影响了数据交换集成系统的通用性。(3)由于不同数据源对同一数据项提供的数据可能会产生冲突，信息集成需要消除数据冲突，而该系统没有解决数据交换集成中出现的数据冲突问题。

发明内容

有鉴于此，本发明的主要目的在于提供了一种多源异构数据集成系统及方法，解决当前信息集成系统需要对数据集成功能进行重复开发，以及现有数据集成系统不能满足信息系统需求，以及不灵活、可扩展性差的问题，推动数据集成的应用和发展。

为达到上述目的，本发明的技术方案是这样实现的：

一种多源异构数据集成系统，所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；所述数据交换服务器，接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中；所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

进一步的，所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，其中系统连接单元负责与外部异构数据源进行连接，外部异构数据源通过系统连接单元提供的接口与整个系统进行连接，从而实现整个系统在各种信息系统中的即插即用，数据管理单元负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部模式、数据源连接属性相关信息，以及向数据源管理服务器提供描述本数据源数据的局部模式，数据源存储单元负责存储外部异构数据源的注册信息。

进一步的，所述的数据交换服务器包括：数据模式管理单元、数据交换引擎单元，数据模式管理单元负责收集各外部异构数据源提交的局部模式，并按照提供者和类型进行存储，通过映射工具将各局部数据模式合成为全局模式，并且负责将输入的局部模式合成到全局模式中，以及局部模式和全局模式之间的映射，模式和映射规则的存储、增加、删除、修改、查找操作，数据交换引擎单元根据数据模式管理单元提供的映射规则实现了数据的全局模式和局部模式之间的映射，并调用相应的数据源操作。

进一步的，所述的局部模式由每个外部异构数据源各自提供，描述本数据源所提供的数据内容；所述的全局模式为系统对所有局部模式进行合成所生成的，面向外部应用系统描述当前整个系统所提供的数据内容，使整个所述的基于数据流技术的多源异构数据集成系统对外部应用系统提供数据的统一表示格式，屏蔽了外部异构数据源的异构性。

进一步的，所述的数据流建模服务器包括：模型编辑器、面向对象的模型表示和组件单元和模型库，模型编辑器不直接与文件系统或者是数据库系统连接，面向对象的模型表示和组件单元一方面提供了存取模型库的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法，模型编辑器将这些内存模型映射成图形化的表示，显示于屏幕上，其中的组件是为协同建模而设计的。

一种多源异构数据集成方法，所述方法执行以下步骤：数据源管理服务器提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；数据交换服务器接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

进一步的，所述的数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元，其中数据流引擎单元在系统中负责解释数据流定义，控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态，管理活动执行事件和执行历史，管理并维护数据流相关数据，数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎单元的复杂性，数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

本发明的一种多线程游戏对战系统及方法，具有如下有益效果：1)灵活性：用户根据可视化图形界面进行数据流建模，是系统功能可以根据用户需求的不同进行扩展，具有一定的灵活性。；2)实时性：数据是存储在分布式异构数据源中的，数据交换集成系统按应用需求动态采集分布式异构数据源上存储的数据，不存在数据延时的问题；3)通用性：本发明具有很强的通用性，不同领域的异构数据源以即插即用的方式通过接口与数据交换集成系统进行交互，适应信息集成发展的需求。4)安全性：通过数据加密服务器，保证了数据传输过程中的安全。

附图说明

图1为本发明的多源异构数据集成系统的系统结构示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

一种多源异构数据集成系统，所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；所述数据交换服务器，接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中；所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

进一步的，所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，其中系统连接单元负责与外部异构数据源进行连接，外部异构数据源通过系统连接单元提供的接口与整个系统进行连接，从而实现整个系统在各种信息系统中的即插即用，数据管理单元负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部模式、数据源连接属性相关信息，以及向数据源管理服务器提供描述本数据源数据的局部模式，数据源存储单元负责存储外部异构数据源的注册信息。

进一步的，所述的数据交换服务器包括：数据模式管理单元、数据交换引擎单元，数据模式管理单元负责收集各外部异构数据源提交的局部模式，并按照提供者和类型进行存储，通过映射工具将各局部数据模式合成为全局模式，并且负责将输入的局部模式合成到全局模式中，以及局部模式和全局模式之间的映射，模式和映射规则的存储、增加、删除、修改、查找操作，数据交换引擎单元根据数据模式管理单元提供的映射规则实现了数据的全局模式和局部模式之间的映射，并调用相应的数据源操作。

进一步的，所述的局部模式由每个外部异构数据源各自提供，描述本数据源所提供的数据内容；所述的全局模式为系统对所有局部模式进行合成所生成的，面向外部应用系统描述当前整个系统所提供的数据内容，使整个所述的基于数据流技术的多源异构数据集成系统对外部应用系统提供数据的统一表示格式，屏蔽了外部异构数据源的异构性。

进一步的，所述的数据流建模服务器包括：模型编辑器、面向对象的模型表示和组件单元和模型库，模型编辑器不直接与文件系统或者是数据库系统连接，面向对象的模型表示和组件单元一方面提供了存取模型库的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法，模型编辑器将这些内存模型映射成图形化的表示，显示于屏幕上，其中的组件是为协同建模而设计的。

一种多源异构数据集成方法，所述方法执行以下步骤：数据源管理服务器提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；数据交换服务器接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

进一步的，所述的数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元，其中数据流引擎单元在系统中负责解释数据流定义，控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态，管理活动执行事件和执行历史，管理并维护数据流相关数据，数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎单元的复杂性，数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

数据加密服务器的加密方法执行以下步骤：接收待传输的原始数据；

生成指定长度的随机内容，并将生成的所述随机内容添加至所述原始数据中，以形成新数据；

基于所述新数据的长度以及所述预设冗余数据，生成所述新数据的加密密钥；

利用所述加密密钥对所述新数据进行加密。

所述随机内容的指定长度按照以下方式确定：

获取所述原始数据对应的时间戳，并将所述时间戳与所述预设冗余数据拼接为特征数据；

计算所述特征数据的哈希值，并基于所述哈希值确定所述随机内容的所述指定长度。

在利用所述加密密钥对所述新数据进行加密之后，所述方法还包括：

将所述时间戳添加至加密后的数据中，以使得所述数据解密装置基于所述预设冗余数据以及所述时间戳，确定所述指定长度，并从解密得到的数据的中去除所述指定长度的内容。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种多源异构数据集成系统，其特征在于，所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；所述数据交换服务器，接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中；所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

2.如权利要求1所述的多源异构数据集成系统，其特征在于，所述的数据源管理服务器包括：系统连接单元、数据管理单元和数据源存储单元，其中系统连接单元负责与外部异构数据源进行连接，外部异构数据源通过系统连接单元提供的接口与整个系统进行连接，从而实现整个系统在各种信息系统中的即插即用，数据管理单元负责外部异构数据源的注册，从通过系统连接单元已连接的外部异构数据源获得数据源的地址、局部模式、数据源连接属性相关信息，以及向数据源管理服务器提供描述本数据源数据的局部模式，数据源存储单元负责存储外部异构数据源的注册信息。

3.如权利要求2所述的多源异构数据集成系统，其特征在于，所述的数据交换服务器包括：数据模式管理单元、数据交换引擎单元，数据模式管理单元负责收集各外部异构数据源提交的局部模式，并按照提供者和类型进行存储，通过映射工具将各局部数据模式合成为全局模式，并且负责将输入的局部模式合成到全局模式中，以及局部模式和全局模式之间的映射，模式和映射规则的存储、增加、删除、修改、查找操作，数据交换引擎单元根据数据模式管理单元提供的映射规则实现了数据的全局模式和局部模式之间的映射，并调用相应的数据源操作。

4.根据权利要求3所述的多源异构数据集成系统，其特征在于，所述的局部模式由每个外部异构数据源各自提供，描述本数据源所提供的数据内容；所述的全局模式为系统对所有局部模式进行合成所生成的，面向外部应用系统描述当前整个系统所提供的数据内容，使整个所述的基于数据流技术的多源异构数据集成系统对外部应用系统提供数据的统一表示格式，屏蔽了外部异构数据源的异构性。

5.根据权利要求1所述的多源异构数据集成系统，所述的数据流建模服务器包括：模型编辑器、面向对象的模型表示和组件单元和模型库，模型编辑器不直接与文件系统或者是数据库系统连接，面向对象的模型表示和组件单元一方面提供了存取模型库的手段，另一方面它在内存中建立模型的数据结构并提供操作这些数据结构的方法，模型编辑器将这些内存模型映射成图形化的表示，显示于屏幕上，其中的组件是为协同建模而设计的。

6.一种多源异构数据集成方法，其特征在于，所述方法执行以下步骤：数据源管理服务器提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；数据交换服务器接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

7.如权利要求6所述的多源异构数据集成方法，其特征在于，所述的数据流执行管理服务器包括：数据流服务接口单元、数据流管理单元和数据流引擎单元，其中数据流引擎单元在系统中负责解释数据流定义，控制和管理数据流实例的创建、激活、暂停、结束；调度活动、维护活动状态，管理活动执行事件和执行历史，管理并维护数据流相关数据，数据流管理单元实际上是对数据流模型信息的隔离层，通过数据流管理实现数据流实例化、系统变量及文档提取及封装，简化数据流引擎单元的复杂性，数据流服务接口单元负责外部用户通过接口获取数据流的相应服务，将服务传递给数据流管理单元。

Images