CN105488229A - 一种异构数据环境下的数据交换与集成方法 - Google Patents

Abstract

本发明公开了一种异构数据环境下的数据交换与集成方法，涉及异构数据处理技术领域。该方法根据数据源类型设计数据模型，以对来自不同数据源的各种数据进行表示，从而便于进行统一处理；其次考虑到数据的转换问题，将来自不同数据源的各种数据转换成统一的数据格式以便进行统一的处理，最后对集成目标数据源进行统一的数据加载。通过面向各种数据源和处理过程的可复用的数据处理组件，使得数据处理组件的可复用性强，提高了对多种数据源的兼容性和可重用性。

Description

一种异构数据环境下的数据交换与集成方法

技术领域

本发明涉及异构数据处理技术领域，尤其涉及一种异构数据环境下的数据交换与集成方法。

背景技术

随着信息技术快速发展，特别是互联网和移动互联网的迅猛发展，在许多企业、单位或机构、部门内部都各自建设了信息化系统。但是，各个企业、部门或机构由于业务和各自状况不同，所以这些应用系统拥有各自的数据存储和访问方式，彼此之间相对独立，进而形成一个个“信息孤岛”。随着信息化管理水平的提高，社会对信息共享、信息维护方面的需求越来越迫切。数据共享，可以使更多的人更充分地使用已有的数据资源，减少资料收集、数据采集等重复劳动和相应费用。但是，在实施数据共享的过程中，由于不同系统提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍数据在各部门和软件系统中的流动和共享。此外，由于现代化进程的飞速发展和部门间逐渐从一个独立节点发展成为不断与网络交换信息和进行事务的实体。因此，如何把各种有效的使数据在异构环境中有机的集成在一个平台中并实现数据交换，使得用户能够高效、简明的操作各类信息，已经成为一个重要的问题。

目前，数据交换与集成大都采用中间件模式，通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。

中间件模式数据交换与集成通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序(应用层)之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。中间件模式在中间层上存在一个虚拟的数据服务层，该层通过JDBC，FILE适配器、应用适配器等与数据层的各种数据源实现连接，将数据源中的各种数据实体映射成中间件的虚拟数据层的表，虚拟数据层中的表都只有元数据，而不存储实际的生产数据。用户可以在虚拟数据层上采用可视化图形界面定义数据映射关系，进行数据加工整合，这些数据加工逻辑一般会以文件或者数据库方式存储。

但是，中间件模式数据交换与集成方法具有如下缺点：

异构数据源兼容性弱：当前数据源种类繁多，中间件集成方法对HBase、mongodb等大数据数据源的交换与集成兼容性较弱；

可重用性差：将数据整合模式应用到特定集成场景后，能够将该整合过程作为服务提供给多个服务者使用的变化能力差。

发明内容

本发明的目的在于提供一种异构数据环境下的数据交换与集成方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种异构数据环境下的数据交换与集成方法，包括如下步骤：

S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；

S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。

优选地，S1中，所述集成引擎模块包括：源数据管理引擎、工作引擎、步骤引擎和/或数据库访问引擎。

优选地，S1中，所述数据源包括：数据库、XML数据和/或文件。

优选地，S1中，所述数据处理和转换步骤，包括：

S101，获取需要进行数据处理和转换的第一数据源和第二数据源；

S102，将所述第一数据源和所述第二数据源进行比对，得到比对结果；

S103，根据所述比对结果，确定数据处理和转换的目标和任务；

S104，根据所述数据处理和转换的目标和任务，进行数据处理和转换的操作。

优选地，所述数据处理和转换的操作，包括：插入、删除、更新和/或修改数据。

优选地，S2中，所述调度与监控模块对所述作业文件进行执行，具体为，所述调度与监控模块根据用户配置的时间策略自动执行所述作业文件。

优选地，所述时间策略包括：执行启动时间、执行截止时间、执行频度和/或执行引擎。

优选地，S2中，还包括步骤：在web端对所述监控进行统一的数据可视化视图展示。

优选地，所述在web端对所述监控进行统一的数据可视化视图展示，在web作业管理与监控模块中实现，且所述web作业管理与监控模块基于REST接口形式对外提供服务。

优选地，所述作业文件被封装成XML格式的作业文件。

本发明的有益效果是：本发明实施例提供的异构数据环境下的数据交换与集成方法，提供了面向各种数据源和处理过程的可复用的数据处理组件，而且数据处理组件的可复用性强，提高了对多种数据源的兼容性和可重用性。

附图说明

图1是本发明实施例提供的数据交换与集成方法示意图；

图2是数据处理与转换步骤流程示意图；

图3是作业文件部分内容示意图；

图4是用户配置作业文件信息的界面示意图；

图5是用户设置执行策略的界面示意图；

图6是监控记录的显示界面示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

随着信息化技术发展，当前大数据技术已经得到了快速的发展，并出现了很多非结构化数据源，针对异构的数据源，本发明采用可插拔组件方式，实现多数据源集成、数据访问的透明性以及实现数据源的即插即用。所以本发明的首要任务就是根据数据源类型设计数据模型，以对来自不同数据源的各种数据进行表示，从而便于进行统一处理；其次考虑到数据的转换问题，将来自不同数据源的各种数据转换成统一的数据格式以便进行统一的处理，最后对集成目标数据源进行统一的数据加载。

在此方法中,用户对信息的访问、操作并不是直接作用于数据源，而是通过访问虚拟数据库接口实现的。该方法采用C/S和B/S架构相结合方式，其中集成引擎的工作区采用C/S实现，基于配置可视化形式，用户对于数据交换与集成采用组件选择和动态配置方式，其中组件设计为可插拔形式，且针对不同异构数据源可快速进行开发新的组件，组件之间通信采用统一接口，实现组件之间的快速对接。

如图1所示，本发明实施例提供了一种异构数据环境下的数据交换与集成方法，包括如下步骤：

S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；

S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。

其中，S1中，所述集成引擎模块包括：源数据管理引擎、工作引擎、步骤引擎和/或数据库访问引擎。

S1中，所述数据源包括：数据库、XML数据和/或文件。

S1中，所述数据处理和转换步骤，包括：

S101，获取需要进行数据处理和转换的第一数据源和第二数据源；

S102，将所述第一数据源和所述第二数据源进行比对，得到比对结果；

S103，根据所述比对结果，确定数据处理和转换的目标和任务；

S104，根据所述数据处理和转换的目标和任务，进行数据处理和转换的操作。

其中，所述数据处理和转换的操作，包括：插入、删除、更新和/或修改数据。

以对数据库中的两个数据表中数据进行交换与集成过程为例，说明数据处理和转换步骤，可参见图2：

首先获取源表和目标表；

然后对源表和目标表进行比对，根据比对结果确定目标；

对目标数据进行插入、删除、更新或修改等操作，从而完成源表数据向目标表数据的交换与集成。

本发明实施例中，S2中，所述调度与监控模块对所述作业文件进行执行，具体可以为，所述调度与监控模块根据用户配置的时间策略自动执行所述作业文件。

其中，所述时间策略包括：执行启动时间、执行截止时间、执行频度和/或执行引擎。

本实施例中，S2中，还可以包括步骤：在web端对所述监控进行统一的数据可视化视图展示。

本实施例中，所述在web端对所述监控进行统一的数据可视化视图展示，在web作业管理与监控模块中实现，且所述web作业管理与监控模块基于REST接口形式对外提供服务。

上述步骤的实现方法可以采用Java语言编程，其中组件封装了对数据源操作的CRUD的实现方法，并基于REST接口形式对外提供服务，从而实现各个组件之间的灵活管理和配置。

本发明实施例中，所述作业文件被封装成XML格式的作业文件。

具体实施例：

以对数据库中的两个数据表中数据进行交换与集成方法的实现为例，对本发明提供的方法进行详细的说明，按照如下步骤进行实施：

1、根据数据交换与集成需求进行配置数据模型，数据配置模型如图2所示。

2、该模型被封装成作业文件，每个转换步骤被记录在该文件中，作业文件部分内容如图3所示。

3、在web端作业管理中添加作业文件，配置作业文件信息，如图4所示。

4、配置数据交换与集成执行策略，包括频度、计划等参数，如图5所示。

5、作业执行后，对执行过程进行监控，记录数据交换日志和交换状态，如图6所示。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明实施例提供的异构数据环境下的数据交换与集成方法，提供了面向各种数据源和处理过程的可复用的数据处理组件，而且数据处理组件的可复用性强，提高了对多种数据源的兼容性和可重用性。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域人员应该理解的是，上述实施例提供的方法步骤的时序可根据实际情况进行适应性调整，也可根据实际情况并发进行。

上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种异构数据环境下的数据交换与集成方法，其特征在于，包括如下步骤：

S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；

S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。

2.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，S1中，所述集成引擎模块包括：源数据管理引擎、工作引擎、步骤引擎和/或数据库访问引擎。

3.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，S1中，所述数据源包括：数据库、XML数据和/或文件。

4.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，S1中，所述数据处理和转换步骤，包括：

S101，获取需要进行数据处理和转换的第一数据源和第二数据源；

S102，将所述第一数据源和所述第二数据源进行比对，得到比对结果；

S103，根据所述比对结果，确定数据处理和转换的目标和任务；

S104，根据所述数据处理和转换的目标和任务，进行数据处理和转换的操作。

5.根据权利要求4所述的异构数据环境下的数据交换与集成方法，其特征在于，所述数据处理和转换的操作，包括：插入、删除、更新和/或修改数据。

6.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，S2中，所述调度与监控模块对所述作业文件进行执行，具体为，所述调度与监控模块根据用户配置的时间策略自动执行所述作业文件。

7.根据权利要求6所述的异构数据环境下的数据交换与集成方法，其特征在于，所述时间策略包括：执行启动时间、执行截止时间、执行频度和/或执行引擎。

8.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，S2中，还包括步骤：在web端对所述监控进行统一的数据可视化视图展示。

9.根据权利要求8所述的异构数据环境下的数据交换与集成方法，其特征在于，所述在web端对所述监控进行统一的数据可视化视图展示，在web作业管理与监控模块中实现，且所述web作业管理与监控模块基于REST接口形式对外提供服务。

10.根据权利要求1所述的异构数据环境下的数据交换与集成方法，其特征在于，所述作业文件被封装成XML格式的作业文件。