CN106682235A - 一种异构数据映射系统及方法 - Google Patents

Abstract

本发明公开了一种异构数据映射系统及方法，系统包括元数据模块、映射规则管理器模块、映射规则模型库模块、数据映射引擎模块，方法的步骤为：通过元数据模块提供业务元数据和规则元数据；映射规则管理器模块根据提供的元数据建立数据映射关系，生成数据映射规则模型；将数据映射规则模型存储到映射规则模型库模块中；用户输入数据映射规则标识，查找数据映射规则模型；数据映射引擎模块解析查找到的数据映射规则模型，并根据解析后的数据映射规则生成目标数据。本发明的一种异构数据映射系统及方法与现有技术相比，具有高效灵活，模型简单易理解的特点，系统可分布式部署和水平伸缩等特点，可以广泛应用于异构数据集成与交换系统中，实用性强。

Description

一种异构数据映射系统及方法

技术领域

本发明涉及异构数据集成与交换技术领域，具体地说是一种异构数据映射系统及方法。

背景技术

随着电子商务的深入应用，不同企业之间的异构数据集成与交换越来越重要。而异构数据集成与交换的关键是通过数据映射技术来建立异构数据之间的一致性。目前最主要的异构数据映射技术是使用扩展样式表转换语言XSLT(eXtensible StylesheetLanguage Transformation)来实现不同的XML数据之间的数据映射与转换。XSLT基于本地文件来存储数据映射规则模型，使用XPath在XML文档中查找和匹配元素，一旦匹配被找到，就会把源文档中的匹配部分转换为目标文档。这种方式效率低下，映射规则模型复杂，不支持映射规则模型的动态修改与发布，映射规则模型无法共享而导致分布式的实施比较困难，进而无法实现系统的水平伸缩，同时其支持的映射关系也不够丰富。

由此可见，在现有的技术方案中，异构数据映射系统具有性能低下，不够灵活，模型结构复杂难理解，不支持动态发布与分布式，复杂映射关系支持有限等问题。

基于此，本发明提供一种异构数据映射系统及方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、可广泛应用于异构数据集成与交换系统中的异构数据映射系统及方法。

一种异构数据映射系统，其结构包括元数据模块、映射规则管理器模块、映射规则模型库模块、数据映射引擎模块，其中，

元数据模块提供业务元数据与规则元数据；

映射规则管理器模块用于建立数据映射关系，生成映射规则模型、映射规则模型的增删改查、以及映射规则模型的校验；

映射规则模型库模块负责提供一组统一的通用的数据映射规则模型的数据结构；

数据映射引擎模块负责数据规范化处理，匹配数据映射规则模型、解析数据映射规则模型、源数据到目标数据的映射处理、数据格式化处理。

所述元数据模块提供的业务元数据包括输入源元数据和输出目标元数据；规则元数据包括映射规则的类型及该类型所对应的值，该类型包括常量、变量、脚本、函数与表达式。

所述映射规则管理器模块用于建立数据映射关系是指根据元数据模块提供的元数据建立数据映射关系。

映射规则模型库模块负责提供一组数据结构，该数据结构包括数据映射模板、主模板与从模板的关联、数据映射集、映射模板与映射集的关联、数据映射、源元数据、目标元数据。

数据映射引擎模块负责将输入的源业务数据，根据匹配的映射规则模型生成输出的目标业务数据，包括数据规范化处理、规则匹配器、规则解析器、映射处理器、数据格式化处理组件。

一种异构数据映射方法，其实现过程为：

一、首先通过元数据模块提供业务元数据和规则元数据；

二、然后映射规则管理器模块根据提供的元数据建立数据映射关系，生成数据映射规则模型；

三、将数据映射规则模型存储到映射规则模型库模块中；

四、用户输入数据映射规则标识，根据该映射规则标识在映射规则模型库模块中查找数据映射规则模型；

五、数据映射引擎模块解析查找到的数据映射规则模型，并根据该数据映射规则模型解析后的数据映射规则生成目标数据。

所述步骤一中，提供业务元数据是指分别提供输入源元数据和输出目标元数据；提供规则元数据是指为输入源元数据指定规则元数据，包括类型，该类型包括常量类型、变量类型、脚本类型、函数与表达式类型以及其他自定义类型；与类型相对应的取值；以及映射规则之间的复用关联与组合关系。

所述步骤二中根据提供的元数据建立映射关系是指建立从输入源元数据到输出目标元数据之间的映射关系，生成数据映射规则模型后还需要进行合法性校验，校验通过后进入步骤三的存储步骤。

所述步骤四中查找数据映射规则模型的具体过程为：

进行数据映射，首先输入业务源数据及其对应的数据映射规则标识；

对输入的业务源数据进行数据规范化处理，并将规范化后的业务源数据与其对应的数据映射规则标识一起加入到数据映射执行上下文中；

根据执行上下文中的数据映射规则标识匹配数据映射规则模型；

根据数据映射规则标识查找数据映射规则模型，并返回找到的模型；

判断返回的数据映射规则模型是否为空，不为空，则继续执行步骤五；否则异常退出。

所述步骤五中解析数据映射规则模型后，根据执行上下文中的业务源数据与解析后的数据映射规则生成输出目标数据；生成目标数据后还需要进行格式化处理的步骤，使输出数据格式满足业务目标的需要。

本发明的一种异构数据映射系统及方法和现有技术相比，具有以下有益效果：

本发明的一种异构数据映射系统及方法，具有高效灵活，模型简单易理解的特点，映射规则丰富且可自定义，模型共享，系统可分布式部署和水平伸缩等特点，可以广泛应用于异构数据集成与交换系统中，实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的系统总体架构图。

附图2为本发明的通用的数据映射规则模型的数据结构图。

附图3为本发明的方法实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明本主要目的在于提供一种具有良好性能，模型简单易理解，可重用可灵活定义映射关系，内置丰富的映射规则，支持模型共享以及动态修改和发布，支持系统分布式部署和水平伸缩的异构数据映射的实现系统及方法。

如附图1、图2所示，一种异构数据映射系统，其结构包括元数据模块、映射规则管理器模块、映射规则模型库模块、数据映射引擎模块，其中，

其中元数据模块主要负责提供业务元数据与规则元数据；

映射规则管理器模块主要负责建立数据映射关系，生成映射规则模型，映射规则模型的增删改查，以及映射规则模型的校验；

映射规则模型库模块主要负责提供一组统一的通用的数据映射规则模型的数据结构；

数据映射引擎模块主要负责数据规范化处理，匹配数据映射规则模型，解析数据映射规则模型，源数据到目标数据的映射处理，数据格式化处理。

所述元数据模块提供的业务元数据包括输入源元数据和输出目标元数据；规则元数据包括映射规则的类型及该类型所对应的值，该类型包括常量、变量、脚本、函数与表达式。

所述映射规则管理器模块用于建立数据映射关系是指根据元数据模块提供的元数据建立数据映射关系。

映射规则模型库模块负责提供一组数据结构，如附图2所示，该数据结构包括数据映射模板、主模板与从模板的关联、数据映射集、映射模板与映射集的关联、数据映射、源元数据、目标元数据。

数据映射引擎模块负责将输入的源业务数据，根据匹配的映射规则模型生成输出的目标业务数据，包括数据规范化处理、规则匹配器、规则解析器、映射处理器、数据格式化处理组件。

如附图3所示，一种异构数据映射方法，其实现过程为：

一、首先通过元数据模块提供业务元数据和规则元数据；

二、然后映射规则管理器模块根据提供的元数据建立数据映射关系，生成数据映射规则模型；

三、将数据映射规则模型存储到映射规则模型库模块中；

四、用户输入数据映射规则标识，根据该映射规则标识在映射规则模型库模块中查找数据映射规则模型；

五、数据映射引擎模块解析查找到的数据映射规则模型，并根据该数据映射规则模型解析后的数据映射规则生成目标数据。

更为具体的，本发明的实现过程为：

提供业务元数据，分别提供输入源元数据和输出目标元数据；

提供规则元数据，为输入源元数据指定规则元数据，如类型，包括常量类型，变量类型，脚本类型，函数与表达式类型，以及其他自定义类型，与类型相对应的取值，以及映射规则之间的复用关联与组合关系等；

根据提供的元数据，建立从输入源元数据到输出目标元数据之间的映射关系；

根据数据映射关系生成数据映射规则模型；

对生成的数据映射规则模型进行合法性校验。校验通过，则继续执行；否则异常退出；

将数据映射规则模型存储到模型对应的数据结构中；

在数据映射运行期，输入业务源数据及其对应的数据映射规则标识；

对输入的业务源数据进行数据规范化处理，并将规范化后的业务源数据与其对应的数据映射规则标识一起加入到数据映射执行上下文中；

根据执行上下文中的数据映射规则标识匹配数据映射规则模型；

根据数据映射规则标识查找数据映射规则模型，并返回找到的模型；

判断返回的数据映射规则模型是否为空，不为空，则继续执行；否则异常退出；

解析数据映射规则模型；

根据执行上下文中的业务源数据与解析后的数据映射规则生成输出目标数据；

判断目标数据是否生成成功，生成成功，则继续执行；否则异常退出；

将生成的目标数据进行格式化处理，使输出数据格式满足业务目标的需要；

接收映射后的目标数据，进而对目标数据进行进一步的处理。

如此，可以实现异构数据之间的映射，解决现有数据映射系统执行效率低下，模型复杂难理解，缺乏灵活性和动态性，映射规则不丰富，模型无法共享，系统无法实施分布式和水平扩展等问题。

本发明采用java语言实现；映射规则模型库采用Oracle数据库；脚本引擎采用JavaScript脚本引擎；函数与表达式引擎采用MVEL引擎。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.一种异构数据映射系统，其特征在于，其结构包括元数据模块、映射规则管理器模块、映射规则模型库模块、数据映射引擎模块，其中，

元数据模块提供业务元数据与规则元数据；

映射规则管理器模块用于建立数据映射关系，生成映射规则模型、映射规则模型的增删改查、以及映射规则模型的校验；

映射规则模型库模块负责提供一组统一的通用的数据映射规则模型的数据结构；

数据映射引擎模块负责数据规范化处理，匹配数据映射规则模型、解析数据映射规则模型、源数据到目标数据的映射处理、数据格式化处理。

2.根据权利要求1所述的一种异构数据映射系统，其特征在于，所述元数据模块提供的业务元数据包括输入源元数据和输出目标元数据；规则元数据包括映射规则的类型及该类型所对应的值，该类型包括常量、变量、脚本、函数与表达式。

3.根据权利要求1所述的一种异构数据映射系统，其特征在于，所述映射规则管理器模块用于建立数据映射关系是指根据元数据模块提供的元数据建立数据映射关系。

4.根据权利要求1所述的一种异构数据映射系统，其特征在于，映射规则模型库模块负责提供一组数据结构，该数据结构包括数据映射模板、主模板与从模板的关联、数据映射集、映射模板与映射集的关联、数据映射、源元数据、目标元数据。

5.根据权利要求1所述的一种异构数据映射系统，其特征在于，数据映射引擎模块负责将输入的源业务数据，根据匹配的映射规则模型生成输出的目标业务数据，包括数据规范化处理、规则匹配器、规则解析器、映射处理器、数据格式化处理组件。

6.一种异构数据映射方法，其特征在于，基于上述权利要求1-5所述的系统，其实现过程为：

一、首先通过元数据模块提供业务元数据和规则元数据；

二、然后映射规则管理器模块根据提供的元数据建立数据映射关系，生成数据映射规则模型；

三、将数据映射规则模型存储到映射规则模型库模块中；

四、用户输入数据映射规则标识，根据该映射规则标识在映射规则模型库模块中查找数据映射规则模型；

五、数据映射引擎模块解析查找到的数据映射规则模型，并根据该数据映射规则模型解析后的数据映射规则生成目标数据。

7.根据权利要求6所述的一种异构数据映射方法，其特征在于，所述步骤一中，提供业务元数据是指分别提供输入源元数据和输出目标元数据；提供规则元数据是指为输入源元数据指定规则元数据，包括类型，该类型包括常量类型、变量类型、脚本类型、函数与表达式类型以及其他自定义类型；与类型相对应的取值；以及映射规则之间的复用关联与组合关系。

8.根据权利要求6所述的一种异构数据映射方法，其特征在于，所述步骤二中根据提供的元数据建立映射关系是指建立从输入源元数据到输出目标元数据之间的映射关系，生成数据映射规则模型后还需要进行合法性校验，校验通过后进入步骤三的存储步骤。

9.根据权利要求6所述的一种异构数据映射方法，其特征在于，所述步骤四中查找数据映射规则模型的具体过程为：

进行数据映射，首先输入业务源数据及其对应的数据映射规则标识；

对输入的业务源数据进行数据规范化处理，并将规范化后的业务源数据与其对应的数据映射规则标识一起加入到数据映射执行上下文中；

根据执行上下文中的数据映射规则标识匹配数据映射规则模型；

根据数据映射规则标识查找数据映射规则模型，并返回找到的模型；

判断返回的数据映射规则模型是否为空，不为空，则继续执行步骤五；否则异常退出。

10.根据权利要求6所述的一种异构数据映射方法，其特征在于，所述步骤五中解析数据映射规则模型后，根据执行上下文中的业务源数据与解析后的数据映射规则生成输出目标数据；生成目标数据后还需要进行格式化处理的步骤，使输出数据格式满足业务目标的需要。