CN108959449A - 一种基于visio批量配置infa映射的方法 - Google Patents

Abstract

本发明涉及一种基于visio批量配置infa映射的方法，首先基于Informatica建立mapping并导出XML文件；接着使用visio工具，基于映射XML创建模板，导入mapping文件，并配置各个元件属性；然后发布模板，新建SOURCE.XML与TARGET.XML两个文件，编辑后缀为param的文件；最后在Designer中导入映射模板，选择编辑好的文件，完成最终的工作流的生成。本发明能够利用visio和PowerCenter Designer的接口实现快速批量开发。

Description

一种基于visio批量配置infa映射的方法

技术领域

本发明涉及数据仓库技术领域，特别是一种基于visio批量配置infa映射的方法。

背景技术

按照《国家电网公司关于印发公司全业务统一数据中心建设方案的通知》（国家电网信通〔2016〕509号）、《国家电网公司关于印发2016年信息通信新技术创新发展行动计划实施意见的通知》（国家电网信通〔2016〕89号）相关要求，为加快落实全业务统一数据中心建设工作内容，丰富数据分析域数据，进一步提升业务和数据应用水平，全面支撑各领域分析应用建设。经过前期调研业务系统数据现状，明确数据接入范围，包括业务系统基础信息和数据接入信息。业务系统基础信息主要梳理收集业务系统访问信息、数据量现状等，业务系统数据接入信息主要梳理收集业务系统接入的数据表、数据频度等。

Informatica用于访问和集成几乎任何业务系统、任何格式的数据，它可以用于企业内数据交付，具有高性能、高可扩展性、高可用性的特点。利用Informatica PowerCenter工具中的各个组件，合理的设计Mapping、设计源数据库的结构，目标数据库的结构，然后把源数据抽取到目标数据库中，以此企业用户能够实现广泛的数据连接、清洗、转换，包括结构化、半结构化、非结构化的数据。Informatica PowerCenter组件数据源可以是数据库、文本文件、XML文件、SAP等应用系统、Hadoop、MQ等。Informatica 9.6.1支持对Hadoop接口能力，主要支持HDFS、HIVE、Hbase和Pivotal HD HAWQ；

运用PowerCenter开发Mapping和Session的优势之一是不需要懂开发语言，通过图形化拖拽即可实现快速开发。但若所接入的表数量较多,则需完成Mapping和Session设计的工作量也会变得庞大，并且在拖拽的过程中易出现失误，甚至后续可能会花费大量时间对其进行修改。

发明内容

有鉴于此，本发明的目的是提出一种基于visio批量配置infa映射的方法，能够利用visio和PowerCenter Designer的接口实现快速批量开发。

本发明采用以下方案实现：一种基于visio批量配置infa映射的方法，具体包括以下步骤：

步骤S1：基于Informatica建立mapping并导出XML文件；

步骤S2：使用visio工具，基于映射XML创建模板，导入mapping文件，并配置各个元件属性；

步骤S3：发布模板，新建SOURCE.XML与TARGET.XML两个文件，编辑后缀为param的文件；

步骤S4：在Designer中导入映射模板，选择编辑好的文件，完成最终的工作流的生成。

进一步地，步骤S1中，源表与目标表连接采用自动连接的方式。

进一步地，步骤S3中，在源端和目标端各选择一张表来创建所述SOURCE.XML与TARGET.XML两个文件。

与现有技术相比，本发明有以下有益效果：人工配置mapping时，平均效率为2min/每个，本发明采用批量生成mapping的平均效率为20min/150个，大大减少了重复开发设计所需的工作量和时间，提升工作效率，同时避免了拖拽的过程中手误的风险。

附图说明

图1是本发明实施例的mapping的自动连接示意图；

图2是本发明实施例的导出mapping的XML文件示意图；

图3是本发明实施例的mapping导出示意图；

图4是本发明实施例的$SOURCE_TABLE$属性配置示意图；

图5是本发明实施例的SQ_$SOURCE_TABLE$属性配置示意图；

图6是本发明实施例的$TARGET_TABLE$属性配置示意图；

图7是本发明实施例的链接线属性配置示意图；

图8是本发明实施例的文件生成示意图；

图9是本发明实施例的源端表信息导出示意图；

图10是本发明实施例的映射模板导入示意图；

图11是本发明实施例的映射生成情况示意图；

图12是本发明实施例的连接对象及前缀选择示意图。

图13是本发明实施例的工作流完成示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供了一种基于visio批量配置infa映射的方法，具体包括以下步骤：

步骤S1：基于Informatica建立mapping并导出XML文件；

步骤S2：使用visio工具，基于映射XML创建模板，导入mapping文件，并配置各个元件属性；

步骤S3：发布模板，新建SOURCE.XML与TARGET.XML两个文件，编辑后缀为param的文件；

步骤S4：在Designer中导入映射模板，选择编辑好的文件，完成最终的工作流的生成。

在本实施例中，步骤S1中，源表与目标表连接采用自动连接的方式。

在本实施例中，步骤S3中，在源端和目标端各选择一张表来创建所述SOURCE.XML与TARGET.XML两个文件。

特别的，本实施例的具体步骤如下：

步骤1：创建一个简单的mapping，源表与目标表连接可采用自动连接的方式，如图1。

步骤2：导出该mapping的XML文件，保存该文件在客户端安装路径下，之后再运行中搜索visio（其中：本机需要提前安装visio，如果没有安装visio需要先卸载客户端再安装informatica所有功能，默认会安装PowerCenter Mapping Architect for visio工具），如图2。

步骤3：打开visio，在左上角中基于映射xml创建模板，导入刚刚导出的mapping，如图3。

步骤4：配置各个元件的属性：

（1）双击$SOURCE_TABLE$配置属性，如图4；

（2）双击SQ_$SOURCE_TABLE$配置属性，如图5；

（3）双击$TARGET_TABLE$配置属性，如图6；

（4）双击两条链接线，定义链接规则，先点击全部删除，再点击新建，选择全部端口，默认是全部端口。如图7。

步骤5：在左上角选择发布模板，将发布的模板保存在客户端路径下，文件路径会默认生成两个文件，如图8，需新建两个文件SOURCE.XML与TARGET.XML。可在源端和目标端各选择一张表来创建这两个文件：

（1）导出源端表信息来进行【SOURCE.XML】（根据模板源端属性命名）文件创建，路径必须在指定路径下（注意：以后每一次操作都可在导出文件时选择该文件覆盖即可），如图9；

（2）导出源端表信息来进行【TARGET.XML】（根据模板源端属性命名）文件创建，创建方法同上。

步骤6：编辑图8中后缀为param的文件，复制粘贴XML字符串，字符串可根据Execl进行语句拼接批量处理（其中：从Excel中粘贴出来的拼接语句两边都带有“”，可以先将Excel中的语句粘贴到word中再从word中粘贴如param文件中）。

步骤7：在Designer中选择导入映射模板，如图10，导入刚刚创建的模板，即图8中infa_test.xml文件，再选择使用现有参数文件，使用图8中编辑好的param文件，点击确定。

步骤8：点击下一步后，在弹出的提示中点击“是”，会提示生成成功或者失败的的映射（具体错误请具体排查），勾选下面的选项（默认勾选）点击下一步，如图11。

步骤9：工作流生成中点击下一步，选择对应的连接对象以及填入对应的前缀点击下一步至第四步，如图12。

步骤10：日志信息会提示生成成功的工作流点击完成，如图13。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于visio批量配置infa映射的方法，其特征在于：包括以下步骤：

步骤S1：基于Informatica建立mapping并导出XML文件；

步骤S2：使用visio工具，基于映射XML创建模板，导入mapping文件，并配置各个元件属性；

步骤S3：发布模板，新建SOURCE.XML与TARGET.XML两个文件，编辑后缀为param的文件；

步骤S4：在Designer中导入映射模板，选择编辑好的文件，完成最终的工作流的生成。

2.根据权利要求1所述的一种基于visio批量配置infa映射的方法，其特征在于：步骤S1中，源表与目标表连接采用自动连接的方式。

3.根据权利要求1所述的一种基于visio批量配置infa映射的方法，其特征在于：步骤S3中，在源端和目标端各选择一张表来创建所述SOURCE.XML与TARGET.XML两个文件。