CN102142027A - 数据整合的适配方法 - Google Patents

Abstract

本发明涉及一种数据整合过程中对异种数据的虚拟加工技术，具体是一种数据整合的适配方法，该方法提出基于信息子系统之间的一个统一数据交换平台，通过一组规则(数据交换组件)、通过一个可靠的数据传递通路，依据适配器(桥接系统)的能力，对源数据分析、数据转换、数据编辑处理、数据质量检查，可视化的完成整合加工处理配置、整合处理流程生成。实现基于其上的数据整合服务、数据整合标准和数据整合策略。解决不同单位内部、单位和分部门之间、单位与单位之间数据可靠交换的需求。技术产品可以应用在信息交换、信息同步、信息合并、信息整合、历史数据迁移、数据仓库建设、虚拟库等领域。

Description

数据整合的适配方法

技术领域

本发明涉及一种数据整合过程中对异种数据的虚拟加工方法。根据专业应用数据的特点，着重解决不同标准之间信息分类代码转换、图层、属性信息的重组、质量检查等技术问题。通过对源数据分析、数据转换、数据编辑处理、数据质量检查，可视化的完成整合加工处理配置、整合处理流程生成。本方法可以应用在信息交换、信息同步、信息合并、信息整合、历史数据迁移、数据仓库建设、虚拟库等领域。

背景技术

许多政府机关、企业、金融机构在信息化建设中大多缺乏统筹规划，加上多数应用系统之间普遍缺乏标准化的数据接口定义，数据的报送、汇总、分析存在障碍，因此不同的应用系统，数据信息之间必然会成为彼此隔离的“信息孤岛”。“信息孤岛”是当前信息化建设中凾待解决的主要结症，如何彻底地消除“信息孤岛”，有效地整合现有及未来的应用系统的信息数据，已成为当前信息化建设的重中之重。

由于现有数据的多源性、多尺度、多平台和多格式等原因，在数据库整合中将涉及到数据格式转换、数据投影转换、数据库标准结构转换以及数据组织调整、数据检查等技术。从单个技术角度上，并不存在难度，在数据格式转换方面，有成熟的产品工具，如FME软件，同时图形软件也提供了数据交换格式文件，如：Maplnfo的Mlr、ArcGls的Eoo、AutocAD的DxF等文件，能够解决平台格式转换的一般性问题。但是在真正实际使用中，发现处理效率不高，难于满足实际需要，特别是难于满足跨平台、多应用环境下数据整合的需要，原因是工具软件缺乏适应广泛性应用。因此研制一种适应性强的适配工具，实现整合关键技术的集成，具有非常重要的意义。

发明内容

本发明为了解决以上现有技术存在的问题，提出一种信息子系统之间的数据整合的适配方法，具体技术方案的步骤包括：

先建立统一数据交换平台，再在该平台基础上，利用适配器模式或桥接模式，来实现不同单位内部、单位和分部门之间或单位与单位之间数据交换；

所述数据交换平台采用SOA的插座式架构，作为各种适配器和桥接子系统的运行环境；把适配器和桥接子系统作为插件被发布到该平台中；

所述适配器和桥接子系统是用数据交换服务组件来对数据进行格式转换处理，由数据交换服务组件提供交换规则；该数据格式转换处理包括数据格式规范化和数据加工处理：

数据格式规范化，是把从数据源或数据目标抽取来的数据作格式的规范化处理，该处理过程建立了统一数据对象，统一数据对象用来存储了各种不同的数据，并支持不同数据格式之间的转换处理；

数据加工处理：是对所述统一数据对象进行数据的复制、数据的转换和数据的路由处理；

所述数据源和数据目标，包括数据库、数据文件或内存表；

所述数据在数据交换平台上的传送是通过数据传输通道进行的，该数据传输通道是内嵌消息队列的传送机制；

所述数据的复制是指：将规范化的数据对象复制到另一数据对象的过程，在这个过程中，数据不做任何的改变；

所述数据的转换是指规范化的一个或多个数据对象经过转换处理后放到另一数据对象的过程，在这个过程中，数据作了转换处理，

所述数据的路由处理是指：经过数据格式规范化的数据对象根据数据路由条件将处理后的结果数据放在不同目的的数据对象中；数据的路由处理的过程是，先从数据源中依照抽取条件一次性抽取数据，再对抽取的数据进行转换/清洗；然后以并发方式，根据路由条件一对多地推送数据。

所述数据转换处理的方法包括：

格式转换：包括字段拆分/合并、不同格式间转换；

静/动态字段：包括系统时间、动态序列号、给定值；

基于规则的翻译：包括基于规则表的翻译、给定规则翻译；

数学运算：不同的数据对象之间作数学运算；

聚类处理：根据一个或几个字段做聚类操作。

数据的路由处理中，

当数据源为数据库表时，数据的路由处理过程是，先从数据库表中，再对抽取的数据进行转换/清洗；然后以并发方式，根据实际路由条件一对多地推送数据给数据目标；

当数据源为内存表时，数据的路由处理过程是，先从数据库表中，再对抽取的数据进行转换/清洗；然后以并发方式，根据实际路由条件一对多地推送数据给数据目标。

当数据目标为内存表时，其后续的处理包括返回给调用方或传递给消息队列；当目标内存表传递给消息队列时，进行异地可靠传输、一对一/一对多传送或者通过队列绑定交由目标服务器的数据转换和路由服务做处理。

所述数据传输通道的处理机制包括：

支持消息路由；

提供基于状态和历程的数据的可靠性传送机制，支持断点续传功能；

支持队列的优先级，根据业务种类的不同，指定队列处理优先级顺序；

支持一对一、一对多的数据发送接受机制；

支持数据的同步、异步的处理机制；

提供相同或不同网络之间的数据交换、数据转发功能；

支持数据推、拉两种传输模式；

支持数据传输的加解密。

所述适配器的功能包括：建立和已有系统的连接、实现数据的格式化处理、提供业务处理、支持要处理的数据双向流动；

所述桥接子系统功能包括：建立和已有系统的连接、实现数据的格式化处理、提供业务处理、支持处理的数据双向流动。

所述数据交换平台所需要的连接信息、服务运行信息、流程运行信息和部署的信息存储在使用规则库中。

附图说明

图1是数据交换平台结构图；

图2是数据交换服务组件结构图；

图3是数据的路由处理流程示意图；

图4是数据映射操作界面截图；

图5是数据处理示意例一图；

图6是数据处理示意例二图；

图7是数据处理示意例三图；

图8是规则库模式示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步说明：

一种数据整合的适配方法，是在信息子系统之间建立统一数据交换平台，为所有需整合的数据交换提供基础支撑，通过一组规则(数据交换组件)、通过一个可靠的数据传递通路，依据适配器(桥接系统)的能力，解决不同单位内部、单位和分部门之间、单位与单位之间数据可靠交换的需求。实现基于其上的数据整合服务、数据整合标准和数据整合策略。

为了达到以上目的，本例的技术方案包括以下内容：

1、数据交换平台

数据交换平台采用SOA(Service Oriented Architecture服务导向架构)的插座式架构，作为各种适配器、桥接子系统的运行环境。各种处理服务组件作为“插件”被发布到该支撑平台中，这些服务组件也可以组合成流程组件(也叫组合组件)，这些服务组件和流程组件作为适配器、桥接子系统的组成部分，完成数据格式转换等处理。该支撑平台具有很好的开放性，提供了统一开发接口和基于变量的动态规则。和其他系统的数据交换，实现了如下功能：

1)为保证原始数据的安全性和完整性，不对污染源普查基础数据库原始数据做任何增删修改。

2)能够直接、实时的、完整的读取污染源普查数据库中所有数据。

3)能够导入参与对比分析的环境统计数据。

4)能够导入其他需要参与综合分析的其他环境数据。

数据交换平台的结构见图1。

2、数据交换服务组件

数据交换服务组件的结构如图2所示，数据的处理包括数据源、数据格式规范化、数据加工处理、数据目标等组成。

数据源或目标可以是数据库、数据文件、内存表等。

数据格式规范化：数据格式规范化用来实现把抽取来的数据、消息队列的数据、客户端传来的数据作格式的规范化处理，格式化的过程就是建立统一的数据对象的过程，统一数据对象用来存储了各种不同的数据，并支持不同数据格式之间的转换处理。

数据加工处理：数据加工处理层主要对规范化的统一数据对象做数据的复制、数据的转换、数据的路由处理。

●数据的复制是指将规范化的数据对象复制到另一数据对象的过程，在这个过程中，数据不做任何的改变。

●数据的转换是指规范化的一个或多个数据对象经过转换处理后放到另一数据对象的过程，在这个过程中，数据作了转换处理，转换处理方法主要包括：

■格式转换，包括字段拆分/合并、不同格式间转换

■静/动态字段，包括系统时间、动态序列号、给定值

■基于规则的翻译，包括基于规则表的翻译、给定规则翻译

■数学运算，不同的数据对象之间作数学运算

■聚类处理，根据一个或几个字段做聚类操作

●数据的路由处理是指经过规范化的数据对象根据数据路由条件将处理后的结果数据(可能经过转换，也可能没有经过转换处理)放在不同目的的数据对象中。图3所示表示数据的路由处理的过程。

■采用“一次抽取，并发路由”的机制

■支持一对多的数据推送方式

■减轻对数据源如数据库的压力

■提高处理的性能。

图4是数据转换和路由服务数据映射操作界面截图。当数据源为数据库表时，其处理如图5所示；当数据源为内存表时，其处理如图6所示；当数据目标为内存表时，其后续的处理如图7所示。

当目标内存表传递给消息队列时，可以：

-支持异地可靠传输

-支持一对一、一对多传送

-通过队列绑定交由目标服务器的数据转换和路由服务做处理

3、安全可靠的数据传输通道

是内嵌消息队列的传送机制，提供了如下的处理机制：

●支持消息路由，保证数据在传输过程中的不重、不漏、不错。

●提供基于状态和历程的数据的可靠性传送机制，支持断点续传功能，从而避免了冗余数据的传输，实现高效传输。

●支持队列的优先级，根据业务种类的不同，指定队列处理优先级顺序。

●支持一对一、一对多的数据发送接受机制。

●支持数据的同步、异步的处理机制。

●数据交换平台能够跨网段、跨防火墙访问，提供相同或不同网络之间的数据交换、数据转发功能。

●支持数据推、拉两种传输模式。

●该传输平台支持数据传输的加解密，建立了安全的数据传送通道。

4、适配器

适配器组件用来实现和已有业务系统、数据库、文件、通讯等系统的连接，并做数据格式处理，实现业务系统数据和数据交换平台之间的格式化处理，该格式化支持业务系统和私数据交换平台之间的双向流动。适配器主要包括连接层和数据处理层，主要实现以下功能：

●连接层建立和已有系统的连接

■常用的连接器主要包括数据库连接、文件连接、应用连接、其他连接等。

■支持TCP、JMS、HTTP、EJB、JDBC、SOAP等连接协议。

●数据层实现数据的格式化处理

■支持由数据交换平台向业务系统数据格式的格式化处理

■也支持由业务系统数据格式向数据交换平台的格式化处理。

●业务处理层

■相关业务的处理

■业务流程

●支持要处理的数据双向流动

■支持数据交换平台的数据流向业务系统

■支持业务系统的数据流向数据交换平台

●支持：

■批量处理

■增量处理

■实时处理

5、桥接系统

桥接子系统用于实现数据交换平台和分部门要交换数据、不在一个网络的要交换数据的数据整合。桥接子系统将分部门需要交换的信息交换到前置交换信息库，由适配器实现交换信息库的数据和数据交换平台之间的数据流动和格式转换；桥接子系统还可以帮助与单位的中心共享信息库不在同一个网络的业务与交换平台的数据交换，桥接子系统可以将外部网段的数据整合到交换信息库或交换文件中，由内部网段的适配器实现交换信息库或文件的数据和数据交换平台之间的数据流动和格式转换。桥接子系统和适配器具有相似的功能，主要实现以下功能：

●连接层建立和已有系统的连接

■常用的连接器主要包括数据库连接、文件连接、应用连接、其他连接等。

■支持TCP、JMS、HTTP、EJB、JDBC、SOAP等连接协议。

●数据层实现数据的格式化处理

■支持由交换信息库向业务系统数据格式的格式化处理

■也支持由业务系统数据格式向交换信息库的格式化处理。

●业务处理层

■相关业务的处理

■业务流程

●支持处理的数据双向流动

■支持交换信息库的数据流向业务系统

■支持业务系统的数据流向交换信息库

●支持：

■批量处理

■增量处理

■实时处理

桥接和适配器都是让两个部分配合工作，不同在于出发点不同。适配器：改变已有的两个接口，让他们相容；桥接模式：分离抽象化和实现，使两者的接口可以不同，目的是分离。所以说，如果两个已有模块，想让他们同时工作，那么使用的适配器。如果什么都没有，但是想分开实现，那么桥接是一个选择。

6、使用规则库

使用规则库是数据交换项目运行的规则信息，是数据交换平台运行所必需的“大脑”，数据交换平台所需要的连接信息、服务运行信息、流程运行信息、部署的信息等都来源于使用规则库。图八是规则库模式结构。

使用规则的信息来源于资源工厂的资源库，资源工厂根据应用项目的情况在线发布规则信息到使用规则库中。如图8所示，资源工厂的资源信息通过部署管理组件传递给运行环境的规则管理组件，由规则管理组件将信息同步到使用规则库中。

Claims (8)

1.一种数据整合的适配方法，其特征是步骤包括：

先建立统一数据交换平台，再在该平台基础上，利用适配器模式或桥接模式，来实现不同单位内部、单位和分部门之间或单位与单位之间数据交换；

所述数据交换平台采用SOA的插座式架构，作为各种适配器和桥接子系统的运行环境；把适配器和桥接子系统作为插件被发布到该平台中；

所述适配器和桥接子系统是用数据交换服务组件来对数据进行格式转换处理，由数据交换服务组件提供交换规则；该数据格式转换处理包括数据格式规范化和数据加工处理：

数据格式规范化，是把从数据源或数据目标抽取来的数据作格式的规范化处理，该处理过程建立了统一数据对象，统一数据对象用来存储了各种不同的数据，并支持不同数据格式之间的转换处理；

数据加工处理：是对所述统一数据对象进行数据的复制、数据的转换和数据的路由处理；

所述数据源和数据目标，包括数据库、数据文件或内存表；

所述数据在数据交换平台上的传送是通过数据传输通道进行的，该数据传输通道是内嵌消息队列的传送机制。

2.根据权利要求1所述的数据整合的适配方法，其特征是

所述数据的复制是指：将规范化的数据对象复制到另一数据对象的过程，在这个过程中，数据不做任何的改变；

所述数据的转换是指：规范化的一个或多个数据对象经过转换处理后放到另一数据对象的过程，在这个过程中，数据作了转换处理，

所述数据的路由处理是指：经过数据格式规范化的数据对象根据数据路由条件将处理后的结果数据放在不同目的的数据对象中；数据的路由处理的过程是，先从数据源中依照抽取条件一次性抽取数据，再对抽取的数据进行转换/清洗；然后以并发方式，根据路由条件一对多地推送数据。

3.根据权利要求2所述的数据整合的适配方法，其特征是所述数据转换处理的方法包括：

格式转换：包括字段拆分/合并、不同格式间转换；

静/动态字段：包括系统时间、动态序列号、给定值；

基于规则的翻译：包括基于规则表的翻译、给定规则翻译；

数学运算：不同的数据对象之间作数学运算；

聚类处理：根据一个或几个字段做聚类操作。

4.根据权利要求2所述的数据整合的适配方法，其特征是数据的路由处理中，

当数据源为数据库表时，数据的路由处理过程是，先从数据库表中，再对抽取的数据进行转换/清洗；然后以并发方式，根据实际路由条件一对多地推送数据给数据目标；

当数据源为内存表时，数据的路由处理过程是，先从数据库表中，再对抽取的数据进行转换/清洗；然后以并发方式，根据实际路由条件一对多地推送数据给数据目标。

5.根据权利要求4所述的数据整合的适配方法，其特征是当数据目标为内存表时，其后续的处理包括返回给调用方或传递给消息队列；

当目标内存表传递给消息队列时，进行异地可靠传输、一对一/一对多传送或者通过队列绑定交由目标服务器的数据转换和路由服务做处理。

6.根据权利要求1所述的数据整合的适配方法，其特征是所述数据传输通道的处理机制包括：

支持消息路由；

提供基于状态和历程的数据的可靠性传送机制，支持断点续传功能；

支持队列的优先级，根据业务种类的不同，指定队列处理优先级顺序；

支持一对一、一对多的数据发送接受机制；

支持数据的同步、异步的处理机制；

提供相同或不同网络之间的数据交换、数据转发功能；

支持数据推、拉两种传输模式；

支持数据传输的加解密。

7.根据权利要求1所述的数据整合的适配方法，其特征是所述适配器的功能包括：建立和已有系统的连接、实现数据的格式化处理、提供业务处理、支持要处理的数据双向流动；

所述桥接子系统功能包括：建立和已有系统的连接、实现数据的格式化处理、提供业务处理、支持处理的数据双向流动。

8.根据权利要求1所述的数据整合的适配方法，其特征是所述数据交换平台所需要的连接信息、服务运行信息、流程运行信息和部署的信息存储在使用规则库中。

Images