CN102043836A - 数据适配装置和方法 - Google Patents

Abstract

本发明提供一种数据适配装置和方法，用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，所述数据适配装置包括：适配模块，用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。本发明不是单纯采用数据文件整合及数据及时整合这两种数据整合方式的任何一种，而是将两种方式有机地融为一体；灵活地适应各种情况的数据整合需求，并且提供尽可能灵活的水平和垂直扩展功能。

Description

数据适配装置和方法

技术领域

本发明涉及一种数据适配装置和方法，尤其涉及一种能够接收不同数据源的数据并提供具有标准数据格式的数据给数据整合系统的数据适配装置和方法。

背景技术

众所周知，现今企业中的信息发展迅速，技术更是日新月异。然而多方面的信息建设以及自然的延续，虽然各自取得相当的效益，却也造成了一座座的信息孤岛，阻碍了进一步的信息运用以及更大的统合效益。为了阻断信息割据，提高信息系统的运行效率，数据整合技术成为各个企业所关心的技术。数据整合技术可将各个信息孤岛的数据进行互通，将孤立的信息整合到一起，形成最终企业需要的信息。

在数据整合技术中，其中两种为数据文件整合方式和数据及时整合方式，下面分别介绍：

1.数据文件整合方式(PUSH方式)

图1是数据文件整合方式的架构图。参见图1，所谓数据文件整合方式，是指由源数据提供方提供一个或多个数据文件，将源数据提供方的所有数据变化一次性提供给数据接收方，而由数据接收方对数据文件进行处理，其中文件格式比较常见的为xml、txt、excel等。此种方式主要应用场景是一次性导入大量数据。该方式的优点是容易控制，便于储存；缺点是文件格式种类繁杂，并且文件中的数据格式也是五花八门，一旦增加一种文件格式和数据格式，程序需要经常做很大的改动来适应新的格式，另外由于数据量比较大，导致系统的负荷大，如果整合过程中出现问题，容易导致整个过程失败，需要花费很长时间再次进行数据处理。

2.数据及时整合方式(PULL方式)

图2是数据及时整合方式的架构图。参见图2，所谓数据及时整合方式，是指数据提供方有任何数据变化，则通过数据接收方提供的及时响应方式向数据接收方通知其关心的数据的变化，而实现这种响应方式的代表技术有：Webservive、REST、jms等。此种方式经常应用的场景是在两个应用信息变化特别紧密的系统之间的信息同步上。优点是信息同步比较及时，及时同步的缺点是处理速度慢，对系统的处理能力与资源要求高，处理大量数据处理请求时容易导致程序崩溃。

下面是数据及时整合方式的Webservice实现的说明。

Webservice是由企业发布的完成特定商务需求的在线应用服务，其它公司或应用软件能够通过Internet来访问并使用这项在线应用服务。Webservice是一种构建应用程序的普遍模型，可以在任何支持网络通信的操作系统中实施运行；它是一种新的web应用程序分支，是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Webservice还是一个应用组件，它逻辑性地为其他应用程序提供数据与服务。各应用程序通过网络协议和规定的一些标准数据格式(Http，XML，Soap等)来访问Webservice，通过Webservice内部执行得到所需结果。Webservice可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Webservice应用程序可以发现并调用它部署的服务。

一种数据整合的方案是对应上述两种数据整合方式，开发两套数据整合程序来处理，将两种数据整合方式简单地组合在一起，即两种方案并存。对于这种数据整合的方案，存在如下缺点：

1.两种数据整合方式各有缺点：对于数据文件整合方式，整合过程中出错后，只能再次重新进行处理；对于数据及时整合方式，处理程序的处理能力受机器本身的限制，处理能力有限；

2.两种数据整合方式没有监控功能：由于两种数据整合方式本身并不提供监控功能，所以很难监控数据整合的运行情况和执行情况，这使得数据接收方和数据发送方都很难知道具体的数据整合情况，不容易掌握运行情况；

3.维护成本较大：数据文件整合方式中数据格式繁杂，一旦新增或修改一种数据格式，都需要修改数据整合程序。此外，数据接收方的核心数据模型(核心数据模型是指数据接收方自己内部的数据的结构和数据相互之间的关系)调整后，会导致两套数据整合程序都要做修改；

4.扩展不够方便：由于采用两套方案，无论是水平扩展(多数据库之间同步数据)，还是垂直扩展(多种数据源提供数据)都很困难。

发明内容

鉴于上述问题，本发明旨在减少多种数据格式对数据整合系统造成的维护困难、麻烦，并可以监控数据整合的细微变化情况。

本发明一方案提供一种数据适配装置，用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，所述数据适配装置包括：适配模块，用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

本发明另一方案提供一种数据适配方法，用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，所述数据适配方法包括：适配步骤，用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

本发明再一方案提供一种配置数据适配装置的方法，所述数据适配装置用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，该方法包括：适配模块设置步骤，设置适配模块，使其接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

本发明不是单纯采用数据文件整合及数据及时整合两种数据整合方式的任何一种，而是将两种方式有机地融为一体；灵活地适应各种情况的数据整合需求，并且提供尽可能灵活的水平和垂直扩展功能。

通过以下参照附图对优选实施例的说明，本申请的上述以及其它目的、特征和优点将更加明显。

附图说明

图1是数据文件整合方式的架构图；

图2是数据及时整合方式的架构图；

图3是根据本发明一实施例的数据整合系统的架构图；

图4是根据本发明一实施例的数据整合系统的整体流程图；

图5是根据本发明一实施例的数据整合方法的流程图；

图6是根据本发明一实施例的数据整合系统的水平扩展结构图；

图7是根据本发明一实施例的适配模块的示意图；

图8是根据本发明一实施例的使用纯java语言开发并基于标准jdk1.5构建的数据整合系统的示意图。

具体实施方式

下面将详细描述本发明的优选实施例。应当注意，这里描述的实施例只用于举例说明，并不用于限制本申请。

图3是根据本发明一实施例的数据整合系统的架构图；图4是根据本发明一实施例的数据整合系统的整体流程图。

本发明的数据整合系统可以通过能够运行计算机可执行程序的计算机等硬件来实现。数据整合系统所包含的各个装置、模块、单元等可以通过能够执行计算机可读程序的具有处理功能的处理器(如CPU)等硬件来实现。例如，在一实施例中，数据整合系统可以使用纯java语言开发，基于标准jdk1.5构建。参见图8，图8是使用纯java语言开发并基于标准jdk1.5构建的数据整合系统的示意图。

再参见图3，根据本发明一实施例，本发明的数据整合系统包括5个功能模块：初始化模块、适配模块、校验模块、持久化模块、监控模块。这些功能模块的灵活组合即可以实现数据整合系统对不同数据源的不同业务入库规则的灵活变换。当其中某个模块的功能需要调整的时候，只需要改变单个功能模块，将其换成具有相应功能的模块。通过这5个模块的灵活组合即可实现将不同来源的数据统一整合成数据接收方的核心数据。

实例一：

A系统(例如一提供数据的外部系统，在此称为A系统)采用xml文件使用ftp方式同步给B系统(根据本发明的数据整合系统，在此称为B系统)关于一些用户信息的数据，则数据整合的过程可包括如下步骤。

1、B系统接到A系统通知。

2、通知监控模块启动一个数据整合流程。

3、启动初始化模块来使用ftp方式获得xml文件。

4、通知监控模块初始化模块执行情况。

5、通过适配模块的xml文件解析器将xml文件转换为数据流(如果系统A是采用txt文件传输数据，那么解析器就使用对应的txt文件解析器)，但此时的数据流是系统A提供的数据格式，在系统B中无法直接利用。

6、通知监控模块解析器执行情况。

7、通过适配模块中的数据适配器将数据流转换为系统B中可以使用的数据格式的数据。

8、通知监控模块数据适配器执行情况。

9、再通过校验模块来判断数据流的数据是否合法。

10、通知监控模块校验器执行情况。

11、执行持久化模块来保存数据到系统B中。

12、通知监控模块持久化模块执行情况。

13、整个数据整合流程完成并通知监控模块整个流程完成。

通过实例一中几个通知步骤，监控模块就可以监控到整个数据流程的执行情况。

以下结合上述实例具体描述本发明实施例的各个功能模块。

初始化模块：用于为了获取数据而作一些初始化工作。例如：从各种平台通过不同访问协议获得数据，接收各种不同类型的数据信息并进行对应的处理。对于数据文件整合方式来说，初始化模块的功能是通过各种协议获得数据文件，并将数据文件下载到本地应用服务器。而对于数据及时整合方式来说，初始化模块是负责提供对外服务的程序模块。

初始化模块的代码实例为：

初始化接口：

适配模块：用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。当接收的数据的格式不是所述标准数据格式时，适配模块将其转换成所述标准数据格式。具体地，适配模块用于解析不同数据源的数据文件并将各种各样的数据格式适配成统一的标准数据格式。适配模块的结构例如可参见图7。图7是根据本发明一实施例的适配模块的示意图。适配模块其实是由解析单元和适配单元两个部分组成。解析单元用于将不同数据源的数据转换为数据流，如将xml文件转换为数据流。适配单元用于将所述数据流转换为具有所述数据整合系统能够使用的数据格式的数据。

其中，该解析单元例如可为解析器，该适配单元可为数据适配器。解析器例如是用java语言定义的一个接口，利用各种各样的解析器(xml文件解析器、txt文件解析器、excel文件解析器、普通解析器，jms解析器等)来实现这个接口，来完成对各种不同来源数据的不同格式的解析。数据整合系统的扩展性就在于可对此模块中的解析器和数据适配器单独进行定制。数据适配器可以对每种数据格式进行单独个性化定制。举例来说，对于数据文件整合方式来说，如果新增一种数据格式的话，只需扩展新的数据适配器(就相当于一个信息接口，将源数据(数据发送方的源数据可能有各种各样的格式)转换成标准的数据格式(即数据接受方可以识别的数据)，也可以叫数据转换器。其原理跟USB与串口的转接设备类似。)就可以实现将新格式转换为标准数据格式。而对于数据及时整合方式来说，此模块则通常定制为一个标准数据格式，统一接收数据更新。

其中，解析单元的代码实例为：

解析接口

适配单元的代码实例为：

适配接口

校验模块：用于校验标准数据格式的完整性和正确性，过滤不符合要求的数据。在本发明的实施例中，例如是定义了一个java(面向对象语言)中的接口，可以由本地数据接收方自己开发实现这个接口的类来定制本身不同的校验逻辑。举例而言，可能数据接收方在接受日期类数据的时候，只能接受日期格式的数据，如“2010-10-10”，但是如果数据发送方发送过来的数据不是这种格式，校验模块可以发现这种错误逻辑并将这种错误的数据过滤掉，不再传送数据到下一个持久化模块。校验模块可以由数据接收方根据各自不同的核心模型来灵活定制。

校验模块的代码实例为：

校验接口

持久化模块：用于将通过校验的数据持久化到数据库(因为数据经过前面的初始化、适配、校验各个阶段，已经是本地数据库的可以直接保存的数据模型，可以直接保存到本地数据库中)。根据一实施例，持久化到数据库的入库规则根据不同业务规则进行单独定制，使得对于不同的标准数据格式具有不同的入库规则。

持久化模块的代码实例为：

持久化接口

监控模块：用于监控数据整合系统中每条数据的整合情况(数据在数据整合的流转过程是按照图4的流向来进行的，在整个过程中，在通过虚线表示的监控点的监控时间，都会通知监控模块，这时候监控模块会记录每个监控点的情况，这样就能监控到每个数据流向的处理情况；如果任何一个监控点出了情况，都可以及时发现，并采取对应的处理措施。)，并具有通知单元和出错处理单元。通知单元可以实现与其它系统的交互，例如与另一个数据整合系统的交互，这样可以实现灵活扩展数据同步。出错处理单元可以对整合过程中出错的数据进行重新处理。

参见图4，不同数据源的多种数据格式经过适配模块后统一转为标准数据格式，然后经过校验的标准的数据持久化到数据库，图4中虚线为监控模块进行监控的位置。随着数据整合系统数据流的流向，流经监控点的时候，会通知监控模块，监控模块记录各阶段的监控点的情况，就达到了监控的效果。

下面对监控模块进行说明。

如上所述，监控模块具有通知单元和出错处理单元。

监控模块的通知单元提供通知功能，通知其它系统或者功能模块进行了哪些数据的变更，通过此通知功能可以实现与其它数据库之间的信息交互，方便水平扩展数据整合的规模；也可以通过此功能以邮件或者短信的方式来通知监控人数据整合系统的运行情况，便于及时处理其中发生的错误。

监控模块的出错处理单元提供出错处理功能，用于处理数据整合中出现的错误。此功能有效地解决数据文件整合方式中大数据文件出现错误和处理困难的问题。出错处理单元可以记录出错的每条数据，重新进行数据文件整合的时候可以直接跳到出错的数据记录开始继续执行，这大大节省了数据重新处理的时间。通过出错处理功能可以丰富数据及时整合方式的错误处理手段。

本发明中，利用监控模块监控数据整合的整体情况和局部细节，有两个优点：如果数据文件整合方式出现数据整合失败，以前的方式只能重新执行这个文件的整合过程，根据本发明一实施例，可以通过监控模块监控到执行出错的记录，并且在重新执行的过程中可以直接跳到这个出错记录继续执行，比以前的方式节省了大量的时间；如果数据及时整合方式出现数据整合失败，可以监控到出错记录，可方便对错误记录进行补救处理。

图5是本发明数据整合方法的流程图，其中显示了根据本发明一实例的数据初始化、监控、非标准数据处理、数据适配、数据校验以及数据持久化的具体步骤。

数据整合方法流程的主要程序代码实例为：

数据整合流程核心模板

本发明的数据整合系统和方法具有如下有益效果：

1.有机地将两种数据整合方式结合在一起：

通过初始化模块和适配模块的组合，数据整合系统将数据文件整合及数据及时整合这两种数据整合方式统一结合起来对外提供服务，这样可以实现用一套数据整合程序接收多个数据提供方使用不同的数据整合方式提供的数据；持久化模块、校验模块对于同一个标准数据的两种数据整合方式来说是可以完全重用的模块；通过细化功能模块，将经常变化的模块分解出来，达到可以灵活重用。在其中，适配模块起到了很重要的作用，通过适配模块的灵活切换，实现了无论数据提供方提供何种数据格式的数据，都可以转换成标准格式数据。

2.扩展简单：(1)垂直扩展方便，初始化模块和适配模块的组合，可以使数据整合系统实现接收经常变化的数据源；(2)水平扩展方便，可使用一个数据整合系统实现不同的数据库之间的数据同步，只需要改动少量核心数据模型，即可实现对多个数据库之间的数据同步进行灵活扩展，如图6所示。

应用本发明的数据整合系统和方法，分别解决了两种数据整合方式的缺点，并且继承了两种整合方式的优点，并可以对整个数据入库情况加以监控，便于及时纠正数据整合中出现的错误，并且减少了程序的维护成本。

本申请可用软件、硬件、固件或其组合实现。

虽然已参照典型实施例描述了本申请，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本申请能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (13)

1.一种数据适配装置，用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，所述数据适配装置包括：

适配模块，用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

2.如权利要求1所述的数据适配装置，其中，当接收的数据的格式不是所述标准数据格式时，所述适配模块将其转换成所述标准数据格式。

3.如权利要求1所述的数据适配装置，其中所述适配模块包括：

解析单元，用于将不同数据源的数据转换为数据流；以及

适配单元，用于将所述数据流转换为具有所述数据整合系统能够使用的数据格式的数据。

4.如权利要求3所述的数据适配装置，其中所述解析单元为解析器。

5.如权利要求4所述的数据适配装置，其中所述解析器包括xml文件解析器、txt文件解析器、excel文件解析器、普通解析器，jms解析器中的一种或任意组合。

6.如权利要求3所述的数据适配装置，其中所述适配单元为数据适配器。

7.一种数据适配方法，用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，所述数据适配方法包括：

适配步骤，用于接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

8.如权利要求7所述的数据适配方法，其中，当接收的数据的格式不是所述标准数据格式时，所述适配步骤将其转换成所述标准数据格式。

9.如权利要求7所述的数据适配方法，其中所述适配步骤包括：

解析步骤，用于将不同数据源的数据转换为数据流；以及

适配步骤，用于将所述数据流转换为具有所述数据整合系统能够使用的数据格式的数据。

10.如权利要求9所述的数据适配方法，其中所述解析步骤利用xml文件解析器、txt文件解析器、excel文件解析器、普通解析器，jms解析器中的一种解析器或任意组合。

11.一种配置数据适配装置的方法，所述数据适配装置用于数据整合系统，所述数据整合系统用于整合不同的数据整合方式，该方法包括：

适配模块设置步骤，设置适配模块，使其接收不同数据源的数据，并提供具有标准数据格式的数据给所述数据整合系统。

12.如权利要求11所述的方法，其中所述适配模块设置步骤包括：

解析单元设置步骤，设置解析单元，使其将不同数据源的数据转换为数据流；以及

适配单元设置步骤，设置适配单元，使其将所述数据流转换为具有所述数据整合系统能够使用的数据格式的数据。

13.如权利要求12所述的方法，其中所述解析单元设置步骤包括设置xml文件解析器、txt文件解析器、excel文件解析器、普通解析器，jms解析器中的一种解析器或任意组合。

Images