CN103902671A - 一种异构多源数据的动态集成方法及系统 - Google Patents

Abstract

本发明公开了一种异构多源数据的动态集成方法及系统，包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块。数据采集模块用于定义数据源、提供数据源特征、定制采集方法；动态建库模块根据数据结构定制元数据库和业务数据库；入库加载模块用于数据结构再定义和加载入库；数据持久层模块用于元数据库管理。本发明提供的集成系统具有灵活的可扩展性和通用性，处理用户在数据结构不明确时对复杂多源数据的集成问题，为数据决策分析提供可靠的数据集保障。

Description

一种异构多源数据的动态集成方法及系统

技术领域

本发明属于数据处理领域,尤其是涉及一种异构多源数据的动态集成方法及系统，。

背景技术

随着当今社会数据的日益膨胀，生产、通信、医疗等行业产生了大量非结构化的实时或滞后数据，这些数据呈现出结构相异、来源渠道多样、数据冗余程度高等特点，不仅在数据采集角度的用户增加了不断重复的工作量，不同数据源的入库加载也是极其繁琐的，数据集成入库的过程中增加了失误的概率。

目前典型的数据集成过程是抽取、转换、降维、集成，但是这四个过程却忽略了动态性，其必须要有针对性的设计一套方案进行源数据的集成工作，缺乏灵活性和通用性，传统的异构多源数据集成，不同的数据源必须有不同的数据集成方法，这有一个弊端，就是一旦某一环节出现问题（比如数据采集时出现数据结构解析错误），未来的数据集成和数据仓库的构建将毫无意义。

比如在重钢集团热连轧工艺生产流程中，针对某一生产线产生的实时数据，当生产流程或采集点样本数据结构发生变化时，企业只能重新设计一套新方案来采集新数据源，这无疑为企业增加了繁琐的工作量，而且在采集方案的设计过程中增加了人工失误率。

因此，异构多源数据集成工作的通用性愈发重要。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种异构多源数据的动态集成方法及系统，它的特点是在数据采集过程中提供一种动态定制异构多源数据采集方法的机制，在整个系统中定义了一种多数据源的层次化管理模式，在数据入库加载模块实现了一种灵活的业务数据再定义方法，另外提供了一种元数据管理机制和动态数据集成方法。

为了实现本发明的目的，采用以下技术方案：

一种异构多源数据的动态集成系统，该系统适用于开放生产环境中多源、异构数据的集成，支持数据源动态变化和数据采集方式相对灵活多变的情况，所述系统包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块；

所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块，采集数据至系统缓存库，完成数据源的定义，提取数据源特征并发送至动态建库模块；

所述动态建库模块接收数据采集模块发送的数据源特征，用于为异构多源数据动态定制业务数据库和元数据库，生成元表记录并更新元数据库数据；

所述入库加载模块接收数据采集模块缓存库的转换后的数据，并做再定义处理，实现数据结构统一性，并引导多源数据进入相应业务数据库；

所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法，提供元数据库管理机制，并实现元数据库与业务数据的两库联动。

所述数据采集模块包括：

数据源定义单元，用于在数据持久层定义数据源基本信息；

采集方法动态定制单元，用于管理多源数据相应的数据采集方法，并将采集方法发送给采集方法库；

特征提取单元，用于提取数据源的属性、数据结构等信息，并将其发送给动态建库模块。

所述动态建库模块包括：

元数据库动态定制单元，用于为各数据源动态定制元数据库表结构，接收数据采集模块的数据源特征信息，并依此作为元表记录更新元数据库；

业务数据库动态定制单元，为各数据源动态定制业务数据库。

所述入库加载模块包括：

数据源再定义单元，用于接收数据采集模块缓存库中的数据，通过分析元数据库属性间关系对数据结构再定义；

入库加载单元，用于根据各数据源特征定制入库引导程序，并完成数据入库加载工作。

本发明还提出一种异构多源数据的动态集成方法，该集成方法包括以下步骤：

步骤1、采集源数据并向系统提供数据源特征、定制采集方法；

步骤2、动态定制元数据库和业务数据库；

步骤3、对业务数据结构再定义，生成入库引导程序并完成业务数据入库。

所述步骤1还包括以下具体步骤：

步骤1.1，所述数据采集模块在数据持久层定义数据源；

步骤1.2，所述数据采集模块动态定制各数据源的采集方法，并发送至采集方法库；

步骤1.3，所述数据采集模块提取各数据源的特征信息并发送至动态建库模块。

所述步骤2还包括以下具体步骤：

步骤2.1，所述动态建库模块定制表元表和属性元表；

步骤2.2，所述动态建库模块定制业务数据库结构。

步骤3包括以下具体步骤：

步骤3.1，所述入库加载模块动态定制各数据源的入库引导程序；

步骤3.2，所述入库加载模块接收数据采集模块的数据，进行数据结构再定义；

步骤3.3，所述入库引导程序将再定义后的数据加载至业务数据库中。

本发明的优点在于，它使用区别于传统异构多源数据集成的动态集成方法，利用源数据特征定制数据采集方法和元数据库，再通过元数据库进行业务数据库结构的定制和数据结构再定义，引导入库方法也实现了其动态定制，为异构多源数据的集成带来了机动性，其中采集方法和数据库的定制也更加通用，元数据库管理机制更提供了一种灵活的数据库管理模式。

附图说明

图1是本发明的系统流程图；

图2是本发明的系统结构示意图；

图3是本发明的异构多源数据的采集示意图；

图4是本发明的多元化业务层次管理模型图；

图5是本发明的多源数据的特征提取示意图；

图6是本发明的动态数据入库加载示意图；

图7是本发明的元数据管理机制图；

图8是本发明的数据库系统层次图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合附图和具体实施例，对本发明进一步详细说明。

本发明提供一种异构多源数据的动态集成方法与系统，该系统尤其适用于开放生产环境中多源、异构数据的集成，并且支持数据源动态变化和数据采集方式相对灵活多变的情况。

该提供了一种动态定制异构多源数据采集方法的机制，可对不同结构的数据源进行采集方法的定制和管理，并在数据接入到系统时对不同来源的数据调用相应的方法进行格式转换、整理等采集工作，最终统一在相同的数据格式下；定义了一种多数据源的层次化管理模式，将所有数据源统一在一个包括数据源层次、特征层次、业务层次三层逻辑的多层逻辑管理模式下，从而适应数据源的动态变化，实现数据特征的统一管理；提供了一种元数据管理机制，元数据库与业务数据库之间可以动态联动，是真正意义上的“库管理库”；实现了一种灵活的业务数据再定义方法，针对各异构数据源的特征，将各数据源的业务数据进行重组，形成新的再定义元表；提供了一种动态数据集成方法，通过数据源动态入库引导，实现了数据批量高效加载入库。

系统是一个层次管理模型，如图4所示的三层结构，第一层是数据源层次，负责管理各生产工厂数据基本信息（如北海钢铁的处理钢种号、首次接入时间、数据源种类和种数等）；第二层是特征层次，统一管理各工厂元数据数据，例如表元表和属性元表均由特征层次管理；业务层次便是具体业务数据表，例如北海钢铁的BH_RM_SET表保存了轧钢过程中的粗轧设定数据，又如重庆钢铁的CQ_FM_COMCON_DATA表保存了轧钢过程的公共常量。

如图2所示，异构多源数据的动态集成系统包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块，完成从数据的采集、采集方法的定制、数据源特征提取、数据结构再定义到最终完成数据加载的操作。系统通过数据采集模块定制采集方法并提供数据源特征；动态建库模块完成元数据库和业务数据库的定制；入库加载模块将数据加载到数据库中；数据持久层模块通过元数据库管理机制使业务数据库的管理更加效率。

其中，数据采集模块由定义数据源，动态定制采集方法，特征提取三部分功能构成。

数据采集模块通过用户判断数据库中是否为数据源已备案定义数据源，当数据源首次接入时，用户要定义数据源。例如数据源为首次接入的某工厂生产线数据，用户要定义工厂数据的路径、工厂状态、采集方法的路径等信息；如果数据源不是首次接入，则跳过此步骤。

在数据源定义之后可根据数据源附带的表头文件定制数据采集方法，每个数据源接入时都有数据相关头文件用于描述结构信息（多为C语言编写的头文件），数据采集模块负责将这些头文件按标识（比如struct关键字）提取出数据结构，根据数据结构定制采集程序进行数据先读后写，输出文本数据到数据缓存库中。定制采集程序中，数据结构的提取过程是一个递归的过程，例如在轧钢生产流程中产生的数据多为product.dat形式，给出的头文件也是C语言编写的头文件，可以扫描所有头文件，通过关键字struct截取出数据结构体，作为业务数据基本表；通过关键字起始的分号，截取出结构体的成员（结构体和成员等信息被称为数据特征），因为不同采集方法的不同之处一般都是各数据源数据结构树和头文件中定义的宏不同，其他的文本处理过程和读写机制都是相同的，所以可将各源数据结构树融合到读写数据文件的方法中，便形成了异构多源数据采集方法的定制，如图3所示，将采集方法保存到数据库的采集方法库中以供后期调用。

数据源的数据结构是一个树状结构，从头文件中可提取出关于结构信息的结构体，进一步提取可得到表和属性，如图5所示，通过扫描各数据源提供的头文件可根据关键字struct和C语言数据类型保留字（如int,float）提取出多个结构体和成员，进一步形成生成元表和业务数据库结构的sql创建和插入脚本（在动态建库模块中会执行建库），特征提取单元将这些数据特征信息发送给动态建库模块。

动态建库模块主要包括元数据库的定制和业务数据库的定制两部分功能。

动态建库模块，通过数据的特征（结构体和成员）生成属性元表和表元表创建代码（即表创建sql语句），根据数据源特征定制数据库。根据属性（结构体）名称、类型、长度等信息生成元表插入语句，将数据特征插入上述创建的元数据库中，完成元数据库定制工作。

依据元数据库中表元表和属性元表，定制数据库，此时业务数据库中便创建了相应源的业务表。

入库加载模块主要由数据结构再定义和入库加载两部分构成。

入库加载模块先进行数据结构再定义，数据缓存库中的数据（此时数据已经过初步转换，可读性更高）与数据持久层中其他源的数据可能存在类似同名异义、异名同义、同名同义等现象，为实现数据库中数据组织形式的统一，通过元数据表将数据结构进行再定义，解决了这些冲突。下表1便是一种再定义形式，如果源1中表A与源2中表x为异名同义表，因此将其抽取出来再定义为表M，表示源1A或源2x。如果源1表B部分属性与源2表y部分属性同义，那么可将两表部分共同属性提取出来进行重组，表N便为重组后的表。

表1

数据源1	源1表A	源1表B	源1表C	源1表D
					数据源2	源2表x	源2表y	源2表z	…
再定义后的组织形式	表M（A或x）	表N（B+y）	…	…

引导入库方法的定制也是一个动态过程，如图6所示，通过元数据库中的元数据为每个数据源定制一系列引导文件，如果目的数据库是Oracle，则通过列举缓存库中文件名称再结合表元表和属性元表生成对应数据源的控制文件（*.ctl文件），通过java程序定制各数据源的入库引导程序，执行入库程序便使用SQL loader工具将数据批量加载入库，完成对应数据的批量入库工作。

数据持久层模块主要由元数据库管理和数据存储两个功能组成。

数据持久层根据自身特点，实现元数据库和业务数据两库联动，如图7所示，元数据库可以动态定制业务数据库，属性元表实现业务库的属性修改、增加、删除等管理，表元表对业务数据库的表进行修改、增加、删除等管理。元数据管理机制是本系统的一个重要特性，当数据加载入库之后，系统把对应数据源的记录数、最后使用时间、调用频次、表的增删情况等重要数据反馈给元数据库；同样地，当元数据库对表或属性进行更新操作时，业务数据库会响应（如在表元表中删除一个业务表，则此业务表将被销毁）。元数据库与业务数据库的联动机制真正实现了“库管理库”。

元数据库中保存的是业务表的组织形式信息，真正的业务数据存放在了业务数据库中，数据采集模块中定制的采集方法保存在了采集方法库中，用于将来相同结构数据采集时直接调用，省去了定制过程。

附图8展示了本系统的数据库系统层次，元数据库包括表元表和属性元表，表元表中包括了业务表表名、使用频次、表中属性数量、记录数据、最后更新时间等信息，属性元表中包括了属性名称、隶属表等信息；业务数据库中包括了根据各数据源特征创建的业务表；采集方法库中则包括了数据采集模块中为各数据源定制的采集方法，包括方法参数、返回值、路径等信息。

基于上述异构多源数据的动态集成系统，对异构多源数据进行动态采集、建库、再定义，进而达到加载入库，其中具体流程如下：

步骤一、数据采集模块通过异构多源数据进行特征提取，将特征信息发送给动态建库模块和入库加载模块，并定义数据源和动态定制采集方法，将定制的采集方法发送至数据持久层模块。

步骤1.1，数据采集模块在数据持久层定义数据源；

步骤1.2，数据采集模块动态定制各数据源的采集方法，并发送至采集方法库；

步骤1.3，数据采集模块提取各数据源的特征信息并发送至动态建库模块。

步骤二、动态建库模块根据接收的数据源特征定制相应元数据库的属性元表和表元表，并参照属性元表和表元表定制相应业务数据库。

步骤2.1，动态建库模块定制表元表和属性元表；

步骤2.2，动态建库模块定制业务数据库结构。

步骤三、入库加载模块根据接收的异构多源数据的属性、结构等特征定制入库引导程序，并将数据采集模块发送的数据再定义，加载至相应业务数据库中。

步骤3.1，入库加载模块动态定制各数据源的入库引导程序；

步骤3.2，入库加载模块接收数据采集模块的数据，进行数据结构再定义；

步骤3.3，入库引导程序将再定义后的数据加载至业务数据库中。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种异构多源数据的动态集成系统，该系统适用于开放生产环境中多源、异构数据的集成，支持数据源动态变化和数据采集方式相对灵活多变的情况，其特征在于，所述系统包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块；

所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块，采集数据至系统缓存库，完成数据源的定义，提取数据源特征并发送至动态建库模块；

所述动态建库模块接收数据采集模块发送的数据源特征，用于为异构多源数据动态定制业务数据库和元数据库，生成元表记录并更新元数据库数据；

所述入库加载模块接收数据采集模块缓存库的转换后的数据，并做再定义处理，实现数据结构统一性，并引导多源数据进入相应业务数据库；

所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法，提供元数据库管理机制，并实现元数据库与业务数据的两库联动。

2.如权利要求1所述的异构多源数据的动态集成系统，其特征在于，所述数据采集模块包括：

数据源定义单元，用于在数据持久层定义数据源基本信息；

采集方法动态定制单元，用于管理多源数据相应的数据采集方法，并将采集方法发送给采集方法库；

特征提取单元，用于提取数据源的属性、数据结构等信息，并将其发送给动态建库模块。

3.如权利要求1所述的异构多源数据的动态集成系统，其特征在于，所述动态建库模块包括：

元数据库动态定制单元，用于为各数据源动态定制元数据库表结构，接收数据采集模块的数据源特征信息，并依此作为元表记录更新元数据库；

业务数据库动态定制单元，为各数据源动态定制业务数据库。

4.如权利要求1所述的异构多源数据的动态集成系统，其特征在于，所述入库加载模块包括：

数据源再定义单元，用于接收数据采集模块缓存库中的数据，通过分析元数据库属性间关系对数据结构再定义；

入库加载单元，用于根据各数据源特征定制入库引导程序，并完成数据入库加载工作。

5.一种异构多源数据的动态集成方法，其特征在于，该集成方法包括以下步骤：

步骤1、采集源数据并向系统提供数据源特征、定制采集方法；

步骤2、动态定制元数据库和业务数据库；

步骤3、对业务数据结构再定义，生成入库引导程序并完成业务数据入库。

6.如权利要求5所述的异构多源数据的动态集成方法，其特征在于，所述步骤1还包括以下具体步骤：

步骤1.1，所述数据采集模块在数据持久层定义数据源；

步骤1.2，所述数据采集模块动态定制各数据源的采集方法，并发送至采集方法库；

步骤1.3，所述数据采集模块提取各数据源的特征信息并发送至动态建库模块。

7.如权利要求5所述的异构多源数据的动态集成方法，其特征在于，所述步骤2还包括以下具体步骤：

步骤2.1，所述动态建库模块定制表元表和属性元表；

步骤2.2，所述动态建库模块定制业务数据库结构。

8.如权利要求5所述的异构多源数据的动态集成方法发，其特征在于，步骤3包括以下具体步骤：

步骤3.1，所述入库加载模块动态定制各数据源的入库引导程序；

步骤3.2，所述入库加载模块接收数据采集模块的数据，进行数据结构再定义；

步骤3.3，所述入库引导程序将再定义后的数据加载至业务数据库中。

Images