CN102508706A - 一种多源数据集成平台及其构建方法 - Google Patents

Abstract

一种多源数据集成平台，该平台由数据源，连接层，活动层，逻辑层，服务层五部分构成，数据源为平台提供底层数据支持，连接层建立数据源与活动层的连接，使活动层可以对数据源进行操作，逻辑层对活动层的活动进行组织，通过服务层提供给用户服务；该数据源是整个平台数据的来源；该连接层是上层应用与下层数据之间连接的通道；该活动层为系统活动的集合；该逻辑层是对活动过程的控制；该服务层是集成平台给用户提供的服务。一种多源数据集成平台的构建方法，它有六大步骤。本发明构思科学，使用方便，它在数据管理、计算机、集成设计环境技术领域里具有较好的实用价值和广阔的应用前景。

Description

一种多源数据集成平台及其构建方法

技术领域

本发明涉及一种多源数据集成平台及其构建方法，属于数据管理、计算机、集成设计环境技术领域。

背景技术

随着计算机网络的飞速发展和信息化的推进，数据的采集、存储和传播日益增加，企业内部，企业外部之间信息的交流日益强烈，但企业内部各个部门，企业与企业之间的信息平台的数据源往往彼此独立，存在异构现象，从而形成“信息孤岛”，使得数据的共享问题日益突出。企业迫切需要进行数据集成，实现数据共享，建立一个完善的数据集成系统。

开发数据集成系统需要很长的建立时间。创建一个集成系统，首先需要建立一个集成模型，然后定义集成模型到数据源之间的映射和语义关系。这个过程需要大量的开发工作，针对异构的数据源，开发人员需要重写数据集成过程，考虑异构数据对集成过程造成的影响。同时在数据集成过程中，开发人员无法清晰的理解集成过程所处阶段，集成结果状态，对集成结果进行快速展示及分析。因此开展集成设计环境的研究具有重要意义。

目前市场上的数据集成平台有：BeeDI，Informatica，KNIME，JasperETL等，BeeDI是一款数据整合软件，进行数据的抽取，清洗，转换，通过标准化企业各业务系统产生的数据，向数据仓库提供数据，为企业的决策分析提供支持；Informatica主要是通过它的Designer和Workflow Manager实现数据的抽取方式的设计并将工作应用到一个具体的工作流中；KNIME是基于Eclipse并通过插件的方式来给用户提供以可视化的方式创建数据流或数据通道；JasperETL主要提供数据的抽取，转换和载入功能。

这些集成平台存在以下缺点：

1)缺乏集成数据分析。虽然有些集成平台存在将集成结果显示的功能，但仅限于对字段数据的二维或者图形展示，不能发掘数据的内在联系与关系；

2)不能实时生成集成代码。采用面向服务的方法将数据集成逻辑进行封装，虽然减少了用户的工作量与负担，但让用户对集成原理与过程失去了掌控，使集成的灵活性降低；

3)不能根据用户需求生成集成数据动态展示页面。集成平台主要将数据从数据源抽取，转换为需求格式，然后通过映射载入到目标库中，没有提供一种手段对数据采取结果进行组织，生成可移植的数据显示页面；

4)没有提供一种接口便于用户将集成平台产生的过程数据及集成代码进行移植。

5)集成平台功能固定，难以个性化定制及扩展功能。

6)不能对集成知识进行整理，收集，形成知识库，知识重复利用率低。

发明内容

本发明的目的是提供一种多源数据集成平台及其构建方法，它克服了现有技术的不足，能改善当前数据集成工作环境。其目标有：

(1)提供一种以流程驱动活动，以活动作为服务的规范的可扩展的集成工作平台。

(2)将多源数据的操作过程作为一种活动以图形化编程的方式进行展示，根据用户需求，生成不同语言的数据操作过程代码。

(3)用户可以实现活动的自定义，从而实现系统功能的扩展，代码的重用和个性化定制。

(4)对集成数据，根据用户需求，采用聚类分析等数据分析方法，对数据进行分析与挖掘，并以图形化的方式展示数据之间的关联。

(5)提供展示界面自动生成服务。根据用户的需求，系统自动生成数据展示界面及代码并进行输出，给用户提供后续界面设计的基础。用户可以以此代码和界面为基础进行开发或者参考，加快数据集成过程。

(6)规范数据集成过程及活动。

(7)提高知识重用率。

1)本发明一种多源数据集成平台，它以流程为主线，以活动为核心，将数据抽取，数据转换，数据分析等过程标准化，并以活动的形式展示出来，给用户的工作提供知识支持，标准代码支持，界面设计支持，数据分析支持等。

本发明一种多源数据集成平台，该平台由数据源，连接层，活动层，逻辑层，服务层五部分构成，它们之间的关系是：数据源为平台提供底层数据支持，连接层建立数据源与活动层的连接，使活动层可以对数据源进行操作等，逻辑层对活动层的活动进行组织，通过服务层提供给用户服务。

所述数据源是整个平台数据的来源，该数据源是由平台功能数据和用户集成数据两类数据组成，其间关系是：功能数据为平台功能的实现提供支撑，用户集成数据为用户指定的平台操作对象；该功能数据包括代码库，知识库和界面模板库，这些数据存储在MySQL数据库中；该用户集成数据包括文本文件，XML文件，网页和数据库(包括Oracle，SQLSERVER，MySQL，access，SyBase，FoxPro，Imformix等)等。

所述连接层是上层应用与下层数据之间连接的通道；该连接层是一系列与数据源建立连接的接口，这些接口支持c++，java等常用编程语言。

所述活动层为系统活动的集合，它是将各种功能，比如数据库的操作等进行归纳，形成一个个活动，将活动作为一个标准功能对象提供给用户。该活动层是由三部分组成，输入参数，输出参数和实现过程。三者之间的关系是：输入参数经过实现过程的处理，产生输出参数；该输入参数与输出参数都是xml格式的字符串；该实现过程为用java或者c++等代码编写的逻辑函数，用户可以根据需求选择实现过程的编写语言。用户不用关心活动的具体的实现方式，只需根据提示填写活动的输入参数，活动将调用活动的实现过程，运行完成后按照输出格式的定义对结果进行输出。

所述逻辑层是对活动过程的控制。该逻辑层是通过顺序，选择，循环等逻辑过程将活动组合起来，形成用户所需的完整的活动流程，对整个工作过程和活动进行驱动与控制。

所述服务层是集成平台给用户提供的服务，它包括数据集成，数据分析，代码编辑，界面设计，知识管理，功能扩展等各项服务。其之间的关系是：数据集成服务是集成平台提供给用户的主要功能，数据分析，代码生成，界面设计，知识管理以及功能扩展，是为用户顺利开展集成工作而对数据集成服务的补充。这些服务可应用于数据集成工作前的集成知识积累，集成工作中的集成控制与组织，集成工作后数据的分析与处理。该数据集成服务是获取不同数据源的数据，并按要求对数据进行组织，操作和集成，它主要包括数据的连接，抽取，转换和加载等，其之间的关系是：它通过数据连接模块建立与集成数据源的连接，从数据源抽取数据并将数据格式进行转换，使抽取的数据可以在不同数据源之间进行加载；该数据分析服务是对数据源或数据集成结果数据进行各种分析，挖掘，获取数据的内在关联对需要进行分析的数据选择合适的数据分析方法，产生分析结果，并以图形化的手段进行显示；该代码编辑服务是根据用户选择给用户提供活动实现过程代码数据的集成，服务的实现需要以底层代码为支撑，该服务提供以各种语言，如java，c++，JS等实现集成服务功能的代码，作为用户编程参考；该界面设计服务是对集成数据的展示界面进行快速设计，提供一种基于模板的显示界面构建方法，将抽取或者整合的数据作为数据源，定义界面显示数据内容，选择界面模板，即可轻易生成美观的显示界面并进行输出；该知识管理服务是对集成过程中存在的显性知识与隐性知识进行收集与存储，它用于搜集与整理用户在实现数据集成时产生的经验与规范等；该功能扩展服务是用户对集成平台功能进行扩展的接口，它使用户可以对平台提供的活动及模板进行扩展，完善系统功能。

2)本发明一种多源数据集成平台的构建方法，该方法具体步骤如下：

步骤一：对数据集成常用数据源进行归类，包括数据库类型，网页，文本文件等数据类型，对数据集成常用编程语言进行统计；数据库包括Oralce、DB2、MySQL、Informix、Microsoft SQL Server、Sybase等，网页包括HTML，jsp等形成的网页，文本文件包括XML文件，txt文件等；常用编程语言有java，C++，VB，Pascal等。收集数据集成活动需求及涉及的知识方法和常用数据分析方法，确定数据集成常用的活动以及活动之间可能存在逻辑关系。数据集成活动分为数据库操作类、数据转换类、数据整合类、逻辑类、HTTP操作类、FTP操作类等。数据库操作类提供了执行查询代码活动、插入行活动、更新行活动、删除行活动、调用存储过程活动、获取插入行活动、获取更新行活动、获取选取表活动等等；数据转换类提供了读取XML活动、写XML活动、读JSON活动、写JSON活动、映射变量活动、检查XML可用性活动、检查JSON可用性活动、读文本文件活动等等；数据整合类提供了数据合并活动、数据查找活动、数据排序活动等等；逻辑类提供了IF活动、TRY活动、While活动、FOR EACH活动、BREAK活动、RETURN活动、CONTINUE活动、GROUP活动、PICK活动等等；HTTP操作类提供了Send Response活动、Post Response活动、Receive Result活动等等；FTP操作类提供了Put File活动、选择文件夹活动、GetFile活动、Delete File活动、Remove File活动、List Files活动等等。常用数据分析方法有：排列图，因果图，散布图，直方图，分层法等。

步骤二：根据步骤一收集的集成知识方法构建知识库，常用数据分析方法构建数据分析算法库，根据确定的活动和集成平台支持的编程语言类型构建实现这些活动所需的代码库，收集与构建动态页面构建界面模板库。知识库是一个智能数据库，它对显性知识进行存储，对隐形知识进行收集，使知识有序化，加快知识的共享与流动，协作与沟通。数据分析算法库集成常用数据分析算法，它对用户的数据分析提供分析方法。代码库存储各种标准功能的各种语言的实现代码，活动从代码库中获取代码构建活动实现过程。界面模板库是各种页面模板的集合，用户只需选取界面模板，定义界面的输入与输出，即可形成页面文件。

步骤三：根据步骤一确定的数据源类型与代码库中功能的实现函数构建连接层的数据源连接模板。分析数据源的连接方式和输入参数，根据输入参数，构建连接层的数据源连接模板的界面文件，然后建立数据源连接实现与界面的关联，并定义连接层的数据源连接模板的输出，即可完成连接层的数据源连接模板的创建。连接层的数据源连接模板提供对数据源的连接。

步骤四：根据确定的活动，活动的输入输出和代码库中的实现函数构建活动库。活动的结构分为输入，输出和实现过程，在活动库中定义活动的名称，输入参数，输出参数和实现过程函数名，在代码库中定义实现过程函数的具体执行代码，按照输出需求编写活动的配置页面，建立页面和活动库中活动定义的关联即可完成活动库的创建。

步骤五：根据步骤一确定的活动之间的关系构建逻辑层的逻辑控制方法。逻辑控制方法主要分为顺序，选择，循环等。逻辑层的逻辑控制方法是通过逻辑控制活动来实现的，在活动库中创建顺序，选择，循环等逻辑活动，将这些活动进行组合可以形成各种逻辑控制。

步骤六：服务层的构建。通过代码库，页面模板库，知识库，数据分析算法库等构建数据集成，数据分析，代码编辑，界面设计，知识管理，功能扩展的服务。数据集成服务是获取不同数据源的数据，并按要求对数据进行组织，操作和集成。数据分析服务是对数据源或数据集成结果数据进行各种分析，挖掘，获取数据的内在关联。代码编辑服务是根据用户选择向用户显示活动实现过程的代码。界面设计服务是根据用户选择的数据源与界面模板快速生成数据展示界面。知识管理服务是对知识的收集与整理。功能扩展服务是对平台提供的活动及模板进行扩展。

通过以上六个步骤就完成了多源数据集成平台的构建。

3)本发明的优点在于：

(1)按需求生成集成过程代码，用户可对该段代码进行重用和编辑，减少用户开发工作量；

(2)集成了多种数据分析方法的数据分析模块给用户提供了一种简单便捷的数据分析手段；

(3)知识库的应用可以采集用户的知识与经验，进行归纳整理，为用户将来工作提供指导；

(4)界面构建模块使用户方便的将抽取的数据进行展示，并且提供了多种界面模板。用户可以方便的生成各种语言脚本的页面文件；

(5)为数据、流程、算法、知识、界面的集成提供了一个框架，在使用过程中面对的将是一个图形化的界面，用户只需主要关注集成逻辑过程，而不需花费大量的时间于中间过程代码的编写与功能的实现，可以有更多的时间规划数据集成的实现逻辑。

附图说明

图1为多源数据集成平台的系统结构图；

图2为本发明的活动的结构图；

图3为本发明的工作流程图；

图4实例活动流程图；

图5活动配置流程图；

图6活动输出EBOM结构形式；

图7活动输出MBOM结构形式；

图8活动输出MergeBOM结构形式；

图9数据集成服务的构建示意图；

图10代码编辑服务的构建示意图；

图11界面设计服务的构建示意图；

图12数据分析服务的构建示意图；

图13功能扩展服务的构建示意图。

图中符号说明如下：

1-数据源，2-连接层，3-活动层，4-逻辑层，5-服务层。

Execute Query：活动名，执行查询；

Call Procedure：活动名，调用存储过程；

Merge：活动名，数据结合；

HTTP Post Request：活动名，http发送请求；

FTP PutFile：活动名，FTP上传文件；

Update Rows：活动名，更新行数据；

Generate Code：活动名，产生代码；

Generate interface：活动名，产生接口；

HTTP Send Response：活动名，http发送相应；

If：活动名，如果；

Else：活动名，其余；

Write XML：活动名，产生XML文件；

INPUT：输入参数；

OUTPUT：输出参数；

main：活动主函数；

Return：返回结果语句；

result：结果数据；

Function1，Function2：函数名；

Data Transform：活动名，数据转换；

Data Analysis：活动名，数据分析；

Interface：活动名，产生界面。

Oracle，SQL SERVER：数据库名。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出了一种面向活动的多源数据集成平台，以流程为主线，以活动为核心，将数据抽取，数据转换，数据分析等过程标准化，并以活动的形式展示出来，给用户的工作提供知识支持，标准代码支持，界面设计支持，数据分析支持等。

本发明一种多源数据集成平台，如图1所示，它包括数据源1、连接层2、活动层3、逻辑层4和服务层5。它们之间的关系是：数据源1为平台提供底层数据支持，连接层2建立数据源1与活动层3的连接，使活动层3可以对数据源1进行操作等，逻辑层4对活动层3的活动进行组织，通过服务层5提供给用户服务。

数据源1是整个平台的数据来源，提供平台功能数据和用户集成数据；集成数据包括文本文件，网页，数据库等，数据库包括Oralce、DB2、MySQL、Informix、Microsoft SQLServer、Sybase等，文本文件包括XML文件，txt文件等；功能模板数据包括代码库、界面模板库、知识库，数据分析算法库等系统数据。

连接层2是上层应用(活动层3)与下层数据(数据源1)之间连接的通道；连接层2提供了与各种数据源1建立连接的模板，用户根据不同类型的数据源选择相应模板，填写数据源信息，平台产生不同语言(java，c++等)连接数据库的接口与代码，通过服务层5的代码编辑服务将产生的代码动态显示，并可由用户对代码进行编辑。

活动层3为平台活动的集合，将各种功能，形成一个个活动，将活动作为一个标准功能对象提供给用户，用户不用关心活动的具体的实现方式，只需知道活动的输入与输出，用户可以对活动进行扩展，使系统功能更加丰富。活动层3的活动用户可以根据需求按照活动的模板进行扩展，实现功能重用。活动的定义如图2所示，活动包括输入参数INPUT，输出结果OUTPUT，中间实现过程main函数，main函数中调用了一系列代码库中的函数或者用户自定义的函数。

逻辑层4是对活动的组合，通过逻辑活动将用户进行的活动组合起来，形成用户所需的完整的活动流程，对整个工作过程和活动进行驱动与控制；逻辑层4向我们展示了用户进行集成工作时的工作过程，通过流程驱动器进行驱动，用户可用直观的了解整个工作过程和工作进程。

服务层5是集成平台给用户提供的服务，包括数据集成服务、数据分析服务、代码编辑服务、界面设计服务、知识管理服务、功能扩展服务等。

数据集成服务包括数据的连接、抽取、转换和加载，通过连接层2里面数据源连接模板库中的数据连接模块建立与集成数据源的连接，从数据源1抽取数据并将数据格式进行转换，使抽取的数据在不同数据源之间进行加载；具体为：通过调用数据连接模块建立与集成数据源的连接，显示数据源1的数据信息，表结构等等，用户可用定义输出字段，并将数据以特定格式，如xml，json等输出，如果是多个数据源，数据格式不同，编码方式不一样，通过数据转换功能，将数据转换为统一格式，该服务还可以通过映射方式，建立数据之间的联系，建立新的视图，或者将数据从一个数据源加载到另一个数据源，用户不需手动编程，可以通过图形化界面实现相关功能，并可以通过代码生成服务生成数据集成代码，以供用户使用。

数据分析服务，对需要进行分析的数据选择合适的数据分析方法，产生分析结果，并以图形化的手段进行显示；具体为，数据分析服务提供了数据分析的功能，底层集成了一些数据分析方法，比如聚类分析等，用户选择集成数据作为输入，系统将产生分析结果，并将结果以图形化的手段进行显示。系统可以将该过程以用户的选择以项目的形式进行输出，作为数据集成的一部分。

数据的集成、服务的实现需要以底层代码为支撑，代码生成服务提供以各种语言，如java，c++，JS等实现集成服务功能的代码，作为用户编程参考；具体为：用户在进行数据集成工作时，首先是理清数据之间的关系，明确集成目的，然后花费大量的时间进行代码构建，在本发明的平台中，提供了代码编辑服务，构建代码库，然后根据用户的活动过程，调用底层代码，生成项目代码。该服务提供以各种语言，如java，c++，JS等，作为用户编程参考；

界面构建服务，提供一种基于模板的显示界面构建方法，将抽取或者整合的数据作为数据源，定义界面显示数据内容，选择界面模板，即可生成美观的显示界面并进行输出；具体为：提供一种基于模板的可视化编程方法，用户选择界面模板，定义模板的输入输出，更改界面样式，即可生成风格各异，界面优美的展示界面

知识管理服务用于搜集与整理用户在实现数据集成时产生的经验与规范等；

功能扩展服务使用户可以对平台提供的活动及模板进行扩展，完善系统功能。用户对一些标准的活动，可以通过功能扩展服务，构建自己的活动库。

本发明一种多源数据集成平台的构建方法，流程如图3所示，包括以下几个步骤：

步骤1，对数据集成常用数据源进行归纳，对数据集成常用编程语言进行统计，确定集成平台支持的编程语言类型，收集集成活动需求，确定数据集成常用的活动，活动的输入和输出等信息以及活动之间可能存在逻辑关系。收集集成活动涉及的知识方法，数据分析常用方法等。

步骤2，根据步骤1收集的资料构建知识库、数据分析算法库、代码库和界面模板库等。

步骤3，数据源类型与代码库中功能的实现函数构建连接层的数据源连接模板。

步骤4，分析数据集成过程，构建活动库。

活动主要分为三部分：输入，中间处理，输出。根据集成业务需求，确定活动的输入输出参数，然后在中间处理过程中调用代码库中的数据处理函数对输入参数进行处理，然后返回输出结果。活动的基本结果如图2所示。

步骤5，根据逻辑控制方式：顺序，循环，选择，并行等，创建逻辑驱动器，构建逻辑层。

逻辑层是对活动执行过程及状态的控制。

逻辑层通过逻辑控制器将活动层的活动进行组织和控制，实现数据集成的数据流和过程流的控制。

步骤6，根据底层的代码库，数据分析算法库，界面设计模板库，知识库等构建平台服务层提供的服务：数据集成，界面设计，代码编辑，功能扩展，知识管理等。

实施例：

下面以PDM系统中的EBOM与MES系统中的MBOM的集成为例来说明该平台的工作过程。PDM系统中的EBOM存在于Oracle的EBOM表中，MES系统中的MBOM存在于SQL SERVER的MBOM表中。集成的目的是实现EBOM与MBOM的属性的结合，在PDM的Oracle中构建全BOM。

EBOM的表结构如表1所示：

表1EBOM

MBOM的表结构如表2所示：

表2MBOM

全BOM的表结构如表3所示：

表3BOM

方法的具体步骤为：

步骤1，根据设计目标，收集相关数据和资源，包括连接的数据源类型，实现该过程涉及的活动，活动的实现方式，支持的编程语言等。

数据源为Oracle和SQL SERVER，设计的活动包括连接数据源，数据查询，数据转换，数据整合，数据分析，界面创建，支持的编程语言为java，C++等。

步骤2，根据收集的资源创建代码库，知识库，界面模板库，活动库等。

步骤3，创建数据源连接模板。

在本例中数据源为异构的数据库，创建连接Oracle与SQL SRVER的数据库连接模板，需要填写的属性包括：数据库类型，数据库名称，网络位置，端口号，用户名，用户密码等，数据源连接的实现过程分别为OracleConnect和SqlServerConnect，返回结果为Connect数据库连接对象。

步骤4，分析活动过程，构建活动库。

在本例中，活动包括数据查询，数据转换，数据整合，数据分析，界面创建，活动的实现过程如下：

Execute Query活动，配置流程如图5所示。

(1)输入的查询为：Select＊from EBOM；

(2)在建立输入参数的过程中对输入参数的属性进行设置，包括参数名，数据类型，编码方式等，由于本例中不存在输入参数，所以不需进行设置；

(3)设置输出。对查询结果的每个字段属性进行设置，查询结果的字段有：PartNumber，Name，Number，Type，MaterialSpecification，Size；

(4)映射输入。在本例中不带有条件where，该项不需进行设置；

(5)映射输出。将查询结果的字段和输出数据的字段进行映射，构建输出数据EBOMXml。EBOMXml的结构形式如图6所示，MBOM的结构形式如图7所示。

Data Transform活动

Merge活动：

(1)配置合并的数据源。本例中的数据源是执行Execute Query活动得到的输出EBOMXml和MBOMXml；

(2)选择合并的关键字以及属性。本例中的关键字是件号，属性是，合并结果为MergeXml。MergeXml的结构形式如图8所示。

(3)映射输出。选择输出的数据格式及方式。

Data Analysis活动：

(1)选择进行数据分析的数据源作为输入。本例为MergeXml。

(2)选择分析属性值和分析方法。

(3)输出分析结果和可视化页面。

Interface Create活动：

(1)选择数据源作为输入

(2)选择数据显示模板

(3)设置显示表格属性值

(4)输出显示页面文件

在本例中界面模板库中应包含表格显示的界面代码。

在本例中代码库中包括Oracle，SQL SERVER的数据库连接代码，数据库查询等操作执行代码，数据分析及数据分析结果的图表显示代码，数据组合代码，数据转换代码等。

步骤5，根据顺序，循环，选择，并行等活动的执行方式，构建逻辑控制器，实现对活动的组织与控制。

本例中的活动顺序图如图4所示。

步骤6，创建服务层的服务模块。数据集成，代码编辑，界面设计，数据分析，知识管理，功能扩展等。

数据集成服务通过活动库中数据操作活动的组合构建数据集成服务。图9展示了该服务的构建过程。在输入层输入集成条件，然后在逻辑层构建活动组合，通过连接层的数据源连接模板建立与数据源的连接，从数据库中获取集成数据，通过活动的控制对数据进行集成，调用代码库中的代码实现集成过程，并可从知识库中获取集成知识并可对知识库进行扩展。

代码编辑服务主要给用户提供过程实现的代码实例。图10展示了该服务的构建过程。从输入层输入代码特征，如代码名称等，然后连接代码库，获取代码，通过代码展示界面进行代码的展示，根据需求对代码进行编辑，结果可以保存到知识库和代码库中，并可进行输出。

界面设计服务给用户提供一种基于模板的界面快速生成方式。图11展示了该服务的构建过程。输入界面特征，连接界面模板库，然后从该库中获取界面模板，根据输入界面参数，定义界面的底层数据格式，对界面进行编辑，最后将最终界面进行输出。

数据分析服务通过集成数据算法和分析结果展示功能向用户提供数据的快速预览与监控。图12展示了该服务的构建过程。定义分析数据，调用分析算法与界面模板库，对数据进行分析和展示。

功能扩展服务通过将功能扩展的活动标准化，定义好扩展流程与活动，使用户按照需求编写扩展功能的输入，输出与实现过程，然后将相关的数据，函数，资源等存入代码库，界面模板库，数据分析算法库等完成功能的扩展。图13展示了该服务的实现过程。

知识管理服务通过用户输入知识名称，知识实现过程，知识分类，知识分析等完成知识的积累，分为知识的获取与知识的提供，知识的获取通过用户按照知识模板输入实现，知识获取通过知识的分类查询与提示实现。

在此实例中，用户只需花费几小时的时间即可完成原来需要几天才能完成的EBOM与MBOM的集成工作，并给用户提供集成页面，同时根据用户需求进行数据分析，使用户可以将主要精力放在集成的业务逻辑上，而不是代码的编写及调试上，将用户从繁重的代码编写工作当中解脱出来，同时使用户开发的时间大大减少，因此该平台具体很好的应用价值。

Claims (2)

1.一种多源数据集成平台，其特征在于：该平台由数据源，连接层，活动层，逻辑层，服务层五部分构成，数据源为平台提供底层数据支持，连接层建立数据源与活动层的连接，使活动层可以对数据源进行操作，逻辑层对活动层的活动进行组织，通过服务层提供给用户服务；

所述数据源是整个平台数据的来源，该数据源是由平台功能数据和用户集成数据两类数据组成，功能数据为平台功能的实现提供支撑，用户集成数据为用户指定的平台操作对象；该功能数据包括代码库，知识库和界面模板库，这些数据存储在MySQL数据库中；该用户集成数据包括文本文件，XML文件，网页和数据库；

所述连接层是上层应用与下层数据之间连接的通道；该连接层是一系列与数据源建立连接的接口，这些接口支持c++，java常用编程语言；

所述活动层为系统活动的集合，它是将各种功能，如数据库的操作进行归纳，形成一个个活动，将活动作为一个标准功能对象提供给用户；该活动层是由输入参数，输出参数和实现过程三部分组成，输入参数经过实现过程的处理，产生输出参数；该输入参数与输出参数都是xml格式的字符串；该实现过程为用java或者c++代码编写的逻辑函数，用户可以根据需求选择实现过程的编写语言；用户不用关心活动的具体的实现方式，只需根据提示填写活动的输入参数，活动将调用活动的实现过程，运行完成后按照输出格式的定义对结果进行输出；

所述逻辑层是对活动过程的控制；该逻辑层是通过顺序，选择，循环逻辑过程将活动组合起来，形成用户所需的完整的活动流程，对整个工作过程和活动进行驱动与控制；

所述服务层是集成平台给用户提供的服务，它包括数据集成、数据分析、代码编辑、界面设计、知识管理和功能扩展各项服务；数据集成服务是集成平台提供给用户的主要功能，数据分析，代码生成，界面设计，知识管理以及功能扩展，是为用户顺利开展集成工作而对数据集成服务的补充；这些服务应用于数据集成工作前的集成知识积累，集成工作中的集成控制与组织，集成工作后数据的分析与处理；该数据集成服务是获取不同数据源的数据，并按要求对数据进行组织，操作和集成，它包括数据的连接，抽取，转换和加载，它通过数据连接模块建立与集成数据源的连接，从数据源抽取数据并将数据格式进行转换，使抽取的数据可以在不同数据源之间进行加载；该数据分析服务是对数据源或数据集成结果数据进行各种分析，挖掘，获取数据的内在关联对需要进行分析的数据选择合适的数据分析方法，产生分析结果，并以图形化的手段进行显示；该代码编辑服务是根据用户选择给用户提供活动实现过程代码数据的集成，服务的实现需要以底层代码为支撑，该服务提供以各种语言，如java，c++，JS实现集成服务功能的代码，作为用户编程参考；该界面设计服务是对集成数据的展示界面进行快速设计，提供一种基于模板的显示界面构建方法，将抽取或者整合的数据作为数据源，定义界面显示数据内容，选择界面模板，即生成美观的显示界面并进行输出；该知识管理服务是对集成过程中存在的显性知识与隐性知识进行收集与存储，它用于搜集与整理用户在实现数据集成时产生的经验与规范；该功能扩展服务是用户对集成平台功能进行扩展的接口，它使用户对平台提供的活动及模板进行扩展，完善系统功能。

2.一种多源数据集成平台的构建方法，其特征在于：该方法具体步骤如下：

步骤一：对数据集成常用数据源进行归类，包括数据库类型，网页，文本文件数据类型，对数据集成常用编程语言进行统计；数据库包括Oralce、DB2、MySQL、Informix、MicrosoftSQL Server、Sybase，网页包括HTML，jsp形成的网页，文本文件包括XML文件，txt文件；常用编程语言有java，C++，VB，Pascal；收集数据集成活动需求及涉及的知识方法和常用数据分析方法，确定数据集成常用的活动以及活动之间存在逻辑关系；数据集成活动分为数据库操作类、数据转换类、数据整合类、逻辑类、HTTP操作类、FTP操作类；数据库操作类提供了执行查询代码活动、插入行活动、更新行活动、删除行活动、调用存储过程活动、获取插入行活动、获取更新行活动和获取选取表活动；数据转换类提供了读取XML活动、写XML活动、读JSON活动、写JSON活动、映射变量活动、检查XML可用性活动、检查JSON可用性活动和读文本文件活动；数据整合类提供了数据合并活动、数据查找活动、数据排序活动等等；逻辑类提供了IF活动、TRY活动、While活动、FOR EACH活动、BREAK活动、RETURN活动、CONTINUE活动、GROUP活动和PICK活动；HTTP操作类提供了Send Response活动、Post Response活动和Receive Result活动；FTP操作类提供了Put File活动、选择文件夹活动、Get File活动、Delete File活动、RemoveFile活动和List Files活动；常用数据分析方法有：排列图，因果图，散布图，直方图和分层法；

步骤二：根据步骤一收集的集成知识方法构建知识库，常用数据分析方法构建数据分析算法库，根据确定的活动和集成平台支持的编程语言类型构建实现这些活动所需的代码库，收集与构建动态页面构建界面模板库；知识库是一个智能数据库，它对显性知识进行存储，对隐形知识进行收集，使知识有序化，加快知识的共享与流动，协作与沟通；数据分析算法库集成常用数据分析算法，它对用户的数据分析提供分析方法；代码库存储各种标准功能的各种语言的实现代码，活动从代码库中获取代码构建活动实现过程；界面模板库是各种页面模板的集合，用户只需选取界面模板，定义界面的输入与输出，即可形成页面文件；

步骤三：根据步骤一确定的数据源类型与代码库中功能的实现函数构建连接层的数据源连接模板，分析数据源的连接方式和输入参数，根据输入参数，构建连接层的数据源连接模板的界面文件，然后建立数据源连接实现与界面的关联，并定义连接层的数据源连接模板的输出，即完成连接层的数据源连接模板的创建，连接层的数据源连接模板提供对数据源的连接；

步骤四：根据确定的活动，活动的输入输出和代码库中的实现函数构建活动库；活动的结构分为输入，输出和实现过程，在活动库中定义活动的名称、输入参数、输出参数和实现过程函数名，在代码库中定义实现过程函数的具体执行代码，按照输出需求编写活动的配置页面，建立页面和活动库中活动定义的关联即完成活动库的创建；

步骤五：根据步骤一确定的活动之间的关系构建逻辑层的逻辑控制方法；逻辑控制方法主要分为顺序，选择，循环；逻辑层的逻辑控制方法是通过逻辑控制活动来实现的，在活动库中创建顺序，选择，循环逻辑活动，将这些活动进行组合形成各种逻辑控制；

步骤六：服务层的构建；通过代码库、页面模板库、知识库和数据分析算法库构建数据集成、数据分析、代码编辑、界面设计、知识管理和功能扩展的服务；数据集成服务是获取不同数据源的数据，并按要求对数据进行组织，操作和集成；数据分析服务是对数据源或数据集成结果数据进行各种分析、挖掘，获取数据的内在关联；代码编辑服务是根据用户选择向用户显示活动实现过程的代码；界面设计服务是根据用户选择的数据源与界面模板快速生成数据展示界面；知识管理服务是对知识的收集与整理；功能扩展服务是对平台提供的活动及模板进行扩展。

Images