CN108121778A - 一种异构数据交换与清洗系统及方法 - Google Patents

Abstract

本发明公开了一种异构数据交换与清洗系统及方法，系统包括：ETL系统，ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层。本发明的有益效果是：采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。

Description

一种异构数据交换与清洗系统及方法

技术领域

本发明涉及数据处理领域，特别涉及一种异构数据交换与清洗系统及方法。

背景技术

传统方法大都采用现有ETL工具进行开发或者根据需求直接编写代码实现数据交换过程。前者需要进行客户端部署并且配置也绑定在客户端上，后者更是需要耗费时间进行开发而且复用性极差。现有技术仅针对传统关系数据库以及少数固定类型文件进行数据清洗和交换。不仅数据接入方式单一，而且不支持数据的分析应用。

发明内容

本发明提供了一种异构数据交换与清洗系统及方法，解决了现有技术的技术问题。

本发明解决上述技术问题的技术方案如下：

一种异构数据交换与清洗系统，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；

所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；

所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；

所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；

所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；

所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。

本发明的有益效果是：采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述数据收集端还用于将获取到的所述结构化数据文件和所述非结构化数据文件写到ftp服务器的预定文件夹中。

优选地，所述数据拉取端具体用于：通过shell脚本从所述ftp服务器定时获取所述结构化数据文件和所述非结构化数据文件，获取之后从所述ftp服务器中删除；

实时显示所述结构化数据文件的属性和数据源，以及所述非结构化数据文件的文件名称、数据源和文件类型，并进行预览；

将所述结构化数据文件中的数据发送至所述ETL集群，将所述非结构化数据文件中的数据通过flume存入Hadoop平台。

优选地，对所述非结构化数据文件进行数据归档存储时，所述数据处理层具体用于：调用元数据规则引擎，获取所述非结构化数据文件中数据的元数据，进行元数据存储；

将进行数据清洗之后的所述结构化数据文件和所述本地数据库中的数据存入所述数据仓库时，所述数据处理层还用于调用元数据规则引擎，获取所述结构化数据文件和所述本地数据库中的数据的元数据，进行元数据存储。

优选地，对待存入自身的数据进行存储时，所述数据集市具体用于：调用元数据规则引擎，获取所述待存入自身的数据的元数据，进行元数据存储。

优选地，还包括：任务调度系统，连接所述数据拉取端和所述ETL集群，用于进行数据拉取任务调度和ETL作业调度。

优选地，所述OLAP引擎用于对待查询分析的数据进行钻取、上卷、切片、切块以及旋转处理。

上述技术方案的有益效果是：

1、通过统一模块进行数据接入，包括传统的关系数据库以及非结构化数据。并且提供定时数据拉取、全量和增量数据获取、数据重新获取功能。

2、对文件进行分流，需要数据清洗的由ETL集群清洗整合后归档；需要进行数据共享的数据推送给相应组件。数据分流过程中，调用元数据规则引擎，获取数据元数据，最后存储归档数据的元数据。

3、数据仓库存储技术和大数据存储计算技术结合，充分利用数据仓库数据质量可靠可信的特点，让数据分析挖掘结果有效可用；同时结合大数据平台巨大的存储计算能力，提供更大的数据存储空间，提供更全的数据挖掘分析手段。二者结合，更加利于数据应用，为企业提升生产效率。

一种异构数据交换与清洗方法，包括：

S1、数据收集端以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件；

S2、数据拉取端向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

S3、将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件中的数据和本地数据库中的数据进行数据清洗；

S4、根据所述结构化数据文件中的数据和所述本地数据库中的数据创建多个数据仓库，将所述结构化数据文件中的数据和所述本地数据库中的数据分别存入所述多个数据仓库。

附图说明

图1为本发明实施例提供的一种异构数据交换与清洗系统的结构图；

图2为本发明另一实施例提供的一种异构数据交换与清洗系统的架构图；

图3为本发明另一实施例提供的一种异构数据交换与清洗方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种异构数据交换与清洗系统，包括：ETL系统，ETL系统由下向上依次包括：数据源层1、数据采集层2、数据处理层3、数据存储层4、数据分析应用层5和展示层6；

数据源层1用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；

数据采集层2包括数据收集端和数据拉取端，数据收集端用于以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件，数据拉取端用于向数据收集端发送请求以拉取结构化数据文件和非结构化数据文件；

数据处理层3用于将结构化数据文件和非结构化数据文件中的待共享数据推送到数据共享平台，对非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对结构化数据文件和本地数据库中的数据进行数据清洗和存储；

数据存储层4包括根据结构化数据文件创建的多个数据仓库、由数据仓库划拨得到多个数据集市和元数据规则引擎；

数据分析应用层5包括OLAP引擎，用于面向数据仓库进行查询分析；

展示层6用于展示OLAP引擎和ETL集群的操作界面，以及数据采集层进行数据采集的展示界面。

采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。

优选地，数据收集端还用于将获取到的结构化数据文件和非结构化数据文件写到ftp服务器的预定文件夹中。

优选地，数据拉取端具体用于：通过shell脚本从ftp服务器定时获取结构化数据文件和非结构化数据文件，获取之后从ftp服务器中删除；

实时显示结构化数据文件的属性和数据源，以及非结构化数据文件的文件名称、数据源和文件类型，并进行预览；

将结构化数据文件中的数据发送至ETL集群，将非结构化数据文件中的数据通过flume存入Hadoop平台。

数据收集端

采用前置机模式，连接外部系统的数据库，获取需要归档的结构化数据和非结构化数据，配置ftp服务，将数据写到指定的文件夹下。并且提供定时数据拉取、全量和增量数据获取、数据重新获取功能。

数据拉取端

a.批量数据接收端通过编写shell脚本，定时去ftp服务器获取数据，获取文件后将该文件删除。

b.实时的显示批量数据接收端数据获取情况。对于非结构性文件，显示文件名称、数据源、文件类型等；对于结构化数据，显示属性、数据源，并提供数据预览。

c.对文件进行分流，需要数据清洗的由ETL集群清洗整合后归档；需要进行数据共享的数据推送到数据共享平台，由其他功能组件使用；对于大量的非关系型数据如视频、音频、文档等文件通过flume接入到Hadoop平台。数据分流过程中，调用元数据规则引擎，获取数据元数据，最后存储归档数据的元数据。ETL集群选择kettle做集群部署进行数据转换服务。

优选地，对非结构化数据文件进行数据归档存储时，数据处理层具体用于：调用元数据规则引擎，获取非结构化数据文件中数据的元数据，进行元数据存储；

将进行数据清洗之后的结构化数据文件和本地数据库中的数据存入数据仓库时，数据处理层还用于调用元数据规则引擎，获取结构化数据文件和本地数据库中的数据的元数据，进行元数据存储。

优选地，对待存入自身的数据进行存储时，数据集市具体用于：调用元数据规则引擎，获取待存入自身的数据的元数据，进行元数据存储。

优选地，本系统还包括：任务调度系统，连接数据拉取端和ETL集群，用于进行数据拉取任务调度和ETL作业调度。

优选地，OLAP引擎用于对待查询分析的数据进行钻取、上卷、切片、切块以及旋转处理。

数据存储

数据归档存储，通常用于数据整合或者不需要建立数据仓库的数据进行存储。同时调用元数据引擎，获取元数据，进行元数据存储。对于归档的数据，有清洗需求时，通过清洗后存入数据仓库。

需要进行数据仓库建设的数据，该场景需要对数据存储进行建模，根据情况建立星型模型或者雪花型模型，需要对数据仓库进行设计后存储数据。数据存储的同时，调用元数据规则引擎，获取元数据并进行存储。

数据集市，对于小范围特定主题的数据建仓，通常由数据仓库划拨。数据存储的同时，调用元数据规则引擎，获取元数据并进行存储。

OLAP引擎

OLAP引擎为数据仓库中数据分析提供钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)等操作。采用开源的组件Apache Kylin。

如图2所示，一种异构数据交换与清洗系统的架构图。

ETL系统包括六层：

第一层是数据源层，包括外部系统数据源和内部系统数据源，数据获取方式有通过网络传输和直接连接数据库；

第二层数据采集层，包括数据收集端和数据拉取端，数据收集端以全量或增量的方式获取数据，数据拉取端通过向数据收集端发送请求拉取数据，并提供数据加密、数据解密功能；

第三层是数据处理层，通过业务判断，需要用于数据共享的数据推送到数据共享发布平台；非结构性数据通过特殊处理，进行数据归档存储；结构化数据通过ETL集群进行数据清洗后，存入数据仓库；

第四层数据存储层，提供数据仓库、数据集市、元数据等存储模式；

第五层数据分析应用层OLAP引擎，主要面向数据仓库查询分析引擎；

第六层展示层，提供OLAP操作界面、ETL集群的操作界面、数据采集情况的展示界面。

1、通过统一模块进行数据接入，包括传统的关系数据库以及非结构化数据。并且提供定时数据拉取、全量和增量数据获取、数据重新获取功能。

2、对文件进行分流，需要数据清洗的由ETL集群清洗整合后归档；需要进行数据共享的数据推送给相应组件。数据分流过程中，调用元数据规则引擎，获取数据元数据，最后存储归档数据的元数据。

3、数据仓库存储技术和大数据存储计算技术结合，充分利用数据仓库数据质量可靠可信的特点，让数据分析挖掘结果有效可用；同时结合大数据平台巨大的存储计算能力，提供更大的数据存储空间，提供更全的数据挖掘分析手段。二者结合，更加利于数据应用，为企业提升生产效率。

如图3所示，一种异构数据交换与清洗方法，包括：

S1、数据收集端以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件；

S2、数据拉取端向数据收集端发送请求以拉取结构化数据文件和非结构化数据文件；

S3、将结构化数据文件和非结构化数据文件中的待共享数据推送到数据共享平台，对非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对结构化数据文件中的数据和本地数据库中的数据进行数据清洗；

S4、根据结构化数据文件中的数据和本地数据库中的数据创建多个数据仓库，将结构化数据文件中的数据和本地数据库中的数据分别存入多个数据仓库。

数据收集端从关系型数据库和文件型数据库中批量收集数据，通过网络传输给数据拉取端，对拉取到的数据进行判断是否需要清洗，如果需要则通过ETL集群进行清洗，从数据库中直接获取内部网络数据源，放入ETL集群中进行数据清洗，如果不需要清洗则判断是否需要数据共享，如果是则发送至数据共享平台，如果不是则通过flume接入Hadoop平台，从数据共享平台和Hadoop平台出来进行普通数据存储，放入数据仓库中；经过ETL集群进行数据清洗之后的数据判断是否需要建仓库，如果是则放入数据仓库，如果不是则进行普通数据存储；数据仓库可以给某一类或某个主题相关的数据划拨若干数据集市，还可以通过OLAP引擎面向数据仓库进行数据分析；还可以通过任务调度系统对数据获取任务和ETL作业进行调度，实现负载均衡；对数据进行存储的同时，需要调用元数据规则引擎进行元数据存储。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种异构数据交换与清洗系统，其特征在于，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；

所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；

所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；

所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；

所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；

所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。

2.根据权利要求1所述的一种异构数据交换与清洗系统，其特征在于，所述数据收集端还用于将获取到的所述结构化数据文件和所述非结构化数据文件写到ftp服务器的预定文件夹中。

3.根据权利要求2所述的一种异构数据交换与清洗系统，其特征在于，所述数据拉取端具体用于：通过shell脚本从所述ftp服务器定时获取所述结构化数据文件和所述非结构化数据文件，获取之后从所述ftp服务器中删除；

实时显示所述结构化数据文件的属性和数据源，以及所述非结构化数据文件的文件名称、数据源和文件类型，并进行预览；

将所述结构化数据文件中的数据发送至所述ETL集群，将所述非结构化数据文件中的数据通过flume存入Hadoop平台。

4.根据权利要求1所述的一种异构数据交换与清洗系统，其特征在于，对所述非结构化数据文件进行数据归档存储时，所述数据处理层具体用于：调用元数据规则引擎，获取所述非结构化数据文件中数据的元数据，进行元数据存储；

将进行数据清洗之后的所述结构化数据文件和所述本地数据库中的数据存入所述数据仓库时，所述数据处理层还用于调用元数据规则引擎，获取所述结构化数据文件和所述本地数据库中的数据的元数据，进行元数据存储。

5.根据权利要求4所述的一种异构数据交换与清洗系统，其特征在于，对待存入自身的数据进行存储时，所述数据集市具体用于：调用元数据规则引擎，获取所述待存入自身的数据的元数据，进行元数据存储。

6.根据权利要求1-5任一项所述的一种异构数据交换与清洗系统，其特征在于，还包括：任务调度系统，连接所述数据拉取端和所述ETL集群，用于进行数据拉取任务调度和ETL作业调度。

7.根据权利要求1-5任一项所述的一种异构数据交换与清洗系统，其特征在于，所述OLAP引擎用于对待查询分析的数据进行钻取、上卷、切片、切块以及旋转处理。

8.一种异构数据交换与清洗方法，其特征在于，包括：

S1、数据收集端以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件；

S2、数据拉取端向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

S3、将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件中的数据和本地数据库中的数据进行数据清洗；

S4、根据所述结构化数据文件中的数据和所述本地数据库中的数据创建多个数据仓库，将所述结构化数据文件中的数据和所述本地数据库中的数据分别存入所述多个数据仓库。