CN110109987A - 一种敏捷数据仓库架构及其构建方法和应用 - Google Patents

Abstract

本发明涉及一种敏捷数据仓库架构及其构建方法和应用。敏捷数据仓库架构包括：数据采集单元、数据分析建模单元、数据共享存储单元和数据访问单元。数据分析建模单元包括分布式文件系统ceph、数据仓库工具HIVE和ETL处理模块；分布式文件系统ceph为开源分布式存储，支持文件协议和HTTP对象协议，原始数据以文件形式存取；数据仓库工具HIVE将原始数据转换成HIVE数据库格式储存在分布式文件系统ceph中，作为数据源；ETL处理模块从数据源中抽取所需数据，分析建模并将其加载到数据共享存储单元中。该数据仓库降低数据仓库的设计及部署所需时间，提高了对应用数据及企业业务的响应时间，降低了研发成本和时间成本。

Description

一种敏捷数据仓库架构及其构建方法和应用

技术领域

本发明涉及数据管理技术领域，具体设计一种敏捷数据仓库架构及其构建方法和应用。

背景技术

数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。其主要研究和解决从数据库中获取信息的问题，特性在于面向问题、集成性、稳定性和时变性。从功能结构划分，数据仓库至少包括数据获取(Date Acquisition)、数据存储(DateStorage)和数据访问(Date Access)。数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础，把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。

传统的数据仓库构建需要基于上层应用，进行自顶向下的设计，建立一套能兼容所有数据和业务的数据模型，整个过程耗时长、成本高，无法适应当下公司业务的迅速发展及应用形式模型的频繁变化。

发明内容

本发明提供的敏捷数据仓库架构，基于敏捷开发进行数据仓库的设计，采用大数据管理工具构建，降低数据仓库的设计及部署所需时间，满足用户不断变化的需求，有效提高了对应用数据及企业业务的响应时间，降低了研发成本和时间成本。

本发明提供了一种敏捷数据仓库架构，包括：

数据采集单元，能够从系统外部获取原始数据并输入到系统内部；

数据分析建模单元，对所述原始数据进行处理并输出；

数据共享存储单元，用于储存所述数据分析建模单元输出的数据；

数据访问单元，用于从所述数据共享单元中读取数据和传递数据；

所述数据分析建模单元包括分布式文件系统ceph、数据仓库工具HIVE和ETL处理模块；

所述分布式文件系统ceph为开源分布式存储，同时支持文件协议和HTTP对象协议，所述原始数据以文件形式存取；

所述数据仓库工具HIVE将所述原始数据转换成HIVE数据库格式并储存在所述分布式文件系统ceph中，作为数据源；

所述ETL处理模块从所述数据源中抽取所需数据，分析建模并将其加载到所述共享存储单元中。

进一步地，在一些实施例中，所述原始数据从各种文本文件和现有数据库中采集。

进一步地，在一些实施例中，所述ETL处理模块具有数据提取、数据转换和模型加载功能。

进一步地，在一些实施例中，所述ETL处理模块采用Spark进行数据分析建模。

进一步地，在一些实施例中，所述共享存储单元为敏捷数据仓库，所述敏捷数据仓库为非关系型数据库，能够为所述数据访问单元提供数据搜索、数据分析及生成报表。

进一步地，在一些实施例中，所述敏捷数据仓库能够根据需要进行扩展，提供SQL格式的实时查询。

进一步地，在一些实施例中，所述敏捷数据仓库采用MongoDB作为敏捷数据仓库技术平台。

本发明还提供一种构建敏捷数据仓库的方法，其采用上述敏捷数据仓库架构，包括：

步骤S1、收集和分析业务需求，所述数据采集单元采集原始数据并输入系统内部；

步骤S2、将所述原始数据以文件形式储存在所述分布式文件系统ceph中；

步骤S3、通过HIVE将所述原始数据转换成HIVE数据库格式并储存在所述分布式文件系统ceph中，作为数据源；

步骤S4、通过所述ETL处理模块从所述数据源中抽取所需数据，分析建模并将其加载到所述数据共享存储单元中。

进一步地，在一些实施例中，在步骤S4中，所述ETL处理模块通过Spark进行数据分析建模；采用MongoDB搭建敏捷数据仓库技术平台。

本发明还提供一种敏捷数据仓库的应用，利用上述方法构建敏捷数据仓库，包括：

步骤A、利用SQL语言访问数据库，获取原始数据；

步骤B、通过Spark进行数据分析建模；

步骤C、对数据进行深层次挖掘，并返回由MongoDB搭建的敏捷数据仓库平台进行保存；

步骤D、更新敏捷数据仓库。

本发明基于敏捷开发进行数据仓库的设计，采用大数据管理工具构建，降低数据仓库的设计及部署所需时间，满足用户不断变化的需求，有效提高了对应用数据及企业业务的响应时间，降低了研发成本和时间成本。

附图说明

图1所示为本发明敏捷数据仓库架构的流程示意图；

图2所示为本发明数据分析建模单元的数据流程示意图；

附图标记说明：

10-数据采集单元；

20-数据分析建模单元；

201-分布式文件系统ceph；

202-数据仓库工具HIVE；

203-数据ETL处理；

30-数据共享存储单元；

40-数据访问单元；

具体实施方式

以下结合附图和实施例，对本发明的具体实施方式进行更加详细的说明，以便能够更好地理解本发明的方案以及其各个方面的优点。然而，以下描述的具体实施方式和实施例仅是说明的目的，而不是对本发明的限制。

本发明提供的敏捷数据仓库架构，是以敏捷数据开发进行数据仓库的设计，同时采用了大数据管理工具进行数据仓库的构建。如图1所示，敏捷数据仓库架构包括数据采集单元10、数据分析建模单元20、数据共享存储单元30和数据访问单元40。在整个架构的设计过程中，利用敏捷开发快速构建数据仓库，降低数据仓库设计和搭建所需要的时间，使企业用户或IT人员可以直接将现有的业务软件直接接入该敏捷数据仓库，而无需学习或使用其他工具。

其中，数据采集单元10用于从系统外部获取原始数据并输入到系统内部；主要是从企业各种文本日志文件、现有的业务产品、数据报表等需要迁移至新的数据仓库的源头获取原始数据。

数据分析建模单元20主要用于对原始数据进行处理并输出。其主要包括了分布式文件系统ceph201、数据仓库工具HIVE202和ETL处理模块203。采用开源分布式存储ceph201作为数据分析的中间存储，由于其同事支持文件协议和HTTP对象协议，原始数据可以以文件形式存取，而无需额外开发接口将原始数据进行同步，节约了研发设计成本和时间成本。

在数据分析建模单元内20内部，数据仓库工具HIVE202将原始数据转换成HIVE数据格式并储存在分布式文件系统ceph201中，作为数据源。具体的是，企业现有系统通过NFS/CIFS的方式直接将各类文本日志一级数据库文件存储在分布式文件系统ceph201上，分布式文件系统ceph201内部条用librados类库将数据转换为HIVE对象格式，然后在发送到不同的ceph存储节点进行储存。

ETL处理模块203应具有数据提取、数据转换和模型加载功能，从数据源中抽取所需数据，进行清洗、分析建模并将其加载到数据共享存储单元30中。在一具体实施例中，ETL处理模块采用Spark进行数据分析建模，通过对象存储的HTTP接口，调用对象存储网关库，通过librados类库获取存储在分布式文件系统ceph201存储节点上的数据进行ETL处理。

本发明的共享存储单元30为敏捷数据仓库，其为菲关系型数据库，能够为数据访问单元提供数据搜索、数据分析以及生成报表等功能。在一具体实施中，敏捷数据仓库采用MongoDB搭建敏捷数据仓库技术平台，可以随时根据需要进行扩展，并且能够提供类似SQL格式的实时查询，快速灵活，无需长时间等待即可获取所需的各类数据。

在敏捷数据仓库架构的构建过程中，首先需要收集和分析业务需求，采集原始数据并输入到系统内部，其中原始数据以文件形式存储在分布式文件系统ceph201中，然后通过HIVE将原始数据转换成HIVE数据库格式并储存在ceph的节点中，作为数据源使用。ETL模块从数据源中抽取所需数据进行清洗、分析建模并将其加载到数据共享存储单元供数据访问单元使用。具体步骤如下：

步骤S1、收集和分析业务需求，数据采集单元10采集原始数据并输入系统内部；

步骤S2、将原始数据以文件形式储存在分布式文件系统ceph201中；

步骤S3、通过HIVE将原始数据转换成HIVE数据库格式并储存在分布式文件系统ceph201中，作为数据源；

步骤S4、通过ETL处理模块203从数据源中抽取所需数据，分析建模并将其加载到数据共享存储单元30中。

通过本发明的敏捷数据仓库，用户可根据需要自定义各类报表，如财务报表、产品使用情况等，特征数据一目了然。新的敏捷数据仓库通过统一的SQL接口获取原始数据并将分析建模后的数据返回，进行深层次的数据挖掘，及时更新敏捷数据仓库，其应用具体步骤可归纳如下：

步骤A、数据访问单元40利用SQL语言访问数据库；

步骤B、通过Spark进行数据分析建模；

步骤C、对数据进行深层次挖掘，并返回由MongoDB搭建的敏捷数据仓库平台进行保存；

步骤D、更新敏捷数据仓库。

本发明的敏捷数据仓库架构，侧重用使用新型的大数据工具大件敏捷数据仓库，针对已有的核心应用数据进行数据建模，自动对原始数据进行采集分析，建立深度模型。同时根据需要随时将其他业务数据转换接入，智能的数据分析和灵活的扩展能力对业务数据提供全方位的统计分析能力，解决数据仓库设计中的耗时高产出地等问题，不需要植入或进行软件改造，省时省力，能够帮助企业业务管理部门对业务进行持续优化。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种敏捷数据仓库架构，包括：

数据采集单元，能够从系统外部获取原始数据并输入到系统内部；

数据分析建模单元，对所述原始数据进行处理并输出；

数据共享存储单元，用于储存所述数据分析建模单元输出的数据；

数据访问单元，用于从所述数据共享单元中读取数据和传递数据；

其特征在于，

所述数据分析建模单元包括分布式文件系统ceph、数据仓库工具HIVE和ETL处理模块；

所述分布式文件系统ceph为开源分布式存储，同时支持文件协议和HTTP对象协议，所述原始数据以文件形式存取；

所述数据仓库工具HIVE将所述原始数据转换成HIVE数据库格式并储存在所述分布式文件系统ceph中，作为数据源；

所述ETL处理模块从所述数据源中抽取所需数据，分析建模并将其加载到所述数据共享存储单元中。

2.根据权利要求1所述的敏捷数据仓库架构，其特征在于，所述原始数据从各种文本文件和现有数据库中采集。

3.根据权利要求1所述的敏捷数据仓库架构，其特征在于，所述ETL处理模块具有数据提取、数据转换和模型加载功能。

4.根据权利要求1所述的敏捷数据仓库架构，其特征在于，所述ETL处理模块采用Spark进行数据分析建模。

5.根据权利要求1所述的敏捷数据仓库架构，其特征在于，所述共享存储单元为敏捷数据仓库，所述敏捷数据仓库为非关系型数据库；能够为所述数据访问单元提供数据搜索、数据分析及生成报表。

6.根据权利要求5所述的敏捷数据仓库架构，其特征在于，所述敏捷数据仓库能够根据需要进行扩展，提供SQL格式的实时查询。

7.根据权利要求5所述的敏捷数据仓库架构，其特征在于，所述敏捷数据仓库采用MongoDB搭建敏捷数据仓库技术平台。

8.一种构建敏捷数据仓库的方法，其特征在于，采用权利要求1-8任一所述的敏捷数据仓库架构，包括：

步骤S1、收集和分析业务需求，所述数据采集单元采集原始数据并输入系统内部；

步骤S2、将所述原始数据以文件形式储存在所述分布式文件系统ceph中；

步骤S3、通过HIVE将所述原始数据转换成HIVE数据库格式并储存在所述分布式文件系统ceph中，作为数据源；

步骤S4、通过所述ETL处理模块从所述数据源中抽取所需数据，分析建模并将其加载到所述数据共享存储单元中。

9.根据权利要求8所述的构建敏捷数据仓库的方法，其特征在于，在步骤S4中，所述ETL处理模块通过Spark进行数据分析建模；采用MongoDB搭建敏捷数据仓库技术平台。

10.一种敏捷数据仓库的应用，其特征在于，利用权利要求9所述的方法构建敏捷数据库，包括：

步骤A、数据访问单元利用SQL语言访问数据库；

步骤B、通过Spark进行数据分析建模；

步骤C、对数据进行深层次挖掘，并返回由MongoDB搭建的敏捷数据仓库平台进行保存；

步骤D、更新敏捷数据仓库。