CN108763281A

CN108763281A - 一种基于etl的业务智能分析平台及系统

Info

Publication number: CN108763281A
Application number: CN201810326842.4A
Authority: CN
Inventors: 陈力; 方进锋; 徐海燕
Original assignee: Hefei Tianyuan Information Technology Co Ltd
Current assignee: Hefei Tianyuan Information Technology Co Ltd
Priority date: 2018-04-12
Filing date: 2018-04-12
Publication date: 2018-11-06

Abstract

本发明公开了一种基于ETL的业务智能分析平台及系统，涉及数据分析技术领域。本发明包括应用层、交换层和数据层；数据层与交换层通信连接；交换层通过数据存储设备与应用层连接；数据层用于收集用户行为、企业信息和市场信息；交换层用于将采集的数据进行ETL处理并将处理后的数据传送至数据存储设备；应用层用于将数据存储设备上的数据进行整合实现数据共享利用。本发明通过业务智能分析平台大量采集用户、企业和市场信息，利用ETL技术对采集的数据进行处理；将处理完成的信息与预设的安全分析模板和性能分析模板进行匹配分析，得到业务决策方案，降低了管理成本和投资风险，提高了企业管理者决策的准确性。

Description

一种基于ETL的业务智能分析平台及系统

技术领域

本发明属于数据分析技术领域，特别是涉及一种基于ETL的业务智能分析平台及系统。

背景技术

近些年以来，数字信息化的概念早已随着计算机领域各项科学技术的飞速发展逐渐融入到了社会的各个层面。除了新型的科技产业越来越离不开计算机技术之外，一些传统产业也在逐步进行业务升级和技术更新，将原本繁琐复杂的业务逐渐数据化，信息化，使之逐渐适应信息化时代的需求。

在企业经营管理的过程中都需要建立一套较为完备的数据库和数据管理体系，实现业务的信息化管理。然而随着技术的发展进步以及长时间积累的数据量暴增，传统意义上的数据管理系统相对封闭，由于业务规模的不断扩大，数据越多，管理成本也越来越大。如何充分利用业务数据，让管理者看到数据的危机与机遇，提高决策的准确性，以及降低管理成本已成为现阶段企业急需解决的问题。

发明内容

本发明的目的在于提供一种基于ETL的业务智能分析平台及系统，通过业务智能分析平台大量采集用户、企业和市场信息，利用ETL技术对采集的数据进行处理；将处理完成的信息与预设的安全分析模板和性能分析模板进行匹配分析，得到业务决策方案，解决了现有企业业务信息化管理难，成本高以及管理者决策难容易出错的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于ETL的业务智能分析平台，包括应用层、交换层和数据层，所述数据层与交换层通信连接；所述交换层通过数据存储设备与应用层连接；所述数据层包括用户行为数据、企业数据和市场数据；所述数据层用于收集用户行为、企业信息和市场信息；所述交换层包括ETL操作、数据监测和数据共享；所述交换层用于将采集的数据进行ETL处理并将处理后的数据传送至数据存储设备；所述应用层包括数据分析、数据查询和数据集成；所述应用层用于将数据存储设备上的数据进行整合实现数据共享利用。

优选地，所述ETL操作用于采用ETL技术对数据层采集的数据进行处理以获得目标业务数据。

优选地，所述ETL操作具体过程如下：

步骤一数据抽取：从初始的数据源中对抽取待加工数据；

步骤二数据转换：对抽取完成的数据进行清洗，并按照预先设定的规格转换成目标数据库能够接受的格式；

步骤三数据加载：对清洗完成的数据装载到数据存储设备指定位置；

步骤四数据预测：对加载完成的数据进行预测，以得到目标业务数据。

优选地，所述业务智能分析平台还包括通信模块和登录验证模块；所述通信模块与数据层设备进行通信，用于接收数据层传送的初始业务数据；所述登录验证模块用于对不同权限的用户登录所述基于ETL的业务智能分析平台进行身份验证。

本发明为一种基于ETL的业务智能分析系统，包括多个数据采集设备、业务智能分析平台和多个用户端，所述数据采集设备用于通过大数据架构采集大量初始业务数据；所述初始业务数据包括用户行为数据、企业数据和市场数据；所述业务智能分析平台包括总线模块、ETL模块、数据传输模块、数据存储模块、手动输入模块、数据查询模块和数据分析模块；所述总线模块用于提供数据库数据之间交换接口，处理不同来的数据请求并将请求传递给ETL模块进行处理；所述ETL模块用于完成数据的提取、转换和装载功能；所述数据存储模块用于存储数据至数据存储设备；所述手动输入模块用于用户通过手动输入实现人机交互；所述数据查询模块用于对ETL模块处理完成的数据进行查询；所述数据分析模块用于对ETL模块处理完成的数据进行分析。

优选地，所述数据分析模块从所述数据存储模块读取ETL模块处理完成的数据，对业务智能分析平台不同用户的不同业务进行统计，得到不同时间粒度的各业务流量统计数据，形成业务统计报表数据，并且将所述统计数据分别与预设的安全分析模板和性能分析模板进行匹配分析，得到不同用户不同业务的业务安全和性能状态报表数据，并将所述业务统计报表数据、业务安全和性能状态报表数据保存到所述数据存储模块。

优选地，所述数据采集设备包括抓包工具，所述用户端包括电脑或移动终端。

本发明具有以下有益效果：

本发明通过业务智能分析平台大量采集用户、企业和市场信息，利用ETL技术对采集的数据进行处理；将处理完成的信息与预设的安全分析模板和性能分析模板进行匹配分析，得到业务决策方案，降低了管理成本和投资风险，提高了企业管理者决策的准确性。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于ETL的业务智能分析平台的结构示意图；

图2为ETL操作步骤图；

图3为本发明的一种基于ETL的业务智能分析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于ETL的业务智能分析平台，包括应用层、交换层和数据层，数据层与交换层通信连接；交换层通过数据存储设备与应用层连接；数据层包括用户行为数据、企业数据和市场数据；数据层用于收集用户行为、企业信息和市场信息；交换层包括ETL操作、数据监测和数据共享；交换层用于将采集的数据进行ETL处理并将处理后的数据传送至数据存储设备；应用层包括数据分析、数据查询和数据集成；应用层用于将数据存储设备上的数据进行整合实现数据共享利用。

其中，ETL操作用于采用ETL技术对数据层采集的数据进行处理以获得目标业务数据。

其中，ETL操作具体过程如下：

步骤一数据抽取：从初始的数据源中对抽取待加工数据；

其中，业务智能分析平台还包括通信模块和登录验证模块；通信模块与数据层设备进行通信，用于接收数据层传送的初始业务数据；登录验证模块用于对不同权限的用户登录基于ETL的业务智能分析平台进行身份验证。

请参阅图2所示，本发明为一种基于ETL的业务智能分析系统，包括多个数据采集设备、业务智能分析平台和多个用户端，数据采集设备用于通过大数据架构采集大量初始业务数据；初始业务数据包括用户行为数据、企业数据和市场数据；业务智能分析平台包括总线模块、ETL模块、数据传输模块、数据存储模块、手动输入模块、数据查询模块和数据分析模块；总线模块用于提供数据库数据之间交换接口，处理不同来的数据请求并将请求传递给ETL模块进行处理，总线模块从整体上包括两层结构，一层是基础服务总线，另一层是次级交换节点，其中基础服务总线主要面向所有数据库，次级交换节点作为缓冲；ETL模块用于完成数据的提取、转换和装载功能；数据存储模块用于存储数据至数据存储设备；手动输入模块用于用户通过手动输入实现人机交互；数据查询模块用于对ETL模块处理完成的数据进行查询；数据分析模块用于对ETL模块处理完成的数据进行分析。

其中，数据分析模块从数据存储模块读取ETL模块处理完成的数据，对业务智能分析平台不同用户的不同业务进行统计，得到不同时间粒度的各业务流量统计数据，形成业务统计报表数据，并且将统计数据分别与预设的安全分析模板和性能分析模板进行匹配分析，得到不同用户不同业务的业务安全和性能状态报表数据，并将业务统计报表数据、业务安全和性能状态报表数据保存到数据存储模块。

其中，数据采集设备包括抓包工具，用户端包括电脑或移动终端。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种基于ETL的业务智能分析平台，包括应用层、交换层和数据层，其特征在于：

所述数据层与交换层通信连接；所述交换层通过数据存储设备与应用层连接；

所述数据层包括用户行为数据、企业数据和市场数据；所述数据层用于收集用户行为、企业信息和市场信息；

所述交换层包括ETL操作、数据监测和数据共享；所述交换层用于将采集的数据进行ETL处理并将处理后的数据传送至数据存储设备；

所述应用层包括数据分析、数据查询和数据集成；所述应用层用于将数据存储设备上的数据进行整合实现数据共享利用。

2.根据权利要求1所述的一种基于ETL的业务智能分析平台及系统，其特征在于，所述ETL操作用于采用ETL技术对数据层采集的数据进行处理以获得目标业务数据。

3.根据权利要求2所述的一种基于ETL的业务智能分析平台及系统，其特征在于，所述ETL操作具体过程如下：

步骤一数据抽取：从初始的数据源中对抽取待加工数据；

4.根据权利要求1所述的一种基于ETL的业务智能分析平台及系统，其特征在于，所述业务智能分析平台还包括通信模块和登录验证模块；所述通信模块与数据层设备进行通信，用于接收数据层传送的初始业务数据；所述登录验证模块用于对不同权限的用户登录所述基于ETL的业务智能分析平台进行身份验证。

5.一种基于ETL的业务智能分析系统，包括多个数据采集设备、业务智能分析平台和多个用户端，其特征在于：

所述数据采集设备用于通过大数据架构采集大量初始业务数据；所述初始业务数据包括用户行为数据、企业数据和市场数据；

所述业务智能分析平台包括总线模块、ETL模块、数据传输模块、数据存储模块、手动输入模块、数据查询模块和数据分析模块；

所述总线模块用于提供数据库数据之间交换接口，处理不同来的数据请求并将请求传递给ETL模块进行处理；

所述ETL模块用于完成数据的提取、转换和装载功能；

所述数据存储模块用于存储数据至数据存储设备；

所述手动输入模块用于用户通过手动输入实现人机交互；

所述数据查询模块用于对ETL模块处理完成的数据进行查询；

所述数据分析模块用于对ETL模块处理完成的数据进行分析。

6.根据权利要求5所述的一种基于ETL的业务智能分析系统，其特征在于，所述数据分析模块从所述数据存储模块读取ETL模块处理完成的数据，对业务智能分析平台不同用户的不同业务进行统计，得到不同时间粒度的各业务流量统计数据，形成业务统计报表数据，并且将所述统计数据分别与预设的安全分析模板和性能分析模板进行匹配分析，得到不同用户不同业务的业务安全和性能状态报表数据，并将所述业务统计报表数据、业务安全和性能状态报表数据保存到所述数据存储模块。

7.根据权利要求5所述的一种基于ETL的业务智能分析系统，其特征在于，所述数据采集设备包括抓包工具，所述用户端包括电脑或移动终端。