CN114817394A - 一种智能用户体验信息收集系统 - Google Patents

Abstract

本发明公开了一种智能用户体验信息收集系统，包括日志收集模块、消息引擎模块、数据仓库模块与数据可视化模块；所述日志收集模块包括拦截器配置、多线程日志收集与日志收集模块的实现；所述消息引擎模块包括消息引擎模块配置优化与消息引擎模块的实现；所述数据仓库模块包括数据仓库架构设计、数据仓库模块设计与数据仓库分层设计。本发明提出了一种基于Flume的分布式日志收集模块,该模块具有可扩展性，多线程和分布式的特点，解决了收集实时分布式日志数据的问题，除此之外，与以往不同的是，在数据收集之后立即进行数据过滤清洗，过滤脏数据，减少了不必要的数据传输，降低了数据传输的成本。

Description

一种智能用户体验信息收集系统

技术领域

本发明涉及信息收集技术领域，尤其涉及一种智能用户体验信息收集系统。

背景技术

信息收集是指通过各种方式获取所需要的信息，信息收集是信息得以利用的第一步，也是关键的一步，信息收集工作的好坏，直接关系到整个信息管理工作的质量，信息可以分为原始信息和加工信息两大类，原始信息是指在经济活动中直接产生或获取的数据、概念、知识、经验及其总结，是未经加工的信息，加工信息则是对原始信息经过加工、分析、改编和重组而形成的具有新形式、新内容的信息，两类信息都对企业的营销管理活动发挥着不可替代的作用。

随着现代信息技术的不断发展与飞速进步，目前计算机已经在社会各个领域得到广泛的应用，给人们日常工作和生活带来了很大的帮助，与此同时计算机产生的日志数据增长非常快，某些旅行网站每天必须收集和分析高达数百Gb的日志数据，现在的互联网公司越来越关注用户活跃率、留存率以及转化率等指标，对于使用大数据来最大化收益的公司而言，日志中的数据无疑是他们从中提取宝藏的矿石，日志数据不仅可以揭示相关产品的优缺点，展示用户体验感与满意程度，而且还可以帮助及时进行更改，采用更有效的业务策略，提高公司盈利能力，降低公司运营成本以及开展数字业务。

在计算机时代，传统的信息传播方式已经发生改变，而大数据更是给信息传输、信息处理带来了变革，随着计算机网络与数据库技术的快速发展与广泛使用，互联网公司进入了一个新的时代，建立了各种在线事务数据处理系统，有效地支持了各种日常业务的处理，与此同时，面对复杂的商业市场，互联网公司需要从已有的海量数据提取出有效信息，作出决策，因此，希望能够从海量数据中获取有价值的信息，及时把握商业环境的规律，为决策者提供数据支持，面对这种情况，离线数据分析处理变得越来越重要，随着公司业务的不断发展与壮大，用户行为日志数据越来越多，建立离线数据分析系统的需求更加迫切，同时也更加难于实现，现在各大互联网公司每天产生海量的用户行为日志，这些日志分布式地存储在多个服务器上，需要把这些日志进行集中式的数据分析，分布式系统对高性能、高可用性、可伸缩要求越来越高，消息中间件是重要的技术之一，在日志数据传输的过程中，如何做到实时传输，确保消息无丢失、无重复，成为一大难题，因此在消息中间件的选择上尤为重要。

所以，需要设计一种智能用户体验信息收集系统来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种智能用户体验信息收集系统。

为了实现上述目的，本发明采用了如下技术方案：

一种智能用户体验信息收集系统，包括日志收集模块、消息引擎模块、数据仓库模块与数据可视化模块；

所述日志收集模块包括拦截器配置、多线程日志收集与日志收集模块的实现；

所述消息引擎模块包括消息引擎模块配置优化与消息引擎模块的实现；

所述数据仓库模块包括数据仓库架构设计、数据仓库模块设计与数据仓库分层设计；

所述数据可视化模块包括日志收集模块可视化、消息引擎模块可视化与数据仓库模块查询可视化。

作为本发明的一种优选技术方案，所述日志收集模块主要是基于Flume框架进行用户行为日志的实时收集，配置拦截器进行数据过滤、事件类型分类，根据实际需要采用多线程进行日志收集；

所述消息引擎模块主要是基于Kafka消息引擎模块进行日志数据的接收、存储和发送，在这个过程中，将不同的日志数据分发到不同的主题，对日志进行分类存储。通过配置优化，提升系统的稳定性、可靠性；

所述数据仓库模块主要是基于Hive技术进行数据仓库的分层搭建，根据数据仓库中的数据进行报表分析，处理各种高复杂度的业务；

所述数据可视化模块提供数据展示功能，开发人员可以看到整个系统的运行情况，便于系统分析与运维。

作为本发明的一种优选技术方案，在所述的拦截器配置中，在Flume采集日志数据的时候，为了过滤脏数据，减少不必要的数据传输，同时区分日志类型，将日志事件区分开来，需要配置两个拦截器；

一个为ETL拦截器，ETL拦截器的主要作用是过滤脏数据，首先获取Flume传输单元Event的Body部分，其次将Body转换成字符串，接着切割数据，判断字符串长度是否合法，然后校验服务器端时间、json数据格式是否正确，最后返回结果；

另一个为Type拦截器，Type拦截器用于区分不同的日志类型,发送到Kafka不同的主题中，先获取Event的Body,将Body转换成字符串，之后将字符串进行类型区分，分为start、error和event三种类型，然后获取Event的Header，对不同的日志类型进行标记。

在所述的多线程日志收集中，系统中有多个日志文件，每个日志文件都在不停地写入新的消息，而Flume的日志收集是单线程的，收集日志的效率比较低。在这种情况下，本系统对Flume框架的基础源代码进行了修改，以收集多个线程上的实时日志数据，Flume将遍历要收集的日志文件，并启动与日志文件一样多的线程。

在所述的日志收集模块的实现中，按照以下步骤进行：

1)在官网下载Flume安装包，每台日志服务器上都安装Flume；

2)修改Flume配置文件flume-env.sh；

3)至少选择一台机器启动一个master节点，所有节点启动flume

4)安装Flume监控工具Ganglia；

5)打开网页浏览Ganglia页面。

作为本发明的一种优选技术方案，在所述的消息引擎模块中，采用基于Kafka的消息引擎模块系统，Kafka是一个分布式的消息引擎系统，主要由Producer、Broker和Consumer三部分组成，Kafka在运行的过程中需要与ZooKeeper框架进行通信，生产者使用推模式将消息发送到Kafka的服务端Broker，而消费者使用拉模式订阅服务端的消息。

在所述的消息引擎模块的实现中，按照以下步骤进行：

1)在官网下载Kafka安装包，解压缩；

2)修改配置文件,包括:Broker的全局唯一编号、Kafka运行日志存放路径、连接ZooKeeper的集群地址等信息；

3)下载KafkaManager，编译源码；

4)解压缩KafkaManager；

5)启动Kafka和KafkaManager，在浏览器中查看运行情况；

6)设置Kafka主题；

7)编写脚本。

作为本发明的一种优选技术方案，在所述的数据仓库架构设计中，该数据仓库使用YARN管理集群资源，同时使用HDFS存储日志。使用维度建模理论对数据仓库进行建模，保证了用户行为日志数据的质量，并对数据仓库进行分层设计。

在所述的数据仓库模块设计中，数据仓库的建模过程总体划分成四个阶段，分别是业务建模、领域建模、逻辑建模和物理建模，首先是业务建模，主要工作是拆分系统业务，弄清所有业务之间的联系，了解详细的业务流程并为数据仓库的建设做准备；其次是领域建模，主要任务是绘制主要业务逻辑概念，对业务逻辑进行分组概念；然后通过逻辑建模，此阶段主要用于在考虑业务概念的特定属性的情况下实现业务概念，最后是物理建模，在此阶段，应根据特定物理平台，模型性能和管理的需要进行适当的及时更改和调整，以生成最终执行脚本并在将来对其进行改进。

在所述的数据仓库分层设计中，本系统将用户行为数据仓库分成四层，分别是原始数据层(ODS层)、数据明细层(DWD层)、数据服务层(DWS层)和数据应用层(ADS层)。

本发明具有以下有益效果：

1)针对收集实时用户行为日志的问题，提出了一种基于Flume的分布式日志收集模块,该模块具有可扩展性，多线程和分布式的特点，解决了收集实时分布式日志数据的问题，除此之外，与以往不同的是，在数据收集之后立即进行数据过滤清洗，过滤脏数据，减少了不必要的数据传输，降低了数据传输的成本；

2)针对数据传输过程中消息丢失、消息重复消费的问题，本文通过优化配置、修改Kafka源码，解决了上述问题，保证消息传输的精确一次语义，降低错误消息发生的概率；

3)Hive底层默认的是MapReduce执行引擎，所有的SQL语句最终会转化到MapReduce上执行,但是MapReduce存在运行缓慢的问题,针对此问题,本系统将Hive底层的MapReduce执行引擎换成Tez，提高了Hive查找数据的效率，减少数据查询的时间。

附图说明

图1为本发明提出的一种智能用户体验信息收集系统的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，一种智能用户体验信息收集系统，包括日志收集模块、消息引擎模块、数据仓库模块与数据可视化模块；

日志收集模块包括拦截器配置、多线程日志收集与日志收集模块的实现；

消息引擎模块包括消息引擎模块配置优化与消息引擎模块的实现；

数据仓库模块包括数据仓库架构设计、数据仓库模块设计与数据仓库分层设计；

数据可视化模块包括日志收集模块可视化、消息引擎模块可视化与数据仓库模块查询可视化。

参照图1，日志收集模块主要是基于Flume框架进行用户行为日志的实时收集，配置拦截器进行数据过滤、事件类型分类，根据实际需要采用多线程进行日志收集；

消息引擎模块主要是基于Kafka消息引擎模块进行日志数据的接收、存储和发送，在这个过程中，将不同的日志数据分发到不同的主题，对日志进行分类存储。通过配置优化，提升系统的稳定性、可靠性；

数据仓库模块主要是基于Hive技术进行数据仓库的分层搭建，根据数据仓库中的数据进行报表分析，处理各种高复杂度的业务；

数据可视化模块提供数据展示功能，开发人员可以看到整个系统的运行情况，便于系统分析与运维。

参照图1，在拦截器配置中，在Flume采集日志数据的时候，为了过滤脏数据，减少不必要的数据传输，同时区分日志类型，将日志事件区分开来，需要配置两个拦截器；

一个为ETL拦截器，ETL拦截器的主要作用是过滤脏数据，首先获取Flume传输单元Event的Body部分，其次将Body转换成字符串，接着切割数据，判断字符串长度是否合法，然后校验服务器端时间、json数据格式是否正确，最后返回结果；

另一个为Type拦截器，Type拦截器用于区分不同的日志类型,发送到Kafka不同的主题中，先获取Event的Body,将Body转换成字符串，之后将字符串进行类型区分，分为start、error和event三种类型，然后获取Event的Header，对不同的日志类型进行标记。

在多线程日志收集中，系统中有多个日志文件，每个日志文件都在不停地写入新的消息，而Flume的日志收集是单线程的，收集日志的效率比较低。在这种情况下，本系统对Flume框架的基础源代码进行了修改，以收集多个线程上的实时日志数据，Flume将遍历要收集的日志文件，并启动与日志文件一样多的线程。

在日志收集模块的实现中，按照以下步骤进行：

1)在官网下载Flume安装包，每台日志服务器上都安装Flume；

2)修改Flume配置文件flume-env.sh；

3)至少选择一台机器启动一个master节点，所有节点启动flume

4)安装Flume监控工具Ganglia；

5)打开网页浏览Ganglia页面。

参照图1，在消息引擎模块中，采用基于Kafka的消息引擎模块系统，Kafka是一个分布式的消息引擎系统，主要由Producer、Broker和Consumer三部分组成，Kafka在运行的过程中需要与ZooKeeper框架进行通信，生产者使用推模式将消息发送到Kafka的服务端Broker，而消费者使用拉模式订阅服务端的消息。

在消息引擎模块的实现中，按照以下步骤进行：

1)在官网下载Kafka安装包，解压缩；

2)修改配置文件,包括:Broker的全局唯一编号、Kafka运行日志存放路径、连接ZooKeeper的集群地址等信息；

3)下载KafkaManager，编译源码；

4)解压缩KafkaManager；

5)启动Kafka和KafkaManager，在浏览器中查看运行情况；

6)设置Kafka主题；

7)编写脚本。

参照图1，在数据仓库架构设计中，该数据仓库使用YARN管理集群资源，同时使用HDFS存储日志。使用维度建模理论对数据仓库进行建模，保证了用户行为日志数据的质量，并对数据仓库进行分层设计。

在数据仓库模块设计中，数据仓库的建模过程总体划分成四个阶段，分别是业务建模、领域建模、逻辑建模和物理建模，首先是业务建模，主要工作是拆分系统业务，弄清所有业务之间的联系，了解详细的业务流程并为数据仓库的建设做准备；其次是领域建模，主要任务是绘制主要业务逻辑概念，对业务逻辑进行分组概念；然后通过逻辑建模，此阶段主要用于在考虑业务概念的特定属性的情况下实现业务概念，最后是物理建模，在此阶段，应根据特定物理平台，模型性能和管理的需要进行适当的及时更改和调整，以生成最终执行脚本并在将来对其进行改进。

在数据仓库分层设计中，本系统将用户行为数据仓库分成四层，分别是原始数据层(ODS层)、数据明细层(DWD层)、数据服务层(DWS层)和数据应用层(ADS层)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种智能用户体验信息收集系统，其特征在于，包括日志收集模块、消息引擎模块、数据仓库模块与数据可视化模块；

所述日志收集模块包括拦截器配置、多线程日志收集与日志收集模块的实现；

所述消息引擎模块包括消息引擎模块配置优化与消息引擎模块的实现；

所述数据仓库模块包括数据仓库架构设计、数据仓库模块设计与数据仓库分层设计；

所述数据可视化模块包括日志收集模块可视化、消息引擎模块可视化与数据仓库模块查询可视化。

2.根据权利要求1所述的一种智能用户体验信息收集系统，其特征在于，所述日志收集模块主要是基于Flume框架进行用户行为日志的实时收集，配置拦截器进行数据过滤、事件类型分类，根据实际需要采用多线程进行日志收集；

所述消息引擎模块主要是基于Kafka消息引擎模块进行日志数据的接收、存储和发送，在这个过程中，将不同的日志数据分发到不同的主题，对日志进行分类存储。通过配置优化，提升系统的稳定性、可靠性；

所述数据仓库模块主要是基于Hive技术进行数据仓库的分层搭建，根据数据仓库中的数据进行报表分析，处理各种高复杂度的业务；

所述数据可视化模块提供数据展示功能，开发人员可以看到整个系统的运行情况，便于系统分析与运维。

3.根据权利要求1所述的一种智能用户体验信息收集系统，其特征在于，在所述的拦截器配置中，在Flume采集日志数据的时候，为了过滤脏数据，减少不必要的数据传输，同时区分日志类型，将日志事件区分开来，需要配置两个拦截器；

一个为ETL拦截器，ETL拦截器的主要作用是过滤脏数据，首先获取Flume传输单元Event的Body部分，其次将Body转换成字符串，接着切割数据，判断字符串长度是否合法，然后校验服务器端时间、json数据格式是否正确，最后返回结果；

另一个为Type拦截器，Type拦截器用于区分不同的日志类型,发送到Kafka不同的主题中，先获取Event的Body,将Body转换成字符串，之后将字符串进行类型区分，分为start、error和event三种类型，然后获取Event的Header，对不同的日志类型进行标记。

在所述的多线程日志收集中，系统中有多个日志文件，每个日志文件都在不停地写入新的消息，而Flume的日志收集是单线程的，收集日志的效率比较低。在这种情况下，本系统对Flume框架的基础源代码进行了修改，以收集多个线程上的实时日志数据，Flume将遍历要收集的日志文件，并启动与日志文件一样多的线程。

在所述的日志收集模块的实现中，按照以下步骤进行：

1)在官网下载Flume安装包，每台日志服务器上都安装Flume；

2)修改Flume配置文件flume-env.sh；

3)至少选择一台机器启动一个master节点，所有节点启动flume

4)安装Flume监控工具Ganglia；

5)打开网页浏览Ganglia页面。

4.根据权利要求1所述的一种智能用户体验信息收集系统，其特征在于，在所述的消息引擎模块中，采用基于Kafka的消息引擎模块系统，Kafka是一个分布式的消息引擎系统，主要由Producer、Broker和Consumer三部分组成，Kafka在运行的过程中需要与ZooKeeper框架进行通信，生产者使用推模式将消息发送到Kafka的服务端Broker，而消费者使用拉模式订阅服务端的消息。

在所述的消息引擎模块的实现中，按照以下步骤进行：

1)在官网下载Kafka安装包，解压缩；

2)修改配置文件,包括:Broker的全局唯一编号、Kafka运行日志存放路径、连接ZooKeeper的集群地址等信息；

3)下载KafkaManager，编译源码；

4)解压缩KafkaManager；

5)启动Kafka和KafkaManager，在浏览器中查看运行情况；

6)设置Kafka主题；

7)编写脚本。

5.根据权利要求1所述的一种智能用户体验信息收集系统，其特征在于，在所述的数据仓库架构设计中，该数据仓库使用YARN管理集群资源，同时使用HDFS存储日志。使用维度建模理论对数据仓库进行建模，保证了用户行为日志数据的质量，并对数据仓库进行分层设计。

在所述的数据仓库模块设计中，数据仓库的建模过程总体划分成四个阶段，分别是业务建模、领域建模、逻辑建模和物理建模，首先是业务建模，主要工作是拆分系统业务，弄清所有业务之间的联系，了解详细的业务流程并为数据仓库的建设做准备；其次是领域建模，主要任务是绘制主要业务逻辑概念，对业务逻辑进行分组概念；然后通过逻辑建模，此阶段主要用于在考虑业务概念的特定属性的情况下实现业务概念，最后是物理建模，在此阶段，应根据特定物理平台，模型性能和管理的需要进行适当的及时更改和调整，以生成最终执行脚本并在将来对其进行改进。

在所述的数据仓库分层设计中，本系统将用户行为数据仓库分成四层，分别是原始数据层(ODS层)、数据明细层(DWD层)、数据服务层(DWS层)和数据应用层(ADS层)。

Images