CN103036921A

CN103036921A - 一种用户行为分析系统和方法

Info

Publication number: CN103036921A
Application number: CN2011103002880A
Authority: CN
Inventors: 张岩
Original assignee: Beijing Feinno Communication Technology Co Ltd
Current assignee: Beijing Feinno Communication Technology Co Ltd
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2013-04-10
Anticipated expiration: 2031-09-29
Also published as: CN103036921B

Abstract

本发明公开了一种用户行为分析系统和方法。接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；从用户行为数据中解析得到用户、行为和结果数据，将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。本发明的技术方案，解决了用户行为数据获取拥堵无序的问题，并加强了“用户”与“行为”之间的关联，使得更利于统计用户行为，并且避免了使用关系型数据库所带来的系统瓶颈。

Description

一种用户行为分析系统和方法

技术领域

本发明涉及互联网技术领域，特别是涉及一种用户行为分析系统和方法。

背景技术

用户行为分析，是指在获得网站访问量基本数据的情况下，对有关数据进行统计、分析的过程。通过用户行为分析可以发现用户访问网站的规律，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据。

现有的用户行为分析技术中，需要不停的向各应用服务请求用户数据，获取到的用户数据采用关系数据表的方式进行存储和管理。通常，新的用户行为数据获取后，会将其作为一条条新的记录直接添加到关系数据表中。

关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。具体来说关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。

现有的这种用户行为分析方案的缺陷是：一方面，在获取用户行为数据时，由于会不停的向各应用服务请求，面临巨大的数据请求下，往往会造成拥堵崩溃等问题。另一方面，在关系数据表中，各条记录之间关联性较差，即同一用户的多个行为需要会作为多条记录进行存储，使得用户与行为之间的关系比较松散，不利于分析统计多重行为的情况，不利于查询单个用户行为，并且由于使用的是关系型数据库，因此对于大数据量的数据计算能力差，数据存储能力也差，容易造成系统瓶颈。

发明内容

本发明提供了一种用户行为分析系统和方法，用以解决用户行为数据获取拥堵无序的问题，并加强了“用户”与“行为”之间的关联，使得更利于统计用户行为，并且避免了使用关系型数据库所带来的系统瓶颈。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种用户行为分析系统，包括：用户行为数据获取模块、用户行为解析模块、用户行为存储数据库和用户行为分析模块；

用户行为数据获取模块，用于接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；将用户行为数据发送给用户行为解析模块；

用户行为解析模块，用于从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；

用户行为存储数据库，用于将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；

用户行为分析模块，用于遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。

本发明还公开了一种用户行为分析方法，该方法包括：

接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；

从用户行为数据中解析得到用户、行为和结果数据，并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；

将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；

遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。

由上述可见，本发明这种接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；从用户行为数据中解析得到用户、行为和结果数据，并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算的技术方案，解决了用户行为数据获取拥堵无序的问题，并加强了“用户”与“行为”之间的关联，使得更利于统计用户行为，并且避免了使用关系型数据库所带来的系统瓶颈。

附图说明

图1是本发明实施例中的一种用户行为分析系统的组成示意图；

图2是本发明实施例中的用户行为数据的原始数据的数据模型的示意图；

图3是本发明实施例中的计算结果数据的数据模型的示意图；

图4是本发明实施例中的组合查询的一个示意图；

图5是本发明实施例中的一种用户行为分析方法的流程图。

具体实施方式

图1是本发明实施例中的一种用户行为分析系统的组成示意图。如图1所示，该系统包括：用户行为数据获取模块101、用户行为解析模块102、用户行为存储数据库103和用户行为分析模块104；

用户行为数据获取模块101，用于接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；将用户行为数据发送给用户行为解析模块102；

用户行为解析模块102，用于从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；

在具体实现中，第一类外围系统实时推送的用户行为数据的数据格式可以是“用户、行为和结果”格式的数据；而从第二类外围系统获取的数据，由于是向其获取的，所以其获取到的数据格式是多样的，用户行为解析模块102需要对多种格式的数据进行解析，得到“用户、行为和结果”这样的统一格式的数据。

用户行为存储数据库103，用于将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；

用户行为分析模块104，用于遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。

在图1所示的系统中，所述用户行为分析模块104包括：

用户行为数量统计单元1041，用于遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系；

所述系统还包括：

结果存储数据库105，用于将行为、结果和数量三者间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。

在图1所示的系统中，所述用户行为分析模块104，具体包括多个用户行为分析子模块1042，以分布式方式设置在多个设备上，各用户行为分析子模块1042用于采用分布式计算方式遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。每个用户行为分析子模块1042中都包含一个用户行为数量统计单元1041。

在图1所示的系统中，所述用户行为存储数据库103以分布式存储方式存储数据；同样所述结果存储数据库105以分布式存储方式存储数据。

图1所示的用户行为数量统计单元1041包括：单行为统计子单元和/或组合行为统计子单元，在图1中没有画出。

所述单行为统计子单元，用于遍历所述用户行为数据树，查询并定位指定行为的用户以及对应的结果，根据结果进行分组，计算每组的数量，并建立该指定行为、结果和数量间的对应关系；

所述组合行为统计子单元，用于遍历所述用户行为数据树，查询并定位多个指定行为中的每个行为的用户以及对应的结果，根据结果进行分组，计算每组的数量，并建立该多个指定行为、结果和数量间的对应关系。

在本发明的一个实施例中，用户行为分析模块104具体采用Hadoop集群系统实现，优选地，采用greenplum计算方式。

在图1所示的系统中，所述用户行为解析模块102，用于将新的用户行为数据保存到户行为存储数据库103中时，首先查询用户行为数据树中对应的“用户”节点是否已经存在，是则在该已存在的“用户”节点下查询对应“行为”节点是否已存在，如果对应的“行为”节点已存在，则在该已存在的“行为”节点下增加对应的“结果”，如果对应的“行为”节点不存在，则在已存在的“用户”节点下新建一个“行为”节点，以及在新建的“行为”节点下，新建一个“结果”节点；如果对应的“用户”节点不存在，则新建一个“用户”根节点，在新建的“用户”根节点下建立一个“行为”节点，在建立的“行为”节点下建立一个“结果”节点；

所述用户行为数量统计单元1041，用于将新的用户行为分析结果数据保存到用户行为分析结果数据库105中时，首先查询对应的“行为”节点是否已经存在，是则在该已存在的“行为”节点下查询对应“结果”节点是否以存在，如果对应的“结果”节点已存在，则在该已存在的“结果”节点下保存对应的“数量”，如果对应的“结果”节点不存在，则在已存在的“行为”节点下新建一个“结果”节点，以及在新建的“结果”节点下，新建一个“数量”节点；如果对应的“行为”节点不存在，则新建一个“行为”根节点，在新建的“行为”根节点下建立一个“结果”节点，在建立的“结果”节点下建立一个“数量”节点。

在图1所示的系统中，所述用户行为存储数据库103为建立在分布式文件系统HDFS上非关系型数据库NOSQL；以及，结果存储数据库105为建立在分布式文件系统HDFS上非关系型数据库NOSQL。

由上述可见，在本发明中，建立“用户-行为-结果”(key-behavior-value)形式的用户行为数据的原始数据模型，其中以“用户”为主键值，从而使用户与行为关联，只要在合理范围内增加行为都可以得到满足。图2是本发明实施例中的用户行为数据的原始数据的数据模型的示意图。在这种数据模型下，主键下的节点可以任意扩充，这解决了用户行为任意扩充的问题。每个用户的行为可以不固定只有当用户产生此种行为时才进行记录，增强了扩展性，减少了数据的存储量。

在本发明中对用户行为进行分析计算所得到计算结果数据，以“行为-结果-数量”的格式存储到非关系型数据库中，即以“行为”为主键，以“结果-数量”作为主键下的节点，其中在每个节点中以“结果”作为键值。图3是本发明实施例中的计算结果数据的数据模型的示意图。

使用非关系型数据库(NOSQL)存储可以进行分布式计算，提高了系统资源的利用率，使计算能力得以提高。非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。

前面提到单行为统计子单元，遍历所述用户行为数据树，从中查询符合一个指定行为的用户以及对应的结果，根据结果进行分组，计算每组的数量。例如，以“点击按钮”行为为例，可以查询做出“点击按钮”这个行为的“用户”，以及对应的“结果”，“结果”如：点击左按钮，或者点击右按钮等。计算点击左按钮的数量，以及计算点击右按钮的数量。

组合行为统计子单元，遍历所述用户行为数据树，从中查询符合所述多个指定行为中的每个行为的用户以及对应的结果，根据结果进行分组，计算每组的数量；然后进行取交集处理。图4是本发明实施例中的组合查询的一个示意图。如图4所示，先分别统计符合“行为一”的用户和符合“行为二”的用户，再取交集，即同时符合“行为一”和“行为二”的用户。

由于用户行为存储数据库103和结果存储数据库105为建立在分布式文件系统HDFS上非关系型数据库NOSQL，因此可以采用分布式计算方式，系统使用分布式计算的方式，可以横向的增加计算节点，从整体上提高计算能力，解决了单一节点会遇到计算瓶颈的问题。

在本发明的实施例中，计算结果数据使用HDFS这种分布式存储进行记录的持久化。由于分布式存储的特性是可以增加存储节点来扩展系统容量的。所以相对于关系型数据库只能单一机器扩充存储的方式，使用分布式存储能支持更大的数据容量，解决了系统存储瓶颈的问题。

图5是本发明实施例中的一种用户行为分析方法的流程图，如图5所示，该方法包括：

501，接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；

502，从用户行为数据中解析得到用户、行为和结果数据，并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；

503，将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；

504，遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。

在上述方法中，所述遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算包括：

遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系；

该方法还包括：将行为、结果和数量三者间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。

在上述方法中，所述遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量包括：

单行为查询：遍历所述用户行为数据树，查询并定位指定行为的用户以及对应的结果，根据结果进行分组，计算每组的数量，并建立该指定行为、结果和数量间的对应关系；

组合查询：遍历所述用户行为数据树，查询并定位多个指定行为中的每个行为的用户以及对应的结果，根据结果进行分组，计算每组的数量，并建立该多个指定行为、结果和数量间的对应关系。

在上述方法中，采用分布式计算方式遍历所述用户行为数据树；和/或，采用分布式存储方式存储所述用户行为数据树和户行为数量树。

综上所述，本发明这种接收第一类外围系统实时推送的用户行为数据，以及对第二类外围系统进行监控，当第二类外围系统空闲时，从第二类外围系统主动获取用户行为数据；从用户行为数据中解析得到用户、行为和结果数据，并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算的技术方案，解决了用户行为数据获取拥堵无序的问题，并加强了“用户”与“行为”之间的关联，使得更利于统计用户行为，并且避免了使用关系型数据库所带来的系统瓶颈。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种用户行为分析系统，其特征在于，包括：用户行为数据获取模块、用户行为解析模块、用户行为存储数据库和用户行为分析模块；

2.根据权利要求1所述的系统，其特征在于，所述用户行为分析模块包括：

用户行为数量统计单元，用于遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系；

所述系统还包括：

结果存储数据库，用于将行为、结果和数量三者间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。

3.根据权利要求1所述的系统，其特征在于，

所述用户行为分析模块，具体包括多个用户行为分析子模块，以分布式方式设置在多个设备上，各用户行为分析子模块用于采用分布式计算方式遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。

4.根据权利要求2所述的系统，其特征在于，

所述用户行为存储数据库以分布式存储方式存储数据；

所述结果存储数据库以分布式存储方式存储数据。

5.根据权利要求2所述的系统，其特征在于，所述用户行为数量统计单元包括：单行为统计子单元和/或组合行为统计子单元，

6.根据权利要求2所述的系统，其特征在于，

所述用户行为存储数据库为建立在分布式文件系统HDFS上非关系型数据库NOSQL；

和/或，

所述结果存储数据库为建立在分布式文件系统HDFS上非关系型数据库NOSQL。

7.一种用户行为分析方法，其特征在于，该方法包括：

8.根据权利要求7所述的方法，其特征在于，所述遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算包括：

9.根据权利要求8所述的方法，其特征在于，所述遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量包括：

10.根据权利要求8所述的方法，其特征在于，

采用分布式计算方式遍历所述用户行为数据树；

和/或，

采用分布式存储方式存储所述用户行为数据树和/或户行为数量树。