CN108153850A - 一种用户行为统计分析方法及系统 - Google Patents

Abstract

本发明公开了一种用户行为统计分析方法及系统，所述方法包括获取在客户端采集并处理为标准信息的操作指令信息；将所述标准信息转换为用于输入至服务器端消息队列的信息，并输入所述消息队列中；将输入至所述消息队列的信息与之前的标准信息进行整合处理，并发送至实时数据库中；对实时数据库中的数据进行深度分析，并把实时数据库中的数据迁移到历史数据库中；从所述实时数据库和所述历史数据库中获取对应的用户行为数据，并转换为标准的可视化数据。本发明能够有效的帮助客户最终获得并分析网站的用户行为数据，达到能实时处理海量数据的目的。

Description

一种用户行为统计分析方法及系统

技术领域

本发明涉及用户行为采集技术领域，尤其涉及一种用户行为统计分析 方法及系统。

背景技术

互联网的普及，使得众多互联网企业和传统企业纷纷部署自身的大型 站点，包括电脑端和手机端，在互联网的力量之下，为自身的服务和产品 赋能。而对于大型站点，用户行为统计分析无疑是非常重要的一个环节， 通过用户行为统计分析，我们可以了解到网站的流量来源、页面访问质量、 哪些回头用户、哪些用户浏览之后没有转换成目标用户，转换的目标用户 是通过那些页面进入交易页面的等等。总而言之，我们能通过用户行为统 计分析帮助企业解决三个核心商业问题：提升用户体验、提升企业收入和 降低企业成本。

其中，现有技术在实施过程中一般采取在网页中嵌入一段JS代码，然 后这段JS代码会收集相关信息发送到DNA的服务器以完成数据统计和分 析；流程简单，且能收集到全面数据，即使没有技术经营的客户或者员工 都能迅速上手。具体地，系统基础操作流程为：

①定义事件，事件是对数据的描述；

②定义触发规则，触发规则表示用户在什么操作下会触发这个事件， 比如定义一个注册事件，点击注册按钮就会触发这个事件的统计，那么当 有用户点击注册按钮后，系统就会记录哪一个用户、在什么时间点单击了 注册按钮、完成了注册事件；

③部署到网站。客户配置好事件后，系统会自动生成代码，客户只需 要将代码复制黏贴到自己想要统计的页面即可。

但是，现有技术中传统的数据统计分析方法存在多个缺陷影响用户行 为统计分析的效率，所以，有待提出一种可有效提升且简单应用的用户行 为统计分析的技术方案。

发明内容

本发明提出了一种用户行为统计分析方法及系，具体地：

第一方面提供了一种用户行为统计分析方法，包括：

获取在客户端采集并处理为标准信息的操作指令信息；

将所述标准信息转换为用于输入至服务器端消息队列的信息，并输入 所述消息队列中；

将输入至所述消息队列的信息与之前的标准信息进行整合处理，并发 送至实时数据库中；

对实时数据库中的数据进行深度分析，并把实时数据库中的数据迁移 到历史数据库中；

从所述实时数据库和所述历史数据库中获取对应的用户行为数据，并 转换为标准的可视化数据。

进一步地，所述将输入至所述消息队列的信息与所述标准信息进行整 合处理之后，还包括：

将整合处理后的消息队列中的信息与标准信息作为处理对象，对所述 处理对象进行访问深度、停留时间的计算，并整合相同维度的指标。

进一步地，所述对实时数据库中的数据进行深度分析之前，还包括：

在对实时数据路中的数据进行深度分析之前，设定离线作业启动，对 每天获取的日志信息进行压缩、整理和备份。

进一步地，所述从所述实时数据库和所述历史数据库中获取到客户的 用户行为数据之前，还包括：管理客户的基础信息和权限，维护基本的客 户数据。

第二方面提供了一种用户行为统计分析系统，包括客户端和服务器端，

所述客户端包括第一收集模块和第一处理模块；所述第一收集模块用 于获取访客对运行环境的操作指令；所述第一处理模块用于将所述第一收 集模块获取的指令信息进行加工整理成标准信息，并将所述标准信息发送 至所述服务器；

所述服务器端包括第二收集模块、第二处理模块、第二存储模块、第 三处理模块和信息展示模块；

所述第二收集模块用于获取得到第一处理模块发送的信息，并进行转 化处理，输入至消息队列；

所述第二处理模块用于获取并解析所述消息队列中的消息，并与第一 处理模块发送的信息进行整合，发送至实时数据中；

所述第三处理模块用于对实时数据库中的数据进行深度分析，计算出 需要大数据量运算的结果，并把实时数据库中的数据迁移到历史数据库中；

所述信息展示模块用于从所述实时数据库和所述历史数据库中获取到 客户的用户行为数据，并转换为标准的可视化数据。

进一步地，所述第二处理模块，还用于将整合处理后的消息队列中的 信息与标准信息作为处理对象，对所述处理对象进行访问深度、停留时间 的计算，并整合相同维度的指标。

进一步地，所述第三处理模块还用于在对实时数据路中的数据进行深 度分析之前，设定离线作业启动，对每天获取的日志信息进行压缩、整理 和备份。

进一步地，所述信息展示模块还用于管理客户的基础信息和权限，维 护基本的客户数据。

本发明提供的用户行为统计分析方法，能够有效的帮助客户最终获得 并分析网站的用户行为数据，达到能实时处理海量数据的目的；所述方法 对应的系统从浏览器跨域到服务器，所述系统把绝大部分的工作都隐藏屏 蔽在简单的接口中；对于客户来说，提供了简易通过短时间学习就能掌握 的操作步骤，使得客户能减少自身的工作量，专注于自身业务。并且，所 述系统不仅能够减少重复工作，而且通过借助第三方技术使得能够方便的借取第三方技术实现本发明，可扩展性强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例一提供的一种用户行为统计分析方法流程图；

图2是实施例一提供的另一种用户行为统计分析方法流程图；

图3是实施例二提供的一种用户行为统计分析系统结构框图；

图4是实施例二提供的一种用户行为统计分析系统具体结构组成图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动 前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图 在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、 系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没 有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单 元。

对于现有技术中传统的数据统计分析方法有几个值得关注的缺陷。

其一：用户的交互行为，如果没有具体的“地点”，无埋点的方法则 不适用。比如，用户上滑屏幕时内容瀑布流的底部载入新的内容(像网易 新闻、今日头条之类)，这种交互用户可以一直进行下去，但却没有一个 明确的监测点位置。在可视化事件监测设置的界面上你找不到这类交互， 因为这类交互是不可见的。给与说明的是，每个网页都是一个DOM文件树， 树上面有很多支点，这些支点就是所说的监测点。

但是，依照之前的例子，即使在可视化事件监测设置的界面上的所述 的交互不可见；但是这类交互是可以存在触发事件的；若假设存在事件A， 则事件A被触发后将自动加载之后的下一部分信息流；而本发明能够捕捉 事件A，且在事件A被触发时，向服务器发送统计数据。

其二：后端埋点，有个非常严重的硬伤是，行为数据和后端数据无法 很好的关联，后端数据只是个结果，但是却无法归因。因为传统的统计方 法会使用后端方法进行统计，也就是对数据库里产生的数据进行分析，但 是采集到的数据就是实际被操作处理完成的数据；例如统计的注册事件， 采集到的数据只是实际注册了的人数，而我们得不到有多少用户点了注册 按钮又放弃，又有多少人进了注册页面却连按钮都没点击就离开。粗糙的行为统计，让企业在市场营销预算和运营方面浪费了大量的预算和精力。

其三：行为数据的分类汇总。埋点方法因为带有多个属性，用户可以 轻松的通过这些属性进行分类数据报告的读取。比如，视频的类别是一个 分类型的属性；我们读取报告的时候，可以把某个分类的视频的event(事 件)数据一次性全部展现在报告中，而不需要手动一个一个去汇总。而无 埋点方法因为缺少对行为属性的标识，因此做不同event的分类汇总数据， 要麻烦得多，并且必须得手动一个一个添加。

其中，给与说明的是，每一个需要我们监测的event互动，都被称为 一个“监测点”，为了让监测点上的用户互动行为数据被我们收集到，我 们必须在这些监测点上部署上专用的事件监测代码(即event tracking code)，这些代码需要手工一个一个添加在想要获取数据的监测点上。这 个过程被形象化的称为埋点。其中，事件监测(埋点)只有在基础代码工 作的情况下才能发挥作用。

埋点方法因为带有多个属性，用户可以轻松的通过这些属性进行分类 数据报告的读取。比如，我们监测一个贴片广告播放后用户是否播放了， 无埋点只能统计视频是否播放，而不能进行按照属性分类。而埋点可以通 过在后台配置时，为该视频点击行为添加多个属性，例如广告视频、视频 明星是谁、投放渠道等等。这样数据分析人员就能根据属性细分，对投放 数据进行分析，看看哪类视频的投放效果比较好，从而加大预算，反则减 少预算。

本发明提供了一种能使客户有效地获取并分析网站的用户行为数据的 技术方案，其从浏览器跨域到服务器，达到实时处理海量数据，且简答易 操作；具体地：

实施例一：

本实施例提供了一种用户行为统计分析方法，如图1所示，包括：

S101.获取在客户端采集并处理为标准信息的操作指令信息；

具体地，包括：客户添加JS(Javascript)代码收集器加载代码到 网站，JS代码收集器加载代码通过网络请求获取完整的收集器代码；运行 收集器，对访客的浏览器信息进行采集，发送至服务器。其中，JS代码收 集器加载代码具有类似于下载安装包功能，通过网络请求加载真正的收集 器代码，再运行收集器，对访客的浏览器信息进行采集，发送至服务器。

S102.将所述标准信息转换为用于输入至服务器端消息队列的信息，并 输入所述消息队列中；

其中，所述标准信息为处理成更方便输出的格式，将更方便输出的格 式输入到消息队列中。

S103.将输入至所述消息队列的信息与之前的标准信息进行整合处理， 并发送至实时数据库中；

其中，消息队列中的消息的输入是在不间断的进行的，在每过来一条 消息，就会对该消息进行解析，并与之前浏览器发送过来的消息数据进行 整合。

S104.对实时数据库中的数据进行深度分析，并把实时数据库中的数据 迁移到历史数据库中；

S105.从所述实时数据库和所述历史数据库中获取对应的用户行为数 据，并转换为标准的可视化数据。

具体地，如图2所示，所述将输入至所述消息队列的信息与所述标准 信息进行整合处理之后，还包括：

将整合处理后的消息队列中的信息与标准信息作为处理对象，对所述 处理对象进行访问深度、停留时间的计算，并整合相同维度的指标。

进一步地，所述对实时数据库中的数据进行深度分析之前，还包括：

在对实时数据路中的数据进行深度分析之前，设定离线作业启动，对 每天获取的日志信息进行压缩、整理和备份。

进一步地，所述从所述实时数据库和所述历史数据库中获取到客户的 用户行为数据之前，还包括：管理客户的基础信息和权限，维护基本的客 户数据。

实施例二：

本实施例提供了一种用户行为统计分析系统，如图3所示，包括客户 端100和服务器端200，

具体地，如图4所示，所述客户端100包括第一收集模块110和第一 处理模块120；所述第一收集模块110用于获取访客对运行环境的操作指令； 所述第一处理模块120用于将所述第一收集模块110获取的指令信息进行 加工整理成标准信息，并将所述标准信息发送至所述服务器；

所述服务器端200包括第二收集模块210、第二处理模块220、第三处 理模块230和信息展示模块240；

所述第二收集模块210用于获取得到第一处理模块发送的信息，并进 行转化处理，输入至消息队列；

所述第二处理模块220用于获取并解析所述消息队列中的消息，并与 第一处理模块发送的信息进行整合，发送至实时数据中；

所述第三处理模块230用于对实时数据库中的数据进行深度分析，计 算出需要大数据量运算的结果，并把实时数据库中的数据迁移到历史数据 库中；

所述信息展示模块240用于从所述实时数据库和所述历史数据库中获 取到客户的用户行为数据，并转换为标准的可视化数据。

进一步地，所述第二处理模块220，还用于将整合处理后的消息队列中 的信息与标准信息作为处理对象，对所述处理对象进行访问深度、停留时 间的计算，并整合相同维度的指标。

进一步地，所述第三处理模块230还用于在对实时数据路中的数据进 行深度分析之前，设定离线作业启动，对每天获取的日志信息进行压缩、 整理和备份。

进一步地，所述信息展示模块240还用于管理客户的基础信息和权限， 维护基本的客户数据。

其中，本发明的系统通过上述一系列的处理，使得客户能最终获得并 分析网站的用户行为数据。这套流程非常复杂，技术面从浏览器跨域到服 务器，为了达到能实时处理海量数据，需要部署并维护非常多的服务，具 有相当的技术难度；但是对于客户来说，在通过本发明的这种处理过程中， 只需要添加几行代码，就能看到数据，系统把绝大部分的工作都隐藏屏蔽 在简单的接口中，提供了简易,通过短时间学习就能掌握的操作步骤，使得客户能减少自身的工作量，专注于自身业务。

并且，本发明为了减少重复工作，使用了相当多的第三方技术，数据 库方面包括mongo，mysql，redis，消息队列方面包括kafka，redis，数 据存储方面包括hive，druid，而这些技术本身不涉及统计分析的业务， 具有相当的可替换性，分析系统可以通过更换不同的第三方技术，来达到 相同的目的。

总之，本发明提供的用户行为统计分析方法，能够有效的帮助客户最 终获得并分析网站的用户行为数据，达到能实时处理海量数据的目的；所 述方法对应的系统从浏览器跨域到服务器，所述系统把绝大部分的工作都 隐藏屏蔽在简单的接口中；对于客户来说，提供了简易通过短时间学习就 能掌握的操作步骤，使得客户能减少自身的工作量，专注于自身业务。并 且，所述系统不仅能够减少重复工作，而且通过借助第三方技术使得能够 方便的借取第三方技术实现本发明，可扩展性强。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实 施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明中的技术方案中的各个模块均可通过计算机终端或其它设备实 现。所述计算机终端包括处理器和存储器。所述存储器用于存储本发明中 的程序指令/模块，所述处理器通过运行存储在存储器内的程序指令/模块， 实现本发明相应功能。

本发明中的技术方案本质上或者说对现有技术做出贡献的部分或者该 技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产 品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可 为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法 的全部或部分步骤。

本发明中所述模块/单元的划分，仅仅为一种逻辑功能划分，实际实现 时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到 另一个系统，或一些特征可以忽略，或不执行。可以根据实际的需要选择 其中的部分或者全部模块/单元来达到实现本发明方案的目的。

另外，在本发明各个实施例中的各模块/单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软 件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种用户行为统计分析方法，其特征在于，包括：

获取在客户端采集并处理为标准信息的操作指令信息；

将所述标准信息转换为用于输入至服务器端消息队列的信息，并输入所述消息队列中；

将输入至所述消息队列的信息与之前的标准信息进行整合处理，并发送至实时数据库中；

对实时数据库中的数据进行深度分析，并把实时数据库中的数据迁移到历史数据库中；

从所述实时数据库和所述历史数据库中获取对应的用户行为数据，并转换为标准的可视化数据。

2.根据权利要求1所述的方法，其特征在于，所述将输入至所述消息队列的信息与所述标准信息进行整合处理之后，还包括：

将整合处理后的消息队列中的信息与标准信息作为处理对象，对所述处理对象进行访问深度、停留时间的计算，并整合相同维度的指标。

3.根据权利要求1所述的方法，其特征在于，所述对实时数据库中的数据进行深度分析之前，还包括：

在对实时数据路中的数据进行深度分析之前，设定离线作业启动，对每天获取的日志信息进行压缩、整理和备份。

4.根据权利要求1所述的方法，其特征在于，所述从所述实时数据库和所述历史数据库中获取到客户的用户行为数据之前，还包括：管理客户的基础信息和权限，维护基本的客户数据。

5.一种用户行为统计分析系统，其特征在于，包括客户端和服务器端，

所述客户端包括第一收集模块和第一处理模块；所述第一收集模块用于获取访客对运行环境的操作指令；所述第一处理模块用于将所述第一收集模块获取的指令信息进行加工整理成标准信息，并将所述标准信息发送至所述服务器；

所述服务器端包括第二收集模块、第二处理模块、第二存储模块、第三处理模块和信息展示模块；所述第二收集模块用于获取得到第一处理模块发送的信息，并进行转化处理，输入至消息队列；所述第二处理模块用于获取并解析所述消息队列中的消息，并与第一处理模块发送的信息进行整合，发送至实时数据中；所述第三处理模块用于对实时数据库中的数据进行深度分析，计算出需要大数据量运算的结果，并把实时数据库中的数据迁移到历史数据库中；所述信息展示模块用于从所述实时数据库和所述历史数据库中获取到客户的用户行为数据，并转换为标准的可视化数据。

6.根据权利要求5所述的系统，其特征在于，所述第二处理模块，还用于将整合处理后的消息队列中的信息与标准信息作为处理对象，对所述处理对象进行访问深度、停留时间的计算，并整合相同维度的指标。

7.根据权利要求5所述的系统，其特征在于，所述第三处理模块还用于在对实时数据路中的数据进行深度分析之前，设定离线作业启动，对每天获取的日志信息进行压缩、整理和备份。

8.根据权利要求5所述的系统，其特征在于，所述信息展示模块还用于管理客户的基础信息和权限，维护基本的客户数据。