CN108334641A - 采集用户行为数据的方法、系统、电子设备、存储介质 - Google Patents
采集用户行为数据的方法、系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN108334641A CN108334641A CN201810236653.8A CN201810236653A CN108334641A CN 108334641 A CN108334641 A CN 108334641A CN 201810236653 A CN201810236653 A CN 201810236653A CN 108334641 A CN108334641 A CN 108334641A
- Authority
- CN
- China
- Prior art keywords
- user
- user behavior
- behavior data
- log
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种采集用户行为数据的方法、系统、电子设备、存储介质。方法包括:由一中间件自应用服务器采集用户通过一web服务器与应用服务器的第一交互信息;根据第一交互信息解析获得第一用户行为数据;将第一用户行为数据发送至一消息队列;一第一日志处理器获取第一用户行为数据并按行为时间顺序储存至一数据库中;由一第二日志处理器自web服务器采集web服务器的服务器日志;以及将第二用户行为数据与数据库中的行为时间进行比较,将第二用户行为数据储存至数据库,以使得数据库中的用户行为数据按行为时间排序,用户行为数据包括第一用户行为数据和第二用户行为数据。本发明提供的方法及设备实现高效完整的采集用户行为数据。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种采集用户行为数据的方法、系统、电子设备、存储介质。
背景技术
随着互联网技术的广泛应用,越来越多的网站或网络服务需要收集分析用户行为。多年来行业内存在很多依靠计算机辅助来自动收集和分析用户行为数据的方法。每种方法都有自身的特点和局限。有的方便实施,但效果较差,有的效果好,但应用成本较高。并不存在任意一种方式可以满足多数企业需要。我们的方案主要关注,可集中管理,实施成本低的用户行为采集需求。
现有技术通常从客户端(网页端)直接获得用户与网站的交互情况。由于是直接从客户端获得数据,因此,能够获得大量的难以从服务器端获得的用户行为数据,这对进一步分析用户浏览网站行为,改善潜在的网站可用性问题提供了更大的帮助。
然而,通过这样的方式,在客户端的运行环境可能关闭JS(JavaScript)设置,这样采集脚本将完全失效,会影响数据收集。此外,客户端直接采集数据的方式成本较高,需要在每个页面都加载采集脚本。如果要精确捕捉用户行为,甚至要编写一定的代码。同时,客户端脚本会增加网页的JS脚本负荷,影响客户端使用体验。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种采集用户行为数据的方法、系统、电子设备、存储介质,以高效完整的采集用户行为数据。
本发明提供一种采集用户行为数据的方法,包括:
由一中间件自应用服务器采集用户通过一web服务器与所述应用服务器的第一交互信息;
所述中间件根据所述第一交互信息解析获得第一用户行为数据;
所述中间件将所述第一用户行为数据发送至一消息队列;
一第一日志处理器自所述消息队列获取所述第一用户行为数据并按行为时间顺序储存至一数据库中;
由一第二日志处理器自所述web服务器采集所述web服务器的服务器日志,所述服务器日志包括用户与所述web服务器的交互信息;
所述第二日志处理器解析所述服务器日志获得第二用户行为数据;以及
所述第二日志处理器将所述第二用户行为数据与所述数据库中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。
可选地,所述数据库按用户ID分别储存不同用户的用户行为数据,其中,
所述中间件根据所述第一交互信息解析获得第一用户行为数据包括:
所述中间件根据所述第一交互信息解析直接获得所述用户ID;
所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述交互信息获取临时标识码,所述临时标识码关联所述用户ID;
根据所述临时标识码获取该临时标识码关联的用户ID。
可选地,所述临时标识码由所述应用服务器生成,所述应用服务器生成所述临时标识码后将所述临时标识码与用户ID的关联发送至所述第二日志处理器。
可选地,所述临时标识码为会话cookie或者位于所述HTTP协议报文头部的令牌。
可选地,所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述服务器日志获得所述用户与所述web服务器的交互信息;
所述第二日志处理器判断所述交互信息是否被转发至所述应用服务器;
若否,则所述第二日志处理器将所述交互信息作为第二交互信息;以及
所述第二日志处理器解析所述第二交互信息获得第二用户行为数据。
可选地,所述第二交互信息至少包括用户访问页面的路径,所述第二用户行为数据至少包括用户行为事件,所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述用户访问页面的路径判断用户行为事件。
可选地,若所述第二日志处理器判断所述交互信息被转发至所述应用服务器,则所述第二日志处理器将所述交互信息与所述第一交互信息进行匹配;
若所述交互信息与所述第一交互信息不匹配,则所述第二日志处理器解析所述交互信息获取第三用户行为数据;
所述第二日志处理器将所述第三用户行为数据与所述数据库中的行为时间进行比较,若所述数据库中不存在与所述第三用户行为数据相同行为时间的行为数据,则将所述第三用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据还包括所述第三用户行为数据。
可选地,所述第一交互信息及所述第二交互信息包括页面路径,所述第一用户行为数据和所述第二用户行为数据包括所述页面路径及行为事件,
所述第一日志处理器和所述第二日志处理器解析页面路径获得行为事件,所述页面路径及行为事件用于计算用户自一页面至另一页面的页面转化率,所述转化率用于判断用户偏好。
根据本发明的又一方面,还提供一种采集用户行为数据的系统,包括:
中间件,所述中间件执行如下步骤:
自应用服务器采集用户通过一web服务器与应用服务器的第一交互信息;
根据所述第一交互信息解析获得第一用户行为数据;消息队列,用于自所述中间件获取所述第一用户行为数据;
第一日志处理器,用于自所述消息队列获取所述第一用户行为数据并按行为时间顺序储存至一数据库中;
第二日志处理器,所述第二日志处理器执行如下步骤:
自所述web服务器采集所述web服务器的服务器日志,所述服务器日志包括用户与所述web服务器的交互信息;
解析所述服务器日志获得第二用户行为数据;以及
将所述第二用户行为数据与所述数据库中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。
根据本发明的又一方面,还提供一种电子设备,所述电子设备包括:处理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面,还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术,本发明具有如下优势:
1)通过中间件、第一日志处理器及第二日志处理器来获取用户行为数据,无需在客户端埋点,可以在服务器端集中管理,部署方便,同时管理成本低。
2)中间件在服务器端用户验证之后运行可以精确识别用户,同时,通过服务器日志中的临时码也可识别出用户身份。
3)通过中间件可以直接方便的获取用户行为结果。
4)结合用户行为数据和服务器日志,使记录的用户行为数据更为详尽。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的采集用户行为数据的系统的示意图。
图2示出了根据本发明实施例的采集用户行为数据的方法的流程图。
图3示出了根据本发明实施例的第二日志处理器获取的服务器日志。
图4示出了根据本发明实施例的数据库中储存的用户行为数据的示意图。
图5示出了根据本发明实施例的解析图3的服务器日志并存入数据库的示意图。
图6示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图7示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构,因而将省略对它们的重复描述。
下面结合附图描述本发明提供的各个实施例。
图1示出了根据本发明实施例的采集用户行为数据的系统的示意图。
采集用户行为数据的系统140包括中间件141、消息队列142、第一日志处理器143、数据库144及第二日志处理器145。
中间件141用于自应用服务器130采集用户通过一web服务器120与应用服务器130的第一交互信息,中间件141根据所述第一交互信息解析获得第一用户行为数据。
具体而言,中间件技术在大中型网站开发中广泛应用,本申请中使用一个中间件141来集中处理用户行为。网站页面上的所有用户请求自应用服务器130被发送到该中间件141。中间件141解析出用户行为数据,用户行为数据可以包括用户id,操作时间,所在页面,IP地址,浏览器类型,提交的数据,事件id等。
消息队列142用于自所述中间件141获取所述第一用户行为数据。具体而言,中间件141将用户行为数据发送到用户行为收集的消息队列142。如果用户请求有后续结果,成功,失败或者其他结果等。这个行为结果也会通过中间件141解析再发送到消息队列。
第一日志处理器143用于自所述消息队列142获取所述第一用户行为数据并按行为时间顺序储存至一数据库144中。第一日志处理器143也可以称为行为日志处理器,其是消息队列的接收方。第一日志处理器143主要是把用户行为数据保存到数据库144。如果用户行为有后续结果的。会再次把行为结果,用户id,事件id一起发送到消息队列142,第一日志处理器143更新对应数据库纪录。
第二日志处理器145用于自所述web服务器120采集所述web服务器120的服务器日志,所述服务器日志包括用户与所述web服务器120的交互信息;第二日志处理器145解析所述服务器日志获得第二用户行为数据;之后,第二日志处理器145将所述第二用户行为数据与所述数据库144中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库144,以使得所述数据库144中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。在一些实施例中,还可以通过客户端110调用该用户行为日志接口来手工记录某用户行为。
具体而言,可以理解,用户(客户端110)的访问最先到达web服务器120。web服务器120记录了所有请求。然后这些请求有些被发送到应用服务器130,如请求数据库中的列表。中间件141可以自应用服务器记录用户请求(用户行为数据)及用户请求的结果。如果用户请求的是静态资源,譬如图片,web服务器120不会把这个请求发送给应用服务器130,直接把图片返回用户了。所以这个请求中间件141是不知道的。还有一些请求页面也是静态资源,应用服务器130没有记录。因此,本申请通过第二日志处理器145定时扫描web服务器120产生的服务器日志,识别出用户,记录其访问路径和特定用户行为作为第二用户行为数据来保存到数据库144。
进一步地,由于中间件自应用服务器130解析的数据可以直接包括用户id,而web服务器120的服务器日志中并未储存用户id,本申请可以通过如下方式进行用户身份识别,以将web服务器120的服务器日志解析出的第二用户行为数据和应用服务器130的交互信息解析出的第二用户行为数据结合地储存在数据库144中(所述数据库144按用户ID分别储存不同用户的用户行为数据)。
具体而言,所述中间件141根据所述第一交互信息解析直接获得所述用户ID作为第一用户行为数据的一部分。所述第二日志处理器145解析所述交互信息获取临时标识码,所述临时标识码关联所述用户ID,第二日志处理器145根据所述临时标识码获取该临时标识码关联的用户ID。进一步地,所述临时标识码由所述应用服务器130生成,所述应用服务器130生成所述临时标识码后将所述临时标识码与用户ID的关联发送至所述第二日志处理器145。该临时标识码可以是会话cookie或者位于所述HTTP协议报文头部的令牌。
进一步地,可以理解,用户与web服务器120的交互信息实际上包含了用户与应用服务器130的第一交互信息。因此,在一些实施例中,本申请可以通过如下方式进一步优化:
所述第二日志处理器145解析所述服务器日志获得所述用户与所述web服务器120的交互信息。所述第二日志处理器145判断所述交互信息是否被转发至所述应用服务器130。若否,则所述第二日志处理器145将所述交互信息作为第二交互信息。所述第二日志处理器145解析所述第二交互信息获得第二用户行为数据。在一些实施例中,若所述第二日志处理器145判断所述交互信息被转发至所述应用服务器130,则第二日志处理器145不对该交互信息进行处理,以加快数据处理速度,减少负载。在有一些实施例中,若所述第二日志处理器145判断所述交互信息被转发至所述应用服务器130,则所述第二日志处理器145将所述交互信息与所述第一交互信息进行匹配。若所述交互信息与所述第一交互信息不匹配,则所述第二日志处理器145解析所述交互信息获取第三用户行为数据。所述第二日志处理器145将所述第三用户行为数据与所述数据库144中的行为时间进行比较,若所述数据库144中不存在与所述第三用户行为数据相同行为时间的行为数据,则将所述第三用户行为数据储存至所述数据库144,以使得所述数据库144中的用户行为数据按行为时间排序,所述用户行为数据还包括所述第三用户行为数据。在这样的实施例中,考虑到web服务器120的请求在转发至应用服务器130的时候可能产生丢失,因此,通过交互信息的匹配可以实现将该丢失的请求作为第三用户行为数据补充至储存数据库144中。
具体而言,可以参见图3至图5,图3示出了根据本发明实施例的第二日志处理器获取的服务器日志。图4示出了根据本发明实施例的数据库中储存的用户行为数据的示意图。图5示出了根据本发明实施例的解析图3的服务器日志并存入数据库的示意图。通过第二日志处理器145按时间顺序将第二用户行为数据(及第三用户行为数据)插入数据库144中,其来源,状态等属性放置到数据字段中。并可以根据页面的路径,推断出是页面跳转事件还是请求数据事件,或是请求静态资源。
通过本发明的方式可以提供高效完整的储存用户行为数据的数据库144。该数据库144可以用来甄别非正常用户;自定义事件以实现用户标签;用户行为路径分析及用户留存分析等。
具体而言,有些用户是通过爬虫或者开发测试等行为进入了数据库,需要排除这些影响分析效果的行为。可以利用本发明提供的数据库144,根据用户事件的来源事件特征,可剔除非正常用户访问记录以甄别非正常用户
具体而言,可以利用本发明提供的数据库144,根据一系列访问特征,如达到某个页面,完成某个提交,完成一段访问路径,定义为某个事件。创建诸如完成订单事件,看过促销页面用户等事件。也可以统计完成某事件的次数给用户打标签。
具体而言,用户路径的分析结果通常可展现为目标行为事件为节点,查看后续/前置路径,可以详细查看某个行为事件的流向。可以利用本发明提供的数据库144,通过用户路径分析,可以将一个事件的上下游进行展示。分析人员可通过用户整体行为路径找到不同行为间的关系,挖掘规律并找到瓶颈。根据用户路径中各个环节的转化率,发现用户的行为规律和偏好,也可以用于监测和定位用户路径走向中存在的问题,找出影响转化的页面。
具体而言,留存分析是一种用来分析用户参与情况活跃程度的分析模型,考察进行初始行为的用户中,有多少人会进行后续行为。如,一个用户在未来的一段时间内是否完成了您期许用户完成的行为?如支付订单等。也可用用户留存来想判断某项产品改动是否奏效,如新增了奖励虚拟物品功能,查看是否有用户因此功能而多使用产品几个月?本申请提供的数据库144可以用来进行上述的留存分析。
图2示出了根据本发明实施例的采集用户行为数据的方法的流程图。图2共示出了7个步骤:
S210:由一中间件自应用服务器采集用户通过一web服务器与所述应用服务器的第一交互信息。
S220:所述中间件根据所述第一交互信息解析获得第一用户行为数据。
S230:所述中间件将所述第一用户行为数据发送至一消息队列。
S240:一第一日志处理器自所述消息队列获取所述第一用户行为数据并按行为时间顺序储存至一数据库中。
S250:由一第二日志处理器自所述web服务器采集所述web服务器的服务器日志,所述服务器日志包括用户与所述web服务器的交互信息。
S260:所述第二日志处理器解析所述服务器日志获得第二用户行为数据。
S270:所述第二日志处理器将所述第二用户行为数据与所述数据库中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。
以上步骤仅仅是示意性地示出本发明的采集用户行为数据的方法,步骤的顺序、增加、简单变化,在违背本发明构思的前提下,都在本发明的保护范围之内。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到租户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供一种电子设备,该电子设备可以包括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图2中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得租户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
相比现有技术,本发明具有如下优势:
1)通过中间件、第一日志处理器及第二日志处理器来获取用户行为数据,无需在客户端埋点,可以在服务器端集中管理,部署方便,同时管理成本低。
2)中间件在服务器端用户验证之后运行可以精确识别用户,同时,通过服务器日志中的临时码也可识别出用户身份。
3)通过中间件可以直接方便的获取用户行为结果。
4)结合用户行为数据和服务器日志,使记录的用户行为数据更为详尽。
以上具体地示出和描述了本发明的示例性实施方式。应该理解,本发明不限于所公开的实施方式,相反,本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。
Claims (11)
1.一种采集用户行为数据的方法,其特征在于,包括:
由一中间件自应用服务器采集用户通过一web服务器与所述应用服务器的第一交互信息;
所述中间件根据所述第一交互信息解析获得第一用户行为数据;
所述中间件将所述第一用户行为数据发送至一消息队列;
一第一日志处理器自所述消息队列获取所述第一用户行为数据并按行为时间顺序储存至一数据库中;
由一第二日志处理器自所述web服务器采集所述web服务器的服务器日志,所述服务器日志包括用户与所述web服务器的交互信息;
所述第二日志处理器解析所述服务器日志获得第二用户行为数据;以及
所述第二日志处理器将所述第二用户行为数据与所述数据库中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。
2.如权利要求1所述的采集用户行为数据的方法,其特征在于,所述数据库按用户ID分别储存不同用户的用户行为数据,其中,
所述中间件根据所述第一交互信息解析获得第一用户行为数据包括:
所述中间件根据所述第一交互信息解析直接获得所述用户ID;
所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述交互信息获取临时标识码,所述临时标识码关联所述用户ID;
根据所述临时标识码获取该临时标识码关联的用户ID。
3.如权利要求2所述的采集用户行为数据的方法,其特征在于,所述临时标识码由所述应用服务器生成,所述应用服务器生成所述临时标识码后将所述临时标识码与用户ID的关联发送至所述第二日志处理器。
4.如权利要求3所述的采集用户行为数据的方法,其特征在于,所述临时标识码为会话cookie或者位于HTTP协议报文头部的令牌。
5.如权利要求1所述的采集用户行为数据的方法,其特征在于,所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述服务器日志获得所述用户与所述web服务器的交互信息;
所述第二日志处理器判断所述交互信息是否被转发至所述应用服务器;
若否,则所述第二日志处理器将所述交互信息作为第二交互信息;以及
所述第二日志处理器解析所述第二交互信息获得第二用户行为数据。
6.如权利要求5所述的采集用户行为数据的方法,其特征在于,所述第二交互信息至少包括用户访问页面的路径,所述第二用户行为数据至少包括用户行为事件,所述第二日志处理器解析所述服务器日志获得第二用户行为数据包括:
所述第二日志处理器解析所述用户访问页面的路径判断用户行为事件。
7.如权利要求5所述的采集用户行为数据的方法,其特征在于,所述第一交互信息及所述第二交互信息包括页面路径,所述第一用户行为数据和所述第二用户行为数据包括所述页面路径及行为事件,
所述第一日志处理器和所述第二日志处理器解析页面路径获得行为事件,所述页面路径及行为事件用于计算用户自一页面至另一页面的页面转化率,所述转化率用于判断用户偏好。
8.如权利要求5所述的采集用户行为数据的方法,其特征在于,若所述第二日志处理器判断所述交互信息被转发至所述应用服务器,则所述第二日志处理器将所述交互信息与所述第一交互信息进行匹配;
若所述交互信息与所述第一交互信息不匹配,则所述第二日志处理器解析所述交互信息获取第三用户行为数据;
所述第二日志处理器将所述第三用户行为数据与所述数据库中的行为时间进行比较,若所述数据库中不存在与所述第三用户行为数据相同行为时间的行为数据,则将所述第三用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据还包括所述第三用户行为数据。
9.一种采集用户行为数据的系统,其特征在于,包括:
中间件,所述中间件执行如下步骤:
自应用服务器采集用户通过一web服务器与所述应用服务器的第一交互信息;
根据所述第一交互信息解析获得第一用户行为数据;
消息队列,用于自所述中间件获取所述第一用户行为数据;
第一日志处理器,用于自所述消息队列获取所述第一用户行为数据并按行为时间顺序储存至一数据库中;
第二日志处理器,所述第二日志处理器执行如下步骤:
自所述web服务器采集所述web服务器的服务器日志,所述服务器日志包括用户与所述web服务器的交互信息;
解析所述服务器日志获得第二用户行为数据;以及
将所述第二用户行为数据与所述数据库中的行为时间进行比较,将所述第二用户行为数据储存至所述数据库,以使得所述数据库中的用户行为数据按行为时间排序,所述用户行为数据包括所述第一用户行为数据和所述第二用户行为数据。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如权利要求1至8任一项所述的步骤。
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至8任一项所述的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810236653.8A CN108334641B (zh) | 2018-03-21 | 2018-03-21 | 采集用户行为数据的方法、系统、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810236653.8A CN108334641B (zh) | 2018-03-21 | 2018-03-21 | 采集用户行为数据的方法、系统、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108334641A true CN108334641A (zh) | 2018-07-27 |
CN108334641B CN108334641B (zh) | 2020-10-16 |
Family
ID=62931360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810236653.8A Active CN108334641B (zh) | 2018-03-21 | 2018-03-21 | 采集用户行为数据的方法、系统、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108334641B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109358972A (zh) * | 2018-08-31 | 2019-02-19 | 阿里巴巴集团控股有限公司 | 中间件客户端的日志管理方法、装置及计算机系统 |
CN109558561A (zh) * | 2018-12-04 | 2019-04-02 | 深圳创维数字技术有限公司 | 一种用户行为路径采集方法、装置、设备及介质 |
CN109710579A (zh) * | 2018-12-14 | 2019-05-03 | 北京摩拜科技有限公司 | 日志处理方法、服务器及物品系统 |
CN111221711A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 用户行为数据处理方法、服务器及存储介质 |
CN111245880A (zh) * | 2018-11-29 | 2020-06-05 | 中国移动通信集团山东有限公司 | 基于行为轨迹重建的用户体验监控方法及装置 |
CN113742112A (zh) * | 2021-09-15 | 2021-12-03 | 武汉联影智融医疗科技有限公司 | 心电图像的生成方法、系统和电子装置 |
CN117354356A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种app区域留存统计方法、系统及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2390697A1 (en) * | 1999-11-09 | 2001-05-17 | Brent David Tucker | Systems and methods for collecting, storing, and analyzing database statistics |
CN104636245A (zh) * | 2015-03-09 | 2015-05-20 | 浪潮集团有限公司 | 一种基于实时更新的用户浏览行为采集方式 |
CN104869128A (zh) * | 2014-02-20 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 一种上传表单附件的方法、系统和web服务器 |
CN105653662A (zh) * | 2015-12-29 | 2016-06-08 | 中国建设银行股份有限公司 | 一种基于Flume的数据处理方法和装置 |
CN106446228A (zh) * | 2016-10-08 | 2017-02-22 | 中国工商银行股份有限公司 | 一种web页面数据的采集分析方法及装置 |
-
2018
- 2018-03-21 CN CN201810236653.8A patent/CN108334641B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2390697A1 (en) * | 1999-11-09 | 2001-05-17 | Brent David Tucker | Systems and methods for collecting, storing, and analyzing database statistics |
CN104869128A (zh) * | 2014-02-20 | 2015-08-26 | 阿里巴巴集团控股有限公司 | 一种上传表单附件的方法、系统和web服务器 |
CN104636245A (zh) * | 2015-03-09 | 2015-05-20 | 浪潮集团有限公司 | 一种基于实时更新的用户浏览行为采集方式 |
CN105653662A (zh) * | 2015-12-29 | 2016-06-08 | 中国建设银行股份有限公司 | 一种基于Flume的数据处理方法和装置 |
CN106446228A (zh) * | 2016-10-08 | 2017-02-22 | 中国工商银行股份有限公司 | 一种web页面数据的采集分析方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109358972A (zh) * | 2018-08-31 | 2019-02-19 | 阿里巴巴集团控股有限公司 | 中间件客户端的日志管理方法、装置及计算机系统 |
CN109358972B (zh) * | 2018-08-31 | 2021-06-22 | 创新先进技术有限公司 | 中间件客户端的日志管理方法、装置及计算机系统 |
CN111245880A (zh) * | 2018-11-29 | 2020-06-05 | 中国移动通信集团山东有限公司 | 基于行为轨迹重建的用户体验监控方法及装置 |
CN109558561A (zh) * | 2018-12-04 | 2019-04-02 | 深圳创维数字技术有限公司 | 一种用户行为路径采集方法、装置、设备及介质 |
CN109710579A (zh) * | 2018-12-14 | 2019-05-03 | 北京摩拜科技有限公司 | 日志处理方法、服务器及物品系统 |
CN109710579B (zh) * | 2018-12-14 | 2021-08-31 | 汉海信息技术(上海)有限公司 | 日志处理方法、服务器及物品系统 |
CN111221711A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 用户行为数据处理方法、服务器及存储介质 |
CN113742112A (zh) * | 2021-09-15 | 2021-12-03 | 武汉联影智融医疗科技有限公司 | 心电图像的生成方法、系统和电子装置 |
CN113742112B (zh) * | 2021-09-15 | 2024-04-16 | 武汉联影智融医疗科技有限公司 | 心电图像的生成方法、系统和电子装置 |
CN117354356A (zh) * | 2023-12-04 | 2024-01-05 | 四川才子软件信息网络有限公司 | 一种app区域留存统计方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108334641B (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11444856B2 (en) | Systems and methods for configuring a resource for network traffic analysis | |
CN108334641A (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
USRE47896E1 (en) | System and method for tracking web interactions with real time analytics | |
Butkiewicz et al. | Understanding website complexity: measurements, metrics, and implications | |
US8996986B2 (en) | Enhanced delivery of content and program instructions | |
US9070086B2 (en) | Data driven component reputation | |
WO2013119432A1 (en) | Context-based study generation and administration | |
US9842133B2 (en) | Auditing of web-based video | |
CN101258708A (zh) | 基于网络的应用的性能评估 | |
US9491223B2 (en) | Techniques for determining a mobile application download attribution | |
Singh et al. | Cloud based development issues: a methodical analysis | |
CN107480277A (zh) | 用于网站日志采集的方法及装置 | |
US20170053307A1 (en) | Techniques for detecting and verifying fraudulent impressions | |
US11846972B2 (en) | Method and apparatus for generating software test reports | |
CN110598135A (zh) | 网络请求处理方法、装置、计算机可读介质及电子设备 | |
CN110737645B (zh) | 一种不同系统间数据迁移方法、数据迁移系统及相关设备 | |
CN109062799A (zh) | 广告场景的回归测试方法、装置及系统 | |
CN111612508A (zh) | 金融资源分配请求处理方法、装置及电子设备 | |
CN112559278B (zh) | 操作数据的获取方法和装置 | |
CN104407979A (zh) | 脚本检测方法和装置 | |
CN107634942A (zh) | 识别恶意请求的方法和装置 | |
Khalid | On the link between mobile app quality and user reviews | |
CN112749975B (zh) | 自动处理退费请求的方法、自动处理平台 | |
CN109889584B (zh) | 运营方案推送方法、装置、系统和服务器 | |
CN107247661A (zh) | 支持对应用的安装包进行自动化验证的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |