CN112559306B - 用户行为轨迹获取方法、装置与电子设备 - Google Patents

Abstract

本发明实施例提供一种用户行为轨迹获取方法、装置与电子设备，其中方法包括：采集目标应用运行过程中埋点生成的埋点日志，埋点为在目标应用的通用日志组件中的埋点；部署消费进程消费埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询日志数据，获取目标用户在设定时段内的行为记录，时间切片的并发查询方式用于基于预设阈值切分待查询时段，并并发查询切分获得的各子时段的日志数据；基于行为记录，生成目标用户在设定时段的行为轨迹。本发明实施例通过在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。

Description

用户行为轨迹获取方法、装置与电子设备

技术领域

本发明涉及计算机软件技术领域，尤其涉及一种用户行为轨迹获取方法、装置与电子设备。

背景技术

二手交易可视化用户端系统承载大量的线上业务办理，同时具备登录验证、信息查看、页面跳转、信息采集录入和线上支付等多类功能。随着系统的注册绑定用户人数日益增多，线上存在各类用户反馈的操作和系统问题。

通过分析用户在线上的操作行为，能够辅助上述问题的排查。但是，对于用户在线上的操作行为，目前缺少有效的手段进行及时捕获。

发明内容

本发明实施例提供一种用户行为轨迹获取方法、装置与电子设备，用以解决现有技术中缺乏有效捕获用户行为数据的手段的缺陷，实现有效捕获用户操作行为以对用户复杂操作轨迹的进行回溯的目标。

本发明实施例提供一种用户行为轨迹获取方法，包括：

采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；

部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段；

基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹。

根据本发明一个实施例的用户行为轨迹获取方法，所述采集目标应用运行过程中埋点生成的埋点日志之前，还包括：

在所述目标用户接入所述目标应用时，利用在所述目标应用的接入函数中增加的用户标识参数，记录所述目标用户的唯一标识；

基于所述唯一标识和所述埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述操作事件为所述目标用户在前端的操作事件。

根据本发明一个实施例的用户行为轨迹获取方法，所述利用所述通用日志组件进行日志打印之前，还包括：

利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件；

相应的，基于所述唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

根据本发明一个实施例的用户行为轨迹获取方法，所述部署消费进程消费所述埋点日志，包括：

基于所述埋点日志，推送增量日志到kafka列表，并采用elasticsearch服务部署消费进程，按照所述kafka列表消费所述埋点日志对应的日志事件。

根据本发明一个实施例的用户行为轨迹获取方法，所述采用时间切片的并发查询方式，查询所述日志数据，具体包括：

获取所述待查询时段，并基于所述待查询时段确定待查询时长；

若所述待查询时长大于所述预设阈值，则基于所述预设阈值，切分所述待查询时段，获取多个子时段；

为每个所述子时段各分配一个线程，并基于各所述线程并发查询对应子时段的日志数据，获取多个查询结果；

按照时序整合所述多个查询结果，获取所述待查询时段对应的行为轨迹链路数据。

根据本发明一个实施例的用户行为轨迹获取方法，所述利用所述通用日志组件进行日志打印之前，还包括：

对日志打印中需要脱敏的目标信息添加标识，且若通过所述通用日志组件检测到所述标识，或者通过正则运算匹配到符合设定位数的目标信息，则对所述目标信息进行脱敏处理。

根据本发明一个实施例的用户行为轨迹获取方法，所述采用时间切片的并发查询方式，查询所述日志数据之前，还包括：

基于php语言+laravel框架，搭建用户行为轨迹查询平台，并定义查询接口处理逻辑；

所述生成所述目标用户在所述设定时段的行为轨迹之后，还包括：

格式化处理所述行为轨迹，并利用js+css呈现处理后的行为轨迹对应的行为轨迹页面。

本发明实施例还提供一种用户行为轨迹获取装置，包括：

采集模块，用于采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；

查询模块，用于部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段；

生成模块，用于基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹。

根据本发明一个实施例的用户行为轨迹获取装置，还包括：

标识模块，用于在所述目标用户接入所述目标应用时，利用在所述目标应用的接入函数中增加的用户标识参数，记录所述目标用户的唯一标识；

日志打印模块，用于基于所述唯一标识和所述埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述操作事件为所述目标用户在前端的操作事件。

根据本发明一个实施例的用户行为轨迹获取装置，所述日志打印模块，还用于：

利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件；

相应的，基于所述唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

根据本发明一个实施例的用户行为轨迹获取装置，所述查询模块在用于所述部署消费进程消费所述埋点日志时，具体用于：

基于所述埋点日志，推送增量日志到kafka列表，并采用elasticsearch服务部署消费进程，按照所述kafka列表消费所述埋点日志对应的日志事件。

根据本发明一个实施例的用户行为轨迹获取装置，所述查询模块在用于所述采用时间切片的并发查询方式，查询所述日志数据时，具体用于：

获取所述待查询时段，并基于所述待查询时段确定待查询时长；

若所述待查询时长大于所述预设阈值，则基于所述预设阈值，切分所述待查询时段，获取多个子时段；

为每个所述子时段各分配一个线程，并基于各所述线程并发查询对应子时段的日志数据，获取多个查询结果；

按照时序整合所述多个查询结果，获取所述待查询时段对应的行为轨迹链路数据。

根据本发明一个实施例的用户行为轨迹获取装置，所述日志打印模块，还用于：

对日志打印中需要脱敏的目标信息添加标识，且若通过所述通用日志组件检测到所述标识，或者通过正则运算匹配到符合设定位数的目标信息，则对所述目标信息进行脱敏处理。

根据本发明一个实施例的用户行为轨迹获取装置，所述查询模块，还用于：

基于php语言+laravel框架，搭建用户行为轨迹查询平台，并定义查询接口处理逻辑；

所述用户行为轨迹获取装置还包括：

展示模块，用于格式化处理所述行为轨迹，并利用js+css呈现处理后的行为轨迹对应的行为轨迹页面。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述处理器执行所述程序或指令时，实现如上述任一所述的用户行为轨迹获取方法的步骤。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时，实现如上述任一所述的用户行为轨迹获取方法的步骤。

本发明实施例提供的用户行为轨迹获取方法、装置与电子设备，通过在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的用户行为轨迹获取方法的流程示意图；

图2为本发明实施例的用户行为轨迹获取方法中用户user_id的应用场景示意图；

图3为本发明实施例的用户行为轨迹获取方法中生成埋点日志流程示意图；

图4为本发明实施例的用户行为轨迹获取方法中并发查询日志数据的流程示意图；

图5为本发明实施例的用户行为轨迹获取方法中后端接口控制器的部分代码示意图；

图6为本发明实施例提供的用户行为轨迹获取装置的结构示意图；

图7为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例针对现有技术中缺乏有效捕获用户行为数据的手段的问题，通过在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。以下将具体结合附图，通过多个实施例对本发明实施例进行展开说明和介绍。

图1为本发明实施例提供的用户行为轨迹获取方法的流程示意图，如图1所示，该方法包括：

S101，采集目标应用运行过程中埋点生成的埋点日志。

其中，所述埋点为在所述目标应用的通用日志组件中的埋点。

可以理解为，本发明实施例事先会在目标应用的源程序中植入用于用户行为数据采集的跟踪代码，具体将该代码植入到目标应用的通用日志组件中。其中植入的代码可以包括与业务相关的埋点跟踪代码和与开发语言的语法相关的埋点跟踪代码。

之后，在目标应用运行过程中，利用事先植入的埋点采集用户行为数据，并在利用通用日志组件打印运行日志时，可以将目标用户的用户信息和目标用户的行为数据写进运行日志。根据埋点信息打印的日志即称为埋点日志。

对于已经打印完成的埋点日志，本发明实施例在进行目标用户的行为数据采集时，可先获取该埋点日志，以供后续日志解析处理得到用户行为数据。

S102，部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录。

其中，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段。

可以理解为，在获取埋点日志的基础上，可以对埋点日志进行解析，也即消费埋点日志，得到日志数据。应理解的是，该日志数据中包含了用户的行为操作信息以及用户的标识信息。例如，可以采用elasticsearch服务部署消费进程，消费获取的埋点日志，解析出日志数据，解析出的日志数据可采用mysql进行持久化存储。

之后，可根据用户的标识信息查询上述日志数据，得到目标用户的行为记录。应理解的是，在进行数据的查询时，可设定需要查询的行为数据发生的时间段，并具体对该时间段内的行为数据进行查询。因此，在进行数据查询时，可以以用户的标识信息和待查询的时间段作为检索词，查询日志数据，得到目标用户在设定查询时间段内的所有行为记录。其中，这些行为数据可以包括设定时段内所有的行为数据，也可以是部分行为数据，例如可以仅是新增、修改或删除等类型的数据，本发明对此并不作具体限定。

其中，考虑到目前用户采集行为信息数据量很大，进行数据查询耗时长，效率低，本步骤在进行埋点日志查询时，先根据预先设置的预设阈值将待查询时段进行切分，得到多个子时段，也即将一个完整的时段通过切分得到多个时间切片。之后，针对各个时间切片的日志数据进行并发查询，最终得到用户在设定时段内的行为记录。

S103，基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹。

可以理解为，本发明实施例的最后，将查询得到的目标用户的行为数据按照时间先后顺序进行排列，得到形成以时间为主线的行为轨迹。应理解的是，由于是设定时段内的埋点日志进行查询，因此得到的是目标用户在该设定时段内的行为轨迹。

本发明实施例提供的用户行为轨迹获取方法，通过在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。同时，通过采用行为轨迹埋点中间件和通用日志组件，可降低系统接入侵入性。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述采集目标应用运行过程中埋点生成的埋点日志之前，还包括：在所述目标用户接入所述目标应用时，利用在所述目标应用的接入函数中增加的用户标识参数，记录所述目标用户的唯一标识；基于所述唯一标识和所述埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志。其中，所述操作事件为所述目标用户在前端的操作事件。

可以理解为，在利用本发明实施例的方法采集埋点日志之前，后台需要在运行目标应用过程中生成该埋点日志。同时，为了对不同用户的行为数据进行区分，需要事先进行行为轨迹标记设计。

具体而言，用户行为轨迹的捕获首先需要明确的就是用户信息标识，能够在全链路中唯一锁定用户身份。作为全局唯一标识，可以采用用户账号的user_id作为用户信息标识，凡是登录后的用户都会通过user_id进行前后端的交互，因此在涉及用户行为的接口增加user_id作为参数，传入系统后端。

如图2所示，为本发明实施例的用户行为轨迹获取方法中用户user_id的应用场景示意图，基于用户user_id进行行为标记，可以跨系统、跨业务关联用户所有操作信息，在app内一个账号的所有行为都可以捕获到。

在上述设置的基础上，通用日志组件在进行日志打印时，可以将目标用户的唯一标识和埋点采集的目标用户的行为操作一起，进行日志打印，生成埋点日志。

本发明实施例通过为用户个体标识唯一ID，能够在追踪用户行为轨迹时对不同用户行为进行有效区分。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述利用所述通用日志组件进行日志打印之前，还包括：利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件。其中，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

相应的，基于所述唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志。

可以理解为，本发明实施例抽象归类用户的行为类型，根据用户操作行为与后端的交互情况，将用户行为分为了非前后端交互类行为操作和前后端交互类行为操作。并且，对非前后端交互类行为操作进行旁路化采集，对前后端交互类关键行为进行后端埋点大数据采集。

具体而言，如图3所示，为本发明实施例的用户行为轨迹获取方法中生成埋点日志流程示意图，包括以下处理步骤：

步骤1，用户登录app，此时用户user_id、设备信息和app版本等信息通过登录接入。

步骤2，业务系统入口目前针对页面用户行为操作有两条路径：其一是用户非前后端交互类型操作，该类操作通过旁路化通知消息发送到后端进行行为数据收集；其二是正常的前后端存在系统交互的操作，该类操作后端通过埋点进行用户行为操作的捕获。

在对非前后端交互类操作进行采集时，对于用户的页面级操作，例如拖动视频进度到结尾，前端通过单独的消息通知将用户的拖动操作后端，并进行旁路化埋点，无需等待后端服务返回。其中前端发送给后端的消息通知中指定目标用户行为的操作类型、用户信息和操作具体信息。后端接收到消息通知之后，将其格式转化为用户行为轨迹埋点日志。

步骤3，所有的行为操作记录通过通用日志组件进行日志打印，用户信息埋点写入。

步骤4，日志统一写入业务切片日志，等待实时采集。

本发明实施例通过旁路化埋点采集用户行为数据，能够使其他系统快速接入目标应用，使目标应用通用性更强，且作为通用的基础服务，能够支持多应用场景且有害侵入性低。同时，通过权限管理等方式将该工具开放给各城市运营人员，能够第一时间进行用户反馈问题的排查。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述部署消费进程消费所述埋点日志，包括：基于所述埋点日志，推送增量日志到kafka列表，并采用elasticsearch服务部署消费进程，按照所述kafka列表消费所述埋点日志对应的日志事件。

具体而言，本发明实施例采用kafka+elasticsearch的框架结构模式进行用户行为日志，也即埋点日志的解析。通过机器上部署的常驻进程采集埋点日志，并推送增量日志到kafka。日志采集收集后，elasticsearch服务部署消费进程，消费日志事件，并将解析出的日志数据写入elasticsearch，待后续查询使用。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述采用时间切片的并发查询方式，查询所述日志数据，具体包括：获取所述待查询时段，并基于所述待查询时段确定待查询时长；若所述待查询时长大于所述预设阈值，则基于所述预设阈值，切分所述待查询时段，获取多个子时段；为每个所述子时段各分配一个线程，并基于各所述线程并发查询对应子时段的日志数据，获取多个查询结果；按照时序整合所述多个查询结果，获取所述待查询时段对应的行为轨迹链路数据。

可以理解为，由于目前用户采集行为信息数据量很大，进行数据查询耗时长，效率低。因此本发明实施例在查询过程中通过时间范围切片并发查询，来提升查询性能和用户体验。

具体而言，如图4所示，为本发明实施例的用户行为轨迹获取方法中并发查询日志数据的流程示意图，包括以下处理步骤：

首先，在用户想要了解目标用户在某段时间内的行为轨迹时，可输入待查询的目标用户的唯一标识和该具体的时间段信息，则该时间段即可称为待查询时段。系统可以根据用户输入获取到该待查询时段，并根据该待查询时段的起始时间和结束时间，确定待查询时段的长度，可称为待查询时长。

其次，系统可以事先设定一预设阈值，并将上述待查询时长与该预设阈值比较大小。若待查询时长大于该预设阈值，则对上述待查询时段进行区段切分，相应的可以得到多个子时段。

应理解的是，目前应用场景一般也不会无限长，因此也可以事先设定另一预设阈值。则相应的可将该预设阈值称为第二预设阈值，而将上述预设阈值称为第一预设阈值。

因此，本步骤也可以适应性的调整为：若待查询时长大于第一预设阈值且小于第二预设阈值，则基于第一预设阈值切分待查询时段，得到多个子时段。

再次，为上述每个子时段各分配一个用于用户行为数据查询的线程，并同时并发运行这些查询线程。则每个线程都将输出一个查询结果，该查询结果分别是各子时段用户的操作行为数据。

最后，按照各子时段对应的时间进行时序排列，从而可以将上述多个查询结果按照对应的时序排列进行拼接整合，得到待查询时段内具有时序关系的用户行为轨迹链路数据。

举例说明，假设第一预设阈值为4小时，第二预设阈值为32小时，则查询过程包括：

步骤1，查询用户行为事件时，用户会指定时间范围(待查询时段)并传给行为轨迹查询后台。

步骤2，后端收到时间范围后会先计算时间长度，并对该时间长度进行判断。

步骤3，若发现该时间长度不大于4个小时，则不进行切分，如果发现时间大于4个小时且小于32小时，则切分上述时间范围，切分的片数计算公式为：

其中time_seconds为查询时间范围的总秒数。

例如，算出来的time_seconds/3600/4＝4.5，则切分片数就是向上取整为5片。切片后原始时间范围划分成了多个时间范围。

步骤4，为每个时间范围分配一个线程进行查询，多个线程并发查询后，将结果整合成为一个完整的时间范围内的行为轨迹链路数据。

本发明实施例通过采用时间分片的并行查询方式，能够有效提升大数据量时数据查询性能并提高查询效率，用户体验更好。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述利用所述通用日志组件进行日志打印之前，还包括：对日志打印中需要脱敏的目标信息添加标识，且若通过所述通用日志组件检测到所述标识，或者通过正则运算匹配到符合设定位数的目标信息，则对所述目标信息进行脱敏处理。

可以理解为，考虑到前端埋点后的用户行为监控涉及用户隐私数据和行为的暴露，在利用通用日志组件进行日志打印之前，先对采集到的信息进行脱敏处理，保障用户的隐私数据安全无泄漏。

具体而言，通用日志组件在进行日志打印之前，对组装后的日志信息进行脱敏处理，包括：

针对需要脱敏的目标信息进行标识，如通常电话号码属于用户相关的敏感信息，则对电话号码进行标识，得到：“phone:13300001111”。

通用日志组件识别到“phone:”标识后，对其标识的目标信息“13300001111”进行脱敏处理，如将电话号码中间位数替换为xxxx，结果为133xxxxxxx11。

通用日志组件还可以进行正则匹配运算。例如，通过正则运算匹配到符合设定位数的目标信息，如匹配到18位数字和字母组成的字符串，则认为其为身份证号，对其进行脱敏处理。脱敏处理方式如进行中间位数替换等。

本发明实施例通过在后端进行数据的脱敏处理，能够有效防止用户隐私泄露，保证数据安全。

其中，根据上述各实施例提供的用户行为轨迹获取方法可选的，所述采用时间切片的并发查询方式，查询所述日志数据之前，还包括：基于php语言+laravel框架，搭建用户行为轨迹查询平台，并定义查询接口处理逻辑；所述生成所述目标用户在所述设定时段的行为轨迹之后，还包括：格式化处理所述行为轨迹，并利用js+css呈现处理后的行为轨迹对应的行为轨迹页面。

可以理解为，本发明实施例采用前端vue.js+后端php-lareval框架的模式对用户行为轨迹进行查询并可视化呈现。输入手机号和待查询时间范围，点击查询按钮，即可通过restful api获取用户行为轨迹信息。

首先，在查询日志数据获取用户行为记录之前，需要先构建查询平台。具体而言，后端基于php语言+laravel框架搭建用于用户行为轨迹查询的工具平台框架，其中laravel提供了路由机制，查询行为轨迹的接口基于该框架下实现。

在构建工具平台框架的基础上，定义工具平台框架的查询接口的具体逻辑包括：

请求参数的预处理校验：如果时间范围过大(如大于3天)，进行用户提示“需要缩小范围”，手机号如果没有账号信息，提示“该用户找不到”；

采用时间区间分片并发查询，获取用户行为轨迹数据；

整合并发查询到的埋点行为日志信息，解析得到行为轨迹描述，进行数据排序整合；

将后端处理后的行为轨迹数据返回前端。

其中，可参考图5，为本发明实施例的用户行为轨迹获取方法中后端接口控制器的部分代码示意图，其中包括了请求参数的预处理校验逻辑。

其次，在根据上述处理得到用户行为轨迹数据并返回到前端用户设备后，由前端vue.js框架处理行为轨迹展示功能。具体包括：

接收后端发送的行为轨迹数据并进行格式化处理；

采用js+css做行为轨迹页面的呈现。

本发明实施例采用前端vue.js+后端php-lareval框架的模式，支持可视化查询展示用户一段时间内在app中的操作行为轨迹，使得查询结果更直观，便于后续进一步数据分析。

本发明实施例中应用kafka消息队列、elasticsearch服务、mysql持久化存储、redis缓存、lucene查询器、php-laravel框架、vue.js前端矿建和element-ui样式等技术服务，完成从前端展现到后端数据采集、存储、查询以及用户权限管理等全链路技术实现，能够对用户行为轨迹友好查询展现，并提升查询性能。

需要说明的是，本发明实施例提供的用户行为轨迹获取方法，执行主体可以为用户行为轨迹获取装置，或者，或者该用户行为轨迹获取装置中的用于执行加载用户行为轨迹获取方法的控制模块。本申请实施例中以用户行为轨迹获取装置执行加载用户行为轨迹获取方法为例，说明本申请实施例提供的用户行为轨迹获取方法。

基于相同的发明构思，本发明实施例根据上述各实施例还提供一种用户行为轨迹获取装置，该装置用于在上述各实施例中实现用户行为轨迹获取。因此，在上述各实施例的用户行为轨迹获取方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。

本发明实施例的用户行为轨迹获取装置的结构如图6所示，为本发明实施例提供的用户行为轨迹获取装置的结构示意图，该装置可以用于实现上述各方法实施例中用户行为轨迹获取，该装置包括：采集模块601、查询模块602和生成模块603。其中：

采集模块601用于采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；查询模块602用于部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段；生成模块603用于基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹。

具体而言，对于事先已经打印完成的埋点日志，采集模块601在进行目标用户的行为数据采集时，可先获取该埋点日志，以供后续日志解析处理得到用户行为数据。其中的埋点日志是目标应用运行过程中埋点生成的埋点日志。

之后，查询模块602可以对埋点日志进行解析，也即消费埋点日志，得到日志数据。应理解的是，该日志数据中包含了用户的行为操作信息以及用户的标识信息。例如，可以采用elasticsearch服务部署消费进程，消费获取的埋点日志，解析出日志数据，解析出的日志数据可采用mysql进行持久化存储。

再之后，查询模块602可根据用户的标识信息查询上述日志数据，得到目标用户的行为记录。应理解的是，在进行数据的查询时，可设定需要查询的行为数据发生的时间段，并具体对该时间段内的行为数据进行查询。因此，在进行数据查询时，可以以用户的标识信息和待查询的时间段作为检索词，查询日志数据，得到目标用户在设定查询时间段内的行为记录。其中，这些行为数据可以包括设定时段内所有的行为数据，也可以是部分行为数据，例如可以仅是新增、修改或删除等类型的数据，本发明对此并不作具体限定。

其中，考虑到目前用户采集行为信息数据量很大，进行数据查询耗时长，效率低，查询模块602在进行埋点日志查询时，先根据预先设置的预设阈值将待查询时段进行切分，得到多个子时段，也即将一个完整的时段通过切分得到多个时间切片。之后，查询模块602针对各个时间切片的日志数据进行并发查询，最终得到用户在设定时段内的行为记录。

最后，生成模块603将查询得到的目标用户的行为数据按照时间先后顺序进行排列，得到形成以时间为主线的行为轨迹。应理解的是，由于是设定时段内的埋点日志进行查询，因此得到的是目标用户在该设定时段内的行为轨迹。

本发明实施例提供的用户行为轨迹获取装置，通过在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。

可选的，本发明实施例的用户行为轨迹获取装置还包括：

标识模块，用于在所述目标用户接入所述目标应用时，利用在所述目标应用的接入函数中增加的用户标识参数，记录所述目标用户的唯一标识；

日志打印模块，用于基于所述唯一标识和所述埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述操作事件为所述目标用户在前端的操作事件。

可选的，所述日志打印模块，还用于：利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件；

相应的，基于所述唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；

其中，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

可选的，所述查询模块在用于所述部署消费进程消费所述埋点日志时，具体用于：基于所述埋点日志，推送增量日志到kafka列表，并采用elasticsearch服务部署消费进程，按照所述kafka列表消费所述埋点日志对应的日志事件。

可选的，所述查询模块在用于所述采用时间切片的并发查询方式，查询所述日志数据时，具体用于：

获取所述待查询时段，并基于所述待查询时段确定待查询时长；

若所述待查询时长大于所述预设阈值，则基于所述预设阈值，切分所述待查询时段，获取多个子时段；

为每个所述子时段各分配一个线程，并基于各所述线程并发查询对应子时段的日志数据，获取多个查询结果；

按照时序整合所述多个查询结果，获取所述待查询时段对应的行为轨迹链路数据。

可选的，所述日志打印模块，还用于：对日志打印中需要脱敏的目标信息添加标识，且若通过所述通用日志组件检测到所述标识，或者通过正则运算匹配到符合设定位数的目标信息，则对所述目标信息进行脱敏处理。

可选的，所述查询模块，还用于：基于php语言+laravel框架，搭建用户行为轨迹查询平台，并定义查询接口处理逻辑；

所述用户行为轨迹获取装置还包括：展示模块，用于格式化处理行为轨迹，并利用js+css呈现处理后的行为轨迹对应的行为轨迹页面。

可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的用户行为轨迹获取装置利用上述各程序模块，能够实现图1至图5的用户行为轨迹获取方法实施例中的各个过程。在用于实现上述各方法实施例中用户行为轨迹获取时，本发明实施例的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，为避免重复，此处不再赘述。

作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时，实现如上述各实施例所述的用户行为轨迹获取方法的步骤。

进一步的，本发明实施例的电子设备还可以包括通信接口和总线。参考图7，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器701、至少一个处理器702、通信接口703和总线704。

其中，存储器701、处理器702和通信接口703通过总线704完成相互间的通信，通信接口703用于该电子设备与用户端系统设备之间的信息传输；存储器701中存储有可在处理器702上运行的计算机程序，处理器702执行该计算机程序时，实现如上述各实施例所述的用户行为轨迹获取方法的步骤。

可以理解为，该电子设备中至少包含存储器701、处理器702、通信接口703和总线704，且存储器701、处理器702和通信接口703通过总线704形成相互间的通信连接，并可完成相互间的通信，如处理器702从存储器701中读取用户行为轨迹获取方法的程序指令等。另外，通信接口703还可以实现该电子设备与用户端系统设备之间的通信连接，并可完成相互间信息传输，如通过通信接口703实现埋点日志的读取等。

电子设备运行时，处理器702调用存储器701中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的所有行为记录；基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹等。

上述的存储器701中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被计算机执行时，实现如上述各实施例所述的用户行为轨迹获取方法的步骤，例如包括：采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的所有行为记录；基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹等。

作为本发明实施例的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的用户行为轨迹获取方法，该方法包括：采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的所有行为记录；基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹。

本发明实施例提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的用户行为轨迹获取方法的步骤，在通用日志组件中的埋点收集用户操作行为数据，并通过分析埋点生成的埋点日志，能够有效捕获用户操作行为，从而可以进一步回溯用户的复杂操作轨迹，协助问题排查。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (9)

1.一种用户行为轨迹获取方法，其特征在于，包括：

采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；

部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段；

基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹；

在采集目标应用运行过程中埋点生成的埋点日志之前，还包括：

利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件；基于所述目标用户的唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；其中，所述操作事件为所述目标用户在前端的操作事件，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

2.根据权利要求1所述的用户行为轨迹获取方法，其特征在于，所述利用所述通用日志组件进行日志打印之前，还包括：

在所述目标用户接入所述目标应用时，利用在所述目标应用的接入函数中增加的用户标识参数，记录所述目标用户的唯一标识。

3.根据权利要求1所述的用户行为轨迹获取方法，其特征在于，所述部署消费进程消费所述埋点日志，包括：

基于所述埋点日志，推送增量日志到kafka列表，并采用elasticsearch服务部署消费进程，按照所述kafka列表消费所述埋点日志对应的日志事件。

4.根据权利要求1-3中任一所述的用户行为轨迹获取方法，其特征在于，所述采用时间切片的并发查询方式，查询所述日志数据，具体包括：

获取所述待查询时段，并基于所述待查询时段确定待查询时长；

若所述待查询时长大于所述预设阈值，则基于所述预设阈值，切分所述待查询时段，获取多个子时段；

为每个所述子时段各分配一个线程，并基于各所述线程并发查询对应子时段的日志数据，获取多个查询结果；

按照时序整合所述多个查询结果，获取所述待查询时段对应的行为轨迹链路数据。

5.根据权利要求1所述的用户行为轨迹获取方法，其特征在于，所述利用所述通用日志组件进行日志打印之前，还包括：

对日志打印中需要脱敏的目标信息添加标识，且若通过所述通用日志组件检测到所述标识，或者通过正则运算匹配到符合设定位数的目标信息，则对所述目标信息进行脱敏处理。

6.根据权利要求1所述的用户行为轨迹获取方法，其特征在于，所述采用时间切片的并发查询方式，查询所述日志数据之前，还包括：

基于php语言+laravel框架，搭建用户行为轨迹查询平台，并定义查询接口处理逻辑；

所述生成所述目标用户在所述设定时段的行为轨迹之后，还包括：

格式化处理所述行为轨迹，并利用js+css呈现处理后的行为轨迹对应的行为轨迹页面。

7.一种用户行为轨迹获取装置，其特征在于，包括：

采集模块，用于采集目标应用运行过程中埋点生成的埋点日志，所述埋点为在所述目标应用的通用日志组件中的埋点；

查询模块，用于部署消费进程消费所述埋点日志，获取日志数据，并采用时间切片的并发查询方式，查询所述日志数据，获取目标用户在设定时段内的行为记录，所述时间切片的并发查询方式用于基于预设阈值切分待查询时段，并对切分获得的各子时段的日志数据进行并发查询，所述待查询时段为待查询用户行为所属的时间区段；

生成模块，用于基于所述行为记录，生成所述目标用户在所述设定时段的行为轨迹；

日志打印模块，用于在采集目标应用运行过程中埋点生成的埋点日志之前，利用所述埋点，收集所述目标用户进行的前后端交互操作事件，并利用旁路化埋点，收集所述目标用户进行的非前后端交互操作事件；基于所述目标用户的唯一标识、所述埋点收集到的操作事件和所述旁路化埋点收集到的操作事件，利用所述通用日志组件进行日志打印，获取所述埋点日志；其中，所述操作事件为所述目标用户在前端的操作事件，所述旁路化埋点为在所述前端发出的消息通知中的埋点，所述消息通知中指示所述非前后端交互操作事件的操作类型、操作具体信息和所述目标用户的唯一标识。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1至6中任一项所述的用户行为轨迹获取方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时，实现如权利要求1至6中任一项所述的用户行为轨迹获取方法的步骤。

Images