CN107370628B - 基于埋点的日志处理方法及系统 - Google Patents

基于埋点的日志处理方法及系统 Download PDF

Info

Publication number
CN107370628B
CN107370628B CN201710706890.1A CN201710706890A CN107370628B CN 107370628 B CN107370628 B CN 107370628B CN 201710706890 A CN201710706890 A CN 201710706890A CN 107370628 B CN107370628 B CN 107370628B
Authority
CN
China
Prior art keywords
session
client
server
log
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710706890.1A
Other languages
English (en)
Other versions
CN107370628A (zh
Inventor
徐达峰
黎三平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Nova Technology Singapore Holdings Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710706890.1A priority Critical patent/CN107370628B/zh
Publication of CN107370628A publication Critical patent/CN107370628A/zh
Application granted granted Critical
Publication of CN107370628B publication Critical patent/CN107370628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书实施例提供了一种基于埋点的日志处理方法,通过在会话周期内,在会话涉及到的各个设备端分别记录与会话标识相对应的日志,从而将整个会话周期内的各端日志进行关联,便于后续进行日志关联分析。

Description

基于埋点的日志处理方法及系统
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种基于埋点的日志处理方法及系统。
背景技术
随着网络业务复杂度和全球化的高速发展,现有网站系统的部署方式和监控方式都遇到了巨大的挑战,其中,用户行为分析,找到用户体验很难提升的痛点最为困难。通常,通过对网页进行埋点操作来记录用户的操作行为。在进行埋点操作过程中,往往将获取到的用户操作行为数据记录在日志中,后续基于日志的记录进行用户行为分析。
发明内容
本说明书实施例提供及一种基于埋点的日志处理方法及系统。
第一方面,本说明书实施例提供一种基于埋点的日志处理方法,包括:客户端向服务器端发送会话请求,所述会话请求中包含基于埋点模型得到的会话标识,其中,在埋点模型头部信息中增加所述会话标识;服务器端生成会话响应,将所述会话响应返回给客户端;其中,在客户端、服务器端以及客户端和服务器端之间的网络设备中,均针对所述会话进行日志记录,且所述日志记录与所述会话标识相对应。
第二方面,本说明书实施例提供一种基于埋点的日志处理系统,包括客户端、网络设备、服务器端,其中,所述客户端,用于向服务器端发送会话请求,所述会话请求中包含基于埋点模型得到的会话标识,其中,在埋点模型头部信息中增加所述会话标识;所述服务器端,用于生成会话响应,基于预置的埋点模型对所述会话响应进行埋点处理后,将所述会话响应返回给客户端;所述网络设备,用于在所述客户端与所述服务器端之间控制传输所述会话请求和所述会话响应;其中,在客户端、服务器端以及所述网络设备中,均针对所述会话进行日志记录,且所述日志记录与所述会话标识相对应。
本说明书实施例有益效果如下:
本说明书实施例中,通过在会话周期内,在会话涉及到的各个设备端分别记录与会话标识相对应的日志,从而将整个会话周期内的各端日志进行了关联,便于后续进行日志关联分析。例如,当后续在针对用户操作进行埋点分析时,可以从客户端、网络设备、服务器端上的日志记录中,调取出与会话标识相对应的各个日志记录;对调取出的各个日志记录进行关联分析。
附图说明
图1为本说明书实施例系统间通信架构示意图;
图2本说明书实施例第一方面提供的基于埋点的日志处理方法流程图;
图3本说明书实施例第二方面提供的基于埋点的日志处理系统示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明,应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明,而不是对本说明书技术方案的限定,在不冲突的情况下,本说明书实施例以及实施例中的技术特征可以相互组合。
参见图1,为本说明书实施例系统间通信架构示意图。所谓的“系统间通信”,是指网站系统中涉及从客户端经过网络设备(或称为网络边缘设备,例如网关设备、业务端设备)到达服务器的通信。根据业务交互深度而言,大致包括如图1四种事件类型(事件类型1-4),其中客户端、业务层、服务层都存在多个系统间通信,如同步消息、异步消息的情况。其中,事件类型1-3均涉及系统间通信。
随着业务复杂度和全球化的高速发展,现有网站系统的部署方式和监控方式都遇到了巨大的挑战,其中,基于日志进行用户行为分析也面临着挑战。比如,目前各端的日志逻辑上是分散的,比如,用户终端日志与服务端日志是分离的,用户的单个操作会话生命周期缺失,致使在端到端链路串联遇到巨大阻力。
第一方面,本说明书实施例提供一种基于埋点的日志处理方法,请参考图2,包括步骤S201-S203。
S201:客户端向服务器端发送会话请求,会话请求中包含基于埋点模型的会话标识。
会话请求,是用户在客户端发起的,为了访问数据或者进行某种操作的请求。一个完整的会话过程,是发起数据访问到收到返回数据的过程。会话发起端是客户端,中间涉及网络设备(例如网关设备、业务端设备),最终到达服务器端。
会话标识是指唯一标识本次会话的ID。在一种实现方式中,会话标识包括当前操作的会话ID和上一步操作的会话ID,其中,为了关联用户操作树(用户操作之间的关系树),因此除了需要使用到本次当前操作的会话ID之外,还需要与之相关联的上一步操作的会话ID。在后续步骤(S203)中,会根据当前操作的会话ID和上一步操作的会话ID,将本次会话的操作信息与上一次会话的操作信息进行关联。
埋点模型(数据模型),是指用于收集用户对当前网页/APP的操作信息的数据收集脚本模型。为了进行后续的用户行为分析,需要获得的用户数据有很多种,要结合APP产品或网站的定位和功能、目标用户等特点来选择需要收集的用户数据。例如,常用的用户数据包括:APP下载量、注册量、日活量、日活率、次日留存率、七日留存率、次月留存率、用户来源渠道、浏览量、访问频率、页面转化率、浏览时长等等。按照埋点目的不同,埋点可分为用户行为埋点、产品性能埋点和产品异常埋点等。
在一种实现方式中,在埋点模型头部信息中增加会话标识,从而在发起会话请求时,从埋点模型的头部信息中提取出会话标识。
对埋点模型举例说明如下。
例如,埋点模型分为头部(head)和主体(body)两部分。其中,head中定义基础埋点信息,并在底层协议中改造,应用开发人员不感知。
head各字段定义如下:
SID:表示当前用户单次操作的会话ID;
SSID:存储上一步操作的SID,用来关联用户操作树;
UID(业务属性):用户唯一ID;
TS:当前时间。
body各字段定义如下:
eventName:事件名称;
eventArgs1(key不固定):其他扩展字段。
body的两个示例如下:
1.例如当面付界面唤起在客户端的表示可以为:
eventName=show,a=pay,b=paynow,
2.发现界面的一个按钮跳转的表示可以为:
eventName=clk,a=faxian,b=page1,c=xpath(layout[1]/fragement[3]/fragment[2]/button[1])。
S202:服务器端生成会话响应,将会话响应返回给客户端。
S203:在客户端、服务器端以及客户端和服务器端之间的网络设备中,均针对会话进行日志记录操作,且日志记录与会话标识相对应。
服务器端将会话响应返回给客户端一般也需要经过业务端设备和网关设备。其中,会话响应中包含会话标识,或者包括与会话标识具有对应关系的会话响应标识。
为了在一个会话周期内,在各个设备上(客户端、网络设备、服务器端)的日志均具有关联性,因此在各个设备上有关本次会话的日志记录均与会话标识相对应,由此,在后续基于日志进行用户行为分析时,即可将各个设备上的日志内容进行关联分析。
在上行过程(客户端-网络设备-服务器端),是会话请求的传输过程,由于会话请求中携带会话标识,因此在这个上行过程中,客户端或网络设备或服务器端所增加的日志记录直接与会话标识对应即可。
在下行过程(服务器端-网络设备-客户端),是会话响应的传输过程,由于会话响应中包含会话标识或者包含与会话标识具有对应关系的会话响应标识,因此,在会话响应中包含会话标识的情况下,客户端或网络设备或服务器端所增加的日志记录直接与会话标识对应即可,在会话响应中包含会话响应标识的情况下,客户端或网络设备或服务器端所增加的日志记录与会话响应标识对应,由于会话标识与会话响应标识具有对应关系,因此,可以理解与会话响应标识对应的日志记录也会会话标识具有对应关系。
在会话标识包括当前操作的会话ID和上一步操作的会话ID的实现方式中,针对会话进行日志记录操作的具体方式为:在客户端、服务器端以及网络设备进行日志记录时,增加本次会话的操作信息,并根据所述当前操作的会话ID和上一步操作的会话ID,将本次会话的操作信息与上一次会话的操作信息进行关联。
会话标识还包括用户ID,该用户ID主要用于进行去重,即避免对同用户同业务操作信息进行重复记录。此时,在针对会话进行日志记录操作过程之前,还可以包括:通过用户ID对原日志记录进行查找,判断是否已为该用户保存了与本次会话相同业务属性的操作记录;如果有,则不进行记录,如果没有,则进行记录。
可见,本说明书实施例中,通过在会话周期内,在会话涉及到的各个设备端分别记录与会话标识相对应的日志,从而将整个会话周期内的各端日志进行了关联,便于后续进行日志关联分析。例如,当后续在针对用户操作进行埋点分析时,可以从客户端、网络设备、服务器端上的日志记录中,调取出与会话标识相对应的各个日志记录;对调取出的各个日志记录进行关联分析。
第二方面,基于同一发明构思,本说明书实施例提供一种基于埋点的日志处理系统,请参考图3,该系统包括:
客户端301,用于向服务器端302发送会话请求,所述会话请求中包含基于埋点模型得到的会话标识,其中,在埋点模型头部信息中增加所述会话标识;
服务器端302,用于生成会话响应,将所述会话响应返回给客户端;
网络设备303,用于在所述客户端301与所述服务器端303之间控制传输所述会话请求和所述会话响应;
其中,在客户端301、服务器端302以及所述网络设备303中,均针对所述会话进行日志记录,且所述日志记录与所述会话标识相对应。
在一种可选方式中,所述会话标识包括当前操作的会话ID和上一步操作的会话ID;所述客户端301、服务器端302以及所述网络设备303,在进行日志记录时,增加本次会话的操作信息,并根据所述当前操作的会话ID和上一步操作的会话ID,将本次会话的操作信息与上一次会话的操作信息进行关联。
在一种可选方式中,所述会话标识还包括用户ID;所述客户端301、服务器端302以及所述网络设备303还用于,在针对所述会话进行日志记录操作过程之前,通过用户ID对原日志记录进行查找,判断是否已为该用户保存了与本次会话相同业务属性的操作记录;如果有,则不进行记录,如果没有,则进行记录。
在一种可选方式中,系统还包括日志分析模块304,用于在针对用户操作进行埋点分析时,从所述客户端、所述网络设备、所述服务器端上的日志记录中,调取出与所述会话标识相对应的各个日志记录;对调取出的各个日志记录进行关联分析。
在一种可选方式中,所述埋点模型包括性能埋点模型、行为埋点模型和异常埋点模型。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然,本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样,倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内,则本说明书也意图包含这些改动和变型在内。

Claims (8)

1.一种基于埋点的日志处理方法,其特征在于,包括:
客户端向服务器端发送会话请求,所述会话请求中包含基于预置的埋点模型得到的会话标识,其中,在埋点模型头部信息中增加所述会话标识,所述会话标识包括当前操作的会话ID和上一步操作的会话ID;
服务器端生成会话响应,将所述会话响应返回给客户端;
其中,在客户端、服务器端以及客户端和服务器端之间的网络设备中,均针对所述会话进行日志记录,且所述日志记录与所述会话标识相对应;
所述针对所述会话进行日志记录,包括:
在客户端、服务器端以及网络设备进行日志记录时,增加本次会话的操作信息,并根据所述当前操作的会话ID和上一步操作的会话ID,将本次会话的操作信息与上一次会话的操作信息进行关联。
2.如权利要求1所述的方法,其特征在于,所述会话标识还包括用户ID;在针对所述会话进行日志记录操作过程之前,还包括:
通过用户ID对原日志记录进行查找,判断是否已为该用户保存了与本次会话相同业务属性的操作记录;
如果有,则不进行记录,如果没有,则进行记录。
3.如权利要求1所述的方法,其特征在于,还包括:
在针对用户操作进行埋点分析时,从所述客户端、所述网络设备、所述服务器端上的日志记录中,调取出与所述会话标识相对应的各个日志记录;
对调取出的各个日志记录进行关联分析。
4.如权利要求1所述的方法,其特征在于,所述埋点模型包括性能埋点模型、行为埋点模型和异常埋点模型。
5.一种基于埋点的日志处理系统,其特征在于,包括客户端、网络设备、服务器端,其中,
所述客户端,用于向服务器端发送会话请求,所述会话请求中包含基于埋点模型得到的会话标识,其中,在埋点模型头部信息中增加所述会话标识,所述会话标识包括当前操作的会话ID和上一步操作的会话ID;
所述服务器端,用于生成会话响应,并将所述会话响应返回给客户端;
所述网络设备,用于在所述客户端与所述服务器端之间控制传输所述会话请求和所述会话响应;
其中,在客户端、服务器端以及所述网络设备中,均针对所述会话进行日志记录,且所述日志记录与所述会话标识相对应;以及所述客户端、服务器端以及所述网络设备,在进行日志记录时,增加本次会话的操作信息,并根据所述当前操作的会话ID和上一步操作的会话ID,将本次会话的操作信息与上一次会话的操作信息进行关联。
6.如权利要求5所述的系统,其特征在于,所述会话标识还包括用户ID;所述客户端、服务器端以及所述网络设备还用于,在针对所述会话进行日志记录操作过程之前,通过用户ID对原日志记录进行查找,判断是否已为该用户保存了与本次会话相同业务属性的操作记录;如果有,则不进行记录,如果没有,则进行记录。
7.如权利要求5所述的系统,其特征在于,还包括:日志分析模块,用于在针对用户操作进行埋点分析时,从所述客户端、所述网络设备、所述服务器端上的日志记录中,调取出与所述会话标识相对应的各个日志记录;对调取出的各个日志记录进行关联分析。
8.如权利要求5所述的系统,其特征在于,所述埋点模型包括性能埋点模型、行为埋点模型和异常埋点模型。
CN201710706890.1A 2017-08-17 2017-08-17 基于埋点的日志处理方法及系统 Active CN107370628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710706890.1A CN107370628B (zh) 2017-08-17 2017-08-17 基于埋点的日志处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710706890.1A CN107370628B (zh) 2017-08-17 2017-08-17 基于埋点的日志处理方法及系统

Publications (2)

Publication Number Publication Date
CN107370628A CN107370628A (zh) 2017-11-21
CN107370628B true CN107370628B (zh) 2020-07-07

Family

ID=60308896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706890.1A Active CN107370628B (zh) 2017-08-17 2017-08-17 基于埋点的日志处理方法及系统

Country Status (1)

Country Link
CN (1) CN107370628B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221722B (zh) * 2019-09-23 2024-01-30 平安科技(深圳)有限公司 行为检测方法、装置、电子设备及存储介质
CN110912738B (zh) * 2019-11-19 2022-04-29 支付宝(杭州)信息技术有限公司 一种业务异常的处理方法、装置、平台及电子设备
CN111026616A (zh) * 2019-12-24 2020-04-17 北京奇艺世纪科技有限公司 一种信息处理方法、装置、电子设备及存储介质
CN110764974B (zh) * 2019-12-25 2020-04-17 武汉慧联无限科技有限公司 一种监控方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999535A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 信息显示方法和信息获取方法、客户端和服务器
CN103678321A (zh) * 2012-09-03 2014-03-26 阿里巴巴集团控股有限公司 页面元素确定方法及设备、用户行为路径确定方法及装置
US9633326B2 (en) * 2015-06-10 2017-04-25 Smart Catch Inc. Load distribution and consolidation tracking system
CN106789277A (zh) * 2016-12-27 2017-05-31 北京五八信息技术有限公司 基于状态机模型的用户行为确定方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105577454A (zh) * 2016-03-03 2016-05-11 上海新炬网络信息技术有限公司 一种基于日志快速定位业务故障的方法
CN106250397B (zh) * 2016-07-19 2019-12-31 中国科学院计算机网络信息中心 一种用户行为特征的分析方法及装置
CN106202560A (zh) * 2016-07-29 2016-12-07 杭州迪普科技有限公司 一种实现数据库审计的方法及装置
CN106599107A (zh) * 2016-11-28 2017-04-26 北京小米移动软件有限公司 获得用户行为的方法、装置及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999535A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 信息显示方法和信息获取方法、客户端和服务器
CN103678321A (zh) * 2012-09-03 2014-03-26 阿里巴巴集团控股有限公司 页面元素确定方法及设备、用户行为路径确定方法及装置
US9633326B2 (en) * 2015-06-10 2017-04-25 Smart Catch Inc. Load distribution and consolidation tracking system
CN106789277A (zh) * 2016-12-27 2017-05-31 北京五八信息技术有限公司 基于状态机模型的用户行为确定方法及装置

Also Published As

Publication number Publication date
CN107370628A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
US20220046052A1 (en) Automatic creation and updating of event group summaries
CN107370628B (zh) 基于埋点的日志处理方法及系统
CN111522922B (zh) 日志信息查询方法、装置、存储介质及计算机设备
CN102752288B (zh) 网络访问行为识别方法和装置
KR101986481B1 (ko) 엔드-투-엔드 엔드 유저 성능 자동 모니터링 방법 및 이러한 방법을 수행하는 장치
US11860717B1 (en) Graphical user interface for presenting crash data
CN105049287A (zh) 日志处理方法及装置
CN108696399B (zh) 业务服务的测试方法和装置
CN110020339B (zh) 基于无埋点的网页数据采集方法及装置
CN110198328B (zh) 客户端识别方法、装置、计算机设备和存储介质
US7987243B2 (en) Method for media discovery
CN104915398A (zh) 一种网页埋点的方法及装置
CN110971655A (zh) 离线客户端重放和同步
CN107168850B (zh) 一种url页面监控方法和装置
US11115483B2 (en) Methods and apparatus for census and panel matching using session identifiers positioned in an HTTP header
CN102904774B (zh) 终端、服务器和服务器性能测试方法
CN103729380A (zh) 一种数据处理方法、系统及装置
CN105721578A (zh) 一种用户行为数据采集方法和系统
AU2014359172B2 (en) Network server system, client device, computer program product and computer-implemented method
CN104580310A (zh) 日志处理方法和服务器
CN109684571A (zh) 一种数据采集方法及装置、存储介质
CN109492181A (zh) 页面跳转方法、装置、计算机设备和存储介质
CN105550179A (zh) 一种网页收藏方法和浏览器插件
CN105159992A (zh) 一种应用程序的页面内容及网络行为的检测方法及装置
CN108287874B (zh) 一种db2数据库管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240221

Address after: Guohao Times City # 20-01, 128 Meizhi Road, Singapore

Patentee after: Advanced Nova Technology (Singapore) Holdings Ltd.

Country or region after: Singapore

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Innovative advanced technology Co.,Ltd.

Country or region before: United Kingdom

TR01 Transfer of patent right