CN107786641B - 一种分布式多系统用户行为日志的采集方法 - Google Patents

一种分布式多系统用户行为日志的采集方法 Download PDF

Info

Publication number
CN107786641B
CN107786641B CN201710922501.9A CN201710922501A CN107786641B CN 107786641 B CN107786641 B CN 107786641B CN 201710922501 A CN201710922501 A CN 201710922501A CN 107786641 B CN107786641 B CN 107786641B
Authority
CN
China
Prior art keywords
user
log
application
service
records
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710922501.9A
Other languages
English (en)
Other versions
CN107786641A (zh
Inventor
蔡剑研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linewell Software Co Ltd
Original Assignee
Linewell Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linewell Software Co Ltd filed Critical Linewell Software Co Ltd
Priority to CN201710922501.9A priority Critical patent/CN107786641B/zh
Publication of CN107786641A publication Critical patent/CN107786641A/zh
Application granted granted Critical
Publication of CN107786641B publication Critical patent/CN107786641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明一种分布式多系统用户行为日志的采集方法，包括作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，在REST服务层记录用户的业务日志，能够最真实地采集并记录用户请求的相关参数，能够最直接表达用户的意愿，对后期的用户行为分析，提供更加可靠的数据来源，不需要在业务处理中采集参数并传递很多次，减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中，通过用户的业务日志分析用户访问和操作习惯，便于改进应用的用户体验，提升服务效果，通过系统日志用于解决和排查应用出现的问题，解决应用的异常，保证应用的稳定性。

Description

一种分布式多系统用户行为日志的采集方法
技术领域
本发明涉及一种分布式多系统用户行为日志的采集方法。
技术背景
在一个互联网应用中，日志系统是一个非常重要的功能组成部分，它可以记录下系统所产生的所有行为，根据日志系统所记录的信息可以用于线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、安全与合规审计，优化系统的性能，或者根据这些信息调整系统的行为；以及深度挖掘日志的大数据价值，更好地为用户服务。传统的日志记录采集，为了用户的业务日志的完整性，需要将一些参数在业务处理中传递很多次，增加了接口的复杂度。
发明内容
本发明的目的在于提供一种分布式多系统用户行为日志的采集方法,将用户的业务日志与各子系统的运行日志分离，不仅降低了日志分析的复杂度，而且不需要在业务处理过程中采集参数并传递很多次，减少了接口的复杂度。
本发明一种分布式多系统用户行为日志的采集方法，包括：作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，该用户的业务日志系统收集用户的业务日志记录，该应用系统的运行日志系统收集应用系统的运行日志记录，包括如下步骤：
步骤1、浏览者通过应用发出的请求统一经过REST服务层，再由REST服务层调用分布式多系统中各个子系统提供的Dubbo服务，该REST服务层是应用的统一访问入口，在REST服务层统一收集用户的业务日志记录；
步骤2、将收集到的用户的业务日志记录发送到Kafka集群，用户的业务日志系统通过Kafka集群获取所述的用户的业务日志记录，进行日志存储和分析；
步骤3、采集分布式多系统中各个子系统的运行日志记录，并发送到Kafka集群，应用系统的日志系统通过Kafka集群获取所述各个子系统的运行日志记录，进行日志存储和分析。
该用户的业务日志记录主要包括：
访问服务器的远程机器的地址：用于得知浏览者来自何方，以及用户的分布；
浏览者访问的资源：用于得知应用中的哪些部分最受欢迎；
浏览者的浏览时间：用于从浏览时间对应用内容进行调整；
浏览者使用的设备类型和ID：用于根据大多数浏览者使用的设备类型进行优化；
浏览者单次请求的耗时：用于根据请求的耗费时间进行性能优化；
浏览者发送请求的参数：用于根据请求的参数分析浏览者兴趣点。
由于REST服务层是用户请求和访问系统的第一层，在这里记录用户的业务日志，能够最真实地采集并记录用户请求的相关参数，能够最直接表达用户的意愿，对后期的用户行为分析，提供更加可靠的数据来源。本发明在REST服务层记录用户的业务日志，不需要为了专门记录用户操作日志而多次传递参数(例如浏览者的IP地址等)，不需要在业务处理中采集参数并传递很多次，减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中，通过用户的业务日志分析用户访问和操作习惯，便于改进应用的用户体验，提升服务效果，通过系统日志用于解决和排查应用出现的问题，解决应用的异常，保证应用的稳定性。
附图说明
图1为本发明分布式多系统用户行为日志的采集流程。
以下结合附图和具体实施例对本发明做进一步详述。
具体实施方式
如图1所示，本发明一种分布式多系统用户行为日志的采集方法，包括作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，该用户的业务日志系统收集用户的业务日志记录(用户行为日志)，该应用系统的运行日志系统收集应用系统的运行日志记录，该用户的业务日志记录主要包括：
访问服务器的远程机器的地址：可以得知浏览者来自何方，以及用户的分布；
浏览者访问的资源：可以得知应用中的哪些部分最受欢迎；
浏览者的浏览时间：可以从浏览时间(如工作时间或休闲时间)对应用内容进行调整；
浏览者使用的设备类型和ID：可以根据大多数浏览者使用的设备类型进行优化；
浏览者单次请求的耗时：可以根据请求的耗费时间进行性能优化；
浏览者发送请求的参数：根据请求的参数，分析浏览者兴趣点；
具体包括如下步骤：
步骤1、浏览者通过应用发出的请求统一经过REST服务层，再由REST服务层调用分布式多系统中各个子系统提供的Dubbo服务，该REST服务层是应用的统一访问入口，在REST服务层统一收集用户的业务日志记录；
步骤2、将收集到的用户的业务日志记录发送到Kafka集群，用户的业务日志系统通过Kafka集群获取所述的用户的业务日志记录，进行日志存储和分析；
步骤3、采集分布式多系统中各个子系统的运行日志记录，并发送到Kafka集群，应用系统的日志系统通过Kafka集群获取所述各个子系统的运行日志记录，进行日志存储和分析。
由于REST服务层是用户请求和访问系统的第一层，在这里记录用户的业务日志，能够最真实地采集并记录用户请求的相关参数，能够最直接表达用户的意愿，对后期的用户行为分析，提供更加可靠的数据来源。本发明在REST服务层记录用户的业务日志，不需要为了专门记录用户操作日志而多次传递参数(例如浏览者的IP地址等)，不需要在业务处理中采集参数并传递很多次，减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中，通过用户的业务日志分析用户访问和操作习惯，便于改进应用的用户体验，提升服务效果，通过系统日志用于解决和排查应用出现的问题，解决应用的异常，保证应用的稳定性。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种分布式多系统用户行为日志的采集方法，其特征在于包括：作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，该用户的业务日志系统收集用户的业务日志记录，该应用系统的运行日志系统收集应用系统的运行日志记录，该用户的业务日志记录包括：
访问服务器的远程机器的地址：用于得知浏览者来自何方，以及用户的分布；
浏览者访问的资源：用于得知应用中的哪些部分最受欢迎；
浏览者的浏览时间：用于从浏览时间对应用内容进行调整；
浏览者使用的设备类型和ID：用于根据大多数浏览者使用的设备类型进行优化；
浏览者单次请求的耗时：用于根据请求的耗费时间进行性能优化；
浏览者发送请求的参数：用于根据请求的参数分析浏览者兴趣点；
所述REST服务层是用户请求和访问系统的第一层，在这里记录用户的业务日志，采集并记录用户请求的相关参数，提供数据来源对后期的用户行为进行分析，并通过Kafka集群将用户的业务日志与各子系统的运行日志分离,降低分析的复杂度，具体包括如下步骤：
步骤1、浏览者通过应用发出的请求统一经过REST服务层，再由REST服务层调用分布式多系统中各个子系统提供的Dubbo服务，该REST服务层是应用的统一访问入口，在REST服务层统一收集用户的业务日志记录；
步骤2、将收集到的用户的业务日志记录发送到Kafka集群，用户的业务日志系统通过Kafka集群获取所述的用户的业务日志记录，进行日志存储和分析；
步骤3、采集分布式多系统中各个子系统的运行日志记录，并发送到Kafka集群，应用系统的日志系统通过Kafka集群获取所述各个子系统的运行日志记录，进行日志存储和分析。
CN201710922501.9A 2017-09-30 2017-09-30 一种分布式多系统用户行为日志的采集方法 Active CN107786641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710922501.9A CN107786641B (zh) 2017-09-30 2017-09-30 一种分布式多系统用户行为日志的采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710922501.9A CN107786641B (zh) 2017-09-30 2017-09-30 一种分布式多系统用户行为日志的采集方法

Publications (2)

Publication Number Publication Date
CN107786641A CN107786641A (zh) 2018-03-09
CN107786641B true CN107786641B (zh) 2020-10-27

Family

ID=61433692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710922501.9A Active CN107786641B (zh) 2017-09-30 2017-09-30 一种分布式多系统用户行为日志的采集方法

Country Status (1)

Country Link
CN (1) CN107786641B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377161B (zh) * 2018-09-24 2022-08-12 宁波市轨道交通集团有限公司 一套用于城市轨道交通行业办公数据采集与用户行为分析的系统
CN109344033A (zh) * 2018-09-27 2019-02-15 浪潮软件股份有限公司 一种基于分布式架构的云日志采集方法
CN110674021A (zh) * 2019-09-09 2020-01-10 深圳供电局有限公司 一种移动应用登录日志的检测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
US20130081001A1 (en) * 2011-09-23 2013-03-28 Microsoft Corporation Immediate delay tracker tool
CN103646197B (zh) * 2013-12-12 2016-06-15 中国石油大学(华东) 基于用户行为的用户可信度认证系统及方法
CN105528454A (zh) * 2015-12-25 2016-04-27 北京奇虎科技有限公司 日志处理方法及分布式集群的计算设备
CN105677842A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 基于Hadoop大数据处理技术的日志分析系统
CN106354765B (zh) * 2016-08-19 2020-06-26 广东亿迅科技有限公司 一种基于分布式采集的日志分析系统及方法
CN106850549B (zh) * 2016-12-16 2020-08-21 北京江南博仁科技有限公司 一种分布式加密服务网关及实现方法
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法

Also Published As

Publication number Publication date
CN107786641A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
US11886402B2 (en) Systems, methods, and media for dynamically generating informational content
US9590880B2 (en) Dynamic collection analysis and reporting of telemetry data
US7640459B2 (en) Performing computer application trace with other operations
CN102946319B (zh) 网络用户行为信息分析系统及其分析方法
TWI564732B (zh) A method and apparatus for monitoring user requests to run in a decentralized system
CN103209087B (zh) 分布式日志统计处理方法和系统
CN107786641B (zh) 一种分布式多系统用户行为日志的采集方法
CN107370806B (zh) Http状态码监控方法、装置、存储介质和电子设备
US20100094992A1 (en) Capacity Planning Of Multi-tiered Applicatons From Application Logs
US10362086B2 (en) Method and system for automating submission of issue reports
US8949462B1 (en) Removing personal identifiable information from client event information
CN114422564A (zh) 访问数据审计溯源方法、装置、计算机设备及存储介质
CN113269531A (zh) 基于云-端架构的多租户上网行为审计管控方法及相关设备
CN105808441A (zh) 一种多维度性能诊断分析方法
CN111882368B (zh) 一种在线广告dpi加密埋点及透传跟踪的方法
CN109101403A (zh) 一种对移动端产生sql进行实时监控的方法及系统
CN108183821B (zh) 一种面向电网业务的应用性能获取方法及装置
Wingerath et al. Beaconnect: Continuous web performance A/B testing at scale
CN113778709A (zh) 接口调用方法、装置、服务器及存储介质
CN113407424A (zh) 用户终端应用程序的自动分析方法及分析系统
CN113382268A (zh) 直播异常分析方法、装置、计算机设备和存储介质
CN116150542B (zh) 一种动态页面的生成方法和装置及存储介质
LU501015B1 (en) Economic database management system
CN117033125A (zh) 基于探针的应用关系智能化构建方法、元数据获取方法、介质及系统
CN118264581A (zh) 信息获取方法、流量作弊检测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant