CN111209170A - 一种基于规则的用户行为日志采集、分析的方法和系统 - Google Patents

一种基于规则的用户行为日志采集、分析的方法和系统 Download PDF

Info

Publication number
CN111209170A
CN111209170A CN201911003569.2A CN201911003569A CN111209170A CN 111209170 A CN111209170 A CN 111209170A CN 201911003569 A CN201911003569 A CN 201911003569A CN 111209170 A CN111209170 A CN 111209170A
Authority
CN
China
Prior art keywords
log
user behavior
data
analyzer
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911003569.2A
Other languages
English (en)
Other versions
CN111209170B (zh
Inventor
谢智
谢乾
王吉
龚彬
於晓荻
蒋余欢
沈妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Byosoft Electronic Technology Co ltd
Nanjing Byosoft Co ltd
Jiangsu Zhuoyi Information Technology Co ltd
Original Assignee
Kunshan Byosoft Electronic Technology Co ltd
Nanjing Byosoft Co ltd
Jiangsu Zhuoyi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Byosoft Electronic Technology Co ltd, Nanjing Byosoft Co ltd, Jiangsu Zhuoyi Information Technology Co ltd filed Critical Kunshan Byosoft Electronic Technology Co ltd
Priority to CN201911003569.2A priority Critical patent/CN111209170B/zh
Publication of CN111209170A publication Critical patent/CN111209170A/zh
Application granted granted Critical
Publication of CN111209170B publication Critical patent/CN111209170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于规则的用户行为日志采集、分析的方法和系统，其方法包括以下步骤：在业务应用服务程序启动时加载预设的日志采集规则，通过字节码手段实现无侵入的埋点，对用户行为产生的日志进行分类匹配，再对埋点的上下文信息和应用环境参数筛选收集，最后交由双队列发送日志数据；将采集到的用户行为日志汇总到日志预处理中心进行预处理，过滤，推送到消息通道中；通过消息通道实现业务分析器的注册和日志数据的汇集分发，由分析器根据业务需求，对日志进行处理，产生业务数据并存储。本发明通过一系列的预设规则对用户行为日志进行多层筛选，过滤分类，能够缓解数据存储和处理的压力，提升了分析的效率以及分析结果的全面性和准确性。

Description

一种基于规则的用户行为日志采集、分析的方法和系统
技术领域
本发明涉及数据分析与处理领域，具体涉及一种基于规则的用户行为日志采集、分析的方法和系统。
背景技术
随着互联网信息服务的发展，平台上用户访问和交互的频率越来越多，时间越来越长，所产生的日志量在指数级增加。为了能更好的观察平台的运行情况，了解用户使用习惯，从而优化自身处理性能、调整功能模块，又需要对海量日志进行存储，然后结合业务需求进行分析。目前现有的日志分析技术大都对日志进行混合存储，并没有对日志的种类和有效性进行过滤，这对数据存储和处理方法有极大的要求，并且会导致分析的结果失准。
发明内容
针对上述现有技术中存在的不足，本发明所要解决的技术问题是提供一种基于规则的用户行为日志采集、分析的方法和系统，该方法通过预设的规则对用户的日志进行过滤归类，根据用户不同行为产生的日志采取相应的预处理，然后再推送给相应的分析器进行业务分析，能够解决现有技术中没有对日志的种类和有效性进行过滤，混合存储的问题，极大的缓解数据存储和处理的压力。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于规则的用户行为日志采集、分析的方法，包括以下步骤：
1)在业务应用服务程序启动时加载预设的日志采集规则，通过字节码手段实现无侵入的埋点，对用户行为产生的日志进行分类匹配，再对埋点的上下文信息和应用环境参数筛选收集，最后通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送；
2)将步骤1)所采集到的用户行为日志统一汇总到日志预处理中心进行预处理，过滤，推送到消息通道中；具体为：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道；
3)消息通道负责业务分析器的注册和日志数据的汇集分发，将不同种类的日志数据分发给对应分析器，由分析器根据业务需求，对日志进行处理，产生业务数据并存储。
一种基于规则的用户行为日志采集、分析的系统，包括：日志采集模块、日志预处理中心、日志分析模块；日志采集模块负责基于预设的采集规则，初始化埋点，施行用户行为的匹配、参数收集、日志发送至日志预处理中心；日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中；日志分析模块通过消息通道交给在分析中心注册的分析器对日志进行处理，生成业务数据。
所述参数收集，包括用户行为的特征参数、日志的采集方式、运行环境的参数筛选收集方式；其中，所述用户行为的特征参数包括HTTP请求路径、请求类型和请求参数。
所述采集规则，通过应用程序匹配的采集插件进行采集规则的解析、装载、执行。
所述初始化埋点的方式，是无侵入式的，通过字节码手段在应用程序需要埋点的地方进行嵌入式编程；所述日志发送，是通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送。
所述的双队列缓存，是在第一个队列中进行首次发送尝试，如果发送失败，则进入另外一个队列进行重发，两次发送均失败，就会对日志数据进行标记，不再发送；所述的连接池，初始化时会创建固定数量的TCP/IP协议的连接，负责从双队列中获取日志数据进行发送，在连接池出现故障时，自动进行本地硬盘备份，在连接池恢复时会从备份加载数据，重新进行日志发送。
所述日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中，包括：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道。
所述采集规则与所述路由规则的动态更新为应用程序通过TCP/IP协议与规则配置中心建立连接，并维持心跳，通过心跳检测实时同步。
所述日志分析模块是分布式结构，由不同独立运行的业务分析模块组成，每个业务分析模块是一个应用程序集群，由相同业务逻辑的分析器组合成一个专门的负载集群，所述相同业务逻辑的分析器之间维持心跳，并推选leader。
所述日志分析模块构建在一个消息通道上，由所述消息通道负责业务分析器的注册和日志数据的汇集分发；所述不同独立运行的业务分析模块各自包含一个消息监听器，负责将消息通道中的日志数据转发给分析器集群中的leader，再由leader根据集群的负载情况分发日志数据；分析器先对接收的日志数据进行完整性校验，再执行其分析逻辑，生成业务数据，最后不同业务需求，以不同方式存储分析结果。
有益效果：与现有技术相比，本发明具有以下技术优势：解决了现有的用户行为日志分析技术的混合存储问题，通过一系列的预设规则对用户行为日志进行多层筛选，过滤分类，提升了对用户行为日志分析的效率和实用性，提升了分析结果的全面性和准确性。
附图说明
图1为本发明的一种基于规则的用户行为日志采集、分析的方法和系统的执行流程图；
图2为本发明的一种基于规则的用户行为日志采集、分析的方法和系统的总体功能图；
图3为本发明的一种基于规则的用户行为日志采集、分析的方法和系统的分析器集群原理图。
具体实施方式
下面结合具体实施例进一步说明本发明，但这些实施例并不用来限制本发明。
实施例1
如图1所示本发明的执行流程图，一种基于规则的用户行为日志采集、分析的方法，包括以下步骤：
1)在业务应用服务程序启动时加载预设的日志采集规则，通过字节码手段实现无侵入的埋点，对用户行为产生的日志进行分类匹配，再对埋点的上下文信息和应用环境参数筛选收集(包括用户行为的特征参数、日志的采集方式、运行环境的参数筛选收集；其中，用户行为的特征参数包括HTTP请求路径、请求类型和请求参数)，最后交由双队列发送日志数据；
2)将采集到的用户行为日志统一汇总到日志预处理中心进行预处理，过滤，推送到消息通道中；
3)消息通道负责业务分析器的注册和日志数据的汇集分发，将不同种类的日志数据分发给对应分析器，由分析器根据业务需求，对日志进行处理，产生业务数据并存储。
实施例2
如图2所示，本发明提供的这种基于规则的用户行为日志采集、分析的系统包括：日志采集模块、日志预处理中心、日志分析模块。日志采集模块负责基于预设的采集规则，初始化埋点，施行用户行为的匹配、参数收集、日志发送至日志预处理中心；日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中；日志分析模块通过消息通道交给在分析中心注册的分析器对日志进行处理，生成业务数据。
1)整个模块运行在各个业务应用服务程序上，根据其应用程序的开发语言，技术架构不同，其中日志采集模块负责基于定义的采集规则，施行用户行为的匹配、参数收集、日志发送至日志预处理中心。日志采集模块通过不同的技术实现采集模块的嵌入插件，其主体功能包括：
步骤1、定义采集的规则，包含用户行为的特征参数、日志的采集方式、运行环境的参数筛选收集方式；在应用程序中嵌入日志采集的插件，让其跟随应用程序的启动和运行过程中，通过TCP/IP协议与规则配置中心建立连接，并维持心跳，加载采集规则，在规则发生变动时通过心跳实时的更新规则；
步骤2、初始化与应用程序与日志预处理中心的连接池，包含创建TCP/IP连接、故障容灾策略：日志数据的备份恢复机制；即初始化时会创建固定数量的TCP/IP协议的连接，负责从双队列中获取日志数据进行发送；在连接池出现故障时，自动进行本地硬盘备份，在连接池恢复时会从备份加载数据，重新进行日志发送；
步骤3、日志采集插件负责对采集规则进行解析和装载，通过字节码嵌入编程使其在应用程序内部生效，从而实现无侵入式的初始化埋点，根据规则配置的用户行为特征参数比对(即HTTP请求路径、请求类型和请求参数)，对HTTP施行拦截监控；
步骤4、根据规则定义的参数收集方式，对HTTP请求的响应的数据以及上下文信息和应用环境参数进行甄别、采集和打包；
步骤5、将打包好的日志数据放入高性能双队列中缓存，由队列经步骤2的连接池统一发送至日志预处理中心：在第一个队列中进行首次发送尝试，如果发送失败，则进入另外一个队列进行重发，两次发送均失败，就会对日志数据进行标记，不再发送。
2)其中日志预处理中心负责根据路由规则，进行日志的预处理，过滤，推送到消息通道中。日志预处理中心主体功能包括：
步骤1、定义路由规则，配置用户行为的目标分析器以及相应的数据有效性检查程式；日志预处理中心是一台独立运行到应用程序，通过TCP/IP协议与规则配置中心建立连接，并维持心跳，加载路由规则，并在规则发生变动时通过心跳实时的更新规则；
步骤2、预处理中心接受到日志的数据，根据其用户行为特征参数匹配路由规则，获取对应的目标分析器集合，运行检查程式，执行有效性检查，过滤无效日志；最后将校验后日志推送给消息通道；
步骤3、根据目标分析器的消息类型，预处理中心从目标分析器中获取日志传输的路径，将校验后的日志推送给消息通道。
3)如图2、图3所示，日志分析模块通过消息通道交给在分析中心注册的分析器对日志进行处理，生成业务数据。日志分析模块是分布式结构，由不同独立运行的业务分析模块组成。每个业务分析模块是一个应用程序集群，相同业务逻辑的分析器组合成一个专门的负载集群来提高日志处理的吞吐量。整个日志分析模块是构建在同一的消息通道之上，由该通道负责业务分析器的注册和日志数据的汇集分发。相同业务逻辑内部的分析器和分析器之间维持心跳，并推选leader。整个日志分析模块建立在kafka消息中间件上，日志数据的传输载体是一个个kafka消息。业务分析模块都包含一个各自独立的消息监听器，负责将消息通道中的日志数据转发给分析器集群中的leader，在由leader根据集群的负载情况分发日志数据。分析器接收到日志数据会对其进行完整行校验，再执行分析逻辑，产生业务数据，最后根据不同的业务需求，以不同的方式存储分析结果。
需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种基于规则的用户行为日志采集、分析的方法，其特征在于，所述方法包括以下步骤：
1)在业务应用服务程序启动时加载预设的日志采集规则，通过字节码手段实现无侵入的埋点，对用户行为产生的日志进行分类匹配，再对埋点的上下文信息和应用环境参数筛选收集，最后通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送；
2)将步骤1)所采集到的用户行为日志统一汇总到日志预处理中心进行预处理，过滤，推送到消息通道中；具体为：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道；
3)消息通道负责业务分析器的注册和日志数据的汇集分发，将不同种类的日志数据分发给对应分析器，由分析器根据业务需求，对日志进行处理，产生业务数据并存储。
2.一种实现权利要求1所述方法的系统，其特征在于，所述系统包括：日志采集模块、日志预处理中心、日志分析模块；日志采集模块负责基于预设的采集规则，初始化埋点，施行用户行为的匹配、参数收集、日志发送至日志预处理中心；日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中；日志分析模块通过消息通道交给在分析中心注册的分析器对日志进行处理，生成业务数据。
3.根据权利要求2所述的系统，其特征在于，所述参数收集，包括用户行为的特征参数、日志的采集方式、运行环境的参数筛选收集方式；其中，所述用户行为的特征参数包括HTTP请求路径、请求类型和请求参数。
4.根据权利要求2所述的系统，其特征在于，所述采集规则，通过应用程序匹配的采集插件进行采集规则的解析、装载、执行。
5.根据权利要求2所述的系统，其特征在于，所述初始化埋点的方式，是无侵入式的，通过字节码手段在应用程序需要埋点的地方进行嵌入式编程；所述日志发送，是通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送。
6.根据权利要求5所述的系统，其特征在于，所述的双队列缓存，是在第一个队列中进行首次发送尝试，如果发送失败，则进入另外一个队列进行重发，两次发送均失败，就会对日志数据进行标记，不再发送；所述的连接池，初始化时会创建固定数量的TCP/IP协议的连接，负责从双队列中获取日志数据进行发送；在连接池出现故障时，自动进行本地硬盘备份，在连接池恢复时会从备份加载数据，重新进行日志发送。
7.根据权利要求2所述的系统，其特征在于，所述日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中，包括：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道。
8.根据权利要求2所述的系统，其特征在于，所述采集规则与所述路由规则的动态更新为应用程序通过TCP/IP协议与规则配置中心建立连接，并维持心跳，通过心跳检测实时同步。
9.根据权利要求2所述的系统，其特征在于，所述日志分析模块是分布式结构，由不同独立运行的业务分析模块组成，每个业务分析模块是一个应用程序集群，由相同业务逻辑的分析器组合成一个专门的负载集群，所述相同业务逻辑的分析器之间维持心跳，并推选leader。
10.根据权利要求9所述的系统，其特征在于，所述日志分析模块构建在一个消息通道上，由所述消息通道负责业务分析器的注册和日志数据的汇集分发；所述不同独立运行的业务分析模块各自包含一个消息监听器，负责将消息通道中的日志数据转发给分析器集群中的leader，再由leader根据集群的负载情况分发日志数据；分析器先对接收的日志数据进行完整性校验，再执行其分析逻辑，生成业务数据，最后不同业务需求，以不同方式存储分析结果。
CN201911003569.2A 2019-10-21 2019-10-21 一种基于规则的用户行为日志采集、分析的方法和系统 Active CN111209170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911003569.2A CN111209170B (zh) 2019-10-21 2019-10-21 一种基于规则的用户行为日志采集、分析的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911003569.2A CN111209170B (zh) 2019-10-21 2019-10-21 一种基于规则的用户行为日志采集、分析的方法和系统

Publications (2)

Publication Number Publication Date
CN111209170A true CN111209170A (zh) 2020-05-29
CN111209170B CN111209170B (zh) 2023-09-08

Family

ID=70785497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911003569.2A Active CN111209170B (zh) 2019-10-21 2019-10-21 一种基于规则的用户行为日志采集、分析的方法和系统

Country Status (1)

Country Link
CN (1) CN111209170B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752799A (zh) * 2020-06-24 2020-10-09 中国建设银行股份有限公司 一种业务链路跟踪方法、装置、设备及储存介质
CN112486471A (zh) * 2020-11-10 2021-03-12 珠海格力电器股份有限公司 一种操作记录功能的配置方法、装置及设备
CN112561565A (zh) * 2020-11-27 2021-03-26 四川新网银行股份有限公司 一种基于行为日志的用户需求识别方法
CN112783906A (zh) * 2020-12-30 2021-05-11 常州微亿智造科技有限公司 工业互联网的日志数据管理方法和系统
CN114116422A (zh) * 2021-11-19 2022-03-01 苏州浪潮智能科技有限公司 一种硬盘日志分析方法、硬盘日志分析装置及存储介质
CN114697205A (zh) * 2022-04-08 2022-07-01 上海哔哩哔哩科技有限公司 日志处理方法及装置
CN115883647A (zh) * 2022-11-29 2023-03-31 京东科技信息技术有限公司 业务日志记录方法、系统、装置、终端、服务器及介质
CN116303314A (zh) * 2022-12-16 2023-06-23 摩尔线程智能科技(北京)有限责任公司 用于gpu的日志存储方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN109308329A (zh) * 2018-09-27 2019-02-05 深圳供电局有限公司 一种基于云平台的日志收集方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752799A (zh) * 2020-06-24 2020-10-09 中国建设银行股份有限公司 一种业务链路跟踪方法、装置、设备及储存介质
CN112486471A (zh) * 2020-11-10 2021-03-12 珠海格力电器股份有限公司 一种操作记录功能的配置方法、装置及设备
CN112561565A (zh) * 2020-11-27 2021-03-26 四川新网银行股份有限公司 一种基于行为日志的用户需求识别方法
CN112783906A (zh) * 2020-12-30 2021-05-11 常州微亿智造科技有限公司 工业互联网的日志数据管理方法和系统
CN114116422A (zh) * 2021-11-19 2022-03-01 苏州浪潮智能科技有限公司 一种硬盘日志分析方法、硬盘日志分析装置及存储介质
CN114116422B (zh) * 2021-11-19 2024-05-24 苏州浪潮智能科技有限公司 一种硬盘日志分析方法、硬盘日志分析装置及存储介质
CN114697205A (zh) * 2022-04-08 2022-07-01 上海哔哩哔哩科技有限公司 日志处理方法及装置
CN114697205B (zh) * 2022-04-08 2024-03-12 上海哔哩哔哩科技有限公司 日志处理方法及装置
CN115883647A (zh) * 2022-11-29 2023-03-31 京东科技信息技术有限公司 业务日志记录方法、系统、装置、终端、服务器及介质
CN116303314A (zh) * 2022-12-16 2023-06-23 摩尔线程智能科技(北京)有限责任公司 用于gpu的日志存储方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111209170B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN111209170A (zh) 一种基于规则的用户行为日志采集、分析的方法和系统
CN107508722B (zh) 一种业务监控方法和装置
US20110016528A1 (en) Method and Device for Intrusion Detection
CN105786683B (zh) 自定制的日志收集系统和方法
CN109361532A (zh) 网络数据分析的高可用系统和方法及计算机可读存储介质
CN109120461A (zh) 一种业务性能端到端监控方法、系统及装置
CN107179995A (zh) 一种计算机网络应用程序的性能测试方法
CN110737647A (zh) 一种互联网大数据清洗方法
CN111770022B (zh) 基于链路监控的扩容方法、系统、设备及计算机存储介质
CN113254341B (zh) 链路数据的跟踪方法、装置、设备及存储介质
CN112350854A (zh) 一种流量故障定位方法、装置、设备及存储介质
CN107623731A (zh) 一种任务调度方法、客户端、服务集群及系统
CN111163097A (zh) 一种Web应用防火墙的实现系统及方法
CN107203464B (zh) 业务问题的定位方法以及装置
CN105279651B (zh) 一种交易数据监控处理方法和系统
CN113641455B (zh) 报文转换方法及平台
CN111404768A (zh) 一种dpi识别的实现方法及设备
CN112162925A (zh) 一种基于服务虚拟化的测试方法和系统
US10205630B2 (en) Fault tolerance method for distributed stream processing system
CN111970151A (zh) 虚拟及容器网络的流量故障定位方法及系统
CN116069608A (zh) 一种应用调用链路追踪方法、装置及分布式系统
CN115220995A (zh) 一种基于agent探针的微服务全链路分析方法
CN107315756B (zh) 一种日志处理方法及装置
CN101217408A (zh) 全方位故障相关性处理系统及其处理方法
CN109981596A (zh) 一种主机外联检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant