CN114629929B - 一种日志记录方法、装置及系统 - Google Patents
一种日志记录方法、装置及系统 Download PDFInfo
- Publication number
- CN114629929B CN114629929B CN202210257400.5A CN202210257400A CN114629929B CN 114629929 B CN114629929 B CN 114629929B CN 202210257400 A CN202210257400 A CN 202210257400A CN 114629929 B CN114629929 B CN 114629929B
- Authority
- CN
- China
- Prior art keywords
- recorded
- user data
- data
- user
- tracking tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000000977 initiatory effect Effects 0.000 claims description 102
- 238000005111 flow chemistry technique Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 abstract description 30
- 238000007405 data analysis Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 52
- 238000012795 verification Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/2895—Intermediate processing functionally located close to the data provider application, e.g. reverse proxies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种日志记录方法、装置及系统，通过前端为不同用户生成追踪标签，并标记不同用户对应的操作行为的第一待记录用户数据，获得已经标记的第二待记录用户数据，后端获取到前端生成的对应用户的追踪标记，并为标记对应用户的属性信息的第三待记录用户数据，获得已经标记的第四待记录用户数据，分别将第三待记录用户数据和第四待记录用户数据记录到前端服务器和后端服务器，并上传到分布式发布订阅消息系统中，使得后续开源流处理框架可以根据追踪标签关联分布式发布订阅消息系统中的各用户操作行为日志数据和属性状态日志数据，以便后续进行数据分析，从而提高了日志记录服务的效率。
Description
技术领域
本发明涉及云计算技术领域，特别是涉及一种日志记录方法、装置及系统。
背景技术
互联网应用场景中，日志记录服务越来越重要，目前日志记录服务通常是通过http协议(超文本传输协议)使前端和后端直接进行交互，具体是采用附带拼接的url(统一资源定位符)参数携带参数信息进行交互，使得前端或后端获得用户数据后进行日志记录。而在这种方式下，在面对大数量用户并进行用户日志记录时，由于需要前端和后端频繁交互，这为前端和后端带来了严重的性能负担，使得日志记录服务效率低。
发明内容
本发明实施例的目的在于提供一种日志记录方法、装置及系统，以提高日志记录服务的效率。具体技术方案如下：
在本发明的第一方面，提供了一种日志记录方法，所述方法包括：
通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；
通过后端获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；
通过位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
通过位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
通过开源流处理框架关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据。
在一种可能的实施例中，所述通过开源流处理框架根据所述追踪标签关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据，包括：
通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；
通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据，包括：
通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据，包括：
通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签；
通过所述位于前端的服务器将所述追踪标签放入用于表示所述发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
在本发明的第二方面，本发明还提供了一种日志记录装置，所述装置包括：
前端数据标记模块，用于通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；
后端数据标记模块，用户通过后端获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；
前端日志记录模块，用于通过位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
后端日志记录模块，用于通过位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
关联模块，用于通过开源流处理框架关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据。
在一种可能的实施例中，所述关联模块包括：
数据获取单元，用于通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；
数据关联单元，用于通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述数据关联单元具体用于，通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述前端数据标记模块包括：
追踪标签生成单元，用于通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签；
待记录数据标记单元，用于通过所述位于前端的服务器将所述追踪标签放入用于表示所述发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
在本发明的第三方面，本发明还提供了一种日志记录系统，包括前端、后端和开源流处理框架，其中，
前端，用于为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；使位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
后端，用于获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；使位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
开源流处理框架，用于关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据。
在本发明的第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的一种日志记录方法、装置及系统，通过前端为不同用户生成追踪标签，并标记不同用户对应的操作行为的第一待记录用户数据，获得已经标记的第二待记录用户数据，后端获取到前端生成的对应用户的追踪标记，并为标记对应用户的属性信息的第三待记录用户数据，获得已经标记的第四待记录用户数据，分别将第三待记录用户数据和第四待记录用户数据记录到前端服务器和后端服务器，并上传到分布式发布订阅消息系统中，使得后续开源流处理框架可以根据追踪标签关联分布式发布订阅消息系统中的各用户操作行为日志数据和属性状态日志数据，以便后续进行数据分析，通过上述方法，将不同类型的用户数据记录到对应的前端或后端的服务器中，并使用追踪标签将不同用户对应的记录在前端服务器和后端服务器中的日志进行关联，使得日志可以进行后续分析，从而避免了日志记录过程中前后端进行频繁的交互传输数据信息，提高了日志记录服务的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种日志记录化方法的一种流程示意图；
图2为本发明实施例提供的另一种日志记录方法的一种流程示意图；
图3为本发明实施例提供的另一种日志记录方法的一种流程示意图；
图4为本发明实施例提供的另一种日志记录方法的一种流程示意图；
图5为本发明实施例提供的一种日志记录装置的结构示意图；
图6为本发明实施例提供的一种日志记录系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的执行主体包括前端、后端和开源流处理框架的系统，并且，该系统中可以仅包括前端、后端和开源流处理框架，还可以包括除前端、后端和开源流处理框架以外的其他设备。
通常的，对于一个应用程序或者网站来说，在用户在应用程序或网站上看到的内容都属于前端的内容。以网站为例，用户在浏览网站时看到的网站的内容设计、图像、段落和线条之间的间距都属于前端，此外，对于前端位于移动设备例如智能手机，其屏幕还具有触摸响应功能，因此当应用响应用户所做的手势时，需要进行缩放、暂停、快进等操作，这也是前端所提供的功能，可以理解的是前端创造了用户在网站或应用程序中看到的内容和触摸到的体验。相对的，后端需要围绕前端构建程序，并提供前端所需的所有支持，并确保站点或应用始终正常运行，需要设置服务器来存储和检索数据，以及为前端接收到的用户的操作请求提供接口。
参见图1，图1为本发明实施例提供的一种日志记录方法的流程示意图，可以包括：
S101，通过前端为发起操作用户生成对应的追踪标签，并使用追踪标签标记用于表示发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据。
S102，通过后端获取发起操作用户对应的所述追踪标签，并使用追踪标签标记用于表示发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据。
S103，通过位于前端的服务器记录第二待记录用户数据，以使位于前端的服务器将第二待记录用户数据上传至分布式发布订阅消息系统。
S104，通过位于后端的服务器记录第四待记录用户数据，以使位于后端的服务器将第四待记录用户数据上传至分布式发布订阅消息系统。
S105，通过开源流处理框架关联追踪标签相同的第二待记录用户数据和第四待记录用户数据，得到关联数据。
选用该实施例，通过前端为不同用户生成追踪标签，并标记不同用户对应的操作行为的第一待记录用户数据，获得已经标记的第二待记录用户数据，后端获取到前端生成的对应用户的追踪标记，并为标记对应用户的属性信息的第三待记录用户数据，获得已经标记的第四待记录用户数据，分别将第三待记录用户数据和第四待记录用户数据记录到前端服务器和后端服务器，并上传到分布式发布订阅消息系统中，使得后续开源流处理框架可以根据追踪标签关联分布式发布订阅消息系统中的各用户操作行为日志数据和属性状态日志数据，以便后续进行数据分析，通过上述方法，将不同类型的用户数据记录到对应的前端或后端的服务器中，并使用追踪标签将不同用户对应的记录在前端服务器和后端服务器中的日志进行关联，使得日志可以进行后续分析，从而避免了日志记录过程中前后端进行频繁的交互传输数据信息，提高了日志记录服务的效率。
其中，在S101中，如前所述，前端包括的是用户可见的界面，用户可以在前端进行内容浏览和相关操作，例如视频网站的前端页面可以是视频列表，用户可以浏览网页选择感兴趣的视频进行播放，在用户选择视频后，前端可以获取到用户的操作行为相关的数据，即第一待记录用户数据，例如用户选择的视频名称、用户的播放时长等等，同时为发起操作的用户生成唯一标识该用户身份的追踪标签，将该追踪标签标记在第一待记录用户数据上，得到标记了追踪标签的第二待记录用户数据。
在一种可能的实施例中，追踪标签可以是TraceID(追踪身份标识号)，TraceID可以标记前端发起的某个请求，并在后端服务端从接收请求到响应请求过程中流转，甚至接力传递给下游应用中流转，用于唯一标记和定位这次请求。
可以理解的是，在此步骤中，用户在发起操作时，例如选择一个视频进行播放，前端接收到用户的操作后需要向后端请求用户选择的视频的播放接口，在这个过程中，前端可以将为发起操作用户生成的追踪标签传送到后端。
其中，在S102中，还是以视频网站为例，用户在进行视频观看之前通常需要注册账号，进行相关信息的填写，这些信息都可以被保存在视频网站后端的服务器中，如前所述，用户在点击需要播放的视频之后，后端会收到前端发送的请求，并根据该请求确定出该发起操作用户的属性信息，例如用户账号信息、性别、年龄等等用户画面数据，将这些数据作为第三待记录用户数据。同时，如前所述，后端在接收前端的请求时还可以获取到发起操作用户对应的追踪标签，在确定出发起操作用户的第三待记录用户数据后，后端可以将追踪标签标记到第三待记录用户数据中，得到带有标记的第四待记录用户数据。
其中，在S103中，前端可以将带有追踪标签的第二待记录用户数据记录在前端的服务器中，然后通过位于前端的服务器将记录后的第二待记录用户数据上传至分布式发布订阅消息系统。
可以理解的是，由于前端可以直接获取到发起操作用户的操作行为的相关数据，因此，在进行日志记录时，将第二待记录用户数据记录在位于前端的服务器中。而又由于第二待记录用户数据带有发起操作用户对应的追踪标签，因此，将第二待记录用户数据上传到分布式发布订阅消息系统中，可以使得后续在分布式发布订阅消息系统中通过相应的追踪标签来确定出第二待记录用户数据。
在一种可能的实施例中，可以将nginx(反向代理服务器)作为前端的服务器，相应的，在通过位于前端的服务器记录日志时，就可以通过nginx服务器的nginx logserver(反向代理服务器日志服务)记录前端生成的日志信息，即第二待记录用数据，其中，nginx是一个高性能的http协议和反向代理web(全球广域网)服务器，具有占有内存少，并发能力强的特点。
在一种可能的实施例中，分布式发布定位消息系统可以是kafka(一种高吞吐量的分布式发布订阅消息系统)，后端的服务器是通过kafka connect(kafka连接器)将第四待记录用户数据上传到kafka的，kafka connect使得能够快速将大量数据集合移入和移出kafka的连接器变得简单，提高后端日志的传输效率。
其中，在S104中，后端可以将带有追踪标签的第四待记录用户数据记录在位于后端的服务器中，再通过位于后端的服务器将第四待记录用户数据上传到分布式发布订阅消息系统中。
可以理解的是，后端的服务器中直接记录了发起操作用户的相关属性信息，因此，将可以标识操作用户的属性信息的第四待记录用户数据记录在位于后端的服务器中。而又由于第四待记录用户数据带有发起操作用户对应的追踪标签，因此，将第四待记录用户数据上传到分布式发布订阅消息系统中，可以使得后续在分布式发布订阅消息系统中通过追踪标签来获取同一个用户对应的不同数据，从而进行数据关联。以此，实现了根据数据获取渠道的不同，将不同类型的用户数据存储分别记录在前端和后端的服务器中，并且，通过追踪标签标记了同一个用户对应的所有数据，使得后续可以将第二待记录用户数据和第四待记录用户数据进行关联。避免了前端将前端获取到的数据传输到后端，使得后端服务器进行记录，或者后端将后端的数据传输到前端，使得前端服务器进行记录，即，减少了前后端交互的频率。
其中，在S105中，由于开源流处理框架可以从分布式发布订阅消息系统中获取到前端的服务器和后端的服务器上述到分布式发布订阅消息系统中的带有追踪标签的第二待记录用户数据和第四待记录用户数据，因此，开源流处理框架可以根据相同的追踪标签将同一发起操作用户的第二待记录用户数据和第四待记录用户数据关联起来，即，将同一发起操作用户的表示操作行为的数据和属性信息的数据关联起来，这样，实现了在根据用户日志的获取方式的不同将日志分类存储在前端和后端避免前后端频繁交互日志信息，并且还将不同的数据通过追踪标签进行标记并进行关联，从而并不影响对用户日志的后续分析和使用。
在实际应用中，开源流处理框架在关联第二待记录用户数据和第四待记录用户数据得到关联数据后，不能对关联数据进行很好的保存并进行后续数据分析的，因此，在一种可能的实施例中，在获得关联数据后，还可以将关联数据记录到数据湖中以进行后续数据分析。
具体的，数据湖的物理实现上是一个数据存储平台，用来集中化存储海量的、多来源，多种类的数据，并支持对数据进行快速加工和分析，可以在超大数据集上支持数据图表的制作(upset)和流式数据处理(流式append)因此，本实施例中将关联好的可以表现发起操作各方面信息的关联数据记录到数据湖中，可以提供对关联数据的实时分析服务，以便对发起操作用户的分析，并基于分析结果进行提供后续其他服务。
选用该实施例，可以实现对发起操作用户的操作行为信息和属性信息的实时分析，提高日志记录服务的日志分析效率。
另一方面，相关技术中，是通过http协议来从前端传输数据到后端或者从后端传输数据到前端，使得前端或后端的服务器进行记录，而其中，http post(一种http发布方法)可以携带的参数信息是有限的，因此，在相关技术中，日志数据的记录量也有限制。而使用本发明的上述实施例，并不需要通过前后端使用http协议交互的方式获取完整的数据，而是根据数据获取方式的不同直接将数据分别存储在前端的服务器和后端的服务器，从而将压力后置到纯数据处理层面，扩展了日志记录量。
可以理解的是，图1只是步骤S101～S105的执行顺序的一种示例，在实际实现中，在后端获取发起操作用户对应的追踪标签后，后端和前端的后续步骤就可以分别执行，例如，S103和S102可以并列执行，S103和S104也可以并列执行，本发明对此并不限定。
在一种可能的实施例中，如图2所示，本发明还提供了一种日志记录方法，包括：
S201，通过前端为发起操作用户生成对应的追踪标签，并使用追踪标签标记表示发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据。
该步骤与前述S101相同，可以参见前述S101的相关说明，在此不再赘述。
S202，通过后端获取发起操作用户对应的所述追踪标签，并使用追踪标签标记表示发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据。
该步骤与前述S102相同，可以参见前述S102的相关说明，在此不再赘述。
S203，通过位于前端的服务器记录第二待记录用户数据，以使位于前端的服务器将第二待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S103相同，可以参见前述S103的相关说明，在此不再赘述。
S204，通过位于后端的服务器记录第四待记录用户数据，以使位于后端的服务器将第四待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S104相同，可以参见前述S104的相关说明，在此不再赘述。
S205，通过Flink开源流处理框架获取分布式发布订阅消息系统中的第二待记录用户数据和第四待记录用户数据。
可以理解的是，Flink开源流处理框架支持端对端的Exactly-Once投递语义，Exactly-Once是指发送到消息系统的消息只能被消耗端处理且仅处理一次，即使生产端重试消息发送导致某消息重复投递，该消息在消耗端也只被消耗一次。因此，使用Flink框架作为此处的开源流处理框架可以保证从分布式发布订阅消息系统获取的第二待记录用户数据和第四待记录用户数据的准确性，保证数据不丢失且不重复。而Flink开源流处理框架本身，可以在对双流(即第二待记录用户数据和第四待记录用户数据)的关联性能上也可以支持超大吞吐量，可以快速高效率关联第二待记录用户数据和第四待记录用户数据。
S206，通过Flink开源流处理框架将所述追踪标签相同的第二待记录用户数据和第四待记录用户数据进行关联，得到关联数据。
如前所述，Flink支持端对端的Exactly-Once投递语义，因此，Flink框架作为本发明的开源流处理框架，不仅保证了第二待记录用户数据和第四待记录用户数据的获取准确高效，还保证了第二待记录用户数据和第四待记录用户数据的关联准确，例如，不会对已经关联的第二待记录用户数据或第四待记录用户数据重复进行关联，也不会遗漏对某些第二待记录用户数据或第四待记录用户数据的关联。并且，在对第二待记录用户数据和第四待记录用户数据进行关联时是将追踪标签相同的数据进行关联，可以理解的是，由于追踪标签是为发起操作用户生成的对应的标签，因此，若第二待记录用户数据和第四待记录用户数据的追踪标签相同，则说明该第二待记录用户数据和第四待记录用户数据是来自同一发起操作用户的数据，而关联得到的关联数据就可以表示该发起操作用户的操作行为信息和属性信息，即，得到了该发起操作用户完整的日志信息。
选用该实施例，可以准确高效的将第二待记录用户数据和第四待记录用户数据进行关联，获得完整的发起操作用户的日志信息，从而提高了日志记录服务记录日志的准确性。
具体的，在使用Flink开源流处理框架第二待记录用户数据和第四待记录用户数据进行双流关联时有很多方式，示例性的，Flink框架中支持多种窗口，包括：时间窗口、session(会话控制)窗口、count(计数)窗口等，因此，本发明还提供了一种日志记录方法，如图3所示，包括：
S301，通过前端为发起操作用户生成对应的追踪标签，并使用追踪标签标记表示发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据。
该步骤与前述S101相同，可以参见前述S101的相关说明，在此不再赘述。
S302，通过后端获取发起操作用户对应的所述追踪标签，并使用追踪标签标记表示发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据。
该步骤与前述S102相同，可以参见前述S102的相关说明，在此不再赘述。
S303，通过位于前端的服务器记录第二待记录用户数据，以使位于前端的服务器将第二待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S103相同，可以参见前述S103的相关说明，在此不再赘述。
S304，通过位于后端的服务器记录第四待记录用户数据，以使位于后端的服务器将第四待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S104相同，可以参见前述S104的相关说明，在此不再赘述。
S305，通过Flink开源流处理框架获取分布式发布订阅消息系统中的第二待记录用户数据和第四待记录用户数据。
该步骤与前述S205相同，可以参见前述S205的相关说明，在此不再赘述。
S306，通过Flink开源流处理框架的时间窗口，将追踪标签相同的第二待记录用户数据和第四待记录用户数据进行双流关联，得到关联数据。
窗口是Flink开源流处理框架流处理中的核心，对于Flink开源流处理框架来说，流入的数据是无限的，在进行流处理时需要对流入的数据进行分段，而对数据的分段可以被称为窗口。如前所述，Flink支持的窗口类型有多种，具体到Flink的时间窗口，它是基于时间间隔对数据进行分段处理的。时间窗口可以被分类滚动时间窗口和滑动时间窗口，滚动时间窗口是依据固定的窗口长度对数据进行切片，特点是时间对齐，窗口长度固定，窗口没有重叠，滑动时间窗口由固定的窗口长度和滑动间隔组成，特点是时间对齐，窗口长度固定，窗口有重叠。由于时间窗口本身是基于时间间隔对数据进行处理的，因此，不论是滑动时间窗口还是滚动时间窗口都可以基于时间控制第二待记录数据和第四待记录数据的关联，都可以延迟消耗Flink从分布式发布订阅消息系统中获取到的后端的第四待记录数据。
以使用滚动时间窗口进行双流关联为例，在使用滚动时间窗口时，可以通过滚动时间窗口将Flink获取到的后端的第四待记录数据每2分钟流入一次，从而使得正常流入的前端的第二待记录数据与每2分钟才流入一次的少量的第四待记录数据关联起来，这样通过Flink的时间窗口进行双流关联获得关联数据时，可以延迟消耗Flink从分布式发布订阅消息系统中获取到的后端的第四待记录数据，即，延迟消耗发起操作用户的属性信息。
选用该实施例，采用通过Flink的时间窗口将第二待记录用户数据和第四待记录用户数据进行双流关联，可以延迟从第四待记录数据的消耗，从而最大化保存分布式发布订阅消息系统中的第四待记录数据，即发起操作用户的属性信息，可以理解的是，发起操作用户的属性信息(性别、年龄等)并不像从前端获取的第二待记录用户数据(用户对网页的浏览时间，点击操作等)，发起操作用户的属性信息并不会实时更新变化，同一个发起操作用户的不同的第二待记录用户数据(对不同内容的浏览和点击操作)对应的发起操作用户的属性信息大多数是相同的，因此，在对第二待记录用户数据和第四待记录用户数据进行双流关联时，可以通过Flink的时间窗口，延迟消耗第四待记录数据，减少Flink从分布式发布订阅消息系统频繁获取第四待记录数据的次数，进而提高日志记录服务记录日志的效率。
在一种可能的实施例中，本发明还提供了一种日志记录方法，如图4所示，方法包括：
S401，通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签。
S402，通过位于前端的服务器将追踪标签放入用于表示发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
S403，通过后端获取发起操作用户对应的所述追踪标签，并使用追踪标签标记表示发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据。
该步骤与前述S102相同，可以参见前述S102的相关说明，在此不再赘述。
S404，通过位于前端的服务器记录第二待记录用户数据，以使位于前端的服务器将第二待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S103相同，可以参见前述S103的相关说明，在此不再赘述。
S405，通过位于后端的服务器记录第四待记录用户数据，以使位于后端的服务器将第四待记录用户数据上传至分布式发布订阅消息系统。
该步骤与前述S104相同，可以参见前述S104的相关说明，在此不再赘述。
S406，通过开源流处理框架关联追踪标签相同的第二待记录用户数据和第四待记录用户数据，得到关联数据。
该步骤与前述S105相同，可以参见前述S105的相关说明，在此不再赘述。
其中，在S401中，前端的服务器在每接收一次用户发送的操作前都会进行一次初始化，由于发起操作用户在进行发起如视频点击，内容选择等操作前基本都会登录其账号等信息，因此，在前端的服务器每次进行初始化时，都可以通过前端的服务器为发起操作用户每次发起的操作生成的追踪标签，作为一种示例，若将nginx作为前端的服务器，在前端每次接收到发起操作用户的请求前，nginx服务器会初始化，在初始化的过程中为发起操作用户生成对应于该用户的该次操作行为的TraceID。
其中，在S402中，在前端的服务器生成追踪标签后，若发起操作用户在前端发起操作，则前端的服务器也可以获取到对应于该追踪标签的表示用户的操作行为的第一待记录用户数据，并将该追踪标签放置到该第一待记录用户数据的头文件中，从而得到标记后的第二待记录用户数据。作为一种示例，若将nginx作为前端的服务器，在接收到用户发起的操作后，nginx会将初始化生成的TraceId放入第一待记录用户数据的head(头文件)中。
选用该实施例，可以快速方便地为发起操作用户的每次操作都生成对应的追踪标签，并且将不同的追踪标签标记到对应的第一待记录用户数据中，得到同一发起操作用户不同的第二待记录用户数据，使得后续在进行数据关联时可以获得更加精细的关联数据，从而提高了日志记录服务记录日志的准确性。
在一种可能的实施例中，本发明还提供了一种日志记录方法，如图6所示，以下是对该日志记录方法的具体说明：
前端为发起操作用户生成TraceID(追踪身份)，位于前端的Mixer(混合器)可以接收到客户端的用户操作请求，并将该请求转发给后端的AdServer(广告服务器)，前端将TraceID标记在Mixer接收到的用户操作数据中，并且在前端的Mixer将请求转发给后端的AdServer时，在该转发过程中前端可以将为发起操作用户生成的TraceID标记传输到后端，从而使得后端的AdServer中的发起操作用户的属性信息也被相同的TraceID标记，前端将标记后的操作行为数据记录在前端的服务器并上传到分布式发布订阅消息系统，后端将标记后的属性信息数据记录在后端的服务器并上传到分布式发布订阅消息系统。
再通过Flink框架从分布式发布订阅消息系统中获取到已经标记过的操作行为数据和属性信息数据，将TraceID相同的操作行为数据和属性信息数据关联起来，获得一个完整的发起操作用户的日志数据，将该日志数据记录在数据湖中进行实时分析。
选用该实施例，可以将不同类型的用户数据记录到对应的前端或后端的服务器中，并使用TraceID将不同用户对应的记录在前端服务器和后端服务器中的日志进行关联，使得日志可以进行后续分析，从而避免了日志记录过程中前后端进行频繁的交互传输数据信息，提高了日志记录服务的效率。
作为一种实际的应用场景示例，在相关广告引擎进行ABtest(A/B测试)时，通常都是在接收到的各个不同的流量数据上进行业务标记，就可以通过不同流量数据对应的业务标记区分实验场景下该流量数据的流量属性、算法校验参数，以及当此次流量数据对应的模型的广告业务。而上述流量属性、算法校验参数和模型都是需要后端通过http协议给url添加附加值的方式由后端传递到前端，使得前端结合当次流量数据和当次流量数据对应的流量属性、算法校验参数和模型，获得完整的日志数据，进而后续可以对该完整的日志数据进行记录、分析和区分，以便得到A/B测试结果。可以理解的是，在此方案中，前端每次收到流量数据，如用户对广告的观看点击等等，都需要后端通过http协议的url附加值的方式由后端传递到前端，并由前端进行整合，传输效率低且前端负担大。
而选用本发明的上述实施例，不需要从后端将流量属性、算法校验参数和模型都传输到前端中，使得前端的服务器进行记录，只需要将前端接收到流量数据后，生成TraceID，并使用TraceID对该流量数据进行标记，在流量数据请求的过程中，将该TraceID传递到后端，使得后端将TraceID标记到该流量数据对应的流量属性、算法校验参数和模型中，在后端将TraceID标记到该流量数据对应的流量属性、算法校验参数和模型中，后端技术人员可以根据不同的TraceID确定是否需要为对应的流量数据关联对应流量数据、算法校验参数或模型，若需要，可以通过后端将TraceID标记到该流量数据对应的流量属性、算法校验参数或模型中，分别通过前端和后端将标记后的流量数据和标记后的流量属性、算法校验参数和模型上传到kafka中。通过Flink将TraceID相同的标记后的流量数据和标记后的流量属性、算法校验参数通过时间窗口进行双流关联，得到完整的日志数据，将该完整的日志数据上传到数据湖中，以便进行分析得到A/B测试结果。
从而使得前端可以不再负责对流量数据与流量属性、算法校验参数和模型进行记录分析整合，减轻了前端负担，也提高了测试效率。
参见图5，图5所示为本发明实施例提供的一种日志记录装置的结构示意图，可以包括：
前端数据标记模块501，用于通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；
后端数据标记模块502，用户通过后端获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；
前端日志记录模块503，用于通过位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
后端日志记录模块504，用于通过位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
关联模块505，用于通过开源流处理框架关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据。
在一种可能的实施例中，所述关联模块505包括：
数据获取单元，用于通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；
数据关联单元，用于通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述数据关联单元具体用于，通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据。
在一种可能的实施例中，所述前端数据标记模块501包括：
追踪标签生成单元，用于通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签；
待记录数据标记单元，用于通过所述位于前端的服务器将所述追踪标签放入用于表示所述发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
本发明实施例还提供了一种日志记录系统，如图6所示，包括前端601、后端602和开源流处理框架603，其中，
前端，用于为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；使位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
后端，用于获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；使位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
开源流处理框架，用于关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一日志记录方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一日志记录方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (6)
1.一种日志记录方法，其特征在于，所述方法包括：
通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；所述追踪标签用于唯一标识发起操作的用户的用户身份；
通过后端获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；
通过位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
通过位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
通过开源流处理框架关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据；
所述通过开源流处理框架根据所述追踪标签关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据，包括：
通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；
通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据；
所述通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据，包括：
通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行双流关联，得到关联数据；所述时间窗口基于时间间隔对数据进行分段处理。
2.根据权利要求1所述的方法，其特征在于，所述通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据，包括：
通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签；
通过所述位于前端的服务器将所述追踪标签放入用于表示所述发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
3.一种日志记录装置，其特征在于，所述装置包括：
前端数据标记模块，用于通过前端为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；所述追踪标签用于唯一标识发起操作的用户的用户身份；
后端数据标记模块，用户通过后端获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；
前端日志记录模块，用于通过位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；
后端日志记录模块，用于通过位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
关联模块，用于通过开源流处理框架关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据；
所述关联模块包括：
数据获取单元，用于通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；
数据关联单元，用于通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据；
所述数据关联单元具体用于，通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据；所述时间窗口基于时间间隔对数据进行分段处理。
4.根据权利要求3所述的装置，其特征在于，所述前端数据标记模块包括：
追踪标签生成单元，用于通过位于前端的服务器进行初始化操作，为发起操作用户生成对应的追踪标签；
待记录数据标记单元，用于通过所述位于前端的服务器将所述追踪标签放入用于表示所述发起操作用户的操作行为的第一待记录用户数据头文件中，得到标记后的第二待记录用户数据。
5.一种日志记录系统，其特征在于，包括前端、后端和开源流处理框架，其中，
前端，用于为发起操作用户生成对应的追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的操作行为的第一待记录用户数据，得到标记后的第二待记录用户数据；使位于前端的服务器记录所述第二待记录用户数据，以使所述位于前端的服务器将所述第二待记录用户数据上传至分布式发布订阅消息系统；所述追踪标签用于唯一标识发起操作的用户的用户身份；
后端，用于获取所述发起操作用户对应的所述追踪标签，并使用所述追踪标签标记用于表示所述发起操作用户的属性信息的第三待记录用户数据，得到标记后的第四待记录用户数据；使位于后端的服务器记录所述第四待记录用户数据，以使所述位于后端的服务器将所述第四待记录用户数据上传至分布式发布订阅消息系统；
开源流处理框架，用于关联所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据，得到关联数据；
所述开源流处理框架，具体用于通过Flink开源流处理框架获取所述分布式发布订阅消息系统中的所述第二待记录用户数据和所述第四待记录用户数据；通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据；其中，所述通过Flink开源流处理框架将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行关联，得到关联数据，包括：通过Flink开源流处理框架的时间窗口，将所述追踪标签相同的所述第二待记录用户数据和所述第四待记录用户数据进行双流关联，得到关联数据；所述时间窗口基于时间间隔对数据进行分段处理。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-2任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210257400.5A CN114629929B (zh) | 2022-03-16 | 2022-03-16 | 一种日志记录方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210257400.5A CN114629929B (zh) | 2022-03-16 | 2022-03-16 | 一种日志记录方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114629929A CN114629929A (zh) | 2022-06-14 |
| CN114629929B true CN114629929B (zh) | 2024-03-08 |
Family
ID=81902534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210257400.5A Active CN114629929B (zh) | 2022-03-16 | 2022-03-16 | 一种日志记录方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114629929B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115391408A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市华曦达科技股份有限公司 | 一种视频的日志追踪方法、装置和电子设备 |
| CN116225879B (zh) * | 2023-05-06 | 2023-07-18 | 天津金城银行股份有限公司 | 一种节点脱落分析方法、装置和计算机终端 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015076658A1 (en) * | 2013-11-25 | 2015-05-28 | Mimos Berhad | A system and method for secure transaction log for server logging |
| CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
| CN108694213A (zh) * | 2017-04-12 | 2018-10-23 | 艺龙网信息技术（北京）有限公司 | 日志文件的生成方法、检索方法及装置 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
| CN111159590A (zh) * | 2019-12-31 | 2020-05-15 | 亚信科技（中国）有限公司 | 一种基于前后端业务调用链路的串联方法及装置 |
| CN111352902A (zh) * | 2020-02-28 | 2020-06-30 | 中国平安人寿保险股份有限公司 | 日志处理方法、装置、终端设备及存储介质 |
| WO2020173377A1 (zh) * | 2019-02-28 | 2020-09-03 | 华为技术有限公司 | 一种日志信息生成方法、装置及电子设备 |
| CN112003831A (zh) * | 2020-07-29 | 2020-11-27 | 苏州玩蜂软件科技有限公司 | 一种分布式环境下的日志收集系统及日志收集方法 |
| CN113127307A (zh) * | 2021-04-25 | 2021-07-16 | 北京大米科技有限公司 | 溯源请求的处理方法、相关装置、系统及存储介质 |
| CN113407511A (zh) * | 2021-06-23 | 2021-09-17 | 中移（杭州）信息技术有限公司 | 日志聚合方法、设备及计算机程序产品 |
| CN113448936A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种日志跟踪方法、装置、服务器、系统及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11436217B2 (en) * | 2019-03-28 | 2022-09-06 | Amazon Technologies, Inc. | Ordered append-only log based data storage |
| US11256604B2 (en) * | 2020-01-24 | 2022-02-22 | Splunk Inc. | Multiple modes of data collection and analysis in a microservices-based architecture |
-
2022
- 2022-03-16 CN CN202210257400.5A patent/CN114629929B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015076658A1 (en) * | 2013-11-25 | 2015-05-28 | Mimos Berhad | A system and method for secure transaction log for server logging |
| CN108694213A (zh) * | 2017-04-12 | 2018-10-23 | 艺龙网信息技术（北京）有限公司 | 日志文件的生成方法、检索方法及装置 |
| CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
| WO2020173377A1 (zh) * | 2019-02-28 | 2020-09-03 | 华为技术有限公司 | 一种日志信息生成方法、装置及电子设备 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
| CN111159590A (zh) * | 2019-12-31 | 2020-05-15 | 亚信科技（中国）有限公司 | 一种基于前后端业务调用链路的串联方法及装置 |
| CN111352902A (zh) * | 2020-02-28 | 2020-06-30 | 中国平安人寿保险股份有限公司 | 日志处理方法、装置、终端设备及存储介质 |
| CN113448936A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种日志跟踪方法、装置、服务器、系统及存储介质 |
| CN112003831A (zh) * | 2020-07-29 | 2020-11-27 | 苏州玩蜂软件科技有限公司 | 一种分布式环境下的日志收集系统及日志收集方法 |
| CN113127307A (zh) * | 2021-04-25 | 2021-07-16 | 北京大米科技有限公司 | 溯源请求的处理方法、相关装置、系统及存储介质 |
| CN113407511A (zh) * | 2021-06-23 | 2021-09-17 | 中移（杭州）信息技术有限公司 | 日志聚合方法、设备及计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114629929A (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10313726B2 (en) | Distributing media content via media channels based on associated content being provided over other media channels | |
| US20240078217A1 (en) | Systems and Methods of Generating Analytical Data Based on Captured Audit Trails | |
| JP6084954B2 (ja) | ソーシャルネットワークの更新におけるメディアオブジェクトの一部分へのリンクのリアルタイムな提供を行う方法、及びコンピューティングデバイス | |
| CN114629929B (zh) | 一种日志记录方法、装置及系统 | |
| US20170164030A1 (en) | Discovery and analytics for episodic downloaded media | |
| WO2018036272A1 (zh) | 新闻内容的推送方法、电子装置及计算机可读存储介质 | |
| US9559992B2 (en) | System and method for updating information in an instant messaging application | |
| US10740394B2 (en) | Machine-in-the-loop, image-to-video computer vision bootstrapping | |
| US7987243B2 (en) | Method for media discovery | |
| CN104813357A (zh) | 用于直播媒体内容匹配的系统和方法 | |
| JP6328846B2 (ja) | アダプティブビットレートストリーミングと関連したメッセージングを使用してモバイルプラットフォーム用のメディア監視を行うこと | |
| CN110728370B (zh) | 训练样本的生成方法、装置、服务器及存储介质 | |
| US11006180B2 (en) | Media clipper system | |
| WO2014176896A1 (en) | System and method for updating information in an instant messaging application | |
| CN104602119A (zh) | 视频转码、解码方法和装置及相关的信息发布控制方法和系统 | |
| US20220383350A1 (en) | Tracking user engagement and user impressions | |
| US9602852B1 (en) | Metering of internet protocol video streams | |
| CN104077426A (zh) | 数据记录方法及装置 | |
| CN108073638B (zh) | 数据诊断方法及装置 | |
| CN112601129B (zh) | 视频交互系统、方法和接收端 | |
| KR20150058868A (ko) | Html5를 기반으로 하는 오프라인상에서의 웹브라우징 방법 | |
| CN108228829B (zh) | 用于生成信息的方法和装置 | |
| CN115544994B (zh) | 数据推送方法、装置、电子设备以及可读存储介质 | |
| US20230370687A1 (en) | Method and system for creating video heat maps | |
| CN113778837A (zh) | 页面故障确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |