CN110611592B - 日志记录方法及设备 - Google Patents

日志记录方法及设备 Download PDF

Info

Publication number
CN110611592B
CN110611592B CN201910890121.0A CN201910890121A CN110611592B CN 110611592 B CN110611592 B CN 110611592B CN 201910890121 A CN201910890121 A CN 201910890121A CN 110611592 B CN110611592 B CN 110611592B
Authority
CN
China
Prior art keywords
log
log information
consumed
access request
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910890121.0A
Other languages
English (en)
Other versions
CN110611592A (zh
Inventor
张鑫
张鲲
胡博
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201910890121.0A priority Critical patent/CN110611592B/zh
Publication of CN110611592A publication Critical patent/CN110611592A/zh
Application granted granted Critical
Publication of CN110611592B publication Critical patent/CN110611592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种日志记录方法及设备，该方法包括：根据请求者端发送的WEB访问请求，采集相关日志信息；将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；根据所述WEB访问请求进行相应的业务处理，即对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标，解决了现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。

Description

日志记录方法及设备
技术领域
本申请实施例涉及日志技术领域，尤其涉及一种日志记录方法及设备。
背景技术
日志，是指在软件源代码中加入了一些特定的语句，可以将软件运行的实时状态记录在文本文件中。日志在WEB应用中的使用非常广泛，记录访问者相关信息等，尤其在产品环境中，需要通过统计大量访问日志来分析当前应用的运行指标和运营情况，从而为系统运行参数调整和业务扩展进行有效指导。
现有对WEB访问请求的日志记录主要采用的是同步处理方案，也就是在请求处理过程中对访问日志进行同步操作处理，将日志信息同步的写入到文件系统或数据库存储。
然而，产品环境中访问请求的处理过程要求低延迟高并发，同步处理日志的方式增加了访问请求的延迟时间并降低了程序并发处理能力。
发明内容
本申请实施例提供一种日志记录方法及设备，以克服现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。
第一方面，本申请实施例提供一种日志记录方法，包括：
根据请求者端发送的WEB访问请求，采集相关日志信息；
将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；
根据所述WEB访问请求进行相应的业务处理。
在一种可能的设计中，在所述根据请求者端发送的WEB访问请求，采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装；
所述将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
将包装后的日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
在一种可能的设计中，在所述根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
第二方面，本申请实施例提供另一种日志记录方法，包括：
接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理；
对所述待消费日志消息进行归集存储。
在一种可能的设计中，在所述对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
第三方面，本申请实施例提供再一种日志记录方法，包括：
请求者端发送WEB访问请求至请求响应服务端；
所述请求响应服务端根据所述WEB访问请求采集相关日志信息，并将所述日志信息发送至全局消息队列；
所述全局消息队列发送待消费日志消息至日志消息处理终端；
所述日志消息处理终端对所述待消费日志消息进行归集存储；
所述请求响应服务端根据所述WEB访问请求进行相应的业务处理。
在一种可能的设计中，所述请求响应服务端根据所述WEB访问请求采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装，将包装后的日志信息发送至所述全局消息队列；
所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
在一种可能的设计中，所述请求响应服务端根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
在一种可能的设计中，所述日志消息处理终端对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果，向所述全局消息队列响应获取的结果。
第四方面，本申请实施例提供一种日志记录设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现如下步骤：
根据请求者端发送的WEB访问请求，采集相关日志信息；
将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；
根据所述WEB访问请求进行相应的业务处理。
在一种可能的设计中，在所述根据请求者端发送的WEB访问请求，采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装；
所述将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
将包装后的日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
在一种可能的设计中，在所述根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
第五方面，本申请实施例提供另一种日志记录设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现如下步骤：
接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理；
对所述待消费日志消息进行归集存储。
在一种可能的设计中，在所述对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的日志记录方法。
第七方面，本申请实施例提供另一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第二方面以及第二方面各种可能的设计所述的日志记录方法。
本申请实施例提供的日志记录方法及设备，该方法根据请求者端发送的WEB访问请求，采集相关日志信息，然后将该日志信息发送至全局消息队列，根据上述WEB访问请求进行相应的业务处理，其中，该日志信息用于指示全局消息队列发送待消费日志消息至日志消息处理终端，待消费日志消息用于指示日志消息处理终端对待消费日志消息进行归集存储，即对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标，解决了现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种日志记录系统架构示意图；
图2为本申请实施例提供的一种日志记录方法的流程示意图；
图3为本申请实施例提供的另一种日志记录方法的流程示意图；
图4为本申请实施例提供的再一种日志记录方法的流程示意图；
图5为本申请实施例提供的一种日志记录设备的结构示意图；
图6为本申请实施例提供的另一种日志记录设备的结构示意图；
图7为本申请实施例提供的日志记录设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有对WEB访问请求的日志记录主要采用的是同步处理方案，也就是在请求处理过程中对访问日志进行同步操作处理，将日志信息同步的写入到文件系统或数据库存储。然而，产品环境中访问请求的处理过程要求低延迟高并发，同步处理日志的方式增加了访问请求的延迟时间并降低了程序并发处理能力。
因此，考虑到上述问题，本申请提供一种日志记录方法，对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标。
本申请提供的一种日志记录方法，可以适用于图1所示的日志记录系统架构示意图，如图1所示，请求响应服务端101可以根据请求者端102发送的WEB访问请求，采集相关日志信息，请求响应服务端101可以将该日志信息发送至全局消息队列103，全局消息队列103发送待消费日志消息至日志消息处理终端104，日志消息处理终端104对所述待消费日志消息进行归集存储，请求响应服务端101还可以根据所述WEB访问请求进行相应的业务处理。
这里，请求者(Requester)端在发起WEB访问请求后，请求响应服务(Web Server)端采集访问者相关日志信息，并将获取到的访问日志信息单向发送到全局消息队列(Global Message Queue)，请求响应服务(Web Server)端不用等待消息返回即直接进行后续的业务处理，并返回业务处理结果给请求者(requester)端。日志记录客户端作为日志消息处理终端(Log Record Client)将取出待消费日志消息，获取到访问日志信息，并持久到后端归集存储(Store)。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的一种日志记录方法的流程示意图，本申请实施例的执行主体可以为图1所示实施例中的请求响应服务端。如图2所示，该方法可以包括：
S201：根据请求者端发送的WEB访问请求，采集相关日志信息。
这里，请求者端发起WEB访问请求后，请求响应服务端根据请求者端发送的WEB访问请求，采集相关日志信息，其中，上述日志信息包括访问者浏览器详情、访问者IP、访问者操作的数据、接口请求的信息、异常提示信息等。
可选地，在所述根据请求者端发送的WEB访问请求，采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装。
其中，序列化(Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。
S202：将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储。
示例性的，请求响应服务端将获取到的访问日志信息进行序列化包装后，例如标准序列化包装后，单向发送相应信息到全局消息队列。
可选地，所述将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
将包装后的日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
这里，日志记录客户端作为日志消息处理终端将取出待消费日志消息，通过标准反序列化解析后获取到详细的访问日志信息，并持久到后端归集存储。
S203：根据所述WEB访问请求进行相应的业务处理。
可选地，在所述根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
这里，请求者端在发起WEB访问请求后,请求响应服务端采集访问者相关日志信息，并将获取到的访问日志信息进行标准序列化包装后单向发送到全局消息队列，请求响应服务端不用等待消息返回即直接进行后续的业务处理，并返回业务处理结果给请求者端。
从上述描述可知，本申请实施例根据请求者端发送的WEB访问请求，采集相关日志信息，然后将该日志信息发送至全局消息队列，根据上述WEB访问请求进行相应的业务处理，其中，该日志信息用于指示全局消息队列发送待消费日志消息至日志消息处理终端，待消费日志消息用于指示日志消息处理终端对待消费日志消息进行归集存储，即对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标，解决了现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。
图3为本申请实施例提供的另一种日志记录方法的流程示意图，本申请实施例的执行主体可以为图1所示实施例中的日志消息处理终端。如图3所示，该方法包括：
S301：接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理。
这里，请求者端在发起WEB访问请求后，请求响应服务端采集访问者相关日志信息，并将获取到的访问日志信息单向发送到全局消息队列，请求响应服务端不用等待消息返回即直接进行后续的业务处理，并返回业务处理结果给请求者端。日志消息处理终端从全局消息队列中取出待消费日志消息，获取到访问日志信息，并持久到后端归集存储。
另外，请求响应服务端可以对上述日志信息进行序列化包装。日志消息处理终端获取待消费日志消息后，对消息进行反序列化解包以提取访问日志详细信息。
S302：对所述待消费日志消息进行归集存储。
可选地，在所述对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
本申请实施例提供的日志记录方法，对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标，解决了现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。
图4为本申请实施例提供的再一种日志记录方法的流程示意图，本申请实施例从请求者端、请求响应服务端、全局消息队列、日志消息处理终端等多端进行方案描述。如图4所示，该方法包括：
S401：请求者端发送WEB访问请求至请求响应服务端。
S402：请求响应服务端根据所述WEB访问请求采集相关日志信息。
可选地，所述请求响应服务端根据所述WEB访问请求采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装，将包装后的日志信息发送至所述全局消息队列。
S403：请求响应服务端将上述日志信息发送至全局消息队列。
S404：全局消息队列发送待消费日志消息至日志消息处理终端。
S405：日志消息处理终端对所述待消费日志消息进行归集存储。
可选地，所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
可选地，所述日志消息处理终端对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果，向所述全局消息队列响应获取的结果。
S406：请求响应服务端根据所述WEB访问请求进行相应的业务处理。
可选地，所述请求响应服务端根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
这里，请求者(Request)端发起WEB访问请求。请求响应服务(Web Server)端序列化包装访问日志，进行请求业务处理，并将包装后的日志消息单向发送到全局消息队列(Global Message Queue)且不等待返回结果。另外，请求响应服务端将业务处理结果响应给请求者端。
日志消息处理终端(Log Record Client)获取待消费日志消息，对消息进行反序列化解包以提取访问日志详细信息，并将解包的访问日志进行持久化归集存储(Store)，获取持久化归集存储结果，向全局消息队列响应返回日志消息存储结果。
本申请实施例提供的日志记录方法，对WEB服务的访问日志记录操作进行异步分离，以消息推送的方式实现访问日志的异步处理，能够高效完整的记录访问日志，又不降低业务系统性能指标，解决了现有对WEB访问请求的日志记录采用同步处理方案，增加了访问请求的延迟时间并降低了程序并发处理能力的问题。
对应于上文实施例的日志记录方法，图5为本申请实施例提供的一种日志记录设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图5为本申请实施例提供的一种日志记录设备的结构示意图。如图5所示，该日志记录设备50包括：信息获取模块501、信息发送模块502、业务处理模块503以及信息包装模块504。
其中，信息获取模块501，用于根据请求者端发送的WEB访问请求，采集相关日志信息。
信息发送模块502，用于将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；
业务处理模块503，用于根据所述WEB访问请求进行相应的业务处理。
在一种可能的设计中，信息包装模块504，用于在所述信息获取模块501根据请求者端发送的WEB访问请求，采集相关日志信息之后，对所述日志信息进行序列化包装。
所述信息发送模块502，具体用于：
将包装后的日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
在一种可能的设计中，所述业务处理模块503在所述根据所述WEB访问请求进行相应的业务处理之后，还用于：
将处理结果响应给所述请求者端。
本申请实施例提供的设备，可用于执行上述图2方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图6为本发明实施例提供的另一种日志记录设备的结构示意图。如图6所示，该日志记录设备60包括：消息接收模块601和消息处理模块602。
其中，消息接收模块601，用于接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理。
消息处理模块602，用于对所述待消费日志消息进行归集存储。
在一种可能的设计中，所述消息处理模块602在所述对所述待消费日志消息进行归集存储之后，还用于：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
本申请实施例提供的设备，可用于执行上述图3方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图7为本发明实施例提供的日志记录设备的硬件结构示意图。如图7所示，本实施例的日志记录设备70包括：处理器701以及存储器702；其中
存储器702，用于存储计算机执行指令；
处理器701，用于执行存储器存储的计算机执行指令，以实现如下步骤：
根据请求者端发送的WEB访问请求，采集相关日志信息；
将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；
根据所述WEB访问请求进行相应的业务处理。
在一种可能的设计中，在所述根据请求者端发送的WEB访问请求，采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装；
所述将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
将包装后的日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
在一种可能的设计中，在所述根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
可选地，存储器702既可以是独立的，也可以跟处理器701集成在一起。
当存储器702独立设置时，该日志记录设备还包括总线703，用于连接所述存储器702和处理器701。
本发明实施例提供另一种日志记录设备包括：处理器以及存储器；其中
存储器，用于存储计算机执行指令；
处理器，用于执行存储器存储的计算机执行指令，以实现如下步骤：
接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理；
对所述待消费日志消息进行归集存储。
在一种可能的设计中，在所述对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
可选地，存储器既可以是独立的，也可以跟处理器集成在一起。
当存储器独立设置时，该日志记录设备还包括总线，用于连接所述存储器和处理器。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上图2所述的日志记录方法。
本发明实施例提供另一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上图3所述的日志记录方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种日志记录方法，其特征在于，应用于请求响应服务端，所述方法包括：
根据请求者端发送的WEB访问请求，采集相关日志信息；
将所述日志信息发送至全局消息队列，所述日志信息用于指示所述全局消息队列发送待消费日志消息至日志消息处理终端，所述待消费日志消息用于指示所述日志消息处理终端对所述待消费日志消息进行归集存储；
在将包装后的日志信息发送至全局消息队列时，根据所述WEB访问请求进行相应的业务处理，以异步处理访问日志。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
3.一种日志记录方法，其特征在于，应用于日志消息处理终端，所述方法包括：
接收全局消息队列发送的待消费日志消息，其中，所述全局消息队列接收请求响应服务端发送的日志信息，所述日志信息为根据请求者端发送的WEB访问请求，采集的相关日志信息，所述WEB访问请求用于指示所述请求响应服务端根据所述WEB访问请求进行相应的业务处理；其中，所述请求响应服务端用于在将所述日志信息发送至全局消息队列时，根据所述WEB访问请求进行相应的业务处理，以异步处理访问日志；
对所述待消费日志消息进行归集存储。
4.根据权利要求3所述的方法，其特征在于，在所述对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果；
向所述全局消息队列响应获取的结果。
5.一种日志记录方法，其特征在于，包括：
请求者端发送WEB访问请求至请求响应服务端；
所述请求响应服务端根据所述WEB访问请求采集相关日志信息，并将所述日志信息发送至全局消息队列；
所述全局消息队列发送待消费日志消息至日志消息处理终端；
所述日志消息处理终端对所述待消费日志消息进行归集存储；
所述请求响应服务端在将所述日志信息发送至全局消息队列时，根据所述WEB访问请求进行相应的业务处理，以异步处理访问日志。
6.根据权利要求5所述的方法，其特征在于，所述请求响应服务端根据所述WEB访问请求采集相关日志信息之后，还包括：
对所述日志信息进行序列化包装，将包装后的日志信息发送至所述全局消息队列；
所述日志消息处理终端对所述待消费日志消息进行归集存储，包括：
所述日志消息处理终端对所述待消费日志消息进行反序列化解析，获得相应日志信息，并对获得的日志消息进行归集存储。
7.根据权利要求5所述的方法，其特征在于，所述请求响应服务端在将所述日志信息发送至全局消息队列时，根据所述WEB访问请求进行相应的业务处理之后，还包括：
将处理结果响应给所述请求者端。
8.根据权利要求5所述的方法，其特征在于，所述日志消息处理终端对所述待消费日志消息进行归集存储之后，还包括：
获取归集存储结果，向所述全局消息队列响应获取的结果。
9.一种日志记录设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现权利要求1或2所述的日志记录方法。
10.一种日志记录设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现权利要求3或4所述的日志记录方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1或2所述的日志记录方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求3或4所述的日志记录方法。
CN201910890121.0A 2019-09-20 2019-09-20 日志记录方法及设备 Active CN110611592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910890121.0A CN110611592B (zh) 2019-09-20 2019-09-20 日志记录方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910890121.0A CN110611592B (zh) 2019-09-20 2019-09-20 日志记录方法及设备

Publications (2)

Publication Number Publication Date
CN110611592A CN110611592A (zh) 2019-12-24
CN110611592B true CN110611592B (zh) 2023-04-07

Family

ID=68891633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910890121.0A Active CN110611592B (zh) 2019-09-20 2019-09-20 日志记录方法及设备

Country Status (1)

Country Link
CN (1) CN110611592B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400156A (zh) * 2020-03-16 2020-07-10 中国联合网络通信集团有限公司 日志分析方法和装置
CN112506686A (zh) * 2020-11-05 2021-03-16 北京和利时系统工程有限公司 一种dcs控制器日志系统实现方法和装置
CN112559476B (zh) * 2020-12-16 2023-07-21 中国平安人寿保险股份有限公司 一种用于提高目标系统性能的日志存储方法及其相关设备
CN112783906A (zh) * 2020-12-30 2021-05-11 常州微亿智造科技有限公司 工业互联网的日志数据管理方法和系统
CN113141393B (zh) * 2021-03-25 2023-04-07 杭州博联智能科技股份有限公司 动态边缘网关日志采集和管理方法、系统、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642104A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种系统日志实现方法和装置
CN105119752A (zh) * 2015-09-08 2015-12-02 北京京东尚科信息技术有限公司 一种分布式日志采集方法、装置及系统
CN105224444A (zh) * 2015-10-14 2016-01-06 深圳市金证科技股份有限公司 日志生成方法及装置
CN105608188A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 数据处理方法和数据处理装置
CN106254132A (zh) * 2016-08-29 2016-12-21 浪潮电子信息产业股份有限公司 一种基于ActiveMQ实现远程记录日志的方法
CN106682119A (zh) * 2016-12-08 2017-05-17 杭州销冠网络科技有限公司 基于http服务切面与日志系统的异步数据同步方法和系统
CN106777026A (zh) * 2016-12-08 2017-05-31 用友网络科技股份有限公司 支持微服务架构事务最终一致性的方法、装置及系统
CN107239382A (zh) * 2017-06-23 2017-10-10 深圳市冬泉谷信息技术有限公司 一种容器应用的日志处理方法及系统
CN108170538A (zh) * 2017-12-08 2018-06-15 北京奇艺世纪科技有限公司 一种信息处理方法、装置以及电子设备
CN109241187A (zh) * 2018-09-01 2019-01-18 山东共达电声股份有限公司 基于Kafka消息队列的MongoDB日志采集和分析系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763044A (zh) * 2018-05-30 2018-11-06 中国建设银行股份有限公司 一种日志处理方法及装置
CN110175154A (zh) * 2019-05-17 2019-08-27 深圳前海微众银行股份有限公司 一种日志记录的处理方法、服务器及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642104A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种系统日志实现方法和装置
CN105119752A (zh) * 2015-09-08 2015-12-02 北京京东尚科信息技术有限公司 一种分布式日志采集方法、装置及系统
CN105224444A (zh) * 2015-10-14 2016-01-06 深圳市金证科技股份有限公司 日志生成方法及装置
CN105608188A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 数据处理方法和数据处理装置
CN106254132A (zh) * 2016-08-29 2016-12-21 浪潮电子信息产业股份有限公司 一种基于ActiveMQ实现远程记录日志的方法
CN106682119A (zh) * 2016-12-08 2017-05-17 杭州销冠网络科技有限公司 基于http服务切面与日志系统的异步数据同步方法和系统
CN106777026A (zh) * 2016-12-08 2017-05-31 用友网络科技股份有限公司 支持微服务架构事务最终一致性的方法、装置及系统
CN107239382A (zh) * 2017-06-23 2017-10-10 深圳市冬泉谷信息技术有限公司 一种容器应用的日志处理方法及系统
CN108170538A (zh) * 2017-12-08 2018-06-15 北京奇艺世纪科技有限公司 一种信息处理方法、装置以及电子设备
CN109241187A (zh) * 2018-09-01 2019-01-18 山东共达电声股份有限公司 基于Kafka消息队列的MongoDB日志采集和分析系统

Also Published As

Publication number Publication date
CN110611592A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN110611592B (zh) 日志记录方法及设备
CN104462225B (zh) 一种数据读取的方法、装置及系统
CN104125163B (zh) 一种数据处理方法、装置及终端
JP2016510148A (ja) 分散ファイルストレージシステムにおけるデータ処理の方法およびデバイス
CN114201421B (zh) 一种数据流处理方法、存储控制节点及可读存储介质
CN112650728A (zh) 接口信息存储方法、装置、服务器及分布式业务系统
CN109522273B (zh) 一种实现数据写入的方法及装置
CN111857574A (zh) 一种写请求数据压缩方法、系统、终端及存储介质
CN109478171A (zh) 提高openfabrics环境中的吞吐量
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
CN103236938A (zh) 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN109067649B (zh) 节点处理方法及装置、存储介质和电子设备
US20230048813A1 (en) Method of storing data and method of reading data
CN110928890A (zh) 数据存储方法、装置、电子设备及计算机可读介质
CN115878351A (zh) 消息的传输方法及装置、存储介质及电子装置
CN113220608B (zh) 一种NVMe命令处理器及其处理方法
CN210804421U (zh) 一种服务器系统
CN114741448A (zh) 一种Redis集群服务异地同步方法及装置
CN111782647A (zh) 一种eos网络的区块数据存储方法、系统、介质及设备
CN116601616A (zh) 一种数据处理装置、方法及相关设备
CN112837158A (zh) 基于云计算技术的股票数据采集和存储方法、装置及系统
CN116745754A (zh) 一种访问远端资源的系统及方法
US11347765B2 (en) Data processing apparatus and data processing method
CN109739434A (zh) 文件读取地址获取方法、文件读取方法和终端设备
CN110727391A (zh) 交易数据存储方法及装置、区块链系统、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant