CN116846742A - 日志处理方法、装置以及系统 - Google Patents
日志处理方法、装置以及系统 Download PDFInfo
- Publication number
- CN116846742A CN116846742A CN202310567897.5A CN202310567897A CN116846742A CN 116846742 A CN116846742 A CN 116846742A CN 202310567897 A CN202310567897 A CN 202310567897A CN 116846742 A CN116846742 A CN 116846742A
- Authority
- CN
- China
- Prior art keywords
- log
- information
- identification information
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000009877 rendering Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供日志处理方法、装置以及系统,其中所述日志处理方法包括:接收第一日志获取请求并确定待查询日志;基于所述待查询日志对日志展示页面进行渲染并展示;响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,接收所述第一服务端根据所述日志标识信息获取的第一日志信息对日志展示页面进行渲染并展示,通过上述方法实现了根据需求获取相关日志源文件并在客户端本地进行查看,提高了定位相关日志的效率。
Description
技术领域
本申请涉及互联网技术领域,特别涉及三种日志处理方法。本申请同时涉及一种日志处理系统、三种日志处理装置、一种计算设备,以及一种计算机可读存储介质。
背景技术
随着互联网技术的发展,越来越多的开发商采用服务器集群为用户提供服务,服务器集群就是一组计算机,把它们作为一个整体向用户提供网络服务与网络资源。服务器集群中的每台服务器每天都会产生大量的日志,日志用于记录系统的运行过程以及异常信息,因此日志具有非常重要的作用,通过日志可以进行性能分析、问题定位排查等。
一台服务器产生的日志即使按天分割也非常多,能够达到几十万行,由于网络、安全限制和区域限制等多种原因,查看或者下载日志需要花费很长时间,并且通过人工从服务器集群中的多台服务器确定相关日志非常困难,因此,有针对性地查看相关日志非常费时。
发明内容
有鉴于此,本申请实施例提供了三种日志处理方法,以解决现有技术中存在的技术缺陷。本申请实施例同时提供了三种日志处理装置,一种日志处理系统,一种计算设备,以及一种计算机可读存储介质。
根据本申请实施例的第一方面,提供了第一种日志处理方法,应用于客户端,包括:
接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;
基于所述待查询日志对日志展示页面进行渲染并展示;
响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;
在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;
接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
根据本申请实施例的第二方面,提供了第二种日志处理方法,应用于第一服务端,包括:
接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
根据所述日志标识信息判断所述第一服务端是否存在第一日志信息;
在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送;
在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送第一通知消息。
根据本申请实施例的第三方面,提供了第三种日志处理方法,应用于第二服务端,包括:
接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
根据所述日志标识信息获取第一日志信息;
将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
根据本申请实施例的第四方面,提供了一种日志处理系统,包括:
客户端,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;基于所述待查询日志对日志展示页面进行渲染并展示;响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;
第一服务端,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息,并发送;
客户端,还被配置为接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示;
根据本申请实施例的第五方面,提供了第一种日志处理装置,包括:
日志查询模块,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;
渲染模块,被配置为基于所述待查询日志对日志展示页面进行渲染并展示;
用户行为分析模块,还配置为响应于针对所述待查询日志的查看指令,运行客户端缓存模块;
客户端缓存模块,被配置为在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并运行渲染模块;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;接收所述第一服务端根据所述日志标识信息获取第一日志信息并运行渲染模块;
渲染模块,还被配置为基于所述第一日志信息对日志展示页面进行渲染并展示。
根据本申请实施例的第六方面,提供第二种日志处理装置,包括:
第二请求接收模块,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
第一日志发送模块,被配置为在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送;
第一通知发送模块,被配置为在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送第一通知消息。
根据本申请实施例的第七方面,提供了第三种日志处理装置,包括:
第三请求接收模块,被配置为接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
日志获取模块,被配置为根据所述日志标识信息获取第一日志信息;
第二日志发送模块,被配置为将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送通知消息,其中,所述客户端根据所述第三日志获取请求确定。
根据本申请实施例的第八方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述日志处理方法的步骤。
根据本申请实施例的第九方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述日志处理方法的步骤。
根据本申请实施例的第十方面,提供了一种芯片,其存储有计算机程序,该计算机程序被芯片执行时实现所述日志处理方法的步骤。
本申请提供的日志处理方法,通过先根据第一日志获取请求确定待查询日志,对待查询日志进行展示,然后在接收到针对所述待查询日志的查看指令时获取第一日志信息并对第一日志信息进行展示,实现了能够快速确定要查看的相关日志。响应于针对所述待查询日志的查看指令,先根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求;接收所述第一服务端根据所述日志标识信息获取的第一日志信息对日志展示页面进行渲染并展示,通过日志展示页面可以缓冲等待查看第一日志信息的时间,并进一步的实现了根据需求获取相关日志源文件并在客户端本地进行查看,提高了定位相关日志的效率。
附图说明
图1是本申请一实施例提供的第一种日志处理方法的流程图;
图2是本申请一实施例提供的第二种日志处理方法流程图;
图3是本申请一实施例提供的第三种日志处理方法的流程图;
图4是本申请一实施例提供的一种应用于游戏场景中的日志处理方法的流程图;
图5是本申请一实施例提供的一种日志处理系统的系统结构图;
图6是本申请一实施例提供的第一种日志处理装置的结构示意图;
图7是本申请一实施例提供的第二种日志处理装置的结构示意图;
图8是本申请一实施例提供的第三种日志处理装置的结构示意图;
图9是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
首先,对本发明一个或多个实施例涉及的名词术语进行解释。
数据驱动:通过移动互联网或者其他的相关软件为手段采集海量的数据,将数据进行组织形成信息,之后对相关的信息进行整合和提炼。在数据的基础上经过训练和拟合形成自动化的决策模型。简单来说,就是以数据为中心依据进行决策和行动。
数据预热:在正式部署之前,先把可能高访问的数据预先访问一遍,这样可能大部分的数据就能加载到缓存中。
在本申请中,提供了三种日志处理方法。本申请同时涉及三种日志处理装置,一种日志处理系统,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的第一种日志处理方法的流程图,应用于客户端,具体包括步骤102至110。
步骤102:接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息。
其中,第一日志获取请求可以理解为需要进行性能分析,或者问题故障排查等有日志查询需求的用户发送的日志获取请求。待查询日志可以理解为符合第一日志获取请求条件的对应的解析后的日志,该解析后的日志为由源日志解析出的具有关键词信息和常用字段内容的日志,并且待查询日志中还包含有对应的源日志的日志标识信息。
实际应用中,所述日志处理方法不仅仅可以应用于游戏场景,也可以应用于其他在线场景中,如在线购物场景,在线观影场景等,为了便于理解,本说明书实施例均以所述日志处理方法应用于游戏场景为例进行详细介绍。其他场景的描述均可参见本实施例相同或相应的描述,在此不作过多赘述。
本说明书一个或多个实施例中,考虑到日志获取速度慢可能会影响日志的展示,从而影响用户体验,因此,为了解决上述问题,可以采用先根据第一日志获取请求中携带的用户标识和时间信息等信息向只存储待查询日志的解析日志存储服务端获取待查询日志的方式进行待查询日志的获取,具体实现如下:
接收第一日志获取请求,其中,所述第一日志获取请求至少包括用户标识和时间信息;根据所述用户标识和时间信息向解析日志存储服务端发送第一日志获取请求;接收所述解析日志存储服务端响应于所述第一日志获取请求反馈的待查询日志。
具体实施时,第一用户输入第二用户的用户标识和时间信息,根据第二用户的用户标识和时间信息,客户端从解析日志存储服务端获取到对应的解析后日志,其中,第一用户为有日志查询需要的用户,第二用户为产生日志的用户,用户标识能够唯一地确定该第二用户,所述第一用户与第二用户可以相同,或者不同。时间信息为第一用户要查看的日志的时间范围,如时间范围可以是12:00-12:20,也可以是13:00-13:10,实际应用中,时间范围可以根据实际需求设定,本实施例在此不作任何限定。
具体地,待查询日志中至少包括第二用户的用户标识、产生日志的时间和对应的解析后的日志的日志标识信息,除此之外,本申请实施例中的所述待查询日志也可以包括其他关键词信息和常用字段内容,在此不做限定。
接收到至少包含第二用户的唯一标识和要查看日志的时间范围的请求,在此基础上,为了确保日志获取效率更高,可以先向只存储待查询日志的解析日志存储服务端发送第一日志获取请求,此时解析日志存储服务端将接收该请求,并反馈对应请求的待查询日志,此时,接收解析日志存储服务端反馈的待查询日志,以方便下游业务根据待查询日志向用户展示包含待查询日志的页面,从而促使用户在该页面的基础上根据需求快速查询对应的第一日志信息。
以所述日志处理方法应用于游戏场景为例,当用户标识为user123的游戏玩家反馈游戏出现BUG时,该玩家将其在时间10:00到时间10:15遇到了游戏BUG的信息反馈给游戏开发商,游戏开发商获知到该游戏玩家的用户标识即玩家ID和时间信息后发起日志获取请求,获取该玩家在该时间段内的解析后日志,即待查询日志C,待查询日志C中包含有至少一条该玩家在该时间段内产生的日志。
综上,由于解析后的待查询日志的数据量小,数据传输快,因此本申请实施例根据第一日志获取请求确定待查询日志,能够提高相关日志获取的效率。
步骤104:基于所述待查询日志对日志展示页面进行渲染并展示。
具体的,在上述接收到携带有日志标识信息的第一日志获取请求,并响应该请求确定待查询日志后,进一步的,为了能够方便用户查看待查询日志的内容,可以基于待查询日志对日志展示页面进行渲染,实现通过渲染后的日志展示页面,向用户展示日志请求对应的待查询日志的内容,从而可以方便用户在后续处理中按需提交针对待查询日志的查看指令,来查看待查询日志的具体详情。
其中,日志展示页面具体是指展示日志的页面。可以用于展示待查询日志和/或第一日志信息。
本说明书一个或多个实施例中,为了保证后续在用户有查看待查询日志的具体详情的需求时,能减少用户等待时间,快速展示待查询日志的具体详情的问题,可以采用先预热待查询日志对应的第一日志信息的方式,将第一日志信息提前缓存到客户端本地,根据日志标识信息获取第一日志,具体实现如下:
对所述待查询日志进行解析并确定出所述待查询日志对应的所述第一日志信息的日志标识信息;向所述第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;接收所述第一服务端根据所述日志标识信息获取的第一日志信息。
具体实施时,解析后的日志中包含有对应的源日志的日志标识信息,对解析后的日志进行解析,获取解析后日志对应的源日志的日志标识信息,根据源日志的日志标识信息向第一服务端中的服务器管理单元发送第二日志获取请求,当第一服务端中存在源日志时,可以根据日志获取请求中的日志标识信息直接查询到对应的源日志,然后第一服务端就可以直接基于查询到的源日志进行数据传输,将该第一日志信息发送给客户端,客户端就可以在向第一服务端发送第二日志获取请求之后接收到第一服务端根据日志标识信息获取的源日志。
该第二日志获取请求为客户端主动向第一服务端发送的日志获取请求,目的是为了在第一用户可能会查看解析后日志对应的源日志但是还没有相关的查询动作时,提前预热对应的源日志,以保证当第一用户有相关的日志查询动作时,例如点击解析后日志时能够快速展示解析后日志。
沿用上例,待查询日志C中包括解析后的日志条目a、b、c,待查询日志中还包含有其他信息,如下表一:
待查询日志 | 用户标识 | 时间信息 | 源日志的日志标识信息 |
日志条目a | user123 | 10:03 | 001 |
日志条目b | user123 | 10:10 | 002 |
日志条目c | user123 | 10:13 | 003 |
待查询日志中包含源日志的日志标识信息,从待查询日志中可以解析出对应的源日志的日志标识信息001、002、003,每条日志条目与源日志都具有对应关系,根据解析后的日志条目中包含的源日志的日志标识信息可以确定对应的源日志,从而根据该日志标识信息向第一服务端发送日志获取请求去获取源日志,。
综上,日志源文件通常会大量生成,并且很难从生成的日志源文件中提取有意义的信息,但是由于待查询日志为解析后的日志,其中只包括了关键词信息和常用字段内容,因此先展示待查询日志,能够帮助用户理解日志信息快速确定相关日志;并且通过在待查询日志中确定出对应的第一日志信息的日志标识信息也可以快速获取到相关的第一日志信息。
具体地,考虑到当根据源日志的日志标识信息从第一服务端获取第一日志信息时,还会存在未获取到第一日志信息的情况。
本说明书一个或多个实施例中,在从第一服务端中未获取到第一日志信息的情况下,向第一服务端发送第二日志获取请求之后,第一服务端中不存在第一日志信息,第一服务端就将第一服务端中不存在对应的第一日志信息的情况告知给客户端,客户端就会接收到来自第一服务端通知消息,并根据该通知消息从第二服务端获取该第一日志信息,具体实现如下:
接收所述第一服务端发送的第一通知消息;根据所述第一通知消息向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;接收所述第二服务端发送的第二通知消息。
其中,第一通知消息可以理解为第一服务端不存在日志标识信息对应的第一日志信息的消息,第二通知消息可以理解为第二服务端将日志标识信息对应的第一日志信息存储到第一服务端的消息,第二通知消息为存储第一日志信息的第一服务端的存储标识。
具体实施时,当第一服务端不存在对应的源日志时,则客户端无法获取到对应的源日志,此时,第一客户端将该日志标识信息对应的第一日志信息不存在于第一服务端的消息告知客户端,客户端就向存储该源日志的持久化存储的服务端,即第二服务端发起日志获取请求获取对应的源日志,然后将该源日志发送给多个第一服务端中的其中一个第一服务端的缓存中,最后把该第一服务端的存储标识发送给客户端,客户端就直接根据该第一服务端的存储标识去对应的第一服务端下载对应的源日志。
沿用上例,日志标识信息001、002、003,根据日志标识信息001、002、003从第一服务端获取对应的第一日志信息,日志标识信息为001、002的第一日志信息存在于第一服务端中,则将这两条第一日志信息发送给客户端,日志标识信息为003的第一日志信息未存在于第一服务端中,则将“日志标识信息为003的第一日志信息未存在于第一服务端”的通知消息告知客户端,以便客户端根据该通知消息去获取该日志信息。
综上,通过上述方法使得客户端能够快速接收到源日志,在用户可能会查看源日志但还没有源日志的时候提前预热好对应的源日志,从而在客户真正查看源日志时快速获取到对应的源日志,减少客户端反应时间,从而减少用户等待时间,提高用户体验。
步骤106:响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示。
其中,第一日志信息为待查询日志对应的源日志,客户端第一缓存空间可以理解为客户端本地的缓存。
具体的,在上述基于待查询日志对日志展示页面进行渲染并展示之后,进一步的,用户会针对日志展示页面中的待查询日志输入查看指令,客户端响应该查看指令,先判断客户端本地有无第一日志信息,如果有则直接返回相应的第一日志信息,并根据该第一日志信息对日志展示页面进行渲染并展示。
具体实施时,待查询日志中携带有对应的第一日志信息的日志标识信息,根据该日志标识信息可以先检查客户端第一缓存空间是否存在对应的第一日志信息,如果所述客户端第一缓存空间存在第一日志信息的情况下获取到对应的第一日志信息,并基于获取到的第一日志信息对所述日志展示页面进行渲染并展示。
沿用上例,待查询日志中携带有日志标识信息001,002,003,日志标识信息能够唯一地确定一条源日志,因此,根据日志标识信息001,002,003可以分别确定对应的源日志并基于获取到的源日志对目标展示页面进行渲染并展示。
步骤108:在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息。
具体的,在上述判断客户端本地有无第一日志信息,还存在没有的情况,如果没有则从第一服务端获取相应的第一日志信息,向第一服务端发送日志获取请求。
其中,第一服务端可以理解为部署在高速网络集群中或者是内网集群中的服务端,第一服务端可以是由多个服务器构成的集群,其中,服务器管理单元由至少一个服务器实现,存储单元可以通过其他服务器实现,服务器管理单元负责对存储单元进行管理,记录第一日志信息与存储单元的对应关系;存储单元负责存储第一日志信息。在一些实施例中,所述服务器管理单元和存储单元可以配置在相同的服务器上,或者配置在不同的服务器上,本申请对此不做限定。
具体实施时,当需要从第一服务端获取第一日志信息时,可以查看第一服务端的服务器管理单元中第一日志信息与存储单元的对应关系,如果能从服务器管理单元中找到第一日志信息对应的存储单元则表明第一服务端中的存储单元存储有对应的第一日志信息,如果未找到第一日志信息对应的存储单元则表明第一服务端的存储单元未存储有对应的第一日志信息,此时,服务器管理单元就将该消息告知给客户端,此外,服务器管理单元也将客户端的日志获取请求转发给相应的存储单元。
实际应用中,第一服务端可以采用缓存数据库存储第一日志信息,将第一日志信息存储于缓存中,本申请对存储第一日志信息的存储介质形式不做任何限定。
步骤110:接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
具体的,在上述向第一服务端发送日志获取请求后,将从第一服务端获取到的源日志进行渲染并展示。
本说明书一个或多个实施例中,考虑到客户端渲染性能低会导致用户体验不好,可以基于所述第一日志信息展示预设范围内的日志内容。其中,第一日志信息为包含多条日志条目的日志信息,预设范围可以理解为日志条目的条数,预设范围可以是20条,也可以是200条,实际应用中,预设范围可以根据实际需求设定,本实施例在此不作任何限定。
本说明书一个或多个实施例中,考虑到客户端渲染性能低会使得渲染速度慢,从而导致用户体验不好,因此,为了解决该问题可以采用响应用户输入的展示指令,展示部分日志条目,具体实现如下:
响应于针对所述日志展示页面的展示指令,展示所述展示指令对应的预设范围的日志内容。
具体实施时,当获取到第一日志信息后,先展示预设范围内的一部分第一日志信息,当第一用户想要查看其他的第一日志信息时,输入针对于日志展示页面的展示指令,客户端响应于该展示指令,展示剩下的符合预设范围内的日志内容。
例如:当获取到500条第一日志信息后,先只展示其中的前200条第一日志信息,当用户发出针对日志展示页面的展示指令,展示中间的200条日志。
综上,通过对部分第一日志信息进行渲染并展示当用户需要时渲染展示剩余部分的日志内容时,能够避免因客户端渲染性能低而导致渲染速度慢的问题,从而能够快速对日志展示页面进行渲染并展示,提高用户体验。
本说明书一个或多个实施例中,考虑到日志展示的趣味性,可以采用响应用户的滚动触控操作以滚动效果展示日志内容,具体实现如下:
响应于针对所述日志内容的滚动触控操作,以滚动效果展示所述滚动触控操作对应的日志内容。
沿用上例,当前日志展示页面展示了200条日志,第一用户对日志内容进行滚动操作,使日志展示页面的页面内容整体向下移动或者随着滚动效果展示新的日志内容。
综上,通过采用滚动效果展示日志内容,可以实现更有效地组织信息并更轻松地访问信息并且滚动效果让用户可以让整个日志展示页面显得更有吸引力,增加用户探索过程中的乐趣,提升整体的体验。
根据本实施例中的日志处理方法,通过日志展示页面可以缓冲等待查看第一日志信息的时间,并进一步的实现了根据需求获取相关日志源文件并在客户端本地进行查看,提高了定位相关日志的效率。
图2示出了根据本申请一实施例提供的第二种日志处理方法的流程图,应用于第一服务端,具体包括步骤202至210。
步骤202,接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息。
步骤204,根据所述日志标识信息判断所述第一服务端是否存在第一日志信息。
步骤206,在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送。
步骤208,在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,客户端发送第一通知消息。
其中,第二日志获取请求可以理解为向第一服务端发送的日志获取请求。第一服务端可以理解为部署在高速网络集群中或者是内网集群中的服务端,第一服务端可以是由一个或者多个服务器构成的集群。第三服务端为专门存储日志源文件的日志存储服务器。第一服务端可以采用缓存数据库存储第一日志信息,将第一日志信息存储于缓存中。第一通知消息可以理解为第一服务端不存在日志标识信息对应的第一日志信息的消息。
具体实施时,当客户端第一缓存空间不存在源日志时,客户端向第一服务端发送第二日志获取请求,第一服务端接收到第一日志获取请求,根据第一日志获取请求中携带的日志标识信息判断第一服务端是否存在第一日志信息,如存在,则直接返回给客户端,如不存在,则告知客户端第一服务端未存储对应的第一日志信息,客户端就向存储该源日志的持久化存储的服务端,即第二服务端发起日志获取请求获取对应的源日志,然后将该源日志发送给多个第一服务端中的其中一个第一服务端的缓存中,最后把该第一服务端的存储标识发送给客户端,客户端就直接根据该第一服务端的存储标识去对应的第一服务端下载对应的源日志。
通过上述方法使得客户端能够快速接收到源日志,在用户可能会查看源日志但还没有源日志的时候提前预热好对应的源日志,从而在客户真正查看源日志时快速获取到对应的源日志,减少客户端反应时间,从而减少用户等待时间,提高用户体验。
此外,本实施例中未详尽描述的内容均可参见上述实施例中相同或相应的描述,本实施例在此不作过多赘述。
本说明书一个或多个实施例中,考虑到日志获取速度慢可能会影响日志的展示,从而影响用户体验,因此,为了解决该问题,可以通过采用判断日志标识信息是否能够找到对应的存储标识来判断第一服务端中是否存在第一日志信息,具体实现如下:
在根据日志标识信息确定第一服务端存在第一日志信息的情况下,根据日志标识信息获取第一日志信息并发送,可以包括:
在根据日志标识信息获取到第一服务端的存储标识的情况下,根据第一服务端的存储标识确定对应的第一服务端,向对应的第一服务端发送第二日志获取请求,其中,所述第二日志请求中携带有日志标识信息,根据日志标识信息获取第一日志信息并发送至客户端;
在根据日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送通知消息,包括:
在根据日志标识信息未获取到第一服务端的存储标识的情况下,第一服务端向客户端发送第一通知消息。
其中,第一服务端的存储标识可以理解为能够唯一标识多个第一服务端中的其中一个服务端,第一服务端的存储标识可以为服务端的IP地址,除此之外,本申请实施例中的第一服务端的存储标识也可以是按顺序递增或递减的标号,本申请在此不作限定。
具体实施时,当客户端第一缓存空间不存在源日志时,客户端向第一服务端发送第二日志获取请求,第一服务端接收到第一日志获取请求,根据第一日志获取请求中携带的日志标识信息判断是否存在第一服务端的存储标识,如存在对应的存储标识,则表明第一服务端存储有对应的源日志,然后就直接与第一服务端的存储标识对应的服务端建立数据传输通道,从对应的服务端中获取日志标识信息对应的源日志,最后将该源日志直接返回给客户端,如不存在对应的存储标识,则表明第一服务端中未存储有对应的源日志,所以直接告知客户端第一服务端中未存储对应的第一日志信息,客户端就向存储该源日志的持久化存储的服务端,即第二服务端发起日志获取请求获取对应的源日志,然后将该源日志发送给多个第一服务端中的其中一个第一服务端的缓存中,最后把该第一服务端的存储标识发送给客户端,客户端就直接根据该第一服务端的存储标识去对应的第一服务端下载对应的源日志。
例如:第一服务端存储有日志标识信息和存储标识的对应关系,如下表二:
当客户端第一存储空间不存在第一日志信息001-010时,向第一服务端发送第二日志获取请求,请求中携带有001-010这10条日志条目的日志标识信息,根据001、002、003、……、010这10个日志标识信息去日志标识信息和存储标识的对应关系确定是否存在对应的第一日志信息,由上表可得,001、002对应的第一服务端的存储标识为IPA,003对应的第一服务端的存储标识为IPB,004-006对应的第一服务端的存储标识为IPC,并未找到007-010对应的第一服务端的存储标识,因此根据上述得到的信息,从存储标识为IPA的第一服务端中获取001、002这两条日志条目,从存储标识为IPB的第一服务端中获取日志标识信息为003的日志,从存储标识为IPC的第一服务端中获取日志标识信息为004-006的日志条目,而对于007-010来说,由于其没有找到对应的存储标识,则表明第一服务端中未存储有对应日志标识信息的第一日志信息,因此将第一服务端中未存储有日志标识信息007-010对应的第一日志信息的消息告知给客户端,客户端后续根据该消息做出相应的处理。
通过日志标识信息和第一服务端的存储标识的对应关系确定第一日志信息是否存在于第一服务端能够快速确定第一服务端中是否存在对应的第一日志信息,不需要根据日志标识信息一条条地确定对应的第一日志信息,缩短了确定第一日志信息的时间成本,能够基于第一服务端是否存在对应的第一日志信息的结果快速给出反应,从而使得客户端能够快速接收到源日志,在用户可能会查看源日志但还没有源日志的时候提前预热好对应的源日志,在客户真正查看源日志时快速获取到对应的源日志,减少客户端反应时间,从而减少用户等待时间,提高用户体验。
综上,客户端从服务器中获取数据不仅能够缓解第二服务端数据库的访问压力,也可提高数据访问效率,其次,将第一服务端部署在高速网络集群中或者是内网集群中可以保证访问数据的安全性以及数据传输的效率。
图3示出了根据本申请一实施例提供的第三种日志处理方法的流程图,应用于第一服务端,具体包括步骤302至306。
步骤302,接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息。
步骤304,根据所述日志标识信息获取第一日志信息。
步骤306,将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
其中,第三日志获取请求为向第二服务端发送的请求,第二服务端可以理解为只存储源日志的日志存储服务端,该日志存储服务端可以由一个或者多个服务器构成;第二服务端可以为clickhouse集群;第二通知消息可以理解为第二服务端将日志标识信息对应的第一日志信息存储到第一服务端的消息,第二通知消息为存储第一日志信息的第一服务端的存储标识。
具体实施时,为了能够提高用户体验,快速获取到第一日志信息,客户端增加预热控制模块,在待查询日志确定好之后,预热控制模块检测客户端第一缓存空间和/或第一服务端是否存在对应的第一日志信息,若不存在,则根据日志标识信息获取第一日志信息,将第一日志信息发送给第一服务端并将第一日志信息并根据第三日志请求确定对应的客户端标识,向客户端标识对应的客户端发送通知消息,告知客户端该客户端要获取的第一日志信息已经发送给第一服务端。
具体地,该通知消息包含有接收该第一日志信息的第一服务端的存储标识,后续客户端可以根据第一服务端的存储标识确定存储该第一日志信息的第一服务端,从该第一服务端获取对应的第一日志信息。
综上,由于日志源文件通常会大量生成,因此第二服务端只存储有源日志,可以方便用户后续快速获取到日志文件并且将解析后的日志和源日志分别进行存储能够方便进行数据管理,避免对第二服务端的频繁访问。
图4示出了根据本申请一实施例提供的一种应用于游戏场景的日志处理方法的流程图,具体包括步骤402至442:
步骤402,接收第一日志获取请求,其中,所述第一日志获取请求至少包括用户标识和时间信息。
步骤404,根据所述用户标识和时间信息向解析日志存储服务端发送第一日志获取请求。
步骤406,接收所述解析日志存储服务端响应于所述第一日志获取请求反馈的待查询日志,其中,所述待查询日志中携带日志标识信息。
步骤408,基于所述待查询日志对日志展示页面进行渲染并展示。
步骤410,在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息。
其中,第一服务端可以理解为部署在高速网络集群中或者是内网集群中的服务端,第一服务端可以是由多个服务器构成的集群,其中,服务器管理单元由至少一个服务器实现,存储单元可以通过其他服务器实现,服务器管理单元负责对存储单元进行管理,记录第一日志信息与存储单元的对应关系;存储单元负责存储第一日志信息。在一些实施例中,所述服务器管理单元和存储单元可以配置在相同的服务器上,或者配置在不同的服务器上,本申请对此不做限定。
步骤412,接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息。
步骤414,根据日志标识信息判断是否能获取到第一服务端的存储标识,若是,执行步骤416,若否,执行步骤422。
步骤416,在根据所述日志标识信息获取到所述第一服务端的存储标识的情况下,根据第一服务端的存储标识确定对应的第一服务端,向对应的第一服务端发送第二日志获取请求,其中,所述第二日志请求中携带有日志标识信息。
其中,存储标识可以理解为第一服务端中存储单元的标识。
步骤418,根据所述日志标识信息获取第一日志信息并发送至客户端。
步骤420,客户端接收第一服务端根据所述日志标识信息获取的第一日志信息。
步骤422,在根据所述日志标识信息未获取到所述第一服务端的存储标识的情况下,第一服务端向客户端发送第一通知消息。
步骤424,客户端接收所述第一服务端发送的第一通知消息。
步骤426,根据所述第一通知消息向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息。
步骤428,接收所述向第二服务端发送的第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;根据所述日志标识信息获取第一日志信息。
步骤430,将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
步骤432,接收所述第二服务端发送的第二通知消息,其中,第二通知消息为第二服务端将日志标识信息对应的第一日志信息存储到第一服务端的消息。
步骤434,响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示。
步骤436,在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息。
步骤438,接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息。
步骤440,在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送。
步骤442,接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
综上,通过日志展示页面可以缓冲等待查看第一日志信息的时间,并进一步实现了根据需求获取相关日志源文件并在客户端本地进行查看,提高了定位相关日志的效率。
其次,客户端从服务器中获取数据不仅能够缓解第二服务端数据库的访问压力,也可提高数据访问效率,将第一服务端部署在高速网络集群中或者是内网集群中可以保证访问数据的安全性以及数据传输的效率。
并且,由于日志源文件通常会大量生成,因此第二服务端只存储有源日志,而解析后日志存储于解析日志存储服务端,可以方便用户后续分别对对应的服务器中快速获取到相关日志文件并且将解析后的日志和源日志分别进行存储能够方便进行数据管理。
需要明确的是,步骤402至442的技术方案与上述三种日志处理方法的技术方案属于同一构思,详细描述的细节内容均可以参见上述日志处理方法的技术方案的描述。
图5示出了本发明实施例提供的日志处理系统的结构示意图,该实现的日志处理系统应用于上述方法,以下仅对日志处理系统的结构进行简单说明,其他未尽事宜,请参照上述日志处理方法中的相关描述,参见图5,本发明实施例提供的的日志处理系统,包括:
客户端,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;基于所述待查询日志对日志展示页面进行渲染并展示;响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息。
第一服务端,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;根据所述日志标识信息判断所述第一服务端是否存在第一日志信息;在根据所述日志标识信息确定所述第一服务端存在第一日志的情况下,根据所述日志标识信息获取第一日志信息,并发送。
所述客户端,还被配置为接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
本说明书一个或多个实施例中,所述日志处理系统,还可以包括:
所述客户端,还被配置为接收所述第一通知消息,向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有所述日志标识信息。
所述第二服务端,被配置为接收所述向第二服务端发送的第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;根据所述日志标识信息获取第一日志信息;将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定;
所述客户端,还被配置为接收所述第二服务端发送的所述通知消息。
本说明书一个或多个实施例中,所述日志处理系统,还可以包括:
日志服务端,被配置为采集第一日志信息并将所述采集的第一日志信息发送给日志采集服务端。
本说明书一个或多个实施例中,所述日志处理系统,还可以包括:
日志服务端,还被配置为监控日志文件,在监控到所述日志文件发生变动的情况下采集第一日志信息;基于预设传输条件将所述采集的第一日志信息发送至日志采集服务端。
具体实施时,日志服务端为产生日志的服务端,即当第二用户在享受开发商提供的服务时服务端会产生记录第二用户行为的日志文件,日志服务端可以由一个或者多个服务器构成,每个日志服务端上都安装有事件监听中间件,事件监听中间件监听日志文件,当日志文件发生变动时采集日志信息,采集的日志信息为源日志,即第一日志信息,其中,事件监听中间件可以为Fync-agent。
具体地,日志服务端可根据预设传输条件,将采集的第一日志信息发送给日志采集服务端。
例如:预设传输条件为向日志采集服务端发送数据的数据大小为12k,则采集的第一日志信息的日志数据大小满足12k的情况下,将第一日志信息发送至日志采集服务端,需要说明的是,在第一日志信息的日志数据大小未满足预设传输条件中的12k的情况下,可等待下一次获取到的日志数据,再次判断数据大小是否满足12k,采集的第一日志信息的日志数据大小满足12k之后,再向日志采集服务端发送相应的第一日志信息。具体的。预设传输条件可以是12k,也可以是20k,实际应用中,预设传输条件可以根据实际需求设定,本实施例在此不作任何限定。
预设传输条件可以为向日志采集服务端发送数据的时间间隔为30S,则当当前时间与上次向日志采集服务端发送数据的时间间隔满足30S的情况下,将第一日志信息发送至日志采集服务端。具体的。预设传输条件可以是30S,也可以是10S,实际应用中,预设传输条件可以根据实际需求设定,本实施例在此不作任何限定。
本说明书一个或多个实施例中,所述日志处理系统,还包括:
日志采集服务端,被配置为接收所述日志服务器发送的所述第一日志信息;根据所述第一日志信息解析出所述第二日志信息;将所述第一日志信息发送给第二服务端;将第二日志信息发送给第二日志存储服务器。
解析日志存储服务端,被配置为接收所述日志采集服务端发送的所述第二日志信息并存储;
第二服务端,还被配置为接收所述日志采集服务端发送的所述第一日志信息并存储。
具体实施时,日志采集服务端将日志服务端发送过来的第一日志信息进行汇总,并将第一日志信息按照日志服务端的存储标识进行划分,并将日志服务端的存储标识和日志路径作为第一日志信息的日志标识信息。然后,对分类后的第一日志信息进行解析,得到第一日志信息对应的第二日志信息,即解析日志。最后,分别将第一日志信息和第二日志信息存储于对应的存储空间,把第一日志信息存储于第二服务端,把第二日志信息存储于解析日志存储服务端。
与上述方法实施例相对应,本申请还提供了日志处理装置实施例,图6示出了本申请一实施例提供的第一种日志处理装置的结构示意图。如图6所示,该装置包括:
日志查询模块602,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;
渲染模块604,被配置为基于所述待查询日志对日志展示页面进行渲染并展示;
用户行为分析模块606,还配置为响应于针对所述待查询日志的查看指令,运行客户端缓存模块;
客户端缓存模块608,被配置为在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并运行渲染模块,在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;接收所述第一服务端根据所述日志标识信息获取第一日志信息并运行渲染模块;
渲染模块604,被配置为基于所述第一日志信息对所述日志展示页面进行渲染并展示;
本说明书一个或多个实施例中,所述日志查询模块,还可以包括:
第一请求接收子模块,被配置为接收第一日志获取请求,其中,所述第一日志获取请求包括用户标识和时间信息;
第一请求转发子模块,被配置为根据所述用户标识和时间信息向解析日志存储服务端发送第一日志获取请求;
第一日志接收子模块,被配置为接收所述解析日志存储服务端响应于所述第一日志获取请求反馈的待查询日志。
由于解析后的待查询日志的数据量小,数据传输快,因此本申请实施例提供的日志查询模块根据第一日志获取请求确定待查询日志,能够提高相关日志获取的效率。
本说明书一个或多个实施例中,所述日志处理装置,还可以包括:
日志标识解析模块,被配置为对所述待查询日志进行解析并确定出所述待查询日志对应的所述第一日志的日志标识信息。
预热控制模块,被配置为向所述第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息。
本说明书一个或多个实施例中,所述预热控制模块,还可以包括:
第二日志接收子模块,被配置为接收所述第一服务端根据所述日志标识信息获取的第一日志信息。
本说明书一个或多个实施例中,所述预热控制模块,还可以包括:
第一通知接收子模块,被配置为接收所述第一服务端发送的第一通知消息;
第一请求发送子模块,被配置为根据所述第一通知消息向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
第二通知接收子模块,被配置为接收所述第二服务端发送的第二通知消息。
本说明书一个或多个实施例中,所述日志处理装置,还可以包括:
渲染模块,被配置为响应于针对所述日志展示页面的展示指令,展示所述展示指令对应的预设范围的日志内容。
本说明书一个或多个实施例中,所述日志处理装置,还可以包括:
所述渲染模块,还被配置为响应于针对所述日志内容的滚动触控操作,以滚动效果展示所述滚动触控操作对应的日志内容。
综上,本说明书实施例提供的日志处理装置,实现了根据需求获取相关日志源文件并在客户端本地进行查看,提高了定位相关日志的效率。
本实施例的第一种日志处理装置的示意性方案。需要说明的是,该日志处理装置的技术方案与第一种日志处理方法的技术方案属于同一构思,日志处理装置的技术方案未详细描述的细节内容,均可以参见上述第一种日志处理方法的技术方案的描述。此外,装置实施例中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
与上述方法实施例相对应,本申请还提供了日志处理装置实施例,图7示出了本申请一实施例提供的第二种日志处理装置的结构示意图。如图7所示,该装置包括:
第二请求接收模块702,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
第一日志发送模块704,被配置为在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送;
第一通知发送模块706,被配置为在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送第一通知消息。
本说明书一个或多个实施例中,所述第一服务端包括一个服务器管理单元和至少两个存储单元,还可以包括:
所述服务器管理单元,被配置为在根据所述日志标识信息获取到所述存储单元的存储标识的情况下,根据所述存储标识确定对应的存储单元,向对应的存储单元发送第二日志获取请求,其中,所述第二日志请求中携带有日志标识信息;
所述存储单元,被配置为根据所述日志标识信息获取第一日志信息并发送至客户端;
所述服务器管理单元,还被配置为在根据所述日志标识信息未获取到所述存储单元的存储标识的情况下,向客户端发送第一通知消息。
其中,第一服务端可以理解为部署在高速网络集群中或者是内网集群中的服务端,第一服务端可以是由多个服务器构成的集群,其中,服务器管理单元由至少一个服务器实现,存储单元可以通过其他服务器实现,服务器管理单元负责对存储单元进行管理,记录第一日志信息与存储单元的对应关系;存储单元负责存储第一日志信息。在一些实施例中,所述服务器管理单元和存储单元可以配置在相同的服务器上,或者配置在不同的服务器上,本申请对此不做限定。
本说明书实施例提供的日志处理装置,从中获取数据不仅能够缓解数据库的访问压力,也可提高数据访问效率以及数据传输的效率。
本实施例的第二种日志处理装置的示意性方案。需要说明的是,该日志处理装置的技术方案与上述第二种日志处理方法的技术方案属于同一构思,日志处理装置的技术方案未详细描述的细节内容,均可以参见上述第二种日志处理方法的技术方案的描述。此外,装置实施例中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
与上述方法实施例相对应,本申请还提供了第三种日志处理装置实施例,图8示出了本申请一实施例提供的第三种日志处理装置的结构示意图。如图8所示,该装置包括:
第三请求接收模块802,被配置为接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
日志获取模块804,被配置为根据所述日志标识信息获取第一日志信息;
第二日志发送模块806,被配置为将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
综上,由于日志源文件通常会大量生成,因此本说明书实施例提供日志的处理装置中只存储有源日志可以方便用户后续快速获取到日志文件并且将解析后的日志和源日志分别进行存储能够方便进行数据管理,避免频繁访问。
本实施例的第三种日志处理装置的示意性方案。需要说明的是,该日志处理装置的技术方案与上述第三种日志处理方法的技术方案属于同一构思,日志处理装置的技术方案未详细描述的细节内容,均可以参见上述第三种日志处理方法的技术方案的描述。此外,装置实施例中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
图9示出了根据本申请一实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接,数据库950用于保存数据。
计算设备900还包括接入设备940,接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本申请的一个实施例中,计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图9所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中,处理器920用于执行所述日志处理方法的计算机可执行指令。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述日志处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述日志处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于日志处理方法。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述日志处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述日志处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地域,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
本申请一实施例还提供一种芯片,其存储有计算机程序,该计算机程序被芯片执行时实现所述日志处理方法的步骤。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (16)
1.一种日志处理方法,应用于客户端,其特征在于,包括:
接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;
基于所述待查询日志对日志展示页面进行渲染并展示;
响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;
在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;
接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
2.根据权利要求1所述的日志处理方法,其特征在于,所述接收第一日志获取请求并确定待查询日志,包括:
接收第一日志获取请求,其中,所述第一日志获取请求至少包括用户标识和时间信息;
根据所述用户标识和时间信息向解析日志存储服务端发送第一日志获取请求;
接收所述解析日志存储服务端响应于所述第一日志获取请求反馈的待查询日志。
3.根据权利要求1所述的日志处理方法,其特征在于,所述接收第一日志获取请求并确定待查询日志之后,包括:
对所述待查询日志进行解析并确定出所述待查询日志对应的所述第一日志信息的日志标识信息;
向所述第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
接收所述第一服务端根据所述日志标识信息获取的第一日志信息。
4.根据权利要求3所述的日志处理方法,其特征在于,所述向所述第一服务端发送第二日志获取请求之后,还包括:
接收所述第一服务端发送的第一通知消息;
根据所述第一通知消息向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
接收所述第二服务端发送的第二通知消息。
5.根据权利要求4所述的日志处理方法,其特征在于,包括:
根据所述第二通知消息向第一服务端发送第二日志获取请求;
接收所述第一服务端根据所述日志标识信息获取的第一日志信息。
6.根据权利要求1所述的日志处理方法,其特征在于,所述基于所述第一日志信息对所述日志展示页面进行渲染并展示之后,包括:
响应于针对所述日志展示页面的展示指令,展示所述展示指令对应的预设范围的日志内容;
响应于针对所述日志内容的滚动触控操作,以滚动效果展示所述滚动触控操作对应的日志内容。
7.一种日志处理方法,应用于第一服务端,其特征在于,包括:
接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送;
在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送第一通知消息。
8.根据权利要求7所述的日志处理方法,其特征在于,包括:
所述在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送,包括:
在根据所述日志标识信息获取到所述第一服务端的存储标识的情况下,根据第一服务端的存储标识确定对应的第一服务端,向对应的第一服务端发送第二日志获取请求,其中,所述第二日志请求中携带有日志标识信息,根据所述日志标识信息获取第一日志信息并发送至客户端;
所述在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送通知消息,包括:
在根据所述日志标识信息未获取到所述第一服务端的存储标识的情况下,第一服务端向客户端发送第一通知消息。
9.一种日志处理方法,应用于第二服务端,其特征在于,包括:
接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
根据所述日志标识信息获取第一日志信息;
将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
10.一种日志处理系统,其特征在于,包括:
客户端,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;基于所述待查询日志对日志展示页面进行渲染并展示;响应于针对所述待查询日志的查看指令,在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对所述日志展示页面进行渲染并展示;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;
所述第一服务端,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;根据所述日志标识信息判断所述第一服务端是否存在第一日志信息;在根据所述日志标识信息确定所述第一服务端存在第一日志的情况下,根据所述日志标识信息获取第一日志信息,并发送;
所述客户端,还被配置为,接收所述第一服务端根据所述日志标识信息获取第一日志信息并基于所述第一日志信息对日志展示页面进行渲染并展示。
11.根据权利要求10所述的日志处理系统,其特征在于,还包括:第二服务端,其中,
所述第一服务端,还被配置为在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向所述客户端发送第一通知消息;
所述客户端,还被配置为接收所述第一通知消息,向第二服务端发送第三日志获取请求,其中,所述第三日志获取请求中携带有所述日志标识信息;接收所述第二服务端根据所述日志标识信息获取的第一日志信息;
所述第二服务端,被配置为接收所述向第二服务端发送的第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;根据所述日志标识信息获取第一日志信息;将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定;
所述客户端,还被配置为接收所述第二服务端发送的所述第二通知消息;根据所述第二通知信息获取第一日志信息。
12.一种日志处理装置,其特征在于,包括:
日志查询模块,被配置为接收第一日志获取请求并确定待查询日志,其中,所述待查询日志中携带日志标识信息;
渲染模块,被配置为基于所述待查询日志对日志展示页面进行渲染并展示;
用户行为分析模块,还配置为响应于针对所述待查询日志的查看指令,运行客户端缓存模块;
客户端缓存模块,被配置为在根据所述日志标识信息确定客户端第一缓存空间存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并运行渲染模块;在根据所述日志标识信息确定所述客户端第一缓存空间不存在第一日志信息的情况下,向第一服务端发送第二日志获取请求,其中,所述第二日志获取请求中携带有所述日志标识信息;接收所述第一服务端根据所述日志标识信息获取第一日志信息并运行渲染模块;
渲染模块,还被配置为基于所述第一日志信息对日志展示页面进行渲染并展示。
13.一种日志处理装置,其特征在于,包括:
第二请求接收模块,被配置为接收第二日志获取请求,其中,所述第二日志获取请求中携带有日志标识信息;
第一日志发送模块,被配置为在根据所述日志标识信息确定所述第一服务端存在第一日志信息的情况下,根据所述日志标识信息获取第一日志信息并发送;
第一通知发送模块,被配置为在根据所述日志标识信息确定所述第一服务端不存在第一日志信息的情况下,向客户端发送第一通知消息。
14.一种日志处理装置,其特征在于,包括:
第三请求接收模块,被配置为接收第三日志获取请求,其中,所述第三日志获取请求中携带有日志标识信息;
日志获取模块,被配置为根据所述日志标识信息获取第一日志信息;
第二日志发送模块,被配置为将所述根据所述日志标识信息获取的第一日志信息发送给第一服务端并向客户端发送第二通知消息,其中,所述客户端根据所述第三日志获取请求确定。
15.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令实现权利要求1-6、7-8或者9任意一项所述方法的步骤。
16.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-6、7-8或者9任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310567897.5A CN116846742A (zh) | 2023-05-18 | 2023-05-18 | 日志处理方法、装置以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310567897.5A CN116846742A (zh) | 2023-05-18 | 2023-05-18 | 日志处理方法、装置以及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116846742A true CN116846742A (zh) | 2023-10-03 |
Family
ID=88158848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310567897.5A Pending CN116846742A (zh) | 2023-05-18 | 2023-05-18 | 日志处理方法、装置以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116846742A (zh) |
-
2023
- 2023-05-18 CN CN202310567897.5A patent/CN116846742A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11775343B1 (en) | Duty cycle estimation for job assignment | |
CN108153798B (zh) | 页面信息处理方法、装置及系统 | |
US11175913B2 (en) | Elastic application framework for deploying software | |
US9792365B2 (en) | Method and system for tracking and gathering multivariate testing data | |
US8180376B1 (en) | Mobile analytics tracking and reporting | |
US20120117227A1 (en) | Method and apparatus for obtaining feedback from a device | |
US9578119B2 (en) | Method, server, and client for pushing and displaying splash screen | |
US11301475B1 (en) | Transmission handling of analytics query response | |
US12038874B2 (en) | Dynamically updating distributed content objects | |
US20230018723A1 (en) | Cascading payload replication | |
US20180316702A1 (en) | Detecting and mitigating leaked cloud authorization keys | |
CN111612085B (zh) | 一种对等组中异常点的检测方法及装置 | |
CN107835132A (zh) | 一种流量来源跟踪的方法及装置 | |
CN102868938B (zh) | 一种用于获取网络中分段视频文件的方法与设备 | |
CN110569424A (zh) | 一种信息推介的方法和装置 | |
WO2011142810A2 (en) | Methods and apparatuses for providing a search crowd capability | |
CN116846742A (zh) | 日志处理方法、装置以及系统 | |
CN114327693A (zh) | Ab实验方法和系统、终端设备及存储介质 | |
CN104063471B (zh) | 在移动终端进行网页浏览的方法及系统 | |
US20160048850A1 (en) | Collecting, aggregating, analyzing and reporting traction data on internet-connected applications | |
US20150222505A1 (en) | Business transaction resource usage tracking | |
CN104063470B (zh) | 网页浏览方法 | |
US20140372361A1 (en) | Apparatus and method for providing subscriber big data information in cloud computing environment | |
CN114826682B (zh) | 信息投放管理的方法、装置和系统 | |
CN110134377B (zh) | 电力行业管理信息系统的数据请求处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |