CN115442226A - 日志采集方法、相关装置以及存储介质 - Google Patents
日志采集方法、相关装置以及存储介质 Download PDFInfo
- Publication number
- CN115442226A CN115442226A CN202210924430.7A CN202210924430A CN115442226A CN 115442226 A CN115442226 A CN 115442226A CN 202210924430 A CN202210924430 A CN 202210924430A CN 115442226 A CN115442226 A CN 115442226A
- Authority
- CN
- China
- Prior art keywords
- log
- server
- target
- logs
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004044 response Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种日志采集方法、相关装置以及存储介质,日志采集方法包括:服务器组接收客户端发送的对目标应用进行日志采集的若干个采集请求;响应于若干个采集请求,分别对目标应用的若干实例进行日志采集,得到各实例对应的日志;将各实例对应的日志进行归集,得到目标应用对应的目标日志。上述方案,能够方便进行日志归集。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种日志采集方法、相关装置以及存储介质。
背景技术
在当前微服务的环境下,服务众多,服务之间的调用异常复杂。在这种环境下,单个系统可能是集群部署,日志分布在多台服务器上,或者多个系统的日志在多台机器上。现在开发人员去查看日志,都是登录到服务器去看,如果一个服务有多个实例,则需要每个实例去下载日志,如果是跨服务调用的,则更加麻烦,需要每个服务,每个实例的日志都需要下载去查看。
发明内容
本申请至少提供一种日志采集方法、相关装置以及存储介质。
本申请提供了一种日志采集方法,包括:服务器组接收客户端发送的对目标应用进行日志采集的若干个采集请求;响应于若干个采集请求,分别对目标应用的若干实例进行日志采集,得到各实例对应的日志;将各实例对应的日志进行归集,得到目标应用对应的目标日志。
本申请提供了一种日志采集方法,包括:客户端响应于接收到进行日志采集的操作指令,向服务器组发送对目标应用进行日志采集的若干个采集请求;接收服务器组发送的目标应用对应的目标日志的日志标识以及日志下载地址,日志标识以及日志下载地址是服务器组基于若干采集请求对目标应用的若干实例进行日志采集得到的;响应于用户的下载操作,向服务器组发送下载指令;接收服务器组响应于下载指令发送的目标日志,目标日志中包括若干实例的日志。
本申请提供了一种日志采集装置,包括:请求接收模块,用于服务器组接收客户端发送的对目标应用进行日志采集的若干个采集请求;日志采集模块,用于响应于若干个采集请求,分别对目标应用的若干实例进行日志采集,得到各实例对应的日志;日志归集模块,用于将各实例对应的日志进行归集,得到目标应用对应的目标日志。
本申请提供了一种日志采集装置,包括:请求发送模块,用于客户端响应于接收到进行日志采集的操作指令,向服务器组发送对目标应用进行日志采集的若干个采集请求;第一响应接收模块,用于接收服务器组发送的目标应用对应的目标日志的日志标识以及日志下载地址,日志标识以及日志下载地址是服务器组基于若干采集请求对目标应用的若干实例进行日志采集得到的;下载模块,用于响应于用户的下载操作,向服务器组发送下载指令;第二响应接收模块,用于接收服务器组响应于下载指令发送的目标日志,目标日志中包括若干实例的日志。
本申请提供了一种装置,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述任意日志采集方法。
本申请提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述任意日志采集方法。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请日志采集方法一实施例的流程示意图;
图2是本申请日志采集方法一实施例示出服务之间的调用关系示意图;
图3是本申请日志采集方法一实施例示出日志归集的过程示意图;
图4是本申请日志采集方法另一实施例的流程示意图;
图5是本申请第一日志采集装置一实施例的结构示意图;
图6是本申请第二日志采集装置另一实施例的结构示意图;
图7是本申请日志采集组件一实施例的结构示意图;
图8是本申请装置一实施例的结构示意图;
图9是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1,图1是本申请日志采集方法一实施例的流程示意图。如图1所示,本公开实施例提供的日志采集方法,可以包括如下步骤:
步骤S11:服务器组接收客户端发送的对目标应用进行日志采集的若干采集请求。
本公开实施例所述的若干指的是一个及以上。服务器组中包括一个或多个服务器。在微服务构架中,目标应用的多个实例可能部署在不同的服务器上,即部署目标应用的若干实例的服务器用于组成服务器组。
目标应用可以是网页、应用程序等。对目标应用进行日志采集的若干采集请求可以是对网页、应用程序的页面进行更新、渲染等请求。
步骤S12:响应于若干个采集请求,分别对目标应用的实例进行日志采集,得到各实例对应的日志。
示例性地,每个采集请求对应一个实例,或一个采集请求对应多个实例,部署采集请求对应实例的服务器在接收到该采集请求之后,对部署的实例进行日志采集。
步骤S13:将各实例对应的日志进行归集,得到目标应用对应的目标日志。
一些应用场景中,将各实例对应的日志进行归集,具体可以是将一个采集请求对应的多个实例的日志进行归集,得到目标应用关于该采集请求的目标日志,换言之,目标应用对应的目标日志的数量与采集请求的数量相同,也就是不同采集请求之间的日志归集相对独立。一些应用场景中,采集请求包括多个,每一个采集请求对应的实例为至少一个,将各实例对应的日志进行归集可以是先将属于一个采集请求的实例对应的日志进行归集,再将不同采集请求对应的日志进行再次归集,得到目标应用的目标日志,换言之,目标应用对应的目标日志为一个。其中,归集之后的日志可以存储在一个服务器上,方便用户后续下载。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
一些公开实施例中,各实例分别部署在服务器组中的服务器上,各服务器用于采集对应实例的日志。示例性地,服务器A上部署了实例a,则服务器A用于采集实例a的日志。
上述步骤S13可以包括以下步骤:
服务器组中各服务器确定各自对其他服务器的调用关系。其中,服务器之间的调用关系具体可以是服务之间的调用关系,服务部署在服务器上。在微服务架构中,每个应用可以包括多个服务,每一服务又可由一个或多个实例构成,服务器之间的调用关系具体也可以是各实例之间的调用关系。示例性地,一个采集请求可能涉及到多个实例,对于一个采集请求而言,服务器之间的调用关系具体为该采集请求对应的各实例之间的调用关系。为方便描述,服务之间的调用关系,本公开实施例均以服务器之间的调用关系描述。然后,基于调用关系,分别将被调用服务器中采集到的日志归集至调用被调用服务器的服务器中。其中,目标服务器中归集了服务器组中各服务器采集的日志。目标服务器为没有被服务器组中其他服务器调用的服务器。
可选地,上述基于调用关系,分别将被调用服务器中采集到的日志归集至调用被调用服务器的服务器中的方式可以是:
将末级服务器中的日志归集到调用末级服务器的次末级服务器中,得到一次归集日志。末级服务器为没有调用服务器组中其他服务器的服务器。其中,一次归集日志包含次末级服务器中的日志以及末级服务器中的日志。其中,本公开实施例所述的服务器中的日志指的是服务器中部署的目标应用相关实例的日志,不包括属于其他应用的实例对应的日志,也就是不同应用的日志归集相对独立,不会相互影响造成不用应用之间日志混乱的情况出现。当然,其他应用的日志的归集方式可参考目标应用的日志归集方式。
对于除末级服务器与目标服务器以外的中间服务器,响应于将中间服务器调用的服务器中的日志与该中间服务器中的日志进行归集之后,将归集得到的日志归集至调用该中间服务器的上级服务器中,直至目标服务器接收到被目标服务器调用的服务器中归集得到的日志。其中,被目标服务器调用的服务器可能包括多个,例如可能包括多个中间服务器,也可能包括末级服务器。各服务器之间的调用关系由各自部署的实例之间的功能决定,即,在各实例的部署阶段各服务器的调用关系就能够确定。
请同时参见图2,图2是本申请日志采集方法一实施例示出服务之间的调用关系示意图。如图2所示,一个令牌上可以携带10个采集请求,采集请求1、3、7涉及到服务A中的实例A1以及服务B中的实例B1,实例A1与实例B1之间的关系是实例A1会调用实例B1。同理,采集请求2、4、6涉及到服务A中的实例A2以及服务B中的实例B1,实例A2与实例B1之间的关系是实例A2会调用实例B1。采集请求5、8、9、10涉及到服务A中的实例A3以及服务B中的实例B2,实例A3与实例B2之间的关系是实例A3会调用实例B2。各采集请求对应的日志归集依据各采集请求对应各实例之间的调用关系进行归集,分别得到各采集请求对应的各实例的日志之和。
在日志开启的线程变量上,服务A发生过的远程调用都需要进行记录,例如,记录的格式可以是:[AlogId->调用B服务,[BLogid,B的URL]]、[Alogid->调用C服务,[CLogid,C的URL]]以及[Alogid->调用D服务,[DLogid,D的URL]]。其中,AlogId表示服务A,BLogid表示服务B的标识,B的URL表示服务B的地址,同理,CLogid表示服务C的标识,C的URL表示C的地址,DLogid表示服务D的标识,D的URL表示服务D的地址。
其中,日志的存储格式可以是:[调用方->被调用方]日志内容。其中,日志内容具体可以是被调用方的标识和地址。另一些公开实施例中,日志内容还可以是具体实例对应的日志。
为更好地理解各服务器的调用关系与日志归集的方式,请同时参考图3,图3是本申请日志采集方法一实施例示出日志归集的过程示意图。如图3所示,图3示出了一个采集请求中涉及到的服务器之间的调用关系,如上述,服务器之间的调用关系为服务之间的调用,服务A部署在服务器A上,服务B部署在服务器B上,服务C部署在服务器C上。此处将各服务之间的调用关系以服务器之间的调用表示。即,服务器A调用服务器B,服务器B调用服务器C,服务器C为末级服务器,服务器B为次末级服务器,服务器A为目标服务器。在日志归集中,服务器C中的日志归集至服务器B中,然后服务器B将自己的日志与服务器C的日志归集至服务器A中,使得服务器A中包括服务器A、服务器B以及服务器C中的日志。可选地,服务器A记录了调用服务器B的记录,服务器B记录了调用服务器C的记录。具体而言,服务器A记录了调用服务器B中某一个或某几个服务的记录,服务器B记录了调用服务器C中某一个或某几个服务的记录。一些应用场景中,服务器A在接收到采集请求之后,基于其调用关系,将各采集请求发送至服务器A调用的服务器中,各服务器在接收到与其部署的实例相关的采集请求之后,对其部署的实例进行日志采集,得到该实例对应的日志。
一些公开实施例中,对于每一采集请求,确定该采集请求对应的服务。如上述,服务可以由一个或多个实例构成,实例部署在服务器上,确定各采集请求对应的服务具体可以是确定各采集请求对应的实例,即确定各采集请求对应的服务器。使用对应的服务器基于该采集请求对实例进行日志采集。一些应用场景中,客户端发送的请求还包括非采集请求,例如在网页渲染中,有的实例需要进行日志采集,但是有的实例不需要进行日志采集。故,客户端在需要进行日志采集的请求中增加采集标识位为真,服务器在接收到具备采集标识位为真的请求之后,确定该请求为采集请求,例如,服务器在确定请求中存在mclogflag=ture之后,确定该请求为开启日志采集的请求。然后,设置线程变量,将MCLFiter复制到线程变量上,MCLFiter用于表示该采集请求对应的服务。示例性地,接收客户端发送若干采集请求的服务器可以是上述目标服务器。目标服务器在将MCLFiter复制到线程变量上之后,将该采集请求转发到目标服务上,并将mclogflag=ture透传到下一个目标服务上。目标服务可以包括多个,各目标服务之间可能存在调用关系。该目标服务由MCLFiter确定。另外,目标服务器中的本地日志判断线程变量是否有mclogflag=ture,若有则进行日志采集,该日志可存储在目标服务器的内存上。其中,其他服务器采集得到的日志也可存储在各自的内存上。
一些公开实施例中,目标应用对应的目标日志存储在目标服务器中。具体地,目标日志存储在目标服务器的内存中。
在执行上述步骤S13之后,日志采集方法还可执行以下步骤:
将目标应用的目标日志的日志标识和日志下载地址发送至客户端。然后,接收客户端发送的下载指令。其中,下载指令包括待下载的目标日志的目标标识以及日志下载地址。接着,响应于下载指令,将下载指令对应的目标日志发送至客户端。也即是说,将归集得到的目标日志可以通过下载的接口返回至客户端。一些应用场景中,目标应用的目标日志的标识和日志下载地址可以是包括各采集请求标识以及每一采集请求归集得到的目标应用关于该采集请求的目标日志的下载地址。换言之,若服务器组一共接收到10个采集请求,则一共可以包括10个日志标识以及10个下载地址。另一些公开实施例中,日志标识包括由若干个采集请求的标识得到的一个目标应用标识,日志下载地址包括由若干个采集请求对应的日志归集得到的目标日志的下载地址。其中,在目标应用的目标日志通过下载的接口返回至客户端之后,将已返回至客户端的这部分目标日志从目标服务器的内存中删除。
其中,目标日志中包括各实例的日志,目标日志存储在目标服务器,日志采集方法还可包括以下至少一步:
响应于接收到的采集请求的数量大于或等于预设数量,将在后接收到的超出预设数量的采集请求丢弃。示例性地,目标服务器对于每个应用的采集请求有个数限制,例如每个应用限制采集请求最多为200条,若已经接收到目标应用的200条采集请求之后,将201条及之后的采集请求丢弃,不依据已经被丢弃的采集请求进行日志采集。可选地,执行响应于接收到的采集请求的数量大于或等于预设数量,将在后接收到的超出预设数量的采集请求丢弃的服务器为目标服务器。当然,在其他实施例中,执行响应于接收到的采集请求的数量大于或等于预设数量,将在后接收到的超出预设数量的采集请求丢弃的服务器为除目标服务器以外的其他服务器。
对于目标日志中的每一日志,响应于日志大于第一预设大小,将日志删除。如上述,可以对每个采集请求涉及到的实例对应的日志进行归集,对于每条采集请求得到的实例的日志有大小限定,若日志的大小超出第一预设大小(例如5MB),则将该日志丢弃。一些应用场景中,若目标日志的整体大小小于设定的大小,则可以不将大于第一预设大小的日志删除。可选地,执行对于目标日志中的每一日志,响应于日志大于第一预设大小,将日志删除的服务器为目标服务器。
响应于目标日志大于第二预设大小,将目标日志丢弃。其中,这里的目标日志具体可以由若干个采集请求对应的实例的日志进行归集得到。示例性地,对于每个应用,最多能存储目标日志的大小为第二预设大小(例如500MB),若目标日志的大于500MB,则将目标日志丢弃。另一些公开实施例中,若应用的目标日志大于第二预设大小,将目标日志中部分实例的日志丢弃,以使得应用的目标日志小于或等于第二预设大小。可以删除的部分实例的日志可以由用户预先设定,只要应用的目标日志超出第二预设大小,则可优先删除用户预设设定的部分实例对应的日志。可选地,执行响应于目标日志大于第二预设大小,将目标日志丢弃的服务器为目标服务器。
响应于目标日志的存储时间大于或等于第一预设时间,将服务器中的目标日志删除。如上述,可以对每个采集请求涉及到的实例对应的日志进行归集,得到目标应用关于该采集请求的目标日志,若目标日志在第一预设时间(例如,10分钟)内还没有被采集,则将该请求对应的目标日志删除。另一些应用场景中,将各采集请求对应的日志进行归集,得到目标应用的目标日志,若目标日志的存储时间大于或等于第一预设时间,则将目标应用的目标日志删除。可选地,执行响应于目标日志的存储时间大于或等于第一预设时间,将服务器中的目标日志删除的服务器为目标服务器。
一些公开实施例中,服务器组(例如,服务器组中的目标服务器)记录对目标应用的日志采集时间,若检测到客户端在预先设定的时间段内未关闭对目标应用的日志采集,则服务器组将超出预先设定的时间段接收到的采集请求删除或向客户端发送停止日志采集指令,以便客户端在接收到日志采集指令后停止向服务器组发送采集请求。对目标应用的日志采集时间指的是上次日志采集结束之后,首次接收到对目标应用的采集请求的时间。
其中,日志采集方法的执行主体可以是第一日志采集装置,例如,第一日志采集装置可以是服务器或其它处理设备执行。在一些可能的实现方式中,该日志采集方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参见图4,图4是本申请日志采集方法另一实施例的流程示意图。如图4所示,本公开实施例提供的日志采集方法可以包括以下步骤:
步骤S21:客户端响应于接收到进行日志采集的操作指令,向服务器组发送对目标应用进行日志采集的若干个采集请求。
示例性地,在客户端可以设置快捷键,接收到对快捷键的点击操作之后,即认为接收到进行日志采集的操作指令。示例性地,目标应用为网页,快捷键可以是设置在网页上的“开始”快捷键。
一些公开实施例中,日志采集方法还可包括以下步骤:
记录对目标应用进行日志采集的开始时间以及进行日志采集的持续时间。然后,响应于持续时间超出第二预设时间,停止向服务器组发送对目标应用进行日志采集的采集请求。其中,日志采集的开始时间可以是接收到进行日志采集的操作指令的时间。可选地,还可记录是否已开启日志采集。日志采集的持续时间可以是自日志开始采集时间至当前时间之间的时间间隔。可选地,还可记录目标日志在目标服务器的内存中的存储时间,若在设定的存储时间内没有下载目标日志,则可以向服务器组发送指令,删除服务器组中存储的目标日志。示例性地,若日志采集在第二预设时间内还未关闭,则自动进行关闭,防止日志一直进行采集,占用过多存储空间。
一些公开实施例中,基于接收到进行日志采集的操作指令,生成若干ajax请求,然后会在至少部分ajax请求上增加采集标识位为真,例如,增加mclogflag=ture,其中,存在mclogflag=ture的请求为采集请求。
步骤S22:接收服务器组发送的目标应用对应的目标日志的目标标识以及日志下载地址。
其中,日志标识以及日志下载地址是服务器组基于若干采集请求对目标应用的若干实例进行日志采集得到的。
其中,在执行步骤S22之后,还可执行以下步骤:
将日志标识以及日志下载地址保存至客户端本地存储。示例性地,客户端为网页的情况下,客户端本地存储为浏览器本地存储。示例性地,服务器组响应于每个采集请求,向客户端返回各采集请求对应的日志。客户端通过拦截服务器组的各个响应,并获取各响应中的日志标识logid和日志下载地址logUr,然后将各响应中的日志标识logid和日志下载地址logUr记录到客户端本地存储LocalStorage上。
步骤S23:响应于用户的下载操作,向服务器组发送下载指令。
一些公开实施例中,响应于接收到结束日志采集的操作指令,将所有采集请求对应的日志标识logid和日志下载地址logUr进行组合。然后调用日志下载的接口,在接收到用户的下载操作之后,向服务器组发送下载指令。
步骤S24:接收服务器组响应于下载指令发送的目标日志。
其中,目标日志中包括若干实例的日志。
在执行步骤S24之后,还可执行以下步骤:将客户端本地存储中关于目标应用的日志标识以及日志下载地址删除。
其中,日志采集方法的执行主体可以是第二日志采集装置,第二日志采集装置可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该日志采集方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图5,图5是本申请第一日志采集装置一实施例的结构示意图。第一日志采集装置50包括请求接收模块51、日志采集模块52以及日志归集模块53。请求接收模块51,用于服务器组接收客户端发送的对目标应用进行日志采集的若干个采集请求;日志采集模块52,用于响应于若干个采集请求,分别对目标应用的若干实例进行日志采集,得到各实例对应的日志;日志归集模块53,用于将各实例对应的日志进行归集,得到目标应用对应的目标日志。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
其中,各个模块的功能可参见图1至图3对应的日志采集方法实施例所述,此处不再赘述。
请参阅图6,图6是本申请第二日志采集装置另一实施例的结构示意图。第二日志采集装置60包括请求发送模块61、第一响应接收模块62、下载模块63以及第二响应接收模块64。请求发送模块61,用于客户端响应于接收到进行日志采集的操作指令,向服务器组发送对目标应用进行日志采集的若干个采集请求;第一响应接收模块62,用于接收服务器组发送的目标应用对应的目标日志的日志标识以及日志下载地址,日志标识以及日志下载地址是服务器组基于若干采集请求对目标应用的若干实例进行日志采集得到的;下载模块63,用于响应于用户的下载操作,向服务器组发送下载指令;第二响应接收模块64,用于接收服务器组响应于下载指令发送的目标日志,目标日志中包括若干实例的日志。
上述方案,在接收到对日志进行采集的操作指令之后,向服务器组发送采集请求,然后能够接收到服务器组返回的目标日志,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
其中,各个模块的功能可参见图4对应的日志采集方法实施例所述,此处不再赘述。
请参阅图7,图7是本申请日志采集组件一实施例的结构示意图。如图7所示,日志采集组件1包括第一日志采集装置50和第二日志采集装置60。第一日志采集装置50和第二日志采集装置60之间进行通信连接,以便第一日志采集装置50在接收到第二日志采集装置60发送的采集请求之后,向第二日志采集装置60返回目标日志。
其中,第一日志采集装置50和第二日志采集装置60之间的通信连接方式可以是现有任意的通信方式,此处不做过多限定。
其中,第一日志采集装置50的具体结构以及功能可参考上述第一日志采集装置实施例所述,第二日志采集装置60的具体结构以及功能可参考上述第二日志采集装置实施例所述,此处不再赘述。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
请参阅图8,图8是本申请装置一实施例的结构示意图。装置80包括存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一日志采集方法实施例中的步骤。在一个具体的实施场景中,装置80可以包括但不限于:微型计算机、服务器,此外,装置80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器82用于控制其自身以及存储器81以实现上述任一日志采集方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
一些公开实施例中,装置80为服务器组,其上存储的程序指令被执行时,能够实现上述图1至图3所示的日志采集方法实施例中的步骤。
一些公开实施例中,装置80为终端,其上存储的程序指令被执行时,能够实现上述图4所示的日志采集方法实施例中的步骤。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
请参阅图9,图9是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91,程序指令91用于实现上述任一日志采集方法实施例中的步骤。
上述方案,通过在接收到对应用进行日志采集的采集请求之后,对应用的若干实例进行日志采集,并将采集得到的日志进行归集,用户无需到每个服务器上下载各个实例的日志,方便后续用户下载日志。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种日志采集方法,其特征在于,包括:
服务器组接收客户端发送的对目标应用进行日志采集的若干个采集请求;
响应于若干个所述采集请求,分别对所述目标应用的若干实例进行日志采集,得到各所述实例对应的日志;
将各所述实例对应的日志进行归集,得到所述目标应用对应的目标日志。
2.根据权利要求1所述的方法,其特征在于,各所述实例分别部署在所述服务器组中的服务器上,各所述服务器用于采集对应实例的日志,所述将各所述实例对应的日志进行归集,得到所述目标应用对应的目标日志,包括:
所述服务器组中各服务器确定各自对其他服务器的调用关系;
基于所述调用关系,分别将被调用服务器中采集到的日志归集至调用所述被调用服务器的服务器中;
其中,目标服务器中归集了所述服务器组中各所述服务器采集的日志,所述目标服务器为没有被所述服务器组中其他服务器调用的服务器。
3.根据权利要求2所述的方法,其特征在于,所述基于所述调用关系,分别将被调用服务器中采集到的日志归集至调用所述被调用服务器的服务器中,包括:
将末级服务器中的日志归集到调用所述末级服务器的次末级服务器中,得到一次归集日志,所述一次归集日志包含所述次末级服务器中的日志以及所述末级服务器中的日志,所述末级服务器为没有调用所述服务器组中其他服务器的服务器;
对于除所述末级服务器与所述目标服务器以外的中间服务器,响应于将所述中间服务器调用的服务器中的日志与所述中间服务器中的日志进行归集之后,将归集得到的日志归集至调用所述中间服务器的上级服务器中,直至所述目标服务器接收到被所述目标服务器调用的服务器中归集得到的日志。
4.根据权利要求2所述的方法,其特征在于,所述目标应用对应的目标日志存储在所述目标服务器中,在所述将各所述实例对应的日志进行归集,得到所述目标应用对应的目标日志之后,所述方法还包括:
将所述目标应用对应的目标日志的日志标识和日志下载地址发送至所述客户端;
接收所述客户端发送的下载指令,所述下载指令包括待下载的目标日志的日志标识以及日志下载地址;
响应于所述下载指令,将所述下载指令对应的目标日志发送至客户端。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述目标日志中包括各所述实例的日志,所述目标应用对应的目标日志存储在所述目标服务器中,所述方法还包括以下至少一步:
响应于接收到的所述采集请求的数量大于或等于预设数量,将在后接收到的超出所述预设数量的采集请求丢弃;
对于所述目标日志中的每一日志,响应于所述日志大于第一预设大小,将所述日志删除;
响应于所述目标日志大于第二预设大小,将所述目标日志丢弃;
响应于所述目标日志的存储时间大于或等于第一预设时间,将所述服务器中的目标日志删除。
6.一种日志采集方法,其特征在于,包括:
客户端响应于接收到进行日志采集的操作指令,向服务器组发送对目标应用进行日志采集的若干个采集请求;
接收服务器组发送的所述目标应用对应的目标日志的日志标识以及日志下载地址,所述日志标识以及所述日志下载地址是所述服务器组基于所述若干采集请求对所述目标应用的若干实例进行日志采集得到的;
响应于用户的下载操作,向服务器组发送下载指令;
接收服务器组响应于所述下载指令发送的目标日志,所述目标日志中包括所述若干实例的日志。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
记录对所述目标应用进行日志采集的开始时间以及进行日志采集的持续时间;
响应于所述持续时间超出第二预设时间,停止向所述服务器组发送对所述目标应用进行日志采集的采集请求。
8.根据权利要求6或7所述的方法,其特征在于,在所述接收服务器组发送的所述目标应用对应的目标日志的日志标识以及日志下载地址之后,所述方法还包括:
将所述日志标识以及所述日志下载地址保存至所述客户端本地存储;
在所述接收服务器组响应于所述下载指令发送的目标日志之后,所述方法还包括:
将所述客户端本地存储中关于所述目标应用的日志标识以及所述日志下载地址删除。
9.一种装置,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至5任一项所述的方法或实现权利要求6-8任一项所述的方法。
10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至5任一项所述的方法或实现权利要求6-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924430.7A CN115442226B (zh) | 2022-08-01 | 2022-08-01 | 日志采集方法、相关装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924430.7A CN115442226B (zh) | 2022-08-01 | 2022-08-01 | 日志采集方法、相关装置以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115442226A true CN115442226A (zh) | 2022-12-06 |
CN115442226B CN115442226B (zh) | 2024-06-11 |
Family
ID=84242111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210924430.7A Active CN115442226B (zh) | 2022-08-01 | 2022-08-01 | 日志采集方法、相关装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115442226B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010123022A (ja) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | リクエスト対応付けプログラム、リクエスト対応付け方法およびリクエスト対応付け装置 |
CN106850782A (zh) * | 2017-01-17 | 2017-06-13 | 泰康保险集团股份有限公司 | 用于日志处理的方法和系统 |
CN107645562A (zh) * | 2017-10-12 | 2018-01-30 | 广州爱九游信息技术有限公司 | 数据传输处理方法、装置、设备及系统 |
CN108199876A (zh) * | 2017-12-29 | 2018-06-22 | 北京奇艺世纪科技有限公司 | 一种日志数据保存方法、装置及分布式服务系统 |
CN111737207A (zh) * | 2020-06-19 | 2020-10-02 | 北京金山云网络技术有限公司 | 展示、归集分布式系统中服务节点的日志的方法和装置 |
CN113742172A (zh) * | 2021-08-18 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种服务器日志的采集方法、系统及相关装置 |
CN114443337A (zh) * | 2022-01-27 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种基于js的日志分析方法、装置、电子设备和介质 |
-
2022
- 2022-08-01 CN CN202210924430.7A patent/CN115442226B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010123022A (ja) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | リクエスト対応付けプログラム、リクエスト対応付け方法およびリクエスト対応付け装置 |
CN106850782A (zh) * | 2017-01-17 | 2017-06-13 | 泰康保险集团股份有限公司 | 用于日志处理的方法和系统 |
CN107645562A (zh) * | 2017-10-12 | 2018-01-30 | 广州爱九游信息技术有限公司 | 数据传输处理方法、装置、设备及系统 |
CN108199876A (zh) * | 2017-12-29 | 2018-06-22 | 北京奇艺世纪科技有限公司 | 一种日志数据保存方法、装置及分布式服务系统 |
CN111737207A (zh) * | 2020-06-19 | 2020-10-02 | 北京金山云网络技术有限公司 | 展示、归集分布式系统中服务节点的日志的方法和装置 |
CN113742172A (zh) * | 2021-08-18 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种服务器日志的采集方法、系统及相关装置 |
CN114443337A (zh) * | 2022-01-27 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种基于js的日志分析方法、装置、电子设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115442226B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106375458B (zh) | 服务调用系统、方法及装置 | |
CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
CN113687974B (zh) | 客户端日志处理方法、装置及计算机设备 | |
CN113595788B (zh) | 一种基于插件的api网关管理方法及装置 | |
CN113268308B (zh) | 信息处理方法、装置以及存储介质 | |
CN110677475A (zh) | 一种微服务处理方法、装置、设备及存储介质 | |
CN116204438A (zh) | 测试用例生成方法、自动化测试方法和相关装置 | |
CN115442226B (zh) | 日志采集方法、相关装置以及存储介质 | |
CN111339173A (zh) | 数据共享方法、服务器及可读存储介质 | |
CN114040378B (zh) | 应用的编排方法、装置、计算机设备和存储介质 | |
CN110968471A (zh) | 一种程序崩溃问题上报方法、存储介质、电子设备及系统 | |
CN104346228A (zh) | 共享应用程序的方法及终端 | |
CN113918423A (zh) | 云平台监控方法、装置及其应用 | |
CN108182292B (zh) | 应用于智能音箱的日志文件处理方法、装置及智能音箱 | |
CN112752258A (zh) | 一种eSIM卡的开通方法、手机终端及业务受理系统 | |
CN114270309A (zh) | 资源获取方法、装置以及电子设备 | |
CN112748981B (zh) | 虚拟网络功能的软件镜像的处理方法和装置 | |
CN115580546B (zh) | 一种数据订阅方法、装置、电子设备及可读存储介质 | |
CN115361440B (zh) | 多Kubernetes集群的端点资源的更新方法、更新装置及电子设备 | |
WO2024129083A1 (en) | Security scan with backup | |
CN114363221B (zh) | 一种基于微服务系统的心跳检测方法、存储介质、电子设备及系统 | |
CN112596752B (zh) | 一种电子取证设备物联化方法及系统 | |
KR102287554B1 (ko) | Nssai 정보를 전송하는 통신 단말기 및 그 제어방법 | |
CN112667948B (zh) | 基于Fetch的数据通信方法和系统 | |
WO2023005484A1 (zh) | 一种用户信息的注册方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |