CN109271359A - 日志信息处理方法、装置、电子设备及可读存储介质 - Google Patents

日志信息处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN109271359A
CN109271359A CN201811385976.XA CN201811385976A CN109271359A CN 109271359 A CN109271359 A CN 109271359A CN 201811385976 A CN201811385976 A CN 201811385976A CN 109271359 A CN109271359 A CN 109271359A
Authority
CN
China
Prior art keywords
information
call request
request
log
daily record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811385976.XA
Other languages
English (en)
Other versions
CN109271359B (zh
Inventor
许晓星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Original Assignee
BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd filed Critical BEIJING QIANDING INTERNET TECHNOLOGY Co Ltd
Priority to CN201811385976.XA priority Critical patent/CN109271359B/zh
Publication of CN109271359A publication Critical patent/CN109271359A/zh
Application granted granted Critical
Publication of CN109271359B publication Critical patent/CN109271359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种日志信息处理方法、装置、电子设备及可读存储介质,其中,该方法包括:获取调用请求信息;根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;根据所述调用请求类型,获取调用请求信息的日志信息;所述日志信息包括请求标识信息和请求步骤信息;根据请求标识信息,确定所述调用请求信息对应的请求链;根据请求步骤信息,确定所述调用请求信息对应的调用请求在所述请求链中的位置。本申请的目的在于追踪每个调用请求的完整调用链路,收集调用链路上每个调用服务的性能数据。

Description

日志信息处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及计算机技术领域,尤其是涉及一种日志信息处理方法、装置、电子设备及可读存储介质。
背景技术
目前,电商平台由数以百计的分布式服务器构成,每一个调用请求会经过多个业务系统,调用不同类型的接口实现,并且每一个调用请求会产生对各种缓存Cache或数据库(Database,DB)的访问,但是这些分散的调用请求数据对于异常的排查,或是流程的优化都帮助有限。
尤其是,对于跨进程、跨线程的场景,汇总、收集并分析海量日志信息显得尤为重要。
发明内容
有鉴于此,本申请的目的在于提供日志信息处理方法、装置、电子设备及可读存储介质,从而追踪每个调用请求的完整调用链路,收集调用链路上每个调用服务的性能数据。
第一方面,本申请实施例提供了一种日志信息处理方法,其特征在于,包括:
获取调用请求信息;
根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;
根据所述调用请求类型,获取调用请求信息的日志信息;所述日志信息包括请求标识信息和请求步骤信息;
根据请求标识信息,确定所述调用请求信息对应的请求链;
根据请求步骤信息,确定所述调用请求信息对应的调用请求在所述请求链中的位置。
一种可能的实施方式,其中,所述日志信息还包括:执行时间信息;
所述方法还包括:
根据所述执行时间信息,确定所述调用请求信息对应的响应延时。
一种可能的实施方式,其中,所述日志信息还包括:请求返回信息;
所述方法还包括:
根据所述请求返回信息,确定所述调用请求信息对应的调用请求是否发生异常;
在所述调用请求信息对应的调用请求发生异常的情况下,获取异常信息。
一种可能的实施方式,其中,所述日志信息包括:日志数据类型和日志数据;
所述方法,还包括:
以所述日志数据类型为索引,按照时间顺序,将所述日志数据类型和日志数据进行存储。
一种可能的实施方式,其中,所述将所述日志数据类型和日志数据进行存储,包括:
将所述日志数据类型和日志数据存储到请求日志文件中。
一种可能的实施方式,其中,所述将所述日志数据类型和日志数据进行存储,还包括:
将所述日志数据类型和日志数据存储到数据库服务器中。
一种可能的实施方式,其中,所述调用请求类型包括以下至少一个:
超文本传输协议HTTP、远程过程调用RPC、应用程序编程接口API、REIDS、MEMCACHE或MYSQL。
第二方面,本申请实施例还提供一种日志信息处理装置,包括:
调用获取模块,用于获取程序接口的调用请求信息;
类型判断模块,用于根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;
日志获取模块,用于根据所述调用请求类型,获取请求日志信息;包括:请求标识信息和请求步骤信息;
调用分析模块,用于根据请求标识信息,确定请求链,并根据请求步骤信息,确定当前调用请求位于所述请求链中的第几步。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
本申请实施例提供的日志信息处理的方法、装置、电子设备及可读存储介质,通过获取调用请求信息的日志信息,确定调用请求信息对应的请求链和调用请求信息对应的调用请求在所述请求链中的位置,从而追踪每个调用请求的完整调用链路,收集调用链路上每个调用服务的性能数据。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种日志信息处理方法的流程图;
图2示出了本申请实施例所提供的一种日志信息处理方法的技术方案图;
图3示出了本申请实施例所提供的另一种日志信息处理方法的技术方案图;
图4示出了本申请实施例所提供的一种日志信息处理装置的结构示意图;
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种日志信息处理方法进行详细介绍。
实施例一
如图1所示,是本申请实施例一提供的日志信息处理方法,可以用于任一跨平台、跨线程的程序接口调用场景下,对每个调用请求的日志信息进行收集和处理,包括:
S101:获取调用请求信息。
在实际实施过程中,在每个系统入口层和资源层自动采集日志信息,不需要程序手动输出日志信息。具体地,例如,可以通过在配置文件中添加日志信息采集插件实现,例如sqlMapConfig.xml配置文件中添加日志信息采集插件实现。
<plugins>
<plugin
interceptor="com.qding.framework.common.log.MybatisLogPlugin"></plugin>
</plugins>
在一种可能的实施方式中,在添加日志信息采集插件之前,需要将系统架构framework的版本进行统一,例如,升级为0.0.8-SNAPSHOT或0.0.14-SNAPSHOT等。
<framework-common.version>0.0.14-SNAPSHOT</framework-common.version>
S102:根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型。
一种可能的实施方式中,所述程序的接口类型包括以下至少一个:超文本传输协议(HyperText Transfer Protocol,HTTP)、远程过程调用(Remote Procedure Call,RPC)、应用程序编程接口(ApplicationProgramming Interface,API)、REIDS(REmoteDIctionary Server)、MEMCACHE或MYSQL。
其中,所述调用请求类型可以分为两类,包括:系统入口层调用和资源层调用。系统入口层调用请求类型,包括:HTTP、RPC或API等;资源层调用请求类型包括:REIDS、MEMCACHE或MYSQL等。
在具体实施过程中,基于面向切面的框架,例如aspectj,提供的日志信息采集的切面类:com.qding.framework.common.log.LogAspect,并且通过上述日志信息采集的切面类,判断调用请求类型,根据调用请求类型,使用对应的方法获取调用请求信息的日志信息。
上述日志信息采集的切面类,是一个虚类,具体应用时,需要新建一个子类来实现,具体的可以采用下述两种可能的实施方式对上述日志信息采集的切面类进行扩展:
一种可能的实施方式:定义了日志信息采集的切面类后台的控制Contoller层和对应RPC服务的接口层。这里,主要通过扩展方法的注解annotation的方式扩展上述日志信息采集的切面类,因此,不需要修改父类就可以实现。
例如:@Around("execution(*com.qding.*.controller..*.*(..))||"+"execution(*com.qding.*.common.service..*.*(..))")
public Object doAround(ProceedingJoinPoint pjp)throwsThrowable{
Object result=doAroundService(pjp);
return result;
}
另一种可能的实施方式:这里根据调用请求的访问路径path判断调用请求类型,例如调用请求类型是HTTP还是RPC等。
public String fetchTypeByPath(String path){
String type=null;
if(path.contains("promotionbg")){
type=LogTypeEnum.HTTP.getValue();
}else if(path.contains("promotion-web")){
type=LogTypeEnum.RPC.getValue();
}
return type;
}
S103:根据所述调用请求类型,获取调用请求信息的日志信息;所述日志信息包括请求标识信息和请求步骤信息。
通过在服务器配置文件中进行配置,例如在服务器spring配置文件中进行配置,开始运行上述日志采集的切面类,在运行时,具体运行通过上述方法进行扩展的子类,而不是原始的父类,之后就可以开始获取调用请求信息的日志信息的过程。
<!--开启日志自动输出-->
<aop:aspectj-autoproxy proxy-target-class="true"/>
<bean
class="com.qding.promotion.service.log.PromotionLogAspect"/>
这里,在获取日志信息后,可以对日志信息进行存储,一种可能的实施方式中,所述将所述日志数据类型和日志数据进行存储,包括:将所述日志数据类型和日志数据存储到请求日志文件中。例如,将所有采集的日志信息统一存放到tracer.log文件中。
另一种可能的实施方式中,所述将所述日志数据类型和日志数据进行存储包括:将所述日志数据类型和日志数据存储到数据库服务器中。例如,存放在ELK(ElasticSearch,Logstash,Kibana)平台、spark平台或HIVE平台中,进行后续的大数据存储和分析。
并且,可以使用请求日志文件作为日志信息的临时存储方式,定时或定量将请求日志文件中的日志信息,通过kafka转发给数据库服务器。也可以针对不同种类的数据库服务器的特点,综合使用多种数据库服务器,例如使用spark平台进行实时的日志信息分析,利用ELK平台进行离线的日志信息分析,利用HIVE平台进行日志信息分析的大数据存储和分析等。
一种可能的实施方式中,所述日志信息包括:日志数据类型和日志数据;
所述方法,还包括:以所述日志数据类型为索引,按照时间顺序,将所述日志数据类型和日志数据进行存储。
这里,为了方便后续的检索、分析和响应,以所述日志数据类型为索引,按照时间顺序,将所述日志数据类型和日志数据进行存储。
因此,在存储之前,还包括日志格式的整理过程,将日志信息整理为统一的标准格式进行存储。例如:
2015-12-03 17:25:18,140[http-bio-9380-exec-8]INFO[tracer]-requestId:1449134717788000005;step:1;type:RPC_LOG user:;url:/promotion-web/remote/promotion;method:PromotionRemoteService.countBeforOrder(..);begin_time:2015-12-0317:25:17exe_time:351ms;local_ip:10.37.253.75;request_ip:10.37.63.88;jvm:27257@dev-vm-devtest-75;thread:55;request_param:[{"orderGeneratorDto":{"couponCodeList[],"isPayOnline":0,"mid":"ff8080814fb11c9c014fb18a6ef70042","priceStrategy":1,"productNo":"MT","projectId":36,"projectName":"水晶郦城","sourceType":0,"subOrderlist":[{"wareCount":1,"warePrice":"2","wareSkuId":16179}]}}];response:{"result":{"returnInfo":{"code":400,"message":"创建订单失败,库存不足,商品名称:小馒头"}}}
具体地,常用的日志信息类型如表1所示。
S104:根据请求标识信息,确定所述调用请求信息对应的请求链;并根据请求步骤信息,确定所述调用请求信息对应的调用请求在所述请求链中的位置。
根据确定的所述调用请求信息对应的请求链,和确定的所述调用请求信息对应的调用请求在所述请求链中的位置,确定每个调用请求的请求链的全链路数据和每个调用请求之间的依赖关系。
一种可能的实施方式中,所述日志信息还包括:执行时间信息;
所述方法还包括:根据所述执行时间信息,确定所述调用请求信息对应的响应延时。
通过确定的所述调用请求信息对应的响应延时,确定每个调用请求调用的服务的性能。从而计算每个调用请求调用的服务的性能数据,并比对性能指标(Service-LevelAgreement,SLA),将上述性能数据和性能指标反馈到服务治理中,这就是分布式跟踪的目标。
一种可能的实施方式中,所述日志信息还包括:请求返回信息;
所述方法还包括:根据所述请求返回信息,确定所述调用请求信息对应的调用请求是否发生异常;在所述调用请求信息对应的调用请求发生异常的情况下,获取异常信息。
根据确定的异常信息,排查每个调用请求发生的异常情况,并可以加入报警机制,在所述调用请求信息对应的调用请求发生异常的情况下,进行报警。
实施例二
如图2所示,是本申请实施例二提供的日志信息处理方法,在实际实施情况下的一种实现方案,包括:
S201:通过对应用集群的每个调用请求获取调用请求信息,采集日志信息。
具体包括,根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;根据所述调用请求类型,获取调用请求信息的日志信息。
S202:将日志信息写入请求日志文件。
一种可能的实施方式中,所述将所述日志数据类型和日志数据进行存储,包括:将所述日志数据类型和日志数据存储到请求日志文件中。例如,将所有采集的日志信息统一存放到tracer.log文件中。
S203:通过日志收集代理,从请求日志文件中读取日志信息。
S204:通过kafka将从请求日志文件中读取日志信息转发给数据库服务器。
S205:使用spark平台和ELK平台两种数据库接收并存储从请求日志文件中读取的日志信息。
S206:使用Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和分布式数据库(Hadoop Base,HBase)对从请求日志文件中读取的日志信息进行数据分析。
Hadoop分布式文件系统HDFS使用Hadoop服务器集群对从请求日志文件中读取的日志信息进行数据分析。
一种可能的实施方式中,所述日志信息包括请求标识信息和请求步骤信息;根据请求标识信息,确定所述调用请求信息对应的请求链;根据请求步骤信息,确定所述调用请求信息对应的调用请求在所述请求链中的位置。
一种可能的实施方式中,所述日志信息还包括:执行时间信息;所述方法还包括:根据所述执行时间信息,确定所述调用请求信息对应的响应延时。
通过确定的所述调用请求信息对应的响应延时,确定每个调用请求调用的服务的性能。从而计算每个调用请求调用的服务的性能数据,并比对性能指标(Service-LevelAgreement,SLA),将上述性能数据和性能指标反馈到服务治理中,这就是分布式跟踪的目标。
一种可能的实施方式,其中,所述日志信息还包括:请求返回信息;所述方法还包括:根据所述请求返回信息,确定所述调用请求信息对应的调用请求是否发生异常;在所述调用请求信息对应的调用请求发生异常的情况下,获取异常信息。
根据确定的异常信息,排查每个调用请求发生的异常情况,并可以加入报警机制,在所述调用请求信息对应的调用请求发生异常的情况下,进行报警。
S207:使用网络服务器读取原始的日志信息,和/或对上述日志信息进行数据分析产生的分析结果。
S208:将读取原始的日志信息和/或对上述日志信息进行数据分析产生的分析结果,进行数据输出,或者对用户进行展示
实施例三
如图3所示,是本申请实施例二提供的日志信息处理方法,在实际实施情况下的另一种实现方案,包括:
S301:获取调用请求信息。
在每个系统入口层和资源层自动采集日志信息,不需要程序手动输出日志信息。具体地,例如,可以通过在配置文件中添加日志信息采集插件实现,例如sqlMapConfig.xml配置文件中添加日志信息采集插件实现。
S302:判断调用请求类型,并根据所述调用请求类型,获取调用请求信息的日志信息。
在具体实施过程中,基于面向切面的框架,例如aspectj,提供的日志信息采集的切面类:com.qding.framework.common.log.LogAspect,并且通过上述日志信息采集的切面类,判断调用请求类型。
S303:使用mybatis插件,将上述日志信息存入数据库。
S304:使用Redis数据库和媒体转换器(Media Converter,MC)接口,将上述日志信息输出。
在一种可能的实施方式中,在日志信息输出前,对日志信息进行数据分析,并存储或输出对日志信息进行数据分析的到的分析结果。
基于相同的技术构思,本申请实施例还提供一种日志信息处理装置、电子设备、以及计算机存储介质等,具体可参见以下实施例。
实施例四
如图4所示,一种日志信息处理装置400,包括:
调用获取模块401,用于获取程序接口的调用请求信息;
类型判断模块402,用于根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;
日志获取模块403,用于根据所述调用请求类型,获取请求日志信息;包括:请求标识信息和请求步骤信息;
调用分析模块404,用于根据请求标识信息,确定请求链,并根据请求步骤信息,确定当前调用请求位于所述请求链中的第几步。
调用分析模块404,还用于在所述日志信息还包括:执行时间信息的情况下;根据所述执行时间信息,确定所述调用请求信息对应的响应延时。
调用分析模块404,还用于在所述日志信息还包括:请求返回信息的情况下;根据所述请求返回信息,确定所述调用请求信息对应的调用请求是否发生异常;在所述调用请求信息对应的调用请求发生异常的情况下,获取异常信息。
本实施例所述装置还可以包括存储模块,用于在日志信息包括:日志数据类型和日志数据的情况下;以所述日志数据类型为索引,按照时间顺序,将所述日志数据类型和日志数据进行存储。
存储模块,还用于将所述日志数据类型和日志数据存储到请求日志文件中;或者将所述日志数据类型和日志数据存储到数据库服务器中。
实施例五
如图5所示,本申请实施例还提供一种电子设备500,包括:包括处理器501,存储器502,总线503,所述处理器501和存储器502通过总线503连接;处理器501用于执行存储器502中存储的可执行模块,例如计算机程序。
其中,存储器502可能包含高速随机存取存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
总线503可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩充工业标准总结结构(Extended Industry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器502用于存储程序,所述处理器501在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器501中,或者由处理器501实现。
处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。
本发明实施例提供的一种日志信息处理装置及电子设备,与上述实施例提供的一种日志信息处理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例六
本申请实施例还提供一种计算机可读存储介质,,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述日志信息处理方法中的步骤。
本申请实施例所提供的进行日志信息处理方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种日志信息处理方法,其特征在于,包括:
获取调用请求信息;
根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;
根据所述调用请求类型,获取调用请求信息的日志信息;所述日志信息包括请求标识信息和请求步骤信息;
根据请求标识信息,确定所述调用请求信息对应的请求链;
根据请求步骤信息,确定所述调用请求信息对应的调用请求在所述请求链中的位置。
2.根据权利要求1所述的方法,其特征在于,所述日志信息还包括:执行时间信息;
所述方法还包括:
根据所述执行时间信息,确定所述调用请求信息对应的响应延时。
3.根据权利要求1所述的方法,其特征在于,所述日志信息还包括:请求返回信息;
所述方法还包括:
根据所述请求返回信息,确定所述调用请求信息对应的调用请求是否发生异常;
在所述调用请求信息对应的调用请求发生异常的情况下,获取异常信息。
4.根据权利要求1所述的方法,其特征在于,所述日志信息包括:日志数据类型和日志数据;
所述方法,还包括:
以所述日志数据类型为索引,按照时间顺序,将所述日志数据类型和日志数据进行存储。
5.根据权利要求4所述的方法,其特征在于,所述将所述日志数据类型和日志数据进行存储,包括:
将所述日志数据类型和日志数据存储到请求日志文件中。
6.根据权利要求4所述的方法,其特征在于,所述将所述日志数据类型和日志数据进行存储,还包括:
将所述日志数据类型和日志数据存储到数据库服务器中。
7.根据权利要求1所述的方法,其特征在于,所述调用请求类型包括以下至少一个:
超文本传输协议HTTP、远程过程调用RPC、应用程序编程接口API、REIDS、MEMCACHE或MYSQL。
8.一种日志信息处理装置,其特征在于,包括:
调用获取模块,用于获取程序接口的调用请求信息;
类型判断模块,用于根据所述调用请求信息,确定所述调用请求信息对应的调用请求类型;
日志获取模块,根据所述调用请求类型,获取请求日志信息;包括:请求标识信息和请求步骤信息;
调用分析模块,根据请求标识信息,确定请求链,并根据请求步骤信息,确定当前调用请求位于所述请求链中的第几步。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
CN201811385976.XA 2018-11-20 2018-11-20 日志信息处理方法、装置、电子设备及可读存储介质 Active CN109271359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811385976.XA CN109271359B (zh) 2018-11-20 2018-11-20 日志信息处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811385976.XA CN109271359B (zh) 2018-11-20 2018-11-20 日志信息处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109271359A true CN109271359A (zh) 2019-01-25
CN109271359B CN109271359B (zh) 2020-10-16

Family

ID=65190414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811385976.XA Active CN109271359B (zh) 2018-11-20 2018-11-20 日志信息处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109271359B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684280A (zh) * 2018-12-19 2019-04-26 泰康保险集团股份有限公司 日志文件处理方法、装置及系统
CN110275901A (zh) * 2019-06-25 2019-09-24 北京创鑫旅程网络技术有限公司 一种缓存数据调取方法及装置
CN111158876A (zh) * 2019-12-26 2020-05-15 杭州安恒信息技术股份有限公司 一种日志处理方法、装置、设备及计算机可读存储介质
CN111309497A (zh) * 2020-02-10 2020-06-19 北京无限光场科技有限公司 信息调用的方法及装置、服务器、终端和存储介质
CN111367867A (zh) * 2020-03-05 2020-07-03 腾讯云计算(北京)有限责任公司 日志信息处理方法、装置、电子设备及存储介质
CN112181773A (zh) * 2020-09-29 2021-01-05 银盛支付服务股份有限公司 一种自动化收集模块日志的方法
CN113094157A (zh) * 2021-02-25 2021-07-09 青岛海尔科技有限公司 调用拓扑图的生成方法和装置、存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN106909325A (zh) * 2016-06-30 2017-06-30 阿里巴巴集团控股有限公司 日志打印方法和装置、以及日志打印系统
CN107483221A (zh) * 2016-06-08 2017-12-15 阿里巴巴集团控股有限公司 一种跨应用问题排查方法、装置及系统
CN107645562A (zh) * 2017-10-12 2018-01-30 广州爱九游信息技术有限公司 数据传输处理方法、装置、设备及系统
CN107818024A (zh) * 2017-11-22 2018-03-20 北京汇通金财信息科技有限公司 一种基于spring拦截器的request ID传递方法及系统
CN107943649A (zh) * 2017-11-21 2018-04-20 郑州云海信息技术有限公司 一种分布式集群性能监控系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483221A (zh) * 2016-06-08 2017-12-15 阿里巴巴集团控股有限公司 一种跨应用问题排查方法、装置及系统
CN106909325A (zh) * 2016-06-30 2017-06-30 阿里巴巴集团控股有限公司 日志打印方法和装置、以及日志打印系统
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN107645562A (zh) * 2017-10-12 2018-01-30 广州爱九游信息技术有限公司 数据传输处理方法、装置、设备及系统
CN107943649A (zh) * 2017-11-21 2018-04-20 郑州云海信息技术有限公司 一种分布式集群性能监控系统及方法
CN107818024A (zh) * 2017-11-22 2018-03-20 北京汇通金财信息科技有限公司 一种基于spring拦截器的request ID传递方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684280A (zh) * 2018-12-19 2019-04-26 泰康保险集团股份有限公司 日志文件处理方法、装置及系统
CN110275901A (zh) * 2019-06-25 2019-09-24 北京创鑫旅程网络技术有限公司 一种缓存数据调取方法及装置
CN110275901B (zh) * 2019-06-25 2021-08-24 北京创鑫旅程网络技术有限公司 一种缓存数据调取方法及装置
CN111158876A (zh) * 2019-12-26 2020-05-15 杭州安恒信息技术股份有限公司 一种日志处理方法、装置、设备及计算机可读存储介质
CN111158876B (zh) * 2019-12-26 2023-06-06 杭州安恒信息技术股份有限公司 一种日志处理方法、装置、设备及计算机可读存储介质
CN111309497A (zh) * 2020-02-10 2020-06-19 北京无限光场科技有限公司 信息调用的方法及装置、服务器、终端和存储介质
CN111309497B (zh) * 2020-02-10 2023-09-26 北京有竹居网络技术有限公司 信息调用的方法及装置、服务器、终端和存储介质
CN111367867A (zh) * 2020-03-05 2020-07-03 腾讯云计算(北京)有限责任公司 日志信息处理方法、装置、电子设备及存储介质
CN111367867B (zh) * 2020-03-05 2023-03-21 腾讯云计算(北京)有限责任公司 日志信息处理方法、装置、电子设备及存储介质
CN112181773A (zh) * 2020-09-29 2021-01-05 银盛支付服务股份有限公司 一种自动化收集模块日志的方法
CN113094157A (zh) * 2021-02-25 2021-07-09 青岛海尔科技有限公司 调用拓扑图的生成方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN109271359B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN109271359A (zh) 日志信息处理方法、装置、电子设备及可读存储介质
US10560465B2 (en) Real time anomaly detection for data streams
US10447772B2 (en) Managed function execution for processing data streams in real time
US9842045B2 (en) Failure recovery testing framework for microservice-based applications
CN107370806B (zh) Http状态码监控方法、装置、存储介质和电子设备
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
CN109688202A (zh) 一种接口数据的处理方法、装置、计算设备及存储介质
US10255347B2 (en) Smart tuple dynamic grouping of tuples
Baresi et al. Microservices: The evolution and extinction of web services?
US20210092160A1 (en) Data set creation with crowd-based reinforcement
US11546380B2 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
CN104765689B (zh) 一种接口性能数据实时监制方法和装置
US11675682B2 (en) Agent profiler to monitor activities and performance of software agents
CN109039787A (zh) 日志处理方法、装置及大数据集群
US10558670B2 (en) Smart tuple condition-based operation performance
CN109359019A (zh) 应用程序性能监控方法、装置、电子设备及存储介质
EP2634699B1 (en) Application monitoring
CN114297028A (zh) 一种微服务日志链路追踪方法与系统
US10296620B2 (en) Smart tuple stream alteration
CN110650126A (zh) 一种防网站流量攻击方法、装置以及智能终端、存储介质
US10657135B2 (en) Smart tuple resource estimation
CN114125015A (zh) 一种数据采集方法及系统
US11210156B1 (en) Intelligent distributed tracing
US11200138B1 (en) Policy-based request tracing using a computer
US20220201099A1 (en) Aspect aware streams computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant