CN108512694B - 一种服务器日志分析的方法及装置 - Google Patents
一种服务器日志分析的方法及装置 Download PDFInfo
- Publication number
- CN108512694B CN108512694B CN201810178390.XA CN201810178390A CN108512694B CN 108512694 B CN108512694 B CN 108512694B CN 201810178390 A CN201810178390 A CN 201810178390A CN 108512694 B CN108512694 B CN 108512694B
- Authority
- CN
- China
- Prior art keywords
- message
- log
- request message
- request
- forwarding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/026—Capturing of monitoring data using flow identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请实施例中公开了一种服务器日志分析的方法及装置,该方法为确定接收到请求消息,获取请求消息的关联消息集合,其中,关联消息集合中至少包括请求消息对应的响应消息;对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合;对特征参数集合进行封装,获得请求消息的封装日志;对封装日志进行日志分析,获得分析结果。这样,简化了日志分析的繁琐步骤,提高了日志分析的效率。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种服务器日志分析的方法及装置。
背景技术
随着互联网技术的发展,服务器与终端之间的信息交互也不断增多,参阅图1a所示,为信息交互的示意图,代理服务器接收终端发送的请求消息,并基于后台服务器的互联网协议(Internet Protocol,IP)地址和请求消息,获得转发消息,并将转发消息转发至后台服务器,以及获得后台服务器基于上述转发消息返回的响应消息。显然,在这个信息交互的过程中,会产生大量的服务器日志,通过对服务器日志进行分析,可以确定后台服务器的运行状况,从而可以根据日志分析结果对后台服务器进行调度和管理。
现有技术下,服务器通常针对每一个交互的消息(如,请求消息、连接消息以及响应消息)进行特征参数提取,获得服务器日志,进而通过服务器日志,进行服务器调度等操作。
然而,采用这种方式,由于服务器日志的数量较多,消息类型繁杂,因此,对服务器日志进行分析时,分析难度较高,操作步骤较为繁琐,效率较低。
发明内容
本申请实施例提供一种服务器日志分析的方法及装置,用于获取服务器日志并对服务器日志进行分析时,简化日志分析步骤,提高日志分析的效率。
本申请实施例提供的具体技术方案如下:
第一方面,一种服务器日志分析的方法,包括:
确定接收到请求消息,获取请求消息的关联消息集合,其中,关联消息集合中至少包括请求消息对应的响应消息;
对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合;
对特征参数集合进行封装,获得请求消息的封装日志;
对封装日志进行日志分析,获得分析结果。
较佳的,确定接收到请求消息,获取请求消息的关联消息集合,具体包括:
基于请求消息中包含的表征协议类型的字段,确定请求消息的协议类型为指定协议时,获取基于请求消息进行转发的转发消息以及请求消息的响应消息;
基于转发消息和响应消息的集合,获得请求消息的关联消息集合。
较佳的,特征参数集合包括以下特征参数中的任意一种或任意组合:
请求方法、请求时间、源IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn 项和序列号。
较佳的,对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合,具体包括:
对请求消息,以及关联消息集合中包含的转发消息和响应消息进行特征参数提取;
基于提取的特征参数,获得请求消息的特征参数集合;
其中,关联消息中未包含转发消息时,获取的特征参数为表征转发失败的错误标识;关联消息中未包含响应消息时,获取的特征参数为表征响应失败的错误标识。
较佳的,对封装日志进行日志分析,获得分析结果,具体包括:
基于请求消息的封装日志以及存储的各个历史请求消息的封装日志,分别计算每一个封装日志中包含的请求时间和响应时间之间的差值作为处理时间,并基于获取的各个处理时间,建立报表;
基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于转发失败次数以及各个封装日志的总数目,计算转发失败率。
基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率;
分别计算每两个相邻的封装日志中包含的请求时间的时间间隔;
基于报表,转发失败率,响应失败率以及各个时间间隔,获得分析结果。
较佳的,在对封装日志进行日志分析,获得分析结果之后,进一步包括:
基于分析结果,对系统资源进行优化配置;
确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和分析结果,推送至指定终端。
第二方面,一种服务器日志分析的装置,包括:
获取单元,用于确定接收到请求消息,获取请求消息的关联消息集合,其中,关联消息集合中至少包括请求消息对应的响应消息;
提取单元,用于对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合;
封装单元,用于对特征参数集合进行封装,获得请求消息的封装日志;
分析单元,用于对封装日志进行日志分析,获得分析结果。
较佳的,在确定接收到请求消息,获取请求消息的关联消息集合时,获取单元具体用于:
基于请求消息中包含的表征协议类型的字段,确定请求消息的协议类型为指定协议时,获取基于请求消息进行转发的转发消息以及请求消息的响应消息;
基于转发消息和响应消息的集合,获得请求消息的关联消息集合。
较佳的,特征参数集合包括以下特征参数中的任意一种或任意组合:
请求方法、请求时间、源IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn 项和序列号。
较佳的,在对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合时,提取单元,用于:
对请求消息,以及关联消息集合中包含的转发消息和响应消息进行特征参数提取;
基于提取的特征参数,获得请求消息的特征参数集合;
其中,关联消息中未包含转发消息时,获取的特征参数为表征转发失败的错误标识;关联消息中未包含响应消息时,获取的特征参数为表征响应失败的错误标识。
较佳的,在对封装日志进行日志分析,获得分析结果时,分析单元具体用于:
基于请求消息的封装日志以及存储的各个历史请求消息的封装日志,分别计算每一个封装日志中包含的请求时间和响应时间之间的差值作为处理时间,并基于获取的各个处理时间,建立报表;
基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于转发失败次数以及各个封装日志的总数目,计算转发失败率。
基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率;
分别计算每两个相邻的封装日志中包含的请求时间的时间间隔;
基于报表,转发失败率,响应失败率以及各个时间间隔,获得分析结果。
较佳的,在对封装日志进行日志分析,获得分析结果之后,分析单元还用于:
基于分析结果,对系统资源进行优化配置;
确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和分析结果,推送至指定终端。
第三方面,一种电子设备,包括:一个或多个处理器;以及
一个或多个计算机可读介质,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,实现上述第一方面中任一项的方法的步骤。
第四方面,一个或多个计算机可读介质,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,使得通信设备执行上述第一方面中任一项的方法。
本申请实施例中,针对请求消息和相应的关联消息进行特征参数提取以及封装,获得请求消息对应的封装日志,并基于获取的封装日志进行日志分析,获得分析结果。这样,就可以在封装日志中,直接将请求消息以及相关联的消息的特征参数进行关联,在通过封装日志进行分析时,简化了日志分析的繁琐步骤,提高了日志分析的效率。
附图说明
图1a为本申请实施例中信息交互的示意图;
图1b为本申请实施例中服务器日志分析的方法的流程图;
图2为本申请实施例中服务器日志分析的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了对服务器日志进行分析时,简化日志分析步骤,提高日志分析的效率,本申请实施例中,设计了一种服务器日志分析的方法,该方法为针对请求消息和相应的关联消息进行特征参数提取以及封装,获得请求消息对应的封装日志,并基于获取的封装日志进行日志分析,获得分析结果。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
参阅图1b所示,为服务器日志分析的流程图,本申请实施例中,对服务器日志分析的具体流程如下:
步骤100:服务器确定接收到终端发送的请求消息并且请求消息中包含指定协议字段时,对请求消息进行特征参数提取。
具体的,执行步骤100时,可选的,指定协议字段为超文本传输协议 (HyperTextTransfer Protocol,HTTP)或以安全为目标的HTTP(Hyper Text Transfer Protocol overSecure Socket Layer,HTTPS)。
其中,特征参数包括以下特征参数中的任意一种或任意组合:
请求方法、请求时间、源IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn 项和序列号。
例如,服务器对请求消息进行特征参数提取,获取的特征参数包括:请求方法、请求时间、源IP,目的IP,请求头内容,请求者证书的dn项和序列号。其中,请求头内容包括:Host,Connection,If-Modified-Since,If-Unmodified-Since, If-Match,If-None-Match,User-Agent,Referer,Content-Length,Content-Range, Content-Type,Range,If-Range,Transfer-Encoding,Expect,Upgrade, Accept-Encoding,Via,Authorization,Keep-Alive,X-Forwarded-For,X-Real-IP, Accept,Accept-Language,Depth,Destination,Overwrite,Date,Cookie。
这样,就可以对通过指定协议进行传输的请求消息,基于指定协议的参数配置方式,对请求消息进行特征参数提取。之所以对采用的协议类型进行判断,是由于采用不同的协议进行传输时,需要提取的特征参数不同。
步骤101:服务器获取请求消息的关联消息集合。
具体的,首先,服务器基于分配的后台服务器的IP以及请求消息,获得转发消息,并将转发消息发送至后台服务器。
然后,服务器接收后台服务器基于转发消息返回的响应消息。
最后,服务器获取包含转发消息和响应消息的关联消息集合。
其中,若转发消息发送失败,则关联消息集合为空;若响应消息发送失败,则关联消息集合中仅包括转发消息。
这样,就可以获取与请求消息相关联的各个消息。
步骤102:服务器对关联消息集合中包含的每一个消息进行特征参数提取,并基于提取的所有特征参数,获得特征参数集合。
具体的,首先,服务器判断关联消息集合中是否包含转发消息,若是,则确定转发消息转发成功,并对转发消息进行特征参数提取,否则,获得表征转发失败的错误标识。
例如,服务器对转发消息进行特征参数提取时,获得的特征参数包括:请求方法、请求时间、源IP,目的IP,请求头内容,请求者证书的dn项和序列号。其中,请求头内容包括:Host,Connection,If-Modified-Since, If-Unmodified-Since,If-Match,If-None-Match,User-Agent,Referer, Content-Length,Content-Range,Content-Type,Range,If-Range,Transfer-Encoding, Expect,Upgrade,Accept-Encoding,Via,Authorization,Keep-Alive, X-Forwarded-For,X-Real-IP,Accept,Accept-Language,Depth,Destination, Overwrite,Date,Cookie。
然后,服务器判断关联消息集合是否包含响应消息,若是,则确定响应消息成功接收,并对响应消息进行特征参数提取,否则,获得表征响应失败的错误标识。
例如:服务器对响应消息进行特征参数提取,获得的特征参数包括:返回时间,返回头内容,内容长度,内容类型,编码方式。其中,返回头内容包括: Status,Content-Type,Content-Length,Date,Last-Modified,ETag,Server, WWW-Authenticate,Location,Refresh,Set-Cookie,Content-Disposition, Cache-Control,Expires,Accept-Ranges,Content-Range,Connection,Keep-Alive, Vary,X-Powered-By,X-Accel-Expires,X-Accel-Redirect,X-Accel-Limit-Rate, X-Accel-Buffering,X-Accel-Charset,Transfer-Encoding,Content-Encoding。
最后,服务器基于提取的特征参数以及错误标识,获得特征参数集合。
这样,就可以将请求消息以及与请求消息相关联的关联消息均进行特征参数提取。
步骤103:服务器对特征参数集合进行封装,获得请求消息对应的封装日志。
具体的,执行步骤103时,封装日志可以采用以下格式:{time:[BBTT], cli-ai:[CCTT];poxi-ai:[PPTT],ser-ai:[SSTT]}。
其中,time,cli-ai,poxi-ai,ser-ai为固定内容,[]中的内容可变,为提取的特征参数。
其中,BBTT:为请求消息的请求时间。
例如,BBTT为:112270761907,表示从1970-01-01 08:00:00:00接收请求消息的时间点之间的毫秒数。
其中,CCTT:为请求消息的特征参数。例如,CCTT为:[{meth:“get”}, {client-ip:“12.168.117.14”},{Host:“12.198.17.15”},……,{cert-dn:“OU=BEIJIN, ou=RD”},{cert-numder“EC32DX42”}]。
其中,PPTT:为转发消息的特征参数。例如,PPTT为:[{time_t: 112270762105},{meth:“get”},{client-ip:“12.168.117.14”},{Host:“12.198.17.15”},……,{cert-dn:“OU=BEIJIN,ou=RD”},{cert-numder “EC32DX42”}]。
其中,SSTT为响应消息的特征参数。例如:SSTT为:[{time_t: 112270762309},{Status:200},{Content-Type:“***”},{Content-Length: 56},……{Content-Encoding:“gzip”}]。
其中,meth表示请求方法,time_t表示时间,client-ip表示源IP,Host表示目的IP,cert-dn表示请求者证书的dn项,cert-numder表示序列号,Content-Typ 表示内容类型,Content-Length表示内容长度,Content-Encoding表示编码方式。
这样,就可以将请求消息以及相关联的转发消息和响应消息的特征参数封装到同一个封装日志中,从而可以在后续的日志分析时,简化日志分析的繁琐步骤,提高日志分析的效率。
步骤104:服务器基于获取的封装日志,进行日志分析,获得分析结果。
具体的,服务器对获取的封装日志进行日志分析时,可以采用以下方式中的任意一种或任意组合:
第一种方式为:获取请求消息的封装日志以及存储的各个历史请求消息的封装日志,并分别计算每一个封装日志中的响应时间与请求时间的差值,作为处理时间,并基于获取的各个处理时间,建立包含各个处理时间的报表。
这样,通过报表就可以确定后台服务器的处理效率。
第二种方式为:基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于转发失败次数以及各个封装日志的总数目,计算转发失败率。
这样,就可以通过转发失败率,确定服务器与后台服务器之间连接失败的程度。
第三种方式为:基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率。
这样,就可以通过响应失败率,确定后台服务器进行响应时,响应失败的程度。
第四种方式为:分别计算每两个相邻的封装日志中包含的请求时间的时间间隔。
这样,就可以通过服务器处理两个请求消息的时间间隔,确定服务器以及后台服务器的处理效率。
最后,服务器基于获取的报表,转发失败率,响应失败率,各个时间间隔,获得分析结果。
步骤105:服务器基于分析结果,进行日志推送以及资源调度。
具体的,首先,服务器基于获取的分析结果,确定最优的资源配置方案,对系统资源进行优化配置,如,增加后台服务器的数量。
然后,服务器确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和分析结果,推送至指定终端。
其中,日志集合中的封装日志可以按照时间或者日志类型等方式进行排序。报表可以按照时间或者自定义的方式进行排序。
本申请实施例中,一种电子设备,包括:一个或多个处理器;以及
一个或多个计算机可读介质,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,实现上述实施例中的各个步骤。
本申请实施例中,一个或多个计算机可读介质,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,使得通信设备可以执行上述实施例中的各个步骤。
基于上述实施例,参阅图2所示,服务器日志分析的装置的结构示意图,本申请实施例中,服务器日志分析的装置具体包括:
获取单元20,用于确定接收到请求消息,获取请求消息的关联消息集合,其中,关联消息集合中至少包括请求消息对应的响应消息;
提取单元21,用于对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合;
封装单元22,用于对特征参数集合进行封装,获得请求消息的封装日志;
分析单元23,用于对封装日志进行日志分析,获得分析结果。
较佳的,在确定接收到请求消息,获取请求消息的关联消息集合时,获取单元20具体用于:
基于请求消息中包含的表征协议类型的字段,确定请求消息的协议类型为指定协议时,获取基于请求消息进行转发的转发消息以及请求消息的响应消息;
基于转发消息和响应消息的集合,获得请求消息的关联消息集合。
较佳的,特征参数集合包括以下特征参数中的任意一种或任意组合:
请求方法、请求时间、源IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn 项和序列号。
较佳的,在对请求消息以及关联消息集合中包含的每一个消息进行特征参数提取,获得特征参数集合时,提取单元21具体用于:
对请求消息,以及关联消息集合中包含的转发消息和响应消息进行特征参数提取;
基于提取的特征参数,获得请求消息的特征参数集合;
其中,关联消息中未包含转发消息时,获取的特征参数为表征转发失败的错误标识;关联消息中未包含响应消息时,获取的特征参数为表征响应失败的错误标识。
较佳的,在对封装日志进行日志分析,获得分析结果时,分析单元23具体用于:
基于请求消息的封装日志以及存储的各个历史请求消息的封装日志,分别计算每一个封装日志中包含的请求时间和响应时间之间的差值作为处理时间,并基于获取的各个处理时间,建立报表;
基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于转发失败次数以及各个封装日志的总数目,计算转发失败率。
基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率;
分别计算每两个相邻的封装日志中包含的请求时间的时间间隔;
基于报表,转发失败率,响应失败率以及各个时间间隔,获得分析结果。
较佳的,在对封装日志进行日志分析,获得分析结果之后,分析单元23 还用于:
基于分析结果,对系统资源进行优化配置;
确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和分析结果,推送至指定终端。
本申请实施例中,针对请求消息和相应的关联消息进行特征参数提取以及封装,获得请求消息对应的封装日志,并基于获取的封装日志进行日志分析,获得分析结果。这样,就可以在封装日志中,直接将请求消息以及相关联的消息的特征参数进行关联,在通过封装日志进行分析时,简化了日志分析的繁琐步骤,提高了日志分析的效率。
本领域内的技术人员应明白,本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样,倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内,则本申请实施例中也意图包含这些改动和变型在内。
Claims (8)
1.一种服务器日志分析的方法,其特征在于,包括:
确定接收到请求消息,基于所述请求消息中包含的表征协议类型的字段,确定所述请求消息的协议类型为指定协议时,获取基于所述请求消息进行转发的转发消息以及所述请求消息的响应消息;
基于所述转发消息和所述响应消息的集合,获得所述请求消息的关联消息集合;其中,所述关联消息集合中至少包括所述请求消息对应的响应消息;
对所述请求消息,以及所述关联消息集合中包含的转发消息和响应消息进行特征参数提取;
基于提取的特征参数,获得所述请求消息的特征参数集合;
其中,所述关联消息集合中未包含转发消息时,获取的特征参数为表征转发失败的错误标识;所述关联消息集合中未包含响应消息时,获取的特征参数为表征响应失败的错误标识;
所述特征参数集合包括以下特征参数中的任意一种或任意组合:请求方法、请求时间、源互联网协议IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn项和序列号;
对所述特征参数集合进行封装,获得所述请求消息的封装日志;
对所述封装日志进行日志分析,获得分析结果;
所述封装日志的格式表示为:
{time:[BBTT],cli-ai:[CCTT];poxi-ai:[PPTT],ser-ai:[SSTT]};
其中,time为请求消息的请求时间标识,BBTT为所述请求消息的请求时间,cli-ai为所述请求消息的特征参数标识,CCTT为所述请求消息的特征参数,poxi-ai为转发消息的特征参数标识,PPTT为所述转发消息的特征参数,ser-ai为响应消息的特征参数标识,SSTT为响应消息的特征参数。
2.如权利要求1所述的方法,其特征在于,对所述封装日志进行日志分析,获得分析结果,具体包括:
基于所述请求消息的封装日志以及存储的各个历史请求消息的封装日志,分别计算每一个封装日志中包含的请求时间和响应时间之间的差值作为处理时间,并基于获取的各个处理时间,建立报表;
基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于所述转发失败次数以及各个封装日志的总数目,计算转发失败率;
基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率;
分别计算每两个相邻的封装日志中包含的请求时间的时间间隔;
基于所述报表,所述转发失败率,所述响应失败率以及各个时间间隔,获得分析结果。
3.如权利要求2所述的方法,其特征在于,在对所述封装日志进行日志分析,获得分析结果之后,进一步包括:
基于所述分析结果,对系统资源进行优化配置;
确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和所述分析结果,推送至指定终端。
4.一种服务器日志分析的装置,其特征在于,包括:
获取单元,用于确定接收到请求消息,基于所述请求消息中包含的表征协议类型的字段,确定所述请求消息的协议类型为指定协议时,获取基于所述请求消息进行转发的转发消息以及所述请求消息的响应消息;
基于所述转发消息和所述响应消息的集合,获得所述请求消息的关联消息集合;其中,所述关联消息集合中至少包括所述请求消息对应的响应消息;
提取单元,用于对所述请求消息,以及所述关联消息集合中包含的转发消息和响应消息进行特征参数提取;
基于提取的特征参数,获得所述请求消息的特征参数集合;
其中,所述关联消息中未包含转发消息时,获取的特征参数为表征转发失败的错误标识;所述关联消息中未包含响应消息时,获取的特征参数为表征响应失败的错误标识;
所述特征参数集合包括以下特征参数中的任意一种或任意组合:请求方法、请求时间、源互联网协议IP,目的IP,请求头内容,转发时间,返回时间,返回头内容,内容长度,内容类型,编码方式,错误标识,请求者证书的dn项和序列号;
封装单元,用于对所述特征参数集合进行封装,获得所述请求消息的封装日志;
分析单元,用于对所述封装日志进行日志分析,获得分析结果;
所述封装日志的格式表示为:
{time:[BBTT],cli-ai:[CCTT];poxi-ai:[PPTT],ser-ai:[SSTT]};
其中,time为请求消息的请求时间标识,BBTT为所述请求消息的请求时间,cli-ai为所述请求消息的特征参数标识,CCTT为所述请求消息的特征参数,poxi-ai为转发消息的特征参数标识,PPTT为所述转发消息的特征参数,ser-ai为响应消息的特征参数标识,SSTT为响应消息的特征参数。
5.如权利要求4所述的装置,其特征在于,在对所述封装日志进行日志分析,获得分析结果时,所述分析单元具体用于:
基于所述请求消息的封装日志以及存储的各个历史请求消息的封装日志,分别计算每一个封装日志中包含的请求时间和响应时间之间的差值作为处理时间,并基于获取的各个处理时间,建立报表;
基于各个封装日志中包含的表征转发失败的错误标识,统计转发失败次数,并基于所述转发失败次数以及各个封装日志的总数目,计算转发失败率;
基于各个封装日志中包含的表征响应失败的错误标识,统计响应失败次数,并基于响应失败次数以及总数目,计算响应失败率;
分别计算每两个相邻的封装日志中包含的请求时间的时间间隔;
基于所述报表,所述转发失败率,所述响应失败率以及各个时间间隔,获得分析结果。
6.如权利要求5所述的装置,其特征在于,在对所述封装日志进行日志分析,获得分析结果之后,所述分析单元还用于:
基于所述分析结果,对系统资源进行优化配置;
确定获取的封装日志的总数目不低于预设推送门限值时,将包含各个封装日志的日志集合和所述分析结果,推送至指定终端。
7.一种电子设备,其特征在于,包括:一个或多个处理器;以及
一个或多个计算机可读介质,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,实现如权利要求1~3中任意一项的方法的步骤。
8.一种计算机可读介质,其特征在于,可读介质上存储有用于服务器日志分析的程序,其中,程序被一个或多个处理器执行时,使得通信设备执行如权利要求1~3中任一项的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810178390.XA CN108512694B (zh) | 2018-03-05 | 2018-03-05 | 一种服务器日志分析的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810178390.XA CN108512694B (zh) | 2018-03-05 | 2018-03-05 | 一种服务器日志分析的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108512694A CN108512694A (zh) | 2018-09-07 |
CN108512694B true CN108512694B (zh) | 2021-07-20 |
Family
ID=63376028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810178390.XA Active CN108512694B (zh) | 2018-03-05 | 2018-03-05 | 一种服务器日志分析的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108512694B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783903B (zh) * | 2019-11-07 | 2024-04-05 | 北京沃东天骏信息技术有限公司 | 生成更新日志的方法和装置 |
CN112346884A (zh) * | 2020-10-12 | 2021-02-09 | 口碑(上海)信息技术有限公司 | 一种消息触达数据处理方法以及装置 |
CN114697205B (zh) * | 2022-04-08 | 2024-03-12 | 上海哔哩哔哩科技有限公司 | 日志处理方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101668301A (zh) * | 2008-09-03 | 2010-03-10 | 中兴通讯股份有限公司 | 一种监控短信中心内节点运行状态的方法和装置 |
GB2518158A (en) * | 2013-09-11 | 2015-03-18 | Ibm | Method and system for data access in a storage infrastructure |
CN105323640A (zh) * | 2014-08-04 | 2016-02-10 | 四川长虹电器股份有限公司 | 一种基于互联网实现智能电视售后服务的方法、系统和设备 |
CN105824837B (zh) * | 2015-01-06 | 2019-04-02 | 中国移动通信集团广东有限公司 | 一种日志处理方法及装置 |
CN107250979B (zh) * | 2015-02-27 | 2020-09-25 | 微福斯有限责任公司 | 应用事件跟踪 |
JP6610124B2 (ja) * | 2015-09-25 | 2019-11-27 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
CN106656919B (zh) * | 2015-10-30 | 2019-08-06 | 中国科学院声学研究所 | 一种基于Telnet协议的会话解析方法及系统 |
CN107342880B (zh) * | 2016-04-29 | 2021-06-08 | 中兴通讯股份有限公司 | 异常信息采集方法及系统 |
CN107404465B (zh) * | 2016-05-20 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 网络数据分析方法及服务器 |
CN106231607A (zh) * | 2016-09-21 | 2016-12-14 | 北京佰才邦技术有限公司 | 一种资源分配的方法及基站 |
CN107479988A (zh) * | 2017-08-01 | 2017-12-15 | 西安交大捷普网络科技有限公司 | 基于dcom的三层关联审计方法 |
-
2018
- 2018-03-05 CN CN201810178390.XA patent/CN108512694B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108512694A (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111147564B (zh) | 数据文件传输方法、系统及通信终端 | |
CN108512694B (zh) | 一种服务器日志分析的方法及装置 | |
US10587544B2 (en) | Message processing method, processing server, terminal, and storage medium | |
CN111083161A (zh) | 数据传输的处理方法及装置、物联网设备 | |
CN112671933B (zh) | 一种数据处理方法及系统 | |
CN112422396B (zh) | 一种基于sslvpn通道的tcp网络传输加速方法和系统 | |
CN103973421A (zh) | 文件传送方法及装置 | |
CN103002049A (zh) | 一种大数据量数据的网络传输系统 | |
CN108833565A (zh) | 一种监控服务器的方法、装置、服务器和存储介质 | |
CN107295003B (zh) | 一种数据传输方法、装置及系统 | |
CN111885004B (zh) | 一种应用层消息传输方法及通信接口平台 | |
CN115801629B (zh) | 双向转发侦测方法、装置、电子设备及可读存储介质 | |
US8332498B2 (en) | Synchronized relay messaging and coordinated network processing using SNMP | |
CN111884938A (zh) | 路由器信息采集方法及装置 | |
CN111669364B (zh) | 一种数据传输的方法、装置、电子设备及介质 | |
CN109525539B (zh) | 一种能力调用方法、调用回执方法、信息处理方法及系统 | |
CN113132367B (zh) | 面向工程监测物联网采集终端数据传输自适应方法和装置 | |
CN115348333A (zh) | 基于udp双端通信交互的数据传输方法、系统及设备 | |
CN112667359B (zh) | 数据透传方法、电子设备及存储介质 | |
CN116192991A (zh) | 一种汽车总线复用报文的传输处理方法及系统 | |
CN110636114B (zh) | 一种客服接入方法及接入系统、业务系统、云平台 | |
CN106453573A (zh) | 一种http服务器中cgi请求的处理方法和系统 | |
US20160149855A1 (en) | Service processing method, system, and relevant device | |
CN107172179B (zh) | 一种双边加速传输方法和系统 | |
CN111586344A (zh) | 一种网络摄像机的消息发送方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |