CN107678933A - 日志生成管理方法、装置、设备及计算机可读存储介质 - Google Patents

日志生成管理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN107678933A
CN107678933A CN201710916605.9A CN201710916605A CN107678933A CN 107678933 A CN107678933 A CN 107678933A CN 201710916605 A CN201710916605 A CN 201710916605A CN 107678933 A CN107678933 A CN 107678933A
Authority
CN
China
Prior art keywords
service request
daily record
journal
information
journal file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710916605.9A
Other languages
English (en)
Inventor
郭兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Ping An Insurance Group Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201710916605.9A priority Critical patent/CN107678933A/zh
Publication of CN107678933A publication Critical patent/CN107678933A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Abstract

本发明公开了一种日志生成管理方法、装置、设备及计算机可读存储介质,该日志生成管理方法包括以下步骤:在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。本发明便于开发人员快速准确地分析和定位导致业务请求异常的关键信息、极大的降低成本,提高关键信息的准确率。

Description

日志生成管理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种日志生成管理方法、装置、设备及计算机可读存储介质。
背景技术
随着互联网技术高速发展,为了支撑日益增长的庞大业务量,通常将服务整合和拆分,使得服务不仅能通过集群部署抵挡流量冲击,又能根据业务需要进行灵活扩展。
目前,随着用户对于网络服务的要求越来越高,为用户提供服务的平台规模也越来越大,因此,业务请求少则经过三、四个服务调用完成,多则跨越几十个甚至上百个服务节点,如果业务流出现错误或异常,需要将相关的日志关联,然后基于关联的日志进行错误或异常的定位。
然而,日志串联工作一般是开发人员登陆各系统后采用手工方式进行,需要开发人员进行大量的排查工作,才能定位错误或异常的关键信息,存在成本高、耗时长、效率低以及准确性差的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种日志生成管理方法、装置、设备及计算机可读存储介质,旨在解决成本高、耗时长、效率低以及准确性差的技术问题。
为实现上述目的,本发明提供一种日志生成管理方法,该日志生成管理方法包括以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
可选地,所述根据所述拦截信息和所述拦截时间生成日志文件的步骤包括:
根据所述拦截信息中的业务请求标识确定日志类别;
根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
可选地,所述基于所述若干日志文件建立树形结构的步骤包括:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
可选地,所述根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构的步骤包括:
当检测到异常分析请求时,从预设存储区域中获取与所述异常分析请求中的业务请求标识关联的若干日志文件;
根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
可选地,所述根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域的步骤之后,还包括:
对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
可选地,所述根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域的步骤之后,还包括:
从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
根据所述业务请求标识建立所述全部日志文件的日志索引。
可选地,所述拦截信息还包括接口信息、业务请求参数、业务请求耗时、访问信息和返回码。
此外,为实现上述目的,本发明还提供一种日志生成管理装置,该日志生成管理装置包括:
拦截记录模块,用于在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
生成存储模块,用于根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
获取建立模块,用于当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
本发明还提供一种日志生成管理设备,该日志生成管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志生成管理程序,所述日志生成管理程序被所述处理器执行时实现以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有日志生成管理程序,所述日志生成管理程序被处理器执行时实现以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
本发明提供的日志生成管理方法、装置、设备及计算机可读存储介质,在检测到业务请求时,拦截该业务请求,以从该业务请求中获取拦截信息,并记录该业务请求的拦截时间,然后根据该拦截信息和该拦截时间生成日志文件,并将该日志文件存储至预设存储区域,最后当检测到异常分析请求时,根据该异常分析请求中的业务请求标识获取若干日志文件,并基于该若干日志文件建立树形结构,本方案通过拦截业务请求,获取该业务请求的业务请求标识和调用链信息等拦截信息,然后基于上述拦截信息以及固定格式生成日志文件,且在监测到异常分析请求,根据异常分析请求中业务请求标识获取日志文件,并根据日志文件中的调用链信息建立树形结构,使得开发人员能够快速准确地分析和定位导致业务请求异常的关键信息、极大的降低成本,提高关键信息的准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明日志生成管理方法第一实施例的流程示意图;
图3为图2中所述根据所述拦截信息和所述拦截时间生成日志文件步骤的细化流程示意图;
图4为本发明第二实施例中所述根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构步骤的细化流程示意图;
图5为本发明日志生成管理方法第四实施例的流程示意图;
图6为本发明日志生成管理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:在检测到业务请求时,拦截该业务请求,以从该业务请求中获取拦截信息,并记录该业务请求的拦截时间,然后根据该拦截信息和该拦截时间生成日志文件,并将该日志文件存储至预设存储区域,最后当检测到异常分析请求时,根据该异常分析请求中的业务请求标识获取若干日志文件,并基于该若干日志文件建立树形结构。
由于日志串联工作一般是开发人员登陆各系统后采用手工方式进行,需要开发人员进行大量的排查工作,才能定位错误或异常的关键信息,存在成本高、耗时长、效率低以及准确性差的问题。
本发明提供一种解决方案,本方案通过拦截业务请求,获取该业务请求的业务请求标识和调用链信息等拦截信息,然后基于上述拦截信息以及固定格式生成日志文件,且在监测到异常分析请求,根据异常分析请求中业务请求标识获取日志文件,并根据日志文件中的调用链信息建立树形结构,使得开发人员能够快速准确地分析和定位导致业务请求异常的关键信息、极大的降低成本,提高关键信息的准确率。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC,也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在设备移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,该设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志生成管理程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的日志生成管理程序,并执行以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
进一步地,处理器1001可以调用存储器1005中存储的日志生成管理程序,还执行以下步骤:
根据所述拦截信息中的业务请求标识确定日志类别;
根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
进一步地,处理器1001可以调用存储器1005中存储的日志生成管理程序,还执行以下步骤:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
进一步地,处理器1001可以调用存储器1005中存储的日志生成管理程序,还执行以下步骤:
当检测到异常分析请求时,从预设存储区域中获取与所述异常分析请求中的业务请求标识关联的若干日志文件;
根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
进一步地,处理器1001可以调用存储器1005中存储的日志生成管理程序,还执行以下步骤:
对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
进一步地,处理器1001可以调用存储器1005中存储的日志生成管理程序,还执行以下步骤:
从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
根据所述业务请求标识建立所述全部日志文件的日志索引。
进一步地,所述拦截信息还包括接口信息、业务请求参数、业务请求耗时、访问信息和返回码。
本发明日志生成管理设备的具体实施例与下述日志生成管理程序的各具体实施例基本相同,在此不作赘述。
本发明提供一种日志生成管理方法。
参照图2,图2为本发明日志生成管理方法第一实施例的流程示意图。
在本实施例中,该日志生成管理方法包括:
步骤S101,在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
该日志生成管理方法应用于日志生成管理设备,该日志生成管理设备在检测到业务请求时,拦截该业务请求,以从来业务请求中获取拦截信息,并记录该业务请求的拦截时间,具体的,该业务请求为HTTP/HTTPS请求,通过超文本协议过滤器或拦截器等,拦截检测到的业务请求,并从该业务请求中获取业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息和调用链信息等拦截信息,然后记录该业务请求的拦截时间。
该业务请求标识用于表示业务请求,在本实施例中,该业务请求标识用RequestID表示,用于标识同一业务请求,同一业务请求的日志文件的Request ID相同,不同业务请求的日志文件的Request ID不同。该接口信息包括该业务请求的访问接口,该请求参数包括该业务请求中的用户名、密码、身份信息和联系方式等用户输入的信息,该请求耗时为从客户端发出请求到客户端得到响应的整个时间,从客户端发送一个请求开始计时,到客户端连接到从服务器返回的响应结果计时结束。
该返回码表示该业务请求是否已成功,还可以揭示该业务请求失败的确切原因,该返回码包括五大类,分别为信息提示类、成功状态类、重定向类、客户端错误类和服务器错误类,该信息提示类包括初始请求已接受和协议重新转换,该成功状态类表示服务器成功接收业务请求,包括正常、文档已创建、请求已接收,但处理尚未完成和文档已正常返回等,该重定向类为URL重定向,包括:客户请求的文档在其他地方,新的URL(统一资源定位符,Uniform Resource Locator)在Location头中给出,浏览器应该自动地访问新的URL;客户请求的文档应该通过Location头所指明的代理服务器提取;该客户端错误类包括请求出现语法错误、访问被拒绝、登录失败、资源不可用、读访问被禁止、客户端证书已过期或尚未生效和用户数过多等,该服务器错误类包括业务请求未完成、内部ASP(动态服务器页面,Active Server Pages)错误、网关超时和服务器不支持请求中所指明的HTTP版本等。
该访问信息为服务器基于该业务请求返回的文本信息,该调用链信息包括调用链标识、调用父子关系标识和父应用标识等,主要过程在接收到业务请求时,生成一个全局标识,即调用链标识,通过调用链标识可以串联起整个调用链,一个调用链标识代表一次业务请求调用父子关系标识用于记录调用父子关系。每个服务会记录下调用父子关系标识和父应用标识,通过他们可以组织一次完整调用链的父子关系,一个没有父应用标识的调用父子关系成为空调用父子关系,可以看成调用链入口,所有这些标识可用全局唯一的64位整数表示,整个调用过程中每个请求都要透传调用链标识和调用父子关系标识。
步骤S102,根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
该日志生成管理设备从该业务请求中拦截得到业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息和调用链信息等拦截信息和拦截时间后,基于该业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息和调用链信息等拦截信息和拦截时间生成日志文件,并将该日志文件存储至预设存储区域。在具体实施中,在生成日志文件后,可压缩该日志文件,然后存储压缩后的日志文件。
具体地,参照图3,图3为图2中该步骤S102的细化流程示意图,该步骤S102包括:
步骤S1021,根据所述拦截信息中的业务请求标识确定日志类别;
该日志生成管理设备从该业务请求中获取拦截信息之后,从该拦截信息中提取业务请求标识,并根据该业务请求标识确定该业务请求类型,然后根据该业务请求类型确定日志类别,该业务请求类型包括登录注册类、金融支付类和贷款申请类等,该日志类别包括DEBUG、INFO、WARN、ERROR和FATAL,这五个级别具有重要程度排序,即DEBUG<INFO<WARN<ERROR<FATAL,分别用来指定日志文件的重要程度,每种业务请求类型对应一个类别的日志类别,业务请求类型与日志类别之间的对应关系,可由本领域技术人员根据实际情况设置,在本实施例对此不作具体限制。
步骤S1022,根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
该日志生成管理设备在确定日志类别之后,根据该日志类别、该拦截信息和该拦截时间为数据生成日志文件,即基于业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息、调用链信息和拦截时间,生成对应日志类别的日志文件。在具体实施中,还可以预先设置日志输出样式和日志输出地方,然后基于业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息、调用链信息和拦截时间,生成对应日志类别的日志文件,以预设的日志输出样式将该日志文件输出至预设的日志输出地方,该日志输出样式包括根据HTML样式、自由指定样式、包含日志级别与信息的样式和包含日志时间、线程、类别等信息的样式等;该日志输出地方包括控制台(Console)、文件(Files)、根据天数或者文件大小产生新的文件、以流的形式发送到其它地方等。
步骤S103,当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
该日志生成管理设备将日志文件存储至预设存储区域后,检测异常分析请求,当检测到异常分析请求时,从该异常分析请求中获取业务请求标识,并基于该业务请求标识获取若干日志文件,该若干日志文件的Request ID与该业务请求标识相同,然后根据若干日志文件建立树形结构。
可选地,在本实施例中,基于若干日志文件建立树形结构的步骤包括:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
该日志生成管理设备获取该若干日志文件中每个日志文件的调用链信息,并根据该调用链信息对该若干日志文件建立树形结构,即基于调用链信息中的调用链标识、调用父子关系标识和父应用标识建立若干日志文件的树形结构,首先根据调用父子关系标识确定若干日志文件中每个日志文件的层级关系,对于已经划分层级关系的日志文件,基于该调用链标识和父应用标识建立树形结构,在树形结构建立完成后,显示该树形结构。
在本实施例中,本方案通过拦截业务请求,获取该业务请求的业务请求标识和调用链信息等拦截信息,然后基于上述拦截信息以及固定格式生成日志文件,且在监测到异常分析请求,根据异常分析请求中业务请求标识获取日志文件,并根据日志文件中的调用链信息建立树形结构,使得开发人员能够快速准确地分析和定位导致业务请求异常的关键信息、极大的降低成本,提高关键信息的准确率。
进一步的,参照图4,基于上述第一实施例提出了本发明日志生成管理方法的第二实施例,与前述实施例的区别在于,该步骤S103包括:
步骤S1031,当检测到异常分析请求时,从预设存储区域中获取与所述异常分析请求中的业务请求标识关联的若干日志文件;
该日志生成管理设备将日志文件存储至预设存储区域后,检测异常分析请求,当检测到异常分析请求时,从该异常分析请求中获取业务请求标识,并从预设存储区域中获取与该业务请求标识关联的若干日志文件,该若干日志文件的Request ID与该业务请求标识相同,即从预设存储区域中获取Request ID与该业务请求标识相同的若干日志文件。
步骤S1032,根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
在得到若干日志文件后,该日志生成管理设备获取异常分析请求中的时长区间,并根据该时长区间过滤若干日志文件,然后根据过滤后的若干日志文件建立树形结构,具体的,基于调用链信息中的调用链标识、调用父子关系标识和父应用标识建立过滤后的若干日志文件的树形结构,首先根据调用父子关系标识确定过滤后的若干日志文件中每个日志文件的层级关系,对于已经划分层级关系的日志文件,基于该调用链标识和父应用标识建立树形结构,在树形结构建立完成后,显示该树形结构。
在本实施例中,本发明通过时长区间过滤若干日志文件,能够进一步提高树形结构的建立速度,便于开发人员速准确地分析和定位导致业务请求异常的关键信息。
进一步地,基于上述第一或第二实施例提出了本发明日志生成管理方法的第三实施例,与前述实施例的区别在于,该步骤S102之后,还包括:
对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
该日志生成管理设备基于业务请求标识、接口信息、业务请求参数、业务请求耗时、返回码、访问信息、调用链信息和拦截时间,生成日志文件之后,对该日志文件进行压缩,以生成压缩日志文,然后以间隔预设时间将该压缩日志文件上传至云端进行存储。
在本实施例中,本发明将日志文件压缩之后上传至云端存储,有效的减少日志文件的传输时间。
进一步地,参照图5,基于上述第一、第二或第三实施例提出了本发明日志生成管理方法的第四实施例,与前述实施例的区别在于,该步骤S102之后,还包括:
步骤S104,从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
步骤S105,根据所述业务请求标识建立所述全部日志文件的日志索引。
该日志生成管理设备将生成的日志文件存储至预设存储区域之后,从该预设存储区域中读取全部日志文件,并获取全部日志文件中每个日志文件的业务请求标识,然后根据该业务请求标识建立全部日志文件的日志索引。在具体实施中,当检测到有日志文件存储到预设存储区域时,提取该日志文件,并获取历史日志索引,然后基于该日志文件和该历史日志索引建立当前日志索引,并将历史日志索引更新为当前日志索引。
在本实施例中,本发明通过建立日志文件的日志索引,便于开发人员在查询日志文件时,基于日志索引快速查询日志文件,然后基于查询获得的日志文件快速准确的分析和定位导致业务请求异常的关键信息。
本发明还提供一种日志生成管理装置。
参照图6,图6为本发明日志生成管理装置第一实施例的功能模块示意图。
在本实施例中,该日志生成管理装置包括:
拦截记录模块101,用于在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
生成存储模块102,用于根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
获取建立模块103,用于当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
进一步地,所述生成存储模块102,还用于:
根据所述拦截信息中的业务请求标识确定日志类别;
根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
进一步地,所述获取建立模块103,还用于:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
进一步地,所述获取建立模块103,还用于:
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件;
根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
进一步地,该日志生成管理装置还包括:
压缩上传模块,用于对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
进一步地,所述获取建立模块103,还用于:
从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
根据所述业务请求标识建立所述全部日志文件的日志索引。
本发明日志生成管理装置的具体实施例与上述日志生成管理方法的各具体实施例基本相同,在此不作赘述。
此外,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有日志生成管理程序,所述日志生成管理程序被处理器执行时实现以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
进一步地,所述日志生成管理程序被处理器执行时还实现以下步骤:
根据所述拦截信息中的业务请求标识确定日志类别;
根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
进一步地,所述日志生成管理程序被处理器执行时还实现以下步骤:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
进一步地,所述日志生成管理程序被处理器执行时还实现以下步骤:
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件;
根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
进一步地,所述日志生成管理程序被处理器执行时还实现以下步骤:
对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
进一步地,所述日志生成管理程序被处理器执行时还实现以下步骤:
从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
根据所述业务请求标识建立所述全部日志文件的日志索引。
本发明计算机可读存储介质的具体实施例与上述日志生成管理方法的各具体实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种日志生成管理方法,其特征在于,所述日志生成管理方法包括以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
2.如权利要求1所述的日志生成管理方法,其特征在于,所述根据所述拦截信息和所述拦截时间生成日志文件的步骤包括:
根据所述拦截信息中的业务请求标识确定日志类别;
根据所述日志类别、所述拦截信息和所述拦截时间为数据生成日志文件。
3.如权利要求1所述的日志生成管理方法,其特征在于,所述基于所述若干日志文件建立树形结构的步骤包括:
获取所述若干日志文件中每个日志文件的调用链信息;
根据所述调用链信息对所述若干日志文件建立树形结构。
4.如权利要求1所述的日志生成管理方法,其特征在于,所述根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构的步骤包括:
当检测到异常分析请求时,从预设存储区域中获取与所述异常分析请求中的业务请求标识关联的若干日志文件;
根据所述异常分析请求中的时长区间过滤所述若干日志文件,并基于过滤后的若干日志文件建立树形结构。
5.如权利要求1-4中任一项所述的日志生成管理方法,其特征在于,所述根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域的步骤之后,还包括:
对所述日志文件进行压缩,以生成压缩日志文,并以间隔预设时间将所述压缩日志文件上传至云端进行存储。
6.如权利要求1-4中任一项所述的日志生成管理方法,其特征在于,所述根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域的步骤之后,还包括:
从预设存储区域中读取全部日志文件,并获取所述全部日志文件中每个日志文件的业务请求标识;
根据所述业务请求标识建立所述全部日志文件的日志索引。
7.如权利要求1-4中任一项所述的日志生成管理方法,其特征在于,所述拦截信息还包括接口信息、业务请求参数、业务请求耗时、访问信息和返回码。
8.一种日志生成管理装置,其特征在于,所述日志生成管理装置包括:
拦截记录模块,用于在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
生成存储模块,用于根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
获取建立模块,用于当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
9.一种日志生成管理设备,其特征在于,所述日志生成管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志生成管理程序,所述日志生成管理程序被所述处理器执行时实现以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志生成管理程序,所述日志生成管理程序被处理器执行时实现以下步骤:
在检测到业务请求时,拦截所述业务请求,以从所述业务请求中获取拦截信息,并记录所述业务请求的拦截时间,所述拦截信息包括业务请求标识和调用链信息;
根据所述拦截信息和所述拦截时间生成日志文件,并将所述日志文件存储至预设存储区域;
当检测到异常分析请求时,根据所述异常分析请求中的业务请求标识获取若干日志文件,并基于所述若干日志文件建立树形结构。
CN201710916605.9A 2017-09-28 2017-09-28 日志生成管理方法、装置、设备及计算机可读存储介质 Pending CN107678933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710916605.9A CN107678933A (zh) 2017-09-28 2017-09-28 日志生成管理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710916605.9A CN107678933A (zh) 2017-09-28 2017-09-28 日志生成管理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN107678933A true CN107678933A (zh) 2018-02-09

Family

ID=61139666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710916605.9A Pending CN107678933A (zh) 2017-09-28 2017-09-28 日志生成管理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107678933A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650123A (zh) * 2018-05-08 2018-10-12 平安普惠企业管理有限公司 故障信息记录方法、装置、设备和存储介质
CN108765119A (zh) * 2018-05-23 2018-11-06 中国平安人寿保险股份有限公司 准备金月结流程回退方法、装置、设备及可读存储介质
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法
CN109241014A (zh) * 2018-07-04 2019-01-18 阿里巴巴集团控股有限公司 数据处理方法、装置和服务器
CN109271331A (zh) * 2018-08-20 2019-01-25 平安普惠企业管理有限公司 日志的生成方法、装置、计算机设备及存储介质
CN109284251A (zh) * 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质
CN109309587A (zh) * 2018-10-09 2019-02-05 广东网安科技有限公司 一种日志采集方法及系统
CN109491885A (zh) * 2018-09-26 2019-03-19 深圳壹账通智能科技有限公司 测试问题定位方法、装置、计算机设备和存储介质
CN110046073A (zh) * 2019-03-29 2019-07-23 厦门网宿有限公司 一种日志采集方法及装置、设备、存储介质
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术(上海)有限公司 一种数据处理方法、消息追踪监控方法和分布式系统
CN110297748A (zh) * 2018-03-22 2019-10-01 财付通支付科技有限公司 一种定位调用出错的方法、装置和计算机可读存储介质
CN110392100A (zh) * 2019-07-12 2019-10-29 辽宁途隆科技有限公司 高并发事件的处理方法及装置、存储介质、计算机设备
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110928853A (zh) * 2018-09-14 2020-03-27 北京京东尚科信息技术有限公司 一种标识日志的方法和装置
CN110928934A (zh) * 2018-09-19 2020-03-27 北京京东尚科信息技术有限公司 一种用于业务分析的数据处理方法和装置
CN110969457A (zh) * 2018-09-29 2020-04-07 中国移动通信集团浙江有限公司 移动应用日志采集方法及系统
CN111143304A (zh) * 2019-11-20 2020-05-12 杭州端点网络科技有限公司 一种基于请求链路的微服务系统异常日志分析方法
CN111177428A (zh) * 2018-11-12 2020-05-19 马上消费金融股份有限公司 一种业务异常的处理方法及相关装置
CN111176987A (zh) * 2019-12-18 2020-05-19 深圳前海环融联易信息科技服务有限公司 前端日志统一输出的方法、装置、计算机设备及存储介质
CN111290910A (zh) * 2020-01-20 2020-06-16 Oppo(重庆)智能科技有限公司 日志处理方法、装置、服务器及存储介质
CN111538712A (zh) * 2020-04-30 2020-08-14 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN111858525A (zh) * 2020-06-01 2020-10-30 深圳汇商通盈科技有限公司 日志追踪方法、生成方法、追踪装置、生成装置及系统
CN112506799A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 业务异常定位方法及装置、电子设备、介质、产品
CN112506872A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 异常信息生成方法、装置以及电子设备
CN112579552A (zh) * 2019-09-30 2021-03-30 杭州海康威视数字技术股份有限公司 日志存储及调用方法、装置及系统
CN113010398A (zh) * 2021-03-18 2021-06-22 建信金融科技有限责任公司 一种业务日志模型、业务执行方法、装置、电子设备和介质
CN113268401A (zh) * 2021-06-16 2021-08-17 中移(杭州)信息技术有限公司 日志信息的输出方法、装置及计算机可读存储介质
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1480134A2 (en) * 2003-05-22 2004-11-24 Cognos Incorporated System and method for logging actions for transformating a data model
CN103186551A (zh) * 2011-12-28 2013-07-03 金蝶软件(中国)有限公司 基于web应用平台的异常分析方法及仿真系统
CN104156300A (zh) * 2013-05-14 2014-11-19 利德科技发展有限公司 日志管理系统和日志管理方法
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术(北京)有限公司 分布式服务的监控方法及装置
CN105391772A (zh) * 2015-10-16 2016-03-09 百度在线网络技术(北京)有限公司 业务请求处理方法、日志处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1480134A2 (en) * 2003-05-22 2004-11-24 Cognos Incorporated System and method for logging actions for transformating a data model
CN103186551A (zh) * 2011-12-28 2013-07-03 金蝶软件(中国)有限公司 基于web应用平台的异常分析方法及仿真系统
CN104156300A (zh) * 2013-05-14 2014-11-19 利德科技发展有限公司 日志管理系统和日志管理方法
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术(北京)有限公司 分布式服务的监控方法及装置
CN105391772A (zh) * 2015-10-16 2016-03-09 百度在线网络技术(北京)有限公司 业务请求处理方法、日志处理方法及装置

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297748A (zh) * 2018-03-22 2019-10-01 财付通支付科技有限公司 一种定位调用出错的方法、装置和计算机可读存储介质
CN108650123A (zh) * 2018-05-08 2018-10-12 平安普惠企业管理有限公司 故障信息记录方法、装置、设备和存储介质
CN108765119A (zh) * 2018-05-23 2018-11-06 中国平安人寿保险股份有限公司 准备金月结流程回退方法、装置、设备及可读存储介质
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法
CN109241014A (zh) * 2018-07-04 2019-01-18 阿里巴巴集团控股有限公司 数据处理方法、装置和服务器
CN109284251A (zh) * 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质
CN109271331A (zh) * 2018-08-20 2019-01-25 平安普惠企业管理有限公司 日志的生成方法、装置、计算机设备及存储介质
CN109271331B (zh) * 2018-08-20 2022-06-10 平安普惠企业管理有限公司 日志的生成方法、装置、计算机设备及存储介质
CN110928853A (zh) * 2018-09-14 2020-03-27 北京京东尚科信息技术有限公司 一种标识日志的方法和装置
CN110928934A (zh) * 2018-09-19 2020-03-27 北京京东尚科信息技术有限公司 一种用于业务分析的数据处理方法和装置
CN109491885A (zh) * 2018-09-26 2019-03-19 深圳壹账通智能科技有限公司 测试问题定位方法、装置、计算机设备和存储介质
CN110969457A (zh) * 2018-09-29 2020-04-07 中国移动通信集团浙江有限公司 移动应用日志采集方法及系统
CN109309587A (zh) * 2018-10-09 2019-02-05 广东网安科技有限公司 一种日志采集方法及系统
CN111177428B (zh) * 2018-11-12 2023-06-30 马上消费金融股份有限公司 一种业务异常的处理方法及相关装置
CN111177428A (zh) * 2018-11-12 2020-05-19 马上消费金融股份有限公司 一种业务异常的处理方法及相关装置
CN110046073B (zh) * 2019-03-29 2022-10-18 厦门网宿有限公司 一种日志采集方法及装置、设备、存储介质
CN110046073A (zh) * 2019-03-29 2019-07-23 厦门网宿有限公司 一种日志采集方法及装置、设备、存储介质
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术(上海)有限公司 一种数据处理方法、消息追踪监控方法和分布式系统
CN110191000B (zh) * 2019-06-10 2023-01-31 中汇信息技术(上海)有限公司 一种数据处理方法、消息追踪监控方法和分布式系统
CN110392100A (zh) * 2019-07-12 2019-10-29 辽宁途隆科技有限公司 高并发事件的处理方法及装置、存储介质、计算机设备
CN110392100B (zh) * 2019-07-12 2022-03-11 辽宁途隆科技有限公司 高并发事件的处理方法及装置、存储介质、计算机设备
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110647447B (zh) * 2019-08-01 2023-04-14 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN112579552A (zh) * 2019-09-30 2021-03-30 杭州海康威视数字技术股份有限公司 日志存储及调用方法、装置及系统
CN111143304B (zh) * 2019-11-20 2023-09-29 杭州端点网络科技有限公司 一种基于请求链路的微服务系统异常日志分析方法
CN111143304A (zh) * 2019-11-20 2020-05-12 杭州端点网络科技有限公司 一种基于请求链路的微服务系统异常日志分析方法
CN111176987A (zh) * 2019-12-18 2020-05-19 深圳前海环融联易信息科技服务有限公司 前端日志统一输出的方法、装置、计算机设备及存储介质
CN111290910A (zh) * 2020-01-20 2020-06-16 Oppo(重庆)智能科技有限公司 日志处理方法、装置、服务器及存储介质
CN111290910B (zh) * 2020-01-20 2023-06-23 Oppo(重庆)智能科技有限公司 日志处理方法、装置、服务器及存储介质
CN111538712B (zh) * 2020-04-30 2023-07-21 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN111538712A (zh) * 2020-04-30 2020-08-14 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN111858525A (zh) * 2020-06-01 2020-10-30 深圳汇商通盈科技有限公司 日志追踪方法、生成方法、追踪装置、生成装置及系统
CN112506872A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 异常信息生成方法、装置以及电子设备
CN112506872B (zh) * 2020-12-18 2024-02-13 北京百度网讯科技有限公司 异常信息生成方法、装置以及电子设备
CN112506799A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 业务异常定位方法及装置、电子设备、介质、产品
CN112506799B (zh) * 2020-12-22 2023-11-10 北京百度网讯科技有限公司 业务异常定位方法及装置、电子设备、介质、产品
CN113010398A (zh) * 2021-03-18 2021-06-22 建信金融科技有限责任公司 一种业务日志模型、业务执行方法、装置、电子设备和介质
CN113268401A (zh) * 2021-06-16 2021-08-17 中移(杭州)信息技术有限公司 日志信息的输出方法、装置及计算机可读存储介质
CN115118582A (zh) * 2022-06-15 2022-09-27 合肥移瑞通信技术有限公司 日志分析的方法和装置
CN115118582B (zh) * 2022-06-15 2024-04-16 合肥移瑞通信技术有限公司 日志分析的方法和装置

Similar Documents

Publication Publication Date Title
CN107678933A (zh) 日志生成管理方法、装置、设备及计算机可读存储介质
US11196839B1 (en) System and method for classifying API requests in API processing systems using a tree configuration
US11374847B1 (en) Systems and methods for switch stack emulation, monitoring, and control
US10417060B2 (en) Automated API publication for Internet of Things platform
CN109684047A (zh) 事件处理方法、装置、设备和计算机存储介质
US20210027458A1 (en) Geofence-based object identification in an extended reality environment
US9467518B2 (en) System, a method and a computer program product for automated remote control
US11736412B1 (en) Systems and methods for multi-tier resource and subsystem orchestration and adaptation
JP2017504121A (ja) 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機
JP2017504121A5 (zh)
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
US20130066875A1 (en) Method for Segmenting Users of Mobile Internet
US11283690B1 (en) Systems and methods for multi-tier network adaptation and resource orchestration
CN105068876B (zh) 基于分布式部署真机采集手机app性能数据的方法
WO2013039832A1 (en) System and method for automated classification of web pages and domains
CN112956157B (zh) 追踪客户端设备事件的系统和方法
CN108848276A (zh) 电话号码可用性检测方法、系统、设备及存储介质
CN106357480A (zh) 监测应用的网络性能的方法、装置及移动终端
CN105553770B (zh) 一种数据采集控制方法和装置
CN108702334B (zh) 用于针对零费率的网络配置的分布式测试的方法和系统
CN105159992A (zh) 一种应用程序的页面内容及网络行为的检测方法及装置
US20130064108A1 (en) System and Method for Relating Internet Usage with Mobile Equipment
CN116049808A (zh) 一种基于大数据的设备指纹采集系统及方法
Kumar et al. A brief investigation on web usage mining tools (WUM)
CN106775463B (zh) 数据存储方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209