CN113791957B - 一种日志处理方法、系统及介质 - Google Patents
一种日志处理方法、系统及介质 Download PDFInfo
- Publication number
- CN113791957B CN113791957B CN202111120612.0A CN202111120612A CN113791957B CN 113791957 B CN113791957 B CN 113791957B CN 202111120612 A CN202111120612 A CN 202111120612A CN 113791957 B CN113791957 B CN 113791957B
- Authority
- CN
- China
- Prior art keywords
- log
- request
- information
- stored
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志处理方法、系统及介质,所述方法包括以下步骤:设置检测时间段;配置访问黑名单;基于检测时间段和访问黑名单获取请求情况;配置AOP函数集、正则匹配算法和线程匹配表;设置日志标记位置和日志类别;基于请求情况、AOP函数集、正则匹配算法、线程匹配表、日志标记位置和日志类别执行信息处理操作,得到待存储日志信息;配置商值与分割次数匹配表;设置存储路径、存储值、存储时间、误差区间和间隔时间段;基于商值与分割次数匹配表、存储路径、存储值、存储时间、误差区间和间隔时间段对待存储日志信息执行分裂式存储打印操作;本发明能够对系统请求进行全面监控,并在面对请求时,进行全局处理信息的统一打印。
Description
技术领域
本发明涉及日志生成技术领域,特别是涉及一种日志处理方法、系统及介质。
背景技术
现有技术中,日志的生成方法按照系统中访问请求的信息类别进行日志信息的单独打印,而面对系统中访问请求的多种信息类别,其无法将多种类别的信息归纳至一个日志中进行统一打印输出,同时因现有技术的日志生成方法没有对日志规格的限制,这将导致大规格的日志长时间打印,最终极大的降低日志打印的效率,降低用户的体验,并无法及时的发现系统请求中所存在的问题。
发明内容
本发明主要解决的是现有的日志生成方法因无法一次性打印多种日志信息,且同时没有对日志规格的限制,最终导致日志打印效率极低的问题。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种日志处理方法,包括以下步骤:
请求判断步骤:
设置检测时间段;配置访问黑名单;基于所述检测时间段和所述访问黑名单获取请求情况;
日志生成步骤:
配置AOP函数集、正则匹配算法和线程匹配表;设置日志标记位置和日志类别;基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
日志打印步骤:
配置商值与分割次数匹配表;设置存储路径、存储值、存储时间、误差区间和间隔时间段;基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作。
作为一种改进的方案,所述访问黑名单中配置有若干访问地址;所述AOP函数集中配置有前置通知函数和环绕通知函数;所述线程匹配表中设置有若干请求处理线程以及与若干所述请求处理线程均分别匹配的若干请求时间和若干请求计算资源数量;所述商值与分割次数匹配表中配置有若干分割次数以及与若干所述分割次数分别匹配的若干商值。
作为一种改进的方案,所述基于所述检测时间段和所述访问黑名单获取请求情况的步骤进一步包括:
每隔所述检测时间段,判断系统中是否存在访问请求;
若不存在,则设定所述请求情况为不存在访问请求;
若存在,则获取所述访问请求的请求地址,比对所述访问黑名单中是否存在与所述请求地址相匹配的所述访问地址;若是,则设定所述请求情况为存在访问请求;若否,则设定所述请求情况为所述不存在访问请求。
作为一种改进的方案,所述信息处理操作包括:
当所述请求情况为所述存在访问请求时,调用所述前置通知函数基于所述正则匹配算法和所述线程匹配表执行所述第一信息分析操作,得到第一日志信息;
设置时长格式,调用所述环绕通知函数基于所述日志标记位置、所述日志类别、所述第一日志信息和所述时长格式执行所述第二信息分析操作,得到所述待存储日志信息。
作为一种改进的方案,所述第一信息分析操作包括:
调用所述前置通知函数拦截所述访问请求,并获取所述访问请求的地址信息和参数信息;记录第一时间点,并提取所述参数信息中的第一请求时间和第一请求计算资源数量;
调用正则匹配算法在所述线程匹配表中筛选出与所述第一请求时间和所述第一请求计算资源数量均匹配的第一请求处理线程;调用所述第一请求处理线程执行所述访问请求,并记录所述第一请求处理线程的第一线程标识信息;
整合所述地址信息、所述参数信息、所述第一时间点和所述第一线程标识信息,得到所述第一日志信息。
作为一种改进的方案,所述第二信息分析操作包括:
调用所述环绕通知函数获取所述访问请求的请求接口信息,调用所述环绕通知函数提取所述请求接口信息中的第一返回值,并记录第二时间点;
计算所述第二时间点与所述第一时间点的差值,得到第一处理时长;将所述第一处理时长换算为与所述时长格式相匹配的第二处理时长;将所述第一返回值和所述第二处理时长添加至所述第一日志信息中,得到第二日志信息;
按照所述日志标记位置在所述第二日志信息中标记所述日志类别,得到所述待存储日志信息。
作为一种改进的方案,所述分裂式存储打印操作包括:
识别所述待存储日志信息的第一占用值,判断所述第一占用值是否不大于所述存储值;
若不大于,则将所述待存储日志信息存储至所述存储路径所对应的存储区中,对所述存储区中的所述待存储日志信息执行计时打印删除步骤:打印所述存储区中的所述待存储日志信息,并执行计时操作,生成第三时间;当所述第三时间达到所述存储时间时,删除所述存储区中的所述待存储日志信息;
若大于,则计算所述第一占用值与所述存储值的第一商值;比对所述第一商值是否处于所述误差区间内;若处于,则将所述待存储日志信息存储至所述存储区中,并对所述存储区中的所述待存储日志信息执行所述计时打印删除步骤;若未处于,则在所述商值与分割次数匹配表中筛选与所述第一商值相匹配的第一分割次数;基于所述存储时间、所述存储区、所述待存储日志信息和所述第一分割次数执行分割存储步骤。
作为一种改进的方案,所述分割存储步骤包括:
计算所述第一分割次数与所述存储值的积值,得到第二占用值;计算所述第二占用值与所述第一占用值的差值的绝对值,得到第一分割值;
将所述待存储日志信息分割为与所述第一分割值相匹配的第一待存储信息以及与所述存储值均匹配的若干第二待存储信息;
在虚拟内存中划分与所述第一占用值相匹配的缓存区,将所述第一待存储信息以及若干所述第二待存储信息置入所述缓存区中;
每隔所述间隔时间段在所述缓存区中选取所述第一待存储信息或任一所述第二待存储信息存储至所述存储区;每当所述存储区中存储入所述第一待存储信息或所述第二待存储信息时,对该第一待存储信息或该第二待存储信息执行所述计时打印删除步骤。
本发明还提供一种日志处理系统,包括:
请求判断模块、日志生成模块和日志打印模块;
所述请求判断模块用于设置检测时间段和配置访问黑名单;所述请求判断模块基于所述检测时间段和所述访问黑名单获取请求情况;
所述日志生成模块用于配置AOP函数集、正则匹配算法和线程匹配表;所述日志生成模块还用于设置日志标记位置和日志类别;所述日志生成模块基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
所述日志打印模块用于配置商值与分割次数匹配表;所述日志打印模块还用于设置存储路径、存储值、存储时间、误差区间和间隔时间段;所述日志打印模块基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述日志处理方法的步骤。
本发明的有益效果是:
1、本发明所述的日志处理方法,可以实现对系统中的请求进行全面监控,并在面对请求时,进行对于请求的全局处理信息的统一全面打印,不需要多次打印不同的处理信息,同时对日志采用分裂式存储方式,最终极大的提高了日志打印输出的效率,提高了系统的可维护性,弥补了现有技术的不足,具有极高的市场价值。
2、本发明所述的日志处理系统,可以通过请求判断模块、日志生成模块和日志打印模块的相互配合,进而实现对系统中的请求进行全面监控,并在面对请求时,进行对于请求的全局处理信息的统一全面打印,不需要多次打印不同的处理信息,同时对日志采用分裂式存储方式,最终极大的提高了日志打印输出的效率,提高了系统的可维护性,弥补了现有技术的不足,具有极高的市场价值。
3、本发明所述的计算机可读存储介质,可以实现引导请求判断模块、日志生成模块和日志打印模块进行配合,进而实现对系统中的请求进行全面监控,并在面对请求时,进行对于请求的全局处理信息的统一全面打印,不需要多次打印不同的处理信息,同时对日志采用分裂式存储方式,最终极大的提高了日志打印输出的效率,提高了系统的可维护性,弥补了现有技术的不足,并有效提高所述日志处理方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述日志处理方法的流程图;
图2是本发明实施例1所述日志处理方法的具体流程示意图;
图3是本发明实施例2所述日志处理系统的架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中,需要说明的是,本发明所描述的实施例是本发明一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是:AOP是面向切面编程;IP是协议地址;JAVA是一种编程语言。
实施例1
本实施例提供一种日志处理方法,如图1和图2所示,包括以下步骤:
S100、请求判断步骤:
步骤S100具体包括:
S110、设置检测时间段;配置访问黑名单;基于所述检测时间段和所述访问黑名单获取请求情况;
具体的,所述访问黑名单中配置有若干访问地址;在本实施例中,访问地址为根据网络安防中心的大数据库中若干存在网络不良信用的用户IP地址;
每隔所述检测时间段,判断系统中是否存在访问请求;在本实施例中,检测时间段最大设置为1s,进而达到实时检测的效果;若不存在,则设定所述请求情况为不存在访问请求;若存在,则获取所述访问请求的请求地址,比对所述访问黑名单中是否存在与所述请求地址相匹配的访问地址,相匹配即为IP地址一致;若是,则设定所述请求情况为存在访问请求;若否,则设定所述请求情况为所述不存在访问请求。
S200、日志生成步骤:
步骤S200具体包括:
S210、配置AOP函数集、正则匹配算法和线程匹配表;设置日志标记位置和日志类别;基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述基准返回值、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
具体的,所述AOP函数集中配置有前置通知函数和环绕通知函数;在本实施例中,AOP函数集即为JAVA语言中的SpringAOP切点函数,其中包括多种不同功能的函数,例如:前置通知功能函数和环绕通知功能函数;所述线程匹配表中设置有若干请求处理线程以及与若干所述请求处理线程均分别匹配的若干请求时间和若干请求计算资源数量;请求时间即为系统检测到访问请求时的时间点,请求计算资源数量包括但不限于线程数、线程频率值等;
具体的,所述信息处理操作包括:当所述请求情况为所述存在访问请求时,调用所述前置通知函数基于所述正则匹配算法和所述线程匹配表执行所述第一信息分析操作,得到第一日志信息;在本实施例中,匹配算法包括但不限于采用正则匹配算法;设置时长格式,在本实施例中,时长格式为了统一数据信息且便于输出和用户观察,对应的,时长格式均设置为以小时为单位;调用所述环绕通知函数基于所述日志标记位置、所述日志类别、所述第一日志信息和所述时长格式执行所述第二信息分析操作,得到所述待存储日志信息;
具体的,所述第一信息分析操作包括:调用所述前置通知函数拦截所述访问请求,每当系统中存在任何类型的请求时,前置通知函数都能进行拦截,且执行;对应的,获取所述访问请求的地址信息和参数信息;地址信息即为访问请求所发送的IP地址;参数信息即为该访问请求中的执行该访问请求所需的系统规格信息以及该访问请求的请求执行信息;对应的,记录第一时间点,第一时间点即为当前时间点,当前时间点同样代表对该请求进行拦截响应的时间点;并提取所述参数信息中的第一请求时间和第一请求计算资源数量;第一请求时间和第一请求计算资源数量与线程匹配表中的数据匹配;调用正则匹配算法在所述线程匹配表中筛选出与所述第一请求时间和所述第一请求计算资源数量均匹配的第一请求处理线程;调用所述第一请求处理线程执行所述访问请求,并记录所述第一请求处理线程的第一线程标识信息;第一线程标识信息包括但不限于该线程在系统中的线程号;整合所述地址信息、所述参数信息、所述第一时间点和所述第一线程标识信息,得到所述第一日志信息。
具体的,所述第二信息分析操作包括:利用所述环绕通知函数的功能获取所述访问请求的请求接口信息,该请求接口信息来自于该请求发出的接口或该请求在本系统中进行处理的接口;提取所述请求接口信息中的第一返回值,并记录第二时间点;在本实施例中,第一返回值具体为代表该接口是否处理完毕该请求的处理结果值;对应的,第二时间点为此时时间点;计算所述第二时间点与所述第一时间点的差值,得到第一处理时长;第一处理时长即为该请求的整个处理耗时时长;将所述第一处理时长换算为与所述时长格式相匹配的第二处理时长;将所述第一返回值和所述第二处理时长添加至所述第一日志信息中,得到第二日志信息;
按照所述日志标记位置在所述第二日志信息中标记所述日志类别,得到所述待存储日志信息;日志类别包括但不限于:debug级别类、info级别类、warn级别类、error级别类和fatal级别类,对应的,日志类别根据系统管理员的需求进行设置;且日志类别反应系统中Loggers组件的使用情况,此部分属于计算机系统中的固有组件和使用规范,在此不在详述;对应的,通过上述步骤,实现了通过AOP函数对访问请求的处理,且同时将系统全局中对访问请求的处理过程中的任何信息都归纳至日志信息中,便于后期的统一打印,极其的方便,极大的提高了日志打印的效率,将会提升用户的体验感,且可以想到的是,AOP函数中的前置通知函数可以对系统中的任何请求进行拦截,适用面极多,进而极大的提高了本发明的适用范围。
S300、日志打印步骤:
步骤S300具体包括:
S310、配置商值与分割次数匹配表;设置存储路径、存储值、存储时间、误差区间和间隔时间段;在本实施例中,存储路径为根据系统的存储情况设置;存储值为单个访问请求在处理时所可能产生的最大的日志信息文件大小;例如,在系统运行占用值较高时,设定存储值较小;存储时间具体根据用户对于日志信息的持久需求度进行设置;基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作;
具体的,所述商值与分割次数匹配表中配置有若干分割次数以及与若干分割次数分别匹配的若干商值;
具体的,所述分裂式存储打印操作包括:识别所述待存储日志信息的第一占用值,判断所述第一占用值是否不大于所述存储值;第一占用值即为该待存储日志信息将要占用存储空间的大小,即文件大小;若不大于,则满足系统当前的运行需求,不会占用太多系统的运行资源和存储资源,故将所述待存储日志信息存储至所述存储路径所对应的存储区中,并对所述存储区中的所述待存储日志信息执行计时打印删除步骤:打印所述存储区中的所述待存储日志信息,并执行计时操作,生成第三时间,第三时间为持续根据实时时间增长的当前时间;当所述第三时间达到所述存储时间时,说明日志信息不再需要,故删除所述存储区中的所述待存储日志信息;若大于,则计算所述第一占用值与所述存储值的第一商值;比对所述第一商值是否处于所述误差区间内;误差区间根据存储值设定,通常设定为1.1~1.3,即第一占用值比存储值多存储值的百分之十到百分之三十;具体情况具体设置;若处于,则将所述待存储日志信息存储至所述存储路径所对应的存储区中,并对所述存储区中的所述待存储日志信息执行所述计时打印删除步骤;若未处于,则必然需要分割处理,则在所述商值与分割次数匹配表中筛选与所述第一商值相匹配的第一分割次数;第一分割次数即为将该待存储日志信息进行分割存储的次数,分割存储同为分块存储;基于所述存储时间、所述存储区、所述待存储日志信息和所述第一分割次数执行分割存储步骤;
具体的,所述分割存储步骤包括:计算所述第一分割次数与所述存储值的积值,得到第二占用值;计算所述第二占用值与所述第一占用值的差值的绝对值,得到第一分割值;第一分割值即为无法正好按照第一分割次数进行均匀分割的待存储日志信息的部分信息大小;将所述待存储日志信息分割为与所述第一分割值相匹配的第一待存储信息以及与所述存储值均匹配的若干第二待存储信息;对应的,即需要满足分割次数,则将待存储日志信息分割为一个第一分割值大小的信息包以及若干个存储值大小的信息包;若干的数量指代从1开始持续增长;在虚拟内存中划分与所述第一占用值相匹配的缓存区,将所述第一待存储信息以及若干所述第二待存储信息置入所述缓存区中;虚拟内存为了进一步减缓存储时对系统运行的影响;每隔所述间隔时间段在所述缓存区中选取一个所述第一待存储信息或任一一个所述第二待存储信息存储至所述存储区;直至缓存区中没有任何剩余信息;每当所述存储区中存储入一个所述第一待存储信息或一个所述第二待存储信息时,对刚刚存入的该第一待存储信息或该第二待存储信息执行所述计时打印删除步骤;对应的,本分割步骤在进行时,若待存储日志信息的第一占用值大于存储值,必然说明存在多个访问请求的处理,且对日志信息的分割即为根据日志信息中访问请求的处理时间先后进行分割和打印,并不影响日志信息中多类信息的统一打印输出;对应的通过本步骤,实现了全局日志信息的整体打印,同时也满足了在日志信息较多时,对于日志信息的分块快速存储和分块快速打印,实现日志信息的多种情况处理,在保证不影响系统运行情况下,完成日志的快速存储和打印,便于用户及时获取到日志信息,并使用日志信息对系统中的问题或故障进行分析和检索,同时也不占用过多的系统资源。
实施例2
本实施例提供一种日志处理系统,如图3所示,包括:请求判断模块、日志生成模块和日志打印模块;
所述日志处理系统中,请求判断模块用于设置检测时间段和配置访问黑名单;所述请求判断模块基于所述检测时间段和所述访问黑名单获取请求情况;
具体的,请求判断模块每隔所述检测时间段,判断系统中是否存在访问请求;若不存在,则请求判断模块设定所述请求情况为不存在访问请求;若存在,则请求判断模块获取所述访问请求的请求地址,比对所述访问黑名单中是否存在与所述请求地址相匹配的访问地址;若是,则请求判断模块设定所述请求情况为存在访问请求;若否,则请求判断模块设定所述请求情况为所述不存在访问请求。
所述日志处理系统中,日志生成模块用于配置AOP函数集、正则匹配算法和线程匹配表;所述日志生成模块还用于设置日志标记位置和日志类别;所述日志生成模块基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述基准返回值、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
具体的,所述信息处理操作包括:当所述请求情况为所述存在访问请求时,日志生成模块调用所述前置通知函数基于所述正则匹配算法和所述线程匹配表执行所述第一信息分析操作,得到第一日志信息;日志生成模块设置时长格式,并调用所述环绕通知函数基于所述日志标记位置、所述日志类别、所述第一日志信息和所述时长格式执行所述第二信息分析操作,得到所述待存储日志信息;
具体的,第一信息分析操作包括:日志生成模块调用所述前置通知函数拦截所述访问请求,并获取所述访问请求的地址信息和参数信息;日志生成模块记录第一时间点,并提取所述参数信息中的第一请求时间和第一请求计算资源数量;日志生成模块调用正则匹配算法在所述线程匹配表中筛选出与所述第一请求时间和所述第一请求计算资源数量均匹配的第一请求处理线程;日志生成模块调用所述第一请求处理线程执行所述访问请求,并记录所述第一请求处理线程的第一线程标识信息;日志生成模块整合所述地址信息、所述参数信息、所述第一时间点和所述第一线程标识信息,得到所述第一日志信息;
具体的,所述第二信息分析操作包括:日志生成模块调用所述环绕通知函数获取所述访问请求的请求接口信息,并提取所述请求接口信息中的第一返回值;日志生成模块记录第二时间点;日志生成模块计算所述第二时间点与所述第一时间点的差值,得到第一处理时长;日志生成模块将所述第一处理时长换算为与所述时长格式相匹配的第二处理时长;日志生成模块将所述第一返回值和所述第二处理时长添加至所述第一日志信息中,得到第二日志信息;日志生成模块按照所述日志标记位置在所述第二日志信息中标记所述日志类别,得到所述待存储日志信息。
所述日志处理系统中,日志打印模块用于配置商值与分割次数匹配表;所述日志打印模块还用于设置存储路径、存储值、存储时间、误差区间和间隔时间段;所述日志打印模块基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作;
具体的,所述分裂式存储打印操作包括:日志打印模块识别所述待存储日志信息的第一占用值,并判断所述第一占用值是否不大于所述存储值;若不大于,则日志打印模块将所述待存储日志信息存储至所述存储路径所对应的存储区中,并对所述存储区中的所述待存储日志信息执行计时打印删除步骤:日志打印模块打印所述存储区中的所述待存储日志信息,并执行计时操作,生成第三时间;当所述第三时间达到所述存储时间时,日志打印模块删除所述存储区中的所述待存储日志信息;若大于,则日志打印模块计算所述第一占用值与所述存储值的第一商值;日志打印模块比对所述第一商值是否处于所述误差区间内;若处于,则日志打印模块将所述待存储日志信息存储至所述存储路径所对应的存储区中,并对所述存储区中的所述待存储日志信息执行所述计时打印删除步骤;若未处于,日志打印模块在所述商值与分割次数匹配表中筛选与所述第一商值相匹配的第一分割次数;日志打印模块基于所述存储时间、所述存储区、所述待存储日志信息和所述第一分割次数执行分割存储步骤;
具体的,分割存储步骤包括:日志打印模块计算所述第一分割次数与所述存储值的积值,得到第二占用值;日志打印模块计算所述第二占用值与所述第一占用值的差值的绝对值,得到第一分割值;日志打印模块将所述待存储日志信息分割为与所述第一分割值相匹配的第一待存储信息以及与所述存储值均匹配的若干第二待存储信息;日志打印模块在虚拟内存中划分与所述第一占用值相匹配的缓存区,并将所述第一待存储信息以及若干所述第二待存储信息置入所述缓存区中;日志打印模块每隔所述间隔时间段在所述缓存区中选取所述第一待存储信息或任一所述第二待存储信息存储至所述存储区;每当所述存储区中存储入所述第一待存储信息或所述第二待存储信息时,日志打印模块对该第一待存储信息或该第二待存储信息执行所述计时打印删除步骤。
实施例3
本实施例提供一种计算机可读存储介质,包括:
所述存储介质用于储存将上述实施例1所述的日志处理方法实现所用的计算机软件指令,其包含用于执行上述为所述日志处理方法所设置的程序;具体的,该可执行程序可以内置在实施例2所述的日志处理系统中,这样,日志处理系统就可以通过执行内置的可执行程序实现所述实施例1所述的日志处理方法。
此外,本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合,其中,可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件,或者以上任意组合。
区别于现有技术,采用本申请一种日志处理方法、系统及介质可以通过本方法实现对系统中的请求进行全面监控,并在面对请求时,进行全局处理信息的统一打印,不需要多次打印不同的处理信息,同时对日志采用分裂式存储方式,通过本系统为本方法提供了有效的技术支撑,最终极大的提高了日志打印输出的效率,提高了系统的可维护性,弥补了现有技术的不足,具有极高的市场价值。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种日志处理方法,其特征在于,包括以下步骤:
请求判断步骤:
设置检测时间段;配置访问黑名单;基于所述检测时间段和所述访问黑名单获取请求情况;
日志生成步骤:
配置AOP函数集、正则匹配算法和线程匹配表;设置日志标记位置和日志类别;基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
日志打印步骤:
配置商值与分割次数匹配表;设置存储路径、存储值、存储时间、误差区间和间隔时间段;基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作;
所述访问黑名单中配置有若干访问地址;所述AOP函数集中配置有前置通知函数和环绕通知函数;所述线程匹配表中设置有若干请求处理线程以及与若干所述请求处理线程均分别匹配的若干请求时间和若干请求计算资源数量;所述商值与分割次数匹配表中配置有若干分割次数以及与若干所述分割次数分别匹配的若干商值;
所述基于所述检测时间段和所述访问黑名单获取请求情况的步骤进一步包括:
每隔所述检测时间段,判断系统中是否存在访问请求;
若不存在,则设定所述请求情况为不存在访问请求;
若存在,则获取所述访问请求的请求地址,比对所述访问黑名单中是否存在与所述请求地址相匹配的所述访问地址;若是,则设定所述请求情况为存在访问请求;若否,则设定所述请求情况为所述不存在访问请求。
2.根据权利要求1所述的一种日志处理方法,其特征在于,所述信息处理操作包括:
当所述请求情况为所述存在访问请求时,调用所述前置通知函数基于所述正则匹配算法和所述线程匹配表执行第一信息分析操作,得到第一日志信息;
设置时长格式,调用所述环绕通知函数基于所述日志标记位置、所述日志类别、所述第一日志信息和所述时长格式执行第二信息分析操作,得到所述待存储日志信息。
3.根据权利要求2所述的一种日志处理方法,其特征在于,所述第一信息分析操作包括:
调用所述前置通知函数拦截所述访问请求,并获取所述访问请求的地址信息和参数信息;记录第一时间点,并提取所述参数信息中的第一请求时间和第一请求计算资源数量;
调用正则匹配算法在所述线程匹配表中筛选出与所述第一请求时间和所述第一请求计算资源数量均匹配的第一请求处理线程;调用所述第一请求处理线程执行所述访问请求,并记录所述第一请求处理线程的第一线程标识信息;
整合所述地址信息、所述参数信息、所述第一时间点和所述第一线程标识信息,得到所述第一日志信息。
4.根据权利要求3所述的一种日志处理方法,其特征在于,所述第二信息分析操作包括:
调用所述环绕通知函数获取所述访问请求的请求接口信息,调用所述环绕通知函数提取所述请求接口信息中的第一返回值,并记录第二时间点;
计算所述第二时间点与所述第一时间点的差值,得到第一处理时长;将所述第一处理时长换算为与所述时长格式相匹配的第二处理时长;将所述第一返回值和所述第二处理时长添加至所述第一日志信息中,得到第二日志信息;
按照所述日志标记位置在所述第二日志信息中标记所述日志类别,得到所述待存储日志信息。
5.根据权利要求4所述的一种日志处理方法,其特征在于,所述分裂式存储打印操作包括:
识别所述待存储日志信息的第一占用值,判断所述第一占用值是否不大于所述存储值;
若不大于,则将所述待存储日志信息存储至所述存储路径所对应的存储区中,对所述存储区中的所述待存储日志信息执行计时打印删除步骤:打印所述存储区中的所述待存储日志信息,并执行计时操作,生成第三时间;当所述第三时间达到所述存储时间时,删除所述存储区中的所述待存储日志信息;
若大于,则计算所述第一占用值与所述存储值的第一商值;比对所述第一商值是否处于所述误差区间内;若处于,则将所述待存储日志信息存储至所述存储区中,并对所述存储区中的所述待存储日志信息执行所述计时打印删除步骤;若未处于,则在所述商值与分割次数匹配表中筛选与所述第一商值相匹配的第一分割次数;基于所述存储时间、所述存储区、所述待存储日志信息和所述第一分割次数执行分割存储步骤。
6.根据权利要求5所述的一种日志处理方法,其特征在于,所述分割存储步骤包括:
计算所述第一分割次数与所述存储值的积值,得到第二占用值;计算所述第二占用值与所述第一占用值的差值的绝对值,得到第一分割值;
将所述待存储日志信息分割为与所述第一分割值相匹配的第一待存储信息以及与所述存储值均匹配的若干第二待存储信息;
在虚拟内存中划分与所述第一占用值相匹配的缓存区,将所述第一待存储信息以及若干所述第二待存储信息置入所述缓存区中;
每隔所述间隔时间段在所述缓存区中选取所述第一待存储信息或任一所述第二待存储信息存储至所述存储区;每当所述存储区中存储入所述第一待存储信息或所述第二待存储信息时,对该第一待存储信息或该第二待存储信息执行所述计时打印删除步骤。
7.一种日志处理系统,其特征在于,包括:请求判断模块、日志生成模块和日志打印模块;
所述请求判断模块用于设置检测时间段和配置访问黑名单;所述请求判断模块基于所述检测时间段和所述访问黑名单获取请求情况;
所述日志生成模块用于配置AOP函数集、正则匹配算法和线程匹配表;所述日志生成模块还用于设置日志标记位置和日志类别;所述日志生成模块基于所述请求情况、所述AOP函数集、所述正则匹配算法、所述线程匹配表、所述日志标记位置和所述日志类别执行信息处理操作,得到待存储日志信息;
所述日志打印模块用于配置商值与分割次数匹配表;所述日志打印模块还用于设置存储路径、存储值、存储时间、误差区间和间隔时间段;所述日志打印模块基于所述商值与分割次数匹配表、所述存储路径、所述存储值、所述存储时间、所述误差区间和所述间隔时间段对所述待存储日志信息执行分裂式存储打印操作;
所述访问黑名单中配置有若干访问地址;所述AOP函数集中配置有前置通知函数和环绕通知函数;所述线程匹配表中设置有若干请求处理线程以及与若干所述请求处理线程均分别匹配的若干请求时间和若干请求计算资源数量;所述商值与分割次数匹配表中配置有若干分割次数以及与若干所述分割次数分别匹配的若干商值;
所述请求判断模块基于所述检测时间段和所述访问黑名单获取请求情况进一步包括:所述请求判断模块每隔所述检测时间段,判断系统中是否存在访问请求;若不存在,则所述请求判断模块设定所述请求情况为不存在访问请求;若存在,则所述请求判断模块获取所述访问请求的请求地址,比对所述访问黑名单中是否存在与所述请求地址相匹配的访问地址;若是,则所述请求判断模块设定所述请求情况为存在访问请求;若否,则所述请求判断模块设定所述请求情况为所述不存在访问请求。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~6中任一项所述日志处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111120612.0A CN113791957B (zh) | 2021-09-24 | 2021-09-24 | 一种日志处理方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111120612.0A CN113791957B (zh) | 2021-09-24 | 2021-09-24 | 一种日志处理方法、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113791957A CN113791957A (zh) | 2021-12-14 |
CN113791957B true CN113791957B (zh) | 2023-10-03 |
Family
ID=78879205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111120612.0A Active CN113791957B (zh) | 2021-09-24 | 2021-09-24 | 一种日志处理方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113791957B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577577A (zh) * | 2017-09-13 | 2018-01-12 | 郑州云海信息技术有限公司 | 日志分级打印的方法、装置、系统及计算机可读存储介质 |
CN109656894A (zh) * | 2018-11-13 | 2019-04-19 | 平安科技(深圳)有限公司 | 日志规范化存储方法、装置、设备及可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5938385B2 (ja) * | 2013-10-31 | 2016-06-22 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
-
2021
- 2021-09-24 CN CN202111120612.0A patent/CN113791957B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577577A (zh) * | 2017-09-13 | 2018-01-12 | 郑州云海信息技术有限公司 | 日志分级打印的方法、装置、系统及计算机可读存储介质 |
CN109656894A (zh) * | 2018-11-13 | 2019-04-19 | 平安科技(深圳)有限公司 | 日志规范化存储方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113791957A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
WO2020238066A1 (zh) | 一种软件的压力测试方法、装置、存储介质和服务器 | |
CN112910945A (zh) | 请求链路跟踪方法和业务请求处理方法 | |
US7913233B2 (en) | Performance analyzer | |
US11809406B2 (en) | Event records in a log file | |
CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
US10528456B2 (en) | Determining idle testing periods | |
CN108632111A (zh) | 一种基于日志的服务链路监控方法 | |
CN112015646A (zh) | 网络请求监听方法、装置、计算机设备和存储介质 | |
CN112612680A (zh) | 一种消息告警方法、系统、计算机设备及存储介质 | |
CN110196868A (zh) | 基于分布式的工单流程监控方法 | |
CN113791957B (zh) | 一种日志处理方法、系统及介质 | |
CN114598719A (zh) | 智慧城市物联事件管理方法、装置及可读介质 | |
CN113360728A (zh) | 用户操作审计方法、装置、计算机设备和存储介质 | |
CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
CN112257065A (zh) | 一种进程事件处理方法和装置 | |
CN113032341A (zh) | 一种基于可视化配置的日志处理方法 | |
CN112883088A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN116257404A (zh) | 一种日志解析方法及计算设备 | |
CN113360362B (zh) | 一种动态sql效率检查方法及插件 | |
CN113569879B (zh) | 异常识别模型的训练方法、异常账号识别方法及相关装置 | |
CN114547628A (zh) | 漏洞检测方法及装置 | |
CN112347066B (zh) | 日志处理方法、装置及服务器和计算机可读存储介质 | |
CN109614429B (zh) | 基于内核驱动实现应用访问和数据库访问行为关联的方法 | |
KR101553923B1 (ko) | 시스템 사용량 분석 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |