CN115757043A - 一种日志数据记录方法及系统 - Google Patents
一种日志数据记录方法及系统 Download PDFInfo
- Publication number
- CN115757043A CN115757043A CN202211527428.2A CN202211527428A CN115757043A CN 115757043 A CN115757043 A CN 115757043A CN 202211527428 A CN202211527428 A CN 202211527428A CN 115757043 A CN115757043 A CN 115757043A
- Authority
- CN
- China
- Prior art keywords
- log
- interface
- entity object
- data
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志数据记录方法及系统,包括:当拦截到接口调用请求时,根据接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据切点配置信息,调用对应的第一接口,并获取第一接口下的所有实体对象数据所对应的第一实体对象名;通过ongl表达式,结合接口日志规则配置信息,对第一接口和所有第一实体对象名进行依次配置,并将通过配置的第一实体对象名所对应的实体对象数据作为第一日志数据;按照预设的解析规则,对所有第一日志数据进行解析,以获得对应的第二日志数据,并将第二日志数据记入日志数据库中。本发明通过对第一接口和对应的所有第一实体对象名进行依次配置,实现有效数据的选取,进而提升日志数据记录效率。
Description
技术领域
本发明涉及计算机程序日志技术领域,尤其涉及一种日志数据记录方法及系统。
背景技术
常见的程序日志记录方式多依赖于程序服务器,通常会将日志输出汇总到服务器某一目录下某一具体日志文件中,让开发人员直接在服务器上通过关键字进行接口日志的检索及查看。
现有的日志记录方式,由于目前公司内系统众多,日志量大,所以在日志易系统中进行实时日志检索的时候,通常会因为数据量大而导致检索速度慢;亦或是要查询的接口日志时效性较低,通常出现检索无结果的情况。另一方面,在金融机构背景下,客户信息、交易金额等敏感数据的安全性显得尤为重要,通常在日志中不允许以明文形式展示这些重要数据。因此,当涉及金额的重点交易出现时,通常只能看到屏蔽过的日志数据/信息,甚至全部的日志信息都不允许在日志文件中出现。在此种情况下,若生产上出现问题,开发人员则无法获取有效信息进行缺陷排查。
发明内容
本发明提供了一种日志数据记录方法及系统,对调用的接口下的实体对象数据进行过滤截取,以筛选出有效数据,并降低存储成本,从而提升日志数据记录效率和数据检索效率。
为了解决上述技术问题,本发明实施例提供了一种日志数据记录方法,包括:
当拦截到接口调用请求时,根据所述接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据所述切点配置信息,调用对应的第一接口,并获取所述第一接口下的所有实体对象数据所对应的第一实体对象名;
通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据;
按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的所述第二日志数据,并将所述第二日志数据记入日志数据库中。
实施本发明实施例,根据接口调用请求对应的切点配置信息和接口日志规则配置信息,调用第一接口,并通过对第一接口、以及第一接口下的所有实体对象数据所对应的实体对象名的依次配置,实现对实体对象数据的过滤截取,避免无效数据的记录,从而降低存储成本,并且当需要在日志数据库中检索出所需日志数据时,由于数据库中仅保留关键有效的日志数据,所以能够提升整体的检索效率。
作为优选方案,所述一种日志数据记录方法,还包括:
对第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,并将切面织入所述第二请求处理器,以获得对应的第三请求处理器;
利用所述第三请求处理器,对所述接口调用请求进行拦截。
实施本发明实施例的优选方案,利用完成方法增强和切面织入的第三请求处理器,对接口调用请求进行拦截,可以在不入侵业务代码的前提下,将接口调用请求对应的有效信息记录起来。
作为优选方案,所述通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据,具体为:
根据所述接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将所述第一接口与所述第一关键词进行匹配;
当所述第一接口与所述第一关键词不匹配时,确定所述第一接口不通过配置,则停止日志数据记录操作;
当所述第一接口与所述第一关键词相匹配时,确定所述第一接口通过配置,则根据所述接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各所述第一实体对象名与各所述第二关键词进行匹配;
若当前所述第一实体对象名与所有所述第二关键词都不匹配,则确定当前所述第一实体对象名不通过配置,则将当前所述第一实体对象名对应的所述实体对象数据删除;
若当前所述第一实体对象名与所述第二关键词相匹配,则确定当前所述第一实体对象名通过配置,则将当前所述第一实体对象名对应的所述实体对象数据作为所述第一日志数据。
实施本发明实施例的优选方案,基于待记录接口名对应的第一关键词,判断调用的第一接口是否与接口日志规则配置信息中预先配置好的接口名相匹配,并在接口不匹配时,停止后续的日志数据记录操作,从而实现仅记录与接口调用请求相匹配的有效数据的效果,避免其他无效数据对存储空间的额外占用。此外,在第一接口匹配通过的基础上,继续对第一接口下的所有第一实体对象名进行匹配,进而从第一接口下的所有实体对象数据中,筛选出与接口日志规则配置信息中预先配置好的实体对象名相匹配的实体对象数据,以进一步提升所记录的日志数据的有效性。
作为优选方案,所述按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中,具体为:
对各所述第一日志数据进行重封装,以获得各所述第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有所述第三日志数据发送至主服务器;
控制所述主服务器,基于消费者线程,遍历并解析由所有所述第三日志数据构成的消息队列,以获得所述第二日志数据;
通过预设的日志记录模型,将所述第二日志数据记入所述日志数据库中的日志记录表。
实施本发明实施例的优选方案,结合消费者线程,对消息队列中的第三日志数据进行遍历,实现对有效日志数据的直接读取与解析,而非直接读取包括全量日志数据的日志文件,以提升检索效率。
作为优选方案,所述一种日志数据记录方法,还包括:
按照预设的周期,对所述日志数据库中的所述日志记录表进行定时清理。
实施本发明实施例的优选方案,通过设置间隔时间,定期清理日志记录表,防止无限制占用日志数据库的空间。
为了解决相同的技术问题,本发明实施例还提供了一种日志数据记录系统,包括:
数据获取模块,用于当拦截到接口调用请求时,根据所述接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据所述切点配置信息,调用对应的第一接口,并获取所述第一接口下的所有实体对象数据所对应的第一实体对象名;
信息匹配模块,用于通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据;
数据记录模块,用于按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中。
作为优选方案,所述一种日志数据记录系统,还包括:
请求拦截模块,用于对第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,并将切面织入所述第二请求处理器,以获得对应的第三请求处理器;利用所述第三请求处理器,对所述接口调用请求进行拦截。
作为优选方案,所述信息匹配模块,具体包括:
第一信息匹配单元,用于根据所述接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将所述第一接口与所述第一关键词进行匹配;
停止操作单元,用于当所述第一接口与所述第一关键词不匹配时,确定所述第一接口不通过配置,则停止日志数据记录操作;
第二信息匹配单元,用于当所述第一接口与所述第一关键词相匹配时,确定所述第一接口通过配置,则根据所述接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各所述第一实体对象名与各所述第二关键词进行匹配;
数据删除单元,用于若当前所述第一实体对象名与所有所述第二关键词都不匹配,则确定当前所述第一实体对象名不通过配置,则将当前所述第一实体对象名对应的所述实体对象数据删除;
数据保留单元,用于若当前所述第一实体对象名与所述第二关键词相匹配,则确定当前所述第一实体对象名通过配置,则将当前所述第一实体对象名对应的所述实体对象数据作为所述第一日志数据。
作为优选方案,所述数据记录模块,具体包括:
数据传输单元,用于对各所述第一日志数据进行重封装,以获得各所述第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有所述第三日志数据发送至主服务器;
数据解析单元,用于控制所述主服务器,基于消费者线程,遍历并解析由所有所述第三日志数据构成的消息队列,以获得所述第二日志数据;
数据记录单元,用于通过预设的日志记录模型,将所述第二日志数据记入所述日志数据库中的日志记录表。
作为优选方案,所述一种日志数据记录系统,还包括:
定时清理模块,用于按照预设的周期,对所述日志数据库中的所述日志记录表进行定时清理。
附图说明
图1:为本发明实施例一提供的一种日志数据记录方法的流程示意图;
图2:为本发明实施例一提供的一种日志数据记录系统的结构示意图;
图3:为本发明实施例一提供的一种日志数据记录系统的信息匹配模块的结构示意图;
图4:为本发明实施例一提供的一种日志数据记录系统的数据记录模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
请参照图1,为本发明实施例提供的一种日志数据记录方法的流程示意图,该方法包括步骤S1至步骤S3,各步骤具体如下:
步骤S1,当拦截到接口调用请求时,根据接口调用请求,获取切点配置信息和接口日志规则配置信息,并将获得的切点配置信息和接口日志规则配置信息存储至指定的JAVA项目相对路径上,使得当要启动日志采集项目时,系统将从JAVA项目相对路径上加载切点配置信息和接口日志规则配置信息。然后根据切点配置信息,识别出当前是否要开启日志记录采集流程,若是则调用对应的第一接口,并获取第一接口下的所有实体对象数据所对应的第一实体对象名。
在本实施例中,接口调用请求的截取流程包括步骤S4,具体如下:
步骤S4,对javaweb或spring或springboot中的第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,使得第二请求处理器在接口调用过程中能够有效记录入参出参数据;将切面织入第二请求处理器,以获得对应的第三请求处理器;利用第三请求处理器,对接口调用请求进行拦截。
需要说明的是,第一请求处理器可以包括日志消息前置处理器和日志消息后置处理器。
步骤S2,通过ongl表达式,结合接口日志规则配置信息,对第一接口和所有第一实体对象名进行依次配置,并将通过配置的第一实体对象名所对应的实体对象数据作为第一日志数据。
需要说明的是,由于接口请求报文中通常只有少部分是有效的、值得长期保留的信息,所以出于存储成本和检索的考虑,在本实施例中则通过配置的方式去指定满足接口调用请求的的信息。比如一笔转账请求,用户希望只记录转入账号、转出账号、转账金额、收款行,客户号这些关键要素,而舍弃客户地址、客户级别、客户开户行所这些附带信息,因此,利用ongl表达式,实现对接口及相关实体对象字段的规则匹配,方便用户对配置的维护的同时,也能够对数据进行过滤截取。
需要说明的是,接口是指一个网络请求的接口,通常有一个服务名或接口码来指定,该服务名或接口码即为接口名;接口中的类名是指接口请求中的报文体内容,一般报文体为json报文,且是对象化的,由java类进行接收,该接口中的类名即为接口下的实体对象数据。
作为优选方案,步骤S2包括步骤S21至步骤S24,各步骤具体如下:
步骤S21,根据接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将第一接口与第一关键词进行匹配。
步骤S23,当第一接口与第一关键词不匹配时,确定第一接口不通过配置,即表明第一接口没有配置要记录的日志,则停止日志数据记录操作。
步骤S24,当第一接口与第一关键词相匹配时,确定第一接口通过配置,则根据接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各第一实体对象名与各第二关键词进行匹配。
在本实施例中,若根据接口日志规则配置信息无法获得待记录实体对象名,即表明并没有配置该接口下实体对象名的匹配规则,则按照预设的数据长度阈值,对该接口下的所有实体对象数据进行截取,具体为:判断第一接口下的实体对象数据是否超过预设的数据长度阈值,若超过则对数据进行截取,并将截取得到的数据直接作为配置结果(即为步骤S26中的第一日志数据),若不超过则将当前的实体对象数据直接作为配置结果(即为步骤S26中的第一日志数据)。
步骤S25,若当前第一实体对象名与所有第二关键词都不匹配,则确定当前第一实体对象名不通过配置,即表明当前第一实体对象名对应的实体对象数据为无效数据,则将当前第一实体对象名对应的实体对象数据删除。
步骤S26,若当前第一实体对象名与第二关键词相匹配,则确定当前第一实体对象名通过配置,即表明当前第一实体对象名对应的实体对象数据为有效数据,则将当前第一实体对象名对应的实体对象数据作为第一日志数据。
步骤S3,按照预设的解析规则,对所有第一日志数据进行解析,以获得对应的第二日志数据,并将第二日志数据记入日志数据库中。
作为优选方案,步骤S3包括步骤S31至步骤S33,各步骤具体如下:
步骤S31,对各第一日志数据进行重封装,以获得各第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有第三日志数据发送至主服务器。
步骤S32,控制主服务器,基于消费者线程,遍历由所有第三日志数据构成的消息队列,以获得所有第一日志数据对应的第二日志数据。
步骤S33,通过预设的日志记录模型,将第二日志数据记入日志数据库中的日志记录表。
作为优选方案,本发明实施例提供的一种日志数据记录方法,还包括步骤S5,具体如下:
步骤S5,按照预设的周期,对日志数据库中的日志记录表进行定时清理,防止日志记录表长期占用日志数据库的存储空间。
请参照图2,为本发明实施例提供的一种日志数据记录系统的结构示意图,该系统包括数据获取模块1、信息匹配模块2和数据记录模块3,各模块具体如下:
数据获取模块1,用于当拦截到接口调用请求时,根据接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据切点配置信息,调用对应的第一接口,并获取第一接口下的所有实体对象数据所对应的第一实体对象名;
信息匹配模块2,用于通过ongl表达式,结合接口日志规则配置信息,对第一接口和所有第一实体对象名进行依次配置,并将通过配置的第一实体对象名所对应的实体对象数据作为第一日志数据;
数据记录模块3,用于按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中。
作为优选方案,请参照图2,本发明实施例提供的一种日志数据记录系统,还包括请求拦截模块4,具体如下:
请求拦截模块4,用于对第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,并将切面织入第二请求处理器,以获得对应的第三请求处理器;利用第三请求处理器,对接口调用请求进行拦截。
作为优选方案,请参照图3,信息匹配模块2包括第一信息匹配单元21、停止操作单元22和第二信息匹配单元23,各单元具体如下:
第一信息匹配单元21,用于根据接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将第一接口与第一关键词进行匹配;
停止操作单元22,用于当第一接口与第一关键词不匹配时,确定第一接口不通过配置,则停止日志数据记录操作;
第二信息匹配单元23,用于当第一接口与第一关键词相匹配时,确定第一接口通过配置,则根据接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各第一实体对象名与各第二关键词进行匹配;
数据删除单元24,用于若当前第一实体对象名与所有第二关键词都不匹配,则确定当前第一实体对象名不通过配置,则将当前第一实体对象名对应的实体对象数据删除;
数据保留单元25,用于若当前第一实体对象名与第二关键词相匹配,则确定当前第一实体对象名通过配置,则将当前第一实体对象名对应的实体对象数据作为第一日志数据。
作为优选方案,请参照图4,数据记录模块3,具体包括数据传输单元31、数据解析单元32和数据记录单元33,各单元具体如下:
数据传输单元31,用于对各第一日志数据进行重封装,以获得各第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有第三日志数据发送至主服务器;
数据解析单元32,用于控制主服务器,基于消费者线程,遍历由所有第三日志数据构成的消息队列,以获得所有第一日志数据对应的第二日志数据;
数据记录单元33,用于通过预设的日志记录模型,将各第二日志数据记入日志数据库中的日志记录表。
作为优选方案,请参照图2,本发明实施例提供的一种日志数据记录系统,还包括定时清理模块5,具体如下:
定时清理模块5,用于按照预设的周期,对日志数据库中的日志记录表进行定时清理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
相比于现有技术,本发明实施例具有如下有益效果:
本发明提供了一种日志数据记录方法及系统,当拦截到接口调用请求时,根据接口调用请求对应的切点配置信息和接口日志规则配置信息,对第一接口进行调用,并结合对第一接口、以及第一接口对应的实体对象名的依次配置,实现对第一接口下的所有实体对象数据的逐步筛选,避免无效数据对日志数据库存储空间的占用,并提升所记录的日志数据的有效性。同时,通过过滤掉实体对象数据中的无效数据,减少日志数据库中的日志数据量,使得能够在日志数据库中快速且准确地检索出所需日志数据。
进一步地,通过经过方法增强和切面织入的第三请求处理器,对接口调用请求进行拦截,可以在不入侵业务代码的前提下,将接口调用请求对应的有效信息记录起来。此外,对日志数据库中的日志记录表进行定时清理,可以防止数据的堆积,使得日志数据库被无限期占用。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志数据记录方法,其特征在于,包括:
当拦截到接口调用请求时,根据所述接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据所述切点配置信息,调用对应的第一接口,并获取所述第一接口下的所有实体对象数据所对应的第一实体对象名;
通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据;
按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中。
2.如权利要求1所述的一种日志数据记录方法,其特征在于,还包括:
对第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,并将切面织入所述第二请求处理器,以获得对应的第三请求处理器;
利用所述第三请求处理器,对所述接口调用请求进行拦截。
3.如权利要求1所述的一种日志数据记录方法,其特征在于,所述通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据,具体为:
根据所述接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将所述第一接口与所述第一关键词进行匹配;
当所述第一接口与所述第一关键词不匹配时,确定所述第一接口不通过配置,则停止日志数据记录操作;
当所述第一接口与所述第一关键词相匹配时,确定所述第一接口通过配置,则根据所述接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各所述第一实体对象名与各所述第二关键词进行匹配;
若当前所述第一实体对象名与所有所述第二关键词都不匹配,则确定当前所述第一实体对象名不通过配置,则将当前所述第一实体对象名对应的所述实体对象数据删除;
若当前所述第一实体对象名与所述第二关键词相匹配,则确定当前所述第一实体对象名通过配置,则将当前所述第一实体对象名对应的所述实体对象数据作为所述第一日志数据。
4.如权利要求1所述的一种日志数据记录方法,其特征在于,所述按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中,具体为:
对各所述第一日志数据进行重封装,以获得各所述第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有所述第三日志数据发送至主服务器;
控制所述主服务器,基于消费者线程,遍历并解析由所有所述第三日志数据构成的消息队列,以获得所述第二日志数据;
通过预设的日志记录模型,将所述第二日志数据记入所述日志数据库中的日志记录表。
5.如权利要求4所述的一种日志数据记录方法,其特征在于,还包括:
按照预设的周期,对所述日志数据库中的所述日志记录表进行定时清理。
6.一种日志数据记录系统,其特征在于,包括:
数据获取模块,用于当拦截到接口调用请求时,根据所述接口调用请求,获取切点配置信息和接口日志规则配置信息,然后根据所述切点配置信息,调用对应的第一接口,并获取所述第一接口下的所有实体对象数据所对应的第一实体对象名;
信息匹配模块,用于通过ongl表达式,结合所述接口日志规则配置信息,对所述第一接口和所有所述第一实体对象名进行依次配置,并将通过配置的所述第一实体对象名所对应的所述实体对象数据作为第一日志数据;
数据记录模块,用于按照预设的解析规则,对所有所述第一日志数据进行解析,以获得对应的第二日志数据,并将所述第二日志数据记入日志数据库中。
7.如权利要求6所述的一种日志数据记录系统,其特征在于,还包括:
请求拦截模块,用于对第一请求处理器的处理方法进行方法增强,以获得对应的第二请求处理器,并将切面织入所述第二请求处理器,以获得对应的第三请求处理器;利用所述第三请求处理器,对所述接口调用请求进行拦截。
8.如权利要求6所述的一种日志数据记录系统,其特征在于,所述信息匹配模块,具体包括:
第一信息匹配单元,用于根据所述接口日志规则配置信息,获取待记录接口名对应的第一关键词,并通过ongl表达式,将所述第一接口与所述第一关键词进行匹配;
停止操作单元,用于当所述第一接口与所述第一关键词不匹配时,确定所述第一接口不通过配置,则停止日志数据记录操作;
第二信息匹配单元,用于当所述第一接口与所述第一关键词相匹配时,确定所述第一接口通过配置,则根据所述接口日志规则配置信息,获取待记录实体对象名对应的若干个第二关键词,并通过ongl表达式,将各所述第一实体对象名与各所述第二关键词进行匹配;
数据删除单元,用于若当前所述第一实体对象名与所有所述第二关键词都不匹配,则确定当前所述第一实体对象名不通过配置,则将当前所述第一实体对象名对应的所述实体对象数据删除;
数据保留单元,用于若当前所述第一实体对象名与所述第二关键词相匹配,则确定当前所述第一实体对象名通过配置,则将当前所述第一实体对象名对应的所述实体对象数据作为所述第一日志数据。
9.如权利要求6所述的一种日志数据记录系统,其特征在于,所述数据记录模块,具体包括:
数据传输单元,用于对各所述第一日志数据进行重封装,以获得各所述第一日志数据对应的第三日志数据,并通过异步发送的方式,将所有所述第三日志数据发送至主服务器;
数据解析单元,用于控制所述主服务器,基于消费者线程,遍历并解析由所有所述第三日志数据构成的消息队列,以获得所述第二日志数据;
数据记录单元,用于通过预设的日志记录模型,将所述第二日志数据记入所述日志数据库中的日志记录表。
10.如权利要求9所述的一种日志数据记录系统,其特征在于,还包括:
定时清理模块,用于按照预设的周期,对所述日志数据库中的所述日志记录表进行定时清理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211527428.2A CN115757043B (zh) | 2022-11-29 | 2022-11-29 | 一种日志数据记录方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211527428.2A CN115757043B (zh) | 2022-11-29 | 2022-11-29 | 一种日志数据记录方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115757043A true CN115757043A (zh) | 2023-03-07 |
CN115757043B CN115757043B (zh) | 2023-07-21 |
Family
ID=85341853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211527428.2A Active CN115757043B (zh) | 2022-11-29 | 2022-11-29 | 一种日志数据记录方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115757043B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031046A2 (en) * | 2007-04-24 | 2009-03-12 | Rts Realtime Systems Software Gmbh | An algorithmic trading system and method for automated trading of financial instruments |
CN102929771A (zh) * | 2012-09-28 | 2013-02-13 | 用友软件股份有限公司 | 日志记录装置和日志记录方法 |
CN104156300A (zh) * | 2013-05-14 | 2014-11-19 | 利德科技发展有限公司 | 日志管理系统和日志管理方法 |
CN109634929A (zh) * | 2018-09-30 | 2019-04-16 | 阿里巴巴集团控股有限公司 | 业务数据的采集方法、装置和服务器 |
CN110674366A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 基于ognl表达式语言的数据分发方法、电子装置及存储介质 |
CN112579552A (zh) * | 2019-09-30 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 日志存储及调用方法、装置及系统 |
CN113961611A (zh) * | 2021-11-08 | 2022-01-21 | 北京沃东天骏信息技术有限公司 | 日志的处理方法、装置、设备以及存储介质 |
CN114595201A (zh) * | 2022-03-23 | 2022-06-07 | 四川省明厚天信息技术股份有限公司 | 一种接口访问日志采集记录查询方法、设备及存储介质 |
CN114978940A (zh) * | 2022-03-28 | 2022-08-30 | 天工信创(广州)信息科技有限公司 | 链路监控及告警方法、装置、计算机设备和存储介质 |
CN115086394A (zh) * | 2022-06-15 | 2022-09-20 | 亚信科技(中国)有限公司 | 业务信息处理方法、装置及电子设备 |
CN115391142A (zh) * | 2022-08-30 | 2022-11-25 | 金现代信息产业股份有限公司 | 一种数据库审计日志生成方法及系统 |
-
2022
- 2022-11-29 CN CN202211527428.2A patent/CN115757043B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031046A2 (en) * | 2007-04-24 | 2009-03-12 | Rts Realtime Systems Software Gmbh | An algorithmic trading system and method for automated trading of financial instruments |
CN102929771A (zh) * | 2012-09-28 | 2013-02-13 | 用友软件股份有限公司 | 日志记录装置和日志记录方法 |
CN104156300A (zh) * | 2013-05-14 | 2014-11-19 | 利德科技发展有限公司 | 日志管理系统和日志管理方法 |
CN109634929A (zh) * | 2018-09-30 | 2019-04-16 | 阿里巴巴集团控股有限公司 | 业务数据的采集方法、装置和服务器 |
CN110674366A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 基于ognl表达式语言的数据分发方法、电子装置及存储介质 |
CN112579552A (zh) * | 2019-09-30 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 日志存储及调用方法、装置及系统 |
CN113961611A (zh) * | 2021-11-08 | 2022-01-21 | 北京沃东天骏信息技术有限公司 | 日志的处理方法、装置、设备以及存储介质 |
CN114595201A (zh) * | 2022-03-23 | 2022-06-07 | 四川省明厚天信息技术股份有限公司 | 一种接口访问日志采集记录查询方法、设备及存储介质 |
CN114978940A (zh) * | 2022-03-28 | 2022-08-30 | 天工信创(广州)信息科技有限公司 | 链路监控及告警方法、装置、计算机设备和存储介质 |
CN115086394A (zh) * | 2022-06-15 | 2022-09-20 | 亚信科技(中国)有限公司 | 业务信息处理方法、装置及电子设备 |
CN115391142A (zh) * | 2022-08-30 | 2022-11-25 | 金现代信息产业股份有限公司 | 一种数据库审计日志生成方法及系统 |
Non-Patent Citations (2)
Title |
---|
杨磊,李仁发,王东,喻飞,何彦: "虚拟专用网(VPN)QoS述评", 小型微型计算机系统, no. 06, pages 983 - 986 * |
雷龙艳;万亚平;徐强;阳小华;: "生产者―消费者二维队列模型在舆情监控系统中的应用", 南华大学学报(自然科学版), vol. 27, no. 03, pages 56 - 60 * |
Also Published As
Publication number | Publication date |
---|---|
CN115757043B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
US10430111B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
CN100596353C (zh) | 提供日志服务的方法及系统 | |
US7673291B2 (en) | Automatic database diagnostic monitor architecture | |
US12008027B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
CN107818431B (zh) | 一种提供订单轨迹数据的方法和系统 | |
US20140149466A1 (en) | Time-series database setup automatic generation method, setup automatic generation system and monitoring server | |
CN110795257A (zh) | 处理多集群作业记录的方法、装置、设备及存储介质 | |
EP2012266A1 (en) | Method and system for making risk monitoring on the online service | |
CN105119752A (zh) | 一种分布式日志采集方法、装置及系统 | |
CN109842621B (zh) | 一种减少token存储数量的方法及终端 | |
CN110569214A (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
CN109885453B (zh) | 基于流数据处理的大数据平台监控系统 | |
CN110297746A (zh) | 一种数据处理方法及系统 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN113535677B (zh) | 数据分析查询管理方法、装置、计算机设备及存储介质 | |
CN115757043A (zh) | 一种日志数据记录方法及系统 | |
CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
CN112543127A (zh) | 一种微服务架构的监控方法及装置 | |
CN109739913A (zh) | 一种基于可配置化的热点数据缓存处理方法及设备 | |
CN114116646A (zh) | 日志数据处理方法、装置、设备和存储介质 | |
CN113806438A (zh) | 一种基于海量bcp数据文件的入库及预处理方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |