CN109656894A - 日志规范化存储方法、装置、设备及可读存储介质 - Google Patents
日志规范化存储方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109656894A CN109656894A CN201811351160.5A CN201811351160A CN109656894A CN 109656894 A CN109656894 A CN 109656894A CN 201811351160 A CN201811351160 A CN 201811351160A CN 109656894 A CN109656894 A CN 109656894A
- Authority
- CN
- China
- Prior art keywords
- log
- standardized
- canonical
- parameter information
- standardizes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000005856 abnormality Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 13
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志规范化存储方法、装置、设备及可读存储介质,该方法包括步骤:通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;提取所述待规范化日志中与所述正则表达式对应的参数信息;根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录。本发明涉及数据处理领域,通过对待规范化日志进行处理,将待规范化日志进行标准化,实现了日志的规范化管理,在通过日志分析多系统交互过程中的异常情况时,可快速在规范日志记录中获取到所需数据,提高了通过日志分析多系统交互过程中的异常情况的分析效率。
Description
技术领域
本发明涉及日志处理技术领域,尤其涉及一种日志规范化存储方法、装置、设备及可读存储介质。
背景技术
Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承、指针等概念,因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表,极好地实现了面向对象理论,允许程序员以优雅的思维方式进行复杂的编程。传统java程序中记录日志通常使用log4j进行日志的记录,但是log4j(Java日志)中的记录仅限于区分日志级别,比如Debug、Info、Warn、Error等,而在具体业务逻辑层,并没有统一的日志规范,且对于多系统交互的应用程序而言,不利于分析多系统交互过程中的异常情况。
发明内容
本发明的主要目的在于提供一种日志规范化存储方法、装置、设备及可读存储介质,旨在解决现有的使用log4j进行日志的记录,在具体业务逻辑层,没有统一的日志规范,不利于通过日志分析多系统交互过程中的异常情况的技术问题。
为实现上述目的,本发明提供一种日志规范化存储方法,所述日志规范化存储方法包括步骤:
通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;
提取所述待规范化日志中与所述正则表达式对应的参数信息;
根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录。
进一步地,所述根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录的步骤之后,还包括:
当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录;
根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志。
进一步地,所述当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录的步骤包括:
当侦测到解析异常日志的异常解析请求后,根据所述异常解析请求在所述数据库中获取携带异常状态标识的所述规范日志记录;
所述根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志的步骤包括:
根据携带异常状态标识的所述规范日志记录对应的参数信息解析出异常网络之间互连的协议IP地址。
进一步地,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤包括:
在所述待规范化日志中,提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
进一步地,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤包括:
在所述待规范化日志中提取与所述待规范化日志对应执行接口的调用开始时间和调用结束时间;
计算所述调用开始时间和所述调用结束时间之间的时间差,得到所述执行接口的调用时长,并提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
进一步地,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤之后,还包括:
根据所述待规范化日志对应的状态标识确定所述待规范化日志的属性;
当确定所有所述待规范化日志对应的属性后,将同一属性的所述待规范化日志对应的参数信息存储至对应的输出对象中,其中,属性相同的所述待规范化日志对应的输出对象相同;
所述根据所述参数信息生成所述待规范化日志对应的规范日志记录的步骤包括:
将同一输出对象中所存储的所述参数信息写入所述正则表达式对应位置中,生成各个输出对象的所述待规范化日志对应的规范日志记录。
进一步地,所述通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式的步骤之前,还包括:
获取预设的log实体类,在log实体类中定义生成规范日志记录对应的参数信息类别,以生成所述待规范化日志对应的正则表达式。
此外,为实现上述目的,本发明还提供一种日志规范化存储装置,所述日志规范化存储装置包括:
获取模块,用于通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;
提取模块,用于提取所述待规范化日志中与所述正则表达式对应的参数信息;
生成模块,用于根据所述参数信息生成所述待规范化日志对应的规范日志记录;
存储模块,用于在预设数据库中存储所述规范日志记录。
此外,为实现上述目的,本发明还提供一种日志规范化存储设备,所述日志规范化存储设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志规范化存储程序,所述日志规范化存储程序被所述处理器执行时实现如上所述的日志规范化存储方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有日志规范化存储程序,所述日志规范化存储程序被处理器执行时实现如上所述的日志规范化存储方法的步骤。
本发明通过将所获取的日志,通过正则表达式进行规范化处理,得到对应的规范日志记录,并存储规范日志记录,实现了日志的规范化管理,在通过日志分析多系统交互过程中的异常情况时,可快速在规范日志记录中获取到所需数据,提高了通过日志分析多系统交互过程中的异常情况的分析效率。
附图说明
图1是本发明日志规范化存储方法第一实施例的流程示意图;
图2是本发明日志规范化存储方法第二实施例的流程示意图;
图3为本发明日志规范化存储装置较佳实施例的功能示意图模块图;
图4是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种日志规范化存储方法,参照图1,图1为本发明日志规范化存储方法第一实施例的流程示意图。
本发明实施例提供了日志规范化存储方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
日志规范化存储方法应用于服务器或者终端中,终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)等移动终端,以及诸如数字TV、台式计算机等固定终端。在日志规范化存储方法的各个实施例中,为了便于描述,省略执行主体进行阐述各个实施例。日志规范化存储方法包括:
步骤S10,通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式。
当侦测到生成规范日志记录的生成指令后,通过log的框架接口获取待规范化日志。其中,该生成指令可由对应用户在日志规范化系统中根据需要而触发,或者由日志规范化系统根据其内置的定时任务触发该生成指令。需要说明的是,本申请实施例中的log(日志)的框架接口为Apache commons logging,Apache common logging本身并不实现log记录的功能,而是在运行时动态查找目前存在的日志库,调用相关的日志函数,以调取日志库中的日志。待规范化日志为同一系统,或者多个不同系统在运行过程中生成的Java日志,Java日志为log4j,log4j对应的文件为log4j.properties。当侦测到生成规范日志记录的生成指令后,获取规范待规范化日志的正则表达式。正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。规范待规范化日志的正则表达式是预先设置好的。
步骤S20,提取所述待规范化日志中与所述正则表达式对应的参数信息。
当获取到待规范化日志和规范待规范化日志的正则表达式后,在待规范化日志中提取与正则表达式对应的参数信息。可以理解的是,在待规范化日志中,存在很多参数信息,而与正则表达式对应的参数信息可根据具体需要而设置。待规范化日志对应的业务不同,对应的参数信息也不相同。
进一步的,步骤S20包括:
步骤a,在所述待规范化日志中,提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
具体地,在待规范化日志中,提取待规范化日志对应执行请求的请求ID、IP(Internet Protocol,网络之间互连的协议)地址和执行参数,其中,该执行参数为执行该执行请求所需的参数。进一步地,执行参数的个数可根据执行该执行请求的执行接口所确定,在各个执行接口中,定义执行对应执行请求所需的执行参数个数。不同执行接口对应的执行参数个数可能相同,也可能不相同。如某个执行请求为登录请求,则对应执行参数至少包括登录账户和登录密码。
步骤S30,根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录。
当获取到待规范化日志中与正则表达式对应的参数信息后,根据该参数信息生成待规范化日志对应的规范日志记录,即将该参数信息写入正则表达式的对应位置中,生成对应的规范日志记录。待规范化日志与规范日志记录是一一对应关系,即一个待规范化日志对应一条规范日志记录。需要说明的是,规范日志记录是以正则表达式的方式记录待规范化日志的参数信息。如某个待规范日志对应的规范日志记录为“Field1=123;Field2=127.0.0.1;Field3=name;Field4=age”,其中,Field1表示请求ID,Field2表示IP地址,Field3和Field4表示对应的执行参数。由此可知,可用分号“;”和等号“=”统一将待规范化日志表示成对应的规范日志记录。可以理解的是,也可以采用其它形式表示规范日记记录,如用逗号“,”代替分号“;”,用冒号“:”代替等号“=”等。
当生成待规范化日志对应的规范日志记录后,在预设数据库中存储所生成的规范日志记录。在本申请的实施例中,预设数据库可为mysql、SQLServer、Oracle等数据库。如可将规范日志记录存储在Oracle数据库中的某个表格中,在该表格中,已经预先设置好了规范日志记录中各个字段对应的存储位置,在存储规范日志记录过程中,只要将规范日志记录中各个字段的内容存储至对应的存储位置即可。如可设置将请求ID存储至该表格中的第二列,而规范日志记录所在行数可根据生成规范日志记录的先后顺序确定。
需要说明的是,为了区分不同待规范化日志对应的规范日志记录,可在待规范化日志和其对应的规范日志记录中添加日志标识,通过该日志标识,即可唯一确定某个待规范化日志对应的规范日志记录。在本申请实施例中,可将待规范化日志和对应的规范日志记录的日志标识设置为相同,也可将两者的日志标识设置成存在对应关系的标识。
本实施例通过将所获取的日志,通过正则表达式进行规范化处理,得到对应的规范日志记录,并存储规范日志记录,实现了日志的规范化管理,在通过日志分析多系统交互过程中的异常情况时,可快速在规范日志记录中获取到所需数据,提高了通过日志分析多系统交互过程中的异常情况的分析效率。
进一步地,为了提高生成规范日志记录的生成效率,日志规范化存储方法还包括:
步骤b,获取预设的log实体类,在log实体类中定义生成规范日志记录对应的参数信息类别,以生成所述待规范化日志对应的正则表达式。
获取预设的log实体类,在log实体类中定义生成规范日志记录所需的参数信息类别,定义这些参数信息类别的表达式,根据所定义的参数信息类别的表达式生成待规范化日志对应的正则表达式,参数信息类别为正则表达式中包括哪几类参数信息,如包括请求ID,IP地址和执行参数这三种类别,每种类别对应的参数个数可根据具体需要而设置。可以理解的是,待规范化日志对应的正则表达式就是生成规范日志记录的正则表达式。在生成正则表达式后,存储该正则表达式,以在需要通过该正则表达式生成规范日志记录时,可直接获取已经存储的正则表达式,提高了生成规范日志记录的生成效率。
进一步地,提出本发明日志规范化存储方法第二实施例。
所述日志规范化存储方法第二实施例与所述日志规范化存储方法第一实施例的区别在于,参照图2,日志规范化存储方法还包括:
步骤S40,当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录。
当侦测到解析日志的解析请求后,根据该解析请求在数据库中获取与解析请求对应的规范日志记录。其中,解析请求是由对应的运维人员根据需要而触发,在解析请求中携带有所需要获取的规范日志记录,通过该解析请求,运维人员可选择所需要解析的规范日志记录,即解析请求对应的规范日志记录的数量可由运维人员根据需要而确定。
步骤S50,根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志。
当在数据库获取到规范日志记录后,确定规范日志记录对应的参数信息,根据规范日志记录对应的参数信息解析对应的待规范化日志。如可获取执行异常的执行请求对应的规范日志记录,获取该执行异常对应的规范日志记录中的调用时长,以根据该调用时长解析是否是某个执行接口存在异常。如若获取到经过同一个执行接口的执行请求对应的10条规范日志记录,若这10条规范日志记录中,有7条规范日志记录的调用时长大于预设时长,即可确定该执行接口存在异常,其中,预设时长可根据具体需要而设置,在本实施例中不做具体限制。
本实施例通过在需要解析日志时,直接在数据库中获取所需解析的规范日志记录,在规范日志记录中获取解析所需的参数信息,以解析对应的待规范化日志,简化日志解析的操作流程,提高了日志解析的解析效率。
进一步地,步骤S40包括:
步骤c,当侦测到解析异常日志的异常解析请求后,根据所述异常解析请求在所述数据库中获取携带异常状态标识的所述规范日志记录。
当侦测到解析异常日志的异常解析请求后,根据该异常解析请求在数据库中获取携带异常状态标识的规范日志记录。需要说明的是,在本申请实施例中,将待规范化日志分为两类,分别为正常日志和异常日志,正常日志为执行请求执行正常对应的待规范化日志,异常日志为执行请求执行异常对应的待规范化日志。正常日志对应的状态标识为正常状态标识,异常日志对应的状态标识为异常状态标识。在本实施例中,不限制状态标识的表现形式。
进一步地,也可将待规范日志分为多类。如分为debug,info,warn,error和fatal等类型。其中,debug级别最低,在系统实际运行过程中,一般都是不输出的;info用来反馈系统的当前状态给最终用户的;warn是警告,此时需要进行修复性的工作,以将系统恢复到正常状态中来;error是错误,此时可进行修复性的工作,但无法确定系统是否会恢复正常的,系统在以后的某个阶段,很可能会因为当前的这个问题,导致一个无法修复的错误(例如宕机),但也可能一直工作到停止也不会出现严重问题;fatal是可以肯定这种错误已经无法修复,并且如果系统继续运行下去的话,可以肯定必然会越来越乱,此时不要试图将系统状态恢复到正常,而是尽可能地保留系统有效数据并停止运行。
进一步地,步骤S50包括:
步骤d,根据携带异常状态标识的所述规范日志记录对应的参数信息解析出异常网络之间互连的协议IP地址。
当获取到携带异常状态标识的规范日志记录后,获取携带异常状态标识的规范日志记录对应的IP地址,根据该IP地址确定异常的IP地址。在根据该IP地址确定异常的IP地址过程中,若携带异常状态标识的规范日志记录中,若某个IP地址的出现概率大于预设概率,即可确定出现概率大于预设概率的IP地址为异常的IP地址,预设概率可根据具体需要而设置,本申请对预设概率对应的数值不做具体限制。计算各个IP地址出现概率的过程为:计算所获取到的携带异常状态标识的规范日志记录的总数量,以及所获取规范日志记录对应的参数信息中,各个IP地址对应的出现次数,将该出现次数除以该总数量,得到对应IP地址的出现概率。
本实施例通过获取携带异常标识的规范日志记录,以解析出对应异常日志的异常IP地址,提高了解析出异常IP地址的解析效率。
进一步地,提出本发明日志规范化存储方法第三实施例。
所述日志规范化存储方法第三实施例与所述日志规范化存储方法第一或第二实施例的区别在于,步骤S20还包括:
步骤e,在所述待规范化日志中提取与所述待规范化日志对应执行接口的调用开始时间和调用结束时间。
在所获取的待规范化日志中,提取与待规范化日志对应执行接口的调用开始时间和调用结束时间,其中,执行接口为执行与待规范化日志对应请求的接口,当通过该执行接口执行对应请求后,才会生成对应的待规范化日志。
步骤f,计算所述调用开始时间和所述调用结束时间之间的时间差,得到所述执行接口的调用时长,并提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
计算调用开始时间和调用结束时间之间的时间差,得到执行接口的调用时长,并提取待规范日志对应执行请求的请求ID、IP地址和执行参数。可以理解的是,此时,待规范化日志对应的参数信息包括调用执行接口的调用时长、请求ID、IP地址和执行参数。需要说明的是,参数信息具体包括哪些信息,可根据具体需要而设置。
本实施例通过将调用执行接口的调用时长作为参数信息的一种,生成与待规范化日志对应的规范日志记录,以便于在需要了解各个执行接口的调用情况时,通过规范日志记录中的参数信息可快速确定各个调用接口的调用时长。
进一步地,提出本发明日志规范化存储方法第四实施例。
所述日志规范化存储方法第四实施例与所述日志规范化存储方法第一、第二或第三实施例的区别在于,所述根据所述参数信息生成所述待规范化日志对应的规范日志记录的步骤包括:
步骤g,根据所述待规范化日志对应的状态标识确定所述待规范化日志的属性。
在获取到待规范化日志后,确定待规范化日志所携带的状态标识。在本实施例中,一共存在两种状态标识,分别为正常日志对应的正常状态标识,以及异常日志对应的异常状态标识。正常状态标识和异常状态标识的表现形式是不一样的。如正常状态标识可表示为“00”,异常状态标识可表示为“11”。当确定待规范化日志所携带的状态标识后,根据该状态标识确定对应待规范化日志的属性,即根据状态标识确定对应的待规范化日志是属于正常日志还是异常日志。
步骤h,当确定所有所述待规范化日志对应的属性后,将同一属性的所述待规范化日志对应的参数信息存储至对应的输出对象中,其中,属性相同的所述待规范化日志对应的输出对象相同。
当确定所获取的所有待规范化日志的属性后,将同一属性的待规范化日志对应的参数信息存储至对应的输出对象中,其中,属性相同的待规范日志对应的输出对象相同,输出对象为存储日志的文件。如将正常日志存储至audit.log文件中,将异常日志存储至error.log文件中。
步骤i,将同一输出对象中所存储的所述参数信息写入所述正则表达式对应位置中,生成各个输出对象的所述待规范化日志对应的规范日志记录。
确定同一输出对象所存储的待规范化日志对应的参数信息,将同一输出对象对应的参数信息统一写入正则表达式对应位置中,以生成各个输出对象的待规范化日志对应的规范日志记录。
如正常日志对应的代码可为:
protected Log logger=LogFactory.getLog(this.getClass());//定义日志类
Long startTime=System.currentTimeMillis();//记录调用开始时间
logger.info("请求ID="+LogDTO.getRequestId()+";IP地址="+LogDTO.getIp()+";参数1="+LogDTO.getParam1()+";参数2="+LogDTO.getParam2()+";调用时长="+(System.currentTimeMillis()-startTime)+"ms");//日志记录标准:正常日志,将“执行参数,ip地址,调用时长””存储在audit.log文件中;
需要说明的是,异常日志的代码与上述正常日志的记录格式一样,但是是存储在error.log文件中。
进一步地,在获取到待规范化日志后,可在待规范化日志中定义缺省的属性和输出对象。
本实施例通过将同一属性的待规范化日志对应的参数信息存储至输出对象中,然后同一将同一输出对象中所存储的参数信息写入正则表达式对应位置中,生成各个输出对象的待规范化日志对应的规范日志记录,以便于在对应正常日志和异常日志进行分类分析时,可快速获取正常日志和异常日志对应的参数信息。
此外,参照图3,本发明还提供一种日志规范化存储装置,所述日志规范化存储装置包括:
获取模块10,用于通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;
提取模块20,用于提取所述待规范化日志中与所述正则表达式对应的参数信息;
生成模块30,用于根据所述参数信息生成所述待规范化日志对应的规范日志记录;
存储模块40,用于在预设数据库中存储所述规范日志记录。
进一步地,所述获取模块10还用于当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录;
所述日志规范化存储装置还包括:
解析模块,用于根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志。
进一步地,所述获取模块10还用于当侦测到解析异常日志的异常解析请求后,根据所述异常解析请求在所述数据库中获取携带异常状态标识的所述规范日志记录;
所述解析模块还用于根据携带异常状态标识的所述规范日志记录对应的参数信息解析出异常网络之间互连的协议IP地址。
进一步地,所述提取模块20还用于在所述待规范化日志中,提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
进一步地,所述提取模块20包括:
提取单元,用于在所述待规范化日志中提取与所述待规范化日志对应执行接口的调用开始时间和调用结束时间;
计算单元,用于计算所述调用开始时间和所述调用结束时间之间的时间差,得到所述执行接口的调用时长;
所述提取单元还用于提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
进一步地,所述日志规范化存储装置还包括:
确定模块,用于根据所述待规范化日志对应的状态标识确定所述待规范化日志的属性;
所述存储模块40还用于当确定所有所述待规范化日志对应的属性后,将同一属性的所述待规范化日志对应的参数信息存储至对应的输出对象中,其中,属性相同的所述待规范化日志对应的输出对象相同;
所述生成模块30还用于将同一输出对象中所存储的所述参数信息写入所述正则表达式对应位置中,生成各个输出对象的所述待规范化日志对应的规范日志记录。
进一步地,所述获取模块10还用于获取预设的log实体类;
所述生成模块30还用于在log实体类中定义生成规范日志记录对应的参数信息类别,以生成所述待规范化日志对应的正则表达式。
需要说明的是,日志规范化存储装置的各个实施例与上述日志规范化存储方法的各实施例基本相同,在此不再详细赘述。
此外,本发明还提供一种日志规范化存储设备。如图4所示,图4是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图4即可为日志规范化存储设备的硬件运行环境的结构示意图。本发明实施例日志规范化存储设备可以是PC,便携计算机等终端设备。
如图4所示,该日志规范化存储设备可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,日志规范化存储设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图4中示出的日志规范化存储设备结构并不构成对日志规范化存储设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图4所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志规范化存储程序。其中,操作系统是管理和控制日志规范化存储设备硬件和软件资源的程序,支持日志规范化存储程序以及其它软件或程序的运行。
在图4所示的日志规范化存储设备中,用户接口1003可用于接收解析请求和生成指令等;网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的日志规范化存储程序,并执行如上所述的日志规范化存储方法的步骤。
本发明日志规范化存储设备具体实施方式与上述日志规范化存储方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有日志规范化存储程序,所述日志规范化存储程序被处理器执行时实现如上所述的日志规范化存储方法的步骤。
本发明计算机可读存储介质具体实施方式与上述日志规范化存储方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志规范化存储方法,其特征在于,所述日志规范化存储方法包括以下步骤:
通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;
提取所述待规范化日志中与所述正则表达式对应的参数信息;
根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录。
2.如权利要求1所述的日志规范化存储方法,其特征在于,所述根据所述参数信息生成所述待规范化日志对应的规范日志记录,并在预设数据库中存储所述规范日志记录的步骤之后,还包括:
当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录;
根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志。
3.如权利要求2所述的日志规范化存储方法,其特征在于,所述当侦测到解析日志的解析请求后,根据所述解析请求在所述数据库中获取对应的所述规范日志记录的步骤包括:
当侦测到解析异常日志的异常解析请求后,根据所述异常解析请求在所述数据库中获取携带异常状态标识的所述规范日志记录;
所述根据在所述数据库中获取的所述规范日志记录对应的参数信息解析对应的所述待规范化日志的步骤包括:
根据携带异常状态标识的所述规范日志记录对应的参数信息解析出异常网络之间互连的协议IP地址。
4.如权利要求1所述的日志规范化存储方法,其特征在于,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤包括:
在所述待规范化日志中,提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
5.如权利要求1所述的日志规范化存储方法,其特征在于,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤包括:
在所述待规范化日志中提取与所述待规范化日志对应执行接口的调用开始时间和调用结束时间;
计算所述调用开始时间和所述调用结束时间之间的时间差,得到所述执行接口的调用时长,并提取所述待规范化日志对应执行请求的请求ID、IP地址和执行参数。
6.如权利要求1所述的日志规范化存储方法,其特征在于,所述提取所述待规范化日志中与所述正则表达式对应的参数信息的步骤之后,还包括:
根据所述待规范化日志对应的状态标识确定所述待规范化日志的属性;
当确定所有所述待规范化日志对应的属性后,将同一属性的所述待规范化日志对应的参数信息存储至对应的输出对象中,其中,属性相同的所述待规范化日志对应的输出对象相同;
所述根据所述参数信息生成所述待规范化日志对应的规范日志记录的步骤包括:
将同一输出对象中所存储的所述参数信息写入所述正则表达式对应位置中,生成各个输出对象的所述待规范化日志对应的规范日志记录。
7.如权利要求1至6任一项所述的日志规范化存储方法,其特征在于,所述通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式的步骤之前,还包括:
获取预设的log实体类,在log实体类中定义生成规范日志记录对应的参数信息类别,以生成所述待规范化日志对应的正则表达式。
8.一种日志规范化存储装置,其特征在于,所述日志规范化存储装置包括:
获取模块,用于通过日志log的框架接口获取待规范化日志,以及获取规范所述待规范化日志的正则表达式;
提取模块,用于提取所述待规范化日志中与所述正则表达式对应的参数信息;
生成模块,用于根据所述参数信息生成所述待规范化日志对应的规范日志记录;
存储模块,用于在预设数据库中存储所述规范日志记录。
9.一种日志规范化存储设备,其特征在于,所述日志规范化存储设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的日志规范化存储程序,所述日志规范化存储程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志规范化存储方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志规范化存储程序,所述日志规范化存储程序被处理器执行时实现如权利要求1至7中任一项所述的日志规范化存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811351160.5A CN109656894A (zh) | 2018-11-13 | 2018-11-13 | 日志规范化存储方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811351160.5A CN109656894A (zh) | 2018-11-13 | 2018-11-13 | 日志规范化存储方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109656894A true CN109656894A (zh) | 2019-04-19 |
Family
ID=66111378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811351160.5A Pending CN109656894A (zh) | 2018-11-13 | 2018-11-13 | 日志规范化存储方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109656894A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519212A (zh) * | 2019-06-16 | 2019-11-29 | 北京中科海讯数字科技股份有限公司 | 一种基于匿名推断的通信转发系统 |
CN111966641A (zh) * | 2020-08-18 | 2020-11-20 | 国家工业信息安全发展研究中心 | 一种通用的日志范化模型配置方法和装置 |
CN113791957A (zh) * | 2021-09-24 | 2021-12-14 | 浪潮金融信息技术有限公司 | 一种日志处理方法、系统及介质 |
CN115102848A (zh) * | 2022-07-13 | 2022-09-23 | 上海中广核工程科技有限公司 | 日志数据的提取方法、系统、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8079081B1 (en) * | 2008-06-27 | 2011-12-13 | Alert Logic, Inc. | Systems and methods for automated log event normalization using three-staged regular expressions |
US9405755B1 (en) * | 2013-10-03 | 2016-08-02 | Initial State Technologies, Inc. | Apparatus and method for processing log file data |
US20160292263A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
WO2016161381A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
CN107818150A (zh) * | 2017-10-23 | 2018-03-20 | 中国移动通信集团广东有限公司 | 一种日志审计方法及装置 |
CN108108288A (zh) * | 2018-01-09 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种日志数据解析方法、装置及设备 |
US20180165147A1 (en) * | 2016-12-08 | 2018-06-14 | Nec Laboratories America, Inc. | Structure-level anomaly detection for unstructured logs |
CN108595310A (zh) * | 2017-12-28 | 2018-09-28 | 北京兰云科技有限公司 | 一种日志处理方法及装置 |
-
2018
- 2018-11-13 CN CN201811351160.5A patent/CN109656894A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8079081B1 (en) * | 2008-06-27 | 2011-12-13 | Alert Logic, Inc. | Systems and methods for automated log event normalization using three-staged regular expressions |
US9405755B1 (en) * | 2013-10-03 | 2016-08-02 | Initial State Technologies, Inc. | Apparatus and method for processing log file data |
US20160292263A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
WO2016161381A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
US20180165147A1 (en) * | 2016-12-08 | 2018-06-14 | Nec Laboratories America, Inc. | Structure-level anomaly detection for unstructured logs |
CN107818150A (zh) * | 2017-10-23 | 2018-03-20 | 中国移动通信集团广东有限公司 | 一种日志审计方法及装置 |
CN108595310A (zh) * | 2017-12-28 | 2018-09-28 | 北京兰云科技有限公司 | 一种日志处理方法及装置 |
CN108108288A (zh) * | 2018-01-09 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种日志数据解析方法、装置及设备 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519212A (zh) * | 2019-06-16 | 2019-11-29 | 北京中科海讯数字科技股份有限公司 | 一种基于匿名推断的通信转发系统 |
CN110519212B (zh) * | 2019-06-16 | 2021-06-22 | 北京中科海讯数字科技股份有限公司 | 一种基于匿名推断的通信转发系统 |
CN111966641A (zh) * | 2020-08-18 | 2020-11-20 | 国家工业信息安全发展研究中心 | 一种通用的日志范化模型配置方法和装置 |
CN113791957A (zh) * | 2021-09-24 | 2021-12-14 | 浪潮金融信息技术有限公司 | 一种日志处理方法、系统及介质 |
CN113791957B (zh) * | 2021-09-24 | 2023-10-03 | 浪潮金融信息技术有限公司 | 一种日志处理方法、系统及介质 |
CN115102848A (zh) * | 2022-07-13 | 2022-09-23 | 上海中广核工程科技有限公司 | 日志数据的提取方法、系统、设备及介质 |
CN115102848B (zh) * | 2022-07-13 | 2024-05-28 | 中广核数字科技有限公司 | 日志数据的提取方法、系统、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11044179B1 (en) | Service monitoring interface controlling by-service mode operation | |
CN108647049B (zh) | 基于规则引擎的可配置化系统、方法、设备和存储介质 | |
CN109656894A (zh) | 日志规范化存储方法、装置、设备及可读存储介质 | |
CN113269547B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
KR20150074020A (ko) | 데이터에 규칙 지정 및 적용 | |
CN107862425B (zh) | 风控数据采集方法、设备、系统及可读存储介质 | |
US11496584B2 (en) | Extraction and distribution of content packages in a digital services framework | |
CN107066519A (zh) | 一种任务检测方法及装置 | |
CN111240876A (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
CN113505044B (zh) | 数据库告警方法、装置、设备和存储介质 | |
KR20130058336A (ko) | 사용자의 행위 로그를 이용한 모바일 어플리케이션의 사용성 분석 장치 및 방법 | |
CN107633015A (zh) | 一种数据处理方法、装置及设备 | |
CN110266555A (zh) | 用于分析网站服务请求的方法 | |
CN113010208A (zh) | 一种版本信息的生成方法、装置、设备及存储介质 | |
CN112650673A (zh) | 事务跟踪系统中测试用例的创建方法、装置及电子设备 | |
EP3367241A1 (en) | Method, computer program and system for providing a control signal for a software development environment | |
US11394626B2 (en) | Digital services framework | |
CN111045849A (zh) | 核对异常原因的识别方法、装置、服务器和存储介质 | |
CN114281549A (zh) | 数据的处理方法及装置 | |
CN114385155A (zh) | vue项目可视化工具生成方法、装置、设备及存储介质 | |
CN114157662A (zh) | 一种云平台参数适配方法、装置、终端设备及储存介质 | |
CN111352818A (zh) | 应用程序性能分析方法、装置、存储介质及电子设备 | |
CN112348403A (zh) | 风控模型构建方法、装置及电子设备 | |
CN111782208A (zh) | 指标预警方法、装置、计算机设备及存储介质 | |
CN113392022B (zh) | 测试需求分析方法、设备、计算机可读介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |