CN115048277A - 用于数据审计的日志解析方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种用于数据审计的日志解析方法、装置、设备以及存储介质，该方法包括：获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。使用本发明的技术方案，可以实现提高日志解析的适用性和灵活性。

Description

用于数据审计的日志解析方法、装置、设备以及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于数据审计的日志解析方法、装置、设备以及存储介质。

背景技术

在计算机系统中，日志中包含了大量人们需要的数据，在进行数据审计之前，需要对日志进行解析，得到所需的数据。

现有的主流日志解析都是采用正则表达式匹配的方式，解析日志，提取所需的数据。例如Logstash的grok插件，可以在grok插件中预定义表达式，从而提取日志中的字符。但是现有的日志解析方式存在很多局限性，灵活性较差，如果日志中存在某一字段的值决定下一字段的解析方式等情况，采用正则表达式匹配的方式则无法再进行日志解析。

发明内容

本发明提供了一种用于数据审计的日志解析方法、装置、设备以及存储介质，以实现提高日志解析的适用性和灵活性。

第一方面，本发明实施例提供了一种用于数据审计的日志解析方法，该方法包括：

获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

第二方面，本发明实施例还提供了一种用于数据审计的日志解析装置，该装置包括：

解析函数获取模块，用于获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

函数实现方式确定模块，用于若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

日志解析模块，用于根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的用于数据审计的日志解析方法。

第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的用于数据审计的日志解析方法。

本发明实施例的技术方案，通过对待解析日志的日志模板的解析函数进行判断，当解析函数为自定义函数时，预加载匹配的函数实现方式，在对待解析日志进行解析时，根据与日志模板匹配的解析函数的顺序，进行待解析日志的解析。解决了现有技术中采用正则表达式匹配进行日志解析的方式，局限性较多，灵活性较差的问题，提高了日志解析的适用性和灵活性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种用于数据审计的日志解析方法的流程图；

图2是本发明实施例二提供的一种用于数据审计的日志解析方法的流程图；

图3是本发明实施例三提供的一种用于数据审计的日志解析装置的结构示意图；

图4是本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种用于数据审计的日志解析方法的流程图，本实施例可适用于对日志进行自定义函数解析的情况，该方法可以由日志解析装置来执行，该日志解析装置可以采用硬件和/或软件的形式实现，该日志解析装置可配置于计算机设备中。

如图1所示，该方法包括：

S110、获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数。

其中，待解析日志可以是各种网络设备、安全设备或者业务系统等的日志，解析函数可以是自定义函数，也可以是通用函数。日志模板中包括若干解析函数的表达式，可以根据解析函数的表达式，判断解析函数是否是自定义函数。

示例性的，当自定义函数是在字符串中抽取指定数目字符的函数时，自定义函数的表达式可以是RANDOM％{STRING？FUN＝SUBSTR(POS(-),LPOS(-)).SUBSTR(0,-1):temp5}，其中，SUBSTR(start:end)方法可以在字符串中抽取从start下标开始，到end下标为止的指定数目的字符，start表示要抽取的字符的起始下标，必须为数值，start为0时表示从第一位字符开始，end表示要抽取的字符数的结尾下标，也必须是数值，end为0表示字符串截止到最后一位，end为-1表示字符串截止到倒数第二位，依次类推。POS表示从前往后定位，LPOS表示从后往前定位。因此，此自定义函数的含义为，在字符串中取从前往后的第一个“-”与从后往前的第一个“-”之间的子字符串，取该子字符串从第一位开始到倒数第二位结束的字符。例如，当日志为“123-445-789-012”，则根据该自定义函数，取出来的字符为“445-78”。

S120、若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式。

其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析。

解析函数是否为自定义函数，关系着日志的解析类型是自定义函数解析还是通用解析。当解析函数为自定义函数时，预加载自定义函数的函数实现方式，该函数实现方式可以在进行自定义函数的设置时，预先配置并与自定义函数对应存储。

S130、根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

通过对日志模板的分析，可以确定日志模板中存在的自定义函数，分别确定自定义函数的函数实现方式。在进行待解析日志的解析时，根据日志模板的自定义函数的顺序，在需要进行自定义函数解析时，根据自定义函数的函数实现方式进行待解析日志的自定义函数解析，在自定义函数解析之外进行通用解析时，对待解析日志进行通用解析，最终可以得到待解析日志的解析结果。

需要进行说明的是，可以根据日志模板上自定义函数的顺序，对待解析日志交替进行自定义函数解析和通用解析，也可以根据日志模板上自定义函数的顺序，先对待解析日志完成自定义函数解析，再对自定义函数解析之外的内容进行通用解析，本实施例对此不进行限制。

本发明实施例的技术方案，通过对待解析日志的日志模板的解析函数进行判断，当解析函数为自定义函数时，预加载匹配的函数实现方式，在对待解析日志进行解析时，根据与日志模板匹配的解析函数的顺序，进行待解析日志的解析。解决了现有技术中采用正则表达式匹配进行日志解析的方式，局限性较多，灵活性较差的问题，提高了日志解析的适用性和灵活性。

实施例二

图2为本发明实施例二提供的一种用于数据审计的日志解析方法的流程图，本发明实施例在上述实施例的基础上，对判断解析函数是否是自定义函数的过程、对待解析日志进行解析，得到待解析日志的解析结果的过程进行了进一步的具体化，并加入了预先配置自定义函数的函数实现方式、将自定义函数以及实现方式保存到缓存过程。

如图2所示，该方法包括：

S210、预先配置并存储与自定义函数匹配的函数实现方式。

本实施例中的待解析日志支持自定义函数解析，在设置自定义函数时，预先配置与自定义函数匹配的函数实现方式，以便后续进行日志自定义函数解析时进行调用。

S220、获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数。

在对待解析日志进行解析之前，首先根据待解析日志的日志模板，对与待解析日志匹配的解析函数的类型进行判断。这样设置的好处在于，可以预先根据解析函数的类型，确定对应的解析方式，以实现对待解析日志的灵活解析。

S230、判断所述解析函数的表达式与通用表达式是否匹配，若是，则执行S240，否则执行S260。

可选的，可以预先确定至少一种通用表达式的格式，并将解析函数的表达式与通用表达式进行比对，若解析函数的表达式不属于任何一种通用表达式，则说明解析函数是自定义函数，本实施例对通用表达式的类型、数量以及具体格式不进行限制。

示例性的，以上述实施例中的函数表达式为例，RANDOM％{STRING？FUN＝SUBSTR(POS(-),LPOS(-)).SUBSTR(0,-1):temp5}，若通用表达式的格式为RANDOM％{STRING！＝temp5}，则该函数表达式对应的解析函数为自定义函数。

S240、确定与所述自定义函数匹配的函数实现方式。

其中，函数实现方式为预先根据自定义函数进行确定。

S250、将所述自定义函数以及与所述自定义函数匹配的函数实现方式保存在缓存中。

当解析函数为自定义函数时，加载其对应的函数实现方式，并将自定义函数以及与其匹配的函数实现方式都保存在缓存中。这样设置的好处在于，在后续进行日志解析的过程中，可以直接根据缓存中的函数实现方式进行日志解析，提高了日志解析的效率。

S260、判断根据与所述日志模板匹配的解析函数的顺序是否确定当前解析函数为自定义函数，若是，则执行S270，否则执行S290。

在根据日志模板进行解析函数类型的判断、自定义函数的函数实现方式的预加载，以及自定义函数函数实现方式保存到缓存之后，对待解析日志进行解析。

根据待解析日志的日志模板匹配的各解析函数的顺序，依次对待解析日志进行解析。

S270、从缓存中加载自定义函数以及与所述自定义函数匹配的函数实现方式。

在当前解析函数是自定义函数时，在缓存中加载与该自定义函数匹配的函数实现方式，根据该函数实现方式对日志进行解析。

S280、通过语法解析器根据自定义函数以及与所述自定义函数匹配的函数实现方式，对待解析日志进行解析，得到待解析日志的自定义解析结果。

示例性的，语法解析器可以是ANTLR(ANother Tool for Language Recognition，另一个语言识别工具)4，ANTLR4是一款强大的语法分析器生成工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件。但本实施例对采用的语法解析器的类型不进行限制。

使用ANTLR4，可以根据自定义函数的函数实现方式，实现对待解析日志的自定义解析。

S290、通过正则表达式匹配的方式，对待解析日志进行解析，得到待解析日志的正则解析结果。

当解析函数不是自定义函数时，采用通用的正则表达式匹配的方式，对待解析日志进行正则表达式提取，将提取得到的数据作为正则解析结果。

S2100、判断是否完成对待解析日志的解析，若是，则执行S2110，否则返回执行S260。

在本发明实施例中，依照日志模板中各解析函数的顺序，依次根据各解析函数的类型，进行自定义解析或者通用的正则解析，直至完成对全部解析函数的遍历。这样设置实现了自定义函数和正则表达式的混合解析，提高了日志解析的灵活性和效率。

需要进行说明的是，根据日志模板中各解析函数的顺序，依次分别进行自定义解析或者正则解析，是本实施例中的一种实现方式。还可以先进行各自定义函数的解析，再进行正则解析，或者先进行正则解析，再进行自定义解析。或者，还可以将日志模板中的各解析函数划分为自定义函数和通用函数，在分别进行自定义解析和正则解析，本实施例对此不进行限制。

S2110、将待解析日志的自定义解析结果和正则解析结果进行整合，得到待解析日志的合并解析结果。

在遍历完成全部解析函数，对待解析日志进行解析之后，将各解析函数得到的自定义解析结果或者正则解析结果进行整合，从而得到完整的对待解析日志的合并解析结果。

获得的合并解析结果，可以进一步作为数据分析、数据审计的数据源，从而可以提高数据分析、数据审计的能力。

本发明实施例的技术方案，通过对待解析日志的日志模板的解析函数进行判断，当解析函数为自定义函数时，预加载匹配的函数实现方式，并保存在缓存中，在对待解析日志进行解析时，根据与日志模板匹配的解析函数的顺序，当解析函数为自定义函数时，通过语法解析器以及在缓存中加载的函数实现方式进行待解析日志的自定义解析，当解析函数不是自定义函数时，采用通用的正则表达式匹配的日志解析方式，在对各解析函数处理完成之后，将各解析函数的自定义解析结果或者正则解析结果进行整合，得到待解析日志的合并解析结果。解决了现有技术中采用正则表达式匹配进行日志解析的方式，局限性较多，灵活性较差的问题，实现了自定义函数和正则表达式的混合解析，并且提高了日志解析的适用性、灵活性和高效性。

实施例三

图3为本发明实施例三提供的一种用于数据审计的日志解析装置的结构示意图。本实施例可适用于对日志进行自定义函数解析的情况，该用于数据审计的日志解析装置可以采用硬件和/或软件的形式实现，该用于数据审计的日志解析装置可配置于计算机设备中。

如图3所示，该装置包括：解析函数获取模块310、函数实现方式确定模块320以及日志解析模块330。其中：

解析函数获取模块310，用于获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

函数实现方式确定模块320，用于若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

日志解析模块330，用于根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

本发明实施例的技术方案，通过对待解析日志的日志模板的解析函数进行判断，当解析函数为自定义函数时，预加载匹配的函数实现方式，在对待解析日志进行解析时，根据与日志模板匹配的解析函数的顺序，进行待解析日志的解析。解决了现有技术中采用正则表达式匹配进行日志解析的方式，局限性较多，灵活性较差的问题，提高了日志解析的适用性和灵活性。

在上述实施例的基础上，函数实现方式确定模块320，包括：

自定义函数判断单元，用于若确定所述解析函数的表达式与通用表达式不匹配，则确定所述解析函数为自定义函数。

在上述实施例的基础上，所述装置，还包括：

函数实现方式预配置模块，用于预先配置并存储与自定义函数匹配的函数实现方式。

在上述实施例的基础上，所述装置，还包括：

解析函数缓存模块，用于将所述自定义函数以及与所述自定义函数匹配的函数实现方式保存在缓存中。

在上述实施例的基础上，日志自定义解析模块330，包括：

自定义函数加载单元，用于若根据与所述日志模板匹配的解析函数的顺序确定当前解析函数为自定义函数，则从缓存中加载自定义函数以及与所述自定义函数匹配的函数实现方式；

日志自定义解析单元，用于通过语法解析器根据自定义函数以及与所述自定义函数匹配的函数实现方式，对待解析日志进行解析，得到待解析日志的自定义解析结果。

在上述实施例的基础上，日志自定义解析模块330，还包括：

日志正则解析单元，用于若根据与所述日志模板匹配的解析函数的顺序确定当前解析函数不是自定义函数，则通过正则表达式匹配的方式，对待解析日志进行解析，得到待解析日志的正则解析结果。

在上述实施例的基础上，日志自定义解析模块330，还包括：

解析结果整合单元，用于将待解析日志的自定义解析结果和正则解析结果进行整合，得到待解析日志的合并解析结果。

本发明实施例所提供的用于数据审计的日志解析装置可执行本发明任意实施例所提供的用于数据审计的日志解析方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图4中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的用于数据审计的日志解析方法对应的模块(例如，用于数据审计的日志解析装置中的解析函数获取模块310、函数实现方式确定模块320以及日志解析模块330)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的用于数据审计的日志解析方法。该方法包括：

获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种用于数据审计的日志解析方法，该方法包括：

获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的用于数据审计的日志解析方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述用于数据审计的日志解析装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于数据审计的日志解析方法，其特征在于，包括：

获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

2.根据权利要求1所述的方法，其特征在于，确定所述解析函数为自定义函数，包括：

若确定所述解析函数的表达式与通用表达式不匹配，则确定所述解析函数为自定义函数。

3.根据权利要求1所述的方法，其特征在于，在获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数之前，还包括：

预先配置并存储与自定义函数匹配的函数实现方式。

4.根据权利要求1所述的方法，其特征在于，确定与所述自定义函数匹配的函数实现方式之后，还包括：

将所述自定义函数以及与所述自定义函数匹配的函数实现方式保存在缓存中。

5.根据权利要求4所述的方法，其特征在于，根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，包括：

若根据与所述日志模板匹配的解析函数的顺序确定当前解析函数为自定义函数，则从缓存中加载自定义函数以及与所述自定义函数匹配的函数实现方式；

通过语法解析器根据自定义函数以及与所述自定义函数匹配的函数实现方式，对待解析日志进行解析，得到待解析日志的自定义解析结果。

6.根据权利要求5所述的方法，其特征在于，根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，还包括：

若根据与所述日志模板匹配的解析函数的顺序确定当前解析函数不是自定义函数，则通过正则表达式匹配的方式，对待解析日志进行解析，得到待解析日志的正则解析结果。

7.根据权利要求6所述的方法，其特征在于，得到待解析日志的解析结果，包括：

将待解析日志的自定义解析结果和正则解析结果进行整合，得到待解析日志的合并解析结果。

8.一种用于数据审计的日志解析装置，其特征在于，包括：

解析函数获取模块，用于获取待解析日志的日志模板，以及与所述日志模板匹配的解析函数；

函数实现方式确定模块，用于若确定所述解析函数为自定义函数，则确定与所述自定义函数匹配的函数实现方式；其中，与所述自定义函数匹配的函数实现方式用于对待解析日志进行自定义函数解析；

日志解析模块，用于根据与所述日志模板匹配的解析函数的顺序，对待解析日志进行解析，得到待解析日志的解析结果，以根据解析结果进行数据审计。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的用于数据审计的日志解析方法。

10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的用于数据审计的日志解析方法。

Images