CN109413131A - 一种日志解析的方法及装置 - Google Patents

Abstract

本申请公开了一种日志解析的方法及装置，涉及大数据技术领域，为解决现有技术中日志解析效率低的问题而发明。该方法主要包括：加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；根据所述第一正则映射机制，建立解析对象；判断所述日志流与所述第一正则表达式是否匹配；如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；将所述匹配结果填充至所述解析对象。本申请主要应用于解析日志的过程中。

Description

一种日志解析的方法及装置

技术领域

本申请涉及大数据技术领域，尤其涉及一种日志解析的方法及装置。

背景技术

日志是指有关互联网发生的实务或操作的记录。在各种网络设备中，都会将网络设备运行过程中所发生的一切记录为日志，日志被实时接收汇总，生成日志流，然后通过对日志流的解析，详细了解整个运行过程。在网络设备中，通常安装各种应用系统，各个应该系统都会生成自己的日志流，日志流的日志类型各不相同。

针对不同类型的日志流，目前针对每种不同类型的日志的解析都要各自单独编码，每添加一种日志都需要重写解析代码，即将日志解析与日志类型绑定。这样，就可以更有针对性地对不同类型的日志流进行解析。但是，随着应用系统的多样化，日志类型也会随业务的变动而不断地变化和完善，会基于某种需求而增加新的信息，这就给日志的解析带来很多问题。例如，一旦日志类型修改，就需要修改相应的日志解析系统的代码。如果为每种类型的日志都重新编写代码进行解析，会造成大量人力资源的浪费，并降低了解析效率。

发明内容

本申请提供了一种日志解析的方法及装置，以解决现有技术中日志解析效率低的问题。

第一方面，本申请提供了一种日志解析的方法，该方法包括：加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；根据所述第一正则映射机制，建立解析对象；判断所述日志流与所述第一正则表达式是否匹配；如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；将所述匹配结果填充至所述解析对象。

结合第一方面，在第一方面第一种可能的实现方式中，所述加载配置文件，包括：提取所述正则表达式对应的所述正则命名字段，所述正则命名字段的数量至少为一个；将所述正则表达式和所述正则命名字段，保存在全局配置对象中。

结合第一方面，在第一方面第二种可能的实现方式中，所述判断所述日志流与所述第一正则表达式是否匹配，包括：查找所述日志流是否包括所述正则命名字段；如果所述日志流包括所述正则命名字段，则确定所述日志流与所述第一正则表达式匹配；如果所述日志流不包括所述正则命名字段，则确定所述日志流与所述第一正则表达式不匹配。

结合第一方面，在第一方面的第三种可能的实现方式中，所述将所述匹配结果填充至所述解析对象，包括：获取所述解析对象的字段列表；查找所述匹配结果所属的正则命名字段；在所述字段列表中，查找与所述正则命名字段对应的数据填充位置；在所述解析对象的所述数据填充位置填充所述匹配结果。

结合第一方面，在第一方面的第四种可能的实现方式中，所述将所述匹配结果填充至所述解析对象之后，所述方法还包括：根据预置处理函数，处理所述解析对象。

第二方面，本申请还提供了一种日志解析的装置，所述装置包括用于执行第一方面各种实现方式中方法步骤的模块。

第三方面，本申请还提供了一种终端，包括：处理器及存储器；所述处理器可以执行所述存储器中所存储的程序或指令，从而实现以第一方面各种实现方式所述日志解析的方法。

第四方面，本申请还提供了一种存储介质，该计算机存储介质可存储有程序，该程序执行时可实现包括本申请提供的日志解析的方法各实施例中的部分或全部步骤。

本申请提供的一种日志解析的方法及装置，通过加载配置文件，然后从配置文件中获取加载文件中与日志流的日志类型对应的第一正则表达式和第一正则映射机制，再根据第一正则映射机制建立解析对象，再判断日志流与第一正则表达式是否匹配，如果匹配则截取日志流中的匹配结果，最后将匹配结果填充至解析对象。与现有技术相比，本申请在解析日志之前，通过配置文件携带正则表达式，提前保存编译好的正则表达式，每次解析日志不用重新编译，大大提高解析效率。根据不同的日志类型，获取不同的正则映射机制和正则表达式，便于管理多种日志解析，可以方便的处理启用禁用某种日志的解析。将匹配结果填充至解析对象，也就是统一日志解析结果的格式，便于对日志解析结果统一处理。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种日志解析的方法流程图；

图2为本申请提供的一种加载配置文件的方法流程图；

图3为本申请提供的一种判断日志流与第一正则表达式是否匹配的方法流程图；

图4为本申请提供的一种将匹配结果填充至解析对象的方法流程图；

图5为本申请提供的另一种日志解析的方法流程图；

图6为本申请提供的一种日志解析的装置组成框图；

图7为本申请提供的一种加载单元的组成框图；

图8为本申请提供的一种判断单元的组成框图；

图9为本申请提供的一种填充单元的组成框图；

图10为本申请提供的另一种日志解析的装置组成框图。

具体实施方式

日志是指有关互联网发生的实务或操作的记录。随着科技的发展，网络用户的逐渐增多，互联网中的网络设备数量越来越多，生成的日志数据量也越来越大。日志解析终端包括多个能够独立解析日志的子终端，为不同的子终端配置不同进程，各个进程之间可以通过TCP协议进行协调，也就使得各个子终端能够协同工作，以保证日志解析的效率。为了应对大数据处理的数据，本申请提供的一种日志解析方法，具有分布式处理的能力。

参见图1，为本申请提供的一种日志解析的方法流程图。如图1所示，该方法包括：

101、加载配置文件。

配置文件包括至少一种日志类型的正则表达式和正则映射机制。正则表达式，是编译好的正则对象。正则映射机制，与正则表达式相对应。配置文件中的正则表达式与日志类型是一一对应的，正则映射机制与日志类型也是一一对应的。配置文件可采用xml格式。

由于本申请中日志类型与解析方法是一一对应的，在加载配置文件之前，该方法还包括：接收日志流；根据预置规则，判断日志流的日志类型。由此配置文件中包括的正则表达式和正则映射机制所属日志类型，可以包括所有的日志类型，也可以只包括接收到的日志流对应的日志类型，在本申请实施例中对日志类型的种类和数量不做限定。日志流中各个日志类型的日志数量不完全相同，为了平衡各个日志类型对应的日志流的解析速度，提高解析性能，还可以设置各个日志类型的处理器数量。处理器数量，是通过设置线程数量的方式实现的。

102、从配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。每个日志类型对应的正则表达式的数量至少为一个。正则映射机制，是正则表达式进行转换的规则，包括不转换、逆序和乱序等等。正则映射机制中具体规则，可默认选取不转换规则。

由于配置文件中包括至少一种日志类型的正则表达式和正则映射机制，所以本申请中的第一正则表达式，第一正则映射机制中的“第一”指代与本申请中日志流的日志类型相对应。

103、根据第一正则映射机制，建立解析对象。

解析对象，用于保存日志解析的结果，可以选取POJO类为解析对象的类型。根据正则表达式和正则映射机制，配置解析对象的字段，建立空的解析对象。

104、判断日志流与第一正则表达式是否匹配。

根据第一正则表达式，对日志流进行正则查询，判断日志流与第一正则表达式是否匹配。

105、如果日志流与第一正则表达式匹配，则截取日志流中的匹配结果。

匹配结果，是指日志流中与第一正则表达式相匹配的部分。截取匹配结果，以备后续处理。如果日志流与第一正则表达式不匹配，则标记该日志流已经完成过滤。以避免重复过滤文件，造成资源浪费，降低解析效率。

106、将匹配结果填充至解析对象。

解析对象用于存储日志流中与第一正则表达式匹配的部分，也就是日志解析结果。将步骤105所述的方法中截取的解析结果填充至解析对象。

本申请提供的一种日志解析的方法，通过加载配置文件，然后从配置文件中获取加载文件中与日志流的日志类型对应的第一正则映射机制和第一正则表达式，再根据第一正则映射机制建立解析对象，再判断日志流与第一正则表达式是否匹配，如果匹配则截取日志流中的匹配结果，最后将匹配结果填充至解析对象。与现有技术相比，本申请在解析日志之前，通过配置文件携带正则表达式，提前保存编译好的正则表达式，每次解析日志不用重新编译，大大提高解析效率。根据不同的日志类型，获取不同的正则映射机制和正则表达式，便于管理多种日志解析，可以方便的处理启用禁用某种日志的解析。将匹配结果填充至解析对象，也就是统一日志解析结果的格式，便于对日志解析结果统一处理。

参见图2，为本申请提供的一种加载配置文件的方法流程图。在图1所示方法的基础上，如图2所示，加载配置文件，包括：

201、提取正则表达式对应的正则命名字段。

正则命名字段的数量至少为一个。

202、将正则表达式和正则命名字段，保存在全局配置对象中。

将正则表达式和正则命名字段，保存在全局配置对象中，能够保证调用配置文件的调用效率，属于纯内存调用，减少配置文件读取和编译消耗。

参见图3，为本申请提供的一种判断日志流与第一正则表达式是否匹配的方法流程图。在图2所示方法的基础上，如图3所示，判断日志流与第一正则表达式是否匹配，包括：

301、查找日志流是否包括正则命名字段。

302、如果日志流包括正则命名字段，则确定日志流与第一正则表达式匹配。

303、如果日志流不包括正则命名字段，则确定日志流与第一正则表达式不匹配。

以正则命名字段为依据，判断日志流与第一正则表达式是否匹配，能够保证日志流的解析结果的有效性。

参见图4，为本申请提供的一种将匹配结果填充至解析对象的方法流程图。在图3所示方法的基础上，如图4所示，将匹配结果填充至解析对象，包括：

401、获取解析对象的字段列表。

字段列表是在建立解析对象时生成的，是在第一正则表达式的基础上依据第一正则映射机制生成的。字段列表，可能隐含在解析对象中，也可能已经生字段列表文件。在本申请实施例中，依据字段列表的当前状态，选取适当的获取方法。

402、查找匹配结果所属的正则命名字段。

403、在字段列表中，查找与正则命名字段对应的数据填充位置。

数据填充位置，是指该匹配结果在解析对象中的填充位置。根据硬件的存储特别，正则命名字段与数据填充位置可以相邻，也可以不相邻，在本申请实施例中对正则命名字段与数据填充位置的物理存储关系不做限定。

404、在解析对象的数据填充位置填充匹配结果。

将匹配结果填充到解析对象中的数据填充位置。

将日志解析结果，也就是匹配结果，统一填充至解析对象，以便对日志解析结果的统一处理。

参见图5，为本申请提供的另一种日志解析的方法流程图。在图1所示方法的基础上，如图5所示，将匹配结果填充至解析对象之后，方法还包括：

501、根据预置处理函数，处理解析对象。

预置处理函数，包括关联、翻译、格式转换、保存和写入文本等等。对日志解析结果进行统一处理。

参见图6，为本申请提供的一种日志解析的装置组成框图；参见图7，为本申请提供的一种加载单元的组成框图；参见图8，为本申请提供的一种判断单元的组成框图；参见图9，为本申请提供的一种填充单元的组成框图；参见图10，为本申请提供的另一种日志解析的装置组成框图。作为图1所示方法的具体实现，如图6所示，该装置包括：

加载单元61，用于加载配置文件，配置文件包括至少一种日志类型的正则表达式和正则映射机制；

获取单元62，用于从配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；

建立单元63，用于根据第一正则映射机制，建立解析对象；

判断单元64，用于判断日志流与第一正则表达式是否匹配；

截取单元65，用于如果日志流与第一正则表达式匹配，则截取日志流中的匹配结果；

填充单元66，用于将匹配结果填充至解析对象。

进一步地，如图7所示，加载单元61，包括：

提取模块611，用于提取正则表达式对应的正则命名字段，正则命名字段的数量至少为一个；

保存模块612，用于将正则表达式和正则命名字段，保存在全局配置对象中。

进一步地，如图8所示，判断单元64，包括：

查找模块641，用于查找日志流是否包括正则命名字段；

确定模块642，用于如果日志流包括正则命名字段，则确定日志流与第一正则表达式匹配；

确定模块642，用于如果日志流不包括正则命名字段，则确定日志流与第一正则表达式不匹配。

进一步地，如图9所示，填充单元66，包括：

获取模块661，用于获取解析对象的字段列表；

查找模块662，用于查找匹配结果所属的正则命名字段；

查找模块662，还用于在字段列表中，查找与正则命名字段对应的数据填充位置；

填充模块663，用于在解析对象的数据填充位置填充匹配结果。

进一步地，如图10所示，该装置还包括：

处理单元67，用于将匹配结果填充至解析对象之后，根据预置处理函数，处理解析对象。

本申请提供的一种日志解析的装置，通过加载配置文件，然后从配置文件中，获取加载文件中与日志流的日志类型对应的第一正则映射机制和第一正则表达式，再根据第一正则映射机制建立解析对象，再判断日志流与第一正则表达式是否匹配，如果匹配则截取日志流中的匹配结果，最后将匹配结果填充至解析对象。与现有技术相比，本申请在解析日志之前，通过配置文件携带正则表达式，提前保存编译好的正则表达式，每次解析日志不用重新编译，大大提高解析效率。根据不同的日志类型，获取不同的正则映射机制和正则表达式，便于管理多种日志解析，可以方便的处理启用禁用某种日志的解析。将匹配结果填充至解析对象，也就是统一日志解析结果的格式，便于对日志解析结果统一处理。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的日志解析的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：ROM)或随机存储记忆体(英文：randomaccessmemory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种日志解析的方法，其特征在于，所述方法包括：

加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；

从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；

根据所述第一正则映射机制，建立解析对象；

判断所述日志流与所述第一正则表达式是否匹配；

如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；

将所述匹配结果填充至所述解析对象。

2.如权利要求1所述的方法，其特征在于，所述加载配置文件，包括：

提取所述正则表达式对应的所述正则命名字段，所述正则命名字段的数量至少为一个；

将所述正则表达式和所述正则命名字段，保存在全局配置对象中。

3.如权利要求2所述的方法，其特征在于，所述判断所述日志流与所述第一正则表达式是否匹配，包括：

查找所述日志流是否包括所述正则命名字段；

如果所述日志流包括所述正则命名字段，则确定所述日志流与所述第一正则表达式匹配；

如果所述日志流不包括所述正则命名字段，则确定所述日志流与所述第一正则表达式不匹配。

4.如权利要求3所述的方法，其特征在于，所述将所述匹配结果填充至所述解析对象，包括：

获取所述解析对象的字段列表；

查找所述匹配结果所属的正则命名字段；

在所述字段列表中，查找与所述正则命名字段对应的数据填充位置；

在所述解析对象的所述数据填充位置填充所述匹配结果。

5.如权利要求1所述的方法，其特征在于，所述将所述匹配结果填充至所述解析对象之后，所述方法还包括：

根据预置处理函数，处理所述解析对象。

6.一种日志解析的装置，其特征在于，所述装置包括：

加载单元，用于加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；

获取单元，用于从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；

建立单元，用于根据所述第一正则映射机制，建立解析对象；

判断单元，用于判断所述日志流与所述第一正则表达式是否匹配；

截取单元，用于如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；

填充单元，用于将所述匹配结果填充至所述解析对象。

7.如权利要求6所述的装置，其特征在于，所述加载单元，包括：

提取模块，用于提取所述正则表达式对应的所述正则命名字段，所述正则命名字段的数量至少为一个；

保存模块，用于将所述正则表达式和所述正则命名字段，保存在全局配置对象中。

8.如权利要求7所述的装置，其特征在于，所述判断单元，包括：

查找模块，用于查找所述日志流是否包括所述正则命名字段；

确定模块，用于如果所述日志流包括所述正则命名字段，则确定所述日志流与所述第一正则表达式匹配；

所述确定模块，用于如果所述日志流不包括所述正则命名字段，则确定所述日志流与所述第一正则表达式不匹配。

9.如权利要求8所述的装置，其特征在于，所述填充单元，包括：

获取模块，用于获取所述解析对象的字段列表；

查找模块，用于查找所述匹配结果所属的正则命名字段；

所述查找模块，还用于在所述字段列表中，查找与所述正则命名字段对应的数据填充位置；

填充模块，用于在所述解析对象的所述数据填充位置填充所述匹配结果。

10.如权利要求6所述的装置，其特征在于，所述装置还包括：

处理单元，用于所述将所述匹配结果填充至所述解析对象之后，根据预置处理函数，处理所述解析对象。