CN109308289A - 一种日志解析模板及基于该模板的日志解析方法 - Google Patents

Abstract

本发明涉及一种日志解析模板及基于该模板的日志解析方法，所述日志解析模板与设备的IP地址之间相互对应，所述日志解析模板用于将不同设备的日志解析为具有相同格式的标准化日志信息；所述日志解析模板包括前置解析模板和主体解析模板；所述前置解析模板为空和版本解析子模板两种中的一种；所述版本解析子模板为：提取日志中包含日志对应的版本的字符，通过提取的字符选择该字符对应的主体解析模板；所述主体解析模板由一种或多种解析子模板组合构成，按照特定顺序使用相应的解析子模板对日志进行解析，将日志解析为具有相同格式的标准化日志信息。本发明可以减少代码工作量、提高工作效率和降低后期的运维成本。

Description

一种日志解析模板及基于该模板的日志解析方法

技术领域

本发明涉及网络日志解析技术领域，尤其涉及一种日志解析模板及基于该模板的日志解析方法。

背景技术

随着技术的发展，在监控行业中信息的展示趋向于报表信息展示，因此对于日志源信息需要进行一定的转义编码，形成特定的数据格式供日志报表展示层使用。由于现在的系统相对复杂且体量巨大，一个系统所包含的设备种类较多，因此日志源信息的数据格式也就花样繁多。传统的做法是针对每一种类型的设备，编写一套相应的解析代码，将日志源信息转成展示层能使用的数据格式。当系统较小时，或设备种类较少时，这种方法可以快速的实现日志源信息到标准化信息的转换。

但由于现在系统都相对比较复杂，设备种类较多，传统解析方法存在较多问题。现市面上虽有一些统一的日志解析引擎，但是都需要针对特定的日志格式做一定量的代码开发，并具有下列缺点：

(1)、系统新增加设备类型或者日志源信息新的格式协议时，需要重新编码，维护成本较高。

(2)、系统的设备种类多、日志源格式协议多时，编码复杂工作量巨大。

(3)、当项目上线后，增加了新的设备，运维人员不懂编码的话，需要开发人员参与进去，成本较高。

发明内容

针对上述问题，本发明旨在提供一种日志解析模板及基于该模板的日志解析方法，可以减少代码工作量、提高工作效率和降低后期的运维成本。

具体方案如下：

一种用于设备日志标准化的日志解析模板，所述日志解析模板与设备的IP地址之间相互对应，所述日志解析模板用于将不同设备的日志解析为具有相同格式的标准化日志信息。

每个设备的日志均对应一参数对应表，所述参数对应表中包括参数的名称、参数的含义和参数的内容，所述日志包括参数的名称和参数的内容两者中的一者或全部。

所述日志解析模板包括前置解析模板和主体解析模板。

所述前置解析模板为空和版本解析子模板两种中的一种；当设备的日志只有一种内容格式时，设置其前置解析模板为空，当设备的日志有大于一种内容格式时，设置其前置解析模板为版本解析子模板。

所述空为不进行解析；所述版本解析子模板为：提取日志中包含日志对应的版本的字符，通过提取的字符选择该字符对应的主体解析模板。

所述主体解析模板由一种或多种解析子模板组合构成，按照特定顺序使用相应的解析子模板对日志进行解析，将日志解析为具有相同格式的标准化日志信息。

进一步的，所述版本解析子模板为正则表达式解析子模板，通过设置正则表达式，提取日志中参数的含义为版本的参数对应的内容。

进一步的，所述解析子模板为正则表达式解析子模板、键-值数据格式解析子模板、参数拆分解析子模板、参数名称标准化解析子模板、数据格式标准化解析子模板或时间数据标准化解析子模板，具体设定为：

(1)、正则表达式解析子模板：提取日志中参数的含义为版本的参数对应的内容；

(2)、键-值数据格式解析子模板：

设定日志中参数的名称为键，参数的内容为值；

定义日志中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、当值或键-值数据内部包含分隔符时使用的外包含符号和当值或键-值数据包含多个分隔符时使用的外包含符号；

定义解析结果中：不同键-值数据之间的分隔符号和键-值数据中键和值之间的分隔符号；

所述键-值数据格式解析子模板为：根据上述定义，将日志转化为解析结果中的键-值数据格式；

(3)、参数拆分解析子模板：

定义日志信息中：不同参数之间的分隔符号、当参数内部包含分隔符时使用的外包含符号、当参数包含多个分隔符时使用的外包含符号和不同参数对应的参数的名称，所述参数名称为该设备在参数对应表中设置的参数的名称；

定义解析结果中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、键为参数的名称、值为参数的内容；

所述参数拆分解析子模板为：根据上述定义，将日志转化为解析结果中的键-值数据格式；

(4)、参数名称标准化解析子模板：将日志中每个参数的参数名称均修改为与该参数名称的参数含义相同的标准参数名称；

(5)、数据格式标准化解析子模板：将日志中的数据的格式转化为特定格式；

(6)、时间数据标准化解析子模板：将日志中的时间数据转化为标准格式。

进一步的，所述标准化日志信息的格式为JS对象简谱格式。

一种日志解析方法，基于本发明实施例所述的日志解析模板，包括以下步骤：

S100：根据设备的IP地址，选择该设备对应的日志解析模板；

S200：判断所述日志解析模板中前置解析模板的内容是否为空，如果是，则使用日志解析模板中的主体解析模板进行日志解析，进入S400，否则，进入S300；

S300：首先，根据版本解析子模板对日志进行解析，得到该日志对应的主体解析模板，然后，根据得到的主体解析模板进行日志解析，进入S400；

S400：输出解析后的标准化日志信息。

本发明采用如上技术方案，并具有有益效果：

(1)、只需要编写几个日志解析子模板，然后将所述日志解析子模板进行互相组合，即可组成每个设备对应的日志解析模板，而不需要为每个设备单独制定解析模板，减少了代码的工作量。

(2)、当系统添加新的设备后，只需通过现有日志解析子模板的组合，即可形成新设备的日志解析模板，提高了人员的工作效率，避免了重复工作。

(3)、运维人员仅需根据设备对应的IP地址，即可选取对应的日志解析模板，完成日志解析工作，使用方便，可以大大的降低后期的运维成本，以及减少因系统变动而引入的问题。

附图说明

图1所示为本发明实施例一的流程示意图。

图2所示为该实施例中所述设备的参数对应表。

图3所示为该实施例的解析结果。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一

参考图1～3所示，本发明实施例一提供了一种用于设备日志标准化的日志解析模板。

每个设备的使用过程中均会生成一个日志，并且该设备的厂商会提供一个与该日志对应的参数对应表。

例1：日志信息为：

192.168.179.1--[02/Jul/2018:18:24:17+0800]"GET/static/image/common/forum.gif HTTP/1.1"304 0"http://192.168.179.142/forum.php""Mozilla/5.0(Windows NT 6.1；Win64；x64；rv:60.0)Gecko/20100101Firefox/60.0"

例1的参数对应表如图2所示。

例2：devid＝0date＝"2017/09/12 12:02:47"dname＝bangong logtype＝9pri＝5mod＝logserver act＝set ip＝10.0.5.56port＝514protocol＝udp result＝0fwlog＝0

每个设备的日志均对应一参数对应表，所述参数对应表中包括参数的名称、参数的含义和参数的内容，所述日志包括参数的名称和参数的内容两者中的一者或全部，如上述例1中，日志只包括参数的内容，例2中，日志包括参数的名称和参数的内容。

由于每个日志中均包括设备的IP地址，如例1中的“192.168.179.1”，例2中的“10.0.5.56”，因此通过日志中得IP地址，可以对设备的日志进行识别，因此，所述日志解析模板与设备的IP地址之间相互对应，即与设备之间相互对应，所述日志解析模板用于将不同设备的日志解析为具有相同格式的标准化日志信息。

该实施例中，设置标准化日志信息为JS对象简谱格式的日志信息，如图3所示，本领域技术人员也可以使用其他现有格式或自定义格式的日志信息。

所述JS对象简谱(JavaScript Object Notation，JSON)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

该实施例中，所述标准化日志信息为多个键-值关系的参数，所述键-值关系的参数中，所述键的内容为用户定义，所述值的内容为用户从日志信息中提取，所述键的内容为值的内容所对应的含义。

每个设备的日志信息中均包含一种或多种内容格式，之所以会包含多种内容格式是因为该设备可能进行版本更新，当使用其不同的版本时，其对应的日志信息中的内容格式则可能不同，由于每个设备对应唯一的IP，因此，可以根据日志信息中得IP信息来进行设备区分，为了区分设备可能存在的不同内容格式的日志信息，该实施例中，所述日志解析模板包括前置解析模板和主体解析模板。

有的厂商的同一个设备会产生多种格式的日志数据，针对不同的日志数据需要编写多种解析规则。具体的一条日志需要用那种解析规则去处理，我们通过前置解析模板来确定。

所述前置解析模板为空和版本解析子模板两种中的一种。当设备的日志只有一种内容格式时，设定其日志解析模板中的前置解析模板为空；当设备的日志有大于一种内容格式时，此时，该设备的日志中包含版本对应的字符，设定其日志解析模板中的前置解析模板为版本解析子模板。

所述空为不进行解析。

所述版本解析子模板为：提取日志中包含日志对应的版本的字符，通过提取的字符选择该字符对应的主体解析模板。

该实施例中，所述版本解析子模板为正则表达式解析子模板，通过设置正则表达式，日志中参数的含义为版本的参数对应的内容，通过提取的内容选择该其对应的主体解析模板。

该实施例中，将日志中得字符串转换成JSON格式，其中JSON格式中得key值为正则表达式中group的值。

示例：

如上述示例为某厂商的设备产生的两条日志信息，对应的解析规则为上面的规则1和规则2，通过设置的版本解析子模板，提取处参数的内容为版本的参数对应的内容，通过该内容来匹配对应的主体解析模板，如原始日志1会使用规则1去解析，原始日志2会使用规则2去解析。

通过上述前置解析模板可得，当设备只有一个版本时，其对应的只有一种日志的内容格式，因此，对应的主体解析模板只有一种，当设备有至少一个版本时，其对应的有多种日志的内容格式，因此，对应的主体解析模板有多种。

主体解析模板：

所述主体解析模板由正则表达式解析子模板、键-值数据格式解析子模板、参数拆分解析子模板、参数名称标准化解析子模板、数据格式标准化解析子模板或时间数据标准化解析子模板等多种解析模板之间任意一种或多种解析子模板组合构成，按照特定顺序使用相应的解析子模板对日志进行解析，将日志解析为具有相同格式的标准化日志信息。本领域技术人员可以根据需要设定其他格式的解析模板。

所述特定顺序是指所述解析子模板的使用顺序是固定的，例如具体实施例中某一日志依序使用正则表达式解析子模板、参数拆分解析子模板、参数名称标准化解析子模板、数据格式标准化解析子模板和时间数据标准化解析子模板来进行解析。

下面对各解析子模板进行具体的介绍。

(1)、正则表达式解析子模板：

提取日志中参数的含义为版本的参数对应的内容。

示例：

通过上述示例可以得出，通过正则表达式：

{regex:"^(？<remarkType>[A-Za-z0-9\\-]+|[A-Za-z0-9\\-\\s\\(\\)]+)[\\s\\:]+(？<net Info>[\\s\\S]+)$"}

从日志中提取出参数的含义为版本的参数对应的内容为："fwevent2-report"。

(2)、键-值数据格式解析子模板：

设定日志中参数的名称为键，参数的内容为值。

定义日志信息中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、当值或键-值数据内部包含分隔符时使用的外包含符号和当值或键-值数据包含多个分隔符时使用的外包含符号。

定义解析结果中：不同键-值数据之间的分隔符号和键-值数据中键和值之间的分隔符号。

所述键-值数据格式解析子模板为：根据上述定义，将日志信息转化为解析结果中的键-值数据格式。

示例：

(3)、参数拆分解析子模板：

定义日志信息中：不同参数之间的分隔符号、当参数内部包含分隔符时使用的外包含符号、当参数包含多个分隔符时使用的外包含符号和不同参数对应的参数的名称，所述参数名称为该设备在参数对应表中设置的参数的名称。

定义解析结果中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、键为参数的名称、值为参数的内容。

所述参数拆分解析子模板为：根据上述定义，将日志信息转化为解析结果中的键-值数据格式。

示例：

(4)、参数名称标准化解析子模板：将日志中每个参数的参数名称均修改为与该参数名称的参数含义相同的标准参数名称，即修改前的参数名称与修改后的标准参数名称的参数含义相同。

具体可以为建立标准参数名称对应表，该标准参数名称对应表中每个标准参数名称与可能出现的与其参数含义相同的参数名称均对应。

(5)、数据格式标准化解析子模板：将日志中的数据的格式转化为特定格式，所述特定格式可以为int、double、float、long等格式，用于保存的时候不会报错，本领域技术人员可以根据需求设定特定格式的类型，如端口的日志信息中数据要转成int格式保存。

(6)、时间数据标准化解析子模板：将日志中的时间数据转化为标准格式，所述标准格式的具体类型本领域技术人员可以根据需求设定，如{format:"MMM dd HH:mm:ss:SSSyyyy"}。

该实施例中，工作人员将只需要编写几个日志解析子模板，然后将所述日志解析子模板进行互相组合，即可组成每个设备对应的日志解析模板，而不需要为每个设备单独制定解析模板，减少了代码的工作量。并且，当系统添加新的设备后，只需通过现有日志解析子模板的组合，即可形成新设备的日志解析模板，提高了人员的工作效率，避免了重复工作。

实施例二：

本发明实施例二提供了一种日志解析方法，基于实施例一所述的日志解析模板，主要包括以下步骤：

S100：根据设备的IP地址，选择该设备对应的日志解析模板。

S200：判断所述日志解析模板中前置解析模板的内容是否为空，如果是，则使用日志解析模板中的主体解析模板进行日志解析，进入S400，否则，进入S300。

S300：首先，根据版本解析子模板对日志进行解析，得到该日志对应的主体解析模板，然后，根据得到的主体解析模板进行日志解析，进入S400。

S400：输出解析后的标准化日志信息。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种用于设备日志标准化的日志解析模板，其特征在于：所述日志解析模板与设备的IP地址之间相互对应，所述日志解析模板用于将不同设备的日志解析为具有相同格式的标准化日志信息；

每个设备的日志均对应一参数对应表，所述参数对应表中包括参数的名称、参数的含义和参数的内容，所述日志包括参数的名称和参数的内容两者中的一者或全部；

所述日志解析模板包括前置解析模板和主体解析模板；

所述前置解析模板为空和版本解析子模板两种中的一种；当设备的日志只有一种内容格式时，设置其前置解析模板为空，当设备的日志有大于一种内容格式时，设置其前置解析模板为版本解析子模板；

所述空为不进行解析；所述版本解析子模板为：提取日志中参数的含义为版本的参数对应的内容，通过提取的内容选择对应的主体解析模板；

所述主体解析模板由一种或多种解析子模板组合构成，按照特定顺序使用相应的解析子模板对日志进行解析，将日志解析为具有相同格式的标准化日志信息。

2.根据权利要求1所述的用于设备日志标准化的日志解析模板，其特征在于：所述版本解析子模板为正则表达式解析子模板，通过设置正则表达式，提取日志中参数的含义为版本的参数对应的内容。

3.根据权利要求1所述的用于设备日志标准化的日志解析模板，其特征在于：所述解析子模板为正则表达式解析子模板、键-值数据格式解析子模板、参数拆分解析子模板、参数名称标准化解析子模板、数据格式标准化解析子模板或时间数据标准化解析子模板，具体设定为：

(1)、正则表达式解析子模板：提取日志中参数的含义为版本的参数对应的内容；

(2)、键-值数据格式解析子模板：

设定日志中参数的名称为键，参数的内容为值；

定义日志中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、当值或键-值数据内部包含分隔符时使用的外包含符号和当值或键-值数据包含多个分隔符时使用的外包含符号；

定义解析结果中：不同键-值数据之间的分隔符号和键-值数据中键和值之间的分隔符号；

所述键-值数据格式解析子模板为：根据上述定义，将日志转化为解析结果中的键-值数据格式；

(3)、参数拆分解析子模板：

定义日志信息中：不同参数之间的分隔符号、当参数内部包含分隔符时使用的外包含符号、当参数包含多个分隔符时使用的外包含符号和不同参数对应的参数的名称，所述参数名称为该设备在参数对应表中设置的参数的名称；

定义解析结果中：不同键-值数据之间的分隔符号、键-值数据中键和值之间的分隔符号、键为参数的名称、值为参数的内容；

所述参数拆分解析子模板为：根据上述定义，将日志转化为解析结果中的键-值数据格式；

(4)、参数名称标准化解析子模板：将日志中每个参数的参数名称均修改为与该参数名称的参数含义相同的标准参数名称；

(5)、数据格式标准化解析子模板：将日志中的数据的格式转化为特定格式；

(6)、时间数据标准化解析子模板：将日志中的时间数据转化为标准格式。

4.根据权利要求1所述的用于设备日志标准化的日志解析模板，其特征在于：所述标准化日志信息的格式为JS对象简谱格式。

5.一种日志解析方法，基于权利要求1～4中任一所述的日志解析模板，其特征在于，包括以下步骤：

S100：根据设备的IP地址，选择该设备对应的日志解析模板；

S200：判断所述日志解析模板中前置解析模板的内容是否为空，如果是，则使用日志解析模板中的主体解析模板进行日志解析，进入S400，否则，进入S300；

S300：首先，根据版本解析子模板对日志进行解析，得到该日志对应的主体解析模板，然后，根据得到的主体解析模板进行日志解析，进入S400；

S400：输出解析后的标准化日志信息。