CN117112780B - 一种基于文本摘要模型的非结构化日志解析方法及装置 - Google Patents

Abstract

本发明提供一种基于文本摘要模型的非结构化日志解析方法，包括：获取待解析的非结构化原始日志数据；运用日志模式解析算法生成原始日志数据的模板；根据已有的日志摘要库，筛选未有摘要的日志模板；根据筛选的未有摘要的日志模板，筛选出未有摘要的代表日志；将代表日志输入自然语言文本摘要模型，得到代表日志的摘要；根据代表日志的摘要，对应生成原始日志的摘要。

Description

一种基于文本摘要模型的非结构化日志解析方法及装置

技术领域

本发明涉及计算机数据技术领域，具体涉及一种基于文本摘要模型的非结构化日志解析方法及装置。

背景技术

日志是计算机系统、网络设备和应用程序中生成的记录事件、状态和活动的记录。它们被用于跟踪系统的运行情况、故障排除、性能监控、异常检测和安全审计等目的。日志摘要是对日志数据进行概括和提炼，从而提取关键信息的过程。日志摘要能够简化日志数据、减少冗余和噪声，突出日志中的关键内容，帮助用户更快地理解和分析日志信息。

当前已发展出多种日志摘要的方法，主流的方法有三种：第一，人工给定日志正则及对应事件，此时事件即可表示日志摘要，这种方法是由专业人员手动给定规则，提取出的日志信息较为准确，但是随着时代发展，新型设备产生的日志无法适应之前的规则，需要重新进行给定，操作起来耗时耗力；第二，基于聚类的日志摘要方法，该方法可将相似的日志文本聚集到一起，为每个簇生成摘要信息，但是聚类分析方法对于簇的数量和聚类算法的选择较为敏感，当数据集较大或簇加多时，计算复杂度可能较高；第三，基于机器学习的日志摘要方法可以通过训练模型来自动学习并给出摘要，能有效减少人工规则编写的工作量，但需要大量训练数据及模型的训练与优化，其对于复杂的日志结构可能表现不佳。

现有的日志格式多种多样，各种设备产生的日志没有固定的格式，逐个编写规则耗时耗力，而且给定的解析规则无法涵盖所有类型的日志，因而需要寻找一种通用的日志解析方法来解析日志。

发明内容

鉴于上述技术问题，为了克服上述现有技术的不足，本发明提出了一种较为通用的非结构化日志解析方法、装置及存储介质，能够快速给定日志摘要，提升日志解析效率。

第一方面，本发明提供一种基于文本摘要模型的非结构化日志摘要解析方法，包括：

获取待解析的非结构化原始日志数据；

运用日志模式解析算法生成原始日志数据的日志模板；

根据已有的日志摘要库，筛选出未有摘要的日志模板；

根据筛选的未有摘要的日志模板，筛选出未有摘要的代表日志；

将代表日志输入文本摘要模型，得到代表日志的摘要；

根据代表日志的摘要，对应生成原始日志的摘要。

获取待解析的原始日志数据，包括：针对监控设备，包括主机设备、安全设备、网络设备、数据库、中间件，开启日志采集；将采集到的日志存入数据库。

进一步地，在所述获取日志模板之前，建立日志摘要库，包括模板编码、日志模板、中文摘要，其为一一对应关系。

进一步地，将原始日志按照入库时间顺序输入日志模式解析算法中，生成日志的模板。

进一步地，将新生成的日志模板与日志摘要库中的模板对比，包括：

将该条模板与日志摘要库中的模板逐个对比，得到对比结果。

根据对比结果获取该条日志的摘要，包括：

若该模板已存在所述的日志摘要库中，则无需进行后续操作，直接将该模板对应的摘要作为该条日志的摘要；

若该模板未出现在所述的日志摘要库中，将该条日志存储至待处理日志库中。

在上述实现过程中，能够达到日志初筛的目的，一是针对已有摘要的日志，无需进行冗余处理；二是针对未有摘要的日志，减少后续操作，即输入文本摘要模型的数据量。

进一步地，在输入文本摘要模型前，所述方法包括：

将未获取到摘要的日志存入待处理日志库；

从待处理日志库中选择代表日志，存入代表日志库。

在上述实现过程中，该方法可以在输入文本摘要模型前，对日志进行筛选，从而提升文本摘要模型的运行效率，避免资源浪费。

进一步地，文本摘要模型为Pegasus模型。

进一步地，文本摘要模型在训练中采用Rouge-L评价模型的效果，Rouge-L的计算方式如下：

其中，表示标准答案，/>表示生产答案，/>表示/>的长度，/>表示/>的长度，表示/>和/>的最长公共子序列，/>为超参数。

进一步地，将代表日志输入文本摘要模型，包括：

生成日志数据的英文摘要；

将英文摘要输入至翻译模型，生成日志数据的中文摘要。

进一步地，将新生成的中文摘要存入日志摘要库，包括：

根据代表日志，对应日志模板，为新生成中文摘要的日志模板编码；

将编码、日志模板与新生成的中文摘要存入日志摘要库。

进一步地，更新已处理日志库的数据，包括：

对比待处理日志的模板与新生成摘要的模板，从而得到全部待处理日志的中文摘要；

将原始日志与新生成的中文摘要存入已处理日志库。

进一步地，删除待处理日志库中已生成中文摘要的原始日志。

在上述实现过程中，将数据及时存入库中，保证后续实时更新解析规则，从而提升解析效率。

第二方面，本发明实施例提供一种日志摘要装置，包括：

获取模块，用于从监控设备获取待处理的原始日志数据；

第一筛选模块，用于筛选未有摘要的原始日志，包括：摘要模块和对比模块。摘要模块，用于生成原始日志的模板；对比模块，根据日志摘要库，对比已有的日志模板与新生成的待处理日志的模板，得到部分日志的摘要，同时筛选出未有摘要的原始日志。

第二筛选模块，用于去重待处理的原始日志，即从原始日志中选择出代表日志。

摘要模块，用于生成代表日志的摘要，包括：第一摘要模块、第二摘要模块、对应模块。第一摘要模块，用于生成代表日志的英文摘要；第二摘要模块，用于根据英文摘要翻译，生成代表日志的中文摘要；对应模块根据代表日志的摘要对应原始日志的摘要。

对应模块，根据代表日志的摘要，对应生成原始日志的摘要。

第三方面，本发明实施例提供一种电子设备，包括存储器及处理器。所述存储器用于存储可被处理器执行的计算机程序指令，所述处理器执行计算机程序时实现本发明实施例提供的日志解析方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，所述计算机程序指令被计算机运行时，所述计算机执行上述日志解析方法执行的步骤。

本发明实施例的有益效果如下：

本发明实施例利用文本摘要模型生成日志摘要，但直接将日志输入模型，解析效率较慢，因而本发明实例首先对原始日志进行预处理，利用日志模式解析方法生成原始日志的模板，使得原始日志得到初步筛选，从而有效地减小后续日志解析的数据量，提高日志解析效率，降低性能消耗；进而利用文本摘要模型对待解析的日志数据进行二次解析，有效地减少人工操作，降低日志数据解析的难度，提高日志数据解析的精确度。

附图说明

图1为本发明实施例所提供的一种日志解析方法流程示意图；

图2为本发明实施例所提供的一种日志解析装置的组成示意图；

图3为本发明实施例所提供的文本摘要模型的训练示意图；

图4为本发明实施例所提供的电子设备的组成示意图；

图5为本发明实施例所提供的计算机存储介质的组成示意图。

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

为便于理解本发明实施例的技术方案，下面先对本发明所涉及的术语进行简单介绍。

1、日志摘要：摘要是对文本的内容概要，日志摘要是指对日志详细信息的概要，能够提炼出日志表现的用户操作行为或系统状态变化等。给定日志摘要后，当安全服务人员处理问题时，无需一一查看日志，仅需通过摘要选取关键日志查看即可，大大减少日志搜索的工作量。

2、日志模板：通过日志模式解析算法，从原日志中提取的固定语句，能够代表一类日志，但其一般不具有概括日志的作用，仅能对日志进行初步筛选。

3、非结构化日志是指字段可变的日志数据，没有通用的日志格式进行解析，因而运用预定义的规则解析日志较为困难。本发明实施例建立一种文本摘要模型，用于给定非结构化日志的摘要，无需人为给定规则，能够有效地缩短日志解析时间，同时通过多次训练摘要模型，能够大幅度提升日志解析的准确率。

本发明实施例提供了一种基于文本摘要模型的非结构化日志解析方法，该日志解析方法可以应用于计算机、服务器等设备，日志摘要设备同时进行日志摘要模型训练和日志摘要的获取。

下面参考附图描述本发明实施例的日志解析方法和装置。

图1为本发明实施例中的日志解析方法的流程示意图，包含以下步骤：

步骤101，获取待解析的非结构化原始日志数据。

在本发明实施例中，运用日志分析服务器接收到的日志作为原始日志。

具体地，服务器上部署有日志分析系统，日志分析系统的监控设备（主机设备、安全设备、网络设备、数据库、中间件）通过安装客户端、配置syslog等向日志分析服务器发送日志，日志分析服务器接收到的日志即为原始日志。原始日志是字段可变的非结构化日志数据，没有通用的日志格式进行解析，因而运用预定义的规则解析日志较为困难。

步骤102，根据日志模式解析算法，生成日志模板。

本发明实施例中，运用日志模式解析算法，生成原始日志的日志模板。

具体地，应用Drain算法生成日志模板，经过Drain算法，获取日志模板及相同模板对应的原始日志id集合。表1展示了原始日志及其生成的日志模板，可以看出，日志模板能够精简原始日志，但不能概括原始日志展现的动作或事件，仅能起到初步筛选的作用；

步骤103，根据日志摘要库，对比步骤102中的日志模板，看日志摘要库中是否存在该模板及其日志摘要。

在本发明实例中，对比待处理日志经过步骤102生成的模板与日志摘要库中的模板。若日志摘要库中已存在该模板，则直接获取日志摘要；若不存在，则筛选出未对应摘要的原始日志。

日志摘要库将日志模板与日志摘要一一对应，见表2；

建立日志摘要库有两个优势，第一，可以存储已生成的模板与摘要；第二，当有未解析的日志经过步骤102生成模板后，可以直接对比日志摘要库，若日志摘要库中存在该模板，则无需进行后续操作，即可获取该日志的摘要。

步骤104，筛选出未对应摘要的原始日志。

经过步骤103，对比待处理日志的模板与日志摘要库中的模板，筛选出待处理日志模板未存在于日志摘要库中的日志，进行后续的操作。

步骤105，根据筛选后的原始日志，选择代表日志。

在本发明实例中，经过步骤104筛选后的原始日志，会有相同结构的日志，即日志模板相同，若日志量过大，在后续的日志摘要模型中，将会耗费大量时间，造成资源浪费等，因而需要对这些日志进行二次筛选。

具体地，根据生成的日志模板选择代表日志，即从一个日志模板对应的全部日志中选择一条代表日志，在此采用具有最小id的日志作为代表日志。例如，模板A对应的原始日志id集合为{152，155，156，157，159，162，163，166}，此时选择id=152对应的日志作为代表日志，将选定的代表日志依次存入代表日志库，其中包含日志id、代表日志、日志模板，具体见表3；

步骤106，根据文本摘要模型，生成代表日志的英文摘要。

在本发明实施例中，综合评价后选取Pegasus模型作为文本摘要模型。

具体地，选择Pegasus模型与Bert模型作为文本摘要模型，对比两个模型的效果，选择在日志数据上效果较好的模型作为摘要模型。

综合评价后，选择Pegasus模型作为本发明实施例的摘要模型。

步骤107，根据翻译模型，生成代表日志的中文摘要。

本发明实施例中，原始日志为英文格式，在日志系统中展示日志摘要时，为方便人员查看，应采用中文格式表现，因而需将英文转换为中文。

具体地，选择OPUS-MT作为翻译模型，将日志的英文摘要翻译为中文摘要后输出。

步骤108，将代表日志及其中英文摘要存入日志摘要库。

具体地，根据步骤106与步骤107，生成了代表日志的中英文摘要，此步骤将代表日志的模板及其对应的中英文摘要存入日志摘要库。

步骤109，得到原始日志的摘要。

经过前述步骤，已将最新生成的代表日志的摘要存入数据表，因而重复步骤103，即可获得原始日志的全部摘要，将获得摘要的日志存入已处理日志库，包括原始日志id、日志及中文摘要，具体见表4；

图2为本发明实施例所提供的文本摘要模型的训练示意图。

201为已有的预选模型，202为训练后的摘要模型。

本发明实施例将Bert及Pegasus模型作为预选的文本摘要模型。

由于两个模型均未在日志数据上进行预训练，因而需定义下游任务并微调。将已标注的日志数据输入至文本摘要模型中，采用Rouge-L评价两个模型的效果。

第一，准备数据集，进行微调的数据需要符合对应的数据格式，包含原始日志及人为给定的英文摘要，样例见表5，其中，raw_log表示原始日志，summary表示人工给定的日志摘要；

第二，将准备的数据集输入至文本摘要模型中，开始训练。

第三，观察训练结果，在本发明实施例中，采用Rouge-L作为评价指标。

Rouge-L的计算方式见公式(3)，其中，表示标准答案，即表5中summary，/>表示生产答案，即通过文本摘要模型生成的日志摘要，/>表示/>的长度，/>表示/>的长度，表示/>和/>的最长公共子序列，/>为超参数。

经过第一次微调，得到Pegasus模型的Rouge-L达到0.996，Bert模型的Rouge-L仅为0.692，对比评价结果，选择Pegasus模型作为日志数据的摘要模型；

日志格式多种多样，因而可进行多次训练，保证模型给定结果的准确率较高。

图3为本发明实施例提供的基于文本摘要模型的非结构化日志解析装置功能结构示意图。

获取模块31，用于从系统监控设备中获取待解析的非结构化原始日志。

筛选模块32，筛选原始日志，获取没有摘要的非结构化原始日志。

第一筛选模块321，根据日志摘要库，筛选出未在日志摘要库中对应摘要的原始日志。

生成模块3211，根据日志模式解析方法，生成原始日志的日志模板。

对比模块3212，根据生成模块3211中生成的日志模板，对比日志摘要库中的日志模板。若生成模块3211中生成的日志模板已存在于日志摘要库中，则直接将对应日志及摘要存储在已处理日志库中；若生成模块3211生成的日志模板未存在于日志摘要库中，则将日志及其模板存储于待处理日志库中。

第二筛选模块322，用于筛选原始日志下的代表日志。

摘要模块33，用于生成原始日志的摘要。

第一摘要模块331，用于生成代表日志的英文摘要。

第二摘要模块332，用于生成代表日志的中文摘要。

对应模块333，根据代表日志的摘要，对应生成原始日志的中英文摘要。

图4为本发明实施例提供的电子设备的组成示意图。

该电子设备9，包括：处理器91、通信接口92、存储器93、总线94。总线94用于实现组件的连接通信，通信接口用于与其他节点设备进行信令或数据的通信，存储器93存储有处理器91可执行的机器可读指令。当电子设备9运行时，处理器91与存储器93之间通过总线94通信，机器可读指令被处理器91调用时执行上述解析方法。

其中，处理器91包括一个或多个，它负责执行指令并进行算术、逻辑和控制操作。上述处理器可以是通用处理器，例如中央处理器，也可以是专用处理器，例如图形处理器。

通信接口92是不同组件之间进行通信和数据传输的接口，可以是硬件接口，例如连接器、电缆等，也可以是软件接口，如网络协议。

存储器93用于存储数据和程序，本发明实施例中用于文本摘要模型训练的数据和程序存储在其中。存储器可以为主存储器，即主内存，也可以是辅助存储器，例如硬盘、固态硬盘、U盘等。

总线94用于在各个组件之间传输数据和信号，分为数据总线、地址总线和控制总线。

图5为本发明实施例提供的一种计算机可读存储介质，用于存储计算机程序指令，该存储介质可内嵌于所述电子设备9中，当计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的日志解析方法。

此外，上述附图仅为根据本发明实施例的方法所包括的处理的示意性说明，而不是限制目的。附图中的顺序并不限制这些操作进行的时间顺序，这些操作可以在多个模块中同时或独自执行。而且，可将多个步骤合并为一个步骤执行，或将一个步骤拆解为多个步骤执行。

以上所述，仅为本发明的具体实施方式，并不用于限制本发明的保护范围，对于本熟悉领域的技术人员来说，在本发明的范围内，可以对上述实施例进行变更或修改，这些变更和修改也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于文本摘要模型的非结构化日志解析方法，其特征在于，包括：

S1、获取待解析的非结构化原始日志数据；

S2、运用日志模式解析算法生成原始日志数据的日志模板；

S3、根据已有的日志摘要库，筛选出未有摘要的日志模板；

S4、根据筛选的未有摘要的日志模板，筛选出未有摘要的代表日志；

S5、将代表日志输入文本摘要模型，得到代表日志的摘要；

S6、根据代表日志的摘要，对应生成原始日志的摘要。

2.根据权利要求1所述的解析方法，其特征在于，所述S2中，在所述生成日志模板之前，建立日志摘要库，所述日志摘要库包括模板编码、日志模板、中文摘要，其为一一对应关系。

3.根据权利要求1所述的解析方法，其特征在于，所述S2中，将原始日志按照入库时间顺序输入日志模式解析算法中，生成日志模板。

4.根据权利要求1所述的解析方法，其特征在于，所述S3中，将新生成的日志模板与日志摘要库中的日志模板对比，得到对比结果。

5.根据权利要求1所述的解析方法，其特征在于，所述S4中，在输入文本摘要模型前，所述方法包括：将未获取到摘要的日志存入待处理日志库；从待处理日志库中选择代表日志，存入代表日志库。

6.根据权利要求1所述的解析方法，其特征在于，所述S5中，文本摘要模型为Pegasus模型。

7.根据权利要求1所述的解析方法，其特征在于，所述S5中，文本摘要模型在训练中采用Rouge-L评价模型的效果，Rouge-L的计算方式如下：

其中，表示标准答案，/>表示生产答案，/>表示/>的长度，/>表示/>的长度，表示/>和/>的最长公共子序列，/>为超参数。

8.根据权利要求1所述的解析方法，其特征在于，所述S5中，将代表日志输入文本摘要模型，包括：生成日志数据的英文摘要；将英文摘要输入至翻译模型，生成日志数据的中文摘要。

9.一种基于文本摘要模型的日志解析装置，其特征在于，包括：

获取模块，用于获取待解析的非结构化原始日志数据；

第一筛选模块，包括：摘要模块和对比模块；摘要模块，用于生成原始日志的模板；对比模块，用于根据日志摘要库，筛选出未有摘要的日志模板；第二筛选模块，根据筛选的未有摘要的日志模板，筛选出未有摘要的代表日志；

摘要模块，用于将代表日志输入文本摘要模型，得到代表日志的摘要；

对应模块，根据代表日志的摘要，对应生成原始日志的摘要。

10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，所述计算机程序指令被计算机运行时，所述计算机执行如权利要求1-8任一所述的日志解析方法的步骤。