CN115048352B - 一种日志字段提取方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种日志字段提取方法、装置、设备和存储介质。根据采集的样本日志构建字段提取模型；根据样本日志构建来源类型文件；提取待提取日志的指定特征，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源；根据目标来源确定目标字段提取模型，并采用目标字段提取模型对待提取日志进行字段提取。通过预先构建字段提取模型和来源类型模型，并根据所述来源类型模型确定出待提取日志的目标来源后，采用与目标来源所匹配的字段提取模型对待提取日志进行字段提取，使日志解析过程更为省时省力，节约人力和机器资源，提升数据处理效率。

Description

一种日志字段提取方法、装置、设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志字段提取方法、装置、设备和存储介质。

背景技术

随着信息技术的飞速发展，人们在各种社会和经济活动中产生大量的格式不尽相同的非结构化数据，将非结构化数据转为结构化数据首先需要将日志中的信息分类提取。通常日志信息以字段为数据单位，将日志信息中的字段及字段值提取并形成统一格式是将日志格式化的重要步骤。

目前在进行日志字段的提取时，通常是通过用户编写提取规则，并采用编写的提取规则进行字段的提取，但是人工编写提取规则比较耗费人力，随着日志格式的不断变换，所编写的日志规则也要不断的进行维护修改，当日志数据格式复杂时，过多的提取规则会极大的消耗资时间和计算机资源。

发明内容

本发明提供了一种日志字段提取方法，以对日志中的字段进行自动提取。

根据本发明的一方面，提供了一种日志字段提取方法，包括: 根据采集的样本日志构建字段提取模型，其中，每个字段提取模型分别对应不同的字段类型；

根据所述样本日志构建来源类型文件，其中，所述来源类型文件中包含来源类型模型，以及各来源类型模型所对应的来源与所述字段提取模型的匹配关系；

提取待提取日志的指定特征，根据所述指定特征从所述来源类型文件中确定目标来源类型模型，以及所述目标来源类型模型所对应的目标来源；

根据所述目标来源确定目标字段提取模型，并采用所述目标字段提取模型对所述待提取日志进行字段提取。

根据本发明的另一方面，提供了一种日志字段自动提取装置,包括：

字段提取模型构建模块，用于根据采集的样本日志构建字段提取模型，其中，每个字段提取模型分别对应不同的字段类型；

来源类型文件构建模块，用于根据所述样本日志构建来源类型文件，其中，所述来源类型文件中包含来源类型模型，以及各来源类型模型所对应的来源与所述字段提取模型的匹配关系；

目标来源确定模块，用于提取待提取日志的指定特征，根据所述指定特征从所述来源类型文件中确定目标来源类型模型，以及所述目标来源类型模型所对应的目标来源；

日志字段提取模块，用于根据所述目标来源确定目标字段提取模型，并采用所述目标字段提取模型对所述待提取日志进行字段提取。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。

本发明实施例的技术方案，通过预先构建字段提取模型和来源类型模型，并根据所述来源类型模型确定出待提取日志的目标来源后，采用与目标来源所匹配的字段提取模型对待提取日志进行字段提取，使日志解析过程更为省时省力，节约人力和机器资源，提升数据处理效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种日志字段提取方法的流程图；

图2是根据本发明实施例二提供的一种日志字段提取方法的流程图；

图3是根据本发明实施例三提供的一种日志字段提取装置的结构示意图；

图4是实现本发明实施例的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种日志字段提取方法的流程图，本实施例可适用于对日志字段进行自动提取的情况，该方法可以由日志字段提取装置来执行，该装置可以采用硬件和/或软件的形式实现。如图1所示，该方法包括：

步骤S101，根据采集的样本日志构建字段提取模型。

可选的，根据采集的样本日志构建字段提取模型，包括：对样本日志进行实体识别，并根据实体识别结果进行字段类型标记，其中，字段类型包括名称、组织、地点、代码或时间；根据字段类型标记结果构建字段提取模型。

具体的说，本实施方式中在采集到样本日志后，会采用自然语言处理中的实体识别算法对各样本日志进行实体识别，确定出各样本中所包含的实体，然后采用少量字段类型标记的监控学习算法，根据所识别出的实体对各样本日志进行字段类型标记，并根据标记为相同字段类型的样本日志构建字段提取模型，因此所构建的每个字段提取模型分别对应不同的字段类型，即每个字段提取模型可以对日志中的一种类型的字段进行提取。本实施方式中的字段类型可以包括名称、组织、地址、代码或时间等，例如，根据包含地址字段类型的样本日志所构建的为地址字段提取模型，根据包含时间字段类型的样本日志所构建的为时间字段提取模型，当然，本实施方式中仅是举例说明，而并不对字段类型的具体形式进行限定。

步骤S102，根据样本日志构建来源类型文件。

可选的，根据样本日志构建来源类型文件，包括：提取采集日志中的指定特征，其中，指定特征包括TF-IDF特征；根据TF-IDF特征生成采集日志的指纹特征，并根据指纹特征构建来源类型模型；确定各来源类型模型所对应的来源，并建立各来源类型模型的来源与字段提取模型的对应关系；根据各来源类型模型和对应关系构建来源类型文件。

具体的说，本实施方式中还会根据所采集的样本构建来源类型模型，并根据所构建的来源类型模型确定来源类型文件。在进行来源类型模型构建时，具体是提取样本日志中的指定特征，指定特征具体可以是TF-IDF特征，并根据TF-IDF特征生成不同样本日志的指纹特征，指纹特征相同的样本日志的来源是相同的，因此可以根据指纹特征构建来源类型模型，并且每个来源类型模型分别对应不同的来源。由于来源相同的日志格式是相同的，因此针对同一来源的日志可以采用相同的提取方式进行字段的提取，从而可以建立来源与字段提取模型的对应关系，例如，样本日志的来源是系统启动时间数据库，则所对应的字段提取模型为时间字段提取模型。当然，本实施方式中仅是举例说明，而并不对来源与字段提取模型的具体对应关系进行限定。

需要说明的是，在创建出个来源类型模型之后，还会将各来源类型模型，以及来源与字段提取模型的对应关系保存到来源类型文件中，并且在来源类型文件中至少包含两个来源类型模型，当然，本实施方式中仅是举例说明，而并不对来源类型文件中所包含的来源类型模型的具体数量进行限定。

步骤S103，提取待提取日志的指定特征，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源。

可选的，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源，包括：根据指定特征从来源类型文件中进行查询获取目标来源类型模型；根据目标来源类型模型确定待提取日志的目标来源。

具体的说，当获取到待提取日志时，会对待提取日志的TF-IDF特征进行提取，并对该TF-IDF特征进行识别确定指纹特征，并具体是根据所获取的指纹特征从来源类型文件中查找到与指纹特征所匹配的目标来源类型模型，由于来源类型文件中的每个来源类型模型分别对应不同的来源，因此可以根据目标来源类型模型确定出待提取日志的目标来源。

可选的，方法还包括：接收配置文件，其中，配置文件中包含来源定义；根据来源定义直接确定待提取日志的目标来源。

可选的，来源定义包括：路径来源定义、名称来源定义或规则来源定义。

需要说明的是，本实施方式中在确定待提取日志的目标来源时，还可以采用待提取日志所对应的配置文件进行确定，在配置文件中包含来源定义，来源定义包括：路径来源定义、名称来源定义或规则来源定义。

例如，配置文件中包含路径来源定义，从而通过路径来源定义可以直接锁定待提取日志的目标来源；配置文件中包含名称来源定义，从而通过名称来源定义可以直接锁定待提取日志的目标来源；在配置文件中包含规则来源定义，从而通过规则来源定义尝试匹配待提取日志的目标来源。而当配置文件以及来源类型文件都无法匹配到目标来源时，可以生成一个新的modle，并存入日志来源配置文件中。当然，本实施方式中仅是举例说明，而并不对待提取日志的目标来源具体确定方式进行限定。

步骤S104，根据目标来源确定目标字段提取模型，并采用目标字段提取模型对待提取日志进行字段提取。

可选的，根据目标来源确定目标字段提取模型，包括：根据来源类型文件确定与目标来源所匹配的字段提取模型；将匹配的字段提取模型作为目标字段提取模型。

具体的说，本实施方式中，在获取到待提取日志的目标来源后，可以根据来源类型文件中的来源与字段提取模型的对应关系，确定目标来源所匹配的目标字段提取模型。

在一个具体实现中，当待提取日志的来源是系统启动时间数据时，则确定待提取日志所对应的目标字段提取模型为时间字段提取模型，并采用时间字段提取模型对待提取日志中的时间字段进行提取。

需要说明的是，本实施方式中当一个来源对应多个字段提取模型时，可以采用多个字段提取模型分别对待提取日志中的不同字段进行提取，本实施方式中并不限定来源与字段提取模型数量的对应关系。

本申请实施方式，通过预先构建字段提取模型和来源类型模型，并根据来源类型模型确定出待提取日志的目标来源后，采用与目标来源所匹配的字段提取模型对待提取日志进行字段提取，使日志解析过程更为省时省力，节约人力和机器资源，提升数据处理效率。

实施例二

图2为本发明实施例二提供的一种日志字段提取方法的流程图，本实施例在实施例一的基础上增加了对字段提取结果进行校验的步骤。如图2所示，该方法包括：

步骤S201，根据采集的样本日志构建字段提取模型。

可选的，根据采集的样本日志构建字段提取模型，包括：对样本日志进行实体识别，并根据实体识别结果进行字段类型标记，其中，字段类型包括名称、组织、地点、代码或时间；根据字段类型标记结果构建字段提取模型。

步骤S202，根据样本日志构建来源类型文件。

可选的，根据样本日志构建来源类型文件，包括：提取采集日志中的指定特征，其中，指定特征包括TF-IDF特征；根据TF-IDF特征生成采集日志的指纹特征，并根据指纹特征构建来源类型模型；确定各来源类型模型所对应的来源，并建立各来源类型模型的来源与字段提取模型的对应关系；根据各来源类型模型和对应关系构建来源类型文件。

步骤S203，提取待提取日志的指定特征，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源。

可选的，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源，包括：根据指定特征从来源类型文件中进行查询获取目标来源类型模型；根据目标来源类型模型确定待提取日志的目标来源。

可选的，方法还包括：接收配置文件，其中，配置文件中包含来源定义；根据来源定义直接确定待提取日志的目标来源。

可选的，来源定义包括：路径来源定义、名称来源定义或规则来源定义。

步骤S204，根据目标来源确定目标字段提取模型，并采用目标字段提取模型对待提取日志进行字段提取。

可选的，根据目标来源确定目标字段提取模型，包括：根据来源类型文件确定与目标来源所匹配的字段提取模型；将匹配的字段提取模型作为目标字段提取模型。

步骤S205，对字段提取结果进行校验。

具体的说，本实施方式中当采用目标字段提取模型对待提取日志进行字段提取之后，会对字段提取结果进行校验，具体是检测所提取的字段是否为空或乱码等异常情况。当出现上述异常情况时，可能是待提取日志的来源确定有无，从而造成目标字段提取模型确定有无，从而造成提取的字段是空；或者所确定的目标字段提取模型软件配置出现故障，从而造成提取的字段出现乱码等。当然，本实施方式中仅是举例说明，而并不对出现异常的具体状况进行限定。其中，在出现上述异常时，会对异常状态进行报警，从而提醒用户及时对当前模型进行检测，从而进一步提高日志字段提取的效率。

需要说明的是，当确定字段提取不准确、无结果或识别准确的情况下，还会根据用户的反馈对字段提取模型进行主动学习，从而进一步对字段提取模型进行优化。

本申请实施方式，通过预先构建字段提取模型和来源类型模型，并根据来源类型模型确定出待提取日志的目标来源后，采用与目标来源所匹配的字段提取模型对待提取日志进行字段提取，使日志解析过程更为省时省力，节约人力和机器资源，提升数据处理效率。其中，在出现上述异常时，会对异常状态进行报警，从而提醒用户及时对当前模型进行检测，从而进一步提高日志字段提取的效率。

实施例三

图3为本发明实施例三提供的一种日志字段提取装置的结构示意图。如图3所示，该装置包括：

字段提取模型构建模块310，用于根据采集的样本日志构建字段提取模型，其中，每个字段提取模型分别对应不同的字段类型；

来源类型文件构建模块320，用于根据样本日志构建来源类型文件，其中，来源类型文件中包含来源类型模型，以及各来源类型模型所对应的来源与字段提取模型的匹配关系；

目标来源确定模块330，用于提取待提取日志的指定特征，根据指定特征从来源类型文件中确定目标来源类型模型，以及目标来源类型模型所对应的目标来源；

日志字段提取模块340，用于根据目标来源确定目标字段提取模型，并采用目标字段提取模型对待提取日志进行字段提取

可选的，字段提取模型构建模块，用于对样本日志进行实体识别，并根据实体识别结果进行字段类型标记，其中，字段类型包括名称、组织、地点、代码或时间；

根据字段类型标记结果构建字段提取模型。

可选的，来源类型文件构建模块，用于提取样本日志中的指定特征，其中，指定特征包括TF-IDF特征；

根据TF-IDF特征生成采集日志的指纹特征，并根据指纹特征构建来源类型模型；

确定各来源类型模型所对应的来源，并建立各来源类型模型的来源与字段提取模型的对应关系；

根据各来源类型模型和对应关系构建来源类型文件。

可选的，目标来源确定模块，用于根据指定特征从来源类型文件中进行查询获取目标来源类型模型；

根据目标来源类型模型确定待提取日志的目标来源。

可选的，日志字段提取模块，用于根据来源类型文件确定与目标来源所匹配的字段提取模型；

将匹配的字段提取模型作为目标字段提取模型。

可选的，目标来源确定模块，还用于接收配置文件，其中，配置文件中包含来源定义；

根据来源定义直接确定待提取日志的目标来源。

可选的，来源定义包括：路径来源定义、名称来源定义或规则来源定义。

本发明实施例所提供的日志字段提取装置可执行本发明任意实施例所提供的日志字段提取方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志字段提取方法。

在一些实施例中，日志字段提取方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志字段提取方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行日志字段提取方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种日志字段提取方法，其特征在于，包括：

根据采集的样本日志构建字段提取模型，其中，每个字段提取模型分别对应不同的字段类型；

根据所述样本日志构建来源类型文件，其中，所述来源类型文件中包含来源类型模型，以及各来源类型模型所对应的来源与所述字段提取模型的匹配关系；

提取待提取日志的指定特征，根据所述指定特征从所述来源类型文件中确定目标来源类型模型，以及所述目标来源类型模型所对应的目标来源；

根据所述目标来源确定目标字段提取模型，并采用所述目标字段提取模型对所述待提取日志进行字段提取；

所述根据所述样本日志构建来源类型文件，包括：提取所述样本日志中的指定特征，其中，所述指定特征包括TF-IDF特征；

根据所述TF-IDF特征生成所述采集日志的指纹特征，并根据所述指纹特征构建所述来源类型模型；

确定各所述来源类型模型所对应的来源，并建立各所述来源类型模型的来源与所述字段提取模型的对应关系；

根据各所述来源类型模型和所述对应关系构建所述来源类型文件。

2.根据权利要求1所述的方法，其特征在于，所述根据采集的样本日志构建字段提取模型，包括：

对所述样本日志进行实体识别，并根据实体识别结果进行字段类型标记，其中，所述字段类型包括名称、组织、地点、代码或时间；

根据字段类型标记结果构建所述字段提取模型。

3.根据权利要求1所述方法，其特征在于，所述根据所述指定特征从所述来源类型文件中确定目标来源类型模型，以及所述目标来源类型模型所对应的目标来源，包括：

根据所述指定特征从所述来源类型文件中进行查询获取所述目标来源类型模型；

根据所述目标来源类型模型确定所述待提取日志的所述目标来源。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标来源确定目标字段提取模型，包括：

根据所述来源类型文件确定与所述目标来源所匹配的字段提取模型；

将所述匹配的字段提取模型作为所述目标字段提取模型。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收配置文件，其中，所述配置文件中包含来源定义；

根据所述来源定义直接确定所述待提取日志的目标来源。

6.根据权利要求5所述的方法，其特征在于，所述来源定义包括：路径来源定义、名称来源定义或规则来源定义。

7.一种日志字段自动提取装置，其特征在于，包括：

字段提取模型构建模块，用于根据采集的样本日志构建字段提取模型，其中，每个字段提取模型分别对应不同的字段类型；

来源类型文件构建模块，用于根据所述样本日志构建来源类型文件，其中，所述来源类型文件中包含来源类型模型，以及各来源类型模型所对应的来源与所述字段提取模型的匹配关系；

目标来源确定模块，用于提取待提取日志的指定特征，根据所述指定特征从所述来源类型文件中确定目标来源类型模型，以及所述目标来源类型模型所对应的目标来源；

日志字段提取模块，用于根据所述目标来源确定目标字段提取模型，并采用所述目标字段提取模型对所述待提取日志进行字段提取；

所述来源类型文件构建模块，用于提取所述样本日志中的指定特征，其中，所述指定特征包括TF-IDF特征；

根据所述TF-IDF特征生成所述采集日志的指纹特征，并根据所述指纹特征构建所述来源类型模型；

确定各所述来源类型模型所对应的来源，并建立各所述来源类型模型的来源与所述字段提取模型的对应关系；

根据各所述来源类型模型和所述对应关系构建所述来源类型文件。

8.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的方法。

Images