CN111708860A - 信息提取方法、装置、设备及存储介质 - Google Patents
信息提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111708860A CN111708860A CN202010544848.6A CN202010544848A CN111708860A CN 111708860 A CN111708860 A CN 111708860A CN 202010544848 A CN202010544848 A CN 202010544848A CN 111708860 A CN111708860 A CN 111708860A
- Authority
- CN
- China
- Prior art keywords
- log
- format
- field
- determining
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种信息提取方法、装置、设备及存储介质。该方法包括：获取待字段提取日志；确定与所述待字段提取日志匹配的目标日志格式；针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。上述技术方案，实现了将日志中的字段进行提取并转换为统一的预设格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间，而且无需人工针对每一种具体格式的日志进行解析规则编写，降低了人工成本。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种信息提取方法、装置、设备及存储介质。
背景技术
计算机信息化系统中的数据分为结构化数据和非结构化数据。其中，非结构化数据格式非常多样，标准也是多样性的，很难直接理解和利用。将非结构化数据转化为结构化数据之后，就可以存入搜索引擎、关系型的数据库、非关系型的数据库等系统去做进一步分析，或者存入数据库供商业智能软件分析，也可以实时流式导入到其他系统，或者批处理导入到其他系统等。
将非结构化数据转为结构化数据首先需要将日志中的信息进行分类提取。通常日志信息以字段为数据单位，非结构化数据格式多样，字段的种类及格式也多种多样。目前，字段提取方法往往是针对某一种具体格式的日志采用编写正则表达式、键值对切分、固定分隔符切分等方式进行字段提取处理，例如采用AWK提取命令，其命令语法为awk'{pattern+action}'{filenames}，其中，“pattern”表示AWK在数据中查找的内容，而“action”是在查找匹配内容时所执行的一系列命令，花括号“{}”不需要在程序中始终出现，它们用于根据特定的模式对一系列指令进行分组。然而，在日志数据处理过程中，字段提取规则的编写耗费了大量的人力，且随着日志格式的不断变化，字段提取规则不仅日渐复杂，还需不断进行更新维护。
发明内容
本发明实施例提供一种信息提取方法、装置、设备及存储介质，以对现有技术中的字段提取方法进行优化，减少人力成本。
第一方面，本发明实施例还提供了一种信息提取方法，包括：
获取待字段提取日志；
确定与所述待字段提取日志匹配的目标日志格式；
针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
第二方面，本发明实施例提供了一种信息提取装置，包括：
日志获取模块，设置为获取待字段提取日志；
日志格式确定模块，设置为确定与所述待字段提取日志匹配的目标日志格式；
字段提取模块，设置为针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的信息提取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的信息提取方法。
本发明实施例提供的技术方案，针对待字段提取日志，首先确定与该待字段提取日志匹配的目标日志格式，然后使用通过日志聚类训练确定的与该目标日志格式匹配的字段提取模板对该待字段提取日志进行字段提取，得到符合预设格式的字段名和字段值。上述技术方案，实现了将日志中的字段进行提取并转换为统一的预设格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间，而且无需人工针对每一种具体格式的日志进行解析规则编写，降低了人工成本。
附图说明
图1是本发明实施例一中的一种信息提取方法的流程图；
图2是本发明实施例二中的一种信息提取方法的流程图；
图3是本发明实施例三中的一种信息提取装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种信息提取方法的流程图，可适用于对大量不同格式的日志进行字段提取的情况，该方法可以由本发明实施例提供的信息提取装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。
如图1所示，本实施例提供的信息提取方法，具体包括：
S110、获取待字段提取日志。
待字段提取日志，指的是需要进行字段提取的日志。
S120、确定与待字段提取日志匹配的目标日志格式。
日志格式，指的是日志的编码格式，具体可以是日志中记载的日期、时间、使用者及动作等相关信息的描述形式以及间隔形式等，例如，日志中将什么符号作为不同字段间的分隔标志，比如使用逗号或分号等作为不同字段间的分隔标志。可选的，日志格式中还包括日志的起止符号，也即通过什么符号来标识日志的起止，例如可以通过花括号或双引号等符号来标识。目标日志格式，指的是任意一种日志格式，在本实施例中，目标日志格式是所述待字段提取日志所属的一种日志格式。
可选的，将待字段提取日志与预先保存的多个日志格式去匹配，与待字段提取日志的编码格式匹配成功的一种日志格式即为与待字段提取日志匹配的目标日志格式。
S130、针对待字段提取日志，根据与目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值。
在确定目标日志格式之后，获取与目标日志格式匹配的字段提取模板。其中，字段提取模板是通过日志聚类训练确定的。其中，字段提取模板是与日志格式一一对应的。
以目标日志格式为例进行解释说明，获取与目标日志格式对应的多个日志样本，也即获取同属于与目标日志格式对应的日志聚类中的多个日志样本，使用这些日志样本对机器学习模型进行训练，得到与目标日志格式匹配的字段提取模板。可选的，字段提取模板为与目标日志格式对应的正则表达式、键值对切分规则、固定分隔符中的至少一个。
同时，根据字段提取模板还对应于一种预设格式，具体可以是字段名和字段值的存储格式。在针对待字段提取日志完成字段提取之后，以预设的格式对这些字段进行存储，以便于进行字段查询。
本发明实施例提供的技术方案，针对待字段提取日志，首先确定与该待字段提取日志匹配的目标日志格式，然后使用通过日志聚类训练确定的与该目标日志格式匹配的字段提取模板对该待字段提取日志进行字段提取，得到符合预设格式的字段名和字段值。上述技术方案，实现了将日志中的字段进行提取并转换为统一的预设格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间，而且无需人工针对每一种具体格式的日志进行解析规则编写，降低了人工成本。
作为一种可选的实施方式，字段提取模板包括：参数标注位信息和至少一个正则表达片段。
可选的，正则表达片段用于对待字段提取日志进行解析，匹配字段信息。其中，一种日志格式可以对应与一个或多个正则表达片段，多个正则表达片段结合起来可以替代一个需要人工编写的包含复杂选择的正则表达式。
参数标注位信息用于确定待字段提取日志中符合预设格式的字段的参数信息，参数标注位信息中可以包括标注参数的命名以及参数位等。
其中，与目标日志格式对应的正则表达片段和参数标注位信息为根据与目标日志格式的大量日志样本对机器学习模型进行训练后得到的。
作为一种可选的实施方式，本实施例提供的信息提取方法，在确定与待字段提取日志匹配的目标日志格式之前，还包括：
采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式，并得到与每个日志格式对应的模板日志文本；其中，模板日志文本中包括时间戳、固定文本和可变参数文本；分别针对与每个日志格式对应的各个日志样本，进行预设的参数标注，确定与每个日志格式对应的参数标注位信息；确定与每个模板日志文本分别对应的至少一个正则表达片段，所述正则表达片段由一个可变参数文本以及所述可变参数文本前后位置的固定文本构成。
获取大量的日志样本，采用日志聚类算法对这些日志样本进行聚类处理，得到至少两个日志聚类，每一种日志聚类对应于一个日志格式。
日志聚类算法，指的是适用于对日志进行聚类处理的算法，例如可以是K-means聚类算法，字典树算法，DBSCAN(Density-Based Spatial Clustering of Applicationswith Noise)算法等等。不同聚类算法的优势不同，可以结合实际应用情况选取适合的聚类算法，本实施例对日志聚类算法的类型不作具体限定。
在一示例中，在采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式之后，还包括：根据所述至少一个日志格式构建日志格式树。对应的，可以将确定与待字段提取日志匹配的目标日志格式，具体为：遍历日志格式树，确定与待字段提取日志匹配的目标日志格式。
日志格式树，指的是以树的形式存储各个日志格式，例如以二叉搜索树的形式存储各个日志格式，以便于搜索与待字段提取日志匹配的目标日志格式。
遍历日志格式树，即为以某种方式逐个访问日志格式树上的每个节点，以日志格式树为二叉搜索树为例，遍历方式可以是前序遍历或者中序遍历或者后续遍历，本实施例对此不作具体限定。
在访问日志格式树上的一个节点时，获取与这个节点对应的日志格式，将其与待字段提取日志进行匹配，如果匹配成功，这个日志格式即为与待字段提取日志匹配的目标日志格式，此时无需继续遍历，如果匹配不成功，则继续遍历日志格式树。
在得到各个日志聚类之后，基于训练后的机器学习模型确定与每个日志聚类对应的模板日志文本，也即与每个日志格式对应的模板日志文本。其中，模板日志文本中包含已经被识别出来的时间、固定文本和可变参数部分，在模板日志文本中固定文本和可变参数位置交替出现。在一示例中，固定文本可以由符号单独构成，也可以有文本与符号共同构成。
在得到各个模板日志文本之后，基于训练后的机器学习模型确定与每个模板日志文本对应的一个或多个正则表达片段，其中，正则表达片段由一个可变参数文本以及可变参数文本前后位置的固定文本构成。
以正则表达片段"type":"****"为例，****为可变参数文本，"type":"为可变参数文本前面的固定文本，"为可变参数文本后面的固定文本。
在对日志样本集合进行聚类处理之后，基于训练后的机器学习模型分别针对与每个日志格式对应的各个日志样本，进行预设的参数标注，确定与每个日志格式对应的参数标注位信息。
可选的，对日志样本进行一些必要参数的标注，例如通过GEO解析(用于解析出日志中IP地址的地理位置)、UserAgent解析(用于分析HTTP日志中User Agent的用户操作系统和浏览器信息)等解析规则对标注的参数进行解析，以此确定与目标格式对应的参数标注位信息，并对标注的参数进行命名。
在得到与各个日志格式对应的参数标注位信息后将其进行存储，以便对待字段提取日志进行字段提取，并得到符合统一的预设格式的字段名和字段值。
在上述技术方案的基础上，在采用日志聚类算法对日志样本集合进行聚类处理之前，还包括：确定日志样本集合的每个日志样本中符合预设数据种类的目标参数；使用与每个预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换。
预设数据种类，指的是会大量出现在不同日志格式中的信息，例如IP地址，用户ID，协议等。
可选的，在日志聚类训练的预处理阶段，引入一些预设数据种类以及与每个预设数据种类分别对应的预设替代字符，例如，与IP地址对应的预设替代字符为AA，与用户ID对应的预设替代字符为BB，等等。在每个日志样本中查找与这些预设数据种类对应的目标参数，并使用与每个预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换，例如使用字符“AA”将日志样本中的IP地址进行替换，使用字符“BB”将日志样本中的用户ID进行替换。
预设替代字符，作为一类可供锚定的特殊字符，使生成的正则表达片段根据泛化，而且，正则执行效率会因为含有特殊字符而提高效率。
进一步的，在针对待字段提取日志完成字段提取之后，根据预设解析规则确定字段(field)与字段值(value)的分隔符，字段之间的分隔符，得到各个字段与字段值组合。然后，根据与目标日志格式对应的参数标注位信息，提取关键字段，以统一的预设格式对字段与字段值的组合进行存储。
其中，预设格式可以是便于查询或者存储的格式，例如可以是field_name：field_value格式，本实施例对此不作具体限定。
实施例二
图2是本发明实施例二提供的一种信息提取方法的流程图。本实施例在上述技术方案的基础上进行具体化，其中，可以将确定与所述待字段提取日志匹配的目标日志格式，具体为：
在确定不存在与待字段提取日志对应的自定义解析规则时，确定与待字段提取日志匹配的目标日志格式。
进一步的，在确定存在与待字段提取日志对应的自定义解析规则时，根据自定义解析规则对待字段提取日志进行字段提取。
如图2所示，本实施例提供的信息提取方法，具体包括：
S210、获取待字段提取日志。
S220、判断是否存在与待字段提取日志对应的自定义解析规则，若是，则执行S230，若否，则执行S240。
自定义解析规则，指的是由用户手动配置的解析规则。
可选的，根据待字段提取日志头部带有的产生这条日志的应用程序信息(例如可以是应用程序名称App Name)，查找是否存在用户配置的自定义解析规则。
S230、根据自定义解析规则对待字段提取日志进行字段提取，执行S260。
如果存在与待字段提取日志对应的自定义解析规则，则使用该自定义解析规则进行字段提取处理。其中，用户可能配置了多条自定义解析规则，则依次使用这些自定义解析规则进行处理。
S240、遍历日志格式树，确定与待字段提取日志匹配的目标日志格式。
如果不存在自定义解析规则，或者用户配置的自定义解析规则无法与待字段提取日志匹配，则使用日志格式树，确定与待字段提取日志匹配的目标日志格式。
S250、根据与目标日志格式对应的至少一个正则表达片段，对待字段提取日志进行字段提取。
S260、根据预设解析规则确定字段与字段值的分隔符，字段之间的分隔符，得到各个字段与字段值组合。
S270、根据与目标日志格式对应的参数标注位信息，提取关键字段，并以预设格式对字段与字段值的组合进行存储。
其中，预设格式可以是field_name：field_value格式。
进一步的，可以为以预设格式存储的字段与字段值的组合建立索引提供搜索服务，也可以将以预设格式存储的字段与字段值的组合存入数据库提供查询服务。
本实施例提供的技术方案，在获取待字段提取日志之前，需要采用日志聚类算法得到日志格式树，以及与各个日志格式分别对应的参数标注位信息以及至少一个正则表达片段，具体的操作如下：
首先，确定日志样本集合的每个日志样本中符合预设数据种类的目标参数，使用与每个预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换；其次，采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式，构建日志格式树，并得到与每个日志格式对应的模板日志文本，模板日志文本中包括时间戳、固定文本和可变参数文本；再次，分别针对与每个日志格式对应的各个日志样本，进行预设的参数标注，确定与每个日志格式对应的参数标注位信息，同时确定与每个模板日志文本分别对应的至少一个正则表达片段，正则表达片段由一个可变参数文本以及所述可变参数文本前后位置的固定文本构成。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
在上述技术方案中，将日志中的字段提取并转为统一格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间。同时，转化后将可以实时导入或批处理导入其他系统，也可以存入搜索引擎、关系型数据库、非关系型数据库等系统。
实施例三
图3是本发明实施例三提供的一种信息提取装置的结构示意图，可适用于对大量不同格式的日志进行字段提取的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。
如图3所示，该信息提取装置具体包括：日志获取模块310、日志格式确定模块320和字段提取模块330。其中，
日志获取模块310，设置为获取待字段提取日志；
日志格式确定模块320，设置为确定与所述待字段提取日志匹配的目标日志格式；
字段提取模块330，设置为针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
本发明实施例提供的技术方案，针对待字段提取日志，首先确定与该待字段提取日志匹配的目标日志格式，然后使用通过日志聚类训练确定的与该目标日志格式匹配的字段提取模板对该待字段提取日志进行字段提取，得到符合预设格式的字段名和字段值。上述技术方案，实现了将日志中的字段进行提取并转换为统一的预设格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间，而且无需人工针对每一种具体格式的日志进行解析规则编写，降低了人工成本。
可选的，所述字段提取模板包括：参数标注位信息和至少一个正则表达片段；其中，所述正则表达片段用于对所述待字段提取日志进行解析，所述参数标注位信息用于确定所述待字段提取日志中符合预设格式的字段的参数信息。
在一种可选的实施方式中，上述装置还包括：日志聚合模块、参数标注模块和正则表达片段生成模块。其中，
日志聚合模块，设置为在确定与所述待字段提取日志匹配的目标日志格式之前，采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式，并得到与每个日志格式对应的模板日志文本；其中，所述模板日志文本中包括时间戳、固定文本和可变参数文本；
参数标注模块，设置为分别针对与每个日志格式对应的各个日志样本，进行预设的参数标注，确定与每个日志格式对应的参数标注位信息；
正则表达片段生成模块，设置为确定与每个所述模板日志文本分别对应的至少一个正则表达片段，所述正则表达片段由一个可变参数文本以及所述可变参数文本前后位置的固定文本构成。
在另一种可选的实施方式中，上述装置还包括：参数替换模块，设置为在采用日志聚类算法对日志样本集合进行聚类处理之前，确定所述日志样本集合的每个日志样本中符合预设数据种类的目标参数；使用与每个所述预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换。
在又一种可选的实施方式中，上述装置还包括：日志格式树构建模块，设置为在采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式之后，根据所述至少一个日志格式构建日志格式树；
对应的，日志格式确定模块320，具体设置为遍历所述日志格式树，确定与所述待字段提取日志匹配的目标日志格式。
作为一种可选的实施方式，日志格式确定模块320，具体设置为在确定不存在与所述待字段提取日志对应的自定义解析规则时，确定与所述待字段提取日志匹配的目标日志格式。
进一步的，上述装置还包括：自定义解析规则执行模块，设置为在确定存在与所述待字段提取日志对应的自定义解析规则时，根据所述自定义解析规则对所述待字段提取日志进行字段提取。
上述信息提取装置可执行本发明任意实施例所提供的信息提取方法，具备执行的信息提取方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四提供的一种计算机设备的结构示意图。如图4所示，该计算机设备包括处理器410、存储器420、输入装置430和输出装置440；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的信息提取方法对应的程序指令/模块(例如，图3所示的信息提取装置中的日志获取模块310、日志格式确定模块320和字段提取模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述信息提取方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种信息提取方法，包括：
获取待字段提取日志；
确定与所述待字段提取日志匹配的目标日志格式；
针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的信息提取方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述信息提取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种信息提取方法，其特征在于，包括：
获取待字段提取日志；
确定与所述待字段提取日志匹配的目标日志格式；
针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
2.根据权利要求1所述的方法，其特征在于，所述字段提取模板包括：参数标注位信息和至少一个正则表达片段；其中，所述正则表达片段用于对所述待字段提取日志进行解析，所述参数标注位信息用于确定所述待字段提取日志中符合预设格式的字段的参数信息。
3.根据权利要求2所述的方法，其特征在于，在确定与所述待字段提取日志匹配的目标日志格式之前，还包括：
采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式，并得到与每个日志格式对应的模板日志文本；其中，所述模板日志文本中包括时间戳、固定文本和可变参数文本；
分别针对与每个日志格式对应的各个日志样本，进行预设的参数标注，确定与每个日志格式对应的参数标注位信息；
确定与每个所述模板日志文本分别对应的至少一个正则表达片段，所述正则表达片段由一个可变参数文本以及所述可变参数文本前后位置的固定文本构成。
4.根据权利要求3所述的方法，其特征在于，在采用日志聚类算法对日志样本集合进行聚类处理之前，还包括：
确定所述日志样本集合的每个日志样本中符合预设数据种类的目标参数；
使用与每个所述预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换。
5.根据权利要求3所述的方法，其特征在于，在采用日志聚类算法对日志样本集合进行聚类处理，确定至少一个日志格式之后，还包括：
根据所述至少一个日志格式构建日志格式树；
对应的，确定与所述待字段提取日志匹配的目标日志格式，包括：
遍历所述日志格式树，确定与所述待字段提取日志匹配的目标日志格式。
6.根据权利要求1所述的方法，其特征在于，确定与所述待字段提取日志匹配的目标日志格式，包括：
在确定不存在与所述待字段提取日志对应的自定义解析规则时，确定与所述待字段提取日志匹配的目标日志格式。
7.根据权利要求6所述的方法，其特征在于，还包括：
在确定存在与所述待字段提取日志对应的自定义解析规则时，根据所述自定义解析规则对所述待字段提取日志进行字段提取。
8.一种信息提取装置，其特征在于，包括：
日志获取模块，设置为获取待字段提取日志；
日志格式确定模块，设置为确定与所述待字段提取日志匹配的目标日志格式；
字段提取模块，设置为针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010544848.6A CN111708860A (zh) | 2020-06-15 | 2020-06-15 | 信息提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010544848.6A CN111708860A (zh) | 2020-06-15 | 2020-06-15 | 信息提取方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111708860A true CN111708860A (zh) | 2020-09-25 |
Family
ID=72540738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010544848.6A Pending CN111708860A (zh) | 2020-06-15 | 2020-06-15 | 信息提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708860A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286896A (zh) * | 2020-11-19 | 2021-01-29 | 北京百家科技集团有限公司 | 一种日志文件处理方法、装置、计算机设备和存储介质 |
| CN112463933A (zh) * | 2020-12-14 | 2021-03-09 | 清华大学 | 系统日志模板的在线提取方法和装置 |
| CN112685364A (zh) * | 2020-12-24 | 2021-04-20 | 北京浪潮数据技术有限公司 | Flume元数据信息分析提取方法及相关组件 |
| CN112765175A (zh) * | 2021-01-21 | 2021-05-07 | 恒安嘉新（北京）科技股份公司 | 一种接口数据的处理方法、装置、计算机设备及介质 |
| CN113159971A (zh) * | 2021-05-20 | 2021-07-23 | 中国工商银行股份有限公司 | 信息提取方法、装置、电子设备及可读存储介质 |
| CN113434674A (zh) * | 2021-06-25 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据解析方法、装置、电子设备及可读存储介质 |
| CN113553309A (zh) * | 2021-07-28 | 2021-10-26 | 恒安嘉新（北京）科技股份公司 | 一种日志模板的确定方法、装置、电子设备及存储介质 |
| CN113596097A (zh) * | 2021-06-30 | 2021-11-02 | 联想(北京)有限公司 | 一种日志的传输方法及电子设备 |
| CN113609162A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 操作记录的查询方法、装置、服务器及存储介质 |
| CN113641523A (zh) * | 2021-08-05 | 2021-11-12 | 广州虎牙科技有限公司 | 一种日志处理方法及装置 |
| CN113783736A (zh) * | 2021-09-27 | 2021-12-10 | 杭州安恒信息技术股份有限公司 | 一种提取ioc信息的方法及相关装置 |
| CN113784294A (zh) * | 2021-11-12 | 2021-12-10 | 南京信息工程大学 | 一种wifi环境下手机位置信息提取方法 |
| CN114385396A (zh) * | 2021-12-27 | 2022-04-22 | 华青融天(北京)软件股份有限公司 | 一种日志解析方法、装置、设备及介质 |
| CN114785604A (zh) * | 2022-04-28 | 2022-07-22 | 北京安博通金安科技有限公司 | 一种动态日志解析方法、装置、设备及存储介质 |
| CN114818643A (zh) * | 2022-06-21 | 2022-07-29 | 北京必示科技有限公司 | 一种保留特定业务信息的日志模板提取方法 |
| CN115048352A (zh) * | 2022-08-12 | 2022-09-13 | 北京优特捷信息技术有限公司 | 一种日志字段提取方法、装置、设备和存储介质 |
| CN115329748A (zh) * | 2022-10-14 | 2022-11-11 | 北京优特捷信息技术有限公司 | 一种日志解析方法、装置、设备及存储介质 |
| CN115334039A (zh) * | 2022-08-09 | 2022-11-11 | 北京天融信网络安全技术有限公司 | 一种基于人工智能模型的特征构建方法及装置 |
| CN115543950A (zh) * | 2022-09-29 | 2022-12-30 | 杭州中电安科现代科技有限公司 | 一种日志范化的数据处理系统 |
| CN115544975A (zh) * | 2022-12-05 | 2022-12-30 | 济南丽阳神州智能科技有限公司 | 一种日志格式转换方法及设备 |
| CN115686853A (zh) * | 2022-11-03 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种日志要素提取方法、装置、设备及存储介质 |
| CN115858884A (zh) * | 2023-02-28 | 2023-03-28 | 天翼云科技有限公司 | 一种日志校验方法、装置和产品 |
| CN116894021A (zh) * | 2023-05-24 | 2023-10-17 | 北京优特捷信息技术有限公司 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
| US20160366159A1 (en) * | 2014-03-19 | 2016-12-15 | Nippon Telegraph And Telephone Corporation | Traffic feature information extraction method, traffic feature information extraction device, and traffic feature information extraction program |
| CN109308289A (zh) * | 2018-09-27 | 2019-02-05 | 厦门服云信息科技有限公司 | 一种日志解析模板及基于该模板的日志解析方法 |
| CN109325009A (zh) * | 2018-09-19 | 2019-02-12 | 亚信科技（成都）有限公司 | 日志解析的方法及装置 |
| US20190324962A1 (en) * | 2015-02-20 | 2019-10-24 | Threatstop, Inc. | Normalization and extraction of log data |
-
2020
- 2020-06-15 CN CN202010544848.6A patent/CN111708860A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160366159A1 (en) * | 2014-03-19 | 2016-12-15 | Nippon Telegraph And Telephone Corporation | Traffic feature information extraction method, traffic feature information extraction device, and traffic feature information extraction program |
| US20190324962A1 (en) * | 2015-02-20 | 2019-10-24 | Threatstop, Inc. | Normalization and extraction of log data |
| CN105049247A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院信息工程研究所 | 一种网络安全日志模板抽取方法及装置 |
| CN109325009A (zh) * | 2018-09-19 | 2019-02-12 | 亚信科技（成都）有限公司 | 日志解析的方法及装置 |
| CN109308289A (zh) * | 2018-09-27 | 2019-02-05 | 厦门服云信息科技有限公司 | 一种日志解析模板及基于该模板的日志解析方法 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286896A (zh) * | 2020-11-19 | 2021-01-29 | 北京百家科技集团有限公司 | 一种日志文件处理方法、装置、计算机设备和存储介质 |
| CN112286896B (zh) * | 2020-11-19 | 2024-02-06 | 北京百家科技集团有限公司 | 一种日志文件处理方法、装置、计算机设备和存储介质 |
| CN112463933A (zh) * | 2020-12-14 | 2021-03-09 | 清华大学 | 系统日志模板的在线提取方法和装置 |
| CN112685364A (zh) * | 2020-12-24 | 2021-04-20 | 北京浪潮数据技术有限公司 | Flume元数据信息分析提取方法及相关组件 |
| CN112765175A (zh) * | 2021-01-21 | 2021-05-07 | 恒安嘉新（北京）科技股份公司 | 一种接口数据的处理方法、装置、计算机设备及介质 |
| CN112765175B (zh) * | 2021-01-21 | 2024-05-24 | 恒安嘉新（北京）科技股份公司 | 一种接口数据的处理方法、装置、计算机设备及介质 |
| CN113159971A (zh) * | 2021-05-20 | 2021-07-23 | 中国工商银行股份有限公司 | 信息提取方法、装置、电子设备及可读存储介质 |
| CN113434674A (zh) * | 2021-06-25 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据解析方法、装置、电子设备及可读存储介质 |
| CN113596097B (zh) * | 2021-06-30 | 2023-08-18 | 联想(北京)有限公司 | 一种日志的传输方法及电子设备 |
| CN113596097A (zh) * | 2021-06-30 | 2021-11-02 | 联想(北京)有限公司 | 一种日志的传输方法及电子设备 |
| CN113609162A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 操作记录的查询方法、装置、服务器及存储介质 |
| CN113609162B (zh) * | 2021-07-14 | 2023-09-26 | 远景智能国际私人投资有限公司 | 操作记录的查询方法、装置、服务器及存储介质 |
| CN113553309A (zh) * | 2021-07-28 | 2021-10-26 | 恒安嘉新（北京）科技股份公司 | 一种日志模板的确定方法、装置、电子设备及存储介质 |
| CN113641523A (zh) * | 2021-08-05 | 2021-11-12 | 广州虎牙科技有限公司 | 一种日志处理方法及装置 |
| CN113641523B (zh) * | 2021-08-05 | 2024-06-21 | 广州虎牙科技有限公司 | 一种日志处理方法及装置 |
| CN113783736A (zh) * | 2021-09-27 | 2021-12-10 | 杭州安恒信息技术股份有限公司 | 一种提取ioc信息的方法及相关装置 |
| CN113783736B (zh) * | 2021-09-27 | 2023-01-24 | 杭州安恒信息技术股份有限公司 | 一种提取ioc信息的方法及相关装置 |
| CN113784294A (zh) * | 2021-11-12 | 2021-12-10 | 南京信息工程大学 | 一种wifi环境下手机位置信息提取方法 |
| CN114385396A (zh) * | 2021-12-27 | 2022-04-22 | 华青融天(北京)软件股份有限公司 | 一种日志解析方法、装置、设备及介质 |
| CN114785604A (zh) * | 2022-04-28 | 2022-07-22 | 北京安博通金安科技有限公司 | 一种动态日志解析方法、装置、设备及存储介质 |
| CN114785604B (zh) * | 2022-04-28 | 2023-11-07 | 北京安博通金安科技有限公司 | 一种动态日志解析方法、装置、设备及存储介质 |
| CN114818643A (zh) * | 2022-06-21 | 2022-07-29 | 北京必示科技有限公司 | 一种保留特定业务信息的日志模板提取方法 |
| CN115334039B (zh) * | 2022-08-09 | 2024-02-20 | 天融信雄安网络安全技术有限公司 | 一种基于人工智能模型的特征构建方法及装置 |
| CN115334039A (zh) * | 2022-08-09 | 2022-11-11 | 北京天融信网络安全技术有限公司 | 一种基于人工智能模型的特征构建方法及装置 |
| CN115048352A (zh) * | 2022-08-12 | 2022-09-13 | 北京优特捷信息技术有限公司 | 一种日志字段提取方法、装置、设备和存储介质 |
| CN115543950A (zh) * | 2022-09-29 | 2022-12-30 | 杭州中电安科现代科技有限公司 | 一种日志范化的数据处理系统 |
| CN115329748A (zh) * | 2022-10-14 | 2022-11-11 | 北京优特捷信息技术有限公司 | 一种日志解析方法、装置、设备及存储介质 |
| CN115686853A (zh) * | 2022-11-03 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种日志要素提取方法、装置、设备及存储介质 |
| CN115544975B (zh) * | 2022-12-05 | 2023-03-10 | 济南丽阳神州智能科技有限公司 | 一种日志格式转换方法及设备 |
| CN115544975A (zh) * | 2022-12-05 | 2022-12-30 | 济南丽阳神州智能科技有限公司 | 一种日志格式转换方法及设备 |
| CN115858884A (zh) * | 2023-02-28 | 2023-03-28 | 天翼云科技有限公司 | 一种日志校验方法、装置和产品 |
| CN116894021A (zh) * | 2023-05-24 | 2023-10-17 | 北京优特捷信息技术有限公司 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111708860A (zh) | 信息提取方法、装置、设备及存储介质 | |
| WO2021088385A1 (zh) | 一种在线日志解析方法、系统及其电子终端设备 | |
| WO2020140386A1 (zh) | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 | |
| CN107992490B (zh) | 一种数据处理方法以及数据处理设备 | |
| CN106982150B (zh) | 一种基于Hadoop的移动互联网用户行为分析方法 | |
| CN112148772A (zh) | 告警根因识别方法、装置、设备和存储介质 | |
| CN111382347A (zh) | 一种对象特征的处理和信息推送方法、装置和设备 | |
| CN108664635B (zh) | 数据库统计信息的获取方法、装置、设备和存储介质 | |
| CN110765195A (zh) | 一种数据解析方法、装置、存储介质及电子设备 | |
| CN112749266A (zh) | 一种工业问答方法、装置、系统、设备及存储介质 | |
| Yu et al. | Brain: Log parsing with bidirectional parallel tree | |
| CN112612761B (zh) | 一种数据清洗方法、装置、设备及存储介质 | |
| CN101339560B (zh) | 一种搜索系列性数据的方法、装置及一种搜索引擎系统 | |
| Chu et al. | Prefix-graph: A versatile log parsing approach merging prefix tree with probabilistic graph | |
| CN111783467A (zh) | 一种企业名称识别方法及装置 | |
| CN113360521A (zh) | 日志查询方法、装置、设备及存储介质 | |
| CN109284088B (zh) | 一种信令大数据处理方法及电子设备 | |
| CN112069305B (zh) | 数据筛选方法、装置及电子设备 | |
| CN114791927A (zh) | 一种数据分析方法和装置 | |
| CN117436440A (zh) | 一种日志识别方法、系统、终端设备及存储介质 | |
| US10229105B1 (en) | Mobile log data parsing | |
| CN111159135A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN116822491A (zh) | 日志解析方法及装置、设备、存储介质 | |
| CN112765118B (zh) | 一种日志查询方法、装置、设备及存储介质 | |
| CN112711678A (zh) | 数据解析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |
|
| RJ01 | Rejection of invention patent application after publication |