CN109726186B - 一种检索错误日志的方法及装置、计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种检索错误日志的方法及装置、计算机可读存储介质。上述检索错误日志的方法包括：获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征；根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志；接收对候选错误日志的评分结果；按照评分结果，对日志模型进行迭代更新，得到错误日志模型；采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

Description

一种检索错误日志的方法及装置、计算机可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种检索错误日志的方法及装置、计算机可读存储介质。

背景技术

现有技术中，常用的存储日志的方案是将短期的日志以文件的形式进行存储，或者是将日志文件存储于ElasticSearch等中间件上，历史日志将按照日期或者其他方式拆分成多个文件，将日志文件存储于磁盘上。

当每天的日志文件大小超过百兆甚至更大的系统出现故障时，需要运维人员在日志文件或者是ElasticSearch等中间件去查找相关的错误日志，通过人工判断的方式找到目标错误日志，并且不同的系统中的错误日志的类型、长度及所在文件都不同，无法通过一个固定的模式找到所有的目标错误日志，使得查找错误日志的工作量大，查找效率低。

发明内容

有鉴于此，本发明的主要目的在于提供一种检索错误日志的方法及装置、计算机可读存储介质，能够快速检索出目标错误日志，提高错误日志的检索效率。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种检索错误日志的方法，包括：

获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；

根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；

接收对所述候选错误日志的评分结果；

按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；

采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

在上述方案中，所述按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型，包括：

按照所述评分结果，获取更新错误特征和更新日志抓取规则；

采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。

在上述方案中，根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志，包括：

从所述历史日志文件中，获取每个历史日志的日志特征；

将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；

按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；

根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。

在上述方案中，在所述接收对所述候选错误日志的评分结果之后，所述方法还包括：

当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。

在上述方案中，所述按照所述评分结果，获取更新错误特征和更新日志抓取规则，包括：

当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；

基于所述目标候选错误特征，获取所述更新错误特征；

当所述评分结果满足第一错误日志阈值，且不满足所述第二错误日志阈值时，按照预设搜索规则获取所述更新日志抓取规则。

在上述方案中，所述采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型，包括：

根据所述更新错误特征和所述更新日志抓取规则，持续对所述初始日志模型进行迭代，得到迭代日志模型，直至所述迭代日志模型搜索错误日志的准确率达到预设条件时，将所述迭代日志模型作为所述错误日志模型。

在上述方案中，所述采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志，包括：

调用所述错误日志模型，从日志目录下抓取所述目标日志文件；

对所述目标日志文件进行检索，得到所述目标错误日志。

在上述方案中，从历史日志文件中采集到候选错误日志之后，还包括：

将所述候选错误日志存储于活跃区中；

当所述候选错误日志在所述活跃区中的时间超过第一预设时间阈值时，和/或所述候选错误日志已经被使用时，将所述候选错误日志转移到中转区中；

在第二预设时间阈值到达时，将所述中转区中的所述候选错误日志转移到磁盘中，清空所述中转区中的所述候选错误日志。

在上述方案中，所述基于所述目标候选错误特征，获取所述更新错误特征，包括：

对比所述目标候选错误特征与存储在活跃区中的所述候选错误日志的候选错误特征，得到与所述目标候选错误特征相同的相同错误特征；

将所述目标候选错误特征和所述相同错误特征作为所述更新错误特征。

第二方面，本发明实施例提供了一种检索错误日志的装置，包括：

采集模块，用于获取初始日志模型；所述初始日志模型中包括：日志抓取规则和错误特征；根据所述日志抓取规则和所述错误特征，从历史日志文件中采集到候选错误日志；采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志；

分析模块，用于接收对所述候选错误日志的评分结果；

学习模块，用于按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型。

在上述方案中，所述分析模块，具体用于按照所述评分结果，获取更新错误特征和更新日志抓取规则；

所述学习模块，具体用于采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。

在上述方案中，所述采集模块，具体用于从所述历史日志文件中，获取每个历史日志的日志特征；将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。

在上述方案中，所述分析模块，还用于当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。

在上述方案中，所述分析模块，具体用于当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；当所述评分结果满足第一错误日志阈值，且不满足所述第二错误日志阈值时，按照预设搜索规则获取所述更新日志抓取规则；

所述学习模块，具体用于基于所述目标候选错误特征，获取所述更新错误特征。

在上述方案中，所述学习模块，具体用于根据所述更新错误特征和所述更新日志抓取规则，持续对所述初始日志模型进行迭代，得到迭代日志模型，直至所述迭代日志模型搜索错误日志的准确率达到预设条件时，将所述迭代日志模型作为所述错误日志模型。

在上述方案中，所述采集模块，具体用于调用所述错误日志模型，从日志目录下抓取所述目标日志文件；对所述目标日志文件进行检索，得到所述目标错误日志。

在上述方案中，所述存储模块，还用于将所述候选错误日志存储于活跃区中；当所述候选错误日志在所述活跃区中的时间超过第一预设时间阈值时，和/或所述候选错误日志已经被使用时，将所述候选错误日志转移到中转区中；在第二预设时间阈值到达时，将所述中转区中的所述候选错误日志转移到磁盘中，清空所述中转区中的所述候选错误日志。

第三方面，本发明实施例还提供了一种检索错误日志的装置，所述装置包括：存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的程序，当所述程序被执行时，通过所述处理器执行如上述所述的检索错误日志的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，存储有检索错误日志的操作指令，用于引起处理器执行时，实现上述所述的检索错误日志的方法。

本发明实施例提供了一种检测错误日志的方法、装置及计算机可读存储介质，通过获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征；根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志；接收对候选错误日志的评分结果；按照评分结果，对初始日志模型进行迭代更新，得到错误日志模型；采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。采用上述技术方案，通过对初始日志模型持续训练，迭代更新，得到错误日志模型，利用该错误日志模型对日志文件进行采集和检索，能够快速的检索出目标错误日志，提高了错误日志的检索效率。

附图说明

图1为本发明实施例提供的一种检索错误日志的方法流程图一；

图2为本发明实施例提供的一种检索错误日志的方法流程图二；

图3为本发明实施例提供的一种示例性的采集错误日志的流程示意图；

图4为本发明实施例提供的一种检索错误日志的方法流程图三；

图5为本发明实施例提供的一种检索错误日志的方法流程图四；

图6为本发明实施例提供的一种检索错误日志的方法流程图五；

图7为本发明实施例提供的一种检索错误日志的装置的组成结构示意图一；

图8为本发明实施例提供的一种检索错误日志的装置的组成结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

本发明实施例提供了一种检索错误日志的方法，图1为本发明实施例提供的一种检索错误日志的方法流程图一，如图1所示，检索错误日志的方法可以包括：

S101、获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征。

在本发明实施例中，当检索错误日志的装置在检索错误日志时，调用检索错误日志的装置中的初始日志模型，即获取到了初始日志模型。

需要说明的是，检索错误日志的装置具体可以为具有计算服务的设备，如后台服务器或者运维服务器等，本发明实施例不作限制。本发明实施例旨在说明本发明的实现的方式，对实施本发明方法的检索错误日志的装置不做具体的限定。

还需要说明的是，初始日志模型用于从日志文件中抓取出错误日志，本发明实施例中的检索错误日志的装置获取初始日志模型，是指检索错误日志的装置基于错误日志的属性特征进行初始化处理后得到的日志模型，该初始日志模型可以是检索错误日志的装置中存在的日志模型，也可以是运维人员自定义的日志模型，还可以是检索错误日志的装置通过学习得到的日志模型。本发明实施例对此不做具体的限定。

在本发明实施例中，初始日志模型包括：日志抓取规则和错误特征。

可选的，初始日志模型中的日志抓取规则为检索错误日志的装置中预设规则，该预设规则用于在日志文件中将错误日志抓取出来；具体的日志抓取规则是指错误日志的日志位置，该日志位置可以用文件名、开始位置和结束位置共同来描述；其中，该文件名用于表征错误日志所属的文件，该开始位置用于表述错误日志的开始位置，该结束位置用于表征错误日志的结束位置。

可选的，初始日志模型中的错误特征，具体指的是错误日志中的关键字，该关键字是识别错误日志的具体的信息。对于检索错误日志的装置中存在的初始日志模型，该错误特征是指该初始日志模型中的关键字，比如，error、bug等；对于运维人员自定义的初始日志模型，该错误特征可以是运维人员自定义的关键字，比如ID+error。

另外，本发明实施例中的初始日志模型还包括错误标签，该错误标签表征错误日志的类型；具体地，该错误日志类型可以为严重错误日志、中级错误日志或者是一般错误日志等，本发明实施例对错误日志类型具体的分类方式不做限定。

可以理解的是，在查找错误日志的场景下，当检索错误日志的装置运行时，检索错误日志的装置会对所执行的每一步操作进行记录，形成日志。当检索错误日志的装置出现故障时，需要查找检索错误日志的装置记录的日志来了解故障的原因，因而，可以利用本发明实施例提供的初始日志模型检索出错误日志，进一步的确定出故障的原因。

S102、根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志。

在本发明实施例中，检索错误日志的装置在获取到初始日志模型之后，也就获取到了初始日志模型中的日志抓取规则和错误特征，检索错误日志的装置通过对比初始日志模型中的错误特征和历史日志文件中的日志特征；而历史日志文件中与错误特征相同的特征就是候选错误日志，按照初始日志模型中的日志抓取规则将候选错误日志抓取出来，即从历史日志中文件中采集到候选错误日志。

需要说明的是，历史日志文件表征检索错误日志的装置对执行的每一步操作进行记录而形成的日志文件；候选错误日志表征利用初始日志模型，从历史日志文件中检索出来的错误日志。

具体地，检索错误日志的装置在获得初始日志模型后，就对初始日志模型进行解析，从而得到了初始日志模型的日志抓取规则和错误特征；检索错误日志的装置在获得日志抓取规则和错误特征后，将错误特征与历史日志文件中的日志特征依次进行对比，将历史日志文件中与错误特征相同的日志特征作为候选错误日志，将候选错误日志从历史日志文件中采集出来。

示例性地，错误日志特征为error，日志抓取规则为确定error的前一行开始位置为错误日志的开始位置，error的下一行结束位置为错误日志的结束位置，并保留历史日志文件的文件名。当利用初始日志装置检索错误特征为error的错误日志时，检索错误日志的装置先将错误特征error依次与日志文件中的日志特征进行对比，查找到日志特征为error的日志，从error的前一行开始位置处开始到error的下一行结束位置处结束，并保留历史日志文件的文件名，将这错误特征为error的候选错误日志抓取出来。

S103、接收对候选错误日志的评分结果。

在本发明实施例中，当检索错误日志的装置获取到候选错误日志之后，将该候选错误日志进行显示，并接收基于显示结果获得对候选错误日志的评分结果。比如，检索错误日志的装置将候选错误日志推送给运维人员，运维人员查看抓取出来的候选错误日志并评分，检索错误日志的装置接收运维人员对候选错误日志的评分结果。

示例性地，检索错误日志的装置获取到了错误特征为error的候选错误日志后，将该候选错误日志推送给运维人员，运维人员查看并根据候选错误日志的准确性对候选错误日志进行评分，检索错误日志的装置接收对候选错误日志的评分结果。候选错误日志的评分值可以为1分，2分，3分，4分，5分，其中1分为候选日志的最低评分值，5分为候选错误日志的最高评分值。当错误特征为error的候选错误日志评分为5分时，检索错误日志的装置接收对候选错误日志评分为5分的结果。本发明实施例并不限定对候选错误日志的评分值的设置。

S104、按照评分结果，对初始日志模型进行迭代更新，得到错误日志模型。

在本发明实施例中，当检索错误日志的装置接收到对候选错误日志的评分结果后，根据候选错误日志的评分结果，对初始日志模型进行迭代更新，调整该初始日志模型的日志抓取规则和错误特征；直到得到迭代日志模型搜索错误日志的准确率达到预设条件时，即获得了错误日志模型。

需要说明的是，错误日志模型表征错误日志检索装置对初始日志模型迭代更新，最后得到搜索错误日志的准确率达到预设条件的迭代日志模型。

具体地，当检索错误日志的装置得到了错误日志的评分结果后，查阅系统中对此评分结果对应的日志模型的调整规则，根据对应的调整规则对初始日志模型进行调整。

示例性地，初始日志模型是按照从错误特征的前一行开始位置处为候选错误日志的初始位置，到错误特征的下一行结束位置处为候选错误日志的结束位置，抓取的评分为2分的候选错误日志，检索错误日志的装置查看2分的结果对应的日志模型的调整规则为从错误特征的前七行开始位置处为候选错误日志的初始位置，到错误特征的下八行结束位置处为候选错误日志的结束位置，根据上述调整规则对该初始日志模型进行调整，更新该初始日志模型。通过上述方式对初始日志模型进行迭代，得到搜索错误日志的准确率达到预设条件的迭代日志模型，即获得了错误日志模型。

S105、采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

在本发明实施例中，当检索错误日志的装置通过对初始日志模型进行迭代，得到了错误日志模型，由于错误日志模型搜索错误日志的准确率达到了预设条件，所以当检索错误日志的装置在检索目标错误日志时，调用检索错误日志的装置中的错误日志模型，对比错误日志模型与目标日志文件中的错误特征，将错误日志模型与目标日志文件中错误特征相同的日志，按照日志抓取规则抓取出来，即检索出了目标错误日志。

需要说明的是，目标错误日志可以为出现故障时，运维人员需要查找的错误日志；目标日志文件可以为该目标错误日志所属的日志文件。

在本发明实施例中，错误日志模型为搜索错误日志的准确率达到预设条件的日志模型，对比该日志模型和目标日志文件中的关键字，确定出目标错误日志，根据该错误日志模型的日志抓取规则，对检索出来错误日志进行抓取，得到目标错误日志。

可以理解的是，通过对初始日志模型持续训练，迭代更新，得到错误日志模型，利用该错误日志模型对日志文件进行采集和检索，能够快速的检索出目标错误日志，提高了错误日志的检索效率。

实施例二

本发明实施例又提供了一种检索错误日志的方法，图2为本发明实施例提供的一种检索错误日志的方法流程图二，如图2所示，检索错误日志的方法可以包括：

S201、获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征。

需要说明的是，本发明实施例中S201实现过程的描述与实施例一中S101实现过程的描述的过程描述一致，在此不再赘述。

S202、根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志。

需要说明的是，本发明实施例中S202实现过程的描述与实施例一中S102实现过程的描述的过程描述一致，在此不再赘述。

S203、将候选错误日志存储于活跃区中。

在本发明实施例中，检索错误日志的装置在采集候选错误日志时，就获得到了候选错误日志，对候选错误日志进行存储。

在本发明实施例中，可以将候选错误日志存储在活跃区域中。

需要说明的是，活跃区用于表征在内存中开辟一片区域，用于存储从日志文件中采集到的候选错误日志。

在本发明实施例中，活跃区是用于存储根据日志模型在日志文件中抓取到的错误日志，其中，错误日志的存储模型可以为：错误标签-错误特征值-日志文件名-错误日志起始位置-错误日志结束位置，该错误日志的存储模型具体的设置方式此处不做限定。

S204、当候选错误日志在活跃区中的时间超过第一预设时间阈值时，和/或候选错误日志已经被使用时，将候选错误日志转移到中转区中。

在本发明实施例中，活跃区的内存有限，错误日志不会一直存储于活跃区中，当候选错误日志已经被处理时，或者是该错误日志在活区域中的时间超过第一预设时间时，该错误日志将从活跃区转移至中转区。

在本发明实施例中，在内存中又开辟了一片区域作为中转区，用于存储从活跃区转移过来的候选错误日志。

具体地，第一时间阈值可以为活跃区所存储的错误日志中，最早从日志文件中抓取到的错误日志在活跃区中的时间。

示例性地，设置候选错误日志可以在活跃区中存储12个小时，当候选错误日志进入到活跃区中时，就开始计时，当候选错误日志在活跃区中存储12个小时时，就将候选错误日志转移到中转区中。

可选的，该第一预设时间可根据活跃区的内存大小进行设置，具体的设置方式本法明不做限制。

示例性地，当活跃区中的候选错误日志已经被运维人员处理，即候选日志所表述的问题已经被解决时，将此候选错误日志转移到中转区中。

S205、在第二预设时间阈值到达时，将中转区中的候选错误日志转移到磁盘中，清空中转区中的候选错误日志。

在本发明实施例中，中转区的内存有限，从活跃区中转移过来的候选错误日志不会一直存储于中转区中，当候选错误日志在中转区中的时间超过第二预设时间时，该候选错误日志将从中转区转移至磁盘，并清空中转区中的候选错误日志。

示例性地，第二预设时间阈值可以为本次将中转区中的候选错误日志转移至磁盘中的时间，与上一次将中转区中的候选错误日志转移至磁盘中的时间差值，该时间差值可以根据中转区的内存，与候选错误日志存入中转区的速度的比值来确定，该第二预设时间阈值具体的设置方式本法明不做限制。

示例性地，设置第二预设时间阈值，其中，第二时间阈值可以为5小时，即每隔5小时将中转区中的选错错误日志转移至磁盘中，同时，清空中转区中的候选错误日志。

S206、接收对候选错误日志的评分结果。

需要说明的是，本发明实施例中S206实现过程的描述与实施例一中S103实现过程的描述的过程描述一致，在此不再赘述。

S207、按照评分结果，获取更新错误特征和更新日志抓取规则。

在本发明实施例中，检索错误日志的装置在接收到对候选错误日志的评分结果后，查看候选日志的评分结果，判断对候选日志的评分是否为最高分值，若候选日志的评分为最高分值，则根据候选错误日志获取更新错误特征，候选日志的评分不为最高分值，则根据候选日志的评分结果确定初始日志模型的调整规则，即获得了更新日志抓取规则。

需要说明的是，更新错误特征用于表征对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征，即目标候选错误特征和相同错误特征就是更新错误特征；更新日志抓取规则用于表征改变评分不为最高分的错误日志对应模型的错误日志抓取规则，得到的新的日志抓取规则。

示例性地，5分代表候选错误日志评分的最高值，当候选错误日志的评分结果为5分时，对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征，将目标候选错误特征和该相同错误特征作为更新错误特征，候选错误日志的评分结果不为5分时，改变该候选错误日志对应的日志模型的错误日志抓取规则，获取更新日志抓取规则。

S208、采用更新错误特征和更新日志抓取规则，对初始日志模型进行迭代更新，得到错误日志模型。

在本发明实施例中，检索错误日志的装置在获得到更新错误特征和更新日志抓取规则后，根据更新错误特征和更新日志抓取规则更新初始日志模型，迭代此过程，得到错误日志模型。

具体地，错误日志模型可以是对初始日志模型迭代更新，从而得到搜索错误日志的准确率达到预设条件的迭代日志模型。

示例性地，该预设条件可以为能将初始日志文件中99％的错误日志检索出来的迭代日志模型。

在本发明实施例中，循环更新该初始日志模型后，得到搜索错误日志的转确率达到预设条件的迭代日志模型，即错误日志模型。

S209、调用错误日志模型，从日志目录下抓取目标日志文件。

在本发明实施例中，检索错误日志的装置在得到错误日志模型后，调用得到的错误日志模型，对比错误日志模型中的错误特征与日志目录下的日志特征，得到与错误特征相同的日志特征，从日志目录下将与错误特征相同的日志特征抓取出来，形成目标日志文件。

示例性地，检索错误日志的装置对比错误日志模型中的错误特征与日志目录下的日志特征，得到与错误特征相同的日志特征，从日志目录下将与错误特征相同的日志特征抓取出来，形成目标日志文件，利用Kafka(高吞吐量的分布式发布订阅消息系统)的product模块将该目标日志文件存储于Kafka中。

在本发明实施例中，检索错误日志的装置会对所执行的每一步操作进行记录形成日志，出现故障时，需要查找错误日志时，可以先对比错误日志模型中的错误特征与日志目录下的日志特征，得到与错误特征相同的日志特征，从日志目录下将与错误特征相同的日志特征抓取出来，形成目标日志文件，对目标日志文件进行检索，查找错误日志。

S210、对目标日志文件进行检索，得到目标错误日志。

在本发明实施例中，检索错误日志的装置在得到目标日志文件后，对比该错误模型目标日志文件中的错误特征，将该目标日志文件中的符合该错误日志模型中错误特征的日志，按照错误日志模型中日志抓取规则，将日志文件中的错误日志抓取出来，得到目标错误日志。

在本发明实施例中，目标错误日志可以为出现故障时，运维人员需要查找的错误日志；目标日志文件可以为该目标错误日志所属的日志文件。

示例性地，Product调用日志模型，利用该日志模型对目标日志文件进行逐行读取，删除该目的日志文件中不必要的数据，对比日志文件中错误日志的关键字与日志模型中错误特征的关键字，将日志文件中，符合日志模型中关键字的错误日志，按照日志模型对错误日志的抓取规则，将该错误日志抓取出来，继续Kafka的工作流程，将抓取出来的错误日志分发至Kafka的工作节点。

检索错误日志的装置在得到错误日志模型后，调用得到的错误日志模型，对比错误日志模型中的错误特征与日志目录下的日志特征，得到目标日志文件，对比该错误模型目标日志文件中的错误特征，将该目标日志文件中的符合该错误日志模型中错误特征的日志，按照错误日志模型中日志抓取规则，将日志文件中的错误日志抓取出来，得到目标错误日志。

图3为本发明实施例提供的一种示例性的采集错误日志的流程示意图，如图3所示，检索错误日志的装置对比错误日志模型中的错误特征与日志目录下的日志特征，得到与错误特征相同的日志特征，从业务系统集群主机20的日志目录下将与错误特征相同的日志特征抓取出来，形成目标日志文件，检索错误日志的装置利用Kafka(高吞吐量的分布式发布订阅消息系统)17中的定制化Product模块18，调用日志模型将该目标日志文件通过Kafka的工作节点Consumer19存储至存储模块13中。

可以理解的是，通过增加Kafka的Product调用日志模型，对日志目录下的日志文件进行检索，得到错误日志，将错误日志按照本发明实施例中的存储方式进行存储，提高了日志的采集性能。

还可以理解的是，通过对初始日志模型持续训练，迭代更新，得到错误日志模型，利用该错误日志模型对日志文件进行采集和检索，能够快速的检索出目标错误日志，提高了错误日志的检索效率。

实施例三

本发明实施例还提供了一种检索错误日志的方法，图4为本发明实施例提供的一种检索错误日志的方法流程图三，如图4所示，检索错误日志的方法可以包括：

S301、获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征。

需要说明的是，本发明实施例中S301实现过程的描述与实施例一中S101实现过程的描述的过程描述一致，在此不再赘述。

S302、根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志。

需要说明的是，本发明实施例中S302实现过程的描述与实施例一中S102实现过程的描述的过程描述一致，在此不再赘述。

S303、接收对候选错误日志的评分结果。

需要说明的是，本发明实施例中S303实现过程的描述与实施例一中S103实现过程的描述的过程描述一致，在此不再赘述。

S304、当评分结果不满足第一错误日志阈值时，清除初始日志模型。

在本发明实施例中，检索错误日志的装置接收对候选错误日志的评分结果后，判断该错误日志的评分结果是否满足第一错误日志阈值，若不满足该第一错误日志阈值，检索错误日志的装置清除与该评分结果对应的目标候选错误日志。

需要说明的是，第一错误日志阈值用于表征设置的日志评分为高于最低分数值的最低数值；目标候选错误日志用于表征评分为最低分的日志检索出来的错误日志。

示例性地，可以设置日志的评分结果为5个分值，如1分，2分，3分，4分，5分，则1分为评分最低的分数值，该第一错误日志阈值可以为2，当评分结果小于2时，清除与该评分结果对应的目标候选错误日志。本发明实施例并不限定对错误日志的评分数值的分布。

S305、当评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与评分结果对应的目标候选错误日志中的目标候选错误特征。

在本发明实施例中，检索错误日志的装置接收对候选错误日志的评分结果后，判断该错误日志的评分结果是否满足第一错误日志阈值，若满足第一错误日志阈值，则进一步判断是否满足第二错误日志阈值，若满足该第二错误日志阈值，则获取与评分结果对应的目标候选错误日志中的目标候选错误特征。

在本发明实施例中，第二错误日志阈值可以为设置的日志评分最高的数值；该目标候选错误特征可以为目标候选错误日志中存在的错误特征。

示例性地，可以设置日志的评分结果为5个分值，如1分，2分，3分，4分，5分，则5分为评分结果最高的分数值，当检索错误日志的装置判断出该错误日志的评分结果是满足第一错误日志阈值，则进一步判断该错误日志的评分结果是否等于5，若是，则获取与评分结果对应的目标候选错误日志中的目标候选错误特征。本发明实施例并不限定对错误日志的评分数值的分布。

S306、基于目标候选错误特征，获取更新错误特征。

在本发明实施例中，检索错误日志的装置判断错误日志的评分结果不满足第一错误日志阈值，满足第二错误日志阈值时，对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征，将目标候选错误特征和该相同错误特征作为更新错误特征，获得更新错误特征。

示例性地，可以设置日志的评分结果为5个分值，如1分，2分，3分，4分，5分，则5分为评分结果最高的分数值，对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征，将评分为5分的目标候选错误日志中的目标候选错误特征和该相同错误特征作为更新错误特征，即获得了更新错误特征。本发明实施例并不限定对错误日志的评分数值的分布。

具体地，图5为本发明实施例提供的一种检索错误日志的方法流程图四，如图5所示，S306具体可以包括：S3061-S3062。如下：

S3061、对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征。

在本发明实施例中，检索错误日志的装置对目标候选错误特征与存储于活跃区中的候选特征进行逐一比对，将与目标候选错误日志中的错误特征相同的错误特征筛选出来。

S3062、将目标候选错误特征和相同错误特征作为更新错误特征。

在本发明实施例中，检索错误日志的装置将筛选出来的与目标候选错误日志中的错误特征相同的错误特征作为更新错误特征。

S307、当评分结果满足第一错误日志阈值，且不满足第二错误日志阈值时，按照预设搜索规则获取更新日志抓取规则。

在本发明实施例中，检索错误日志的装置判断错误日志的评分结果不满足第一错误日志阈值，也不满足第二错误日志阈值时，按照预设的搜索规则，更新日志抓取规则。

示例性地，可以设置日志的评分结果为5个分值，如1分，2分，3分，4分，5分，错误日志的评分结果不满足第一错误日志阈值，也不满足第二错误日志阈值，按照预设的搜索规则，更新日志抓取规则，也就是按照预设的搜索规则，更新评分为2-4分的目标候选错误日志的日志抓取规则。本发明实施例并不限定对错误日志的评分数值的分布。

示例性地，对于评分为2分的目标候选错误日志，其预设的搜索规则可以为将目标候选错误日志的错误日志采集区间扩大15行。对于该预设的搜索规则的设置，本发明实施例并不做具体的限定。

示例性地，对于评分为3分的目标候选错误日志，其预设的搜索规则可以为将目标候选错误日志的错误日志采集区间扩大10行。对于该预设的搜索规则的设置，本发明实施例并不做具体的限定。

示例性地，对于评分为4分的目标候选错误日志，其预设的搜索规则可以为将目标候选错误日志的错误日志采集区间缩小5行。对于该预设的搜索规则的设置，本发明并实施例不做具体的限定。

S308、根据更新错误特征和更新日志抓取规则，持续对初始日志模型进行迭代，得到迭代日志模型，直至迭代日志模型搜索错误日志的准确率达到预设条件时，将迭代日志模型作为错误日志模型。

在本发明实施例中，检索错误日志的装置通过将初始日志模型中的错误特征和日志抓取规则进行迭代更新，得到迭代更新后的日志模型，当该迭代后的日志模型搜索错误日志的准确率达到预设条件时，即可得到错误日志模型。

示例性地，该预设条件可以为能将初始日志文件中99％的错误日志检索出来的迭代日志模型。可选的，日志文件中有1000个错误日志，当迭代日志模型可以将日志文件中的995个错误检索出来时，该迭代日志模型就可以作为错误日志模型。本发明实施例对该预设条件不做具体的限定。

图6为本发明实施例提供的一种示例性地检索错误日志的流程示意图五，如图6示：

S601、初始化初始日志模型。

在本发明实施例中，检索错误日志的装置中对初始日志模型进行初始化。

具体地，该初始日志模型可以是检索错误日志的装置中本来就有的日志模型，也可以是运维人员自定义的日志模型。

需要说明的是，该初始日志模型包括错误特征和错误标签；检索错误日志的装置中本来就有的日志模型中的错误特征和错误标签，是检索错误日志的装置的日志模型中自带的错误特征和错误标签，运维人员自定义的日志模型中的错误特征和错误标签是运维人员自定义的错误特征和错误标签。

S602、开始采集候选错误日志。

在本发明实施例中，检索错误日志的装置开始采集候选错误日志。

S603、将采集结果存入活跃区。

在本发明实施例中，检索错误日志的装置将采集到的候选错误日志存入活跃区。

S604、将采集结果推送给运维人员。

在本发明实施例中，检索错误日志的装置将采集到的候选错误日志推送给运维人员。

S605、检索错误日志的装置查询候选错误日志的评分值。

在本发明实施例中，检索错误日志的装置查询候选错误日志的评分值。

具体地，当检索错误日志的装置查询候选错误日志的评分值为1分时，删除初始日志模型；当检索错误日志的装置查询候选错误日志的评分值为2分时，将初始日志模型中候选错误日志的采集区间扩大15行，用户也可以自定义调整初始日志模型中候选错误日志的采集区间，同时修改初始日志模型中的错误标签；当检索错误日志的装置查询候选错误日志的评分值为3分时，将初始日志模型中候选错误日志的采集区间扩大10行，用户也可以自定义调整初始日志模型中候选错误日志的采集区间；当检索错误日志的装置查询候选错误日志的评分值为4分时，将初始日志模型中候选错误日志的采集区间缩小5行，用户也可以自定义调整初始日志模型中候选错误日志的采集区间；当检索错误日志的装置查询候选错误日志的评分值为5分时，对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征，将目标候选错误特征和相同错误特征作为更新错误特征。

S606、对比目标候选错误特征与活跃区中的候选错误特征，得到相同错误特征，将该相同特征和候选错误特征作为新的特征。

在本发明实施例中，检索错误日志的装置对比目标候选错误特征与活跃区中的候选错误特征，将该相同特征和候选错误特征作为新的特征。

S607、利用新的特征更新初始日志模型。

在本发明实施例中，检索错误日志的装置利用新的特征更新初始日志模型。

在本发明实施例中，检索错误日志的装置先获取初始日志模型，用初始日志模型采集得到候选错日志，按照本发明实施例中的存储方式存储候选错误日志，并对候选错误日志进行评分，根据评分结果判断日志模型是否满足于预设条件，当日志模型不满足预设条件时，获取更新日志特征和更新日志抓取规则，对初始日志模型进行迭代更新，最终得到错误日志模型。

可以理解的是，通过对初始日志模型持续训练，迭代更新，得到错误日志模型，利用该错误日志模型对日志文件进行采集和检索，能够快速的检索出目标错误日志，提高了错误日志的检索效率。

实施例四

基于实施例一至实施例三同一发明构思，本发明实施例提供了一种检索错误日志的装置1，对应于一种检索错误日志的方法；图7本发明实施例提供的一种检索错误日志的装置的结构示意图一，该装置1可以包括：

采集模块10，用于获取初始日志模型；初始日志模型中包括：日志抓取规则和错误特征；根据日志抓取规则和错误特征，从历史日志文件中采集到候选错误日志；采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志。

分析模块11，用于接收对候选错误日志的评分结果。

学习模块12，用于按照评分结果，对初始日志模型进行迭代更新，得到错误日志模型。

可选的，分析模块11，具体用于按照评分结果，获取更新错误特征和更新日志抓取规则。

学习模块，具体用于采用更新错误特征和更新日志抓取规则，对初始日志模型进行迭代更新，得到错误日志模型。

可选的，采集模块，具体用于从历史日志文件中，获取每个历史日志的日志特征；将每个历史日志的日志特征，依次与错误特征进行对比，确定出与错误特征匹配的候选日志；按照日志抓取规则，从历史日志文件抓取出候选日志对应的日志位置信息；根据候选日志对应的日志特征和日志位置信息，得到候选错误日志。

可选的，分析模块，还用于当评分结果不满足第一错误日志阈值时，清除初始日志模型。

可选的，分析模块，具体用于当评分结果满足第二错误日志阈值时，获取与评分结果对应的目标候选错误日志中的目标候选错误特征；当评分结果满足第一错误日志阈值，且不满足第二错误日志阈值时，按照预设搜索规则获取更新日志抓取规则。

学习模块，具体用于基于目标候选错误特征，获取更新错误特征。

可选的，学习模块，具体用于根据更新错误特征和更新日志抓取规则，持续对初始日志模型进行迭代，得到迭代日志模型，直至迭代日志模型搜索错误日志的准确率达到预设条件时，将迭代日志模型作为错误日志模型。

可选的，采集模块，具体用于调用错误日志模型，从日志目录下抓取目标日志文件；对目标日志文件进行检索，得到目标错误日志。

可选的，检索错误日志的装置1还包括：存储模块13，用于将候选错误日志存储于活跃区中；当候选错误日志在活跃区中的时间超过第一预设时间阈值时，和/或候选错误日志已经被使用时，将候选错误日志转移到中转区中；在第二预设时间阈值到达时，将中转区中的候选错误日志转移到磁盘中，清空中转区中的候选错误日志。

可选的，学习模块，具体用于对比目标候选错误特征与存储在活跃区中的候选错误日志的候选错误特征，得到与目标候选错误特征相同的相同错误特征；将目标候选错误特征和相同错误特征作为更新错误特征。

需要说明的是，在实际应用中，上述采集模块10、分析模块11和学习模块12可由检索错误日志的装置1上的处理器14实现，具体为CPU(Central Processing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(Digital Signal Processing，数字信号处理器)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现；上述存储模块13可由检索错误日志的装置1上的存储器15实现。

本发明实施例还提供了一种检索错误日志的装置1，如图8所示，所述检索错误日志的装置1包括：处理器14、存储器15和通信总线16，所述存储器15通过所述通信总线16与所述处理器14进行通信，所述存储器15存储所述处理器14可执行的程序，当所述程序被执行时，通过所述处理器14执行如实施例一所述的检索错误日志的方法。

在实际应用中，上述存储器15可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器14执行时实现如实施例一至实施例三所述的检索错误日志的方法。

可以理解的是，通过对初始日志模型持续训练，迭代更新，得到错误日志模型，利用该错误日志模型对日志文件进行采集和检索，能够快速的检索出目标错误日志，提高了错误日志的检索效率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种检索错误日志的方法，其特征在于，包括：

获取初始日志模型；所述初始日志模型中包括：日志抓取规则、错误特征和错误标签；

根据所述日志抓取规则、所述错误特征和所述错误标签，从历史日志文件中采集到候选错误日志；

接收对所述候选错误日志的评分结果；

按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；

采用所述错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志；

其中，所述根据所述日志抓取规则、所述错误特征和所述错误标签，从历史日志文件中采集到候选错误日志，包括：

从所述历史日志文件中，获取每个历史日志的日志特征；

将所述每个历史日志的日志特征，依次与所述错误特征进行对比，确定出与所述错误特征匹配的候选日志；

按照所述日志抓取规则，从所述历史日志文件抓取出所述候选日志对应的日志位置信息；

根据所述候选日志对应的日志特征和所述日志位置信息，得到所述候选错误日志。

2.根据权利要求1所述的方法，其特征在于，所述按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型，包括：

按照所述评分结果，获取更新错误特征和更新日志抓取规则；

采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型。

3.根据权利要求2所述的方法，其特征在于，所述接收对所述候选错误日志的评分结果之后，所述方法还包括：

当所述评分结果不满足第一错误日志阈值时，清除所述初始日志模型。

4.根据权利要求2所述的方法，其特征在于，所述按照所述评分结果，获取更新错误特征和更新日志抓取规则，包括：

当所述评分结果满足第一错误日志阈值，且满足第二错误日志阈值时，获取与所述评分结果对应的目标候选错误日志中的目标候选错误特征；

基于所述目标候选错误特征，获取所述更新错误特征；

当所述评分结果满足第一错误日志阈值，且不满足所述第二错误日志阈值时，按照预设搜索规则获取所述更新日志抓取规则。

5.根据权利要求2所述的方法，其特征在于，所述采用所述更新错误特征和所述更新日志抓取规则，对所述初始日志模型进行迭代更新，得到所述错误日志模型，包括：

根据所述更新错误特征和所述更新日志抓取规则，持续对所述初始日志模型进行迭代，得到迭代日志模型，直至所述迭代日志模型搜索错误日志的准确率达到预设条件时，将所述迭代日志模型作为所述错误日志模型。

6.根据权利要求4所述的方法，其特征在于，所述基于所述目标候选错误特征，获取所述更新错误特征，包括：

对比所述目标候选错误特征与存储在活跃区中的所述候选错误日志的候选错误特征，得到与所述目标候选错误特征相同的相同错误特征；

将所述目标候选错误特征和所述相同错误特征作为所述更新错误特征。

7.一种检索错误日志的装置，其特征在于，包括：

采集模块，用于获取初始日志模型；所述初始日志模型中包括：日志抓取规则、错误特征和错误标签；根据所述日志抓取规则、所述错误特征和所述错误标签，从历史日志文件中采集到候选错误日志；采用错误日志模型，对目标日志文件进行采集和检索，检索出目标错误日志；

分析模块，用于接收对所述候选错误日志的评分结果；

学习模块，用于按照评分结果，对所述初始日志模型进行迭代更新，得到错误日志模型；

其中，所述采集模块，具体用于从历史日志文件中，获取每个历史日志的日志特征；将每个历史日志的日志特征，依次与错误特征进行对比，确定出与错误特征匹配的候选日志；按照日志抓取规则，从历史日志文件抓取出候选日志对应的日志位置信息；根据候选日志对应的日志特征和日志位置信息，得到候选错误日志。

8.一种检索错误日志的装置，其特征在于，所述装置包括：存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的程序，当所述程序被执行时，通过所述处理器执行如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，存储有检索错误日志的操作程序，用于引起处理器执行时，实现权利要求1至6任一项所述的方法。

Images