CN112269730A - 异常日志检测方法、异常日志检测装置及存储介质 - Google Patents

异常日志检测方法、异常日志检测装置及存储介质 Download PDF

Info

Publication number
CN112269730A
CN112269730A CN202011225291.6A CN202011225291A CN112269730A CN 112269730 A CN112269730 A CN 112269730A CN 202011225291 A CN202011225291 A CN 202011225291A CN 112269730 A CN112269730 A CN 112269730A
Authority
CN
China
Prior art keywords
log
template
abnormal
tree
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011225291.6A
Other languages
English (en)
Inventor
陈欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202011225291.6A priority Critical patent/CN112269730A/zh
Publication of CN112269730A publication Critical patent/CN112269730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开是关于一种异常日志检测方法、异常日志检测装置及存储介质。异常日志检测方法包括：获取第一日志以及第二日志，其中，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志；基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板；将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板；将第一日志中与异常日志模板对应的日志，确定为异常日志。通过本公开实施例，可实现服务运行生成的日志中异常日志的快速检测，为后续故障原因定位提供保证。

Description

异常日志检测方法、异常日志检测装置及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及异常日志检测方法、异常日志检测装置及存储介质。
背景技术
运维是数字世界基础设施级别的技术。随着支撑数字世界的软硬件系统越来越庞大、越来越复杂，运维智能化的要求越来越高。
利用机器学习算法自动地从海量运维数据中不断地学习、提炼并总结规则，将过去人工总结运维规则的过程变成自动学习的过程，即智能运维，是运维技术发展必然的趋势。异常检测为智能运维中的重要的一个步骤，收到越来越多的重视。
随着智能手机、平板电脑、笔记本电脑等终端成为人们日常生活在必不可少的电子设备。在终端设备使用过程中，经常会出现系统错误或应用程序运行错误等问题，当出现上述错误问题，会生成异常日志。
当前技术中，确定发生故障时的异常日志，进行故障原因的定位，确定异常日志的分析结果有这重要意义。
发明内容
为克服相关技术中存在的问题，本公开提供异常日志检测方法、异常日志检测装置及存储介质。
根据本公开实施例的一方面，提供一种异常日志检测方法，包括：获取第一日志以及第二日志，其中，所述第一日志为接收到表征日志异常的报警信号后的日志，所述第二日志为接收到所述报警信号之前非报警期间的日志；基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板；将存在于所述第一日志模板中，且不存在于所述第二日志模板中的日志模板，确定为异常日志模板；将所述第一日志中与所述异常日志模板对应的日志，确定为异常日志。
在一实施例中，所述基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板，包括：获取基于各服务日志构建并保存的树；基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取所述第二日志模板。
在一实施例中，所述异常日志检测方法还包括：响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
在一实施例中，基于Drain算法针对不同服务日志中的每一服务日志完成建立树之后，所述异常日志检测方法还包括：确定日志模板之间相似度大于预设阈值的日志模板，合并日志模板之间相似度大于预设阈值的日志模板。
在一实施例中，所述异常日志检测方法还包括：获取针对所述异常日志的反馈结果，所述反馈结果包括所述异常日志实际为第二日志，或者所述异常日志实际为异常日志；剔除所述异常日志中包括的第二日志。
根据本公开实施例的又一方面，提供一种异常日志检测装置，包括：获取模块，用于获取第一日志以及第二日志，其中，所述第一日志为接收到表征日志异常的报警信号后的日志，所述第二日志为接收到所述报警信号之前非报警期间的日志；提取模块，用于基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板；确定模块，用于将存在于所述第一日志模板中，且不存在于所述第二日志模板中的日志模板，确定为异常日志模板，并将所述第一日志中与所述异常日志模板对应的日志，确定为异常日志。
在一实施例中，所述提取模块采用如下方式基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板：获取基于各服务日志构建并保存的树；基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取所述第二日志模板。
在一实施例中，所述异常日志检测装置还包括：保存模块，用于响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
在一实施例中，所述确定模块还用于基于Drain算法针对不同服务日志中的每一服务日志完成建立树之后，确定日志模板之间相似度大于预设阈值的日志模板；所述异常日志检测装置还包括：合并模块，用于合并日志模板之间相似度大于预设阈值的日志模板。
在一实施例中，所述获取模块还用于：获取针对所述异常日志的反馈结果，所述反馈结果包括所述异常日志实际为第二日志，或者所述异常日志实际为异常日志；所述异常日志检测装置还包括：剔除模块，用于剔除所述异常日志中包括的第二日志。
根据本公开实施例的又一方面，提供一种异常日志检测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项所述的异常日志检测方法。
根据本公开实施例的又一方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述任意一项所述的异常日志检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过接收到表征日志异常的报警信号后的第一日志与非报警期间的第二日志，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板，基于第一日志模板、第二日志模板确定异常模板进而确定异常日志，可实现异常日志的快速检测，为后续故障原因定位提供保证。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种异常日志检测方法的流程图。
图2是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。
图3是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。
图4是根据本公开另一示例性实施例示出的基于Drain算法建树示意图。
图5是根据本公开一示例性实施例示出的一种更新树方法示意图。
图6是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。
图7a-图7b是根据本公开一示例性实施例示出的一种合并日志模板方法的示意图。
图8是根据本公开一示例性实施例示出的一种日志模板映射方法的示意图。
图9是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。
图10是根据本公开一示例性实施例示出的一种异常日志检测方法的示意图。
图11是根据本公开一示例性实施例示出的提取第二日志模板的示意图。
图12是根据本公开一示例性实施例示出的提取第一日志模板的示意图。
图13是根据本公开一示例性实施例示出的异常日志检测示意图。
图14是根据本公开一示例性实施例示出的一种异常日志检测装置的框图。
图15是根据本公开又一示例性实施例示出的一种异常日志检测装置的框图。
图16是根据本公开又一示例性实施例示出的一种异常日志检测装置的框图。
图17是根据本公开又一示例性实施例示出的一种异常日志检测装置的框图。
图18是根据一示例性实施例示出的一种用于异常日志检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
运维是数字世界基础设施级别的技术，随着支撑数字世界的软硬件系统越来越庞大、越来越复杂，运维智能化的要求越来越高。
利用机器学习算法自动地从海量运维数据中不断地学习、提炼并总结规则，将过去人工总结运维规则的过程变成自动学习的过程，即智能运维，是运维技术发展必然的趋势。异常检测为智能运维中的重要的一个步骤，收到越来越多的重视。
随着智能手机、平板电脑、笔记本电脑等终端成为人们日常生活在必不可少的电子设备。在终端设备使用过程中，经常会出现系统错误或应用程序运行错误等问题，当出现上述错误问题，会生成异常日志。
当前技术中，确定发生故障时的异常日志，进行故障原因的定位，确定异常日志的分析结果有这重要意义。
由此，本公开提供一种异常日志检测方法，通过分别从正常服务日志中学习提取得第一日志模板，对第一日志中提取得到第二日志模板，通过比对第一日志模板、第二日志模板得到异常日志。
图1是根据本公开一示例性实施例示出的一种异常日志检测方法的流程图，如图1所示，异常日志检测方法包括以下步骤。
在步骤S101中，获取第一日志以及第二日志，其中，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。
在步骤S102中，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。
在步骤S103中，将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板。
在步骤S104中，将第一日志中与异常日志模板对应的日志，确定为异常日志。
在本公开实施例中，日志包括对终端的操作系统或应用程序进行操作处理时，产生的操作记录，也即终端系统或移动程序运行过程中产生的运行记录，发生错误或者运行异常时产生的日志，即为异常日志。日志为无结构的文本，日志中的日志信息通过时间戳、日志级别和日志内容等记录具体的系统行为。日志内容是由不变的字符串和可变的值构成的。每一次系统执行这段代码时，不变的字符串的执行结果相同，可变的部分代表着动态的运行信息，随着集群和机器的不同而改变。提取日志模板即提取日志内容中不变的部分，日志数据结构化的目标就是将日志信息转化成具体的模板和参数。
终端运行异常时，服务器发出异常报警信号。第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。可以理解地，第二日志为正常日志。
在本公开实施例中，获取第一日志以及第二日志，可以是基于终端售后诊断工具处获取或基于终端本地获取等。且，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。由于第一日志为接收到表征日志异常的报警信号后的日志，在对第一日志模板、第二日志模板进行比对，将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板。在第一日志中，与异常日志模板对应的日志，确定为异常日志。
根据本公开的实施例，通过接收到表征日志异常的报警信号后的第一日志与非报警期间的第二日志，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板，基于第一日志模板、第二日志模板确定异常模板进而确定异常日志，可实现异常日志的快速检测，为后续故障原因定位提供保证。
图2是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。如图2所示，异常日志检测方法包括以下步骤。
在步骤S201中，获取基于各服务日志构建并保存的树。
在步骤S202中，基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取第二日志模板。
在本公开实施例中，基于各服务的日志分别针对服务构建树，并保存构建的树。基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板。
并，基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取第二日志模板，以便对第一日志模板与第二日志模板进行比对，以通过比对确定异常模板。
根据本公开实施例，基于各服务日志构建并保存的树，在需要提取各服务日志模板时，基于保存的树重建树，可以充分利用保存的服务日志中的信息，避免重复训练，节省了异常日志检测时间，提高了异常日志检测效率。
图3是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。如图3所示，异常日志检测方法包括以下步骤。
在步骤S301中，响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
在步骤S302中，获取基于各服务日志构建并保存的树。
在步骤S303中，基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取第二日志模板。
图4是根据本公开另一示例性实施例示出的基于Drain算法建树示意图。在本公开实施例中，基于Drain算法针对不同服务日志中的每一服务日志完成建立树。Drain(depthtree based online log parsing)的核心思想是基于日志数据构建一个固定深度的解析树，树里蕴含了具体的模板提取规则。输入一个新的日志，Drain会先进行预处理，提取出时间戳、日志级别等信息。预处理之后进行建树了，建立的树中，根节点和内部节点编码了具体的搜索规则，并不包含任何的日志组。解析树的每一条路径都以一个叶子节点结束，下图重点描绘了一个叶子节点。每一个叶子节点里存储了一堆的日志组，日志组包括log event和log ids，其中，log event是当前叶子节点中与当前日志最匹配的模板，log ids记录了符合当前log event的日志id。树的深度由预先设好的参数depth决定。
基于Drain算法建立树的步骤包括：
预处理步骤，提取日志级别、时间戳这些信息，使用正则表达式划分和替代。例如，上述正则表达式用来预处理hdfs日志，其他日志根据具体格式微调。可以采用如下方法实现：
′log_format′:′＜Date＞＜Time＞＜Pid＞＜Level＞＜Component＞：＜Content＞′
根据日志信息长度搜索步骤，基于一个假定，即同一个日志event对应的日志信息很可能长度相同。从根节点开始，第一层内部节点根据预处理过的日志长度来划分，例如，“Receive from node 5”，即被分到长度为4的节点。
根据词搜索步骤，按照树的深度，依次日志中包括的词进行划分。例如，“Receivefrom node 5”，先按照“Receive”划分，如果深度还没到达设置的depth，接着按照“from”划分，依此类推。直至深度等于设置的depth。
根据词的相似度查找。
Figure BDA0002763438870000071
其中，seq1代表当前日志信息，seq2代表日志模板，seq(i)代表序列的第i个词，n是序列的长度。equ的定义如下：
Figure BDA0002763438870000072
其中，t1、t2分别为equ公式中的两个参数，即equ为进行t1与t2两值是否相等的判断，当t1、t2数值相等时，equ的值为1；当t1、t2数值不相等时，equ的值为0。利用equ进行当前日志信息与当前日志模板中第i个词是否为相同的判断。log message到了构建的树中的叶子节点。叶子节点的log groups，每个log group包括log event，比较log message和logevent的相似度。上述两个公式即用来计算相似度，用相同词的长度除以序列总长度。如果相似度大于设定的阈值，选择相似度最高的log event所属的log group加入，没有返回none。
图5是根据本公开一示例性实施例示出的一种更新树方法示意图。更新树方法包括，如果在前一步骤有返回值，将log id加到对应的group，通过与log message比较，更新log event：词相同的位置不动，不相同的改成通配符<*>。
如果在前一步骤无返回值，创建一个新的log group，log event就是当前的logmessage，log id包含当前log message的id。
根据本公开实施例，基于Drain算法针对不同服务日志中的每一服务日志完成建立树，分别保存不同服务日志基于Drain算法所建立的树，性能好，有利于实现异常日志的有效检测。
图6是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。如图6所示，异常日志检测方法包括以下步骤。
在步骤S401中，获取第一日志以及第二日志，其中，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。
在步骤S402中，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。
在步骤S403中，确定日志模板之间相似度大于预设阈值的日志模板，合并日志模板之间相似度大于预设阈值的日志模板。
在步骤S404中，将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板。
在步骤S405中，将第一日志中与异常日志模板对应的日志，确定为异常日志。
在本公开实施例中，获取第一日志以及第二日志，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。在提取第一日志模块、第二日志模板后，还可以合并日志模板。
图7a-图7b是根据本公开一示例性实施例示出的一种合并日志模板方法的示意图。图7a示出了基于日志提取的、合并前的日志模板，图7b示出了合并后的日志模板。
在本公开实施例中，当日志模板中参数在靠前的位置，并且参数中不包含数字时，本应该属于同一个模板，被分成了多个模板。对于在同一个长度划分的子树的叶子节点里，对于出现次数少的模板，如果存在模板的相似度大于设定的阈值，确定日志模板之间相似度大于预设阈值的日志模板，合并日志模板之间相似度大于预设阈值的日志模板。将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板，并将第一日志中与异常日志模板对应的日志，确定为异常日志。
根据本公开实施例，确定日志模板之间相似度大于预设阈值的日志模板，合并日志模板之间相似度大于预设阈值的日志模板，对错分的日志模板进行合并，进一步对日志模板进行优化，提取的日志模板更为准确，进一步提高了异常日志检测的准确度。
图8是根据本公开一示例性实施例示出的一种日志模板映射方法的示意图。在本公开实施例中，将日志模板映射成模板id并保存，方便后续异常检测模型处理。即，同样的日志模板在进行异常日志检测时，映射到相同的数字，使测试集和训练集的模板id含义保持一致，使得训练和检测更有意义。
图9是根据本公开另一示例性实施例示出的一种异常日志检测方法的流程图。如图9所示，异常日志检测方法包括以下步骤。
在步骤S501中，获取第一日志以及第二日志，其中，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。
在步骤S502中，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。
在步骤S503中，将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板。
在步骤S504中，将第一日志中与异常日志模板对应的日志，确定为异常日志。
在步骤S505中，获取针对异常日志的反馈结果，反馈结果包括异常日志实际为第二日志，或者异常日志实际为异常日志。
在步骤S506中，剔除异常日志中包括的第二日志。
在本公开实施例中，获取第一日志以及第二日志，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板，并将第一日志中与异常日志模板对应的日志，确定为异常日志。
获取针对异常日志的反馈结果，可以是根据人工检查的结果进行反馈，反馈结果包括异常日志实际为第二日志，即正常日志被误认为异常日志，剔除异常日志中包括的正常日志，并将正常日志追加到正常日志的数据集中。当针对异常日志的反馈结果，异常日志实际为异常日志时，不作处理。
根据本公开实施例，根据人工检查的结果进行反馈，反馈结果包括异常日志实际为第二日志，即正常日志被误认为异常日志，剔除异常日志中包括的正常日志，提高了异常日志检测的准确度。
图10是根据本公开一示例性实施例示出的一种异常日志检测方法的示意图。如图10所示，异常日志检测方法包括以下步骤。
在步骤S601中，提取第二日志模板。
在本公开实施例中，收集预设数量的非报警期间的正常日志，即第二日志。基于Drain算法，使用第二日志来建树，在建树的过程中就提取了第二日志模板。如果服务的代码定期更新的话，每次更新后，继续收集第二日志，并提取第二日志模板。为了提高效率，基于Drain算法针对不同服务日志中的每二日志完成建立树，分别保存不同服务日志基于Drain算法所建立的树。对于每一服务，再次训练时更新保存的树，就能接着训练。充分利用之前的日志信息，节省时间。
图11是根据本公开一示例性实施例示出的提取第二日志模板的示意图。
在步骤S602中，提取第一日志模板。
在本公开实施例中，收集第一日志，默认收集报警后预设时间内产生的日志。基于待提取的第一日志模板，更新获取到的已保存的树，并基于更新后的树提取第一日志模板。
图12是根据本公开一示例性实施例示出的提取第一日志模板的示意图。
在步骤S603中，异常日志检测。
在本公开实施例中，通过比较第一日志模板和第二日志模板，得到第一日志模板里有而第二日志模板里没有的，即确定为异常日志模板。第一日志里异常日志模板对应的日志确定为异常日志。
图13是根据本公开一示例性实施例示出的异常日志检测示意图。
在步骤S604中，针对反馈结果，剔除异常日志中包括的第二日志。
在本公开实施例中，根据人工检查的结果进行反馈，反馈结果包括异常日志实际为第二日志，即正常日志被误认为异常日志，剔除异常日志中包括的正常日志，提高了异常日志检测的准确度。
根据本公开的实施例，通过接收到表征日志异常的报警信号后的第一日志与非报警期间的第二日志，基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板，基于第一日志模板、第二日志模板确定异常模板进而确定异常日志，可实现异常日志的快速检测，为后续故障原因定位提供保证。
基于相同的构思，本公开实施例还提供一种异常日志检测装置。
可以理解的是，本公开实施例提供的异常日志检测装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图14是根据本公开一示例性实施例示出的一种异常日志检测装置框图，参照图14，异常日志检测装置100包括获取模块101、提取模块102和确定模块103。
获取模块101，用于获取第一日志以及第二日志，其中，第一日志为接收到表征日志异常的报警信号后的日志，第二日志为接收到报警信号之前非报警期间的日志。
提取模块102，用于基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板。
确定模块103，用于将存在于第一日志模板中，且不存在于第二日志模板中的日志模板，确定为异常日志模板，并将第一日志中与异常日志模板对应的日志，确定为异常日志。
在一实施例中，提取模块102采用如下方式基于第一日志提取第一日志模板，并基于第二日志提取第二日志模板：获取基于各服务日志构建并保存的树；基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取第二日志模板。
图15是根据本公开又一示例性实施例示出的一种异常日志检测装置框图，参照图15，异常日志检测装置还包括：保存模块104。
保存模块104，用于响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
在一实施例中，确定模块103还用于基于Drain算法针对不同服务日志中的每一服务日志完成建立树之后，确定日志模板之间相似度大于预设阈值的日志模板。
图16是根据本公开又一示例性实施例示出的一种异常日志检测装置框图，参照图16，异常日志检测装置还包括：合并模块105。
合并模块105，用于合并日志模板之间相似度大于预设阈值的日志模板。
在一实施例中，获取模块101还用于：获取针对异常日志的反馈结果，反馈结果包括异常日志实际为第二日志，或者异常日志实际为异常日志。
图17是根据本公开又一示例性实施例示出的一种异常日志检测装置框图，参照图17，异常日志检测装置还包括：剔除模块106。
剔除模块106，用于剔除异常日志中包括的第二日志。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图18是根据一示例性实施例示出的一种用于异常日志检测装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图18，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种异常日志检测方法，其特征在于，包括：
获取第一日志以及第二日志，其中，所述第一日志为接收到表征日志异常的报警信号后的日志，所述第二日志为接收到所述报警信号之前非报警期间的日志；
基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板；
将存在于所述第一日志模板中，且不存在于所述第二日志模板中的日志模板，确定为异常日志模板；
将所述第一日志中与所述异常日志模板对应的日志，确定为异常日志。
2.根据权利要求1所述的异常日志检测方法，其特征在于，所述基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板，包括：
获取基于各服务日志构建并保存的树；
基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取所述第二日志模板。
3.根据权利要求2所述的异常日志检测方法，其特征在于，所述方法还包括：
响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
4.根据权利要求3所述的异常日志检测方法，其特征在于，基于Drain算法针对不同服务日志中的每一服务日志完成建立树之后，所述方法还包括：
确定日志模板之间相似度大于预设阈值的日志模板，合并日志模板之间相似度大于预设阈值的日志模板。
5.根据权利要求1所述的异常日志检测方法，其特征在于，所述方法还包括：
获取针对所述异常日志的反馈结果，所述反馈结果包括所述异常日志实际为第二日志，或者所述异常日志实际为异常日志；
剔除所述异常日志中包括的第二日志。
6.一种异常日志检测装置，其特征在于，包括：
获取模块，用于获取第一日志以及第二日志，其中，所述第一日志为接收到表征日志异常的报警信号后的日志，所述第二日志为接收到所述报警信号之前非报警期间的日志；
提取模块，用于基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板；
确定模块，用于将存在于所述第一日志模板中，且不存在于所述第二日志模板中的日志模板，确定为异常日志模板，并将所述第一日志中与所述异常日志模板对应的日志，确定为异常日志。
7.根据权利要求6所述的异常日志检测装置，其特征在于，所述提取模块采用如下方式基于所述第一日志提取第一日志模板，并基于所述第二日志提取第二日志模板：
获取基于各服务日志构建并保存的树；
基于待提取的第一日志模板，更新获取到的已保存的树，基于更新后的树提取第一日志模板，并基于待提取的第二日志模板，更新获取到的已保存的树，并基于更新后的树提取所述第二日志模板。
8.根据权利要求7所述的异常日志检测装置，其特征在于，所述装置还包括：
保存模块，用于响应于基于Drain算法针对不同服务日志中的每一服务日志完成建立树，则分别保存不同服务日志基于Drain算法所建立的树。
9.根据权利要求8所述的异常日志检测装置，其特征在于，所述确定模块还用于基于Drain算法针对不同服务日志中的每一服务日志完成建立树之后，确定日志模板之间相似度大于预设阈值的日志模板；
所述装置还包括：
合并模块，用于合并日志模板之间相似度大于预设阈值的日志模板。
10.根据权利要求6所述的异常日志检测装置，其特征在于，所述获取模块还用于：获取针对所述异常日志的反馈结果，所述反馈结果包括所述异常日志实际为第二日志，或者所述异常日志实际为异常日志；
所述装置还包括：
剔除模块，用于剔除所述异常日志中包括的第二日志。
11.一种异常日志检测装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至5中任意一项所述的异常日志检测方法。
12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至5中任意一项所述的异常日志检测方法。
CN202011225291.6A 2020-11-05 2020-11-05 异常日志检测方法、异常日志检测装置及存储介质 Pending CN112269730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011225291.6A CN112269730A (zh) 2020-11-05 2020-11-05 异常日志检测方法、异常日志检测装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011225291.6A CN112269730A (zh) 2020-11-05 2020-11-05 异常日志检测方法、异常日志检测装置及存储介质

Publications (1)

Publication Number Publication Date
CN112269730A true CN112269730A (zh) 2021-01-26

Family

ID=74346163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011225291.6A Pending CN112269730A (zh) 2020-11-05 2020-11-05 异常日志检测方法、异常日志检测装置及存储介质

Country Status (1)

Country Link
CN (1) CN112269730A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001656A1 (zh) * 2022-06-29 2024-01-04 中兴通讯股份有限公司 日志异常的检测方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001656A1 (zh) * 2022-06-29 2024-01-04 中兴通讯股份有限公司 日志异常的检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109359056B (zh) 一种应用程序测试方法及装置
CN111539443A (zh) 一种图像识别模型训练方法及装置、存储介质
EP3767488A1 (en) Method and device for processing untagged data, and storage medium
CN111461304A (zh) 分类神经网络的训练方法、文本分类方法、装置及设备
EP3734472A1 (en) Method and device for text processing
CN112148923B (zh) 搜索结果的排序方法、排序模型的生成方法、装置及设备
CN111797746B (zh) 人脸识别方法、装置及计算机可读存储介质
CN112783779B (zh) 测试用例的生成方法、装置、电子设备和存储介质
CN111813932B (zh) 文本数据的处理方法、分类方法、装置及可读存储介质
CN113779257A (zh) 文本分类模型的解析方法、装置、设备、介质及产品
CN112269730A (zh) 异常日志检测方法、异常日志检测装置及存储介质
CN106776812B (zh) 更新关键字的方法及装置
CN110175293B (zh) 一种确定新闻脉络的方法、装置及电子设备
CN104090915A (zh) 用户数据更新方法及装置
CN113609380B (zh) 标签体系更新方法、搜索方法、装置以及电子设备
CN115146633A (zh) 一种关键词识别方法、装置、电子设备及存储介质
CN116032782A (zh) 故障检测方法、设备及存储介质
CN110968246A (zh) 中文智能手写输入识别方法及装置
CN107301188B (zh) 一种获取用户兴趣的方法及电子设备
CN111428806B (zh) 图像标签确定方法、装置、电子设备及存储介质
CN113807540A (zh) 一种数据处理方法及装置
CN115730047A (zh) 一种智能问答方法、设备、装置及存储介质
CN112837813A (zh) 自动问诊方法及装置
CN115225702B (zh) 信息推送方法、装置、电子设备及存储介质
CN113362180B (zh) 疑似不规范的理财行为的客户信息识别方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination