CN115080286A - 一种网络设备日志异常的发现方法及装置 - Google Patents

一种网络设备日志异常的发现方法及装置 Download PDF

Info

Publication number
CN115080286A
CN115080286A CN202110276905.1A CN202110276905A CN115080286A CN 115080286 A CN115080286 A CN 115080286A CN 202110276905 A CN202110276905 A CN 202110276905A CN 115080286 A CN115080286 A CN 115080286A
Authority
CN
China
Prior art keywords
log
template
online
logs
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110276905.1A
Other languages
English (en)
Inventor
张静
王超
张宪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110276905.1A priority Critical patent/CN115080286A/zh
Publication of CN115080286A publication Critical patent/CN115080286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data

Abstract

本发明提供一种网络设备日志异常的发现方法及装置，该方法包括：获取网络设备的在线日志；将在线日志与模板库进行匹配，模板库包括正常模板、异常模板和未明确分类模板；若在线日志与异常模板匹配，确定网络发生异常；若在线日志与未明确分类模板匹配，根据各个时间段内与各个未明确分类模板匹配的在线日志的数量，生成第一时间序列化指标，监控第一时间序列化指标的异常情况；若在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的在线日志的数量，生成第二时间序列化指标，监控第二时间序列化指标的异常情况。本方法通过利用日志模板进行监控，提前发现网络异常问题，使故障排查时间大幅缩短。

Description

一种网络设备日志异常的发现方法及装置
技术领域
本发明涉及计算机网络运维领域，尤其涉及一种网络设备日志异常的发现方法及装置。
背景技术
网络对现代企业生产以及居民的消费生活的重要性日益提高，生产设备的运行和管理、内部沟通、对外展示，都要求有通畅的网络连接，但是物理和逻辑导致的故障难以避免。而且随着网络结构越来越复杂，可能发生故障的通路数量，随设备数量非线性增长，使得故障的排查越来越困难。
网络故障发生后，通常采用规则经验的手段对关联的网络设备日志逐一排查。排查的人工成本高，并且排查问题被动。面对一天40G的网络设备日志，很难做到人工全量分析，缺乏相邻日志的关联分析以及运维日志的智能聚合分析，排查故障问题周期长，故障难排查、难发现。
发明内容
本发明提供一种网络设备日志异常的发现方法及装置，通过对海量的网络设备日志进行聚合分析，利用日志模板监控提前发现问题，解决网络故障发生排查时间慢，故障排查流程繁琐的问题。
本发明提供一种网络设备日志异常的发现方法，包括：
获取网络设备的在线日志；
将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；
若所述在线日志与所述异常模板匹配，确定网络发生异常；
若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；
若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
根据本发明提供的一种网络设备日志异常的发现方法，监控所述第一时间序列化指标的异常情况，包括：
当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值；
监控所述第二时间序列化指标的异常情况，包括：
当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
根据本发明提供的一种网络设备日志异常的发现方法，若所述在线日志未匹配到模板库，所述方法还包括：
对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
根据本发明提供的一种网络设备日志异常的发现方法，生成所述正常模板、异常模板和未明确分类模板包括：
获取原始日志集合；
对所述原始日志集合进行分类，得到分类日志；
基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板；
将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
根据本发明提供的一种网络设备日志异常的发现方法，所述对所述原始日志集合进行分类，得到分类日志包括：
基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离；
将所述编辑距离小于设定阈值的原始日志作为同类日志。
根据本发明提供的一种网络设备日志异常的发现方法，基于所述分类日志，生成每类日志对应的模板树，包括：
对所述分类日志切词，构成词语单元；
计算所述词语单元在所述原始日志集合中出现的频率；
根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点；
根据预设的剪枝参数阈值，对所述初始模板树进行剪枝；
按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
根据本发明提供的一种网络设备日志异常的发现方法，所述根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树包括：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径；
对于其他条日志：
将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较；
若相同，将继续比较所述当前条日志的下一词语单元；
若不同，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
本发明还提供一种网络设备日志异常的发现装置，包括：
获取日志模块，用于获取网络设备的在线日志；
模板匹配和异常处理模块，用于将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；
若所述在线日志与所述异常模板匹配，确定网络发生异常；
若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；
若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于监控所述第一时间序列化指标的异常情况和监控所述第二时间序列化指标的异常情况，具体为：
当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值；
当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于：
对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于：
获取原始日志集合；
对所述原始日志集合进行分类，得到分类日志；
基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板；
将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于：
基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离；
将所述编辑距离小于设定阈值的原始日志作为同类日志。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于：
对所述分类日志切词，构成词语单元；
计算所述词语单元在所述原始日志集合中出现的频率；
根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点；
根据预设的剪枝参数阈值，对所述初始模板树进行剪枝；
按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
根据本发明提供的一种网络设备日志异常的发现装置，所述模板匹配和异常处理模块还用于：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径；
对于其他条日志：
将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较；
若相同，将继续比较所述当前条日志的下一词语单元；
若不同，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络设备日志异常的发现方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络设备日志异常的发现方法的步骤。
本发明提供的网络设备日志异常的发现方法及装置，通过获取网络设备的在线日志，将在线日志分别与模板库中的正常模板、异常模板和未明确分类模板进行匹配，若在线日志与异常模板匹配，确定网络发生异常；若在线日志与未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控第一时间序列化指标的异常情况；若在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的在线日志的数量，生成网络设备的第二时间序列化指标，监控第二时间序列化指标的异常情况，以实现利用日志模板监控提前发现网络异常问题，使故障排查时间大幅缩短。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的网络设备日志异常的发现方法的流程示意图之一；
图2是本发明提供的网络设备日志异常的发现方法的流程示意图之二；
图3是本发明提供的网络设备日志异常的发现方法的流程示意图之三；
图4是本发明提供的网络设备日志异常的发现方法的流程示意图之四；
图5是本发明提供的网络设备日志异常的发现方法的流程示意图之五；
图6是本发明提供的网络设备日志异常的发现方法的流程示意图之六；
图7是本发明提供的网络设备日志异常的发现装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的网络设备日志异常的发现方法的流程示意图，如图1所示，该方法包括：
步骤110，获取网络设备的在线日志。
日志用来记录用户操作、系统运行状态等信息，可以用于异常事件的事后诊断，与传统的通过监控KPI曲线进行异常检测的方式相比，日志消息包含与服务或设备有关的事件，能够反映邻居节点的异常、端口状态的改变等，可以描述KPI曲线无法体现的一些事件，达到更好的异常检测效果。
步骤120，将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板。若所述在线日志与所述异常模板匹配，执行步骤130，若所述在线日志与所述未明确分类模板匹配，执行步骤140，若所述在线日志未匹配到模板库，执行步骤150。
其中，基于模板内容，将能够确定对应日志所记录信息表明当前网络未发生故障的模板定义为正常模板；根据模板内容，将能够判断当前日志表明网络状态异常，并可以明确异常类别的模板定义为异常模板；对于其他基于模板内容，不能够确定对应日志存在的问题的模板，则将其定义为未明确分类模板。
步骤130，确定网络发生异常。
步骤140，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况。
步骤150，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
将未匹配到模板库的在线日志，定义为新产生的日志，此类日志也有可能是导致问题的根本原因，相对比较重要，需要进行进一步地统计和分析，以便于提早发现问题。
根据本发明的一个实施例，监控所述第一时间序列化指标的异常情况，包括：当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值。
监控所述第二时间序列化指标的异常情况，包括：当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
根据本发明的一个实施例，若所述在线日志未匹配到模板库，所述方法还包括：对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
根据本发明的一个实施例，图2为生成正常模板、异常模板和未明确分类模板的流程示意图，如图2所示，包括：
步骤210，获取原始日志集合。
步骤220，对所述原始日志集合进行分类，得到分类日志。
步骤230，基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板。
步骤240，将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
首先由人工根据生成的日志模板进行对应问题标签标注。然后根据标注的模板标签，训练命名实体识别模型对日志模板标注类别。
根据本发明的一个实施例，图3为对原始日志集合进行分类，得到分类日志的流程示意图，如图3所示，包括：
步骤310，基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离。
其中，正则表达式是由普通字符以及特殊字符组成的文字模式，用于字符串的匹配过程。编辑距离是用来度量两个序列相似程度的指标，即在两个字符串之间，由其中一个字符串转化为另一个字符串所需的最少单字符编辑次数。
步骤320，将所述编辑距离小于设定阈值的原始日志作为同类日志。
根据本发明的一个实施例，图4为基于分类日志，生成每类日志对应的模板树的流程示意图，如图4所示，包括：
步骤410，对所述分类日志切词，构成词语单元。
步骤420，计算所述词语单元在所述原始日志集合中出现的频率。
步骤430，根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点。
具体地，将所述词语单元分类为常量和变量，常量作为模板词，变量作为参数词。
步骤440，根据预设的剪枝参数阈值，对所述初始模板树进行剪枝。可选地，路径中的节点数大于等于5，以传递较多的模板信息。
步骤450，按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
具体地，将路径中的变量替换为*，作为最终模板。
根据本发明的一个实施例，所述根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树包括：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径。可选地，将条件概率过小的词语单元进行过滤。
对于其他条日志，图5为将日志中的词语单元添加至模板树中的流程示意图，如图5所示，包括：
步骤510，将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较。可选地，将条件概率过小的词语单元进行过滤。若相同，执行步骤520，若不同，执行步骤530。
步骤520，将继续比较所述当前条日志的下一词语单元。
步骤530，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
在所述模板树分枝时出现较多子节点的情况下，用*代替变量。
下面举例说明初始模板树的具体生成过程，表1为4条A类型日志，图6为生成对应初始模板树的过程。
表1
日志1 词语单元1 词语单元2 词语单元3 词语单元4
日志2 词语单元2 词语单元6 词语单元4
日志3 词语单元1 词语单元2 词语单元6
日志4 词语单元2 词语单元3 词语单元6 词语单元7
本发明提供的网络设备日志异常的发现方法，通过获取网络设备的在线日志，将在线日志分别与模板库中的正常模板、异常模板和未明确分类模板进行匹配，若在线日志与异常模板匹配，确定网络发生异常；若在线日志与未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控第一时间序列化指标的异常情况；若在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的在线日志的数量，生成网络设备的第二时间序列化指标，监控第二时间序列化指标的异常情况，以实现利用日志模板监控提前发现网络异常问题，使故障排查时间大幅缩短。
下面对本发明提供的网络设备日志异常的发现装置进行描述，下文描述的网络设备日志异常的发现装置与上文描述的网络设备日志异常的发现方法可相互对应参照。
图7为本发明提供的网络设备日志异常的发现装置的结构示意图，如图7所示，该装置包括：
获取日志模块710，用于获取网络设备的在线日志；
模板匹配和异常处理模块720，用于将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；
若所述在线日志与所述异常模板匹配，确定网络发生异常；
若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；
若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于监控所述第一时间序列化指标的异常情况和监控所述第二时间序列化指标的异常情况，具体为：
当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值；
当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于：
对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于：
获取原始日志集合；
对所述原始日志集合进行分类，得到分类日志；
基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板；
将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于：
基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离；
将所述编辑距离小于设定阈值的原始日志作为同类日志。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于：
对所述分类日志切词，构成词语单元；
计算所述词语单元在所述原始日志集合中出现的频率；
根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点；
根据预设的剪枝参数阈值，对所述初始模板树进行剪枝；
按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
根据本发明的一个实施例，所述模板匹配和异常处理模块720还用于：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径；
对于其他条日志：
将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较；
若相同，将继续比较所述当前条日志的下一词语单元；
若不同，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
本发明提供的网络设备日志异常的发现装置，通过获取网络设备的在线日志，将在线日志分别与模板库中的正常模板、异常模板和未明确分类模板进行匹配，若在线日志与异常模板匹配，确定网络发生异常；若在线日志与未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控第一时间序列化指标的异常情况；若在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的在线日志的数量，生成网络设备的第二时间序列化指标，监控第二时间序列化指标的异常情况，以实现利用日志模板监控提前发现网络异常问题，使故障排查时间大幅缩短。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行网络设备日志异常的发现方法，该方法包括：获取网络设备的在线日志；将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；若所述在线日志与所述异常模板匹配，确定网络发生异常；若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的网络设备日志异常的发现算法，该方法包括：获取网络设备的在线日志；将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；若所述在线日志与所述异常模板匹配，确定网络发生异常；若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的网络设备日志异常的发现算法，该方法包括：获取网络设备的在线日志；将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；若所述在线日志与所述异常模板匹配，确定网络发生异常；若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种网络设备日志异常的发现方法，其特征在于，包括：
获取网络设备的在线日志；
将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；
若所述在线日志与所述异常模板匹配，确定网络发生异常；
若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；
若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
2.根据权利要求1所述的网络设备日志异常的发现方法，其特征在于，监控所述第一时间序列化指标的异常情况，包括：
当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值；
监控所述第二时间序列化指标的异常情况，包括：
当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
3.根据权利要求1所述的网络设备日志异常的发现方法，其特征在于，若所述在线日志未匹配到模板库，所述方法还包括：
对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
4.根据权利要求1所述的网络设备日志异常的发现方法，其特征在于，生成所述正常模板、异常模板和未明确分类模板包括：
获取原始日志集合；
对所述原始日志集合进行分类，得到分类日志；
基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板；
将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
5.根据权利要求4所述的网络设备日志异常的发现方法，其特征在于，所述对所述原始日志集合进行分类，得到分类日志包括：
基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离；
将所述编辑距离小于设定阈值的原始日志作为同类日志。
6.根据权利要求4所述的网络设备日志异常的发现方法，其特征在于，基于所述分类日志，生成每类日志对应的模板树，包括：
对所述分类日志切词，构成词语单元；
计算所述词语单元在所述原始日志集合中出现的频率；
根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点；
根据预设的剪枝参数阈值，对所述初始模板树进行剪枝；
按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
7.根据权利要求6所述的网络设备日志异常的发现方法，其特征在于，所述根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树包括：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径；
对于其他条日志：
将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较；
若相同，将继续比较所述当前条日志的下一词语单元；
若不同，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
8.一种网络设备日志异常的发现装置，其特征在于，包括：
获取日志模块，用于获取网络设备的在线日志；
模板匹配和异常处理模块，用于将所述在线日志与模板库进行匹配，其中所述模板库包括正常模板、异常模板和未明确分类模板；
若所述在线日志与所述异常模板匹配，确定网络发生异常；
若所述在线日志与所述未明确分类模板匹配，根据各个时间段内与各个所述未明确分类模板匹配的所述在线日志的数量，生成第一时间序列化指标，监控所述第一时间序列化指标的异常情况；
若所述在线日志未匹配到模板库，根据各个时间段内未匹配到模板库的所述在线日志的数量，生成第二时间序列化指标，监控所述第二时间序列化指标的异常情况。
9.根据权利要求8所述的网络设备日志异常的发现装置，其特征在于，所述模板匹配和异常处理模块还用于监控所述第一时间序列化指标的异常情况和监控所述第二时间序列化指标的异常情况，具体为：
当前时间段内的与所述未明确分类模板匹配的所述在线日志的数量相对于上一时间段内的与所述未明确分类模板匹配的所述在线日志的数量的增长率大于阈值；
当前时间段内的所述未匹配到模板库的所述在线日志的数量相对于上一时间段内的所述未匹配到模板库的所述在线日志的数量的增长率大于阈值。
10.根据权利要求8所述网络设备日志异常的发现方法，其特征在于，所述模板匹配和异常处理模块还用于：
对未匹配到模板库的日志进行聚类，根据聚类结果进行辅助异常检测。
11.根据权利要求8所述网络设备日志异常的发现方法，其特征在于，所述模板匹配和异常处理模块还用于：
获取原始日志集合；
对所述原始日志集合进行分类，得到分类日志；
基于所述分类日志，生成每类日志对应的模板树，其中，所述模板树包括多个日志模板；
将所述日志模板输入至预训练的标签标注模型，以生成所述日志模板的标注类别，其中，所述标注类别包括正常模板、异常模板和未明确分类模板。
12.根据权利要求11所述的网络设备日志异常的发现方法，其特征在于，所述模板匹配和异常处理模块还用于：
基于正则表达式匹配所述原始日志集合，计算原始日志之间的编辑距离；
将所述编辑距离小于设定阈值的原始日志作为同类日志。
13.根据权利要求11所述的网络设备日志异常的发现方法，其特征在于，所述模板匹配和异常处理模块还用于：
对所述分类日志切词，构成词语单元；
计算所述词语单元在所述原始日志集合中出现的频率；
根据所述频率，以树状结构存储每类日志的词语单元，得到初始模板树；其中，以日志类型作为所述初始模板树的根节点，将每类日志的词语单元作为子节点；
根据预设的剪枝参数阈值，对所述初始模板树进行剪枝；
按照所述词语单元的语义调整所述初始模板树中子节点的排列顺序，得到更新后的模板树，其中，所述更新后的模板树包括多条路径，每条路径由所述根节点以及调整后的子节点生成。
14.根据权利要求11所述的网络设备日志异常的发现方法，其特征在于，所述模板匹配和异常处理模块还用于：
对于第一条日志：
将第一条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元作为子节点，根据所述根节点和所述子节点生成第一条路径；
对于其他条日志：
将当前条日志的词语单元按照所述频率降序排列，将降序排列的各个词语单元与所述初始模板树中的子节点依次进行比较；
若相同，将继续比较所述当前条日志的下一词语单元；
若不同，基于当前条日志的所述词语单元生成对应的子节点添加至所述初始模板树中。
15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述网络设备日志异常的发现方法的步骤。
16.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述网络设备日志异常的发现方法的步骤。
CN202110276905.1A 2021-03-15 2021-03-15 一种网络设备日志异常的发现方法及装置 Pending CN115080286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276905.1A CN115080286A (zh) 2021-03-15 2021-03-15 一种网络设备日志异常的发现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276905.1A CN115080286A (zh) 2021-03-15 2021-03-15 一种网络设备日志异常的发现方法及装置

Publications (1)

Publication Number Publication Date
CN115080286A true CN115080286A (zh) 2022-09-20

Family

ID=83241004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276905.1A Pending CN115080286A (zh) 2021-03-15 2021-03-15 一种网络设备日志异常的发现方法及装置

Country Status (1)

Country Link
CN (1) CN115080286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582339A (zh) * 2023-05-29 2023-08-11 四川云控交通科技有限责任公司 一种智能楼宇网络安全监控方法、监控系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582339A (zh) * 2023-05-29 2023-08-11 四川云控交通科技有限责任公司 一种智能楼宇网络安全监控方法、监控系统
CN116582339B (zh) * 2023-05-29 2024-03-08 四川云控交通科技有限责任公司 一种智能楼宇网络安全监控方法、监控系统

Similar Documents

Publication Publication Date Title
WO2020001642A1 (zh) 一种运维系统及方法
CN111309565B (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
CN113282461B (zh) 传输网的告警识别方法和装置
CN114785666B (zh) 一种网络故障排查方法与系统
CN111930592A (zh) 一种实时检测日志序列异常的方法和系统
CN115981984A (zh) 一种设备故障检测方法、装置、设备及存储介质
CN113590451B (zh) 一种根因定位方法、运维服务器及存储介质
WO2022048668A1 (zh) 知识图谱构建方法和装置、检查方法、存储介质
KR20230030542A (ko) 랜덤 컷 포레스트 알고리즘을 이용한 ai 기반의 설비 데이터 이상 감지 시스템과 그 방법
CN112306787A (zh) 报错日志处理方法、装置、电子设备和智能音箱
Chen et al. Log analytics for dependable enterprise telephony
CN112506750A (zh) 一种用于海量日志分析预警的大数据处理系统
CN114647558A (zh) 一种日志异常检测的方法和装置
CN113740666B (zh) 一种数据中心电力系统告警风暴根源故障的定位方法
CN115080286A (zh) 一种网络设备日志异常的发现方法及装置
CN112039907A (zh) 一种基于物联网终端评测平台的自动测试方法及系统
CN117170915A (zh) 数据中心设备故障预测方法、装置和计算机设备
CN113033673B (zh) 电机工况异常检测模型的训练方法及系统
Chakraborty et al. Root cause detection among anomalous time series using temporal state alignment
CN112147974B (zh) 基于化工过程知识自动化的报警根原因诊断方法
CN113836203A (zh) 一种网络数据化诊断检测分析系统
CN111612302A (zh) 一种集团级数据管理方法和设备
WO2024027127A1 (zh) 故障检测方法、装置、电子设备及可读存储介质
He et al. Fast Multivariate Time Series Anomaly Detection Based on Matrix Completion
CN117493905A (zh) 日志异常检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination