CN112242929A - 日志检测方法及装置 - Google Patents

Abstract

本发明提供一种日志检测方法及装置，本实施例提供的日志检测方法，包括：获取第一实时日志；根据第一模板确定所述第一实时日志的第一异常范围；获取所述第一实时日志在所述第一异常范围内的第二实时日志；采用滑动窗的方式对所述第二实时日志进行切分；根据第一模型，确定所述第二实时日志的第一异常时间点。通过本公开实施例提供的日志检测方法，实现快速、准确的定位到发生故障时的异常日志，从而为故障根因诊断和业务快速恢复奠定基础。

Description

日志检测方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种日志检测方法及装置。

背景技术

随着5G建设的不断推进，电信网络设备日趋虚拟化和智能化，网络规模日益扩大的同时复杂度不断提升。复杂的电信网络会产生海量的设备日志，对设备日志分析作为隐患排查和故障定位的辅助手段，已成为近些年移动通信领域中的研究热点，其中，如何快速、准确地定位到关键日志并对其进行监控分析是日志异常检测中的核心问题。

现有技术中的日志检测方法，主要包括基于专家知识的检测方法、基于统计学的检测方法和基于机器学习的检测方法。其中，基于专家知识的检测方法不但依赖专家经验以及规则库的建立，而且无法实现对未知故障的识别，在后续维护中还需不断维护规则库，耗时耗力；基于统计学的检测方法易受噪声影响，适用于对一定时间间隔内产生的日志数据做分析，但无法定位到故障发生的具体时刻，同时受阈值选取的影响较大，准确性低；基于机器学习的检测方法，大多是直接对海量的原始日志进行训练，分析效率低，不利于故障抢修的高效处理。

因此，现有技术的日志检测方法如何能快速、准确的定位到发生故障时的异常日志是一个亟待解决的问题。

发明内容

本发明提供一种日志检测方法，以实现快速、准确的定位到发生故障时的异常日志，从而为故障根因诊断和业务快速恢复奠定基础。

第一方面，本公开提供一种日志检测方法，包括：

获取第一实时日志；

根据第一模板确定第一实时日志的第一异常范围；

获取第一实时日志在第一异常范围内的第二实时日志；

采用滑动窗的方式对第二实时日志进行切分；

根据第一模型，确定第二实时日志的第一异常时间点。

在一种可能的设计中，根据第一模板确定第一实时日志的第一异常范围，包括：

获取第一历史日志；

根据第一历史日志，确定第一模板；第一模板包括第一历史日志的第一关键字段列表；

根据第一模板，确定第一历史日志的第一正常范围，第一正常范围包括第一日志量的正常范围和第一成分数的正常范围；

根据第一模板，确定第一实时日志的第二关键字段列表；

根据第二关键字段列表和第一正常范围，确定第一异常范围。

在一种可能的设计中，方法还包括：

获取第一历史日志在第一正常范围内的第二历史日志；

采用滑动窗的方式对第二历史日志进行切分；

将切分后的第二历史日志输入第一模型，其中，第一模型包括第一编码器和第一解码器，第一编码器进行压缩编码处理；第一解码器进行重建还原处理；

当第一模型输出的第二历史日志在第一正常范围内时，确定第二历史日志还原成功。

在一种可能的设计中，方法还包括：

将切分后的第二实时日志输入第一模型；

确定第一模型进行重建还原处理之后得到的第二实时日志与输入第一模型之前的第二实时日志之间的第一差异位置；

根据第一差异位置，确定第二实时日志的第一异常时间点。

在一种可能的设计中，根据第一模板，确定第一历史日志的第一正常范围，包括：

根据统计学方法，对第一模板进行分析，确定第一日志量N₁的第一均值μ₁和第一方差σ₁；以及第一成分数N₂的第二均值μ₂和第二方差σ₂；其中，N₁为大于0的整数，μ₁为大于0的整数，σ₁为大于0的整数，N₂为大于0的整数，μ₂为大于0的整数，σ₂为大于0的整数；

第一日志量N₁的正常范围为|N₁-μ₁|＜3σ₁；第一成分数N₂的正常范围为|N₂-μ₂|＜3σ₂；

当|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＜3σ₂时，确定第一正常范围。

第二方面，本公开还提供一种日志检测装置，包括：

获取模块，用于获取第一实时日志；

第一确定模块，用于根据第一模板确定第一实时日志的第一异常范围；获取第一实时日志在第一异常范围内的第二实时日志；

第二确定模块，用于采用滑动窗的方式对第二实时日志进行切分；根据第一模型，确定第二实时日志的第一异常时间点。

在一种可能的设计中，第一确定模块具体用于：

获取第一历史日志；

根据第一历史日志，确定第一模板；第一模板包括第一历史日志的第一关键字段列表；

根据第一模板，确定第一历史日志的第一正常范围，第一正常范围包括第一日志量的正常范围和第一成分数的正常范围；

根据第一模板，确定第一实时日志的第二关键字段列表；

根据第二关键字段列表和第一正常范围，确定第一异常范围。

在一种可能的设计中，第二确定模块具体用于：

获取第一历史日志在第一正常范围内的第二历史日志；

采用滑动窗的方式对第二历史日志进行切分；

第一模型包括：第一编码器和第一解码器；

将切分后的第二历史日志输入第一模型，其中，第一模型包括：第一编码器和第一解码器，第一编码器进行压缩编码处理；第一解码器进行重建还原处理；

当第一模型输出的第二历史日志在第一正常范围内时，确定第二历史日志还原成功。

第三方面，本公开还提供一种数据库，包括：

处理器；以及，

存储器，用于存储处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行第一方面中任意一种日志检测方法。

第四方面，本公开实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种日志检测方法。

本公开提供一种日志检测方法及装置，通过获取第一实时日志；根据第一模板确定第一实时日志的第一异常范围；获取第一实时日志在第一异常范围内的第二实时日志；采用滑动窗的方式对第二实时日志进行切分；根据第一模型，确定第二实时日志的第一异常时间点，以实现快速、准确的定位到发生故障时的异常日志，从而为故障根因诊断和业务快速恢复奠定基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开根据一示例实施例示出的日志检测方法的应用场景图；

图2为本公开根据一示例实施例示出的日志检测方法的流程示意图；

图3为本公开根据一示例实施例示出的日志检测方法中日志模板的示意图；

图4为本公开根据一示例实施例示出的日志检测装置的结构示意图；

图5为本公开根据一示例实施例示出的数据库的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面将结合附图，对本发明的实施例进行描述。

图1为本公开根据一示例实施例示出的日志检测方法的应用场景图，如图1所示，多个设备在网络中运行，分别有设备101、设备102、设备103等，共n个设备，每个设备产生的日志对应关系为设备101产生日志104、设备102产生日志105、设备103产生日志106等，共x个日志；对x个日志进行字段分析，提取出统一的关键字段列表，组成第一模板107，第一模板107包括：1、时间戳；2、主机名；3、厂商标识；4、版本号；5、模块号；6、日志级别；7、信息摘要；8、日志标识；9、信息计数；10、详细信息。根据第一模板107分析日志内容中的日志量和成分数的正常范围，对正常范围内的日志，采用滑动窗的方式进行截取处理，得到多个切分的日志序列，将多个切分后的日志序列输入到深度模型中进行压缩和重建还原处理，在异常日志作为深度模型的输入日志时，经深度模型处理后会产生较大还原误差这一判断依据得到误差点，根据误差点定位到异常日志的具体时刻，从而实现对各个故障发生时刻的精准定位，为故障根因诊断和业务快速恢复奠定基础。

图2为本公开根据一示例实施例示出的日志检测方法的流程示意图；如图2所示，本实施例提供的日志检测方法，包括：

步骤201、获取第一实时日志；

具体的，当对设备日志进行分析检测以定位发生故障的具体时刻对应的异常日志时，先获取第一实时日志。

步骤202、根据第一模板确定第一实时日志的第一异常范围；

具体的，由于不同厂商、设备型号的日志格式不尽相同，因此在对日志进行分析时需要将原始日志文件处理成统一的需求字段格式，通过正则表达式的方法对不同厂商、设备型号的日志文本内容进行分析，实现模板字段特征信息的映射提取，从而生成便于处理的结构化日志数据，如图3所示，图3为本公开根据一示例实施例示出的日志检测方法中日志模板的示意图；日志的第一模板字段包括：1、时间戳；2、主机名；3、厂商标识；4、版本号；5、模块号；6、日志级别；7、信息摘要；8、日志标识；9、信息计数；10、详细信息。

由于设备在正常或稳定运行的状态下，相同时间间隔内，比如时间间隔为5分钟，日志量及成分数都会保持在一个相对固定的范围内，根据统计学方法，对经第一模板提取出的第一历史日志数据进行日志量和成分数分析，得到第一日志量N₁的第一均值μ₁和第一方差σ₁；第一成分数N₂的第二均值μ₂和第二方差σ₂；其中，N₁为大于0的整数，μ₁为大于0的整数，σ₁为大于0的整数，N₂为大于0的整数，μ₂为大于0的整数，σ₂为大于0的整数；以均值和方差作为基线数值特征，检测日志量和成分数是否在正常范围内，第一日志量N₁的正常范围为|N₁-μ₁|＜3σ₁，第一成分数N₂的正常范围为|N₂-μ₂|＜3σ₂；当|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＜3σ₂时，确定第一模板提取出的日志数据在第一正常范围内；其他3种情况：1、|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＞3σ₂；2、|N₁-μ₁|＞3σ₁，且|N₂-μ₂|＜3σ₂；3、|N₁-μ₁|＞3σ₁，且|N₂-μ₂|＞3σ₂；确定第一模板提取出的第一历史日志数据不在第一正常范围内，即归属为异常范围。

进一步具体的，根据第一模板提取出步骤201中第一实时日志的数据进行日志量和成分数的分析，结合上述正常范围的判断依据：|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＜3σ₂，确定出第一实时日志中的异常日志所在的第一异常范围。

通过上述步骤201-202的方法，先根据第一模板提取出日志数据的分析字段，再根据统计学方法，确定出分析字段的日志量和成分数的异常时间区间检测范围，从而实现了对异常日志的粗粒度时间区间的定位。

步骤203、获取第一实时日志在第一异常范围内的第二实时日志；

具体的，根据第一异常范围，确定第一实时日志的异常日志即第二实时日志。

步骤204、采用滑动窗的方式对第二实时日志进行切分。

具体的，为实现对粗粒度时间区间定位后的异常日志发生时刻的精确定位，对第一历史日志进行截取处理，先获取第一历史日志在第一正常范围内的第二历史日志，采用滑动窗的方式对第二历史日志进行切分，每次取滑动窗口时间区间内的多条日志，最终将第二历史日志切分为多个日志序列。由于在设备发生故障时，设备产生的日志会在10秒左右的时间内打印出多条，基于此，设定滑动窗口尺寸为10秒，举例来说，对第二历史日志按照10秒为一时间间隔进行日志切分，当10秒的时间窗口结束时出现新的日志则滑动窗口继续以10秒为增量后延，直至无日志出现，其中，窗口后延是为了确保在对发生故障的异常日志进行具体时刻的切分时能保持在同一个序列中。

进一步具体的，在通过对历史日志的截取处理后，根据设定的滑动窗口尺寸，对第二实时日志进行切分，得到异常日志的多个日志序列，为后续研究细粒度异常时间点的定位做好参数准备。

由于在设备运行正常时，其日志成分相对固定，且日志发生的顺序变动也不频繁，因此，基于固定、变动不频繁的特征，采用深度模型对滑动窗截取处理后的日志进行训练，能够实现对日志的成分分析。

进一步具体的，将切分后的第二历史日志输入第一模型，其中，第一模型为深度模型中的多层自编码器模型，包括第一编码器和第一解码器，第一编码器对输入数据进行压缩编码处理；第一解码器对压缩编码处理后的数据进行重建还原。当第一模型输出的第二历史日志在第一正常范围内时，确定第二历史日志还原成功。

步骤205、根据第一模型，确定第二实时日志的第一异常时间点。

具体的，由于经过第二历史日志训练好的第一模型能够将正常范围内的日志样本重建还原，当输入第一模型的日志为异常日志时，经第一模型处理后的输出日志与输入日志对比，会产生较大的还原误差，根据误差点可定位到异常日志的具体时刻，从而检测出故障发生的准确时间点。因此，根据第一模型，得到第一模型重建还原处理之后的第二实时日志与输入第一模型之前的第二实时日志之间的第一差异位置；根据第一差异位置，确定第二实时日志的第一异常时间点。根据该第一异常时间点即可定位故障发生的准确时间点。

通过上述步骤203-205的方法，在确定异常日志的粗粒度时间区间的定位后，采用滑动窗的方式对日志进行截取切分处理，再根据深度模型对切分处理后的日志进行压缩编码及重建还原，在异常日志作为深度模型的输入日志时，经深度模型处理后会产生较大还原误差这一判断依据得到误差点，根据误差点定位到异常日志的具体时刻，从而实现对各个故障发生时刻的精准定位，为故障根因诊断和业务快速恢复奠定基础。

图4为本公开根据一示例实施例示出的日志检测装置的结构示意图。如图4所示，本实施例提供的日志检测装置40，包括：

获取模块401，用于获取第一实时日志；

第一确定模块402，用于根据第一模板确定第一实时日志的第一异常范围；获取第一实时日志在第一异常范围内的第二实时日志；

第二确定模块403，用于采用滑动窗的方式对第二实时日志进行切分；根据第一模型，确定第二实时日志的第一异常时间点。

在一种可能的设计中，第一确定模块402具体用于：

获取第一历史日志；

根据第一历史日志，确定第一模板；第一模板包括第一历史日志的第一关键字段列表；

根据第一模板，确定第一历史日志的第一正常范围，第一正常范围包括第一日志量的正常范围和第一成分数的正常范围；

根据第一模板，确定第一实时日志的第二关键字段列表；

根据第二关键字段列表和第一正常范围，确定第一异常范围。

在一种可能的设计中，第二确定模块403具体用于：

获取第一历史日志在第一正常范围内的第二历史日志；

采用滑动窗的方式对第二历史日志进行切分；

第一模型包括：第一编码器和第一解码器；

将切分后的第二历史日志输入第一模型，其中，第一模型包括：第一编码器和第一解码器，第一编码器进行压缩编码处理；第一解码器进行重建还原处理；

当第一模型输出的第二历史日志在第一正常范围内时，确定第二历史日志还原成功。

在一种可能的设计中，第二确定模块403具体还用于：

将切分后的所述第二实时日志输入所述第一模型；

确定所述第一模型进行重建还原处理之后得到的第二实时日志与输入所述第一模型之前的第二实时日志之间的第一差异位置；

根据所述第一差异位置，确定所述第二实时日志的第一异常时间点。

在一种可能的设计中，第一确定模块402具体还用于：

根据统计学方法，对所述第一模板进行分析，确定所述第一日志量N₁的第一均值μ₁和第一方差σ₁；以及所述第一成分数N₂的第二均值μ₂和第二方差σ₂；其中，N₁为大于0的整数，μ₁为大于0的整数，σ₁为大于0的整数，N₂为大于0的整数，μ₂为大于0的整数，σ₂为大于0的整数；

所述第一日志量N₁的正常范围为|N₁-μ₁|＜3σ₁；所述第一成分数N₂的正常范围为|N₂-μ₂|＜3σ₂；

当|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＜3σ₂时，确定所述第一正常范围。

图5为本公开根据一示例实施例示出的数据库的结构示意图。如图5所示，本实施例提供的一种数据库50，包括：

处理器501；以及，

存储器502，用于存储处理器的可执行指令，该存储器还可以是flash(闪存)；

其中，处理器501配置为经由执行可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。

当存储器502是独立于处理器501之外的器件时，数据库50，还可以包括：

总线503，用于连接处理器501以及存储器502。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种日志检测方法，其特征在于，包括：

获取第一实时日志；

根据第一模板确定所述第一实时日志的第一异常范围；

获取所述第一实时日志在所述第一异常范围内的第二实时日志；

采用滑动窗的方式对所述第二实时日志进行切分；

根据第一模型，确定所述第二实时日志的第一异常时间点。

2.根据权利要求1所述的方法，其特征在于，所述根据第一模板确定所述第一实时日志的第一异常范围，包括：

获取第一历史日志；

根据所述第一历史日志，确定所述第一模板；所述第一模板包括所述第一历史日志的第一关键字段列表；

根据所述第一模板，确定所述第一历史日志的第一正常范围，所述第一正常范围包括第一日志量的正常范围和第一成分数的正常范围；

根据所述第一模板，确定所述第一实时日志的第二关键字段列表；

根据所述第二关键字段列表和所述第一正常范围，确定所述第一异常范围。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述第一历史日志在所述第一正常范围内的第二历史日志；

采用滑动窗的方式对所述第二历史日志进行切分；

将切分后的所述第二历史日志输入所述第一模型，其中，所述第一模型包括第一编码器和第一解码器，所述第一编码器进行压缩编码处理；所述第一解码器进行重建还原处理；

当所述第一模型输出的第二历史日志在所述第一正常范围内时，确定所述第二历史日志还原成功。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将切分后的所述第二实时日志输入所述第一模型；

确定所述第一模型进行重建还原处理之后得到的第二实时日志与输入所述第一模型之前的第二实时日志之间的第一差异位置；

根据所述第一差异位置，确定所述第二实时日志的第一异常时间点。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一模板，确定所述第一历史日志的第一正常范围，包括：

根据统计学方法，对所述第一模板进行分析，确定所述第一日志量N₁的第一均值μ₁和第一方差σ₁；以及所述第一成分数N₂的第二均值μ₂和第二方差σ₂；其中，N₁为大于0的整数，μ₁为大于0的整数，σ₁为大于0的整数，N₂为大于0的整数，μ₂为大于0的整数，σ₂为大于0的整数；

所述第一日志量N₁的正常范围为|N₁-μ₁|＜3σ₁；所述第一成分数N₂的正常范围为|N₂-μ₂|＜3σ₂；

当|N₁-μ₁|＜3σ₁，且|N₂-μ₂|＜3σ₂时，确定所述第一正常范围。

6.一种日志检测装置，其特征在于，包括：

获取模块，用于获取第一实时日志；

第一确定模块，用于根据第一模板确定所述第一实时日志的第一异常范围；获取所述第一实时日志在所述第一异常范围内的第二实时日志；

第二确定模块，用于采用滑动窗的方式对所述第二实时日志进行切分；根据第一模型，确定所述第二实时日志的第一异常时间点。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块具体用于：

获取第一历史日志；

根据所述第一历史日志，确定所述第一模板；所述第一模板包括所述第一历史日志的第一关键字段列表；

根据所述第一模板，确定所述第一历史日志的第一正常范围，所述第一正常范围包括第一日志量的正常范围和第一成分数的正常范围；

根据所述第一模板，确定所述第一实时日志的第二关键字段列表；

根据所述第二关键字段列表和所述第一正常范围，确定所述第一异常范围。

8.根据权利要求7所述的装置，其特征在于，所述第二确定模块具体用于：

获取所述第一历史日志在所述第一正常范围内的第二历史日志；

采用滑动窗的方式对所述第二历史日志进行切分；

所述第一模型包括：第一编码器和第一解码器；

将切分后的所述第二历史日志输入所述第一模型，其中，所述第一模型包括：第一编码器和第一解码器，所述第一编码器进行压缩编码处理；所述第一解码器进行重建还原处理；

当所述第一模型输出的第二历史日志在所述第一正常范围内时，确定所述第二历史日志还原成功。

9.一种数据库，其特征在于，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任一项所述日志检测方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述日志检测方法。

Images