CN111209153B - 异常检测处理方法、装置及电子设备 - Google Patents

Abstract

本申请提出了一种异常检测方法、装置及电子设备，通过对获取的日志信息的日志类型进行检测，若确定存在未知日志的未知日志信息，可以利用系统中各资源之间的资源依赖关系，确定与未知日志信息的资源存在资源依赖关系的待定资源，从而结合该待定资源管理的异常报警信息，生成针对该未知类型日志的异常检测结果，辅助运维人员快速定位相应的故障点，降低了对于未知日志类型的日志信息的异常检测所花费的时长和成本，提高了系统运维效率。

Description

异常检测处理方法、装置及电子设备

技术领域

本申请主要涉及通信技术领域，更具体地说是涉及一种异常检测处理方法、装置及电子设备。

背景技术

在实际应用中，为了保证系统安全可靠运行，通常会对系统的运行情况进行监控，将采集到的运行参数与标准参数进行比对，确定运行参数是否异常，并在运行参数异常的情况下，及时进行报警。

然而，对于包含多个子系统的复杂系统，由于多个子系统之间可能通过工作流串接起来，通过上述方式确定系统整体运行异常，无法定位系统中的异常原因，进而影响了系统运维效率。

为了改善上述问题，目前提出了一种基于日志的异常检测方法，即通过检测日志中的异常关键字或特征值的方式，实现故障定位，但是对于可靠性较高的系统，由于异常故障发生很少，很难统计这类系统的异常关键字和特征值，进而导致现有这种基于日志的异常检测方法无法实现故障定位，需要对系统中各子系统进行一一排除，耗时长且成本高，降低了系统运维效率。

发明内容

有鉴于此，本申请提供了一种异常检测处理方法，所述方法包括：

获取日志信息；

检测所述日志信息的日志类型；

如果所述日志信息中存在所述日志类型为未知日志的未知日志信息，获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源；

检测特定时间内是否接收到与所述待定资源关联的异常报警信息，所述特定时间基于所述未知日志信息的生成时间确定；

依据检测结果，生成针对所述未知日志信息的异常检测结果。

在一些实施例中，所述获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源，包括：

获取系统资源配置信息，所述系统资源配置信息包括不同资源之间的资源依赖关系，以及不同资源各自的资源配置信息；

确定所述未知日志信息对应的第一资源；

依据所述不同资源之间的资源依赖关系，得到与所述第一资源存在资源依赖关系的待定资源；

所述依据检测结果，生成针对所述未知日志信息的异常检测结果包括：

如果所述特定时间内未接收到与所述待定资源关联的异常报警信息，将所述未知日志信息的日志类型更新为正常日志；

如果所述特定时间内接收到与所述待定资源关联的异常报警信息，确定所述第一资源为待定故障资源。

在一些实施例中，所述与所述待定资源关联的异常报警信息包括：监控到的针对所述待定资源的系统异常报告，和/或基于指示所述待定资源异常的异常日志信息生成的报警信息，所述异常日志信息是指日志类型为异常日志的日志信息。

在一些实施例中，如果特定时间内接收到与所述待定资源关联的异常报警信息，所述依据检测结果，生成针对所述未知日志信息的异常检测结果，还包括：

如果在所述资源依赖关系中，所述待定资源属于上层资源，所述第一资源属于下层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息，未接收到针对所述第一资源的异常报警信息，输出针对所述待定资源的所述异常报警信息、所述资源依赖关系及所述未知日志信息；

如果在所述资源依赖关系中，所述待定资源属于下层资源，所述第一资源属于上层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息，未接收到针对所述第一资源的异常报警信息，输出所述第一资源为待定故障资源，以及与所述待定资源关联的异常报警信息。

在一些实施例中，所述检测所述日志信息的日志类型，包括：

将所述日志信息输入第一分类器，得到所述日志信息的日志类型，所述日志类型包括正常日志、异常日志及未知日志，所述第一分类器基于不同日志类型的日志标识信息训练生成；

如果所述第一分类器得到属于所述未知日志的待定未知日志信息，检测是否存在所述未知日志对应的第二分类器，所述第二分类器是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息进行训练得到的；

如果不存在所述第二分类器，将所述待定未知日志信息确定为未知日志信息；

如果存在所述第二分类器，将所述待定未知日志信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率；

如果所述概率达到第一特定概率，将所述待定未知日志信息的日志类型更新为异常日志；

如果所述概率小于第二特定概率，将所述待定未知日志信息的日志类型更新为正常日志。

在一些实施例中，如果所述第二分类器具体是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息，及监控系统得到的异常报警信息训练生成的；

在存在所述第二分类器的情况下，所述方法还包括：

获取监控系统得到的异常报警信息；

所述将所述待定未知日志信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率，包括：

将所述待定未知日志信息及所述异常报警信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率，所述概率大小表示所述待定未知日志信息与所述异常报警信息之间的相关性大小。

在一些实施例中，所述方法还包括：

输出针对属于所述异常日志的异常日志信息的报警信息，以指示所述异常日志信息的故障资源。

在一些实施例中，所述日志信息是基于特定字符串模板生成的，所述特定字符串模板至少包括生成时间、操作系统参数及应用运行状态参数之中的一个或多个组合。

本申请还提出了一种异常检测处理装置，所述装置包括：

日志信息获取模块，用于获取日志信息；

日志类型检测模块，用于检测所述日志信息的日志类型；

资源获取模块，用于如果所述日志信息中存在所述日志类型为未知日志的未知日志信息，获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源；

异常报警检测模块，用于检测特定时间内是否接收到与所述待定资源关联的异常报警信息，所述特定时间基于所述未知日志信息的生成时间确定；

检测结果生成模块，用于依据检测结果，生成针对所述未知日志信息的异常检测结果。

本申请还提出了一种电子设备，所述电子设备包括：至少一个通信接口、至少一个存储器及至少一个处理器，其中：

所述存储器，用于存储实现如上述的异常检测处理方法的程序；

所述处理器，用于加载并执行所述存储器存储的所述程序，以实现如上述的异常检测处理方法的各个步骤。

由此可见，与现有技术相比，本申请提供了一种异常检测方法、装置及电子设备，通过对获取的日志信息的日志类型进行检测，若确定存在未知日志的未知日志信息，可以利用系统中各资源之间的资源依赖关系，确定与未知日志信息的资源存在资源依赖关系的待定资源，从而结合该待定资源管理的异常报警信息，生成针对该未知类型日志的异常检测结果，辅助运维人员快速定位相应的故障点，降低了对于未知日志类型的日志信息的异常检测所花费的时长和成本，提高了系统运维效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请提出的异常检测处理方法的一可选示例的流程示意图；

图2示出了本申请提出的异常检测处理方法的又一可选示例的流程示意图；

图3示出了本申请提出的异常检测处理方法的又一可选示例的流程示意图；

图4示出了本申请提出的异常检测处理装置的一可选示例的结构示意图；

图5示出了本申请提出的异常检测处理装置的又一可选示例的结构示意图；

图6示出了本申请提出的异常检测处理装置的又一可选示例的结构示意图；

图7示出了本申请提出的异常检测处理装置的又一可选示例的结构示意图；

图8示出了本申请实施例提出的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，示出了本申请提出的异常检测处理方法的一可选示例的流程示意图，该方法可以适用于电子设备，如手机、笔记本电脑、台式电脑、服务器等，本申请对该电子设备的产品类型不做限定。如图1所示，本实施例提出的异常检测处理方法可以包括：

步骤S11，获取日志信息；

在实际应用中，日志作为电子设备的一种监控工具，可以记录电子设备相应监控对象的运行情况，为了方便定位故障，本实施例可以预先确定生成日志的特定字符串模板，这样，每次生成日志时，日志生成程序可以将检测到的信息填写如相应的变量位置，即可生成一条日志信息。

可见，步骤S11获取的日志信息可以是基于特定字符串模板生成的，该特定字符串模板至少可以包括生成时间、操作系统参数及应用运行状态参数之中的一个或多个组合，本申请对该特定字符串模板的内容不做限定，可以根据实际需求进行灵活调整。

基于上述举例，日志生成所需的特定字符串模板可以为：

{time},{host},{application}运行状态：指标1＝{指标1}，指标2＝{指标2}

基于该特征字符串模板，某一历史时刻，检测到的参数可以为表1记录的参数，但并不局限于此，本申请仅以此为例来说明日志信息的生成方式：

表1

参数名称	数值
		Time	2019-11-27 14:39:21.008
Host	Windows-Node
		Application	演示应用
指标1	1％
		指标2	20

如上述表1中，按照特定字符串模板的格式要求，在该历史时刻，可以检测生成时间Time、操作系统参数Host、应用运行状态参数Application，以及设定的指标1和指标2的具体变量参数，本申请对该指标1和指标2所代表的具体指标内容不做限定，可以根据实际情况确定。

基于上述表1记录的信息，可以生成相应历史时刻的日志信息，如将特定字符串模板中各参数内容拼接，如：

2019-11-27 14:39:21.008,Windows-Node,演示应用运行状态：指标1＝1％，指标2＝20；

本实施例实际应用中，日志信息可以用于实现对电子设备或其通信连接的设备中不同资源的监控，为了能够通过日志信息准确实现故障资源定位，通常可以针对每一个资源或每一类资源，按照上述方式但并不局限于上述方式生成相应日志信息。

其中，上述资源可以指应用软件、数据库、虚拟机、网络设备等等，因此，本实施例获取的日志信息可以包括应用软件日志信息、数据库日志信息、虚拟机日志信息、网络设备日志信息等等，本申请对获取的日志信息所对应的资源类型不做限定。

需要说明的是，对于上述日志信息所对应资源，以及资源之间的资源依赖关系，如资源A运行需要调用资源B，资源B运行会产生的信息会发送至资源C记录等等，该资源的配置信息以及资源之间的资源依赖关系可以存储于配置管理数据库(ConfigurationManagement Database，CMDB)中。

通常情况下，CMDB可以存储并管理企业IT架构中设备的各种配置信息，其与所有服务支持和服务交互流程紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。可见，该CMDB至少可以包括整合、调和、同步、映射和可视化等功能，其中：

整合是指能够充分利用来自其他数据源的信息，对CMDB中包含的记录源属性进行存取，将多个数据源合并至一个视图中，生成连同来自CMDB和其他数据源信息在内的报告；调和能力是指通过对来自每个数据源的匹配字段进行对比，保证CMDB中的记录在多个数据源中没有重复现象，维持CM DB中每个配置项目数据源的完整性；自动调整流程使得初始实施、数据库管理员的手动运作和现场维护支持工作降至最低；同步是指确保CMDB中的信息能够反映联合数据源的更新情况，在联合数据源更新频率的基础上确定C MDB更新日程，按照经过批准的变更来更新CMDB，找出未被批准的变更；映射和可视化，举例说明应用间的关系并了解应用和其他组件之间的依存关系，了解变更造成的影响并帮助诊断问题。

可见，本申请可以利用CMDB的映射和可视化能力，获得不同资源之间的资源依赖关系并存储，以便据此实现故障资源定位，具体实现过程可以参照下文实施例相应部分的描述。

步骤S12，检测该日志信息的日志类型；

对于日志信息的日志类型，通常可以划分为正常日志、异常日志及未知日志三大类。其中，对于正常日志的日志信息，可以认为相应的资源运行正常；对于异常日志的日志信息，可以认为相应的资源运行异常，结合上述对日志信息的描述，这种情况下，可以直接基于该日志信息的内容，定位异常资源；对于未知日志的日志信息，无法确定其对应资源是否异常，需要结合其他信息对资源进行异常检测，本申请主要对如何基于这类日志信息，实现异常检测的过程进行描述。

在一些实施例中，本申请可以通过人工分类方式，实现对获取的日志信息的日志类型的检测，如输出获取的日志信息，以供工作人员判断其日志类型，再输入电子设备，以使电子设备获得各日志信息的日志类型。当然，本申请也可以将获取的日志信息，输入预先训练出的分类器，得到各日志信息的日志类型，本申请对步骤S12的具体实现方式不做限定。

步骤S13，如果获取的日志信息中存在日志类型为未知日志的未知日志信息，获取与未知日志信息对应的资源存在资源依赖关系的待定资源；

继上述分析，对于日志类型为未知日志的未知日志信息，不能直接依据该未知日志信息的内容，来确定其对应的资源是否故障，这种情况下，本实施例将利用系统中各资源之间的资源依赖关系，确定与未知日志对应的资源存在资源依赖关系的待定资源，进而利用该待定资源的相关异常报警信息，实现异常检测。

基于上述发明构思，本申请利用CMDB存储的资源配置信息、不同资源之间的资源依赖关系，得到与未知日志信息对应的资源存在资源依赖关系的其他资源，并将这些资源记为待定资源。关于CMDB存储的资源依赖关系可以依据各资源自身的资源配置信息确定，且随着不同资源的资源配置信息的更新，各资源之间的资源依赖关系可能会改变，因此，可以根据更新后的资源配置信息，对该资源关联的资源依赖关系进行更新，具体更新方法不做详述。

且，本申请对系统具有的不同资源的资源依赖关系的表示方式不做限定，本实施例的得到未知日志信息对应的资源后，如某一应用程序、虚拟机、驱动程序、数据库等等，可以查询该资源在整个系统的资源依赖关系中的位置，进而得到与该资源存在资源依赖关系的待定资源，其包含了与该资源存在直接依赖关系的待定资源，以及与该资源存在间接依赖关系的待定资源，具体查询方式不做详述。

步骤S14，检测特定时间内是否接收到与待定资源关联的异常报警信息；

在系统的实际运行过程中，对于系统异常的报警通常会包括多种途径，通过日志信息分析报警仅是其中的一种实现方式，还可以通过对资源运行产生的数据进行监控，监控到异常数据后，输出异常报警信息等等，本申请对系统中的异常报警途径不做一一详述。

应该理解的是，由于不同资源之间通常是存在一定资源依赖关系，若某一资源故障，与其存在资源依赖关系的其他资源也会受到影响，导致该其他资源的运行数据异常或产生异常日志信息等，所以，本申请对于检测到的未知日志信息，本实施例可以通过对其关联的待定资源进行异常检测分析，实现故障点定位。

其中，对于待定资源的异常检测分析，可以包括待定资源对应的日志信息的异常检测分析，以及与该待定资源关联的其他系统异常报警信息的分析，可以基于系统存在的异常报警类型确定，本实施例不作详述。

对于存在资源依赖关系的不同资源，若下层资源发生异常后，通常经过一定时间后，其上层资源也会发生异常，上层资源与下层资源发生异常的时间间隔不会很长。基于此，本实施例利用存在资源依赖关系的待定资源，对未知日志信息对应的资源进行异常检测，在获取该待定资源的异常报警信息式，需要该异常报警信息的产生时间，与该未知日志信息的生成时间的时间间隔小于特定时间段，避免该时间间隔过长，所获取其的待定资源的异常报警信息是由其他资源(非未知日志信息对应的资源)异常引起的，误将其认为是由未知日志信息对应的资源异常引起，导致据此实现的异常检测结果不准确。

所以，本实施例可以基于滑动时间窗口，实现对待定资源管理的异常报警信息的检测，该滑动时间窗口通常是复杂事件处理概念，用以计算一段时间内的各个数据源之间的关系，滑动窗口之外的数据，不被分析。基于此，本申请可以依据未知日志的生成时间，确定相邻连续的过去一段时间记为特定时间为该滑动窗口。如该生成时间前一个月内才采集到的异常报警信息，通常不会用于当前未知日志信息的异常检测，而是获取该生成时间相邻的5分钟内采集到的异常报警信息，实现对未知日志信息的异常检测。

可见，该滑动窗口通常是靠近未知日志信息生成时间且比较短的时间，本申请将其记为特定时间，但并不局限于5分钟，本申请可以基于未知日志信息的生成时间，并结合实际情况确定特定时间的具体数值。

步骤S15，依据检测结果，生成针对未知日志信息的异常检测结果。

结合上述分析，对于存在资源依赖关系的资源，通常是下层资源异常，可能会引起上层资源的异常，而上层资源异常，一般不会引起下层资源异常。所以，在接收到异常报警信息后，可以进一步确定该异常报警信息是对什么哪个资源的报警，该资源或其关联资源与未知日志信息的资源是什么资源依赖关系，即该资源或其关联资源属于上层资源还是下层资源，以便据此确定依据哪些信息生成异常检测结果，辅助维修人员进一步确定故障点。

关于步骤S15中，不同检测结果，生成相应的异常检测结果的具体实现过程本申请不做限定，可以参照但并不局限于下文实施例相应部分的描述。

综上，本实施例中，通过对获取的日志信息的日志类型进行检测，若确定存在未知日志的未知日志信息，可以利用系统中各资源之间的资源依赖关系，确定与未知日志信息的资源存在资源依赖关系的待定资源，从而结合该待定资源管理的异常报警信息，生成针对该未知类型日志的异常检测结果，辅助运维人员快速定位相应的故障点，降低了对于未知日志类型的日志信息的异常检测所花费的时长和成本，提高了系统运维效率。

参照图2，示出了本申请提出的异常检测处理方法的又一可选示例的流程示意图，该方法可以是对上述实施例描述的异常检测处理方法的一可选细化实现方式，如图2所示，该细化的异常检测处理方法可以包括：

步骤S21，获取日志信息；

步骤S22，检测所述日志信息的日志类型；

关于步骤S21和步骤S22的实现，可以参照上述实施例相应部分的描述，不再赘述。

步骤S23，如果获取的日志信息中存在日志类型为未知日志的未知日志信息，获取系统资源配置信息；

本实施例中，该系统资源配置信息可以包括不同资源之间的资源依赖关系，以及不同资源各自的资源配置信息，

在一种可能的实现方式中，结合上述对CMDB的描述，该系统资源配置信息可以存储于该CMDB中，在实际应用中，根据实际需求，电子设备可以向该CMDB发送资源配置获取请求，请求获取该CMDB存储的系统资源配置信息，或者由于CMDB基于不同资源各自的资源配置信息，生成的资源依赖关系以及各资源配置信息等。

其中，若电子设备直接从CMDB获取系统资源配置信息中的资源配置信息，电子设备可以据此确定不同资源之间的资源依赖关系。本申请对电子设备获取资源依赖关系的具体方式不做限定，并不局限于本实施例描述的实现方式。

步骤S24，确定未知日志信息对应的第一资源；

步骤S25，依据不同资源之间的资源依赖关系，得到与第一资源存在资源依赖关系的待定资源；

本实施例为了方便描述，将未知日志信息对应的资源记为第一资源，关于获取与第一资源存在资源依赖关系的待定资源的获取过程，可以参照上述实施例相应部分的描述，不再赘述。

步骤S26，检测特定时间内是否接收到与待定资源关联的异常报警信息，如果是，进入步骤S27；如果否，执行步骤S28；

步骤S27，确定第一资源为待定故障资源；

步骤S28，将未知日志信息的日志类型更新为正常日志。

本实施例中，结合上述分析，基于滑动时间窗口，在时间窗口内接收到与任一待定资源关联的异常报警信息，如针对该待定资源的异常报警信息，或针对与该待定资源存在资源依赖关系的资源的异常报警信息，均可能是未知日志信息对应的第一资源异常引起的，因此，在这种情况下，可以将第一资源确定为待定故障资源，缩小故障检测范围，以使得维修人员能够据此实现有针对性的故障排查检测，提高故障定位效率。

若按照上述方式检测，未接收到针对第一资源以及与其存在资源依赖关系的待定资源的异常报警信息，可以认为该第一资源对应的未知日志信息记录的信息正常，可以将该未知日志信息的日志类型从未知日志更新为正常日志，以提高后续日志类型检测准确性。

基于上述分析，在一些实施例中，上述与待定资源关联的异常报警信息可以包括：监控到的针对待定资源的系统异常报告，和/或基于指示所述待定资源异常的异常日志信息生成的报警信息等等，本申请对该异常报警信息的获取方式及其表现方式不做限定。应该理解的是，异常日志信息可以是指日志类型为异常日志的日志信息。

在又一些实施例中，结合上文对资源依赖关系相应部分的描述，在异常发生的时候，可能多个资源或系统都会产生未知日志类别的日志信息。如果CMDB中记录了资源依赖关系，可以通过跨不同资源层或子系统的分析，识别出来各层异常报告中，最下层报告异常的资源。若上层资源或子系统产生偶发的未知日志信息，同时下层资源监控或日志分类器识别出来异常，可以提供基于未知日志信息的类型分析结果之外，还可以提供下层异常报告。如果上层资源或子系统识别通过监控或日志分类器识别出来异常，同时下层资源未发生监控或日志分类器所识别的异常，但是检测到未知日志信息，可以提供上层异常定位报告同时，提供资源依赖关系和最下层报告未知日志类别消息。

基于上述分析，本申请可以在确定特定时间内接收到与待定资源关联的异常报警信息的情况下，为了能够更加准确定位故障资源，可以进一步第一资源与各待定资源之间的依赖关系，如果待定资源属于上层资源，第一资源属于下层资源，且在特定时间内接收到针对待定资源的异常报警信息，未接收到针对第一资源的异常报警信息，这种情况下，第一资源可能未故障，故障可能存在待定资源中，所以，电子设备可以输出针对待定资源的异常报警信息、资源依赖关系及未知日志信息。

如果待定资源属于下层资源，第一资源属于上层资源，且在特定时间内接收到针对待定资源的异常报警信息，未接收到针对第一资源的异常报警信息，这种情况下，输出第一资源为待定故障资源，以及与待定资源关联的异常报警信息等，本申请对上文描述的两种检测情况下，输出的异常检测结果的内容不做限定，并不局限于本实施例描述的输出内容，可以根据实际需求进行灵活调整，本申请不做详述。

综上，本实施例中，对于获取的未知日志类型的未知日志信息，将依据资源依赖关系，检测与其第一资源存在资源依赖关系的其他资源，是否在特定时间内接收到异常报警信息，据此分析第一资源是否为疑似故障资源，为后续运维提供参考，提高运维效率。

参照图3，示出了本申请提出的异常检测处理方法的又一可选示例的流程示意图，该方法可以是对上述实施例描述的异常检测处理方法的又一可选细化实现方式，与上述细化实现方式不同的是，本实施例主要对如何检测日志信息的日志类型进行细化，如图3所示，该细化的异常检测处理方法可以包括：

步骤S31，获取日志信息；

步骤S32，将日志信息输入第一分类器，得到日志信息的日志类型；

结合上述分析，日志类型可以包括正常日志、异常日志(其可以包括具有风险的日志信息)及未知日志，该第一分类器基于不同日志类型的日志标识信息训练生成，该日志标识信息可以基于确定日志类型的样本日志信息分析确定，如日志信息的关键数据等，本申请对该日志标识信息不做限定。

在一种可能的实现方式中，上述第一分类器可以是人工分类器，即直接利用人工对各日志信息的分类标记，生成该第一分类器，以实现对获取的日志信息的日志类型的检测。

如果所述第一分类器得到属于所述未知日志的待定未知日志信息，检测是否存在所述未知日志对应的第二分类器，所述第二分类器是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息进行训练得到的。

基于对日志信息的日志类型的检测，如果存在属于异常日志的异常日志信息，可以输出针对属于异常日志的异常日志信息的报警信息，以指示异常日志信息的故障资源，具体实现过程不做详述。

步骤S33，如果第一分类器得到属于未知日志的待定未知日志信息，检测是否存在未知日志对应的第二分类器，如果否，进入步骤S34；如果是，执行步骤S35；

本实施例中，第二分类器可以是基于机器学习算法，对由第一分类器得到属于未知日志的样本日志信息进行训练得到的。应该理解的是，第二分类器需要对大量样本日志信息进行不断训练，才能够保证其输出的分类结果的准确性，所以，经过上述第一分类器的分类后，如果得到的历史待定未知日志信息的数量足够多，如达到数量阈值的情况下，可以采用统计学方式检测日志类型，即训练得到第二分类器，以实现对获取的日志信息的日志类型的快速分类。

基于此，可以通过检测历史待定未知日志信息的数量，来确定是否存在第二分类器；如果历史待定未知日志信息的数量小于数量阈值，说明未知日志类型的日志信息较少，无法进行模型训练得到第二分类器，这种情况下，可以直接将其确定为未知日志。

在又一些实施例中，为了进一步提高第二分类器的分类准确性，在训练第二分类器时，所需要的样本数据除了样本日志信息外，还可以获取监控系统得到的异常报警信息，通过该异常报警信息与该待定未知日志信息之间的相关性大小，来实现对待定未知日志信息的分类。可见，在训练第二分类器时，所训练的样本数据内容不同，训练得到的第二分类器也会有所差异，即实现对待定未知日志信息的分类的依据不同，本申请对第二分类器的具体训练过程不做详述。

步骤S34，将待定未知日志信息确定为未知日志信息；

对于确定为未知日志的日志信息，可以按照上述实施例描述的方法，对其进行异常检测，本实施例不做赘述。

步骤S35，将待定未知日志信息输入第二分类器，确定待定未知日志信息为异常日志信息的概率；

本实施例中，步骤S35的概率大小可以表明该待定未知日志信息为高风险日志信息的概率大小。

在一些实施例中，结合上述对第二分类器的获取过程的描述，若第二分类器是基于机器学习算法，对由第一分类器得到属于未知日志的样本日志信息，及监控系统得到的异常报警信息训练生成的，那么，在对待定未知日志信息做进一步分类分析时，可以获取监控系统得到的异常报警信息，具体可以是获取特定时间内生成的异常报警信息，之后，将待定未知日志信息及异常报警信息输入第二分类器，确定待定未知日志信息为异常日志信息的概率，这种情况下，该概率大小可以表示待定未知日志信息与异常报警信息之间的相关性大小。

其中，待定未知日志信息与异常报警信息之间的相关性越大，待定未知日志信息为异常日志信息的概率越大。关于电子设备利用这种第二分类器实现日志信息分类的方式，与本实施例描述的分类检测方式类似，本申请不再详述。

在又一些实施例中，对于获取的日志信息的分类检测，本申请也可以将其输入上述第二分类器，得到该日志信息的日志类型，需要说明，此时的第二分类器在训练时的样本数据是不同日志类型的样本日志信息，不再仅是待定未知日志信息，具体训练过程不做详述。

步骤S36，检测待定未知日志信息为异常日志信息的概率是否达到第一特定概率，如果达到，进入步骤S37；如果未达到，执行步骤S38；

步骤S37，将待定未知日志信息的日志类型更新为异常日志；

步骤S38，将待定未知日志信息的日志类型更新为正常日志。

继上文对得到的概率的描述，本实施例认为待定未知日志信息为异常日志信息的概率达到第一特定概率，可以认为该待定未知日志信息为高风险日志信息，可以将其日志类型从未知日志更新为异常日志；反之，可以认为该待定未知日志信息为低风险日志信息，可以将其日志类型从未知日志更新为正常日志，可以不再进一步对其进行异常检测。

当然，为了提高异常检测可靠性，本申请还可以统计同一种资源对应的确定为低风险日志信息的次数，若达到特定次数，可以确定其为未知日志信息，按照上述实施例相应部分的描述，实现后续异常检测；或者，直接将这种待定未知日志信息确定为异常日志信息，以便后续对其对应的资源进行针对性监控等等，本申请对低风险日志信息的后续处理过程不做限定，并不局限于本实施例描述的这几种处理方式。

在实际应用中，结合上述实施例对未知日志类型的未知日志信息的描述，由于在可靠性高的系统中，大部分日志信息是高度重复的，异常日志的发生几率较低，且异常日志类型的异常日志信息通常是伴随系统异常而发生的。所以，对于可靠性较高的系统，其日志信息的日志类型通常是无法直接被第一分类器或第二分类器所识别，此时，当系统出现异常报警，没有其他定位线索，可以认为未知日志信息属于偶发日志信息，有可能是异常资源所报告的。

基于此，经过上述第一分类器和第二分类器对日志信息的分类检测后，仍无法确定该日志信息的日志类型(如低风险的日志信息)，且对应资源在监控系统中报告错误，且没有其他监控系统或日志分析过程能呈现其对应的故障节点，本申请可以将该待定未知日志信息对应的资源确定为疑似故障资源，可以按照上述实施例描述的方式，对其做进一步异常检测，具体检测过程不做赘述。

综上所述，本实施例，对于获取的日志信息，为了提高日志类型检测效率及准确性，本实施例先后通过第一分类器和第二分类器对其进行日志类型的检测，确定获取的各日志信息的日志类型，并对其日志类型进行标记，以供后续查看；而对于无法检测出日志信息是否异常的日志信息，确定为未知日志信息，后续将利用系统中各资源之间的资源依赖关系，得到针对该未知类型日志的异常检测结果，辅助维修人员快速定位故障点。

参照图4，示出了本申请提出的异常检测处理装置的一可选示例的结构示意图，该装置可以适用于电子设备，如图4所示，该异常检测装置可以包括：

日志信息获取模块11，用于获取日志信息；

其中，日志信息可以是基于特定字符串模板生成的，所述特定字符串模板至少包括生成时间、操作系统参数及应用运行状态参数之中的一个或多个组合，关于日志信息的生成过程可以参照上述方法实施例相应部分的描述。

日志类型检测模块12，用于检测所述日志信息的日志类型；

资源获取模块13，用于如果所述日志信息中存在所述日志类型为未知日志的未知日志信息，获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源；

异常报警检测模块14，用于检测特定时间内是否接收到与所述待定资源关联的异常报警信息，所述特定时间基于所述未知日志信息的生成时间确定；

检测结果生成模块15，用于依据检测结果，生成针对所述未知日志信息的异常检测结果。

在一些实施例中，如图5所示，上述资源获取模块13可以包括：

系统资源配置信息获取单元131，用于获取系统资源配置信息，所述系统资源配置信息包括不同资源之间的资源依赖关系，以及不同资源各自的资源配置信息；

第一资源确定单元132，用于确定所述未知日志信息对应的第一资源；

待定资源得到单元133，用于依据所述不同资源之间的资源依赖关系，得到与所述第一资源存在资源依赖关系的待定资源；

相应地，上述检测结果生成模块15可以包括：

第一日志更新单元153，用于在特定时间内未接收到与所述待定资源关联的异常报警信息的情况下，将所述未知日志信息的日志类型更新为正常日志；

待定故障资源确定单元152，用于在特定时间内接收到与所述待定资源关联的异常报警信息的情况下，确定所述第一资源为待定故障资源。

在一种可能的实现方式中，上述与所述待定资源关联的异常报警信息可以包括：监控到的针对所述待定资源的系统异常报告，和/或基于指示所述待定资源异常的异常日志信息生成的报警信息，所述异常日志信息是指日志类型为异常日志的日志信息。可见，对于不同的异常报警信息的来源可能不同，获取方式也会有所差异，并不局限于本实施例描述的这几种获取方式及内容。

在又一些实施例中，具体在上述特定时间内接收到与待定资源关联的异常报警信息的情况下，如图6所示，本申请提出的检测结果生成模块15还可以包括：

第一输出单元153，用于在所述资源依赖关系中，所述待定资源属于上层资源，所述第一资源属于下层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息，未接收到针对所述第一资源的异常报警信息的情况下，输出针对所述待定资源的所述异常报警信息、所述资源依赖关系及所述未知日志信息；

第二输出单元154，用于在所述资源依赖关系中，所述待定资源属于下层资源，所述第一资源属于上层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息的情况下，未接收到针对所述第一资源的异常报警信息，输出所述第一资源为待定故障资源，以及与所述待定资源关联的异常报警信息。

在上述各实施例的基础上，如图7所示，本申请提出的日志类型检测模块12可以包括：

第一信息输入单元121，用于将所述日志信息输入第一分类器，得到所述日志信息的日志类型，所述日志类型包括正常日志、异常日志及未知日志，所述第一分类器基于不同日志类型的日志标识信息训练生成；

在实际应用中，本申请提出的异常检测处理装置还可以包括：

报警信息输出模块16，用于输出针对属于所述异常日志的异常日志信息的报警信息，以指示所述异常日志信息的故障资源。

第一检测单元122，用于在第一分类器得到属于所述未知日志的待定未知日志信息的情况下，检测是否存在所述未知日志对应的第二分类器，所述第二分类器是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息进行训练得到的；

第一确定单元123，用于第一检测单元122的检测结果为否的情况下，将所述待定未知日志信息确定为未知日志信息；

第二信息输入单元124，用于第一检测单元122的检测结果为是的情况下，将所述待定未知日志信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率；

第一更新单元125，用于在确定的概率达到第一特定概率的情况下，将所述待定未知日志信息的日志类型更新为异常日志；

第二更新单元126，用于在确定的概率小于第二特定概率，将所述待定未知日志信息的日志类型更新为正常日志。

在一种可能的实现方式中，若上述第二分类器具体是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息，及监控系统得到的异常报警信息训练生成的，本申请提出的异常检测处理装置还可以包括：

异常报警信息获取模块，用于在第一检测单元122的检测结果为是的情况下，获取监控系统得到的异常报警信息；

上述第二信息输入单元124具体用于将所述待定未知日志信息及所述异常报警信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率，所述概率大小表示所述待定未知日志信息与所述异常报警信息之间的相关性大小。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种存储介质，其上可以存储程序，该程序可以被处理器调用并加载，以实现上述实施例描述的异常检测处理方法的各个步骤。

参照图8，示出了本申请实施例提出的一种电子设备的硬件结构示意图，该电子设备可以包括至少一个通信接口21、至少一个存储器22及至少一个处理器23，其中：

通信接口21可以为通信模块的接口，如GSM模块、WIFI模块、GPRS模块等通信模块的接口，可以实现与其他设备的数据交互，还可以包括如USB接口、串/并口等接口，用于实现电子设备内部组成部件之间的数据交互，可以根据该电子设备的产品类型确定，本申请不做一一详述。

存储器22，用于存储实现上述任一方法实施例描述的异常检测处理方法的程序；处理器23，用于加载并执行存储器22存储的程序，以实现上述相应方法实施例描述的异常检测处理方法的各个步骤，具体实现过程可以参照上述实施例相应部分的描述。

在本申请实施例中，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器23，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

在一种可能的实现方式中，存储器22可以包括程序存储区和数据存储区，该程序存储区可以存储操作系统、以及至少一个功能(如图像处理功能、文本显示功能、日志记录功能)所需的应用程序、实现本申请提出的异常检测处理方法的程序等；数据存储区可以存储电子设备使用过程中所产生的数据，如获取的日志信息、系统资源配置信息、日志类型等。

应该理解的是，图8所示的电子设备的结构并不构成对本申请实施例中电子设备的限定，在实际应用中，计算机设备可以包括比图8所示的更多或更少的部件，或者组合某些部件，本申请在此不做一一列举。

以电子设备为用户使用的如手机、笔记本电脑、平板电脑、台式电脑等终端设备为例，该电子设备还可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入设备，显示面板(如触摸显示面板)、扬声器、振动机构、灯等至少一个输出设备等等。

其中，振动机构可以包括电动机和偏心振子，电动机带动偏心振子转动从而产生振动；灯的亮度和/或颜色可调，在一种可能的实现方式中，可通过灯的亮灭、亮度、颜色中的至少一个体现不同的信息，如通过灯发出红色光体现异常报警信息等等。

综上，本实施例中，电子设备通过对获取的日志信息的日志类型进行检测，若确定存在未知日志的未知日志信息，可以利用系统中各资源之间的资源依赖关系，确定与未知日志信息的资源存在资源依赖关系的待定资源，从而结合该待定资源管理的异常报警信息，生成针对该未知类型日志的异常检测结果，辅助运维人员快速定位相应的故障点，降低了对于未知日志类型的日志信息的异常检测所花费的时长和成本，提高了系统运维效率。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种异常检测处理方法，所述方法包括：

获取日志信息；

检测所述日志信息的日志类型；

如果所述日志信息中存在所述日志类型为未知日志的未知日志信息，获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源；

检测特定时间内是否接收到与所述待定资源关联的异常报警信息，所述特定时间基于所述未知日志信息的生成时间确定；

依据检测结果，生成针对所述未知日志信息的异常检测结果；

其中，所述获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源，包括：

获取系统资源配置信息，所述系统资源配置信息包括不同资源之间的资源依赖关系，以及不同资源各自的资源配置信息；

确定所述未知日志信息对应的第一资源；

依据所述不同资源之间的资源依赖关系，得到与所述第一资源存在资源依赖关系的待定资源。

2.根据权利要求1所述的方法，所述依据检测结果，生成针对所述未知日志信息的异常检测结果包括：

如果所述特定时间内未接收到与所述待定资源关联的异常报警信息，将所述未知日志信息的日志类型更新为正常日志；

如果所述特定时间内接收到与所述待定资源关联的异常报警信息，确定所述第一资源为待定故障资源。

3.根据权利要求2所述的方法，所述与所述待定资源关联的异常报警信息包括：监控到的针对所述待定资源的系统异常报告，和/或基于指示所述待定资源异常的异常日志信息生成的报警信息，所述异常日志信息是指日志类型为异常日志的日志信息。

4.根据权利要求2所述的方法，如果特定时间内接收到与所述待定资源关联的异常报警信息，所述依据检测结果，生成针对所述未知日志信息的异常检测结果，还包括：

如果在所述资源依赖关系中，所述待定资源属于上层资源，所述第一资源属于下层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息，未接收到针对所述第一资源的异常报警信息，输出针对所述待定资源的所述异常报警信息、所述资源依赖关系及所述未知日志信息；

如果在所述资源依赖关系中，所述待定资源属于下层资源，所述第一资源属于上层资源，且在所述特定时间内接收到针对所述待定资源的异常报警信息，未接收到针对所述第一资源的异常报警信息，输出所述第一资源为待定故障资源，以及与所述待定资源关联的异常报警信息。

5.根据权利要求1～4任一项所述的方法，所述检测所述日志信息的日志类型，包括：

将所述日志信息输入第一分类器，得到所述日志信息的日志类型，所述日志类型包括正常日志、异常日志及未知日志，所述第一分类器基于不同日志类型的日志标识信息训练生成；

如果所述第一分类器得到属于所述未知日志的待定未知日志信息，检测是否存在所述未知日志对应的第二分类器，所述第二分类器是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息进行训练得到的；

如果不存在所述第二分类器，将所述待定未知日志信息确定为未知日志信息；

如果存在所述第二分类器，将所述待定未知日志信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率；

如果所述概率达到第一特定概率，将所述待定未知日志信息的日志类型更新为异常日志；

如果所述概率小于第二特定概率，将所述待定未知日志信息的日志类型更新为正常日志。

6.根据权利要求5所述的方法，如果所述第二分类器具体是基于机器学习算法，对由所述第一分类器得到属于所述未知日志的样本日志信息，及监控系统得到的异常报警信息训练生成的；

在存在所述第二分类器的情况下，所述方法还包括：

获取监控系统得到的异常报警信息；

所述将所述待定未知日志信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率，包括：

将所述待定未知日志信息及所述异常报警信息输入所述第二分类器，确定所述待定未知日志信息为异常日志信息的概率，所述概率大小表示所述待定未知日志信息与所述异常报警信息之间的相关性大小。

7.根据权利要求5所述的方法，所述方法还包括：

输出针对属于所述异常日志的异常日志信息的报警信息，以指示所述异常日志信息的故障资源。

8.根据权利要求1所述的方法，所述日志信息是基于特定字符串模板生成的，所述特定字符串模板至少包括生成时间、操作系统参数及应用运行状态参数之中的一个或多个组合。

9.一种异常检测处理装置，所述装置包括：

日志信息获取模块，用于获取日志信息；

日志类型检测模块，用于检测所述日志信息的日志类型；

资源获取模块，用于如果所述日志信息中存在所述日志类型为未知日志的未知日志信息，获取与所述未知日志信息对应的资源存在资源依赖关系的待定资源；

异常报警检测模块，用于检测特定时间内是否接收到与所述待定资源关联的异常报警信息，所述特定时间基于所述未知日志信息的生成时间确定；

检测结果生成模块，用于依据检测结果，生成针对所述未知日志信息的异常检测结果；

其中，所述资源获取模块具体用于：

获取系统资源配置信息，所述系统资源配置信息包括不同资源之间的资源依赖关系，以及不同资源各自的资源配置信息；

确定所述未知日志信息对应的第一资源；

依据所述不同资源之间的资源依赖关系，得到与所述第一资源存在资源依赖关系的待定资源。

10.一种电子设备，所述电子设备包括：至少一个通信接口、至少一个存储器及至少一个处理器，其中：

所述存储器，用于存储实现如权利要求1～8任一项所述的异常检测处理方法的程序；

所述处理器，用于加载并执行所述存储器存储的所述程序，以实现如权利要求1～8任一项所述的异常检测处理方法的各个步骤。

Images