CN110191005B - 一种告警日志处理方法及系统 - Google Patents

Abstract

本发明提供一种告警日志处理方法及系统，显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；输出所述第二告警日志消息压缩规则。本发明实施例可以有效提高告警日志消息的处理效率，大幅节省运维人员的工作量。

Description

一种告警日志处理方法及系统

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种告警日志处理方法及系统。

背景技术

随着IT、互联网技术的持续发展，企业中各种业务IT系统得到越来越多的重视，而告警日志消息作为衡量企业业务IT系统运行状况的必要参数，就需要得到及时的监控，随之而来的，告警日志消息的处理则成了企业业务IT系统运维的一个基本工作。

随着大数据时代的到来，以及企业业务IT系统的业务量的爆发式增长，企业业务IT系统运行过程中产生的告警日志消息也大规模增加，而目前的告警日志消息主要是由人工干预处理，告警日志消息处理效率低下。

发明内容

本发明实施例提供一种告警日志处理方法及告警日志处理系统，实现了对告警日志消息的高效处理。

为了解决上述技术问题，本发明实施例提供了一种告警日志处理方法，所述方法包括：

显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；

基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；

输出所述第二告警日志消息。

优选的，上述方法中，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤，包括：

获取第一告警日志消息；

从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式；

获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息。

优选的，上述方法中，所述告警压缩策略包括过滤条件和去重规则，所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤包括：

使用所述过滤条件对所述第一告警日志消息进行过滤；

使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

优选的，上述方法中，所述去重规则包括抑制时间，所述使用所述去重规则对过滤后的所述第一告警日志消息进行去重的步骤包括：

抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

优选的，上述方法中，所述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤，包括：

对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合；

使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤；

使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

优选的，上述方法中，所述方法还包括：

获取告警日志消息集；

对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；

将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；

将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

优选的，上述方法中，所述将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式的步骤，包括：

将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

优选的，上述方法中，所述对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典的步骤包括：

基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库；

统计所述语料库中的各个所述元素的出现频率并排序；

取排序前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

优选的，上述方法中，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤之前，所述方法还包括：

显示告警模式管理界面，

接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

优选的，上述方法中，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

优选的，上述方法中，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤之前，所述方法还包括：

接收对预设的告警模式的选择；

显示选择的所述预设的告警模式的告警压缩策略编辑界面；

响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

优选的，上述方法中，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

优选的，上述方法中，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

本发明实施例还提供了一种告警日志处理系统，所述告警日志处理系统包括：

配置模块，用于显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；

压缩模块，用于基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；

输出模块，用于输出所述第二告警日志消息。

优选的，上述告警日志处理系统中，所述压缩模块包括：

第一获取模块，用于获取第一告警日志消息；

第一确定模块，用于从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式；

第一压缩单元，用于获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息。

优选的，上述告警日志处理系统中，所述告警压缩策略包括过滤条件和去重规则，所述第一压缩单元包括：

第一过滤模块，用于使用所述过滤条件对所述第一告警日志消息进行过滤；

去重模块，用于使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

优选的，上述告警日志处理系统中，所述去重规则包括抑制时间，所述去重模块还用于：抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

优选的，上述告警日志处理系统中，所述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述第一压缩单元还包括：

聚合模块，用于对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合；

第二过滤模块，用于使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤，

第二压缩单元，用于使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

优选的，上述告警日志处理系统还包括：

第二获取模块，用于获取告警日志消息集；

分词模块，用于对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；

匹配模块，用于将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；

第二确定模块，用于将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

优选的，上述告警日志处理系统中，所述匹配模块具体用于：将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

优选的，上述告警日志处理系统中，所述分词模块具体用于：

基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库；

统计所述语料库中的各个所述元素的出现频率并排序；

取排序前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

优选的，上述告警日志处理系统还包括：

第一显示模块，用于显示告警模式管理界面，

调整模块，用于接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

优选的，上述告警日志处理系统中，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

优选的，上述告警日志处理系统中，所述告警日志处理系统还包括：

接收模块，用于接收对预设的告警模式的选择；

第二显示模块，用于显示选择的所述预设的告警模式的告警压缩策略编辑界面；

编辑模块，用于响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

优选的，上述告警日志处理系统中，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

优选的，上述告警日志处理系统中，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

本发明实施例还提供了一种告警日志处理系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的告警日志处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上述的告警日志处理方法的步骤。

本发明实施例提供的告警日志处理方法及系统，显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；输出所述第二告警日志消息。可以看出，本发明实施例通过对告警日志消息进行压缩，可以快速梳理海量的告警日志消息，极大的降低了需要人工干预的告警日志消息数量，从而有效的提高了告警日志消息的处理效率，大幅节省了运维人员的工作量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的告警日志处理方法的流程图；

图2是本发明实施例提供的告警日志处理方法的步骤102的流程图；

图3是本发明实施例提供的告警日志处理方法的步骤1023的流程图；

图4是本发明实施例提供的告警日志处理方法的步骤1023的另一流程图；

图5是本发明另一实施例提供的告警模式发现方法的流程图；

图6是本发明一实施例提供的一种告警压缩策略编辑界面的示意图；

图7是本发明另一实施例提供的一种告警压缩策略编辑界面的示意图；

图8是本发明一实施例提供的告警日志处理系统的结构图；

图9是本发明另一实施例提供的告警日志处理系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1是本发明一实施例提供的告警日志处理方法的流程图。所述方法可以应用于告警日志处理系统，如图1所示，所述方法包括以下步骤：

步骤101，显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作。

这里，显示告警日志消息配置界面可以是告警日志处理系统显示的由选择启动的告警日志消息处理的配置界面，该配置界面可以包括启动告警日志消息处理的配置项，告警日志处理系统接收对启动告警日志消息处理的配置项的操作，告警日志处理系统开始执行告警日志消息处理压缩的步骤。其中，第一配置操作可以是通过输入或选择等操作启动告警日志消息处理的配置项。

步骤102，基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息。

这里，告警日志处理系统对新接收到的IT运维系统的第一的告警日志消息进行压缩，得到第二告警日志消息，从而可以降低需要人工干预的告警日志消息数量，有效的提高了告警日志消息的处理效率。

步骤103，输出所述第二告警日志消息。

这里，可以在告警日志处理系统的显示界面显示第二告警日志消息，以便相关用户处理告警日志消息；也可以将第二告警日志消息输出给IT运维系统，还可以以其他方式输出给用户，本发明对此不作具体限定。

可选的，除了输出第二告警日志消息之外，还可以统计压缩前后的告警消息条数，压缩使用的告警模式等指标。将输出的第二告警日志消息以及统计的告警模式发送及存储，例如发给Kafka。

本发明实施例对告警日志消息进行压缩，可以快速梳理海量的告警日志消息，极大的降低了需要人工干预的告警日志消息数量，从而有效的提高了告警日志消息的处理效率，大幅节省了运维人员的工作量。

请参照图2，上述步骤102中，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤包括：

步骤1021，获取第一告警日志消息。

这里，可以通过Kafka接收IT运维系统的第一告警日志消息，也可以通过Kafka接收其他系统转发的第一告警日志消息。

可选的，对获取的第一告警日志消息进行解析，将解析后的第一告警日志消息进行转换，生成规整后的第一告警日志消息。

步骤1022，从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式。

这里，从数据库中获取预先存储在数据库中所有的预设的告警模式、与告警模式对应的告警压缩策略，并进行缓存。将规整后的第一告警日志消息与缓存的所有的告警模式进行逐一匹配，获得与第一告警日志消息匹配的目标告警模式。匹配过程可以是基于默认的告警模式匹配顺序，也可以根据用户实际需求调整所述匹配顺序。匹配顺序还可以包括缺省模式，缺省模式位于告警模式匹配顺序的最后一位，即规整后的第一告警日志消息没有匹配到任何一个其他告警模式则匹配至缺省模式。

其中，第一告警日志消息与缓存的告警模式进行匹配时，可能存在多个匹配的告警模式。优选第一次匹配成功的告警模式作为目标告警模式，即当第一告警日志消息匹配到一个缓存的告警模式后，结束匹配过程。当然，也可以根据用户需求选择其他匹配成功的告警模式作为目标告警模式。本发明实施例对此不作具体限定。

步骤1023，获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息。

这里，在确定与第一告警日志消息匹配的目标告警模式后，获取缓存的与目标告警模式对应的告警压缩策略，使用与目标告警模式对应的告警压缩策略对所述第一告警日志消息进行压缩处理，从而得到第二告警日志消息。

请参照图3，上述步骤1023中，所述告警压缩策略包括过滤条件和去重规则，上述步骤1023中所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤中，具体可以包括：

步骤10231，使用所述过滤条件对所述第一告警日志消息进行过滤。

这里，使用与所述目标告警模式对应的告警压缩策略中的过滤条件对第一告警日志消息进行过滤。

其中，过滤条件包括全部保留，全部过滤，非工作时间过滤以及条件过滤。全部保留是指所有满足目标告警模式的告警日志消息全部保留。全部过滤是指所有满足目标告警模式的告警日志消息全部过滤。非工作时间过滤是指，所有满足目标告警模式的告警日志消息在工作时间保留，在非工作时间过滤。条件过滤是指选择或自定义一条或者多条的过滤条件，将满足任意一条过滤条件的告警日志消息过滤，其它的告警日志消息保留。其中，每个过滤条件由一条或者多条字段表达式组成，满足所有字段表达式即满足当前过滤条件。同时，每个过滤条件可以设置是否在非工作时间生效。

具体的，可以采用SpringEL表达式定义条件过滤。其中，Spring是一种适用于java应用开发的框架，而SpringEL是Spring的一种表达式语言，可以动态的使用Java方法和字段进行条件判断。采用SpringEL表达式定义条件过滤，则满足SpringEL表达式的告警日志消息将被过滤。同时，可以针对工作时间和非工作时间设置不同的SpringEL表达式。

SpringEL过滤表达式示例如下所示：

#ROOT['_PATTERN_VAR1']＝＝'WWW.TEST.COM'AND#ROOT['_PATT

ERN_VAR2']>20

上述SpringEL过滤表达式表示_pattern_var1字段值为'www.test.com'并且_pattern_var2>20时，告警日志消息满足过滤条件。

步骤10232，使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

这里，使用与所述目标告警模式对应的告警压缩策略中的去重规则对过滤后的第一告警日志消息进行去重，从而得到去重之后的第一告警日志消息，即为第二告警日志消息。

可选的，所述去重规则包括抑制时间，所述使用所述去重规则对过滤后的所述第一告警日志消息进行去重的步骤包括：

抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

这里，在输出符合当前告警目标告警模式的一条告警日志消息后，在抑制时间内，将获取的第三告警日志消息与目标告警模式进行匹配，若匹配成功，则不输出第三告警日志消息，从而避免符合相同告警模式的告警日志消息重复输出。其中，第三告警日志消息包括在抑制时间内在输出符合当前目标告警模式的一条告警日志消息后告警日志处理系统接收到的新告警日志消息。

其中，去重规则包括：不去重、全部去重以及分组去重。不去重是指对过滤后的告警日志消息原样输出。全部去重是指在输出符合目标告警模式的一条告警日志消息后，开始执行去重抑制，即在抑制时间范围内将过滤与目标告警模式匹配的其他告警日志消息，直到抑制时间结束。分组去重是指按照指定的一到多个字段分组，与目标告警模式匹配的、且分组字段值相同的告警日志消息仅输出第一条告警日志消息，在抑制时间范围内其他告警日志消息不输出，直到抑制时间结束。其中所述指定的字段可以基于用户的选择或输入确定。例如，可以选择/输入IP字段进行分组去重，如果有多个IP字段则对应有多个告警日志消息输出。抑制时间内每个IP字段只输出第一条对应的告警日志消息。其中抑制时间可以由用户设置。其中，抑制时间不一定是连续的，在输出与目标告警模式匹配的一条告警日志消息后开始进行去重抑制，即输出与目标告警模式匹配的一条告警日志消息后抑制时间生效一次，输出下一条与目标告警模式匹配的一条告警日志消息后抑制时间再次生效一次。

本发明实施例中通过对获取的告警日志消息进行实时执行过滤去重，可以实时输出压缩后的告警日志消息，能够极大的提高处理告警日志消息的时效性。

请参照图4，上述步骤1023中，上述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤，包括：

步骤10233，对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合。

这里，例如聚合时间为一分钟，按照一分钟的时间窗口执行告警压缩策略，即将每一分钟内符合目标告警模式的所有告警日志消息聚合在一起，以便后续一同执行过滤压缩操作。例如聚合时间为五分钟，按照五分钟的时间窗口执行告警压缩策略，即将每五分钟内符合目标告警模式的所有告警日志消息聚合在一起，以便后续一同执行过滤压缩操作。具体的聚合时间可以根据实际需求进行定制。其中，时间窗口可以是滚动时间窗口，即时间窗口是连续的，在一个时间窗口符合目标告警模式的所有告警日志消息进行聚合后，在下一个时间窗口继续对符合目标告警模式的所有告警日志消息进行聚合。

步骤10234，使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤。

这里，使用与所目标告警模式对应的告警压缩策略中的过滤条件对步骤10233中聚合的告警日志消息进行过滤。

本实施例中的过滤条件与本发明上一实施例中的步骤10231中的过滤条件相同，在此不做赘述。

步骤10235，使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

这里，使用与所述目标告警模式对应的告警压缩策略中的压缩规则对过滤后的第一告警日志消息进行压缩，从而得到压缩之后的第一告警日志消息，即为第二告警日志消息。

其中，压缩规则包括：不压缩、全部压缩、分组压缩。不压缩是指对过滤后的告警日志消息进行原样输出。全部压缩是指在聚合时间内聚合的所有告警日志消息根据过滤条件过滤后，将所有过滤后的告警日志消息压缩成一条输出。分组压缩是指在聚合时间内聚合的所有告警日志消息根据过滤条件过滤后，将所有过滤后的告警日志消息按照指定的一到多个字段分组压缩，相同字段值的告警日志消息在聚合时间对应的时间窗口内压缩成一条。其中所述指定的字段可以基于用户的选择或输入确定。例如选择IP字段进行分组压缩，那么在一个时间窗口内，过滤之后符合目标告警模式的相同IP字段的告警日志消息将压缩在一起，如果有几个不同的IP地址，则输出几条告警日志消息。

本发明实施例中将获取的告警日志消息在聚合时间内进行聚合之后再执行过滤压缩，能够极大的减少计算资源的消耗。

请参照图5，图5是本发明一实施例提供的告警模式发现方法的流程图。所述方法可以应用于告警日志处理系统，所述获取第一告警日志消息的步骤之前，如图5所示，所述方法包括以下步骤：

步骤501，获取告警日志消息集。

这里，告警日志消息集可以是IT运维系统的历史告警日志消息集的全量数据。

具体的，可以通过日志解析工具收集告警日志消息集，对收集的告警日志消息集中的告警日志消息进行必要的数据清洗和转换，生成规整后的告警日志消息集。将规整后的告警日志消息集逐条保存到ElasticSearch的索引中。其中，ElasticSearch是一个实时的分布式搜索和分析引擎，可以以非常快的速度处理大规模数据。其中，告警日志消息集可以是一定周期的历史告警日志消息，例如是最近一个月的、最近一周的、或最近一年的历史告警日志消息。

步骤502，对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典。

这里，所述告警日志消息集可以是历史告警日志消息集的全量数据，还可以是历史告警日志消息集的全量数据进行抽样后获得的抽样数据。所述抽样可以是随机选取X％的日志、或采用分层抽样选取X％的日志，X在1-100之间，X基于行业经验默认值取1。本发明实施例对此不作限定。

可选的，所述对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典的步骤包括：

步骤a，基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库。

步骤b，统计所述语料库中的各个所述元素的出现频率并排序。

步骤c，取排序的前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

这里，步骤a中的特殊符号包括但不限于下述至少之一：标点、空格、占位符等。

具体的，逐条将告警日志消息根据特殊符号拆分，单条告警日志消息拆分前后示例如下：

拆分前:"MML_Linux_Mem_Full[ON pddb:LZ(Memory_Free_Pct＝1)]"

拆分后："MML""_""Linux""_""Mem""_""Full""["""

"ON""pddb"":""LZ""(""Memory""_""Free""_""Pct＝1"

")""]"

根据告警日志消息集中的全部告警日志消息进行拆分后得到的元素，形成语料库的全集。语料库的元素包括且不限于下述至少之一：有意义的词(包括单个词、词组、短语等)、标点、空格、占位符等。需要说明的是，上述告警日志消息拆分前后示例仅是为了说明告警日志消息，告警日志消息也可以是其他的表达形式，此处对此不作具体限定。

上述步骤b中，统计语料库中的各个元素的出现频率，可以过滤掉标点、空格、占位符等元素。可选的，过滤掉字符长度小于3的元素，从而筛选出有意义的词，将筛选出来的词基于频率进行排序。

上述步骤c中，基于频率排序取频率最高的前N％个有意义的词组成高频词字典，如下表1所示。其中，N的取值可以基于二八准则N默认值取20，还可以由用户自定义进行调整，本发明实施例对此不作具体的限定。

表1

步骤503，将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式。

这里，每条告警日志消息可以是历史告警日志消息集的全量数据中的每条告警日志消息，也可以是历史告警日志消息集的抽样数据中的每条告警日志消息。

可选的，所述将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式的步骤，包括：

将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

这里，将分词后的一条告警日志消息中的每个元素分别与高频词字典一一匹配，若某个元素能够与高频词字典中的某个高频词匹配上，则可以使用标识信息标识该元素的匹配结果。这条告警日志消息中的每个元素用标识信息标识各个元素与高频词字典的匹配结果形成一个集合，对该集合进行处理形成这条告警日志消息的告警模式。示例性的，可以使用数字标识该元素的匹配结果，若匹配成功，则标1；若匹配失败，则标0。

告警日志消息集中的每条告警日志消息的匹配结果可以形成一个宽表，如下表2所示，每行即使用标识信息标识各告警日志消息的各个元素与高频词字典的匹配结果。进一步的，可以标识出高频词出现的位置，如下表2所示，表中数字是指该列对应的高频词在该行对应的告警日志消息中出现及位于该条告警日志消息的第几个词(有意义的词)。

MML	Linux	Full	(Memory	Free	Pct＝1	Point
							1	2	3	4	5	6	0
1	2	3	4	5	6	0
							1	2	3	4	5	6	0
1	2	3	4	5	6	0
							1	2	3	4	5	6	0
1	2	0	0	0	0	14
							1	2	3	4	5	6	0
1	2	3	4	5	6	0

表2

需要说明的是，上述表2仅是使用数字标识各告警日志消息的各个元素与高频词字典的匹配结果的示例性说明。当然，也可以使用其他方式标识该元素的匹配结果，此示例仅是做示例性说明，本发明实施例对此不作具体限定。

具体的，系统对保存在ElasticSearch中的历史告警日志消息执行自动模式发现分析(Pattern Finder)，即执行上述步骤502-步骤503，在模式发现的过程中将根据告警日志模式发现的算法自动组合产生(生成)告警模式，用告警模式尽量覆盖历史上的所有的告警日志消息类型，即告警模式尽量包含各种消息类型。上述模式发现的过程可以是定时运行的，运行周期可以按照需要进行设置；也可以按照需求由用户手工运行，本发明实施例对此不作具体限定。可以将发现的模式转化为正则表达式保存到数据库中。通过对历史告警日志消息进行自动模式发现后，针对告警模式进行告警压缩策略配置，再通过实时计算引擎(实时计算作业)对新接收到的告警日志消息自动匹配模式，执行对应的告警压缩策略从而达到告警压缩的目的。

步骤504，将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

这里，统计各个告警模式的出现频率，通过第一预设参数P选出通用的告警模式，即频率高于第一预设参数P的保留为通用的告警模式，即预设的告警模式，将预设的告警模式转化为正则表达式存储在数据库中。其中，基于行业经验P默认值取5，可基于业务需求进行调整。

示例性的，预设的告警模式如下所示

站点流出利用率高于阈值,实际值{__3}％,告警阈值:{__8}％

站点流入利用率高于阈值,实际值{__3}％,告警阈值:{__8}％

总吞吐量低于阈值,实际值{__3},告警阈值:{__7}

其中括号中的数字表示分词的顺序，如上面模式中的__3表示是第4个词是变量(从0开始)。

可选的，所述方法还包括：

显示告警模式管理界面，

接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

其中，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

这里，对步骤501-步骤504自动生成的告警模式，可以基于业务需求调整预设的告警模式，以进一步优化预设的告警模式。具体的，可以通过告警日志处理系统的告警管理界面进行调整。通过用户的一个触发操作，告警日志处理系统显示告警模式管理界面。接收用户对所述告警模式管理界面的告警模式调整项的配置操作，例如调整第一预设参数P和/或参数N，拆分预设的告警模式，合并预设的告警模式等，从而实现对预设告警模式的调整。

示例性的，数据库中已存储的预设告警模式包括如下告警模式：

^站点流出利用率高于阈值,实际值(.{2,6})％,告警阈值:(.{2})％$

^站点流入利用率高于阈值,实际值(.{2,6})％,告警阈值:(.{2})％$

进行合并优化后，形成的告警模式如下所示：

^站点(流出|流入)利用率高于阈值,实际值(.{2,6})％,告警阈值:(.{2})％$

本发明实施例通过获取的告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；存储出现频率高于第一预设参数的所述告警模式作为预设的告警模式，从而实现告警日志消息的自动模式发现，可以对百万级的数据实现分钟级聚类，提高了告警日志消息聚类的计算速度、节省了计算资源、提高了告警效率。

可选的，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤之前还包括：

接收对预设的告警模式的选择；

显示选择的所述预设的告警模式的告警压缩策略编辑界面；

响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

这里，第三配置操作可以是选择或输入等操作。用户可以设置各个告警模式的告警压缩策略。用户可以选择一个告警模式设置目标告警模式的告警压缩策略，也可以选择多个告警模式批量设置告警模式的告警压缩策略，告警日志处理系统显示用户选定的告警模式的告警压缩策略编辑界面。用户通过对告警压缩策略编辑界面配置项的选择/输入，实现对选择的告警模式的告警压缩策略的编辑。

可选的，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

可选的，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

如图6所示，是对用户选定的一个告警模式的告警压缩策略编辑界面的具体实施方式的示意图，图6中除了上述配置项外，还包括状态配置项、匹配顺序配置项等。

其中，过滤条件包括全部保留，全部过滤，非工作时间过滤、条件过滤以及SpringEL过滤。去重规则配置项包括不去重、全部去重、分组去重以及抑制时间。

图6仅是一个具体实施方式的示意图，告警压缩策略编辑界面的具体配置项可以根据实际需求进行调整，本发明实施例对此不作具体限定。

如图7所示，是对用户选定的一个告警模式的告警压缩策略编辑界面具体实施方式的另一示意图，图7中除了上述配置项外，还包括状态配置项、匹配顺序配置项等。

其中，聚合时间包括1分钟的时间窗口以及5分钟的时间窗口。过滤条件包括全部保留，全部过滤，非工作时间过滤、条件过滤以及SpringEL过滤。压缩规则包括：不压缩、全部压缩、分组压缩。

图7仅是一个具体实施方式的示意图，告警压缩策略编辑界面的具体配置项可以根据实际需求进行调整，本发明实施例对此不作具体限定。

基于以上实施例提供的告警日志处理方法，本发明实施例还提供了实施上述方法的告警日志处理系统，请参照图8，本发明实施例提供的告警日志处理系统800包括：

配置模块801，用于显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；

压缩模块802，用于基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；

输出模块803，用于输出所述第二告警日志消息。

可选的，所述压缩模块802包括：

第一获取模块，用于获取第一告警日志消息；

第一确定模块，用于从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式；

第一压缩单元，用于获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息。

可选的，所述告警压缩策略包括过滤条件和去重规则，所述第一压缩单元包括：

第一过滤模块，用于使用所述过滤条件对所述第一告警日志消息进行过滤；

去重模块，用于使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

可选的，所述去重规则包括抑制时间，所述去重模块还用于：抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

可选的，所述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述第一压缩单元包括：

聚合模块，用于对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合；

第二过滤模块，用于使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤，

第二压缩单元，用于使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

请参照图9，本发明实施例提供的告警日志处理系统800还包括：

第二获取模块804，用于获取告警日志消息集；

分词模块805，用于对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；

匹配模块806，用于将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；

第二确定模块807，用于将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

可选的，所述匹配模块806具体用于：将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

可选的，所述分词模块807具体用于：

基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库；

统计所述语料库中的各个所述元素的出现频率并排序；

取排序前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

可选的，所述告警日志处理系统还包括：

第一显示模块，用于显示告警模式管理界面，

调整模块，用于接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

可选的，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

可选的，所述告警日志处理系统还包括：

接收模块，用于接收对预设的告警模式的选择；

第二显示模块，用于显示选择的所述预设的告警模式的告警压缩策略编辑界面；

编辑模块，用于响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

可选的，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

可选的，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

本发明实施例提供的告警日志处理系统，通过对告警日志消息进行压缩，可以快速梳理海量的告警日志消息，极大的降低了需要人工干预的告警日志消息数量，从而有效的提高了告警日志消息的处理效率，大幅节省了运维人员的工作量。

本发明实施例提供一种告警日志处理系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的告警日志处理方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的告警日志处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (24)

1.一种告警日志处理方法，其特征在于，所述方法包括：

显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；

基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；

输出所述第二告警日志消息；

所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤，包括：

获取第一告警日志消息；

从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式；

获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息；

其中，存在多个匹配的告警模式的情况下，将第一次匹配成功的告警模式作为目标告警模式；

所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤之前，所述方法还包括：

接收对预设的告警模式的选择；

显示选择的所述预设的告警模式的告警压缩策略编辑界面；

响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

2.如权利要求1所述的告警日志处理方法，其特征在于，所述告警压缩策略包括过滤条件和去重规则，所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤包括：

使用所述过滤条件对所述第一告警日志消息进行过滤；

使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

3.如权利要求2所述的告警日志处理方法，其特征在于，所述去重规则包括抑制时间，所述使用所述去重规则对过滤后的所述第一告警日志消息进行去重的步骤包括：

抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

4.如权利要求1所述的告警日志处理方法，其特征在于，所述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述对所述第一告警日志消息进行压缩，以得到第二告警日志消息的步骤，包括：

对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合；

使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤；

使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

5.如权利要求1所述的告警日志处理方法，其特征在于，所述方法还包括：

获取告警日志消息集；

对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；

将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；

将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

6.如权利要求5所述的告警日志处理方法，其特征在于，所述将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式的步骤，包括：

将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

7.如权利要求5所述的告警日志处理方法，其特征在于，所述对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典的步骤包括：

基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库；

统计所述语料库中的各个所述元素的出现频率并排序；

取排序前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

8.如权利要求1所述的告警日志处理方法，其特征在于，所述基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息的步骤之前，所述方法还包括：

显示告警模式管理界面，

接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

9.如权利要求8所述的告警日志处理方法，其特征在于，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

10.如权利要求1所述的告警日志处理方法，其特征在于，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

11.如权利要求1所述的告警日志处理方法，其特征在于，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

12.一种告警日志处理系统，其特征在于，包括：

配置模块，用于显示告警日志消息配置界面，接收对所述告警日志消息配置界面的第一配置操作；

压缩模块，用于基于所述第一配置操作，对第一告警日志消息进行压缩，以得到第二告警日志消息；

输出模块，用于输出所述第二告警日志消息；

所述压缩模块包括：

第一获取模块，用于获取第一告警日志消息；

第一确定模块，用于从预设的告警模式中确定与所述第一告警日志消息匹配的目标告警模式；

第一压缩单元，用于获取与所述目标告警模式对应的告警压缩策略，对所述第一告警日志消息进行压缩，以得到第二告警日志消息；

其中，存在多个匹配的告警模式的情况下，将第一次匹配成功的告警模式作为目标告警模式；

接收模块，用于接收对预设的告警模式的选择；

第二显示模块，用于显示选择的所述预设的告警模式的告警压缩策略编辑界面；

编辑模块，用于响应于对所述告警压缩策略编辑界面配置项的第三配置操作，实现对所述预设的告警模式的告警压缩策略的编辑。

13.如权利要求12所述的告警日志处理系统，其特征在于，所述告警压缩策略包括过滤条件和去重规则，所述第一压缩单元包括：

第一过滤模块，用于使用所述过滤条件对所述第一告警日志消息进行过滤；

去重模块，用于使用所述去重规则对过滤后的所述第一告警日志消息进行去重，以得到第二告警日志消息。

14.如权利要求13所述的告警日志处理系统，其特征在于，所述去重规则包括抑制时间，所述去重模块还用于：抑制所述抑制时间内与所述目标告警模式匹配的第三告警日志消息输出。

15.如权利要求12所述的告警日志处理系统，其特征在于，所述告警压缩策略包括聚合时间、过滤条件和压缩规则，所述第一压缩单元包括：

聚合模块，用于对所述聚合时间内获取的与所述目标告警模式匹配的第一告警日志消息进行聚合；

第二过滤模块，用于使用所述过滤条件对所述聚合后的第一告警日志消息进行过滤，

第二压缩单元，用于使用所述压缩规则对所述过滤后的第一告警日志消息进行压缩，以得到第二告警日志消息。

16.如权利要求12所述的告警日志处理系统，其特征在于，所述告警日志处理系统还包括：

第二获取模块，用于获取告警日志消息集；

分词模块，用于对所述告警日志消息集中的全部告警日志消息进行分词，形成高频词字典；

匹配模块，用于将所述告警日志消息集中的每条所述告警日志消息的分词，与所述高频词字典进行匹配，得到每条所述告警日志消息的告警模式；

第二确定模块，用于将出现频率高于第一预设参数的所述告警模式作为预设的告警模式。

17.如权利要求16所述的告警日志处理系统，其特征在于，所述匹配模块具体用于：将分词后的每条所述告警日志消息中的每个元素分别与高频词字典匹配，使用标识信息标识分词后的每条所述告警日志消息中的每个元素的匹配结果，从而获得每条所述告警日志消息的告警模式。

18.如权利要求16所述的告警日志处理系统，其特征在于，所述分词模块具体用于：

基于特殊符号对所述告警日志消息集中的每条告警日志消息进行拆分，将拆分获取的元素形成所述告警日志消息集的语料库；

统计所述语料库中的各个所述元素的出现频率并排序；

取排序前N％的元素组成高频词字典，其中N为大于0且小于等于100的数。

19.如权利要求12所述的告警日志处理系统，其特征在于，所述告警日志处理系统还包括：

第一显示模块，用于显示告警模式管理界面，

调整模块，用于接收对所述告警模式管理界面的告警模式调整项的第二配置操作，调整预设的告警模式。

20.如权利要求19所述的告警日志处理系统，其特征在于，所述第二配置操作包括以下至少一项：

调整第一预设参数和/或参数N；

拆分所述预设的告警模式；

合并所述预设的告警模式。

21.如权利要求12所述的告警日志处理系统，其特征在于，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：聚合时间配置项、过滤条件配置项、压缩规则配置项。

22.如权利要求12所述的告警日志处理系统，其特征在于，所述告警压缩策略编辑界面包括以下配置项中的一种或多种：过滤条件配置项、去重规则配置项。

23.一种告警日志处理系统，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至11中任一项所述的告警日志处理方法的步骤。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的告警日志处理方法的步骤。

Images