CN112968805A - 一种告警日志处理方法及装置 - Google Patents

一种告警日志处理方法及装置 Download PDF

Info

Publication number
CN112968805A
CN112968805A CN202110543955.1A CN202110543955A CN112968805A CN 112968805 A CN112968805 A CN 112968805A CN 202110543955 A CN202110543955 A CN 202110543955A CN 112968805 A CN112968805 A CN 112968805A
Authority
CN
China
Prior art keywords
alarm
event
similarity
group
network device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110543955.1A
Other languages
English (en)
Other versions
CN112968805B (zh
Inventor
尚素绢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou H3C Technologies Co Ltd
New H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN202110543955.1A priority Critical patent/CN112968805B/zh
Publication of CN112968805A publication Critical patent/CN112968805A/zh
Application granted granted Critical
Publication of CN112968805B publication Critical patent/CN112968805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Abstract

本发明实施例提供了一种告警日志处理方法及装置，涉及数据处理技术领域，上述方法包括：根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；根据所获得第二特征，确定各网络设备所发生告警事件的事件类别数量；根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据事件类别数量以及聚类得到的聚类组对告警事件进行分类；根据分类得到事件组包含的告警事件，选择各事件组的表征性告警事件。应用本发明实施例提供的方案对告警日志进行处理后，能够使得工作人员有针对性的结合告警日志进行告警事件排查，进而提高排查效率。

Description

一种告警日志处理方法及装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种告警日志处理方法及装置。
背景技术
随着网络技术的快速发展，网络的应用越来越广泛，网络安全也变得越来越重要。例如，对于企业网络而言，网络安全与企业内部稳定、企业在市场中的竞争力等息息相关。
鉴于上述情况，一些网络中一般在防火墙和网络设备之间设置IPS（Intrusion-prevention system，入侵防御系统）设备。IPS设备可以监控网络内各网络设备发生的告警事件，并在监控到告警事件的情况下生成告警日志。这样工作人员可以依据IPS设备生成的告警日志进行告警事件排查，保证网络安全。
然而，网络内网络设备的数量往往较多，IPS设备生成的告警日志数量也较多，一天可能会生成几万甚至几十万条告警日志。数量如此庞大的告警日志为工作人员排查安全事件带来了巨大困扰。
为此，需要提供一种告警日志处理方案，以使得工作人员能够有针对性的结合告警日志进行告警事件排查，进而提高排查效率。
发明内容
本发明实施例的目的在于提供一种告警日志处理方法及装置，以使得工作人员能够有针对性的结合告警日志进行告警事件排查，进而提高排查效率。具体技术方案如下：
第一方面，本发明实施例提供了一种告警日志处理方法，所述方法包括：
根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；
根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量；
根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类；
从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件；
将所述告警日志中发生所述表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
本发明的一个实施例中，上述根据告警日志，获得各个网络设备所发生告警事件的第一特征，包括：
根据告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
本发明的一个实施例中，上述根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量，包括：
对所获得的第二特征进行聚类，获得聚类组数量；
根据所述聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
本发明的一个实施例中，上述对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征，包括：
将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
本发明的一个实施例中，上述从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件，包括：
针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
本发明的一个实施例中，按照以下方式确定事件组的表征性告警事件：
针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；
将统计分析值最高或大于预设分析值阈值的告警事件，确定为事件组的表征性告警事件。
本发明的一个实施例中，上述针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析，包括：
针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
本发明的一个实施例中，上述根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类，包括：
根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组，其中，所述聚类组中包括：网络设备所发生告警事件的第一特征；
针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度；
根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围；
根据每一层级的聚类组的数量和所述相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系；
根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为所述事件类别数量个事件组的事件间相似度，作为相似度门限值；
根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为所述事件类别数量个事件组。
本发明的一个实施例中，上述根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围，包括：获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。本发明的一个实施例中，上述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为事件类别数量个事件组，包括：
从各层级包括的聚类组所对应的相似度范围中，确定小于所述相似度门限值的事件间相似度，作为目标相似度；
获得使用目标相似度对聚类组进行聚类得到的目标聚类组；
使用所述相似度门限值对所述目标聚类组进行事件分组，得到所述事件类别数量个事件组。
第二方面，本发明实施例提供了一种告警日志处理装置，所述装置包括：
特征获得模块，用于根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；
数量确定模块，用于根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量；
事件分类模块，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类；
事件选择模块，用于从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件；
日志确定模块，用于将所述告警日志中发生所述表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
本发明的一个实施例中，上述特征获得模块，具体用于根据所述告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
本发明的一个实施例中，上述数量确定模块，具体用于对所获得的第二特征进行聚类，获得聚类组数量；根据所述聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
本发明的一个实施例中，上述特征获得模块，具体用于将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
本发明的一个实施例中，上述事件选择模块，具体用于针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
本发明的一个实施例中，上述事件选择模块，具体用于针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；将统计分析值最高或大于预设分析值阈值的告警事件，确定为事件组的表征性告警事件。
本发明的一个实施例中，上述事件选择模块，具体用于针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
本发明的一个实施例中，上述事件分类模块，包括：
聚类组得到子模块，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组，其中，所述聚类组中包括：网络设备所发生告警事件的第一特征；
相似度计算子模块，用于针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度；
范围确定子模块，用于根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围；
对应关系生成子模块，用于根据每一层级的聚类组的数量和所述相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系；
相似度确定子模块，用于根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为所述事件类别数量个事件组的事件间相似度，作为相似度门限值；
事件组划分子模块，用于根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为所述事件类别数量个事件组。
本发明的一个实施例中，上述范围确定子模块，具体用于获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。
本发明的一个实施例中，上述事件组划分子模块，具体用于从各层级包括的聚类组所对应的相似度范围中，确定小于所述相似度门限值的事件间相似度，作为目标相似度；获得使用目标相似度对聚类组进行聚类得到的目标聚类组；使用所述相似度门限值对所述目标聚类组进行事件分组，得到所述事件类别数量个事件组。
第三方面，本发明实施例提供了一种网络设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现上述第一方面所述的方法步骤。
由以上可见，应用本发明实施例提供的方案对告警日志进行处理时，各网络设备所发生告警事件的第一特征反映所发送告警事件的事件特征，基于各网络设备所发生告警事件的第一特征对告警事件进行聚类时，能够准确地将各网络设备发生的同类别告警事件聚类至同一事件组。又由于各事件组中表征性告警事件对整个事件组具有表征性，所以，告警日志中，发生表征性告警事件的网络设备对应的告警日志是所有告警日志中比较具有表征性的告警日志，因此，将上述告警日志作为待进行告警事件排查的日志，不仅能够减少减少工作人员进行告警事件排查时需要分析的告警日志数量，而且能够增强工作人员进行告警日志分析的针对性，有利于提高排查效率。
并且，第二特征用于表征各个网络设备所发生告警事件的事件特征，且第二特征是基于对第一特征进行整合得到的特征，所得到的第二特征中保留了第一特征中绝大部分绝大部分特征信息、且维度数较少，根据所获得的第二特征，能够较为准确确定各网络设备所发生告警事件的事件类别数量，提高了对各网络设备所发生告警事件进行分类的准确度，进一步提高了所选择的表征性告警事件的表征性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种告警日志处理方法的流程示意图；
图2为本发明实施例提供的一种循环层级聚类的流程示意图；
图3为本发明实施例提供的一种告警日志处理装置的结构示意图；
图4为本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本发明实施例的执行主体进行说明。
本发明实施例的执行主体可以为：用于监控告警事件的网络设备，又可以称为安全监控设备，如，IPS设备、IDS(intrusion detection system,入侵检测系统)设备等。
上述安全监控设备可以监控网络内各网络设备发生的告警事件，并在监控到告警事件的情况下生成告警日志。
下面通过具体实施例对本发明实施例提供的告警日志处理方法、装置、网络设备及存储介质分别进行详细说明。
参见图1，图1为本发明实施例提供的一种告警日志处理方法的流程示意图，上述方法包括以下步骤S101-S105。
步骤S101：根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征。
安全监控设备在监测到网络设备发生告警事件后生成告警日志，也就是各告警日志是针对各网络设备的。
具体的，网络中各网络设备间可能相互攻击，也就是网络设备可以为攻击设备，也可以为被攻击设备。无论网络设备是攻击设备还是被攻击设备，安全监控设备在检测到告警事件后，均会生成告警日志，也就是告警日志可以是针对攻击设备的，也可以是针对被攻击设备的。
告警日志中可以包含网络设备的标识、告警发生时间、告警类型、告警等级等信息。上述网络设备的标识可以为网络设备的IP地址(Internet Protocol Address, 互联网协议地址)、MAC地址(Media Access Control Address,媒体存取控制位址)、设备序列号或编号等标识。
具体的，可以基于告警日志中包含的网络设备的标识，确定告警日志针对的网络设备。例如：告警日志中包含的网络设备的标识为网络设备的IP地址：IP1，表示该日志针对的是IP地址为IP1的网络设备。
上述第一特征用于反映网络设备所发生告警事件的完整特征。具体的，上述第一特征可以反映网络设备所发生各告警类型的告警事件的次数、发生时间、严重等级等事件特征。
安全监控设备可以对告警日志进行解析，并对解析后的告警日志进行特征提取，得到各个网络设备所发生告警事件的第一特征。
具体的，可以对告警日志进行解析，得到告警日志中记录的各网络设备所发生告警事件的告警类型、各告警类型对应的告警次数、触发告警的时刻等信息，对所得到的任意一个或多个信息进行编码，基于编码结果确定各个网络设备所发生告警事件的第一特征。例如：可以对编码结果进行累加，将累加结果作为第一特征；按照各告警日志中包括的触发告警的时刻排列顺序，对各个编码结果进行排序，将排序后的编码结果作为第一特征等。
上述第二特征是对第一特征整合后获得的特征，第一特征用于反映网络设备所发生告警事件的完整特征，那么第二特征中保留了第一特征中绝大部分特征信息，且第二特征的维度数小于第一特征的维度数，也就是第二特征用于表征各个网络设备所发生告警事件的较完整特征，且维度数较小。
具体的，在对所获得的第一特征进行整合时，可以对第一特征进行降维处理，得到用于表征各个网络设备所发生告警事件的第二特征。
步骤S102：根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量。
同一告警类型的告警事件可能会触发生成不同的告警日志，上述事件类别数量表征触发生成告警日志的告警事件的类别数量。
例如，假设告警日志W1是由告警类型T1的告警事件触发生成的，告警日志W2是由告警类型T1的告警事件触发生成的，告警日志W3是由告警类型T2的告警事件触发生成的，告警日志W4是由告警类型T2的告警事件触发生成的，告警日志W5是由告警类型T3的告警事件触发生成的，也就是告警类型T1的告警事件触发生成告警日志W1和W2，告警类型T2的告警事件触发生成告警日志W3和W4，告警类型T3的告警事件触发生成告警日志W5，从而确定告警事件一共有T1、T2、T3三类，因此告警事件的事件类别数量为3。
本发明的一个实施例中，在确定上述事件类型数量时，可以对所获得的第二特征进行聚类，获得聚类组数量；根据聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
在进行聚类时，可以采用K均值聚类、均值漂移聚类、基于密度的聚类等聚类方式对第二特征进行聚类，将得到的聚类组数量确定为各网络设备所发生告警事件的事件类别数量。
在根据聚类组数量确定各网络设备所发生告警事件的事件类别数量时，可以将聚类组数量确定为各网络设备所发生告警事件的事件类别数量，也就是说，各网络设备所发生告警事件的事件类别数量等于聚类组数量，这样，后续对告警事件进行分类时，分类所得事件类别数量等于上述聚类组数量。
例如：假设对所获得的第二特征进行聚类，得到5组聚类组，也就是聚类组数量为5，将聚类组数量5确定为各网络设备所发生告警事件的事件类别数量，从而得到事件类别数量为5。
步骤S103：根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据事件类别数量以及聚类得到的聚类组对告警事件进行分类。
在进行聚类时，可以计算各网络设备所发生告警事件的第一特征间的相似度，基于相似度对各告警事件进行聚类。
在计算第一特征间的相似度时，可以计算第一特征间的欧式距离、余弦距离等距离，采用预设的距离相似度转换算法，将计算的距离转换为相似度，作为第一特征间的相似度。
例如：上述预设的距离相似度转换算法可以为：
Figure 606858DEST_PATH_IMAGE001
，其中，Len表示特征间的距离，Sim表示特征间的相似度，在计算第一特征间的相似度时，计算得到第一特征间的欧式距离后，将计算得到的欧式距离代入上述算法中，计算Sim的值，作为第一特征间的相似度。
计算特征间距离的方式可以为除了欧式距离外的其他特征间距离的计算方法，本实施例中不再一一赘述。
具体的，在基于相似度对各告警事件进行聚类时，可以根据第一特征间的相似度落入的相似度范围，对各网络设备所发生告警事件进行聚类，可以得到聚类组数量以及聚类得到的聚类组。可以理解的是，对于不同相似度范围，得到的聚类组的数量不同。
例如，预设的相似度阈值可以为多个，构成多个相似度范围，进而可以根据告警事件的第一特征间相似度落入的相似度范围对网络设备发生的告警事件进行聚类，
以下表1为例，表1示出了相似度范围与聚类组数量之间的对应关系。
表1
相似度范围 聚类组数量
[100%,95%） 4
[95%,85%） 2
[85%,75%） 1
根据预设的相似度阈值以及表1，可以确定出聚类得到的聚类组的数量。
假设事件类别数量为4，按照上述表1中的对应关系，可以确定相似度范围为[100%，95%），将相似度位于[100%，95%）之间的告警事件进行分类，可以得到4组聚类组。
由于在步骤102中得到的告警事件的事件类别数量可能与步骤103聚类后得到的聚类组的数量可能是相同的，也可能是不同的，那么根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类，存在不同的实现方式，具体的实现在后面的实施例中详细叙述。
步骤S104：从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件。
一个事件组的表征性告警事件可以是该事件组所包含的告警事件中具有代表性的告警事件。一个事件组可以有一个表征性告警事件，也可以有多个表征性告警事件。
在选择表征性告警事件时，可以针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
具体的，可以针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；将统计分析值最高或大于预设分析阈值的告警事件，确定事件组的表征性告警事件。
本发明的一个实施例中，可以针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
例如：假设事件组包含三个告警事件，告警事件S1、告警事件S2、告警事件S3，各告警事件间第一特征的相似度如下表2所示。
表2
S1与S2之间的相似度 S1与S3之间的相似度 S2与S3之间的相似度
90% 70% 80%
基于表2，针对告警事件S1，可以计算S1与S2、S3间第一特征的相似度的平均值(90%+70%)/2=80%；针对告警事件S2，可以计算S2与S1、S3间第一特征的相似度的平均值(90%+80%)/2=85%；针对告警事件S3，可以计算S3与S1、S2间第一特征的相似度的平均值(70%+80%)/2=75%，将平均值最高的告警事件S2作为该事件组的表征性告警事件。
上述统计分析值越大，表示告警事件与其他各告警事件间事件特征的相似度越高，该告警事件越能够代表事件组包含的其他告警事件，该告警事件具有代表性，可以认为该告警事件为事件组的核心告警事件，也就是表征性告警事件。
上述统计分析值越小，表示告警事件与其他各告警事件间事件特征的相似度越低，该告警事件越难以代表事件组包含的其他告警事件，该告警事件不具有代表性，可以认为该告警事件不为事件组的核心告警事件，不为表征性告警事件。
这样基于事件特征间的相似度，能够较为准确的确定各告警事件间的关联关系，从而能够较为准确确定事件组的表征性告警事件。
在选择表征性告警事件时，在上述基于相似度的基础上，还可以根据该事件组包含的各告警事件的告警次数、告警类型等信息，综合确定事件组的表征性告警事件。例如：可以将告警次数最高、告警类型为预设告警类型以及对相似度的统计分析值最高的告警事件作为表征性告警事件等。
步骤S105：将告警日志中发生表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
在确定待进行告警事件排查的日志后，可以分析该日志中记录的网络设备被攻击次数、被攻击类型、攻击次数类型、攻击类型、各告警的告警类型等信息，并向工作人员展示上述信息，具体的，可以通过雷达图、折线图等较为直观的展示方式展示上述信息。
由以上可见，应用本实施例提供的方案对告警日志进行处理时，各网络设备所发生告警事件的第一特征反映所发送告警事件的事件特征，基于各网络设备所发生告警事件的第一特征对告警事件进行聚类时，能够准确地将各网络设备发生的同类别告警事件聚类至同一事件组。又由于各事件组中表征性告警事件对整个事件组具有表征性，所以，告警日志中，发生表征性告警事件的网络设备对应的告警日志是所有告警日志中比较具有表征性的告警日志，因此，将上述告警日志作为待进行告警事件排查的日志，不仅能够减少减少工作人员进行告警事件排查时需要分析的告警日志数量，而且能够增强工作人员进行告警日志分析的针对性，有利于提高排查效率。
并且，第二特征用于表征各个网络设备所发生告警事件的事件特征，且第二特征是基于对第一特征进行整合得到的特征，所得到的第二特征中保留了第一特征中绝大部分绝大部分特征信息、且维度数较少，根据所获得的第二特征，能够较为准确确定各网络设备所发生告警事件的事件类别数量，提高了对各网络设备所发生告警事件进行分类的准确度，进一步提高了所选择的表征性告警事件的表征性。
本发明的一个实施例中，在获得第一特征时，可以根据告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
具体的，告警日志中记录了各网络设备所发生告警事件的告警类型，在统计告警次数时，可以针对告警日志所记录的每一告警类型，确定各网络设备所发生该告警类型的告警事件的告警次数，进而将所统计的各告警事件对应的告警次数组成的序列作为各网络设备所发生告警事件的第一特征。
例如：假设告警日志中记录了告警类型包括告警类型T1、告警类型T2、告警类型T3、告警类型T4，所统计的告警次数如下表3-1所示。
表3-1
告警类型T1 告警类型T2 告警类型T3 告警类型T4
IP1 a1 a2 a3 a4
IP2 b1 b2 b3 b4
IP3 c1 c2 c3 c4
上述表3-1中IP1为网络设备SC1的IP地址，IP2为网络设备SC2的IP地址，IP3为网络设备SC3的IP地址。单元格中元素表示：网络设备所发生告警事件对应的各告警类型的告警次数，以第二行第二列单元格中元素“a1”为例，该元素表示IP地址为IP1的网络设备SC1所发生告警事件对应的告警类型T1的告警次数。
基于上述表3-1中的告警次数组成的序列为：
Figure 272195DEST_PATH_IMAGE002
将所得到的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
基于此，在上述步骤S101中获得第二特征时，可以对第一特征进行降维处理，例如：沿用上述例子，对下述第一特征进行降维处理
Figure 446824DEST_PATH_IMAGE003
在一个示例中，所得到的第二特征为：
Figure 188515DEST_PATH_IMAGE004
其中，第二特征包含的各元素为：对第一特征包含的各元素降维处理后得到的元素。
在上述实施例的基础上，本发明的一个实施例中，在获得第二特征时，可以将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
具体的，主成分分析算法通过分析第一特征中各维度的特征数据之间的协方差矩阵，求解出协方差矩阵对应的特征值和对应的特征向量，实现针对第一特征中各维度的特征数据的降维处理。然后，按照特征值从大到小的顺序将特征向量进行排列，进而得到最终降维后的矩阵，该矩阵作为第二特征。
具体的，可以采用现有技术中的任意的降维算法，本实施例对此并不加以限定。
本发明的一个实施例中，在上述步骤S103中，可以按照以下步骤A1-步骤A5对告警事件进行分类。
步骤A1：根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组。
上述聚类组中包括：网络设备所发生告警事件的第一特征。上述聚类组中还可以包括网络设备的标识、网络设备所发生告警事件。
具体的，在进行循环层级聚类时，可以采用自底向上的循环层级聚类算法实现。
在第一次聚类时，基于各网络设备所发生告警事件的第一特征，对各网络设备发生的告警事件进行聚类，可以得到第一次聚类后聚类组以及聚类组的数量，也就是得到了第一层级包括的聚类组以及聚类组的数量。
在之后每一次聚类时，计算上一次聚类后得到的聚类组之间的相似度，基于计算得到的相似度对各聚类组进行聚类，按照这样的方式能够得到每一层级包括的聚类组以及聚类组的数量。直至满足预设的聚类结束条件。
在计算聚类组之间的相似度时，可以通过各聚类组包含的告警事件间的相似度计算得到。具体的，可以针对聚类组包含的每一告警事件，计算该告警事件与其他聚类组包含的各告警事件间的相似度；获得计算得到的相似度的和值、平均值或中值，将所获得的数值作为聚类组之间的相似度。
例如：聚类组G1包含告警事件W1、告警事件W2，聚类组G2包含告警事件W3、告警事件W4，可以计算得到告警事件W1与告警事件W3间的相似度Sim1、告警事件W1与告警事件W4间的相似度Sim2、告警事件W2与告警事件W3间的相似度Sim3、告警事件W2与告警事件W4间的相似度Sim4，计算得到的各相似度的平均值(Sim1+Sim2+Sim3+Sim4)/4，将计算得到的平均值作为聚类组之间的相似度。
上述预设的聚类结束条件可以为：聚类次数达到预设的聚类次数、或者所得到的聚类组数量达到预设的聚类组数量等。
具体的，在每一次聚类时，可以根据各聚类组间的相似度落入各相似度范围，对各聚类组进行聚类。
参见图2示出了自底向上的循环层级聚类流程，对上述循环层级聚类过程进行说明如下。
图2中P11、P21、P12、P22、Q11、Q21、Q12、Q22为初始状态下聚类组的标识，各聚类组与各网络设备一一对应、且每一聚类组包括所对应网络设备发生的告警事件。
初始状态下各聚类组对应网络设备的标识以及网络设备发生各告警类型的告警事件的次数如表3-2所示。
表3-2
IP地址 聚类组标识 告警类型T1 告警类型T2 告警类型T3 告警类型T4
IP1 P11 a1 a2 a3 a4
IP2 P21 b1 b2 b3 b4
IP3 P12 c1 c2 c3 c4
IP4 P22 d1 d2 d3 d4
IP5 Q11 e1 e2 e3 e4
IP6 Q21 f1 f2 f3 f4
IP7 Q12 g1 g2 g3 g4
IP8 Q22 h1 h2 h3 h4
以上述表3-2中第一行元素为例，IP1表示聚类组P11对应的网络设备的IP地址，a1表示IP1对应的网络设备所发生告警类型T1的告警事件的发生次数，a2表示IP1对应的网络设备所发生告警类型T2的告警事件的发生次数，a3表示IP1对应的网络设备所发生告警类型T3的告警事件的发生次数，a4表示IP1对应的网络设备所发生告警类型T4的告警事件的发生次数。
按照从底向上的顺序，在第一次聚类时，合并相似的聚类组。
具体的，可以计算聚类组中的各告警类型组成的向量之间的距离来计算相似度。例如，计算聚类组P21和P12的相似度先可以计算向量{b1，b2，b3，b4}与{c1，c2，c3，c4}之间的距离，将计算得到的距离转换为P21和P12之间的相似度，将相似度大于预设阈值的聚类组进一步的聚类为一个聚类组。
例如：可以将聚类组P21中各告警类型组成的向量与聚类组P12中各告警类型组成的向量间的距离，代入预设的距离相似度转换算法
Figure 448595DEST_PATH_IMAGE001
，其中，Len表示特征间的距离，Sim表示特征间的相似度，计算Sim的值，得到相似度，将相似度小于预设阈值的聚类组进一步聚类为一个聚类组，得到第一类聚类组。
如图2所示，P11与P12进行聚类、P21与P22进行聚类、Q11与Q12进行聚类、Q21与Q22进行聚类，得到各第一类聚类组P1={ P11，P12}、P2={ P21，P22}、Q1={ Q11，Q12}、Q2={Q21，Q22}。
第二次聚类时，合并相似的聚类组。具体的，可以计算各第一类聚类组中的各告警类型组成的向量之间的距离来计算相似度，将相似度大于预设阈值的第一类聚类组进一步的聚类为一个聚类组，得到第二类聚类组。
如图2所示， P1与P2进行聚类、Q1与Q2进行聚类，得到第二类聚类组P={ P1，P2}、Q={ Q1，Q2}，即P={ P11，P12，P21，P22}、Q={ Q11，Q12， Q21，Q22}。
第三次聚类时，合并相似的聚类组。具体的，可以计算各第二类聚类组中的各告警类型组成的向量之间的距离来计算相似度，将相似度大于预设阈值的第二类聚类组进一步的聚类为一个聚类组，得到第三类聚类组。
如图2所示，P与Q进行聚类得到一个聚类，满足预设的聚类结束条件，结束循环。
每一次聚类时采用的预设阈值可以是相同的、也可以是不同的。由上述过程可以看到，在每一次聚类时，所得到的每一层级的聚类组的数量以及各聚类组如下表3-3所示。
表3-3
Figure 451711DEST_PATH_IMAGE005
步骤A2：针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度。
具体的，在计算相似度时，可以计算聚类组中的各告警类型组成的向量之间的距离来计算相似度。
例如，沿用上述步骤A1中例子，假设对聚类组P1包括的不同网络设备的告警事件所对应的第一特征之间的相似度进行计算，也就是对P21和P12的相似度进行计算，通过计算向量{b1，b2，b3，b4}与{c1，c2，c3，c4}之间的距离，将计算得到的距离转换为P21和P12之间的相似度，从而得到聚类组P1中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度。
步骤A3：根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围。
具体的，可以将每一层级包括的最小相似度与最大相似度形成的范围作为该层级包括的聚类组所对应的相似度范围。
例如：第二层级包括的聚类组的相似度包括:70%、75%、80%、85%，那么，该第二层级包括的聚类组所对应的相似度范围为[70%,85%]。
本发明的一个实施例中，还可以获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。
具体的，可以以所获得的数值为基准相似度，分别向前向后延伸预设的相似度大小，得到相似度范围。
例如：第二层级包括的聚类组的相似度包括:70%、75%、80%、85%，可以获得第二层级包括的聚类组的相似度的平均值约为77%，以77%为基准相似度，分别向前向后延伸10%，可以得到[67%,87%]。
步骤A4：根据每一层级的聚类组的数量和相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系。
例如：沿用步骤A1中的例子，假设计算得到第一层级包括的聚类组所对应的相似度范围为[100%,95%），第二层级包括的聚类组所对应的相似度范围为[95%,85%），第三层级包括的聚类组所对应的相似度范围为[85%,75%），从而可以得到表3-4所示的对应关系。
表3-4
Figure 215268DEST_PATH_IMAGE006
步骤A5：根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为事件类别数量个事件组的事件间相似度，作为相似度门限值。
具体的，可以从所生成的对应关系中，确定事件类别数量所对应的相似度范围，从所确定的相似度范围中确定一个相似度范围，作为相似度门限值。如可以从所确定的相似度范围中选择最大相似度或最小相似度，还可以获得所确定的相似度范围中各相似度的平均值或中值。
例如：以上述表3-4为例，假设事件类别数量为4，从上述对应关系中可以得到数量4对应的相似度范围为[100%,95%），计算相似度范围中各相似度的平均值，作为相似度门限值。
当对应关系中未存储有事件类别数量时，可以在不同层级的聚类组中确定与上述步骤S102中计算得到的事件类别数量最接近的聚类组的数量；进而确定出根据该层级的聚类组的数量对应的相似度范围，从上述相似度范围中确定一个相似度，作为相似度门限值。
例如：若步骤S102计算得到的事件类别数量为5个，在上述表3-4中存储的聚类组数量与上述事件类别数量最接近的4，从数量4对应的相似度范围为[100%,95%），计算相似度范围中各相似度的平均值，作为相似度门限值。
具体的，可以在查找到的范围中，选择最大事件间相似度、最小事件间相似度、或者预设位置处的相似度中的任意一个，作为相似度门限值。接续上面的示例，例如可以选择相似度范围的最大值85%作为相似度门限值。
步骤A6：根据相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为事件类别数量个事件组。
由于相似度门限值为使得各网络设备所发生的告警事件被划分为事件类别数量个事件组的事件间相似度，那么根据相似度门限值和多个层级的聚类组，可以将各网络设备所发生的告警事件划分为事件类别数量个事件组。
具体的，可以从各层级包括的聚类组所对应的相似度范围中，确定小于相似度门限值的事件间相似度，作为目标相似度；获得使用目标相似度对聚类组进行聚类得到的目标聚类组；使用相似度门限值对目标聚类组进行事件分组，得到事件类别数量个事件组。
具体的，可以确定层级低于相似度门限值所在相似度范围对应的层级的相似度范围，从所确定的相似度范围选择一个相似度，作为目标相似度。
例如：以表3-4为例，假设根据上述方法确定出的相似度门限值为85%，根据表3-4所示的各层级包括的聚类组所对应的相似度范围，可以确定85%所在的相似度范围为第三层级，层级低于第三层级的包括第二层级、第一层级，以第二层级为例，第二层级对应的相似度范围为[95%,85%），从这一范围中选择一个相似度，作为目标相似度。
上述目标聚类组是使用目标相似度聚类得到的聚类组，一种情况下，可以实时通过目标相似度对告警事件进行聚类，所得到的聚类组为目标聚类组；另一种情况下，可以获得循环层级聚类时采用目标相似度聚类得到的聚类组，作为目标聚类组。
由于目标聚类组是使用目标相似度聚类得到的聚类组，目标聚类组可以被认为包含两类聚类组，第一类聚类组是根据聚类组间相似度小于目标相似度的聚类组得到的，第二类聚类组是根据聚类组间相似度不小于目标相似度的聚类组得到的。例如：假设目标相似度为70%，那么目标聚类组包括聚类组间相似度小于70%的第一类聚类组，以及聚类组间相似度不小于70%的第二类聚类组，
又由于相似度门限值大于目标相似度，所以，使用相似度门限值对目标聚类组进行事件分组时，不会改变第一类聚类组，第一类聚类组可以会直接作为事件组，而是对第二类聚类组进行事件分组，得到事件组。
例如：使用相似度门限值80%对第二类聚类组进行事件分组，可以得到聚类组间相似度小于80%的聚类组和聚类组间相似度不小于80%的聚类组，从而得到3个事件组。
这样，由于循环层级聚类所得的每次聚类使用的信息以及得到的结果比较全面，从上述信息中能够较为准确地确定相似度门限值，从而较为准确将告警事件划分为事件类别数量个事件组。
与上述告警日志处理方法相对应，本发明实施例还提供了一种告警日志处理装置。
参见图3，图3为本发明实施例提供的一种告警日志处理装置的结构示意图，上述装置包括以下模块301-305。
特征获得模块301，用于根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；
数量确定模块302，用于根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量；
事件分类模块303，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类；
事件选择模块304，用于从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件；
日志确定模块305，用于将所述告警日志中发生所述表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
由以上可见，应用本实施例提供的方案对告警日志进行处理时，各网络设备所发生告警事件的第一特征反映所发送告警事件的事件特征，基于各网络设备所发生告警事件的第一特征对告警事件进行聚类时，能够准确地将各网络设备发生的同类别告警事件聚类至同一事件组。又由于各事件组中表征性告警事件对整个事件组具有表征性，所以，告警日志中，发生表征性告警事件的网络设备对应的告警日志是所有告警日志中比较具有表征性的告警日志，因此，将上述告警日志作为待进行告警事件排查的日志，不仅能够减少减少工作人员进行告警事件排查时需要分析的告警日志数量，而且能够增强工作人员进行告警日志分析的针对性，有利于提高排查效率。
并且，第二特征用于表征各个网络设备所发生告警事件的事件特征，且第二特征是基于对第一特征进行整合得到的特征，所得到的第二特征中保留了第一特征中绝大部分绝大部分特征信息、且维度数较少，根据所获得的第二特征，能够较为准确确定各网络设备所发生告警事件的事件类别数量，提高了对各网络设备所发生告警事件进行分类的准确度，进一步提高了所选择的表征性告警事件的表征性。
本发明的一个实施例中，上述特征获得模块，具体用于根据所述告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
本发明的一个实施例中，上述特征获得模块，具体用于对所获得的第二特征进行聚类，获得聚类组数量；根据所述聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
本发明的一个实施例中，上述特征获得模块，具体用于将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
主成分分析算法能够对网络设备所发生告警事件的事件类型以及各告警类型对应的告警次数进行降维处理，并分析数据主成分，所得到的分析结果可以较为准确反映网络设备所发生告警事件的事件特征。
本发明的一个实施例中，上述事件选择模块，具体用于针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
这样，基于事件特征的相似度，能够较为准确确定各告警事件间的关联关系，从而能够较为准确确定事件组的表征性告警事件。
本发明的一个实施例中，上述事件选择模块，具体用于针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；将统计分析值最高或大于预设分析值阈值的告警事件，确定为事件组的表征性告警事件。
本发明的一个实施例中，上述事件选择模块，具体用于针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
本发明的一个实施例中，上述事件分类模块，包括：
聚类组得到子模块，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组，其中，所述聚类组中包括：网络设备所发生告警事件的第一特征；
相似度计算子模块，用于针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度；
范围确定子模块，用于根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围；
对应关系生成子模块，用于根据每一层级的聚类组的数量和所述相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系；
相似度确定子模块，用于根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为所述事件类别数量个事件组的事件间相似度，作为相似度门限值；
事件组划分子模块，用于根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为所述事件类别数量个事件组。
本发明的一个实施例中，上述范围确定子模块，具体用于获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。
本发明的一个实施例中，上述事件组划分子模块，具体用于从各层级包括的聚类组所对应的相似度范围中，确定小于所述相似度门限值的事件间相似度，作为目标相似度；获得使用目标相似度对聚类组进行聚类得到的目标聚类组；使用所述相似度门限值对所述目标聚类组进行事件分组，得到所述事件类别数量个事件组。
与上述告警日志处理方法相对应，本发明实施例还提供了一种网络设备。
参见图4，图4为本发明实施例提供的一种网络设备的结构示意图，包括处理器401和机器可读存储介质402，机器可读存储介质存储402有能够被所述处理器401执行的机器可执行指令，所述处理器401被所述机器可执行指令促使，实现本发明实施例提供的告警日志处理方法。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器，实现本发明实施例提供的告警日志处理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行时实现本发明实施例提供的告警日志处理方法。
由以上可见，应用本实施例提供的方案对告警日志进行处理时，各网络设备所发生告警事件的第一特征反映所发送告警事件的事件特征，基于各网络设备所发生告警事件的第一特征对告警事件进行聚类时，能够准确地将各网络设备发生的同类别告警事件聚类至同一事件组。又由于各事件组中表征性告警事件对整个事件组具有表征性，所以，告警日志中，发生表征性告警事件的网络设备对应的告警日志是所有告警日志中比较具有表征性的告警日志，因此，将上述告警日志作为待进行告警事件排查的日志，不仅能够减少减少工作人员进行告警事件排查时需要分析的告警日志数量，而且能够增强工作人员进行告警日志分析的针对性，有利于提高排查效率。
并且，第二特征用于表征各个网络设备所发生告警事件的事件特征，且第二特征是基于对第一特征进行整合得到的特征，所得到的第二特征中保留了第一特征中绝大部分绝大部分特征信息、且维度数较少，根据所获得的第二特征，能够较为准确确定各网络设备所发生告警事件的事件类别数量，提高了对各网络设备所发生告警事件进行分类的准确度，进一步提高了所选择的表征性告警事件的表征性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、网络设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (22)

1.一种告警日志处理方法，其特征在于，所述方法包括：
根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；
根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量；
根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类；
从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件；
将所述告警日志中发生所述表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
2.根据权利要求1所述的方法，其特征在于，所述根据告警日志，获得各个网络设备所发生告警事件的第一特征，包括：
根据告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量，包括：
对所获得的第二特征进行聚类，获得聚类组数量；
根据所述聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
4.根据权利要求2或3所述的方法，其特征在于，所述对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征，包括：
将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
5.根据权利要求2或3所述的方法，其特征在于，所述从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件，包括：
针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
6.根据权利要求5所述的方法，其特征在于，按照以下方式确定事件组的表征性告警事件：
针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；
将统计分析值最高或大于预设分析值阈值的告警事件，确定为事件组的表征性告警事件。
7.根据权利要求6所述的方法，其特征在于，所述针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析，包括：
针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
8.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类，包括：
根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组，其中，所述聚类组中包括：网络设备所发生告警事件的第一特征；
针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度；
根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围；
根据每一层级的聚类组的数量和所述相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系；
根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为所述事件类别数量个事件组的事件间相似度，作为相似度门限值；
根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为所述事件类别数量个事件组。
9.根据权利要求8所述的方法，其特征在于，所述根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围，包括：：
获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。
10.根据权利要求8所述的方法，其特征在于，所述根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为事件类别数量个事件组，包括：
从各层级包括的聚类组所对应的相似度范围中，确定小于所述相似度门限值的事件间相似度，作为目标相似度；
获得使用目标相似度对聚类组进行聚类得到的目标聚类组；
使用所述相似度门限值对所述目标聚类组进行事件分组，得到所述事件类别数量个事件组。
11.一种告警日志处理装置，其特征在于，所述装置包括：
特征获得模块，用于根据告警日志，获得各个网络设备所发生告警事件的第一特征，并对所获得的第一特征进行整合，获得用于表征各个网络设备所发生告警事件的第二特征；
数量确定模块，用于根据所获得的第二特征，确定各网络设备所发生告警事件的事件类别数量；
事件分类模块，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行聚类，根据所述事件类别数量以及聚类得到的聚类组对告警事件进行分类；
事件选择模块，用于从分类得到的事件组包含的告警事件中，选择各事件组的表征性告警事件；
日志确定模块，用于将所述告警日志中发生所述表征性告警事件的网络设备对应的告警日志确定为待进行告警事件排查的日志。
12.根据权利要求11所述的装置，其特征在于，
所述特征获得模块，具体用于根据所述告警日志中记录的告警类型，统计各个网络设备所发生告警事件对应的各告警类型的告警次数，将多个告警事件对应的告警次数组成的序列作为各个网络设备所发生告警事件的第一特征。
13.根据权利要求12所述的装置，其特征在于，
所述数量确定模块，具体用于对所获得的第二特征进行聚类，获得聚类组数量；根据所述聚类组数量，确定各网络设备所发生告警事件的事件类别数量。
14.根据权利要求12或13所述的装置，其特征在于，
所述特征获得模块，具体用于将所获得的第一特征输入预设的主成分分析算法，依据各个网络设备所发生告警事件的告警类型，对各告警类型的告警次数进行主成分分析，将分析结果作为用于表征各个网络设备所发生告警事件的第二特征。
15.根据权利要求12或13所述的装置，其特征在于，
所述事件选择模块，具体用于针对每一事件组，根据该事件组包含的每一告警事件与该事件组中其他告警事件间第一特征的相似度，确定事件组的表征性告警事件。
16.根据权利要求15所述的装置，其特征在于，
所述事件选择模块，具体用于针对事件组中的每一告警事件，对该告警事件与事件组中其他各告警事件间第一特征的相似度进行统计分析；将统计分析值最高或大于预设分析值阈值的告警事件，确定为事件组的表征性告警事件。
17.根据权利要求16所述的装置，其特征在于，
所述事件选择模块，具体用于针对事件组中的每一告警事件，计算该告警事件与事件组中其他各告警事件间第一特征的相似度的和值、平均值或中值，作为统计分析值。
18.根据权利要求11-13中任一项所述的装置，其特征在于，所述事件分类模块，包括：
聚类组得到子模块，用于根据各网络设备所发生告警事件的第一特征，对各网络设备所发生告警事件进行循环层级聚类，直至满足预设的聚类结束条件，得到每一层级包括的聚类组，其中，所述聚类组中包括：网络设备所发生告警事件的第一特征；
相似度计算子模块，用于针对每一个聚类组，计算该聚类组中包括的不同的网络设备的告警事件所对应的第一特征之间的相似度；
范围确定子模块，用于根据每一个聚类组计算出的相似度，确定出每一层级包括的聚类组所对应的相似度范围；
对应关系生成子模块，用于根据每一层级的聚类组的数量和所述相似度范围，生成不同层级的聚类组的数量与所对应的相似度范围的对应关系；
相似度确定子模块，用于根据所生成的对应关系，确定使得各网络设备所发生的告警事件被划分为所述事件类别数量个事件组的事件间相似度，作为相似度门限值；
事件组划分子模块，用于根据所述相似度门限值和多个层级的聚类组，将各网络设备所发生的告警事件划分为所述事件类别数量个事件组。
19.根据权利要求18所述的装置，其特征在于，
所述范围确定子模块，具体用于获得每一层级包括的各聚类组的相似度的平均值或中值，根据所获得的数值确定每一层级包括的聚类组所对应的相似度范围。
20.根据权利要求18所述的装置，其特征在于，
所述事件组划分子模块，具体用于从各层级包括的聚类组所对应的相似度范围中，确定小于所述相似度门限值的事件间相似度，作为目标相似度；获得使用目标相似度对聚类组进行聚类得到的目标聚类组；使用所述相似度门限值对所述目标聚类组进行事件分组，得到所述事件类别数量个事件组。
21.一种网络设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-10任一所述的方法步骤。
22.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现权利要求1-10任一所述的方法步骤。
CN202110543955.1A 2021-05-19 2021-05-19 一种告警日志处理方法及装置 Active CN112968805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543955.1A CN112968805B (zh) 2021-05-19 2021-05-19 一种告警日志处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543955.1A CN112968805B (zh) 2021-05-19 2021-05-19 一种告警日志处理方法及装置

Publications (2)

Publication Number Publication Date
CN112968805A true CN112968805A (zh) 2021-06-15
CN112968805B CN112968805B (zh) 2021-08-06

Family

ID=76275646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543955.1A Active CN112968805B (zh) 2021-05-19 2021-05-19 一种告警日志处理方法及装置

Country Status (1)

Country Link
CN (1) CN112968805B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485886A (zh) * 2021-06-25 2021-10-08 青岛海尔科技有限公司 告警日志的处理方法和装置、存储介质及电子装置
CN114363148A (zh) * 2021-12-20 2022-04-15 绿盟科技集团股份有限公司 一种检测攻击告警的方法、装置、检测设备及存储介质
CN117591673A (zh) * 2024-01-17 2024-02-23 腾讯科技（深圳）有限公司 日志分组方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399347A (zh) * 2018-04-23 2019-11-01 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
CN111082966A (zh) * 2019-11-01 2020-04-28 平安科技（深圳）有限公司 基于批量告警事件的定位方法、装置、电子设备及介质
CN111104511A (zh) * 2019-11-18 2020-05-05 腾讯科技（深圳）有限公司 一种提取热点话题的方法、装置及存储介质
CN111309565A (zh) * 2020-05-14 2020-06-19 北京必示科技有限公司 告警处理方法、装置、电子设备以及计算机可读存储介质
CN112600719A (zh) * 2021-03-04 2021-04-02 新华三人工智能科技有限公司 告警聚类方法、装置及存储介质
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399347A (zh) * 2018-04-23 2019-11-01 华为技术有限公司 告警日志压缩方法、装置及系统、存储介质
US20210042270A1 (en) * 2018-04-23 2021-02-11 Huawei Technologies Co., Ltd. Alarm log compression method, apparatus, and system, and storage medium
CN111082966A (zh) * 2019-11-01 2020-04-28 平安科技（深圳）有限公司 基于批量告警事件的定位方法、装置、电子设备及介质
CN111104511A (zh) * 2019-11-18 2020-05-05 腾讯科技（深圳）有限公司 一种提取热点话题的方法、装置及存储介质
CN111309565A (zh) * 2020-05-14 2020-06-19 北京必示科技有限公司 告警处理方法、装置、电子设备以及计算机可读存储介质
CN112685393A (zh) * 2020-12-24 2021-04-20 国网福建省电力有限公司 一种用于电力通信网的智能化告警归并方法及系统
CN112600719A (zh) * 2021-03-04 2021-04-02 新华三人工智能科技有限公司 告警聚类方法、装置及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485886A (zh) * 2021-06-25 2021-10-08 青岛海尔科技有限公司 告警日志的处理方法和装置、存储介质及电子装置
CN113485886B (zh) * 2021-06-25 2023-07-21 青岛海尔科技有限公司 告警日志的处理方法和装置、存储介质及电子装置
CN114363148A (zh) * 2021-12-20 2022-04-15 绿盟科技集团股份有限公司 一种检测攻击告警的方法、装置、检测设备及存储介质
CN114363148B (zh) * 2021-12-20 2023-05-26 绿盟科技集团股份有限公司 一种检测攻击告警的方法、装置、检测设备及存储介质
CN117591673A (zh) * 2024-01-17 2024-02-23 腾讯科技（深圳）有限公司 日志分组方法、装置、设备及存储介质
CN117591673B (zh) * 2024-01-17 2024-05-03 腾讯科技（深圳）有限公司 日志分组方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112968805B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN112968805B (zh) 一种告警日志处理方法及装置
US10200393B2 (en) Selecting representative metrics datasets for efficient detection of anomalous data
CN110471916B (zh) 数据库的查询方法、装置、服务器及介质
CN108446184B (zh) 分析故障根原因的方法和系统
US6697802B2 (en) Systems and methods for pairwise analysis of event data
CN109327320B (zh) 一种故障定界方法及设备
JP2022118108A (ja) ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
Bai et al. Unsuccessful story about few shot malware family classification and siamese network to the rescue
CN111258798A (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN112685324A (zh) 一种生成测试方案的方法及系统
US10637878B2 (en) Multi-dimensional data samples representing anomalous entities
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN112306820A (zh) 一种日志运维根因分析方法、装置、电子设备及存储介质
EP4111660A1 (en) Cyberattack identification in a network environment
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质
US10516684B1 (en) Recommending and prioritizing computer log anomalies
CN115801307A (zh) 一种利用服务器日志进行端口扫描检测的方法和系统
US20220284045A1 (en) Matching machine generated data entries to pattern clusters
CN114547406A (zh) 数据监控方法、系统、存储介质及电子装置
CN114297037A (zh) 一种告警聚类方法及装置
CN107819601A (zh) 一种基于Spark的快速和高效的安全运维服务架构
CN113326064A (zh) 划分业务逻辑模块的方法、电子设备及存储介质
Pina Automatic detection of anomalous user access patterns to sensitive data
CN111026616A (zh) 一种信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant