CN117879933A - 告警日志的处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种告警日志的处理方法、装置及设备，涉及网络安全技术领域，能够挖掘到更深层次的行为特征，进而从海量告警日志中区分出真实的攻击告警，提升网络安全的告警分析效率。其中方法包括：获取告警日志按照不同时间窗口形成的时间序列数据，通过对时间序列数据进行异常检测，在时间序列数据中确定异常波动数据对应的时间段，根据异常波动数据对应的时间段，在时间序列数据中提取包含异常波动特征的目标告警日志，根据目标告警日志在异常波动特征上的结构描述，对目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

Description

告警日志的处理方法、装置及设备

技术领域

本申请涉及网络安全技术领域，尤其是涉及到一种告警日志的处理方法、装置及设备。

背景技术

随着网络技术的飞速发展，网络安全问题日益凸显。恶意攻击、病毒传播、网络钓鱼等各种安全网络威胁层出不穷。为了应对这些威胁，许多组织机构都采取了各种网络安全措施，例如，部署防火墙、入侵检测系统、入侵防御系统等，以便及时发现并阻止安全攻击。然而，随着网络安全设备和应用程序的不断增多，网络安全告警也变得越来越复杂和庞大，如何从海量的网络安全告警中筛选出关键告警成为一项重要任务。

相关技术中，可通过时间窗口和规则库的方式对告警日志进行处理，还可以针对告警日志构建特征，通过特征的有监督学习或异常检测算法构建模型对告警日志进行处理，进而从告警日志中筛选出关键告警。然而，通过时间窗口和规则库的方式需要依赖专家经验提取规则，通过有监督学习同样需要投入专家经验进行类别判定，耗费大量人力成本的同时，筛选出来的关键告警往往具有单一维度的行为特征，无法挖掘到更深层次的行为特征，很难从海量告警日志中区分出真实的攻击告警，影响网络安全的告警分析效率。

发明内容

有鉴于此，本申请提供了一种告警日志的处理方法、装置及设备，主要目的在于解决现有技术很难从海量告警日志中区分出真实的攻击告警，影响网络安全的告警分析效率的问题。

根据本申请的第一个方面，提供了一种告警日志的处理方法，包括：

获取告警日志按照不同时间窗口形成的时间序列数据；

通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段；

根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志；

根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

进一步地，在所述获取告警日志按照不同时间窗口形成的时间序列数据之前，所述方法还包括：

在网络应用的各个关键节点上部署安全设备，通过所述安全设备收集数据流输出的原始告警日志；

根据所述原始告警日志中记录的时间信息，对设定时间间隔内的原始告警日志进行合并处理。

进一步地，所述通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段，包括：

通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据；

将所述时间序列数据中非异常的时间序列时间和存在周期性的时间序列数据标记为标准时间序列数据；

通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段。

进一步地，所述通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据，包括：

对所述时间序列数据进行差分处理，以获得差分序列数据；

针对所述差分序列数据进行异常检测，将异常时间点作为时间序列数据进行分割的节点；

根据所述节点对应的正负类型将介于正异常和负异常之间的时间序列数据标记为异常的时间序列数据。

进一步地，所述通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段，包括：

以告警日志中记录的网络标识作为匹配维度，将所述存在异常的时间序列数据与所述标准时间序列数据进行相似度匹配，得到匹配一致的时间序列数据和剩余的时间序列数据；

根据所述剩余的时间序列数据，在所述时间序列数据中确定异常波动数据对应的时间段。

进一步地，在所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志之前，所述方法还包括：

以所述目标告警日中记录的网络标识作为节点，以网络标识之间的访问关系为边构建图结构；

在所述图结构中添加节点属性和边属性，针对所述图结构中的各个节点筛选一阶邻居边，构建一阶邻居边的结构描述；

根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述；

所述根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述，包括：

根据所述一阶邻居边的结构描述，使用子图中心自身编码属性和对应的业务属性确定一阶邻居描述列表的多个属性；

根据所述一阶邻居描述列表的多个属性，构造目标告警日志在异常波动特征上的结构描述。

进一步地，所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志，包括：

根据所述目标告警日志在异常波动特征上的结构描述，获取一阶邻居描述列表的多个属性；

根据所述一阶邻居描述列表的多个属性，将同一类的一阶子图合并到一起，得到目标聚类日志形成的子图簇；

在所述目标聚类日志形成的子图簇中设置不同聚类指标，得到具有不同聚类指标的关键告警日志。

根据本申请的第二个方面，提供了一种告警日志的处理装置，包括：

获取单元，用于获取告警日志按照不同时间窗口形成的时间序列数据；

确定单元，用于通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段；

提取单元，用于根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志；

处理单元，用于根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

进一步地，所述装置还包括：

部署单元，用于在所述获取告警日志按照不同时间窗口形成的时间序列数据之前，在网络应用的各个关键节点上部署安全设备，通过所述安全设备收集数据流输出的原始告警日志；

合并单元，用于根据所述原始告警日志中记录的时间信息，对设定时间间隔内的原始告警日志进行合并处理。

进一步地，所述确定单元包括：

第一标记模块，用于通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据；

第二标记模块，用于将所述时间序列数据中非异常的时间序列时间和存在周期性的时间序列数据标记为标准时间序列数据；

匹配模块，用于通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段。

进一步地，所述第一标记模块，具体用于对所述时间序列数据进行差分处理，以获得差分序列数据；针对所述差分序列数据进行异常检测，将异常时间点作为时间序列数据进行分割的节点；根据所述节点对应的正负类型将介于正异常和负异常之间的时间序列数据标记为异常的时间序列数据。

进一步地，所述匹配模块，具体用于以告警日志中记录的网络标识作为匹配维度，将所述存在异常的时间序列数据与所述标准时间序列数据进行相似度匹配，得到匹配一致的时间序列数据和剩余的时间序列数据；根据所述剩余的时间序列数据，在所述时间序列数据中确定异常波动数据对应的时间段。

进一步地，所述装置还包括：

构建单元，用于在所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志之前，以所述目标告警日中记录的网络标识作为节点，以网络标识之间的访问关系为边构建图结构；

添加单元，用于在所述图结构中添加节点属性和边属性，针对所述图结构中的各个节点筛选一阶邻居边，构建一阶邻居边的结构描述；

构造单元，用于根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述；

所述构造单元，具体用于根据所述一阶邻居边的结构描述，使用子图中心自身编码属性和对应的业务属性确定一阶邻居描述列表的多个属性；根据所述一阶邻居描述列表的多个属性，构造目标告警日志在异常波动特征上的结构描述。

进一步地，所述处理单元，具体用于根据所述目标告警日志在异常波动特征上的结构描述，获取一阶邻居描述列表的多个属性；根据所述一阶邻居描述列表的多个属性，将同一类的一阶子图合并到一起，得到目标聚类日志形成的子图簇；在所述目标聚类日志形成的子图簇中设置不同聚类指标，得到具有不同聚类指标的关键告警日志。

根据本申请的第三个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

根据本申请的第四个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

借由上述技术方案，本申请提供的一种告警日志的处理方法、装置及设备，与目前现有技术中通过时间窗口和规则库的方式或有监督学习的方式对告警日志进行处理的方式相比，本申请通过获取告警日志按照不同时间窗口形成的时间序列数据，通过对时间序列数据进行异常检测，在时间序列数据中确定异常波动数据对应的时间段，根据异常波动数据对应的时间段，在时间序列数据中提取包含异常波动特征的目标告警日志，根据目标告警日志在异常波动特征上的结构描述，对目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。整个过程先结合时间序列提取包含异常波动特征的目标告警日志，然后根据目标告警日志的异常波动特征对目标告警日志进行聚合处理，使得聚合得到的关键告警日志具有时间维度和结构维度上的行为特征，能够挖掘到更深层次的行为特征，进而从海量告警日志中区分出真实的攻击告警，提升网络安全的告警分析效率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一实施例告警日志的处理方法的流程示意图；

图2是本申请另一实施例告警日志的处理方法的流程示意图；

图3是图1中步骤102的一具体实施方式流程示意图；

图4是本申请另一实施例告警日志的处理方法的流程示意图；

图5是图1中步骤104的一具体实施方式流程示意图；

图6是本申请一实施例告警日志的处理装置的结构示意图；

图7是本发明实施例提供的一种计算机设备的装置结构示意图。

具体实施方式

现在将参照若干示例性实施例来论述本发明的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。

如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。

相关技术中，可通过时间窗口和规则库的方式对告警日志进行处理，还可以针对告警日志构建特征，通过特征的有监督学习或异常检测算法构建模型对告警日志进行处理，进而从告警日志中筛选出关键告警。然而，通过时间窗口和规则库的方式需要依赖专家经验提取规则，通过有监督学习同样需要投入专家经验进行类别判定，耗费大量人力成本的同时，筛选出来的关键告警往往具有单一维度的行为特征，无法挖掘到更深层次的行为特征，很难从海量告警日志中区分出真实的攻击告警，影响网络安全的告警分析效率。

为了解决该问题，本实施例提供了一种告警日志的处理方法，如图1所示，该方法应用于日志处理对应的服务端，包括如下步骤：

101、获取告警日志按照不同时间窗口形成的时间序列数据。

在现实生产环境中，网络结构十分复杂，为了包含网络的安全性，各种安全设备营运而生，安全设备的主要功能是检测和预防网络中的各种安全威胁，如病毒、恶意软件、黑客攻击等。安全设备会实时生成网络安全日志，通过网络安全日志来记录网络上发生的各种安全事件和操作行为，对于检测和分析网络安全事件、及时采取措施以保护系统安全具有重要意义，网络安全日志包含了网络中用户的登录信息、异常事件记录、安全设备的日志记录等内容，通过对这些日志进行监控和分析，可以及时发现并处理安全事件，提高网络的安全性。当安全设备检测到异常行为时，会生成告警日志，通过告警日志记录下相关的信息，例如，日期和时间、告警等级、告警类型、源IP地址和目的IP地址以及告警描述等。

为了高效的管理和分析告警日志，在收到告警日志之后，可按照不同时间窗口将告警日志形成时间序列数据，例如，从IP角度按照目的IP数量、源IP数量、攻击类型数量、被访问攻击数量、源IP-目的IP攻击类型等维度，分别以天、小时为时间窗构建时间序列数据。

具体来说，告警日志中可能会包含各种类型的告警事件，如错误、异常、警告等，在收集到告警日志之后，可从收集到的告警日志中提取时间信息，这里的时间信息包括高警发生的日期和时间，可使用日志解析同居或编程语言中的正则表达式等方法进行提取，然后将提取到的时间信息转换为时间序列数据的格式，这时间序列数据是按照时间顺序排列的一系列数据点，每个数据点都与特定的时间戳相关联，再根据不同的时间窗口确定时间序列数据的时间间隔，例如，秒、分钟、小时、天等，对时间间隔内的告警日志进行聚合统计，得到告警日志按照不同时间窗口形成的时间序列数据。

对于本实施例的执行主体可以为告警日志的处理装置或设备，可以配置日志处理对应的服务端，通过获取告警日志按照不同时间窗口形成的时间序列数据，先从时间维度对告警日志进行聚合统计，得到时间序列数据上的突变数据段，能够结合时间序列对告警日志进行初步的异常检测。

102、通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段。

这里可利用统计或机器学习的方式对时间序列数据进行分割，标记出时间序列中异常波动数据对应的时间段。这里异常波动特征可以包括但不局限于偶发的、突然的波动，例如，时间序列数据中某一时刻的值比前一时刻的值陡增或者陡降，时间序列数据中某一时刻的值与大多数值的时间序列值不一致。

具体地，可使用差分的方式对时间序列数据进行异常检测，确定异常差分节点，根据异常差分节点对应的节点类型在时间序列数据中选取设定两个异常差分节点之间的时间段作为异常的时间序列，然后将异常的时间序列数据与标准时间序列数据进行相似度匹配，这里标准的时间序列数据包括非异常的时间序列数据和/或存在周期性的时间序列数据，进一步根据匹配结果将匹配不一致的时间序列数据确定异常波动数据对应的时间段。

103、根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志。

可以理解的是，业务行为一般是长期存在或有周期性的，长期高频的攻击行为是难以隐藏的，也就是说，时间序列数据上具有异常波动特征的告警日志一般意味着攻击者正在进行集中的攻击，根据异常波动数据对应的时间段，在告警日志的时间序列数据中相应筛选出该时间段对应的目标告警日志。

104、根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

在本实施例中，考虑到目标告警日志中网络IP之间的关联关系，针对目标告警日志，可使用网络IP作为节点，网络IP之间的访问关系作为边，构建图结构，然后利用图结构中的节点属性和边属性筛选一阶邻居边，根据一阶邻居边构造一阶邻居结构描述，使用一阶邻居结构描述作为目标告警日志在异常波动特征上的结构特征对目标告警日志进行聚合处理，在聚合处理过程中可利用一阶邻居结构描述计算相邻节点的距离或相似度，根据相似度对图结构中节点进行聚合处理，得到具有不同聚类指标的关键告警日志

可以理解的是，网络上的设备数量巨大，攻击者不会对每一个设备设计一套攻击行为，而图结构可更直观描述目标告警日志在异常波动特征上的结构，通过图结构构造的一阶邻居结构可以更好的表达异常节点的属性，进而将相似攻击行为的攻击IP聚合到一起，降低告警分析的工作量。

本申请实施例提供的告警日志的处理方法，与目前现有技术中通过时间窗口和规则库的方式或有监督学习的方式对告警日志进行处理的方式相比，本申请通过获取告警日志按照不同时间窗口形成的时间序列数据，通过对时间序列数据进行异常检测，在时间序列数据中确定异常波动数据对应的时间段，根据异常波动数据对应的时间段，在时间序列数据中提取包含异常波动特征的目标告警日志，根据目标告警日志在异常波动特征上的结构描述，对目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。整个过程先结合时间序列提取包含异常波动特征的目标告警日志，然后根据目标告警日志的异常波动特征对目标告警日志进行聚合处理，使得聚合得到的关键告警日志具有时间维度和结构维度上的行为特征，能够挖掘到更深层次的行为特征，进而从海量告警日志中区分出真实的攻击告警，提升网络安全的告警分析效率。

在上述实施例中，考虑到网络结构的复杂性，网络应用可通过部署安全设备来监控网络上发生的各种行为操作，从而在检测到异常行为时触发告警日志，进一步地，如图2所示，步骤101之前，方法还包括如下步骤：

201、在网络应用的各个关键节点上部署安全设备，通过所述安全设备收集数据流输出的原始告警日志。

202、根据所述原始告警日志中记录的时间信息，对设定时间间隔内的原始告警日志进行合并处理。

其中，网络应用的各个关键节点可以部署在应用防火墙、入侵检测系统、入侵防御系统、漏送扫描、虚拟专用网络、数据库等。通常情况下，安全设备会收集各种系统、应用产生的数据，将其存储至日志服务中，当出现可疑事件或异常行为时，会触发相关的告警通知，并通过安全设备收集数据流输出的原始告警日志。

应说明的是，安全设备可能会对同一数据流作出类似告警，导致收集到的原始告警日志中存在一些重复的告警，为了减少告警处理的工作量，这里可在原始告警日志的基础上，对设定时间间隔内的原始告警日志进行合并处理，具体可对时间接近的初始告警日志进行合并，例如，对3秒内的原始告警日志进行合并，还可以针对告警载荷、web访问请求体、web请求的响应体、web请求的响应状态相同的原始告警日志进行合并。

相应的，针对告警日志可从IP角度按照目的IP数量、源IP数量、攻击类型数量、被访问攻击类型数量、源IP-目的IP攻击类型数量等维度，分别以小时、天为时间窗口构建时间序列数据。

具体地，在上述实施例中，如图3所示，步骤102包括如下步骤：

301、通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据。

302、将所述时间序列数据中非异常的时间序列时间和存在周期性的时间序列数据标记为标准时间序列数据。

303、通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段。

可以理解的是，时间序列数据相当于是按照时间排列的一系列数据点的集合，在实际应用中，时间序列数据往往会存在异常值，这些异常值可能是由于设备故障、人为攻击等原因引起的，这里时间序列数据中的异常值对于告警日志的处理十分有必要。

具体通过对时间序列数据进行异常检测，在时间序列数据中标记出存在异常的时间序列数据的过程中，可对时间序列数据进行差分处理，以获得差分序列数据，针对差分序列数据进行异常检测，这里针对差分序列数据进行异常检测的过程可使用箱型图方法，箱型图方法中有确定异常点的划分方法，根据异常点的划分方法可检测到差分序列数据中的异常时间点，然后将异常时间点作为时间序列数据进行分割的节点，最后根据节点对应的正负类型将介于正异常和负异常之间的时间序列数据标记为异常的时间序列数据，这里可将介于正异常的节点和负异常的节点之间的时间序列数据标记为异常的时间序列数据。

在确定异常的时间序列数据之后，剩余的时间序列数据即为非异常的时间序列数据，将非异常的时间序列数据标记为第一类，并记录对应的源IP、目的IP、告警载荷、web访问的请求你、web请求的响应体，web请求的响应状态、攻击类型等，然后对时间序列数据进行周期性检测，将存在周期性的时间序列数据标记为第一类，即标准时间序列数据。

具体通过将存在异常的时间序列数据与标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段的过程中，以告警日志中记录的网络标识作为匹配维度，将存在异常的时间序列数据与标准时间序列数据进行相似度匹配，得到匹配一致的时间序列数据和剩余的时间序列数据，然后根据剩余的时间序列数据，在时间序列数据中确定异常波动数据对应的时间段。这里可以针对标准时间序列数据，按照源IP、目的IP与存在异常点时间序列数据进行日志的相似度匹配，将匹配得到的时间序列数据标记为第二类，剩余的时间序列数据标记为第三类，即异常波动数据，并在时间序列数据中确定异常波动数据对应的时间段。

针对第一类时间序列数据对应的告警日志和第二类时间序列数据对应的告警日志，可以直接利用异常检测算法，将异常分值低的告警日志作为正常日志进行聚合，得到低危告警，将异常分值高的告警日志作为异常告警，通过去重负载数据来合并异常告警作为中危告警，中低危告警可直接按异常分值进行排序以供分析。

在杂乱无序的告警日志中筛选有效信息是十分困难的，但通过时间维度初步聚合之后的目标告警日志可缩小关键告警分布的区域范围，考虑到目标告警日志之间的结构关联，可根据目标告警日志构建图结构，通过图结构来构建特征和相似算法对目标告警日志进行二次聚合，进一步地，在上述实施例中，如图4所示，步骤104之前，方法还包括如下步骤：

401、以所述目标告警日中记录的网络标识作为节点，以网络标识之间的访问关系为边构建图结构。

402、在所述图结构中添加节点属性和边属性，针对所述图结构中的各个节点筛选一阶邻居边，构建一阶邻居边的结构描述。

403、根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述。

具体可以将IP构造特征作为节点属性，对边以告警载荷、web访问的请求体、web请求的响应体、web请求的响应状态构造响应特征构造边属性，进一步对图结构中各个节点，筛选各自一阶邻居边，并构建一阶邻居边的结构描述。

具体构建一阶邻居边的结构描述可选的构建算法如下：获取子图中心点自身编码属性和对应的业务属性作为描述列表第一属性；对子图中心点各出边对应的节点按IP排序，将自身编码属性和对应的业务属性和所有出边节点的统计属性构建为描述列表第二属性；将各出边按节点IP排序，将各边的编码属性、原始载荷、请求相应内容、抽取出的载荷结构和请求响应结构，以及所有出边的统计属性构建为描述列表第三属性；对子图中心点各入边对应的节点按IP排序，将自身编码属性和对应的业务属性和所有出边节点的统计属性构建为描述列表第四属性；将各入边按节点IP排序，将各边的编码属性、原始载荷、请求相应内容、抽取出的载荷结构和请求响应结构，以及所有入边的统计属性构建为描述列表第五属性。

相应的，在上述实施例中，如图5所示，步骤104包括如下步骤：

501、根据所述目标告警日志在异常波动特征上的结构描述，获取一阶邻居描述列表的多个属性。

502、根据所述一阶邻居描述列表的多个属性，将同一类的一阶子图合并到一起，得到目标聚类日志形成的子图簇。

503、在所述目标聚类日志形成的子图簇中设置不同聚类指标，得到具有不同聚类指标的关键告警日志。

基于上文中的结构描述，即一阶邻居描述列表的多个属性，可利用聚类算法对一阶邻居结构进行聚合，其中距离或相似度计算可选取如下算法：针对第一属性可直接计算相似度；针对第二属性中的所有节点属性直接计算相似度，匹配两个子图中顶点，取相似度高的顶点获取对应的相似度；针对第三属性中所有边的统计属性直接计算相似度，各边的统计属性按余弦相似度取相似度最高的两两对立，文本属性计算文本相似度，取相似度最高的两两对立，计算相似度；针对第四属性和第二属性做相同处理；针对第五属性和第三属性做相同处理；最终平均所有相似度作为聚合的相似度计算，从而将同一类的一阶子图合并到一起，作为目标聚类日志形成的子图簇。

数值类属性相似度的计算可选算法如下：

其中，similarity即表示相似度，Attr1表示其中一个数值类属性，Attr2表示另一个数值类属性。

在实际应用场景中，目标告警日志作为高危告警，还可以按照目标聚类日志形成的子图簇分别聚合，各子图簇以簇中子图数量、攻击源数量、被攻击数量、响应成功比例构建聚类指标，以供安全分析人员筛选分析。

进一步的，作为图1-5方法的具体实现，本申请实施例提供了一种告警日志的处理装置，如图6所示，该装置包括：获取单元61、确定单元62、提取单元63、处理单元64。

获取单元61，用于获取告警日志按照不同时间窗口形成的时间序列数据；

确定单元62，用于通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段；

提取单元63，用于根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志；

处理单元64，用于根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

本发明实施例提供的告警日志的处理装置，与目前现有技术中通过时间窗口和规则库的方式或有监督学习的方式对告警日志进行处理的方式相比，本申请通过获取告警日志按照不同时间窗口形成的时间序列数据，通过对时间序列数据进行异常检测，在时间序列数据中确定异常波动数据对应的时间段，根据异常波动数据对应的时间段，在时间序列数据中提取包含异常波动特征的目标告警日志，根据目标告警日志在异常波动特征上的结构描述，对目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。整个过程先结合时间序列提取包含异常波动特征的目标告警日志，然后根据目标告警日志的异常波动特征对目标告警日志进行聚合处理，使得聚合得到的关键告警日志具有时间维度和结构维度上的行为特征，能够挖掘到更深层次的行为特征，进而从海量告警日志中区分出真实的攻击告警，提升网络安全的告警分析效率。

在具体的应用场景中，所述装置还包括：

部署单元，用于在所述获取告警日志按照不同时间窗口形成的时间序列数据之前，在网络应用的各个关键节点上部署安全设备，通过所述安全设备收集数据流输出的原始告警日志；

合并单元，用于根据所述原始告警日志中记录的时间信息，对设定时间间隔内的原始告警日志进行合并处理。

在具体的应用场景中，所述确定单元包括：

第一标记模块，用于通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据；

第二标记模块，用于将所述时间序列数据中非异常的时间序列时间和存在周期性的时间序列数据标记为标准时间序列数据；

匹配模块，用于通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段。

在具体的应用场景中，所述第一标记模块，具体用于对所述时间序列数据进行差分处理，以获得差分序列数据；针对所述差分序列数据进行异常检测，将异常时间点作为时间序列数据进行分割的节点；根据所述节点对应的正负类型将介于正异常和负异常之间的时间序列数据标记为异常的时间序列数据。

在具体的应用场景中，所述匹配模块，具体用于以告警日志中记录的网络标识作为匹配维度，将所述存在异常的时间序列数据与所述标准时间序列数据进行相似度匹配，得到匹配一致的时间序列数据和剩余的时间序列数据；根据所述剩余的时间序列数据，在所述时间序列数据中确定异常波动数据对应的时间段。

在具体的应用场景中，所述装置还包括：

构建单元，用于在所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志之前，以所述目标告警日中记录的网络标识作为节点，以网络标识之间的访问关系为边构建图结构；

添加单元，用于在所述图结构中添加节点属性和边属性，针对所述图结构中的各个节点筛选一阶邻居边，构建一阶邻居边的结构描述；

构造单元，用于根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述；

所述构造单元，具体用于根据所述一阶邻居边的结构描述，使用子图中心自身编码属性和对应的业务属性确定一阶邻居描述列表的多个属性；根据所述一阶邻居描述列表的多个属性，构造目标告警日志在异常波动特征上的结构描述。

在具体的应用场景中，所述处理单元，具体用于根据所述目标告警日志在异常波动特征上的结构描述，获取一阶邻居描述列表的多个属性；根据所述一阶邻居描述列表的多个属性，将同一类的一阶子图合并到一起，得到目标聚类日志形成的子图簇；在所述目标聚类日志形成的子图簇中设置不同聚类指标，得到具有不同聚类指标的关键告警日志。

需要说明的是，本实施例提供的一种告警日志的处理装置所涉及各功能单元的其它相应描述，可以参考图1-图5中的对应描述，在此不再赘述。

基于上述如图1-图5所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-图5所示的告警日志的处理方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1-图5所示的方法，以及图6所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种告警日志的处理的实体设备，具体可以为计算机，智能手机，平板电脑，智能手表，服务器，或者网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1-图5所示的告警日志的处理方法。

可选的，该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。

在示例性实施例中，参见图7，上述实体设备包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的告警日志的处理方法。

本领域技术人员可以理解，本实施例提供的一种告警日志的处理的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述告警日志的处理的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有方式相比，本申请先结合时间序列提取包含异常波动特征的目标告警日志，然后根据目标告警日志的异常波动特征对目标告警日志进行聚合处理，使得聚合得到的关键告警日志具有时间维度和结构维度上的行为特征，能够挖掘到更深层次的行为特征，进而从海量告警日志中区分出真实的攻击告警，提升网络安全的告警分析效率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种告警日志的处理方法，其特征在于，包括：

获取告警日志按照不同时间窗口形成的时间序列数据；

通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段；

根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志；

根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

2.根据权利要求1所述的方法，其特征在于，在所述获取告警日志按照不同时间窗口形成的时间序列数据之前，所述方法还包括：

在网络应用的各个关键节点上部署安全设备，通过所述安全设备收集数据流输出的原始告警日志；

根据所述原始告警日志中记录的时间信息，对设定时间间隔内的原始告警日志进行合并处理。

3.根据权利要求1所述的方法，其特征在于，所述通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段，包括：

通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据；

将所述时间序列数据中非异常的时间序列时间和存在周期性的时间序列数据标记为标准时间序列数据；

通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段。

4.根据权利要求3所述的方法，其特征在于，所述通过对所述时间序列数据进行异常检测，在所述时间序列数据中标记出存在异常的时间序列数据，包括：

对所述时间序列数据进行差分处理，以获得差分序列数据；

针对所述差分序列数据进行异常检测，将异常时间点作为时间序列数据进行分割的节点；

根据所述节点对应的正负类型将介于正异常和负异常之间的时间序列数据标记为异常的时间序列数据。

5.根据权利要求3所述的方法，其特征在于，所述通过将所述存在异常的时间序列数据与所述标准时间序列数据进行匹配，根据匹配得到的结果在所述时间序列数据中确定异常波动数据对应的时间段，包括：

以告警日志中记录的网络标识作为匹配维度，将所述存在异常的时间序列数据与所述标准时间序列数据进行相似度匹配，得到匹配一致的时间序列数据和剩余的时间序列数据；

根据所述剩余的时间序列数据，在所述时间序列数据中确定异常波动数据对应的时间段。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志之前，所述方法还包括：

以所述目标告警日中记录的网络标识作为节点，以网络标识之间的访问关系为边构建图结构；

在所述图结构中添加节点属性和边属性，针对所述图结构中的各个节点筛选一阶邻居边，构建一阶邻居边的结构描述；

根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述；

所述根据所述一阶邻居边的结构描述，构造目标告警日志在异常波动特征上的结构描述，包括：

根据所述一阶邻居边的结构描述，使用子图中心自身编码属性和对应的业务属性确定一阶邻居描述列表的多个属性；

根据所述一阶邻居描述列表的多个属性，构造目标告警日志在异常波动特征上的结构描述。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志，包括：

根据所述目标告警日志在异常波动特征上的结构描述，获取一阶邻居描述列表的多个属性；

根据所述一阶邻居描述列表的多个属性，将同一类的一阶子图合并到一起，得到目标聚类日志形成的子图簇；

在所述目标聚类日志形成的子图簇中设置不同聚类指标，得到具有不同聚类指标的关键告警日志。

8.一种告警日志的处理装置，其特征在于，包括：

获取单元，用于获取告警日志按照不同时间窗口形成的时间序列数据；

确定单元，用于通过对所述时间序列数据进行异常检测，在所述时间序列数据中确定异常波动数据对应的时间段；

提取单元，用于根据所述异常波动数据对应的时间段，在所述时间序列数据中提取包含异常波动特征的目标告警日志；

处理单元，用于根据所述目标告警日志在异常波动特征上的结构描述，对所述目标告警日志进行聚合处理，得到具有不同聚类指标的关键告警日志。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述告警日志的处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述告警日志的处理方法的步骤。