CN107479518A - 一种自动生成告警关联规则的方法及系统 - Google Patents

Abstract

告警相关性分析是一种广泛使用的技术，用于理解告警日志和发现网络攻击,以及故障源头。然而，由于当今网络与攻击的规模和复杂性，由这些网络产生的告警日志数量非常大，加大了日志分析的难度。本发明的一种自动生成告警关联规则的方法及系统，能够自动生成告警关联规则，大大地简化了告警日志分析。

Description

一种自动生成告警关联规则的方法及系统

技术领域

本发明涉及信息安全、人工智能技术领域，尤其涉及到构建智能、快速、高效、新型、自动化运维的安全智慧平台的框架。

背景技术

本发明中包含的英文简称如下：

LOF：Local Outlier Factor 局部异常因子

SOC：Security Operation Center安全管理中心

ID：identifier 身份识别唯一编号

IDS：Intrusion Detection Systems入侵检测系统

SNMP：Simple Network Management Protocol简单网络管理协议

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。企业IT网络及信息安全运维体系是各类工厂与企业安全生产工作的重要组成部分。保障企业IT系统和工业网络及信息系统高效稳定地运行，是工厂和企业一切市场经营活动和正常运作的基础。

当前，工厂和企业的IT网络与工业控制系统都不同程度地部署了各种不同的智能管理控制系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为工厂和企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦企业IT和工业网络及各控制系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必会影响工厂和企业的正常经营秩序，甚至导致工厂停产，影响到工厂和企业的生存，对于企业IT系统和工业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，工厂和企业的工业网络系统面临着随时被攻击的危险，甚至经常遭受不同程度的入侵和破坏，严重干扰了企业办公系统和工厂工业网络的正常运行，严重干扰了企业运营和正常生产秩序；日益严峻的安全威胁迫使企业不得不加强对IT系统和工业网络的安全防护，不断追求多层次、立体化的安全防御体系，建设新型安全智慧平台，实时跟踪系统事件、实时检测和预测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失或危害，尽一切可能来保护企业IT系统和工业网络的正常运营。

已部署的信息安全运维设备，例如：安全管理、SOC、网管、OMC等，通过采集诸如设备IDS、防火墙、IPS、堡垒机、4A等的日志，进行关联分析，然后发出告警及人工排除。然而，由于这些安全运维设备的智能化程度不高，尤其是像IDS这样设备产生的大量告警中，有很大一部分是误报，但是使用已有的安全智能平台不能降低误报率。另一方面，已有的安全智能管理平台，关联规则不能自动生成。

为此，如何利用信息化手段提高工厂和企业的运营效益，优化工厂和企业的IT和工业控制系统，使得它能够为各类工厂和企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。

发明内容

本发明提供了一种自动生成告警关联规则的方法及系统，提升了安全运维的自动化水平。

本发明的一种自动生成告警关联规则的方法及系统，应用于能够为多个工厂和企业提供各种安全服务和运维监控服务的智能化和无人值守的安全运维监控服务平台中。

所述安全服务包括配置管理/基线管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。

所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。

所述方法及系统包括：1、从历史告警库中获取日志告警，假设历史告警的属性有k个，例如：告警发生时间、源IP、源端口、目标IP、目标IP、告警类型。

2、对所有的告警类型进行两两组合成对，例如，和为其中的任意一对。

3、计算和两个不同告警类型的关联规则和关联强度，并存储在知识库中。

进一步地，为了计算任意两个告警和的关联规则和关联强度，故将日志告警的k个属性进行组合。首先，计算当k=1时的关联规则和关联强度，系统自动生成属性长度为1的告警关联规则C、关联强度L(,)，并存储在知识库中。然后，计算当k=2时的任意两个告警和的关联规则和关联强度，系统自动生成属性长度为2的告警关联规则C、关联强度L(,)，并存储在知识库中。如法炮制，直到完成所有k个属性组合为止。

进一步地，本发明也提供了实现所述方法的系统，包括告警关联规则自动生成模块、告警在线关联模块、告警关联图优先级划分模块、告警上报和分发模块、工单派发模块。该系统能够实现告警关联规则和关联强度的自动生成，可以以在线方式实现，也可以以离线方式实现。所得结果均存储在知识库中，供在线告警关联分析之用。

告警相关性分析是一种广泛使用的技术，用于理解告警日志和发现网络攻击,以及故障源头。然而，由于当今网络与攻击的规模和复杂性，由这些网络产生的告警日志数量非常大，加大了日志分析的难度。本发明的一种自动生成告警关联规则的方法及系统，能够自动生成告警关联规则，大大地简化了告警日志分析。

附图说明

图1为本发明所述的一种自动生成告警关联规则的方法及系统的流程框图；

图2为本发明所述的一种自动生成告警关联规则的方法及系统所生成的告警关联规则的示意图。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

图1为本发明所述的一种自动生成告警关联规则的方法及系统的流程框图。

所述方法及系统，包括告警关联规则自动生成模块、告警在线关联模块、告警关联图优先级划分模块、告警上报和分发模块、工单派发模块。

所述告警关联规则自动生成模块，就是利用历史告警信息构建相关性模型，自动生成告警关联规则和关联强度参数，由所述告警在线关联模块来使用和周期性地更新（或实时地更新）。该告警相关性模型由两个知识库所组成：（i）告警关联强度（ii）告警关联规则。告警关联强度即表示两个告警类型和的相关性程度。更具体地说，它表示类型的告警发生在告警之后的概率的大小。

当两个告警类型之间有n：n＞1的关联规则关系时，则这两个告警类型之间的关联强度就是n个关联规则的最小的关联强度：

L(,)=min{P（） （1）

其中，

P（）= （2）

在方程（2）里，对于已给定的历史告警，P（）是指在同一个时间窗W之内，之后发生的次数与发生的次数的商。P（）指的是在都满足之后发生的次数，与在历史数据库发生的总次数的商。最后，P（︱）就是告警关联规则在告警和发生在相同时间窗时的概率。

算法1描述了所述告警关联规则自动生成模块计算关联强度和关联规则的两个知识库的过程。

第1～5行初始化。A表示告警属性，包括：告警发生时间（timestamp）、源IP（sourceIP）、源端口（source port）、目标IP（destination IP）、目标IP（destination Port）、告警类型（intrusion type）。H表示历史告警，用来训练相关性模型的；T表示所有历史告警的告警类型。表示T中的所有的告警类型对（1对含有2个告警类型），其中表示第i对告警类型和对。

对于每一对告警（例如，和），通过采用诸如apriori approach的数据挖掘的人工智能方法，GETCONSTRAINTS通过计算所有可能k个属性的排列与组合，自动生成了一些日志的告警关联规则。具体步骤如下：

首先，当k=1时，就生成长度为1的告警关联规则，其中，对于每一条告警关联规则C，只包含一个告警属性aA。对于每一条关联规则C，平台将自动计算两个告警和在共同的关联规则C之下，发生在之前的概率。如果这个概率没有超过，则、被视为不相关。

同样，当k=2时，就生成长度为2的关联规则，其中，对于每一条告警关联规则C，包含了两个告警属性aA。对于每一条关联规则C，平台将自动计算两个告警和在共同的告警关联规则C之下，发生在之前的概率。如果这个概率没有超过，则、被视为不相关。

如法炮制，直到完成k个属性的所有的组合直至不能生成告警关联规则为止，

如上述所示完成所有告警对的关联分析。

图2为本发明所述的一种自动生成告警关联规则的方法及系统所生成的告警关联规则的示意图。

所述告警在线关联模块，在告警之前的秒时间之内发生的告警为S=，对每一实时收到的告警进行相关性分析。为了确定和S里的告警是否相关，可以实时地查询告警关联规则自动生成模块里的两个知识库，获得告警类型的告警关联强度和告警关联规则。如果两个告警满足如下条件，则意味着相关:

（1）和两个告警类型的关联强度

（2）和两个告警类型的规则，和至少同时满足它们之中的一个规则。

每一个被分析的告警存储在内存数据库里。如果该告警与相关，则被添加到。因此，一条边被添加到告警关联图里，以此来描述相关性。

所述告警关联图优先级划分模块，基于告警关联图之间的差异性，本模块为每一个告警关联图分配一个优先级。优先级总共分为4级。第4级为最高告警级别（或最严重的告警），第1级为最低告警级别（或最不重要的告警）。

告警关联图优先级是基于LOF计算的。如下是优先级之值和元告警的LOF之间的映射：

P（g）=

在上式中，g是一个告警关联图，是LOF值的权重。采用了告警关联图的邻居、可达距离和局部密度。

（1）k-邻居和k-距离：一个告警关联图的k-邻居采用()表示，()是一些其它的告警关联图，其与之间的差小于或等于该k-距离。一个的k-距离就是与第k个最近的告警关联图的距离。k是所述算法所提供的一个可配置的参数。

（2）可达距离：取这2个值的最大值：一个值是两个告警关联图之间的距离，另一个值是的k-距离。如下是所示：

r(g,)=max

（3）局部可达密度：一个告警关联图的局部可达密度就是它与它的k-邻居之间的平均可达距离的倒数：

Ir=（

（4）局部异常因子：对于每一个告警关联图g，它的LOF由以下公式计算：

=

（5）LOF优先级划分：考虑到LOF值的范围在0～之间，本专利利用了权重技术，将LOF之值映射到0～之间。

nLOF（g）=

告警关联图的每一个优先级的划分，本模块使用它作为过滤，将门限大于的所有告警关联图转发到告警上报和分发模块做进一步处理等，例如，将2级以上的告警关联图转发给所述告警上报和分发模块，最终目的就是让不重要的告警不转发到告警上报和分发模块。

所述告警上报和分发模块，将高优先级的告警及时地转发到工单派发系统、或发送到可视化界面进行显示、或转发到安全运维管理人员进行确认再发送到工单派发系统、或转发到其它接口等。

所述工单派发模块，将经过系统确认的告警派发到相关的安全运维人员。

所述方法及系统，基于Hadoop/Spark的大数据，实现告警关联规则和关联强度的自动生成，可以以在线方式实现，也可以以离线方式实现。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims (7)

1.本发明提供了一种自动生成告警关联规则的方法及系统，所述方法及系统，首先从历史数据库中读取历史告警。

2.如权利要求1所述的一种自动生成告警关联规则的方法及系统，所述历史告警，按照它们的告警类型，将所有的历史告警两两成对，生成许多历史告警对。

3.如权利要求2所述的一种自动生成告警关联规则的方法及系统，所述许多历史告警对，基于历史告警对，计算每一个对的关联规则和关联强度。

4.如权利要求3述的一种自动生成告警关联规则的方法及系统，所述计算每一个对的关联规则和关联强度，基于历史告警的k个属性的不同组合。

5.如权利要求4述的一种自动生成告警关联规则的方法及系统，所述基于历史告警的k个属性的不同组合，分别计算当k=1、2、…一直直到没有关联规则生成为止，然后，再计算下一个告警对的关联规则和关联强度。

6.如权利要求5所述的一种自动生成告警关联规则的方法及系统，所述再计算下一个告警对的关联规则和关联强度，直到所有的告警对的关联规则和关联强度计算完毕为止。

7.如权利要求1所述的一种自动生成告警关联规则的方法及系统，所述方法及系统，至少包括告警关联规则自动生成模块、告警在线关联模块、告警关联图优先级划分模块、告警上报和分发模块、工单派发模块。