CN104539626A

CN104539626A - 一种基于多源报警日志的网络攻击场景生成方法

Info

Publication number: CN104539626A
Application number: CN201510018050.7A
Authority: CN
Inventors: 尹美娟; 刘晓楠; 罗军勇; 骆凯; 刘琰; 胡倩
Original assignee: PLA Information Engineering University
Current assignee: PLA Information Engineering University
Priority date: 2015-01-14
Filing date: 2015-01-14
Publication date: 2015-04-22

Abstract

本发明涉及一种基于多源报警日志的网络攻击场景生成方法，首先收集多种网络安全防护设备产生的报警日志，通过预处理提取有效报警日志数据，去除噪声、冗余或无效日志；针对单个设备得到的有效报警日志，通过单源日志聚合与映射，屏蔽不同设备日志格式差异，分析提取攻击事件信息；对从不同源提取的攻击事件，进行融合分析，生成具有较高可信度的网络攻击事件；进而通过攻击事件关联分析，生成网络攻击场景图，分析出一次攻击行动的整个攻击过程。由于融合了多源日志，所以分析出的攻击事件信息可以更完整、更可靠地刻画网络遭受的攻击，而且通过攻击事件的关联分析得到攻击场景能够更清晰地展现攻击者意图、反映网络面临的安全威胁状态。

Description

一种基于多源报警日志的网络攻击场景生成方法

技术领域

本发明涉及一种基于多源报警日志的网络攻击场景生成方法。

背景技术

随着互联网技术的发展和社会信息化程度的不断提高，网络逐渐成为人们生产、生活中不可或缺的一部分，网络安全受到了越来越多的关注。各种各样的安全产品被用于检测网络中的攻击威胁，维护网络的安全运行。但这些安全手段一般只能在一定范围内发挥特定的作用，互相之间缺乏有效的数据融合和协同管理机制。面对众多分散的信息，网络安全管理人员无法及时的应对这些网络攻击威胁。出于从整体上把握网络攻击威胁、维护网络安全运行目的，侧重于攻击事件分析的网络威胁态势感知技术应运而生，并成为网络安全研究中的新热点。

随着安全技术的不断发展，IDS、IPS以及各种安全防护的软硬件设备近乎实时地对网络中可能存在的安全事件产生大量的报警日志。当系统遭受攻击时，通过分析日志能够发现当前系统存在的漏洞，确定网络中的脆弱环节，分析发生的攻击事件。因此，从大量的各种类型的日志中提取出网络安全威胁态势相关的安全事件显得至关重要。同时，网络中存在的多种不同类型的安全设备共同组成了网络防御体系，一次网络攻击可能会在不同的安全设备上留下痕迹，异构的安全设备从不同的方面反映同一个攻击带来的影响，并以报警日志的形式储存。因此，对多源报警日志进行进一步的融合处理，利用来自多个安全设备报警日志之间的互补性，能够有效地提高报警信息的完整性和可靠性，更加清晰的反映攻击行为，从而提高网络安全威胁态势感知的精确度。

目前，入侵检测系统(包括其他的网络安全设备)从本质上来说都是基于单个数据包或单个现象的简单分析，无法从整体和全局的角度识别入侵者的攻击行为，这种现象会导致无法把报警日志和攻击事件进行有效的关联，不能为网络管理员提供直接的决策信息。

为了解决上述现象，网络安全设备的报警日志分析技术逐渐成为网络安全领域的热点方向。在对报警日志进行数据挖掘和分析的过程中，一部分科研人员致力于利用系统产生的原始报警日志构造便于挖掘和分析的报警数据集合以及入侵场景的重建工作，也就是建立日志关联分析框架；另一部分则致力于改进传统的数据挖掘算法使之适用于入侵检测的日志分析。

这些研究取得了一定成果，但是也存在很多的不足之处。一方面，现有方法侧重于从单一数据源出发，分析网络攻击事件在单一数据源上的行为特征；另一方面，有部分方法虽然面向多源报警日志，但侧重于对日志数据的集中管理，并没有给出从多源日志数据到网络攻击事件的深层安全分析模型。

发明内容

本发明的目的是提供一种基于多源报警日志的网络攻击场景生成方法，用以解决现有方法构建的攻击场景不完整的问题。

为实现上述目的，本发明的方案包括：

一种基于多源报警日志的网络攻击场景生成方法，步骤如下：

步骤1)，收集网络安全防护设备产生的报警日志；

步骤2)，针对单个设备得到的有效报警日志，通过单源日志聚合与映射，屏蔽不同设备日志格式差异，提取攻击事件信息；

步骤3)，对从不同源提取的攻击事件信息，进行融合分析，生成具有设定可信度的网络攻击事件信息；

步骤4)，通过攻击事件关联分析，生成网络攻击场景图，分析出一次攻击行为的整个攻击过程。

步骤1)还包括预处理过程，通过预处理提取有效报警日志数据，去除噪声、冗余或无效日志。

步骤2)包括报警日志聚合的步骤：按照报警日志生成的时间顺序，通过计算报警日志之间的相似度，对报警日志进行聚类和合并操作，将一个攻击事件相关的报警聚合到一个簇中。

步骤2)包括基于聚合日志映射攻击事件的步骤：对聚合后的每个报警日志簇，合并簇内的各日志属性，生成聚合日志；依据聚合日志中日志属性的描述信息，查找预先定义的该设备的事件类型与聚合日志的对应关系表，将该聚合日志映射为相应类型的攻击事件。

步骤3)包括基于D-S证据理论融合多源攻击事件的步骤：利用D-S证据理论对来自多个数据源提取生成的攻击事件进行融合，得到设定可信度更高的攻击事件信息；具体过程包括：建立攻击事件融合的识别框架；将来自各种网络安全设备的印证了攻击事件发生的报警日志，作为识别证据；确定基本信度分配函数和权值；根据基本信度分配函数，利用D-S证据理论的组合规则，求多个证据联合作用下的攻击事件信任度。

步骤4)包括基于推理模型的攻击场景生成的步骤，即对网络攻击事件进行语义转换、推理和关联，得到网络攻击场景，具体过程包括：利用预定义或基于谓词自动生成的语义规则集，把融合后得到的攻击事件转换到它们对应的攻击语义；根据推理模型，以攻击步骤发生的时序关系、递进关系、转换关系为指导，对所有攻击语义中存在的语义联系进行推理，得到以攻击语义表示的各攻击事件之间的关系；将所有来自推理引擎的攻击转换向量构建成可能的攻击场景。

本发明的方法是一种基于多源报警日志的网络攻击场景生成方法，其基本思想是：对于单一来源的报警日志，通过日志聚合、事件映射和跨多源攻击事件融合，得到更为可靠的攻击事件信息；在此基础上，通过对时间上相关的攻击事件进行关联分析，可生成一次攻击行为的完整攻击场景。由于融合了多源日志，所以分析出的攻击事件信息可以更完整、更可靠地刻画网络遭受的攻击，而且通过攻击事件的关联分析得到攻击场景能够更清晰地展现攻击者意图、反映网络面临的安全威胁状态。

附图说明

图1是基于多源报警日志的攻击事件分析模型；

图2是基于推理模型的攻击场景生成方法的基本流程图；

图3是LLDoS1.0场景的实验环境网络拓扑示意图；

图4是实验结果分析出的LLDoS1.0攻击场景与攻击模式。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

本发明的基本方案是：

步骤1)，收集网络安全防护设备产生的报警日志；

具体的，下面给出一种具体实施方式。

对于步骤1)，针对特定的网络环境，通过FTP下载或Syslog协议采集等方式，从该网络的各种网络安全防护设备(主要是IDS、防护墙)中收集事件报警日志。不同设备产生的日志格式不同。

对于原始日志，一般还需要进行预处理，通过对采集到的日志数据进行数据清理、属性选取和数据过滤，提取出可用于攻击事件映射和分析的有效日志记录。

譬如下面的预处理过程，包括数据清理、属性选取和数据过滤。

1.1数据清理：采用空缺值填充法，即使用现存数据的多数信息来推测空缺值，对收集到的报警日志中的空缺值进行处理；基于近邻排序算法，去除重复报警记录。通过以上处理，对收集的日志数据进行清理，可愿意提高日志数据分析的可靠性和有效性。

1.2属性选取：根据不同安全设备的报警日志的特点，对相应的报警日志属性进行精简，去掉无关属性，保留与日志聚合、攻击事件分析相关的属性。其中，属性主要包括：产生报警的日期和时间、报警的编号与描述信息、报警的等级、事件的源IP地址和源端口等。

1.3数据过滤：分析各类报警日志数据源中记录的事件及其影响网络安全状态的严重程度，来设置各类报警日志的过滤条件。入侵检测类的报警日志主要根据报警编号、描述信息和协议等字段判断事件的严重程度，然后过滤掉正常和一般级别的报警日志；对于防火墙的报警日志，直接根据报警日志中的严重程度属性来判断事件的严重程度，过滤掉“warning”以下级别的日志记录。

对于步骤2)，需要按照报警日志生成的时间顺序，通过计算报警日志之间的相似度，对报警日志进行聚类和合并操作，将一个攻击事件相关的报警聚合到一个簇中。一种报警日志聚合算法为：

2.1、初始化各个参数，时间、相似度阈值、簇数目，并把第一条报警作为初始簇。

2.2、新来的报警计算与各个簇中心点的相似度，确定最大相似度。

2.3、最大相似度与阈值比较，如果大于阈值，报警加入该簇；否则，新建一个簇，更新簇数目。

2.4、判断超时。如果已经超时，终止聚类，合并各簇；否则，重复2.1到2.4。

其中，报警日志的相似度采用设定的定义和计算方式，比如可以采用如下的计算方式。

IP地址相似度计算方法：定义一个因子x表示两个IP地址异IP或后高位取0的位数。显然，x＝32表示地址相同，x＝0表示完全不同。0<b<32时二者的相似度计算方法如下。

sim_ip(x)＝x/32

源IP地址的相似度计算表示为：

目标IP地址的相似度计算表示为：

端口属性相似度计算方法：

{sim}_{port} (X, Y) = \{\begin{matrix} 1, X_{port} = Y_{port} \\ 1 - \frac{L (X_{port}, Y_{port})}{H}, X_{port} &NotEqual; Y_{port} \end{matrix}

其中，L(X_port,Y_port)为两个端口属性节点到上层最近公共节点的层数，而H表示端口层次结构图的总层数。

时间属性相似度计算方法：

{sim}_{t} (Δt) = \{\begin{matrix} 1 - | t_{x} - t_{y} | / timeout & (| t_{x} - t_{y} | < timeout) \\ 0 & (| t_{x} - t_{y} | > timeout) \end{matrix}

其中，timeout为两条相关报警信息的最大时间差，它的设定主要通过实验方法设定，在本文中的有效时间窗口为5min。

两条报警日志之间的相似度计算公式为：

然后，对聚合后的每个报警日志簇，合并簇内的各日志的时间、IP地址、描述信息等属性，生成聚合日志；依据聚合日志的描述信息，查找预先定义的该设备的事件类型与聚合日志的对应关系表，将该聚合日志映射为相应类型的攻击事件。

接着，对于步骤3)，基于D-S证据理论融合多源攻击事件：利用D-S证据理论对来自多个数据源提取生成的攻击事件进行融合，得到可信度更高的攻击事件信息，降低单一网络安全防护设备存在的误报、漏报现象。

作为一种实施方式，基于D-S证据理论融合多源攻击事件又细分为四步：

3.1、建立攻击事件融合的识别框架。其中A表示网络攻击确实发生了，表示没有发生。则所有可能的命题有：其中分别代表攻击发生、攻击没发生和根据目前的信息无法确认攻击是否发生。

3.2、将来自各种网络安全设备的印证了攻击事件发生的报警日志，作为识别证据。

3.3、确定基本信度分配函数和权值。综合考虑不同网络安全设备对不同攻击事件正确报警的能力，以及在当前网络中对不同攻击的检测能力历史统计数据，来设计不同网络安全设备对相应攻击事件的基本置信度。

3.4、证据合成。根据基本信度分配函数，利用D-S证据理论的组合规则，即可求得多个证据联合作用下的攻击事件信任度。D-S证据理论的组合规则如下：

m_{1} &CirclePlus; m_{2} &CirclePlus; . . . &CirclePlus; m_{n} (A) = \frac{\underset{\cap_{t = 1}^{n} A_{t} = A}{Σ} {[m_{1} (A_{1})]}^{w_{1}} {[m_{2} (A_{2})]}^{w_{2}} . . . {[m_{n} (A_{n})]}^{w_{n}}}{1 - K}

K不等于1时：

K = \underset{\cap_{t = 1}^{n} A_{t} = φ}{Σ} {[m_{1} (A_{1})]}^{w_{1}} {[m_{2} (A_{2})]}^{w_{2}} . . . {[m_{n} (A_{n})]}^{w_{n}}

其中，表示n个网络安全设备对应元素的权重，当时，与传统的D-S组合规则是相同的。

最后，对于步骤4)，基于推理模型的攻击场景生成：采用模型化的思想，对网络攻击事件进行语义转换、推理和关联，得到网络攻击场景。其基本流程见图2。

基于推理模型的攻击场景生成具体分为如下三步：

4.1，攻击事件语义转换。利用预定义或基于谓词自动生成的语义规则集，把融合后得到的攻击事件转换到它们对应的攻击语义。

4.2，模型推理。根据推理模型(即推理规则集)，以攻击步骤发生的时序关系、递进关系、转换关系为指导，对所有攻击语义中可能存在的语义联系进行推理，得到以攻击语义表示的各攻击事件之间的关系。

4.3，攻击事件关联。通过关联分析引擎，将所有来自推理引擎的攻击转换向量构建成可能的攻击场景。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，以上实施例中给出的各步骤的具体实现过程，都是可以根据情况进行选择或者替换的，比如涉及的公式、参数都是可以根据情况进行替换和选取的；对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

本发明给出了一种基于多源报警日志的网络攻击事件生成方法，可以融合多种来源的安全事件日志及时准确地发现攻击事件，并自动分析推理出一次攻击行为的完整过程，从而更清晰地展现攻击者意图、反映网络面临的安全威胁状态；基于属性相似度对报警记录进行在线聚合，有效地解决了从数据量庞大、冗余重复数据多的报警日志中自动及时生成攻击事件的问题；基于推理模型生成攻击场景，可以模拟管理员处理网络攻击的思维过程，自动推理出一次攻击行为的完整攻击过程，可用于发现未知的攻击模式，有效地指导网络安全防护工作。

为了验证方法的有效性，选择网络入侵检测和安全态势感知研究中应用最广泛的DARPA 2000数据集，进行了基于多源报警日志的攻击事件分析实验。

DARPA 2000数据集由美国麻省理工大学林肯实验室提供，是为开展入侵检测系统评估工作开发的数据集之一。该数据集模拟了美国Eyrie空军基地的网络系统遭受拒绝服务攻击的情形，包括两个攻击场景——LLDoS 1.0和LLDoS2.0.2，以及其他的网络边界和网络内部的数据信息、主机日志等。选择其中的场景LLDoS 1.0数据作为实验对象，该场景描述的分布式拒绝服务攻击包含五个攻击阶段，分别是：网络扫描、端口扫描、获取管理员权限、安装和启动Mstream后门程序、利用受控主机向最终的目标发起DDoS攻击。

在研究大量文献的基础上，搭建了一个重放攻击的网络实验环境(见图3)，其中部署的网络安全防护设备包括：网络入侵检测系统Snort(最新发行版2.9.6和相应的规则库)，主机入侵检测系统Ossec(最新发行版2.7.1和相应的规则库)以及防火墙设备(型号Juniper Netscreen)。利用Tcpreply重放LLDoS 1.0场景的流量数据，通过这些设备采集三类安全事件报警日志，用作基于多源报警日志的攻击事件分析实验数据。

采集到的原始报警记录数如下表所示：

表1 原始报警数目表

设备	Snort	Ossec	Firewall
				报警数目	1681	39	28

由于防火墙产生的事件报警记录与攻击事件有较好的吻合度，故聚合分析主要针对来自Snort和Ossec这两种入侵检测设备产生的报警日志。对这两类原始报警日志进行聚合分析得到的结果如下表所示：

表2 聚合结果分布表

通过聚合日志映射提取攻击事件、多源攻击事件融合得到的攻击事件类型及可信度如下表所示：

表3 网络攻击事件信任度分布表

攻击事件	可信度
		TELNET root login	0.8475
IP sweep	0.7148
		sadmind port scan	0.9129
RPC root attempted	0.5699
		attempt execution of code	0.4508
rsh root DDoS mstream	0.5476
		sadmind RPC request	0.6776
DDoS	0.9409

最后，基于推理模型生成了这些攻击事件的攻击场景，并给出了此次攻击的攻击模式，详见图4。

Claims

1.一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤如下：

步骤1)，收集网络安全防护设备产生的报警日志；

2.根据权利要求1所述的一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤1)还包括预处理过程，通过预处理提取有效报警日志数据，去除噪声、冗余或无效日志。

3.根据权利要求1所述的一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤2)包括报警日志聚合的步骤：按照报警日志生成的时间顺序，通过计算报警日志之间的相似度，对报警日志进行聚类和合并操作，将一个攻击事件相关的报警聚合到一个簇中。

4.根据权利要求3所述的一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤2)包括基于聚合日志映射攻击事件的步骤：对聚合后的每个报警日志簇，合并簇内的各日志属性，生成聚合日志；依据聚合日志中日志属性的描述信息，查找预先定义的该设备的事件类型与聚合日志的对应关系表，将该聚合日志映射为相应类型的攻击事件。

5.根据权利要求1所述的一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤3)包括基于D-S证据理论融合多源攻击事件的步骤：利用D-S证据理论对来自多个数据源提取生成的攻击事件进行融合，得到设定可信度更高的攻击事件信息；具体过程包括：建立攻击事件融合的识别框架；将来自各种网络安全设备的印证了攻击事件发生的报警日志，作为识别证据；确定基本信度分配函数和权值；根据基本信度分配函数，利用D-S证据理论的组合规则，求多个证据联合作用下的攻击事件信任度。

6.根据权利要求1所述的一种基于多源报警日志的网络攻击场景生成方法，其特征在于，步骤4)包括基于推理模型的攻击场景生成的步骤，即对网络攻击事件进行语义转换、推理和关联，得到网络攻击场景，具体过程包括：利用预定义或基于谓词自动生成的语义规则集，把融合后得到的攻击事件转换到它们对应的攻击语义；根据推理模型，以攻击步骤发生的时序关系、递进关系、转换关系为指导，对所有攻击语义中存在的语义联系进行推理，得到以攻击语义表示的各攻击事件之间的关系；将所有来自推理引擎的攻击转换向量构建成可能的攻击场景。