CN105407103B - 一种基于多粒度异常检测的网络威胁评估方法 - Google Patents

Abstract

本发明涉及基于多粒度异常检测的网络威胁评估方法，可有效解决现有基于网络数据包或基于网络流量的威胁态势评估技术不能很好地适应高速网络环境下快速准确识别攻击事件、感知威胁态势的问题，方法是，利用基于包的粗粒度异常检测，分析出含有异常网络流量的时间片；再通过基于流的细粒度异常检测，对异常时间片的网络流量，进行流重组、提取流特征属性，利用流特征的异常检测算法判断出攻击类型；最后，对检测出的威胁事件，量化评估当前网络受威胁的严重程度，本发明方法易操作，可高精度实时检测出网络遭受的威胁事件的严重程度，有助于网络工作人员及时掌握当前网络遭受的安全威胁，有时采取有效地应急响应措施。

Description

一种基于多粒度异常检测的网络威胁评估方法

技术领域

本发明涉及网络安全技术，特别是基于网络流量的网络安全威胁评估的一种基于多粒度异常检测的网络威胁评估方法。

背景技术

随着互联网技术的飞速发展，网络逐渐成为人们生产和生活中必不可缺的一部分，极大地方便了人们的生产生活。与此同时，日趋复杂的网络环境也产生了纷繁多样的网络攻击，给社会带来巨大的经济损失，并对国家安全形成巨大挑战。当前虽有防火墙、入侵检测设备、入侵防御系统等诸多安全产品，但其面对高速网络环境下复杂、多样化的攻击检测需求，一方面，基于统计或简单的包模式匹配的检测手段，无法满足应对多样化攻击的精准检测的要求；另一方面，准确性较高的检测模型，如基于流特征匹配或包内容深度检测等方法，无法满足高速网络环境下的实时检测需求或因耗费过多资源而导致不能实际应用的问题。

近年来，随着网络态势感知技术的发展，在当前网络安全产品之上，越来越多的研究或机构，构建了网络安全态势感知框架，以促使网络管理人员增进对当前网络安全状况的及时了解，帮助网络用户了解其所在网络的安全等级，使得管理人员和网络用户及时制定相应的防范策略、做好对应的防范工作，预防和避免因为网络攻击所造成的损失。然而，目前的网络安全态势评估，大多基于安全设备或系统产生的安全告警日志数据评估威胁态势，存在以下主要问题：评估结果依赖于安全设备自身的检查性能，且基于日志评估态势具有一定的时延，不能满足实时态势评估需求；此外，日志数据的多源异构性，不适用于高速大流量网络环境下的威胁态势评估。也有部分基于网络流量的威胁态势评估，然而，直接基于数据包的态势评估，其攻击检测结果准确性不高；而基于网络流特征的态势评估，又无法满足高速网络环境下的实时态势评估需求。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的就是提供一种基于多粒度异常检测的网络威胁评估方法，可有效解决现有基于网络数据包或基于网络流量的威胁态势评估技术不能很好地适应高速网络环境下快速准确识别攻击事件、感知威胁态势的问题。

本发明解决的技术方案是，首先利用基于包的粗粒度异常检测，分析出含有异常网络流量的时间片；再通过基于流的细粒度异常检测，对异常时间片的网络流量，进行流重组、提取流特征属性，利用流特征的异常检测算法判断出攻击类型；最后，对检测出的威胁事件，量化评估当前网络受威胁的严重程度，具体实现方法是：

一、基于包的粗粒度异常检测，包括有：在线监听实时网络环境中的数据流量，数据包属性统计，特征提取，异常检测，记录检查结果；通过基于包的粗粒度异常检测模块后，将时间片分为正常时间片和异常时间片，异常时间片进入下一环节，进行基于流的细粒度异常检测；

二、基于流的细粒度异常检测，包括有：流重组，流特征提取，细粒度异常检测，检测结果融合与入库；

三、威胁态势评估，最后得到时间段内网络的威胁值，值越大，表明网络当前遭受的威胁其危害程度越严重。

本发明方法易操作，可高精度实时检测出网络遭受的威胁事件的严重程度，有助于网络工作人员及时掌握当前网络遭受的安全威胁，有时采取有效地应急响应措施，缓解或避免网络遭受严重的危害，方法稳定可靠，确保网络使用安全和使用效果，经济和社会效益巨大。

附图说明

图1为本发明的基于多粒度异常检测的网络威胁评估流程图。

图2为本发明的实验测试环境示意图。

具体实施方式

以下结合附图和具体情况对本发明的具体实施方式做详细说明。

本发明在具体实施中，首先利用基于包的粗粒度异常检测，分析出含有异常网络流量的时间片；再通过基于流的细粒度异常检测，对异常时间片的网络流量，进行流重组、提取流特征属性，利用流特征的异常检测算法判断出攻击类型；最后，对检测出的威胁事件，量化评估当前网络受威胁的严重程度，具体由以下步骤实现：

一、基于包的粗粒度异常检测：

1、在线监听实时网络环境中的数据流量，按照1分钟为时间窗口进行存储，利用WinPcap在存储的同时提取序号、时间、源IP、目的IP、源端口、目的端口、协议类型和长度的属性，属性之间用“,”进行分割；

2、数据包属性统计，对每个数据包提取出源IP属性、目的IP属性、源端口属性、目的端口属性、字节数属性、协议类型属性，即Packet＝{sIP,dIP,sPort,dPort,bytes,protocol}，用概要数据结构对每个时间窗口内这六个属性的统计信息(或称概要信息)进行记录；

3、特征提取，在时间窗T内，根据所记录的统计信息，利用非广延熵提取出该时间窗口网络流数据的特征，用特征向量L_T＝{l_T1,l_T2,...,l_Tn}表示，n为自然正整数；

4、异常检测，利用随机森林的算法对包的特征进行快速检测，得出异常类型R2L、U2R、PROBE和DOS；

5、记录检查结果，将粗粒度检测中可能存在问题的数据包的时间片名称记录在文件和威胁态势感知数据库中，供后续细粒度检测组流时使用；

通过基于包的粗粒度异常检测模块后，将时间片分为正常时间片和异常时间片，对异常时间片进行基于流的细粒度异常检测；

二、基于流的细粒度异常检测

1、流重组，根据粗粒度异常检测的结果，选择当前时间片和邻近时间片内的数据包，对异常时间片内涉及的包进行流重组，以确保完整的流数据被组合到一起，进行流特征提取；

2、流特征提取，对于异常时间片涉及的流，进行属性分析与特征属性提取，形成流特征文件，用于异常检测，流特征属性是由流特征选择模块经流特征选择，从原始特征集中选择出的用于攻击流分类的最优的特征子集；

3、细粒度异常检测，通过C4.5决策树算法(即常规算法)对流特征文件进行检测判断，判断出每个流是否异常，并将log文件与检测结果写入威胁态势感知数据库；

C4.5决策树算法是一种采用监督学习的算法，给定一个数据集，用一组属性值来描述每一个元组，每个元组属于一个互斥类别集中的一类，通过C4.5算法可以找到一个从属性值到类别的映射关系，且该映射关系能用于对新的元组进行分类。基于C4.5决策树算法的异常检测主要包括四个步骤：生成训练集、检测模型训练、生成异常时间片流特征文件、检测异常流。具体如下：

A)对原始训练集进行流特征提取，生成标注了异常类别的流特征训练文件，作为C4.5决策树的训练集；

B)调用C4.5训练函数，训练学习得到基于流特征的检测模型。

C)对异常时间片涉及的流进行流特征提取，生成待检测的流特征文件。

D)调用C4.5检测函数，对待检测的流特征文件中的流进行异常分类，判断出每个流的异常类型；

4、检测结果融合与入库，由于不同网络流可能属于同一攻击，因此要将C4.5决策树算法检测结果根据攻击融合策略进行融合，得到准确可靠的网络异常状况，将结果存入log文件与威胁态势感知数据库，用于威胁态势评估与可视化；

三、威胁态势评估：

根据一段时间内网络遭受的攻击情况，因一个评估周期，包含多个异常检测时间片，评估当前时间段内网络威胁严重程度，首先统计威胁态势感知数据库中，该时间段包含的各时间片的细粒度异常检测结果；然后，计算各威胁态势评估指标；最后得到该时间段内网络的威胁值，值越大，表明网络当前遭受的威胁其危害程度越严重；

网络威胁值的计算包括：

1.攻击类型发生的种类，即在该时间段内，发生的攻击类型占四大类攻击中的几类。同一时间段内发生多种类型攻击对网络的威胁程度要大于只发生单一类型攻击的威胁程度；

2.每种攻击类型发生的次数，即该时间段内每种攻击类型各发生了多少次。

3.至当前时间窗口为止各攻击类型发生的概率ProbX，也就是从开始检测开始至当前时间窗口为止，每种攻击类型发生总次数占检测总记录数的百分比，ProbX计算公式如下：

其中X＝{dos,u2r,r21,probe}，sumNoofX为某种异常到当前时间窗口为止发生的总次数。sum为到当前时间窗口检测的总次数，即各类攻击次数的总和；

网络威胁值的具体计算公式如下：

其中，markX标记该种异常在该时间窗口内是否发生，发生标记为“1”，不发生标记为“0”；ω_e表示每种攻击类型对应的威胁权重；α为在威胁态势值变化时过去攻击事件被检测到在未来被检测中所占的比例。

由上述可以看出，本发明提出并实现了一种基于网络流量的威胁评估方法，该方法利用基于网络数据包和网络流的多粒度异常检测技术，可高精度实时检测出网络遭受的威胁事件，设计了一套有效的网络威胁态势评估体系，可描绘出当前网络遭受的威胁严重程度，其结果有助于网络管理人员及时掌握当前网络遭受的安全威胁，以便采取有效地应急响应措施，缓解或避免网络遭受严重的危害，确保网络安全和使用效果，并经实地应用和试验取得了非常好的有益技术效果，有关资料如下：

为了验证方法的有效性，对本发明中的多粒度异常检测算法和威胁值计算方法进行了实验。

实验测试环境如图2所示，搭建一个局域网，在服务器启动基于本发明实现的一个威胁态势评估系统后，攻击者开始向主机重放设定好的攻击流量，观察检测结果。相关设备参数为：笔记本电脑6台(内存4GB，硬盘500GB，处理器Intel i4-2450M，操作系统windows7家庭普通版)，网络交换机一部(TP-LINK-WR842N)。

测试数据：选择入侵检测领域知名的公开实验数据集DARPA99作为实验数据，该数据集有pcap格式的原始数据流量，便于重放流量实验，且具有相应的流量说明文档，可用于对比实验检测出的攻击事件与流量中实际存在的攻击事件。

粗粒度检测算法的实验结果：粗粒度检测算法的精确率(Pre)和召回率(Rec)，如表1所示；检测20万个时间片记录数据，需要170秒，可见：本发明多粒度异常检测的网络威胁评估方法有很高的准确性，且速度快，具体见下表。

表1粗粒度检测算法的精确率和召回率

	Pre	Rec
			norma	0.967	0.999
u2r	0.886	0.892
			r2l	0.9	0.931
probe	0.934	0.934
			dos	0.955	0.955

细粒度检测算法的实验结果：细粒度检测算法的有效性，主要体现在检测出的具体攻击事件的类型、源和目的等信息正确。细粒度检测出的攻击事件信息。通过比对DARPA99文档中关于具体攻击事件的说明，检测结果基本正确。

参数设置：威胁权重的作用是量化不同威胁等级的攻击造成的危害严重程度，其大小能合理的反映威胁等级的高低即可，实验时按威胁等级从低到高依次设置，具体如表2所示；α为威胁态势值变化过程中当前态势受到上一检测窗口威胁状态的影响程度，该影响程度取决于上一检测窗口被检测到的攻击事件在未来被检测到的攻击事件中所占的比例，考虑到上一检测窗口发生的攻击事件连续检测窗口内不发生与发生的可能性相当，故实验时α＝50％。

表2攻击类型对应的威胁权重

事件类型	事件特征	等级	权重
				U2R	试图获得管理员权限	高	4
DOS	试图进行拒绝服务攻击	较高	3
				R2L	试图登录到主机	中	2
PROBE	网络扫描	低	1

威胁态势评估的实验结果：给出了评估出的每个评估周期内网络当前的威胁态势值，值越大，表明网络当前遭受的威胁越严重。实验结果得到的高威胁值的时间分布与Darpa99说明文档中描述的攻击情形基本一致；且通过悬浮窗中的饼状图给出的具体攻击事件类型与Darpa99文档中给出的攻击类型也基本一致，证明本发明方法稳定可靠，易于操作，评估准确，有效用于对网络威胁的评估，确保网络的安全使用，是网络安全上的一大创新，经济和社会效益巨大。

Claims (1)

1.一种基于多粒度异常检测的网络威胁评估方法，其特征在于，首先利用基于包的粗粒度异常检测，分析出含有异常网络流量的时间片；再通过基于流的细粒度异常检测，对异常时间片的网络流量，进行流重组、提取流特征属性，利用流特征的异常检测算法判断出攻击类型；最后，对检测出的威胁事件，量化评估当前网络受威胁的严重程度，具体由以下步骤实现：

一、基于包的粗粒度异常检测：

(1)在线监听实时网络环境中的数据流量，按照1分钟为时间窗口进行存储，利用Winpcap在存储的同时提取序号、时间、源IP、目的IP、源端口、目的端口、协议类型和长度的属性，属性之间用“,”进行分割；

(2)数据包属性统计，对每个数据包提取出源IP属性、目的IP属性、源端口属性、目的端口属性、字节数属性、协议类型属性，即Packet＝{sIP,dIP,sPort,dPort,bytes,protocol}，用概要数据结构对每个时间窗口内这六个属性的统计信息进行记录；

(3)特征提取，在时间窗T内，根据所记录的统计信息，利用非广延熵提取出该时间窗口网络流数据的特征，用特征向量L_T＝{l_T1,l_T2,...,l_Tn}表示，n为自然正整数；

(4)异常检测，利用随机森林的算法对包的特征进行快速检测，得出异常类型R2L、U2R、PROBE和DOS；

(5)记录检查结果，将粗粒度检测中可能存在问题的数据包的时间片名称记录在文件和威胁态势感知数据库中，供后续细粒度检测组流时使用；

通过基于包的粗粒度异常检测模块后，将时间片分为正常时间片和异常时间片，对异常时间片进行基于流的细粒度异常检测；

二、基于流的细粒度异常检测

(1)流重组，根据粗粒度异常检测的结果，选择当前时间片和邻近时间片内的数据包，对异常时间片内涉及的包进行流重组，以确保完整的流数据被组合到一起，进行流特征提取；

(2)流特征提取，对于异常时间片涉及的流，进行属性分析与特征属性提取，形成流特征文件，用于异常检测；流特征属性是由流特征选择模块经流特征选择，从原始特征集中选择出的用于攻击流分类的最优的特征子集；

(3)细粒度异常检测，通过C4.5决策树算法对流特征文件进行检测判断，判断出每个流是否异常，并将log文件与检测结果写入威胁态势感知数据库；

(4)检测结果融合与入库，由于不同网络流可能属于同一攻击，因此要将C4.5决策树算法检测结果根据攻击融合策略进行融合，得到准确可靠的网络异常状况，将结果存入log文件与威胁态势感知数据库，用于威胁态势评估与可视化；

三、威胁态势评估：

根据一段时间内网络遭受的攻击情况，因一个评估周期，包含多个异常检测时间片，评估当前时间段内网络威胁严重程度，首先统计威胁态势感知数据库中，该时间段包含的各时间片的细粒度异常检测结果；然后，计算各威胁态势评估指标；最后得到该时间段内网络的威胁值，值越大，表明网络当前遭受的威胁其危害程度越严重；

网络威胁值的计算包括：

(1)攻击类型发生的种类，即在该时间段内，发生的攻击类型占四大类攻击中的几类，同一时间段内发生多种类型攻击对网络的威胁程度要大于只发生单一类型攻击的威胁程度；

(2)每种攻击类型发生的次数，即该时间段内每种攻击类型各发生了多少次；

(3)至当前时间窗口为止各攻击类型发生的概率ProbX，也就是从开始检测开始至当前时间窗口为止，每种攻击类型发生总次数占检测总记录数的百分比，ProbX计算公式如下：

其中X＝{dos,u2r,r21,probe}，sumNoofX为某种异常到当前时间窗口为止发生的总次数，sum为到当前时间窗口检测的总次数，即各类攻击次数的总和；

网络威胁值的具体计算公式如下：

其中，markX标记该种异常在该时间窗口内是否发生，发生标记为“1”，不发生标记为“0”；ω_e表示每种攻击类型对应的威胁权重；α为威胁态势值变化过程中当前网络威胁态势受到上一检测窗口威胁状态的影响程度，该影响程度取决于上一检测窗口被检测到的攻击事件在未来被检测到的攻击事件中所占的比例。