CN101848160A - 在线检测和分类全网络流量异常的方法 - Google Patents

Abstract

本发明公开了一种在线检测和分类全网络流量异常的方法，包括下述步骤：一、NetFlow流量采集，采用NetFlow流量采集器接收从边界路由器发送来的NetFlow数据包后，进行数据包的解析和数据流聚合，形成适于统计分析需要的数据，再通过网络传输到中心控制台，存入数据库；二、构建以流量特征的熵为测度的流量矩阵；三、采用增量主成分分析方法在线检测流量异常；四、利用在线检测获得的残余向量构造四维空间中的样本点，并采用增量k-均值聚类方法实时在线对流量异常进行分类。本发明优点在于在线检测流量异常，实时在线对流量异常进行分类。本方法具有较低的时间复杂度和存储开销，能够很好地满足实时检测和分类网络异常的需要，为后继防御网络攻击奠定了技术基础。

Description

在线检测和分类全网络流量异常的方法

技术领域

本发明涉及因特网流量安全检测和分类方法，尤其是涉及在线检测和分类全网络流量异常的方法。

背景技术

伴随着因特网的迅速发展，各种网络攻击行为日益猖獗，网络安全问题越来越受到人们的广泛关注。为了有效地遏制这些网络攻击行为，网络管理员必须从大量的网络监测数据中实时地发现网络流量异常行为，如拒绝服务攻击(DoS)、分布式拒绝服务攻击(DDoS)、闪拥(flash crowd)等，并及时采取相应的防御措施。

目前，网络流量异常检测和分类方法多为对单条链路流量采用离线批处理方法。这就要求必须提前给定流量监测数据，然后采用聚类等方法挖掘出网络流量的异常行为模式。如孙知信等人采用单个路由器捕获的流量作为数据源，应用聚类方法识别拒绝服务攻击行为；还如高能等人采用tcpdump获取链路上分组记录数据，提出一种基于数据挖掘的拒绝服务攻击检测技术；以及杨一等人采用抓包工具获取实验室网络出口的流量数据，提出一种基于蚂蚁聚类的自适应拒绝服务攻击检测技术等等。Lakhina等人首次利用流量矩阵作为数据源，应用基于主成分分析的子空间方法使得单条链路上难以显现的异常行为在全网络视图上成功地被检测出来，但是该方法仍然属于离线处理方法。

上述的网络流量异常检测和分类方法皆为离线处理方法，因此无法在攻击发生时立即识别出来并采取相应的安全措施进行防御。这种类型“亡羊补牢”式的事后分析方法无法满足当前网络安全管理的实际需要。如何实现从全网络视角实时在线地对流量异常进行检测，并对检测结果进行实时分类，以满足网络安全的现实需要，是本领域科技人员一直研究的课题，但目前还未见诸有关这方面的报道。

发明内容

本发明目的在于提供一种提高网络安全性的在线检测和分类全网络流量异常的方法。

为实现上述目的，本发明可采取下述技术方案：

本发明所述的在线检测和分类全网络流量异常的方法，包括下述步骤：

第一步、NetFlow流量采集

采用NetFlow流量采集器接收从边界路由器发送来的NetFlow数据包后，进行数据包的解析和数据流聚合，形成适于统计分析需要的数据，再通过网络传输到中心控制台，存入数据库；

第二步、构建以流量特征的熵为测度的流量矩阵：

以所述中心控制台数据库中存储的原始NetFlow流量数据为基础，依据边界网关协议路由信息，建立以不同流量特征的熵为测度的流量矩阵；所述流量特征包括源IP地址、目的IP地址、源端口和目的端口；所述流量矩阵为：对一个自治系统的多个边界路由器，以一定的时间间隔为周期连续地被动测量任意一对边界路由器之间的流量，然后将这些测量值排列成一个矩阵，作为所有这些流量测量值的时间序列；

第三步、采用增量主成分分析方法在线检测流量异常：

将一个自治系统所有边界路由器间的流量测量值作为一个输入向量，该向量为存在于高维空间中的一个多元变量；流量矩阵作为高维空间中多元变量的时间序列；利用增量主成分分析方法以增量的方式获取高维数据的主成分，并利用获得的主成分分别建立正常子空间和异常子空间，然后根据测量数据不断更新子空间，并在异常子空间中检测流量异常；

第四步、利用在线检测获得的残余向量构造四维空间中的样本点，并采用增量k-均值聚类方法实时在线对流量异常进行分类：

对以源IP地址、目的IP地址、源端口和目的端口四个流量特征的熵为测度的流量矩阵分别应用在线检测方法，在每个发生异常警报的时间间隔内获取四种测度对应的四个残余向量，将每个异常看做四维空间的一个样本点，样本点的坐标用向量表示；对每个样本点对应的四维向量进行归一化，构建四维空间中的样本点；然后利用增量k-均值聚类方法对样本点进行在线分类；将每个新的样本点分配给一个已有的聚类或创建一个新的聚类，并根据新出现的样本点不断更新聚类中心的列表；之后将每个连续到达的样本点视作一个样本块，且将每个样本点组成的样本块作为一代，在同一代内，每个聚类中心的拟合度用分配给该中心的样本点的数目来度量，拟合度最好的聚类中心保留到下一代，或被新的聚类中心替代。

本发明优点在于以增量方式构建以流量特征的熵为测度的流量矩阵，利用增量主成分分析方法在线检测流量异常，然后利用增量k-means方法实时在线对流量异常进行分类，以采取相应的防御措施。本方法具有较低的时间复杂度和存储开销，试验证实采用配置为2.33GHz的CPU、2GB内存的计算机，对实测数据和模拟试验数据应用ODC方法，单步执行时间均不超过0.012秒，能够很好地满足实时检测和分类网络异常的需要，为后继防御网络攻击奠定了技术基础。

为进一步表明本发明所具备的实质性特点和显著的进步，本发明以Abilene实测的流量数据集作为背景流量，该数据集的具体描述见表1。

表1用于模拟试验的Abilene流量矩阵

持续时间	间隔时间	测度	矩阵形式	数据集
					2009.07.01-07.02	5分钟	源IP的熵	121×576	X(SrcIP)
2009.07.01-07.02	5分钟	源端口的熵	121×576	X(SrcPort)
					2009.07.01-07.02	5分钟	目的IP的熵	121×576	X(DstIP)
2009.07.01-07.02	5分钟	目的端口的熵	121×576	X(DstPort)

采用著名的DoS/DDoS和蠕虫攻击流量traces作为异常数据集，针对单个目的主机的单源DoS攻击和多源DDoS攻击，它们都来自2003年Los Nettos区域性ISP的实测数据以及2003年美国Utah州ISP的实测数据。通过人工注入异常的方式来模拟真实异常，具体步骤如下：

第一步，从DoS攻击数据集中识别出受攻击者，并抽取出发往受攻击目的IP地址的所有分组；

第二步，根据背景流量将被抽取分组中的首部字段映射到合适的值，具体方法是通过将所有被抽取分组的最后11个比特置零来匹配背景流量中分组的匿名化，然后将攻击流量trace中的目的地址和端口随机映射到背景流量中的目的地址和端口；

第三步，在抽取和适当地转换异常流量之后，将其注入背景流量。

设置如表2所示的模拟异常场景，然后应用ODC方法对异常进行检测和分类。

表2模拟异常的场景

时间	异常类型
		第100和125个时间间隔	DoS
第150和175个时间间隔	DDoS
		第200和225个时间间隔	蠕虫

同样，首先对源IP地址(SrcIP)、目的IP地址(DstIP)、源端口(SrcPort)和目的端口(DstPort)等四个流量特征的熵为测度的流量矩阵分别应用在线检测，结果如图1-1、图1-2、图1-3所示。在图1-1中，以SrcIP的熵为测度的流量矩阵中检测到第100、125、150、175、200和225个时间间隔出现异常；在图1-2中，以DstIP的熵为测度的流量矩阵中检测到第100、125、150、175、200和225个时间间隔出现异常；在图1-3中，以DstPort的熵为测度的流量矩阵中检测到第200和225个时间间隔出现异常。

在检测的基础上，采用在线聚类方法对以上六个时间间隔内的异常进行分类，图2-1给出了三维空间的分类结果，显而易见，在三维空间中异常样本点自然地分成三类。为了进一步考察三类异常样本对应的异常类型，图2-2给出二维空间的分类结果，其中“。”表示的两个样本点具有较小的SrcIP熵和DstIP熵，它们对应于DoS攻击；“·”表示的两个点具有较大的SrcIP熵和较小的DstIP熵，对应于DDoS攻击；“×”表示的两个点具有较小的SrcIP熵和较大的DstIP熵，对应于蠕虫扫描。

由于单次模拟试验具有较大的随机性，为了使评价结果更为科学，重复以上试验50次，计算每次试验的检测率和误报率，最终得到ODC方法的平均检测率高于90％，平均误报率低于10％。

附图说明

图1-1、图1-2、图1-3是本发明所述人造异常的在线检测图。

图2-1、图2-2是本发明所述模拟异常的在线分类图。

图3是本发明所述的NetFlow流量采集示意图。

具体实施方式

如图1-1、图1-2、图1-3、图2-1、图2-2、图3所示，本发明所述在线检测和分类全网络流量异常的方法，包括下述步骤：

第一步、NetFlow流量的采集：

采用NetFlow流量采集器接收从边界路由器发送来的NetFlow数据包后，采集器将进行数据包的解析和数据流聚合，形成多种适合统计分析需要的数据，再通过网络传输到中心控制台，存入数据库；

第二步、构建以流量特征的熵为测度的流量矩阵：

以中心控制台数据库中存储的原始NetFlow流量数据为基础，依据边界网关协议路由信息，建立以不同流量特征的熵为测度的流量矩阵；所述流量特征包括源IP地址、目的IP地址、源端口和目的端口；所述流量矩阵为：对一个自治系统的多个边界路由器，以一定的时间间隔为周期连续地被动测量任意一对边界路由器之间的流量，然后将这些测量值排列成一个矩阵，作为所有这些流量测量值的时间序列；

所述流量特征的熵的具体定义和计算方法如下：

假定我们随机地观察流量特征X，观察的样本总数为S，不同的样本取值的个数为N，其中流量特征i出现了n_i次，那么该流量特征的样本熵定义为：

$H\left(X\right)=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{n_i}{S}\right){\log }_2\left(\frac{n_i}{S}\right)---\left(1\right)$

其中当所有样本的取值相同时H(X)＝0，当样本取值的分散程度最大化(即n₁＝n₂＝...＝n_N)时

因此

相应地，我们定义源IP地址、目的IP地址、源端口和目的端口等4个流量特征的样本熵，分别表示为H(SrcIP)、H(DstIP)、H(SrcPort)和H(DstPort)。

第三步、采用增量主成分分析方法在线检测流量异常：

将一个自治系统所有边界路由器间的流量测量值作为一个输入向量，该向量为存在于高维空间中的一个多元变量；流量矩阵作为高维空间中多元变量的时间序列；利用增量主成分分析方法以增量的方式获取高维数据的主成分，并利用获得的主成分分别建立正常子空间和异常子空间，然后根据测量数据不断更新子空间，并在异常子空间中检测流量异常；

如果将自治系统所有边界路由器间的流量测量值看作一个输入向量X_i，则该向量X_i是存在于高维空间

中的一个多元变量，流量矩阵X可以看作高维空间

中多元变量的时间序列

在这样的高维数据中异常的特征被正常的特征所掩盖。

主成分分析方法是高维数据降维的一种最有效的方法之一。利用增量主成分分析方法以增量的方式获取高维数据的主成分，并利用获得的主成分分别建立正常子空间和异常子空间，然后根据测量数据不断更新子空间，并在异常子空间中检测流量异常。

主成分分析方法对归一化输入向量

构成的协方差矩阵C进行谱分解：

$C=\frac{1}{T}\underset{i=1}{\overset{T}{\mathrm{\Σ}}}(X_i-\mathrm{\μ}){(X_i-\mathrm{\μ})}^T---\left(2\right)$

CU＝UΛ(3)

其中：

表示输入向量X_i的均值向量；U表示特征向量u_i构成的矩阵，称为特征向量矩阵；Λ表示对角线元素为特征值λ_i的矩阵，称为特征值矩阵。

特征向量

相互垂直正交，且张成一个新的空间，称为特征空间，每个特征向量称为特征空间的主轴。流量矩阵X在特征空间中每个主轴上的投影称为流量矩阵的主成分。选择k个最大的特征值对应的特征向量张成k维子空间s，而选择剩余的p-k个特征值对应的特征向量张成p-k维子空间

由于流量矩阵X在s中的所有主成分均呈现正常的变化趋势，而异常行为均出现在

的主成分中，因此把s称为正常子空间，而把称为异常子空间。

将每个输入向量X_i向正常子空间s投影，可以得到投影向量a_i：

$a_i=U_k^T(X_i-\mathrm{\μ})---\left(4\right)$

其中：U_k表示k个最大的特征值对应的特征向量组成的矩阵。显然，输入向量X_i能够被投影向量a_i在最小均方误差意义下得到重构：

X_i＝U_ka_i+μ(5)

在t时刻，假定已经得到t个输入向量

根据主成分分析方法可以得到由均值向量μ^(t)，特征向量矩阵

和投影向量矩阵

构成的特征模型。当测量获得新的输入向量X_t+1时，首先使用(4)式将该输入向量向当前的正常子空间s进行投影，得到投影向量a_t+1，然后计算重构X_t+1对应的残余向量：

$r=X_{t+1}-U_k^{\left(t\right)}{a}_{t+1}-{\mathrm{\μ}}^{\left(t\right)}---\left(6\right)$

r垂直正交于当前的特征空间，因此可以将r归一化后作为特征空间新的基向量：

$U^{\′}=\left[\begin{array}{cc}{U}_k^{\left(t\right)}& \frac{r}{\left|\right|r\left|\right|}\end{array}\right]---\left(7\right)$

在特征空间中增加一个新的特征向量必然会增加存储的投影向量a_i的维数，于是A^(t)作如下更新：

$A^{\′}=\left[\begin{array}{cc}{A}^t& a_{t+1}\\ 0& \left|\right|r\left|\right|\end{array}\right]---\left(8\right)$

而且，在特征空间中增加新的特征向量必然要求已有的特征向量发生相应地旋转，因此，对投影向量矩阵A′按式(2)-(3)执行主成分分析方法，获得均值向量η和特征向量矩阵R，其中R就是用于对已有的特征向量作旋转变换的矩阵。

最后，对特征模型的三个参数分别更新如下：

μ^(t+1)＝μ^(t)+U′η(9)

$U_k^{(t+1)}=U^{\′}R---\left(10\right)$

A^(t+1)＝R^T(A′-η1)

其中：且向量的每个元素均为标量1。

若令表示(6)式定义的残余向量的2范数的平方，则它度量了原始的输入向量和重构的输入向量之间的误差。若为该误差设置一定的Q统计量阈值r_T，当误差超过该阈值时，则认为测量样本出现异常。具体的在线检测方法步骤如下：

1.初始化特征模型：

2.for t＝2，3…do

3.获取流量测量样本：x_t

4.使用当前的基向量按(4)式计算新的输入向量的投影向量；

5.使用当前的基向量和投影向量按(5)式重构新的输入向量；

6.按(6)式计算残余向量rt；

7. $\mathrm{if}{\left|\right|r_t\left|\right|}_2^2>r_T$

8.发出红色警报；

9.按(7)式添加残余向量作为特征空间新的基向量；

10.按(8)式更新投影向量矩阵；

11.对(8)式中得到的投影向量矩阵按式(2)-(3)执行主成分分析，得到均值向量和特征向量；

12.按(9)-(11)式更新特征模型的参数；

第四步、利用在线检测获得的残余向量构造四维空间中的样本点，并采用增量k-均值聚类方法实时在线对流量异常进行分类：

对以源IP地址、目的IP地址、源端口和目的端口四个流量特征的熵为测度的流量矩阵分别应用在线检测方法，在每个发生异常警报的时间间隔内获取四种测度对应的四个残余向量，将每个异常看做四维空间的一个样本点，样本点的坐标用向量表示；对每个样本点对应的四维向量进行归一化，构建四维空间中的样本点；然后利用增量k-均值聚类方法对样本点进行在线分类；将每个新的样本点分配给一个已有的聚类或创建一个新的聚类，并根据新出现的样本点不断更新聚类中心的列表；之后将每个连续到达的样本点视作一个样本块，且将每个样本点组成的样本块作为一代，在同一代内，每个聚类中心的拟合度用分配给该中心的样本点的数目来度量，拟合度最好的聚类中心保留到下一代，或被新的聚类中心替代。

对以源IP地址、目的IP地址、源端口和目的端口等四个流量特征的熵为测度的流量矩阵分别应用在线检测方法，在每个发生异常警报的时间间隔内获取4种测度对应的4个残余向量，分别记作：r(SrcIP)、r(SrcPort)、r(DstIP)和r(DstPort)。

为了聚类异常，我们将每个异常看做四维空间的一个样本点，样本点的坐标可以用向量表示，其中：

表示残余向量r(SrcIP)中所有元素的均值，

表示残余向量r(SrcPort)中所有元素的均值，

表示r(DstIP)中所有元素的均值，表示r(DstPort)中所有元素的均值，这些均值刻画了不同测度的异常特征。由于我们仅仅关注4种不同测度异常特征之间的相对关系，而不关心它们的绝对大小，因此我们对每个样本点对应的4维向量进行归一化，即h＝h/||h||。

在构建四维空间中的样本点之后，我们利用增量k-means聚类方法对样本点进行在线分类。具体步骤如下：

1.初始化：选择m个点作为初始的候选聚类中心：c₁，...，c_m，给每个聚类中心分配一个权重w_i＝1；

2.for每个随后的样本点p do

3.Count＝Count+1；

4.寻找离样本点p最近的候选聚类中心；

5.使用如下公式移动最近的候选聚类中心： $c_i=\frac{(w_i*c_i+p)}{(w_i+1)};$

6.w_i＝w_i+1；

7.if((Count mod n)≡0)

8.使用如下公式计算候选聚类中心存活的概率： $p_i=\frac{w_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i};$

9.选择一个随机数δ∈[0，1]；

10.if  (p_i≥δ)

11.在下一个样本窗内保留聚类中心c_i；

12.else

13.取消该聚类中心，从当前的样本窗中选择一个新的随机点作为聚类中心；

14.end if

15.end if

16.end for

17.根据欧氏距离将m个候选的聚类中心分组为k个最终的聚类中心。

Claims (1)

1.一种在线检测和分类全网络流量异常的方法，其特征在于：包括下述步骤：

第一步、NetFlow流量采集

采用NetFlow流量采集器接收从边界路由器发送来的NetFlow数据包后，进行数据包的解析和数据流聚合，形成适于统计分析需要的数据，再通过网络传输到中心控制台，存入数据库；

第二步、构建以流量特征的熵为测度的流量矩阵：

以所述中心控制台数据库中存储的原始NetFlow流量数据为基础，依据边界网关协议路由信息，建立以不同流量特征的熵为测度的流量矩阵；所述流量特征包括源IP地址、目的IP地址、源端口和目的端口；所述流量矩阵为：对一个自治系统的多个边界路由器，以一定的时间间隔为周期连续地被动测量任意一对边界路由器之间的流量，然后将这些测量值排列成一个矩阵，作为所有这些流量测量值的时间序列；

第三步、采用增量主成分分析方法在线检测流量异常：

将一个自治系统所有边界路由器间的流量测量值作为一个输入向量，该向量为存在于高维空间中的一个多元变量；流量矩阵作为高维空间中多元变量的时间序列；利用增量主成分分析方法以增量的方式获取高维数据的主成分，并利用获得的主成分分别建立正常子空间和异常子空间，然后根据测量数据不断更新子空间，并在异常子空间中检测流量异常；

第四步、利用在线检测获得的残余向量构造四维空间中的样本点，并采用增量k-均值聚类方法实时在线对流量异常进行分类：

对以源IP地址、目的IP地址、源端口和目的端口四个流量特征的熵为测度的流量矩阵分别应用在线检测方法，在每个发生异常警报的时间间隔内获取四种测度对应的四个残余向量，将每个异常看做四维空间的一个样本点，样本点的坐标用向量表示；对每个样本点对应的四维向量进行归一化，构建四维空间中的样本点；然后利用增量k-均值聚类方法对样本点进行在线分类；将每个新的样本点分配给一个已有的聚类或创建一个新的聚类，并根据新出现的样本点不断更新聚类中心的列表；之后将每个连续到达的样本点视作一个样本块，且将每个样本点组成的样本块作为一代，在同一代内，每个聚类中心的拟合度用分配给该中心的样本点的数目来度量，拟合度最好的聚类中心保留到下一代，或被新的聚类中心替代。

Images