CN102271091B - 一种网络异常事件分类方法 - Google Patents

Abstract

本发明公开了一种网络异常事件分类方法。本发明的方法首先从网络流数据中提取流量特征参数，根据检测到的异常时间点确定历史时间窗并构建异常特征多时间序列，充分利用了流量行为在时间上的相关性，能有效提高骨干网异常事件分类的准确性；同时通过分析异常特征多时间序列之间的相似性，能有效区分不同种类的、具有相似特征的异常；利用信息熵处理海量数据，能保证骨干网异常事件分类的实时性要求。

Description

一种网络异常事件分类方法

技术领域

本发明属于网络技术领域，特别涉及一种网络异常事件分类方法。

背景技术

网络异常事件表现为网络中的流量行为相对其正常行为的偏离。它可能是网络滥用，例如DoS攻击、DDoS攻击、端口扫描等；也可能是设备失效，例如路由器端口失效；还可能是合法的用户行为，例如Flash Crowd等。为了在网络异常事件发生时快速地制定出应急方案，降低异常事件的危害，实时地对网络异常事件进行分类已成为近年来学术界广泛关注的问题。

目前，骨干网中的异常事件分类主要面临以下困难：

1.骨干网中的流量巨大，要对如此巨大的流量进行逐包分析以便对网络异常事件进行分类，势必会消耗大量时间，无法满足实时性要求。

2.骨干网中的流量具有很强的动态变化性，同一异常在不同时刻的表现也不尽相同，这要求分类算法具有较强的动态适应性。

3.骨干网中的异常种类很多，并且某些不同种类的异常具有相似的特征。例如，Point toMultipoint和网络扫描均会引起单个数据源到多个目的地址的网络流数量激增；DoS/DDoS攻击和Alpha攻击均会导致网络中数据流的目的IP地址集中。因而，要找到统一的分类方法来区分不同种类的、具有相似特征的异常十分困难。

目前，对网络中的异常流量分类进行了大量研究，提出了很多方法。文献“Kuai Xu，Zhi-Li Zhang，S.Bhattacharyya.Internet Traffic Behavior Profiling for Network SecurityMonitoring.IEEE/ACM Transactions on Networking，Dec.2008”中首先提取出网络流量中的源/目的IP和端口号，对这4项特征参数分别聚类，接下来利用一种基于熵的方法来优化基于各项特征参数的聚类，接着基于这些聚类构建异常行为模式，从而实现异常事件分类；文献“A.Lakhina，M.Crovella，C.Diot.Mining Anomalies Using Traffic Feature Distributions.InProceedings，the conference on applications，technologies，architectures，and protocols forcomputer communications，2005”提出使用k-means算法或分层聚类算法对异常点的源/目的IP和端口等特征参数的熵构成的向量进行聚类，并以欧氏距离作为算法中向量之间的距离，以实现异常分类；文献“A.Lakhina，M.Crovella，C.Diot，Characterization of Network-WideAnomalies in Traffic Flows.In Proceedings，the 4th ACM SIGCOMM conference on Internetmeasurement，2004”提出了统计出网络流量中的流数量、包数量和字节数，结合各异常时间点的流量中的主要IP和端口号(取出现概率超过0.2的IP和端口号)来对异常进行分类；文献“Y.Yasami，S.P.Mozaffari.A Novel Unsupervised Classification Approach for NetworkAnomaly Detection by K-Means Clustering and ID3 Decision Tree Learning Methods.TheJournal of Supercomputing，2010”提出一种基于主机的组合方法来对网络中的ARP流进行异常分类，该方法首先用基于欧式距离的k-means方法对训练数据进行聚类，然后对每个类建立ID3决策树，之后将这两种方法得出的结果相结合得到门限值，利用该门限值进行异常分类；文献“基于神经网络的入侵识别方法.计算机工程，Vol 29(3)：111-112，119.2003.3”提出在BP(Back-propagation)网络的基础上加入一些附加的、内部的反馈通道来生成内部回归神经网络，从而加快其学习速度，实现快速分类；文献“杨岳湘，王海龙，卢锡城.基于信息熵的大规模网络流量异常分类.计算机工程与科学，Vol 29(2)：40-43，2007”提出了一种基于信息熵的大规模网络流量异常分类方法，首先计算网络流量中的源/目的IP和源/目的端口熵，然后先利用子空间方法进行映射，再用k-means方法进行聚类得到结果。

以上的方法都仅利用当前时间点的特征参数值或变化率对异常进行分类，而未利用流量行为在时间上的相关性。由于骨干网中流量的动态变化性，使用单一时间点的特征参数值或变化率难以准确地、全面地反映网络流量行为异常(如背景流量较大时和背景流量较小时，相同类型的异常事件可能具有相似的流量特征参数值变化趋势，却表现出迥然不同的流量特征参数值)，限制了分类的性能。

发明内容

本发明的目的是为了解决现有的网络异常事件分类方法存在的问题，提出了一种网络异常事件分类方法。

本发明的技术方案是：一种网络异常事件分类方法，具体包括如下步骤：

S1.从网络设备中获取网络中的流数据，从流数据中提取流量特征参数；

S2.根据检测到的异常时间点确定历史时间窗并构建异常特征多时间序列，即用异常时间点和它之前的若干个时间点构建历史时间窗，提取历史时间窗内各时间点的流特征参数并计算相对熵，利用相对熵构建各流量特征参数在历史时间窗内的时间序列，并组合为异常特征多时间序列，

S3.对于手工标记的训练数据，根据凝聚分层聚类建立初始分类树；

S4.对于新捕获的异常数据，计算该异常与当前分类树各子树的距离，找出与新异常距离最小的子树，根据该子树包含的异常种类进行分析以得到分类结果，并更新分类树。

本发明的有益效果：本发明的方法首先从网络流数据中提取流量特征参数，根据检测到的异常时间点确定历史时间窗并构建异常特征多时间序列，充分利用了流量行为在时间上的相关性，能有效提高骨干网异常事件分类的准确性；同时通过分析异常特征多时间序列之间的相似性，能有效区分不同种类的、具有相似特征的异常；利用信息熵处理海量数据，能保证骨干网异常事件分类的实时性要求。

附图说明

图1本发明网络异常事件分类方法的流程示意图。

图2实施例中构建初始分类树流程示意图。

图3实施例中凝聚分层聚类的示意图。

图4实施例中对新捕获的异常进行分类流程示意图。

具体实施方式

下面结合附图和具体的实施例对本发明作进一步的阐述。

本发明的网络异常事件分类方法首先从网络流数据中提取已检测出异常时间点的流特征参数，而后通过计算相对熵以及凝聚分层聚类等方法，按照提取流特征参数——异常特征的多时间序列表示——构建初始分类树——找到与新捕获的异常距离最小的子树并进行分析的思路完成骨干网的异常分类。具体流程示意图如图1所示，下面进行具体说明。

具体包括如下步骤：

S1.从网络设备中获取网络中的流数据，从流数据中提取出流量特征参数；

S2.根据检测到的异常时间点确定历史时间窗并构建异常特征多时间序列，即用异常时间点和它之前的若干个时间点构建历史时间窗，提取历史时间窗内各时间点的流特征参数并计算相对熵，利用相对熵构建各流量特征参数在历史时间窗内的时间序列，并组合为异常特征多时间序列，

S3.对于手工标记的训练数据，根据凝聚分层聚类建立初始分类树；

S4.对于新捕获的异常数据，计算该异常与当前分类树各子树的距离，找出与新异常距离最小的子树，根据该子树包含的异常种类进行分析以得到分类结果，并更新分类树。

在步骤S1中，首先从网络设备中获取网络中的流数据，在这里以Netflow数据为例进行说明。在本实施例中，选取了网络流的五元组(源/目的IP，源/目的端口号，网络协议)、每条流的平均包数量以及每个包的平均字节数作为流量特征参数。

在选取的流量特征参数中，源/目的IP反映主机行为，源/目的IP反映服务行为，网络协议反映主机间的数据交换方式，平均包数量和平均字节数分别反映网络层和物理层的流量特征。这些参数可以较完整地刻画出网络异常事件的特点，从而为异常事件分类提供依据。

在步骤S2中，对于每个异常时间点，将其之前的若干个时间点(在实施例中，取之前的3个时间点)与它一起构成历史时窗；提取历史时窗内各时间点上的流特征参数，并计算其相对熵，形成各流量特征参数的时间序列；将所有流量特征参数时间序列组合起来，构建异常特征多时间序列。关于如何确定异常时间点，经典的方法有基于小波的检测方法(P.Barford，J.Kline，D.Plonka，and A.Ron.A Signal Analysis of Network Tra c Anomalies.In Proceedings of IMW，2002)，kalman滤波的方法(A.Soule，K.Salamatian，and N.Taft.Combining Filtering and Statistical Methods for Anomaly Detection.InProceedings of IMC，2005)等，在这里不再详细描述。

本步骤的流程如下：

现有的异常分类方法都仅利用当前时间点的特征参数值或变化率对异常进行分类，难以准确反映网络行为引起的流量变化。为了解决这个问题，本发明的技术方案引入了历史时窗，以便获取一段时间内异常特征参数的变化趋势，从而更加准确地描述异常事件并对其进行分类。

信息熵标志着系统所含信息量的多少，是对系统不确定性的描述，具体定义如下：

$H\left(x\right)=-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(n_i/s){\log }_2(n_i/s)$

其中，X＝(n_i，i＝1，L，N}表示在参数X的值为i的实例数为n_i，表示X的实例总数。

在得到数据信息熵的基础上，可以进一步计算得到其相对熵： $\mathrm{RU}\left(X\right)=\frac{H\left(X\right)}{{\log }_2\left(N_0\right)}$

其中，N₀表示数据中参数X共有多少个不同的值，RU(X)的值处于0到1之间。

在完成各时间点上各项流特征参数的相对熵计算后，需要按照流特征参数的不同将得到的相对熵组合起来，构建出异常特征多时间序列，用于之后的操作。根据当前处理的异常数据来源的不同，接下来的操作分为两类：对于手工标记的训练数据，对其进行凝聚分层聚类获取初始分类树，对于新捕获到的异常，通过将其与分类树聚类来实现异常分类。

在步骤S3中，对于手工标记的训练数据，首先根据手工标记将异常按照类型不同进行分簇；而后计算任意两个异常簇之间的距离；之后，比较各异常簇之间的距离，将距离最小的两个子树相连，得到初始分类树。具体如图2所示。其中，计算任意两个异常簇之间的距离可以采用如下过程：

目前，对于两个序列的相似性有多种度量方法，例如基于欧氏距离的相似系数算法、L_k度量以及基于子空间的相似性度量方法等。在本实施例中，采用两个时间序列相关系数的方法度量两个序列的相似性。

相关系数的计算公式为： $r(X,Y)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2}},$

式中，X和Y分别表示两个异常的同一异常特征参数在各自历史时间窗内的时间序列，x_i和y_i分别表示X和Y在一个时间点上的值，而

和

分别表示X和Y在时间上的均值，N表示历史时间窗中的时间点个数。

在求出两个异常间的每一个异常特征参数的时间序列的相关系数后，将它们的平方和作为两个异常间的距离，公式如下：

$d(X,Y)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}r{(X_k,Y_k)}^2,$

式中，X和Y表示两个异常，t表示异常特征参数个数，而X_k和Y_k分别表示X和Y的第k个异常特征参数在各自历史时间窗内的时间序列。

接下来利用组平均距离的方法计算两个簇之间的距离，计算公式如下：

$D(A,B)=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}d(a_i,b_i)}{m*n}$

式中，D(A，B)表示异常簇A和B的距离，m和n分别表示A和B的元素个数(即A和B中各包含多少个异常)，而d(a_i，b_j)表示A中的第i个异常a_i和B中的第j个异常b_j间的距离。

对异常簇进行凝聚分层聚类的具体步骤如下：

1)将每个异常簇作为一个子树，将距离最小的两个子树相连，形成新的子树；

2)检查是否所有的簇均已加入同一树中，若所有簇已全部加入到分类树中，则分类树初始化完毕；否则，继续；

3)计算新生成的子树与其它子树的距离，返回步骤1)。

凝聚分层聚类的示意图如图3所示，其中，(a)是对四个子树进行聚类的示意图，(b)、(c)、(d)三个子树进行聚类的示意图。

在步骤S4中，对于新捕获到的异常，首先计算该异常与当前分类树中各子树的距离；然后，比较该异常与各子树的距离，并找出与其距离最近的子树；若该子树下均为同一类异常，便可直接判定新异常与该子树下的异常为同一类型，否则，将该异常作为一种新的异常，单独形成新簇。在得到分类结果后，更新分类树，以便用于之后的分类。这里，需要说明的是，对第一个异常分类时更新的是S3建立的初始分类树，之后的异常分类均使用更新后的分类树(即当前分类树)进行判决，并在判决后对当前分类树进行更新。

具体流程示意图如图4所示。

计算新异常与各子树的距离的公式如下：

$D(T,a)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{(r^2(\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ik}}}{n},a_k)-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}r(t_{\mathrm{ik}},t_{\mathrm{jk}})}{C_n^2})}^2$

其中，D(T，a)表示子树T与新异常a的距离，t表示流量特征参数个数，n表示子树T包含的异常总数，表示T中异常对的数目，其中，

t_ik和t_jk表示T中第i个和第j个异常的第k个流量特征参数在各自历史时间窗内的时间序列，a_k指新异常第k个特征参数的时间序列。

在找出与新异常距离最小的子树后，若该子树下只有一类异常，则可以判定新异常也属于该类异常；否则，则说明新异常与不止一类异常相似，甚至可能为之前未检测到的异常。对于后者，需要对其进行进一步的手工分析，以得出最终的分类结果。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变，均被认为属于本发明的权利要求的保护范围。

Claims (4)

1.一种网络异常事件分类方法，具体包括如下步骤：

S1.从网络设备中获取网络中的流数据，从流数据中提取流量特征参数;

S2.根据检测到的异常时间点确定历史时间窗并构建异常特征多时间序列，即用异常时间点和它之前的若干个时间点构建历史时间窗，提取历史时间窗内各时间点的流特征参数并计算相对熵，利用相对熵构建各流量特征参数在历史时间窗内的时间序列，并组合为异常特征多时间序列；

S3.对于手工标记的训练数据，根据凝聚分层聚类建立初始分类树；

建立初始分类树的具体过程为：对于手工标记的训练数据，首先根据手工标记将异常按照类型不同进行分簇；而后计算任意两个异常簇之间的距离；之后，比较各异常簇之间的距离，将距离最小的两个子树相连，得到初始分类树；

所述的计算任意两个异常簇之间的距离的具体过程如下：

首先采用两个时间序列相关系数的方法度量两个序列的相似性：

相关系数的计算公式为： $r(X,Y)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2}},$

式中，X和Y分别表示两个异常的同一异常特征参数在各自历史时间窗内的时间序列，x_i和y_i分别表示X和Y在一个时间点上的值，而

和

分别表示X和Y在时间上的均值，N表示历史时间窗中的时间点个数；

在求出两个异常间的每一个异常特征参数的时间序列的相关系数后，将它们的平方和作为两个异常间的距离，公式如下：

$d(X,Y)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}r{(X_k,Y_k)}^2,$

式中，X和Y表示两个异常，t表示异常特征参数个数，而X_k和Y_k分别表示X和Y的第k个异常特征参数在各自历史时间窗内的时间序列；

接下来利用组平均距离的方法计算两个簇之间的距离，计算公式如下：

$D(A,B)=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}d(a_i,b_j)}{m*n}$

式中，D(A,B)表示异常簇A和B的距离，m和n分别表示A和B的元素个数，即A和B中各包含多少个异常，而d(a_i,b_j)表示A中的第i个异常a_i和B中的第j个异常b_j间的距离；

S4.对于新捕获的异常数据，计算该异常与当前分类树各子树的距离，找出与新异常距离最小的子树，根据该子树包含的异常种类进行分析以得到分类结果，并更新分类树。

2.根据权利要求1所述的网络异常事件分类方法，其特征在于，步骤S1所述的流量特征参数具体为：源/目的IP、源/目的端口号、网络协议、每条流的平均包数量以及每个包的平均字节数。

3.根据权利要求1所述的网络异常事件分类方法，其特征在于，步骤S3所述的凝聚分层聚类的具体步骤如下：

1）将每个异常簇作为一个子树，将距离最小的两个子树相连，形成新的子树；

2）检查是否所有的簇均已加入同一树中，若所有簇已全部加入到分类树中，则分类树初始化完毕；否则，继续；

3）计算新生成的子树与其它子树的距离，返回步骤1）。

4.根据权利要求1或3所述的网络异常事件分类方法，其特征在于，步骤S4所述的计算该异常与当前分类树各子树的距离的具体过程如下：

计算新异常与各子树的距离的公式如下：

$D(T,a)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}(r^2(\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ik}}}{n},a_k)-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1,j\≠i}{\overset{n}{\mathrm{\Σ}}}r(t_{\mathrm{ik}},t_{\mathrm{jk}})}{C_n^2}{)}^2$

其中，D(T,a)表示子树T与新异常a的距离，t表示流量特征参数个数，n表示子树T包含的异常总数，

表示T中异常对的数目，其中，

t_ik和t_jk表示T中第i个和第j个异常的第k个流量特征参数在各自历史时间窗内的时间序列，a_k指新异常第k个特征参数的时间序列。

Images