CN102594836A - 一种基于小波能量谱的流量识别方法 - Google Patents

Abstract

本发明涉及基于小波能量谱的流量识别方法。属于流量识别技术领域，该方法包括：首先对网络流量数据进行定期采样，将采样数据分解为不同的数据流；使用有效载荷方法分析数据流的应用协议类型，对各应用协议的数据流进行离散小波变换，计算其在不同尺度上的以2为底的小波能量谱的对数并进行零均值化处理，统计相同应用协议的小波能量谱的数学期望，并将数学期望作为各应用协议的多尺度特征标准存储到特征数据库中；对数据流进行多尺度特征提取步骤的处理，对数据流的多尺度特征与特征数据库中各应用协议的多尺度特征标准逐一计算欧氏距离，具有最小欧式距离的应用协议作为流量识别的结果；本发明同时具有高的识别正确率和低的运算复杂度。

Description

一种基于小波能量谱的流量识别方法

技术领域

本发明涉及计算机网络流量管理技术领域，特别是涉及计算机网络流量的识别方法。

背景技术

精确的网络流量识别不仅是流量工程实施、应用服务区分、用户行为监控的基础，也是业务结构优化、QoS保障以及网络安全管理的重要保障。传统流量识别方法是基于IANA指定的固定服务端口来实现的，通过不同的服务端口来识别流量的应用协议。然而，随着P2P技术以及私有协议的广泛应用，大量的应用协议都使用动态端口的方式来实现数据传输，甚至一些应用通过使用与其他协议相关的默认端口来伪装自己从而穿越代理和防火墙，这导致传统依据服务端口的识别方法变得不再有效。

由于许多应用协议的数据包中都使用了独有的特征签名，因而人们提出了基于有效载荷分析的流量识别方法，尽管这一方法能够产生非常准确识别效果，但仍然存在诸多重要的缺点：(1)随着网络应用的不断发展以及由此导致的协议签名的不断变化，有效载荷分析需要不断的更新协议规则；(2)由于一些应用协议使用了流量加密技术，从而导致有效载荷分析无法识别；(3)面对不断增加的网络流量和应用服务，由于所有流量数据都必须经过分析处理，有效载荷分析也会严重影响到网络的稳定性。因此，有效载荷分析并不能够作为一种独立的方法来进行流量识别。

近年来研究证明网络流量中的多尺度特性被认为是其最主要的统计特性，即网络流量在大时间尺度上表现出自相似特性，而在小时间尺度上则表现出多重分形特性。多重分形理论的引入为刻画流量在小尺度上的奇异性提供了良好的数学框架，而小波变换则为网络流量的多重分形分析提供了有力的数学工具，通过研究信号在不同尺度上的小波系数特性，可以分析信号在不同尺度上所表现出来的行为特性。

一个具有平稳增量的随机过程X(t)，若其增量的高阶矩满足如下方程：

E{|X(Δt)|^q}＝c(q)Δt^α(q)(1)

则该过程被称为分形过程，其中q∈Q，

，α(q)为

指数，c(q)为矩因子，且c(q)独立于时间t。如果α(q)是q的线性函数，则该过程被认为是单重分形，否则，如果α(q)与q呈非线性关系，则该过程为多重分形。对于自相似过程，α(q)表示为α(q)＝Hq-1，其中Hurst指数H是唯一的控制参数，在这种特殊情况下，这种过程被认为是单重分形。

小波变换是当前数学中一个迅速发展的新领域，它是一个针对时间和频率的数学变换，能够通过平移和伸缩等运算从信号数据中提取各种尺度信息，实现对信号数据的多尺度分析。通过离散小波变换，信号X(t)能够被分解为一个尺度函数和小波函数的集合：

其中，c_j0，k为第j₀尺度的尺度展开系数(也称为X(t)在分辨率j₀下的离散逼近)；为离散小波变换的尺度函数；d_j，k为第j尺度的小波展开系数；ψ_j，k(t)为离散小波变换的小波函数。

通过研究信号X(t)的离散小波变换系数d_j，k的小波能量谱与信号的长程依赖性之间的关系可以估计信号的多重分形特性。小波能量谱M_j被定义为信号X(t)在时刻t₀＝2^jk、频率2^-jω₀处小波系数d_j，k的2阶平均值：

$M_j=\frac{1}{n_j}\underset{k=1}{\overset{n_j}{\mathrm{\Σ}}}{\left|d_{j,k}\right|}^2---\left(3\right)$

其中，ω₀为取决于小波函数ψ₀的参考频率，n_j是用于在时间尺度j上被分析的系数数量。通过傅里叶变换小波能量谱M_j有下式成立：

$E\left[M_j\right]=c_f{\left|2^{-j}{\mathrm{\ω}}_0\right|}^{1-2H}\∫{\left|\mathrm{\ω}\right|}^{1/2-H}{\left|\widehat{\mathrm{\Ψ}}\left(\mathrm{\ω}\right)\right|}^2\mathrm{d\ω}---\left(4\right)$

其中，c_f为常数，ψ(ω)表示ψ(t)的傅立叶变换。通过分析log₂M_j和尺度j之间的关系，就可以对信号X进行有效的尺度分析，同时还提供了一个无偏的关于自相似指数H的估计值。如下所示：

${\log }_2{M}_j=j(2\stackrel{\‾}{H}-1)+c---\left(5\right)$

上式给出了判断信号是否表现出多重分形特性的一个依据，通过log₂M_j和尺度j之间的关系图，信号的多重分形特性可以从中反映出来。其中，如果log₂M_j和j之间表现出线性关系，则信号为单重分形(自相似过程)；如果log₂M_j和j之间表现出非线性关系，则信号为多重分形。

目前，对于不同应用协议所产生的流量之间的多重分形特性是否存在统计性规律还未有研究。

发明内容

技术问题：针对目前流量识别方法受到服务端口、协议签名、流量加密等限制的问题，本发明的目的在于提供一种基于小波能量谱的网络流量识别方法，该方法在对网络流量进行多尺度小波分析的基础上，通过对流量数据在不同时间尺度上的小波能量谱进行分类识别，实现对各种不同应用协议的网络流量的识别。

技术方案：本发明的方法是在网络流量多尺度特性的基础上，利用离散小波变换对各种应用协议所产生的网络流量进行小波分解，并计算其在不同时间尺度上小波能量谱，统计相同应用协议所产生流量的小波能量谱的数学期望，将其作为该协议的标准小波能量谱存储到特征数据库中，通过对待识别流量的小波能量谱与特征数据库中各应用协议的标准小波能量谱之间的欧氏距离进行比较，实现对网络流量的分类识别。本发明主要包括：网络流量采样步骤、获取应用协议特征数据库的多尺度特征提取步骤以及对数据流进行特征提取和识别步骤，具体包括：

1)所述的网络流量采样步骤，具体包括：

11)对网络流量数据进行定期采样，采样内容包括TCP/IP和UDP/IP数据包，采样数据为单位时间内传输的字节数量，包括上行和下行两个方向；

12)将采样数据分解为不同的数据流：上述采样数据包含多个数据流，而每一个数据流是包含一个确定的本地ip地址、一个确定的目的ip地址以及一个确定的目的端口的网络流量的传输字节数量；并通过<local ip，remote ip，remoteport>3元组使每一个数据流被唯一定义；

2)获取应用协议特征数据库的多尺度特征提取步骤，具体包括：

21)通过有效载荷分析获得数据流的应用协议类型；

22)对各应用协议的数据流进行多尺度特征提取步骤的处理，得到各应用协议的数据流的由小波能量谱表示的多尺度特征；

221)使用离散小波变换对数据流进行J级小波分解，得到各级小波系数d_j，k(j＝1，2，…，J)；

222)计算数据流在不同时间尺度上的以2为底的小波能量谱的对数log₂M_j，并进行零均值化处理：

$\stackrel{\&OverBar;}{{\log }_2{M}_j}={\log }_2{M}_j-\underset{i=1}{\overset{J}{\mathrm{\&Sigma;}}}\frac{{\log }_2{M}_i}{J},j\&Element;[1,J]---\left(6\right)$

处理后的小波能量谱

反映了该数据流在各时间尺度上行为特性；

23)统计各应用协议在不同时间尺度上的零均值化的以2为底的小波能量谱的对数的数学期望，并将数学期望作为各应用协议的多尺度特征标准存储到特征数据库中，数学期望的计算公式为：

$E_j=E\left(\stackrel{\&OverBar;}{{\log }_2{M}_j}\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{{\log }_2{M}_{\mathrm{ij}}},i\&Element;[1,n],j\&Element;[1,J]---\left(7\right)$

其中，n为样本数据流的数量，M_ij为第i个样本数据流在第j时间尺度上的小波能量谱；

3)对数据流进行特征提取和识别，具体包括：

31)对数据流进行多尺度特征提取步骤的处理，所述的多尺度特征提取步骤同步骤22)，得到该数据流的由小波能量谱表示的多尺度特征；

32)对数据流的多尺度特征与特征数据库中各应用协议的多尺度特征标准逐一计算欧氏距离，计算公式如下：

$D=\frac{1}{J}\sqrt{\underset{j=1}{\overset{J}{\mathrm{\&Sigma;}}}{[\stackrel{\&OverBar;}{{\log }_2{M}_j}-E_j]}^2},j\&Element;[1,J]---\left(8\right)$

其中，M_j为数据流的小波能量谱，E_j为特征数据库中某应用协议的数学期望；

34)以数据流的多尺度特征与特征数据库中各多尺度特征标准之间具有最小欧式距离的应用协议，作为流量识别的结果。

本发明的核心技术构思：通过研究发现，相同应用协议所产生流量的多重分形特性具有相似性，而不同应用协议所产生流量的多重分形特性具有明显差异，从而通过计算欧氏距离来识别流量的应用协议。对于以上特征，现有文献并无任何报道，更不存在将此特征应用于流量识别领域的技术启示。

本发明的优点：本发明提出了一种基于小波能量谱的网络流量识别方法，主要用于解决网络流量识别的准确性问题，本发明使用的方法克服了目前流量识别方法中受到服务端口、协议签名以及流量加密的限制，具有更广泛的识别范围、更低的运算复杂度和更高的识别准确率。其优点主要表现在：第一，基于数据流的采样方法有效地分解了网络流量，降低了网络流量的复杂性；第二，小波能量谱在提取网络流量多重分形特征方面具有很好的效果；第三，整个识别算法的运算复杂度非常低；第四，识别方法扩大了流量识别范围，提高了识别准确率；

附图说明

图1是网络流量识别过程的流程框图；

图2是Http数据流传输字节数量图；

图3是Streaming数据流传输字节数量图；

图4是P2P数据流传输字节数量图；

图5是各种协议样本流量的1-5尺度的小波能量谱系数图。

具体实施方式

本发明提出的基于小波能量谱的流量识别方法在具体实施过程中主要包括网络流量采样步骤、获取应用协议特征数据库的多尺度特征提取步骤以及对数据流进行特征提取和识别步骤，流程框图如图1所示，结合附图及实施例详细说明如下：

1)网络流量采样步骤，具体包括以下步骤：

11)对网络流量数据进行定期采样，采样内容包括TCP/IP和UDP/IP数据包，采样时间间隔为100ms，采样数据为单位时间内传输的字节数量，包括上行和下行两个方向；

12)将采样数据分解为不同的数据流：上述采样数据包含多个数据流，而每一个数据流是包含一个确定的本地ip地址、一个确定的目的ip地址以及一个确定的目的端口的网络流量的传输字节数量；并通过<local ip，remote ip，remoteport>3元组使每一个数据流被唯一定义；

2)获取应用协议特征数据库的多尺度特征提取步骤，具体包括以下步骤：

21)通过有效载荷分析获得数据流的应用协议类型，按照不同的应用协议类型，数据流被划分为Http数据流、Streaming数据流和P2P数据流，图2、图3和图4分别显示三种应用协议的数据流的传输字节数量图；

22)使用离散小波变换对每个数据流进行5级小波分解，得到各级小波系数d_j，k(j＝1，2，3，4，5)；

23)计算分解后的数据流在不同时间尺度上的以2为底的小波能量谱的对数log₂M_j，并进行零均值化处理：

$\stackrel{\&OverBar;}{{\log }_2{M}_j}={\log }_2{M}_j-\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\frac{{\log }_2{M}_i}{5},j\&Element;\left[\mathrm{1,5}\right]---\left(9\right)$

处理后的小波能量谱

反映了该数据流在各时间尺度上行为特性，图5显示了三种应用协议的数据流的小波能量谱系数，其中每种应用协议15个样本数据流；

24)统计各应用协议在不同时间尺度上的零均值化的以2为底的小波能量谱的对数的数学期望，并将数学期望作为各应用协议的多尺度特征标准存储到特征数据库中，数学期望的计算公式为：

$E_j=E\left(\stackrel{\&OverBar;}{{\log }_2{M}_j}\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{{\log }_2{M}_{\mathrm{ij}}},i\&Element;[1,n],j\&Element;\left[\mathrm{1,5}\right]---\left(10\right)$

其中，n为样本数据流的数量，M_ij为第i个样本数据流在第j时间尺度上的小波能量谱；

25)将各应用协议的数学期望作为该应用协议的多尺度特征标准存储到特征数据库中；

3)对数据流进行特征提取和识别，具体包括以下步骤：

31)使用离散小波变换对数据流进行5级小波分解，得到各级小波系数d_j，k(j＝1，2，3，4，5)；

32)计算数据流在1至5时间尺度上的以2为底的小波能量谱的对数log₂M_j，并进行零均值化处理：

$\stackrel{\&OverBar;}{{\log }_2{M}_j}={\log }_2{M}_j-\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\frac{{\log }_2{M}_i}{5},j\&Element;\left[\mathrm{1,5}\right]---\left(11\right)$

处理后的小波能量谱

反映了数据流在各时间尺度上行为特性；

33)对数据流的小波能量谱与特征数据库中各应用协议的数学期望逐一计算欧氏距离，计算公式如下：

$D=\frac{1}{5}\sqrt{\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{[\stackrel{\&OverBar;}{{\log }_2{M}_j}-E_j]}^2},j\&Element;\left[\mathrm{1,5}\right]---\left(12\right)$

其中，M_j为数据流的小波能量谱，E_j为特征数据库中某应用协议的数学期望；

34)以数据流的多尺度特征与特征数据库中各多尺度特征标准之间具有最小欧式距离的应用协议，作为流量识别的结果。

Claims (2)

1.一种基于小波能量谱的流量识别方法，其特征在于，包括1)网络流量采样步骤、2)获取应用协议特征数据库的多尺度特征提取步骤和3)对数据流进行特征提取和识别步骤三部分：

1)所述的网络流量采样步骤，具体包括：

11)对网络流量数据进行定期采样，采样内容包括TCP/IP和UDP/IP数据包，采样数据为单位时间内传输的字节数量，包括上行和下行两个方向；

12)将采样数据分解为不同的数据流：上述采样数据包含多个数据流，而每一个数据流是包含一个确定的本地ip地址、一个确定的目的ip地址以及一个确定的目的端口的网络流量的传输字节数量；并通过<local ip，remote ip，remoteport>3元组使每一个数据流被唯一定义；

2)获取应用协议特征数据库的多尺度特征提取步骤，具体包括：

21)通过有效载荷分析获得数据流的应用协议类型；

22)对各应用协议的数据流进行多尺度特征提取步骤的处理，得到各应用协议的数据流的由小波能量谱表示的多尺度特征；所述的多尺度特征提取步骤，包括：使用离散小波变换对数据流进行小波分解，得到各级小波系数；然后计算数据流在不同时间尺度上的以2为底的小波能量谱的对数，并进行零均值化处理；

23)统计各应用协议的数据流在不同时间尺度上的零均值化的以2为底的小波能量谱的对数的数学期望，并将数学期望作为各应用协议的多尺度特征标准存储到特征数据库中；

3)对数据流进行特征提取和识别，具体包括：

31)对数据流进行多尺度特征提取步骤的处理，所述的多尺度特征提取步骤同步骤22)，得到该数据流的由小波能量谱表示的多尺度特征；

32)对数据流的多尺度特征与特征数据库中各应用协议的多尺度特征标准逐一计算欧氏距离；

33)以数据流的多尺度特征与特征数据库中各多尺度特征标准之间具有最小欧式距离的应用协议，作为流量识别的结果。

2.如权利要求1所述的识别方法，其特征在于上述多尺度特征提取步骤，具体包括：

221)使用离散小波变换对数据流进行J级小波分解，得到各级小波系数d_j，k(j，k∈N)；

222)计算分解后的数据流在不同时间尺度上的以2为底的小波能量谱的对数log2M_j，并进行零均值化处理：

$\stackrel{\&OverBar;}{{\log }_2{M}_j}={\log }_2{M}_j-\underset{i=1}{\overset{J}{\mathrm{\&Sigma;}}}\frac{{\log }_2{M}_i}{J},j\&Element;[1,J]---\left(16\right)$

处理后的小波能量谱

反映了该数据流在各时间尺度上的特征。

Images