CN101345664A - 网络流量异常检测方法和装置 - Google Patents

Abstract

本发明实施例公开了一种网络流量异常检测方法，包括：对用于检测的流量信号进行线调频小波变换，得到变换谱；将变换谱划分为至少两个频谱段；对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行运算，得到偏离分数；将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否异常。本发明实施例同时还公开了一种实现上述方法的装置。本发明实施例按照不同的时频分辨率进行分解，可以有效地检测出长时的持续异常流量和短时的突变异常流量，并且，能够检测出现有的基于小波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流量，通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检测的准确性。

Description

网络流量异常检测方法和装置

技术领域

本发明涉及网络技术领域，更具体地说，涉及一种网络流量异常检测方法和装置。

背景技术

网络流量异常指的是网络的流量行为偏离其正常行为的情形。

引起网络流量异常的原因是多种多样的，例如网络设备的不良运行、网络操作异常、突发访问(flash crowd)或网络入侵等。异常流量的特点是发作突然、先兆特征未知，可以在短时间内给网络或网络上的计算机带来极大的危害(例如有特定的攻击程序或蠕虫爆发所引起的突发访问行为)。因此，准确、快速地检测网络流量的异常行为并做出合理的响应是保证网络正常运行的重要前提。

现有技术存在多种针对网络流量异常的检测方法，如基于规则的方法、统计分析的方法、有限状态机的方法、模式匹配的方法、Hurst系数分析方法和子空间方法等。这些方法能够在一定程度上检测流量异常，但是由于网络流量异常本身的复杂性，上述方法在检测的实时性、准确性等方面还存在一些不足。

而随着研究的深入，研究者发现，几乎所有网络中的流量信号都具有多尺度特性，也即：正常网络流量的时变信号与异常网络流量的时变信号相比，其频带范围一定是有区别的，也就是说，异常流量与背景流量在不同频带的能量差是不同的，在某些频带上，异常流量的能量在总能量中所占比例较高，于是，异常检测会变得相对容易。多分辨分析能提取任意时间、频率的信号特征，很适合于探测信号的异常变化，近年来受到了国内外理论界的高度重视。

2001年，P.Barford and D.Plonka发表了名为“Characteristics of networktraffic flow anomalies(网络流量流异常的特征)”的文章，其中公开了判断网络流量是否异常的方案，该方案具体分为小波分析部分和检测部分，其中：

小波分析部分：

使用一定的小波通过多分辨分析(Muti-Resolution Analysis，MRA)对时间级数信号进行分解，再从中选取不同的尺度重构为重、中、低三个频段，然后将这分解出来的三个频段的信号送入到检测模块中。其中，高频、中频和低频部分分别代表持续时间较短、一般和较长的异常流量信号。

检测部分：

首先，归一化待检测的低频、中频和高频频段的方差，然后，分别计算低频、中频和高频段落在一个事先指定大小的滑动窗口内的数据的方差，从而得到对应频段的偏离分数。这些滑动窗的大小取决于想捕获的异常的时限大小，如果用t₀表示异常持续的时限，t₁表示滑动窗的大小，则在理想情况下q＝t₀/t₁≈1。若q太小，则所检测的异常可能会比较模糊甚至消失，而如果q太大，则所检测的异常将不突出，也就是说，操作者不容易从检测的异常中确定关注的异常，因此，在选择t₁时，一般应使得比值q趋近于1，并且，高频段、中频段和低频段的滑动窗的大小一般是不同的。

接着，将高中低三个频段的偏离分数使用一个加权和来进行结合，从而产生一个结合的偏离分数信号。

于是，通过检测偏离分数是否超过一个预先设置的门限，来判断是否发生了异常。

在实现本发明过程中，发明人发现上述方法至少存在如下问题：

1、小波包分解作为一种数学工具，能够弥补多分辨分析的缺陷，对信号的高频和低频成分进行分解，但应用于解决异常检测过程中往往需要面对两个问题：一是分解级数的确定，也就是自适应分解策略的选择，这种选择往往是非常困难的；二是小波包为二进波，其频率分解能力往往是不够的，一般只能对待分解信号的频带进行等宽度划分，虽然理论上二进波的分辨粒度可以逼近无穷小，但这需要付出分解级次加大的代价，而加大分解级次会导致计算复杂度上升，再说，由于受检测时间窗的长度限制，分解级次也不可能很大。这些因素导致采用小波包分解的分析方法异常检测的准确性不高，在检测过程中，容易发生虚警和漏检；

2、该方案是基于异常信号持续时间进行的，在实际检测过程中，异常的持续时间是事先无法得知的，因此该方案在实际检测中可操作性不强。

发明内容

有鉴于此，本发明实施例提供一种网络流量异常检测方法和装置，以解决现有技术异常检测准确性不高、可操作性不强的问题。

本发明实施例是这样实现的：

一种网络流量异常检测方法，包括：

对用于检测的流量信号进行线调频小波变换，得到变换谱；

将变换谱划分为至少两个频谱段；

对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行运算，得到偏离分数；

将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否异常。

本发明实施例同时还提供了一种网络流量异常检测装置，包括：

检测信号生成单元，用于生成用于检测的流量信号；

线调频小波变换单元，用于对所述流量信号进行线调频小波变换，得到变换谱；

划分单元，用于将变换谱划分为至少两个频谱段；

重构单元，用于对各频谱段进行信号重构；

偏离分数算法单元，用于对重构的信号进行偏离分数算法处理，得到偏离分数；

比较单元，将所述偏离分数与预设门限进行比较；

网络处理单元，用于获取所述比较单元的比较结果，根据比较结果确定网络流量是否异常。

从上述的技术方案可以看出，与现有技术相比，本发明实施例引入线调频小波变换，使得可以按照不同的时频分辨率进行分解，从而可以有效地检测出长时的持续异常流量和短时的突变异常流量，并且，还能够检测出现有的基于小波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流量。同时，通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种网络异常检测方法的实施例的流程图；

图2为信号频率空间进行划分示意图；

图3为偏离分数算法滑动窗口的方差检测的示意图；

图4为攻击数据源和业务数据源的拓扑示意图；

图5a为背景流量的功率谱图；

图5b为攻击1的功率谱图；

图5c为攻击2的功率谱图；

图5d为攻击3的功率谱图；

图6a为攻击1、攻击2和攻击3的流量信号图；

图6b为图6a的流量信号的检测结果示意图；

图7a为V_L重构信号的偏离分数示意图；

图7b为V_M重构信号的偏离分数示意图；

图7c为V_H重构信号的偏离分数示意图；

图8a为V_LL重构信号的偏离分数示意图；

图8b为V_ML重构信号的偏离分数示意图；

图8c为V_HL重构信号的偏离分数示意图；

图9为本发明一种网络流量异常检测装置的实施例一的结构示意图；

图10为本发明一种网络流量异常检测装置的实施例二的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例采用线调频小波变换作为分析手段，协助对网络流量异常的检测。

线调频小波变换是一种时频分析方法，是小波变换和短时傅立叶变换的一种扩展，结合和短时傅立叶变换和小波变换的优点，同时避免了它们的不足。其与短时傅立叶变换和小波变换相比，具有以下优点：

1、信号线调频小波变换的分辨率与频率(尺度)有关；

2、信号的线调频小波变换结果与其傅立叶谱保持直接的联系；

3、基本小波不必满足容许性条件；

4、能够将多个频段的变换谱合成后重构出原始信号，而不会出现频谱泄漏；

5、其谱分解的任意性特点(即可以按需调整信号各个频段的分析尺度)，可以按需调整信号各个频段的分析尺度，可以按需对信号的任意频段进行任意程度的分解。

因此，针对现有技术存在的问题，本发明引入线调频小波变换，从而使得操作者可以根据流量信号的频谱特征自动调整分频信号的频谱宽度，符合异常特征，通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检测的准确性。

为了使得本领域技术人员更好理解本发明实施例的技术方案，下面结合附图和实施例对本发明技术方案进行详细描述。

请参考图1，为本发明一种网络异常检测方法的实施例的流程图。

具体包括以下步骤：

步骤S101、生成用于检测的流量信号。

用单位时间内通过路由器的数据包数量作为流量信号，设采样时间间隔为T₀秒，如果f(n)作为第n个抽样点的值，则有：

步骤S102、将所述流量信号进行线调频小波变换，得到变换谱。

步骤S103、按照能量均分的方式将变换谱划分为低、中和高频谱段。

步骤S104、对各个频谱段的变换谱进行信号重构，利用偏离分数算法运算得到偏离分数。

首先，对各个频谱段的变换谱进行时域信号重构，然后，进行偏离分数算法对重构结果进行处理，得到偏离分数ratio。

步骤S105、判断偏离分数是否大于预设分解门限T_p，也即是否ratio＞T_p，若是，进入步骤S106，否则，进入步骤S107。

步骤S106、判断偏离分数是否大于预设报警门限T_c，也即是否ratio＞T_c，若是，进入步骤S108，否则，进入步骤S109。

步骤S107、排除异常，结束流程。

步骤S108、确认为异常，进行异常报警，结束流程。

步骤S109、将相应的频段进行下一级划分，然后进入步骤S104。

如果T_p＜ratio＜T_c，则还不能断定是否异常，所以需要对该子频段继续进行下一级分解，不断深入分解直到达到报警门限T_c或者低于分解门限T_p。

假设用于检测的流量信号为h(t)，则其短时傅立叶变换定义为：

$\mathrm{STFT}(\mathrm{\τ},f)=\underset{-\∞}{\overset{\∞}{\∫}}h\left(t\right)g^{*}(t-\mathrm{\τ})e^{-i2\mathrm{\πft}}\mathrm{dt}---\left(1\right)$

其中，g(t)是一个时窗函数，随时间τ的变化，g(t)所确定的时间窗在t轴上移动，使信号“逐渐”被分析。

令(1)中的时间函数g(t)为归一化高斯窗函数：

$g\left(t\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{\frac{t^2}{2{\mathrm{\σ}}^2}}---\left(2\right)$

其中，参数σ决定了时间窗的宽度。为了变换在信号低频段拥有较高的频率分辨率，在高频段拥有较高的时间分辨率，令σ＝1/|f|，则公式(1)可以写成：

$S(\mathrm{\τ},f)=\underset{-\∞}{\overset{\∞}{\∫}}h\left(t\right)\left\{\frac{\left|f\right|}{\sqrt{2\mathrm{\π}}}\exp \right[\frac{{-f}^2{(\mathrm{\τ}-t)}^2}{2}\left]\exp (-i2\mathrm{\πft})\right\}\mathrm{dt}---\left(3\right)$

则式子(3)就是信号h(t)的线调频小波变换表达式，也就是说，在上述步骤S101生成流量信号h(t)后，按照公式(1)、(2)和(3)进行线调频小波变换处理。

在对信号频率空间进行划分的时候，一般期望对信号高频和低频都进行分析，但同时使得低频段频率分辨率高于高频段频率的分辨率，因为网络流量本身是偏低频的信号，所以要求对低频进行更细致的划分。为了达到这个目的，本文提出了对频谱按照非均匀的长度方式进行划分的方法，其划分的原则是：按照能量均分的方式将需要分解的变换谱划分若干段，例如可以分为三段，分别为低频段、中频段和高频段，也就是使信号在这三个频段的能量大小相等，各为分解前总能量的三分之一，因此对于每个子段频谱的长度就是非均匀的。需要说明的是，在另外一些实施例中，如果实现基本确定攻击的大概频率段(例如低频段和中频段)，即可将变换谱划分为两段即可。

如图2所示，如果把初始的检测信号f(x)占据的总频带定义为V，经第一级分解后被划分成三个子频带：低频V_L、中频V_M和高频V_H；经第二级分解后，V_L被划分为V_LL、V_LM和V_LH，V_M被划分为V_LM、V_MM和V_HM，V_H被划分为V_LH、V_MH和V_HH，根据情况，其中下标符号代表划分出来该频段的剖分次序，其次序是先右后左，还可以对各划分出来的频段进行近一步细分。从图中可以看出，每一层频带划分时，由于采用能量均匀的划分方式，各子频带的长度是不相等的。

为了能完整可靠的检测出异常，须对谱分解后的异常部分进行时域信号重构。线调频小波变换的逆变换可以实现完全无损的时域信号重构，线调频小波逆变换公式如下：

$h\left(t\right)={\∫}_{-\∞}^{\∞}\left\{{\∫}_{-\∞}^{\∞}S(\mathrm{\τ},f)\mathrm{d\τ}\right\}{e}^{i2\mathrm{\πft}}\mathrm{df}---\left(4\right)$

在通过公式(4)对各个频段的变换谱进行信号重构后，将重构后的信号应用于基于滑动时窗的偏离分数算法，计算得出偏离分数。

所述偏离分数算法用到两个滑动窗口：历史窗口HisWin和检测窗口DetWin，如图3所示，这两个窗口都随着时间移动，实现对检测结果实时更新。在当前时刻t，计算出检测窗口(t-DetWin，t)中的样本数据的方差V₁，及历史窗口(t-HisWin，t)中历史数据的方差V₂，偏离分数ratio＝V₁/V₂，即是检测窗口中的样本数据较历史正常数据的偏离。如果当前检测窗口内的信号有异常，反映在ratio这个参数上，就必然有一个幅度值得增长。正是基于此，本文将偏离分数算法应用于重构信号，并依据偏离分数作为判决异常的依据。

下面将通过一个具体的实例对本发明技术方案进行进一步的描述。

假设，使用加州大学Berkeley分校的Lawrence Berkeley实验室采集的数据作为背景流量，攻击数据源和业务数据源的拓扑如图4所示，其中，B代表正常网络业务数据源即背景流量，A_x(x＝1、2、...、8)代表DDoS(Distributed Denial of Service，分布式拒绝服务攻击)攻击数据源，R为受害者主机前的核心路由器，V为受害者主机。

利用产生DDoS攻击作为异常流量，攻击源的攻击方式可以为低频攻击、中频攻击或高频攻击，其中：

低频攻击就是：8台攻击源主机以均值为10ms的exponential(指数)分布发送数据包。中频攻击就是：每台攻击源主机每隔10ms分别发送7、5、2、0、3个数据包。高频攻击就是：每台攻击源主机每隔10ms分别发送2、10、1、8、5个数据包。

假设采样时间间隔为10，攻击1为低频攻击，加入背景流量的起始时间为40-44s；攻击2为中频攻击，加入背景流量的起始时间为80-82s；攻击3为高频攻击，加入背景流量的起始时间为160-161s，所述背景流量的功率谱如图5a所示，攻击1、攻击2和攻击3的功率谱如图5b、图5c和图5d所示，加入攻击1、攻击2和攻击3的流量信号如图6a所示。可以看出背景流量的频带比较宽，能量分布较均匀，而攻击的频带相对较窄，能量分布在某些范围比较集中，但如果直接在时域流量上做偏离分数(假设检测窗口取30)来检测，则其结果如图6b所示，根本无法检测出任何攻击。

如果采用本发明实施例进行检测，则：

首先，按能量均分的方式将流量数据进行1层多尺度分解，得到第一层高频、中频和低频三个子频带V_H、V_M、V_L，在对应各频带的重构时域信号上做异常检测，则V_L重构信号的偏离分数在600-800之间超过了分解门限T_p，如图7a所示，需要对其进行下一级分解；V_M重构信号的偏离分数在720-780之间超过了报警门限，确定为异常，这就是加入的中频攻击2，如图7b所示；V_H重构信号的偏离分数在400-450之间也超过了报警门限，确定为异常，这就是加入的高频攻击3，如图7c所示。

对发现疑似异常的V_L，同样按能量均分的方式进一步分解到第2层进行检测，得到第2层高频、中频、低频三个子频带V_HL、V_ML、V_LL。V_LL重构信号的偏离分数在600-680之间超过了报警门限，确定为异常，这就是所述攻击1，如图8a所示，V_ML和V_HL重构信号的偏离分数没有超过分解门限，排除异常，如图8b、8c所示。

可以看出，本发明实施例与现有技术相比，具有以下优点和特点：

1、本发明实施例按照不同的时频分辨率进行分解，可以有效地检测出长时的持续异常流量和短时的突变异常流量，并且，能够检测出现有的基于小波变换的网络流量异常检测方法所无法检测到的高频和中频攻击流量。

2、通过信号自适应重构后的再次检测，进一步确认异常特征，提高了检测的可靠性。

3、通过引入尺度可调整变换谱分解，解决了基于小波包分解的网络流量异常检测无法按需调整分解尺度的问题。

4、通过引入分解门限，避免了变换谱分解的盲目性。

针对上述方法部分的实施例，本发明还提供了可实现部分实施例的装置结构示意图。

请参考图9，为本发明一种网络流量异常检测装置的实施例一的结构示意图。

网络流量异常检测装置包括：检测信号生成单元10、线调频小波变换单元20、划分单元30、重构单元40、偏离分数算法单元50、比较单元60和网络处理单元70。

其中：

所述检测信号生成单元10，用于生成用于检测的流量信号：用单位时间内通过路由器的数据包数量作为流量信号，设采样时间间隔为T₀秒，如果f(n)作为第n个抽样点的值，则有：

所述线调频小波变换单元20，用于对所述流量信号进行线调频小波变换，得到变换谱，设所述流量信号为h(t)，按照前文公式(1)、(2)和(3)进行线调频小波变换处理，得到变换谱。

所述划分单元30，用于对所述变换谱进行划分。

所述重构单元40，用于对划分的变换谱进行信号重构。

所述偏离分数算法单元50，用于对重构的信号进行偏离分数算法处理，得到偏离分数，所述偏离分数算法是基于滑动时窗的偏离分数算法。具体过程可参考前文方法部分的描述。

所述比较单元60，将所述偏离分数与预设门限进行比较。

所述网络处理单元70，用于获取比较单元60的比较结果，根据比较结果确定网络流量是否异常。

图10示出了本发明一种网络流量异常检测装置的实施例二的结构示意图。

所述网络处理单元70包括第一处理单元71和第二处理单元72。

所述预设门限可以报警门限和分解门限，所述比较单元60将所述偏离分数与报警门限和分解门限进行比较，所述第一处理单元71获取比较结果，并当所述偏离分数大于所述报警门限时，进行异常报警；所述第二处理单元72获取比较结果，当所述偏离分数小于报警门限，且大于分解门限时，指示所述划分单元30对相应的频段进行进一步细分，指示重构单元40对细分的频段进行重构，并由比较单元60进行比较，直到偏离分数小于所述分解门限，或者大于所述报警门限为止。

需要说明的是，划分单元30对变换谱进行划分的具体方式可以为：按照能量均分的方式将变换谱划分成预设频谱段(划分的具体方式过程可参照前文方法部分的内容)。

所述预设频谱段可以包含三段，分别为低频段、中频段和高频段，也就是使信号在这三个频段的能量大小相等，各为分解前总能量的三分之一，因此对于每个子段频谱的长度就是非均匀的。

另外还需要说明的是，在另外一些实施例中，如果实现基本确定攻击的大概频率段(例如低频段和中频段)，即可将预设频谱可以仅包含两段即可。

本领域技术人员可以理解，可以使用许多不同的工艺和技术中的任意一种来表示信息、消息和信号。例如，上述说明中提到过的消息、信息都可以表示为电压、电流、电磁波、磁场或磁性粒子、光场或以上任意组合。

专业人员还可以进一步应能意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1、一种网络流量异常检测方法，其特征在于，包括：

对用于检测的流量信号进行线调频小波变换，得到变换谱；

将变换谱划分为至少两个频谱段；

对各频谱段分别进行信号重构，利用偏离分数算法对重构后的信号进行运算，得到偏离分数；

将所述偏离分数与预设门限进行比较，根据比较结果确定网络流量是否异常。

2、如权利要求1所述的方法，其特征在于，所述预设门限为报警门限，当偏离分数大于所述报警门限时，确定网络流量异常，并进行异常报警。

3、如权利要求1所述的方法，其特征在于，所述预设门限为分解门限，当偏离分数小于所述分解门限时，确定网络流量正常。

4、如权利要求1所述的方法，其特征在于，所述预设门限包括分解门限和报警门限，当所述偏离分数大于预设分解门限，且小于所述预设报警门限时，将相应的频谱段进一步划分为至少两个频谱段，并进行信号重构，直到偏离分数小于所述预设分解门限，或者大于所述报警门限为止。

5、如权利要求1-4任意一项所述的方法，其特征在于，将变换谱划分为至少两个频谱段具体为：按照能量均分的方式将变换谱划分成低、中和高频三个谱段。

6、如权利要求5所述的方法，其特征在于：各个频谱段的信号的能量相等。

7、一种网络流量异常检测装置，其特征在于，包括：

检测信号生成单元，用于生成用于检测的流量信号；

线调频小波变换单元，用于对所述流量信号进行线调频小波变换，得到变换谱；

划分单元，用于将变换谱划分为至少两个频谱段；

重构单元，用于对各频谱段进行信号重构；

偏离分数算法单元，用于对重构的信号进行偏离分数算法处理，得到偏离分数；

比较单元，将所述偏离分数与预设门限进行比较；

网络处理单元，用于获取所述比较单元的比较结果，根据比较结果确定网络流量是否异常。

8、如权利要求7所述的装置，其特征在于，所述预设门限为报警门限，所述网络处理单元包括：

第一处理单元，当所述偏离分数大于预设报警门限时，确定网络流量异常，并进行异常报警。

9、如权利要求7所述的装置，其特征在于，所述预设门限包括报警门限和分解门限，所述网络处理单元包括：

第二处理单元，用于当所述偏离分数大于预设分解门限且小于所述预设报警门限时，指示划分单元对相应的变换谱进行进一步划分为至少两个频谱段。

10、如权利要求9所述的装置，其特征在于，所述，所述低、中和高频谱段的信号的能量相等。

Images