CN101286897A - 一种基于超统计理论的网络流量异常检测方法 - Google Patents

Abstract

本发明公开了一种基于超统计理论的网络流量异常检测方法，包括：①根据网络流量的实际特性选择一种分布模型，并且该分布符合网络流量的分布拟合检验要求；②根据此分布模型计算网络流量时间序列的慢变量序列，即分布参数序列；③根据慢变量序列的异常波动来检测网络流量异常。本发明通过建立基于超统计(即统计之统计)的网络流量模型，可以描述表现出突发性、非平稳、长相关性以及重尾性的网络流量时间序列并对网络流量进行异常检测。通过本发明所计算的网络流量时间序列的慢变量序列准确描述了网络流量的特征，通过分析慢变量序列可以准确分析网络流量，并大大减少了计算量，实验说明基于慢变量的网络流量异常检测明显优于传统检测方法。

Description

一种基于超统计理论的网络流量异常检测方法

技术领域

本发明涉及网络信息安全和数理统计相关技术，具体涉及一种基于超统计的网络流量异常检测方法，该方法可以及时发现网络故障和性能问题，对提高网络的可用性，可靠性，保证网络服务质量具有重要意义。

背景技术

随着Internet的不断发展，网络攻击大量出现，由此导致网络流量异常，网络服务质量明显降低的可能性大大增加。通过检测网络流量异常可以快速发现网络故障和性能问题，及时采取措施，其实时性强，对提高网络的可用性，可靠性，保证网络服务质量具有重要意义。

网络流量的分析与建模一直是刻画网络性能，进行网络流量异常检测的重要内容。而网络流量的精确分析，对于网络的建模、理解网络的动态行为，以及网络异常检测方法的提出均有重要意义。

传统的电信网络，由于业务的单一性，基于泊松过程(连续时间)或贝努利过程(离散时间)的短相关的数学模型能较准确地描述其特性。但随着网络业务种类的增多，业务流特性日趋复杂。在过去十年的研究中，对实际流量新的分析发现，无论是局域网还是广域网，网络流量在很大的时间尺度上呈现高可变性并且其自相关系数表现出不可累加性。统计学上，这些特性可以用长相关性(LRD)来描述。短相关的网络流量模型的自相关呈指数衰减，其速度比实际观测到的要快很多，从而使得使用它们进行性能估计与实际有相当差距。因此，近年来，大量新的长相关性流量分析模型被提了出来。

在目前对网络流量进行分析的方法中，基于统计的方法要对网络流量建立合适的统计模型来进行分析，时间序列模型AR(自回归)、ARMA(自回归滑动平均)、ARIMA(自回归求和滑动平均)均是短相关模型，显然不适宜将其用于分析具有长相关性的网络流量时间序列。长相关的时间序列模型FARIMA(p，d，q)(分式求和ARMA)属于平稳参数模型，也不适宜将其用于分析非平稳的网络流量时间序列；基于网络流量特征量的方法是根据表征网络流量自相似特性的Hurst参数的突增程度，对网络流量异常进行检测，它必须假定在所感兴趣的时间范围内，网络流量时间序列的统计特征保持不变(即平稳性假设)，否则会显著降低其检测的准确性和稳定性。

传统的短相关模型很难准确描述网络流量的长相关以及重尾特性，但是这些经典的模型都有着完善的理论基础，并且模型的参数计算简单。长相关模型更好的描述了网络流量的长相关以及重尾特性，但是这种优势只局限于长相关性。对于网络流量中的短相关特性，长相关模型则很难描述，并且由于长相关模型的参数通常很难估计，这也局限了长相关模型的使用。

超统计理论属于物理学的前沿领域并弥补了传统统计方法的不足。超统计的含义是指“统计之统计”，用于描述多个动力学子系统的复合。这种系统在较长的时间尺度上存在某种强度量的大幅度波动，这种强度量在超统计理论中被称为慢变量(相对于快速变化的系统状态变量，例如本文中的网络流量)。

发明内容

本发明的目的在于提供一种基于超统计的网络流量异常检测方法，该方法中的超统计模型可以描述实际的网络流量时间序列，实际的网络流量通常表现出非平稳性、突发性、长相关性以及重尾性，通过对该方法计算出的慢变量序列进行网络流量异常检测具有明显的优越性。

本发明提供的基于超统计理论的网络流量异常检测方法，其步骤包括：

(1)根据网络流量的实际特性选择一种分布模型，并且该分布符合网络流量的分布拟合检验要求；

(2)根据此分布模型计算网络流量时间序列的慢变量序列，即分布参数序列；

(3)根据慢变量序列的异常波动来检测网络流量异常。

本发明通过建立基于超统计(即统计之统计)的网络流量模型，可以描述表现出突发性、非平稳、长相关性以及重尾性的网络流量时间序列并对网络流量进行异常检测。具体而言，本发明具有以下特点：

(1)网络流量时间序列的复杂性表现在：非平稳性、突发性、重尾性和长相关性，传统的短相关模型以及长相关模型都不能满足网络流量时间序列的上述四个特性。而基于超统计理论的网络流量模型可以满足网络流量时间序列的全部特性；

(2)根据超统计理论，慢变量序列含有系统的全部信息，因此通过分析慢变量序列可以达到分析整个系统的目的。并且由于慢变量的个数一般远小于原始序列，因此将大大加快计算速度。从慢变量的含义不难得知，慢变量变现的是较大时间尺度下的系统行为，准确说慢变量的变化比原始序列的变化更具有分析价值。因为原始序列中包含了许多随机波动的因素，在一定的时间范围内认为原始序列服从相应慢变量的分布模型，原始序列的波动并不是系统的本质属性，慢变量的波动变化才能表现系统的特征。

附图说明

图1为基于超统计理论的网络流量异常检测方法流程图；

图2为一段平稳化的网络流量时间序列；

图3为用窗口划分算法进行窗口划分后的网络流量时间序列；(其中横线段为窗口区间)

图4为慢变量λ的序列；

图5为补偿算法流程图。

具体实施方式

如图1所示，本发明方法包括以下步骤：

(1)根据网络流量的实际特性选择一种分布模型，并且该分布符合网络流量的分布拟合检验要求；

针对网络流量的具体特征均可以选取一种合适的分布模型拟合局部网络流量，该分布模型必须能够描述局部网络流量时间序列的特征并且分布模型必须通过局部网络流量的分布拟合检验，比如通用的皮尔逊拟合检验法、Kolmogorov-Smirnov检验以及针对特定分布模型的检验方法，例如正态分布的W检验、D检验等。早期的网络流量由于网络结构简单，网络业务较少，一些常用的分布模型例如：Poisson分布模型、正态分布模型等都可以用来对局部网络流量进行拟合；广义Pareto分布模型，伽马分布模型等则可以用来拟合晚期的网路流量。

(2)根据此分布模型计算网络流量时间序列的慢变量序列，即分布参数序列；

实际的网络流量表现出很强的非平稳性，非平稳的网络流量时间序列不利于慢变量的计算，因此对非平稳的网络流量时间序列进行平稳化处理，通常采用的平稳化方法有：基于平稳性的分段算法以及差分平稳化方法。为了计算慢变量序列，必须找到慢变量变化点对应的网络流量在网络流量时间序列中的位置，因此要对平稳化的网络流量时间序列进行基于分布参数的窗口划分。通常采用的窗口划分算法有：滑动窗口方法、自下向上的以及自上而下的窗口划分算法；对每个窗口内的网络流量时间序列进行分布参数估计，所得到的分布参数既为慢变量。下面举例一种计算慢变量序列的方法：

(A1)将非平稳的网络流量时间序列划分为宽平稳的子序列，或者对整个网络流量时间序列进行差分平稳化，对原始网络流量时间序列进行平稳化处理，得到平稳网络流量序列；

(A2)设选取的分布模型的分布参数为λ_i，i＝1，2，…W，W为分布参数的个数，再分别根据参数λ_i的变化趋势和设定的规则，将步骤(A1)得到的平稳网络流量序列划分为多个窗口，设窗口的总个数为N，N为正整数；

(A3)计算每个窗口的分布参数λ_i，j，1≤j≤N，该序列即为慢变量序列。

(3)根据慢变量序列的异常波动来检测网络流量异常。

根据超统计理论，网络流量时间序列的慢变量序列也服从某种分布模型，当网络发生异常时，网络流量的慢变量序列将偏离网络正常时的慢变量分布模型，通过检测异常慢变量对正常慢变量分布模型的偏离可以达到网络流量异常检测的目的；网络流量时间序列的慢变量是网络流量的重要特征，网络流量异常发生时慢变量的统计特征会发生变化，例如慢变量的均质、方差或者其他高阶统计量的显著异常，因此通过检测慢变量序列的统计特性的变化也可以达到网络流量异常检测的目的。

下面结合一个实例对本发明方法作进一步详细的说明。

(1)研究数据的获取

麻省理工林肯实验室的信息系统技术组在美国国防部高级研究项目署(DARPA)及空军研究室赞助下，为计算机网络入侵检测系统评估提供了测试用数据集合。该数据集合包含了丰富的数据包流量和许多不同类型的入侵攻击(主要有拒绝服务攻击DoS；分布式拒绝服务攻击DDoS；远程攻击R2L；本地用户非法提升权限的攻击U2R和非法监听和探测等四类)。每一数据项包括数据包编号、数据包的头件和正文。其中数据包的头文件里记录了这个包的起始时间、与第一个包的时间间隔、源地址、目标地址、数据包长度、网络协议等信息。数据包主要由以下几种类型组成：IP，arp，netbeui。其中IP包的长度(bytes)为括号中的字节数加上40(IP包头长)，netbeui为局域网的协议，符合该协议的数据包长度为14字节，arp(地址解析协议)数据包的长度28字节。

(2)网络流量时间序列的产生

周期采样方法指的是以固定频率尺度对网络流量进行周期性采样的方法，它表示每单位时间到达的数据包数量。该方法按照固定的时间间隔对数据包进行分组，然后对该组数据包中的包数量进行累积，每组累积的包数量组成一个时间序列。

周期采样时间序列虽然所体现的网络流量的信息较小，但是表示方法简单，计算复杂度和所需的存储空间都较小，能有效提高网络流量攻击检测的实时性、准确性，降低时间、空间复杂度。

(3)网络流量时间平稳化处理

将非平稳的网络流量时间序列进行平稳化处理，通常使用的方法有：将非平稳的网络流量时间序列划分为宽平稳的子序列，或者对整个网络流量时间序列进行差分平稳化。在本例中采用差分平稳化方法。图2即为一段平稳化的DARPA网络流量时间序列。

(4)分布模型的选取

从图1中可以看出，实际网络流量在局部表现出很强的突发性，并且从直方图中可以看出实际网络表现出明显的重尾特性。因此基于实际网络流量的上述特点，在本例中选择离散广义Pareto分布对局部网络流量进行分析。因此离散广义Pareto分布的分布参数即为慢变量。

(5)离散广义Pareto的参数估计方法

传统的GPD模型参数估计方法主要有下列几种：最大似然估计(ML)，矩估计(MM)以及概率权重矩估计(PWM)。2001年Rasmussen提出了一种新的GPD参数估计方法广义概率权重矩估计(GPWM)。

为了估计离散GPD模型的参数本文提出了一种基于GPWM的参数估计方法。首先简要回顾GPWM方法：

${\widetilde{\mathrm{\α}}}_v=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(1-p_{j:n})}^v{x}_{j:n}$

(x_1:n≤x_2:n≤...≤x_n:n)是经过排序的样本，v可以取任意实数，GPWM方法通常取v₁＝1，v₂＝1.5。p_j:n是样本累计分布函数的Kaplan-Meier估计，即经验累计分布函数。尺度参数b和形状参数k可以通过(4)式和(5)式计算。

$k=\frac{{\widetilde{\mathrm{\α}}}_{v_1}{(v_1+1)}^2-{\widetilde{\mathrm{\α}}}_{v_2}{(v_2+1)}^2}{{\widetilde{\mathrm{\α}}}_{v_2}(v_2+1)-{\widetilde{\mathrm{\α}}}_{v_1}(v_1+1)}$

$b={\widetilde{\mathrm{\α}}}_{v_2}(v_2+1)(v_2+1+k)$

由于GPWM方法不能很好的估计离散GPD模型，因此在使用GPWM方法进行参数估计之前需要对样本进行预处理。本文提出了一种样本补偿算法试图将离散的样本恢复成在统计意义上与离散化前相似的样本。

图5描述了补偿算法的计算流程。算法假设输入的原始样本(网络流量序列)是一个经过离散化处理的样本，并且该样本服从GPD分布。因此在对原始样本进行参数估计前需要恢复原始流量的小数部分。首先假设原始样本的小数部分服从一个均匀分布，将原始样本+产生的小数部分后用GPWM方法进行参数估计。然后用得到的参数产生一个与原始样本同样长度的样本序列，并用原始样本减去该样本得到第二个小数序列。用这个小数序列加上原始本后再用GPWM方法进行参数估计。算法到此完成一次循环。通常4到5次循环就足以估计离散GPD模型的参数。

(6)网络流量时间序列窗口的划分

本文所采用的基于分布参数的窗口划分算法由两个步骤组成：第一步，按照滑动窗口的思路提取分布参数的变化趋势，由于滑动窗口的限制第一步所提取的分布参数表现的局部窗口内的分布特征。第二步，通过一种基于均值变化的分段算法确定具体的分布变化点。分段算法描述如下：

选取滑动窗口大小固定为200，GPWM方法要求进行参数参数估计的样本序列的最小长度为50，考虑到GPWM方法的这一要求考虑到的是对实数序列的参数估计，本文所讨论的是对整数样本的估计，因此应该适当放大窗口限制。滑动窗口每次移动的距离可以根据实际要求调整，较大的移动距离可以加快计算速度，但精度有所下降。较小移动距离则需要更多的计算时间。对每个滑动窗口前面介绍的方法进行参数估计得到参数序列Xt然后通过均值分段算法计算参数序列Xt的均值突变点，该点所对应滑动窗口的起始位置即为流量序列的分布变化点。

滑动窗口计算的是局部窗口的分布特征，为了弥补局部窗口所带来的弊端，本文选用了一种自上而下的均值分段算法。自上而下的分段算法注重序列的整体趋势，可以确定序列的全局最优分段点。

启发式分割算法(BG算法)即是一种能将非平稳时间序列按照均值划分为平稳子序列的有效方法。由Galvan在2001年提出，其主要思想介绍如下：

对于一个由N个点构成的时间序列x(t)，从左到右分别计算每个点左边部分和右边部分的平均值μ1(i)和μ2(i)及标准偏差s1(i)和s2(i)，则i点的合并偏差SD(i)为

${\left(\frac{(N_1-1)\×s_1{\left(i\right)}^2+(N_2-1)\×s_2{\left(i\right)}^2}{N_1+N_2-2}\right)}^{1/2}\×(\frac{1}{N_1}+\frac{1}{N_2})$

其中，N1，N2分别为i点左边和右边部分的点数。我们用t检验的统计值T(i)来量化表示i点左右两部份均值的差异：

$T\left(i\right)=\left|\frac{{\mathrm{\μ}}_1\left(i\right)-{\mathrm{\μ}}_2\left(i\right)}{s_D\left(i\right)}\right|$

对x(t)中的每一个点重复上述计算过程，得到与x(t)一一对应的检验统计值序列T(t)，T越大，表示该点左右两部份的均值相差越大。计算T(t)中的最大值Tmax的统计显著性P(Tmax)：

P(T_max)＝Prob(T≤T_max)

P(Tmax)表示在随机过程中取到T值小于等于Tmax的概率。一般情况下P(Tmax)可近似表示为

$P\left(T_{\max }\right)\≈{(1-I_{v/(v+T_{\max }^2)}(\mathrm{\δv},\mathrm{\δ}))}^{\mathrm{\η}}$

由蒙特卡洛模拟可以得到η＝4.19lnN-11.54，δ＝0.40，N是时间序列x(t)的长度，v＝N一2，Ix(a，b)为不完全β函数.我们设定一个临界值P0，如果P(Tmax)≥P0，则于该点将x(t)分割成两段均值有一定差异的子序列，否则不分割。对新得到的两个子序列分别重复上述操作，如果子序列有P(Tmax)≥P0，并且子序列与其左、右相邻的子序列间均值的差异程度均满足上述条件，则对子序列进行分割，否则不分割。如此重复直至所有的子序列都不可分割为止。

对图2平稳化的网络流量时间序列进行窗口划分，其结果如图3所示。(7)基于慢变量分布模型的网络流量异常检测

对于划分好的待分析网络流量窗口，由每个窗口的分布参数λ可构成参数序列λ_j(1≤j≤N)。参数序列λ₁，λ₂……λ_N即是超统计理论中的慢变量序列。根据超统计理论，慢变量序列服从同一种分布模型，通过K-近邻算法检测每一参数值λ_j是否符合这种分布，即可得出此参数所对应的窗口中是否存在网络流量异常窗口。图4为慢变量λ的序列。

K-近邻算法是一种基于分布的异常检测技术。该算法最突出优点在于无需知道特征向量的分布，我们可以假设向量属于任何一种分布函数；其次，因为检测是通过比较最近的数据采样和历史数据做出的，所以检测是实时的，并能够自动适应于特定的目标系统；此外，此算法的多维性保证了它有检测未知攻击的能力。基于K-近邻算法的简单描述如下：

假定历史数据为Rⁿ中的m-1个点，加上实时处理的点，在Rⁿ中一共有m个点，对于向量x，y ∈Rⁿ，d(x，y)表示从x到y的距离。如果用x_j(j＝1，2，……，n)表示向量x∈Rⁿ的第j维，那么最常用的定义就是欧拉距离

$d(x,y)=\sqrt{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

本发明方法实例在实际中也使用了欧拉距离。

在实际中接收到一个随机向量X_m，然后做出判断它是否是一个异常。判断标准为：若点X_m相对已经观察到的所有历史数据都太远，则认为异常是很合理的。因此，可以找出点X_m到其他m-1个点中的最近邻的距离。这个距离就能够度量出点X_m距离以前观察到的所有历史数据有多远。而对于“太远”的定义，本发明方法实例使用了数据本身。除了从点X_m到其他m-1个点中找到它的最近邻外，对其他的m-1个点也做同样的工作。最后，对于i＝1，2，……，m，都能够得到点X_i到它的最近邻的距离。通过这种方法可以得到m个最近邻距离。如果找到的点X_m的最近邻距离处于上限，如位于m个最近邻距离中最大的1％，那就能够判定点X_m是“太远”了。以上实际上是一种假设检验，1％就是定义的误报率(概率论中的第一类错误).论述该方法的文献已给出了这一点的严格数学证明。这种假设检验对于数据分布并没有作任何假设，这正式该方法的优越性所在。

用K-近邻算法对慢变量λ的序列进行分析，共有160个窗口，其中攻击窗口为16个，最后检测出15个攻击，窗口检测率为93.75％。

(8)基于慢变量统计特性的网络流量异常检测

步骤(7)用KN方法检测网络流量异常，该方法基于慢变量服从同一种分布模型。慢变量除了具有上述特点外，慢变量序列是网络流量时间序列的重要特征，因此可以基于慢变量的统计特征的显著异常来进行网络流量异常检测。

广义最大似然比(Generalized likelihood Ratio，GLR)的具体做法是：先考虑检测序列中两个相邻的时间窗R(t)和S(t)。在实时检测过程中，这两个时间窗一步一个地向前移动，所以称它们为滑动窗口。应用似然比检验方法，可检验两个窗口R(t)和S(t)之间发生的异常变化。该方法假定每个时间滑动窗口内的序列(观测值序列的局部)是平稳的，那么每个时间滑动窗口可以应用时间序列理论中的自回归模型(AR)拟合。AR(2)模型的形式是：

Y_t＝φ₁Y_t-1+φ₂Y_t-2+e_t

其中{Y_t，t＝1，2...}表示时间序列，φ₁和φ₂是两个待定系数，e_t是残差项，是独立正态分布随机变量。

然后计算出两个窗口序列中残差的联合似然比，得到一个统计量，再取其对数，得到对数似然比，再应用似然比检验方法，检验两个窗口R(t)和S(t)之间是否发生了异常变化。即在与一个预先设定的阈值T相比较，当该统计量超过阈值T时，就认为两个窗口R(t)和S(t)之间发生了异常变化。两个窗口R(t)和S(t)的边界就被认定为异常点，反之，就不是异常点。

采用广义最大似然比方法对图4所示的慢变量序列进行异常检测，检测率达到87％，误检率只有8％。

Claims (7)

1、一种基于超统计理论的网络流量异常检测方法，其步骤包括：

(1)根据网络流量的特性选择一种分布模型，并且该分布符合网络流量的分布拟合检验要求；

(2)根据此分布模型计算网络流量时间序列的慢变量序列，即分布参数序列；

(3)根据慢变量序列的异常波动来检测网络流量异常。

2、根据权利要求1所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(2)中慢变量序列的计算包括下述步骤：

(A1)将非平稳的网络流量时间序列划分为宽平稳的子序列，或者对整个网络流量时间序列进行差分平稳化，对原始网络流量时间序列进行平稳化处理，得到平稳网络流量序列；

(A2)设选取的分布模型的分布参数为λ_i，i＝1，2，…W，W为分布参数的个数，再分别根据参数λ_i的变化趋势和设定的规则，将步骤(A1)得到的平稳网络流量序列划分为多个窗口，设窗口的总个数为N，N为正整数；

(A3)计算每个窗口的分布参数λ_i，j，1≤j≤N，该序列即为慢变量序列。

3、根据权利要求1所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(3)通过检测偏离所述慢变量序列所服从的分布模型的慢变量进行网络流量异常。

4、根据权利要求1所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(3)采用传统的异常检测方法检测在统计特征上异常的慢变量进行网络流量异常。

5、根据权利要求1所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(3)采用基于离散广义Pareto超统计进行网络流量异常检测，其过程为：

(C1)对非平稳的网络流量时间序列进行平稳化处理；

(C2)将平稳化的网络流量时间序列根据离散广义Pareto分布的参数划分成N个子窗口；

(C3)计算每个窗口的离散广义Pareto分布参数，得到网络流量时间序列的慢变量序列；

(C4)用K-近邻算法方法检测慢变量序列中的异常慢变量，异常慢变量对应的窗口中的网络流量即为异常网络流量；

(C5)用广义最大似然比方法检测慢变量序列，异常慢变量对应的窗口中的网络流量即为异常网络流量。

6、根据权利要求5所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(C2)中，进行离散广义Pareto分布的参数估计时，利用下述补偿算法对网络流量时间序列进行预处理：

(D1)假设原始网络流量时间序列的小数部分服从一个均匀分布，将原始网络流量时间序列加上均匀分布产生的小数部分后用广义概率权重矩方法估计进行参数估计；

(D2)根据(D1)步骤中得到分布参数产生于原始网络流量时间序列个数相同的样本序列，计算样本序列与原始网络流量时间序列的差值，用该差值加上原始网络流量时间序列并用GPWM方法进行参数估计；

(D3)重复上述步骤(D1)-(D2)，估计出离散GPD模型的参数。

7、根据权利要求5所述的基于超统计理论的网络流量异常检测方法，其特征在于：步骤(C2)中，步骤(C2)中的窗口划分方法步骤如下：

(E1)采用滑动窗口方法，对每个滑动窗口估计离散广义Pareto分布的分布参数，得到分布参数序列，该序列反映了网络流量时间序列的分布参数的变化趋势；

(E2)采用BG算法计算出分布参数序列的均值突变点，并通过该突变点对应网络流量即为窗口划分点。

Images