CN101651568B - 一种网络流量预测和异常检测方法 - Google Patents

Abstract

本发明涉及网络流量预测和异常检测技术领域，包括：基于正态分布的马尔可夫周期流量模型、基于该模型的网络流量预测算法、网络流量超越阈值的概率预测算法以及网络流量异常检测算法。本方法中采用的流量模型是针对正常状态下网络流量具有周期性和突发性的特征而建立的，它将实际网络流量分为周期分量和随机分量，其中周期分量为周期性函数，随机分量服从正态分布且具有马尔可夫性。理论及实验都证明该模型能够合理描述网络流量特征。与传统流量预测方法相比，本方法计算复杂度简单，对于网络流量的长相关特征、周期性特征以及突发性特征都有很好的描述，因而本方法具有更高的准确度和可信度。

Description

一种网络流量预测和异常检测方法

技术领域

本发明涉及计算机网络管理技术领域，特别是涉及网络流量预测和异常检测方法。

背景技术

随着网络技术的迅速发展，网络应用类型的多样化以及各种网络病毒和网络攻击手法的出现，网络管理和维护面临着巨大的挑战。在传统的网络管理系统中，人们通常根据预先设定的阈值来进行报警，通过实时监测网络信息来分析网络是否发生故障，显然这是一种事后响应的方式，当发现问题时网络服务已经受到影响。对此，人们提出了预先网络管理的概念，其思想就是对网络中各种可能发生的问题进行预测，从而事先采取措施来加以解决。由于网络流量特征是网络性能分析、网络拓扑结构优化以及网络负载均衡等实现的基础，也是网络服务异常和故障发现的重要手段，因此对网络故障的预测能够从对网络流量特征的预测来加以解决。但由于网络的动态性，噪音和不稳定的特点，对网络流量的预测具有很大的难度。为了进行网络流量的预测，我们需要建立一个准确的网络流量模型。

传统的网络流量模型假设数据包到达的过程为泊松过程，数据包长度为指数分布，并将这种模型成功应用于ARPANET，但是随着网络规模扩大、Qos保证技术以及新的应用的出现，网络流量特征得到极大改变，经典的泊松模型已经不能再表示实际的网络流量特征。目前，网络流量模型是一个活跃的研究领域，模型种类众多，但按照其相关性特点大致可以分为短相关流量模型和长相关流量模型两大类。短相关模型包括马尔可夫模型和回归模型，其中马尔可夫模型可细分为On-Off模型(On-Off Model)、IPP模型(Interrupted Poisson ProcessModel)、状态交替的更新过程(Alternating State Renewal Process)、马尔可夫调制的泊松过程(MMPP：Markov Modulated Poisson Process)和马尔可夫调制的流过程(MMFP：Markov Modulated Fluid Process)等，回归模型又可细分为自回归模型(AR：Autoregressive Model)、离散自回归模型(DAR：Discrete AutoregressiveModel)、自回归滑动平均模型(ARMA：Autoregressive Moving Average Model)、求和自回归滑动平均模型(ARIMA：Autoregressive Integrated Moving AverageModel)等；长相关流量模型包括分形布朗运动模型(Fractional BrownianMotion)、FARIMA模型(Fractional ARIMA Model)、分形高斯噪声模型(FARIMA)、基于mallat算法的自相似模型、基于混沌映射的确定性模型、散粒噪声模型和小波基模型等。

不同的网络流量模型是针对不同的网络流量特征而建立的，每种模型都有着各自的优缺点，例如，马尔可夫类流量模型虽然具有数学易处理性，但计算复杂度随着模型参数数目的增加而增加，此外这类模型对网络流量预测的精度不够，并且不能描述长相关特征，目前马尔可夫类模型只广泛应用于电话网络中，对于计算机网络应用并不成功。回归模型在对网络行为预测和控制方面比较有效，并且表示简单，易于建立，但主要缺点是无法记录流量序列中重要的周期信息和趋势信息，由于大规模网络本身是复杂非线性系统，同时又受多种复杂外界因素的影响，其宏观流量行为往往复杂多变，数据中既含有多种周期类波动，又呈现非线性升、降趋势，还受到未知随机因素的干扰，而这些特点难以用单一的回归模型来描述。长相关流量模型能很好的说明网络通信量中出现的长相关和重尾等现象，但对于瞬时性能的评估却非常困难。

发明内容

本发明的目的在于提供一种网络流量预测与异常检测方法，该方法能够对未来时刻的网络流量以及网络流量超越阈值的概率进行准确预测，同时能够对当前网络流量是否出现异常进行检测，从而保证网络安全、稳定、高效的运行。

本发明主要包括：基于正态分布的马尔科夫周期流量模型、网络流量预测算法、网络流量超越阈值的概率预测算法以及网络流量异常检测算法。

首先通过对网络流量数据采集和分析，建立网络流量周期预测函数，将网络流量分为周期分量和随机分量，其中周期分量是周期性函数，随机分量是随机函数，该周期预测函数的表达公式如下：

T[t]＝τ_t+ξ[t]τ_t                (1)

其中T[t]表示t时刻的网络流量，τ_t为周期分量，是周期性函数，可用如下公式计算：

τ_t＝E(T_i[t])                     (2)

ξ[t]为随机分量，是随机函数，通过分布拟合检验证明其服从正态分布，分布函数如下：

$P\left\{\mathrm{\&xi;}\right[t]<x\}={\&Integral;}_{-\&infin;}^x\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{{(x-\mathrm{\&mu;})}^2}{{2\mathrm{\&sigma;}}^2}}\mathrm{dx}---\left(3\right)$

其中参数μ和σ²可以通过极大似然估计法获得。又通过X²统计量检验证明其具有马尔可夫性，即ξ[t]序列可被视为马尔可夫链。因此可以根据前一时刻ξ[t]的状态按照转移概率来对下一时刻ξ[t]状态进行预测，具体实现方法如下：

(1)根据网络流量历史采集数据计算ξ[t]并将其划分为m个状态区间，根据前一时刻ξ[t]处于第i区间，后一时刻ξ[t]处于第j区间的比率p_ij(i，j∈m)来构造一步转移概率矩阵P₁＝(p_ij)。

(2)根据当前t₀时刻ξ[t]所处的状态区间，建立概率向量P(t₀)＝(p₁(t₀)，p₂(t₀)，…，p_n(t₀))，其中p_i(t₀)表示t₀时刻ξ[t₀]处于第i(i∈m)区间的绝对概率.

(3)由全概率公式可知，未来t_k时刻ξ[t]所处各状态区间的概率向量可表示为如下公式：

P(t_k)＝P(t₀)P_tk                   (4)

其中P_tk＝P₁ ^k为k步转移概率矩阵，同时可以得到未来t_k时刻ξ[t]的预测值：

$\mathrm{\&xi;}\left[t_k\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t_k\right)---\left(5\right)$

其中θ_i为ξ[t]所处状态区间i的平均值，p_i(t_k)表示t_k时刻ξ[t]所处状态区间i的概率。

通过对网络流量的上述分析，建立基于正态分布的马尔可夫周期流量模型，该模型公式如下：

$\left\{\begin{array}{c}T\left[t\right]={\mathrm{\&tau;}}_t+\mathrm{\&xi;}\left[t\right]{\mathrm{\&tau;}}_t\\ \mathrm{\&xi;}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t\right)\end{array}\right.---\left(6\right)$

其中T[t]表示t时刻的网络流量，τ_t为周期分量，是周期性函数，ξ[t]为随机分量，服从正态分布且具有有马尔可夫性，θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率。

基于该模型的网络流量预测算法实现方法如下：

(1)根据当前时刻t₀的网络流量T[t₀]，由公式1得当前时刻t₀的 $\mathrm{\&xi;}\left[t_0\right]=\frac{T\left[t_0\right]-{\mathrm{\&tau;}}_{t0}}{{\mathrm{\&tau;}}_{t0}}.$

(2)根据ξ[t₀]所处状态区间建立概率向量P(t₀)＝(p₁(t₀)，p₂(t₀)，…，p_n(t₀))，由公式4得未来t_k时刻ξ[t_k]处于各状态区间的概率P(t_k)＝P(t₀)P_tk＝(p₁(t_k)，p₂(t_k)，…，p_n(t_k)。

(3)由公式5得t_k时刻的ξ[t_k]的预测值为 $\mathrm{\&xi;}\left[t_k\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t_k\right),$ 其中θ_i为第i状态区间的平均值。

(4)再由公式1得t_k时刻的网络流量为：T[t_k]＝τ_tk+ξ[t_k]τ_tk。

基于该模型的未来时刻超越阈值λ的概率预测算法实现方法如下：

(1)根据当前时刻t₀的网络流量T[t₀]，由公式1得当前时刻t₀的 $\mathrm{\&xi;}\left[t_0\right]=\frac{T\left[t_0\right]-{\mathrm{\&tau;}}_{t0}}{{\mathrm{\&tau;}}_{t0}}.$

(2)根据ξ[t₀]所处状态区间建立概率向量为P(t₀)＝(p₁(t₀)，p₂(t₀)，…，p_n(t₀))，由公式4得未来t_k时刻ξ[t_k]处于各状态区间的概率P(t_k)＝P(t₀)P_tk＝(p₁(t_k)，p₂(t_k)，…，p_n(t_k))。

(3)设存在状态区间j，j∈m，θ_i为状态区间j的平均值，T[t_k]＝τ_tk+θ_j-1τ_tk＜λ且T’[t_k]＝τ_tk+θ_jτ_tk≥λ，则网络流量超越阈值λ的概率如果对于所有j(j∈m)，T[t_k]＝τ_tk+θ_jτ_tk＜λ，则概率

相反如果对于所有j(j∈m)，T’[t_k]＝τ_tk+θ_jτ_tk≥λ，则概率

基于该模型的流量异常检测算法实现方法如下：

设ξ_b和ξ_t分别为ξ[t]的置信上下限，对给定的置信度α有：

P{ξ_b＜ξ[t]＜ξ_t}＝α                   (7)

再由(3)式得：

P{ξ[t]＜ξ_t}-P{ξ[t]＜ξ_b}＝α          (8)

根据(8)式及正态分布函数的属性，可以得到其如下表达式：

$\mathrm{\&Phi;}\left(\frac{{\mathrm{\&xi;}}_t-\mathrm{\&mu;}}{\mathrm{\&sigma;}}\right)=\mathrm{\&alpha;}+\mathrm{\&Phi;}\left(\frac{{\mathrm{\&xi;}}_b-\mathrm{\&mu;}}{\mathrm{\&sigma;}}\right)---\left(9\right)$

其中Φ(x)为标准正态分布函数。假设P{ξ[t]＜ξ_b}＝α₀，则有：

ξ_b＝Φ^-1(α₀)σ+μ                      (10)

由公式(9)、(10)可得置信上限的表达式如下：

ξ_t＝Φ^-1(α+α₀)σ+μ                   (11)

当实际网络流量连续高于流量模型的上限或连续低于流量模型的下限时，可以判断网络流量已发生异常，同时流量模型参数也发生变化，需要重新获取和计算。

本方法步骤流程图如图7所示：

S1：设定置信度参数α及α₀。

S2：根据网络流量历史采集数据，利用流量模型计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²，根据预设置信度α及α₀计算网络流量置信上下限区间。

S3：判断当前流量是否超越网络流量置信区间，如果超越则转S4，否则转S7。

S4：更新流量采集数据，更新后的流量数据用于网络流量模型参数的建立。

S5：根据更新的流量数据按照流量模型计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²。

S6：根据预设置信度α及α₀计算新的网络流量置信上下限区间。

S7：根据更新的流量数据计算ξ[t]并将其划分为m个状态区间，根据前一时刻ξ[t]处于第i区间，后一时刻ξ[t]处于第j区间的比率p_ij(i，j∈m)来构造转移概率矩阵P＝(p_ij)。

S8：根据当前时刻网络流量利用流量预测算法或流量超越阈值的概率预测算法对未来时刻网络流量或网络流量超越阈值的概率进行预测。

附图说明

图1是网络一年、一月、一周、一日的流量特征。

图2是网络一周实际流量中的周期分量τ_t的时间曲线图。

图3是网络一周实际流量中的随机分量ξ[t]对应各状态区间的频数柱状图。

图4是网络流量预测算法对某日19:00至22:00实际网络流量预测效果图。

图5是网络流量超越阈值的概率预测算法对某日8:05至10:00实际网络流量超越阈值的概率预测效果图。

图6是在给定置信度α和α₀条件下的网络流量置信区间以及实际网络流量曲线图。

图7是网络流量预测及异常检测方法的算法流程图。

本方法计算复杂度简单、易于实现，对于网络流量的长相关特征、周期性特征及突发性特征都有很好的描述，流量预测结果分析证明了预测算法的准确性和可信性。

其中图1说明正常状态下计算机网络流量在短期内具有周期性和突发性特征，其周期为一天。

图2说明实际网络流量中的周期分量τ_t曲线与实际流量相比较为平滑，减少了流量的突发性。

图3说明实际网络流量中的随机分量ξ[t]服从正态分布特征，进而可以对其进行合理估计。

图4分别显示网络流量预测算法1，2，3，5，10步的流量预测结果，结果表明该算法对实际网络流量的预测具有很好的效果，流量预测值与实际流量观测值非常接近，其中1步流量预测值与实际流量观测值最为接近，多步流量预测值随着预测步数的增加，预测准确度略有降低，实验证明了预测算法的准确性和可信性。

图5分别显示网络流量超越阈值的概率预测算法1，2，3，5，10步的概率预测结果，结果说明该算法对实际网络流量超越阈值的概率预测具有很好的效果，概率预测值与实际观测值非常接近，其中1步概率预测值与实际观测值最为接近，多步概率预测随着预测步数的增加，预测准确度略有降低，实验证明了概率预测算法的准确性和可信性。

图6为网络流量置信区间图，其中置信度α＝0.95，α₀＝0.02，中间起伏较为明显的为实际网络流量，中间起伏较为平滑的曲线为流量均值，最上面和最下面的曲线为网络流量置信上限和下限，其结果显示了网络流量异常检测算法的可信性。

Claims (6)

1.一种网络流量预测和异常检测方法，包括首先通过对网络流量数据采集和分析，建立网络流量周期预测函数，将网络流量分为周期分量和随机分量；其特征是利用上述随机分量的马尔可夫性对网络进行流量预测，和对网络流量超越阈值的概率进行预测；并且利用上述随机分量的正态分布特性对网络流量进行异常判断；

上述流量周期预测函数是以如下表达式表示：

T[t]＝τ_t+ξ[t]τ_t    公式1

其中T[t]表示t时刻的网络流量，τ_t为周期分量，是周期性函数，ξ[t]为随机分量，服从正态分布且具有马尔可夫性；

上述对网络流量进行预测是以如下网络流量预测模型表示：

公式2

其中T[t]表示t时刻的网络流量，τ_t为周期分量，ξ[t]为随机分量，θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率；

上述网络流量预测的步骤包括：(1)根据当前t₀时刻的网络流量T[t₀]，由公式1得当前t₀时刻的 

(2)根据ξ[t₀]所处状态区间建立概率向量P(t₀)＝(p₁(t₀)，p₂(t₀)，…，p_n(t₀))，t_k时刻ξ[t_k]处于各状态区间的概率向量P(t_k)＝P(t₀)P_tk＝(p₁(t_k)，p₂(t_k)，…，p_n(t_k))；(3)由概率向量P(t_k)可得t_k时刻的ξ[t_k]的预测值为 

其中θ_i为第i状态区间的平均值，p_i(t_k)表示t_k时刻ξ[t]所处状态区间i的概率；(4)再由公式1得t_k时刻的网络流量为T[t_k]＝τ_tk+ξ[t_k]τ_tk；

上述对网络流量超越阈值的概率进行预测包括以下步骤：给定预定阈值λ，则未来时刻网络流量超越阈值λ的概率算法包括：(1)根据当前时刻t₀的网络 流量T[t₀]，由公式1得当前时刻t₀的 

(2)根据ξ[t₀]所处状态区间建立概率向量为P(t₀)＝(p₁(t₀)，p₂(t₀)，…，p_n(t₀))，t_k时刻ξ[t_k]处于各状态区间的概率向量P(t_k)＝P(t₀)P_tk＝(p₁(t_k)，p₂(t_k)，…，p_n(t_k))；(3)设存在状态区间j，j∈m，θ_j为状态区间j的平均值，T[t_k]＝τ_tk+θ_i-1τ_tk＜λ且T’[t_k]＝τ_tk+θ_jτ_tk≥λ，则网络流量超越阈值λ的概率 

；

上述利用随机分量的正态分布特性对网络流量进行异常判断，是根据给定的置信度来计算未来时刻随机分量的置信区间，再利用公式1得到网络流量的置信区间，当实际网络流量超越该置信区间，判断网络流量已发生异常。

2.根据权利要求1所述的网络流量预测和异常检测方法，其特征在于上述流量周期预测函数中的周期分量τ_t是通过对网络流量观测值的均值获得。

3.根据权利要求1所述的网络流量预测和异常检测方法，其特征是在上述公式1中，根据当前t₀时刻ξ[t]所处的状态区间，通过转移概率矩阵预测未来t_k时刻ξ[t]所处各状态区间的概率，预测函数如下：

P(t_k)＝P(t₀)P_tk    公式3

其中P(t_k)表示t_k时刻ξ[t]所处各状态区间的概率向量，P(t₀)表示t₀时刻ξ[t]所处各状态区间的概率向量，P_tk＝P₁ ^k为k步转移概率矩阵。

4.根据权利要求1所述的网络流量预测和异常检测方法，其特征在于上述对网络流量超越阈值的概率进行预测，是对于公式 

判断是否存在j使得T[t]＝τ_t+θ_j-1τ_t＜λ且T’[t]＝τ_t+θ_jτ_t≥λ，则概率为 

如果对于所有j(j∈m)，T[t_k]＝τ_tk+θ_jτ_tk＜λ，则概率 

相反如果对于所有j(j∈m)，T[t_k]＝τ_tk+θ_jτ_tk≥λ，则概率 其中阈值λ为设定值。 

5.根据权利要求1所述的网络流量预测和异常检测方法，其特征是在上述利用随机分量的正态分布特性对网络流量进行异常判断中，若给定正态分布的置信度为α，则随机分量置信区间的上下限分别为：

ξ_t＝Φ^-1(α+α₀)σ+μ    公式6

ξ_b＝Φ^-1(α₀)σ+μ    公式7

其中Φ^-1为标准正态分布函数的反函数，α₀为随机分量置信下限的预设置信度，μ和σ通过极大似然估计法获得。

6.根据权利要求1所述的网络流量预测和异常检测方法，其特征在于，所述的利用随机分量的马尔可夫性对网络进行流量预测，和对网络流量超越阈值的概率进行预测；并且利用上述随机分量的正态分布特性对该随机分量进行网络流量异常判断；其步骤如下：

S1：设定置信度参数α及α₀；

S2：根据网络流量历史采集数据，利用流量周期预测函数计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²，根据预设置信度α及α₀计算网络流量置信上下限区间；

S3：判断当前流量是否超越网络流量置信区间，如果超越则转S4，否则转S7；

S4：更新流量采集数据，更新后的流量数据用于网络流量模型参数的建立；

S5：根据更新的流量数据按照流量模型计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²；

S6：根据预设置信度α及α₀计算新的网络流量置信上下限区间，并返回S3；

S7：根据更新的流量数据计算ξ[t]并将其划分为m个状态区间，根据前一时刻ξ[t]处于第i区间，后一时刻ξ[t]处于第j区间的比率p_ij(i，j∈m)来构造转移概率矩阵P＝(p_ij)；

S8：根据当前时刻网络流量利用流量预测算法或流量超越阈值的概率预测算法对未来时刻网络流量或网络流量超越阈值的概率进行预测。 

Images