CN102404164A

CN102404164A - 一种基于arma模型和混沌时间序列模型的流量分析方法

Info

Publication number: CN102404164A
Application number: CN2011102277918A
Authority: CN
Inventors: 孙建; 张梅琴; 张顺颐; 王攀
Original assignee: JIANGSU XINWANG TEC TECHNOLOGY CO LTD
Current assignee: JIANGSU XINWANG TEC TECHNOLOGY CO LTD
Priority date: 2011-08-09
Filing date: 2011-08-09
Publication date: 2012-04-04

Abstract

本发明公开了一种基于ARMA模型和混沌时间序列模型的流量分析方法。该方法能实现流量采集和特征提取、流量分析、流量预测和异常流量检测。首先对流量进行监听和统计，通过计算Hurst指数、ARMA参数、分数差分、关联维度、时间延迟并估计Lyapunov指数；根据流量分析提供的参数和预报公式对样本点进行一定步长的预测，并根据Hurst指数的变化预警网络中的异常流量。

Description

一种基于ARMA模型和混沌时间序列模型的流量分析方法

技术领域

本发明涉及网络流量控制与异常流量监测，尤其涉及一种基于ARMA模型和混沌时间序列模型的流量分析方法，属于网络流量控制技术领域。

背景技术

如何提高大型骨干网络的可用性，最大化地保证骨干网络的可控性和有效性，已经成为政府机构、企业、服务提供商、数据中心等进行网络安全建设时的重点和难点。对各种异常流量行为对网络骨干的充斥，极大地增加了网络资源的压力，过多消耗了网络资源，在很大程度上影响到正常业务的运行。严重时，这些异常网络行为会造成网络瘫痪，正常业务的中断。因此对于骨干网络的运维提出了新的监测分析的需求，主要体现在对于流量的预测，异常流量的检测和流量控制。

由于技术的不断更新、需求的持续增长以及业务的不断扩大，网络的行为机制、管理模式的描述也更加困难。使用能够准确反映网络状态和行为的理论和模型来对网络进行研究，并进行定量的分析与评估，已经成为未来网络急需优先攻克的关键问题之一。

混沌现象的发现开创了科学模型化的一个典范：一方面，混沌现象所固有的确定性表明许多随机现象实际上是可以预测的；另一方面，混沌现象所固有的对初值的敏感依赖性有意味着预测能力受到新的根本性限制，混沌现象是短期可以预测的，而长期是不能预测的。

根据Packard等提出的重构相空间理论可知，对于决定系统长期演化的任一变量的时间演化，均包含了系统所有变量长期演化的信息。因此，我们可以通过决定系统长期演化的任一单变量时间序列来研究系统的混沌行为。而吸引子的不变量——关联维(系统复杂度的估计)、Kolmogorov熵(动力系统的混沌水平)，Lyapunov指数(系统的特征指数)等在表征系统的混沌性质方面一直起着重要的作用。其中，Lyapunov指数——量化初始闭轨道的指数发散和估计系统的混沌量，它从整体上反映了动力系统的混沌量水平，因此，基于混沌时间序列的Lyapunov指数计算和预测显得尤为重要。

发明内容

本发明的目的在于提供一种基于ARMA模型和混沌时间序列模型的流量分析方法能实现流量采集和特征提取、流量分析、流量预测和异常流量检测。首先对流量进行监听和统计，通过计算Hurst指数、ARMA参数、分数差分、关联维度、时间延迟并估计Lyapunov指数；根据流量分析提供的参数和预报公式对样本点进行一定步长的预测，并根据Hurst指数的变化预警网络中的异常流量。

本发明的技术方案具体为：

一种基于ARMA模型和混沌时间序列模型的流量分析方法，其特征在于，包括以下各步骤：

步骤1：监听网络中的流量，由网络设备驱动截获原始数据包，进行流量的统计、写入数据库和日志文件；

步骤2：进行流量分析，计算Hurst指数、ARMA参数、分数差分、关联维度、时间延迟并估计Lyapunov指数；

步骤3：根据流量分析提供的参数和预报公式对样本点进行基于误差自反馈的Lyapunov指数流量预测；

步骤4：进行异常流量检测，根据Hurst指数的变化预警网络中的异常流量。

相比现有的路由算法，本发明方法具有以下优点：

一、以网络流量的特性为起点，通过分析与研究网络流量，实现了对网络流量的预测与异常流量的检测，具有很好的实际预测应用价值；

二、实时监控网络的流量，并用基于误差自反馈的Lyapunov指数流量预测算法预测网络流量，提高了预测的准确性。

三、通过对流量进行监听和统计，计算相关网络流量特性指，并以此为基础进行流量预测和异常流量预警，实现了网络的可管理、可控制。

附图说明

图1为本发明的基于ARMA模型和混沌时间序列模型的流量分析方法框架图。

图2为基于ARMA模型和混沌时间序列模型的流量分析方法流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

如附图1所示，本发明方法按照以下步骤进行流量控制与异常流量监测：

步骤1：监听网络中的流量，由网络设备驱动截获原始数据包，进行流量的统计、写入数据库和日志文件。

网络流量的采集必须绕过操作系统的协议栈来访问在网络上传输的原始数据包，这就要求一部分运行在操作系统核心内部，直接与网络接口驱动交互。本方法使用了 Winpcap的两个不同的库：packet.dll和wpcap.dll。前者提供了一个底层API，伴随着一个独立于Microsoft操作系统的编程接口，这些API可以直接用来访问驱动的函数；后者导出了一组更强大的与libpcap一致的高层抓包函数库。这些函数使得数据包的捕获以一种与网络硬件和操作系统无关的方式进行。

网络数据包首先在核心层被网络设备驱动截获，然后转给用户层的Packet.dll，在转发给Wpcap.dll，由Wpcap.dll通过统一的应用程序接口提供给用户程序。

步骤2：进行流量分析，计算Hurst指数、ARMA参数、分数差分、关联维度、时间延迟并估计Lyapunov指数。

(1)Hurst指数的估计。Hurst指数的估计方法主要分为时域的时间方差法，变标度极差分析法，绝对值方差法，和变换域的周期图法，小波分析法。这些方法的基本原理都是对时间序列进行多尺度分析，考察时间序列在不同尺度下的相似性。其中小波分析法由与其本身具备的多尺度分析和较强的抗噪声性能，在估计自相似指数时具有较高的准确性和较短的计算时间。

(2)ARMA参数的提取。ARMA参数的提取涉及到ARMA模型阶数、自回归系数和滑动平均系数的估计。对于ARMA模型较为难判断，一般采用由低阶到高阶逐个试探的方法，根据一定的准则来选取阶数。常用的定阶准则是赤池提出的AIC准则。在确定了模型的自回归和滑动平均阶数后就可以对模型的自回归系数和滑动平均系数进行估计。先估计出自回归部分的参数，根据自回归系数和自相关函数的关系矩阵、样本点的自相关函数的值，可以估计出自相关系数；选取一组初始值，进行重复迭代，直到参数变化不大，达到精确要求的自回归系数和滑动平均系数为止。

(3)关联维数的计算。关联维数的计算方法采用Grassberger和Procaccia提出的G-P算法。时间延迟的选取方法主要有序列相关法(自相关法，互信息量法，高阶相关法)，相空间扩展法(填充因子法，摆动量法，平均位移法，SVF法)。

其中G-P算法中虽然能够较为准确的计算出系统的关联维数，但是算法的时间复杂度为O((m_d-m₀)N²)，m₀和m_d为嵌入维数，d为关联维数，N为样本序列长度。在样本序列比较大时，算法的计算时间较长。使用G-P算法对长度为5000的局域网流量样本序列进行关联维数的估计需要25～30个小时的时间，而且这是在3台服务器上进行并行计算的时间，这极大地限制了混沌时间序列模型在小时间粒度上的应用。经过分析，G-P算法计算时间较长主要有以下四个原因：(1)循环结构多；(2)范数计算耗时；(3)存在着重复计算；(4)Matlab交互性运行环境计算效率较低。循环结构一般是计算精确的需要，基本上无法减少。

为了进一步缩短关联维数的估计时间，本发明从相空间重构的理论出发，结合贪心算法的思想，提出了贪心G-P算法。

贪心G-P算法的具体步骤为：

1)根据经验估计关联维数的值，根据选取样本序列；

2)选择时间延迟，范围通常选择为1～20；

3)计算最大嵌入维数

(p的初始值为0.8)和次大嵌入维数

对应的关联维数，如果相同则算法结束，否则转步骤2；

4)如果p＝1则算法结束；否则增大p，转步骤2)。

其中N为样本序列长度，N_min为最小样本序列长度，d为吸引子的维数，τ为时间延迟。

(4)Lyapunov指数的计算。Lyapunov指数(混沌系统的特征指数)等在表征系统的混沌性质方面一直起着重要的作用。它不仅可以用来判断动力系统是否是混沌的，而且可以对混沌时间序列进行预测。当关联维数和时间延迟确定以后，我们就可以重构系统的相空间，并估计系统的Lyapunov指数。Lyapunov指数的估计方法主要有Wolf方法，Jocobian方法和小数据量方法。

步骤3：根据流量分析提供的参数和预报公式对样本点进行基于误差自反馈的Lyapunov指数流量预测。

Lyapunov指数的计算需要使用关联维数和时间延迟作为参数，而计算关联维数的G-P算法计算时间比较长(主要是其中的关联积分的渐进时间复杂度为O(n²))，因此要实现Lyapunov指数的准确实时计算几乎是不可能的。在未发现计算关联维数更加快捷的算法之前，本方法采用一种基于误差自反馈的Lyapunov指数流量预测算法FLPA(Flow Lyapunov Prediction Algorithm)。核心思想是根据经验先确定关联维数和时间延迟，并作为参数计算Lyapunov指数，再根据Lyapunov指数预测后续的流量序列，然后计算估计偏差的总和，当偏差总和大于设定的精度要求时，增大嵌入维数重新计算Lyapunov指数，直到估计序列达到精度要求或者嵌入维数大于样本序列个数所允许最大的值。

Hurst指数是描述自相似特性的唯一参数，当网络流量发生变化时，Hurst指数也会发生变化。但是在正常的网络环境中，网络流量基本上处在一个平稳的变化阶段，Hurst指数的变化也在一个很小的范围。当网络中出现DDOS攻击或蠕虫病毒时，Hurst指数的变化就会产生很大的变化。因此通过计算Hurst指数在一定时间间隔内的变化量可以检测网络中的异常流量。当Hurst指数超过一定的阈值时便告警异常流量。

Claims

1.一种基于ARMA模型和混沌时间序列模型的流量分析方法，其特征在于，包括以下各步骤：

2.如权利要求1所述的一种基于ARMA模型和混沌时间序列模型的流量分析方法，其特征在于，步骤2中的关联维数的计算，具体按照以下步骤：

1)根据经验估计关联维数的值，根据选取样本序列；

2)选择时间延迟，范围通常选择为1～20；

3)计算最大嵌入维数

(p的初始值为0.8)和次大嵌入维数

对应的关联维数，如果相同则算法结束，否则转步骤2；

4)如果p＝1则算法结束；否则增大p，转步骤2)。

3.如权利要求1所述的一种基于ARMA模型和混沌时间序列模型的流量分析方法，其特征在于，步骤3中的基于误差自反馈的Lyapunov指数流量预测算法FLPA(Flow LyapunovPrediction Algorithm)，具体按照以下步骤：

1)：根据经验先确定关联维数和时间延迟，并作为参数计算Lyapunov指数；

2)：根据Lyapunov指数预测后续的流量序列；

3)：计算估计偏差的总和，当偏差总和大于设定的精度要求时，增大嵌入维数重新计算Lyapunov指数，直到估计序列达到精度要求或者嵌入维数大于样本序列个数所允许最大的值。