CN102111312B

CN102111312B - 基于多尺度主成分分析的网络异常检测方法

Info

Publication number: CN102111312B
Application number: CN 201110075666
Authority: CN
Inventors: 钱叶魁; 叶立新; 尹锋; 万明杰; 陈立凯; 左军; 刘桂奇; 姜关胜
Original assignee: 钱叶魁
Current assignee: PLA Army Academy of Artillery and Air Defense
Priority date: 2011-03-28
Filing date: 2011-03-28
Publication date: 2013-05-01
Anticipated expiration: 2031-03-28
Also published as: CN102111312A

Abstract

本发明涉及一种基于多尺度主成分分析的网络异常检测方法；该方法为：利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析的降维能力，对流量矩阵中的正常流量进行建模，然后对残余流量进行分析，从而实现网络的异常检测；对流量矩阵中的正常流量进行建模的方法含有流量矩阵的小波分解、小波系数矩阵的主成分分析和重构、流量矩阵的小波重构、流量矩阵的主成分分析和重构；对残余流量的分析采用Shewart控制图方法和EWMA控制图方法来实现；本发明提供一种基于多尺度主成分分析的网络异常检测方法及网络异常在线检测方法，其检测性优于PCA算法和KLE算法，而且在线检测方法的单步执行时间短。

Description

基于多尺度主成分分析的网络异常检测方法

(一)、技术领域：本发明涉及一种网络异常检测方法，特别是涉及一种基于多尺度主成分分析的网络异常检测方法。

(二)、背景技术：在当今的因特网环境下，各种异常行为(如拒绝服务攻击、蠕虫、突发流等)频繁发生。有效地检测异常行为对于保证网络的可靠运行具有重要意义。由于网络异常行为通常具有不同的模式，且隐藏在复杂的背景流量中，因此网络异常检测是一件极具挑战性的任务。

由于网络异常行为大都伴随着网络流量的显著变化，所以大部分研究都是通过被动监测和分析单条链路流量的变化来检测异常。例如，Barford等人利用小波变换方法分析IP流和SNMP数据，从而揭示四种不同的流量异常特征。这类方法利用链路流量的时间相关性(temporal correlation)，采用多尺度(multiscale)分析方法，取得了较好的检测效果。然而，这类方法仅仅考虑单条链路的流量，其异常检测能力是有限的，原因在于许多异常行为影响网络中多条链路和路径，其在单条链路和路径上呈现的异常现象有时并不明显。针对这一问题，Lakhina等人首次采用流量矩阵作为数据源，提出了一种基于主成分分析(PCA)的全网络(network-wide)异常检测方法。这类方法利用多条链路流量之间的空间相关性(spatial correlation)，将流量矩阵高维数据映射到正常子空间和异常子空间，然后在异常子空间中检测凸显的异常行为模式。然而，基于PCA的网络异常检测方法属于单尺度(single-scale)分析方法，它仅仅考虑了流量矩阵数据的空间相关性，并没有考虑流量矩阵数据的时间相关性。

自1987年Denning提出异常检测统计模型以来，网络异常检测方法的研究就一直受到学术界的广泛关注。根据异常检测范围的不同，我们可以将这些方法分为三类：基于主机的异常检测方法、基于单链路流量的网络异常检测方法和基于流量矩阵的全网络异常检测方法。

基于主机的异常检测方法的基本思想是采用主机系统的系统日志或审计记录作为异常检测数据源，应用机器学习等方法建立用户的正常行为模式，然后以某种测度来度量用户偏离正常行为模式的程度，从而检测网络入侵行为。

基于单链路流量的网络异常检测方法是通过被动监测和分析单条链路流量的变化来检测异常。这类方法的基本思想是利用链路流量的时间相关性，采用小波变换等多分辨率分析方法对流量数据进行多尺度分析，将确定性信号和随机性信号分离，从而揭示各种异常行为。

基于流量矩阵的全网络异常检测是近年来兴起的一种网络异常检测新方法，它主要针对单链路流量异常检测方法的局限性，利用流量矩阵的空间相关性和时间相关性，应用各种多元统计分析方法或信号处理方法，从全网络的视角检测异常行为。Lakhina等人采用流量矩阵作为数据源，首次揭示了流量矩阵具有低维度特性，分析了特征流的特性，并以此为基础提出了一种基于PCA的全网络异常检测方法，试验表明该方法的检测性能明显优于传统的单链路流量时间序列方法；Ringberg等人进一步指出PCA异常检测器面临的四个挑战，其中包括正常子空间中主成分数对检测性能的影响、流量聚合级别对算法有效性的影响、异常流量对正常子空间的毒害等；Rubinstein等人则利用了PCA异常检测器的缺陷，提出了4种数据毒害机制，并提出一种基于健壮PCA的异常检测方法，有效地抵御毒害攻击。这类方法的基本思想都是利用多条链路流量之间的空间相关性，采用PCA方法获得流量矩阵高维数据的主成分，分别建立正常子空间和异常子空间，然后在异常子空间中检测凸显的异常行为模式。这类方法的不足之处在于仅仅利用了流量矩阵的空间相关性，而没有利用流量矩阵的时间相关性。为此，Brauckhoff等人同时考虑流量矩阵的空间相关性和时间相关性，将PCA推广到Karhunen-Loveve变换展开式(KLE)，提出了一种基于Galerkin的KLE计算方法，然后使用KLE建立一种预测模型并用于异常检测，试验证实KLE方法取得了优于PCA的检测性能。但是，KLE方法仅仅利用了固定时间间隔的测量数据之间的时间相关性，不具有小波变换具有多分辨率分析能力；此外，KLE方法同样属于离线算法，无法实时地检测异常。

(三)、发明内容：

本发明要解决的技术问题是：克服现有技术的缺陷，提供一种基于多尺度主成分分析的网络异常检测方法及网络异常在线检测方法，该方法利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析的降维能力对网络的异常情况进行检测，其检测性优于PCA算法和KLE算法，而且网络异常在线检测方法的单步执行时间短，完全满足实时检测的需要。

本发明的技术方案：

一种基于多尺度主成分分析(MSPCA)的网络异常检测方法，利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析(PrincipalComponent Analysis，PCA)的降维能力，对流量矩阵中的正常流量进行建模，然后对残余流量进行分析，从而实现网络的异常检测。

定义1：流量矩阵

流量矩阵是指一个网络中所有源节点和目的节点对(即OD对)之间的流量需求(traffic demand)。根据选择的网络节点类型的不同，可以定义不同粒度的流量矩阵：链路级、路由级和PoP级(Point of Presence)流量矩阵。

定义2：PoP级流量矩阵

假设某自治系统(Autonomous System，AS)有n个PoP点，以一定的时间间隔(周期)连续地被动测量任意一对PoP点之间的流量，然后将获得的测量值排列成一个T×p的矩阵x，它表示所有这些流量测量值的时间序列。其中，T表示测量的周期数，p表示每个周期内测量获得的流量测量值的个数，即p＝n×n；第t行表示在第t个周期内流量测量值的向量，通常用x_t表示，第j列表示第j个PoP点对之间流量测量值的时间序列。矩阵x称为AS的PoP级流量矩阵，简称为流量矩阵。本发明采用流量大小(字节数、分组数和流数)作为流量测度，因此流量矩阵的任一元素x_tj表示第t个间隔时间内第j个OD对之间的流量大小。

对流量矩阵中的正常流量进行建模的方法含有以下步骤：

第1步：流量矩阵的小波分解：首先采用标准正交小波变换对流量矩阵(X)进行多尺度分解，获得各个尺度的小波系数矩阵(Z_L，Y_m(m＝1，...，L))，然后采用中位绝对偏差(Median Absolute Deviation，MAD)方法对各个尺度的小波系数矩阵(Z_L，Y_m(m＝1，...，L))进行过滤，获得过滤后的各个尺度的小波系数矩阵(

(m＝1，...，L))；

第2步：小波系数矩阵的主成分分析和重构：首先对过滤后的各个尺度的小波系数矩阵(

(m＝1，...，L))进行主成分分析(PCA)；然后根据碎石图(scree plot)方法选择PC的数目；最后重构出各个尺度的重构小波系数矩阵(

(m＝1，...，L))；

第3步：流量矩阵的小波重构：根据各个尺度的重构小波系数矩阵((m＝1，...，L))，采用小波逆变换(W^T)重构出第一重构流量矩阵；

第4步：流量矩阵的主成分分析和重构：首先对第一重构流量矩阵进行主成分分析(PCA)；然后根据碎石图(scree plot)方法选择PC的数目；最后重构出第二重构流量矩阵

对流量矩阵(X)中的正常流量进行建模后，残余流量主要由两部分组成：噪声流量和突发流量，其中，噪声流量主要是由正常流量的模型的误差引起的，而突发流量主要是由各种异常行为引起的；所述残余流量分析采用两种控制图方法来实现，两种控制图方法为Shewart控制图方法和EWMA控制图方法；Shewart控制图方法可快速检测出流量的急剧变化，而在检测缓慢变化的异常流量时速度较慢；在选择合适的参数后，EWMA控制图方法可检测变化缓慢但持续时间较长的异常流量。

EWMA控制图方法适合于检测较小的异常流量，而Shewart控制图方法适合于检测较大的异常流量。

Shewart控制图方法直接对平方预测误差(Squared Prediction Error，SPE)的时间序列进行检测，平方预测误差记作Qi，Qi的计算公式为：

Q_{i} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵(X)中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵

的维数；

采用Q统计量作为平方预测误差的阈值，Q统计量记作

定义如下：

δ_{α}^{2} = φ_{1} {[\frac{c_{α} \sqrt{{2 φ}_{2} h_{0}^{2}}}{φ_{1}} + 1 + \frac{φ_{2} h_{0} (h_{0} - 1)}{φ_{1}^{2}}]}^{\frac{1}{h_{0}}}

其中，

λ_L为将第二重构流量矩阵

投影到第L个主轴所捕获的方差，即第L个特征值，k为λ_L的次方数，c_α是标准正态分布中的1-α分位数，r为第二重构流量矩阵的固有维数，p为第二重构流量矩阵

的维数；如果

则认为出现网络异常。

表示置信度为1-α时平方预测误差的阈值，α为0.001，L等于j。

EWMA控制图方法根据最近的历史数据预测时间序列下一时刻的值，在第t-1时刻残余流量的预测值记作

第t-1时刻残余流量的实际值记作Q_t-1，第t时刻残余流量的预测值记作

则：

{\hat{Q}}_{t} = n Q_{t - 1} + (1 - n) {\hat{Q}}_{t - 1}

其中，0≤n≤1，n是历史数据的相对权重，亦称为平滑指数；残余流量在t时刻的实际值Q_t为：

Q_{t} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵(X)中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵

的维数；

通过关系式

迭代求取第t时刻残余流量的预测值

再根据第t时刻残余流量的实际值Q_t计算出绝对值绝对值称为EWMA过程统计量；

EWMA控制图的控制极限可以渐近表示为：

UCL = μ_{s} + F \times σ_{s} \sqrt{\frac{n}{(2 - n) T 1}}

其中，μ_s表示EWMA过程统计量的均值，σ_s表示EWMA过程统计量的均方差，0≤n≤1，n表示平滑指数，F表示控制图常数，它的大小直接影响检测结果，T1表示时间序列的长度；当

时，则认为出现网络异常。

当t＝0时，残余流量的预测值可根据经验预置，预置的标准是：使成立。

在基于多尺度主成分分析(MSPCA)的网络异常检测方法中，主要的计算开销是流量矩阵的小波变换以及小波系数矩阵和流量矩阵的主成分分析。在算法实现时，小波变换采用Mallat算法，其时间复杂度为O(T)；主成分分析(PCA)算法的时间复杂度为O(Tp²)。所以，MSPCA异常检测算法总的时间复杂度为O(Tp²+Tp)，即O(Tp²)。

一种含有所述基于多尺度主成分分析的网络异常检测方法的网络异常在线检测方法，采用滑动窗口机制，并将检测过程分为两个阶段：初始化阶段和滑动阶段，在初始化阶段，选取前WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测；在滑动阶段，每隔一个测量间隔时间，将最新的测量数据加入到滑动窗口并将最旧的测量数据剔除，保持滑动窗口的长度不变，滑动窗口的长度为WIN，选取滑动窗口内的WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测，WIN为自然数。

最新的测量数据为流量矩阵中位于滑动窗口内行序号最大的行向量数据，最旧的测量数据为流量矩阵中位于滑动窗口内行序号最小的行向量数据。

WIN为2的倍数。

时间复杂度是在网络异常在线检测方法的重要指标。在线MSPCA异常检测算法单步执行时的时间复杂度是O(WIN*p²+WIN)，即O(WIN*p²)。

本发明的有益效果：

1、本发明针对现有的异常检测方法仅仅单独利用流量的时间相关性或空间相关性这一不足之处，同时考虑流量矩阵的时空相关性，提出了一种基于多尺度主成分分析(MSPCA)的网络异常检测方法，该方法综合利用小波变换具有的多尺度建模能力和主成分分析(PCA)具有的降维能力对正常流量进行建模，然后采用Shewart控制图和EWMA控制图分析残余流量。此外，本发明还利用滑动窗口机制对MSPCA异常检测方法进行在线扩展，提出了一种在线的MSPCA异常检测方法。本发明的检测性能优于PCA算法和KLE算法，检测准确率高，而在线MSPCA异常检测方法的单步执行时间很短，完全满足实时检测的需要。本发明对于保证网络的可靠运行具有重要意义。

(四)、附图说明：

图1为对流量矩阵中的正常流量进行建模的方法示意图；

图2为网络异常在线检测方法示意图；

图3为对数据集B分别采用MSPCA和PCA算法的检测结果图；

图4为对数据集B分别采用MSPCA和PCA算法的检测性能图；

图5为对数据集P分别采用MSPCA和PCA算法的检测结果图；

图6为对数据集P分别采用MSPCA和PCA算法的检测性能图；

图7为对数据集F分别采用MSPCA和PCA算法的检测结果图；

图8为对数据集F分别采用MSPCA和PCA算法的检测性能图；

图9为对数据集B分别采用MSPCA和在线MSPCA算法的检测结果图；

图10为对数据集B分别采用MSPCA和在线MSPCA算法的检测性能图；

图11为对数据集P分别采用MSPCA和在线MSPCA算法的检测结果图；

图12为对数据集P分别采用MSPCA和在线MSPCA算法的检测性能图；

图13为对数据集F分别采用MSPCA和在线MSPCA算法的检测结果图；

图14为对数据集F分别采用MSPCA和在线MSPCA算法的检测性能图；

图15为对数据集B分别采用MSPCA和KLE算法的检测性能图；

图16为对数据集P分别采用MSPCA和KLE算法的检测性能图；

图17为对数据集F分别采用MSPCA和KLE算法的检测性能图；

图18为人工合成流量矩阵的3个步骤图；

图19为采用MSPCA和PCA算法对模拟试验数据的检测结果图；

图20为采用MSPCA和PCA算法对模拟试验数据的检测性能图；

图21为采用MSPCA和在线MSPCA算法对模拟试验数据的检测结果图；

图22为采用MSPCA和在线MSPCA算法对模拟试验数据的检测性能图；

图23为采用MSPCA和KLE算法对模拟试验数据的检测性能图；

图24为MSPCA算法采用不同小波算法时的检测结果图；

图25为MSPCA算法采用不同小波算法时的和检测性能图；

图26为在线MSPCA算法采用不同滑动窗口长度时的检测结果图；

图27为在线MSPCA算法采用不同滑动窗口长度时的检测性能图；

图28为MSPCA算法对不同大小异常流量的检测性能图之一；

图29为MSPCA算法对不同大小异常流量的检测性能图之二；

图30为OD1流量原始信号及其小波分解结构图；

图31为OD121流量原始信号及其小波分解结构图；

图32为OD1流量信号的低频和高频成分图；

图33为OD121流量信号的低频和高频成分图；

图34为OD1流量原始信号及其重构图；

图35为OD121流量原始信号及其重构图；

图36为数据集B中主轴的方差贡献率；

图37为数据集P中主轴的方差贡献率；

图38为数据集F中主轴的方差贡献率。

(五)、具体实施方式：

参见图1～图38。基于多尺度主成分分析的网络异常检测方法为：利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析(PrincipalComponent Analysis，PCA)的降维能力，对流量矩阵中的正常流量进行建模，然后对残余流量进行分析，从而实现网络的异常检测。

对流量矩阵中的正常流量进行建模的方法含有以下步骤：

第1步：流量矩阵的小波分解：首先采用标准正交小波变换对流量矩阵X进行多尺度分解，获得各个尺度的小波系数矩阵Z_L，Y_m(m＝1，...，L)，然后采用中位绝对偏差(Median Absolute Deviation，MAD)方法对各个尺度的小波系数矩阵Z_L，Y_m(m＝1，...，L)进行过滤，获得过滤后的各个尺度的小波系数矩阵

(m＝1，...，L)；

第2步：小波系数矩阵的主成分分析和重构：首先对过滤后的各个尺度的小波系数矩阵

(m＝1，...，L)进行主成分分析(PCA)；然后根据碎石图(scree plot)方法选择PC的数目；最后重构出各个尺度的重构小波系数矩阵

(m＝1，...，L)；

第3步：流量矩阵的小波重构：根据各个尺度的重构小波系数矩阵

(m＝1，...，L)，采用小波逆变换W^T重构出第一重构流量矩阵；

对流量矩阵X中的正常流量进行建模后，残余流量主要由两部分组成：噪声流量和突发流量，其中，噪声流量主要是由正常流量的模型的误差引起的，而突发流量主要是由各种异常行为引起的；所述残余流量分析采用两种控制图方法来实现，两种控制图方法为Shewart控制图方法和EWMA控制图方法；Shewart控制图方法可快速检测出流量的急剧变化，而在检测缓慢变化的异常流量时速度较慢；在选择合适的参数后，EWMA控制图方法可检测变化缓慢但持续时间较长的异常流量。

Q_{t} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵X中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵的维数；

采用Q统计量作为平方预测误差的阈值，Q统计量记作

定义如下：

δ_{α}^{2} = φ_{1} {[\frac{c_{α} \sqrt{{2 φ}_{2} h_{0}^{2}}}{φ_{1}} + 1 + \frac{φ_{2} h_{0} (h_{0} - 1)}{φ_{1}^{2}}]}^{\frac{1}{h_{0}}}

其中，

k＝1，2，3，λ_L为将第二重构流量矩阵

投影到第L个主轴所捕获的方差，即第L个特征值，k为λ_L的次方数，c_α是标准正态分布中的1-α分位数，r为第二重构流量矩阵

的固有维数，p为第二重构流量矩阵

的维数；如果

则认为出现网络异常。表示置信度为1-α时平方预测误差的阈值，α为0.001，L等于j。

第t-1时刻残余流量的实际值记作Q_t-1，第t时刻残余流量的预测值记作则：

{\hat{Q}}_{t} = n Q_{t - 1} + (1 - n) {\hat{Q}}_{t - 1}

Q_{i} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵X中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵

的维数；

通过关系式

迭代求取第t时刻残余流量的预测值再根据第t时刻残余流量的实际值Q_t计算出绝对值

绝对值

称为EWMA过程统计量；

EWMA控制图的控制极限可以渐近表示为：

UCL = μ_{s} + F \times σ_{s} \sqrt{\frac{n}{(2 - n) T 1}}

时，则认为出现网络异常。

当t＝0时，残余流量的预测值可根据经验预置，预置的标准是：使

成立。

含有所述基于多尺度主成分分析的网络异常检测方法的网络异常在线检测方法为：采用滑动窗口机制，并将检测过程分为两个阶段：初始化阶段和滑动阶段，在初始化阶段，选取前WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测；在滑动阶段，每隔一个测量间隔时间，将最新的测量数据加入到滑动窗口并将最旧的测量数据剔除，保持滑动窗口的长度不变，滑动窗口的长度为WIN，选取滑动窗口内的WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测，WIN为自然数。

WIN为2的倍数。

时间复杂度是在网络异常在线检测方法的重要指标。在线MSPCA异常检测算法单步执行时的时间复杂度是O(WIN*p²+WIN)，即O(WIN*p²)。若WIN＝2⁹＝512，采用配置为2.33GHz的CPU、2GB内存的计算机，对表1中数据集F执行在线MSPCA异常检测算法，单步运行时间小于1秒，完全满足实时检测异常的需要。

●评价异常检测算法的检测性能主要有两种方法：因特网实测数据分析和模拟试验分析。因特网实测数据分析方法的优势在于，检测到的异常是真实的因特网异常事件。但是该方法具有两点不足：首先，因特网实测数据中何时真正出现异常很难知道，即便是经验丰富的专家也无法完全正确地标记出所有异常；其次，这些异常仅仅包含固定数目的异常，而且异常的种类和参数也是不变的，因此无法对检测算法的敏感性(即异常流量的大小、异常的持续时间、源-目的数等参数对算法检测性能的影响)进行分析。相反，模拟试验的优势在于可以人为地生成各种类型且具有不同参数的异常事件，且所有的异常事件发生的时间都是已知的，因此可以更为精确地评价检测算法的性能；但是该方法的不足在于异常事件是人为产生的，不一定能完全反应网络的真实状况。考虑到以上两种方法各自的优缺点，现采用两种方法相结合的方式来评价本发明的基于多尺度主成分分析的网络异常检测方法的检测性能。

(一)，因特网实测数据分析：

1.数据集

本文使用的流量矩阵数据集来自于Abilene网络，Abilene网络属于因特网的骨干网，它在2003年有11个PoP点，传送的流量大部分来自美国的大学、研究机构等非商业用户。

由于Abilene网络具有很高的分组速率，测量装置无法捕获流数据中的每个分组，因此Abilene网络使用1％的采样率收集网络中每个边界路由器的流数据。我们根据BGP和ISIS选路表识别出每条流的入口点和出口点，然后每隔5分钟计算出该时间间隔内每个OD对的流量大小。本发明使用的流量矩阵数据集总结见表1。需要指出的是，表1中的数据集来自因特网实测数据，包含了突发流量和异常流量，下面将通过试验证实MSPCA异常检测算法能够在突发流量背景下成功地检测出异常流量。

表1Abilene流量矩阵数据集

序号	持续时间	间隔时间(分钟)	测度	矩阵形式	数据集
						1	2003.12.15-12.21	5	字节数	2010×121	B
2	2003.12.15-12.21	5	分组数	2010×121	P
						3	2003.12.15-12.21	5	流数	2010×121	F

2.评价方法

为了评价异常检测算法的检测性能，我们采用接收机工作特性(ReceiverOperation Characteristic，ROC)曲线，ROC曲线的x轴坐标表示误报率(FalsePositive Rate，FPR)，y轴坐标表示检测率(True Positive Rate，TPR)，ROC曲线上的每个点对应一对误报率和检测率，每条ROC曲线反映了检测算法在各种检测阈值条件下的误报率和检测率的折衷。如果ROC曲线的纵坐标随着横坐标的逐渐增加而迅速到达图的左上角，则表明算法仅仅以很小的误报率取得很高的检测率，即算法具有很好的检测性能。为了定量评价算法的检测性能，人们通常以ROC曲线下方覆盖的区域面积作为衡量检测性能好坏的指标，算法的ROC曲线下方覆盖的区域面积越大，则算法的检测性能越好。

3.检测性能

对表1中数据集B、P和F分别应用MSPCA和PCA算法，MSPCA算法采用Shewart控制图和db5小波，检测结果及检测性能如图3～图8所示。可以看出，对于三个不同的数据集，MSPCA算法的检测性能均优于PCA算法。特别地，对于数据集P，MSPCA算法仅仅以小于0.1的误报率取得了0.95的检测率；对于数据集F，MSPCA算法仅仅以小于0.1的误报率取得了0.85的检测率。

对表1中数据集B、P和F分别应用MSPCA算法和在线MSPCA算法，两种算法均采用db5小波和EWMA控制图，平滑指数α＝0.3，在线MSPCA算法的滑动窗口长度为2⁹，检测结果及检测性能如图9～图14所示。可以看出，对于三个数据集，在线MSPCA算法的检测性能均与MSPCA算法非常接近。特别地，对于数据集P，在线MSPCA算法仅仅以0.3的误报率取得了0.85的检测率；对于数据集F，在线MSPCA算法仅仅以0.25的误报率取得了0.85的检测率。

对表1中数据集B、P和F分别应用MSPCA算法和KLE算法，MSPCA算法采用Shewart控制图和db5小波，KLE算法的时间相关性幅度N＝2，两种算法的检测性能如图15～图17所示。可以看出，对于三个不同的数据集，MSPCA算法的检测性能均优于KLE算法。

(二)，模拟试验与分析：

1.试验方法

为了在受控条件下模拟真实的因特网流量矩阵，以表1中实测的因特网流量矩阵为基础，采用以下3个步骤人工合成流量矩阵。

第1步：对流量矩阵中每个OD流量，利用小波变换抽取周期性的正常流量。利用db5小波对OD流量进行小波分解，获得尺度函数系数向量，然后利用小波重构算法单支重构出平滑的低频信号，滤除了包含噪声和异常的高频信号；

第2步：在第1步产生的基准流量矩阵的每个OD流量上加入零均值的高斯噪声，获得不含异常的基准流量矩阵；

第3步：在第2步产生的含噪音的基准流量矩阵中以一定的规则加入各种典型异常。

采用以上3个步骤对数据集F中OD1流量进行处理，获得的结果如图18所示。

由于本发明重点关注流量大小异常的检测，所以我们模拟四种最常见的流量异常：阿尔法(alpha)异常、(分布式)拒绝服务攻击(DoS/DDoS)、突发流(flashcrowd)、入口/出口移动(ingress/egress shift)异常。这四种异常的具体特征见表2。

可以用4个参数来描述这4种网络流量异常：持续时间、流量变化大小、源-目的数以及形状函数。各种异常通常具有不同的持续时间，例如拒绝服务攻击通常持续5～30分钟，阿尔法和突发流异常可能持续任意时间，而入口/出口移动异常通常持续很多天，直到发生下次BGP策略变化。当网络异常出现时，可以用两种方式模拟流量大小的变化：一是通过为基准流量矩阵中部分OD流乘上一个乘法因子δ，二是通过为基准流量矩阵中部分OD流加上一个常数项Δ。源-目的数是指异常所涉及的OD流的数目，记号(1，1)表示异常涉及单个源和单个目的地，这可能是由于拒绝服务攻击或阿尔法事件，(N，1)表示异常涉及N个源点和1个目的地，这可能是由于出现了分布式拒绝服务攻击或突发流，(2，2)表示异常涉及2个源点和2个目的地，这可能是由于入口/出口移动事件引起的。形状参数是用来模拟各种异常的变化行为，如阿尔法异常通常表现为流量大小的急剧上升，拒绝服务攻击通常表现为流量大小的逐渐上升，突发流事件通常表现为流量大小的迅速上升，然后又逐渐减少，而入口/出口移动表现为流量大小的阶跃变化，这些行为可以用不同的形状函数及其组合来表征。以上4个参数的可能取值见表3，选取不同的参数就可以模拟出各种不同的异常。

表2异常类型及其特征

异常类型	特征
		阿尔法	点到点之间不寻常的高速字节传输
(分布式)拒绝服务攻击	单源或多源对单个目的地的洪泛攻击
		突发流	大量客户同时访问某一Web站点
入口/出口移动	BGP策略变化引起流量出口点的变化

表3异常参数及其取值

2.检测性能

以表1中流量矩阵数据集F为基础人工合成流量矩阵，注入四类不同的流量异常。其中，从第1-500时刻注入10组阿尔法异常，每组异常持续30分钟，增加的异常流量为原始OD流量均值的50％(即δ＝0.5)，涉及的源-目的OD数为(1，1)，异常的形状函数为阶跃函数；从第501-1000时刻注入10组DDoS攻击异常，每组异常持续30分钟，增加的异常流量为原始OD流量均值的40％-50％(即0.4≤δ≤0.5)，涉及的源-目的OD数为(5，1)，异常的形状函数为斜坡函数；从第1101-1150时刻注入1组突发流异常，异常持续250分钟，增加的异常流量为原始OD流量均值的20％-50％(即0.2≤δ≤0.5)，涉及的源-目的OD数为(5，1)，异常的形状函数为斜坡函数；从第1981-2010时刻注入1组入口/出口移动异常，异常持续150分钟，增加的异常流量为原始OD流量均值的80％(即δ＝0.8)，涉及的源-目的OD数为(1，1)，异常的形状函数为阶跃函数。对合成的流量矩阵分别应用MSPCA算法和PCA算法，MSPCA算法采用Shewart控制图和db5小波，检测结果及检测性能如图19～图20所示。可以看出，MSPCA算法的检测性能优于PCA算法。特别地，MSPCA算法仅仅以0.2的误报率取得了0.9的检测率。

以表1中流量矩阵数据集F为基础人工合成流量矩阵，从第501-1000时刻注入10组DDoS攻击异常，每组异常持续30分钟，增加的异常流量为原始OD流量均值的50％(即δ＝0.5)，涉及的源-目的OD数为(5，1)，异常的形状函数为阶跃函数。对合成的流量矩阵分别应用MSPCA算法和在线MSPCA算法，两种算法均采用EWMA控制图和db5小波，平滑指数α＝0.3，在线MSPCA算法的滑动窗口长度为2⁹，检测结果及检测性能如图21～图22所示。可以看出，在线MSPCA算法的检测性能非常接近MSPCA算法。特别地，在线MSPCA算法仅仅以0.25的误报率取得了0.8的检测率。

采用与上面同样的方式合成流量矩阵，分别应用MSPCA算法和KLE算法，MSPCA算法采用Shewart控制图和db5小波，KLE算法的时间相关性幅度N＝2，两种算法的检测性能如图23所示。可以看出，MSPCA算法的检测性能优于KLE算法。

3.参数分析

MSPCA算法中最重要的参数是采用的小波算法。为了验证不同的小波算法是否对MSPCA算法的检测性能有影响，我们对以表1中流量矩阵数据集F为基础人工合成的流量矩阵数据应用MSPCA算法，当采用不同的小波算法时，检测结果和检测性能如图24～图25所示。可以看出，当MSPCA算法采用不同的小波算法时产生的检测性能几乎相同。

在线MSPCA算法中最重要的参数是滑动窗口长度WIN。为了验证不同的滑动窗口长度是否对在线MSPCA算法的检测性能有影响，我们对以表1中流量矩阵数据集F为基础人工合成的流量矩阵数据应用在线MSPCA算法，当采用不同的滑动窗口长度时，检测结果和检测性能如图26～图27所示。可以看出，当在线MSPCA算法采用的滑动窗口越长，算法的检测性能越好。但是，随着滑动窗口长度的增加，在线MSPCA算法单步执行所需的时间越长，因此在选择滑动窗口长度的取值时，应该寻求检测性能和检测时间的折衷，即在满足检测性能的前提下，尽量减小滑动窗口的长度。

4、敏感性分析

MSPCA算法可以采用Shewart控制图或EWMA控制图，为了分析这两种不同的残余流量分析方法对异常流量大小的敏感性，我们在第1500-1700时刻之间注入DDoS攻击流量，不断改变异常流量的大小，两种MSPCA算法的检测率和误报率如图28～图29所示，其中横坐标表示乘法因子δ。可以看出，随着异常流量的增大，两种MSPCA算法的检测率均增加，误报率均减小。当异常流量较小时，EWMA控制图获得的检测性能优于Shewart控制图，当异常流量较大时，Shewart控制图获得的检测性能优于EWMA控制图。因此，EWMA控制图适合于检测较小的异常流量，而Shewart控制图适合于检测较大的异常流量。

●附录：流量矩阵的时空特性分析

流量矩阵的时空相关性是基于流量矩阵的全网络异常检测方法有效性的前提条件。为此，本发明应用小波变换对流量矩阵进行多尺度分析，揭示其时间相关性；在每个尺度上，应用主成分分析方法对小波系数矩阵进行单尺度主成分分析，揭示其在各个时间尺度上的空间相关性。

1、多尺度分析

T×p的流量矩阵X是由p个OD流量构成的多元时间序列，而每个OD流量都是许多不同的用户群行为共同作用的结果，那么这些OD流量在不同的时间尺度下是否具有不同的特征呢？为了回答这个问题，我们引入小波分析方法。

小波分析方法是一种窗口大小(即窗口面积)固定但其形状可以改变，时间窗和频率窗都可以改变的时频局域化分析方法，即在低频部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，所以被称为数学显微镜。

小波基函数是由同一母函数ψ(t)经过伸缩和平移后得到的一组函数序列，可以记作

ψ_{su} (t) = \frac{1}{\sqrt{s}} ψ (\frac{t - u}{s}) - - - (5)

其中，s和u分别表示伸缩和平移因子。在实际应用中，伸缩和平移因子通常被二进离散化，此时，小波函数族表示为

ψ_mk(t)＝2^-m/2ψ(2^-mt-k) (6)

其中，m表示伸缩因子，它决定小波在频域中的位置，即尺度；k表示平移因子，它决定小波在时域中的位置。(6)式表示的小波基函数可以被设计为相互标准正交，如Daubechies小波。

任何信号通过向小波基函数进行投影都可以被分解为不同频率的成分。与滤波器H的卷积表示向尺度函数的投影，与滤波器G的卷积表示向小波函数的投影，则不同尺度下的系数可以表示如下：

a_m＝Ha_m-1，d_m＝Ga_m-1 (7)

其中，d_m表示尺度为m的小波函数系数向量，a_m表示尺度为m的尺度函数系数向量。如果将原始数据x看作最细尺度上的尺度函数系数向量，则(7)式可以表示为：

a_m＝H_mx，d_m＝G_mx (8)

其中，H_m表示应用H滤波器m次，G_m表示应用H滤波器m-1次且应用G滤波器1次。

根据(8)式中不同尺度对应的尺度函数系数向量a_m和小波函数系数向量d_m，可以单支重构出不同尺度下的低频和高频信号成分，而且根据所有尺度对应的尺度函数系数向量a_m(m＝1，...，L)和最粗尺度L对应的小波函数系数向量d_m(m＝L)，可以重构出原始信号。

对表1中数据集F中每列OD流量进行小波分析，其中第1列和第121列的OD流量原始信号和对应的小波分解结构如图30～图31所示。可以看出，尺度函数系数明显大于小波函数系数，因此这两个OD流量原始信号中确定性成分完全由低频信号构成，而随机性成分则由高频信号构成。为了进一步分析这两个OD流量原始信号中确定性成分和随机性成分的具体特性，我们根据不同尺度对应的尺度函数系数向量和小波函数系数向量，单支重构出不同尺度下的低频和高频信号成分，如图32～图33所示。可以看出，低频成分a₅具有显著的周期性且周期约为1天，它们是正常流量呈现出的周期性波动现象，而其它高频成分中除了噪音成分以外，还包含一些突发的随机性信号，它们是各种不同频率的异常流量。

为了将信号中确定性成分和随机性成分分离，本文采用中位绝对偏差(Median Absolute Deviation，MAD)方法对所有尺度的小波系数向量进行过滤，根据过滤后所有尺度的小波系数向量，我们重构出OD流量原始信号，如图34～图35所示。可见，重构信号保留了原始信号中确定性的变化趋势，滤除了各种随机性的异常信号成分。对表1中3个流量矩阵数据集的所有OD流量进行同样的分析，可以获得类似的结论。

本附录采用了小波分析方法对流量矩阵进行多尺度分析，揭示其时间相关性，下节我们将采用单尺度主成分分析方法在不同时间尺度上对流量矩阵进行降维分析，揭示其空间相关性。

2、单尺度主成分分析

为了在各个时间尺度上对流量矩阵X进行单尺度主成分分析，本文对流量矩阵X的每列应用同样的标准正交小波变换W，获得各个尺度上的小波系数矩阵，其中：

W＝[H_L，G_L，G_L-1，...，G_m，...，G_L]^T (9)

G_m表示尺度为m＝1，...，L对应的小波函数系数矩阵，H_L表示最粗尺度对应的尺度函数系数矩阵。

由于流量矩阵X的每列应用同样的标准正交小波变换W，所以在WX不同列之间的关系与X不同列之间的关系完全相同，即X在小波变换前后不同列之间的互相关性没有发生变化，所以我们可以通过对WX中不同尺度的小波系数矩阵进行主成分分析来实现对X在不同时间尺度下空间相关性的分析。

主成分分析是一种将数据投影到新坐标轴的坐标转换方法，这些轴被称为主轴。每个主轴具有这样的特性：它指向保留在数据中最大方差的方向。第一主轴捕获原始数据中最大的方差，第二主轴捕获剩余正交方向中最大的残留方差，依此类推。因此主轴是按照它们捕获数据中方差的大小来排序的。

计算小波系数矩阵Y的主轴等价于求解协方差矩阵Y^TY的特征值。每个主轴v_i是对Y^TY进行谱分解计算得到的第i个特征向量：

Y^TYv_i＝λ_iv_i，i＝1，...，p (10)

其中，λ_i是对应于主轴v_i的特征值，而且由于Y^TY是对称正定矩阵，所以它的所有特征向量都是正交的，对应的特征值都是非负实数。依照惯例，特征向量具有单位范数，特征值按照递减顺序排列，即λ₁≥λ₂≥...≥λ_p。

记

α_{r} = \frac{Σ_{i = 1}^{r} λ_{i}}{Σ_{i = 1}^{p} λ_{i}}

表示前r个主轴对Y的累计方差贡献率，对事先选定的累计方差贡献率阈值c₀，确定使得α_r≥c₀的最小的r，通常取c₀＝85％，此时r称作小波系数矩阵Y的固有维度。若r＜＜p，则称小波系数矩阵Y具有低维度特性。

图36～图38显示了表1中B、P和F这三个数据集中每个主轴对应的方差贡献率。可以看出，如果选取累计方差贡献率阈值为0.85，则这三个数据集的固有维度都不超过5＜＜121，因此这三个数据集的所有小波系数矩阵均具有低维度特性，这是因为不同的OD流量可能来自某些共同的用户群体，而且这些用户群体的行为呈现不同的时间尺度，所以相应地这些OD流量在各个时间尺度下均存在空间相关性。

Claims

1.一种基于多尺度主成分分析的网络异常检测方法，其特征是：利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析的降维能力，对流量矩阵中的正常流量进行建模，然后对残余流量进行分析，从而实现网络的异常检测；对流量矩阵中的正常流量进行建模的方法含有以下步骤：

第1步：流量矩阵的小波分解：首先采用标准正交小波变换对流量矩阵（X）进行多尺度分解，获得各个尺度的小波系数矩阵(Z_L,Y_m(m＝1,...,L))，然后采用中位绝对偏差方法对各个尺度的小波系数矩阵(Z_L，Y_m(m＝1，...,L))进行过滤，获得过滤后的各个尺度的小波系数矩阵

进行主成分分析；然后根据碎石图方法选择PC的数目；最后重构出各个尺度的重构小波系数矩阵

采用小波逆变换重构出第一重构流量矩阵；

第4步：流量矩阵的主成分分析和重构：首先对第一重构流量矩阵进行主成分分析；然后根据碎石图方法选择PC的数目；最后重构出第二重构流量矩阵

2.根据权利要求1所述的基于多尺度主成分分析的网络异常检测方法，其特征是：对流量矩阵（X）中的正常流量进行建模后，残余流量主要由两部分组成：噪声流量和突发流量，其中，噪声流量主要是由正常流量的模型的误差引起的，而突发流量主要是由各种异常行为引起的；所述残余流量分析采用两种控制图方法来实现，两种控制图方法为Shewart控制图方法和EWMA控制图方法；Shewart控制图方法可快速检测出流量的急剧变化，而在检测缓慢变化的异常流量时速度较慢；在选择合适的参数后，EWMA控制图方法可检测变化缓慢但持续时间较长的异常流量。

3.根据权利要求2所述的基于多尺度主成分分析的网络异常检测方法，其特征是：所述Shewart控制图方法直接对平方预测误差的时间序列进行检测，平方预测误差记作Q_i，Q_i的计算公式为：

Q_{i} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵（X）中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵的维数；采用Q统计量作为平方预测误差的阈值，Q统计量记作

定义如下：

δ_{α}^{2} = φ_{1} {[\frac{c_{α} \sqrt{2 φ_{2} h_{0}^{2}}}{φ_{1}} + 1 + \frac{φ_{2} h_{0} (h_{0} - 1)}{φ_{1}^{2}}]}^{\frac{1}{h_{0}}}

其中，

h_{0} = 1 - \frac{2 φ_{1} φ_{3}}{3 φ_{2}^{2}},

φ_{k} = Σ_{L = r + 1}^{p} λ_{L}^{k}, k = 1,2,3,

λ_L为将第二重构流量矩阵

的固有维数，p为第二重构流量矩阵的维数；如果

则认为出现网络异常。

4.根据权利要求3所述的基于多尺度主成分分析的网络异常检测方法，其特征是：所述

表示置信度为1-α时平方预测误差的阈值，所述α为0.001，所述L等于j。

5.根据权利要求2所述的基于多尺度主成分分析的网络异常检测方法，其特征是：所述EWMA控制图方法根据最近的历史数据预测时间序列下一时刻的值，在第t-1时刻残余流量的预测值记作

则：

{\hat{Q}}_{t} = n Q_{t - 1} + (1 - n) {\hat{Q}}_{t - 1}

Q_{t} = Σ_{j = 1}^{p} {(x_{ij} - {\hat{x}}_{ij})}^{2}

其中，x_ij为流量矩阵（X）中第i行第j列的元素值，

为第二重构流量矩阵

中第i行第j列的元素值，

p为第二重构流量矩阵

的维数；

通过关系式迭代求取第t时刻残余流量的预测值

再根据第t时刻残余流量的实际值Q_t计算出绝对值绝对值

称为EWMA过程统计量；

EWMA控制图的控制极限可以渐近表示为：

UCL = μ_{s} + F \times σ_{s} \sqrt{\frac{n}{(2 - n) T 1}}

时，则认为出现网络异常。

6.根据权利要求5所述的基于多尺度主成分分析的网络异常检测方法，其特征是：当t＝0时，残余流量的预测值可根据经验预置，预置的标准是：使

| Q_{0} - {\hat{Q}}_{0} | < UCL

成立。

7.一种含有权利要求1所述基于多尺度主成分分析的网络异常检测方法的网络异常在线检测方法，其特征是：采用滑动窗口机制，并将检测过程分为两个阶段：初始化阶段和滑动阶段，在初始化阶段，选取前WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测；在滑动阶段，每隔一个测量间隔时间，将最新的测量数据加入到滑动窗口并将最旧的测量数据剔除，保持滑动窗口的长度不变，滑动窗口的长度为WIN，选取滑动窗口内的WIN个测量数据构成流量矩阵，针对该流量矩阵，应用所述基于多尺度主成分分析的网络异常检测方法进行网络异常检测，WIN为自然数。

8.根据权利要求7所述的网络异常在线检测方法，其特征是：所述最新的测量数据为流量矩阵中位于滑动窗口内行序号最大的行向量数据，最旧的测量数据为流量矩阵中位于滑动窗口内行序号最小的行向量数据。

9.根据权利要求7所述的网络异常在线检测方法，其特征是：所述WIN为2的倍数。