CN102075383A - 一种基于神经网络的低幅值网络流量异常检测方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的低幅值网络流量异常检测方法，其中神经网络模块包括第二和第一多层递归神经网络，第二多层递归神经网络的输入为可直接测得的链路流量，输出为部分OD流估计流量；第一多层递归神经网络的输入为所述链路流量和作为补充约束输入的第二多层递归神经网络的输出部分OD流估计流量，输出为特征参数的估计值。本发明跳过链路到OD流的反演步骤，能有效避免推测过程形成的误差给检测步骤带来的影响，还可提供下一时刻OD流相关性的实时预测；应用本发明，更利于隐蔽流量异常的检测；不仅使检测过程不再完全依赖于链路到OD流的估计，解决了反演误差影响检测的问题，且该框架允许链路流量到多条OD流特征参数的估计。

Description

一种基于神经网络的低幅值网络流量异常检测方法

技术领域

本发明涉及一种网络流量异常检测方法，尤其涉及一种基于神经网络的低幅值网络流量异常检测方法。

背景技术

网络中的异常行为，如设备故障、链路或节点错误、突发访问，以及一些由恶意原因引起的诸如DDoS攻击和蠕虫传播的异常行为，都会导致网络性能下降，甚至导致网络不可用。这些异常具有分布式特征，即同时存在于多条链路中，形成分布式的流量异常；并且异常流量从单条链路上来看，可能极其隐蔽，并不表现出显著的异常特征。对于网络管理人员来说，及时有效地检测并响应处理这些低幅值的隐蔽流量异常十分困难。

现有的网络流量异常检测方法包括链路流量记录和OD流流量记录。

(1)链路流量记录是一种高聚集程度的统计，包含了经过该链路所有OD流流量的叠加，可用于网络元素错误引起的异常流量诊断，这些事件通常对链路流量具有明显影响，造成链路幅值陡然上升或下降，然而对于一些造成低幅值网络流量异常的网络级别异常事件来说，链路流量的分析是不够的。

(2)与链路流量记录相比，由于OD流呈现出端到端流量本质特征且聚集程度更低，OD流流量记录是一种低聚集程度的统计，每条OD流对应网络中的一条路径，选择性地挑选某些OD流子集进行分析，能更符合异常发生的现实情况：如设备节点发生故障时，经过该节点的多条OD流都会有所影响；DDoS攻击发生时，所有指向受害者的OD流上都具有相似特征的攻击流量，这些同时发生在多条OD流上的潜在相似异常特征，可能引起他们之间的相关性，即一种OD流级别的特征参数，较正常情况下产生改变。由此所述OD流更利于检测低幅值网络流量的异常。但是，OD流流量是无法直接测量得到的，一般由两种方式获得，一种是由netflow取得的流级别数据结合路由协议分析得到，该方式通常不能用于实时在线检测过程中；另一种是由直接测量的链路数据通过反演方式得到，然而各种反演技术存在严重的欠定性问题，所述欠定性问题虽然可以通过引入先验信息或对OD流建立模型来克服，但流量异常发生时与正常情况下的先验信息不符，或者很难找到某种确定的数学模型对OD流进行建模，使得OD流反演结果并不准确，进而直接影响基于OD反演结果的检测步骤。

发明内容

本发明目的在于提供一种可以有效避免OD流反演误差给检测步骤带来的影响且可提供下一时刻OD流相关性预测的基于神经网络的低幅值网络流量异常检测方法。

为实现上述目的，本发明中的神经网络模块包括第二和第一多层递归神经网络，所述第二多层递归神经网络的输入为可直接测量得到的链路流量，输出为部分OD流估计流量；所述第一多层递归神经网络的输入为所述链路流量和作为补充约束输入的部分OD流估计流量，输出为特征参数的估计值。

进一步的，所述基于神经网络的低幅值网络流量异常检测方法包括以下步骤：

11)准备第二多层递归神经网络的训练样本，训练第二多层递归神经网络的输入样本为链路流量样本，由所述链路流量样本得到链路节点间的OD流流量，所述第二多层递归神经网络的输出样本为从所述OD流流量中选择出的OD流子集；

12)准备第一多层递归神经网络的训练样本，训练第一多层递归神经网络的输入样本为所述链路流量样本和所述OD流子集，所述第一多层递归神经网络的输出样本为特征参数样本；

13)根据第一与第二多层递归神经网络的训练样本分别训练所述第一和第二多层递归神经网络的权值；

14)将实际网络的链路流量输入至训练完成后的所述神经网络模块内，所述神经网络模块的输出值为特征参数的估计值，根据所述特征参数的估计值判断所述实际网络的链路流量的状态。

进一步的，所述OD流子集的选择方法包括，第一种选择方法，所述第一种选择方法针对多源到单目的地的特征，所述OD流子集包括指向该节点的多条OD流；第二种选择方法，所述第二种选择方法针对单源到多目的的特征，所述OD流子集包括由同一源节点发出的多条OD流；以及，第三种选择方法，所述第三种选择方法为针对链路或节点存在错误的特征，所述OD流子集包括经过同一节点或链路的多条OD流。

进一步的，所述特征参数样本为多条OD流变化特征相关系数，所述多条OD流变化特征相关系数满足公式其中a表示当前采样时刻，coff(i，j，a)表示第i个和第j个OD流变化特征相关系数，m为OD流两两组合且i≠j时coff(i，j，a)的数目。

本发明的有益效果在于，所述基于神经网络的低幅值网络流量异常检测方法跳过链路到OD流的反演步骤，能有效避免推测过程形成的误差给检测步骤带来的影响，还可提供下一时刻OD流相关性的预测，适用于实时检测；由链路数据出发，但检测对象聚集程度更低的OD流间的相关性，从流量聚集程度的角度上讲，本发明对OD流的分析更利于隐蔽流量异常的展现；应用本发明，不仅使检测过程不再完全依赖于链路到OD流的估计，解决了反演误差影响检测的问题，并且该框架允许链路流量到多种OD流特征参数的估计。

附图说明

图1示出了本发明中神经网络组成模块示意图。

图2示出了本发明所述检测方法的流程图。

图3示出了本发明所述检测方法所采用的滑动时窗的示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

图1示出了本发明中神经网络模块原理示意图。所述神经网络模块包括第一和第二多层递归神经网络2；所述第二多层递归神经网络2的输入为可直接测量得到的链路流量L(m)＝{l₁(m)，l₂(m)，…，l_n(m)}，其中n为链路流量数，m为当前采样时刻，l_n(m)为第n路链路流量；所述第二多层递归神经网络2的输出为部分OD流估计流量，所述部分OD流估计流量表示为所述第一多层递归神经网络1的输入为所述链路流量L(m)和作为补充约束输入的部分OD流估计流量，由于所述部分OD流估计流量为第二多层递归神经网络2的输出，其与链路流量L(m)相比总是滞后的，因此所述部分OD流估计流量表示为

所述第一多层递归神经网络1的输出为特征参数的估计值。对于第一多层递归神经网络1来说，所述部分OD流估计流量是辅助输入，作为一种后验知识，在一定程度上起到引导神经网络模块权值训练的作用。

图2示出了本发明所述检测方法的流程图。所述基于神经网络的低幅值网络流量异常检测方法包括以下步骤：

11)准备第二多层递归神经网络2的训练样本，训练第二多层递归神经网络2的输入样本为链路流量样本，由所述链路流量样本得到链路节点间的OD流流量，所述第二多层递归神经网络2的输出样本为从所述OD流流量中选择出的OD流子集；

12)准备第一多层递归神经网络1的训练样本，训练第一多层递归神经网络1的输入样本为所述链路流量样本和所述OD流子集，所述第一多层递归神经网络1的输出样本为特征参数样本；

13)根据第一与第二多层递归神经网络2的训练样本分别训练所述第一和第二多层递归神经网络2的权值；

14)将实际网络的链路流量输入至训练完成后的所述神经网络模块内，所述神经网络模块的输出值为特征参数的估计值，根据所述特征参数的估计值判断所述实际网络的链路流量的状态。

进一步的，所述OD流子集的选择方法包括第一种、第二种和第三种选择方法，可以采用所述这三种选择方法的一种或多种进行所述OD流子集的选择。所述第一种选择方法针对DDoS攻击和FC发生时多源到单目的地的特征，所述OD流子集包括指向该节点的多条OD流；所述第二种选择方法针对蠕虫扫描时单源到多目的的特征，所述OD流子集包括由同一源节点发出的多条OD流；所述第三种选择方法为针对链路或节点存在错误的特征，所述OD流子集包括经过同一节点或链路的多条OD流。

所述特征参数样本的求取方法如下：由于网络路径、时延等原因，分布式的网络异常流可能不在同一时刻产生，只考虑同样时间段内OD流变化特征的相关性可能导致结果不准确，因此引入两个滑动时窗，考虑邻近时间段内OD流变化特征的相关性。如图3所示，O_i和O_j分别为两条不同的OD流变化特征，时窗w₁以时刻点a为起始点，截取时间序列O_i中长度为w₁的子段，作为一个向量。O_j序列中截取的子段的起始位置点，可在(a-w₂，a+w₂)中滑动，同样截取的长度为w₁为另一个向量；在O_j中的截取向量的起始位置点每滑动一次，可得到一个相关系数，取这2w₂个相关系数中最大值作为O_i和O_j在时间点a上的相关系数：

其中a_j为在O_j中的截取向量起始位置点的滑动范围。a时刻某节点的多条OD流变化特征相关系数为多条OD流变化特征两两相关系数的均值，其满足公式

其中m为某规则下，选择OD流子集，所述OD流子集中的元素两两组合且i≠j时coff(i，j，a)的数目。根据上述公式可以求得OD流子集中多条OD流变化特征相关系数，该相关系数属于范围(0，1)，若该相关系数接近1，则表示输入的OD流子集相关程度高，具有相类似的特征，即网络出现异常；反之，若该相关系数接近0，则表示输入的OD集子集相关程度低，不具有相似特征，即网络没有出现异常。

进一步的，训练第一或第二多层递归神经网络2权值的方法，包括以下步骤：

21)网络初始化，初始化所述多层递归神经网络的前向权值w_f和网络反馈权值w_g为均值接近于0的正态分布或者均匀分布随机值；

22)输入训练数据，训练样本为(u(m)，Z(m))，其中u(m)为输入向量，Z(m)为期望响应向量；

23)前向计算，层l的神经元j的诱导局部域v_j ^(l)(m)为，

其中y_i ^(l-1)(n)为第l-1层神经元i的输出信号，w_ji ^(l)(m)为第l-1层神经元i指向第l层的神经元j的权值；

24)反向训练，定义代价函数为

定义局部梯度为

当阶段深度为h时，n-h＜m≤n；权值更新，一旦执行反向传播的计算回到n-h+1，对神经元j的权值即按照DEKF算法的计算结果进行调整。

25)迭代，不断把阶段训练数据序列循环输入到多层递归神经网络，计算RMSE训练误差，所述训练误差RMSE表示为

其中Z(m)为时刻m的期望输出，为估计结果，M为估计总点数。若所述RMSE训练误差小于预设的训练门限，则迭代停止，并保存结果，否则返回步骤23。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于神经网络的低幅值网络流量异常检测方法，其特征在于：所述基于神经网络的低幅值网络流量异常检测方法中的神经网络模块包括，

第二多层递归神经网络，所述第二多层递归神经网络的输入为可直接测量得到的链路流量，输出为部分OD流估计流量；以及，

第一多层递归神经网络，所述第一多层递归神经网络的输入为所述链路流量和作为补充约束输入的部分OD流估计流量，输出为特征参数的估计值。

2.根据权利要求1所述基于神经网络的低幅值网络流量异常检测方法，其特征在于：包括以下步骤，

11)准备第二多层递归神经网络的训练样本，训练第二多层递归神经网络的输入样本为链路流量样本，由所述链路流量样本得到链路节点间的OD流流量，所述第二多层递归神经网络的输出样本为从所述OD流流量中选择出的OD流子集；

12)准备第一多层递归神经网络的训练样本，训练第一多层递归神经网络的输入样本为所述链路流量样本和所述OD流子集，所述第一多层递归神经网络的输出样本为特征参数样本；

13)根据第一与第二多层递归神经网络的训练样本分别训练所述第一和第二多层递归神经网络的权值；

14)将实际网络的链路流量输入至训练完成后的所述神经网络模块内，所述神经网络模块的输出值为特征参数的估计值，根据所述特征参数的估计值判断所述实际网络的链路流量的状态。

3.根据权利要求2所述基于神经网络的低幅值网络流量异常检测方法，其特征在于：所述OD流子集的选择方法包括，

第一种选择方法，所述第一种选择方法针对多源到单目的地的特征，所述OD流子集包括指向该节点的多条OD流；

第二种选择方法，所述第二种选择方法针对单源到多目的的特征，所述OD流子集包括由同一源节点发出的多条OD流；以及，

第三种选择方法，所述第三种选择方法为针对链路或节点存在错误的特征，所述OD流子集包括经过同一节点或链路的多条OD流。

4.根据权利要求2所述基于神经网络的低幅值网络流量异常检测方法，其特征在于：所述特征参数样本为多条OD流变化特征相关系数，所述多条OD流变化特征相关系数满足公式

$Z\left(a\right)=\frac{1}{m}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\mathrm{coff}(i,j,a),$

其中a表示当前采样时刻，coff(i，j，a)表示第i个和第j个OD流变化特征相关系数，m为OD流两两组合且i≠j时coff(i，j，a)的数目。

Images