CN104144089A - 一种基于bp神经网络进行流量识别的方法 - Google Patents

Abstract

本发明通过获取简单的数据包包头信息生成特征值，从中选择合适的特征值作为BP神经网络的输入，得到样本训练集，然后实施抓取网络数据流提取特征作为BP神经网络的输入进行实时识别。时间窗的方法提取的特征值具有可扩展性且易于实现。选择三层的神经网络作为实现方案，通过粒子群算法(Particle Swarm Optimization，PSO)寻找具有全局最优特性的初始化权值，BP神经网络采用分布、并行的网状结构进行训练学习，使其容错性更高，处理速度更快，可以更好的完成实时识别。同时，BP神经网络是通过全局寻优的方式进行训练的，因此也具有很高的泛化能力，可以应对未来更复杂和多样的网络环境。

Description

一种基于BP神经网络进行流量识别的方法

技术领域

本发明涉及网络流量识别领域，尤其涉及一种基于神经网络进行流量识别的方法。

背景技术

随着信息网络时代的到来，网络数据呈现爆发式的急剧增长，而且网络应用越来越多，随之而来的是用户对网络带宽的要求越来越高。这就造成网络带宽不足，网络阻塞现象的增多。网络流量识别便可以发挥重要作用，为用户提高安全可靠和高质量的服务，因此网络流量识别和QOS控制管理已经得到越来越多的重视。

现有的网络流量识别方法主要分为四个方面：基于端口号的流量识别方法、基于净载荷特征的流量识别方法、基于网络行为特征的流量识别方法和基于机器学习的流量识别方法。但随着网络应用的不断发展增多，通信协议的不断改变，网络运营商开始对流量数据进行加密，对网络应用的识别越来越困难。现有的技术大多采用机器学习方法进行流量识别，通过从大数据中提取隐含的、潜在的有效特征信息，选择流量特征和机器学习算法来进行网络流量的识别。但是目前机器学习的识别方法实时性不强，无法实时识别出当前用户的网络使用情况。通过长时间抓取数据包进行分析不仅复杂度高而且难于实现。随着网络的高速发展，网络的数据情况也会变得更为复杂且具有多样性，目前的机器学习不利于扩展，不具有很好的泛化能力。

发明内容

通过对网络流量识别和机器学习的研究与分析，本发明提出一种基于BP神经网络的网络应用实时识别的算法，此方法通过在不同网络状况和不同时间段，连续在一段时间统计网络数据流，并且从网络数据包的包头中提取简单有效的特征生成特征值，这样提取的网络特征值易于扩展且具有很好的泛化能力。选择三层的BP神经网络作为实现方案，其分类能力满足流量识别的要求并且结构简单易于实现。选择S型函数作为BP神经网络隐含层的转移函数，实现对网络流特征等输入信息的非线性映射。通过粒子群算法(Particle SwarmOptimization，PSO)寻找具有全局最优特性的初始化权值，保证BP神经网络的训练过程能够进入误差曲面的全局最小。实施抓取网络数据流并进行统计生成特征值，将特征值作为神经网络的输入值，进行分类识别，从而保证实时识别出流量的网络应用类型。

为了实现上述目的，本发明采用如下技术方案：

本发明提出的基于BP神经网络的网络应用实时识别方法，包括BP神经网络的离线训练和在线实时识别两部分，该方法包括以下步骤：

BP神经网络的离线训练部分：

步骤1：在不同网络状况和不同时间段对网络流量进行抓包采集；

步骤2：获取样本集，对网络数据包的包数、包长、IP地址、传输协议以及上下行流量比进行统计；

步骤3：在获取的样本集中进行抽样，得到网络应用正常运行的样本；

步骤4：获取特征值，根据时间窗口法，从任意时间点开始，设定一段时间，根据该段时间内连续采集的网络流量与平均值的偏离程度，将高于平均值1.6倍的流量称为“峰值区”，处于平均值0.6～1.4倍区间的流量称为“稳定区”，由此时间段内的网络流量生成多种特征值；

步骤5：采用粒子群算法优化初始化权值，用BP神经网络的方法对得到的特征值进行训练学习，生成训练样本集；

BP神经网络的网络应用在线实时识别部分：

步骤1：在不同网络状况和不同时间段对网络流量进行采集；

步骤2：获取样本集，对网络数据包的包数、包长、IP地址、传输协议以及上下行流量比进行统计；

步骤3：采用BP神经网络的离线训练部分的步骤(4)相同的方法生成多种特征值；

步骤4：将特征值作为BP神经网络的输入，根据样本训练集的结果进行分类识别从而得到识别结果。

优选地，离线训练部分的步骤4和在线实时识别部分的步骤3中的多种特征值包括：下行包数，上行包数，下行数据量，上行数据量，下、上行包数比，下、上行数据量比，下、上行包数方差比，下、上行数据量方差比，下行中大数据量的IP数目，峰值区内数据量的比重，稳定区内样本数目的比重。

综上，本发明通过在不同网络状况和时间内，连续在一段时间内统计网络数据流，获取简单的数据包包头信息生成特征值，从中选择合适的特征值作为BP神经网络的输入，得到样本训练集，然后实施抓取网络数据流提取特征作为BP神经网络的输入进行实时识别。获取数据包包头信息，操作简单并且时间周期短。时间窗的方法提取的特征值具有可扩展性且易于实现。选择三层的神经网络作为实现方案，选择S型函数作为BP神经网络隐含层的转移函数，通过粒子群算法(Particle Swarm Optimization，PSO)寻找具有全局最优特性的初始化权值，从而根据输入的特征值得到网络应用的识别结果。BP神经网络采用分布、并行的网状结构进行训练学习，使其容错性更高，处理速度更快，可以更好的完成实时识别。同时，BP神经网络是通过全局寻优的方式进行训练的，因此也具有很高的泛化能力，可以应对更复杂和多样的网络环境。

附图说明

图1是基于BP神经网络的网络应用实时识别的系统架构图。

图2是BP神经网络的流量识别方案。

图3(a)是时间窗口示意图；(b)是窗口内流量区间的划分示意图。

具体实施方式

图1为本发明进行网络应用实时识别的原理图，图中架构分为两部分，分界线以上为实时网络流量识别的过程，分界线以下为同步的样本训练过程。

图2为BP神经网络的算法，输入x为网络流量特征，经过三层的神经网络，输出网络应用类型O。

图3(a)图为一个时间窗口内网络流的变化情况，以1秒为时间单位，对每一秒内抓取的网络流进行统计，连续统计15秒。(b)图中根据时间窗口内的流量平均值，将15秒时间段内的流量划分为稳定区和峰值区。

BP神经网络的离线训练部分：

步骤1：利用linux系统下的libpcap在不同的时间段内对不同的网络应用类型的网络流量进行抓包分析，libpcap是unix/linux平台下的网络数据包捕获函数包。通过解析包头信息，从而得到所需要的IP地址、端口号和传输协议；

步骤2：对网络流量进行统计，获取数据包的包头信息，包括：源地址，目的地址，源端口，目的端口和传输层协议(如TCP/UDP)，以及数据包长度和数据包的流向(如上行或下行)；

步骤3：在得到的大量数据中抽样选择处于稳定网络环境下的样本，并分别对样本的应用类别进行标注；m＝6种应用类型可以标注编号为1、2、3、4、5、6；

步骤4：采用“时间窗口法”，以1秒为时间单位，对每一秒内抓取的网络流进行统计，连续统计15秒。根据时间窗口内的流量平均值，将15秒时间段内的流量划分为稳定区和峰值区，将高于平均值1.6倍的流量称为“峰值区”，处于平均值0.6～1.4倍区间的流量称为“稳定区”，由此生成11种特征值；

步骤5：采用粒子群算法优化初始化权值，BP神经网络的方法对生成的样本值进行训练。其中，设定n＝11，n为输入特征值数目。网络流的11个特征信息送入BP神经网络的输入层；设定l＝6，则BP神经网络识别6种网络应用。在训练阶段输出层的应用类型是人为标注的，在识别阶段输出层的应用类型是BP神经网络自己分类得到的。各层信号之间的数学描述：

输入层到隐含层之间的权值矩阵：V＝[V₁,V₂,…,V_j,…,V_m]

V_j为隐含层第j个神经元对应的权列向量；

隐含层到输出层之间的权值矩阵：W＝[W₁,W₂,…,W_k,…,W_l]

W_k为输出层第K个神经元对应的权列向量；

输入层网络流的特征信息：x＝[x₁,x₂,…,x_i,…,x_n-1,x_n]^T

隐含层的结果： $y_j=f\left({\mathrm{net}}_j\right),\mathrm{ne}{t}_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{V}_{\mathrm{ij}}{x}_i,j=\mathrm{1,2},\·\·\·,m.$

输出层网络应用的识别结果： $o_k=f\left({\mathrm{net}}_k\right),{\mathrm{net}}_k=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{V}_{\mathrm{jk}}{y}_j,k=\mathrm{1,2},\·\·\·,l.$

输出层网络应用的类型编号：o＝[o₁,o₂,…,o_k,…,o_l]，比如应用类型1的编号对应[1,0,0,0,0,0]，应用类型2的编号对应[0,1,0,0,0,0]，以此类推。

隐含层的转移函数采用S型函数：

输出层的转移函数采用线性函数：f(x)＝cx,c＞0

BP神经网络训练一次的误差函数：其中d_k为期望结果，o_k为BP神经网络实际输出结果。

BP神经网络的实时识别部分：

步骤1：利用linux系统下的libpcap在不同的时间段内对不同的网络应用类型的网络流量进行抓包分析，libpcap是unix/linux平台下的网络数据包捕获函数包。通过解析包头信息，从而得到所需要的IP地址、端口号和传输协议；

步骤2：对网络流量进行统计，获取数据包的包头信息，包括：源地址，目的地址，源端口，目的端口和传输层协议(如TCP/UDP)，以及数据包长度和数据包的流向(如上行或下行)；

步骤3：在得到的大量数据中抽样选择处于稳定网络环境下的样本，并分别对样本的应用类别进行标注；m＝6种应用类型可以标注编号为1、2、3、4、5、6；

步骤4：采用“时间窗口法”，以1秒为时间单位，对每一秒内抓取的网络流进行统计，连续统计15秒。根据时间窗口内的流量平均值，将15秒时间段内的流量划分为稳定区和峰值区，将高于平均值1.6倍的流量称为“峰值区”，处于平均值0.6～1.4倍区间的流量称为“稳定区”，由此生成11种特征值；

步骤5：采用BP神经网络的离线训练步骤的步骤(5)已经生成的样本训练集，对样本特征值进行分类识别，得出识别结果。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (2)

1.一种基于BP神经网络的网络应用实时识别方法，包括BP神经网络的离线训练和在线实时识别两部分，该方法包括以下步骤：

BP神经网络的离线训练部分：

步骤1：在不同网络状况和不同时间段对网络流量进行抓包采集；

步骤2：获取样本集，对网络数据包的包数、包长、IP地址、传输协议以及上下行流量比进行统计；

步骤3：在获取的样本集中进行抽样，得到网络应用正常运行的样本；

步骤4：获取特征值，根据时间窗口法，从任意时间点开始，设定一段时间，根据该段时间内连续采集的网络流量与平均值的偏离程度，将高于平均值1.6倍的流量称为“峰值区”，处于平均值0.6～1.4倍区间的流量称为“稳定区”，由此时间段内的网络流量生成多种特征值；

步骤5：采用粒子群算法优化初始化权值，用BP神经网络的方法对得到的特征值进行训练学习，生成训练样本集；

BP神经网络的网络应用在线实时识别部分：

步骤1：在不同网络状况和不同时间段对网络流量进行采集；

步骤2：获取样本集，对网络数据包的包数、包长、IP地址、传输协议以及上下行流量比进行统计；

步骤3：采用BP神经网络的离线训练部分的步骤(4)相同的方法生成多种特征值；

步骤4：将特征值作为BP神经网络的输入，根据样本训练集的结果进行分类识别从而得到识别结果。

2.如权利要求1所述的基于BP神经网络的网络应用实时识别方法，其特征是：离线训练部分的步骤4和在线实时识别部分的步骤3中的多种特征值包括：下行包数，上行包数，下行数据量，上行数据量，下、上行包数比，下、上行数据量比，下、上行包数方差比，下、上行数据量方差比，下行中大数据量的IP数目，峰值区内数据量的比重，稳定区内样本数目的比重。