CN111565156A - 一种对网络流量识别分类的方法 - Google Patents

Abstract

本发明公开了一种对网络流量识别分类的方法，包括如下步骤：步骤1，对稀疏自编码神经网络采用多个激活函数而非单一激活函数对训练样本进行训练，得到会话样本特征；步骤2，在步骤1的基础上进行改进的Kmeans聚类算法训练，得到最终的分类模型；步骤3，利用分类模型对网络流量进行分类。该方法基于会话流统计特征而非固定端口、匹配特征码方式实现的，因此该法对动态端口、加密流量识别分类也有一定的效果。

Description

一种对网络流量识别分类的方法

技术领域

本发明涉及一种对网络流量识别分类的方法。

背景技术

随着互联网技术的不断创新、发展，多媒体业务发展也进入了发展的高潮，形式逐渐趋于多样化，直接加剧网络的拥塞程度，这给运营商网络运营工作带来巨大冲击。因此，如何对互联网上层出不穷的多媒体流量内容进行有效的识别分类，已经成为业界主要关注点。传统的人工协议分析方式费时费力，急需一种新的技术方法来解决这类问题。现在很多学者、公司都致力于流量识别算法的研究，这些算法主要包括基于端口流量识别技术、深度包检测技术(DPI)、基于机器学习、深度学习的流量识别技术。虽然这些技术取得了较大的成效，但是也不难发现通过单一技术手段很难应对目前复杂网络环境，因此需要融合多种技术手段对网络流量进行识别。

基于端口的流量识别技术，主要利用端口和应用之间的映射关系进行流量识别。由于该技术简单高效，使得该技术在传统的网络环境下得到了广泛的应用。随着互联网环境的复杂化，目前很多应用都是采用动态端口来进行网络通信，例如大部分的web服务器和ftp服务器。针对这类采用动态端口的流量来说，该技术是失效的，同时也能看到该技术方法只能识别该应用属于某一协议而无法对流量内容进行分类。

深度包检测技术，这种技术源于端口识别技术无法解决互联网应用采用动态端口或端口伪装的应用而生。该技术识别原理是对数据包进行解包，匹配特征码。这种方法对大部分的流量都十分有效，并且也得到广泛的应用，例如著名的L7－filter。这种技术存在两种明显的不足，分别是有效载荷部分必须可见和特征码已知。随着用户对隐私保护和网络安全意识的增强，越来越多的应用流量内容采用加密和隧道技术突破该技术限制。

基于机器学习、深度学习的流量识别技术，这种技术不关注报文的局部和解析特征，而是基于流量宏观统计行为特征进行识别。这种技术优势对流量行为特征变化有一定的适应性。随着互联网加密应用的不断普及，使得该技术得到广泛的应用，并且取得较好的效果。

发明内容

从交互类型上可以将网络上多媒体流分成交互类、背景类、流类、会话类，本发明主要是针对会话类多媒体流量提供一种对网络流量识别和分类的方法。该方法是基于流统计特征而非固定端口、匹配特征码的多媒体流识别方法。本发明提供了一种基于自编码神经网络特征提取识别方法，该方法能够有效的对多媒体流量内容进行分类。本发明方法具体包括如下步骤：

步骤1，利用改进的稀疏自编码神经网络对训练样本进行学习，得到具有区分性的样本会话特征向量。与传统稀疏自编码神经网络相比，该方法在稀疏自编码神经网络的不同层采用不同激活函数；

步骤2，在步骤1的基础上采用改进的Kmeans聚类算法训练，得到最终的分类模型。与传统的Kmeans聚类算法相比，每轮迭代之后，会将不符合各类条件的样本删除以减少算法的迭代次数，提高算法的泛化能力；

步骤3，利用分类模型对网络流量数据进行分类。

步骤1包括：

步骤1-1，利用Wireshark抓包工具采集多媒体流量数据，保存为Pcap文件，包括图片、音频、视频：对于所有图片的Pcap文件，以五元组为单位将图片流量拆分成单个会话保存，按照特征项计算特征点，所有特征点形成会话特征向量(参考文献：张伟，刘清，基于传输层会话行为统计特征的恶意流量识别)；按照上述方法对音频、视频执行同样操作，从而形成训练样本集，数学符号表示为：X＝(x₁,...,x_N)∈R^D*N，D为单个样本的特征维度，N为样本个数，x_N表示第N个样本，X是训练样本集合，R^D*N是指D*N的向量空间；

步骤1-2，将会话特征向量输入到稀疏自编码神经网络中进行训练，详细过程如下：

对于样本x_i，i<N，第一层隐藏层编码为：

z＝s(W⁽¹⁾x_i+b⁽¹⁾) (1)

W¹是隐藏层的权重，b¹隐藏层偏置。

第二层输出层为重构的数据：

x'_i＝g(W⁽²⁾z+b⁽²⁾) (2)

W²是输出层的权重，b²输出层偏置，x'_i是第二层输出层的输出。

其中s采用激活函数为Sigmoid函数，g采用激活函数为Relu函数；

g(x)＝max(0,x) (4)

其中，x为对应各层的输出，z表示自编码器中隐藏层单元；

给定一组样本x_i∈[0,1]^D,1≤n≤N，其重构错误L为：

其中λ为正则化项系数。通过最小化重构错误，可以有效地学习网络的参数。

通过给自编码器中隐藏层单元z加上稀疏性限制，自编码器可以学习到数据中一些有用的结构。因此稀疏自编码神经网络采用的代价函数J_loss为：

其中β是惩罚因子权重；p是稀疏参数；M是隐藏层神经元个数；

表示隐藏层第j个神经元的平均活跃度；KL代表是K-L距离算法，K-L距离算法是衡量两个相同事件空间里的两个概率分布差异情况，即

代表是p到

的K-L距离；

通过BP反向传播算法进行学习训练样本集中的所有样本使代价函数J_loss损失最小，此时输出层的特征作为新特征输出；

步骤1-2中，

其中

表示隐藏层第j个神经元平均活跃度，z_j(x_i)表示第i个样本在隐藏层第j个神经元输出值。

步骤2包括：将步骤1-2得到的新特征进行Kmeans聚类算法模型学习，得到最终的分类模型；

所述Kmeans聚类算法模型如下：

其中

是第i类样本的均值向量，x是每个会话的特征向量，k为簇数，C_i是训练样本集的类别，n_i是第i类样本个数。

所述将步骤1-2得到的新特征通过Kmeans聚类算法模型学习，具体包括如下步骤：

步骤2-1，随机确定k个初始化点作为起始质心；

步骤2-2，将训练样本集中的每一个样本点分配到距离其最近的质心所对应簇，如果距离大于阈值0.7，则删除所述样本点；

步骤2-3，每个簇的质心更新为所述簇的所有点的平均值；

步骤2-4，循环执行步骤2-1～步骤2-3，直到所有簇的质心点收敛，迭代结束；

步骤2-5，输出每个簇的质心点；

步骤2-6，通过Kmeans聚类算法模型学习后，聚成4簇，分别为视频、音频、图片，其他，从而得到最终的分类模型。

步骤3包括：对于待分类的会话流x_unknown，通过最近邻分类器识别原出所述会话流的标签：

其中c_i为样本标签，u_i为最终的分类模型。

有益效果：本发明相比于现在流量识别方法有以下几个优点：

(1)该方法基于会话流统计特征而非固定端口、匹配特征码方式实现的，因此该法对动态端口、加密流量识别有一定的效果。

(2)由于该方法采用稀疏自编码神经网络对原始特征进行学习得出区分性强的特征，因此该方法对特征点的缺失有一定的鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明方法流程图。

图2是稀疏自编码神经网络结构图。

图3是识别分类技术流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供了一种对网络流量识别分类的方法，主要采用三步走策略实现对会话类多媒体流量内容进行识别分类，首先，主要是利用稀疏自编码神经网络对训练样本进行训练，学到更有区分性样本特征。然后，主要是利用学习好样本特征进行Kmeans聚类算法训练，得到最终的分类模型。最后，利用学习好的分类模型对测试样本进行分类。

本发明总体技术流程图如图1所示，由于网络环境复杂性，如何将大量的网络数据区分为多媒体流量数据和非多媒体流量数据显得尤为重要，本发明选择结合稀疏自编码神经网络和Kmeans聚类算法来完成会话类多媒体流量数据识别分类。主要包括数据采集、特征维度选择、模型训练、识别分类4个部分。下面主要从上面几个部分进行阐述。

数据采集：

Wireshark是一个网络抓包分析软件，利用该软件对会话类多媒体流量数据进行采集。流量主要集中在即时通信软件，例如微信、QQ、Skype语音等200多种应用。采集非多媒体会话10000条、视频会话3500条、音频会话3500条、图片会话3500条。

特征维度选择：

以会话为单位对上述采集报文进行分析，以统计学的特征来刻画每一个会话流。主要选择100多种统计维度，主要包括会话长度、报文个数、会话的持续时间、传输字节、包间隔信息熵、平均包时间间隔、时延抖动、吞吐量等维度来刻画出每一种会话流。部分特征维度解释如下：

会话长度：会话总长度。

包的个数：同一会话包个数。

会话的持续时间：会话从开始到结束的时间差。

传输字节：网络中单位时间内传输字节数。

包间隔信息熵：当存在大量包间隔时，就会产生包间隔概率分布，从而得到每一个会话信息熵。

平均包时间间隔：对同一个会话统计每一个包到达的时间，计算会话的包平均时间间隔。

吞吐量：单位时间内成功传输数据的数量。

时延抖动：一段时间的网络吞吐量与该时间段的比值。

模型训练：

每一个会话有了特征向量之后，接下来就可以进行模型的训练。模型训练主要分成两步。首先可以利用自编码神经网络对特征进行训练，以选择出更有区分度的特征。

稀疏自编码神经网络技术原理如下：

稀疏自编码神经网络基本结构是由输入层、隐藏层、输出层组成。在模型学习时让输出层无限的接近于输入层，从而实现学习输入特征的目的。其基本结构如图2所示。

稀疏自编码神经网络采用的代价函数为：

其中W是特征的权重矩阵，λ是正则化项系数，β是惩罚因子权重。第三项是惩罚因子项，主要目的是使隐藏层神经元的平均活跃度保持在较小范围的内，β是惩罚因子权重。惩罚因子定义如下：

p是稀疏参数，取值为0.05；M是隐藏层神经元个数。，其中

表示隐藏层第j个神经元的平均活跃度，z_j(x_i)表示第i个样本在隐藏层第j个神经元输出值。通过BP反向传播算法进行学习上述所有样本使上述J_loss损失最小，此时第二层的特征就是作为新特征输出。

然后，利用稀疏自编码神经网络学习到样本特征加入到Kmeans聚类算法模型学习中，学习一种最终的协议识别模型。

Kmeans聚类算法技术原理如下：

其中

是第i类样本的均值向量，x是每个会话的特征向量，k为簇(类)数。n_i是第i类样本个数，C_i是第i类样本集合。算法学习流程：

步骤2-1，随机确定k个初始化点作为起始质心；

步骤2-2，将训练样本集中的每一个样本点分配到距离其最近的质心所对应簇，如果距离大于阈值0.7，则删除所述样本点；

步骤2-3，每个簇的质心更新为所述簇的所有点的平均值；

步骤2-4，循环执行步骤2-1～步骤2-3，直到所有簇的质心点收敛，迭代结束；

步骤2-5，输出每个簇的质心点；

步骤2-6，由于Kmeans聚类算法是非监督学习，所以需要人为利用训练样本去为每个簇打上标签。

利用样本集合学习Kmeans聚类算法，聚成4簇，分别为视频、音频、图片，其他，得到一个识别模型。最后，利用学习的分类模型进行识别分类。具体识别分类参考识别分类模块。

识别分类：

对于会话流x_unknown，可以通过最近邻分类器识别出该会话流的标签。

其中c_i为样本标签，u_i为Kmeans聚类算法学习的模型，i∈{1,2,3,4}。

具体操作流程如下：

首先将x_unknow按上述公式求解得到c₁,c₂,c₃,c₄。

然后比较其大小，取最小的值作为x_unknow的类别。

识别分类技术流程图如图3所示。

本发明提供了一种对网络流量识别分类的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种对网络流量识别分类的方法，其特征在于，包括如下步骤：

步骤1，利用改进的稀疏自编码神经网络对训练样本进行学习，得到具有区分性的样本会话特征向量；

步骤2，在步骤1的基础上采用改进的Kmeans聚类算法训练，得到最终的分类模型；

步骤3，利用分类模型对网络流量进行分类。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，集多媒体流量数据，保存为Pcap文件，包括图片、音频、视频：对于所有图片的Pcap文件，以五元组为单位将图片流量拆分成单个会话保存，按照特征项计算特征点，所有特征点形成会话特征向量，按照上述方法对音频、视频执行同样操作，从而形成训练样本集，数学符号表示为：X＝(x₁,...,x_N)∈R^D*N，D为单个样本的特征维度，N为样本个数，x_N表示第N个样本，X是训练样本集合，R^D*N是指D*N的向量空间；

步骤1-2，将会话特征向量输入到稀疏自编码神经网络中进行训练，过程如下：

对于样本x_i，i<N，第一层隐藏层编码为：

z＝s(W⁽¹⁾x_i+b⁽¹⁾) (1)

W¹是隐藏层的权重，b¹隐藏层偏置；

第二层输出层为重构的数据：

x′_i＝g(W⁽²⁾z+b⁽²⁾) (2)

W²是输出层的权重，b²输出层偏置，x′_i是第二层输出层的输出；

其中s采用激活函数为Sigmoid函数，g采用激活函数为Relu函数：

g(x)＝max(0,x) (4)

其中，x为对应各层的输出，z表示自编码器中隐藏层单元；

给定一组样本x_i∈[0,1]^D,1≤i≤N，其重构错误L为：

其中λ为正则化项系数；

稀疏自编码神经网络采用的代价函数J_loss为：

其中β是惩罚因子权重；p是稀疏参数；M是隐藏层神经元个数；

表示隐藏层第j个神经元的平均活跃度；KL代表是K-L距离算法，K-L距离算法是衡量两个相同事件空间里的两个概率分布差异情况，即

代表是p到

的K-L距离；

通过BP反向传播算法进行学习训练样本集中的所有样本使代价函数J_loss损失最小，此时输出层的特征作为新特征输出。

3.根据权利要求2所述的方法，其特征在于，步骤1-2中，

其中

表示隐藏层第j个神经元的平均活跃度，z_j(x_i)表示第i个样本在隐藏层第j个神经元输出值。

4.根据权利要求3所述的方法，其特征在于，步骤2包括：将步骤1-2得到的新特征进行Kmeans聚类算法模型学习，得到最终的分类模型；

所述Kmeans聚类算法模型如下：

其中

是第i类样本的均值向量，x是每个会话的特征向量，k为簇数，C_i是第i类样本集合，n_i是第i类样本个数。

5.根据权利要求4所述的方法，其特征在于，所述将步骤1-2得到的新特征通过Kmeans聚类算法模型学习，具体包括如下步骤：

步骤2-1，随机确定k个初始化点作为起始质心；

步骤2-2，将训练样本集中的每一个样本点分配到距离其最近的质心所对应簇，如果距离大于阈值，则删除所述样本点；

步骤2-3，每个簇的质心更新为所述簇的所有点的平均值；

步骤2-4，循环执行步骤2-1～步骤2-3，直到所有簇的质心点收敛，迭代结束；

步骤2-5，输出每个簇的质心点；

步骤2-6，通过Kmeans聚类算法模型学习后，聚成4簇，分别为视频、音频、图片，其他，从而得到最终的分类模型。

6.根据权利要求5所述的方法，其特征在于，步骤3包括：对于待分类的会话流x_unknown，通过最近邻分类器识别出所述会话流的标签：

其中c_i为样本标签，u_i为最终的分类模型。

Images