CN110784381A - 一种基于粒子计算的流量分类方法 - Google Patents

Abstract

本发明公开了一种基于粒子计算的流量分类方法，该方法包括如下步骤：S1、构建待分类流的流量粒子，流量粒子包括体量粒子及时量粒子；S2、构建体量粒子及时量粒子的结构粒，α_v为体量粒子的结构粒，α_t为时量粒子的结构粒；S3、基于结构粒α_v及α_t构建流量粒子的粒关系矩阵C_a；S4、基于粒关系矩阵C_a计算待分类流F_a与各流类别的差异度，若差异度最小值小于或等于阈值，将差异度最小的流类别作为待分类流的流类别；该方法突破已有流量分类方法的瓶颈和制约，实现稳健的、细粒度的网络流在线分类。

Description

一种基于粒子计算的流量分类方法

技术领域

本发明属于流量分类技术领域，更具体地，本发明涉及一种基于粒子计算的流量分类方法。

背景技术

随着网络技术的迅猛发展，网络应用(如P2P、Web、视频流等)呈爆发式增长，为此，研究者们提出一系列传输策略用以提高网络运行效率，如流量工程、容量规划、流量可视化、节能调度等。然而，这些策略的基础是，首先要对网络流量进行准确的分类，可见流量的分类研究意义重大；此外，流量分类在网络安全、流量计费等领域也具有重要意义。然而，流量分类正陷入一种困境：在线的方法只能实现粗粒度的分类，将流量粗略分成文本，语音，视频等有限的几个大类；而要想获得细粒度的分类(如视频又可以细分为在线直播、点播、流媒体等类别)，却只能以离线的方式进行；

以下四种流量分类方法，当用于在线细粒度分类时，其优点以及瓶颈和制约分别表现在：

1、DPI深度包检测则是一种相对精准的分类方法。它探测每个包的有效载荷，搜索特定的关键字以识别该流量所属的类型。但是，这种方法侵犯个人隐私，对于加密流量更是无计可施；2、协议解析方法。即通过协议的语义解析，推理出流量所属的类型。这种方法虽然没有侵犯个人隐私，但是仅靠传输协议，能够分类的粒度极其有限；3、基于流量的统计特征进行细粒度的分类。然而，大多数特征并不适合在线分类。如包数量、平均包大小，这些值必须要等到流结束时，才能确定下来；而对于实时的在线分类，这是非常严峻的制约因素；4、基于子流进行分类。即，将一条流进行分割，形成若干子流，研究子流中所包含的重要特征。这种方法在一定程度上提高了分类的实时性，但是，其他问题又逐渐暴露出来：1)分类粒度有限。靠子流中的几个特定包，很难实现细粒度的分类。2)分类准确率难以保证。尤其是网络状况不佳的时候，或恰巧子流中的这几个包出现丢包、重传、乱序等情况，分类的准确性将直线下降。总之，上述分类方法不能解决在线的细粒度分类问题。

发明内容

本发明提供一种基于粒子计算的流量分类方法，实现细粒度的网络流在线分类。

为了实现上述目的，本发明采取的技术方案为：一种基于粒子计算的流量分类方法，所述方法具体包括如下步骤：

S1、构建待分类流F_a的流量粒子，流量粒子包括体量粒子及时量粒子；

S2、构建体量粒子及时量粒子的结构粒，α_v为体量粒子的结构粒，α_t为时量粒子的结构粒；

S3、基于结构粒α_v及α_t构建流量粒子的粒关系矩阵C_a；

S4、基于粒关系矩阵C_a计算待分类流F_a与各流类别的差异度，若差异度最小值小于或等于阈值，将差异度最小的流类别作为待分类流的流类别；

所述体量粒子是由大小差异在给定阈值Thr_v范围内的邻近数据包融合形成；

所述时量粒子是由时间间隔差异在给定阈值Thr_t范围内的数据包融形成。

进一步的，粒关系矩阵C_a的计算公式具体如下：

α_v为体量粒子

的结构粒，观测的尺度最小为m＝1，最大为m＝X，存在X个观测值；α_t为时量粒子

的结构粒，观测的尺度最小为m＝1，最大为m＝Y，存在Y个观测值，T是矩阵的转置，粒关系矩阵C_a是一个X*Y阶矩阵。

进一步的，待分类流与各类流的差异度的计算公式具体如下：

其中，C_a为待分类流F_a的粒关系矩阵,C_pl为第l个流类别的中心点所对应的粒关系矩阵，若当前有L个类，则l的取值从1依次取至L。

进一步的，中心点的计算公式具体如下：

当前有L个流类别

每个类有若干条流{...,F_j,F_k,...}，C_k,C_j分别表示流F_k,F_j的粒关系矩阵，中心点记为

进一步的，结构粒子基于如下公式进行建立：

当

为

体量粒子时，Z＝X，X为体量粒子流中粒子的数量；

当

为

时量粒子时；Z＝Y，Y是时量粒子流中粒子的数量；

m表示的是观测尺度，最小的观测尺度m＝1，最大观测尺度m＝Z。

本发明提出一种基于粒子计算的分类算法，该方法首先为网络流量定义其对应的粒子，然后构造粒子间关系，再基于粒子关系建立关系矩阵，最后基于粒关系矩阵进行分类。该方法突破已有流量分类方法的瓶颈和制约，实现稳健的、细粒度的网络流在线分类。

附图说明

图1为本发明实施例提供的基于粒子计算的流量分类方法流程图；

图2为本发明实施例提供的I-SVM，K-L，TCC，HNB以及Fractals方法与本申请中GrC方法的识别率训练测试结果对比图；

具体实施方式

下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

本发明提出一种基于粒子计算的分类算法，首先为网络流量定义其对应的粒子，然后构造粒子间关系，再基于粒子关系建立关系矩阵，最后基于粒关系矩阵进行分类，该方法突破已有流量分类方法的瓶颈和制约，实现稳健的、细粒度的网络流在线分类。

图1为本发明实施例提供的基于粒子计算的流量分类方法流程图，该方法具体如下：

粒子的构建对于粒子计算至关重要，因构建方式不同从而形成不同类型的粒子，如脆粒、模糊粒、粗糙模糊粒、邻域粒。脆粒(满足正交特性的粒子)可以大幅提升粒计算模型的分类速度，但是，在现实生活中，信息之间并不总是清晰可辨，它们是相互重叠交织的。因此，模糊粒和粗糙模糊粒可以更为有效地描述信息，但是隶属函数的构建至关重要且并非易事。因而引入邻域粒的概念，它描述的是一定范围内的邻域特征，因此，重叠是这种粒子的固有特性。邻域粒有效保存数据之间的相关性，使得数据不再是孤立的、而是相互紧密联系的。因此，在本发明中，我们根据邻域粒的思想，针对流序列建立流量粒子。

在定义流量粒子之前，首先给出流的准确描述：流量由流组成，或者说，众多流聚合形成流量。有的流是单向的(上行或下行)；而有的流是双向的，这些流的上下行特点往往截然不同，需要分别计算。因此，本专利直接引用Barakat对流(Flow)的定义，即五元组<SrcIP,Dest IP,Src Port,Dest Port,Protocol>，Src IP为源地址、Dest IP为目的地址、SrcPort为源端口号、Src Port为目的端口号、Protocol为协议。流序列中包含若干条数据流，每条数据流(简称流)由一系列的数据包组成，每个数据包都有确切的包大小和到达时间；于是本专利中，流被描述为一组满足Barakat定义的数据包：

其中，P_i指的是第i个数据包的大小，T_i指的是该数据包的到达时间，n为流中包含的数据包的个数。

基于上述流的定义，本发明提出两种邻域粒，一是体量粒子：

s.t.|P_i-P_i+1|＜Thr_v (3)

由(3)可见，邻域粒考查的是相互邻近的数据包，如果包大小的差异在给定的阈值Thr_v范围内，那么就融合成一个粒子

对流量进行这种操作后，得到X为体量粒子的数量。具体解释如下：数据包基于接收时间逐个按序排列，若第i个数据包与第(i+1)个数据包的大小差异在给定阈值Thr_v范围内，第(i+1)个数据包与第(i+2)个数据包的大小差异在给定阈值Thr_v范围内，则将第i个，第(i+1)个及第(i+2)个数据包融合。

另一种邻域粒是时量粒子，其形成规则如同体量粒子。

f_i＝|T_i-T_i+1|_i＝1,2,..._,n (4)

s.t.|f_k-f_k+1|＜Thr_t (6)

如果数据包间隔的差异在给定的阈值Thr_t范围内，那么就融合成一个粒子，即可得Y为时量粒子的数量。

由上述定义可知，邻域粒

中粒子的数量无法事先确定，而是由临近包之间的相近程度来决定。这样的粒子构成，使得计算模型对缺失数据变得不那么敏感，也能很好的去除噪声数据。而这一点，正是粒计算的根基思想之一。

按照粒计算模型架构，一旦粒子形成、粒子层构造完毕，接下来就是构建粒子之间的关系，然后根据这些粒子间所呈现的关系来进行判断、决策。

在流量特性研究中，明确指出流量数据之间存在极强的关联性。通过大量的实验数据也发现，每一种通信协议都有着自身的对话规则，在传输策略的控制下，包和包之间并非孤立，而是有一种必然性。这种包之间的固有关系，相较于那些独立的数据包，更能准确地定位出流量所属的类型。

粒计算模型需要在不同层次、不同尺度(角度)研究粒子之间的固有关系。不谋而合的是，Mandelbrot也曾用尺度的思想来研究事物的性状。设{F(t)}为某区间上的一随机过程，尺度为ε的测度μ(ε)，满足：

μ(ε)∝ε^-α (7)

则α可以视为在ε尺度上所呈现的特征，被称为Holder指数，也叫做奇异性指数。随后，这一奇异性指数α被广泛应用，如矿井瓦斯涌出量预测、水文水资源的分类、人造景象抗干扰处理等等。

由(1)，网络流符合Mandelbrot对{F(t)|_t＝i}的定义，因此，我们将依据(7)来建立流量粒子之间的关系，形成结构粒：

由公式(8)，结构粒尺度m＝1时对应lnτ₁，

尺度m＝2时对应

以此类推m＝3,4,5,6,…,Z；

可以是

体量粒子，也可以是

时量粒子；

是对邻域粒里的成员做平均，当

可以是

体量粒子时，Z＝X，X是指体量粒子的数量，当可以是

体量粒子时，Z＝Y，Y是时量粒子的数量；m表示的是观测尺度；最小的观测尺度m＝1，即每个邻域粒

作为单独的粒子来处理；最大的尺度m＝Z，即所有邻域粒融合成为一个粒子。

两种邻域粒包括体量粒子和时量粒子；将这两种流量粒子带入式(8)、式(9)，从而形成两种结构粒：体量粒子的结构粒α_v和时量粒子的结构粒α_t。前者描述的是流量包大小的变化特征；后者描述的是流量包在时间上的突发特征。将这两个向量进行叉乘，其物理含义就是，在不同空间和时间尺度上网络流所体现的数据突发量的变化特征。因此可得：

α_v是基于体量粒子

建立的结构粒，观测的尺度最小为m＝1，最大为m＝X，因此有X个观测值。同理，α_t是时量粒子

对应的结构粒，当尺度m从1到Y变化时，得到Y个观测值，T是矩阵的转置。因此，粒关系矩阵C是一个X*Y阶矩阵。

矩阵，在物理上对应的是某种变换，描述的是动作的轨迹。例如y＝Ax，用矩阵A表示事物从x到y状态的一种运动轨迹。如果换到空间P来观测这个变化过程，则会得到y′＝Bx′，这里，x′和y′分别对应x和y在新的测度空间P中的状态描述，Px′＝x，Py′＝y。于是得到Py′＝APx′＝P(P^-1AP)x′，即y′＝P^-1APx′，也就是，在测度空间P中，x′到y′的轨迹用B＝P^-1AP来描述，因此，A和B＝P^-1AP这两个相似矩阵，在本质上描述的是同一种运动轨迹，只是观测的角度有所不同。

粒关系矩阵C描述的是，随着观测尺度的变化流量的变化轨迹。一种类型的流量，总是遵循特定的协议、传输方式，因此有着相似的变化轨迹，反映了流量所固有的一些特性。正因为如此，才会用统计特征去区分不同的流量，诸如平均包大小、最大包、最小包这样的统计特征只是一种静态特征，它们不能反应流量的变化轨迹；而粒关系矩阵C中不仅包含了统计特征，还揭露出更为深度的本质。因此，基于粒关系矩阵C，考量矩阵之间的差异度与相似性，实现对网络流的精准标定。

为此，首先定义相似度量：

C_a表示流F_a的粒关系矩阵，C_b表示流F_b的粒关系矩阵。

在此，特别说明一下关于矩阵计算的维度选取问题。设C_a为一个X_a*Y_a阶矩阵，C_b为一个X_b*Y_b阶矩阵。当对这两者进行比较时，需要站在相同的观测角度去分析，因此，分别取min(X_a,X_b)和min(Y_a,Y_b)即可。

然后，将(15)所示的相似度量的矢量矩阵转换成一个标量，并称之为差异度：

根据(16)定义，可得Dif(C_a,C_b)＝Dif(C_b,C_a)，且Dif()范围在0到1之间；值越小，说明两者间的差异越小，相似度越高，极端情况下Dif(C_a,C_b)＝0，即两者之间无差异。

假设当前有L个流类别每个流类别有若干条流{...,F_j,F_k,...}，中心点记为

因为Dif()服从0-1上的均匀分布，因此中心点由下述公式确定：

在(17)式中，C_k,C_j分别表示流F_k,F_j的粒关系矩阵，事实上集合{...,F_j,F_k,...}中所有的成员都分别对应着一个粒关系矩阵。(17)式是要在集合{...,F_j,F_k,...}中选出一个中心点P_l，使得它与类内其他点{...,F_j,F_k,...}的差异度均为一个比较小的量，正以此点为类内中心点。

当判断某条流F_a的流类别时，先计算该条流的粒关系矩阵C_a与各流类别中心点的差异度

然后将差异度最小值

与阈值T比较，如若差异度最小值小于或等于阈值T，那么F_a属于最小差异度值对应的流类别M_l；如若差异度最小值大于阈值T，那么F_a不属于任何已知的流类别:

本发明提出一种基于粒子计算的分类算法。该方法首先为网络流量定义其对应的粒子，然后构造粒子间关系，再基于粒子关系建立关系矩阵，最后基于粒关系矩阵进行分类。该方法突破已有流量分类方法的瓶颈和制约，实现稳健的、细粒度的网络流在线分类。

实验的软件环境：用Wireshark软件捕捉实时业务流；在Microsoft VisualStudio平台上基于C++开发数据预处理程序，将流量数据处理成定义(1)的方式；并模拟高可变网络环境下的网络流量供后续实验所用；基于上述取得的数据，使用MATLAB R2016a仿真工具来验证分类方法的有效性。

硬件配置环境为Win10 professional(64bit/SP1),Intel(R)Core(TM)i7-7500U@2.70GHz,8GB内存。

本实验使用的数据集分两类：一是在南京邮电大学校园网内获取的NJUPT数据集；另一个是因特网流量数据集UNB ISCX Network Traffic，从其官网下载了28G的网络业务数据，包含了众多应用程序的流量数据，诸如Vimeo,YouTube,ICQ,Skype,Facebook,Bittorrent等等。

实验1：计算单条流的粒关系矩阵。

截取QQ视频流，子流序列解析度N＝10000，即子流序列包含10000个数据包。根据(2)式，此条QQ流可以描述为F_QQ＝{(470,2.649745),(462,2.650173),(1494,2.650256),….,(68,359.282943),(1494,359.434729),(1494,359.493700)}。

步骤1.粒子形成。根据式(2-3)和(4-6)，对F_QQ进行聚合，形成体量粒子和时量粒子：

步骤2.生成结构粒。对于不同的观测尺度

由(8-9)对上述粒子生成结构粒α_v和α_t：

α_v＝{20.699，10.598，7.121，5.355，4.319，3.629，3.134，2.759，2.459，2.208}

α_t＝{6.326，3.229，2.198，1.704，1.382，1.152，1.016，0.926，0.824，0.744}

步骤3.最后由(10)生成粒关系矩阵C_QQ＝α_v*α_t ^T。

这里，需要特别说明的是：

1)由步骤1可知，对子流序列进行聚合的过程中，体量粒子和时量粒子的维度不尽相同，于是结构粒α_v和α_t的维度也不一样，因而生成的粒结构矩阵的维度不同；对于不同时期截获的同种流量，生成的粒结构矩阵的维度也不尽相同。也就是，对于每一条流量所对应的C_X*Y矩阵，其X*Y大小均不相同。在分类比较中，只要取相同的观测角度去比较两个流量即可，因此，在申请实验中，对流量粒子同取

2)本申请的实验中，设定子流序列解析度N＝10000，这些包足以取得流的变化特性。当然，可以取整条流来计算，但是计算量和存储空间急剧增加。为了减少计算开销，N可以降低，但是，随着包数量的减少，同类流量的粒矩阵差异度开始增加，分类变得不稳定。本文最终选择流序列解析度N＝10000，即保证了分类稳定性；计算量和存储量又不至于过大。

实验2：在线分类的性能测试。

在线的流量数据，因为网络传输的动态特性表现为数据丢包、重传、乱序随时出现，尤其是当网络出现一定程度的拥塞，包间隔时间、包数量等统计特征会出现大的偏差。因此，在仿真环节：1、为了模拟网络拥塞，我们对网络流量数据进行随机丢包、增加延时；2、为了模拟网络信号跳变、干扰等噪声数据，我们还对数据包进行篡改、增包。在每条流内，这些修改的数据量控制在5％以内，变化幅度也设置在5％以内。

对上述流量数据进行分类识别，并对多种方法，包括I-SVM，K-L，TCC，HNB以及Fractals方法分别进行训练测试，然后与本文的方法GrC做横向比较。结果如图2所示，这些方法的识别率都大打折扣，原因在于这些方法所训练好的有效特征总是基于平稳的、良好的网络环境，而当在线时，网络拥塞随时发生，严重程度也是非常随机的，一些影响识别性能的关键因素不可能进行实时更新，因此制约了在线识别的应用。

本文是基于粒度计算模型的流分类技术，该方法可以有效屏蔽噪声、干扰数据，更适合于高可变的动态网络；因此，当网络环境变化或进行在线分类时，具有较强的适应能力。

基于粒子计算模型，将网络流量的数据包进行聚合，形成粒子；并从时间、空间上的各个角度研究粒子之间的关系，最后基于粒关系矩阵实现精准的分类。一系列实验也很好地表明了该方法在细粒度在线分类方面的有效性，以及与其他方法相比而体现的优越性。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (5)

1.一种基于粒子计算的流量分类方法，其特征在于，所述方法具体包括如下步骤：

S1、构建待分类流F_a的流量粒子，流量粒子包括体量粒子及时量粒子；

S2、构建体量粒子及时量粒子的结构粒，α_v为体量粒子的结构粒，α_t为时量粒子的结构粒；

S3、基于结构粒α_v及α_t构建流量粒子的粒关系矩阵C_a；

S4、基于粒关系矩阵C_a计算待分类流F_a与各流类别的差异度，若差异度最小值小于或等于阈值，将差异度最小的流类别作为待分类流的流类别；

所述体量粒子是由大小差异在给定阈值Thr_v范围内的邻近数据包融合形成；

所述时量粒子是由时间间隔差异在给定阈值Thr_t范围内的数据包融形成。

2.如权利要求1所述基于粒子计算的流分类方法，其特征在于，粒关系矩阵C_a的计算公式具体如下：

α_v为体量粒子

的结构粒，观测的尺度最小为m＝1，最大为m＝X，存在X个观测值；α_t为时量粒子

的结构粒，观测的尺度最小为m＝1，最大为m＝Y，存在Y个观测值，T是矩阵的转置，粒关系矩阵C_a是一个X*Y阶矩阵。

3.如权利要求2所述基于粒子计算的流分类方法，其特征在于，待分类流与各类流的差异度的计算公式具体如下：

其中，C_a为待分类流F_a的粒关系矩阵,

为第l个流类别的中心点所对应的粒关系矩阵，若当前有L个类，则l的取值从1依次取至L。

4.如权利要求3所述基于粒子计算的流分类方法，其特征在于，中心点的计算公式具体如下：

当前有L个流类别

每个类有若干条流{...,F_j,F_k,...}，C_k,C_j分别表示流F_k,F_j的粒关系矩阵，中心点记为

5.如权利要求1所述基于粒子计算的流分类方法，其特征在于，结构粒子基于如下公式进行建立：

当

为

体量粒子时，Z＝X，X为体量粒子流中粒子的数量；

当

为

时量粒子时；Z＝Y，Y是时量粒子流中粒子的数量；

m表示的是观测尺度，最小的观测尺度m＝1，最大观测尺度m＝Z。

Images