CN103312565B

CN103312565B - 一种基于自主学习的对等网络流量识别方法

Info

Publication number: CN103312565B
Application number: CN201310262848.7A
Authority: CN
Inventors: 肖甫; 闫海军; 王汝传; 韩志杰; 王少辉
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nupt Institute Of Big Data Research At Yancheng
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2015-12-23
Anticipated expiration: 2033-06-28
Also published as: CN103312565A

Abstract

一种基于自主学习的对等网络流量识别方法是一种高效的、准确的P2P流量识别方法，其不仅利用了DPI和DFI两种识别方法，而且利用DPI已识别的P2P流量来对基于机器学习的DFI识别结果进行验证,达到自主学习的目的。通过这种方法既可以识别加密的P2P网络流量，同时还克服了DFI无法自调整和识别率低的问题。具体的是提出了一种通过NetFilter技术对P2P流量进行提取，然后利用DPI技术进行识别，并将识别出的P2P流量的特征添加到IP地址列表中，对基于机器学习的DFI识别结果进行验证，使整个识别过程形成一个闭环系统，实现具有自主学习能力的P2P流量识别方法。

Description

一种基于自主学习的对等网络流量识别方法

技术领域

本发明是一种在应用于互联网流量管理的P2P流量识别方法，在保证效率的前提下，提高了识别准确性，属于P2P网络技术领域。

背景技术

近年来P2P技术的快速发展给用户带来了丰富和便捷的网络共享资源，在现在Internet中，P2P网络流量已经占有现有互联网网络带宽的80%以上，如P2P网络共享系统（BT、EMULE、EDonkey、ARES等）、P2P语音通信软件（如SKYPE、MSN、QQ、Gtalk等）、P2P视频点播系统（PPLIVE、PPSTREAM等）和CDN系统等，并且P2P网络的开放性引发了带宽、安全等方面的问题。如何对P2P流量进行识别和进一步的管理和控制，并将其进行有效合理的应用成为亟待解决的问题。

本发明结合P2P网络首先分析目前典型P2P流量检测技术的优缺点，在此基础上，提出了一种基于DPI和DFI的P2P流量识别方法，通过有效结合DPI识别精度高及DFI能识别未知和加密流量的优点，可同时对网络流量进行三层过滤，减少了后续DPI检测和DFI检测的工作负载。

目前P2P协议识别技术主要分为三大类：基于端口的识别技术，其主要针对特定应用；基于协议的深层数据包进行识别，主要针对通信协议中的特殊报文；基于流量的特殊性，即针对流量特征进行识别；上述三类识别技术各有优势。

与本发明相关的现有技术分析

针对P2P流量的识别方法常见的主要有三种，下面分别介绍：

1）基于端口的识别技术，针对特定应用，基于通信端口的分析方法，简单的说就是通过检查网络中通信节点之间的交互协议的端口号，如TCP的端口号，从而实现对特定P2P应用的识别。这种分析方法优势在于协议分析的直接性、有效性、快速性，但随着P2P网络中开始应用可变端口号，甚至是动态端口号（动态端口的范围从1024到65535，这些端口号一般不会固定地分配给某个服务，大部分的应用服务都可以使用这类端口。一旦运行当中的程序向该程序所在系统提出访问网络的申请，那么该系统就会从这些端口号中分配一个空闲端口供该程序使用；如1024端口就是分配给第一个向系统发出申请的程序，在关闭程序进程后，就会释放所占用的端口号），其导致直接基于端口号进行P2P协议识别的P2P流量识别方案的失败；

2）基于协议的深层数据包进行识别，针对通信协议中的特殊报文，深层数据包检测技术DPI，该技术是一种基于应用层的流量检测和控制技术，该技术需要对IP数据包的载荷（payload）进行组合、分析以确定该数据包的应用类型。当IP数据包、TCP或UDP数据流通过基于DPI技术的协议识别或者网络带宽管理系统时，系统首先深入读取IP包载荷的内容，然后对应用层信息进行重组，从而还原出整个应用程序的内容，再对照识别库进行协议比对，并进行相应的处理操作。基于深度数据包解析的P2P协议识别技术可以精确地定位每一类已经识别的协议，这是DPI识别的最大优势，同时还可以实时解析该协议的运行流程，但基于DPI的识别技术需要存储一个已识别的协议特征库，用于特征比对，因此无法用于识别未知协议；

3）基于流量的特殊性，即基于流量特征的协议识别技术DFI，其通过获取网络数据包中各种不同类型流量所表现出来的不同的流量属性特征，从而根据这些特征以确定各种流量的应用类别的一种协议分析方法，但基于DFI技术的P2P协议识别对协议的分类则相对较弱，对某些比较相似的P2P协议，很难做到有效区分，因此单纯的DFI技术更适合于对P2P整体数据流的识别，而不适合于对某个P2P协议的精确识别。

以上DPI和DFI两种方法各有优缺点，表1对两种方法进行了比较。

表1DPI技术和DFI技术特性对比

	DPI	DFI
			概念	针对数据包的净载荷进行深入分析、对比	是一种基于流量行为的应用识别技术，主要针对P2P流量与其他流量之间的不同特征，来确定是否是P2P流
精确度	高	低
			出错率	低	较高
识别代价	较高	低
			可扩展性	窄，适应性差，只针对特定协议	宽，适应性好，可以识别多种协议
协议分类	好	无法分类
			识别速度	较慢	快
实时性	很好	好

发明内容

技术问题：发明的目的是提出一种高效的、准确的P2P流量识别方法，即

一种基于自主学习的对等网络流量识别方法，其不仅利用了DPI和DFI两种识别方法，而且利用DPI已识别的P2P流量来对基于机器学习的DFI识别结果进行验证,达到自主学习的目的。通过这种方法既可以识别加密的P2P网络流量，同时还克服了DFI无法自调整和识别率低的问题。

技术方案：本发明采用将深层数据包检测技术DPI（DeepPacketInspection）和流量特征协议识别技术DFI（Deep/DynamicFlowInspection）相结合，并利用DPI识别出的P2P流信息对DFI识别结果进行验证，进而实现自主学习的DFI识别方法，具体的是提出了一种通过NetFilter技术对P2P流量进行提取，然后利用DPI技术进行识别，并将识别出的P2P流量的特征添加到IP地址列表中，对基于机器学习的DFI识别结果进行验证，使整个识别过程形成一个闭环系统，实现具有自主学习能力的P2P流量识别方法。

体系结构：传统的P2P流量识别系统通常只采用DPI或DFI其中一种，并且不具备自主学习的能力，通过对其进行有效的改进，本方法成功克服了DFI无法自调整和识别率低的问题，对应系统主要包括四个模块：流量提取模块、DPI模块、DFI模块、自主学习模块。

下面给出几个模块功能的具体说明。

流量提取模块:流量提取模块主要是基于Linux的NetFilter架构实现的，NetFilter主要的原理是在原有的通信协议的基础上通过挂载钩子函数（或HOOK函数）的方式，来实现对正常数据包流程的截断、分析、拦截等一系列操作。NetFilter拥有五个钩子点分别为NF_IP_PRE_ROUTING、NF_IP_LOCAL_IN、NF_IP_FORWARD、NF_IP_POST_ROUTING、NF_IP_LOCAL_OUT。Netfilter在内核态中的整体框架如图1所示。

通过在NF_IP_PRE_ROUTING和NF_IP_POST_ROUTING两个钩子点上调用相应的钩子函数，可实现对进入本地网卡设备的数据包进行拦截，然后对截获的流量报文进行协议、端口号等信息的分析，如果符合检测要求则将其交给DPI模块进行DPI检测。

DPI模块：本模块功能是对流经系统的网络流量首先进行DPI检测，该模块是本系统的核心模块之一，负责对未加密的P2P流量进行准确检测，同时又将检测到P2P流量的IP信息保存到IP信息列表中，为DFI检测提供服务。

当该模块运行时，其从特征库中导入相应的特征值存储至二维哈希链表中，之后该模块会调用相应的DPI方法（即特征值匹配），将链表中存储的特征值内容导入特征匹配算法中，至此DPI模块开始进行深度报文检测工作，同时该模块也会从共享内存区中发送临界区请求来读取已经过预处理的报文信息，一次读取一个报文，读取结束后，释放缓冲区，调用相应的特征匹配算法对报文进行扫描识别，这样一个报文的扫描检测工作已结束，再陆续进入下一个报文识别工作，直至用户结束DPI扫描或整个程序终止，最后根据不同的检测结果进行相应的处理，如果是P2P流对其进行信息提取存入IP列表中，如果未识别出是P2P流量，则输入DFI检测模块进行进一步识别处理。

DFI模块：经过DPI检测的数据流，一部分未知和加密的P2P数据流不能被DPI识别来，我们将这部分P2P流输入至DFI检测模块进一步识别。DFI技术是基于一系列流量的行为特征，建立流量特征模型，通过分析会话流的数据包长度规律、连接速率、传输字节量、数据包间的时间间隔等信息来与流量模型对比，从而实现鉴别判断是否为P2P流量。

下面将介绍本文选取的几个P2P流的确定性特征。

1)上下行流量之比

普通的网络应用的流量通常是上行远远大于下行，而一些上传文件之类的应用，也是下行流量小而上行流量大。但是P2P应用其上下行的流量是相当的，这种上下行流量的对称特点是P2P应用在流量分布规律上区别于其他普通网络应用最显著的特征。

2)逻辑连接数

P2P应用的连接和一般应用的连接差别很大，通常P2P的连接数要比普通应用的连接数多。

3)活跃度

活跃度标识的是一个端口前后两次连接数的变化。规定：新建立一个连接，或一个连接超时，活跃度+1。活跃度的计算方法为：活跃度＝本次连接数－上次连接数＋超时连接数×2。

4)存在时间

存在时间的单位是次，单位存在时间与定时提取特征的时间间隔相同。很多P2P软件如BitComet，用户建立下载任务后就可让其长时间运行，对于经常使用的下载电影等文件任务来说，一个任务持续的时间比较长。

5)存在时间平均流量

存在时间平均流量用于表明流量的持续情况。一般而言，非P2P应用的数据包是突发的，流量较小；P2P应用的数据包持续时间长，且流量平均很大。存在时间平均流量的更新：新的存在时间平均流量＝﹙﹙原存在时间平均流量×原存在时间﹚＋本次的上行流量＋本次的下行流量﹚÷﹙原存在时间＋1﹚，存在时间在存在时间平均流量之后更新。

6)流的数据包长度规律

P2P报文流的包长也存在着一定的规律，这种数据包长度对同种P2P应用具有普遍性，而相对于其它P2P应用具有特殊性。这样的一些特殊的规律可作为流量检测的特征。将数据流准确划分为P2P流和非P2P流是进一步识别P2P具体应用的基础，我们可以使用上述选取的几个确定性特征作为识别P2P流的依据，事先设定好相应的限制条件和适当阈值，表2显示了非P2P应用与P2P应用部分属性对比情况。

表2非P2P与P2P部分属性对比

这些确定性特征反映了P2P应用的共有性特征，将这些特征有机地结合在一起，可以有效地区分出P2P流和非P2P流，它是DFI检测的基础。

自主学习模块：任何DFI检测方法需要借助机器学习的方法才能有效地执行，即需要采集一定数量的流量的特征数据作为样本进行学习训练，根据训练结果来识别P2P流量，在进行DFI检测前，我们需要通过DFI训练子模块获得有效的训练集合，若现有的训练集合不满时，可以重复训练或重新选择样本训练，基于此，我们可以将DPI检测出的已知的P2P数据和非P2P流作为正负样本送至DFI训练模块进行训练，产生高精度的训练集合，这样能提高DFI检测的准确度，减少误判率。在DFI检测时我们增加了一种验证机制，即利用已识别出的P2P流量的信息对DFI识别的结果进行验证，这样可以实时地对自主学习的DFI检测进行调整。

目前，常用于识别P2P网络流量的机器学习方法有支持向量机（SupportVectorMachine，SVM）、决策树以及K-近邻（KNearestNeighbors，KNN）三种。通常采用决策树的分类方法来完成P2P流的识别，决策树是一种类似判定树的树形结构数中每个结点对应于流量的一个特征，叶子节点对应最终的分类结果，即为P2P流或者是非P2P流。在实现机器学习的前提下，又充分利用了DPI识别准确性高的特点，将DPI识别出的P2P流量的五元组（源IP地址，源端口，目的IP地址，目的端口，和传输层协议号）保存到IP信息列表中。当对DPI未识别出的流量进行基于自主学习的DFI检测时，利用IP信息列表对DFI已识别的对应协议的上传、下载数据流进行验证，以确定该数据流是否是P2P流量，并将结果信息反馈给自主学习系统，从而可以实时的提高自主学习的能力，进而提高识别的准确度。

二、方法流程

基于自主学习的对等网络流量识别方法所包含的步骤为：

步骤1).当流量经过装有该系统的主机时,根据Linux的Netfilter架构，利用HOOK函数对数据包进行抓取；

步骤2).对抓取的数据包进行相应的统计；分析数据包的IP层，判断数据包是TCP报文还是UDP报文，若是UDP报文则根据特征库进行UDP报文的DPI检测,若是P2P报文转到步骤4），否则丢弃；

步骤3).对识别出的TCP报文进行端口检测，若其端口号在0-1023之间，说明其不是P2P报文，直接结束；对于TCP数据包，根据特征库进行TCP报文的DPI检测，若不是P2P报文直接丢弃；

步骤4).将已识别出的P2P报文中的相应的五元组即：源IP地址，源端口，目的IP地址，目的端口，和传输层协议号装入到IP信息列表中；

步骤5).首先通过非P2P和P2P的样本对基于机器学习的DFI模块进行训练，建立关于会话流的数据包长度规律、连接速率、传输字节量、数据包间的时间间隔等信息的流量模型；

步骤6).将DPI检测未识别出的数据包报文发送给DFI检测模块，进行检测，与流量模型对比，判断是否是P2P流量，若检测结果是P2P协议的数据包，则进行步骤7），否则直接结束检测；

步骤7).将DFI识别出的P2P协议报文中的IP与DPI识别出的IP列表进行对照验证；

步骤8).若IP列表中含有此IP信息，则验证成功，说明DFI成功检测到进行加密的P2P报文，否则结束检测；

步骤9).对于成功检测的加密的P2P流量，提取报文中的流量特征信息：源IP地址，源端口，目的IP地址，目的端口，和传输层协议号，利用该流量特征信息对DFI检测模块再进行一次训练，提高流量模型的精确性。

有益效果：本发明方法提出了一种基于DPI和自主学习的DFI相结合，并具有验证功能的P2P流量识别方法，主要用于解决加密的P2P流量识别率低，准确性低的问题，同时又为其添加了自主学习的功能。通过使用本方法可以将DPI识别率高的特征与DFI技术有效结合，从而解决了对加密的P2P流量的识别问题。下面我们给出了具体说明：

准确性：对于流量识别方法，准确性是衡量其好坏的重要指标，如果单独采用DPI方法只能对未加密的P2P流进行准确的识别，而对于加密报文无法识别；虽然DFI方法对未加密报文可以识别，但通常其准确性比较低，通过对其采用机器学习和验证机制，充分利用了DPI识别率高的特性，并能够实时地对流量模型进行调整，提高准确性。

效率：利用IP列表信息进行验证，使得我们能够将P2P流量的特征用最简单的数据结构进行保存，避免用已识别的P2P流量重新对DFI训练，而是直接利用自主学习的DFI方法识别DPI未识别出的流量，并利用IP信息列表中的五元组信息对识别结果进行验证，这样大大提高了识别效率。

自主学习：采用了决策树的机器学习方法，可根据流量的数据包长度规律、连接速率、传输字节量、数据包间的时间间隔等行为特征有效的构造出合理的流量识别模型，再通过IP信息列表的验证，可以实时地对流量模型进行调整，达到自主学习的目的。

附图说明

图1是NetFilter的架构图。主要由五个钩子点组成：NF_IP_PRE_ROUTING、NF_IP_LOCAL_IN、NF_IP_FORWARD、NF_IP_POST_ROUTING、NF_IP_LOCAL_OUT，在对应的钩子点调用不同的钩子函数可以实现对数据报文转发处理工作。

图2是基于DPI和DFI的自主学习的P2P流量识别方法的详细步骤。

具体实施方式

本发明的方法是提出了一种通过NetFilter技术对P2P流量进行提取，然后利用DPI技术进行识别，并将识别出的P2P流量的特征添加到IP地址列表中，再将机器学习技术与DFI识别相结合，使其能够进行自主学习，同时，利用IP地址列表对自主学习的DFI识别进行验证，使整个识别过程形成一个闭环系统，增强其自主学习能力，具体实施如下：

Claims

1.一种基于自主学习的对等网络流量识别方法，其特征在于该方法所包含的步骤为：

步骤1).当流量经过装有本方法所使用的主机时,根据Linux的Netfilter架构，利用HOOK函数对数据包进行抓取；

步骤2).对抓取的数据包进行相应的统计，分析数据包的IP层，如果既不是TCP报文也不是UDP报文，则结束；若是UDP报文则根据特征库进行UDP报文的DPI检测,如检测结果为P2P报文转到步骤4），如果不是P2P报文则丢弃；

步骤3).对TCP报文进行端口检测，若其端口号在0-1023之间，说明其不是P2P报文，直接结束；对于TCP报文如端口号不在0-1023之间，则根据特征库进行TCP报文的DPI检测，若不是P2P报文直接丢弃；如该报文DPI检测无法确定是否为P2P报文，则转步骤6；

步骤4).将已识别出的P2P报文中的相应的流量特征信息即：源IP地址，源端口，目的IP地址，目的端口，和传输层协议号装入到IP信息列表中；

步骤5).首先通过非P2P和P2P的样本对基于机器学习的DFI模块进行训练，建立关于会话流的数据包长度规律、连接速率、传输字节量、数据包间的时间间隔信息的流量模型；

步骤6).将DPI检测未识别出的数据包报文发送给DFI模块，进行检测，与流量模型对比，判断是否是P2P流量，若检测结果是P2P协议的数据包，则进行步骤7），否则直接结束检测；

步骤7).将DFI识别出的P2P协议报文中的IP与DPI识别出的IP信息列表进行对照验证；

步骤8).若IP信息列表中含有此IP信息，则验证成功，说明DFI成功检测到进行加密的P2P报文，否则结束检测；

步骤9).对于成功检测的加密的P2P流量，提取报文中的流量特征信息：源IP地址，源端口，目的IP地址，目的端口，和传输层协议号，利用该流量特征信息对DFI模块再进行一次训练，提高流量模型的精确性。