CN101867601A - 文件级p2p网络流量识别方法 - Google Patents

Abstract

本发明涉及一种文件级P2P网络流量识别方法，属于网络技术领域。本发明在现有深层数据包检测技术的基础上，根据对数据包所标识的P2P协议类型，从该数据包的有效载荷中提取文件哈希信息。本发明方法由于提取了P2P流传输的具体文件信息，识别的粒度更细。使用本发明提供的方法，网络管理者能采取更有效的措施来管理P2P流量；此外，本发明方法识别出来的文件信息还能用于判断该文件合法性，分析资源的关注程度和用户的下载行为等趋势。

Description

文件级P2P网络流量识别方法

技术领域

本发明涉及一种文件级P2P(Peer-to-Peer)网络流量识别方法，属于网络技术领域。

背景技术

近年来，随着P2P网络技术的不断进步，各种P2P应用的流行程度越来越高。互联网上P2P流量的比例从2004年起就已经超过了HTTP应用的流量，成为了互联网流量的主体。德国一家权威机构Ipoque在2008-2009年的一份互联网调研报告中称，P2P流量已经达到互联网整体流量的60％以上。

P2P在给互联网使用模式带来根本性变革的同时也给网络管理和安全带来了巨大的挑战。其危害表现在：①P2P应用通常采用多条并发连接进行数据传输，加剧了核心网和接入网的拥塞，使得其它重要业务得不到保障，直接影响到用户的服务质量级别。②P2P网络的对等传输方式带来了网络流量模式的改变，接入网的上行流量大幅增加，使以ADSL为代表的传统非对称网络接入方式越来越不受到用户的认可，给网络运营商带来了更多的额外开销。③P2P网络提供了方便的共享和快速的选路机制，为某些网络病毒、木马提供了更好的入侵机会，波及范围大，覆盖面广，造成的损失会很大。④P2P应用的繁荣加剧了盗版媒体的分发，使得mp3、影视等侵权问题日益严重，增加了知识产权保护的难度。

网络运营商和企业网络管理部门要想对P2P网络流量进行有效管理，就一定要攻克其瓶颈技术——P2P流量的识别。现有的P2P流量识别技术主要有三大类方法：

(1)基于端口号的识别方法

基于端口号的识别方法具体为：将获取的网络数据流的端口号与P2P应用的默认端口号进行匹配，如果匹配成功，则认为该网络数据流为P2P流量。其缺点是：识别的精确度较低。主要原因有：随着P2P应用的发展，大多数P2P应用允许用户手动选择来设置默认的端口号；此外，许多新出现的P2P应用都采用随机的端口号，这就使得其端口号不可预测；目前还存在另外一种现象，P2P应用开始使用一些其他常规服务的默认端口号，比如用80端口来伪装自己的功能端口。

(2)深层数据包检测技术(Deep Packet Inspection，DPI)

深层数据包检测技术通过对数据包应用层协议的检测发现P2P应用。这种技术使用一个特征库存储有效载荷特征信息，符合有效载荷特征的数据包即视为P2P数据包。这种方法识别的精确度较高、易于理解、升级方便、维护简单，是目前运用最普遍的方法。但是，目前的深层数据包检测技术仅能够做到流(flow)级别的识别，还没有做到文件级别的识别，即识别出P2P流传输的具体文件信息。

(3)基于流量特征的识别方法

P2P应用作为一种充分利用客户端资源的新型应用，它在传输层表现出来的流量特征相对于其它应用，如HTTP、FTP、DNS等有许多不同的地方。基于流量特征的识别方法是：通过检测出新的流量特征来发现P2P应用。其缺点有：①由于传输层流量特征一般不能明确指示应用层协议类型，所以这种方法对P2P应用分类的能力较弱，而应用分类对于QoS(Quality of Servic，服务质量)的实施非常重要。②由于不对称路由和丢包、重传现象的存在，导致无法精确确定流量特征，从而有可能对P2P流量检测的精确度造成影响。

发明内容

本发明的目的是为了克服已有技术存在的不足，在现有深层数据包检测技术的基础上，提出一种文件级P2P网络流量识别方法。本发明在准确识别P2P流的基础上，深入到文件级别，进而识别出P2P流传输的具体文件信息。

本发明的目的是通过下述技术方案实现的。

一种文件级P2P网络流量识别方法，其具体操作步骤如下：

步骤1：建立一张网络流表，该表的结构包括，但不限于以下字段：数据包的源IP、源端口、目的IP、目的端口和文件哈希信息；

步骤2：本步骤可与步骤1同步操作：建立一个P2P特征库，其仅包含与文件相关的P2P有效载荷特征信息；该P2P特征库的结构包括以下字段：P2P协议类型、有效载荷特征。

步骤3：对接收到的数据包的包头进行解析，获得此数据包的上层传输协议类型、源IP、源端口、目的IP、目的端口；

步骤4：判断该数据包的上层传输协议类型是否为TCP，如果是则执行步骤5；否则转向步骤3；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP、目的端口分别与步骤3接收到的数据包的源IP、源端口、目的IP、目的端口相同，或者其源IP、源端口、目的IP、目的端口分别与步骤3接收到的数据包的目的IP、目的端口、源IP、源端口相同；如果存在这样的一条记录，则将步骤3中接收到的数据包标识为P2P应用，然后转向步骤3；否则执行步骤6；

步骤6：依次将步骤2建立的P2P特征库中的有效载荷特征字段与步骤3接收到的数据包的有效载荷进行匹配，如果匹配成功，则将该数据包标识为P2P特征库中匹配成功的有效载荷特征所对应的P2P协议类型，然后执行步骤7；否则转向步骤3；

步骤7：根据步骤6对该数据包所标识的P2P协议类型，从该数据包的有效载荷中提取文件哈希信息，并将该数据包的源IP、源端口、目的IP、目的端口和文件哈希信息作为一条新的记录，添加到网络流表，然后转到步骤3。

所述P2P特征库包括但不限于以下与文件相关的P2P有效载荷特征信息，其P2P协议类型字段和对应的有效载荷特征字段分别为：

①P2P协议类型字段：BitTorrent协议；对应的有效载荷特征字段：数据包的有效载荷以“0x13BitTorrent protocol”开头；

②P2P协议类型字段：eDonkey/eMule协议；对应的有效载荷特征字段：数据包的有效载荷以“0xe3”开头并且第6个字节是“0x47”，或者以“0xc5”开头并且第6个字节是“0x81”；

③P2P协议类型字段：Gnutella协议；对应的有效载荷特征字段：数据包的有效载荷以“GET/uri-res/N2R？urn:sha1:”开头；

④P2P协议类型字段：Fast Track协议；对应的有效载荷特征字段：数据包的有效载荷以“GET/.hash＝”开头；

⑤P2P协议类型字段：Direct Connect协议；对应的有效载荷特征字段：数据包的有效载荷以“$ADCGET file TTH/”开头；

⑥P2P协议类型字段：Ares协议；对应的有效载荷特征字段：数据包的有效载荷以“GET sha1:”开头；

优选的，步骤7中所述从数据包的有效载荷中提取文件哈希信息的方法为：

如果该数据包标识的P2P协议类型为BitTorrent，则从该数据包的有效载荷的第29位开始，提取20位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为eDonkey/eMule，则从该数据包的有效载荷的第7位开始，提取16位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Gnutella，则从该数据包的有效载荷的第27位开始，提取32位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Fast Track，则从该数据包的有效载荷的第12位开始，提取40位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Direct Connect，则从该数据包的有效载荷的第18位开始，提取39位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Ares，则从该数据包的有效载荷的第10位开始，提取28位字符串作为文件哈希信息。

有益效果

与已有识别方法相比，本发明的一种文件级P2P网络流量识别方法由于提取了P2P流传输的具体文件信息，识别的粒度更细。使用本发明提供的方法，网络管理者能采取更有效的措施来管理P2P流量；此外，本发明方法识别出来的文件信息还能用于判断该文件合法性，分析资源的关注程度和用户的下载行为等趋势。

具体实施方式

下面结合具体实施例对本发明进行详细说明。

实施例中，先后接收到的5个数据包，分别为：

①源IP：60.25.8.92，源端口：1409，目的IP：119.6.8.234，目的端口：7678，上层传输协议类型：UDP，有效载荷(十六进制)：01 1e 60 21 d3 1e 6122 91 3b 7a 2f 9b 00 00 e1 16 05

②源IP：58.247.204.241，源端口：2399，目的IP：114.223.152.51，目的端口：80，上层传输协议类型：TCP，有效载荷(十六进制)：13 42 69 7454 6f 72 72 65 6e 74 20 70 72 6f 74 6f 63 6f 6c 00 00 00 00 00 10 00 052c 1a ad 34 85 6e 44 a3 de fb df 7c fc e6 45 c1 1e 46 f3 66 4d 36 2d 332d 30 2d 2d 4d 42 6e b0 08 30 02 3a 05 1f

③源IP：89.134.31.170，源端口：1563，目的IP：86.106.112.163，目的端口：22417，上层传输协议类型：TCP，有效载荷(十六进制)：e3 29 00 0000 58 07 8d da 14 0b f6 c8 6e 6a d3 45 b5 a5 e7 23 b2 00 20 1e 08 00 f020 08 00 c0 23 08 00 f0 20 08 00 c0 23 08 00 90 26 08

④源IP：114.223.152.51，源端口：80，目的IP：58.247.204.241，目的端口：2399，上层传输协议类型：TCP，有效载荷：00 00 00 01 02

⑤源IP：210.51.188.91，源端口：3680，目的IP：61.147.114.9，目的端口：4163，上层传输协议类型：TCP，有效载荷：15 00 00 00 03 ae b3 ad 4b0c 00 00 00 00 80 01 00 00 20 00 00 36 d4 ac 4b

本发明方法的具体步骤为：

步骤1：建立一张网络流表，其结构包括：数据包的源IP、源端口、目的IP、目的端口和文件哈希信息；该表初始状态为空表。

步骤2：本步骤可与步骤1同步操作：建立一个P2P特征库，包含与文件相关的P2P有效载荷特征信息，其P2P协议类型和对应的有效载荷特征分别为：

①BitTorrent协议，数据包的有效载荷以“0x13BitTorrent protocol”开头；

②eDonkey/eMule协议，数据包的有效载荷以“0xe3”开头并且第6个字节是“0x47”，或者以“0xc5”开头并且第6个字节是“0x81”；

③Gnutella协议，数据包的有效载荷以“GET/uri-res/N2R？urn:sha1:”开头；

④Fast Track协议，数据包的有效载荷以“GET/.hash＝”开头；

⑤Direct Connect协议，数据包的有效载荷以“$ADCGET file TTH/”开头；

⑥Ares协议，数据包的有效载荷以“GET sha1:”开头。

步骤3：接收到①号数据包，对该数据包的包头进行解析，获得此数据包的上层传输协议类型为UDP、源IP为60.25.8.92、源端口为1409、目的IP为119.6.8.234、目的端口为7678。

步骤4：判断出此数据包的上层传输协议类型不为TCP，转向步骤3。

步骤3：接收到②号数据包，获得此数据包的上层传输协议类型为TCP、源IP为58.247.204.241、源端口为2399、目的IP为114.223.152.51、目的端口为80；

步骤4：判断出此数据包的上层传输协议类型为TCP，转向步骤5；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的源IP、源端口、目的IP和目的端口相同，或者其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的目的IP、目的端口、源IP和源端口相同；由于此时网络流表为空，所以不存在这样的记录，转向步骤6；

步骤6：依次将步骤2建立的P2P特征库中的有效载荷特征码与②号数据包的有效载荷进行匹配，②号数据包的有效载荷以十六进制字符串13 42 69 74 546f 72 72 65 6e 74 20 70 72 6f 74 6f 63 6f 6c开头，符合BitTorrent协议的特征，标定该数据包为BitTorrent应用，转向步骤7；

步骤7：根据步骤6对②号数据包所标识的P2P协议类型为BitTorrent，从②号数据包有效载荷的第29位开始，提取20位字符串2c 1a ad 34 85 6e 44a3 de fb df 7c fc e6 45 c1 1e 46 f3 66作为文件哈希信息，并将该数据包的源IP、源端口、目的IP、目的端口和文件哈希信息作为一条新的记录，添加到网络流表，然后转向步骤3。

步骤3：对接收到的③号数据包的包头进行解析，获得此数据包的上层传输协议类型为TCP、源IP为89.134.31.170、源端口为1563、目的IP为86.106.112.163、目的端口为22417；

步骤4：判断出此数据包的上层传输协议类型为TCP，转向步骤5；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的源IP、源端口、目的IP和目的端口相同，或者其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的目的IP、目的端口、源IP和源端口相同；此时不存在这样的记录，转向步骤6；

步骤6：依次将步骤2建立的P2P特征库中的有效载荷特征码与②号数据包的有效载荷进行匹配，③号数据包的有效载荷以十六进制字符e3开头第6个字节为十六进制字符47，符合eDonkey/eMule协议的特征，标定该数据包为eDonkey/eMule应用，转向步骤7；

步骤7：根据步骤6对③号数据包所标识的P2P协议类型为eDonkey/eMule，从③号数据包有效载荷的第7位开始，提取16位字符串07 8d da 14 0b f6 c86e 6a d3 45 b5 a5 e7 23 b2作为文件哈希信息，并将该数据包的源IP、源端口、目的IP、目的端口和文件哈希信息作为一条新的记录，添加到网络流表，转向步骤3。

步骤3：对接收到的④号数据包的包头进行解析，获得此数据包的上层传输协议类型为TCP、源IP为114.223.152.51、源端口为80、目的IP为58.247.204.241、目的端口为2399；

步骤4：判断出此数据包的上层传输协议类型为TCP，转向步骤5；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的源IP、源端口、目的IP和目的端口相同，或者其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的目的IP、目的端口、源IP和源端口相同；此时存在这样的一条记录，标定④号数据包为P2P应用，转向步骤3；

步骤3：对接收到的⑤号数据包的包头进行解析，获得此数据包的上层传输协议类型为TCP、源IP为210.51.188.91，源端口为3680，目的IP为61.147.114.9，目的端口为4163；

步骤4：判断出此数据包的上层传输协议类型为TCP，转向步骤5；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的源IP、源端口、目的IP和目的端口相同，或者其源IP、源端口、目的IP和目的端口与步骤3接收到的数据包的目的IP、目的端口、源IP和源端口相同；此时不存在这样的记录，转向步骤6；

步骤6：依次将步骤2建立的P2P特征库中的有效载荷特征码与⑤号数据包的有效载荷进行匹配，⑤号数据包的有效载荷15 00 00 00 03 ae b3 ad 4b 0c00 00 00 00 80 01 00 00 20 00 00 36 d4 ac 4b不符合预定义的文件相关的P2P有效载荷特征库，转向步骤3。

由上述实施例可见，本发明的这种文件级P2P网络流量识别方法能准确识别出多种P2P应用，并且发现P2P流传输的具体文件信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (3)

1.一种文件级P2P网络流量识别方法，其特征在于：其具体操作步骤如下：

步骤1：建立一张网络流表，该表结构包括但不限于以下字段：数据包的源IP、源端口、目的IP、目的端口和文件哈希信息；

步骤2：本步骤可与步骤1同步操作：建立一个P2P特征库，其仅包含与文件相关的P2P有效载荷特征信息；该P2P特征库的结构包括以下字段：P2P协议类型、有效载荷特征；

步骤3：对接收到的数据包的包头进行解析，获得此数据包的上层传输协议类型、源IP、源端口、目的IP、目的端口；

步骤4：判断该数据包的上层传输协议类型是否为TCP，如果是则执行步骤5；否则转向步骤3；

步骤5：在步骤1建立的网络流表中查询是否存在一条记录，其源IP、源端口、目的IP、目的端口分别与步骤3接收到的数据包的源IP、源端口、目的IP、目的端口相同，或者其源IP、源端口、目的IP、目的端口分别与步骤3接收到的数据包的目的IP、目的端口、源IP、源端口相同；如果存在这样的一条记录，则将步骤3中接收到的数据包标识为P2P应用，然后转向步骤3；否则执行步骤6；

步骤6：依次将步骤2建立的P2P特征库中的有效载荷特征字段与步骤3接收到的数据包的有效载荷进行匹配，如果匹配成功，则将该数据包标识为P2P特征库中匹配成功的有效载荷特征所对应的P2P协议类型，然后执行步骤7；否则转向步骤3；

步骤7：根据步骤6对该数据包所标识的P2P协议类型，从该数据包的有效载荷中提取文件哈希信息，并将该数据包的源IP、源端口、目的IP、目的端口和文件哈希信息作为一条新的记录，添加到网络流表，然后转到步骤3。

2.如权利要求1所述的一种文件级P2P网络流量识别方法，其特征在于：所述P2P特征库包括但不限于以下与文件相关的P2P有效载荷特征信息，其P2P协议类型字段和对应的有效载荷特征字段分别为：

①P2P协议类型字段：BitTorrent协议；对应的有效载荷特征字段：数据包的有效载荷以“0x13BitTorrent protocol”开头；

②P2P协议类型字段：eDonkey/eMule协议；对应的有效载荷特征字段：数据包的有效载荷以“0xe3”开头并且第6个字节是“0x47”，或者以“0xc5”开头并且第6个字节是“0x81”；

③P2P协议类型字段：Gnutella协议；对应的有效载荷特征字段：数据包的有效载荷以“GET/uri-res/N2R？urn:sha1:”开头；

④P2P协议类型字段：Fast Track协议；对应的有效载荷特征字段：数据包的有效载荷以“GET/.hash＝”开头；

⑤P2P协议类型字段：Direct Connect协议；对应的有效载荷特征字段：数据包的有效载荷以“$ADCGET file TTH/”开头；

⑥P2P协议类型字段：Ares协议；对应的有效载荷特征字段：数据包的有效载荷以“GET sha1:”开头。

3.如权利要求1或2所述的一种文件级P2P网络流量识别方法，其特征在于：优选的，步骤7中所述从数据包的有效载荷中提取文件哈希信息的方法为：

如果该数据包标识的P2P协议类型为BitTorrent，则从该数据包的有效载荷的第29位开始，提取20位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为eDonkey/eMule，则从该数据包的有效载荷的第7位开始，提取16位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Gnutella，则从该数据包的有效载荷的第27位开始，提取32位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Fast Track，则从该数据包的有效载荷的第12位开始，提取40位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Direct Connect，则从该数据包的有效载荷的第18位开始，提取39位字符串作为文件哈希信息；如果该数据包标识的P2P协议类型为Ares，则从该数据包的有效载荷的第10位开始，提取28位字符串作为文件哈希信息。