CN101883030B - 一种基于ip地址随机测度的p2p节点检测方法 - Google Patents

Abstract

本发明提供了一种基于IP地址随机测度的P2P节点检测方法，目的在于克服已有的基于端口及基于深层数据包检测方法准确性和性能的不足。本发明利用了P2P应用连接中远端地址分布均匀的特点，并基于熵的思想，构造了IP地址随机测度特征描述这一现象，以此判断P2P节点。具体实现时，首先捕获网络数据包，然后依据网络数据包，搜索同一源IP地址对应的所有目的IP地址，分别计算各源IP地址的随机测度，最后将各源IP地址的随机测度与阈值作比较，检测出P2P节点。大量的实验结果表明，该发明能有效地区分P2P和非P2P应用，P2P节点识别准确率高。

Description

一种基于IP地址随机测度的P2P节点检测方法

技术领域

本发明属于互联网技术领域，具体涉及一种P2P节点检测方法。

背景技术

随着因特网(Internet)的迅速发展，对等网络(Peer-to-Peer，P2P)已成为Internet上重要的应用之一。传统文件下载或流媒体服务都是客户端/服务器(C/S)模式，即用户连接服务器，然后服务器以单播方式把数据推送给用户。如果采用上述模式，所有的客户端全部连接到同一台服务器上，服务器的压力会非常大，影响了用户的视听效果。内容分发网络(Content Delivery Network，CDN)技术虽然可以在一定程度上加速数据传输，但其核心仍然是基于集中服务器的架构，在高峰时期对突发流量的适应性、容错性等方面仍然存在一定缺陷。P2P技术的引入带来了新的机遇。在P2P方式下，每个对等实体(peer)既是服务的提供者，又是服务的享用者。通过将服务器的负载分散到众多peer中，从而有效地减轻服务器的负载和网络带宽占用。基于P2P方式的数据传输的研究也逐步引起了人们的重视，相关技术或原型系统不断出现，如BitTorrent，EMule，PPStream、PPLive等。在风险投资的推动下，已有多个商用系统投入运营，2006中央电视台春节联欢晚会也开始使用P2P流媒体技术对全球直播，使用P2P技术已经成为网络应用发展的趋势。

P2P应用在不断发展的同时，也给网络管理带来了许多新的问题，主要表现为：

(1)P2P应用消耗了大量带宽

P2P应用带来的最大问题是消耗了大量网络带宽。有学者研究中国教育和科研计算机网的主干流量发现：P2P应用已经是网络中的最大消费者；P2P流量已经大大超过Web流量；P2P流量还在继续增长。

(2)版权纠纷

P2P模式比C/S模式更加自由。在C/S模式下，资源集中在服务器上，监管好服务器就能实现对知识产权的保护。P2P模式下资源分散在用户节点上，任何人都可以向其他人提供所需的信息，使得音乐、游戏、软件等数字产品版权难以控制，让开发商面临巨大的损失。

(3)内容监控

P2P下载中存在一些不良内容。如国内大学里很流行的天网系统，就被发现存在大量色情的电影和图片。目前通过屏蔽敏感的关键字和关键词，搜索引擎已经不能搜索到这些不健康的内容，然而使用P2P软件不但能轻易地搜索出来，还不用担心找不到资源无法下载的问题。

(4)安全问题

P2P是一种传播信息的方式。它允许单个用户通过P2P网络未经检验地分发任何内容。蠕虫、病毒或其它的恶意代码，借助P2P强大的传播能力，可以在一夜之间感染成千上万台机器，比一般的网络传播有效得多。另外，P2P软件可以穿透现有防火墙和安全代理，从内部打开企业网络安全防护的漏洞，使得各类病毒轻易进入企业，同时也可能造成个人或企业私密泄漏。

综上所述，目前迫切需要有效的P2P管理技术以降低这些负面影响的危害程度。其中，如何准确识别网络中P2P节点成为了P2P管理中重要的问题。

通过对国际上各种P2P流量检测技术的调查发现，目前各种P2P流量检测技术可以归结为如下三类检测技术：基于端口的检测技术(Port based Identification)，深层数据包检测技术(DPI，Deep PacketInspection)和基于流量行为特征的检测技术(Traffic Behavior basedIdentification)。

基于端口的检测技术是根据网络应用使用的端口号来判断应用类别的技术。其弊端是，如果P2P应用通过动态变化的端口来传输数据，那么基于端口的方法检测就无能为力了，因此这种方法虽然效率比较高，但准确性太差，并没有被广泛的应用。

深层数据包检测技术主要是通过对数据包的应用层数据进行特征匹配来识别P2P流量。目前深层数据包检测技术已经发展得非常成熟，但是对于采用了内容加密的P2P应用，基于深层数据包检测技术就变得无能为力了。

基于流量行为特征的检测技术就是利用流量特征(如IP地址，端口等)信息进行P2P检测的技术，该技术不需要任何关于应用层协议的信息，主要针对网络流量在一段时间内的某些统计特征进行检测和分析，以此为基础检测P2P。托马斯(Thomas Karagiannis)等人在仔细研究了P2P流量的传输层特征后于2004年提出了一种基于传输层特征的P2P流量检测方法，该方法以P2P流量在传输层所表现出来的两种一般性特征为依据，结合传统的端口检测技术，能够有效地检测到新的P2P应用和加密的P2P应用，但是该方法过于复杂且不能适用于国内的P2P应用环境。

在国内，虽然目前对于P2P技术的研究和应用都进行得如火如荼，但是提出的检测方法主要也是基于深层数据包检测技术。国内部分网络设备生产商已经推出了P2P流量监控的相关产品，如华为的SecPath 1800F防火墙和Eudemon500/1000防火墙以及国都兴业(CAPTECH)的网络管理软件一网络慧眼。这些产品采用的都是深层数据包检测技术。

综上所述，目前对P2P应用的识别与检测技术的实际应用主要是基于端口或基于深层数据包检测，一些基于流量行为特征的识别方法准确性和性能都不能满足要求。因此在大流量环境下(双向2Gbit/s以上流量)，开展基于流量行为特征的P2P识别技术的研究，设计能实际应用的基于流量行为特征的实时检测算法，具有非常重要的理论意义和实用价值。

发明内容

本发明的目的在于克服已有的基于端口及基于深层数据包检测方法准确性和性能的不足，以及当前的基于行为特征的检测方法实时性差且不能适于大流量环境的缺点，提供一种基于IP地址随机测度的P2P节点检测方法。

基于IP地址随机测度的P2P节点检测方法，包括如下步骤：

(1)捕获预定时间段内的网络数据包，网络数据包携带有源IP地址及其对应的目的IP地址信息；

(2)依据网络数据包，搜索同一源IP地址对应的所有目的IP地址；

(3)分别计算各源IP地址的随机测度

其中

i＝1，2，3…K，K为子网总数，w_i为该源IP地址对应的属于第i个子网的目的IP地址数，n为该源IP地址对应的所有目的IP地址数，子网定义为m位前缀相同的IP地址的集合，m取值范围为16～24；

(4)确定随机测度属于随机测度取值区间的源IP地址则为P2P节点。

本发明的技术效果体现在：本发明利用了P2P应用连接中远端地址分布均匀的特性，并提出了IP地址随机测度特征来描述这一特性，以此判断P2P节点。

P2P连接中远端地址分布比较均匀的原因分析：

(1)资源的分散性

P2P优秀下载性能的一个重要因素是采用了分片机制。如Bittorrent中将原始文件分成若干片(其他的P2P系统也有类似的机制)。分片机制使得资源很快从一台机器分散到了多台机器，串行下载变成了并行的下载。从连接的角度看，从少量连接变成了多条连接。在混合式的P2P系统中，跟踪器收集所有参与节点的状态，并给新加入节点一个随机的节点列表。随机选择节点时只会考虑到该节点是否在同一个群(下载相同的文件)中，不会考虑到这些节点是否相邻，距离以及带宽等因素。因此，正是分片机制导致集中的资源迅速地分散到了各个节点，下载节点将从多个节点获得资源，而不会集中在某点。这种资源分散性在连接上表现为远端IP地址分布比较分散。在C/S模式中，某些应用也会产生多条连接，如WWW服务下载页面时也会产生多条连接，但是由于资源比较集中在1，2台主机上，所以导致目的IP地址比较集中。因此，可以说IP地址随机测度实际上反映了P2P系统与C/S系统在资源分布上的区别，它反映的是P2P网络的本质特征。

(2)动态性

P2P网络是一个由很多临时节点组成的网络，这些主机可能会有不同的处理能力或连接速度，特别是随机离开这个网络的行为是由用户自身决定的，这使得P2P的网络拓扑很不稳定。P2P节点为了保证它的下载速度不会因为部分用户的随机离开而下降，会不断地向其它P2P节点发起新的连接，同时会继续不断尝试连接离开P2P网络的节点，这也导致连接不断增多，IP地址随机测度增加。

为了验证本发明的效果，图2给出了文件共享型P2P系统：Bittorrent，Emule每隔10秒计算的IP地址随机测度。图3给出了流媒体型P2P系统：PPLive，PPstream每隔10秒计算的IP地址随机测度。为了进行比较，对若干非P2P系统也进行了IP地址随机测度测试。图4给出了非P2P系统：域名应用(DNS)，电子邮件应用(EMAIL)每隔10秒计算的IP地址随机测度。图5给出了非P2P系统：万维网应用(WWW)每隔10秒计算的IP地址随机测度。表1给出了以上测试的IP地址随机测度的统计结果。

数据集	最大值	最小值	平均值	中位数	标准差
						Bt	0.98	0.88	0.95	0.95	0.02
Emule	0.96	0.8	0.89	0.89	0.03
						PPLive	0.99	0.98	0.99	0.99	0.002
PPstream	0.997	0.96	0.99	0.985	0.007
						Dns	0.7	0.58	0.59	0.59	0.01
Email	0.87	0.33	0.56	0.55	0.02
						Web server1	0.69	0.52	0.62	0.62	0.03
Web server2	0.63	0.54	0.59	0.59	0.02

表1各种应用的IP地址随机测度统计值

从上述的实验结果可以看出：

(1)P2P应用与非P2P应用的IP地址随机测度有很明显的区别。所有的P2P应用中IP地址随机测度最小值为0.8，而绝大多数的非P2P应用IP地址随机测度不大于0.7。容易混淆的DNS应用的IP地址随机测度的平均值为0.59。只有Email的IP地址随机测度值出现了一次0.87，但是其平均值只有0.56。

(2)IP地址随机测度值变化比较稳定(最大值和最小值的差异较小)，这表明P2P系统在不同的状态下，IP地址随机测度比较稳定，这有利于设置阈值。

(3)IP地址随机测度越接近1，表示信息随机程度越大，IP地址随机测度接近0，表示确定性信息越大。实验验证了提出的IP地址随机测度特征能够很好地描述地址分布是否均匀这一特点。

结论：IP地址随机测度可以有效地区分P2P应用与非P2P应用，且系统处在不同状态下时，IP地址随机测度波动幅度小这有利于降低误报率。

附图说明

图1为某主机的连接情况示意图，图1(a)为Bittorrent应用时的连接情况，图1(b)为WWW应用访问时的连接情况；

图2为P2P系统：Bittorrent，Emule的IP地址随机测度测试结果；

图3为P2P系统：PPLive，PPstream的IP地址随机测度测试结果；

图4为非P2P系统：DNS，Email的IP地址随机测度测试结果；

图5为非P2P系统：WWW的IP地址随机测度测试结果；

图6为本发明系统整体框架图；

图7为捕包示意图；

图8为流哈希结构示意图；

图9为流记录表的构建过程；

图10为建立流记录表副本示意图；

图11为节点记录表构建过程示意图；

图12为子网存储结构示意图；

图13为计算节点的IP地址随机测度流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

P2P最根本的思想，同时也是它与客户/服务器模型(C/S)最显著的区别在于网络中的节点既可以获取其他节点的资源或服务，同时又是资源或服务的提供者，即兼具客户端(Client)和服务器(Server)的双重身份。

观察P2P连接中远端地址的分布特点。图1(a)给出某主机进行BT应用时的连接情况。其中，右边表示为与主机互联的对端IP地址的子网号，左边括号内为该子网中的连接数。图1(b)给出该主机进行WWW访问时的连接情况。在图1(a)的例子中，主机进行BT下载时共产生了23条连接，这23个连接的远端IP地址分布在23个不同的C类子网中，地址分布比较均匀，平均每个C类子网内一条连接。WWW应用一共产生了410条连接，这410条连接的远端IP地址范围集中在22个子网中，平均每个C类子网内有18.6条连接。其中，在121.0.25.0这个C类子网中有80条连接。在60.12.195.*这个子网中有71条连接。

观察多种P2P系统的远端IP地址分布也发现有类似的特点。如何来描述这种地址分布的特征呢？信息论中用熵作为不确定性的度量，本发明中借助信息论中熵的思想作为地址分布集中程度的度量。

定义1：IP地址熵

假设T为同一源IP地址对应的n个目的IP地址集合，这些IP地址分别属于K个子网。子网定义为m位前缀相同的IP地址的集合，m＝16～24。其中第i个子网在T中出现的概率为P_i，i＝1，2，3…K，

P_i＞0，

n：集合T中总的目的IP地址数。第i个子网的信息量为：

K个子网信息量的数学期望定义为IP地址熵，如下式所示：

$H(p_1,p_2,\·\·\·p_k)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{P}_i\log \frac{1}{P_i}$

如果K＝1，也就是T中的所有样本在一个子网里，那么H(p₁，p₂，…p_K)＝0，达到最小值。

定理1：最大熵定理

T中子网以等概率出现，即p₁＝p₂…＝p_K，也就是每个IP地址就是一个子网，那么H_max(p₁，p₂，…p_K)＝logn，达到最大值。

定义2：IP地址随机测度(E)是IP地址熵和最大IP地址熵的比值，表示IP地址的随机程度。

$E=\frac{H(p_1,p_2,\·\·\·p_K)}{H_{\max }(p_1,p_2,\·\·\·p_K)}=\frac{H(p_1,p_2,\·\·\·p_K)}{\log n}$

由定义可知，0≤E≤1，E表示随机程度，E越接近1，表示信息随机程度越大，E越接近0，表示确定性信息越大。

本发明具体实施方法如下：

系统的整体结构如图6所示。从整体上看，系统共分为三大模块：流量采集，数据包重组和P2P节点识别模块。流量采集模块采用被动测量方式采集网络数据包。在数据包重组中，采用哈希算法将数据包重组为网络流，P2P节点识别模块对每个节点计算IP地址随机测度，然后根据阈值对节点进行P2P判定。

步骤1.网络流量镜像

通过分光器或者交换机的镜像功能将网络流量镜像到系统上，系统采用被动测量方式捕获网络数据包，不会对网络本身造成任何影响。如图7所示，系统一般部署在网络的出口，捕获出口线路上出\入(TX\RX)两个方向的流量。

步骤2：基于哈希算法的流记录表构建

流定义为在某段时间(推荐5～10分钟)内具有相同源IP地址，目的IP地址，源端口，目的端口及协议的一系列数据包的集合。

采用哈希的方法将数据包转换成流，记录每条流的源IP地址，目的IP地址，源端口，目的端口，协议，数据包个数以及字节数信息。

哈希算法的输入为数据包的源IP地址，目的IP地址，源端口，目的端口及协议。哈希算法的输出为16位整形变量，可以查找大小为65536的哈希表，确定流信息。哈希值为流记录数组HashTable的下标，数组HashTable的元素是一个指向流记录StreamInfo的指针。流记录StreamInfo记录了该流源IP地址，目的IP地址，源端口，目的端口，协议，数据包数以及字节数。哈希表结构如图8所示。

流记录表的构建过程，首先建立一个空的流记录表，记录表的大小为65536，再通过以下步骤的循环实现所述流记录表的更新，构建出所述的流记录表：

1)从网卡中读取一个数据包，提取数据包的源IP地址，目的IP地址，源端口，目的端口及协议进行哈希运算；

2)根据计算的哈希值在流记录表中查找此数据包对应的流记录是否已经存在，如果存在转到(3)，否则转到(4)；

3)更新此条流记录信息。包括数据包个数和字节数，转(1)；

4)新建一条流记录并插入到流记录表中，转(1)。

基于哈希算法的流记录表构建过程如图9所示。

步骤3建立流记录表的副本

本发明以五分钟为周期进行数据分析。在实时获取5分钟的数据包并利用哈希算法生成流记录表后，开启新的线程建立流记录表副本，进行进一步的分析，与此同时，主线程依然在实时捕获数据建立新一轮的流记录表。只要能够满足流记录表副本的创建与分析在五分钟内完成，即使在连续流量捕获的情况下，系统依然可以实时地运行下去，如图10所示。

步骤4遍历流记录表

本发明是在节点层面对P2P应用进行检测。

采用哈希算法对流记录表副本进一步处理，构建节点记录表存储节点信息。节点记录包括了该节点的IP地址以及以该节点为源节点所对应的所有目的IP地址。节点记录表的构建过程如下：

首先建立一个空的节点记录表，再通过以下步骤的循环实现所述节点记录表的更新，最终构建出所述的节点记录表：

1)从流记录副本中获取一条流记录；

2)提取该流记录中的源IP地址，对该地址进行哈希运算；

3)根据计算的哈希值判断该源IP地址在节点记录表中是否存在，如果存在转步骤4)，否则转步骤5)；

4)更新节点记录表中该节点信息，包括该节点为源节点所对应的所有目的IP地址数，转步骤6)；

5)新建一条节点信息记录并插入到节点记录表中；

6)判断流记录副本是否遍历完毕，如果是，转步骤7)，否则转步骤1)；

7)所述节点记录表构建完成。

节点记录表构建过程如图11所示。

步骤5计算节点的IP地址随机测度

对于每个节点计算其IP地址随机测度。计算IP地址随机测度需要查找该节点所对应的所有目的IP地址所在的目的IP地址子网，统计每个目的IP地址子网中的流数。由于查找目的子网操作非常频繁，某些P2P节点5分钟的目的子网个数甚至达上万个，这样对于某个节点每条流都需要进行多次匹配才能找到目标子网。本发明中采用一种树状结构存储目的IP地址的子网号，每一个节点都有一棵目的IP地址子网树。如图12所示。

IP地址随机测度计算过程是首先遍历流记录表，建立各节点的目的IP地址子网树。最后，一次性处理节点数据计算IP随机测度。

具体步骤如下：

1)从节点记录表中取一节点，计算其目的IP地址的子网号，方法是将目的IP地址与掩码255.255.255.0相与，即可得目的IP地址子网号。

2)将目的IP地址子网号在该节点的目的IP地址子网树上进行搜索。若该目的IP地址子网号与该节点的目的IP地址子网树的根节点子网号相等，转3)。否则，转4)。

3)更新该节点的目的IP地址子网树中根节点结构中流记录数字段，将流记录数加1。转5)。

4)新建一个目的IP地址子网节点结构，插入到目的IP地址子网树中，该结构中包括子网号和流记录数字段。插入目的IP地址子网树的方法：将目的IP地址子网号与节点子网号进行比较，若该子网号等于节点子网号，则更新该节点结构中的流记录数字段，将流记录数加1。转5)。若该子网号大于节点子网号，则插入到该节点的左子树中，若该子网号小于节点子网号，则插入到该节点的右子树中，逐级递归。

5)流记录表是否遍历完，若完成，转6)，否则转1)。

6)统计每个节点的目的IP地址子网树中节点的流记录数，按照IP地址随机测度公式，计算每节点的IP地址随机测度。

IP地址随机测度计算过程如图13所示。

步骤6P2P节点识别

IP地址随机测度取值区间设为[0.9，1]。若节点的IP地址随机测度在此取值区间内，即判定为P2P节点，否则为非P2P节点。

本发明首先采用哈希算法建立数据流，再依据数据流建立节点哈希表，进而依据节点哈希表搜索同一源IP地址对应的所有目的IP地址，这只是本发明列举的一种方式，不局限于该方式，所在领域的技术人员还可采用其它方式，例如直接在网络数据包中搜索，不管哪一种方式，均属于本发明的保护范围。

Claims (2)

1.基于IP地址随机测度的P2P节点检测方法，包括如下步骤：

(1)捕获预定时间段内的网络数据包，网络数据包携带有源IP地址及其对应的目的IP地址信息；

(2)依据网络数据包，搜索同一源IP地址对应的所有目的IP地址；

(3)分别计算各源IP地址的随机测度

其中 $H(p_1,p_2,\·\·\·p_K)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{P}_i\log \frac{1}{P_i},$

i＝1，2，3…K，K为子网总数，w_i为该源IP地址对应的属于第i个子网的目的IP地址数，n为该源IP地址对应的所有目的IP地址数，子网定义为m位前缀相同的IP地址的集合，m取值范围为16～24；

(4)确定随机测度属于随机测度取值区间的源IP地址则为P2P节点。

2.根据权利要求1所述的P2P节点检测方法，其特征在于，所述随机测度取值区间为[0.9，1]。

Images