CN102664813A - 一种p2p流量本地化系统及方法 - Google Patents

Abstract

本发明涉及一种P2P流量本地化方法，通过网络爬虫抓取资源种子文件，按预设时间间隔多次构造数据包获取种子文件的种子列表，与IP地址库中存储的地址信息进行比较，判断其IP地址信息所属区域，找出所述种子文件大部分下载客户端所处的承载网区间，同时引导用户使用本地资源种子文件，使得本地的共享文件在最短时间内达到最大利用，因而减少跨域流量的产生，达到控制P2P应用流量的目的,能够有效的控制现有P2P类下载软件产生的流量，帮助用户终端快速的寻找到承载网上最优资源，可广泛应用于互联网流量牵引、控制等领域。

Description

一种P2P流量本地化系统及方法

技术领域

本发明涉及互联网流量本地化技术，尤其是涉及P2P下载软件产生流量控制技术。

背景技术

对等网络P2P(Peer to Peer)技术颠覆了之前常用的客户端/服务器结构的下载方式，终端之间可以直接互联，双方共享资源，协同完成数据交换，避免了服务器节点的瓶颈问题，使得视频等大容量文件共享（下载）更为快捷。但由于P2P系统中的每个节点扮演着上传者和下载者的双重身份，连接占用的总带宽非常惊人，往往可以达到网络带宽上限，消耗了大量的网络带宽资源。更为严重的是，由于用户节点在下载共享文件时，并不考虑资源提供者所处的承载网区间，同时由于缺乏对P2P流量的控制引导，节点间的传输产生了大量的跨域流量，对骨干网影响极大。P2P技术在互联网上的广泛应用，使得运营商在网络运营上面临两难的境地。一方面，网络上大量有价值的P2P应用，吸引了越来越多的用户；另一方面，P2P应用的全互联和并发连接的特点，使得P2P应用消耗掉大量的网络带宽资源，造成整个网络传输不稳定甚至网络瘫痪，同时也降低了运营商的投资效益，使得P2P技术和网络运营商之间的利益冲突日益明显。

根据“Global Internet Phenomena Report: Fall 2011”的统计，P2P流量已占据城域网网络出口带宽70%左右。为减轻P2P对骨干网络的冲击，有必要对城域网跨域流量进行有效的控制。现有的P2P流量控制方法主要有以下两种：

第一种方法是对P2P流量进行识别，从带宽和连接数量两方面对P2P流量进行限制；如中国专利200810166804.3在运营商边缘设备上，对数据报文的上行会话组进行监测，找出P2P应用流量，然后对超出预设带宽上限的P2P流量进行限制。中国专利200710181690.5是利用DPI（深度包检测技术）检测P2P应用流量是否符合预设阀值，从而限制P2P应用带宽。专利200510096095.2则是通过对P2P数据包的特征码进行识别来限制P2P应用流量。然而这种基于检测P2P应用流量数据包，限制P2P流量的方法造成了用户的P2P连接数目和P2P下载速度的下降，影响用户的上网速度，并将引起用户投诉。

第二种方法是在本地网络中部署Cache服务器，缓存共享资源和Peer列表，由其向用户提供服务，从而限制P2P用户跨域访问。实现方法是：对城域网出口流量进行检测，对命中的P2P流量进行重定向到Cache服务器处理。如专利200910081408.5所述：网络peer首先通过网络边缘节点向P2P控制节点发送下载资源请求，然后控制节点生成一个peer列表发往网络资源存储节点，再由网络资源存储节点根据网络带宽等信息进一步筛选，最后返还给peer。这种方法修改了Peer列表，对下载效率有所限制，同时由于P2P应用存在着很大的不确定性，Cache服务器有可能需要庞大的存储容量，必将增加网络运营成本，而且还可能存在版权问题。

此外，以上两种方式随着P2P用户大量加入网络，存在流量控制系统负载持续加大，影响用户的下载速度，运营商不得不持续优化硬件配备的问题。

可见寻求一种实现用户和运营商共赢的P2P流量控制方案，是非常必要的。本发明针对这个问题，提出了一种有效的、低成本的、能适应大量用户持续加入的方法，使P2P流量尽量本地化，以减少跨域流量和延迟，在不影响下载效率的同时减少P2P流量对骨干网的冲击。

发明内容

本发明所要解决的技术问题是既要保证P2P应用的用户体验，又要减少由P2P应用产生的跨域流量。

本发明为解决上述问题提出的技术方案为，在保证用户下载速度的前提下，使P2P流量本地化，从而达到大大减少跨域流量的目的。

采用缓存种子文件，分析种子文件大部分下载客户端的承载网区间，使得用户在本地就可找到所需的资源，同时使本地的共享文件在最短时间内达到最大利用，让共享文件在本地“迅速繁殖”，从而减少跨域流量的产生，即变“不让用户出去”为“用户不需出去”。通常，一个种子文件只占用几KB的空间，因此，这种方法具有不需要占用庞大的存储容量的优点。

本发明设计一种P2P流量本地化系统。本系统包括：数据采集模块、种子信息数据库、协议分析模块、列表请求模块、邻居列表分析模块、用户模块，数据采集模块：利用网络爬虫持续从简称BT站点爬取热门种子文件并做简要的分析处理，将抓取的种子文件信息存入种子信息数据库；种子信息数据库：负责存储种子文件关键信息，便于其他模块的调用和更新；协议分析模块：提取种子文件中的关键字信息，利用安全哈希算法SHA1函数计算种子文件对应的哈希hash值；列表请求模块：根据种子hash值和对应的追踪服务器Trakcer地址按预设时间间隔构造种子列表请求数据包，调用网卡驱动程序，发送种子列表请求数据包到种子文件对应的Tracker服务器；邻居列表分析模块：提取Tracker服务器返回的种子列表地址信息，依次与IP地址库中存储的地址信息进行比较，分析其地址所属网域，直到遍历完所有对应的种子列表，得出列表中占IP地址信息比重最大的城域网编号；用户模块：为用户主机提供一个连接系统种子文件数据库的插件或者下载web服务器，用户下载种子文件时，根据用户城域网IP地址，给予相应的本地种子文件。

本发明还提出一种P2P流量本地化的方法，包括以下步骤：

1.  数据采集模块持续抓取热门BT网页上的种子文件，并进行简要筛选，然后存储到本地数据库，提交协议分析模块；

2.  协议分析模块提取种子文件中的关键字和相应Trakcer服务器的统一资源定位符URL(网页地址，是因特网上标准的资源的地址)地址，提交给列表请求模块；

3.  列表请求模块构造数据包，按预设时间间隔调用网卡驱动程序发送种子列表请求数据包。

4. 邻居列表分析模块提取Tracker服务器返回的种子列表地址信息，与IP地址库中存储的地址信息进行比较，分析其地址所属区域，找到数据包中含有IP地址信息占比重最大的城域网编号（数据包中属于这个城域网的IP地址信息最多），同时更新本地种子信息数据库的编号信息。

5.  为用户主机提供一个可供用户下载种子文件的平台。可以是一个连接系统种子文件数据库的客户端插件或者下载种子的web服务器（向发出请求的浏览器提供文档的程序），在用户在下载共享资源种子文件时，根据用户所属的城域网编号查询本地种子信息数据库，寻找种子信息数据库中与用户IP地址信息所属城域网编号相同的种子文件给用户下载（即共享资源下载者大部分和用户所属城域网相同的种子文件）。

系统通过寻找本地共享文件给用户使用，可以有效的降低骨干网上的P2P流量，同时使得本地的共享文件在最短时间内达到最大利用，使其在本地“迅速繁殖”，有利于后面的用户在本地获得需要的共享文件，达到P2P流量本地化的目的。采用模块化结构，增强了系统的可扩展性，本发明适用于互联网流量控制。

本发明打破原有的“限制”P2P流量的思路，转变为“引导”P2P用户流量在本地使用，从“不让用户出去”转变为“用户不需出去”，存储的是种子资源文件，不需要占用庞大的存储容量，促使了本地资源的充分利用，在减少跨域流量产生的同时方便P2P运营商的管理，不需要在每个城域网出口处设置监控设备，大大节省了运营成本。

附图说明

图1地化系统结构示意图；

图2 流量本地化方法工作流程；

图3 列表请求数据包具体格式。

具体实施方式

以下针对附图和具体实例对本发明的实施作详细描述。

由于BT在所有P2P应用中占用流量最大、应用最广，因此本发明主要以BT类应用作为实例，对本系统进行说明。如图1所示为一种P2P流量本地化系统结构示意图，本系统主要由以下模块组成：数据采集模块、种子信息数据库、协议分析模块、列表请求模块、邻居列表分析模块、用户模块及IP地址库。

利用网络爬虫持续从热门的BitTorrent(P2P应用软件 )（以下简称BT）站点爬取热门种子文件并做简要的分析处理，将抓取的种子文件信息存入种子信息数据库；种子信息数据库：负责存储种子文件关键信息，便于其他模块的调用和更新；协议分析模块：提取种子文件中的关键字信息，利用安全哈希算法Sha1 算法（Sha1算法主要适用于数字签名标准DSS（Digital Signature Standard）里面定义的数字签名算法DSA（Digital Signature Algorithm）。对于长度为2^64位的消息，SHA1会产生一个160位的消息摘要。当接收到消息的时候，调用消息摘要验证数据的完整性。在传输的过程中，数据发生变化产生不同的消息摘要。SHA1不可以从消息摘要中复原信息，两个不同的消息不会产生同样的消息摘要。）计算种子文件对应的哈希HASH值（通过哈希算法计算出一段数据唯一且极其紧凑的数值表示形式）；列表请求模块：根据种子HASH值和对应的追踪器Tracker(该程序能够追踪到底有多少节点同时在下载同一个文件)服务器地址按预设时间间隔构造种子列表请求数据包（设定时间间隔可根据网络环境设置）调用网卡驱动程序，发送种子列表请求数据包到所述种子文件对应的Tracker服务器；邻居列表分析模块：提取Tracker服务器返回的种子列表地址信息，依次与IP地址库中存储的地址信息进行比较，分析其地址所属网域，直到遍历完所有对应的种子列表，得出列表中占IP地址信息比重最大的城域网编号；用户模块：为用户主机提供一个连接系统种子文件数据库的插件或者下载web服务器，用户下载种子文件时，根据用户城域网IP地址，给予相应的资源拥有者都在用户本地的种子文件。

（1）数据采集模块：利用网络爬虫持续从热门的BT站点爬取种子文件并分析种子文件的活跃性，除去种子数较少种子文件。将抓取的种子文件信息存入种子信息数据库。

（2） 种子信息数据库：存储种子文件的关键信息（种子关键字信息及其含义如下表所示），方便其他模块的调用和更新，种子文件关键信息主要包括：种子文件的名字，种子文件对应Tracker服务器的URL，种子文件下一次更新时间，种子的域间编号，共享文件的大小，种子文件本地存储地址。

（3） 协议分析模块：分析种子文件的特征，提取种子文件列表中关键字“announce-list” 对应的发布Tracker服务器的URL信息地址和关键字“info”对应的信息。

②       种子文件的关键字及其含义如下表所示：

关键字	含义
		Announce	Tracker的主服务器URL
announce-list	Tracker服务器列表；
		Comment	种子文件的注释；
creation-date	种子文件建立的时间
		created by	生成torrent文件BT客户端软件信息
Info	该关键字对应的值是一个字典，所有关于下载的文件的信息都在这个字段里，它包括多个子字段，而且根据下载的是单个文件还是多个文件，子字段的项目会不同，是区别不同种子文件的关键信息。

种子文件和Tracker的返回种子列表信息都是经过B编码的，B编码中有4种类型：字符串、整型、列表、字典。字符串的编码格式为：<字符串的长度>:<字符串>，其中<>括号中的内容为必需。整型的编码格式为：i<十进制的整型数>e，即B编码中的整数以i作为起始符，以e作为终结符，i为integer的第一个字母，e为end的第一个字母。列表的编码格式为：l<任何合法的类型>e，列表以l为起始符，以e为终结符，中间可以为任何合法的经过B编码的类型，l为list的第一个字母。字典的编码格式为：d<关键字><值>e，字典以d为起始符，以e为终结符，关键字是一个经过B编码的字符串，值可以是任何合法的B编码类型，在d和e之间可以出现多个关键字和值对，d是dictionary的第一个字母。

因此提取“announce-list”和“info”关键字对应的信息即是提取种子文件中以B编码形式出现的字符串“announce”到对应字符串终结符“e”之间的信息和“info”对应字典“d”和对应的终结符“e”的之间的信息。同时计算其对应的种子文件info_hash值（与种子文件中info关键字对应的值，通过Sha1算法计算其hash值，该hash值就是info_hash参数对应的值，该hash值的长度固定为20字节），并将其传递给列表请求模块。 

（4） 列表请求模块：根据种子info_hash值和对应的Trakcer服务器URL地址构造种子列表请求数据包，按预设时间间隔调用网卡驱动程序，发送种子列表请求数据包。种子列表请求数据包格式如图3所示：数据包包括以太网头部、IP地址头部、TCP头部和负载数据。数据包用HTTP GET（HTTP定义的一种与服务器交互的方式）方法发送请求，其中负载信息为主要的请求部分，由Tracker服务器的URL后面跟一个“？”以及参数info_hash的值构成。

GET请求的参数如下表所示：

参    数	含    义
		info_hash	与种子文件中info关键字对应的值，通过Sha1算法计算其hash值，该hash值就是info_hash参数对应的值，该hash值的长度固定为20字节
peer_id	每个客户端在下载文件前以随机的方式生成的20字节的标识符，用于标识自己，它的长度也是固定不变的
		Port	监听端口号，用于接收其他peer的连接请求
uploaded	当前总的上传量，以字节为单位
		downloaded	当前总的下载量，以字节为单位
Left	还剩余多少字节需要下载，以字节为单位
		compact	该参数用于指示服务器以何种方式返回peer，该值为1时，每个peer占6个字节，前4个字节为peer的IP地址，后两个为peer的端口号。
Event	它的值为started、completed、stopped其中之一。客户端第一次与Tracker进行通信时，该值为started；下载完成时，该值为completed；客户端即将关闭时，该值为stopped
		numwant	希望Tracker返回多少个peer的IP地址和端口号。如果该参数缺省，则默认返回50个peer的IP地址和端口号

以下是一个发往Tracker服务器的HTTP GET请求的示例：

http://tk.greedland.net/announce?info_hash=01234567890123456789&peer_id=01234567890123456789&port=3210&compact=1&uploaded=0&downloaded=0&left=8000000&event=started&numwant=500

因为我们只需要获取种子列表，因此其中参数compact、upload、download分别设置为1、0、0，event设置为start。由于一般的P2P网络下载节点大约为30-500个左右，因此numwant一般设置为500，以促使能获取最多种子下载者的IP地址信息。

（5） 邻居列表分析模块：Tracker服务器每次收到系统发送的种子列表请求数据包后会将对应种子文件的种子列表返回，系统提取从Tracker服务器返回的种子列表，依次取出每个种子列表中的种子下载者IP地址信息，与IP地址库中存储的地址信息进行比较，判断其种子信息所属区域（IP地址与省份编号相同），直到遍历完所有返回的种子列表，找出所述种子文件中在某个城域网的占比例最大（种子列表中IP地址信息属于这个城域网最多）下载者所处的承载网区间，得出这些列表中占种子IP地址信息比重最大的城域网编号，更新种子信息数据库对应的信息，若返回的种子列表为空，则从种子信息数据库中删除这个种子文件信息。

具体如下： 

IP地址库的数据记录如下表所示：

邻居列表分析模块从tracker服务器返回的种子列表中依次取出对应的种子下载者的IP地址信息，格式为：

以下是一个Tracker服务器回应的示例：

d8:completei100e10:incompletei200e8:intervali1800e5:peers3000:......e，其中，“......”是一个长度为3000的字符串，含有500个peer的IP地址和端口号。IP地址占4字节，端口号占2字节。我们依次取出列表中所有的种子列表中的种子下载客户端IP地址信息，用种子信息中种子IP地址与IP地址库中信息进行比较，得出列表中占种子IP地址信息比重最大的城域网编号。（依次计算列表中每个种子下载客户端IP地址信息的城域网编号，将属于同一个城域网IP地址个数统计出来，取其中数量最多的城域网编号即为比重最大的城域网编号）。

返回的一系列种子列表IP地址信息为58.39.134.68、202.202.43.231、202.202.43.233、202.202.43.31…，发现其中属于某个城域网（如：重庆）的IP地址比重最大，则更新种子信息数据库，将种子文件城域网编号设置为相应的城域网编号。

（6）用户模块：为用户提供一个下载种子的平台，可以是连接系统种子文件数据库的插件或者下载web服务器，用户在下载种子文件时，系统查找符合用户搜索要求的种子文件（根据用户输入的需要下载的文件的名字，查询种子文件数据库，提供相应的与这个文件名字相同或包含这个种子文件名的种子文件），同时根据用户主机的IP地址，比较IP地址库中的数据，确定用户所处的城域网地址，将种子信息数据库存储的与用户所处城域网是同一个编号的种子文件提供给用户下载使用，如某主机的IP地址属于重庆城域网，通过用户模块搜索种子文件A，则查找种子数据库中记录的种子文件名与A相同或包含A且对应的种子文件的域间编号为重庆的种子文件给用户，用户则可以使用这个种子文件开始相应资源的下载。

如图2所示为流量本地化工作流程，本发明首先利用网络爬虫在热门BT下载网页上抓取种子文件、分析其活跃度，并将其存入种子信息数据库，然后通过协议分析模块抓取种子文件中关键字信息，利用列表请求模块按预定发包时间构造相应种子列表请求数据包，并调用网卡驱动程序发送给种子Tracker服务器，同时重置数据库中的下一次种子列表请求发包时间，种子Tracker服务器根据收到相应的种子列表请求数据包以后，会将对应的种子列表返回，邻居列表分析模块获取返回的相应种子文件的种子列表，依次提取列表中的种子下载客户端IP地址信息，与IP地址库中存储的地址信息进行比较，找出所述种子文件中在某个城域网占比例最大的（下载者中属于这个城域网的IP地址信息最多）城域网编号，用户模块提供种子文件下载平台，当用户需要下载共享资源种子文件时，提供P2P用户使用对应的下载客户端，用户模块根据用户IP地址信息，引导P2P用户（占比例最大的城域网编号中用户）使用对应的本地资源种子文件，大部分都与其在同一个城域网区间的本地资源种子文件，达到减少骨干网P2P流量的目的。

本发明通过分析种子文件大部分下载客户端的承载网区间，引导P2P用户充分利用本地的共享资源，使得本地的共享文件在最短时间内达到最大利用，从而控制P2P流量。本发明不干扰P2P的运行机制，不需要庞大的存储容量；不需要在每个城域网出口处设置监控设备，大大节省了运营成本；有效地引导P2P流量本地化；该P2P流量本地化方法能广泛用于网络安全、网络流量控制与流量工程相关的领域。能够有效的控制现有P2P类下载软件：BT、电驴、迅雷所产生的流量，帮助用户终端快速的寻找到承载网上最优资源，可广泛应用于互联网流量牵引、控制等领域。

Claims (9)

1.一种P2P流量本地化系统，包括：数据采集模块、种子信息数据库、协议分析模块、列表请求模块、邻居列表分析模块、用户模块及IP地址库，其特征在于: 数据采集模块利用网络爬虫从网络站点抓取资源种子文件存入种子信息数据库；协议分析模块提取种子文件中发布追踪服务器Tracker的统一资源定位符URL信息地址和关键字“info”后对应的值，计算其对应的种子文件关键哈希值；列表请求模块根据种子文件关键哈希值和对应的Trakcer服务器URL地址按预设时间间隔构造种子列表请求数据包；调用网卡驱动程序，发送种子列表请求数据包；邻居列表分析模块提取服务器Tracker返回的种子列表地址信息，依次与IP地址库中存储的地址信息进行比较，得出列表中占种子IP地址信息比重最大的城域网编号；用户模块根据用户IP地址信息，引导P2P用户使用对应的本地资源种子文件。

2.根据权利要求1所属的P2P流量控制系统，其特征在于：利用网络爬虫持续从热门的BT站点抓取资源种子文件，将下载活跃的种子文件存入种子信息数据库，抛弃其他的种子文件。

3.根据权利要求1所属的P2P流量控制系统，其特征在于：协议分析模块进一步包括提取种子文件中Tracker服务器列表“announce-list” 关键字对应的发布Tracker服务器URL地址和关键字“info”后的值，利用安全哈希算法计算其对应的种子文件hash值，构造种子列表请求数据包。

4.根据权利要求1所属的P2P流量控制系统，其特征在于：为用户主机提供一个连接系统种子文件数据库的插件或者下载web服务器，用户首先提取用户IP地址信息与IP地址数据库对比，获取该用户的城域网编号， P2P用户使用对应的本地资源种子文件。

5.根据权利要求3所属的P2P流量控制系统，其特征在于：因此提取“announce-list”和“info”关键字对应的信息即是提取种子文件中以B编码形式出现的字符串“announce”到对应字符串终结符“e”之间的信息和“info”对应字典“d”和对应的终结符“e”的之间的信息。

6.一种P2P流量本地化方法，其特征在于: 数据采集模块利用网络爬虫从网络站点抓取资源种子文件存入种子信息数据库；协议分析模块提取种子文件中发布Tracker服务器的URL信息地址和关键字“info”后对应的值，计算其对应的种子文件hash值；列表请求模块根据种子文件hash值和对应的Trakcer服务器URL地址按预设时间间隔构造种子列表请求数据包；调用网卡驱动程序，发送数据包；邻居列表分析模块提取服务器Tracker返回的种子列表地址信息，依次与IP地址库中存储的地址信息进行比较，得出列表中占种子IP地址信息比重最大的城域网编号；用户模块根据用户IP地址信息，引导P2P用户使用对应的本地资源种子文件。

7.根据权利要求6所属的P2P流量控制方法，其特征在于：利用网络爬虫持续从热门的BT站点抓取资源种子文件，将下载活跃的种子文件存入种子信息数据库，抛弃其他的种子文件。

8.根据权利要求6所属的P2P流量控制方法，其特征在于：提取种子文件中Tracker服务器列表“announce-list” 关键字对应的发布Tracker服务器URL地址和关键字“info”后的值，利用安全哈希算法计算其对应的种子文件hash值，构造种子列表请求数据包。

9.根据权利要求6所属的P2P流量控制方法，其特征在于：为用户主机提供一个连接系统种子文件数据库的插件或者下载web服务器，用户下载种子文件时，首先提取用户IP地址信息与IP地址数据库对比，获取该用户的城域网编号， P2P用户使用对应的本地资源种子文件。

Images