CN103986747B - P2p协议中文件共享下载方法 - Google Patents

Abstract

本发明公开了一种P2P协议中文件共享下载方法，其步骤为：发布文件并生成URL，并将URL通知Tracker，Peer直接通过URL定位所需要下载的文件并下载；Peer请求获取文件分块信息或通知其它Peer其拥有某个或某些分块信息时，通过修改信息参数减少信息长度，且所述信息中只需包含分块的索引信息，由信息接收者Peer根据分块规则自行计算分块在文件中的开始位置和长度；提供共享下载的Peer在接收到请求获取分块的Peer消息后，根据消息中包含的分块索引信息，计算所请求或通知的分块在文件中的开始位置，并得到该分块的结束位置，并利用所计算的位置信息，将请求的分块数据传输给请求者Peer。本发明能够减少信息传输通信量，提高通信效率。

Description

P2P协议中文件共享下载方法

技术领域

本发明涉及一种P2P文件共享下载时，不依赖文件分块长度信息和torrent种子信息文件的文件共享传输方法，实现P2P文件共享下载传输时减少信息传输通信量，提高通信效率的目的，属于互联网通信技术领域。

背景技术

基于P2P协议的文件共享下载用于代替传统集中的C/S模式下的文件下载，其主要目的是节省网络体系内的整体带宽或提高网络带宽的利用效率，其主要思想是，通过从周围邻居接点获取数据，一方面利用了提供共享服务接点的剩余上行带宽，同时也避免Tracker（或中心服务器）的过载，从而提高了网络的整体有效性。目前P2P模式下的文件下载和共享服务成为了互联网下的主要手段之一。

基于传统的P2P协议，如BitTorrent协议，需要下载文件的节点首先需要下载一个.torrent种子文件，然后根据种子文件从Tracker或其他节点请求获取该文件的部分或者全部数据；需要下载文件的节点在发送请求时，需要节点资深计算所请求文件的开始位置、请求长度及其它相关信息，并在发送的请求信息中携带上述信息，以便接收者能根据请求信息将指定的文件片段传输给需要下载该文件的请求者节点，实现文件在节点之间的共享传输。

根据上述协议规范，能实现基于P2P的文件下载共享服务，如专利201210050920（申请号，下同），实现了一种《一种用于接收P2P资源的方法，装置和设备》，同时，通过扩展可讲P2P应用于数据的共享传输，如专利201210120504实现了《基于P2P的WEB视频会议系统》，以及利用P2P特性，实现网络数据包的P2P协议识别，如专利201110421888实现了《一种P2P协议类型识别方法》、专利201210043475实现了《基于DNS协议识别P2P协议的方法及系统》，以上方法都是利用了P2P实现某种设备/系统，或对P2P协议进行识别处理，是利用了P2P的固有特性，对P2P协议本身没有改变。

在此基础上，针对P2P协议本身的效率问题，如专利200910091937，实现了《一种P2P下载文件完整性校验方法》，该方法根据下载客户端的特征参数将文件块分为子数据块，将下载过程中对文件完整性校验的延迟进行隐藏，有效提高了P2P下载的效率，特别是嵌入式平台的P2P下载的效率，其主要方法是将下载和文件的完整性哈希计算并行进行，节省了传输完成后的哈希计算时间，提高了整体传输效率。

上述改进对计算开销敏感的系统有一定的改善，如计算能力有限的嵌入式系统等。但根据摩尔定律，计算机的运算速度提高很快，而互联网的传输速度提高却很难赶上传输速度需求的增长；同时，专用计算机或装备了高性能计算芯片的嵌入式系统，其计算能力很强，并行处理所带来世间开销节省并不明显，因此，提高传输效率是改善P2P共享效率的关键，而目前的方法并不能很好的满足以上要求。

发明内容

本发明的目的是提供一种P2P协议中文件共享下载方法，改善P2P下文件共享下载时，依赖文件分块长度信息和torrent种子文件信息所带来的额外网络开销，达到减少信息传输通信量，提高P2P下文件共享下载的通信效率。

为了实现上述目的，本发明提供的技术方案为：提供一种P2P协议中文件共享下载方法，包括如下步骤：

文件发布步骤，发布文件并生成URL，并将URL通知Tracker，P2P客户端（Peer）直接通过URL定位所需要下载的文件并下载，Tracker在响应请求时，生成一个唯一标识（Session ID）区分标记该文件，且同时指定该文件的分块（Block）数量信息，Peer之间的文件通过共享Session ID定位文件；

文件分块信息获取步骤，Peer请求获取文件分块信息或通知其它Peer其拥有某个或某些分块信息时，通过修改信息参数减少信息长度，且所述信息中只需包含分块的索引信息，由信息接收者Peer根据分块规则自行计算分块在文件中的开始位置和长度；

文件分块信息索引下载步骤，提供共享下载的Peer在接收到请求获取分块的Peer消息后，根据消息中包含的分块索引信息，按照相同的规则，计算所请求或通知的分块在文件中的开始位置，并根据统一规则得到该分块的结束位置，并利用所计算的位置信息，将请求的分块数据传输给请求者Peer；

文件发布步骤，根据所述URL可以利用HTTP协议定位和访问该文件并下载，URL的格式根据发布者自身提供下载服务的访问协议要求生成。

所述的Session ID是一个128位的文件唯一标识符，Tracker可以根据Peer请求的URL，使用SHAL Hash来生成。

所述的Session ID在系统中是唯一性存在，下载同一文件的所有Peer拥有相同的Session ID，且每个Peer可以根据共享任务，拥有多个不同的Session ID。

所述Block数量由Tracker指定，在Tracker没有指定Block划分数量时选择一个默认数值。

所述文件分块（Block）的最大分块数不超过2³²-1块。

根据规定，除了最后一个分块外，其他所有分块大小是相同的，根据文件大小和分块数量，可以计算出每个分块长度和该分块在文件中的开始、结束位置；若文件长度刚好是分块书的整数倍，则所有分块Block都是等长的，其中各个Peer和Tracker对所述的文件分块（Block）长度和位置的计算使用相同的标准和方法，其计算结果是相同的。

针对大文件，如果文件分块（Block）数量在满足限定范围要求时，每个分块大小过大而影响Peer之间的共享效率，则可以将文件分成几个子文件，实现分层分块，即可以进行1级分块，然后针对每个1级分块继续进行2级分块，依次类推。

所述的分块大小阀值、分块数量限值、分块级数限制等参数信息可以配置文件作为Tracker的输入。

文件分块信息获取步骤，所述的分块信息包含有多个分块索引，可以将多个索引信息进行格式编码，以进一步减少信息长度。

文件分块信息索引下载分块步骤，在记录自己拥有的分块和邻居Peer拥有的分块时，只需记录对应的分块的索引，无需记录对应分块的开始位置和长度，减少了Peer拥有分块的记录内存占用。

所述P2P协议中文件共享下载方法不支持扩展的Peer或Tracker可以在P2P协议握手时，通过版本识别，以实现多版本协议兼容。

与现有技术相比，本发明的有益效果：采用本发明所述方法的系统，通过URL文件定位、Session ID文件统一标识和分块Block的统一计算，不但减少了种子信息文件的传输开销，还在提供P2P文件共享下载的同时，额外提供了HTTP的问价下载支持；同时在P2P文件共享下载时，将分块请求位置计算由请求者转移到提供者，减少了传输的分块信息长度，提高网络信息的传输效率，同时通过握手时候的版本识别，兼顾了协议的兼容性。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为本发明实施例扩展的基本流程图。

图2为本发明实施例分块计算的基本流程图。

具体实施方式

现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件。如上所述，如图1、2所示，本发明P2P协议中文件共享下载方法和系统中，提供了一种不依赖长度信息的P2P文件下载共享方法，实现了同时支持HTTP文件共享下载和高效的P2P文件共享系统，达到减少信息长度，提高网络传输效率的目的，同时根据版本识别，实现多协议兼容服务。

本发明P2P协议改进部分的具体流程如图1所示，包括：

步骤101：发布文件并生成URL。文件的发布者在发布文件时，根据自身提供HTTP文件下载的协议规范生成一个URL地址，并发布该URL；其他节点通过该地址，可以直接通过HTTP下载所发布的文件，具体包括：

（1）用户选择文件，并选择HTTP下载协议规范；

（2）根据文件和协议规范生成一个URL，该URL的形式由文件发布节点自行确定;

（3）在P2P网络发布URL地址，并通知Tracker，标记自己的版本为扩展版本L;

（4）发布节点根据其它节点的HTTP请求提供文件共享服务。其中，发布者既提供P2P下载服务，也提供HTTP下载服务。特别的，若发布者不愿意提供HTTP下载服务，可拒绝HTTP下载请求，而只提供P2P下载请求。

步骤102：从Tracker获取文件分块信息。需要通过P2P下载的文件请求节点首先需要获得文件发布者发布的URL，并利用获得URL从Tracker请求获得文件的分块信息、该文件的Session ID以及拥有该文件分快的其它节点信息，具体包括：

（1）Tracker从配置文件获得文件分块参数信息，包括：分块大小阀值、分块数量限制、分块级数限制。

（2）Tracker记录请求者的IP地址；

（3）获取消息请求者的版本号，如果不是扩展版本L，则按照标准P2P流程处理；如果是扩展版本L，则按照以下过程处理；

（4）文件请求者从P2P网络获得需要下载文件的URL。该URL的获取可以和标准P2P协议中获取.torrent种子文件信息的方式相同；

（5）文件请求者利用获得的URL向Tracker发送请求；

（6）Tracker根据该URL，通过SHA1Hash算法生成一个Session ID用于唯一标识该文件；

（7）Tracker根据文件及文件分块参数信息，计算文件分块Block数量；

（8）Tracker将所记录的其它请求者以及发布者的IP地址、Session ID以及文件分块数量信息和文件长度信息反馈给请求者；其它请求者称为请求者的邻居节点。

（9）请求者得到Tracker的反馈信息后直接从邻居节点或发布者请求文件分块。

其中，SessionID的生成可以采用其它算法。其中，如图2，第（7）步分块数量的计算流程如下：

步骤102-7-A：获得文件长度参数nFileLen,分块级数置1；

步骤102-7-B：设置初始分块长度为512字节，即nBlockLen=512；

步骤102-7-C：根据文件长度和分块长度计算分块数量，则有

符号表示向上取整，如

步骤102-7-D：判断分块数量是否超过分块数量限制，若有，则分块长度增加512字节，转步骤102-7-C继续执行；

步骤102-7-E:判断分块长度是否超过分块大小阀值，若有，则将文件长度参数nFileLen/2,分块级数加1，转步骤102-7-B继续执行；

步骤102-7-F:判断分块级数是否超过分块级数限制，若有，则输出错误提示并退出；

步骤102-7-G:则完成计算，输出分块级数和分块数量nBlockNum。

为简单起见，下面的说明以1级为例。

步骤103：请求者根据分块索引下载分块。请求者得到Tracker响应后，可以得到该文件标识Session ID、文件分块数量以及邻居节点和发布者的IP地址，并按照如下步骤请求获得文件的分块：

（1）标记自己的版本为扩展版本L；

（2）根据节点拥有的分块信息，按照<b1,b2,……,bn>的形式组织本节点所拥有的分块信息，该信息称为分块映射。其中bi（i=1,2,…,n）表示是否拥有第i个索引分块，bi=1或0，其中1表示拥有对应分块，而0则表示不拥有对应分块。如<0,1,0,0,0,1,0,1>表示总共有8个分块，节点当前拥有第2、6、8号分块。

特别的，在传输消息时，如果分块数量较多，可以对分块映射信息按照游程编码后传输。

（3）按照所获得邻居节点列表，向所有邻居节点请求获得其拥有的分块映射信息；

（4）接收到邻居节点请求时，向邻居节点发送其所拥有的分块映射信息；

（5）根据自己的分块映射信息，对任意一个节点自己不拥有的分块，根据P2P协议规范选择一个拥有该分块的邻居节点，并通过分块索引号请求从所选择的邻居节点获得该分块；

（6）若所有邻居节点都没有该分块，则直接从发布者请求获得该分块。从发布者获得分块的方式可以是通过P2P方式下载，也可以利用URL通过HTTP请求下载；

（7）节点根据收到的文件分块索引得到该分块在文件中的位置，并将分块存储在文件中；

（8）节点接收到新分块时，修改自己的分块映射，并通过消息将新拥有的分块索引通知邻居节点；

（9）节点在接收到邻居节点拥有新分块的消息时，修改邻居节点的分块映射。

其中，接收到的分块文件组织方式根据标准P2P文件模式存储。

步骤104：节点根据分块索引传输分块给请求者。分块请求者的邻居节点在接收请求者节点的分块请求消息后，根据消息中的分块索引参数，计算分块在文件中的开始位置和长度，并将该分块数据传输给请求者节点，实现分块共享和传输，具体包括：

（1）判断请求者是否为扩展版本L，若是不是，则按照标准P2P流程响应消息，如果是扩展版本L，则按照下面流程处理；

(2)根据从Tracker获取的文件长度nFileLen、分块数量nBlockNum计算分块的长度，其计算方式如下：

其中i=1,2,…,nBlockNum-1，

而最后一块分块的长度则表示前面nBlockNum-1个等成分块后的剩余长度，其计算方式如下：

nBlockLen(nBlockNum)=nFileLen-nBlockLen(1)*(nBlockNum-1) （2）

如长度为70的文件分成3块，则分块块长度分别为：24、24、22。仅最后一块长度不同。

同样可以计算，长度为1024的文件，分成32块，则所有分块长度都是32，这事因为nFileLen/nBlocklen=nFileLen/nBlocklen，不存在截断误差。

（3）记录计算所得到的分块长度，并根据节点请求消息中的分块索引参数nIndex计算对应分块的开始位置和结束位置，其计算方式如下：

nBlockStart(nIndex)=nBlockLen(1)*(nIndex-1)(3)

nBlockEnd(nIndex)=

（4）根据索引计算得到分块位置后，从文件指定位置获取分块数据，并传输给请求者节点。

应用时，文件上传者自行根据其提供的HTTP服务生成一个URL地址，并发布该URL以便其它节点获得，Tracker根据发布者发布的URL或请求者请求时提供的URL对文件进行分块数量和文件唯一标识ID确认，并将确认的信息和对应的邻居节点反馈给请求者，请求者依据Tracker反馈的信息自行计算各个分块开始位置和结束位置，请求者在请求时只需要提供分块索引号，文件共享者根据分块索引号计算对应分块的位置，并将该位置的文件数据传输给请求以完成P2P共享。在文件P2P请求共享时，需要判断文件扩展版本标识，以确认是否采用本发明的扩展消息模式，达到版本兼容的目的。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种P2P协议中文件共享下载方法，其特征在于，包括如下步骤：

文件发布步骤，发布文件并生成URL，并将URL通知Tracker，P2P客户端(Peer)直接通过URL定位所需要下载的文件并下载，Tracker在响应请求时，生成一个唯一标识(SessionID)区分标记该文件，且同时指定该文件分块(Block)数量信息，Peer之间的文件通过共享Session ID定位文件；

文件分块信息获取步骤，Peer请求获取文件分块信息或通知其它Peer其拥有某个或某些分块信息时，修改信息参数减少信息长度，且所述分块信息中只需包含分块的索引信息，由信息接收者Peer根据分块规则自行计算分块在文件中的开始位置和长度；

文件分块信息索引下载步骤，提供共享下载的Peer在接收到请求获取分块的Peer消息后，根据消息中包含的分块索引信息，按照相同的规则，计算所请求或通知的分块在文件中的开始位置，并根据统一规则得到该分块的结束位置，并利用所计算的位置信息，将请求的分块数据传输给请求者Peer；

其中，所述Block数量由Tracker指定，在Tracker没有指定Block划分数量时选择一个默认数值，所述文件分块(Block)的最大分块数不超过232-1块；

除了最后一个分块外，其他所有分块大小是相同的，根据文件大小和分块数量，可以计算出每个分块长度和该分块在文件中的开始、结束位置；若文件长度刚好是分块数的整数倍，则所有分块Block都是等长的，其中各个Peer和Tracker对所述的文件分块(Block)长度和位置的计算使用相同的标准和方法，其计算结果是相同的；

针对大文件，如果文件分块(Block)数量在满足限定范围要求时，每个分块大小过大而影响Peer之间的共享效率，则可以将文件分成几个子文件，实现分层分块，即可以进行1级分块，然后针对每个1级分块继续进行2级分块，依次类推；

所述文件分块的大小阀值、分块数量限值、分块级数限制参数信息可以配置文件作为Tracker的输入。

2.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，文件发布步骤，根据所述URL可以利用HTTP协议定位和访问该文件并下载，URL的格式根据发布者自身提供下载服务的访问协议要求生成。

3.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，所述的Session ID是一个128位的文件唯一标识符，Tracker可根据Peer请求的URL，使用SHA1 Hash来生成。

4.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，所述的Session ID在系统中是唯一性存在，下载同一文件的所有Peer拥有相同的Session ID，且每个Peer根据共享任务，拥有多个不同的Session ID。

5.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，文件分块信息获取步骤，所述分块信息包含有多个分块索引，将多个索引信息进行格式编码，以进一步减少信息长度。

6.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，文件分块信息索引下载分块步骤，在记录自己拥有的分块和邻居Peer拥有的分块时，只需记录对应的分块的索引，无需记录对应分块的开始位置和长度，减少了Peer拥有分块的记录内存占用。

7.如权利要求1所述的P2P协议中文件共享下载方法，其特征在于，所述P2P协议中文件共享下载方法不支持扩展的Peer或Tracker在P2P协议握手时，通过版本识别，以实现多版本协议兼容。