CN101192946A - 一种提高特定p2p嵌入式终端下载效率的方法和系统 - Google Patents

Abstract

本发明一种提高P2P网络中特定终端特别是计算资源较少的P2P终端(如嵌入式终端)文件下载效率的方法及系统。在该方法中，由于提供了能与嵌入终端交换种子文件的任务调度服务器、能加速完整文件生成的下载加速服务器或模块、协议转换功能的协议解析服务器模块、以及辅助特定终端的“影子”Tracker服务器或模块等，有效克服了现有P2P网络运行中断种、种子协议不兼容、Tracker服务器停止运行等降低下载效率的因素，同时在更大范围的网络统计基础上提高和调控特定终端的下载效率，使得计算资源精简的嵌入式终端能够长期有效运行。

Description

一种提高特定P2P嵌入式终端下载效率的方法和系统

技术领域

本发明是关于计算机和互联网领域，具体地讲是一种提高特定类型和数目的P2P终端对网络传输利用效率的方法和系统

背景技术

随着网络技术和计算机技术的进步，P2P(Peer to Peer)技术为文件的远程共享和下载带来了巨大的便利，以BT(Bit Torrent)等技术为代表的下载系统和方法，使得远程共享文件的效率得到大大提高。以BT工作原理的分析为例：BT对文件的下载采用了分片下载再组合的方式进行，各个下载片段经过摘要算法将摘要内容存储在种子信息文件(torrent)中，各个客户端将下载到的片段经过摘要算法就可以将其与种子信息文件中的对应摘要信息相比，从而得知是否下载的片段正确。因此，BT协议对抗恶意和错误信息混淆的能力非常高。而为了使得众多客户端相互能够发现，种子信息文件中记录了BT服务器Tracker的位置信息。得到种子信息文件的客户端软件通过读取种子信息文件，不但能确认和得知自己目前下载的文件片段是否完整正确，还能够将自己注册到Tracker服务器上，供其他客户端发现，或者从Tracker得知有哪些客户端在进行相同的下载任务，客户端之间就能够相互连接交换文件片段了。摘要算法的强大，使得极小的种子文件就能使得客户端进行巨量文件的下载。而小型的种子文件，也使得其在互联网上得到迅速传播。BT协议还尽量使得各个客户端下载和为其他客户端服务的流量和速度大致平衡，避免了人为的大量下载但对其他客户端贡献较少而造成“自私”行为扩散，预防了协议本身被抛弃的局面。

正是由于上述特点，以BT技术为代表的P2P技术普遍采用文件分片传输，在客户端再重新组合的原理和策略，使得众多的客户端是否共同拥有完整的文件片段成为下载任务能否成功的最必要条件，由于各个客户端的用户还是能够自由断开网络，具有完整文件信息的客户端的退出，对下载任务的完成具有重大影响；同时，由于各种原因，充当下载服务器的Tracker也不时停止服务，使得即使网络上存在完整的文件信息，客户端也无法互相发现和联络，导致下载失败。目前，已经有客户端软件开始支持私有的协议来替代Tracker服务器工作，但由于各私有协议之间的不兼容，以及软件版本频繁升级的不同步，普及的过程也缓慢。

由于P2P终端存在相互从遵从同等协议的终端才能实现共享下载的特性，使得一种协议一旦成为主流，客户端越多，其下载速度随着客户端的增多而优势更加明显，人们也就越是愿意选择符合主流协议的客户端软硬件。因此，象BT软件本身产生的数据流量曾经占到整个互联网流量的三分之一还多。大量的文件被以BT的方式共享，制作的BT种子文件大量产生，各种符合BT协议的客户端也大量被创造。整个互联网上BT资源虽然不断在增多，但由于技术和利益的隔离，私有扩展协议的出现，也使得BT技术特别是客户端的相互兼容性逐渐恶化。从使用者的角度上来说，现在的个人电脑运行BT客户端程序的能力大大超越了网络通讯的速度，即使采用了多任务共同下载，但通讯带宽的相对有限，个人电脑的高运算速度和存储能力带来的优越性并不明显，也使得个人电脑剩余的运算资源很难用于通过收集大量客户端和下载任务的统计信息来提高整个网络的下载效率，相反，它的高成本购买，使用维护的繁琐，高能耗，长久使用的噪音，稳定性，抗病毒能力的不足反而开始逐渐制约个人电脑作为长时间稳定使用的下载平台。所以，嵌入式的平台在这些方面的优势正在逐渐显现出来。由于仅仅包含最必要的外部设备和程序模块，嵌入式平台在成本，功耗，稳定性，噪声，病毒防护，无需维护上的优势十分明显。但是，由于个人电脑现实的大量存在，以及大量的资源都存在于个人电脑上，嵌入式P2P终端要实现普及，与个人电脑实现兼容的互联和共享协议是非常有必要的。但是，由于嵌入式设计本身具有的特点，其运算能力，存储能力相比个人电脑在计算资源上有很巨大的差异，而且部署更新也不如电脑重新装载新版本客户端程序那么容易，因此，嵌入式平台不但要面临个人电脑运行BT下载程序本身要面对的效率瓶颈，与其他众多电脑客户端软件的互联互通兼容问题更加突出，而且面临电脑软件客户端的快速更新而被逐渐淘汰的压力。而要在统一的软硬件平台上实现差别化的服务，更是艰难。综上所述，由于当前P2P协议本身的特点和历史的原因，造成当前的P2P运行平台虽然资源丰富，但存在以下效率弱点而阻碍更大规模稳定普及：

1.一旦具有完整下载文件信息的客户端退出下载，众多客户端的下载就无法完成，造成效率降低。

2.种子文件中记录的Tracker服务器停止工作或者被拦截堵塞，所有其余客户端无法继续下载。

3.众多私有扩展协议的产生，造成众多互不兼容的版本Tracker服务器，故意与其他客户端软件产生歧视性不兼容。

4.众多私有扩展协议，制造出大量多种版本的种子信息文件，不同实现的客户端之间读取对方的种子信息文件兼容困难。

5.众多下载客户端之间的互通互联也存在人为歧视策略，互通困难，降低了信息共享效率。

6.作为嵌入式平台的客户端实例，由于其计算资源大大弱于个人电脑，更新程序繁琐，要能与各客户端兼容，并提高任务调度和下载效率，实现更加困难。

7.缺乏兼容稳定高效的统一运行平台，使得差异化的服务也难以开展。

发明内容

本发明有效地利用了现在已经广泛存在的P2P资源，使得在计算资源弱得多和更新困难的计算平台上(不仅限于嵌入平台)得以长期有效运行，并实现了客户端兼容其他客户端，并具有更强的下载可管理性，对互联网上的P2P资源利用率也更高。

本发明利用了有多种特殊功能的服务器的系统，对特定设计嵌入式P2P客户端的下载任务进行辅助，有效地支撑了其长期有效运行。并降低了嵌入式客户端的软硬件成本，便于嵌入式P2P客户端的普及。

在本发明中，嵌入式客户端并不象电脑客户端程序那样同时运行多个下载任务，只运行少量下载任务甚至依次单独执行下载任务的方法有利于提高嵌入式客户端的运行稳定性，并同时降低设计难度和生产成本。

嵌入式客户端具有向调度服务器种子缓存模块上传种子文件和下载种子文件的能力，嵌入式客户端可以向调度服务器查询待下载的任务的当前状况，若有其他客户端未进行的任务，或该任务不能进行，则上传该种子文件到调度服务器进行种子缓存；若其他客户端已经在进行同样下载，则根据调度服务器返回的调度信息，选择下载效率高的任务进行。

调度服务器对嵌入式客户端上传的种子文件进行任务分析，通过多种统计手段分析各个种子文件当前的下载状况，并能调度其他资源改变任务下载状况，从而提升嵌入式客户端的下载效率。比如可以调度以下服务器或者模块：

下载加速服务器或模块，

协议解析服务器或模块，

“影子”Tracker服务器或模块，

根据P2P文件共享的原理，一个客户端若和更多的客户端连接，那么其下载速度越快；其次，由于P2P客户端普遍遵循的“平衡”原则，即尽量保持上传和下载速度和总量的平衡，一个快速上传的客户端下载速度也较快，由于上传更需要文件的频繁读取，读取文件速度的加快，直接提升了客户端的上传速度和下载速度；而且，处于互联网公网上的客户端往往比其他客户端有更少的数据转接，因此下载效率和速度也更高。因此，下载加速服务器或者模块就是一种特殊的下载端，与嵌入式客户端和家用电脑不同的是服务器往往拥有直接和更高速的互联网连接，可直接连接在互联网公网上；而且它拥有更强大的运算资源，CPU运算速度和内存资源远远高于嵌入式终端和一般其他终端，一般在数十倍到上千倍。所以，它能同时连接的客户端数目大大超越一般的客户端；而且与一般客户端不同的是它可以将整个下载任务在内存中缓存，大大加速文件数据上传和下载。由于下载加速服务器拥有这些远远超越一般客户端的运行条件，它的下载效率和速度大大超越一般的客户端，而且与它连接的客户端的下载效率也被提高。一旦同一下载任务开始，可以认为下载服务器将首先先于其他客户端完成完整文件的下载，而后，下载加速服务器则可以被挑选调度到需要加速的客户端对这些客户端进行下载加速。由于下载服务器拥有和一般电脑相似的软硬件环境，而往往有许多下载服务器群同时运行，因此它们能同时运行所有的电脑客户端下载软件，也就是说所有的种子文件信息都可以被读取和解析，并优先完成下载任务。因此，调度服务器在收到嵌入式客户端上传的种子文件后，能启动下载加速服务器来加速嵌入式客户端的下载，由于下载加速服务器有能力率先得到完整的下载文件，并持续向嵌入式客户端服务，大大缓解了由于其他客户端退出而导致嵌入式客户端下载失败的可能。同时，由于加速服务器群的优势连接能力，它们连接的客户端和Tracker服务器信息更多，覆盖能力更大，能向调度服务器报告更加完整的任务下载信息，调度服务器对单个下载任务运行状况统计的准确度也远远高于一般单个客户端，因而实现任务调度优化的准确性也越高。

由嵌入式客户端上传的种子文件中，一定有其他工具制作的种子文件，由于其他工具可能携带扩充协议和私有协议，往往不能被嵌入式客户端解析，从而导致无法进行下载任务。协议解析服务器和“影子”Tracker服务器的存在则解决了这些困难，并继续改善了调度服务器的调度效率。协议解析服务器经过统一维护，其作用是协议转换，将嵌入式客户端解析不了的种子文件剥离私有协议和扩充协议，转化制作为嵌入式客户端能够解析的种子文件，再经调度服务器发回嵌入式客户端替代原有种子文件进行解析和下载。一般来说，其他工具携带的私有和扩充协议可能针对种子文件本身和Tracker协议，解析服务器一方面仅仅将嵌入式客户端能解析的种子内容解析出来重新组合，还能请求调度服务器启动下载加速服务器和“影子”Tracker服务器，建立起专为嵌入式服务器对应下载任务所需的完整工作环境。“影子”Tracker服务器与其他Traker的工作方式完全一致，但是并没有记录在原有的种子文件当中，但当协议解析服务器解析原有种子文件后，“影子”Tracker的位置被加入新生成的替代种子文件。嵌入式客户端从替代的种子文件中解析出“影子”Tracker的位置，这样，在下载过程中，即使其他原有的Tracker服务器都停止工作，“影子”Tracker服务器仍然可以服务于嵌入式客户端，使得得到替代种子的嵌入式客户端继续完成下载。甚至，当下载加速服务器拥有完整的下载文件时，协议解析服务器直接根据该文件和“影子”Tracker的位置信息制作出新的替代种子文件。由于协议解析服务器和“影子”Tracker服务器的存在，所有的关于种子和Tracker协议的扩充都能被有效替代，使得嵌入式客户端无需升级就能执行新的下载任务。

在任务下载过程中，下载加速服务器能动态检测所有客户端的该任务的下载状况和各个Tracker的信息，而“影子”Tracker可以统计所有该任务的嵌入客户端的下载状况。因此，调度服务器能够同时根据这二者的信息实现更加优化和差别化的调度，使得嵌入式客户端选择下载任务的顺序时，判决依据更加精准，总能选择文件下载速度快，完整信息备份多的任务优先进行。除此之外，调度服务器就能调度空闲的嵌入式客户端通过“影子”Tracker为其他嵌入式客户端服务，进一步提升了特定客户端的下载效率。由于“影子”Tracker、下载加速服务器和调度服务器的存在，相当于动态为嵌入式客户端增加了许多的相同任务和协议的客户端，使得嵌入式客户端能在总普及率不高的情况下就单个下载任务而言超越其他执行相同任务客户端数目，从而使得嵌入式客户端下载效率相对一般客户端发生逆转和提升，有利于嵌入式客户端由于更高的下载效率而提高普及率，而运营者只要维护和部署服务器，就能不断实现并实现高效率和差异化服务。

具体实施方式

本发明的实施例是一种能对特定P2P客户端(包括嵌入式但不仅仅限于嵌入式设计的客户端)提高下载效率的方法和系统。结合Bit Torrent协议的客户端实现，其主要关键技术细节描述如下：

执行Bit Torrent协议进行下载的嵌入式P2P客户端主要由两部分程序模块组成：一部分是下载模块，另外一部分是调度通讯模块。两个模块依次运行。下载模块实现了完整的Bit Torrent协议和下载过程，而调度通讯模块则在每次开始新下载任务前执行，以选择下一个要下载的任务和对应种子文件。调度模块扫描所有的待下载种子文件，即各待下载任务。将待下载种子文件进行摘要算法，得到很短信息量的摘要信息，通过网络协议(如Http)向特定的调度服务器查询。若该种子文件不在调度服务器的缓存模块中，调度服务器向嵌入式P2P客户端的调度通讯模块返回信息，指示它将对应的种子文件上传到调度服务器。若该种子文件已经在调度服务器中，则调度服务器返回一个优先级信息，根据不同种子文件摘要信息的返回值，嵌入式P2P下载终端选取最优先的种子文件，通知调度服务器，准备开始下载过程。此时，调度服务器返回同一下载任务解析后的替换种子文件或无需替换，供嵌入式P2P客户端的下载模块执行。由于解析后的替换种子文件可以内含“影子”Tracker的位置，嵌入式客户端运行时，也自动在“影子”Tracker的辅助下运行。在嵌入式客户端与调度服务器的通讯过程中，可以采用Http协议通讯，并用SHA算法产生摘要信息。由于Bit Torrent协议运行本身就需要HTTP协议和SHA摘要信息算法，这样的设计能够重复复用设计函数，简化了设计，提高运行的稳定性。由于各种子文件相对于下载文件小的多，因此，摘要算法和通讯过程能非常快完成，几乎不会对下载过程产生影响。摘要算法的存在，使得每个种子文件仅仅被上传一次，而且能够迅速地在摘要服务器的缓存中迅速查找和索引，提高了服务器的响应能力。由于替换和解析后的种子文件大小仍然很小，无需存储在非易失性存储设备上，而即使同样任务被启动，服务器也可能生成不同的解析种子文件，以不断对所有客户端下载过程的总效率进行平衡和优化。

下载加速服务器群则由若干运行不同BT客户端的服务器组成，它们能够直接部署在Internet公网上，调度服务器得到从嵌入式P2P客户端上传的种子文件，能够解析的，将替换种子传输给特定下载加速服务器使得下载加速服务器进行与嵌入式P2P客户端相同的下载任务。不能直接解析的种子直接将种子文件不经解析直接转发给对应的下载加速服务器下载。不能解析的种子文件经下载加速服务器下载完成后，重新被协议解析服务器模块制作成替换种子，由调度服务器缓存模块再次发回给对应嵌入式P2P客户终端。下载加速服务器通过下载运行，不断监控执行相同下载任务的客户端(包括非特定版本的客户端)，并每隔一段时间将统计信息向调度服务器报告。下载加速服务器与调度服务器可以运行在同一局域网内，也可以分布在互联网络的各处，下载加速服务器位于与嵌入式P2P客户端的网段越近，则加速效果越明显。因此不断根据嵌入式P2P客户端的网络分布来部署下载加速服务器，网络效率能近一步优化。下载加速服务器与调度服务器之间仍然可以采用Http协议通讯，以简化设计。调度服务器可根据每个下载任务的实际状况启动下载加速服务器，比如若已经存在大量客户端和完整文件备份，就调度下载加速服务器进行其他任务下载加速；若尚无或者很少嵌入式P2P客户端在进行下载，则调动一定数目的下载加速服务器加速下载任务，以尽快得到下载文件的完整备份，一旦下载加速服务器群得到完整的文件备份，则就可以保证所有特定的嵌入式P2P客户端在其他客户端退出的情况下仍然能够得到完整下载，避免断种的下载失败。若特定嵌入式P2P客户端已经完成下载，则加速服务器也退出下载。

与下载加速服务器群一样，若干“影子”Tracker服务器也可以在调度服务器的远程或者局域网内调度下被启动。“影子”Tracker的功能完全符合Bit torrent协议中的Tracker服务器的功能和特征，其被启动后，其位置信息被记录入替换种子文件也作为一个Tracker向各客户端服务，因此，仅仅嵌入式P2P客户端能发现它并得到它的服务。调度服务器同样可以通过启动或者部署与嵌入式P2P客户端网段接近的“影子”服务器来优化网络效率。由于嵌入式P2P客户端下载完成情况和在线与否能被所有存在的Tracker和“影子”Tracker服务器得到，因此，当所有登记合法的嵌入式P2P客户端下载任务完成后，“影子”Tracker可以停止自身Tracker任务，并且通知调度服务器收回该任务的下载加速服务器资源和“影子”Tracker资源。“影子”Tracker的存在，避免了原始种子文件中的Trakcer服务器的失效导致的失败，并能通过下载加速服务器加速特定嵌入式P2P客户端的下载速度。

调度服务器群也可以就按就近原则分布在与大多嵌入式P2P客户端接近的网段以实现通讯响应速度的提高，每个调度服务器管理和服务一定数目的客户端。种子文件的缓存模块实现则比较灵活，由于种子文件都有唯一的种子摘要索引，因此，种子文件既能够被分布地存贮在各个调度服务器上缓存，再相互查询，也可以设立统一的种子缓存池服务器，供所有调度服务器查询和更新。调度服务器根据收集到的大量Tracker服务器，客户端的下载进度和分布等信息，当嵌入式客户端向调度服务器查询任务优先级别的时候，能为嵌入式客户端提供更加精准的调度服务。

协议解析服务器模块则完成解析剥离和生成替换种子文件的任务，它可以运行在调度服务器上，直接解析调度服务器缓存中的种子文件并完成替换，以取得较快的响应速度；也可以运行在下载加速服务器上，将不能解析的种子文件重新制作为种子。协议解析服务器由于需要的运算资源少，因此可以在其他服务器上运行，也可以独立运行以方便维护。

以上服务器功能模块可以视运行规模需要进行整合或者伸缩，能就需要仅仅运行其中的某些模块或者全部；能运行在一台或者多台服务器上；能集中运行，也能动态分布在互联网的各处运行，节省和优化了运行资源，提高了运营的经济性。此外，各个模块和嵌入式终端的设计能最大程度上利用Bit Torrent协议本身的实现所需要的一些功能和模块，设计简化，运行稳定。通过以上的设计技术手段，实现了低运行资源的客户端能长期稳定和有效运行，达到了发明目的。

Claims (10)

1.一种用于提高特定P2P终端特别是嵌入式终端下载效率的方法，其特征在于，包括：存在能够与特定P2P终端通讯的调度服务器，特定P2P终端能够与调度服务器进行种子文件的上传或下载；调度服务器统计上载种子当前的运行状况，得出任务优先级调度信息；特定P2P终端向调度服务器查询各个下载任务的优先级，并选择具有高优先级的任务率先进行。

2.如权利要求1所述的方法，其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动或中止进行同样P2P下载任务的下载加速服务器或者模块，以加速特定P2P终端对该任务的下载效率，并向调度服务器提供该下载任务的统计信息以供调度。

3.如权利要求1所述的方法，其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动进行P2P下载种子文件解析服务器或者模块，生成向特定P2P终端发出的替换种子文件，使得特定P2P终端能在原种子信息文件不兼容的情况下进行下载。

4.如权利要求3所述的方法，其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动进行P2P下载种子文件解析服务器或者模块，其根据被调度启动的执行同样下载任务的下载加速服务器或者模块得到的完整下载文件重新生成替换种子文件以发回特定P2P终端，以使得特定P2P终端兼容无法直接解析的下载任务。

5.如权利要求3所述的方法，其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动或中止进行服务于P2P下载Tracker任务的“影子”Tracker服务器或者模块，并将“影子”Tracker服务器的信息加入生成的替换种子文件，使得特定P2P终端也在“影子”Tracker的辅助下进行下载，而“影子”Tracker能向调度服务器提供该下载任务的特定P2P终端统计信息以供调度。

6.如权利要求4所述的方法，其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动或中止进行服务于P2P下载Tracker任务的“影子”Tracker服务器或者模块，并将“影子”Tracker服务器的信息加入生成的替换种子文件，使得特定P2P终端也在“影子”Tracker的辅助下进行下载，而“影子”Tracker能向调度服务器提供该下载任务的特定P2P终端统计信息以供调度。

7.如权利要求5所述的方法，其特征在于：其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动或中止进行同样P2P下载任务的下载加速服务器或者模块，下载加速服务器或者模块通过“影子”Tracker服务器提高能够与“影子”Tracker通讯的特定的P2P终端的下载效率。

8.如权利要求6所述的方法，其特征在于：其特征在于：调度服务器能根据特定P2P终端上传的种子文件启动或中止进行同样P2P下载任务的下载加速服务器或者模块，下载加速服务器或者模块通过“影子”Tracker服务器提高能够与“影子”Tracker通讯的特定的P2P终端的下载效率。

9.一种如权利要求7所述的方法构成的P2P下载系统，其特征是，包括：特定P2P终端，存在能够与特定P2P终端通讯并进行种子文件上传和下载的调度服务器，被调度服务器能根据特定P2P终端上传的种子文件启动进行同样P2P下载任务的下载加速服务器或者模块，被调度服务器能根据特定P2P终端上传的种子文件启动进行P2P下载种子文件解析服务器或者模块，被调度服务器能根据特定P2P终端上传的种子文件启动或中止进行服务于P2P下载Tracker任务的“影子”Tracker服务器或者模块。

10.一种如权利要求8所述的方法构成的P2P下载系统，其特征是，包括：特定P2P终端，存在能够与特定P2P终端通讯并进行种子文件上传和下载的调度服务器，被调度服务器能根据特定P2P终端上传的种子文件启动进行同样P2P下载任务的下载加速服务器或者模块，被调度服务器能根据特定P2P终端上传的种子文件启动进行P2P下载种子文件解析服务器或者模块，被调度服务器能根据特定P2P终端上传的种子文件启动或中止进行服务于P2P下载Tracker任务的“影子”Tracker服务器或者模块。