CN103188279A - 通过对等网络从多个邻居节点下载文件的方法和装置 - Google Patents

通过对等网络从多个邻居节点下载文件的方法和装置 Download PDF

Info

Publication number
CN103188279A
CN103188279A CN2011104434398A CN201110443439A CN103188279A CN 103188279 A CN103188279 A CN 103188279A CN 2011104434398 A CN2011104434398 A CN 2011104434398A CN 201110443439 A CN201110443439 A CN 201110443439A CN 103188279 A CN103188279 A CN 103188279A
Authority
CN
China
Prior art keywords
file fragmentation
file
neighbor node
sub
time delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104434398A
Other languages
English (en)
Other versions
CN103188279B (zh
Inventor
黄海
武娟
庞涛
钱锋
苏军根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201110443439.8A priority Critical patent/CN103188279B/zh
Publication of CN103188279A publication Critical patent/CN103188279A/zh
Application granted granted Critical
Publication of CN103188279B publication Critical patent/CN103188279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种通过对等网络从多个邻居节点下载文件的方法和装置。该方法包括:将被下载的文件被划分为N个文件分片,N个文件分片被划分为k个子分片序列,针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点;向目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的多个文件分片。通过本发明所提供的通过对等网络从多个邻居节点下载文件的方法,属于子分片序列的文件分片中的多个文件分片形成组,以分片组为单位进行文件分片的下载,减小了下载系统的控制开销,提高了系统的调度效率并且减少了网络开销。

Description

通过对等网络从多个邻居节点下载文件的方法和装置
技术领域
本发明涉及信息安全领域,特别涉及一种通过对等网络从多个邻居节点下载文件的方法和装置。
背景技术
对等(Peer-to-Peer,P2P)网络文件下载系统中,各个节点在下载文件数据的同时还可以向其它节点上传文件数据,即每个节点同时具有客户机和服务器的功能,从而能够利用系统中所有节点的带宽和存储资源实现大规模的文件分发。
通常,对等网络文件下载系统可以分为结构化和非结构化两种。非结构化的对等网络文件下载系统由于其系统的健壮性得到广泛的应用。在非结构化对等网络文件下载系统中,新节点通过集中式的服务器查找文件下载会话中其它节点的信息,从而方便下一步与这些节点建立连接下载文件。
然而,现有技术中,无论是结构化或者非结构化的对等网络文件下载系统都是以文件的分片作为下载单位进行下载。节点通过周期性的向邻居节点发送位图,同时采用各种调度算法调度并下载每一个分片。但是,对每一个分片进行调度,需要根多的控制信息,因此这种调度方式消耗系统大量的控制开销,导致了网络流量增加,浪费系统的带宽资源。
发明内容
本发明的发明人发现上述现有技术中的问题,提出了一种新的技术方案,使得在对等网络文件下载系统中,可以将多个文件划分为子分片序列,请求子分片序列中的多个文件分片组成的分片组,从而减少了系统的控制开销。
本发明的一个目的是提供一种通过对等网络从多个邻居节点下载文件的方法和装置。
根据本发明的第一个方面,提供了一种通过对等网络从多个邻居节点下载文件的方法,所述文件被划分为N个文件分片,所述N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N,其特征在于,该方法包括:
a.针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点;
b.向所述目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,所述m为大于1的自然数。
优选地,该方法还包括:
针对所述每个子分片序列,重复所述步骤a和步骤b,直至已请求下载该子分片序列中的每个文件分片。
优选地,所述寻找目标邻居节点的步骤包括:
确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,所述最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片;
选择拥有所述最稀有的文件分片的邻居节点作为所述目标邻居节点。
优选地,该方法还包括:
向所述多个邻居节点请求所述文件在各个邻居节点上的文件分片位图,所述文件分配位图表示该邻居节点拥有哪些文件分片;
从所述多个邻居节点接收文件分片位图。
优选地,该方法还包括:
针对每个所述邻居节点,测量从请求至接收到所述文件分片位图的位图时延,
其中,在所述寻找目标邻居节点的步骤中,当多个所述邻居节点拥有所述最稀有的文件分片时,选择所述位图时延最短的邻居节点作为所述目标邻居节点。
优选地,还包括:
针对每个文件分片预设时延阈值;
当等待所述目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向所述目标邻居节点发送停止下载尚未返回的文件分片的消息。
优选地,以预定的周期时间周期性地向所述多个邻居节点请求所述文件分片位图,
针对所述m个文件分片中的第一个文件分片预设的时延阈值为所述周期时间。
优选地,针对所述m个文件分片中的第二个文件分片预设的时延阈值为接收到所述第一个文件分片的时延与针对所述目标邻居节点最近一次测量得到的位图时延之差的绝对值。
优选地,针对所述m个文件分片中的第n+1个文件分片预设的时延阈值为接收到前n个文件分片的时延的平均值与所述前n个文件分片的时延的方差之和,n为大于或等于2并且小于m的自然数。
根据本发明的第二个方面,还提供了一种通过对等网络从多个邻居节点下载文件的装置,所述文件被划分为N个文件分片,所述N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N,其特征在于,该装置包括:
选择单元,用于针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点;
请求下载单元,用于向所述目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,所述m为大于1的自然数。
优选地,所述选择单元包括:
稀有度确定模块,用于确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,所述最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片;
稀有分片选择模块,用于选择拥有所述最稀有的文件分片的邻居节点作为所述目标邻居节点。
优选地,该装置还包括:
文件分配图请求单元,用于向所述多个邻居节点请求所述文件在各个邻居节点上的文件分片位图,所述文件分配位图表示该邻居节点拥有哪些文件分片;
文件分配图接收单元,用于从所述多个邻居节点接收文件分片位图;
位图时延测量单元,用于针对每个所述邻居节点,测量从请求至接收到所述文件分片位图的位图时延;
所述稀有分片选择模块,在所述寻找目标邻居节点的步骤中,当多个所述邻居节点拥有所述最稀有的文件分片时,选择所述位图时延最短的邻居节点作为所述目标邻居节点。
优选地,该装置还包括:
文件分片预设单元,用于针对每个文件分片预设时延阈值;
停止下载消息发送单元,用于当等待所述目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向所述目标邻居节点发送停止下载尚未返回的文件分片的消息。
在本发明所提供的通过对等网络下载文件的方案中,将被下载的文件划分为多个文件分片,多个文件分片组成子分片序列,针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点,请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的多个文件分片,多个文件分片组成分片组,以分片组为单位进行文件分片的下载,减小了下载系统的控制开销,提高了系统的调度效率并且减少了网络开销。
在另一种优选的实施方式中,根据文件分片的稀有程度,优先选择拥有最稀有的文件分片的邻居节点作为目标邻居节点请求下载,能够使得稀缺文件分片优先被下载,优化选择邻居节点,这样可以更快地使对等网络中有更多的节点可以获得该稀有文件分片。
在另一种优选的实施方式中,利用位图时延,当有多个邻居节点选择拥有最稀有的文件分片的邻居节点作为目标邻居节点,选择位图时延最短的邻居节点作为目标邻居节点,进一步优化了请求对象的选择,可以使下载节点更快的获得更稀有的文件分片。
在另一种优选的实施方式中,为文件分片预设时延阈值,在等待超过该阈值的情况下,取消下载请求,减少了下载节点等待时延,提高了系统的下载效率。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1示出本发明所提供的将文件划分为文件分片及子分片序列的一种划分方法的示意图;
图2示出本发明所提供的通过对等网络从多个邻居节点下载文件方法的第一实施例的流程示意图;
图3示出本发明所提供的通过对等网络从多个邻居节点下载文件方法的第二实施例的流程示意图;
图4示出本发明所提供的通过对等网络从多个邻居节点下载文件方法的第三实施例的流程示意图;
图5示出本发明所提供的通过对等网络从多个邻居节点下载文件装置的一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
通过对等网络从多个邻居节点下载文件方法
在本发明所提供的对等网络文件下载系统中,被下载的文件被划分为文件分片,并依次从1开始编号,一共划分为N个文件分片。文件以文件分片为单位存储在对等网络下载系统中的各个节点上。N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N。
具体划分为子分片序列的方法可以有多种,参见图1所示,图1示出了一种划分子分片序列的方式。
N个文件分片被划分为k个子分片序列,第i个子文件序列中的文件分片编号满足nk+i,即文件分片编号模k的余数均为i。子分片序列的个数k优选的取值为小于等于下载节点与邻居节点可以建立的连接的个数的最大值。例如,k取值为2至9中任意整数。当k取值过得,即过多的子分片序列会使系统控制开销显著增加。
第一实施例
参考图2所示,该图为本发明所提供的通过对等网络从多个邻居节点下载文件方法的第一实施例的流程示意图,下面详细介绍该方法实施例的步骤。
步骤201,针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点。
在请求下载文件分片的过程中,确定子分片序列个数后,针对每一个子分片序列,拥有该子分片序列中的至少一个文件分片的邻居节点可能为多个,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点。
步骤202,向目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,m为大于1的自然数。
向目标邻居节点请求下载其所拥有的属于该子分片序列的文件分片中的多个文件分片。这些文件分片属于一个子分片序列,可以将向对该目标邻居节点请求下载的这些文件分片看作分片组。通过以分片组为单位向目标邻居节点发起下载请求,相对于以单个文件分片来请求下载,可以减小请求下载的控制开销。
文件分片的大小可以根据具体情况进行设定,各文件分片的大小可以相同,也可以不同。
目标邻居节点以文件分片为单位返回文件分片,也可以将被请求的多个文件分片一起返回。
属于一个子分片序列的文件分片可能存储在不同的目标邻居节点上,因此,对于这种情况,针对每个子分片序列,重复步骤201和步骤202。选择不同的目标邻居节点进行请求,直至已请求下载该子分片序列中的每个文件分片。当请求下载所有子分片序列中的每个文件分片后,这些文件分片组成整个完整的文件。
第二实施例
对于每一个子分片序列,拥有该子分片序列中的至少一个文件分片的邻居节点可能为多个,在以上实施方式中,针对每个子分片序列,可以任意选择拥有该子分片序列中的邻居节点为目标节点,首先开始请求下载。
由于文件分片通常可能存储在对等网络的多个邻居节点中,拥有同一个文件分片的邻居节点的个数可能也不同。因此,可以按照文件分片的稀有程度,先下载子分片序列中尚未被下载的文件分片中最稀有的文件分片,这样可以更快地使对等网络中有更多的节点可以获得该稀有文件分片,从而可以向跟多的其他节点提供该文件分片的下载。
因此,在另一种优选的实施方式中,针对每一个子分片序列,寻找目标邻居节点的步骤具体可以包括以下所描述的步骤。参考图3所示,图3为本发明第二实施例的流程示意图。
步骤301,确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片。
可以利用文件分配位图确定文件分片的稀有程度。文件分配位图表示了节点所拥有哪些文件分片。文件分配位图可以采用与现有技术类似地方法,由各个节点周期性的发送自己所拥有的文件分配位图。一种优选的实施方式是向多个邻居节点请求文件在各个邻居节点上的文件分片位图,并从拥有该文件的多个邻居节点接收文件分片位图。
在获得该文件的所有文件分配位图后,可以确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片。
具体实现时,在获得该文件的所有文件分配位图后,确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片时,可以将所有的未被下载的文件分片出现的次数进行排序形成稀有度列表,在请求并收到目标邻居节点返回的相应的文件分片后,从该稀有度列表上删除对应的文件分片。在下一次请求时,将根据新的文件分配位图,获得新的稀有度列表,从而重新确定子分片序列中尚未被下载的文件分片中最稀有的文件分片。若后续步骤中没有收到目标节点返回的文件分片,该文件分片依然进行排序。
步骤302,选择拥有最稀有的文件分片的邻居节点作为目标邻居节点。
根据稀有程度,选择拥有最稀有的文件分片的邻居节点作为目标邻居节点。
步骤303,向目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,m为大于1的自然数。
步骤303与步骤202类似,这里不再进行详述。
若属于一个子分片序列的文件分片可能存储在不同的目标邻居节点上,针对每个子分片序列,重复步骤301至步骤303,直至已请求下载该子分片序列中的每个文件分片。当请求下载所有子分片序列中的每个文件分片后,这些文件分片组成整个完整的文件。
第三实施例
由于相同的文件分片可能出现在不同的邻居节点中,并且一定在同一子分片序列中,但是针对一次请求下载时,仅对一个目标邻居节点请求属于该子分片序列的文件分片。因此,根据稀有程度选择目标邻居节点时,在确定下载的文件分片后,一种优选的实施方式可以更进一步确定先向哪一个目标邻居节点请求下载最稀有的文件分片。该方法利用位图时延,当多个邻居节点拥有最稀有的文件分片时,选择位图时延最短的邻居节点作为目标邻居节点。参考图4所示,该图示出本发明的第三实施例的流程示意图。
步骤401,向多个邻居节点请求文件在各个邻居节点上的文件分片位图,并从拥有该文件的多个邻居节点接收文件分片位图。
步骤402,针对每个邻居节点,测量从请求至接收到文件分片位图的位图时延。
可以通过向多个邻居节点请求的方法获得文件分片位图,并利用这个过程,测量从请求至接收到文件分片位图的位图时延。
步骤403,确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片。
针对每一个子分片序列,确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片与步骤301类似,参考步骤301的介绍,这里不再一一详述。
步骤404,选择拥有最稀有的文件分片的邻居节点作为目标邻居节点,当多个邻居节点拥有最稀有的文件分片时,选择请求至接收到文件分片位图的位图时延最短的邻居节点作为目标邻居节点。
当选择拥有最稀有的文件分片的邻居节点作为目标邻居节点,利用步骤402中的测量从请求至接收到文件分片位图的位图时延,选择请求至接收到文件分片位图的时延最短的邻居节点作为目标邻居节点,从而可以更快的获得稀有的文件分片。
步骤405,向目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片。
同样的,若属于一个子分片序列的文件分片存储在不同的目标邻居节点上,针对每个子分片序列,重复步骤401至步骤405,直至已请求下载该子分片序列中的每个文件分片。当请求下载所有子分片序列中的每个文件分片后,这些文件分片组成整个完整的文件。
下载的节点可以同时向请求多个子分片序列的下载,即可以同时请求不同子分片序列中的分片所组成的分片组,对于一个子分片序列中的分片组,需要等上一个分片组请求完成之后再开始请求。
在另一种上述例中,还可以针对每个文件分片预设时延阈值,当等待目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向目标邻居节点发送停止下载尚未返回的文件分片的消息。由于取消时延超时的下载请求,减少了下载节点的等待时延,提高了系统的下载效率。
针对文件分片,可以设定不同的预设时延阈值。例如,在上述一种实施例中,下载节点向多个邻居节点请求文件在各个邻居节点上的文件分片位图时,以预定的周期时间Δt周期性地向请求文件分片位图。针对目标邻居节点m个文件分片中的第一个文件分片预设的时延阈值T1可以周期时间Δt。当等待目标邻居节点返回第一个文件分片的时延超过时延阈值T1,仍未收到目标邻居节点返回的第一个文件分片,可以判断为传输超时,向该目标邻居节点发送停止下载尚未返回的文件分片的消息。等待目标邻居节点返回文件分片的时延可以为从发出请求至接收到目标邻居节点返回的文件分片的时间。
接收到第一个文件分片后,针对目标邻居节点m个文件分片中的第二个文件分片预设的时延阈值T2可以设定为接收到第一个文件分片的时延T1与针对目标邻居节点最近一次测量得到的位图时延TRTT之差的绝对值,即等待目标邻居节点返回第二个文件分片的时延T2超过|T1-TRTT|时,向该目标邻居节点发送停止下载尚未返回的文件分片的消息,取消向该目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的未返回的文件分片。
接收到第二个文件分片后,对后续文件分片,针对m个文件分片中的第n+1个文件分片预设的时延阈值Tn+1,可以设定为接收到前n个文件分片的时延的平均值
Figure BDA0000125166520000111
与前n个文件分片的时延的方差σ之和,即
Figure BDA0000125166520000112
n为大于或等于2的自然数并且小于m的自然数。当等待目标邻居节点返回第n+1个文件分片的时延超过
Figure BDA0000125166520000113
时,向该目标邻居节点发送停止下载尚未返回的文件分片的消息,取消向该目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的未返回的文件分片。
通过对等网络从多个邻居节点下载文件装置
参考图5所示,该图为本发明提供的对等网络文件下载系统的数据传输装置实施例的结构示意图,下面详细介绍与上述对等网络文件下载系统的数据传输方法相对应的装置实施例。
该装置下载的文件被划分为N个文件分片,N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N。该装置包括选择单元501和请求下载单元502。
选择单元501用于针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点。
请求下载单元502用于向目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,m为大于1的自然数。
在另一种实施方式中,该装置还可以包括稀有度确定模块与稀有分片选择模块。
其中,稀有度确定模块用于确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片。
稀有分片选择模块用于选择拥有最稀有的文件分片的邻居节点作为目标邻居节点。
在另一种实施方式中,该装置还可以包括文件分配图请求单元、文件分配图接收单元和位图时延测量单元。
文件分配图请求单元用于向多个邻居节点请求文件在各个邻居节点上的文件分片位图。文件分配位图表示该邻居节点拥有哪些文件分片。
文件分配图接收单元用于从多个邻居节点接收文件分片位图。
位图时延测量单元用于针对每个邻居节点,测量从请求至接收到文件分片位图的位图时延。
稀有分片选择模块在寻找目标邻居节点时,当多个邻居节点拥有最稀有的文件分片时,选择位图时延最短的邻居节点作为目标邻居节点。
在另一种实施方式中,该装置还可以包括文件分片预设单元和停止下载消息发送单元。
文件分片预设单元用于针对每个文件分片预设时延阈值;
停止下载消息发送单元用于当等待目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向目标邻居节点发送停止下载尚未返回的文件分片的消息。
至此,已经详细描述了根据本发明的一种通过对等网络从多个邻居节点下载文件的方法和装置。为了避免遮蔽本发明的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法、系统和设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (13)

1.一种通过对等网络从多个邻居节点下载文件的方法,所述文件被划分为N个文件分片,所述N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N,其特征在于,该方法包括:
a.针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点;
b.向所述目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,所述m为大于1的自然数。
2.根据权利要求1所的方法,其特征在于,还包括:
针对所述每个子分片序列,重复所述步骤a和步骤b,直至已请求下载该子分片序列中的每个文件分片。
3.根据权利要求1或2所述的方法,其特征在于,所述寻找目标邻居节点的步骤包括:
确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,所述最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片;
选择拥有所述最稀有的文件分片的邻居节点作为所述目标邻居节点。
4.根据权利要求3所述的方法,其特征在于,该方法还包括:
向所述多个邻居节点请求所述文件在各个邻居节点上的文件分片位图,所述文件分配位图表示该邻居节点拥有哪些文件分片;
从所述多个邻居节点接收文件分片位图。
5.根据权利要求4所述的方法,其特征在于,该方法还包括:
针对每个所述邻居节点,测量从请求至接收到所述文件分片位图的位图时延,
其中,在所述寻找目标邻居节点的步骤中,当多个所述邻居节点拥有所述最稀有的文件分片时,选择所述位图时延最短的邻居节点作为所述目标邻居节点。
6.根据权利要求5所述的方法,其特征在于,还包括:
针对每个文件分片预设时延阈值;
当等待所述目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向所述目标邻居节点发送停止下载尚未返回的文件分片的消息。
7.根据权利要求6所述的方法,其特征在于,以预定的周期时间周期性地向所述多个邻居节点请求所述文件分片位图,
针对所述m个文件分片中的第一个文件分片预设的时延阈值为所述周期时间。
8.根据权利要求7所述的方法,其特征在于,
针对所述m个文件分片中的第二个文件分片预设的时延阈值为接收到所述第一个文件分片的时延与针对所述目标邻居节点最近一次测量得到的位图时延之差的绝对值。
9.根据权利要求8所述的方法,其特征在于,
针对所述m个文件分片中的第n+1个文件分片预设的时延阈值为接收到前n个文件分片的时延的平均值与所述前n个文件分片的时延的方差之和,n为大于或等于2并且小于m的自然数。
10.一种通过对等网络从多个邻居节点下载文件的装置,所述文件被划分为N个文件分片,所述N个文件分片被划分为k个子分片序列,其中N和k为大于1的自然数,且k≤N,其特征在于,该装置包括:
选择单元,用于针对每个子分片序列,选择拥有该子分片序列中的至少一个文件分片的目标邻居节点;
请求下载单元,用于向所述目标邻居节点请求下载该目标邻居节点所拥有的属于该子分片序列的文件分片中的m个文件分片,所述m为大于1的自然数。
11.根据权利要求10所述的装置,其特征在于,所述选择单元包括:
稀有度确定模块,用于确定该子分片序列中尚未被下载的文件分片中最稀有的文件分片,所述最稀有的文件分片为拥有该文件分片的邻居节点个数最少的文件分片;
稀有分片选择模块,用于选择拥有所述最稀有的文件分片的邻居节点作为所述目标邻居节点。
12.根据权利要求11所述的装置,其特征在于,该装置还包括:
文件分配图请求单元,用于向所述多个邻居节点请求所述文件在各个邻居节点上的文件分片位图,所述文件分配位图表示该邻居节点拥有哪些文件分片;
文件分配图接收单元,用于从所述多个邻居节点接收文件分片位图;
位图时延测量单元,用于针对每个所述邻居节点,测量从请求至接收到所述文件分片位图的位图时延;
所述稀有分片选择模块,在所述寻找目标邻居节点的步骤中,当多个所述邻居节点拥有所述最稀有的文件分片时,选择所述位图时延最短的邻居节点作为所述目标邻居节点。
13.根据权利要求12所述的装置,其特征在于,该装置还包括:
文件分片预设单元,用于针对每个文件分片预设时延阈值;
停止下载消息发送单元,用于当等待所述目标邻居节点返回文件分片的时延超过针对该文件分片预设的时延阈值时,向所述目标邻居节点发送停止下载尚未返回的文件分片的消息。
CN201110443439.8A 2011-12-27 2011-12-27 通过对等网络从多个邻居节点下载文件的方法和装置 Active CN103188279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110443439.8A CN103188279B (zh) 2011-12-27 2011-12-27 通过对等网络从多个邻居节点下载文件的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110443439.8A CN103188279B (zh) 2011-12-27 2011-12-27 通过对等网络从多个邻居节点下载文件的方法和装置

Publications (2)

Publication Number Publication Date
CN103188279A true CN103188279A (zh) 2013-07-03
CN103188279B CN103188279B (zh) 2016-06-01

Family

ID=48679244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110443439.8A Active CN103188279B (zh) 2011-12-27 2011-12-27 通过对等网络从多个邻居节点下载文件的方法和装置

Country Status (1)

Country Link
CN (1) CN103188279B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202124A (zh) * 2014-09-12 2014-12-10 成都博智维讯信息技术有限公司 一种erp数据包通讯方法
CN104506929A (zh) * 2014-12-26 2015-04-08 电子科技大学 P2p系统混合数据调度方法
CN104506537A (zh) * 2014-12-26 2015-04-08 电子科技大学 P2p系统节点选择方法
CN104936042A (zh) * 2015-06-30 2015-09-23 北京奇艺世纪科技有限公司 一种视频片段下载方法及装置
CN105812455A (zh) * 2016-03-07 2016-07-27 北京邮电大学 一种移动Ad hoc网络中协同下载的方法和装置
CN106231440A (zh) * 2016-07-22 2016-12-14 华为技术有限公司 一种流媒体文件分片下载方法、装置及终端
CN106686083A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种视频文件下载方法及装置
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
CN107404541A (zh) * 2017-09-20 2017-11-28 郑州云海信息技术有限公司 一种对等网络传输邻居节点选择的方法及系统
CN107659634A (zh) * 2017-09-20 2018-02-02 郑州云海信息技术有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN108173953A (zh) * 2017-12-29 2018-06-15 北京奇虎科技有限公司 一种基于内容分发网络cdn的文件分发方法和装置
WO2019184096A1 (zh) * 2018-03-28 2019-10-03 网宿科技股份有限公司 一种下载数据资源的方法和系统
CN115842810A (zh) * 2021-08-18 2023-03-24 武汉斗鱼鱼乐网络科技有限公司 一种直播子流分享方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050216473A1 (en) * 2004-03-25 2005-09-29 Yoshio Aoyagi P2P network system
WO2005119476A2 (en) * 2004-05-19 2005-12-15 Wurld Media, Inc. Routing of digital content in a peer-to-peer dynamic connection structure
CN101026543A (zh) * 2007-03-28 2007-08-29 华为技术有限公司 点到点p2p内容共享的方法及系统
WO2008098853A1 (de) * 2007-02-14 2008-08-21 Siemens Aktiengesellschaft Verfahren und vorrichtung zum verteilen eines datensegments eines datenstroms an eine gruppe von mehreren nutzern
CN101420457A (zh) * 2008-12-03 2009-04-29 腾讯科技(深圳)有限公司 对等体下载数据分片的方法、装置及对等体
WO2009103344A1 (en) * 2008-02-22 2009-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for obtaining media over a communications network
CN101521553A (zh) * 2008-02-29 2009-09-02 突触计算机系统(上海)有限公司 对等网络视频点播系统中用于提供数据分片的方法和装置
CN101626399A (zh) * 2009-08-11 2010-01-13 华中科技大学 一种音乐在线播放的调度及控制方法
CN101741890A (zh) * 2008-11-19 2010-06-16 华为技术有限公司 一种实现速率控制的方法、系统和设备
CN101959054A (zh) * 2009-07-14 2011-01-26 中国电信股份有限公司 集中式对等点播系统和伙伴节点选择方法
CN102170475A (zh) * 2011-04-22 2011-08-31 中兴通讯股份有限公司 一种基于p2p的文件分发系统及分片方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050216473A1 (en) * 2004-03-25 2005-09-29 Yoshio Aoyagi P2P network system
WO2005119476A2 (en) * 2004-05-19 2005-12-15 Wurld Media, Inc. Routing of digital content in a peer-to-peer dynamic connection structure
WO2008098853A1 (de) * 2007-02-14 2008-08-21 Siemens Aktiengesellschaft Verfahren und vorrichtung zum verteilen eines datensegments eines datenstroms an eine gruppe von mehreren nutzern
CN101026543A (zh) * 2007-03-28 2007-08-29 华为技术有限公司 点到点p2p内容共享的方法及系统
WO2009103344A1 (en) * 2008-02-22 2009-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for obtaining media over a communications network
CN101521553A (zh) * 2008-02-29 2009-09-02 突触计算机系统(上海)有限公司 对等网络视频点播系统中用于提供数据分片的方法和装置
CN101741890A (zh) * 2008-11-19 2010-06-16 华为技术有限公司 一种实现速率控制的方法、系统和设备
CN101420457A (zh) * 2008-12-03 2009-04-29 腾讯科技(深圳)有限公司 对等体下载数据分片的方法、装置及对等体
CN101959054A (zh) * 2009-07-14 2011-01-26 中国电信股份有限公司 集中式对等点播系统和伙伴节点选择方法
CN101626399A (zh) * 2009-08-11 2010-01-13 华中科技大学 一种音乐在线播放的调度及控制方法
CN102170475A (zh) * 2011-04-22 2011-08-31 中兴通讯股份有限公司 一种基于p2p的文件分发系统及分片方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202124A (zh) * 2014-09-12 2014-12-10 成都博智维讯信息技术有限公司 一种erp数据包通讯方法
CN104202124B (zh) * 2014-09-12 2017-10-10 成都博智维讯信息技术有限公司 一种erp数据包通讯方法
CN104506929A (zh) * 2014-12-26 2015-04-08 电子科技大学 P2p系统混合数据调度方法
CN104506537A (zh) * 2014-12-26 2015-04-08 电子科技大学 P2p系统节点选择方法
CN104506537B (zh) * 2014-12-26 2019-03-29 电子科技大学 P2p系统节点选择方法
CN104936042B (zh) * 2015-06-30 2018-08-07 北京奇艺世纪科技有限公司 一种视频片段下载方法及装置
CN104936042A (zh) * 2015-06-30 2015-09-23 北京奇艺世纪科技有限公司 一种视频片段下载方法及装置
CN105812455A (zh) * 2016-03-07 2016-07-27 北京邮电大学 一种移动Ad hoc网络中协同下载的方法和装置
CN105812455B (zh) * 2016-03-07 2018-11-06 北京邮电大学 一种移动Ad hoc网络中协同下载的方法和装置
CN106231440A (zh) * 2016-07-22 2016-12-14 华为技术有限公司 一种流媒体文件分片下载方法、装置及终端
CN106686083B (zh) * 2016-12-29 2019-09-17 北京奇艺世纪科技有限公司 一种视频文件下载方法及装置
CN106686083A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种视频文件下载方法及装置
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
CN106993054B (zh) * 2017-05-05 2022-06-03 腾讯科技(深圳)有限公司 文件分发方法、节点及系统
CN107659634A (zh) * 2017-09-20 2018-02-02 郑州云海信息技术有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN107404541A (zh) * 2017-09-20 2017-11-28 郑州云海信息技术有限公司 一种对等网络传输邻居节点选择的方法及系统
CN107404541B (zh) * 2017-09-20 2020-08-04 苏州浪潮智能科技有限公司 一种对等网络传输邻居节点选择的方法及系统
CN107659634B (zh) * 2017-09-20 2020-08-21 苏州浪潮智能科技有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN108173953A (zh) * 2017-12-29 2018-06-15 北京奇虎科技有限公司 一种基于内容分发网络cdn的文件分发方法和装置
WO2019184096A1 (zh) * 2018-03-28 2019-10-03 网宿科技股份有限公司 一种下载数据资源的方法和系统
CN115842810A (zh) * 2021-08-18 2023-03-24 武汉斗鱼鱼乐网络科技有限公司 一种直播子流分享方法及装置

Also Published As

Publication number Publication date
CN103188279B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN103188279A (zh) 通过对等网络从多个邻居节点下载文件的方法和装置
CN103235835B (zh) 用于数据库集群的查询实现方法和装置
CN101951411A (zh) 云调度系统及方法以及多级云调度系统
CN101064638A (zh) 通信系统的资源分配指示方法及装置
CN101179392B (zh) 一种上传文件的方法和系统
CN110738497A (zh) 一种数据处理方法、装置、节点设备及存储介质
CN107404541B (zh) 一种对等网络传输邻居节点选择的方法及系统
WO2018054369A1 (zh) 一种流数据传输节点的选取方法和装置
CN103731472A (zh) 采用p2p技术下载文件的方法和系统、客户端
CN105407413A (zh) 一种分布式视频转码方法及相关设备、系统
CN105656964B (zh) 数据推送的实现方法及装置
CN104734983A (zh) 业务数据请求的调度系统、方法及装置
CN105792247B (zh) 一种数据推送方法及装置
CN104537045A (zh) 一种基于分布式系统的业务分配方法及装置
CN110460491B (zh) 基于rdma的性能测试方法及装置
CN108153494B (zh) 一种io请求处理方法及装置
CN104780120A (zh) 一种局域网中文件传输的方法和装置
CN104079499A (zh) 基于令牌桶的报文处理方法及装置
CN103701721A (zh) 报文传输方法及装置
CN109688421B (zh) 请求消息处理方法、装置及系统、服务器、存储介质
US11782752B1 (en) System and method for assigning tasks
CN110582122A (zh) 一种资源指示方法、装置、服务节点和存储介质
CN103685469A (zh) 基于p2p的文件下载方法和系统及客户端
CA2976798C (en) Method for dynamically adjusting packet transmission timing
JP2008099116A (ja) 路車間通信方法及び路車間通信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant