CN102244665B - 位图管理和节点集合查询的方法以及节点和索引服务器 - Google Patents
位图管理和节点集合查询的方法以及节点和索引服务器 Download PDFInfo
- Publication number
- CN102244665B CN102244665B CN201010171404.9A CN201010171404A CN102244665B CN 102244665 B CN102244665 B CN 102244665B CN 201010171404 A CN201010171404 A CN 201010171404A CN 102244665 B CN102244665 B CN 102244665B
- Authority
- CN
- China
- Prior art keywords
- node
- index server
- sub
- specific file
- bitmap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本申请提供了P2P系统中的位图管理和节点集合查询的方法,以及P2P节点和索引服务器。根据本申请的P2P系统中位图管理的方法可包括:节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息;所述节点将所述汇报信息发送给索引服务器;以及所述索引服务器根据所述汇报信息,维护所述特定文件的位图信息。根据本申请,可降低节点与索引服务器交互的位图体量,减小保存在索引服务器处的位图信息的体量,以及降低索引服务器根据位图信息确定节点集合的计算开销,从而提高系统性能。
Description
技术领域
本申请涉及P2P系统中的位图管理和节点集合查询的方法,以及P2P节点和索引服务器。
背景技术
P2P(Peer-to-Peer,点对点)系统以其良好的可扩展性和健壮性,越来越多地应用于文件共享、传输等业务。在P2P系统中,包含有多个节点(peer)和索引服务器(tracker)。在索引服务器中,保存有与一个或多个文件中的各文件相关的节点列表(peerlist)。针对一个特定文件的节点列表例如可包括该文件的标识、与该文件相关的节点的标识(例如节点的IP地址、端口等)。新加入P2P系统的节点可请求索引服务器提供与某个文件相关的节点列表,同时也可将自身的信息(例如IP地址、端口等的标识)提交给索引服务器。索引服务器根据节点的请求,向节点返回包含一个或多个邻居节点标识的节点列表。此处所谓的邻居节点,指的是可以向其它节点传输某个文件的节点。
由于在P2P系统中共享和传输的文件通常具有较大体量,因此,可将一个文件划分成若干子块(chunk),以子块为单位进行文件分发。即,节点在成功下载至少一个完整子块的情况下,就能为其他需要该子块的节点提供上传服务。为此,节点可通过位图(bitmap)来指示其已下载或缓存的子块信息。位图中的每一个比特都与一个子块对应。如果节点已下载或缓存某个子块,则位图中与该子块对应的比特可被置为“1”,否则,该比特被置为“0”。
由于传统的索引服务器所提供的是针对某个文件的节点列表,在子块机制引入后,对于需要下载该文件的某个或某些子块的节点而言,得到的节点列表中可能包含一些未保存或缓存有所需子块的节点。这时,为了能够确定适当节点以进行文件传输,节点之间需要进行位图交互来互相了解子块的保存或缓存情况。为此,根据索引服务器是否参与位图的交互,现有技术中提供了两种解决方案。
在索引服务器不参与位图交互的方案中,由节点自身与所获得的节点列表中的节点进行位图交互。随着文件数据的不断传输,节点的位图被不断更新,因此节点之间需要进行频繁的位图交互,从而占用了有限的上载带宽,影响系统性能。
在索引服务器参与位图交互的方案中,各节点可向索引服务器汇报其自身的位图。在请求节点请求索引服务器提供节点列表时,可在请求中指明其所需的子块。这样,索引服务器可利用其所获得的位图信息,在向请求节点返回节点列表时进行有针对性的筛选。这种方案可降低整个P2P系统中的位图交互频率。但是,由于大量节点需要向少数索引服务器汇报位图信息,索引服务器需对每个声明拥有某文件的节点保存其位图信息,并且需对每个针对特定子块集合的节点的查询请求核对节点列表中各节点的位图,以确定各节点是否拥有给定子块,因此,如果每次交互的位图的体量、保存在索引服务器处的位图的体量、以及根据位图确定节点是否拥有给定子块的计算开销得不到控制,则会占用索引服务器的带宽资源、存储资源和计算资源,从而影响整个系统的性能。
现有技术中已经提出,可采用差异编码算法来缩小每次交互的位图体量(参见G.Deng、C.Li、C.Chen和Y.Zhang的A bitmap codingmethod for P2P streaming protocols(用于P2P流协议的位图编码方法),In Proc.of CAR 2009)。但是,这种方法仍然无法降低索引服务器保存位图信息体量的存储开销和根据位图信息筛选节点列表的计算开销。
发明内容
本申请的目的是提供一种至少能够部分改善上述现有技术中的缺陷的P2P系统中的位图管理和节点集合查询的方法,以及P2P节点和索引服务器。
根据本申请的第一方面,提出了一种P2P系统中位图管理的方法,包括:节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息;所述节点将所述汇报信息发送给索引服务器;以及所述索引服务器根据所述汇报信息,维护所述特定文件的位图信息。
根据本申请的另一方面,提出了一种P2P系统中节点集合查询的方法,其中,索引服务器保存有特定文件的位图信息,所述位图信息是通过布隆算法对节点已获取的、所述特定文件的子块集合编码而形成的,所述方法包括:请求节点采用布隆算法对希望获得的、所述特定文件的子块集合进行编码以形成请求信息;所述请求节点将所述请求信息发送给所述索引服务器;以及所述索引服务器根据所述请求信息和所述位图信息,选取节点集合发送给所述请求节点。
根据本申请的又一方面,提出了一种P2P系统中节点集合查询的方法,包括:汇报节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息;所述汇报节点将所述汇报信息发送给索引服务器;所述索引服务器根据所述汇报信息,维护所述特定文件的位图信息;请求节点采用布隆算法对希望获得的、所述特定文件的子块集合进行编码以形成请求信息;所述请求节点将所述请求信息发送给所述索引服务器;以及所述索引服务器根据所述请求信息和所述位图信息,选取节点集合发送给所述请求节点。
根据本申请的又一方面,提出了一种P2P节点,包括:编码模块,采用布隆算法对包括特定文件的一个或多个子块的子块集合进行编码,以形成编码的信息;以及传输模块,将所述编码的信息发送给索引服务器。
根据本申请的又一方面,提出了一种P2P系统中的索引服务器,包括:存储模块,保存特定文件的位图信息,所述位图信息是通过布隆算法对节点已获取的、所述特定文件的子块集合编码而形成的;以及维护模块,根据接收自汇报节点的汇报信息,维护所述位图信息,其中,所述汇报信息是所述汇报节点采用布隆算法对已获取的、所述特定文件的子块集合进行编码而形成的。
根据本申请的又一方面,提出了一种P2P系统中的索引服务器,包括:存储模块,保存特定文件的位图信息,所述位图信息是通过布隆算法对节点已获取的、所述特定文件的子块集合编码而形成的;选取模块,根据接收自请求节点的请求信息以及所述位图信息,选取节点集合,其中,所述请求信息是所述请求节点采用布隆算法对希望获得的、所述特定文件的子块集合进行编码而形成的;以及传输模块,将所述节点集合发送给所述请求节点。
根据本申请,可降低节点与索引服务器交互的位图体量,减小保存在索引服务器处的位图信息的体量,以及降低索引服务器根据位图信息确定节点集合的计算开销,从而提高系统性能。
附图说明
图1是根据本申请一个实施方案的P2P系统中位图管理的方法的流程图;
图2是根据本申请另一实施方案的P2P系统中位图管理的方法的流程图;
图3是根据本申请一个实施方案的P2P系统中节点集合查询的方法的流程图;
图4是根据本申请另一实施方案的P2P系统中节点集合查询的方法的流程图;
图5是显示根据本申请一个实施方案的P2P节点的框图;
图6是显示根据本申请一个实施方案的P2P系统中的索引服务器的框图;
图7是显示根据本申请另一实施方案的P2P系统中的索引服务器的框图;以及
图8是显示根据本申请又一实施方案的P2P系统中的索引服务器的框图。
具体实施方式
下面参照附图,对本申请的进行详细说明。为简明起见,本申请各实施方案的说明中,相同或类似的装置或步骤使用相同或相似的附图标记来表示。
在本申请中,P2P系统可包括多个节点和一个或多个索引服务器。在P2P系统中,可将一个文件划分成若干子块,以子块为单位进行文件分发。为了记录已下载或缓存的子块情况,各节点可通过位图来指示其已获取的子块信息。根据本申请,索引服务器可进行位图信息管理,集中管理与各节点已获取的文件子块集合相对应的位图信息,从而可向请求下载某个文件的节点更有针对性地提供能够为其提供下载的邻居节点。
首先参照图1,详细描述根据本申请一个实施方案的P2P系统中位图管理的方法。在步骤1002,节点可采用以下将详细描述的布隆算法,对已获取的、某个特定文件的子块集合进行编码,以形成汇报信息。在步骤1004,节点可将所形成的汇报信息发送给索引服务器。在步骤1006,接收到汇报信息的索引服务器可根据该汇报信息,对该特定文件的位图信息进行维护。
作为图1所示方法的一个实施例,节点可采用布隆算法,选用适当的哈希函数集合H和编码后的二进制数组长度m,对已获取的、某个特定文件的子块集合进行编码而形成汇报信息。其中,集合H和长度m的值可由本领域技术人员根据需分发文件的长度或者根据P2P系统中传输的文件的平均长度来确定。可将汇报信息看作是经过布隆算法进行编码而被压缩的位图,从而可降低节点向索引服务器汇报其获得的子块的通信开销。
举例而言,对于一个长度为2G的文件,假设子块长度为2M,则在未经布隆算法编码的情况下,该文件的位图长度为1024;而在经布隆算法编码的情况下,可通过对哈希函数集合H进行构造,而能够以长度m=128的二进制数组来表示该文件的子块集合,并且使得判别准确性不低于97%。这样,可将原本1024比特的位图所表示的子块信息以128比特的二进制数组来表示,从而减小了数据存储和传输的体量。具体而言,可将哈希函数集合H这样构造:使用公知的MD5消息摘要算法将子块的标识转换成128比特的二进制串,然后将其拆分成4个32比特的串,最后以128逐一对四个串取模求余数,就得到四个取值范围在0至m-1的整数。然后,可将二进制数组中与这四个自然数对应的比特置位。应该理解,以上仅是为了描述的目的而给出的示例,本领域技术人员可选取其他的哈希函数集合H和长度m来实现对子块集合的编码。
另外,虽然按照上面描述的示例,汇报信息的某个比特为“1”,表示的是该比特对应的子块已被节点所获取。但是本领域技术人员可以理解,也可以使被设置为“0”的比特表示该比特对应的子块已被节点所获取。
可以理解,在节点下载某个文件的过程中,该节点所获取的该文件的子块可不断增多,因此,该节点可按照一定的时间间隔(例如,10~15分钟)周期性地向索引服务器汇报其所获取的、该文件的子块集合。
根据一个实施方案,节点在多次发送汇报信息时,可向索引服务器发送这样的汇报信息,该汇报信息反映的是该节点从上一次发送汇报信息之后至今,新获取的特定文件的子块集合,换言之,该汇报信息是采用布隆算法对上一次发送汇报信息之后新获取的、特定文件的子块集合进行编码而形成的。本领域技术人员可以理解,可通过为每次汇报信息的发送和每个子块的获取分别设置时间标志,来确定本次需发送的子块集合。
根据本实施方案,通过仅将自上次发送至今新增的子块信息发送给索引服务器,而不是每次均发送节点拥有的全部子块信息,可进一步减小节点所发送的汇报信息的体量,从而降低系统通信开销。
下面参照图2,详细描述根据本申请另一个实施方案的P2P系统中位图管理的方法。图2所示的步骤2002和2004与图1所示的步骤1002和1004相同,此处不再赘述。
在如图2所示的实施方案中,索引服务器还可保存有针对各文件的节点列表,其中,针对某个文件的节点列表中的每个节点已获取有该文件的至少一个子块。如图2所示,在步骤2006中,索引服务器可判断发送汇报信息的节点是否已经包含在特定文件的节点列表中,若没有,则在步骤2008中,索引服务器将该节点加入特定文件的节点列表,并使特定文件的位图信息中针对该节点的位图等于所接收到的汇报信息。若经判断节点包含在特定文件的节点列表中,则在步骤2010中,索引服务器更新特定文件的位图信息,使得该位图信息中针对该节点的位图所对应的子块集合包含汇报信息所对应的子块集合。
可以理解,索引服务器所保存的特定文件的节点列表包含的是已经下载或缓存了该特定文件的至少一个子块的节点。因此,如果特定文件的节点列表未包含发送与特定文件相关的汇报信息的节点,则可表示该节点是首次汇报与特定文件相关的信息。这时,可将其加入特定文件的节点列表,并且,可使该特定文件的位图信息中针对该节点的位图等于所接收的汇报信息,换言之,针对该节点的位图被初始化为所接收到的汇报信息。
另一方面,如果特定文件的节点列表已经包含有发送与特定文件相关的汇报信息的节点,则可表示该节点之前已经汇报过与特定文件相关的信息。由于根据图2所示的方法,在节点第一次汇报与某个文件相关的汇报信息时,索引服务器已经将该节点包含到该文件的节点列表中,因而此时,特定文件的节点列表可保持不变。但是,特定文件的位图信息中针对该节点的位图需根据汇报信息进行更新,使得更新后的针对该节点的位图包含汇报信息所对应的子块集合。
可以理解,由于保存在索引服务器处的特定文件的位图信息中针对某个节点的位图可根据该节点发送的汇报信息来进行初始化或更新,因此,针对该节点的位图可看作是通过布隆算法对该节点已获取的、特定文件的子块集合进行编码而形成的。
根据本实施方案,索引服务器可通过对特定文件的位图信息中针对非首次发送汇报信息的节点的位图与所接收到的汇报信息进行逐比特逻辑运算,来实现对针对所述节点的位图的更新操作。可以理解,位图和汇报信息中的各个比特可按预设方式来表示不同含义,例如,可设定位图和汇报信息的某个比特为“1”表示该比特对应的子块已被节点所获取(简称为以“1”置位),也可设定位图和汇报信息的某个比特为“0”表示该比特对应的子块已被节点所获取(简称为以“0”置位)。为了根据汇报信息对特定文件的位图信息中针对节点的位图进行更新,以使该位图所对应的子块集合包含汇报信息所对应的子块集合,在以“1”置位的情况下,索引服务器可使保存的该特定文件的位图信息中针对该节点的位图与汇报信息进行逐比特逻辑“或”运算,来得到更新后的位图;而在以“0”置位的情况下,索引服务器可使保存的该特定文件的位图信息中针对该节点的位图与汇报信息进行逐比特逻辑“与”运算,来得到更新后的位图。
根据本申请,在汇报信息所对应的、某个节点已获取的某个文件的子块集合与索引服务器处已保存的该文件的位图信息中针对该节点的位图所对应的子块集合相比,增加了多个子块的情况下,仅通过一次逻辑运算操作,便可将这些增加的子块集合包含到更新后的该文件的位图信息中,由此,可降低索引服务器更新位图的计算开销,从而提高系统性能。
当然可以理解,在节点每次均汇报其已经获得的、全部特定文件的子块集合的情况下,索引服务器对特定文件的位图信息中针对该节点的位图的更新也可以是以所接收的汇报信息替换针对该节点的位图;而在节点汇报的是自上一次发送汇报信息之后新获取的、特定文件的子块集合的情况下,索引服务器根据汇报信息更新特定文件的位图信息中针对该节点的位图可以通过以上描述的逻辑运算来得到更新后的位图。
虽然图中未示出,但可以理解,在完成对节点列表和位图的更新之后,索引服务器可向发送汇报信息的节点返回确认消息。另外,虽然根据本申请,节点将经布隆算法编码的汇报消息发送给索引服务器,但是由于布隆算法是一种有损压缩算法,因此,各节点可在本地保存未经编码的位图。
下面参照图3,详细描述根据本申请一个实施方案的P2P系统中节点集合查询的方法。其中,该P2P系统中的索引服务器可保存有与节点已获取的、特定文件的子块集合相对应的位图信息,在本实施方案中,索引服务器中保存的位图信息可以是通过布隆算法对上述子块集合进行编码而形成的经过压缩的位图信息。
如图3所示,在步骤3002,希望获得某个特定文件的某个子块集合的请求节点可采用布隆算法对该子块集合进行编码,以形成请求信息。然后在步骤3004,请求节点可将请求信息发送给索引服务器。在步骤3006,索引服务器在接收到请求信息后,可根据请求信息以及所保存的该特定文件的位图信息,选取节点集合发送给请求节点。可以理解,请求节点对所请求的特定文件的子块集合进行编码所采用的布隆算法的参数可与为了形成索引服务器中所保存的位图信息所采用的布隆算法的参数相同,例如,可采用同样的哈希函数集合H和编码后二进制数组长度m。
由于索引服务器可根据反映了节点已获取的特定文件的子块集合的该特定文件的位图信息,来确定将发送给请求节点的节点集合,而该节点集合通常是现有索引服务器处所保存的特定文件的节点列表的子集,因此,可减少索引服务器为请求节点提供的节点集合中包含不能为请求节点提供所需子块的节点,并且能够减小发送节点集合的通信开销。
根据一个具体实施方案,索引服务器所选取的节点集合所包含的是这样的节点:特定文件的位图信息中针对该节点的位图所对应的子块集合可包含请求信息所对应的子块集合中的至少一个子块,换言之,该节点至少已经保存或缓存有所请求的特定文件子块集合中的至少一个子块。
在本具体实施方案中,索引服务器可根据特定文件的位图信息中针对某个节点的位图与所接收的请求信息进行逐比特逻辑运算的结果,来判断该节点是否是所选取的节点集合中的元素。下面以一个具体示例来进行说明。
可以理解,对于某个节点,如果该节点已经获得的、特定文件的子块集合中包含有请求节点希望获得的至少一个子块,则可将该节点作为所选取的节点集合中的一个元素。在以“1”置位的情况下,即,位图的某个比特为“1”表示该比特对应的子块已被节点所获取(这时,请求信息的某个比特为“1”表示该比特对应的子块是请求节点希望获得的子块),索引服务器可将该特定文件的位图信息中针对某个节点的位图与请求信息进行逐比特逻辑“与”运算,若运算结果为各比特全为0的串,则表示该节点已获得的子块集合不包含请求节点所请求的任一子块;否则,若运算所得到的串至少有一个比特为1,则可表示该节点已获得的子块集合包含请求节点所请求的子块集合中的至少一个子块,这时,可将该节点作为所选取的节点集合中的元素。可以理解,在以“0”置位的情况下,索引服务器可将特定文件的位图信息中针对某个节点的位图与请求信息进行逐比特逻辑“或”运算,若所得到的串至少有一个比特为0,则可将该节点作为所选取的节点集合中的元素。
根据本申请,在请求信息所对应的子块集合包含多个子块的情况下,仅通过对索引服务器处保存的特定文件的位图信息中针对待选节点的位图与请求信息进行一次逻辑运算,便可确定是否将该待选节点加入要发送给请求节点的节点集合中,而不必针对多个子块中的每一个进行多次计算。而在布隆算法应用的现有技术中,通常在一次操作中仅判断一个元素是否包含在经布隆算法编码的位串中。可以理解,通过本申请中以一次操作判断多个元素是否包含在经布隆算法编码的位串中,来进行节点集合的选取,可降低索引服务器的计算开销。
下面参照图4,详细描述根据本申请另一实施方案的P2P系统中节点集合查询的方法。在步骤4002,汇报节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息。在步骤4004,汇报节点将所形成的汇报信息发送给索引服务器。在步骤4006,索引服务器可根据接收到的汇报信息,维护特定文件的位图信息。索引服务器进行维护操作的具体方式已在上面参照图2进行了详细描述,此处不再赘述。
汇报节点可周期性地将汇报信息发送给索引服务器。另外,汇报节点可采用布隆算法对上一次发送汇报信息之后新获取的、特定文件的子块集合进行编码以形成汇报信息。可以理解,通过一次执行步骤4002至步骤4006或多次重复执行步骤4002至步骤4006,索引服务器中可保存有通过布隆算法对节点已获取的、特定文件的子块集合进行编码而形成的位图信息。
仍然参照图4,在步骤4008,请求节点采用布隆算法对希望获得的、特定文件的子块集合进行编码以形成请求信息。可以理解,请求节点所采用的布隆算法可与汇报节点采用的布隆算法具有相同的参数,例如,具有相同的哈希函数集合H和编码后二进制数组长度m。在步骤4010,请求节点可将请求信息发送给索引服务器,然后,在步骤4012,索引服务器可根据请求信息和特定文件的位图信息,选取节点集合发送给请求节点。索引服务器选取节点集合的方式已在上文详细描述,此处不再赘述。
接下来,参照图5,描述根据本申请一个实施方案的P2P节点。在图5中,为了描述的目的,仅示出了一个节点500和一个索引服务器510,但是可以理解,P2P系统50可包含多个节点和至少一个索引服务器。P2P节点500可包括编码模块502和传输模块504。编码模块502可采用布隆算法对包括特定文件的一个或多个子块的子块集合进行编码,以形成编码的信息。具体而言,可利用编码模块502对节点已获取的、特定文件的子块集合进行编码,编码后的信息即汇报信息。也可利用编码模块502对节点希望获得的、特定文件的子块集合进行编码,编码后的信息即请求信息。传输模块504可将经过编码模块502编码的信息,即汇报信息或者请求信息,发送给索引服务器510。
为了通过节点500的编码模块502形成这样的汇报信息,该汇报信息反映的是节点500从上一次发送汇报信息之后至今,新获取的特定文件的子块集合,节点500可进一步包括时标设置模块(未示出),该模块可通过为每次汇报信息的发送和每个子块的获取分别设置时间标志,来确定本次需汇报的子块集合。
图6示出了根据一个实施方案的P2P系统中的索引服务器。同样,虽然图6仅示出了一个节点600和一个索引服务器610,但本领域技术人员可以理解,P2P系统60可包含多个节点和至少一个索引服务器。
如图6所示,索引服务器610可包括存储模块612和维护模块614。其中,存储模块612中可保存特定文件的位图信息,该位图信息是通过布隆算法对节点已获取的、特定文件的子块集合编码而形成的。维护模块614可根据接收自汇报节点的汇报信息,维护存储模块612中保存的特定文件的位图信息。其中,汇报信息可以是汇报节点采用布隆算法对已获取的、上述特定文件的子块集合进行编码而形成的。
图7示出了根据本申请另一个实施方案的P2P系统中的索引服务器。如图所示,P2P系统70包含节点700和索引服务器710。索引服务器710中的存储模块712可保存有特定文件的节点列表和该特定文件的位图信息,类似地,该特定文件的位图信息可以是通过布隆算法对节点已获取的、特定文件的子块集合编码而形成的。图7所示的索引服务器710可进一步包括判断模块714、节点加入模块716和处理模块718。判断模块714判断汇报节点是否包含在特定文件的节点列表中。若汇报节点未包含在特定文件的节点列表中,则节点加入模块716可将汇报节点加入特定文件的节点列表,处理模块718则可使特定文件的位图信息中针对汇报节点的位图初始化为与汇报信息相等。另一方面,若经判断模块714判断,确定汇报节点包含在特定文件的节点列表中,则处理模块718可更新特定文件的位图信息中针对汇报节点的位图,使得更新后的针对汇报节点的位图所对应的子块集合包含汇报信息所对应的子块集合。
可以理解,处理模块718可使特定文件的位图信息中针对汇报节点的位图与汇报信息进行逐比特逻辑运算,以得到更新后的针对汇报节点的位图。处理模块进行更新操作的具体方式已在上文详细描述,此处不再赘述。
图8示出了根据本申请另一个实施方案的P2P系统中的索引服务器。如图所示,P2P系统80包含节点800和索引服务器810。索引服务器810可包括存储模块812、选取模块814和传输模块816,其中,存储模块812可与图6所示的存储模块612类似,此处不再赘述。
图8所示的索引服务器810中的选取模块814可根据接收自请求节点的请求信息以及特定文件的位图信息,选取节点集合。其中,请求信息是请求节点采用布隆算法对其希望获得的、特定文件的子块集合进行编码而形成的。而传输模块816可将所选取的节点集合发送给请求节点。
类似地,选取模块814所选取的节点集合包含满足以下条件的节点:特定文件的位图信息中针对该节点的位图所对应的子块集合可包含请求信息所对应的子块集合中的至少一个子块。
另外,选取模块814可根据特定文件的位图信息中针对某一节点的位图与请求信息进行逐比特逻辑运算的结果,来判断该节点是否属于所选取的节点集合。选取模块的选取操作的具体方式已在上文详细描述,此处不再赘述。
以上参照附图对本申请的示例性的实施方案进行了描述。本领域技术人员应该理解,上述实施方案仅仅是为了说明的目的而所举的示例,而不是用来进行限制。凡在本申请的教导和权利要求保护范围下所作的任何修改、等同替换等,均应包含在本申请要求保护的范围内。
Claims (7)
1.一种P2P系统中位图管理的方法,包括:
节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息;
所述节点将所述汇报信息发送给索引服务器;以及
所述索引服务器根据所述汇报信息,维护所述特定文件的位图信息,
其中,采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息的步骤包括:采用哈希函数集合,对已获取的、特定文件的子块集合进行编码而形成具有较小二进制数组长度的汇报信息,
其中,所述索引服务器保存有所述特定文件的节点列表,所述索引服务器维护所述特定文件的位图信息的步骤包括:
若所述节点未包含在所述节点列表中,则所述索引服务器将所述节点加入所述节点列表,以及使所述位图信息中针对所述节点的位图等于所述汇报信息;以及
若所述节点包含在所述节点列表中,则所述索引服务器更新所述位图信息中针对所述节点的位图,以使更新后的针对所述节点的位图所对应的子块集合包含所述汇报信息所对应的子块集合。
2.如权利要求1所述的方法,其中,所述节点周期性地将所述汇报信息发送给所述索引服务器。
3.如权利要求2所述的方法,其中,所述节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息的步骤包括:
所述节点采用布隆算法对上一次发送汇报信息之后新获取的、所述特定文件的子块集合进行编码以形成汇报信息。
4.如权利要求1所述的方法,其中,所述位图信息中针对所述节点的位图是通过布隆算法对所述节点已获取的、所述特定文件的子块集合编码而形成的,所述索引服务器使所述位图信息中针对所述节点的位图与所述汇报信息进行逐比特逻辑运算,以得到更新后的针对所述节点的位图。
5.一种P2P系统中节点集合查询的方法,包括:
汇报节点采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息;
所述汇报节点将所述汇报信息发送给索引服务器;
所述索引服务器根据所述汇报信息,维护所述特定文件的位图信息;
请求节点采用布隆算法对希望获得的、所述特定文件的子块集合进行编码以形成请求信息;
所述请求节点将所述请求信息发送给所述索引服务器;以及
所述索引服务器根据所述请求信息和所述位图信息,选取节点集合发送给所述请求节点,
其中,采用布隆算法对已获取的、特定文件的子块集合进行编码以形成汇报信息的步骤包括:采用哈希函数集合,对已获取的、特定文件的子块集合进行编码而形成具有较小二进制数组长度的汇报信息,
其中,所述索引服务器保存有所述特定文件的节点列表,所述索引服务器维护所述特定文件的位图信息的步骤包括:
若所述节点未包含在所述节点列表中,则所述索引服务器将所述节点加入所述节点列表,以及使所述位图信息中针对所述节点的位图等于所述汇报信息;以及
若所述节点包含在所述节点列表中,则所述索引服务器更新所述位图信息中针对所述节点的位图,以使更新后的针对所述节点的位图所对应的子块集合包含所述汇报信息所对应的子块集合。
6.一种P2P系统中的索引服务器,包括:
存储模块,保存特定文件的位图信息,所述位图信息是通过布隆算法对节点已获取的、所述特定文件的子块集合编码而形成的;以及
维护模块,根据接收自汇报节点的汇报信息,维护所述位图信息,其中,所述汇报信息是所述汇报节点采用布隆算法对已获取的、所述特定文件的子块集合进行编码而形成的,
其中,通过布隆算法对已获取的、所述特定文件的子块集合进行编码而形成所述位图信息的步骤包括:采用哈希函数集合,对已获取的、所述特定文件的子块集合进行编码而形成具有较小二进制数组长度的所述位图信息,
其中,所述存储模块还保存有所述特定文件的节点列表,所述维护模块包括判断模块、节点加入模块和处理模块,其中:
所述判断模块判断所述汇报节点是否包含在所述节点列表中;
若所述汇报节点未包含在所述节点列表中,则所述节点加入模块将所述汇报节点加入所述节点列表,所述处理模块使所述位图信息中针对所述汇报节点的位图等于所述汇报信息;以及
若所述汇报节点包含在所述节点列表中,则所述处理模块更新所述位图信息中针对所述汇报节点的位图,以使更新后的针对所述汇报节点的位图所对应的子块集合包含所述汇报信息所对应的子块集合。
7.如权利要求6所述的索引服务器,其中,所述处理模块使所述位图信息中针对所述汇报节点的位图与所述汇报信息进行逐比特逻辑运算,以得到更新后的针对所述汇报节点的位图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010171404.9A CN102244665B (zh) | 2010-05-13 | 2010-05-13 | 位图管理和节点集合查询的方法以及节点和索引服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010171404.9A CN102244665B (zh) | 2010-05-13 | 2010-05-13 | 位图管理和节点集合查询的方法以及节点和索引服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102244665A CN102244665A (zh) | 2011-11-16 |
CN102244665B true CN102244665B (zh) | 2014-11-05 |
Family
ID=44962500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010171404.9A Active CN102244665B (zh) | 2010-05-13 | 2010-05-13 | 位图管理和节点集合查询的方法以及节点和索引服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102244665B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104936042B (zh) * | 2015-06-30 | 2018-08-07 | 北京奇艺世纪科技有限公司 | 一种视频片段下载方法及装置 |
CN107656697B (zh) * | 2016-07-26 | 2021-03-02 | 阿里巴巴集团控股有限公司 | 一种在存储介质上操作数据的方法和装置 |
CN108093003A (zh) * | 2016-11-21 | 2018-05-29 | 深圳市优朋普乐传媒发展有限公司 | 一种基于位图的数据交互方法、装置及系统 |
CN114745371A (zh) * | 2022-05-09 | 2022-07-12 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种点对点的下载方法、装置、设备及介质 |
CN116095092B (zh) * | 2023-04-11 | 2023-06-23 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种对等节点选择方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037527A1 (en) * | 2006-07-27 | 2008-02-14 | The Hong Kong University Of Science And Technology | Peer-to-Peer Interactive Media-on-Demand |
CN101505253A (zh) * | 2008-02-05 | 2009-08-12 | 突触计算机系统(上海)有限公司 | 网络设备的附属设备中为网络设备提供数据的方法及装置 |
CN101577721A (zh) * | 2008-12-05 | 2009-11-11 | 湖南大学 | 一种索引拆分布鲁姆过滤器及其插入、删除和查询方法 |
-
2010
- 2010-05-13 CN CN201010171404.9A patent/CN102244665B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037527A1 (en) * | 2006-07-27 | 2008-02-14 | The Hong Kong University Of Science And Technology | Peer-to-Peer Interactive Media-on-Demand |
CN101505253A (zh) * | 2008-02-05 | 2009-08-12 | 突触计算机系统(上海)有限公司 | 网络设备的附属设备中为网络设备提供数据的方法及装置 |
CN101577721A (zh) * | 2008-12-05 | 2009-11-11 | 湖南大学 | 一种索引拆分布鲁姆过滤器及其插入、删除和查询方法 |
Non-Patent Citations (2)
Title |
---|
A Bitmap Coding Method for P2P Streaming Protocols;Yunfei Zhang等;《2010 2nd International Asia Conference on Informatics in Control, Automation and Robotics》;20100307;摘要 * |
Yunfei Zhang等.A Bitmap Coding Method for P2P Streaming Protocols.《2010 2nd International Asia Conference on Informatics in Control, Automation and Robotics》.2010, * |
Also Published As
Publication number | Publication date |
---|---|
CN102244665A (zh) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1612982B1 (en) | Content distribution using network coding | |
CN102244665B (zh) | 位图管理和节点集合查询的方法以及节点和索引服务器 | |
CN102170455B (zh) | 用于在本地装置和远程装置间更新对象的方法和系统 | |
KR101432314B1 (ko) | 분산형 네트워크에 저장될 파일들을 인코딩하기 위한 컴퓨터 구현 프로세스 및 이를 실행하기 위한 컴퓨터 판독 가능 매체, 피어 투 피어 네트워크의 저장 신뢰도 및 효율성을 향상시키기 위한 시스템, 및 분산형 네트워크에 저장된 인코딩된 파일을 디코딩하기 위한 컴퓨터 구현 프로세스 | |
CN102523234A (zh) | 一种应用服务器集群实现方法及系统 | |
US8250171B2 (en) | Content delivery apparatus, content delivery method, and content delivery program | |
US20060212595A1 (en) | Method and computer-readable medium for associating sequence numbers with data blocks for distribution of data in a peer-to-peer network | |
CN103685554A (zh) | 升级方法、装置及系统 | |
CN102761596A (zh) | 在在线存储系统中上载文件的方法及相应在线存储系统 | |
CN104573064B (zh) | 一种大数据环境下的数据处理方法 | |
CN103220308B (zh) | 一种文件下载方法、装置及系统 | |
CN103281382B (zh) | 一种基于p2p的文件传输方法和节点 | |
CN101848188A (zh) | 对数据块校验信息进行更新的方法和装置 | |
CN103297447A (zh) | 一种资源共享方法及其设备 | |
Pääkkönen et al. | Device-to-device data storage with regenerating codes | |
CN101753572B (zh) | 基于抗黑名单机制的BitTorrent文件污染方法 | |
CN105074688A (zh) | 使用对等节点图的基于流的数据去重复 | |
US20110113099A1 (en) | Method for transmitting buffer map and network thereof | |
Xu et al. | I-swifter: improving chunked network coding for peer-to-peer content distribution | |
WO2018000647A1 (zh) | 文件下载方法、装置、终端及服务器 | |
KR101436406B1 (ko) | P2p기반 업데이트 클라이언트, 서버 장치, 시스템 및 방법 | |
US10409688B2 (en) | System and method of using encryption algorithms in P2P encryption mode to restore integrity of data | |
KR102425039B1 (ko) | 분산 딥러닝 환경에서 데이터 압축 장치 및 방법 | |
CN111404936B (zh) | 文件转发系统及方法 | |
CN103281395A (zh) | 一种基于客户端数量的数据片均分选择系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |