CN1988518A - 一种对等网搜索方法 - Google Patents

Abstract

本发明公开的一种对等网搜索方法。其特征在于，包括以下步骤：(1)使用搜索转发时节点承担符合的大小作为节点的“度”，并以节点的“饱和度系数”作为节点负载的评价条件；(2)使用物理节点的镜像节点构造新的子环，并在子环中维持完整的Chord协议的运行机制；(3)调节所有节点中饱和度系数超过预设阈值的节点的负荷，使用子环中包含的饱和度系数较小的节点与其同时分担转发负荷；(4)子环半径超过预定阈值时，子环重新分裂成为新的两个子环。由于在搜索服务中避免了超级节点的出现，因此本发明降低了网络故障的可能性，加强了网络抗毁性能，加快了搜索速度。

Description

一种对等网搜索方法

技术领域

本发明属于计算机通信技术领域，尤其设计一种对等网搜索的方法。

背景技术

对等网应用发展势头迅猛，从网络流量上看，已经成为美国互联网应用的第一大应用，而在我国虽然还处于发展初期，但从其增长趋势看，未来几年中将形成一个巨大的应用群体。对等网应用打破了传统模式上少数被广泛知晓的集中式服务器节点对资源的垄断，转而使得广泛的每一个节点(Peer)都成为既可以提供服务又可以响应请求的Servent(Server+Client)。对等网由于其基于覆盖网络(Overlayer Networking)的灵活性的和节点直接连接并提供服务的平等性，已经逐渐成为网络应用中非常重要的应用，基于对等网应用的网络流量已经超过Web访问的流量，在美国仅音乐共享的单一市场容量，到2009年时将超过17亿美元；作为国内第一次在骨干网路由器上进行的实际抽样跟踪试验表明，我国的对等网应用量在整个网络流量中只占到0.76％，对等网应用在我国的发展尚处于早期阶段，但是其增长趋势迅速，前景广阔。

但是由于对等网的对等性和无中心特点，出现了多种基于对等网的搜索技术，由于对等网是基于物理网络之上的覆盖网络，因此对等网搜索协议一般和该系统的覆盖网络拓扑协议相关，按照对等网的覆盖网络拓扑协议分类，对等网的搜索技术包括：

1.有中心点拓扑搜索技术，其最大的优点是维护简单，发现效率高。由固定的中心点(单点或多点联合)维护系统内资源的目录。由于资源的发现依赖中心点的目录系统，搜索算法灵活高效，并能够借助现有成熟搜索技术实现复杂查询；但是该类型系统蜕化为类似与传统客户机/服务器结构相类似的网络，容易出现热点，而且中心点的选取和构造本身也违背对等网“节点地位对等”的设计原则；采用此类搜索技术的对等网是第一代对等网，例如Napster。

2.全分布式非结构化拓扑搜索技术，其在构建搜索路由时采用了随机图的组织方式，结点与其他节点的连接性服从幂率分布，从而能够较快发现目的结点。基于随机图的覆盖网络组织方式能够较好的适应网络拓扑的变化，具有较强的抗随机失败的鲁棒性。同时可以支持复杂查询，如带有规则表达式的多关键词查询，模糊查询等。节点通过洪泛方式向所有邻接节点发起搜索请求，并由邻接节点继续以洪泛方式转发该请求，靠TTL衰减来控制搜索请求的终止。随着联网节点的不断增多，网络规模不断扩大，通过这种洪泛方式定位对等点的方法将造成网络流量急剧增加，从而导致网络中部分低带宽节点因网络资源过载而失效。并且，在该类型的对等网中，由于节点服务意愿的差异性，会出现连接度非常大的超级节点，从而形成事实上的层次结构，降低了该系统的扩展性。该类型对等网最典型的案例是Gnutella。

3.全分布式结构化拓扑搜索技术，其基础是分布式散列表(DHT)。DHT上是一个由广域范围大量结点共同维护的巨大散列表。节点标识通过一致性哈希函数映射到2^m大小的空间上，每个节点被分配该空间的一段区域，该区域由节点标识的哈希结果定位，并成为该区域的管理者。资源也经过一致性哈希函数映射到同样的空间上，不同的资源会落入不同的区域，落入相应区域的资源就由该区域的管理节点所掌握。DHT类结构能够自适应结点的动态加入/退出，有着良好的可扩展性、鲁棒性和自组织能力，但是DHT类型的对等网的节点负荷并不一定均匀。由于重叠网络采用了确定性拓扑结构，DHT可以提供精确的发现。只要目的结点存在于网络中DHT总能发现它，发现的准确性得到了保证。最经典的案例是Tapestry，Chord，CAN，和Pastry。

4.半分布式拓扑搜索技术，半分布式结构吸取了中心化结构和全分布式非结构化拓扑的优点，选择性能较高(处理、存储、带宽等方面性能)的结点作为超级点，每个节点都附属于一个超级节点，在超级点上存储了由它管理的范围内的结点的信息，发现算法仅在超级点之间转发，超级点再将查询请求转发给适当的叶子结点。半分布式结构也是一个层次式结构，超级点之间构成一个结构化的对等网搜索系统，超级点和所负责的普通结点又构成若干层次。由于超级节点提供了区域性的集中信息，因此基于超级节点的搜索服务效率比搜索每个单个节点高，但是该结构同时也带来了超级节点收效会影响到较大范围节点的潜在风险，而且超级节点的负荷相比普通节点严重。该类型的典型例子是KaZaa。

上述各种对等网搜索技术都无可避免的出现了节点负荷热区，也就是在搜索服务中要比其他节点更重要、承担搜索和搜索转发任务更多的超级节点，这些节点更容易成为被攻击的目标和性能瓶颈。

发明内容

为了克服现有技术中的不足，本发明的目的在于提供一种对等网搜索方法，以解决在搜索服务中出现容易成为被攻击目标和性能瓶颈的超级节点。

为了实现上述目的，本发明提供一种对等网搜索方法，该方法包括以下步骤：

1)首先，所有加入搜索的节点根据自身的最大搜索转发能力MaxF计算该节点的查询密度，并根据查询密度计算节点在该时刻的度饱和系数，每个节点在向其他节点转发搜索请求时，均把自身的度饱和系数DL(T)携带在搜索请求中同时转发；

2)当某节点P的度饱和系数大于预定度饱和偏差阈值时，由该节点挑选对等网中度饱和系数最小的节点Q，开始分裂子环；

3)P与Q进行路由表(Finger Table)的复制一合并，P与Q的实际节点和附加的虚拟节点都映射出一个镜像节点，并按照Chord协议加入新的子环，节点上存储的资源不做改变，每个节点在子环中的镜像节点维持一个新的大小为O(logγ)的路由表，其中γ是生成的子环最大节点数；

4)产生一个虚拟节点V，将V插入原Chord环；更新原Chord环上镜像节点被包含到子环的节点的路由表，将V插入到这些节点的路由表的第一行，并记录V上存储的资源为这些节点资源的和集，节点V开始模拟一个实际节点，在转发消息的同时携带自己的度饱和系数；

5)所有转发到V的搜索都进入新的子环，在子环中随机选择一个节点作为该请求的虚拟发起节点，按照Chord协议在子环内进行搜索。如果所搜索的资源在子环的节点内，则返回持有该资源的节点在原Chord环中的节点标识；如果所搜索资源不在子环内，在子环内进行的此次查询根据步骤3生成的新路由表返回下一跳的转发目标，重新封装转发消息以V为前导节点向在原Chord上的下一跳节点转发该搜索请求；

6)当一个子环的规模达到规定上限时，需要将该子环再分裂。再分裂发生时从子环中挑选度饱和系数最大的的节点M进行剔除，并由M节点重新开始挑选尚未被包含到任何子环中的其他节点开始进行新的子环分裂过程；重复执行步骤3、步骤4和步骤5，直到对等网中所有节点的度饱和系数满足度饱和偏差阈值的限制。

本发明提出了两种性能度量指标：查询密度和度饱和系数刻画了在对等网搜索发展的过程中某个节点与其他节点连接的程度和该节点是否有能力承担这种地位。不同于静态的为每个节点指定路由表的大小从而调整节点的度，本发明使用这两个指标节点最大转发能力，定义了节点的实际任务分摊能力；并以此为评价项目确定阈值，能够快速发现并消除DHT类型网络中实际存在的超级节点。

附图说明

图1是根据本发明的一种对等网搜索方法的流程图；

图2是根据本发明的一种对等网搜索方法中计算对等网系统各节点的度饱和系数DL(T)并在消息转发过程中通知其他节点的流程图；

图3是根据本发明的一种对等网搜索方法中当某节点的节点度密度超过阈值时发起子环分裂过程、创建新的子环的流程图；

图4是根据本发明的一种对等网搜索方法中使用子环进行对等网搜索的流程图；

图5是根据本发明的一种对等网搜索方法中子环规模扩张到超过阈值时进行子环分裂的流程图；

图6是使用本发明的m-Chord协议进行搜索和原始搜索协议的节点度密度的对比效果图；

图7是使用本发明的m-Chord协议进行搜索和原始搜索协议的节点度分布的对比效果图。

具体实施方式

下面结合说明书附图来说明本发明的具体实施方式。

图1为本发明的一种对等网搜索方法的流程图，参考图1，本发明的一种对等网搜索方法包括以下步骤：

首先，在步骤101，所有加入搜索的节点根据自身的最大搜索转发能力MaxF计算该节点的查询密度AvgF： $\mathrm{AvgF}=(\frac{1}{2}{\log }_{2}N\×\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i)/(N\×\mathrm{MaxF}),$ 其中λ_i是对等网中各个节点自身发起请求的数目的数学期望，并根据查询密度计算节点在该时刻的度饱和系数： $\mathrm{DL}\left(T\right)=\frac{F\left(T\right)}{\mathrm{MaxF}}-\mathrm{AvgF},$ 其中F(T)是该时刻通过节点的搜索请求的总数；查询密度AvgF表达了静态条件下节点转发能力的饱和程度，度饱和系数DL(T)表达了节点在T时间内的过载(或负载未饱和)程度。每个节点在向其他节点转发搜索请求时，均把自身的度饱和系数DL(T)携带在搜索请求中同时转发；

在步骤102，判断某节点P的度饱和系数是否大于预定度饱和偏差阈值；

在步骤103，当某节点P的度饱和系数大于预定度饱和偏差阈值时，由该节点挑选对等网中度饱和系数最小的节点Q，开始分裂子环；

在步骤104，P与Q进行路由表(Finger Table)的复制-合并，P与Q的实际节点和附加的虚拟节点都映射出一个镜像节点，并按照Chord协议加入新的子环，节点上存储的资源不做改变，每个节点在子环中的镜像节点维持一个新的大小为O(logγ)的路由表，其中γ是生成的子环的节点规模上限；

在步骤105，产生一个虚拟节点V，将V插入原Chord环；更新原Chord环上镜像节点被包含到子环的节点的路由表，将V插入到这些节点的路由表的第一行，并记录V上存储的资源为这些节点资源的和集，节点V开始模拟一个实际节点，在转发消息的同时携带自己的度饱和系数；

在步骤106，所有转发到V的搜索都进入新的子环，在子环中随机选择一个节点作为该请求的虚拟发起节点，按照Chord协议在子环内进行子环。如果所搜索的资源在子环的节点内，则返回持有该资源的节点在原Chord环中的节点标识；如果所搜索资源不在子环内，在子环内进行的此次查询根据步骤4生成的新路由表返回下一跳的转发目标，重新封装转发消息以V为前导节点向在原Chord上的下一跳节点转发该搜索请求；

在步骤107，当一个子环的规模达到规定上限时，需要将该子环再分裂。再分裂发生时从子环中挑选度饱和系数的节点M进行剔除，并由M节点重新开始挑选尚未被包含到任何子环中的其他节点开始进行新的子环分裂过程；

在步骤108，重复执行步骤104、步骤105和步骤106，直到对等网中所有节点的度饱和系数满足度饱和偏差阈值的限制。

图2是根据本发明的一种对等网搜索方法中计算对等网系统各节点的度饱和系数DL(T)并在消息转发过程中通知其他节点的流程图，参考图2，本发明的计算对等网系统各节点的度饱和系数DL(T)并在消息转发过程中通知其他节点的工作流程详细描述如下：

首先，在步骤201，对等网系统中某一节点收到来自其它节点的搜索请求；

在步骤202，判断当前节点是否为实际节点，如果不是实际节点则查找该节点附属的实际节点；

在步骤203，计算上一时间单位T内通过该实际节点和其所控制的所有虚拟节点的搜索请求数量的总和F；

在步骤204，根据自身最大搜索能力MaxF计算查询密度AvgF和度饱和系数DL；

在步骤205，该节点携带其度饱和系数转发和回应搜索请求。

图3是根据本发明的一种对等网搜索方法中当某节点的节点度密度超过阈值时发起子环分裂过程、创建新的子环的流程图，参考图3，本发明的一种对等网搜索方法中当某节点的节点度密度超过阈值时发起子环分裂过程、创建新的子环包括以下步骤：

首先，在步骤301，统计每个单位时间内节点的度饱和系数DL，设实际节点P附加的虚拟节点集合为VPS_P＝{VP₁，VP₂，……，VP_k}，当 $D{L}_P\left(T\right)={\mathrm{DL}}_P^{\′}\left(T\right)+\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{DL}}_{\mathrm{VPi}}^{\′}\left(T\right)\≥\mathrm{\α}$ 时，由P发起分裂过程，这里DL’表示Chord中的单个节点(即考虑实际节点，也考虑虚拟节点)的饱和度系数的，DL表示实际节点自身和其附加的虚拟节点集合的饱和度系数之和；

在步骤302，当该节点的度饱和系数DL大于预定度饱和偏差阈值时，由该节点挑选对等网中度饱和系数最小的节点Q；

在步骤303，获取节点Q的路由表FT_Q；

在步骤304，节点P自身的路由表中与节点Q进行进行合并，FT_PQ＝FT_PUFT_Q；

在步骤305，更新节点P和节点Q的路由表，FT_P←FT_PQ，FT_Q←FT_PQ；

在步骤306，节点P使用Chord协议开始构造子环SCR并通知Q，P与Q的实际节点和附加的虚拟节点都映射出一个镜像节点；

在步骤307，按照Chord协议加入新的子环，Nodes(SCR)＝{P.mirror}UVPS_P.mirrorU{Q.mirror}UVPS_Q.mirror，节点上存储的资源(key)不做改变，每个节点在子环SCR中的镜像节点维持一个新的大小为O(logγ)的路由表；

在步骤308，产生一个虚拟节点V_x，将V_x插入原Chord环；更新原Chord环上node∈Nodes(SCR)节点的路由表；

在步骤309，将V_x插入到这些节点的路由表的第一行，并记录V_x上存储的资源为node∈Nodes(SCR)节点资源的和集。

图4是根据本发明的一种对等网搜索方法中使用子环进行对等网搜索的流程图，参考图4，本发明的一种对等网搜索方法中使用子环进行对等网搜索包括以下步骤：

首先，在步骤401，搜索请求到达节点Vx，原Chord环上的查询请求依然按照Chord协议进行转发，Vx节点模拟一个实际节点，在转发消息的同时携带自己的DLVx(T)；

在步骤402，Vx将所有搜索请求都转发进入新的子环SCR；

在步骤403，在子环SCR中随机选择一个节点作为该请求的虚拟发起节点；

在步骤404，按照Chord协议在子环SCR内进行查找；

在步骤405，如果所查询资源在子环SCR内，则返回持有该资源的节点在原Chord环中的节点标识；

在步骤406，如果所查询资源不在子环SCR内，子环SCR内的此次查询根据 $\mathrm{FT}=\underset{n\∈\mathrm{Nodes}\left(\mathrm{SCR}\right)}{\∪\mathrm{FTn}}$ 返回下一跳的转发目标succeed；

在步骤407，重新封装转发消息；

在步骤408，以V_x为前导节点向在原Chord上的后继节点转发该查询，并携带Vx节点的DLVx(T)。

图5是根据本发明的一种对等网搜索方法中子环规模扩张到超过阈值时进行子环分裂的流程图，参考图5，本发明的一种对等网搜索方法中子环规模扩张到超过阈值时进行子环分裂的流程包括以下步骤：

首先，在步骤501，监测子环SCR的大小；

在步骤502，当子环SCR的规模达到γ时，选择再分裂点将该子环再分裂；

在步骤503，在子环SCR中选择DL最大的实际节点P的镜像进行剔除Nodes(SCR)＝Nodes(SCR)-{P.mirror}-VPS_P.mirror；

在步骤504，更新子环SCR中通过复制-合并共享的路由表，FT_SCR＝FT_SCR-FT_P；

在步骤505，修改VX的路由表，将P包含的资源剔除；

在步骤506，节点P从路由表中选择未被包含在任何子环SCR中的DL最小的节点G，即：DL(G)＝Min(DL{node∈P.FT})∧{SCR，GSCR}；

在步骤507，节点P以节点G作为新的子环SCR的参与者执行子环创建过程。

图6是根据本发明的m-Chord协议进行搜索和原始搜索协议的节点度密度的对比效果图。本发明所提出的方法使得节点的度饱和系数更加均一，避免了原始方法中局部压力过大节点(曲线右端陡峭上扬部分)的出现。

图7是使用本发明的m-Chord协议进行搜索和原始搜索协议的节点度分布的对比效果图，参考图7，本发明所提出的方法使得节点的度也更加均一，(紫色部分更加集中，表明随机数据的方差更小，即数据更加集中的出现在期望值附近，而不会偏离太远)。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种对等网搜索方法，该方法包括以下步骤：

1)所有加入搜索的节点根据自身的最大搜索转发能力计算该节点的查询密度，并根据查询密度计算节点在该时刻的度饱和系数，每个节点在向其他节点转发搜索请求时，均把自身的度饱和系数DL(T)携带在搜索请求中同时转发；

2)当某节点(P)的度饱和系数大于预定度饱和偏差阈值时，由该节点挑选对等网中度饱和系数最小的节点(Q)，开始分裂子环；

3)所述节点(P)与所述最小节点(Q)进行路由表的复制，所述节点(P)与所述最小节点的实际节点和附加的虚拟节点都映射出一个镜像节点，并按照Chord协议加入新的子环，节点上存储的资源不做改变，每个节点在子环中的镜像节点维持一个新的大小为O(logγ)的路由表，其中γ是生成的子环所含节点的规模上限；

4)产生一个虚拟节点(V)，将所述虚拟节点(V)插入原Chord环；更新原Chord环上镜像节点被包含到子环的节点的路由表，将所述虚拟节点(V)插入到这些节点的路由表的第一行，并记录所述虚拟节点(V)上存储的资源为这些节点资源的和集，所述虚拟节点(V)开始模拟一个实际节点，在转发消息的同时携带自己的度饱和系数；

5)所有转发到所述虚拟节点(V)的搜索都进入新的子环，在子环中随机选择一个节点作为该请求的虚拟发起节点，按照Chord协议在子环内进行搜索；如果所搜索的资源在子环的节点内，则返回持有该资源的节点在原Chord环中的节点标识，如果所搜索资源不在子环的节点内，在子环内进行的此次查询根据步骤3生成的新路由表返回下一跳的转发目标，重新封装转发消息以V为前导节点向在原Chord上的下一跳节点转发该搜索请求；

6)当一个子环的规模达到规定上限时，需要将该子环再分裂。再分裂发生时从子环中挑选度饱和系数最大的节点(M)进行剔除，并由所述节点(M)重新开始挑选尚未被包含到任何子环中的其他节点开始进行新的子环分裂过程；重复执行步骤3、步骤4和步骤5，直到对等网中所有节点的度饱和系数满足度饱和偏差阈值的限制。

2.根据权利要求1所述的一种对等网搜索方法，其中所述步骤1中的查询密度(AvgF)是表达静态条件下节点转发能力的饱和程度， $\mathrm{AvgF}=(\frac{1}{2}{\log }_{2}N\×\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i)/(N\×\mathrm{MaxF}),$ 其中λ_i是对等网中各个节点自身发起请求的数目的数学期望值，MaxF是某节点的最大搜索转发能力。

3.根据权利要求1所述的一种对等网搜索方法，其中所述步骤1中的度饱和系数DL(T)是表达节点在T时间内的过载(或负载未饱和)程度， $\mathrm{DL}\left(T\right)=\frac{F\left(T\right)}{\mathrm{MaxF}}-\mathrm{AvgF},$ 其中F(T)是该时刻通过节点的搜索请求的总数。

4.根据权利要求1所述的一种对等网搜索方法，其中所述步骤1中查询密度和度饱和系数是刻画在对等网搜索发展的过程中某个节点与其他节点连接的程度以及该节点是否有能力承担这种地位。

5.根据权利要求1所述的一种对等网搜索方法，其中所述步骤1中度饱和偏差阈值是根据某节点最大转发能力以及实际任务分摊能力确定的。

6.根据权利要求1所述的一种对等网搜索方法，其中所述步骤2中分裂子环是使用物理节点的镜像节点构造新的子环，并在子环中维持完整的Chord协议的运行机制。

7.根据权利要求1所述的一种对等网搜索方法，其中所述步骤3中子环所含节点的规模上限γ可以人为设定。

8.根据权利要求1所述的一种对等网搜索方法，其中所述步骤1中参加搜索的每个节点均可计算自己的饱和系数DL(T)，并在向该节点的路由表中包含的节点转发消息时，携带自己的饱和系数DL(T)作为消息头。

Images