CN101123609A - 资源的级别自适应搜索方法 - Google Patents

Abstract

本发明公开了一种基于级别自适应的对等网络的资源搜索方法。包含以下步骤：1)利用历史访问的统计结果评定节点对自己的贡献来各自独立的评价超级节点，作为搜索的依据；2)采用向超级节点深度扩展、向其他邻居节点广度扩展的资源搜索方式；3)设定与邻居节点级别有关的心跳探测模式，融合了水波扩散的算法分级分次的进行查询。本发明考虑到非结构化的对等网络，一般以广播方式作为其搜索的基本策略，引发较大的网络流量，因此，提出改进的搜索策略，从而缩小洪泛的范围，降低了网络开销，并且提高了资源查找的效率。

Description

资源的级别自适应搜索方法

技术领域

本发明属于互联网通信技术领域，涉及网络资源的查询方法。本方法的目的是针对非结构化对等网络由于广播方式作为其搜索的基本策略而引发的较大网络流量，改善分布式网络的资源搜索性能。

背景技术

P2P网络是一种全新网络拓扑结构，在文件共享、对等计算等众多领域中显示出巨大的优势，尤其是非结构化P2P网络(如Gnutella)受节点频繁加入和退出系统的影响小，因此具有较好的可用性。它没有索引服务器，采用了基于完全随机图的洪泛(Flooding)发现和随机转发(Random Walker)机制。为了控制搜索消息的传输，通过TTL(Time To Live)的减值来实现。但是查询的结果可能不完全，查询速度较慢，采用广播查询的系统对网络带宽的消耗非常大，并由此带来可扩展性差等问题。有时P2P流的高速传输抢占了60％-80％的网络带宽，容易引起热点处的资源瓶颈，所以容易造成高峰时段的链路堵塞。

虽然后来对盲目的洪泛式搜索做了一些改进，如方法一、Iterative Deepening：这种搜索策略是在初始阶段给TTL一个很小的值，如果在TTL减为0时还没有搜索到资源，则给TTL重新赋更高的值。这种策略可以减少搜索的半径，但是在最坏的情况下，延迟很大。又如方法二、Random Walk：在随机漫步中，请求者发出K个查询请求给随机挑选的K个相邻节点。然后每个查询信息在以后的漫步过程中直接与请求者保持联系，询问是否还要继续下一步。如果请求者同意继续漫步，则又开始随机选择下一步漫步的节点，否则中止搜索。这种查询方式没有方向性，只是减少了洪泛范围。

虽然结构化P2P网络性能、可扩展性较好、较容易管理，但是最大的问题是这种结构的维护机制较为复杂，尤其是节点频繁加入退出造成的网络波动(Churn)会极大增加结构的维护代价。网络波动(节点的加入、退出、失败、迁移、并发加入过程、网络分割等)的程度严重影响发现算法的效率。DHT的发现算法如Chord、CAN、Koorde等都是考虑网络波动的最差情况下的设计与实现。由于每个节点的度数尽量保持最小，这样需要响应的成员关系变化的维护可以比较小，从而可以快速恢复网络波动造成的影响。但是每个节点仅有少量路由状态的代价是发现算法的高延时，因为每一次查找需要联系多个节点，在稳定的网络中这种思路是不必要的。

此外，网络中节点之间体现出较大的差别，这些设备在计算能力、存储空间和电池容量上差别很大，并且实际网络被路由器和交换机分割成不同的自治区域，体现出严密的层次性，使得这些节点不能按照各自的处理能力来分配任务。

发明内容

鉴于上述，本发明的目的是提出一种基于级别自适应的对等网络的资源搜索方法，该方法能改善分布式网络的资源搜索性能。

为此，本发明采用以下技术方案：

一种资源的级别自适应搜索方法，包括如下步骤：

首先，设计相应的通信协议，其中协议中引入了querylist表项，用来保存到达目的节点跨越整个网络的逐跳路径。节点根据历史查询的结果将邻居节点的作用值进行量化，将邻居节点划分为不同的等级，作为自己搜索资源的依据。

然后，节点进行资源搜索时，采用向超级节点深度扩展、向其他邻居广度扩展的资源搜索方式分级分次地进行查询。

其次，对于网络的动态变化，利用探测心跳来实时更新自己的邻居节点表。

最后，每个节点根据自己的负载能力对自己的邻居节点数目加以限制，从而达到平衡负载的目的。

与现有技术相比，本发明具有以下有益效果：

1)节点对自己的贡献而不是对全网的贡献来各自独立的评价超级节点，作为搜索的依据。而并不是去盲目搜索、或者“跟风”搜索网络中的热点节点，这样在一定程度上避免了节点因过载而引起的节点失效问题。

2)在协议中引入了Querylist字段，一方面，有捎带确认的功能，收到消息的节点可以通过QueryList中的信息获得周围邻居节点的活动情况。并且，从QueryList中可以知道那些节点已经接收过该消息，进行Query消息转发时可以避免将消息转发到这些节点，从而减少网络中的消息的报文数量；另一方面收到消息的节点还可以从消息中获得自己未知的节点的信息，有利于网络中节点信息的收集。

3)采用广度和深度相结合的资源搜索方式。有效地抑制了非结构化对等网络由于广播方式作为其搜索的基本策略而引发的较大网络流量，因此，降低了网络开销。

4)设定与邻居节点级别有关的心跳探测模式，与较小的频率与级别较低的节点保持心跳测试，节省了网络带宽资源。

5)由于各主机存储和计算能力的异质性，每个节点都会对自己的邻居节点数目加以限制，从而根据网络中节点的不同承载能力来合理的平衡网络负载。

附图说明

图1是本发明资源的级别自适应搜索网络拓扑图；

图2是协议消息都包含的消息头部格式；

图3是Query的消息报文格式；

图4是节点转发查询报文的流程图：

图5是Queryhit的消息报文格式；

图6是接收到查询结果评价超级节点的流程图；

图7是网络资源查询方法示意图。

具体实施方式：

本发明是一种资源的级别自适应搜索方法，包括如下步骤：

首先，给出相应的协议设计，其中协议中引入了querylist表项，用来保存到达目的节点跨越整个网络的逐跳路径。节点根据历史查询的结果将邻居节点的作用值进行量化，将邻居节点划分为不同的等级，作为自己搜索资源的依据。

然后，节点进行资源搜索时，采用向超级节点深度扩展、向其他邻居节点广度扩展的资源搜索方式。融合了水波扩散的算法分级分次的进行查询。具体的表现是：节点每次发起(查询时)，向自己的超级节点发送TTL值较大的查询请求，而向普通的邻居节点发送较小TTL值的查询请求，从而缩小洪泛的范围，节省大量的带宽，并且保证了资源查找的效率。

其次，对于网络的动态变化，利用探测心跳来实时更新自己的邻居节点表，为了避免网络中由于探测引起的大量报文，本方法采用了采用与节点级别高低相关的心跳探测方法对邻居节点进行实时更新。系统中高级别的邻居节点具有较低的心跳值，而级别低的邻居节点则具有较大的心跳值，这样可以保证节点与级别高的邻居节点之间维持着较频繁的联系，由于级别高的邻居节点仅仅是少数，因此，这种频繁的联系并不会给节点的运行和网络负载带来太大的负担。

最后，由于网络中各主机存储和计算能力的限制，每个节点根据自己的负载能力对自己的邻居节点数目加以限制，从而达到平衡负载的目的。

本发明采用非结构化的对等网络模型，网络中的每个节点都具有客户机、服务器和搜索器的功能，系统中存在大量的节点，节点可以动态的加入和离开系统，系统中任意节点之间可以进行消息通信。节点可以动态地决定与哪个节点直接相连(决定哪个节点成为该节点的Peer)，从而使网络结构的配置达到最优。同时，对不同的邻居节点设定不同的级别。

资源的级别自适应协议的网络模型如图1所示：考虑网络中的节点和它们之间的相互关系，包括相互间的邻接关系和相互间的信任关系。图中实连接线表明了节点和邻居节点间的邻接关系，虚线则表现了它们之间的信任关系。邻接关系表示节点之间是否相邻，是一种对称关系。由于各节点相互独立的对节点进行评价，所以节点间的信任关系并不是对称的。

以下对本发明作详细说明。

对邻居节点划分等级

信任关系是每个节点根据以往的查询结果对相关节点的评价，并以此对不同的邻居节点设定不同的级别。对邻居节点级别的设定是基于这样的假设：曾经对自己有帮助的节点，在以后的查询中对自己有帮助的可能性会大一些。将节点对自己的帮助进行量化并累积，该数值称为信任值。信任值越高的节点，对自己的帮助越大，以后能够从该节点得到帮助的可能性就越大。各节点独立地对网络中的节点进行评价，保存对网络中节点的信任值，作为搜索的依据。根据信任值，节点将自己的邻居节点划分等级，信任值高的节点为高级别节点，信任值低的节点为低级别，将最高级别的邻居节点作为节点的超级节点。

通信协议

本发明中节点之间通过以下四个基本的通讯协议实现相互间的协作，完成对等网络中对等节点的发现及资源的定位：Ping，Pong，Query，QueryHit。其中Ping，Pong消息用来确定节点的在线情况，Query及QueryHit消息用来实现资源查询。

各消息的内容格式和含义如下：

Head

Ping，Pong，Query，QueryHit四个消息都包含一个如图2所示格式的消息头。其中，Sender字段记录了发送消息节点的ID和AP信息。PacketID为消息的ID，由消息的源发节点随机产生，即接收者转发消息时不改变PacketID的值，如果收到相同PacketID的消息，则可以丢弃，不做处理。Type字段为消息的类型，分别用不同的值来区分Ping，Pong，Query，QueryHit四个消息。TTL字段为消息的生命值，节点收到消息时将TTL减1，如果TTL为0则不会对消息进行转发。Payload字段为消息的长度。

Ping

Ping消息用来确定网络中节点的活动状态，即确定节点是否仍然在线。Ping消息只有消息头，没有其他内容。

Pong

Pong消息则用来回应Ping消息。Pong消息和Ping消息一样也只有消息头，没有其他内容。

Query

Query消息是对资源的查询请求。消息格式如图3所示：

Source字段记录了Query消息的源发节点，即查询的最初发起节点。源节点需要知道到目的节点的逐跳完整路由。为了减少路由发现过程的开销，每个节点都包含一个路由缓存区。Search字段记录了需要查询的信息。QueryList字段是一串节点链表，建立了到达目的节点的跨越整个网络的逐跳路径。节点在收到Query消息后，首先查找自己是否有所求资源，如果没有，则将此消息转发给自己的查询节点即最高级别的邻接点，如果节点有相应的资源，这个节点再以同样的方式沿着反向路由发送Queryhit消息，直到源节点收到Queryhit。源节点收到此报文后，要做一系列处理(后面将会提到)，本方法采用记录每跳节点的方法，而不需要采用专门的环路检测机制，同时，每个节点都在路由发现过程中建立起自己的路由缓存区供以后使用。

QueryList字段会使Query消息比较长，但却可以使所有接收到该消息的节点能够获取相应的信息，一方面，有捎带确认的功能，收到消息的节点可以通过QueryList中的信息获得周围邻居节点的活动情况，即判断周围的邻居节点是否在线，避免发送额外的ping和pong报文。并且，从QueryList中可以知道那些节点已经接收过该消息，进行Query消息转发时可以避免将消息转发到这些节点，从而大大减少网络中的消息的报文数量；另一方面收到消息的节点还可以从消息中获得自己未知的节点的信息，这样，节点可以将自身的信息告知更多的其它节点，有利于网络中节点信息的收集。

节点收到query报文后处理的方法如图4所示：节点收到TTL为N的query报文后，首先检查N是否为0，如果为0则忽略此报文，不对其做任何处理。如果N不为0，则将此节点的信息附在querylist中，并判断本机是否有查找的内容。如果有，则产生queryhit报文，将queryhit报文发送给querylist中倒数第二个节点；如果没有，则查看本机的邻居节点，如果邻居节点是超级节点，则发送给超级节点TTL＝N-1的query报文，发给非超级节点的邻居节点的则是TTL值为1的query报文。

QueryHit

QueryHit消息标志着查询成功。消息格式如图5所示：

其中，Result字段记录了查询的结果，一旦资源定位，资源的传输将在源节点与目的节点之间按照既定的协议进行。QueryList字段的含义与Query消息相同，节点根据QueryList字段中获得自己未知的节点的信息，并对QueryList中的节点进行评估。

评估时考虑如下信息：QueryHit消息到达的次序和QueryList字段中的节点数。根据QueryHit消息到达的次序为QueryHit消息一个相应的有用值，而查询节点保留的其他节点的有用值是queryhit消息的有用值与QueryList字段中的节点数的比值。同一个QueryHit消息中QueryList字段中的节点对查询消息节点的有用值是相同的。

由于发出一个Query查询消息后，可能会收到多个QueryHit消息，因此需要根据到达的次序，确定该QueryHit消息的有用值。先到达的QueryHit消息的有用值越大，后到达的QueryHit消息的有用值将随到达的次序递减。这样可以保证有用值大的邻居节点是与节点具有较快连接速度的节点，从而提高搜索的效率，减少延迟。收到QueryHit消息的算法如图6所示：

查询消息的节点收到相应的queryhit报文后，根据queryhit的到达次序(可能存在多个拥有资源的节点，故查询消息的节点可能收到多个queryhit报文)给此报文附上不同的有用值，附有用值的原则是越早到达的报文有用值W越大，querylist中各个节点的有用值则是queryhit报文的有用值与querylist中节点数目的比值。查询发起节点更新对应的节点的有用值(也即评价值)。然后根据新的各个节点的有用值更新本节点的邻居节点的级别。

节点将自己的邻居节点的有用值进行累积，累计到一定值后，邻居节点的级别就可以升高一级。这样经过多次查询搜索后，节点就会根据邻居节点的反馈情况，确定搜索最快、成功率最高的节点作为自己的最高级邻居节点，即超级节点，同时，由于次最高级的邻居节点是搜索比较快、成功率比较高的节点，因此，一旦通过超级节点的查询没有成功，或者超级节点出现故障，无法正常提供查询服务，那么次最高级的邻居节点就会作为候补节点进行查询或作为新的超级节点继续工作。

自适应策略

本发明在节点间相互协作的过程中，根据自身的情况作出自适应地调整，主要包括：

1、节点的加入和退出

通常，在p2p网络中，如果节点的邻居节点比较多，那么就比较容易查询到需要查找的内容。但当系统规模较大，节点动态性增强时，维持大量的邻居节点数目，一方面需要消耗大量的存储资源保存邻居节点的相关信息，另一方面，为了维持和更新这些信息，需要与这些邻居节点之间进行大量的联系，消耗大量的计算资源。因此，由于存储和计算能力的限制，每个节点都会对自己的邻居节点数目加以限制。

当新节点加入系统，首先需要找到网络中的一个节点，并向其提出连接请求，与其建立邻接关系。被请求连接的节点则根据自身的能力和邻居节点的情况，决定是否接受请求与对方建立邻接关系。例如，节点i加入网络，向节点j提出连接请求，要求建立邻接关系，那么节点j收到请求后，首先判断自己的邻居节点数Naj是否超过预先设定的最大值mj，如果naj＜mj，则接受节点i的请求，如果naj＝mj，则查看邻居节点中本地信任值最小的节点k，判断其本地信任值TS(j，k)是否小于节点i的初始值TS(j，i)。如果TS(j，k)＜＝TS(j，i)，节点j就断开和节点k的连接，接受节点i的连接请求，与节点i建立邻接关系，如果TS(j，k)＞TS(j，i)，那么节点j就会拒绝节点i的连接请求，不与节点i建立邻接关系，这样节点i就需要连接网络中的其它节点，直到找到可以接受其连接请求的节点。

关于如何获得网络中的已存在节点的访问地址，不同的系统有不同的方法(如建立一个系统的登陆服务器，告诉新加入的节点网络中已有的节点)，本文在此不做讨论，仅关注节点接入网络后的行为和操作。

节点退出网络时，断开与各邻居节点的连接，但保留网络中邻居节点的本地信任值作为以后查询和搜索的基础，从而提高网络查询和搜索的效率。

2、邻接表更新

P2P网络中节点动态性很高(指节点的加入、退出很频繁)，去除那些已经离开系统的节点的信息，补入新的在线节点的信息。为了适应网络结构的这种变化，通常采用事件触发式和周期式以及两者相结合的方式对邻接表进行更新。对于大规模网络而言，周期性的更新机制需要花费较高代价。

本发明引入简单的超时机制以清除过期指针：节点与邻居节点之间通过心跳消息联系，节点根据级别给每个邻居节点设定一个心跳值，每隔一段时间减少邻居节点的心跳值，并检查该心跳值，当某个邻居节点心跳值为0时，节点向该邻居节点发送“心跳”信息，即ping报文，邻居节点接收到报文后会回一个pong报文，节点收到后就可以恢复邻居节点的心跳值，如果该邻居节点没有回应，那么过段时间后该邻居节点的心跳值就会小于0，节点就会认为该邻居节点发生了失效，断开与其的邻接关系，防止无效节点信息的堆积。

当节点在网络中经常的进行查询或转发查询等操作时，可以根据网络中的Query等报文更新邻居节点的心跳值，因此当节点在网络中比较活跃时，其实际需要节点主动发送心跳消息来确定邻居节点状态的情况并不多，其开销并不大。

在资源的级别自适应搜索方法下高级别的邻居节点具有较低的心跳值，而级别低的邻居节点则具有较大的心跳值，这样可以保证节点与级别高的邻居节点之间维持着较频繁的联系，而与级别低的邻居节点之间的联系不用太多，一旦级别高的邻居节点退出或出现故障，节点可以很快的发现，同时，由于级别高的邻居节点仅仅是少数，因此，这种频繁的联系并不会给节点的运行和网络负载带来太大的负担。一旦通过超级节点的查询没有成功，或者超级节点出现故障，无法正常提供查询服务，那么次最高级的邻居节点就会作为候补节点进行查询或作为新的超级节点继续工作。

3、自适应查询

节点进行资源查找和搜索时，采用广度和深度搜索相结合的方式，分级分次的进行查询，向超级节点发送TTL值为T的查询报文，而向其它邻居节点发送TTL值为1的查询报文，收到查询报文的节点，按照如图7所示算法进行转发。

图中节点1向其最高级邻居节点3发送TTL值为T(T＝3)的查询报文，而向其它邻居节点(节点2和节点4)发送TTL值为1的查询报文。节点3收到查询报文后，进行类似的动作，将查询报文TTL-1转发给自己的最高级邻接点6，而向其它邻居节点(节点9和节点8，除去报文来的方向如节点1)发送TTL值为1的查询报文。如果查询没有成功则向次高级的节点发送TTL值为T的查询报文，依次类推直到查询到报文，或向所有的邻居节点都发送TTL值为T的查询报文，这样就融合了水波扩散的算法分级分次多次查找。

可以证明，在不限制次数或TTL值的情况下，对全连通的网络，查询算法总是能查遍网络中的所有节点，即具有100％的查全率。

这样，每个节点的最高级邻接点充当了超级节点的角色，转发TTL值较大的查询报文，当网络的聚集度较大时，使得网络报文转发的范围限制在一定的范围内，大大减少网络中报文的数量。

以上所述仅是本发明的实施方式，应当指出，对于本技术领域的学者来说，在不脱离本发明方法原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种资源的级别自适应搜索方法，其特征在于包括如下步骤：

1)设计相应的通信协议，协议中引入querylist字段，用来保存到达目的节点跨越整个网络的逐跳路径；

2)将邻居节点划分为不同的等级，作为自己搜索资源的依据；

3)节点进行资源搜索时，采用向超级节点深度扩展、向其他邻居节点广度扩展的资源搜索方式分级分次地进行查询；

4)对于网络的动态变化，利用探测心跳来实时更新自己的邻居节点表；

5)每个节点根据自己的负载能力对自己的邻居节点数目加以限制，从而达到平衡负载的目的。

2.如权利要求1所述的资源的级别自适应搜索方法，其特征在于：

所述步骤1)中通过以下四个基本的通讯协议实现相互间的协作，完成对等网络中对等节点的发现及资源的定位：Ping、Pong、Query、QueryHit，其中Ping和Pong消息用来确定节点的在线情况，Query及QueryHit消息用来实现资源查询。

3.如权利要求2所述的资源的级别自适应搜索方法，其特征在于所述各消息的内容格式和含义如下：

Ping、Pong、Query、QueryHit四个消息都包含一个由字段Sender、PacketID、Type、TTL、Payload组成的消息头，其中，Sender字段记录了发送消息节点的ID和AP信息，PacketID为消息的ID，由消息的源发节点随机产生，Type字段为消息的类型，分别用不同的值来区分Ping、Pong、Query、QueryHit四个消息，TTL字段为消息的生命值，节点收到消息时将TTL减1，如果TTL为0则不会对消息进行转发，Payload字段为消息的长度；

Ping消息用来确定网络中节点的活动状态，即确定节点是否仍然在线，Ping消息只有消息头，没有其他内容；

Pong消息则用来回应Ping消息，Pong消息只有消息头，没有其他内容；

Query消息是对资源的查询请求，其消息格式包括字段Source、Search、QueryList，其中：Source字段记录了Query消息的源发节点，Search字段记录了需要查询的信息，QueryList字段是一串节点链表，建立了到达目的节点的跨越整个网络的逐跳路径；

QueryHit消息标志着查询成功，其格式包括字段Result和QueryList，其中：Result字段记录了查询的结果，QueryList字段的含义与Query消息相同。

4.如权利要求1所述的资源的级别自适应搜索方法，其特征在于：

在所述步骤2)中，将邻居节点划分为不同等级的步骤进一步分为以下子步骤：

2.1)每个节点根据各邻居节点以往对自己的帮助对各邻居节点进行量化，得出对于各邻居节点的信任值；

2.2)根据信任值，节点将自己的邻居节点划分等级，信任值高的节点为高级别节点，信任值低的节点为低级别，将最高级别的邻居节点作为节点的超级节点。

5.如权利要求1所述的资源的级别自适应搜索方法，其特征在于：

在所述步骤3)中，节点进行资源查找和搜索的步骤进一步分为以下子步骤：

3.1)向超级节点发送TTL值为T的查询报文，而向其它邻居节点发送TTL值为1的查询报文；

3.2)收到查询报文的节点按同样的方法向其邻居节点发送查询报文；

3.3)如果查询没有成功则向次高级的节点发送TTL值为T的查询报文；

3.4)依次类推，直到查询到报文，或向所有的邻居节点都发送了TTL值为T的查询报文。

6.如权利要求1所述的资源的级别自适应搜索方法，其特征在于：

在所述步骤4)中，利用探测心跳来实时更新自己的邻居节点表的步骤进一步分为以下子步骤：

4.1)节点根据级别给每个邻居节点设定一个心跳值；

4.2)每隔一段时间减少邻居节点的心跳值；

4.3)检查该心跳值，当某个邻居节点的心跳值小于0，节点认为该邻居节点已失效，便断开与其的邻接关系，防止无效节点信息的堆积；当某个邻居节点的心跳值为0时，节点向该邻居节点发送“心跳”信息，并等待回复，若收到邻居节点的回复，节点就恢复邻居节点的心跳值，如果该邻居节点没有回应，则转步骤4.2)。

7.如权利要求1所述的资源的级别自适应搜索方法，其特征在于：

在所述步骤5)中，每个节点根据自己的负载能力对自己的邻居节点数目加以限制的步骤进一步分为以下子步骤：

5.1)节点收到节点i要求连接的请求后，首先判断自己的邻居节点数Naj是否超过预先设定的最大值mj；

5.2)如果naj＜mj，则接受节点i的请求；如果naj＝mj，则查看邻居节点中本地信任值最小的节点k，判断其本地信任值TS(j，k)是否小于节点i的初始值TS(j，i)：如果TS(j，k)＜＝TS(j，i)，节点j就断开和节点k的连接，接受节点i的连接请求，与节点i建立邻接关系，如果TS(j，k)＞TS(j，i)，节点j就拒绝节点i的连接请求，不与节点i建立邻接关系；

5.3)节点i继续向网络中的其它节点提出要求连接的请求，直至找到可以接受其连接请求的节点；

5.4)节点退出网络时，断开其与各邻居节点的连接，但保留网络中邻居节点的本地信任值作为以后查询和搜索的基础。

Images