CN1988449A - 一种基于网络信息的数据分布/获取方法 - Google Patents

Abstract

本发明属于数据分布/分发领域，特别涉及到一种基于网络信息的数据分布/获取方法。该方法包括，资源获取节点向资源索引服务器发出获取资源的请求；资源索引服务器在接收到请求后，在资源状态库中进行检索，查找出当前可提供所述特定资源的所有资源对等点的地址并根据邻近原则向资源获取节点返回邻居列表；资源获取节点根据邻居列表提供的地址，向邻居列表上的资源对等点发出资源获取请求并接收或使用资源。与目前流行的P2P网络机制相比，本发明具有下列优点：充分利用了物理网络拓扑信息，获得最近的邻居列表；减轻了物理网络中因使用层叠网络(OVERLAY NETWORK)而造成的多重数据路径；减轻了网络负担，加快资源对等点获取数据资源的速度。

Description

一种基于网络信息的数据分布/获取方法

技术领域

本发明属于数据分布/分发领域，特别涉及到一种基于网络信息的数据分布/获取方法。

背景技术

目前在数据分布/分发领域，通常采用两类数据分布/分发方法：(1)基于运营商可控的内容分发网络(CDN：Content Distribution Network)(2)基于终端机系统的端到端(P2P：Peer to Peer)数据分发/获取方法。

在数据分布/分发研究领域，也有试图将CDN技术和P2P技术结合在一起的探索，即在P2P网络中设置服务器缓冲节点(能够长期在线，可靠性、服务能力、端口速率均比终端系统高)，也有人称这种方法为第二代P2P技术。

CDN技术基于传统的客户端-服务器技术，并结合使用代理/缓冲(Proxy/Cache)技术，这种技术最早应用于web服务、VOD服务等，但常常受制于服务器的处理能力、端口速率，因而在所服务的用户规模和地域覆盖方面存在不可弥补的重大缺陷。

P2P技术的出现解决了CDN技术所面临的困境，在用户规模上可以无限扩展，在性能表现方面则接近于用户可接受的程度，这方面影响较大的应用如文件下载的BitTorrent、电驴(eMule)以及能够网上打电话的Skype等。

P2P技术的发展缘起于层叠网络(OVERLAY NETWORK)，这种网络是脱离于具体物理网络的逻辑网络，基于不同的应用、不同的参与实体而构建的，因此网络拓扑结构根据具体应用所关注的性能、可靠性而有所不同，通常有树状结构(Tree)和网状结构(Mesh)。

由于P2P网络忽略了物理网络的拓扑结构，因而会对实际的网络产生各种影响，如两个应用节点位于同一个物理以太网中，而在P2P网络中却处于不同的逻辑拓扑树的不同分支，因此如果这两个节点要通信的话，必须经过两个分支上的不同节点，直到具有相同的分支节点为止；又例如新节点加入到P2P网络中，由于P2P的网络构建逻辑，新节点本来应该以同一物理网络中的节点为父节点，而实际上选择的确是位于另一个物理网络中的节点作为父节点，造成通信时延的增大或性能的下降等等。

发明内容

本发明的目的在于克服现有数据分布/获取技术的不足，将物理网络特征与P2P网络技术相结合，从而提供一种高效的基于网络信息的数据分布/获取方法。

(请您审核以下技术方案的内容)

为实现上述发明目的，本发明提供的基于网络信息的数据分布/获取方法涉及计算机网络中的网络拓扑服务器、资源索引服务器和资源对等点三类设备实体，包括：资源状态库初始化方法和资源分布/获取方法，其中

所述资源状态库初始化方法包括如下步骤：

11)网络拓扑服务器获取服务范围内的各资源对等点的网络信息，所述网络信息包括网络地址；

12)根据步骤11)中得到的网络地址信息，用网络图论的方法生成物理网络拓扑图；

13)在网络拓扑服务器中建立物理网络拓扑信息库，将步骤11)中得到的各资源对等点的网络地址等信息和步骤12)中生成的物理网络拓扑图存储到物理网络拓扑信息库中；

14)资源索引服务器从网络拓扑服务器的物理网络拓扑信息库中获取网络拓扑信息；

15)在资源索引服务器中建立资源状态库，在该资源状态库中存储网络上各种资源的状态信息；该资源状态信息包括资源名称和资源所在的资源对等点的网络地址。

所述资源分布/获取方法包括如下步骤：

21)假设某一资源对等点为资源获取节点，该资源获取节点向资源索引服务器发出获取某一特定资源的请求，该请求中包括需要获取的特定资源的名称；

22)资源索引服务器在接收到步骤21)中发出的请求后，在资源状态库中进行检索，查找出当前可提供所述特定资源的所有资源对等点的地址；

23)在步骤22)查找到的资源对等点地址中，按邻近原则进行排序，取排序后的前N个地址作为邻居列表；

24)资源索引服务器向资源获取节点返回邻居列表；

25)资源获取节点根据邻居列表提供的地址，向邻居列表上的资源对等点发出资源获取请求并接收或使用资源；

上述技术方案中，所述步骤11)中的服务范围内的各资源对等点的网络信息通过使用SNMP协议、CMIP协议或其它网络管理协议获取，或者使用人工配置的方式获取。

上述技术方案中，所述步骤12)中物理网络拓扑图中包括节点间的连接关系、网络地址、物理距离、到第一跳的传输时延信息；

上述技术方案中，所述步骤23)中，所述邻近原则为物理最近原则或时延最短原则；

其中，物理最近原则是指以资源获取节点到具有所请求资源的节点跳数多少而言，跳数最少的节点则为物理最近节点；

时延最短原则是指从资源获取节点到具有所请求资源的节点，信息传递的时间最小的节点为时延最短节点。

上述技术方案中，还包括资源状态库维护方法，其步骤如下：

31)各资源对等点定期把本节点中所有资源状态反馈到资源索引服务器；

32)资源索引服务器根据各资源对等点反馈的信息，定期更新资源状态库。

与目前流行的P2P网络机制相比，本发明具有下列优点：充分利用了物理网络拓扑信息，获得最近的邻居列表；减轻了物理网络中因使用层叠网络(OVERLAYNETWORK)而造成的多重数据路径；减轻了网络负担，加快资源对等点获取数据资源的速度。

附图说明

图1是利用物理网络拓扑结构的P2P网络构成

图2是基于二层物理网络的P2P网络场景

图3是资源状态库初始化方法

图4是资源分布/获取方法

图5是资源状态库维护方法

具体实施方式

本发明提供了一种基于网络信息的数据分布/获取方法，该方法将物理网络的特征、特性与P2P网络相结合，特别是将物理网络的拓扑结构应用于点对点的数据分布/获取。

本发明涉及三类设备实体，包括网络拓扑服务器、资源索引服务器和资源对等点，见图1。

其中，网络拓扑服务器是一类通过SNMP协议或类似协议，以及人工方法获取某一局域或广域网络的拓扑结构，并能够将这些信息向外输出的的设备/软件实体。

资源索引服务器是一类确定资源网络中资源的具体位置，并能够将这些信息提供给资源对等点的设备/软件实体。

资源对等点是一类既能够从其他节点享受资源，又能够向其他节点提供资源的设备/软件实体，在目前的网络中，可以是服务器、PC机、PDA、手机等。

本发明中所指的资源可以是网络带宽、硬盘存储空间、计算能力以及文件、媒体流数据等。

下面结合附图和具体实施例，对本发明提供的基于网络信息的数据分布/获取方法作进一步阐述。

实施例

本实施例包括：资源状态库初始化方法、资源分布/获取方法和资源状态库维护方法。

资源状态库初始化方法包括如下步骤(如图3所示)：

11)网络拓扑服务器获取服务范围内的各可能资源对等点的网络信息，所述网络信息包括网络地址、地理位置、隶属单位、管理人员等；各资源对等点的网络地址可以通过使用SNMP协议、CMIP协议等网络管理协议获取，也可使用人工配置的方式获取。

12)根据步骤11)中得到的网络地址等信息，根据网络图论的方法生成物理网络拓扑图，该图中包括节点间的连接关系、网络地址、物理距离、到第一跳的传输时延等信息；

13)在网络拓扑服务器中建立物理网络拓扑信息库，将步骤11)中得到的各资源对等点的网络地址等信息和步骤12)中生成的物理网络拓扑图存储到物理网络拓扑信息库中；

14)资源索引服务器从网络拓扑服务器的物理网络拓扑信息库中获取网络拓扑信息；

15)在资源索引服务器中建立资源状态库，在该资源状态库中存储网络上各种资源的状态信息。该资源状态信息包括资源名称和资源所在的资源对等点的网络地址。表1、2是以文件为例的资源状态信息存储格式，其中表1是一般信息表，表2是资源状态表，

资源名称	FILE1
		块大小(K字节)	2
总块数	1000

表1

块号	存放位置
		1	10.1.1.1、  10.1.0.1
2	10.1.2.1、  10.1.1.1
		...	...

表2

资源分布/获取方法包括如下步骤(如图4所示)：

21)某一资源对等点向资源索引服务器发出获取某一特定资源的请求，该请求中包括需要获取的特定资源的名称(如FILE1)，这一名称可以是文字标识、编号、特殊符号。为便于理解，把这里请求获取资源的资源对等点称为资源获取节点。

22)资源索引服务器在接收到步骤21)中发出的请求后，在资源状态库中进行检索，查找出当前可提供所述特定资源的所有资源对等点的地址。

23)在步骤22)查找到的资源对等点地址中，按物理最近原则或时延最短原则进行排序，取排序后的前N个地址作为邻居列表。

其中，物理最近原则是指以资源获取节点到具有所请求资源的节点跳数多少而言，跳数最少的节点则为物理最近节点；

时延最短原则是指从资源获取节点到具有所请求资源的节点，信息传递的时间最小的节点为时延最短节点。

24)资源索引服务器向资源获取节点返回邻居列表。

25)资源获取节点根据邻居列表提供的地址，向邻居列表上的资源对等点发出资源获取请求并接收资源数据(如所请求的资源是网络带宽、硬盘存储空间、计算能力等抽象资源，则发出使用资源请求，并在获得响应后使用所请求资源)。需要注意的是，当邻居列表中的1个或几个对等点下线时，则重新向资源索引服务器申请邻居列表。以请求数据文件为例。假定对等点同时使用的邻居数量最大为5，则在初次申请时，资源索引服务器按排序给出最先的5个，对等点则分别向着5个对等点请求数据；如果发现其中由1个或几个对等点下线，则需要资源获取节点重新向资源索引服务器申请邻居列表。

资源状态库维护方法包括如下步骤(如图5所示)：

31)各资源对等点定期把本节点中所有资源状态反馈到资源索引服务器。

32)资源索引服务器根据各资源对等点反馈的信息，定期更新资源状态库。

图2是本发明提供的一个应用场景，它是一个由二层交换机组成的小区网络，在物理网络之上，所述的网络拓扑服务器、资源索引服务器和资源对等点如图中所分布。本实施例中假设资源对等点享受下载的同时可以提供服务。

网络运行准备：作为系统的初始部分，首先需要网络拓扑服务器准备好，在本实施例中为了简化过程，假设二层交换机的小区网络拓扑是通过外部BOSS系统或手工输入到网络拓扑服务器中的；资源索引服务器的初始化：从网络拓扑服务器获得网络拓扑信息，同时数据资源的信息在资源索引服务器中建立索引；假设P2P系统运行一段时间之后，数据信息的分布达到下列状态：数据文件file1在资源对等点2、3、5、6、7中完全存储，在时刻t资源对等点1发出数据文件file1的请求。下面结合这种情况说明信息交互过程：

(a)资源对等点1向资源索引服务器发出请求(请求数据文件file1)；

(b)资源索引服务器根据网络拓扑信息和物理最近原则，将资源对等点2、3的地址列表发送到资源对等点1；(这里假设返回两个邻居的列表)

(c)资源对等点1根据邻居列表分别从资源对等点2、3传输数据文件file1的不同部分；

(d)假设在文件传输过程中，资源对等点3离线，资源对等点1检测到数据传输不成功，则向资源索引服务器请求新的邻居列表，这时返回的邻居是资源对等点7，而不是资源对等点5或6；

(e)资源索引服务器定期检测资源对等点的在线状态，在这里发现资源对等点3离线，则更新数据文件file1的可提供服务的状态表，去掉资源对等点3；同时在资源对等点1在数据文件file1完全传输到本地之后，资源索引服务器将之加入到数据文件file1的可提供服务的状态表。

Claims (5)

1、一种基于网络信息的数据分布/获取方法，其特征在于，该方法涉及计算机网络中的网络拓扑服务器、资源索引服务器和资源对等点三类设备实体，包括：资源状态库初始化方法和资源分布/获取方法，其中

所述资源状态库初始化方法包括如下步骤：

11)网络拓扑服务器获取服务范围内的各资源对等点的网络信息，所述网络信息包括网络地址；

12)根据步骤11)中得到的网络地址信息，用网络图论的方法生成物理网络拓扑图；

13)在网络拓扑服务器中建立物理网络拓扑信息库，将步骤11)中得到的各资源对等点的网络地址等信息和步骤12)中生成的物理网络拓扑图存储到物理网络拓扑信息库中；

14)资源索引服务器从网络拓扑服务器的物理网络拓扑信息库中获取网络拓扑信息；

15)在资源索引服务器中建立资源状态库，在该资源状态库中存储网络上各种资源的状态信息；该资源状态信息包括资源名称和资源所在的资源对等点的网络地址；

所述资源分布/获取方法包括如下步骤：

21)假设某一资源对等点为资源获取节点，该资源获取节点向资源索引服务器发出获取某一特定资源的请求，该请求中包括需要获取的特定资源的名称；

22)资源索引服务器在接收到步骤21)中发出的请求后，在资源状态库中进行检索，查找出当前可提供所述特定资源的所有资源对等点的地址；

23)在步骤22)查找到的资源对等点地址中，按邻近原则进行排序，取排序后的前N个地址作为邻居列表；

24)资源索引服务器向资源获取节点返回邻居列表；

25)资源获取节点根据邻居列表提供的地址，向邻居列表上的资源对等点发出资源获取请求并接收或使用资源。

2、按权利要求1所述的基于网络信息的数据分布/获取方法，其特征在于，所述步骤11)中的服务范围内的各资源对等点的网络信息通过使用SNMP协议、CMIP协议或其它网络管理协议获取，或者使用人工配置的方式获取。

3、按权利要求1所述的基于网络信息的数据分布/获取方法，其特征在于，所述步骤12)中物理网络拓扑图中包括节点间的连接关系、网络地址、物理距离、到第一跳的传输时延信息。

4、按权利要求1所述的基于网络信息的数据分布/获取方法，其特征在于，所述步骤23)中，所述邻近原则为物理最近原则或时延最短原则；

其中，物理最近原则是指以资源获取节点到具有所请求资源的节点跳数多少而言，跳数最少的节点则为物理最近节点；

时延最短原则是指从资源获取节点到具有所请求资源的节点，信息传递的时间最小的节点为时延最短节点。

5、按权利要求1所述的基于网络信息的数据分布/获取方法，其特征在于，还包括资源状态库维护方法，其步骤如下：

31)各资源对等点定期把本节点中所有资源状态反馈到资源索引服务器；

32)资源索引服务器根据各资源对等点反馈的信息，定期更新资源状态库。

Images