CN101599995B

CN101599995B - 面向高并发检索系统的目录分发方法及网络架构

Info

Publication number: CN101599995B
Application number: CN2009100889077A
Authority: CN
Inventors: 王永滨; 冯爽; 曹轶臻
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2009-07-13
Filing date: 2009-07-13
Publication date: 2012-01-11
Anticipated expiration: 2029-07-13
Also published as: CN101599995A

Abstract

面向高并发检索系统的目录分发方法及网络架构属于计算机网络领域。本发明根据用户视频检索的行为特点，提出了一种将基于服务器的集中式检索与基于目录分发的分布式检索相结合的检索方法，充分利用各用户节点的服务能力，在用户节点资源空闲时完成目录文件一致性更新，确保用户在检索时得到与检索服务器一致的数据。用户检索时，首先通过读取本地目录文件寻找所需要的检索结果，仅当目录文件不能满足用户需求时采用基于检索服务器的集中式检索，既保证了检索响应时间，改善用户体验，又保证检索结果的准确性与完整性。面对高负荷高并发的检索访问压力，本发明可显著减轻检索中心服务器压力，减少硬件投入，降低系统成本，具有很强的扩展性。

Description

面向高并发检索系统的目录分发方法及网络架构

技术领域：

本发明成果可用于各种大中型多媒体信息检索系统中，降低硬件成本的同时提高系统性能和可扩展性。通过构建P2P重叠网络，将用户常用的检索信息组织成目录文件，并在该网络中传输，用户在进行检索时，仅获取本地目录文件即可完成初步检索，从而极大的减轻了服务器的压力，改善用户体验。本发明成果属于计算机网络技术领域。

背景技术

随着民众对视频节目创作热情的不断高涨，视频节目源的质量日益提高，并倾向于通过互联网创作和分享，土豆网、优酷网等视频分享网站的迅速发展证明了这一点。个人制作和发布媒体内容，不仅仅需要制作工具，还需要海量的媒体素材。让用户准确、迅速地从海量素材中检索到自己想要的素材，是多媒体信息检索系统需要解决的主要问题。

在很多大型的信息检索系统中，最完整最新的数据都存在于集中服务器中，互联网不断扩大的规模，日益增长的用户群，以及Web2.0的兴起，对集中式检索系统提出了新的要求，即

1)高性能和高可扩展性。大规模的访问量对服务的性能提出了非常高的要求。更为重要的是，互联网受众的广泛性，使得成功的互联网服务的访问量增长潜力和速度非常大，因此服务系统必须具有非常好的可扩展性，以应付将来可能的服务增长。

2)支持高度并发的访问。高度并发的访问对服务的存储与并发能力提出了很高的要求，当前主流的超标量和超流水线处理器能处理的并发请求数是有限的，因为随着并发数的上升，进程调度的开销会很快上升。

3)高可用性。互联网服务的全球性决定了其每天24小时都会有用户访问，因此任何服务的停止都会对用户造成影响。

目前解决大型网站面临的高负载和高并发问题普遍采用高性能的服务器、高性能的数据库、高效率的编程语言以及高性能的Web容器。然而这些解决思路在一定程度上也意味着更大的投入，并且这样的解决思路没有很好的扩展性。

对等网络(P2P)模型打破了传统的客户/服务器模式，它以用户为中心，每个节点的地位都是相同的，既充当服务器为其他节点提供服务，同时也充当客户机享用其他节点提供的服务。在P2P网络中，检索内容需要分布式存储在各个peer节点中，但对于节点频繁加入退出的P2P网络，维护P2P网络将占用peer节点的大部分系统资源。

本发明利用P2P的互服务性和高度可扩展性，结合集中式检索的高效性，通过构建P2P重叠网络，将用户的检索请求分布到peer节点中，从而减轻集中式检索服务器的访问压力，降低成本。

发明内容

本发明根据用户视频检索的行为特点，提出了一种将基于服务器的集中式检索与基于目录分发的分布式检索相结合的检索方式，充分利用各个用户节点的服务能力，在用户节点资源空闲时完成目录文件一致性更新，确保用户在检索时得到与检索服务器一致的数据。用户在进行检索时，首先通过读取本地目录文件寻找所需要的检索结果，仅当目录文件不能满足用户需求时采用基于检索服务器的集中式检索，从而既保证了检索响应时间，改善用户体验，又保证检索结果的准确性与完整性。

本发明提供了面向高并发检索系统的网络架构，如附图1，其特征在于，由以下组成：

该网络架构的上层为集中式，下层为非结构化纯P2P网络；P2P网络根据索引服务器服务能力分为若干区域，每个区域包括超级节点、备份超级节点、若干普通节点；

1、上层的集中式包括检索服务器，索引服务器，存储系统；

RS(Retrieval Server)：检索服务器，是被检索数据的发布源，拥有最新版本的数据，负责响应用户检索请求以及生成目录文件。

IS(Index Server)：索引服务器，至少记录了所有区域的物理位置信息，新加入节点根据区域信息快速定位所属区域。

SS(Store System)：存储系统。至少存储了所需检索的媒体素材文件。每个媒体文件具有唯一的文件存储ID。用户在检索到所需内容后，通过检索提供的文件存储ID到存储系统中下载。

2、下层的非结构化纯P2P网络包括超级节点、备份超级节点、普通节点。

SP(Super Peer)：超级节点。P2P网络的每个区域中会根据选举算法动态选举出一个优先级最高的节点作为超级节点，它代表了一个区域，SP至少包括以下职责：

■与IS通信，报告区域信息，获取最新的目录文件

■维护本区域网络中各Peer的信息

■向本区域中的OP通告最新目录版本，并提供目录文件的下载

BSP(Backup Super Peer)：备份超级节点。根据选举算法被指定的优先级次优的节点，并向超级节点注册。存储与超级节点一致的信息，当超级节点失效时，备份超级节点接管本地所属区域。

OP(Ordinary Peer)：普通节点。它能进行加入退出检索网络、检索数据等操作。每个普通节点至少记录有检索服务器、备份超级节点、普通节点的地址。当区域重新选举SP时候，一个OP也有可能成为BSP。

检索服务器生成目录文件后，将目录文件发给索引服务器。超级节点定期向索引服务器发送心跳信息，告知自己的存在。超级节点与备份超级节点之间发送心跳信息，互相告知自己的存在。超级节点定期向所管辖区域普通节点发送信息，获得该区域有效节点信息。当目录文件不能满足用户检索请求时，用户直接向检索服务器发送检索请求。

本发明提供了一种面向高并发检索系统的目录分发方法，可减轻中心服务器压力，减少硬件投入，降低成本，同时具有很强的扩展性。包括以下步骤：

1)生成目录文件。在用户进行媒体创作时，通常并不能准确知道所需素材名称，而是根据需要的素材类别进行检索，并习惯采用的本领域中使用率较高的经典素材，同时也能从这些群众认可高的素材中获得创作灵感。因此，在用户进行素材类别检索时，若能同时推荐相关经典素材信息，必然能减少检索的盲目性，帮助用户更加准确的找到相关素材。目录文件由检索服务器自动生成，至少包括媒体素材编目信息、所属类别信息以及所在类别中被检索频率最高的若干个素材信息。当目录文件内容发生变化时由检索服务器自动更新版本，并发送给索引服务器，通知所有区域中的超级节点更新目录文件。

2)构建P2P重叠网络。该重叠网络的上层为集中式，下层为非结构化纯P2P网络。如附图1所示，新加入的节点在索引服务器中注册，并向各个区域超级节点发送探测消息，根据探测消息选择物理位置最近的区域作为即将加入的区域。根据节点的CPU使用情况、内存大小、带宽、在线时间、登录频率、节点之间的服务评价计算节点的优先级。CPU、内存使用情况以及带宽是动态变化的，它们反映了的节点的服务能力；在线时间以及登录频率反映了节点的稳定性。节点之间的服务评价反映了节点的可靠性。节点的优先级从高到低决定了节点在网络中的角色：超级节点、备份超级节点、普通节点。当目录版本发生变化时，由索引服务器通知区域中超级节点，完成目录更新工作。超级节点负责本区域的节点管理及目录更新，保证节点中的数据信息与服务器的一致性。备份超级节点存储与超级节点一致的区域信息，当超级节点失效时，升级为超级节点，接管本区域。

3)用户检索。当用户有检索需求时，客户端软件首先读取并解析本地目录文件，用户可浏览各个类别的推荐素材信息，当找到所需素材时，根据目录文件中素材存储ID即可从存储系统下载素材。存储系统不在本发明范围内。当目录文件中的素材信息不能满足用户需求时，用户可到检索服务器中检索。

本发明提出的面向高并发检索系统的目录分发方法，相当于在检索服务器之外构建了一个分布式检索缓存，将用户的检索请求分配到本地完成，从而减轻了检索服务器的并发压力，降低服务器运营维护成本，同时可通过扩展区域的方式，在显著增加用户数量的同时不会对检索服务器带来压力，使本发明具备很强的可扩展性。

附图说明

图1整体网络结构图

图2区域合并

图3区域分离

具体实施方式

本实施例中开发计算机为“DELL微机，Intel(R)Core(TM)2Duo CPUE7400 3.00GHz，2GB内存，250G硬盘”。采用VisualStudio2008+SQLServer2005的开发环境，编程语言为C#。硬件包括服务器和普通PC，服务器运行环境为Windows Server 2003+IIS6.0+.net framework2.0。客户端为普通PC，运行环境为Windows XP以上版本的操作系统+.net framework2.0。目录检索基于C/S模式和P2P模式，应用于Internet网络环境上，使用TCP/IPv4协议。

本发明运行在3TNet(高性能宽带信息网)上，部署两台检索服务器，支持划分1000个区域，每个区域可包括200个节点，从而达到整个网络20万节点同时在线的规模。

本发明可以在C/S模式和P2P模式之间切换，优先从P2P网络中检索，大大减少服务器压力，避免服务器成为检索系统的性能瓶颈。另一方面，当无法加入P2P网络或P2P检索不能满足用户需求时，也可以用C/S模式检索到最新的目录，以确保无论何种情况下，用户都可以检索到最新的媒体文件信息。

具体实施方案为：

1.总体网络结构

附图1展示了本发明的应用网络结构，我们在Internet上构建一个P2P重叠网，并将重叠网划分为多个区域，物理位置相近的节点加入到一个区域中(虚线表示)，每个区域选举出一个超级节点及备份超级节点，协同负责自己区域中的节点管理和处理检索请求。该网络结构中包含6中实体：存储系统(SS)、检索服务器(RS)、索引服务器(IS)、超级节点(SP)、备份超级节点(BSP)、普通节点(OP)。

2.模块化面向对象开发

本发明中的软件开发采用模块化面向对象的开发方式，将软件分为数据库模块、网络通信模块、人机交互模块、业务流程模块、对象原型模块，层次清晰，结构合理，便于团队合作共同开发，并且对软件升级，增加新功能提供了良好的扩充性。

表1：服务器端程序模块划分

对服务器端划分模块的说明：

●S1.Database：使用SQLServer2005建立数据库，设计数据结构，编写存储过程。数据库用于记录目录信息和区域节点信息以及网络日志。

●S2.DAM：数据存取模块，包装数据库操作，为其他模块提供安全高效的数据存取功能。

●S3.NM：网络通信模块，包括网络连接管理、消息管理等功能，负责处理与客户端的通信。

●S4.DM：包括所有与数据库表相对应的实体数据类，进行数据包装。

●S5.BRM：业务流程处理模块，建立服务器端管理流程的业务逻辑，包括监测网络状况，服务器管理，网络的启动与关闭，日志管理等功能。并对界面层提供操作接口。

●S6.SMM：人机交互模块，由于S5提供了所有功能接口，本模块可以灵活采用Winform窗体或Web页面的方式实现，以满足不同需要。

表2：客户端模块划分

C3.UserInterface Model
	C2.Protocol Model
C1.Network Model

对客户端划分模块的说明：

●C1.NM：网络通信模块，维护网络连接，处理消息，收发数据。

●C2.PM：协议模块，实现P2P的协议流程，包括加入退出网络的操作、选举SP、信誉计算、Peer状态转换等功能。

●C3.UIM：用户接口，提供客户端功能调用。

3.区域划分方式设计

根据实际情况，设系统中的区域数为K，限定最大区域数为K_max，假设每个区域中的节点数为N，最大节点数设为N_max，因此最多会有K_max个SP与IS进行通信，整个系统的节点容量就是最大节点容量就是K_max×N_max。

划分区域的具体过程如下：

(1)初始情况下，区域还没有建立，第一个节点P₀刚刚加入检索系统，那么P₀就注册为第一个区域的SP，第一个区域建立完成。

(2)当一个节点要加入检索系统，首先在IS处查询到所有区域信息(包括各SP的地址)，计算到各区域的距离：

1)向各个SP发送探测消息，获得RTT(Round-Trip Time)，计算节点到一个区域中心SP的距离，即节点到该区域的距离。为了更准确计算距离，可以发送m条探测消息，求得平均往返延迟时间ARTT(Average RTT)。当某区域节点数达到上限N_max时，SP就停止相应新节点的RTT探测消息，节点则可认为该区域不可达。

2)探测消息完成后，取得所有小于规定响应阈值α的RTTs，取最小的RTT，即是应加入的区域。

area＝min(d|P_n-SP_i|) i＝0，1，2...k-1 d|P_n-SP_i|＝RTTs＜α(1)

P_n是待加入区域的节点，SP_i是第i个区域的SP，d|P_n-SP_j|是节点P_n和区域的距离(即RTT或ARTT)。

(3)如果d|P_n-SP_j|＞α(i＝0，1，2...j，j＜k-1)，则P_n申请新建区域Area|_j+1，并成为该区域的SP。

(4)当区域数目达到k值(j＝k-1)，则系统不允许继续增加区域，此时如果节点继续增加，可以适当调制α，以动态调制增加N的值(N＜N_max)。

随着节点数量扩大，需要适当增大区域数k值，区域的变化会引起区域中心即SP的变化，区域内部会自动开始选举SP和BSP的过程。为了减少区域变化和中心点变化带来的网络波动，我们还可以通过区域合并和区域分离来达到调制区域规模的目的。

当系统扩展的时，IS势必要调整Kmax和Nmax两个系统参数。通过系统的动态调整，使用区域合并与区域分离的方式，在最大程度上使区域规模达到平均，同时又让每个节点连接到物理位置上最近的区域。用索引服务器来控制网络规模和区域划分，增强了对等重叠网的可控性和可用性。

区域合并

当索引服务器区域数目饱和，但是每个区域中所能管辖的节点数目还未达到饱和时，若提高索引服务器能力，需要一定的硬件投入，且增大了索引服务器的开销。解决这样的问题，最好的办法是合并现有区域，尽量保持区域数目不变。若索引服务器发现两个区域距离较近，且一个区域中的节点数目较少，则通知节点数目较多的大区域合并小区域，区域合并后需根据超级节点产生算法重新选举该区域的超级节点，仅有区域合并时探测消息响应值大于响应阈值的节点需重新选择区域。如附图2所示。

区域分离

区域分离本质上与区域合并相反。本文的系统允许将一个大的区域分离成两个区域，这样更利于SP成为区域的中心，让每个Peer节点都能以最短的距离连接到SP，区域分离也可以降低SP的负荷。当某个区域频繁收到节点加入请求且该区域已接近饱和时，该区域可向索引服务器申请区域拆分，区域拆分可有效降低超级节点负荷，并让每个普通节点都尽可能选择最优的加入区域。当索引服务器向某个区域的超级节点发出拆分指令后，则原备份超级节点升级为新的超级节点，注册新的区域，普通节点根据探测消息选择最优的加入区域。

如附图3所示。

4.节点加入退出

节点P_n首先发送加入请求给IS，获取区域列表，按式(1)中的方式计算所属区域Area|_nearest。然后与Area|_nearest中的SP通信，申请加入。加入区域成功后，SP会主动把最新的目录版本摘要发送给P_n，由P_n决定是否请求最新的目录文件，同时P_n保持对SP的KeepAlive心跳。

已有的一些文献中提到新加节点会引发区域内的重新计算区域中心，但为了减少网络频繁波动和选举计算，在本发明中，新加节点不会取代SP的地位。SP将重新考虑BSP与P_n，如果P_n更有资格成为BSP，那么它将取代现有的BSP，在SP处注册为新的BSP。SP则会向区域内所有节点通告新BSP的信息。

正常退出允许我们较好地控制后续流程，但是也不得不考虑网络中的异常情况，如掉电、断网、宕机等。所以我们从这两个方面来考虑节点退出对系统的影响。

(1)E常退出：

●OP退出：向SP发送退出消息，保留区域信息和目录信息，以备下次加入使用。

●SP退出：在退出前向BSP发送退出消息，BSP立刻升级为SP，接管区域内的管理工作，并向IS和区域内节点通告这次变化。区域内OPs收到通知后，到新的SP处注册，并开始重新计算选举出新的BSP。

●BSP退出：在退出前向SP发送退出消息，SP则通告区域内所有OP，收到通知的OP开始重新计算选举出新的BSP。

(2)异常退出：

●OP退出：OP异常退出，则SP在几个keepalive周期内没有收到OP的心跳信息，则从区域节点列表中删去该节点。

●SP退出：当BSP检测到SP异常退出后，立刻向RS申请成为SP，如果IS也检测不到原SP在线，就批准BSP的请求并更新该区域信息，BSP升级为SP并向全区域发出通告。SP的异常退出对OP是透明的，OP的处理过程和SP正常退出是一样的。

●BSP退出：SP检测到BSP异常退出后，向全区域发出重新选举BSP的通告。同样，OP是不知道BSP是否正常退出，只是按照SP的要求重新选举出新的BSP即可。

由于同区域的节点是地理位置较近的，这样SP和BSP很有可能处于同一个物理网络中，如果由于网络原因SP和BSP同时失效，这种情况下该区域的OP就需要重新初始化，选择区域加入。

Claims

1.一种面向高并发检索系统的网络系统，其特征在于，由以下组成：

该网络系统的上层为集中式，下层为非结构化纯P2P网络；P2P网络根据索引服务器服务能力分为若干区域，每个区域包括超级节点、备份超级节点、若干普通节点；

集中式的上层包括检索服务器，索引服务器，存储系统；

检索服务器：是被检索数据的发布源，拥有最新版本的数据，负责响应用户检索请求以及生成目录文件；

索引服务器：至少记录了所有区域的物理位置信息；

存储系统：至少存储了所需检索的媒体素材文件；

下层的非结构化纯P2P网络包括超级节点、备份超级节点、普通节点；

超级节点：是经过选举算法被指定的优先级最高的节点：

超级节点至少包括以下职责：

1)与索引服务器通信，报告区域信息，获取最新的目录文件；

2)维护本区域网络中各节点的信息；

3)向本区域中的普通节点通告最新目录版本，并提供目录文件的下载；

备份超级节点：是经过选举算法被指定的优先级次优的节点，并向超级节点注册；

普通节点：能进行加入退出检索网络，检索数据操作；每个普通节点至少记录有检索服务器、备份超级节点、普通节点的地址；

检索服务器生成目录文件后，将目录文件发给索引服务器；超级节点定期向索引服务器发送心跳信息，告知自己的存在；超级节点与备份超级节点之间发送心跳信息，互相告知自己的存在；超级节点定期向所管辖区域普通节点发送信息，获得该区域有效节点信息；当目录文件不能满足用户检索请求时，用户直接向检索服务器发送检索请求。

2.根据权利要求1所述的面向高并发检索系统的网络系统，其特征在于：

当索引服务器区域数目饱和，但是每个区域中所能管辖的节点数目还未达到饱和时，若索引服务器发现两个区域距离较近，且一个区域中的节点数目较少，则通知节点数目较多的大区域合并小区域，区域合并后需根据超级节点产生算法重新选举该区域的超级节点，仅有区域合并时探测消息响应值大于响应阈值的节点需重新选择区域；

当某个区域频繁收到节点加入请求且该区域已接近饱和时，该区域向索引服务器申请区域拆分，当索引服务器向某个区域的超级节点发出拆分指令后，则原备份超级节点升级为新的超级节点，注册新的区域，普通节点根据探测消息响应值选择最优的加入区域。

3.一种应用权利要求1所述的网络系统进行面向高并发检索系统的目录分发方法，其特征在于，包括以下步骤：

1)生成目录文件：目录文件由检索服务器自动生成，至少包括媒体素材编目信息、所属类别信息以及所在类别中被检索频率最高的若干个素材信息；当目录文件内容发生变化时由检索服务器自动更新版本，并发送给索引服务器，通知所有区域中的超级节点更新目录文件；

2)构建P2P重叠网络；新加入的节点在索引服务器中注册，并向各个区域超级节点发送探测消息，根据探测消息选择物理位置最近的区域作为即将加入的区域；当目录版本发生变化时，由索引服务器通知区域中超级节点，完成目录更新工作；超级节点负责本区域的节点管理及目录更新，保证节点中的数据信息与服务器的一致性；备份超级节点存储与超级节点一致的区域信息，当超级节点失效时，升级为超级节点，接管本区域；

3)当用户有检索需求时，客户端软件首先读取并解析本地目录文件，用户浏览各个类别的推荐素材信息，当找到所需素材时，根据目录文件中素材存储ID即从存储系统下载素材，当目录文件中的素材信息不能满足用户需求时，用户到检索服务器中检索。