CN101197753A

CN101197753A - 基于全局最小访问代价的副本选择方法

Info

Publication number: CN101197753A
Application number: CNA2007103042701A
Authority: CN
Inventors: 李侃; 孙新; 李龙; 刘长利
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2007-12-26
Filing date: 2007-12-26
Publication date: 2008-06-11
Anticipated expiration: 2027-12-26
Also published as: CN100583802C

Abstract

本发明是基于全局最小访问代价的副本选择方法，具体涉及一种具有双链表逻辑集中的网络副本目录模型和一种基于全局最小访问代价的副本选择方法，属于计算机网络技术领域。本发明适用于基于语义相似度的层次式对等网络结构，是一个四层的树状结构，一级超级节点上提供本域的副本目录，二级超级节点上提供本组的副本目录；并包含两个链表，链表T_linked是从带有正本的副本目录中的逻辑资源到其副本物理地址的链接，链表B_linked是副本对应的逻辑资源地址到带有正本的该逻辑资源名的副本目录的链接。该副本目录模型在全局意义下选择副本和副本更新。通过基于全局最小访问代价的副本选择方法，可以确定具有全局最小访问代价的副本的物理地址。

Description

基于全局最小访问代价的副本选择方法

所属技术领域

本发明涉及计算机网络领域，特别是数据网格技术，具体涉及一种基于全局最小访问代价的副本选择方法。

背景技术

在数据网格中，通过数据复制为广域网环境下的客户提供多个数据备份，可以有效减少数据访问时间，实现系统负载平衡等。

目前的数据网格项目对副本都进行了相关的研究工作，并针对各自的应用有了不同的实现和管理方法。Globus提供了最简单的副本管理功能，采用静态的、集中的复制策略，副本选择依据静态或全局参数进行排序、选择。副本定位采用集中式副本目录结构，限制了系统的可扩展性和可靠性。欧洲数据网格项目EDG是目前在副本管理方面研究比较全面、深入的项目之一，提出了一种多层结构的分布式副本目录方案，所有逻辑文件都会在副本目录的根节点中出现，没有提供副本的一致性管理机制。针对数据密集型计算的网格项目DataFarm在副本拓扑上采用树形结构，副本管理采用静态副本策略和简单的副本管理功能，从体系结构上说是一个集中的模型。SRB提供了自动创建副本的异步复制、同步复制等复制模式，能提供有效的副本锁机制，但是SRB并没有实现副本选择以及副本一致性管理等功能。GriPhyN提供统一的副本选择服务，实现多种副本选择策略的应用和结果提交方式，副本选择算法通过学习过去的历史传输实例来预测未来的数据传输性能。Giggle框架采用层次式副本目录结构、软状态协议保持副本目录的一致性，提供副本定位功能，但Giggle框架多副本定位以及容错机制需预先配置。Dong Su Nam等人提出的Tree-based副本定位与选择相结合的机制TRLS。Cai等人提出了P-RLS，将P2P技术应用于面向资源发现的网格服务。李东升等人提出了一种可扩展、动态自适应的分布副本定位方法。闰晓东等人提出了一种在数据网格环境下的可扩展的分布式副本定位方法。宋佳兴等人采用Chord结构设计了基于P2P模式层次结构副本定位机制。

目前的数据网格项目虽然对副本都进行了研究工作，但是主要是针对具有层次性、高网络带宽、节点存储能力强等数据网格系统，但在广域网环境下，网络带宽不同、节点性能各异的情况进行副本的研究更有意义。

合适的数据副本选择受到多种因素的影响，请求者与提供者之间的数据通路情况、提供者目前的访问负载、请求者与提供者之间的距离等。在很多副本选择策略中，大多针对负载均衡和访问频度去选择副本。但是在一般的网络环境下，机器的CPU、硬盘、负载均衡等不是主要因素，更关注的应该是所请求的数据服务是否能响应，访问的代价(主要指访问时间)能否尽可能低。从这个角度，本发明提出了基于全局最小访问代价的副本选择方法。它所依据的网络结构是作者已经申请的专利“基于语义相似度的层次式对等网络结构及其构建方法”(专利申请号：200710178463.7)的内容。该网络以域作为划分单位、构建三层的网络拓扑结构，网络中的节点分为超级节点和普通节点。

发明内容

鉴于上述分析，本发明提出基于全局最小访问代价的副本选择方法，主要解决副本的定位与选择问题，其目标是减少用户访问延迟、防止单个数据源访问过热、避免数据单点失效，提高系统整体性能。

为了便于说明本发明的内容，先给出相关定义。

定义1：数据网格中共享的资源，可以是数据库、数据表、文件等。一个共享资源可以有多个副本，这个共享资源连同它的副本可抽象成一个逻辑资源(Logical Resource)，具有全局唯一的逻辑资源名(Logical Resource Name，LRN)。

定义2：对于数据网格中的任一逻辑资源，可以对应一个或多个副本，这些副本称为物理副本(Physical Replica)，具有全局唯一的物理副本名称(PhysicalReplica Name，PRN)。同一逻辑资源的所有副本的集合记做

LR(lrName)＝{pr₁，pr₂，…pr_n}，n是逻辑资源lrName的副本数量，n≥1。

本发明主要包括三方面的内容：具有双链表逻辑集中的副本目录模型、副本选择策略、基于全局最小访问代价的副本选择方法。

1.具有双链表逻辑集中的副本目录模型

本发明依据的网络结构是作者已经申请的专利“基于语义相似度的层次式对等网络结构及其构建方法”中提出的网络结构。具有双链表逻辑集中的副本目录模型，是一个四层的树状结构，树根位于树的第一层，它是一个虚节点，不存放任何信息；一级超级节点位于树的第二层，它的副本目录存放本域的副本信息；二级超级节点位于树的第三层，它的副本目录存放本组的副本信息；普通节点位于树的第四层，它不存放副本目录。副本目录存放的副本信息包括逻辑资源名、副本物理地址、以及副本对应的逻辑资源地址等。本副本目录模型中设定两个链表，一个链表T_linked是从带有正本的副本目录中的逻辑资源到其副本物理地址的链接，它提供同一逻辑资源的全局完整的副本视图，便于副本的一致性更新操作，并且在副本选择时提供全局意义下的最小代价副本；另一个链表B_linked是副本对应的逻辑资源地址到带有正本的该逻辑资源名的副本目录的链接，它可以提供通过副本的逻辑资源地址快速链接到其副本目录，从而在全局意义下选择副本和副本更新，它也可以提供副本所在域的节点就近访问副本资源。

2.副本选择策略

网格中访问某一副本的访问代价主要包含两部分：通讯代价(指数据传输时间)和副本响应时间。即

Cost＝T_通讯代价+T_响应时间 (1)

其中，通讯代价跟请求服务的节点与副本所处节点间的距离和当前的网络带宽有关。副本响应时间跟副本所处节点当前的负载状况有关，包括可用CPU、可用内存、存储空间等。实现副本选择的关键是对副本响应时间进行计算和预测，选择预期访问代价最小的副本。

设同一逻辑资源的副本为R₁，R₂，…R_n，

副本所在的节点记为p₁，p₂，…p_m，

请求服务的节点记为p_j，

副本所在的节点当前负载值为L₁，L₂，…L_m，

副本所在的节点网络带宽B₁，B₂，…B_m，

请求服务的节点p_j与副本R_i的物理距离(跳数)用D_ji表示，

节点p_j访问副本R_i的代价记做

C_ji＝αD_jiB_i+βL_i，α，β为权重 (2)

其中，α+β＝1，0＜α＜1，0＜β＜1。

若C_m＝Min(C_ji)，则副本R_m即为所求最小访问代价的副本。根据具有双链表的副本目录的结构，可以获得同一逻辑资源的所有副本的全部信息，所有按照代价模型，可以求出全局最小代价的副本。

对上述的网络带宽、节点负载等数据，可以通过资源监控获得。

3.基于全局最小访问代价的副本选择方法

请求节点n_r要访问逻辑资源var LRN，通过此方法，确定具有全局最小访问代价的副本的物理地址，其具体步骤表达如下：

第一步、如果请求节点n_r是普通节点，则

(1)节点n_r向它所在组的二级超级节点发出对逻辑资源var LRN的数据访问请求：如果二级超级节点上的副本目录中含有逻辑资源var LRN的正本，则转到第四步；如果二级超级节点上的副本目录中仅含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN正本的副本目录，转到第四步；

(2)如果二级超级节点上的副本目录中不含有逻辑资源var LRN的信息，则二级超级节点向它所在域的一级超级节点发送对逻辑资源var LRN的数据访问请求：如果一级超级节点上的副本目录中含有逻辑资源var LRN的正本，则转到第四步；如果一级超级节点上的副本目录中仅含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN正本的副本目录，转到第四步；

(3)如果本域的一级超级节点上的副本目录中不含有逻辑资源var LRN的信息，则向此网络中的所有其它的一级超级节点发送对逻辑资源var LRN的数据访问请求：如果在这些一级超级节点的副本目录中找到第一个含有逻辑资源var LRN的正本信息，则转到第四步；如果在这些一级超级节点中副本目录中找到第一个含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN的正本的副本目录，转到第四步；如果在这些一级超级节点的副本目录中没有找到含有逻辑资源var LRN的信息，则转到第五步；

第二步、如果请求节点n_r是二级超级节点，则

(1)节点n_r首先在自己的副本目录中查找逻辑资源var LRN的信息，如果本二级超级节点上的副本目录中含有逻辑资源var LRN的正本，则转到第四步；如果本二级超级节点上的副本目录中仅含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN正本的副本目录，转到第四步；

(3)如果本域的一级超级节点上的副本目录中不含有逻辑资源var LRN的信息，则向此网络中的所有其它的一级超级节点发送对逻辑资源var LRN的数据访问请求：如果在这些一级超级节点的副本目录中找到第一个含有逻辑资源var LRN的正本信息，则转到第四步；如果在这些一级超级节点中副本目录中找到第一个含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN的正本的副本目录，转到第四步；如果在这些一级超级节点的副本目录中没有找到含有逻辑资源var LRN的信息，则结束；

第三步、如果请求节点n_r是一级超级节点，则

(1)节点n_r首先在自己的副本目录中查找逻辑资源var LRN的信息，如果本一级超级节点上的副本目录中含有逻辑资源var LRN的正本，则转到第四步；如果本一级超级节点上的副本目录中仅含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN正本的副本目录，转到第四步；

(2)如果本一级超级节点上的副本目录中不含有逻辑资源var LRN的信息，则向此网络中的所有其它的一级超级节点发送对逻辑资源var LRN的数据访问请求：如果在这些一级超级节点的副本目录中找到第一个含有逻辑资源var LRN的正本信息，则转到第四步；如果在这些一级超级节点中副本目录中找到第一个含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN的正本的副本目录，转到第四步；如果在这些一级超级节点的副本目录中没有找到含有逻辑资源var LRN的信息，则结束；

第四步、对于逻辑资源var LRN的所有副本，采用副本选择策略中的公式(2)，确定具有全局最小访问代价的副本，返回具有最小访问代价的副本物理地址；

第五步、结束。

有益效果

使用该方法实现副本选择有如下优点：

(1)一级超级节点上提供本域的副本目录，二级超级节点上提供本组的副本目录，本发明实现了逻辑集中的副本目录管理。

(2)具有双链表(T_linked和B_linked)逻辑集中的副本目录模型，链表T_linked提供同一逻辑资源的全局完整的副本视图，副本选择时可以在全局意义下的选择最小访问代价副本；链表B_linked提供通过副本的逻辑资源地址快速链接到其副本目录，从而在全局意义下选择副本和副本更新。

(3)副本选择方法可以提供全局最小访问代价的副本。

附图说明

图1、具有双链表的逻辑集中的副本目录

图2、副本选择过程

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

在基于语义相似度的层次式对等网络中，假定有12个节点，其中一级超级节点为A、B，二级超级节点为A1、A2、B1、B2，普通节点为A11、A12、A21、A22、A23、B21，如图1所示。在图1中，采用了本发明的具有双链表逻辑集中的副本目录。在A1组的副本目录，包括逻辑资源LRN_1，此逻辑资源LRN_1有三个副本，这里将首次出现的共享资源定义为正本，根据需要再创建的资源定义为副本，正本和副本统称为物理副本。正本资源的物理地址为节点A12，对应的物理副本名为PRN1，其他两个副本的物理地址分别为节点A23和B1，相应的物理副本名分别为PRN2和PRN3。这些副本信息都与正本一起存放在正本所在组的副本目录中，拥有相同的逻辑资源名LRN_1。A1组、A2组、B1组的副本目录如表1、表2和表3所示。在图1中，包含所有正本和副本信息的逻辑资源名LRN_1的副本目录与正、副本的物理地址之间形成了链表T_linked；链表B_linked是逻辑资源名LRN_1的逻辑资源地址指向包含所有正本和副本信息的逻辑资源名LRN_1的副本目录。

表1 A1组副本目录

逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址
逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址	LRN_1	PRN1	正本	10.1.1.102	A1
	PRN2	副本	10.1.1.105	A1	LRN_1	PRN1	正本	10.1.1.102	A1
	PRN2	副本	10.1.1.105	A1		PRN3	副本	10.1.1.201	A1

表2 A2组副本目录

逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址
逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址	LRN_1	PRN2	副本	10.1.1.105	A1

表3 B1组副本目录

逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址
逻辑资源名	物理副本名	类型	物理地址	逻辑资源地址	LRN_1	PRN3	副本	10.1.1.201	A1

节点B21对对逻辑资源名LRN_1发出数据请求，采用基于全局最小访问代价的副本选择方法，确定副本供节点B21访问，副本选择过程如图2所示。①普通节点B21向本组的二级超级节点B2发出访问逻辑资源名LRN_1的数据请求；②由于B2的副本目录中没有逻辑资源名LRN_1的副本相关信息，B2将请求发送给本域的一级超级节点B；③一级超级节点B的副本目录中记录本域的副本信息，由于二级超级节点B1的副本目录中含有逻辑资源名LRN_1的副本信息，因此一级超级节点B的副本目录也会有逻辑资源名LRN_1的副本信息，节点B将含有逻辑资源名LRN_1副本目录的节点B1返回给节点B21；④节点B21访问二级超级节点B1的副本目录，查阅B1的副本目录可以确定逻辑资源名LRN_1的副本对应的正本逻辑地址为A1；⑤通过链表B_linked，找到含有逻辑资源名LRN_1正本的副本目录的节点A1，节点A1的副本目录中记录了逻辑资源名LRN_1的所有正副本信息，此时得到了逻辑资源名LRN_1的所有正、副本信息；⑥在逻辑资源名LRN_1的三个物理副本中，通过副本选择策略(设定参数α＝0.7，β＝0.3)，最小访问代价是副本PRN3，它的逻辑地址为B1；⑦节点B21选择副本B1，访问节点B1的副本信息。通过本发明的副本选择方法，得到基于全局最小访问代价的副本。

Claims

1.具有双链表逻辑集中的网络副本目录模型，其特征在于：该副本目录模型用于基于语义相似度的层次式对等网络结构，是一个四层的树状结构，树根位于树的第一层，它是一个虚节点，不存放任何信息；一级超级节点位于树的第二层，它的副本目录存放本域的副本信息；二级超级节点位于树的第三层，它的副本目录存放本组的副本信息；普通节点位于树的第四层，它不存放副本目录；副本目录存放的副本信息包括逻辑资源名、副本物理地址、以及副本对应的逻辑资源地址等；本副本目录模型中设定两个链表，一个链表T_linked是从带有正本的副本目录中的逻辑资源到其副本物理地址的链接，它提供同一逻辑资源的全局完整的副本视图，便于副本的一致性更新操作，并且在副本选择时提供全局意义下的最小代价副本；另一个链表B_linked是副本对应的逻辑资源地址到带有正本的该逻辑资源名的副本目录的链接，它可以提供通过副本的逻辑资源地址快速链接到其副本目录，从而在全局意义下选择副本和副本更新，它也可以提供副本所在域的节点就近访问副本资源；

其中，逻辑资源指数据网格中共享的资源及其所有副本的集合。

2.一种基于全局最小访问代价的副本选择方法，其特征在于：所述方法的步骤包括：

第一步、如果请求节点n_r是普通节点，则

第二步、如果请求节点nr是二级超级节点，则

(1)节点nr首先在自己的副本目录中查找逻辑资源var LRN的信息，如果本二级超级节点上的副本目录中含有逻辑资源var LRN的正本，则转到第四步；如果本二级超级节点上的副本目录中仅含有逻辑资源var LRN的副本信息，则通过B_linked链表找到含有逻辑资源var LRN正本的副本目录，转到第四步；

第三步、如果请求节点n_r是一级超级节点，则

第四步、设同一逻辑资源的副本为R₁，R₂，...R_n，

副本所在的节点记为p₁，p₂，...p_m，

请求服务的节点记为p_j，

副本所在的节点当前负载值为L₁，L₂，...L_m，

副本所在的节点网络带宽B₁，B₂，...B_m，

请求服务的节点p_j与副本R_i的物理距离(跳数)用D_ji表示，

节点p_j访问副本R_j的代价记做

C_ji＝αD_jiB_i+βL_i，α，β为权重

其中，α+β＝1，0＜α＜1，0＜β＜1；

若C_m＝Min(C_ji)，则副本R_m即为所求最小访问代价的副本；

对于逻辑资源var LRN的所有副本，采用该公式，确定具有全局最小访问代价的副本，返回具有最小访问代价的副本物理地址；

第五步、结束。