CN108965387B - 一种提高p2p数据存储抗毁性的均衡方法及系统 - Google Patents

Abstract

本发明属于计算机网络技术领域，公开了一种提高P2P数据存储抗毁性的均衡方法及系统，进行分发机制通过hash函数将参与节点的IP地址映射成线性空间的数据，再根据复制因子对此空间进行区域分割；进行查询及一致性维护机制先根据请求节点的键值确定包含副本节点的最近区域，再由给定DHT系统中的路由协议决定基础一致性维护策略、周期性一致性维护策略。本发明首次将性能评价指标分为动态与静态两种性能指标，对算法的评估更加全面、准确；可适用于不同规模的系统中。同时，由于算法可用于不同DHT系统的协议中，即应用此算法的系统所对应的用户接口可基于不同协议，便于管理与维护。

Description

一种提高P2P数据存储抗毁性的均衡方法及系统

技术领域

本发明属于计算机网络技术领域，尤其涉及一种提高P2P数据存储抗毁性的均衡方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

1、计算机网络的快速发展和办公自动化的迅速流行，使数据存储受到越来越多的关注。而P2P系统由于良好的性能(分布式，可扩展性)，近年来得到广泛的分析。由P2P系统的动态性(其与系统中参与节点的频繁加入、离开或失效有关)导致的数据可用性性能降低的现象是P2P系统数据存储策略设计的挑战之一。提高高流失率下系统容错性的方法之一是设计较好的复制策略以增加副本数，提高数据的可用性。

Peer-to-Peer系统提供了一种新型的通信模型，允许同一网络中的用户进行信息共享、消息传送及相互交流,这些用户节点既可当数据拥有者，又可当数据请求者，消除了传统客户/服务器模型中节点功能的不对称性。P2P应用从MP3下载被人们所“认识”，目前运营网络上骨干流量的一半多都是P2P的流量，并且在文件共享、视频直播与点播、即时通讯(网上电话)、网络聊天、网络存储、网格计算等领域发展迅速。

2、相关工作

结构化P2P覆盖网络的动态性和分布式存储特点，使得初始化阶段节点的加入和离开成为首要问题。Abraham,I.,et al.提出一个均衡的网络，去维持覆盖网络的底层结构性能，如网络较小直径、有效路由机制，提高了最大动荡环境下系统的可扩性和弹性。Medrano-Chávez,A.G.,et al.通过建立评价开销和性能的统一框架，分析在给定DHT系统路由协议中不同参数对系统churn容错性性能的影响。Lam,S.and Liu,H.中分析了应用不同路由协议的DHT系统可以容忍多大规模的节点流动，提出一种基于K一致性邻居表且包含节点加入算法的故障恢复策略。Liu,Z.and al中分析了提高系统churn容错性的方法，并分析了高流失下系统可抗性极限。Kuhn,F.et al.提出一种针对节点集动态变化的哈希表，使系统对整个网络状态随时感知，且可随意增加或删除节点，具有高churn下的强容忍性、低节点度和较小的网络直径。Silva,T.et al.提出基于哈希表的全局目录式存储方法和基于希尔伯特空间填充曲线(HSFC)的查询机制，仿真结果证明其可应用于网络规模、节点数量或存储信息量动态变化的环境中。Ohmata,H.and al提出基于内容分发系统的提高churn容错性的维护策略，仿真结果表明此算法可以在不增加网络带宽的情况下提高系统的churn容错性和信息的可持续性。

3、基于DHT的现有复制策略

P2P系统的一个特点是其动态性，即节点可以随时加入、离开或失效，这一特点严重影响系统中数据的可用性，因此需要设计一种Churn-Defended存储策略，其实质上是设计一种提高系统容错性的复制策略。基于DHT路由协议的P2P系统，使用不同的复制方法降低查找失败率与跳数，同时提高数据可用性。其相同之处在于每份数据需要分发给k个节点，即每份数据需要一个节点集完成存储。增大节点集，可提高数据可用性，但增加存储开销和带宽。根据现有文献大致将现有复制方法分为三类：邻居节点复制，路径复制和基于特性复制。

邻居节点复制

一致性哈希表中的节点需要存储其他m个节点的信息，构成查询表。根据所选择路由协议不同，查询表中节点的ID间隔可能会不一样，因此根据DHT不同的路由算法，可衍生出降低查询(Lookup/Routing)算法复杂度的邻居节点复制方法。相关邻居节点复制方法主要有以下两类：前继/后继复制(PR/SR)和叶子复制(LR)。

路径复制法

将文件复制到查询路径经过的所有节点上，称为路径复制法。受控更新传播CUP协议，将文件复制到查询路径经过的所有节点中，而在响应搜索查询时，异步建立索引项缓存，然后传播索引项更新来维护这些缓存。

基于特性法

可以根据节点间的相关性、标识符关联度及基于时区、队列请求比的聚类思想选择节点副本集。A.Ghodsi.at al提出一种基于标识符的复制策略，其核心思想是基于函数r:I×F→I defined as:r(i,f_r)＝i⊕(f_r-1)N/f_r将系统中的每个标识符i与r个其他标识符相关联(r为复制因子)，再将标识符i上的数据复制到与其相关的标识符节点上。通过聚类将节点集分割成r+1个子集,再将数据复制到r个子集中；以可用性作为相关性衡量标准，将数据副本分配到r对相关性最小的节点对上。

综上所述，现有技术存在的问题是：仅专注于一个特定的DHT系统，提出相关的数据放置策略，从而提高系统抗毁性，即大部分方案不具有普遍适应性。

(1)结构化P2P存储是一种分布式存储，在不需要服务器的情况下，每个客户端负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储,如CAN，Pastry，Chord。DHT系统的动态性可能会导致路由失效、存储资源丢失或覆盖网络中节点维护资源的不一致性现象。

(2)大部分存储策略只能提高特定系统的抗毁性。

(3)大部分策略只是单纯地从数据放置策略出发，提高数据可用性。并未综合的考虑查询及维护措施，提出一整套的提高系统抗毁性的机制。

解决上述技术问题的难度和意义：本发明不仅从放置策略出发，尽可能地均衡系统负载；根据不同的P2P系统的查询表选择路由协议及相关节点映射，提高查询效率；同时提出两种应用于不同环境中维护策略，大大提高了系统的抗毁性。本发明的一整套提高数据可用性的存储策略，可适用于不同系统中，具有普遍性和高抗毁性。

发明内容

针对现有技术存在的问题，本发明提供了一种提高P2P数据存储抗毁性的均衡方法及系统。

本发明是这样实现的，一种提高P2P数据存储抗毁性的均衡方法，包括：

进行分发机制：通过hash函数将参与节点的IP地址映射成线性空间的数据，再根据复制因子对此空间进行区域分割；再根据所选择DHT系统路由协议对应的查询表及区块信息，将数据副本映射到相应节点上，确定每个区域都包含一份数据副本；

进行查询及一致性维护机制：先根据请求节点的键值确定包含副本节点的最近区域，再由给定DHT系统中的路由协议决定基础一致性维护策略、周期性一致性维护策略。

进一步，基础一致性维护策略，包括：

在数据更新、节点加入或离开系统时被触发；当节点i加入时，根据所选择DHT系统的路由协议修改节点i-1和节点i+1的查询表,若节点i+1中存储键值，再以key(i)为界，进行划分，将小于key(i)的数据迁移到节点i上，最后更新节点i的查询表；

当节点i离开时，需要先对节点i+1进行预警，告知节点i+1修改查询表并将节点i中的数据迁移到节点i+1上，再修改节点i-1的查询表；当源数据更新时，采用一对一负责法，修改副本节点上的数据。

进一步，周期性一致性维护策略包括：

根据系统设定的时间间隔TI定期触发动荡条件下的系统容错性；

每份数据的源节点定期联系所有副本节点，维护相关数据的一致性，同时确定每个节点只维护存储在副本节点上的key值。

进一步，分发机制的方法具体包括：

步骤一，通过hash函数初始化各节点IP；

步骤二，设定判断区域值增加与否的标签flag＝0；

步骤三，按复制因子对数据节点进行区域划分；

步骤四，查找一个既属于查询表又不在当前区域中的节点，将其放入复制节点集；

步骤五，重复步骤四，直到复制节点集大小等于复制因子数。

本发明的另一目的在于提供一种实现所述提高P2P数据存储抗毁性的均衡方法的计算机程序。

本发明的另一目的在于提供一种实现所述提高P2P数据存储抗毁性的均衡方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的提高P2P数据存储抗毁性的均衡方法。

本发明的另一目的在于提供一种实现所述提高P2P数据存储抗毁性的均衡方法的提高P2P数据存储抗毁性的均衡控制系统，包括：

应用层用户接口；

中间层：区域创建模块(根据复制因子对系统中的节点进行区域分割)、数据分发模块(采用hash函数、给定系统查询表等相关信息，将数据尽可能的映射到合适的存储节点上)、一致性维护模块(基础一致性维护-一对一维护措施和周期一致性维护-在数据更新、节点加入或离开系统时被触发，提高系统的抗毁性)；

协议层：路由协议(与给定系统的特性有关)。

本发明的另一目的在于提供一种搭载所述提高P2P数据存储抗毁性的均衡控制系统的信息数据处理终端。

综上所述，本发明的优点及积极效果为：

(1)提出了包含区域和分配两大模块的分发机制，此算法不仅可应用于仿真环境设计下的网络规模中，也可应用于更大型的系统中。参考查询表的数据复制方法提高了具体DHT系统的查询效率，且便于源节点进行数据维护。

(2)提出了基于不同触发条件的维护协议，有效的减少了维护开销。其中离开节点预警措施，提高了高动荡环境下的系统鲁棒性。

(3)除常用的评估指标外，设计了一个静态性能指标-数据可用性，评估算法在蓄意攻击和随机攻击下系统数据的存在状态。

(4)扩展了OMNet++，并在其上搭建两种协议的仿真环境，对不同算法进行评估，验证BRBZs算法性能的优越性。

本发明中，先通过对现有参考文献提出的复制策略进行分析，提出一种基于分区思想的均衡复制策略-BRBZs，其主要由数据副本分发机制、查询机制和一致性维护机制三部分组成。再将其应用于DHT系统中的Chord和Pastry协议下，并与不同复制策略进行比较，评估高流失率下系统的容错性性能。

本发明首次将性能评价指标分为动态与静态两种性能指标，对算法的评估更加全面、准确。仿真结果表明本发明提出的复制策略不仅具有较好的数据可用性、较高的查询效率和极低的查询失败率，还具有良好的可扩性，可适用于不同规模的系统中。同时，由于算法可用于不同DHT系统的协议中，即应用此算法的系统所对应的用户接口可基于不同协议，便于管理与维护。

对于大规模的分布式存储，结构化P2P网络可以提供一个有效且容错性高的数据存储平台，此类系统的设计难点之一是动荡情况下系统的容错性性能。在本发明中，本发明首先分析了解决churn问题的不同复制方法，然后基于分区的思想提出一种应用于所有DHT系统的新型复制策略-均衡复制策略(BRBZs)。本发明应用OMNet++搭建仿真环境，在Chord和Pastry两种路由协议下，对基于churn问题的不同复制策略进行仿真，结果显示均衡复制策略在平均跳数、数据有用性和查询失败率方面都有较好的churn容错性。

附图说明

图1是本发明实施例提供的提高P2P数据存储抗毁性的均衡方法流程图。

图2是本发明实施例提供的提高P2P数据存储抗毁性的均衡系统示意图。

图3是本发明实施例提供的Chord协议中的分发示意图。

图4是本发明实施例提供的副本数对平均跳数的影响图。

图中：(a)、Chord协议下副本数对平均跳数的影响；(b)，Pastry协议下副本数对平均跳数的影响。

图5是本发明实施例提供的副本数对数据有效性的影响图。

图6是本发明实施例提供的副本数对查询失败率的影响图。

图中：(a)、Chord协议下副本数对查询失败率的影响；(b)，Pastry协议下副本数对查询失败率的影响。

图7是本发明实施例提供的动荡率对平均跳数的影响图。

图中：(a)、Chord协议下动荡率对平均跳数的影响；(b)，Pastry协议下动荡率对平均跳数的影响。

图8是本发明实施例提供的动荡率对查询失败率的影响图。

图中：(a)、Chord协议下动荡率对查询失败率的影响；(b)，Pastry协议下动荡率对查询失败率的影响。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

结构化P2P存储是一种分布式存储，在不需要服务器的情况下，每个客户端负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储,如CAN，Pastry，Chord。DHT系统的动态性可能会导致路由失效、存储资源丢失或覆盖网络中节点维护资源的不一致性现象。

如图1所示，本发明实施例提供的提高P2P数据存储抗毁性的均衡方法，包括：

S101：进行分发机制：通过hash函数将参与节点的IP地址映射成线性空间的数据，再根据复制因子对此空间进行区域分割；再根据所选择DHT系统路由协议对应的查询表及区块信息，将数据副本映射到相应节点上，确定每个区域都包含一份数据副本；

S102：进行查询及一致性维护机制：先根据请求节点的键值确定包含副本节点的最近区域，再由给定DHT系统中的路由协议决定基础一致性维护策略、周期性一致性维护策略。

下面结合具体分析对本发明作进一步描述。

1、基于分区的平衡复制策略

每类方法优缺点各不同，只有基于特性法的复制策略可应用于结构化的P2P系统中，为了在高流失率下保证数据的可用性并减少负载费用，本发明基于分区思想提出一种将文件副本均匀映射到相应节点上的复制策略-平衡复制法(BRBZs)。此算法不仅提高了不同区域失效情况下节点的可用性，且由于用户接口适用于不同DHT协议，便于管理。此算法由副本分发机制、查询机制和一致性维护机制组成。其中分发机制主要负责对系统进行分区后，均匀的将副本发明件映射到相应节点上；搜索机制与选择的具体路由算法有关；一致性维护策略主要负责维护由更新或网络动荡导致的数据不一致问题。可将应用此算法的DHT系统分为应用层、中间层及路由协议层，如图2所示。

1.1分发机制

均衡复制策略的核心思想是将系统中的节点根据复制因子，分割成不同的区域，保证每个区域里都有一份数据副本。首先，通过hash函数将参与节点的IP地址映射成线性空间的数据，再根据复制因子对此空间进行区域分割；最后为尽可能减少查询跳数，需根据所选择DHT系统路由协议对应的查询表及区块信息，将数据副本映射到相应节点上，并保证每个区域都包含一份数据副本，分发示例见图3Chord协议中的分发示意图(r＝4,m＝4)。

1.2查询及一致性维护机制

由于设计的副本分发机制适用于任何DHT系统，为了减少查询跳数并提高均衡复制算法整体的一般性，先根据请求节点的键值确定包含副本节点的最近区域，再由给定DHT系统中的路由协议决定具体的查询机制。由于任一副本节点都在其上一副本节点的查询表中，即可以使源节点负责第一个副本节点，第一个副本节点负责第二个，…，依此类推，最后一个负责源节点，使得副本的度及系统中文件的可用性和一致性可进行检测，且降低了维护开销。

基础一致性维护策略：在数据更新、节点加入或离开系统时被触发。当节点i加入时，根据所选择DHT系统的路由协议修改节点i-1和节点i+1的查询表,若节点i+1中存储键值，再以key(i)为界，对其进行划分，将小于key(i)的数据迁移到节点i上，最后更新节点i的查询表；当节点i离开时，需要先对节点i+1进行预警，即告知节点i+1修改其查询表并将节点i中的数据迁移到节点i+1上，再修改节点i-1的查询表；当源数据更新时，采用上述一对一负责法，修改副本节点上的数据。

周期性一致性维护策略：根据系统设定的时间间隔TI定期触发，提高动荡条件下的系统容错性。每份数据的源节点定期联系其所有副本节点，以维护相关数据的一致性，同时确定每个节点只维护了存储在其上的key值。

下面结合性能评估对本发明作进一步描述。

2.性能评估

为证明BRBZs的通用性，本发明用相同评价参数对不同DHT系统进行评估。考虑到路径复制难以保证最小的复制度，且有较大的存储开销、较低的节点利用率，分别选择基于Chord路由协议的PR、SR方法和基于Pastry路由协议的LR方法为参照，在OMnet++[30]仿真平台上进行多次仿真试验，与本发明提出的复制方法进行性能对比。

假设系统初始由N个节点构成，Chord和Pastry中的标识符长度m＝6,Pastry中b＝2,所有节点加入网络，并完成数据分发机制，即每个key被复制r(复制因子)次，设置查询消息总数为1200条，每次实验由初始载入阶段开始。以平均跳数、数据可用性、查找失败率，作为评价指标。

2.1副本数量的影响

在动荡率恒定的情况下(0.4)改变副本数量，通过平均跳数、数据可用性、查询失败率三种评价参数评估副本数量对算法的影响。众所周知，副本数量与churn下鲁棒性成正比，但考虑到其与存储空间、维护开销成反比，设定副本数分别为0,2,4,8.

首先，评估其对平均跳数的影响。从图4副本数对平均跳数的影响，可以看出，无论何种复制方法，平均跳数与副本数变化的总趋势是平均跳数随着副本数的增加而减少。同时，对比Chord路由协议，由于Pastry路由协议的查询表引入了叶子节点和邻居节点集合的概念，BRBZs在Pastry中平均跳数较小，，加快了路由查找速度，降低了平均跳数。

图5是副本数对数据可用性的影响，主要评估蓄意攻击环境下副本数量对于系统中存在可用文件概率的影响。同时，由于数据可用性主要与数据分发机制有关，可直接比较四种算法的数据可用性，无需考虑DHT系统的不同路由协议。由于均衡复制策略在分发阶段根据副本数对空间进行划分并保证划分的每块区域都包含有一份副本数据，使得BRBZs算法的数据可用性都最高。若综合考虑存储开销和蓄意攻击下的数据可用性，复制算法的优越性为BRBZs>PR>SR>LF。

最后，评估副本数对查询失败率的影响。从图6副本数对查询失败率的影响。可以得出，查询失败率和副本数量成反比。初始化1200条查询消息，在设定分发阶段存在均匀分布的丢包率情况下，由于均衡复制的分发策略和一致性维护策略，使得无论基于Chord路由还是Pastry路由，其查询失败率最低。若在一定的动荡环境下同时考虑存储开销和查询失败率，副本数为4是较优解。

2.2动荡率的影响

动荡的强弱可以影响DHT系统的性能，增大副本节点集合可以减弱这些影响。因此固定副本数为4，分别分析在Chord和Pastry路由协议下,动荡(0.1,0.2,0.3,0.4,0.5)对不同算法的性能影响。

由图7可以得出，随着参与节点的减少，平均跳数随之增加。考虑最坏的情况，即在最少的副本数或最大的动荡比条件下，由图4和图7可以得出副本数对平均跳数的影响大于动荡率对其的影响。

图8为不同动荡率对查询失败率的影响。随着参与节点的减少，查询失败率随之增加。由于BRBZs均衡的分发机制和维护机制中的数据迁移方法，对于任何一种DHT系统，其都有最低的查询失败率。

下面结合效果对本发明作进一步描述。

对于大规模的分布式存储，结构化P2P网络可以提供一个有效且容错性高的数据存储平台，此类系统的设计难点之一是动荡情况下系统的容错性性能。在本发明中，本发明首先分析了解决churn问题的不同复制方法，然后基于分区的思想提出一种应用于所有DHT系统的新型复制策略-均衡复制策略(BRBZs)。本发明应用OMNet++搭建仿真环境，在Chord和Pastry两种路由协议下，对基于churn问题的不同复制策略进行仿真，结果显示均衡复制策略在平均跳数、数据有用性和查询失败率方面都有较好的churn容错性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种提高P2P数据存储抗毁性的均衡方法，其特征在于，所述提高P2P数据存储抗毁性的均衡方法包括：

进行分发机制：通过hash函数将参与节点的IP地址映射成线性空间的数据，再根据复制因子对此空间进行区域分割；再根据所选择DHT系统路由协议对应的查询表及区块信息，将数据副本映射到相应节点上，确定每个区域都包含一份数据副本；

进行查询及一致性维护机制：先根据请求节点的键值确定包含副本节点的最近区域，再由给定DHT系统中的路由协议决定基础一致性维护策略、周期性一致性维护策略；

基础一致性维护策略，包括：

在数据更新、节点加入或离开系统时被触发；当节点i加入时，根据所选择DHT系统的路由协议修改节点i-1和节点i+1的查询表,若节点i+1中存储键值，再以key(i)为界，进行划分，将小于key(i)的数据迁移到节点i上，最后更新节点i的查询表；

当节点i离开时，需要先对节点i+1进行预警，告知节点i+1修改查询表并将节点i中的数据迁移到节点i+1上，再修改节点i-1的查询表；当源数据更新时，采用一对一负责法，修改副本节点上的数据；

周期性一致性维护策略包括：

根据系统设定的时间间隔TI定期触发动荡条件下的系统容错性；

每份数据的源节点定期联系所有副本节点，维护相关数据的一致性，同时确定每个节点只维护存储在副本节点上的key值。

2.如权利要求1所述的提高P2P数据存储抗毁性的均衡方法，其特征在于，分发机制的方法具体包括：

步骤一，通过hash函数初始化各节点IP；

步骤二，设定判断区域值增加与否的标签flag＝0；

步骤三，按复制因子对数据节点进行区域划分；

步骤四，查找一个既属于查询表又不在当前区域中的节点，将其放入复制节点集；

步骤五，重复步骤四，直到复制节点集大小等于复制因子数。

3.一种实现权利要求1～2任意一项所述提高P2P数据存储抗毁性的均衡方法的信息数据处理终端。

4.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-2任意一项所述的提高P2P数据存储抗毁性的均衡方法。

5.一种实现权利要求1所述提高P2P数据存储抗毁性的均衡方法的提高P2P数据存储抗毁性的均衡控制系统，其特征在于，所述提高P2P数据存储抗毁性的均衡控制系统包括：

应用层：用户接口；

中间层：区域创建模块、数据分发模块、一致性维护模块；区域创建模块根据复制因子对系统中的节点进行区域分割；数据分发模块采用hash函数、给定系统查询表等相关信息，将数据尽可能的映射到合适的存储节点上；一致性维护模块基础一致性维护-一对一维护措施和周期一致性维护-在数据更新、节点加入或离开系统时被触发，提高系统的抗毁性；

协议层：路由协议，路由协议与给定系统的特性有关。

6.一种搭载权利要求5所述提高P2P数据存储抗毁性的均衡控制系统的信息数据处理终端。

Images