CN103297547A - 使用基于dht的p2p系统构建云存储辅助系统的方法 - Google Patents
使用基于dht的p2p系统构建云存储辅助系统的方法 Download PDFInfo
- Publication number
- CN103297547A CN103297547A CN201310284183XA CN201310284183A CN103297547A CN 103297547 A CN103297547 A CN 103297547A CN 201310284183X A CN201310284183X A CN 201310284183XA CN 201310284183 A CN201310284183 A CN 201310284183A CN 103297547 A CN103297547 A CN 103297547A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- dht
- message
- cloud storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008569 process Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种使用基于DHT的P2P系统构建云存储辅助系统的方法,包括以下步骤:1、在基于DHT的P2P存储系统中顺序存储数据分块;2、从基于DHT的P2P存储系统中快速读取数据;3、使用马尔可夫模型为数据动态性建模,有效预测P2P存储中的数据有效性,进行带宽分配,及重备份重要数据。本发明有效的降低由云端读取数据产生的带宽费用。
Description
技术领域
本发明涉及一种使用基于DHT(Distributed Hash Table,分布式哈希表)的P2P存储系统(简称“P2P系统”)构建云存储辅助系统的方法。
背景技术
目前,云存储服务得到了人们的广泛关注。一些实际应用的云存储也开始向公众提供服务。不同的云存储服务提供商,其收费模式也不尽相同。存在一些云存储服务,不仅对用户存储数据占用的存储空间收取费用,当用户由云端读取数据时,也需要为传输数据所占用的带宽支付费用。
发明内容
发明目的:针对上述现有技术存在的问题和不足,本发明的目的是提供一种使用基于DHT的P2P系统构建云存储辅助系统的方法,通过将使用云存储服务的用户以P2P的方式组织起来,充分利节点的带宽与存储来有效的降低由云端读取数据产生的带宽费用。
技术方案:为实现上述发明目的,本发明采用的技术方案为一种使用基于DHT的P2P系统构建云存储辅助系统的方法,该方法包括以下步骤:
(1) 顺序的存储数据块,当数据存储在P2P系统中时,被划分为大小相同的数据块并顺序的存储在使用Chord协议构成的环形结构的节点上;
(2) 读取数据,从起始节点开始,顺序向后续节点发送读取消息,到终止节点结束;同时,当节点能力有空余时,利用由Chord协议维持的路由表信息加速该读取过程;
(3) 带宽分配,当节点从系统中读取数据时,确定P2P系统是否有足够的能力为其提供服务;当P2P系统不能满足节点的请求时,节点向云存储请求数据;
(4) 数据重备份,当P2P系统需要存储新数据又没有足够空间的情况下,移除部分旧的数据,如果这部分旧的数据包含P2P系统仍需要的数据,重新备份这些数据。
进一步的,数据存储到P2P系统中时,所有的数据块按节点在环形结构上的顺序顺序存储,当节点没有足够的存储空间存储数据时,移除旧的数据块来存储新的数据块。
进一步的,当节点读取数据时,首先使用Chord协议将读取消息发送到起始节点;之后,每个收到此读取消息的节点向其后继节点转发读取消息,直到终止节点结束;当节点有空余能力时,利用由Chord协议维持的路由表信息随机向其它节点发送读取消息,其随机发送的消息数目不能超过指定阈值。
进一步的,使用马尔可夫链模型对数据的动态性建模,预测任意时刻系统中某个数据块的有效性的概率,通过这种方式可以有效的预测P2P系统的性能从而进行带宽分配。
进一步的,当P2P系统检测到某重要文件在P2P系统中的备份数小于指定阈值时,重新备份此文件。
有益效果:本发明与现有技术相比,其显著优点是:使用已取得广泛研究的结构化P2P存储系统作为云存储辅助系统,可以充分利用以前的研究成果。通过顺序的在Chord环上存储数据,可以将读取数据协议的复杂度由O(KlogN) 降到O(logN+K),实现快速的读取数据,当使用随机发送加速时,可以进一步提高读取数据效率。通过对数据的动态性建模,可以有效的预测P2P系统的性能,从而有效的进行带宽分配及重备份数据。
附图说明
图1为数据动态模型图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明可分为4个阶段:存储数据、读取数据、使用马尔可夫链模型为数据动态性建模预测数据有效性、根据分块预测信息进行带宽分配,并重备份重要数据。
阶段1:存储数据
当数据存储到系统时,首先被划分为若干个大小相等的数据块,设为K块。使用常用的哈希函数如SHA1对文件名进行哈希,得到键值 ,使用Chord协议找到负责的节点,将文件的第一个分块存储在此结点,并将第二个分块存储在节点的直接后继节点success(),依次类推。记存储最后一个分块的节点为。将(文件名,,)在目录服务器处记录。节点存储数据块时,如果当前其没有足够的存储空间存储此数据块,移除其存储空间中存在最久的数据块。通过这种方法,即完成一次存储过程。具体步骤如下:
步骤3:节点收到存储消息后,根据给定的分块序号存储相应分块。
阶段2:读取数据
节点读取数据时,首先联系目录服务器通过文件名查找相应的记录。获取记录在目录服务器的存储数据分块的起始节点与终止节点的id,即(,)。之后,使用Chord协议将读取消息路由到success()节点,记此节点为。之后,从节点开始,顺序向其后继节点发送此读取消息,直至某节点的id大于或等于后终止。具体步骤如下:
步骤4:节点检查自身是否存有需要读取的分块,如果有,则向请求数据节点传输数据。否则,直接进入下一步骤。
步骤5:节点向其后继结点发送读取分块消息。收到消息的节点进入步骤3.
当节点的能力有空余时,可以使用Chord维持的路由表信息来加速这一读取过程。根据Chord协议可以知道,系统中每个节点都记录到自身id指定距离的id的负责节点的信息。因此,每个节点除自身的后继节点外,有一定机会知道若干其他持有需要读取数据分块的节点。当开启加速模式时,节点首先按照读取文件协议向其后继节点转发读取消息,保证读取协议能够成功执行。之后,其根据给定的阈值随机的向其他节点发送此读取文件消息。假设文件被划分为K个大小相等的分块,则随机发送的阈值为的直接后继随机发送阈值相对减少1,依次类推。直至随机发送次数变为0或到达终止节点。
阶段3:使用马尔可夫链模型为数据动态性建模预测数据有效性
用户(节点)读取数据时,需要预测P2P系统的能力,当P2P系统有足够能力为用户提供服务时,用户从P2P存储中读取数据,否则,为了保障用户的服务质量,用户从云存储(或称“云端”)读取数据。
数据在ON,OFF,DEAD三个状态之间相互转换。转换关系如图所示,数据不断在状态之间转换,直至进入DEAD状态,数据在ON和OFF停留状态符合指数分布,参数分别为为数据的平均有效时间,为节点的平均无效时间,可通过对节点的在线与离线进行观测得到,为数据块(或称“分块”)的平均命周期,在系统中,通过统计分块所在节点上最新的被移除的100个分块的生命周期的均值得到。
阶段4:根据分块预测信息进行带宽分配并重备份重要数据
根据阶段3得到的数据有效性概率,可以统计出系统平均有效的数据块数目。假设存储储在系统中的文件被划分为K个数据块,则从当前系统中可获得数据块总数的期望为。通过对系统的观察,可以获得节点的平均上传带宽与平均下载带宽。基于这些数据,当系统收到用户读取数据请求时,带宽分配步骤如下:
步骤3:用户直接由云端读取所有的数据块。
在读取文件过程中,当系统检测到当前文件仍有较大数目的用户请求,但P2P存储中可得到分块数少于文件总分块数的0.3时,会启动重备份策略,保证P2P存储能尽可能的响应用户的请求。0.3来自对仿真实验的观测,在这个时候重新备份文件既可以保证由P2P端与云端提供稳定的服务,又可以最大程度降低云端的开销。
Claims (5)
1.一种使用基于DHT的P2P系统构建云存储辅助系统的方法,其特征是该方法包括以下步骤:
(1) 顺序的存储数据块,当数据存储在P2P系统中时,被划分为大小相同的数据块并顺序的存储在使用Chord协议构成的环形结构的节点上;
(2) 读取数据,从起始节点开始,顺序向后续节点发送读取消息,到终止节点结束;同时,当节点能力有空余时,利用由Chord协议维持的路由表信息加速该读取过程;
(3) 带宽分配,当节点从系统中读取数据时,确定P2P系统是否有足够的能力为其提供服务;当P2P系统不能满足节点的请求时,节点向云存储请求数据;
(4) 数据重备份,当P2P系统需要存储新数据又没有足够空间的情况下,移除部分旧的数据,如果这部分旧的数据包含P2P系统仍需要的数据,重新备份这些数据。
2.根据权利要求1所述的一种使用基于DHT的P2P系统构建云存储辅助系统的方法,其特征是:数据存储到P2P系统中时,所有的数据块按节点在环形结构上的顺序顺序存储,当节点没有足够的存储空间存储数据时,移除旧的数据块来存储新的数据块。
3.根据权利要求1所述的一种使用基于DHT的P2P系统构建云存储辅助系统的方法,其特征是:当节点读取数据时,首先使用Chord协议将读取消息发送到起始节点;之后,每个收到此读取消息的节点向其后继节点转发读取消息,直到终止节点结束;当节点有空余能力时,利用由Chord协议维持的路由表信息随机向其它节点发送读取消息,其随机发送的消息数目不能超过指定阈值。
4.根据权利要求1所述的一种使用基于DHT的P2P系统构建云存储辅助系统的方法,其特征是:使用马尔可夫链模型对数据的动态性建模,预测任意时刻系统中某个数据块的有效性的概率。
5.根据权利要求1所述的一种使用基于DHT的P2P系统构建云存储辅助系统的方法,其特征是:当P2P系统检测到某重要文件在P2P系统中的备份数小于指定阈值时,重新备份此文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284183.XA CN103297547B (zh) | 2013-07-08 | 2013-07-08 | 使用基于dht的p2p系统构建云存储辅助系统的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310284183.XA CN103297547B (zh) | 2013-07-08 | 2013-07-08 | 使用基于dht的p2p系统构建云存储辅助系统的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103297547A true CN103297547A (zh) | 2013-09-11 |
CN103297547B CN103297547B (zh) | 2016-04-06 |
Family
ID=49097850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310284183.XA Expired - Fee Related CN103297547B (zh) | 2013-07-08 | 2013-07-08 | 使用基于dht的p2p系统构建云存储辅助系统的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103297547B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544318A (zh) * | 2013-11-05 | 2014-01-29 | 浪潮(北京)电子信息产业有限公司 | 一种云数据中心文件管理方法 |
WO2016032634A1 (en) | 2014-08-29 | 2016-03-03 | Cynny Spa | Systems and methods to organize a computing system having multiple computers, distribute computing tasks among the computers, and maintain data integrity and redundancy in the computing system |
US9823985B2 (en) | 2014-08-29 | 2017-11-21 | Cynny Space Srl | Systems and methods to organize a computing system having multiple computers |
CN108965387A (zh) * | 2018-06-09 | 2018-12-07 | 西安电子科技大学 | 一种提高p2p数据存储抗毁性的均衡方法及系统 |
CN112532754A (zh) * | 2021-02-08 | 2021-03-19 | 浙江学海教育科技有限公司 | 校网文件快速服务方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175011A (zh) * | 2007-11-02 | 2008-05-07 | 南京大学 | 基于dht的p2p系统中获得高可用数据冗余的方法 |
US20100228798A1 (en) * | 2009-02-24 | 2010-09-09 | Hitachi, Ltd. | Geographical distributed storage system based on hierarchical peer to peer architecture |
-
2013
- 2013-07-08 CN CN201310284183.XA patent/CN103297547B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175011A (zh) * | 2007-11-02 | 2008-05-07 | 南京大学 | 基于dht的p2p系统中获得高可用数据冗余的方法 |
US20100228798A1 (en) * | 2009-02-24 | 2010-09-09 | Hitachi, Ltd. | Geographical distributed storage system based on hierarchical peer to peer architecture |
Non-Patent Citations (2)
Title |
---|
RADKO ZHELEV ETAL.: "《A DHT-based Scalable and Fault-tolerant Cloud Information Service》", 《UBICOMM 2011:THE FIFTH INTERNATIONAL CONFERENCE ON MOBILE UBIQUITOUS COMPUTING,SYSTEMS,SERVICES AND TECHNOLOGIES》, 20 March 2011 (2011-03-20) * |
陈贵海,等: "《基于DHT的P2P系统中高可用数据冗余机制》", 《计算机学报》, vol. 31, no. 10, 31 October 2008 (2008-10-31) * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544318A (zh) * | 2013-11-05 | 2014-01-29 | 浪潮(北京)电子信息产业有限公司 | 一种云数据中心文件管理方法 |
CN103544318B (zh) * | 2013-11-05 | 2017-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种云数据中心文件管理方法 |
WO2016032634A1 (en) | 2014-08-29 | 2016-03-03 | Cynny Spa | Systems and methods to organize a computing system having multiple computers, distribute computing tasks among the computers, and maintain data integrity and redundancy in the computing system |
US9823985B2 (en) | 2014-08-29 | 2017-11-21 | Cynny Space Srl | Systems and methods to organize a computing system having multiple computers |
US9928149B2 (en) | 2014-08-29 | 2018-03-27 | Cynny Space Srl | Systems and methods to maintain data integrity and redundancy in a computing system having multiple computers |
US10565074B2 (en) | 2014-08-29 | 2020-02-18 | Cynny Space Srl | Systems and methods to distribute computing tasks among multiple computers |
CN108965387A (zh) * | 2018-06-09 | 2018-12-07 | 西安电子科技大学 | 一种提高p2p数据存储抗毁性的均衡方法及系统 |
CN108965387B (zh) * | 2018-06-09 | 2021-04-06 | 西安电子科技大学 | 一种提高p2p数据存储抗毁性的均衡方法及系统 |
CN112532754A (zh) * | 2021-02-08 | 2021-03-19 | 浙江学海教育科技有限公司 | 校网文件快速服务方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103297547B (zh) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107332876B (zh) | 区块链状态的同步方法及装置 | |
Jiang et al. | Lightflood: an efficient flooding scheme for file search in unstructured peer-to-peer systems | |
CN103297547A (zh) | 使用基于dht的p2p系统构建云存储辅助系统的方法 | |
CN109117275B (zh) | 基于数据分片的对账方法、装置、计算机设备及存储介质 | |
CN109447603B (zh) | 一种基于区块链的海洋数据资源共享方法 | |
CN110493148A (zh) | 一种区块处理、区块共识和区块同步方法及装置 | |
CN109104289B (zh) | 基于p2p区块链的网络贡献证明共识的证明方法 | |
CN110928690B (zh) | 一种在5g网络环境下区块链数据同步和验证的方法 | |
CN103326925B (zh) | 一种消息推送方法及装置 | |
CN109905720B (zh) | 命名数据网络下基于视频点播系统的缓存替换方法 | |
CN104092758A (zh) | 一种分布式高速云存储服务器集群系统及读取方法 | |
CN101771717A (zh) | 数据库同步方法及系统 | |
CN112860799A (zh) | 一种分布式数据库数据同步的管理方法 | |
CN109525633B (zh) | 区块链网络、基于区块链网络的消息发送、消息接收方法 | |
CN102970349B (zh) | 一种dht网络的存储负载均衡方法 | |
Heo et al. | Multi-level distributed caching on the blockchain for storage optimisation | |
CN103281383A (zh) | 一种面向分布式数据源的时序信息记录方法 | |
EP3939236A1 (en) | Node and cluster management on distributed self-governed ecosystem | |
CN115658803A (zh) | 一种基于区块链的数据共享的方法 | |
CN114422526A (zh) | 一种区块同步方法、装置、电子设备和存储介质 | |
Tai et al. | Sop: Smart offloading proxy service for wireless content uploading over crowd events | |
CN105323320A (zh) | 一种内容分发的方法及装置 | |
JP4908040B2 (ja) | 情報検索方法 | |
CN104092759A (zh) | 一种分布式云存储服务器集群系统及存储方法 | |
CN113821549B (zh) | 一种基于云存储的区块链数据检索系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160406 Termination date: 20160708 |