CN103763363A - 一种云存储系统及基于该系统的文件副本部署方法 - Google Patents

一种云存储系统及基于该系统的文件副本部署方法 Download PDF

Info

Publication number
CN103763363A
CN103763363A CN201410016140.8A CN201410016140A CN103763363A CN 103763363 A CN103763363 A CN 103763363A CN 201410016140 A CN201410016140 A CN 201410016140A CN 103763363 A CN103763363 A CN 103763363A
Authority
CN
China
Prior art keywords
node
internal node
peripheral
cloud storage
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410016140.8A
Other languages
English (en)
Other versions
CN103763363B (zh
Inventor
付雄
贡晓杰
朱鑫鑫
王汝传
季一木
韩志杰
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zeshi Technology Co.,Ltd.
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201410016140.8A priority Critical patent/CN103763363B/zh
Publication of CN103763363A publication Critical patent/CN103763363A/zh
Application granted granted Critical
Publication of CN103763363B publication Critical patent/CN103763363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云存储系统及基于该系统的文件副本部署方法,用于提高云存储中数据的可靠性和可用性,属于分布式计算和云存储技术领域。本发明针对分散式云计算模型的入口服务器节点,根据各服务器节点到入口节点的最小通信代价,以及根据自身的负载波动率所得到的最优路径的带宽流畅度,对整个云计算模型进行分群;然后根据副本的读写比率,对副本进行合理的放置。本发明从整体上降低了网络的通信代价,同时提高了副本可用性。本发明技术方案无论在存储空间利用率上还是在通信代价上相比于传统的副本放置方案有更大的优势。

Description

一种云存储系统及基于该系统的文件副本部署方法
技术领域
本发明涉及一种云存储系统及基于该系统的文件副本部署方法,用于提高云存储中数据的可靠性和可用性,属于分布式计算和云存储技术领域。
背景技术
随着计算机技术和网络技术的发展,Internet的规模不断的扩大,网络带宽也在不断的提高。Internet的快速发展,各种各样的信息被网罗其中,形成了一个巨大广阔的信息空间,海量的数据存放在这个空间中。
传统的集中式存储系统把数据存放在一个单一的设备上,所有对数据的访问和请求都要通过该设备。这种做法造成该设备的负载较大,成为系统的瓶颈,不能满足大规模存储对可靠性和安全性的需要。如何去存储这些数据,让用户能够快速高效的找到和获取自己所需要的资源,是互联网发展必须要解决的问题之一。
在此背景下,云存储作为一种全新的解决方案被提出。云存储系统通过集群应用,网格技术或分布式文件系统等技术,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
在云存储系统中,数据副本是其重要的组成部分。如何构建一个较好的副本存储模型,如何管理这些数据副本资源是云存储系统数据副本管理的重要任务。将数据副本部署到合适的服务器节点,能够有效提高数据的访问速度、降低网络带宽消耗和均衡系统负载,同时可以保持数据较高的可用率。
云存储中的副本管理技术根据系统的需求并通过监控系统的参数指标对副本资源进行动态规划、调整,是影响云计算系统性能的核心要素之一。当前云存储特别是基于HDFS架构的云存储系统在该方面仍然存在着一些不足。首先基于HDFS架构的云存储系统在选择副本放置时是随机选择的,这样没有考虑用户访问的通信代价。其次,一些常规的放置策略只是在现有模型中对副本实行代价最优放置,但是在当今海量数据面前,针对热门数据,最优路径显然不够用,大量请求不是走最优路径,必须把带宽流畅度加入副本部署的考虑因素中,因此研究一种新型云存储副本管理模型及部署方案具有重要意义。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种云存储系统及基于该系统的文件副本部署方法,可以有效的提高文件副本的可用率。
本发明的云存储系统,包括服务器集群,所述服务器集群包括m个外围节点和n个内部节点,n、m均为大于1的整数;外围节点作为入口节点,不存储文件副本,所有文件副本只存储于内部节点;每个内部节点均维护有以下三类信息:该内部节点到各外围节点的最小通信代价路径、该内部节点到各外围节点的最小通信代价、该内部节点的相邻节点信息;所述服务器集群被按照以下方法分为m个群:
首先将m个外围节点一一对应地划分给这m个群;然后将第i个内部节点RNi归入
max ( W ( i , 1 ) V RN i LN 1 , W ( i , 2 ) V RN i LN 2 , . . . , W ( i , j ) V RN i LN j , . . . , W ( i , m ) V RN i LN m ) 所对应的外围节点所在的群,i=1,2,…,n,j=1,2,…,m;
其中,W(i,j)为内部节点RNi到第j个外围节点LNj的权重,其表达式如下:
W ( i , j ) = 1 d RN i , LN j × Π { RN t | RN t ∈ Path RN i LN j } 1 Num ( S RN t ) Σ z = 1 m ( Π { RN t | RN t ∈ Path RN i LN Z } 1 Num ( S RN t ) )
式中,
Figure BDA0000456850610000023
表示内部节点RNi到外围节点LNj的最小通信代价,
Figure BDA0000456850610000024
表示表示内部节点RNi到外围节点LNj的最小通信代价路径,
Figure BDA0000456850610000025
表示内部节点RNi的相邻节点集合
Figure BDA0000456850610000026
中的元素个数;
Figure BDA0000456850610000027
为内部节点RNi到外围节点LNj的带宽流畅度,其表达式如下:
V RN i LN j = ( Δ LN j - E ) 2 + Σ RN t ∈ Path RN i LN j ( Δ RN t - E ) 2 Num ( Path RN i LN j )
式中, E = Δ LN j + Σ RN t ∈ Path RN i LN j Δ RN t Num ( Path RN i LN j ) ,
Figure BDA00004568506100000213
表示内部节点RNi到外围节点LNj的最小通信代价路径
Figure BDA00004568506100000210
中元素的个数,
Figure BDA00004568506100000211
Figure BDA00004568506100000212
分别为内部节点RNt、外围节点LNj的负载波动率;
定义任意一个群Gj的相邻群为
Figure BDA0000456850610000031
k为大于1小于m的整数,且k≠j, RN G j ‾ = { RN i | RN i ∈ ∪ t = 1 Num ( G j ) - 1 S R N t , RN i ∉ G j } , Num(Gj)表示群Gj中节点的个数,
Figure BDA0000456850610000033
表示内部节点RNt的相邻节点集合。
一种基于上述云存储系统的文件副本部署方法,对于需要增加新的副本的文件F,首先计算文件F在一段时间内被读访问次数与被写访问次数的比值RWTF,并判断RWTF是否大于一预设的阈值,如是,则首先确定文件F的主副本Fp所在的内部节点RNFp所属群GFp的相邻群集合
Figure BDA0000456850610000034
并比较内部节点RNFp
Figure BDA0000456850610000035
中各群的外围节点的最小通信代价,选出各最小通信代价中最小的外围节点所在的群然后从群
Figure BDA0000456850610000037
中选出到群GFp中的外围节点
Figure BDA0000456850610000038
的各最小通信代价中最小的内部节点,并将文件F新的副本部署于该内部节点;如否,则在文件F的主副本Fp所在的内部节点RNFp所属群GFp中找出所有与内部节点RNFp相邻的内部节点,并从中找出到群GFp中的外围节点
Figure BDA0000456850610000039
的各最小通信代价中最小的内部节点,将文件F新的副本部署于该内部节点。
相比现有技术,本发明具有以下有益效果:
本发明针对云存储中的文件副本放置,提出了一种基于入口节点的分群思想,在分群的时候考虑到选取的最优路径以及最优路径上的带宽流畅度,来判断当前节点的归属;在副本放置时,考虑到当前文件的读写比,根据读写的情况来均衡负载与一致性维护的代价,进而从整体上降低了网络的通信代价,从而更好的提高了副本可用性。本发明技术方案无论在存储空间利用率上还是在通信代价上相比于传统的副本放置方案有更大的优势。
附图说明
图1为云存储系统的结构示意图;
图2为本发明的文件副本部署方法的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
传统的拥有超级节点服务器的p2p网络虽然易于管理、易于发现网络节点、搜索速度较快。但是,存在单点失效问题,一旦中央服务器出现故障,整个网络将陷于瘫痪。没有超级节点的分散式云计算网络则没有单点失效问题,任何一个节点退出网络或出现故障,都不会造成显著影响。然而现有的云存储的文件副本放置方法一味的考虑到成本代价最小化,忽略了云计算环境下请求数量剧增,而最优路径带宽往往不够用,针对热点副本,绝大部分请求可能不走最优路径,如何兼顾通信代价与带宽流畅度从而从整体上提高云存储模型的性能是我们必须要考虑的问题。
针对以上问题,本发明提出了一种新的云存储系统模型以及基于该模型的文件副本部署方法,其原理是:针对分散式云计算模型的入口服务器节点,根据各内部服务器节点到入口节点的最小通信代价,以及根据自身的负载波动率所得到的最优路径的带宽流畅度,对整个云计算模型进行分群;然后根据副本的读写比率,对副本进行合理的放置,这样可以保证系统性能保持较优的状态,且易于管理。
图1显示了典型云存储系统的结构,如图所示,云存储系统中包含服务器集群,而服务器集群中的服务器节点可分为外围节点和内部节点这两类,外围节点是只有一个相邻节点的节点,而内部节点则至少有两个相邻节点。在本发明的云存储系统中,用户请求均是以外围节点作为入口节点,外围节点本身不部署文件副本,各副本分布于各内部节点。每个内部节点均维护有以下三类信息:该内部节点到每个外围节点的最小通信代价路径、该内部节点到每个外围节点的最小通信代价、该内部节点的相邻节点信息。所有服务器节点按照外围节点的数目进行分群,每个群中只包括一个外围节点。具体的分群可按照以下方法:
步骤1、云存储系统的服务器集群可表示为U={RN1,RN2,…,RNn,LN1,LN2,…,LNm},RNi(0<i≤n)表示至少有2个相邻的节点的内部节点,LNj(0<j≤m)表示该模型的外围节点,据此模型,用户请求均是从外围节点作为入口节点,各文件副本分布于各内部节点,两个相邻节点之间的通信代价为
Figure BDA0000456850610000041
步骤2、用两相邻节点之间的通信代价作为它们的“距离”,根据迪杰斯特拉算法计算出每个内部节点RNi到每个外围节点LNj的最小通信代价路径(“最短”路径)和最小通信代价
Figure BDA0000456850610000043
(最小通信代价
Figure BDA0000456850610000044
即为经由最小通信代价路径实现通信的代价),每个内部节点RNi(0<i≤n)将维护3类信息,分别是它到每个外围节点LNj的最小通信代价序列 D i = ( d RN i , LN 1 , d RN i , LN 2 , . . . , d RN i , LN j ) , 到每个外围节点LNj的最小通信代价路径 Path RN i LN j = { RN i , RN i 1 , RN i 2 , . . . , LN j } 以及它的相邻节点的集合 S RN i = { BN i 1 , BN i 2 , . . . , BN ik } ( 1 &le; k &le; n , BN ik &Element; U ) .
步骤3、根据服务器集群U中的各节点的负载波动率Δu(u∈U)以及其所维护的到达外围节点的最小通信代价序列Di、最小通信代价路径
Figure BDA0000456850610000054
给服务器集群进行分群,针对每个内部节点RNi(0<i≤n),可以知道它到各个外围节点LNj(0<j≤m)的最小通信代价路径上的各个节点的信息以及最小通信代价,由公式(1)可以得到节点RNi(0<i≤n)到各个外围节点LNj(0<j≤m)的权重W(i,j):
W ( i , j ) = 1 d RN i , LN j &times; &Pi; { RN t | RN t &Element; Path RN i LN j } 1 Num ( S RN t ) &Sigma; z = 1 m ( &Pi; { RN t | RN t &Element; Path RN i LN Z } 1 Num ( S RN t ) ) ( 0 < i &le; n , 0 < j &le; m ) - - - ( 1 )
其中
Figure BDA0000456850610000056
表示
Figure BDA0000456850610000057
中的元素个数。
步骤4、系统检测每个内部节点RNi(0<i≤n)在T1时间点的负载为在T2时间点的负载为
Figure BDA0000456850610000059
根据公式(2)可以得到该节点在时间T1到时间T2内的负载波动率
Figure BDA00004568506100000510
同理,可以得到外围节点在时间T1到时间T2内的负载波动率
Figure BDA00004568506100000511
&Delta; u = L u ( T 1 ) - L u ( T 2 ) T 1 - T 2 - - - ( 2 )
步骤5、由每个服务器节点的负载波动率
Figure BDA00004568506100000513
根据公式(3)可以求得每个节点RNi(0<i≤n)到外围节点的最小通信代价路径上各节点的平均负载波动率E,然后根据公式(4)可以得到内部节点RNi(0<i≤n)到各外围节点LNj(0<j≤m)的最小通信代价路径的负载波动方差
Figure BDA00004568506100000514
用来表示内部节点RNi到外围节点LNj的带宽流畅度。
E = &Delta; LN j + &Sigma; RN t &Element; Path RN i LN j &Delta; RN t Num ( Path RN i LN j ) - - - ( 3 )
V RN i LN j = ( &Delta; LN j - E ) 2 + &Sigma; RN t &Element; Path RN i LN j ( &Delta; RN t - E ) 2 Num ( Path RN i LN j ) - - - ( 4 )
其中
Figure BDA0000456850610000063
表示
Figure BDA0000456850610000064
集合中元素的个数。
步骤6、根据每个内部节点RNi(0<i≤n)到外围节点的最小通信代价路径的负载波动情况和权重W(i,j)对整个服务器节点进行分群,每个群存在1个外围节点。可以得到针对RNi(0<i≤n)的序列 ( W ( i , 1 ) V RN i LN 1 , W ( i , 2 ) V RN i LN 2 , . . . , W ( i , m ) V RN i LN m ) ( 0 < i &le; n ) , 将其降序排列,然后将RNi(0<i≤n)归并入 max ( W ( i , 1 ) V RN i LN 1 , W ( i , 2 ) V RN i LN 2 , . . . , W ( i , m ) V RN i LN m ) ( 0 < i &le; n ) 所对应的外围节点所在的群中,最后可以得到如下的分群情况。
G j = G 1 = { LN 1 , RN 11 , RN 12 , . . . , RN 1 j 1 } , G 2 = { LN 2 , RN 21 , RN 22 , . . . , RN 2 j 2 } &CenterDot; &CenterDot; &CenterDot; G m = { LN m , RN m 1 , R m 2 , . . . , RN m j m } ( 0 < j &le; m )
根据每个内部节点RNi维护的相邻节点信息
Figure BDA0000456850610000069
可以得到群Gj的相邻群外节点 RN G j &OverBar; = { RN i | RN i &Element; &cup; t = 1 Num ( G j ) - 1 S R N t , RN i &NotElement; G j } , 其中Num(Gj)表示Gj集合中元素的个数,由
Figure BDA00004568506100000611
可以得到群Gj的相邻群 { G k | RN G j &OverBar; &Element; G k } ( 0 < k < m , k &NotEqual; j ) .
至此即完成了本发明云存储系统的构建,上述分群过程可动态进行,从而可根据系统中节点负载波动的变化适时调整节点的分群情况。
步骤7、云存储系统中所存储的每个文件F存在一个主副本Fp,Fp不能移动和删除且不置于外围节点中,当文件F的可用率低于系统设定值时表示需要增加Fp的副本,根据文件F在时间t内的读写请求数可以得到其读写比率RWTF,由系统可知当前主副本Fp存在于服务器节点RNFp中。根据读写比率RWTF与一个预设阈值的比较结果确定新增文件副本的部署位置,具体如下:
如果读写比率RWTF超过1,表示当前文件的读请求次数大于写请求次数。由上述分群模型可以得到当前内部节点RNFp存在群GFp中,GFp的相邻群为 G Fp &OverBar; = { G k | RN G Fp &OverBar; &Element; G k } ( 0 < k < m , k &NotEqual; j ) , 当前主副本位于内部节点RNFp中,由内部节点维护的最小通信代价序列可以得到RNFp到相邻群
Figure BDA0000456850610000072
的各外围节点的最小通信代价集合为 D RN Fp G Fp &OverBar; = { d RN Fp , LN j | LN j &Element; G Fp &OverBar; } , 将集合
Figure BDA0000456850610000074
中的元素进行升序排列,从中选出各最小通信代价中最小的群
Figure BDA0000456850610000075
从选出的群
Figure BDA0000456850610000076
中的内部节点集合
Figure BDA0000456850610000077
中选出到Fp所在的群GFp的外围节点
Figure BDA00004568506100000712
的各最小通信代价中最小的节点,即代价为 min { d RN i , LN G Fp | RN i &Element; min ( G Fp &OverBar; ) } 的节点,将副本置于其中。
如果读写比率RWTF不超过1,表示当前文件的读请求次数不大于写请求次数。根据Fp所在内部节点RNFp维护的相邻节点信息可以得到RNFp的相邻节点集合为
Figure BDA0000456850610000079
在位于本群的相邻节点中找出到外围节点
Figure BDA00004568506100000710
的各最小通信代价中最小的节点,即代价为 min { d RN i , LN G Fp | RN i &Element; S R N Fp , RN i &Element; G Fp } 的节点,将副本置于其中。
上述整个文件副本部署的流程如图2所示。
本发明一方面可以有效的从整体性能上对副本进行管理,另一方面,针对海量请求的可能的不同路径组合,考虑到通信代价的最优以及当前服务器的负载波动率,可以动态的将副本部署在适合的群中,当副本读多写少时,尽量将其部署于不同的群来均衡流量,当副本读少写多时,尽量将其和主副本部署于同一个群中,来减少一致性更新的代价。
这种分群式存储模型,很大程度上降低了网络带宽的要求,而且能够保持较高的可用性。此外最重要的是这种存储模式,可以保障在副本节点同时出现故障的情况下,仍能较快地实现数据的恢复,保障了数据的可用性。

Claims (4)

1.一种云存储系统,包括服务器集群,所述服务器集群包括m个外围节点和n个内部节点,n、m均为大于1的整数;其特征在于,外围节点作为入口节点,不存储文件副本,所有文件副本只存储于内部节点;每个内部节点均维护有以下三类信息:该内部节点到各外围节点的最小通信代价路径、该内部节点到各外围节点的最小通信代价、该内部节点的相邻节点信息;所述服务器集群被按照以下方法分为m个群:
首先将m个外围节点一一对应地划分给这m个群;然后将第i个内部节点RNi归入 max ( W ( i , 1 ) V RN i LN 1 , W ( i , 2 ) V RN i LN 2 , . . . , W ( i , j ) V RN i LN j , . . . , W ( i , m ) V RN i LN m ) 所对应的外围节点所在的群,i=1,2,…,n,j=1,2,…,m;
其中,W(i,j)为内部节点RNi到第j个外围节点LNj的权重,其表达式如下:
W ( i , j ) = 1 d RN i , LN j &times; &Pi; { RN t | RN t &Element; Path RN i LN j } 1 Num ( S RN t ) &Sigma; z = 1 m ( &Pi; { RN t | RN t &Element; Path RN i LN Z } 1 Num ( S RN t ) )
式中,
Figure FDA0000456850600000013
表示内部节点RNi到外围节点LNj的最小通信代价,表示表示内部节点RNi到外围节点LNj的最小通信代价路径,
Figure FDA0000456850600000015
表示内部节点RNi的相邻节点集合中的元素个数;
Figure FDA0000456850600000017
为内部节点RNi到外围节点LNj的带宽流畅度,其表达式如下:
V RN i LN j = ( &Delta; LN j - E ) 2 + &Sigma; RN t &Element; Path RN i LN j ( &Delta; RN t - E ) 2 Num ( Path RN i LN j )
式中, E = &Delta; LN j + &Sigma; RN t &Element; Path RN i LN j &Delta; RN t Num ( Path RN i LN j ) ,
Figure FDA00004568506000000110
表示内部节点RNi到外围节点LNj的最小通信代价路径中元素的个数,
Figure FDA00004568506000000112
Figure FDA00004568506000000113
分别为内部节点RNt、外围节点LNj的负载波动率;
定义任意一个群Gj的相邻群为
Figure FDA00004568506000000114
k为大于1小于m的整数,且k≠j, RN G j &OverBar; = { RN i | RN i &Element; &cup; t = 1 Num ( G j ) - 1 S R N t , RN i &NotElement; G j } , Num(Gj)表示群Gj中节点的个数,
Figure FDA0000456850600000022
表示内部节点RNt的相邻节点集合。
2.如权利要求1所述云存储系统,其特征在于,所述内部节点RNi到外围节点LNj的最小通信代价路径及最小通信代价利用迪杰斯特拉算法得到。
3.一种基于权利要求1或2所述云存储系统的文件副本部署方法,其特征在于,对于需要增加新的副本的文件F,首先计算文件F在一段时间内被读访问次数与被写访问次数的比值RWTF,并判断RWTF是否大于一预设的阈值,
如是,则首先确定文件F的主副本Fp所在的内部节点RNFp所属群GFp的相邻群集合
Figure FDA0000456850600000023
并比较内部节点RNFp中各群的外围节点的最小通信代价,选出各最小通信代价中最小的外围节点所在的群
Figure FDA0000456850600000025
然后从群
Figure FDA0000456850600000026
中选出到群GFp中的外围节点的各最小通信代价中最小的内部节点,并将文件F新的副本部署于该内部节点;
如否,则在文件F的主副本Fp所在的内部节点RNFp所属群GFp中找出所有与内部节点RNFp相邻的内部节点,并从中找出到群GFp中的外围节点
Figure FDA0000456850600000028
的各最小通信代价中最小的内部节点,将文件F新的副本部署于该内部节点。
4.如权利要求3所述文件副本部署方法,其特征在于,所述阈值为1。
CN201410016140.8A 2014-01-14 2014-01-14 一种云存储系统及基于该系统的文件副本部署方法 Active CN103763363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410016140.8A CN103763363B (zh) 2014-01-14 2014-01-14 一种云存储系统及基于该系统的文件副本部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410016140.8A CN103763363B (zh) 2014-01-14 2014-01-14 一种云存储系统及基于该系统的文件副本部署方法

Publications (2)

Publication Number Publication Date
CN103763363A true CN103763363A (zh) 2014-04-30
CN103763363B CN103763363B (zh) 2017-01-11

Family

ID=50530522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410016140.8A Active CN103763363B (zh) 2014-01-14 2014-01-14 一种云存储系统及基于该系统的文件副本部署方法

Country Status (1)

Country Link
CN (1) CN103763363B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN104994136A (zh) * 2015-05-26 2015-10-21 重庆房慧科技有限公司 大规模社区的数据存储优化方法及系统
CN105049475A (zh) * 2015-05-26 2015-11-11 重庆房慧科技有限公司 大规模社区的数据高效存储优化方法及系统
CN105068755A (zh) * 2015-07-08 2015-11-18 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
CN106576078A (zh) * 2014-08-26 2017-04-19 Ctera网络有限责任公司 用于在云存储系统中路由数据流的方法和系统
CN107153696A (zh) * 2017-05-08 2017-09-12 郑州云海信息技术有限公司 一种面向云存储的数据副本放置方法
CN108833531A (zh) * 2018-06-12 2018-11-16 合肥工业大学 一种基于数据中心能耗和网络能耗的数据放置方法
CN108924203A (zh) * 2018-06-25 2018-11-30 深圳市金蝶天燕中间件股份有限公司 数据副本自适应分布方法、分布式计算系统及相关设备
CN110365783A (zh) * 2019-07-18 2019-10-22 深圳市网心科技有限公司 文件部署方法及装置、网络节点及存储介质
CN112637330A (zh) * 2020-12-22 2021-04-09 山东大学 区块链大文件副本选址方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274762A1 (en) * 2009-04-24 2010-10-28 Microsoft Corporation Dynamic placement of replica data
CN102375893A (zh) * 2011-11-17 2012-03-14 浪潮(北京)电子信息产业有限公司 一种分布式文件系统及其建立副本的方法
CN102457571A (zh) * 2011-09-15 2012-05-16 中标软件有限公司 一种云存储中数据均衡分布方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274762A1 (en) * 2009-04-24 2010-10-28 Microsoft Corporation Dynamic placement of replica data
CN102457571A (zh) * 2011-09-15 2012-05-16 中标软件有限公司 一种云存储中数据均衡分布方法
CN102375893A (zh) * 2011-11-17 2012-03-14 浪潮(北京)电子信息产业有限公司 一种分布式文件系统及其建立副本的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张胜伟: "云存储中副本冗余技术的研究", 《无线互联科技》 *
董继光 等: "大规模云存储系统副本布局研究", 《计算机应用》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN103997512B (zh) * 2014-04-14 2017-06-30 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
US11216418B2 (en) 2014-08-26 2022-01-04 Ctera Networks, Ltd. Method for seamless access to a cloud storage system by an endpoint device using metadata
US11016942B2 (en) 2014-08-26 2021-05-25 Ctera Networks, Ltd. Method for seamless access to a cloud storage system by an endpoint device
CN106576078B (zh) * 2014-08-26 2020-06-23 Ctera网络有限责任公司 用于在云存储系统中路由数据流的方法和系统
CN106576078A (zh) * 2014-08-26 2017-04-19 Ctera网络有限责任公司 用于在云存储系统中路由数据流的方法和系统
US10642798B2 (en) 2014-08-26 2020-05-05 Ctera Networks, Ltd. Method and system for routing data flows in a cloud storage system
CN104994136B (zh) * 2015-05-26 2018-10-09 重庆房慧科技有限公司 大规模社区的数据存储优化方法及系统
CN105049475B (zh) * 2015-05-26 2018-10-30 重庆房慧科技有限公司 大规模社区的数据高效存储优化方法及系统
CN105049475A (zh) * 2015-05-26 2015-11-11 重庆房慧科技有限公司 大规模社区的数据高效存储优化方法及系统
CN104994136A (zh) * 2015-05-26 2015-10-21 重庆房慧科技有限公司 大规模社区的数据存储优化方法及系统
CN105068755B (zh) * 2015-07-08 2017-10-03 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
CN105068755A (zh) * 2015-07-08 2015-11-18 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
CN107153696A (zh) * 2017-05-08 2017-09-12 郑州云海信息技术有限公司 一种面向云存储的数据副本放置方法
CN108833531A (zh) * 2018-06-12 2018-11-16 合肥工业大学 一种基于数据中心能耗和网络能耗的数据放置方法
CN108924203A (zh) * 2018-06-25 2018-11-30 深圳市金蝶天燕中间件股份有限公司 数据副本自适应分布方法、分布式计算系统及相关设备
CN108924203B (zh) * 2018-06-25 2021-07-27 深圳市金蝶天燕云计算股份有限公司 数据副本自适应分布方法、分布式计算系统及相关设备
CN110365783A (zh) * 2019-07-18 2019-10-22 深圳市网心科技有限公司 文件部署方法及装置、网络节点及存储介质
CN112637330A (zh) * 2020-12-22 2021-04-09 山东大学 区块链大文件副本选址方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN103763363B (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN103763363A (zh) 一种云存储系统及基于该系统的文件副本部署方法
CN110166567B (zh) 一种基于区块链的物联网资源共享方法及系统
Zhu et al. Efficient, proximity-aware load balancing for DHT-based P2P systems
US8812653B2 (en) Autonomous intelligent workload management
CN103345508B (zh) 一种适用于社会网络图的数据存储方法及系统
CN103218233B (zh) Hadoop异构集群中的数据分配策略
CN103150347A (zh) 基于文件热度的动态副本管理方法
CN103106253B (zh) 一种MapReduce计算模型中基于遗传算法的数据平衡方法
CN105808634A (zh) 分布式映射化简网络
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN104539730B (zh) 一种hdfs中面向视频的负载均衡方法
CN109299056B (zh) 一种基于分布式文件系统的数据同步方法和装置
CN105183561A (zh) 一种资源分配方法和系统
CN105975378A (zh) 一种面向超级计算机的分布式层次化自主监控管理系统
CN110119405B (zh) 分布式并行数据库资源管理方法
CN106126340A (zh) 一种跨数据中心云计算系统的规约器选择方法
CN103905517A (zh) 一种数据存储方法及设备
CN102480502B (zh) 一种i/o负载均衡方法及i/o服务器
Mansouri et al. Hierarchical data replication strategy to improve performance in cloud computing
CN106155785B (zh) 一种跨数据中心云计算系统的数据迁移方法
CN106528265A (zh) 基于分布式san存储架构的虚拟机管理方法及系统
Taghizadeh et al. A metaheuristic‐based data replica placement approach for data‐intensive IoT applications in the fog computing environment
CN113835823A (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN101800768B (zh) 一种基于存储联盟子集划分的网格数据副本生成方法
Hao et al. Evaluation of nine heuristic algorithms with data‐intensive jobs and computing‐intensive jobs in a dynamic environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180803

Address after: 100013 11, 1 anding Gate Street, Chaoyang District, Beijing (anzhen incubator C218)

Patentee after: Beijing Jiangjiang science and Technology Center (limited partnership)

Address before: 210046 new model road 66, Nanjing, Jiangsu

Patentee before: Nanjing Post & Telecommunication Univ.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201130

Address after: Room 203-1, 2 / F, building 1, yard 1, Shangdi East Road, Haidian District, Beijing 100089

Patentee after: Beijing Zeshi Technology Co.,Ltd.

Address before: 100013 11, 1 anding Gate Street, Chaoyang District, Beijing (anzhen incubator C218)

Patentee before: Beijing Jiangjiang science and Technology Center (L.P.)

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A cloud storage system and a file copy deployment method based on the system

Effective date of registration: 20211020

Granted publication date: 20170111

Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee

Pledgor: Beijing Zeshi Technology Co.,Ltd.

Registration number: Y2021990000991