CN104317669B

CN104317669B - 一种云端异构存储系统及其数据副本管理方法

Info

Publication number: CN104317669B
Application number: CN201410553604.9A
Authority: CN
Inventors: 徐小龙; 邵军; 章韵; 金仙力; 李爱群
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Camry (Suzhou) information Polytron Technologies Inc
Priority date: 2014-10-17
Filing date: 2014-10-17
Publication date: 2017-03-15
Anticipated expiration: 2034-10-17
Also published as: CN104317669A

Abstract

本发明公开了一种云端异构存储系统，属于分布式数据存储与数据管理技术领域。本发明云端异构存储系统包括核心层、云内层、边缘层，所述核心层为管理云节点SN，云内层为普通云节点CN，边缘层为边缘节点PN；所述SN、CN、PN相互之间通过网络进行信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN进行管理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个CN存储与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数据副本属性信息。本发明还公开了上述云端异构存储系统的数据副本管理方法。相比现有技术，本发明可有效避免服务器端性能瓶颈与单点失效问题，缓解系统负载压力。

Description

一种云端异构存储系统及其数据副本管理方法

技术领域

本发明涉及一种云端异构存储系统及其数据副本管理方法，属于分布式数据存储与数据管理技术领域。

背景技术

随着Internet技术的快速发展，互联网上的数据如海啸般迎面扑来，单纯的同构环境处理数据的能力变得越来越不能满足数据处理的需求；作为目前两种典型的网络计算模式，云计算和对等计算技术分别侧重于利用集群服务器端的资源和网络边缘节点的资源。考虑到经济效应，云服务器高昂的价格决定了其数量的有限性，访问过于频繁便会出现服务器端的瓶颈问题；而纯对等计算环境下，每一个节点的地位都是一样的，每个节点的承受能力基本相同导致没有负责节点，整体系统的管理比较复杂。

随着数据的海量增加，分布式存储系统的负担越来越重。考虑到云服务器与端节点的特点，如果能够更加充分利用网络中集群服务器和边缘节点上的存储资源，并使两者互联互通融合于一个云端异构存储系统中，并结合有效的数据副本管理策略，则可有效避免服务器端性能瓶颈与单点失效问题，从而有效缓解系统负载压力。有研究者近期提出了一种PA_Cloud存储架构[沈静波.基于P2P和云计算的动态内容管理研究[D].合肥：中国科学技术大学，2011.4]，其基本思想是通过利用P2P技术在服务提供商的核心云外延构建由用户节点构成的扩展云结构，实现了一部分的负载转嫁，降低了云端服务器的负载。但是文中并没有将核心层中云节点进行有效的角色分工，而是笼统的构建成了Chord环，这样一来并不能在用户提出数据块访问请求时迅速地定位到此数据块的所有数据副本存储地址和存储节点的属性信息以便快递选择目标节点进行访问；同样在数据块创建时也不能很迅速的选择出数据块的管理节点。而对于扩展云中的用户节点，文中提出的架构并没有有效的管理扩展云中的节点，在对扩展云中的节点提出访问请求时不能迅速定位到目前负载较小的端节点进行访问。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种云端异构存储系统及其数据副本管理方法，可有效避免服务器端性能瓶颈与单点失效问题，缓解系统负载压力。

本发明具体采用以下技术方案：

一种云端异构存储系统，包括核心层、云内层、边缘层，所述核心层为管理云节点SN，云内层为普通云节点CN，边缘层为边缘节点PN；所述SN、CN、PN相互之间通过网络进行信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN进行管理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个CN存储与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数据副本属性信息。

如上所述云端异构存储系统的数据副本管理方法，包括副本创建、副本访问以及数据清除；所述副本创建具体如下：

步骤1、SN接收到用户发出的数据块存储请求后，首先选择剩余容量最大的一个CN作为该数据块的管理节点，并将该数据块从用户端上传并部署到选定的CN，作为该数据块的第一个副本，然后更新SN所保存的相应信息；

步骤2、SN根据该数据块的重要性确定部署在其它CN上的该数据块的副本数量n，n为大于等于1的整数，数据块的重要性越高，n的值越大；

步骤3、SN从除数据块的管理节点以外的其它CN中选择剩余容量最大的n个CN并将所选定的这n个CN的信息传给该数据块的管理节点，所选择的n个CN中包括该数据块的管理节点的备份节点；该数据块的管理节点复制该数据块的副本并分别部署至这n个CN；部署完成后，SN、该数据块的管理节点以及这n个CN分别更新各自所保存的相应信息；

步骤4、该数据块的管理节点根据该数据块的重要性确定部署在PN上的该数据块的副本数量m，并从自身所管理的可用的PN中选择剩余容量最大的m个PN；m为大于等于1的整数，数据块的重要性越高，m的值越大；

步骤5、被选中的m个PN分别在本地部署该数据块的副本；部署完成后，该数据块的管理节点、所选中的m个PN分别更新各自所保存的相应信息；

步骤6、该数据块的管理节点的备份节点更新自身所保存的相应信息。

进一步地，所述副本访问具体如下：

步骤1、SN接收到用户发出的数据块访问请求后，首先查找该数据块的管理节点，然后通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点；

步骤2、SN按照以下方法从所确定的该数据块的所有副本中选择访问目标：如果该数据块的各副本的存储节点中既有CN又有PN，则从这些PN中选择一个剩余容量最大的，并以所选择PN上存储的该数据块的副本作为访问目标；如果该数据块的各副本的存储节点中仅有CN，则从这些CN中选择一个剩余容量最大的，并以所选择CN上存储的该数据块的副本作为访问目标；

步骤3、如用户对访问目标进行了修改，则更新该数据块的所有副本后转步骤4；否则，直接转步骤4；

步骤4、该数据块的各副本所在的CN和PN分别更新各自所保存的相应信息；

步骤5、该数据块的管理节点的备份节点更新自身所保存的相应信息。

更进一步地，所述数据清除具体如下：

步骤1、SN接收到用户发出的数据块删除请求后，首先查找该数据块的管理节点，然后通过该数据块的管理节点确定该数据块的所有副本及相应的存储节点；

步骤2、SN依次访问该数据块各副本所在的存储节点并删除该数据块相应的副本；

步骤3、全部副本删除后，SN以及该数据块的所有副本的存储节点分别更新自身所保存的相应信息；

步骤4、该数据块的管理节点的备份节点更新自身所保存的相应信息。

进一步地，所述数据副本管理方法还包括副本复制和副本减少；所述副本复制具体如下：各CN定期检查自身所管理的每个数据块的所有副本在当前周期内被访问的总次数与该数据块的副本总数之间的比值，如该比值大于预设阈值，则SN复制该数据块的一个新副本，并从该数据块的管理节点所管理的可用PN中选择一个此前未部署该数据块副本的剩余容量最大的PN，将该新副本部署在所选择的PN中；所述副本减少具体如下：任一数据块的某个副本如在预设周期内一直未被访问，则将该副本删除。

相比现有技术，本发明具有以下有益效果：

(1)本发明的云端异构存储系统模型明确了管理云节点、普通云节点、端节点之间的分工，管理关系更加清晰和明朗。

(2)本发明的云端异构存储系统模型可有效的管理云节点与端节点上所部署的数据副本，包括存储、访问、查询、修改等。

(3)本发明的数据副本管理方法能有效的提高系统的可靠性，同时能够有效的利用边缘节点，减少云节点的负载压力，使得整个系统达到负载均衡的状态。

(4)本发明云端异构存储系统采取的三层结构使得系统更加的稳定，数据的访问将更加高效，节点与节点之间的交互也更加的方便快捷。

附图说明

图1为本发明云端异构存储系统的系统架构示意图；

图2为本发明云端异构存储系统的数据副本部署示意图；

图3为本发明云端异构存储系统的副本创建流程示意图；

图4为本发明云端异构存储系统的副本复制流程示意图；

图5为本发明云端异构存储系统的副本只读访问流程示意图；

图6为本发明云端异构存储系统的副本修改访问流程示意图；

图7为本发明云端异构存储系统的副本减少流程示意图；

图8为本发明云端异构存储系统的数据清除流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

一、系统架构

本发明云端异构存储系统的系统架构如图1所示，其在三维空间里的平面图似雪花状，空间上分为三层架构，包括核心层、云内层、边缘层，其中管理云节点SN为核心层的节点，普通云节点CN为云内层的节点，边缘节点PN为边缘层的节点。下面对各层节点进行详细说明。

1、管理云节点

在本发明的存储模型架构设计中，SN位于核心层，主要存储数据块的元数据信息，同时还有所有的数据块直接管理者CN的属性信息。SN存储与管理的信息如表1和表2所示。

系统中的数据块与负责管理该数据块及其副本的普通云节点之间的对应索引信息如表1所示，作为全局宏观的元数据管理者SN，管理着所有作为数据块的直接管理者与存储者的CN。

表1 数据块及其管理者索引表

字段	注释
		BID	数据块标识
NID	负责管理数据的云节点标识

SN存储和管理数据块直接管理者即普通云节点的信息，如表2所示。

表2 普通云节点属性信息表

字段	注释
		NID	节点标识
Capacity	节点剩余容量
		Status	节点状态
Backup	备份云节点标识

2、普通云节点

普通云节点(CN)位于云内层，负责存储与管理数据块及其副本信息，以及存储与管理其所管辖的边缘节点的信息。

CN作为数据块的直接管理节点，存储和管理着数据块的属性信息，包括数据块标识、数据块的等级以及数据块所有副本的全局被访问次数。

表3表示CN上存储着该CN直接管理的数据块的数据块标识、数据块等级以及该数据块所有副本的全局被访总次数。

表3 数据块信息表

字段	注释
		BID	CN直接管理的数据块标识
Level	数据块等级(1代表重要、2代表不重要)
		Access	该数据块所有副本的全局被访总次数

对于一个数据块，最终需要用户的访问的基本单位是数据块的副本，所以CN还存储与管理数据块对应的所有副本的标识以及其所在的存储节点标识，如表4所示。

表4 数据副本信息表

字段	注释
		BID.RID	数据副本标识
NID	数据副本的存储节点标识

CN作为数据副本的实际存储节点，本地也存储着若干数据副本，CN的本地数据副本存储信息如表5所示，包括副本在本地节点辅存上的存储位置和副本的本地访问次数。

表5 CN本地数据副本信息表

CN还作为边缘层节点的管理节点。边缘层节点按IP地址划分为若干组，每个CN管辖一个PN组。CN存储着所管辖PN组中所有节点的属性信息，如表6所示。

表6 端节点属性信息表

字段	注释
		NID	节点标识
Capacity	节点的剩余容量
		Status	节点状态，包括可用和不可用两种状态

3、边缘节点(或称端节点)

PN位于边缘层，只作为存储节点存储和管理本地的数据副本及其属性信息，如表7所示。

表7 PN本地数据副本信息表

二、数据副本管理方法

在云存储系统中，需要进行副本的存储、副本的访问等操作，本发明的数据副本管理方法中，数据块被分为不同的重要性等级，数据块的重要性越高，其副本数量越大。本发明云端异构存储系统的数据副本部署如图2所示，非重要数据块B₁的副本B₁R₀放置于该数据块的管理节点C₁，数据块B₁还拥有另外的一个CN节点放置副本B₁R₁，在C₁负责管理的PN中，PN_1,1、PN_1,3分别存储着数据块B₁的另外两个副本B₁R₂、B₁R₃；重要重要数据块B₂的副本B₂R₀放置于其管理节点C₄，数据块B₂还拥有另外的两个CN节点分别放置副本B₂R₁、B₂R₂，同时在C₄负责的PN中，PN_4,1、PN_4,2、PN_4,4也分别存储数据块B₂的另外三个副本B₂R₃、B₂R₄、B₂R₅。

本发明的数据副本管理同样包括副本创建、副本访问以及数据清除，具体如下：

副本创建：当用户发出新的数据块的创建请求，首先SN给出响应，查询自身存储的CN信息表，找到对应的CN作为数据块的直接管理节点。选定这个CN后，将数据副本部署在CN上，作为第一个副本。为了保证数据块的可用性，避免数据块仅有的一个副本失效，根据数据块的等级，放置若干副本在其他的CN上。并且，为了进一步保证数据块的可用性，降低云内层节点的负载压力，继续在边缘层部署副本，选择若干PN放置副本。

副本访问：系统中的副本被访问，分为只读性访问和非只读性访问。用户对副本的处理结果会有以下几种：副本访问(只读)、副本修改；首先在SN中查找索引表找到副本对应数据块的管理节点、访问管理节点找到此数据块的所有副本所在的节点，然后选择对应节点上的副本进行访问、修改。

数据清除：当数据块所有者因为某种原因需要彻底删除数据块，向系统发出数据块清除指令。首先SN检索相关信息找到副本对应数据块的管理节点，然后找到此数据块的所有副本所在的节点，访问副本所在节点，依次删除所有副本，然后更新相关列表。

此外，本发明的副本管理方法还包括副本复制和副本减少，具体如下：

副本复制：系统中的数据块的副本经过一段时间被访后便可能会出现过热问题，有必要对过热数据块增加新的副本，各CN定期检查自身所管理的每个数据块的所有副本在当前周期内被访问的总次数与该数据块的副本总数之间的比值，如该比值大于预设阈值，则SN复制该数据块的一个新副本，并从该数据块的管理节点所管理的可用PN中选择一个此前未部署该数据块副本的剩余容量最大的PN，将该新副本部署在所选择的PN中。

副本减少：当副本长时间不被访问，则有必要对该副本进行删除，以减少副本数量，降低存储资源消耗，即任一数据块的某个副本如在预设周期内一直未被访问，则将该副本删除。

为便于公众理解，下面一个具体实施例来对本发明的数据副本管理方法进行详细介绍。

副本创建

步骤1、用户发出标识BID为B_i+1的数据块存储请求，SN给予响应，SN接到该数据块部署请求后，检索普通云节点属性信息表的详细表，详见表8，Capacity一列中的数字表示存储单位，每存储一个副本需要一个存储单位。例如：2表示两个单位。

比较各个CN的剩余容量Capacity，选择剩余容量最大的CN₁作为B_i+1的管理节点，将数据块从用户端上传并部署到选定的CN₁上，成为该数据块的第一个副本。然后，更新数据块及其管理者索引表，增加B_i+1与其管理者CN₁信息，详见表9。然后转步骤2；

表8 普通云节点的属性信息表详细表

NID	Capacity	Status	Backup
				CN₁	20	1	CN₂
CN₂	15	1	CN₅
				CN₃	18	1	CN₁
...	...	...	....
				CN_j	10	1	CN_j+1
CN_j+1	11	0	CN₃

表9 增加B_i+1与其管理者CN₁后的数据块及其管理者索引表

BID	NID
		B₁	CN₁
B₂	CN₂
		…	…
B_i	CN_j
		B_i+1	CN₁

步骤2、继续创建B_i+1在系统中其它CN上的n个副本：首先判断数据块等级Level，如果是重要数据块，即Level＝1，则确定至少2个副本在其他CN上，如果是非重要副本Level＝2，则可确定至多2份副本在其他CN即可。此处数据块B_i+1的Level为1，需要再另外选择两个CN。转步骤3；

步骤3、SN依次选择除去数据块管理节点CN₁外的其它CN，查看剩余容量较大的n个节点，此处n为2，分别是CN₂、CN₃。然后检索普通云节点属性信息表，检查B_i+1的管理节点CN₁是否有备份节点。若无，从这n个节点中选择Capacity最大的节点作为该数据块管理节点CN₁的备份节点backup，否则不需要再设置备份节点；此处CN₁的备份节点为CN₂，不需另行设置。SN将选定CN₂、CN₃节点标识传送给数据块管理节点CN₁。CN₁将数据副本依次复制并部署到CN₂、CN₃上，部署成功后更新SN上的普通云节点属性信息表中CN₁、CN₂、CN₃的Capacity，详见表10。同时要更新CN₁上的数据块信息表，插入新数据块B_i+1的Level和Access信息，详见表11；更新CN₁上的数据副本信息表，增加B_i+1的副本存储地址信息，详见表12；更新CN本地数据副本信息表：插入数据副本B_i+1.R₁在CN₁上的存储信息，详见表13；插入数据副本B_i+1.R₂在CN₂的存储信息，详见表14；插入数据副本B_i+1.R₃在CN₃的存储信息，详见表15。

表10 更新CN₁、CN₂、CN₃的Capacity后的普通云节点的属性信息表

表11 插入新数据块B_i+1的Level和Access信息后的数据块信息表

BID

Level

Access

B₁	2	3
			B_i+1	1	0

表12 增加B_i+1的副本存储地址信息后的数据副本信息表

BID.RID	NID
		B_i+1.R₁	CN₁
B_i+1.R₂	CN₂
		B_i+1.R₃	CN₃

表13 CN₁上插入数据副本B_i+1.R₁的存储信息后的CN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₁	/D/block/B_i+1.R₁	0

表14 CN₂上插入数据副本B_i+1.R₂的存储信息后的CN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₂	/D/block/B_i+1.R₂	0

表15 CN₃上插入数据副本B_i+1.R₃的存储信息后的CN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₃	/D/block/B_i+1.R₃	0

步骤4、数据副本在云内层部署完成后，继续在边缘层部署。设根据该数据块重要性确定需在边缘层部署的副本数量m，m为大于等于1的整数，数据块的重要性越高，m的值越大。CN₁选择其所管辖的PN具体依据包括：1、节点可用，即其状态Status＝1；2、节点的剩余容量是该CN负责的所有PN中较大的。CN₁负责的PN为PN₁组。此处m假定为2。查询端节点属性信息表详细表，详见表16，按照上述条件选定的PN为PN_1，0和PN_1,1。

表16 端节点属性信息表详细表

NID	Capacity	Status
			PN_1，0	2	1
PN_1,1	1	1
			…	2	0
PN_1,j	0	1
			PN_1,j+1	1	1

步骤5、被选中的2个PN在本地部署该数据块的副本，更新CN₁上的数据副本信息表，增加副本B_i+1.R₄、B_i+1.R₅的存储地址信息，详见表17；更新CN₁上的端节点属性信息表，更新PN_1,0、PN_1,1的Capacity，详见表18；分别在PN_1，0、PN_1,1上更新本地的副本存储信息，详见表19、表20。

表17 增加副本B_i+1.R₄、B_i+1.R₅的存储地址信息后的数据副本信息表

BID.RID	NID
		B_i+1.R₁	CN₁
B_i+1.R₂	CN₂
		B_i+1.R₃	CN₃
B_i+1.R₄	CN₄
		B_i+1.R₅	CN₅

表18 更新PN_1,0、PN_1,1的Capacity后的端节点属性信息表

表19 新增B_i+1.R₄后的PN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₄	/D/block/B_i+1.R₄	0

表20 新增B_i+1.R₅后的PN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₅	/D/block/B_i+1.R₅	0

步骤6、将表11中B_i+1的存储信息、表17中B_i+1.R₁～B_i+1.R₅的存储信息、表18中PN_1,0、PN_1,1的Capacity的信息，相应的在CN₁的备份节点CN₂中更新。

上述副本创建的流程如图3所示。

副本复制

步骤1、每隔一个同步周期(T)，数据块的管理者CN会检查数据块信息表中的Access；并检索表数据副本信息表得到数据块的总副本数目count(BID.RID)；

步骤2、数据副本的全局访问总次数Access(即该数据块的所有副本在当前周期T内被访问的总次数)与数据副本的总数目之比，达到预设的安全阈值时，即B_i+1.Access/count(BID.RID)达到阈值α时，系统便为这样的数据块复制新的副本；

步骤3、系统发出标识为B_i+1的数据副本复制请求，SN响应请求，查询数据块及其管理者索引表，获得B_i+1的管理节点CN₁；

步骤4、访问CN₁，检索最新的数据副本信息表，即表17，查看B_i+1的所有副本及其对应的位置，记录其中的PN，即PN_1,0、PN_1,1；

步骤5、检索最新的端节点属性信息表，即表18，找到CN₁所负责管理的除PN_1,0、PN_1,1以外的PN中Status为1的PN，并且选择Capacity最大的一个PN，即PN_1,j+1，复制新副本B_i+1.R₆，从CN₁上复制并部署到PN_1,j+1上。

步骤6、副本复制完成后，更新PN_1,j+1上的PN本地数据副本信息表，详见表21；同时更新CN₁上数据副本信息表，详见表22，更新端节点属性信息表，更新PN_1,j+1的Capacity信息，详见表23。

步骤7、表22中B_i+1.R₆的存储信息、表23中PN_1,j的Capacity的信息，相应的在备份节点CN₂中更新。

表21 复制新副本B_i+1.R₆后的PN本地数据副本信息表

BID.RID	Address	Access
			B_i+1.R₆	/D/block/B_i+1.R₆	0

表22 复制新副本B_i+1.R₆后的数据副本信息表

BID.RID	NID
		B_i+1.R₁	CN₁
B_i+1.R₂	CN₂
		B_i+1.R₃	CN₃
B_i+1.R₄	PN_1,0
		B_i+1.R₅	PN_1,1
B_i+1.R₆	PN_1,j+1

表23 更新PN_1,j+1的Capacity后的端节点属性信息表

上述副本复制的流程如图4所示。

副本访问—只读

步骤1、用户向系统发出数据块为B_i+1的访问请求，系统响应请求，将标识发送给SN；

步骤2、SN查询普通云节点属性信息表，找到B_i+1的管理节点CN₁；

步骤3、访问CN₁，通过查询CN₁的数据副本信息表，查找B_i+1在系统中所有副本及其存储地址标识；

步骤4、判断所有存储标识，如果既有CN又有PN，优先选取PN上存储的副本。选取依据：选择端节点剩余容量Capacity最大的一个PN作为访问目标。否则选择CN作为访问目标。若访问的是PN上的副本，访问结束时，更新PN本地存储的副本的被访次数，即PN本地数据副本信息表。否则，更新被访问CN本地存储的副本的被访次数，即CN本地数据副本信息表；按照上述规则，此处选择PN_1,0，同时更新PN本地数据副本信息表中的Access，详见表24。

表24 更新B_i+1.R₅被访次数后的PN本地数据副本信息表

步骤5、更新数据块信息表中数据副本的全局被访总次数Access，详见表25。

表25 更新数据副本全局被访总次数后的数据块信息表

步骤6、表25中B_i+1的Access信息，相应的在备份节点CN₂中更新。

上述副本只读访问的流程如图5所示。

副本修改

步骤1、存储在PN_1,1上的数据副本标识为B_i+1.R₅的副本被用户访问并且修改。

步骤2、由PN_1,1定位到其管理节点CN₁，CN₁通过查询数据副本信息表，得到B_i+1.R₅有着相同源数据块的所有副本B_i+1.R₁～B_i+1.R₄、B_i+1.R₆；

步骤3、根据步骤2的查找结果，依次访问到B_i+1.R₁～B_i+1.R₄、B_i+1.R₆的存储地址CN₁、CN₂、CN₃和PN_1,0、PN_1,j+1；

步骤4、依次访问数据副本的存储节点的本地存储地址CN₁上的/D/block/B_i+1.R₁，CN₂上的/D/block/B_i+1.R₂，CN₃上的/D/block/B_i+1.R₃和PN_1,0上/D/block/B_i+1.R₄、PN_1,j+1上的/D/block/B_i+1.R₆，修改对应的数据副本；

步骤4、修改结束后，更新PN本地数据副本信息表中副本的本地访问次数Access，每一个被放置节点上的PN本地数据副本信息表中对应副本的Access分别加1，更新数据块信息表中数据副本的全局访问总次数Access，需要加6，详见表26。

步骤5、表26中数据副本全局被访总次数Access，相应的在备份节点CN₂中更新。

表26 更新数据副本全局访问总次数Access后的数据块信息表

上述副本修改的流程如图6所示。

副本减少

步骤1、副本B_i+1.R₆经过时间T′一直没有被访问，Access在T′时间段内没有改变。系统发出对B_i+1.R₆删除指令，SN节点给出响应，检索数据块及其管理索引表，定位到数据块B_i+1的管理节点CN₁；

步骤2、访问CN₁，检索CN₁上的最新的数据副本信息表，即表22，定位到B_i+1.R₆对应的存储地址PN_1,j+1；

步骤3、访问PN_1,j+1，检索PN_1,j+1上的PN本地数据副本信息表，找到B_i+1.R₆本地存储位置/D/block/B_i+1.R₆，删除副本B_i+1.R₆；

表27 PN_1,j+1上删除B_i+1.R₆后的PN本地数据副本信息表

步骤4、删除结束后，更新PN_1,j+1上的本地数据副本信息表，删除B_i+1.R₆相关的信息，详见表27；同时删除CN₁上的数据副本信息表中B_i+1.R₆的信息，详见表28；更新CN₁上端节点属性信息表中关于PN_1,j+1的Capacity信息，详见表29。

表28 CN₁上删除B_i+1.R₆后的数据副本信息表

表29 更新CN₁中端节点属性信息表中PN_1,j+1的Capacity信息后的端节点属性信息表

步骤5、表28中删除B_i+1.R₆后的数据副本信息表的变化、表29中PN_1,j+1的Capacity的变化信息，相应的在备份节点CN₂中更新。

上述副本减少的流程如图7所示。

数据清除

步骤1、用户发出对数据块标识为B_i+1的数据块的删除指令，SN响应此指令，检索SN上数据块及其管理者索引表，定位B_i+1的直接管理节点CN₁；

步骤2、访问CN₁，检索CN₁上的数据副本信息表，定位到B_i+1对应的所有副本的存储地址；

步骤3、根据步骤2的的定位结果，依次访问所有副本的存储地址；CN₁、CN₂、CN₃、PN_1,0、PN_1,1；

步骤4、依次访问数据副本的存储节点的本地存储地址CN₁上的/D/block/B_i+1.R₁，CN₂上的/D/block/B_i+1.R₂，CN₃上的/D/block/B_i+1.R₃和PN_1,0上/D/block/B_i+1.R₄、PN_1,1上的/D/block/B_i+1.R₅，删除对应副本；

步骤5、所有副本全部删除结束，删除数据块信息表中的B_i+1信息，详见表30；删除数据副本信息表关于B_i+1副本的信息，详见表31；删除数据块及其管理者索引表中关于B_i+1的信息，详见表32。

步骤6、表30中B_i+1的变化信息、表31中B_i+1副本的变化信息，相应的在备份节点CN₂中更新。

表30 删除B_i+1后的数据块信息表

表31 删除关于B_i+1副本后的数据副本信息表

表32 删除B_i+1后的数据块及其管理者索引表

上述数据清除的流程如图8所示。

本发明技术方案明确了管理云节点、普通云节点、端节点之间的分工，能更有效管理云节点与边缘节点之间的关系，可有效提高系统的可靠性；同时利用边缘节点降低了云节点的负载压力，使整个系统达到负载均衡的状态。

Claims

1.一种云端异构存储系统的数据副本管理方法，云端异构存储系统包括核心层、云内层、边缘层，所述核心层为管理云节点SN，云内层为普通云节点CN，边缘层为边缘节点PN；所述SN、CN、PN相互之间通过网络进行信息交互；SN用于存储数据块的元数据信息以及所有CN的属性信息，并对所有CN进行管理；CN用于存储与管理数据块及数据块副本信息，各CN分别负责管理一组PN，每个CN存储与管理其所管理的PN的信息；PN只作为存储节点，存储和管理本地的数据副本及数据副本属性信息；所述数据副本管理方法包括副本创建、副本访问以及数据清除；其特征在于，所述副本创建具体如下：

2.如权利要求1所述数据副本管理方法，其特征在于，所述副本访问具体如下：

3.如权利要求2所述数据副本管理方法，其特征在于，所述数据清除具体如下：

4.如权利要求1～3任一项所述数据副本管理方法，其特征在于，还包括副本复制和副本减少；所述副本复制具体如下：各CN定期检查自身所管理的每个数据块的所有副本在当前周期内被访问的总次数与该数据块的副本总数之间的比值，如该比值大于预设阈值，则SN复制该数据块的一个新副本，并从该数据块的管理节点所管理的可用PN中选择一个此前未部署该数据块副本的剩余容量最大的PN，将该新副本部署在所选择的PN中；所述副本减少具体如下：任一数据块的某个副本如在预设周期内一直未被访问，则将该副本删除。