CN104869138B - 对云存储数据文件副本自动管理的方法与装置 - Google Patents

对云存储数据文件副本自动管理的方法与装置 Download PDF

Info

Publication number
CN104869138B
CN104869138B CN201410064446.0A CN201410064446A CN104869138B CN 104869138 B CN104869138 B CN 104869138B CN 201410064446 A CN201410064446 A CN 201410064446A CN 104869138 B CN104869138 B CN 104869138B
Authority
CN
China
Prior art keywords
data file
copies
copy
access
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410064446.0A
Other languages
English (en)
Other versions
CN104869138A (zh
Inventor
龙洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201410064446.0A priority Critical patent/CN104869138B/zh
Publication of CN104869138A publication Critical patent/CN104869138A/zh
Application granted granted Critical
Publication of CN104869138B publication Critical patent/CN104869138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种对云存储数据文件副本自动管理的方法与装置。该方法包括响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;将对同一数据文件的访问次数与门限区间进行比较;如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则自动为相应数据文件的正本生成副本或自动删除部分副本;在生成数据文件副本后,同时开放数据文件的正本与副本,并为用户提供包括正本与副本的多重数据访问源;在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。本公开提高了存储系统内的数据可靠性并提升了用户体验。

Description

对云存储数据文件副本自动管理的方法与装置
技术领域
本公开涉及云存储,特别地,涉及一种对云存储数据文件副本自动管理的方法与装置。
背景技术
在云存储系统中,副本主要是保护用户容器内的对象文件或指定目录的一批文件,通过此策略进一步提升文件数据的可靠性。
当数据正本被海量频繁访问时,由于磁盘在大量读写中会出现损耗以及损坏,因此,对同一文件频繁地访问容易对单点数据文件产生损坏且访问速度将会下降,影响用户的使用感受。
发明内容
本公开鉴于以上问题中的至少一个提出了新的技术方案。
本公开在其一个方面提供了一种对云存储数据文件副本自动管理的方法,其提高了存储系统内的数据可靠性并提升了用户体验。
本公开在其另一方面提供了一种对云存储数据文件副本自动管理的装置,其提高了存储系统内的数据可靠性并提升了用户体验。
根据本公开,提供一种对云存储数据文件副本自动管理的方法,包括:
响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
将对同一数据文件的访问次数与门限区间进行比较;
如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
在生成数据文件副本后,同时开放数据文件的正本与副本,并为用户提供包括正本与副本的多重数据访问源;
在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。
在本公开的一些实施例中,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
在本公开的一些实施例中,所生成的数据文件副本的数量与访问次数成正比。
在本公开的一些实施例中,门限区间为一个或多个。
根据本公开,还提供了一种对云存储数据文件副本自动管理的装置,包括:
访问次数统计单元,用于响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
比较单元,用于将对同一数据文件的访问次数与门限区间进行比较;
副本生成与删除单元,用于如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
访问源控制单元,用于在生成数据文件副本后,同时开放数据文件的正本与副本,并为用户提供包括正本与副本的多重数据访问源,在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。
在本公开的一些实施例中,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
在本公开的一些实施例中,所生成的数据文件副本的数量与访问次数成正比。
在本公开的一些实施例中,门限区间为一个或多个。
在本公开的技术方案中,由于在设定时间内当用户对同一数据文件的访问次数增加到设定的各门限时,会根据当前统计出的访问次数对相应数据文件的正本生成指定数量的副本,在设定时间内当用户对同一数据文件的访问次数降低到设定的各门限时,会根据当前统计出的访问次数删除相应数据文件的部分副本。这样,一方面,在某个数据文件称为热点文件时,可以通过复制副本的方式为用户提供更多的访问资源,另一方面,在某个数据文件不再是热点文件时,可以通过删除部分副本的方式降低其对存储空间的冗余占用。因此,在显著提升云存储系统整体性能的同时,也降低了频繁访问同一数据文件易对数据文件造成损坏的风险。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分。在附图中:
图1是本公开实施例应用场景示意图。
图2是本公开一个实施例的对云存储数据文件副本自动管理的方法的流程示意图。
图3是本公开对云存储数据文件副本自动管理的方法的另一实施例的示意图。
图4是本公开一个实施例的对云存储数据文件副本自动管理的装置的结构示意图。
具体实施方式
下面将参照附图描述本公开。要注意的是,以下的描述在本质上仅是解释性和示例性的,决不作为对本公开及其应用或使用的任何限制。除非另外特别说明,否则,在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外,本领域技术人员已知的技术、方法和装置可能不被详细讨论,但在适当的情况下意在成为说明书的一部分。
图1是本公开实施例应用场景示意图。
本公开提出了一种对云存储数据文件副本自动管理的方法与装置,如图1所示,其通过在云存储系统内新增数据访问控制模块,对系统内的数据访问进行计数,并根据对数据文件的访问次数自动生成副本或自动删减副本,在增加副本的情况下同时开放数据文件副本的访问地址,对外为用户提供访问服务,以减轻对数据文件正本的访问压力。
通过本公开可进一步提升云存储系统的整体性能,提高系统内数据的可靠性,还可以提升用户使用云存储的访问体验与感受。
图2是本公开一个实施例的对云存储数据文件副本自动管理的方法的流程示意图。
如图2所示,该实施例可以包括以下步骤:
S202,响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
具体地,任何一个用户均可以对云存储系统内的同一数据文件进行访问,并且同一用户也可以对云存储系统内的同一数据文件访问多次,这样在短期内对同一数据文件的频繁访问一方面可能造成数据文件的损坏,另一方面,由于多个用户在短时间内多次访问同一数据文件,还可能造成访问效率较低,因此以设定时间为单位统计对每个数据文件的访问次数,以将访问次数与设定的门限区间进行比较,并进一步确定是否生成数据文件的副本以及生成多少份数据文件副本。
S204,将对同一数据文件的访问次数与门限区间进行比较;
其中,需要指出的是,门限区间可以为一个或多个。
在门限区间为一个的情况下:
门限区间 数据文件份数(正本+副本)
[1000,∞] 5
表1
即,如果在设定时间内如果对同一数据文件的访问次数大于等于1000次,则为可以为该数据文件生成5个副本。
在门限区间为多个的情况下:
门限区间 数据文件份数(正本+副本)
[0,1000] 1
[1001,5000] 3
[5001,15000] 7
[15001,∞] 10
表2
将时间统计出的访问次数与这几个门限区间进行比较,落到哪个区间就相应地生成几个数据文件副本。
S206,如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
具体地,在执行过程中存在以下几种情况:
情况一:当前该数据文件只有正本,没有副本:
在该情况下,由于该数据文件的正本与副本的数量之和为1,仍以表2为例,假设当前周期内的访问次数落在门限区间[1001,5000]内,则基于该数据文件的正本直接生成2个副本。
情况二:当前该数据文件既有正本又有副本,并且当前周期对该数据文件的访问次数相对上一周期有所增加:
在该情况下,假设该数据文件的正本与副本的数量之和为3,仍以表2为例,假设当前周期内的访问次数落在门限区间[5001,15000]内,则基于该数据文件的正本再生成4个副本即可(7-3=4)。如果当前周期内的访问次数仍落在[1001,5000]内,则不再生成新的副本。
情况三:当前该数据文件既有正本又有副本,并且当前周期对该数据文件的访问次数相对上一周前有所减少:
在该情况下,假设该数据文件的正本与副本的数量之和为10,仍以表2为例,假设当前周期内的访问次数落在门限区间[5001,15000]内,根据表2可知,与该门限区间对应的副本与正本数目之和为7个,因此,需任意删除3个数据文件副本(10-7=3)。如果当前周期内的访问次数仍落在[15001,∞]内,则不删除副本。
S208,在生成数据文件副本后,同时开放数据文件的正本与副本,并为用户提供包括正本与副本的多重数据访问源;
具体地,为了放置数据文件正本的损坏,以及提供对数据文件的访问速度,将生成的副本与正本同时开放给用户,并使这些数据文件负载均衡。
S210,在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限;
具体地,如果由于对同一数据文件访问次数的降低,需要删除相应数量的副本,以节省存储空间,并为其他需要生成副本的数据文件提供系统资源。
在该实施例中,由于在设定时间内当用户对同一数据文件的访问次数增加到设定的各门限时,会根据当前统计出的访问次数对相应数据文件的正本生成指定数量的副本,在设定时间内当用户对同一数据文件的访问次数降低到设定的各门限时,会根据当前统计出的访问次数删除相应数据文件的部分副本。这样,一方面,在某个数据文件称为热点文件时,可以通过复制副本的方式为用户提供更多的访问资源,另一方面,在某个数据文件不再是热点文件时,可以通过删除部分副本的方式降低其对存储空间的冗余占用。因此,在显著提升云存储系统整体性能的同时,也降低了频繁访问同一数据文件易对数据文件造成损坏的风险。
其中,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
进一步地,从上述实施例也可以看出,所生成的数据文件副本的数量与访问次数成正比。即在设定的时间段区间内,对同一数据文件的访问次数越高,生成的数据文件副本数目越多,反之,随着对同一数据文件访问次数的降低,随之减少相应数据文件的副本数目。
此外,需要指出的是,既可以为云存储系统内的所有数据文件设置相同的门限区间与文件数量的对应关系,也可以针对不同数据文件设置不同的门限区间与文件数量的对应关系。
图3是本公开对云存储数据文件副本自动管理的方法的另一实施例的示意图。
如图3所示,可以包括以下步骤:
用户A和用户B访问云存储系统的数据文件正本;
云存储系统内新增的数据访问控制模块对数据文件正本进行计数控制,具体地,由于元数据是云存储数据访问的起始,并且元数据是由正本所生成的,因此数据访问控制模块可以通过对元数据进行访问控制来统计访问次数;
当数据访问控制模块内统计到的计数达到阈值时,在云存储系统内为该数据文件自动生成一份或n份数据文件副本;
数据文件正本及副本同时开放,并提供多重数据访问源;
数据访问控制模块根据访问次数统计发现,当云存储系统内数据文件不再为热点数据时,数据访问控制模块根据门限区间与文件数量的对应关系将冗余的数据副本删除,并恢复之前的数据正本与副本状态。
本领域普通技术人员可以理解,实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算设备可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤,而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。
图4是本公开一个实施例的对云存储数据文件副本自动管理的装置的结构示意图。
如图4所示,该实施例中的装置40可以包括访问次数统计单元402、比较单元404、副本生成与删除单元406和访问源控制单元408。其中,
访问次数统计单元402,用于响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
比较单元404,用于将对同一数据文件的访问次数与门限区间进行比较;
副本生成与删除单元406,用于如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
访问源控制单元408,用于在生成数据文件副本后,同时开放数据文件的正本与副本,并为用户提供包括正本与副本的多重数据访问源,在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。
在该实施例中,由于在设定时间内当用户对同一数据文件的访问次数增加到设定的各门限时,会根据当前统计出的访问次数对相应数据文件的正本生成指定数量的副本,在设定时间内当用户对同一数据文件的访问次数降低到设定的各门限时,会根据当前统计出的访问次数删除相应数据文件的部分副本。这样,一方面,在某个数据文件称为热点文件时,可以通过复制副本的方式为用户提供更多的访问资源,另一方面,在某个数据文件不再是热点文件时,可以通过删除部分副本的方式降低其对存储空间的冗余占用。因此,在显著提升云存储系统整体性能的同时,也降低了频繁访问同一数据文件易对数据文件造成损坏的风险。
其中,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
进一步地,所生成的数据文件副本的数量与访问次数成正比。即,对同一数据文件的访问次数越高,生成的数据文件副本数目越多,反之,随着对同一数据文件访问次数的降低,随之减少相应数据文件的副本数目。
此外,需要指出的是,既可以为云存储系统内的所有数据文件设置相同的门限区间与文件数量的对应关系,也可以针对不同数据文件设置不同的门限区间与文件数量的对应关系。
在上述实施例中,门限区间可以为一个或多个。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处可以参见方法实施例部分的说明。
本公开上述实施例在云存储系统内新增数据访问控制功能,对云存储系统内数据访问次数进行计数控制;当对某一数据文件的访问次数达到设置阈值时,该数据文件成为热点数据,数据访问控制模块在云存储系统内为该数据文件自动生成一份或多份副本;云存储系统内的数据文件正本结合副本均可被用户所访问,提供多重一致的数据访问源,以满足来自外部的海量访问需求。
本公开通过数据访问控制模块对数据文件进行访问计数,并自动生成数据文件副本,可提高存储资源的利用效率和响应速度;通过正本、副本同时提供数据访问服务,可降低用户访问的响应时间、提高系统的性能、并进一步提高系统内数据的可靠性。
虽然已参照示例性实施例描述了本公开,但应理解,本公开不限于上述的示例性实施例。对于本领域技术人员显然的是,可以在不背离本公开的范围和精神的条件下修改上述的示例性实施例。所附的权利要求的范围应被赋予最宽的解释,以包含所有这样的修改以及等同的结构和功能。

Claims (8)

1.一种对云存储数据文件副本自动管理的方法,其特征在于,包括:
响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
将对同一数据文件的访问次数与门限区间进行比较,确定访问次数所在的门限区间对应的相应数据文件的文本数量;
如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则直接自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
在生成数据文件副本后,同时开放数据文件的正本与副本,使这些数据文件负载均衡,并为用户提供包括正本与副本的多重数据访问源;
在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。
2.根据权利要求1所述的对云存储数据文件副本自动管理的方法,其特征在于,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
3.根据权利要求1所述的对云存储数据文件副本自动管理的方法,其特征在于,所生成的数据文件副本的数量与访问次数成正比。
4.根据权利要求1所述的对云存储数据文件副本自动管理的方法,其特征在于,所述门限区间为一个或多个。
5.一种对云存储数据文件副本自动管理的装置,其特征在于,包括:
访问次数统计单元,用于响应于用户对云存储系统内任一数据文件的访问,以设定时间为周期统计对每个数据文件的访问次数;
比较单元,用于将对同一数据文件的访问次数与门限区间进行比较,确定访问次数所在的门限区间对应的相应数据文件的文本数量;
副本生成与删除单元,用于如果当前同一数据文件的正本与副本的数量之和不与访问次数所在的门限区间对应的相应数据文件的文本数量相同,则直接自动为相应数据文件的正本生成数据文件副本或自动删除相应数据文件的部分副本,以与访问次数所在的门限区间对应的相应数据文件的文本数量相等;
访问源控制单元,用于在生成数据文件副本后,同时开放数据文件的正本与副本,使这些数据文件负载均衡,并为用户提供包括正本与副本的多重数据访问源,在删除数据文件的部分副本后,关闭对这些已删除副本的访问权限。
6.根据权利要求5所述的对云存储数据文件副本自动管理的装置,其特征在于,对每个数据文件的访问次数包括对数据文件的正本访问次数与副本访问次数之和。
7.根据权利要求5所述的对云存储数据文件副本自动管理的装置,其特征在于,所生成的数据文件副本的数量与访问次数成正比。
8.根据权利要求5所述的对云存储数据文件副本自动管理的装置,其特征在于,所述门限区间为一个或多个。
CN201410064446.0A 2014-02-25 2014-02-25 对云存储数据文件副本自动管理的方法与装置 Active CN104869138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410064446.0A CN104869138B (zh) 2014-02-25 2014-02-25 对云存储数据文件副本自动管理的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410064446.0A CN104869138B (zh) 2014-02-25 2014-02-25 对云存储数据文件副本自动管理的方法与装置

Publications (2)

Publication Number Publication Date
CN104869138A CN104869138A (zh) 2015-08-26
CN104869138B true CN104869138B (zh) 2018-11-02

Family

ID=53914659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410064446.0A Active CN104869138B (zh) 2014-02-25 2014-02-25 对云存储数据文件副本自动管理的方法与装置

Country Status (1)

Country Link
CN (1) CN104869138B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107302561B (zh) * 2017-05-23 2019-08-13 南京邮电大学 一种云存储系统中热点数据副本放置方法
CN112748868A (zh) * 2019-10-31 2021-05-04 北京白山耘科技有限公司 数据存储方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137157A (zh) * 2011-02-28 2011-07-27 浪潮(北京)电子信息产业有限公司 一种云存储系统及其实现方法
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100979750B1 (ko) * 2009-11-06 2010-09-03 (주)피스페이스 분산 저장 시스템에서 파일을 관리하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137157A (zh) * 2011-02-28 2011-07-27 浪潮(北京)电子信息产业有限公司 一种云存储系统及其实现方法
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分布式并行文件系统HDFS的副本管理模型;黑继伟;《中国优秀硕士学位论文全文数据库》;20100915;第I137-10页 *

Also Published As

Publication number Publication date
CN104869138A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104281533B (zh) 一种存储数据的方法及装置
CN104462389B (zh) 基于分级存储的分布式文件系统实现方法
US10133484B2 (en) Tier based data file management
KR20110091421A (ko) QoS 기반 스토리지 계층화 및 이송을 제공하는 방법, 컴퓨터 프로그램 제품 및 스토리지 시스템
CN107729558B (zh) 文件系统碎片整理的方法、系统、装置及计算机存储介质
CN107302561B (zh) 一种云存储系统中热点数据副本放置方法
US9313270B2 (en) Adaptive asynchronous data replication in a data storage system
CN110968253B (zh) 一种数据存储方法、装置及系统
CN106406759B (zh) 一种数据存储方法及装置
KR20200067962A (ko) Ssd에 데이터를 기록하는 방법 및 장치
JP2013541083A (ja) 重複排除に基づくストレージシステムにおけるスケーラブル参照管理のためのシステム及び方法
CN107817947B (zh) 一种数据存储方法、装置及系统
CN101763433B (zh) 一种数据存储系统及方法
CN106708912B (zh) 垃圾文件识别及管理方法、识别装置、管理装置和终端
CN111143113B (zh) 复制元数据的方法、电子设备和计算机程序产品
US10133757B2 (en) Method for managing data using in-memory database and apparatus thereof
CN104268099A (zh) 一种管理数据读写的方法及装置
US20110252217A1 (en) Capping a number of locations referred to by chunk references
CN109074227A (zh) 一种数据校验的方法及存储系统
CN105787037A (zh) 一种重复数据的删除方法及装置
RU2665272C1 (ru) Способ и устройство для восстановления дедуплицированных данных
CN104156173A (zh) 一种实现磁盘碎片整理的方法及装置
CN110019017B (zh) 一种基于访问特征的高能物理文件存储方法
CN109669621B (zh) 一种文件管理方法、文件管理系统、电子设备及存储介质
CN104869138B (zh) 对云存储数据文件副本自动管理的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant