CN111291006A - 一种数据回收处理方法、装置、设备及可读存储介质 - Google Patents
一种数据回收处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111291006A CN111291006A CN202010071033.0A CN202010071033A CN111291006A CN 111291006 A CN111291006 A CN 111291006A CN 202010071033 A CN202010071033 A CN 202010071033A CN 111291006 A CN111291006 A CN 111291006A
- Authority
- CN
- China
- Prior art keywords
- data
- recovery
- target data
- information
- storage pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 177
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012217 deletion Methods 0.000 claims abstract description 51
- 230000037430 deletion Effects 0.000 claims abstract description 51
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 abstract description 29
- 230000006870 function Effects 0.000 abstract description 17
- 230000008520 organization Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004064 recycling Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据回收处理方法、装置、设备及可读存储介质,该方法包括以下步骤:接收客户端发送的目标数据的删除请求;在回收存储池中客户端对应的数据对象内,记录目标数据对应的还原信息;对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息;为目标数据对应的目标数据对象添加已删除标记;删除目标数据对应的引用标识;向客户端发送目标数据已进入回收存储池的反馈信息。可见,在本方法中,在处理客户端发送的删除请求时,保持数据本身不变,将原有存储空间的引用删除,在回收存储池中记录还原信息,以此来实现回收站的相关功能。
Description
技术领域
本发明涉及存储管理技术领域,特别是涉及一种数据回收处理方法、装置、设备及可读存储介质。
背景技术
对于功能完善的存储系统来说,几乎都会提供回收站功能,存放临时删除的存储单元,不管是覆盖、误删或是其它原因,都能提供一种恢复相关数据的办法。
分布式对象存储系统是一种软件定义存储,在分布式对象存储系统中,多版本的功能与回收站所实现的功能类似,多版本功能采用针对指定的对象每做一次修改操作加个版本标记的形式防止用户的误删除、覆盖等操作,能根据指定的版本号和对象名下载对象。但是,多版本和回收站毕竟无法等同,一方面从用户角度来说,包含版本标记的对象也是用户现有可用资源体系的一员,用户只要删除了其中某个版本,该版本便被删除;另一方面,在现有的逻辑之下,多版本功能无法很好地实现回收站的如已删除文件的恢复、文件删除等功能。
综上所述,如何有效地解决对象存储系统中实现回收站功能等问题,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种数据回收处理方法、装置、设备及可读存储介质,可在对象存储系统中实现回收站功能。
为解决上述技术问题,本发明提供如下技术方案:
一种数据回收处理方法,应用于对象存储系统,包括:
接收客户端发送的目标数据的删除请求;
在回收存储池中所述客户端对应的数据对象内,记录所述目标数据对应的还原信息;所述对象存储系统包括所述回收存储池,所述回声存储中的rados对象与所述对象存储系统中的桶一一对应,每个所述rados对象中存储相应已回收数据的还原信息;
为所述目标数据对应的目标数据对象添加已删除标记;
删除所述目标数据对应的引用标识;
向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息。
优选地,在向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息之后,还包括:
接收所述目标数据的恢复请求,并从所述回收存储池中读取所述目标数据的还原信息;
利用所述目标数据的还原信息重建所述目标数据和所述引用标识;所述还原信息包括用户信息、桶信息、对象名、版本号。
优选地,还包括:
接收指定数据的获取请求,获取所述指定数据的引用标识;
按照所述引用标识,查找数据对象;
若查找到的数据对象具有所述已删除标记,则反馈报错信息。
优选地,获取所述指定数据的引用标识,包括:
获取所述指定数据的用户信息、桶信息、对象名、版本号;
利用所述用户信息、所述桶信息、所述对象名和所述版本号生成所述指定数据的引用标识。
优选地,在向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息之后,还包括:
接收所述目标数据的回收删除请求;
从所述回收存储池中读取所述目标数据的还原信息;
利用所述目标数据的还原信息查找所述目标数据,并将所述目标数据加入后台删除队列中,以便从所述回收存储池中删除所述目标数据。
优选地,当所述目标数据的还原信息包括回收时间戳时,还包括:
定期利用所述回收时间戳,对所述回收存储池内的数据进行回收删除处理。
优选地,对所述回收存储池内的数据进行回收删除处理,包括:
从所述回收存储池中读取待回收删除数据的还原信息;
利用所述待回收删除数据的还原信息将所述待回收删除数据加入后台删除队列,以便从所述回收存储池中删除所述待回收删除数据。
一种数据回收处理装置,应用于对象存储系统,包括:
请求接收单元,用于接收客户端发送的目标数据的删除请求;
还原信息记录单元,用于在回收存储池中所述客户端对应的数据对象内,记录所述目标数据对应的还原信息;所述对象存储系统包括所述回收存储池,所述回声存储中的rados对象与所述对象存储系统中的桶一一对应,每个所述rados对象中存储相应已回收数据的还原信息;
对象标记单元,用于为所述目标数据对应的目标数据对象添加已删除标记;
引用标识删除单元,用于删除所述目标数据对应的引用标识;
反馈单元,用于向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息。
一种数据回收处理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述数据回收处理方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据回收处理方法的步骤。
在对象存储系统应用本发明实施例所提供的方法,接收客户端发送的目标数据的删除请求;在回收存储池中客户端对应的数据对象内,记录目标数据对应的还原信息;对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息;为目标数据对应的目标数据对象添加已删除标记;删除目标数据对应的引用标识;向客户端发送目标数据已进入回收存储池的反馈信息。
在接收到客户端发送的目标数据的删除请求后,首先,在回收存储池中该客户端对应的数据对象内,记录目标数据对应的还原信息。然后,为目标数据对应的目标数据对象添加上已删除标记,将目标数据对应的引用标识删除;最后,想客户端发送目标数据已进入回收存储池的反馈信息。如此,对于客户端而言,则无法再通过原有的引用标识访问到目标数据,即等同于目标数据已删除,与此同时,由于该目标数据仅仅只是删除了引用标识以及添加了已删除标记,而数据本身依然存在,且在回收存储池中记录了目标数据对应的还原信息,当需要进行数据恢复时,可基于该还原信息对数据进行恢复,或需要进行数据删除时,可基于还原信息找到目标数据进行实质上的彻底删除。可见,在本方法中,在处理客户端发送的删除请求时,保持数据本身不变,将原有存储空间的引用删除,在回收存储池中记录还原信息,以此来实现回收站的相关功能。
相应地,本发明实施例还提供了与上述数据回收处理方法相对应的数据回收处理装置、设备和可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种数据回收处理方法的实施流程图;
图2为本发明实施例中一种数据回收处理方法模块化示意图;
图3为本发明实施例中一种数据回收处理装置的结构示意图;
图4为本发明实施例中一种数据回收处理设备的结构示意图;
图5为本发明实施例中一种数据回收处理设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于理解,下面对本文中涉及的相关术语进行解释说明:
用户:User,分布式系统中一种资源所有者的概念,在本文件至用户与客户端相对应,即可视为一个客户端对应一个用户;
桶:Bucket,也可以称为容器(Container),对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构;
回收存储池:一种虚拟化的存储空间,用于存储已回收数据的还原信息,以实现回收站的相关功能。
Rados(Reliable,Autoznomic Distributed Object Storage,可靠、自治、分布式对象存储)对象:存储池数据组织的基本单元;
对象:Object,对象存储中的基本单元;
GC:Garbage Collection,垃圾收集;
回收站模块,对应回收存储池。
实施例一:
请参考图1和图2,图1为本发明实施例中一种数据回收处理方法的流程图,图2为本发明实施例中一种数据回收处理方法模块化示意图,该方法可应用于对象存储系统,该方法包括以下步骤:
S101、接收客户端发送的目标数据的删除请求。
其中,目标数据可以为对象存储系统中,该客户端具有数据管理权限的任意一个数据。
S102、在回收站中客户端对应的数据对象内,记录目标数据对应的还原信息。
对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息。
为了在对象存储系统中,实现回收站的相关功能,可预先在对象存储系统中设置一个回收存储池,在该回收存储池中创建与对象存储系统中的各个桶一一对应的rados对象,而在每一个rados对象中的对象分别存储每一个已回收数据的还原信息。其中,还原信息即当需要恢复数据时,能够基于该还原信息找到对应的已回收数据对应的存储位置,以及相应的数据结构信息(如桶信息,用户信息对象名、版本号、回收时间戳)即可。
举例说明,可专门创建了一个用于实现回收站功能的存储池,即回收存储池,回收存储池中rados对象的oid以用户+桶的方式命名,也就是说对于每一个桶都有单独的一个rados对象实现的回收站与其对应,每个rados对象的omapkey(omap:Rados对象元数据的组织形式,键值对的映射,omapkey:Rados对象元数据的键)的每个key(键)就是一个放入回收站的对象,以对象名+版本号+时间戳的形式命名,其value(值)存放加入回收站的时间,以及用于还原对象所需的所属用户、所属桶,以及数据在数据组织与存储模块中的相关组织与位置等信息。
如此,在接收客户端发送的目标数据的删除请求之后,便可在回收站中客户端对应的数据对象内,记录目标数据对应的还原信息。
其中,该目标数据对应的还原信息可通过解析删除请求的方式得到,也可在明确目标数据之后,然后基于现有的数据查询方式,查询得到该还原信息。具体的,该还原信息可具体包括还原目标数据所需的用户、桶、版本号等信息,以及在目标数据在数据最终与存储模块中的相关组织与位置信息。
其中,数据组织与存储模块:主要实现对象存储基本单元对象的组织与存储。对于对象存储来说,数据的获取也是根据参数桶、对象名、版本号等信息直接从此模块中获取出来的。该数据组织与存储模块在现有对象存储系统中已经存在,在此不再一一赘述具体如何基于数据组织与存储模块获得还原信息。
为了避免在将目标数据的还原信息记录在回收存储池之后,用户依然可继续访问该目标数据。因此,需要对目标数据的目标数据对象进行标记处理,以及删除目标数据的引用标识,即需要执行步骤S103和步骤S104。
S103、为目标数据对应的目标数据对象添加已删除标记。
由于数据组织与存储模块,能够对对象存储系统中的数据进行组织和管理,因此,在本实施例中,可通过调用数据最终与存储模块,为目标数据对应的目标数据对象添加上已删除标记,以避免数据组织与存储模块对该目标数据进行访问或管理。即,在目标数据对象上添加已删除标记,则数据组织与存储模块可视目标数据已不存在,也就是说该已删除标记表明该目标数据对象已经被放入回收站中。
举例说明,对于数据组织与存储模块中的数据的组织形式可以简单地理解为引用+数据,可通过存储池的rados对象来实现,即将整块数据分成头对象+其它数据,头对象也承担了引用的功能,如果是通过存储池的rados对象的实现形式,则需针对头对象进行移动(复制+删除),相当于是以RECYCLE.原对象名的形式重命名对象,最后对移动后的对象做标记。
S104、删除目标数据对应的引用标识。
在数据未回收的情况下,基于引用标识可找到相应的数据内容。为了避免造成干扰,在本实施例中,还需删除目标数据对应的引用标识。
具体的,可利用目前存储系统中已有的索引模块来实现删除目标数据对应的引用标识。其中,索引模块:相当于存放了桶内对象的引用,对于多版本对象按照一定的组织进行排序,用于桶内对象的列举。
需要注意的是,在接收到删除请求后,并执行了上述步骤S102、S103和S104之后,便可视为该目标数据已被回收,即未回收站中,且不会对用户的其他正常数据业务造成影响。因此,在执行完步骤S102、S103和S104之后,便可执行步骤S105的操作。特别地,在本实施例中,上述步骤S102、S103和S104之间,可无需限定固定的执行顺序,即可按照图1所示的先后顺序进行执行,也可按照其他顺序(如并行执行,如依次执行S102、S104、S103)执行。
S105、向客户端发送目标数据已进入回收站的反馈信息。
在执行了上述步骤S102、S103和S104之后,便可向客户端反馈目标数据已进入回收站的反馈信息。该反馈信息可具体为目标数据删除成功,或目标数据已进入回收站。
按照上述S101至S105对应的处理操作对删除请求进行处理之后,在回收存储池中便存储了已回收数据的还原信息。在此情况下,对于用户/客户端发送的数据获取请求,其处理方式,可包括:
步骤一、接收指定数据的获取请求,获取指定数据的引用标识;
步骤二、按照引用标识,查找数据对象;
步骤三、若查找到的数据对象具有已删除标记,则反馈报错信息。
其中,引用标识可直接从索引模块中获得,当然,也可获取指定数据的用户信息、桶信息、对象名、版本号;利用用户信息、桶信息、对象名和版本号生成指定数据的引用标识。对于具体如何基于用户信息、桶信息、对象名、版本号生成引用标识,则可参照现有的引用标识的生成过程,在此不再一一赘述。按照该引用标识,便可查找目标数据对象。具体的,对于如何基于引用标识查找对象,请参见引用标识的具体应用流程。
若基于该引用标识无法找到相应的数据对象,或该数据对象具有已删除标记,则可确定当前无法获取指定数据,此时可直接反馈报错信息。具体的,当未找到相应的数据对象,可反馈数据不存在的反馈报错信息;若查找到的数据对象具有已删除标记,则可反馈数据已回收的反馈报错信息。
在对象存储系统应用本发明实施例所提供的方法,接收客户端发送的目标数据的删除请求;在回收存储池中客户端对应的数据对象内,记录目标数据对应的还原信息;对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息;为目标数据对应的目标数据对象添加已删除标记;删除目标数据对应的引用标识;向客户端发送目标数据已进入回收存储池的反馈信息。
在接收到客户端发送的目标数据的删除请求后,首先,在回收存储池中该客户端对应的数据对象内,记录目标数据对应的还原信息。然后,为目标数据对应的目标数据对象添加上已删除标记,将目标数据对应的引用标识删除;最后,想客户端发送目标数据已进入回收存储池的反馈信息。如此,对于客户端而言,则无法再通过原有的引用标识访问到目标数据,即等同于目标数据已删除,与此同时,由于该目标数据仅仅只是删除了引用标识以及添加了已删除标记,而数据本身依然存在,且在回收存储池中记录了目标数据对应的还原信息,当需要进行数据恢复时,可基于该还原信息对数据进行恢复,或需要进行数据删除时,可基于还原信息找到目标数据进行实质上的彻底删除。可见,在本方法中,在处理客户端发送的删除请求时,保持数据本身不变,将原有存储空间的引用删除,在回收存储池中记录还原信息,以此来实现回收站的相关功能。
需要说明的是,基于上述实施例,本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考,相应的有益效果也可相互参照,在本文的优选/改进实施例中不再一一赘述。
优选地,由于在回收存储池中存储了已回收数据对应的还原信息,即上述实施例所提供的数据回收处理方法,为数据恢复提供了前提条件。即,在向客户端发送目标数据已进入回收存储池的反馈信息之后,具体的数据恢复过程,包括:
步骤一、接收目标数据的恢复请求,并从回收存储池中读取目标数据的还原信息;
步骤二、利用目标数据的还原信息重建目标数据和引用标识;
其中,还原信息包括用户信息、桶信息、对象名、版本号。
为了便于描述,在本实施例中还以对目标数据进行恢复进行列举说明,对应其他非目标数据的已回收数据均可参照与此进行数据恢复。
当接收到目标数据的恢复请求之后,可从回收存储中读取目标数据的还原信息。具体的,可基于用户信息、桶信息、对象名、版本号等信息中的至少一种信息,从回收存储池中读取到目标数据的还原信息。其中,还原信息可具体包括用户信息、桶信息、对象名、版本号。
然后,便可基于目标数据的还原信息重建目标数据以及引用标识。具体的,可基于还原信息找到目标数据并将目标数据对应的目标数据对象的已删除标记进行取消,然后基于用户信息、桶信息、对象名、版本号重新生成引用标识。
优选地,由于在回收存储池中存储了已回收数据对应的还原信息,基于该还原信息可对数据进行还原,也可基于该还原信息将相应数据彻底删除,即上述实施例所提供的数据回收处理方法,为清理回收站内的数据提供了前提条件。具体的,在向客户端发送目标数据已进入回收存储池的反馈信息之后,对回收站的内的目标数据的清理过程,包括:
步骤一、接收目标数据的回收删除请求;
步骤二、从回收存储池中读取目标数据的还原信息;
步骤三、利用目标数据的还原信息查找目标数据,并将目标数据加入后台删除队列中,以便从回收存储池中删除目标数据。
为了便于描述,在本实施例中还以对已处于回收站内的目标数据进行彻底删除进行列举说明,对应其他非目标数据的已回收数据均可参照与此进行数据彻底删除。
在接收到目标数据的回收删除请求后,可从回收存储池中读取到目标数据的还原信息,然后基于该还原信息可查找到目标数据,然后将目标数据加入后台删除队列中。如此,便可以后台运行方式对目标数据进行彻底删除,即实现删除回收站内的目标数据。
考虑到对于大块对象的删除,如果直接删除的话,时效性不高,一般采用将对象放在GC回收体系中,在后台进行删除的方式。处于GC回收体系中的资源,在用户层面是真正的删除了。具体的数据彻底删除过程,可借助目前对象存储系统中的GC模块具体实施。
进一步,为了进一步提高回收站的自动管理功能,还可定期对回收存储池内的数据进行回声删除处理。考虑到一般放入回收站较久的数据便没有继续保留的价值,因此可基于回收时间戳进行自动管理。即当目标数据的还原信息包括回收时间戳时,还可定期利用回收时间戳,对回收存储池内的数据进行回收删除处理。
其中,对回收存储池内的数据进行回收删除处理,包括:
步骤一、从回收存储池中读取待回收删除数据的还原信息;
步骤二、利用待回收删除数据的还原信息将待回收删除数据加入后台删除队列,以便从回收存储池中删除待回收删除数据。
基于此,还可进一步自定义整个对象存储系统或单个用户、桶的回收站自动化管理功能及策略,比如在对象放入回收站N天后进行回收删除操作。
实施例二:
相应于上面的方法实施例,本发明实施例还提供了一种可应用于对象存储系统的数据回收处理装置,下文描述的数据回收处理装置与上文描述的数据回收处理方法可相互对应参照。
参见图3所示,该装置包括以下模块:
请求接收单元101,用于接收客户端发送的目标数据的删除请求;
还原信息记录单元102,用于在回收存储池中客户端对应的数据对象内,记录目标数据对应的还原信息;对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息;
对象标记单元103,用于为目标数据对应的目标数据对象添加已删除标记;
引用标识删除单元104,用于删除目标数据对应的引用标识;
反馈单元105,用于向客户端发送目标数据已进入回收存储池的反馈信息。
在对象存储系统应用本发明实施例所提供的装置,接收客户端发送的目标数据的删除请求;在回收存储池中客户端对应的数据对象内,记录目标数据对应的还原信息;对象存储系统包括回收存储池,回声存储中的rados对象与对象存储系统中的桶一一对应,每个rados对象中存储相应已回收数据的还原信息;为目标数据对应的目标数据对象添加已删除标记;删除目标数据对应的引用标识;向客户端发送目标数据已进入回收存储池的反馈信息。
在接收到客户端发送的目标数据的删除请求后,首先,在回收存储池中该客户端对应的数据对象内,记录目标数据对应的还原信息。然后,为目标数据对应的目标数据对象添加上已删除标记,将目标数据对应的引用标识删除;最后,想客户端发送目标数据已进入回收存储池的反馈信息。如此,对于客户端而言,则无法再通过原有的引用标识访问到目标数据,即等同于目标数据已删除,与此同时,由于该目标数据仅仅只是删除了引用标识以及添加了已删除标记,而数据本身依然存在,且在回收存储池中记录了目标数据对应的还原信息,当需要进行数据恢复时,可基于该还原信息对数据进行恢复,或需要进行数据删除时,可基于还原信息找到目标数据进行实质上的彻底删除。可见,在本装置中,在处理客户端发送的删除请求时,保持数据本身不变,将原有存储空间的引用删除,在回收存储池中记录还原信息,以此来实现回收站的相关功能。
在本发明的一种具体实施方式中,还包括:数据还原处理单元,用于在向客户端发送目标数据已进入回收存储池的反馈信息之后,接收目标数据的恢复请求,并从回收存储池中读取目标数据的还原信息;利用目标数据的还原信息重建目标数据和引用标识;还原信息包括用户信息、桶信息、对象名、版本号。
在本发明的一种具体实施方式中,还包括:
数据获取处理模块,用于接收指定数据的获取请求,获取指定数据的引用标识;按照引用标识,查找数据对象;若查找到的数据对象具有已删除标记,则反馈报错信息。
在本发明的一种具体实施方式中,数据获取处理模块,具体用于获取指定数据的用户信息、桶信息、对象名、版本号;利用用户信息、桶信息、对象名和版本号生成指定数据的引用标识。
在本发明的一种具体实施方式中,还包括:
回收清理模块,用于在向客户端发送目标数据已进入回收存储池的反馈信息之后,接收目标数据的回收删除请求;从回收存储池中读取目标数据的还原信息;利用目标数据的还原信息查找目标数据,并将目标数据加入后台删除队列中,以便从回收存储池中删除目标数据。
在本发明的一种具体实施方式中,自动回收清理单元,用于当目标数据的还原信息包括回收时间戳时,定期利用回收时间戳,对回收存储池内的数据进行回收删除处理。
在本发明的一种具体实施方式中,自动回收清理单元,具体用于从回收存储池中读取待回收删除数据的还原信息;利用待回收删除数据的还原信息将待回收删除数据加入后台删除队列,以便从回收存储池中删除待回收删除数据。
实施例三:
相应于上面的方法实施例,本发明实施例还提供了一种数据回收处理设备,下文描述的一种数据回收处理设备与上文描述的一种数据回收处理方法可相互对应参照。
参见图4所示,该数据回收处理设备包括:
存储器D1,用于存储计算机程序;
处理器D2,用于执行计算机程序时实现上述方法实施例的数据回收处理方法的步骤。
具体的,请参考图5,为本实施例提供的一种数据回收处理设备的具体结构示意图,该数据回收处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在数据回收处理设备301上执行存储介质330中的一系列指令操作。
数据回收处理设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341。例如,Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
上文所描述的数据回收处理方法中的步骤可以由数据回收处理设备的结构实现。
实施例四:
相应于上面的方法实施例,本发明实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种数据回收处理方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的数据回收处理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种数据回收处理方法,其特征在于,应用于对象存储系统,包括:
接收客户端发送的目标数据的删除请求;
在回收存储池中所述客户端对应的数据对象内,记录所述目标数据对应的还原信息;所述对象存储系统包括所述回收存储池,所述回声存储中的rados对象与所述对象存储系统中的桶一一对应,每个所述rados对象中存储相应已回收数据的还原信息;
为所述目标数据对应的目标数据对象添加已删除标记;
删除所述目标数据对应的引用标识;
向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息。
2.根据权利要求1所述的数据回收处理方法,其特征在于,在向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息之后,还包括:
接收所述目标数据的恢复请求,并从所述回收存储池中读取所述目标数据的还原信息;
利用所述目标数据的还原信息重建所述目标数据和所述引用标识;所述还原信息包括用户信息、桶信息、对象名、版本号。
3.根据权利要求1所述的数据回收处理方法,其特征在于,还包括:
接收指定数据的获取请求,获取所述指定数据的引用标识;
按照所述引用标识,查找数据对象;
若查找到的数据对象具有所述已删除标记,则反馈报错信息。
4.根据权利要求3所述的数据回收处理方法,其特征在于,获取所述指定数据的引用标识,包括:
获取所述指定数据的用户信息、桶信息、对象名、版本号;
利用所述用户信息、所述桶信息、所述对象名和所述版本号生成所述指定数据的引用标识。
5.根据权利要求1所述的数据回收处理方法,其特征在于,在向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息之后,还包括:
接收所述目标数据的回收删除请求;
从所述回收存储池中读取所述目标数据的还原信息;
利用所述目标数据的还原信息查找所述目标数据,并将所述目标数据加入后台删除队列中,以便从所述回收存储池中删除所述目标数据。
6.根据权利要求1所述的数据回收处理方法,其特征在于,当所述目标数据的还原信息包括回收时间戳时,还包括:
定期利用所述回收时间戳,对所述回收存储池内的数据进行回收删除处理。
7.根据权利要求6所述的数据回收处理方法,其特征在于,对所述回收存储池内的数据进行回收删除处理,包括:
从所述回收存储池中读取待回收删除数据的还原信息;
利用所述待回收删除数据的还原信息将所述待回收删除数据加入后台删除队列,以便从所述回收存储池中删除所述待回收删除数据。
8.一种数据回收处理装置,其特征在于,应用于对象存储系统,包括:
请求接收单元,用于接收客户端发送的目标数据的删除请求;
还原信息记录单元,用于在回收存储池中所述客户端对应的数据对象内,记录所述目标数据对应的还原信息;所述对象存储系统包括所述回收存储池,所述回声存储中的rados对象与所述对象存储系统中的桶一一对应,每个所述rados对象中存储相应已回收数据的还原信息;
对象标记单元,用于为所述目标数据对应的目标数据对象添加已删除标记;
引用标识删除单元,用于删除所述目标数据对应的引用标识;
反馈单元,用于向所述客户端发送所述目标数据已进入所述回收存储池的反馈信息。
9.一种数据回收处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述数据回收处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据回收处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071033.0A CN111291006B (zh) | 2020-01-21 | 2020-01-21 | 一种数据回收处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071033.0A CN111291006B (zh) | 2020-01-21 | 2020-01-21 | 一种数据回收处理方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291006A true CN111291006A (zh) | 2020-06-16 |
CN111291006B CN111291006B (zh) | 2023-01-10 |
Family
ID=71018076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071033.0A Active CN111291006B (zh) | 2020-01-21 | 2020-01-21 | 一种数据回收处理方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291006B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342579A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据还原方法及装置 |
CN114546340A (zh) * | 2022-02-11 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 用于对象存储的桶回收站实现方法、装置、设备及介质 |
CN115309766A (zh) * | 2022-10-12 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 一种数据库业务执行的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103262071A (zh) * | 2011-12-08 | 2013-08-21 | 华为技术有限公司 | 一种在分布式存储系统中删除数据的方法、装置及系统 |
US20140214782A1 (en) * | 2013-01-31 | 2014-07-31 | Futurewei Technologies, Inc. | Distributed Storage Object Delete |
CN107958079A (zh) * | 2017-12-14 | 2018-04-24 | 郑州云海信息技术有限公司 | 聚合文件删除方法、系统、装置及可读存储介质 |
-
2020
- 2020-01-21 CN CN202010071033.0A patent/CN111291006B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103262071A (zh) * | 2011-12-08 | 2013-08-21 | 华为技术有限公司 | 一种在分布式存储系统中删除数据的方法、装置及系统 |
US20140214782A1 (en) * | 2013-01-31 | 2014-07-31 | Futurewei Technologies, Inc. | Distributed Storage Object Delete |
CN107958079A (zh) * | 2017-12-14 | 2018-04-24 | 郑州云海信息技术有限公司 | 聚合文件删除方法、系统、装置及可读存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342579A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据还原方法及装置 |
CN114546340A (zh) * | 2022-02-11 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 用于对象存储的桶回收站实现方法、装置、设备及介质 |
CN114546340B (zh) * | 2022-02-11 | 2024-06-21 | 苏州浪潮智能科技有限公司 | 用于对象存储的桶回收站实现方法、装置、设备及介质 |
CN115309766A (zh) * | 2022-10-12 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 一种数据库业务执行的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111291006B (zh) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291006B (zh) | 一种数据回收处理方法、装置、设备及可读存储介质 | |
CN107220142B (zh) | 执行数据恢复操作的方法及装置 | |
US8239348B1 (en) | Method and apparatus for automatically archiving data items from backup storage | |
US20120136834A1 (en) | Reducing data duplication in cloud storage | |
US8346731B1 (en) | Techniques for global single instance indexing for backup data | |
US8457018B1 (en) | Merkle tree reference counts | |
EP3788505B1 (en) | Storing data items and identifying stored data items | |
CN101276299B (zh) | 信息处理系统和信息处理方法 | |
CN103197987A (zh) | 一种数据备份的方法、数据恢复的方法及系统 | |
US7630955B2 (en) | Apparatus, system, and method for analyzing the association of a resource to a business process | |
CN109753381B (zh) | 一种基于对象存储的持续数据保护方法 | |
US20220283902A1 (en) | Writing data blocks directly to object storage | |
US11461180B2 (en) | Optimized document backup to cloud-based object store | |
US11669402B2 (en) | Highly efficient native application data protection for office 365 | |
US20230139297A1 (en) | File lifetime tracking for cloud-based object stores | |
US10877881B2 (en) | In-place garbage collection of a sharded, replicated distributed state machine based on mergeable operations | |
CN115422135A (zh) | 数据处理方法以及装置 | |
CN111782622B (zh) | 日志处理方法、装置、服务器及存储介质 | |
CN108376104B (zh) | 节点调度方法及装置、计算机可读存储介质 | |
CN113377724A (zh) | 一种缓存空间管理方法、装置和存储介质 | |
CN108984343B (zh) | 一种基于内容分析的虚拟机备份及存储管理方法 | |
US9684739B1 (en) | View generator for managing data storage | |
CN117149724B (zh) | 一种云环境系统重复数据删除的方法及系统 | |
EP4195068B1 (en) | Storing and retrieving media recordings in an object store | |
CN109241509A (zh) | 一种基于云平台的报表管理的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |