CN109271379A - 一种数据清理方法及装置 - Google Patents

一种数据清理方法及装置 Download PDF

Info

Publication number
CN109271379A
CN109271379A CN201811182553.8A CN201811182553A CN109271379A CN 109271379 A CN109271379 A CN 109271379A CN 201811182553 A CN201811182553 A CN 201811182553A CN 109271379 A CN109271379 A CN 109271379A
Authority
CN
China
Prior art keywords
data
clearance
address
storage address
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811182553.8A
Other languages
English (en)
Inventor
刘枫
吴杰珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811182553.8A priority Critical patent/CN109271379A/zh
Publication of CN109271379A publication Critical patent/CN109271379A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据清理方法及装置,方法包括:接收用户的数据清理请求,其中,数据清理请求中包括待清理数据的清理方式指示信息;通过待清理数据的清理方式指示信息,确定待清理数据的存储地址;根据待清理数据的存储地址清理待清理数据。本申请使得用户不需要知道待清理数据的存储地址,只需要提供用于确定待清理数据的存储地址的清理方式指示信息即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。

Description

一种数据清理方法及装置
技术领域
本发明涉及数据清理技术领域,尤其涉及一种数据清理方法及装置。
背景技术
目前,很多存储的应用场景会用到存储系统,而存储系统中用的较多的为分布式存储系统,分布式存储系统有多种,如swift,glusterfs,s3等,在某些时候,可能会同时使用多种分布式存储系统,不同的分布式存储系统的访问接口通常是不同的,用户在访问这些存储系统进行数据清理时,就会存在问题:由于待清理的数据可能存储在多种存储系统中,用户需要根据存储系统的种类分类记录数据的存储地址,这对用户而言,前期设计复杂度较高,并且,由于不同的存储系统访问接口不同,因此需要维护多个接口的删除操作,这在无形中增加了用户的运维成本。
发明内容
有鉴于此,本发明提供了一种数据清理方法及装置,用以解决现有技术中为了利用多个存储系统存储数据时,为了实现数据清理,用户需要根据存储系统的种类分类记录数据的存储地址以及需要维护多个接口的删除操作,导致前期设计复杂度较高和运维成本高的问题,其技术方案如下:
一种数据清理方法,包括:
接收用户的数据清理请求,其中,所述数据清理请求中包括待清理数据的清理方式指示信息;
通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址;
根据所述待清理数据的存储地址清理所述待清理数据。
其中,所述待清理数据的清理方式指示信息包括统一格式的目标地址,所述目标地址用于确定所述待清理数据的存储地址;
所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址,包括:
通过所述目标地址确定存储所述待清理数据的数据库的编号;
在与确定出的所述编号对应的地址对应表中,查找与所述目标地址对应的存储地址,将查找到的所述存储地址确定为所述待清理数据的存储地址,其中,所述地址对应表中存储有所述目标地址和与所述目标地址对应的存储地址。
其中,所述通过所述目标地址确定存储所述待清理数据的数据库的编号,包括:
通过哈希算法计算所述目标地址的哈希值;
通过所述目标地址的哈希值确定存储所述待清理数据的数据库的编号。
其中,所述待清理数据的清理方式指示信息包括目标清理范围信息;
所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址,包括:
确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,作为所述待清理数据的存储地址。
其中,所述目标清理范围信息包括所述待清理数据的存储时间信息;
所述确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,包括:
获取数据存储表,其中,所述数据存储表记录有各数据的存储时间和存储地址;
在所述数据存储表中确定与所述存储时间信息匹配的存储时间,作为目标存储时间;
在所述数据存储表中确定存储时间为所述目标存储时间的数据的存储地址,作为所述待清理数据的存储地址。
优选地,所述数据清理方法,还包括:
在接收到所述用户的数据清理请求时,确定所述用户是否具有数据清理权限;
当所述用户具有数据清理权限时,执行所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址。
其中,所述根据所述待清理数据的存储地址清理所述待清理数据,包括:
当所述待清理数据的存储地址为多个时,将多个所述存储地址放入清理任务队列;
从所述清理任务队列中逐个获取所述存储地址,清除获取的所述存储地址处存储的数据,或者,从所述清理任务队列中同时获取多个所述存储地址,对获取的多个所述存储地址处的数据同时进行清理。
一种数据清理装置,包括:请求接收模块、存储地址确定模块和数据清理模块;
所述请求接收模块,用于接收用户的数据清理请求,其中,所述数据清理请求中包括待清理数据的清理方式指示信息;
所述存储地址确定模块,用于通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址;
所述数据清理模块,用于根据所述待清理数据的存储地址清理所述待清理数据。
其中,所述待清理数据的清理方式指示信息包括统一格式的目标地址,所述目标地址用于确定所述待清理数据的存储地址;
所述存储地址确定模块包括:数据库编号确定子模块和存储地址确定子模块;
所述数据库编号确定子模块,用于通过所述目标地址确定存储所述待清理数据的数据库的编号;
所述存储地址确定子模块,用于在与确定出的所述编号对应的地址对应表中,查找与所述目标地址对应的存储地址,将查找到的所述存储地址确定为所述待清理数据的存储地址,其中,所述地址对应表中存储有所述目标地址和与所述目标地址对应的存储地址。
其中,所述数据库编号确定子模块,具体用于通过哈希算法计算所述目标地址的哈希值,通过所述目标地址的哈希值确定存储所述待清理数据的数据库的编号。
其中,所述待清理数据的清理方式指示信息包括目标清理范围信息;
所述存储地址确定模块,具体用于确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,作为所述待清理数据的存储地址。
其中,所述目标清理范围信息包括所述待清理数据的存储时间信息;
所述存储地址确定模块,具体用于获取数据存储表,其中,所述数据存储表记录有各数据的存储时间和存储地址;在所述数据存储表中确定与所述存储时间信息匹配的存储时间,作为目标存储时间;在所述数据存储表中确定存储时间为所述目标存储时间的数据的存储地址,作为所述待清理数据的存储地址。
优选地,数据清理装置还包括:权限确定模块;
所述权限确定模块,用于在所述请求接收模块接收到所述用户的数据清理请求时,确定所述用户是否具有数据清理权限;
所述存储地址确定模块,具体用于当用户具有数据清理权限时,通过所述待清理数据的清理方式指示信息,确定所述待清理数据的目标物理地。
其中,所述数据清理模块,具体用于当所述待清理数据的存储地址为多个时,将多个所述存储地址放入清理任务队列;从所述清理任务队列中逐个获取所述存储地址,清除获取的所述存储地址处存储的数据,或者,从所述清理任务队列中同时获取多个所述存储地址,对获取的多个所述存储地址处的数据同时进行清理。
上述技术方案具有如下有益效果:
本发明提供的数据清理方法及装置,可接收用户发起的携带待清理数据的清理方式指示信息的数据请求信息,通过数据请求信息中的清理方式指示信息可以确定待清理数据的存储地址,进而根据该存储地址清理待清理数据,由此可见,本发明提供的数据清理方法及装置,使得用户不需要知道待清理数据的存储地址即真实存储地址,只需要提供用于确定待清理数据的存储地址的清理方式指示信息即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的数据清理方法的流程示意图;
图2为本发明实施例提供的数据清理方法的一具体实例的流程示意图;
图3为本发明实施例提供的数据清理方法的另一具体实例的流程示意图;
图4为本发明实施例提供的数据清理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据清理方法,请参阅图1,示出了该数据清理方法的流程示意图,可以包括:
步骤S101:接收用户的数据清理请求。
其中,数据清理请求用于请求对待清理数据进行清理,数据清理请求中包括待清理数据的清理方式指示信息,数据清理方式指示信息能够指示对待清理数据采用何种清理方式进行清理。
步骤S102:通过待清理数据的清理方式指示信息,确定待清理数据的存储地址。
若要对待清理数据进行清理,需要获知待清理数据的存储地址,在本实施例中,待清理数据的存储地址通过清理方式指示信息确定。
步骤S103:根据待清理数据的存储地址清理待清理数据。
通过待清理数据的存储地址清理待清理数据的具体过程为:将存储地址处存储的数据删除。
本发明实施例提供的数据清理方法,可接收用户发起的携带待清理数据的清理方式指示信息的数据请求信息,通过数据请求信息中的清理方式指示信息可以确定待清理数据的存储地址,进而根据该存储地址清理待清理数据,由此可见,本发明实施例提供的数据清理方法,使得用户不需要知道待清理数据的存储地址,只需要提供用于确定待清理数据的真实地址的清理方式指示信息即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。
在一种可能的实现方式中,上述实施例中的待清理数据的清理方式可以为按存储地址清理,该种数据清理方式相当于指定了具体的清理对象,在另一种可能的实现方式中,清理方式可以为按指定的清理范围清理,例如,清理30天前的数据,该种数据清理方式没有指定具体的清理对象,但通过清理规则可以确定出清理对象。
以下分别以清理方式为按存储地址清理和按清理范围清理为例对上述本发明实施例提供的数据清理方法进行说明。
请参阅图2,示出了本发明实施例提供的数据清理方法的一具实例的流程示意图,该数据清理方法可以包括:
步骤S201:接收用户的数据清理请求。
其中,数据清理请求用于请求对待清理数据进行清理,数据清理请求中至少包括统一格式的目标地址。可以理解的是,若数据清理请求中包括统一格式的目标地址,则表明数据清理方式为按存储地址清理。
目标地址为与待清理数据的存储地址相对应的、统一格式的、非实际存储地址,其用于确定待清理数据的实际存储地址,该目标地址为用户上传待清理数据时反馈给用户。需要说明的是,用户在上传数据时,不管用户上传的数据最终存储至哪个存储系统,反馈至用户的地址的格式是统一的。
具体地,当用户上传数据时,数据上传设备首先会为用户上传的数据分配一目标地址,然后通过哈希算法计算该目标地址的哈希值,通过哈希值确定存储该数据的数据库的编号,然后将该数据存储至确定出的编号对应的数据库中,最后,将该数据的目标地址与该数据的存储地址对应写入存储该数据的数据库的编号对应的地址对应表中。
优选地,在接收到数据清理请求后,可对数据清理请求中的目标地址进行合法性验证,若验证通过,则执行步骤S202,否则,不执行后续步骤。
步骤S202:通过目标地址确定存储待清理数据的数据库的编号。
在本实施例中,通过目标地址确定存储待清理数据的数据库的编号的过程可以包括:通过哈希算法计算目标地址的哈希值,通过目标地址的哈希值确定存储待清理数据的数据库的编号。
示例性地,在计算出目标地址的哈希值后,将哈希值的前四位作为存储待清理数据的数据库的编号。需要说明的是,起初在上传该待清理数据时,存储该待清理数据的数据库的编号也是通过该方式确定。
步骤S203:在与确定出的编号对应的地址对应表中,查找与目标地址对应的存储地址,将查找到的存储地址确定为待清理数据的存储地址。
其中,地址对应表中存储有目标地址和与目标地址对应的存储地址。
需要说明的是,每个数据库对应有一地址对应表,该地址对应表中记录了该数据库中存储的各个数据的目标地址和与各个数据的目标地址对应的存储地址,而每个数据库对应一唯一的编号,每个数据库对应的地址对应表与该数据库的编号关联。
当确定出存储待清理数据的数据库的编号后,便可获得与该编号对应的地址对应表,接着便可从地址对应表中查找目标地址,在查找到目标地址后,将与目标地址对应的存储地址,作为待清理数据的存储地址。
示例性地,数据库编号与地址对应表的对应关系如下表所示:
表1a数据库编号与地址对应表的对应关系
表1b数据库编号与地址对应表的对应关系
假设确定出的数据库编号为2,通过上表可获知,数据库编号2对应的地址对应表为x2,假设待清理数据的目标地址为b2,则通过地址对应表x2可获知目标地址b2对应的存储地址为B2,则可确定存储地址B2即为待清理数据的存储地址。
步骤S204:根据待清理数据的存储地址清理待清理数据。
具体地,将存储地址处存储的数据删除。
本发明实施例提供的数据清理方法,可接收用户发起的包括统一格式的目标地址的数据请求信息,通过目标地址可以确定待清理数据的存储地址,进而根据该存储地址清理待清理数据,由此可见,本发明实施例提供的数据清理方法,使得用户不需要知道待清理数据的存储地址,只需要提供统一格式的目标地址即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。
请参阅图3,示出了本发明实施例提供的数据清理方法的另一具实例的流程示意图,该数据清理方法可以包括:
步骤S301:接收用户的数据清理请求。
其中,数据清理请求用于请求对待清理数据进行清理,数据清理请求中至少包括待清理数据的目标清理范围信息。
优选地,在接收到数据清理请求后,可对数据清理请求中的目标清理范围信息进行合法性验证,若验证通过,则执行步骤S302,否则,不执行后续步骤。
步骤S302:确定属于目标清理范围信息对应的清理范围内的数据的存储地址,作为待清理数据的存储地址。
在一种可能的实现方式中,目标清理范围信息中包括待清理数据的存储时间信息。
则确定属于目标清理范围信息对应的清理范围内的数据的存储地址,作为待清理数据的存储地址的过程可以包括:获取数据存储表,该数据存储表记录有各数据的存储时间和存储地址;在数据存储表中确定与存储时间信息匹配的存储时间,作为目标存储时间;在数据存储表中确定存储时间为目标存储时间的数据的存储地址,作为待清理数据的存储地址。需要说明的是,当存储数据时,可在数据存储表中记录数据的存储时间和存储地址。
在一种可能的实现方式中,数据存储表可以为一个,即所有数据的存储信息都记录在这个表中,如表2所示,示出了数据存储表的一示例:
表2数据存储表
存储时间 存储地址
2016年5月3日 XXXXXX1
2016年5月10日 XXXXXX2
2016年5月12日 XXXXXX3
2016年6月10日 XXXXXX4
2016年6月15日 XXXXXX5
需要说明的是,存储时间信息可以是一个具体的时间,也可以为一个时间范围。
假设存储时间信息为一个具体的时间,数据存储表中与存储时间信息匹配的存储时间即为与存储时间信息相同的时间,示例性的,存储时间信息为2016年5月10日,则从数据存储表中查找2016年5月10日,查找到2016年5月10日后,可确定对应的存储地址为XXXXXX2,则XXXXXX2即为待清理数据的存储地址。
假设存储时间信息为一个时间范围,则数据存储表中与存储时间信息匹配的存储时间即为属于该时间范围的存储时间,示例性的,存储时间信息为2016年5月1日~2016年5月31日,则数据存储表中与存储时间信息匹配的存储时间即为属于2016年5月1日~2016年5月31日这一时间范围内的存储时间,通过上表可知,属于2016年5月1日~2016年5月31日这一时间范围内的存储时间包括2016年5月3日、2016年5月10日和2016年5月12日,则与这三个存储时间对应的存储地址XXXXXX1、XXXXXX2和XXXXXX3即为待清理数据的存储地址。
在另一种可能的实现方式中,每个数据库可对应一数据存储表,该数据存储表只存储对应数据库中存储的数据的存储信息,如表2所示,示出了数据存储表的一示例:
表3a数据存储表
表3b数据存储表
在该实现方式中,可通过目标地址确定存储待清理数据的数据库的编号,具体确定方式可参见上述实施例,在此不作赘述。假设存储待清理数据的数据库的编号为2,则可基于数据存储表y2确定待清理数据的存储地址。假设存储时间信息为一个具体时间,比如,存储时间信息为2016年5月12日,则从数据存储表y2中查找2016年5月12日,查找到2016年5月12日后,可确定对应的存储地址为YYYYYY1,则YYYYYY1即为待清理数据的存储地址。假设存储时间信息为一个时间范围,比如2016年5月1日~2016年5月31日,则数据存储表y2中与存储时间信息匹配的存储时间即为属于2016年5月1日~2016年5月31日这一时间范围内的存储时间,通过上表可知,属于2016年5月1日~2016年5月31日这一时间范围内的存储时间包括2016年5月12日、2016年5月15日,则与这两个存储时间对应的存储地址YYYYYY1、YYYYYY2即为待清理数据的存储地址。
在一种可能的实现方式中,当确定出待清理数据的存储地址为多个时,可将多个存储地址放入清理任务队列,然后,从任务队列中逐个获取存储地址,并删除获取的该存储地址处的数据,优选地,为了提高数据的清理速度,可从清理任务队列中同时获取多个存储地址,对获取的多个存储地址处的数据并行进行删除操作。
步骤S303:根据待清理数据的存储地址清理待清理数据。
具体地,将存储地址处存储的数据删除。
本发明实施例提供的数据清理方法,可接收用户发起的包括目标清理范围信息的数据请求信息,通过目标清理范围信息可以确定待清理数据的存储地址,进而根据该存储地址清理待清理数据,由此可见,本发明实施例提供的数据清理方法,使得用户不需要知道待清理数据的存储地址,只需要提供目标清理范围信息即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。
优选地,为了确保数据清理的安全性,上述任一实施例提供的数据清理方法还可以包括:在接收到用户的数据清理请求时,确定用户是否具有数据清理权限。当用户具有数据清理权限时,才会执行后续的确定待清理数据的存储地址以及根据存储地址清理待清理数据的步骤。
具体地,确定用户是否具有数据清理权限的实现方式有多种,在一种可能的实现方式中,可基于IP地址白名单对发送数据清理请求的终端的IP地址认证,具体地,若发送数据清理请求的终端的IP地址在IP地址白名单中,则确定用户具有数据清理权限,否则,确定用户不具有数据清理权限。在另一种可能的实现方式中,可在数据清理请求中携带预先为用户分配的token,通过token确定用户是否具有数据清理权限,即若数据清理请求中携带的token与预先为用户分配的token一致,则确定用户具有数据清理权限,否则,确定用户不具有数据清理权限。
优选地,上述任一实施例提供的数据清理方法还可以包括:记录待清理数据的清理信息。其中,待清理数据的清理信息可以包括数据清理请求、待清理数据的存储地址、待清理数据的清理时间等中的一个或多个。在清理数据时,记录数据的清理信息使得用户可以获知数据的清理情况,并在日后可对数据清理情况进行查询翻看。
与上述数据清理方法相对应,本发明实施例还提供了一种数据清理装置,请参阅图4,示出了该数据清理装置的结构示意图,可以包括:请求接收模块401、存储地址确定模块402和数据清理模块403。
请求接收模块401,用于接收用户的数据清理请求。
其中,数据清理请求中包括待清理数据的清理方式指示信息。
存储地址确定模块402,用于通过待清理数据的清理方式指示信息,确定待清理数据的存储地址。
数据清理模块403,用于根据待清理数据的存储地址清理待清理数据。
本发明实施例提供的数据清理装置,可接收用户发起的携带待清理数据的清理方式指示信息的数据请求信息,通过数据请求信息中的清理方式指示信息可以确定待清理数据的存储地址,进而根据该存储地址清理待清理数据,由此可见,本发明实施例提供的数据清理装置,使得用户不需要知道待清理数据的存储地址,只需要提供用于确定待清理数据的真实地址的清理方式指示信息即可,即,相当于为用户提供了统一的数据清理接口,数据的具体访问方式等细节对用户是透明的,用户不再需要分类记录数据在各个存储系统的存储地址,也不需要维护各个存储系统的访问接口的删除操作,因此,大大简化了前期设计的复杂度以及访问接口的运维成本,用户体验较好。
在一种可能的实现方式中,上述实施例中的待清理数据的清理方式指示信息包括统一格式的目标地址,目标地址用于确定所述待清理数据的存储地址。
则上述实施例提供的数据清理装置中,存储地址确定模块402可以包括:数据库编号确定子模块和存储地址确定子模块。
数据库编号确定子模块,用于通过目标地址确定存储待清理数据的数据库的编号。
存储地址确定子模块,用于在与确定出的编号对应的地址对应表中,查找与目标地址对应的存储地址,将查找到的存储地址确定为待清理数据的存储地址,其中,地址对应表中存储有目标地址和目标地址对应的存储地址。
进一步地,数据库编号确定子模块,具体用于通过哈希算法计算目标地址的哈希值,通过目标地址的哈希值确定存储待清理数据的数据库的编号。
在另一种可能的实现方式中,待清理数据的清理方式指示信息包括目标清理范围信息。
则上述实施例提供的数据清理装置中,存储地址确定模块402,具体用于确定属于目标清理范围信息对应的清理范围内的数据的存储地址,作为待清理数据的存储地址。
进一步地,目标清理范围信息包括待清理数据的存储时间信息。
存储地址确定模块,具体用于获取数据存储表,其中,所述数据存储表记录有各数据的存储时间和存储地址;在所述数据存储表中确定与所述存储时间信息匹配的存储时间,作为目标存储时间;在所述数据存储表中确定存储时间为所述目标存储时间的数据的存储地址,作为所述待清理数据的存储地址。
优选地,上述实施例提供的数据清理装置还可以包括:优选地,数据清理装置还包括:权限确定模块。
所述权限确定模块,用于在所述请求接收模块接收到所述用户的数据清理请求时,确定所述用户是否具有数据清理权限。
所述存储地址确定模块,具体用于当用户具有数据清理权限时,通过所述待清理数据的清理方式指示信息,确定所述待清理数据的目标物理地。
在一种可能的实现方式中,上述实施例提供的数据清理装置中的所述数据清理模块,具体用于当所述待清理数据的存储地址为多个时,将多个所述存储地址放入清理任务队列;从所述清理任务队列中逐个获取所述存储地址,清除获取的所述存储地址处存储的数据,或者,从所述清理任务队列中同时获取多个所述存储地址,对获取的多个所述存储地址处的数据同时进行清理。
优选地,上述实施例提供的数据清理装置还可以包括:数据记录模块。
数据记录模块,用于记录待清理数据的清理信息,待清理数据的清理信息包括数据清理请求、待清理数据的存储地址、待清理数据的清理时间中的一个或多个。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和设备,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据清理方法,其特征在于,包括:
接收用户的数据清理请求,其中,所述数据清理请求中包括待清理数据的清理方式指示信息;
通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址;
根据所述待清理数据的存储地址清理所述待清理数据。
2.根据权利要求1所述的数据清理方法,其特征在于,所述待清理数据的清理方式指示信息包括统一格式的目标地址,所述目标地址用于确定所述待清理数据的存储地址;
所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址,包括:
通过所述目标地址确定存储所述待清理数据的数据库的编号;
在确定出的所述编号对应的地址对应表中,查找与所述目标地址对应的存储地址,将查找到的存储地址确定为所述待清理数据的存储地址,其中,所述地址对应表中存储有所述目标地址和与所述目标地址对应的存储地址。
3.根据权利要求2所述的数据清理方法,其特征在于,所述通过所述目标地址确定存储所述待清理数据的数据库的编号,包括:
通过哈希算法计算所述目标地址的哈希值;
通过所述目标地址的哈希值确定存储所述待清理数据的数据库的编号。
4.根据权利要求1所述的数据清理方法,其特征在于,所述待清理数据的清理方式指示信息包括目标清理范围信息;
所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址,包括:
确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,作为所述待清理数据的存储地址。
5.根据权利要求4所述的数据清理方法,其特征在于,所述目标清理范围信息包括所述待清理数据的存储时间信息;
所述确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,包括:
获取数据存储表,其中,所述数据存储表记录有各数据的存储时间和存储地址;
在所述数据存储表中确定与所述存储时间信息匹配的存储时间,作为目标存储时间;
在所述数据存储表中确定存储时间为所述目标存储时间的数据的存储地址,作为所述待清理数据的存储地址。
6.根据权利要求1所述的数据清理方法,其特征在于,还包括:
在接收到所述用户的数据清理请求时,确定所述用户是否具有数据清理权限;
当所述用户具有数据清理权限时,执行所述通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址。
7.根据权利要求1所述的数据清理方法,其特征在于,所述根据所述待清理数据的存储地址清理所述待清理数据,包括:
当所述待清理数据的存储地址为多个时,将多个所述存储地址放入清理任务队列;
从所述清理任务队列中逐个获取所述存储地址,清除获取的所述存储地址处存储的数据,或者,从所述清理任务队列中同时获取多个所述存储地址,对获取的多个所述存储地址处的数据同时进行清理。
8.一种数据清理装置,其特征在于,包括:请求接收模块、存储地址确定模块和数据清理模块;
所述请求接收模块,用于接收用户的数据清理请求,其中,所述数据清理请求中包括待清理数据的清理方式指示信息;
所述存储地址确定模块,用于通过所述待清理数据的清理方式指示信息,确定所述待清理数据的存储地址;
所述数据清理模块,用于根据所述待清理数据的存储地址清理所述待清理数据。
9.根据权利要求8所述的数据清理装置,其特征在于,所述待清理数据的清理方式指示信息包括统一格式的目标地址,所述目标地址用于确定所述待清理数据的存储地址;
所述存储地址确定模块包括:数据库编号确定子模块和存储地址确定子模块;
所述数据库编号确定子模块,用于通过所述目标地址确定存储所述待清理数据的数据库的编号;
所述存储地址确定子模块,用于在确定出的所述编号对应的地址对应表中,查找与所述目标地址对应的存储地址,将查找到的所述存储地址确定为所述待清理数据的存储地址,其中,所述地址对应表中存储有所述目标地址和与所述目标地址对应的存储地址。
10.根据权利要求8所述的数据清理装置,其特征在于,所述待清理数据的清理方式指示信息包括目标清理范围信息;
所述存储地址确定模块,具体用于确定属于所述目标清理范围信息对应的清理范围内的数据的存储地址,作为所述待清理数据的存储地址。
CN201811182553.8A 2018-10-11 2018-10-11 一种数据清理方法及装置 Pending CN109271379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811182553.8A CN109271379A (zh) 2018-10-11 2018-10-11 一种数据清理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811182553.8A CN109271379A (zh) 2018-10-11 2018-10-11 一种数据清理方法及装置

Publications (1)

Publication Number Publication Date
CN109271379A true CN109271379A (zh) 2019-01-25

Family

ID=65195552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811182553.8A Pending CN109271379A (zh) 2018-10-11 2018-10-11 一种数据清理方法及装置

Country Status (1)

Country Link
CN (1) CN109271379A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071389A (zh) * 2020-07-31 2022-02-18 中国移动通信集团新疆有限公司 一种测试验证方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546311A (zh) * 2008-03-27 2009-09-30 天津德智科技有限公司 回收站的数据处理方法及数据处理装置
CN105302868A (zh) * 2015-09-29 2016-02-03 北京金山安全软件有限公司 网络访问记录清理方法及装置
CN105589809A (zh) * 2014-10-24 2016-05-18 中国科学院深圳先进技术研究院 一种内存管理方法及装置
US20180052640A1 (en) * 2015-09-01 2018-02-22 International Business Machines Corporation File management in a file system
CN107784070A (zh) * 2017-09-15 2018-03-09 平安科技(深圳)有限公司 一种提高数据清洗效率的方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546311A (zh) * 2008-03-27 2009-09-30 天津德智科技有限公司 回收站的数据处理方法及数据处理装置
CN105589809A (zh) * 2014-10-24 2016-05-18 中国科学院深圳先进技术研究院 一种内存管理方法及装置
US20180052640A1 (en) * 2015-09-01 2018-02-22 International Business Machines Corporation File management in a file system
CN105302868A (zh) * 2015-09-29 2016-02-03 北京金山安全软件有限公司 网络访问记录清理方法及装置
CN107784070A (zh) * 2017-09-15 2018-03-09 平安科技(深圳)有限公司 一种提高数据清洗效率的方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071389A (zh) * 2020-07-31 2022-02-18 中国移动通信集团新疆有限公司 一种测试验证方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN105678189B (zh) 加密数据文件存储和检索系统及方法
CN105100146B (zh) 数据存储方法、装置及系统
CN106294352B (zh) 一种文件处理方法、装置和文件系统
CN110431542A (zh) 管理存储网络中的i/o操作
CN102725755B (zh) 文件访问方法及系统
CN105338297B (zh) 一种视频数据存储及回放系统、装置和方法
CN107911249B (zh) 一种网络设备的命令行发送方法、装置和设备
CN103324533B (zh) 分布式数据处理方法、装置及系统
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN104050248B (zh) 一种文件存储系统及存储方法
CN104572727A (zh) 一种数据查询方法及装置
CN106294421A (zh) 一种数据写入、读取方法及装置
CN105786401A (zh) 服务器集群系统中的数据管理方法及装置
CN108399050B (zh) 一种数据处理方法及装置
CN111352577A (zh) 一种对象存储方法及装置
CN104301233A (zh) 路由访问方法、路由访问系统及用户终端
US20210334409A1 (en) Integrity verification in cloud key-value stores
CN110134338A (zh) 一种分布式存储系统及其数据冗余保护方法和相关设备
CN104216759A (zh) 一种生成虚拟机的逻辑磁盘的方法,及装置
CN103559319A (zh) 分布式集群文件系统的缓存同步方法和设备
CN108268216A (zh) 数据处理方法、装置及服务器
CN109213447A (zh) 一种san存储卷挂载、卸载方法及系统
CN105677252B (zh) 读数据的方法、数据处理方法及相关存储设备
CN108399175B (zh) 一种数据存储、查询方法及其装置
CN109597903A (zh) 图像文件处理装置和方法、文件存储系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication