CN108108467B - 数据删除方法及装置 - Google Patents
数据删除方法及装置 Download PDFInfo
- Publication number
- CN108108467B CN108108467B CN201711485000.5A CN201711485000A CN108108467B CN 108108467 B CN108108467 B CN 108108467B CN 201711485000 A CN201711485000 A CN 201711485000A CN 108108467 B CN108108467 B CN 108108467B
- Authority
- CN
- China
- Prior art keywords
- meta
- information
- version number
- data unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1873—Versioning file systems, temporal file systems, e.g. file system supporting different historic versions of files
Abstract
本发明提供了一种数据删除方法及装置,该方法包括:检测到数据文件中与元信息对应的数据单元个数为零,获取所述元信息的版本号,其中,所述元信息的版本号为对所述元信息执行特定操作时的时间戳;比较所述元信息的版本号与当前的时间戳大小;若所述元信息的版本号小于所述当前的时间戳,则删除所述元信息。基于本发明提供的数据删除方法,通过检测数据文件中不存在与元信息对应的数据单元时,且该元信息的版本号小于当前的时间戳时,可以对该元信息进行删除,从而在保证存储有效数据的前提下实现元信息的合理回收,进而减小磁盘空间的占用。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据删除方法及装置。
背景技术
随着计算机技术的不断发展,各种设备在使用的过程中会产生大量的数据文件,而存储这些数据文件需要很大的磁盘空间。如果不能对磁盘进行及时清理,则会在设备的使用过程中发生因磁盘空间不足而导致运行速度慢或是无法正常运行等情况。目前,针对磁盘中过期数据的删除操作会有局限性,无法达到真正意义上的删除,从而造成磁盘浪费,影响存储效率。
发明内容
本发明提供了一种数据删除方法及装置以克服上述问题或者至少部分地解决上述问题。
根据本发明的一个方面,提供了一种数据删除方法,包括:
检测到数据文件中与元信息对应的数据单元个数为零,获取所述元信息的版本号,其中,所述元信息的版本号为对所述元信息执行特定操作时的时间戳;比较所述元信息的版本号与当前的时间戳大小;若所述元信息的版本号小于所述当前的时间戳,则删除所述元信息。
可选地,对所述元信息执行特定操作时的时间戳,包括:创建所述元信息时的时间戳;和/或对所述元信息对应的数据单元执行删除操作时的时间戳。
可选地,所述对所述元信息对应的数据单元执行删除操作,包括:将当前时间的时间戳设置为所述数据单元对应的元信息的版本号。
可选地,上述方法还包括:若在单位时间内执行多次删除操作,则在每次执行删除操作时将与所述数据单元对应的元信息的版本号添加第一预设数值。
可选地,上述方法还包括:在所述数据文件中新增与所述元信息对应的数据单元时,将所述元信息的版本号设置为新增的数据单元的版本号。
可选地,上述方法还包括:若在所述数据文件中检测到数据单元,则获取所述数据单元的版本号以及与所述数据单元对应的元信息的版本号;比较所述数据单元的版本号和与所述数据单元对应的元信息的版本号的大小;若所述数据单元的版本号小于与所述数据单元对应的元信息的版本号,则删除所述数据单元。
可选地,上述方法还包括:若在所述数据文件中检测到不存在与所述数据单元对应的元信息,则删除该数据单元。
可选地,所述时间戳为自初始时间点起至当前时间的绝对时间戳。
可选地,所述时间戳为自初始时间点起至当前时间所经过的秒数。
可选地,所述数据文件为key-value结构的数据文件。
根据本发明的另一个方面,还提供了一种数据删除装置,包括:
第一获取模块,配置为检测到数据文件中与元信息对应的数据单元个数为零,获取所述元信息的版本号,其中,所述元信息的版本号为对所述元信息执行特定操作时的时间戳;第一比较模块,配置为比较所述元信息的版本号与当前的时间戳大小;第一删除模块,配置为若所述元信息的版本号小于所述当前的时间戳,则删除所述元信息。
可选地,对所述元信息执行特定操作时的时间戳,包括:创建所述元信息时的时间戳;和/或对所述元信息对应的数据单元执行删除操作时的时间戳。
可选地,上述装置还包括:第一设置模块,配置为将当前时间的时间戳设置为所述数据单元对应的元信息的版本号。
可选地,上述装置还包括:数值添加模块,配置为若在单位时间内执行多次删除操作,则在每次执行删除操作时将与所述数据单元对应的元信息的版本号添加第一预设数值。
可选地,上述装置还包括:第二设置模块,配置为在所述数据文件中新增与所述元信息对应的数据单元时,将所述元信息的版本号设置为新增的数据单元的版本号。
可选地,上述装置还包括:第二获取模块,配置为若在所述数据文件中检测到数据单元,则获取所述数据单元的版本号以及与所述数据单元对应的元信息的版本号;第二比较模块,配置为比较所述数据单元的版本号和与所述数据单元对应的元信息的版本号的大小;第二删除模块,配置为若所述数据单元的版本号小于与所述数据单元对应的元信息的版本号,则删除所述数据单元。
可选地,上述装置还包括:第三删除模块,配置为若在所述数据文件中检测到不存在与所述数据单元对应的元信息,则删除该数据单元。
可选地,所述时间戳为自初始时间点起至当前时间的绝对时间戳。
可选地,所述时间戳为自初始时间点起至当前时间所经过的秒数。
可选地,所述数据文件为key-value结构的数据文件。
根据本发明的另一个方面,还提供了一种电子设备,包括:
处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据上述任一项所述的数据删除方法。
根据本发明的另一个方面,还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行根据上述任一项所述的数据删除方法。
本发明提供了一种更加高效的数据删除方法及装置,在需要对数据文件中的数据进行删除时,可以对数据文件中与元信息对应的数据单元的个数进行检测,若检测到与元信息对应的数据单元的个数为零,则获取该元信息的版本号,进而比较该元信息的版本号与当前的时间戳的大小,如果该元信息的版本号小于当前的时间戳,则可以删除该元信息。基于本发明提供的数据删除方法,通过检测数据文件中不存在与元信息对应的数据单元时,且该元信息的版本号小于当前的时间戳时,可以对该元信息进行删除,从而在保证存储有效数据的前提下实现元信息的合理回收,进而减小磁盘空间的占用。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明实施例的数据删除方法流程示意图;
图2是根据本发明实施例的在数据文件中存储的meta和data结构示意图;
图3是根据本发明优选实施例的数据删除方法流程示意图;
图4是根据本发明优选实施例的数据文件中meta和data结构示意图;
图5是根据本发明实施例的数据删除装置结构示意图;
图6是根据本发明优选实施例的数据删除装置结构示意图;
图7是根据本发明实施例的用于执行根据本发明的数据删除方法的计算设备的框图示意图;以及
图8是根据本发明实施例的用于保持或者携带实现根据本发明的数据删除方法的程序代码的存储单元示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明实施例的数据删除方法流程示意图,如图1所示,根据本发明实施例的数据删除方法包括:
步骤S102,检测到数据文件中与元信息对应的数据单元个数为零,获取该元信息的版本号,其中,元信息的版本号为对元信息执行特定操作时的时间戳;
步骤S104,比较该元信息的版本号与当前的时间戳大小;
步骤S106,若该元信息的版本号小于当前的时间戳,则删除该元信息。
本发明实施例提供了一种更加高效的数据删除方法,对数据文件中与元信息对应的数据单元的个数进行检测,若检测到与元信息对应的数据单元的个数为零,则获取该元信息的版本号,进而比较该元信息的版本号与当前的时间戳的大小,如果该元信息的版本号小于当前的时间戳,则可以删除该元信息。在数据存储中,元信息非常重要,默认为永不删除。但是由于在数据文件中存储的数据单元会很多,与数据单元对应的元信息也会非常多,即时后续将数据单元都删除,其对应的元信息也会占用很大的存储空间。因此,基于本发明实施例提供的数据删除方法,通过检测数据文件中不存在与元信息对应的数据单元时,且该元信息的版本号小于当前的时间戳时,可以对该元信息进行删除,从而在保证存储有效数据的前提下实现元信息的合理回收,进而减小过期数据在磁盘空间的占用率。
优选地,元信息的版本号为对元信息执行特定操作时的时间戳。时间戳(timestamp),一个能表示一份数据在某个特定时间之前已经存在的、完整的可验证的数据,通常是一个字符序列,唯一地标识某一刻的时间。本发明实施例中所记载的时间戳可以为自初始时间点起至当前时间的绝对时间戳,优选为自初始时间点起至当前时间所经过的秒数。初始时间可以磁盘所处系统最开始运行时的时间,可以记为0s,或是根据实际情况而设定的其他时间;而当前时间的绝对时间戳,可以为从0s基于时间流动而顺序递增至当前的时间。
其中,对元信息执行特定操作的时间戳可以包括:创建元信息时的时间戳;和/或对元信息对应的数据单元执行删除操作时的时间戳。通过将元信息的版本号设定为创建元信息时的时间戳;和/或对元信息对应的数据单元执行删除操作时的时间戳,可以在后续在回收数据文件的过期数据时,可以快速判断元信息的是否有效,以高效率的完成对数据文件的数据回收。
本发明实施例提供的数据删除方法尤其适于与对数据文件进行压缩合并时,对数据文件中的过期数据进行删除。对数据文件的压缩合并即对数据文件进行compaction,compaction主要可以起到如下作用:1)合并文件;2)清除删除、过期、多余版本的数据;3)提高读写数据的效率。其中,数据文件优选为key-value结构的数据文件。其中,元信息可以表示为meta,数据单元可以表示为与元信息meta对应的各data数据。
图2为根据本发明实施例的数据文件中meta和data的结构示意图。如图2所示,meta和data均为key-value结构。本发明实施例提供的meta、date各字段大小可以如图3所示,例如key最大为254Bytes,value为8Bytes,version和ttl(time to live,生命周期)分别设置为4Bytes,或将各字段的大小设置为其他数值。其中,meta中的value字段可以存储field的数量,version字段为meta的版本号。
传统的compaction方法中,meta的version从0开始,每次删除一个key时,仅对meta的version(版本号)+1。如果一个数据文件中key非常多,那么这些其对应的meta也会非常多,即使这些key后续全部删除,meta还是会占很大空间,造成磁盘浪费。
基于本发明实施例提供的数据删除方法,在对数据文件进行compaction时,如果扫描到一个meta,并且其size等于0,即说明与该meta对应的数据为零,则证明该meta是被删除的key的。然后比较其version和当前时间戳(秒),如果小于,则直接drop(丢弃),完成meta的真正删除。
上文提及,元信息的版本号为对该元信息执行特定操作时的时间戳。对元信息执行特定操作的时间戳可以进一步包括:
1、创建元信息时的时间戳;举例来说,基于本发明实施例提供的方法,meta的version不从0开始,而是从创建该meta时的绝对时间戳(秒)开始,假如通过hset接口新增一个key,那么其对应的meta的version就是该key插入瞬间的时间戳(秒)。
2、对元信息对应的数据单元执行删除操作时的时间戳;
在本发明优选实施例中,对元信息对应的数据单元执行删除操作可以优选为:将当前时间的时间戳设置为数据单元对应的元信息的版本号。假设将数据文件中与一个key对应的meta的version更新为当前时间戳,则可以理解为这一key被删除。
也就是说,当删除一个key的时候,会取当前时间戳(秒),再判断这个key的已有version值,比较该version值与当前时间戳的大小,如果version小于当前时间戳(秒),则直接使用当前时间戳(秒)来覆盖老的version,完成删除。
进一步地,若在单位时间内执行多次删除操作,则在每次执行删除操作时将与数据单元对应的元信息的版本号添加第一预设数值。即,如果version大于或等于当前时间戳(秒),则证明这个key在插入不到1s的时间内就被多次删除,故时间戳(秒)重合,即version与当前时间戳一致,此时可以将version增加第一预设值,比如可以将version+1。
在本发明优选实施例中,还可以包括:在数据文件中新增与元信息对应的数据单元时,将元信息的版本号设置为新增的数据单元的版本号。在上述实施例中提及,通过hset接口新增一个key,那么其对应的meta的version就是该key插入瞬间的时间戳(秒)。优选地,后续这个key插入的field都可以用这个version来做其自己的version,进而在后续对数据文件进行压缩合并时,快速对各field的有效性进行快速判断,以高效完成数据文件中过期数据的回收。
本发明实施例中还可以对数据文件中的数据单元进行删除操作,图3示出了根据本发明优选实施例的数据删除方法流程示意图,如图3所示,根据本发明优选实施例的数据删除方法可以包括:
步骤S302,若在数据文件中检测到数据单元,则获取该数据单元的版本号以及与该数据单元对应的元信息的版本号;
步骤S304,比较该数据单元的版本号和与该数据单元对应的元信息的版本号的大小;
步骤S306,若该数据单元的版本号小于与该数据单元对应的元信息的版本号,则删除该数据单元。
本发明实施例提供了一种对数据文件中的数据单元进行删除的方法,通过对数据单元的版本号以及与该数据单元对应的元信息的版本号的大小,可以快速判断是否删除该数据单元,提升对过期数据单元的清除效率。
进一步地,对数据文件中的数据单元进行检测时,若在数据文件中检测到不存在与数据单元对应的元信息,则删除该数据单元。元信息通常是与数据单元对应存在的。当检测到数据文件中不存在与数据单元对应的元信息时,则说明该元信息已被删除,此时,与该元信息对应的数据单元也可以进行删除,以进一步减小过期数据对磁盘空间的占用。实际应用中,可以是在对数据文件进行检测时,如果扫描到一个data,则比较其对应meta的version,如果小于,或者其对应的meta不存在,则可以直接drop,完成回收。
下面通过一个优选实施例对上述实施例进行详细说明。以删除与meta对应的key1为例。
如图4所示,meta中与key1对应的value的字段信息为:3,30000s;其中,3代表field数量,30000s代表时间戳,即version;
data中三个field的value字段信息分别为:V1,30000s;V2,30000s;V3,30000s;
1)如果在该数据文件中新增field,如V4、V5等,那么该新增的field的version与meta的version一致,即30000s;
2)当需要删除与meta对应的data,如key1时,将meta的size变为零(即代表field数量的字段改写为零),并更新version为40000s,即修改后的meta字段信息为:0,40000s;
3)对数据文件进行compaction,比较V1、V2、V3中的版本号30000s与meta的版本号40000s,V1、V2、V3的版本号均小于meta的版本号,删除V1、V2、V3;
4)对数据文件进行compaction,检测meta的size为零,即代表没有对应的field,且meta的version小于当前的时间戳,可以完全删除该meta。
基于同一发明构思,本发明实施例还提供了一种数据清除装置,如图5所示,根据本发明实施例的数据删除装置可以包括:
第一获取模块510,配置为检测到数据文件中与元信息对应的数据单元个数为零,获取该元信息的版本号,其中,元信息的版本号为对元信息执行特定操作时的时间戳;
第一比较模块520,配置为比较该元信息的版本号与当前的时间戳大小;
第一删除模块530,配置为若该元信息的版本号小于当前的时间戳,则删除该元信息。
优选地,对元信息执行特定操作时的时间戳,可以包括:创建元信息时的时间戳;和/或对元信息对应的数据单元执行删除操作时的时间戳。
在本发明一个优选实施例中,如图6所示,上述装置还可以包括:
第一设置模块540,配置为将当前时间的时间戳设置为数据单元对应的元信息的版本号。
在本发明一个优选实施例中,如图6所示,上述装置还可以包括:
数值添加模块550,配置为若在单位时间内执行多次删除操作,则在每次执行删除操作时将与数据单元对应的元信息的版本号添加第一预设数值。
在本发明一个优选实施例中,如图6所示,上述装置还可以包括:
第二设置模块560,配置为在数据文件中新增与元信息对应的数据单元时,将元信息的版本号设置为新增的数据单元的版本号。
在本发明一个优选实施例中,如图6所示,上述装置还可以包括:
第二获取模块570,配置为若在数据文件中检测到数据单元,则获取数据单元的版本号以及与数据单元对应的元信息的版本号;
第二比较模块580,配置为比较数据单元的版本号和与数据单元对应的元信息的版本号的大小;
第二删除模块590,配置为若该数据单元的版本号小于与该数据单元对应的元信息的版本号,则删除该数据单元。
在本发明一个优选实施例中,如图6所示,上述装置还可以包括:
第三删除模块5100,配置为若在数据文件中检测到不存在与数据单元对应的元信息,则删除该数据单元。
优选地,时间戳为自初始时间点起至当前时间的绝对时间戳。
优选地,时间戳为自初始时间点起至当前时间所经过的秒数。
优选地,数据文件为key-value结构的数据文件。
本发明实施例提供了一种更加高效的数据删除方法及装置,在需要对数据文件中的数据进行删除时,可以对数据文件中与元信息对应的数据单元的个数进行检测,若检测到与元信息对应的数据单元的个数为零,则获取该元信息的版本号,进而比较该元信息的版本号与当前的时间戳的大小,如果该元信息的版本号小于当前的时间戳,则可以删除该元信息。基于本发明实施例提供的数据删除方法,通过检测数据文件中不存在与元信息对应的数据单元时,且该元信息的版本号小于当前的时间戳时,可以对该元信息进行删除,从而在保证存储有效数据的前提下实现元信息的合理回收,进而减小磁盘空间的占用。尤其是对于已删除的数据单元,可以完成对其对应元信息的真正删除。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据删除装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
本发明实施例还提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,可执行指令在被执行时使处理器执行根据上述任一项所述的数据删除方法。
本发明实施例提供了一种计算机可读存储介质,其中,计算机可读存储介质存储一个或多个程序,一个或多个程序当被包括多个应用程序的电子设备执行时,使得电子设备执行根据上述任一项所述的数据删除方法。
例如,图7示出了可以实现数据删除方法的计算设备。该计算设备传统上包括处理器710和存储器720形式的计算机程序产品或者计算机可读介质。存储器720可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器720具有存储用于执行上述方法中的任何方法步骤的程序代码731的存储空间730。例如,存储程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个程序代码731。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图8所示的便携式或者固定存储单元。该存储单元可以具有与图7的计算设备中的存储器720类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括用于执行本发明的方法步骤的计算机可读代码731’,即可以由诸如710之类的处理器读取的代码,当这些代码由计算设备运行时,导致该计算设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (18)
1.一种数据删除方法,包括:
检测到数据文件中与元信息对应的数据单元个数为零,获取所述元信息的版本号,其中,所述元信息的版本号为对所述元信息执行特定操作时的时间戳;
比较所述元信息的版本号与当前的时间戳大小;
若所述元信息的版本号小于所述当前的时间戳,则删除所述元信息;
若在所述数据文件中检测到数据单元,则获取所述数据单元的版本号以及与所述数据单元对应的元信息的版本号;
若在单位时间内执行多次删除操作,则在每次执行删除操作时将与所述数据单元对应的元信息的版本号添加第一预设数值;
比较所述数据单元的版本号和与所述数据单元对应的元信息的版本号的大小;
若所述数据单元的版本号小于与所述数据单元对应的元信息的版本号,则删除所述数据单元。
2.根据权利要求1所述的方法,其中,对所述元信息执行特定操作时的时间戳,包括:
创建所述元信息时的时间戳;和/或
对所述元信息对应的数据单元执行删除操作时的时间戳。
3.根据权利要求2所述的方法,其中,所述对所述元信息对应的数据单元执行删除操作,包括:
将当前时间的时间戳设置为所述数据单元对应的元信息的版本号。
4.根据权利要求1所述的方法,其中,还包括:
在所述数据文件中新增与所述元信息对应的数据单元时,将所述元信息的版本号设置为新增的数据单元的版本号。
5.根据权利要求1所述的方法,其中,还包括:
若在所述数据文件中检测到不存在与所述数据单元对应的元信息,则删除该数据单元。
6.根据权利要求1-5任一项所述的方法,其中,所述时间戳为自初始时间点起至当前时间的绝对时间戳。
7.根据权利要求6所述的方法,其中,所述时间戳为自初始时间点起至当前时间所经过的秒数。
8.根据权利要求1-5任一项所述的方法,其中,所述数据文件为key-value结构的数据文件。
9.一种数据删除装置,包括:
第一获取模块,配置为检测到数据文件中与元信息对应的数据单元个数为零,获取所述元信息的版本号,其中,所述元信息的版本号为对所述元信息执行特定操作时的时间戳;
第一比较模块,配置为比较所述元信息的版本号与当前的时间戳大小;
第一删除模块,配置为若所述元信息的版本号小于所述当前的时间戳,则删除所述元信息;
第二获取模块,配置为若在所述数据文件中检测到数据单元,则获取所述数据单元的版本号以及与所述数据单元对应的元信息的版本号;
数值添加模块,配置为若在单位时间内执行多次删除操作,则在每次执行删除操作时将与所述数据单元对应的元信息的版本号添加第一预设数值;
第二比较模块,配置为比较所述数据单元的版本号和与所述数据单元对应的元信息的版本号的大小;
第二删除模块,配置为若所述数据单元的版本号小于与所述数据单元对应的元信息的版本号,则删除所述数据单元。
10.根据权利要求9所述的装置,其中,对所述元信息执行特定操作时的时间戳,包括:
创建所述元信息时的时间戳;和/或
对所述元信息对应的数据单元执行删除操作时的时间戳。
11.根据权利要求9所述的装置,其中,还包括:
第一设置模块,配置为将当前时间的时间戳设置为所述数据单元对应的元信息的版本号。
12.根据权利要求9所述的装置,其中,还包括:
第二设置模块,配置为在所述数据文件中新增与所述元信息对应的数据单元时,将所述元信息的版本号设置为新增的数据单元的版本号。
13.根据权利要求9所述的装置,其中,还包括:
第三删除模块,配置为若在所述数据文件中检测到不存在与所述数据单元对应的元信息,则删除该数据单元。
14.根据权利要求9-13任一项所述的装置,其中,所述时间戳为自初始时间点起至当前时间的绝对时间戳。
15.根据权利要求9所述的装置,其中,所述时间戳为自初始时间点起至当前时间所经过的秒数。
16.根据权利要求9-13任一项所述的装置,其中,所述数据文件为key-value结构的数据文件。
17.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据权利要求1-8中任一项所述的数据删除方法。
18.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行根据权利要求1-8中任一项所述的数据删除方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711485000.5A CN108108467B (zh) | 2017-12-29 | 2017-12-29 | 数据删除方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711485000.5A CN108108467B (zh) | 2017-12-29 | 2017-12-29 | 数据删除方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108108467A CN108108467A (zh) | 2018-06-01 |
CN108108467B true CN108108467B (zh) | 2021-08-20 |
Family
ID=62215044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711485000.5A Active CN108108467B (zh) | 2017-12-29 | 2017-12-29 | 数据删除方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108108467B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558382B (zh) * | 2018-12-06 | 2022-07-19 | Oppo广东移动通信有限公司 | 文件管理方法、电子装置及计算机可读存储介质 |
CN111400255B (zh) * | 2019-09-26 | 2023-04-28 | 杭州海康威视系统技术有限公司 | 数据清理方法、装置及设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030225A (zh) * | 2006-03-02 | 2007-09-05 | 国际商业机器公司 | 维护用于脱机储存库的元数据的装置、系统和方法 |
CN101706817A (zh) * | 2009-12-01 | 2010-05-12 | 中兴通讯股份有限公司 | 分布式文件系统及其垃圾数据清理方法 |
CN102024018A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统中垃圾元数据的在线回收方法 |
CN103678337A (zh) * | 2012-09-06 | 2014-03-26 | 华为技术有限公司 | 数据清除方法、装置及系统 |
CN106294866A (zh) * | 2016-08-23 | 2017-01-04 | 北京奇虎科技有限公司 | 一种日志处理方法和装置 |
CN107357808A (zh) * | 2017-05-27 | 2017-11-17 | 北京五八信息技术有限公司 | 数据管理方法、装置及设备 |
CN107451190A (zh) * | 2017-06-26 | 2017-12-08 | 北京五八信息技术有限公司 | 可持久化非关系型数据库的数据处理方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070185936A1 (en) * | 2006-02-07 | 2007-08-09 | Derk David G | Managing deletions in backup sets |
CN100586233C (zh) * | 2008-02-04 | 2010-01-27 | 华为技术有限公司 | 移动性管理网元信息的删除方法和设备 |
US8671072B1 (en) * | 2009-09-14 | 2014-03-11 | Netapp, Inc. | System and method for hijacking inodes based on replication operations received in an arbitrary order |
US9690837B1 (en) * | 2013-06-28 | 2017-06-27 | EMC IP Holding Company LLC | Techniques for preserving redundant copies of metadata in a data storage system employing de-duplication |
CN104881462B (zh) * | 2015-05-22 | 2018-11-13 | 广东中标数据科技股份有限公司 | 元数据管理系统 |
-
2017
- 2017-12-29 CN CN201711485000.5A patent/CN108108467B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030225A (zh) * | 2006-03-02 | 2007-09-05 | 国际商业机器公司 | 维护用于脱机储存库的元数据的装置、系统和方法 |
CN101706817A (zh) * | 2009-12-01 | 2010-05-12 | 中兴通讯股份有限公司 | 分布式文件系统及其垃圾数据清理方法 |
CN102024018A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件系统中垃圾元数据的在线回收方法 |
CN103678337A (zh) * | 2012-09-06 | 2014-03-26 | 华为技术有限公司 | 数据清除方法、装置及系统 |
CN106294866A (zh) * | 2016-08-23 | 2017-01-04 | 北京奇虎科技有限公司 | 一种日志处理方法和装置 |
CN107357808A (zh) * | 2017-05-27 | 2017-11-17 | 北京五八信息技术有限公司 | 数据管理方法、装置及设备 |
CN107451190A (zh) * | 2017-06-26 | 2017-12-08 | 北京五八信息技术有限公司 | 可持久化非关系型数据库的数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108108467A (zh) | 2018-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108196792B (zh) | 清除过期数据的方法及装置 | |
CN102937926B (zh) | 一种恢复移动终端已删除sqlite文件的方法及装置 | |
US20140222761A1 (en) | Terminal Backup and Recovery Method | |
CN108108467B (zh) | 数据删除方法及装置 | |
CN102737205B (zh) | 保护包括可编辑元数据的文件 | |
CN110134653B (zh) | 一种利用日志辅助数据库审计方法及系统 | |
CN112182010B (zh) | 脏页刷新方法和装置、存储介质和电子设备 | |
CN103092726A (zh) | 注册表删除数据的恢复方法和装置 | |
CN109496292A (zh) | 一种磁盘管理方法、磁盘管理装置及电子设备 | |
CN112714359A (zh) | 视频推荐方法、装置、计算机设备及存储介质 | |
CN111125298A (zh) | 重建ntfs文件目录树的方法、设备及存储介质 | |
CN109522305B (zh) | 一种大数据去重方法及装置 | |
CN109189610B (zh) | 一种linux下服务器监测数据的处理方法 | |
CN109360605B (zh) | 基因组测序数据归档方法、服务器及计算机可读存储介质 | |
Billard et al. | Making sense of unstructured flash-memory dumps | |
CN110297811B (zh) | 数据处理方法及装置、计算机系统和计算机可读存储介质 | |
CN107704340B (zh) | Pe镜像文件生成方法、装置及电子设备 | |
CN109388617A (zh) | 一种文件时间戳可信度的判定方法及装置 | |
CN104615948A (zh) | 一种自动识别文件完整性与恢复的方法 | |
CN106599006A (zh) | 一种数据恢复方法和装置 | |
KR101111400B1 (ko) | 임베디드 시스템의 데이터 복원 장치 및 방법 | |
CN112235599B (zh) | 一种视频处理方法及系统 | |
CN110543452B (zh) | 一种数据采集的方法及设备 | |
CN107526649B (zh) | 分区修复方法、装置及电子设备 | |
JPH08227372A (ja) | データ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |