CN110765081A - 一种数据删除方法和装置 - Google Patents
一种数据删除方法和装置 Download PDFInfo
- Publication number
- CN110765081A CN110765081A CN201810837643.XA CN201810837643A CN110765081A CN 110765081 A CN110765081 A CN 110765081A CN 201810837643 A CN201810837643 A CN 201810837643A CN 110765081 A CN110765081 A CN 110765081A
- Authority
- CN
- China
- Prior art keywords
- data
- data block
- logical
- time
- logical data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据删除方法和装置,本申请通过划分逻辑数据块,为逻辑数据块设置时间段标签和时间有效期,再按照原始数据的时间戳和逻辑数据块的时间段标签的匹配情况,将原始数据保存到相应的逻辑数据块的存储空间中;这样,可以通过判断逻辑数据块是否超期,来实现判断逻辑数据块对应存储空间内保存的原始数据是否超期的目的,减小了检测数据是否超期所消耗的时间。在逻辑数据块的数量保持一定的前提下,本申请实施例在检测上耗费的时间并不随数据的增多而增多。以及,当需要修改数据的有效期时,通过修改该数据所在逻辑数据块的时间有效期即可方便的实现。
Description
技术领域
本申请涉及数据存储领域,尤其涉及一种数据删除方法和装置。
背景技术
随着计算机技术的发展,数据出现了爆炸式的增长,数据成了当今世界增长最快的资源之一。如此增长迅速、数据量大、类型多样的数据蕴含了巨大的商业价值、研究价值。为了挖掘数据中潜在价值,与数据相关的大数据技术、大数据科学和大数据应用等迅速成为信息科学领域的热点问题,得到国家政府部门、经济公司以及科学领域有关专家的广泛关注。
在数据存储的过程中,总是会存在一些无效的数据,这些数据会占用相当一部分的存储资源,还会对有效数据形成干扰,严重影响人们对于数据库中的数据资源的利用和数据分析的结果。因此数据删除也变的至关重要。
通常数据删除主要靠人工对无效数据进行筛选和删除,效率低下且存在误操作风险;且因为数据量巨大、内容繁多,人工删除数据消耗时间过长,且容易因为业务类型较多,工作疲劳等因素造成误操作,从而造成不可估量的损失。
发明内容
有鉴于此,本申请提供一种数据删除方法和装置,用以解决人工筛选无效数据并删除的低效高风险问题。
具体地,本申请是通过如下技术方案实现的:
本申请实施例第一方面,提供了一种数据删除方法,其特征在于,所述方法应用于存储系统,所述存储系统中划分出多个逻辑数据块,所述方法包括:
遍历已划分出的所述多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期;每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长;
针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
本申请实施例第二方面,提供了一种数据删除装置,所述装置应用于存储系统,所述存储系统中划分出多个逻辑数据块。所述装置具有实现上述第一方面提供的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。
一种实现方式中,所述装置可以包括:
超期检测模块,用于遍历已划分出的所述多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期;每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长;
数据删除模块,用于针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
另一种实现方式中,所述装置可以包括处理器、存储器和总线,所述处理器和所述存储器之间通过总线相互连接;所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行本申请实施例第一方面提供的方法。
本申请实施例通过划分逻辑数据块,为逻辑数据块设置时间段标签和时间有效期,再按照原始数据的时间戳和逻辑数据块的时间段标签的匹配情况,将原始数据保存到相应的逻辑数据块的存储空间中;这样,可以通过判断逻辑数据块是否超期,来实现判断逻辑数据块对应存储空间内保存的原始数据是否超期的目的,减小了检测数据是否超期所消耗的时间。在逻辑数据块的数量保持一定的前提下,本申请实施例在检测上耗费的时间并不随数据的增多而增多。以及,当需要修改数据的有效期时,通过修改该数据所在逻辑数据块的时间有效期即可方便的实现。
附图说明
图1是本申请实施例提供的一种数据删除方法的运作流程图;
图2是本申请实施例提供的逻辑数据块示意图;
图3是本申请实施例提供的删除超期数据的方法流程图;
图4是本申请实施例提供的删除超容数据的方法流程图;
图5是本申请实施例提供的装置模块框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
针对人工筛选无效数据并删除的低效高风险问题,本申请实施例提供一种数据删除方案来解决上述问题。本申请实施例提供的数据删除方案可以应用于存储系统,包括集中式存储系统和分布式存储系统。其中集中式存储系统指将数据集中存储在一台设备上的系统,比如PC(personal computer,个人计算机);分布式存储系统指将数据分散存储在多台独立设备上的系统,比如HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)。随着数据的增多,以高性能、高容量为主要特性的分布式存储系统将逐渐成为主流的存储系统。
请参见图1,在一个实施方案中,本申请实施例提供的数据删除方法的总体运作流程可以包括以下步骤:
步骤101:存储系统在本地划分出多个逻辑数据块。
这里,划分逻辑数据块即为创建的逻辑数据块分配对应的存储空间。本申请实施例中,逻辑数据块为存储系统中的数据存储单元,每个逻辑数据块对应一段地址连续或者不连续的真实存储空间。不同的逻辑数据块不会共用同一存储空间。在系统运行过程中,可以根据需求为逻辑数据块增加存储空间,但需要注意的是,已分配给某个逻辑数据块使用的存储空间不能再分配给其它逻辑数据块。
步骤102:存储系统为划分出的多个逻辑数据块设置时间段标签和数据内容标签。
本申请实施例中,逻辑数据块的时间段标签可以用于指示存储系统将收到的原始数据保存到哪个逻辑数据块对应的存储空间。所谓原始数据是指存储系统中初次导入的数据。每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内。本申请实施例对时间段标签所标识的时间段的间隔长短并不做限制,例如可以将时间段标签设置成2017年-2018年,2018年1月-2018年6月,2018年1月1日00:00-2018年1月1日23:59等。
同样的,数据内容标签也可用于指示存储系统将收到的数据保存到哪个逻辑数据块对应的存储空间。每个逻辑数据块对应的存储空间内保存的原始数据还满足:该原始数据的数据内容与该逻辑数据块的数据内容标签一致。数据内容标签可以根据存储系统将会收到的数据的内容提前设置,例如存储系统将会收到A、B、C、D四个小区的摄像信息,则可以提前为相应的逻辑数据块设置如下数据内容标签:A小区摄像信息、B小区摄像信息、C小区摄像信息和D小区摄像信息。
参见图2,为存储系统中划分出的逻辑数据块的示意图,由图可见,具有相同时间段标签的逻辑数据块其数据内容标签互不相同,具有相同数据内容标签的逻辑数据块其时间段标签互不相同。
步骤103:存储系统为划分出的每个逻辑数据块分别设置时间有效期,以及为具有相同内容标签的每组逻辑数据块设置存储容量限额。
本申请实施例中,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长,是用于判断原始数据是否超期的依据。每组逻辑数据块的存储容量限额用于限制该组逻辑数据块的对应存储空间能够保存的原始数据大小,是用于判断原始数据是否超容的依据。
步骤104:存储系统为划分出的每个逻辑数据块分别设置关联位置信息。
原始数据在存储并经过处理后,会得到与之相关的分析数据或其它衍生数据,这些分析数据或衍生数据统称为原始数据的关联数据。例如当某原始数据为某公司于2018年1月的消费记录时,通过分析该消费记录得到的该公司各部门于2018年1月的消费额度即为该原始数据的关联数据。
这里的关联位置信息用于指示与原始数据相关的关联数据的存储位置,例如可以是指向关联数据存储位置的指针,关联数据所在目录的目录名,或者关联数据所在文件的文件名等。
经过以上步骤101-104,即可完成逻辑数据块的划分和设置。之后,存储系统可以通过以下方式将收到的原始数据保存到对应的逻辑数据块:当接收到原始数据时,根据接收到的原始数据的时间戳和数据内容,在已划分出的逻辑数据块中查找匹配逻辑数据块;该接收到的原始数据的时间戳落在匹配逻辑数据块的时间段标签所标识的时间段内,且该接收到的原始数据的数据内容与匹配逻辑数据块的数据内容标签一致;最后,将接收到的原始数据保存至找到的匹配逻辑数据块的对应存储空间内。
存储系统一方面对收到的原始数据进行存储,一方面会删除一部分旧的原始数据来释放存储容量:
步骤105:存储系统检测已保存在逻辑数据块对应存储空间内的原始数据是否超出时间有效期或者超出存储容量限额;如果是,则执行步骤106,如果否,则执行步骤107。
这里,存储系统可以按照固定频率触发对原始数据的检测,和/或,也可以根据外部输入的检测指令即时触发对原始数据的检测。
在检测时,存储系统可以启动两个任务,一个任务用于检测原始数据是否超出时间有效期,一个任务用于检测原始数据是否超出存储容量限额,两个任务互不干扰。当存储系统按照固定频率触发对原始数据的检测时,这两个任务的检测频率可以相同,也可以不同。至于如何根据检测原始数据是否超期和超容将在下文描述,这里暂不详述。
步骤106:存储系统对超出时间有效期或者超出存储容量限额的原始数据执行删除处理,并继续执行步骤107。
步骤107:存储系统检测为逻辑数据块设置的时间有效期和存储容量限额是否被删除;如果是,则流程结束;如果否,则返回执行步骤105。
下面,通过图3,对上述步骤105和步骤106中检测原始数据是否超出时间有效期的一种实施方式进行说明:
步骤301:存储系统遍历已划分出的多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期。
本申请实施例中,存储系统是根据原始数据的时间戳将原始数据保存到对应的逻辑数据块的存储空间内的,每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内。比如当一逻辑数据块的时间段标签为2018.1-2018.6时,表示该逻辑数据块对应存储空间内保存的原始数据是在2018年1月至2018年6月之间生成的。因此,存储系统可以通过判断逻辑数据块是否超期,来实现判断逻辑数据块对应存储空间内保存的原始数据是否超期的目的。
在一个例子中,可以通过以下步骤检测逻辑数据块是否超期:针对每个逻辑数据块,根据为该逻辑数据块预先设置的时间段标签,确定该时间段标签所标识的时间段的最大时刻;计算当前系统时刻与该最大时刻的时间间隔;判断该时间间隔是否大于为该逻辑数据块预先设置的时间有效期;如果是,则确定该逻辑数据块超期;如果否,则确定该逻辑数据块未超期。
例如,一逻辑数据块的时间段标签为2017.1-2018.1,则该时间段标签所标识的时间段的最大时刻为2018年1月;如果当前系统时刻为2018年7月,预先为该逻辑数据块设置的时间有效期为1年,则由于当前系统时刻与该最大时刻相差6个月不满1年,所以可以认为该逻辑数据块未超期。
步骤302:存储系统针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
这里,删除超期逻辑数据块,即将分配给该超期逻辑数据块使用的存储空间释放,使得该存储空间可以重新分配给其它逻辑数据块使用。
此外,在删除超期逻辑数据块对应存储空间内保存的原始数据之前或之后,还可以根据步骤104中预先为该超期逻辑数据块设置的关联位置信息,找到与该超期逻辑数据块对应存储空间内保存的原始数据相关的关联数据并删除。如此可以尽可能的删除存储系统中相对无用或陈旧的数据。
更优地,在另一实施例中,步骤302中存储系统针对检测出的超期逻辑数据块,可以先通过邮件告警等形式通知管理员,管理员可以选择对该超期逻辑数据块的时间有效期进行延长,比如将时间有效期从1年延长为2年,也可以选择不对该超期逻辑数据块的时间有效期进行延长。存储系统如果在设定时间内为接收到对该超期逻辑数据块的时间有效期进行延长的指令,再删除该超期逻辑数据块、该超期逻辑数据块对应存储空间内保存的原始数据以及相关的关联数据。
以下,通过图4,对上述步骤105和步骤106中检测原始数据是否超出存储容量限额的一种实施方式进行说明。存储系统遍历已划分出的多个逻辑数据块,针对具有相同数据内容标签的每组逻辑数据块执行以下操作:
步骤401:存储系统统计该组逻辑数据块对应存储空间内保存的原始数据大小总和。
本申请实施例中,每组逻辑数据块由至少一个具有相同数据内容标签的逻辑数据块组成。比如某组逻辑数据块的数据内容标签为A公司消费记录,则该组逻辑数据块的存储空间内可以存储着A公司在各个月份的消费记录。
步骤402:存储系统判断统计得到的原始数据大小总和是否大于为该组逻辑数据块预先设置的存储容量限额;如果是,则通过步骤403执行删除处理;如果否,则不执行删除处理。
步骤403:当统计得到的原始数据大小大于为该组逻辑数据块预先设置的存储容量限额时,存储系统从该组逻辑数据块中筛选出N个逻辑数据块,删除该N个逻辑数据块和该N个逻辑数据块对应存储空间内保存的原始数据,使得完成删除之后该组逻辑数据块对应存储空间内保存的原始数据大小总和小于为该组逻辑数据块预先设置的存储容量限额。
在一个例子中,步骤403中可以根据该组逻辑数据块中每个逻辑数据块的时间段标签所标识的时间段的最小时刻,筛选出最小时刻排在前N位的N个逻辑数据块。
例如,假设一组逻辑数据块包括3个逻辑数据块,逻辑数据块1的时间段标签为2017年1月-2017年4月,逻辑数据块2的时间段标签为2017年5月-2017年8月,逻辑数据块3的时间段标签为2017年9月-2017年12月;则逻辑数据块1的时间段标签所标识的时间段的最小时刻为2017年1月,逻辑数据块2为2017年5月,逻辑数据块3为2017年9月。存储系统可以先删除最小时刻排在第1位的逻辑数据块1和2017年1月至2017年4月内产生的原始数据,然后判断此时该组逻辑数据块对应保存的原始数据大小是否低于设置的存储容量限额,如果是则结束删除处理,如果否则继续删除最小时刻排在第2位的逻辑数据块2和2017年5月至-2017年8月内产生的原始数据,重复此操作直至该组逻辑数据块对应保存的原始数据大小小于设置的存储容量限额。
此外,在删除超容逻辑数据块对应存储空间内保存的原始数据之前或之后,还可以根据步骤104中预先为该超容逻辑数据块设置的关联位置信息,找到与该超容逻辑数据块对应存储空间内保存的原始数据相关的关联数据并删除。如此可以尽可能的删除存储系统中相对无用或陈旧的数据。
更优地,在另一实施例中,针对超容的该组逻辑数据块,存储系统在执行步骤403之前可以先通过邮件告警等形式通知管理员,管理员可以选择对该超容逻辑数据块的存储容量限额进行增大,比如将存储容量限额从1G增大为2G,也可以选择不对该超容逻辑数据块的存储容量限额进行延长。存储系统如果在设定时间内为接收到对该超容逻辑数据块的存储容量限额进行增大的指令,再删除该超容逻辑数据块、该超容逻辑数据块对应存储空间内保存的原始数据以及相关的关联数据。
至此,完成图1、图3和图4所示流程。
从以上流程可以看出,本申请实施例通过划分逻辑数据块,为逻辑数据块设置时间段标签和时间有效期,再按照原始数据的时间戳和逻辑数据块的时间段标签的匹配情况,将原始数据保存到相应的逻辑数据块的存储空间中;这样,可以通过判断逻辑数据块是否超期,来实现判断逻辑数据块对应存储空间内保存的原始数据是否超期的目的,减小了检测数据是否超期所消耗的时间。在逻辑数据块的数量保持一定的前提下,本申请实施例在检测上耗费的时间并不随数据的增多而增多。以及,当需要修改数据的有效期时,通过修改该数据所在逻辑数据块的时间有效期即可方便的实现。
进一步的,由于数据不止存在有效期满需要删除的情况,也存在因为系统存储容量不足而需要删除老数据的情况,因此本申请实施例还为具有相同数据内容标签的每组逻辑数据块设置了一个共同的存储容量限额,在该组逻辑数据块内的原始数据超出存储容量限额时删除最早时间范围内的旧数据来释放存储空间。
进一步的,本申请实施例还支持在删除原始数据的同时,删除与该原始数据相关的关联数据。
以上对本申请实施例提供的方法进行了描述。下面对本申请实施例提供的装置进行描述。
参见图5,图5为本申请实施例提供的数据删除装置的功能模块图,该装置可以应用于存储系统中,该存储系统中划分出多个逻辑数据块。如图5所示,该装置包括:
超期检测模块501,用于遍历已划分出的所述多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期;每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长;
数据删除模块502,用于针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
在其中一种实施方式中,所述超期检测模块501,用于针对每个逻辑数据块,根据为该逻辑数据块预先设置的时间段标签,确定该时间段标签所标识的时间段的最大时刻;计算当前系统时刻与该最大时刻的时间间隔;判断该时间间隔是否大于为该逻辑数据块预先设置的时间有效期;如果是,则确定该逻辑数据块超期;如果否,则确定该逻辑数据块未超期。
在其中一种实施方式中,每个逻辑数据块还预先设置有数据内容标签;所述装置还可以包括:
接收模块,用于接收原始数据;
数据保存模块,用于根据接收到的原始数据的时间戳和数据内容,在已划分出的逻辑数据块中查找匹配逻辑数据块;该接收到的原始数据的时间戳落在匹配逻辑数据块的时间段标签所标识的时间段内,且该接收到的原始数据的数据内容与匹配逻辑数据块的数据内容标签一致;将接收到的原始数据保存至找到的匹配逻辑数据块的对应存储空间内。
在其中一种实施方式中,所述装置还可以包括超容检测模块;
所述超容检测模块,用于遍历已划分出的所述多个逻辑数据块,针对具有相同数据内容标签的每组逻辑数据块执行以下操作:统计该组逻辑数据块对应存储空间内保存的原始数据大小总和;判断统计得到的原始数据大小总和是否大于为该组逻辑数据块预先设置的存储容量限额;如果是,则从该组逻辑数据块中筛选出N个逻辑数据块;
相应的,所述数据删除模块502,还用于删除该N个逻辑数据块和该N个逻辑数据块对应存储空间内保存的原始数据,使得完成删除之后该组逻辑数据块对应存储空间内保存的原始数据大小总和小于为该组逻辑数据块预先设置的存储容量限额。
在其中一种实施方式中,所述超容检测模块,用于根据该组逻辑数据块中每个逻辑数据块的时间段标签所标识的时间段的最小时刻,筛选出最小时刻排在前N位的N个逻辑数据块。
在其中一种实施方式中,所述数据删除模块502,还用于针对检测出的超期逻辑数据块,根据预先为该超期逻辑数据块设置的关联位置信息,找到与该超期逻辑数据块对应存储空间内保存的原始数据相关的关联数据并删除;所述关联位置信息用于指示关联数据的存储位置。
需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
至此,完成图5所示装置的描述。
本申请实施例还提供一种数据删除装置,应用于存储系统,包括处理器、存储器和总线,所述处理器和所述存储器之间通过总线相互连接;所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,以实现如图1、图3和图4所示的方法。
此外,本申请实施例还提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现图1、图2和图4所示的方法。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (14)
1.一种数据删除方法,其特征在于,所述方法应用于存储系统,所述存储系统中划分出多个逻辑数据块,所述方法包括:
遍历已划分出的所述多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期;每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长;
针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
2.如权利要求1所述的方法,其特征在于,所述根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期,包括:
针对每个逻辑数据块,根据为该逻辑数据块预先设置的时间段标签,确定该时间段标签所标识的时间段的最大时刻;
计算当前系统时刻与该最大时刻的时间间隔;
判断该时间间隔是否大于为该逻辑数据块预先设置的时间有效期;
如果是,则确定该逻辑数据块超期;如果否,则确定该逻辑数据块未超期。
3.如权利要求1所述的方法,其特征在于,每个逻辑数据块还预先设置有数据内容标签;所述方法还包括:
接收原始数据;
根据接收到的原始数据的时间戳和数据内容,在已划分出的逻辑数据块中查找匹配逻辑数据块;该接收到的原始数据的时间戳落在匹配逻辑数据块的时间段标签所标识的时间段内,且该接收到的原始数据的数据内容与匹配逻辑数据块的数据内容标签一致;
将接收到的原始数据保存至找到的匹配逻辑数据块的对应存储空间内。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
遍历已划分出的所述多个逻辑数据块,针对具有相同数据内容标签的每组逻辑数据块执行以下操作:
统计该组逻辑数据块对应存储空间内保存的原始数据大小总和;
判断统计得到的原始数据大小总和是否大于为该组逻辑数据块预先设置的存储容量限额;
如果是,则从该组逻辑数据块中筛选出N个逻辑数据块,删除该N个逻辑数据块和该N个逻辑数据块对应存储空间内保存的原始数据,使得完成删除之后该组逻辑数据块对应存储空间内保存的原始数据大小总和小于为该组逻辑数据块预先设置的存储容量限额。
5.如权利要求4所述的方法,其特征在于,从该组逻辑数据块中筛选出N个逻辑数据块,包括:
根据该组逻辑数据块中每个逻辑数据块的时间段标签所标识的时间段的最小时刻,筛选出最小时刻排在前N位的N个逻辑数据块。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
针对检测出的超期逻辑数据块,根据预先为该超期逻辑数据块设置的关联位置信息,找到与该超期逻辑数据块对应存储空间内保存的原始数据相关的关联数据并删除;所述关联位置信息用于指示关联数据的存储位置。
7.一种数据删除装置,其特征在于,所述装置应用于存储系统,所述存储系统中划分出多个逻辑数据块,所述装置包括:
超期检测模块,用于遍历已划分出的所述多个逻辑数据块,根据为每个逻辑数据块预先设置的时间段标签和时间有效期检测该逻辑数据块是否超期;每个逻辑数据块对应的存储空间内保存的原始数据满足:该原始数据的时间戳落在该逻辑数据块的时间段标签所标识的时间段内,每个逻辑数据块的时间有效期用于指示该逻辑数据块的存活时长;
数据删除模块,用于针对检测出的超期逻辑数据块,删除该超期逻辑数据块和该超期逻辑数据块对应存储空间内保存的原始数据。
8.如权利要求7所述的装置,其特征在于,
所述超期检测模块,用于针对每个逻辑数据块,根据为该逻辑数据块预先设置的时间段标签,确定该时间段标签所标识的时间段的最大时刻;计算当前系统时刻与该最大时刻的时间间隔;判断该时间间隔是否大于为该逻辑数据块预先设置的时间有效期;如果是,则确定该逻辑数据块超期;如果否,则确定该逻辑数据块未超期。
9.如权利要求7所述的装置,其特征在于,每个逻辑数据块还预先设置有数据内容标签;所述装置还包括:
接收模块,用于接收原始数据;
数据保存模块,用于根据接收到的原始数据的时间戳和数据内容,在已划分出的逻辑数据块中查找匹配逻辑数据块;该接收到的原始数据的时间戳落在匹配逻辑数据块的时间段标签所标识的时间段内,且该接收到的原始数据的数据内容与匹配逻辑数据块的数据内容标签一致;将接收到的原始数据保存至找到的匹配逻辑数据块的对应存储空间内。
10.如权利要求9所述的装置,其特征在于,所述装置还包括超容检测模块;
所述超容检测模块,用于遍历已划分出的所述多个逻辑数据块,针对具有相同数据内容标签的每组逻辑数据块执行以下操作:统计该组逻辑数据块对应存储空间内保存的原始数据大小总和;判断统计得到的原始数据大小总和是否大于为该组逻辑数据块预先设置的存储容量限额;如果是,则从该组逻辑数据块中筛选出N个逻辑数据块;
所述数据删除模块,还用于删除该N个逻辑数据块和该N个逻辑数据块对应存储空间内保存的原始数据,使得完成删除之后该组逻辑数据块对应存储空间内保存的原始数据大小总和小于为该组逻辑数据块预先设置的存储容量限额。
11.如权利要求10所述的装置,其特征在于,
所述超容检测模块,用于根据该组逻辑数据块中每个逻辑数据块的时间段标签所标识的时间段的最小时刻,筛选出最小时刻排在前N位的N个逻辑数据块。
12.如权利要求7所述的装置,其特征在于,
所述数据删除模块,还用于针对检测出的超期逻辑数据块,根据预先为该超期逻辑数据块设置的关联位置信息,找到与该超期逻辑数据块对应存储空间内保存的原始数据相关的关联数据并删除;所述关联位置信息用于指示关联数据的存储位置。
13.一种数据删除装置,其特征在于,应用于存储系统,包括处理器、存储器和总线,其中,处理器、存储器通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令执行如权利要求1至6任一项所述的方法。
14.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,所述机器可读指令促使所述处理器实现权利要求1至6任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810837643.XA CN110765081A (zh) | 2018-07-26 | 2018-07-26 | 一种数据删除方法和装置 |
PCT/CN2019/097320 WO2020020170A1 (zh) | 2018-07-26 | 2019-07-23 | 数据删除方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810837643.XA CN110765081A (zh) | 2018-07-26 | 2018-07-26 | 一种数据删除方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110765081A true CN110765081A (zh) | 2020-02-07 |
Family
ID=69180359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810837643.XA Pending CN110765081A (zh) | 2018-07-26 | 2018-07-26 | 一种数据删除方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110765081A (zh) |
WO (1) | WO2020020170A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112214503A (zh) * | 2020-10-10 | 2021-01-12 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN112860679A (zh) * | 2021-03-16 | 2021-05-28 | 世纪龙信息网络有限责任公司 | 一种设备信息管理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216821A (zh) * | 2007-01-05 | 2008-07-09 | 中兴通讯股份有限公司 | 数据采集系统的存储管理方法 |
CN104866242A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种数据删除系统、方法及数据删除中心 |
US20150317403A1 (en) * | 2014-05-04 | 2015-11-05 | Reduxio Systems Ltd. | System and method for management of data based bookmarks |
CN105512332A (zh) * | 2015-12-25 | 2016-04-20 | 北京奇虎科技有限公司 | 数据库之间的数据联动调整方法、装置及系统 |
CN106991179A (zh) * | 2017-04-07 | 2017-07-28 | 广东欧珀移动通信有限公司 | 数据删除方法、装置及移动终端 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556589A (zh) * | 2008-04-09 | 2009-10-14 | 北京闻言科技有限公司 | 一种Oracle在数据库中定期淘汰过期数据的方法 |
US9888143B1 (en) * | 2016-11-15 | 2018-02-06 | International Business Machines Corporation | Timed image deletion from a personal electronic device |
-
2018
- 2018-07-26 CN CN201810837643.XA patent/CN110765081A/zh active Pending
-
2019
- 2019-07-23 WO PCT/CN2019/097320 patent/WO2020020170A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216821A (zh) * | 2007-01-05 | 2008-07-09 | 中兴通讯股份有限公司 | 数据采集系统的存储管理方法 |
US20150317403A1 (en) * | 2014-05-04 | 2015-11-05 | Reduxio Systems Ltd. | System and method for management of data based bookmarks |
CN104866242A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种数据删除系统、方法及数据删除中心 |
CN105512332A (zh) * | 2015-12-25 | 2016-04-20 | 北京奇虎科技有限公司 | 数据库之间的数据联动调整方法、装置及系统 |
CN106991179A (zh) * | 2017-04-07 | 2017-07-28 | 广东欧珀移动通信有限公司 | 数据删除方法、装置及移动终端 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112214503A (zh) * | 2020-10-10 | 2021-01-12 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN112860679A (zh) * | 2021-03-16 | 2021-05-28 | 世纪龙信息网络有限责任公司 | 一种设备信息管理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020020170A1 (zh) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8839271B2 (en) | Call stack sampling to obtain information for analyzing idle states in a data processing system | |
CN102982180A (zh) | 数据存储方法及设备 | |
CN102541884B (zh) | 数据库优化方法和装置 | |
WO2012159484A1 (zh) | 一种日志记录管理方法和系统 | |
CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
CN109445702A (zh) | 一种块级数据去重存储系统 | |
EP3788505B1 (en) | Storing data items and identifying stored data items | |
CN107783881B (zh) | 基于内存队列的网站动态性能监控方法及系统 | |
US9280551B2 (en) | De-duplication deployment planning | |
CN111949568A (zh) | 一种报文处理方法、装置及网络芯片 | |
US20110137889A1 (en) | System and Method for Prioritizing Data Storage and Distribution | |
CN103645904A (zh) | 一种接口调用的缓存实现方法 | |
CN110321364B (zh) | 信用卡管理系统的交易数据查询方法、装置及终端 | |
CN114564457A (zh) | 一种针对数据库文件的存储空间优化方法及系统 | |
CN110765081A (zh) | 一种数据删除方法和装置 | |
CN111580951A (zh) | 一种任务分配方法及资源管理平台 | |
CN116719870A (zh) | 一种时序数据库集群的数据管理方法、装置、设备及介质 | |
JP2000155719A (ja) | デ―タのバックアップ・復旧システムおよび非同期デ―タ管理方法 | |
CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
US20160124841A1 (en) | Information processing system and data processing method | |
CN116643704A (zh) | 存储管理方法、装置、电子设备及存储介质 | |
CN111881165A (zh) | 一种数据聚合方法、装置和计算机可读存储介质 | |
CN116610444A (zh) | 流计算系统和用于流计算系统的内存回收方法及计算设备 | |
CN111221468A (zh) | 存储块数据删除方法、装置、电子设备及云存储系统 | |
CN113835613B (zh) | 一种文件读取方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |