CN105550328A - 一种过期数据的处理方法及装置 - Google Patents
一种过期数据的处理方法及装置 Download PDFInfo
- Publication number
- CN105550328A CN105550328A CN201510959163.7A CN201510959163A CN105550328A CN 105550328 A CN105550328 A CN 105550328A CN 201510959163 A CN201510959163 A CN 201510959163A CN 105550328 A CN105550328 A CN 105550328A
- Authority
- CN
- China
- Prior art keywords
- backup
- data
- stale data
- medium
- stale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种过期数据的处理方法及装置,该方法包括:根据备份时间对备份数据标记对应的版本信息;对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;检测当前备份介质中标记的所述过期数据的容量大小;将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。本发明所提供的过期数据的处理方法及装置,能够及时对过期数据进行处理,优化出更多的可利用的存储空间,以备客户再次存储数据使用,提高了备份介质的利用率,具有很高的实用价值。
Description
技术领域
本发明涉及存储系统技术领域,特别是涉及一种过期数据的处理方法及装置。
背景技术
随着服务器海量数据的不断增长,数据的体积变得越来越庞大,然而数据的破坏是难以预测的,也是多种多样的,因此要保证随时随地都可以完成数据的完整恢复,必须要建立完善的备份系统。例如当网站更新或添加内容时,如果进行了数据备份,那么即使出现操作失误,把有用的资讯或者重要的内容删掉了,也不至于让之前花了很长时间辛辛苦苦建立起来的数据付之东流,只要及时地通过系统备份和恢复方案就可以实现数据的安全性和可靠性;又或者在企业网站发生灾难,原始数据丢失或遭到破坏时,利用备份数据就可以把原始数据恢复出来,使系统能够继续正常工作。
大到自然灾害,小到病毒,电源故障乃至操作员意外操作失误,都会影响系统的正常运行,甚至造成这个系统完全瘫痪。数据备份的任务与意义就在于,当灾难发生后,通过备份的数据完整、快速、简捷、可靠地恢复原有系统。
数据备份是为以后能够顺利地将被破坏了或丢失了的数据库安全地恢复的基础性工作,可以说没有数据库的备份,就没有数据库的恢复,企业应当把数据备份和恢复的工作列为一项不可忽视的系统工作,选择相应的备份设备和技术进行经济可靠的数据备份,从而避免可能发生的重大损失。
在备份介质中,硬盘存储、光存储、磁带存储都已经实现大容量,然而考虑到存储介质单位成本的问题,只有磁带技术才真正适合数据存储备份设备。以一个TB级别容量的硬盘价格在几千元,如果换成磁带成本仅为硬盘的20%---30%。事实上,磁带技术长期以来一直是首选的存储备份技术,磁带介质不仅能提供高容量、高可靠性以及可管理性,而且价比光盘、磁盘便宜很多。
存储于磁带上的备份数据,随着备份次数的更加,产生的备份版本随之增加,比如客户对同一个文件夹每天定时进行一次备份,那么一个月后会有30个备份版本,这些版本并不一定都是客户希望存储的。比如客户只希望存储最近一周的数据,那么前面23天的数据都将变成过期数据,而这些数据还占用了大量的存储空间。如何把这些过期数据释放出来,已经成为本技术领域的研究焦点之一。
发明内容
本发明的目的是提供一种过期数据的处理方法及装置,目的在于解决过期数据占用大量存储空间、影响备份介质的存储空间利用率的问题。
为解决上述技术问题,本发明提供一种过期数据的处理方法,包括:
根据备份时间对备份数据标记对应的版本信息;
对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
检测当前备份介质中标记的所述过期数据的容量大小;
将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
可选地,所述自动启动对所述过期数据进行回收处理包括:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质。
可选地,在所述自动启动对所述过期数据进行回收处理之后还包括:
所述当前备份介质进入到空闲介质集,用于再次写入备份数据。
可选地,所述当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理包括:
当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
本发明还提供了一种过期数据的处理装置,包括:
标记模块,用于根据备份时间对备份数据标记对应的版本信息;
确定模块,用于对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
检测模块,用于检测当前备份介质中标记的所述过期数据的容量大小;
回收模块,用于将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
可选地,所述回收模块具体用于:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质。
可选地,所述回收模块还用于:
在所述自动启动对所述过期数据进行回收处理之后,所述当前备份介质进入到空闲介质集,用于再次写入备份数据。
可选地,所述回收模块具体用于:
当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
本发明所提供的过期数据的处理方法及装置,根据备份时间对备份数据标记对应的版本信息;对版本信息进行判断,确定备份数据中的过期数据,并进行标记;检测当前备份介质中标记的过期数据的容量大小;将容量大小与预设阈值进行比较,当过期数据的容量大小达到预设阈值时,自动启动对过期数据进行回收处理。本发明所提供的过期数据的处理方法及装置,能够及时对过期数据进行处理,优化出更多的可利用的存储空间,以备客户再次存储数据使用,提高了备份介质的利用率,具有很高的实用价值。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的过期数据的处理方法的一种具体实施方式的流程图;
图2为本发明实施例所提供的过期数据的处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的过期数据的处理方法的一种具体实施方式的流程图如图1所示,该方法包括:
步骤S101:根据备份时间对备份数据标记对应的版本信息;
具体地,经过备份的数据可根据时间信息进行各个版本的标记。如将每天的增量备份数据分别存储为对应的不同版本。
步骤S102:对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
具体地,可由用户设置满足过期数据的预设条件,例如备份超过7天的数据为过期数据,这样当完成第8次备份时,第一天备份的数据即被标记为过期数据。
步骤S103:检测当前备份介质中标记的所述过期数据的容量大小;
步骤S104:将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
需要指出的是,本发明的备份介质可以具体为磁带,当然也可以为其他介质,这均不影响本发明的实现。
本发明所提供的过期数据的处理方法,根据备份时间对备份数据标记对应的版本信息;对版本信息进行判断,确定备份数据中的过期数据,并进行标记;检测当前备份介质中标记的过期数据的容量大小;将容量大小与预设阈值进行比较,当过期数据的容量大小达到预设阈值时,自动启动对过期数据进行回收处理。本发明所提供的过期数据的处理方法,能够及时对过期数据进行处理,优化出更多的可利用的存储空间,以备客户再次存储数据使用,提高了备份介质的利用率,具有很高的实用价值。
作为一种具体实施方式,上述实施例中自动启动对所述过期数据进行回收处理的过程可以具体为:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质;
所述当前备份介质进入到空闲介质集,用于再次写入备份数据,该过程实现了存储空间的循环利用。
需要指出的是,预设阈值可以由用户自行进行设定,当备份介质上的被标记的过期数据达到该阈值时,自动启动回收。回收的过程为将当前备份介质的有效数据迁移到另外的备份介质中,并释放当前备份介质。
以磁带为例,通过回收后可以将原来有效数据只有25%和75%的磁带进行释放,将其有效数据迁移到另外一盘磁带上之后,使该盘磁带的有效数据为95%。通过上面回收后的原来有效数据为25%和70%的磁带,当有效数据已经迁移到其他磁带上后,被标记为空闲磁带,进入到空闲介质集中,等待客户再次利用写入备份数据。
优选地,自动启动对所述过期数据进行回收处理的过程可以具体为:
当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
对于空间回收的触发,达到阈值是一个条件,如果此时该磁带上有即将开始的备份任务,在没有多余驱动器的条件下,将会等待备份任务结束再触发,即客户的备份工作优先级高于系统的自动回收。系统可以每小时对所有的磁带作一次回收判断,并根据有效数据的多少,自动判断回收需要的时间。如果有多余的驱动器,回收操作将在客户备份的同时进行。
下面对本发明的一个具体实施例的工作过程进行进一步详细描述。
例如,一个用户对应一个特定文件夹,每天进行一次增量备份。这样,将会产生第一天对应版本1,第二天对应版本2,第三天对应版本3,……,第30天对应版本30,依次类推。
当客户设置只保留最近7天的备份,那么当完成第8次备份的时候,第1天的备份数据就被过期数据检索模块标注为过期数据;当完成第9次备份时,第2天的备份数据也被标注为过期数据;依次类推。
检测磁带中标记的所述过期数据的容量,与用户预先设定的回收阈值进行比较。当一盘磁带上的被标记的过期数据达到该阈值时,该模块自动启动回收。回收的过程为将磁带上的有效数据迁移到另外一盘磁带上,并释放当前磁带。
本发明实施例所提供的对过期数据的处理方法,空间回收能够及时释放存储空间,以备客户再次存储数据使用,提高了备份介质的利用率;且过期数据回收后,介质上都是有效数据,减少了存储介质空间碎片,提高恢复数据的效率。本发明还可进一步采用定期回收机制,不需要人为干预,系统自动启用回收操作,具有很高的实用价值。此外,此发明设计简单,适合于小企业内部资料的备份系统。
下面对本发明实施例提供的过期数据的处理装置进行介绍,下文描述的过期数据的处理装置与上文描述的过期数据的处理方法可相互对应参照。
图2为本发明实施例提供的过期数据的处理装置的结构框图,参照图2过期数据的处理装置可以包括:
标记模块100,用于根据备份时间对备份数据标记对应的版本信息;
确定模块200,用于对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
检测模块300,用于检测当前备份介质中标记的所述过期数据的容量大小;
回收模块400,用于将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
作为一种具体实施方式,上述回收模块400可以具体用于:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质。
具体地,上述回收模块400还可以进一步用于:
在所述自动启动对所述过期数据进行回收处理之后,所述当前备份介质进入到空闲介质集,用于再次写入备份数据。
进一步地,当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
本发明所提供的过期数据的处理装置,根据备份时间对备份数据标记对应的版本信息;对版本信息进行判断,确定备份数据中的过期数据,并进行标记;检测当前备份介质中标记的过期数据的容量大小;将容量大小与预设阈值进行比较,当过期数据的容量大小达到预设阈值时,自动启动对过期数据进行回收处理。本发明所提供的过期数据的处理装置,能够及时对过期数据进行处理,优化出更多的可利用的存储空间,以备客户再次存储数据使用,提高了备份介质的利用率,具有很高的实用价值。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的过期数据的处理方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种过期数据的处理方法,其特征在于,包括:
根据备份时间对备份数据标记对应的版本信息;
对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
检测当前备份介质中标记的所述过期数据的容量大小;
将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
2.如权利要求1所述的过期数据的处理方法,其特征在于,所述自动启动对所述过期数据进行回收处理包括:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质。
3.如权利要求2所述的过期数据的处理方法,其特征在于,在所述自动启动对所述过期数据进行回收处理之后还包括:
所述当前备份介质进入到空闲介质集,用于再次写入备份数据。
4.如权利要求1至3任一项所述的过期数据的处理方法,其特征在于,所述当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理包括:
当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
5.一种过期数据的处理装置,其特征在于,包括:
标记模块,用于根据备份时间对备份数据标记对应的版本信息;
确定模块,用于对所述版本信息进行判断,确定所述备份数据中的过期数据,并进行标记;
检测模块,用于检测当前备份介质中标记的所述过期数据的容量大小;
回收模块,用于将所述容量大小与预设阈值进行比较,当所述过期数据的容量大小达到所述预设阈值时,自动启动对所述过期数据进行回收处理。
6.如权利要求5所述的过期数据的处理装置,其特征在于,所述回收模块具体用于:
将所述当前备份介质上的有效数据迁移到另外的备份介质上,并释放所述当前备份介质。
7.如权利要求6所述的过期数据的处理装置,其特征在于,所述回收模块还用于:
在所述自动启动对所述过期数据进行回收处理之后,所述当前备份介质进入到空闲介质集,用于再次写入备份数据。
8.如权利要求5至7任一项所述的过期数据的处理装置,其特征在于,所述回收模块具体用于:
当所述当前备份介质有备份任务而驱动器不足时,等待所述备份任务结束后触发对所述过期数据进行回收处理;当所述当前备份介质有备份任务且存在多余驱动器时,在所述备份任务进行的同时进行回收处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510959163.7A CN105550328A (zh) | 2015-12-18 | 2015-12-18 | 一种过期数据的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510959163.7A CN105550328A (zh) | 2015-12-18 | 2015-12-18 | 一种过期数据的处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105550328A true CN105550328A (zh) | 2016-05-04 |
Family
ID=55829517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510959163.7A Pending CN105550328A (zh) | 2015-12-18 | 2015-12-18 | 一种过期数据的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105550328A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740098A (zh) * | 2016-01-26 | 2016-07-06 | 浪潮(北京)电子信息产业有限公司 | 备份数据中过期数据的判定方法及系统 |
CN107330068A (zh) * | 2017-06-30 | 2017-11-07 | 联想(北京)有限公司 | 一种文件处理方法和电子设备 |
CN111324485A (zh) * | 2020-01-20 | 2020-06-23 | 杭州安恒信息技术股份有限公司 | 一种数据表的数据信息备份方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212515A (zh) * | 2006-12-25 | 2008-07-02 | 中兴通讯股份有限公司 | 一种录音文件的清除方法 |
CN101692668A (zh) * | 2009-07-06 | 2010-04-07 | 民航数据通信有限责任公司 | 一种航空气象数据自动下载、解析和存储的装置及方法 |
CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
US20120284474A1 (en) * | 2011-05-06 | 2012-11-08 | International Business Machines Corporation | Enabling recovery during data defragmentation |
CN103049393A (zh) * | 2012-10-23 | 2013-04-17 | 北京奇虎科技有限公司 | 内存空间管理方法和装置 |
-
2015
- 2015-12-18 CN CN201510959163.7A patent/CN105550328A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212515A (zh) * | 2006-12-25 | 2008-07-02 | 中兴通讯股份有限公司 | 一种录音文件的清除方法 |
CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
CN101692668A (zh) * | 2009-07-06 | 2010-04-07 | 民航数据通信有限责任公司 | 一种航空气象数据自动下载、解析和存储的装置及方法 |
US20120284474A1 (en) * | 2011-05-06 | 2012-11-08 | International Business Machines Corporation | Enabling recovery during data defragmentation |
CN103049393A (zh) * | 2012-10-23 | 2013-04-17 | 北京奇虎科技有限公司 | 内存空间管理方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740098A (zh) * | 2016-01-26 | 2016-07-06 | 浪潮(北京)电子信息产业有限公司 | 备份数据中过期数据的判定方法及系统 |
CN107330068A (zh) * | 2017-06-30 | 2017-11-07 | 联想(北京)有限公司 | 一种文件处理方法和电子设备 |
CN111324485A (zh) * | 2020-01-20 | 2020-06-23 | 杭州安恒信息技术股份有限公司 | 一种数据表的数据信息备份方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8108447B2 (en) | Systems and methods for garbage collection in deduplicated data systems | |
US8311985B2 (en) | Remote backup and restore system and method | |
AU700681B2 (en) | A method of operating a computer system | |
US8260752B1 (en) | Systems and methods for change tracking with multiple backup jobs | |
CN103577336B (zh) | 一种存储数据处理方法及装置 | |
US20090125572A1 (en) | Method for managing retention of data on worm disk media based on event notification | |
CN1776676A (zh) | 管理存储子系统中元数据的方法、系统和计算机程序产品 | |
CN102667703A (zh) | 用于虚拟磁带库系统中的优化回收处理的系统和方法 | |
CN102999564B (zh) | 写入数据的方法、装置和设备 | |
CN107832470A (zh) | 一种基于存储系统的对象存储方法及装置 | |
CN105468544B (zh) | 实现防掉电文件系统的方法、装置以及防掉电文件系统 | |
CN103617097A (zh) | 文件恢复方法及装置 | |
CN105550328A (zh) | 一种过期数据的处理方法及装置 | |
CN109032839A (zh) | 一种云主机备份方法及装置 | |
CN104424015A (zh) | 一种虚拟机管理方法和装置 | |
CN111338844A (zh) | 一种数据库备份管理的方法及电子设备 | |
CN112380067B (zh) | 一种Hadoop环境下基于元数据的大数据备份系统及方法 | |
WO2021169163A1 (zh) | 一种文件数据存取方法、装置和计算机可读存储介质 | |
CN103176920A (zh) | Nor flash掉电保护方法及装置 | |
CN105740098A (zh) | 备份数据中过期数据的判定方法及系统 | |
US9740571B1 (en) | Intelligent continuous data protection snapshot based backups | |
CN103559224A (zh) | 一种对元数据对象进行散列的方法及装置 | |
CN102902770A (zh) | 一种镜像文件拼装方法及系统 | |
CN106055372A (zh) | 一种卸载应用程序的方法和装置 | |
CN110287061A (zh) | 基于计算机的信息维护系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160504 |