CN103559106B - 一种数据的备份方法、装置及系统 - Google Patents

一种数据的备份方法、装置及系统 Download PDF

Info

Publication number
CN103559106B
CN103559106B CN201310478871.XA CN201310478871A CN103559106B CN 103559106 B CN103559106 B CN 103559106B CN 201310478871 A CN201310478871 A CN 201310478871A CN 103559106 B CN103559106 B CN 103559106B
Authority
CN
China
Prior art keywords
data
data file
heavily
file
deleting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310478871.XA
Other languages
English (en)
Other versions
CN103559106A (zh
Inventor
张程伟
黄志昊
何非
朱海培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310478871.XA priority Critical patent/CN103559106B/zh
Publication of CN103559106A publication Critical patent/CN103559106A/zh
Priority to PCT/CN2014/074779 priority patent/WO2015054992A1/zh
Application granted granted Critical
Publication of CN103559106B publication Critical patent/CN103559106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/116Details of conversion of file system types or formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments

Abstract

本发明实施例公开了一种数据的备份方法、装置及系统,包括:在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;生成所述重删数据文件对应的文件引用信息;将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中。采用本发明,可初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。

Description

一种数据的备份方法、装置及系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据的备份方法、装置及系统。
背景技术
在计算机存储过程中,可将数据备份归档存储到磁盘或磁带中,现有数据备份归档系统主要有两类:带有压缩功能的物理磁带系统和具有重复数据删除以及压缩功能的磁盘备份归档系统。带有压缩功能的物理磁带系统通过在物理带库机头增加数据压缩功能,例如,将100M数据导入到物理磁带库中,100M的数据经压缩后为50M,但导出时仍为100M的数据。带有压缩功能的物理磁带系统降低对存储容量的需求,物理磁带的单位容量成本低,但是需要较多的物理磁带来存储数据。具有重复数据删除以及压缩功能的磁盘备份归档系统,可查找并去除重复数据,可有效降低存储容量,但磁盘备份归档系统的单位容量成本仍高于物理磁带,而物理磁带只能顺序读写,具有压缩功能但没有重复数据删除功能。现有技术中,物理磁带系统不具备重复数据删除功能,存储数据需要的物理磁带数量多,数据备份归档系统的单位容量成本高。
发明内容
本发明实施例所要解决的技术问题在于,提供一种数据的备份方法、装置及系统,解决了现有技术中物理磁带系统不能具有重复数据删除功能,存储数据需要物理磁带的数量多,数据备份归档系统的单位容量成本高的技术问题。
为了解决上述技术问题,本发明实施例第一方面提供了一种数据的备份方法,包括:
在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;
生成所述重删数据文件对应的文件引用信息;
将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中。
本发明实施例第二方面提供了一种数据备份的装置,所述装置包括:
重删处理模块,用于在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;
生成模块,用于生成所述重删数据文件对应的文件引用信息;
导出模块,用于将所述重删处理模块处理得到的重删数据文件导出到物理磁带中的数据区,并将所述生成模块生成的重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
本发明实施例第三方面提供了一种数据的备份系统,包括数据备份终端和物理磁带,所述数据备份终端如上述的装置。
实施本发明实施例,可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,并生成重删数据文件对应的文件引用信息,将重删数据文件导出到物理磁带中的数据区,并将生成的重删数据文件对应的文件引用信息导出到物理磁带的元数据区中。可初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据的备份方法的流程图;
图2为本发明实施例提供的另一种数据的备份方法的流程图;
图3为本发明实施例提供的一种数据的备份装置的结构示意图;
图4为本发明实施例提供的一种数据备份终端的结构示意图;
图5为本发明实施例提供的一种数据的备份系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种数据的备份方法、装置及系统。其中,数据备份的方法可以包括:在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;生成所述重删数据文件对应的文件引用信息;将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中。
作为一种可选的实施方式,本发明实施例中,数据备份的系统可以包括:数据备份终端和物理磁带。可选的,数据备份终端可以包括:PC(PersonalComputer,个人计算机)、服务器等终端设备;数据备份终端也可以为终端设备中的备份客户端模块,例如:数据备份客户端软件等等。
本发明实施例,可对初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。下面通过具体实施例进行说明。
图1为本发明实施例提供的一种数据的备份方法的流程图,图1所示的数据的备份是以数据备份终端作为执行主体进行描述的,如图所示本实施例中的流程包括步骤S101~S103。
S101,在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件。
作为一种可选的实施方式,数据备份终端中可包括一个小容量的机头,该机头可在预设的重删域对初始数据进行重复数据删除处理,得到重删数据文件,该重删数据文件可以重删的数据格式存储在本地硬盘中。
其中,预设的重删域可以为预先根据物理磁带的容量信息在数据备份终端设置的区域,在其他实施例中,预设的重删域的划分的实现方法是多种多样的,可按照物理磁带容量划分,可按初始数据文件类型划分,也可以是其他的实现形式,具体不受本实施例的限制。
具体的,初始数据文件与预设的重删域一一对应,一个初始数据文件只能归属于一个预设的重删域,进而确保单个初始数据文件进行重删后可存储到一个物理磁带中。预设的重删域可根据物理磁带的容量信息设置其容量大小,物理磁带的容量信息至少可包括物理磁带的容量大小,例如,若初始数据文件A的容量大小大于预设的重删域B的容量大小,则重新查找预设的重删域或新建一个新的预设的重删域,以确保预设的重删域的容量大小大于初始数据文件A的容量大小。
作为一种可选的实施方式,在预设的重删域对初始数据文件进行重复数据删除处理,可以进行在线重删或后处理重删。具体的,当初始数据文件存储到预设的重删域时,可立即进行重复数据删除处理,即在线重删;当初始数据文件存储到预设的重删域后,在空余时间再进行重复数据删除处理,而不是立即进行重复数据删除处理,即后处理重删。
S102,生成重删数据文件对应的文件引用信息。
作为一种可选的实施方式,生成重删数据文件对应的文件引用信息,重删数据文件包括至少一个重删数据块,其中,文件引用信息包括:重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息。具体的,重删数据块可分布在重删数据文件中的多个子文件中,分布分散,重删数据块的存储地址信息可以为重删数据块在子文件中的具体地址信息,重删数据块的引用次序信息为多个重删数据块对应于重删数据文件的排序,例如,重删数据块1的存储地址信息为地址1,重删数据块1的引用次序信息为002;重删数据块2的存储地址信息为地址2,重删数据块2的引用次序信息为001;重删数据块3的存储地址信息为地址3,重删数据块3的引用次序信息为004;重删数据块4的存储地址信息为地址4,重删数据块4的引用次序信息为003。
S103,将重删数据文件导出到物理磁带中的数据区,并将生成的重删数据文件对应的文件引用信息导出到物理磁带的元数据区中。
作为一种可选的实施方式,物理磁带至少可以包括数据区和元数据区,将重删数据文件导出到物理磁带中的数据区进行存储,将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中进行存储。进一步可选的,可以当检测到预设的重删域的空间存储满时,将该预设的重删域内的全部重删数据导出,也可以为原预设的重删域中已存储有重删数据文件,新添加一个初始数据文件,进行重删处理后得到新重删数据文件,将该新重删数据文件导出,原存储的重删数据文件不再重复导出。
作为一种可选的实施方式,初始数据文件与预设的重删域一一对应,即单个初始数据文件只归属于一个预设的重删域,一个预设的重删域中的数据导出到同一个物理磁带中。
进一步可选的,本发明实施例提供的一种数据的备份方法在步骤S103之后还可以包括步骤:
当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,并执行数据恢复。
作为一种可选的实施方式,当接收到数据读取指令时,根据文件引用信息从物理磁带的数据区中获取对应的重删数据文件,并执行数据恢复。具体的,数据读取指令中可携带重删数据文件的标识信息,从而可在物理磁带中查找到对应的重删数据文件,又文件引用信息重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息,则可根据文件引用信息查找到该重删数据文件的所有重删数据块,可将查找到的重删数据文件,包括该重删数据文件的所有重删数据块和文件引用关系,在机头上进行数据恢复,以生成用户可以查阅得到的数据文件。
作为一种可选的实施方式,当接收到数据读取指令时,可根据文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,将物理磁带中对应的重删数据文件导入,无需导入整个物理磁带的数据,从而可恢复物理磁带中某个活某几个重删数据文件,不需要整个物理磁带进行全盘恢复。
采用本发明实施例,可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,并生成重删数据文件对应的文件引用信息,将重删数据文件导出到物理磁带中的数据区,并将生成的重删数据文件对应的文件引用信息导出到物理磁带的元数据区中。可初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。
图2为本发明实施例提供的另一种数据的备份方法的流程图,图2所示的数据的备份方法是以数据备份终端作为执行主体进行描述的,如图所示本实施例中的流程包括步骤S201~S211。
S201,根据物理磁带的容量信息设置预设的重删域。
作为一种可选的实施方式,初始数据文件与预设的重删域一一对应,一个初始数据文件只能归属于一个预设的重删域,进而确保单个初始数据文件进行重删后可存储到一个物理磁带中。预设的重删域可根据物理磁带的容量信息设置其容量大小,物理磁带的容量信息至少可包括物理磁带的容量大小,例如,若初始数据文件A的容量大小大于预设的重删域B的容量大小,则重新查找预设的重删域或新建一个新的预设的重删域,以确保预设的重删域的容量大小大于初始数据文件A的容量大小。
作为一种可选的实施方式,预设的重删域可以为预先根据物理磁带的容量信息在数据备份终端设置的区域,在其他实施例中,预设的重删域的划分的实现方法是多种多样的,可按照物理磁带容量划分,可按初始数据文件类型划分,也可以是其他的实现形式,具体不受本实施例的限制。
进一步可选的,根据物理磁带的容量信息设置预设的重删域后,还可以对预设的重删域进行分类,例如根据不同的用户分类,根据不同的数据类型分类等。
S202,根据初始数据文件的属性信息查找到对应的预设的重删域。
作为一种可选的实施方式,可根据初始数据文件的属性信息查找到对应的预设的重删域,其中,初始数据文件的属性信息可以包括:初始数据文件的标识信息和初始数据文件的内容信息,初始数据文件的标识信息可以包括用户标识等。例如根据初始数据文件的属性信息查找到属于同一用户下的预设的重删域或属于同一数据类型的预设的重删域。
S203,将初始数据文件存储到预设的重删域中。
作为一种可选的实施方式,将初始数据文件存储到预设的重删域中,预设的重删域的容量大小大于初始数据文件的容量大小。
S204,在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件,重删数据文件包括至少一个重删数据块。
作为一种可选的实施方式,数据备份终端中可包括一个小容量的机头,该机头可在预设的重删域对初始数据进行重复数据删除处理,得到重删数据文件,该重删数据文件可以重删的数据格式存储在本地硬盘中。
S205,生成重删数据文件对应的文件引用信息。
作为一种可选的实施方式,生成重删数据文件对应的文件引用信息,重删数据文件包括至少一个重删数据块,其中,文件引用信息包括:重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息。
S206,生成重删数据文件的标识信息。
作为一种可选的实施方式,生成重删数据文件的标识信息,重删数据文件的标识信息可用于唯一标识该重删数据文件,可以由二进制编码或者数字、字母或字符组成。
S207,根据重删数据文件的标识信息将重删数据文件存储到物理磁带中的数据区,根据重删数据文件的标识信息将重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
作为一种可选的实施方式,物理磁带至少可以包括数据区和元数据区,根据重删数据文件的标识信息将重删数据文件导出到物理磁带中的数据区进行存储,根据重删数据文件的标识信息将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中进行存储。
S208,接收数据读取指令,数据读取指令中携带重删数据的标识信息。
作为一种可选的实施方式,接收到用户在数据备份终端输入的数据读取指令,其中,数据读取指令中携带重删数据的标识信息,进一步可选的,数据读取指令中还可以携带物理磁带标识信息,从而可根据该物理磁带标识信息查找到对应的物理磁带。
S209,从物理磁带的数据区中查找到与重删数据文件的标识信息对应的重删数据文件。
作为一种可选的实施方式,根据重删数据文件的标识信息可查找到对应的重删数据文件。
S210,从物理磁带的磁带元数据区中查找到与重删数据文件的标识信息对应的文件引用信息。
作为一种可选的实施方式,根据重删数据文件的标识信息可查找到对应的文件引用信息。
进一步可选的,步骤S209、步骤S210执行无先后之分,可先执行其中一个再执行另一个,也可同时执行。
S211,根据文件引用信息在重删数据文件中获取到对应的重删数据块,并执行数据恢复。
作为一种可选的实施方式,文件引用信息重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息,则可根据文件引用信息查找到该重删数据文件的所有重删数据块。
进一步可选的,可将查找到的重删数据文件,包括该重删数据文件的所有重删数据块和文件引用关系,在机头上进行数据恢复,以生成用户可以查阅得到的数据文件。
作为一种可选的实施方式,当接收到数据读取指令时,可根据文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,将物理磁带中对应的重删数据文件导入,无需导入整个物理磁带的数据,从而可恢复物理磁带中某个或某几个重删数据文件,不需要整个物理磁带进行全盘恢复。
采用本发明实施例,可根据物理磁带的容量信息设置预设的重删域,将初始数据文件存储到预设的重删域中,可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,重删数据文件包括至少一个重删数据块,并生成重删数据文件对应的文件引用信息,生成重删数据文件的标识信息,可根据重删数据文件的标识信息将重删数据文件导出到物理磁带中的数据区并将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中,接收到数据读取指令时,可获取对应的重删数据块,并执行恢复。本发明实施例中,初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。初始数据文件与预设的重删域一一对应,可获取物理磁带中的某个或某几个重删数据文件,进而可恢复物理磁带中某个或某几个重删数据文件,不需对整个物理磁带进行全盘恢复,使得数据恢复的操作更加便捷,提高了数据恢复的效率。
下面将结合附图3,分别对本发明实施例提供的数据的备份装置进行详细介绍。需要说明的是,附图3所示的数据的备份装置,用于执行本发明图1~2任一所示实施例的方法,为基于图1~2任一所述的数据的备份方法的执行主体。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图1~图2所示的实施例。
如图3所示,是本发明实施例提供的一种数据的备份装置的结构示意图,本发明实施例中的数据的备份装置可以包括:重删处理模块301、生成模块302和导出模块303。
重删处理模块301,用于在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件。
作为一种可选的实施方式,数据备份终端中可包括一个小容量的机头,该机头可在预设的重删域对初始数据进行重复数据删除处理,得到重删数据文件,该重删数据文件可以重删的数据格式存储在本地硬盘中。
其中,预设的重删域可以为预先根据物理磁带的容量信息在数据备份终端设置的区域,在其他实施例中,预设的重删域的划分的实现方法是多种多样的,可按照物理磁带容量划分,可按初始数据文件类型划分,也可以是其他的实现形式,具体不受本实施例的限制。
具体的,初始数据文件与预设的重删域一一对应,一个初始数据文件只能归属于一个预设的重删域,进而确保单个初始数据文件进行重删后可存储到一个物理磁带中。
作为一种可选的实施方式,重删处理模块301在预设的重删域对初始数据文件进行重复数据删除处理,可以进行在线重删或后处理重删。具体的,当初始数据文件存储到预设的重删域时,可立即进行重复数据删除处理,即在线重删;当初始数据文件存储到预设的重删域后,在空余时间再进行重复数据删除处理,而不是立即进行重复数据删除处理,即后处理重删。
生成模块302,用于生成所述重删数据文件对应的文件引用信息。
作为一种可选的实施方式,生成模块302生成重删数据文件对应的文件引用信息,重删数据文件包括至少一个重删数据块,其中,文件引用信息包括:重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息。具体的,重删数据块可分布在重删数据文件中的多个子文件中,分布分散,重删数据块的存储地址信息可以为重删数据块在子文件中的具体地址信息,重删数据块的引用次序信息为多个重删数据块对应于重删数据文件的排序,例如,重删数据块1的存储地址信息为地址1,重删数据块1的引用次序信息为002;重删数据块2的存储地址信息为地址2,重删数据块2的引用次序信息为001;重删数据块3的存储地址信息为地址3,重删数据块3的引用次序信息为004;重删数据块4的存储地址信息为地址4,重删数据块4的引用次序信息为003。
进一步可选的,生成模块302还可以生成生成重删数据文件的标识信息,重删数据文件的标识信息可用于唯一标识该重删数据文件,可以由二进制编码或者数字、字母或字符组成。
导出模块303,用于将所述重删处理模块301处理得到的重删数据文件导出到物理磁带中的数据区,并将所述生成模块302生成的重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
作为一种可选的实施方式,物理磁带至少可以包括数据区和元数据区,将重删数据文件导出到物理磁带中的数据区进行存储,将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中进行存储。进一步可选的,可以当检测到预设的重删域的空间存储满时,将该预设的重删域内的全部重删数据导出,也可以为原预设的重删域中已存储有重删数据文件,新添加一个初始数据文件,进行重删处理后得到新重删数据文件,将该新重删数据文件导出,原存储的重删数据文件不再重复导出。
作为一种可选的实施方式,初始数据文件与预设的重删域一一对应,即单个初始数据文件只归属于一个预设的重删域,一个预设的重删域中的数据导出到同一个物理磁带中。
作为一种可选的实施方式,导出模块303还可以具体用于:根据重删数据文件的标识信息将重删数据文件存储到物理磁带中的数据区,根据重删数据文件的标识信息将重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
进一步可选的,本发明实施例提供的一种数据的备份装置还可以包括:数据恢复模块304。
数据恢复模块304,用于当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,并执行数据恢复。
作为一种可选的实施方式,数据恢复模块304可以包括:第一查找单元、第二查找单元和获取单元。其中:
第一查找单元,用于从所述物理磁带的数据区中查找到与所述重删数据文件的标识信息对应的所述重删数据文件。
第二查找单元,用于从所述物理磁带的磁带元数据区中查找到与所述重删数据文件的标识信息对应的文件引用信息。
获取单元,用于根据所述文件引用信息在所述重删数据文件中获取到对应的所述重删数据块。
作为一种可选的实施方式,当接收到数据读取指令时,根据文件引用信息从物理磁带的数据区中获取对应的重删数据文件,并执行数据恢复。具体的,数据读取指令中可携带重删数据文件的标识信息,从而可在物理磁带中查找到对应的重删数据文件,又文件引用信息重删数据文件中所有重删数据块的存储地址信息和重删数据文件中所有重删数据块的引用次序信息,则可根据文件引用信息查找到该重删数据文件的所有重删数据块,可将查找到的重删数据文件,包括该重删数据文件的所有重删数据块和文件引用关系,在机头上进行数据恢复,以生成用户可以查阅得到的数据文件。
作为一种可选的实施方式,当接收到数据读取指令时,可根据文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,将物理磁带中对应的重删数据文件导入,无需导入整个物理磁带的数据,从而可恢复物理磁带中某个活某几个重删数据文件,不需要整个物理磁带进行全盘恢复。
进一步可选的,本发明实施例提供的一种数据的备份装置还可以包括:设置模块305。
设置模块305,用于根据所述物理磁带的容量信息设置所述预设的重删域,所述初始数据文件与所述预设的重删域一一对应。
作为一种可选的实施方式,初始数据文件与预设的重删域一一对应,一个初始数据文件只能归属于一个预设的重删域,进而确保单个初始数据文件进行重删后可存储到一个物理磁带中。预设的重删域可根据物理磁带的容量信息设置其容量大小,物理磁带的容量信息至少可包括物理磁带的容量大小,例如,若初始数据文件A的容量大小大于预设的重删域B的容量大小,则重新查找预设的重删域或新建一个新的预设的重删域,以确保预设的重删域的容量大小大于初始数据文件A的容量大小。
进一步可选的,本发明实施例提供的一种数据的备份装置还可以包括:查找模块306和存储模块307。
查找模块306,用于根据所述初始数据文件的属性信息查找到对应的所述预设的重删域,所述初始数据文件的属性信息包括:所述初始数据文件的标识信息和所述初始数据文件的内容信息。
作为一种可选的实施方式,查找模块306根据初始数据文件的属性信息查找到对应的预设的重删域,其中,初始数据文件的属性信息包括:初始数据文件的标识信息和初始数据文件的内容信息,初始数据文件的标识信息可以包括用户标识等。例如根据初始数据文件的属性信息查找到属于同一用户下的预设的重删域或属于同一数据类型的预设的重删域。
存储模块307,用于将所述初始数据文件存储到所述预设的重删域中。
作为一种可选的实施方式,存储模块307将初始数据文件存储到预设的重删域中,预设的重删域的容量大小大于初始数据文件的容量大小。
采用本发明实施例,重删处理模块可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,生成模块生成重删数据文件对应的文件引用信息,导出模块将重删数据文件导出到物理磁带中的数据区并将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中。可初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。
如图4所示,是本发明实施例提供的一种数据备份终端的结构示意图,本发明实施例中的数据备份终端可以包括:处理器401、存储器402、发送器403和接收器404,存储器402用于存储程序代码。处理器401用于执行存储器402中存储的程序代码。本发明实施例中,存储器402存储有程序代码,处理器401用于执行该程序代码。
处理器401,用于在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;
处理器401,还用于生成所述重删数据文件对应的文件引用信息;
发送器403,用于将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中。
可选的,处理器401,还用于当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,并执行数据恢复。
可选的,处理器401,还用于根据所述物理磁带的容量信息设置所述预设的重删域,所述初始数据文件与所述预设的重删域一一对应。
可选的,处理器401,还用于根据所述初始数据文件的属性信息查找到对应的所述预设的重删域,所述初始数据文件的属性信息包括:所述初始数据文件的标识信息和所述初始数据文件的内容信息;
将所述初始数据文件存储到所述预设的重删域中。
可选的,处理器401还用于生成重删数据文件的标识信息;
处理器401将所述重删数据文件导出到物理磁带中的数据区,并将所述重删数据文件对应的文件引用信息存储到所述物理磁带的元数据区中具体用于:
根据所述重删数据文件的标识信息将重删数据文件存储到所述物理磁带中的数据区,根据重删数据文件的标识信息将所述重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
可选的,所述重删数据文件包括至少一个重删数据块,所述文件引用信息包括:所述重删数据文件中所有重删数据块的存储地址信息和所述重删数据文件中所有重删数据块的引用次序信息。
可选的,所述数据读取指令中携带所述重删数据的标识信息;
处理器401在当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,具体用于:
从所述物理磁带的数据区中查找到与所述重删数据文件的标识信息对应的所述重删数据文件;
从所述物理磁带的磁带元数据区中查找到与所述重删数据文件的标识信息对应的文件引用信息;
根据所述文件引用信息在所述重删数据文件中获取到对应的所述重删数据块。
其中,处理器401可以是中央处理器(centralprocessingunit,CPU)、专用集成电路(application-specificintegratedcircuit,ASIC)等。其中,本实施例中的节点可以包括总线405。处理器401、存储器402、发送器403和接收器404之间可通过总线405连接并通信。其中,存储器402可以包括:随机存取存储器(randomaccessmemory,RAM),只读存储器(read-onlymemory,ROM),磁盘等具有存储功能的实体。存储器402用于存储初始数据文件、重删数据文件等。
本发明实施例的数据备份终端,包括:处理器、存储器、发送器和接收器,可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,并生成重删数据文件对应的文件引用信息,将重删数据文件导出到物理磁带中的数据区,并将生成的重删数据文件对应的文件引用信息导出到物理磁带的元数据区中。可初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。
本发明实施例还提供的一种数据的备份系统,如图5所示,是本发明实施例提供的一种数据的备份系统的结构示意图,本实施例提供的数据的备份系统可以包括:数据备份终端1和物理磁带2,其中,数据备份终端可以包括:PC、服务器等终端设备;数据备份终端也可以为终端设备中的备份客户端模块,例如:数据备份客户端软件等等。进一步可选的,数据备份终端1的结构和功能可参见图4所示实施例的相关描述,在此不赘述。需要说明的是,本实施例提供的数据备份终端1与图1~2所示的数据的备份方法相对应。
综上表述,本实施实例提供的数据的备份方法、装置及系统。采用本发明,可可根据物理磁带的容量信息设置预设的重删域,将初始数据文件存储到预设的重删域中,可在预设的重删域对初始数据文件进行重复数据删除处理得到重删数据文件,重删数据文件包括至少一个重删数据块,并生成重删数据文件对应的文件引用信息,生成重删数据文件的标识信息,可根据重删数据文件的标识信息将重删数据文件导出到物理磁带中的数据区并将重删数据文件对应的文件引用信息导出到物理磁带的元数据区中,接收到数据读取指令时,可获取对应的重删数据块,并执行恢复。本发明实施例中,初始数据文件进行重复数据删除处理,并导出到物理磁带中,具有重复数据删除功能,又用于存储数据的物理磁带成本低,降低了数据备份归档系统的单位容量成本。初始数据文件与预设的重删域一一对应,可获取物理磁带中的某个或某几个重删数据文件,进而可恢复物理磁带中某个或某几个重删数据文件,不需对整个物理磁带进行全盘恢复,使得数据恢复的操作更加便捷,提高了数据恢复的效率。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置、模块或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的,作为模块或单元显示的部件可以是或者也可以不是物理模块或单元,即可以位于一个地方,或者也可以分布到多个网络模块或单元上。可以根据实际的需要选择其中的部分或者全部模块或单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一个处理模块或单元中,也可以是各个模块或单元单独物理存在,也可以是两个或两个以上模块或单元集成在一个模块或单元中。上述集成的模块或单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块或单元如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种数据的备份方法,其特征在于,所述方法包括:
根据物理磁带的容量信息设置预设的重删域,初始数据文件与所述预设的重删域一一对应;
在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;
生成所述重删数据文件对应的文件引用信息;
将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中。
2.如权利要求1所述的方法,其特征在于,所述将所述重删数据文件导出到物理磁带中的数据区,并将所述生成的重删数据文件对应的文件引用信息导出到所述物理磁带的元数据区中之后,包括:
当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,并执行数据恢复。
3.如权利要求1所述的方法,其特征在于,所述根据所述物理磁带的容量信息设置所述预设的重删域之后,包括:
根据所述初始数据文件的属性信息查找到对应的所述预设的重删域,所述初始数据文件的属性信息包括:所述初始数据文件的标识信息和所述初始数据文件的内容信息;
将所述初始数据文件存储到所述预设的重删域中。
4.如权利要求3所述的方法,其特征在于,所述在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件之后,包括:
生成重删数据文件的标识信息;
所述将所述重删数据文件导出到物理磁带中的数据区,并将所述重删数据文件对应的文件引用信息存储到所述物理磁带的元数据区中包括:
根据所述重删数据文件的标识信息将重删数据文件存储到所述物理磁带中的数据区,根据所述重删数据文件的标识信息将所述重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
5.如权利要求2所述的方法,其特征在于,所述重删数据文件包括至少一个重删数据块,所述文件引用信息包括:所述重删数据文件中所有重删数据块的存储地址信息和所述重删数据文件中所有重删数据块的引用次序信息。
6.如权利要求5所述的方法,其特征在于,所述数据读取指令中携带所述重删数据的标识信息;
所述当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,包括:
从所述物理磁带的数据区中查找到与所述重删数据文件的标识信息对应的所述重删数据文件;
从所述物理磁带的磁带元数据区中查找到与所述重删数据文件的标识信息对应的文件引用信息;
根据所述文件引用信息在所述重删数据文件中获取到对应的所述重删数据块。
7.一种数据的备份装置,其特征在于,所述装置包括:
设置模块,用于根据物理磁带的容量信息设置预设的重删域,初始数据文件与所述预设的重删域一一对应;
重删处理模块,用于在预设的重删域对初始数据文件进行重复数据删除处理,得到重删数据文件;
生成模块,用于生成所述重删数据文件对应的文件引用信息;
导出模块,用于将所述重删处理模块处理得到的重删数据文件导出到物理磁带中的数据区,并将所述生成模块生成的重删数据文件对应的文件引用信息存储到所述物理磁带的元数据区中。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
数据恢复模块,用于当接收到数据读取指令时,根据所述文件引用信息从所述物理磁带中的数据区获取对应的重删数据文件,并执行数据恢复。
9.如权利要求7所述的装置,其特征在于,所述装置还包括:
查找模块,用于根据所述初始数据文件的属性信息查找到对应的所述预设的重删域,所述初始数据文件的属性信息包括:所述初始数据文件的标识信息和所述初始数据文件的内容信息;
存储模块,用于将所述初始数据文件存储到所述预设的重删域中。
10.如权利要求7所述的装置,其特征在于,所述生成模块,还用于生成重删数据文件的标识信息;
所述导出模块具体用于:
根据所述重删数据文件的标识信息将重删数据文件存储到所述物理磁带中的数据区,根据所述重删数据文件的标识信息将所述重删数据文件对应的文件引用信息存储到物理磁带的元数据区中。
11.如权利要求8任一所述的装置,其特征在于,所述重删数据文件包括至少一个重删数据块,所述文件引用信息包括:所述重删数据文件中所有重删数据块的存储地址信息和所述重删数据文件中所有重删数据块的引用次序信息。
12.如权利要求11所述的装置,其特征在于,所述数据读取指令中携带所述重删数据的标识信息;
所述数据恢复模块包括:
第一查找单元,用于从所述物理磁带的数据区中查找到与所述重删数据文件的标识信息对应的所述重删数据文件;
第二查找单元,用于从所述物理磁带的磁带元数据区中查找到与所述重删数据文件的标识信息对应的文件引用信息;
获取单元,用于根据所述文件引用信息在所述重删数据文件中获取到对应的所述重删数据块。
13.一种数据的备份系统,其特征在于,包括数据备份终端和物理磁带,所述数据备份终端如权利要求7~12任一所述的装置。
CN201310478871.XA 2013-10-14 2013-10-14 一种数据的备份方法、装置及系统 Active CN103559106B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310478871.XA CN103559106B (zh) 2013-10-14 2013-10-14 一种数据的备份方法、装置及系统
PCT/CN2014/074779 WO2015054992A1 (zh) 2013-10-14 2014-04-04 一种数据的备份方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310478871.XA CN103559106B (zh) 2013-10-14 2013-10-14 一种数据的备份方法、装置及系统

Publications (2)

Publication Number Publication Date
CN103559106A CN103559106A (zh) 2014-02-05
CN103559106B true CN103559106B (zh) 2016-03-02

Family

ID=50013358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310478871.XA Active CN103559106B (zh) 2013-10-14 2013-10-14 一种数据的备份方法、装置及系统

Country Status (2)

Country Link
CN (1) CN103559106B (zh)
WO (1) WO2015054992A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559106B (zh) * 2013-10-14 2016-03-02 华为技术有限公司 一种数据的备份方法、装置及系统
US10430102B2 (en) * 2014-06-27 2019-10-01 Nec Corporation Storage device, program, and information processing method
CN105279236A (zh) * 2015-09-25 2016-01-27 北京金山安全软件有限公司 一种文件清理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049391A (zh) * 2012-12-29 2013-04-17 华为技术有限公司 数据处理方法、数据格式和设备
CN103064762A (zh) * 2012-12-25 2013-04-24 华为技术有限公司 重删备份数据的恢复方法和装置
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440984B2 (en) * 2005-06-28 2008-10-21 International Business Machines Corporation Reconciliation of local and remote backup data
US20070185936A1 (en) * 2006-02-07 2007-08-09 Derk David G Managing deletions in backup sets
US20080243878A1 (en) * 2007-03-29 2008-10-02 Symantec Corporation Removal
CN103034659B (zh) * 2011-09-29 2015-08-19 国际商业机器公司 一种重复数据删除的方法和系统
CN103559106B (zh) * 2013-10-14 2016-03-02 华为技术有限公司 一种数据的备份方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
CN103064762A (zh) * 2012-12-25 2013-04-24 华为技术有限公司 重删备份数据的恢复方法和装置
CN103049391A (zh) * 2012-12-29 2013-04-17 华为技术有限公司 数据处理方法、数据格式和设备

Also Published As

Publication number Publication date
WO2015054992A1 (zh) 2015-04-23
CN103559106A (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
CN102866954B (zh) 内存分配的方法及装置
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN104239518A (zh) 重复数据删除方法和装置
CN103744906A (zh) 一种数据同步系统、方法及装置
CN103942292A (zh) 虚拟机镜像文件处理方法、装置及系统
CN102902762B (zh) 一种删除重复数据的方法、装置和系统
CN103870514A (zh) 重复数据删除方法和装置
CN103995855A (zh) 存储数据的方法和装置
CN105488050A (zh) 一种数据库多索引方法、装置及系统
CN103678337A (zh) 数据清除方法、装置及系统
CN113918385B (zh) 虚拟机在线增量备份恢复的方法、装置、电子设备及介质
CN103186598A (zh) 文件处理方法及系统
CN103559106B (zh) 一种数据的备份方法、装置及系统
CN105243027A (zh) 在存储设备中存储数据的方法和存储控制器
CN105183399A (zh) 一种基于弹性块存储的数据写、读方法及装置
CN104657387A (zh) 一种数据查询方法及装置
CN105224418A (zh) 一种数据备份方法和装置
CN112261038A (zh) 大数据采集方法、系统、计算机设备及其存储介质
CN103440204B (zh) 一种更新文件系统的方法和存储设备
CN104915462A (zh) 一种文件管理方法及系统
CN104503868A (zh) 数据同步方法、装置以及系统
CN107179965A (zh) 数据库恢复方法及装置
CN103092955B (zh) 检查点操作方法、装置及系统
CN104008116A (zh) 一种文件同步方法及电子设备
CN102523112B (zh) 信息处理方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant