CN105162869A - 一种用于数据备份管理的方法与设备 - Google Patents
一种用于数据备份管理的方法与设备 Download PDFInfo
- Publication number
- CN105162869A CN105162869A CN201510599579.2A CN201510599579A CN105162869A CN 105162869 A CN105162869 A CN 105162869A CN 201510599579 A CN201510599579 A CN 201510599579A CN 105162869 A CN105162869 A CN 105162869A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- target
- snapshot
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本申请的目的是提供一种用于数据备份管理的方法与设备;获取对应数据提供设备的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。与现有技术相比,本申请实现了以数据管理设备异地、集中、实时备份相应若干个数据提供设备中的磁盘数据,其中,对于实时变更的数据块能够实时备份,降低备份数据丢失的风险;此外,通过所述第一压缩数据包的形式,可以高效地缩减实际传输的数据量。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种用于数据备份管理的技术。
背景技术
随着计算机网络应用的拓展,例如云计算、电子商务、社交网络等应用的发展,促使需要存储的数据信息量急速增长。在数据使用过程中,可能会因为突发原因,如存储介质的破坏、或人为误操作导致数据丢失;或者,在数据丢失后需要通过相应的恢复数据操作找回丢失的数据,因此,需要通过数据备份存储达到上述目的。
但是在现有技术中,数据的备份管理系统多数是在本地进行,进而导致若是本地设备故障,备份数据也会随时丢失,备份数据的安全性得不到保障。同时,系统中有多台设备数据需要备份,单独管理每台设备备份数据会增加维护工作量,不利于资源利用。
此外,现有技术中,也存在在各个待备份设备中周期性的创建数据快照,进而将所述快照定期保存在对应的备份服务器中的备份方法,但是定期备份快照并无法做到数据实时更新,存在数据丢失的风险,如最多可能丢失相邻两个备份时间点,即一个备份周期时间内的可能更新数据,由此造成数据备份误差较大。同时,在待备份设备中进行快照的创建会影响到该设备的正常运行。
此外,现有技术中,若是异地设备之间的备份数据传输量较大,由于传输数据未压缩、或是不能有效压缩,将导致传输效率低下,影响数据备份效率。
发明内容
本申请的目的是提供一种用于数据备份管理的方法与设备。
根据本申请的一个方面,提供了一种在数据管理设备端用于数据备份管理方法,包括:
获取对应数据提供设备的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;
基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;
基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。
根据本申请的另一方面,还提供了一种在数据提供设备端用于数据备份管理的方法,包括:
将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
根据本申请的再一方面,还提供了一种用于数据备份管理的数据管理设备,包括:
第一装置,用于获取对应数据提供设备的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;
第二装置,用于基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;
第三装置,用于基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。
根据本申请的又一方面,还提供了一种用于数据备份管理的数据提供设备,包括:
第十七装置,用于将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
根据本申请的另一方面,还提供了一种用于数据备份管理的系统,其中所述系统包括:根据本申请再一个方面提供的一种用于数据备份管理的数据管理设备,以及根据本申请又一方面提供的一种用于数据备份管理的数据提供设备。
与现有技术相比,本申请通过数据管理设备获取来自数据提供设备的产生变更的第一数据块,所述第一数据块以第一压缩数据包的形式进行传输,并基于所述第一压缩数据包进行相应的备份存储,同时基于所述第一存储空间生成用于后续备份数据读取、恢复等操作的相应的第一快照信息。在此,本申请实现了以数据管理设备异地、集中、实时备份相应若干个数据提供设备中的磁盘数据,其中,所述数据管理设备获取第一数据块是经由数据提供设备磁盘中数据产生变更而触发的,相比于固定的备份周期,本申请能够更加及时获取待备份数据,降低固定备份周期带来的备份数据丢失的风险;此外,通过所述第一压缩数据包的形式,可以在确保实际有用数据被备份的同时、高效地缩减了实际传输的数据量;此外,基于所述第一压缩数据包,进行高效的存储空间分配,进而优化了备份数据的相应管理操作;此外,为已在数据管理设备中备份的第一数据块创建相应的第一快照信息,从而在后续,基于所述预设的选择策略为相应的数据提供设备提供目标快照信息,并由该目标快照信息恢复相应数据。
进一步,当所述数据管理设备在获取所述数据提供设备中目标磁盘全盘数据的备份数据时,若是所述目标磁盘中的第二数据块发生变更,则所述数据管理设备并行获取发生变更的所述第二数据块,并创建相应的第二快照信息。由此,在备份目标磁盘全盘数据过程中,也能有效兼顾其中部分数据块的实时备份,从而对目标磁盘数据提供了几乎实时的保护,避免了备份间隔过长带来的备份数据丢失的风险。
进一步,在具体实施例中,所述第一数据压缩包、第二数据压缩包、和第三数据压缩包中均包含压缩数据信息,所述压缩数据信息,优选地,包括实际使用数据块中的预定数据,所述预定数据包括用预定标识替换的所述数据块中的数据。在此,基于所述用预定标识替换数据块中原有数据,而得到的预定数据可以大大减少了相应数据块的实际数据大小,有效地压缩了待备份的数据信息,从而减少了设备之间的备份数据传输量,更进一步地节约了所述备份数据在所述数据管理设备中所占用的存储空间。
进一步,所述数据管理设备基于所述数据提供设备发送的目标快照信息获取指令,具体到基于所述指令包含的所述目标数据块信息和所述目标快照时间信息,并结合预设的选择策略,确定目标快照信息。在此,基于所述选择策略为所述数据提供设备提供的目标快照信息能够较好地满足数据提供设备的备份数据查询或获取需要。
进一步,相对应的,所述数据提供设备配合所述数据管理设备实现的了待备份的第一压缩数据包、第二压缩数据包、全盘压缩数据包的传输。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种用于数据备份管理的数据管理设备和数据提供设备的系统示意图;
图2示出根据本申请一个优选实施例的一种用于数据备份管理的数据管理设备和数据提供设备的系统示意图;
图3示出根据本申请再一个优选实施例的一种用于数据备份管理的数据管理设备和数据提供设备的系统示意图;
图4示出根据本申请另一个方面的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图;
图5示出根据本申请一个优选实施例的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图;
图6示出根据本申请又一个优选实施例的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种用于数据备份管理的数据管理设备1和数据提供设备2的系统示意图。其中,所述数据管理设备1包括第一装置101、第二装置102和第三装置103,;所述数据提供设备2包括第十七装置201。
其中,所述第一装置101获取对应数据提供设备2的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;所述第二装置102基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;所述第三装置103基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息;所述第十七装置201将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
具体地,所述数据管理设备1包括各种智能终端设备或设备集群,如各种云端服务器;所述数据提供设备2包括各种智能终端设备,如个人计算机,优选地,所述数据提供设备2包括一个或多个所述目标磁盘,所述目标磁盘中有待备份的磁盘数据。在此,所述第一装置101获取对应数据提供设备2的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。在此,当目标磁盘中发生部分数据变更时,即触发将变更的所述第一数据块以第一压缩数据包的形式发送给对应的数据管理设备1。在此,优选地,所述第一压缩数据中包含了基于特定的方法对所述第一数据块进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含预定数据,所述预定数据包括用预定标识,如数据长度较小的字节标识,替换第一数据块中原有的部分数据。
在此,为配合所述数据管理设备1,所述数据提供设备2的第十七装置201将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
接着,所述第二装置102基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间。在此,所述第一压缩数据包中包含了所述压缩数据信息对应的所述压缩数据相关信息。在为第一数据块分配存储空间时,并不需要对所述第一数据块的压缩数据信息进行解压缩或还原,而是直接将压缩数据信息,甚至可以直接以第一压缩数据包的形式进行存储。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配,优选地,可以避免传统文件管理系统的多级复杂结构,而是采用简化的文件系统,如仅设置单级存储结构,将所述第一数据块的压缩数据信息直接存储,当需要对所述第一数据块的数据信息进行读取等操作时,不需要经由多级文件,指令可以直接到达具体的所述第一数据块。由此,结合磁盘空间预分配和磁盘连续空间搜索技术,可以充分合理的利用所述数据管理设备1中的存储空间,避免由文件系统多级划分带来的部分空间剩余不可用的问题;同时,简化了具体的存储、读取等管理存储空间的步骤,例如,避免了读取文件系统需要的各级权限的判断、获取等操作。
在此,本领域技术人员应能理解,上述为实现备份数据的高效分配在所述数据管理设备1中配置的相应优化的存储结构仅为举例,其他现有的或今后可能出现的实现备份数据的高效分配的存储结构如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,所述第三装置103基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。在此,基于所述第一数据块被分配到的具体存储位置信息,创建所述第一数据块的第一快照信息。在此,所述快照是关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点,即拷贝开始时间点,对应的映像。具体地,所述第一快照信息是指向保存在所述数据管理设备1中的第一数据块的引用标记或指针,例如,基于第一存储空间对应的存储位置信息,可以确定所述第一快照信息中包含的索引信息,从而,使得基于所述索引信息,可以找到数据实际的存储位置,高效地实现数据查看、读取等相应操作。同时,所述第一快照信息包含对应的创建时间信息,基于该创建时间信息,可以区别、确定不同的快照信息。
在此,本申请通过数据管理设备1获取来自数据提供设备2的产生变更的第一数据块,所述第一数据块以第一压缩数据包的形式进行传输,并基于所述第一压缩数据包进行相应的备份存储,同时基于所述第一存储空间生成用于后续备份数据读取、恢复等操作的相应的第一快照信息。在此,本申请实现了以数据管理设备1异地、集中、实时备份相应若干个数据提供设备中的磁盘数据,其中,所述数据管理设备1获取第一数据块是经由数据提供设备磁盘中数据产生变更而触发的,相比于固定的备份周期,本申请能够更加及时获取待备份数据,降低固定备份周期带来的备份数据丢失的风险;此外,通过所述第一压缩数据包的形式,可以在确保实际有用数据被备份的同时、高效地缩减了实际传输的数据量;此外,基于所述第一压缩数据包,进行高效的存储空间分配,进而优化了备份数据的相应管理操作;此外,为已在数据管理设备1中备份的第一数据块创建相应的第一快照信息,从而在后续,基于所述预设的选择策略为相应的数据提供设备提供目标快照信息,并由该目标快照信息恢复相应数据。进一步,相对应的,所述数据提供设备2配合所述数据管理设备1实现的了待备份的第一压缩数据包的传输。
优选地,所述数据提供设备2还包括第十八装置(未示出)、十九装置(未示出)。其中,所述第十八装置基于所述数据提供设备2与所述数据管理设备1之间协议的数据替换信息,确定第一数据块中待替换数据;所述第十九装置基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据;其中,所述第十七装置201将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。
具体地,所述第十八装置基于所述数据提供设备2与所述数据管理设备1之间协议的数据替换信息,确定第一数据块中待替换数据。为了减少数据传输量,对所述第一数据块将进行压缩处理。在此,优选地,会以数据替换的方式实现压缩数据大小的目的。其中,所确定的待替换数据可以包括数据块中出现频率较多的数据,又或者是本身数据大小较大的数据,由此,通过数据替换,可以减少实际传输的数据大小。可以预先由所述数据提供设备2与所述数据管理设备1协议具体的数据替换信息,确定哪些数据会被替换。在此,所述数据管理设备1可以和多个数据提供设备2之间只配置一套共用的数据替换信息,或者,基于所述数据提供设备2、或是具体到预先扫描到数据提供设备2的第一数据块中实际数据的种类,设置一套特定的数据替换信息,从而能够最大程度的压缩数据,尽量减小第一数据块的实际传输大小。
接着,所述第十九装置基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据。替换数据的目的是将原有较大的数据替换成数据较小的预定标识,优选地,所述预定标识可以只包含若干个字节,并没有实际意义,只是能够对应指代被替换数据即可,例如,将一长串0的数据,替代为若干个字节。
接着,由所述第十七装置201将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。在此,将所述第一数据包中的部分数据替换成预定数据,从而实现对所述第一数据块进行有效压缩。此外,由于预定数据的替换已经大大减少实际传输的数据量,而对于所述第一数据块中除了待替换数据以外的其他数据,一般现有的数据压缩方法会降低数据提供设备2的整体工作效率,所以,从整体效率考虑,可以优选对所述其他数据直接进行传输。此外,所述第一压缩数据包中除了包含所述压缩数据信息,还可以包含所述压缩数据相关信息,例如,压缩数据信息对应的数据提供设备信息,压缩数据信息对应的数据提供设备的目标磁盘信息,压缩数据信息在目标磁盘中的磁盘位置信息和压缩数据信息对应的数据大小信息等。
在一个优选实施例(参考图1)中,所述数据管理设备1还包括第四装置(未示出)、第五装置(未示出)和第六装置(未示出),其中,所述第四装置获取所述目标磁盘的全盘数据,其中,所述全盘数据以全盘压缩数据包的形式进行数据传输;所述第五装置基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间;所述第六装置基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。
具体地,为了保证所述数据提供设备2中目标磁盘的各个数据块的数据都能够在所述数据管理设备中进行有效备份,可以根据需要对所述目标磁盘进行全盘备份。例如,可以在数据提供设备2第一次备份,即进行一次全盘数据的传输,或是在后续基于实际需要,例如,在数据管理设备1中部分数据受损,或是数据提供设备2中数据大幅度变更时,由所述数据提供设备1主动发起重新全盘数据传输备份。
在此,优选地,所述全盘数据压缩包中包含了基于特定的方法对所述全盘数据进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含各个实际使用数据块中的预定数据,所述预定数据包括用预定标识,如数据长度较小的字节标识,替换全盘数据的各个数据块中原有的部分数据。在此,进一步优选地,一个适用场景举例是,所述全盘数据中包含的众多数据块,其中只有部分数据块中包含实际使用的数据,而剩下的数据块中可能包含的数据是已经使用率极低,或是实际不太会再使用的数据,例如,已被用户删除,但依然存在的数据,此时,在实际全盘数据传输中,即可以仅仅保留包含实际使用的数据块,进一步,再对该数据块中数据进行预定数据的替换,从而,对于所述全盘数据实现了双重压缩效果,极大的缩减了实际传输数据量,节约了资源。
接着,所述第五装置基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配,优选地,可以避免传统文件管理系统的多级复杂结构,而是采用简化的文件系统,如仅设置单级存储结构,将所述全盘数据的压缩数据信息直接存储,当需要对所述全盘数据的数据信息进行读取等操作时,不需要经由多级文件,指令可以直接到达具体的所述全盘数据。由此,结合磁盘空间预分配和磁盘连续空间搜索技术,可以充分合理的利用所述数据管理设备1中的存储空间,避免由文件系统多级划分带来的部分空间剩余不可用的问题;同时,简化了具体的存储、读取等管理存储空间的步骤,例如,避免了读取文件系统需要的各级权限的判断、获取等操作。
在此,本领域技术人员应能理解,上述为实现备份数据的高效分配在所述数据管理设备1中配置的相应优化的存储结构仅为举例,其他现有的或今后可能出现的实现备份数据的高效分配的存储结构如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,所述第六装置基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。在此,基于所述全盘数据被分配到的具体存储位置信息,创建所述全盘数据的全盘快照信息。所述全盘快照信息是指向保存在所述数据管理设备1中的全盘数据的引用标记或指针。同时,所述全盘快照信息包含对应的创建时间信息,基于该创建时间信息,可以区别、确定不同的快照信息。
优选地,所述数据管理设备1还包括第七装置(未示出)、第八装置(未示出)和第九装置(未示出)。其中,所述第七装置在获取所述全盘数据的过程中,若所述目标磁盘中的第二数据块发生数据变更,则并行地获取发生变更的所述第二数据块,其中,所述第二数据块以第二压缩数据包的形式进行数据传输;所述第八装置基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间;所述第九装置基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
具体地,当所述数据提供设备2向所述数据管理设备1中进行所述全盘数据的备份的过程中,有时会出现数据提供设备2中的一个或多个所述第二数据块正在进行写操作,此时,为了保证更新数据能够实时同步备份到所述数据管理设备1中,所述数据管理设备1并不需要等待全盘数据备份完成,而是可以在所述第二数据块发生变更的同时,并行地获取发生变更的所述第二数据块。在此,优选地,所述第二压缩数据包中包含了基于特定的方法对所述第二数据块进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含预定数据,所述预定数据包括用预定标识、如数据长度较小的字节标识,替换第二数据块中原有的部分数据。接着,所述第八装置基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间。在此,所述第二压缩数据包中包含了所述压缩数据信息对应的所述压缩数据相关信息。在为第二数据块分配存储空间时,并不需要对所述第二数据块的压缩数据信息进行解压缩或还原,而是直接将压缩数据信息,甚至可以直接以第二压缩数据包的形式进行存储。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配。接着,所述第九装置基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
在此,所述第二数据块与所述第一数据块类似,都是所述数据提供设备2中目标磁盘中产生数据变更的待备份数据,进而所述第二存储空间的分配可以参考所述第一存储空间的分配;所述第二快照信息的生成可以参考所述第二快照信息的生成。在此,具体参考内容不再赘述,并以引用的形式包含于此。
在本实施例中,当所述数据管理设备1在获取所述数据提供设备2中目标磁盘全盘数据的备份数据时,若是所述目标磁盘中的第二数据块发生变更,则所述数据管理设备1并行获取发生变更的所述第二数据块,并创建相应的第二快照信息。由此,在备份目标磁盘全盘数据过程中,也能有效兼顾其中部分数据块的实时备份,从而对目标磁盘数据提供了几乎实时的保护,避免了备份间隔过长带来的备份数据丢失的风险。
在一个优选实施例(参考图1)中,所述第一压缩数据包、第二压缩数据包、所述全盘压缩数据包均包含相应的压缩数据信息和压缩数据相关信息。
具体地,所述压缩数据信息对应于产生变更的具体数据块的数据信息,在第一压缩数据包中所述数据块是第一数据块,在第二压缩数据包中所述数据块是第二数据块,而在全盘压缩数据包中,所述数据块是目标磁盘中的全部实际使用的数据块。在此,优选地,所述压缩数据信息可以包含一部分进行压缩处理的预定数据,也可以同时包含未经过压缩处理的其他数据。在此,所述压缩数据相关信息包括与压缩数据来源相关的数据,基于该数据,可以方便所述数据管理设备1对获取的各个待备份数据块进行有效地存储管理。
优选地,所述压缩数据相关信息包括:压缩数据信息对应的数据提供设备信息;压缩数据信息对应的数据提供设备的目标磁盘信息;压缩数据信息在目标磁盘中的磁盘位置信息;压缩数据信息对应的数据大小信息。
具体地,基于所述压缩数据信息对应的数据提供设备信息、压缩数据信息对应的数据提供设备2的目标磁盘信息和压缩数据信息在目标磁盘中的磁盘位置信息可以匹配对应的具体数据块,从而可以方便所述数据管理设备1对获取的各个待备份数据块进行有效地存储管理。优选地,基于所述压缩数据相关信息,我们可以对所述快照信息的索引信息进行设置,例如,基于压缩数据信息对应的所述数据提供设备信息、或所述目标磁盘信息、或所述磁盘位置信息,与所述数据管理设备1中实际备份数据的磁盘存储位置之间建立映射,以此映射作为所述索引信息的主要内容,从而方便相应的快照查询及数据的读取。进一步,当所述数据管理设备1获取了一个第一数据块,基于该数据块的各个压缩数据相关信息,可以查询所述第一数据块是否曾经被存储,若是曾经存储过,则查询出相应的已存储信息,同时基于已存储的存储位置信息,将最新的所述第一数据块进行存储,例如,新旧第一数据块依次存储在相邻位置;若是查询结果是所述第一数据块未曾存储,则基于所述第一数据块在所述数据管理设备1中第一数据块的压缩数据信息对应的数据大小信息,为所述第一数据块分配新的第一存储空间。在此,本领域技术人员应能理解,上述压缩数据相关信息仅为举例,其他现有的或今后可能出现的压缩数据相关信息如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述压缩数据信息包括实际使用数据块中的预定数据,其中,所述预定数据包括用预定标识替换的所述数据块中的数据。
具体地,在此,所述数据管理设备1获取的全盘数据仅包含目标磁盘中实际使用的数据块,而获取的第一数据块、第二数据块因为是所述目标磁盘中产生变更的数据块,所以可以推定其也是正在实际使用的数据。在此,优选地,上述各个数据块中包含着用预定标识替换所述数据块中相应数据得到的预定数据。所述预定数据相比于数据块中原有的被替换数据占用空间要小的多,优选地,所述预定标识可以只包含若干个字节,并没有实际意义,只是能够对应指代被替换数据即可,例如,将一长串0的数据,替代为若干个字节。由此,可以通过所述预定数据实现第一数据块的数据量的压缩,从而减少设备间的数据传输量,进一步,还可以节约后续所述数据管理设备1为所述各个数据块分配的存储空间。
优选地,所述第二装置102基于所述预定数据和所述第一数据块中的其他数据,为所述第一数据块分配对应的第一存储空间。
具体地,所述第一数据块对应的压缩数据信息中包括所述预定数据,优选地,还可以同时包含未经过压缩处理的其他数据。结合所述第一压缩数据包中的压缩数据相关信息,为所述第一数据块分配相应的存储位置、相应大小的存储空间。在此,优选地,不需要对所述第一数据块的压缩数据信息进行解压缩或还原,而是直接以第一压缩数据包的形式进行存储,其中,直接基于所述压缩数据信息中所述预定数据和其他数据大小、压缩数据相关信息的大小,分配相应的第一存储空间,在此,由于预定数据的大小相比于其所替换的第一数据块中的原始数据要小的多,所以有效地节约了所述数据管理设备1中可用的存储空间。
图2示出根据本申请一个优选实施例的一种用于数据备份管理的数据管理设备1和数据提供设备2的系统示意图。其中,所述数据管理设备1包括第一装置101'、第二装置102'、第三装置103'、第十装置104'、第十一装置105'、第十二装置106'和第十三装置107';所述数据提供设备2包括第十七装置201'、第二十装置202'和第二十一装置203'。
其中,所述第一装置101'获取对应数据提供设备2的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;所述第二装置102'基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;所述第三装置103'基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息;第十装置104'接收所述数据提供设备2发送的目标快照信息获取指令,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;第十一装置105'基于所述目标快照信息获取指令,确定目标快照信息;第十二装置106'创建用于呈现所述目标快照信息的第一虚拟存储装置;第十三装置107'向所述数据提供设备2返回所述第一虚拟存储装置创建成功信息;与所述数据管理设备1相对应,所述第十七装置201'将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;第二十装置202'发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;第二十一装置203'获取所述数据管理设备1返回的所述第一虚拟存储装置创建成功信息。在此,第一装置101'、第二装置102'、第三装置103'与图1中示出的第一装置101、第二装置102、第三装置103内容相同或基本相同;第十七装置201'与图1中示出的第十七装置201内容相同或基本相同,故在此不再赘述,并以引用的方式包含于此。
具体地,所述数据提供设备2的第二十装置202'发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息。相对应的,由所述数据管理设备1的第十装置104'接收所述目标快照信息获取指令。
在此,当数据提供设备2希望获得所述数据管理设备1中备份的目标磁盘中的目标数据时,可以先确定目标数据对应的目标快照信息,再基于具体的目标快照信息,请求所述目标数据。在此,由于目标快照信息的对象是目标磁盘中更新的一个或多个数据块,所以,优选地,所述数据提供设备2发送的目标快照信息获取指令包含目标数据所在的目标数据块信息,以及希望数据恢复对应的目标快照时间信息。在此,具体地,例如,可以设置默认所述目标数据块信息包括全盘数据中全部数据块的信息,以保证所述目标快照信息呈现的可选信息尽量丰富;又如,所述目标数据块信息也可以只包含部分数据块、甚至是某一个具体数据块信息,由此,可以结合最终目标数据的需要,精准地定位所述目标数据信息,减省数据资源消耗。
接着,第十一装置105'基于所述目标快照信息获取指令,确定目标快照信息。在此,所述数据提供设备2提交的目标快照时间信息可以是参考已有的快照时间信息统计数据进行选择,或者直接可以是任意的历史时间,此时,在该时间点上,可能正好有所述目标数据块对应的最新的快照信息;又或是,有最新的快照信息,但该快照信息并不包含所述目标数据块;又或是,在该时间点上,并没有任何数据块的最新的快照信息,此时可以基于一定的选择策略,为所述数据提供设备2确定能够满足、或是最能够接近所述目标快照信息获取指令的目标快照信息。
接着,所述第十二装置106'创建用于呈现所述目标快照信息的第一虚拟存储装置。在此,可以将确定的所述目标快照信息发送至所述数据提供设备1,并以硬盘方式直接展现,再在所述数据提供设备1中直接获得用户的目标数据选择。此外,优选地,为了所述数据管理设备1能够更加高效、快速地通过所述目标快照信息的索引信息找到存储在数据管理设备1中的备份的目标数据,实际应用中,可以直接基于所述目标快照信息,建立所述数据管理设备1对应的第一虚拟存储装置,例如虚拟磁盘,将所述目标快照信息以硬盘方式直接在所述数据管理设备端呈现,再在后续,接收所述数据提供设备2对所呈现的目标快照信息中对应的具体目标数据的请求。此外,将所述目标快照信息呈现在所述第一虚拟存储装置中,还可以将所述目标快照数据转换成相应的虚拟机磁盘文件,从而可以实现在所述数据提供设备2之外的其他第三方设备,如虚拟机上实现目标数据的备份恢复。
接着,所述第十三装置107'向所述数据提供设备返回所述第一虚拟存储装置创建成功信息,以响应所述数据提供设备2发送的目标快照信息获取指令。相应的,有所述数据提供设备2的第二十一装置203'获取所述创建成功信息。
在此,所述数据管理设备1可以基于所述数据提供设备2发出的所述目标快照信息获取指令准确地确定所述数据提供设备2所需要的目标数据对应的目标快照信息。同时基于所述第一虚拟存储装置的设置,可以在不影响数据管理设备1正常数据管理操作的情况下,及时、快速地响应所述数据提供设备2的需要。
优选地,在所述数据管理设备1中,所述基于所述目标快照信息获取指令,确定目标快照信息包括:结合预设的选择策略,基于所述目标数据块信息和所述目标快照时间信息,确定目标数据块在优选快照创建时间生成的目标快照信息,其中,所述优选快照创建时间早于或等于所述目标快照时间信息。
具体地,在此,所述数据提供设备2提交的目标快照时间信息可以是任意的历史时间。所述目标快照信息获取指令包括所述目标数据块信息和所述目标快照时间信息。所述优选的选择策略的举例如下:所述全盘数据包含数据块A、B、C,若所述数据管理设备1在T1时间仅创建了有全盘数据的快照信息A1.B1.C1,及之后T2时间仅创建了数据块A的快照信息A2,及再后来T3时间仅创建了数据块B的快照信息B2。此时,第一种情况:若是所述目标数据块信息为数据块B,所述目标快照时间是T3时间,则可直接确定所述快照B2即为所述目标快照信息;第二种情况:若是所述目标数据块信息为数据块A,所述目标快照时间是T3时间,此时,由于在T3时间,只有数据块B的快照信息B2,则优选地,继续向前查询,在最近的时间T2,匹配到了数据块A的快照信息A2,则将此确定为所述目标快照信息;第三种情况:若是所述目标数据块信息为数据块C,所述目标快照时间是T3时间,则T3时间没有相应数据块C的快照信息,再查询相近的时间T2,依然没有数据块C的快照信息,继续向前查询,在T1时间查询到了全盘数据的快照信息A1.B1.C1,其中,包含所述数据块C的快照信息,从而,将完整的所述快照信息A1.B1.C1作为所述目标快照信息。在此三种情况下,最终返回的目标快照信息对应的实际快照创建时间,即为所述优选快照创建时间,该优选快照创建时间早于或等于所述目标快照时间信息。
在此,本实施例中基于所述选择策略为所述数据提供设备2提供的目标快照信息,能够较好地满足数据提供设备的备份数据查询或获取需要。
在此,本领域技术人员应能理解,上述选择策略仅为举例,其他现有的或今后可能出现的选择策略如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
图3示出根据本申请再一个优选实施例的一种用于数据备份管理的数据管理设备1和数据提供设备2的系统示意图。
所述第一装置101”获取对应数据提供设备2的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;所述第二装置102”基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;所述第三装置103”基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息;第十装置104”接收所述数据提供设备2发送的目标快照信息获取指令,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;第十一装置105”基于所述目标快照信息获取指令,确定目标快照信息;第十二装置106”创建用于呈现所述目标快照信息的第一虚拟存储装置;第十三装置107”向所述数据提供设备2返回所述第一虚拟存储装置创建成功信息;第十四装置108”获取所述数据提供设备2发送的目标数据请求,其中,所请求的目标数据与所述目标快照信息相匹配;第十五装置109”基于所述目标快照信息确定所述目标数据的存储位置信息;第十六装置110”将所述目标数据发送至所述数据提供设备2;与所述数据管理设备1相对应,所述第十七装置201”将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;第二十装置202”发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;第二十一装置203”获取所述数据管理设备1返回的所述第一虚拟存储装置创建成功信息;第二十二装置204”将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备1,其中,所请求的目标数据与所述目标快照信息相匹配;第二十三装置205”获取所述数据管理设备1返回的与所述目标数据请求匹配的目标数据。
在此,第一装置101”、第二装置102”、第三装置103”、第十装置104”、第十一装置105”、第十二装置106”和第十三装置107”与图2中示出的第一装置101'、第二装置102'、第三装置103'、第十装置104'、第十一装置105'、第十二装置106'和第十三装置107'内容相同或基本相同;第十七装置201”、第二十装置202”和第二十一装置203”与图2中示出的第十七装置201'、第二十装置202'和第二十一装置203'内容相同或基本相同,故在此不再赘述,并以引用的方式包含于此。
具体地,当所述数据管理设备1发送回所述第一虚拟存储装置创建成功信息后,所述数据提供设备2的第二十二装置204”将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备1,其中,所请求的目标数据与所述目标快照信息相匹配;相对应的,所述数据管理设备1的第十四装置108”获取所述目标数据请求。在此,优选地,所述第一虚拟存储装置以虚拟磁盘形式将目标快照信息进行呈现,由此,所述数据提供设备2对应的用户可以基于虚拟磁盘的文件系统,选择所述目标快照信息中包含的全部或部分数据信息。例如,若是目标快照信息是全盘快照,则所述目标数据可以对应为具体的某个数据块、还可以是某个数据块上的具体位置上的数据。接着,所述第十五装置109”基于所述目标快照信息确定所述目标数据的存储位置信息。在此,所述目标数据快照信息的索引信息及指向所述目标数据在所述数据管理设备1中实际的备份位置信息。接着,所述第十六装置110”将所述目标数据发送至所述数据提供设备2,与此相应的,所述数据提供设备1的第二十三装置205”获取所述目标数据。
在此,基于所述数据管理设备1中以第一虚拟存储装置形式呈现的目标快照信息,所述数据提供设备2的用户可以灵活的选择待恢复的目标数据,可以是整个全盘数据,也可以是具体的数据块,甚至是数据块中某个具体位置的数据。从而可以高效地满足了所述数据提供设备的实际恢复数据需要。
优选地,所述数据提供设备2还包括第二十四装置(未示出),所述第二十四装置将所述目标数据呈现在所述数据管理设备对应的第二虚拟存储装置中。具体地,在此,所述第二虚拟存储装置包括虚拟磁盘。将所述目标数据在所述第二虚拟存储装置中呈现,可以不影响所述数据提供设备2中原有的磁盘文件系统,可以方便所述数据提供设备2根据实际需要随时读取并操作所述目标数据。
图4示出根据本申请另一个方面的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图。
其中,在步骤S402中,所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;在步骤S401中,所述数据管理设备1基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;在步骤S403中,所述数据管理设备1基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。
具体地,所述数据管理设备1包括各种智能终端设备或设备集群,如各种云端服务器;所述数据提供设备2包括各种智能终端设备,如个人计算机,优选地,所述数据提供设备2包括一个或多个所述目标磁盘,所述目标磁盘中有待备份的磁盘数据。在此,在步骤S402中,所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。在此,当目标磁盘中发生部分数据变更时,即触发将变更的所述第一数据块以第一压缩数据包的形式发送给对应的数据管理设备1。在此,优选地,所述第一压缩数据中包含了基于特定的方法对所述第一数据块进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含预定数据,所述预定数据包括用预定标识,如数据长度较小的字节标识,替换第一数据块中原有的部分数据。
接着,在步骤S401中,所述数据管理设备1基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间。在此,所述第一压缩数据包中包含了所述压缩数据信息对应的所述压缩数据相关信息。在为第一数据块分配存储空间时,并不需要对所述第一数据块的压缩数据信息进行解压缩或还原,而是直接将压缩数据信息,甚至可以直接以第一压缩数据包的形式进行存储。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配,优选地,可以避免传统文件管理系统的多级复杂结构,而是采用简化的文件系统,如仅设置单级存储结构,将所述第一数据块的压缩数据信息直接存储,当需要对所述第一数据块的数据信息进行读取等操作时,不需要经由多级文件,指令可以直接到达具体的所述第一数据块。由此,结合磁盘空间预分配和磁盘连续空间搜索技术,可以充分合理的利用所述数据管理设备1中的存储空间,避免由文件系统多级划分带来的部分空间剩余不可用的问题;同时,简化了具体的存储、读取等管理存储空间的步骤,例如,避免了读取文件系统需要的各级权限的判断、获取等操作。
在此,本领域技术人员应能理解,上述为实现备份数据的高效分配在所述数据管理设备1中配置的相应优化的存储结构仅为举例,其他现有的或今后可能出现的实现备份数据的高效分配的存储结构如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,在步骤S403中,所述数据管理设备1基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。在此,基于所述第一数据块被分配到的具体存储位置信息,创建所述第一数据块的第一快照信息。在此,所述快照是关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点,即拷贝开始时间点,对应的映像。具体地,所述第一快照信息是指向保存在所述数据管理设备1中的第一数据块的引用标记或指针,例如,基于第一存储空间对应的存储位置信息,可以确定所述第一快照信息中包含的索引信息,从而,使得基于所述索引信息,可以找到数据实际的存储位置,高效地实现数据查看、读取等相应操作。同时,所述第一快照信息包含对应的创建时间信息,基于该创建时间信息,可以区别、确定不同的快照信息。
在此,本申请通过数据管理设备1获取来自数据提供设备2的产生变更的第一数据块,所述第一数据块以第一压缩数据包的形式进行传输,并基于所述第一压缩数据包进行相应的备份存储,同时基于所述第一存储空间生成用于后续备份数据读取、恢复等操作的相应的第一快照信息。在此,本申请实现了以数据管理设备1异地、集中、实时备份相应若干个数据提供设备中的磁盘数据,其中,所述数据管理设备1获取第一数据块是经由数据提供设备磁盘中数据产生变更而触发的,相比于固定的备份周期,本申请能够更加及时获取待备份数据,降低固定备份周期带来的备份数据丢失的风险;此外,通过所述第一压缩数据包的形式,可以在确保实际有用数据被备份的同时、高效地缩减了实际传输的数据量;此外,基于所述第一压缩数据包,进行高效的存储空间分配,进而优化了备份数据的相应管理操作;此外,为已在数据管理设备1中备份的第一数据块创建相应的第一快照信息,从而在后续,基于所述预设的选择策略为相应的数据提供设备提供目标快照信息,并由该目标快照信息恢复相应数据。进一步,相对应的,所述数据提供设备2配合所述数据管理设备1实现的了待备份的第一压缩数据包的传输。
优选地,所述方法还包括步骤S408(未示出)和步骤S410(未示出)。其中,在步骤S408中,所述数据提供设备2基于所述数据提供设备2与所述数据管理设备1之间协议的数据替换信息,确定第一数据块中待替换数据;在步骤S410中,所述数据提供设备2基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据;其中,在步骤S402中,所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。
具体地,在步骤S408中,所述数据提供设备2基于所述数据提供设备2与所述数据管理设备1之间协议的数据替换信息,确定第一数据块中待替换数据。为了减少数据传输量,对所述第一数据块将进行压缩处理。在此,优选地,会以数据替换的方式实现压缩数据大小的目的。其中,所确定的待替换数据可以包括数据块中出现频率较多的数据,又或者是本身数据大小较大的数据,由此,通过数据替换,可以减少实际传输的数据大小。可以预先由所述数据提供设备2与所述数据管理设备1协议具体的数据替换信息,确定哪些数据会被替换。在此,所述数据管理设备1可以和多个数据提供设备2之间只配置一套共用的数据替换信息,或者,基于所述数据提供设备2、或是具体到预先扫描到数据提供设备2的第一数据块中实际数据的种类,设置一套特定的数据替换信息,从而能够最大程度的压缩数据,尽量减小第一数据块的实际传输大小。
接着,在步骤S410中,所述数据提供设备2基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据。替换数据的目的是将原有较大的数据替换成数据较小的预定标识,优选地,所述预定标识可以只包含若干个字节,并没有实际意义,只是能够对应指代被替换数据即可,例如,将一长串0的数据,替代为若干个字节。
接着,在步骤S402中,由所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。在此,将所述第一数据包中的部分数据替换成预定数据,从而实现对所述第一数据块进行有效压缩。此外,由于预定数据的替换已经大大减少实际传输的数据量,而对于所述第一数据块中除了待替换数据以外的其他数据,一般现有的数据压缩方法会降低数据提供设备2的整体工作效率,所以,从整体效率考虑,可以优选对所述其他数据直接进行传输。此外,所述第一压缩数据包中除了包含所述压缩数据信息,还可以包含所述压缩数据相关信息,例如,压缩数据信息对应的数据提供设备信息,压缩数据信息对应的数据提供设备的目标磁盘信息,压缩数据信息在目标磁盘中的磁盘位置信息和压缩数据信息对应的数据大小信息等。
在一个优选实施例(参考图4)中,所述方法还包括步骤S415、步骤S417和步骤S419。其中,在步骤S415中,所述数据管理设备1获取所述目标磁盘的全盘数据,其中,所述全盘数据以全盘压缩数据包的形式进行数据传输;在步骤S417中,所述数据管理设备1基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间;在步骤S419中,所述数据管理设备1基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。
具体地,为了保证所述数据提供设备2中目标磁盘的各个数据块的数据都能够在所述数据管理设备中进行有效备份,可以根据需要对所述目标磁盘进行全盘备份。例如,可以在数据提供设备2第一次备份,即进行一次全盘数据的传输,或是在后续基于实际需要,例如,在数据管理设备1中部分数据受损,或是数据提供设备2中数据大幅度变更时,由所述数据提供设备1主动发起重新全盘数据传输备份。
在此,优选地,所述全盘数据压缩包中包含了基于特定的方法对所述全盘数据进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含各个实际使用数据块中的预定数据,所述预定数据包括用预定标识,如数据长度较小的字节标识,替换全盘数据的各个数据块中原有的部分数据。在此,进一步优选地,一个适用场景举例是,所述全盘数据中包含的众多数据块,其中只有部分数据块中包含实际使用的数据,而剩下的数据块中可能包含的数据是已经使用率极低,或是实际不太会再使用的数据,例如,已被用户删除,但依然存在的数据,此时,在实际全盘数据传输中,即可以仅仅保留包含实际使用的数据块,进一步,再对该数据块中数据进行预定数据的替换,从而,对于所述全盘数据实现了双重压缩效果,极大的缩减了实际传输数据量,节约了资源。
接着,在步骤S417中,所述数据管理设备1基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配,优选地,可以避免传统文件管理系统的多级复杂结构,而是采用简化的文件系统,如仅设置单级存储结构,将所述全盘数据的压缩数据信息直接存储,当需要对所述全盘数据的数据信息进行读取等操作时,不需要经由多级文件,指令可以直接到达具体的所述全盘数据。由此,结合磁盘空间预分配和磁盘连续空间搜索技术,可以充分合理的利用所述数据管理设备1中的存储空间,避免由文件系统多级划分带来的部分空间剩余不可用的问题;同时,简化了具体的存储、读取等管理存储空间的步骤,例如,避免了读取文件系统需要的各级权限的判断、获取等操作。
在此,本领域技术人员应能理解,上述为实现备份数据的高效分配在所述数据管理设备1中配置的相应优化的存储结构仅为举例,其他现有的或今后可能出现的实现备份数据的高效分配的存储结构如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,在步骤S419中,所述数据管理设备1基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。在此,基于所述全盘数据被分配到的具体存储位置信息,创建所述全盘数据的全盘快照信息。所述全盘快照信息是指向保存在所述数据管理设备1中的全盘数据的引用标记或指针。同时,所述全盘快照信息包含对应的创建时间信息,基于该创建时间信息,可以区别、确定不同的快照信息。
优选地,所述方法还包括步骤S421、步骤S423和步骤S425。其中,在步骤S421中,所述数据管理设备1在获取所述全盘数据的过程中,若所述目标磁盘中的第二数据块发生数据变更,则并行地获取发生变更的所述第二数据块,其中,所述第二数据块以第二压缩数据包的形式进行数据传输;在步骤S423中,所述数据管理设备1基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间;在步骤S425中,所述数据管理设备1基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
具体地,当所述数据提供设备2向所述数据管理设备1中进行所述全盘数据的备份的过程中,有时会出现数据提供设备2中的一个或多个所述第二数据块正在进行写操作,此时,为了保证更新数据能够实时同步备份到所述数据管理设备1中,所述数据管理设备1并不需要等待全盘数据备份完成,而是可以在所述第二数据块发生变更的同时,并行地获取发生变更的所述第二数据块。在此,优选地,所述第二压缩数据中包含了基于特定的方法对所述第二数据块进行压缩得到的压缩数据信息,以及压缩数据相关信息。例如,所述压缩数据信息可以包含预定数据,所述预定数据包括用预定标识、如数据长度较小的字节标识,替换第二数据块中原有的部分数据。接着,在步骤S423中,所述数据管理设备1基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间。在此,所述第二压缩数据包中包含了所述压缩数据信息对应的所述压缩数据相关信息。在为第二数据块分配存储空间时,并不需要对所述第二数据块的压缩数据信息进行解压缩或还原,而是直接将压缩数据信息,甚至可以直接以第二压缩数据包的形式进行存储。在此,可以在所述数据管理设备1中配置相应优化的存储结构以实现备份数据的高效分配。接着,在步骤S425中,所述数据管理设备1基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
在此,所述第二数据块与所述第一数据块类似,都是所述数据提供设备2中目标磁盘中产生数据变更的待备份数据,进而所述第二存储空间的分配可以参考所述第一存储空间的分配;所述第二快照信息的生成可以参考所述第二快照信息的生成。在此,具体参考内容不再赘述,并以引用的形式包含于此。
在本实施例中,当所述数据管理设备1在获取所述数据提供设备2中目标磁盘全盘数据的备份数据时,若是所述目标磁盘中的第二数据块发生变更,则所述数据管理设备1并行获取发生变更的所述第二数据块,并创建相应的第二快照信息。由此,在备份目标磁盘全盘数据过程中,也能有效兼顾其中部分数据块的实时备份,从而对目标磁盘数据提供了几乎实时的保护,避免了备份间隔过长带来的备份数据丢失的风险。
在一个优选实施例(参考图4)中,所述第一压缩数据包、第二压缩数据包、所述全盘压缩数据包均包含相应的压缩数据信息和压缩数据相关信息。
具体地,所述压缩数据信息对应于产生变更的具体数据块的数据信息,在第一压缩数据包中所述数据块是第一数据块,在第二压缩数据包中所述数据块是第二数据块,而在全盘压缩数据包中,所述数据块是目标磁盘中的全部实际使用的数据块。在此,优选地,所述压缩数据信息可以包含一部分进行压缩处理的预定数据,也可以同时包含未经过压缩处理的其他数据。在此,所述压缩数据相关信息包括与压缩数据来源相关的数据,基于该数据,可以方便所述数据管理设备1对获取的各个待备份数据块进行有效地存储管理。
优选地,所述压缩数据相关信息包括:压缩数据信息对应的数据提供设备信息;压缩数据信息对应的数据提供设备的目标磁盘信息;压缩数据信息在目标磁盘中的磁盘位置信息;压缩数据信息对应的数据大小信息。
具体地,基于所述压缩数据信息对应的数据提供设备信息、压缩数据信息对应的数据提供设备的目标磁盘信息和压缩数据信息在目标磁盘中的磁盘位置信息可以匹配对应的具体数据块,从而可以方便所述数据管理设备1对获取的各个待备份数据块进行有效地存储管理。优选地,基于所述压缩数据相关信息,我们可以对所述快照信息的索引信息进行设置,例如,基于压缩数据信息对应的所述数据提供设备信息、或所述目标磁盘信息、或所述磁盘位置信息,与所述数据管理设备1中实际备份数据的磁盘存储位置之间建立映射,以此映射作为所述索引信息的主要内容,从而方便相应的快照查询及数据的读取。进一步,当所述数据管理设备1获取了一个第一数据块,基于该数据块的各个压缩数据相关信息,可以查询所述第一数据块是否曾经被存储,若是曾经存储过,则查询出相应的已存储信息,同时基于已存储的存储位置信息,将最新的所述第一数据块进行存储,例如,新旧第一数据块依次存储在相邻位置;若是查询结果是所述第一数据块未曾存储,则基于所述第一数据块在所述数据管理设备1中第一数据块的压缩数据信息对应的数据大小信息,为所述第一数据块分配新的第一存储空间。
在此,本领域技术人员应能理解,上述压缩数据相关信息仅为举例,其他现有的或今后可能出现的压缩数据相关信息如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述压缩数据信息包括实际使用数据块中的预定数据,其中,所述预定数据包括用预定标识替换的所述数据块中的数据。
具体地,在此,所述数据管理设备1获取的全盘数据仅包含目标磁盘中实际使用的数据块,而获取的第一数据块、第二数据块因为是所述目标磁盘中产生变更的数据块,所以可以推定其也是正在实际使用的数据。在此,优选地,上述各个数据块中包含着用预定标识替换所述数据块中相应数据得到的预定数据。所述预定数据相比于数据块中原有的被替换数据占用空间要小的多,优选地,所述预定标识可以只包含若干个字节,并没有实际意义,只是能够对应指代被替换数据即可,例如,将一长串0的数据,替代为若干个字节。由此,可以通过所述预定数据实现第一数据块的数据量的压缩,从而减少设备间的数据传输量,进一步,还可以节约后续所述数据管理设备1为所述各个数据块分配的存储空间。
优选地,在步骤S401中,所述数据管理设备1基于所述预定数据和所述第一数据块中的其他数据,为所述第一数据块分配对应的第一存储空间。
具体地,所述第一数据块对应的压缩数据信息中包括所述预定数据,优选地,还可以同时包含未经过压缩处理的其他数据。结合所述第一压缩数据包中的压缩数据相关信息,为所述第一数据块分配相应的存储位置、相应大小的存储空间。在此,优选地,不需要对所述第一数据块的压缩数据信息进行解压缩或还原,而是直接以第一压缩数据包的形式进行存储,其中,直接基于所述压缩数据信息中所述预定数据和其他数据大小、压缩数据相关信息的大小,分配相应的第一存储空间,在此,由于预定数据的大小相比于其所替换的第一数据块中的原始数据要小的多,所以有效地节约了所述数据管理设备1中可用的存储空间。
图5示出根据本申请一个优选实施例的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图。
其中,在步骤S402'中,所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;在步骤S401'中,所述数据管理设备1基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;在步骤S403'中,所述数据管理设备1基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息;在步骤S404'中,所述数据提供设备2发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;在步骤S405'中,所述数据管理设备1基于所述目标快照信息获取指令,确定目标快照信息;在步骤S407'中,所述数据管理设备1创建用于呈现所述目标快照信息的第一虚拟存储装置;在步骤S409'中,所述数据管理设备1向所述数据提供设备2返回所述第一虚拟存储装置创建成功信息。
在此,所述步骤S402”、步骤S401'、步骤S403'与图4中示出的步骤S402步骤S401、步骤S403内容分别相同或基本相同,故在此不再赘述,并以引用的方式包含于此。
具体地,在步骤S404'中,所述数据提供设备2发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息。在此,当数据提供设备希望获得所述数据管理设备1中备份的目标磁盘中的目标数据时,可以先确定目标数据对应的目标快照信息,再基于具体的目标快照信息,请求所述目标数据。在此,由于目标快照信息的对象是目标磁盘中更新的一个或多个数据块,所以,优选地,所述数据提供设备2发送的目标快照信息获取指令包含目标数据所在的目标数据块信息,以及希望数据恢复对应的目标快照时间信息。在此,具体地,例如,可以设置默认所述目标数据块信息包括全盘数据中全部数据块的信息,以保证所述目标快照信息呈现的可选信息尽量丰富;又如,所述目标数据块信息也可以只包含部分数据块、甚至是某一个具体数据块信息,由此,可以结合最终目标数据的需要,精准地定位所述目标数据信息,减省数据资源消耗。
接着,在步骤S405'中,所述数据提供设备1基于所述目标快照信息获取指令,确定目标快照信息。在此,所述数据提供设备2提交的目标快照时间信息可以是参考已有的快照时间信息统计数据进行选择,或者直接可以是任意的历史时间,此时,在该时间点上,可能正好有所述目标数据块对应的最新的快照信息;又或是,有最新的快照信息,但该快照信息并不包含所述目标数据块;又或是,在该时间点上,并没有任何数据块的最新的快照信息,此时可以基于一定的选择策略,为所述数据提供设备2确定能够满足、或是最能够接近所述目标快照信息获取指令的目标快照信息。
接着,在步骤S407'中,所述数据提供设备1创建用于呈现所述目标快照信息的第一虚拟存储装置。在此,可以将确定的所述目标快照信息发送至所述数据提供设备1,并以硬盘方式直接展现,再在所述数据提供设备1中直接获得用户的目标数据选择。此外,优选地,为了所述数据管理设备1能够更加高效、快速地通过所述目标快照信息的索引信息找到存储在数据管理设备1中的备份的目标数据,实际应用中,可以直接基于所述目标快照信息,建立所述数据管理设备1对应的第一虚拟存储装置,例如虚拟磁盘,将所述目标快照信息以硬盘方式直接在所述数据管理设备端呈现,再在后续,接收所述数据提供设备2对所呈现的目标快照信息中对应的具体目标数据的请求。此外,将所述目标快照信息呈现在所述第一虚拟存储装置中,还可以将所述目标快照数据转换成相应的虚拟机磁盘文件,从而可以实现在所述数据提供设备2之外的其他第三方设备,如虚拟机上实现目标数据的备份恢复。
接着,在步骤S409'中,所述数据提供设备1向所述数据提供设备返回所述第一虚拟存储装置创建成功信息,以响应所述数据提供设备2发送的目标快照信息获取指令。
在此,所述数据管理设备1可以基于所述数据提供设备2发出的所述目标快照信息获取指令准确地确定所述数据提供设备2所需要的目标数据对应的目标快照信息。同时基于所述第一虚拟存储装置的设置,可以在不影响数据管理设备1正常数据管理操作的情况下,及时、快速地响应所述数据提供设备2的需要。
优选地,在所述数据管理设备1中,所述基于所述目标快照信息获取指令,确定目标快照信息包括:结合预设的选择策略,基于所述目标数据块信息和所述目标快照时间信息,确定目标数据块在优选快照创建时间生成的目标快照信息,其中,所述优选快照创建时间早于或等于所述目标快照时间信息。
具体地,在此,所述数据提供设备2提交的目标快照时间信息可以是任意的历史时间。所述目标快照信息获取指令包括所述目标数据块信息和所述目标快照时间信息。所述优选的选择策略的举例如下:所述全盘数据包含数据块A、B、C,若所述数据管理设备1在T1时间仅创建了有全盘数据的快照信息A1.B1.C1,及之后T2时间仅创建了数据块A的快照信息A2,及再后来T3时间仅创建了数据块B的快照信息B2。此时,第一种情况:若是所述目标数据块信息为数据块B,所述目标快照时间是T3时间,则可直接确定所述快照B2即为所述目标快照信息;第二种情况:若是所述目标数据块信息为数据块A,所述目标快照时间是T3时间,此时,由于在T3时间,只有数据块B的快照信息B2,则优选地,继续向前查询,在最近的时间T2,匹配到了数据块A的快照信息A2,则将此确定为所述目标快照信息;第三种情况:若是所述目标数据块信息为数据块C,所述目标快照时间是T3时间,则T3时间没有相应数据块C的快照信息,再查询相近的时间T2,依然没有数据块C的快照信息,继续向前查询,在T1时间查询到了全盘数据的快照信息A1.B1.C1,其中,包含所述数据块C的快照信息,从而,将完整的所述快照信息A1.B1.C1作为所述目标快照信息。在此三种情况下,最终返回的目标快照信息对应的实际快照创建时间,即为所述优选快照创建时间,该优选快照创建时间早于或等于所述目标快照时间信息。
在此,本实施例中基于所述选择策略为所述数据提供设备2提供的目标快照信息,能够较好地满足数据提供设备的备份数据查询或获取需要。
在此,本领域技术人员应能理解,上述选择策略仅为举例,其他现有的或今后可能出现的选择策略如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
图6示出根据本申请又一个优选实施例的一种在数据管理设备端和数据提供设备端用于数据备份管理的方法流程图。
其中,在步骤S402”中,所述数据提供设备2将目标磁盘中发生变更的第一数据块发送至对应数据管理设备1,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;在步骤S401”中,所述数据管理设备1基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;在步骤S403'中,所述数据管理设备1基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息;在步骤S404”中,所述数据提供设备2发送目标快照信息获取指令至所述数据管理设备1,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;在步骤S405”中,所述数据管理设备1基于所述目标快照信息获取指令,确定目标快照信息;在步骤S407”中,所述数据管理设备1创建用于呈现所述目标快照信息的第一虚拟存储装置;在步骤S409”中,所述数据管理设备1向所述数据提供设备2返回所述第一虚拟存储装置创建成功信息。在步骤S406”中,所述数据提供设备2将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备1,其中,所请求的目标数据与所述目标快照信息相匹配;在步骤S411”中,所述数据管理设备1基于所述目标快照信息确定所述目标数据的存储位置信息;在步骤S413”中,所述数据管理设备1将所述目标数据发送至所述数据提供设备2。
在此,所述步骤S402”、步骤S401”、步骤S403”、步骤S404”、步骤S405”、步骤S407”、步骤S409”与图5中示出的所述步骤S402'、步骤S401'、步骤S403'、步骤S404'、步骤S405'、步骤S407'、步骤S409'内容分别相同或基本相同,故在此不再赘述,并以引用的方式包含于此。
具体地,当所述数据管理设备1发送回所述第一虚拟存储装置创建成功信息后,在步骤S406”中,所述数据提供设备2将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备1,其中,所请求的目标数据与所述目标快照信息相匹配。在此,优选地,所述第一虚拟存储装置以虚拟磁盘形式将目标快照信息进行呈现,由此,所述数据提供设备2对应的用户可以基于虚拟磁盘的文件系统,选择所述目标快照信息中包含的全部或部分数据信息。例如,若是目标快照信息是全盘快照,则所述目标数据可以对应为具体的某个数据块、还可以是某个数据块上的具体位置上的数据。接着,在步骤S411”中,所述数据管理设备1基于所述目标快照信息确定所述目标数据的存储位置信息。在此,所述目标数据快照信息的索引信息及指向所述目标数据在所述数据管理设备1中实际的备份位置信息。接着,在步骤S413”中,所述数据管理设备1将所述目标数据发送至所述数据提供设备2。
在此,基于所述数据管理设备1中以第一虚拟存储装置形式呈现的目标快照信息,所述数据提供设备2的用户可以灵活的选择待恢复的目标数据,可以是整个全盘数据,也可以是具体的数据块,甚至是数据块中某个具体位置的数据。从而可以高效地满足了所述数据提供设备的实际恢复数据需要。
优选地,所述方法还包括步骤S412”(未示出),在步骤S412”中,所述数据提供设备2将所述目标数据呈现在所述数据管理设备对应的第二虚拟存储装置中。具体地,在此,所述第二虚拟存储装置包括虚拟磁盘。将所述目标数据在所述第二虚拟存储装置中呈现,可以不影响所述数据提供设备2中原有的磁盘文件系统,可以方便所述数据提供设备2根据实际需要随时读取并操作所述目标数据。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (31)
1.一种在数据管理设备端用于数据备份管理的方法,其中,所述方法包括:
获取对应数据提供设备的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;
基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;
基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。
2.根据权利要求1所述的方法,其中,所述方法还包括:
获取所述目标磁盘的全盘数据,其中,所述全盘数据以全盘压缩数据包的形式进行数据传输;
基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间;
基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。
3.根据权利要求2所述的方法,其中,所述方法还包括:
在获取所述全盘数据的过程中,若所述目标磁盘中的第二数据块发生数据变更,则并行地获取发生变更的所述第二数据块,其中,所述第二数据块以第二压缩数据包的形式进行数据传输;
基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间;
基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
4.根据权利要求1至3中任一项所述的方法,其中,所述第一压缩数据包、所述第二压缩数据包、所述全盘压缩数据包均包含相应的压缩数据信息和压缩数据相关信息。
5.根据权利要求4所述的方法,其中,所述压缩数据相关信息包括:
压缩数据信息对应的数据提供设备信息;
压缩数据信息对应的数据提供设备的目标磁盘信息;
压缩数据信息在目标磁盘中的磁盘位置信息;
压缩数据信息对应的数据大小信息。
6.根据权利要求4或5所述的方法,其中,所述压缩数据信息包括实际使用数据块中的预定数据,其中,所述预定数据包括用预定标识替换的所述数据块中的数据。
7.根据权利要求6所述的方法,其中,所述基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间包括:
基于所述预定数据和所述第一数据块中的其他数据,为所述第一数据块分配对应的第一存储空间。
8.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括:
接收所述数据提供设备发送的目标快照信息获取指令,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;
基于所述目标快照信息获取指令,确定目标快照信息;
创建用于呈现所述目标快照信息的第一虚拟存储装置;
向所述数据提供设备返回所述第一虚拟存储装置创建成功信息。
9.根据权利要求8所述的方法,其中,所述基于所述目标快照信息获取指令,确定目标快照信息包括:
结合预设的选择策略,基于所述目标数据块信息和所述目标快照时间信息,确定目标数据块在优选快照创建时间生成的目标快照信息,其中,所述优选快照创建时间早于或等于所述目标快照时间信息。
10.根据权利要求8或9所述的方法,其中,所述方法还包括:
获取所述数据提供设备发送的目标数据请求,其中,所请求的目标数据与所述目标快照信息相匹配;
基于所述目标快照信息确定所述目标数据的存储位置信息;
将所述目标数据发送至所述数据提供设备。
11.一种在数据提供设备端用于数据备份管理的方法,其中,所述方法包括:
将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
12.根据权利要求11所述的方法,其中,所述方法还包括:
基于所述数据提供设备与所述数据管理设备之间协议的数据替换信息,确定第一数据块中待替换数据;
基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据;
其中,所述将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输包括:
将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。
13.根据权利要求11或12所述的方法,其中,所述方法还包括:
发送目标快照信息获取指令至所述数据管理设备,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;
获取所述数据管理设备返回的所述第一虚拟存储装置创建成功信息。
14.根据权利要求13所述的方法,其中,所述方法还包括:
将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备,其中,所请求的目标数据与所述目标快照信息相匹配;
获取所述网络设备返回的与所述目标数据请求匹配的目标数据。
15.根据权利要求14所述的方法,其中,所述方法还包括:
将所述目标数据呈现在所述数据管理设备对应的第二虚拟存储装置中。
16.一种用于数据备份管理的数据管理设备,其中,所述设备包括:
第一装置,用于获取对应数据提供设备的目标磁盘中发生变更的第一数据块,其中,所述第一数据块以第一压缩数据包的形式进行数据传输;
第二装置,用于基于所述第一压缩数据包,为所述第一数据块分配对应的第一存储空间;
第三装置,用于基于所述第一存储空间对应的存储位置信息,生成所述第一数据块的第一快照信息,其中,所述第一快照信息包含相应的创建时间信息。
17.根据权利要求16所述的设备,其中,所述设备还包括:
第四装置,用于获取所述目标磁盘的全盘数据,其中,所述全盘数据以全盘压缩数据包的形式进行数据传输;
第五装置,用于基于所述全盘压缩数据包,为所述全盘数据分配对应的全盘存储空间;
第六装置,用于基于所述全盘存储空间对应的存储位置信息,生成所述全盘数据的全盘快照信息,其中,所述全盘快照信息对应于相应的创建时间信息。
18.根据权利要求17所述的设备,其中,所述设备还包括:
第七装置,用于在获取所述全盘数据的过程中,若所述目标磁盘中的第二数据块发生数据变更,则并行地获取发生变更的所述第二数据块,其中,所述第二数据块以第二压缩数据包的形式进行数据传输;
第八装置,用于基于所述第二压缩数据包,为所述第二数据块分配对应的第二存储空间;
第九装置,用于基于所述第二存储空间对应的存储位置信息,生成所述第二数据块的第二快照信息,其中,所述第二快照信息包含相应的创建时间信息。
19.根据权利要求16至18中任一项所述的设备,其中,所述第一压缩数据包、所述第二压缩数据包、所述全盘压缩数据包均包含相应的压缩数据信息和压缩数据相关信息。
20.根据权利要求19所述的设备,其中,所述压缩数据相关信息包括:
压缩数据信息对应的数据提供设备信息;
压缩数据信息对应的数据提供设备的目标磁盘信息;
压缩数据信息在目标磁盘中的磁盘位置信息;
压缩数据信息对应的数据大小信息。
21.根据权利要求19或20所述的设备,其中,所述压缩数据信息包括实际使用数据块中的预定数据,其中,所述预定数据包括用预定标识替换的所述数据块中的数据。
22.根据权利要求21所述的设备,其中,所述第二装置用于:
基于所述预定数据和所述第一数据块中的其他数据,为所述第一数据块分配对应的第一存储空间。
23.根据权利要求16至22中任一项所述的设备,其中,所述设备还包括:
第十装置,用于接收所述数据提供设备发送的目标快照信息获取指令,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;
第十一装置,用于基于所述目标快照信息获取指令,确定目标快照信息;
第十二装置,用于创建用于呈现所述目标快照信息的第一虚拟存储装置;
第十三装置,用于向所述数据提供设备返回所述第一虚拟存储装置创建成功信息。
24.根据权利要求23所述的设备,其中,所述基于所述目标快照信息获取指令,确定目标快照信息包括:
结合预设的选择策略,基于所述目标数据块信息和所述目标快照时间信息,确定目标数据块在优选快照创建时间生成的目标快照信息,其中,所述优选快照创建时间早于或等于所述目标快照时间信息。
25.根据权利要求23或24所述的设备,其中,所述设备还包括:
第十四装置,用于获取所述数据提供设备发送的目标数据请求,其中,所请求的目标数据与所述目标快照信息相匹配;
第十五装置,用于基于所述目标快照信息确定所述目标数据的存储位置信息;
第十六装置,用于将所述目标数据发送至所述数据提供设备。
26.一种用于数据备份管理的数据提供设备,其中,所述设备包括:
第十七装置,用于将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输。
27.根据权利要求26所述的设备,其中,所述设备还包括:
第十八装置,用于基于所述数据提供设备与所述数据管理设备之间协议的数据替换信息,确定第一数据块中待替换数据;
第十九装置,用于基于所述数据替换信息,将所述待替换数据替代为具有预定标识的预定数据;
其中,所述第十七装置用于:
将目标磁盘中发生变更的第一数据块发送至对应数据管理设备,其中,所述第一数据块以第一压缩数据包的形式进行数据传输,且所述第一压缩数据包包含所述预定数据。
28.根据权利要求26或27所述的设备,其中,所述设备还包括:
第二十装置,用于发送目标快照信息获取指令至所述数据管理设备,其中,所述目标快照信息获取指令包含目标数据块信息和目标快照时间信息;
第二十一装置,用于获取所述数据管理设备返回的所述第一虚拟存储装置创建成功信息。
29.根据权利要求28所述的设备,其中,所述设备还包括:
第二十二装置,用于将关于所述第一虚拟存储装置的目标数据请求发送至所述数据管理设备,其中,所请求的目标数据与所述目标快照信息相匹配;
第二十三装置,用于获取所述数据管理设备返回的与所述目标数据请求匹配的目标数据。
30.根据权利要求29所述的设备,其中,所述设备还包括:
第二十四装置,用于将所述目标数据呈现在所述数据管理设备对应的第二虚拟存储装置中。
31.一种用于数据备份管理的系统,包括如权利要求16至25中任一项所述的数据管理设备、以及如权利要求26至30中任一项所述的数据提供设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510599579.2A CN105162869B (zh) | 2015-09-18 | 2015-09-18 | 一种用于数据备份管理的方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510599579.2A CN105162869B (zh) | 2015-09-18 | 2015-09-18 | 一种用于数据备份管理的方法与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105162869A true CN105162869A (zh) | 2015-12-16 |
CN105162869B CN105162869B (zh) | 2019-01-18 |
Family
ID=54803621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510599579.2A Active CN105162869B (zh) | 2015-09-18 | 2015-09-18 | 一种用于数据备份管理的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105162869B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776147A (zh) * | 2016-12-29 | 2017-05-31 | 华为技术有限公司 | 一种差异数据备份方法和差异数据备份装置 |
CN107391023A (zh) * | 2016-05-16 | 2017-11-24 | 深圳市中兴微电子技术有限公司 | 一种多通道数据存储器及其存取方法及装置 |
CN109660611A (zh) * | 2018-12-10 | 2019-04-19 | 浪潮(北京)电子信息产业有限公司 | 一种云备份的数据存储方法及存储系统的数据云备份方法 |
CN111913832A (zh) * | 2019-05-10 | 2020-11-10 | 杭州信核数据科技股份有限公司 | 一种数据备份方法和数据备份设备 |
CN112579357A (zh) * | 2020-12-23 | 2021-03-30 | 苏州三六零智能安全科技有限公司 | 快照差量获取方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1752939A (zh) * | 2004-09-22 | 2006-03-29 | 微软公司 | 用于综合备份和恢复的方法和系统 |
CN102148822A (zh) * | 2011-01-24 | 2011-08-10 | 辽宁国兴科技有限公司 | 一种异地在线数据容灾的系统 |
US20140365440A1 (en) * | 2013-06-05 | 2014-12-11 | Avaya Inc. | High availability snapshot core |
CN102594849B (zh) * | 2011-01-06 | 2015-05-20 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
-
2015
- 2015-09-18 CN CN201510599579.2A patent/CN105162869B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1752939A (zh) * | 2004-09-22 | 2006-03-29 | 微软公司 | 用于综合备份和恢复的方法和系统 |
CN102594849B (zh) * | 2011-01-06 | 2015-05-20 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
CN102148822A (zh) * | 2011-01-24 | 2011-08-10 | 辽宁国兴科技有限公司 | 一种异地在线数据容灾的系统 |
US20140365440A1 (en) * | 2013-06-05 | 2014-12-11 | Avaya Inc. | High availability snapshot core |
Non-Patent Citations (2)
Title |
---|
唐仲明等: "《农村信息员》", 31 July 2014 * |
谢友宁等: "《电子政务战略与安全管理》", 31 December 2014 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391023A (zh) * | 2016-05-16 | 2017-11-24 | 深圳市中兴微电子技术有限公司 | 一种多通道数据存储器及其存取方法及装置 |
CN107391023B (zh) * | 2016-05-16 | 2021-01-22 | 深圳市中兴微电子技术有限公司 | 一种多通道数据存储器及其存取方法及装置 |
CN106776147A (zh) * | 2016-12-29 | 2017-05-31 | 华为技术有限公司 | 一种差异数据备份方法和差异数据备份装置 |
CN106776147B (zh) * | 2016-12-29 | 2020-10-09 | 华为技术有限公司 | 一种差异数据备份方法和差异数据备份装置 |
CN109660611A (zh) * | 2018-12-10 | 2019-04-19 | 浪潮(北京)电子信息产业有限公司 | 一种云备份的数据存储方法及存储系统的数据云备份方法 |
CN109660611B (zh) * | 2018-12-10 | 2021-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种云备份的数据存储方法及存储系统的数据云备份方法 |
CN111913832A (zh) * | 2019-05-10 | 2020-11-10 | 杭州信核数据科技股份有限公司 | 一种数据备份方法和数据备份设备 |
CN112579357A (zh) * | 2020-12-23 | 2021-03-30 | 苏州三六零智能安全科技有限公司 | 快照差量获取方法、装置、设备及存储介质 |
CN112579357B (zh) * | 2020-12-23 | 2022-11-04 | 苏州三六零智能安全科技有限公司 | 快照差量获取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105162869B (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103875229B (zh) | 异步复制方法、装置与系统 | |
CN111182067B (zh) | 一种基于星际文件系统ipfs的数据写入方法及设备 | |
CN103067525B (zh) | 一种基于特征码的云存储数据备份方法 | |
CN102202087B (zh) | 一种标识存储设备的方法及系统 | |
CN103186554A (zh) | 分布式数据镜像方法及存储数据节点 | |
CN111399764B (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
CN105162869A (zh) | 一种用于数据备份管理的方法与设备 | |
CN112947856B (zh) | 一种内存数据的管理方法、装置、计算机设备及存储介质 | |
CN104636286A (zh) | 用于数据访问的方法和设备 | |
CN104866430A (zh) | 结合主从备份和纠删码的内存计算系统高可用优化方法 | |
CN109491832A (zh) | 数据容灾方法与站点 | |
CN111949210A (zh) | 分布式存储系统中元数据存储方法、系统及存储介质 | |
CN112783445A (zh) | 数据存储方法、装置、系统、电子设备及可读存储介质 | |
CN105653209A (zh) | 一种对象存储数据传输方法及装置 | |
EP3745284A1 (en) | Model parameter fusion method and apparatus | |
CN109542684A (zh) | 一种存储远程复制方法、装置、设备及存储介质 | |
CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
CN103259824B (zh) | 分布式数据存储系统中数据路由的同步方法和装置 | |
CN102340544B (zh) | 升级文件包下载方法和设备 | |
CN105450733A (zh) | 一种业务数据分发处理方法及系统 | |
CN112328697A (zh) | 一种基于大数据的数据同步方法 | |
CN105262796A (zh) | 一种云平台存储资源管理系统及其部署框架 | |
CN104486215A (zh) | 一种消息发送方法及设备 | |
CN113504878A (zh) | 文件写入方法及装置、存储介质及电子装置 | |
CN113542013A (zh) | 虚拟化网络功能管理消息分配方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |