CN103618765A - 一种远程复制方法、装置、备份端设备及系统 - Google Patents

一种远程复制方法、装置、备份端设备及系统 Download PDF

Info

Publication number
CN103618765A
CN103618765A CN201310558101.6A CN201310558101A CN103618765A CN 103618765 A CN103618765 A CN 103618765A CN 201310558101 A CN201310558101 A CN 201310558101A CN 103618765 A CN103618765 A CN 103618765A
Authority
CN
China
Prior art keywords
metadata
opposite equip
difference
file
remote copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310558101.6A
Other languages
English (en)
Other versions
CN103618765B (zh
Inventor
叶林睿
宁宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310558101.6A priority Critical patent/CN103618765B/zh
Publication of CN103618765A publication Critical patent/CN103618765A/zh
Application granted granted Critical
Publication of CN103618765B publication Critical patent/CN103618765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种远程复制方法、装置、备份端设备及系统,其中方法包括:读取重删后的文件;若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过第一差异数据;若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备所确定的第二差异元数据,根据所述第二差异元数据将第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。本发明实施例提升了远程复制的性能。

Description

一种远程复制方法、装置、备份端设备及系统
技术领域
本发明涉及数据复制技术领域,更具体地说,涉及一种远程复制方法、装置、备份端设备及系统。
背景技术
远程复制是一种高性能的数据备份和容灾恢复技术,目前主要基于重复数据删除(重删)技术实现的远程复制。重删技术可在某个时间周期内查找不同文件中不同位置的重复可变大小的数据块,将其中重复的数据块用指示符取代,从而使得高度冗余的数据集在存储系统中所占用的存储量大幅减小。
现有基于重删技术实现的远程复制的方式主要为:将数据流划分为一个个区域,每个区域生成一个标记符,通过比较区域标记符来确定本区域是否与另一个区域的数据相似,将相似区域中的一个区域相对于另一个区域的新增数据进行增量压缩,同时删除相似区域的重复数据,将重删后的数据和新增数据传输给需要所述对端设备,从而在减少数据传输量的基础上实现远程复制。
发明人在实现本发明的过程中发现:现有基于重删技术实现的远程复制的方式并没有考虑不同带宽大小、不同远程复制文件大小对远程复制的性能所带来的影响,即没有根据带宽大小和需要远程复制文件的大小进行自适应的远程复制所需的数据的传输,远程复制的性能有限。比如在带宽不足,需要进行远程复制的文件较大时,现有技术很容易导致带宽拥堵,导致进行远程复制的数据传输的迟缓,影响远程复制所需时间,降低了远程复制的效率;而在带宽充足,需要进行远程复制的文件较小时很容易导致带宽的浪费,无法进一步提高远程复制的性能。
发明内容
有鉴于此,本发明实施例提供一种远程复制方法、装置、备份端设备及系统,以解决现有技术没有考虑不同带宽大小、不同远程复制文件大小对远程复制的性能所带来的影响的问题。
为实现上述目的,本发明实施例提供如下技术方案:
第一方面,本发明实施例提供一种远程复制方法,包括:
读取重删后的文件;
若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
结合第一方面,在第一方面的第一种可能的实现方式中,所述通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据包括:
将所述元数据对应的指纹与本地缓存的远程指纹表中缓存的指纹进行比对,确定所述元数据对应的指纹与所述远程指纹表中缓存的指纹的第一差异指纹,所述第一差异指纹对应的数据块为第一差异数据;
其中,所述远程指纹表中存储有已复制到所述对端设备且在所述对端设备所存储的数据块中为重复数据块的指纹。
结合第一方面,在第一方面的第二种可能的实现方式中,所述接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据包括:
在所述对端设备将所述第一差异元数据的指纹与所述对端设备已复制数据块的指纹进行比对,确定第二差异指纹后,接收所述第二差异指纹对应的第二差异元数据。
结合第一方面,在第一方面的第三种可能的实现方式中,所述方法还包括:
若网络带宽大于预设带宽限值,且所述文件的大小小于预设文件限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制。
结合第一方面,在第一方面的第四种可能的实现方式中,所述方法还包括:
若网络带宽不大于预设带宽限值,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
结合第一方面,在第一方面的第五种可能的实现方式中,所述方法还包括:
若所述网络带宽为定值,且所述文件的大小小于预设文件限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
若所述网络带宽为定值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述文件的大小为定值,且所述网络带宽小于预设带宽限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
若所述文件的大小为定值,且所述网络带宽大于预设带宽限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制。
第二方面,本发明实施例还提供一种远程复制装置,包括:
重删文件读取模块,用于读取重删后的文件;
第一差异数据确定模块,用于在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
第一远程复制实现模块,用于在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
第二远程复制实现模块,用于在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
第三方面,本发明实施例还提供一种备份端设备,包括上述所述的远程复制装置。
第四方面,本发明实施例还提供一种远程复制系统,包括:备份端设备和容灾端设备;
所述备份端设备,用于读取重删后的文件;在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的容灾端设备已复制数据块的第一差异数据;在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述容灾端设备,以便所述容灾端设备实现远程复制;在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述容灾端设备,接收所述容灾端设备通过所述第一差异元数据所确定的所述第一差异数据与所述容灾端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述容灾端设备,以便所述容灾端设备实现远程复制;
所述容灾端设备,用于在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小小于预设差异限值时,接收所述备份端设备发送的所述第一差异数据与所述元数据,以实现远程复制;在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小不小于所述预设差异限值时,接收所述第一差异元数据,通过所述第一差异元数据确定所述第一差异数据与所述容灾端设备已复制数据块的第二差异数据所对应的第二差异元数据,将所述第二差异元数据发送至所述备份端设备,接收所述备份端设备根据所述第二差异元数据所发送的所述第二差异数据,实现远程复制。
第五方面,本发明实施例还提供一种备份端设备,包括:处理器,通信接口,存储器和通信总线;
其中所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述处理器,用于执行程序;
所述存储器,用于存放程序;
其中程序用于:
读取重删后的文件;
若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
基于上述技术方案,本发明实施例提供的远程复制方法预先设定预设带宽限值,预设文件限值及预设差异限值,可根据网络带宽的大小,所读取的重删后的文件的大小,及第一差异数据的大小选择对应的传输到对端设备的数据进行远程复制,从而对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的远程复制方法的流程图;
图2为本发明实施例提供的远程复制方法的另一流程图;
图3为本发明实施例提供的远程复制装置的结构框图;
图4为本发明实施例提供的第一差异数据确定模块的结构框图;
图5为本发明实施例提供的第二远程复制实现模块的结构框图;
图6为本发明实施例提供的远程复制装置的另一结构框图;
图7为本发明实施例提供的远程复制系统的结构框图;
图8为本发明实施例提供的备份端设备的硬件结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的远程复制方法的流程图,该方法可应用于需要将数据进行远程复制的设备,如备份端设备,参照图1,该方法可以包括:
步骤S100、读取重删后的文件;
在本发明实施例中重删后的文件可以是一条条元数据的记录信息,元数据可以是对用户数据重删后的描述信息,用户在读取重删后的文件时可以根据重删后的文件里的元数据信息读取到元数据对应的数据块。
步骤S110、若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
可选的,对端设备可以是对数据进行远程复制的设备,如容灾端设备;在本发明实施例中需要将数据进行远程复制的设备,如备份端设备可在本地缓存远程指纹表,该远程指纹表中缓存有已复制到所述对端设备且在所述对端设备所存储的数据块中为重复数据块的指纹;即备份端设备本地所缓存的远程指纹表中存储的指纹满足以下条件:指纹对应的数据块已复制到容灾端设备,并且该数据块在容灾端设备的查重结果为重复数据块。其中,指纹是重删后的用户数据的每个数据块对应的独一无二的具有唯一性的数值。
可选的,在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,本发明实施例可读取所述文件对应的元数据,将所述元数据对应的指纹与本地缓存的远程指纹表中存储的指纹进行比对(本地缓存的远程指纹表中存储的指纹即为已复制到对端设备,并在对端设备的查重结果为重复数据块的指纹),确定所述元数据对应的指纹与所述远程指纹表中存储的指纹的第一差异指纹,所述第一差异指纹对应的数据块为第一差异数据。值得注意的是,第一差异指纹是指元数据对应的指纹与所述远程指纹表中存储的指纹相比,所具有的差异指纹;第一差异数据是指所述元数据对应的数据块与对端设备已复制数据块相比,所具有的差异数据;由于指纹是数据块对应的唯一性的数值,相同的指纹表示的数据块必然相同,因此第一差异指纹对应的数据块即为第一差异数据,通过所述元数据对应的指纹与本地缓存的远程指纹表中存储的指纹进行比对,确定第一差异指纹,进而即可确定第一差异数据,即第一差异指纹对应的数据块。
可选的,通过所述元数据对应的指纹与本地缓存的远程指纹表中存储的指纹进行比对,确定第一差异指纹可认为是查重过程(查找重复数据的过程),本发明实施例可在查重之前,在需要将数据进行远程复制的设备处将数据进行分块并且计算出各数据块对应的指纹,这样查重的结果即可包括需要的差异指纹,从而根据差异指纹即可得出差异数据。
步骤S120、若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
可选的,实现远程复制的过程主要是构建文件,进行数据的写盘操作;构建文件的过程可以认为是把元数据按照数据块的顺序写入重删后的文件中的过程。本发明实施例可根据差异数据与所述元数据构建文件,从而通过所构建的文件读取文件中的元数据对应的数据块,从而实现数据的写盘操作,完成远程复制。
步骤S130、若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
在本地确定第一差异数据后,即在本地确定所述元数据对应的数据块与对端设备已复制数据块的差异数据后,可将第一差异数据对应的元数据(即第一差异元数据)发送至对端设备;从而在对端设备处,对端设备可将第一差异元数据的指纹与所述对端设备已复制数据块的指纹进行比对,确定出第二差异指纹(即第一差异元数据的指纹与对端设备已复制数据块的指纹相比对后,所具有的差异指纹)后,向需要将数据进行远程复制的设备返回第二差异指纹对应的元数据(即第二差异元数据);需要将数据进行远程复制的设备在接收到第二差异元数据后,可将第二差异元数据对应的数据块(即第二差异数据)发送至所述对端设备,对端设备可根据第二差异数据与元数据构建文件,实现远程复制。
值得注意的是,预设带宽限值的大小,预设文件限值的大小,预设差异限值的大小可根据实际使用情况设定调整,本发明实施例并不限制预设带宽限值、预设文件限值与预设差异限值的具体数值。
本发明实施例提供的远程复制方法预先设定预设带宽限值,预设文件限值及预设差异限值,可根据网络带宽的大小,所读取的重删后的文件的大小,及第一差异数据的大小选择对应的传输到对端设备的数据进行远程复制,从而对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
图2为本发明实施例提供的远程复制方法的另一流程图,该方法可应用于需要将数据进行远程复制的设备,如备份端设备,参照图2,该方法可以包括:
步骤S200、读取重删后的文件;
步骤S210、判断网络带宽是否大于预设带宽限值,若是,执行步骤S220,若否,执行步骤S280;
步骤S220、判断所述文件的大小是否大于预设文件限值,若是,执行步骤S230,若否,执行步骤S270;
步骤S230、读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据;
步骤S240、判断所述第一差异数据的大小是否小于预设差异限值,若是,执行步骤S250,若否,执行步骤S260;
判断结果为否,表明第一差异数据的大小不小于所述预设差异限值。
步骤S250、将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
步骤S260、将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
步骤S270、将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
步骤S280、若网络带宽不大于预设带宽限值,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
其中,第三差异数据是指所述元数据对应的数据块与所述对端设备已复制数据块相比,所具有的差异数据;第三差异元数据为第三差异数据对应的元数据;可选的,可将所述元数据对应指纹与对端设备已复制数据块的指纹进行比对,得出差异指纹后,通过差异指纹确定差异数据(即第三差异数据),确定差异元数据(即第三差异元数据)。
结合图2所示,可知本发明实施例在网络带宽大于预设带宽限值,且所述文件的大小小于预设文件限值时,可将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;在网络带宽不大于预设带宽限值时,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
可选的,在网络带宽为定值时,即网络带宽处于不变的情况下时,本发明实施例可根据所读取的重删后的文件的大小选择传输到对端设备的进行远程复制的数据;具体的,在所述网络带宽为定值,且所述文件的大小小于预设文件限值时,可将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;在所述网络带宽为定值,且所述文件的大小大于预设文件限值时,可读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
可选的,在所读取的重删后的文件的大小为定值时,即所读取的重删后的文件的大小处于不变的情况下时,本发明实施例可根据网络带宽的大小选择传输到对端设备的进行远程复制的数据;具体的,在所读取的重删后的文件的大小为定值,且所述网络带宽小于预设带宽限值时,可将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;在所读取的重删后的文件的大小为定值,且所述网络带宽大于预设带宽限值时,可读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制。可选的,可通过所述元数据对应的指纹与本地缓存的远程指纹表中缓存的指纹进行比对,确定第一差异指纹,进而即可确定第一差异数据。
本发明实施例提供的远程复制方法可对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
下面对本发明实施例提供的远程复制装置进行介绍,下文描述的远程复制装置与上文描述的远程复制方法相对应,可相互参照。
图3为本发明实施例提供的远程复制装置的结构框图,该装置可应用于需要将数据进行远程复制的设备,如备份端设备,参照图3,该远程复制装置可以包括:
重删文件读取模块100,用于读取重删后的文件;
第一差异数据确定模块200,用于在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
第一远程复制实现模块300,用于在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
第二远程复制实现模块400,用于在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
本发明实施例提供的远程复制装置预先设定预设带宽限值,预设文件限值及预设差异限值,可根据网络带宽的大小,所读取的重删后的文件的大小,及第一差异数据的大小选择对应的传输到对端设备的数据进行远程复制,从而对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
图4为本发明实施例提供的第一差异数据确定模块200的结构框图,参照图4,第一差异数据确定模块200可以包括:
第一指纹比对模块210,用于将所述元数据对应的指纹与本地缓存的远程指纹表中缓存的指纹进行比对,其中,所述远程指纹表中存储有已复制到所述对端设备且在所述对端设备所存储的数据块中为重复数据块的指纹;
第一差异指纹确定模块220,用于确定所述元数据对应的指纹与所述远程指纹表中缓存的指纹的第一差异指纹,所述第一差异指纹对应的数据块为第一差异数据。
图5为本发明实施例提供的第二远程复制实现模块400的结构框图,参照图5,第二远程复制实现模块400可以包括:
第二差异元数据接收模块410,用于在所述对端设备将所述第一差异元数据的指纹与所述对端设备已复制数据块的指纹进行比对,确定第二差异指纹后,接收所述第二差异指纹对应的第二差异元数据。
图6为本发明实施例提供的远程复制装置的另一结构框图,结合图3和图6所示,该远程复制装置还可以包括:
第三远程复制实现模块500,用于在网络带宽大于预设带宽限值,且所述文件的大小小于预设文件限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第四远程复制实现模块600,用于在网络带宽不大于预设带宽限值时,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
第五远程复制实现模块700,用于在所述网络带宽为定值,且所述文件的大小小于预设文件限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第六远程复制实现模块800,用于在所述网络带宽为定值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
第七远程复制实现模块900,用于在所述文件的大小为定值,且所述网络带宽小于预设带宽限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第八远程复制实现模块1000,用于在所述文件的大小为定值,且所述网络带宽大于预设带宽限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制。
本发明实施例提供的远程复制装置可对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
本发明实施例还提供一种备份端设备,包括上述所述远程复制装置。
下面对本发明实施例提供的远程复制系统进行介绍,值得注意的是,下面描述的远程复制系统与上文描述的远程复制方法具有相互对应的部分,两者可相互参照。
图7为本发明实施例提供的远程复制系统的结构框图,参照图7,该远程复制系统可以包括:备份端设备10和容灾端设备20;
其中,备份端设备10,用于读取重删后的文件;在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的容灾端设备20已复制数据块的第一差异数据;在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述容灾端设备20,以便所述容灾端设备20实现远程复制;在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述容灾端设备20,接收所述容灾端设备20通过所述第一差异元数据所确定的所述第一差异数据与所述容灾端设备20已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述容灾端设备20,以便所述容灾端设备20实现远程复制;
容灾端设备20,用于在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小小于预设差异限值时,接收所述备份端设备10发送的所述第一差异数据与所述元数据,以实现远程复制;在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小不小于所述预设差异限值时,接收所述第一差异元数据,通过所述第一差异元数据确定所述第一差异数据与所述容灾端设备20已复制数据块的第二差异数据所对应的第二差异元数据,将所述第二差异元数据发送至所述备份端设备10,接收所述备份端设备10根据所述第二差异元数据所发送的所述第二差异数据,实现远程复制。
本发明实施例提供的远程复制系统可对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
本发明实施例还提供一种备份端设备,图8示出了该备份端设备的硬件结构图,值得注意的是,下面对备份端设备的硬件功能进行描述时,涉及到远程复制方法流程的部分可与上文描述的远程复制方法相对应参照,参照图8,该备份端设备可以包括:处理器1,通信接口2,存储器3和通信总线4;
其中处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
可选的,通信接口2可以为通信模块的接口,如GSM模块的接口;
处理器1,用于执行程序;
存储器3,用于存放程序;
程序可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,程序可具体用于:
读取重删后的文件;
若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
本发明实施例可对不同网络带宽大小、不同远程复制文件大小下的远程复制性能进行优化;同时,本发明实施例可在远程复制情境下的元数据交互阶段,对网络带宽进行合理的利用,提高了远程复制的性能。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种远程复制方法,其特征在于,包括:
读取重删后的文件;
若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
2.根据权利要求1所述的方法,其特征在于,所述通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据包括:
将所述元数据对应的指纹与本地缓存的远程指纹表中缓存的指纹进行比对,确定所述元数据对应的指纹与所述远程指纹表中缓存的指纹的第一差异指纹,所述第一差异指纹对应的数据块为第一差异数据;
其中,所述远程指纹表中存储有已复制到所述对端设备且在所述对端设备所存储的数据块中为重复数据块的指纹。
3.根据权利要求1所述的方法,其特征在于,所述接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据包括:
在所述对端设备将所述第一差异元数据的指纹与所述对端设备已复制数据块的指纹进行比对,确定第二差异指纹后,接收所述第二差异指纹对应的第二差异元数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若网络带宽大于预设带宽限值,且所述文件的大小小于预设文件限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若网络带宽不大于预设带宽限值,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述网络带宽为定值,且所述文件的大小小于预设文件限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
若所述网络带宽为定值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述文件的大小为定值,且所述网络带宽小于预设带宽限值,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
若所述文件的大小为定值,且所述网络带宽大于预设带宽限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制。
7.一种远程复制装置,其特征在于,包括:
重删文件读取模块,用于读取重删后的文件;
第一差异数据确定模块,用于在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
第一远程复制实现模块,用于在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
第二远程复制实现模块,用于在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
8.根据权利要求7所述的装置,其特征在于,所述第一差异数据确定模块包括:
第一指纹比对模块,用于将所述元数据对应的指纹与本地缓存的远程指纹表中缓存的指纹进行比对,其中,所述远程指纹表中存储有已复制到所述对端设备且在所述对端设备所存储的数据块中为重复数据块的指纹;
第一差异指纹确定模块,用于确定所述元数据对应的指纹与所述远程指纹表中缓存的指纹的第一差异指纹,所述第一差异指纹对应的数据块为第一差异数据。
9.根据权利要求7所述的装置,其特征在于,所述第二远程复制实现模块包括:
第二差异元数据接收模块,用于在所述对端设备将所述第一差异元数据的指纹与所述对端设备已复制数据块的指纹进行比对,确定第二差异指纹后,接收所述第二差异指纹对应的第二差异元数据。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述装置还包括:
第三远程复制实现模块,用于在网络带宽大于预设带宽限值,且所述文件的大小小于预设文件限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第四远程复制实现模块,用于在网络带宽不大于预设带宽限值时,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
第五远程复制实现模块,用于在所述网络带宽为定值,且所述文件的大小小于预设文件限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第六远程复制实现模块,用于在所述网络带宽为定值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,将所述元数据发送至所述对端设备,接收所述对端设备所确定的所述元数据对应的数据块与所述对端设备已复制数据块的第三差异数据对应的第三差异元数据,根据所述第三差异元数据将所述第三差异数据发送至所述对端设备,以便所述对端设备实现远程复制;
第七远程复制实现模块,用于在所述文件的大小为定值,且所述网络带宽小于预设带宽限值时,将所述文件发送至所述对端设备,以便所述对端设备实现远程复制;
第八远程复制实现模块,用于在所述文件的大小为定值,且所述网络带宽大于预设带宽限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与所述对端设备已复制数据块的第一差异数据,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制。
11.一种备份端设备,其特征在于,包括权利要求7-10任一项所述的远程复制装置。
12.一种远程复制系统,其特征在于,包括:备份端设备和容灾端设备;
所述备份端设备,用于读取重删后的文件;在网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值时,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的容灾端设备已复制数据块的第一差异数据;在所述第一差异数据的大小小于预设差异限值时,将所述第一差异数据与所述元数据发送至所述容灾端设备,以便所述容灾端设备实现远程复制;在所述第一差异数据的大小不小于所述预设差异限值时,将所述第一差异数据对应的第一差异元数据发送至所述容灾端设备,接收所述容灾端设备通过所述第一差异元数据所确定的所述第一差异数据与所述容灾端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述容灾端设备,以便所述容灾端设备实现远程复制;
所述容灾端设备,用于在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小小于预设差异限值时,接收所述备份端设备发送的所述第一差异数据与所述元数据,以实现远程复制;在网络带宽大于预设带宽限值,所述文件的大小大于预设文件限值,且所述第一差异数据的大小不小于所述预设差异限值时,接收所述第一差异元数据,通过所述第一差异元数据确定所述第一差异数据与所述容灾端设备已复制数据块的第二差异数据所对应的第二差异元数据,将所述第二差异元数据发送至所述备份端设备,接收所述备份端设备根据所述第二差异元数据所发送的所述第二差异数据,实现远程复制。
13.一种备份端设备,其特征在于,包括:处理器,通信接口,存储器和通信总线;
其中所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述处理器,用于执行程序;
所述存储器,用于存放程序;
其中程序用于:
读取重删后的文件;
若网络带宽大于预设带宽限值,且所述文件的大小大于预设文件限值,读取所述文件对应的元数据,通过所述元数据在本地确定所述元数据对应的数据块与进行远程复制的对端设备已复制数据块的第一差异数据;
若所述第一差异数据的大小小于预设差异限值,将所述第一差异数据与所述元数据发送至所述对端设备,以便所述对端设备实现远程复制;
若所述第一差异数据的大小不小于所述预设差异限值,将所述第一差异数据对应的第一差异元数据发送至所述对端设备,接收所述对端设备通过所述第一差异元数据所确定的所述第一差异数据与所述对端设备已复制数据块的第二差异数据所对应的第二差异元数据,根据所述第二差异元数据将所述第二差异数据发送至所述对端设备,以便所述对端设备实现远程复制。
CN201310558101.6A 2013-11-11 2013-11-11 一种远程复制方法、装置、备份端设备及系统 Active CN103618765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310558101.6A CN103618765B (zh) 2013-11-11 2013-11-11 一种远程复制方法、装置、备份端设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310558101.6A CN103618765B (zh) 2013-11-11 2013-11-11 一种远程复制方法、装置、备份端设备及系统

Publications (2)

Publication Number Publication Date
CN103618765A true CN103618765A (zh) 2014-03-05
CN103618765B CN103618765B (zh) 2017-02-01

Family

ID=50169469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310558101.6A Active CN103618765B (zh) 2013-11-11 2013-11-11 一种远程复制方法、装置、备份端设备及系统

Country Status (1)

Country Link
CN (1) CN103618765B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021142768A1 (zh) * 2020-01-17 2021-07-22 华为技术有限公司 一种文件系统的克隆方法及装置
CN115150392A (zh) * 2022-08-30 2022-10-04 统信软件技术有限公司 远程文件复制方法、系统、计算设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441582A (zh) * 2007-11-20 2009-05-27 北京和力记易科技有限公司 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品
CN102014152A (zh) * 2010-10-18 2011-04-13 浪潮(北京)电子信息产业有限公司 一种远程复制系统及其方法
CN103118104A (zh) * 2013-01-28 2013-05-22 刘海峰 一种基于版本矢量的数据还原方法及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441582A (zh) * 2007-11-20 2009-05-27 北京和力记易科技有限公司 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品
CN102014152A (zh) * 2010-10-18 2011-04-13 浪潮(北京)电子信息产业有限公司 一种远程复制系统及其方法
CN103118104A (zh) * 2013-01-28 2013-05-22 刘海峰 一种基于版本矢量的数据还原方法及服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021142768A1 (zh) * 2020-01-17 2021-07-22 华为技术有限公司 一种文件系统的克隆方法及装置
CN115150392A (zh) * 2022-08-30 2022-10-04 统信软件技术有限公司 远程文件复制方法、系统、计算设备及存储介质
CN115150392B (zh) * 2022-08-30 2022-12-02 统信软件技术有限公司 远程文件复制方法、系统、计算设备及存储介质

Also Published As

Publication number Publication date
CN103618765B (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
KR101505263B1 (ko) 데이터 중복 제거 방법 및 장치
US10133679B2 (en) Read cache management method and apparatus based on solid state drive
RU2626334C2 (ru) Способ и устройство обработки объекта данных
CN101763437B (zh) 高速缓冲存储实现方法及装置
CN103019960B (zh) 分布式缓存方法及系统
CN102810107B (zh) 重复数据的处理方法
US20200311026A1 (en) File processing method and server
CN104239518A (zh) 重复数据删除方法和装置
WO2017020576A1 (zh) 一种键值存储系统中文件压实的方法和装置
CN110968253B (zh) 一种数据存储方法、装置及系统
CN103227818A (zh) 终端、服务器、文件传输方法、文件存储管理系统和方法
WO2020093501A1 (zh) 文件存储方法、删除方法、服务器及存储介质
CN111858520B (zh) 一种区块链节点数据分离存储的方法和装置
CN103677674A (zh) 一种数据处理方法及装置
US10860489B2 (en) Byte select cache compression
CN109376125A (zh) 一种元数据存储方法、装置、设备及计算机可读存储介质
CN110908589A (zh) 数据文件的处理方法、装置、系统和存储介质
CN108780447A (zh) 差异数据备份的方法和设备
CN105493080A (zh) 基于上下文感知的重复数据删除的方法和装置
KR20150035876A (ko) 데이터 중복 제거 방법 및 장치
CN103618765A (zh) 一种远程复制方法、装置、备份端设备及系统
CN108123804B (zh) 一种数据解密的执行方法、装置及介质
CN105471955A (zh) 分布式文件系统的写方法、客户端设备及分布式文件系统
CN103930890A (zh) 数据处理方法、装置及重删处理器
US20210019231A1 (en) Method, device and computer program product for backing up data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant