CN109542684A - 一种存储远程复制方法、装置、设备及存储介质 - Google Patents

一种存储远程复制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109542684A
CN109542684A CN201811383292.6A CN201811383292A CN109542684A CN 109542684 A CN109542684 A CN 109542684A CN 201811383292 A CN201811383292 A CN 201811383292A CN 109542684 A CN109542684 A CN 109542684A
Authority
CN
China
Prior art keywords
equipment
source
snapshot
data
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811383292.6A
Other languages
English (en)
Inventor
毕波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811383292.6A priority Critical patent/CN109542684A/zh
Publication of CN109542684A publication Critical patent/CN109542684A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储远程复制方法,包括以下步骤:在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;根据当前创建的快照,确定源存储设备中是否存在变化数据块;如果存在,则将源存储设备中变化数据块传输给目标存储设备,以使目标存储设备中的数据与源存储设备中的数据同步,源存储设备和目标存储设备具有远程复制关系。应用本发明实施例所提供的技术方案,依照快照,只传输增量数据,减少远程复制传输数据量,减少带宽占用,提高传输速度。本发明还公开了一种存储远程复制装置、设备及存储介质,具有相应技术效果。

Description

一种存储远程复制方法、装置、设备及存储介质
技术领域
本发明涉及存储技术领域,特别是涉及一种存储远程复制方法、装置、设备及存储介质。
背景技术
在大数据时代,对数据安全性的关注程度越来越高。目前常通过存储容灾方式保证存储的数据的安全性。存储容灾的一种具体方式为存储之间的远程复制,即A、B两台存储设备通过远程复制实现数据的实时同步,当一台存储设备出现问题时,可以从另外一台存储设备恢复业务,保障业务的无障碍稳定运行。
在现有技术中,在每次进行远程复制时,都会将源存储设备的数据全部传输到目标存储设备,传输数据量较大,需要占用较大带宽,传输速度慢。
发明内容
本发明的目的是提供一种存储远程复制方法、装置、设备及存储介质,以减少远程复制传输数据量,减少带宽占用,提高传输速度。
为解决上述技术问题,本发明提供如下技术方案:
一种存储远程复制方法,所述方法包括:
在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;
根据当前创建的快照,确定所述源存储设备中是否存在变化数据块;
如果存在,则将所述源存储设备中变化数据块传输给目标存储设备,以使所述目标存储设备中的数据与所述源存储设备中的数据同步,所述源存储设备和所述目标存储设备具有远程复制关系。
在本发明的一种具体实施方式中,所述将所述源存储设备中变化数据块传输给目标存储设备,包括:
通过设定链路将所述源存储设备中变化数据块传输给目标存储设备,所述设定链路非业务链路。
在本发明的一种具体实施方式中,所述根据创建的快照,确定所述源存储设备中是否存在变化数据块,包括:
将当前创建的快照与上一次创建的快照进行对比,确定所述源存储设备中是否存在变化数据块。
在本发明的一种具体实施方式中,所述源存储设备中的数据均为经过压缩的数据。
在本发明的一种具体实施方式中,所述将所述源存储设备中变化数据块传输给目标存储设备,包括:
对所述源存储设备中变化数据块进行压缩处理;
将压缩后的变化数据块传输给目标存储设备。
一种存储远程复制装置,所述装置包括:
快照创建模块,用于在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;
变化数据确定模块,用于根据当前创建的快照,确定所述源存储设备中是否存在变化数据块;如果存在,则触发数据传输模块;
所述数据传输模块,用于将所述源存储设备中变化数据块传输给目标存储设备,以使所述目标存储设备中的数据与所述源存储设备中的数据同步,所述源存储设备和所述目标存储设备具有远程复制关系。
在本发明的一种具体实施方式中,所述数据传输模块,具体用于:
通过设定链路将所述源存储设备中变化数据块传输给目标存储设备,所述设定链路非业务链路。
在本发明的一种具体实施方式中,所述变化数据确定模块,具体用于:
将当前创建的快照与上一次创建的快照进行对比,确定所述源存储设备中是否存在变化数据块。
一种存储远程复制设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一项所述存储远程复制方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述存储远程复制方法的步骤。
应用本发明实施例所提供的技术方案,在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作,根据当前创建的快照,确定源存储设备中是否存在变化数据块,如果存在中,则将源存储设备中变化数据块传输给目标存储设备。依照快照,只传输增量数据,减少远程复制传输数据量,减少带宽占用,提高传输速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种存储远程复制方法的实施流程图;
图2为本发明实施例中一种容灾系统架构图;
图3为本发明实施例中一种存储远程复制装置的结构示意图;
图4为本发明实施例中一种存储远程复制设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1所示,为本发明实施例中一种存储远程复制方法的实施流程图,该方法可以包括以下步骤:
S110:在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作。
随着互联网技术的快速发展,各行各业的业务数据量逐渐增多,为防范存储设备数据丢失,目前较有效的方法是对存储设备创建快照。快照是关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点的映像。
在本发明实施例中,可以预先设定快照创建触发条件,如在达到设定的快照创建时间间隔时,认为达到了快照创建触发条件,或者,在接收到快照创建指令时,认为达到了快照创建触发条件。
在达到设定的快照创建触发条件时,可以对源存储设备中的数据进行快照创建操作。具体的快照创建为现有技术,本发明实施例对此不再赘述。
S120:根据当前创建的快照,确定源存储设备中是否存在变化数据块。
对源存储设备中的数据进行快照创建操作后,可以根据当前创建的快照,确定源存储设备中各数据块是否存在变化。数据的写入、写出、删除、修改等都视为数据块发生变化。
在本发明的一种具体实施方式中,步骤S120可以包括以下步骤:
将当前创建的快照与上一次创建的快照进行对比,确定源存储设备中是否存在变化数据块。
在本发明实施例中,如果针对源存储设备首次创建快照,则源存储设备中存储有数据的数据块均可认为是变化数据块。如果针对源存储设备非首次创建快照,则可以将当前创建的快照与上一次创建的快照进行对比,通过快照的记录,确定源存储设备中是否存在变化数据块,并且可以确定出具体哪个数据块发生了变化。
如果源存储设备中存在变化数据块,则可以继续执行步骤S130的操作,如果源存储设备中不存在变化数据块,则可以不做任何操作,待达到设定的快照创建触发条件时,重复执行对源存储设备中的数据进行快照创建操作及以下步骤,如图1所示。
S130:将源存储设备中变化数据块传输给目标存储设备,以使目标存储设备中的数据与源存储设备中的数据同步。
源存储设备和目标存储设备具有远程复制关系。
在本发明实施例中,可以预先建立源存储设备与目标存储设备的远程复制关系,将目标存储设备设置为源存储设备的容灾设备。
在确定源存储设备中存在变化数据块时,可以将源存储设备中变化数据块传输给目标存储设备,这样,目标存储设备接收到变化数据块并存储,可以与源存储设备中的数据保持同步。当源存储设备出现问题时,可以通过目标存储设备恢复业务,保障业务无障碍稳定运行。
具体的,可以通过设定链路将源存储设备中变化数据块传输给目标存储设备,设定链路非业务链路。
可以理解的是,源存储设备在正常工作过程中,其业务链路处于工作状态,进行相应业务处理。在需要进行远程复制时,可以通过非业务链路的设定链路将源存储设备中变化数据块传输给目标存储设备,而非通过业务链路,这样可以避免因占用业务链路影响源存储设备的正常业务的进行。
应用本发明实施例所提供的方法,在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作,根据当前创建的快照,确定源存储设备中是否存在变化数据块,如果存在中,则将源存储设备中变化数据块传输给目标存储设备。依照快照,只传输增量数据,减少远程复制传输数据量,减少带宽占用,提高传输速度。
在本发明的一种具体实施方式中,源存储设备中的数据均为经过压缩的数据。源存储设备在进行数据存储时,可以对数据进行压缩处理后存储,实现在线全局数据压缩,节省存储空间。而且,当需要进行远程复制时,传输的变化数据块也保持压缩状态,可以降低对传输链路带宽的需求,提高传输速度。
在本发明的另一种具体实施方式中,步骤S130可以包括以下步骤:
步骤一:对源存储设备中变化数据块进行压缩处理;
步骤二:将压缩后的变化数据块传输给目标存储设备。
在步骤S120确定源存储设备中存在变化数据块时,可以对源存储设备中变化数据块进行压缩处理,将压缩后的变化数据块传输给目标存储设备。降低对传输链路带宽的需求,提高传输速度。
在实际应用中,可以按照预设的拓扑关系连接相关的存储设备,搭建远程复制环境,在两台存储设备之间创建远程复制关系,设置创建快照的间隔,保存个数等参数,在存储设备中开启压缩功能,以使远程传输时传输的是压缩后的数据。如图2所示,生产数据中心的源存储设备与容灾数据中心的目标存储设备之间具有远程复制关系,生产数据中心和容灾数据中心均可经由10GbE以太存储网络通过Linux/Windows等操作系统服务器、云终端、虚拟服务器等物理或虚拟云终端向用户提供业务服务。生产数据中心的源存储设备在进行远程复制时,只传输两次数据传输之间发生变化的数据块,降低对WAN网络的要求,降低网络链路租用开销,使得在同等投资基础上获得更好的恢复时间点RTO和恢复数据点RPO指标。
相应于上面的方法实施例,本发明实施例还提供了一种存储远程复制装置,下文描述的一种存储远程复制装置与上文描述的一种存储远程复制方法可相互对应参照。
参见图3所示,该装置包括:
快照创建模块310,用于在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;
变化数据确定模块320,用于根据当前创建的快照,确定源存储设备中是否存在变化数据块;如果存在,则触发数据传输模块330;
数据传输模块330,用于将源存储设备中变化数据块传输给目标存储设备,以使目标存储设备中的数据与源存储设备中的数据同步,源存储设备和目标存储设备具有远程复制关系。
应用本发明实施例所提供的装置,在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作,根据当前创建的快照,确定源存储设备中是否存在变化数据块,如果存在中,则将源存储设备中变化数据块传输给目标存储设备。依照快照,只传输增量数据,减少远程复制传输数据量,减少带宽占用,提高传输速度。
在本发明的一种具体实施方式中,数据传输模块330,具体用于:
通过设定链路将源存储设备中变化数据块传输给目标存储设备,设定链路非业务链路。
在本发明的一种具体实施方式中,变化数据确定模块320,具体用于:
将当前创建的快照与上一次创建的快照进行对比,确定源存储设备中是否存在变化数据块。
在本发明的一种具体实施方式中,源存储设备中的数据均为经过压缩的数据。
在本发明的一种具体实施方式中,数据传输模块330,具体用于:
对源存储设备中变化数据块进行压缩处理;
将压缩后的变化数据块传输给目标存储设备。
相应于上面的方法实施例,本发明实施例还提供了一种存储远程复制设备,如图4所示,包括:
存储器410,用于存储计算机程序;
处理器420,用于执行计算机程序时实现上述存储远程复制方法的步骤。
相应于上面的方法实施例,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述存储远程复制方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种存储远程复制方法,其特征在于,所述方法包括:
在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;
根据当前创建的快照,确定所述源存储设备中是否存在变化数据块;
如果存在,则将所述源存储设备中变化数据块传输给目标存储设备,以使所述目标存储设备中的数据与所述源存储设备中的数据同步,所述源存储设备和所述目标存储设备具有远程复制关系。
2.根据权利要求1所述的方法,其特征在于,所述将所述源存储设备中变化数据块传输给目标存储设备,包括:
通过设定链路将所述源存储设备中变化数据块传输给目标存储设备,所述设定链路非业务链路。
3.根据权利要求1所述的方法,其特征在于,所述根据创建的快照,确定所述源存储设备中是否存在变化数据块,包括:
将当前创建的快照与上一次创建的快照进行对比,确定所述源存储设备中是否存在变化数据块。
4.根据权利要求1至3之中任一项所述的方法,其特征在于,所述源存储设备中的数据均为经过压缩的数据。
5.根据权利要求1至3之中任一项所述的方法,其特征在于,所述将所述源存储设备中变化数据块传输给目标存储设备,包括:
对所述源存储设备中变化数据块进行压缩处理;
将压缩后的变化数据块传输给目标存储设备。
6.一种存储远程复制装置,其特征在于,所述装置包括:
快照创建模块,用于在达到设定的快照创建触发条件时,对源存储设备中的数据进行快照创建操作;
变化数据确定模块,用于根据当前创建的快照,确定所述源存储设备中是否存在变化数据块;如果存在,则触发数据传输模块;
所述数据传输模块,用于将所述源存储设备中变化数据块传输给目标存储设备,以使所述目标存储设备中的数据与所述源存储设备中的数据同步,所述源存储设备和所述目标存储设备具有远程复制关系。
7.根据权利要求6所述的装置,其特征在于,所述数据传输模块,具体用于:
通过设定链路将所述源存储设备中变化数据块传输给目标存储设备,所述设定链路非业务链路。
8.根据权利要求6所述的装置,其特征在于,所述变化数据确定模块,具体用于:
将当前创建的快照与上一次创建的快照进行对比,确定所述源存储设备中是否存在变化数据块。
9.一种存储远程复制设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述存储远程复制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述存储远程复制方法的步骤。
CN201811383292.6A 2018-11-20 2018-11-20 一种存储远程复制方法、装置、设备及存储介质 Withdrawn CN109542684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811383292.6A CN109542684A (zh) 2018-11-20 2018-11-20 一种存储远程复制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383292.6A CN109542684A (zh) 2018-11-20 2018-11-20 一种存储远程复制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109542684A true CN109542684A (zh) 2019-03-29

Family

ID=65848918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383292.6A Withdrawn CN109542684A (zh) 2018-11-20 2018-11-20 一种存储远程复制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109542684A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177260A (zh) * 2019-12-19 2020-05-19 上海上讯信息技术股份有限公司 数据库远程复制方法、装置及电子设备
CN111343250A (zh) * 2020-02-16 2020-06-26 西安奥卡云数据科技有限公司 基于网络承载量的可靠的远程数据保护方法
CN111831620A (zh) * 2019-04-16 2020-10-27 伊姆西Ip控股有限责任公司 用于存储管理的方法、设备和计算机程序产品
CN113868331A (zh) * 2021-08-20 2021-12-31 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831620A (zh) * 2019-04-16 2020-10-27 伊姆西Ip控股有限责任公司 用于存储管理的方法、设备和计算机程序产品
CN111831620B (zh) * 2019-04-16 2024-04-19 伊姆西Ip控股有限责任公司 用于存储管理的方法、设备和计算机程序产品
CN111177260A (zh) * 2019-12-19 2020-05-19 上海上讯信息技术股份有限公司 数据库远程复制方法、装置及电子设备
CN111343250A (zh) * 2020-02-16 2020-06-26 西安奥卡云数据科技有限公司 基于网络承载量的可靠的远程数据保护方法
CN113868331A (zh) * 2021-08-20 2021-12-31 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备
CN113868331B (zh) * 2021-08-20 2024-01-19 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109542684A (zh) 一种存储远程复制方法、装置、设备及存储介质
CN105389230B (zh) 一种结合快照技术的持续数据保护系统及方法
CN102594849B (zh) 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
US7657578B1 (en) System and method for volume replication in a storage environment employing distributed block virtualization
CN105187464B (zh) 一种分布式存储系统中的数据同步方法、装置及系统
CN106528327B (zh) 一种数据处理方法以及备份服务器
CN111124277B (zh) 一种深度学习数据集缓存方法、系统、终端及存储介质
CN109558215A (zh) 虚拟机的备份方法、恢复方法、装置及备份服务器集群
US10565071B2 (en) Smart data replication recoverer
CN103186554B (zh) 分布式数据镜像方法及存储数据节点
CN106802840A (zh) 一种虚拟机备份、恢复方法及装置
CN107391294A (zh) 一种ipsan容灾系统的建立方法及装置
CN102035865B (zh) 数据存储及数据寻址方法、系统和设备
CN103778034A (zh) 基于云存储的数据备份容灾方法及系统
CN101441582A (zh) 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品
CN111597197B (zh) 数据库之间的数据对账方法和装置、存储介质及电子设备
CN110456984A (zh) 一种对Ceph存储的块设备进行连续数据保护的方法
CN108958991A (zh) 集群节点故障业务快速恢复方法、装置、设备及存储介质
CN113467993A (zh) 一种云平台资源的还原方法、系统、设备及存储介质
CN110083490A (zh) 一种数据库备份方法、还原方法以及存储介质
CN105224422A (zh) 一种数据备份方法及设备
CN104216759A (zh) 一种生成虚拟机的逻辑磁盘的方法,及装置
US20160139996A1 (en) Methods for providing unified storage for backup and disaster recovery and devices thereof
CN111666266A (zh) 一种数据迁移方法及相关设备
CN110489494A (zh) 分布式数据库在线扩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190329