CN107688511A - 一种基于任务的异步远程复制方法和系统 - Google Patents

一种基于任务的异步远程复制方法和系统 Download PDF

Info

Publication number
CN107688511A
CN107688511A CN201710771188.3A CN201710771188A CN107688511A CN 107688511 A CN107688511 A CN 107688511A CN 201710771188 A CN201710771188 A CN 201710771188A CN 107688511 A CN107688511 A CN 107688511A
Authority
CN
China
Prior art keywords
local
data
service ends
strange land
dps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710771188.3A
Other languages
English (en)
Inventor
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710771188.3A priority Critical patent/CN107688511A/zh
Publication of CN107688511A publication Critical patent/CN107688511A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于任务的异步远程复制方法和系统，其中方法包括：步骤1，将本地DPS客户端传输的数据传输到本地DPS服务端；步骤2，本地服务端将数据传输到与所本地服务端连接的本地存储设备作为备份数据保存；步骤3，本地DPS服务端读取本地存储设备存储的备份数据；步骤4，本地DPS服务端将备份数据传输到异地DPS服务端；步骤5，异地DPS服务端将备份数据保存在与异地DPS服务端连接的异地存储设备。通过利用DSP软件通过备份任务的方式将数据保存到存储介质，然后通过DSP软件的远程复制功能将数据备份至异地存储设备，达到数据容灾的效果，具有可扩展性、安全可靠性、高效性的优点。

Description

一种基于任务的异步远程复制方法和系统
技术领域
本发明涉及数据备份处理技术领域，特别是涉及一种基于任务的异步远程复制方法和系统。
背景技术
随着信息社会的来临，尤其是云计算和大数据技术的不断发展，信息数据的产生和交换的规模越来越大，因此数据是信息化系统的核心，社会经济对信息化的依赖程度越来越高，信息系统中的关键业务数据是用户最重要的资产，数据的可靠性、完整性和安全性关系到重要行业和企业的生存力和竞争力，关系到国家信息安全和国民经济稳定发展。
当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时，其中的正在交换的数据以及存储的数据的丢失就会造成不可估量的损失，这时拥有另外的一份备份数据就显得至关重要，即使原有设备的数据发生丢失，也可以通过备份数据进行还原，避免了信息数据的完全丢失，降低损失。基于上述问题，本发明提出了一种基于任务的异步远程复制的方法。
而现有的备份数据都存储在本地，如果本地的主存储设备发生意外，备份设备中的备份数据发生丢失的可能性很大。
发明内容
本发明的目的是提供了一种基于任务的异步远程复制方法和系统，采用。
为解决上述技术问题，本发明实施例提供了一种基于任务的异步远程复制方法，包括：
步骤1，将本地DPS客户端传输的数据传输到本地DPS服务端；
步骤2，所述本地服务端将所述数据传输到与所本地服务端连接的本地存储设备作为备份数据保存；
步骤3，所述本地DPS服务端读取所述本地存储设备存储的备份数据；
步骤4，所述本地DPS服务端将所述备份数据传输到异地DPS服务端；
步骤5，所述异地DPS服务端将所述备份数据保存在与所述异地DPS服务端连接的异地存储设备。
其中，所述本地存储设备、所述异地存储设备为物理磁带库或虚拟磁带库。
其中，所述步骤4，包括：
所述本地DPS服务端将所述备份数据压缩形成压缩数据之后传输到所述异地DPS服务端。
其中，所述步骤4包括：
对所述备份数据分块之后形成数据块，对所述数据块压缩之后，所述本地DPS服务端将所述压缩数据之后传输到所述异地DPS服务端。
其中，所述对所述备份数据分块之后形成数据块为随机或按照预设要求对所述备份数据进行分块。
其中，所述步骤4还包括：
检测所述本地DPS服务端与所述异地DPS服务端之间的传输链路的可用带宽是否大于阈值；
若是，所述本地DPS服务端将所述备份数据传输到所述异地DPS服务端。
除此之外，本发明实施例还提供了一种基于任务的异步远程复制系统，包括：
备份模块，用于将本地DPS客户端将需要备份的数据，传输到本地DPS服务端并通过所述本地DPS服务端作为备份数据保存到本地存储设备；
远程复制模块，与所述备份模块连接，用于通过所述本地DPS服务端读取所述本地存储设备中的所述备份数据，并传输到异地DPS服务端，所述异地DPS服务端接收所述备份数据并保存到与所述异地DPS服务端连接的异地存储设备。
其中，所述本地存储设备、所述异地存储设备为物理磁带库或虚拟磁带库。
其中，还包括可用带宽检测模块，与所述远程复制模块连接，用于检测当前的传输链路的可用带宽，在所述可用带宽大于阈值时控制所述远程复制模块将所述备份数据复制传输至所述异地存储设备。
其中，还包括与所述远程复制模块连接的压缩模块，用于在所述压缩模块将所述备份数据压缩形成压缩数据之后，由所述本地DPS服务端传输到所述异地存储设备存储。
本发明实施例所提供的基于任务的异步远程复制方法和系统，与现有技术相比，具有以下优点：
本发明实施例提供的基于任务的异步远程复制方法，包括：
步骤1，将本地DPS客户端传输的数据传输到本地DPS服务端；
步骤2，所述本地服务端将所述数据传输到与所本地服务端连接的本地存储设备作为备份数据保存；
步骤3，所述本地DPS服务端读取所述本地存储设备存储的备份数据；
步骤4，所述本地DPS服务端将所述备份数据传输到异地DPS服务端；
步骤5，所述异地DPS服务端将所述备份数据保存在与所述异地DPS服务端连接的异地存储设备。
本发明实施例还提供的基于任务的异步远程复制系统，包括：
备份模块，用于将本地DPS客户端将需要备份的数据，传输到本地DPS服务端并通过所述本地DPS服务端作为备份数据保存到本地存储设备；
远程复制模块，与所述备份模块连接，用于通过所述本地DPS服务端读取所述本地存储设备中的所述备份数据，并传输到异地DPS服务端，所述异地DPS服务端接收所述备份数据并保存到与所述异地DPS服务端连接的异地存储设备。
所述基于任务的异步远程复制方法和系统，通过利用DSP软件通过备份任务的方式将数据保存到存储介质，然后通过DSP软件的远程复制功能将数据备份至异地存储设备，达到数据容灾的效果，具有可扩展性，即具有存储和计算的可扩展性；安全可靠性，远程复制可将数据保存至异地存储设备，放置当前数据中心数据村坏，数据无法还原的可能；高效性，由于是基于任务的异步远程复制，使得可以人工设备启动时间，降低对同网段应用系统造成的压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于任务的异步远程复制方法的一种具体实施方式的步骤流程示意图；
图2为本发明实施例提供的基于任务的异步远程复制系统的一种具体实施方式的连接结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1～2，图1为本发明实施例提供的基于任务的异步远程复制方法的一种具体实施方式的步骤流程示意图；图2为本发明实施例提供的基于任务的异步远程复制系统的一种具体实施方式的连接结构示意图。
在一种具体实施方式中，所述基于任务的异步远程复制方法，包括：
步骤1，将本地DPS客户端传输的数据传输到本地DPS服务端；
步骤2，所述本地服务端将所述数据传输到与所本地服务端连接的本地存储设备作为备份数据保存；
步骤3，所述本地DPS服务端读取所述本地存储设备存储的备份数据；
步骤4，所述本地DPS服务端将所述备份数据传输到异地DPS服务端；
步骤5，所述异地DPS服务端将所述备份数据保存在与所述异地DPS服务端连接的异地存储设备。
通过利用DSP软件通过备份任务的方式将数据保存到存储介质，然后通过DSP软件的远程复制功能将数据备份至异地存储设备，达到数据容灾的效果，具有可扩展性，即具有存储和计算的可扩展性；安全可靠性，远程复制可将数据保存至异地存储设备，放置当前数据中心数据村坏，数据无法还原的可能；高效性，由于是基于任务的异步远程复制，使得可以人工设备启动时间，降低对同网段应用系统性能造成的压力。
其中，所述本地存储设备、所述异地存储设备为物理磁带库或虚拟磁带库。
为进一步提高数据传输效率，节约传输时间和对传输链路的使用，在本发明的一个实施例中，所述步骤4，包括：
所述本地DPS服务端将所述备份数据压缩形成压缩数据之后传输到所述异地DPS服务端。
通过将备份数据先压缩后在复制传输，降低备份数据在传输链路中的传输量，提高远程复制效率。
更进一步，所述步骤4包括：
对所述备份数据分块之后形成数据块，对所述数据块压缩之后，所述本地DPS服务端将所述压缩数据之后传输到所述异地DPS服务端。
通过将备份数据分块的方式，边压缩边传输，最大程度的提高系统的利用效率，使得系统的应用不会在某一段时间处在一直空闲或者一直最高运行的状态，减少对其它应用的干扰。
所述对所述备份数据分块之后形成数据块为随机或按照预设要求对所述备份数据进行分块。
需要指出的是，本发明对于备份数据的压缩以及分块的策略不做具体限定。
而为了进一步提高系统的高效性，远程复制任务也可以进一步避开带宽使用高的时段，降低复制功能对同网段应用系统性能的压力，，在本发明的一个实施例中，所述步骤4还包括：
检测所述本地DPS服务端与所述异地DPS服务端之间的传输链路的可用带宽是否大于阈值；
若是，所述本地DPS服务端将所述备份数据传输到所述异地DPS服务端。
通过限定在当前的可用带宽超出阈值之后，才进行备份数据的传输，进行远程复制任务，使得可以最大限度的不影响系统其它应用的压力。
除此之外，本发明实施例还提供了一种基于任务的异步远程复制系统，包括：
备份模块10，用于将本地DPS客户端30将需要备份的数据，传输到本地DPS服务端40并通过所述本地DPS服务端40作为备份数据保存到本地存储设备50；
远程复制模块20，与所述备份模块10连接，用于通过所述本地DPS服务端40读取所述本地存储设备50中的所述备份数据，并传输到异地DPS服务端60，所述异地DPS服务端60接收所述备份数据并保存到与所述异地DPS服务端60连接的异地存储设备70。
其中，所述本地存储设备50、所述异地存储设备70为物理磁带库或虚拟磁带库。
而为了进一步提高了远程复制的效率，在本发明的一个实施例中，所述基于任务的异步远程复制系统还包括可用带宽检测模块，与所述远程复制模块连接，用于检测当前的传输链路的可用带宽，在所述可用带宽大于阈值时控制所述远程复制模块将所述备份数据复制传输至所述异地存储设备。
通过设置可用宽带阈值参数，人工控制启动时间，避开带宽使用高的时间段，降低复制功能对同网段内应用系统性能的压力，优化备份数据复制过程，提高整个系统的工作效率。
更进一步，为了降低对带宽的使用，降低数据传输量，在本发明的一个实施例中，所述基于任务的异步远程复制方系统还包括与所述远程复制模块20连接的压缩模块，用于在所述压缩模块将所述备份数据压缩形成压缩数据之后，由所述本地DPS服务端40传输到所述异地存储设备存储70。
通过将数据压缩之后，在进行复制传输，大大降低了在传输链路中的数据的传输量，减少对带宽的占用，可以使用较原来较少的带宽完成相同的实际的数据传输，或者在同等带宽之下，减少数据的复制和传输时间，提高远程复制效率。
在整个远程复制过程中，也可以对数据进行分块，对这些数据块在完成压缩之后就进行数据传输，这个系统处在同时数据压缩，同时数据复制传输的状态进一步提高了远程复制的效率。
综上所述，本发明实施例提供的基于任务的异步远程复制方法和系统，通过利用DSP软件通过备份任务的方式将数据保存到存储介质，然后通过DSP软件的远程复制功能将数据备份至异地存储设备，达到数据容灾的效果，具有可扩展性，即具有存储和计算的可扩展性；安全可靠性，远程复制可将数据保存至异地存储设备，放置当前数据中心数据村坏，数据无法还原的可能；高效性，由于是基于任务的异步远程复制，使得可以人工设备启动时间，降低对同网段应用系统造成的压力。
以上对本发明所提供的基于任务的异步远程复制方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于任务的异步远程复制方法，其特征在于，包括：
步骤1，将本地DPS客户端传输的数据传输到本地DPS服务端；
步骤2，所述本地服务端将所述数据传输到与所本地服务端连接的本地存储设备作为备份数据保存；
步骤3，所述本地DPS服务端读取所述本地存储设备存储的备份数据；
步骤4，所述本地DPS服务端将所述备份数据传输到异地DPS服务端；
步骤5，所述异地DPS服务端将所述备份数据保存在与所述异地DPS服务端连接的异地存储设备。
2.如权利要求1所述基于任务的异步远程复制方法，其特征在于，所述本地存储设备、所述异地存储设备为物理磁带库或虚拟磁带库。
3.如权利要求2所述基于任务的异步远程复制方法，其特征在于，所述步骤4，包括：
所述本地DPS服务端将所述备份数据压缩形成压缩数据之后传输到所述异地DPS服务端。
4.如权利要求3所述基于任务的异步远程复制方法，其特征在于，所述步骤4包括：
对所述备份数据分块之后形成数据块，对所述数据块压缩之后，所述本地DPS服务端将所述压缩数据之后传输到所述异地DPS服务端。
5.如权利要求4所述基于任务的异步远程复制方法，其特征在于，所述对所述备份数据分块之后形成数据块为随机或按照预设要求对所述备份数据进行分块。
6.如权利要求1所述基于任务的异步远程复制方法，其特征在于，所述步骤4还包括：
检测所述本地DPS服务端与所述异地DPS服务端之间的传输链路的可用带宽是否大于阈值；
若是，所述本地DPS服务端将所述备份数据传输到所述异地DPS服务端。
7.一种基于任务的异步远程复制系统，其特征在于，包括：
备份模块，用于将本地DPS客户端将需要备份的数据，传输到本地DPS服务端并通过所述本地DPS服务端作为备份数据保存到本地存储设备；
远程复制模块，与所述备份模块连接，用于通过所述本地DPS服务端读取所述本地存储设备中的所述备份数据，并传输到异地DPS服务端，所述异地DPS服务端接收所述备份数据并保存到与所述异地DPS服务端连接的异地存储设备。
8.如权利要求7所述基于任务的异步远程复制系统，其特征在于，所述本地存储设备、所述异地存储设备为物理磁带库或虚拟磁带库。
9.如权利要求8所述基于任务的异步远程复制系统，其特征在于，还包括可用带宽检测模块，与所述远程复制模块连接，用于检测当前的传输链路的可用带宽，在所述可用带宽大于阈值时控制所述远程复制模块将所述备份数据复制传输至所述异地存储设备。
10.如权利要求8或9所述基于任务的异步远程复制系统，其特征在于，还包括与所述远程复制模块连接的压缩模块，用于在所述压缩模块将所述备份数据压缩形成压缩数据之后，由所述本地DPS服务端传输到所述异地存储设备存储。
CN201710771188.3A 2017-08-25 2017-08-25 一种基于任务的异步远程复制方法和系统 Pending CN107688511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710771188.3A CN107688511A (zh) 2017-08-25 2017-08-25 一种基于任务的异步远程复制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710771188.3A CN107688511A (zh) 2017-08-25 2017-08-25 一种基于任务的异步远程复制方法和系统

Publications (1)

Publication Number Publication Date
CN107688511A true CN107688511A (zh) 2018-02-13

Family

ID=61154987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710771188.3A Pending CN107688511A (zh) 2017-08-25 2017-08-25 一种基于任务的异步远程复制方法和系统

Country Status (1)

Country Link
CN (1) CN107688511A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150754A (zh) * 2018-08-16 2019-01-04 黄疆 可调异地容灾队列处理系统及方法
CN109218309A (zh) * 2018-09-14 2019-01-15 郑州云海信息技术有限公司 一种数据备份方法、装置、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7685384B2 (en) * 2004-02-06 2010-03-23 Globalscape, Inc. System and method for replicating files in a computer network
CN102148822A (zh) * 2011-01-24 2011-08-10 辽宁国兴科技有限公司 一种异地在线数据容灾的系统
CN102231727A (zh) * 2011-03-18 2011-11-02 杭州奕锐电子有限公司 基于加密增量传输的异地共享备份恢复方法
CN102236588A (zh) * 2010-04-23 2011-11-09 阿里巴巴集团控股有限公司 数据远程备份方法、设备及系统
CN103229165A (zh) * 2010-08-12 2013-07-31 安全第一公司 用于数据的安全远程存储的系统和方法
CN106331043A (zh) * 2015-07-02 2017-01-11 无锡市智达网络科技有限公司 一种数据传输系统
CN106354584A (zh) * 2016-08-30 2017-01-25 北京中科同向信息技术有限公司 一种基于云灾备的技术
CN106843760A (zh) * 2017-01-17 2017-06-13 郑州云海信息技术有限公司 一种基于重删的异步远程复制系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7685384B2 (en) * 2004-02-06 2010-03-23 Globalscape, Inc. System and method for replicating files in a computer network
CN102236588A (zh) * 2010-04-23 2011-11-09 阿里巴巴集团控股有限公司 数据远程备份方法、设备及系统
CN103229165A (zh) * 2010-08-12 2013-07-31 安全第一公司 用于数据的安全远程存储的系统和方法
CN102148822A (zh) * 2011-01-24 2011-08-10 辽宁国兴科技有限公司 一种异地在线数据容灾的系统
CN102231727A (zh) * 2011-03-18 2011-11-02 杭州奕锐电子有限公司 基于加密增量传输的异地共享备份恢复方法
CN106331043A (zh) * 2015-07-02 2017-01-11 无锡市智达网络科技有限公司 一种数据传输系统
CN106354584A (zh) * 2016-08-30 2017-01-25 北京中科同向信息技术有限公司 一种基于云灾备的技术
CN106843760A (zh) * 2017-01-17 2017-06-13 郑州云海信息技术有限公司 一种基于重删的异步远程复制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150754A (zh) * 2018-08-16 2019-01-04 黄疆 可调异地容灾队列处理系统及方法
CN109218309A (zh) * 2018-09-14 2019-01-15 郑州云海信息技术有限公司 一种数据备份方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107193490B (zh) 一种基于区块链的分布式数据存储系统及方法
CN106250270B (zh) 一种云计算平台下的数据备份方法
CN101989929B (zh) 容灾数据备份的方法及系统
CN103095843B (zh) 一种基于版本矢量的数据备份方法及客户端
CN101833486B (zh) 一种远程备份和恢复系统设计方法
CN101741536B (zh) 数据级容灾方法、系统和生产中心节点
CN102411639B (zh) 元数据的多副本存储管理方法和系统
CN103116615B (zh) 一种基于版本矢量的数据索引方法及服务器
CN103118104B (zh) 一种基于版本矢量的数据还原方法及服务器
CN105045680B (zh) 一种达梦数据库备份数据的方法
CN101094154B (zh) 一种多主控模式的数据备份异地保护系统以及保护方法
US20110035356A1 (en) Transactional archiving of an electronic document
CN104484242B (zh) 一种写时拷贝快照备份过程中可断点传输的方法
CN109117310A (zh) 实现数据备份的容灾系统、方法及装置
CN103780417A (zh) 一种基于云硬盘的数据库故障转移方法及装置
CN104468548A (zh) 一种数据验证的方法、灾备存储器和生产存储器
CN107135097A (zh) 基于簿记建档的容灾系统及容灾方法
CN101771548A (zh) 文件同步方法及系统
CN114900532B (zh) 电力数据容灾方法、系统、装置、计算机设备和存储介质
CN107688511A (zh) 一种基于任务的异步远程复制方法和系统
CN112395136A (zh) 结合快照技术的持续数据保护系统
CN114138549A (zh) 基于kubernetes系统的数据备份和恢复方法
CN109165112A (zh) 一种元数据集群的故障恢复方法、系统及相关组件
CN102722425A (zh) 终端操作系统及数据实时远程备份、还原及克隆的方法
CN112948484A (zh) 分布式数据库系统和数据灾备演练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180213