CN111343250A - 基于网络承载量的可靠的远程数据保护方法 - Google Patents

基于网络承载量的可靠的远程数据保护方法 Download PDF

Info

Publication number
CN111343250A
CN111343250A CN202010094565.6A CN202010094565A CN111343250A CN 111343250 A CN111343250 A CN 111343250A CN 202010094565 A CN202010094565 A CN 202010094565A CN 111343250 A CN111343250 A CN 111343250A
Authority
CN
China
Prior art keywords
data
remote
network
source end
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010094565.6A
Other languages
English (en)
Inventor
郭景锐
宋美莹
熊百扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orca Data Technology Xian Co Ltd
Original Assignee
Orca Data Technology Xian Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orca Data Technology Xian Co Ltd filed Critical Orca Data Technology Xian Co Ltd
Priority to CN202010094565.6A priority Critical patent/CN111343250A/zh
Publication of CN111343250A publication Critical patent/CN111343250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于网络承载量的可靠的远程数据保护方法，属于网络数据技术领域，包括以下步骤：S1：首次远程复制，S2：用户输入期望完成远程复制的时间T秒，S3：监视器获取目标集群网络传输速率RaM/s，S4：目标端计算网络可承载的数据量M0，S5：判断系统是否完成数据传输，S6：上报远端可接收增量的数据量M0，S7：计算出源端可发送增量数据量M1，S8：源端计数器获取LUN‑TREE叶子节点修改个数C，S9：计算集群实际增量数据量M2，S10：源端判断集群增量数据量M2，S11：立刻触发本次远程复制任务。本发明由存储设备根据当前实际写入数据和网络资源使用情况进行远程异步数据复制以最大化的利用资源来保护用户数据。

Description

基于网络承载量的可靠的远程数据保护方法
技术领域
本发明涉及网络数据技术领域，具体为基于网络承载量的可靠的远程数据保护方法。
背景技术
远程数据复制技术是一种计算机存储系统中常用的灾备技术，其特点是将数据从一个存储服务器集群复制到异地或本地的另外一个存储服务器集群以提供数据冗余性保护。
复制数据的手段有同步复制和异步复制两种：
同步复制通常是当用户有数据写入时，存储服务器同时将数据写入本地端和远端并在确保两端都写入之后才完成用户数据写入操作。由于数据需要同时写入本地端和远端，写入延迟不可避免，存储系统的性能也会受到影响。
基于时间点的异步复制方案的通常实现方式是：当用户数据写入时，存储服务器只需将数据写入本地存储，由本地存储服务器根据预先设置的RPO(数据恢复点目标，通常以时间为单位)值发送这一段时间内写入的数据到远端服务器来完成数据备份，异步复制对本地存储服务器性能几乎没有影响，但由于其根据RPO值间隔发送数据，当存储服务器在RPO间隔中遭遇灾害时，数据往往只能保护到上一个时间节点，不能全面实时的保护数据。
现有技术在进行异步数据保护时，存在以下局限性：
用户必须在源端显式的指定一个RPO值，存储系统将根据这个RPO值定时地从源端复制数据到目标端，由于RPO值的时间周期性，无论RPO到期时是否有新的数据写入，源端系统都必须进行一次新旧数据检查，新旧数据检查都将占用源端CPU,内存等资源，随着存储系统远程数据复制规模的扩大，这种资源消耗也将变得明显，例如当存储系统设置的异步复制对(源->目标)数量超过一万时，定期新旧数据比对无疑将大幅度影响系统性能。
若新旧数据有区别时无论此时网络是否能够承载，都必须进行从源端到目标端的数据复制，由于RPO的时间特性，源端与目标端的网络容量将定期被大幅度占用造成网络抖动影响业务。
由于网络的动态特性，从源端到目标端的数据传输是不可控的，用户需要一个确定的数据保护窗口时间来使其业务变得可控。
当系统处于高负载状态下，固定的RPO时间不能保证数据被完全传输至灾备端，容易造成数据丢失。
发明内容
本发明的目的在于提供基于网络承载量的可靠的远程数据保护方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于网络承载量的可靠的远程数据保护方法，包括以下步骤：
S1：首次远程复制；
S2：用户输入期望完成远程复制的时间T秒；
S3：监视器获取目标集群网络传输速率RaM/s；
S4：目标端计算网络可承载的数据量M0；
S5：判断系统是否完成数据传输；
S6：上报远端可接收增量的数据量M0；
S7：计算出源端可发送增量数据量M1；
S8：源端计数器获取LUN-TREE叶子节点修改个数C；
S9：计算集群实际增量数据量M2；
S10：源端判断集群增量数据量M2；
S11：立刻触发本次远程复制任务，包括以下步骤：
S11-1：源端创建源端快照1；
S11-2：首次远程复制完成；
S11-3：目标端创建源端快照1；
S11-4：源端根据目标端网络承载量，再次发起远程复制任务；
S11-5：源端创建源端快照2；
S11-6：目标端创建目标端快照2；
S11-7：源端比对源端快照1与源端快照2，发送增量数据至目标端；
S11-8：判断本次远程复制任务是否成功。
优选的，在S1中，首次远程复制为全量复制，确保源端以及目标端数据一致。
优选的，在S3中，监视器用于采集目标集群IO变化量，网络带宽。
优选的，在S8中，LUN-TREE的一个叶子结点代表4k的空间，当有数据变更，叶子结点的内容也随之更改，更改完成后上报至计数器，计数器计数加一，当触发一次远程复制，计数器清零，再重新计数。
优选的，LUN是一组用于存储数据的逻辑地址的集合，LUN-TREE即是逻辑地址以树的形式进行组织和管理。
优选的，在S10中，当集群增量数据量M2大于或等于M0时，执行S11，当集群增量数据量M2大于或等于M1时，源端机体等待，重复S7。
优选的，在S11中，远程复制任务采用异步远程复制。
优选的，数据保护算法采用阀值调节方法来控制数据量调整时机。
与现有技术相比，本发明的有益效果是：
(1)通过收集系统网络负载，根据用户可接受单次远程复制时间，动态调整数据保护任务的发起频率，自主发起数据保护任务，最大化保护用户数据。
(2)根据计数器获取集群增量数据量，避免频繁进行新旧数据对比，减少大量系统资源的消耗。
(3)用户操作简易，只需输入数据保护窗口，即体验高效、持续、可靠的数据保护功能。
附图说明
图1为本发明的整体数据保护方法流程图；
图2为本发明的异步远程复制流程图；
图3为本发明的LUN-TREE数据管理结构图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图2，本发明提供一种技术方案：基于网络承载量的可靠的远程数据保护方法，包括以下步骤：
S1：首次远程复制为全量复制，确保源端以及目标端数据一致；
S2：用户输入期望完成远程复制的时间T秒；
S3：通过监视器采集目标集群IO变化量，网络带宽，监视器获取目标集群网络传输速率RaM/s；
S4：根据时间T秒以及网络传输速率计算网络可承载的增量复制数据量为M0；
S5：判断系统是否完成数据传输，若系统未完成数据传输，则等待该次数据传输完成或返回至S3；
S6：系统完成数据传输后，上报远端可接收增量的数据量M0；
S7：源端集群收到M0值，根据可调整因子Δr，计算出源端可发送增量数据量M1；
S8：源端计数器获取LUN-TREE叶子节点修改个数C，LUN-TREE的一个叶子结点代表4k的空间，当有数据变更，叶子结点的内容也随之更改，更改完成后上报至计数器，计数器计数加一，当触发一次远程复制，计数器清零，再重新计数；
LUN是一组用于存储数据的逻辑地址的集合，LUN-TREE即是逻辑地址以树的形式进行组织和管理，图3为一个简化的LUN-TREE模型，代表了一个三层树形结构组成的LUN；
图3中，树形结构的每个叶子节点对应一个4k数据块，在写数据的过程中，每新增或修改一个叶子节点，则计数器的值加一，通过计数器的数值，则可计算出当前集群的增量数据量，结合源端网络承载量即可确定是否需要立刻执行远程数据同步，每完成一次数据保护任务，计数器的值清零；
S9：计算集群实际增量数据量M2；
S10：源端判断集群增量数据量M2，当集群增量数据量M2大于或等于M0时，执行S11，当集群增量数据量M2大于或等于M1时，源端机体等待，重复S7；
S11：立刻触发本次远程复制任务，采用异步远程复制，包括以下步骤：
S11-1：源端创建源端快照1；
S11-2：首次远程复制完成；
S11-3：目标端创建源端快照1；
S11-4：源端根据目标端网络承载量，再次发起远程复制任务；
S11-5：源端创建源端快照2；
S11-6：目标端创建目标端快照2；
S11-7：源端比对源端快照1与源端快照2，发送增量数据至目标端；
S11-8：判断本次远程复制任务是否成功，如果失败，则目标端回退至目标端快照1，确保数据可用，重复S11-4，成功则复制完成。
数据保护算法采用阀值调节方法来控制数据量调整时机：
ra＝(r1+r2+r3+…+rn)/n
rn---以n(时间)为周期采集到的网络传输带宽
ra---n时间周期内的平均网络带宽
M0＝ra*T
M0---触发复制的容量基线
T---数据窗口时间
M1＝M0*Δr
Δr---可调整容量因子
M1---调整后的增量数据容量
C1＝M0/4k
C2＝M1/4k
C1---计数器标准水位线
C2--计数器低水位线
M2＝C0*4k
M2---集群实际增量数据容量
C0---计数器实际指数
举例：
(1)当M1＞＝M1时，触发复制
(2)当M1＞M2＞＝M0时，触发复制
(3)当M1＞M0＞＝M2时，继续等待源端下发数据，当满足上述两个条件之一再触发复制
本发明由存储设备根据当前实际写入数据和网络资源使用情况进行远程异步数据复制以最大化的利用资源来保护用户数据。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于网络承载量的可靠的远程数据保护方法，其特征在于，包括以下步骤：
S1：首次远程复制；
S2：用户输入期望完成远程复制的时间T秒；
S3：监视器获取目标集群网络传输速率RaM/s；
S4：目标端计算网络可承载的数据量M0；
S5：判断系统是否完成上一次数据传输；
S6：上报远端可接收增量的数据量M0；
S7：计算出源端可发送增量数据量M1；
S8：源端计数器获取LUN-TREE叶子节点修改个数C；
S9：计算集群实际增量数据量M2；
S10：源端判断集群增量数据量M2；
S11：立刻触发本次远程复制任务，包括以下步骤：
S11-1：源端创建源端快照1；
S11-2：首次远程复制完成；
S11-3：目标端创建源端快照1；
S11-4：源端根据目标端网络承载量，再次发起远程复制任务；
S11-5：源端创建源端快照2；
S11-6：目标端创建目标端快照2；
S11-7：源端比对源端快照1与源端快照2，发送增量数据至目标端；
S11-8：判断本次远程复制任务是否成功。
2.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：在S1中，首次远程复制为全量复制，确保源端以及目标端数据一致。
3.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：在S3中，监视器用于采集目标集群IO变化量，网络带宽。
4.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：在S8中，LUN-TREE的一个叶子结点代表4k的空间，当有数据变更，叶子结点的内容也随之更改，更改完成后上报至计数器，计数器计数加一，当触发一次远程复制，计数器清零，再重新计数。
5.根据权利要求4所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：LUN是一组用于存储数据的逻辑地址的集合，LUN-TREE即是逻辑地址以树的形式进行组织和管理。
6.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：在S10中，当集群增量数据量M2大于或等于M0时，执行S11，当集群增量数据量M2大于或等于M1时，源端机体等待，重复S7。
7.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：在S11中，远程复制任务采用异步远程复制。
8.根据权利要求1所述的基于网络承载量的可靠的远程数据保护方法，其特征在于：数据保护算法采用阀值调节方法来控制数据量调整时机。
CN202010094565.6A 2020-02-16 2020-02-16 基于网络承载量的可靠的远程数据保护方法 Pending CN111343250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010094565.6A CN111343250A (zh) 2020-02-16 2020-02-16 基于网络承载量的可靠的远程数据保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010094565.6A CN111343250A (zh) 2020-02-16 2020-02-16 基于网络承载量的可靠的远程数据保护方法

Publications (1)

Publication Number Publication Date
CN111343250A true CN111343250A (zh) 2020-06-26

Family

ID=71181521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010094565.6A Pending CN111343250A (zh) 2020-02-16 2020-02-16 基于网络承载量的可靠的远程数据保护方法

Country Status (1)

Country Link
CN (1) CN111343250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781729A (zh) * 2023-08-21 2023-09-19 中移(苏州)软件技术有限公司 资源信息同步方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014152A (zh) * 2010-10-18 2011-04-13 浪潮(北京)电子信息产业有限公司 一种远程复制系统及其方法
CN102136993A (zh) * 2010-07-29 2011-07-27 华为技术有限公司 一种数据迁移的方法、装置和系统
CN104104735A (zh) * 2014-08-06 2014-10-15 汉柏科技有限公司 利用空闲带宽进行数据备份的方法及系统
CN107038091A (zh) * 2017-03-29 2017-08-11 国网山东省电力公司信息通信公司 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法
CN109542684A (zh) * 2018-11-20 2019-03-29 郑州云海信息技术有限公司 一种存储远程复制方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136993A (zh) * 2010-07-29 2011-07-27 华为技术有限公司 一种数据迁移的方法、装置和系统
CN102014152A (zh) * 2010-10-18 2011-04-13 浪潮(北京)电子信息产业有限公司 一种远程复制系统及其方法
CN104104735A (zh) * 2014-08-06 2014-10-15 汉柏科技有限公司 利用空闲带宽进行数据备份的方法及系统
CN107038091A (zh) * 2017-03-29 2017-08-11 国网山东省电力公司信息通信公司 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法
CN109542684A (zh) * 2018-11-20 2019-03-29 郑州云海信息技术有限公司 一种存储远程复制方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781729A (zh) * 2023-08-21 2023-09-19 中移(苏州)软件技术有限公司 资源信息同步方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
JP6522812B2 (ja) 分散型データベースシステム用高速クラッシュ回復
JP6538780B2 (ja) 分散型データベースシステムのシステム全体のチェックポイント回避
US10831614B2 (en) Visualizing restoration operation granularity for a database
US8850124B1 (en) Method, system, apparatus, and computer-readable medium for implementing caching in a storage system
JP6404907B2 (ja) 効率的な読み取り用レプリカ
US9916201B2 (en) Write performance in fault-tolerant clustered storage systems
US8341115B1 (en) Dynamically switching between synchronous and asynchronous replication
US8924622B2 (en) Extender storage pool system
US8554737B2 (en) Dynamic consistency group formation and systems using the same
US20220004320A1 (en) Sharing memory resources between asynchronous replication workloads
US10379977B2 (en) Data management method, node, and system for database cluster
US11487463B2 (en) Adaptive replication modes in a storage system
CN101441582A (zh) 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品
KR102316397B1 (ko) 추가-전용-파일 재기입들을 제어하기 위한 방법들, 시스템들 및 매체들
CN111966449B (zh) 一种虚拟机备份管理方法、系统、终端及存储介质
US9053073B1 (en) Use of timestamp logic in synchronous replication
CN108667635A (zh) 一种容灾处理的方法、设备及系统
CN111343250A (zh) 基于网络承载量的可靠的远程数据保护方法
Liao et al. Partial replication of metadata to achieve high metadata availability in parallel file systems
US8407301B1 (en) Systems and methods for creating incremental images of cluster volumes
US11928350B2 (en) Systems and methods for scaling volumes using volumes having different modes of operation
CN115277606B (zh) 一种优化drbd数据同步的方法
CN116009784A (zh) 存储系统及存储集群的配置方法
CN117033070A (zh) 数据一致性处理方法、装置、计算机设备和存储介质
Ervin Managing extended distance EMC SRDF semi-synchronous remote copy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication