CN112463458A - 一种远程复制的方法和设备 - Google Patents
一种远程复制的方法和设备 Download PDFInfo
- Publication number
- CN112463458A CN112463458A CN202011436673.3A CN202011436673A CN112463458A CN 112463458 A CN112463458 A CN 112463458A CN 202011436673 A CN202011436673 A CN 202011436673A CN 112463458 A CN112463458 A CN 112463458A
- Authority
- CN
- China
- Prior art keywords
- volume
- snapshot
- relationship
- volumes
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 17
- 230000010076 replication Effects 0.000 claims description 16
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种远程复制的方法和设备，该方法包括：监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系；响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；为列表中的建立配对关系的主卷和对应的备卷创建定时任务；响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。通过使用本发明的方案，能够最大限度保证数据的一致性，以减少灾难发生时的数据丢失量，异步远程复制周期性地同步数据，最大限度减少由于数据远程传输的延时而造成的业务性能下降。
Description
技术领域
本领域涉及计算机领域，并且更具体地涉及一种远程复制的方法和设备。
背景技术
数据的快速增长及数据的高可用性、安全性的要求刺激了存储技术的发展，存储技术已成为IT基础架构的一个关键因素，存储网络为海量存储数据和共享数据提供了一个有效的硬件基础。面对海量数据，数据的保护和灾难恢复也越来越重要，而原有的数据保护方法，如磁带备份，存在备份窗口大、恢复时间长、实时响应差、影响正常业务等弊端，已经无法满足当前的需求。
发明内容
有鉴于此，本发明实施例的目的在于提出一种远程复制的方法和设备，通过使用本发明的技术方案，能够最大限度保证数据的一致性，以减少灾难发生时的数据丢失量，异步远程复制周期性地同步数据，最大限度减少由于数据远程传输的延时而造成的业务性能下降。
基于上述目的，本发明的实施例的一个方面提供了一种远程复制的方法，包括以下步骤：
监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系；
响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；
为列表中的建立配对关系的主卷和对应的备卷创建定时任务；
响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。
根据本发明的一个实施例，响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表还包括：响应于监测到主卷与对应的备卷建立配对关系，对主卷和对应的备卷打第一次快照；
响应于定时任务到时，将主卷中新增的数据写入对应的备卷中包括：响应于定时任务到时，对主卷打第二次快照；将主卷的第二次快照与主卷的第一次快照进行比较以得到差异；将差异导入备卷中。
根据本发明的一个实施例，还包括：
响应于将差异导入备卷完成，对备卷打第二次快照；
删除主卷和备卷的第一次快照。
根据本发明的一个实施例，配对关系为远程复制卷的配对关系。
根据本发明的一个实施例，监控存储池中的卷的信息包括：
在系统中启动replicate进程；
replicate进程启动集群观察者线程监控存储池中的卷的信息。
本发明的实施例的另一个方面，还提供了一种远程复制的设备，设备包括：
监控模块，监控模块配置为监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系；
获取模块，获取模块配置为响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；
创建模块，创建模块配置为为列表中的建立配对关系的主卷和对应的备卷创建定时任务；
写入模块，写入模块配置为响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。
根据本发明的一个实施例，写入模块还配置为：
响应于监测到主卷与对应的备卷建立配对关系，对主卷和对应的备卷打第一次快照；
响应于定时任务到时，对主卷打第二次快照；
将主卷的第二次快照与主卷的第一次快照进行比较以得到差异；
将差异导入备卷中。
根据本发明的一个实施例，还包括删除模块，删除模块还配置为：
响应于将差异导入备卷完成，对备卷打第二次快照；
删除主卷和备卷的第一次快照。
根据本发明的一个实施例，配对关系为远程复制卷的配对关系。
根据本发明的一个实施例，监控模块还配置为：
在系统中启动replicate进程；
replicate进程启动集群观察者线程监控存储池中的卷的信息。
本发明具有以下有益技术效果：本发明实施例提供的远程复制的方法，通过监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系；响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；为列表中的建立配对关系的主卷和对应的备卷创建定时任务；响应于定时任务到时，将主卷中新增的数据写入对应的备卷中的技术方案，能够最大限度保证数据的一致性，以减少灾难发生时的数据丢失量，异步远程复制周期性地同步数据，最大限度减少由于数据远程传输的延时而造成的业务性能下降。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的远程复制的方法的示意性流程图；
图2为根据本发明一个实施例的远程复制的设备的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
基于上述目的，本发明的实施例的第一个方面，提出了一种远程复制的方法的一个实施例。图1示出的是该方法的示意性流程图。
如图1中所示，该方法可以包括以下步骤：
S1监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系，在异步远程复制过程中，需要在系统中启动replicate(复制)进程，replicate进程又会新起cluster watcher(集群观察者)线程，cluster watcher线程会不停地获取所有存储池信息，其中包括存储池中的卷是否创建配对关系的信息；
S2响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表，通过replayer(执行者)线程中的replayer函数会获取存储池中创建配对关系的主卷和备卷的关系的列表；
S3为列表中的建立配对关系的主卷和对应的备卷创建定时任务，一旦监测到有配对关系建立，会对主卷和对应的备卷创建定时任务，定时时间可以根据需要自行设定；
S4响应于定时任务到时，将主卷中新增的数据写入对应的备卷中，检测到建立配对关系时设定定时任务开始定时，当定时任务接收后，也就是经过了一个定时周期，在这个周期内会不定时往主卷中写入数据，当周期结束后获取本周期内主卷的新增数据，然后将新增的数据写入到对应的备卷中以完成主卷和备卷的周期性同步。
通过本发明的技术方案，能够最大限度保证数据的一致性，以减少灾难发生时的数据丢失量，异步远程复制周期性地同步数据，最大限度减少由于数据远程传输的延时而造成的业务性能下降。
在本发明的一个优选实施例中，响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表还包括：响应于监测到主卷与对应的备卷建立配对关系，对主卷和对应的备卷打第一次快照；
响应于定时任务到时，将主卷中新增的数据写入对应的备卷中包括：响应于定时任务到时，对主卷打第二次快照；将主卷的第二次快照与主卷的第一次快照进行比较以得到差异；将差异导入备卷中。在主卷与对应的备卷创建配对关系时，分别对主卷和备卷打快照，也就是记录创建配对关系时主卷和备卷中的数据，定时任务期间，会时不时往主卷写数据，定时任务到时之后，对主卷再打一个快照，将这个快照与之前主备卷所打快照的最后一个相同快照(common_sanp)做比较可以得到在定时任务期间主卷的数据增量，然后将该增量导入备卷中以完成主卷和备卷的同步。
在本发明的一个优选实施例中，还包括：
响应于将差异导入备卷完成，对备卷打第二次快照；
删除主卷和备卷的第一次快照。数据同步完成后，备卷再打一个快照，这样做的目的是为了下一次增量同步做准备，并且能够避免配对关系失效后对主备卷重新restore。最后，删除除主卷和备卷最新打的快照外的所有快照，下一个周期同步开始。
在本发明的一个优选实施例中，配对关系为远程复制卷的配对关系。主卷和从卷建立远程复制关系之后，主卷的数据才会定时同步给从卷。配对关系建立之后会写到卷的元数据，我们可以从卷的元数据中读到。
在本发明的一个优选实施例中，监控存储池中的卷的信息包括：
在系统中启动replicate进程；
replicate进程启动集群观察者线程监控存储池中的卷的信息。该信息是从底层元数据对象拿到的。对元数据写入时是一个key,value的形式，我们知道key可以获得value(远程复制卷配对关系)。
相较于同步远程复制实时地同步数据，本发明的技术方案能够最大限度保证数据的一致性，以减少灾难发生时的数据丢失量，异步远程复制周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。相较于社区的rbd-mirror机制以journal方式检查同步数据，本发明的技术方案对主集群的性能影响较小，逻辑更清晰易懂。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。
基于上述目的，本发明的实施例的第二个方面，提出了一种远程复制的设备，如图2所示，设备200包括：
监控模块，监控模块配置为监控存储池中的卷的信息并基于卷的信息判断是否有卷建立配对关系；
获取模块，获取模块配置为响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；
创建模块，创建模块配置为为列表中的建立配对关系的主卷和对应的备卷创建定时任务；
写入模块，写入模块配置为响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。
在本发明的一个优选实施例中，写入模块还配置为：
响应于监测到主卷与对应的备卷建立配对关系，对主卷和对应的备卷打第一次快照；
响应于定时任务到时，对主卷打第二次快照；
将主卷的第二次快照与主卷的第一次快照进行比较以得到差异；
将差异导入备卷中。
在本发明的一个优选实施例中，还包括删除模块，删除模块还配置为：
响应于将差异导入备卷完成，对备卷打第二次快照；
删除主卷和备卷的第一次快照。
在本发明的一个优选实施例中，配对关系为远程复制卷的配对关系。
在本发明的一个优选实施例中，监控模块还配置为：
在系统中启动replicate进程；
replicate进程启动集群观察者线程监控存储池中的卷的信息。
上述实施例，特别是任何“优选”实施例是实现的可能示例，并且仅为了清楚地理解本发明的原理而提出。可以在不脱离本文所描述的技术的精神和原理的情况下对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开的范围内并且由所附权利要求保护。
Claims (10)
1.一种远程复制的方法，其特征在于，包括以下步骤：
监控存储池中的卷的信息并基于所述卷的信息判断是否有卷建立配对关系；
响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；
为所述列表中的建立配对关系的主卷和对应的备卷创建定时任务；
响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。
2.根据权利要求1所述的方法，其特征在于，响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表还包括：响应于监测到所述主卷与所述对应的备卷建立配对关系，对所述主卷和所述对应的备卷打第一次快照；
响应于定时任务到时，将主卷中新增的数据写入对应的备卷中包括：响应于所述定时任务到时，对所述主卷打第二次快照；将所述主卷的第二次快照与所述主卷的第一次快照进行比较以得到差异；将所述差异导入所述备卷中。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于将所述差异导入所述备卷完成，对所述备卷打第二次快照；
删除所述主卷和所述备卷的第一次快照。
4.根据权利要求1所述的方法，其特征在于，所述配对关系为远程复制卷的配对关系。
5.根据权利要求1所述的方法，其特征在于，监控存储池中的卷的信息包括：
在系统中启动replicate进程；
所述replicate进程启动集群观察者线程监控存储池中的卷的信息。
6.一种远程复制的设备，其特征在于，所述设备包括：
监控模块，所述监控模块配置为监控存储池中的卷的信息并基于所述卷的信息判断是否有卷建立配对关系；
获取模块，所述获取模块配置为响应于有卷建立配对关系，获取建立配对关系的主卷和对应的备卷的关系列表；
创建模块，所述创建模块配置为为所述列表中的建立配对关系的主卷和对应的备卷创建定时任务；
写入模块，所述写入模块配置为响应于定时任务到时，将主卷中新增的数据写入对应的备卷中。
7.根据权利要求6所述的设备，其特征在于，所述写入模块还配置为：
响应于监测到所述主卷与所述对应的备卷建立配对关系，对所述主卷和所述对应的备卷打第一次快照；
响应于所述定时任务到时，对所述主卷打第二次快照；
将所述主卷的第二次快照与所述主卷的第一次快照进行比较以得到差异；
将所述差异导入所述备卷中。
8.根据权利要求7所述的设备，其特征在于，还包括删除模块，所述删除模块还配置为：
响应于将所述差异导入所述备卷完成，对所述备卷打第二次快照；
删除所述主卷和所述备卷的第一次快照。
9.根据权利要求8所述的设备，其特征在于，所述配对关系为远程复制卷的配对关系。
10.根据权利要求6所述的设备，其特征在于，所述监控模块还配置为：
在系统中启动replicate进程；
所述replicate进程启动集群观察者线程监控存储池中的卷的信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011436673.3A CN112463458A (zh) | 2020-12-11 | 2020-12-11 | 一种远程复制的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011436673.3A CN112463458A (zh) | 2020-12-11 | 2020-12-11 | 一种远程复制的方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112463458A true CN112463458A (zh) | 2021-03-09 |
Family
ID=74801169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011436673.3A Withdrawn CN112463458A (zh) | 2020-12-11 | 2020-12-11 | 一种远程复制的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112463458A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113419676A (zh) * | 2021-06-11 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种数据远程复制方法、系统、存储介质及设备 |
-
2020
- 2020-12-11 CN CN202011436673.3A patent/CN112463458A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113419676A (zh) * | 2021-06-11 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种数据远程复制方法、系统、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6643671B2 (en) | System and method for synchronizing a data copy using an accumulation remote copy trio consistency group | |
| US20160147614A1 (en) | Synchronized Backup and Recovery of Database Systems | |
| CN108958984B (zh) | 基于ceph的双活同步在线热备方法 | |
| CN106202365B (zh) | 数据库更新同步的方法、系统及数据库集群 | |
| CN104486319A (zh) | 适用于高可用系统的配置文件实时同步方法及其系统 | |
| CN107038091B (zh) | 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法 | |
| CN114466027B (zh) | 一种云原生数据库服务提供方法、系统、设备及介质 | |
| CN111078667A (zh) | 一种数据迁移的方法以及相关装置 | |
| CN105610566A (zh) | 主备节点间数据实时同步的方法及系统 | |
| CN110119329A (zh) | 数据复制容灾方法及容灾系统 | |
| CN112463458A (zh) | 一种远程复制的方法和设备 | |
| CN109739685B (zh) | 一种主从热备份数据同步方法和存储介质 | |
| CN115617908A (zh) | 一种MySQL数据同步方法、装置、数据库终端、介质及系统 | |
| CN109062735B (zh) | 一种存储系统的容灾方法、存储系统和相关装置 | |
| CN109947592B (zh) | 一种数据同步方法、装置以及相关设备 | |
| CN111984474B (zh) | 一种双控集群故障恢复的方法、系统及设备 | |
| CN108460047A (zh) | 数据同步方法及设备 | |
| WO2021189283A1 (zh) | 数据处理方法、装置、电子装置及存储介质 | |
| CN115129676A (zh) | 数据同步方法、装置、设备及介质 | |
| CN111506453A (zh) | 磁盘快照创建方法、装置、系统和存储介质 | |
| CN112632188A (zh) | 一种异步复制数据的方法和设备 | |
| CN115563221A (zh) | 数据同步方法、存储系统、设备及存储介质 | |
| CN107404511B (zh) | 集群中服务器的替换方法及设备 | |
| CN114756410A (zh) | 一种双机热备系统的数据恢复方法、装置及介质 | |
| CN113297134B (zh) | 数据处理系统及数据处理方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210309 |
|
| WW01 | Invention patent application withdrawn after publication |