CN102567145A - 一种远程拷贝方法 - Google Patents
一种远程拷贝方法 Download PDFInfo
- Publication number
- CN102567145A CN102567145A CN2011104476155A CN201110447615A CN102567145A CN 102567145 A CN102567145 A CN 102567145A CN 2011104476155 A CN2011104476155 A CN 2011104476155A CN 201110447615 A CN201110447615 A CN 201110447615A CN 102567145 A CN102567145 A CN 102567145A
- Authority
- CN
- China
- Prior art keywords
- data block
- data
- copying
- source book
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种远程拷贝的方法，用于提高远程增量拷贝时的性能。其方法在于在第一次拷贝时，不将被修改的数据块拷贝到配对卷中，只是记录在位图中，当第一次拷贝完成后，马上将被修改的数据块同步到远程卷。该方法相对于现有技术，可以大大减小IO负载。
Description
技术领域
本发明涉及数据容灾备份技术领域，尤其涉及一种远程拷贝方法。
背景技术
所谓数据容灾，就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。采用的主要技术是数据备份和数据复制技术。
为了节约数据传输带宽，减轻IO负载，通常采用增量备份技术，即仅备份上一次备份后所有发生变化的文件。增量备份时，第一次同步需要将整个源卷的数据同步到目的卷，之后的每次同步仅需同步用户写操作修改的数据块。
增量远程复制在每次在传输需要同步的数据时，如果这些数据所在的区域要被修改，那么这些区域需要被记录，并且被记录的区域内的数据需要被拷贝到一个和源卷对应的配对卷中。这样虽然能保证源卷和目的卷数据的一致性，但是由于在第一次同步时需要传输整个源卷，如果用户修改的数据比较多，需要被拷贝到配对卷的数据块也多，因此在同步时IO负载会很大，严重影响性能。
发明内容
本发明提供了一种远程拷贝方法，可以减轻远程拷贝时的IO负载压力。该方法包括如下步骤：
A、进行增量备份的第一次同步时，建立源卷的位图，所述位图中的每一位分别对应源卷的一个数据块，每一位的数值表示其对应的数据块在远程拷贝过程中是否被修改；
B、开始将源卷的完整数据拷贝到目的卷；
C、在数据拷贝的过程中，如果源卷的数据块被修改，则仅将被修改的数据块对应的位图位标记为已修改，但不讲数据块拷贝到对应的配对卷中；
D、数据拷贝完毕后，将标记为已修改位图位对应的数据块拷贝到目的卷对应的数据块。
其特征在于，所述每一个数据块的大小为4k、8k、16k、32k或64k，单位为字节。
从以上技术方案可以看出，增量远程复制第一次同步时，只记录被修改的数据块的位置。等第一次同步完成后，马上根据记录再同步一次数据，即可实现目的卷与源卷的数据同步。该方法相对于现有技术，可以大大减小IO负载。
附图说明
图1为本发明实施例提供的一种远程拷贝方法流程图；
图2为图1所示流程中各个步骤的原理示意图。
具体实施方式
本发明提出的一种远程拷贝方法来平衡增量远程复制时的IO负载问题。和传统的增量远程复制方法相比，此方法在增量远程复制第一次同步时，禁止拷贝数据到配对卷中，只记录被修改的数据块的位置。等第一次同步完成后，马上根据记录再同步一次数据。
本发明实施例提供的一种远程拷贝方法流程如图1所示，包括如下步骤：
步骤101：进行增量备份的第一次同步时，建立源卷的位图(bitmap)。所述位图中的每一位分别对应源卷的一个数据块，每一位的数值表示其对应的数据块在远程拷贝过程中是否被修改。
步骤102：开始将源卷的数据拷贝到目的卷。
步骤103：在数据拷贝的过程中，如果源卷的数据块被修改，则将被修改的数据块对应的位图位标记为已修改。
步骤104：数据拷贝完毕后，将标记为已修改位图位对应的数据块拷贝到目的卷对应的数据块。
以上流程中，每个数据块的大小可以根据实际需要进行设置，例如设置为4k、8k、16k、32k、64k，单位为字节。数据块设置的越小，如果修改的数据块不是连续的，则第二次拷贝的数据量可能也越小，但位图位的数量也会越多；反之，数据块设置的越大，则第二次拷贝的数据量也可能越多，但如果修改的数据块是连续的，则相对于数据块较小的情形，数据量增加不会很多。
图2为图1所示流程中各个步骤的原理示意图。其中大矩形框表示所需拷贝的源卷，大矩形框中的小方框表示源卷中划分的各个数据块。步骤103对应的图形中，涂黑的方框表示在数据拷贝进行的时段被修改的数据块，这些数据块对应的位图位标记为已修改。在源卷拷贝之后，对标记为已修改的位图位对应的数据块进行二次拷贝。
本发明方案实现即为简单，仅通过在源卷拷贝之后进行少量数据块的拷贝即可实现，可以大大减小IO负载；并且该方案无须配对卷，对于硬件的要求也更低。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (2)
1.一种远程拷贝方法，其特征在于降低第一次同步时的IO负载，该方法包括如下步骤：
A、进行增量备份的第一次同步时，建立源卷的位图，所述位图中的每一位分别对应源卷的一个数据块，每一位的数值表示其对应的数据块在远程拷贝过程中是否被修改；
B、开始将源卷的完整数据拷贝到目的卷；
C、在数据拷贝的过程中，如果源卷的数据块被修改，则仅将被修改的数据块对应的位图位标记为已修改，但不讲数据块拷贝到对应的配对卷中；
D、数据拷贝完毕后，将标记为已修改位图位对应的数据块拷贝到目的卷对应的数据块。
2.根据权利要求1所述的方法，其特征在于，所述每一个数据块的大小为4k、8k、16k、32k或64k，单位为字节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104476155A CN102567145A (zh) | 2011-12-28 | 2011-12-28 | 一种远程拷贝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104476155A CN102567145A (zh) | 2011-12-28 | 2011-12-28 | 一种远程拷贝方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102567145A true CN102567145A (zh) | 2012-07-11 |
Family
ID=46412623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104476155A Pending CN102567145A (zh) | 2011-12-28 | 2011-12-28 | 一种远程拷贝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102567145A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064763A (zh) * | 2012-12-27 | 2013-04-24 | 华为技术有限公司 | 一种数据备份方法及相关设备、系统 |
| CN105224422A (zh) * | 2015-10-20 | 2016-01-06 | 浙江大华技术股份有限公司 | 一种数据备份方法及设备 |
| CN105988901A (zh) * | 2013-12-12 | 2016-10-05 | 华为技术有限公司 | 数据复制方法及存储系统 |
| CN106598774A (zh) * | 2016-10-13 | 2017-04-26 | 深信服网络科技（深圳）有限公司 | 虚拟机的备份还原方法及装置 |
| CN107402852A (zh) * | 2017-08-16 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种带自适应变更卷的远程复制方法 |
| CN109542673A (zh) * | 2016-04-28 | 2019-03-29 | 南京壹进制信息科技有限公司 | 一种卷镜像中断后快速增量初始化的方法 |
| US10545994B2 (en) | 2013-12-12 | 2020-01-28 | Huawei Technologies Co., Ltd. | Data replication method and storage system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6101585A (en) * | 1997-11-04 | 2000-08-08 | Adaptec, Inc. | Mechanism for incremental backup of on-line files |
| CN1567262A (zh) * | 2003-06-10 | 2005-01-19 | 联想(北京)有限公司 | 基于数据卷快照的在线数据备份方法 |
| CN1746855A (zh) * | 2005-10-26 | 2006-03-15 | 北京启明星辰信息技术有限公司 | 一种基于伪块设备的应用层透明容灾备份方法及系统 |
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
-
2011
- 2011-12-28 CN CN2011104476155A patent/CN102567145A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6101585A (en) * | 1997-11-04 | 2000-08-08 | Adaptec, Inc. | Mechanism for incremental backup of on-line files |
| CN1567262A (zh) * | 2003-06-10 | 2005-01-19 | 联想(北京)有限公司 | 基于数据卷快照的在线数据备份方法 |
| CN1746855A (zh) * | 2005-10-26 | 2006-03-15 | 北京启明星辰信息技术有限公司 | 一种基于伪块设备的应用层透明容灾备份方法及系统 |
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064763A (zh) * | 2012-12-27 | 2013-04-24 | 华为技术有限公司 | 一种数据备份方法及相关设备、系统 |
| CN105988901A (zh) * | 2013-12-12 | 2016-10-05 | 华为技术有限公司 | 数据复制方法及存储系统 |
| CN105988901B (zh) * | 2013-12-12 | 2019-06-18 | 华为技术有限公司 | 数据复制方法及存储系统 |
| US10545994B2 (en) | 2013-12-12 | 2020-01-28 | Huawei Technologies Co., Ltd. | Data replication method and storage system |
| US10706072B2 (en) | 2013-12-12 | 2020-07-07 | Huawei Technologies Co., Ltd. | Data replication method and storage system |
| US11734306B2 (en) | 2013-12-12 | 2023-08-22 | Huawei Technologies Co., Ltd. | Data replication method and storage system |
| CN105224422A (zh) * | 2015-10-20 | 2016-01-06 | 浙江大华技术股份有限公司 | 一种数据备份方法及设备 |
| CN105224422B (zh) * | 2015-10-20 | 2019-02-12 | 浙江大华技术股份有限公司 | 一种数据备份方法及设备 |
| CN109542673A (zh) * | 2016-04-28 | 2019-03-29 | 南京壹进制信息科技有限公司 | 一种卷镜像中断后快速增量初始化的方法 |
| CN106598774A (zh) * | 2016-10-13 | 2017-04-26 | 深信服网络科技（深圳）有限公司 | 虚拟机的备份还原方法及装置 |
| CN107402852A (zh) * | 2017-08-16 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种带自适应变更卷的远程复制方法 |
| CN107402852B (zh) * | 2017-08-16 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 一种带自适应变更卷的远程复制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102567145A (zh) | 一种远程拷贝方法 | |
| CN108628874B (zh) | 迁移数据的方法、装置、电子设备和可读存储介质 | |
| WO2016107220A1 (zh) | 基于重复数据删除的远程复制方法及装置 | |
| MX2014011988A (es) | Sistema de telemetria para un sistema de sincronizacion de nube. | |
| CN103177077B (zh) | 一种apk文件的存储及输出方法 | |
| US20180314625A1 (en) | Method and design for automated testing system | |
| MX2010011958A (es) | Sincronizacion de documento a traves de protocolos sin estado. | |
| US10331629B2 (en) | Database conversion from single monolithic file mode to one table per file and one file per table mode | |
| CN103699638A (zh) | 一种基于配置参数实现跨数据库类型同步数据的方法 | |
| US9659072B2 (en) | Creation of change-based data integration jobs | |
| CN102541685A (zh) | 一种Linux系统备份和修复方法 | |
| CN102663076A (zh) | 文件数据处理方法 | |
| CN105574127A (zh) | 分布式数据库系统准实时的双活方法 | |
| CN107203327A (zh) | 一种用于存储系统的方法和装置 | |
| CN103106271A (zh) | 一种基于海量数据的数据库备份及恢复方法和系统 | |
| CN103106200A (zh) | 非关系型数据库同步系统及双写同步方法 | |
| CN102291453A (zh) | 一种数据同步的方法及装置 | |
| CN110175211B (zh) | 一种数据同步方法及装置 | |
| US20160092316A1 (en) | Staged restore of a decremental backup chain | |
| CN104461784A (zh) | 一种基于单进度位图的克隆拷贝方法和系统 | |
| CN106383667A (zh) | 业务运行中lun迁移的方法和装置 | |
| CN113157670A (zh) | 数据库的数据迁移方法及系统 | |
| CN103853748A (zh) | 一种数据库同步方法 | |
| CN107783863A (zh) | 一种海量文件快速合成备份方法 | |
| CN112286450A (zh) | 一种数据远程复制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 214135 Jiangsu New District of Wuxi, Taihu international science and Technology Parks Linghu Road No. 200 Chinese micro nano sensor network of International Innovation Park Building No. 1 Applicant after: Clouds creators information technology (Wuxi) Co., Ltd. Applicant after: Shenzhen Anyun Information Technology Co., Ltd. Address before: 214135 Jiangsu New District of Wuxi, Taihu international science and Technology Parks Linghu Road No. 200 Chinese micro nano sensor network of International Innovation Park Building No. 1 Applicant before: Clouds creators information technology (Wuxi) Co., Ltd. Applicant before: Shenzhen Chuangxinke Information Technology Co., Ltd. |
|
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120711 |