CN104375904A - 一种基于快照差异化数据传输的容灾备份方法 - Google Patents
一种基于快照差异化数据传输的容灾备份方法 Download PDFInfo
- Publication number
- CN104375904A CN104375904A CN201410595406.9A CN201410595406A CN104375904A CN 104375904 A CN104375904 A CN 104375904A CN 201410595406 A CN201410595406 A CN 201410595406A CN 104375904 A CN104375904 A CN 104375904A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- data
- local
- backup
- differentiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于快照差异化数据传输的容灾备份方法，属于数据安全和数据容灾备份领域，本发明通过数据前后快照数据的比较，将差异化的数据确定出来，并将差异化数据传输至备端，在备端上进行快照操作并传回与对应快照进行比较，确保两端数据一致，最终达到数据备份容灾的作用，实现差异化的数据传输，节省带宽资源、降低延时。
Description
技术领域
本发明涉及数据安全和数据容灾备份领域，具体涉及本文提出的一种基于快照差异化数据传输的容灾备份方法。
背景技术
数据容灾在当前数据中心建设中是一项重要的技术要求，尤其是对于重要数据的容灾保护。通常的方式是将本地的数据全部传输至备份端，比如本地端有100T的数据，那么最终通过链路传输至 备份端的数据同样是100T，同时链路的带宽要求完全取决于业务峰值带宽，所以这样对链路的压力非常大，无论是在传输的数据量上还是在带宽要求上。至此，如果能在保证数据安全性的前提下实现少量数据、低带宽的传输条件下进行数据容灾传输，同时保证数据的可用性和一致性，这样的技术容灾备份技术意义重大。
发明内容
本设计提出的一种基于快照差异化数据传输的容灾备份方法就是在以上的技术背景下提出的。
本文提出的基于快照差异化数据传输的容灾备份技术，通过数据前后快照数据的比较，将差异化的数据确定出来，并将差异化数据传输至备端，在备端上进行快照操作并传回与对应快照进行比较，确保两端数据一致，最终达到数据备份容灾的作用。
在上面论述的技术背景之上，下文对本设计内容进行详细的阐述。本设计方法包括以下几个数据处理过程和阶段：
第一：在建立本地端和备份端的镜像关系后（LUN_Local----LUN_Remote），首先完成本地端的数据向备份端进行初始化同步，该过程是为了实现最初的数据一致；
第二：完成数据的第一次同步后对LUN_Loca进行快照操作，记为快照snapshot1_Local，并将快照1的元数据存储在快照空间Snapshot_Space_Local中；
第三：经过实践T后，对镜像卷LUN_Local进行快照操作，并记为snapshot2_Local，同样将snapshot2的元数据存储在快照空间Snapshot_Space_Local中，时间T依据需求、存储性能要求等因素进行对应设置，满足T>0即可，至此，快照就按照相隔时间T进行快照操作，记为snapshot3_Local、snapshot4_Local、snapshot5_Local…shnapshotN_Local，并存储在Snapshot_Space_Local；
第四：在完成快照snapshot2_Local后，将snapshot2_Local和snapshot1_Local作比较，将差异化的数据找出，第三步的数据快照操作和第四步并行；
第五：将基于第四步找出的差异化数据传输至备份端，对应写入备份端空间，完成写入后在备份端进行snapshot的创建，即为snapshot_R_2，并将snapshot_R_2传输至本地与snapshot2_Local进行比较，确保两者一样进而确保了数据的一致性；
第六：以此类推，将snapshot[N]_Local与snapshot[N-1]_Local进行比较，并将差异出的数据找出来传输至备份端，完成备份端数据写入后，在备份端进行对应的snapshot_R_[N]快照操作并传回本地端和snapshot[N]_Local进行快照元数据一致性确认，以确保备份端数据和本地端的数据相同；
第七：三、四、五、六各个步骤并行进行。
以上7个阶段实现将本地端的LUN_Local的数据通过快照实现相隔时间T的数据确定出，即为DATA[N]，并将DATA[N]传输到备份端写入，然后完成返回的snapshot[N]_Local和snapshot_R_[N]的比较以保证数据一致。假定在T1时刻某扇区的数据为0，其数据在上层IO的访问过程中依次变化为0-1-0-1-1-1-0，对于传统的数据容灾备份，我们需要将所有的数据0101110传输至备份端，但是使用本设计的方法后，通过快照的比较，我们进行T1时刻和（T1+T）的数据比较，0与0的比较，此时我们就只需要传输0即可，不需要传输0101110。这样就能有效的节省带宽，降低容灾链路的带宽要求。
本文提出的基于快照差异化数据的容灾备份方法在确保数据安全性和数据一致性的前提下实现了备份数据的差异化传输，降低了容灾链路的带宽要求，相比传统的容灾备份技术，更加节省了带宽资源，由于所需传输数据量的大大降低，节约了本地系统的计算等资源，有益于提升存储系统性能，降低容灾延时等。
具体实施方式
下面对本设计内容进行详细的阐述。本设计技术包括以下几个数据处理过程和阶段：
第一：在建立本地端和备份端的镜像关系后（LUN_Local----LUN_Remote），首先完成本地端的数据向备份端进行初始化同步，该过程是为了实现最初的数据一致；
第二：完成数据的第一次同步后对LUN_Loca进行快照操作，记为快照snapshot1_Local，并将快照1的元数据存储在快照空间Snapshot_Space_Local中；
第三：经过实践T后，对镜像卷LUN_Local进行快照操作，并记为snapshot2_Local，同样将snapshot2的元数据存储在快照空间Snapshot_Space_Local中，时间T依据需求、存储性能要求等因素进行对应设置，满足T>0即可，至此，快照就按照相隔时间T进行快照操作，记为snapshot3_Local、snapshot4_Local、snapshot5_Local…shnapshotN_Local，并存储在Snapshot_Space_Local；
第四：在完成快照snapshot2_Local后，将snapshot2_Local和snapshot1_Local作比较，将差异化的数据找出，第三步的数据快照操作和第四步并行；
第五：将基于第四步找出的差异化数据传输至备份端，对应写入备份端空间，完成写入后在备份端进行snapshot的创建，即为snapshot_R_2，并将snapshot_R_2传输至本地与snapshot2_Local进行比较，确保两者一样进而确保了数据的一致性；
第六：以此类推，将snapshot[N]_Local与snapshot[N-1]_Local进行比较，并将差异出的数据找出来传输至备份端，完成备份端数据写入后，在备份端进行对应的snapshot_R_[N]快照操作并传回本地端和snapshot[N]_Local进行快照元数据一致性确认，以确保备份端数据和本地端的数据相同；
第七：三、四、五、六各个步骤并行进行。
以上7个阶段实现将本地端的LUN_Local的数据通过快照实现相隔时间T的数据确定出，即为DATA[N]，并将DATA[N]传输到备份端写入，然后完成返回的snapshot[N]_Local和snapshot_R_[N]的比较以保证数据一致。假定在T1时刻某扇区的数据为0，其数据在上层IO的访问过程中依次变化为0-1-0-1-1-1-0，对于传统的数据容灾备份，我们需要将所有的数据0101110传输至备份端，但是使用本设计的技术后，通过快照的比较，我们进行T1时刻和（T1+T）的数据比较，0与0的比较，此时我们就只需要传输0即可，不需要传输0101110。这样就能有效的节省带宽，降低容灾链路的带宽要求。
Claims (3)
1.一种基于快照差异化数据传输的容灾备份方法，其特征在于通过数据前后快照数据的比较，将差异化的数据确定出来，并将差异化数据传输至备端，在备端上进行快照操作并传回与对应快照进行比较，确保两端数据一致，最终达到数据备份容灾的作用。
2.根据权利要求1所述的方法，其特征在于包括以下几个数据处理过程和阶段：
第一：在建立本地端和备份端的镜像关系后，首先完成本地端的数据向备份端进行初始化同步，该过程是为了实现最初的数据一致；
第二：完成数据的第一次同步后对LUN_Loca进行快照操作，记为快照snapshot1_Local，并将快照1的元数据存储在快照空间Snapshot_Space_Local中；
第三：经过实践T后，对镜像卷LUN_Local进行快照操作，并记为snapshot2_Local，同样将snapshot2的元数据存储在快照空间Snapshot_Space_Local中，时间T依据需求、存储性能要求等因素进行对应设置，满足T>0即可，至此，快照就按照相隔时间T进行快照操作，记为snapshot3_Local、snapshot4_Local、snapshot5_Local…shnapshotN_Local，并存储在Snapshot_Space_Local；
第四：在完成快照snapshot2_Local后，将snapshot2_Local和snapshot1_Local作比较，将差异化的数据找出，第三步的数据快照操作和第四步并行；
第五：将基于第四步找出的差异化数据传输至备份端，对应写入备份端空间，完成写入后在备份端进行snapshot的创建，即为snapshot_R_2，并将snapshot_R_2传输至本地与snapshot2_Local进行比较，确保两者一样进而确保了数据的一致性；
第六：以此类推，将snapshot[N]_Local与snapshot[N-1]_Local进行比较，并将差异出的数据找出来传输至备份端，完成备份端数据写入后，在备份端进行对应的snapshot_R_[N]快照操作并传回本地端和snapshot[N]_Local进行快照元数据一致性确认，以确保备份端数据和本地端的数据相同；
第七：三、四、五、六各个步骤并行进行。
3.根据权利要求2所述的方法，其特征在于该7个阶段实现将本地端的LUN_Local的数据通过快照实现相隔时间T的数据确定出，即为DATA[N]，并将DATA[N]传输到备份端写入，然后完成返回的snapshot[N]_Local和snapshot_R_[N]的比较以保证数据一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410595406.9A CN104375904A (zh) | 2014-10-30 | 2014-10-30 | 一种基于快照差异化数据传输的容灾备份方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410595406.9A CN104375904A (zh) | 2014-10-30 | 2014-10-30 | 一种基于快照差异化数据传输的容灾备份方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104375904A true CN104375904A (zh) | 2015-02-25 |
Family
ID=52554840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410595406.9A Pending CN104375904A (zh) | 2014-10-30 | 2014-10-30 | 一种基于快照差异化数据传输的容灾备份方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104375904A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159908A (zh) * | 2015-07-02 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种克隆数据库的方法和装置 |
| CN105487940A (zh) * | 2015-11-18 | 2016-04-13 | 华为技术有限公司 | 灾备端、生产端及两者之间的数据恢复方法 |
| CN107368391A (zh) * | 2017-07-21 | 2017-11-21 | 长沙曙通信息科技有限公司 | 一种基于快照新型容灾备份异步远程镜像实现方法 |
| CN107506265A (zh) * | 2017-08-30 | 2017-12-22 | 安徽天达网络科技有限公司 | 一种基于互联网的差异性远程文件备份与恢复系统 |
| CN108322533A (zh) * | 2018-01-31 | 2018-07-24 | 广州鼎甲计算机科技有限公司 | 基于操作日志的分布式集群节点间配置同步方法 |
| CN108733513A (zh) * | 2018-05-07 | 2018-11-02 | 杭州宏杉科技股份有限公司 | 一种数据更新方法及装置 |
| CN108845891A (zh) * | 2018-04-07 | 2018-11-20 | 长沙开雅电子科技有限公司 | 一种新型基于快照实现快速容灾备份实现方法 |
| CN109165120A (zh) * | 2018-08-08 | 2019-01-08 | 华为技术有限公司 | 分布式存储系统中管理快照和差异位图生成方法和产品 |
| CN110209528A (zh) * | 2018-11-30 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 数据备份方法、装置、服务器以及存储介质 |
| CN110737546A (zh) * | 2019-10-17 | 2020-01-31 | 深信服科技股份有限公司 | 一致性快照的检验方法、装置、设备及存储介质 |
| WO2020082744A1 (zh) * | 2018-10-22 | 2020-04-30 | 华为技术有限公司 | 一种备份数据的方法、装置和系统 |
| CN111569413A (zh) * | 2020-05-14 | 2020-08-25 | 北京代码乾坤科技有限公司 | 数据同步方法和装置 |
| CN111797057A (zh) * | 2020-06-30 | 2020-10-20 | 苏州三六零智能安全科技有限公司 | 快照差量数据生成方法、终端设备、存储介质及装置 |
| WO2024087914A1 (zh) * | 2022-10-24 | 2024-05-02 | 超聚变数字技术有限公司 | 数据同步方法及计算设备 |
| US12001297B2 (en) | 2018-11-30 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Data backup method and apparatus, server, and computer-readable storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1770088A (zh) * | 2004-11-02 | 2006-05-10 | 惠普开发有限公司 | 存储网络中的增量备份操作 |
| CN101833486A (zh) * | 2010-04-07 | 2010-09-15 | 山东高效能服务器和存储研究院 | 一种远程备份和恢复系统设计方法 |
| CN102033793A (zh) * | 2010-12-14 | 2011-04-27 | 成都市华为赛门铁克科技有限公司 | 快照方法和固态硬盘 |
| EP2477114A2 (en) * | 2005-06-24 | 2012-07-18 | Syncsort Incorporated | System and method for high performance enterprise data protection |
| US20140136803A1 (en) * | 2012-11-12 | 2014-05-15 | Huawei Technologies Co., Ltd. | Backing up Method, Device, and System for Virtual Machine |
-
2014
- 2014-10-30 CN CN201410595406.9A patent/CN104375904A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1770088A (zh) * | 2004-11-02 | 2006-05-10 | 惠普开发有限公司 | 存储网络中的增量备份操作 |
| EP2477114A2 (en) * | 2005-06-24 | 2012-07-18 | Syncsort Incorporated | System and method for high performance enterprise data protection |
| CN101833486A (zh) * | 2010-04-07 | 2010-09-15 | 山东高效能服务器和存储研究院 | 一种远程备份和恢复系统设计方法 |
| CN102033793A (zh) * | 2010-12-14 | 2011-04-27 | 成都市华为赛门铁克科技有限公司 | 快照方法和固态硬盘 |
| US20140136803A1 (en) * | 2012-11-12 | 2014-05-15 | Huawei Technologies Co., Ltd. | Backing up Method, Device, and System for Virtual Machine |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159908A (zh) * | 2015-07-02 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种克隆数据库的方法和装置 |
| CN105487940B (zh) * | 2015-11-18 | 2019-04-05 | 华为技术有限公司 | 灾备端、生产端及两者之间的数据恢复方法 |
| CN105487940A (zh) * | 2015-11-18 | 2016-04-13 | 华为技术有限公司 | 灾备端、生产端及两者之间的数据恢复方法 |
| CN107368391A (zh) * | 2017-07-21 | 2017-11-21 | 长沙曙通信息科技有限公司 | 一种基于快照新型容灾备份异步远程镜像实现方法 |
| CN107506265A (zh) * | 2017-08-30 | 2017-12-22 | 安徽天达网络科技有限公司 | 一种基于互联网的差异性远程文件备份与恢复系统 |
| CN108322533A (zh) * | 2018-01-31 | 2018-07-24 | 广州鼎甲计算机科技有限公司 | 基于操作日志的分布式集群节点间配置同步方法 |
| CN108322533B (zh) * | 2018-01-31 | 2019-02-19 | 广州鼎甲计算机科技有限公司 | 基于操作日志的分布式集群节点间配置同步方法 |
| CN108845891A (zh) * | 2018-04-07 | 2018-11-20 | 长沙开雅电子科技有限公司 | 一种新型基于快照实现快速容灾备份实现方法 |
| CN108733513A (zh) * | 2018-05-07 | 2018-11-02 | 杭州宏杉科技股份有限公司 | 一种数据更新方法及装置 |
| WO2020029748A1 (zh) * | 2018-08-08 | 2020-02-13 | 华为技术有限公司 | 分布式存储系统中管理快照和差异位图生成方法和产品 |
| CN109165120A (zh) * | 2018-08-08 | 2019-01-08 | 华为技术有限公司 | 分布式存储系统中管理快照和差异位图生成方法和产品 |
| CN109165120B (zh) * | 2018-08-08 | 2022-04-05 | 华为技术有限公司 | 分布式存储系统中管理快照和差异位图生成方法和产品 |
| US11907078B2 (en) | 2018-10-22 | 2024-02-20 | Huawei Technologies Co., Ltd. | Data backup method, apparatus, and system |
| WO2020082744A1 (zh) * | 2018-10-22 | 2020-04-30 | 华为技术有限公司 | 一种备份数据的方法、装置和系统 |
| WO2020108623A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 数据备份方法、装置、服务器以及计算机可读存储介质 |
| CN110209528A (zh) * | 2018-11-30 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 数据备份方法、装置、服务器以及存储介质 |
| CN110209528B (zh) * | 2018-11-30 | 2022-10-28 | 腾讯科技（深圳）有限公司 | 数据备份方法、装置、服务器以及存储介质 |
| US12001297B2 (en) | 2018-11-30 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Data backup method and apparatus, server, and computer-readable storage medium |
| CN110737546A (zh) * | 2019-10-17 | 2020-01-31 | 深信服科技股份有限公司 | 一致性快照的检验方法、装置、设备及存储介质 |
| CN111569413A (zh) * | 2020-05-14 | 2020-08-25 | 北京代码乾坤科技有限公司 | 数据同步方法和装置 |
| CN111569413B (zh) * | 2020-05-14 | 2023-06-13 | 北京代码乾坤科技有限公司 | 数据同步方法和装置 |
| CN111797057A (zh) * | 2020-06-30 | 2020-10-20 | 苏州三六零智能安全科技有限公司 | 快照差量数据生成方法、终端设备、存储介质及装置 |
| CN111797057B (zh) * | 2020-06-30 | 2022-11-04 | 苏州三六零智能安全科技有限公司 | 快照差量数据生成方法、终端设备、存储介质及装置 |
| WO2024087914A1 (zh) * | 2022-10-24 | 2024-05-02 | 超聚变数字技术有限公司 | 数据同步方法及计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104375904A (zh) | 一种基于快照差异化数据传输的容灾备份方法 | |
| CN104331254A (zh) | 一种基于双活逻辑卷的存储双活系统设计方法 | |
| CN103838646B (zh) | 一种用于地面应用大数据异地容灾备份的系统和方法 | |
| CN104023246B (zh) | 一种视频数据私有云存储系统和视频数据私有云存储方法 | |
| CN106815097A (zh) | 数据库容灾系统和方法 | |
| CN104699419A (zh) | 分布式内存磁盘群集储存系统运作方法 | |
| US20150370494A1 (en) | Redundant storage system | |
| WO2011106726A3 (en) | Opportunistic asynchronous de-duplication in block level backups | |
| CN102521083A (zh) | 一种云计算系统中虚拟机备份方法和系统 | |
| CN103810247A (zh) | 基于分桶算法的灾备数据比对方法 | |
| CN104486387B (zh) | 一种数据同步处理方法及系统 | |
| CN105242988A (zh) | 分布式文件系统和分布式文件系统的数据备份方法 | |
| CN103973727A (zh) | 数据同步方法及装置 | |
| CN103617195A (zh) | 一种用于MySQL数据库的数据同步系统和方法 | |
| US9015433B2 (en) | Resiliency with a destination volume in a replication environment | |
| CN103843309A (zh) | 数据同步方法和数据同步系统 | |
| CN107168656B (zh) | 一种基于多路径磁盘驱动的卷复本集系统及其实现方法 | |
| CN104391802A (zh) | 一种精简池元数据节点刷新一致性保护方法 | |
| CN103167035A (zh) | HDFS中NameNode单点失效的解决方法 | |
| CN106055276A (zh) | 一种非集中式集群存储系统 | |
| CN104794012A (zh) | 基于容灾的切换技术 | |
| CN105045679B (zh) | 一种用于金融管理网络系统的数据库备份与恢复方法 | |
| CN104407944A (zh) | 一种容灾备份方法和系统 | |
| CN103473278A (zh) | 一种重复数据处理技术 | |
| CN103092533A (zh) | 一种数据远程同步的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150225 |
|
| WD01 | Invention patent application deemed withdrawn after publication |