CN106547641B - 一种基于卷的cdp备份方法 - Google Patents

一种基于卷的cdp备份方法 Download PDF

Info

Publication number
CN106547641B
CN106547641B CN201510597983.6A CN201510597983A CN106547641B CN 106547641 B CN106547641 B CN 106547641B CN 201510597983 A CN201510597983 A CN 201510597983A CN 106547641 B CN106547641 B CN 106547641B
Authority
CN
China
Prior art keywords
data
cdp
block
volume
lmt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510597983.6A
Other languages
English (en)
Other versions
CN106547641A (zh
Inventor
刘保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace One System Jiangsu Information Technology Co ltd
Original Assignee
Nanjing Unary Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Unary Information Technology Co ltd filed Critical Nanjing Unary Information Technology Co ltd
Priority to CN201510597983.6A priority Critical patent/CN106547641B/zh
Publication of CN106547641A publication Critical patent/CN106547641A/zh
Application granted granted Critical
Publication of CN106547641B publication Critical patent/CN106547641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种基于卷的CDP备份方法，包括：CDP服务端通过块设备驱动虚拟出一个块设备来，该虚拟的块设备通过ISCSI协议提供给CDP客户端作为镜像磁盘，CDP客户端通过volume filter driver(卷镜像驱动)将源卷的写操作，同步或异步分发一份到镜像盘上，CDP服务端通过对IO进行处理和记录，实现CDP备份功能。恢复时，可以快速的构建出任意时间点的数据，利用FC协议或者ISCSI协议，无需恢复操作就可通过挂载的方式立即查看和使用任意时间点的数据。本发明在基本不影响原系统的使用及性能，可以快速构建任意时间点的数据状态，无需恢复，即可查看数据。

Description

一种基于卷的CDP备份方法
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种基于卷的CDP备份方法。
背景技术
传统的数据备份技术一般采用定时备份或者手动备份方式，采用这种方法，一旦出现了数据灾难，用户可以恢复到定时备份点和手动备份点的数据，上次备份后新增加和修改的数据将会丢失，对于数据量不断变化增长的用户来说，每一份数据的丢失都会造成利益的损失。CDP正是为了解决这个问题而出现的。
SNIA数据保护论坛(DMF)的持续数据保护特别兴趣小组(CDP SIG)是这样定义CDP的：“持续数据保护是一套方法，它可以捕获或跟踪数据的变化，并将其独立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。”
基于文件级CDP备份通过监测文件系统层面之上的数据变化，当保护海量文件时，效率低下，而且不能保护像Oracle ASM这样数据直接建立在裸设备上的应用。
基于应用级CDP技术，只针对受保护应用系统，对应用系统资源占用较大。
传统的备份恢复方案，只有恢复完成之后，用户才能检查数据是否是需要的，然而，恢复是一个比较耗时的过程。同时，在恢复的同时，不可查看数据。
另一方面，现有CDP恢复，仅仅只能恢复那些由快照流程预先确定的特别时刻，为某一时间点的快照数据进行恢复，并不是任意时间点的数据。
发明内容
为解决上述问题，本发明提供了一种基于卷的CDP备份方法，无需恢复，通过挂载的方式即可立即查看和使用任意时间点的数据。本算法实现在CDP服务器上的虚拟块设备驱动中。
本发明提供一种基于卷的CDP备份方法，包括以下步骤：
A、备份方法：CDP服务端通过块设备驱动虚拟出一个块设备，该虚拟的块设备通过ISCSI或者FC协议提供给CDP客户端作为镜像磁盘，CDP客户端通过volume filter driver(卷镜像驱动)将源卷的写操作，同步或异步分发一份到镜像盘上，CDP服务端通过对IO进行处理和记录，实现CDP备份功能。
具体的，该备份方法描述如下：
A1、在逻辑上将源卷定义成由若干个数据块组成，给每一个需要保护的源卷分别建立两张表，一张为LMT(logic mapping table)，一张为IRT(io recording table)。LMT表记录当前时间源卷每一个数据块指向CDP数据区对应的数据块位置，LMT始终只有当前卷大小的数据；IRT记录CDP数据区中的数据块什么时间被源卷的哪个数据块占用，IRT表最大是备份集数据的大小。
所述源卷即为客户需要保护的卷，所述LMT和IRT表是建立CDP服务端上。
A2、写扇区块，从CDP数据区中寻找一个空闲块，将要写入的数据写入块，同时标记IRT表和LMT表。所述CDP数据区是指存放修改的IO数据的区域，存放在CDP服务器上。
A3、创建快照，通知应用程序和文件系统保证数据一致性，将缓存在内存中的数据写入源卷，保证数据的一致性。
B、载挂任意时间点数据步骤：根据LMT和IRT，快速的重建任意时间点的数据，通过FC协议或者ISCSI协议，无需恢复操作就可通过挂载的方式立即查看和使用任意时间点的数据。
具体的，该挂载任意时间点数据方法描述如下：
B1、需要挂载到某个时间点，首先遍历IRT，根据LMT，生成该时间点的LMT表。
B2、读LMT，获取对应块的VBN，根据VBN从CDP数据区中读出对应的块数据。
所述VBN(virtual block num)指CDP数据区的块号，从0开始编号，表示IO数据位置。
B3、通过FC协议或者ISCSI协议，将该时间点的虚拟的块设备挂载到客户服务器上，无需恢复操作即可立即查看和使用该时间点的数据。
本发明所公开的方法，同现有技术相比，有以下优点：
(1)备份时，客户端不需要关心具体的应用和文件系统，只跟踪和记录数据块的变化，更为通用及高效；
(2)不影响原系统的使用及性能；
(3)可以恢复到任意时刻、任意一个磁盘IO变化的时间点；
(4)可以快速构建任意时间点的数据状态，无需恢复，即可查看数据。
附图说明
图1为CDP备份方案图
图2为CDP数据区变化图
图3为数据恢复到任意时间点原理图
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
图1为CDP备份方案。
如图1所示，CDP服务端通过虚拟块设备驱动虚拟出一个块设备来，该虚拟的块设备通过iscsi协议或FC协议提供给客户端作为镜像磁盘，CDP客户端通过volume filterdriver(卷镜像驱动)将源卷的写操作，同步或异步分发一份到镜像盘上，服务端通过对IO进行处理和记录，实现CDP备份功能。
所述Volume filter driver(卷镜像驱动)仅仅是复制一份源卷的所有IO到镜像卷上，不做额外的操作。
所述镜像卷是CDP客户端发起的，CDP客户端会自动将读写请求映射到CDP服务端，而服务端分享的这个卷是我们虚拟出来的镜像卷，对于CDP服务端来说这个卷就是普通的一个分区。
为了减轻服务端的负荷，复制IO到镜像卷上时，以块为单位。默认一个块为16个扇区。
本算法实现在CDP服务器上的虚拟块设备驱动中。
具体步骤如下：
步骤101：选取镜像盘的卷定义为卷V，当前大小为N，将来可以扩展为N1；定义备份集V’，当前大小为N’，需要时扩展其大小(动态扩展)。
给每一个需要保护的源卷分别建立两张表，一张为LMT(logic mapping table)，一张为IRT(io recording table)。LMT记录当前时间该逻辑块指向哪个CDP数据块，IRT记录该CDP数据块什么时间被源卷的哪个数据块占用。
步骤102：写扇区块，当在T时，需要将逻辑块N写入数据时，先从CDP数据区寻找一个空闲块N1，将要写入的数据写入块N1，将IRT表N1标记为(T，N)，LMT表N标记为(T，N1)。
步骤103：创建T时的快照，通知应用程序和文件系统保证数据一致性，将缓存在内存中的数据写入卷，保证数据的一致性。写入源卷的IO数据又会被复制到镜像卷。
具体，步骤102还包括以下内容：
初始时，卷中没有有效数据，定义LMT中的所有TimeStamp为t0，Unit Number为空，IRT为空，如下表所示：
Figure BSA0000121227330000041
当时间T1时，写入数据块2，LMT和IRT的变化如下：
Figure BSA0000121227330000042
当时间T2时，写入数据块3，LMT和IRT的变化如下：
Figure BSA0000121227330000043
当时间T3时，写入数据块2，LMT和IRT的变化如下：
Figure BSA0000121227330000051
T1、T2、T3时间段的CDP数据区的变化如图2所示，每一个时刻写入的数据都存放在CDP数据区，源卷只保存最新状态的数据。
如图3所示，挂载任意时间点步骤：根据LMT和IRT，快速的重建任意时间点的数据，通过FC协议或者ISCSI协议，无需恢复操作就可通过挂载的方式立即查看和使用任意时间点的数据。
具体的，还包括以下步骤：
步骤301：当需要恢复到T2时刻的数据时，先遍历一遍IRT表，找到T2时间点的指向为L3，然后重新生成T2时刻的LMT表，当前例子中，新生成的T2时刻的LMT中对应的数据块3的记录为(t2，v(N’+1)，恢复时，可以根据新生成的LMT表，获取对应块的VBN，根据VBN从CDP数据区中读出对应的块数据。
步骤302：通过FC协议或者ISCSI协议，将T2时刻的镜像卷挂载到生产系统上，即可查看和使用T2时间点的数据。
挂载T2时间点的数据，相当于本地计算机中多了一个盘，这个盘里面的数据就是T2时间点的数据，不影响源卷数据，源卷保持最新版本数据。
优选的，本发明的算法可根据设置的CDP数据保留时间及CDP数据区的最大大小，自动回收CDP数据所占用的空间。
具体的，可设置CDP数据保留时间策略以及保留快照的版本，当到达设置的时间或者版本数，自动回收CDP数据所占用的空间。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于卷的CDP备份方法，其特征在于，包括以下步骤：
备份步骤：CDP服务端通过块设备驱动虚拟出一个块设备来，该虚拟的块设备通过ISCSI协议或FC协议提供给CDP客户端作为镜像磁盘；
所述CDP客户端通过卷镜像驱动将源卷的写操作，同步或异步分发一份到镜像磁盘上，CDP服务端通过对IO进行处理和记录，实现CDP备份功能；
所述源卷指客户需要保护的卷，在逻辑上将源卷定义成由若干个数据块组成，给所述源卷分别建立LMT表和IRT表；所述LMT表记录当前时间源卷每一个数据块指向CDP数据区对应的数据块位置，所述IRT记录CDP数据区中的数据块什么时间被源卷的哪个数据块占用；
恢复步骤：根据LMT表和IRT表，快速的重建任意时间点的数据，通过FC协议或者ISCSI协议，无需恢复操作就可通过挂载的方式立即查看和使用任意时间点的数据。
2.根据权利要求1所述的方法，其特征在于：
恢复时，挂载到任意时间点，先遍历IRT，根据LMT，生成该时间点的LMT表，获取对应块的VBN，根据VBN从CDP数据区中读出对应的块数据，恢复到源卷上；
所述VBN指CDP数据区的块号，从0开始编号，表示IO数据位置。
3.根据权利要求1所述的方法，其特征在于：
根据设置的CDP数据保留时间以及CDP数据区的最大大小，可以自动回收CDP数据所占用的空间。
4.根据权利要求1所述的方法，其特征在于：
在CDP数据区中寻找一个空闲块，将要写入的数据写入块，同时标记IRT表和LMT表。
5.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
创建快照，通知应用程序和文件系统保证数据一致性，将缓存在内存中的数据写入源卷，保证数据的一致性。
6.根据权利要求1所述的方法，其特征在于：
所述CDP数据区是指存放修改的IO数据的区域，存放在CDP服务器上。
CN201510597983.6A 2015-09-17 2015-09-17 一种基于卷的cdp备份方法 Active CN106547641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510597983.6A CN106547641B (zh) 2015-09-17 2015-09-17 一种基于卷的cdp备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510597983.6A CN106547641B (zh) 2015-09-17 2015-09-17 一种基于卷的cdp备份方法

Publications (2)

Publication Number Publication Date
CN106547641A CN106547641A (zh) 2017-03-29
CN106547641B true CN106547641B (zh) 2020-04-10

Family

ID=58361895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510597983.6A Active CN106547641B (zh) 2015-09-17 2015-09-17 一种基于卷的cdp备份方法

Country Status (1)

Country Link
CN (1) CN106547641B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255643A (zh) * 2017-12-25 2018-07-06 南京壹进制信息技术股份有限公司 一种无代理的连续数据保护方法
CN108255642B (zh) * 2017-12-25 2020-11-10 南京壹进制信息科技有限公司 一种连续数据保护中io数据管理的方法
CN108388484A (zh) * 2018-01-24 2018-08-10 上海爱数信息技术股份有限公司 一种保证cdp系统io一致性的系统及方法
CN108845891A (zh) * 2018-04-07 2018-11-20 长沙开雅电子科技有限公司 一种新型基于快照实现快速容灾备份实现方法
CN109271341B (zh) * 2018-08-31 2021-10-26 黄疆 一种镜像磁盘文件过滤方法
CN109445986A (zh) * 2018-09-30 2019-03-08 南京壹进制信息技术股份有限公司 一种备份数据集挂载方法和备份数据集快速恢复、挂载系统
CN110008227B (zh) * 2019-04-11 2021-08-10 苏州浪潮智能科技有限公司 一种一致性组可靠性验证方法及相关装置
CN110188000B (zh) * 2019-05-16 2023-11-17 上海爱数信息技术股份有限公司 基于虚拟化以及iSCSI或FC的应用容灾方法及系统
CN110362424B (zh) * 2019-05-23 2020-12-04 上海英方软件股份有限公司 一种基于连续数据保护的快速恢复方法和系统
CN111949450A (zh) * 2020-08-13 2020-11-17 山东超越数控电子股份有限公司 基于数据块的持续数据保护方法及系统
CN112817797A (zh) * 2021-02-07 2021-05-18 上海英方软件股份有限公司 一种备份数据管理方法及系统
CN115509624B (zh) * 2022-10-25 2023-04-28 中南大学 面向流式加载的镜像融合方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5366480B2 (ja) * 2008-08-27 2013-12-11 株式会社日立製作所 計算機システム及びそのバックアップ方法
JP6160296B2 (ja) * 2013-06-25 2017-07-12 富士通株式会社 ストレージ制御装置，ストレージシステム，および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法

Also Published As

Publication number Publication date
CN106547641A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106547641B (zh) 一种基于卷的cdp备份方法
US10324843B1 (en) System and method for cache management
US8600945B1 (en) Continuous data replication
US9317375B1 (en) Managing cache backup and restore for continuous data replication and protection
US8229896B1 (en) Method and apparatus for identifying data blocks required for restoration
US9348827B1 (en) File-based snapshots for block-based backups
US9031913B1 (en) File replication
US8782005B2 (en) Pruning previously-allocated free blocks from a synthetic backup
JP6264666B2 (ja) データ格納方法、データストレージ装置、及びストレージデバイス
US11157177B2 (en) Hiccup-less failback and journal recovery in an active-active storage system
US8996826B2 (en) Techniques for system recovery using change tracking
CN104077380B (zh) 一种重复数据删除方法、装置及系统
CN106776147B (zh) 一种差异数据备份方法和差异数据备份装置
US8407437B1 (en) Scalable metadata acceleration with datapath metadata backup
KR20150081810A (ko) 데이터 저장장치에 대한 다중 스냅샷 관리 방법 및 장치
WO2014079028A1 (zh) 数据处理方法和存储设备
JP2017079053A (ja) ストレージジャーナリングを改善する方法およびシステム
US10977143B2 (en) Mirrored write ahead logs for data storage system
CN104461773A (zh) 一种虚拟机备份去重的方法
CN104360914A (zh) 增量快照方法和装置
WO2018076633A1 (zh) 一种远程数据复制方法、存储设备及存储系统
CN105022680A (zh) 一种数据备份方法及装置
KR101738965B1 (ko) 가비지 컬렉션 저널링 장치 및 방법
JP2015527620A (ja) 計算機システム、サーバ、及び、データ管理方法
CN110825559A (zh) 一种数据处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

Address before: 210014, 8 floor, South Tower, stander Internet of things, 1 Guanghua Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000

Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd.

Address before: 210014 three floor, building five, five, Bai Xia hi tech park, No. 5, Yong Zhi Road, Qinhuai District, Nanjing, Jiangsu.

Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address