CN104978279A - 一种基于数据块的持续数据保护方法 - Google Patents

一种基于数据块的持续数据保护方法 Download PDF

Info

Publication number
CN104978279A
CN104978279A CN201410840350.9A CN201410840350A CN104978279A CN 104978279 A CN104978279 A CN 104978279A CN 201410840350 A CN201410840350 A CN 201410840350A CN 104978279 A CN104978279 A CN 104978279A
Authority
CN
China
Prior art keywords
data
snapshot
data block
protection method
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410840350.9A
Other languages
English (en)
Inventor
刘二腾
江安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Jiangdong Shengyang Software Co Ltd
Original Assignee
Ningbo Jiangdong Shengyang Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Jiangdong Shengyang Software Co Ltd filed Critical Ningbo Jiangdong Shengyang Software Co Ltd
Priority to CN201410840350.9A priority Critical patent/CN104978279A/zh
Publication of CN104978279A publication Critical patent/CN104978279A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明公开了一种基于数据块的持续数据保护方法，其特征在于，包括如下步骤：1）建立一个保存卷；2）捕获对源数据卷所有的读写I/O，当检测到源数据卷的某个数据块要被改写时，在所述保存卷上分配一个新的存储单元，这个存储单元称为快照单元，将要修改的数据单块的地址以及要修改的数据块的当前值记录在新分配的快照单元中，然后将新数据写入所述数据块内，所有所述快照单元组成了快照区。采用捕获对源数据卷读写I/O的方式，与具体应用程序无关，不受上层应用程序和文件系统属性的影响，实现简便，具有较好的跨平台、可移植特性。

Description

一种基于数据块的持续数据保护方法
技术领域
本发明涉及数据备份方法，尤其涉及一种基于数据块的持续数据保护方法。
背景技术
数据信息在当今社会已成为重要财富。从全球范围来看，数据存储量正在以年均80%的速度增长。某公司在对企业IT部门存储开销调查中，备份排名第2，占总开销的27.6%，与其后4位(容灾、存储整合、存储管理、数据归档)的总和(28.3%)几乎相当，数据保护的意义可见一斑。传统的数据备份方法是定期把数据存储到备份存储介质上，当源数据损坏或丢失时，可以从备份的存储介质上恢复，但是用户会丢失备份窗口之间的数据变化，且恢复时间较长，且会中断应用业务的正常运行。
持续数据保护(CDP)在不影响应用业务运行的前提下，实现持续捕捉或跟踪目标数据所发生的改变，可以使系统将数据状态恢复到数据遭到破坏之前的任意一个时间点，消除传统备份方法中备份窗口数据丢失的问题。
当前CDP技术的实现模式主要有两类：基于应用程序实现和基于文件系统实现。
1）基于应用程序实现CDP技术：可以针对关键的特定应用程序开发CDP技术，这种方式要求CDP技术和应用程序紧密结合，保持应用程序的数据一致性和完整性。目前基于应用程序的CDP解决方案大部分是针对成熟的应用开发的，如支持微软公司的SQL Server数据库、Exchange邮件服务、IBM的DB2和Oracle数据库等。这类CDR技术只能对系统中某个特定的程序实现实时数据保护，无法实现对整个系统数据保护。
2）基于文件系统实现CDP技术：基于文件系统的CDP技术可以捕捉文件系统数据变化或元数据的变化事件，并及时将文件的变动进行记录，以便将来实现任意时间点的文件恢复。IBM公司的VitalFile、Storactive公司的Live Backup for Desktop/Laptops、TimeSpring公司的TimeData、Microsoft公司的Volume Shadow Copy Service等产品，都能提供基于文件的CDP功能。这类CDP技术的最大缺点是无法适用于多种不同的平台，适用性较窄 。
发明内容
本发明针对现有技术中的不足，提供了一种基于数据块的持续数据保护方法，能够实时备份数据库的内容，并且不受平台限制。
为解决上述技术问题，本发明通过下述技术方案得以解决：一种基于数据块的持续数据保护方法，包括如下步骤：1）建立一个保存卷；2）捕获对源数据卷所有的读写I/O，当检测到源数据卷的某个数据块要被改写时，先在所述保存卷上分配一个新的存储单元，这个存储单元称为快照单元，将要修改的数据块的地址以及要修改的数据块的当前值记录在新分配的快照单元中，然后将新数据写入所述数据块内，所有所述快照单元组成了快照区。
有本发明可知，只有源数据卷上发生变化的数据才会保存在保存卷上，这样就节省了对备份资源的占用，而且不需执行对源数据块完整的拷贝，数据的恢复过程十分快速，基本对系统无性能影响。另外每个源数据卷可以在保存卷上创建一系列连续的不同时间点的快照，可以将源数据卷恢复到任何一个时间点的状态。
上述技术方案中，优选的，所述保存卷与所述源数据卷不在同一存储介质上，这样可以保证数据的稳定性。
上述技术方案中，优选的，所述保存卷为在线存储介质。这样可以防止保存卷因为停电而造成的备份失效。
上述技术方案中，优选的，预先分配一定数量的所述快照单元和所述快照单元存储区。减少突发IO瓶颈的产生，提高系统的响应速度。
上述技术方案中，优选的，建立一系列备份数据的时间点，在两个相邻的时间点之间，某个所述数据块内的数据反复修改多次，只将该数据块第一次修改前的源数据存储到所述快照单元内。在多个快照被触发的情况下，每接收到一个对源卷存储单元进行修改的指令，只需在快照区中对本次快照被触发后所分配的快照单元，进行一次针对存储单元地址的遍历和比较，和最多一次对新分配的快照单元的写入操作。因此，一次数据修改的完成所需要占用的系统处理资源与被触发的快照数量无关，提高了系统的处理效率。
本发明的有益效果是：（1）本发明采用捕获对源数据卷读写I/O的方式，与具体应用程序无关，不受上层应用程序和文件系统属性的影响，实现简便，具有较好的跨平台、可移植特性。
（2）本发明可提高系统和存储资源的利用率，同时采用预分配快照存储单元和存储区的方法，提高了系统的响应速度和IO稳定性。
附图说明
图1备份过程示意图1；
图2备份过程示意图2；
图3备份过程示意图3；
图4恢复过程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
参见图1-图3，一种基于数据块的持续数据保护方法，先建立一个与源数据卷不在同一存储介质上的保存卷，这个保存卷是在线存储介质。假设在源数据盘的某个区域具有连续五个存储单元，其地址依次为0001到0005，在初始阶段这五个存储单元内记录的数据都是A。
参见图1，在第一快照时刻后，第二快照时刻前，收到一条对源数据盘的存储单元进行修改的指令。指令修改地址为0001的存储单元，修改前为A，修改后为B。方法判断出需要写时复制，首先在在保存卷上分配一个快照单元，记录存储单元0001的地址以及存储单元0001的当前值A，然后将存储单元0001的值修改为B。
参见图2，在第二快照时刻后，第三快照时刻前，收到两条对源数据卷的存储单元进行修改的指令。
第一条指令，修改存储单元0002的值，修改前为A，修改后为C。先在在保存卷上分配一个快照单元，记录存储单元0002的地址以及存储单元0002的当前值A，然后修改存储单元0002的值为C；
第二条指令的执行过程同上，将存储单元0003的值修改为C。
在收到第二条指令后，系统配置的预分配IO阔值为2，此时预分配两个新的快照单元。
参见图3，在第三快照时刻后，第四快照时刻前，收到三条对数据存储区的存储单元进行修改的指令。
第一条指令，是将存储单元0003的值，从当前的C修改为D。方法判断出需要写时复制，分配一个快照单元，记录下存储单元0003的地址以及存储单元0003的当前值C，然后存储单元0003的值修改为D。
第二条指令同上，将存储单元0004的值修改为D。
在收到第二条指令后，系统配置的预分配IO阔值为2，此时预分配两个新的快照单元。
第三条对指令对将存储单元0003进行修改，从当前的C修改为E。因存储单元0003已经在快照区中进行过记录，方法判断不需要写时复制，因此直接执行对源数据卷修改存储单元的指令，将存储单元0003的值修改为E。
按照同样的方法，源数据卷上的内容再次被改变时，也可以将改变的内容记录在保存卷不同的快照时间处。
参见图4，恢复数据时，这里我们假设要将数据恢复到第一快照时间点，先创建与源数据卷上数据存储区容量相同的暂存区，将当前时刻数据存储区的数据复制到暂存区中，并且建立暂存区的暂存单元地址与数据存储区的存储单元地址之间一一对应的关系，并且将暂存区中所有暂存单元作为未处理暂存单元。
读取快照单元中所有的6个快照单元。将所读取的所有快照单元作为未处理快照单元。选择未处理的快照单元中最靠近待恢复时刻的一个快照单元，根据其中记录的存储单元地址，按照暂存单元地址与存储单元地址的映射关系，计算出暂存单元的地址。当处理完第一快照时刻后的第一个快照单元后，未处理的快照单元中最靠近恢复时科的快照单元就是第一快照时刻后的第二个快照单元，以此类推。
本示例中，在处理第一快照时刻后的第一快照单元时，根据该快照单元所记录的存储单元地址，所得到的暂存单元地址为2001，由于该暂存单元是未处理暂存单元，则将第一快照时刻后的第一个快照单元所记录的数据A写入暂存单元2001，并且将暂存单元2001标记为已处理暂存单元。
在处理第一快照时刻后的第二个快照单元时，根据该快照单元所记录的存储单元地址，所得到的暂存单元地址为2002，由于该暂存单元是未处理暂存单元，则将第一快照时刻后的第二个快照单元所记录的数据A写入暂存单元2002，并且将暂存单元2002标记为已处理暂存单元。
在处理第二快照时刻后的第一个快照单元时，根据该快照单元所记录的存储单元地址，所得到的暂存单元地址为2002，由于该暂存单元已被标记为已处理暂存单元，因此不对该暂存单元做任何操作。
后面的处理方法以此类推，直至所有的快照单元都为已处理快照单元。然后，将暂存区中的数据复制到数据存储区中，这就完成了数据的恢复。

Claims (5)

1.一种基于数据块的持续数据保护方法，其特征在于，包括如下步骤：1）建立一个保存卷；2）捕获对源数据卷所有的读写I/O，当检测到源数据卷的某个数据块要被改写时，先在所述保存卷上分配一个新的存储单元，这个存储单元称为快照单元，将要修改的数据块的地址以及要修改的数据块的当前值记录在新分配的快照单元中，然后将新数据写入所述数据块内，所有所述快照单元组成了快照区。
2.根据权利要求1所述的基于数据块的持续数据保护方法，其特征在于：所述保存卷与所述源数据卷不在同一存储介质上。
3.根据权利要求1所述的基于数据块的持续数据保护方法，其特征在于：所述保存卷为在线存储介质。
4.根据权利要求1所述的基于数据块的持续数据保护方法，其特征在于：预先分配一定数量的所述快照单元。
5.根据权利要求1所述的基于数据块的持续数据保护方法，其特征在于：建立一系列备份数据的时间点，在两个相邻的时间点之间，某个所述数据块内的数据反复修改多次，只将该数据块第一次修改前的源数据存储到所述快照单元内。
CN201410840350.9A 2014-12-30 2014-12-30 一种基于数据块的持续数据保护方法 Pending CN104978279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410840350.9A CN104978279A (zh) 2014-12-30 2014-12-30 一种基于数据块的持续数据保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410840350.9A CN104978279A (zh) 2014-12-30 2014-12-30 一种基于数据块的持续数据保护方法

Publications (1)

Publication Number Publication Date
CN104978279A true CN104978279A (zh) 2015-10-14

Family

ID=54274808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410840350.9A Pending CN104978279A (zh) 2014-12-30 2014-12-30 一种基于数据块的持续数据保护方法

Country Status (1)

Country Link
CN (1) CN104978279A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391312A (zh) * 2017-07-31 2017-11-24 郑州云海信息技术有限公司 数据云备份方法及系统
CN108363642A (zh) * 2018-01-10 2018-08-03 长沙开雅电子科技有限公司 一种分布式存储系统数据恢复实现方法
CN108845891A (zh) * 2018-04-07 2018-11-20 长沙开雅电子科技有限公司 一种新型基于快照实现快速容灾备份实现方法
CN109508255A (zh) * 2018-07-26 2019-03-22 郑州云海信息技术有限公司 一种数据处理的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033356A1 (en) * 2005-08-03 2007-02-08 Boris Erlikhman System for Enabling Secure and Automatic Data Backup and Instant Recovery
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法
CN102402471A (zh) * 2011-12-23 2012-04-04 创新科软件技术（深圳）有限公司 基于存储阵列快照功能的数据实时备份方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033356A1 (en) * 2005-08-03 2007-02-08 Boris Erlikhman System for Enabling Secure and Automatic Data Backup and Instant Recovery
CN102004681A (zh) * 2009-09-01 2011-04-06 Lsi公司 使用写时分配快照以实现持续数据保护的方法
CN102402471A (zh) * 2011-12-23 2012-04-04 创新科软件技术（深圳）有限公司 基于存储阵列快照功能的数据实时备份方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391312A (zh) * 2017-07-31 2017-11-24 郑州云海信息技术有限公司 数据云备份方法及系统
CN107391312B (zh) * 2017-07-31 2020-11-24 苏州浪潮智能科技有限公司 数据云备份方法及系统
CN108363642A (zh) * 2018-01-10 2018-08-03 长沙开雅电子科技有限公司 一种分布式存储系统数据恢复实现方法
CN108845891A (zh) * 2018-04-07 2018-11-20 长沙开雅电子科技有限公司 一种新型基于快照实现快速容灾备份实现方法
CN109508255A (zh) * 2018-07-26 2019-03-22 郑州云海信息技术有限公司 一种数据处理的方法及装置
CN109508255B (zh) * 2018-07-26 2021-10-29 郑州云海信息技术有限公司 一种数据处理的方法及装置

Similar Documents

Publication Publication Date Title
US7801846B2 (en) Generating log sequence identifiers to apply a transaction to a storage system
CN101577735B (zh) 一种接管故障元数据服务器的方法、装置及系统
US20160042355A1 (en) Method and Apparatus of Identifying a Transaction Risk
CN109213817B (zh) 增量数据抽取方法、装置及服务器
CN105550062B (zh) 基于持续数据保护与时间点浏览恢复的数据回流方法
CN106445738A (zh) 一种数据库备份方法及装置
CN104360914B (zh) 增量快照方法和装置
CN106484906A (zh) 一种分布式对象存储系统闪回方法及装置
CN104978279A (zh) 一种基于数据块的持续数据保护方法
US8380663B2 (en) Data integrity in a database environment through background synchronization
US20200019474A1 (en) Consistency recovery method for seamless database duplication
US11003540B2 (en) Method, server, and computer readable medium for index recovery using index redo log
CN102141963A (zh) 一种数据分析方法和设备
CN106227731A (zh) 一种数据处理方法、装置及分布式文件系统
CN106371763A (zh) 一种存储快照的方法、装置、磁盘及计算机
CN104281717B (zh) 一种建立海量id映射关系的方法
CN105446990B (zh) 一种业务数据处理方法及设备
CN106155838B (zh) 一种数据库备份数据恢复方法及装置
WO2018006723A1 (zh) 一种针对数据库的数据修改请求处理方法及装置
CN106899654A (zh) 一种序列值生成方法、装置及系统
CN110069670A (zh) 数据归集方法、装置、设备及计算机可读存储介质
CN106155839A (zh) 一种用于备份数据的方法与设备
US11494271B2 (en) Dynamically updating database archive log dependency and backup copy recoverability
US9146921B1 (en) Accessing a file system during a file system check
CN104536852A (zh) 数据恢复方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151014