CN109542673A - 一种卷镜像中断后快速增量初始化的方法 - Google Patents

一种卷镜像中断后快速增量初始化的方法 Download PDF

Info

Publication number
CN109542673A
CN109542673A CN201610288704.2A CN201610288704A CN109542673A CN 109542673 A CN109542673 A CN 109542673A CN 201610288704 A CN201610288704 A CN 201610288704A CN 109542673 A CN109542673 A CN 109542673A
Authority
CN
China
Prior art keywords
volume
disk block
sector
production
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610288704.2A
Other languages
English (en)
Inventor
付睿智
俞训峰
许萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yicheng Information Technology Co Ltd
Original Assignee
Nanjing Yicheng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yicheng Information Technology Co Ltd filed Critical Nanjing Yicheng Information Technology Co Ltd
Priority to CN201610288704.2A priority Critical patent/CN109542673A/zh
Publication of CN109542673A publication Critical patent/CN109542673A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开一种卷镜像中断后快速增量初始化的方法，包括：通过在镜像卷未尾分配连续扇区用于存放增量Bitmap表，快速定位出数据发生过变化的磁盘块，再结合文件系统API精确判断出磁盘块中有数据的扇区，不需要读取非增量数据进行判断，可以对镜像卷进行快速增量初始化，降低了对系统CPU、系统IO资源、系统内存的影响的同时也减少了判断生产卷与镜像卷数据一致性的时间。

Description

一种卷镜像中断后快速增量初始化的方法
技术领域
本发明涉及数据保护以及灾难恢复技术领域，尤其涉及一种卷镜像中断后快速增量初始化的方法。
背景技术
在数据灾备的技术里，常使用一种卷镜像技术，其实现步骤是，在灾备存储端划分一个备份卷挂载到生产服务器，与生产服务器上的生产卷组成一对一的镜像关系；在生产服务器安装一个卷过滤驱动，拦截所有对生产卷的IO操作，将IO操作的数据内容同步或异步复制至镜像卷；在生产卷出现损坏时，可以使用镜像卷恢复数据，或直接用镜像卷代替生产卷。
生产卷数据往镜像卷复制时，如果采取同步复制，即镜像卷也写入成功的情况下再将IO返回给上一层驱动，可以达到数据0丢失的效果，但是这样会影响生产卷的写效率，所以一般在实际应用中，多采用异步复制的镜像方式，即需要复制到镜像卷的数据先保存在缓存中，再周期性的从缓存中复制到镜像卷。在采用异步复制的情况下，如果遇到系统非法重启或数据复制缓存池满的情况，会丢失需要复制的数据，造成生产卷与镜像卷数据不一致，卷镜像关系无法继续。
在遇到生产卷与镜像卷数据不一致的情况时，现有的技术一般有以下两种增量初始化方法：
(1)扫描生产卷，通过文件系统API判断有数据的连续扇区，读出镜像卷同样的连续扇区，将两段扇区内容都计算HASH值后进行比较，如果不一致则将生产卷的连续扇区数据复制至镜像卷。
(2)对生产卷使用固定大小划磁盘块(如256扇区一个块)，在每次初始化时，将当前磁盘块的HASH值与上一次初始化时此磁盘块的HASH值进行比较，如果发生变化，则将生产卷对应的磁盘块数据复制至镜像卷，同时更新磁盘块HASH值到灾备存储端的数据库中。
在当前大数据的背景下，几T与几十T的卷已经比较常见，使用现有的技术进行增量初始化时，假设当前系统有10TB的有效数据，按250MB/S的读速度来计算，仅读取当前有效数据的时间就会超过10小时，也就是增量初始化会长时间占用系统CPU、系统IO资源、系统内存，影响生产系统运行。
发明内容
为解决上述问题，本发明提供了一种卷镜像中断后快速增量初始化的方法，包括以下步骤：
步骤一：在镜像卷未尾分配连续扇区用于存放增量Bitmap表，对生产卷进行划磁盘块，增量Bitmap表中每一个Bit与生产卷的一个磁盘块对应，代表此磁盘块的写标识，初始时每个Bit的值为0。
步骤二：在生产服务器上安装卷过滤驱动，监控对生产卷的写IO操作，如果写IO中的扇区所在磁盘块对应写标识为0，则修改写标识为1，并且立即保存增量Bitmap表有修改的扇区。
步骤三：在镜象复制开始时，如果上一次系统是非正常关机或上一次镜象复制异常中止，则需要进行增量初始化镜像卷。
首先，将增量Bitmap表中写标识为1的磁盘块包含的扇区，转化成文件系统中簇的位置，通过文件系统API判断簇是否有数据存在，将有数据的扇区内容复制至镜像卷；
进一步的，将磁盘块相应bit修改为0，并且立即保存增量Bitmap表有修改的扇区。
进一步的，在处理增量Bitmap表中的增量数据的过程中，系统产生新的增量数据保存至镜像复制缓存。
本发明所公开的方法，同现有技术相比，本发明可以快速定位出数据发生过变化的磁盘块，再结合文件系统API精确判断出磁盘块中有数据的扇区，不需要读取非增量数据进行判断，可以对镜像卷进行快速增量初始化，降低了对系统CPU、系统IO资源、系统内存的影响的同时也减少了判断生产卷与镜像卷数据一致性的时间。
附图说明
图1为磁盘块快速定位方法示意图
图2为镜像卷增量初始化流程示意图
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
图1为磁盘块快速定位方法示意图。
步骤101，在镜像卷未尾分配连续扇区用于存放增量Bitmap表，对生产卷使用固定大小划磁盘块，增量Bitmap表中每一个Bit与生产卷一个磁盘块对应，代表此磁盘块的写标识，初始时每个Bit的值为0。
所述对生产卷划分磁盘块，每块磁盘块大小≥16MB，以减少增量Bitmap表对内存的占用。本实施例以16MB为例，即每一个16MB的磁盘块对应Bitmap表中的一个Bit，初始时每个Bit的值为0，表示生产卷中该磁盘块的数据与镜像卷中的数据一致。因此，本实施例中，100TB的数据卷对应的增量Bitmap表等于800KB。
步骤102，在生产服务器上安装卷过滤驱动，拦截写IO操作。当生产卷进行写IO时，在增量Bitmap表找到进行写IO的扇区所对应的Bit，如果写IO的扇区所在磁盘块对应写标识为0，则修改写标识为1，并且立即保存增量Bitmap表有修改的扇区。
如果写IO为1，表示正在处理增量Bitmap表中的增量数据的过程中，所以将系统产生新的增量数据保存至镜像复制缓存。
镜象复制开始时，如果上一次系统是非正常关机或上一次镜象复制异常中止，则需要进行增量初始化镜像卷，保持生产卷与镜像卷数据一致。
镜像卷增量初始化流程示意图如图2所示：
步骤201，扫描增量Bitmap表，枚举写标识＝1的磁盘块包含的扇区，将增量Bitmap表中写标识为1的磁盘块包含的扇区，转化成文件系统中簇的位置。
如果所述扇区号为n，则簇号＝(n-卷起始扇区)/每簇扇区数，从而确定文件系统中簇的位置。
步骤202，确定文件系统中簇的位置后，通过文件系统API判断簇是否有数据存在，将有数据的扇区内容复制至镜像卷，保持生产卷与镜像卷数据一致性。
步骤203，在处理增量Bitmap表中的增量数据的过程中，系统产生新的增量数据保存至镜像缓存中。
进一步的，同时将镜像缓存中的数据复制到镜像中，实现生产卷与镜像卷数据一致性，本发明只针对增量数据进行复制，不需要读取非增量数据进行判断，可以对镜像卷进行快速增量初始化，降低了对系统CPU、系统IO资源、系统内存的影响的同时也减少了判断生产卷与镜像卷数据一致性的时间。
步骤204，复制结束后，同时将磁盘块相应bit修改为0，并且立即保存增量Bitmap表有修改的扇区。
进一步的，当生产卷进行写IO时，重复步骤102。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种卷镜像中断后快速增量初始化的方法，其特征在于，包括以下步骤：
步骤一，在镜像卷未尾分配连续扇区存放增量Bitmap表，对生产卷进行划磁盘块，增量Bitmap表中每一个Bit与生产卷一个磁盘块对应；
步骤二，在生产服务器上安装卷过滤驱动，监控对生产卷的写IO操作，如果生产卷中写IO中的扇区所在磁盘块对应写标识为0，则修改写标识为1，并且立即保存增量Bitmap表有修改的扇区；
步骤三，在镜象复制开始时，当上一次系统是非正常关机或上一次镜象复制异常中止，则需要进行增量初始化镜像卷，首先将增量Bitmap表中写标识为1的磁盘块包含的扇区，转化成文件系统中簇的位置，通过文件系统API判断簇是否有数据存在，然后将有数据的扇区内容复制至镜像卷，实现镜像卷与生产卷数据一致；
步骤四，将磁盘块相应的增量Bitmap表中的Bit修改为0，并且立即保存增量Bitmap表有修改的扇区。
2.根据权利要求1所述的方法，其特征在于：
所述增量Bitmap表，表中每一个Bit与每一个磁盘块对应，代表此磁盘块的写标识，初始时每个Bit的值为0。
3.根据权利要求1所述的方法，其特征在于：
所述对生产卷划分磁盘块，每块磁盘块大小≥16MB，以减少增量Bitmap表对内存的占用。
4.根据权利要求1所述的方法，其特征在于：
在生产服务器上安装卷过滤驱动，监控对生产卷的写IO操作，如果生产卷中写IO中的扇区所在磁盘块对应写标识为1，则将系统产生新的增量数据保存至镜像复制缓存。
CN201610288704.2A 2016-04-28 2016-04-28 一种卷镜像中断后快速增量初始化的方法 Pending CN109542673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610288704.2A CN109542673A (zh) 2016-04-28 2016-04-28 一种卷镜像中断后快速增量初始化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610288704.2A CN109542673A (zh) 2016-04-28 2016-04-28 一种卷镜像中断后快速增量初始化的方法

Publications (1)

Publication Number Publication Date
CN109542673A true CN109542673A (zh) 2019-03-29

Family

ID=65821435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610288704.2A Pending CN109542673A (zh) 2016-04-28 2016-04-28 一种卷镜像中断后快速增量初始化的方法

Country Status (1)

Country Link
CN (1) CN109542673A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569218A (zh) * 2019-08-01 2019-12-13 厦门市美亚柏科信息股份有限公司 一种ext文件系统离线修改方法、装置及存储介质
CN111090549A (zh) * 2019-12-27 2020-05-01 航天壹进制(南京)数据科技有限公司 一种基于卷cbt驱动的增量回迁卷级数据到原机的方法
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567262A (zh) * 2003-06-10 2005-01-19 联想(北京)有限公司 基于数据卷快照的在线数据备份方法
CN102567145A (zh) * 2011-12-28 2012-07-11 云海创想信息技术（无锡）有限公司 一种远程拷贝方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567262A (zh) * 2003-06-10 2005-01-19 联想(北京)有限公司 基于数据卷快照的在线数据备份方法
CN102567145A (zh) * 2011-12-28 2012-07-11 云海创想信息技术（无锡）有限公司 一种远程拷贝方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569218A (zh) * 2019-08-01 2019-12-13 厦门市美亚柏科信息股份有限公司 一种ext文件系统离线修改方法、装置及存储介质
CN110569218B (zh) * 2019-08-01 2021-11-23 厦门市美亚柏科信息股份有限公司 一种ext文件系统离线修改方法、装置及存储介质
CN111090549A (zh) * 2019-12-27 2020-05-01 航天壹进制(南京)数据科技有限公司 一种基于卷cbt驱动的增量回迁卷级数据到原机的方法
CN111090549B (zh) * 2019-12-27 2022-04-05 南京壹进制信息科技有限公司 一种基于卷cbt驱动的增量回迁卷级数据到原机的方法
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质
CN116431396B (zh) * 2023-06-07 2023-08-25 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN102033786B (zh) 一种对象存储系统中修复副本一致性的方法
EP3098715B1 (en) System and method for object-based continuous data protection
CN104077380B (zh) 一种重复数据删除方法、装置及系统
US9880762B1 (en) Compressing metadata blocks prior to writing the metadata blocks out to secondary storage
US7681001B2 (en) Storage system
US8713270B2 (en) Efficient file system metadata scanning using scoped snapshots
US8874524B1 (en) Handling copy on first write data for snapshot purposes
US7213116B2 (en) Method and apparatus for mirroring objects between storage systems
CN109284069A (zh) 一种存放备份数据的分布式存储系统及方法
CN103019890B (zh) 一种块级别的磁盘数据保护系统及其方法
CN106547641B (zh) 一种基于卷的cdp备份方法
WO2018033036A1 (zh) 固态硬盘和应用于固态硬盘的数据存取方法
US10489289B1 (en) Physical media aware spacially coupled journaling and trim
US10725907B2 (en) Information processing apparatus for specifying data region of garbage collection, information processing system and information processing method
US9792941B2 (en) Method and system for data replication
CN109542673A (zh) 一种卷镜像中断后快速增量初始化的方法
CN102541691A (zh) 面向内存数据库oltp应用的日志检查点恢复方法
CN111581126A (zh) 一种基于ssd的日志数据保存方法、装置、设备和介质
CN103617195A (zh) 一种用于MySQL数据库的数据同步系统和方法
CN113553325A (zh) 一种对象存储系统中聚合对象的同步方法和系统
CN103761156B (zh) 一种针对文件系统的在线修复方法
CN102521156A (zh) 一种映射关系访问方法和装置
CN105068896B (zh) 基于raid备份的数据处理方法及装置
CN115827322A (zh) 一种云存储数据全量灾备方法及系统
CN102508790A (zh) 一种应用于内容解析存储的基于内容的缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190329