CN106294024A - 一种快速磁盘增量备份方法 - Google Patents

一种快速磁盘增量备份方法 Download PDF

Info

Publication number
CN106294024A
CN106294024A CN201610666824.1A CN201610666824A CN106294024A CN 106294024 A CN106294024 A CN 106294024A CN 201610666824 A CN201610666824 A CN 201610666824A CN 106294024 A CN106294024 A CN 106294024A
Authority
CN
China
Prior art keywords
backup
data
write operation
memory area
cryptographic hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610666824.1A
Other languages
English (en)
Inventor
闫旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Chicha Information Technology Co Ltd
Original Assignee
Nanjing Chicha Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Chicha Information Technology Co Ltd filed Critical Nanjing Chicha Information Technology Co Ltd
Priority to CN201610666824.1A priority Critical patent/CN106294024A/zh
Publication of CN106294024A publication Critical patent/CN106294024A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore

Abstract

本发明公开了一种快速磁盘增量备份方法，方法步骤如下：S1、将拟备份的存储区域划分为N个存储单元；S2、建立所述存储区域的有效位图；S3、刷新缓存并冻结系统写操作；S4、把所述有效位图发给卷或磁盘过滤驱动；S5、解冻系统写操作,判断该需要备份的存储区域是否是初次备份；S6、监控存储区域是否有写操作；S7、读出该写操作对应的存储单元数据；S8、从有效位图中清除对应存储单元的相应位；S9、计算紧急通道中数据的哈希值判断是否需要备份；S10、比较有效位图标记的存储单元数据的哈希值与对应存储单元前一次备份时的哈希值判断是否需要备份。本发明中只备份有效数据的增量，提高备份效率，减少了连续冻结系统写的时间。

Description

一种快速磁盘增量备份方法
技术领域
本发明涉及数据备份技术领域，尤其涉及一种快速磁盘增量备份方法。
背景技术
数据备份是数据管理的一个重要内容，对于数据的恢复具有重要意义。增量备份是针对上一次备份后，所有发生变化的数据进行备份，即备份数据的增量。目前数据增量备份的方法有：1、采用实时监控的方式来跟踪数据的更改记录，完成增量数据备份。如IBM公司在美国申请的US6397229号专利(公开日：2002.05.28)。该专利描述的增量备份方案包含一个监控设备或程序，一个或多个存储设备，一个或多个位图。其中每个位图对应一个存储设备，位图中的每个位代表该存储设备上一个存储单元。其中监控设备或程序记录对存储设备的写操作。当存储设备上的存储单元发生改变时，设置位图中对应标识位。当增量备份请求到达时，将位图中标记的存储单元的数据备份到镜像或其他存储设备，同时清除位图中对应的标记；监控设备或程序继续记录存储单元的数据变化，以便下次增量备份的实施。该增量备份方式的优点是正常情况下备份数据较完整，速度较快。但是该增量备份方式的缺点是所有修改的数据都将备份，而有些数据可能并非用户或系统关心的有效数据，存在较多的冗余数据，如一个长时间使用后的存储区域(或区域)，进行格式化后，对于用户和系统，有效数据很少，但监控位图记录的数据变化可能会很多，此时使用监控方式备份的数据大部分为冗余数据。2、美国专利(专利号：US7366859，公开日：2008.04.29)公开了一种通过位图比较方式进行的磁盘增量备份的方法。其步骤顺序是：使用卷或磁盘过滤驱动，先冻结系统的写操作；通过驱动的专用接口读取每个卷的位图；再通过读取卷的文件描述符和镜像文件中的文件描述符，比较这两者，如果相同，则清除卷的位图中相应的位；解冻系统写操作；最后按这个位图备份该卷数据，形成该备份的增量。该方法从冻结系统写到解冻这个过程中，需完成整个位图的比较，耗费的时间较长，例如在NTFS(New Technology FileSystem新技术文件系统)中如果MFT(Master File Table主文件表)很大，并且在卷上的分布很离散，位图的比较的过程可能需要几个小时，这么长时间阻止系统写操作，会导致系统卡死，影响用户的正常操作。
发明内容
基于背景技术存在的技术问题，本发明提出了一种快速磁盘增量备份方法。
本发明提出的一种快速磁盘增量备份方法，方法步骤如下：
S1、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；
S2、建立所述存储区域的有效位图，标记有效数据存储单元；
S3、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；
S4、把所述有效位图发给卷或磁盘过滤驱动；
S5、解冻系统写操作,判断该需要备份的存储区域是否是初次备份，如果是初次备份则进行完全备份，如果不是初次备份则执行步骤S6；
S6、监控存储区域是否有写操作，如果有写操作则执行步骤S7，没有则执行步骤S10；
S7、读出该写操作对应的存储单元数据，放入紧急通道后执行该写操作；
S8、从有效位图中清除对应存储单元的相应位；
S9、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；
S10、比较有效位图标记的存储单元数据的哈希值与对应存储单元前一次备份时的哈希值，相等则不备份，否则备份该存储单元数据。
优选地，所述N个存储单元均分存储区域。
优选地，所述存储区域位于一个或多个磁盘中。
优选地，所述存储区域为磁盘的物理分区。
优选地，所述存储单元为磁盘的扇区或簇。
优选地，所述存储区域为磁盘的逻辑分区。
优选地，所述完全备份是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，并不依赖文件的存档属性来确定备份哪些文件，在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份。
本发明与现有技术相比较，具有的有益技术效果：
本发明中，在增量备份程序中增加了一个有效位图，用于标记有效数据存储单元，在进行增量备份时只备份有效数据的增量，减少数据冗余量，提高备份效率；把生成有效位图和比较有效位图放在冻结和解冻系统写操作的时间外，极大的减少了连续冻结系统写的时间，减轻对用户正常操作影响；通过比较哈希值来判断是否需要备份，哈希值相同的存储单元不备份，不同的才备份，进一步减少备份的数据量，提高备份速度；采用比较方式进行增量备份，不需要连续监控卷或分区改动，可以避免异常情况下监视不连续造成的问题，特别是因为用户采用增量备份比较频繁，该方案更能节省用户的存储空间和更有速度方面的优势，既能够保证备份数据的一致性，又兼顾排除已经备份的数据，提高备份速度；本发明在未执行增量备份时，卷或磁盘过滤驱动不工作，基本不会对系统性能产生影响，本发明不采用连续监视方式，也不存在连续监视方式的缺点。
附图说明
图1为本发明程序流程图。
具体实施方式
下面结合具体实施例对本发明作进一步解说。
实施例一
参照图1，一种快速磁盘增量备份方法，方法步骤如下：
S1、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；
S2、建立存储区域的有效位图，标记有效数据存储单元；
S3、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；
S4、把有效位图发给卷或磁盘过滤驱动；
S5、解冻系统写操作,判断该需要备份的存储区域是否是初次备份，如果是初次备份则进行完全备份，如果不是初次备份则执行步骤S6；
S6、监控存储区域是否有写操作，如果有写操作则执行步骤S7，没有则执行步骤S10；
S7、读出该写操作对应的存储单元数据，放入紧急通道后执行该写操作；
S8、从有效位图中清除对应存储单元的相应位；
S9、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；
S10、比较有效位图标记的存储单元数据的哈希值与对应存储单元前一次备份时的哈希值，相等则不备份，否则备份该存储单元数据。
N个存储单元均分存储区域，存储区域位于一个或多个磁盘中，存储区域为磁盘的物理分区，存储单元为磁盘的扇区或簇，完全备份是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，并不依赖文件的存档属性来确定备份哪些文件，在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份。
实施例二
参照图1，一种快速磁盘增量备份方法，方法步骤如下：
S1、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；
S2、建立存储区域的有效位图，标记有效数据存储单元；
S3、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；
S4、把有效位图发给卷或磁盘过滤驱动；
S5、解冻系统写操作,判断该需要备份的存储区域是否是初次备份，如果是初次备份则进行完全备份，如果不是初次备份则执行步骤S6；
S6、监控存储区域是否有写操作，如果有写操作则执行步骤S7，没有则执行步骤S10；
S7、读出该写操作对应的存储单元数据，放入紧急通道后执行该写操作；
S8、从有效位图中清除对应存储单元的相应位；
S9、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；
S10、比较有效位图标记的存储单元数据的哈希值与对应存储单元前一次备份时的哈希值，相等则不备份，否则备份该存储单元数据。
N个存储单元均分存储区域，存储区域位于一个或多个磁盘中，存储区域为磁盘的逻辑分区，完全备份是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，并不依赖文件的存档属性来确定备份哪些文件，在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种快速磁盘增量备份方法，其特征在于，方法步骤如下：
S1、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；
S2、建立所述存储区域的有效位图，标记有效数据存储单元；
S3、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；
S4、把所述有效位图发给卷或磁盘过滤驱动；
S5、解冻系统写操作,判断该需要备份的存储区域是否是初次备份，如果是初次备份则进行完全备份，如果不是初次备份则执行步骤S6；
S6、监控存储区域是否有写操作，如果有写操作则执行步骤S7，没有则执行步骤S10；
S7、读出该写操作对应的存储单元数据，放入紧急通道后执行该写操作；
S8、从有效位图中清除对应存储单元的相应位；
S9、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；
S10、比较有效位图标记的存储单元数据的哈希值与对应存储单元前一次备份时的哈希值，相等则不备份，否则备份该存储单元数据。
2.根据权利要求1所述的一种快速磁盘增量备份方法，其特征在于：所述N个存储单元均分存储区域。
3.根据权利要求1所述的一种快速磁盘增量备份方法，其特征在于：所述存储区域位于一个或多个磁盘中。
4.根据权利要求3所述的一种快速磁盘增量备份方法，其特征在于：所述存储区域为磁盘的物理分区。
5.根据权利要求4所述的一种快速磁盘增量备份方法，其特征在于：所述存储单元为磁盘的扇区或簇。
6.根据权利要求3所述的一种快速磁盘增量备份方法，其特征在于：所述存储区域为磁盘的逻辑分区。
7.根据权利要求1所述的一种快速磁盘增量备份方法，其特征在于：所述完全备份是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，并不依赖文件的存档属性来确定备份哪些文件，在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份。
CN201610666824.1A 2016-08-13 2016-08-13 一种快速磁盘增量备份方法 Pending CN106294024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610666824.1A CN106294024A (zh) 2016-08-13 2016-08-13 一种快速磁盘增量备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610666824.1A CN106294024A (zh) 2016-08-13 2016-08-13 一种快速磁盘增量备份方法

Publications (1)

Publication Number Publication Date
CN106294024A true CN106294024A (zh) 2017-01-04

Family

ID=57671017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610666824.1A Pending CN106294024A (zh) 2016-08-13 2016-08-13 一种快速磁盘增量备份方法

Country Status (1)

Country Link
CN (1) CN106294024A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626261A (zh) * 2021-10-13 2021-11-09 苏州浪潮智能科技有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
CN116643927A (zh) * 2023-07-27 2023-08-25 成都艾勃科技有限公司 一种基于Windows系统的固态硬盘快照备份方法
CN117707438A (zh) * 2024-02-06 2024-03-15 成都艾勃科技有限公司 一种分区增量克隆的方法
CN117707438B (zh) * 2024-02-06 2024-05-14 成都艾勃科技有限公司 一种分区增量克隆的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070083722A1 (en) * 2005-10-06 2007-04-12 Acronis, Inc. Fast incremental backup method and system
CN101295276A (zh) * 2008-06-20 2008-10-29 中国科学院计算技术研究所 一种磁盘级数据备份系统和方法
CN102184128A (zh) * 2011-05-26 2011-09-14 成都易我科技开发有限责任公司 快速磁盘增量备份方法
CN104081329A (zh) * 2013-01-25 2014-10-01 株式会社东芝 对数据进行备份的备份存储系统、备份存储装置以及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070083722A1 (en) * 2005-10-06 2007-04-12 Acronis, Inc. Fast incremental backup method and system
CN101295276A (zh) * 2008-06-20 2008-10-29 中国科学院计算技术研究所 一种磁盘级数据备份系统和方法
CN102184128A (zh) * 2011-05-26 2011-09-14 成都易我科技开发有限责任公司 快速磁盘增量备份方法
CN104081329A (zh) * 2013-01-25 2014-10-01 株式会社东芝 对数据进行备份的备份存储系统、备份存储装置以及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626261A (zh) * 2021-10-13 2021-11-09 苏州浪潮智能科技有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
CN116643927A (zh) * 2023-07-27 2023-08-25 成都艾勃科技有限公司 一种基于Windows系统的固态硬盘快照备份方法
CN116643927B (zh) * 2023-07-27 2023-09-26 成都艾勃科技有限公司 一种基于Windows系统的固态硬盘快照备份方法
CN117707438A (zh) * 2024-02-06 2024-03-15 成都艾勃科技有限公司 一种分区增量克隆的方法
CN117707438B (zh) * 2024-02-06 2024-05-14 成都艾勃科技有限公司 一种分区增量克隆的方法

Similar Documents

Publication Publication Date Title
US7640412B2 (en) Techniques for improving the reliability of file systems
US9092379B2 (en) Method and apparatus for backup and recovery using storage based journaling
US8117410B2 (en) Tracking block-level changes using snapshots
US8560790B2 (en) Incremental backup of source to target storage volume
US8037032B2 (en) Managing backups using virtual machines
US8615489B2 (en) Storing block-level tracking information in the file system on the same block device
EP0608344B1 (en) System for backing-up data for rollback
US9836369B2 (en) Storage system to recover and rewrite overwritten data
KR101268643B1 (ko) 가상 볼륨에 대한 연속적 데이터 보호를 제공하는 방법 및 가상 볼륨에 대한 연속적 데이터 보호를 제공하는 시스템
US7487400B2 (en) Method for data protection in disk array systems
US20060041727A1 (en) Apparatus, system, and method for differential backup using snapshot on-write data
JP2007234026A (ja) ユニークブロックプールマネージャを含むデータ記憶システムおよび階層記憶装置における応用
EP2425344B1 (en) Method and system for system recovery using change tracking
WO2002071230A1 (en) Utilizing parity caching and parity logging while closing the raid 5 write hole
JP2017079053A (ja) ストレージジャーナリングを改善する方法およびシステム
CN102184128B (zh) 快速磁盘增量备份方法
CN102063348A (zh) 分区表信息备份方法和装置以及存储系统
CN103019623B (zh) 存储盘处理方法及装置
US10642508B2 (en) Method to limit impact of partial media failure of disk drive and detect/report the loss of data for objects due to partial failure of media
CN106294024A (zh) 一种快速磁盘增量备份方法
US20060215456A1 (en) Disk array data protective system and method
US7702864B2 (en) Apparatus, system, and method for writing stripes in parallel to unique persistent storage devices
US20180060162A1 (en) Auto-Recovery of Media Cache Master Table Data
JP2010026812A (ja) 磁気ディスク装置
CN117055807A (zh) 数据存储方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104