CN102354293B - 一种实现文件差异备份的系统及方法 - Google Patents
一种实现文件差异备份的系统及方法 Download PDFInfo
- Publication number
- CN102354293B CN102354293B CN 201110276128 CN201110276128A CN102354293B CN 102354293 B CN102354293 B CN 102354293B CN 201110276128 CN201110276128 CN 201110276128 CN 201110276128 A CN201110276128 A CN 201110276128A CN 102354293 B CN102354293 B CN 102354293B
- Authority
- CN
- China
- Prior art keywords
- file
- differential backup
- subsystem
- log files
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000012795 verification Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004883 computer application Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明披露了一种实现文件差异备份的系统及方法,其中系统包括:文件差异备份应用子系统将预先设定的文件差异备份策略输出给文件过滤驱动子系统;根据文件过滤驱动子系统生成的日志文件进行文件差异备份;文件过滤驱动子系统根据输入的文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时将日志文件传输给远程存储子系统;远程存储子系统存储文件过滤驱动子系统传输的日志文件。本发明能够在本地日志文件损坏或丢失时可从远程存储系统找回该日志文件,从而能够快速可靠地针对全量备份文件恢复到当前的文件。
Description
技术领域
本发明涉及计算机应用领域中数据备份技术,尤其涉及实现文件差异备份的系统及方法。
背景技术
全球的信息化步伐越来越快,数据总量正在急速的增长,所以数据存储的安全性变得越来越重要。信息化给人们带来快捷的服务和方便的管理的同时,也给人们带来数字信息丢失的风险,因此数据备份的重要地位越发突显。
数据备份方式主要有以下三种方式:
(1)全量备份,亦称完全备份(full backup),指每个档案都会被写进备份档去。
如果在两个时间点备份之间,数据没有任何更动,那么所有备份数据都是一样的。这问题出自备份系统不会检查自上次备份后,档案有没有被更动过;它只是机械性地将每个档案读出、写入,不管档案有没有被修改过。备份全部选中的文件及文件夹,并不依赖文件的存盘属性来确定备份哪些文件。
增量备份(incremental backups),它与完全备份不同,是指在做档案数据备份前,先判断该档案的最后修改时间是否比上次备份的时间来得晚;如果是,则表示该档案被更动过,因而判断需要进行备份;如果否,则表示自上次备份后该档案没有被更动过,故判断不需要进行备份。
差异备份(differential backup),它与增量备份一样,是指针对上次完整备份来备份更动过的档案数据。
差异备份与是增量备份的区别是,它累积一个档案自上次完整备份后曾被更新过,则每次定时地进行差异备份时,该档案都会以上次完整备份为基准被进行备份,直到下一次完整备份为止。而增量备份则是针对于上一次备份(无论是哪种备份)后所有发生变化的文件。
这表示差异备份中的档案,都是自上次完全备份之后被更改的档案。如果要复原整个系统,则只需先复原完全备份,再复原最后一次的差异备份即可。
通常,传统的差异备份的解决方案是利用文件系统分层驱动模型,即文件系统分成应用层、驱动层以及硬件资源层,通过在应用层和底层的物理硬件之间增加一个驱动层,实现用自定义的文件过滤驱动程序拦截文件的IO操作,同时将文件因IO操作导致变化的信息保存成日志文件,存储在本地。这种方法的缺点是:一旦本地日志文件损坏或丢失,将不能针对全量备份文件恢复到当前的文件。
发明内容
本发明所要解决的技术问题是提供一种实现文件差异备份的系统及方法,能够在本地日志文件损坏或丢失时仍针对全量备份文件恢复到当前的文件。
为了解决上述技术问题,本发明提供了一种实现文件差异备份的系统,包括依次连接的文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,其中:
文件差异备份应用子系统,用于将预先设定的文件差异备份策略输出给文件过滤驱动子系统;根据文件过滤驱动子系统生成的日志文件进行文件差异备份;
文件过滤驱动子系统,用于根据输入的文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时将日志文件进行安全验证后传输给远程存储子系统;
远程存储子系统,用于存储文件过滤驱动子系统传输的日志文件。
进一步地,
文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
进一步地,
文件过滤驱动子系统拦截到文件系统中有关文件的输入或输出操作后,判断操作符合文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的日志文件中待安全验证和传输。
进一步地,
文件差异备份应用子系统在要进行文件差异备份时,先从文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从远程存储子系统重新获取相应的日志文件后,对本地文件系统的文件进行差异备份。
进一步地,远程存储子系统是一个或多个远程数据库服务器。
为了解决上述技术问题,本发明提供了一种实现文件差异备份的方法,涉及文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,该方法包括:
文件差异备份应用子系统预先设定文件差异备份策略;
文件过滤驱动子系统根据文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时将日志文件进行安全验证后传输给远程存储子系统。
进一步地,
文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
进一步地,文件过滤驱动子系统根据文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,具体包括:
文件过滤驱动子系统拦截到所述文件系统中有关文件的输入或输出操作后,判断操作符合文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的日志文件中待安全验证和传输。
进一步地,该方法还包括:
文件差异备份应用子系统根据文件过滤驱动子系统生成的日志文件进行文件差异备份。
进一步地,文件差异备份应用子系统根据文件过滤驱动子系统生成的日志文件进行文件差异备份,具体包括:
文件差异备份应用子系统在要进行文件差异备份时,先从文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从远程存储子系统重新获取相应的日志文件后,对本地文件系统的文件进行差异备份。
本发明的实现文件差异备份的系统及方法,通过将本地经安全验证的日志文件存储到远程存储系统,当需要实现文件差异备份而本地日志文件损坏或丢失时,可从远程存储系统找回该本地日志文件,从而能够快速可靠地针对全量备份文件恢复到当前的文件。
附图说明
图1为本发明的实现文件差异备份的系统实施例的结构示意图;
图2为本发明的实现文件差异备份的系统实施例的一个应用场景示意图。
具体实施方式
以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。应该理解,以下例举的实施例仅用于说明和解释本发明,而不构成对本发明技术方案的限制。
本发明提供的实现文件差异备份的系统实施例,其结构如图1所示,包括依次连接的文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,其中:
文件差异备份应用子系统,用于将预先设定的文件差异备份策略输出给文件过滤驱动子系统;根据文件过滤驱动子系统生成的日志文件进行文件差异备份;
文件过滤驱动子系统,用于根据输入的文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时传输给远程存储子系统;
远程存储子系统,用于存储文件过滤驱动子系统传输的日志文件。
在上述系统实施例中,
文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
在上述系统实施例中,
文件过滤驱动子系统拦截到文件系统中有关文件的IO操作后,判断该IO操作符合文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的日志文件中;在将日志文件进行安全验证后传输给远程存储子系统。
在上述系统实施例中,
文件差异备份应用子系统在要进行文件差异备份时,先从文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从远程存储子系统重新获取相应的日志文件后,对本地文件系统的文件进行差异备份。
如图2所示,是应用本发明的上述系统实施例的一个场景。可以看出,多个文件差异备份应用子系统和文件过滤驱动子系统可以共享一个远程存储子系统,该远程存储子系统譬如一个远程数据库服务器。
当然,上述本发明的上述系统实施例的应用场景并非只有一个。当多个文件差异备份应用子系统和文件过滤驱动子系统共享一个远程存储子系统导致该远程存储子系统负荷过重时,可再根据需要增加远程存储子系统。
本发明针对上述系统实施例,相应地还提供了实现文件差异备份的方法实施例,涉及文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,该方法包括:
文件差异备份应用子系统预先设定文件差异备份策略;
文件过滤驱动子系统根据文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时传输给远程存储子系统。
在上述方法实施例中,
文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
在上述方法实施例中,文件过滤驱动子系统根据文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时传输给远程存储子系统,具体包括:
文件过滤驱动子系统拦截到文件系统中有关文件的IO操作后,判断该IO操作符合文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的日志文件中;在将日志文件进行安全验证后传输给远程存储子系统。
在上述方法实施例中,还包括:
文件差异备份应用子系统根据文件过滤驱动子系统生成的日志文件进行文件差异备份。
在上述方法实施例中,文件差异备份应用子系统根据文件过滤驱动子系统生成的日志文件进行文件差异备份,具体包括:
文件差异备份应用子系统在要进行文件差异备份时,先从文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从远程存储子系统重新获取相应的日志文件后,对本地文件系统的文件进行差异备份。
本发明通过将本地经安全验证的日志文件存储到远程存储系统,当需要实现文件差异备份而本地日志文件损坏或丢失时,可从远程存储系统找回该本地日志文件,从而保证快速可靠地针对全量备份文件恢复到当前的文件。
对于本领域的专业人员来说,在了解了本发明内容和原理后,能够在不背离本发明的原理和范围的情况下,根据本发明的方法进行形式和细节上的各种修正和改变,但是这些基于本发明的修正和改变仍在本发明的权利要求保护范围之内。
Claims (10)
1.一种实现文件差异备份的系统,其特征在于,包括:依次连接的文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,其中:
文件差异备份应用子系统,用于将预先设定的文件差异备份策略输出给文件过滤驱动子系统;根据文件过滤驱动子系统生成的日志文件进行文件差异备份;
文件过滤驱动子系统,用于根据输入的文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时将所述日志文件进行安全验证后传输给远程存储子系统;
远程存储子系统,用于存储文件过滤驱动子系统传输的所述日志文件。
2.按照权利要求1所述的系统,其特征在于,
所述文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
3.按照权利要求2所述的系统,其特征在于,
所述文件过滤驱动子系统拦截到文件系统中有关文件的输入或输出操作后,判断所述操作符合所述文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的所述日志文件中待安全验证和传输。
4.按照权利要求1所述的系统,其特征在于,
所述文件差异备份应用子系统在要进行所述文件差异备份时,先从所述文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从所述远程存储子系统重新获取相应的日志文件后,对所述本地文件系统的文件进行差异备份。
5.按照权利要求1至4任一项所述的系统,其特征在于,所述远程存储子系统是一个或多个远程数据库服务器。
6.一种实现文件差异备份的方法,涉及文件差异备份应用子系统、文件过滤驱动子系统以及远程存储子系统,该方法包括:
文件差异备份应用子系统预先设定文件差异备份策略;
文件过滤驱动子系统根据所述文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,同时将所述日志文件进行安全验证后传输给远程存储子系统。
7.按照权利要求6所述的方法,其特征在于,
所述文件差异备份应用子系统预先设定的文件差异备份策略,包括对文件内容差异备份、对文件元数据差异备份以及对文件位置信息差异备份中的一种或多种。
8.按照权利要求7所述的方法,其特征在于,所述文件过滤驱动子系统根据文件差异备份策略拦截文件系统中文件的变化信息,并在本地生成和/或保存日志文件,具体包括:
所述文件过滤驱动子系统拦截到所述文件系统中有关文件的输入或输出操作后,判断所述操作符合文件差异备份策略,则将相应的文件变化信息记录到本地生成和/或保存的所述日志文件中待安全验证和传输。
9.按照权利要求6所述的方法,其特征在于,还包括:
所述文件差异备份应用子系统根据所述文件过滤驱动子系统生成的日志文件进行文件差异备份。
10.按照权利要求6至9任一项所述的方法,其特征在于,所述文件差异备份应用子系统根据所述文件过滤驱动子系统生成的日志文件进行文件差异备份,具体包括:
所述文件差异备份应用子系统在要进行所述文件差异备份时,先从所述文件过滤驱动子系统获取并验证相应的日志文件,如获取和/或验证日志文件正常,则根据验证的日志文件对本地文件系统的文件进行差异备份;如获取和/或验证日志文件异常,则从所述远程存储子系统重新获取相应的日志文件后,对所述本地文件系统的文件进行差异备份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110276128 CN102354293B (zh) | 2011-09-16 | 2011-09-16 | 一种实现文件差异备份的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110276128 CN102354293B (zh) | 2011-09-16 | 2011-09-16 | 一种实现文件差异备份的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102354293A CN102354293A (zh) | 2012-02-15 |
CN102354293B true CN102354293B (zh) | 2013-06-26 |
Family
ID=45577860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110276128 Active CN102354293B (zh) | 2011-09-16 | 2011-09-16 | 一种实现文件差异备份的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102354293B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9251230B2 (en) | 2012-10-17 | 2016-02-02 | International Business Machines Corporation | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers |
US9251231B2 (en) | 2012-10-17 | 2016-02-02 | International Business Machines Corporation | Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation |
CN103176867B (zh) * | 2013-04-02 | 2017-12-01 | 浪潮电子信息产业股份有限公司 | 一种快速文件差异备份方法 |
CN107329946B (zh) * | 2016-04-29 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 相似度的计算方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051285A (zh) * | 2006-09-21 | 2007-10-10 | 上海交通大学 | 计算机网络数据备份中文件匹配的方法 |
CN101403988A (zh) * | 2008-11-05 | 2009-04-08 | 中国科学院计算技术研究所 | 一种计算机系统中文件备份的系统及方法 |
CN101604268A (zh) * | 2009-07-13 | 2009-12-16 | 浪潮电子信息产业股份有限公司 | 一种监控目录变化事件过滤方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9305018B2 (en) * | 2009-12-16 | 2016-04-05 | Microsoft Technology Licensing, Llc | Contextual and semantic differential backup |
-
2011
- 2011-09-16 CN CN 201110276128 patent/CN102354293B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051285A (zh) * | 2006-09-21 | 2007-10-10 | 上海交通大学 | 计算机网络数据备份中文件匹配的方法 |
CN101403988A (zh) * | 2008-11-05 | 2009-04-08 | 中国科学院计算技术研究所 | 一种计算机系统中文件备份的系统及方法 |
CN101604268A (zh) * | 2009-07-13 | 2009-12-16 | 浪潮电子信息产业股份有限公司 | 一种监控目录变化事件过滤方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102354293A (zh) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3685268B1 (en) | File system point-in-time restore using recycle bin and version history | |
US9588858B2 (en) | Periodic data replication | |
US9703640B2 (en) | Method and system of performing incremental SQL server database backups | |
US8260747B2 (en) | System, method, and computer program product for allowing access to backup data | |
US8560787B2 (en) | Incremental backup of source to target storage volume | |
US8244681B2 (en) | Creating synthetic backup images on a remote computer system | |
EP3258369B1 (en) | Systems and methods for distributed storage | |
US9582194B2 (en) | Techniques for improving performance of a backup system | |
CN101539873B (zh) | 数据恢复的方法、数据节点及分布式文件系统 | |
US7921258B1 (en) | Nonvolatile disk cache for data security | |
US20150052366A1 (en) | Efficient data rehydration | |
US20140089266A1 (en) | Information processing system | |
US20070208918A1 (en) | Method and apparatus for providing virtual machine backup | |
WO2008055237A3 (en) | System for automatically recovering a computer memory using shadowed data and file directory structures | |
CN103197988A (zh) | 一种数据备份、恢复的方法、设备和数据库系统 | |
WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
CN102902762B (zh) | 一种删除重复数据的方法、装置和系统 | |
US20140215173A1 (en) | Low-cost backup and edge caching using unused disk blocks | |
CN102314503A (zh) | 一种索引方法 | |
US11797397B2 (en) | Hybrid NVRAM logging in filesystem namespace | |
CN102354293B (zh) | 一种实现文件差异备份的系统及方法 | |
CN111177122A (zh) | 一种数据库备份方法、装置、设备及计算机可读存储介质 | |
CN104583966A (zh) | 用于去重复文件系统的备份和恢复系统以及对应的服务器和方法 | |
CN112380067B (zh) | 一种Hadoop环境下基于元数据的大数据备份系统及方法 | |
CN104572339A (zh) | 基于分布式文件系统的数据备份还原系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201109 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Patentee after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100085 Beijing, Haidian District on the road to information on the ground floor, building 2-1, No. 1, C Patentee before: Inspur (Beijing) Electronic Information Industry Co.,Ltd. |