CN103176867A - 一种快速文件差异备份方法 - Google Patents

一种快速文件差异备份方法 Download PDF

Info

Publication number
CN103176867A
CN103176867A CN2013101121437A CN201310112143A CN103176867A CN 103176867 A CN103176867 A CN 103176867A CN 2013101121437 A CN2013101121437 A CN 2013101121437A CN 201310112143 A CN201310112143 A CN 201310112143A CN 103176867 A CN103176867 A CN 103176867A
Authority
CN
China
Prior art keywords
file
backup
catalog
full
last
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101121437A
Other languages
English (en)
Other versions
CN103176867B (zh
Inventor
穆裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201310112143.7A priority Critical patent/CN103176867B/zh
Publication of CN103176867A publication Critical patent/CN103176867A/zh
Application granted granted Critical
Publication of CN103176867B publication Critical patent/CN103176867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种快速文件差异备份方法，该方法是使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该方法通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。

Description

一种快速文件差异备份方法
技术领域
本发明涉及计算机应用领域,具体地说是一种快速文件差异备份方法。
背景技术
据IDC统计表明，美国在 2000 年前 10 年间发生过数据灾难的公司中，有 55%当时倒闭，剩下的 45%中，因为数据丢失，又有 29%也在 2 年之内倒闭，生存下来的仅占 16%。而拥有有效的备份方法及备份策略的公司则能够将损失降到最低。因此，数据的备份被提上日程。一般传统的本地备份方法如磁带备份等，能抵制硬件故障、计算机病毒等造成的数据损坏，但对大规模的数据灾难却无能为力。而传统的远程备份方法为了完成海量数据备份，需要巨大的代价建造并维护一条独立备份线路。为解决以上问题，本发明采用备份集ID标识备份数据，采用文件数据与文件信息分离备份的方式对文件进行快速的差异备份。
发明内容
本发明的目的是提供一种快速文件差异备份方法。
本发明的目的是按以下方式实现的，该方法是使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该系统包括：catalog获取模块（1）、文件比对备份模块（2）、catalog组织模块（3），其中：
catalog获取模块（1）：用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件，首先catalog获取模块（1）会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件；
文件比对备份模块（2）：用于通过文件最后写入时间和文件大小的比对，确定现阶段的文件状态是否与全量备份时的文件状态相同，如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前的备份集ID，最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前ID的文件进行备份；
catalog组织模块（3）：用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括文件类型包括：文件或是目录、文件大小、文件属性包括：只读，隐藏、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息，，不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中，所有文件备份完成后将catalog获取模块（1）中获取到的全量备份集ID信息写入到文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。
通过全量备份集ID定位全量备份的catalog，是由数据备份目的端进行处理。
确定文件是否变化，是通过文件的最后写入时间和文件大小来确认。
本发明的有益效果是：用户首先通过catalog获取模块（1）获取全量备份集的catalog文件，在通过文件比对备份模块（2）确定并且备份文件数据，最后通过catalog组织模块（3），将每一个文件的相关信息写入到本次备份的catalog文件中，将全量备份集ID写入到catalog文件前16个字节。该方法通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。
附图说明
图1 是catalog文件结构示意图；
图2 是快速文件差异备份流程示意图。 
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的体系结构主要包括：catalog获取模块（1）、文件比对备份模块（2）、catalog组织模块（3），其中：
catalog获取模块(1) 用于连接存储备份集数据的介质服务器，通过提供全量备份集ID信息，获取全量备份集catalog；文件比对备份模块(2)是用于对文件状态信息进行对比，确定文件是否备份并执行备份过程；catalog组织模块(3)是用于存储每个文件的相关信息，保存最后一次全量备份集ID。
一种快速文件差异备份方法，通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。用户首先通过catalog获取模块（1）获取全量备份集的catalog文件，在通过文件比对备份模块（2）确定并且备份文件数据，最后通过catalog组织模块（3），将每一个文件的相关信息写入到本次备份的catalog文件中，将全量备份集ID写入到catalog文件前16个字节。
一种快速文件差异备份方法，通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。该方法是使用备份集ID管理每一次备份的数据，通过备份集ID可以定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份。该系统体系包括：catalog获取模块（1）、文件比对备份模块（2）、catalog组织模块（3）。
catalog获取模块（1）用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件。首先catalog获取模块（1）会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件。
文件比对备份模块（2）用于通过文件最后写入时间和文件大小的比对确定现阶段的文件状态是否与全量备份时的文件状态相同。如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前的备份集ID。最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前ID的文件进行备份。
catalog组织模块（3）用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括类型（文件或是目录）、文件大小、文件属性（只读，隐藏）、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息等，不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中，所有文件备份完成后将catalog获取模块（1）中获取到的全量备份集ID信息写入到文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (3)

1.一种快速文件差异备份方法, 其特征在于该方法是使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该系统包括：catalog获取模块（1）、文件比对备份模块（2）、catalog组织模块（3），其中：
catalog获取模块（1）：用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件，首先catalog获取模块（1）会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件；
文件比对备份模块（2）：用于通过文件最后写入时间和文件大小的比对，确定现阶段的文件状态是否与全量备份时的文件状态相同，如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前的备份集ID，最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前ID的文件进行备份；
catalog组织模块（3）：用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括文件类型包括：文件或是目录、文件大小、文件属性包括：只读，隐藏、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息，，不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中，所有文件备份完成后将catalog获取模块（1）中获取到的全量备份集ID信息写入到文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。
2.根据权利要求1中所述的快速文件差异备份方法，其特征在于通过全量备份集ID定位全量备份的catalog，是由数据备份目的端进行处理。
3.根据权利要求1中所述的快速文件差异备份方法，其特征在于确定文件是否变化，是通过文件的最后写入时间和文件大小来确认。
CN201310112143.7A 2013-04-02 2013-04-02 一种快速文件差异备份方法 Active CN103176867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310112143.7A CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310112143.7A CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Publications (2)

Publication Number Publication Date
CN103176867A true CN103176867A (zh) 2013-06-26
CN103176867B CN103176867B (zh) 2017-12-01

Family

ID=48636766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310112143.7A Active CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Country Status (1)

Country Link
CN (1) CN103176867B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685495A (zh) * 2013-12-05 2014-03-26 金蝶软件（中国）有限公司 软件的升级方法和系统
CN105373452A (zh) * 2015-12-11 2016-03-02 上海爱数信息技术股份有限公司 一种数据备份方法
CN105634799A (zh) * 2015-12-25 2016-06-01 国网浙江省电力公司湖州供电公司 一种多样化品牌网络设备配置自动备份方法
CN106101229A (zh) * 2016-06-15 2016-11-09 北京众享比特科技有限公司 数据同步网络和方法
WO2017028705A1 (zh) * 2015-08-18 2017-02-23 阿里巴巴集团控股有限公司 计算机系统任务备份方法、系统状态恢复方法及其装置
CN114328005A (zh) * 2021-09-08 2022-04-12 深圳市木浪云科技有限公司 容器数据增量备份的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224639A1 (en) * 2005-03-29 2006-10-05 Satoru Watanabe Backup system, program and backup method
CN101051285A (zh) * 2006-09-21 2007-10-10 上海交通大学 计算机网络数据备份中文件匹配的方法
CN102354293A (zh) * 2011-09-16 2012-02-15 浪潮(北京)电子信息产业有限公司 一种实现文件差异备份的系统及方法
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224639A1 (en) * 2005-03-29 2006-10-05 Satoru Watanabe Backup system, program and backup method
CN101051285A (zh) * 2006-09-21 2007-10-10 上海交通大学 计算机网络数据备份中文件匹配的方法
CN102354293A (zh) * 2011-09-16 2012-02-15 浪潮(北京)电子信息产业有限公司 一种实现文件差异备份的系统及方法
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685495A (zh) * 2013-12-05 2014-03-26 金蝶软件（中国）有限公司 软件的升级方法和系统
WO2017028705A1 (zh) * 2015-08-18 2017-02-23 阿里巴巴集团控股有限公司 计算机系统任务备份方法、系统状态恢复方法及其装置
CN105373452A (zh) * 2015-12-11 2016-03-02 上海爱数信息技术股份有限公司 一种数据备份方法
CN105373452B (zh) * 2015-12-11 2019-02-01 上海爱数信息技术股份有限公司 一种数据备份方法
CN105634799A (zh) * 2015-12-25 2016-06-01 国网浙江省电力公司湖州供电公司 一种多样化品牌网络设备配置自动备份方法
CN106101229A (zh) * 2016-06-15 2016-11-09 北京众享比特科技有限公司 数据同步网络和方法
CN106101229B (zh) * 2016-06-15 2019-12-13 北京众享比特科技有限公司 数据同步网络和方法
CN114328005A (zh) * 2021-09-08 2022-04-12 深圳市木浪云科技有限公司 容器数据增量备份的方法及系统

Also Published As

Publication number Publication date
CN103176867B (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
US8838923B2 (en) Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
US9396244B2 (en) Systems and methods for managing replicated database data
US8250033B1 (en) Replication of a data set using differential snapshots
CN104040481B (zh) 用于融合、存储和检索增量式备份数据的方法和系统
CN103176867A (zh) 一种快速文件差异备份方法
US20140310245A1 (en) Partition level backup and restore of a massively parallel processing database
US9658925B1 (en) Systems and methods for restoring application data
CN104077380A (zh) 一种重复数据删除方法、装置及系统
US10409691B1 (en) Linking backup files based on data partitions
CN102819615A (zh) 一种基于应用快照的数据库持续数据保护方法
CN104360914A (zh) 增量快照方法和装置
CN104461773A (zh) 一种虚拟机备份去重的方法
US9798761B2 (en) Apparatus and method for fsync system call processing using ordered mode journaling with file unit
US8843450B1 (en) Write capable exchange granular level recoveries
CN102799503A (zh) 一种应用于大量小文件的恢复方法
CN107273449B (zh) 一种基于内存数据库的断点处理方法及系统
CN103176866A (zh) 一种应用于ntfs文件系统下的文件权限备份方法
CN103207916A (zh) 元数据处理的方法和装置
CN103440179B (zh) 存储设备配置信息的连续保存方法
CN103077187A (zh) 日志管理方法和日志管理系统
CN105786650A (zh) 数据的管理方法及装置
US10795588B1 (en) Check point recovery based on identifying used blocks for block-based backup files
US8401995B2 (en) File removal with no available disk blocks in redirect-on-write file systems
CN105827681B (zh) 一种san网络下备份数据传输方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant