CN103176867B - 一种快速文件差异备份方法 - Google Patents

一种快速文件差异备份方法 Download PDF

Info

Publication number
CN103176867B
CN103176867B CN201310112143.7A CN201310112143A CN103176867B CN 103176867 B CN103176867 B CN 103176867B CN 201310112143 A CN201310112143 A CN 201310112143A CN 103176867 B CN103176867 B CN 103176867B
Authority
CN
China
Prior art keywords
file
backup
catalog
files
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310112143.7A
Other languages
English (en)
Other versions
CN103176867A (zh
Inventor
穆裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201310112143.7A priority Critical patent/CN103176867B/zh
Publication of CN103176867A publication Critical patent/CN103176867A/zh
Application granted granted Critical
Publication of CN103176867B publication Critical patent/CN103176867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种快速文件差异备份方法，该方法是使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该方法通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。

Description

一种快速文件差异备份方法
技术领域
本发明涉及计算机应用领域,具体地说是一种快速文件差异备份方法。
背景技术
据IDC统计表明，美国在2000年前10年间发生过数据灾难的公司中，有55％当时倒闭，剩下的45％中，因为数据丢失，又有29％也在2年之内倒闭，生存下来的仅占16％。而拥有有效的备份方法及备份策略的公司则能够将损失降到最低。因此，数据的备份被提上日程。一般传统的本地备份方法如磁带备份等，能抵制硬件故障、计算机病毒等造成的数据损坏，但对大规模的数据灾难却无能为力。而传统的远程备份方法为了完成海量数据备份，需要巨大的代价建造并维护一条独立备份线路。为解决以上问题，本发明采用备份集ID标识备份数据，采用文件数据与文件信息分离备份的方式对文件进行快速的差异备份。
发明内容
本发明的目的是提供一种快速文件差异备份方法。
本发明的目的是按以下方式实现的，该方法是使用使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该方法使用的系统包括：catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3)，其中：catalog获取模块(1)：用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件，首先catalog获取模块(1)会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件；文件比对备份模块(2)：用于通过文件最后写入时间和文件大小的比对，确定现阶段的文件状态是否与全量备份时的文件状态相同，如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前的备份集ID，最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前ID的文件进行备份；catalog组织模块(3)：用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括文件类型、文件大小、文件属性、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息，其中文件类型包括文件或目录，文件属性包括只读或隐藏；不论文件数据是否备份该文件的catalog，该文件的相关信息都将会写入到catalog文件中，所有文件备份完成后，catalog组织模块(3)将catalog获取模块(1)中获取到的全量备份集ID信息写入到catalog文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。通过全量备份集ID定位全量备份的catalog，是由数据备份目的端进行处理。确定文件是否变化，是通过文件的最后写入时间和文件大小来确认。本发明的有益效果是：用户首先通过catalog获取模块(1)获取全量备份集的catalog文件，在通过文件比对备份模块(2)确定并且备份文件数据，最后通过catalog组织模块(3)，将每一个文件的相关信息写入到本次备份的catalog文件中，将全量备份集ID写入到catalog文件前16个字节。该方法通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。
附图说明
图1是catalog文件结构示意图；
图2是快速文件差异备份流程示意图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的体系结构主要包括：catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3)，其中：
catalog获取模块(1)用于连接存储备份集数据的介质服务器，通过提供全量备份集ID信息，获取全量备份集catalog；文件比对备份模块(2)是用于对文件状态信息进行对比，确定文件是否备份并执行备份过程；catalog组织模块(3)是用于存储每个文件的相关信息，保存最后一次全量备份集ID。
一种快速文件差异备份方法，通常用于在备份大数据量文件时减少数据传输量，节省数据存储空间。用户首先通过catalog获取模块(1)获取全量备份集的catalog文件，在通过文件比对备份模块(2)确定并且备份文件数据，最后通过catalog组织模块(3)，将每一个文件的相关信息写入到本次备份的catalog文件中，将全量备份集ID写入到catalog文件前16个字节。
本发明使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该方法使用的系统包括：catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3)，其中：catalog获取模块(1)：用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件，首先catalog获取模块(1)会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件；文件比对备份模块(2)：用于通过文件最后写入时间和文件大小的比对，确定现阶段的文件状态是否与全量备份时的文件状态相同，如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前的备份集ID，最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前ID的文件进行备份；catalog组织模块(3)：用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括文件类型、文件大小、文件属性、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息，其中文件类型包括文件或目录，文件属性包括只读或隐藏；不论文件数据是否备份该文件的catalog，该文件的相关信息都将会写入到catalog文件中，所有文件备份完成后，catalog组织模块(3)将catalog获取模块(1)中获取到的全量备份集ID信息写入到catalog文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (2)

1.一种快速文件差异备份方法, 其特征在于该方法是使用备份集ID管理每一次备份的数据，通过备份集ID定位唯一的数据集，通过catalog文件存储每一次备份的文件相关信息，将全量备份集ID存储在catalog文件前16个字节中，这样通过任意catalog文件即可定位全量备份的catalog，从而获取最近一次全量备份时文件的状态，经过与现在文件状态的对比即可知道哪些文件需要备份，该方法使用的系统包括：catalog获取模块（1）、文件比对备份模块（2）、catalog组织模块（3），其中：catalog获取模块（1）：用于连接存储备份集数据的介质服务器，获取最近一次全量备份的catalog文件，首先catalog获取模块（1）会向介质服务器获取上一次备份的catalog文件，获取成功后读取文件前16个字节，获取到全量备份集ID信息，然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件；文件比对备份模块（2）：用于通过文件最后写入时间和文件大小的比对，确定现阶段的文件状态是否与全量备份时的文件状态相同，如果相同则表明该文件不需要进行备份操作，置该文件的备份集ID为全量备份集ID，如果不同则置该文件的备份集ID为当前备份集ID，最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份，即对备份集ID为当前备份集ID的文件进行备份；catalog组织模块（3）：用于组织catalog文件，对于每一个文件会有一个结构体去存储该文件的相关信息，包括文件类型、文件大小、文件属性、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息，其中文件类型包括文件或目录，文件属性包括只读或隐藏；不论文件数据是否备份该文件的catalog，该文件的相关信息都将会写入到catalog文件中，所有文件备份完成后，catalog组织模块（3）将catalog获取模块（1）中获取到的全量备份集ID信息写入到catalog文件的前16个字节中，最后将catalog文件备份到介质服务器完成差异备份。
2.根据权利要求1中所述的快速文件差异备份方法，其特征在于通过全量备份集ID定位全量备份的catalog，是由数据备份目的端进行处理。
CN201310112143.7A 2013-04-02 2013-04-02 一种快速文件差异备份方法 Active CN103176867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310112143.7A CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310112143.7A CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Publications (2)

Publication Number Publication Date
CN103176867A CN103176867A (zh) 2013-06-26
CN103176867B true CN103176867B (zh) 2017-12-01

Family

ID=48636766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310112143.7A Active CN103176867B (zh) 2013-04-02 2013-04-02 一种快速文件差异备份方法

Country Status (1)

Country Link
CN (1) CN103176867B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685495B (zh) * 2013-12-05 2019-08-16 金蝶软件（中国）有限公司 软件的升级方法和系统
CN106469101B (zh) * 2015-08-18 2019-06-25 阿里巴巴集团控股有限公司 计算机系统任务备份方法、系统状态恢复方法及其装置
CN105373452B (zh) * 2015-12-11 2019-02-01 上海爱数信息技术股份有限公司 一种数据备份方法
CN105634799A (zh) * 2015-12-25 2016-06-01 国网浙江省电力公司湖州供电公司 一种多样化品牌网络设备配置自动备份方法
CN106101229B (zh) * 2016-06-15 2019-12-13 北京众享比特科技有限公司 数据同步网络和方法
CN114328005B (zh) * 2021-09-08 2022-08-26 深圳市木浪云科技有限公司 容器数据增量备份的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051285A (zh) * 2006-09-21 2007-10-10 上海交通大学 计算机网络数据备份中文件匹配的方法
CN102354293A (zh) * 2011-09-16 2012-02-15 浪潮(北京)电子信息产业有限公司 一种实现文件差异备份的系统及方法
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4249719B2 (ja) * 2005-03-29 2009-04-08 株式会社日立製作所 バックアップシステム、プログラム及びバックアップ方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051285A (zh) * 2006-09-21 2007-10-10 上海交通大学 计算机网络数据备份中文件匹配的方法
CN102354293A (zh) * 2011-09-16 2012-02-15 浪潮(北京)电子信息产业有限公司 一种实现文件差异备份的系统及方法
CN102521075A (zh) * 2011-12-01 2012-06-27 浪潮电子信息产业股份有限公司 一种快速可靠的文件增量备份方法
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置

Also Published As

Publication number Publication date
CN103176867A (zh) 2013-06-26

Similar Documents

Publication Publication Date Title
CN103176867B (zh) 一种快速文件差异备份方法
US10437801B2 (en) Differential health checking of an information management system
US20230138736A1 (en) Cluster file system-based data backup method and apparatus, and readable storage medium
CN102521072B (zh) 虚拟磁带库设备及数据恢复方法
US8418003B2 (en) Log collecting apparatus, program, method, and system
US20120109907A1 (en) On-demand data deduplication
US7660956B1 (en) Save set bundling for staging
US8380957B2 (en) Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
US8510271B1 (en) Application and file system data virtualization from image backup
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
US20030177149A1 (en) System and method for data backup
US7577808B1 (en) Efficient backup data retrieval
US9043280B1 (en) System and method to repair file system metadata
US8538929B2 (en) Archiving de-duplicated data on tape storage media using graph partitions
EP2382543B1 (en) Granular application data lifecycle sourcing from a single backup
CN108874321A (zh) 一种独立冗余磁盘阵列数据重构方法、装置及设备
CN102170460A (zh) 一种集群存储系统及其数据存储方法
CN107315659A (zh) 一种元数据的冗余备份方法及装置
US11221983B1 (en) Multi-level indexing of backup files
CN107402870A (zh) 一种元数据服务器中日志段的处理方法及装置
CN102820998B (zh) 实现面向办公应用的双机容错服务系统及其数据存储方法
US20130159768A1 (en) System and method for restoring data
US7801859B1 (en) Tracking filesystem backups
CN104572374B (zh) 存储的处理方法、装置和存储设备
CN103207916A (zh) 元数据处理的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant