CN107544873A - 一种存放备份数据的备份系统和方法 - Google Patents

Abstract

本发明公开一种存放备份数据的备份系统和方法，涉及数据备份技术领域，基于一文件系统，使用该文件系统代替索引方式对备份数据进行管理，该文件系统为数据管理的主体，其整体结构包括文件系统描述块、分区描述块、数据区、索引区、日志区和预留区；该备份方法主要包括备份数据存放、数据恢复以及垃圾回收三部分内容。本发明有效解决了传统备份索引管理的各种问题，一定程度上避免了由于备份系统索引损坏造成整个备份数据丢失的风险，做到数据在失效时能及时回收，便于系统管理员进行系统管理，提高了数据恢复的速率，提高了存储空间的利用率。

Description

一种存放备份数据的备份系统和方法

技术领域

本发明涉及数据备份技术领域，尤其涉及文件系统的相关技术，具体的说是一种存放备份数据的备份系统和方法。

背景技术

随着云计算、大数据等新型技术的发展，业务系统产生的数据量呈现指数级增长，因此对备份系统的IPO和ITO要求越来越高。同时，磁盘技术的发展速度远远超过磁带介质的发展步伐，越来越多的设备采用磁盘设备代替磁带设备作为首选备份介质。

但是，目前的备份系统对磁盘设备的支持存在如下问题：1）主流备份软件均使用磁带的方式管理磁盘，只有磁盘上存储的数据全部过期之后才会对磁盘空间进行回收，极大浪费了磁盘的空间；少数使用数据库方式进行磁盘空间管理，会造成磁盘空间的碎片化，导致设备的读写性能降低；2)对于文件系统备份，若采用文件索引的方式进行管理，大量的文件将导致备份软件索引管理困难；长时间大量文件备份后，备份系统的索引空间会出现暴涨，伴有显著的性能降低；3）海量文件的增量备份恢复时，需要一次一次的恢复增量，将消耗大量时间；4）恢复浏览周期内的文件需要进行繁琐的索引查询，若使用文件索引，索引的效率非常低下，并且索引结构非常臃肿；若使用小型开源数据库存放索引，则当文件数量过多时会导致数据库稳定性下降，非常不利于维护；若使用大型商业数据库存放索引，则又需要高额的附加费用。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种存放备份数据的备份系统和方法。

本发明所述一种存放备份数据的备份系统和方法，解决上述技术问题采用的技术方案如下：所述存放备份数据的备份系统，包括一文件系统，该文件系统为数据管理的主体，其整体结构包括文件系统描述块、分区描述块、索引区、数据区、日志区和预留区；文件系统描述块：用来存放文件系统基础信息，分区描述块：由块组ID、类型、开始地址、结束地址、属主、权限组成；日志区：用来记录近期的文件系统操作；预留区：为一临时空间，当索引块数量不足时用来创建临时的索引区；

索引区存放文件系统所有的索引，索引记录每个备份客户端存储数据在磁盘上的位置；索引区包括若干索引块组，每个索引块组包括索引块对照表和索引块区，每个备份客户端至少对应一个索引块组；索引块对照表：用来记录对应索引块组中索引块的使用情况；索引块区：为一连续空间，包含该索引块组中所有的索引块；

数据区存放实际的备份数据，数据区包括若干数据块组，每个数据块组包括数据块对照表和数据块区；数据块对照表：用来记录数据区中数据块的使用情况；数据块区：用来存放真实的备份数据，为一连续空间，包含该数据块区中所有的数据块。

优选的，索引块由文件ID、访问权限、数据类型、版本对照表、链接指针组成；版本对照表由版本号、过期时间、入口指针三部分组成，版本号与备份任务开始的时间有关，过期时间代表数据何时过期，用于文件系统的清理，入口指针指向文件开头的数据块地址。

一种存放备份数据的备份方法，基于一文件系统，使用该文件系统代替传统索引方式对备份数据进行管理，该文件系统为数据管理的主体，其整体结构包括文件系统描述块、分区描述块、数据区、索引区、日志区和预留区；该备份方法主要包括备份数据存放、数据恢复以及垃圾回收三部分内容。

优选的，备份数据存放：备份数据以文件的形式写入，首先在索引区建立文件索引，然后将数据写入数据区；在数据写入前在文件开头附加哈希校验值，当数据删除后文件不会直接在文件系统中进行删除，在索引中不记录更新版本；若数据出现改动，则哈希校验值会与原有文件的哈希校验值产生差异，此时文件系统会新划分一块空间用来存储修改后的数据，新文件写入完成后在索引区加入最新的版本标签和入口地址。

优选的，数据恢复：通过遍历所有文件的版本号生成相应的恢复数据，或挑选指定的文件中指定版本进行颗粒度恢复。

优选的，垃圾回收：在规定的维护周期内对整个系统进行全盘扫描，发现过期文件将其删除，并将其对应的数据库对照表中的内容置为可用，达到垃圾回收的目的；在垃圾清理的同时，进行文件系统碎片整理。

本发明所述一种存放备份数据的备份系统和方法，与现有技术相比具有的有益效果是：本发明使用文件系统的方式代替索引方式对备份数据进行管理，能够更好的支持磁盘作为物理备份介质，极大的利用磁盘设备高IOPS的优势，有效解决了传统备份索引管理的各种问题，一定程度上避免了由于备份系统索引损坏造成整个备份数据丢失的风险；

采用文件系统的方式管理索引，不需要使用外部的索引管理机制，节省了数据库的授权和运维费用；将多个版本数据的管理纳入一个索引，极大减少索引的数量，提高了备份系统的索引速度；通过版本对照表的方式管理不同版本的数据，保证系统在永久增量的情况下依旧能够直接恢复，不需要增量的合成，显著降低了数据恢复时间，提高了数据恢复的速率；具备有效的垃圾回收机制，及时回收过期数据，保证磁盘资源的迅速释放，解决传统备份空间利用率低下的问题，提高了磁盘空间的利用率。

附图说明

附图1为存放备份数据的备份系统的示意图；

附图2为通过备份系统进行备份数据存放的流程图；

附图3为通过备份系统进行数据恢复的流程图；

附图4为通过备份系统进行垃圾回收的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种存放备份数据的备份系统和方法进一步详细说明。

本发明提出了一种存放备份数据的备份系统和方法，使用文件系统的方式代替传统索引方式对备份的文件数据进行管理，并且采用文件系统索引来管理同一个文件数据的不同版本，可以更好的支持磁盘作为物理备份介质，在一定程度上能够避免由于备份系统索引损坏造成整个备份数据丢失的风险，同时提高了数据恢复的速率。

实施例:1：

本实施例所述存放备份数据的备份系统，包括一文件系统，该文件系统为数据管理的主体，用来存放备份系统所有的备份数据以及配置信息；如附图1所示，该文件系统整体结构包括文件系统描述块、分区描述块、索引区、数据区、日志区和预留区；数据区存放实际的备份数据，索引区存放文件系统所有的索引，并分成了多个索引块组，系统将会为每个备份客户端分配专用的一个或多个索引块组，备份客户端使用的索引块组会记录该备份客户端存储数据在磁盘上的位置，在备份系统中删除客户端将会移除整个客户端索引。

文件系统描述块：从磁盘空间的第一个扇区开始，用来存放文件系统基础信息，如版本号、块大小、块区数量、总大小、可用空间，以及已使用的索引块、数据块的数量，未使用的索引块、数据块的数量，文件系统的挂载状态，最近一次磁盘校验时间等。

分区描述块：位于文件系统描述块之后、索引区之前，由块组ID、类型、开始地址、结束地址、属主、权限组成；用来记录各种块区类型和编号、对应的备份客户端、访问权限，以及开始与结束的地址；垃圾回收时各个数据分区的位置产生一些数据变化，将同步到分区描述块中。

索引区包括若干索引块组，每个索引块组包括索引块对照表和索引块区，每个备份客户端将对应一个或多个索引块组。索引块对照表：位于分区描述块之后，用来记录本组索引块组中索引块的使用情况。索引块区：位于索引块对照表之后，为一连续空间，包含该索引块组中所有的索引块；若索引块使用率过高，则文件系统将在磁盘的预留区自动划分出一连续空间，进行格式化，创建一索引块组，索引块区的最后一索引块记录下一个索引块组的索引块区的入口地址。

数据区包括若干数据块组，每个数据块组包括数据块对照表和数据块区。数据块对照表：位于索引区之后，用来记录数据区中数据块的使用情况。数据块区：位于数据块对照表之后，用来存放真实的备份数据，是一连续空间，包含该数据块区中所有的数据块。

日志区：位于数据区之后，用来记录近期的文件系统操作，以防止文件系统的非正常卸载带来的数据丢失。预留区：位于磁盘空间最后的位置，为一临时空间，当索引块数量不足时用来创建临时的索引区；此外，预留区记录备份失败的任务，用于文件系统的垃圾清理；预留区数据在垃圾回收时会重新释放。

通过该存放备份数据的备份系统，提出一种存放备份数据的备份方法，基于上述文件系统，使用该文件系统代替索引方式对备份数据进行管理，主要包括备份数据存放、数据恢复以及垃圾回收三部分内容。

备份数据存放：备份数据以文件的形式写入，首先在索引区建立文件索引，然后将数据写入数据区；在数据写入时在文件开头附加哈希校验值，当数据删除后文件不会在文件系统中进行删除，只是在索引中不记录更新版本；若数据出现改动，则哈希校验值会与原有文件的哈希校验值产生差异，此时文件系统会新划分一块空间用来存储修改后的数据，新文件写入完成后在索引区加入最新的版本标签和入口地址。

数据恢复：通过遍历所有文件的版本号生成相应的恢复数据，或挑选指定的文件的指定版本进行颗粒度恢复。

垃圾回收：该文件系统的索引区维护一索引块对照表，索引块对照表用来标记数据块的使用情况，同时每个备份文件的索引中都记录了数据过期时间；在规定的维护周期内对整个系统进行全盘扫描，发现过期文件后，将其索引块中的版本对照表对应的数据入口删除，同时将其对应的数据库对照表中的内容置为可用，达到垃圾回收的目的；在垃圾清理的同时，也会进行文件系统碎片整理，将碎片化的数据区空间重新合并为连续的数据空间，保证文件系整体的性能不会随着时间的推移而降低。

实施例2：

本实施例所述存放备份数据的备份系统，在实施例1的基础上，索引块区中的索引块由文件ID、访问权限、数据类型、版本对照表、链接指针组成；文件ID指文件的唯一标识符，每个文件的ID都不相同；访问权限规定了文件能够被哪些用户或主机访问，并且不包含写权限，只允许读权限；数据类型表示索引代表一个文件还是一个目录。

版本对照表由版本号、过期时间、入口指针三部分组成，版本号与备份任务开始的时间有关，过期时间代表数据何时过期，用于文件系统的清理，入口指针指向文件开头的数据块地址。

链接指针，若数据保留周期过长，一个索引块无法存放完整的版本对照表，则在该索引块的结尾引入一个链接指针，指向下一个索引块的地址，由下一个索引块继续记录版本对照表中的内容。

索引块只存放文件ID，不存放文件名称，文件名称存放在目录文件中。目录文件是特殊文件，占用索引块和数据块，目录的数据块用于存放上级与下级索引块地址和文件名称。

采用该存放备份数据的备份系统，进行数据存放的具体过程如下：

当数据进行写入时，首先从备份软件获取数据的版本信息，然后通过文件ID判断文件在新版本的备份中是否还存在，若文件不存在，则在索引区中申请一个新索引块用于此文件的索引，然后计算此文件的哈希校验值，并将哈希校验值放入文件开头，然后在数据区申请一块空间用于存放数据；

若文件存在，则直接计算该文件的哈希校验值，并比较该文件索引块中记录的所有副本的哈希校验值；若存在一致的副本，则在版本对照表写入备份版本信息，创建指针指向一致的副本；若没有一致的副本，则在版本对照表写入备份版本信息，创建指针指向一个未使用的数据块，并在数据区申请一个全新的空间写入数据，最后更新数据块对照表；如附图2所示。

当源端数据发送数据删除时，再次对其进行备份操作时，所有未过期的文件不会在文件系统中进行删除，只是在索引中不记录更新版本。若数据的保留周期过长，单个索引块无法存放整个版本对照表，则每个索引块的最后一行的链接指针指向索引区另外一个索引块，由该索引块存放版本对照表中剩下的数据，直到版本对照表全部存放完毕。

采用该存放备份数据的备份系统，进行数据恢复的具体过程如下：首先获取备份数据的版本和客户端信息，查找分区描述块，定位到对应客户端的索引区，然后扫描所有和客户端有关的索引块，判断索引块的版本对照表是否含需要恢复的版本，若没有则跳过该索引块，扫描下一个索引块；若含有则从数据入口指针跳转到数据地址，开始读取，并判断数据的哈希校验值是否和记录的一致，若一致则数据有效，恢复成功；若不一致，则数据无效，恢复失败；如附图3所示。

若进行颗粒度恢复，则按照客户提供的路径定位文件的索引块，然后从版本对照表中查找到对应版本数据的入口文件即可。

采用该存放备份数据的备份系统，如附图4所示，进行垃圾回收的具体过程如下：扫描所有索引块的版本对照表，读取版本对照表中的过期时间，若当前系统时间已经超过数据的保留周期，则通过版本对照表提供的入口指针查找到过期数据所占用的所有数据块地址；若这些地址被其他的数据版本所使用，则仅移除版本对照表中的相关条目；若这些地址没有被其他的数据版本所使用，则在版本对照表中将这些地址标记为可用，同时，将文件升级到的数据块在数据块对照表中置为可用。

具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (10)

1.一种存放备份数据的备份系统，其特征在于, 包括一文件系统，所述文件系统为数据管理的主体，其整体结构包括文件系统描述块、分区描述块、索引区、数据区、日志区和预留区；

所述文件系统描述块：用来存放文件系统基础信息；所述分区描述块：由块组ID、类型、开始地址、结束地址、属主、权限组成；所述日志区：用来记录近期的文件系统操作；所述预留区：为一临时空间，当索引块数量不足时用来创建临时的索引区；

所述索引区存放文件系统所有的索引，索引记录每个备份客户端存储数据在磁盘上的位置；所述索引区包括若干索引块组，每个索引块组包括索引块对照表和索引块区，每个备份客户端至少对应一个索引块组；所述索引块对照表：用来记录对应索引块组中索引块的使用情况；所述索引块区：为一连续空间，包含所述索引块组中所有的索引块；

所述数据区包括若干数据块组，每个数据块组包括数据块对照表和数据块区；所述数据块对照表：用来记录数据区中数据块的使用情况；所述数据块区：用来存放真实的备份数据，为一连续空间，包含该数据块区中所有的数据块。

2.根据权利要求1所述一种存放备份数据的备份系统，其特征在于,所述索引块由文件ID、访问权限、数据类型、版本对照表、链接指针组成；所述版本对照表由版本号、过期时间、入口指针三部分组成，版本号与备份任务开始的时间有关，过期时间代表数据何时过期，入口指针指向文件开头的数据块地址。

3.一种存放备份数据的备份方法，其特征在于, 基于一文件系统，使用该文件系统代替索引方式对备份数据进行管理，所述文件系统为数据管理的主体，其整体结构包括文件系统描述块、分区描述块、索引区、数据区、日志区和预留区；

所述文件系统描述块：用来存放文件系统基础信息；所述分区描述块：由块组ID、类型、开始地址、结束地址、属主、权限组成；所述索引区存放文件系统所有的索引，索引记录每个备份客户端存储数据在磁盘上的位置；所述数据区存放实际的备份数据；所述日志区：用来记录近期的文件系统操作；所述预留区：为一临时空间，当索引块数量不足时用来创建临时的索引区；所述备份方法包括备份数据存放、数据恢复以及垃圾回收三部分内容。

4.根据权利要求3所述一种存放备份数据的备份方法，其特征在于, 所述索引区包括若干索引块组，每个索引块组包括索引块对照表和索引块区，每个备份客户端至少对应一个索引块组；所述索引块对照表：用来记录对应索引块组中索引块的使用情况；所述索引块区：为一连续空间，包含所述索引块组中所有的索引块；

所述索引块由文件ID、访问权限、数据类型、版本对照表、链接指针组成；所述版本对照表由版本号、过期时间、入口指针三部分组成，版本号与备份任务开始的时间有关，过期时间代表数据何时过期，入口指针指向文件开头的数据块地址；

所述数据区包括若干数据块组，每个数据块组包括数据块对照表和数据块区；所述数据块对照表：用来记录数据区中数据块的使用情况；所述数据块区：用来存放真实的备份数据，为一连续空间，包含该数据块区中所有的数据块。

5.根据权利要求4所述一种存放备份数据的备份方法，其特征在于, 进行数据存放的具体过程如下：

首先获取数据的版本信息，然后通过文件ID判断文件在新版本的备份中是否还存在，若文件不存在，则在索引区中申请一个新索引块用于此文件的索引，然后计算此文件的哈希校验值，并将哈希校验值放入文件开头，然后在数据区申请一块空间用于存放数据；

若文件存在，则直接计算该文件的哈希校验值，并比较该文件索引块中记录的所有副本的哈希校验值；若存在一致的副本，则在版本对照表写入备份版本信息，创建指针指向一致的副本；若没有一致的副本，则在版本对照表写入备份版本信息，创建指针指向一个未使用的数据块，并在数据区申请一个全新的空间写入数据，最后更新数据块对照表。

6.根据权利要求5所述一种存放备份数据的备份方法，其特征在于, 源端数据发生数据删除时，备份数据存放：源端数据删除后，再次进行备份操作，所有未过期的文件不会在文件系统中进行删除，只是在索引中不记录更新版本。

7.根据权利要求6所述一种存放备份数据的备份方法，其特征在于,所述数据恢复：通过遍历所有文件的版本号生成相应的恢复数据，或挑选指定的文件中指定版本进行颗粒度恢复。

8.根据权利要求7所述一种存放备份数据的备份方法，其特征在于, 进行数据恢复的具体过程如下：

首先获取备份数据的版本和客户端信息，查找分区描述块，定位到对应客户端的索引区，然后扫描所有和客户端有关的索引块，判断索引块的版本对照表是否含有需要恢复的版本，若没有则跳过该索引块，扫描下一个索引块；若有则从数据入口指针跳转到数据地址，开始读取，并判断数据的哈希校验值是否和记录的一致，若一致则数据有效，恢复成功；若不一致则数据无效；

若进行颗粒度恢复，则按照客户端提供的路径定位文件的索引块，然后从版本对照表中查找到对应版本数据的入口文件即可。

9.根据权利要求8所述一种存放备份数据的备份方法，其特征在于,所述垃圾回收：在规定的维护周期内对整个系统进行全盘扫描，发现过期文件后，将其索引块中的版本对照表对应的数据入口删除，同时将其对应的数据块对照表中的内容置为可用；在垃圾清理的同时，进行文件系统碎片整理。

10.根据权利要求9所述一种存放备份数据的备份方法，其特征在于,进行垃圾回收的具体过程如下：扫描所有索引块，读取版本对照表中的过期时间，若当前系统时间已经超过数据的过期时间，则通过版本对照表提供的入口指针查找到过期数据所占用的所有数据块地址， 若这些地址被其他的数据版本所使用，则仅移除版本对照表中的相关条目；若这些地址没有被其他的数据版本所使用，则在版本对照表中将这些地址标记为可用，同时，将文件升级到的数据块在数据块对照表中置为可用。