CN102236589B - 一种基于数字标识符管理增量文件的数据保护方法 - Google Patents

Abstract

本发明涉及一种用数字标识符管理增量文件的数据保护方法，属于数据存储和备份技术领域。将目录进行编号，用数字标识符代表目录；将目录下文件进行编号，用数字标识符代表文件；将操作记录合成增量文件，用数字标识符代表增量合成文件。利用数据库索引技术对数字标识符字段创建索引。恢复时，可以很快地找到所需恢复文件的所有增量信息，这样，就可以快速地恢复出任意修改时间的文件版本。

Description

一种基于数字标识符管理增量文件的数据保护方法

技术领域

本发明属于数据存储和备份技术领域，具体涉及用数字标识符管理增量文件的数据保护方法。

背景技术

随着信息化水平的不断提高，数据信息逐渐成为企业赖以生存的基础，数据丢失所造成的损失也日益严重。传统的数据复制、备份、恢复等数据保护技术虽然能够对数据实现一定程度的保护，但是这些方法的恢复点目标和恢复时间目标太长，对于一些关键的信息系统来说是无法接受的。因此，需要将数据备份的“固定时间间隔”尽可能地缩小，甚至缩为零，持续数据保护(CDP，Continuous Data Protection)就是为了满足这样的需求而出现的数据保护技术。

随着需要保护的数据的不断增加，进行一次数据备份所需要的时间也越来越长，如何降低备份数据量提高数据备份效率成为需要解决的一个重要问题。

现有技术中，采用完全备份与增量备份相结合的方法来解决这一问题。进行增量备份时，只有那些在上次完全或者增量备份后被修改了的部分才会被备份。正是由于这个原因，增量备份的备份数据量比完全备份小的多，所需时间也仅为完全备份的几分之一。

持续数据保护技术的关键词是“持续”，也就意味着每一次的文件修改都会被备份，或者说会对应产生一个增量文件，如此一来，大量增量文件的有效管理，主要是存储就显得尤为重要。

现有技术中，增量文件的存储主要有两种方式：

一种就是完全按照所备份文件的原有路径在存储体中进行存储，如所备份的文件路径为：C:\Documents and Settings\Administrator\桌面\user\2010\abc.Doc，则产生的增量文件在存储体中的存储路径为C:\Documents and Settings\Administrator\桌面\user\2010\abc.doc\inc1.doc

这种方法存在以下缺点：

1、增量文件存储时，会增加原有存储路径长度，造成有些原本路径就比较长的文件无法备份；

2、不便于加密，备份路径和文件名，也会带来用户信息的泄密；

3、影响备份存储体的可移植性：如在linux下文件名不存在限制字符，而在windows下存在限制字符，这样，在linux下备份的文件，如果保存到windows的分区上，就有可能无法存储。

另外一种方法无关所备份文件的原路径，在存储体中开辟一区域，将所有产生的增量文件统一进行存储，如此带来的问题就是增量文件越来越多，造成查找增量文件速度变慢，恢复文件需要更多时间。

发明内容

本发明的目的在于克服上述现有技术中的不足，提出了一种用数字标识符管理增量文件的数据保护方法，用数字标识符来表示所备份文件的各层目录，基于文件来存储增量文件，即同一文件的增量文件存储路径相同。通过对增量文件的管理，使得在进行文件恢复时能够快速找到所需恢复文件的所有增量备份文件，从而能有效缩短恢复时间。

本发明所涉及的用数字标识符管理增量文件的数据保护方法，其主要技术步骤包括：

(1)利用数据库技术创建三个数据库表：目录信息表、文件信息表和增量文件信息表；

目录信息表包含字段：数字标识符、所属目录的数字标识符、目录名；

文件信息表包含字段：数字标识符、所属目录的数字标识符、文件名；

增量文件信息表包含字段：数字标识符、所属文件的数字标识符、开始时间、结束时间；

分别对目录信息表的“所属目录的数字标识符”字段、文件信息表的“所属目录的数字标识符”字段、增量文件信息表的“所属文件的数字标识符”字段建立索引；

(2)对需要保护的文件先进行一次完全备份，生成该文件及其所在路径中所有目录的数字标识符，并在目录信息表和文件信息表中添加相应记录；

(3)在操作系统中安装一个文件过滤驱动程序，实时监控所有文件的创建、修改(写)、删除操作，每拦截到一次文件操作都生成一条操作记录；

操作记录包含如下域：操作时间、操作类型、文件全路径、起始偏移、字节数、写入的数据内容；

(4)应用程序读取文件过滤驱动产生的操作记录，形成并存储增量文件，生成该增量文件的数字标识符并在增量文件信息表中添加相应记录。

与现有技术相比，本发明具有以下优点：

1、缩短增量文件存储时的路径长度，避免文件名过长无法保存；

2、对备份路径与文件名有加密效果，避免用户信息泄密；

3、解决备份存储体的可移植性问题，各个系统产生的备份文件可以备份到不同文件系统格式的分区上；

4、利用数据库索引技术，可以快速显示不同目录下的子目录与文件，恢复时可以快速找到恢复需要使用的增量文件。

附图说明

图1是增量文件存储的结构图，其中D表示目录，F表示文件，I表示增量文件

图2是过滤驱动拦截读写操作处理时的流程图

图3是一个写操作记录拆成多个写操作记录的示意图

图4是形成和存储增量文件的流程图

图5是建立一个文件恢复使用的操作记录链表的流程图

具体实施方法

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

1.利用数据库技术创建三个数据库表：目录信息表、文件信息表和增量文件信息表。目录信息表包含字段：数字标识符、所属目录的数字标识符、目录名，其中根目录所属目录的数字标识符可以为0；文件信息表包含字段：数字标识符、所属目录的数字标识符、文件名；增量文件信息表包含字段：数字标识符、所属文件的数字标识符、开始时间、结束时间。分别对目录信息表的“所属目录的数字标识符”字段、文件信息表的“所属目录的数字标识符”字段、增量文件信息表的“所属文件的数字标识符字段”建立索引。

2.对所有需要保护的文件先进行一次完全备份。对某个文件进行完全备份时，需要锁定对文件的修改、删除操作。完全备份按照以下步骤进行：

①将需要备份的文件的各层目录分析出来：如\users\jake\2010\bbb.Txt，这个文件的目录有‘users’，‘jake’，‘2010’，文件名为‘bbb.Txt’；

②对每层目录，先根据目录名与其所属目录的数字标识符在目录信息表中找到该目录的数字标识符，如果此目录还不存在数字标识符，则为其新建一个唯一的数字标识符并存储到文件信息表，同时在备份存储路径新建一个目录，目录名即为此层目录的数字标识符；

③在文件信息表中，根据最后一层目录的数字标识符与文件名，查找到此文件的数字标识符，如果此文件还不存在数字标识符，则为其新建一个唯一数字标识符并存储到文件信息表，同时在第②步所建立的目录下新建一个以文件数字标识符命名的目录；

④复制需要备份的文件的所有数据到第③步所建立的以文件数字标识命名的目录下。

3.在操作系统中安装一个文件过滤驱动程序，如图2所示，实时监控文件创建、修改(写)、删除操作(另外，文件操作还有移动、重命名，但都可以看作删除和创建操作相加)，每拦截到一次文件操作都生成一条操作记录。没有进行过完全备份的文件，不生成操作记录。操作记录包含如下域：操作时间、操作类型、文件全路径、起始偏移、字节数、写入的数据内容。对于写操作，需要填写所有域，其它操作，只需要填写部分域。操作记录可以放在独立的文件中，文件名用当前时间和四个字节的递增数组成，保证唯一性。

4.对需要备份的文件进行分块，每X2字节为一块。当一个文件写操作的字节数超过X2字节时，就会生成多条写操作记录，如图3所示。

5.应用程序读取驱动程序产生的操作记录，形成并存储增量文件，根据不同的安全级别需要，增量文件可以存储在本地或远程服务器。增量文件是由一组操作记录合成的，增量文件的大小可以是内部设定的值X1。例如，为了便于网络传输，我们可以设定一个增量文件为200Kb。形成增量文件时，依次读取操作记录，若下一个操作记录大小与当前增量文件大小相加小于200Kb，直接将操作记录附加到当前增量文件末尾，否则，重新生成一个增量文件，并在增量文件信息表中添加一条记录，操作流程如图4所示。

存储增量文件时，包括如下步骤：

①读取过滤驱动产生的操作记录，将需要备份的文件的各层目录分析出来；

②根据在目录信息表和文件信息表中查询获得的目录数字标识和文件数字标识符，找到此文件的完全备份的存储位置；

③在增量文件信息表中获得此文件最近一个增量文件的数字标识符，此数字标识符即为最近一个增量文件的文件名；

④当最近一个增量文件大小加上操作记录大小后大于预先设定的增量文件的大小时，则新建一个数字标识符并存储到增量文件信息表，同时建立一个以该新建数字标识符命名的增量文件，在此增量文件中写入操作记录，否则就将操作记录数据直接写到最近一个增量文件的末尾。

6.可以根据需要对完全备份文件与增量文件进行压缩与加密处理，这样可有效的减小增量数据大小并保护用户数据的安全。优选地，压缩算法可以采用LZW，ZIP等算法，加密可以采用目前最新数据加密算法-AES，但并不仅限于此。

7.恢复时，由于存储增量文件时，只是将原来的文件名与目录名用数字标识符替换，所以可以方便的把增量文件用类似windows资源管理器的形式显示出来。用户查看某一目录时，程序先获得此目录的数字标识符，又由于目录信息表与文件信息表的所属目录的数字标识符字段存在数据索引，所以可以根据目录的数字标识符快速的从目录信息表与文件信息表中获得用户所查看目录的所有子目录与文件。当要恢复某一个文件到某个时间点时，可以先在文件信息表中找到此文件的数字标识符，然后根据文件的数字标识符在增量信息表中找到相应时间点的增量文件，由于增量信息表的数字标识符字段存在索引，所以可以快速查找到所需增量文件，加快恢复速度。如：

9:00时对X文件进行了完全备份

9:05时用户X文件进行了修改，此时会产生增量文件

9:10时用户X文件进行了修改，此时会产生增量文件

9:15时用户X文件进行了修改，此时会产生增量文件

当需要恢复到9∶10的文件版本，先找到文件X的完全备份，然后再找到增量时间小于等于9∶10的增量备份文件，就可以得到9:10时的文件版本了。

8.恢复时，根据所要恢复文件的数字标识符找到此文件的所有增量信息后，可以建立一个操作记录链表，去除时间点在后的写入重复的操作记录，再根据操作记录链表进行恢复，如图5所示。

9.更新文件完全备份。由于备份增量实际上是以文件为单位的，所以处理一个文件的增量信息不会影响到其它文件。用户在备份存储空间不够用时或者作为一种定期释放备份空间的策略，可以考虑更新用户选定文件的完全备份来释放备份存储空间。更新时，需要将完全备份与增量文件合并，形成新的完全备份文件。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定。

Claims (3)

1.一种基于数字标识符管理增量文件的数据保护方法，其特征在于，包括如下步骤： 

(1)利用数据库技术创建三个数据库表：目录信息表、文件信息表和增量文件信息表； 

目录信息表包含字段：数字标识符、所属目录的数字标识符、目录名： 

文件信息表包含字段：数字标识符、所属目录的数字标识符、文件名； 

增量文件信息表包含字段：数字标识符、所属文件的数字标识符、开始时间、结束时间； 

分别对目录信息表的所属目录的数字标识符字段、文件信息表的所属目录的数字标识符字段、增量文件信息表的所属文件的数字标识符字段建立索引； 

(2)对需要保护的文件先进行一次完全备份，生成该文件及其所在路径中所有目录的数字标识符，并在目录信息表和文件信息表中添加相应记录； 

(3)在操作系统中安装一个文件过滤驱动程序，实时监控所有文件的创建、修改、删除操作，每拦截到一次文件操作都生成一条操作记录； 

操作记录包含如下域：操作时间、操作类型、文件全路径、起始偏移、字节数、写入的数据内容； 

(4)应用程序读取文件过滤驱动程序产生的操作记录，形成并存储增量文件，生成该增量文件的数字标识符并在增量文件信息表中添加相应记录。 

2.权利要求1中所述的基于数字标识符管理增量文件的数据保护方法，其特征在于，步骤(2)中进行完全备份时，包括如下步骤： 

①将需要备份的文件的各层目录分析出来； 

②对每层目录，先根据目录名与其所属目录的数字标识符在目录信息表中找到该目录的数字标识符，如果此目录还不存在数字标识符，则为其新建一个唯一的数字标识符并存储到文件信息表，同时在备份存储路径新建一个目录，目录名即为此层目录的数字标识符； 

③在文件信息表中，根据最后一层目录的数字标识符与文件名，查找到此文件的数字标识符，如果此文件还不存在数字标识符，则为其新建一个唯一数字标识符并存储到文件信息表，同时在第②步所建立的目录下新建一个以文件数字标识符命名的目录； 

④复制需要备份的文件的所有数据到第③步所建立的以文件数字标识命名的目录下。 

3.权利要求1中所述的基于数字标识符管理增量文件的数据保护方法，其特征在于，步骤(4)中存储增量文件时，包括如下步骤： 

①读取过滤驱动程序产生的操作记录，将需要备份的文件的各层目录分析出来； 

②根据在目录信息表和文件信息表中查询获得的目录数字标识和文件数字标识符，找到此文件的完全备份的存储位置； 

③在增量文件信息表中获得此文件最近一个增量文件的数字标识符，此数字标识符即为最近一个增量文件的文件名； 

④当最近一个增量文件大小加上操作记录大小后大于预先设定的增量文件的大小时，则新建一个数字标识符并存储到增量文件信息表，同时建立一个以该新建数字标识符命名的增量文件，在此增量文件中写入操作记录，否则就将操作记录数据直接写到最近一个增量文件的末尾。 

Images