CN101464820A

CN101464820A - 磁盘设备的持续数据保护方法和系统

Info

Publication number: CN101464820A
Application number: CNA2009100770299A
Authority: CN
Inventors: 王树鹏; 云晓春; 郭莉; 吴志刚; 罗浩; 崔祥
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2009-01-16
Filing date: 2009-01-16
Publication date: 2009-06-24
Anticipated expiration: 2029-01-16
Also published as: CN101464820B

Abstract

本发明涉及磁盘设备的持续数据保护方法和系统。该系统包括控制装置，用于向数据获取装置和/或存储管理装置下发指令，以实现对该持续数据保护系统进行管理和控制；数据获取装置，用于获取数据并生成历史操作信息存放到存储装置；磁盘监控装置，用于监控和截获磁盘I/O操作，并生成历史操作信息存放到存储装置；存储装置，该存储装置包含分层次的多个磁盘设备；存储装置，用于存储数据以及磁盘历史操作信息；存储管理装置，用于管理存储装置上存储的数据。本发明有效解决了历史操作信息数据量巨大所导致的持续数据保护系统实用性较差的问题，能够增加持续数据保护技术的通用性和实用性，降低系统的应用难度，增加系统的应用范围。

Description

磁盘设备的持续数据保护方法和系统

技术领域

本发明涉及磁盘设备，尤其涉及磁盘设备的持续数据保护方法和系统。

背景技术

随着信息化水平的不断提高，数据信息逐渐成为企业赖以生存的基础，数据丢失所造成的损失也日益严重，9.11事件所造成的灾难性的后果使人们更加深刻地认识到数据信息的价值和意义。最近的研究调查发现在很多行业中，数据丢失或者不可用造成的损失往往达到每个小时上百万美元。传统的数据复制、备份、恢复等数据保护技术虽然能够对数据实现一定程度的保护，但是这些方法的恢复点目标和恢复时间目标就显得太长，对于一些关键的信息系统是无法接受的。因此，就需要将数据备份的“固定时间间隔”尽可能地缩小，甚至缩为零，持续数据保护(CDP，Continuous Data Protection)就是为了满足这样的需求而出现的数据保护技术。

持续数据保护技术的关键词是持续，其主要功能是实现故障瞬间完成对任何时间点数据的快速恢复，保证业务的连续性。因此，能够从根本上解决传统备份中恢复能力低和非精确时间策略(如按照天的备份)的先天弱点。就给定的数据集而言，持续数据保护提供连续的恢复点，能够存取任何时间点上的数据，允许应用恢复到任意的时间点之前，而不仅仅针对那些由备份流程预先确定的特殊时刻，且恢复点在时间发生后选定并动态重建。因此持续数据保护能够提供无限密集的恢复点，有些情况下可以提供接近即时的恢复。

持续数据保护技术可以在不同的层次实现，具体来说，可以分为如下几类：基于应用的持续数据保护，基于文件的持续数据保护和基于数据块的持续数据保护。目前的持续数据保护方法存在如下问题：1.应用相关性太强；2.持续数据保护产生的数据量非常大，极大地限制了该方法的应用范围。为此，本发明提出了一种基于磁盘设备的持续数据保护方法，能够在磁盘设备层次进行数据保护，并且通过持续数据保护日志的多级保护机制，有效解决了数据量大、应用范围有限的问题。

发明内容

为了解决上述的技术问题，提供了一种磁盘设备的持续数据保护方法和系统，其目的在于，提出一种与应用相关性较小的持续数据保护方案，并且有效解决持续数据保护技术对存储空间要求比较大的问题，扩大其应用范围，增强实用性。

本发明提供了一种磁盘设备的持续数据保护系统，包括：

控制装置，用于向数据获取装置和/或存储管理装置下发指令，以实现对该持续数据保护系统进行管理和控制；

数据获取装置，用于获取数据并生成历史操作信息存放到存储装置；

磁盘监控装置，用于监控和截获磁盘I/O操作，并生成历史操作信息存放到存储装置；

存储装置，该存储装置包含分层次的多个磁盘设备；存储装置，用于存储数据以及磁盘历史操作信息；

存储管理装置，用于管理存储装置上存储的数据。

存储管理装置，用于根据时间先后将历史操作数据存储到位于不同层次的存储装置上。

存储管理装置，还用于在满足预设条件时，将历史操作数据合并并且将合并后的数据逐渐从较高层次的存储设备移动到较低层次的存储设备上。

位于最高层次的磁盘设备上存放所有历史操作数据的元数据信息以及最近时间段的数据；元数据信息包括时间戳、起始扇区号、截止扇区号、扇区数据以及存放位置；时间戳用于描述该数据的时间点信息，起始扇区号用于描述数据在磁盘设备上的起始位置，截止扇区号用于描述数据在磁盘设备上的结束位置，存放位置用于描述数据在磁盘设备上的存放位置。

控制装置，还用于向磁盘监控装置下发过滤规则，该过滤规则用于描述需要保护的分区；磁盘监控装置，还用于获取磁盘I/O操作的目的分区，如果该目的分区需要保护并且该操作是写操作，则为该操作设置完成例程，在完成例程中根据执行结果确定是否记录该操作。

磁盘监控装置，用于支持I/O触发方式、时间点触发、和/或事件触发方式生成历史操作信息；历史操作信息包括时间戳、起始扇区号、截止扇区号以及扇区数据信息。

磁盘监控装置，还用于在时间点触发方式或事件触发方式下，生成监控快照表，该监控快照表用于描述对应扇区的内容是否改变。

数据获取装置，还用于在时间点触发方式或事件触发方式下创建分区的快照卷，并向磁盘监控装置发送请求获取监控快照表，根据监控快照表从快照卷读取磁盘数据，生成元数据信息，将元数据信息和数据同时写到位于最高层次的磁盘设备。

存储管理装置，还用于在满足预设条件时，将位于在最低层次的磁盘设备上的数据删除。

本发明提供了一种磁盘设备的持续数据保护方法，包括：

步骤1，控制装置向数据获取装置和/或存储管理装置下发指令，以实现对磁盘设备的持续数据保护系统进行管理和控制；

步骤2，磁盘监控装置监控和截获磁盘I/O操作，并生成历史操作信息存放到存储装置；或者磁盘监控装置监控和截获磁盘I/O操作，数据获取装置获取数据并生成历史操作信息存放到存储装置；其中，存储装置包含具有层次的多个磁盘设备，用于存储数据以及磁盘历史操作信息；

步骤3，存储管理装置对在存储装置上存储的数据进行管理。

步骤3中，存储管理装置根据时间先后将历史操作数据存储到位于不同层次的存储装置上。

步骤3中，在满足预设条件时，存储管理装置还将历史操作数据合并并且将合并后的数据逐渐从较高层次的存储设备移动到较低层次的存储设备上。

步骤1中，控制装置还向磁盘监控装置下发过滤规则，该过滤规则用于描述需要保护的分区；步骤2中，磁盘监控装置还获取磁盘I/O操作的目的分区，如果该目的分区需要保护并且该操作是写操作，则为该操作设置完成例程，在完成例程中根据执行结果确定是否记录该操作。

步骤2中，磁盘监控装置支持I/O触发方式、时间点触发、和/或事件触发方式生成历史操作信息；历史操作信息包括时间戳、起始扇区号、截止扇区号以及扇区数据信息。

步骤2中，在时间点触发方式或事件触发方式下，磁盘监控装置生成监控快照表，该监控快照表用于描述对应扇区的内容是否改变。

步骤2中，在时间点触发方式或事件触发方式下，数据获取装置创建分区的快照卷，并向磁盘监控装置发送请求获取监控快照表，根据监控快照表从快照卷读取磁盘数据，生成元数据信息，将元数据信息和数据同时写到位于最高层次的磁盘设备。

步骤3中，在满足预设条件时，存储管理装置将位于在最低层次的磁盘设备上的数据删除。

本发明能够透明的支持上层的多种应用系统，提高了系统的通用性；另外，本发明提供了一种对历史操作信息的存储管理方法，有效解决了历史操作信息数据量巨大所导致的持续数据保护系统实用性较差的问题；本发明能够增加持续数据保护技术的通用性和实用性，降低系统的应用难度，增加系统的应用范围。

附图说明

图1为本发明的磁盘级持续数据保护系统结构图；

图2为本发明的磁盘监控装置事件分发例程的流程图；

图3为本发明的磁盘监控装置完成例程的处理流程图；

图4为本发明的数据获取装置的处理流程图；

图5为本发明的存储管理装置的操作流程图；

图6为本发明的文件备份的方法流程图。

具体实施方式

本发明的主要目的是提供一种通用性和实用性强的持续数据保护方法和系统。一方面，提出一种面向持续数据保护系统的历史数据信息存储管理机制，解决数据量巨大所导致的实用性不强的问题，增加该方法和系统的应用范围；另一方面，提供一种磁盘设备层次的持续数据保护方法，降低与上层应用的相关性，增加该方法和系统的通用性和应用范围。

根据本发明的第一个方面，本发明提供了一种在包含着一个指令存储器、一个中央处理器以及一个存储装置的计算机系统上的磁盘级持续数据保护方法和系统，该系统包括控制装置、数据获取装置、磁盘监控装置、存储装置和存储管理装置。控制装置提供了配置系统参数所需要的接口，操作员可以通过控制装置对系统进行统一的管理和控制，控制装置自身也可以根据预定的参数对系统进行控制和管理，例如向磁盘监控装置下发过滤规则，向数据获取装置下发指令，向存储管理装置下发指令。磁盘监控装置负责监控磁盘的I/O操作，根据预定条件，生成历史操作记录信息，存放到存储装置；存储装置用于存放系统的磁盘历史操作信息；存储管理装置用于管理存储装置上存储的数据。

根据本发明的第二个方面，存储装置是分层次的，按时间早晚将历史操作数据存储到不同层次的存储装置上，越早的历史操作数据存放到越低层次的存储设备上，越晚的历史操作数据存放到越高层的存储设备上，随着时间的推移，历史操作数据会被合并并且逐渐从较高层次的存储设备移动到较低层次的存储设备上去。另外，不同时间段的历史操作数据的时间粒度也不相同，越早的历史操作数据的时间粒度越大，越晚的历史操作数据的时间粒度越小。

根据本发明的第三个方面，最高层存储设备上存放所有历史操作数据的元数据信息以及最近时间段的数据，元数据信息包括时间戳、起始扇区号、截止扇区号、扇区数据以及存放位置，时间戳信息用于描述该数据的时间点信息，起始扇区号用于描述数据在磁盘上的起始位置，截止扇区号用于描述数据在磁盘上的结束位置，存放位置用于描述数据在存储设备上的存放位置。

根据本发明的第四个方面，磁盘监控装置监控所有的磁盘I/O操作，获取磁盘I/O操作的目的分区，与过滤规则进行匹配，如果满足条件，并且该操作是写操作，为该操作设置完成例程，在完成例程中根据执行结果确定是否记录该操作；对于不满足过滤条件的操作，则不设置完成处理例程。在完成处理例程中，对于执行成功的磁盘I/O操作，根据预定的条件和格式，生成历史操作信息，放入最高层的存储装置，或者更新监控快照表。

根据本发明的第五个方面，磁盘监控装置的历史操作信息生成支持I/O触发方式、时间点触发以及事件触发方式。I/O触发方式即每次I/O操作都触发磁盘过滤驱动装置生成历史操作信息；时间点触发方式即在预定时间点触发磁盘过滤驱动装置生成历史操作信息；事件触发方式即在满足预定事件条件时，触发磁盘过滤驱动装置生成历史操作信息。每项历史操作信息包括时间戳、起始扇区号、截止扇区号以及扇区数据信息。

根据本发明的第六个方面，在时间点触发方式和事件触发方式下，磁盘过滤驱动装置包含一个监控快照表，快照表中的每一位可以取“0”或者“1”两个值，“0”表示对应扇区的内容没有改变，“1”表示对应扇区的数据内容发生过改变。磁盘过滤驱动装置在截获到满足条件的写I/O操作时，将相应的位置“1”。

根据本发明的第七个方面，在满足时间点/事件条件时，数据获取装置会创建分区的快照卷，同时向磁盘监控装置发送请求，获取监控快照表，然后根据监控快照表从快照卷读取磁盘数据，生成元数据项，将元数据项和数据同时写到最高层的存储设备。

根据本发明的第八个方面，存储管理装置用于管理存储设备上的数据。当到达预定时间点或者存储设备的剩余存储空间少于门限值时，就会对早期时间段的数据进行合并并转存到低层次的存储设备上去，如果不存在更低层次的存储设备，就将数据直接删除。通过这种方式，既保证了近期关键的数据，又保证了不占用过高的存储空间。

使用本发明，可以在磁盘设备层次对关键数据实现持续数据保护，与上层业务应用无关，通用性比较强；将时间较近的磁盘写操作日志信息采用细粒度的保存机制，对于超过预定期限的磁盘写操作日志信息进行合并，减少数据量，降低对数据存储空间的需求，并将合并后的数据转存到二级存储介质。

请参阅图1所示，是本发明提供的磁盘级持续数据保护系统结构示意图。本备份系统包括控制装置A、数据获取装置B、磁盘监控装置C、存储装置D以及存储管理装置E(存储管理装置主要用来管理存储装置上的数据，而控制装置负责对整个系统的各个部件进行管理)。控制装置提供了用户配置系统参数的接口，并根据配置参数管理系统中其它装置的运行。磁盘监控装置用于监控和截获系统中的磁盘I/O操作，根据预定的方式生成历史操作信息，存放到存储设备。当采用时间点驱动或者事件驱动时，当满足时间/事件条件时，控制装置会向数据获取指令发送指令A101；磁盘监控装置需要的过滤规则也是由控制装置下发A102；另外，控制装置还会配置或者更新存储装置的相关参数A103；存储管理装置运行指令也是由控制装置下发A104。在使用时间/事件方式驱动时，数据获取装置收到控制装置的指令后，会向磁盘监控装置发送请求，获取监控快照表B102；并且会将生成的元数据和读取的数据存放到存储装置B101。当采用磁盘I/O触发方式时，磁盘监控装置也会生成历史操作信息，写入到存储装置C101。存储管理装置会对存储装置上的历史操作数据进行管理，定时的对指定时间段的数据进行合并，并将数据在不同层次的存储设备之间进行移动或者清除。存储管理装置收到指令后，会对存储装置上的数据进行合并和转存处理E101。存储装置用于存放持续数据保护系统生成的历史操作信息。

本发明提供的磁盘设备的持续数据保护方法，包括：

步骤3，存储管理装置对在存储装置上存储的数据进行管理。

图2和图3示出了磁盘监控装置的工作流程。磁盘监控装置包括两个部分：分发例程和完成例程。在事件分发例程中，截获所有的磁盘操作事件，进行过滤，对符合条件的磁盘操作，设置完成例程，在完成例程中再对其进行进一步处理。

图2示出了磁盘监控装置分发例程的执行流程，具体描述如下：

步骤C201：判断磁盘操作的目的分区是否是需要保护的分区，如果是，执行步骤C202，如果不是，执行步骤C203；

步骤C202：设置完成例程；

步骤D203：将事件转发到下层。

图3示出了磁盘监控装置完成例程的执行流程，具体描述如下：

步骤C301：判断该磁盘操作是否执行成功，如果执行成功，执行步骤C302；

步骤C302：判断历史记录方式，如果是I/O驱动方式，执行步骤C303；如果是时间/事件驱动方式，执行步骤C304；

步骤C303：形成历史操作信息，写到存储装置；

步骤C304：设置监控快照表。

磁盘监控装置可以完成I/O触发的磁盘操作，时间/事件触发的I/O操作还需要数据获取装置支持完成。图4示出了数据获取装置的执行流程，具体描述如下：

步骤B401：等待接收触发消息；

步骤B402：建立目标分区的快照；

步骤B403：从磁盘监控装置获取监控快照表；

步骤B404：根据监控快照表从快照卷读取数据，生成历史操作记录，写到存储装置；

步骤B405：删除目标分区的快照。

存储装置是分层次的，为了便于下面描述，定义S_i为第i层次的存储设备，S₀是最高层的存储设备，该存储设备上存放元数据信息以及最近时间段的数据。用M_ti表示时刻t_i-1到时刻t_i之间历史数据信息的元数据，用I_si表示存储设备支持的时间粒度，当I_si＝0时，表示每次磁盘I/O都产生一条历史操作信息，I_si＝1小时，就是指每1小时内的磁盘操作合并在一起生成历史操作信息集合。

图5示出了对存储设备S_i上存储数据和并清理的过程，假设在该存储装置上存放了从时刻t_i到时刻t_j的历史操作信息，具体描述如下：

步骤E501：搜索时间点t_i到t_j，找出比t_i+(t_j-t_i)/2大的最近的时间点t_k；

步骤E502：判断该存储装置是否是最底层的存储装置，如果是，执行步骤E503，否则执行步骤E504；

步骤E503：将t_i到t_j之间的数据删除；

步骤E504：令t_h＝t_i；

步骤E505：从时间点开始搜索，查找比t_h+I_si-1大的最近的时间点t_g；

步骤E506：判断t_g是否大于t_j，如果大于，执行步骤E507，否则，执行步骤E508；

步骤E507：令t_g＝t_h；

步骤E508：将t_h和t_g之间的数据进行合并；

步骤E509：令t_h等于t_g；

步骤E510：判断t_g是否等于t_j；

步骤E511：判断下一层存储设备是否能够存放t_i和t_j之间合并的数据，如果是，执行步骤E513，否则，执行步骤E512；

步骤E512：对底层存储设备的数据进行合并移动；

步骤E513：将数据移动到底层存储设备。

图6示出了数据合并的流程图，这里描述了时间点t_i和t_j之间的数据合并过程，具体描述如下：

步骤E601：将M_ti和M_tj中的元数据项按起始扇区号进行排序；

步骤E602：M_ti中是否有未处理的元数据项，如果有，执行步骤E603，否则，执行步骤E607；

步骤E603：从中取出一个元数据项M_ti，k；

步骤E604：判断元数据项M_ti，k包含的扇区范围是否被M_tj中扇区范围所包含，如果是，则执行步骤E606；否则，执行步骤E605；

步骤E605：将元数据项M_ti，k直接放到新的元数据集合M_j’中；

步骤E607：将元数据项M_ti，k中没有被包含的部分形成新的元数据项，放到新的元数据集合M_j’中；将元数据项M_ti，k被包含扇区范围部分的数据删除。

步骤E608：将M_j中的元数据项依次存放到新的元数据集合M_j’中。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims

1.一种磁盘设备的持续数据保护系统，其特征在于，包括控制装置、数据获取装置、磁盘监控装置、存储装置以及存储管理装置；

存储装置，该存储装置包含分层次的多个磁盘设备，用于存储数据以及磁盘历史操作信息；

存储管理装置，用于管理存储装置上存储的数据。

2.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，存储管理装置，用于根据时间先后将历史操作数据存储到位于不同层次的存储装置上。

3.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，存储管理装置，还用于在满足预设条件时，将历史操作数据合并并且将合并后的数据逐渐从较高层次的存储设备移动到较低层次的存储设备上。

4.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，位于最高层次的磁盘设备上存放所有历史操作数据的元数据信息以及最近时间段的数据；元数据信息包括时间戳、起始扇区号、截止扇区号、扇区数据以及存放位置；时间戳用于描述该数据的时间点信息，起始扇区号用于描述数据在磁盘设备上的起始位置，截止扇区号用于描述数据在磁盘设备上的结束位置，存放位置用于描述数据在磁盘设备上的存放位置。

5.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，控制装置，还用于向磁盘监控装置下发过滤规则，该过滤规则用于描述需要保护的分区；磁盘监控装置，还用于获取磁盘I/O操作的目的分区，如果该目的分区需要保护并且该操作是写操作，则为该操作设置完成例程，在完成例程中根据执行结果确定是否记录该操作。

6.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，磁盘监控装置，用于支持I/O触发方式、时间点触发、和/或事件触发方式生成历史操作信息；历史操作信息包括时间戳、起始扇区号、截止扇区号以及扇区数据信息。

7.如权利要求4所述的磁盘设备的持续数据保护系统，其特征在于，磁盘监控装置，还用于在时间点触发方式或事件触发方式下，生成监控快照表，该监控快照表用于描述对应扇区的内容是否改变。

8.如权利要求7所述的磁盘设备的持续数据保护系统，其特征在于，数据获取装置，还用于在时间点触发方式或事件触发方式下创建分区的快照卷，并向磁盘监控装置发送请求获取监控快照表，根据监控快照表从快照卷读取磁盘数据，生成元数据信息，将元数据信息和数据同时写到位于最高层次的磁盘设备。

9.如权利要求1所述的磁盘设备的持续数据保护系统，其特征在于，存储管理装置，还用于在满足预设条件时，将位于在最低层次的磁盘设备上的数据删除。

10.一种磁盘设备的持续数据保护方法，其特征在于，包括：

步骤3，存储管理装置对在存储装置上存储的数据进行管理。

11.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，步骤3中，存储管理装置根据时间先后将历史操作数据存储到位于不同层次的存储装置上。

12.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，步骤3中，在满足预设条件时，存储管理装置还将历史操作数据合并并且将合并后的数据逐渐从较高层次的存储设备移动到较低层次的存储设备上。

13.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，位于最高层次的磁盘设备上存放所有历史操作数据的元数据信息以及最近时间段的数据；元数据信息包括时间戳、起始扇区号、截止扇区号、扇区数据以及存放位置；时间戳用于描述该数据的时间点信息，起始扇区号用于描述数据在磁盘设备上的起始位置，截止扇区号用于描述数据在磁盘设备上的结束位置，存放位置用于描述数据在磁盘设备上的存放位置。

14.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，步骤1中，控制装置还向磁盘监控装置下发过滤规则，该过滤规则用于描述需要保护的分区；步骤2中，磁盘监控装置还获取磁盘I/O操作的目的分区，如果该目的分区需要保护并且该操作是写操作，则为该操作设置完成例程，在完成例程中根据执行结果确定是否记录该操作。

15.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，步骤2中，磁盘监控装置支持I/O触发方式、时间点触发、和/或事件触发方式生成历史操作信息；历史操作信息包括时间戳、起始扇区号、截止扇区号以及扇区数据信息。

16.如权利要求13所述的磁盘设备的持续数据保护方法，其特征在于，步骤2中，在时间点触发方式或事件触发方式下，磁盘监控装置生成监控快照表，该监控快照表用于描述对应扇区的内容是否改变。

17.如权利要求16所述的磁盘设备的持续数据保护方法，其特征在于，步骤2中，在时间点触发方式或事件触发方式下，数据获取装置创建分区的快照卷，并向磁盘监控装置发送请求获取监控快照表，根据监控快照表从快照卷读取磁盘数据，生成元数据信息，将元数据信息和数据同时写到位于最高层次的磁盘设备。

18.如权利要求10所述的磁盘设备的持续数据保护方法，其特征在于，步骤3中，在满足预设条件时，存储管理装置将位于在最低层次的磁盘设备上的数据删除。