CN110362424A - 一种基于连续数据保护的快速恢复方法和系统 - Google Patents

Abstract

本发明涉及一种基于连续数据保护的快速恢复方法和系统。该方法包括：1)根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；2)读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；3)对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；4)利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。本发明不通过写磁盘就能快速恢复，能够克服现有的CDP技术在恢复时，基于磁盘上某个时间基线的数据不断的进行事件合并来读写磁盘，由此引起的大量磁盘IO消耗和磁盘空间占用问题。

Description

一种基于连续数据保护的快速恢复方法和系统

技术领域

本发明涉及一种基于连续数据保护的快速恢复方法和系统，属于计算机数据备份容灾领域。

背景技术

CDP(Continuous Data Protection，持续数据保护)技术是数据备份技术领域的一项重大突破，2011年，SNIA(全球网络存储工业协会)的CDP技术小组公布了CDP技术的三大条件：1.可以捕获任意的数据变化；2.至少可以备份到另外一个地方(异地容灾)；3.可以恢复到任意时间点。

CDP系统持续监测数据变化并记录这些变化，当灾难发生后，用户可用选择要恢复的任意时间点来恢复到灾难前的状态。

传统的CDP恢复，在恢复前需要把恢复的目标数据还原到磁盘上，再基于磁盘上恢复后的数据进行事件合并后还原。对于恢复到异地不同系统的情景，这就增加了读写磁盘引起的IO的消耗，以及额外磁盘空间的占用。

发明内容

为了克服现有的CDP技术在恢复时，基于磁盘上某个时间基线(baseline)的数据不断的进行事件合并来读写磁盘，由此引起大量磁盘IO消耗和磁盘空间占用的问题，本发明提供了一种不通过写磁盘的方式就能快速恢复的方法和系统。

本发明提供一种基于连续数据保护的快速恢复方法，包括以下步骤：

1.根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；

2.读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；

3.对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；

4.利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。

下面进一步说明上述步骤：

步骤1：根据用户选择的需要恢复的某个时间点，找到距离该时间点最近的时间基线(baseline)。读取时间基线的数据内容到内存中。

步骤2：根据用户选择的要恢复的某个时间点，和距离该时间点最近的时间基线(baseline)，找到两个时间点(该要恢复的时间点和该时间基线)之间所有的磁盘IO操作，读取并保存到事件结构体(文中把“事件结构体”称为EventData)中。所述事件结构体记录操作事件的ID、文件的属性、文件被修改处的位置和长度、以及被修改内容所保存在修改数据保存文件中的具体位置。

步骤3：处理步骤2所述磁盘IO操作对应的针对每个数据文件的IO事件队列。首先建立以文件ID为key，文件路径和文件标识为value的映射表，称为id映射表(idMap)。对于删除文件事件，在id映射表中标记删除该文件名。对于重命名事件，在id映射表中标记删除旧文件的id，修改新文件id的值为与旧文件id对应的文件属性和内容。对于创建文件事件，从id映射表中取消标记删除该文件名，并保存文件属性。对于写文件事件，从事件结构体中读取被修改文件的起始位置和偏移，并从修改数据保存文件对应的位置和偏移读取文件修改数据块并保存到内存中的数据修改记录结构体(CdpData)中。

在解析事件队列的写操作时，具体方法是这样的：

(1)先从事件结构体读取数据片段在修改数据保存文件中的位移和长度；

(2)从修改数据保存文件中的指定位移处读取指定长度的数据到内存；

(3)读取到内存的数据片段在保存到数据修改记录结构体之前，先与之前已经保存到数据修改记录结构体的所有数据片段进行比较，如果在文件中的内容区间有重复的区域，则对这两块数据片段的内容进行合并处理；如果没有与之前数据片段重复的区域则添加到修改片段列表中。

步骤4：处理完所有事件操作并把操作结果保存到内存后，进入数据恢复流程，数据恢复过程采用按块读取文件内容，并发送到异地服务器的方式。在内存中合并数据的操作就是在恢复的这个阶段完成的，具体步骤如下：

(1)从要发送的文件(即步骤1中读取的“时间基线的数据内容”)中循环读取固定大小的内容到内存，直到文件内容全部读取完成。

(2)在步骤(1)的循环过程中每读取一段文件内容后，需要先判断该段内容是否与记录在数据修改记录结构体中的数据片段在文件中的位置有重复的区域(即有重叠的部分)，如果有重叠部分，说明该段文件内容有被修改，需要从修改片段列表读取有重叠的文件内容，覆盖原有读取的文件内容，得到合并后的该文件片段的实际内容。

(3)发送合并后的文件片段到目标服务器。

(4)如果文件没有被修改，则不合并直接发送读取的文件内容到目标服务器。

与上面方法对应地，本发明还一种基于连续数据保护的快速恢复系统，其包括：

时间基线数据内容读取模块，负责根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；

磁盘IO操作保存模块，负责读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；

事件处理模块，负责对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；

数据恢复模块，负责利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。

本发明的有益效果是：

本发明不通过写磁盘就能快速恢复，能够克服现有的CDP技术在恢复时，基于磁盘上某个时间基线的数据不断的进行事件合并来读写磁盘，由此引起的大量磁盘IO消耗和磁盘空间占用问题。

附图说明

图1为CDP数据存储结构图。

图2为CDP恢复事件合并流程图。

图3为CDP恢复内存合并流程图。

图4为CDP恢复内存合并算法示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

图1为CDP数据存储结构图。如图1所示，Baseline是对被保护数据的定时备份，CDP是在Baseline数据的基础上，持续地监测数据变化并实时记录数据的变化。Baseline的实现方式有多种，可用用普通的磁盘存储，也可以用快照方式来实现。

从生成Baseline的时刻开始，连续的磁盘IO操作实时被捕获并保存在单独的事件保存文件EventFile里；同时监测到的Baseline目录下数据的变化(捕获到写文件操作)，也相应被写入到另一个独立的修改数据保存文件DataFile里；文件的路径和事件ID的对应关系会被写入文件路径保存文件namelist。

(1)事件保存文件(EventFile)：该文件中记录了一个个事件结构体，每个事件结构体记录了该操作事件的ID(event id)、文件的属性、文件被修改处的位置和长度、以及被修改内容所保存在修改数据保存文件DataFile里的具体位置(pose in DataFile)。其中，文件的属性是指文件的用户权限，创建、修改及访问时间，安全属性等；文件被修改处的偏移是指文件被修改部分的位置和长度)。

(2)修改数据保存文件(DataFile)：该文件记录了所有被修改的文件的片段。

(3)文件路径保存文件(namelist)：该文件记录了所有被操作过的文件的原始路径(file path)，和与该文件对应的事件的ID(event id)。

图2为CDP恢复事件合并流程图。在数据恢复时，需要基于一个已有的磁盘数据的备份目录，将从数据备份时间点到要恢复到的时间点之间的所有事件进行处理，并将处理结果保存到内存中。具体事件处理的步骤如下：

(1)读取文件路径保存文件和事件保存文件，建立以文件ID为key，文件路径和文件标识为value的映射表，名称为m_idMap。其中“文件标识”即下面步骤(3)～(5)中的标记1或0。

(2)创建一个新的名为m_files的映射表，每处理一个事件，往m_files里增加一个以文件ID为key，CFileCdp为value的map。CFileCdp结构体中包含文件修改后的属性和数据修改记录映射表m_d。m_d是以文件修改起始位置为key，CdpData结构体为value的映射表。CdpData中包含文件修改处的位移和长度，以及修改片段被保存在修改数据保存文件中的位置。每一个文件中被修改的文件片段可能是不连续的多段，所以一个文件可能对应多个CdpData，记录在映射表m_d中。

(3)对于创建文件操作(即图2中的Create事件)，保存文件的ID和对应的文件属性到m_files中；记录文件被删除标记为0，保存到m_idMap。

(4)对于删除文件操作(即图2中的Remove事件)，需要记录文件被删除标记为1，保存到m_idMap。

(5)对于重命名操作(即图2中的Rename事件)，需要对修改后的文件ID对应的值进行更新，并删除旧的ID，存放到m_idMap；如果被改后的文件路径在被保护路径外，需在m_idMap中记录文件被删除标记为1。

(6)对于写文件操作(即图2中的Write事件)，需要记录文件的ID，文件属性和文件被修改记录(包括文件修改处的位移和长度，以及修改片段保存在DataFile文件中的位置)，保存到CdpData中。然后创建以文件位移为key，以CdpData为value的map。

(7)对于设置属性操作(即图2中的SetAttr事件)，需要记录文件的属性，保存到到CFileCdp中。

恢复事件的合并流程，实现了数据的采集和处理，把需要的数据变更信息记录下来。在后面的数据恢复过程中，再使用这些记录。

图3为CDP恢复内存合并流程图。通过图2的事件处理流程，分析完所有要合并的事件后，接下来开始数据的恢复过程。数据恢复过程的具体步骤如下：

(1)从Baseline目录下扫描所有文件，记录这些文件的路径和属性，根据m_idMap中的删除标志过滤掉被删除的文件，再发送文件路径到目标服务器。

(2)遍历m_files列表，将新增的文件或文件夹的路径和属性发送到目标服务器。新增文件的IO操作是Create()，新增文件夹的IO操作是MkDir()，由于新增事件产生的文件列表在Baseline目录下获取不到，所以需要从m_files列表里获取。同时m_files列表还需要过滤掉Baseline目录下已经存在的那些目录，防止重复发送。

(3)根据前面发送的文件路径，依次遍历文件并读取文件内容发送到目标端。

(4)在发送文件之前，先从m_files中读取该文件的大小，如果该文件实际大小为0，则不需要发送内容。如果该文件实际大小比Baseline中文件读取的长度要小，则按照文件实际大小发送，剩余的部分无需再发送到目标端。

(5)每次读取的文件片段的长度为固定字节，在读完文件片段的内容到内存后，根据图2描述的CDP事件合并后获取的文件修改记录，遍历与文件对应的CFileCdp结构体中的m_d映射表，查找在该文件片段中是否有被修改的文件内容，如果有，则将修改片段的内容覆盖到该文件片段所在的内存区域。具体算法如下(见图4)：

(5.1)判断修改片段和文件片段左边相离或者右边相离，则不进行合并。

(5.2)判断修改片段和文件片段左边相交，则合并左边相交的部分。

(5.3)判断修改片段和文件片段左右边相交，则合并右边相交的部分。

(5.4)判断修改片段被全部包含在文件片段里，则全部合并修改的片段。

(5.5)判断文件片段被全部包含在修改片段里，则合并包含的部分。

在读取修改片段的内容时，会一次读取足够长度的文件内容到内存，防止频繁读取磁盘导致性能下降。在合并的过程中，如果预读取的内存全部读完了，但是合并区域内的修改片段内容还没有读完，此时需要释放之前申请的修改片段内存，重新读取剩余的修改片段内容到内存，继续完成数据合并。

本发明不限于以上实施方式，比如：

本发明另一实施例提供一种基于连续数据保护系统的快速恢复系统，其包括：

时间基线数据内容读取模块，负责根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；

磁盘IO操作保存模块，负责读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；

事件处理模块，负责对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；

数据恢复模块，负责利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。

上述各模块的具体实现方式参见前文对本发明方法的说明。

本发明另一实施例提供一种计算机/服务器，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

本发明的基于内存合并的方法与现有技术中基于磁盘合并的方法，其性能对比如表1所示。可以看出，本发明不通过写磁盘就能快速地实现数据恢复。

表1.性能对比列表

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于连续数据保护的快速恢复方法，其特征在于，包括以下步骤：

1)根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；

2)读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；

3)对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；

4)利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。

2.根据权利要求1所述的方法，其特征在于，步骤2)将所述磁盘IO操作保存到事件保存文件中的事件结构体中，并将文件的路径和事件ID的对应关系写入文件路径保存文件；所述事件结构体记录操作事件的ID、文件的属性、文件被修改处的位置和长度、以及被修改内容所保存在修改数据保存文件中的具体位置。

3.根据权利要求1所述的方法，其特征在于，步骤3)包括：

3.1)建立以文件ID为key，文件路径和文件标识为value的映射表，称为id映射表；

3.2)对于删除文件事件，在id映射表中标记删除文件名；

3.3)对于重命名事件，在id映射表中标记删除旧文件的id，修改新文件id的值为与旧文件id对应的文件属性和内容；

3.4)对于创建文件事件，从id映射表中取消标记删除该文件名，并保存文件属性；

3.5)对于写文件事件，从事件结构体中读取被修改文件的起始位置和偏移，并从修改数据保存文件对应的位置和偏移读取文件修改数据块并保存到内存的数据修改记录结构体中。

4.根据权利要求3所述的方法，其特征在于，步骤3.5)包括：

(a)从事件结构体读取数据片段在修改数据保存文件中的位移和长度；

(b)从修改数据保存文件中的指定位移处读取指定长度的数据到内存；

(c)读取到内存的数据片段在保存到数据修改记录结构体之前，先与之前已经保存到数据修改记录结构体的所有数据片段进行比较，如果在文件中的内容区间有重复的区域，则对这两块数据片段的内容进行合并处理；如果没有与之前数据片段重复的区域则添加到修改片段列表中。

5.根据权利要求3或4所述的方法，其特征在于，步骤4)每次读取的文件片段的长度为固定字节，在读完文件片段的内容到内存后，查找在该文件片段中是否有被修改的文件内容，如果有，则将修改片段的内容覆盖到该文件片段所在的内存区域。

6.根据权利要求5所述的方法，其特征在于，步骤4)的数据恢复过程采用按块读取文件内容，并发送到异地服务器的方式，包括以下子步骤：

(1)从要发送的文件中循环读取固定大小的内容到内存，直到文件内容全部读取完成；

(2)在步骤(1)的循环过程中每读取一段文件内容后，先判断该段内容是否与记录在数据修改记录结构体中的数据片段在文件中的位置有重复的区域，如果有重复的区域，说明该段文件内容有被修改，则从修改片段列表读取有重叠的文件内容，覆盖原有读取的文件内容，得到合并后的该文件片段的实际内容；

(3)发送合并后的文件片段到目标服务器；

(4)如果文件没有被修改，则不合并直接发送读取的文件内容到目标服务器。

7.根据权利要求5所述的方法，其特征在于，所述将修改片段的内容覆盖到该文件片段所在的内存区域，包括：

判断修改片段和文件片段左边相离或者右边相离，则不进行合并；

判断修改片段和文件片段左边相交，则合并左边相交的部分；

判断修改片段和文件片段左右边相交，则合并右边相交的部分；

判断修改片段被全部包含在文件片段里，则全部合并修改的片段；

判断文件片段被全部包含在修改片段里，则合并包含的部分。

8.根据权利要求7所述的方法，其特征在于，步骤4)在读取修改片段的内容时，一次读取足够长度的文件内容到内存，防止频繁读取磁盘导致性能下降。

9.根据权利要求7所述的方法，其特征在于，步骤4)在合并的过程中，如果预读取的内存全部读完了，但是合并区域内的修改片段内容还没有读完，则释放之前申请的修改片段的内存，重新读取剩余的修改片段内容到内存，继续完成数据合并。

10.一种基于连续数据保护的快速恢复系统，其特征在于，包括：

时间基线数据内容读取模块，负责根据需要恢复的时间点找到距离该时间点最近的时间基线，读取该时间基线的数据内容到内存中；

磁盘IO操作保存模块，负责读取和保存所述需要恢复的时间点和所述时间基线之间所有的磁盘IO操作；

事件处理模块，负责对所述磁盘IO操作对应的所有事件进行处理，记录数据变更信息并将其保存在内存中；

数据恢复模块，负责利用内存中保存的所述时间基线的数据内容和所述数据变更信息，进行数据恢复。