CN114461456A

CN114461456A - 基于连续写cdp备份方法、系统、存储介质及恢复方法

Info

Publication number: CN114461456A
Application number: CN202210374930.8A
Authority: CN
Inventors: 谢俊峰; 黄传波; 毛艺萍; 钱禹航; 谢卓伟; 周科
Original assignee: Chengdu Vinchin Science And Technology Co
Current assignee: Chengdu Vinchin Science And Technology Co
Priority date: 2022-04-11
Filing date: 2022-04-11
Publication date: 2022-05-10
Anticipated expiration: 2042-04-11
Also published as: CN114461456B

Abstract

本发明涉及一种基于连续写CDP备份方法、系统、存储介质及恢复方法，属于数据保护领域。应用于数据备份端的方法包括：创建镜像卷、日志卷和初始索引文件；接收变化数据；判断变化数据块是否是初次发生变化；更新初始索引文件；数据写入；生成元数据记录。应用于数据源端的方法包括：生成变化数据；向数据备份端发送变化数据。所述系统包括：创建模块、接收模块、第一判断模块、初始索引文件更新模块、写入模块、元数据记录生成模块。本发明提出了一种“一次读出，连续写入”的备份方法，且基于此方法实现块级连续数据保护系统，不使用快照节省空间，可以构造任意时刻的数据用于查看，提高数据备份速率和整体运行效率，同时保证数据的安全可靠。

Description

基于连续写CDP备份方法、系统、存储介质及恢复方法

技术领域

本发明属于数据保护领域，属于一种基于连续写CDP备份方法、系统、存储介质及恢复方法。

背景技术

连续数据保护（CDP）是一种能够捕获所有数据写入并将数据恢复到任意时刻的连续数据保护技术，能在不影响业务系统正常运行的情况下实时记录数据的变化，有效的提高数据的安全性和可靠性。传统的数据保护技术为备份和快照，采用的是“单一时间点”（Single-Point-in-Time，SPIT）数据复制的管理模式，具有很多的局限性。而连续数据保护可以实现对“Any-Point-In-Time”(APIT)的数据访问。因此CDP在恢复时间目标（RTO）和恢复点目标（RPO）方面都有较强的优势，成为了各个领域研究的热点。

目前，许多备份供应商如 Hitachi、EMC、IBM、Symantec、Double Take 等已将CDP技术集成到他们的备份解决方案中，他们大都采用写时拷贝（COW）的方法来备份数据，该方法在每次写请求到来时，把镜像卷上的数据读出后复制一份到日志卷，再将新的数据写入镜像卷。COW方法只需保存部分变化前的旧原始数据，占用的存储空间较小，但这种将原来的数据复制后再写入的方法消耗了更多I/O资源，减缓了CDP数据备份的速率，特别是对于块设备，COW的平均访问时间大都非常长。

因此，如何提高数据备份速率，提升系统运行效率，高效地保障数据安全已成为大数据时代面临的最大的挑战。

发明内容

本发明为了解决上述背景技术中的技术问题，本发明实施实例提供一种基于连续写CDP备份方法、系统存储介质及恢复方法。所述技术方案如下：

第一个方面，提供了一种基于连续写CDP备份方法，用于数据备份端中，包括步骤：

创建步骤，创建镜像卷、日志卷和初始索引文件，并在所述镜像卷与数据源端的生产卷之间建立同步关系；

接收步骤，接收所述生产卷上的变化数据，并确定所述变化数据所属数据块为变化数据块；

第一判断步骤，根据所述初始索引文件，判断所述变化数据块是否是初次发生变化；若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成步骤和初始索引文件更新步骤，再执行写入步骤；若否，则执行写入步骤；

初始索引文件更新步骤，标记所述变化数据块已发生变化；

写入步骤，将所述变化数据写入镜像卷所属数据块和所述日志卷，再执行元数据记录生成步骤；

元数据记录生成步骤，根据写入日志卷的数据生成元数据记录。

第二个方面，还提供一种基于连续写CDP备份方法，用于数据源端中，包括步骤：

变化数据生成步骤，在生产卷上生成变化数据；

变化数据发送步骤，向所述数据备份端发送所述变化数据；所述数据备份端用于创建镜像卷、日志卷和初始索引文件，所述镜像卷与所述生产卷之间建立同步关系；所述初始索引文件用于判断所述变化数据块是否是初次发生变化，若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成步骤和初始索引文件更新步骤，再执行写入步骤；若否，则执行写入步骤；所述初始索引文件更新步骤用于标记所述变化数据块已发生变化；所述写入步骤用于将所述变化数据写入镜像卷所属数据块和所述日志卷，再执行元数据记录生成步骤；所述元数据记录生成步骤用于根据写入日志卷的数据生成元数据记录。

第三个方面，提供了一种基于连续写CDP保护系统，用于数据备份端中，所述系统包括：

创建模块，用于创建镜像卷、日志卷和初始索引文件，并在所述镜像卷与数据源端的生产卷之间建立同步关系；

接收模块，用于接收所述生产卷上的变化数据，并确定所述变化数据所属数据块为变化数据块；

第一判断模块，用于根据所述初始索引文件，判断所述变化数据块是否是初次发生变化；若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成模块和初始索引文件更新模块，再执行写入模块；若否，则执行写入模块；

初始索引文件更新模块，用于标记所述变化数据块已发生变化；

写入模块，用于将所述变化数据写入所述镜像卷所属数据块和所述日志卷，再执行元数据记录生成模块；

元数据记录生成模块，用于根据写入日志卷的数据生成元数据记录。

第四个方面，提供了一种基于连续写CDP保护系统，用于数据源端中，所述系统包括：

变化数据生成模块，用于在生产卷上生成变化数据；

变化数据发送模块，用于向所述数据备份端发送所述变化数据；所述数据备份端还用于创建镜像卷、日志卷和初始索引文件，所述镜像卷与所述生产卷之间建立同步关系；所述初始索引文件还用于判断所述变化数据块是否是初次发生变化，若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成模块和初始索引文件更新模块，再执行写入模块；若否，则执行写入模块；所述初始索引文件更新模块还用于标记所述变化数据块已发生变化；所述写入模块还用于将所述变化数据写入镜像卷所属数据块和所述日志卷，再执行元数据记录生成模块；所述元数据记录生成模块还用于根据写入日志卷的数据生成元数据记录。

第五个方面，提供了一种基于连续写CDP恢复方法，利用上述基于连续写CDP备份方法，用于数据备份端中，还包括步骤：

时间点接收步骤，接收指定恢复时间点；

重构索引文件创建步骤，创建重构索引文件，确定进行数据恢复的数据块为重构数据块，其中，所述重构索引文件包括：重构偏移文件和重构位图文件；

元数据记录解析步骤，依次逆向解析所述指定恢复时间点前的元数据记录，并根据逆向解析结果更新所述重构索引文件；

第四判断步骤，根据所述重构索引文件，判断所述重构索引文件是否完整，若是，则进行数据恢复；若否，则执行第五判断步骤，再进行数据恢复；

第五判断步骤，根据所述初始索引文件，判断所述重构数据块是否是所述变化数据块，若是，则执行重构步骤；若否，则将所述重构数据块指向当前镜像卷，更新所述重构索引文件，再执行重构步骤；

重构步骤，根据所述初始索引文件，获取所述重构数据块的位置偏移，再根据所述重构数据块的位置偏移，更新所述重构索引文件。

第六个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于连续写CDP备份方法。

本发明的有益效果是：

（1）本发明不使用快照，以逻辑卷的方式进行数据备份，屏蔽与硬件相关的存储设置，节省存储空间，减少操作成本；

（2）本发明以镜像卷同步于生产卷的方式提供最新数据，用户可以随时获取到最新数据用于恢复或查看，提高了便利性；

（3）本发明使用初始索引文件标记数据是否初次发生变化、存储位置偏移，实现了变化数据块的判断和原始数据的快速检索；

（4）本发明只在第一次变化数据到达时将原始数据读出，后每一次都直接写入镜像卷和日志卷，减少了后续该变化数据所属数据块进行CDP备份时的所有读步骤，数据备份速率明显提升，优化了备份过程；

（5）本发明通过对存入日志卷的数据生成元数据记录的方式，记录变化数据的时间戳、数据块起始位置、日志卷偏移和数据块个数，为数据恢复奠定了基础。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中服务器端基于连续写CDP进行备份的流程图。

图2为本发明实施例1中元数据记录的结构示意图。

图3为本发明实施例1中备份数据的速率图。

图4为本发明实施例2中客户端基于连续写CDP进行备份的流程图。

图5为本发明实施例3中服务器端基于连续写CDP系统的结构示意图。

图6为本发明实施例4中客户端基于连续写CDP系统的结构示意图。

图7为本发明实施例5中恢复数据消耗时间图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

术语解释：

（1）逻辑卷：逻辑卷是由逻辑磁盘形成的虚拟盘，是建立在物理存储设备之上的一个抽象层，生产卷、镜像卷和日志卷都是逻辑卷。

（2）数据块:数据块指Linux中I/O操作的最小单位，通常是扇区的2的幂次方倍。

（3）变化数据：发生在生产卷上，用于数据恢复，是需要被保护的数据。

（4）索引文件:包括偏移文件和位图文件，分别记录某一时刻，各数据对应的位置偏移和状态信息。

（5）整合时间点：从开始备份到停止备份之间的一个或多个固定时间点，各整合时间点之间所间隔时长相等。

（6）恢复时间点：从开始备份到停止备份之间的任意时间点。

实施例1

在一个实施例中，如图1所示，提供了一种基于连续写CDP备份方法，用于服务器端中，该方法包括：

S001. 创建镜像卷、日志卷和初始索引文件，并在所述镜像卷与客户端的生产卷之间建立同步关系。

值得说明的是，所述生产卷位于客户端，需要对该逻辑卷上的数据进行实时备份和持续保护；所述镜像卷位于服务器端，在备份过程中与所述生产卷中的数据保持实时一致，存储最新的数据内容；所述日志卷位于服务器端，存储数据变化记录中的数据内容；所述初始索引文件位于服务器端，记录数据块是否是初次发生变化和位置偏移。

S002. 接收所述生产卷上的变化数据，并确定所述变化数据所属数据块为变化数据块。

需要理解的是，在接收所述变化数据时可以使用多线程技术，用于提高了程序处理的速度。具体的，在服务器端创建接收缓存队列和备份数据队列，创建读线程、接收线程和写线程，实现多线程的数据共享及数据同步。

S003. 根据所述初始索引文件，判断所述变化数据块是否是初次发生变化。

可选的，所述步骤S003，包括：

S0031.根据所述变化数据块，得到数据块号；

S0032.根据所述数据块号，解析所述初始索引文件，获得初始位图文件的解析结果，其中，所述初始索引文件包括：初始偏移文件和初始位图文件；

S0033.根据所述初始位图文件的解析结果，判断所述变化数据块是否是初次发生变化。

值得说明的是，初始偏移文件的大小为8*数据块数量字节，其中每8个字节记录了一个数据块发生变化后原始数据存储在日志卷上的位置。初始位图文件的大小为数据块数量/8字节，其中每1字节标记8个数据块是否发生变化。

S004. 若是，则从镜像卷中获取原始数据并将原始数据写入日志卷，执行步骤S005和步骤S006,再执行步骤S007；若否，则执行步骤S007。

S005. 根据写入日志卷的原始数据，生成原始数据的元数据记录。

可选的，步骤S005，包括：

S0051.根据写入日志卷的原始数据，获取第一基本信息，其中，所述第一基本信息包括：所述原始数据的时间戳、所述原始数据在所述镜像卷上的起始块号、所述原始数据在所述日志卷上的位置偏移和所述原始数据所占数据块的个数；

S0052.根据所述第一基本信息，生成原始数据的元数据记录。

如图2所示，是元数据记录的结构示意图，一条元数据记录由时间戳、数据块起始位置，日志卷偏移和数据块个数组成。所述原始数据的元数据记录的格式为：

meta_record<timestamp1,start_block_num1,start_block_offset1,block_num1>

其中，timestamp1是所述原始数据的时间戳,start_block_num1是所述原始数据在镜像卷上的起始块号,start_block_offset1是所述原始数据在日志卷上的位置偏移,block_num1是所述原始数据所占数据块的个数。

为了便于理解，具体的，提供一个操作实例：设定一个数据块的大小为4KB，一条元数据记录为<T1,4,4096*9,5>，则可知道生成该原始数据的时间为T1,其数据块起始块号为4，存储在日志卷上的位置偏移为4096*9，一共有5个数据块，对应的数据块块号为4，5，6，7，8。

S006. 标记所述变化数据块已发生变化。

可选的，所述步骤S006，包括：

S0061.更新所述初始偏移文件，记录所述镜像卷上的原始数据在所述日志卷上的位置偏移；

S0062.更新所述初始位图文件，记录所述变化数据块已发生变化。

S007.将变化数据写入镜像卷所属数据块和日志卷。

S008.根据写入日志卷的变化数据，生成变化数据的元数据记录。

可选的，步骤S008，包括：

S0081.根据写入日志卷的变化数据，获取第二基本信息，其中，所述第二基本信息包括：所述变化数据的时间戳、所述变化数据在所述镜像卷上的起始块号、所述变化数据在所述日志卷上的位置偏移和所述变化数据所占数据块的个数；

S0082.根据所述第二基本信息，生成变化数据的元数据记录。

同样如图2所示，所述变化数据的元数据记录的格式为：

meta_record<timestamp2,start_block_num2,start_block_offset2,block_num2>

其中，timestamp2是变化数据的时间戳,start_block_num2是变化数据在镜像卷上的起始块号,start_block_offset2是变化数据在日志卷上的位置偏移,block_num2是变化数据所占数据块的个数。

S009.获得第一当前时间点。

S010.判断所述第一当前时间点是否是所有元数据记录的第一整合时间点。

可以理解的是，所述所有元数据记录包括所述原始数据的元数据记录和所诉变化数据的元数据记录。

S011.若是，则创建第一整合索引文件，依次逆向解析所述第一整合时间点内的元数据记录和所述第一整合索引文件，获得第一整合位图文件的解析结果，确定需要进行元数据整合的数据块为第一整合数据块，再执行步骤S012；若否，则结束；其中，所述第一整合索引文件包括：第一整合偏移文件和第一整合位图文件。

S012.根据所述第一整合位图文件的解析结果，判断所述第一整合数据块的位置偏移是否指向当前日志卷。

S013.若否，则根据元数据记录的逆向解析结果更新第一整合索引文件；若是，则结束。

值得说明的是，第一整合偏移文件的大小为8*数据块数量字节，其中每8个字节记录了一个第一整合数据块的数据存储在日志卷上的位置偏移。第一整合位图文件的大小为数据块数量/8字节，其中每1字节标记8个数据块在整合时间点内是否发生变化。

还值得说明的是，从T₀时刻服务器端开始备份到最新时刻T_n会生成多条元数据记录，若其中任一时刻T_x（0≤x≤n）的元数据记录发生错误，则T_x之后的数据都会变为无效，造成数据不可用和不可恢复，步骤S009-S0013则可以在数据恢复时使用整合索引文件，部分元数据记录的丢失或错误不影响数据恢复，达到了保证数据的安全性的效果。同时，若有海量数据进行备份，备份数据达到备份中心存储空间的上限时，无法删除镜像卷和日志卷时，可以对部分进行了元数据记录整合的元数据记录进行删除，释放一定的存储空间，从而保证系统能继续正常运行。

为了便于理解，具体的，提供一个操作实例：在T₀时刻完成资源的初始化创建和分配后，服务器端创建接收缓存队列和备份数据队列，创建读线程、接收线程和写线程。接收线程循环接收T₁时刻的变化数据，获取对应变化数据块为4和5，进行封装后插入备份数据队列。接下来读取初始索引文件，若变化数据块4和5在初始位图文件中的对应比特若都为0，则读取变化数据块在镜像卷中对应的原始数据写入日志卷，再生成一条元数据记录<T₀，4，0，2>，修改初始位图文件的对应比特为1，在初始位图文件对应字节写入其在日志卷上的位置偏移，再将变化数据写入镜像卷和日志卷，生成一条元数据记录<T₁，4，4096*2，2>；若变化数据块4和5在初始位图文件中的对应比特若都为1，则直接将变化数据写入镜像卷和日志卷，生成元数据记录<T₁,4,0,2>。

下面，我们提供一组对比实验，以便于进一步阐述本实施例，具体如下：

所有实验均在虚拟化环境下开启的两台虚拟机上进行，实验环境搭建在带宽为1000Mbps的局域网中。其中一台作为本地客户端，另一台作为远程服务器端。本地客户端和远程服务器端均使用内核版本为3.10.0-1160.el7.x86_64的Linux操作系统，本地客户端预留内存8GB内存，远程服务器端预留32GB内存，具体实验环境如表1所示：

本实验在本地客户端上对一个10GB的逻辑卷设备进行CDP备份，该逻辑卷上创建的文件系统为ext4。实验选取了多个大小不同、类型不同的文件作为实验数据，选取了文本型、音频型、视频型、图片型、压缩型、混合型及其他型的样本数据，通过操作这些样本数据产生数据变化，设置每半小时进行一次元数据记录整合。将文件中的数据按照最小的磁盘扇区大小进行切割划分，得到多个512B的数据块再进行备份。具体实验数据如表2所示：

在该实验中，将对相同的文件进行备份的速度作为性能的评估标准。测试对象为：本实施例1，对比例1。对比例1为使用传统写时拷贝（COW）方法进行备份的CDP系统。

实验首先在本实施例1和对比例1中为生产卷建立备份任务task_bakeup,进行初始化同步，在服务器端得到生产卷的数据镜像卷；分别对实验数据集D1、D2、D3、D4、D5、D6、D7分别在备份时间点T1、T2、T3、T4、T5、T6、T7进行数据备份，实验结果如表3和图3所示。

结合表3和图3可知，对比例1随着文件大小的增大备份速度降低；相比较，本实施例随着文件大小的增大备份速度增大，最低提升了15%，最高提升了200%，不仅说明本实施例的处理性能优于对比例1，还说明了基于一次读出，连续写入的CDP备份方法具有更高效的性能。

本实施例的技术方案，提出了一种基于连续写CDP备份方法，用于服务器端，通过只在第一次变化数据到达时将最原始数据读出再写入日志卷，后每一次都直接写入镜像卷和日志卷，减少了后续该变化数据所属数据块进行CDP备份时的所有读步骤，数据备份速率明显提升，优化了备份过程。

实施例2

在一个实施例中，如图4所示，提供了一种基于连续写CDP备份方法，用于客户端中，该方法包括：

S1001.在生产卷上生成变化数据。

S1002.向所述服务器端发送所述变化数据；所述服务器端用于创建镜像卷、日志卷和初始索引文件，所述镜像卷与所述生产卷之间建立同步关系；所述初始索引文件用于判断所述变化数据块是否是初次发生变化，若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成步骤和初始索引文件更新步骤，再执行写入步骤；若否，则执行写入步骤；所述初始索引文件更新步骤用于标记所述变化数据块已发生变化；所述写入步骤用于将所述变化数据写入镜像卷所属数据块和所述日志卷，再执行元数据记录生成步骤；所述元数据记录生成步骤用于根据写入日志卷的数据生成元数据记录。

需要理解的是，在发送所述变化数据时可以使用多线程技术，能够提高程序处理的速度。具体的，客户端创建发送缓存队列，创建写线程、发送线程，实现多线程的数据共享及数据同步。

本实施例的技术方案，提出了一种基于连续写CDP备份方法，用于客户端，实现了对生产卷变化数据的实时监控及捕获，完成了原始数据和变化数据的发送，为实现备份奠定基础。

实施例3

在一个实施例中，如图5所示，提供了一种基于连续写CDP保护系统，用于服务器端中，该系统包括：

创建模块2001，用于创建镜像卷、日志卷和初始索引文件，并在所述镜像卷与数据源端的生产卷之间建立同步关系；

接收模块2002，用于接收所述生产卷上的变化数据，并确定所述变化数据所属数据块为变化数据块；

第一判断模块2003，用于根据所述初始索引文件，判断所述变化数据块是否是初次发生变化；若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成模块2006和初始索引文件更新模块2004，再执行写入模块2005；若否，则执行写入模块2005；

初始索引文件更新模块2004，用于标记所述变化数据块已发生变化；

写入模块2005，用于将所述变化数据写入所述镜像卷所属数据块和所述日志卷，再执行元数据记录生成模块2006；

元数据记录生成模块2006，用于根据写入日志卷的数据生成元数据记录。

本实施例的技术方案，提出了一种基于连续写CDP备份系统，用于服务器端，以逻辑卷的方式进行数据备份，屏蔽与硬件相关的存储设置，节省存储空间，减少操作成本; 以镜像卷同步于生产卷的方式提供最新数据，用户可以随时获取到最新数据用于恢复或查看，提高了便利性; 以镜像卷同步于生产卷的方式提供最新数据，用户可以随时获取到最新数据用于恢复或查看，提高了便利性; 对存入日志卷的数据生成元数据记录的方式，记录变化数据的时间戳、数据块起始位置、日志卷偏移和数据块个数，为数据恢复奠定了基础。

实施例4

在一个实施例中，如图6所示，提供了一种基于连续写CDP保护系统，用于客户端中，该系统包括：

变化数据生成模块3001，用于在生产卷上生成变化数据；

变化数据发送模块3002，用于向所述服务器端发送所述变化数据；所述服务器端还用于创建镜像卷、日志卷和初始索引文件，所述镜像卷与所述生产卷之间建立同步关系；所述初始索引文件还用于判断所述变化数据块是否是初次发生变化，若是，则从所述镜像卷中获取原始数据并将所述原始数据写入所述日志卷，执行元数据记录生成模块2006和初始索引文件更新模块2004，再执行写入模块2005；若否，则执行写入模块2005；所述初始索引文件更新模块2004还用于标记所述变化数据块已发生变化；所述写入模块2005还用于将所述变化数据写入镜像卷所属数据块和所述日志卷，再执行元数据记录生成模块2006；所述元数据记录生成模块2006还用于根据写入日志卷的数据生成元数据记录。

本实施例的技术方案，提出了一种基于连续写CDP备份系统，用于客户端，通过截获系统中的变化数据和完成备份数据的发送，实现客户端上生产卷的连续数据保护并保证系统的正常运行。

实施例5

在一个实施例中，提供了一种基于连续写CDP恢复方法，其利用实施例1所述基于连续写CDP备份方法，该方法包括：

S10001.接收指定恢复时间点。

可选的，在所述步骤S10001前，还包括：

S100011.获得第二当前时间点；

S100012.判断所述第二当前时间点是否是所有元数据记录的第二整合时间点；若是，则创建第二整合索引文件，依次逆向解析所述第二整合时间点内的元数据记录和所述第二整合索引文件，获得第二整合位图文件的解析结果，确定需要进行元数据整合的数据块为第二整合数据块，再执行第七判断步骤；若否，则结束；其中，所述第二整合索引文件包括：第二整合偏移文件和第二整合位图文件；

S100013.根据所述第二整合位图文件的解析结果，判断所述第二整合数据块的位置偏移是否指向当前日志卷；若否，则根据元数据记录的逆向解析结果更新第二整合索引文件，再逆向解析下一条元数据记录；若是，则逆向解析下一条元数据记录。

值得说明的是，第二整合偏移文件的大小为8*数据块数量字节，其中每8个字节记录了一个第二整合数据块的数据存储在日志卷上的位置偏移。第二整合位图文件的大小为数据块数量/8字节，其中每1字节标记8个数据块在整合时间点内是否发生变化。

S10002.创建重构索引文件，确定进行数据恢复的数据块为重构数据块，其中，所述重构索引文件包括：重构偏移文件和重构位图文件。

值得说明的是，重构偏移文件的大小为8*数据块数量字节，其中每8个字节记录了一个重构数据块的数据的位置偏移。重构位图文件的大小为数据块数量/8字节，其中每1个字节标记8个数据块是否找到重构数据块的位置偏移。重构位图文件各位全都置为1，数据重构才会完成。

S10003.依次逆向解析所述指定恢复时间点前的元数据记录，并根据逆向解析结果更新所述重构索引文件。

可选的，在所述步骤S10003前，还包括：

S100031.判断所述指定恢复时间点是否是所述第二整合时间点，若是，则执行整合索引文件解析步骤；若否，依次逆向解析所述指定恢复时间点到所述第二整合时间点之间的元数据记录，再执行整合索引文件解析步骤；

S100032.依次逆向解析所述指定恢复时间点前的第二整合索引文件，再根据逆向解析结果更新所述重构索引文件；

S10004.根据所述重构索引文件，判断所述重构索引文件是否完整，若是，则直接执行步骤S10008；若否，则执行步骤S10005；

S10005.根据执行所述步骤S006后的初始索引文件，判断所述重构数据块是否是所述变化数据块。

S10006.若否，则将所述重构数据块指向当前镜像卷，更新所述重构索引文件，再执行步骤S10007；若是，则执行步骤S10007。

S10007.根据执行所述步骤S006后的初始索引文件S006，获取所述重构数据块的位置偏移，再根据所述重构数据块的位置偏移，更新所述重构索引文件。

S10008.进行数据恢复。

可以理解的是，在进行数据恢复时，服务器端接收所述恢复时间点，获取所述恢复时间点前的所有第二整合索引文件和从距离所述恢复时间点最近的一次第二整合时间点到所述恢复时间点的元数据记录。创建重构索引文件，依次逆向解析所述元数据记录和所述第二整合索引文件，将得到的重构数据块的位置偏移写入重构偏移文件，将重构偏移文件对应比特置为1。完成后再解析所述初始索引文件，直到重构位图文件每比特都为1时，所有重构数据块的位置偏移都被找到。接下来服务器端创建恢复数据队列，创建打包线程、写线程和发送线程，打包线程循环读取重构数据块并封装成数据记录返回给写线程，写线程将数据记录插入恢复数据队列，发送线程将从恢复数据队列中读取到的数据发送到本地客户端直到队列为空。

值得说明的是，使用重构索引文件替代物理存储介质，不存储快照和实际数据，只存储恢复时间点重构数据块的位置偏移和状态信息。通过重构索引文件即可获得生产卷在恢复时间点的数据镜像，在客户端进行实时在线查看或数据恢复等操作。相较于快照写回等方法，这种方法在很大程度上减少了数据重构所需的时空代价。

为了便于理解，具体的，提供一个操作实例：

服务器端获取恢复时间点T_b，使用二分查找算法找到距离时间T_b最近的两个时间点T_i-1、T_i（其中T_i-1<T_b ≤T_i），确定需要进行检索的元数据的范围和位置，并创建并初始化重构索引文件各字节为0。已知每间隔时间m就对元数据记录进行一次整合，判断T_x是否是整合时间。若不是，则解析T_i时刻的元数据记录<Ti，19，4096*12，3>可知，变化数据块19、20、21的变化数据在日志卷中的偏移为4096*12，将位置偏移写入重构偏移文件并将重构位图文件在数据块19、20、21的对应比特置为1，再依次逆向解析T_i-1、……、T_nm+1的元数据记录。接下来依次读取T_nm、T_（n-1）m……T_m的整合偏移文件和整合位图文件，更新重构索引文件。判断重构位图文件是否各比特都是1，若是，则数据重构结束；若不是，则解析初始位图文件，对应比特为0的数据块说明从系统开始运行后从未发生过变化，这些数据块对应的重构数据块的位置偏移指向镜像卷，再解析重构位图文件得到余下未找到位置偏移的重构数据块，从初始偏移文件中获得其在日志卷上的位置偏移，直到重构位图文件各比特都为1。

所有实验均在虚拟化环境下开启的两台虚拟机上进行，实验环境搭建在带宽为1000Mbps的局域网中。其中一台作为本地客户端，另一台作为远程服务器端。本地客户端和远程服务器端均使用内核版本为3.10.0-1160.el7.x86_64的Linux操作系统，本地客户端预留内存8GB内存，远程服务器端预留32GB内存，具体实验环境如表1所示。

本实验将本地客户端备份在远程服务器端上的数据进行恢复，将备份后的文件进行恢复所消耗的时间作为性能的评估标准。测试对象为：本实施例5，对比例2。对比例2为使用快照写回方法进行恢复的CDP系统。

分别在本实施例5和对比例2中对实验数据集D1、D2、D3、D4、D5、D6、D7进行备份后，分别在备份时间点T6、T5、T4、T3、T2、T1进行数据恢复，即恢复时间点分别为：T6、T5、T4、T3、T2、T1，实验结果如表4所示。

对比实施例5和对比例2的实验结果，结合表4和图7可知，对于相同的恢复时间点，实施例5恢复所消耗时间接近对比例2的一半，实施例5性能明显优于对比例2的，性能提升较大。

本实施例的技术方案，提出了一种基于连续写CDP恢复方法，实现生产卷任意时间点数据的恢复，且恢复性能较好。

实施例6

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例1的基于连续写CDP备份方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于连续写CDP备份方法，其特征在于，用于数据备份端中，包括步骤：

初始索引文件更新步骤，标记所述变化数据块已发生变化；

2.根据权利要求1所述的基于连续写CDP备份方法，其特征在于，所述第一判断步骤，包括：

根据所述变化数据块，得到数据块号；

根据所述数据块号，解析所述初始索引文件，获得初始位图文件的解析结果，其中，所述初始索引文件包括：初始偏移文件和初始位图文件；

根据所述初始位图文件的解析结果，判断所述变化数据块是否是初次发生变化；若是，从所述镜像卷中获取原始数据并将所述原始数据顺序写入所述日志卷中，执行元数据记录生成步骤和初始索引文件更新步骤，再执行写入步骤；若否，则执行写入步骤；

所述初始索引文件更新步骤，包括：

更新所述初始偏移文件，记录所述镜像卷上的原始数据在所述日志卷上的位置偏移；

更新所述初始位图文件，记录所述变化数据块已发生变化。

3.根据权利要求1所述的基于连续写CDP备份方法，其特征在于，所述元数据记录生成步骤，包括：

根据写入日志卷的数据，获取基本信息，其中，所述基本信息包括：所述数据的时间戳、所述数据在所述镜像卷上的起始块号、所述数据在所述日志卷上的位置偏移和所述数据所占数据块的个数；

根据所述基本信息，生成元数据记录。

4.根据权利要求1所述的基于连续写CDP备份方法，其特征在于，所述方法还包括：

第一时间点获得步骤，获得第一当前时间点；

第二判断步骤，判断所述第一当前时间点是否是所有元数据记录的第一整合时间点；若是，则创建第一整合索引文件，依次逆向解析所述第一整合时间点内的元数据记录和所述第一整合索引文件，获得第一整合位图文件的解析结果，确定需要进行元数据整合的数据块为第一整合数据块，再执行第三判断步骤；若否，则结束；其中，所述第一整合索引文件包括：第一整合偏移文件和第一整合位图文件；

第三判断步骤，根据所述第一整合位图文件的解析结果，判断所述第一整合数据块的位置偏移是否都指向当前日志卷；若否，则根据元数据记录的逆向解析结果更新第一整合索引文件；若是，则不更新第一整合索引文件。

5.一种基于连续写CDP备份方法，其特征在于，用于数据源端中，包括步骤：

变化数据生成步骤，在生产卷上生成变化数据；

6.一种基于连续写CDP保护系统，其特征在于，用于数据备份端中，所述系统包括：

7.一种基于连续写CDP保护系统，其特征在于，用于数据源端中，所述系统包括：

变化数据生成模块，用于在生产卷上生成变化数据；

8.一种基于连续写CDP恢复方法，其特征在于，利用权利要求1至3任一项所述基于连续写CDP备份方法，还包括步骤：

时间点接收步骤，接收指定恢复时间点；

第五判断步骤，根据执行所述初始索引文件更新步骤后的初始索引文件，判断所述重构数据块是否是所述变化数据块，若是，则执行重构步骤；若否，则将所述重构数据块指向当前镜像卷，更新所述重构索引文件，再执行重构步骤；

重构步骤，根据执行所述初始索引文件更新步骤后的初始索引文件，获取所述重构数据块的位置偏移，再根据所述重构数据块的位置偏移，更新所述重构索引文件。

9.根据权利要求8所述的基于连续写CDP恢复方法，其特征在于，所述方法还包括：

在所述时间点接收步骤前，还包括：

第二时间点获得步骤，获得第二当前时间点；

第六判断步骤，判断所述第二当前时间点是否是所有元数据记录的第二整合时间点；若是，则创建第二整合索引文件，依次逆向解析所述第二整合时间点内的元数据记录和所述第二整合索引文件，获得第二整合位图文件的解析结果，确定需要进行元数据整合的数据块为第二整合数据块，再执行第七判断步骤；若否，则结束；其中，所述第二整合索引文件包括：第二整合偏移文件和第二整合位图文件；

第七判断步骤，根据所述第二整合位图文件的解析结果，判断所述第二整合数据块的位置偏移是否指向当前日志卷；若否，则根据元数据记录的逆向解析结果更新第二整合索引文件，再逆向解析下一条元数据记录；若是，则逆向解析下一条元数据记录；

在所述元数据记录解析步骤前，还包括：

第八判断步骤，判断所述指定恢复时间点是否是所述第二整合时间点，若是，则执行整合索引文件解析步骤；若否，依次逆向解析所述指定恢复时间点到所述第二整合时间点之间的元数据记录，再执行整合索引文件解析步骤；

整合索引文件解析步骤，依次逆向解析所述指定恢复时间点前的第二整合索引文件，再根据逆向解析结果更新所述重构索引文件。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任一项所述基于连续写CDP备份方法。