CN104484242B - 一种写时拷贝快照备份过程中可断点传输的方法 - Google Patents

Abstract

本发明涉及一种写时拷贝快照备份过程中可断点传输的方法，该方法中，任一快照中的数据块均对应一个标记，具体包括以下步骤：1)源端获取需备份的快照名，从所对应的快照的根节点开始遍历，提取数据块；2)根据当前提取的数据块的标记，获取下一次要遍历的数据块的标记；3)对所提取的数据块进行封装，并传输给目的端；4)源端判断在设定时间内是否接收到目的端写入成功的消息，若是，则将已传输的数据块的标记保存到源端断点信息文件中，若否，则传输失败，返回步骤3)。与现有技术相比，本发明具有快照备份效率高、对存储资源要求低等优点。

Description

一种写时拷贝快照备份过程中可断点传输的方法

技术领域

本发明涉及计算机存储技术领域，尤其是涉及一种写时拷贝快照备份过程中可断点传输的方法。

背景技术

当前，随着信息化技术的不断发展，人们需要保存的资料、数据越来越多，数据对人们的工作，生活也越来越重要。数据的保存和数据的安全也显得越来越重要了。出现了各种各样的数据备份技术和产品。如针对前端主机的数据备份，将主机上的数据拷贝到其他的存储介质上进行保存，以便将来当原有数据丢失时，能够再找回来。基于存储后端的备份技术，有对存储卷或者文件系统做快照，创建克隆等本地的数据备份方式和将生成的快照备份到异地的存储介质上面的复制，异步远程镜像等技术。

在备份快照数据时，目的端将接收到的数据写入到文件系统中。但如果在传输过程中，出现网络断开或者断电等异常情况时，目的端的数据是不完整的，且无法定位具体数据传输的位置。源端、目的端都无法确定下次从哪个位置继续续传。如果出现异常后，往往需要重新开始传输，无法利用之前已传输的数据。

现有技术中是引入断点续传技术，将源端快照提取生成一个文件，再对该生成的文件进行切片，进行断点续传。但前提需要先生成一个文件。如果快照引用的数据很大，则在源端需要一个相当大的存储空间来保存该快照数据生成的数据文件。同时从快照中提取数据生成数据文件也需要耗费时间，增加整个快照的备份时间。

综上可知，采用传统的快照备份，断点续传技术备份的效率和对资源的利用率都有较大的改进和优化的空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种写时拷贝快照备份过程中可断点传输的方法，能够提高快照备份的效率和降低对存储资源的要求。

本发明的目的可以通过以下技术方案来实现：

一种写时拷贝快照备份过程中可断点传输的方法，该方法中，任一快照中的数据块均对应一个标记，具体包括以下步骤：

1)源端获取需备份的快照名，从所对应的快照的根节点开始遍历，提取数据块；

2)根据当前提取的数据块的标记，获取下一次要遍历的数据块的标记；

3)对所提取的数据块进行封装，并传输给目的端；

4)源端判断在设定时间内是否接收到目的端写入成功的消息，若是，则将已传输的数据块的标记保存到源端断点信息文件中，若否，则传输失败，返回步骤3)。

所述步骤3)中，对数据块进行封装时，在数据块上增加标记和数据校验和。

所述步骤3)中，目的端收到封装的数据块后，写入该数据块，具体为：

301)校验所接收到的数据块；

302)根据标记获取该数据块应写入的位置；

303)根据步骤302)获取的位置写入数据块，并判断写入是否成功，若是，则执行步骤304)，若否，则向源端发送写入失败的消息；

304)根据写入成功的数据块的标记更新目的端断点信息文件，并向源端发送写入成功的消息。

还包括：

网络故障恢复后，读取源端断点信息文件或目的端断点信息文件的最新标记，根据所述标记定位所要读取的数据块，执行步骤2)-4)。

所述源端断点信息文件中，断点的粒度为数据块大小的整数倍。

所述目的端断点信息文件中，断点的粒度为数据块大小的整数倍。

所述目的端写入数据块时，采用覆盖写方式。

所述快照的数据块树形结构。

所述标记为一四元组，包括快照名、数据对象、数据块所在层和数据块块号。

所述数据块为一个数据块或多个连续数据块。

与现有技术相比，本发明具有以下优点：

(1)本发明设计了一种快照数据块定位的标记，在快照备份时，只需在源端和目的端各保存一个断点信息文件就可以实现快照的断点续传。不管是源端还是目的端断电，断开网络，在下次连接时，可以继续在原有已传输的数据基础上继续备份，节省备份的时间。

(2)本发明只需要保存一个标记就能直接定位到快照中的具体数据块，无需生成中间的数据文件，节省存储空间和中间文件生成的时间。

(3)本发明在数据块传输时，对数据块进行封装，包含详细的数据信息和效验和，保证数据的完整性和正确性。

(4)本发明采用扁平化的数据提取方式，相比传统的递归遍历，具有更好的提取效率。

附图说明

图1为本发明快照的树状结构示意图；

图2为本发明快照备份时，源端快照数据提取、发送的流程示意图；

图3为本发明快照备份时，目的端接收数据块，写入数据库的流程示意图；

图4为本发明断点续传时，源端数据提取、发送的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例提供一种写时拷贝快照备份过程中可断点传输的方法，主要针对的是通过快照备份的两个存储系统，所述快照为写时复制(拷贝)的快照，它引用的数据块为静止的，数据块不会随时间或者卷的读写发生变化，每次顺序遍历时，块提取的顺序和数据块的地址都不会发生任何变化。利用上述特征，本发明设计一种数据结构(标记)能够定位快照中的数据块，同时提供通过该标记提取和写入快照数据块的方法，并将该标记作为断点信息保存，以便网络断开再恢复时，能够在之前已传输的数据块基础上继续备份，以达到提供快照备份效率，降低备份快照对存储资源的要求。

如图1所示，文件系统中的快照等分为元数据、数据等，元数据、数据块都分层存放的，构成了一个倒立的树，快照根节点(root)为快照的超级块，下面的索引块(objoct)、元数据、数据块构成这个枝和叶。本发明所采用的标记为一个四元组：mark(objsetid，objectid，level，blkid)，其中，通过objsetid能够定位到具体的快照，通过objectid定位到元数据中的数据对象，通过level定位数据块的层数，通过blkid定位具体的块号。上述四元组能准确描述存储系统中的一个具体的块，包括元数据和数据块，同时能计算该块后面的数据块的标记。该方式为扁平式的，相对于传统的从根节点递归的方式，提取中间的某块数据块时，不需要从根节点开始递归，大大节省定位到具体块的查找时间。

如图2所示，源端进行快照备份的数据流程为：

步骤s101，开始提取快照数据；

步骤s102，根据当前提取的数据块的标记，获取下一次要遍历的数据块的标记；

步骤s103，对所提取的数据块进行封装，在数据块上增加标记和数据校验码；

步骤s104，将封装后的数据块传输给目的端，源端判断在设定时间内是否接收到目的端写入成功的消息，若是，则执行步骤s105，若否，则传输失败，返回步骤s101；

步骤s105，将已传输的数据块的标记保存到源端断点信息文件中，更新断点信息，返回步骤s101。

如图3所示，目的端收到封装的数据块后，写入该数据块，具体为：

步骤s201，接收数据块；

步骤s202，校验所接收到的数据块；

步骤s203，根据标记获取该数据块应写入的位置；

步骤s204，根据步骤s203获取的位置写入数据块，并判断写入是否成功，若是，则执行步骤s205，若否，则向源端发送写入失败的消息；

步骤s205，根据写入成功的数据块的标记更新目的端断点信息文件，并向源端发送写入成功的消息。

在发生网络故障时，数据传输中断，网络故障恢复后，重新进行快照备份，具体为：

步骤s301，读取源端断点信息文件或目的端断点信息文件的最新标记；

步骤s302，根据标记打开快照；

步骤s303，定位所要读取的数据块；

步骤s304，执行步骤s102～s105。

在源端和目的端设计断点信息的保存文件，断点的粒度必须为文件系统数据块大小的整数倍，如文件系统的块大小为4K，则断点的最小单位可以为4K，可以根据网络速度设计断点续传时，需续传的数据大小(必须是块大小的整数倍)。对于目的端，同一个数据块，多次写入，写是覆盖写，多次重复写对数据的正确性和完整性都没有影响。

Claims (8)

1.一种写时拷贝快照备份过程中可断点传输的方法，其特征在于，该方法中，任一快照中的数据块均对应一个标记，所述标记为一四元组，包括快照名、数据对象、数据块所在层和数据块块号，具体包括以下步骤：

1)源端获取需备份的快照名，从所对应的快照的根节点开始遍历，提取数据块；

2)根据当前提取的数据块的标记，获取下一次要遍历的数据块的标记；

3)对所提取的数据块进行封装，并传输给目的端，对数据块进行封装时，在数据块上增加标记和数据校验和；

4)源端判断在设定时间内是否接收到目的端写入成功的消息，若是，则将已传输的数据块的标记保存到源端断点信息文件中，若否，则传输失败，返回步骤3)。

2.根据权利要求1所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述步骤3)中，目的端收到封装的数据块后，写入该数据块，具体为：

301)校验所接收到的数据块；

302)根据标记获取该数据块应写入的位置；

303)根据步骤302)获取的位置写入数据块，并判断写入是否成功，若是，则执行步骤304)，若否，则向源端发送写入失败的消息；

304)根据写入成功的数据块的标记更新目的端断点信息文件，并向源端发送写入成功的消息。

3.根据权利要求1所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，还包括：

网络故障恢复后，读取源端断点信息文件或目的端断点信息文件的最新标记，根据所述标记定位所要读取的数据块，执行步骤2)-4)。

4.根据权利要求1所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述源端断点信息文件中，断点的粒度为数据块大小的整数倍。

5.根据权利要求2所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述目的端断点信息文件中，断点的粒度为数据块大小的整数倍。

6.根据权利要求2所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述目的端写入数据块时，采用覆盖写方式。

7.根据权利要求1-6任一所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述快照的数据块树形结构。

8.根据权利要求1-6任一所述的写时拷贝快照备份过程中可断点传输的方法，其特征在于，所述数据块为一个数据块或多个连续数据块。