CN116521441A

CN116521441A - 用于云迁移的文件系统数据备份方法、系统及介质

Info

Publication number: CN116521441A
Application number: CN202310360975.4A
Authority: CN
Inventors: 周宇
Original assignee: Wuxi Tuoshu Network Technology Co ltd
Current assignee: Wuxi Tuoshu Network Technology Co ltd
Priority date: 2023-04-06
Filing date: 2023-04-06
Publication date: 2023-08-01

Abstract

本发明公开了用于云迁移的文件系统数据备份方法、系统和介质，涉及数据备份技术领域。为了解决快照时文件系统还有数据在读写，导致快照不能满足一致性要求的问题；用于云迁移的文件系统数据备份方法，所述方法包括：S1：阻塞文件系统io；S2：将文件系统缓存数据写入磁盘；S3：创建一致性快照，解除文件系统io阻塞；S4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；S5：根据数据位图备份文件系统有效数据；通过阻塞文件系统io，在执行设备操作时若不能获得资源则挂起进程，直到满足可操作的条件后再进行操作，有效保证了后续在对文件系统创建一致性快照时，文件系统并没有数据正在写入，节约时间开销。

Description

用于云迁移的文件系统数据备份方法、系统及介质

技术领域

本发明涉及数据备份技术领域，特别涉及用于云迁移的文件系统数据备份方法、系统及介质。

背景技术

文件系统备份是为了防止系统故障或者操作失误导致数据丢失，从而将全部或部分数据从生产系统复制到其它的存储介质的过程。关于文件备份，已有相关专利；比如公开号为CN109561120B的中国专利公开了一种小文件备份方法、系统和管理服务器，所述方法包括：管理服务器接收客户端针对待备份文件发送的备份请求，并根据备份请求选择用于备份待备份文件的网关服务器和多个存储服务器，以及将选择好的第一网关服务器通知给客户端，并将选择好的多个存储服务器通知给第一网关服务器；第一网关服务器在接收到客户端发送的待备份文件后，将待备份文件发送给所述管理服务器通知的每个存储服务器，每个存储服务器在接收到待备份文件后，保存待备份文件。该发明通过网关服务器进行文件备份，可提高小文件的备份效率。

上述专利提供了文件系统备份方法提高备份效率，但仍存在相应的以下几点缺陷：

(1)现有技术中，通过先给文件系统做非一致性快照，然后将快照全部同步到备份服务器进行备份，首先是备份了很多无效数据，随着数据的海量增加，这种全备份方案耗时长，对原系统的影响大；其次快照时文件系统还有数据在读写，导致快照不能满足一致性要求；

(2)现有技术中，仍依赖文件系统自身的工具，局限性大，不适用于所有文件系统，且依赖底层块设备存储，导致无法感知文件系统语义，造成文件系统一致性的缺失。

发明内容

本发明的目的在于提供用于云迁移的文件系统数据备份方法、系统及介质，通过创建一致性快照，并且在此基础上分析文件系统元数据从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，高效备份文件系统数据，在目标环境生成一致的文件系统，以解决上述背景技术中提出的问题。

本发明的第一个目的在于开发一种用于云迁移的文件系统数据备份方法。

本发明的第二个目的在于开发一种用于云迁移的文件系统数据备份系统。

本发明的第三个目的在于开发一种计算机介质。

为实现上述第一发明目的，本发明提供如下技术方案：

用于云迁移的文件系统数据备份方法，所述方法包括以下步骤：

S1：阻塞文件系统io；

S2：将文件系统缓存数据写入磁盘；

S3：创建一致性快照，解除文件系统io阻塞；

S4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；

S5：根据数据位图备份文件系统有效数据。

进一步的，针对S1中，阻塞文件系统io，还包括：

当进程调用一个阻塞的系统文件时，该系统文件的运行进程被置于睡眠状态，同时，调度其它进程运行；

确定等待队列并进行队列标签，将置于睡眠状态的进程放入所述等待队列对应的队列链表中，当唤醒进程时，从等待队列对应的队列链表中取出进程进入唤醒队列；

资源不可用时，io请求一直阻塞，直到获取反馈结果。

进一步的，针对S2中，将文件系统缓存数据写入磁盘，具体为：

确定系统缓冲区，根据所述系统缓冲区确定文件系统缓存数据的初始数据缓存特征；

在磁盘中调取数据资源样本，基于所述数据资源样本对代写如的文件系统缓存数据进行标准数据格式转换，获取文件系统标准数据，生成目标数据写入文件；

根据所述系统缓冲区的与磁盘之间的历史交互记录获取数据缓存特征的数据传输特征参数，基于数据缓存特征的数据传输特征参数确定磁盘逻辑区；

在定位到要访问的扇区开始位置后，通过写入函数实施相应的读写访问，将所述目标数据写入文件写入磁盘。

进一步的，将所述目标数据写入文件写入磁盘后，还包括：

所述磁盘接收所述目标数据写入文件，并对所述目标数据写入文件中的多个文件系统缓存数据进行读取，确定所述多个文件系统缓存数据中是否存在遗漏；

当所述多个文件系统缓存数据中存在遗漏时，对遗漏数据的相邻数据进行读取，并根据预设相似度算法对存在遗漏的数据进行补充，并基于补充结果，生成完整目标数据写入文件，并建立补充列表。

进一步的，针对S3中，创建一致性快照，其过程包括：

S301：登录RAM控制台，创建一致性快照相关的RAM角色，创建应用一致性快照相关权限策略，为目标实例设置RAM角色；

其中，所述权限策略的相关权限包括查询快照相关信息、创建快照、设置标签和查询云盘信息；

S302：确定所述磁盘中的目标数据写入文件列表，在所述列表中确定目标文件，创建实例快照，同时，设置快照一致性参数并启用快照极速可用功能；

S303：创建并应用一致性快照后，检查创建的快照是否为文件系统一致性快照；若出现错误代码，则根据错误码信息排查问题后重复S301-S302。

进一步的，针对S4中，读取文件系统快照，解析文件系统元数据，具体为：

对获取到的快照进行读取，确定所述快照中各个快照信息的数据类型，根据所述各个快照信息的数据类型在快照信息数据库中匹配对应的快照信息样本；

基于所述快照信息样本及数据类型确定目标数据，基于优先级建立目标数据列表，依次对所述目标数据对应的快照信息进行赋值，确定所述目标数据列表中相同的快照信息；

基于所述快照信息获取对应的目标数据写入文件列表，确定与所述目标数据写入文件储存的地址关联的文件系统元数据。

进一步的，针对S4中，过滤journal区域后生成数据位图，具体为：

读取文件系统元数据，确定所述文件系统元数据的数据类型，根据所述数据类型确定日志数据和操作数据，获取journal区域，并将journal区域内的数据作为边缘数据；

在所述文件系统元数据中摘除边缘数据作为目标子数据，并基于所述目标子数据的数据长度构建数据位图模型；

将所述数据位图模型中的数据位图划分为多个连续的区域，获取所述目标子数据中所携带的数组，通过二进制算法判断该数据位于所述数据位图模型的区间。

进一步的，还包括以下步骤：S6：云迁移软件在源端的每一个虚拟机上部署agent，agent按照步骤S1-S5在源端创建一致性快照后生成数据位图，并且根据数据位图将有效的文件系统数据同步到云端，云端根据这些同步过来的数据就能还原成和源端一样的服务器。

基于相同的发明原理，为实现上述第二发明目的，本发明提供一种用于云迁移的文件系统数据备份系统，应用如第一发明创造所述的用于云迁移的文件系统数据备份方法，包括：

快照模块，用于阻塞文件系统io，将文件系统缓存中的数据同步到硬盘，并创建快照；

数据位图解析模块，用于解析文件系统元数据，获取文件系统实际使用的数据块，过滤journal区域后生成最终的数据位图；

同步模块，用于根据数据位图，将有效的文件系统数据同步到备份服务器。

基于相同的发明原理，为实现上述第三发明目的，本发明提供一种计算机介质，所述计算机可读介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行如第二发明创造所述的用于云迁移的文件系统数据备份系统。

与现有技术相比，本发明的有益效果是：

(1)通过阻塞文件系统io，在执行设备操作时若不能获得资源则挂起进程，直到满足可操作的条件后再进行操作，有效保证了后续在对文件系统创建一致性快照时，文件系统并没有数据正在写入，将文件系统缓存数据写入磁盘，并且在对一致性快照分析，从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，适用于不同文件的备份，扩大适用范围。

(2)通过对获取到的快照进行读取，依次对目标数据对应的快照信息进行赋值，确定目标数据列表中相同的快照信息，保证被读取到数据的一致性，读取数据时不需要对数据进行加锁，且快照读取不会被其他事物阻塞，基于摘除后的目标数据长度构建数据位图模型，并将各个数据中携带的数组通过算法计算出数据所在区间，根据位图中数据所在区间进行有效数据的备份，减少系统无效数据备份的占用，进一步提高了系统备份效率。

(3)通过快照模块将文件系统缓存中的数据同步到硬盘，并创建快照，数据位图解析模块读取快照，获取快照中的元数据并进行解析，过滤journal区域后生成最终的数据位图，同步模块根据数据位图将有效数据同步到备份服务器，在备份开始时，就建立了所有数据块的位图信息，且支持记录数据块变化时的相应位图信息，根据位图信息定位变化数据块，直接备份变化的数据块，有效提升了传输速度和存储的读写性能，提升了备份性能。

附图说明

图1为本发明的文件系统数据备份方法步骤图；

图2为本发明的文件系统数据备份方法流程图；

图3是本发明计算机介质模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

为了解决随着数据的海量增加，全备份方案耗时长，对原系统的影响大，快照时文件系统还有数据在读写，导致快照不能满足一致性要求的技术问题，请参阅图1-2，本实施例提供以下技术方案：

S1：阻塞文件系统io；

资源不可用时，io请求一直阻塞，直到获取反馈结果；

S2：将文件系统缓存数据写入磁盘；

S3：创建一致性快照，解除文件系统io阻塞；

S5：根据数据位图备份文件系统有效数据。

具体的，通过阻塞文件系统io，在执行设备操作时若不能获得资源则挂起进程，直到满足可操作的条件后再进行操作，有效保证了后续在对文件系统创建一致性快照时，文件系统并没有数据正在写入，将文件系统缓存数据写入磁盘，并且在对一致性快照分析，从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，适用于不同文件的备份，扩大适用范围。

为了解决依赖底层块设备存储，导致无法感知文件系统语义，造成文件系统一致性的缺失的技术问题，请参阅图1-2，本实施例提供以下技术方案：

针对S2中，将文件系统缓存数据写入磁盘，具体为：

在定位到要访问的扇区开始位置后，通过写入函数实施相应的读写访问，将所述目标数据写入文件写入磁盘；

具体的，当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，通过确定系统缓冲区及初始数据缓存特征，文件系统缓存数据格式进行数据标准化，由于逻辑扇区是存在于逻辑分区上的，因此以特定的格式来指定需要访问的磁盘逻辑分区，根据系统缓冲区的与磁盘之间的历史交互记录获取数据缓存特征的数据传输特征参数，基于数据缓存特征的数据传输特征参数确定磁盘逻辑区，通过写入函数实施相应的读写访问，对缓存和磁盘进行同步，最后对写入的数据进行完整度有效核验，实现在数据缺失时及时对写入的数据进行补充。

为了解决仍依赖文件系统自身的工具，局限性大，不适用于所有文件系统的技术问题，请参阅图1-2，本实施例提供以下技术方案：

针对S3中，创建一致性快照，其过程包括：

具体的，通过文件系统一致性确保在快照创建时刻同步文件系统内存和磁盘信息，冻结文件系统写入操作，使得文件系统处于一致性的状态，通过文件系统一致性快照，避免操作系统在重启后进行chkdsk或fsck等磁盘检查修复操作，保证使用应用一致性快照进行回滚时，避免数据库等应用启动时进行日志回滚，确保应用处于一致性的启动状态，并在出现错误代码时，根据错误码信息排查问题，及时解决，有效提高了快照获取效率，且不依赖于系统自身的工具，适用于所有文件系统。

为了解决通过先给文件系统做非一致性快照，然后将快照全部同步到备份服务器进行备份，备份了很多无效数据的技术问题，请参阅图1-2，本实施例提供以下技术方案：

针对S4中，读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图，具体为：

基于所述快照信息获取对应的目标数据写入文件列表，确定与所述目标数据写入文件储存的地址关联的文件系统元数据；

将所述数据位图模型中的数据位图划分为多个连续的区域，获取所述目标子数据中所携带的数组，通过二进制算法判断该数据位于所述数据位图模型的区间；

在一个实施例中，云迁移是可以帮用户把X86物理服务器，或者虚拟机迁移到私有云或公有云上的软件，在步骤S1-S5的基础上，还包括步骤S6，云迁移软件在源端的每一个虚拟机上部署agent，agent按照本发明的步骤在源端创建一致性快照后生成数据位图，并且根据数据位图将有效的文件系统数据同步到云端，云端根据这些同步过来的数据就能还原成和源端一样的服务器。

具体的，通过对获取到的快照进行读取，确定快照中各个快照信息的数据类型匹配对应的快照信息样本，基于快照信息样本及数据类型确定目标数据，基于优先级建立目标数据列表，依次对目标数据对应的快照信息进行赋值，确定目标数据列表中相同的快照信息，保证被读取到数据的一致性，读取数据时不需要对数据进行加锁，且快照读取不会被其他事物阻塞，基于文件系统元数据的数据类型筛选并摘除journal区域，基于摘除后的目标数据长度构建数据位图模型，并将各个数据中携带的数组通过算法计算出数据所在区间，根据位图中数据所在区间进行有效数据的备份，减少系统无效数据备份的占用，进一步提高了系统备份效率。

为了更好的实现用于云迁移的文件系统数据备份方法，本实施例提供用于云迁移的文件系统数据备份系统，应用上述的用于云迁移的文件系统数据备份方法，包括：

快照模块，用于阻塞文件系统io，将文件系统缓存中的数据同步到硬盘，并创建快照；数据位图解析模块，用于解析文件系统元数据，获取文件系统实际使用的数据块，过滤journal区域后生成最终的数据位图；同步模块，用于根据数据位图，将有效的文件系统数据同步到备份服务器。

具体的，通过快照模块将文件系统缓存中的数据同步到硬盘，并创建快照，数据位图解析模块读取快照，获取快照中的元数据并进行解析，过滤journal区域后生成最终的数据位图，同步模块根据数据位图将有效数据同步到备份服务器，在备份开始时，就建立了所有数据块的位图信息，且支持记录数据块变化时的相应位图信息，根据位图信息定位变化数据块，直接备份变化的数据块，有效提升了传输速度和存储的读写性能，提升了备份性能。实施例二：

参见图3所示，计算机可读介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行实施例一所述的基于云迁移场景自动修正网络配置的系统。

本实施例所揭示的计算机介质与实施例一中具有相同部分的技术方案，请参实施例一所述，在此不再赘述。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.用于云迁移的文件系统数据备份方法，其特征在于：所述方法包括以下步骤：

S1：阻塞文件系统io；

S2：将文件系统缓存数据写入磁盘；

S3：创建一致性快照，解除文件系统io阻塞；

S5：根据数据位图备份文件系统有效数据。

2.如权利要求1所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S1中，阻塞文件系统io，还包括：

资源不可用时，io请求一直阻塞，直到获取反馈结果。

3.如权利要求2所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S2中，将文件系统缓存数据写入磁盘，具体为：

4.如权利要求3所述的用于云迁移的文件系统数据备份方法，其特征在于：将所述目标数据写入文件写入磁盘后，还包括：

5.如权利要求4所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S3中，创建一致性快照，其过程包括：

6.如权利要求5所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S4中，读取文件系统快照，解析文件系统元数据，具体为：

7.如权利要求6所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S4中，过滤journal区域后生成数据位图，具体为：

8.如权利要求1-7任一所述的用于云迁移的文件系统数据备份方法，其特征在于：还包括以下步骤：

S6：云迁移软件在源端的每一个虚拟机上部署agent，agent按照步骤S1-S5在源端创建一致性快照后生成数据位图，并且根据数据位图将有效的文件系统数据同步到云端，云端根据这些同步过来的数据就能还原成和源端一样的服务器。

9.用于云迁移的文件系统数据备份系统，其特征在于，应用如权利要求1-7任一项所述的用于云迁移的文件系统数据备份方法，包括：

10.一种计算机介质，其特征在于，所述计算机可读介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行如权利要求9所述的用于云迁移的文件系统数据备份系统。