CN112579351A - 一种云硬盘备份系统 - Google Patents

Abstract

本发明涉及一种云硬盘备份系统，包括：任务调度器、多个工作节点及存储节点，其中，任务调度器与各工作节点连接，用于接收上层管理平台的API请求，并根据内部管理任务列表，进行数据拆分及统一的任务调度，将子任务发配至各工作节点；工作节点与任务调度器与存储节点连接，用于接收子任务并执行备份动作，并将生成的备份数据输出写入存储节点；存储节点通过集中式存储统一管理备份数据。本发明采用多节点并行、节点内并发的方式备份数据，不仅可以大幅提升备份效率，同时还可以平衡每个节点的资源消耗情况，起一定程度上的负载均衡。

Description

一种云硬盘备份系统

技术领域

本发明涉及云数据备份技术领域，具体涉及一种云硬盘备份系统。

背景技术

云计算领域发展至今已超过十五年，随着云计算和虚拟化技术的成熟化，越来越多企业选择云管平台来统一管理虚拟机，取代了传统的服务器应用方案。而在这样的使用场景下，对于用户而言他们的个人数据是放在云端的，他们更希望保证他们的数据无异常，所以数据保护服务必不可少。

在云计算环境下，用户数据的保护重要性如上所述，为避免出现操作失误、黑客攻击或病毒侵入所导致的系统故障和数据丢失，对虚拟机的各类资源提供保护服务非常必要。云硬盘作为云管平台重要资源之一，充当着数据存储的角色，越来越多用户将个人数据存入云硬盘中。而如今用户关心的是如何对他们的云硬盘进行快速的备份和恢复，总结而言就是从使用角度上能对云硬盘做到高效率，易使用，强稳定的数据保护。

传统的云硬盘备份服务都普遍存在一些问题，比如无法保证工作过程中资源合理的消耗，没有考虑到多工作后端时会出现资源空闲的问题。

以openstack搭建的云平台为例，与云硬盘保护相关的服务为cinder-volume和ciner-backup，目前cinder-backup除了ceph备份插件之外，其他的备份插件都使用统一的分块备份插件，而这一插件在执行云硬盘备份的过程中存在问题，具体为代码设计上通过同步执行的方式处理“目标云硬盘数据分块读取”和“数据处理备份写入后端”这两大流程，这样设计存在的问题在于，前一流程在同时进行多任务，或单任务一次读取的数据块过大的情况下会引起过大的磁盘IO消耗。而前一流程结束后，需要消耗大量内存保存读取的数据，后一流程需要再对这部分数据进行转换和压缩，最后写入硬盘中。如上所述，这一设计会导致后端硬件资源如磁盘IO和内存消耗上分布不均匀。

中国发明专利“一种OpenStack云主机保护方法”(申请号CN201910147361.1)，该发明涉及一种OpenStack云主机保护方法，该方法通过对CinderBackup服务的改进，可实现多并发场景下的性能优化，可实现CinderBackup服务完成云硬盘的备份和恢复。虽然该发明涉及对云硬盘备份的改进，但是针对于云主机的保护，通过实现插件和额外服务，采用C++和Python混合编程交互的方式，解决框架无法满足的更上层问题。但该发明仅针对于Openstack开源云平台，并没有考虑到其他云平台环境。

中国发明专利“一种openstack云主机数据保护方法及系统”(申请号CN201911346810.1)，该发明公开了一种openstack云主机数据保护方法及系统，在备份代理机上预安装ceph客户端，所述ceph客户端用于连接openstack云平台；备份代理机获取openstack云平台中要备份的云主机的信息参数；根据信息参数调用ceph api获取云主机在ceph后端上对应的存储镜像，同时调用ceph api对该存储镜像做快照操作，并将快照导出为数据文件；将导出的数据文件上传到备份服务器进行保存。该发明主要解决Openstack云平台下主机无入侵式在线备份问题，虽然该发明涉及到云硬盘备份的优化，但是没有涉及到本专利申请中云环境下硬盘备份方法和系统。

中国发明专利“一种云硬盘备份方法、系统及装置”(申请号CN201911063224.6)，该发明公开了一种云硬盘备份方法，应用于云管理平台。本申请的云硬盘备份可同时与多个后端备份集群对接，然后选择一个后端备份集群完成数据备份。虽然该发明涉及到一种云硬盘备份恢复方法，但是主要通过多后端配置解决节点故障问题提高容错率，并没有涉及到云环境下硬盘的备份方法。

中国发明专利“一种云硬盘备份恢复方法和装置”(申请号CN201911050647.4)，该发明公开了一种云硬盘备份恢复方法，所述方法包括：接收到对云硬盘的数据进行备份恢复的操作时，判断所述云硬盘是否需要采用指定卷类型进行备份恢复；当所述云硬盘采用指定卷类型进行备份恢复时，根据卷类型和存储后端的对应关系，选择指定卷类型对应的存储后端进行所述云硬盘的数据的备份恢复。虽然该发明涉及到一种云硬盘备份恢复方法，提供卷备份至响应后端的装置，但是该发明主要解决硬盘无法备份至特定后端的问题，并没有涉及到云环境下硬盘的备份方法和系统。

发明内容

为解决已有技术存在的不足，本发明提供了一种云硬盘备份系统，包括：任务调度器、多个工作节点及存储节点，其中，

任务调度器与各工作节点连接，用于接收上层管理平台的API请求，并根据内部管理任务列表，进行数据拆分及统一的任务调度，将子任务发配至各工作节点；

工作节点与任务调度器与存储节点连接，用于接收子任务并执行备份动作，并将生成的备份数据输出写入存储节点；

存储节点通过集中式存储统一管理备份数据。

其中，所述任务调度器接收上层管理平台的API请求后，根据目标云硬盘大小将其拆分成若干块，形成对应数量子任务，并根据各工作节点的资源使用情况，使用一致性hash算法，将数据块均匀分配至各工作节点，最后通过RPC的方式将子任务下发。

其中，所述任务调度器同时进行失败重试：通过RPC的方式接收工作节点执行失败的子任务，并对失败数据重新下发分配。

其中，所述任务调度器通过如下步骤进行失败重试：

步骤S1：任务调度器内部维护一个manager_mapping，用于映射“单个备份任务”与“拆分后的子任务集”；

步骤S2：工作节点会将完成的子任务通过发请求的方式向任务调度器通知，任务调度器将完成的子任务状态设置为成功，当状态为成功的子任务数等于子任务总数时，检验所有已完成的子任务在工作节点是否都有对应的数据；

步骤S3：针对执行时出现失败或超时的子任务，将任务状态设置为失败；

步骤S4：周期检查并重试所有状态为失败的子任务，直至全部任务完成；

步骤S5：若步骤S4重复预定次数后仍有失败子任务，则认为此次备份失败，清理对应资源，重新进行数据拆分及统一的任务调度。

其中，各工作节点同时处理子任务，各工作节点均包括数据读取线程、计算压缩线程及数据写入线程，由计算压缩线程对子任务进行数据处理、计算、压缩并生成备份数据，由数据写入线程将备份数据输出写入存储节点；其中，数据读取线程及计算压缩线程之间，以及计算压缩线程及数据写入线程之间通过管道或消息队列进行数据通信。

其中，各工作节点中，数据读取线程、计算压缩线程及数据写入线程的线程数量比为1：N：1，线程间使用带缓冲管道缓冲线程阻塞问题。

其中，各工作节点内部维护线程池，动态分配线程数量。

其中，各工作节点通过如下步骤处理子任务：

步骤S1：工作节点获取子任务后，与云硬盘连接，读取相应偏移数据；

步骤S2：计算函数内部将子任务对应数据块进行进一步切割，分成更多的数据段，进行每段的全量和增量计算及hash计算；

步骤S3：将输出的结果数据进行拼接、压缩，连同元数据信息一同写入存储节点，同时，通知任务调度器校验结果，由任务调度器负责处理失败的任务。

本发明提供的云硬盘备份系统，采用多节点并行、节点内并发的方式备份数据，不仅可以大幅提升备份效率，同时还可以平衡每个节点的资源消耗情况，起一定程度上的负载均衡。

附图说明

图1：本发明的云硬盘备份系统的系统架构及原理流程图。

图2：本发明的云硬盘备份系统的工作流程图。

图3：本发明的云硬盘备份系统中任务调度器的任务下发示意图。

具体实施方式

为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。

为了解决上述技术问题，本发明针对云硬盘备份的方法，提出一种基于并行计算、异步调用的高并发备份方法，能够合理将每个云硬盘备份任务拆分成多个子任务，将子任务发配至多个工作节点，同时每个工作节点根据硬件情况以并发的方式处理数据，最后写入统一的存储节点。该方法采用多节点并行、节点内并发的方式，不仅可以大幅提升备份效率，同时还可以平衡每个节点的资源消耗情况，起一定程度上的负载均衡。

图1为本发明的云硬盘备份系统的系统架构及原理流程图，如图1所示，本发明了一种云硬盘备份系统，包括任务调度器、多个工作节点及存储节点。

一、任务调度器

任务调度器运行在控制节点，主要负责接收上层管理平台API请求，并进行任务下发、任务管理以及失败重试。

任务调度器内部管理任务列表，进行数据拆分以及统一的任务调度，起到管理角色。

需要云备份数据时，上层云管平台通过API发送云硬盘备份请求至统一任务调度器，任务调度器根据目标云硬盘大小及工作节点情况，将云硬盘拆分成若干块，使每块大小保持一致(最后一块不要求)，每一块对应一个子任务，形成对应数量子任务，构建任务集；根据工作节点的资源使用情况，使用一致性hash算法，如图3所示，将数据块均匀分配至各工作节点，最后通过RPC的方式将子任务下发。

任务调度器内部维护一个manager_mapping，管理所有的备份任务，其中key为task_id，value为具体的任务对象，可表示为map<string，Task>，其中Task结构体主要字段定义如下：

字段child_task_mapping用于每个备份任务和其子任务的映射关系，key为child_task_id,value为具体的子任务对象，其中ChildTask结构体主要字段定义如下：

当子任务完成后，将其状态修改为成功，当状态为成功的子任务数等于子任务总数则备份完成，校验所有已完成子任务集；当执行时出现失败(通过工作节点上报状态得知失败)或超时的子任务，将任务状态设置为失败，检查并重试(通知工作节点中断并重新下发)所有失败的子任务，直到全部任务完成。如果检查并重试预定次数后仍存在失败子任务，则认为此次备份失败，需清理对应资源，重新进行云备份。任务调度器内部会通过计数的方式汇总各状态子任务数量。

下发至工作节点的子任务包括字段：目标卷位置、数据块编号、数据块对应卷起始偏移、数据块大小等，同时在任务调度器内会存储这些信息和下发的工作节点信息，以便于状态跟踪。

二、工作节点

工作节点负责执行备份任务，辅助控制节点维护任务状态，并将备份数据写入存储后端(亦称存储节点)。工作节点通过数据读取线程和计算线程对子任务进行数据读取、处理、计算、压缩、生成输出数据(亦称备份数据)，写入存储后端。

对于每一个子任务，任务调度器通过RPC的方式下发至各工作节点，每个工作节点同时处理子任务，如图1所示，节点内运行DataRead数据读取线程、Calculate计算压缩线程、WriteBackend数据写入线程，通过管道或消息队列进行数据通信。

考虑到磁盘IO问题以及CPU消耗问题，DataRead、Calculate线程占用一定的IO，Calculate线程需要一定数量CPU支持，所以数据DataRead和Calculate线程之间使用FAN-OUT的形式，Calculate和WriteBackend之间使用FAN-IN的形式，线程数量比例关系为DataRead：Calculate：WriteBackend＝1：N：1，线程间使用带缓冲管道缓解线程阻塞问题。工作节点内部维护线程池，动态分配线程数量。

对于执行失败的子任务，工作节点会通过RPC的方式通知任务调度器，任务调度器将会重新管理失败的任务，再次下发至工作节点。

各工作节点获取子任务后，首先与云硬盘进行连接，读取相应偏移数据，计算函数内部会将数据块进一步切割，分成更多的数据段，进行每段的全量和增量计算、hash值计算等等，将输出的结果数据进行拼接，压缩，连同元数据信息一同写入存储后端。

当每个子任务在工作节点执行完并成功写入存储节点时，会通知任务调度器校验结果，同时任务调度器会负责处理失败的任务，直至单个任务完成。

三、存储节点

存储后端采用集中式存储，支持多种存储驱动，统一管理备份数据，所存储数据为工作节点生成的元数据以及备份压缩数据，其中包括文件有：

metadata.json元数据文件，字段包括用户信息，备份状态信息，数据分块后各数据块如存储位置、hash值等等；

block_N(N＝1,2,3…)各数据块二进制文件，拆分为多数据块存储，拆分的数量和云硬盘子任务数一致，每一块磁盘占用不会过大。

本发明中，所谓的“RPC”，是一种远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

本发明中，所谓的“API，是操作系统流给应用程序的一个调用接口，应用程序通过调用操作系统的API而使操作系统去执行应用程序的命令。

本发明的有益效果如下：

1、通过任务调度器来统一管理备份任务，保证每一个子任务的正常进行，从而保证备份数据的完整性。

2、通过工作节点异步执行备份任务，使资源消耗均分在每一阶段，并且内部动态管理线程池，控制资源消耗。

3、通过集中式存储，便于定期复制备份至其他备用节点。

虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。

Claims (8)

1.一种云硬盘备份系统，其特征在于包括：任务调度器、多个工作节点及存储节点，其中，

任务调度器与各工作节点连接，用于接收上层管理平台的API请求，并根据内部管理任务列表，进行数据拆分及统一的任务调度，将子任务发配至各工作节点；

工作节点与任务调度器与存储节点连接，用于接收子任务并执行备份动作，并将生成的备份数据输出写入存储节点；

存储节点通过集中式存储统一管理备份数据。

2.如权利要求1所述的云硬盘备份系统，其特征在于：所述任务调度器接收上层管理平台的API请求后，根据目标云硬盘大小将其拆分成若干块，形成对应数量子任务，并根据各工作节点的资源使用情况，使用一致性hash算法，将数据块均匀分配至各工作节点，最后通过RPC的方式将子任务下发。

3.如权利要求1所述的云硬盘备份系统，其特征在于：所述任务调度器同时进行失败重试：通过RPC的方式接收工作节点执行失败的子任务，并对失败数据重新下发分配。

4.如权利要求3所述的云硬盘备份系统，其特征在于：所述任务调度器通过如下步骤进行失败重试：

步骤S1：任务调度器内部维护一个manager_mapping，用于映射“单个备份任务”与“拆分后的子任务集”；

步骤S2：工作节点会将完成的子任务通过发请求的方式向任务调度器通知，任务调度器将完成的子任务状态设置为成功，当状态为成功的子任务数等于子任务总数时，检验所有已完成的子任务在工作节点是否都有对应的数据；

步骤S3：针对执行时出现失败或超时的子任务，将任务状态设置为失败；

步骤S4：周期检查并重试所有状态为失败的子任务，直至全部任务完成；

步骤S5：若步骤S4重复预定次数后仍有失败子任务，则认为此次备份失败，清理对应资源，重新进行数据拆分及统一的任务调度。

5.如权利要求1所述的云硬盘备份系统，其特征在于：各工作节点同时处理子任务，各工作节点均包括数据读取线程、计算压缩线程及数据写入线程，由计算压缩线程对子任务进行数据处理、计算、压缩并生成备份数据，由数据写入线程将备份数据输出写入存储节点；其中，数据读取线程及计算压缩线程之间，以及计算压缩线程及数据写入线程之间通过管道或消息队列进行数据通信。

6.如权利要求5所述的云硬盘备份系统，其特征在于：各工作节点中，数据读取线程、计算压缩线程及数据写入线程的线程数量比为1：N：1，线程间使用带缓冲管道缓冲线程阻塞问题。

7.如权利要求6所述的云硬盘备份系统，其特征在于：各工作节点内部维护线程池，动态分配线程数量。

8.如权利要求5所述的云硬盘备份系统，其特征在于：各工作节点通过如下步骤处理子任务：

步骤S1：工作节点获取子任务后，与云硬盘连接，读取相应偏移数据；

步骤S2：计算函数内部将子任务对应数据块进行进一步切割，分成更多的数据段，进行每段的全量和增量计算及hash计算；

步骤S3：将输出的结果数据进行拼接、压缩，连同元数据信息一同写入存储节点，同时，通知任务调度器校验结果，由任务调度器负责处理失败的任务。

Images