CN103036946B - 一种用于云平台处理文件备份任务的方法和系统 - Google Patents

Abstract

本发明提供了一种用于云平台处理文件备份任务的方法和系统，其中系统包括：服务器池管理模块，用于维护由一个以上备份服务器构成的备份服务器池，包括根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器；任务调度模块，用于获取云平台的用户文件备份任务，向所述服务器池管理模块请求获取备份服务器列表，向监控模块请求获取备份服务器的使用状况后，将云平台的用户文件备份任务分配到可用的备份服务器上；监控模块，用于监控备份服务器的使用状况。本发明能够降低用户额外的工作量和额外占用的网络带宽，提高数据备份的可靠性。

Description

一种用于云平台处理文件备份任务的方法和系统

【技术领域】

本发明涉及计算机通信技术领域，特别涉及一种用于云平台处理文件备份任务的方法和系统。

【背景技术】

随着云计算技术的发展，公有云平台逐渐成熟并开始大规模的向用户提供虚拟机服务。用户的业务也逐渐迁移到公有云平台，随之而来地，对数据的保护提出了更高的要求，公有云平台需要能够为虚拟机的使用者提供按需使用的文件备份服务。

不同于传统的文件备份，在公有云平台上，用户的备份需求千差万别，备份任务的数量非常巨大，如何处理用户海量的文件备份任务是一个亟待解决的问题。

有些公有云平台并不提供文件备份服务，需要用户自己去做文件备份，即用户需要定时的打包数据，通过网络下载数据到本地实现文件的备份。这种方式显然操作比较复杂，用户通常需要自己配置定时任务，写脚本来完成文件的打包和下载，不仅增加额外工作量，而且占用网络带宽，还有可能影响云平台上虚拟机的正常业务运行。

还有一种方式，用户将备份服务器安装在租用的虚拟机上，自助进行文件备份。然而这种方式需要用户自行安装备份服务器，同样增加用户额外的工作量，同时由于用户租用的虚拟机有可能与用户原始数据在同样的物理存储设备上，那么如果底层物理存储设备故障，则原始数据和备份数据都可能丢失，或者当大量用户安装备份服务器在同一物理存储设备上，如果并发量过大可能会造成物理存储设备崩溃从而造成数据丢失。

【发明内容】

有鉴于此，本发明提供了一种用于云平台处理文件备份任务的方法和系统，降低用户额外的工作量和额外占用的网络带宽，提高数据备份的可靠性。

具体技术方案如下：

一种用于云平台处理文件备份任务的方法，维护由一个以上备份服务器构成的备份服务器池；该方法包括：

对各备份服务器的使用状况进行监控，将云平台的用户文件备份任务分配到可用的备份服务器上；

其中所述备份服务器池的维护包括：根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器。

根据本发明一优选实施例，根据各备份服务器的实际使用状况关闭备份服务器为：对于在设定时长一直处于空闲状态的备份服务器，调用虚拟化平台的接口关闭该备份服务器；

根据各备份服务器的实际使用状况修改新的备份服务器为：对于使用状况超过预设的调整阈值的备份服务器，调用虚拟化平台的接口增加该备份服务器的资源配置；

根据各备份服务器的实际使用状况创建新的备份服务器为：如果备份服务器池中一定比例的备份服务器的使用状况超过预设的重载阈值，则调用虚拟化平台接口在备份服务器池中创建新的备份服务器。

根据本发明一优选实施例，该方法还包括：

初始工作时，加载虚拟机模板库，在备份服务器池中初始创建一定数量的备份服务器。

根据本发明一优选实施例，备份服务器的创建具体包括：

从数据库中获取模板元数据信息；

依据模板元数据信息从虚拟机模板库中获取虚拟机模板；

启动获取的虚拟机模板并创建备份服务器。

根据本发明一优选实施例，所述使用状况包括CPU使用率、内存使用率、执行的文件备份任务数量、存储空间使用率或剩余存储空间中的至少一种。

根据本发明一优选实施例，所述将云平台的用户文件备份任务分配到可用的备份服务器上具体包括：

依次选取使用状况未超限的备份服务器进行文件备份任务的分配；或者，

将文件备份任务优先分配给内存使用率最低的备份服务器；或者，

将文件备份任务优先分配给CPU使用率最低的备份服务器；或者，

将文件备份任务优先分配给备份任务数量最小的备份服务器；或者，

将文件备份任务优先分配给剩余存储空间最大或存储空间占用率最小的备份服务器。

本发明还提供了一种用于云平台处理文件备份任务的系统，该系统包括：

服务器池管理模块，用于维护由一个以上备份服务器构成的备份服务器池，包括根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器；

任务调度模块，用于获取云平台的用户文件备份任务，向所述服务器池管理模块请求获取备份服务器列表，向监控模块请求获取备份服务器的使用状况后，将云平台的用户文件备份任务分配到可用的备份服务器上；

监控模块，用于监控备份服务器的使用状况。

根据本发明一优选实施例，所述服务器池管理模块包括：

状况获取子模块，用于定时从所述监控模块获取备份服务器的使用状况；

维护子模块，用于依据各备份服务器的使用状况维护所述备份服务器池；

列表提供子模块，用于依据所述任务调度模块的请求，向所述任务调度模块提供备份服务器列表。

根据本发明一优选实施例，所述维护子模块维护所述备份服务器池具体包括：

对于在设定时长一直处于空闲状态的备份服务器，调用虚拟化平台的接口关闭该备份服务器；或者，

对于使用状况超过预设的调整阈值的备份服务器，调用虚拟化平台的接口增加该备份服务器的资源配置；或者，

如果备份服务器池中一定比例的备份服务器的使用状况超过预设的重载阈值，则调用虚拟化平台接口在备份服务器池中创建新的备份服务器。

根据本发明一优选实施例，所述维护子模块，还用于在初始工作时，加载虚拟机模板库，在备份服务器池中初始创建一定数量的备份服务器。

根据本发明一优选实施例，所述维护子模块在创建备份服务器时具体执行：从数据库中获取模板元数据信息，依据模板元数据信息从虚拟机模板库中获取虚拟机模板，启动获取的虚拟机模板并创建备份服务器。

根据本发明一优选实施例，所述使用状况包括CPU使用率、内存使用率、执行的文件备份任务数量、存储空间使用率或剩余存储空间中的至少一种。

根据本发明一优选实施例，所述任务调度模块在将云平台的用户文件备份任务分配到可用的备份服务器上时，具体执行：

依次选取使用状况未超限的备份服务器进行文件备份任务的分配；或者，

将文件备份任务优先分配给内存使用率最低的备份服务器；或者，

将文件备份任务优先分配给CPU使用率最低的备份服务器；或者，

将文件备份任务优先分配给备份任务数量最小的备份服务器；或者，

将文件备份任务优先分配给剩余存储空间最大或存储空间占用率最小的备份服务器。

根据本发明一优选实施例，所述监控模块具体包括：

交互子模块，用于向所述服务器池管理模块请求获取备份服务器列表，依据所述任务调度模块的请求向任务调度模块提供各备份服务器的使用状况；

监控子模块，用于监控备份服务器池中各备份服务器的使用状况，缓存备份服务器的使用状况并定期更新。

由以上技术方案可以看出，本发明提供的方法和系统能够对用户文件备份任务自动分配至备份服务器池中的可用备份服务器，无需用户自己去进行备份数据的打包、下载或者额外安装租用的虚拟机，降低了用户额外的工作量和额外占用的网络带宽，另外依据备份服务器的使用状况实现备份服务器池的动态伸缩和文件备份任务的分配，灵活有效地处理大并发量的任务，从而提高数据备份的可靠性。

【附图说明】

图1为本发明实施例提供的系统结构图；

图2为本发明实施例提供的服务器池管理模块的具体组成结构图；

图3为本发明实施例提供的任务调度模块的具体组成结构图；

图4为本发明实施例提供的任务调度模块的工作流程图；

图5为本发明实施例提供的监控模块的具体组成结构图；

图6为本发明实施例提供的监控模块的工作流程图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明中维护由一个以上备份服务器构成的备份服务器池，这部分备份服务器可以专用于公有云平台的文件备份，通过对各备份服务器的使用状况进行监控，将公有云平台的用户文件备份任务分配到可用的备份服务器上。其中备份服务器池是动态伸缩的，可以根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器。

图1为本发明实施例提供的系统结构图，如图1所示，该系统主要包括三个模块：服务器池管理模块、任务调度模块和监控模块。

其中服务器管理模块负责备份服务器池的维护工作，包括根据从监控模块获取的各备份服务器的使用状况创建新的备份服务器、修改备份服务器的配置或关闭备份服务器。

任务调度模块负责获取公有云平台的用户文件备份任务，向服务器池管理模块请求备份服务器列表，并通过监控模块获取备份服务器的使用状况后，将用户文件备份任务提交给相应的可用备份服务器。

监控模块负责监控备份服务器的使用状况，该使用状况可以包括但不限于：CPU使用率、内存使用率、执行的文件备份任务数量等负载状况，或者，存储空间使用率、剩余存储空间等存储状况。

下面分别该系统中的各模块进行详细描述。

服务器池管理模块主要完成三方面的功能：1）定时从监控模块获取备份服务器的使用状况；2）依据备份服务器池中各备份服务器的使用状况，对备份服务器池进行维护；3）根据任务调度模块的请求，向任务调度模块提供备份服务器列表，即备份服务器池中已创建的备份服务器。这三方面的功能分别由图2中所示的状况获取子模块、维护子模块和列表提供子模块完成，图2为服务器池管理模块的具体组成结构图。

其中维护子模块对备份服务器池的维护包括创建、修改或关闭备份服务器，具体可以采用以下策略：

策略1：对于在设定时长一直处于空闲状态的备份服务器，调用虚拟化平台的接口关闭该备份服务器，所谓空闲状态就是备份服务器的使用状况低于预设的空闲状态阈值，例如CPU的占用率低于1%，存储空间使用率低于1%，处理的任务数量为0等。

策略2：对于使用状况超过预设的调整阈值的备份服务器，例如负载状况过高超过预设调整阈值，或者存储空间使用率过高超过预设调整阈值等，可以调用虚拟化平台的接口增加该备份服务器的资源配置，例如增加虚拟CPU、增加内存、增加存储空间等。

策略3、如果备份服务器池中一定比例的备份服务器的使用状况都超过预设的重载阈值，调用虚拟化平台接口在备份服务器池中创建新的备份服务器。上述一定比例可以根据对可靠性的需求进行设定，例如，如果备份服务器中90%的备份服务器的负载都过重，超过预设的重载阈值，则创建新的备份服务器，或者，如果所有的备份服务器都负载过重，超过预设的重载阈值，则创建新的备份服务器。其中上述的重载阈值可以根据实际需求灵活设置，重载阈值可以大于或等于上述的调整阈值。

无论是初始工作时，还是在后续使用过程中，都会有创建备份服务器的操作，具体地，服务器池管理模块依据虚拟机模板创建备份服务器，备份服务器实际上是虚拟机，虚拟机模板包含了虚拟机的格式文件，依据该虚拟机模板能够迅速实现备份服务器的创建，因此在服务器池管理模块中可以预先采用网络文件系统（NFS）存储有模板库，模板元数据信息存放在Mysql数据库中，模板元数据信息是虚拟机模板的描述信息，诸如虚拟机模板的启动条件、位置信息等。在创建备份服务器时，首先获取模板元数据信息，依据模板元数据信息获取对应的虚拟机模板，启动虚拟机模板并创建备份服务器。

在服务器池管理模块初始工作时，维护子模块首先加载模板库，然后在备份服务器池中初始创建一定数量的备份服务器，具体数量可以由管理员指定，或者采用经验值。

任务调度模块主要完成四方面的功能：1）获取公有云平台的用户文件备份任务；2）向服务器池管理模块请求备份服务器列表；3）从监控模块获取备份服务器的使用状况；4）依据预设的调度策略将用户文件备份任务提交给相应的备份服务器。这四方面的功能分别由图3中所示的任务获取子模块、列表请求子模块、状况获取子模块和任务调度子模块来完成，图3为任务调度模块的具体组成结构图。

该任务调度模块的工作流程可以如图4所示，包括以下步骤：

步骤401：获取用户文件备份任务。

获取到的用户文件备份任务可以首先排入处理队列中，然后可以依据诸如先入先出原则、根据业务等级或用户等级的优先原则等预设原则对处理队列中的任务进行分配备份服务器。

步骤402：向服务器池管理模块请求得到备份服务器列表。

步骤403：向监控模块请求获取备份服务器的使用状况。

步骤404：基于各备份服务器的使用状况，依据预设的调度策略将用户文件备份任务分配给相应的备份服务器。

本步骤中的调度策略可以采用但不限于以下策略中的任意一种：

轮询策略：依次选取使用状况未超限的备份服务器进行任务分配；

内存优先策略：将文件备份任务优先分配给内存使用率最低的备份服务器；

CPU优先策略：将文件备份任务优先分配给CPU占用率最小的备份服务器；

任务数优先策略：将文件备份任务优先分配给备份任务数量最小的备份服务器；

存储空间优先策略：将文件备份任务优先分配给剩余存储空间最大或存储空间占用率最小的备份服务器。

监控模块主要完成两方面的功能：1）监控备份服务器池中各备份服务器的使用状况；2）依据任务调度模块的请求向任务调度模块提供各备份服务器的使用状况。这两方面的功能分别由图5中所示的监控子模块和交互子模块完成，图5为监控模块的具体组成结构图。

监控模块执行的工作流程可以如图6所示，包括以下步骤：

步骤601：启动监控任务，向服务器池管理模块请求获取备份服务器列表。

也就是说，交互子模块还用于在启动监控任务后，向服务器池管理模块请求获取备份服务器列表，依据该列表对备份服务器池中的各备份服务器执行使用状态的监控。

步骤602：调用虚拟化平台接口监控备份服务器的使用状况。

该使用状况可以包括但不限于：CPU使用率、内存使用率、执行的文件备份任务数量等负载状况，或者，存储空间使用率、剩余存储空间等存储状况。

步骤603：缓存备份服务器的使用状况，并定期自动更新。

本步骤实际上是对获取到的备份服务器的实时的使用状况进行记录和更新，由监控子模块完成。另外，监控模块还可以将监控到的使用状况作为监控数据进行输出，从而使管理员更清楚准确地获取反映备份服务器指标的监控数据。

步骤604：如果接收到任务调度模块的请求，将备份服务器的使用状况提供给任务调度模块。

由以上描述可以看出，本发明提供的上述方法和系统具备以下优点：

1）无需用户自己去进行备份数据的打包、下载或者额外安装租用的虚拟机，降低了用户额外的工作量和额外占用的网络带宽。

2）依据备份服务器的使用状况实现备份服务器池的动态伸缩和文件备份任务的分配，灵活有效地处理大并发量的任务，从而提高数据备份的可靠性。

3）备份服务器池的按需动态伸缩节约了网络资源的使用，使得备份服务器池中的各备份服务器的利用效力最大化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种用于云平台处理文件备份任务的方法，其特征在于，维护由一个以上备份服务器构成的备份服务器池，所述备份服务器用于云平台的文件备份；该方法包括：

对各备份服务器的使用状况进行监控，将云平台的用户文件备份任务分配到可用的备份服务器上；

其中所述备份服务器池的维护包括：根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器，

其中，根据各备份服务器的实际使用状况关闭备份服务器为：对于在设定时长一直处于空闲状态的备份服务器，关闭该备份服务器。

2.根据权利要求1所述的方法，其特征在于，根据各备份服务器的实际使用状况关闭备份服务器为：对于在设定时长一直处于空闲状态的备份服务器，调用虚拟化平台的接口关闭该备份服务器；

根据各备份服务器的实际使用状况修改新的备份服务器为：对于使用状况超过预设的调整阈值的备份服务器，调用虚拟化平台的接口增加该备份服务器的资源配置；

根据各备份服务器的实际使用状况创建新的备份服务器为：如果备份服务器池中一定比例的备份服务器的使用状况超过预设的重载阈值，则调用虚拟化平台接口在备份服务器池中创建新的备份服务器。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

初始工作时，加载虚拟机模板库，在备份服务器池中初始创建一定数量的备份服务器。

4.根据权利要求1、2或3所述的方法，其特征在于，备份服务器的创建具体包括：

从数据库中获取模板元数据信息；

依据模板元数据信息从虚拟机模板库中获取虚拟机模板；

启动获取的虚拟机模板并创建备份服务器。

5.根据权利要求1、2或3所述的方法，其特征在于，所述使用状况包括CPU使用率、内存使用率、执行的文件备份任务数量、存储空间使用率或剩余存储空间中的至少一种。

6.根据权利要求5所述的方法，其特征在于，所述将云平台的用户文件备份任务分配到可用的备份服务器上具体包括：

依次选取使用状况未超限的备份服务器进行文件备份任务的分配；或者，

将文件备份任务优先分配给内存使用率最低的备份服务器；或者，

将文件备份任务优先分配给CPU使用率最低的备份服务器；或者，

将文件备份任务优先分配给备份任务数量最小的备份服务器；或者，

将文件备份任务优先分配给剩余存储空间最大或存储空间占用率最小的备份服务器。

7.一种用于云平台处理文件备份任务的系统，其特征在于，该系统包括：

服务器池管理模块，用于维护由一个以上备份服务器构成的备份服务器池，所述备份服务器用于云平台的文件备份，包括根据各备份服务器的实际使用状况创建新的备份服务器、修改备份服务器的配置或关闭空闲的备份服务器；

任务调度模块，用于获取云平台的用户文件备份任务，向所述服务器池管理模块请求获取备份服务器列表，向监控模块请求获取备份服务器的使用状况后，将云平台的用户文件备份任务分配到可用的备份服务器上；

监控模块，用于监控备份服务器的使用状况，

其中，服务器池管理模块根据各备份服务器的实际使用状况关闭空闲的备份服务器具体包括：

对于在设定时长一直处于空闲状态的备份服务器，关闭该备份服务器。

8.根据权利要求7所述的系统，其特征在于，所述服务器池管理模块包括：

状况获取子模块，用于定时从所述监控模块获取备份服务器的使用状况；

维护子模块，用于依据各备份服务器的使用状况维护所述备份服务器池；

列表提供子模块，用于依据所述任务调度模块的请求，向所述任务调度模块提供备份服务器列表。

9.根据权利要求8所述的系统，其特征在于，所述维护子模块维护所述备份服务器池具体包括：

对于在设定时长一直处于空闲状态的备份服务器，调用虚拟化平台的接口关闭该备份服务器；或者，

对于使用状况超过预设的调整阈值的备份服务器，调用虚拟化平台的接口增加该备份服务器的资源配置；或者，

如果备份服务器池中一定比例的备份服务器的使用状况超过预设的重载阈值，则调用虚拟化平台接口在备份服务器池中创建新的备份服务器。

10.根据权利要求8所述的系统，其特征在于，所述维护子模块，还用于在初始工作时，加载虚拟机模板库，在备份服务器池中初始创建一定数量的备份服务器。

11.根据权利要求8、9或10所述的系统，其特征在于，所述维护子模块在创建备份服务器时具体执行：从数据库中获取模板元数据信息，依据模板元数据信息从虚拟机模板库中获取虚拟机模板，启动获取的虚拟机模板并创建备份服务器。

12.根据权利要求8、9或10所述的系统，其特征在于，所述使用状况包括CPU使用率、内存使用率、执行的文件备份任务数量、存储空间使用率或剩余存储空间中的至少一种。

13.根据权利要求12所述的系统，其特征在于，所述任务调度模块在将云平台的用户文件备份任务分配到可用的备份服务器上时，具体执行：

依次选取使用状况未超限的备份服务器进行文件备份任务的分配；或者，

将文件备份任务优先分配给内存使用率最低的备份服务器；或者，

将文件备份任务优先分配给CPU使用率最低的备份服务器；或者，

将文件备份任务优先分配给备份任务数量最小的备份服务器；或者，

将文件备份任务优先分配给剩余存储空间最大或存储空间占用率最小的备份服务器。

14.根据权利要求7所述的系统，其特征在于，所述监控模块具体包括：

交互子模块，用于向所述服务器池管理模块请求获取备份服务器列表，依据所述任务调度模块的请求向任务调度模块提供各备份服务器的使用状况；

监控子模块，用于监控备份服务器池中各备份服务器的使用状况，缓存备份服务器的使用状况并定期更新。