CN114661450A - 基于时间序列学习和预测的备份系统任务调度方法及系统 - Google Patents

Abstract

本发明公开了一种基于时间序列学习和预测的备份系统任务调度方法及系统，涉及数据中心备份管理技术领域。该方法包括：构建任务时间序列模型；获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，得到任务资源消耗队列和任务执行时长队列；获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。本发明可大大提高CDM备份系统的任务调度能力，使得备份系统更加平稳和高效的满足业务需求。

Description

基于时间序列学习和预测的备份系统任务调度方法及系统

技术领域

本发明涉及数据中心备份管理技术领域，具体而言，涉及一种基于时间序列学习和预测的备份系统任务调度方法及系统。

背景技术

当前主流备份系统的任务调度都是先将待执行的任务队列根据时间等维度进行排序，然后系统按照顺序依次执行这些任务，当系统资源消耗达到给定的阈值时，后续待执行任务队列进入阻塞状态，直到有任务执行完成，系统资源被释放出来，进入阻塞的任务才会开始被执行。在这一过程中，很容易造成系统资源过载（调度不充分导致任务执行过多）或者系统资源欠利用（调度不充分导致任务执行过少）等问题的发生。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度方法及系统，可大大提高CDM备份系统的任务调度能力，使得备份系统更加平稳和高效的满足业务需求。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度方法，包括以下步骤：

获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；

获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；所述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，所述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列；

获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列；基于任务发生序列构建任务发生序列模型；

获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；包括：获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，以得到并将满足执行需求的目标系统任务队列至目标执行队列中；

执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

为了解决现有技术中备份系统的任务调度的不合理导致资源利用率不高的技术问题，本发明结合备份系统中任务执行历史过程中的相关历史执行时长和任务资源的消耗时间进行分析训练，利用备份系统中任务的周期性特点，通过对这些周期性特点进行建模学习，构建任务时间序列模型，进而有效预测了任务在未来的出现时间、执行时长和资源消耗。根据预测到的数据结合当前系统的资源情况进行合理的任务调度，对资源使用削峰填谷，使得系统的资源利用率更加充分，同时有效的抑制了资源的消耗高峰和低谷。基于本调度方法可使得在相同硬件配置的前提下（即相同的系统资源），可以更平稳和高效的处理更多的任务。本发明显著的提高了CDM备份系统的任务调度能力，使得系统能更加平稳和高效的满足业务需求。

基于第一方面，在本发明的一些实施例中，上述获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型的方法包括以下步骤：

根据预置的采样区间获取并记录对应的CDM备份系统中执行任务时的任务资源的消耗时间，以得到任务资源消耗时间序列；

获取并记录CDM备份系统中执行任务的历史执行时长，以得到任务执行时长时间序列；

根据任务资源消耗时间序列和任务执行时长时间序列进行模型训练，以构建任务时间序列模型。

基于第一方面，在本发明的一些实施例中，该基于时间序列学习和预测的备份系统任务调度方法还包括以下步骤：

根据预置的修正周期获取并将已执行任务列表导入至任务时间序列模型中，对任务时间序列模型进行修正。

基于第一方面，在本发明的一些实施例中，上述任务资源包括计算资源、存储资源和网络资源。

第二方面，本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度系统，包括模型构建模块、任务预测模块、任务筛选模块以及任务调度执行模块，其中：

模型构建模块，用于获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列，基于任务发生序列构建任务发生序列模型；

任务预测模块，用于获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；所述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，所述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列；

任务筛选模块，用于获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；包括：获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，以得到并将满足执行需求的目标系统任务队列至目标执行队列中；

任务调度执行模块，用于执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

为了解决现有技术中备份系统的任务调度的不合理导致资源利用率不高的技术问题，本系统通过模型构建模块、任务预测模块、任务筛选模块以及任务调度执行模块等多个模块的配合，结合备份系统中任务执行历史过程中的相关历史执行时长和任务资源的消耗时间进行分析训练，利用备份系统中任务的周期性特点，通过对这些周期性特点进行建模学习，构建任务时间序列模型，进而有效预测了任务在未来的出现时间、执行时长和资源消耗。根据预测到的数据结合当前系统的资源情况进行合理的任务调度，对资源使用削峰填谷，使得系统的资源利用率更加充分，同时有效的抑制了资源的消耗高峰和低谷。基于本系统可使得在相同硬件配置的前提下（即相同的系统资源），可以更平稳和高效的处理更多的任务。本发明显著的提高了CDM备份系统的任务调度能力，使得系统能更加平稳和高效的满足业务需求。

第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

本发明实施例至少具有如下优点或有益效果：

本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度方法及系统，解决了现有技术中备份系统的任务调度的不合理导致资源利用率不高的技术问题，本发明结合备份系统中任务执行历史过程中的相关历史执行时长和任务资源的消耗时间进行分析训练，利用备份系统中任务的周期性特点，通过对这些周期性特点进行建模学习，构建任务时间序列模型，进而有效预测了任务在未来的出现时间、执行时长和资源消耗。根据预测到的数据结合当前系统的资源情况进行合理的任务调度，对资源使用削峰填谷，使得系统的资源利用率更加充分，同时有效的抑制了资源的消耗高峰和低谷。基于本发明可使得在相同硬件配置的前提下（即相同的系统资源），可以更平稳和高效的处理更多的任务。本发明显著的提高了CDM备份系统的任务调度能力，使得系统能更加平稳和高效的满足业务需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例一种基于时间序列学习和预测的备份系统任务调度方法的流程图；

图2为本发明实施例一种基于时间序列学习和预测的备份系统任务调度方法中任务总体调度的示意图；

图3为本发明实施例一种基于时间序列学习和预测的备份系统任务调度方法中任务筛选的示意图；

图4为本发明实施例中一次备份任务产生的计算和存储的资源的消耗时间序列示意图；

图5为本发明实施例中数据库备份任务的计算和存储资源消耗时间序列示意图；

图6为本发明实施例中一个数据库备份任务的执行时长时间序列示意图；

图7为本发明实施例一种基于时间序列学习和预测的备份系统任务调度系统的原理框图；

图8为本发明实施例提供的一种电子设备的结构框图。

附图标记说明：100、模型构建模块；200、任务预测模块；300、任务筛选模块；400、任务调度执行模块；101、存储器；102、处理器；103、通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例：

如图1所示，第一方面，本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度方法，包括以下步骤：

S1、获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；

进一步地，根据预置的采样区间获取并记录对应的CDM备份系统中执行任务时的任务资源的消耗时间，以得到任务资源消耗时间序列；获取并记录CDM备份系统中执行任务的历史执行时长，以得到任务执行时长时间序列；根据任务资源消耗时间序列和任务执行时长时间序列进行模型训练，以构建任务时间序列模型。

在本发明的一些实施例中，上述任务包括业务任务和系统任务；上述业务任务是指CDM备份系统通过策略驱动（也就是周期性的定时操作）以进行用户生产环境数据的备份、复制和归档（以下统称为备份数据）。与此同时，CDM系统赋能这些备份数据，使得这些数据具备快速挂载和恢复的能力，用户可以选择某个备份数据完成该操作。这些操作会对应于CDM备份系统中的任务，需要消耗CDM备份系统的计算、存储和网络资源。除过以上的用户业务任务外，CDM系统也会根据系统当前的情况去运行和用户业务无关的一些任务，这些任务称为系统任务。例如，备份任务意外失败后产生的存储占用没有成功回收的，系统需要通过任务定期进行回收。如果系统中某些存储成为了备份的热点，系统需要把这些存储上的备份迁移到别的存储上以消除热点。

上述任务资源包括计算资源、存储资源和网络资源。上述计算资源包括CPU和内存。CPU可以用CPU使用率来量度，内存可以用使用量来量度。上述存储资源包括被系统纳管的NAS、SAN和对象存储等，也包括本地存储。存储可以用使用量、IOPS和Throughput等度量来量度。上述网络资源可以使用网络带宽，传输速度等度量来量度。

任务进入CDM系统开始执行直到执行结束，该任务的资源消耗是可以被记录下来的，选择合适的采样区间，这些记录会构成本次任务执行的资源消耗时间序列。例如，对实例oracleA进行备份的任务，可以记录各种资源消耗的时间序列。如图4所示，表示一次备份任务产生的计算和存储的资源的消耗。针对同一个目标对象的同类型任务在CDM系统中是重复执行的，在策略驱动下又表现出明显的周期性，所以任务每次执行产生的资源消耗时间序列可以构造成一个更长时间区间上的时间序列。如图5所示，给出某个数据库备份任务的计算和存储资源消耗示例。

对于各个任务执行中间的空档期或者重叠区（用户手动触发某些任务可能会和系统），对于任务本身的资源消耗预测没有意义，进行消除。

类似于任务的资源消耗时间序列，把任务的历史执行时长记录下来，就构成了任务执行时长的时间序列。如图6所示，展示了一个数据库备份任务的执行时长时间序列。任务的排队等待时间不计入时长。

当有了任务资源消耗和执行时长时间系列后，通过时间序列的经典概率方法或者深度学习模型进行数据训练，构建任务时间序列模型，进而基于该任务时间序列模型可以有效的预测任务的执行时长以及在执行期间的资源消耗。

S2、获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；上述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，上述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列。

S3、获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列；基于任务发生序列构建任务发生序列模型。

把CDM备份系统中的任务在触发的时间（注意不是开始执行的时间）标记为1，其他时间标记为0，那么形成的时间序列是个二值序列，称之为任务发生序列。同样的，通过时间序列的经典概率方法或者深度学习模型进行数据训练，构建任务发生序列模型，基于任务发生序列模型可以有效的预测未来某个时间段任务的触发情况。

S4、获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；

进一步地，如图3所示，获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，判断初始系统任务队列是否正面影响未来待执行业务任务的资源需求，如果是则选取对应的初始系统任务队列中的任务队列作为目标系统任务队列，以得到并将满足执行需求的目标系统任务队列至目标执行队列中。

S5、执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

为了解决现有技术中备份系统的任务调度的不合理导致资源利用率不高的技术问题，本发明结合备份系统中任务执行历史过程中的相关历史执行时长和任务资源的消耗时间进行分析训练，利用备份系统中任务的周期性特点，通过对这些周期性特点进行建模学习，构建任务时间序列模型；在建立好了任务时间序列模型后，基于任务时间序列模型对待执行任务队列进行预测分析，上述待执行任务队列包括待执行业务任务队列和待执行系统任务队列，基于任务时间序列模型预测业务任务资源消耗和执行时长，并同时对系统业务资源消耗和执行时长进行预测分析，进而得到业务任务资源消耗和执行时长队列和系统任务资源消耗和执行时长队列，然后结合系统当前资源剩余总量基于任务队列筛选模块筛选判断满足执行需求的业务任务队列和系统任务队列，将不满足执行需求的任务队列返回到待执行任务队列中，进行下一轮的预测分析；执行满足执行需求的任务队列中的任务并实时监控任务执行过程中的任务实际资源消耗，直至任务完成，如图2所示。本发明有效预测了任务在未来的出现时间、执行时长和资源消耗。根据预测到的数据结合当前系统的资源情况进行合理的任务调度，对资源使用削峰填谷，使得系统的资源利用率更加充分，同时有效的抑制了资源的消耗高峰和低谷。基于本调度方法可使得在相同硬件配置的前提下（即相同的系统资源），可以更平稳和高效的处理更多的任务。本发明显著的提高了CDM备份系统的任务调度能力，使得系统能更加平稳和高效的满足业务需求。

基于第一方面，在本发明的一些实施例中，该基于时间序列学习和预测的备份系统任务调度方法还包括以下步骤：

根据预置的修正周期获取并将已执行任务列表导入至任务时间序列模型中，对任务时间序列模型进行修正。

为了进一步提高任务时间序列模型对任务预测分析的精准性，按照预设的修正周期定时的将已执行任务列表增量部分输入任务时间序列模型，可以对模型进行有效的修正，进而得到一个精度更高的任务时间序列模型。

如图7所示，第二方面，本发明实施例提供一种基于时间序列学习和预测的备份系统任务调度系统，包括模型构建模块100、任务预测模块200、任务筛选模块300以及任务调度执行模块400，其中：

模型构建模块100，用于获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列，基于任务发生序列构建任务发生序列模型；

任务预测模块200，用于获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；所述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，所述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列；

任务筛选模块300，用于获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；包括：获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，以得到并将满足执行需求的目标系统任务队列至目标执行队列中；

任务调度执行模块400，用于执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

为了解决现有技术中备份系统的任务调度的不合理导致资源利用率不高的技术问题，本系统通过模型构建模块100、任务预测模块200、任务筛选模块300以及任务调度执行模块400等多个模块的配合，结合备份系统中任务执行历史过程中的相关历史执行时长和任务资源的消耗时间进行分析训练，利用备份系统中任务的周期性特点，通过对这些周期性特点进行建模学习，构建任务时间序列模型，进而有效预测了任务在未来的出现时间、执行时长和资源消耗。根据预测到的数据结合当前系统的资源情况进行合理的任务调度，对资源使用削峰填谷，使得系统的资源利用率更加充分，同时有效的抑制了资源的消耗高峰和低谷。基于本系统可使得在相同硬件配置的前提下（即相同的系统资源），可以更平稳和高效的处理更多的任务。本发明显著的提高了CDM备份系统的任务调度能力，使得系统能更加平稳和高效的满足业务需求。

如图8所示，第三方面，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。

还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的方法及系统和方法，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种基于时间序列学习和预测的备份系统任务调度方法，其特征在于，包括以下步骤：

获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；

获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；所述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，所述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列；

获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列；基于任务发生序列构建任务发生序列模型；

获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；包括：获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，以得到并将满足执行需求的目标系统任务队列至目标执行队列中；

执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

2.根据权利要求1所述的一种基于时间序列学习和预测的备份系统任务调度方法，其特征在于，所述获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型的方法包括以下步骤：

根据预置的采样区间获取并记录对应的CDM备份系统中执行任务时的任务资源的消耗时间，以得到任务资源消耗时间序列；

获取并记录CDM备份系统中执行任务的历史执行时长，以得到任务执行时长时间序列；

根据任务资源消耗时间序列和任务执行时长时间序列进行模型训练，以构建任务时间序列模型。

3.根据权利要求1所述的一种基于时间序列学习和预测的备份系统任务调度方法，其特征在于，还包括以下步骤：

根据预置的修正周期获取并将已执行任务列表导入至任务时间序列模型中，对任务时间序列模型进行修正。

4.根据权利要求1所述的一种基于时间序列学习和预测的备份系统任务调度方法，其特征在于，所述任务资源包括计算资源、存储资源和网络资源。

5.一种基于时间序列学习和预测的备份系统任务调度系统，其特征在于，包括模型构建模块、任务预测模块、任务筛选模块以及任务调度执行模块，其中：

模型构建模块，用于获取并根据CDM备份系统中任务执行的历史任务数据进行模型训练，以构建任务时间序列模型；获取并对CDM备份系统中的任务触发时间和非触发时间进行标记，以得到任务发生序列，基于任务发生序列构建任务发生序列模型；

任务预测模块，用于获取并将待执行任务队列输入至任务时间序列模型中进行任务预测分析，以得到任务资源消耗队列和任务执行时长队列；所述任务资源消耗队列包括业务任务资源消耗队列和系统任务资源消耗队列，所述任务执行时长队列包括业务任务执行时长队列和系统任务执行时长队列；

任务筛选模块，用于获取并根据CDM备份系统当前资源剩余总量、任务资源消耗队列和任务执行时长队列进行任务队列筛选，筛选得到并将满足执行需求的目标任务队列加入至目标执行队列中；包括：获取并根据CDM备份系统当前资源剩余总量、业务任务资源消耗队列和业务任务执行时长队列进行业务任务队列筛选，以得到并将满足执行需求的目标业务任务队列加入至目标执行队列中；根据CDM备份系统当前资源剩余总量、系统任务资源消耗队列和系统任务执行时长队列进行系统任务队列筛选，以得到满足执行需求的初始系统任务队列；获取并根据历史任务触发数据基于任务发生序列模型预测待执行任务队列执行时段产生的新的未来任务队列，并通过任务时间序列模型对新的未来任务队列进行预测分析，生成未来业务任务资源消耗队列；根据未来业务任务资源消耗队列对初始系统任务队列进行筛选，以得到并将满足执行需求的目标系统任务队列至目标执行队列中；

任务调度执行模块，用于执行目标执行队列中的任务，并实时监控任务执行过程中的任务实际资源消耗，直至任务完成。

6.一种电子设备，其特征在于，包括：

存储器，用于存储一个或多个程序；

处理器；

当所述一个或多个程序被所述处理器执行时，实现如权利要求1-4中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

Images