CN112685224A - 任务管理的方法、设备和计算机程序产品 - Google Patents
任务管理的方法、设备和计算机程序产品 Download PDFInfo
- Publication number
- CN112685224A CN112685224A CN201910990434.3A CN201910990434A CN112685224A CN 112685224 A CN112685224 A CN 112685224A CN 201910990434 A CN201910990434 A CN 201910990434A CN 112685224 A CN112685224 A CN 112685224A
- Authority
- CN
- China
- Prior art keywords
- backup
- task
- tasks
- speed
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004590 computer program Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1466—Management of the backup or restore process to make the backup process non-disruptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Abstract
本公开的实施例涉及任务管理的方法、设备和计算机程序产品。该方法包括:获取与包括目标备份任务的多个备份任务相关联的执行计划,执行计划至少指示多个备份任务的备份数据量和起始时刻;基于执行计划,确定将要在目标备份任务的起始时刻并行执行的第一组备份任务;确定在目标备份任务的起始时刻并行执行第一组备份任务的预测备份速度;以及至少基于预测备份速度和目标备份任务的备份数据量,确定执行目标备份任务所需的时间。由此,可以更为准确地预测执行备份任务所需的时间。
Description
技术领域
本公开的实施例涉及计算机领域,并且更具体地,涉及任务管理的方法、设备和计算机程序产品。
背景技术
近年来,随着计算机技术的发展,人们每天将产生大量的电子数据。用户或者服务提供方通常通过数据备份的方式来保证数据的安全性,以防止某些突发的意外情况。通常,需要备份的数据可能规模较大,人们期待能够预测执行数据备份所需的时间,从而更好地调度任务。因此,如何高效地预测数据备份所需的时间已经成为当前的一个关注焦点。
发明内容
本公开的实施例提供一种用于任务管理的方案。
根据本公开的第一方面,提出了一种任务管理的方法。该方法包括:获取与包括目标备份任务的多个备份任务相关联的执行计划,执行计划至少指示多个备份任务的备份数据量和起始时刻;基于执行计划,确定将要在目标备份任务的起始时刻并行执行的第一组备份任务;确定在目标备份任务的起始时刻并行执行第一组备份任务的预测备份速度;以及至少基于预测备份速度和目标备份任务的备份数据量,确定执行目标备份任务所需的时间。
根据本公开的第二方面,提出了一种用于任务管理的设备。该设备包括:至少一个处理单元;至少一个存储器,该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令,该指令当由该至少一个处理单元执行时,使得该设备执行动作,该动作包括:获取与包括目标备份任务的多个备份任务相关联的执行计划,执行计划至少指示多个备份任务的备份数据量和起始时刻;基于执行计划,确定将要在目标备份任务的起始时刻并行执行的第一组备份任务;确定在目标备份任务的起始时刻并行执行第一组备份任务的预测备份速度;以及至少基于预测备份速度和目标备份任务的备份数据量,确定执行目标备份任务所需的时间。
在本公开的第三方面,提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令,该机器可执行指令在设备中运行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征,也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。
图1图示了本公开实施例可以在其中被实施的环境的示意图;
图2图示了根据本公开实施例的任务管理的过程的流程图;
图3图示了根据本公开实施例的确定备份任务的耗时的示意图;
图4图示了根据本公开实施例的确定第一备份任务组的过程的流程图;
图5图示了根据本公开实施例的确定备份任务的耗时的过程的流程图;以及
图6图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所描述的,人们希望能够预测备份操作需要的耗时。传统的方案可以通过基于历史的备份操作来预测待执行备份操作所需要的耗时。例如,一些传统的方案通过存储历史的备份数据量和耗时来确定备份操作的预测耗时,在预测过程中需要遍历历史备份数据记录。这样的方案需要存储大量的历史数据,并且随着数据量的增大,预测过程的耗时也会随之增大。考虑到备份操作所需的时效性,预测备份操作需要的长耗时可能是无法接受的。
根据本公开的实施例,提供了一种任务管理的方案。在该方案中,获取与包括目标备份任务的多个备份任务相关联的执行计划,执行计划至少指示多个备份任务的备份数据量和起始时刻;基于执行计划,确定将要在目标备份任务的起始时刻并行执行的第一组备份任务;确定在目标备份任务的起始时刻并行执行第一组备份任务的预测备份速度;以及至少基于预测备份速度和目标备份任务的备份数据量,确定执行目标备份任务所需的时间。通过考虑在不同时刻并行执行的备份任务的情况,本公开的实施例可以更为准确地预测执行备份任务所需的时间。
图1示出了本公开实施例可以在其中被实施的环境100的示意图。如图1所示,环境100包括计算设备120和备份存储装置130,计算设备120可以接收待执行的一个或多个备份任务,并在将待备份的数据进行预处理后将数据写入到备份存储装置130中。具体地,计算设备120例如可以对待备份数据按照预定的大小进行分块,这样的大小例如可以根据不同的备份系统的需求而被相应地配置。
随后,计算设备120还例如可以根据每个数据块中数据的散列值以确定该数据块中的数据是否已经被存储在备份存储装置130中。如果数据块中的数据已经被存储在备份存储装置130中,则计算设备120可以避免重复写入该数据块。相反,计算设备120可以写入该数据块,并记录该数据块的散列值以用于下次备份的去冗余操作。
考虑到计算设备120在不同时刻可能并行执行不同数量和不同类型的备份任务,在不同时刻的备份速度也可能会发生改变。计算设备120能够基于关于备份任务110的执行计划来确定执行备份任务中的每一个备份任务所需要的时间,从而为用户或开发者更好地规划工作提供支持。
以下将参考图2至图5来描述根据本公开实施例的任务管理的过程。图2示出了根据本公开的一些实施例的任务管理的方法200的流程图。方法200可以由图1中的计算设备120来实现。为了方便讨论,以下将结合图1来描述方法200。
在框202,计算设备120获取与包括目标备份任务的多个备份任务相关联的执行计划,执行计划至少指示多个备份任务的备份数据量和起始时刻。在一些实施例中,计算设备120可以接收由一个或多个用户所提交的多个备份任务110。一般地,用户会在提交备份任务110时指定期望执行备份任务的起始时刻。计算设备120也可以在接收备份任务110时确定备份任务110的备份数据量,例如100GB。这样的信息例如可以被组织为一个单独的文件,以指示备份任务110的执行计划。
图3示出了根据本公开实施例的确定执行目标备份任务的耗时的过程的示意图300。以图3作为示例,如图所示,计算设备120例如可以接收第一任务310、第二任务320、第三任务330、第四任务340和第五任务350,其中第四任务340例如可以是待确定耗时的目标备份任务(即,第四任务340)。计算设备120可以从执行计划确定第一任务310和第二任务320的起始时刻为t0,第三任务330和第四任务340的起始时刻为t1,第五任务350的起始时刻为t5。为了方便描述,第一任务310至第五任务350的备份数据量可以被表示为s1、s2、s3、s4和s5。
继续参考图2,在框204,计算设备120基于执行计划,确定将要在目标备份任务的起始时刻并行执行的第一组备份任务。继续图3的示例,例如,目标备份任务(即,第四任务340)的起始时刻为t1,计算设备120可以根据执行计划来确定在t1时刻需要执行的第一组备份任务。以下将结合图4来描述框204的具体过程,图4示出了根据本公开实施例的确定第一组备份任务的过程的流程图。
如图4所示,在框402,计算设备120可以确定多个备份任务中起始时刻早于目标备份任务的起始时刻的在先备份任务。继续以图3作为示例,计算设备120可以从多个备份任务(第一任务310至第五任务350)中确定起始时刻早于t1的备份任务包括第一任务310和第二任务320(它们的起始时刻均为t0)。
在框404,计算设备120可以基于在先备份任务的起始时刻和备份数据量,确定在先备份任务是否将在目标备份任务的起始时刻前被完成。响应于在框404确定在先备份任务将在目标备份任务的起始时刻前未被完成,则方法进行到框406,其中计算设备120可以将在先备份任务添加至第一组备份任务。
继续图3的示例,对于起始时刻早于t1的第一任务310和第二任务320。计算设备120可以确定第一任务310和第二任务320是否将在t1前被完成。具体地,计算设备120可以首选确定并行执行第一任务310和第二任务320的备份速度。在一些实施例中,计算设备120例如可以基于历史的备份情况来确定备份速度。例如,计算设备120可以从历史备份情况中确定与第一任务310和第二任务320的备份数据量接近的备份任务的速度来确定备份速度。在一些实施例中,计算设备120还可以基于机器学习的方法来确定并行执行第一任务310和第二任务320的备份速度。
在确定并行执行第一任务310和第二任务320的备份速度后,计算设备120可以基于第一任务310的备份数据量s1和第二任务320的备份数据量s2来确定它们的预测完成时刻,并确定该时刻是否晚于目标备份任务(即,第四任务340)的起始时刻t1。当确定预测完成时刻晚于起始时刻t1时,计算设备120可以将第一任务310和第二任务320添加到第一组备份任务中。
附加地,计算设备120还将基于执行计划确定多个备份任务中与目标备份任务同时开始的其他备份任务。例如,对于图3的示例,计算设备120还可以将同样在时刻t1开始的第三任务330添加到第一组备份任务中。由此,计算设备120可以确定在时刻t1需要并行执行的第一组备份任务包括第一任务310、第二任务320、第三任务330和目标备份任务(即,第四任务340)。
继续参考图2,在框206,计算设备120确定在目标备份任务的起始时刻并行执行第一组备份任务的预测备份速度。在一些实施例中,计算设备120可以根据第一组备份任务中每个备份任务的具体信息来确定预测备份速度。
在一些实施例中,计算设备120可以首先获取与第一组备份任务相关联的度量。在一些示例中,度量可以包括:第一组备份任务中使用可变大小存储块的备份任务的数目、和/或第一组备份任务中使用固定大小存储块的备份任务的数目。在数据备份中,通常可以选择以下两种不同的备份模式中的一种:使用固定大小存储块或使用可变大小存储块。由于两种备份模式的机制不同,这两种备份模式的备份速度也有所区别。因此,每种模式的备份任务的数量将会影响备份速度。
在另一示例,度量可以包括:第一组备份任务中具有特定备份周期的备份任务的数目。不同的备份周期(例如,每月备份一次或者每年备份一次)会影响待备份数据量中的能够通过去冗余机制而不真正写入的数据量的占比,因此也会影响到最终的备份速度。
在又一示例中,度量可以包括:第一组备份任务的并发线程数目。容易理解,每个备份任务的多线程配置情况也将影响到最终的备份速度。
计算设备120可以利用以上示例度量中的一项或多项来确定并行执行第一组备份任务的预测备份速度。应当理解,还可以利用其它任何适当的度量来进行预测。在一些实施例中,计算设备120例如可以基于历史备份情况来确定以上度量与最终备份速度的函数关系(例如,通过函数拟合),并基于第一组备份任务的度量来确定预测备份速度。
在一些实施例中,计算设备120可以利用基于机器学习的方法来确定并行执行第一组备份任务的预测备份速度。具体地,计算设备120可以利用速度确定模型处理度量,以确定预测备份速度,其中速度确定模型是基于从一组参考并发备份任务确定的度量和对应的真实备份速度而被训练的机器学习模型。机器学习模型的示例包括但不限于各类深度神经网络(DNN)、卷积神经网络(CNN)、支持向量机(SVM)、决策树、随机森林模型等等。
具体地,计算设备120例如可以通过在实际执行备份的过程中获取并行执行的一组备份任务的以上度量作为速度确定模型的输入,并以执行该组并发任务的真实备份速度来作为速度确定模型的训练目标,以使得速度确定的模型的输出能够接近于真实备份速度。
在一些实施例中,计算设备120可以对并行执行一组历史并发备份任务的备份速度进行采样以获得一组采样备份速度,并基于该组采样备份速度确定真实备份速度。例如,计算设备120可以以1s为周期定期地采样实时备份速度,并基于所采样的一组采样备份速度来确定真实备份速度。例如,计算设备120可以将改组采样备份速度的均值作为真实备份速度,以用于速度确定模型的训练。
在一些实施例中,计算设备120还可以对所改组采样备份速度进行数据过滤处理。具体地,计算设备120可以基于一组采样备份速度中采样备份速度与相邻时刻的采样备份速度的差异,确定至少一个采样备份速度。
例如,计算设备120可以计算该组采样备份速度中相邻两个采样备份速度的差值。计算设备120进一步可以确定差值的平均值,并过滤掉差值大于特定阈值(例如,差值的平均值)的采样备份速度对,从而从该组采样备份速度中确定至少一个采样备份速度。基于这样的方式,由于采样的错误或其他原因来造成的某些异常采样速度。
在一些实施例中,计算设备120还可以基于该至少一个采样备份速度确定真实备份速度。例如,计算设备120可以计算经过滤所得到的至少一个采样备份速度的均值,并将该均值作为真实备份速度,以用于速度确定模型的训练。
通过上述的训练过程,速度确定模型能够具有从并行执行的一组备份任务的信息确定计算设备120并行备份这组备份任务的预测备份速度的能力。应当理解,计算设备120也可以利用该速度确定模型以根据基于第一任务310和第二任务320确定的度量,来确定上文针对图3描述的确定并行执行第一任务310和第二任务320的备份速度。
继续参考图2,在框208,计算设备120至少基于预测备份速度和目标备份任务的备份数据量,确定执行目标备份任务所需的时间。在一些实施例中,计算设备120例如可以基于目标备份任务的备份数据量和预测备份速度来确定执行目标备份任务所需的时间。
在一些实施例中,计算设备120在完成目标备份任务之前并发执行的第一组备份任务可能发生变化,例如,可能已经完成其中的一个备份任务或者有新的需要执行的备份任务,此时备份速度可能会发生变化。以下将结合图5来描述框208的具体过程,图5示出了根据本公开实施例的确定执行目标备份任务的时间的过程的流程图。
如图5所示,在框502,响应于在中间时刻将完成第一组备份任务中的至少一个或者将在中间时刻开始执行附加的备份任务,计算设备120可以确定在中间时刻将并行执行的第二组备份任务。继续以图3作为示例,在根据上文所述的方法确定在t1时刻并行执行第一任务310、第二任务320、第三任务330和第四任务340的预测备份速度(为了方便描述,称为第一预测备份速度)为p2后,计算设备120可以根据第一任务310至第四任务340对应的备份数据量s1至s4来确定第一任务310至第四任务340的预期完成时间。
例如,对于第一任务310和第二任务320,计算设备120可以确定先前已经完成的数据量,并计算在t1时刻还需要被备份的剩余数据量,并基于剩余数据量与第一预测备份速度p2来确定剩余备份时间。例如,计算设备120可以确定第二任务320预期还需要w2时长以完成备份,并且确定它是第一任务310至第四任务340中最先被完成的。
基于该确定,计算设备120可以确定在t2(即,t1+w2)时刻并行执行的备份任务将发生变化。具体地,计算设备120可以确定在t2时刻将并行执行的第二组备份任务仅包括第一任务310、第三任务330和第四任务340。
在框504,计算设备120可以确定将并行执行第二组备份任务的第二预测备份速度。在一些实施例中,计算设备120例如可以利用上文参考框206所描述方法来去的第二预测备份速度。具体地,计算设备120可以确定第二组备份任务的度量,并利用速度确定模型处理该度量来确定第二预测备份速度。继续图3的示例,计算设备120可以确定并行执行第一任务310、第三任务330和第四任务340的第二预测备份速度为p2。
在框506,计算设备120可以基于第一预测备份速度和第二预测备份速度,确定执行目标备份任务所需的时间。在一些实施例中,计算设备120例如可以首先确定在起始时刻与中间时刻之间已经完成的备份数据量,并确定从中间时刻还需要备份的剩余数据量。例如,以图3为示例,计算设备120可以确定在t1至t2,计算设备120完成了w2*p2的备份数据量,目标备份任务(即,第四任务340)的剩余备份数据量为s4-w2*p2。
进一步地,计算设备120例如可以根据第二预测备份速度p3和剩余备份数据量为s4-w2*p2来确定完成目标备份任务(即,第四任务340)的所需要的时间为w2+(s4-w2*p2)/p3。
应当理解,计算设备120可以迭代地执行框502至框506的过程以更为准确地确定执行目标备份任务所需的时间。继续图3的示例,基于预测备份速度p3,计算设备120可以确定第一任务310将在时刻t3完成备份,即,计算设备120可以确定在时刻t3将需要并行执行的备份任务将仅包括第三任务330和第四任务340。计算设备120可以根据基于第三任务330和第四任务340所确定的度量,进一步确定并行执行第三任务330和第四任务340的预测备份速度为p4。
如图3所示,进一步地,在确定并行执行第三任务330和第四任务340的预测备份速度为p4后,计算设备120例如可以确定将在t4时刻完成第三任务330。即,计算设备120可以确定在时刻t4将需要并行的备份任务将仅包括第四任务340。计算设备120可以进一步根据从第四任务340所确定的度量,来确定单独执行第四任务340的预测备份速度p5。
如图3所示,进一步地,计算设备120还可以确定在t5时刻,将开始执行备份第五任务350。即,即,计算设备120可以确定在时刻t3将需要并行执行的备份任务将包括第四任务340和第五任务350。计算设备120可以进一步根据从第四任务340所确定的度量,来确定执行第四任务340和第五任务350的预测备份速度p6。
如图3所示,进一步地,计算设备120可以确定在t6将完成第四任务340,且在此之前并行执行的备份任务将不会发生变化。此时,计算设备120可以将t6确定预期将完成备份第四任务340的时刻。
基于以上描述的过程,计算设备120可以确定执行完成目标备份任务(即,第四任务340)所需的时间为:w2+w3+w4+w5+w6,其中w2是基于第二任务320的在t1时刻的剩余数据量与预测备份速度p2所确定的,w3是基于第一任务310在t2时刻的剩余数据量与预测备份速度p3所确定的,w4是基于第三任务330在t3时刻的剩余数据量与预测备份速度p4所确定的,w5是基于第五任务350的起始时间所确定的,w6是基于第四任务340在t5时刻的剩余数据量与预测备份速度p6所确定的。
基于以上的方案,本公开的实施例可以通过在不同时间段并行执行的备份任务的具体情况来确定在不同时间段的不同备份速度,从而可以更为准确地预测执行备份任务所需要的时间,从而为用户规划工作提供更好的支持。
在一些实施例中,计算设备120还可以文本、图形、音频或视频来提供所确定执行目标备份任务所需的时间,以使得用户可以更为直观地了解所提交的备份任务所需的时间,从而可以更好地安排所需要进行的工作。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如,如图1所示的计算设备120可以由设备600来实施。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法200,可由处理单元601执行。例如,在一些实施例中,方法200可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时,可以执行上文描述的方法200的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。
Claims (15)
1.一种任务管理方法,包括:
获取与包括目标备份任务的多个备份任务相关联的执行计划,所述执行计划至少指示所述多个备份任务的备份数据量和起始时刻;
基于所述执行计划,确定将要在所述目标备份任务的起始时刻并行执行的第一组备份任务;
确定在所述目标备份任务的起始时刻并行执行所述第一组备份任务的预测备份速度;以及
至少基于所述预测备份速度和所述目标备份任务的所述备份数据量,确定执行所述目标备份任务所需的时间。
2.根据权利要求1所述的方法,其中确定所述第一组备份任务包括:
确定所述多个备份任务中起始时刻早于所述目标备份任务的起始时刻的在先备份任务;
基于所述在先备份任务的起始时刻和备份数据量,确定在先备份任务是否将在所述目标备份任务的起始时刻前被完成;以及
响应于确定所述在先备份任务将在所述目标备份任务的起始时刻前未被完成,将所述在先备份任务添加至所述第一组备份任务。
3.根据权利要求1所述的方法,其中确定预测备份速度包括:
获取与所述第一组备份任务相关联的度量,所述度量包括以下中的至少一项:所述第一组备份任务中使用固定大小存储块的备份任务的数目、所述第一组备份任务中使用可变大小存储块的备份任务的数目、所述第一组备份任务中具有特定备份周期的备份任务的数目、以及所述第一组备份任务的并发线程数目;以及
基于所述度量确定所述预测备份速度。
4.根据权利要求3所述的方法,其中基于所述度量确定所述预测备份速度包括:
利用速度确定模型处理所述度量,以确定所述预测备份速度,其中所述速度确定模型是基于从一组参考并发备份任务确定的度量和对应的真实备份速度而被训练的机器学习模型。
5.根据权利要求4所述的方法,还包括通过以下步骤来确定所述真实备份速度:
对并行执行所述一组历史并发备份任务的备份速度进行采样,以获得一组采样备份速度;
基于所述一组采样备份速度中采样备份速度与相邻时刻的采样备份速度的差异,确定至少一个采样备份速度;以及
基于所述至少一个采样备份速度,确定所述真实备份速度。
6.根据权利要求1所述的方法,其中所述预测备份速度是第一预测备份速度,其中确定执行所述目标备份任务所需的时间:
响应于在中间时刻将完成所述第一组备份任务中的至少一个或者将在所述中间时刻开始执行附加的备份任务,确定在所述中间时刻将并行执行的第二组备份任务;
确定将并行执行所述第二组备份任务的第二预测备份速度;以及
基于所述第一预测备份速度和所述第二预测备份速度,确定执行所述目标备份任务所需的所述时间。
7.根据权利要求1所述的方法,还包括:
利用以下中的至少一项提供所述时间:文本、图形、音频或视频。
8.一种用于任务管理的设备,包括:
至少一个处理单元;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时,使得所述设备执行动作,所述动作包括:
获取与包括目标备份任务的多个备份任务相关联的执行计划,所述执行计划至少指示所述多个备份任务的备份数据量和起始时刻;
基于所述执行计划,确定将要在所述目标备份任务的起始时刻并行执行的第一组备份任务;
确定在所述目标备份任务的起始时刻并行执行所述第一组备份任务的预测备份速度;以及
至少基于所述预测备份速度和所述目标备份任务的所述备份数据量,确定执行所述目标备份任务所需的时间。
9.根据权利要求8所述的设备,其中确定所述第一组备份任务包括:
确定所述多个备份任务中起始时刻早于所述目标备份任务的起始时刻的在先备份任务;
基于所述在先备份任务的起始时刻和备份数据量,确定在先备份任务是否将在所述目标备份任务的起始时刻前被完成;以及
响应于确定所述在先备份任务将在所述目标备份任务的起始时刻前未被完成,将所述在先备份任务添加至所述第一组备份任务。
10.根据权利要求8所述的设备,其中确定预测备份速度包括:
获取与所述第一组备份任务相关联的度量,所述度量包括以下中的至少一项:所述第一组备份任务中使用固定大小存储块的备份任务的数目、所述第一组备份任务中使用可变大小存储块的备份任务的数目、所述第一组备份任务中具有特定备份周期的备份任务的数目、以及所述第一组备份任务的并发线程数目;以及
基于所述度量确定所述预测备份速度。
11.根据权利要求10所述的设备,其中基于所述度量确定所述预测备份速度包括:
利用速度确定模型处理所述度量,以确定所述预测备份速度,其中所述速度确定模型是基于从一组参考并发备份任务确定的度量和对应的真实备份速度而被训练的机器学习模型。
12.根据权利要求11所述的设备,还包括通过以下步骤来确定所述真实备份速度:
对并行执行所述一组历史并发备份任务的备份速度进行采样,以获得一组采样备份速度;
基于所述一组采样备份速度中采样备份速度与相邻时刻的采样备份速度的差异,确定至少一个采样备份速度;以及
基于所述至少一个采样备份速度,确定所述真实备份速度。
13.根据权利要求8所述的设备,其中所述预测备份速度是第一预测备份速度,其中确定执行所述目标备份任务所需的时间:
响应于在中间时刻将完成所述第一组备份任务中的至少一个或者将在所述中间时刻开始执行附加的备份任务,确定在所述中间时刻将并行执行的第二组备份任务;
确定将并行执行所述第二组备份任务的第二预测备份速度;以及
基于所述第一预测备份速度和所述第二预测备份速度,确定执行所述目标备份任务所需的所述时间。
14.根据权利要求8所述的设备,还包括:
利用以下中的至少一项提供所述时间:文本、图形、音频或视频。
15.一种计算机程序产品,所述计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令,所述机器可执行指令在设备中运行时使所述设备执行根据权利要求1至7中的任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910990434.3A CN112685224A (zh) | 2019-10-17 | 2019-10-17 | 任务管理的方法、设备和计算机程序产品 |
US16/799,425 US11263093B2 (en) | 2019-10-17 | 2020-02-24 | Method, device and computer program product for job management |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910990434.3A CN112685224A (zh) | 2019-10-17 | 2019-10-17 | 任务管理的方法、设备和计算机程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112685224A true CN112685224A (zh) | 2021-04-20 |
Family
ID=75444645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910990434.3A Pending CN112685224A (zh) | 2019-10-17 | 2019-10-17 | 任务管理的方法、设备和计算机程序产品 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11263093B2 (zh) |
CN (1) | CN112685224A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113297009A (zh) * | 2021-05-25 | 2021-08-24 | 深圳前海微众银行股份有限公司 | 一种信息备份方法、设备、平台及存储介质 |
CN113704026A (zh) * | 2021-10-28 | 2021-11-26 | 北京时代正邦科技股份有限公司 | 一种分布式金融内存数据库安全同步方法、装置、介质 |
CN114721882A (zh) * | 2022-06-10 | 2022-07-08 | 建信金融科技有限责任公司 | 数据备份方法、装置、电子设备及存储介质 |
WO2024041119A1 (zh) * | 2022-08-23 | 2024-02-29 | 华为技术有限公司 | 数据备份方法和装置 |
US20240320101A1 (en) * | 2023-03-23 | 2024-09-26 | Dell Products L.P. | Method, device, and computer program product for data backup |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110990144B (zh) * | 2019-12-17 | 2022-11-08 | 深圳市晨北科技有限公司 | 一种任务确定方法及相关设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080263551A1 (en) * | 2007-04-20 | 2008-10-23 | Microsoft Corporation | Optimization and utilization of media resources |
US20110191777A1 (en) * | 2010-01-29 | 2011-08-04 | Ajay Bansal | Method and Apparatus for Scheduling Data Backups |
US20110202735A1 (en) * | 2010-02-17 | 2011-08-18 | Hitachi, Ltd. | Computer system, and backup method and program for computer system |
CN103176862A (zh) * | 2011-12-20 | 2013-06-26 | 伊姆西公司 | 用于管理数据备份任务的设备和方法 |
CN105302647A (zh) * | 2015-11-06 | 2016-02-03 | 南京信息工程大学 | 一种MapReduce中备份任务推测执行策略的优化方案 |
US20190220369A1 (en) * | 2018-01-18 | 2019-07-18 | EMC IP Holding Company LLC | Method, device and computer program product for data backup |
CN110058958A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于管理数据备份的方法、设备和计算机程序产品 |
CN110297701A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技(深圳)有限公司 | 数据处理作业调度方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210240575A1 (en) * | 2015-01-13 | 2021-08-05 | Wells Fargo Bank, N.A. | Dynamic backup management |
-
2019
- 2019-10-17 CN CN201910990434.3A patent/CN112685224A/zh active Pending
-
2020
- 2020-02-24 US US16/799,425 patent/US11263093B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080263551A1 (en) * | 2007-04-20 | 2008-10-23 | Microsoft Corporation | Optimization and utilization of media resources |
US20110191777A1 (en) * | 2010-01-29 | 2011-08-04 | Ajay Bansal | Method and Apparatus for Scheduling Data Backups |
US20110202735A1 (en) * | 2010-02-17 | 2011-08-18 | Hitachi, Ltd. | Computer system, and backup method and program for computer system |
CN103176862A (zh) * | 2011-12-20 | 2013-06-26 | 伊姆西公司 | 用于管理数据备份任务的设备和方法 |
CN105302647A (zh) * | 2015-11-06 | 2016-02-03 | 南京信息工程大学 | 一种MapReduce中备份任务推测执行策略的优化方案 |
US20190220369A1 (en) * | 2018-01-18 | 2019-07-18 | EMC IP Holding Company LLC | Method, device and computer program product for data backup |
CN110058966A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于数据备份的方法、设备和计算机程序产品 |
CN110058958A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于管理数据备份的方法、设备和计算机程序产品 |
CN110297701A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技(深圳)有限公司 | 数据处理作业调度方法、装置、计算机设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113297009A (zh) * | 2021-05-25 | 2021-08-24 | 深圳前海微众银行股份有限公司 | 一种信息备份方法、设备、平台及存储介质 |
CN113704026A (zh) * | 2021-10-28 | 2021-11-26 | 北京时代正邦科技股份有限公司 | 一种分布式金融内存数据库安全同步方法、装置、介质 |
CN114721882A (zh) * | 2022-06-10 | 2022-07-08 | 建信金融科技有限责任公司 | 数据备份方法、装置、电子设备及存储介质 |
WO2024041119A1 (zh) * | 2022-08-23 | 2024-02-29 | 华为技术有限公司 | 数据备份方法和装置 |
US20240320101A1 (en) * | 2023-03-23 | 2024-09-26 | Dell Products L.P. | Method, device, and computer program product for data backup |
Also Published As
Publication number | Publication date |
---|---|
US11263093B2 (en) | 2022-03-01 |
US20210117291A1 (en) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112685224A (zh) | 任务管理的方法、设备和计算机程序产品 | |
US9684562B2 (en) | Automatic serial starting of resource groups on failover based on the prediction of aggregate resource usage | |
US10613799B2 (en) | Updating storage migration rates | |
US10956001B2 (en) | Progress bar updated based on crowd sourced statistics | |
US10671517B2 (en) | Generating mobile test sequences | |
US11150999B2 (en) | Method, device, and computer program product for scheduling backup jobs | |
US11768815B2 (en) | Determining when a change set was delivered to a workspace or stream and by whom | |
WO2023138594A1 (en) | Machine learning assisted remediation of networked computing failure patterns | |
US20160378544A1 (en) | Intellective switching between tasks | |
US20160093118A1 (en) | Generating Estimates of Failure Risk for a Vehicular Component in Situations of High-Dimensional and Low Sample Size Data | |
US20180267795A1 (en) | Smart reviews for applications in application stores | |
CN114064262A (zh) | 管理存储系统中的计算资源的方法、设备和程序产品 | |
CN112685222A (zh) | 管理备份数据的方法、设备和计算机程序产品 | |
US10671371B2 (en) | Alerting an offline user of a predicted computer file update | |
US11922045B2 (en) | Method, device and computer program product for data backup | |
CN112988497B (zh) | 管理备份系统的方法、电子设备和计算机程序产品 | |
US11340825B1 (en) | Method, device, and computer program product for managing storage system | |
CN113220501A (zh) | 用于数据备份的方法、设备和计算机程序产品 | |
CN112148551A (zh) | 用于确定存储系统的使用变化率的方法、设备和计算机程序产品 | |
US11217116B2 (en) | Interactive training for application providers | |
CN114637560B (zh) | 设备管理方法、电子设备和计算机程序产品 | |
US20170235770A1 (en) | Method for restoring containers in a database based on priorities of the containers | |
US11556425B2 (en) | Failover management for batch jobs | |
US20240086255A1 (en) | Identification of reusable components | |
CN111831473B (zh) | 备份管理的方法、设备和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |