CN106855825B - 一种任务处理方法及其装置 - Google Patents

Abstract

本发明实施例公开了一种任务处理方法及其装置，所述方法包括：接收至少两个待执行任务；检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

Description

一种任务处理方法及其装置

技术领域

本发明涉及任务处理技术，尤其涉及一种任务处理方法及其装置。

背景技术

在集群系统中，通常需要在共享资源上运行多个任务，而共享资源往往是多种不同类型的资源，这就涉及到任务如何选择资源的问题，也就是资源调度的问题，合理地资源调度能够保证资源使用的互斥性，有效提高资源的使用效率。因此，亟需一种任务处理方法以将资源的资源类型、任务的任务类型等作为参考因素，以实现合理资源调度的目的，提高资源的使用率。

发明内容

为解决现有存在的技术问题，本发明实施例提供了一种任务处理方法及其装置。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种任务处理方法，包括：

接收至少两个待执行任务；

检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述方法还包括：

设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。

上述方案中，所述方法还包括：

检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；

对应地，所述基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列，包括：

根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述方法还包括：

当接收到所述至少两个待执行任务时，判断是否存在满足预设规则的目标空余资源；

对应地，所述基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列，包括：

当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述方法还包括：

当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；

根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

本发明实施例还提供了一种任务处理装置，所述装置包括：

接收单元，用于接收至少两个待执行任务；

检测单元，用于检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

确定单元，用于确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

处理单元，用于基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述装置还包括：

设置单元，用于设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。

上述方案中，所述检测单元，还用于检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；

对应地，所述处理单元，还用于根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述装置还包括：

判断单元，用于当接收到所述至少两个待执行任务时，判断是否存在满足预设规则的目标空余资源；

对应地，所述处理单元，还用于当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

上述方案中，所述处理单元，还用于当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；

还用于根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

本发明实施例所述的任务处理方法及其装置，通过接收至少两个待执行任务，检测所述至少两个待执行任务对应的资源匹配参数，确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；进而基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列；如此，实现合理分配资源，提高资源利用率的目的。

附图说明

图1为本发明实施例任务处理方法的实现流程示意图；

图2为本发明实施例任务处理装置的结构示意图；

图3为本发明实施例任务处理方法的实现流程示意图。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

实施例一

图1为本发明实施例任务处理方法的实现流程示意图；如图1所示，所述方法包括：

步骤101：接收至少两个待执行任务；

在实际应用中，在计算机集群进行任务处理时，通常存在如下问题：如何利用不同的共享资源去处理不同的任务，以使资源能够合理调度，提高资源的使用率。基于上述问题，本实施例中，根据任务的任务属性以及资源的资源属性设置资源匹配参数，如此，便于计算机集群通过资源匹配参数，确定出与待执行任务相匹配的目标资源，为合理资源调度，提高资源的使用率奠定基础。

步骤102：检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

本实施例中，所述资源匹配参数与任务的预期执行时间、任务对目标资源的利用率等因素有关，如此，通过资源匹配参数来反映资源与任务的匹配度。

这里，所述任务属性可以表征任务类型等属性；资源可以具体为软件资源，比如用于任务处理的线程、进程、容器、虚拟机等；也可以是硬件资源，比如硬件服务器等；还可以是异构资源，比如不同配置规格的服务器等。

步骤103：确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

本实施例中，在步骤103之前，所述方法还包括：设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。这里，由于资源等待队列与资源对应的资源属性相对应，且资源匹配参数也与资源对应的资源属性相对应，如此，使得计算机集群能够根据资源匹配参数，在资源等待队列中，为接收到的待执行任务选取与之匹配的目标等待队列，进而，进一步为合理资源调度，提高资源的使用率奠定了基础。

步骤104：基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

本实施例中，为待执行任务确定目标等待队列需要参考两个因素，第一为待执行任务对应的资源匹配参数，第二为资源等待队列对应的深度特征参数；这里，由于资源等待队列与资源对应的资源属性相对应，且资源匹配参数也与资源对应的资源属性相对应，所以，根据资源匹配参数以及深度特征参数为待执行任务确定出的目标等待队列为与待执行任务匹配的队列，因此，本发明实施例实现了资源的合理调度，提高了资源的使用率。

在一具体实施例中，为进一步提高资源的使用率，使资源合理调度达到最优，为待执行任务确定目标等待队列还需要参考第三个因素，即待执行任务的预期执行时间；具体地，所述方法还包括：

检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；对应地，步骤104，包括：

根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

在另一具体实施例中，当计算机集群接收到待执行任务时，需要首先判断自身的资源中是否存在空余资源以对该待执行任务进行任务处理，如此，实现对资源的充分利用。具体地，

当接收到所述至少两个待执行任务时，判断是否存在满足预设规则的目标空余资源；

对应地，步骤104包括：当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

进一步地，当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

这样，本发明实施例所述的任务处理方法，能够根据待执行任务对应的资源匹配参数、以及资源等待队列对应的深度特征参数，为待执行任务选取与之相匹配的目标等待队列，实现合理分配资源，提高资源利用率的目的；同时，与现有只是单纯从任务优先级或者资源类型角度对任务进行处理相比，本发明实施例所述方法对资源使用更加精细化，可以更充分地利用资源。

为实现以上所述的方法，本发明实施例还提供了一种任务处理装置，如图2所示，包括：

接收单元21，用于接收至少两个待执行任务；

检测单元22，用于检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

确定单元23，用于确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

处理单元24，用于基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

本实施例中，所述装置还包括：

设置单元，用于设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。

本实施例中，所述检测单元，还用于检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；

对应地，所述处理单元，还用于根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

本实施例中，所述装置还包括：

判断单元，用于当接收到所述至少两个待执行任务时，判断是否存在满足预设规则的目标空余资源；

对应地，所述处理单元，还用于当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

本实施例中，所述处理单元，还用于当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；

还用于根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

本领域技术人员应当理解，本发明实施例的任务处理装置中各处理单元的功能，可参照前述任务处理方法的相关描述而理解，这里不再赘述。

实施例二

图3为本发明实施例任务处理方法的实现流程示意图，具体方法包括：

步骤301：计算机集群接收N个待执行任务；

其中，所述N个待执行任务为多种不同类型的任务；所述N为大于等于2的正整数。

这里，待执行任务需要资源进行处理，这里的资源可以是软件资源模块，比如用于任务处理的线程、进程、容器、虚拟机等，也可以是硬件资源，比如硬件服务器等；还可以是计算机集群中的多种异构资源，比如不同配置规格的服务器等。

步骤302：所述计算机集群判断自身对应的资源池中是否存在目标空余资源；若存在，执行步骤303；否则，执行步骤304；

这里，目标空余资源为当前状态下可以对待执行任务进行任务处理的资源；

步骤303：所述计算机集群检测所述N个待执行任务的资源匹配参数，并根据目标空余资源的资源属性以及所述N个待执行任务的资源匹配参数，对所述N个待执行任务进行排序，确定出待执行列表，根据所述待执行列表对所述N个待执行任务进行任务处理。

例如，计算机集群根据目标空余资源对N个待执行任务对应的资源匹配参数进行排序，选择资源匹配参数所表征的匹配程度最高的待执行任务进行优先执行。

步骤304：所述计算机集群检测所述N个待执行任务的资源匹配参数，检测所述N个待执行任务的预期执行时间；以及，确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

这里，所述计算机集群已经根据资源对应的资源属性设置有至少两个资源等待队列，且每个资源等待队列与资源对应的资源属性相对应。

步骤305：根据所述N个待执行任务的资源匹配参数、所述N个待执行任务的预期执行时间以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述N个待执行任务选取目标等待队列，排队等待任务执行。

这里，为每个待执行任务选取目标等待队列时可以参考如下公式：

其中，S₁、S₂......S_N对应表示资源等待队列中各个任务的预期执行时间；N为资源等待队列对应的深度特征参数；T代表当前待执行任务的资源匹配参数所表征的匹配程度，也即匹配值；

S表示当前待执行任务的预期执行时间，E表示当前待执行任务对目标资源的利用率，显然，所述S越小，E越大时，该当前待执行任务与目标资源的匹配值T越大。a和b为常数，在实际应用中，所述a和b可以用启发式算法，比如遗传算法进行迭代计算，具体地，首先为a和b设定目标值，该目标值可以具体为单位时间内成功执行的任务数，然后，通过若干步迭代过程获得a和b的最优值。

这里，根据上述公式可以看出，当资源等待队列中的S₁、S₂......S_N越小，表示队列等待时间越短，V值越小；资源等待队列的队列越深，队列等待时间越长，V值越大；在实际应用中，显然队列等待时间越短越好，也就是说，V值越小越好，因此，选择V值小的资源等待队列作为当前待执行任务的目标等待队列；具体地，假设当前待执行任务为所述N个待执行任务中的第一个待执行任务，此时，根据所述第一个待执行任务，计算所述至少两个资源等待队列中每个资源等待队列对应的V值，选取V值最小的资源等待队列作为所述第一个待执行任务的目标等待队列，依此类推，为所述N个待执行任务中的每个待执行任务选取与之匹配的目标等待队列，随后，所述N个待执行任务中的每个待执行任务进行与之对应的目标等待队列，排队等待任务执行。

这样，实现合理分配资源，提高资源利用率的目的；同时，与现有只是单纯从任务优先级或者资源类型角度对任务进行处理相比，上述方法对资源使用更加精细化，可以更充分地利用资源。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明实施例的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护范围。

Claims (10)

1.一种任务处理方法，其特征在于，所述方法包括：

接收至少两个待执行任务；

检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。

3.根据权利要求1所述的方法，其特征在于，

所述接收至少两个待执行任务之后，所述方法还包括：

检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；

对应地，所述基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列，包括：

根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

4.根据权利要求1至3任一项所述的方法，其特征在于，

所述接收至少两个待执行任务之后，所述方法还包括：

判断是否存在满足预设规则的目标空余资源；

对应地，所述基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列，包括：

当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；

根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

6.一种任务处理装置，其特征在于，所述装置包括：

接收单元，用于接收至少两个待执行任务；

检测单元，用于检测所述至少两个待执行任务对应的资源匹配参数；其中，资源匹配参数用于表征待执行任务的任务属性与目标资源的资源属性的匹配程度；目标资源用于表征预对待执行任务进行任务处理的资源；

确定单元，用于确定至少两个资源等待队列，检测所述至少两个资源等待队列对应的深度特征参数；

处理单元，用于基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

设置单元，用于设置至少两个资源等待队列，以使每个资源等待队列与资源对应的资源属性相匹配。

8.根据权利要求6所述的装置，其特征在于，所述检测单元，还用于检测所述至少两个待执行任务的执行特征参数；所述执行特征参数用于表征待执行任务的预期执行时间；

对应地，所述处理单元，还用于根据所述至少两个待执行任务对应的资源匹配参数、所述至少两个资源等待队列对应的深度特征参数以及所述至少两个待执行任务的执行特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：

判断单元，用于当接收到所述至少两个待执行任务时，判断是否存在满足预设规则的目标空余资源；

对应地，所述处理单元，还用于当判断结果表征当前不存在满足所述预设规则的目标空余资源时，基于所述至少两个待执行任务对应的资源匹配参数以及所述至少两个资源等待队列对应的深度特征参数，在所述至少两个资源等待队列中，为所述至少两个待执行任务选取目标等待队列。

10.根据权利要求9所述的装置，其特征在于，所述处理单元，还用于当判断结果表征当前存在满足所述预设规则的目标空余资源时，根据检测出的所述至少两个待执行任务对应的资源匹配参数，确定待执行列表；其中，所述待执行列表用于表征所述至少两个待执行任务的执行顺序；

还用于根据所述待执行列表所表征的执行顺序，对所述两个待执行任务进行任务处理。

Images