CN114816720B - 多任务共享物理处理器的调度方法、装置及终端设备 - Google Patents

Abstract

本申请是关于一种多任务共享物理处理器的调度方法、装置及终端设备，涉及计算机技术领域。其中，方法包括：获取待处理的任务序列，任务序列中包括多个任务，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子，其中，容忍因子用于表征对其他任务的算力容忍程度，根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。本方案，在满足共享物理处理器的计算资源总量限制的基础上，兼顾了待分配任务对其他任务的算力容忍限度，使多个任务共享同一个物理处理器时，不因任务间的算力竞争影响物理处理器的任务执行效果，提高了任务调度的合理性和物理处理器的任务执行质量。

Description

多任务共享物理处理器的调度方法、装置及终端设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种多任务共享物理处理器的调度方法、装置及终端设备。

背景技术

相关技术中，为了提高单个图形处理器(Graphics Processing Unit，GPU)或单个物理张量处理器（Tensor Processing Unit,TPU）的利用率，通常会让多个任务共享同一个物理处理器，但是多个任务编排在一起共享物理处理器有可能会引发算力竞争，影响物理处理器的任务执行效果。

发明内容

为克服相关技术中存在的问题，本申请提供一种多任务共享物理处理器的调度方法、装置及终端设备。

根据本申请实施例的第一方面，提供一种多任务共享物理处理器的调度方法，包括：

获取待处理的任务序列；所述任务序列中包括多个任务；

确定所述任务序列之中每个所述任务的计算资源耗用量和每个所述任务的容忍因子；其中，所述容忍因子用于表征对其他任务的算力容忍程度；

根据每个所述任务的计算资源耗用量和容忍因子，将所述任务序列中的所述多个任务分批次调度至与每一批次对应的物理处理器上。

在本申请的一些实施例中，所述根据每个所述任务的计算资源耗用量和容忍因子，将所述任务序列中的所述多个任务分批次调度至与每一批次对应的物理处理器上，包括：

确定至少一个待共享物理处理器和每个所述待共享物理处理器的计算资源总量；

根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上。

在本申请的一些实施例中，所述根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上，包括：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列；

计算所述待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和；

响应于所述待调度队列之中所有任务的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量，且所述待调度队列之中所有任务的容忍因子之和小于或等于目标值，从所述任务序列中删除所述第一个任务，并返回执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤；

响应于所述待调度队列之中所有任务的计算资源耗用量之和大于所述选取的待共享物理处理器的计算资源总量，和/或，所述待调度队列之中所有任务的容忍因子之和大于所述目标值，将所述待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至所述选取的待共享物理处理器上；

清空所述待调度队列，从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

在本申请的一些实施例中，所述根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上，包括：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算；

根据所述选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从所述多个任务中确定出满足共享条件的至少一个任务，并将所述满足共享条件的至少一个任务作为一个分组调度至所述选取的待共享物理处理器上，并从所述任务序列中删除所述满足共享条件的至少一个任务；

从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行所述基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

在本申请的一些实施例中，所述满足共享条件包括：

当前累积计算得到的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量；

以及，当前累积计算得到的容忍因子之和小于或等于目标值。

在本申请的一些实施例中，上述方法还包括：

根据每个所述任务的计算资源耗用量，对所述任务序列之中所述多个任务进行排序；

或者，根据每个所述任务的容忍因子，对所述任务序列之中所述多个任务进行排序。

在本申请的一些实施例中，所述物理处理器为物理图形处理器GPU或物理张量处理器TPU。

根据本申请实施例的第二方面，提供一种多任务共享物理处理器的调度装置，包括：

获取模块，用于获取待处理的任务序列；任务序列中包括多个任务；

确定模块，用于确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子；其中，容忍因子用于表征对其他任务的算力容忍程度；

调度模块，用于根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。

作为一种可能的实现方式，调度模块包括：

确定单元，用于确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量；

调度单元，用于根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，对任务序列中的多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上。

作为一种可能的实现方式，调度单元具体用于：

从至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列；

计算待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和；

响应于待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，且待调度队列之中所有任务的容忍因子之和小于或等于目标值，从任务序列中删除第一个任务，并返回执行基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列的步骤；

响应于待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，和/或，待调度队列之中所有任务的容忍因子之和大于目标值，将待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至选取的待共享物理处理器上；

清空待调度队列，从至少一个待共享物理处理器中选取其他待共享物理处理器，并执行基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列的步骤，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的实现方式，调度单元具体用于：

从至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算；

根据选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从多个任务中确定出满足共享条件的至少一个任务，并将满足共享条件的至少一个任务作为一个分组调度至选取的待共享物理处理器上，并从任务序列中删除满足共享条件的至少一个任务；

从至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算的步骤，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的实现方式，上述满足共享条件包括：

当前累积计算得到的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量；

以及，当前累积计算得到的容忍因子之和小于或等于目标值。

在本申请的一些实施例中，装置还包括：

第一排序模块，用于根据每个任务的计算资源耗用量，对任务序列之中多个任务进行排序；

或者第二排序模块，用于根据每个任务的容忍因子，对任务序列之中多个任务进行排序。

在本申请的一些实施例中，物理处理器为物理图形处理器GPU或物理张量处理器TPU。

根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：通过确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子，根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。这样，在满足共享物理处理器的计算资源总量限制的基础上，兼顾了待分配任务对其他任务的算力容忍限度，使多个任务共享同一个物理处理器时，不因任务间的算力竞争影响物理处理器的任务执行效果，提高了任务调度的合理性和物理处理器的任务执行质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种多任务共享物理处理器的调度方法的流程图。

图2是根据一示例性实施例示出的另一种多任务共享物理处理器的调度方法的流程图。

图3是根据一示例性实施例示出的又一种多任务共享物理处理器的调度方法的流程图。

图4是根据一示例性实施例示出的再一种多任务共享物理处理器的调度方法的流程图。

图5是根据一示例性实施例示出的一种多任务共享物理处理器的调度装置的结构框图。

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在相关技术中，为了提高单个图形处理器(Graphics Processing Unit，GPU)或单个物理张量处理器（Tensor Processing Unit,TPU）的利用率，通常会让多个任务共享同一个物理处理器，但是多个任务编排在一起共享物理处理器有可能会引发算力竞争，影响物理处理器的任务执行效果。

为了解决上述问题，本申请提供了一种用于多任务共享物理处理器的调度方法、装置及终端设备。

图1是根据一示例性实施例示出的一种多任务共享物理处理器的调度方法的流程图。需要说明的是，本申请实施例中的多任务共享物理处理器的调度方法可以用于本申请实施例中的多任务共享物理处理器的调度装置中，且本申请实施例提出的多任务共享物理处理器的调度装置可以配置于任务调度设备中。如图1所示，本申请实施例提出的多任务共享物理处理器的调度方法可以包括以下步骤：

步骤101，获取待处理的任务序列；任务序列中包括多个任务。

可以理解，物理处理器能够同时处理多个任务，但是物理处理器的计算资源总量是有限的，多个任务之间还存在一定程度的算力竞争，为保证物理处理器执行任务的效果，物理处理器能够同时处理的任务数量是有限的。因此，需要通过任务调度设备将多个任务合理调度至不同的物理处理器中，使每个物理处理器能够在不引发多任务之间算力竞争的前提下执行更多的任务。

在本申请一些实施例中，多个客户端分别向任务调度设备提交一个或者多个任务，任务调度设备每隔一定时间将多个客户端提交的任务组成一个任务序列，对任务序列中多个待调度处理的任务进行调度处理。

步骤102，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子。

其中，在本申请一些实施例中，容忍因子用于表征对其他任务的算力容忍程度。

可以理解的是，容忍因子用于表征任务对所属同一物理处理器中其他任务的算力容忍程度。

作为一种可能的实施方式，容忍因子的取值越大，代表任务对所属同一物理处理器中其他任务的算力容忍程度越高，容忍因子的取值越小，代表任务对所属同一物理处理器中其他任务的算力容忍程度越低。

举例来说，容忍因子的取值范围可以是0-100%,任务的容忍因子的取值为0，表示该任务无法容忍所属同一物理处理器中其他任务的算力；任务的容忍因子的取值为100%，表示该任务对所属同一物理处理器中其他任务的算力可以完全接受，允许该任务的算力被其他任务完全抢占；任务的容忍因子的取值为0与100%之间的数值，表示该任务能够接受所属同一物理处理器中其他任务在一定程度上的算力竞争。

需要说明的是，上述任务的计算资源耗用量和任务的容忍因子可以是预先设定的。可以预先对每个任务进行压力测试，根据每个任务的压力测试结果确定每个任务各自的容忍因子取值。

作为一种可能的实施方式，任务调度设备分别获取任务序列中的每个任务的计算资源耗用量和每个任务的容忍因子。

步骤103，根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。

在本申请一些实施例中，物理处理器可以是物理图形处理器(GraphicsProcessing Unit，GPU)，还可以是物理张量处理器（Tensor Processing Unit,TPU）。

在本申请的一些实施例中，任务调度设备根据每个任务的计算资源耗用量和容忍因子，确定每个任务的所属批次和每一批次所对应的物理处理器，将属于同一批次的任务调度至与该批次对应的物理处理器上，从而能够在考虑任务的计算资源耗用量的同时，兼顾待分配任务对其他任务的算力容忍程度，在不因任务间的算力竞争影响物理处理器的任务执行效果的前提下，为物理处理器分配更多的任务。

根据本申请实施例的多任务共享物理处理器的调度方法，获取待处理的任务序列，任务序列中包括多个任务，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子，其中，容忍因子用于表征对其他任务的算力容忍程度，根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。这样，在满足共享物理处理器的计算资源总量限制的基础上，兼顾了待分配任务对其他任务的算力容忍限度，使多个任务共享同一个物理处理器时，不因任务间的算力竞争影响物理处理器的任务执行效果，提高了任务调度的合理性和物理处理器的任务执行质量。

图2是根据一示例性实施例示出的另一种多任务共享物理处理器的调度方法的流程图。如图2所示，该方法可以包括以下步骤：

步骤201，获取待处理的任务序列；任务序列中包括多个任务。

在本申请的实施例中，步骤201可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤202，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子；其中，容忍因子用于表征对其他任务的算力容忍程度。

在本申请的实施例中，步骤202可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤203，确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量。

可以理解的是，待共享物理处理器可以有一个，也可以有多个。

作为一种可能的示例，任务调度设备分别确定每个待共享物理处理器的计算资源总量。计算资源总量可以指物理处理器的显存总量。

步骤204，根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，对任务序列中的多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上。

需要说明的是，任务的计算资源耗用量可以指任务耗用共享物理处理器显存耗用量。

作为一种可能的示例，任务调度设备分别根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，确定每个待共享物理处理器能够执行的至少一个任务。若上述至少一个任务的容忍因子满足预设要求，则确定每个任务的所属批次和每一批次所对应的物理处理器，将属于同一批次的任务调度至与该批次对应的物理处理器上，从而能够在考虑任务的计算资源耗用量的同时，兼顾待分配任务对其他任务的算力容忍程度，在使多个任务共享同一个物理处理器时，在不因任务间的算力竞争影响物理处理器的任务执行效果的前提下为物理处理器分配更多的任务。

根据本申请实施例的多任务共享物理处理器的调度方法，确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量，根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，对任务序列中的多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上。根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，将多个任务合理调度至对应的待共享物理处理器中，使物理处理器在不因任务间的算力竞争影响任务执行效果的前提下执行尽可能的任务，提高了任务调度的合理性和物理处理器的计算资源利用率。

图3是根据一示例性实施例示出的又一种多任务共享物理处理器的调度方法的流程图。如图3所示，该方法可以包括以下步骤：

步骤301，获取待处理的任务序列；任务序列中包括多个任务。

在本申请的实施例中，步骤301可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤302，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子；其中，容忍因子用于表征对其他任务的算力容忍程度。

在本申请的实施例中，步骤302可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤303，确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量。

在本申请的实施例中，步骤303可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤304，从至少一个待共享物理处理器中选取一个待共享物理处理器。

作为一种可能的示例，任务调度设备从一个或者多个待共享物理处理器中选取出一个待共享物理处理器。可选的，可以根据预设的选取规则选取待共享处理器，也可以随机选取一个待共享物理处理器。

举例来说，可以根据预设的调度策略，确定集群中的空闲物理处理器序列，选取空闲物理处理器序列中的第一个空闲物理处理器；或者，根据集群中的空闲物理处理器的预设优先级等级，选取优先级等级最高的空闲物理处理器。

步骤305，根据每个任务的计算资源耗用量，对任务序列之中多个任务进行排序；或者，根据每个任务的容忍因子，对任务序列之中多个任务进行排序。

举例来说，可以根据每个任务的计算资源耗用量，将任务序列之中多个任务按照各自的计算资源耗用量由小到大进行排序，或者，将任务序列之中多个任务按照各自的计算资源耗用量由大到小进行排序；还可以根据每个任务的容忍因子，将任务序列之中多个任务按照各自的容忍因子由小到大进行排序，或者，将任务序列之中多个任务按照各自的容忍因子由大到小进行排序。

步骤306，基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列。

可以理解的是，每个任务在任务序列中有固定的位置。

作为一种可能的示例，将任务序列中的第一个任务加入至待调度队列中。

步骤307，计算待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和。

作为一种可能的示例，计算待调度队列之中所有任务的计算资源耗用量之和，计算待调度队列之中所有任务的容忍因子之和。

步骤308，响应于待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，且待调度队列之中所有任务的容忍因子之和小于或等于目标值，从任务序列中删除第一个任务，并返回执行步骤306。

作为一种可能的示例，待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，说明待共享物理处理器的计算资源总量足够支持待共享物理处理器执行待调度队列之中的所有任务；待调度队列之中所有任务的容忍因子之和小于或等于目标值，说明待调度队列之中所有任务处于能够接受其他任务共享算力的程度。因此，响应于待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，且待调度队列之中所有任务的容忍因子之和小于或等于目标值，从任务序列中删除第一个任务，重复执行步骤306，即基于每个任务在任务序列中的顺序，将新的第一个任务加入至待调度队列。

举例来说，当前待调度队列中有任务1、任务2和任务3，将任务序列中当前排在第一位的任务4加入至调度队列中，判断任务1、任务2、任务3和任务4的计算资源耗用量之和是否小于或者等于选取的待共享物理处理器的计算资源总量，具体公式如下：

m1+m2+m3+m4<=Mp

其中，m1、m2、m3、m4分别为任务1、任务2、任务3和任务4的计算资源耗用量，Mp为选取的待共享物理处理器的计算资源总量；

判断任务1、任务2、任务3和任务4的容忍因子是否小于或者等于目标值，具体公式如下：

（1-t1）+（1-t2）+（1-t3）+（1-t4）<=1

其中，t1、t2、t3、t4分别为任务1、任务2、任务3和任务4的容忍因子，上述目标值为1。

响应于m1+m2+m3+m4<=Mp且（1-t1）+（1-t2）+（1-t3）+（1-t4）<=1，从任务序列中删除任务4，将任务序列中当前排在第一位的任务5加入至待调度队列。

步骤309，响应于待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，和/或，待调度队列之中所有任务的容忍因子之和大于目标值，将待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至选取的待共享物理处理器上。

作为一种可能的示例，待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，说明待共享物理处理器的计算资源总量不足以支持待共享物理处理器执行待调度队列之中所有任务；待调度队列之中所有任务的容忍因子之和大于目标值，说明待调度队列之中所有任务未处于能够接受其他任务共享算力的程度。因此，响应于待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，和/或，待调度队列之中所有任务的容忍因子之和大于目标值，将待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至选取的待共享物理处理器上。

举例来说，响应于m1+m2+m3+m4<=Mp，和/或，（1-t1）+（1-t2）+（1-t3）+（1-t4）<=1，从待调度队列中去掉位于当前队尾的任务4，将待调度队列中的任务1、任务2、任务3调度至选取的待共享物理处理器上。

步骤3010，清空待调度队列，从至少一个待共享物理处理器中选取其他待共享物理处理器，并执行步骤306，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的示例，待共享物理处理器仅有一个，任务调度设备清空待调度队列，任务调度结束；作为另一种可能的示例，待共享物理处理器有多个，从多个待共享物理处理器中选取其他待共享物理处理器，并执行步骤306，直至任务序列中所有任务被调度至对应的物理处理器上，任务调度结束。

根据本申请实施例的多任务共享物理处理器的调度方法，计算待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和，响应于待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，且待调度队列之中所有任务的容忍因子之和小于或等于目标值，从任务序列中删除第一个任务，并返回执行基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列的步骤，响应于待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，和/或，待调度队列之中所有任务的容忍因子之和大于目标值，将待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至选取的待共享物理处理器上。这样，可以在满足共享物理处理器的计算资源总量限制的基础上，满足同一物理处理器中的多个任务之间的容忍限度，从而提高了调度任务的合理性，使物理处理器在不因任务间的算力竞争影响任务执行效果的情况下能够执行更多的任务。

图4是根据一示例性实施例示出的再一种多任务共享物理处理器的调度方法的流程图。如图4所示，该方法可以包括以下步骤：

步骤401，获取待处理的任务序列；任务序列中包括多个任务。

在本申请的实施例中，步骤401可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤402，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子；其中，容忍因子用于表征对其他任务的算力容忍程度。

在本申请的实施例中，步骤402可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤403，确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量。

在本申请的实施例中，步骤403可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤404，从至少一个待共享物理处理器中选取一个待共享物理处理器。

在本申请的实施例中，步骤404可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤405，根据每个任务的计算资源耗用量，对任务序列之中多个任务进行排序；或者，根据每个任务的容忍因子，对任务序列之中多个任务进行排序。

在本申请的实施例中，步骤405可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

步骤406，基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算。

其中，在本申请的实施例中，该容忍因子补集可理解为目标值减去该容忍因子后得到的值。

作为一种可能的示例，任务调度设备基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量逐一进行累积计算，并对多个任务的容忍因子补集逐一进行累积计算。

举例来说，任务序列中的任务排序为：任务1、任务2、任务3和任务4，从任务1开始，对任务1、任务2、任务3和任务4的计算资源耗用量逐一进行累积计算，累积计算得到的计算资源耗用量之和包括：

Ma=m1；Mb=m1+m2；Mc=m1+m2+m3；Md=m1+m2+m3+m4；

其中，m1、m2、m3、m4分别为任务1、任务2、任务3和任务4的计算资源耗用量，Ma、Mb、Mc、Md分别为逐一进行累积计算得到的资源耗用量之和；

从任务1开始，对任务1、任务2、任务3和任务4的容忍因子补集逐一进行累积计算，累积计算得到的容忍因子补集之和包括：

Ta=1-t1；Tb=（1-t1）+（1-t2）；Tc=（1-t1）+（1-t2）+（1-t3）；Td=（1-t1）+（1-t2）+（1-t3）+（1-t4）；

其中，t1、t2、t3、t4分别为任务1、任务2、任务3和任务4的容忍因子,Ta、Tb、Tc、Td分别为逐一进行累积计算得到的容忍因子补集之和。

步骤407，根据选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从多个任务中确定出满足共享条件的至少一个任务，并将满足共享条件的至少一个任务作为一个分组调度至选取的待共享物理处理器上，并从任务序列中删除满足共享条件的至少一个任务。

在本申请一些实施例中，上述满足共享条件包括：当前累积计算得到的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量；以及，当前累积计算得到的容忍因子之和小于或等于目标值。

作为一种可能的示例，根据选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从多个任务中确定出满足共享条件的至少一个任务。

例如，Mc=m1+m2+m3<Mp，且m1+m2+m3+m4>Mp，且Tc=（1-t1）+（1-t2）+（1-t3）=1，且（1-t1）+（1-t2）+（1-t3）+（1-t4）>1，其中，Mp为选取的待共享物理处理器的计算资源总量，上述目标值为1。确定满足共享条件的任务包括任务1、任务2、任务3。

又例如，Mc=m1+m2+m3<Mp，且m1+m2+m3+m4>Mp，且Tc=（1-t1）+（1-t2）=1，且（1-t1）+（1-t2）+（1-t3）>1，其中，Mp为选取的待共享物理处理器的计算资源总量，上述目标值为1。确定满足共享条件的任务包括任务1、任务2。

步骤408，从至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算的步骤，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的示例，待共享物理处理器仅有一个，任务调度结束；作为另一种可能的示例，待共享物理处理器有多个，从多个待共享物理处理器中选取其他待共享物理处理器，并执行步骤406，直至任务序列中所有任务被调度至对应的物理处理器上，任务调度结束。

根据本申请实施例的多任务共享物理处理器的调度方法，基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算，根据选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从多个任务中确定出满足共享条件的至少一个任务，并将满足共享条件的至少一个任务作为一个分组调度至选取的待共享物理处理器上，并从任务序列中删除满足共享条件的至少一个任务。这样，可以在满足共享物理处理器的计算资源总量限制的基础上，满足同一物理处理器中的多个任务之间的容忍限度，从而提高了调度任务的合理性和物理处理器的任务执行质量。

为了实现上述实施例，本申请提供了一种终端设备的解锁界面控制装置。

图5是根据一示例性实施例示出的一种多任务共享物理处理器的调度装置的结构框图。如图5所示，该装置包括：获取模块510、确定模块520、调度模块530和第一排序模块540或者第二排序模块550，调度模块530包括确定单元531和调度单元532。

其中，获取模块510，用于获取待处理的任务序列；任务序列中包括多个任务；

确定模块520，用于确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子；其中，容忍因子用于表征对其他任务的算力容忍程度；

调度模块530，用于根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。

作为一种可能的实现方式，调度模块530包括：

确定单元531，用于确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量；

调度单元532，用于根据每个任务的计算资源耗用量、容忍因子和每个待共享物理处理器的计算资源总量，对任务序列中的多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上。

作为一种可能的实现方式，调度单元532具体用于：

确定至少一个待共享物理处理器和每个待共享物理处理器的计算资源总量；

从至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列；

计算待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和；

响应于待调度队列之中所有任务的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量，且待调度队列之中所有任务的容忍因子之和小于或等于目标值，从任务序列中删除第一个任务，并返回执行基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列的步骤；

响应于待调度队列之中所有任务的计算资源耗用量之和大于选取的待共享物理处理器的计算资源总量，和/或，待调度队列之中所有任务的容忍因子之和大于目标值，将待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至选取的待共享物理处理器上；

清空待调度队列，从至少一个待共享物理处理器中选取其他待共享物理处理器，并执行基于每个任务在任务序列中的顺序，将第一个任务加入至待调度队列的步骤，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的实现方式，调度单元532具体用于：

从至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算；

根据选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从多个任务中确定出满足共享条件的至少一个任务，并将满足共享条件的至少一个任务作为一个分组调度至选取的待共享物理处理器上，并从任务序列中删除满足共享条件的至少一个任务；

从至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行基于每个任务在任务序列中的顺序，从第一个任务开始，对多个任务的计算资源耗用量进行累积计算，并对多个任务的容忍因子补集进行累积计算的步骤，直至任务序列中所有任务被调度至对应的物理处理器上。

作为一种可能的实现方式，上述满足共享条件包括：

当前累积计算得到的计算资源耗用量之和小于或等于选取的待共享物理处理器的计算资源总量；

以及，当前累积计算得到的容忍因子之和小于或等于目标值。

在本申请的一些实施例中，装置还包括：

第一排序模块540，用于根据每个任务的计算资源耗用量，对任务序列之中多个任务进行排序；

或者第二排序模块550，用于根据每个任务的容忍因子，对任务序列之中多个任务进行排序。

在本申请的一些实施例中，物理处理器为物理图形处理器GPU或物理张量处理器TPU。

根据本申请实施例的多任务共享物理处理器的调度装置，获取待处理的任务序列，任务序列中包括多个任务，确定任务序列之中每个任务的计算资源耗用量和每个任务的容忍因子，其中，容忍因子用于表征对其他任务的算力容忍程度，根据每个任务的计算资源耗用量和容忍因子，将任务序列中的多个任务分批次调度至与每一批次对应的物理处理器上。这样，在满足共享物理处理器的计算资源总量限制的基础上，兼顾了待分配任务对其他任务的算力容忍限度，使多个任务共享同一个物理处理器时，不因任务间的算力竞争影响物理处理器的任务执行效果，提高了任务调度的合理性和物理处理器的任务执行质量。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以被提供为一服务器。参照图6，电子设备600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述多任务共享物理处理器的调度方法。

电子设备600还可以包括一个电源组件626被配置为执行电子设备600的电源管理，一个有线或无线网络接口650被配置为将电子设备600连接到网络，和一个输入输出（I/O）接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种多任务共享物理处理器的调度方法，其特征在于，包括：

获取待处理的任务序列；所述任务序列中包括多个任务；

确定所述任务序列之中每个所述任务的计算资源耗用量和每个所述任务的容忍因子；其中，所述容忍因子用于表征对其他任务的算力容忍程度；

根据每个所述任务的计算资源耗用量和容忍因子，将所述任务序列中的所述多个任务分批次调度至与每一批次对应的物理处理器上，包括：

确定至少一个待共享物理处理器和每个所述待共享物理处理器的计算资源总量；

根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上，包括：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算；

根据所述选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从所述多个任务中确定出满足共享条件的至少一个任务，并将所述满足共享条件的至少一个任务作为一个分组调度至所述选取的待共享物理处理器上，并从所述任务序列中删除所述满足共享条件的至少一个任务；

从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行所述基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

2.如权利要求1所述的方法，其特征在于，所述根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上，包括：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列；

计算所述待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和；

响应于所述待调度队列之中所有任务的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量，且所述待调度队列之中所有任务的容忍因子之和小于或等于目标值，从所述任务序列中删除所述第一个任务，并返回执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤；

响应于所述待调度队列之中所有任务的计算资源耗用量之和大于所述选取的待共享物理处理器的计算资源总量，和/或，所述待调度队列之中所有任务的容忍因子之和大于所述目标值，将所述待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至所述选取的待共享物理处理器上；

清空所述待调度队列，从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

3.如权利要求1所述的方法，其特征在于，所述满足共享条件包括：

当前累积计算得到的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量；

以及，当前累积计算得到的容忍因子之和小于或等于目标值。

4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：

根据每个所述任务的计算资源耗用量，对所述任务序列之中所述多个任务进行排序；

或者，根据每个所述任务的容忍因子，对所述任务序列之中所述多个任务进行排序。

5.如权利要求1至3中任一项所述的方法，其特征在于，所述物理处理器为物理图形处理器GPU或物理张量处理器TPU。

6.一种多任务共享物理处理器的调度装置，其特征在于，包括：

获取模块，用于获取待处理的任务序列；所述任务序列中包括多个任务；

确定模块，用于确定所述任务序列之中每个所述任务的计算资源耗用量和每个所述任务的容忍因子；其中，所述容忍因子用于表征对其他任务的算力容忍程度；

调度模块，用于根据每个所述任务的计算资源耗用量和容忍因子，将所述任务序列中的所述多个任务分批次调度至与每一批次对应的物理处理器上；

所述调度模块包括：

确定单元，用于确定至少一个待共享物理处理器和每个所述待共享物理处理器的计算资源总量；

调度单元，用于根据每个所述任务的计算资源耗用量、容忍因子和每个所述待共享物理处理器的计算资源总量，对所述任务序列中的所述多个任务进行分组以获得至少一个分组，并将同一分组中的任务调度至对应的待共享物理处理器上；

所述调度单元具体用于：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算；

根据所述选取的待共享物理处理器的计算资源总量、当前累积计算得到的计算资源耗用量之和与当前累积计算得到的容忍因子之和，从所述多个任务中确定出满足共享条件的至少一个任务，并将所述满足共享条件的至少一个任务作为一个分组调度至所述选取的待共享物理处理器上，并从所述任务序列中删除所述满足共享条件的至少一个任务；

从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并返回执行所述基于每个所述任务在所述任务序列中的顺序，从第一个任务开始，对所述多个任务的计算资源耗用量进行累积计算，并对所述多个任务的容忍因子补集进行累积计算的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

7.如权利要求6所述的装置，其特征在于，所述调度单元具体用于：

从所述至少一个待共享物理处理器中选取一个待共享物理处理器；

基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列；

计算所述待调度队列之中所有任务的计算资源耗用量之和与容忍因子之和；

响应于所述待调度队列之中所有任务的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量，且所述待调度队列之中所有任务的容忍因子之和小于或等于目标值，从所述任务序列中删除所述第一个任务，并返回执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤；

响应于所述待调度队列之中所有任务的计算资源耗用量之和大于所述选取的待共享物理处理器的计算资源总量，和/或，所述待调度队列之中所有任务的容忍因子之和大于所述目标值，将所述待调度队列中去掉位于当前队尾的任务，并将去掉位于当前队尾的任务的待调度队列中的所有任务调度至所述选取的待共享物理处理器上；

清空所述待调度队列，从所述至少一个待共享物理处理器中选取其他待共享物理处理器，并执行所述基于每个所述任务在所述任务序列中的顺序，将第一个任务加入至待调度队列的步骤，直至所述任务序列中所有任务被调度至对应的物理处理器上。

8.如权利要求6所述的装置，其特征在于，所述满足共享条件包括：

当前累积计算得到的计算资源耗用量之和小于或等于所述选取的待共享物理处理器的计算资源总量；

以及，当前累积计算得到的容忍因子之和小于或等于目标值。

9.如权利要求6至8中任一项所述的装置，其特征在于，还包括：

第一排序模块，用于根据每个所述任务的计算资源耗用量，对所述任务序列之中所述多个任务进行排序；

或者第二排序模块，用于根据每个所述任务的容忍因子，对所述任务序列之中所述多个任务进行排序。

10.如权利要求6至8中任一项所述的装置，其特征在于，所述物理处理器为物理图形处理器GPU或物理张量处理器TPU。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求 1至5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

Images