CN113360266B - 任务处理方法和装置 - Google Patents

Abstract

本公开公开了任务处理方法和装置，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于基础架构场景下。具体实现方案为：首先获取线程的工作状态，该线程用于处理待处理任务，之后响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量，然后响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务，最后将第一预设数量个待处理任务输入线程进行并行处理，能够使得线程并行处理多个待处理任务，使得线程能够发挥最大的处理能力，提高了线程的计算能力和利用率。

Description

任务处理方法和装置

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于基础架构场景下。

背景技术

随着深度学习模型的不断发展，对于深度学习模型服务，在对图形处理器(GPU)的利用率、请求处理速度方面还有提升的空间。

现有技术中若同时接收到大量的请求，通常采取多线程或者进程，对请求进行并行处理，当请求多于线程数量后会放入队列顺序处理。

发明内容

本公开提供了一种任务处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种任务处理方法，该方法包括：获取线程的工作状态，其中，线程用于处理待处理任务；响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量；响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务；将第一预设数量个待处理任务输入线程进行并行处理。

根据本公开的另一方面，提供了一种任务处理装置，该装置包括：获取模块，被配置成获取线程的工作状态，其中，线程用于处理待处理任务；响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量；选取模块，被配置成响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务；并行处理模块，被配置成将第一预设数量个待处理任务输入线程进行并行处理。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任务处理方法。

根据本公开的另一方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机指令，该计算机指令用于使计算机能够执行上述任务处理方法。

根据本公开的另一方面，本申请实施例提供了一种计算机程序产品，其包括计算机程序，计算机程序在被处理器执行时实现上述任务处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的任务处理方法的一个实施例的流程图；

图2是根据本公开的任务处理方法的一个应用场景的示意图；

图3是根据本公开的从等待队列中选取第一预设数量个待处理任务的一个实施例的流程图；

图4是根据本公开的任务处理方法的另一个实施例的流程图；

图5是根据本公开的将第二预设数量个待处理任务输入线程进行并行处理的一个实施例的流程图；

图6是根据本公开的从等待队列中选取第二预设数量个待处理任务的一个实施例的流程图；

图7是根据本公开的增加第二数量的线程的一个实施例的流程图；

图8是根据本公开的任务处理装置的一个实施例的结构示意图；

图9是用来实现本公开实施例的任务处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

参考图1，图1示出了可以应用于本公开的任务处理方法的实施例的流程示意图100。该任务处理方法包括以下步骤：

步骤110，获取线程的工作状态。

在本实施例中，任务处理方法的执行主体(例如服务器)可以对创建的线程池中的线程进行检测，每个线程均可以用于处理待处理任务，该待处理任务可以为任意请求，待处理任务可以为模型推理请求，每个线程可以独立初始化一个深度学习模型，独立进行推理工作。

上述执行主体可以对每个线程的工作状态进行检测，以获取每个线程的工作状态是忙碌状态还是空闲状态，忙碌状态表征线程正在处理待处理任务，空闲状态表征线程未处理任务。

步骤120，响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量。

在本实施例中，上述执行主体在确定线程正在处理待处理任务后，可以将后续未处理的待处理任务放入线程对应的等待队列中，该等待队列用于顺序存放未处理的待处理任务，等待队列采用先进先出的原则，先放进等待队列的待处理任务可以先输入线程中进行处理。上述执行主体获取到线程的工作状态后，可以确定出线程的工作状态是否为忙碌状态，若确定线程的工作状态为忙碌状态，上述执行主体可以对等待队列中的待处理任务的数量进行实时统计，确定线程对应的等待队列中待处理任务的数量。

步骤130，响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务。

在本实施例中，上述执行主体对线程对应的等待队列进行实时统计，确定出待处理任务的数量，并将等待队列中待处理任务的数量与第一阈值进行比较，确定等待队列中待处理任务的数量是否超过第一阈值。

上述执行主体将获取到的等待队列中待处理任务的数量与第一阈值进行比较，若确定等待队列中待处理任务的数量超过第一阈值，确定等待队列中待处理任务的数量过多，则控制线程开启并行处理模式，即控制线程可以并行处理多个待处理任务。

上述执行主体控制线程开启并行处理模式，可以对线程进行检测，获取到线程的计算能力，并根据线程的计算能力确定出该线程对应的第一预设数量，以从线程对应的等待队列中选取第一预设数量个待处理任务，第一预设数量可以与线程的计算能力对应，不同的线程可以对应不同的第一预设数量，线程的计算能力和第一预设数量之间的对应关系表可以预先存储于上述执行主体中。

或者，上述执行主体控制线程开启并行处理模式，可以对线程进行检测，获取到线程的处理容量，并根据线程的处理容量确定出该线程对应的第一预设数量，以从线程对应的等待队列中选取第一预设数量个待处理任务，第一预设数量可以与线程的处理容量对应，不同的线程可以对应不同的第一预设数量，线程的处理容量和第一预设数量之间的对应关系表可以预先存储于上述执行主体中。

其中，第一预设数量可以通过任意方式进行确定，本公开中对于第一预设数量的确定方法不做具体限定。

步骤140，将第一预设数量个待处理任务输入线程进行并行处理。

在本实施例中，上述执行主体从等待队列中选取出第一预设数量个待处理任务后，可以直接将第一预设数量个待处理任务输入对应的线程中，使得线程对第一预设数量个待处理任务进行并行处理，即上述执行主体控制线程开启并行处理模式后，线程每次可以并行处理第一预设数量个待处理任务。

作为示例，上述执行主体确定线程的等待队列中模型推理任务的数量为20，第一阈值为10，则确定出等待队列中模型推理任务的数量超过第一阈值，控制线程开启并行处理模式。上述执行主体从等待队列中选取出5个模型推理任务，并直接将这5个模型推理任务输入线程中，线程同时对这5个模型推理任务进行处理，一次推理出5个结果。

继续参考图2，图2是根据本实施例的任务处理方法的一个应用场景的示意图。在图2的应用场景中，服务器201从终端202中获取待处理任务，并对本地的线程池中线程的工作状态进行获取，该线程用于处理待处理任务。服务器201经过检测确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量，并将等待队列中待处理任务的数量与第一阈值进行比较，判断等待队列中待处理任务的数量是否超过第一阈值。服务器201若确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务，最后将第一预设数量个待处理任务输入线程进行并行处理，得到第一预设数量个处理结果，并将该第一预设数量个处理结果发送至终端202。

本公开的实施例提供的任务处理方法，通过获取线程的工作状态，该线程用于处理待处理任务，之后响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量，然后响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务，最后将第一预设数量个待处理任务输入线程进行并行处理，能够使得线程并行处理多个待处理任务，使得线程能够发挥最大的处理能力，提高了线程的计算能力和利用率，当待处理任务的数量过多时，不需要增加线程来提高待处理任务的处理效率，使得每个线程并行处理多个任务，减少了资源占有率，提高了资源利用率，能够进一步发挥显卡的计算能力。

参考图3，图3示出了从等待队列中选取第一预设数量个待处理任务的一个实施例的流程图300，即上述步骤130，响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务，可以包括以下步骤：

步骤310，响应于确定等待队列中待处理任务的数量超过第一阈值，获取当前显存容量。

在本步骤中，上述执行主体对线程对应的等待队列进行实时统计，确定出待处理任务的数量，并将等待队列中待处理任务的数量与第一阈值进行比较，确定等待队列中待处理任务的数量是否超过第一阈值。

上述执行主体将获取到的等待队列中待处理任务的数量与第一阈值进行比较，若确定等待队列中待处理任务的数量超过第一阈值，确定等待队列中待处理任务的数量过多，则控制线程开启并行处理模式，即控制线程可以并行处理多个待处理任务。

上述执行主体可以在控制线程开启并行处理模式后，对当前显存容量进行检测，获取到当前显存容量，当前显存容量可以表征显存当前临时存储数据的能力。

步骤320，基于当前显存容量和待处理任务所占容量，确定第一预设数量。

在本步骤中，上述执行主体获取到当前显存容量后，可以进一步对待处理任务进行检测，确定待处理任务在进行处理过程中所占容量。上述执行主体可以根据当前显存容量和待处理任务所占容量进行计算，确定当前显存容量能够同时处理多少个待处理任务，即确定出第一预设数量。

步骤330，从等待队列中选取第一预设数量个待处理任务。

在本步骤中，上述执行主体根据当前显存容量和待处理任务所占容量，确定出第一预设数量后，可以从线程对应的等待队列中选取第一预设数量个待处理任务，以能够直接将第一预设数量个待处理任务输入对应的线程中，使得线程对第一预设数量个待处理任务进行并行处理。

上述等待队列是按照先进先出的原则对待处理任务进行排序，则可以为每个待处理任务进行排序，先进入等待队列的待处理任务序号在前。则上述执行主体可以根据第一预设数量，在等待队列中优先选出排序在前的待处理任务，选取出第一预设数量个待处理任务。

在本实施例中，通过当前显存容量确定第一预设数量，确定出并行处理的数量，使得第一预设数量能够更适应当前计算资源，能够使得计算资源得到充分利用，提高了资源利用率和并行处理最高值的准确性。

参考图4，图4示出了任务处理方法的另一个实施例的流程图400，该任务处理方法，可以包括以下步骤：

步骤410，获取待处理任务和用于处理待处理任务的线程容量。

在本实施例中，上述执行主体可以接收到模型推理任务等待处理任务，每个待处理任务需要利用线程进行处理，则每个用于处理待处理任务的线程需要具备能够处理待处理任务的线程容量，该线程容量可以表征线程用于处理待处理任务的计算资源，即不同的待处理任务可以对应不同的线程容量。则上述执行主体获取到待处理任务后，可以根据待处理任务与线程容量之间的对应关系，确定出待处理任务对应线程的线程容量。

步骤420，基于全部显存容量和线程容量，确定第一数量，并创建第一数量个线程。

在本实施例中，上述执行主体获取到用于处理待处理任务的线程容量后，可以对全部显存容量进行检测，获取到全部显存容量，全部显存容量可以是显卡上显存的容量数，表征显存能够临时存储的数据容量。

上述执行主体可以根据全部显存容量和线程容量进行计算，确定在全部显存容量下，能够容纳用于处理待处理任务的线程的数量，即确定出第一数量。上述执行主体根据确定出的第一数量，创建第一数量个、用于处理待处理任务的线程。

步骤430，获取线程的工作状态。

本实施例的步骤430可以按照与图1所示实施例中的步骤110类似的方式执行，此处不赘述。

步骤440，响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量。

本实施例的步骤440可以按照与图1所示实施例中的步骤120类似的方式执行，此处不赘述。

步骤450，响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务。

本实施例的步骤450可以按照与图1所示实施例中的步骤130类似的方式执行，此处不赘述。

步骤460，将第一预设数量个待处理任务输入线程进行并行处理。

本实施例的步骤460可以按照与图1所示实施例中的步骤140类似的方式执行，此处不赘述。

在本实施例中，与图1的实施例相比，通过根据全部显存容量确定现成的数量，能够使得线程的数量能够更适应显卡的计算资源，能够使得显卡的计算资源得到充分利用，提高了资源利用率。

参考图5，图5示出了将第二预设数量个待处理任务输入线程进行并行处理的一个实施例的流程图500，即该任务处理方法，还可以包括以下步骤：

步骤510，响应于确定等待队列中待处理任务的数量超过第二阈值，删除第二数量个线程。

在本实施例中，上述执行主体在控制线程开启并行处理模式后，控制线程并行处理第一预设数量个待处理任务，上述执行主体可以对线程对应的等待队列进行实时统计，确定出处于并行处理模式下等待队列中待处理任务的数量，并将等待队列中待处理任务的数量与第二阈值进行比较，确定等待队列中待处理任务的数量是否超过第二阈值。

上述执行主体将获取到的等待队列中待处理任务的数量与第二阈值进行比较，若确定等待队列中待处理任务的数量超过第二阈值，该第二阈值大于第一阈值，确定等待队列中待处理任务的数量仍然过多，则需要进一步增加线程并行处理的待处理任务的数量，以降低等待延时。

上述执行主体在确定等待队列中待处理任务的数量超过第二阈值后，可以从第一数量的线程中删除第二数量个线程，减少用于处理待处理任务的线程数量，增加可用显存容量，该第二数量小于第一数量。

步骤520，从等待队列中选取第二预设数量个待处理任务。

在本实施例中，上述执行主体在删除第二数量个线程后，可用显存容量得到增加，则可以扩大并行处理的待处理任务的数量。上述执行主体可以将第一预设数量增大，确定出第二预设数量，并等待队列中选取第二预设数量个待处理任务，该第二预设数量大于第一预设数量。

步骤530，将第二预设数量个待处理任务输入线程进行并行处理。

在本实施例中，上述执行主体从等待队列中选取出第二预设数量个待处理任务后，可以直接将第二预设数量个待处理任务输入对应的线程中，使得线程对第二预设数量个待处理任务进行并行处理，即线程每次可以并行处理第二预设数量个待处理任务。

作为示例，上述执行主体共有20个线程，确定线程的等待队列中模型推理任务的数量为60，第二阈值为20，则确定出等待队列中模型推理任务的数量超过第二阈值，上述执行主体从20个线程中删除10个线程，并从等待队列中选取出15个模型推理任务，并直接将这15个模型推理任务输入线程中，线程同时对这15个模型推理任务进行处理，一次推理出15个结果。

在本实施例中，通过删除部分线程，增加可用显存容量，进一步降低延时，使得线程能够并行处理更多的待处理任务，提高了并行处理的任务数量。

参考图6，图6示出了从等待队列中选取第二预设数量个待处理任务的一个实施例的流程图600，即上述步骤520，从等待队列中选取第二预设数量个待处理任务，可以包括以下步骤：

步骤610，响应于删除第二数量个线程，获取当前显存容量。

在本实施例中，上述执行主体删除第二数量个线程后，释放了更多的显存，则可以对当前显存容量进行检测，获取到当前显存容量，当前显存容量可以表征显存当前临时存储数据的能力。

步骤620，基于当前显存容量和待处理任务所占容量，确定第二预设数量。

在本实施例中，上述执行主体获取到当前显存容量后，可以进一步对待处理任务进行检测，确定待处理任务在进行处理过程中所占容量。上述执行主体可以根据当前显存容量和待处理任务所占容量进行计算，确定当前显存容量能够同时处理多少个待处理任务，即确定出第二预设数量。

步骤630，从等待队列中选取第二预设数量个待处理任务。

在本实施例中，上述执行主体根据当前显存容量和待处理任务所占容量，确定出第二预设数量后，可以从线程对应的等待队列中选取第二预设数量个待处理任务，以能够直接将第二预设数量个待处理任务输入对应的线程中，使得线程对第二预设数量个待处理任务进行并行处理。

上述等待队列是按照先进先出的原则对待处理任务进行排序，则可以为每个待处理任务进行排序，先进入等待队列的待处理任务序号在前。则上述执行主体可以根据第一预设数量，在等待队列中优先选出排序在前的待处理任务，选取出第二预设数量个待处理任务。

在本实施例中，通过当前显存容量确定第二预设数量，确定出并行处理的数量，使得第二预设数量能够更适应当前计算资源，能够使得计算资源得到充分利用，提高了资源利用率和并行处理最高值的准确性。

参考图7，图7示出了增加第二数量个线程的一个实施例的流程图700，即该任务处理方法，还可以包括以下步骤：

步骤710，响应于删除第二数量个线程，实时获取线程对应的等待队列中待处理任务的数量。

在本实施例中，上述执行主体从第一数量个线程中删除第二数量个线程后，可以将后续未处理的待处理任务放入线程对应的等待队列中，并对线程对应的等待队列中待处理任务的数量进行实时统计，确定线程对应的等待队列中待处理任务的数量。

步骤720，响应于确定等待队列中待处理任务的数量超过第一阈值且低于第二阈值，增加第二数量个线程。

在本实施例中，上述执行主体对线程对应的等待队列进行实时统计，确定出待处理任务的数量，并将等待队列中待处理任务的数量与第一阈值进行比较，确定等待队列中待处理任务的数量是否超过第一阈值。若上述执行主体将获取到的等待队列中待处理任务的数量与第一阈值进行比较，确定等待队列中待处理任务的数量超过第一阈值。

则上述执行主体继续将获取到的等待队列中待处理任务的数量与第二阈值进行比较，确定等待队列中待处理任务的数量超过第二阈值。若上述执行主体经过比较确定等待队列中待处理任务的数量低于第二阈值，则确定等待队列中待处理任务的数量得到缓解，可以恢复删除的线程，即增加第二数量个线程。以及，上述执行主体还可以将线程中并行处理的待处理任务的数量降低至第一预设数量，使得每个线程同时对第一预设数量个待处理任务进行并行处理。

在本实施例中，通过对等待队列中待处理任务的数量进行判断，增加第二数量个线程，能够增加线程数量，提高每个线程的利用率。

作为一个可选实现方式，上述任务处理方法还可以包括以下步骤：响应于确定等待队列中待处理任务的数量低过第一阈值，将待处理任务输入线程进行串行处理。

具体地，上述执行主体对线程对应的等待队列进行实时统计，确定出待处理任务的数量，并将等待队列中待处理任务的数量与第一阈值进行比较，确定等待队列中待处理任务的数量是否超过第一阈值。

上述执行主体将获取到的等待队列中待处理任务的数量与第一阈值进行比较，若确定等待队列中待处理任务的数量低于第一阈值，则将待处理任务输入线程进行串行处理，每个线程每次处理一个待处理任务。

在本实现方式中，在待处理任务数量不多时，控制线程串行处理待处理任务，提高了线程处理任务的多样性，提高了线程的利用率。

进一步参考图8，作为对上述各图所示方法的实现，本公开提供了一种任务处理装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，本实施例的任务处理装置800包括：获取模块810，选取模块820和并行处理模块830。

其中，获取模块810，被配置成获取线程的工作状态，其中，线程用于处理待处理任务；响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量；

选取模块820，被配置成响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务；

并行处理模块830，被配置成将第一预设数量个待处理任务输入线程进行并行处理。

在本实施例的一些可选的方式中，选取模块820，进一步被配置成：响应于确定等待队列中待处理任务的数量超过第一阈值，获取当前显存容量；基于当前显存容量和待处理任务所占容量，确定第一预设数量；从等待队列中选取第一预设数量个待处理任务。

在本实施例的一些可选的方式中，获取模块810，进一步被配置成：获取待处理任务和用于处理待处理任务的线程容量；以及装置还包括：创建模块，被配置成基于全部显存容量和线程容量，确定第一数量，并创建第一数量个线程。

在本实施例的一些可选的方式中，并行处理模块830，进一步被配置成：响应于确定等待队列中待处理任务的数量超过第二阈值，删除第二数量个线程，其中，第二阈值大于第一阈值，第二数量小于第一数量；从等待队列中选取第二预设数量个待处理任务，其中，第二预设数量大于第一预设数量；将第二预设数量个待处理任务输入线程进行并行处理。

在本实施例的一些可选的方式中，选取模块820，进一步被配置成：响应于删除第二数量个线程，获取当前显存容量；基于当前显存容量和待处理任务所占容量，确定第二预设数量；从等待队列中选取第二预设数量个待处理任务。

在本实施例的一些可选的方式中，该装置还包括：获取模块，被配置成响应于删除第二数量个线程，实时获取线程对应的等待队列中待处理任务的数量；增加模块，被配置成响应于确定等待队列中待处理任务的数量超过第一阈值且低于第二阈值，增加第二数量个线程。

在本实施例的一些可选的方式中，该装置还包括：串行处理模块，被配置成响应于确定等待队列中待处理任务的数量低过第一阈值，将待处理任务输入线程进行串行处理。

本公开的实施例提供的任务处理装置，通过获取线程的工作状态，该线程用于处理待处理任务，之后响应于确定线程的工作状态为忙碌状态，实时获取线程对应的等待队列中待处理任务的数量，然后响应于确定等待队列中待处理任务的数量超过第一阈值，从等待队列中选取第一预设数量个待处理任务，最后将第一预设数量个待处理任务输入线程进行并行处理，能够使得线程并行处理多个待处理任务，使得线程能够发挥最大的处理能力，提高了线程的计算能力和利用率，当待处理任务的数量过多时，不需要增加线程来提高待处理任务的处理效率，使得每个线程并行处理多个任务，减少了资源占有率，提高了资源利用率，能够进一步发挥显卡的计算能力。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如任务处理方法。例如，在一些实施例中，任务处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的任务处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行任务处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种任务处理方法，包括：

获取线程的工作状态，其中，所述线程用于处理待处理任务；

响应于确定所述线程的工作状态为忙碌状态，实时获取所述线程对应的等待队列中待处理任务的数量，所述忙碌状态表征所述线程正在处理待处理任务；

响应于确定所述等待队列中待处理任务的数量超过第一阈值，从所述等待队列中选取第一预设数量个待处理任务；

将所述第一预设数量个待处理任务输入所述线程进行并行处理；

响应于确定所述等待队列中待处理任务的数量超过第二阈值，从第一数量个线程中删除第二数量的线程，其中，所述第二阈值大于所述第一阈值，第二数量小于第一数量；

从所述等待队列中选取第二预设数量个待处理任务，其中，所述第二预设数量大于所述第一预设数量；

将所述第二预设数量个待处理任务输入所述线程进行并行处理。

2.根据权利要求1所述的方法，其中，所述响应于确定所述等待队列中待处理任务的数量超过第一阈值，从所述等待队列中选取第一预设数量个待处理任务，包括：

响应于确定所述等待队列中待处理任务的数量超过第一阈值，获取当前显存容量；

基于所述当前显存容量和待处理任务所占容量，确定第一预设数量；

从所述等待队列中选取第一预设数量个待处理任务。

3.根据权利要求1所述的方法，其中，在获取线程的工作状态之前，所述方法还包括：

获取待处理任务和用于处理待处理任务的线程容量；

基于全部显存容量和所述线程容量，确定第一数量，并创建所述第一数量个线程。

4.根据权利要求1所述的方法，其中，所述从所述等待队列中选取第二预设数量个待处理任务，包括：

响应于删除所述第二数量个线程，获取当前显存容量；

基于所述当前显存容量和待处理任务所占容量，确定第二预设数量；

从所述等待队列中选取第二预设数量个待处理任务。

5.根据权利要求1所述的方法，所述方法还包括：

响应于删除所述第二数量个线程，实时获取所述线程对应的等待队列中待处理任务的数量；

响应于确定所述等待队列中待处理任务的数量超过第一阈值且低于第二阈值，增加所述第二数量个线程。

6.根据权利要求1-5任意一项所述的方法，所述方法还包括：

响应于确定所述等待队列中待处理任务的数量低过第一阈值，将所述待处理任务输入所述线程进行串行处理。

7.一种任务处理装置，包括：

获取模块，被配置成获取线程的工作状态，其中，所述线程用于处理待处理任务；响应于确定所述线程的工作状态为忙碌状态，实时获取所述线程对应的等待队列中待处理任务的数量，所述忙碌状态表征所述线程正在处理待处理任务；

选取模块，被配置成响应于确定所述等待队列中待处理任务的数量超过第一阈值，从所述等待队列中选取第一预设数量个待处理任务；

并行处理模块，被配置成将所述第一预设数量个待处理任务输入所述线程进行并行处理；

所述并行处理模块，进一步被配置成：响应于确定所述等待队列中待处理任务的数量超过第二阈值，从第一数量个线程中删除第二数量个线程，其中，所述第二阈值大于所述第一阈值，第二数量小于第一数量；从所述等待队列中选取第二预设数量个待处理任务，其中，所述第二预设数量大于所述第一预设数量；将所述第二预设数量个待处理任务输入所述线程进行并行处理。

8.根据权利要求7所述的装置，其中，所述选取模块，进一步被配置成：

响应于确定所述等待队列中待处理任务的数量超过第一阈值，获取当前显存容量；

基于所述当前显存容量和待处理任务所占容量，确定第一预设数量；

从所述等待队列中选取第一预设数量个待处理任务。

9.根据权利要求7所述的装置，其中，所述获取模块，进一步被配置成：获取待处理任务和用于处理待处理任务的线程容量；以及

所述装置还包括：

创建模块，被配置成基于全部显存容量和所述线程容量，确定第一数量，并创建所述第一数量个线程。

10.根据权利要求7所述的装置，其中，所述选取模块，进一步被配置成：

响应于删除所述第二数量个线程，获取当前显存容量；

基于所述当前显存容量和待处理任务所占容量，确定第二预设数量；

从所述等待队列中选取第二预设数量个待处理任务。

11.根据权利要求7所述的装置，其中，所述装置还包括：

所述获取模块，被配置成响应于删除所述第二数量个线程，实时获取所述线程对应的等待队列中待处理任务的数量；

增加模块，被配置成响应于确定所述等待队列中待处理任务的数量超过第一阈值且低于第二阈值，增加所述第二数量个线程。

12.根据权利要求7-11任意一项所述的装置，其中，所述装置还包括：

串行处理模块，被配置成响应于确定所述等待队列中待处理任务的数量低过第一阈值，将所述待处理任务输入所述线程进行串行处理。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

Images