CN113900783A - 基于有限资源的任务处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请适用于人工智能技术领域，提供一种基于有限资源的任务处理方法、装置、设备及存储介质，其中方法包括：获取待处理任务，对待处理任务拆解得到子任务；基于子任务的数量，结合阈值确定该待处理任务资源耗费程度的任务标记；基于任务标记，从服务端提供的任务并发处理通道中选取与待处理任务对应的目标处理通道；任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，第一资源耗费程度大于第二资源耗费程度；基于目标处理通道，向服务端发送任务处理请求。该方案能够避免简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

Description

基于有限资源的任务处理方法、装置、设备及存储介质

技术领域

本申请属于人工智能技术领域，尤其涉及一种基于有限资源的任务处理方法、装置、设备及存储介质。

背景技术

如今在互联网和计算机的快速发展下，人工智能领域下的深度学习模型的参数越来越大，这就导致使用模型的成本也越来越大，在工业界一个成熟的深度模型需要部署在GPU(graphics processing unit，图形处理器)上，首先模型的运算很难同步返回结果，因为每次使用模型需要加载庞大的参数和计算，所以很多服务选择异步处理用户请求，其次，每台GPU处理器每年的使用费用非常高。在此前提下，由于服务端成本很高，不能无限扩展GPU处理器资源的数量，造成处理资源有限。

在一些人工智能模型落地场景中，用户在使用模型执行任务时，比如使用NLP(Neuro-Linguistic Programming，神经语言程序学)模型提取文档中字段，或者使用OCR(Optical Character Recognition，光学字符识别)模型从图像中识别字符内容等，其底层会将任务拆解成N多个小任务，比如NLP模型将文档拆解成N个段落，再抽取字段。OCR模型在字符识别时将图片按照等像素的大小分成多个文件，再分别进行字符识别处理。这就造成当在有限的GPU资源内，可能某个用户提交的任务在底层占据了所有的GPU模型并发处理资源，例如一个PDF文档被拆解成了20份，假设OCR服务只能提供4个并发处理服务，那么20张PDF将会占满所有资源。而此时如果另外一个用户提交了一张不需要拆解的图片(图片很小)识别任务，这个时候，只能等待上一个用户的任务处理完之后才能处理，造成所需处理时长较小的任务却需要等待较长时间才能得到处理的局面，降低任务处理速度，造成任务堵塞，降低用户体验。

发明内容

本申请实施例提供了一种基于有限资源的任务处理方法、装置、设备及存储介质，以解决现有技术中在有限的处理资源内容易造成任务阻塞，处理等待时间长，降低任务处理速度的问题。

本申请实施例的第一方面提供了一种基于有限资源的任务处理方法，包括：

获取待处理任务，对所述待处理任务拆解得到子任务；

基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记；

基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道；所述任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，所述第一资源耗费程度大于所述第二资源耗费程度；

基于所述目标处理通道，向所述服务端发送任务处理请求。

本申请实施例的第二方面提供了一种基于有限资源的任务处理装置，包括：

任务拆解模块，用于获取待处理任务，对所述待处理任务拆解得到子任务；

标记模块，用于基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记；

选取模块，用于基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道；所述任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，所述第一资源耗费程度大于所述第二资源耗费程度；

发送模块，用于基于所述目标处理通道，向所述服务端发送任务处理请求。

本申请实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行上述第一方面所述方法的步骤。

由上可见，本申请实施例中，基于待处理任务中子任务的数量确定待处理任务的资源耗费程度，以从被配置为用于处理不同资源耗费程度的任务处理通道中选取与待处理任务对应的目标处理通道，最终向服务端发送任务处理请求，实现为低资源耗费程度的任务预留任务处理通道，保证了简单任务的快速处理完成，同时减少资源耗费程度高的任务长时间占用处理资源带来的任务堵塞，避免简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于有限资源的任务处理方法的流程图一；

图2是本申请实施例提供的一种基于有限资源的任务处理方法的流程图二；

图3是本申请实施例提供的一种基于有限资源的任务处理装置的结构图；

图4是本申请实施例提供的一种计算机设备的结构图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例中基于有限资源的任务处理方法，主要侧重于从任务调度上做优化，间接实现对模型处理速度的优化，当许多任务需要使用模型进行处理时，可以在有限的模型处理资源基础上协调调度逻辑，让用户在使用感觉上得到提速，但模型总处理速度及处理成本不变。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，图1是本申请实施例提供的基于有限资源的任务处理方法的流程图一。如图1所示，一种基于有限资源的任务处理方法，该方法包括以下步骤：

步骤101，获取待处理任务，对待处理任务拆解得到子任务。

该待处理任务例如是自然语言处理(Natural Language Processing，NLP)任务，具体例如对文本内容进行字段抽取、语义分析等。或者，例如为字符识别任务，通过OCR(Optical Character Recognition，光学字符识别)技术进行图像字符内容识别。

对待处理任务进行拆解，具体是将任务拆解成N多个小任务，N为大于1的整数。比如NLP任务，将待处理的文档拆解成N个段落，得到需基于拆解后的N个段落分别进行字段抽取的N个子任务；或者，OCR识别任务中将待处理的图片按照等像素的大小分成N个图片文件，得到需基于拆解后的多个图片文件分别进行文字识别的N个子任务。

步骤102，基于子任务的数量，结合阈值确定该待处理任务资源耗费程度的任务标记。

其中，每执行一个子任务则需要占用一次模型服务资源，子任务的数量的多少决定该待处理任务对模型服务资源的使用次数。

具体地，子任务的数量的多少与待处理任务的资源耗费程度正相关，即子任务的数量越多，则认为当前待处理任务的资源耗费程度越大，子任务的数量越少，则认为当前待处理任务的资源耗费程度越小。

通过子任务数量与阈值的比较，确定待处理任务的任务标记，该任务标记用于指示待处理任务的资源耗费程度。

其中，该阈值可以是一个或多个，当阈值为多个时，不同的阈值用于指示待处理任务的资源耗费程度的不同等级。

例如，当阈值为一个时，当子任务的数量大于阈值时，则认为待处理任务为资源耗费程度高的任务，该待处理任务的任务标记为高资源耗费任务，而当子任务的数量不大于阈值时，则认为待处理任务为资源耗费程度低的任务，该待处理任务的任务标记为简单任务，即低资源耗费任务。当阈值为多个时，当子任务的数量介于第一阈值与第二阈值之间时，认为待处理任务为资源耗费程度处于较低等级的任务，当子任务的数量介于第二阈值与第三阈值之间时，认为待处理任务为资源耗费程度处于中间等级的任务，当子任务的数量大于第三阈值时，认为待处理任务为资源耗费程度处于较高等级的任务，以此类推，同时基于判断得到的待处理任务的资源耗费程度确定其任务标记。

在一个具体的实施方式中，该基于子任务的数量，结合阈值确定待处理任务资源耗费程度的任务标记，包括：

判断子任务的数量是否超出阈值；若子任务的数量超出阈值，则确定待处理任务为第一资源耗费程度的任务，将待处理任务标记为处理资源高需任务；若子任务的数量未超出阈值，则确定待处理任务为第二资源耗费程度的任务，将待处理任务标记为处理资源低需任务。

其中，将拆解得到的子任务的数量与阈值进行数值比对，以确定待处理任务的资源耗费程度，并基于资源耗费程度给其赋予相应的任务标记。

具体地，在一个实施方式中，该待处理任务的任务标记包括：处理资源高需任务及处理资源低需任务。不同的任务标记实现对当前待处理任务的资源耗费程度为高资源耗费程度或低资源耗费程度的标识。其中，处理资源高需任务对应于子任务数量超出阈值的待处理任务，此时该待处理任务具有第一资源耗费程度；处理资源低需任务对应于子任务数量未超出阈值的待处理任务，此时该待处理任务具有第二资源耗费程度。该第一资源耗费程度大于第二资源耗费程度。

或者，在其他实施方式中，还可以根据实际任务处理需求为待处理任务设置不同的任务标记，可以根据实际需求进行具体设定。

步骤103，基于该任务标记，从服务端提供的任务并发处理通道中选取与待处理任务对应的目标处理通道。

该任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道。该第一资源耗费程度大于第二资源耗费程度。

即，服务端提供的任务并发处理通道中包括用于对不同资源耗费程度的任务进行分别处理的通道。

其中，服务端提供的任务并发处理通道可以实现任务的并发处理。该并发处理也称作并发计算、共时计算，是一种程序计算的形式，具体指在系统中至少有两个以上的计算在同时运作，计算结果可能同时发生。

其中，任务并发处理通道中包含设定数量个任务处理通道，以实现不同任务的并发处理。

其中，该任务处理通道可以由一个主调度服务器(Driver)和该主调度服务器对应管理的多个执行服务器(Excutor)组成。这样，本申请中一个任务处理通道可以认为是一个可以被用于处理作业任务的通道资源，该任务处理通道的资源的大小，如主调度服务器包含的执行服务器的个数，可以在一定程度上反应该任务处理通道的作业能力。

对任务进行处理时，任务处理通道依托于资源池实现部署，资源池通常可以包括实现作业任务部署的通道资源集合，具体可以包括多个一个或多个物理集群。本实施例中一个物理集群中的任务处理通道可以被分配成相同的资源大小，即在物理集群部署时，每个任务处理通道都被设置成一个主调度服务器对应相同个数的执行服务器。当然，在本申请其他的一些实施例中，资源池中的任务处理通道也可以被设置成按照预设处理需求分配为不同大小的资源。

或者，一些实施例中该资源池也可以包括虚拟资源池，虚拟资源池可以包括部署的一个或多个逻辑集群。当然，也可以根据需求将资源池部署为包括物理集群和逻辑集群，此处不进行具体限定。

其中，该资源池可以对应于人工智能处理系统，基于人工智能技术对待处理任务进行处理。

其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

对应地，提供任务并发处理通道的服务端即可以是上述资源池中部署的物理集群，例如为服务器集群等，或者是内部配备有多个GPU处理器的单个服务终端。

其中，服务器集群可以包含独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，主调度服务器例如为CPU(Central Processing Unit，中央处理器)，执行服务器例如为GPU，这里仅为示例性说明，可以基于物理集群的器件构成进行具体设置。

进一步地，作为一个可选的实施方式，该基于任务标记，从服务端提供的任务并发处理通道中选取与待处理任务对应的目标处理通道，包括：

若任务标记指示待处理任务的资源耗费程度超出阈值，则确定待处理任务为第一资源耗费程度的任务；

基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从服务端提供的任务并发处理通道中选取第一通道作为与待处理任务对应的目标处理通道。

或者，若任务标记指示待处理任务的资源耗费程度未超出阈值，则确定待处理任务为第二资源耗费程度的任务；基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从服务端提供的任务并发处理通道中选取第二通道作为与待处理任务对应的目标处理通道。其中，任务并发处理通道中包含设定数量个任务处理通道，该设定数量为大于1的整数，可以将设定数量个任务处理通道划分出一部分通道专门用于处理简单任务(即资源耗费程度低的任务)，而其他部分用于处理资源耗费程度高的任务，由此实现构建不同任务处理通道与任务的资源耗费程度之间的对应关系，实现为资源耗费程度低的任务预留处理资源，以避免资源耗费程度高的任务长时间占用处理资源带来的任务堵塞，避免简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

具体地，可以将不同任务处理通道的访问接口信息与设定的任务的不同资源耗费程度之间建立关联关系。

例如，服务端可以提供的任务处理通道为4个，对应的访问接口编号分别为0、1、2、3，选择给高资源消耗任务分配2个任务处理通道，低资源消耗任务分配2个任务处理通道；当判断待处理任务为高资源消耗任务，则默认使用0，1访问接口编号对应的任务处理通道对该待处理任务中的各个子任务进行处理，当判断待处理任务为低资源消耗任务时，默认使用2、3访问接口编号对应的任务处理通道对该待处理任务进行处理。

其中，第一通道、第二通道的具体设置数量可以根据实际应用需求进行调整。

进一步地，从服务端提供的任务并发处理通道中选取第一通道作为与待处理任务对应的目标处理通道之后，还包括：

从服务端获取任务并发处理通道的第一通道占用信息；

当基于第一通道占用信息，确定任务并发处理通道中的第一通道处于占用状态且第二通道处于空闲状态时，将第二通道确定为目标处理通道。

获取任务并发处理通道的第一通道占用信息时，可以基于该第一通道占用信息获知任务并发处理通道中每一任务处理通道处于占用状态或空闲状态。

该通道占用信息中包括不同任务处理通道的访问接口信息、资源占用状态、在通道处于占用状态下该通道当前所处理任务对应的任务标记等。

基于该通道占用信息，可以得知任务并发处理通道中用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道各自所处的状态。

这里，当待处理任务为高资源耗费程度的任务时，在已经确认访问接口编号为0、1的任务处理通道为目标处理通道时，若此时基于任务并发处理通道的通道占用信息，判断其中0、1通道处于占用状态且2、3通道处于空闲状态，则此时可以将空闲状态下的2、3通道也确认为目标处理通道，即在确定用于处理低资源耗费程度的任务的第二通道处于状态时，可以先利用该第二通道处理高资源耗费程度的任务，实现当为低资源耗费程度的任务所预留的任务处理通道未被占用时，能够更充分利用空闲的处理资源，避免处理资源浪费。

步骤104，基于目标处理通道，向服务端发送任务处理请求。

在向服务端发送任务处理请求时，具体可以将当前待处理的任务信息及目标处理通道的访问接口信息一同发送至服务端。

该访问接口信息例如为服务端中与目标处理通道所对应GPU的识别编号或者是服务器集群中某台或某几台服务器的地址。

本申请实施例中，基于待处理任务中子任务的数量确定待处理任务的资源耗费程度，以从被配置为用于处理不同资源耗费程度的任务处理通道中选取与待处理任务对应的目标处理通道，最终向服务端发送任务处理请求，实现为低资源耗费程度的任务预留任务处理通道，保证了简单任务的快速处理完成，同时减少资源耗费程度高的任务长时间占用处理资源带来的任务堵塞，避免简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

本申请实施例中还提供了基于有限资源的任务处理方法的不同实施方式。

参见图2，图2是本申请实施例提供的一种基于有限资源的任务处理方法的流程图二。如图2所示，一种基于有限资源的任务处理方法，该方法包括以下步骤：

步骤201，获取待处理任务，对待处理任务拆解得到子任务。

该步骤的实现过程与前述实施方式中的步骤101的实现过程相同，此处不再赘述。

步骤202，基于子任务的数量，结合阈值确定该待处理任务资源耗费程度的任务标记。

该步骤的实现过程与前述实施方式中的步骤102的实现过程相同，此处不再赘述。

步骤203，基于该任务标记，从服务端提供的任务并发处理通道中选取与待处理任务对应的目标处理通道。

该任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道；该第一资源耗费程度大于第二资源耗费程度。

该步骤的实现过程与前述实施方式中的步骤103的实现过程相同，此处不再赘述。

步骤204，基于待处理任务的资源耗费程度，将待处理任务中的子任务插入至与目标处理通道对应的任务处理队列中。

在基于任务处理通道执行任务处理时，需要初始化与任务处理通道对应的任务队列，将当前需要处理的任务依照任务执行顺序插入至任务队列中。

这里，具体需要将待处理任务中的子任务依照次序插入至与目标处理通道对应的任务处理队列中。

当待处理任务为高资源耗费程度(即第一资源耗费程度)时，则需要将待处理任务的子任务插入至第一通道对应的任务处理队列中，当待处理任务为低资源耗费程度(即第二资源耗费程度)时，则需要将待处理任务的子任务插入至第二通道对应的任务处理队列中。

其中，在一个具体的实施方式中，该基于待处理任务的资源耗费程度，将待处理任务中的子任务插入至与目标处理通道对应的任务处理队列中，包括：

若确定待处理任务的资源耗费程度为第二资源耗费程度，则获取第二通道的第二任务处理占用信息；

当基于第二任务处理占用信息，确定第二通道被第一资源耗费程度的任务占用时，将待处理任务中的子任务插入至第二通道对应的任务处理队列的队首位置。

即，当资源耗费程度低的任务所对应的第二通道为空闲时，可以将第二通道用于执行资源耗费程度高的任务，提升资源耗费程度高的任务的处理速度及处理资源利用效率，而当出现新的待处理任务为资源耗费程度低的任务，而当前第二通道处于被资源耗费程度高的任务占用状态时，此时，需要使第二通道优先处理当前等待处理的该资源耗费程度低的任务。

此时，需要将待处理任务中的子任务插入至第二通道对应的任务处理队列的队首位置，以使第二通道中的当前任务处理完毕后，能够马上优先处理资源耗费程度低的任务，实现更充分利用处理资源的同时，确保高资源耗费程度的任务不长期占用处理资源，避免任务堵塞，减少简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

步骤205，获取目标处理通道的访问接口信息。

该访问接口信息例如为服务端中与目标处理通道所对应GPU的识别编号或者是服务器集群中某台或某几台服务器的地址。

步骤206，基于任务处理队列中的子任务，依次生成携带有访问接口信息的任务处理请求。

步骤207，分别将任务处理请求发送至服务端。

在向服务端发送任务处理请求时，将当前待处理的任务信息及目标处理通道的访问接口信息一同发送至服务端，使服务端能够辨别当前待处理的任务及为当前待处理的任务分配对应的任务处理通道进行任务处理。

本申请实施例中，基于待处理任务中子任务的数量确定待处理任务的资源耗费程度，以从被配置为用于处理不同资源耗费程度的任务处理通道中选取与待处理任务对应的目标处理通道，并基于不同任务处理通道所处的占用状态或空闲状态，对目标处理通道进行处理任务的调整，并最终向服务端发送任务处理请求，实现更充分利用处理资源的同时，确保高资源耗费程度的任务不长期占用处理资源，避免任务堵塞，减少简单任务的长时间处理等待，提升用户体验及提升任务处理效率。

参见图3，图3是本申请实施例提供的一种基于有限资源的任务处理装置的结构图，为了便于说明，仅示出了与本申请实施例相关的部分。

所述基于有限资源的任务处理装置300包括：

任务拆解模块301，用于获取待处理任务，对所述待处理任务拆解得到子任务；

标记模块302，用于基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记；

选取模块303，用于基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道；所述任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，所述第一资源耗费程度大于所述第二资源耗费程度；

发送模块304，用于基于所述目标处理通道，向所述服务端发送任务处理请求。

其中，所述选取模块，具体用于：

若所述任务标记指示所述待处理任务的资源耗费程度超出阈值，则确定所述待处理任务为所述第一资源耗费程度的任务；

基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从所述服务端提供的所述任务并发处理通道中选取所述第一通道作为与所述待处理任务对应的目标处理通道。

其中，所述选取模块，还用于：

从所述服务端获取所述任务并发处理通道的第一通道占用信息；

当基于所述第一通道占用信息，确定所述任务并发处理通道中的所述第一通道处于占用状态且所述第二通道处于空闲状态时，将所述第二通道确定为所述目标处理通道。

其中，所述选取模块，还具体用于：

若所述任务标记指示所述待处理任务的资源耗费程度未超出阈值，则确定所述待处理任务为所述第二资源耗费程度的任务；

基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从所述服务端提供的所述任务并发处理通道中选取所述第二通道作为与所述待处理任务对应的目标处理通道。

其中，发送模块，具体用于：

基于所述待处理任务的资源耗费程度，将所述待处理任务中的所述子任务插入至与所述目标处理通道对应的任务处理队列中；

获取所述目标处理通道的访问接口信息；

基于所述任务处理队列中的所述子任务，依次生成携带有所述访问接口信息的任务处理请求；

分别将所述任务处理请求发送至所述服务端。

其中，发送模块，更具体用于：

若确定所述待处理任务的资源耗费程度为所述第二资源耗费程度，则获取所述第二通道的第二任务处理占用信息；

当基于所述第二任务处理占用信息，确定所述第二通道被所述第一资源耗费程度的任务占用时，将所述待处理任务中的子任务插入至所述第二通道对应的任务处理队列的队首位置。

本实施例中，该基于有限资源的任务处理装置的各项功能可以借助众多通用或专用的计算机系统环境或配置来实现。例如为：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。一般地，该任务处理装置中的功能程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请实施例提供的基于有限资源的任务处理装置能够实现上述基于有限资源的任务处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图4是本申请实施例提供的一种计算机设备的结构图。如该图所示，该实施例的计算机设备4包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个方法实施例中的步骤。

所述计算机设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是计算机设备4的示例，并不构成对计算机设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述计算机设备4的内部存储单元，例如计算机设备4的硬盘或内存。所述存储器41也可以是所述计算机设备4的外部存储设备，例如所述计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序产品来实现，当计算机程序产品在终端上运行时，使得所述终端执行时实现可实现上述各个方法实施例中的步骤。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于有限资源的任务处理方法，其特征在于，包括：

获取待处理任务，对所述待处理任务拆解得到子任务；

基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记；

基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道；所述任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，所述第一资源耗费程度大于所述第二资源耗费程度；

基于所述目标处理通道，向所述服务端发送任务处理请求。

2.根据权利要求1所述的方法，其特征在于，所述基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道，包括：

若所述任务标记指示所述待处理任务的资源耗费程度超出阈值，则确定所述待处理任务为所述第一资源耗费程度的任务；

基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从所述服务端提供的所述任务并发处理通道中选取所述第一通道作为与所述待处理任务对应的目标处理通道。

3.根据权利要求2所述的方法，其特征在于，所述从所述服务端提供的所述任务并发处理通道中选取所述第一通道作为与所述待处理任务对应的目标处理通道之后，还包括：

从所述服务端获取所述任务并发处理通道的第一通道占用信息；

当基于所述第一通道占用信息，确定所述任务并发处理通道中的所述第一通道处于占用状态且所述第二通道处于空闲状态时，将所述第二通道确定为所述目标处理通道。

4.根据权利要求1所述的方法，其特征在于，所述基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道，包括：

若所述任务标记指示所述待处理任务的资源耗费程度未超出阈值，则确定所述待处理任务为所述第二资源耗费程度的任务；

基于预设的不同任务处理通道与任务的资源耗费程度之间的对应关系，从所述服务端提供的所述任务并发处理通道中选取所述第二通道作为与所述待处理任务对应的目标处理通道。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标处理通道，向所述服务端发送任务处理请求，包括：

基于所述待处理任务的资源耗费程度，将所述待处理任务中的所述子任务插入至与所述目标处理通道对应的任务处理队列中；

获取所述目标处理通道的访问接口信息；

基于所述任务处理队列中的所述子任务，依次生成携带有所述访问接口信息的任务处理请求；

分别将所述任务处理请求发送至所述服务端。

6.根据权利要求5所述的方法，其特征在于，所述基于所述待处理任务的资源耗费程度，将所述待处理任务中的所述子任务插入至与所述目标处理通道对应的任务处理队列中，包括：

若确定所述待处理任务的资源耗费程度为所述第二资源耗费程度，则获取所述第二通道的第二任务处理占用信息；

当基于所述第二任务处理占用信息，确定所述第二通道被所述第一资源耗费程度的任务占用时，将所述待处理任务中的子任务插入至所述第二通道对应的任务处理队列的队首位置。

7.根据权利要求1所述的方法，其特征在于，所述基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记，包括：

判断所述子任务的数量是否超出阈值；

若所述子任务的数量超出阈值，则确定所述待处理任务为所述第一资源耗费程度的任务，将所述待处理任务标记为处理资源高需任务；

若所述子任务的数量未超出阈值，则确定所述待处理任务为所述第二资源耗费程度的任务，将所述待处理任务标记为处理资源低需任务。

8.一种基于有限资源的任务处理装置，其特征在于，包括：

任务拆解模块，用于获取待处理任务，对所述待处理任务拆解得到子任务；

标记模块，用于基于所述子任务的数量，结合阈值确定所述待处理任务资源耗费程度的任务标记；

选取模块，用于基于所述任务标记，从服务端提供的任务并发处理通道中选取与所述待处理任务对应的目标处理通道；所述任务并发处理通道中包括用于处理第一资源耗费程度的任务的第一通道及用于处理第二资源耗费程度的任务的第二通道，所述第一资源耗费程度大于所述第二资源耗费程度；

发送模块，用于基于所述目标处理通道，向所述服务端发送任务处理请求。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images