CN112199625A - 一种任务处理方法及装置 - Google Patents

Abstract

本说明书公开了一种任务处理方法及装置。所述方法包括：根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最大值为N；在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N；调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

Description

一种任务处理方法及装置

技术领域

本说明书实施例涉及计算机应用技术领域，尤其涉及一种任务处理方法及装置。

背景技术

网站在发布新文章时，通常需要在发布之前和发布之后审查新文章是否涉及违规内容，例如，新文章中的图片是否涉及暴力，新文章中的文本是否涉及赌博等等，以确保网站内容积极向上。这一过程可以认为是网站在处理内容审查的任务，处理过程中根据审查违规内容的需求，对新文章进行审查。

在其他场景中，不同任务在处理时也需要执行上述任务处理过程，并不局限于内容审查的场景。

其中，任务处理的对象具有不同类型，例如图像、语音和文本。为了应对不同的处理需求和不同类型的处理对象，需要使用具有不同功能的一种或多种处理模块进行处理，例如，在处理内容审查任务时，为了应对审查违规内容的处理需求、图像类型的处理对象以及文本类型的处理对象，可以使用违规图像识别模块对图像类型的处理对象进行处理，并使用文本信息提取模块和违规信息识别模块对文本类型的处理对象进行处理。

但是，处理模块同时处理的处理对象数目存在上限，例如，违规图像识别模块同时只能识别最多3张图像。但在实际处理任务时，现有方式并没有考虑到需要处理的处理对象数目和处理模块处理能力的限制，常常使用固定个数的处理模块处理任务，造成处理模块的配置不合理。

在处理对象数目较多时，每个处理模块被分配到的处理对象数目大于该处理模块同时处理的处理对象数目上限，任务处理效率较低。在处理对象数目较少时，部分处理模块无需处理处理对象，处于空闲状态，造成资源浪费。

发明内容

为了解决上述问题，本说明书提供了一种任务处理方法及装置，通过根据任务中对象数量动态调整处理模块的数量，为任务合理配置处理模块，提高任务的处理效率，并避免资源浪费。技术方案如下所示。

一种任务处理方法，包括：

根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最大值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；

在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N；

调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

一种任务处理方法，包括：

根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最小值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；

在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量为1；

调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

一种任务处理装置，包括：

第一确定单元：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

第一划分单元：用于根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最大值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

第一构建单元：用于构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N；

第一并行处理单元：用于调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

一种任务处理装置，包括：

第二确定单元：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

第二划分单元：用于根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最小值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

第二构建单元：用于构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量为1；

第二并行处理单元：调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

上述技术方案通过考虑每类处理模块的处理能力，动态调整每类处理模块的数量，使得针对不同数量的任务处理对象，可以调用多个基本处理单元，在一次处理中针对全部的任务处理对象同时进行处理，从而实现处理模块的动态合理配置，既能提高任务处理效率，也能节省处理模块的资源。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种任务处理过程的原理示意图；

图2是本说明书实施例提供的另一种任务处理过程的原理示意图；

图3是本说明书实施例提供的另一种任务处理过程的原理示意图；

图4是本说明书实施例提供的一种任务处理方法的流程示意图；

图5是本说明书实施例提供的一种基本处理单元的结构示意图；

图6是本说明书实施例提供的一种任务处理方法的原理示意图；

图7是本说明书实施例提供的另一种任务处理方法的流程示意图；

图8是本说明书实施例提供的一种任务处理装置的结构示意图；

图9是本说明书实施例提供的另一种任务处理装置的结构示意图；

图10是用于配置本说明书实施例方法的一种设备的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

为了引入本说明书的场景，下面给出一种具体的场景作为示例性说明。

网站在发布新文章时，通常需要在发布之前和发布之后审查新文章是否涉及违规内容，例如，新文章中的图片是否涉及暴力，新文章中的文本是否涉及赌博等等，以确保网站内容积极向上。

上述场景可以看作在处理内容审查的任务时，根据审查违规内容的需求，对处理对象进行审查处理。

因此，在本说明书的场景中，在处理任一任务时，可以是根据任务中的具体需求，对处理对象进行处理。可以不局限于上述内容审查的场景。

其中，为了进一步解释本说明书的场景，任务中的处理需求具体可以是业务上的需求，例如，检测处理对象是否符合规范、检查处理对象中是否包含非法信息等等。当然，任务中可以包含一个或多个处理需求，本说明书对此并不限定。

而处理对象可以是不同类型的对象，例如，图像、文本、语音等。本说明书对任务中处理对象的数量、类型也不限定。

下面提供几个场景示例，用于示例性说明。

根据检测对象中是否包含暴力信息的需求，对图像类型的对象进行检测处理；根据检测对象中是否包含诈骗信息的需求，对语音类型和文本类型的对象进行检测处理；根据检测对象是否符合规范的需求，对图像类型的对象进行检测处理。

需要注意的是，本说明书中，任务可以包含一个或多个需求，也可以针对一个或多个类型的对象进行处理。

而在根据任一需求、针对任一类型的对象进行处理时，可以使用具有不同功能的一种或多种处理模块进行处理。

例如，违规图像识别模块可以用于识别违规图像。在根据审查违规内容的处理需求，针对图像类型的处理对象进行处理时，可以使用违规图像识别模块对图像类型的处理对象进行处理。

例如，文本信息提取模块可以用于提取文本中包含的信息关键词，违规信息识别模块可以用于识别信息关键词是否属于违规信息对应的关键词。在根据审查违规内容的处理需求，针对文本类型的处理对象进行处理时，可以先使用文本信息提取模块、再使用违规信息识别模块对文本类型的处理对象进行处理。

为了便于进一步理解，如图1所示，为本说明书提供的一种任务处理过程的原理示意图。其中，任务的处理需求为违规检测，需要处理的对象包括3张图像和4个文本，因此，可以固定使用单个违规图像识别模块、单个文本信息提取模块和单个违规信息识别模块进行处理。具体过程可以是将3张图像输入到1个违规图像识别模块进行处理，并将4个文本输入到1个文本信息提取模块中进行处理，得到4个文本信息关键词后，将4个文本信息关键词输入到1个违规信息识别模块中进行处理。

需要注意的是，图1所示的任务处理过程仅仅是一种示例，并不能限定本说明书公开的范围。具体可以是根据任务中的多个处理需求，使用不同的处理模块进行处理，也可以是根据任务中处理对象的类型，使用不同的处理模块进行处理。

为了便于理解，如图2所示，为本说明书提供的另一种任务处理过程的原理示意图。其中的任务包括3个处理需求、10张图像以及4个文本。其中的处理需求分别是违规检测、针对图像进行暴力内容检测、以及针对文本进行诈骗内容检测。

因此，根据处理需求、以及处理对象的类型，可以将任务拆分后，针对单个处理需求、以及单个类型的处理对象进行处理。当然，上述图2仅仅用于示例性说明，并不能限定本说明书公开的范围。

此外，在使用多种处理模块针对单个处理需求、以及单个类型的处理对象进行处理时，不同种类的处理模块之间可以是按照预设的顺序针对处理对象进行处理，可以存在一定的处理顺序。例如，上述的文本信息提取模块和违规信息识别模块可以是串联关系，针对文本类型的对象进行处理。

在实际进行处理时，由于处理模块本身处理能力的限制，单个处理模块可以同时处理的对象数量存在上限。

不同种类的处理模块的上限可以不同，也可以相同，本说明书并不限定。

例如，单个违规图像识别模块同时最多可以处理3个图像类型的对象、单个文本信息提取模块同时最多可以处理5个文本类型的对象、单个违规信息识别模块同时最多可以处理9个对象。

为了便于表述，可以将每一类处理模块的单个处理模块同时处理的对象数量上限称为该类处理模块的处理能力。

然而，现有方式并没有考虑处理模块本身的处理能力，始终使用固定数量的处理模块处理不同的任务，造成处理模块的分配不合理。

由于不同任务中的处理对象数量不同，而处理模块的数量和处理能力不变，因此，当任务中处理对象数量较多时，大于固定数量的全部处理模块可以同时最多处理的对象数量，处理模块不能在一次处理中处理全部对象，导致任务的处理效率较低；当任务中处理对象数量较少时，无需全部固定数量的处理模块就可以同时处理，部分处理模块无需处理处理对象，处于空闲状态，导致处理模块的资源被浪费。

为了便于进一步的理解，如图3所示，为本说明书提供的另一种任务处理过程的原理示意图。

其中，存在2个待处理的任务，任务一的处理需求是违规检测，处理对象包括10张图像；任务二的处理需求是违规检测，处理对象包括100张图像。而针对为图像进行违规检测的任务，现有方式中固定使用2个处理能力为30的违规图像识别模块进行处理。

在处理任务一时，由于单个违规图像识别模块可以同时处理全部10张图像，因此，只将任务一中的10张图像输入到单个违规图像识别模块，另一违规图像识别模块处于空闲状态。导致处理模块的资源被浪费。

而在处理任务二时，由于2个违规图像识别模块最多可以同时处理60张图像，因此，只能将任务二中的60张图像先分别输入到2个违规图像识别模块中，再将剩下的40张图像分别输入到2个违规图像识别模块中。经过两次处理才能将100张图像处理完成，导致任务处理效率较低。

综合上述两种实际情况，显然，现有方式中使用固定数量的处理模块会造成处理模块的分配不合理，导致任务处理效率较低或资源浪费。

为了解决上述问题，本说明书提供了一种任务处理方法。

通过考虑处理模块的处理能力，使得处理模块的数量可以根据任务中的处理对象数量进行动态调整，从而避免造成处理模块分配的不合理，在处理对象数量较多时，可以确定较多的处理模块进行处理，其中，相同种类的不同处理模块可以并行进行处理，提高全部处理模块同时最多处理的对象数量；在处理对象数量较少时，可以确定较少的处理模块进行处理，避免处理模块资源浪费。

下面给出本说明书公开的一种任务处理方法的方法实施例。具体的方法流程可以如图4所示，为本说明书提供的一种任务处理方法的流程示意图。

需要注意的是，本实施例描述的是根据单个处理需求、针对单个类型的处理对象进行处理的方法，可以理解的是，针对不同处理需求、或者不同类型的处理对象时，也可以采用本实施例进行处理。

该方法可以包括以下步骤。

S101：根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块。

其中，S101具体可以是确定用于根据该处理需求、处理该类型的对象的若干类处理模块。本实施例并不限定具体的处理模块种类，只要能够根据该处理需求、处理该类型的对象即可。

以下列举的实例仅仅用于示例性说明。

根据内容审查需求、针对图像类型的对象，可以确定图像内容审查模块用于处理、也可以确定图像信息提取模块和信息审查模块用于处理。

根据暴力信息检测需求、针对文本类型的对象，可以确定文本暴力信息检测模块用于处理，也可以确定文本信息提取模块和暴力信息检测模块用于处理。

其中，根据同一处理需求和同一对象类型所确定的若干类处理模块之间可以具有处理对象的先后顺序。例如，针对文本类型的对象，可以先使用文本信息提取模块进行处理，再针对处理结果使用暴力信息检测模块进行处理。文本信息提取模块和暴力信息检测模块可以是串联关系，针对处理对象进行处理。

此外，S101中的若干类处理模块可以是一类、也可以是多类。本实施例并不限定。

需要注意的是，S101中只确定了用于处理的处理模块种类，并未确定用于处理的处理模块数量。具体的数量可以在之后的步骤中确定。

S102：根据每类处理模块的处理能力，确定若干类处理模块中单类模块的处理能力最大值为N。

S102具体可以是针对S101中确定的若干类处理模块，在所确定的全部处理模块种类的单类处理模块处理能力中，确定最大值为N。

例如，S101所确定的全部5个处理模块种类中，每个单类处理模块的处理能力分别是3、4、5、3、5。则确定最大值N等于5。

这里确定N的目的在于确定基本处理单元同时最多能够处理的对象数量。而具体确定最大值为N是一种具体的方法。可选地，也可以根据其他需求确定N，具体在下文解释，此处暂不赘述。

其中，单类处理模块的处理能力，可以用于表征单个该类处理模块可同时处理的对象数量上限。

例如，某些处理模块可以同时最多处理最多1个图像类型的对象，则处理能力可以为1；某些处理模块可以同时最多处理5个文本类型的对象，则处理能力可以为5。当然，本实施例并不限定具体的处理能力的计算方式。

S103：在待处理任务中的处理对象数量M大于N的情况下，将M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N。

在任务中处理对象数量较多时，即M大于N的情况下，如果针对M个处理对象进行划分，由于划分得到的每个集合中包含的对象数量小于或等于处理能力最大值N，那么针对S101中所确定的全部处理模块种类，至少存在一类处理模块，单个该类处理模块可以同时处理任一集合中全部的处理对象。

当然，本实施例并不限定具体的划分方法，只要划分结果中每个集合包含的处理对象数量小于或等于N即可，以下具体实例仅仅用于示例性说明。

例如，计算M和N的商，如果存在余数，则可以将商加一的结果确定为X，从而将M个处理对象划分为X-1个包含N个处理对象的集合、以及1个包含处理对象的数量与余数相同的集合。

如果不存在余数，则可以将商确定为X，从而将M个处理对象划分为X个包含N个处理对象的集合。

而M小于或等于N的情况在下文描述，此处暂不赘述。

S104：构建基本处理单元。

本实施例并不限定具体的构建方法，只要基本处理单元中，包括S101确定的若干类处理模块，且若干类处理模块中每类处理模块的数量与该处理模块的处理能力乘积大于或等于N即可。

这是为了使得基本处理单元同时最多处理的对象数量大于或等于S103中划分得到的任一集合中的对象数量，从而使得任一基本处理单元可以同时处理任一S103中划分得到的集合。

具体确定每类处理模块的数量的方法，本实施例并不限定，以下实例仅仅用于示例性说明。

例如，针对S101中确定的若干类处理模块中的每一类处理模块i，执行以下操作：确定该类处理模块的数量W_i，以使W_i与该类处理模块的处理能力乘积大于或等于N；将W_i个该类处理模块添加到基本处理单元。

更具体的例子例如，针对若干类处理模块中的每类处理模块，可以执行以下操作：确定该类处理模块的处理能力，并可以计算N与该类处理模块的处理能力的商，如果存在余数，则可以将商加一的结果确定为该类处理模块在基本处理单元中的数量；如果不存在余数，则可以将商确定为该类处理模块在基本处理单元中的数量。

如果S101中确定了至少2类处理模块，则不同类的处理模块之间可以预先设置有处理的先后顺序，在构建基本处理单元时，就可以根据预设的先后顺序将不同类处理模块进行排列和构建。

为了便于理解，如图5所示，为本说明书提供的一种基本处理单元的结构示意图。其中，基本处理单元可以由3类处理模块构成，分别是文本信息提取模块、信息综合模块、违规信息识别模块，这3类处理模块可以按照预设的文本信息提取模块-信息综合模块-违规信息识别模块顺序，针对处理对象进行顺序处理。

基本处理单元可以包含2个文本信息提取模块、3个信息综合模块、1个违规信息识别模块。具体的结构如图5所示，根据预设的先后顺序进行构建。

需要注意的是，图5中所示的基本处理单元仅仅是一种示例，并不能限定本实施例公开的范围。

由于构建的基本处理单元中，包含的每一类处理模块的数量与处理能力的乘积大于或等于N，则每一类处理模块都可以同时处理最多N个对象，也就是说，基本处理单元至少可以同时最多处理N个对象。

S105：调用X个基本处理单元，对X个处理对象集合进行并行处理。

在S104构建完基本处理单元后，由于S103中将任务需要处理的对象划分为X个集合，每个集合包含的对象数量小于或等于N，也就是说，S104中构建的基本处理单元可以同时处理S103中划分的任一集合中的全部对象。

因此，S105中为了提高任务处理效率，并且尽量不浪费处理模块的资源，可以调用X个基本处理单元，分别对S103中划分的X个处理对象集合进行并行处理。

其中，X个基本处理单元可以与X个处理对象集合一一对应，不同的基本处理单元可以处理不同的处理对象集合。

显然，X个基本处理单元可以同时处理X个处理对象集合，也就是任务中全部的M个处理对象。调用X个基本处理单元可以在一次处理中处理任务中全部的对象。

为了便于进一步理解，下面给出一个基本处理单元针对处理对象进行处理的实例，当然，该实例仅仅用于示例性说明，并不能限定本实施例的范围。

基于如图5所示的基本处理单元，其中，文本信息提取模块的处理能力具体可以是3，信息综合模块的处理能力具体可以是2，违规信息识别模块的处理能力具体可以是6。

基本处理单元在同时处理6个处理对象时，可以是先将6个处理对象拆分为2个集合，每个集合中包含3个处理对象，2个集合分别由2个文本信息提取模块同时进行并行处理；再将得到的6个处理结果划分为3个集合，每个集合中包含2个处理对象，3个集合分别由3个信息综合模块同时进行并行处理；最后得到的6个处理结果都由1个违规信息识别模块同时进行处理。

在解释完S101-S105之后，下面针对M小于或等于N的情况进行解释。

如果M小于或等于N，则S104中构建的1个基本处理单元可以同时处理M个处理对象，因此，在M小于或等于N的情况下，可以并不进行划分，也可以不调用多个基本处理单元，直接通过S104构建一个基本处理单元针对M个处理对象进行同时处理。

上述实施例通过考虑每类处理模块的处理能力，动态调整每类处理模块的数量，使得针对不同数量的任务处理对象，可以调用多个基本处理单元，在一次处理中针对全部的任务处理对象同时进行处理，从而实现处理模块的动态合理配置，既能提高任务处理效率，也能节省处理模块的资源。

为了便于理解上述实施例的效果，如图6所示，为本说明书提供的一种任务处理方法的原理示意图。

其中，其中，存在2个待处理的任务，任务一的处理需求是违规检测，处理对象包括10张图像；任务二的处理需求是违规检测，处理对象包括100张图像。而针对为图像进行违规检测的任务，需要使用处理能力为30的违规图像识别模块进行处理。

在处理任务一时，基于上述实施例，由于违规图像识别模块的处理能力30大于任务一中的对象数量10，因此，可以调用1个违规图像识别模块同时处理任务一中的10张图像。处理模块的资源没有被浪费。

而在处理任务二时，基于上述实施例，由于违规图像识别模块的处理能力30小于任务二中的对象数量100，因此，首先将任务二中的100张图像划分为4个对象集合，每个集合中的图像数量都小于或等于30。作为一种实例，4个集合中的对象数量可以分别是30、30、20、20。当然，这种实例仅仅用于示例性说明，并不能限定本实施例。

然后，可以调用4个违规图像识别模块同时并行处理4个集合，4个违规图像识别模块与4个集合一一对应，不同的违规图像识别模块可以处理不同的集合中的对象。

显然，调用4个违规图像识别模块可以在一次处理中处理完成任务二中全部的100张图像。任务处理效率较高。

除了上述实施例，本说明书还提供了另一种方法实施例。如图7所示，为本说明书提供的另一种任务处理方法的流程示意图。

需要注意的是，本实施例描述的是根据单个处理需求、针对单个类型的处理对象进行处理的方法，可以理解的是，针对不同处理需求、或者不同类型的处理对象时，也可以采用本实施例进行处理。

该方法可以包括以下步骤。

S201：根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块。

S202：根据每类处理模块的处理能力，确定若干类处理模块中单类模块的处理能力最小值为N。

S203：在待处理任务中的处理对象数量M大于N的情况下，将M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N。

S204：构建基本处理单元。

本实施例并不限定具体的构建方法，只要基本处理单元中，包括S201确定的若干类处理模块即可。

由于N为S201中确定的若干类处理模块中处理能力最小值，因此，S201中确定的每类处理模块的处理能力都大于或等于N，基本处理单元中的每类处理模块可以是单个。

显然，S204所构建的基本处理单元也可以同时处理N个处理对象。

S205：调用X个基本处理单元，对X个处理对象集合进行并行处理。

详细解释可以具体参见上述实施例，此处不再赘述。

而本说明书中还提供了其他方法实施例，并不限定N的确定方法。具体的方法除了上述两个方法实施例中根据最大值和最小值确定，还可以是根据众数、中位数、平均值等等进行确定。

当然，这些实例仅仅用于示例性说明，并不能限定本说明书公开的范围。

而相对应地，在构建基本处理单元时，并不限定具体的构建方法，只要单个基本处理单元能够同时处理N个对象即可。

不论如何确定N，由于基本处理单元可以同时处理N个对象，因此，在M大于N的情况下，可以调用X个基本处理单元并行处理，都可以在一次处理中处理全部的M个处理对象；而在M小于或等于N的情况下，单个基本处理单元可以在一次处理中处理全部的M个处理对象。

因此，本说明书公开的上述多个实施例，同样可以实现提高任务处理效率，并避免处理模块资源浪费的问题等技术效果。

为了便于进一步的理解，本说明书还提供了一种应用方法实施例。具体的应用场景可以包括：针对任务中100张图像、以及内容审查的需求进行处理。需要注意的是，该场景仅仅用于示例性说明，并不能限定本说明书公开的范围。

该方法至少可以包括以下步骤。

S301：根据待处理任务中的图像类型以及内容审查的处理需求，确定用于处理该任务的图像内容提取模块和内容审查模块。

其中，图像内容提取模块的处理能力可以是4，内容审查模块的处理能力可以是9。

S302：根据每类处理模块的处理能力，确定若干类处理模块中单类模块的处理能力最大值9。

S303：在待处理任务中的处理对象数量100大于9的情况下，计算100和9的商为11，余数为1，因此，可以将100个处理对象划分为12个处理对象集合。具体可以是11个集合中都包含9个处理对象，剩下的1个集合中包含1个处理对象。

其中，每个集合包含的处理对象数量小于或等于9。

当然，作为另一种实施例，具体也可以是8个集合中包含8个处理对象，剩下4个集合中包含9个处理对象。只要每个集合包含的处理对象数量小于或等于9即可。

S304：构建基本处理单元。

基本处理单元可以包括1个内容审查模块，以及3个图像内容提取模块。其中，3个图像内容提取模块可以同时并行处理共12个处理对象，大于9。

S305：调用12个基本处理单元，对12个处理对象集合进行并行处理。

以单个基本处理单元同时处理9个处理对象为例，具体可以是3个图像内容提取模块分别处理3个处理对象，并将9个处理结果输入到1个内容审查模块进行处理。

除了上述方法实施例，本说明书还提供了对应的装置实施例。

装置实施例一。

如图8所示，为本说明书提供的一种任务处理装置的结构示意图，该装置中可以至少包括以下单元。

第一确定单元401：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块。

第一划分单元402：用于根据每类处理模块的处理能力，确定若干类处理模块中单类模块的处理能力最大值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在待处理任务中的处理对象数量M大于N的情况下，将M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N。

第一构建单元403：用于构建基本处理单元；其中，每个基本处理单元中，包括若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N。

第一并行处理单元404：用于调用X个基本处理单元，对X个处理对象集合进行并行处理。

其中，第一划分单元402具体可以用于：计算M和N的商，如果存在余数，则将商加一的结果确定为X，从而将M个处理对象划分为X-1个包含N个处理对象的集合、以及1个包含处理对象的数量与余数相同的集合；如果不存在余数，则可以将商确定为X，从而将M个处理对象划分为X个包含N个处理对象的集合。

第一构建单元具体可以用于：针对若干类处理模块中的每一类处理模块i，执行以下操作：确定该类处理模块的数量W_i，以使W_i与该类处理模块的处理能力乘积大于或等于N；将W_i个该类处理模块添加到基本处理单元。

此外，该装置还可以包括：独立处理单元405：用于在待处理任务中的处理对象数量M小于或等于N的情况下，调用1个基本处理单元对M个处理对象进行处理。

装置实施例二。

如图9所示，为本说明书提供的另一种任务处理装置的结构示意图。该装置可以至少包括以下单元。

第二确定单元501：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块。

第二划分单元502：用于根据每类处理模块的处理能力，确定若干类处理模块中单类模块的处理能力最小值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在待处理任务中的处理对象数量M大于N的情况下，将M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N。

第二构建单元503：用于构建基本处理单元；其中，每个基本处理单元中，包括若干类处理模块，且每类处理模块的数量为1。

第二并行处理单元504：调用X个基本处理单元，对X个处理对象集合进行并行处理。

上述两个装置实施例的详细解释可以参考上述方法实施例。

当然，上述两个装置实施例仅仅用于示例性说明，并不能限定本说明书公开的范围。与上述方法实施例相对应的装置实施例都在本说明书公开的范围之内。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现一种任务处理方法。

图10示出了本说明书实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种任务处理方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护。

Claims (11)

1.一种任务处理方法，包括：

根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最大值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；

在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N；

调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

2.根据权利要求1所述的方法，所述将所述M个处理对象划分为X个处理对象集合，包括：

计算M和N的商，如果存在余数，则将商加一的结果确定为X，从而将所述M个处理对象划分为X-1个包含N个处理对象的集合、以及1个包含处理对象的数量与余数相同的集合；

如果不存在余数，则将商确定为X，从而将M个处理对象划分为X个包含N个处理对象的集合。

3.根据权利要求1所述的方法，所述构建基本处理单元，包括：

针对所述若干类处理模块中的每一类处理模块i，执行以下操作：

确定该类处理模块的数量W_i，以使W_i与该类处理模块的处理能力乘积大于或等于N；

将W_i个该类处理模块添加到基本处理单元。

4.根据权利要求1所述的方法，所述方法还包括：

在所述待处理任务中的处理对象数量M小于或等于N的情况下，调用1个基本处理单元对所述M个处理对象进行处理。

5.一种任务处理方法，包括：

根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最小值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；

在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量为1；

调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

6.一种任务处理装置，包括：

第一确定单元：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

第一划分单元：用于根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最大值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

第一构建单元：用于构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量与该类处理模块的处理能力乘积大于或等于N；

第一并行处理单元：用于调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

7.根据权利要求6所述的装置，所述第一划分单元用于：

计算M和N的商，如果存在余数，则将商加一的结果确定为X，从而将所述M个处理对象划分为X-1个包含N个处理对象的集合、以及1个包含处理对象的数量与余数相同的集合；

如果不存在余数，则将商确定为X，从而将M个处理对象划分为X个包含N个处理对象的集合。

8.根据权利要求6所述的装置，所述第一构建单元用于：

针对所述若干类处理模块中的每一类处理模块i，执行以下操作：

确定该类处理模块的数量W_i，以使W_i与该类处理模块的处理能力乘积大于或等于N；

将W_i个该类处理模块添加到基本处理单元。

9.根据权利要求6所述的装置，所述装置还包括：

独立处理单元：用于在所述待处理任务中的处理对象数量M小于或等于N的情况下，调用1个基本处理单元对所述M个处理对象进行处理。

10.一种任务处理装置，包括：

第二确定单元：用于根据待处理任务中的处理对象类型以及处理需求，确定用于处理该任务的若干类处理模块；

第二划分单元：用于根据每类处理模块的处理能力，确定所述若干类处理模块中单类模块的处理能力最小值为N；其中，任一类处理模块的处理能力，用于表征单个该类处理模块可同时处理的对象数量上限；在所述待处理任务中的处理对象数量M大于N的情况下，将所述M个处理对象划分为X个处理对象集合，使得每个集合包含的处理对象数量小于或等于N；

第二构建单元：用于构建基本处理单元；其中，每个基本处理单元中，包括所述若干类处理模块，且每类处理模块的数量为1；

第二并行处理单元：用于调用X个基本处理单元，对所述X个处理对象集合进行并行处理。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。

Images