CN110764892A - 任务处理方法、设备及计算机可读存储介质 - Google Patents

Abstract

本公开实施例提供一种的任务处理方法、设备及计算机可读存储介质，包括：计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，空闲队列是任务平台在队列列表中确定的；计算引擎获取已开启的计算单元的运行信息，并根据运行信息确定空闲计算单元；计算引擎将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理。本公开实施例提供的方案，任务平台通过空闲队列向计算引擎发送生成数据包的任务，计算引擎将接收的生成数据包的任务分配给空闲计算单元进行处理，因此，本公开实施例提供的任务处理方法能够调配任务，从而合理调度各个任务，充分利用计算引擎的计算资源。

Description

任务处理方法、设备及计算机可读存储介质

技术领域

本公开实施例涉及打包任务处理技术，尤其涉及一种任务处理方法、设备及计算机可读存储介质。

背景技术

目前，在很多应用场景中都需要对人群进行划分，从而向每类人群提供个性化服务。例如，针对不同的人群可以推送不同的信息，进而向用户推荐符合其需求的有效信息。

现有技术中，人群划分时，可以根据原始人群数据，在人群包平台输入打包任务对应的SQL(Structured Query Language，结构化查询语言)语句，并通过Spark(ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎)等运算引擎执行该SQL，进而完成人群打包的计算和处理。

但是，现有技术的方案中，通过Spark等运算引擎执行该SQL时，打包任务调度不合理，造成打包时间长或浪费资源的问题。

发明内容

本公开实施例提供一种任务处理方法、设备及计算机可读存储介质，以实现在进行在线试验时，能够在试验方案中确定异常方案的目的。

第一方面，本公开实施例提供一种任务处理方法，包括：

计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

所述计算引擎获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

所述计算引擎将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

第二方面，本公开实施例提供一种任务处理设备，包括：

接收模块，用于接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

计算单元确定模块，用于获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

处理模块，用于将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的任务处理方法。

第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及所述的任务处理方法。

本公开实施例提供一种的任务处理方法、设备及计算机可读存储介质，包括：计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，空闲队列是任务平台在队列列表中确定的；计算引擎获取已开启的计算单元的运行信息，并根据运行信息确定空闲计算单元；计算引擎将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理。本公开实施例提供的方案，任务平台通过空闲队列向计算引擎发送生成数据包的任务，计算引擎将接收的生成数据包的任务分配给空闲计算单元进行处理，因此，本公开实施例提供的任务处理方法能够调配任务，从而合理调度各个任务，充分利用计算引擎的计算资源。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的任务处理方法流程示意图一；

图2为本公开实施例提供的任务处理方法流程示意图二；

图3为本公开实施例提供的任务处理设备的结构框图；

图4为适于用来实现本公开实施例的电子设备400的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

目前，在很多应用场景中，都需要对数据进行打包，具体需要在数据中筛选出目标数据，并对其进行打包，例如根据数据对人群进行分类。例如在信息推广、产品推荐等应用场景中，需要对人群进行分类，从而向目标人群推送信息、产品。现有技术中，可以在任务平台上传原始人群数据，还可以输入生成数据包的任务，进而通过Spark等计算引擎执行该生成数据包的任务，在原始人群中确定出与生成数据包的任务相符的人群包。

但是，在生成数据包的任务平台向计算引擎发送生成数据包的任务时，需要用户选择平台与引擎之间的队列，从而通过该队列发送生成数据包的任务。这就提高了用户的操作成本。此外，计算引擎对生成数据包的任务进行处理时，需要创建计算单元，例如在Spark引擎中，需要创建SparkContext，使得电子设备在每次执行生成数据包的任务时，都需要消耗一定的资源去创建计算单元。

参考图1，图1为本公开实施例提供的任务处理方法流程示意图一。

步骤101，计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，空闲队列是任务平台在队列列表中确定的。

本公开实施例提供的方法可以由具备计算功能的电子设备执行，例如计算机。还可以将任务平台与计算引擎设置在不同的电子设备中，在这种情况下，可以由包括多个电子设备的系统执行本公开实施例提供的方法。

其中，可以在电子设备中设置一个任务平台，用户可以在任务平台中输入原始数据。例如，用户可以将获取的原始人群数据上传至任务平台。

具体的，用户还可以在任务平台中输入生成数据包的条件，例如可以是人群打包需求，人群打包需求例如可以是人群包的限制条件。例如，需要对90后人群进行推广产品A，则输入的人群包的限制条件可以是90后。

进一步的，通过本实施例提供的方法，能够根据生成数据包的条件，在原始数据中确定符合条件的数据包。

实际应用时，任务平台与计算引擎之间设置有多个队列，可以通过这些队列向计算引擎发送生成数据包的任务。该生成数据包的任务例如可以是SQL语句的形式，可以由用户在任务平台中写一条SQL语句，从而向任务平台发送生成数据包的任务。

还可以根据用户输入的人群打包需求确定生成数据包的任务，例如，可以根据人群打包需求确定SQL语句，还可以将一个需求拆分为多个SQL语句，每个SQL语句可以是一个生成数据包的任务。

其中，任务平台可以获取每个队列中对应的任务，例如，队列1中待处理的任务有100个，队列2中待处理的任务有50个等。并根据队列中任务的情况，确定出空闲队列。例如，可以将上述队列2确定为空闲队列。

具体的，还可以获取每个队列消耗的资源，例如内存、CPU等，并根据预先分配给每个队列的总资源，确定各个队列的剩余资源，可以将剩余资源最多的队列作为空闲队列。

任务平台可以通过确定的空闲队列，向计算引擎发送生成数据包的任务，使得计算引擎能够接收到该任务。当任务平台中确定出多个生成数据包的任务时，还可以通过衡量每个队列中的任务情况，通过不同的队列发送生成数据包的任务。

进一步的，上述空闲队列是指相对空闲的队列，即在所有队列中相对空闲的队列，并非绝对空闲。

步骤102，计算引擎获取已开启的计算单元的运行信息，并根据运行信息确定空闲计算单元。

实际应用时，计算引擎在执行SQL语句时，需要创建计算单元。例如，当计算引擎是Spark时，计算单元是SparkContext，SparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和Spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。

其中，本公开实施例提供的方法中，可以预先创建计算单元。例如，可以在Spark引擎初始化时，创建多个SparkContext，并通过这些SparkContext处理生成数据包的任务。具体的，当SparkContext处理完其正在处理的生成数据包的任务后，若还存在未处理的生成数据包的任务，则可以不释放SparkContext，从而能够基于SparkContext处理其他未处理的生成数据包的任务。

当计算引擎接收到生成数据包的任务后，可以在多个计算单元中确定空闲计算单元。

具体的，可以采集每个计算单元处理的任务数量，可以将任务数量较少的计算单元作为空闲计算单元。还可以统计每个计算单元处理任务的速度，可以将生成数据包的任务速度最快的计算单元作为空闲SparkContext。还可以随机将任一个计算单元作为空闲计算单元。

进一步的，若根据获取的运行信息确定每个计算单元都满载运行，例如，每个计算单元正在处理的任务数量都大于预设值，则本公开实施例的方法中还可以创建新的计算单元，并将新创建的计算单元作为空闲计算单元，进而可以通过新创建的计算单元处理新接收的生成数据包任务。

步骤103，计算引擎将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理。

实际应用时，可以将接收的生成数据包的任务分配给确定的空闲计算单元，从而使空闲计算单元对生成数据包的任务进行处理。由于处理新接收的生成数据包的任务的计算单元是确定出的空闲计算单元，从而能够均衡各个计算单元的负载。

其中，计算引擎接收生成数据包的任务后，就可以根据当前计算单元的运行情况，确定出空闲计算单元，从而使得生成数据包的任务能够被当前的空闲计算单元处理。进而能够提高生成数据包的任务的处理速度。

本公开实施例提供的方案用于处理任务，该方法由设置有本公开实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

本公开实施例提供的任务处理方法，包括：计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，空闲队列是任务平台在队列列表中确定的；计算引擎获取已开启的计算单元的运行信息，并根据运行信息确定空闲计算单元；计算引擎将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理。本公开实施例提供的任务处理方法，任务平台通过空闲队列向计算引擎发送生成数据包的任务，计算引擎将接收的生成数据包的任务分配给空闲计算单元进行处理，因此，本公开实施例提供的生成数据包的任务处理方法能够调配任务，从而合理调度各个任务，充分利用计算引擎的计算资源。

参考图2，图2为本公开实施例提供的任务处理方法流程示意图二。

本公开实施例提供的任务处理方法，具体包括：

步骤201，计算引擎从任务平台获取初始人群数据，以使空闲计算单元根据人群生成数据包的任务在初始人群数据中确定人群包。

可选的，生成数据包的任务包括人群打包任务；此时，本实施例提供的方法还可以包括步骤201。

其中，任务平台例如可以设置在运营商侧，还可以设置一与任务平台对应的前端，用户可以在前端进行操作，上传初始人群数据。

具体的，初始人群数据可以是用户统计得到的用户人群数据，例如，该用户可以是信息提供方，其可以获取访问信息页面的用户信息，并根据这些用户信息确定初始人群数据。可以认为这些人群中，存在基于信息进行购物的潜在用户。

进一步的，用户还可以通过其他方式得到初始人群数据，例如，从大数据公司购买得到，比如可以将年轻女性用户作为初始人群。

实际应用时，任务平台还可以接收生成数据包的任务，生成数据包的任务用于指示计算引擎根据初始人群数据确定人群包，该人群包中包括符合生成数据包的任务的用户数据。

其中，计算引擎在确定人群包时，可以从任务平台获取初始数据，进而根据人群初始数据执行相应的任务，得到人群包。

步骤202，计算引擎接收任务平台通过空闲队列发送的生成数据包的任务。

其中，空闲队列是任务平台采集队列列表中每个队列的资源利用信息，并根据资源利用信息在队列中确定的。其中，任务平台接收到生成数据包的任务后，可以通过队列向计算引擎发送相应的生成数据包的任务。可以设置多个用于向计算引擎发送任务的队列，可以为每个队列分配资源，从而使这些队列可以基于分配的资源进行数据处理。

具体的，还可以设置一队列列表，队列列表中可以包括每个队列的信息，例如标识、资源消耗信息等。

进一步的，任务平台可以在多个队列中确定出空闲队列。具体可以采集队列列表中每个队列的资源利用信息，并根据资源利用信息确定空闲队列。

实际应用时，任务平台可以获取分配给每个队列的资源总量，并获取每个队列已经使用的资源利用信息，可以根据这两个信息确定出每个队列的资源剩余信息。例如，可以计算一个队列的资源总量与资源利用信息的差，作为资源剩信息。比如分配的资源包括内存、CPU利用率，则可以使用分配的内存总量减去队列当前占用的内存，从而得到内存剩余值，还可以使用分配给队列的CPU利用率减去队列当前占用的CPU利用率，从而得到CPU利用率的剩余值。

其中，可以将剩余资源信息最多的队列作为空闲队列。

步骤2031，计算引擎获取已开启的计算单元的运行信息，其中，计算单元的运行信息包括计算单元运行子任务的数量。

在一种实施方式中，计算引擎获取已开启的计算单元的运行信息，具体可以获取每个计算单元运行子任务的数量。

进一步的，计算单元每处理一个子任务，就会开启一个对应的任务线程，因此，可以根据每个计算单元对应的任务数量，来确定该计算单元是否空闲。例如，若子任务数量超出一个阈值，则可以认为该计算单元是繁忙的。

实际应用时，有可能计算单元处理的是一个完整的生成数据包的任务，也有可能将一个生成数据包的任务拆分为多个小的任务，由多个计算单元进行处理。因此，本实施例提及的子任务，既可以是一个完整的生成数据包的任务，也可以是对一个生成数据包的任务进行拆分后得到的小任务。

实际应用时，步骤2031之后还可以执行步骤2041。

步骤2041，根据子任务数量在计算单元中确定空闲计算单元。

实际应用时，若运行信息包括计算单元对应的子任务数量，则可以根据子任务数量，在多个开启的计算单元中确定空闲计算单元。

其中，可以将子任务数量最少的计算单元确定为空闲计算单元。若子任务数量少，则可以认为计算单元正在处理的任务较少，因此，相对于其他计算单元来说，其较为空闲。

步骤2032，计算引擎获取已开启的计算单元的运行信息，其中，计算单元的运行信息包括计算单元处理子任务的速度。

具体的，计算引擎还可以统计各个计算单元处理子任务的速度。例如，其可以计算每个计算单元处理任务的平均速度，若计算单元处理任务速度较快，则可以认为其是空闲计算单元。

进一步的，当计算单元处理的子任务较少时，每个任务所分配到的资源就会较多，进而每个任务的处理速度也会快一些。当计算单元的任务量增加，分配到每个任务的资源也会降低，各个任务的处理速度也会下降。因此，当计算单元处理任务速度快时，可以认为该计算单元处理的任务数量较少，从而向其分配新的任务，当计算单元处理任务速度下降后，可以认为其被分配到的任务较多，导致处理速度下降，此时，可以优先向其他的计算单元分配生成数据包的任务。

实际应用时，步骤2032之后还可以执行步骤2042。

步骤2042，根据处理速度在计算单元中确定空闲计算单元。

实际应用时，可以将处理速度最快的计算单元作为空闲计算单元，从而将新接收的任务分配给该计算单元，能够更加合理的向计算单元分配任务。

可选的，计算单元的运行信息还可以同时包括计算单元运行子任务的数量、计算单元处理生成数据包的任务的处理速度，在这种情况下，可以结合这两个信息在计算单元中确定空闲计算单元。

步骤205，计算引擎将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理，根据生成数据包的任务在初始人群数据中确定人群包。

步骤205与步骤103中分配生成数据包的任务的具体原理和实现方式类似，此处不再赘述。

其中，空闲计算单元可以对接收的任务进行处理，进而在初始人群数据中确定人群包。例如，一个任务中包括确定1000个可能基于信息进行消费的用户，则空闲计算单元可以根据初始人群数据，在其中确定出1000个用户，形成人群包。

计算单元接收的任务可以是完整的生成数据包的任务，也可以是生成数据包的任务被拆分后得到的小任务。

在步骤2031或2032之后，还可以包括步骤206。

步骤206，计算引擎根据计算单元的运行信息创建新的计算单元，和/或，根据计算单元的运行信息关闭已开启的计算单元。

具体的，计算引擎在获取了计算单元的运行信息之后，还可以根据运行信息确定当前开启的计算单元负载情况，例如，是否存在无法处理任务的情况。

进一步的，计算引擎可以根据计算单元的负载情况确定创建新的计算单元，或是关闭已开启的计算单元，从而释放相应的资源。

实际应用时，若计算引擎确定每个计算单元都处于饱和状态，则可以创建新的计算单元。这种实施方式中，还可以将新创建的计算单元作为空闲计算单元。

其中，若计算k引擎确定计算单元中存在计算单元均不饱和，且低于预设状态，则可以关闭其中的一些计算单元。

具体的，可以确定每个计算单元的运行状态，由于本公开实施例提供的方法能够均衡的为各个计算单元分配任务，因此，若任务压力较小，则每个计算单元都可能处在不饱和的状态。

进一步的，还可以设置一预设任务量，若每个计算单元正在处理的任务量均小于预设任务量，或预设比例的计算单元正在处理的任务量均小于预设任务量，则可以认为当前开启的计算单元存在闲置情况。

实际应用时，可以根据各个计算单元的运行信息，从中确定出较为空闲的闲置计算单元，并关闭该闲置计算单元。同时，为了使该闲置计算单元中的任务能够被处理，可以将其分配给其他未被关闭的计算单元。通过这种实施方式，能够更加合理的利用资源，并实现合理调度生成数据包的任务。

其中，本公开实施例提供的方法，还设置有预设数量的常开计算单元，可以为其分配常驻内存，并使常开计算单元在计算引擎开启时一直处于开启状态。现有技术中，当计算单元处理完任务后，会关闭该计算单元，从而释放其占用的资源。但是，这种方式会导致计算引擎再次接收任务后，继续创建计算单元，进而使得计算引擎会经常性的创建、关闭计算单元，造成浪费电子设备性能的问题。

具体的，本公开实施例提供的方法中，常开计算单元在计算引擎开启时也一直开启，这种情况下，可以避免经常性的创建、关闭计算单元。

进一步的，根据计算单元的运行信息关闭计算单元时，被关闭的计算单元中不包括常开计算单元。例如，当根据计算单元的运行信息确定需要关闭计算单元时，可以在其中关闭不是常开计算单元的计算单元。若不包括其他计算单元，当前开启的计算单元均为常开SparkContext，则不关闭计算单元。

步骤207，根据计算单元确定的人群包、月活用户信息确定目标人群。

在步骤205之后，还可以执行步骤207。

其中，可以在内存中预先缓存月活用户信息。该月活用户信息可以是信息推广平台中的月活用户，例如，具体指一APP的月活用户，可以在该APP中推广信息。

具体的，可以根据确定的人群包、以及预先存储的月活用户信息确定目标人群，从而向这些目标人群进行推广。

进一步的，确定出的人群包中的人群是指满足生成数据包任务中条件的人群，也就是用户希望推广的人群。而这些人群并不一定都是推广平台的用户，因此，可以根据计算单元确定的人群包、月活用户信息确定出交集人群，作为目标人群。

步骤208，计算引擎监控每个计算单元处理子任务的处理信息，并根据与生成数据包的任务对应的子任务的处理信息，确定生成数据包的任务对应的处理进度。

实际应用时，计算引擎可以监控每个计算单元处理子任务的信息，例如，可以监控每个计算单元中每个子任务的处理信息，并根据与生成数据包的任务对应的子任务的处理信息确定生成数据包的任务对应的处理进度。

其中，处理进度包括两种，一种是处理中，另一种是处理完成。例如可以由处理中、处理完成组成。

具体的，还可以设置一计算引擎的接口，可以通过该接口调取处理进度信息，并通过前端进行展示，以使用户能够看到计算引擎处理各个生成数据包的任务的状态。

进一步的，若根据处理信息确定计算单元处理子任务失败，则拉起该子任务，以使该子任务的处理进度为处理中。通过这样的方式能够不需要用户对失败的任务进行处理，计算引擎能够自动重启失败的任务，因此，本公开实施例提供的方案中，任务的处理进度可以是处理中，或者是处理完成。

实际应用时，任务平台还可以接收一包括类别信息的控制指令，该控制指令还可以包括该类别对应的处理频率。任务平台可以根据该控制指令，控制向计算引擎发送类别信息对应的生成数据包的任务的频率，进而实现频控。

例如，用户在任务平台中进行操作，输入任务类别A，还可以输入类别A对应的频率p，进而使得任务平台在向计算引擎发送生成数据包的任务时，可以基于该控制指令进行发送。

此外，任务平台接收到控制指令后，还可以根据该控制指令向计算引擎发送控制信息，以使计算引擎根据该控制信息对各个生成数据包的任务进行处理，从而实现频控。

本公开实施例提供的方法中，可以由任务平台进行频率控制，也可以通过计算引擎对生成数据包的任务进行频率控制。

对应于上文实施例的方法，图3为本公开实施例提供的任务的处理设备的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图3，所述设备包括：

接收模块31，用于接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

计算单元确定模块32，用于获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

处理模块33，用于将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

本公开实施例提供的任务处理设备，包括：接收模块，用于接收任务平台通过空闲队列发送的生成数据包的任务；其中，空闲队列是任务平台在队列列表中确定的；计算单元确定模块，用于获取已开启的计算单元的运行信息，并根据运行信息确定空闲计算单元；处理模块，用于将生成数据包的任务分配给空闲计算单元，以使空闲计算单元对生成数据包的任务进行处理。本公开实施例提供的任务处理设备，任务平台通过空闲队列向任务处理设备发送生成数据包的任务，设备将接收的生成数据包的任务分配给空闲计算单元进行处理，因此，本公开实施例提供的任务处理设备能够调配生成数据包的任务，从而合理调度各个生成数据包的任务，充分利用设备的计算资源。

在本公开的一个实施例中，可选的，所述设备中设置有预设数量的常开计算单元，所述常开计算单元在所述设备开启时一直处于开启状态。

在本公开的一个实施例中，可选的，所述空闲队列是所述任务平台采集所述队列列表中每个队列的资源利用信息，并根据所述资源利用信息在所述队列中确定的。

在本公开的一个实施例中，可选的，所述空闲队列是所述任务平台根据所述队列的资源总量、所述资源利用信息确定资源剩余信息，并根据所述资源剩余信息确定的。

在本公开的一个实施例中，可选的，所述计算单元的运行信息包括所述计算单元运行子任务的数量；

所述计算单元确定模块32具体用于：

根据所述子任务数量在所述计算单元中确定空闲计算单元。

在本公开的一个实施例中，可选的，所述计算单元的运行信息包括所述计算单元处理子任务的处理速度；

所述计算单元确定模块32具体用于：

根据所述处理速度在所述计算单元中确定空闲计算单元。

在本公开的一个实施例中，可选的，所述设备还包括调整模块34，用于

根据所述计算单元的运行信息创建新的计算单元，和/或，根据所述计算单元的运行信息关闭已开启的计算单元；

其中，被关闭的所述计算单元中不包括所述常开计算单元。

在本公开的一个实施例中，可选的，所述生成数据包的任务包括人群生成数据包的任务；

所述设备还包括人群确定模块34，用于预先缓存月活用户信息，并根据所述计算单元确定的人群包、所述月活用户信息确定目标人群。

在本公开的一个实施例中，可选的，所述处理模块33还用于：从所述任务平台获取初始人群数据，以使所述空闲计算单元根据人群打包任务在所述初始人群数据中确定所述人群包。

在本公开的一个实施例中，可选的，所述设备还包括监控模块35，用于：

监控每个所述计算单元处理子任务的处理信息，并根据与所述生成数据包的任务对应的子任务的所述处理信息，确定所述生成数据包的任务对应的处理进度；

所述处理进度包括处理中、和/或处理完成。

在本公开的一个实施例中，可选的，所述监控模块35具体用于：

若所述计算单元处理子任务失败，则拉起所述子任务，以使所述子任务的处理进度为所述处理中。

本公开实施例提供的任务处理设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本公开实施例此处不再赘述。

参考图4，其示出了适于用来实现本公开实施例的电子设备400的结构示意图，该电子设备400可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(Read Only Memory，简称ROM)402中的程序或者从存储装置408加载到随机访问存储器(Random Access Memory，简称RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

第一方面，根据本公开的一个或多个实施例，提供了一种任务处理方法，包括：

计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

所述计算引擎获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

所述计算引擎将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

根据本公开的一个或多个实施例，

所述计算引擎中设置有预设数量的常开计算单元，所述常开计算单元在所述计算引擎开启时一直处于开启状态。

根据本公开的一个或多个实施例，所述空闲队列是所述任务平台采集所述队列列表中每个队列的资源利用信息，并根据所述资源利用信息在所述队列中确定的。

根据本公开的一个或多个实施例，

所述空闲队列是所述任务平台根据所述队列的资源总量、所述资源利用信息确定资源剩余信息，并根据所述资源剩余信息确定的。

根据本公开的一个或多个实施例，所述计算单元的运行信息包括所述计算单元运行子任务的数量；

所述根据所述运行信息确定空闲计算单元，包括：

根据所述子任务数量在所述计算单元中确定空闲计算单元。

根据本公开的一个或多个实施例，所述计算单元的运行信息包括所述计算单元处理子任务的处理速度；

所述根据所述运行信息确定空闲计算单元，包括：

根据所述处理速度在所述计算单元中确定空闲计算单元。

根据本公开的一个或多个实施例，还包括：

所述计算引擎根据所述计算单元的运行信息创建新的计算单元，和/或，根据所述计算单元的运行信息关闭已开启的计算单元；

其中，被关闭的所述计算单元中不包括所述常开计算单元。

根据本公开的一个或多个实施例，还包括：

所述生成数据包的任务包括人群打包任务；

所述方法还包括：

预先缓存月活用户信息，并根据所述计算单元确定的人群包、所述月活用户信息确定目标人群。

根据本公开的一个或多个实施例，还包括：

所述计算引擎从所述任务平台获取初始人群数据，以使所述空闲计算单元根据人群打包任务在所述初始人群数据中确定所述人群包。

根据本公开的一个或多个实施例，还包括：

所述计算引擎监控每个所述计算单元处理子任务的处理信息；

所述计算引擎根据与所述生成数据包的任务对应的子任务的所述处理信息，确定所述生成数据包的任务对应的处理进度；

所述处理进度包括处理中、处理完成。

根据本公开的一个或多个实施例，还包括：

若所述计算单元处理所述子任务失败，则拉起所述子任务，以使所述子任务的处理进度为所述处理中。

第二方面，根据本公开的一个或多个实施例，提供了一种任务处理设备，包括：

接收模块，用于接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

计算单元确定模块，用于获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

处理模块，用于将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理.

根据本公开的一个或多个实施例，所述设备中设置有预设数量的常开计算单元，所述常开计算单元在所述设备开启时一直处于开启状态。

根据本公开的一个或多个实施例，所述空闲队列是所述任务平台采集所述队列列表中每个队列的资源利用信息，并根据所述资源利用信息在所述队列中确定的。

根据本公开的一个或多个实施例，所述空闲队列是所述任务平台根据所述队列的资源总量、所述资源利用信息确定资源剩余信息，并根据所述资源剩余信息确定的。

根据本公开的一个或多个实施例，所述计算单元的运行信息包括所述计算单元运行子任务的数量；

所述计算单元确定模块具体用于：

根据所述子任务数量在所述计算单元中确定空闲计算单元。

根据本公开的一个或多个实施例，所述计算单元的运行信息包括所述计算单元处理子任务的处理速度；

所述计算单元确定模块具体用于：

根据所述处理速度在所述计算单元中确定空闲计算单元。

根据本公开的一个或多个实施例，所述设备还包括调整模块，用于

根据所述计算单元的运行信息创建新的计算单元，和/或，根据所述计算单元的运行信息关闭已开启的计算单元；

其中，被关闭的所述计算单元中不包括所述常开计算单元。

根据本公开的一个或多个实施例，所述生成数据包的任务包括人群打包任务；

所述设备还包括人群确定模块，用于预先缓存月活用户信息，并根据所述计算单元确定的人群包、所述月活用户信息确定目标人群。

根据本公开的一个或多个实施例，所述处理模块还用于：从所述任务平台获取初始人群数据，以使所述空闲计算单元根据人群打包任务在所述初始人群数据中确定所述人群包。

根据本公开的一个或多个实施例，所述设备还包括监控模块，用于：

监控每个所述计算单元处理子任务的处理信息，并根据与所述生成数据包的任务对应的子任务的所述处理信息，确定所述生成数据包的任务对应的处理进度；

所述处理进度包括处理中、处理完成。

根据本公开的一个或多个实施例，所述监控模块具体用于：

若所述计算单元处理子任务失败，则拉起所述子任务，以使所述子任务的处理进度为所述处理中。

第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的任务处理方法。

第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及的所述任务处理方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种任务处理方法，其特征在于，包括：

计算引擎接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

所述计算引擎获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

所述计算引擎将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

2.根据权利要求1所述的方法，其特征在于，所述计算引擎中设置有预设数量的常开计算单元，所述常开计算单元在所述计算引擎开启时一直处于开启状态。

3.根据权利要求1所述的方法，其特征在于，

所述空闲队列是所述任务平台采集所述队列列表中每个队列的资源利用信息，并根据所述资源利用信息在所述队列中确定的。

4.根据权利要求3所述的方法，其特征在于，所述空闲队列是所述任务平台根据所述队列的资源总量、所述资源利用信息确定资源剩余信息，并根据所述资源剩余信息确定的。

5.根据权利要求1所述的方法，其特征在于，所述计算单元的运行信息包括所述计算单元运行子任务的数量；

所述根据所述运行信息确定空闲计算单元，包括：

根据所述子任务数量在所述计算单元中确定空闲计算单元。

6.根据权利要求1所述的方法，其特征在于，所述计算单元的运行信息包括所述计算单元处理子任务的处理速度；

所述根据所述运行信息确定空闲计算单元，包括：

根据所述处理速度在所述计算单元中确定空闲计算单元。

7.根据权利要求2所述的方法，其特征在于，还包括：

所述计算引擎根据所述计算单元的运行信息创建新的计算单元，和/或，根据所述计算单元的运行信息关闭已开启的计算单元；

其中，被关闭的所述计算单元中不包括所述常开计算单元。

8.根据权利要求1所述的方法，其特征在于，所述生成数据包的任务包括人群打包任务；

所述方法还包括：

预先缓存月活用户信息，并根据所述计算单元确定的人群包、所述月活用户信息确定目标人群。

9.根据权利要求8所述的方法，其特征在于，还包括：

所述计算引擎从所述任务平台获取初始人群数据，以使所述空闲计算单元根据人群打包任务在所述初始人群数据中确定所述人群包。

10.根据权利要求1所述的方法，其特征在于，还包括：

所述计算引擎监控每个所述计算单元处理子任务的处理信息；

所述计算引擎根据与所述生成数据包的任务对应的子任务的所述处理信息，确定所述生成数据包的任务对应的处理进度，所述处理进度包括处理中和/或处理完成。

11.根据权利要求10所述的方法，其特征在于，若所述计算单元处理所述子任务失败，则拉起所述子任务，以使所述子任务的处理进度为所述处理中。

12.一种任务处理设备，其特征在于，包括

接收模块，用于接收任务平台通过空闲队列发送的生成数据包的任务；其中，所述空闲队列是所述任务平台在队列列表中确定的；

计算单元确定模块，用于获取已开启的计算单元的运行信息，并根据所述运行信息确定空闲计算单元；

处理模块，用于将所述生成数据包的任务分配给所述空闲计算单元，以使所述空闲计算单元对所述生成数据包的任务进行处理。

13.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至11任一项所述的任务处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至11任一项所述的任务处理方法。

Images