CN115185679A - 人工智能算法的任务处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本申请公开一种人工智能算法的任务处理方法、装置、服务器及存储介质，涉及人工智能技术领域，能够提高算法处理效率且能够降低设备资源的消耗。具体方案包括：获取任务请求，任务请求中包括目标任务的任务参数和任务标识，任务请求用于请求执行目标任务，目标任务包括与人工智能算法相关的任务；根据任务标识获取对应的任务算法和目标路径；根据任务参数生成目标容器；将任务算法添加至目标容器中；在确定目标路径处存储有配置数据和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法；根据目标路径调用执行数据执行配置后的任务算法。

Description

人工智能算法的任务处理方法、装置、服务器及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人工智能算法的任务处理方法、装置、服务器及存储介质。

背景技术

随着人工智能技术在社会多行业中广泛应用，诸如短视频领域、教育领域、物流领域、零售业领域、交通领域、医疗领域等都有深入应用，可以说人工智能技术推动了社会多行业的快速成长和经济社会的迅速发展。因此对于人工智能算法的训练也有着广泛的研究。

目前的算法管理平台可以提供人工智能算法处理的相关基础功能，但目前的算法管理平台数据无法共享，数据在每次使用的过程中都需要重新获取，影响处理效率，且数据流转过程中存在多余的数据拉取和推送环节，使得设备资源的消耗较高。

发明内容

本申请提供一种人工智能算法的任务处理方法、装置、服务器及存储介质，能够提高算法处理效率且能够降低设备资源的消耗。

为达到上述目的，本申请采用如下技术方案：

本申请实施例第一方面，提供一种人工智能算法的任务处理方法，该方法包括：

获取任务请求，任务请求中包括目标任务的任务参数和任务标识，任务请求用于请求执行目标任务，目标任务包括与人工智能算法相关的任务；

根据任务标识获取对应的任务算法和目标路径；

根据任务参数生成目标容器；

将任务算法添加至目标容器中；

在确定目标路径处存储有配置数据和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法；

根据目标路径调用执行数据执行配置后的任务算法。

在一个实施例中，方法还包括：

在确定目标路径处未存储有配置数据和执行数据时，根据任务标识从预设数据库中获取对应的配置数据和执行数据；

将配置数据和执行数据存储至目标路径处。

在一个实施例中，任务参数包括：处理器核数、内存信息和容器镜像参数；

根据任务参数生成目标容器，包括：

根据处理器核数和内存信息确定容器的配置资源；

根据容器配置资源从容器镜像参数对应的容器存储路径中调用目标容器。

在一个实施例中，在根据目标路径调用执行数据执行配置后的任务算法之前，方法还包括：

获取服务器的总计算资源和剩余计算资源；

根据目标路径调用执行数据执行配置后的任务算法，包括：

根据总计算资源、剩余计算资源、处理器核数和内存信息，确定目标任务的使用资源；

利用使用资源，调用执行数据执行配置后的任务算法。

在一个实施例中，总计算资源包括总第一资源和总第二资源，总第一资源大于总第二资源；

根据总计算资源、剩余计算资源、处理器核数和内存信息，确定目标任务的使用资源，包括：

根据处理器核数和内存信息确定目标任务的资源消耗级别，资源消耗级别包括第一级别和第二级别，第一级别的任务使用总第一资源，第二级别的任务使用总第二资源；

根据剩余第一资源和剩余第二资源确定是否调整总第一资源和总第二资源的比例，剩余第一资源为总第一资源运行任务后剩余的资源，剩余第二资源总第二资源运行任务后剩余的资源；

根据调整结果和目标任务的资源消耗级别，确定目标任务的使用资源。

在一个实施例中，获取任务请求，包括：

接收终端设备发送的任务请求；或者，当满足目标任务对应的触发条件时，生成任务请求。

在一个实施例中，当目标任务为算法训练任务或样本标注任务时，触发条件包括以下至少一种：目标任务对应的执行数据中的新增数据的数量大于预设值、目标任务的训练时间间隔大于预设间隔。

本申请实施例第二方面提供一种人工智能算法的任务处理装置，该装置包括：

第一获取模块，用于获取任务请求，任务请求中包括目标任务的任务参数和任务标识，任务请求用于请求执行目标任务，目标任务包括与人工智能算法相关的任务；

第二获取模块，用于根据任务标识获取对应的任务算法和目标路径；

生成模块，用于根据任务参数生成目标容器；

处理模块，用于将任务算法添加至目标容器中；

配置模块，用于在确定目标路径处存储有配置数据和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法，配置数据用于配置任务算法，执行数据用于执行配置后的任务算法；

调用模块，用于根据目标路径调用执行数据执行配置后的任务算法。

本申请实施例第三方面，提供一种服务器，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面中的人工智能算法的任务处理方法。

本申请实施例第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面中的的人工智能算法的任务处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例提供的人工智能算法的任务处理方法，通过在获取到人工智能算法的相关任务处理请求后，根据任务处理请求中的任务标识获取对应的任务算法和目标路径，以及根据任务处理请求中的任务参数生成目标容器。然后，将任务算法添加至目标容器中，并在确定目标路径中存储有配置参数和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法。最后，根据目标路径调用执行数据来执行配置后的任务算法。本申请实施例通过将一个目标任务中的任务算法、配置数据、执行数据以及容器进行解耦，这样可以避免数据流转过程中获取到多余的数据，能够降低设备资源的消耗，同时从目标路径中获取存储的配置数据和执行数据，可以提高数据的调用效率以及实现数据的共享，进而可以提高算法的处理效率。

附图说明

图1为本申请实施例提供的一种服务器的内部结构示意图；

图2为本申请实施例提供的一种人工智能算法的任务处理方法的流程图；

图3为本申请实施例提供的一种用于进行人工智能算法的任务处理的平台的示意图；

图4为本申请实施例提供的一种容器编排工具管理模块功能实现的示意图；

图5为本申请实施例提供的一种任务队列管理模块功能实现的示意图；

图6为本申请实施例提供的一种数据集推送模块功能实现的示意图；

图7为本申请实施例提供的一种算法管理功能实现的示意图；

图8为本申请实施例提供的一种算法训练功能实现的示意图；

图9为本申请实施例提供的一种模型预测功能实现的示意图；

图10为本申请实施例提供的一种模型评估功能实现的示意图；

图11为本申请实施例提供的一种模型标注功能实现的示意图；

图12为本申请实施例提供的一种人工智能算法的任务处理装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。

随着人工智能技术在社会多行业中广泛应用，诸如短视频领域、教育领域、物流领域、零售业领域、交通领域、医疗领域等都有深入应用，可以说人工智能技术推动了社会多行业的快速成长和经济社会的迅速发展。因此对于人工智能算法的训练也有着广泛的研究。

目前的算法管理平台可以提供人工智能算法处理的相关基础功能，但目前的算法管理平台数据无法共享，数据在每次使用的过程中都需要重新获取，影响处理效率，且数据流转过程中存在多余的数据拉取和推送环节，使得设备资源的消耗较高。

为了解决上述问题，本申请实施例提供了一种人工智能算法的任务处理方法，通过在获取到人工智能算法的相关任务处理请求后，根据任务处理请求中的任务标识获取对应的任务算法和目标路径，以及根据任务处理请求中的任务参数生成目标容器。然后，将任务算法添加至目标容器中，并在确定目标路径中存储有配置参数和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法。最后，根据目标路径调用执行数据来执行配置后的任务算法。本申请实施例通过将一个目标任务中的任务算法、配置数据、执行数据以及容器进行解耦，这样可以避免数据流转过程中获取到多余的数据，能够降低设备资源的消耗，同时从目标路径中获取存储的配置数据和执行数据，可以提高数据的调用效率以及实现数据的共享，进而可以提高算法的处理效率。

本申请实施例提供的人工智能算法的任务处理方法的执行主体可以为服务器、计算机设备或终端设备，其中，终端设备可以为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等，本申请实施例对比不作具体限定。

以执行主体是服务器为例，图1为本申请实施例提供的一种服务器的内部结构示意图。如图1所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例提供的一种人工智能算法的任务处理方法的步骤。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

基于上述执行主体，本申请实施例提供一种人工智能算法的任务处理方法。如图2所示，该方法包括以下步骤：

步骤201、获取任务请求。

其中，任务请求中包括目标任务的任务参数和任务标识，任务请求用于请求执行目标任务，目标任务包括与人工智能算法相关的任务。

示例的，该目标任务可以为算法训练、样本标注、模型预测或模型评估。

需要说明的是，任务请求可以是接收终端设备发送的任务请求，还可以是当满足目标任务对应的触发条件时，自动生成任务请求。

可选的，当目标任务为算法训练或样本标注时，触发条件包括以下至少一种：目标任务对应的执行数据中的新增数据的数量大于预设值、目标任务的训练时间间隔大于预设间隔。也就是说，当目标任务为算法训练时，算法训练对应的执行数据中的新增数据的数量大于预设阈值时，则自动触发生成算法训练任务的任务请求。同时，还可以根据模型评估任务的评估结果来确定是否自动触发生成算法训练的任务请求。具体的，当模型评估得到预测模型的预测精度小于预设精度时，则自动触发生成算法训练的任务请求。通过上述自动触发机制可以提高人工智能算法的任务处理的效率和管理智能性。

步骤202、根据任务标识获取对应的任务算法和目标路径。

其中，当目标任务为算法训练时，任务算法为待训练的算法；当目标任务为样本标注时，任务算法为样本标注程序；当目标任务为模型预测时，任务算法为用于进行预测的模型；当任务算法为模型评估时，任务算法为进行评估的模型。

步骤203、根据任务参数生成目标容器。

可选的，任务参数可以包括：处理器核数、内存信息和容器镜像参数。对应的，根据任务参数生成目标容器的过程可以为：根据处理器核数和内存信息确定容器的配置资源，并根据容器配置资源从容器镜像参数对应的容器存储路径中调用目标容器。

也就是说，根据任务参数生成目标容器的过程可以理解为根据容器镜像参数确定容器的存储位置，然后根据处理器核数和内部信息确定容器的使用资源，根据容器的使用资源从存储位置中调用对应的容器，得到目标容器。

步骤204、将任务算法添加至目标容器中。

步骤205、在确定目标路径处存储有配置数据和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法。

需要说明的是，在确定目标路径下存储有目标任务所需的配置数据和执行数据时，根据目标路径直接调用配置数据和执行数据。当在确定未存储有目标任务所需的配置数据和执行数据时，需要根据任务标识从预设的数据库中获取对应的配置数据和执行数据。同时，在从数据库中获取到配置数据和执行数据后，还可以将配置数据和执行数据存储至目标路径下，便于下次需要时直接调用。

其中，配置数据是用于配置任务算法。示例的，当任务算法为待训练的算法，配置数据就是待训练的算法中的相关配置类参数，当任务算法为样本标注程序时，配置数据就是样本标注程序中的相关配置类参数，当任务算法为拥有进行预测的模型时，配置数据就是用于进行预测的模型的相关配置类参数，当任务算法为用于进行评估的模型时，配置数据就是用于进行评估的模型的相关配置类参数。

其中，执行数据是用于执行配置好的任务算法的。示例的，当任务算法为待训练的算法，执行数据就是标注好的训练样本，当任务算法为样本标注程序时，执行数据就是待标注的样本数据，当任务算法为拥有进行预测的模型时，执行数据就是用于待输入该模型中的数据，当任务算法为用于进行评估的模型时，执行数据就是用于模型预测的预测结果中的置信度。

步骤206、根据目标路径调用执行数据执行配置后的任务算法。

其中，目标路径为目标任务对应的存储执行数据和配置数据的目标路径。

可以理解的是，当目标任务为算法训练时，执行该目标任务可以得到训练好的算法以及训练好的算法对应的模型。当目标任务为样本标注时，执行该目标任务可以得到标注好的样本。当目标任务为模型预测时，执行该目标任务可以得到输入到该模型中的数据的预测结果。当目标任务为算法评估时，执行该目标任务就可以得到预测模型的预测精度。

在实际过程中，容器内的任务执行完成后，会根据任务完成状态释放任务占用资源，并将任务运行成果发送到对应的存储路径中进行存储，并同时更新数据库该目标任务的相关数据。

可选的，在根据目标路径调用执行数据执行配置后的任务算法之前，还可以包括：获取服务器的总计算资源和剩余计算资源。对应的，根据目标路径调用执行数据执行配置后的任务算法，包括：根据总计算资源、剩余计算资源、处理器核数和内存信息，确定目标任务的使用资源，以及利用使用资源，调用执行数据执行配置后的任务算法。

具体的，总计算资源包括总第一资源和总第二资源，总第一资源大于总第二资源；对应的，上述根据总计算资源、剩余计算资源、处理器核数和内存信息，确定目标任务的使用资源的过程可以为：根据处理器核数和内存信息确定目标任务的资源消耗级别，资源消耗级别包括第一级别和第二级别，第一级别的任务使用总第一资源，第二级别的任务使用总第二资源，然后，根据剩余第一资源和剩余第二资源确定是否调整总第一资源和总第二资源的比例，剩余第一资源为总第一资源运行任务后剩余的资源，剩余第二资源总第二资源运行任务后剩余的资源，最后，根据调整结果和目标任务的资源消耗级别，确定目标任务的使用资源。

可选的，将所需的中央处理器的核数大于6，和/或图像处理器的数量大于3的目标任务确定为第一级别任务，也就是高消耗任务。将所需的中央处理器的核数小于6，和/或图像处理器的数量小于3的目标任务确定为第二级别任务，也就是低消耗任务。

需要说明的是，预先可以将服务器中的计算资源按8:2将资源分为俩部分，即80％的服务器的计算资源为第一总资源，20％的服务器的计算资源为第二总资源。同时，高消耗型任务可支配算力资源为80％，低消耗型任务可支配算力资源为20％，低消耗型资源可支配算力资源可弹性伸缩10％，即最低可支配为10％，最高为30％，因为算力资源总量不变，所以高消耗算力资源可支配比例根据低消耗型任务占用算力资源来计算。当高消耗型任务队列排队超过9个任务在排队，且最大等待超过12小时，可以确定第一总资源中的当前剩余资源较少，也就是第一剩余资源较少；当队列排队超过6个任务在排队，且最大等待超过3小时，可以确定低消耗型任务资源紧张定义，也就是第二剩余资源较少。

同时，在低消耗型任务资源紧张情况下，通过低消耗资源任务判定条件缓冲空间降低到0，即不再允许高消耗任务使用低消耗型任务算力资源，合理分流任务，通过向上增加10％低消耗型任务可支配算力资源，高效调整资源分配，在低消耗任务资源紧张解除后，恢复到8：2可支配计算资源比例；在高消耗型任务资源紧张情况下，通过低消耗资源任务判定条件缓冲空间增加到50％，即允许部分符合条件将高消耗任务使用低消耗型任务算力资源，合理分流任务，通过向下降低10％低消耗型任务可支配算力资源，高效调整资源分配，在高消耗任务资源紧张解除后，恢复到8：2可支配计算资源比例。在高消耗型任务和低消耗型任务都处于资源紧张情况下，保持可支配算力资源8：2现状不变。这样可以提高任务处理的效率，避免出现低消耗任务因为高消耗任务的执行时间过长，导致不能及时执行的问题。

如图3所示，本申请实施例还提供了一种用于进行人工智能算法的任务处理的平台的示意图，该平台包括算法管理接口、算法训练接口、自动标注接口、模型预测接口。

其中，算法管理接口，用于提供算法导入、修改、查询和删除功能。算法训练流程支持接口，用于启动训练任务和根据指定触发条件自动启动训练任务，训练可指定加载预训练模型进行增量式算法训练。自动标注接口，用于启动自动标注任务和根据指定触发条件自动启动自动标注任务，在自动标注任务输出标注成果精度到最低标准以下，将自动标注纠正后结果作为训练集，对算法进行再训练，快速迭代自动标注模型。预测接口，用于启动模型预测任务，在预测数据结果精度降低到最低标准以下，将向指定目标人员推送原始数据标注消息，推动原始数据标注增量训练工作。评估接口，用于启动模型评估任务，在评估任务结束后，将模型结果推送到目标存储目录下。

同时，该平台还包括：算法维护模块、容器编排工具管理模块、任务队列管理模块和数据集推送模块。

其中，算法维护模块，用于实现系统新增、查询、修改和删除算法操作，作为算法进入系统入口新增过程中，将算法超参配置文件作为模板导入到数据库中，为具体训练任务提供基础模板，然后将需要根据具体任务进行调整字段在数据库中进行标记，为具体任务进行动态替换时提供标识依据。算法维护为自动标注根据数据类型和要素类型判断使用一种或多种算法提供支撑。

如图4所示，为本申请实施例提供的容器编排工具管理模块功能实现的示意图，具体的，容器编排工具管理模块用于基于容器编排工具和文件系统持久化存储实现任务运行环境即容器的快速环境搭建。也就是说，人工智能算法的任务处理方法中的根据所述任务参数生成目标容器这一步骤是通过容器编排工具管理模块来执行的。

具体的，首先，容器编排工具管理模块在接收到应用层创建任务请求后，获取请求中创建容器配置参数如处理器核数、内存大小、共享内存大小、存储空间大小、挂载指定有图像处理器的资源节点，以及指定的容器镜像参数。其次，通过数据库任务记录获取算法/模型运行参数如指定算法、动态设置算法/模型配置文件、指定数据集，根据任务记录动态在持久化存储创建任务目录，通过数据推送模块将配置文件和数据集推送到持久化存储内动态创建的目标路径下。然后，通过调用容器编排工具api指定前面获取应用运行容器运行参数，在容器镜像存储服务上拉取应用运行容器镜像，创建应用运行容器，并通过指定容器启动运行命令行，执行算法训练/模型评估、自动标注和预测任务。最后，待应用运行容器内进程结束后，销毁应用运行容器，释放任务占用资源，将任务运行成果推送到对象存储，更新数据库任务状态。

如图5所示，为本申请实施例提供的任务队列管理模块功能实现的示意图，具体的，任务队列管理模块用于在有限算力资源情况下基于消息队列和容器编排工实现算法训练系统任务管理。并在算力资源满足要求情况下，通过调用容器编排工具管理模块执行任务。可以理解的是，人工智能算法的任务处理方法中的根据所述总计算资源、所述剩余计算资源、所述处理器核数和所述内存信息，确定所述目标任务的使用资源这一步骤是通过任务队列管理模块来实现的。

如图6所示，为本申请实施例提供的数据集推送模块功能实现的示意图，具体的，数据集推送模块用于基于非阻塞异步技术、容器编排工具和文件系统持久化存储实现任务数据集快速推送。需要说明的是，人工智能算法的任务处理方法中根据所述任务标识从预设数据库中获取对应的所述配置数据和所述执行数据的过程是数据集推送模块来实现的。

具体的，首先，数据推送模块根据推送来的数据集信息，获取数据集的目录信息，在持久化存储动态创建任务根目录下创建数据集目录，保证结构和数据据定义数据集目录结构一致。其次，数据推送模块根据推送数据集信息，对数据集进行分割打包。

示例的，分割打包逻辑如下：(1)根据目录进行数据分割，文件只包含当前分割目录下文件，不包含当前分割目录下子目录文件；(2)当同目录下文件数据大小超过1G，进行分割；按1G大小对同目录下数据进行分割，即2个G分割为2个文件每个文件大小1个G左右，1.5G则分割为1个文件大小为1G文件，1个文件大小0.5G文件；(3)当不同目录下文件不足1G，则需要不同目录进行合并，直到满足1G大小或没有可以合并的目录，合并优先级可以包括：1)同一父级目录下同级目录优先；2)父级目录同子级目录合并优先，但低于1)；3)当前目录下多级子目录可进行合并。合并打包规则为：根据指定需要压缩文件名称和目录，然后数据根目录结构生成压缩数据包请求。最后，将压缩数据包请求存储同一任务压缩包请求内存数据池中，通过调用执行多个非阻塞异步程序，执行内存数据池中请求，每执行一个请求则创建一个执行数据推送任务应用容器引擎，执行数据推送任务，将数据集推送至任务运行指定目录下，在数据推送完成后，向非阻塞异步程序返回推送任务状态，非阻塞异步程序接到返回状态后，销毁应用容器引擎，释放容器占用资源，获取内存数据池请求剩余数据信息，当还剩余请求，则再次执行创建应用容器引擎，执行数据推送任务，任务执行数据集推送至持久化存储当前任务指定目录，以及后续销毁容器等相关操作。

本申请实施例提供的用于进行人工智能算法的任务处理的平台，通过持久化存储实现数据、算法、模型和运行容器进行解耦并分别存储，进而可以让多线程数据推送和容器创建异步进行实现变为可能，而任务队列管理，针对有限算力资源进行资源合理调度和分配，算力资源得到合理高效利用，容器编排工具管理则通过容器编排工具实现对容器编排工具内应用容器引擎创建、运行、销毁全过程管理，实现算力资源有效管控。

基于上述算法维护模块、容器编排工具管理模块、任务队列管理模块和数据集推送模块，可以对平台中的算法管理接口、算法训练接口、自动标注接口、模型预测接口所要实现的算法管理功能、算法训练功能和自动标注功能以及模型预测功能的具体实现过程进一步进行说明。

如图7所示，为本申请实施例提供的算法管理功能实现的示意图。具体的，算法管理通过算法平添通过算法管理应用接口实现算法新增、修改、查询和删除等操作。并通过算法维护模块将算法框架、算法训练集数据类型、算法运行超参配置模板和可配置超参，也就是可动态进行修改的超参字段等元数据记录到数据库中。以及使用算法维护模块在自动标注流程开始节点根据数据类型和要素类型判断，自动标注使用算法。算法平台通过容器编排工具管理、任务队列管理和数据集推送完成算法训练任务运行容器快速创建实现算法快速训练。

如图8所示，为本申请实施例提供的算法训练功能实现的示意图。算法训练的执行过程中，算法训练接口调用方式提供两种方式一种为自启动执行方式平台内部称之为自动式调用，另一种为普通接口调用方式平台内部称之为被动式调用。这里先对自动式调用自动机制进行阐述，因为除开自动机制外，在业务流程方面自动式调用和被动式调用完成相同。

其中，自动机制需要不断丰富完善的标注数据集进行支撑，如不断增加新标注数据的人脸数据集或者是不断增加新标注数据的车道线数据集等。其次，自动机制实现关键自动触发规则和增量推送数据集，自动触发规则综合考量训练数据集大小和算法训练模型迭代时间间隔以及训练时长三个因素，规则如下：1)训练数据集为图片情况下，训练数据集已标注图片增加10240张时触发自动训练；2)训练数据集为图片情况下，距离上次自动训练间隔21天，且训练数据集已标注图片不低于500张则触发自动训练；3)训练数据集为点云情况下，训练数据集已标注图片大小和达到20G，则触发自动训练；4)训练数据集为点云情况下，训练数据集已标注图片大小和达到5G，则触发自动训练。增量训练数据集推送实现方式，通过将新标注图片将图片信息和标注信息记录到数据库中，对自动训练程序提供访问接口，当自动触发算法训练任务执行完成后，删除数据库中已训练数据集记录，保留未训练记录。最后，自动训练指定预训练模型为上一次自动算法训练输出训练模型，此处与普通训练任务略有不同，平台执行算法训练任务。

具体的，算法训练任务的执行过程可以为：首先，平台根据指定训练任务获取容器编排工具应用容器引擎运行参数和算法训练超参配置数据，容器运行参数用于生成容器编排工具创建新服务请求，而算法训练超参配置数据则用于生成算法运行配置文件。然后，平台调用任务队列管理模块，进行训练任务创建，任务队列根据容器编排工具算力资源使用情况和任务队列执行逻辑判断任务是否立即执行，还是进入队列，此处不做详述。算法训练任务被任务队列管理判定开始执行后，平台调用容器编排工具管理模块用于创建算法训练运行应用容器引擎。在获取容器运行参数和算法训练超参同时，通过平台任务记录获取对应训练数据集信息，平台调用数据集推送模块，将数据集推送至持久化存储中指定任务数据集目录下。待数据集推送子任务、算法训练配置文件推送子任务和算法训练应用容器引擎子任务均完成后，执行算法训练任务。最后，待算法训练应用容器引擎中算法训练进程结束后，平台将训练生成结果上传到对象存储中，同时日志信息(包含未完成训练任务的报错日志信息)推送对象存储对外开发目录，提供给外部进行出查阅和展示。

如图9所示，为本申请实施例提供的模型预测功能实现的示意图。在实际过程中，算法平台通过容器编排工具、任务队列管理和数据集推送实现基于算法训练生成模型快速预测。

具体的，模型预测支持接口调用方式调用，在平台接收到执行模型预测任务后，首先，根据任务记录获取容器运行参数和模型预测超参数数据，分布生成容器运行请求和模型预测配置文件。同时，根据模型预测任务管理预测数据集获取数据并将预测数据集推送至持久化存储中指定模型预测任务目录下。然后调用平台任务队列管理模块执行模型预测任务，待任务队列判定当前模型预测任务为可以执行任务时，平台通过调用容器编排工具管理模块创建模块预测任务运行容器。待容器创建子任务、模型预测配置文件推送子任务和数据集推送子任务均已完成，平台开始执行模型预测任务。当前模型预测任务执行完毕，平台根据预测任务成果中的置信度和预测指标体系进行模型预测精度判定，如果预测精度低于指标中的要求的95置信度，则向预测模型维护人员推送，模型精度过低，根据当前预测数据进行增量训练消息。最后，平台将模型预测结果上传至对象存储系统，并将模型预测日志(包含错误日志)推送至对象存储公开目录下，为外部提供查阅和展示支撑。

如图10所示，为本申请实施例提供的模型评估功能实现的示意图。在模型评估的过程中，算法平台通过容器编排工具、任务队列管理和数据集推送实现对算法训练生成模型快速评估。模型评估任务调用方式上只支持普通接口调用。

具体的，首先，平台接收到执行评估任务请求后，平台根据指定训练任务获取容器编排工具应用容器引擎运行参数和模型评估超参配置数据，容器运行参数用于生成容器编排工具创建新服务请求，而算法训练超参配置数据则用于生成模型评估运行配置文件。然后，和算法训练一样，通过调用任务队列管理模块，进行训练任务创建，任务队列执行评估任务操作此处不做详述。待数据集和配置文件推送子任务和创建模型评估子任务均完成后，开始执行模型评估任务。模型评估任务执行完毕后，平台根据评估任务返回评估结果和评估指标进行判定，是否重新进行模型评估。如果满足启动算法训练条件，则启动算法训练任务，在训练配置数据中将训练预加载模型指定为当前模型评估任务指定模型，而算法训练数据集使用当前评估任务评估数据集。待自启动的算法训练任务完成后，将当前的评估任务模型替换为算法训练输出成果模型。最后，将评估成果和最终模型推送到对象储存系统上，评估运行日志(包含错误日志)推送到对象存储可公开访问目录下，为外部提供查阅和展示。

如图11所示，为本申请实施例提供的模型标注功能实现的示意图。自动标注的执行过程中，算法平台通过容器编排工具、任务队列管理和数据集推送实现基于算法训练生成模型快速自动标注。自动标注支持自动式调用和被动式调用，此处先将自动标注自动式调用自动触发机制阐述清楚，除开自动启动环节，自动式调用和被动式调用没有任何区别。实现自启动自动标注任务基础是个不断更新的自动标注数据集，该数据满足数据规格始终保持一直。

实现自动标注的关键有两个自启动规则和增量更新数据集推送，自动启动规则如下：1)当自动标注数据集为图片情况，训练数据集增量数据达到10240张图片，启动自动标注任务；2)当自动标注数据集为图片情况，距离上次自动标注任务触发时间间隔21天，且自动标注数据集图片数据不低于500张，则启动自动标注任务；3)当自动标注数据集为点云情况，在新增个点云大小之和达到20G，则启动自动标注任务；4)当自动标注数据集为点云情况，距离上次自动标注任务触发时间间隔21天，且自动标注数据集新增个点云大小之和达到5G则启动自动标注任务。

具体的，平台接收自动标注任务请求后，首先根据模型评估任务获取容器编排工具应用容器引擎运行参数和自动标注超参配置数据，容器运行参数用于生成容器编排工具创建新服务请求，而自动标注超参配置数据则用于生成自动标注运行配置文件。然后和其他任务一样，通过调用任务队列管理模块，进行训练任务创建，任务队列执行评估任务操作此处不做详述。待数据集和配置文件推送子任务和创建自动评估运行容器子任务均完成后，开始执行自动标注任务。

自动标注任务执行完毕后，平台根据自动标注返回标注结果和自动标注评价指标进行判定，是否对算法进行增量数据集算法训练。如果满足启动算法训练条件，则在自动评估数据完成质检后，启动算法训练任务，在训练配置数据中将训练预加载模型指定为当前自动标注任务指定模型，而将质检后数据集作为算法训练数据集。待自启动的算法训练任务完成后，将当前的自动标注任务模型替换为算法训练输出成果模型。

最后，将自动标注成果和最终模型推送到对象储存系统上，运行日志(包含错误日志)推送到对象存储可公开访问目录下，为外部提供查阅和展示。业务层面，平台将快速迭代模型的增量数据集算法训练以接口形式暴露出来，让工程化，流水线式的快速算法训练和模型迭代成为可能，而自动标注、评估、预测任务通过任务结果进行判定，形成模型-算法，算法-模型模式让算法不断训练，见识更多新数据，推动模型持续迭代。

本申请实施例提供的用于进行人工智能算法的任务处理的平台，通过全开放持久化存储，可以实现平台内各模块数据通道打通，保证各个容器挂载相同目录数据一致性，同时可以实现平台外部通过接口访问相同目录数据一致性。进一步的，可以实现算法增量训练，在增量训练数据集生成后，将其推送持久化存储目录，启动算法训练前动态指定预训练模型为最近一次训练生成模型。

进一步的，训练任务算法算力资源的弹性管理，算法训练过程中根据训练任务算法算力需要动态调整算法算力资源配置。以及在算法训练自动训练实现机制，在训练数据集满足要求情况下实现自动化训练。自动标注实现自启动训练机制，在自动标注成果经过数据质检后，符合算法再训练标准，则启动算法增量数据集训练。在预测成果精度评价体系判定不符合要求，则向算法/模型维护人员推送算法需再训练消息。同时，算法训练超参使用配置文件形式推送持久化存储目录下供算法读取，这样可以提高算法的配置和修改效率。

如图12所示，本申请实施例还提供了一种人工智能算法的任务处理装置，该装置包括：

第一获取模块11，用于获取任务请求，任务请求中包括目标任务的任务参数和任务标识，任务请求用于请求执行目标任务，目标任务包括与人工智能算法相关的任务；

第二获取模块12，用于根据任务标识获取对应的任务算法和目标路径；

生成模块13，用于根据任务参数生成目标容器；

处理模块14，用于将任务算法添加至目标容器中；

配置模块15，用于在确定目标路径处存储有配置数据和执行数据时，根据目标路径调用配置数据配置目标容器中的任务算法，配置数据用于配置任务算法，执行数据用于执行配置后的任务算法；

调用模块16，用于根据目标路径调用执行数据执行配置后的任务算法。

在一个实施例中，第二获取模块12还用于：

在确定目标路径处未存储有配置数据和执行数据时，根据任务标识从预设数据库中获取对应的配置数据和执行数据；

处理模块14，还用于将配置数据和执行数据存储至目标路径处。

在一个实施例中，任务参数包括：处理器核数、内存信息和容器镜像参数；生成模块13具体用于：

根据处理器核数和内存信息确定容器的配置资源；

根据容器配置资源从容器镜像参数对应的容器存储路径中调用目标容器。

在一个实施例中，在根据目标路径调用执行数据执行配置后的任务算法之前，第二获取模块12还用于：获取服务器的总计算资源和剩余计算资源；

调用模块16具体用于：根据总计算资源、剩余计算资源、处理器核数和内存信息，确定目标任务的使用资源，以及利用使用资源，调用执行数据执行配置后的任务算法。

在一个实施例中，总计算资源包括总第一资源和总第二资源，总第一资源大于总第二资源；调用模块16具体用于：根据处理器核数和内存信息确定目标任务的资源消耗级别，资源消耗级别包括第一级别和第二级别，第一级别的任务使用总第一资源，第二级别的任务使用总第二资源；

根据剩余第一资源和剩余第二资源确定是否调整总第一资源和总第二资源的比例，剩余第一资源为总第一资源运行任务后剩余的资源，剩余第二资源总第二资源运行任务后剩余的资源；

根据调整结果和目标任务的资源消耗级别，确定目标任务的使用资源。

在一个实施例中，第一获取模块11，具体用于接收终端设备发送的任务请求；或者，当满足目标任务对应的触发条件时，生成任务请求。

在一个实施例中，当目标任务为算法训练任务或样本标注任务时，触发条件包括以下至少一种：目标任务对应的执行数据中的新增数据的数量大于预设值、目标任务的训练时间间隔大于预设间隔。

本实施例提供的人工智能算法的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再多加赘述。

关于人工智能算法的任务处理装置的具体限定可以参见上文中对于人工智能算法的任务处理方法的限定，在此不再赘述。上述人工智能算法的任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中，也可以以软件形式存储于服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请的另一实施例中，还提供一种服务器，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的人工智能算法的任务处理方法的步骤。

本申请另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的人工智能算法的任务处理的步骤。

本申请另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在人工智能算法的任务处理装置上运行时，使得人工智能算法的任务处理装置执行上述方法实施例所示的方法流程中人工智能算法的任务处理方法执行的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber 1ine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人工智能算法的任务处理方法，其特征在于，所述方法包括：

获取任务请求，所述任务请求中包括目标任务的任务参数和任务标识，所述任务请求用于请求执行所述目标任务，所述目标任务包括与所述人工智能算法相关的任务；

根据所述任务标识获取对应的任务算法和目标路径；

根据所述任务参数生成目标容器；

将所述任务算法添加至所述目标容器中；

在确定所述目标路径处存储有配置数据和执行数据时，根据所述目标路径调用所述配置数据配置所述目标容器中的所述任务算法；

根据所述目标路径调用所述执行数据执行配置后的任务算法。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定所述目标路径处未存储有所述配置数据和所述执行数据时，根据所述任务标识从预设数据库中获取对应的所述配置数据和所述执行数据；

将所述配置数据和所述执行数据存储至所述目标路径处。

3.根据权利要求1或2所述的方法，其特征在于，所述任务参数包括：处理器核数、内存信息和容器镜像参数；

所述根据所述任务参数生成目标容器，包括：

根据所述处理器核数和所述内存信息确定所述容器的配置资源；

根据所述容器的配置资源从所述容器镜像参数对应的容器存储路径中调用所述目标容器。

4.根据权利要求3所述的方法，其特征在于，在根据所述目标路径调用所述执行数据执行配置后的任务算法之前，所述方法还包括：

获取服务器的总计算资源和剩余计算资源；

所述根据所述目标路径调用所述执行数据执行配置后的任务算法，包括：

根据所述总计算资源、所述剩余计算资源、所述处理器核数和所述内存信息，确定所述目标任务的使用资源；

利用所述使用资源，调用所述执行数据执行配置后的任务算法。

5.根据权利要求4所述的方法，其特征在于，所述总计算资源包括总第一资源和总第二资源，所述总第一资源大于所述总第二资源；

所述根据所述总计算资源、所述剩余计算资源、所述处理器核数和所述内存信息，确定所述目标任务的使用资源，包括：

根据所述处理器核数和所述内存信息确定所述目标任务的资源消耗级别，所述资源消耗级别包括第一级别和第二级别，所述第一级别的任务使用所述总第一资源，所述第二级别的任务使用所述总第二资源；

根据剩余第一资源和剩余第二资源确定是否调整所述总第一资源和所述总第二资源的比例，所述剩余第一资源为所述总第一资源运行任务后剩余的资源，所述剩余第二资源总第二资源运行任务后剩余的资源；

根据调整结果和所述目标任务的资源消耗级别，确定所述目标任务的所述使用资源。

6.根据权利要求1或2所述的方法，其特征在于，所述获取任务请求，包括：

接收终端设备发送的所述任务请求；或者，当满足所述目标任务对应的触发条件时，生成所述任务请求。

7.根据权利要求6所述的方法，其特征在于，当所述目标任务为算法训练任务或样本标注任务时，所述触发条件包括以下至少一种：所述目标任务对应的所述执行数据中的新增数据的数量大于预设值、所述目标任务的训练时间间隔大于预设间隔。

8.一种人工智能算法的任务处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取任务请求，所述任务请求中包括目标任务的任务参数和任务标识，所述任务请求用于请求执行所述目标任务，所述目标任务包括与所述人工智能算法相关的任务；

第二获取模块，用于根据所述任务标识获取对应的任务算法和目标路径；

生成模块，用于根据所述任务参数生成目标容器；

处理模块，用于将所述任务算法添加至所述目标容器中；

配置模块，用于在确定所述目标路径处存储有配置数据和执行数据时，根据所述目标路径调用所述配置数据配置所述目标容器中的所述任务算法，所述配置数据用于配置所述任务算法，所述执行数据用于执行配置后的任务算法；

调用模块，用于根据所述目标路径调用所述执行数据执行配置后的任务算法。

9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-7任一项所述的人工智能算法的任务处理方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的人工智能算法的任务处理方法。

Images