CN113435597A

CN113435597A - 一种模型生成、调度方法、系统及装置

Info

Publication number: CN113435597A
Application number: CN202110768861.4A
Authority: CN
Inventors: 许江浩; 唐苗; 陈杰; 任国焘
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2021-09-24

Abstract

本申请实施例提供了一种模型生成、调度方法、系统及装置，涉及计算机技术领域，模型生成方法包括：从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练所述待训练模型，生成用于实现所述功能、且支持所述处理平台的训练后模型；获得所述训练后模型的描述信息，其中，所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息。应用本申请实施例提供的方案可以实现生成网络模型。

Description

一种模型生成、调度方法、系统及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型生成、调度方法、系统及装置。

背景技术

随着计算机技术的快速发展，人工智能技术中网络模型的应用也越来越广泛，利用网络模型可以方便快捷地对图像、视频、文本、音频等推理数据进行推理，得到推理结果。基于此，本方案提供了一种模型生成方案，以实现生成网络模型。

发明内容

本发明实施例的目的在于提供一种模型生成、调度方法、系统及装置，以实现生成网络模型。具体技术方案如下：

第一方面，本申请实施例提供了一种模型生成方法，所述方法包括：

从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；

确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练所述待训练模型，生成用于实现所述功能、且支持所述处理平台的训练后模型；

获得所述训练后模型的描述信息，其中，所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息。

本申请的一个实施例中，所述确定所选择的数据集的版本标识，包括：

确定所选择的数据集的分类标识和版本标识，其中，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集；

所述描述信息还包括所述分类标识。

本申请的一个实施例中，所述方法还包括：

获得推理数据和利用所述训练后模型对所述推理数据进行推理得到的推理结果，其中，所述推理结果中携带：用于训练所述训练后模型的数据集的分类标识和版本标识；

从所述推理数据中选择候选数据，并从所述数据集中，查找具有所述候选数据对应的推理结果中所携带分类标识和版本标识的目标数据集；

将所述候选数据及对应的推理结果添加至所述目标数据集，并设置添加数据后目标数据集的版本标识。

本申请的一个实施例中，所述方法还包括：

在回溯用于训练所述训练后模型的数据集时，从所述数据集中，查找具有所述描述信息所包括版本标识的数据集，得到用于训练所述训练后模型的数据集。

第二方面，本申请实施例提供了一种模型调度方法，所述方法包括：

获得待调度模型及所述待调度模型的描述信息，其中，每一待调度模型的描述信息包括：用于训练该模型的数据集的版本标识，以及该模型的功能信息、所支持的处理平台的平台信息；

根据所述待调度模型的描述信息，调度所述待调度模型。

本申请的一个实施例中，每一待调度模型的描述信息还包括：用于训练该模型的数据集的分类标识，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集。

本申请的一个实施例中，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度和/或适用场景；

所述根据所述待调度模型的描述信息，调度所述待调度模型，包括：

获得待执行任务，根据各个待调度模型的描述信息中的分类标识、版本标识、功能信息，确定满足所述待执行任务的任务需求的第一目标模型，其中，所述任务需求包括精度需求和/或场景需求；

确定安装有目标平台的推理设备，作为目标设备，其中，所述目标平台为：所述第一目标模型的描述信息中平台信息对应的处理平台；

将所述第一目标模型部署在所述目标设备上，并将所述待执行任务分配至所述目标设备。

本申请的一个实施例中，所述根据各个待调度模型的描述信息中的分类标识、版本标识、功能信息，确定满足所述待执行任务的任务需求的第一目标模型，包括：

从各个待调度模型中，确定描述信息中分类标识、版本标识、功能信息相同的模型，作为同类模型；

从所述同类模型中，选择满足所述待执行任务的任务需求的第一目标模型。

本申请的一个实施例中，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度；

从推理设备当前部署的当前模型中，查找第二目标模型，其中，所述第二目标模型的描述信息中的分类标识、功能信息、平台信息分别与所述待调度模型的分类标识、功能信息、平台信息一致，且所述第二目标模型的描述信息中的版本信息所反映的精度低于所述待调度模型的描述信息中版本信息所反映的精度；

将所述第二目标模型更新为所述待调度模型。

本申请的一个实施例中，所述方法还包括：

获得调度后模型对推理数据进行推理得到的推理结果，并为所述推理结果标注所述调度后模型的描述信息中的版本标识，以基于所标注的信息利用所述推理数据对数据集进行更新。

第三方面，本申请实施例提供了一种数据回传系统，所述系统包括模型生成子系统和模型调度子系统，所述模型生成子系统包括数据管理设备、模型生成设备，所述模型调度子系统包括模型调度设备，其中：

所述数据管理设备，用于从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；

所述模型生成设备，用于确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练所述待训练模型，生成用于实现所述功能、且支持所述处理平台的训练后模型；获得所述训练后模型的描述信息，其中，所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息；并向所述模型调度设备发送所述训练后模型及所述训练后模型的描述信息；

所述模型调度设备，用于获得训练后模型及所述训练后模型的描述信息，根据所述训练后模型的描述信息，调度所述训练后模型。

本申请的一个实施例中，所述模型调度子系统还包括数据回传设备；

所述数据回传设备，用于获得调度后模型对推理数据进行推理得到的推理结果，向所述数据管理设备发送所述推理数据及推理结果，其中，所述推理结果标注有所述调度后模型的描述信息中的版本标识；

所述数据管理设备，用于获得所述推理数据和推理结果，从所述推理数据中选择候选数据，并从所述数据集中，查找具有所述候选数据对应的推理结果中所携带版本标识的目标数据集；将所述候选数据及对应的推理结果添加至所述目标数据集，并设置添加后目标数据集的版本标识。

第四方面，本申请实施例提供了一种模型生成装置，所述装置包括：

数据集选择模块，用于从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；

模型生成模块，用于确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练所述待训练模型，生成用于实现所述功能、且支持所述处理平台的训练后模型；

信息获得模块，用于获得所述训练后模型的描述信息，其中，所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息。

第五方面，本申请实施例提供了一种模型调度装置，所述装置包括：

模型获得模块，用于获得待调度模型及所述待调度模型的描述信息，其中，每一待调度模型的描述信息包括：用于训练该模型的数据集的版本标识，以及该模型的功能信息、所支持的处理平台的平台信息；

模型调度模块，用于根据所述待调度模型的描述信息，调度所述待调度模型。

第六方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面或第二方面任一所述的方法步骤。

第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面任一所述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面任一所述的方法步骤。

本申请实施例有益效果：

本申请实施例提供的模型生成方案中，可以从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练待训练模型，生成用于实现功能、且支持处理平台的训练后模型；获得训练后模型的描述信息，其中，描述信息包括版本标识、表征功能的功能信息和表征处理平台的平台信息。这样可以从数据集中选择用于进行模型训练的数据集，并利用所选择的数据集生成模型，由此可见，应用本申请实施例提供的方案可以实现生成网络模型。

除此之外，还可以获得模型的描述信息，该描述信息中不仅包含模型的功能信息、所支持的处理平台的平台信息，还包括训练该模型时所采用的训练集的版本标识，这样所获得的描述信息的内容更加丰富。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种模型生成方法的流程示意图；

图2为本申请实施例提供的一种数据集的示意图；

图3为本申请实施例提供的一种描述信息的示意图；

图4为本申请实施例提供的一种数据回传方法的流程示意图；

图5为本申请实施例提供的一种模型调度方法的流程示意图；

图6为本申请实施例提供的另一种模型调度方法的流程示意图；

图7为本申请实施例提供的一种数据回传系统的结构示意图；

图8为本申请实施例提供的一种数据回传过程的示意图；

图9为本申请实施例提供的另一种数据回传过程的示意图；

图10为本申请实施例提供的一种模型生成装置的结构示意图；

图11为本申请实施例提供的一种模型调度装置的结构示意图；

图12为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为实现生成网络模型，本申请实施例提供了一种模型生成、调度方法、系统及装置，下面分别进行详细介绍。

参见图1，图1为本申请实施例提供的一种模型生成方法的流程示意图，上述模型生成方法可以应用于模型生成设备，该模型生成设备可以是笔记本电脑、台式计算机、服务器等电子设备，如图1所示，该方法可以包括如下步骤S101-S103：

S101，从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识。

其中，上述数据集可以是已有的数据集，也可以是新生成的数据集，上述数据集可以是图像数据集、视频数据集、文本数据集、音频数据集等。

上述版本标识用于表征数据集的版本，针对同一版本的数据集，可以训练得到支持不同处理平台的模型。可以理解为，上述数据集中，包含一种或多种不同版本的数据集，上述不同版本的数据集可以用于训练得到不同的模型。

具体的，可以从多个数据集中，选择待进行模型训练的数据集，用于后续对待训练模型进行训练，并获得上述所选择的数据集的版本标识。

本申请的一个实施例中，在确定所选择的数据集的版本标识时，可以确定所选择的数据集的分类标识和版本标识。

其中，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集。

上述分类标识用于表征数据集所属的类别，数据集所属的类别可以反映：数据集中的内容的类别。例如，假设上述数据集为图像数据集，若该图像数据集中各个图像的内容与“是否佩戴安全帽”相关，则可以认为该图像数据集的分类标识为“佩戴安全帽”。假设上述数据集为视频数据集，若该视频数据集中各个视频的内容与“是否存在高空落物”相关，则可以认为该视频数据集的分类标识为“高空落物”。

同一分类标识的数据集可以用于训练得到同一功能的模型。例如，假设数据集的分类标识为“佩戴安全帽”，则利用该数据集可以训练得到用于判断是否佩戴安全帽的模型；假设数据集的分类标识为“高空落物”，则利用该数据集可以训练得到用于判断是否存在高空落物的模型。

具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集。可以理解为，上述数据集中，包含一种或多种不同分类的数据集，不同分类的数据集可以用于训练得到具有不同功能的模型；进一步的，同一分类的数据集中包含一个或多个不同版本的数据集，上述不同版本的数据集训练得到的模型存在差异，但具有相同的功能。

例如，参见图2，图2为本申请实施例提供的一种数据集的示意图。如图2所示，分类标识为“A”的数据集A中可以包含版本标识分别为“A-V1”、“A-V2”……“A-Vn”的n个数据集；分类标识为“B”的数据集B中可以包含版本标识分别为“B-V1”、“B-V2”……“B-Vm”的m个数据集等。对于每一版本的数据集，可以训练得到分别支持处理平台P1、P2……Pi的模型。

针对具有同一分类标识的数据集，版本标识不同的数据集之间所包含的数据存在不同。

一种情况下，版本标识不同的数据集之间所包含的数据的数量不同，例如，版本标识为V1的数据集中包含1000条数据，版本标识为V2的数据集中包含1200条数据。这种情况下，利用不同版本标识的数据集训练得到的模型的精度可能不同。

另一种情况下，版本标识不同的数据集之间所包含的数据的场景不同，例如，针对分类标识为“佩戴安全帽”的数据集，版本标识为V3的数据集中的图像可以是白天场景下的、关于是否佩戴安全帽的图像，版本标识为V4的数据集中的图像可以是晚上场景下的、关于是否佩戴安全帽的图像。这种情况下，利用不同版本标识的数据集训练得到的模型的适用场景可能不同。

具体的，数据集中可以包含具有不同分类标识、版本标识的多个数据集，可以从中选择用于进行模型训练的数据集，并确定所选择的数据集的分类标识和版本标识。

S102，确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练待训练模型，生成用于实现功能、且支持处理平台的训练后模型。

其中，上述处理平台可以是H5平台、T4平台、P600平台等，待训练模型的功能可以包括检测是否佩戴安全帽、检测是否存在高空落物、检测车牌号码、检测行人闯红灯等。

具体的，可以确定待训练的模型的功能，并确定上述待训练模型待部署的处理平台，然后利用S101中选择的数据集，训练得到用于实现上述功能、且能够在上述处理平台上运行的模型，作为训练后模型。

S103，获得训练后模型的描述信息。

其中，描述信息包括版本标识、表征功能的功能信息和表征处理平台的平台信息。

具体的，在获得训练后模型之后，还可以获得该训练后模型的描述信息，上述描述信息中可以包含训练该模型时所采用的数据集的版本标识，以及表征该模型的功能的功能信息和所支持的处理平台的平台信息。

本申请的一个实施例中，在上述步骤S101确定所选择数据集的分类标识的情况下，上述描述信息还可以包括分类标识。

具体的，在获得训练后模型之后，还可以获得该训练后模型的描述信息，上述描述信息中可以包含训练该模型时所采用的数据集的分类标识、版本标识，以及表征该模型的功能的功能信息和所支持的处理平台的平台信息。

参见图3，图3为本申请实施例提供的一种描述信息的示意图。如图3所示，该描述信息可以包含训练该模型时所采用的数据集的分类标识dataSetId“1234”、版本标识dataSetVersion“12345”，以及用于描述模型自身的模型描述信息description，包括表征该模型的功能的功能信息labels“1带安全帽；2不带安全帽”和所支持的处理平台的平台信息transformType“12346”。

上述实施例提供的模型生成方案中，可以从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练待训练模型，生成用于实现功能、且支持处理平台的训练后模型；获得训练后模型的描述信息，其中，描述信息包括版本标识、表征功能的功能信息和表征处理平台的平台信息。这样可以从数据集中选择用于进行模型训练的数据集，并利用所选择的数据集生成模型，由此可见，应用本申请实施例提供的方案可以实现生成网络模型。

本申请的一个实施例中，对于上述S102，在获得待训练模型时，可以获得未经过训练的原始模型，作为待训练模型，并确定该待训练模型的功能和所支持的处理平台，再利用所选择的数据集对上述待训练模型进行训练，从而得到能够实现上述功能、且支持上述处理平台的训练后模型。

本申请的一个实施例中，在确定待训练模型的功能时，可以根据所选择的数据集的分类标识，确定待训练模型的功能。

具体的，属于不同类别的数据集可以用于训练得到具有不同功能的模型，根据数据集的分类标识，可以确定数据集中各个数据的内容的类别，基于上述类别可以确定该数据集所支持的、训练得到的模型的功能。例如，假设数据集的分类标识为“行人闯红灯”，则说明该数据集中的数据的内容与行人是否闯红灯相关，利用该数据集可以训练得到功能为用于检测行人是否闯红灯的模型。

本申请的一个实施例中，可以从预设的、分类标识与功能的对应关系中，确定所选择的数据集的分类标识对应的功能，作为待训练模型的功能。

参见下表1，下表1为本申请实施例提供的一种对应关系的示意表：

表1

分类标识	功能
		行人闯红灯	检测是否存在行人闯红灯
高空落物	检测是否存在高空落物
		佩戴安全帽	检测是否佩戴安全帽
车牌号码	检测车辆的车牌号码

假设上述S101中所选择的数据集的分类标识为“车牌号码”，根据上述表1所示的对应关系，可以确定待训练模型的功能为“检测车辆的车牌号码”。

本申请的一个实施例中，在确定待训练模型所支持的处理平台时，可以根据部署需求，确定训练后模型所要部署的平台，作为待训练模型所支持的处理平台。

其中，上述部署需求可以反映：训练后得到的模型所用于部署的处理平台。在确定部署需求时，可以接收用户通过键盘、鼠标、触摸屏等外部输入设备输入的需求。

本申请的一个实施例中，在获得待训练模型时，可以根据所选择的数据集的分类标识，从已有的模型中选择待训练模型。

其中，上述已有的模型可以是已经部署在推理设备上的模型，上述推理设备可以是电子计算机、服务器、图像采集设备、手机等。

所选择的待训练模型的描述信息中的分类标识、与所选择的数据集的分类标识一致。由于属于不同类别的数据集可以用于训练得到具有不同功能的模型，这样可以使得基于所选择的数据集对待训练模型进行训练后，所得到的训练后模型的功能不变。

上述情况下，在确定待训练模型的功能和支持的处理平台时，可以直接根据待训练模型的描述信息中包含的功能信息和平台信息，确定该模型的功能和支持的处理平台。

本申请的一个实施例中，在获得训练后模型及训练后模型的描述信息后，可以将训练后模型部署在推理设备上，推理设备可以获得推理数据，然后利用所部署的模型对该推理数据进行处理，得到推理结果。利用上述推理数据和推理结果，可以对已有的数据集进行更新，得到新版本的数据集，实现数据回传。下面进行详细介绍。

参见图4，图4为本申请实施例提供的一种数据回传方法的流程示意图，该方法还可以包括如下步骤S401-S403：

S401，获得推理数据和利用训练后模型对推理数据进行推理得到的推理结果。

其中，推理结果中携带：用于训练训练后模型的数据集的分类标识和版本标识。上述推理数据可以是视频、图像、文本、音频等。

具体的，对于部署有训练后模型的推理设备而言，推理设备可以获得推理数据，然后利用所部署的模型对该推理数据进行处理，得到推理结果，上述推理结果中可以携带：用于获得该推理结果的模型对应的数据集的分类标识和版本标识。推理设备可以将上述推理数据及推理结果回传至模型生成设备，模型生成设备从而获得推理数据及推理结果。

本申请的一个实施例中，在获得推理数据及推理结果后，可以将上述推理数据及推理结果存储至预设的推理数据集中，便于后续从该推理数据集中基于推理结果利用推理数据对数据集进行更新。

S402，从推理数据中选择候选数据，并从数据集中，查找具有候选数据对应的推理结果中所携带分类标识和版本标识的目标数据集。

其中，可以理解为，目标数据集具有候选数据对应的推理结果中携带的分类标识和版本标识。

具体的，可以从推理数据中选择待添加至数据集的数据，作为候选数据，然后根据候选数据的推理结果中携带的分类标识和版本标识，从数据集中查找具有上述分类标识和版本标识的数据集，作为目标数据集。

本申请的一个实施例中，在选择候选数据时，可以将所有推理数据作为候选数据，也可以从推理数据中随机选择预设数量个数据，作为候选数据。

除此之外，也可以获得各个推理数据的评估参数，选择评估参数最高的预设数量个数据作为候选数据。其中，上述评估参数可以表征推理数据的质量。

S403，将候选数据及对应的推理结果添加至目标数据集，并设置添加数据后目标数据集的版本标识。

具体的，可以利用所选择的候选数据扩充上述目标数据集，从而得到新的版本的数据集，并为该数据集设置版本标识。

本申请的一个实施例中，在设置添加数据后目标数据集的版本标识时，可以在添加数据前数据集的版本标识的基础上，按照版本递增的规则，设置添加数据后目标数据集的版本标识。例如，假设添加数据前数据集的版本标识为“V3”，则添加数据后目标数据集的版本标识可以设置为“V4”。

除此之外，也可以根据添加数据的时间，设置添加数据后目标数据集的版本标识。例如，假设添加数据的时间为：21.05.10，则可以将添加数据后目标数据集的版本标识设置为“21.05.10”。

上述方案中，可以利用训练集训练模型，并利用训练后模型得到推理数据及推理结果，然后可以根据推理结果中携带的上述模型所采用的训练集的分类标识和版本标识，查找得到训练该模型时所采用的数据集，并利用该推理数据对该数据集进行更新，得到新版本的数据集，实现在线对数据集的更新迭代，进而便于之后利用该新版本的数据集继续对上述模型进行训练，从而可以实现定向对模型进行优化。

本申请的一个实施例中，在回溯用于训练上述训练后模型的数据集时，可以从数据集中，查找具有描述信息所包括版本标识的数据集，得到用于训练所述训练后模型的数据集。

具体的，在得到训练后模型之后，若需要回溯用于训练该模型的数据集，则可以获得该训练后模型的描述信息中所携带的版本标识，然后从数据集中查找具有该版本标识的数据集，从而得到期望回溯的、用于训练上述模型的数据集。

本申请的一个实施例中，可以是在训练后模型满足预设的回溯条件的情况下，认为需要回溯用于训练训练后模型的数据集。

其中，上述回溯条件可以是：训练后模型的准确度低于预设的低准确度阈值、或训练后模型不适配上述处理平台、或训练后模型发生运行错误、或训练后模型的准确度高于预设的高准确度阈值、或训练后模型不适用目标应用场景等。

例如，在车辆识别场景中，训练后的车辆识别模型可以应用于上述场景，进行车牌号码识别，若检测到上述模型进行车牌号码识别的准确度低于预设的低准确度阈值，则说明该模型的准确度较差，原因可能是用于训练该模型的数据集存在问题，例如，可能是上述数据集中负样本数量过多、正样本数量过少等，因此需要回溯用于训练上述车辆识别模型的数据集。这种情况下，可以获得上述车辆识别模型的描述信息中携带的版本标识，然后从数据集中查找具有该版本标识的数据集，从而得到用于训练上述车辆识别模型的数据集。

本申请的一个实施例中，在描述信息中还包括数据集的分类标识的情况下，在需要回溯用于训练训练后模型的数据集的情况下，可以从数据集中，查找具有描述信息所包括分类标识和版本标识的数据集，得到用于训练所述训练后模型的数据集。

具体的，可以获得该训练后模型的描述信息中所携带的分类标识和版本标识，然后从数据集中查找具有该分类标识和版本标识的数据集，从而得到期望回溯的、用于训练上述模型的数据集。

与上述模型生成方法相对应地，本申请实施例还提供了一种模型调度方法，下面进行详细介绍。

参见图5，图5为本申请实施例提供的一种模型调度方法的流程示意图，该方法可以应用于模型调度设备，上述模型调度设备可以是电子计算机、服务器等电子设备，如图5所示，该模型调度方法包括如下步骤S501-S502：

S501，获得待调度模型及待调度模型的描述信息。

其中，每一待调度模型的描述信息包括：用于训练该模型的数据集的版本标识，以及该模型的功能信息、所支持的处理平台的平台信息。

具体的，模型调度设备可以获得上述模型生成设备生成的训练后模型，作为待调度模型，并获得模型生成设备发送的待调度模型的描述信息，基于该描述信息，可以确定用于训练该待调度模型的数据集，以及该模型的功能和所支持的处理平台。

本申请的一个实施例中，每一待调度模型的描述信息还可以包括：用于训练该模型的数据集的分类标识，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集。

S502，根据待调度模型的描述信息，调度待调度模型。

本申请的一个实施例中，可以根据待调度模型的描述信息中的平台信息，确定待调度模型所支持的处理平台，然后将待调度模型部署在安装有上述处理平台的推理设备中，从而可以使得待调度模型能够在所安装的推理设备上运行。

上述实施例提供的方案中，在获得待调度模型时，还可以获得待调度模型的描述信息，该描述信息中不仅包含训练该模型时所采用的训练集的版本标识，还包括模型的功能信息、所支持的处理平台的平台信息，这样在调度模型时，可以根据上述描述信息对模型进行调度，实现准确地调度各个待调度模型。

本申请的一个实施例中，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度和/或适用场景。

具体的，一种情况下，版本标识不同的数据集之间所包含的数据的数量不同，例如，版本标识为V1的数据集中包含1000条数据，版本标识为V2的数据集中包含1200条数据。这种情况下，利用不同版本标识的数据集训练得到的模型的精度可能不同。根据待调度模型的描述信息中的版本标识，可以确定待调度模型的精度。例如，在具有该版本标识的数据集的数据量越大的情况下，说明用于训练该模型的数据越多，确定该模型的精度越高；在具有该版本标识的数据集的数据量越小的情况下，说明用于训练该模型的数据越少，确定该模型的精度越低。

另一种情况下，版本标识不同的数据集之间所包含的数据的场景不同，例如，针对分类标识为“佩戴安全帽”的数据集，版本标识为V3的数据集中的图像可以是白天场景下的、佩戴安全帽的图像，版本标识为V4的数据集中的图像可以是晚上场景下的、佩戴安全帽的图像。这种情况下，利用不同版本标识的数据集训练得到的模型的适用场景可能不同。根据待调度模型的描述信息中的版本标识，可以确定待调度模型的精度。

鉴于此，参见图6，图6为本申请实施例提供的另一种模型调度方法的流程示意图，如图6所示，在调度模型时，可以包括如下步骤S5021-S5023：

S5021，获得待执行任务，根据各个待调度模型的描述信息中的分类标识、版本标识、功能信息，确定满足待执行任务的任务需求的第一目标模型。

其中，任务需求包括精度需求和/或场景需求。除此之外，该任务需求还可以包括平台需求，上述平台需求指的是：待部署模型的推理设备所具有的处理平台。

具体的，由于版本标识可以反映待调度模型的精度和/或适用场景，因此在获得待执行任务后，可以根据上述待执行任务的任务需求，从各个待调度模型中，选择描述信息中版本标识所反映的精度和/或适用场景满足上述任务需求的模型，作为第一目标模型。

例如，假设存在3个待调度模型M1、M2、M3，根据每一待调度模型的描述信息中的版本标识，可以确定上述3个待调度模型的精度分别为0.8、0.9、0.95，在获得待执行任务后，可以确定该任务的精度需求为0.93，其中待调度模型M3的精度0.95大于等于精度需求0.93，因此可以确定M3为第一目标模型。

S5022，确定安装有目标平台的推理设备，作为目标设备。

其中，目标平台为：第一目标模型的描述信息中平台信息对应的处理平台。

具体的，在确定第一目标模型后，可以根据第一目标模型的描述信息中的平台信息，确定该模型所支持的处理平台，然后确定安装有上述处理平台的推理设备，作为待部署该第一目标模型的目标设备。

S5023，将第一目标模型部署在目标设备上，并将待执行任务分配至目标设备。

具体的，可以将第一目标模型部署在上述目标设备中，然后将上述待执行任务分配至该目标设备，以便于该目标设备基于所部署的第一目标模型执行上述待执行任务。

本申请的一个实施例中，对于上述S5021，在确定第一目标模型时，可以从各个待调度模型中，确定描述信息中分类标识、版本标识、功能信息相同的模型，作为同类模型；从同类模型中，选择满足待执行任务的任务需求的第一目标模型。上述任务需求可以包括平台需求和/或效率需求，该效率需求指的是：单位时间内所需要处理的数据的数据量。

具体的，对于对应的描述信息中数据集的分类标识相同的模型，可以认为上述模型的功能相同；在功能相同的模型中，对于对应的版本标识相同的模型，可以认为对应的精度和/或适用场景相同，因此可以将描述信息中分类标识、版本标识、功能信息相同的模型，作为同类模型。同类模型对推理数据进行推理时，通常可以实现相同的推理效果，比如可以所得到的推理结果的精度相同。在选择第一模型时，可以从同类模型中选择满足待执行任务的任务需求的模型，作为第一目标模型。

本申请的一个实施例中，同类模型之间所支持的处理平台可能并不相同，而不同的处理平台具有不同的计算能力，上述计算能力可以包括内存大小、核心数量、单位时间支持的计算量等。鉴于此，在从同类模型中选择第一目标模型时，可以确定各个同类模型所支持的处理平台的计算能力，选择对应的处理平台计算能力满足待执行任务的任务需求的模型，作为第一目标模型。

本申请的又一实施例中，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度。

上述情况下，在调度待调度模型，可以从推理设备当前部署的当前模型中，查找第二目标模型，将第二目标模型更新为待调度模型。

其中，第二目标模型的描述信息中的分类标识、功能信息、平台信息分别与待调度模型的分类标识、功能信息、平台信息一致，且第二目标模型的描述信息中的版本信息所反映的精度低于待调度模型的描述信息中版本信息所反映的精度。

具体的，在第二目标模型与待调度模型的分类标识、功能信息、平台信息一致的情况下，可以认为待调度模型与第二目标模型的功能相同，并且支持在同样的处理平台上运行，而在第二目标模型对应的版本标识所反映的精度更低的情况下，可以将推理设备上当前部署的第二目标模型更新为待调度模型，以便于推理设备提供更好的推理效果。

本申请的一个实施例中，上述模型调度方法还可以包括：

获得调度后模型对推理数据进行推理得到的推理结果，并为推理结果标注调度后模型的描述信息中的版本标识，以基于所标注的信息利用推理数据对数据集进行更新。

具体的，推理设备在获得推理数据后，可以利用所部署的模型对该推理数据进行推理得到推理结果，并为各个推理结果做标注。这样后续可以将推理数据及推理结果发送至模型生成设备，模型生成设备可以基于推理结果中所标注的版本标识，确定用于训练该模型的数据集，然后利用该推理数据对所确定的数据集进行更新，得到新版本的数据集，实现数据回传。

本申请的一个实施例中，在待调度模型的描述信息还包括用于训练该模型的数据集的分类标识的情况下，上述方案中在对推理结果进行标注时，还可以：为推理结果标注调度后模型的描述信息中的分类标识和版本标识。

这样后续可以将推理数据及推理结果发送至模型生成设备，模型生成设备可以基于推理结果中所标注的分类标识和版本标识，确定用于训练该模型的数据集，然后利用该推理数据对所确定的数据集进行更新，得到新版本的数据集，实现数据回传。

参见图7，图7为本申请实施例提供的一种数据回传系统的结构示意图，上述系统包括模型生成子系统和模型调度子系统，模型生成子系统包括数据管理设备、模型生成设备，模型调度子系统包括模型调度设备，其中：

数据管理设备，用于从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；

模型生成设备，用于确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练待训练模型，生成用于实现功能、且支持处理平台的训练后模型；获得训练后模型的描述信息，其中，描述信息包括版本标识、表征功能的功能信息和表征处理平台的平台信息；并向模型调度设备发送训练后模型及训练后模型的描述信息；

模型调度设备，用于获得训练后模型及训练后模型的描述信息，根据训练后模型的描述信息，调度训练后模型。

具体的，模型生成子系统中的数据管理设备可以对多个数据集进行管理，在需要生成模型时，可以从多个数据集中，选择待进行模型训练的数据集，并确定所选择的数据集的版本标识，将上述数据集及版本标识发送至模型生成子系统中的模型生成设备；

模型生成子系统中的模型生成设备在接收到数据集及版本标识后，可以确定所要训练的模型的功能及支持的处理平台，然后利用上述数据集，训练得到能够实现上述功能、且支持上述处理平台的训练后模型，并生成该模型的描述信息，该描述信息可以描述模型的功能、支持的处理平台、以及用于训练该模型的数据集的版本标识；模型生成设备可以将上述训练后模型及描述信息发送至模型调度子系统中的模型调度设备；

模型调度子系统中的模型调度设备与至少一推理设备通信连接，在接收到上述训练后模型及描述信息后，可以根据描述信息，将各个待调度模型部署在各个推理设备中，实现模型调度。

本申请的一个实施例中，数据管理设备还可以确定所选择的数据集的分类标识，其中，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集；

这种情况下，模型生成设备在获得训练后模型的描述信息时，所获得的描述信息中还可以包括上述分类标识。

本申请的一个实施例中，模型调度子系统还包括数据回传设备；

数据回传设备，用于获得调度后模型对推理数据进行推理得到的推理结果，向数据管理设备发送推理数据及推理结果，其中，所述推理结果标注有所述调度后模型的描述信息中的版本标识；

数据管理设备，用于获得推理数据和推理结果，从推理数据中选择候选数据，并从数据集中，查找具有候选数据对应的推理结果中所携带版本标识的目标数据集；将候选数据及对应的推理结果添加至目标数据集，并设置添加后目标数据集的版本标识。

具体的，推理设备可以获得推理数据，然后利用所部署的模型对该推理数据进行处理，得到推理结果，并按照所部署的模型的描述信息，为各个推理结果标注描述信息中的版本标识。推理设备可以将上述推理数据及推理结果发送至模型调度子系统中的数据回传设备，数据回传设备再将上述推理数据及推理结果发送至模型生成子系统中的数据管理设备；

模型生成子系统中的数据管理设备可以根据推理结果中携带的上述模型所采用的训练集的版本标识，查找得到训练该模型时所采用的数据集，并利用该推理数据对该数据集进行更新，得到新版本的数据集，便于之后利用该新版本的数据集继续对上述模型进行训练。

本申请的一个实施例中，在描述信息中还包括分类标识的情况下，推理设备可以获得推理数据，然后利用所部署的模型对该推理数据进行处理，得到推理结果，并按照所部署的模型的描述信息，为各个推理结果标注描述信息中的分类标识和版本标识。推理设备可以将上述推理数据及推理结果发送至模型调度子系统中的数据回传设备，数据回传设备再将上述推理数据及推理结果发送至模型生成子系统中的数据管理设备；

模型生成子系统中的数据管理设备可以根据推理结果中携带的上述模型所采用的训练集的分类标识和版本标识，查找得到训练该模型时所采用的数据集，并利用该推理数据对该数据集进行更新，得到新版本的数据集，便于之后利用该新版本的数据集继续对上述模型进行训练。

参见图8，图8为本申请实施例提供的一种数据回传过程的示意图。如图8所示，模型生成设备在基于数据集训练得到模型后，可以将模型发送至模型调度设备，模型调度设备将各个模型部署在各个推理设备中，推理设备利用所部署的模型对推理数据进行推理，得到推理结果，并为各个推理结果标注所部署的模型对应的数据集的分类标识、版本标识，然后数据回传设备可以将上述推理数据及推理结果发送至数据管理设备，数据管理设备可以将上述推理数据及推理结果存储在推理数据集中，便于后续从该推理数据集中基于推理结果利用推理数据对数据集进行更新。

参见图9，图9为本申请实施例提供的另一种数据回传过程的示意图。如图9所示，模型生成子系统中包括数据管理设备和模型生成设备，其中：

数据管理设备可以对多种不同类别、不同版本的数据集进行管理，例如，所管理的数据集包括：分类标识为A和分类标识为B的数据集，其中，分类标识为A的数据集中包括版本标识为“V1”和“V2”的数据集，分类标识为B的数据集中包括版本标识为“V1”和“V2”的数据集。在需要训练模型的情况下，数据管理设备可以选择待用于进行模型训练的数据集，并获得数据集的分类标识和版本标识，然后将上述数据集发送至模型生成设备；

模型生成设备可以确定所要训练的模型的功能及支持的处理平台，然后利用上述数据集，训练得到能够实现上述功能、且支持上述处理平台的训练后模型，并生成该模型的描述信息，该描述信息可以描述模型的功能、支持的处理平台、以及用于训练该模型的数据集的分类标识和版本标识，将上述训练后模型及描述信息发送至模型调度子系统中的模型调度设备；

模型调度子系统中的模型调度设备与多个推理设备通信连接，在接收到上述训练后模型及描述信息后，可以根据描述信息，将各个待调度模型部署在各个推理设备中，实现模型调度；

推理设备可以获得推理数据，然后利用所部署的模型对该推理数据进行处理，得到推理结果，并按照所部署的模型的描述信息，为各个推理结果标注描述信息中的分类标识和版本标识，然后将上述推理数据及推理结果发送至模型调度子系统中的数据回传设备；

数据回传设备可以将接收到的推理数据及推理结果发送至模型生成子系统中的数据管理设备；

数据管理设备可以根据推理结果中携带的上述模型所采用的训练集的分类标识和版本标识，查找得到训练该模型时所采用的数据集，并利用该推理数据对该数据集进行更新，得到新版本的数据集，便于之后利用该新版本的数据集继续对上述模型进行训练。

参见图10，图10为本申请实施例提供的一种模型生成装置的结构示意图，所述装置包括：

数据集选择模块1001，用于从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的版本标识；

模型生成模块1002，用于确定待训练模型的功能、以及所支持的处理平台，利用所选择的数据集训练所述待训练模型，生成用于实现所述功能、且支持所述处理平台的训练后模型；

信息获得模块1003，用于获得所述训练后模型的描述信息，其中，所述描述信息包括所述版本标识、表征所述功能的功能信息和表征所述处理平台的平台信息。

本申请的一个实施例中，所述数据集选择模块1001，具体用于：

从数据集中，选择用于进行模型训练的数据集，并确定所选择的数据集的分类标识和版本标识，其中，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集；

所述描述信息还包括所述分类标识。

本申请的一个实施例中，所述装置还包括数据回传模块，用于：

从所述推理数据中选择候选数据，并从所述数据集中，查找具有所述候选数据对应的推理结果中所携带分类标识和版本标识的；

本申请的一个实施例中，所述装置还包括数据回溯模块，用于：

参见图11，图11为本申请实施例提供的一种模型调度装置的结构示意图，所述装置包括：

模型获得模块1101，用于获得待调度模型及所述待调度模型的描述信息，其中，每一待调度模型的描述信息包括：用于训练该模型的数据集的版本标识，以及该模型的功能信息、所支持的处理平台的平台信息；

模型调度模块1102，用于根据所述待调度模型的描述信息，调度所述待调度模型。

所述模型调度模块1102，包括：

模型确定单元，用于获得待执行任务，根据各个待调度模型的描述信息中的分类标识、版本标识、功能信息，确定满足所述待执行任务的任务需求的第一目标模型，其中，所述任务需求包括精度需求和/或场景需求；

设备确定单元，用于确定安装有目标平台的推理设备，作为目标设备，其中，所述目标平台为：所述第一目标模型的描述信息中平台信息对应的处理平台；

模型部署单元，用于将所述第一目标模型部署在所述目标设备上，并将所述待执行任务分配至所述目标设备。

本申请的一个实施例中，所述模型确定单元，具体用于：

获得待执行任务，从所述同类模型中，选择满足所述待执行任务的任务需求的第一目标模型。

所述模型调度模块1002，具体用于：

将所述第二目标模型更新为所述待调度模型。

本申请的一个实施例中，所述装置还包括结果标注模块，用于：

本申请实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，

存储器1203，用于存放计算机程序；

处理器1201，用于执行存储器1203上所存放的程序时，实现上述模型生成或模型调度方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型生成或模型调度方法方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型生成或模型调度方法方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例、装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims

1.一种模型生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所选择的数据集的版本标识，包括：

所述描述信息还包括所述分类标识。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

5.一种模型调度方法，其特征在于，所述方法包括：

根据所述待调度模型的描述信息，调度所述待调度模型。

6.根据权利要求5所述的方法，其特征在于，每一待调度模型的描述信息还包括：用于训练该模型的数据集的分类标识，具有同一分类标识的数据集中包含一个或多个具有不同版本标识的数据集。

7.根据权利要求6所述的方法，其特征在于，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度和/或适用场景；

8.根据权利要求7所述的方法，其特征在于，所述根据各个待调度模型的描述信息中的分类标识、版本标识、功能信息，确定满足所述待执行任务的任务需求的第一目标模型，包括：

9.根据权利要求6所述的方法，其特征在于，每一待调度模型的描述信息中的版本标识用于反映：该待调度模型的精度；

将所述第二目标模型更新为所述待调度模型。

10.根据权利要求5-9中任一项所述的方法，其特征在于，所述方法还包括：

11.一种数据回传系统，其特征在于，所述系统包括模型生成子系统和模型调度子系统，所述模型生成子系统包括数据管理设备、模型生成设备，所述模型调度子系统包括模型调度设备，其中：

12.根据权利要求11所述的系统，其特征在于，所述模型调度子系统还包括数据回传设备；

13.一种模型生成装置，其特征在于，所述装置包括：

14.一种模型调度装置，其特征在于，所述装置包括：