CN114594963A

CN114594963A - 模型的部署方法、装置、电子设备及存储介质

Info

Publication number: CN114594963A
Application number: CN202210280726.XA
Authority: CN
Inventors: 王泽楷; 杨欣; 罗洪运; 朱制
Original assignee: Shenzhen Sensetime Technology Co Ltd
Current assignee: Shenzhen Sensetime Technology Co Ltd
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2022-06-07

Abstract

本公开涉及一种模型的部署方法、装置、电子设备及存储介质，所述部署方法包括：接收测试设备发送的服务测试数据；根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，根据所述第一服务精度，确定是否生成部署建议；响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。本公开实施例可实现人工智能模型的持续迭代，可提高完整业务的服务质量、降低人工成本。

Description

模型的部署方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，涉及计算机技术领域，尤其涉及一种模型的部署方法、装置、电子设备及存储介质。

背景技术

随着人工智能领域的发展，人工智能模型被应用于各类场景，而在人工智能模型的实际应用过程中，从模型训练到被部署至对应的电子设备中，其整体流程过于冗长，不仅效率低下，而且人工成本较高。

发明内容

本公开提出了一种模型的部署技术方案。

根据本公开的一方面，提供了一种模型的部署方法，包括：接收测试设备发送的服务测试数据；根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件；根据所述第一服务精度，确定是否生成部署建议；响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

在一种可能的实施方式中，所述部署方法还包括：在确定所述待训练数据满足预设的训练条件的情况下，根据所述待训练数据训练初始模型，得到所述目标模型；输入模型测试数据至所述目标模型，得到第一模型精度；根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据。

在一种可能的实施方式中，所述根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据，包括：确定所述第一模型精度是否小于或等于第二模型精度；其中，在待训练数据满足已有类别训练条件的情况下，所述第二模型精度为输入所述模型测试数据至所述初始模型所得到的精度；和/或，在待训练数据满足新增类别训练条件的情况下，所述第二模型精度为预设的第一阈值；在确定所述第一模型精度小于或等于第二模型精度的情况下，确定不接收测试设备发送的服务测试数据。

在一种可能的实施方式中，所述部署方法还包括：在确定所述第一模型精度大于所述第二模型精度的情况下，转换目标模型为推理模型；发送所述推理模型的接口配置信息至所述测试设备；所述接收测试设备发送的服务测试数据，包括：接收所述测试设备根据所述接口配置信息发送的服务测试数据。

在一种可能的实施方式中，所述根据所述第一服务精度，确定是否生成部署建议，包括：确定所述第一服务精度是否大于第二服务精度；其中，在待训练数据满足已有类别训练条件的情况下，所述第二服务精度为根据与预设的处理功能对应的指令序列，调用至少一个初始模型对所述服务测试数据进行处理所生成的；和/或，在待训练数据满足新增类别训练条件的情况下，所述第二服务精度为预设的第二阈值；在确定所述第一服务精度大于第二服务精度的情况下，确定生成部署建议。

在一种可能的实施方式中，所述根据所述待训练数据训练初始模型，包括：对所述待训练数据进行数据增广，得到增广数据；根据所述增广数据，训练初始模型。

在一种可能的实施方式中，所述部署方法还包括：在确定生成所述部署建议的情况下，获取待部署设备发送的新增服务测试数据；根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述新增服务测试数据进行处理，生成并显示新增服务测试数据对应的精度；根据所述第一服务精度、所述新增服务测试数据对应的精度，重新确定是否生成部署建议，所述响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备，包括：响应于对重新确定生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

根据本公开的一方面，提供了一种模型的部署装置，包括：测试数据接收模块，用以接收测试设备发送的服务测试数据；第一服务精度生成模块，用以根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件；部署建议生成模块，用以根据所述第一服务精度，确定是否生成部署建议；模型部署模块，用以响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

在本公开实施例中，可接收测试设备发送的服务测试数据，而后根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度，再根据所述第一服务精度，确定是否生成部署建议，最终响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。由于本公开实施例提供的是一种自动化的模型部署方案，在电子设备确定目标模型在整体业务上的精度得到提升的情况下，可自动生成部署请求，不仅节约了人力成本，而且能够节省模型的部署流程耗时，进而使得模型能够快速地进行部署迭代，有利于人工智能模型应用于各种需要模型快速迭代的场景。此外，本公开实施例还设定了已有类别训练条件、新增类别训练条件，以使人工智能模型可自动化地依据上述预设条件不断训练、改善整体业务中已有类别对象的检测精度，也可灵活地为整体业务添加新增类别对象的检测功能，进而实现了人工智能模型的持续迭代完善，有利于提高完整业务的服务质量、降低人工成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出了根据本公开实施例提供的模型的部署方法的流程图。

图2示出了根据本公开实施例提供的模型的部署方法的流程图。

图3示出了根据本公开实施例提供的模型的部署方法的参考示意图。

图4示出了根据本公开实施例提供的模型的部署方法的参考示意图。

图5示出了根据本公开实施例提供的模型的部署装置的框图。

图6示出了根据本公开实施例提供的电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

相关技术中，模型从训练到被部署至电子设备的过程，通常由开发人员人工进行操作，存在以下问题：1、模型虽然精度较高，但是由于人工集成的过程中易出现错误的问题，导致完整的业务流程中易出现实际精度与理想精度无法对齐的问题。2、人工成本高。3、模型自训练至最后部署至对应的电子设备中可能经由不同开发人员进行处理，模型在需要更新的时候无法快速地进行部署迭代。

有鉴于此，本公开实施例提供了一种模型的部署方法，可接收测试设备发送的服务测试数据，而后根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度，再根据所述第一服务精度，确定是否生成部署建议，最终响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。由于本公开实施例提供的是一种自动化的模型部署方案，在电子设备确定目标模型在整体业务上的精度得到提升的情况下，可自动生成部署请求，不仅节约了人力成本，而且能够节省模型的部署流程耗时，进而使得模型能够快速地进行部署迭代，有利于人工智能模型应用于各种需要模型快速迭代的场景。此外，本公开实施例还设定了已有类别训练条件、新增类别训练条件，以使人工智能模型可自动化地依据上述预设条件不断训练、改善整体业务中已有类别对象的检测精度，也可灵活地为整体业务添加新增类别对象的检测功能，进而实现了人工智能模型的持续迭代完善，有利于提高完整业务的服务质量、降低人工成本。

示例性地，结合实际应用场景，上述模型的部署方法可以由服务器执行，服务器可与一终端设备进行交互。示例性地，上述服务器可表现为一基于Modelops(即ModelOperations，模型运维)的自动化平台，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在终端设备调用服务器提供的功能后，终端设备可上传一待检测数据至服务器，服务器可通过业务流水线(例如表现为上文所述的指令序列)将检测结果发送给终端设备，以实现完整的业务流程。在服务器自动化地训练模型后，其评价新的模型(也即上述目标模型)在业务流水线上的整体精度是否符合部署标准，若符合部署标准，则生成一个部署请求，以自动地或经由开发人员确定后将目标模型部署至终端设备(也即上述待部署设备)。

参阅图1所示，图1示出了根据本公开实施例提供的模型的部署方法的流程图，如图1所示，所述部署方法包括：

步骤S100，接收测试设备发送的服务测试数据。示例性地，上述服务测试数据用以作为完整业务流程中的初始输入，以使服务器能够开始执行完整的业务流程。例如：若上述完整业务流程可实现面部表情检测功能，则完整业务流程可如下设置：接收待检测图像、确定待检测图像中的面部区域图像，确定面部区域图像中的表情识别结果，将表情识别结果发送至终端设备，在此示例中，上述待检测图像即为上述服务测试数据。

步骤S200，根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度。示例性地，上述指令序列用以依次调用至少一个模型或至少一个算法的接口，以形成一个完整的业务流程，实现上述处理功能。上述指令序列可由开发人员根据实际的处理功能进行预先设置，在设置完成后，服务器可响应于用户在终端设备上发送的对应一个处理功能的触发请求，即开始执行与该处理功能对应的完整业务流程，在业务流程执行完毕后，即可发送反馈结果至终端设备，以形成服务闭环。继续参阅上例，若处理功能为面部表情检测功能，目标模型为表情检测模型，则上述指令序列可包括依次调用面部区域检测模型/算法、表情检测模型、数据发送模块所需的指令。例如：服务器依序调用面部区域检测模型/算法输入接口调用指令、面部区域检测模型/算法输出接口调用指令、表情检测模型输入接口调用指令、表情检测模型输出接口调用指令、终端设备输入接口调用指令。换言之，服务器可通过上述指令序列调用相关的算法、模型，而后生成检测结果，再发送至终端设备，以形成完整的业务流程。本公开实施例在此仅作出示例性的表述，上述指令序列可包括使得业务流程变得完整的任何指令。上述模型可为任意一种机器学习模型，如：深度学习模型、强化学习模型等，本公开实施例在此不作限制。

示例性地，上述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的。所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，例如，初始模型能够输出A、B两种类别的识别结果，则针对属于A、B两种类别的待训练数据设置已有类别训练条件。所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件，例如，初始模型能够输出A、B两种类别的识别结果，则针对不属于A、B两种类别的待训练数据，例如C、D……类别的待训练数据，设置新增类别训练条件。例如：上述已有类别训练条件可包括：标记为已有类别的训练样本(待训练数据)的数量达到预设数量、接收到开发人员发送的开始训练指令等。上述新增类别训练条件可包括：标记为新增类别的训练样本(待训练数据)的数量达到预设数量、接收到开发人员发送的开始训练指令等，本公开实施例在此不作限制。

步骤S300，根据所述第一服务精度，确定是否生成部署建议。示例性地，上述部署建议用以提示开发人员初始模型在更新为目标模型后精度更高，具备部署价值。

在一种可能的实施方式中，步骤S300可包括：确定所述第一服务精度是否大于第二服务精度。其中，在待训练数据满足已有类别训练条件的情况下，所述第二服务精度为根据与预设的处理功能对应的指令序列，调用至少一个初始模型对所述服务测试数据进行处理所生成的。在待训练数据满足新增类别训练条件的情况下，所述第二服务精度为预设的第二阈值。应该理解的是，服务测试数据是用以作为完整业务流程中的初始输入，而初始模型是用于进行某个特定环节的数据处理，因此在获取第二服务精度时，需要先将初始模型置于业务流程中的特定环节，以形成面向用户的完整的业务处理系统(也即上文电子设备)，再将该服务测试数据输入该业务处理系统中，从而获得第二服务精度。在一些示例中，完整业务流程中的初始输入也可不等同于初始模型的输入。例如：对于上述的面部表情检测功能，上述服务测试数据可为待检测图像，而初始模型的输入为面部区域图像，两者并不等同。在测试时是先将待检测图像作为完整业务流程中的初始输入，然后通过前置环节对待检测图像进行初步处理，检测待检测图像中的面部区域、提取得到面部区域图像，并将面部区域图像作为初始模型的输入、输入至初始模型中，进而根据模型处理结果得到相应的第二服务精度。示例性地，上述第二服务精度也可通过上述训练日志进行记录，本公开实施例在此不作赘述。本公开实施例能够通过比较目标模型、初始模型之间的服务精度，确定二者中在完整业务流程中精度更高的模型，进而确定是否生成部署建议。而后在确定所述第一服务精度大于第二服务精度的情况下，确定生成部署建议，以自动化地进行服务测试流程。而在待训练数据满足新增类别训练条件的情况下，由于初始模型无法对待训练数据进行精度比对，可将所述第二服务精度设为预设的第二阈值。

步骤S400，响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。示例性地，服务器可通过终端设备显示部署建议，而后由开发人员人工确定是否进行模型的部署，以保证完整业务流程的稳定性，在服务器接收到开发人员的确认指示后，服务器即可将上述至少一个目标模型部署至待部署设备。在一个示例中，上述待部署设备可为面向用户侧的终端设备，即用户可通过该终端设备使用相应的处理功能。

在一种可能的实施方式中，上述部署方法还可包括：在确定生成所述部署建议的情况下，获取待部署设备发送的新增服务测试数据。示例性地，新增服务测试数据可包括未曾用于训练或测试的数据，上述新增服务测试数据用以确定部署有目标模型的业务处理系统对未训练过的新增数据的精度，可表现为待部署设备收集到的新增数据。而后服务器根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述新增服务测试数据进行处理，生成并显示新增服务测试数据对应的精度。最终根据所述第一服务精度、所述新增服务测试数据对应的精度，重新确定是否生成部署建议。示例性地，该步骤可由人工完成，即由人工进行业务处理系统的定性对比，确定业务处理系统是否满足部署要求，以提高模型的实际部署效果。或者也可由开发人员设定预设阈值，并标记对应的新增服务测试数据的类别，由服务器自行判别精度是否达到预设阈值，以提高模型部署的自动化程度，本公开实施例在此不作限制。在此基础上，上述步骤S400可包括：响应于对重新确定生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

参阅图2所示，图2示出了根据本公开实施例提供的模型的部署方法的流程图。如图2所示，在一种可能的实施方式中，在步骤S100之前，上述部署方法还可包括：

步骤S10，在确定所述待训练数据满足预设的训练条件的情况下，根据所述待训练数据训练初始模型，得到所述目标模型。示例性地，上述待训练数据可为面向用户侧的终端设备上传的出现误报、漏报、标签分类错误的样本数据(也即负样本数据)，而后通过服务器中的负样本反馈、重新标注等功能(或由人工完成)对样本数据进行纠错。而后通过业务处理系统中的已有类别训练或新增类别训练功能进行模型的自动化训练。在一个示例中，还可对所述待训练数据进行数据增广，得到增广数据，而后根据所述增广数据，训练初始模型。例如：上述数据增广可包括相关技术中的方向变换、颜色变换、裁剪等，本公开实施例在此不作限制。

步骤S20，输入模型测试数据至所述目标模型，得到第一模型精度。示例性地，上述模型测试数据可为针对单个目标模型的测试数据，换言之，在该步骤中可通过模型测试数据获取到完整的业务流程中目标模型的局部精度(也即上述第一模型精度)。若目标模型位于指令序列中的首位(即第一个被调用)，则上述服务测试数据、模型测试数据的数据类型、数值可相同。在此情况下，若出于提高检测结果代表性的考虑，则也可将服务测试数据、模型测试数据的数值进行调整。例如：若继续以上述面部表情检测功能为例，则模型测试数据可为上述面部区域图像。

步骤S30，根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据。在一个示例中，步骤S30可包括：确定所述第一模型精度是否小于或等于第二模型精度。其中，在待训练数据满足已有类别训练条件的情况下，所述第二模型精度为输入所述模型测试数据至所述初始模型所得到的精度，和/或，在待训练数据满足新增类别训练条件的情况下，所述第二模型精度为预设的第一阈值。在确定所述第一模型精度小于或等于第二模型精度的情况下，确定不接收测试设备发送的服务测试数据。在确定所述第一模型精度大于第二模型精度的情况下，则接收测试设备发送的服务测试数据，即执行步骤S100，并继续执行步骤S200、S300、S400。本公开实施例可对目标模型进行自动化地训练、评测，以确定是否对目标模型进行服务测试，进而降低了人工成本。示例性地，上述第二模型精度可记录在模型的训练日志中，服务器通过访问模型对应的训练日志，即可得知模型在训练前的精度。上述训练日志还可包括：训练所使用的训练集、训练时间、异常状态等模型训练相关的信息，本公开实施例在此不作限制。

在一种可能的实现方式中，如果用于完成针对服务测试数据的处理功能的目标模型为多个，则可针对各目标模型分别执行步骤S20、S30，并在各目标模型的第一模型精度大于第二模型精度的情况下，接收测试设备发送的服务测试数据。例如，多个目标模型包括目标模型A、目标模型B，则在执行步骤S10，即根据待训练数据训练初始模型，得到所述目标模型A、目标模型B后，可针对其中的一个目标模型，例如目标模型A执行步骤S20、S30，并在确定目标模型A的第一模型精度大于第二模型精度的情况下，继续针对目标模型B执行步骤S20、S30，并在确定目标模型B的第一模型精度大于第二模型精度的情况下，接收测试设备发送的服务测试数据，即执行步骤S100，并继续执行步骤S200、S300、S400。

在一个可能的实施方式中，所述部署方法还包括：在确定所述第一模型精度大于所述第二模型精度的情况下，转换目标模型为推理模型。示例性地，上述推理模型可为上述目标模型经由相关技术中的特定工具链加速后的模型，例如：TensorRT(也即TRT)模型，推理模型相较于目标模型，可增加模型的运行速度，更加适配于实际的应用场景，进而降低了完整的业务流程的整体反馈时间。而后服务器发送所述推理模型的接口配置信息至所述测试设备。在此基础上，上述步骤S100可包括：接收所述测试设备根据所述接口配置信息发送的服务测试数据。示例性地，上述接口配置信息可表现为SDK(即Software DevelopmentKit，软件开发工具包)插件、SDK配置等，即服务器可根据模型所对应的SDK插件、配置，确定模型的调用规则，以使指令序列可以通过接口配置信息调用对应的模型或算法，进而允许终端设备调用相应的处理功能。在一个示例中，也可对上述接口配置信息进行云原生服务化，即基于容器技术、微服务等云原生技术对接口配置信息进行服务化，以形成可在云原生平台上运行的算法、模型服务。若如上设置，则可使完整的业务流程应用于云原生环境，进而使得业务流程不仅可以进行快速的响应、迭代，而且开发人员参与程度较低，有利于模型精度的提升。换言之，上述服务器可为基于Modelops的云服务器，其支持在云原生环境下执行完整或部分的业务流程。

示例性地，上述各类测试数据(包括上述服务测试数据、模型测试数据)、待训练数据、模型(包括初始模型、目标模型、推理模型)、接口配置信息、服务器中适配接口配置信息的服务组件之间可存在映射关系，以保证上述部署方法中的数据调用一致性，降低调用数据错误的几率。

结合实际应用场景，参阅图3所示，图3示出了本公开实施例提供的模型的部署方法的参考示意图，如图3所示，在开发人员预进行已有类别训练的情况下，开发人员可对系统误报或漏报的数据进行标注处理，而后输入至服务器中，由服务器进行自动数据预处理(例如：样本增广、筛选等)。服务器针对任务的数据情况自动化设置超参数(如相关技术中的网格搜索、随机搜索、贝叶斯优化等)进行训练(即训练初始模型)，对完成训练的模型(也即上述目标模型)自动进行评测。若模型比原来的效果更好(通过比对上述第一模型精度、上述第二模型精度确定)，则自动进行模型转换(也即将上述目标模型转换为上述推理模型)。服务器将SDK自动映射打包、自动地进行服务化，而后自动部署到系统B(也即上述测试设备、图中预发布系统)。若服务比原来的效果好(通过比对上述第一服务精度、上述第二服务精度确定)，则基于生产系统A(也即上述待部署设备)提供的新增数据(也即上述新增服务测试数据)，对预发布系统B进行定性评测。开发人员人工定性是否满足发布标准，若满足，则服务器将预发布服务部署替换生产系统A的算法服务(也即部署上述目标模型至上述待部署设备中)。

参阅图4所示，图4示出了本公开实施例提供的模型的部署方法的参考示意图，如图4所示，在开发人员预进行新增类别训练的情况下，开发人员可向系统上传新增任务流程，实现任务的初始化(如为模型增加新的判别子网络)，而后提交标注的训练数据(以及上述待训练数据)。服务器自动地进行数据的预处理(例如：样本增广、筛选等)和模型(也即上述初始模型)训练，而后对训练完成的模型自动化地进行评测。若模型能满足最低发布要求(通过比对上述第一模型精度、上述第二模型精度确定)，则服务器自动进行模型转换(也即将上述目标模型转换为上述推理模型)，并将SDK自动映射打包、自动地进行服务化，而后自动部署到系统B(也即上述测试设备、图中预发布系统)。基于生产系统A(也即上述待部署设备)提供的新增数据(也即上述新增服务测试数据)，对预发布系统B进行定性评测。开发人员人工定性是否满足发布标准，若满足，则服务器将算法发布到生产系统A(也即部署上述目标模型至上述待部署设备中)。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

此外，本公开还提供了模型的部署装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种模型的部署方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图5示出根据本公开实施例提供的模型的部署装置的框图，如图5所示，所述部署装置100包括：测试数据接收模块110，用以接收测试设备发送的服务测试数据；第一服务精度生成模块120，用以根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件；部署建议生成模块130，用以根据所述第一服务精度，确定是否生成部署建议；模型部署模块140，用以响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

在一种可能的实施方式中，所述部署装置还包括：服务测试数据处理模块，用以执行以下步骤：在确定所述待训练数据满足预设的训练条件的情况下，根据所述待训练数据训练初始模型，得到所述目标模型；输入模型测试数据至所述目标模型，得到第一模型精度；根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据。

在一种可能的实施方式中，所述部署装置还包括：接口配置信息确定模块，用以执行以下步骤：在确定所述第一模型精度大于所述第二模型精度的情况下，转换目标模型为推理模型；发送所述推理模型的接口配置信息至所述测试设备；所述接收测试设备发送的服务测试数据，包括：接收所述测试设备根据所述接口配置信息发送的服务测试数据。

在一种可能的实施方式中，所述部署装置还包括：新增服务测试数据处理模块，用以执行以下步骤：在确定生成所述部署建议的情况下，获取待部署设备发送的新增服务测试数据；根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述新增服务测试数据进行处理，生成并显示新增服务测试数据对应的精度；根据所述第一服务精度、所述新增服务测试数据对应的精度，重新确定是否生成部署建议，所述响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备，包括：响应于对重新确定生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

电子设备可以被提供为服务器或其它形态的设备。

图6示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows Server^TM)，苹果公司推出的基于图形用户界面操作系统(Mac OSX^TM)，多用户多进程的计算机操作系统(Unix^TM),自由和开放原代码的类Unix操作系统(Linux^TM)，开放原代码的类Unix操作系统(FreeBSD^TM)或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种模型的部署方法，其特征在于，所述部署方法包括：

接收测试设备发送的服务测试数据；

根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件；

根据所述第一服务精度，确定是否生成部署建议；

响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

2.如权利要求1所述的部署方法，其特征在于，所述部署方法还包括：

在确定所述待训练数据满足预设的训练条件的情况下，根据所述待训练数据训练初始模型，得到所述目标模型；

输入模型测试数据至所述目标模型，得到第一模型精度；

根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据。

3.如权利要求2所述的部署方法，其特征在于，所述根据所述第一模型精度，确定是否接收测试设备发送的服务测试数据，包括：

确定所述第一模型精度是否小于或等于第二模型精度；其中，在待训练数据满足已有类别训练条件的情况下，所述第二模型精度为输入所述模型测试数据至所述初始模型所得到的精度；和/或，在待训练数据满足新增类别训练条件的情况下，所述第二模型精度为预设的第一阈值；

在确定所述第一模型精度小于或等于第二模型精度的情况下，确定不接收测试设备发送的服务测试数据。

4.如权利要求3所述的部署方法，其特征在于，所述部署方法还包括：

在确定所述第一模型精度大于所述第二模型精度的情况下，转换目标模型为推理模型；

发送所述推理模型的接口配置信息至所述测试设备；

所述接收测试设备发送的服务测试数据，包括：

接收所述测试设备根据所述接口配置信息发送的服务测试数据。

5.如权利要求3或4所述的部署方法，其特征在于，所述根据所述第一服务精度，确定是否生成部署建议，包括：

确定所述第一服务精度是否大于第二服务精度；其中，在待训练数据满足已有类别训练条件的情况下，所述第二服务精度为根据与预设的处理功能对应的指令序列，调用至少一个初始模型对所述服务测试数据进行处理所生成的；和/或，在待训练数据满足新增类别训练条件的情况下，所述第二服务精度为预设的第二阈值；

在确定所述第一服务精度大于第二服务精度的情况下，确定生成部署建议。

6.如权利要求2至5中任意一项所述的部署方法，其特征在于，所述根据所述待训练数据训练初始模型，包括：

对所述待训练数据进行数据增广，得到增广数据；

根据所述增广数据，训练初始模型。

7.如权利要求1至6中任意一项所述的部署方法，其特征在于，所述部署方法还包括：

在确定生成所述部署建议的情况下，获取待部署设备发送的新增服务测试数据；

根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述新增服务测试数据进行处理，生成并显示新增服务测试数据对应的精度；

根据所述第一服务精度、所述新增服务测试数据对应的精度，重新确定是否生成部署建议，

所述响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备，包括：

响应于对重新确定生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

8.一种模型的部署装置，其特征在于，所述部署装置包括：

测试数据接收模块，用以接收测试设备发送的服务测试数据；

第一服务精度生成模块，用以根据与预设的处理功能对应的指令序列，调用至少一个目标模型对所述服务测试数据进行处理，生成服务测试数据对应的第一服务精度；其中，所述目标模型是在待训练数据满足预设的训练条件的情况下，基于所述待训练数据对初始模型训练得到的；所述预设的训练条件包括已有类别训练条件、新增类别训练条件中的至少一种，所述已有类别训练条件包括针对初始模型已识别的类别的待训练数据设置的训练条件，所述新增类别训练条件包括针对初始模型未识别的类别的待训练数据设置的训练条件；

部署建议生成模块，用以根据所述第一服务精度，确定是否生成部署建议；

模型部署模块，用以响应于对生成的部署建议的确认指示，将所述至少一个目标模型部署至待部署设备。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的模型的部署方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时，实现权利要求1至7中任意一项所述的模型的部署方法。