CN114611698A - 模型的部署方法、装置、电子设备及存储介质 - Google Patents

模型的部署方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114611698A
CN114611698A CN202210282208.1A CN202210282208A CN114611698A CN 114611698 A CN114611698 A CN 114611698A CN 202210282208 A CN202210282208 A CN 202210282208A CN 114611698 A CN114611698 A CN 114611698A
Authority
CN
China
Prior art keywords
model
service
configuration information
target model
interface configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210282208.1A
Other languages
English (en)
Inventor
王泽楷
杨欣
罗洪运
朱制
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202210282208.1A priority Critical patent/CN114611698A/zh
Publication of CN114611698A publication Critical patent/CN114611698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开涉及一种模型的部署方法、装置、电子设备及存储介质，所述部署方法包括：所述部署方法包括：根据预设的指令序列，调用至少一个目标模型；基于服务测试数据和所述目标模型，得到第一服务精度；在所述第一服务精度大于第二服务精度的情况下，生成部署请求。本公开实施例可实现自动化的模型部署方案，在电子设备确定目标模型在整体业务上的精度得到提升的情况下，可自动生成部署请求，不仅节约了人力成本，而且能够节省模型的部署流程耗时，进而使得模型能够快速地进行部署迭代，有利于人工智能模型应用于各种需要模型快速迭代的场景。

Description

模型的部署方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种模型的部署方法、装置、电子设备及存储介质。
背景技术
随着人工智能领域的发展，人工智能模型被应用于各类场景，而在人工智能模型的实际应用过程中，从模型训练到被部署至对应的电子设备中，其整体流程过于冗长，不仅效率低下，而且人工成本较高。
发明内容
本公开提出了一种模型的部署技术方案。
根据本公开的一方面，提供了一种模型的部署方法，所述部署方法包括：根据预设的指令序列，调用至少一个目标模型，所述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的；基于服务测试数据和所述目标模型，得到第一服务精度；在所述第一服务精度大于第二服务精度的情况下，生成部署请求；其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度，所述部署请求用于将目标模型部署至待部署设备。
在一种可能的实施方式中，所述预设条件包括：待训练数据的数量大于或等于预设数量、或待训练数据的数量与已训练数据的数量之间的比值大于或等于预设比值。
在一种可能的实施方式中，所述根据预设的指令序列，调用至少一个目标模型，包括：确定至少一个目标模型对应的接口配置信息；根据预设的指令序列，通过所述接口配置信息调用至少一个目标模型。
在一种可能的实施方式中，所述确定至少一个目标模型对应的接口配置信息，包括：转换目标模型为推理模型；根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息。
在一种可能的实施方式中，所述根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息，包括：确定所述推理模型对应的第一接口配置信息；云服务化所述第一接口配置信息，以生成第二接口配置信息，并将所述第二接口配置信息作为目标模型对应的接口配置信息。
在一种可能的实施方式中，所述转换目标模型为推理模型，包括：输入模型测试数据至目标模型，以获得第一模型精度；在所述第一模型精度大于第二模型精度的情况下，将目标模型转换为推理模型；其中，所述第二模型精度为输入所述模型测试数据至初始模型所得到的精度。
在一种可能的实施方式中，所述根据预设的指令序列，调用至少一个目标模型，包括：确定至少一个目标模型对应的接口配置信息之后，根据接口测试数据，确定所述接口配置信息的调用状态；在所述调用状态为异常状态的情况下，生成结束请求，所述结束请求用于停止调用目标模型。
在一种可能的实施方式中，所述基于服务测试数据和所述目标模型，得到第一服务精度，包括：发送所述接口配置信息至测试设备；接收所述测试设备发送的服务测试数据；根据预设的指令序列，基于服务测试数据和所述目标模型得到第一服务精度。
在一种可能的实施方式中，所述部署方法还包括：响应于所述部署请求，发送所述接口配置信息至待部署设备。
根据本公开的一方面，提供了一种模型的部署装置，所述部署装置包括：目标模型调用模块，用以根据预设的指令序列，调用至少一个目标模型，所述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的；服务精度获取模块，用以基于服务测试数据和所述目标模型，得到第一服务精度；部署请求生成模块，用以在所述第一服务精度大于第二服务精度的情况下，生成部署请求；其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度，所述部署请求用于将目标模型部署至待部署设备。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述模型的部署方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述模型的部署方法。
在本公开实施例中，可根据预设的指令序列，调用至少一个目标模型，而后基于服务测试数据和所述目标模型，得到第一服务精度，最终在所述第一服务精度大于第二服务精度的情况下，生成部署请求。由于本公开实施例提供的是一种自动化的模型部署方案，在电子设备确定目标模型在整体业务上的精度得到提升的情况下，可自动生成部署请求，不仅节约了人力成本，而且能够节省模型的部署流程耗时，进而使得模型能够快速地进行部署迭代，有利于人工智能模型应用于各种需要模型快速迭代的场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例提供的一种模型的部署方法的流程图。
图2示出根据本公开实施例提供的一种模型的部署方法的流程图。
图3示出根据本公开实施例提供的处理方法的参考示意图。
图4示出根据本公开实施例提供的模型的部署装置的框图。
图5示出根据本公开实施例提供的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
相关技术中，模型从训练到被部署至电子设备的过程，通常由开发人员人工进行操作，存在以下问题：1、模型虽然精度较高，但是由于人工集成的过程中易出现错误的问题，导致完整的业务流程中易出现实际精度与理想精度无法对齐的问题。2、人工成本高。3、模型自训练至最后部署至对应的电子设备中可能经由不同开发人员进行处理，模型在需要更新的时候无法快速地进行部署迭代。
有鉴于此，本公开实施例提供了一种模型的部署方法，可根据预设的指令序列，调用至少一个目标模型，而后基于服务测试数据和所述目标模型，得到第一服务精度，最终在所述第一服务精度大于第二服务精度的情况下，生成部署请求。由于本公开实施例提供的是一种自动化的模型部署方案，在电子设备确定目标模型在整体业务上的精度得到提升的情况下，可自动生成部署请求，不仅节约了人力成本，而且能够节省模型的部署流程耗时，进而使得模型能够快速地进行部署迭代，有利于人工智能模型应用于各种需要模型快速迭代的场景。
示例性地，结合实际应用场景，上述模型的部署方法可以由服务器执行，服务器可与一终端设备进行交互。示例性地，上述服务器可表现为一云服务器，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在终端设备调用服务器提供的功能后，终端设备可上传一待检测数据至服务器，服务器可通过业务流水线(例如表现为上文所述的指令序列)将检测结果发送给终端设备，以实现完整的业务流程。在服务器需要更新模型时，其自动地评价新的模型(也即目标模型)在业务流水线上的整体精度是否符合部署标准，若符合部署标准，则生成一个部署请求，以自动地或经由开发人员确定后将目标模型部署至待部署设备(也即上文的终端设备)。
参阅图1所示，图1示出根据本公开实施例提供的一种模型的部署方法的流程图。如图1所示，上述部署方法包括：
步骤S100，根据预设的指令序列，调用至少一个目标模型。示例性地，指令序列用以依次调用至少一个模型或至少一个算法的接口，以形成一个完整的业务流程，例如：上述业务流程可包括：目标物分类、目标物检测、语音或文字识别等，本公开实施例在此不作限制。例如：以手部姿态检测功能为例，完整的业务流程可为：接收待检测图像、确定待检测图像中的手部区域图像，确定手部区域图像中的姿态结果，将姿态结果发送给终端设备。其对应的指令序列可包括依次调用手部区域检测模型/算法、姿态检测模型、数据发送模块所需的指令，例如：依序调用手部区域检测算法输入接口调用指令、手部区域检测算法输出接口调用指令、姿态检测模型输入接口调用指令、姿态检测模型输出接口调用指令、终端设备输入接口调用指令。上述指令序列可通过依次调用不同算法或模型之间输入、输出接口的方式，使待检测数据可以依序经由不同的算法、模型后，生成一个检测结果，以实现服务器中完整的业务流程。本公开实施例在此仅作出示例性的表述，上述指令序列可包括使得业务流程变得完整的任何指令。上述模型可为任意一种机器学习模型，如：深度学习模型、强化学习模型等，本公开实施例在此不作限制。
上述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的。示例性地，服务器中存储有待训练数据与已训练数据，已训练数据是已被初始模型学习过的样本，待训练数据是未被初始模型学习过的样本。在一个示例中，待训练数据可由以下任意方式得到：1、由开发人员保存至服务器中。2、由服务器将用户使用过的历史数据自动进行判别流转，作为一种待训练数据。例如：历史数据可包括各类已使用过的验证信息(如带有特定对象的验证图片等)，各类验证信息经用户使用后即产生了各种标注信息，服务器可通过收集已使用的验证信息，训练对应的初始模型，以实现待训练数据的自动收集，进而降低人工收集的成本，本公开实施例在此不限制待训练数据的来源。
在一种可能的实施方式中，上述预设条件可包括：待训练数据的数量大于或等于预设数量、或待训练数据的数量与已训练数据的数量之间的比值大于或等于预设比值。即在满足以上任意条件的情况下，服务器可自动基于待训练数据进行模型的训练。上述模型的训练过程，可参考相关技术，本公开实施例在此不作赘述。本公开实施例通过设定上述预设条件的方式，一方面可提高模型训练前后的差异程度，另一方面可降低模型的训练次数，进而降低了模型训练所导致的算力损耗。
参阅图2所示，图2示出根据本公开实施例提供的一种模型的部署方法的流程图。如图2所示，在一种可能的实施方式中，步骤S100可包括：
步骤S110，确定至少一个目标模型对应的接口配置信息。示例性地，上述模型的接口配置信息可表现为SDK(即Software Development Kit，软件开发工具包)插件、SDK配置等，即服务器可根据模型所对应的SDK插件、配置，确定模型的调用规则，以使指令序列可以通过接口配置信息调用对应的模型或算法，进而使得目标模型可以集成于完整的业务流水线中。
在一种可能的实施方式中，步骤S110可包括：转换目标模型为推理模型。示例性地，上述推理模型可为上述目标模型经由相关技术中的特定工具链加速后的模型，例如：TensorRT(也即TRT)模型，推理模型相较于目标模型，可增加模型的运行速度，更加适配于实际的应用场景，进而降低了完整的业务流程的整体反馈时间。而后根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息。例如：上述第一接口配置信息可直接作为目标模型对应的接口配置信息。
在一种可能的实施方式中，上述根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息可包括：确定所述推理模型对应的第一接口配置信息。云服务化所述第一接口配置信息，以生成第二接口配置信息，并将所述第二接口配置信息作为目标模型对应的接口配置信息。示例性地，上述云服务化可表现为云原生(即CloudNative)服务化，即基于容器技术、微服务等云原生技术对接口配置信息进行服务化，以形成可在云原生平台上运行的算法服务。本公开实施例，通过云服务化上述接口配置信息的方式，使得完整的业务流程可应用于云原生环境，进而使得业务流程不仅可以进行快速的响应、迭代，而且开发人员参与程度较低，有利于模型精度的提升。换言之，上述服务器可为一云服务器，其支持在云原生环境下执行完整或部分的业务流程。
在一种可能的实施方式中，上述转换目标模型为推理模型可包括：输入模型测试数据至目标模型，以获得第一模型精度。示例性地，上述模型测试数据可为针对单个目标模型的测试数据，即在该步骤中可通过模型测试数据获取到完整的业务流程中目标模型的局部精度(也即上述第一模型精度)。若目标模型位于指令序列中的首位(即第一个被调用)，则上述服务测试数据、模型测试数据的数据类型、数值可相同。在此情况下，若出于提高检测结果代表性的考虑，则也可将服务测试数据、模型测试数据的数值进行调整。例如：若继续以上述手部姿态检测功能为例，则模型测试数据可为上述手部区域图像。而后在所述第一模型精度大于第二模型精度的情况下，将目标模型转换为推理模型。其中，所述第二模型精度为输入所述模型测试数据至初始模型所得到的精度。示例性地，上述第二模型精度可记录在模型的训练日志中，服务器通过访问模型对应的训练日志，即可得知模型在训练前的精度。上述训练日志还可包括：训练所使用的训练集、训练时间、异常状态等模型训练相关的信息，本公开实施例在此不作限制。本公开实施例通过设定第二模型精度的方式，筛选出了局部精度较高的目标模型，进而节约了服务器的算力，使得服务器能够高效且稳定地更新表现更好的业务流程。在一个示例中，在所述第一模型精度小于或等于第二模型精度的情况下，也可生成结束请求，上述结束请求用于停止调用目标模型。
在一种可能的实施方式中，步骤S100还可包括：确定至少一个目标模型对应的接口配置信息之后，根据接口测试数据，确定所述接口配置信息的调用状态。示例性地，上述接口测试数据用以测试接口配置信息是否能够被正确调用。在所述调用状态为异常状态的情况下，生成结束请求。在一个示例中，在服务器生成结束请求时，即此次目标模型可能存在调用异常问题，为确保整体的业务流程可以正常进行，可将目标模型备份，等待开发人员进行人工处理，在人工处理完成前，服务器使用初始模型。若在等待人工处理的过程中，服务器中的待训练数据再次达到了预设条件，则模型也可不必等待人工处理，再次进行模型的训练流程，本公开实施例在此不作限制。上述接口测试数据可由开发人员存储至服务器的一存储器中，以供服务器在执行该步骤时被调用。
继续参阅图2所示，步骤S120，根据预设的指令序列，通过所述接口配置信息调用至少一个所述目标模型。示例性地，指令序列可依次调用完整的业务流程中所使用的全部算法、模型的接口配置信息，以实现待检测数据的数据流转。
继续参阅图1，步骤S200，基于服务测试数据和所述目标模型，得到第一服务精度。示例性地，上述服务测试数据用以作为完整业务流程中的初始输入，以使得服务器能够开始执行完整的业务流程。继续以上述手部姿态检测功能为例，上述服务测试数据可为待检测图像，在服务器接收到待检测数据时，即开始通过指令序列执行完整的手势姿态检测流程。服务测试数据可由开发人员存储至服务器的一存储器中，以供服务器在执行步骤S200时被调用。
示例性地，上述各类测试数据(包括上述服务测试数据、模型测试数据、接口测试数据)、训练数据(包括已训练数据、待训练数据)、模型(包括初始模型、目标模型、推理模型)、接口配置信息、服务器中适配接口配置信息的服务组件之间可存在映射关系，以保证上述部署流程中的数据调用一致性，降低调用数据错误的几率。
在一种可能的实施方式中，步骤S200可包括：发送所述接口配置信息至测试设备。上述测试设备用以测试完整的业务流程，测试设备可为任意一项终端设备，能够具备基本的接口调用能力即可。而后接收所述测试设备发送的服务测试数据。服务器根据预设的指令序列，基于服务测试数据和所述目标模型得到第一服务精度。在本公开实施例中，可通过测试设备模拟实际使用场景下的业务流程，有利于提升第一服务精度的代表性，进而使得最终部署的模型能够更适配于用户的实际使用场景。
继续参阅图1，步骤S300，在所述第一服务精度大于第二服务精度的情况下，生成部署请求。其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度。所述部署请求用于将目标模型部署至待部署设备。应该理解的是，服务测试数据是用以作为完整业务流程中的初始输入，而初始模型是用于进行某个特定环节的数据处理，因此在获取第二服务精度时，需要先将初始模型置于业务流程中的特定环节，形成完整的业务处理系统，再将该服务测试数据输入该业务处理系统中，从而获得第二服务精度。当然，在一些实施中，完整业务流程中的初始输入，并不等同于初始模型的输入。例如对于上述的手部姿态检测功能，上述服务测试数据可为待检测图像，而初始模型的输入为手部区域图像，两者并不等同；在测试时是先将待检测图像作为完整业务流程中的初始输入，然后通过前置环节对待检测图像进行初步处理，检测待检测图像中的手部区域、提取得到手部区域图像，并将手部区域图像作为初始模型的输入、输入至初始模型中，进而根据模型处理结果得到相应的第二服务精度。示例性地，上述第二服务精度也可通过上述训练日志进行记录，本公开实施例在此不作赘述。本公开实施例能够通过比较目标模型、初始模型之间的第一服务精度，确定二者中在完整业务流程中精度更高的模型，进而实现模型的自动化部署。
在一种可能的实施方式中，上述部署方法还可包括：响应于所述部署请求，发送所述接口配置信息至待部署设备。示例性地，可通过相关技术中的灰度、蓝绿、滚动部署等各类部署方法进行服务的部署，本公开实施例在此不作赘述。待部署设备在得到接口配置信息后，可通过调用接口配置信息的方式，将待检测数据上传至服务器的业务流水线中，以调用服务器中部署的各类服务。在一个示例中，也可将上述推理模型直接部署于上述待部署设备中，以分担服务器的算力负载，本公开实施例在此不作限制。
参阅图3所示，图3示出根据本公开实施例提供的处理方法的参考示意图，如图3所示，服务器首先确定资源是否满足训练条件(也即确定待训练数据是否满足预设条件)，在满足训练条件的情况下，服务器通过预定义配置(也即服务测试数据、模型测试数据、接口测试数据)以及mapping(也即上述每种测试数据、初始模型、目标模型、每种精度之间的映射关系)配置测试数据、配置SDK信息(也即上述接口配置信息)、配置训练数据(也即上述待训练数据)、配置预训练模型。而后，基于训练数据，对pth(也即pytorch，一种神经网络框架)模型进行训练，此时可生成一个日志输出(也即上述训练日志)以记录模型的训练状态。基于测试数据(具体为模型测试数据)对pth模型进行精度测试，比较训练后的pth模型是否相对于预训练模型精度是否更优。若精度更低，则反馈建议结束(也即上述结束请求)。若精度更高，则进行模型转换，将pth模型转换为TRT模型(也即上述推理模型)。服务器配置其对应的SDK插件，进行服务打包，而后将打包后的服务(也即上述接口配置信息)部署至测试设备。基于测试数据(具体为服务测试数据)对完整的业务流程进行测试(也即通过指令序列，调用初始模型、目标模型，基于所述服务测试数据，进行精度测试)。若目标模型在完整的业务流程的精度高于初始模型在完整的业务流程的精度，则建议部署(也即上述生成部署请求)，通过灰度/蓝绿/滚动进行模型的部署。若目标模型在完整的业务流程的精度低于初始模型在完整的业务流程的精度，则反馈建议结束。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了模型的部署装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种模型的部署方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图4示出根据本公开实施例提供的模型的部署装置的框图，如图4所示，所述部署装置100包括：目标模型调用模块110，用以根据预设的指令序列，调用至少一个目标模型，所述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的。服务精度获取模块120，用以基于服务测试数据和所述目标模型，得到第一服务精度。部署请求生成模块130，用以在所述第一服务精度大于第二服务精度的情况下，生成部署请求。其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度，所述部署请求用于将目标模型部署至待部署设备。
在一种可能的实施方式中，所述预设条件包括：待训练数据的数量大于或等于预设数量、或待训练数据的数量与已训练数据的数量之间的比值大于或等于预设比值。
在一种可能的实施方式中，所述根据预设的指令序列，调用至少一个目标模型，包括：确定至少一个目标模型对应的接口配置信息；根据预设的指令序列，通过所述接口配置信息调用至少一个目标模型。
在一种可能的实施方式中，所述确定至少一个目标模型对应的接口配置信息，包括：转换目标模型为推理模型；根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息。
在一种可能的实施方式中，所述根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息，包括：确定所述推理模型对应的第一接口配置信息；云服务化所述第一接口配置信息，以生成第二接口配置信息，并将所述第二接口配置信息作为目标模型对应的接口配置信息。
在一种可能的实施方式中，所述转换目标模型为推理模型，包括：输入模型测试数据至目标模型，以获得第一模型精度；在所述第一模型精度大于第二模型精度的情况下，将目标模型转换为推理模型；其中，所述第二模型精度为输入所述模型测试数据至初始模型所得到的精度。
在一种可能的实施方式中，所述根据预设的指令序列，调用至少一个目标模型，包括：确定至少一个目标模型对应的接口配置信息之后，根据接口测试数据，确定所述接口配置信息的调用状态；在所述调用状态为异常状态的情况下，生成结束请求，所述结束请求用于停止调用目标模型。
在一种可能的实施方式中，所述基于服务测试数据和所述目标模型，得到第一服务精度，包括：发送所述接口配置信息至测试设备；接收所述测试设备发送的服务测试数据；根据预设的指令序列，基于服务测试数据和所述目标模型得到第一服务精度。
在一种可能的实施方式中，所述部署装置还包括：配置信息发送模块，用以响应于所述部署请求，发送所述接口配置信息至待部署设备。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
电子设备可以被提供为服务器或其它形态的设备。
图5示出根据本公开实施例提供的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图5，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OSXTM)，多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种模型的部署方法，其特征在于，所述部署方法包括：
根据预设的指令序列，调用至少一个目标模型，所述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的；
基于服务测试数据和所述目标模型，得到第一服务精度；
在所述第一服务精度大于第二服务精度的情况下，生成部署请求；其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度，所述部署请求用于将目标模型部署至待部署设备。
2.如权利要求1所述的部署方法，其特征在于，所述预设条件包括：待训练数据的数量大于或等于预设数量、或待训练数据的数量与已训练数据的数量之间的比值大于或等于预设比值。
3.如权利要求1或2所述的部署方法，其特征在于，所述根据预设的指令序列，调用至少一个目标模型，包括：
确定至少一个目标模型对应的接口配置信息；
根据预设的指令序列，通过所述接口配置信息调用至少一个目标模型。
4.如权利要求3所述的部署方法，其特征在于，所述确定至少一个目标模型对应的接口配置信息，包括：
转换目标模型为推理模型；
根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息。
5.如权利要求4所述的部署方法，其特征在于，所述根据所述推理模型对应的第一接口配置信息，确定目标模型对应的接口配置信息，包括：
确定所述推理模型对应的第一接口配置信息；
云服务化所述第一接口配置信息，以生成第二接口配置信息，并将所述第二接口配置信息作为目标模型对应的接口配置信息。
6.如权利要求4或5所述的部署方法，其特征在于，所述转换目标模型为推理模型，包括：
输入模型测试数据至目标模型，以获得第一模型精度；
在所述第一模型精度大于第二模型精度的情况下，将目标模型转换为推理模型；其中，所述第二模型精度为输入所述模型测试数据至初始模型所得到的精度。
7.如权利要求3至6中任意一项所述的部署方法，其特征在于，所述根据预设的指令序列，调用至少一个目标模型，包括：
确定至少一个目标模型对应的接口配置信息之后，根据接口测试数据，确定所述接口配置信息的调用状态；
在所述调用状态为异常状态的情况下，生成结束请求，所述结束请求用于停止调用目标模型。
8.如权利要求3至7中任意一项所述的部署方法，其特征在于，所述基于服务测试数据和所述目标模型，得到第一服务精度，包括：
发送所述接口配置信息至测试设备；
接收所述测试设备发送的服务测试数据；
根据预设的指令序列，基于服务测试数据和所述目标模型得到第一服务精度。
9.如权利要求3至8中任意一项所述的部署方法，其特征在于，所述部署方法还包括：
响应于所述部署请求，发送所述接口配置信息至待部署设备。
10.一种模型的部署装置，其特征在于，所述部署装置包括：
目标模型调用模块，用以根据预设的指令序列，调用至少一个目标模型，所述目标模型是在待训练数据满足预设条件的情况下，基于所述待训练数据对初始模型训练得到的；
服务精度获取模块，用以基于服务测试数据和所述目标模型，得到第一服务精度；
部署请求生成模块，用以在所述第一服务精度大于第二服务精度的情况下，生成部署请求；其中，所述第二服务精度为基于所述服务测试数据和所述初始模型得到的精度，所述部署请求用于将目标模型部署至待部署设备。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的模型的部署方法。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时，实现权利要求1至9中任意一项所述的模型的部署方法。
CN202210282208.1A 2022-03-21 2022-03-21 模型的部署方法、装置、电子设备及存储介质 Pending CN114611698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210282208.1A CN114611698A (zh) 2022-03-21 2022-03-21 模型的部署方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210282208.1A CN114611698A (zh) 2022-03-21 2022-03-21 模型的部署方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114611698A true CN114611698A (zh) 2022-06-10

Family

ID=81864757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210282208.1A Pending CN114611698A (zh) 2022-03-21 2022-03-21 模型的部署方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114611698A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880995A (zh) * 2022-06-30 2022-08-09 浙江大华技术股份有限公司 算法方案部署方法及相关装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880995A (zh) * 2022-06-30 2022-08-09 浙江大华技术股份有限公司 算法方案部署方法及相关装置、设备和存储介质
CN114880995B (zh) * 2022-06-30 2022-10-04 浙江大华技术股份有限公司 算法方案部署方法及相关装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108764487B (zh) 用于生成模型的方法和装置、用于识别信息的方法和装置
US20190156246A1 (en) Generating and deploying packages for machine learning at edge devices
CN111523640B (zh) 神经网络模型的训练方法和装置
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN111104954B (zh) 一种对象分类的方法与装置
CN114594963A (zh) 模型的部署方法、装置、电子设备及存储介质
CN113128419A (zh) 一种障碍物识别方法和装置、电子设备及存储介质
CN114611698A (zh) 模型的部署方法、装置、电子设备及存储介质
CN112559673A (zh) 语言处理模型的训练方法及装置、电子设备及存储介质
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN114237182B (zh) 机器人调度方法及系统
CN116386674A (zh) 语音情感识别方法、装置、电子设备和存储介质
CN111488964A (zh) 图像处理方法及装置、神经网络训练方法及装置
CN111123727B (zh) 无人车仿真搭建方法、装置、设备及计算机可读介质
CN114035804A (zh) 代码转换方法、装置、介质和电子设备
CN115688042A (zh) 模型融合方法、装置、设备及存储介质
CN113240088A (zh) 文本意图识别模型的训练方法
CN111626401B (zh) 运算方法及装置
CN112884144A (zh) 网络量化方法及装置、电子设备和存储介质
CN111797263A (zh) 图像标签生成方法、装置、设备和计算机可读介质
CN111797931A (zh) 图像处理方法、图像处理网络训练方法、装置、设备
CN113220511A (zh) 测试bios的方法、设备和计算机可读存储介质
CN113703916B (zh) 面向异常检测的云虚拟机生命周期状态依赖关系提取方法
US20240038255A1 (en) Speaker diarization method, speaker diarization device, and speaker diarization program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination