CN114626531A - 模型推理参数确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种模型推理参数确定方法、装置、电子设备及存储介质。所述方法包括：获取目标深度学习模型的模型基础信息和模型部署条件信息；根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。本申请实施例可以获取性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

Description

模型推理参数确定方法、装置、电子设备及存储介质

技术领域

本申请涉及模型推理参数配置技术领域，特别是涉及一种模型推理参数确定方法、装置、电子设备及存储介质。

背景技术

随着深度学习模型在计算机视觉、自然语言处理、搜索、推荐等场景中的广泛应用，深度学习模型的种类以及运行环境也飞速增加，并且呈现较大的差异化。

为了满足各种业务的需求，充分利用已有的资源，需要更合理的评估并规划深度学习模型推理资源与参数配置。

如何为深度学习模型配置推理参数是目前亟待解决的问题。

发明内容

本申请实施例的目的在于提供一种模型推理参数确定方法、装置、电子设备及存储介质，以实现性能最优或资源最优的模型配置参数。具体技术方案如下：

在本申请实施的第一方面，首先提供了一种模型推理参数确定方法，所述方法适用于深度学习的模型的管理终端，包括：

获取目标深度学习模型的模型基础信息和模型部署条件信息；

根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；

将所述性能最优的性能推理参数作为所述目标模型推理参数。

可选地，在所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数之后，还包括：

基于所述目标模型推理参数，生成模型部署指令；

将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。

可选地，在所述将所述模型部署指令发送给执行终端之后，还包括：

获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，

所述模型基板参数包括：模型输入特征参数和模型输出特征参数；

所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。

在本申请实施的第二方面，还提供了一种模型推理参数确定装置，所述装置适用于深度学习模型的管理终端，包括：

模型基础信息获取模块，用于获取目标深度学习模型的模型基础信息和模型部署条件信息；

参数配置区间生成模块，用于根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

目标推理参数筛选模块，用于基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

可选地，所述目标推理参数筛选模块包括：

资源推理参数筛选单元，用于在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

第一目标参数获取单元，用于将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

可选地，所述目标推理参数筛选模块包括：

性能推理参数筛选单元，用于在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；

第二目标参数获取单元，用于将所述性能最优的性能推理参数作为所述目标模型推理参数。

可选地，所述装置还包括：

模型部署指令生成模块，用于基于所述目标模型推理参数，生成模型部署指令；

模型部署指令发送模块，用于将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。

可选地，所述装置还包括：

参数指标获取模块，用于获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，

所述模型基板参数包括：模型输入特征参数和模型输出特征参数；

所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。

在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的模型推理参数确定方法。

在本申请实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的模型推理参数确定方法。

本申请实施例提供的模型推理参数确定方法、装置、电子设备及存储介质，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种模型推理参数确定方法的步骤流程图；

图2为本申请实施例提供的另一种模型推理参数确定方法的步骤流程图；

图3为本申请实施例提供的一种模型推理参数确定装置的结构示意图；

图4为本申请实施例提供的另一种模型推理参数确定装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一

参照图1，示出了本申请实施例提供的一种模型推理参数确定方法的步骤流程图，如图1所示，该模型推理参数确定方法具体可以包括如下步骤：

步骤101：获取目标深度学习模型的模型基础信息和模型部署条件信息。

本申请实施例可以应用于业务条件进行模型推理参数的筛选的场景中。

目标深度学习模型是指需要执行模型推理任务的深度学习模型，在本示例中，目标深度学习模型可以为文本识别类的模型，也可以为用户画像构建类的模型等，具体地，对于目标深度学习模型的具体类型可以根据业务需求而定，本实施例对此不加以限制。

模型基础信息可以包括模型基板参数和模型基本属性，其中，模型基板参数可以包括模型输入参数(如模型输入特征的名称、类型、默认值、取值范围等)和模型输出参数(如模型输出结果的名称、类型、结果范围等)，模型基本属性可以包括模型类型、模型版本、模型数据存储路径和业务类型等属性中的一种或多种。

模型部署条件信息即模型部署要求，在具体实现中，模型部署条件信息可以包括：数据中心、边缘或终端，计算类型(GPU(Graphics Processing Unit，图形处理器)/CPU(Central Processing Unit，中央处理器)/ARM(Advanced RISC Machines)处理器等)，服务类型(实时/离线等)，请求响应延迟阈值、频次、批次大小范围等信息。

在需要部署目标深度学习模型时，可以获取目标深度学习模型的模型基础信息和模型部署条件信息。

在获取到目标深度学习模型的模型基础信息和模型部署条件信息之后，执行步骤102。

步骤102：根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间。

参数配置区间是指部署目标深度学习模型时所需的模型参数的筛选区间，即该参数配置区间可以用于指示部署目标深度学习模型的模型参数的配置区间。

在获取到目标深度学习模型的模型基础信息和模型部署条件信息之后，可以根据模型基础信息和模型部署条件信息生成目标深度学习模型对应的模型参数的参数配置区间，具体地，可以获取部署资源的当前可用数据，包括：数据中心、边缘或终端的各计算类型(如GPU/CPU/ARM等)的数量、型号、使用率等，然后对可用数据进行平均、平滑、窗口最大值、窗口最小值等处理平均、平滑、窗口最大值、窗口最小值等处理，获取部署资源的资源情况，进而，可以这些信息生成可搜索的配置空间和目标要求，比如，模型适合且可用的计算类型(GPU型号范围、CPU型号范围等)，模型特征以及输入范围，服务请求批次、响应延迟阈值等。

在根据模型基础信息和部署条件信息生成目标深度学习模型对应的参数配置区间之后，执行步骤103。

步骤103：基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

参数调优算法是指用于对参数配置区间内的参数进行调优筛选出部署目标深度学习模型的最优参数的算法，在本示例中，参数调优算法可以为网格遍历搜索算法(GridSearch)、Hyperband算法或者梯度下降算法等，具体地，可以根据业务需求而定，本实施例对此不加以限制。

业务条件是指部署目标深度学习模型所需满足的条件，在本示例中，业务条件可以为资源指标条件，也可以为业务性能条件，其中，资源指标条件是指资源最优的条件，业务性能条件是指性能最优的条件。

在根据模型基础信息和部署条件信息生成目标深度学习模型对应的参数配置区间之后，可以根据参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的一种具体实现方式中，上述步骤103可以包括：

子步骤A1：在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数。

在本申请实施例中，资源指标条件是指资源利用率优先的条件，在部署的目标深度学习模型执行推理任务时，占用所部署的系统的资源最低的条件，即在进行目标深度学习模型的部署时，以资源指标最优作为优选部署条件，在本示例中，资源指标条件可以为深度学习模型在执行推理任务时占用内存资源的条件，也可以为深度学习模型在执行推理任务时占用显存资源的条件等。

在业务条件为资源指标条件的情况下，可以根据参数调优算法从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数，例如，目标深度学习模型为点云语义分割模型，该点云语义分割模型对应的模型参数可以包括：参数1、参数2、参数3，其中，在使用参数1部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为500M；在使用参数2部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为300M；在使用参数3部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为625M，此时，占用资源最低的资源推理参数为参数3，则可以将参数3作为点云语义分割模型部署时使用的参数等。

同理，对于显存资源最低的资源推理参数的获取方式与上述示例描述的方式相似，本实施例在此不再加以赘述。

当然，在具体实现中，目标深度学习模型在执行模型推理任务的过程中占用的资源并不仅限于上述两种(即内存和显存)，在业务条件为资源指标条件的情况下，可以根据目标深度学习模型在执行模型推理任务时，部署每种参数占用的多种模型资源的大小，可以根据多种模型参数占用多种模型资源的大小，并结合预先为每种模型资源分配权重，计算出一个数值，然后从多个数值中筛选出一个最小数值，将该最小数值对应的模型参数作为资源推理参数。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数之后，执行子步骤A2。

子步骤A2：将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

在从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数之后，可以将占用资源最低的资源推理参数作为目标模型推理参数。

在本申请的另一种具体实现方式中，上述步骤103可以包括：

子步骤B1：在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数。

在本申请实施例中，业务性能条件是指业务性能优先的条件，在部署的目标深度学习模型执行推理任务时，对所部署的系统的业务性能影响最低的条件。在本示例中，业务性能条件可以为目标深度学习模型执行推理任务时对系统性能影响大小的条件，系统性能可以通过延迟率、吞吐率等性能指标进行表示。

在业务条件为业务性能条件的情况下，可以根据参数调优算法从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数。例如，目标深度学习模型为图像文本识别模型，该图像文本识别模型对应的模型参数包括：参数a、参数b和参数c，其中，在使用参数a部署该图像文本识别模型，图像文本识别模型执行推理任务时系统延迟率为80；在使用参数b部署该图像文本识别模型时，图像文本识别模型执行推理任务时系统延迟率为50；在使用参数c部署该图像文本识别模型时，图像文本识别模型执行推理任务时系统延迟率为60，此时，延迟率最低的模型参数为参数b，则可以将参数b作为图像文本识别模型部署时使用的参数等，即在使用参数b时对系统性能的影响最小，系统的业务性能最优。

同理，对于吞吐率最高的性能推理参数的获取方式与上述示例描述的方式相似，相反的是选取在部署的目标深度学习模型在执行模型推理任务时，吞吐率最高时对应的模型参数作为性能推理参数。

当然，在具体实现中，目标深度学习模型在执行模型推理任务的过程中的业务性能条件并不仅限于上述两种(即吞吐率和延迟率)，在业务条件为性能指标条件的情况下，可以根据目标深度学习模型在执行模型推理任务时，部署每种参数对业务性能影响的大小，可以根据多种模型参数对业务性能的大小，并结合预先为每种性能指标分配相应的权重，计算出一个数值，然后从多个数值中筛选出一个最小数值，将该最小数值对应的模型参数作为性能推理参数。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数之后，执行子步骤B2。

子步骤B2：将所述性能最优的性能推理参数作为所述目标模型推理参数。

在从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数之后，可以将性能最优的性能推理参数作为目标模型推理参数。

本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

在本实施例中，上述目标模型推理参数的获取过程可以是每次执行的获取，即在每次执行深度学习模型的训练时进行推理参数的获取，也可以是定期执行，即每隔预设时长执行一次获取最优模型推理参数的过程。还可以根据当前资源、模型状态触发执行，即在当前资源、模型状态发生改变时执行一次获取最优模型推理参数的过程。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，在具体实现中，业务人员可以根据使用需求选择具体地获取最优模型推理参数的方式，本实施例对此不加以限制。

本申请实施例提供的模型推理参数确定方法，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

实施例二

参照图2，示出了本申请实施例提供的另一种模型推理参数确定方法的步骤流程图，如图2所示，该模型推理参数确定方法具体可以包括如下步骤：

步骤201：获取目标深度学习模型的模型基础信息和模型部署条件信息。

本申请实施例可以应用于业务条件进行模型推理参数的筛选的场景中。

目标深度学习模型是指需要执行模型推理任务的深度学习模型，在本示例中，目标深度学习模型可以为文本识别类的模型，也可以为用户画像构建类的模型等，具体地，对于目标深度学习模型的具体类型可以根据业务需求而定，本实施例对此不加以限制。

模型基础信息可以包括模型基板参数和模型基本属性，其中，模型基板参数可以包括模型输入参数(如模型输入特征的名称、类型、默认值、取值范围等)和模型输出参数(如模型输出结果的名称、类型、结果范围等)，模型基本属性可以包括模型类型、模型版本、模型数据存储路径和业务类型等属性中的一种或多种。

模型部署条件信息即模型部署要求，在具体实现中，模型部署条件信息可以包括：数据中心、边缘或终端，计算类型(GPU(Graphics Processing Unit，图形处理器)/CPU(Central Processing Unit，中央处理器)/ARM(Advanced RISC Machines)处理器等)，服务类型(实时/离线等)，请求响应延迟阈值、频次、批次大小范围等信息。

在需要部署目标深度学习模型时，可以获取目标深度学习模型的模型基础信息和模型部署条件信息。

在获取到目标深度学习模型的模型基础信息和模型部署条件信息之后，执行步骤102。

步骤202：根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间。

参数配置区间是指部署目标深度学习模型时所需的模型参数的筛选区间，即该参数配置区间可以用于指示部署目标深度学习模型的模型参数的配置区间。

在获取到目标深度学习模型的模型基础信息和模型部署条件之后，可以根据模型基础信息和模型部署条件信息生成目标深度学习模型对应的模型参数的参数配置区间，具体地，可以获取部署资源的当前可用数据，包括：数据中心、边缘或终端的各计算类型(如GPU/CPU/ARM等)的数量、型号、使用率等，然后对可用数据进行平均、平滑、窗口最大值、窗口最小值等处理平均、平滑、窗口最大值、窗口最小值等处理，获取部署资源的资源情况，进而，可以这些信息生成可搜索的配置空间和目标要求，比如，模型适合且可用的计算类型(GPU型号范围、CPU型号范围等)，模型特征以及输入范围，服务请求批次、响应延迟阈值等。

在根据模型基础信息和部署条件信息生成目标深度学习模型对应的参数配置区间之后，执行步骤203。

步骤203：基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

参数调优算法是指用于对参数配置区间内的参数进行调优筛选出部署目标深度学习模型的最优参数的算法，在本示例中，参数调优算法可以为网格遍历搜索算法(GridSearch)、Hyperband算法或者梯度下降算法等，具体地，可以根据业务需求而定，本实施例对此不加以限制。

业务条件是指部署目标深度学习模型所需满足的条件，在本示例中，业务条件可以为资源指标条件，也可以为业务性能条件，其中，资源指标条件是指资源最优的条件，业务性能条件是指性能最优的条件。

在根据模型基础信息和部署条件信息生成目标深度学习模型对应的参数配置区间之后，可以根据参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的一种具体实现方式中，上述步骤203可以包括：

子步骤C1：在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数。

在本申请实施例中，资源指标条件是指资源利用率优先的条件，在部署的目标深度学习模型执行推理任务时，占用所部署的系统的资源最低的条件，即在进行目标深度学习模型的部署时，以资源指标最优作为优选部署条件，在本示例中，资源指标条件可以为深度学习模型在执行推理任务时占用内存资源的条件，也可以为深度学习模型在执行推理任务时占用显存资源的条件等，例如，目标深度学习模型为点云语义分割模型，该点云语义分割模型对应的模型参数可以包括：参数1、参数2、参数3，其中，在使用参数1部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为500M；在使用参数2部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为300M；在使用参数3部署该点云语义分割模型时，点云语义分割模型执行推理任务占用内存大小为625M，此时，占用资源最低的资源推理参数为参数3，则可以将参数3作为点云语义分割模型部署时使用的参数等。

同理，对于显存资源最低的资源推理参数的获取方式与上述示例描述的方式相似，本实施例在此不再加以赘述。

当然，在具体实现中，目标深度学习模型在执行模型推理任务的过程中占用的资源并不仅限于上述两种(即内存和显存)，在业务条件为资源指标条件的情况下，可以根据目标深度学习模型在执行模型推理任务时，部署每种参数占用的多种模型资源的大小，可以根据多种模型参数占用多种模型资源的大小，并结合预先为每种模型资源分配权重，计算出一个数值，然后从多个数值中筛选出一个最小数值，将该最小数值对应的模型参数作为资源推理参数。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在业务条件为资源指标条件的情况下，可以根据参数调优算法从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数。

在从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数之后，执行子步骤C2。

子步骤C2：将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

在从参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数之后，可以将占用资源最低的资源推理参数作为目标模型推理参数。

在本申请的另一种具体实现方式中，上述步骤203可以包括：

子步骤D1：在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数。

在本申请实施例中，业务性能条件是指业务性能优先的条件，在部署的目标深度学习模型执行推理任务时，对所部署的系统的业务性能影响最低的条件。在本示例中，业务性能条件可以为目标深度学习模型执行推理任务时对系统性能影响大小的条件，系统性能可以通过延迟率、吞吐率等性能指标进行表示。

在业务条件为业务性能条件的情况下，可以根据参数调优算法从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数，例如，目标深度学习模型为图像文本识别模型，该图像文本识别模型对应的模型参数包括：参数a、参数b和参数c，其中，在使用参数a部署该图像文本识别模型，图像文本识别模型执行推理任务时系统延迟率为80；在使用参数b部署该图像文本识别模型时，图像文本识别模型执行推理任务时系统延迟率为50；在使用参数c部署该图像文本识别模型时，图像文本识别模型执行推理任务时系统延迟率为60，此时，延迟率最低的模型参数为参数b，则可以将参数b作为图像文本识别模型部署时使用的参数等，即在使用参数b时对系统性能的影响最小，系统的业务性能最优。

同理，对于吞吐率最高的性能推理参数的获取方式与上述示例描述的方式相似，相反的是选取在部署的目标深度学习模型在执行模型推理任务时，吞吐率最高时对应的模型参数作为性能推理参数。

当然，在具体实现中，目标深度学习模型在执行模型推理任务的过程中的业务性能条件并不仅限于上述两种(即吞吐率和延迟率)，在业务条件为性能指标条件的情况下，可以根据目标深度学习模型在执行模型推理任务时，部署每种参数对业务性能影响的大小，可以根据多种模型参数对业务性能的大小，并结合预先为每种性能指标分配相应的权重，计算出一个数值，然后从多个数值中筛选出一个最小数值，将该最小数值对应的模型参数作为性能推理参数。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数之后，执行子步骤D2。

子步骤D2：将所述性能最优的性能推理参数作为所述目标模型推理参数。

在从参数配置区间内筛选出模型推理过程中性能最优的性能推理参数之后，可以将性能最优的性能推理参数作为目标模型推理参数。

本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

在获取到目标模型推理参数之后，执行步骤204。

步骤204：基于所述目标模型推理参数，生成模型部署指令。

模型部署指令是指用于指示执行终端执行部署目标深度学习模型的指令。

在获取到目标模型推理参数之后，可以基于目标模型推理参数生成模型部署指令，在该指令中即包含目标模型推理参数。，具体地，推理任务可运行于数据中心，比如包含

在基于目标模型推理参数生成模型部署指令之后，执行步骤205。

步骤205：将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。

执行终端是指执行模型推理任务的终端，在本示例中，执行终端可以为GPU、CPU或TPU等专用芯片的服务器等，或者配置CPU、ARM或专用AI加速芯片的个人电脑、平板、VR或游戏机等。

在基于目标模型推理参数生成模型部署指令之后，可以将模型部署指令发送给执行终端，以使执行终端解析模型部署指令，并基于解析得到的目标模型推理参数部署目标深度学习模型。

在实际应用中，执行终端的数量可以为一个，也可以为多个。具体地，对于执行终端的数量可以根据使用需求而定，本实施例对此不加以限制。

在执行终端的数量为一个时，则目标模型推理参数即为一种，在获取到目标模型推理参数之后，则可以将该种目标模型推理参数发送给执行终端，以使执行终端按照目标模型推理参数进行模型部署及模型推理任务。

在执行终端的数量为多个时，多个执行终端中任意两个执行终端对应的目标模型推理参数可以是相同的，也可以是不相同的，具体地，可以根据实际情况而定。在获取到多个执行终端分别对应的目标模型推理参数之后，可以将每个执行终端对应的目标模型推理参数发送给对应的执行终端，以使执行终端根据接收的目标模型推理参数部署执行模型部署及模型推理任务。

在将模型部署指令发送给执行终端之后，执行步骤206。

步骤206：获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

在目标深度学习模型的推理任务在执行终端侧执行完成之后，可以获取有执行终端返回的目标模型推理参数对应的参数指标，该参数指标为目标深度学习模型的推理任务完成之后输出的指标，可以用于指示目标模型推理参数对系统影响的程度。

在获取到参数指标之后，可以基于参数指标优化目标模型推理参数，进而，在后续需要部署目标深度学习模型时，可以基于优化的模型推理参数部署目标深度学习模型，能够进一步提高目标深度学习模型的推理效率。

本申请实施例提供的模型推理参数确定方法，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

实施例三

参照图3，示出了本申请实施例提供的一种模型推理参数确定装置的结构示意图，如图3所示，该模型推理参数确定装置300具体可以包括如下模块：

模型基础信息获取模块310，用于获取目标深度学习模型的模型基础信息和模型部署条件信息；

参数配置区间生成模块320，用于根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

目标推理参数筛选模块330，用于基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

可选地，所述目标推理参数筛选模块330包括：

资源推理参数筛选单元，用于在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

第一目标参数获取单元，用于将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

可选地，所述目标推理参数筛选模块330包括：

性能推理参数筛选单元，用于在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；

第二目标参数获取单元，用于将所述性能最优的性能推理参数作为所述目标模型推理参数。

可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，

所述模型基板参数包括：模型输入特征参数和模型输出特征参数；

所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。

本申请实施例提供的模型推理参数确定装置，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

实施例四

参照图4，示出了本申请实施例提供的另一种模型推理参数确定装置的结构示意图，如图4所示，该模型推理参数确定装置400具体可以包括如下模块：

模型基础信息获取模块410，用于获取目标深度学习模型的模型基础信息和模型部署条件信息；

参数配置区间生成模块420，用于根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

目标推理参数筛选模块430，用于基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数；

模型部署指令生成模块440，用于基于所述目标模型推理参数，生成模型部署指令；

模型部署指令发送模块450，用于将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型；

参数指标获取模块460，用于获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

本申请实施例提供的模型推理参数确定装置，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。

本申请实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

获取目标深度学习模型的模型基础信息和模型部署条件信息；

根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；

将所述性能最优的性能推理参数作为所述目标模型推理参数。

可选地，在所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数之后，还包括：

基于所述目标模型推理参数，生成模型部署指令；

将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型；

获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，

所述模型基板参数包括：模型输入特征参数和模型输出特征参数；

所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的模型推理参数确定方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的模型推理参数确定方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种模型推理参数确定方法，其特征在于，所述方法适用于深度学习模型的管理终端，包括：

获取目标深度学习模型的模型基础信息和模型部署条件信息；

根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

2.根据权利要求1所述的方法，其特征在于，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

3.根据权利要求1所述的方法，其特征在于，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：

在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；

将所述性能最优的性能推理参数作为所述目标模型推理参数。

4.根据权利要求1所述的方法，其特征在于，在所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数之后，还包括：

基于所述目标模型推理参数，生成模型部署指令；

将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。

5.根据权利要求4所述的方法，其特征在于，在所述将所述模型部署指令发送给执行终端之后，还包括：

获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。

6.根据权利要求1所述的方法，其特征在于，所述模型基础信息包括模型基板参数和模型基本属性，其中，

所述模型基板参数包括：模型输入特征参数和模型输出特征参数；

所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。

7.一种模型推理参数确定装置，其特征在于，所述装置适用于深度学习模型的管理终端，包括：

模型基础信息获取模块，用于获取目标深度学习模型的模型基础信息和模型部署条件信息；

参数配置区间生成模块，用于根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；

目标推理参数筛选模块，用于基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。

8.根据权利要求7所述的装置，其特征在于，所述目标推理参数筛选模块包括：

资源推理参数筛选单元，用于在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；

第一目标参数获取单元，用于将所述占用资源最低的资源推理参数作为所述目标模型推理参数。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6中任一项所述的模型推理参数确定方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述的模型推理参数确定方法。

Images