CN116089078A - 网络模型推理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种网络模型推理方法、装置、电子设备及存储介质，涉及网络模型自动化测试技术领域。方法包括：获取与用户的推理需求对应的基础配置参数。以预设的数据挖掘策略，从预设的数据集中挖掘与基础配置参数对应的样本数据。根据样本数据，生成对应的推理配置，推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种。根据样本数据及推理配置调用目标网络模型进行推理，以得到表征目标网络模型的工作性能的推理结果。如此，可以改善实际项目中网络模型较多时，每个模型的功能不一样，无法选择特定数据来指定的网络模型进行推理的问题。

Description

网络模型推理方法、装置、电子设备及存储介质

技术领域

本发明涉及网络模型自动化测试技术领域，具体而言，涉及一种网络模型推理方法、装置、电子设备及存储介质。

背景技术

伴随着人工智能的快速发展，AI算法网络模型成为开发者和用户青睐的对象，通过网络模型可以实现数据资源的快速处理。

关于网络模型训练后的性能检测，则需要通过网络模型推理来实现。当前的网络模型推理，通常是对数据进行统一处理后，基于加载的神经网络模型进行推理，最后输出网络模型的推理解析结果。这样的方式存在实际项目中网络模型较多时，每个模型的功能不一样，无法选择特定数据来对指定的网络模型进行推理。

发明内容

有鉴于此，本申请实施例的目的在于提供一种网络模型推理方法、装置、电子设备及存储介质，能够改善实际项目中网络模型较多时，每个模型的功能不一样，无法选择特定数据来对指定的网络模型进行推理的问题。

为实现上述技术目的，本申请采用的技术方案如下：

第一方面，本申请实施例提供了一种网络模型推理方法，所述方法包括：

获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

结合第一方面，在一些可以选的实施方式中，以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据，包括：

获取与所述基础配置参数对应的数据挖掘规则；

根据所述数据挖掘规则，依次查询与所述数据集对应的json标注文件，所述json标注文件包括表征所述数据集中每条数据的相关信息的第二标签；

当所述json标注文件中标注的所述相关信息满足所述挖掘规则时，确定所述数据集中与所述json标注文件对应的数据为所述样本数据。

结合第一方面，在一些可以选的实施方式中，所述数据挖掘规则包括默认规则；

所述默认规则包括表征目标状态信息的第三标签；

所述第三标签包括连续帧图片抽选量、目标遮挡程度、目标朝向、目标截断程度、目标种类数量、目标数量中的至少一种；

其中，所述目标是指与所述第一标签中的所述名称对应的图像内容。

结合第一方面，在一些可以选的实施方式中，所述数据挖掘规则还包括增强规则；

所述增强规则包括表征图片场景信息的第四标签，所述第四标签包括天气、光照强度、遮挡程度、白天或黑夜中的至少一种。

结合第一方面，在一些可以选的实施方式中，在根据所述样本数据，生成对应的推理配置之前，所述方法还包括：

判断所述样本数据的数量是否满足所述基础配置参数中的所述需求量；

当所述样本数据的数量不满足所述基础配置参数中的所述需求量时，调整所述数据挖掘策略，以得到调整后的数据挖掘策略；

通过所述调整后的数据挖掘策略，从所述数据集中挖掘与所述基础配置参数对应的所述样本数据。

结合第一方面，在一些可以选的实施方式中，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，包括：

当所述目标网络模型为目标检测类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括通过预设的非极大值抑制策略，确定所述输出内容中评分最高的位置区域为所述预处理结果。

结合第一方面，在一些可以选的实施方式中，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，包括：

当所述目标网络模型为语义分割类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括为每个目标标注一个表征目标类别的第五标签，所述目标是指与所述第一标签中的所述名称对应的图像内容；

为所述输出内容中包含所述目标的像素点，设置与所述目标对应的第五标签；

确定设置有所述第五标签的所述像素点为所述预处理结果。

第二方面，本申请实施例还提供一种网络模型推理装置，所述装置包括：

获取单元，用于获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

数据挖掘单元，用于以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

配置生成单元，用于根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

推理单元，用于根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

第三方面，本申请实施例还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

采用上述技术方案的发明，具有如下优点：

在本申请提供的技术方案中，通过结合用户的推理需求，为网络模型的推理设置对应的基础配置参数。随后通过预设的数据挖掘策略，从数据集中挖掘与基础配置参数对应的样本数据。得到样本数据后，生成对应的推理配置，如网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别。最终，根据样本数据及推理配置调用与用户推理需求对应的目标网络模型进行推理，以得到推理结果。如此，当实际项目中所涉及的网络模型较多时，可以根据用户的具体需求,对指定的网络模型进行数据挖掘及推理，避免非目标网络模型占用计算资源。

附图说明

本申请可以通过附图给出的非限定性实施例进一步说明。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的框图。

图2为本申请实施例提供的网络模型推理方法的流程示意图之一。

图3为本申请实施例提供的网络模型推理方法的流程示意图之二。

图4为本申请实施例提供的网络模型推理装置的框图。

图标：100-电子设备；101-处理器；102-存储器；200-网络模型推理装置；210-获取单元；220-数据挖掘单元；230-配置生成单元；240-推理单元。

具体实施方式

以下将结合附图和具体实施例对本申请进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，本申请实施例提供一种电子设备100可以包括处理器101及存储器102。存储器102内存储计算机程序，当计算机程序被所述处理器101执行时，使得电子设备100能够执行下述网络模型推理方法中的相应步骤。

其中，电子设备100可以是但不限于是个人电脑、服务器等设备。

请参照图2，本申请还提供一种网络模型推理方法，可以应用于上述的电子设备100中。

其中，网络模型推理方法可以包括如下步骤：

步骤110，获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

步骤120，以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

步骤130，根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

步骤140，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

在上述的实施方式中，通过结合用户的推理需求，为网络模型的推理设置对应的基础配置参数。随后通过预设的数据挖掘策略，从数据集中挖掘与基础配置参数对应的样本数据。得到样本数据后，生成对应的推理配置，如网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别。最终，根据样本数据及推理配置调用与用户推理需求对应的目标网络模型进行推理，以得到推理结果。如此，当实际项目中所涉及的网络模型较多时，可以根据用户的具体需求,对指定的网络模型进行数据挖掘及推理，避免非目标网络模型占用计算资源。

下面将对网络模型推理方法的各步骤进行详细阐述，如下：

在步骤110中，基础配置参数可以包括数据集路径、样本数据的名称和需求量等。基础配置参数可以是人为的设定并输入的，也可以是预先存储在存储器102中的预设条件。其中，样本数据可以指包含车辆、行人、交通标识、地面标志等内容的图片。

示例性地，当待推理的网络模型是进行车辆目标检测类的模型时，基础配置参数如下：

数据集路径：“E:/work/VOC2022/Vehicle/JPEGImages”；

样本数据的名称及需求量：vehicle(车辆):200。

或者，当带推理的网络模型是交通灯目标检测的模型时，基础配置参数如下：

数据集路径：“E:/work/VOC2022/Traffic_light/JPEGImages”；

样本数据的名称及需求量：traffic_light(交通灯):500。

在步骤120中，通过预设的数据挖掘策略对网络模型推理所需的样本数据进行限定，比如样本数据可以是包含白天、黑夜、雨天、强光照或者半遮挡等环境的图片。

在本实施例中，将基础配置参数中第一标签包含的样本数据名称作为关键词，并从数据集中检索标注有相同关键词且符合数据挖掘策略的数据作为样本数据。

示例性地，数据集中事先存储有标注好相关信息的图片。当数据挖掘策略为连续帧图片仅抽取一张、选择包含有雾天这一场景的图片，且基础配置参数包括样本数据名称vehicle时，数据挖掘过程中查询到一段连续帧图片，随即选取连续帧图片中包括车辆且处于雾天的一张图片作为样本数据。

在步骤130中，得到样本数据后，即可根据用户需求和样本数据生成对应的推理配置。

示例性地，当用户指定推理一个车辆目标检测的网络模型时，生成的推理配置如下：

待推理的网络模型名称：车辆目标检测模型，样本数据存储路径：“E:/work/VOC2022_sample/Vehicle/JPEGImages”，推理结果存储路径：“E:/work/VOC2022_result/Vehicle”，目标类别：vehicle。

在步骤140中，根据用户的推理需求确定目标网络模型，调用目标网络模型并根据样本数据和推理配置进行推理，进而得到表征目标网络模型的工作性能的推理结果。

示例性地，当用户指定交通灯目标检测模型这一网络模型作为目标网络模型时，调用交通灯目标检测模型并基于样本数据和推理配置进行推理，推理过程中对样本数据中的图片进行2D框标注，即框选图片中包含交通灯的区域，并将带有2D框的图片保存至推理结果存储路径指向的文件夹。

作为一种可选的实施方式，以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据，可以包括：

获取与所述基础配置参数对应的数据挖掘规则；

根据所述数据挖掘规则，依次查询与所述数据集对应的json标注文件，所述json标注文件包括表征所述数据集中每条数据的相关信息的第二标签；

当所述json标注文件中标注的所述相关信息满足所述挖掘规则时，确定所述数据集中与所述json标注文件对应的数据为所述样本数据。

在本实施例中，将基础配置参数中的样本数据名称及需求量，作为基础配置参数与数据挖掘规则的关联词。例如，基础配置参数为vehicle:200时，数据挖掘规则中必然包括挖掘目标为vehicle、挖掘目标的数据量为200份。其中，数据挖掘规则可以包括限定数据挖掘目标状态的默认规则和限定图片场景的增强规则。

在本实施例中，json标注文件可以理解为一种记录样本数据相关信息的标注文件。比如图片所记载的天气信息、光照信息、目标的标签种类及位置，目标的遮挡信息等。

示例性地，当基础配置参数为vehicle:200时，根据数据挖掘规则依次查询json标注文件。当json标注文件中的第二标签为vehicle标签，且满足数据挖掘规则时，确定该图片符合要求，并将该图片作为样本数据取出。重复上述数据挖掘过程，直至挖掘的样本数据量达到200份或者所有json标注文件均被查询过一次。

作为一种可选的实施方式，所述数据挖掘规则包括默认规则；

所述默认规则包括表征目标状态信息的第三标签；

所述第三标签包括连续帧图片抽选量、目标遮挡程度、目标朝向、目标截断程度、目标种类数量、目标数量中的至少一种；

其中，所述目标是指与所述第一标签中的所述名称对应的图像内容。

在本实施例中，目标是指与第一标签中的样本数据的名称对应的图像内容。例如，第一标签中的样本数据的名称为vehicle时，数据挖掘规则对应的目标即包含车辆这一图像内容的完整图片。默认规则可以理解为进行数据挖掘的初始规则。

示例性地，当基础配置参数为vehicle:200时，对应的默认规则为连续帧的图片最多选取一张、车辆遮挡程度为半遮挡、车辆朝向为车头朝右、车辆被截断、车辆种类数量为至少一种、车辆数量为至少两辆。

作为一种可选的实施方式，所述数据挖掘规则包括增强规则；

所述增强规则包括表征图片场景信息的第四标签，所述第四标签包括天气、光照强度、遮挡程度、白天或黑夜中的至少一种。

在本实施例中，增强规则可以理解为一种相比默认规则优先级更高的附加条件。当增强规则存在时，需先根据增强规则进行数据挖掘，再根据默认规则进行数据挖掘。

示例性地，一个车辆目标检测的网络模型在进行推理时，配置的增强规则为图片场景包括{雾天：100，雨天：100，黑夜：100，强光照：100，半遮挡：50}。在执行以预设的数据挖掘策略，从预设的数据集中挖掘与基础配置参数对应的样本数据这一步骤时，首先挖掘包含雨天或雾天、强光照、半遮挡、白天这几种场景及包含车辆的图片，直至达到对应的数量或者数据集被全部查询。若此时挖掘出的样本数据数量不足，再根据默认规则挖掘对应的样本数据，直至达到对应的数量或者数据集被全部查询。

作为一种可选的实施方式，在根据所述样本数据，生成对应的推理配置之前，方法还可以包括：

判断所述样本数据的数量是否满足所述基础配置参数中的所述需求量；

当所述样本数据的数量不满足所述基础配置参数中的所述需求量时，调整所述数据挖掘策略，以得到调整后的数据挖掘策略；

通过所述调整后的数据挖掘策略，从所述数据集中挖掘与所述基础配置参数对应的所述样本数据。

在本实施例中，调整数据挖掘策略的方式可以是减少默认规则或增强规则的限定程度。

示例性地，当基础配置参数为vehicle:200，且对应的默认规则为连续帧的图片最多选取一张、车辆遮挡程度为半遮挡、车辆朝向为车头朝右、车辆被截断、车辆种类数量为至少一种、车辆数量为至少两辆时，挖掘出的样本数据仅包括140张图片，不满足基础配置参数中的200张图片的目标。因此，调整默认规则为图片最多选取一张、车辆遮挡程度为半遮挡或未遮挡、车辆朝向为车头朝右或朝前、车辆种类数量为至少一种、车辆数量为至少一辆。即通过减少默认规则的数量或放宽默认规则的限制范围，以使满足默认规则的数据更多，挖掘出的样本数据的数据量更大。

当用户根据实际情况调整数据挖掘策略，并根据调整后的数据挖掘策略重新从数据集中挖掘样本数据后，样本数据的数据量满足基础配置参数的，终止样本数据的挖掘，并保存现有的样本数据。若样本数据的数据量不满足基础配置参数，则提示用户数据集基数不足，由用户决定是否继续进行网络模型推理。

作为一种可选的实施方式，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，可以包括：

当所述目标网络模型为目标检测类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括通过预设的非极大值抑制策略，确定所述输出内容中评分最高的位置区域为所述预处理结果。

在本实施例中，目标检测类模型在推理后的输出内容通常会有多个目标的位置内容重叠，因此需要使用非极大值抑制来确定一个评分最高的位置区域，并将框选有这个位置区域的图片作为最终的推理结果。

其中，非极大值抑制(Non-Maximum Suppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。简单而言，就是用于目标检测中提取分数最高的窗口。例如在行人检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到非极大值抑制来选取那些邻域里分数最高(是行人的概率最大)，并且抑制(删除)那些分数低的窗口。

作为一种可选的实施方式，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，可以包括：

当所述目标网络模型为语义分割类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括为每个目标标注一个表征目标类别的第五标签，所述目标是指与所述第一标签中的所述名称对应的图像内容；

为所述输出内容中包含所述目标的像素点，设置与所述目标对应的第五标签；

确定设置有所述第五标签的所述像素点为所述预处理结果。

示例性地，当一个语义分割类模型进行推理的样本数据为一张包含行人、交通灯、车辆、行道树、道路和天空的图片时，模型在推理过程中将图片中的行人标注为紫色标签、交通灯标注为红色标签、车辆标注为蓝色标签、行道树标注为绿色标签、道路标记为黄色标签、天空标记为白色标签。随后，上述模型将图片中的行人、交通灯、车辆、行道树、道路和天空对应的像素点标注上各自对应的颜色标签，并将标注好颜色标签的所有像素点作为推理结果，以得到一张行人为紫色像素块、交通灯为红色像素块、车辆为蓝色像素块、行道树为绿色像素块、道路为黄色像素块、天空为白色像素块，且由各像素块拼接而成的图片。

请参照图3，下面对结合用户需求，指定网络模型进行推理的方式进行阐述，如下：

首先根据待测网络模型的功能特点，配置需要的测试集路径、待挖掘的样本数据名称及样本数据数量，样本数据是指：包含车辆、行人、交通灯等内容的图片。比如某网络模型是进行车辆目标检测的，就配置好车辆标签以及图片数量：vehicle:200。或者某网络模型是交通灯目标检测的，就配置好交通灯标签以及图片数量：traffic_light:500。设置完以上基础配置参数后，对配置参数进行解析，即确认基础配置参数的格式是否合理，并提取基础配置参数中的各项标签。解析成功即进入样本数据挖掘步骤，解析失败则提示用户进行基础配置参数修改，以便重新对基础配置参数进行配置及解析。

设置好基础配置参数后就进入样本数据挖掘步骤，即从数据集中根据基础配置参数和数据挖掘规则挖掘合适的图片。其中，数据挖掘规则包括默认规则和增强规则。默认规则：连续帧的图片最多选取一张；选择含有白天、黑夜、雨天、雾天、强光照等不同场景的；选择含目标被遮挡的、目标不同朝向、目标被截断的；尽可能选择图片里目标种类、目标数量较多的，避开目标单一的。此外，还可以配置增强规则，比如：vehicle{晴天：100，雨天：100，黑夜：100，强光照：100，半遮挡：50}。如果配置了增强规则，则先根据增强规则挖取，再根据默认规则挖取。挖掘结束之后统计各个目标的挖掘图片数量是否达到了要求，若没有达到则放宽数据挖掘规则再次进行样本数据挖掘；若最后含有目标的图片数量还是不足，则提示用户图片数量不足，由用户决定是否继续进行网络模型推理。

其中，图片挖掘的具体步骤为：

一张图片会对应有一个json的真值标注文件，里面记录了图片相关信息。比如：天气信息、光照信息、目标的标签种类及位置、目标的遮挡信息等。

根据配置的数据挖掘规则，去json标注文件里查询。若是查询车辆标签的，找到一个含车辆标签的json标注文件就认为对应的图片符合要求，并继续找下一张图片。直到挖掘的图片数量满足要求或者所有图片对应的json标注文件被查询完，则结束。

经过样本数据挖掘，挑选出满足要求的推理图片之后，就可以自动生成推理配置。推理配置需包含推理要用的模型名称、推理图片的存储路径、推理结果存储路径、语义分割类任务的类别、目标检测类任务的目标类别等。

调用网络模型推理，网络模型推理之后会输出大量内容，提取其中有用数据保存。作为目标检测类的任务，需提取目标的位置以及目标的置信度得分。但是在网络模型的输出中会有多个目标的位置内容重叠，需使用非极大值抑制来确定一个评分最高的位置区域，作为最终的推理结果。作为语义分割类的任务，首先是不同的目标有不同的标签，例如我们将行人的标签设为紫色、车辆的标签设为蓝色、交通灯的标签设为红色，其他标签设为白色。则在输出中的结果中含有车辆的像素点全都设置为蓝色，含有行人的像素点全都设置为紫色，含有交通灯的像素点全都设置为红色，其他像素点全都设置为白色，得到语义分割的推理结果。

请参照图4，本申请还提供一种网络模型推理装置200，网络模型推理装置200包括至少一个可以软件或固件(Firmware)的形式存储于存储器102中或固化在电子设备100的操作系统(Operating System，OS)中的软件功能模块。处理器101用于执行存储器102中存储的可执行模块，例如网络模型推理装置200所包括的软件功能模块及计算机程序等。

网络模型推理装置200包括获取单元210、数据挖掘单元220、配置生成单元230及推理单元240，各单元具有的功能可以如下：

获取单元210，用于获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

数据挖掘单元220，用于以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

配置生成单元230，用于根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

推理单元240，用于根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

可选地，数据挖掘单元220还可以用于：

获取与所述基础配置参数对应的数据挖掘规则；

根据所述数据挖掘规则，依次查询与所述数据集对应的json标注文件，所述json标注文件包括表征所述数据集中每条数据的相关信息的第二标签；

当所述json标注文件中标注的所述相关信息满足所述挖掘规则时，确定所述数据集中与所述json标注文件对应的数据为所述样本数据。

可选地，所述数据挖掘规则包括默认规则；

所述默认规则包括表征目标状态信息的第三标签；

所述第三标签包括连续帧图片抽选量、目标遮挡程度、目标朝向、目标截断程度、目标种类数量、目标数量中的至少一种；

其中，所述目标是指与所述第一标签中的所述名称对应的图像内容。

可选地，所述数据挖掘规则还包括增强规则；

所述增强规则包括表征图片场景信息的第四标签，所述第四标签包括天气、光照强度、遮挡程度、白天或黑夜中的至少一种。

可选地，网络模型推理装置200还可以包括判断单元，用于判断所述样本数据的数量是否满足所述基础配置参数中的所述需求量；

调整单元，用于当所述样本数据的数量不满足所述基础配置参数中的所述需求量时，调整所述数据挖掘策略，以得到调整后的数据挖掘策略；

挖掘单元，用于通过所述调整后的数据挖掘策略，从所述数据集中挖掘与所述基础配置参数对应的所述样本数据。

可选地，推理单元240还可以用于：

当所述目标网络模型为目标检测类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括通过预设的非极大值抑制策略，确定所述输出内容中评分最高的位置区域为所述预处理结果。

可选地，推理单元240还可以用于：

当所述目标网络模型为语义分割类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括为每个目标标注一个表征目标类别的第五标签，所述目标是指与所述第一标签中的所述名称对应的图像内容；

为所述输出内容中包含所述目标的像素点，设置与所述目标对应的第五标签；

确定设置有所述第五标签的所述像素点为所述预处理结果。

在本实施例中，处理器101可以是一种集成电路芯片，具有信号的处理能力。上述处理器101可以是通用处理器。例如，该处理器101可以是中央处理器(Central ProcessingUnit，CPU)、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

存储器102可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储器102可以用于存储基础配置参数、数据挖掘策略、数据集、数据挖掘规则、json标注文件、非极大值抑制策略等。当然，存储器102还可以用于存储程序，处理器101在接收到执行指令后，执行该程序。

可以理解的是，图1中所示的电子设备100结构仅为一种结构示意图，电子设备100还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。

本申请实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的网络模型推理方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

综上所述，本申请实施例提供一种网络模型推理方法、装置、电子设备及存储介质。在本方案中，通过结合用户的推理需求，为网络模型的推理设置对应的基础配置参数。随后通过预设的数据挖掘策略，从数据集中挖掘与基础配置参数对应的样本数据。得到样本数据后，生成对应的推理配置，如网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别。最终，根据样本数据及推理配置调用与用户推理需求对应的目标网络模型进行推理，以得到推理结果。如此，当实际项目中所涉及的网络模型较多时，可以根据用户的具体需求,对指定的网络模型进行数据挖掘及推理，避免非目标网络模型占用计算资源。

在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种网络模型推理方法，其特征在于，所述方法包括：

获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

2.根据权利要求1所述的方法，其特征在于，以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据，包括：

获取与所述基础配置参数对应的数据挖掘规则；

根据所述数据挖掘规则，依次查询与所述数据集对应的json标注文件，所述json标注文件包括表征所述数据集中每条数据的相关信息的第二标签；

当所述json标注文件中标注的所述相关信息满足所述挖掘规则时，确定所述数据集中与所述json标注文件对应的数据为所述样本数据。

3.根据权利要求2所述的方法，其特征在于，所述数据挖掘规则包括默认规则；

所述默认规则包括表征目标状态信息的第三标签；

所述第三标签包括连续帧图片抽选量、目标遮挡程度、目标朝向、目标截断程度、目标种类数量、目标数量中的至少一种；

其中，所述目标是指与所述第一标签中的所述名称对应的图像内容。

4.根据权利要求3所述的方法，其特征在于，所述数据挖掘规则还包括增强规则；

所述增强规则包括表征图片场景信息的第四标签，所述第四标签包括天气、光照强度、遮挡程度、白天或黑夜中的至少一种。

5.根据权利要求1所述的方法，其特征在于，在根据所述样本数据，生成对应的推理配置之前，所述方法还包括：

判断所述样本数据的数量是否满足所述基础配置参数中的所述需求量；

当所述样本数据的数量不满足所述基础配置参数中的所述需求量时，调整所述数据挖掘策略，以得到调整后的数据挖掘策略；

通过所述调整后的数据挖掘策略，从所述数据集中挖掘与所述基础配置参数对应的所述样本数据。

6.根据权利要求1所述的方法，其特征在于，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，包括：

当所述目标网络模型为目标检测类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括通过预设的非极大值抑制策略，确定所述输出内容中评分最高的位置区域为所述预处理结果。

7.根据权利要求1所述的方法，其特征在于，根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，包括：

当所述目标网络模型为语义分割类模型时，对所述目标网络模型推理后的输出内容进行预处理；

确定预处理结果为所述推理结果；

其中，所述预处理包括为每个目标标注一个表征目标类别的第五标签，所述目标是指与所述第一标签中的所述名称对应的图像内容；

为所述输出内容中包含所述目标的像素点，设置与所述目标对应的第五标签；

确定设置有所述第五标签的所述像素点为所述预处理结果。

8.一种网络推理装置，其特征在于，所述装置包括：

获取单元，用于获取与用户的推理需求对应的基础配置参数，所述基础配置参数包括用于表征样本数据的名称及需求量的第一标签；

数据挖掘单元，用于以预设的数据挖掘策略，从预设的数据集中挖掘与所述基础配置参数对应的所述样本数据；

配置生成单元，用于根据所述样本数据，生成对应的推理配置，所述推理配置包括网络模型名称、样本数据存储路径、推理结果存储路径、语义分割类任务的类别和目标检测类任务的目标类别中的至少一种；

推理单元，用于根据所述样本数据及所述推理配置调用目标网络模型进行推理，以得到表征所述目标网络模型的工作性能的推理结果，所述目标网络模型包括与所述基础配置参数对应的网络模型。

9.一种电子设备，其特征在于，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。

Images