CN113673488B - 基于少样本的目标检测方法、装置及物件分拣智能系统 - Google Patents

Abstract

本公开涉及目标检测领域，具体涉及一种基于少样本的目标检测方法、装置及物件分拣智能系统，基于少样本的目标检测方法包括获取基础数据集并搭建网络结构作为检测模型；根据基础数据集对检测模型进行训练以获取基础模型；根据新类别目标样本调整基础模型以获取新类别目标检测模型；根据新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。通过本公开的技术方案，能够快速适应包含了新类别物体的生产线，降低了样本需求量，提高了目标检测方法的通用性和检测效率。

Description

基于少样本的目标检测方法、装置及物件分拣智能系统

技术领域

本公开涉及目标检测领域，尤其涉及一种基于少样本的目标检测方法、装置及物件分拣智能系统。

背景技术

在工厂生产线上，通常包含物件分拣的步骤，需要机械臂从包含了多个不同种类物件的物料筐内取出目标物件，并放置到对应类别的分拣筐内，用于后续的生产流程。当该产线的生产对象发生更换，物料筐内会出现新的物件类别时，机器人需要快速适应生产线上的变化，检测并取出待取的目标物件。

目前，可以选用传统的检测方法去进行目标检测，但传统的检测方法通常需要使用滑窗进行区域选择并用人为定义的算子进行特征提取，这些步骤可能会导致较高的时间消耗以及比较差的鲁棒性，很难应用在真实的生产环境下。也可以基于一般的深度学习的方法设计和训练目标检测模型，能够准确地识别物体的类别并标出位置信息。然而这类方法通常需要采集大量的物体样本用于模型训练，数据采集以及标注过程会耗费很大的人力和时间，且泛化性较弱。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于少样本的目标检测方法、装置及物件分拣智能系统，能够快速适应包含了新类别物体的生产线，降低了样本需求量，提高了目标检测方法的通用性和检测效率。

第一方面，本公开提供了一种基于少样本的目标检测方法，包括：

获取基础数据集并搭建网络结构作为检测模型；

根据所述基础数据集对所述检测模型进行训练以获取基础模型，包括将对应所述基础数据集的图片输入所述检测模型以获取对应所述基础数据集的第一预测包围框位置和第一预测物体类别；获取对应所述基础数据集的图片所包含的第一标注包围框位置和第一标注物体类别；根据所述第一预测包围框位置、所述第一标注包围框位置、所述第一预测物体类别和所述第一标注物体类别获取第一损失函数；根据所述第一损失函数采取梯度下降的方法更新所述检测模型中的参数以获取所述基础模型；

所述第一损失函数满足如下计算公式：

其中，L₁表示所述第一损失函数，L_bbox1表示所述第一预测包围框位置和所述第一标注包围框位置之间的误差损失函数，L_cls1表示所述第一预测物体类别和所述第一标注物体类别之间的误差损失函数；

L_bbox1通过平滑L₁损失函数smooth_L1（t₁-t₁*）表示，满足如下公式：

其中t₁=（t_x1，t_y1，t_w1，t_h1），t₁*=（t_x1*，t_y1*，t_w1*，t_h1*），t₁表示第一预测包围框位置信息，t₁*第一标注包围框位置信息，L_bbox1包括第一预测包围框中心坐标（t_x1，t_y1）、第一标注包围框中心坐标（t_x1*，t_y1*）以及第一预测包围框的宽和高（t_w1，t_h1）和第一标注包围框的宽和高（t_w1*，t_h1*）；

根据新类别目标样本调整所述基础模型以获取新类别目标检测模型；

根据所述新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

可选地，所述网络结构包括：

特征提取模块，用于获取输入图片的特征图；

区域划分模块，用于根据所述特征图获取所述特征图的划分区域；

位置预测模块，用于根据所述特征图的划分区域获取预测包围框位置；

类别预测模块，用于根据所述特征图的划分区域获取预测物体类别。

可选地，根据新类别目标样本调整所述基础模型以获取新类别目标检测模型，包括：将对应的所述新类别目标样本的图片输入所述基础模型以获取对应所述新类别目标样本的第二预测包围框位置和第二预测物体类别；

获取对应所述新类别目标样本的图片所包含的第二标注包围框位置和第二标注物体类别；

根据所述第二预测包围框位置、所述第二标注包围框位置、所述第二预测物体类别和所述第二标注物体类别获取第二损失函数；

根据所述第二损失函数采取梯度下降的方法更新所述基础模型中所述位置预测模块和所述类别预测模块的参数以获取所述新类别目标检测模型。

可选地，所述第二损失函数满足如下计算公式：

其中，L₂表示所述第二损失函数，L_bbox2表示所述第二预测包围框位置和所述第二标注包围框位置之间的误差损失函数，L_cls2表示所述第二预测物体类别和所述第二标注物体类别之间的误差损失函数。

第二方面，本公开提供一种基于少样本的目标检测装置，包括：

检测模型搭建模块，用于获取基础数据集并搭建网络结构作为检测模型，具体用于将对应所述基础数据集的图片输入所述检测模型以获取对应所述基础数据集的第一预测包围框位置和第一预测物体类别；获取对应所述基础数据集的图片所包含的第一标注包围框位置和第一标注物体类别；根据所述第一预测包围框位置、所述第一标注包围框位置、所述第一预测物体类别和所述第一标注物体类别获取第一损失函数；根据所述第一损失函数采取梯度下降的方法更新所述检测模型中的参数以获取所述基础模型；

所述第一损失函数满足如下计算公式：

其中，L₁表示所述第一损失函数，L_bbox1表示所述第一预测包围框位置和所述第一标注包围框位置之间的误差损失函数，L_cls1表示所述第一预测物体类别和所述第一标注物体类别之间的误差损失函数；

L_bbox1通过平滑L₁损失函数smooth_L1（t₁-t₁*）表示，满足如下公式：

其中t₁=（t_x1，t_y1，t_w1，t_h1），t₁*=（t_x1*，t_y1*，t_w1*，t_h1*），t₁表示第一预测包围框位置信息，t₁*第一标注包围框位置信息，L_bbox1包括第一预测包围框中心坐标（t_x1，t_y1）、第一标注包围框中心坐标（t_x1*，t_y1*）以及第一预测包围框的宽和高（t_w1，t_h1）和第一标注包围框的宽和高（t_w1*，t_h1*）；

基础模型获取模块，用于根据所述基础数据集对所述检测模型进行训练以获取基础模型；

新类别目标检测模型获取模块，用于根据新类别目标样本调整所述基础模型以获取新类别目标检测模型；

位置信息和类别信息获取模块，用于根据所述新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

第三方面，本公开还提供了一种物件分拣智能系统，包括如第二方面所述的基于少样本的目标检测装置。

可选地，物件分拣智能系统还包括：

物件抓取结构，所述物件抓取结构和所述目标检测装置通信连接；

所述目标检测装置用于获取待查询图片中目标物体的位置信息和类别信息；

所述物件抓取结构根据所述位置信息进行目标物件抓取动作。

可选地，所述物件抓取结构包括多自由度机械臂。

本公开提供的技术方案与现有技术相比具有如下优点：

本公开获取基础数据集并搭建网络结构作为检测模型；根据基础数据集对检测模型进行训练以获取基础模型；根据新类别目标样本调整基础模型以获取新类别目标检测模型；根据新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。由此，本公开实现了在产线出现新类别物体时，可以向由基础数据集训练后得到的基础模型提供少量新类别目标样本，即可调整基础模型得到新类别目标检测模型，利用新类别物体的查询图片输入新类别目标检测模型得到新类别物体的位置信息和类别信息，能够快速适应包含了新类别物体的生产线，降低了样本需求量，提高了目标检测方法的通用性和检测效率。

附图说明

图1为本公开实施例提供的一种基于少样本的目标检测方法的流程示意图；

图2为本公开实施例提供的一种基于少样本的目标检测方法的检测模型的网络结构示意图；

图3为本公开实施例提供的一种基于少样本的目标检测装置的结构示意图；

图4为本公开实施例提供的一种物件分拣智能系统的结构示意图；

图5为本公开实施例提供的一种物件分拣智能系统的操作流程示意图；

图6为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种基于少样本的目标检测方法的流程示意图。基于少样本的目标检测方法可以应用在需要少样本的目标进行检测的应用场景，可以由本公开实施例提供的基于少样本的目标检测装置执行。如图1所示，基于少样本的目标检测方法包括：

S101、获取基础数据集并搭建网络结构作为检测模型。

具体地，可用开源数据集作为基础数据集搭建网络结构作为检测模型。开源数据集包括包含有旧物件的图片以及与图片一一对应的标签信息，标签信息包括旧物件的包围框位置以及旧物件的类别。开源数据集可从互联网下载，在选取开源数据集时，应尽量选取和当前任务相关的数据集，即与生产线已有产品相关的开源数据集，避免因开源数据集相关性较差影响检测模型对目标的学习速度和精度，本公开实施例对具体所选的开源数据集类型不作限定。

图2为本公开实施例提供的一种基于少样本的目标检测方法的检测模型的网络结构示意图，可选地，如图2所示，网络结构包括：特征提取模块201，用于获取输入图片的特征图；区域划分模块202，用于根据特征图获取特征图的划分区域；位置预测模块203，用于根据特征图的划分区域获取预测包围框位置信息；类别预测模块204，用于根据特征图的划分区域获取预测物体类别信息。

具体地，将基础数据集中的图片输入特征提取模块201输出特征图，将特征图输入区域划分模块202输出特征图的划分区域，将特征图的划分区域输入位置预测模块203输出预测的包围框位置信息，将特征图的划分区域输入类别预测模块204输出预测的物体类别信息。由此，将基础数据集中的图片输入搭建的检测模型可以获取预测的物体类别信息和预测的包围框位置信息。

S102、根据基础数据集对检测模型进行训练以获取基础模型。

可选地，根据基础数据集对检测模型进行训练以获取基础模型，包括：将对应基础数据集的图片输入检测模型以获取基础数据集的第一预测包围框位置和第一预测物体类别；获取对应基础数据集的图片所包含的第一标注包围框位置和第一标注物体类别；根据第一预测包围框位置、第一标注包围框位置、第一预测物体类别和第一标注物体类别获取第一损失函数；根据第一损失函数采取梯度下降的方法更新检测模型中的参数以获取基础模型。

具体地，将基础数据集的图片输入检测模型，输出基础数据集的第一预测包围框位置和第一预测物体类别作为检测结果；基于有监督学习的方式，将基础数据集中与图片一一对应的标签信息与检测模型输出的预测的物体类别和预测的包围框位置信息进行对比，获取第一预测包围框位置与第一标注包围框位置之间的误差损失函数L_bbox1以及第一预测物体类别和第一标注物体类别之间的误差损失函数L_cls1，进而得到第一损失函数L₁。其中，关于单个样本的预测值与实际值的差称为损失。损失越小，说明所构建的模型越好，用于计算损失的函数称为损失函数，模型每一次预测的好坏用损失函数来度量。检测模型通过比对预测值和实际值进行学习，根据第一损失函数L₁采取梯度下降的方法更新检测模型中位置预测模块203和类别预测模块204的参数以获取基础模型。梯度下降的方法是迭代法的一种，梯度即为导数，梯度下降法的计算过程就是沿梯度下降的方向求解极小值，得到最小化的损失函数并优化模型自身的各种参数，最终使得某一组参数下该模型能够最佳匹配该学习过程。

可选地，第一损失函数满足如下计算公式：

其中，L₁表示第一损失函数，L_bbox1表示第一预测包围框位置和第一标注包围框位置之间的误差损失函数，L_cls1表示第一预测物体类别和第一标注物体类别之间的误差损失函数。

具体地，L_bbox1是关于包围框位置的损失函数，即第一预测包围框位置和第一标注包围框位置之间的误差，L_bbox1通过平滑L₁损失函数smooth_L1（t₁-t₁*）表示，满足如下公式：

其中t₁=（t_x1，t_y1，t_w1，t_h1），t₁*=（t_x1*，t_y1*，t_w1*，t_h1*），t₁和t₁*分别表示第一预测包围框位置信息和第一标注包围框位置信息，L_bbox1包括第一预测包围框中心坐标（t_x1，t_y1）、第一标注包围框中心坐标（t_x1*，t_y1*）以及第一预测包围框的宽和高（t_w1，t_h1）和第一标注包围框的宽和高（t_w1*，t_h1*），平滑L₁损失函数smooth_L1（t₁-t₁*）有更强的鲁棒性，能够避免梯度爆炸的问题，提高了收敛度。

L_cls1是关于包围框中物体类别的损失函数，即第一预测物体类别和第一标注物体类别之间的误差损失函数，L_cls1通过交叉熵函数L_cls1（p，u）表示，满足如下公式：

其中u表示标签信息中的物体类别，p表示预测的标签信息中物体类别的概率，p_u表示预测的标签信息中的物体类别u的概率，预测的标签信息中的物体类别u的概率p_u越接近1，损失函数L_cls1越小。

由此，利用第一损失函数衡量检测模型是否收敛，如果未收敛，通过计算损失函数的梯度，采取梯度下降的方法更新检测模型中位置预测模块203和类别预测模块204的参数，对检测模型进行训练以获取基础模型，损失函数越小，所获取的基础模型鲁棒性越好，误差越小。在生产线中没有新类别物体时，训练后的基础模型可以识别生产线上已有的旧类别物体的类别和位置信息，从而实现物体分类和定位的功能。

S103、根据新类别目标样本调整基础模型以获取新类别目标检测模型。

可选地，根据新类别目标样本调整基础模型以获取新类别目标检测模型，包括：将对应的新类别目标样本的图片输入基础模型以获取对应新类别目标样本的第二预测包围框位置和第二预测物体类别；获取对应新类别目标样本的图片所包含的第二标注包围框位置和第二标注物体类别；根据第二预测包围框位置、第二标注包围框位置、第二预测物体类别和第二标注物体类别获取第二损失函数；根据第二损失函数采取梯度下降的方法更新基础模型中位置预测模块203和类别预测模块204的参数以获取新类别目标检测模型。

利用基础数据集对检测模型进行训练得到基础模型是深度学习的一种方式，在深度学习中需要使用大量的数据进行训练，而元学习是在深度学习中解决少样本学习的方案之一，目的是建立一个可以快速学习新任务的模型，只需要借助每一类新类别物体的少量样本即可使模型新类别物体进行正确分类。

如果将新类别物体图片直接输入基础模型中，得到的预测包围框位置和预测物体类别并不理想，预测包围框位置与标注的包围框位置以及预测物体类别与标注物体类别之间存在较大偏差，需要利用损失函数值的梯度下降的方法更新基础模型的参数，得到新类别目标检测模型。将新类别物体图片输入新类别目标检测模型所得到的预测包围框位置和预测物体类别为理想值。

具体地，将生产线中对应的新类别目标样本的图片输入已训练好的基础模型中以获取对应新类别目标样本的第二预测包围框位置和第二预测物体类别，将与新类别目标样本的图片一一对应的标签信息即第二标注包围框位置和第二标注物体类别与基础模型输出的第二预测包围框位置和第二预测物体类别信息进行对比，获取第二预测包围框位置与第二标注包围框位置之间的误差损失函数L_bbox2以及第二预测物体类别和第二标注物体类别之间的误差损失函数L_cls2，进而得到第二损失函数L₂；根据第二损失函数L₂采取梯度下降的方法更新基础模型中位置预测模块203和类别预测模块204的参数，保持特征提取模块201和区域划分模块202的参数不变以获取利用新类别目标样本图片微调后的新类别目标检测模型。对应第二损失函数L₂的梯度下降的方法与对应第一损失函数L₁梯度下降方法相同，在此不再赘述。

可选地，第二损失函数满足如下计算公式：

其中，L₂表示第二损失函数，L_bbox2表示第二预测包围框位置和第二标注包围框位置之间的误差损失函数，L_cls2表示第二预测物体类别和第二标注物体类别之间的误差损失函数。

具体地，L_bbox2是关于包围框位置的损失函数，即第二预测包围框位置和第二标注包围框位置之间的误差，L_bbox2通过平滑L₁损失函数smooth_L1（t₂-t₂*）表示，满足如下公式：

其中t₂=（t_x2，t_y2，t_w2，t_h2），t₂*=（t_x2*，t_y2*，t_w2*，t_h2*），t₂和t₂*分别表示第二预测包围框位置信息和第二标注包围框位置信息，L_bbox2包括第二预测包围框中心坐标（t_x2，t_y2）、第二标注包围框中心坐标（t_x2*，t_y2*）以及第二预测包围框的宽和高（t_w2，t_h2）和第二标注包围框的宽和高（t_w2*，t_h2*），平滑L₁损失函数smooth_L1（t₂-t₂*）有更强的鲁棒性，能够避免梯度爆炸的问题，提高了收敛度。

L_cls2是关于包围框中物体类别的损失函数，即第二预测物体类别和第二标注物体类别之间的误差损失函数，L_cls2通过交叉熵函数L_cls2（p，u）表示，满足如下公式：

其中u表示标签信息中的物体类别，p表示预测的标签信息中物体类别的概率，p_u表示预测的标签信息中的物体类别u的概率，预测的标签信息中的物体类别u的概率p_u越接近1，损失函数L_cls2越小。

利用第二损失函数衡量检测模型是否收敛，如果未收敛，通过计算损失函数L₂的梯度，采取梯度下降的方法更新基础模型中位置预测模块203和类别预测模块204的参数，保持特征提取模块201和区域划分模块202的参数不变，对基础模型进行微调以获取新类别目标检测模型，新类别目标检测模型具有识别新类别物体的能力。

由此，采用元学习的方法，利用少量的新类别目标样本图片输入基础模型，并使用样本图片标注信息对基础模型进行训练，使基础模型学习并增加新类别物体的识别功能，进而获取了更完善的新类别目标检测模型。

S104、根据新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

示例性地，通过图像采集装置获取生产线物料库中的待查询图片，当生产线未出现新类别物体时，将待查询的旧类别物体图片输入基础模型，输出旧类别物体对应的类别信息和位置信息；当生产线出现新类别物体时，将新类别物体待查询图片输入由新类别目标样本调整基础模型得到的新类别目标检测模型中，得到新类别物体的位置信息和类别信息。

本公开实施例利用基于机器学习和深度学习方法的目标检测方法，获取基础数据集并搭建网络结构作为检测模型；根据基础数据集对检测模型进行训练以获取基础模型；结合元学习的思想，根据新类别目标样本调整基础模型以获取新类别目标检测模型；根据新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息，当产线上出现新类别物体时，基础模型能够使用新类别的少量图片样本进行微调，从而更快适应出现新类别物体的生产线。

本公开实施例还提供了一种基于少样本的目标检测装置300，图3为本公开实施例提供的一种基于少样本的目标检测装置300的结构示意图。如图3所示，基于少样本的目标检测装置300包括检测模型搭建模块301、基础模型获取模块302、新类别目标检测模型获取模块303和位置信息和类别信息获取模块304。检测模型搭建模块301用于获取基础数据集并搭建网络结构作为检测模型，基础模型获取模块302用于根据基础数据集对检测模型进行训练以获取基础模型，新类别目标检测模型获取模块303用于根据新类别目标样本调整基础模型以获取新类别目标检测模型，位置信息和类别信息获取模块304用于目标物体的位置信息和类别信息获取模块。

本公开实施例还提供了一种物件分拣智能系统，图4为本公开实施例提供的一种物件分拣智能系统的结构示意图，包括如上述实施例所述的基于少样本的目标检测装置300。因此本公开实施例提供的物件分拣智能系统具备上述实施例所述的有益效果。

可选地，如图4所示，物件分拣智能系统还包括：物件抓取结构400，物件抓取结构400和目标检测装置300通信连接；目标检测装置300用于获取待查询图片中目标物体的位置信息和类别信息；物件抓取结构400根据位置信息进行目标物件抓取动作。

具体地，如图4所示，物件抓取结构400和目标检测装置300通过有线或无线方式通信连接，示例性地，当产线未出现新类别物体时，目标检测装置300保留当前的基础模型，由图像采集装置获取产线中的旧类别物体图片输入目标检测装置300，目标检测装置300输出目标物体的包围框信息及类别信息至物件抓取结构400，物件抓取结构400根据目标物体的位置信息将目标物体从生产线中取出，再根据目标物体的类别信息物件抓取结构400将目标物体放置于对应类别的分拣筐中完成旧类别物体的分拣流程；当产线出现新类别物体时，利用图像采集装置获取新类别目标样本图片并对基础模型进行微调，目标检测装置300得到新类别目标检测模型，由图像采集装置获取产线中的新类别物体图片输入目标检测装置300，目标检测装置300输出目标物体的包围框信息及类别信息至物件抓取结构400，物件抓取结构400根据目标物体的位置信息将目标物体从生产线中取出，物件抓取结构400再根据目标物体的类别信息将目标物体放置于对应类别的分拣筐中完成新类别物体的分拣流程。

可选地，物件抓取结构400包括多自由度机械臂。

具体地，物件抓取结构400可以为多自由度机械臂，机械臂是拟人手臂、手腕和手功能的电子机械装置，精度高且具有多输入多输出的复杂系统，可以把任意的物体按照位置变换要求进行移动，从而在生产线上将目标物体由生产线位置取出放置于相应类别分拣筐，实现物体的分拣流程。

需要说明的是，多自由度机械臂可以根据需要灵活放置于生产线的各个位置，本公开实施例对此不作限定。

图5为本公开实施例提供的一种物件分拣智能系统的操作流程示意图。如图5所示，物件分拣智能系统的操作流程包括：

S501、开始。

S502、判断是否出现新类别物体；若是，执行503；若否，执行505。

S503、获取新类别目标样本图片。

S504、调整基础模型获取新类别目标检测模型。

S505、在目标检测装置中保留当前基础模型。

S506、获取待查询图片。

S507、目标检测装置输出查询图片中目标物体的位置信息和类别信息。

S508、物件抓取结构根据位置信息进行目标物体抓取动作。

S509、物件抓取结构根据类别信息将目标物体放置于对应分拣筐中。

S510、判断生产线是否停止；若是，执行步骤511；若否，执行步骤502。

S511、结束。

本公开实施例提供的物件分拣智能系统，利用基础模型识别生产线上的旧类别物体，当生产线出现新物体时，基础模型能够使用新类别的少量图片样本进行微调，从而快速适应于发生物件更换的生产线。该模型的计算是端到端的，并且能够快速适应实际场景中的动态变化情况，物件抓取结构能够利用模型输出的物体类别和位置信息将物体从物料筐内取出并放置到对应分拣筐中，完成物体分拣的整个过程。

本公开实施例还提供了一种电子设备，图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示，电子设备包括处理器和存储器，处理器通过调用存储器存储的程序或指令，执行如上述实施例的基于少样本的目标检测方法的步骤，因此具备上述实施例的有益效果，这里不再赘述。

如图5所示，可以设置电子设备包括至少一个处理器601、至少一个存储器602和至少一个通信接口603。电子设备中的各个组件通过总线系统604耦合在一起。通信接口603用于与外部设备之间的信息传输。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图5中将各种总线都标为总线系统604。

可以理解，本实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器602存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集操作系统和应用程序。在本公开实施例中，处理器601通过调用存储器602存储的程序或指令，执行本公开实施例提供的基于少样本的目标检测方法各实施例的步骤。

本公开实施例提供的基于少样本的目标检测方法可以应用于处理器601中，或者由处理器601实现。处理器601可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的基于少样本的目标检测方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成方法的步骤。

该电子设备还可以包括一个实体部件，或者多个实体部件，以根据处理器601在执行本申请实施例提供的基于少样本的目标检测方法时生成的指令。不同的实体部件可以设置到电子设备内，或者电子设备外，例如云端服务器等。各个实体部件与处理器601和存储器602共同配合实现本实施例中电子设备的功能。

本公开实施例还提供一种存储介质，例如计算机可读存储介质，存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种基于少样本的目标检测方法，该方法包括：

获取基础数据集并搭建网络结构作为检测模型；

根据基础数据集对检测模型进行训练以获取基础模型；

根据新类别目标样本调整基础模型以获取新类别目标检测模型；

根据新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

可选地，该计算机可执行指令在由计算机处理器执行时还可以用于执行本公开任意实施例所提供的基于少样本的目标检测方法的技术方案。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例的方法。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于少样本的目标检测方法，其特征在于，包括：

获取基础数据集并搭建网络结构作为检测模型，所述网络结构包括：特征提取模块，用于获取输入图片的特征图；区域划分模块，用于根据所述特征图获取所述特征图的划分区域；位置预测模块，用于根据所述特征图的划分区域获取预测包围框位置；类别预测模块，用于根据所述特征图的划分区域获取预测物体类别；

根据所述基础数据集对所述检测模型进行训练以获取基础模型，包括将对应所述基础数据集的图片输入所述检测模型以获取对应所述基础数据集的第一预测包围框位置和第一预测物体类别；获取对应所述基础数据集的图片所包含的第一标注包围框位置和第一标注物体类别；根据所述第一预测包围框位置、所述第一标注包围框位置、所述第一预测物体类别和所述第一标注物体类别获取第一损失函数；根据所述第一损失函数采取梯度下降的方法更新所述检测模型中的参数以获取所述基础模型；

所述第一损失函数满足如下计算公式：

其中，L ₁表示所述第一损失函数，L _bbox1表示所述第一预测包围框位置和所述第一标注包围框位置之间的误差损失函数，L _cls1表示所述第一预测物体类别和所述第一标注物体类别之间的误差损失函数；

L_bbox1通过平滑L₁损失函数smooth_L1（t₁-t₁*）表示，满足如下公式：

其中t₁=（t_x1，t_y1，t_w1，t_h1），t₁*=（t_x1*，t_y1*，t_w1*，t_h1*），t₁表示第一预测包围框位置信息，t₁*表示第一标注包围框位置信息，L_bbox1包括第一预测包围框中心坐标（t_x1，t_y1）、第一标注包围框中心坐标（t_x1*，t_y1*）以及第一预测包围框的宽和高（t_w1，t_h1）和第一标注包围框的宽和高（t_w1*，t_h1*）；

根据新类别目标样本调整所述基础模型以获取新类别目标检测模型，包括：更新基础模型中位置预测模块和类别预测模块的参数以获取新类别目标检测模型，保持特征提取模块和区域划分模块的参数不变；

根据所述新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

2.根据权利要求1所述的基于少样本的目标检测方法，其特征在于，根据新类别目标样本调整所述基础模型以获取新类别目标检测模型，包括：将对应的所述新类别目标样本的图片输入所述基础模型以获取对应所述新类别目标样本的第二预测包围框位置和第二预测物体类别；

获取对应所述新类别目标样本的图片所包含的第二标注包围框位置和第二标注物体类别；

根据所述第二预测包围框位置、所述第二标注包围框位置、所述第二预测物体类别和所述第二标注物体类别获取第二损失函数；

根据所述第二损失函数采取梯度下降的方法更新所述基础模型中所述位置预测模块和所述类别预测模块的参数以获取所述新类别目标检测模型。

3.根据权利要求2所述的基于少样本的目标检测方法，其特征在于，所述第二损失函数满足如下计算公式：

其中，L ₂表示所述第二损失函数，L _bbox2表示所述第二预测包围框位置和所述第二标注包围框位置之间的误差损失函数，L _cls2表示所述第二预测物体类别和所述第二标注物体类别之间的误差损失函数。

4.一种基于少样本的目标检测装置，其特征在于，包括：

检测模型搭建模块，用于获取基础数据集并搭建网络结构作为检测模型，所述网络结构包括：特征提取模块，用于获取输入图片的特征图；区域划分模块，用于根据所述特征图获取所述特征图的划分区域；位置预测模块，用于根据所述特征图的划分区域获取预测包围框位置；类别预测模块，用于根据所述特征图的划分区域获取预测物体类别；

基础模型获取模块，用于根据所述基础数据集对所述检测模型进行训练以获取基础模型，具体用于将对应所述基础数据集的图片输入所述检测模型以获取对应所述基础数据集的第一预测包围框位置和第一预测物体类别；获取对应所述基础数据集的图片所包含的第一标注包围框位置和第一标注物体类别；根据所述第一预测包围框位置、所述第一标注包围框位置、所述第一预测物体类别和所述第一标注物体类别获取第一损失函数；根据所述第一损失函数采取梯度下降的方法更新所述检测模型中的参数以获取所述基础模型；

所述第一损失函数满足如下计算公式：

其中，L ₁表示所述第一损失函数，L _bbox1表示所述第一预测包围框位置和所述第一标注包围框位置之间的误差损失函数，L _cls1表示所述第一预测物体类别和所述第一标注物体类别之间的误差损失函数；

所述L_bbox1通过平滑L₁损失函数smooth_L1（t₁-t₁*）表示，满足如下公式：

其中t₁=（t_x1，t_y1，t_w1，t_h1），t₁*=（t_x1*，t_y1*，t_w1*，t_h1*），t₁表示第一预测包围框位置信息，t₁*表示第一标注包围框位置信息，L_bbox1包括第一预测包围框中心坐标（t_x1，t_y1）、第一标注包围框中心坐标（t_x1*，t_y1*）以及第一预测包围框的宽和高（t_w1，t_h1）和第一标注包围框的宽和高（t_w1*，t_h1*）；

新类别目标检测模型获取模块，用于根据新类别目标样本调整所述基础模型以获取新类别目标检测模型，包括：更新基础模型中位置预测模块和类别预测模块的参数以获取新类别目标检测模型，保持特征提取模块和区域划分模块的参数不变；

位置信息和类别信息获取模块，用于根据所述新类别目标检测模型获取待查询图片中目标物体的位置信息和类别信息。

5.一种物件分拣智能系统，其特征在于，包括如权利要求4所述的基于少样本的目标检测装置。

6.根据权利要求5所述的物件分拣智能系统，其特征在于，还包括：

物件抓取结构，所述物件抓取结构和所述目标检测装置通信连接；

所述目标检测装置用于获取待查询图片中目标物体的位置信息和类别信息；

所述物件抓取结构根据所述位置信息进行目标物件抓取动作。

7.根据权利要求6所述的物件分拣智能系统，其特征在于，所述物件抓取结构包括多自由度机械臂。

Images