CN114861842B - 少样本目标检测方法、装置和电子设备 - Google Patents

Abstract

本发明提供一种少样本目标检测方法、装置和电子设备；涉及机器视觉技术领域。该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。本发明能够提高少样本检测器的性能。

Description

少样本目标检测方法、装置和电子设备

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种少样本目标检测方法、装置和电子设备。

背景技术

近年来，基于深度学习的目标检测方法获得了极大的发展。训练深度学习模型需要大量的标注数据，并且标准数据集的类别与真实世界相比较少，因此在标准数据集上训练好的检测模型很难直接应用于真实场景。

少样本目标检测（Few-Shot Object Detection，FSOD）是使用极少量的样本训练模型，使模型能够进行目标检测的方法。数据量充足的数据称为源域，实例标注稀缺的数据称为目标域。少样本目标检测方法极大地减轻了目标域标注工作的负担。

发明内容

本发明提供一种少样本目标检测方法、装置和电子设备，用以解决现有技术中样本标注困难的问题，提高模型训练的效率。

本发明提供一种少样本目标检测方法，包括：

采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征；

采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，第二样本的数量远小于所述第一样本的数量；

将待检测样本输入所述第二模型的查询分支，提取待检测样本的第一特征；

将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。

根据本发明提供的一种实施方式，所述将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，包括：

将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，所述第二特征与所述第一特征的大小一致。

根据本发明提供的一种实施方式，所述将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，包括：

将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；

将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；

将卷积运算的结果与所述第一特征相加，得到第二特征；

其中，所述类别特征的所述第一个维度为类别数，所述第二个维度为通道数。

根据本发明提供的一种实施方式，所述查询分支包括检测层；利用第二特征确定待检测样本的检测结果，包括：

将所述第二特征输入检测层，获得待检测样本的目标类别，以及对应的目标边界框。

根据本发明提供的一种实施方式，所述查询分支还包括特征重加权网络，通过包括基础类别的第一样本数据训练得到第一模型，包括：

将所述第一样本数据划分为支持集和查询集，所述支持集与所述查询集中均包括所述基础类别；

将支持集输入支持分支，对每个基础类别提取类别特征；

将所述查询集中的第一样本输入查询分支，提取第一样本的样本特征；

将所述类别特征与样本特征输入特征重加权网络进行融合，利用融合后的特征确定第一样本的第一检测结果，以训练第一模型。根据本发明提供的一种实施方式，通过损失函数计算第一检测结果与第一样本的标签之间的差异度，基于所述差异度使用反向传播算法调整第一模型的参数。

本发明还提供一种少样本目标检测装置，包括：

第一训练模块，用于采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取基础类别的类别特征；

第二训练模块，用于采用包括基础类别和新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，所述第二样本的数量远小于第一样本的数量；

数据输入模块，用于将待检测样本输入所述第二模型的查询分支，提取所述待检测样本的第一特征；

结果确定模块，用于将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述少样本目标检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种少样本目标检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述少样本目标检测方法。

本发明提供的少样本目标检测方法、装置和电子设备，通过大量基础类别样本先对模型进行预训练，使得模型具备识别基础类别目标的能力。然后再用少量样本的新类别对模型进行微调，使得模型可以快速具备识别新类别样本的能力，提高模型的训练效率。微调后的模型能够准确地检测到新类别和基础类别的目标，可以扩大模型的应用场景，缩短训练周期。并且，基础类别的样本通常有公开的数据集，无需再进行标注。待检测类别只需要较少数量的样本，可以减少标注工作量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的少样本目标检测方法的流程示意图；

图2是本发明提供的少样本目标检测方法中的模型结构示意图；

图3是本发明提供的少样本目标检测装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本说明书中，用语“第一”、“第二”、“第三”等仅作为标记使用，不是对其对象的数量或顺序限制。

下面结合附图描述本发明的少样本目标检测方法、装置和电子设备。

本发明实施例首先提供一种少样本目标检测方法。示例性的，该方法可以应用于个人计算机（personal computer，PC）、平板电脑、虚拟现实设备、增强现实设备、服务器等各种电子设备中，本实施方式对此不作任何限定。

图1示出了本实施例中的少样本目标检测方法的一种流程图。如图1所示，该方法可以包括以下步骤：

步骤10：采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征。

本实施方式中，采用元学习的方式构建第一模型。第一模型可以包括支持分支（support branch）和查询分支（query branch），也可以称为训练任务和测试任务。第一样本数据是具有标注标签的图像，通过标注标签可以确定图像中的对象所属的类别。基础类别是数据量充足的类别，通常使用公开数据集，每种类别包括多个样本。也就是说，第一样本数据中包括每种基础类别的多个样本。通过特定的数据库或者客户端可以获取第一样本数据。通过第一样本数据对第一模型进行训练后，第一模型的支持分支可以对每个基础类别提取类别特征。

第一样本数据可以划分为支持集和查询集，分别作为支持分支和查询分支的训练样本。支持集和查询集中仅包括基础类别。第二样本数据也划分为支持集和查询集，支持集和查询集中包含基础类别和新类别，第二样本数据集的每个类别的数据量远少于标准数据集，举例来说，若基础类别加新类别为N类，每一类包括M个样本，则可以将每一类中的K个样本划分至支持集，另外M-K个样本作为查询集。每次迭代，将支持集中的一定数量的样本输入支持分支，通过支持分支提取这批样本的类别特征。将查询集中一定数量的样本输入查询分支，通过查询分支来提取这批样本的特征。

图2示出了第一模型的一种示意性结构，第二模型的结构与第一模型相同。如图2所示，模型20（即第一模型）可以包括支持分支21和查询分支22。其中，支持分支21中包括骨干网络211、全局池化层212、多层感知机213。骨干网络211可以包括多种特征提取网络，例如卷积神经网络（CNN）、Swin Transformer等。骨干网络211用于对支持分支输入的支持集进行特征提取，得到对应的特征图。例如，特征图的形状为（N,C,H,W），其中，N为基础类别的数量、C为通道数、H为样本的高、W为样本的宽。提取的特征图经过全局池化层212将特征图映射为形状（N,C,1,1）的特征向量。然后特征向量经过多层感知机213划分为多个不同尺度的特征向量，如（N,C,1,1）、（N,C/2,1,1）和（N,C/4,1,1）三种尺寸的特征向量。经过训练后，支持分支可以提取支持集中每种基础类别对应的不同尺寸的特征向量，即类别特征。

查询分支22中可以包括骨干网络221和瓶颈网络222。其中，骨干网络221用于对查询分支输入的查询集进行特征提取。瓶颈网络222可以由特征金字塔网络（FeaturePyramid Networks，FPN）和路径聚合网络（Path Aggregation Network，PAN）构成。特征金字塔网络使用上采样和横向连接的方式将骨干网络221提取的特征图构建成多尺度特征图，多尺度特征图能从全局语义和局部信息的角度描述图像。PAN在FPN之后进一步进行特征融合和不同尺度之间的交互。具体的，PAN可以采用下采样和横向连接的方式，将FPN输入的多尺度特征图进行下采样和通道维度合并，得到输出的多尺度特征图。PAN输出的多尺度特征图与FPN输出的多尺度特征图尺寸和通道数完全相同。

步骤20：采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征。

上述基础类别为源域，新类别为目标域。例如，基础类别可以为人、汽车、狗、兔子等，新类别应该与基础类别完全不相交，例如花，雨伞等。使用图像标注软件对预先获取的图像进行人工标注，例如，人工可以标注出图像中的待检测类别和待检测类别对应的边界框等。在少样本目标检测领域中，第二样本数据的数据量很少，因此人工标注的工作量很小，可以极大地节省时间和人力成本。使用仅包含基础类别的第一样本数据训练得到的第一模型可以识别基础类别，并具备提取图像显著特征的能力，从而辅助模型学习新类别的检测，极大地缩短新类别的训练周期。

通过第二样本数据对第一模型进行微调的方式与通过第一样本数据训练第一模型的方法相同。也就是说，在第一模型训练完成后，为了使第一模型能够识别新类别，可以利用第二样本数据再对第一模型进行训练，得到训练后的第二模型。第二模型的结构保持不变。通过第二样本数据对第二模型进行训练后，第二模型的支持分支可以提取基础类别和新类别的类别特征。

步骤30：将待检测样本输入所述第二模型的查询分支，提取所述待检测样本的第一特征。

待检测样本可以为任意图像。将待检测样本输入到第二模型的查询分支，查询分支可以提取待检测样本的特征，即第一特征。经过训练后，支持分支能够提取基础类别和新类别的类别特征。这些类别特征可以用于增强待检测样本的第一特征。

步骤40：将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。

将查询分支提取的待检测样本的第一特征与支持分支提取的类别特征进行特征重加权处理，通过加权的方式将第一特征与类别特征融合在一起，作为第二特征。示例性的，特征重加权处理可以包括第一特征与类别特征逐元素相加或相乘、逐通道卷积等，然后将类别特征融合到查询分支提取的待检测样本的特征图（第一特征）中，用融合后的特征（即第二特征）来进行待检测样本类别的识别。

示例性的，根据类别特征可以确定卷积核，将该卷积核作为权重对第一特征进行卷积等运算，运算的结果作为第二特征。需要理解的，卷积运算后的第二特征与第一特征的尺寸完全相同。例如，第一特征为（N,C,H,W），进行上述卷积等之后的形状仍然为（N,C,H,W）。本实施方式中，通过支持分支的类别特征对第一特征进行增强，并没有改变第一特征的大小，能够避免引入额外的参数，节省内存空间，也不会对模型的推理速度造成负担。

进一步的，类别特征为四维的特征，可以表示为（N,C,1,1）；查询分支提取的第一特征同样也为四维的特征，表示为（B,C,H,W）。首先将类别特征作为1×1的卷积核（即第一卷积核），对第一特征进行卷积运算，运算会后的特征作为第一融合特征。（N,C,1,1）作为1×1的第一卷积核与第一特征（B,C,H,W）进行卷积运算，可以得到（B,N,H,W）的第一融合特征。然后，对第一融合特征进行归一化运算，归一化不改变特征图的大小，归一化运算后的结果作为第二融合特征。示例性的，用softmax算法对第一融合特征在大小改变的维度进行运算，得到第二融合特征。第一融合特征从（B,C,H,W）到（B,N,H,W），其中大小改变的维度为第二个维度，则可以对第二个维度进行softmax运算。softmax运算可以将第二个维度的数据转化为0到1之间的概率值。该概率值可以表示待检测样本属于N个类别的概率，即可能性大小。得到第二融合特征后，将类别特征（N,C,1,1）的第一个维度与第二维度进行转置，即原本的第一个维度作为第二个维度，原本的第二维度改变为第一个维度。转置后的类别特征（C,N,1,1）作为第二卷积核，采用第二卷积核对第二融合特征进行卷积运算，第二卷积核的大小也为1×1。第二卷积核与第二融合特征卷积之后可以得到（B,C,H,W）的第二特征，大小与第一特征保持一致。可见，本实施方式的特征重加权方法，通过两次卷积运算，使得将第一特征与类别特征融合之后，大小保持不变，即没有改变第一特征的大小，没有引入额外的参数，可以节省资源，有利于加快处理速度。

示例性的，第二卷积核与第二融合特征卷积之后的结果，再与第一特征逐元素相加得到第二特征。与第一特征相加可以在不改变大小的基础上，提升模型识别的精度。

第二模型的结构如上述图2中所示。第二模型的查询分支22还可以包括特征重加权网络223，上述特征重加权处理可以由该特征重加权网络223执行。特征重加权网络223提取到待检测样本的第二特征，然后利用第二模型的检测层来确定待检测样本的检测结果。

第二模型的查询分支22还可以包括检测层224。将上述得到的第二特征可以输入查询分支22的检测层224，通过该检测层224确定待检测样本中包含的对象的目标类别，以及对象边界框。可以理解的是，类别特征、第一特征均为多尺度特征，特征重加权时可以分别在每个尺度将类别特征与第一特征进行融合，处理后依然可以得到多尺度的第二特征。例如，类别特征的三种尺度：（H,C,1,1），（H,C/2,1,1）和（H,C/4,1,1）,则第一特征的尺度为（B,C,H,W）、（B,C/2,H,W）和（B,C/4,H,W）,特征重加权处理后也可以得到三种尺度与第一特征相同的第二特征。检测层可以确定每个尺度的第二特征中的锚框对应的目标类别，并修正锚框的位置，得到对应的目标边界框。

下面介绍第一模型以及第二模型的训练过程。

首先训练第一模型，将第一样本数据划分为查询集和支持集。每次迭代时，随机采样得到N个基础类别，对采样的每个类别从支持集中随机采样图像，得到当前类别的K个实例样本。将N×K个实例样本作为支持分支的输入。从查询集中随机采样B张图像，作为第一样本，然后将该B张图像作为查询分支的输入。

支持分支前向传播，采样输入的N×K个样本的经过骨干网络，全局池化以及两个并列的多层感知机后，对N个类别中的每个类别提取一个特征向量，可以得到N×C×1×1的特征向量，即类别特征。

查询分支前向传播，采样输入的B张图像经过查询分支的骨干网络以及瓶颈网络后，可以得到B×C×H×W的特征图，即第一样本的样本特征。

然后特征重加权网络将支持分支输出的类别特征与样本特征进行融合，得到B×C×H×W的特征图。特征重加权网络输出的特征图作为检测层的输入，通过检测层输出预测结果，即第一检测结果，例如B个图像的类别和类别对应的边界框。根据第一检测结果与第一样本的标签之间的损失可以进行更新模型参数，训练模型。

通过损失函数计算预测结果与该B个图像的标签之间的误差，误差反向传播可以更新支持分支和查询分支的参数。利用更新后的第一模型再次进行下一次迭代。具体的，第一模型的损失函数可以表示为：

公式（1）中，

为类别概率损失，用于将特征图上的所有锚框分为正负两类；

为分类损失，用于将正锚框分类为期望的类别；

为边界框定位损失，用于将正锚 框的位置修正成正确的边界框。其中：

其中，N为查询分支每次输入的样本数量；

为模型预测的第i个样本的类别 概率；

为第i个样本的标签值；

表示二元交叉熵损失。

其中，

为正锚框的数量；

表示二元交叉熵损失。

正锚框的标签为正锚框和标签中对应的边界框的CIoU值；负锚框的标签为0。CIoUloss指的是CIoU损失函数，可以表示如下：

其中，IoU表示正锚框和标签中对应边界框的IoU值，c表示正锚框和标签中对应的 边界框的最小封闭矩形的对角线长度，

表示两点之间的欧式距离，

和b分别表示模 型预测的边界框的中心点和标签中边界框的中心点。

其中，w，h分别表示标签中边界框的宽、高；

、

分别表示模型预测的边界框的 宽、高。

通过上述公式（1）至公式（7），可以计算每次迭代的损失，然后反向传播调整模型 的参数，直到损失

小于预设值，第一模型训练完成。

用第二样本数据对第一模型进行微调的过程与训练第一模型的过程相同，即将第二样本数据划分为支持集和查询集，每次迭代从支持集和查询集中各采样一定数量的样本分别输入到支持分支和查询分支，来提取特征。支持分支提取的特征向量与查询分支提取的特征图，经过特征重加权网络进行融合后输入检测层，得到预测结果。同样采用上述损失函数计算预测结果对应的损失，来微调第一模型。第二样本数据中的每个样本都处理完成后，完成对第一模型的微调，保存此时模型的参数，作为第二模型。第二模型可以被应用于对基础类别和新类别的图像进行目标检测。

在训练完成时可以将支持分支得到的类别特征加载至查询分支的特征重加权网络中作为其输入，因此应用第二模型对待检测样本进行目标检测时，无需再使用支持分支，可以直接通过查询分支的骨干网络、瓶颈网络提取到待检测样本的第一特征。然后将第一特征输入特征重加权网络与类别特征进行融合，再经过检测层输出检测结果。可见，在应用时模型的结构比训练时更加简单，有利于提高处理速度。待检测样本中可以包括多个属于不同类别的对象，第二模型可以将样本中属于基础类别和新类别的对象检测出来，并确定每个类别的边界框。可见，本实施方式可以在保证检测速度的同时提高少样本检测模型的性能。

进一步的，本发明实施例还提供一种少样本目标检测装置，可用于执行上述少样本目标检测方法。下面对本发明提供的少样本目标检测装置进行描述，下文描述的少样本目标检测装置与上文描述的少样本目标检测方法可相互对应参照。

图3示出了本发明实施例中的少样本目标检测装置的结构图。如图3所示，少样本目标检测装置30包括第一训练模块31，用于采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征；第二训练模块32，采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，第二样本的数量远小于所述第一样本的数量；数据输入模块33，用于将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；结果确定模块34，用于将第一特征与所述第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。

在本发明的一种实施方式中，结果确定模块34用于：将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，所述第二特征与所述第一特征的大小一致。

在本发明的一种实施方式中，所述类别特征与所述第一特征包括多个维度，所述结果确定模块34具体包括：第一卷积单元，用于将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；第二卷积单元，用于将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；特征确定单元，用于将卷积运算的结果与所述第一特征相加，得到第二特征。其中，类别特征的第一个维度为类别数，第二个维度为通道数。

在本发明的一种实施方式中，所述查询分支包括检测层，所述结果确定模块34用于：将第二特征输入检测层，获得待检测样本的目标类别，以及对应的目标边界框。

在本发明的一种实施方式中，所述第一训练模块31具体包括：数据集划分单元，用于将所述第一样本数据划分为支持集和查询集，所述支持集与所述查询集中均包括所述基础类别；支持输入单元，用于将支持集输入支持分支，对每个基础类别提取类别特征；查询输入单元，用于将查询集中的第一样本输入查询分支，提取第一样本的样本特征；模型预测单元，用于将所述类别特征与所述样本特征输入特征重加权网络进行融合，利用融合后的特征确定第一样本的第一检测结果，以训练第一模型。

由于本发明示例实施方式中的少样本目标检测装置的各个功能模块与上述少样本目标检测方法的示例实施方式的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照上述的少样本目标检测方法的实施方式。

图4示例了一种电子设备的实体结构示意图。如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行少样本目标检测方法，该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的少样本目标检测方法，该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种少样本目标检测方法，其特征在于，包括：

采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征；

采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，第二样本的数量远小于所述第一样本的数量；

将待检测样本输入所述第二模型的查询分支，提取待检测样本的第一特征，所述待检测样本为图像；

将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本中包括的对象的目标类别；

所述将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，包括：

将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；

将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；

将卷积运算的结果与所述第一特征相加，得到第二特征，所述第二特征与所述第一特征的大小一致；

其中，所述类别特征的所述第一个维度为类别数，所述第二个维度为通道数。

2.根据权利要求1所述的少样本目标检测方法，其特征在于，所述查询分支包括检测层；所述利用所述第二特征确定所述待检测样本的检测结果，包括：

将所述第二特征输入所述检测层，获得所述待检测样本的目标类别，以及对应的目标边界框。

3.根据权利要求1所述的少样本目标检测方法，其特征在于，所述查询分支还包括特征重加权网络，采用包括基础类别的第一样本数据训练得到第一模型，包括：

将所述第一样本数据划分为支持集和查询集，所述支持集与所述查询集中均包括所述基础类别；

将所述支持集输入所述支持分支，对每个所述基础类别提取类别特征；

将所述查询集中的第一样本输入所述查询分支，提取所述第一样本的样本特征；

将所述类别特征与所述样本特征输入所述特征重加权网络进行融合，利用融合后的特征确定所述第一样本的第一检测结果，以训练第一模型。

4.根据权利要求3所述的少样本目标检测方法，其特征在于，所述训练第一模型，包括：

通过损失函数计算所述第一检测结果与所述第一样本的标签之间的差异度，基于所述差异度使用反向传播算法调整所述第一模型的参数。

5.一种少样本目标检测装置，其特征在于，包括：

第一训练模块，用于采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取基础类别的类别特征；

第二训练模块，用于采用包括基础类别和新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，所述第二样本的数量远小于第一样本的数量；

数据输入模块，用于将待检测样本输入所述第二模型的查询分支，提取所述待检测样本的第一特征，所述待检测样本为图像；

结果确定模块，用于将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本中包括的对象的目标类别；

所述结果确定模块包括：第一卷积单元，用于将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；

第二卷积单元，用于将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；

特征确定单元，用于将卷积运算的结果与所述第一特征相加，得到第二特征，所述第二特征与所述第一特征的大小一致；

其中，类别特征的第一个维度为类别数，第二个维度为通道数。

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述少样本目标检测方法。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述少样本目标检测方法。

Images