CN117876771A - 一种小样本目标检测识别方法、装置及计算设备 - Google Patents

Abstract

本发明提供了一种小样本目标检测识别方法、装置及计算设备，该方法包括：获取目标域内的小样本目标数据集；利用小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；将目标域的待检测识别图像输入目标检测网络模型中，得到目标图像和回归结果；将目标图像与目标图像相关的语义信息、属性信息和图像信息输入目标分类网络模型中，得到分类结果；根据回归结果和分类结果，得到待检测识别图像的识别结果。本方案提供的小样本目标检测识别方法能够实现对小样本数据的准确识别，提高基于小样本数据的识别准确性。

Description

一种小样本目标检测识别方法、装置及计算设备

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种小样本目标检测识别方法、装置及计算设备。

背景技术

目标检测与识别任务仍是当前计算机视觉领域中的热门研究方向之一，由于其较为广泛的工程应用，使得该任务在学术研究领域得到了迅速的发展与创新。智能识别系统通常依赖于深度学习中的目标识别技术，但目前仍有许多问题亟需克服：1)在目标识别任务中，出于对模型精度的要求，目标识别模型需要大量训练数据量和训练数据的种类数量。而在大多数的实际应用场景中，由于环境的严酷性和硬件设施的限制，很难获取大量的高质量数据。2)由于传统常规方法仅对单一图像数据进行处理，忽视了额外信息的辅助引导，从而导致常规目标识别方法所构建的模型，在有限样本目标识别任务中，容易产生过拟合现象，导致传统方法的检测识别准确率过低。同时，在有限样本的条件下，随着训练轮次的增加，网络模型也会出现过拟合现象，将网络参数量降低可以在一定程度上减轻过拟合的影响，但较浅的网络结构，也会影响模型的最终准确率。这些问题均导致其在实际应用情况下的性能难以达到技术需求，因此如何使用少量样本数据完成目标识别模型的构建，成为近年来学术界、工业界乃至国防的瓶颈问题。

发明内容

本发明提供了一种小样本目标检测识别方法、装置及计算设备，能够实现对小样本数据的准确识别，提高了识别准确性。

第一方面，本发明提供了一种小样本目标检测识别方法，包括：

获取目标域内的小样本目标数据集；

利用所述小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果；将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果；

根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果。

可选地，所述源域数据集包括公共数据集；其中，采用所述公共数据集对预先构建的检测网络模型进行预训练，得到所述初始检测网络模型；

所述检测网络模型包括检测编码器、梯度解耦层、感兴趣区域提取网络、感兴趣区域对齐结构和回归模块；所述检测网络模型的输入为所述公共数据集中的图像，输出为回归结果，所述回归结果包含该图像中目标的位置信息。

可选地，所述初始检测网络模型和所述目标检测网络模型的训练中采用第一损失函数进行约束；

所述第一损失函数通过如下公式确定：

其中，p_i用于表征第i个预测框的预测类别得分；用于表征第i个预测框的分类得分；t_i用于表征第i个预测框的回归参数；/>用于表征第i个预测框所对应的真实回归参数；L_cls用于表征分类损失函数；L_reg用于表征回归损失函数；N_cls用于表征输出的预测框数量；N_reg用于表征正样本的数量；λ为超参数。

可选地，所述源域数据集包括历史图像数据集；其中，采用所述历史图像数据集对预先构建的分类网络模型进行预训练，得到所述初始分类网络模型；

所述分类网络模型包括语义编码器、属性编码器、属性预测器、图像编码器、多源类中心特征融合模块、图像属性特征融合模块；所述分类网络模型的输入为所述历史图像数据集中的图像和对应该图像的语义信息、属性信息和图像信息，输出为该图像的识别结果。

可选地，所述将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果，包括：

根据所述回归结果，将所述待检测识别图像进行裁剪，得到所述目标图像；其中，所述回归结果中包括所述待检测识别图像中目标的位置信息。

可选地，所述将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果，包括：

将所述目标图像输入所述目标分类网络模型中，对所述目标图像进行属性特征预测，得到属性预测向量；并行对所述目标图像进行特征向量转化，得到第一图像特征向量；

将所述属性预测向量和所述第一图像特征向量进行融合，得到图像属性特征向量；

对所述目标图像进行解析，得到与所述目标图像相关的所述语义信息、所述属性信息和所述图像信息；

将所述语义信息、所述属性信息和所述图像信息输入所述目标分类网络模型中，分别得到语义特征向量、属性特征向量、第二图像特征向量；

将所述得到语义特征向量、所述属性特征向量和所述第二图像特征向量进行融合，得到融合类中心特征向量；

对所述图像属性特征向量和所述融合类中心特征向量进行相似度计算，得到所述分类结果。

可选地，所述根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果，包括：

对所述回归结果和所述分类结果进行非极大值抑制处理，得到所述识别结果；其中，所述识别结果包括所述待检测识别图像中的目标所对应的属性信息。

第二方面，本发明还提供了一种小样本目标检测识别装置，包括：

获取模块，用于获取目标域内的小样本目标数据集；

训练模块，用于利用所述小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

检测识别模块，用于将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果；将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果；并根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果。

第三方面，本发明还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的小样本目标检测识别方法。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项所述的小样本目标检测识别方法。

本发明提供了一种小样本目标检测识别方法、装置及计算设备，该方法首先采用源域数据集预训练得到初始检测网络模型和初始分类网络模型，然后再采用目标域内的小样本目标数据集对初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型，然后利用目标检测网络模型得到待检测识别图像的目标图像和回归结果，再利用目标分类网络模型得到目标图像的分类结果，最后根据回归结果和分类结果得到待检测识别图像的识别结果。如此，在小样本目标数据集的前提下，利用事先基于源域数据集训练得到的初始模型，然后在目标域上微调初始模型得到目标模型，得以充分挖掘目标域内样本数据所包含的语义信息、属性信息和图像信息，获得精确的类别特征表达，实现对小样本数据的准确识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种小样本目标检测识别方法的流程图；

图2是本发明一实施例提供的检测网络模型结构图；

图3是本发明一实施例提供的分类网络模型结构图；

图4是本发明一实施例提供的属性预测器的网络模型结构图；

图5是本发明一实施例提供的一种计算设备的硬件架构图；

图6是本发明一实施例提供的一种小样本目标检测识别装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于样本数过少问题，导致无法建立有效的样本数据与类别的映射关系，在传统的目标识别方法中，无法有效地将目标的语义信息有效地融入识别过程中，无法构建引入额外辅助信息的智能目标识别模型，从而导致在有限小样本问题中的识别性能较低，无法满足新时代智能目标识别的技术需要。针对以上问题，本发明采用引入外部先验信息的方式来辅助模型建立更好的通用特征提取和类中心建立，提升网络模型的泛化能力和特征提取能力，进而提高小样本目标检测识别准确率。

下面描述本申请构思的具体实现方式。

请参考图1，本发明实施例提供了一种小样本目标检测识别方法，该方法包括：

步骤100，获取目标域内的小样本目标数据集；

步骤102，利用小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

步骤104，将目标域的待检测识别图像输入目标检测网络模型中，得到目标图像和回归结果；将目标图像与目标图像相关的语义信息、属性信息和图像信息输入目标分类网络模型中，得到分类结果；

步骤106，根据回归结果和分类结果，得到待检测识别图像的识别结果。

在本发明实施例中，首先采用源域数据集预训练得到初始检测网络模型和初始分类网络模型，然后再采用目标域内的小样本目标数据集对初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型，然后利用目标检测网络模型得到待检测识别图像的目标图像和回归结果，再利用目标分类网络模型得到目标图像的分类结果，最后根据回归结果和分类结果得到待检测识别图像的识别结果。如此，在小样本目标数据集的前提下，利用事先基于源域数据集训练得到的初始模型，然后在目标域上微调初始模型得到目标模型，得以充分挖掘目标域内样本数据所包含的语义信息、属性信息和图像信息，获得精确的类别特征表达，实现对小样本数据的准确识别。

下面描述图1所示的各个步骤的执行方式。

首先，针对步骤100，小样本目标数据集包括可见数据集和红外数据集。具体地，针对可见光数据集训练得到最终的可见光目标检测网络模型和可见光目标分类网络模型；针对红外数据集训练得到最终的红外目标检测网络模型和红外目标分类网络模型。更具体地，例如目标分类网络模型共包含五大类，则从可见数据集和红外数据集的每个类别各筛选出8个样本，即各数据集均筛选出40个样本，对这40个样本进行属性标注(例如，1代表图像中含有该属性，0代表不含该属性，形成属性文件信息；每张图像所具有的类别信息，即英文名称或中文名称作为图像所对应的语义信息)，作为对目标分类网络模型和目标检测网络模型的微调数据训练集；可见光和红外的其余数据进行人工标注，作为目标域上的测试数据集，用于最终目标模型的性能测试。

然后，在步骤102中，源域数据集包括公共数据集和历史图像数据集；其中，采用公共数据集对预先构建的检测网络模型进行预训练，得到初始检测网络模型；包括历史图像数据集；采用历史图像数据集对预先构建的分类网络模型进行预训练，得到初始分类网络模型；

如图2所示，检测网络模型包括检测编码器、梯度解耦层、感兴趣区域提取网络、感兴趣区域对齐结构和回归模块；检测网络模型的输入为公共数据集中的图像，输出为回归结果，回归结果包含该图像中目标的位置信息；

如图3和图4所示，分类网络模型包括语义编码器、属性编码器、属性预测器、图像编码器、多源类中心特征融合模块、图像属性特征融合模块；分类网络模型的输入为历史图像数据集中的图像和对应该图像的语义信息、属性信息和图像信息，输出为该图像的识别结果。

需要说明的是，公共数据集可以为PASCAL VOC数据集中的目标检测图像数据，用于对检测网络模型进行端到端的预训练，得到初始检测网络模型。历史图像数据集可以为从网络或现有数据库中收集的已知目标及其分类的相关图像；其中通过人工方式对每张图像进行细粒度的图像属性标注，形成对应的属性信息(本发明指根据图像中物体类别和图像上下文信息所抽象出的一系列特性组合，例如，类别为坦克的属性信息包括炮筒、履带等；类别为飞机的属性信息包括发动机、机翼、尾翼、起落架等)，同时利用每张图像中已知目标的实际类别对应的中文名称(例如，营房、坦克、飞机)或英文单词(例如，Barrack、Tank、Plane)形成语义信息。

在一个具体的实施方式中，例如，检测网络中的检测编码器采用ResNet50网络模型；梯度解耦层由一个全连接层构成；感兴趣区域提取网络主要由一个3×3的卷积层和两个并行的1×1的卷积层构成；感兴趣区域对齐结构主要采用双线性插值算法将感兴趣区域的特征图统一到相同尺寸；回归模块主要由多个全连接层构成。

在一个具体的实施方式中，例如，1)使用Word2vec词向量模型和两个线性层构建语义编码器，Word2vec词向量模型加载了经过预训练的Word2vec模型，该模型使用Glove词库进行预训练，此时历史图像数据集来源于wiki百科和Gigaword数据集，经过词库预训练后，模型能计算每个种子词与预训练模型中包含的每个词之间的相似性，从而将语义信息转换为语义特征，最后通过两个线性层把语义特征转换输出为语义特征向量。2)属性编码器由五个线性层构成，前四个线性层后面有ReLU激活函数，通过这些线性层和激活函数的计算，将输入的属性标签或属性预测向量映射至特征层面，输出为属性特征向量。3)图像编码器使用经过ImageNet数据集预训练的深度卷积神经网络ResNet50构成，用于将输入图像转化为对应类别的特征向量，即图像特征向量。4)多源类中心特征融合模块，由两个全连接层和一个ReLU激活函数构成，该ReLU激活函数位于第一个全连接层之后，将支持集图像(即历史图像数据集)对应的语义特征向量、属性特征向量和图像特征向量输入到多源类中心特征融合模块得到各类别的融合类中心特征向量。5)属性预测器由基准网络BN-Inception和属性定位模块构成，前者由多个具有不同特征级别的Inception块组成，从而能提取不同层级的特征信息，后者由通道注意力网络和空间变换网络构成，不同层级的预测特征经过属性定位模块后，得出对应的属性预测值，最终将三张层级的属性预测值进行最大值选取操作，得出该样本的属性预测向量。6)图像属性特征融合模块用于将图像特征向量和属性预测向量加权融合得到图像属性融合特征。

在一个具体的实施方式中，接前例所述，在步骤102中，利用小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练时，使用预训练后的网络参数权重初始化目标域的网络模型参数，除了将初始分类网络模型中图像编码器ResNet50的stage5的网络参数和初始检测网络模型中的感兴趣区域提取网络、回归模块的网络参数设置为可训练外，其余网络参数均被冻结。

在一个优选的实施方式中，初始检测网络模型和目标检测网络模型的训练中采用第一损失函数进行约束；

第一损失函数通过如下公式确定：

其中，p_i用于表征第i个预测框的预测类别得分；用于表征第i个预测框的分类得分；t_i用于表征第i个预测框的回归参数；/>用于表征第i个预测框所对应的真实回归参数；L_cls用于表征分类损失函数；L_reg用于表征回归损失函数；N_cls用于表征输出的预测框数量；N_reg用于表征正样本的数量；λ为超参数。

需要说明的是，针对每张图像，均会产生L个预测框，即L为所有预测框的数量，i表示第i个预测框。L(p_i,t_i)表示为第一损失函数，当第i个预测框为正样本时，反之 用于表征在正样本时计算回归损失。R表示Smooth_L1(x)函数，其中x表示回归损失中/>的值，即/>

在一个优选的实施方式中，初始分类网络模型和目标分类网络模型的训练中采用第二损失函数进行约束；

第二损失函数通过如下公式确定：

其中，l_n为第二损失函数；U_c用于表征余弦相似度的计算公式；C为训练类数；GT用于表征真实标签；F_q用于表征待检测图像的真实标签信息；P_c用于表征待检测图像的预测标签信息；U_c(F_q,P_c|F_q＝GT)表示待检测图像与其真实标签类的查询集的余弦相似度。

更具体地，在本发明中，针对分类网络模型进行预训练得到初始分类网络模型时，整个预训练过程中采用episode学习方式。这种方式不同于常规有监督的分类训练，无需直接将全部训练集一次性输入网络模型中进行训练，而是每轮训练开始时，从历史图像数据集中随机划分支持集和查询集，通过这种训练方式，能够模拟实际测试情况下的网络输入，使网络模型更适合小样本学习任务，同时利用如下的第二损失函数对分类网络模型进行约束，得到初始分类网络模型。

在步骤102中，采用目标域的小样本目标数据集对初始检测网络模型和初始分类网络模型进行再次训练，保持深层网络模型中的大部分网络参数固定不变，以防止过拟合现象，最终使深层网络模型能在目标域保持良好的目标检测识别性能。

在步骤104中，将目标域的待检测识别图像输入目标检测网络模型中，得到目标图像和回归结果，包括：

根据回归结果，将待检测识别图像进行裁剪，得到目标图像；其中，回归结果中包括待检测识别图像中目标的位置信息。

在本发明中，待检测识别图像通过监测编码器、梯度解耦层、感兴趣区域提取网络、感兴趣区域对齐结构和回归模块后，输出回归结果，该回归结果包含了待检测图像中潜在目标物体的位置信息，即确定了该潜在目标可以被检测到。根据该回归结果中的位置信息在待检测识别图像上裁剪相应位置的图像信息，以去除其他包含非目标信息的图像，得到目标图像。

在步骤104中，将目标图像与目标图像相关的语义信息、属性信息和图像信息输入目标分类网络模型中，得到分类结果，包括：

将目标图像输入目标分类网络模型中，对目标图像进行属性特征预测，得到属性预测向量；并行对目标图像进行特征向量转化，得到第一图像特征向量；

将属性预测向量和第一图像特征向量进行融合，得到图像属性特征向量；

对目标图像进行解析，得到与目标图像相关的语义信息、属性信息和图像信息；

将语义信息、属性信息和图像信息输入目标分类网络模型中，分别得到语义特征向量、属性特征向量、第二图像特征向量；

将得到语义特征向量、属性特征向量和第二图像特征向量进行融合，得到融合类中心特征向量；

对图像属性特征向量和融合类中心特征向量进行相似度计算，得到分类结果。

在一个优选的实施方式中，对目标图像进行解析，得到与目标图像相关的语义信息、属性信息和图像信息，包括：

对目标图像进行解析，确定所述目标图像中目标种类；

确定该目标种类下的语义信息、属性信息以及该目标种类的历史目标图像信息和历史目标部件对应的图像信息。

具体地，如图4所示，分类网络模块将裁剪后的目标图像输入至属性预测器和图像编码器中，属性预测器的输出属性预测向量，图像编码器的输出第一图像特征向量，通过图像属性特征融合模块融合后输出图像属性特征向量。同时，根据对目标图像的解析结果，将历史图像数据集中包括的与目标图像相关的语义信息、属性信息、图像信息，分别经过语义编码器、属性编码器、图像编码器输出对应的特征向量信息，再通过多源类中心特征融合模块得到融合类中心特征向量。最后，通过对融合类中心特征向量与图像属性特征向量进行相似度计算，输出分类结果。该分类结果中包括识别到的目标的具体的属性信息、语义信息。

最后，针对步骤106，根据回归结果和分类结果，得到待检测识别图像的识别结果，包括：

对回归结果和分类结果进行非极大值抑制处理，得到识别结果；其中，识别结果包括待检测识别图像中的目标所对应的属性信息。

在本发明中，为了精确识别待检测识别图像中的目标，进一步对两个网络模型分别得到的回归结果和分类结果进行非极大值抑制处理，以通过筛选出局部极大值得到最优解，提高识别准确性。

具体地，接前例所述，目标域内的小样本目标数据集包括可见光数据集和红外数据集，通过计算衡量准确率，对最终得到的深层网络模型的性能进行测试。实验结果如下：使用目标域上的可见光数据集训练得到目标检测网络模型和目标分类网络模型，将基于可见光的待检测识别图像输入由目标检测网络模型和目标分类网络模型组成的深层网络模型中，得到的识别结果的准确率为74.8％；而采用现有技术中未包含语义编码器、属性编码器、多源类中心特征融合模块等结构的分类网络模型和目标检测网络模型作为深层网络模型，由此得到的识别结果的准确率为66.9％。2)使用目标域上的红外数据集训练得到目标检测网络模型和目标分类网络模型，将基于红外数据的待检测识别图像输入由目标检测网络模型和目标分类网络模型组成的深层网络模型，得到的识别结果的准确率为77.9％；而采用现有技术中未包含语义编码器、属性编码器、多源类中心特征融合模块等结构的分类网络模型和目标检测网络模型作为深层网络模型，由此得到的识别结果的准确率为70.5％。通过准确率可以看出，在可见光数据集和红外数据集中，引入了外部先验信息(即语义信息、属性信息)的网络模型取得了更加显著的性能，从而验证了引入语义信息和属性信息的有效性，该方式能够有效优化模型使其具有更强的分类能力和识别准确率。

本发明所提供的小样本目标检测识别方法，利用外部的先验知识，包括语义信息和属性信息，丰富了图像特征信息表达，提高了目标物体类别表征的准确性，提升了在小样本数据环境下智能识别性能。而且该方法简单，且易于实现，仅需利用有限的目标域标注数据对由初始检测网络模型和初始分类网络模型组成的深层网络模型进行微调，便能够克服了目标域训练样本不足的问题。

如图5、图6所示，本发明实施例提供了一种小样本目标检测识别装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图5所示，为本发明实施例提供的一种小样本目标检测识别装置所在计算设备的一种硬件架构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图6所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种小样本目标检测识别装置，包括：

获取模块600，用于获取目标域内的小样本目标数据集；

训练模块602，用于利用小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

检测识别模块604，用于将目标域的待检测识别图像输入目标检测网络模型中，得到目标图像和回归结果；将目标图像与目标图像相关的语义信息、属性信息和图像信息输入目标分类网络模型中，得到分类结果；并根据回归结果和分类结果，得到待检测识别图像的识别结果。

在一些具体的实施方式中，获取模块600可用于执行上述步骤100，训练模块602可用于执行上述步骤102，检测识别模块604可用于执行上述步骤104和步骤106。

在一些具体的实施方式中，源域数据集包括公共数据集；其中，采用公共数据集对预先构建的检测网络模型进行预训练，得到初始检测网络模型；

检测网络模型包括检测编码器、梯度解耦层、感兴趣区域提取网络、感兴趣区域对齐结构和回归模块；检测网络模型的输入为公共数据集中的图像，输出为回归结果，回归结果包含该图像中目标的位置信息。

在一些具体的实施方式中，初始检测网络模型和目标检测网络模型的训练中采用第一损失函数进行约束；

第一损失函数通过如下公式确定：

其中，p_i用于表征第i个预测框的预测类别得分；用于表征第i个预测框的分类得分；t_i用于表征第i个预测框的回归参数；/>用于表征第i个预测框所对应的真实回归参数；L_cls用于表征分类损失函数；L_reg用于表征回归损失函数；N_cls用于表征输出的预测框数量；N_reg用于表征正样本的数量；λ为超参数。

在一些具体的实施方式中，源域数据集包括历史图像数据集；其中，采用历史图像数据集对预先构建的分类网络模型进行预训练，得到初始分类网络模型；

分类网络模型包括语义编码器、属性编码器、属性预测器、图像编码器、多源类中心特征融合模块、图像属性特征融合模块；分类网络模型的输入为历史图像数据集中的图像和对应该图像的语义信息、属性信息和图像信息，输出为该图像的识别结果。

在一些具体的实施方式中，初始分类网络模型和目标分类网络模型的训练中采用第二损失函数进行约束；

第二损失函数通过如下公式确定：

其中，l_n为第二损失函数；U_c用于表征余弦相似度的计算公式；C为训练类数；GT用于表征真实标签；F_q用于表征待检测图像的真实标签信息；P_c用于表征待检测图像的预测标签信息；U_c(F_q,P_c|F_q＝GT)表示待检测图像与其真实标签类的查询集的余弦相似度。

在一些具体的实施方式中，检测识别模块604还用于执行如下操作：

根据回归结果，将待检测识别图像进行裁剪，得到目标图像；其中，回归结果中包括待检测识别图像中目标的位置信息。

在一些具体的实施方式中，检测识别模块604还用于执行如下操作：

将目标图像输入目标分类网络模型中，对目标图像进行属性特征预测，得到属性预测向量；并行对目标图像进行特征向量转化，得到第一图像特征向量；

将属性预测向量和第一图像特征向量进行融合，得到图像属性特征向量；

对目标图像进行解析，得到与目标图像相关的语义信息、属性信息和图像信息；

将语义信息、属性信息和图像信息输入目标分类网络模型中，分别得到语义特征向量、属性特征向量、第二图像特征向量；

将得到语义特征向量、属性特征向量和第二图像特征向量进行融合，得到融合类中心特征向量；

对图像属性特征向量和融合类中心特征向量进行相似度计算，得到分类结果。

在一些具体的实施方式中，检测识别模块604还用于执行如下操作：

对回归结果和分类结果进行非极大值抑制处理，得到识别结果；其中，识别结果包括待检测识别图像中的目标所对应的属性信息。

可以理解的是，本发明实施例示意的结构并不构成对一种小样本目标检测识别装置的具体限定。在本发明的另一些实施例中，一种小样本目标检测识别装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种小样本目标检测识别方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种小样本目标检测识别方法。

具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种小样本目标检测识别方法，其特征在于，包括：

获取目标域内的小样本目标数据集；

利用所述小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果；将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果；

根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述源域数据集包括公共数据集；其中，采用所述公共数据集对预先构建的检测网络模型进行预训练，得到所述初始检测网络模型；

所述检测网络模型包括检测编码器、梯度解耦层、感兴趣区域提取网络、感兴趣区域对齐结构和回归模块；所述检测网络模型的输入为所述公共数据集中的图像，输出为回归结果，所述回归结果包含该图像中目标的位置信息。

3.根据权利要求1所述的方法，其特征在于，所述初始检测网络模型和所述目标检测网络模型的训练中采用第一损失函数进行约束；

所述第一损失函数通过如下公式确定：

其中，p_i用于表征第i个预测框的预测类别得分；用于表征第i个预测框的分类得分；t_i用于表征第i个预测框的回归参数；/>用于表征第i个预测框所对应的真实回归参数；L_cls用于表征分类损失函数；L_reg用于表征回归损失函数；N_cls用于表征输出的预测框数量；N_reg用于表征正样本的数量；λ为超参数。

4.根据权利要求1所述的方法，其特征在于，所述源域数据集包括历史图像数据集；其中，采用所述历史图像数据集对预先构建的分类网络模型进行预训练，得到所述初始分类网络模型；

所述分类网络模型包括语义编码器、属性编码器、属性预测器、图像编码器、多源类中心特征融合模块、图像属性特征融合模块；所述分类网络模型的输入为所述历史图像数据集中的图像和对应该图像的语义信息、属性信息和图像信息，输出为该图像的识别结果。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果，包括：

根据所述回归结果，将所述待检测识别图像进行裁剪，得到所述目标图像；其中，所述回归结果中包括所述待检测识别图像中目标的位置信息。

6.根据权利要求1所述的方法，其特征在于，所述将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果，包括：

将所述目标图像输入所述目标分类网络模型中，对所述目标图像进行属性特征预测，得到属性预测向量；并行对所述目标图像进行特征向量转化，得到第一图像特征向量；

将所述属性预测向量和所述第一图像特征向量进行融合，得到图像属性特征向量；

对所述目标图像进行解析，得到与所述目标图像相关的所述语义信息、所述属性信息和所述图像信息；

将所述语义信息、所述属性信息和所述图像信息输入所述目标分类网络模型中，分别得到语义特征向量、属性特征向量、第二图像特征向量；

将所述得到语义特征向量、所述属性特征向量和所述第二图像特征向量进行融合，得到融合类中心特征向量；

对所述图像属性特征向量和所述融合类中心特征向量进行相似度计算，得到所述分类结果。

7.根据权利要求1至6中任一所述的方法，其特征在于，所述根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果，包括：

对所述回归结果和所述分类结果进行非极大值抑制处理，得到所述识别结果；其中，所述识别结果包括所述待检测识别图像中的目标所对应的属性信息。

8.一种小样本目标检测识别装置，其特征在于，包括：

获取模块，用于获取目标域内的小样本目标数据集；

训练模块，用于利用所述小样本目标数据集对由源域数据集预训练得到的初始检测网络模型和初始分类网络模型进行训练，得到目标检测网络模型和目标分类网络模型；

检测识别模块，用于将所述目标域的待检测识别图像输入所述目标检测网络模型中，得到目标图像和回归结果；将所述目标图像与所述目标图像相关的语义信息、属性信息和图像信息输入所述目标分类网络模型中，得到分类结果；并根据所述回归结果和所述分类结果，得到所述待检测识别图像的识别结果。

9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。