CN115797691A - 一种基于小样本学习的目标检测方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种基于小样本学习的目标检测方法、装置及存储介质。涉及图像处理技术领域。该方法具体包括：电子设备采用神经网络对支持图像集和待检测图像进行特征提取，获得支持图像集的多个第一特征信息和待检测图像的第二特征信息。然后，电子设备基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图。电子设备根据多个第一特征信息各自的特征向量生成第三特征信息，特征向量用于指示多个样本图像间的相关关系。然后，电子设备基于待检测特征图及第三特征信息确定待检测图像中的待检测目标。该方法用于解决现有小样本学习目标检测算法的识别精确度较低的问题。

Description

一种基于小样本学习的目标检测方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于小样本学习的目标检测方法、装置及存储介质。

背景技术

基于深度学习的图像目标检测算法通常采用大量的数据集作为训练集，以确保神经网络模型在随机场景下识别待检测目标的准确性。大量的数据集作为训练集，训练模型用时较长，模型训练效率较低。为此，提出基于小样本学习的目标检测算法，即使用少量样本数据集就可完成模型训练，从而提高模型训练效率。

目前小样本学习的目标检测算法识别待检测目标时存在严重的过拟合现象，目标检测的精确度较低。

发明内容

本申请提供了一种基于小样本学习的目标检测方法、装置及存储介质。用以解决现有小样本学习目标检测算法的识别精确度较低的问题。

第一方面，本申请提供了一种基于小样本学习的目标检测方法。该方法可应用于具有处理能力的电子设备，该方法具体包括：电子设备采用预设的神经网络对支持图像集和待检测图像进行特征提取，获得支持图像集的多个第一特征信息和待检测图像的第二特征信息。其中，待检测图像中包括待检测目标，支持图像集包括多个样本图样，每个样本图像中的目标的类型与待检测目标的类型相同，一个样本图像与一个第一特征信息对应，不同样本图像对应的第一特征信息不同。然后，电子设备基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图。电子设备根据多个第一特征信息各自的特征向量生成第三特征信息，特征向量用于指示多个样本图像间的相关关系。然后，电子设备基于待检测特征图及第三特征信息确定待检测图像中的待检测目标。

在本申请实施例中，多个第一特征信息各自的特征向量生成第三特征信息包含了多个样本图像间的相关关系，即提取特征时，考虑了多个样本图像间的相关关系，从而利用样本图像间更多的信息进行目标识别，可以提高待检测目标识别的精确度。

可选的，第一特征信息包括三个维度上的特征信息，根据多个第一特征信息各自的特征向量生成第三特征信息，包括：对多个第一特征信息进行降维处理，得到多个第一特征向量，多个第一特征信息与多个第一特征向量一一对应。然后，对多个第一特征向量进行编码，获得多个第二特征向量。然后，根据多个第二特征向量生成第三特征向量，第三特征向量包括多个第二特征向量加权求和得到的特征信息。对第三特征向量进行升维处理，获得第三特征信息。

本申请实施例中的第一特征信息中包括多个维度的特征信息，电子设备将多个第一特征信息进行降维处理，以更加准确地提取多个第一特征信息间的相关关系。得到的多个第二特征向量又通过加权求和得到第三特征向量，使得多个第一特征信息中的相关关系能够结合在一起，得到的相关关系的信息更加准确。然后将根据相关关系得到的第三特征向量进行升维处理，使得第三特征向量用于后续的目标检测。多个第二特征向量通过加权求和得到第三特征向量时，为每个第二特征向量设置可学习的权重系数，在模型训练过程中，通过每次训练结果不断调整该权重系数，可以使得最终训练好的模型在实际用于目标检测时的准确度较高。

可选的，对多个第一特征向量进行编码，获得多个第二特征向量，包括：根据编码确定多个第一特征向量之间的关联信息，根据该关联信息与多个第一特征向量确定多个第二特征向量。

可选的，基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图，包括：以多个第一特征信息为卷积核对第二特征信息进行特征提取，获得多个第四特征信息,多个第四特征信息与多个第一特征信息一一对应。然后，将多个第四特征信息输入预设的区域生成网络RPN，获得初始待检测特征图。对初始待检测特征图进行特征提取，生成待检测特征图。

可选的，待检测特征图及第三特征信息包括通道维度的信息，基于待检测特征图及第三特征图确定待检测图像的目标，包括：对待检测特征图及第三特征信息分别进行池化处理，将池化处理后的待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行全连接操作，获得第一分类结果及第一回归结果。以第三特征信息为卷积核对待检测特征图进行特征提取，对特征提取的结果进行全连接操作，获得第二分类结果及第二回归结果。对待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行特征提取，获得第三分类结果及第三回归结果。根据该第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定待检测图像的目标。

在本申请实施例中，电子设备通过三种不同的分支对待检测特征图及第三特征图进行处理，能更充分地对待检测特征图及第三特征图进行识别，最终通过三种不同的分支的分类结果及回归结果确定待检测目标的分类结果及回归结果，使得待检测目标的识别更加准确。

可选的，根据第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定待检测图像的目标，包括：通过第一分类结果、第二分类结果、第三分类结果加权求和得到待检测目标的分类结果。通过第一回归结果、第二回归结果及第三回归结果加权求和得到待检测目标的回归结果。

在本申请实施例中，电子设备为每一个分支设置权重系数，可在模型训练的时候不断根据训练结果调整每个分支的权重，使得训练好的模型在实际用于检测目标时的精确度更高。

可选的，根据初始待检测框图生成待检测框图，包括：将初始待检测框图通过残差块进行特征提取，对特征提取的结果进行兴趣区域对齐操作，获得待检测框图。

第二方面，本申请提供了一种目标检测装置。该装置包括提取单元、编码单元及识别单元。其中，提取单元用于采用预设的神经网络对支持图像集和待检测图像进行特征提取，获得支持图像集的多个第一特征信息和待检测图像的第二特征信息。其中，待检测图像中包括待检测目标，支持图像集包括多个样本图样，每个样本图像中的目标的类型与待检测目标的类型相同，一个样本图像与一个第一特征信息对应，不同样本图像对应的第一特征信息不同。提取单元还用于基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图。编码单元用于根据多个第一特征信息各自的特征向量生成第三特征信息，特征向量用于指示多个样本图像间的相关关系。识别单元用于基于待检测特征图及第三特征信息确定待检测图像中的待检测目标。

可选的，编码单元具体用于：对多个第一特征信息进行降维处理，得到多个第一特征向量，多个第一特征信息与多个第一特征向量一一对应。然后，对多个第一特征向量进行编码，获得多个第二特征向量。然后，根据多个第二特征向量生成第三特征向量，第三特征向量包括多个第二特征向量加权求和得到的特征信息。对第三特征向量进行升维处理，获得第三特征信息。

可选的，编码单元具体用于：根据编码确定多个第一特征向量之间的关联信息，根据该关联信息与多个第一特征向量确定多个第二特征向量。

可选的，提取单元具体用于：以多个第一特征信息为卷积核对第二特征信息进行特征提取，获得多个第四特征信息,多个第四特征信息与多个第一特征信息一一对应。然后，将多个第四特征信息输入预设的区域生成网络RPN，获得初始待检测特征图。对初始待检测特征图进行特征提取，生成待检测特征图。

可选的，识别单元具体用于：对待检测特征图及第三特征信息分别进行池化处理，将池化处理后的待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行全连接操作，获得第一分类结果及第一回归结果。以第三特征信息为卷积核对待检测特征图进行特征提取，对特征提取的结果进行全连接操作，获得第二分类结果及第二回归结果。对待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行特征提取，获得第三分类结果及第三回归结果。根据该第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定待检测图像的目标。

可选的，识别单元具体用于：通过第一分类结果、第二分类结果、第三分类结果加权求和得到待检测目标的分类结果。通过第一回归结果、第二回归结果及第三回归结果加权求和得到待检测目标的回归结果。

可选的，提取单元具体用于：将初始待检测框图通过残差块进行特征提取，对特征提取的结果进行兴趣区域对齐操作，获得待检测框图。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括至少一个处理器以及与至少一个处理器通信连接的存储器。其中，存储器存储有被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序指令，该计算机程序指令用于执行上述第一方面中任一项所述的方法。

第五方面，本申请实施例还提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述如第一方面的方法以及各个可选项所述的步骤。

第六方面，本申请实施例还提供一种芯片，该芯片包括处理器和接口，所述接口用于与所述处理器通信以及接收来自其他设备的信息；所述处理器用于执行上述第一方面以及第一方面的任一可能实现方式中所述的方法。

附图说明

图1为本申请实施例提供的一种特征提取过程的示意图；

图2为本申请实施例提供的一种特征信息的示意图；

图3为本申请实施例提供的基于小样本学习的目标检测方法的流程示意图；

图4为本申请实施例提供的另一种特征提取过程的示意图；

图5为本申请实施例提供的另一种特征提取过程的示意图；

图6为本申请实施例提供的目标检测装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

本申请实施例涉及目标检测，通过目标检测模型对待检测图像进行特征提取，对所提取的特征进行分析，得到待检测图像中各个特征的分类概率分布，以确定最终的目标检测结果。

为了获得较为准确的目标检测结果，通常采用大量的数据集作为训练集，因此训练模型用时较长，模型训练效率较低。当训练集中未出现过的目标类型对应的数据较少时，基于该训练集获得的模型识别待检测目标的准确性也较低。基于此，提出基于小样本学习对神经网络模型进行训练。小样本学习无需大量数据集作为训练集，自然无需进行大量数据的采集以及存储工作等处理，可以节约训练时长。小样本学习指的是以少量样本图像的支持图像集作为训练集，可应用于样本数量较少的场景，模型训练的效率更高。然而目前小样本学习的目标检测算法识别待检测目标时存在严重的过拟合现象，目标检测的精确度较低。

鉴于此，本申请实施例提供了一种基于小样本学习的目标检测方法，该方法通过支持图像集中多个样本图像之间的关联信息对待检测目标进行识别，可提高目标检测的准确率。

下面介绍本申请实施例提供的技术方案。为方便理解，首先本申请实施例涉及的几种神经网络模型。

1)前馈神经网络(feedforward neural network，FFN)，是一种结构简单的人工神经网络。前馈神经网络包括至少两个神经网络层，每个神经网络层包含若干个神经元。在前馈神经网络中信息只沿一个方向进行传递。

2)卷积神经网络(convolutional neural network，CNN)，是一种带有卷积结构的前馈神经网络。卷积神经网络包括卷积层、池化层、全连接层等网络层。待检测的图像经过多个卷积层、池化层、全连接层等一系列处理，最终输出待检测目标的识别结果。卷积层通常包括若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。一个特征平面的神经单元使用同一卷积核对输入图像进行处理，卷积核中包括各个神经单元共享的权重，也就是说一个特征平面的神经单元共享权重进行特征提取。各个神经单元共享权重使得在对输入图像进行特征提取时与特征的位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。此外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

3)区域生成网络(region proposal networks，RPN，用于在输入的图像中生成多个用于指定待检测目标所在位置的候选区域proposals，候选区域proposals用于对待检测目标进行定位，便于后续对该候选区域内的目标进行识别。在输入图像经区域生成网路RPN生成多个候选区域proposals之后，多个候选区域proposals之间大小不等，因此可以采用兴趣区域对齐ROI Align操作对候选区域进行修正，使得最终生成的多个候选区域proposals具有相同的大小，且该大小由区域生成网路RPN预设的参数给定。

首先构建基于小样本学习的目标检测模型。在本申请实施例中，作为训练集的数据集(记为Base dataset)包括多个带标签的数据(简称为标签数据)。标签数据可以是公共数据集中的数据，也可以是历史数据集中的数据。为了保证目标检测模型可以识别更多类型的目标，标签数据也可以包括尽量多的标签，例如标签数据包括是支持图像集(记为Support Set)中的数据以及查询集(Query Set)中的数据。应理解，查询集指的是上传到服务器的数据集，可以通过查询服务器来获得。Support Set包括多种类型(例如N类)的数据，每一类数据包括多张(例如K张)图像。

以CNN为例，在构建基于小样本学习的目标检测模型时，可以将Support Set和Query Set作为输入，输入CNN模型进行特征提取。以Support Set包含K张待检测目标图像为例，对Support Set进行特征提取，可获得K个维度为C*H*W的特征，即Support Set的特征图(记为Fs)。同理，对Query Set进行特征提取，获得Query Set的特征图(记为Fq)。后续对Fs、Fq进行互相关操作，得到互相关的结果Fc。具体来讲，将Fs作为卷积核，对Fq进行卷积操作，得到Fc。之后，将Fc输入RPN网络生成候选框proposals。

为了更好地利用数据之间的关联关系，得到更为准确的目标检测模型，在本申请实施例中，可以对Support Set进行类内关系提取以及特征加权。沿用上述的例子，对Fs进行维度变换以及reshape操作，得到K个特征维度为d的特征。将这K个d维特征组成特征序列S(即S的特征维度为K*d)，并将S输入Transformer编码器进行编码，获得的特征(记为S_T，维度是K*d)可以表征这K个d维特征之间的相似关系。由于K个Support图像对检测的影响可能不同，S_T也表征了这K个d维特征相互之间的影响关系。本申请实施例建立基于小样本的目标检测模型时，基于Fs计算S_T，可以使得所建立的目标检测模型更大限度地利用输入的K个Support图像的信息，从而提高目标检测的准确度。

进一步地，本申请实施例还可以对K个Support图像信息进行特征融合，以尽量挖掘K个Support图像更多的特征信息，以便提升对通用目标的检测能力。特征加权融合的结果(维度为1*d)reshape操作，获得特征1×C_s′×H_s′×W_s′，记为S_F。

如上介绍了如何构建基于小样本学习的目标检测模型。获得目标检测模型之后，可以对该目标检测模型进行测试。本申请实施例采用较少标签的待检测数据(记为Noveldataset)对目标检测模型进行测试。其中，Novel dataset包括较少标签的待检测数据，所含目标类型是训练集中不存在的目标类型。换句话说，Base dataset待检测数据，dataset＝空集。Novel dataset同样也包含Support Set以及Query Set。通过这种方法，即便在数据标签较少的情况下也可以实现较好的目标识别能力。对目标检测模型测试完成后，基于该目标检测模型进行目标检测，也就是目标识别。

为方便理解，首先介绍目标检测过程的相关概念。

请参见图1，示出了卷积神经网络中采用卷积核对待检测图像进行特征提取的过程。待检测图像中包括形状类似“X”的待检测目标，待检测图像的尺寸大小为C*H*W。采用大小为C′*H′*W′的卷积核对该待检测图像中的“\”特征进行特征提取，通过一次特征提取获得的特征信息，大小记为C ″*H ″*W″。该特征信息中就包括待检测目标中“\”特征的信息。

大小为C ″*H ″*W″的特征信息，如图2所示。该特征信息包括通道维度C、高维度H、宽维度W这三个维度的数值信息。其中，通道维度C表示待检测图像的层数。当待检测图像具有R、G、B三个通道的信息时，待检测图像的层数(通道维度C)为3。在高维度H以及宽维度W，待检测图像的信息是以数值呈现，这些数值表示图像的灰度值。可以理解的是，图像识别的过程就是对这些数值进行运算，得到概率分布，从概率分布情况可得出最终的分类结果。在卷积神经网络中，进行一次特征提取并不能实现对待检测目标的识别，往往需要进行多轮的特征提取，以确保卷积神经网络最终的分类更加准确。

本申请实施例在传统卷积神经网络的基础之上，提出了一种基于小样本学习的目标检测方法。

请参见图3，为本申请实施例提供的基于小样本学习的目标检测方法的流程示意图。该方法可由具有处理能力的电子设备，例如个人电脑执行。本申请实施例对采用何种神经网络不作限制，例如FNN、CNN等。图3所示的流程以采用CNN为例。

S301、电子设备采用卷积神经网络CNN对支持图像集和待检测图像进行特征提取，获得支持图像集的多个第一特征信息和待检测图像的第二特征信息。

待检测图像包括待检测目标，对待检测图像进行特征提取就是提取待检测目标的特征。支持图像集为包括多个样本图像的图像集，这多个样本图像包括的目标的类型与待检测目标的类型相同。举例来说，待检测目标为一种树木，待检测图像为一片森林，支持图像集中的多个样本图像就是该种树木的多个样本图像。对支持图像集进行特征提取，也就是提取多个样本图像中待检测目标的特征。本申请实施例不限制支持图像集所包括的样本图像的数量，支持图像集中的样本图像数量可以是一个，也可以是多个。小样本学习运用支持图像集进行待检测目标的识别，相较于传统卷积神经网络模型来说，在训练集相对较少的情况下，还能保证待检测目标识别的准确率。

例如，假设支持图像集中包括K个样本图像，如图4所示。电子设备采用权值共享的CNN对支持图像集和待检测图像分别进行特征提取。为方便描述，本申请实施例将对一个样本图像进行特征提取后获得的特征信息，称为第一特征信息(记为Fs)，其维度为C_s’*H_s’*W_s’。则K个样本图像对应K个第一特征信息Fs。电子设备对待检测图像进行特征提取后获得的特征信息，称为第二特征信息，可以将第二特征信息(记为Fq)，其维度为C_q’*H_q’*W_q’。

S302、电子设备基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图。

参见图5，电子设备基于K个第一特征信息对第二特征信息进行特征提取，进一步提取第二特征信息中关于待检测目标的特征信息。电子设备可以以K个第一特征信息为卷积核对待检测图像的第二特征信息进行卷积操作，生成K个第四特征信息,每个第四特征信息与第一特征信息一一对应。将K个第一特征信息为卷积核对待检测图像的第二特征信息进行卷积操作的过程，可以理解为将K个第一特征信息与第二特征信息进行互相关。由于是基于多个样本图像的第一特征信息对待检测图像的第二特征信息进行的特征提取，样本图像的类型又与待检测图像中的待检测目标的类型相同，则生成的第四特征信息中进一步凸显出待检测目标的特征。

电子设备将K个第四特征信息输入预设的区域生成网络RPN,获得初始的待检测框图。需要说明的是，经区域生成网络RPN生成的初始待检测框图的数量、大小根据区域生成网络RPN的预设参数确定，即生成的初始待检测框图的数目可以是一个也可以是多个，各个初始待检测框图的大小也不相同。经RPN网络生成的N个初始待检测框图同样也包括待检测目标的特征信息，但N个初始待检测框图的特征提取还不充分，直接根据N个初始待检测框图直接进行池化、全连接得到的识别结果可能不准确，因此还需要对N个初始待检测框图进行进一步特征提取。

具体的，电子设备将N个初始待检测框图经过残差块做进一步的特征提取，经过特征提取后的N个待检测框图的大小可能不一致，因此可在特征提取后对N个待检测框图进行兴趣区域对齐ROI Align操作，得到N个大小一致的待检测框图，记为Q_F。

S303、电子设备根据多个第一特征信息各自的特征向量生成第三特征信息，特征向量用于指示多个样本图像间的相关关系。

由于多个样本图像的类型与待检测图像中的待检测目标的类型相同，经过预设的卷积神经网络CNN提取得到的K个第一特征信息之间具有一定的相关关系。将表征相关关系的这部分信息应用于待检测目标的识别，会显著提升待检测目标识别的准确率。

第一特征信息包括大小为C_s’*H_s’*W_s’这三个维度的数值信息。电子设备对K个第一特征信息进行降维处理，得到与K个第一特征信息一一对应的K个第一特征向量。例如，经降维处理的获得第一特征向量可以表示为[a1,a2,a3……an],即将第一特征信息中的三个维度的数值信息依次填充进一个二维序列，实现第一特征信息的降维，并以同样的方式得到K个第一特征向量[a1,a2,a3……an]。

由于K个第一特征向量都是根据K个第一特征信息得到的，因此K个第一特征向量中也包括K个样本图像的特征信息，K个第一特征向量之间存在关联，可以将K个第一特征向量中表征样本图像相同特征之间关联的信息称为关联信息。电子设备对K个第一特征向量[a1,a2,a3……an]进行编码，以提取K个第一特征向量之间的关联信息。

电子设备可以采用transformer编码器对K个第一特征向量[a1,a2,a3……an]进行编码，当然编码方式可以有多种，只要能够提取关联信息即可。电子设备将K个第一特征向量[a1,a2,a3……an]输入transformer编码器后，首先生成特征矩阵

特征矩阵S的每一行对应一个第一特征向量。然后，电子设备根据预设的位置编码向量PE、可学习矩阵W_q、W_k、W_v，根据以下公式(1)计算得到关联信息G：

Q＝(S+PE)W_q

K＝(S+PE)W_k

V＝(S+PE)W_v

其中，位置编码向量PE的具体形式如下PE_(pos,2i)＝sin(pos/10000^2i/d)，PE_(pos,2i+1)＝cos(pos/10000^2i/d),可学习矩阵W_q、W_k、W_v可以根据关联信息的提取情况进行调整，以在模型训练过程中找到提取关联信息效果最佳的一组可学习矩阵W_q、W_k、W_v。矩阵Q、K、V的维度和特征矩阵S的维度一致，softmax函数可将输入转换为概率分布，因此将Q矩阵点乘K矩阵的转置可计算特征相似性，然后将点乘结果输入softmax函数，获得的得到关联信息G即可以表征特征矩阵S中K个第一特征向量之间的关联信息关联关系。

然后，电子设备将关联信息G与经K个第一特征向量生成的矩阵V相乘，得到矩阵Z，相当于将提取得到的关联信息G赋予每个第一特征向量。然后将矩阵Z输入预设的前馈神经网络FFN，得到特征矩阵S_T。S_T满足式(2)：

Z＝GV

S_T＝FFN(Z) (2)

得到的特征矩阵S_T形式与特征矩阵S相同，因此特征矩阵S_T可表示K个第二特征向量，K个第二特征向量中的每个第二特征向量都包含了其他第二特征向量的响应值。

得到K个第二特征向量后，电子设备根据预设的K个学习权重系数ζ1、ζ2、ζ3……ζk，对每个第二特征向量配置学习权重系数ζ，进行加权求和，得到一个第三特征向量。第三特征向量可用[b1,b2,b3……bn]表示。然后，电子设备根据第三特征信息进行升维处理，得到第三特征信息，可将第三特征信息记为S_F，其大小为C_s*H_s*W_s。

S304、电子设备基于待检测特征图及第三特征信息确定待检测图像中的待检测目标。

一个待检测特征图的维度为C_Q*H_Q*W_Q,则N个待检测特征图Q_F的维度为N*C_Q*H_Q*W_Q。第三特征信息S_F的大小为C_s*H_s*W_s。由于待检测特征图的大小是由区域生成网络RPN的预设参数确定，因此可设定参数使得待检测特征图Q_F和S_F在通道维度C、高维度H、宽维度W的大小一致。

在本申请实施例中，将特征提取后的Q_F和S_F分别输入第一分支、第二分支及第三分支获得目标检测的结果。这三个分支可以为全局分支、局部分支及深度语义分支。三个不同的分支用于进行不同层次的特征提取，每个分支都输出分类结果及回归结果，将三个分支的分类结果及回归结果结合在一起，可以确定待检测目标的最终分类结果及回归结果，使得最终结果更加准确。三种不同的分支在特征提取时不存在先后顺序，也可以将三种分支进行任意形式的组合，只要能实现这三种分支的分类及回归的效果即可。

电子设备通过第一分支获得第一分类结果及第一回归结果。电子设备将N个待检测特征图Q_F及第三特征信息S_F分别进行池化处理，获得池化后的N个待检测特征图Q_F，其维度信息为N*C_Q*1*1，获得池化后的第三特征信息S_F，其维度信息为C_s*1*1。然后，电子设备将池化后的N个待检测特征图Q_F与池化后的第三特征信息S_F在通道维度C进行拼接，拼接后的特征图的维度信息即为N*(C_Q+C_s)*1*1，然后对拼接后的特征图进行全连接操作，得到第一分类结果及第一回归结果。第一分类结果的维度信息为N*2，第一回归结果的维度信息为N*4。

电子设备通过第二分支获得第二分类结果及第二回归结果。电子设备以第三特征信息S_F为卷积核对N个待检测特征图Q_F进行卷积操作，使得待检测特征图Q_F在通道维度C、高维度H、宽维度W的大小都为1，即获得维度信息为N*1*1*1的特征图，然后将该特征图进行全连接操作，得到第二分类结果及第二回归结果。同样，第二分类结果的维度信息为N*2，第二回归结果的维度信息为N*4。

电子设备通过第三分支获得第三分类结果及第三回归结果。电子设备将N个待检测特征图Q_F及第三特征信息S_F在通道维度C进行拼接，获得拼接后的特征图，其维度信息为N*(C_Q+C_s)*(H_Q)*(W_Q)或N*(C_Q+C_s)*(H_s)*(W_s)，对拼接后的特征图采用预设的卷积神经网络进行特征提取，使得该特征图的维度信息变为N*(C_Q+C_s)*1*1，然后进行全连接操作，得到第三分类结果及第三回归结果。第三分类结果的维度信息为N*2，第三回归结果的维度信息为N*4。

电子设备根据设置的分类加权系数α1、α2、α3第一分类结果、第二分类结果及第三分类结果进行加权求和，获得待检测目标最终的分类结果。同样地，电子设备根据设置的回归加权系数β1、β2、β3第一回归结果、第二回归结果及第三回归结果进行加权求和，获得待检测目标最终的回归结果。

在本申请实施例中，通过设置分类加权系数及回归加权系数对不同的分类结果及回归结果进行加权，分类加权系数及回归加权系数可以在模型训练过程中不断调整，以根据训练数据确定模型最佳的分类加权系数及回归加权系数，以获得更对准确的分类结果。

本申请实施例还可以将前述目标检测方法的分类结果的损失loss(cls_loss)及回归结果的损失loss(reg_loss)分别配置可学习权重系数α、β，然后加权求和得到模型识别待检测目标最终的损失total_loss，total_loss满足如下公式：

total_loss＝α*cls_loss+β*reg_loss

其中，cls_loss采用二分类交叉熵损失，而reg_loss采用smooth L1损失，可学习权重系数α、β指示分类结果损失与回归结果损失的比重。α、β的取值可在模型训练过程中根据实际情况调整。得到最终损失total_loss后，进行反向传播更新模型参数，最终通过不断训练提升模型识别待检测目标的准确率。

请参见图6，基于同一发明构思，本申请实施例还提供了一种目标检测装置600。该目标检测装置600包括提取单元601、编码单元602及识别单元603。其中，提取单元601用于采用预设的神经网络对支持图像集和待检测图像进行特征提取，获得支持图像集的多个第一特征信息和待检测图像的第二特征信息。其中，待检测图像中包括待检测目标，支持图像集包括多个样本图样，每个样本图像中的目标的类型与待检测目标的类型相同，一个样本图像与一个第一特征信息对应，不同样本图像对应的第一特征信息不同。提取单元601还用于基于多个第一特征信息对第二特征信息进行特征提取，获得待检测特征图。编码单元602用于根据多个第一特征信息各自的特征向量生成第三特征信息，特征向量用于指示多个样本图像间的相关关系。识别单元603用于基于待检测特征图及第三特征信息确定待检测图像中的待检测目标。

可选的，编码单元602具体用于：对多个第一特征信息进行降维处理，得到多个第一特征向量，多个第一特征信息与多个第一特征向量一一对应。然后，对多个第一特征向量进行编码，获得多个第二特征向量。然后，根据多个第二特征向量生成第三特征向量，第三特征向量包括多个第二特征向量加权求和得到的特征信息。对第三特征向量进行升维处理，获得第三特征信息。

可选的，编码单元602具体用于：根据编码确定多个第一特征向量之间的关联信息，根据该关联信息与多个第一特征向量确定多个第二特征向量。

可选的，提取单元601具体用于：以多个第一特征信息为卷积核对第二特征信息进行特征提取，获得多个第四特征信息,多个第四特征信息与多个第一特征信息一一对应。然后，将多个第四特征信息输入预设的区域生成网络RPN，获得初始待检测特征图。对初始待检测特征图进行特征提取，生成待检测特征图。

可选的，识别单元603具体用于：对待检测特征图及第三特征信息分别进行池化处理，将池化处理后的待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行全连接操作，获得第一分类结果及第一回归结果。以第三特征信息为卷积核对待检测特征图进行特征提取，对特征提取的结果进行全连接操作，获得第二分类结果及第二回归结果。对待检测特征图及第三特征信息在通道维度进行拼接，对拼接后的特征图进行特征提取，获得第三分类结果及第三回归结果。根据该第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定待检测图像的目标。

可选的，识别单元603具体用于：通过第一分类结果、第二分类结果、第三分类结果加权求和得到待检测目标的分类结果。通过第一回归结果、第二回归结果及第三回归结果加权求和得到待检测目标的回归结果。

可选的，提取单元601具体用于：将初始待检测框图通过残差块进行特征提取，对特征提取的结果进行兴趣区域对齐操作，获得待检测框图。

请参见图7，基于同一发明构思，本申请实施例提供了一种电子设备700，该电子设备包括：至少一个处理器701、至少一个存储器702以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如前述的道闸电机驱动方法。

可选的，处理器701具体可以是中央处理器、特定应用集成电路(英文：Application Specific Integrated Circuit,简称：ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(英文：Field Programmable GateArray,简称：FPGA)开发的硬件电路，可以是基带处理器。

可选的，该读写锁操作设备还包括与至少一个处理器701连接的存储器702，存储器702可以包括只读存储器(英文：Read Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)和磁盘存储器。存储器702用于存储处理器701运行时所需的数据。存储器702的数量为一个或多个。其中，存储器702在图7中一并示出，但需要知道的是存储器702不是必选的功能模块，因此在图7中以虚线示出。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的道闸电机驱动方法。

在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash disk)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于小样本学习的目标检测方法，其特征在于，包括：

采用神经网络对支持图像集和待检测图像进行特征提取，获得所述支持图像集的多个第一特征信息和所述待检测图像的第二特征信息，其中，所述待检测图像中包括待检测目标，所述支持图像集包括多个样本图样，每个所述样本图像中的目标的类型与所述待检测目标的类型相同，一个所述样本图像与一个所述第一特征信息对应，不同所述样本图像对应的所述第一特征信息不同；

基于所述多个第一特征信息对所述第二特征信息进行特征提取，获得待检测特征图；

根据所述多个第一特征信息各自的特征向量生成第三特征信息，所述特征向量用于指示所述多个样本图像间的相关关系；

基于所述待检测特征图及所述第三特征信息确定所述待检测图像中的所述待检测目标。

2.如权利要求1所述的方法，其特征在于，所述第一特征信息包括三个维度上的特征信息，根据所述多个第一特征信息各自的特征向量生成第三特征信息，包括：

对所述多个第一特征信息进行降维处理，得到多个第一特征向量，所述多个第一特征信息与所述多个第一特征向量一一对应；

对所述多个第一特征向量进行编码，获得多个第二特征向量；

根据所述多个第二特征向量生成第三特征向量，所述第三特征向量包括所述多个第二特征向量加权求和得到的特征信息；

对所述第三特征向量进行升维处理，获得所述第三特征信息。

3.如权利要求2所述的方法，其特征在于，对所述多个第一特征向量进行编码，获得多个第二特征向量，包括：

根据编码确定所述多个第一特征向量之间的关联信息；

根据所述关联信息与所述多个第一特征向量确定所述多个第二特征向量。

4.如权利要求1所述的方法，其特征在于，基于所述多个第一特征信息对所述第二特征信息进行特征提取，获得待检测特征图，包括：

以所述多个第一特征信息为卷积核对所述第二特征信息进行特征提取，获得多个第四特征信息,所述多个第四特征信息与所述多个第一特征信息一一对应；

将所述多个第四特征信息输入预设的区域生成网络RPN，获得初始待检测特征图；

对所述初始待检测特征图进行特征提取，生成所述待检测特征图。

5.如权利要求1所述的方法，其特征在于，所述待检测特征图及所述第三特征信息包括通道维度的信息，基于所述待检测特征图及所述第三特征图确定所述待检测图像的目标，包括：

对所述待检测特征图及所述第三特征信息分别进行池化处理，将池化处理后的所述待检测特征图及所述第三特征信息在所述通道维度进行拼接，对拼接后的特征图进行全连接操作，获得第一分类结果及第一回归结果；

以所述第三特征信息为卷积核对所述待检测特征图进行特征提取，对特征提取的结果进行全连接操作，获得第二分类结果及第二回归结果；

对所述待检测特征图及所述第三特征信息在所述通道维度进行拼接，对拼接后的特征图进行特征提取，获得第三分类结果及第三回归结果；

根据所述第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定所述待检测图像的目标。

6.如权利要求5所述的方法，其特征在于，根据所述第一分类结果、第二分类结果、第三分类结果及第一回归结果、第二回归结果及第三回归结果确定所述待检测图像的目标，包括：

通过所述第一分类结果、第二分类结果、第三分类结果加权求和得到所述待检测目标的分类结果；

通过所述第一回归结果、第二回归结果及第三回归结果加权求和得到所述待检测目标的回归结果。

7.如权利要求4所述的方法，其特征在于，根据所述初始待检测框图生成所述待检测框图，包括：

将所述初始待检测框图通过残差块进行特征提取，对特征提取的结果进行兴趣区域对齐操作，获得所述待检测框图。

8.一种目标检测装置，其特征在于，包括：

提取单元，用于采用神经网络对支持图像集和待检测图像进行特征提取，获得所述支持图像集的多个第一特征信息和所述待检测图像的第二特征信息，其中，所述待检测图像中包括待检测目标，所述支持图像集包括多个样本图样，每个所述样本图像中的目标的类型与所述待检测目标的类型相同，一个所述样本图像与一个所述第一特征信息对应，不同所述样本图像对应的所述第一特征信息不同；

所述提取单元，还用于基于所述多个第一特征信息对所述第二特征信息进行特征提取，获得待检测特征图；

编码单元，用于根据所述多个第一特征信息各自的特征向量生成第三特征信息，所述特征向量用于指示所述多个样本图像间的相关关系；

识别单元，用于基于所述待检测特征图及所述第三特征信息确定所述待检测图像中的所述待检测目标。

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7任一项所述的方法。

Images