CN113240039A - 基于空间位置特征重加权的小样本目标检测方法及系统 - Google Patents

Abstract

本发明公开了基于空间位置特征重加权的小样本目标检测方法及系统，按照基类和新类构造支持集和查询集样本；构造基于目标完整性的特征融合模块；构造基于空间位置信息的特征调整模块；使用两阶段的训练方式对整个网络进行训练，该网络包括特征提取器、基于目标完整性的特征融合模块、元学习器、基于空间位置信息的特征调整模块和检测层；在基类训练阶段，使用基类构造的支持集和查询样本训练；在小样本微调阶段，使用基类和新类构造的平衡数据集训练；输入新类的测试和支持集图像，得到检测结果；本发明利用多个浅层特征并维持目标结构的完整性，同时，通过生成包含空间位置信息的元特征，对查询样本特征进行空间维度的调整，提高目标检测效果。

Description

基于空间位置特征重加权的小样本目标检测方法及系统

技术领域

本发明属于计算机视觉技术领域，具体涉及基于空间位置特征重加权的小样本目标检测方法及系统。

背景技术

近几年，由于计算机硬件的快速发展，以及ImageNet等大规模带标签数据集的出现，人工智能得到了巨大的发展，使其在许多领域都超过了人类。但是，想要让人工智能像人类一样能够利用少量样本学习到新的知识并用于解决实际问题，仍然面临着许多问题与挑战。

深度学习作为一项数据驱动的技术，一般依赖于大量的训练数据才能使模型获得良好的结果。但在现实世界的真实场景中，收集大量的数据并进行相应的标注需要消耗专业人员大量的精力和时间，甚至在某些特殊的应用领域，例如罕见或重大疾病以及违禁物品的识别与检测等，标签的获取和制作过程都较困难。因此，让深度学习模型具有从少量样本中快速学习的能力成为国内外学者开始专注研究的问题，这一类问题被称为小样本学习。

目前，小样本学习方法的应用领域广泛，但基于小样本学习的目标检测领域的相关研究较少。目标检测是计算机视觉领域一个经典的任务，如何把经典的目标检测方法与小样本场景相结合也是一个研究的热点。随着小样本目标检测相关研究的深入，能够在数据匮乏的场景下解决目标检测问题，同时降低对数据的依赖，促进人工智能项目的落地，因此研究小样本场景下的目标检测任务具有一定的科研价值和实用价值。

早期，人们通过扩充样本数量来解决小样本目标检测的问题。由于原始数据集中的样本数量较少，样本的可扩充空间有限且生成的样本或特征过于相似，导致利用扩充后的数据集对模型进行训练后，模型的提升效果并不高。所以，现在更多地从学习策略出发，通过修改原始目标检测模型的结构，更多地利用少量有标签样本和待检测样本自身的信息。

目前的小样本目标检测方法主要是将小样本学习方法与成熟的目标检测框架相结合。具体可分为两种，第一种是使用度量学习的小样本学习方法，通过计算输入特征与其它类别特征之间的距离，判断输入图片所属类别，以此训练一个模块最为目标检测模型的分类头，从而实现小样本目标检测效果。第二种是使用元学习的小样本学习方法，通过在原始目标检测模型的基础上添加一个元学习器学习支持集样本的特征，并用该特征调整待检测样本的特征，然后对调整后的特征进行检测。第二种方法中的基于特征重加权的小样本目标检测方法(FODFR)，仅对查询样本特征进行通道维度的调整，忽略了空间信息对目标检测任务的重要性，且FODFR的原始目标检测框架的细粒度检测方法不适用于小样本目标检测场景。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供基于空间位置特征重加权的小样本目标检测方法及系统，解决了现有的基于元学习的小样本目标检测方法中，仅对查询样本的特征进行通道维度的调整，忽略目标物体的空间信息对检测的重要性，以及该目标检测框破坏了浅层特征中目标完整性的问题。

基于空间位置特征重加权的小样本目标检测方法，包括以下步骤：

S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

S2、根据步骤S1得到的查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；

S3、根据步骤S2得到的查询样本特征，利用从步骤S1支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；

S4、根据步骤S3得到的查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；

S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

具体的，步骤S1中，查询样本表示为

支持集样本表示为

C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，

为第i个类别的查询样本,

为第i个类别中的第j个支持集样本。

具体的，步骤S2中，特征融合模块位于查询样本特征提取器之后，最下层包括2个1×1和2个3×3的卷积层、一个批归一化层和一个Leaky ReLU激活函数，中间层包括1个1×1的卷积层和1个3×3的卷积层、一个批归一化层和一个Leaky ReLU激活函数，最上一层不做任何操作，将三层输出拼接后，紧接一个3×3卷积层和一个最大池化层。

具体的，步骤S2中，融合方法具体为：

利用特征提取器的多个浅层特征，增加深层特征中包含的浅层信息量；根据得到的浅层特征信息进行融合。

进一步的，增加深层特征中包含的浅层信息量具体为：

选取特征提取器中最大池化操作前的三个不同尺度的浅层特征，最大、中等以及最小特征尺寸分别为104×104×128、52×52×256、26×26×512；将104×104×128、52×52×256、26×26×512三种尺寸的浅层特征分别输入到基于目标完整性的特征融合模块的最下层、中间层以及上层进行相应的处理。

进一步的，浅层特征信息进行融合具体为：

将三个分支的输出的浅层特征进行通道维度的拼接，然后输入到卷积层和最大池化层中，得到目标结构完整的多个浅层特征信息，最后与深层特征进行相加，得到融合浅层信息的查询样本特征。

具体的，步骤S4中，特征调整模块位于元学习器之后，包括一个平均池化层、一个最大池化层，一个3×3的卷积层、一个BN层和Leaky ReLU激活函数层。

具体的，步骤S4中，利用支持集样本元特征对查询样本特征求内积具体为：

S401、将支持集的样本S输入到元学习器中，选取元学习器中全局最大池化层之前的样本元特征

作为模块的输入，对于每个类别的支持集样本元特征进行处理；

S402、将步骤S401处理后的支持集样本元特征进行通道维度的拼接，然后通过3×3的卷积进行通道维度的融合，最后经过BN层和Leaky ReLU激活函数层得到包含空间位置信息的支持集样本元特征

S403、求出C个类别的包含空间位置信息的支持集样本的元特征

利用该元特征与对应类别的查询样本特征{F₁,F₂,…,F_i,…,F_C}求内积，得到经过通道维度和空间维度调整的查询样本特征

进一步的，步骤S401中，对于每个类别的支持集样本元特征进行处理具体为：

第i个类别的元特征

表示对

进行通道维度的平均池化操作，

表示对

进行通道维度的最大池化操作。

本发明的另一技术方案是，一种小样本目标检测系统，包括：

划分模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

融合模块，根据划分模块得到的查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；

调整模块，根据融合模块得到的查询样本特征，利用从支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；

计算模块，根据调整模块得到的查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；

检测模块，根据计算模块得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

与现有技术相比，本发明至少具有以下有益效果：

本发明提供的基于空间位置特征重加权的小样本目标检测方法，相较于原始的基于特征重加权的小样本目标检测方法在提取包含浅层特征信息的查询样本特征时，造成浅层特征中目标完整性遭到破坏不利于小样本场景下的学习过程，利用多个浅层特征使得深层特征中包含更丰富的浅层信息，然后利用卷积池化操作来改变浅层特征的尺寸，最后融入到深层特征中，从而维持了浅层特征中目标的完整性。相较于原始的基于特征重加权的小样本目标检测方法在利用支持集样本信息调整查询样本中对检测有用的特征信息时，仅对查询样本特征进行通道维度的调整，忽略了空间信息对检测的重要性，通过获取包含空间位置信息的支持集样本的元特征，对经过通道维度调整后的查询样本进行空间维度的调整。本方法通过利用多个浅层特征信息并维持其中目标的完整性使得深层特征中保留更多浅层特征的信息，从而获得一个好的查询样本特征，并且利用包含空间位置信息的支持集样本的元特征对查询样本进行空间维度的调整，从而更充分地利用现有少量有标签样本的信息，从而提高了检测效果，且对小目标物体的定位和分类效果有了提升。

进一步的，为了增强模型在新类上的泛化性能，根据小样本学习旨在通过少量样本对新的类学习出有效的模型这一特性，模拟小样本学习场景，将包含大量丰富带标签的基类训练数据构造成查询样本和支持集样本的形式，通过支持集样本的知识推理出查询样本类别。

进一步的，由于池化操作会造成目标信息的丢失，不利于保留浅层特征的信息，因此使用DarkNet-19中池化操作之前的三个不同尺度的浅层特征进行融合，同时为了避免浅层特征干扰深层特征，使用1×1卷积将空间尺度较大的两个特征的通道数减半，减弱浅层特征的影响力，然后使用3×3的卷积增强浅层特征的表达能力并改变其空间尺寸大小，进行通道维度的拼接之后通过最大池化操作快速改变特征的尺寸，得到包含丰富浅层信息且目标结构完整的查询样本特征，从而提高新类中小目标的检测精度。

进一步的，基于特征重加权的小样本目标检测方法是将元学习的小样本学习方法与YOLOv2目标检测模型相结合的小样本目标检测方法，其中，YOLOv2模型通过融合浅层特征提高小目标的检测效果，但仅利用一层浅层信息进行融合，导致深层特征所保留的浅层信息太少，另外该模型将浅层特征在空间维度上直接切分，然后在通道维度上进行堆叠，以这种方式来改变浅层特征的尺寸，实现浅层特征与深层特征的融合。但这种方式不适合小样本学习方法的训练过程，因为仅有少量的训练样本，数据的多样性较低，上述融合方法将导致目标物体的结构被破坏，因此设置利用多层浅层特征且保持目标完整性的特征融合方法。

进一步的，不同尺寸的特征图对应的感受野不同，其表达的信息抽象程度也不同。浅层特征图的尺寸较大其感受野较小因此适合检测小目标，深层特征的特征图感受野大，适合检测大目标。随着卷积层则增加，特征图的尺寸变小，小目标的信息逐渐丢失，因此为了提升小目标的检测效果，在深层特征中增加浅层信息的含量。

进一步的，由于YOLOv2模型在融合浅层特征时，为了在尽可能保留浅层特征中信息的同时将其尺寸与深层特征尺寸进行统一，通过将浅层特征切块并在通道维度拼接的方式实现。这种方法不仅计算复杂度高且破坏目标的结构完整性，不适用于少量样本的学习过程。通过卷积操作可以快速聚合多个浅层特征的信息，且最大池化操作利用少量计算改变特征的尺寸且不破坏目标结构的完整性，使得新类目标的检测效果得到提升。

进一步的，基于特征重加权的小样本目标检测方法种，仅利用支持集样本的元特征对查询样本特征进行通道维度的调整，突出不同通道维度特征的重要性。目标检测任务包含分类和定位两个子任务，分类任务更多地关注于目标显著区域的特征，定位任务则更多地关注于目标的边缘特征，因此空间特征对目标检测的不同子任务均有重要作用，因此从空间维度对特征进行调整的角度出发，利用支持集图片的空间位置信息来调整查询图片的空间维度特征，提高检测效果。

进一步的，将获得的包含空间位置信息的支持集样本元特征作为空间维度的特征重加权向量，赋予查询样本空间特征不同的注意力，从而突出对检测有用的特征。

进一步的，原始方法中在对查询样本进行通道维度特征调整时，直接利用元学习器中全局最大池化之后1×1×1024大小的样本元特征作为特征重加权向量进行通道维度的调整，为了对查询样本空间特征中的不同位置进行相应的调整，以最大尺寸操作之前的不同类别的元特征作为输入，并利用最大池化和平均池化分别提取元特征中不同位置的信息，从而更高效的利用支持集样本的知识。

综上所述，本发明通过保留目标结构完整性的浅层特征融合方法和基于空间位置信息的特征调整方法，丰富查询样本特征中的浅层信息，同时充分利用支持集样本的信息突出查询样本特征中重要特征，从而提高了新类的目标检测精度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现流程图；

图2为基于目标完整性的特征融合方法模块图；

图3为基于空间位置信息的特征调整方法模块图；

图4为本发明的小目标检测效果对比图；

图5为本发明的目标定位效果对比图；

图6为本发明的检测效果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了基于空间位置特征重加权的小样本目标检测方法，将目标检测数据集中的类别划分为基类和新类，并构造成支持集和查询集样本的形式；构造基于目标完整性的特征融合网络；构造基于空间位置信息的特征调整模块；使用两阶段的训练方式对整个网络进行训练，该网络包括特征提取器、基于目标完整性的特征融合网络、元学习器、基于空间位置信息的特征调整模块和检测层；在基类训练阶段，使用基类训练数据构造的支持集样本和查询样本进行训练；在小样本微调阶段，使用基类和新类构造的平衡数据构造的支持集样本和查询样本进行训练，其中基类和新类都仅有少量相同个数的带标签样本；输入新类的测试图像和新类的少量带标签样本的支持集图像，得到测试图像的检测结果；本发明利用多个浅层特征并维持其中目标结构的完整性，从而提高小目标的检测效果，同时，通过生成包含空间位置信息的元特征，对查询样本特征进行空间维度的调整，充分利用支持集样本信息，提高最终的目标检测效果。

请参阅图1，本发明基于空间位置特征重加权的小样本目标检测方法，包括以下步骤：

S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

查询样本表示为

支持集样本表示为

C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，

为第i个类别的查询样本,

为第i个类别中的第j个支持集样本。

S2、根据步骤S1得到的查询样本Q，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本的特征，表示为

w表示特征的长，h表示特征的宽，m表示特征的通道数；

请参阅图2，构造基于目标完整性的特征融合模块，特征融合模块位于查询样本特征提取器之后，主要由三个分支构成，最下层由2个1×1和2个3×3的卷积层、一个批归一化层(BN)、一个Leaky ReLU激活函数构成，中间层则以1个1×1和1个3×3的卷积层、一个批归一化层(BN)、一个Leaky ReLU激活函数构成构成，最上一层则不做任何操作，将三层输出拼接后，紧接一个3×3卷积层和一个最大池化层。

具体的融合方法是：

S201、利用特征提取器的多个浅层特征，增加深层特征中包含的浅层信息量：

S2011、选取特征提取器中最大池化操作前的三个不同尺度的浅层特征，最大、中等以及最小特征尺寸分别为104×104×128、52×52×256、26×26×512；

S2012、将步骤S2011中三种尺寸的浅层特征分别输入到基于目标完整性的特征融合模块的最下层、中间层以及上层进行相应的处理。

S202、根据步骤S201中得到的浅层特征信息进行融合：

将三个分支的输出的浅层特征进行通道维度的拼接，然后输入到卷积层和最大池化层中，得到目标结构完整的多个浅层特征信息，最后与深层特征进行相加，得到融合了丰富浅层信息的查询样本特征。

S3、根据步骤S2得到的查询样本特征，利用从支持集样本中得到的C个不同类别的元特征{w₁,w₂,…,w_i,…,w_C}与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征{F₁,F₂,…,F_i,…,F_C}；

其中，每一个类别的元特征表示为

经过w_i调整后的查询样本特征为

S4、根据步骤S3得到的查询样本特征{F₁,F₂,…,F_i,…,F_C}，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，表示为

利用该元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征

其中，

表示第i个类别的支持集样本的包含空间位置信息的元特征，经过

调整后的查询样本特征为

如图3所示；

请参考图2，构造基于空间位置信息的特征调整模块，特征调整模块位于元学习器之后，由一个平均池化层、一个最大池化层，一个3×3的卷积层、一个BN层和Leaky ReLU激活函数层构成。具体实现步骤为：

S401、将支持集的样本S输入到元学习器中，选取元学习器中全局最大池化层之前的样本元特征

作为该模块的输入，对于每个类别的支持集样本元特征进行处理，例如对第i个类别的元特征

表示对

进行通道维度的平均池化操作，

表示对

进行通道维度的最大池化操作。

S402、将

和

进行通道维度的拼接，然后通过3×3的卷积进行通道维度的融合，最后经过BN层和Leaky ReLU激活函数层得到包含空间位置信息的支持集样本元特征

S403、求出C个类别的包含空间位置信息的支持集样本的元特征

利用该元特征与对应类别的查询样本特征{F₁,F₂,…,F_i,…,F_C}求内积，得到经过通道维度和空间维度调整的查询样本特征

S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

本发明再一个实施例中，提供基于空间位置特征重加权的小样本目标检测系统，该系统能够用于实现上述小样本目标检测方法，具体的，该小样本目标检测系统包括划分模块、融合模块、调整模块、计算模块以及检测模块。

其中，划分模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

融合模块，根据划分模块得到的查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；

调整模块，根据融合模块得到的查询样本特征，利用从支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；

计算模块，根据调整模块得到的查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；

检测模块，根据计算模块得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于小样本目标检测方法的操作，包括：

将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；根据查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；根据查询样本特征，利用从支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；根据查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；根据查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关小样本目标检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；根据查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；根据查询样本特征，利用从支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；根据查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；根据查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的效果可通过以下仿真结果进一步说明。

1、仿真条件

本发明仿真的硬件条件为：4个8核的Intel至强E5-2650CPU，主频为2.4GHz，内存64GB，GPU为Nvidia TiTan X，GPU显存为12G；本发明仿真所使用的数据集为PASCAL VOC2007和2012数据集。

PASCAL VOC的训练数据集由VOC07+VOC12的训练验证集组成，总共有16551张训练图片，其测试数据集则由PASCAL VOC2007的测试集构成，总共4952张测试图片，整个PASCALVOC数据集共20个目标类别。我们选取数据集中的15类作为基类，剩下的5类作为新类，在基类训练阶段，仅使用基类数据以及它的标签信息，而在小样本微调阶段，使用训练集中一小部分数据构成一个类别平衡的数据集，该数据集由新类和基类类别样本构成，且这部分数据的每一个类别仅有K个带目标框的物体，K∈{1，2，3，5，10}。

2、仿真内容

用本发明方法在上述仿真条件下进行实验，在K＝10时，在新类测试样本上进行测试得到图4的小目标检测效果对比图；图5的目标定位效果对比图；图6是本发明的检测效果对比图。其中，从左到右依次是标签图像、基于特征重加权的小样本目标检测方法(FODFR)的检测结果图以及本发明方法的检测结果图，方框为目标框，框的上方显示目标的类别和置信度。图4中摩托车、牛以及鸟的尺寸都较小，对于这种较小尺寸的目标，FODFR算法虽然能检测出图像中的小目标，但置信度较低。本发明能准确定位小目标，并且置信度也有所提升，本发明相比于FODFR方法对小目标识别的效果有所提升，进一步说明了在深层特征中保留浅层特征信息时，维持浅层特征的目标完整性的重要性，同时也表明本发明的基于目标完整性的特征融合方法的有效性。

图5中第一行图像中目标的尺寸中等，第二行图像中目标的尺寸较大，FODFR算法虽然能准确地进行识别，但其定位效果都不理想，且置信度得分也较低，本发明在准确识别的情况下，定位结果更加准确且紧凑，且置信度得分也都有所提升，第三行图像中的目标物体仅有部分在图像中且尺寸较大，相比于前两行图像中的完整目标，第三行的图像目标物体的检测难度增大，FODFR算法对这种情况的定位效果较差，仅定位出目标的部分区域，本发明则能够定位出图像中该目标的全部区域。本发明对于FODFR算法对目标物体定位不够精确的情况有所改善，进一步说明在利用支持集样本的元特征对查询特征进行调整时，利用支持集样本的空间位置信息对查询特征进行空间特征调整的关键性，同时也表明本发明基于空间位置信息的特征调整方法的有效性。

图6中第一行的牛和第二行的鸟中目标物体密集且尺寸较小，第三行的摩托车中有一辆车处在光线较暗的位置且仅有仅有部分区域处在图片中。对于这种情况，FODFR算法出现了漏检的情况，且置信度较低，定位效果也不够理想。而相比于FODFR算法，本发明能提升对数量较多的小目标物体的定位和识别效果，同时减少漏检的情况。

从图4可以看出不仅提高了小目标的置信度分数同时改善了定位效果，从图5可以看出对于不同尺寸的目标，定位效果均有提升，从图6则可以看出明显减低了漏检的情况。在不同K值情况下与其方法的结果对比见表1。

表1

从表1的结果看本发明的方法取得了较好的检测效果。

综上所述，本发明基于空间位置特征重加权的小样本目标检测方法及系统，能够充分利用现有的少量带标签样本的信息，突出待检测样本中目标物体的空间特征，通过融合更多目标结构完整的浅层特征信息到待检测样本的深层特征中，提高小目标的检测效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于空间位置特征重加权的小样本目标检测方法，其特征在于，包括以下步骤：

S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

S2、根据步骤S1得到的查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；

S3、根据步骤S2得到的查询样本特征，利用从步骤S1支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；

S4、根据步骤S3得到的查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；

S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，查询样本表示为

支持集样本表示为

C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，

为第i个类别的查询样本,

为第i个类别中的第j个支持集样本。

3.根据权利要求1所述的方法，其特征在于，步骤S2中，特征融合模块位于查询样本特征提取器之后，最下层包括2个1×1和2个3×3的卷积层、一个批归一化层和一个LeakyReLU激活函数，中间层包括1个1×1的卷积层和1个3×3的卷积层、一个批归一化层和一个Leaky ReLU激活函数，最上一层不做任何操作，将三层输出拼接后，紧接一个3×3卷积层和一个最大池化层。

4.根据权利要求1所述的方法，其特征在于，步骤S2中，融合方法具体为：

利用特征提取器的多个浅层特征，增加深层特征中包含的浅层信息量；根据得到的浅层特征信息进行融合。

5.根据权利要求4所述的方法，其特征在于，增加深层特征中包含的浅层信息量具体为：

选取特征提取器中最大池化操作前的三个不同尺度的浅层特征，最大、中等以及最小特征尺寸分别为104×104×128、52×52×256、26×26×512；将104×104×128、52×52×256、26×26×512三种尺寸的浅层特征分别输入到基于目标完整性的特征融合模块的最下层、中间层以及上层进行相应的处理。

6.根据权利要求4所述的方法，其特征在于，浅层特征信息进行融合具体为：

将三个分支的输出的浅层特征进行通道维度的拼接，然后输入到卷积层和最大池化层中，得到目标结构完整的多个浅层特征信息，最后与深层特征进行相加，得到融合浅层信息的查询样本特征。

7.根据权利要求1所述的方法，其特征在于，步骤S4中，特征调整模块位于元学习器之后，包括一个平均池化层、一个最大池化层，一个3×3的卷积层、一个BN层和Leaky ReLU激活函数层。

8.根据权利要求1所述的方法，其特征在于，步骤S4中，利用支持集样本元特征对查询样本特征求内积具体为：

S401、将支持集的样本S输入到元学习器中，选取元学习器中全局最大池化层之前的样本元特征

作为模块的输入，对于每个类别的支持集样本元特征进行处理；

S402、将步骤S401处理后的支持集样本元特征进行通道维度的拼接，然后通过3×3的卷积进行通道维度的融合，最后经过BN层和Leaky ReLU激活函数层得到包含空间位置信息的支持集样本元特征

S403、求出C个类别的包含空间位置信息的支持集样本的元特征

利用该元特征与对应类别的查询样本特征{F₁,F₂,…,F_i,…,F_C}求内积，得到经过通道维度和空间维度调整的查询样本特征

9.根据权利要求8所述的方法，其特征在于，步骤S401中，对于每个类别的支持集样本元特征进行处理具体为：

第i个类别的元特征

表示对

进行通道维度的平均池化操作，

表示对

进行通道维度的最大池化操作。

10.基于空间位置特征重加权的小样本目标检测系统，其特征在于，包括：

划分模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；

融合模块，根据划分模块得到的查询样本，通过基于目标完整性的特征融合模块，利用多个浅层特征且保留其中目标完整性的同时融合到深层特征中，得到包含丰富浅层特征信息的查询样本特征；

调整模块，根据融合模块得到的查询样本特征，利用从支持集样本中得到的C个不同类别的元特征与查询样本特征F求积，得到C个经过通道维度调整后的查询样本特征；

计算模块，根据调整模块得到的查询样本特征，通过基于空间位置信息的特征调整模块得到包含空间位置信息的支持集样本元特征，利用支持集样本元特征对查询样本特征求内积，得到C个经过空间维度调整的查询样本特征；

检测模块，根据计算模块得到的查询样本特征，进行相应类别目标物体的分类和定位，实现小样本目标检测。

Images