CN112329827A - 一种基于元学习的增量小样本目标检测方法 - Google Patents

Abstract

本发明涉及一种基于元学习的增量小样本目标检测方法，包括以下步骤：1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；2)对增量小样本目标检测模型进行训练；3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。与现有技术相比，本发明具有样本需求少、克服遗忘、保护数据隐私等优点。

Description

一种基于元学习的增量小样本目标检测方法

技术领域

本发明涉及目标检测领域，尤其是涉及一种基于元学习的增量小样本目标检测方法。

背景技术

目前，基于卷积神经网络的目标检测方法取得了重大进展，其中一个非常重要的原因在于拥有充足的经过人工标注的数据。但是，人类具备而传统目标检测器不具备的一个能力就是根据少量数据进行快速学习的能力，因此，需要一种采用元学习的训练方式，使得目标检测器能够从充足的基础类别的数据中学习到一种模式，使得该目标检测器能够根据少量的新类别的数据学习到识别新类别物体的能力。

现阶段有效的小样本目标检测方法可以分为以下两个类别：

(1)基于度量学习的小样本目标检测方法：通过度量支持集(support set)中的图像与查询集(query set)中的图像之间的距离来识别检测框的类别；

(2)基于权重生成的小样本目标检测方法：通过学习生成模型中某些层的权重，使得模型能够通过少量新类别的样本学习到对新类别的检测能力。

然而这些方法要求目标检测器在学习识别新的类别时，不仅要使用新类别的样本，还需要使用基础类别的样本，这造成了训练时间开销问题以及基础类别数据的存储和隐私问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于元学习的增量小样本目标检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于元学习的增量小样本目标检测方法，用以使得目标检测器增量地学习到在新类别上的检测能力，包括以下步骤：

1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；

2)对增量小样本目标检测模型进行训练；

3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。

所述的步骤1)中，特征提取器用以将经过数据增强后的图像作为输入，提取该图像的抽象特征，所述的目标定位器以特征提取器的抽象特征为输入，包含三个并行的工作端，即热力图端、尺寸端和补偿端，并分别输出热力图、尺寸图和补偿图，所述的元学习器用以实现元学习。

所述的热力图为

大小的张量，包含图像中可能包含物体的位置、物体的类别以及置信度信息，所述的尺寸图为

大小的张量，包含抽象特征上每一个点对应目标的尺寸信息，所述的补偿图为

大小的张量，包含抽象特征上每一个点对应的目标中心的偏移值信息。

所述的增量小样本目标检测模型根据热力图、尺寸图和补偿图中的信息进行解码获得图像中的物体定位和分类信息，具体为：

若热力图中点的值不小于该点周围8个点的值，则判定其为热点，据此获取热力图中的所有热点，热点决定了预测目标框的中心在图像中的坐标和类别；

根据热点在热力图上的坐标分别对应其在尺寸图和补偿图中的相应位置，据此获取预测目标框的尺寸和预测目标框中心的偏移值；

解码得到目标的位置和大小，预测目标框用公式表示为：

其中，

和

分别为热点的坐标，

和

分别为热点所对应的目标尺寸，

和

分别为热点所对应目标中心的偏移值。

所述的步骤2)包括基础训练阶段、元学习阶段和小样本微调阶段。

所述的基础训练阶段具体包括以下步骤：

201)对于每一张包含基础类别的图像，仅保留图像中基础类别目标框的标注；将图像经数据增强后，作为特征提取器的输入并输出抽象特征；

202)将抽象特征分别作为目标定位器中热力图端、尺寸端和补偿端的输入，输出热力图、尺寸图和补偿图，其中，热力图端采用Focal Loss作为损失函数，尺寸端和补偿端均使用L1损失函数作为损失函数，三个工作端的损失函数按照比例(超参数)进行加和作为整个模型的总检测损失并进行反向传播调整模型的参数；

203)在后续的元学习阶段和小样本微调阶段中，在基础训练阶段得到的特征提取器的参数以及目标定位器中的热力图端对应于基础类别的滤波器参数不再调整。

所述的元学习阶段具体包括以下步骤：

211)将包含基础类别的图像重新组织为多个不同的任务，每一个任务均包含一个支持集和一个测试集，其中，支持集和测试集中分别包含K个相同类别的物体图像，一个任务作为元学习器的一个样本，任务i中包含的2K张图像经过特征提取器得到K个支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}以及K个查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}，并将目标定位器的权重初始化为元学习器的权重；

212)将支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}经过目标定位器输出对应的热力图

尺寸图

和补偿图

后，计算总检测损失并反向传播对应的损失更新目标定位器的权重，获取目标定位器的一个中间状态；

213)将查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}输入到处于中间状态的目标定位器中，输出对应的热力图、尺寸图和补偿图，计算总检测损失并反向传播更新元学习器的参数。

所述的步骤212)中，获取目标定位器的一个中间状态，具体表示为：

其中，w为目标定位器的参数，w′为目标定位器中间状态的参数，δ为学习率，

为目标定位器的总损失函数，

为以支持特征作为目标定位器的输入所产生的总损失对目标定位器参数w的梯度。

所述的步骤213)中，元学习器的目标函数表达式为：

其中，

表示第i个任务，

为任务的分布，

为在经过支持特征作为输入并更新目标定位器参数后，再由查询特征作为更新后的目标定位器的输入所产生的总损失。

所述的小样本微调阶段具体为：

在基础训练阶段和元学习阶段结束后，此时，增量小样本目标检测模型处于一个能够快速拟合少量新类别样本的状态，当少量新类别样本出现时，该模型在不使用任何基础类别样本进行平衡的情况下快速拟合新类别的样本，拟合得到的模型保持在基础类别上的检测性能，同时在新类别的物体上也具备检测能力。

与现有技术相比，本发明具有以下优点：

一、样本需求少：本发明提出采用基础样本训练模型，使模型处于能够快速拟合少量样本的初始状态，在提供少量新类别样本的情况下，使得模型能够对新类别具备一定地检测能力。

二、克服遗忘：本发明目标定位器中与基础类别的热图相关联的滤波器参数来自训练的第一阶段，并且在微调过程中不改变对应的参数，使得检测器在使用新类别的少量样本微调时，最大程度维持在基础类别上的检测效果，同时在新类别上具备一定地检测能力。

三、保护数据隐私：本发明在微调过程中，仅需要考虑新类别的少量样本，而无需重新使用基础类别的数据，在实际应用过程中，可以起到数据隐私保护的作用。

附图说明

图1为增量小样本目标检测模型示意图。

图2为增量小样本目标检测模型训练第二阶段原理图。

图3为目标定位器中热力图端细节示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明提出一种基于元学习的增量小样本目标检测方法，包括以下步骤：

1)特征提取步骤：给定初始图像，经过随机裁剪、翻转等数据增强方式并进行归一化操作以后，作为特征提取器的输入提取图像的抽象特征；

2)目标定位步骤：目标定位包含三个并行的工作端，分别是热力图端、尺寸端和补偿端。三个工作端都以图像的抽象特征作为输入，分别输出热力图、尺寸图和补偿图，其中，热力图是

大小的张量，H是图像的高度，W是图像的宽度，R是特征提取器的第一层至最后一层的总步长，C是目标类别总数，热力图中包含了图像中可能包含的物体的位置、物体的类别以及置信度信息；尺寸图和补偿图都是

大小的张量，尺寸图中包含了特征图上每一个点对应的目标的尺寸信息，补偿图包含了特征图上每一个点对应的目标中心的偏移值信息。

根据热力图、尺寸图和补偿图中的信息，可以解码出图像中的目标定位和分类结果，具体解码过程为：

首先，将热力图中的所有的“热点”(若热力图中的某个点的值大于等于其四周的8个点的值，则该点是一个“热点”)，为所有候选的“热点”数量设置一个上限k(在本实施例中，k设置为50)，若“热点”数量大于k，则取最大的k个“热点”作为该热力图的“热点”集合，反之，取所有“热点”作为“热点”集合。“热点”在热力图中的坐标决定了预测目标框的中心在图像中的坐标和类别，同时“热点”在热力图上的坐标在尺寸图和补偿图中的相应位置可以获取到预测目标框的尺寸和预测目标框中心的偏移值。由此可以解码出目标的位置和大小，预测目标框的位置和范围可以用公式表示为：

其中，

和

分别表示“热点”坐标，

和

分别表示“热点”所对应的目标的尺寸，

和

分别表示“热点”所对应的目标中心的偏移值。

整个模型的训练包括基础训练阶段、元学习阶段和小样本微调阶段，在本实施例中，训练过程如下：

(1)基础训练阶段：对于每一张包含基础类别的图像，仅保留图像中基础类别目标框的标注，将目标框中心位置作为高斯核(Gaussian kernel)可以得到热力图的真实值；根据目标中心点位置以及目标框的尺寸信息可以得到尺寸图的真实值；根据目标框中心点位置以及离散误差可以得到补偿图的真实值。

初始图像经过随机裁剪、随机翻转等数据增强后，作为特征提取器的输入并输出抽象特征；随后，抽象特征分别作为目标定位器中热力图端、尺寸端和补偿端的输入，输出热力图、尺寸图和补偿图，热力图端使用Focal Loss作为损失函数，而尺寸端和补偿端均使用L1损失函数作为损失函数，三个工作端的损失的加和作为整个模型的损失并进行反向传播调整模型的参数。

基础训练阶段的主要目的是得到特征提取器的参数，而在后续训练和微调过程中，特征提取器的参数将不再调整。此外，在基础训练阶段得到的目标定位器中的热力图端的对应于基础类别的滤波器的参数最终也将保留，如图3所示。

(2)元学习阶段：元学习阶段的过程如图2所示。将基础类别的数据重新组织为大量不同的任务，每一个任务包含一个支持集和一个测试集，其中支持集和测试集中分别包含K个相同类别的物体的图像，一个任务作为元学习的一个样本，一个任务中的2K张图像经过特征提取器得到K个支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}和K个查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}，而元学习过程包括以下三个步骤：

(i)将目标定位器的权重初始化为元学习器的权重；

(ii)支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}经过目标定位器输出对应的热力图

尺寸图

和补偿图

计算模型的检测损失并反向传播对应的损失更新目标定位器权重，获取一个中间状态，计算公式如下：

其中，w表示目标定位器的参数，w′是目标定位器中间状态的参数，δ是学习率，

是检测损失函数；

(iii)将查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}再输入到处于中间状态的目标定位器，输出热力图、尺寸图和补偿图，计算模型的损失并反向传播更新元学习器的参数。

综上所述，元学习器的目标函数用公式表达为：

(3)小样本微调阶段：在基础训练阶段和元学习阶段结束以后，模型处于一个可以快速拟合少量新类别的样本的状态。当少量的新类别的样本出现时，模型可以在不使用任何基础类别样本进行平衡的情况下快速拟合新类别的样本，拟合得到模型可以保持在基础类别上的检测性能，同时在新类别的物体上具备一定的检测能力。

为了验证上述方法的性能，设计了以下实验。

本方法以ResNet-50作为主干，在两个目标检测基准数据集(MS COCO和PASCALVOC)上进行了实验验证。PSCAL VOC数据集只有20个类的物体，而MS COCO数据集有80个类的物体，其中60个类作为基础类别，而另外20个与PSCAL VOC数据集重合的类别作为新类别。在训练特征提取器时，MS COCO数据集中所有包含基础类别的图像都会被采用，其中若包含新类别的图像，则将新类别的标注去除。在训练元学习器时，所有的基础类别数据将被重新组织为充足的任务作为样本。对于每一个任务，其支持集包含K个随机采用的同一个类别的样本(K＝1，5或10)，而查询集包含与支持集相同类别的样本若干。在微调阶段，每一个新类别随机采样K个样本(K＝1，5或10)，然后用这些样本微调模型，使模型快速拟合。

在MS COCO数据集上，本方法考虑了在K＝1，5或10的情况下模型分别在基础类别、新类别和全部类别下的表现。评价指标使用平均精度(mAP)和平均召回率(mAR)。结果如表1所示。可以看出，本方法在基础类别和全部类别上的效果均大幅度超过当前最好的方法(ONCE)。同时，本方法在新类别上的表现也同样具有竞争力。

表1 MS COCO数据集上的增量小样本目标检测方法性能比较

在PSCAL VOC数据集上，本方法考虑了交叉数据集(cross-dataset)设置，即使用MS COCO数据集中的基础类别数据进行训练，使用PSCAL VOC数据集中抽样的少量新类别的数据进行微调。实验结果如表2所示。从结果可以看出，本方法在PASCAL VOC数据集上的表现均超过了基准方法(Fine-Tuning)和目前最好的方法(ONCE)。

表2 PASCAL VOC数据集上增量小样本目标检测迁移性能比较

为了验证所提出方法的有效性，另外设计了两组消融实验。

为评估不同主干(ResNet-50、ResNet-101和DLA-34)对本方法的影响，在MS COCO数据集上分别采用三种不同的主干测试了K＝1，5或10的情况下，模型在基础类别、新类别和所有类别下的性能。结果如表3所示。从结果可以看出，更好的主干可以提供更加泛化的特征，从而提升模型的效果。

表3 MS COCO数据集上的主干消融实验结果

为评估元学习器和微调策略对模型的影响，在MS COCO数据集上测试了基础模型(BM)、基础模型加上元学习器(BM+ML)以及本方法的对照实验，结果如表4所示。从结果可以看出，加入元学习器可以使模型有效提升模型对新类别的检测能力，但不能克服遗忘，即在基础类别上的检测性能显著出现显著下降。而本方法即可以克服遗忘，又可以有效提升在新类别上的表现。

表4 MS COCO数据集上的训练策略消融实验结果

实验可以证实，在两种目标检测基准数据集上，本发明提出的增量小样本目标检测方法具有样本需求少、克服遗忘以及数据隐私保护妥善等优点。在目前已知的先进增量小样本目标检测方法中，本方法具有较强的优势和应用前景。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于元学习的增量小样本目标检测方法，用以使得目标检测器增量地学习到在新类别上的检测能力，其特征在于，包括以下步骤：

1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；

2)对增量小样本目标检测模型进行训练；

3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。

2.根据权利要求1所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤1)中，特征提取器用以将经过数据增强后的图像作为输入，提取该图像的抽象特征，所述的目标定位器以特征提取器的抽象特征为输入，包含三个并行的工作端，即热力图端、尺寸端和补偿端，并分别输出热力图、尺寸图和补偿图，所述的元学习器用以实现元学习。

3.根据权利要求2所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的热力图为

大小的张量，包含图像中可能包含物体的位置、物体的类别以及置信度信息，所述的尺寸图为

大小的张量，包含抽象特征上每一个点对应目标的尺寸信息，所述的补偿图为

大小的张量，包含抽象特征上每一个点对应的目标中心的偏移值信息。

4.根据权利要求3所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的增量小样本目标检测模型根据热力图、尺寸图和补偿图中的信息进行解码获得图像中的物体定位和分类信息，具体为：

若热力图中点的值不小于该点周围8个点的值，则判定其为热点，据此获取热力图中的所有热点，热点决定了预测目标框的中心在图像中的坐标和类别；

根据热点在热力图上的坐标分别对应其在尺寸图和补偿图中的相应位置，据此获取预测目标框的尺寸和预测目标框中心的偏移值；

解码得到目标的位置和大小，预测目标框用公式表示为：

其中，

和

分别为热点的坐标，

和

分别为热点所对应的目标尺寸，

和

分别为热点所对应目标中心的偏移值。

5.根据权利要求1所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤2)包括基础训练阶段、元学习阶段和小样本微调阶段。

6.根据权利要求5所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的基础训练阶段具体包括以下步骤：

201)对于每一张包含基础类别的图像，仅保留图像中基础类别目标框的标注；将图像经数据增强后，作为特征提取器的输入并输出抽象特征；

202)将抽象特征分别作为目标定位器中热力图端、尺寸端和补偿端的输入，输出热力图、尺寸图和补偿图，其中，热力图端采用FocalLoss作为损失函数，尺寸端和补偿端均使用L1损失函数作为损失函数，三个工作端的损失函数按照比例进行加和作为整个模型的总检测损失并进行反向传播调整模型的参数；

203)在后续的元学习阶段和小样本微调阶段中，在基础训练阶段得到的特征提取器的参数以及目标定位器中的热力图端对应于基础类别的滤波器参数不再调整。

7.根据权利要求5所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的元学习阶段具体包括以下步骤：

211)将包含基础类别的图像重新组织为多个不同的任务，每一个任务均包含一个支持集和一个测试集，其中，支持集和测试集中分别包含K个相同类别的物体图像，一个任务作为元学习器的一个样本，任务i中包含的2K张图像经过特征提取器得到K个支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}以及K个查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}，并将目标定位器的权重初始化为元学习器的权重；

212)将支持特征f_i ^s＝{f_i,1,f_i,2,…,f_i,K}经过目标定位器输出对应的热力图

尺寸图

和补偿图

后，计算总检测损失并反向传播对应的损失更新目标定位器的权重，获取目标定位器的一个中间状态；

213)将查询特征f_i ^q＝{f_i,K+1,f_i,K+2,…,f_i,2K}输入到处于中间状态的目标定位器中，输出对应的热力图、尺寸图和补偿图，计算总检测损失并反向传播更新元学习器的参数。

8.根据权利要求7所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤212)中，获取目标定位器的一个中间状态，具体表示为：

其中，w为目标定位器的参数，w′为目标定位器中间状态的参数，δ为学习率，

为目标定位器的总损失函数，

为以支持特征作为目标定位器的输入所产生的总损失对目标定位器参数w的梯度。

9.根据权利要求8所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤213)中，元学习器的目标函数表达式为：

其中，

表示第i个任务，

为任务的分布，

为在经过支持特征作为输入并更新目标定位器参数后，再由查询特征作为更新后的目标定位器的输入所产生的总损失。

10.根据权利要求5所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的小样本微调阶段具体为：

在基础训练阶段和元学习阶段结束后，此时，增量小样本目标检测模型处于一个能够快速拟合少量新类别样本的状态，当少量新类别样本出现时，该模型在不使用任何基础类别样本进行平衡的情况下快速拟合新类别的样本，拟合得到的模型保持在基础类别上的检测性能，同时在新类别的物体上也具备检测能力。

Images