CN114119966A - 基于多视角学习与元学习的小样本目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多视角学习与元学习的小样本目标检测方法，包括：构建小样本目标检测模型；基于多视角学习的类间样本对采样法，采用类别平衡的原则，构建多视角数据集；基于高信度深层特征的特征对比学习法，选择出基础类别和小样本类别的高信度特征并构建损失函数，实现类内与类间的特征对比学习；基于元学习的模型参数训练法，分别计算基础类别与小样本类别损失值对应的梯度，并回传更新小样本目标检测模型的参数。本发明通过构建多视角数据集与使用基于元学习的模型参数训练法，在模型微调阶段根据多视角的迁移特征信息，做出促进或抑制模型学习的判断，有效地解决基础类别的特征遗忘问题与小样本类别的过拟合问题。

Description

基于多视角学习与元学习的小样本目标检测方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于多视角学习与元学习的小样本目标检测方法。

背景技术

小样本目标检测技术旨在在样本量较少的情况下，从图像中检测出相应的物体，在海上救援、医学图像等领域都有重要的应用价值。由于训练神经网络所需的样本量是较多的，所以小样本目标检测的核心问题是如何将检测物体的共有特征迁移到小样本类别的物体上，使得模型快速适应小样本类别的特征并得到同等水平的检测结果。

随着深度学习的发展，小样本目标检测结果的检测精度(mAP)已经得到了很显著的提升。但是现有的方法在模型微调阶段出现了严重的特征遗忘问题，遗忘了之前在样本充足的类别(基础类别)上学到的特征。这是因为神经网络更倾向于记住当前训练的样本特征，当模型在医学图像等小样本类别上训练后，对之前检测效果很好的人、车等基础类别的检测能力会大幅下降，同时因为小样本的数据量较小，模型在微调过程中容易在极少的小样本数据集上出现过拟合问题。特征遗忘问题会使模型逐渐遗忘检测物体的共有特征，对小样本特征的迁移学习也有一定程度上的阻碍，导致模型在基础类别和小样本类别上都出现不同程度的精度下降。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多视角学习与元学习的小样本目标检测方法，通过构建样本多视角数据集与使用基于元学习的模型参数训练法，在模型微调阶段提供多视角的迁移特征信息，并根据这些信息判断当前迁移学习的情况，采取促进迁移或抑制迁移的行动，有效地解决基础类别的特征遗忘问题与小样本类别的过拟合问题。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于多视角学习与元学习的小样本目标检测方法，包括下述步骤：

构建小样本目标检测模型，采用两阶段训练方式的小样本目标检测模型作为目标检测器；所述的两阶段训练方式分为预训练阶段与模型微调阶段，所述预训练阶段与模型微调阶段所使用的训练集不同，预训练阶段使用所有基础类别样本，让模型在大量基础类别样本中学习到图像的普遍特征；在模型微调阶段，模型将学习到的基础类别样本的特征迁移至小样本类别的特征学习上；所述目标检测器包括主干网络、候选框提取器、候选框池化层、候选框特征卷积层、回归器、分类器和高信度特征对比学习器；

基于多视角学习的类间样本对采样法，采用类别平衡的原则，将基础类别数据集划分为多个基础类别子数据集，每个子数据集中的样本数目与小样本类别样本数相等，分别组合每个基础类别子数据集和小样本类别样本，得到多个组合后的单视角混合数据集，即多视角数据集。

基于高信度深层特征的特征对比学习法，在小样本目标检测模型微调阶段，将多视角数据集输入小样本目标检测模型，高信度特征对比学习器选择出基础类别和小样本类别的高信度特征，根据高信度特征之间的欧式距离构建损失函数，实现基础类别和小样本类别的类内与类间的特征对比学习；

基于元学习的模型参数训练法，在小样本目标检测模型微调阶段，将多视角数据集输入小样本目标检测模型，分别得到基础类别与小样本类别的损失值，计算损失值对应的梯度并回传更新小样本目标检测模型的参数。

作为优选的技术方案，所述预训练好的检测器采用两阶段检测器Faster-RCNN。

作为优选的技术方案，所述主干网络采用ResNet-101网络架构。

作为优选的技术方案，在构建小样本目标检测模型后，先使用基础类别数据集对小样本目标检测模型进行预训练，再用多视角数据集进行小样本目标检测模型微调操作。

作为优选的技术方案，所述基于多视角学习的类间样本对采样法，具体为：

多视角数据集D由基础类别数据集D_base和小样本类别数据集D_novel构成，分别表示为：

其中，

分别表示第i个基础类别样本和第j个小样本类别样本，x表示样本，i，j表示样本编号，base，novel分别表示基础类别和小样本类别，N₁，N分别表示基础类别样本总数和小样本类别样本总数，且N₁＞＞N；

采用

和

分别表示第i个基础类别和第j个小样本类别，C表示类别，i，j表示样本编号，base，novel分别表示基础类别和小样本类别；

从基础类别和小样本类别中各采样不同的N个样本，得到M个基础类别的子数据集与1个小样本类别的数据集，将每个基础类别的子数据集与小样本类别数据集组合得到单视角的混合数据集，采样完成后得到M个视角的多视角数据集，采用D_all表示多视角数据集，表示为：

D_all＝{D₁，D₂，...，D_M}

其中，D_i表示第i个视角的混合数据集。

作为优选的技术方案，在小样本目标检测模型微调阶段，依次将多个单视角混合数据集放入网络进行训练。

作为优选的技术方案，所述根据高信度特征之间的欧式距离构建损失函数，具体为：

在小样本目标检测模型微调阶段，多视角数据集中的图像经过主干网络、候选框提取器、候选框池化层与候选框特征卷积层，得到N个候选框的特征编码，采用p_i和y_i分别表示第i个候选框的特征编码与真实标签，使用全连接层与L2正则化操作处理特征编码，得到第i个候选框的正则化特征编码

匹配候选框与真实物体，根据候选框与真实物体的重合程度，保留交并比大于0.7的高信度候选框正则化特征编码，交并比IOU表示为：

其中，d₁和d₂分别表示候选框的区域和真实物体的区域；

构建对比损失函数L_C，具体表示为：

其中，u_i表示第i个候选框与真实物体的IOU值，

表示第k个候选框的正则化特征编码，

表示第i个候选框的特征对比学习损失函数，τ是一个超参数，y_i表示第i个候选框的真实标签，N_yi表示真实类别为y_i的候选框总数，II{y_i＝y_j}表示判断第i个候选框的真实标签和第j个候选框的真实标签是否相同的示性函数，相同取值为1，否则为0。

作为优选的技术方案，所述基于元学习的模型参数训练法，具体为：

在小样本目标检测模型微调阶段，多视角数据集通过主干网络、候选框池化层得到深层特征，进一步通过定位器、分类器与高信度特征对比学习器得到一个总损失值L；

根据候选框的真实类别，损失值L划分为基础类别的损失值L_base和小样本类别的损失值L_novel；先计算基础类别损失值L_base的梯度并回传更新小样本目标检测模型的参数，再计算小样本类别损失值L_novel的梯度并回传更新小样本目标检测模型的参数，参数更新公式具体为：

θ_i＝θ_i-1+γ·(θ_i，2-θ_i-1)

其中，θ_i表示第i步迭代的小样本目标检测模型参数值，α和γ分别表示小样本目标检测模型参数学习率和参数变化量学习率，θ_i，1表示θ_i-1经过L_base的梯度回传更新的小样本目标检测模型的参数，θ_i，2表示θ_i，1经过L_novel的梯度回传更新的小样本目标检测模型的参数。

作为优选的技术方案，所述总损失值L表示为：

L＝L_reg+L_cls+L_C

其中，L_reg，L_cls分别表示回归器和分类器的损失值，L_C表示高信度特征对比学习损失值。

作为优选的技术方案，在回传更新小样本目标检测模型的参数时，冻结主干网络和候选框池化层的所有参数，保留小样本目标检测模型所提取的特征分布。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明基于多视角学习的类间样本对采样法，构建了一个类别平衡且样本量更充足的多视角数据集，缓解了小样本目标检测模型在基础类别上的特征遗忘问题，为小样本类别的特征提供了多视角的对比学习机会。

2、本发明通过高信度特征对比学习与基于元学习策略的参数学习法，进一步加强了多视角数据集的对比学习能力，通过冻结主干网络与候选框池化层参数和交替回传梯度更新参数的方式，保留了大量基础类别的特征，并在微调阶段考虑小样本类别回传梯度对模型特征的影响，对应地选择增强参数更新或抑制模型参数更新，缓解基础类别特征的遗忘问题与小样本类别的过拟合问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于多视角学习与元学习的小样本目标检测方法的流程图；

图2为本发明实施例基于元学习的模型参数更新流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

如图1所示，本申请的一个实施例中提供了一种基于多视角学习与元学习的小样本目标检测方法，包括下述步骤：

S1、构建小样本目标检测模型，采用两阶段训练方式的小样本目标检测模型作为目标检测器；所述的两阶段训练方式分为预训练阶段与模型微调阶段，所述预训练阶段与模型微调阶段所使用的训练集不同，预训练阶段使用所有基础类别样本，让模型在大量基础类别样本中学习到图像的普遍特征；在模型微调阶段，模型将学习到的基础类别样本的特征迁移至小样本类别的特征学习上，包括主干网络、候选框提取器、候选框池化层、候选框特征卷积层、回归器、分类器和高信度特征对比学习器；

构建小样本目标检测模型后，先使用基础类别数据集对小样本目标检测模型进行预训练，再用多视角数据集进行小样本目标检测模型微调操作。

本实施例中，预训练好的检测器采用两阶段检测器Faster-RCNN，主干网络采用ResNet-101网络；

S2、基于多视角学习的类间样本对采样法，用于增加大量的基础类别特征，为后续的特征对比学习提供了多视角的信息；采用类别平衡的原则，将数量充足的基础类别数据集划分为多个基础类别子数据集，每个子数据集的样本数目与小样本类别样本数相等，分别组合每个基础类别子数据集和小样本类别样本，得到多个组合后的单视角混合数据集，这些数据集的集合称为多视角数据集，具体为：

多视角数据集D由基础类别数据集D_base和小样本类别数据集D_novel构成，分别表示为：

其中，

分别表示第i个基础类别样本和第j个小样本类别样本，x表示样本，i，j表示样本编号，base，hovel分别表示基础类别和小样本类别，N₁，N分别表示基础类别样本总数和小样本类别样本总数，在小样本目标检测任务中，N₁远大于N；

采用

和

分别表示第i个基础类别和第j个小样本类别，C表示类别，从基础类别和小样本类别中采样不同的N个样本，得到M个基础类别的子数据集与1个小样本类别的数据集，将每个基础类别的子数据集与小样本类别数据集组合组成单视角的混合数据集，采样完成后得到M个视角的多视角数据集，采用D_all表示多视角数据集，则多视角数据集D_all表示为：

D_all＝{D₁，D₂，...，D_M}

其中，D_i表示第i个视角的混合数据集。

在本实施例中，在小样本目标检测模型微调阶段依次将多个单视角混合数据集输入网络进行训练。

S3、基于高信度深层特征的特征对比学习法，用于进一步学习特征空间分布，加强多视角数据集的特征对比学习能力；高信度特征对比学习器选择出基础类别和小样本类别的高信度特征，根据高信度特征之间的欧式距离构建损失函数，实现基础类别和小样本类别的类内与类间的特征对比学习，具体为：

在模型微调阶段，多视角数据集图像经过主干网络、候选框提取器、候选框池化层与候选框特征卷积层，得到N个候选框的1024维特征编码，采用p_i和y_i分别表示第i个候选框的特征编码与真实标签，使用全连接层与L2正则化操作处理特征编码，得到第i个候选框的128维正则化特征编码

进一步降低特征维度并且使得特征分布更集中；

匹配候选框与真实物体，根据候选框与真实物体的重合程度，保留交并比大于0.7的高信度候选框正则化特征编码，交并比IOU定义为：

其中，d₁和d₂分别表示候选框的区域和真实物体的区域；

构建对比损失函数L_C，具体表示为：

其中，u_i表示第i个候选框与真实物体的IOU值，

表示第k个候选框的正则化特征编码，

表示第i个候选框的特征对比学习损失函数，τ是一个超参数，在本实施例中取值为0.2，y_i表示第i个候选框的真实标签，N_yi表示真实类别为y_i的候选框总数，II{y_i＝y_j}表示判断第i个候选框的真实标签和第j个候选框的真实标签是否相同的示性函数，相同取值为1，否则取值为0。

本实施例中，根据候选框特征与真实物体的重合程度选出高信度的候选框特征，更能反应该类别的特征，使用特征对比学习的方法增大不同类别的特征距离，缩小相同类别的特征距离，为小样本特征提供了多视角的对比学习信息，缓解了因样本量不足所导致的小样本类别过拟合问题。

S4、基于元学习的模型参数训练法，用于缓解小样本目标检测模型在微调过程中出现的特征遗忘问题；根据当前模型的学习方向，判断当前模型需要加强或抑制迁移学习能力，具体为：

如图2所示，在模型微调阶段，多视角数据集通过主干网络、候选框池化层得到深层特征，进一步通过定位器、分类器与高信度特征对比学习器得到一个总损失值L，计算方法为：

L＝L_reg+L_cls+L_C

采用L_reg，L_cls分别表示回归器和分类器的损失值。

根据候选框的真实类别，损失值L可被划分为基础类别的损失值L_base和小样本类别的损失值L_novel；先计算基础类别损失值L_base的梯度并回传更新小样本目标检测模型的参数，再计算小样本类别损失值L_novel的梯度并回传更新小样本目标检测模型的参数，在参数更新过程中，冻结主干网络和候选框池化层的所有参数，保留模型所提取的特征分布是相对稳定的，参数更新公式具体为：

θ_i＝θ_i-1+γ·(θ_i，2-θ_i-1)

其中，θ_i表示第i步迭代的小样本目标检测模型参数值，α和γ分别表示小样本目标检测模型参数学习率和参数变化量学习率，θ_i，1表示θ_i-1经过L_base的梯度回传更新的小样本目标检测模型的参数，θ_i，2表示θ_i，1经过L_novel的梯度回传更新的小样本目标检测模型的参数。本实施例中，α和γ分别设置为0.002和1。

本实施例中，L_reg，L_cls，L_C均可以根据候选框的真实类别划分为基础类别部分的损失值和小样本类别部分的损失值，可表示为：

分别表示m损失值的基础类别部分损失值和小样本类别部分损失值，故基础类别损失值L_base和小样本类别的损失值L_novel之和与总损失值L是等价的。

本发明基于多视角学习与元学习的小样本目标检测方法，使用类间样本对采样法构建一个类别平衡的多视角数据集，输入小样本目标检测模型中进行模型微调操作，为小样本类别的特征提供了多视角的对比学习机会；输入的多视角数据集图像经过主干网络，从主干网络第四卷积组输出图像的特征图；然后通过候选框提取器进行锚点的二分类和回归定位得到一系列候选框，再经过候选框特征卷积层，输入分类器、回归器与高信度特征对比学习器计算损失值，最后将总损失值分为基础类别损失值和小样本类别损失值，进一步加强了多视角数据集的对比学习能力；在冻结主干网络和候选框池化层的情况下，先后回传基础类别和小样本类别的梯度并更新小样本目标检测模型的参数，有效的解决基础类别的特征遗忘问题与小样本类别的过拟合问题。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于多视角学习与元学习的小样本目标检测方法，其特征在于，包括下述步骤：

构建小样本目标检测模型，采用两阶段训练方式的小样本目标检测模型作为目标检测器；所述的两阶段训练方式分为预训练阶段与模型微调阶段，所述预训练阶段与模型微调阶段所使用的训练集不同，预训练阶段使用所有基础类别样本，让模型在大量基础类别样本中学习到图像的普遍特征；在模型微调阶段，模型将学习到的基础类别样本的特征迁移至小样本类别的特征学习上；所述目标检测器包括主干网络、候选框提取器、候选框池化层、候选框特征卷积层、回归器、分类器和高信度特征对比学习器；

基于多视角学习的类间样本对采样法，采用类别平衡的原则，将基础类别数据集划分为多个基础类别子数据集，每个子数据集中的样本数目与小样本类别样本数相等，分别组合每个基础类别子数据集和小样本类别样本，得到多个组合后的单视角混合数据集，即多视角数据集。

基于高信度深层特征的特征对比学习法，在小样本目标检测模型微调阶段，将多视角数据集输入小样本目标检测模型，高信度特征对比学习器选择出基础类别和小样本类别的高信度特征，根据高信度特征之间的欧式距离构建损失函数，实现基础类别和小样本类别的类内与类间的特征对比学习；

基于元学习的模型参数训练法，在小样本目标检测模型微调阶段，将多视角数据集输入小样本目标检测模型，分别得到基础类别与小样本类别的损失值，计算损失值对应的梯度并回传更新小样本目标检测模型的参数。

2.根据权利要求1所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述预训练好的检测器采用两阶段检测器Faster-RCNN。

3.根据权利要求1所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述主干网络采用ResNet-101网络架构。

4.根据权利要求1所述的基于样本多视角学习与元学习的小样本目标检测方法，其特征在于，在构建小样本目标检测模型后，先使用基础类别数据集对小样本目标检测模型进行预训练，再用多视角数据集进行小样本目标检测模型微调操作。

5.根据权利要求1所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述基于多视角学习的类间样本对采样法，具体为：

多视角数据集D由基础类别数据集D_base和小样本类别数据集D_novel构成，分别表示为：

其中，

分别表示第i个基础类别样本和第j个小样本类别样本，x表示样本，i，j表示样本编号，base，hovel分别表示基础类别和小样本类别，N₁，N分别表示基础类别样本总数和小样本类别样本总数，且N₁＞＞N；

采用

和

分别表示第i个基础类别和第j个小样本类别，C表示类别，i，j表示样本编号，base，novel分别表示基础类别和小样本类别；

从基础类别和小样本类别中各采样不同的N个样本，得到M个基础类别的子数据集与1个小样本类别的数据集，将每个基础类别的子数据集与小样本类别数据集组合得到单视角的混合数据集，采样完成后得到M个视角的多视角数据集，采用D_all表示多视角数据集，表示为：

D_all＝{D₁，D₂，...，D_M}

其中，D_i表示第i个视角的混合数据集。

6.根据权利要求5所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，在小样本目标检测模型微调阶段，依次将多个单视角混合数据集放入网络进行训练。

7.根据权利要求1所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述根据高信度特征之间的欧式距离构建损失函数，具体为：

在小样本目标检测模型微调阶段，多视角数据集中的图像经过主干网络、候选框提取器、候选框池化层与候选框特征卷积层，得到N个候选框的特征编码，采用p_i和y_i分别表示第i个候选框的特征编码与真实标签，使用全连接层与L2正则化操作处理特征编码，得到第i个候选框的正则化特征编码

匹配候选框与真实物体，根据候选框与真实物体的重合程度，保留交并比大于0.7的高信度候选框正则化特征编码，交并比IOU表示为：

其中，d₁和d₂分别表示候选框的区域和真实物体的区域；

构建对比损失函数L_C，具体表示为：

其中，u_i表示第i个候选框与真实物体的IOU值，

表示第k个候选框的正则化特征编码，

表示第i个候选框的特征对比学习损失函数，τ是一个超参数，y_i表示第i个候选框的真实标签，

表示真实类别为y_i的候选框总数，

表示判断第i个候选框的真实标签和第j个候选框的真实标签是否相同的示性函数，相同取值为1，否则为0。

8.根据权利要求1所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述基于元学习的模型参数训练法，具体为：

在小样本目标检测模型微调阶段，多视角数据集通过主干网络、候选框池化层得到深层特征，进一步通过定位器、分类器与高信度特征对比学习器得到一个总损失值L；

根据候选框的真实类别，损失值L划分为基础类别的损失值L_base和小样本类别的损失值L_novel；先计算基础类别损失值L_base的梯度并回传更新小样本目标检测模型的参数，再计算小样本类别损失值L_novel的梯度并回传更新小样本目标检测模型的参数，参数更新公式具体为：

θ_i＝θ_i-1+γ·(θ_i，2-θ_i-1)

其中，θ_i表示第i步迭代的小样本目标检测模型参数值，α和γ分别表示小样本目标检测模型参数学习率和参数变化量学习率，θ_i，1表示θ_i-1经过L_base的梯度回传更新的小样本目标检测模型的参数，θ_i，2表示θ_i，1经过L_novel的梯度回传更新的小样本目标检测模型的参数。

9.根据权利要求8所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，所述总损失值L表示为：

L＝L_reg+L_cls+L_C

其中，L_reg，L_cls分别表示回归器和分类器的损失值，L_C表示高信度特征对比学习损失值。

10.根据权利要求1或8所述基于多视角学习与元学习的小样本目标检测方法，其特征在于，在回传更新小样本目标检测模型的参数时，冻结主干网络和候选框池化层的所有参数，保留小样本目标检测模型所提取的特征分布。

Images