CN109034190B - 一种动态选择策略的主动样本挖掘的物体检测系统及方法 - Google Patents

Abstract

本发明公开了一种动态选择策略的主动样本挖掘的物体检测系统及方法，所述系统包括：样本获取单元，用于获取少量标注样本和海量未标注样本；模型建立及初始化单元，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化深度学习物体检测模型；自学习单元，用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注；主动学习单元，用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；双重对偶课程约束单元，通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换；模型训练单元，用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。

Description

一种动态选择策略的主动样本挖掘的物体检测系统及方法

技术领域

本发明涉及物体检测及深度学习技术领域，特别是涉及一种动态选择策略的主动样本挖掘的物体检测系统及方法。

背景技术

近年来，随着互联网的快速发展和计算能力的提升，受益于大规模训练数据的深度学习技术取得了突破性的进步。物体检测作为计算机视觉领域的一个经典任务，检测精度取得了巨大的提升。以候选区域为基础的物体检测网络对一张输入的图像提取大量的候选物体区域，并对这些区域进行类别标注和位置回归，提升了物体检测的识别精度和识别速度。然而，神经网络的检测效果极其依赖训练网络的标注样本数据，因此，如何利用大规模的未标注或是少量标注的数据有效训练网络，提升其检测精度是亟待解决的问题。

为了使用更少的标注数据训练出高精度的检测模型，一般需要解决以下技术问题：

1)在保证模型效果的同时，尽量减少人工样本标注。通常的神经网络训练，非常依赖大量人工标注的数据集，而比起其他视觉任务(例如，图像分类和动作识别)，标注物体需要提供图片中所有物体的类别标签和物体所处区域的边框坐标。因此，对图像进行人工标注非常耗时耗力，发展自动标注无标签数据的方法是减少人工标注负担的关键步骤。

2)挖掘能够显著提高分类器表现的特殊训练样本。现有的物体检测数据集通常包含了绝大多数普通的“简单”样本和少量有益的“困难”样本(即，富含各种光照，变形，遮挡和类内变化的信息量)。因为他们服从长尾分布，“困难”的例子是罕见的，为了利用这些能够最有效训练神经网络的“困难”样本，需要能够从大量样本中将其识别出来。

3)抑制噪声样本或离群点的负面影响。一些训练样本(例如，离群点或噪声样本)可能会使模型发生偏移，在训练时排除被数据集中的标注者标记为“混乱”的样本后，训练得到的物体检测性能可以得到大幅度的改进和提高。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种动态选择策略的主动样本挖掘的物体检测系统及方法，以结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能。

为达上述及其它目的，本发明提出一种动态选择策略的主动样本挖掘的物体检测系统，包括：

样本获取单元，用于获取少量标注样本和海量未标注样本；

模型建立及初始化单元，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

自学习单元，用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注；

主动学习单元，用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

双重对偶课程约束单元，通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换；

模型训练单元，用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。

优选地，所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构，其包括卷积层，降采样层，矫正线性单元层，区域建议层，位置分数感知层和全连层等结构构成，输出物体的类别和位置坐标。

优选地，所述自学习单元的自动伪标注过程的模式函数f_SS〔v_i，λ〕为：

其中，

为样本x_i在训练第j类分类器上的权重，

表示每个分类器j的高置信度样本，每个λ^〔j〕初始是很小的值，随着模型的训练，λ^〔j〕逐渐增加来选择具有更大损失的伪标注区域x_i微调网络。

优选地，所述自学习单元根据如下公式判断该候选区域是否符合伪标注要求，若符合伪标注要求，则对其自动进行伪标注：

其中

表示第j个分类器在当前训练周期中，在验证集中模型输出的平均精度的-log值，α为控制阈值增长率的参数。

优选地，所述主动学习单元根据主动学习使用最少样本最大化激活模型的思想，将主动学习过程的模式函数f_AL〔u_i，γ〕定义为：

f_AL〔u_i，γ〕＝-γu_i，

其中γ为一个正的阈值来选择困难样本给予人工标注。

优选地，在物体检测中，假设有n个候选区域，m-1个类和一个背景类，所述动态选择策略的主动样本挖掘的物体检测系统的表达式如下：

其中，训练集

代表所有的候选区域，W代表了m个类别的物体检测网络共享的学习参数，样本x_i的标签记为

其中，

对应x_i第j类的标签，损失函数设置为

其中

为二分类的交叉熵损失：

u_i∈{0，1}为每个样本x_i隐式的指标变量，v_i∈[0，1〕^m为隐权重变量v_i∈[0，1〕^m作为m维的权重向量，隐变量集合

是与类别无关的，决定此样本是否应该由用户主动标注，隐变量集合

是当前的检测器检测出的每个样本具体分类的权重，

为引入选择函数。

优选地，当u_i＝1时，有

所以

此时样本x_i被f_AL〔u_i，γ〕选择进行人工标注；当u_i＝0时，有

所以

此时样本x_i被f_ss〔v_i，λ〕选择进行自动伪标注，类别根据分类器φ_j的阈值λ^〔j〕判断。

优选地，所述双重对偶课程约束单元为主动学习过程与自学习过程引入主动学习课程Ψ^γ和自学习课程Ψ^λ的对偶课程来约束U和V的优化。

优选地，所述模型训练单元在训练模型以提升模型性能中待训练参数包括U,V,Y和W，初始化隐式权重变量V₀和U₀以及提供初始的标签Y₀和初始化模型参数W₀。

为达到上述目的，本发明还提供一种动态选择策略的主动样本挖掘的物体检测方法，包括如下步骤：

步骤一，获取少量标注样本和海量未标注样本；

步骤二，建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

步骤三，引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注；

步骤四，引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

步骤五，通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换；

步骤六，将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。

与现有技术相比，本发明一种动态选择策略的主动样本挖掘的物体检测系统及方法通过结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能，其首先利用少量的标注样本初始化模型，然后在线加入海量的未标注样本，利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注，利用自学习课程指导自学习过程挖掘从简单到困难样本以让计算机进行伪标注，最后将标注了的样本加入训练微调模型提高检测精度，本发明具有低成本高效益的性能，可以减少大量的人力物力，节约成本，具有较强的商业价值和应用前景。

附图说明

图1为本发明一种动态选择策略的主动样本挖掘的物体检测系统的系统架构图；

图2为本发明具体实施例中物体检测网络结构的框架结构图；

图3为本发明具体实施例中动态选择策略的主动样本挖掘的物体检测系统的框架示意图；

图4为本发明一种动态选择策略的主动样本挖掘的物体检测方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种动态选择策略的主动样本挖掘的物体检测系统的系统架构图。如图1所示，本发明一种动态选择策略的主动样本挖掘的物体检测系统，包括：

样本获取单元101，用于获取少量标注样本和海量未标注样本。

于本发明中，样本获取单元101可通过互联网例如一些在线视频网站或者直播网站获得样本，并对少量样本进行人工标注。

模型建立及初始化单元102，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中，所述深度学习物体检测模型使用Fast-RCNN，Faster-RCNN，R-FCN作为主要的物体检测网络结构，如图2所示，其可由卷积网络(卷积层，降采样层，矫正线性单元层)，区域建议层，位置分数感知层(感兴趣区域)和池化层等结构构成，其输出物体的类别和位置坐标，这里需说明的是，所述网络结构的网络层的组合方式可以多样，本发明不以此为限。本发明于建立好深度学习物体检测框架后，利用少量的标注样本(例如10％的样本)预训练模型得到一个初始模型，剩余样本为未标注样本。

自学习单元103，用于引入自学习课程指导自学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说，根据当前模型预测出一组高置信度的“简单”样本，这些样本可以通过自学习的方式让计算机进行自动地伪标注，标注出物体的类别和位置坐标。

具体地说，海量的未标注图像的候选区域，通过自学习过程中的高置信度样本自动进行伪标注。本发明受到自步学习技术的启发，将自动伪标注过程的模式函数f_ss〔v_i，λ〕定义为：

其中，

为样本x_i在训练第j类分类器上的权重，

表示每个分类器j的高置信度样本，每个λ^〔j〕初始是很小的值，随着模型的训练，λ^〔j〕逐渐增加来选择具有更大损失的伪标注区域x_i微调网络。

根据后面公式(4)判断该候选区域是否符合伪标注要求，若符合伪标注要求(即

)，模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标。

阈值参数更新如下：

其中

表示第j个分类器在当前训练周期中，在验证集中模型输出的平均精度的-log值,α是控制阈值增长率的参数。阈值参数λ需要在几次更新后被移除，以防止允许太多的未标记的样本进入。因此引入了一个经验性的阈值τ，当且仅当q≤τ，λ会被更新。

本发明使用自学习单元，可以使训练中的模型能够在线地对未标注的样本进行伪标注，无需停止训练过程，实现增量式的端到端的持续学习，不断提高检测模型的精度，极大的解决了现实中人工标注样本不足的问题。随着模型性能的提高，伪标注能够获得更加精确的结果，而且每一次伪标注都是一次性伪标注，只在当前训练迭代次数下有效，下次微调训练将重新进行伪标注，这样可以减少因模型精度不高带来的累计误差。

主动学习单元104，用于引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本，这些样本需要通过主动学习的方式进行简单的人工标注。在本发明具体实施例中，主动学习单元104根据主动学习使用最少样本最大化激活模型的思想，将主动学习过程的模式函数f_AL〔u_i，γ〕定义为：

f_AL〔u_i，γ〕＝-γu_i， (3)

这里γ是一个正的阈值来选择困难样本给予人工标注。对于困难或信息量大的低置信度的样本，模型通常难以给出准确预测，而这样的样本通常能使模型学习到更加丰富的特征信息，提高模型预测准确性。本发明提出的主动学习过程可以充分利用困难样本，根据公式(4)，当

时(u^*表示根据公式4优化后最优的值)，选择此样本进行人工标注，主动学习过程标注最具信息量的困难样本加入训练微调模型，纠正自学习过程带来的累积误差，指导自学习过程，并将标注了的样本groundtruth(即物体的正确类别以及坐标)标记为True。

双重对偶课程约束单元105，通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换。

在本发明具体实施例中，本发明动态选择策略的主动样本挖掘的物体检测系统的公式化表达式如下：

该系统的框架示意图如图3所示，在物体检测中，假设有n个候选区域，m-1个类和一个背景类。训练集

代表所有的候选区域。W代表了m个类别的物体检测网络共享的学习参数，样本x_i的标签记为

这里

对应x_i第j类的标签。这里，损失函数设置为

这里

是二分类的交叉熵损失：

公式(4)中的f_ss〔vi，λ〕和f_AL〔ui，γ〕分别对应自学习的高置信度样本自动伪标注过程和低置信度样本人工标注的主动学习过程，用于表示对应过程的模型训练过程。

本发明设计的模型训练过程中，该模型为每个样本x_i计算隐式的指标变量u_i∈{0，1}作为标注标记和一个隐权重变量v_i∈[0，1〕^m作为m维的权重向量。

是与类别无关的，决定此样本是否应该由用户主动标注，第二个隐变量集合

是当前的检测器检测出的每个样本具体分类的权重。本发明引入选择函数

来决定用哪一个阶段来获得图像检测分类结果

当u_i＝1时，有

所以

此时样本x_i被f_AL〔u_i，γ〕选择进行人工标注；当u_i＝0时，有

所以

此时样本x_i被f_ss〔v_i，λ〕选择进行自动伪标注，类别根据分类器φ_j的阈值λ^〔i〕判断。

由上可知，本发明提出的模型主要利用了两个学习过程——主动学习过程与自学习过程。为了模型的有效优化，本发明为以上两个过程引入对偶课程——主动学习课程Ψ^r和自学习课程Ψ^λ来约束U和V的优化。根据人的认知原理，Ψ^r和Ψ^λ能够提供专业的信息来指导模型训练过程。具体来说，这两个对偶课程分别被初始化为一个限制到{0，1}x和[0，1〕^mx的域。例如在第t次迭代中，假设已经获得了人工标注的样本集合A_t-1，以及属于未定义的物体类别或易混淆而被分类器丢弃的样本集合B_t-1。

在每一个训练周期中，

和

将以以下方式更新：

根据公式(6)，

若x_i∈A_t-1，U_i＝{1}；若x_i∈B_t-1，U_i＝{0}；x_i∈X/〔A_t-1∪B_t-1〕，U_i＝{0，1}。根据公式(7),

若x_i∈A_t-1∪B_t-1，V_i＝{0}^m；x_i∈X/〔A_t-1∪B_t-1〕，U_i＝{0，1〕^m。

中的样本u_i＝1将被用于人工标注，剩余样本u_i∈{0，1}。根据公式(7)

中u_i＝0的样本可能被f_ss〔v_i，λ〕过程选中做伪标注，自学习课程

限制了伪标注样本的权重。总的来说，

使模型能从易到难地将伪标注的样本包含到训练中。与之相对的

间断性地将人工标注样本从难到易地加入训练范围中。因此

和

两个作为彼此对偶的课程。主动学习课程指导主动学习过程自动选择可靠的具有丰富信息的样本，纠正自学习课程带来的累积误差和初始模型不可靠带来的预测误差；同时随着模型的持续训练，自学习课程指导的自学习过程获得更可靠的伪标注样本，模型参数具有更强的稳定性和鲁棒性，可以减少主动学习过程的人工标注。双重对偶课程互相补充，互为指导，可以在自学习过程和主动学习过程中无缝切换。

模型训练单元106，用于将将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说，模型训练单元106将自学习单元103中计算机自动标注的伪标注样本和主动学习单元104中人工标注的样本加入训练微调模型以提升模型检测的性能。

在本发明具体实施例中，待训练参数包括U,V,Y和W，初始化隐式权重变量V₀和U₀以及提供初始的标签Y₀和初始化模型参数W₀。以下分别进行说明：

1、隐变量权重U和V

其优化目的是在每一轮迭代中提供越来越多的训练样本。为了这一目标，本发明使用针对隐权重变量U和V的最大-最小优化方法，在这里U代表了样本是否困难，V代表了使用伪标注的样本的可靠性。

其中

和

在更新U和V过程中被固定，根据公式(9)迭代求解可得最优解

如下所示，其中

2、更新参数Y

通过固定以上计算出的U和V(表示为

和

),为每个无标记的候选物体区域更新Y。在本发明提出的框架中，极少数的候选物体区域会被人工标注获得y_truth，绝大多数候选区域会通过自学习过程做伪标注

根据公式(10)在自学习过程高置信度样本自动伪标注阶段和主动学习过程低置信度样本人工标注阶段更新参数Y。

3、更新参数W

利用给定{X,Y,U,V,Ψ^γ，Ψ^λ}，可以优化网络参数W，根据公式(4)，此时模型可以简化为如下优化目标函数：

该目标函数可以分解为一系列基于批量梯度下降法来求解，利用标准的反向传播算法更新参数W。

图4为本发明一种动态选择策略的主动样本挖掘的物体检测方法的步骤流程图。如图4所示，本发明一种动态选择策略的主动样本挖掘的物体检测方法，包括如下步骤：

步骤401，获取少量标注样本和海量未标注样本。

于步骤401中，这里的样本可通过互联网例如一些在线视频网站或者直播网站获得，并对少量样本进行人工标注。

步骤402，建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中，所述深度学习物体检测模型使用Fast-RCNN，Faster-RCNN，R-FCN作为主要的物体检测网络结构，其输出物体的类别和位置坐标。本发明于建立好深度学习物体检测框架后，利用少量的标注样本(例如10％的样本)预训练模型得到一个初始模型，剩余样本为未标注样本。

步骤403，引入自学习课程指导自学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说，根据当前模型预测出一组高置信度的“简单”样本，这些样本可以通过自学习的方式让计算机进行自动地伪标注，标注出物体的类别和位置坐标。

具体地说，海量的未标注图像的候选区域，通过自学习过程中的高置信度样本自动进行伪标注。本发明受到自步学习技术的启发，将自动伪标注过程的模式函数f_ss〔v_i，λ〕定义为：

这里

表示每个分类器j的高置信度样本，每个λ^〔j〕初始是很小的值，随着模型的训练，λ^〔j〕逐渐增加来选择具有更大损失的伪标注区域x_i微调网络。

在本发明具体实施例中，根据如下公式判断该候选区域是否符合伪标注要求，若符合伪标注要求(即

)，模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标。

阈值参数更新如下：

其中

表示第j个分类器在当前训练周期中，在验证集中模型输出的平均精度的-log值,α是控制阈值增长率的参数。阈值参数λ需要在几次更新后被移除，以防止允许太多的未标记的样本进入。因此引入了一个经验性的阈值τ，当且仅当q≤τ，λ会被更新。

本发明使用自学习步骤，可以使训练中的模型能够在线地对未标注的样本进行伪标注，无需停止训练过程，实现增量式的端到端的持续学习，不断提高检测模型的精度，极大的解决了现实中人工标注样本不足的问题。随着模型性能的提高，伪标注能够获得更加精确的结果，而且每一次伪标注都是一次性伪标注，只在当前训练迭代次数下有效，下次微调训练将重新进行伪标注，这样可以减少因模型精度不高带来的累计误差。

步骤404，引入主动学习课程指导主动学习过程挖掘“困难”样本(低置信度样本)进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本，这些样本需要通过主动学习的方式进行简单的人工标注。在本发明具体实施例中，步骤104根据主动学习使用最少样本最大化激活模型的思想，将主动学习过程的模式函数f_AL〔u_i，γ〕定义为：

f_AL〔u_i，γ〕＝-γu_i，

这里γ是一个正的阈值来选择困难样本给予人工标注。对于困难或信息量大的低置信度的样本，模型通常难以给出准确预测，而这样的样本通常能使模型学习到更加丰富的特征信息，提高模型预测准确性。本发明提出的主动学习过程可以充分利用困难样本，当

时，选择此样本进行人工标注，主动学习过程标注最具信息量的困难样本加入训练微调模型，纠正自学习过程带来的累积误差，指导自学习过程，并将标注了的样本groundtruth(即物体的正确类别以及坐标)标记为True。

步骤405，引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换。

本发明提出的模型主要利用了两个学习过程——主动学习过程与自学习过程。为了模型的有效优化，本发明为以上两个过程引入对偶课程——主动学习课程Ψ^γ和自学习课程Ψ^λ来约束U和V的优化。根据人的认知原理，Ψ^γ和Ψ^λ能够提供专业的信息来指导模型训练过程。具体来说，这两个对偶课程分别被初始化为一个限制到{0，1}_x和[0，1〕^mx的域。例如在第t次迭代中，假设已经获得了人工标注的样本集合A_t-1，以及属于未定义的物体类别或易混淆而被分类器丢弃的样本集合B_t-1。

在本发明中，主动学习课程指导主动学习过程自动选择可靠的具有丰富信息的样本，纠正自学习课程带来的累积误差和初始模型不可靠带来的预测误差；同时随着模型的持续训练，自学习课程指导的自学习过程获得更可靠的伪标注样本，模型参数具有更强的稳定性和鲁棒性，可以减少主动学习过程的人工标注。双重对偶课程互相补充，互为指导，可以在自学习过程和主动学习过程中无缝切换。

步骤406将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说，将自学习过程中计算机自动标注的伪标注样本和主动学习过程中人工标注的样本加入训练微调模型以提升模型检测的性能。

在本发明具体实施例中，待训练参数包括U,V,Y和W，初始化隐式权重变量V₀和U₀以及提供初始的标签Y₀和初始化模型参数W₀。以下分别进行说明：

1、隐变量权重U和V

其优化目的是在每一轮迭代中提供越来越多的训练样本。为了这一目标，本发明使用针对隐权重变量U和V的最大-最小优化方法，在这里U代表了样本是否困难，V代表了使用伪标注的样本的可靠性。

其中

和

在更新U和V过程中被固定，根据如下公式迭代求解可得最优解

如下所示，其中

2、更新参数Y

通过固定以上计算出的U和V(表示为

和

),为每个无标记的候选物体区域更新Y。在本发明提出的框架中，极少数的候选物体区域会被人工标注获得y_truth，绝大多数候选区域会通过自学习过程做伪标注

根据以上公式在自学习过程高置信度样本自动伪标注阶段和主动学习过程低置信度样本人工标注阶段更新参数Y。

3、更新参数W

利用给定{X,Y,U,V,Ψ^γ，Ψ^λ}，可以优化网络参数W，根据公式(4)，此时模型可以简化为如下优化目标函数：

该目标函数可以分解为一系列基于批量梯度下降法来求解，利用标准的反向传播算法更新参数W。

在本发明具体实施例中，本发明之动态选择策略的主动样本挖掘的物体检测方法的学习过程算法如下：

输入：

训练数据集

输出：

模型的参数W。

初始化：

使用预训练好的CNN和少量标注样本

来初始化神经网络模型,

初始化课程Ψ^γ和Ψ^λ,隐变量集V和U,阈值γ和

重复

开始批量数据t＝1,…T

1.固定模型参数，根据公式(10)反向传播更新W

2.固定模型参数，根据公式(7)更新U,V

3.根据公式(9)，自学习过程选择高一致性样本更新Y

结束

更新低置信度样本集A_t和B_t

4.判断A_tUB_t非空执行

5.根据公式(9)，主动学习过程更新Y

6.根据公式(3)和(4)更新Ψ^γ，Ψ^λ

迭代训练β次，根据公式(6)更新λ

直到主动学习模块不能继续选出低置信度样本或达到最大迭代次数

综上所述，本发明一种动态选择策略的主动样本挖掘的物体检测系统及方法通过结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能，其首先利用少量的标注样本初始化模型，然后在线加入海量的未标注样本，利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注，利用自学习课程指导自学习过程挖掘从简单到困难样本以让计算机进行伪标注，最后将标注了的样本加入训练微调模型提高检测精度，本发明具有低成本高效益的性能，可以减少大量的人力物力，节约成本，具有较强的商业价值和应用前景。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (2)

1.一种动态选择策略的主动样本挖掘的物体检测系统，包括：

样本获取单元，用于获取少量标注样本和海量未标注样本；

模型建立及初始化单元，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

自学习单元，用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注；

主动学习单元，用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

双重对偶课程约束单元，通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换；

模型训练单元，用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能；

所述自学习单元的自动伪标注过程的模式函数f_ss(v_i，λ)为：

其中，

为样本x_i在训练第j类分类器上的权重，

表示每个分类器j的高置信度样本，随着模型的训练，λ^(j)逐渐增加来选择具有损失大的伪标注区域x_i微调网络；

所述自学习单元根据如下公式判断候选区域是否符合伪标注要求，若符合伪标注要求，则对其自动进行伪标注：

其中

表示第j个分类器在当前训练周期中，在验证集中模型输出的平均精度的-log值，α为控制阈值增长率的参数；

所述主动学习单元根据主动学习使用最少样本最大化激活模型的思想，将主动学习过程的模式函数f_AL(u_i，γ)定义为：

f_AL(u_i,γ)＝-γu_i，

其中γ为一个正的阈值来选择困难样本给予人工标注；

在物体检测中，假设有n个候选区域，m-1个类和一个背景类，所述动态选择策略的主动样本挖掘的物体检测系统的表达式如下：

其中，训练集

代表所有的候选区域，W代表了m个类别的物体检测网络共享的学习参数，样本x_i的标签记为

其中，

对应x_i第j类的标签，损失函数设置为

其中

为二分类的交叉熵损失：

u_i∈{0，1}为每个样本x_i隐式的指标变量，v_i∈[0，1)^m为隐权重变量，v_i∈[0，1)^m作为m维的权重向量，隐变量集合

是与类别无关的，决定此样本是否应该由用户主动标注，隐变量集合

是当前的检测器检测出的每个样本具体分类的权重，

为引入选择函数；

当u_i＝1时，有

所以

此时样本x_i被f_AL(u_i，γ)选择进行人工标注；当u_i＝0时，有

所以

此时样本x_i被f_ss(v_i，λ)选择进行自动伪标注，类别根据分类器φ_j的阈值λ^(j)判断；

所述双重对偶课程约束单元为主动学习过程与自学习过程引入主动学习课程Ψ^γ和自学习课程Ψ^λ的对偶课程来约束U和V的优化。

2.如权利要求1所述的一种动态选择策略的主动样本挖掘的物体检测系统，其特征在于：所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构，其包括卷积层、降采样层、矫正线性单元层、区域建议层、位置分数感知层和全连层，输出物体的类别和位置坐标。

Images