CN108985334B - 基于自监督过程改进主动学习的通用物体检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于自监督过程改进主动学习的通用物体检测系统及方法，该系统包括：样本获取单元，获取少量标注样本和海量未标注样本；模型建立及初始化单元，建立深度学习物体检测模型，并利用少量标注样本初始化深度学习物体检测模型；自监督学习单元，引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注,并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票选择出高预测一致性的伪标注样本；主动学习单元，引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；模型训练单元，用于将选择的高预测一致性的伪标注样本和人工标注的样本训练模型以提升模型性能。

Description

基于自监督过程改进主动学习的通用物体检测系统及方法

技术领域

本发明涉及物体检测及深度学习技术领域，特别是涉及一种基于自监督过程改进主动学习的通用物体检测系统及方法。

背景技术

近年来，随着互联网的快速发展和计算能力的提升，受益于大规模训练数据的深度学习技术取得了突破性的进步。物体检测作为计算机视觉领域的一个经典任务，检测精度取得了巨大的提升。以候选区域为基础的物体检测网络对一张输入的图像提取大量的候选物体区域，并对这些区域进行类别标注和位置回归，提升了物体检测的识别精度和识别速度。然而，神经网络的检测效果极其依赖训练网络的标注样本数据，因此，如何利用大规模的未标注或是少量标注的数据有效训练网络，提升其检测精度是亟待解决的问题。

为了使用更少的标注数据训练出高精度的检测模型，一般需要解决以下技术问题：

1)在保证模型效果的同时，尽量减少人工样本标注。通常的神经网络训练，非常依赖大量人工标注的数据集，而比起其他视觉任务(例如，图像分类和动作识别)，标注物体需要提供图片中所有物体的类别标签和物体所处区域的边框坐标。因此，对图像进行人工标注非常耗时耗力，发展自动标注无标签数据的方法是减少人工标注负担的关键步骤。

2)挖掘能够显著提高分类器表现的特殊训练样本。现有的物体检测数据集通常包含了绝大多数普通的“简单”样本和少量有益的“困难”样本(即，富含各种光照，变形，遮挡和类内变化的信息量)。因为他们服从长尾分布，“困难”的例子是罕见的，为了利用这些能够最有效训练神经网络的“困难”样本，需要能够从大量样本中将其识别出来。

3)抑制坏样本的负面影响。一些训练样本(例如，离群点或噪声样本)可能会使模型发生偏移，在训练时排除被数据集中的标注者标记为“混乱”的样本后，训练得到的物体检测性能可以得到大幅度的改进和提高。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于自监督过程改进主动学习的通用物体检测系统及方法，以结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能以提高检测精度，本发明可在减少大量的人力物力、节约成本基础上实现通用物体检测目的。

为达上述及其它目的，本发明提出一种基于自监督过程改进主动学习的通用物体检测系统，包括：

样本获取单元，用于获取少量标注样本和海量未标注样本；

模型建立及初始化单元，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

自监督学习单元，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注,并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本；

主动学习单元，用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

模型训练单元，用于将选择的高预测一致性的伪标注样本和人工标注的样本训练模型以提升模型性能。

优选地，所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构，其包括卷积层，降采样层，矫正线性单元层，区域建议层，位置分数感知层和全连层等结构构成，输出物体的类别和位置坐标。

优选地，所述自监督学习单元具体包括：

自步学习伪标注模块，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注，标注出物体的类别和位置坐标；

图像交叉验证模块，用于对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本。

优选地，对于海量的未标注图像的候选区域

所述自步学习伪标注模块根据自步学习技术选取

最大的类别进行自动伪标注。

优选地，所述图像交叉验证模块的模式函数f(x_i；W)定义为：

其中B(x_i)表示候选区域x_i预测的原坐标，B(x_p)表示将候选区域x_p贴到其他图像上重新预测的坐标，Iou表示候选区域坐标B(x_i)和坐标B(x_p)之间的重合度，γ是一个阈值参数，φ_j(x_i；W)表示贴图后候选区域x_i属于第j个类别的概率分数，

表示排除第j个类别后的标注图片

优选地，所述系统还包括正则化模块，所述正则化模块于自监督学习后利用正则化项根据损失函数惩罚相同的隐变量权重。

优选地，在物体检测中，假设有n个候选区域，m-1个类和一个背景类，所述基于自监督过程改进

其中，L_loc(W)代表位置回归损失，

和

分别代表主动学习过程和自监督学习过程的分类损失，W代表了m个类别的物体检测网络共享的学习参数。

其中Ω_I表示当前标注图片产生的被标注的建议区域,

V代表一组隐变量权重，

表示硬权重正则化项，

代表图片集合I未标注的建议区域。样本x_i的标签记为

这里

对应x_i第j类的标签，l_j(x_i,W)是一种特定类的经验损失函数：

其中logφ_j(x_i；W)表示每个候选区域x_i属于第j个类别的概率分数。

优选地，对于每个候选区域x_i定义了如下两组可实时切换的课程约束：

(1)

时，训练过程进入自监督学习阶段，此时课程为自监督学习课程，模型自动对候选区域x_i进行伪标注，

是当前的检测器检测出的每个无标注样本的具体分类的权重；

(2)

时，训练过程进入主动学习阶段，此时课程为主动学习课程，权重向量

设置为1，

表示第t用户标注阶段每个候选区域x_i的课程约束。

优选地，在物体检测中，约束

惩罚除以下两种情况外的所有情况：

(1)

为第j个分类器预测正其余分类器预测为负；

(2)所有分类器预测

为负，此时属于未定义类别。

为达到上述目的，本发明还提供一种基于自监督过程改进主动学习的通用物体检测方法，包括如下步骤：

步骤一，获取少量标注样本和海量未标注样本；

步骤二，建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

步骤三，引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注,并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本；

步骤四，引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

步骤五，将选择的高预测一致性的伪标注样本和人工标注的样本训练模型以提升模型性能。

与现有技术相比，本发明一种基于自监督过程改进主动学习的通用物体检测方系统及方法通过结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能，其首先利用少量的标注样本初始化模型，然后在线加入海量的未标注样本，利用自监督学习课程指导自监督学习过程挖掘从简单到困难样本让计算机自动进行伪标注，扩展运用多张图像交叉验证的方式对伪标注的样本进行重新预测投票决策选出高预测一致性的样本，并利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注，最后将标注了的样本加入训练微调模型以提高检测精度，本发明可以减少大量的人力物力，节约成本，具有很强的商业价值和应用前景。

附图说明

图1为本发明一种基于自监督过程改进主动学习的通用物体检测系统的系统架构图；

图2为本发明具体实施例中物体检测网络结构的框架结构图；

图3为本发明具体实施例中图像交叉验证模块的结构示意图；

图4为本发明一种基于自监督过程改进主动学习的通用物体检测方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于自监督过程改进主动学习的通用物体检测系统的系统架构图。如图1所示，本发明一种基于自监督过程改进主动学习的通用物体检测系统，包括：

样本获取单元101，用于获取少量标注样本和海量未标注样本。

于本发明中，样本获取单元101可通过互联网例如一些在线视频网站或者直播网站获得样本，并对少量样本进行人工标注。

模型建立及初始化单元102，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中，所述深度学习物体检测模型使用Fast-RCNN，Faster-RCNN，R-FCN作为主要的物体检测网络结构，如图2所示，其可由卷积网络(卷积层，降采样层，矫正线性单元层)、区域建议层，位置分数感知层(感兴趣区域)和池化层等结构构成，其输出物体的类别和位置坐标，这里需说明的是，所述网络结构的网络层的组合方式可以多样，本发明不以此为限。本发明于建立好深度学习物体检测框架后，利用少量的标注样本(例如10％的样本)预训练模型得到一个初始模型，剩余样本为未标注样本。

自监督学习单元103，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注，并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本。

具体地，自监督学习单元103进一步包括：

自步学习伪标注模块103a，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说，根据当前模型预测出一组高置信度的“简单”样本，这些样本可以通过自监督学习的方式让计算机进行自动地伪标注，标注出物体的类别和位置坐标。

具体地说，对于海量的未标注图像的候选区域

通过自监督过程中的高置信度阈值自动进行伪标注。本发明受到自步学习技术的启发，选取

最大的类别进行自动伪标注。

被用来定义第j个分类器的高置信度候选区域，模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标。

图像交叉验证模块103b，用于对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本。也就是说，图像交叉验证模块103b对自步学习伪标注模块103a得到的伪标注样本进行多张图片贴图操作，利用网络模型对贴图进行重新预测，根据预测分数和坐标关系投票决策选择出高预测一致性的伪标注样本。

具体地，图像交叉验证模块示意图如图3所示，该模块用于验证某个候选区域贴在多张图片中是否具有高度一致性，此时将模式函数f(x_i；W)定义为：

其中B(x_i)表示候选区域x_i预测的原坐标，B(x_p)表示将候选区域x_p贴到其他图像上重新预测的坐标，Iou表示候选区域坐标B(x_i)和坐标B(x_p)之间的重合度，γ是一个阈值参数，这里设置为0.5，φ_i(x_p；W)表示贴图后候选区域x_i属于第j个类别的概率分数。将候选区域贴在k张不含该预测类别的图片中进行再次检测，若Iou大于阈值γ的张数大于k/2，则认为该候选区域认为是高预测一致性样本，这里k设置为5。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标，该标注是一次性的，每次更新时将重新预测。

本发明在各种通用物体检测结构中使用自监督学习单元，可以使训练中的模型能够在线地对未标注的样本进行伪标注，无需停止训练过程，实现增量式的端到端的持续学习，不断提高检测模型的精度，极大的解决了现实中人工标注样本不足的问题，随着模型性能的提高，伪标注能够获得更加精确的结果，而且每一次伪标注都是一次性伪标注，只在当前训练迭代次数下有效，下次微调训练将重新进行伪标注，这样可以减少因模型精度不高带来的累计误差。

在此需说明的是，本发明提出了两种伪标注的思想，分别用于无交叉验证模块和适配有交叉验证模块的标注器，使用者可根据计算资源情况进行选择。

主动学习单元104，用于引入主动学习课程指导主动学习过程挖掘“困难”样本(低置信度样本)进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本，这些样本需要通过主动学习的方式进行简单的人工标注。

主动学习单元是本发明人机交互重要模块。根据主动学习方法的技术，若v_i ^(j)＝1，进入主动学习过程，对于困难或信息量大的低置信度的样本未标注的候选区域,该样本将进行简单的人工标注，本发明利用主动学习过程标注最具信息量的困难样本加入训练微调模型，纠正自监督学习过程带来的累积误差，指导自监督学习过程，并标注了的样本将ground truth标记为True，该标注是永久性的，一次标注将永久标注。

模型训练单元105，用于将选经图像交叉验证筛选出来的高预测一致性伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说，模型训练单元106将自监督学习单元103中经图像交叉验证筛选出来的高预测一致性伪标注样本和主动学习单元104中人工标注的样本加入训练微调模型以提升模型检测的性能。

较佳地，本发明之基于自监督过程改进主动学习的通用物体检测系统还包括正则化模块，所述正则化模块于自监督学习后利用正则化项根据损失函数惩罚相同的隐变量权重，根据线性软权重正则化方法，将正则化项

定义如下：

其中，定义

如下：

因此，在本发明具体实施例中，本发明自监督式的主动样本挖掘的物体检测系统的公式化表达式如下：

其中，L_loc(W)代表位置回归损失，

和

分别代表主动学习过程和自监督学习过程的分类损失。W代表了m个类别的物体检测网络共享的学习参数。

其中Ω_I表示当前标注图片产生的被标注的建议区域,

V代表一组隐变量权重，

表示硬权重正则化项，

代表图片集合I未标注的建议区域。

这里两点需要注意：(1)在本发明中只有少量的标注样本(10％)初始化模型，大量的样本的标签

是不可知的；(2)数据

是以一种增量式的方式输入到检测网络中，因此数据规模是逐渐增加的。每个样本x_i有一个隐权重变量

作为m维的权重向量。样本x_i的标签记为

这里

对应x_i第j类的标签，l_j(x_i，W)是一种特定类的经验损失函数：

其中logφ_j(x_i；W)表示每个候选区域x_i属于第j个类别的概率分数。

表示的是第t此用户标注阶段每个候选区域x_i的课程约束。特别的，本发明给每个候选区域x_i定义了如下两组可实时切换的课程约束：(1)

时，训练过程进入自监督学习阶段，此时课程为自监督学习课程，模型自动对候选区域x_i进行伪标注，

是当前的检测器检测出的每个无标注样本的具体分类的权重。(2)

时，训练过程进入主动学习阶段，此时课程为主动学习课程，权重向量

设置为1。约束

惩罚除以下两种情况外的所有情况：(1)

为第j个分类器预测正其余分类器预测为负；(2)所有分类器预测

为负，此时属于未定义类别。

对于模型训练单元，本发明待训练参数包括V,Y,Ψ^t和W,初始化隐式权重变量V₀,初始课程Ψ^t0，以及提供初始的标签Y₀和初始化模型参数W₀。以下分别进行说明：

1、隐变量权重V

固定参数{Ψ^t，Y，X，W}，可直接根据公式(1)

计算f(x_i；W)，然后根据公式(3)

得到V。

2、更新参数Y

根据获得的V和一致性预测分数s,对候选区域

的预测分数

按照降序排列,对每个类别选取前k个最高非零值。这些m个类别重要性样本定义为H＝[H₁，...，H_j，...，H_m](|H_j|≤k),H即为高预测一致性样本赋予伪标注。固定

根据公式(4)、(6)可优化y_i:

其中，v_i固定为一个常数，x_i以一个很高的概率赋予伪标注，运用重排技术，将伪标注赋予排列了的高预测一致性样本集H，公式(8)一个清晰的解。本发明在增量式的伪标注过程中利用以下两个优点来减少累积误差：(1)所有的伪标注都是一次性的，在每次批量迭代过程后伪标注将会被抛弃；(2)图像交叉验证被引入，除了预测的高预测一致性分数，课程约束也会决定是否进行伪标注。同时，课程约束根据用户主动学习的标注进行更新，避免因检测器性能不佳带来的累积误差。

3、更新参数Ψ^t

主动学习过程选择具有丰富信息的未标注样本通过用户将其标为正样本或负样本。选择策略基于经典的不确定性选择策略，本发明选择经过图像交叉验证后的低一致性样本，将使当前分类器“困惑”的样本(预测为两个正类别)进行人工标注。将这些标注的样本U加入课程约束Ψ^t中更新Ψ^t，主动学习过程进行如下两个操作：(1)设置课程约束

(2)更新标签{y_i}_i∈U并将其加入当前已标注的样本集Ω^t中。

4、更新参数W

利用给定{D,V,Y,Ψ^t}，可以优化网络参数W，根据公式(4)，此时模型可以简化为如下优化目标函数：

该目标函数可以分解为一系列基于批量梯度下降法来求解，利用标准的反向传播算法更新参数W。

图4为本发明一种基于自监督过程改进主动学习的通用物体检测方法的步骤流程图。如图4所示，本发明一种基于自监督过程改进主动学习的通用物体检测方法，包括如下步骤：

步骤401，获取少量标注样本和海量未标注样本。

于步骤401中，这里的样本可通过互联网例如一些在线视频网站或者直播网站获得，并对少量样本进行人工标注。

步骤402，建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中，所述深度学习物体检测模型使用Fast-RCNN，Faster-RCNN，R-FCN作为主要的物体检测网络结构，其输出物体的类别和位置坐标。本发明于建立好深度学习物体检测框架后，利用少量的标注样本(例如10％的样本)预训练模型得到一个初始模型，剩余样本为未标注样本。

步骤403，引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注，并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本。

具体地，步骤403包括：

引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说，于本步骤中，根据当前模型预测出一组高置信度的“简单”样本，这些样本可以通过自监督学习的方式让计算机进行自动地伪标注，标注出物体的类别和位置坐标。

具体地说，对于海量的未标注图像的候选区域

通过自监督过程中的高置信度阈值自动进行伪标注。本发明受到自步学习技术的启发，选取

最大的类别进行自动伪标注。

被用来定义第j个分类器的高置信度候选区域，模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标。

对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本。也就是说，对自动伪标注得到的伪标注样本进行多张图片贴图操作，利用网络模型对贴图进行重新预测，根据预测分数和坐标关系投票决策选择出高预测一致性的伪标注样本。

具体地，图像交叉验证过程定义为:

其中B(x_i)表示候选区域x_i预测的原坐标，B(x_p)表示将候选区域x_p贴到其他图像上重新预测的坐标，Iou表示候选区域坐标B(x_i)和坐标B(x_p)之间的重合度，γ是一个阈值参数，这里设置为0.5，φ_i(x_p；W)表示贴图后候选区域x_i属于第j个类别的概率分数。将候选区域贴在k张不含该预测类别的图片中进行再次检测，若Iou大于阈值γ的张数大于k/2，则认为该候选区域认为是高预测一致性样本，这里k设置为5。将分类器分数最高一类作为其分类结果，将回归器的输出作为真实物体位置坐标，该标注是一次性的，每次更新时将重新预测。

本发明在各种通用物体检测结构中使用自监督学习，可以使训练中的模型能够在线地对未标注的样本进行伪标注，无需停止训练过程，实现增量式的端到端的持续学习，不断提高检测模型的精度，极大的解决了现实中人工标注样本不足的问题，随着模型性能的提高，伪标注能够获得更加精确的结果，而且每一次伪标注都是一次性伪标注，只在当前训练迭代次数下有效，下次微调训练将重新进行伪标注，这样可以减少因模型精度不高带来的累计误差。

步骤404，引入主动学习课程指导主动学习过程挖掘“困难”样本(低置信度样本)进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本，这些样本需要通过主动学习的方式进行简单的人工标注。

在本发明具体实施例中，根据主动学习方法的技术，若

进入主动学习过程，对于困难或信息量大的低置信度的样本未标注的候选区域,该样本将进行简单的人工标注，本发明利用主动学习过程标注最具信息量的困难样本加入训练微调模型，纠正自监督学习过程带来的累积误差，指导自监督学习过程，并标注了的样本将ground truth标记为True，该标注是永久性的，一次标注将永久标注。

步骤405，将选经图像交叉验证筛选出来的高预测一致性伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说，于本步骤中，将自监督学习经图像交叉验证筛选出来的高预测一致性伪标注样本和主动学习过程中人工标注的样本加入训练微调模型以提升模型检测的性能。

较佳地，本发明之基于自监督过程改进主动学习的通用物体检测方法还包括利用正则化项根据损失函数惩罚相同的隐变量权重的步骤，本发明根据线性软权重正则化方法，将正则化项

定义如下：

其中，定义

如下：

于步骤405中，本发明待训练参数包括V,Y,Ψ^t和W,初始化隐式权重变量V₀,初始课程Ψ^t0，以及提供初始的标签Y₀和初始化模型参数W₀。以下分别进行说明：

1、隐变量权重V

固定参数{Ψ^t，Y，X，W}，可直接根据如下公式：

计算f(x_i；W)，然后根据如下公式：

得到V。

2、更新参数Y

根据获得的V和一致性预测分数s,对候选区域

的预测分数

按照降序排列,对每个类别选取前k个最高非零值。这些m个类别重要性样本定义为H＝[H₁，...，H_j，...，H_m](|H_j|≤k),H即为高预测一致性样本赋予伪标注。固定

根据公式(3)可优化y_i:

v_i固定为一个常数，x_i以一个很高的概率赋予伪标注，运用重排技术，将伪标注赋予排列了的高预测一致性样本集H,公式(8)有一个清晰的解。本发明在增量式的伪标注过程中利用以下两个优点来减少累积误差：(1)所有的伪标注都是一次性的，在每次批量迭代过程后伪标注将会被抛弃；(2)图像交叉验证被引入，除了预测的高预测一致性分数，课程约束也会决定是否进行伪标注。同时，课程约束根据用户主动学习的标注进行更新，避免因检测器性能不佳带来的累积误差。

3、更新参数Ψ^t

主动学习过程选择具有丰富信息的未标注样本通过用户将其标为正样本或负样本。选择策略基于经典的不确定性选择策略，本发明选择经过图像交叉验证后的低一致性样本，将使当前分类器“困惑”的样本(预测为两个正类别)进行人工标注。将这些标注的样本U加入课程约束Ψ^t中更新Ψ^t，主动学习过程进行如下两个操作：(1)设置课程约束

(2)更新标签{y_i}_i∈U并将其加入当前已标注的样本集Ω^t中。

4、更新参数W

利用给定{D,V,Y,Ψ^t}，可以优化网络参数W，根据公式(4)，此时模型可以简化为如下优化目标函数：

该目标函数可以分解为一系列基于批量梯度下降法来求解，利用标准的反向传播算法更新参数W。

在本发明具体实施例中，本发明之基于自监督过程改进主动学习的通用物体检测方法的学习过程算法如下：

输入：

训练数据集

输出：

模型的参数W。

初始化

使用预训练好的CNN和少量标注样本

来初始化神经网络模型,初始化课程Ψ⁰，标签集

隐变量权重集V和一致性分数集S。

重复

t:＝0

开始批量数据处理＝1,…T

1、固定模型参数，根据公式(10)反向传播更新W

2、固定模型参数，通过自监督过程根据公式(8)更新S

3、通过重新排序更新H

4、根据公式(9)，自监督过程选择高预测一致性样本更新{y_i}_i∈H

结束

更新低置信度样本集U

5、判断U非空执行

6、通过主动学习过程更新{y_i}_i∈U和课程约束

7、用{y_i}_i∈U更新标注样本集Ω^t

8、t:＝+1

直到主动学习模块不能继续选出低置信度样本或达到最大迭代次数

综上所述，本发明一种基于自监督过程改进主动学习的通用物体检测方系统及方法通过结合样本挖掘技术和深度学习物体检测技术，利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能，其首先利用少量的标注样本初始化模型，然后在线加入海量的未标注样本，利用自监督学习课程指导自监督学习过程挖掘从简单到困难样本让计算机自动进行伪标注，扩展运用多张图像交叉验证的方式对伪标注的样本进行重新预测投票决策选出高预测一致性的样本，并利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注，最后将标注了的样本加入训练微调模型提高检测精度，本发明可以减少大量的人力物力，节约成本，具有很强的商业价值和应用前景。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (5)

1.一种基于自监督过程改进主动学习的通用物体检测系统，包括：

样本获取单元，用于获取少量标注样本和海量未标注样本；

模型建立及初始化单元，用于建立深度学习物体检测模型，并利用少量的标注过的样本初始化所述深度学习物体检测模型；

自监督学习单元，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注,并对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本；

主动学习单元，用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注；

模型训练单元，用于将选择的高预测一致性的伪标注样本和人工标注的样本训练模型以提升模型性能；

所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构，输出物体的类别和位置坐标；

所述自监督学习单元具体包括：

自步学习伪标注模块，用于引入自监督学习课程指导自监督学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注，标注出物体的类别和位置坐标；

图像交叉验证模块，用于对伪标注过的样本进行图像交叉验证，进行图像贴图重新预测，交叉投票进一步选择出高预测一致性的伪标注样本；

对于海量的未标注图像的候选区域

所述自步学习伪标注模块根据自步学习技术选取最大的类别进行自动伪标注；

所述图像交叉验证模块的模式函数f(x_i；W)定义为：

其中B_I(x_i)表示候选区域x_i预测的原坐标，B_I(x_p)表示将候选区域x_p贴到其他图像上重新预测的坐标，Iou表示候选区域坐标B(x_i)和坐标B(x_p)之间的重合度，γ是一个阈值参数，φ_j(x_i；w)表示贴图后候选区域x_i属于第j个类别的概率分数，

表示排除第j个类别后的标注图片，W表示网络参数。

2.如权利要求1所述的一种基于自监督过程改进主动学习的通用物体检测系统，其特征在于：所述系统还包括正则化模块，所述正则化模块于自监督学习后利用正则化项根据损失函数惩罚相同的隐变量权重。

3.如权利要求2所述的一种基于自监督过程改进主动学习的通用物体检测系统，其特征在于：在物体检测中，假设有n个候选区域，m-1个类和一个背景类，所述基于自监督过程改进主动学习的通用物体检测系统的表达式如下:

其中，L_loc(W)代表位置回归损失，

和

分别代表主动学习过程和自监督学习过程的分类损失，W代表了m个类别的物体检测网络共享的学习参数，

其中Ω_I表示当前标注图片产生的被标注的建议区域,

V代表一组隐变量权重，

表示硬权重正则化项，

代表图片集合I未标注的建议区域，

表示样本x_i对第j类的隐变量权重，样本x_i的标签记为

这里

对应x_i第j类的标签，：

其中logφ_j(x_i；W)表示每个候选区域x_i属于第j个类别的概率分数。

4.如权利要求3所述的一种基于自监督过程改进主动学习的通用物体检测系统，其特征在于：对于每个候选区域x_i定义了如下两组可实时切换的课程约束：

(1)

时，训练过程进入自监督学习阶段，此时课程为自监督学习课程，模型自动对候选区域x_i进行伪标注，

是当前的检测器输出的含每个类别的一组隐变量权重；

(2)

时，训练过程进入主动学习阶段，此时课程为主动学习课程，权重向量

设置为1，

表示第t用户标注阶段每个候选区域x_i的课程约束。

5.如权利要求4所述的一种基于自监督过程改进主动学习的通用物体检测系统，其特征在于，在物体检测中，约束

惩罚除以下两种情况外的所有情况：

(1)

为第j个分类器预测正其余分类器预测为负；

(2)所有分类器预测

为负，此时属于未定义类别。

Images