CN111191732A - 一种基于全自动学习的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于全自动学习的目标检测方法，所述方法包括：利用预处理后的小规模的人工标注数据集，使用深度神经网络进行模型的训练，使用Imagenet数据集训练的模型进行微调，获取深度模型；利用深度模型对原始大规模图像数据集伪标注的部分进行推理预测，进行非极大值抑制后去掉同一目标重复的预测，按类别分别存储预测结果的边界框及其置信度；通过自监督伪标注和主动学习样本选择，联合学习深度神经网络预测的信息熵和分歧度，根据权重对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本。本发明目的是解决在实际场景下，常用目标检测标注人力成本过高，训练模型迁移性和适应能力差的问题。

Description

一种基于全自动学习的目标检测方法

技术领域

本发明涉及目标检测领域，尤其涉及一种基于全自动学习的目标检测方法。

背景技术

随着深度学习和计算机视觉技术的日趋成熟，利用深度学习判断图片所含的物体类别、位置、大小信息——即目标检测开始大规模发展。常见的目标检测工作流程如下：首先，利用人工采集的图像数据集或网络上的图像数据进行人工标注，构建数据集；其次，使用常用的目标检测算法如Faster-RCNN、YOLO等训练数据集，得到所需的模型；然后，将模型和前向推理算法放到部署端或云端，在需要的场景下判断图像中含有的物体类别和位置，得到图像信息。

但是，这种工作流程存在以下问题：1、数据集类别繁多，数据量巨大，人工标注时间和人力成本高，数据标注准确性得不到保证；2、数据集类别变化快，目标检测模型更改类别需要重新标注训练，复杂度高。在真实的应用场景下，数据集、数据类别是经常发生改变的，需要大量的人员耗时耗力处理和维护。因此，常见的目标检测流程得到的模型训练和迁移不够灵活，难以适应实际应用上速度的需要。

目前，面向图像数据的自动学习方法主要有：

1)样本自动聚类方法：以少量标注为基准，作为聚类的中心点对数据进行聚类处理，使用聚类结果训练模型。该方法受聚类方法影响较大，并且只是在数据集规律且类别数量均匀时作用明显，另外当初始数据在整个训练集中所占比例较小时，算法的性能并不能达到理想要求。

2)基于分类分歧度的自动学习方法：利用多个检测器对数据集进行检测，取分类分歧度最大的样本进行标注后迭代训练，但是这种方法在实际应用中需要多个深度学习算法同时进行，消耗大量算力、时间等资源，不具有快捷性和自动性。同时算法稳定性较差，针对不同的任务表现参差不齐。

发明内容

本发明提供了一种基于全自动学习的目标检测方法，本发明目的是解决在实际场景下，常用目标检测标注人力成本过高，训练模型迁移性和适应能力差的问题，详见下文描述：

一种基于全自动学习的目标检测方法，所述方法包括：

利用预处理后的小规模的人工标注数据集，使用深度神经网络进行模型的训练，使用Imagenet数据集训练的模型进行微调，获取深度模型；

利用深度模型对原始大规模图像数据集伪标注的部分进行推理预测，进行非极大值抑制后去掉同一目标重复的预测，按类别分别存储预测结果的边界框及其置信度；

通过自监督伪标注和主动学习样本选择，联合学习深度神经网络预测的信息熵和分歧度，根据权重对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本。

其中，所述通过自监督伪标注和主动学习样本选择，联合学习深度神经网络预测的信息熵和分歧度，根据权重对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本具体为：

基于主动学习，根据分类的置信度差值收集预测结果有多个正标签的样本，随机地取β个样本作为难标注样本，进行人工标注后加入下一个数据集；

利用深度网络对新数据集进行网络训练，得到训练后的深度模型；

根据训练后的深度模型对新加入的样本进行预测，根据全连接层特征向量空间聚类，根据中心点标注整类，加入数据集；

更新参数，在测试集上测试训练后的深度模型的性能；

直到没有新类加入，数据集全部标注并且预测精度出现下降，得到全部标注的数据集和测试集精度最高的深度模型。

进一步地，所述使用Imagenet数据集训练的模型进行微调具体为：

总的迭代次数是70000，批处理大小设置为128，基础学习率为0.001，基础动量为0.9，学习率依多项式形式下降，衰减系数为0.1。

本发明提供的技术方案的有益效果是：

1、本发明将卷积神经网络与主动学习、自监督学习方法配合使用，形成了一种全自动学习的目标检测方法；

2、本发明利用小规模原始图像数据集，通过主动学习和自监督自动标注已有数据，减少模型过拟合的可能性，兼顾整个样本的分布特征，迭代地进行模型训练；通过结合模型预测的位置信息对新类别进行聚类，将新样本加入数据集迭代训练，从而训练理想精度的目标检测识别模型；提高了类别发生变化时模型迁移后精度和算法的快速适应能力；

3、本发明相比其他方法实现了面向目标检测场景的全自动学习，自动扩展标注样本进行训练，方便获得大规模标注数据集，可以大大减少人工标注的时间和经济成本，保证了标注的有效性和高效性；

4、本发明的算法复杂度远小于基于分类分歧度的自动学习方法，并且数据集的标注效果和训练的深度模型的性能相比样本自动聚类方法更高；

5、本发明可以应用于无人驾驶、遥感识别等多个领域。

附图说明

图1为一种基于全自动学习的目标检测方法的流程图；

图2为本发明的简略流程图；

图3为本发明的迭代更新模块流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本方法针对图像识别场景下，基于主动学习和自监督，提出一种面向目标检测的全自动学习方法，解决数据标注和模型类别迁移的成本问题，确保实际应用时模型能够良好适应检测任务。

如图1-3所示，本发明的具体步骤为：

一、数据准备阶段

首先构建大规模的原始图像数据集，通过预处理筛掉无意义的图片，获取数据集的整体信息，获取训练集、验证集和测试集，分割为k组数据，使用人工进行一组数据的初始标注，将图像归一化为卷积神经网络输入尺寸。

二、深度模型的训练

利用预处理后的小规模的人工标注数据集，使用深度神经网络Resnet101进行模型的训练，使用Imagenet数据集训练的模型进行微调，总的迭代次数是70000，批处理大小设置为128，基础学习率为0.001，基础动量为0.9，学习率依多项式形式下降，衰减系数为0.1，训练得到一个精度足够高的深度模型，记为Model₀。

三、深度模型预测

利用训练得到的深度模型Model₀对原始大规模图像数据集伪标注的部分进行推理预测，非极大值抑制(NMS)阈值设为0.3，进行非极大值抑制过程后去掉同一目标重复的预测，按类别分别存储预测结果的边界框及其置信度。

四、迭代自动标注

迭代自动标注过程是利用通过小样本训练出的深度模型，表达数据集的总体特征，通过预测结果的类别和定位置信度的性质，决定有效的自动标签和有标注价值的难样本。该算法联合学习了深度神经网络预测的信息熵和分歧度，可根据权重v对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本。

自动标注可以分为两个过程，自监督伪标注和主动学习样本选择，目标是最小化下面的公式(1)：

目标是最小化总权重V，i代表样本序号，j代表类别，w和b代表相应的权重和偏移量，C为正则化系数，实验中设为1，x_i代表第i个样本，y_i ^(j)代表第i个样本的标签，l代表交叉熵损失，λ_j为控制学习率的参数，f(v^(j)；λ_j)为控制学习率的自监督正则化器，由于变量约束，ψ^λ是凸函数，可以利用多种方法优化求解w,v，筛选出低置信度样本集进行人工处理。

训练损失表示如下，总损失Loss由三部分组成，即当前模型损失

自监督过程损失L_SS，主动学习过程L_AL：

自监督伪标注：

首先，根据上一步得到的预测结果，利用公式(1)计算选择样本的一致性分数s_i，如公式(3)所示：

其中，I为已标注图片的集合，RP_i为图片i的提取候选框，x_p,W表示模型W对第p个样本的预测，

为x_p输入第j类的置信度，j^*表示有最高置信度的预测类别，如公式(4)所示：

其中，

为第i个样本x_i在模型W下输入第j类的置信度，j属于m个类别之一，计算所有挑选出来的样本x_i的一致性分数s_i，然后对s进行降序排列，每种类别挑选置信度高于上阈值θ_u且一致性分数不为0的样本，令H表示伪标注的高一致性样本，随机在H中选取a个样本，直接将伪标注作为样本的标签，加入标注集，m种类别中重要的样本定义为H＝[h₁,h₂,h_j…h_m]。

其中，j<a，以便于控制每种类别伪标注的数量和控制迭代过程的优化，可以有效地抑制逐渐增加的伪标签错误的积累。结合softmax公式，自监督部分交叉熵损失如公式(5)所示，v_i ^j代表第i个样本属于j类的v参数，l_j(x_i,w)如下所示，为模型w预测的样本x_i在j类的交叉熵损失，

为第i个样本x_i在模型W下输入第j类的置信度，y_i ^(j)为样本预测结果是否与标注相符，y_i ^(j)∈{0,1}：

主动学习样本选择：

对高一致性样本进行伪标注后，使用主动学习过程的目的是选择有更多信息的未标注的样本，然后对其进行人工标注。基于不确定性准则，收集s_i低于下阈值θ_d，预测结果有多个正标签(分类有歧义)的样本，称这些样本为低一致性样本。随机从低一致性样本中挑选β个，放到低一致性样本集L，然后通过人工标注，获得准确的标签，以增强中间模型的预测能力。主动学习过程带来的损失可以用公式(6)表示，H表示伪标注样本集，RP_i为图片i的region proposal，结合分类和L_loc(W)表示W的回归损失，同时交叉熵损失l_j(x_i,W)与公式(5)类似。

五、新类别聚类标注

新加入K个新类别数据，使用当前模型Model_i对新增数据进行推理检测，截取预测的bounding box作为聚类样本，随机选取K个样本作为聚类中心，将模型Model_i全连接层的输出归一化作为每个样本的特征向量，将聚类样本映射到特征空间，如公式(7)所示，

为p在特征空间的坐标，

为x_p输入第j类的置信度：x_max为最大置信度类样本。

计算各样本与各个聚类中心的特征空间距离。将各样本回归于与之距离最近的聚类中心，求各个类的样本的均值，作为新的聚类中心。若类中心不再发生变动或者达到迭代次数，聚类结束。目标是最小化K类质心和簇中所有点的距离之和，使用欧式距离时可简化为公式(8)，

为p在特征空间的坐标，μ_i为质心的坐标，S_i为第i个聚类簇：

六、中间结果测试，更新模型参数

中间结果即使用更新标注后的数据集作为训练集，利用深度神经网络进行模型的训练，并将训练得到的模型Model_i在测试集上进行测试，记录模型精度。

更新模型参数α和β，更新公式如公式(9)所示，Train_i表示第i次迭代训练集的大小，θ_u为预设的上阈值，θ_d为预设的下阈值：

α＝min(Train_i*θ_u/2,Train₀*θ_u*i)

β＝min(Train_i*θ_d,Train₀*θ_d*i)

公式(9)

七、重复步骤三至步骤六的操作，直到没有新类加入，数据集全部标注并且预测精度出现下降为止。得到全部标注的数据集N′和测试集精度最高的深度模型Model_final。全自动学习方法结束，标注后的数据集也可用于相关任务，在新类别加入时可以通过步骤五自动更新模型。

本发明所使用的算法伪代码如表1所示：

表1

本发明具有以下三个关键创造点：

一、利用主动学习自监督标注；1)通过训练好的深度模型对未标注样本进行度量，选取置信度和一致性高的样本作为伪标注加入下一轮训练，2)选取最具标注价值的样本，人工进行小部分标注，增强模型预测性能；技术效果：利用主动学习选取的难样本可以明显降低模型的过拟合程度，增强模型预测的精确度，提高自监督方法自动标注的样本数量和标注效果。

二、利用特征空间聚类方法标注新类别样本；结合原模型预测位置信息，将新加入的样本的模型输出映射到特征空间进行聚类，自动完成整个新类的标注，加入数据集；技术效果：通过特征聚类将大量新样本自动加入训练集，有效提高模型的迁移能力，增强模型对新类别的适应能力和预测精度。

三、迭代自动标注策略；1)利用深度神经网络，加载训练好的模型对增加标注后的样本进行预测；2)对预测后的结果通过自监督方法再次进行筛选，不断增加加入训练集的标注样本数量；3)将新类的样本聚类标注自动加入训练集；如此进行迭代标注训练，得到合适的检测模型和大规模数据集；技术效果：该策略对图像数据进行迭代的自动标注，标注时间和人力成本大幅度降低，同时简化了新类加入后的模型修改，提高了模型精度。

实验数据集属性

实验精度对比(mAP)

方法/数据量	10％	20％	30％	40％	100％
						FasterRCNN	0.746	0.816	0.843	0.853	0.869
全自动学习	0.814	0.852	0.866	0.870	0.885

综上所述，本发明可以有效利用自动学习方法和少量人工初始信息，通过自监督和主动学习方法完善当前数据集的标注，对新加入的类别样本进行聚类标注，然后利用完善后的数据迭代地进行训练，得到精度较高的训练模型和标注后的数据集。数据集可用于模型的训练或者其他方面的研究工作，从而进行相关的目标检测任务或应用如无人驾驶、遥感识别等。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于全自动学习的目标检测方法，其特征在于，所述方法包括：

利用预处理后的小规模的人工标注数据集，使用深度神经网络进行模型的训练，使用Imagenet数据集训练的模型进行微调，获取深度模型；

利用深度模型对原始大规模图像数据集伪标注的部分进行推理预测，进行非极大值抑制后去掉同一目标重复的预测，按类别分别存储预测结果的边界框及其置信度；

通过自监督伪标注和主动学习样本选择，联合学习深度神经网络预测的信息熵和分歧度，根据权重对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本。

2.根据权利要求1所述的一种基于全自动学习的目标检测方法，其特征在于，所述通过自监督伪标注和主动学习样本选择，联合学习深度神经网络预测的信息熵和分歧度，根据权重对未标记的样本进行排序，将伪标签分配给排名靠前的高置信度样本具体为：

基于主动学习，根据分类的置信度差值收集预测结果有多个正标签的样本，随机地取β个样本作为难标注样本，进行人工标注后加入下一个数据集；

利用深度网络对新数据集进行网络训练，得到训练后的深度模型；

根据训练后的深度模型对新加入的样本进行预测，根据全连接层特征向量空间聚类，根据中心点标注整类，加入数据集；

更新参数，在测试集上测试训练后的深度模型的性能；

直到没有新类加入，数据集全部标注并且预测精度出现下降，得到全部标注的数据集和测试集精度最高的深度模型。

3.根据权利要求1所述的一种基于全自动学习的目标检测方法，其特征在于，所述使用Imagenet数据集训练的模型进行微调具体为：

总的迭代次数是70000，批处理大小设置为128，基础学习率为0.001，基础动量为0.9，学习率依多项式形式下降，衰减系数为0.1。

Images