CN114724015A - 一种基于主动域自适应学习降低标注需求的目标检测方法 - Google Patents
一种基于主动域自适应学习降低标注需求的目标检测方法 Download PDFInfo
- Publication number
- CN114724015A CN114724015A CN202210270638.1A CN202210270638A CN114724015A CN 114724015 A CN114724015 A CN 114724015A CN 202210270638 A CN202210270638 A CN 202210270638A CN 114724015 A CN114724015 A CN 114724015A
- Authority
- CN
- China
- Prior art keywords
- data
- domain
- active
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000002372 labelling Methods 0.000 title claims abstract description 58
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000005070 sampling Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 75
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于主动域自适应学习降低标注需求的目标检测方法，包括：构建网络模型；进行符合主动学习特征的初始数据划分；确定主动采样过程的采样策略并进行主动采样；对挑选出来的数据进行专家标注；使用更新后的标注数据对模型进行微调；依据当前相关条件及模型表现，决定是否继续迭代模型；利用最后得到的模型进行目标检测。本发明通过将主动学习与域自适应学习结合，提出了一种新的主动域自适应学习策略，大大减少了目标检测任务所需的数据标注量，节省标注成本；依据域自适应过程中的全局与局部特征对齐过程设计了一种新的采样策略，同时考虑了图像级和目标实例级特征，能提升对富信息样本的挑选效果，并有利于模型的性能提升。
Description
技术领域
本发明涉及一种目标检测方法，特别是一种基于主动域自适应学习降低标注需求的目标检测方法。
背景技术
在计算机视觉领域，目标检测，即从图片中准确检测出指定类别目标区域是一个重要问题，它为理解图片提供了前提条件，是语义分割、自动驾驶等高层视觉任务的基础。
但是，目标检测往往依赖于大量的标注数据来有监督的训练模型，并且由于检测标注本身比较复杂，这会导致巨大的时间和人力标注开销。因此近年来越来越多的视觉任务开始引入主动学习和域自适应学习。
主动学习系统尝试解决样本的标注瓶颈，通过主动选择一些最有价值的未标注样本给相关领域的专家进行标注，这样的样本通常蕴含了丰富的信息，并且对模型调优起着很好的作用。通过主动学习能更有针对性的挑选出当前模型无法正确检测的困难样本，这类样本在人工标注后往往能直接促升当前模型的检测性能。
域自适应学习利用已有标注的与目标数据相似的数据集，例如具有相同的类别，来作为源域，通过与未标注的目标域数据进行显式的数据特征对齐，利用源域和目标域同时进行迁移学习，进而获得在目标域上表现尚可的模型。
现有的主动学习与域自适应任务尚存在许多不足之处。具体的，第一，现有主动学习大多应用在图片分类领域，目标检测领域应用较少；第二，现有的域自适应学习尽管在利用源域数据的情况下无需对目标域进行标注，但是最终训练得到的模型在目标域上的表现并不是很好。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于主动域自适应学习降低标注需求的目标检测方法。
为了解决上述技术问题，本发明公开了一种基于主动域自适应学习降低标注需求的目标检测方法，包括如下步骤：
步骤1，构建主动域自适应学习网络模型架构；
步骤2，初始数据准备：结合主动学习与域自适应学习的共同特性对现有数据进行定义和划分，构建主动域自适应学习网络所需要的数据组织结构，得到初始数据，其中包括测试集和初始训练数据；
步骤3，模型初始化：对步骤1中所述的主动域自适应学习网络模型中的参数进行初始化；
步骤4，主动域自适应学习和采样：利用初始数据训练所述主动域自适应学习网络模型，并基于主动采样策略，通过每一轮训练后得到的当前最优模型对未标注数据进行预测，并将模型预测结果与中间输出一起输入至主动选择算法，进而挑选出富信息样本，得到富信息样本数据；
步骤5，主动标注：对步骤4中得到的富信息样本数据，采用专家标注的方式得到标注结果，即标注数据；
步骤6，数据增强：对步骤5中得到的标注数据进行增强操作，扩大采样数据权重；
步骤7，更新训练数据并微调网络：将经过增强后的标注数据加入源域中，并同时更新目标域数据，并在此基础上继续训练前一轮的模型，进而得到当前调整轮次的最优模型；
步骤8，评估模型：根据现有最优模型在测试集上的表现，判断是否继续进行主动域自适应学习过程，如果继续，返回步骤4，进行新一轮采样、标注和训练，否则，进入步骤9；
步骤9，检测模型：对比在使用相同标注量的条件下与其他方法在相同数据集上的测试指标；使用所述最终训练好的检测模型进行目标检测。
本发明中，步骤1包括：
步骤1-1，针对图像特征提取部分，选择50层深度残差神经网络(Deep ResidualNetwork)Resnet-50(参考：He K,Zhang X,Ren S,et al.Deep Residual Learning forImage Recognition[C].computer vision and pattern recognition,2016:770-778.)作为特征提取骨干网络(backbone network)，并将Resnet-50网络最后一层的分类输出层删去，来作为本方法中架构的backbone部分，即图像特征提取部分；
步骤1-2，选择DA Faster R-CNN(一种深度卷积网络，参考：Chen Y,Li W,Sakaridis C,et al.Domain adaptive faster r-cnn for object detection in thewild[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2018:3339-3348.)作为目标检测网络，将其原有的backbone子网络用Resnet-50替代，保留其余部分，其检测网络中包含着两个分类器：图像级域分类器和实例级域分类器；除此之外，DA Faster R-CNN上还添加了图像级分类正则化和分类一致性正则化模块；
步骤1-3，将主动学习中的挑选过程和数据增强过程抽象出来，封装成功能函数类，并分别将其作为主动采样子模块与数据增强子模块追加在检测部分之后，从而完成主动域自适应学习网络模型架构的构建。
本发明中，步骤2包括如下步骤：
步骤2-1，针对已有的数据，根据主动学习和域自适应学习特点，将有标注数据作为主动学习中的训练集trainset，对应域自适应中的源域；无标注数据作为主动学习中的未标注样本池unlabelpool，对应域自适应中的目标域；
步骤2-2，在步骤2-1的基础上，从目标域中随机抽取30％的数据标注后作为测试集，其余数据均作为主动域自适应学习训练过程中的初始训练数据。
本发明中，步骤3包括：
对于步骤1构建的网络模型，对backbone网络和域自适应目标检测网络部分进行参数初始化；
针对backbone部分，使用在COCO数据集(COCO数据集为开源图像数据集，COCO，Common Objects in Context，通用目标数据集，参考：Lin T,Maire M,Belongie S,etal.Microsoft COCO:Common Objects in Context[C].european conference oncomputer vision,2014:740-755.)上进行分类任务得到的模型对其进行参数初始化；
对于检测部分的Faster R-CNN网络以及域自适应子模块，采用随机初始化的方式对参数进行初始化。
本发明中，步骤4包括以下步骤：
步骤4-1，初始时只进行单独的域自适应学习，利用初始的有标注源域和无标注目标域数据进行训练，得到初始训练模型；
步骤4-2，利用训练好的模型，对unlabelpool中的所有样本进行测试，得到分类检测结果、图像级域分类结果和目标实例级域分类结果，并通过如下方法进行计算和采样：
单独的多分类任务中，当使用最小置信度采样算法作为主动采样策略时(最小置信度，Least Confidence，LC，参考：华佳燊.深度主动半监督学习的目标检测[D].2019.)，通过下式计算样本不确定度：
其中
表示对于给定的样本x，通过模型预测得到的各类别分类分数中最高的类别，
即为所述类别的预测分数；
为所述样本x的最小置信度；pm为类别m的预测分数；C为类别全集；argmax表示求取因变量最值时对应的自变量值；
将最小置信度LC采样策略迁移到目标检测任务中，其拓展公式如下：
其中
表示对于给定输入x样本，通过模型预测得到第k个候选目标所属的类别；
为第k个候选目标预测为m类的概率；
即为第k个目标预测为
类的概率；
对于图像级和目标实例级域分类器的结果，采用下式计算不确定度：
其中，t表示目标域，即对应unlabelpool，
表示将样本x预测为目标域数据的概率，
表示样本x的域分类器分类不确定度；
最后，将目标检测任务本身的分类不确定度与图像级、目标实例级域分类器分类不确定度结合起来，得到最终的主动域自适应不确定度：
其中
为样本x最终的采样不确定度，
表示图像级域分类器的分类不确定度，
表示目标实例级域分类器的分类不确定度，α和β为权重参数；
之后，将具体算法逻辑注入步骤1-3中所述的主动采样子模块中，并利用当前算法每次采样unlablepool中5％的数据，即：通过先计算所有候选目标的不确定度，再从Nb个候选目标中挑选不确定度最大的目标对应的不确定度分数作为对应整张图像的分数，最终采样不确定度最大，即置信度最小的图像样本，该样本即为步骤4中所述富信息样本。
本发明中，步骤5包括：
将步骤4中得到的采样结果即富信息样本从unlabelpool即对应目标域中取出，经由标注工具进行标注，生成对应的标注文件，标注文件作为真实的标注ground truth，即真值，从而得到标注数据。
本发明中，步骤6包括：
对步骤5中得到的标注数据，进行数据增强，增强方式包括：水平翻转、垂直翻转、图像上采样以及图像下采样，同时对对应的标注文件做同样的标注参数转换，保证检测框的正确位置。
本发明中，步骤7包括：
将步骤6中经过数据增强的标注数据连同标注文件加入到trainset中，对应域自适应中的源域，更新当前数据分布，加载前一轮主动学习过程得到的最优模型，并在此模型上继续训练进行模型微调；主动学习依据数据量的多少选择在每一轮次训练个数epoch，即单轮迭代次数。
本发明中，步骤8包括：
根据步骤7微调模型过程得到的新最优模型是否相比于前面轮次的最优模型有所提升，以及当前最优模型是否达到指定性能要求，或者是当前资源不足以支持继续进行标注，来判断是否继续重复主动训练过程：即重复步骤4至步骤7；若满足条件则停止，输出最终的模型。
本发明中，步骤9包括：
对比不同算法在不同训练轮次和不同数据标注代价下的模型效果；部署已训练好的最终检测模型，输入图像数据进行前向传播，最后通过后处理算法输出预测的目标框，完成实际推断预测。
有益效果：
本方法相比于现有的基于主动学习的目标检测方法，通过将主动学习和域自适应学习相结合，构建了一种新的主动域自适应采样算法，其能够结合域分类器来从图像级和目标实例级两个层级上选择具有更典型以及更丰富信息的数据样本，进而能更有效的指导模型调优。
在域自适应模型的基础上，通过主动学习优化训练过程，通过极少的标注的代价就达到了与全监督相同的效果，大大节省了标注成本。
同时本方法考虑到源域和目标域存在数据样本量差异，添加了数据增强模块，避免采样样本淹没在大量的源域样本之中。
最后，本方法实现时将主动采样策略模块设计拆分在目标检测模块之后，能方便的更换主动选择策略而不需要修改网络结构。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明总体网络架构示意图。
图2是本发明总体逻辑与工作流程示意图。
图3是本发明中不同轮次不同算法的效果对比示意图。
图4是本发明中最终模型目标检测效果示意图。
具体实施方式
本发明提出了一种基于主动域自适应学习降低标注需求的目标检测方法，本方法应用于需要降低数据标注量或者在只有源域标注数据的情况下对具有相同数据类目的无标注目标域数据进行目标检测的场景。该方法适用于不同的要求的硬件平台，可以通过域自适应和少量人工参与来有效减少检测模型的数据标注需求，仅需要普通目标域数据集检测任务5％左右的标注量便可达到相似的模型性能。本发明提出了新的主动域自适应学习目标检测方法，总体逻辑和工作流程如图2所示，主要分为三大阶段：第一阶段，准备工作，包括数据准备、模型构建和初始化操作；第二阶段：迭代更新工作，包括主动采样、标注、数据增强、数据更新与模型训练；第三阶段，输出工作，包括输出模型并进行目标检测。本发明实施例所述的一种基于主动域自适应学习降低标注需求的目标检测方法具体构建步骤如下：
步骤1，网络模型构建：选定合适的子网络，并微调网络结构以组合构建整体的目标检测网络模型。Backbone(骨干)网络采用Resnet-50，一种深度残差网络，主要用于图片特征提取；域自适应目标检测网络采用DA Faster R-CNN，一种深度卷积网络，来进行训练过程中的目标框回归和目标分类任务，并进行源域和目标域的数据特征对齐；数据挑选模块采用自行提出的主动域自适应采样算法，依据目标分类输出、图像级和目标实例级域分类器输出，基于拓展的LC(Least Confidence)算法计算样本不确定度进行采样；
Resnet-50是一种引入了残差模型的深度学习网络。在多层网络中进行图片的特征提取归纳操作，会导致高层神经层忽略图片底层信息(如纹理、边缘等)，通过引入残差模块，部分低层卷积层输出会直接略过后面基层传递到更后面的卷积层，后面层相当于同时考虑了图片的低级特征和高级特征，避免了特征信息丢失。Faster R-CNN是一种深度卷积网络，主要用来执行目标检测任务，除了基本的特征提取模块，还包括RPN(RegionProposal Network，目标区域生成网络)和ROI Head(兴趣区域网络头部)部分，RPN是候选区域推荐网络，利用不同尺寸的Anchor(1：1，1：2，2：1)即锚目标框，在特征图上挑选潜在的候选目标区域，ROI Head包含目标框回归和分类预测功能，Faster R-CNN利用RPN推荐的区域进行训练检测并同时反馈调整RPN网络的参数以生成更精确的候选目标区域。DA FasterR-CNN在Faster R-CNN基础上添加了图像级域分类器和目标实例级域分类器，同时对全局和局部特征进行对齐，除此之外，还附加了ICR(Image-level CategoricalRegularization，图像级分类正则化)和CCR(Categorical Consistency Regularization，分类一致性正则化)模块，分别用来提高骨干网络的特征提取能力和针对实例对齐难度调整对齐损失的权重。
步骤2，初始数据准备：结合主动学习与域自适应学习的共同特性对现有数据进行定义和划分，构建主动域自适应学习所需要的数据组织结构；
步骤3，模型初始化：对模型网络参数进行适当的初始化，具体分为网络参数初始化和训练参数初始化。网络参数初始化：一开始构造的网络结构各神经元参数为空，深度学习模型往往采用梯度下降的方式来寻求最优点，好的初始化操作能大大节省模型在初期优化时的性能表现；训练参数初始化：训练参数是指模型训练过程中的指标及各类阈值设置，用来指导模型在各个部分遵循何种标准执行训练过程，例如训练轮次、候选目标挑选阈值、学习率等。
步骤4，主动域自适应采样策略指导下的数据采样：利用初始数据训练模型，并基于本文提出的主动采样策略，通过每一轮训练后得到的当前最优模型对未标注数据进行预测，将模型预测结果与中间输出一起输入主动选择算法，进而挑选出富信息样本；
步骤5，主动标注：对经由主动采样策略采样得到的富信息样本数据，通过专家人工标注的方式得到标注结果；
步骤6，数据增强：对步骤5得到的标注数据进行增强操作，扩大采样数据权重；
步骤7，更新训练数据并微调网络：将经过增强后的标注数据加入源域中，并同时更新目标域数据，并在此基础上继续训练前一轮的模型，进而得到当前调整轮次的最优模型；
步骤8：模型评估：根据现有最优模型在测试集上的表现，判断是否继续进行主动域自适应学习过程，如果继续，返回步骤4，进行新一轮采样、标注、训练，否则，进入步骤9；
步骤9：模型检测：对比在使用相同标注量的条件下与其他方法在相同数据集上的测试指标；使用所述最终训练好的检测模型进行目标检测。
下面结合附图及实施例对本发明做进一步说明。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤1包括：
首先将Resnet-50网络最后的分类输出层(一层1x1的卷积层)删去，来作为本方法中架构的backbone部分，即图像特征提取部分。接着选择DA Faster R-CNN作为目标检测网络，将其原有的backbone子网络用Resnet-50替代，保留其余部分，其检测网络中包含着两个分类器：图像级域分类器和实例级域分类器；除此之外，DA Faster R-CNN上还添加了图像级分类正则化和分类一致性正则化模块；最后，将主动学习中的挑选过程和数据增强过程抽象出来，封装成功能函数类，并分别将其作为主动采样与数据增强子模块追加在检测部分之后，构成整个主动域自适应学习网络架构，如图1所示。
本方法中以上两种网络均基于pytorch深度学习框架实现。主动采样与数据增强模块不包含神经网络结构，本方法遵循模块化思想，将主动采样策略算法与数据增强算法抽象成两个单独的python函数(之后分别记作主动采样子模块和数据增强子模块)，函数间通过参数传递图片挑选结果。这样能方便更换主动采样策略算法和数据增强算法。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤2包括：
步骤2-1，针对已有的数据，根据主动学习和域自适应学习特点，将有标注数据作为主动学习中的训练集trainset(对应着域自适应中的源域)，无标注数据作为主动学习中的未标注样本池unlabelpool(对应着域自适应中的目标域)。本发明所应用的实际项目采用了2个广泛使用的开源数据集进行目标检测实验验证，包括：Pascal VOC、Watercolor，他们分别含有7.7k、3.3k的图片。利用上述2个数据集，设计了一个域自适应迁移训练任务：Pascal VOC(源域)→Watercolor(目标域)。
步骤2-2，在步骤2-1的基础上，从目标域中随机抽取30％的数据标注后作为测试集，其余数据均作为主动域自适应学习训练过程中的训练数据。
本方法中的人工数据标注遵循Pascal VOC(参考文献：Mark Everinggham，LucVan Gool，Christopher KI Williams，John Winn，Andrew Zisserman.The pascal visualobject classes(voc)challenge[J].International journal of computer vision，2010.88(2)：303-338.)标注数据格式，即典型的XML结构的信息组合方式。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤3包括：
(1)网络参数初始化：对backbone网络和域自适应目标检测网络部分进行参数初始化。对于步骤1构建的网络模型，Resnet-50组成的backbone子网络和DA Faster R-CNN组成的检测网络部分包含深度学习结构，对相关参数进行初始化有利于加快模型收敛速度。针对backbone部分，由于其主要进行特征提取任务，本方法采用在COCO数据集上进行分类任务得到的模型对其进行参数初始化。对于检测部分的DA Faster R-CNN网络，采用随机初始化的方式对参数进行初始化。其中COCO(Common Objects in Context，通用目标数据集，参考文献：Lin T，Maire M，Belongie S，et al.Microsoft COCO：Common Objects inContext[C].european conierence on computer vision，2014：740-755.)是微软开源的图像数据集。
(2)训练参数初始化，本方法中主要的训练参数初始设置如下：每一轮挑选unlabelpool中5％的数据，主动域自适应学习每轮训练epoch数为8，其中前3个epoch学习率设为0.001，后5个epoch学习率设为0.0001，不确定度计算时目标框阈值设为0.3，不确定样本与困难样本采样比设为1∶3，数据增强比例为源域数据的10％。本方法通过经验判断的方式对训练参数进行初始化，之后可能会依据训练表现有所调整。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤4包括：
步骤4-1，如果当前是初始训练轮次，利用初始的有标注源域和无标注目标域数据进行训练，得到初始训练模型；
步骤4-2，基于训练得到的最新模型，对unlabelpool中的所有样本进行测试，得到分类检测结果、图像级域分类结果和目标实例级域分类结果，并通过本文提出的算法进行计算和采样；
单独的多分类任务中，常用的主动采样策略为最小置信度(Least Confidence，LC)LC采样算法，其通过下式计算样本不确定度：
其中
表示对于给定的样本x，通过模型预测得到的各类别分类分数中最高的类别，
即为所述类别的预测分数；
为所述样本x的最小置信度；pm为类别m的预测分数；C为类别全集；argmax表示求取因变量最值时对应的自变量值；
将最小置信度LC采样策略迁移到目标检测任务中，其拓展公式如下：
其中
表示对于给定输入x样本，通过模型预测得到第k个候选目标所属的类别；
为第k个候选目标预测为m类的概率；
即为第k个目标预测为
类的概率；
对于图像级和目标实例级域分类器的结果，采用下式计算不确定度：
其中，t表示目标域(对应unlabelpool)，
表示将样本x预测为目标域数据的概率，
表示样本x的域分类器分类不确定度；
最后，将目标检测任务本身的分类不确定度与图像级、目标实例级域分类器分类不确定度结合起来，得到最终的主动域自适应不确定度：
其中
为样本x最终的采样不确定度，
表示图像级域分类器的分类不确定度，
表示目标实例级域分类器的分类不确定度，α和β为权重参数；
之后，将具体算法逻辑注入步骤1中的主动采样子模块中，并利用当前算法每次采样unlablepool集中5％的数据。对待测图片，本方法先通过当前模型对图片进行目标检测，并设定候选目标框的输出阈值为0.3(即只对检测概率大于0.3的框进行输出)，得到整张图片上所有的候选检测框。然后根据检测概率利用上式计算每个检测框所代表的候选目标的不确定度，最后选取最高的不确定度作为整张图片的不确定度。另外，考虑到初期模型效果较差，可能对某些图片无法产生大于0.3阈值的检测框，导致整张图片无检测结果，本方法称这类图片为困难样本，当前模型无法对其做出有效反馈(即有可能是图片问题，也有可能是模型检测性能缺陷)。综合考虑两者，本方法在不确定度采样过程中，通过1∶3的比例采样不确定样本和困难样本(若困难样本数量较少，将剩余数据差额分配给不确定样本)。
在本发明实施例所述的步骤4中，本发明与现有的主动学习策略不同之处在于：本发明通过将主动学习与域自适应结合，不仅对分类检测结果计算不确定度，还利用了域自适应过程中图像级和目标实例级的域分类不确定度，这同时考虑了全局和局部特征，有利于目标检测任务，因为在目标检测中，同一张图片往往存在多个目标实例。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤5包括：
通过步骤4挑选出同时考虑了图像级特征和目标实例级特征的富信息样本。基于最小置信度策略拓展的采样算法着重采样对当前模型造成较高预测不确定度的样本，检测不确定度和域分类不确定度能找出同时对检测和对齐过程都有帮助的关键样本。将这些缺乏标注的样本从unlabelpool集中取出，经由专家使用标注工具进行标注，生成对应的标注文件，专家标注结果将作为ground truth(真实标注，亦称真值)。本方法采用labelme标注工具进行标注，生成Pascal VOC格式的标注文件。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤6包括：
对步骤5中从unlabelpool集中取出的经过标注的数据，进行数据增强，增强方式包括：水平翻转、垂直翻转、图像上采样、图像下采样，同时对对应的标注文件做同样的标注参数转换，以保证检测框的正确定位。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤7包括：
将步骤6中经过增强的数据连同标注文件加入到trainset中(对应源域)，更新当前数据分布，加载前一轮主动学习过程得到的最优模型，并在此模型上继续训练进行模型微调。一般主动学习依据数据量的多少会选择在每一轮次训练多少个epoch(单轮迭代次数)，本方法设定为每轮训练8个epoch，前3个epoch的学习率(learning rate，lr)设为0.001，后5个epoch的lr设为0.0001以期收敛，每轮选择8个epoch中最优的模型作为当前轮次的最优模型。通过步骤4、5、6、7的迭代训练过程，本方法训练过程总的目标域数据标注量逐轮增加，分别为：5％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤8包括：
主动学习迭代过程可以动态的根据当前效果来决定是否停止，其评判指标通常包含以下三点：第一，新的最优模型是否相比于前面轮次的最优模型有所提升；第二，当前最优模型是否达到指定性能要求；第三，当前资源是否足以支持继续进行人工标注和训练。迭代过程即重复：步骤4、步骤5、步骤6、步骤7，若满足条件则停止，输出最终的模型，相比于普通的目标检测任务，主动学习能动态的决定标注量的多少，而不必事先实现所有标注，是一种弹性的模型训练方式。
本实施例所述的一种基于主动域自适应降低标注需求的目标检测方法中，所述步骤9包括：
(1)在相同的数据集与相同的标注代价下，对比所提出的方法与现有方法的效果，如图3所示，展示了主动域自适应的训练过程指标曲线，纵坐标代表所有类别的平均AP(Mean Average Precision，mAP，均值平均准确率)，横坐标代表所使用的标注数据量(百分比表示)。Faster R-CNN表示不使用主动学习方法得到的结果，DA表示单独的域自适应学习方法结果，AC-R表示采用基本的随机采样策略的单独主动学习结果，DACT-T-LC表示使用本文提出的主动域自适应采样算法进行训练的结果。由图3可知，本发明实施例所述的方法基于域自适应框架开启训练，大大减少了标注代价，在仅使用了5％目标域的标注量后即可达到全监督学习的效果，并在之后的训练中mAP进一步超过了全监督Faster R-CNN和单独主动学习。
(2)部署所述已训练好的检测模型，输入图像数据进行前向传播，最后通过后处理算法输出预测的目标框，实现实际推断预测，如图4所示，展示了应用本发明提出的方法后，部分实际检测效果。
由以上技术方案可知，本发明实施例提供一种基于主动域自适应学习降低标注需求的目标检测方法，包括：模型初始化，选定子网络组合总体逻辑网络；数据初始化，收集数据进行数据划分并准备初始训练数据；参数初始化，初始化模型的网络和训练参数；主动选择策略指导数据采样；专家人工标注；数据增强；训练数据更新和网络微调；模型评估；模型检测。
现有技术中，主动学习与域自适应任务尚存在许多不足之处。具体的，第一，现有主动学习大多应用在图片分类领域，目标检测领域应用较少；第二，现有的域自适应学习尽管在利用源域数据的情况下无需对目标域进行标注，但是最终训练得到的模型在目标域上的表现并不是很好。而采用前述方法，将主动学习和域自适应学习相结合，能够结合域分类器来从图像级和目标实例级两个层级上选择具有更典型以及更丰富信息的数据样本，进而能更有效的指导模型调优。在域自适应模型的基础上，通过主动学习优化训练过程，通过极少的标注的代价就达到了与全监督相同的效果，大大节省了标注成本。同时本方法考虑到源域和目标域存在数据样本量差异，添加了数据增强模块，避免采样样本淹没在大量的源域样本之中。最后，通过模块化的模型构建，提供灵活的子网络、主动采样算法和数据增强算法组合方式。在主动域自适应学习目标检测方面取得了令人满意的实验结果。因此，相较于现有技术，本方法灵活性好、需要的数据标注量少、模型训练简单且实用性高。
本发明提供了一种基于主动域自适应学习降低标注需求的目标检测方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，包括如下步骤：
步骤1，构建主动域自适应学习网络模型架构；
步骤2，初始数据准备：结合主动学习与域自适应学习的共同特性对现有数据进行定义和划分，构建主动域自适应学习网络所需要的数据组织结构，得到初始数据，其中包括测试集和初始训练数据；
步骤3，模型初始化：对步骤1中所述的主动域自适应学习网络模型中的参数进行初始化；
步骤4，主动域自适应学习和采样：利用初始数据训练所述主动域自适应学习网络模型，并基于主动采样策略，通过每一轮训练后得到的当前最优模型对未标注数据进行预测，并将模型预测结果与中间输出一起输入至主动选择算法，进而挑选出富信息样本，得到富信息样本数据；
步骤5，主动标注：对步骤4中得到的富信息样本数据，采用专家标注的方式得到标注结果，即标注数据；
步骤6，数据增强：对步骤5中得到的标注数据进行增强操作，扩大采样数据权重；
步骤7，更新训练数据并微调网络：将经过增强后的标注数据加入源域中，并同时更新目标域数据，并在此基础上继续训练前一轮的模型，进而得到当前调整轮次的最优模型；
步骤8，评估模型：根据现有最优模型在测试集上的表现，判断是否继续进行主动域自适应学习过程，如果继续，返回步骤4，进行新一轮采样、标注和训练，否则，进入步骤9；
步骤9，检测模型：对比在使用相同标注量的条件下与其他方法在相同数据集上的测试指标；使用所述最终训练好的检测模型进行目标检测。
2.根据权利要求1所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤1包括：
步骤1-1，针对图像特征提取部分，选择50层深度残差神经网络Resnet-50作为特征提取骨干网络backbone network，并将Resnet-50网络最后一层的分类输出层删去，来作为本方法中架构的backbone部分，即图像特征提取部分；
步骤1-2，选择DA Faster R-CNN作为目标检测网络，将其原有的backbone子网络用Resnet-50替代，保留其余部分，其检测网络中包含着两个分类器：图像级域分类器和实例级域分类器；除此之外，DA Faster R-CNN上还添加了图像级分类正则化和分类一致性正则化模块；
步骤1-3，将主动学习中的挑选过程和数据增强过程抽象出来，封装成功能函数类，并分别将其作为主动采样子模块与数据增强子模块追加在检测部分之后，从而完成主动域自适应学习网络模型架构的构建。
3.根据权利要求2所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤2包括如下步骤：
步骤2-1，针对已有的数据，根据主动学习和域自适应学习特点，将有标注数据作为主动学习中的训练集trainset，对应域自适应中的源域；无标注数据作为主动学习中的未标注样本池unlabelpool，对应域自适应中的目标域；
步骤2-2，在步骤2-1的基础上，从目标域中随机抽取30％的数据标注后作为测试集，其余数据均作为主动域自适应学习训练过程中的初始训练数据。
4.根据权利要求3所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤3包括：
对于步骤1构建的网络模型，对backbone网络和域自适应目标检测网络部分进行参数初始化；
针对backbone部分，使用在COCO数据集上进行分类任务得到的模型对其进行参数初始化；
对于检测部分的Faster R-CNN网络以及域自适应子模块，采用随机初始化的方式对参数进行初始化。
5.根据权利要求4所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤4包括以下步骤：
步骤4-1，初始时只进行单独的域自适应学习，利用初始的有标注源域和无标注目标域数据进行训练，得到初始训练模型；
步骤4-2，利用训练好的模型，对unlabelpool中的所有样本进行测试，得到分类检测结果、图像级域分类结果和目标实例级域分类结果，并通过如下方法进行计算和采样：
单独的多分类任务中，使用最小置信度采样算法作为主动采样策略，通过下式计算样本不确定度：
其中
表示对于给定的样本x，通过模型预测得到的各类别分类分数中最高的类别，
即为所述类别的预测分数；
为所述样本x的最小置信度；pm为类别m的预测分数；C为类别全集；argmax表示求取因变量最值时对应的自变量值；
将最小置信度LC采样策略迁移到目标检测任务中，其拓展公式如下：
其中
表示对于给定输入x样本，通过模型预测得到第k个候选目标所属的类别；
为第k个候选目标预测为m类的概率；
即为第k个目标预测为
类的概率；
对于图像级和目标实例级域分类器的结果，采用下式计算不确定度：
其中，t表示目标域，即对应unlabelpool，
表示将样本x预测为目标域数据的概率，
表示样本x的域分类器分类不确定度；
最后，将目标检测任务本身的分类不确定度与图像级、目标实例级域分类器分类不确定度结合起来，得到最终的主动域自适应不确定度：
其中
为样本x最终的采样不确定度，
表示图像级域分类器的分类不确定度，
表示目标实例级域分类器的分类不确定度，α和β为权重参数；
之后，将具体算法逻辑注入步骤1-3中所述的主动采样子模块中，并利用当前算法每次采样unlablepool中5％的数据，即：通过先计算所有候选目标的不确定度，再从Nb个候选目标中挑选不确定度最大的目标对应的不确定度分数作为对应整张图像的分数，最终采样不确定度最大，即置信度最小的图像样本，该样本即为步骤4中所述富信息样本。
6.根据权利要求5所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤5包括：
将步骤4中得到的采样结果即富信息样本从unlabelpool即对应目标域中取出，经由标注工具进行标注，生成对应的标注文件，标注文件作为真实的标注ground truth，即真值，从而得到标注数据。
7.根据权利要求6所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤6包括：
对步骤5中得到的标注数据，进行数据增强，增强方式包括：水平翻转、垂直翻转、图像上采样以及图像下采样，同时对对应的标注文件做同样的标注参数转换，保证检测框的正确位置。
8.根据权利要求7所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤7包括：
将步骤6中经过数据增强的标注数据连同标注文件加入到trainset中，对应域自适应中的源域，更新当前数据分布，加载前一轮主动学习过程得到的最优模型，并在此模型上继续训练进行模型微调；主动学习依据数据总量确定每一轮的训练次数epoch，即单轮迭代次数。
9.根据权利要求8所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤8包括：
根据步骤7微调模型过程得到的新最优模型是否相比于前面轮次的最优模型有所提升，以及当前最优模型是否达到指定性能要求，或者是当前资源不足以支持继续进行标注，来判断是否继续重复主动训练过程：即重复步骤4至步骤7；若满足条件则停止，输出最终的模型。
10.根据权利要求9所述的一种基于主动域自适应学习降低标注需求的目标检测方法，其特征在于，步骤9包括：
对比不同算法在不同训练轮次和不同数据标注代价下的模型效果；部署已训练好的最终检测模型，输入图像数据进行前向传播，最后通过后处理算法输出预测的目标框，完成实际推断预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270638.1A CN114724015A (zh) | 2022-03-18 | 2022-03-18 | 一种基于主动域自适应学习降低标注需求的目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270638.1A CN114724015A (zh) | 2022-03-18 | 2022-03-18 | 一种基于主动域自适应学习降低标注需求的目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114724015A true CN114724015A (zh) | 2022-07-08 |
Family
ID=82236732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210270638.1A Pending CN114724015A (zh) | 2022-03-18 | 2022-03-18 | 一种基于主动域自适应学习降低标注需求的目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114724015A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
-
2022
- 2022-03-18 CN CN202210270638.1A patent/CN114724015A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800778B (zh) | 一种基于难分样本挖掘的Faster RCNN目标检测方法 | |
| CN108256561B (zh) | 一种基于对抗学习的多源域适应迁移方法及系统 | |
| CN109840471B (zh) | 一种基于改进Unet网络模型的可行道路分割方法 | |
| CN112150821B (zh) | 轻量化车辆检测模型构建方法、系统及装置 | |
| CN111340021B (zh) | 基于中心对齐和关系显著性的无监督域适应目标检测方法 | |
| EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
| CN112149721B (zh) | 一种基于主动学习降低标注需求的目标检测方法 | |
| Chen et al. | A new knowledge distillation for incremental object detection | |
| CN111652317B (zh) | 基于贝叶斯深度学习的超参数图像分割方法 | |
| CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
| CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN112734775A (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN111767927A (zh) | 一种基于全卷积网络的轻量级车牌识别方法及系统 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN112364791B (zh) | 一种基于生成对抗网络的行人重识别方法和系统 | |
| CN111126278A (zh) | 针对少类别场景的目标检测模型优化与加速的方法 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN111553414A (zh) | 一种基于改进Faster R-CNN的车内遗失物体检测方法 | |
| CN111639540A (zh) | 基于相机风格和人体姿态适应的半监督人物重识别方法 | |
| CN112613579A (zh) | 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 | |
| CN113569881A (zh) | 一种基于链式残差与注意力机制的自适应语义分割方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
| CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
| CN114724015A (zh) | 一种基于主动域自适应学习降低标注需求的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |