CN110533086A - 图像数据半自动标注方法 - Google Patents

Abstract

本发明提供了一种图像数据半自动标注方法，包括：对未标注的图像进行部分图像级标注；将标注数据放到协同弱监督识别模型中进行训练；对协同弱监督识别模型进行改造，得到强监督改造模型；用强监督改造模型对未标注的图像进行检测，得到检测结果；使用人工标注图像数据训练强监督改造模型。本发明的方法前期使用一定量的弱标签数据，然后后期使用主动学习的方式逐渐改善模型，从而在少的标注量的同时，保证了精度。

Description

图像数据半自动标注方法

技术领域

本发明涉及计算机领域，更具体地，涉及图像数据半自动标注方法。

背景技术

随着现在人工智能技术的发展，大量的机器学习模型都是需要大量的人工标注的数据。然而这对于人工智能技术的实际应用带来了极大挑战。当一个成熟的模型形成之时，需要大量的人力来进行数据的标注，数据标注的准确率和正确率直接影响了训练模型的好坏。在计算机视觉领域，基于强监督的图像目标识别模型准确率已经很高。但是这对于人工标注的数据的依赖性越来越大，对于如此大量的强监督标注数据一般都是需要花费大量的人力物力以及资源成本才可以获得。

但是在现实世界中图像级标注的数据易获得，例如在互联网中获得图像级的标注相对比较简单，还有在实际人力标注中图像级的标注比实例级的标注简单的多。

目前这方面的研究有两种解决方式，一是对于弱标签的图像进行识别，这样可以一定程度减少人工标注的工作量，使之更易实际应用。第二种方式是用主动学习或者其他方式选择最有效最有用的样本对于全监督的模型边标注边训练，从而达到使用最少的标注，获得最好的模型的目的。

但是以上两种方式都存在一定的缺点，上段所述的第一种方式获得的模型往往精度不够，在实际应用中，效果往往很差。对于第二种方式，模型初始化需要大量的强监督标注数据，主动学习中再训练的数据实际也是需要大量的人工标注。

发明内容

针对以上标注方法的缺点，本发明提出一种基于弱监督深度学习和主动学习的图像半自动标注方法，该方法前期使用一定量的弱标签数据，然后后期使用主动学习的方式逐渐改善模型，从而在少的标注量的同时，保证了精度。再者，本发明设计了一种转换方式，使得弱监督训练模型可以在使用强监督信息的主动学习的过程中对模型有很好的训练。

本发明提供了一种图像数据半自动标注方法，包括：对未标注的图像进行部分图像级标注；将标注数据放到协同弱监督识别模型中进行训练；对所述协同弱监督识别模型进行改造，得到强监督改造模型；用所述强监督改造模型对所述未标注的图像进行检测，得到检测结果；使用人工标注图像数据训练所述强监督改造模型。

在上述图像数据半自动标注方法中，其中，对所述检测效果差的图片随机选择特定张图像进行人工标注，得到所述人工标注图像数据。

在上述图像数据半自动标注方法中，其中，所述图像级标注包括仅标注图像上的目标，而不标出目标的具体位置。

在上述图像数据半自动标注方法中，还包括：在得到所述检测结果之后，根据所述检测结果计算分类损失值。

在上述图像数据半自动标注方法中，还包括：确定损失值是否小于阈值。

在上述图像数据半自动标注方法中，还包括：如果损失值不小于阈值，则确定迭代次数是否超过最大迭代次数。

在上述图像数据半自动标注方法中，还包括：如果迭代次数超过最大迭代次数，则输出模型。

本发明的方法前期使用一定量的弱标签数据，然后后期使用主动学习的方式逐渐改善模型，从而在少的标注量的同时，保证了精度。

附图说明

图1示出了协同弱监督识别模型。

图2示出了强监督改造模型。

图3示出了本发明的图像数据标注方法的流程图。

图4示出了VOC 2007 train_val的折线图。

图5示出了VOC2012 train_val的折线图。

图6示出了VOC07+12 train_val的折线图。

具体实施方式

下面的实施例可以使本领域技术人员更全面地理解本发明，但不以任何方式限制本发明。下述实施例中的实验方法，如无特殊说明，均为常规方法。

在说明本发明之前，首先明确本发明中涉及的两个概念：图像级标注是指对于一幅图像只标注其类别，不标注各个目标中具体位置。实例级标注是指对于一幅图像标注图像的类别，并且还要明确图像中各目标的具体位置框。

本发明的方法主要包括以下几个步骤：1、对少量未标注的图像进行图像级标注；2、将标注数据放到图1中的模型中训练，将此模型叫做协同弱监督识别模型；3、训练完成之后对图1中模型进行改造，得到图2中的模型，将改造后模型叫做强监督改造模型；4、用改造后的模型对未标注图像进行检测，并根据检测结果计算该图片检测的效果，对于效果差的图片随机选取特定张数图像交由人工标注，此时标注的的信息是实例级标注信息；5、使用人工标注图像数据重新训练强监督改造模型。

对于第1步，预处理图像数据，对图像进行图像级别的标注，也就是说对图像仅标注图像上有什么目标，而不需标出目标的具体位置。

对于第2步，用这些数据训练弱监督识别模型，此模型是弱监督目标识别的协同学习网络。之所以采用此模型，是因为这种模型是类强监督识别模型和类弱监督识别模型的相互协同模型，便于下一步的强监督模型改造。模型损失函数由类弱监督识别模块损失和类强监督识别模块损失两部分，其中类弱监督模块的损失采用的是多标签二值交叉熵损失：

类强监督识别模块的损失使用的是预测一致性损失，其损失函数为：

I_ij(βp_jclogp_ic+(1-β)p_iclogp_ic+p_jcR(t_jc-t_ic))

其中I为指示函数，当两个模块的预测区域的IOU值大于0.5时为1，小于0.5时为0。

对于第3步，对训练好的模型进行改造，变为图2中网络模型：即去掉其类弱监督识别模块，将类强监督模块损失函数改为与faster Rcnn的损失函数一致(如图3所示)：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v)

其中L_cls(p,u)对应上面分支FC8_cls的分类损失，

对应下面分支FC8_reg的回归损失。然后将第二步训练好的参数映射到改造好的模型的对应层上面。

对于第4步可以分为这几步来进行：首先使用改造好的模型对未标注图片检测，得到检测结果；使用下面的损失函数计算此图片的检测损失，若此图像检测结果总损失值大于阈值则此张图像会放到待标注数据集合中。

将待标注数据集合中图像挑选特定张数交由人工标注。

对于第5步，得到人工标注后的图像后，重新训练强监督改造模型，然后回到第四步，对检测的结果进行评估，直到模型中待人工标注图像数量太少或者训练模型的迭代次数达到最大迭代次数。

最终通过以上几步的实施可以用很少的人工标注图像数量，得到很好的训练模型。

本发明将主动学习应用到弱监督训练模型中，提出了一种可以用强监督信息优化使用弱监督样本训练的模型的方法，打破了弱监督模型和强监督模型的界限，使得弱监督模型和强监督模型之间可以更好的协同联系，共同促进模型精度的提升。另外，以往主动学习方法一般需要先使用大量的人工标注的数据进行初始化，本发明使用弱监督信息训练模型进行初始化，可以使用更少的人工标注信息，节省人力成本，并且在现实世界中，弱监督信息样本相对于强监督信息的样本更易获取。对于弱监督模型来说，检测精度低是一个问题，但是，由于打破了弱监督模型和强监督模型的界限，对于弱监督可以通过后期补充强监督信息，提高模型最终的精度，从而使模型在实际应用中更具意义。使用这种模型辅助人工标注，可以更好的提高人工效率，并且会逐步提高模型的准确率和泛化性能。

本发明的算法伪代码的流程基本如下：使用弱标签数据训练协同弱监督识别模型，得到一个弱标签训练的模型；对模型进行改造，将其类弱监督识别模块去除，改变类强监督识别模块损失函数；用弱标签数据对未标注数据进行检测，根据检测结果，计算softmax分类损失值，损失值大的进入到待人工标注集；挑选部分图像进行人工标注；将人工标注图像重新放到模型中训练；如果待标注样本集个数小于10或者超过最大迭代次数，则结束，输出最终模型。

具体地，下面结合具体实施例进行说明。

第一步，首先要对少量未标注的图像进行图像级标注，具体做法是使用VOC2007数据集去掉其box信息，只保留其图片中类别信息，这样得到图像的图像级标注。

第二步，使用弱标注的图像训练协同弱监督识别模型，此模型主要由三部分构成。

第一部分是由输入和卷积池化网络con1-con5组成，其中输入是在第一步进行图像级别标注的数据，con1到con5采用的是VGG-16网络的5层卷积池化层。

第二部分是一个类弱监督检测器，这个检测器类似WSDDN(Weakly SupervisedDeep Detection Networks)模型，把此部分叫做类弱监督检测模块。此模块主要是先对图像数据使用SSW(selective search)方式提取建议框，然后将经过5层卷积之后的提取的特征图经过SPP金字塔池化进入全连接层FC6-FC7，全连接层权重大小分别为7*7*512*4096、4096*4096，与VGG16网络的前两层全连接层一致。然后在FC7之后分为两个分支FC8-cls和FC8-loc一个分支负责目标类别的识别，另外一个分支用于目标的定位，其权重大小分别为4096*20和4096*20，将两个分支矩阵做內积，最后把各个建议框的类别得分做加和，利用其定义的多标签二值交叉熵损失函数计算损失，反向传播，更新参数。损失函数为：

第三部分是由一个类似faster-rcnn的类强监督检测模块，不过是对其改进使之能适应弱监督数据，经过5个卷积层之后的特征图进入RPN层和SPP-net之后，进入全连接层FC6和FC7，全连接层权重大小为7*7*512*4096、4096*4096，然后在FC7层之后网络也是分成两个分支其中一个分支为FC8_cls,其权重大小为4096*21，此分支主要负责对图像进行分类，另外一个分支FC8_reg,其权重大小为4096*84，此分支负责预测的bounding-box框的回归。此处的分类和回归是根据与类弱监督识别模型的预测一致性损失来进行分类和回归。其预测一致性损失函数为：

I_ij(βp_jclogp_ic+(1-β)p_iclogp_ic+p_jcR(t_jc-t_ic))

利用此损失函数计算损失，反向传播来更新参数。

这三个部分共同构成了弱标注图像初始训练的模型。利用多标签二值交叉熵损失反向传播训练类弱监督模块，利用预测一致性损失反向传播训练类强监督检测模块。在训练过程中5层的卷积池化层和FC6、FC7的参数是共享的。

第三步，将上一步的训练好的模型进行改造。具体改进措施就是将弱监督检测模块去掉，然后将强监督检测模块的损失函数改为类似fasterrcnn的分类损失和回归损失，形成图二的模型结构，也就是强监督改造模型。损失函数改变为：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v)

其中L_cls(p,u)对应上面分支FC8_cls的分类损失，

对应下面分支FC8_reg的回归损失。

第四步，对于改造之后的模型进行主动学习的过程。用此模型预测未标记的图像，首先利用检测出的图像的得分，计算其softmax分类损失，损失函数为：

根据此损失值与阈值的比较决定是否加入到待标注数据集合。此处阈值设置为0.15，若计算得到的损失值大于0.15，则会加入到待标注数据集合，否则进入到下一步。

第五步，对选择好的需要人工标注的图像挑选M张数交由人工标注，这里采用M值为500。用标注好图像训练第三步中改造好的模型，步骤回到第四步。直到模型待标注数据集合个数小于10，或者达到最大迭代次数，训练结束。

对该模型的测试：

测试使用的是pascal VOC2007和pascal VOC2012数据集。pascal数据集共有21个类别，pascal VOC2007数据集共有9963张图像，其中训练验证集train_val共有5011张图像，测试集test共有4952张图像，pascal VOC2012数据集共有17125张图像，其中训练验证集train_val共有11540张图像。

训练协同弱监督识别模型用的是pascal VOC2007 train_val数据集的弱监督信息，也就是去除bounding-box框信息，只用其类别信息的train_val图像数据。把VOC2007的train_val数据集、VOC2012 train_val数据集、以及VOC2007 train_val和VOC2012 train_val联合数据集作为待标注数据集，分别用这三个数据集中挑选的图像样本训练强监督改造模型，挑选样本人工标注过程相当于从待标注数据集中取其强监督信息的过程。

本发明使用mAP值作为衡量模型精度的标准，人工标注图像的数量是VOC2007train_val数据集数量的5％到100％的10个等差的数，也就是表中250、779、1308、1837、2366、2895、3242、3953、4482、5011张图像。使用最大迭代次数为60000次。

为了说明本发明的有效性，我们以随机挑选使用同样数量的图像样本训练的强监督改造模型作为基准，对应表中基准模型精度，对训练好的模型用VOC2007 test数据集上进行测试，比较使用相同人工标注图像的条件下模型的精度。初始训练好的协同弱监督识别模型在VOC2007 test数据集上测试的精度为42.37％。

表1示出了VOC2007的train_val作为待标注数据集时模型精度(对应图4折线图)。

表1

表2示出了VOC2012的train_val作为待标注数据集时模型精度(对应图5折线图)。

表2

表3示出了VOC2007 train_val和VOC2012 train_val混合数据集作为待标注数据集时模型精度(对应图6折线图)。

其中，在图4至图6中，上部的折线代表本发明的模型精度，下部的折线代表基准模型精度。

本领域技术人员应理解，以上实施例仅是示例性实施例，在不背离本发明的精神和范围的情况下，可以进行多种变化、替换以及改变。

Claims (7)

1.一种图像数据半自动标注方法，包括：

对未标注的图像进行部分图像级标注；

将标注数据放到协同弱监督识别模型中进行训练；

对所述协同弱监督识别模型进行改造，得到强监督改造模型；

用所述强监督改造模型对所述未标注的图像进行检测，得到检测结果；

使用人工标注图像数据训练所述强监督改造模型。

2.根据权利要求1所述的图像数据半自动标注方法，其中，对所述检测效果差的图片随机选择特定张图像进行人工标注，得到所述人工标注图像数据。

3.根据权利要求1所述的图像数据半自动标注方法，其中，所述图像级标注包括仅标注图像上的目标，而不标出目标的具体位置。

4.根据权利要求1所述的图像数据半自动标注方法，还包括：在得到所述检测结果之后，根据所述检测结果计算分类损失值。

5.根据权利要求4所述的图像数据半自动标注方法，还包括：确定损失值是否小于阈值。

6.根据权利要求5所述的图像数据半自动标注方法，还包括：如果损失值不小于阈值，则确定迭代次数是否超过最大迭代次数。

7.根据权利要求6所述的图像数据半自动标注方法，还包括：如果迭代次数超过最大迭代次数，则输出模型。