CN109741332B - 一种人机协同的图像分割与标注方法 - Google Patents

Abstract

本发明公开了一种人机协同的图像分割与标注方法，所述方法包括以下步骤：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。本发明将深度学习技术与主动学习以及渐进学习方法配合使用，形成了一套完整的分割数据集的标注及其训练模型的框架。

Description

一种人机协同的图像分割与标注方法

技术领域

本发明涉及语义分割领域，尤其涉及分割数据集的标注方法，挑选高置信度和低置信度的样本的方法。

背景技术

基于深度学习的图像语义分割技术虽然可以取得相比传统方法突飞猛进的分割效果，但是其对数据标注的要求过高，不仅需要海量图像数据，同时这些图像还需提供精确到像素级别的标记信息(Semantic labels)，导致标注代价过大。

目前，让机器代替人显著的减少标注代价，使用用到的方法主要有：主动学习方法，渐进学习等。主动学习主要关注样本选择策略，即如何挑选最具信息性的未标记样本进行注释。最常见的策略之一是基于确定性的选择，根据对新的未标记样本的预测置信度来度量确定性，该方法也考虑了所选实例与未标记数据的多样性。最近，Elhamifar et al.提出了通过凸规划来度量不确定性和多样性。Freytag et al.提出了一个概念，该概念基于预期的模型变化推广了以前的方法，并结合了基础数据分布。

Vijayanarasimhan et al.提出了一种新的主动学习方法，用于物体检测的实时学习，该方法通过基于散列的解决方案自主地识别最不确定的实例。Rhee et al.提出通过利用协同抽样策略来提高目标检测性能，该策略整合了AL(主动学习)的不确定性和多样性标准以及半监督学习理念的特征相似性度量。然而，这些提到的AL方法通常强调那些低置信度样本，而忽略其余大多数高置信度样本。

渐进学习往往要和协同训练牵扯到一块。CL(课程学习)是第一个采用逐渐将样本添加到训练数据中的机器学习范例，这些概念以受控且有意义(例如，从易到复杂)的顺序称为课程。CL已被广泛用于解决各种计算机视觉问题，例如：跟踪和目标检测。传统的CL(课程学习)方法通常采用预定义的样本权重来生成样本的训练顺序。为了共同学习样本权重和模型参数，Kumar et al.通过提出一种名为SPL(自步学习)的简明优化范例，大大推进了CL(课程学习)的学习理念，该范式包括所有样本的加权方案项和样本权重的一般正则项。加权方案通过为具有较低训练损失的样本分配较高权重，使得能够对比较复杂的样本着重进行训练。最近，还使用CL/SPL(课程学习/自步学习)相关策略开发了各种其他方法。Donget al.提出了一种物体检测框架，通过在检测器改进和可靠的样品选择之间始终交替，每个类别仅使用少量边界框标签。Zhang et al.提出通过自定进度的课程学习将显着性检测与弱监督对象检测联系起来，逐步实现从易到难的多类对象的训练过程。Wang et al.建议通过多实例学习将低级，中级和高级特征纳入检测程序，以克服显著性检测中前景和背景难以分辨的困难。Wang et al.进一步提出基于选择性对比度检测显著对象，其本质上探索颜色，纹理和位置中最可区分的组分信息。

但是，现有技术中尚未有将主动学习和渐进学习结合起来应用到语义分割领域的相关工作。

发明内容

本发明提供了一种人机协同的图像分割与标注方法，本发明基于HISE(人机协同的图像分割与标注)框架，将主动学习，渐进学习相结合，实现了逐步学习分割模型并输出带注释的分割数据集，详见下文描述：

一种人机协同的图像分割与标注方法，所述方法包括以下步骤：

对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；

使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；

输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新。

其中，所述对分割数据集进行预处理具体为：

去掉目标像素点为0的图像，并对图像做剪裁处理，得到目标图像，剪裁出的目标图像的像素点占整个目标图像的1/3。

进一步地，所述预训练模型用于数据集测试及训练具体为：

首先取一小部分需要标注的数据集在预训练模型上初始化，将需要标注的数据集在此预训练模型上进行测试；

对于高置信度的样本用机器打上伪标签，并且取最值得信赖的像素点，对于低置信度的样本进行手工标注。

其中，所述输出最终的模型并进行测试具体为：

通过高置信度的样本、低置信度的样本对每次迭代的预训练模型进行微调，输出最终的模型。

进一步地，所述输出带注释的分割数据集包含两个部分，第一部分是手工标注的，第二部分是机器标注的。

具体实现时，所述方法还包括：

定义了全局不一致性，其为置信度得分小于某个阈值的像素百分比，用符号ε_g表示；

其中，φ是二元函数，n表示图像中的像素数，μ_i为置信度，如果μ_i＜α，则φ(μ_i)为1，α为阈值。

具体实现时，所述方法还包括：

定义了局部一致性，其为像素预测为前景但概率小于某一阈值的平均概率，用符号ε_l表示：

其中，n^f为预测为前景类的像素数目，θ(μ_i)为二元函数，如果θ(μ_i)＜β，则θ(μ_i)为1，否则θ(μ_i)为0，β为阈值。

进一步地，如果ε_g＞η或者ε_l＜γ，则此样本选择人工标注并标记为hard samples，如果ε_g＜η并且ε_l＞γ，则此样本用机器进行注释，η为全局不一致性阈值，γ为局部一致性阈值。

其中，所述伪标签定义如下：

j^*＝argmax_jp(y_j＝j|x_j；W)

其中，y_i为伪标签，j^*为大于阈值δ条件下预测的标签，y_j为j为预测为最大类的类别标签，j为j为预测为最大类的类别，x_j为像素点，W为权重，δ是一个阈值，如果像素点x_i的置信度得分μ_i小于δ，将不可靠的像素标签定义为inf。

本发明提供的技术方案的有益效果是：

1、本发明将深度学习技术与主动学习以及渐进学习方法配合使用，形成了一套完整的分割数据集的标注及其训练模型的框架；

2、本方法利用已存在的大规模的数据集训练对应的任务，在需要标注的数据集上利用主动学习以及渐进学习方式，使得最终得到的分割模型具有很高的性能，得到的标注结果能够满足实际应用或研究需要；

3、本发明提出一种在没有groundtruth(真实标签)的情况下判断分割结果好坏的指标，即高置信度和低置信度的样本；

4、本发明解决了在分割领域需要大量人力标注的耗时耗力问题，采用的HISE框架能够大大减少人工标注的比例，得到的模型也能达到全人工标注的性能。

附图说明

图1为基于HISE(人机协同的图像分割与标注)框架的流程图；

图2为不同人工标注比例下模型的性能效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

针对标注代价过大问题，本方法提出了一种HISE框架，该方法将主动学习，渐进学习相结合，它可以逐步学习分割模型并输出带注释的分割数据集。该方法主要包括以下步骤：提出了一种多粒度主动学习策略来挖掘低置信度的hard samples(难样本，本领域的专业术语，本发明实施例在此不做赘述)以进行手工注释；给出了三分区的伪标记策略以实现高可信度的自动注释图像；综合上述两种方式注释的图像以逐步增强分割模型；最终能够输出一个好的分割模型和带注释的分割数据集。

实施例1

本发明实施例提供了一种人机协同的图像分割与标注方法，参见图1和图2，该方法包括以下步骤：

101：对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四个数据集构建训练集和测试集；

进一步地，构建的分割数据集具体为：使用爬取手段直接从互联网上爬取数据；利用相机或者其他拍摄设备获取数据；标注必须是二分类的，即只有目标和背景两类。其中，使用大规模的数据集训练深度神经网路得到深度模型具体为：对数据集进行预处理，使用深度卷积神经网络(例如FCN)进行模型的训练；

将训练得到的深度模型在一些经典数据集上使用，具体实现时，所述对数据集的预处理具体为：有些网络爬取的图像和某些数据集的某些图像不具备预训练模型的条件，比如需要去掉目标像素点为0的图像，需要对目标像素点很少的图像进行裁剪等预处理操作。

102：使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为Pre-train model(预训练模型)，由于该模型不需要具有高精度，因此可以用需要标注的数据集在此模型上继续训练即可。

103：进一步地，不具备高精度的预训练模型用于后面的数据集测试和在此模型上继续训练具体为：

继续训练之前，首先取一小部分(根据实际应用中的需要进行设定)需要标注的数据集在pre-train model(预训练模型)上初始化。然后将所需要标注的数据集(此数据集往往是多尺寸的)在此预训练模型上进行测试，每一个样本(图片)测试完，都有一个置信度得分，对于高置信度的样本，直接用机器打上伪标签，并且取最值得信赖的像素点，对于低置信度的样本，进行手工标注。

对于高置信度和低置信度的判断是本发明的一个重要创新点，高低置信度的判断以及对于高置信度伪标签的标记规则用到了主动学习。综合这两部分样本继续对每次迭代的模型进行微调，输出最终的模型并进行测试及其输出带注释的分割数据集。104：重复执行步骤103，输出最终的模型并进行测试，输出带注释的分割数据集，循环迭代步骤103时，结合渐进学习策略进行参数的更新。

最后，对最终的模型进行测试是在数据集的测试集上进行，输出的带注释的分割数据集包含两个部分，第一部分是手工标注的(占小部分)，第二部分是机器标注的(占大部分)，为了验证机器标注结果的好坏，同样在标注的这一部分数据集上进行了测试。

综上所述，本发明实施例基于HISE框架，将主动学习，渐进学习相结合，实现了逐步学习分割模型并输出带注释的分割数据集，得到的标注结果能够满足实际应用或研究需要。

实施例2

下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

一、数据准备阶段

首先寻找大规模的标签精确的分割数据集VOT2016(该数据集为本领域技术人员所公知，本发明实施例对此不做赘述)，去掉目标像素点为0的图像，并对图像做剪裁处理，得到目标图像，其中剪裁的具体操作为，剪裁出的目标图像的像素点约占整个目标图像的1/3。但不限制每个剪裁出的目标图像为同一尺寸。此VOT2016分割数据集用作训练pre-train model。

其次，寻找待标注的数据，为保证本发明实施例的通用性，本方法在四个数据集上进行了实验，分别是DAVIS数据集，ECSSD数据集，MSRA-B数据集，以及MSRA10K数据集。

1)DAVIS数据集：是一个专注于视频片段的跟踪分割数据集，本方法对所有的数据进行了筛选，最终选择出1756张图片用做训练集，418张图片用做测试集。

2)ECSSD数据集：一共包含1000张图片，本方法随机选取了80％用做训练集，20％用做测试集。

3)MSRA-B数据集：一共包含5000张图片，本方法随机选取了70％用做训练集，30％用做测试集。

4)MSRA10K数据集：更像是MSRA-B数据集的扩充集，一共包含10000张图片，本方法随机选取了70％用做训练集，30％用做测试集。

上述四种数据集为本领域技术人员所公知，本发明实施例对此不做赘述。

二、HISE框架的使用细节

本方法的HISE框架的核心神经网络是全卷积网络，使用的分割算法为经典的FCN(全卷积网络)。具体使用步骤为：

1)首先使用处理好的VOT2016数据集在FCN上训练一个pre-train model(预训练模型)；

2)然后将待标注的四种数据集(DAVIS，ECSSD，MSRA-B，MSRA10K)的训练集作为框架的输入，先随机选用10％的数据去初始化模型(即在pre-train model上实现fine-tuning(微调))；

3)初始化完模型，将训练集(除去用来初始化模型的样本)在初始化后的模型上进行测试，测试完，每一个样本都有一个“得分”，根据得分的高低分别进行处理。

其中，根据得分的高低分别进行处理具体为：

对得分高的样本，直接取预训练模型给出的标签(只取最值得信赖的像素点)；对得分低的样本，使用人工标注，综合得分高、得分低的样本，继续fine-tuning模型。

具体实验中，本方法对上述步骤3)重复执行了5次，获取最终模型，再通过测试集对最终模型的性能进行测试，并且在训练集除了人工标注的样本上也进行了测试，用于检验机器标注的结果正确性。

三、HISE框架中所用到的Multi-granularity Active Learning(多粒度主动学习)策略

如何得到上文所述的“得分”是本发明的另一个重要创新点。此处用到了机器学习领域的主动学习。在无监督学习中，评估未标记样本的重要性是非常具有挑战的，难度越大的样本对模型的增益往往是最大的，主动学习往往使用不同类型的主动学习策略，例如不确定性和多样性挖掘hard samples(难样本)。

在本方法中，假设图像有c类(包括背景类)，FCN可以预测每个像素点属于第j类的概率，本方法把置信度得分定义为：

μ_i＝max_jp(y_i＝j|x_i；W)

其中，μ_i表示像素点x_i被预测为所有类y_i的最大概率，W为网络的权重，j为预测为最大的那个类。

为了有效的评估样本的难易程度(或者说对模型训练的重要性程度)，单单靠置信度得分是不够的，因此本方法定义了分割任务中hardsamples的选择标准，本方法称它为Globalinconsistency(全局不一致性)，并且定义它为置信度得分小于某个阈值的像素百分比。用符号ε_g表示。

其中，φ是二元函数，n表示图像中的像素数，本方法还定义了一个阈值α，如果μ_i＜α，则φ(μ_i)为1，这个时候认为该像素具有很大的概率被预测错误，本方法称这些像素的比例在整个图像中是全局不一致的。

然而，当背景类像素的比例非常高时，Global inconsistency(全局不一致性)可能变得不可靠，因此，本方法提出了另一个评估标准来评估前景对象的置信度，称它为Local consistency(局部一致性)，并且定义它为像素预测为前景但概率小于某一阈值的平均概率。用符号ε_l表示。

其中，n^f为预测为前景类的像素数目，同样，定义了一个阈值β，如果θ(μ_i)＜β，则θ(μ_i)为1，否则θ(μ_i)为0。如果Local consistency较低，则前景的边缘不可靠，因此无法自动注释。

此主动学习策略主要关注于hard samples的选择，用来进行人工标注，当然也能判断简单样本，因此本方法也通过此策略决定哪些样本用机器自动标注。如果ε_g＞η或者ε_l＜γ，则此样本选择人工标注并标记为hardsamples，如果ε_g＜η并且ε_l＞γ，则此样本用机器进行注释，然而，由于分割模型的不确定性，并非图像的伪标签所有的像素都用来fine-tuning(微调)模型。伪标签的定义如下：

j^*＝argmax_jp(y_j＝j|x_j；W)

其中，δ是一个阈值，如果像素点x_i的置信度得分μ_i小于δ，则由机器分配的标签是不可靠的，本方法将这个不可靠的像素标签定义为inf。因此在fine-tuning模型的时候将忽略对像素点x_i的学习。这样，只有高置信度分数的像素被自动注释并参与训练模型的微调过程。

四、HISE框架中所用到的Progressive Learning(渐进学习)策略

随着深度模型的性能通过迭代逐步提高，本方法将渐进式学习与提出的HISE框架相结合。与渐进式学习相结合的损失函数定义如下：

Min_Wl(X,W,γ,η,δ)

在训练过程中更新主动学习的参数γ和δ。更新策略定义为：

这里的γ₀和δ₀是初始的阈值并且用dγ和dδ控制阈值变化，t表示迭代次数。

本发明实施例所使用的算法伪代码如表1所示：

表1

本发明实施例具有以下三个关键创造点：

一、提出图像分割领域的人机协同框架HISE；

技术效果：本框架通过结合主动学习和渐进学习，能够大大减少标注代价，并能输出一个与全部标注得到的模型性能基本吻合的模型和带注释的分割图像标签。

二、提出判断样本难度的Multi-granularityActive Learning(主动学习)策略

技术效果：能够有效的判断图像分割任务中样本的难易程度，即有效的判断样本对模型训练的重要程度，一般来说，样本越难，对模型的增益越大。

三、提出与渐进学习结合的损失函数和fine-tuning(微调)网络是像素的选择策略；

技术效果：该策略的实行，是为了选择出最值信赖的像素点去微调网络。

综上所述，本方法可以利用现有数据集有效的对未标注的数据进行标注，并可以有效的在未标注的数据集上得到一个可靠的模型，让人和机器协同进行标注，大大减少人工标注的代价是本发明的关键点；并且机器标注完的数据可以进行有效的使用。

实施例3

本发明实施例采用的实验结果1如图2所示，该图展示了本方法仅需一半、或小于一半的数据集标注就能达到全部标注的模型的效果，图2的图例中注明了本方法使用人工标注的比例，并给出了两种比例的折线图，目的是证明随着人工标注比例的增加，模型性能会越来越高。

本发明实施例采用的实验结果2如表2所示，该结果展示了待标注的数据集的自动标注效果，从该结果中发现，该标签大部分指标在0.9以上甚至0.95以上，能达到本方法对标签的需求，并具有一定的实用性。

表2

	Overall acc.	Mean acc.	MIoU	Fwavacc
					DAVIS	0.9883	0.9807	0.9478	0.9774
ECSSD	0.9286	0.9150	0.8368	0.8696
					MSRA-B	0.9509	0.9450	0.8706	0.9096
MSRA10K	0.9602	0.9518	0.8965	0.9250

本发明实施例采用的实验结果3如表3所示，该结果展示了本方法设计的最终模型在显著性检测领域的四个指标评价，本方法得到的结论与分割领域基本相同，即用少量的人工标注就能达到全部人工标注的模型性能。

表3

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种人机协同的图像分割与标注方法，其特征在于，所述方法包括以下步骤：

对分割数据集进行预处理，基于预处理后的数据集作为预训练数据集，同时基于其他四种数据集构建训练集和测试集；

使用预训练数据集训练深度神经网络，将训练后的可进行图像分割的神经网络模型作为预训练模型，所述预训练模型用于数据集测试及训练；

输出最终的模型并进行测试，进而输出带注释的分割数据集，循环迭代测试及训练的步骤，结合渐进学习策略进行参数的更新；

所述方法还包括：

定义了局部一致性，其为像素预测为前景但概率小于某一阈值的平均概率，用符号ε_l表示：

其中，n^f为预测为前景类的像素数目，θ(μ_i)为二元函数，如果θ(μ_i)＜β，则θ(μ_i)为1，否则θ(μ_i)为0，β为阈值；

所述方法还包括：

定义了全局不一致性，其为置信度得分小于某个阈值的像素百分比，用符号ε_g表示；

其中，φ是二元函数，n表示图像中的像素数，μ_i为置信度，如果μ_i＜α，则φ(μ_i)为1，α为阈值；

如果ε_g＞η或者ε_l＜γ，则此样本选择人工标注并标记为hard samples，如果ε_g＜η并且ε_l＞γ，则此样本用机器进行注释，η为全局不一致性阈值，γ为局部一致性阈值；

其中，其他四种数据集为：

1)DAVIS数据集：专注于视频片段的跟踪分割数据集，选择出1756张图片用做训练集，418张图片用做测试集；

2)ECSSD数据集：包含1000张图片，选取了80％用做训练集，20％用做测试集；

3)MSRA-B数据集：包含5000张图片，随机选取70％用做训练集，30％用做测试集；

4)MSRA10K数据集：包含10000张图片，选取了70％用做训练集，30％用做测试集。

2.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述对分割数据集进行预处理具体为：

去掉目标像素点为0的图像，并对图像做剪裁处理，得到目标图像，剪裁出的目标图像的像素点占整个目标图像的1/3。

3.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述预训练模型用于数据集测试及训练具体为：

首先取一小部分需要标注的数据集在预训练模型上初始化，将需要标注的数据集在此预训练模型上进行测试；

对于高置信度的样本用机器打上伪标签，并且取最值得信赖的像素点，对于低置信度的样本进行手工标注。

4.根据权利要求3所述的一种人机协同的图像分割与标注方法，其特征在于，所述输出最终的模型并进行测试具体为：

通过高置信度的样本、低置信度的样本对每次迭代的预训练模型进行微调，输出最终的模型。

5.根据权利要求1所述的一种人机协同的图像分割与标注方法，其特征在于，所述输出带注释的分割数据集包含两个部分，第一部分是手工标注的，第二部分是机器标注的。

6.根据权利要求3所述的一种人机协同的图像分割与标注方法，其特征在于，所述伪标签定义如下：

其中，y_i为伪标签，j^*为大于阈值δ条件下预测的标签，y_j为预测为最大类的类别标签，j为预测为最大类的类别，x_j为像素点，W为权重，δ是一个阈值，如果像素点x_i的置信度得分μ_i小于δ，将不可靠的像素标签定义为inf。

Images