CN111680702A - 一种使用检测框实现弱监督图像显著性检测的方法 - Google Patents

Abstract

本发明公开了一种使用检测框实现弱监督图像显著性检测的方法。本发明的方法是首先使用全连接条件随机场CRF方法处理不带图像类别信息的检测框标注数据，得到初始的粗糙显著图伪标签作为第一轮模型训练的监督信息，再利用显著图伪标签数据训练图像显著性检测网络模型，接着对显著图伪标签进行更新，即使用显著图更新策略处理模型在训练图像数据上预测得到的显著图，得到下一轮训练所需的显著图伪标签，然后进行迭代精炼的过程，重复模型训练和显著图更新过程，最后微调模型，使模型适应测试的显著性检测数据集。该方法使用不带图像类别信息的检测框标注作为模型的弱监督信息，有效提高弱监督显著性检测方法的性能。

Description

一种使用检测框实现弱监督图像显著性检测的方法

技术领域

本发明属于计算机视觉领域，具体涉及一种使用检测框标注信息来实现弱监督的图像显著性检测的方法。

背景技术

随着计算机视觉领域的不断发展，图像显著性检测技术已经逐渐成为一个非常重要的研究方向。在实际的应用中，图像显著性检测技术常被用作预处理方法来提升如图像语义分割、图像内容描述等复杂图像处理任务的性能。

图像显著性检测技术是模拟人们观察图像时的视觉认知过程，从图像中检测出最突出、显著的图像前景区域，即某一突出语义信息的图像区域，而忽略周围的背景区域，检测的结果是一幅包含显著性和非显著性两个类别的分割图。

随着深度卷积神经网络技术的发展和大量大规模数据集的公开，使得基于像素级标注的全监督图像显著性检测方法的性能大幅度高于传统方法。然而，基于深度学习的全监督显著性检测方法需要大量的精确到像素级的标注数据用于模型的训练和学习，而标注像素级的显著图数据需要花费大量的人力成本和时间成本，这一定程度上制约了图像显著性检测方法性能的进一步提升和图像显著性检测模型的可扩展性。针对图像显著性检测技术研究中存在的有限显著图标注数据集和高成本的像素级标注等问题，近年来不断探索使用图像类别标注信息来实现弱监督的图像显著性检测技术。图像类别标注所提供的监督信息较少，仅仅含有图像中存在物体对象的类别信息，没有任何的位置监督信息，而且显著性检测技术不关注图像中物体的类别，只需检测出最突出、显著的图像区域，所以使用图像类别标注信息实现的弱监督图像显著性检测方法的显著性检测性能较差。而目前存在大量的用于图像目标检测研究的检测框数据集，相比于图像类别标注信息，检测框标注包含了一定的物体位置信息，可以有效的过滤图像中的背景噪声，减少网络模型对噪声的学习，同时标注不带图像类别信息的检测框数据成本也较低、更容易获得，因此使用检测框标注数据实现弱监督的图像显著性检测可以保证在较少的标注成本的基础上，进一步提高弱监督图像显著性检测方法的检测性能。

发明内容

本发明的目的是针对现有技术的不足，提出一种使用检测框实现弱监督图像显著性检测的方法。该方法使用不带图像类别信息的检测框标注作为模型的弱监督信息，有效提高弱监督显著性检测方法的性能。

本发明的方法是首先使用全连接条件随机场CRF方法处理不带图像类别信息的检测框标注数据，得到初始的粗糙显著图伪标签作为第一轮模型训练的监督信息，再利用显著图伪标签数据训练图像显著性检测网络模型，接着对显著图伪标签进行更新，即使用显著图更新策略处理模型在训练图像数据上预测得到的显著图，得到下一轮训练所需的显著图伪标签，然后进行迭代精炼的过程，重复模型训练和显著图更新过程，最后微调模型，使模型适应测试的显著性检测数据集。

本发明解决其技术问题所采用的技术方案具体包括以下步骤：

步骤(1)：数据预处理工作。

检测框标注数据中包含训练集图像及其对应的检测框弱监督信息，由检测框弱监督信息可以得到检测框区域图，接着检测框区域图经过全连接条件随机场CRF方法、背景噪声过滤和显著性区域标记处理，得到初始的粗糙显著图伪标签，并将其作为显著性检测网络模型的监督信息来训练模型；

步骤(2)：第一轮显著性检测模型的训练。

使用训练集图像及其初始的粗糙显著图伪标签来训练显著性检测模型。

步骤(3)：显著图伪标签的更新。

首先使用第一轮训练后的显著性检测模型在训练集图像上做预测，得到预测显著图；

然后利用全连接条件随机场CRF方法对预测显著图进行精细化处理和融合；所述的融合是指计算CRF方法边缘精细化处理后得到的显著图与预测显著图的均值得到新的显著图。

最后用已有的检测框标注数据的检测框区域图和新的显著图检测框内像素的平均显著值对新的显著图进行划分，划分为检测框内显著前景像素区域、检测框外背景像素区域和检测框内低显著的可忽略监督像素区域，得到新的显著图伪标签。

所述的检测框内显著前景像素区域是指检测框内像素的显著值大于等于新的显著图检测框内像素的平均显著值的像素；检测框内低显著的可忽略监督像素区域是指检测框内像素的显著值小于新的显著图检测框内像素的平均显著值的像素；检测框外背景像素区域是指检测框外图像区域像素。

步骤(4)：第二轮显著性检测模型的训练。

使用更新后新的显著图伪标签监督信息重新训练显著性检测模型。

步骤(5)：迭代精炼过程。

重复步骤(3)和步骤(4)的显著图伪标签的更新以及显著性检测模型训练的精炼过程，直到显著性检测模型的参数趋于稳定。

步骤(6)：模型微调。

首先使用步骤(5)得到的显著性检测模型在显著性检测数据集的训练数据上做前向预测，得到显著性检测数据集的预测显著图；

再利用全连接条件随机场CRF方法精细化前向预测得到的预测显著图；

最后将精细化后的预测显著图作为显著图伪标签，来微调当前的显著性检测模型。

步骤(7)：模型性能测试。

将微调后的显著性检测模型在显著性检测数据集的测试数据上做预测，之后使用全连接条件随机场CRF方法进行精细化处理得到最终的显著性检测结果，得到相比于现有的弱监督显著性检测方法更好的显著性检测性能。

本发明的有益效果是：

本发明所述的方法使用位置信息更加准确、标注成本较低的检测框标注数据作为弱监督信息，通过多轮的迭代训练过程得到显著性检测模型，在有效较低显著性检测标注成本的基础上，进一步提高了基于弱监督的图像显著性检测方法的性能。在显著性检测MaxF-Measure指标和MAE指标上，本发明都优于目前最好的弱监督显著性检测模型(WeaklySupervised Salient Object Detection Using Image Labels论文中提到的AMSO+模型

附图说明

图1是使用检测框实现弱监督图像显著性检测的流程图；

图2是使用全连接条件随机场CRF方法预处理检测框区域图的结果；

图3是模型迭代训练过程中显著图伪标签的更新。

具体实施方式

以下结合附图及实施过程，对本发明进行进一步的详细说明。

本发明提出的一种使用检测框实现弱监督图像显著性检测的方法，实施流程如图1所示。本发明使用全监督显著性检测模型PFA网络作为待训练学习的模型框架，显著性检测模型PFA网络的训练用到COCO 2014训练集图像及其对应的不带图像类别信息的检测框标注数据，模型微调使用显著性检测HKU-IS数据集的训练数据，模型测试时使用显著性检测HKU-IS数据集的测试数据。训练使用的损失函数为通常的二分类像素级分割损失函数，监督的显著图伪标签设置的忽略像素不参与损失函数计算。每一轮训练时，显著性检测模型PFA网络在COCO 2014训练集上进行20次训练，初始学习率设置为0.01，在第11次训练时将学习率设置为0.001。

本发明所述方法包括以下步骤：

步骤(1)：检测框数据预处理工作。

将已有的含位置信息的检测框标注数据经过全连接条件随机场CRF方法、背景噪声过滤和显著性区域标记处理，得到初始的粗糙显著图伪标签，并将其作为显著性检测网络模型的监督信息来训练模型。

具体如图2所示，首先利用已有的检测框标注数据得到图像中物体的检测框区域图；然后使用全连接条件随机场CRF方法处理检测框区域图，得到检测框区域图内边缘经过精细化的前景对象的检测框区域图Ⅰ；再利用已有的检测框标注数据对经过精细化后的检测框区域图Ⅰ进行过滤，过滤检测框外被错误标记的背景像素，得到检测框区域图Ⅱ；最后对检测框区域图Ⅱ进行计算，得到检测框内像素的平均显著值，将大于等于平均显著值的像素标记为显著像素，检测框区域剩余部分标记为忽略像素，从而得到第一轮模型训练所需的粗糙显著图伪标签。

步骤(2)：第一轮显著性检测模型PFA网络的训练。

使用COCO 2014训练集图像及其对应的在步骤(1)数据预处理后得到的粗糙显著图伪标签的监督信息，来训练显著性检测模型PFA网络。

步骤(3)：显著图伪标签的更新。

首先使用第一轮训练完成的显著性检测模型PFA网络对COCO 2014训练集图像进行预测，得到第i幅图像对应的预测显著图

然后使用全连接条件随机场CRF方法对预测显著图

进行物体边缘精细化处理，得到显著图

由于全连接条件随机场CRF方法处理会丢失部分显著性区域，所以接着计算预测显著图

和显著图

的均值得到新的显著图

再使用已有的检测框标注数据滤除新的显著图

在检测框外的噪声，即将检测框外像素标记为背景像素；最后根据检测框内像素的平均显著值，将检测框内的像素标记为显著像素和忽略像素，得到下一轮训练使用的显著图伪标签

显著图伪标签的更新结果图如图3所示。

步骤(4)：第二轮显著性检测模型PFA网络的训练。

使用COCO 2014训练集图像及其对应的在步骤(3)更新得到的更加精确的显著图伪标签

的监督信息，重新训练显著性检测模型PFA网络。

步骤(5)：迭代精炼过程。

重复步骤(3)和步骤(4)的显著图伪标签的更新以及显著性检测模型PFA网络训练的精炼过程，一共进行5轮迭代训练，得到最后参数趋于稳定的显著性检测模型PFA网络；

步骤(6)：模型微调。

首先使用步骤(5)得到的显著性检测模型PFA网络对显著性检测HKU-IS数据集的训练数据做前向预测，得到HKU-IS训练数据集的预测显著图；再使用全连接条件随机场CRF方法精细化HKU-IS训练数据集的预测显著图；接着设置显著性阈值为200，将精细化后的预测显著图转为显著图伪标签，即大于等于阈值的像素标记为显著像素，剩余像素标记为非显著像素；最后将步骤(5)得到的显著性检测模型PFA网络在显著性检测HKU-IS数据集的训练图像及其对应的显著图伪标签数据上进行微调训练，使显著性检测模型PFA网络适应显著性检测HKU-IS数据集的数据特点。

显著性检测模型PFA网络在显著性检测HKU-IS数据集的训练集上进行1次训练，使用的学习率为0.0001。

步骤(7)：模型性能测试。

将步骤(6)得到的显著性检测模型PFA网络在显著性检测HKU-IS数据集的测试数据上做预测，并用全连接条件随机场CRF方法精细化预测显著图，计算显著性检测指标，得到最终模型的显著性检测性能。本发明和目前性能最好的弱监督显著性检测模型(WeaklySupervised Salient Object Detection Using Image Labels论文中提到的AMSO+模型)进行比较，在显著性检测HKU-IS数据集的测试图像上进行了验证。本发明在显著性检测MaxF-Measure指标(越大性能越好)上的性能为0.8561，优于AMSO+模型的0.855；而在显著性检测MAE指标(越小性能越好)上的性能为0.0799，优于AMSO+模型的0.088。

Claims (2)

1.一种使用检测框实现弱监督图像显著性检测的方法，其特征在于包括如下步骤：

步骤(1)：数据预处理工作；

检测框标注数据中包含训练集图像及其对应的检测框弱监督信息，由检测框弱监督信息可以得到检测框区域图，接着检测框区域图经过全连接条件随机场CRF方法、背景噪声过滤和显著性区域标记处理，得到初始的粗糙显著图伪标签，并将其作为显著性检测网络模型的监督信息来训练模型；

步骤(2)：第一轮显著性检测模型的训练；

使用训练集图像及其初始的粗糙显著图伪标签来训练显著性检测模型；

步骤(3)：显著图伪标签的更新；

首先使用第一轮训练后的显著性检测模型在训练集图像上做预测，得到预测显著图；

然后利用全连接条件随机场CRF方法对预测显著图进行精细化处理和融合；所述的融合是指计算CRF方法边缘精细化处理后得到的显著图与预测显著图的均值得到新的显著图；

最后用已有的检测框标注数据的检测框区域图和新的显著图检测框内像素的平均显著值对新的显著图进行划分，划分为检测框内显著前景像素区域、检测框外背景像素区域和检测框内低显著的可忽略监督像素区域，得到新的显著图伪标签；

步骤(4)：第二轮显著性检测模型的训练；

使用更新后新的显著图伪标签监督信息重新训练显著性检测模型；

步骤(5)：迭代精炼过程；

重复步骤(3)和步骤(4)的显著图伪标签的更新以及显著性检测模型训练的精炼过程，直到显著性检测模型的参数趋于稳定；

步骤(6)：模型微调；

首先使用步骤(5)得到的显著性检测模型在显著性检测数据集的训练数据上做前向预测，得到显著性检测数据集的预测显著图；

再利用全连接条件随机场CRF方法精细化前向预测得到的预测显著图；

最后将精细化后的预测显著图作为显著图伪标签，来微调当前的显著性检测模型；

步骤(7)：模型性能测试；

将微调后的显著性检测模型在显著性检测数据集的测试数据上做预测，之后使用全连接条件随机场CRF方法进行精细化处理得到最终的显著性检测结果，得到相比于现有的弱监督显著性检测方法更好的显著性检测性能。

2.根据权利要求1所述的一种使用检测框实现弱监督图像显著性检测的方法，其特征在于所述的检测框内显著前景像素区域是指检测框内像素的显著值大于等于新的显著图检测框内像素的平均显著值的像素；检测框内低显著的可忽略监督像素区域是指检测框内像素的显著值小于新的显著图检测框内像素的平均显著值的像素；检测框外背景像素区域是指检测框外图像区域像素。

Images