CN109829391B

CN109829391B - 基于级联卷积网络和对抗学习的显著性目标检测方法

Info

Publication number: CN109829391B
Application number: CN201910024728.0A
Authority: CN
Inventors: 邬向前; 卜巍; 唐有宝
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2023-04-07
Anticipated expiration: 2039-01-10
Also published as: CN109829391A

Abstract

本发明公开了一种基于级联卷积网络和对抗学习的显著性目标检测方法，所述方法包括如下步骤：一、设计全局显著性估计器E；二、设计局部显著性细化器R；三、将全局显著性估计器E和局部显著性细化器R组合成为基于级联卷积神经网络的产生器G，用于生成显著性图；四、优化产生器G；五、设计对抗学习判别器D来区分真实的显著性图和产生器G生成的预测显著性图；六、产生器G和对抗学习判别器D遵循CGAN的策略，以一种完全端到端的方式进行训练，使产生器G更好地了解显著性物体结构信息，得到好的显著性检测结果。本发明通过对抗学习隐式学习这些结构信息，可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。

Description

基于级联卷积网络和对抗学习的显著性目标检测方法

技术领域

本发明涉及一种显著性目标检测方法，尤其涉及一种基于级联卷积网络和对抗学习(CCAL)的显著性目标检测方法。

背景技术

显著性目标检测是通过赋予一些区域较大的显著性值来定位自然图像中引起人们注意的物体。随着显著性检测技术的进步，在图像处理和计算机视觉领域中，越来越多的应用都开始利用显著性检测的结果来提高它们的性能，比如图像分割、图像裁剪、目标检测、图像检索等等。然而，效果不佳的显著性检测结果将直接影响上述基于显著性检测的相关应用的性能，从而在一定程度上限制了显著性检测方法的应用范畴和应用效果。近年来，由于卷积神经网络在计算机视觉领域的应用，显著性目标检测取得了巨大的成功。但是，获取清晰的显著性边界和一致的显著性区域仍然是一个挑战。

发明内容

本发明为了更好的进行显著性检测，提供了一种基于级联卷积网络和对抗学习的显著性目标检测方法。本发明通过对抗学习隐式学习这些结构信息，可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。

本发明的目的是通过以下技术方案实现的：

一种基于级联卷积网络和对抗学习的显著性目标检测方法，包括如下步骤：

一、设计一个用于全局显著性估计的编码器-解码器网络，将其命名为全局显著性估计器E，将原图输入到全局显著性估计器E中，得到初始显著性图；

二、为了细化显著性检测的边缘，设计一组局部显著性细化的深度残差网络，将其命名为局部显著性细化器R，深度残差网络的输入是由全局显著性估计器E生成的初始显著性图和原图的组合，输出是最终的细化显著性图；

三、将全局显著性估计器E和局部显著性细化器R组合成为基于级联卷积神经网络的产生器G，用于生成显著性图；

四、引入一种对抗性损失来优化基于级联卷积神经网络的产生器G；

五、设计一个对抗学习判别器D来区分真实的显著性图和基于级联卷积神经网络的产生器G生成的预测显著性图；

六、基于级联卷积神经网络的产生器G和对抗学习判别器D遵循条件生成对抗性网络(CGAN)的策略，以一种完全端到端的方式进行训练，使基于级联卷积神经网络的产生器G更好地了解显著性物体结构信息，得到好的显著性检测结果。

本发明具有如下优点：

整个过程利用一个神经网络进行图像显著性检测，检测速度可以达到17fps，并且较现有的图像显著性检测方法，在不需要后处理的情况下，显著性图像边缘清晰，具有良好的鲁棒性。

附图说明

图1为基于级联卷积网络和对抗学习的显著性目标检测方法总体网络图。

图2为3个本发明提出的显著性目标检测结果及去掉一些模块结果视觉效果的例子，其中：(a)输入图像；(b)仅使用E产生显著性图的检测结果；(c)使用G产生显著性图的检测结果，包括E和R，但没有使用D；(d)使用E产生显著性图的检测结果并使用D进行对抗训练；(e)使用全部提出模块产生显著性图的检测结果，包括E和R以及用于对抗训练的D；(f)人工标注的真实显著性图。

图3为不同的显著性检测方法与本发明的方法(CCAL)在不同挑战场景中的视觉比较结果。

图4为本发明方法与其他方法在八个数据集上的结果在PR曲线、F值曲线评价标准上的对比。

图5为在使用不同本发明提出模块进行组合后所有测试数据集的wF_β结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于级联卷积网络和对抗学习的显著性目标检测方法，所述方法具体实施步骤如下：

一、全局显著性估计器E(Global Saliency Estimator E)

为了初步获取图像的显著性区域，和大部分方法一样，本发明构建了一个编码器-解码器网络用于初始显著性映射估计，该网络由编码器和解码器两部分组成，如图1所示。

本发明中，编码器部分使用八个连续的卷积核大小为4*4、步长为2的卷积层，每层卷积核数分别为64、128、256、512、512、512、512、512、512；解码器部分使用对应的八个卷积核大小为4*4、步长为2的反卷积层，每层的卷积核数分别为512、512、512、512、256、128、64、1。特别地，在反卷积层之前，使用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积的结果整合作为反卷积层的输入，这样做的目的是将高层的深度特征信息与底层的特征信息进行整合进而形成有高区分性的特征信息用于显著性目标的检测。在每两个卷积层之间，都会使用ParametricReLU激活函数和批规范层(BN)。网络的最后一层使用双曲正切激活函数。

全局显著性估计器E部分的损失函数为：

式中：L_E为全局显著性估计器E部分的损失函数，α为平衡参数，设置为

|Y_-|为真实显著性图片的背景像素数量，|Y₊|为真实显著性图片的显著性区域像素数量，y_i为预测像素的值，0代表背景，1代表显著性区域，E(I)为E生成的显著性图。

二、局部显著性细化器R(Local Saliency Refiner R)

本发明利用深度残差网络设计局部显著性细化器R进行局部显著性细化，网络的输入是由全局显著性估计器E生成的初始显著性图和原图的组合，输出是最终的细化显著性图。

局部显著性细化器R由16个残差模块组成，每一个残差模块包含两个64*3*3的卷积层接ParametricReLU激活函数和批规范层(BN)，最后一个残差模块后使用一个1*1*1的卷积并使用双曲正切激活函数。两个残差模块之间的链接如图1所示，残差模块的输出和输入逐点相加作为下一个模块的输入。

局部显著性细化器R部分的损失函数同全局显著性估计器E。

三、对抗学习判别器D(Discriminator D)

对抗学习判别器D部分使用5个连续的卷积核大小为4*4、步长为2的卷积层，每层卷积核数分别为64、128、256、512、512，在每两个卷积层之间，都会使用ParametricReLU激活函数和批规范层(BN)，最后一个卷积层后使用一个1*1的卷积和sigmoid激活函数。在此过程中，我们引入如下对抗学习策略：

式中，L(D)为对抗学习判别器部分的损失函数，L_A为对抗学习生成器部分的损失函数，

表示求目标分布的期望，D()表示对抗学习判别器输出的结果，G()表示对抗学习生成器的输出结果，输入变量I指原图，Y指真实显著性图。

L(D)为对抗学习判别器的损失函数，作用是判断对抗学习生成器生成的图片是否能以假乱真。值得注意的是，我们不是一整张图片判断整体的真假，而是每一个小块判断一次。这里的小块不是将原图分割成一个个小块，而是指对抗学习判别器D网络得到的特征向量，每一个向量可以表示一小块图片的特征。网络最终的损失函数为：

L_C＝γ·L_E+(1-γ)·L_R (4)；

L(G)＝λ·L_C+(1-λ)·L_A (5)；

L＝L(G)+L(D) (6)；

式中，L_C为对抗学习生成器部分监督学习的损失函数，L(G)为对抗学习生成器的损失函数，包含有监督学习和对抗学习两部分，L为总的损失函数，包含对抗学习生成器和对抗学习判别器两部分。γ和λ都是平衡常量，我们设置为0.5。

全局显著性估计器E、局部显著性细化器R和对抗学习判别器D的连接方式如图1所示。首先将原图输入到全局显著性估计器E中，得到初始显著性图，然后将初始显著性图放入局部显著性细化器R中对显著性区域的边缘等进行细化，得到最终的显著性图。在训练过程中，全局显著性估计器E和局部显著性细化器R组成基于级联卷积神经网络的产生器G生成显著性图，对抗学习判别器D分别对(原图，真实显著性图)组和(原图，预测显著性图)组进行判断，判断(原图，真实显著性图)组为真，(原图，预测显著性图)组为假。在训练网络的时候，每训练一次G，训练三次D。由于在训练过程中判别器是共享参数的，生成基于级联卷积神经网络的产生器G的目标就是尽量生成真实的显著性图去欺骗对抗学习判别器D。而对抗学习判别器D的目标就是尽量把基于级联卷积神经网络的产生器G生成的图片和真实的图片分别开来。这样，基于级联卷积神经网络的产生器G和对抗学习判别器D构成了一个动态的“博弈过程”，最终得到足以乱真的显著性图。

四、实验结果：

实验使用五个标准的公开数据库来评价本发明所提出方法的性能，分别为SED1、SED2、ECSSD、PASCAL-S、HKU-IS、SOD、DUT-OMRON和DUTS-TE。以上所有数据库都提供了与其对应的真实显著性图(ground truths)，该真实显著性图中的显著性区域是由人进行像素级的手工标注而成。实验采用以下五种评价准则来评价性能，分别为准确率-召回率曲线(precision-recall curve，记为PR曲线)、F指标(F-measure，记为F_β)、加权F指标(记为wF_β)、结构相似性测度(structural similarity measure，记为SSM)和平均绝对误差(meanabsolute error，记为MAE)。

本发明与目前其中最好的基于CNN的方法十个方法(DGRL、FSN、Amulet、UCF、SRM、DSS、NLDF、WSS、RFCN和DHS)在上述8个数据库中做了一个对比实验，实验使用了原文作者提供的源码，在相同条件下进行，结果如图3～5、表1所示。

表1本发明方法与其他方法在八个数据集上的结果在wF_β、SSM和

MAE评价标准上的对比

注：表1中加粗文字按颜色从深到浅分别代表第一、第二、第三。

从表1和图4中我们可以看出，本发明的结果在8个公开的显著性检测数据库中基本都能拿到最好的结果，这证明了本发明的方法有着很好的鲁棒性和泛化能力。

从图3中我们可以看出，本发明的结果的边缘较其他方法更为清晰，显著性区域和背景区域的分界明显，没有如同其他方法一样有一些过渡区域。

从图2和图5中，我们可以得出，本发明提出的三个模块都对显著性检测性能的提高起到了作用，可以看出，同时使用全局显著性估计器E、局部显著性细化器R、对抗学习判别器D得到的结果较组合其中一些模块得到的结果好很多。

Claims

1.一种基于级联卷积网络和对抗学习的显著性目标检测方法，其特征在于所述方法包括如下步骤：

五、设计一个对抗学习判别器D来区分真实的显著性图和基于级联卷积神经网络的产生器G生成的预测显著性图，所述对抗学习判别器D的损失函数为：

L_C＝γ·L_E+(1-γ)·L_R；

L(G)＝λ·L_C+(1-λ)·L_A；

L＝L(G)+L(D)；

表示求目标分布的期望，D()表示对抗学习判别器输出的结果，G()表示对抗学习生成器的输出结果，输入变量I指原图，Y指真实显著性图，L_C为对抗学习生成器部分监督学习的损失函数，L(G)为对抗学习生成器的损失函数，包含有监督学习和对抗学习两部分，L为总的损失函数，包含对抗学习生成器和对抗学习判别器两部分，γ和λ是平衡常量；

六、基于级联卷积神经网络的产生器G和对抗学习判别器D遵循条件生成对抗性网络的策略，以一种完全端到端的方式进行训练，使基于级联卷积神经网络的产生器G更好地了解显著性物体结构信息，得到好的显著性检测结果。

2.根据权利要求1所述的基于级联卷积网络和对抗学习的显著性目标检测方法，其特征在于所述编码器部分使用八个连续的卷积核大小为4*4、步长为2的卷积层，每层卷积核数分别为64、128、256、512、512、512、512、512；解码器部分使用对应的八个卷积核大小为4*4、步长为2的反卷积层，每层的卷积核数分别为512、512、512、512、256、128、64、1；在反卷积层之前，使用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积的结果整合作为反卷积层的输入，在每两个卷积层之间，使用ParametricReLU激活函数和批规范层，网络的最后一层使用双曲正切激活函数。

3.根据权利要求1所述的基于级联卷积网络和对抗学习的显著性目标检测方法，其特征在于所述全局显著性估计器E的损失函数为：

式中：L_E为全局显著性估计器E的损失函数，α为平衡参数，设置为

Y-为真实显著性图片的背景像素数量，|Y₊|为真实显著性图片的显著性区域像素数量，y_i为预测像素的值，0代表背景，1代表显著性区域，E(I)为E生成的显著性图。

4.根据权利要求1所述的基于级联卷积网络和对抗学习的显著性目标检测方法，其特征在于所述局部显著性细化器R由16个残差模块组成，每一个残差模块由两个64*3*3的卷积层、ParametricReLU激活函数和批规范层组成，最后一个残差模块后使用一个1*1*1的卷积并使用双曲正切激活函数。

5.根据权利要求1所述的基于级联卷积网络和对抗学习的显著性目标检测方法，其特征在于所述对抗学习判别器D部分使用5个连续的卷积核大小为4*4、步长为2的卷积层，每层卷积核数分别为64、128、256、512、512，在每两个卷积层之间，使用ParametricReLU激活函数和批规范层，最后一个卷积层后使用一个1*1的卷积和sigmoid激活函数。