CN107784308A - 基于链式多尺度全卷积网络的显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于链式多尺度全卷积网络的显著性目标检测方法，所述方法步骤如下：对于一张图片I，先将其调整成不同尺度的一系列图片：{I₁，I₂，···，I_m}作为多个SSFCN的输入；不同尺度的SSFCN_i‑1对应的输入为X＝{I₁，I₂，···，I_m}，输出为Y＝{M₁，M₂，···，M_m}，传到下一个SSFCN网络的状态S＝{S₁，S₂，···，S_m}；将SSFCN_i‑1的输出大小调整到I_i的大小与I_i一起作为SSFCN_i的输入，将SSFCN_i‑1的最后一个反卷积层的输出大小调整到I_i的大小和SSFCN_i‑1的最后一个反卷积层的输出进行融合；将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。本发明可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。

Description

基于链式多尺度全卷积网络的显著性目标检测方法

技术领域

本发明涉及一种显著性目标检测方法，尤其涉及一种基于链式多尺度全卷积网络(CMSFCN)的显著性目标检测方法。

背景技术

显著性检测的目的在于通过设计算法，使用计算机自动地从图像中提取出区分能力强的特征来表征图像中像素或区域的属性。随着显著性检测技术的进步，在图像处理和计算机视觉领域中，越来越多的应用都开始利用显著性检测的结果来提高它们的性能，比如图像分割、图像裁剪、目标检测、图像检索等等。然而，效果不佳的显著性检测结果将直接影响上述基于显著性检测的相关应用的性能，从而在一定程度上限制了显著性检测方法的应用范畴和应用效果。

发明内容

为了更好的进行显著性检测，本发明基于单尺度全卷积网络(SSFCN)的方法，提供了一种基于链式多尺度全卷积网络的显著性目标检测方法。本发明的方法可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。

本发明的目的是通过以下技术方案实现的：

一种基于链式多尺度全卷积网络的显著性目标检测方法，包括如下步骤：

一、对于一张图片I，先将其调整成不同尺度的一系列图片：{I₁，I₂，···，I_m}作为多个SSFCN的输入，设定I_i(i＝1，2，···，m)为2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾，相对应的设置SSFCN_i的卷积模块和反卷积模块的数量为n_i＝i+5；

二、在卷积模块，当j≤m时，第j个卷积层输出的特征层数为64×2ⁱ，其余的卷积层输出为512，对应的反卷积层输出的特征层数与卷积层相同，最后一个反卷积层输出的特征层数为1；

三、将不同尺度的SSFCN加上下标：SSFCN₁，SSFCN₂，···，SSFCN_i，其中SSFCN_i表示输入图像为I_i＝2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾的SSFCN，它们对应的输入为X＝{I₁，I₂，···，I_m}，输出为Y＝{M₁，M₂，···，M_m}，传到下一个SSFCN网络的状态S＝{S₁，S₂，···，S_m}，其中S_i＝(F_i，M_i)，包括SSFCN_i网络的输出(F_i)和最后一个反卷积层的输出(M_i)；

四、对于第一个SSFCN₁：S₁＝SSFCN₁(I₁)，其余的SSFCN_i：S_i＝SSFCN_i(I_i，S_i-1)；

五、当i≥2时，将SSFCN_i-1的输出M_i-1的大小调整到I_i的大小与I_i一起作为SSFCN_i的输入，将SSFCN_i-1的最后一个反卷积层的输出F_i-1的大小调整到I_i的大小和SSFCN_i-1的最后一个反卷积层的输出F_i-1进行融合；

六、将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。

本发明具有如下优点：

整个过程利用一个神经网络进行图像显著性检测，检测速度在经过一个快速算法后可以达到25fps，并且较现有的图像显著性检测方法显著性图像边缘清晰，具有良好的鲁棒性。

附图说明

图1为不同的基于CNN的显著性检测的方法的速度和加权F值比较图。

图2为单尺度全卷积网络示意图，其中漏斗形网络前半部分为卷积模块，后半部分为反卷积模块，中间虚线为跨层连接。

图3为链式多尺度全卷积网络单个SSFCN示意图，其中漏斗形网络前半部分为卷积模块，后半部分为反卷积模块，中间虚线为跨层连接，M为SSFCN输出，F为SSFCN最后一个反卷积层输出。

图4为链式多尺度全卷积网络整体示意图，I为不同尺度输入，M为SSFCN输出。

图5为链式多尺度全卷积网络多尺度SSFCN输出结果，(a)是原图，(b)是真实显著性图，(c)～(f)是不同尺度SSFCN输出显著性图。

图6为多个基于CNN的网络与本发明方法的对比实验结果。

图7为多个基于CNN的网络与本发明方法在5个数据库上的P-R曲线，其中：横向为五个不同数据库上的结果，纵向分别为P-R曲线、F-T曲线、平均F值、加权F值、精确率、召回率柱状图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于链式多尺度全卷积网络的显著性目标检测方法，具体内容如下：

一、单尺度全卷积网络(Single-scale fully convolutional network SSFCN)

为了获取到显著性区域的全局深度信息，需要设计的网络比较深并且有多个网络层用于多步调整。如图2所示，本发明设计的SSFCN网络用连续多个卷积层模块进行深度特征提取，每一个卷积层模块在MAX_POOLING层后用卷积核为4×4、步长为2的卷积网络层代替卷积核为3×3、步长为1的卷积层，使用较大的卷积核是为了获取更大的感受野，堆叠多个这样的卷积层模块使得CNN网络学习到全局的、感受野较大的深层特征。但是，只是使用这样的特征生成的图像往往比较模糊，边缘信息不明确。为了解决这个问题，我们使用了连续多个反卷积模块和跨层连接的方法用于细化卷积层得到的较为模糊的特征。具体的方法如下：在最后一个卷积层加入多个卷积核为4×4、步长为2的反卷积层(使得得到的特征放大两倍)用于逐步细化并放大连续卷积模块后的结果，直到得到与输入图像相同大小的结果为止。在反卷积层之前用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积的结果整合作为反卷积层的输入，这样做的目的是将高层的深度特征信息与底层的特征信息进行整合进而形成有高区分性的特征信息用于显著性目标的检测。对于一张输入为2ⁿ×2ⁿ的图像，共设置n个卷积模块的同等数量的反卷积模块。

二、简单多尺度全卷积网络(Simple multi-scale fully convolutionalnetwork SMSFCN)

由于SSFCN网络的输入有一定的限制，输入必须是2ⁿ×2ⁿ，对于不同尺度的图像显然是不合适的。为了解决这个问题，一个直观的想法是将输入图像调整成不同尺度，然后将其输入到SSFCN网络中，然后将这些网络得到的不同尺度的显著性图像调整到与输入图像相同大小，最后将其整合到一起作为最终输出的显著性图像。我们把这样的网络称之为简单多尺度全卷积网络。

三、链式多尺度全卷积网络(Chained multi-scale fully convolutionalnetwork CMSFCN)

虽然SMSFCN网络的性能比SSFCN网络的性能要好，但是这样简单的将多个SSFCN的结果整合的方法并没有充分利用到多个SSFCN网络中间结果，于是提出了CMSFCN网络的方法。CMSFCN网络将多个SSFCN网络的中间结果用跨层连接的方式连起来，为SSFCN网络提供更多的特征信息，当前SSFCN网络的输入将不仅仅是原图像的输入，还有上一个(更小尺度)的SSFCN网络的状态。

对于一张图片I，需要先将其调整成不同尺度的一系列图片：{I₁，I₂，···，I_m}作为多个SSFCN的输入，在实验中我们发现将m设置为4时能够在复杂度较小的情况下取得很好的性能，当m>4时，整个网络的复杂度会很高但对网络的性能提高不大，需要调整到的I_i(i＝1，2，···，m)的大小，I_i的大小我们设定为2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾，相对应的设置SSFCN_i的卷积模块和反卷积模块的数量为n_i＝i+5，例如，当i＝3时，输入图像调整到256×256，相对应的设置SSFCN₃的卷积模块和反卷积模块的数量为n₃＝8。在卷积模块，当j≤4时，第j个卷积层输出的特征层数为64×2ⁱ，其余的卷积层输出为512，对应的反卷积层输出的特征层数与卷积层相同，最后一个反卷积层输出的特征层数为1。

为了能够将不同尺度的SSFCN网络的中间状态更好的利用，我们在不同尺度的SSFCN网络间加入一些跨层连接。我们将不同尺度的SSFCN加上下标用于区分：SSFCN₁，SSFCN₂，···，SSFCN_i，其中SSFCN_i表示输入图像为I_i＝2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾的SSFCN，它们对应的输入为X＝{I₁，I₂，···，I_m}，期望的输出为Y＝{M₁，M₂，···，M_m}，我们希望能够传到下一个SSFCN网络的状态S＝{S₁，S₂，···，S_m}，其中S_i＝(F_i，M_i)，包括SSFCN_i网络的输出(F_i)和最后一个反卷积层的输出(M_i)。对于第一个SSFCN₁：S₁＝SSFCN₁(I₁)，其余的SSFCN_i：S_i＝SSFCN_i(I_i，S_i-1)，其中S_i-1的连接方式如图2所示。

当i≥2时，将SSFCN_i-1的输出M_i-1的大小调整到I_i的大小(放大到两倍)与I_i一起作为SSFCN_i的输入，将SSFCN_i-1的最后一个反卷积层的输出F_i-1的大小调整到I_i的大小(放大到两倍)和SSFCN_i-1的最后一个反卷积层的输出F_i-1进行融合。图3展示了SSFCN之间连接的过程。将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。

S_i-1大致的连接方式如下：

(1)使用连续多个卷积层模块进行深度特征提取，SSFCN_i的卷积模块数量为n_i＝i+5，每一个卷积层模块在MAX_POOLING层后用卷积核为4×4、步长为2的卷积网络层代替卷积核为3×3、步长为1的卷积层；

(2)在最后一个卷积卷积层模块后加入与卷积模块相应数量的卷积核为4×4、步长为2的反卷积模块用于逐步细化并放大连续卷积模块后的结果，直到得到与输入图像相同大小的结果为止；

(3)在每一个反卷积模块之前用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积模块的结果整合作为反卷积模块的输入；

(4)当i>2时，S_i-1＝(F_i-1，M_i-1)，包括SSFCN_i-1网络的输出(F_i-1)和最后一个反卷积层的输出(M_i-1)作为SSFCN_i的输入，分别与输入图像I_i、SSFCN_i最后一个反卷积层结果整合。

网络的参数设置：每一个卷积层后跟着一个LReLu激活层和一个BN(批量正则化batch normalization)层，这样一组网络称之为一个卷积模块，最后一个卷积模块后加一个ReLu激活层。每一个反卷积层后跟着一个卷积层和一个BN层，这样一组网络称之为一个反卷积模块，最后一个反卷积模块后加一个tanh激活层。为了防止过拟合，在前四个反卷积模块后加入Drop层，drop的数值设置为0.5。

链式多尺度全卷积网络的整体示意图如图4所示，输出结果如图5所示。

四、实验结果：

实验使用五个标准的公开数据库来评价本发明所提出方法的性能，分别为SED1、SED2、ECSSD、PASCAL-S和HKU-IS。

SED1和SED2数据库分别包含100个图像，且前者中的图像只有一个显著性目标，而后者则有两个显著性目标。这两个数据库中的显著性目标的大小和位置变化较大。

ECSSD数据库包含1000个图像，且大部分图像拥有多个显著性目标和复杂的背景，从而使得显著性检测方法在该库上更具挑战性。

PASCAL-S数据库是从PASCAL VOC 2012分割任务的验证集中构造而成，其包含了850个图像，且这些图像中包含多个复杂的目标和杂乱的背景。该数据库无可争议地是最具挑战的显著性检测数据库之一，且没有各种各样专门设计的偏见(比如中心偏见和色彩对比度偏见)。

HKU-IS数据库包含4447个具有挑战性的图像。该数据库最近被构建且考虑了至少一条如下准则：(1)包含多个不相连的显著性目标。(2)至少有一个显著性目标是和图像边界相连的。(3)颜色对比度(即为显著性目标和与其相邻区域的颜色直方图之间的最小卡方距离)小于0.7。

以上所有数据库都提供了与其对应的真实显著性图(ground truths)，该真实显著性图中的显著性区域是由人进行像素级的手工标注而成。

实验采用以下四种评价准则来评价性能，分别为准确率-召回率曲线(precision-recall curve，记为PR曲线)、F指标(F-measure，记为Fβ)、加权F指标(记为w Fβ)和平均绝对误差(mean absolute error，记为MAE)。

准确率是指被正确分配显著性目标像素与检测到的总显著性像素的比值，召回率是指被正确分配显著性目标像素与真实显著性目标总像素的比值。因此，通过使用阈值从0到255对检测到的显著性图进行二值化，并计算其相应的准确率和召回率来获得准确率-召回率曲线(PR曲线)。

F指标(F_β)是一个综合性能评价度量，为准确率和召回率的加权调和平均，可由下式计算得到：

其中，同其它方法一样，β²＝0.3。比原始的F指标，加权F指标受如下因素的影响更少：(1)曲线插值的缺陷；(2)像素间不相关这一不当假设；(3)所有错误都同等对待。

平均绝对误差(MAE)是指检测到的显著性图S和真实显著性图GT间逐像素绝对误差的平均值。S和GT被归一化到0和1之间。

MAE可由下式计算得到：

其中，W和H表示图像的宽度和高度。

本发明与目前其中最好的基于CNN的方法七个方法(CRPSD、RFCN、DHS、DCL、MC、MDF和LEGS)在上述5个数据库中做了一个对比实验，实验使用了原文作者提供的源码，在相同条件下进行，结果如图1、6和7、表1和2所示。

表1多个基于CNN的网络与本发明方法在5个数据库上的加权F值、平均绝对误差

表2多个基于CNN的网络与我们的方法在5个数据库上的平均平均F值，加权F值、平均绝对误差、运行时间

Claims (3)

1.一种基于链式多尺度全卷积网络的显著性目标检测方法，其特征在于所述方法步骤如下：

一、对于一张图片I，先将其调整成不同尺度的一系列图片：{I₁，I₂，···，I_m}作为多个SSFCN的输入，设定I_i为2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾，相对应的设置SSFCN_i的卷积模块和反卷积模块的数量为n_i＝i+5，i＝1，2，···，m；

二、在卷积模块，当j≤m时，第j个卷积层输出的特征层数为64×2ⁱ，其余的卷积层输出为512，对应的反卷积层输出的特征层数与卷积层相同，最后一个反卷积层输出的特征层数为1；

三、将不同尺度的SSFCN加上下标：SSFCN₁，SSFCN₂，···，SSFCN_i，其中SSFCN_i表示输入图像为I_i＝2⁽ⁱ⁺⁵⁾×2⁽ⁱ⁺⁵⁾的SSFCN，它们对应的输入为X＝{I₁，I₂，···，I_m}，输出为Y＝{M₁，M₂，···，M_m}，传到下一个SSFCN网络的状态S＝{S₁，S₂，···，S_m}，其中S_i＝(F_i，M_i)，包括SSFCN_i网络的输出F_i和最后一个反卷积层的输出M_i；

四、对于第一个SSFCN₁：S₁＝SSFCN₁(I₁)，其余的SSFCN_i：S_i＝SSFCN_i(I_i，S_i-1)；

五、当i≥2时，将SSFCN_i-1的输出M_i-1的大小调整到I_i的大小与I_i一起作为SSFCN_i的输入，将SSFCN_i-1的最后一个反卷积层的输出F_i-1的大小调整到I_i的大小和SSFCN_i-1的最后一个反卷积层的输出F_i-1进行融合；

六、将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。

2.根据权利要求1所述的基于链式多尺度全卷积网络的显著性目标检测方法，其特征在于所述m＝4。

3.根据权利要求1所述的基于链式多尺度全卷积网络的显著性目标检测方法，其特征在于S_i-1的连接方式如下：

(1)使用连续多个卷积层模块进行深度特征提取，SSFCN_i的卷积模块数量为n_i＝i+5，每一个卷积层模块在MAX_POOLING层后用卷积核为4×4、步长为2的卷积网络层代替卷积核为3×3、步长为1的卷积层；

(2)在最后一个卷积卷积层模块后加入与卷积模块相应数量的卷积核为4×4、步长为2的反卷积模块用于逐步细化并放大连续卷积模块后的结果，直到得到与输入图像相同大小的结果为止；

(3)在每一个反卷积模块之前用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积模块的结果整合作为反卷积模块的输入；

(4)当i>2时，S_i-1＝(F_i-1，M_i-1)，包括SSFCN_i-1网络的输出(F_i-1)和最后一个反卷积层的输出(M_i-1)作为SSFCN_i的输入，分别与输入图像I_i、SSFCN_i最后一个反卷积层结果整合。