CN108711147A - 一种基于卷积神经网络的显著性融合检测算法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的显著性融合检测算法，包括下列步骤：选取一些已有的显著性检测算法，将其作为候选的融合方法利用度量公式进行初步选择；度量公式所选出的方法，首先将其中两两方法组成一组，使用加权求和的方法得到融合后的显著图，并且测量F‑measure值，如果此次融合后的F‑measure值要比被融合的两个显著图的F‑measure值高，则加入第三个方法的显著图并判断融合后的显著图的F‑measure值是否高于上一次融合后的显著图的F‑measure值，并以此方法继续加入其它方法的显著图，直到F‑measure值不再增加为止；准备数据；训练显著性检测深度卷积网络。

Description

一种基于卷积神经网络的显著性融合检测算法

技术领域

本发明属于计算机图像处理领域，涉及一种图像视觉显著性检测技术，特别是涉及一种基于卷积神经网络的显著性融合检测算法。

背景技术

图像显著性检测是计算机视觉领域的一个研究热点，其目标是从图像或者是视频中检测出显著的物体。显著性检测被广泛应用于图像分割，图像识别与检测，图像压缩等领域。

考虑到是否使用了深度学习策略，现有的显著性检测方法可以分为传统的基于手动提取特征的方法和基于深度学习的方法。传统的显著性方法根据手动提取的特征和基于优化的算法来生成显著图，比如说MR[10]基于流形排序算法来查询排列图像元素比如说像素或区域前景背景信息，wCtr[12]使用边界连通性来测量背景先验信息以得到更清楚均匀的显著图，其对于具有简单背景的图像可以达到好的显著效果，但是对于拥有复杂背景的图像，传统的方法往往会遗漏部分显著对象或者不能很好抑制背景。而其他的基于深度学习的算法利用神经网络提取高维语义信息，如RFCN[13]使用了循环全卷积网络，这些基于深度学习的算法可以捕捉到显著性物体但是会忽略显著对象在某些场景下的细节。

发明内容

本发明提出一种基于卷积神经网络的显著性融合检测算法，以期望在简单场景和复杂场景中获得更完整准确的显著性检测图。本发明结合传统显著性方法和基于深度学习的显著性方法的优点，从而提高显著性检测的性能。为此，本发明采用如下技术方案：

一种基于卷积神经网络的显著性融合检测算法，包括下列步骤：

步骤1：显著性检测算法的选择

(1)首先选取一些已有的显著性检测算法，将其作为候选的融合方法，对于这已有的显著性检测算法，设定阈值为5，采用下列度量公式进行初步选择：

V＝g(t)+γF,

其中，t是运行时间，F是已有的显著性检测算法获得的显著图的F-measure评估值，λ＝4，δ＝2,γ＝5是选定的参数；将V值低于阈值的显著性检测算法从候选名单中剔除。

(2)对于(1)中度量公式所选出的方法，首先将其中两两方法组成一组，使用加权求和的方法得到融合后的显著图，并且测量F-measure值，如果此次融合后的F-measure值要比被融合的两个显著图的F-measure值高，则加入第三个方法的显著图并判断融合后的显著图的F-measure值是否高于上一次融合后的显著图的F-measure值，并以此方法继续加入其它方法的显著图，直到F-measure值不再增加为止；经过步骤1中(1)和(2)，选出有利于网络训练的两种显著性检测算法。

步骤2：数据准备

选定网络训练所需的数据集，并用步骤1选定的两种两种显著性检测算法生成显著图，将RGB图像和显著图做为训练集，并且用裁剪和水平翻转方式对训练集进行数据增强；

步骤3：训练显著性检测深度卷积网络

显著性融合检测的网络架构基于改进VGG-16模型，利用步骤2的准备的数据，将RGB图像和其相对应的步骤1中选择的两种显著性检测算法生成的显著图作为网络模型的输入，通过改进VGG-16模型进行特征提取，改进之处在于：为了得到显著图，在15个卷积层输出后接4个上采样层，并且前3个上采样层的输出分别与conv4，conv3，conv2的输出结果做相加求和后再进行上采样以提升效果，网络直接输出为一个显著图。

附图说明

图1：显著性融合检测网络框架图

图2：多幅图片在多个显著性方法下的结果图

具体实施方式

一般采用基于深度学习的显著性检测算法模型表示为：S＝f(I；W)，其中S为最终预测的显著图，I是输入的RGB图像，W是网络参数。我们改进的显著性融合检测模型表示如下：其中k∈[1,K]是选择的第K个传统的显著性检测算法的显著图。

步骤1：选择融合之后会显著提升显著性预测结果的传统显著性方法

本发明首先将12个先进的传统方法作为候选的融合方法，其中包括：FT[1]，DRFI[2]，GS[3]，HS[4]，RA[5]，SF[6]，DSR[7]，GRSD[8]，HDCT[9]，MR[10]，GBVS[11]和wCtr[12]。我们综合考虑到两个因素来进行方法选择，分别是速度和F-measure评估值，对于显著性检测任务来说，速度越小显著预测所需时间越少，F-measure评估值越高预测效果越好。

首先对于12个传统方法根据处理速度和F-measure评估值进行第一步选择，提出的度量方式如下所示：

V＝g(t)+γF,

其中，t是运行时间，F是当前方法的F-measure评估值，λ＝4，δ＝2,以及γ＝5是选定的参数。综合对显著性方法运行时间和F-measure值的考虑，我们设定公式的阈值为5，本发明将低于阈值5的方法从候选名单中剔除。留下8个方法：DSR[7]，GS[3]，HS[4]，SF[6]，GBVS[11]，GRSD[8]，MR[10]，wCtr[12]。

其次对于剩下的8个方法，首先进行两两排列组合，利用相加的方式进行融合并且比较融合后的F-measure值，选出F-measure值有所提升的方法后融合第三个方法结果直到F-measure值不再比原有方法更高。

最后本发明从所有新进的传统方法中选出了信息能够互相补充，并且能够提高融合结果的两种方法MR和wCtr作为网络的输入。

步骤2：准备训练数据并做数据增强

本发明选择MSRA10K[14]数据集中的8000张图片作为训练数据，我们根据groundtruth作为参考基准，在保持显著对象完整的情况下，裁剪输入数据，并且对原始数据和裁剪数据一起进行水平翻转，将训练数据集增强到原来的四倍。

步骤3：显著性融合检测模型的训练

本发明显著性融合检测的网络架构主要是基于VGG-16模型。VGG-16模型的输入是RGB图像，输出是分类得分。我们将一个RGB图像和选择的传统方法生成的显著图作为网络模型的输入，网络直接输出为一个显著图。基于VGG-16网络模型，首先将第一个卷积层的输入修改为3×3×(3+K)×64大小，将最后两层的全连接层F6和F7改为全卷积层Fc6和Fc7。整个网络结构有15个卷积层序列来进行从低维到高维的特征提取，从Conv1到Conv5卷积层之后又会经过下采样使得原始图片尺寸缩小，Conv5层之后的输出为原始图像的1/32大小，为了降维Fc7层之后跟一个核大小为1×1的卷积层S。S层之后经过一个核大小为4×4的上采样D1层，使得输出恢复到S层的4倍大小。为了很好的还原提取的图片特征，向前迭代将D1层结果与Conv4层下采样后的结果相加再经过反卷积层D2进行上采样，然后将D2层结果与Conv3层下采样后的结果相加再经过反卷积层D3，然后将D3层结果与Conv2层下采样后的结果相加再经过反卷积层D4，此时输出的特征图已恢复到输入图像尺寸大小。以上训练网络模型的结构框架如图1所示。

训练设置：MSRA10K[14]数据集涵盖了多种场景，本发明从MSRA10K[14]数据集中随机选取8000张RGB图像训练网络，进行数据增强后训练数据集扩充到32000张RGB图像，网络在RFCN[13]文章中提到的预训练模型上做fine-tune。网络模型中使用到的超参包括学习率(10^-10),权重衰减(0.005)和动量(0.99).

步骤4：显著性融合检测模型的结果测试

对于每一张RGB图像先得到步骤1所述选择的两种方法MR和wCtr的显著图，将RGB图像和两个显著图通过步骤3训练好的模型就可以直接得到一个显著图，然后resize到原始图像尺寸大小。本发明使用步骤3训练完成的模型进行测试，并且在四个测试数据集上计算本发明以及对照方法的F-measure评估值和MAE评估值，F-measure值越高表示检测效果越好，MAE值越低表示检测结果越好。结果如表1所示。可以看到本发明得到置信度较高的显著检测结果，并且能够得到更完全的显著对象和良好的抑制背景区域。

定性分析和定量分析结果如图2和表1所示，我们在数据集ASD[1],ECSSD[4],PASCAL-S[17]和SED2[18]上和深度学习方法RFCN[13]和MDF[15]以及传统方法BL[16],DRFI[2]，GS[3]，HS[4]，SF[6]，DSR[7]，MR[10]和wCtr[12]做了对比。

图2中我们可以看到在4个基准数据集上显示的一些典型的显著性检测结果。我们可以看到非深度学习方法在简单场景中能检测出图像中的显著对象，在一些复杂场景的图像中，传统方法往往会遗漏部分显著对象，比如SF[6]方法对第1，第3和第5张图的结果。或者不能抑制背景，比如HS[4]对第1，第3张图的结果。对于传统的非深度学习方法，深度学习方法在简单场景和复杂场景下可以得到更好的显著性检测结果。在图2中，我们依然可以看到MDF[15]对第1张图和第3张图的背景没有很好的抑制，背景区域也有部分被检测出来。同样RFCN[13]对第1张和第5张图片没有检测完全，有部分缺失。相反图2可以看到本发明能够生成具有较高置信度，完整显著对象的显著检测结果，并且可以很好的抑制背景。

表1显示出本发明方法很好的定量分析结果。在ASD[1]数据集上，相比于处于第二位的RFCN[13]方法来说，F-measure评估值有2.04％的提升，MAE评估值降低了35.66％。在ECSSD[4]数据集上，相比于RFCN[13]，F-measure评估值提升了10.49％，MAE评估值降低了75.92％。在PASCAL-S[17]数据集上，虽然F-measure评估值比RFCN[13]低了0.004，但是MAE评估值比RFCN[13]低0.003，在此数据集上，本发明的检测效果也是可观的。在SED2[18]数据集上，MDF[15]方法的F-measure评估值排名第一但是MAE评估值排名第三，本发明的F-measure评估值排名第二但是MAE评估值排名第一。从表1可以看出在四个数据集上本发明显著检测结果很好。

表1：本发明和对比方法在测试数据集上的F-measure值和MAE值

参考文献

[1]R.Achanta,S.Hemami,F.Estrada,and S.Susstrunk,“Frequency-tunedsalient region detection,”in Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on,2009,pp.1597-1604..

[2]H.Z.Jiang,J.D.Wang,Z.J.Yuan,Y.Wu,N.N.Zheng,and S.P.Li,“Salientobject detection:A discriminative regional feature integration approach,”inComputer Vision and Pattern Recognition,2013,pp.2083-2090.

[3]Y.C.Wei,F.Wen,W.J.Zhu,and J.Sun,Geodesic Saliency Using BackgroundPriors,Springer Berlin Heidelberg,2012.

[4]Qiong Yan,Li Xu,Jianping Shi,and Jiaya Jia,“Hierarchical saliencydetection,”in Computer Vision and Pattern Recognition,2013,pp.1155-1162.

[5]E.Rahtu,J.Kannala,M.Salo,and J.Heikkil a,Segmenting SalientObjects from Images and Videos,Springer Berlin Heidelberg,2010.

[6]P.Krahenbuhl,“Saliency filters:Contrast based filtering forsalient region detection,”in Computer Vision and Pattern Recognition,2012,pp.733-740.

[7]H.Lu,X.Li,L.Zhang,X.Ruan,and M.H.Yang,“Dense and sparsereconstruction error based saliency descriptor.,”IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,vol.25,no.4,pp.1592-1603,2016.

[8]C.Yang,L.H.Zhang,and H.C.Lu,“Graph-regularized saliency detectionwith convex-hull-based center prior,”IEEE Signal Processing Letters,vol.20,no.7,pp.637-640,2013.

[9]J.Kim,D.Han,Y.W.Tai,and J.Kim,“Salient region detection via high-dimensional color transform,”in Computer Vision and Pattern Recognition,2014,pp.883-890.

[10]C.Yang,L.H.Zhang,H.C.Lu,R.Xiang,and M.H.Yang,“Saliency detectionvia graph-based manifold ranking,”in IEEE Conference on Computer Vision andPattern Recognition,2013,pp.3166-3173.

[11]B.Sch olkopf,J.Platt,and T.Hofmann,“Graph-based visual saliency,”in International Conference on Neural Information Processing Systems,2006,pp.545-552.

[12]W.J.Zhu,S.Liang,Y.C.Wei,and J.Sun,“Saliency optimization fromrobust background detection,”in IEEE Conference on Computer Vision andPattern Recognition,2014,pp.2814-2821.

[13]L.Z.Wang,L.J.Wang,H.C.Lu,P.P.Zhang,and R.Xiang,“Saliencydetection with recurrent fully convolutional networks,”in European Conferenceon Computer Vision,2016,pp.825-841.

[14]M.M.Cheng,G.X.Zhang,N.J.Mitra,X.L.Huang,and S.M.Hu,“Globalcontrast based salient region detection,”in IEEE Conference on ComputerVision and Pattern Recognition,2011,pp.409-416.

[15]G.B.Li and Y.Z.Yu,“Visual saliency based on multiscale deepfeatures,”in Computer Vision and Pattern Recognition,2015,pp.5455-5463.

[16]N.Tong,H.C.Lu,R.Xiang,and M.H.Yang,“Salient object detection viabootstrap learning,”in Computer Vision and Pattern Recognition,2015,pp.1884-1892.

[17]Y.Li,X.D.Hou,C.Koch,J.M.Rehg,and A.L.Yuille,“The secrets ofsalient object segmentation,”in IEEE Conference on Computer Vision andPattern Recognition,2014,pp.280-287.

[18]S.Alpert,M.Galun,R.Basri,and A.Brandt,“Image segmentation byprobabilistic bottom-up aggregation and cue integration,”in Computer Visionand Pattern Recognition,2007.CVPR’07.IEEE Conference on,2007,pp.1-8.

Claims (1)

1.一种基于卷积神经网络的显著性融合检测算法，包括下列步骤：

步骤1：显著性检测算法的选择

(1)首先选取一些已有的显著性检测算法，将其作为候选的融合方法，对于这已有的显著性检测算法，设定阈值为5，采用下列度量公式进行初步选择：

V＝g(t)+γF,

其中，t是运行时间，F是已有的显著性检测算法获得的显著图的F-measure评估值，λ＝4，δ＝2,γ＝5是选定的参数；将V值低于阈值的显著性检测算法从候选名单中剔除。

(2)对于(1)中度量公式所选出的方法，首先将其中两两方法组成一组，使用加权求和的方法得到融合后的显著图，并且测量F-measure值，如果此次融合后的F-measure值要比被融合的两个显著图的F-measure值高，则加入第三个方法的显著图并判断融合后的显著图的F-measure值是否高于上一次融合后的显著图的F-measure值，并以此方法继续加入其它方法的显著图，直到F-measure值不再增加为止；经过步骤1中(1)和(2)，选出有利于网络训练的两种显著性检测算法；

步骤2：数据准备

选定网络训练所需的数据集，并用步骤1选定的两种两种显著性检测算法生成显著图，将RGB图像和显著图做为训练集，并且用裁剪和水平翻转方式对训练集进行数据增强；

步骤3：训练显著性检测深度卷积网络

显著性融合检测的网络架构基于改进VGG-16模型，利用步骤2的准备的数据，将RGB图像和其相对应的步骤1中选择的两种显著性检测算法生成的显著图作为网络模型的输入，通过改进VGG-16模型进行特征提取，改进之处在于：为了得到显著图，在15个卷积层输出后接4个上采样层，并且前3个上采样层的输出分别与conv4，conv3，conv2的输出结果做相加求和后再进行上采样以提升效果，网络直接输出为一个显著图。