CN106447658A - 基于全局和局部卷积网络的显著性目标检测方法 - Google Patents

Abstract

本发明涉及一种基于全局和局部卷积网络的显著性目标检测方法，首先，使用FCN全卷积网络进行深层语义信息的提取，输入图像不需要固定尺寸，进行端对端的预测，减少训练的复杂度。使用局部CNN卷积网络，提取局部特征对FCN得到粗糙检测结果进行精度优化。本发明能准确高效的提取图像中的语义信息，有利于复杂场景中显著性目标检测准确率的提高。

Description

基于全局和局部卷积网络的显著性目标检测方法

技术领域

本发明属于显著性目标检测的技术领域，具体涉及一种基于全局和局部卷积网络的显著性目标检测方法。

背景技术

现有的显著性目标检测方法主要是局部或全局的自底向上数据驱动型方法，利用颜色对比度、背景先验信息、纹理信息等计算显著图。这些方法主要有两个缺点：一是依赖于人工选定的特征，往往会导致图像本身含有的许多信息被忽略；二是显著性先验信息只通过简单的启发式结合，并没有明确的最优组合方法，使得在复杂场景中的检测结果不够准确。

利用深度神经网络自主提取图像特征能有效地解决以上问题。文献“DeepNetworks for Saliency Detection via Local Estimate and Global Search”中利用深度卷积网络提取特征进行显著性检测，局部评价利用每个超像素块为中心的51*51的图像块作为输入进行图像块级的分类，训练数据量较大；全局评价基于人为选择的特征，所以得到的全局特征并不能完全代表数据的深层信息，在复杂场景中效果不佳。与图像级理解任务不同，显著性检测要得到图像像素级别的分类。文献“Fully convolutional neuralnetworks for semantic segmentation”中提出了一种全卷积网络，对“Very deepconvolutional networks for large-scale image recognition”中提出的VGG-16模型进行改进，得到像素级的端对端的预测，降低了训练的复杂性，并且能够准确的提取图像中的深层语义信息，在本发明中利用全局全卷积网络(Fully Convolutional Network,FCN)进行显著性目标粗检测，再利用局部卷积网络(Convolutional Neural Network,CNN)进行精细检测。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于全局和局部卷积网络的显著性目标检测方法，提高复杂场景中显著性检测的高效性和准确性。

技术方案

一种基于全局和局部卷积网络的显著性目标检测方法，其特征在于步骤如下：

步骤1、构建FCN全卷积网络：将VGG-16模型中的全连接层移除，加入双线性插值层作为反卷积层，对最后一个卷积层的特征图进行上采样，使最后一个卷积层的特征图恢复到与输入图像相同的尺寸，从而对每个像素都产生一个显著性的二分类预测；

步骤2、对FCN全卷积网络进行训练：以ImageNet上训练好的VGG-16模型参数基础上进行调优,以人工标注了图中显著目标的显著性标注图作为训练的监督信息；训练时以平方和函数作为代价函数，对网络中的卷积层和反卷积层的系数使用BP算法进行调整；随机选取适量的非训练样本作为验证集，以防止训练过拟合现象的发生；

步骤3：训练终止后，利用训练好的FCN全卷积网络对待测样本进行检测，对每个像素点进行显著或非显著的二分类，得到端对端的预测，作为全局显著性检测结果；

构建局部CNN网络，利用VGG-16模型结构进行图像块级的分类；

利用简单线性迭代聚类Simple Linear Iterative Clustering,SLIC方法对显著性标注图的图像像素点进行超像素聚类，再对超像素聚类结果进行图分割，得到区域分割结果；

步骤4、训练步骤3构建的局部CNN网络：对区域分割得到的每个区域，以区域中心像素点为中心选取一个矩形图像块；将此图像块对应的FCN显著性检测结果和HSV颜色空间变换结果作为局部CNN网络的输入数据，以图像块对应的显著性标注图中，显著的像素点所占图块总像素数的比例确定该图像块显著性标签，并通过BP算法修正局部CNN网络的参数；

步骤5：以训练好的FCN全卷机网络对待测图像进行卷积操作得到初步的显著性分类结果；

对待测图像利用简单线性迭代聚类Simple Linear Iterative Clustering,SLIC方法对显著性标注图的图像像素点进行超像素聚类，再对超像素聚类结果进行图分割，得到区域分割结果；

对待测图像进行HSV颜色空间变换，得到颜色变换之后的图；

步骤6：对待测图像进行区域分割，以FCN检测结果和HSV颜色空间变换结果作为输入特征，经过局部CNN网络对每个区域进行二分类，将显著分类的概率作为区域显著性预测值。

有益效果

本发明提出的一种基于全局和局部卷积网络的显著性目标检测方法，首先，使用FCN全卷积网络进行深层语义信息的提取，输入图像不需要固定尺寸，进行端对端的预测，减少训练的复杂度。使用局部CNN卷积网络，提取局部特征对FCN得到粗糙检测结果进行精度优化。本发明能准确高效的提取图像中的语义信息，有利于复杂场景中显著性目标检测准确率的提高。

附图说明

图1是基于全局和局部卷积网络的显著性目标检测流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1、构建FCN网络结构

FCN网络结构是由十三个卷积层和五个池化层以及两个反卷积层组成，在本模型在经过ImageNet预训练的VGG-16模型上进行调优。移除VGG-16模型中的全连接层，加入两层双线性差值层作为反卷积层。第一个反卷积层进行4倍的插值，第二个反卷积层进行8倍的插值，将网络输出结果扩大到与原始图像同样的尺寸；设置分类类别为两类，对每个像素点进行二分类。

步骤2、训练网络结构

将训练样本送入网络依据逻辑回归分类器的输出对图像中每个像素点进行分类，将显著性标注图直接作为训练的监督信号，计算网络分类结果与训练样本监督信号的误差，使用反向传播算法对模型进行训练，对逻辑回归模型以及卷积核和偏置进行调整。由于训练样本量较大，采用分批次进行训练，每一批次称作一个batch。计算误差时，定义代价函数c为平方和函数：其中，m表示batch的大小，一般取20-100个，t_i表示第i个图像对应的监督信号，z_i表示经网络运算后输出第i个图像的检测结果。

使用误差的反向传播算法对模型进行调优，计算代价函数c对卷积核W及偏置b的偏导数，然后对卷积核和偏置进行调整：其中η₁,η₂为学习率，在本实施例中η₁＝0.0001，η₂＝0.0002。在每一次训练完成后，求得验证集样本的误差。在本发明中，选取训练终止条件为：当验证集的误差开始从由逐渐减小变成逐渐增大时，认为整个网络已经开始过拟合，此时即可停止训练。

步骤3、全局显著性检测及局部CNN网络训练数据预处理

利用全局FCN进行显著性检测，训练终止后，利用训练好的FCN网络对待测样本I_m*n进行检测，m,n对应图像的长和宽。对每个像素点进行显著或非显著的二分类，得到粗糙的显著性检测结果S_m*n；

构建局部CNN网络，局部CNN网络采用VGG-16模型的结构，设置网络的输入为大小为227*227*4*batchsize，网络输出大小为2*batchsize，batchsize为每批次处理图像块的个数；

区域分割，首先采用SLIC对图像I_m*n进行超像素聚类，再对超像素聚类结果进行图分割，得到区域分割结果{R₁,R₂,...,R_N}，N为区域分割的个数。

步骤4、训练局部CNN网络

对区域分割得到的每个区域R_i，i∈[1,N]得到其外接矩形I_m*n(x_min:x_max,y_min:y_max)，(x_min,y_min)、(x_max,y_min)、(x_min,y_max)、(x_max,y_max)为矩形的四个顶点，选取图像块C_i为I_m*n(x_min-40:x_max+39,y_min-40:y_max+39)，将图像块C_i对应的FCN显著性检测结果和HSV颜色空间变换结果作为R_i的训练输入特征。计算区域R_i中显著像素点所占的比例θ，设置显著性阈值th＝0.75，若θ＞th，则区域对应的标签为显著区域，否则为非显著区域。类似FCN网络训练过程对CNN网络进行训练。

步骤5、全局显著性检测及局部CNN网络数据预处理

以训练好的FCN全卷机网络对待测图像进行卷积操作得到初步的显著性分类结果；

对待测图像利用简单线性迭代聚类Simple Linear Iterative Clustering,SLIC方法对显著性标注图的图像像素点进行超像素聚类，再对超像素聚类结果进行图分割(Graph Cuts)，得到区域分割结果；

对待测图像进行HSV颜色空间变换，得到颜色变换之后的图。

步骤6、显著性检测

对测试图像进行区域分割，以FCN检测结果和HSV颜色空间变换结果作为输入特征，经过局部CNN网络对每个区域进行二分类，将显著分类的概率作为区域显著性预测值。

Claims (1)

1.一种基于全局和局部卷积网络的显著性目标检测方法，其特征在于步骤如下：

步骤1、构建FCN全卷积网络：将VGG-16模型中的全连接层移除，加入双线性插值层作为反卷积层，对最后一个卷积层的特征图进行上采样，使最后一个卷积层的特征图恢复到与输入图像相同的尺寸，从而对每个像素都产生一个显著性的二分类预测；

步骤2、对FCN全卷积网络进行训练：以ImageNet上训练好的VGG-16模型参数基础上进行调优,以人工标注了图中显著目标的显著性标注图作为训练的监督信息；训练时以平方和函数作为代价函数，对网络中的卷积层和反卷积层的系数使用BP算法进行调整；随机选取适量的非训练样本作为验证集，以防止训练过拟合现象的发生；

步骤3：训练终止后，利用训练好的FCN全卷积网络对待测样本进行检测，对每个像素点进行显著或非显著的二分类，得到端对端的预测，作为全局显著性检测结果；

构建局部CNN网络，利用VGG-16模型结构进行图像块级的分类；

利用简单线性迭代聚类Simple Linear Iterative Clustering,SLIC方法对显著性标注图的图像像素点进行超像素聚类，再对超像素聚类结果进行图分割，得到区域分割结果；

步骤4、训练步骤3构建的局部CNN网络：对区域分割得到的每个区域，以区域中心像素点为中心选取一个矩形图像块；将此图像块对应的FCN显著性检测结果和HSV颜色空间变换结果作为局部CNN网络的输入数据，以图像块对应的显著性标注图中，显著的像素点所占图块总像素数的比例确定该图像块显著性标签，并通过BP算法修正局部CNN网络的参数；

步骤5：以训练好的FCN全卷机网络对待测图像进行卷积操作得到初步的显著性分类结果；

对待测图像利用简单线性迭代聚类Simple Linear Iterative Clustering, SLIC方法对显著性标注图的图像像素点进行超像素聚类，再对超像素聚类结果进行图分割，得到区域分割结果；

对待测图像进行HSV颜色空间变换，得到颜色变换之后的图；

步骤6：对待测图像进行区域分割，以FCN检测结果和HSV颜色空间变换结果作为输入特征，经过局部CNN网络对每个区域进行二分类，将显著分类的概率作为区域显著性预测值。