CN107274419B - 一种基于全局先验和局部上下文的深度学习显著性检测方法 - Google Patents

Abstract

本发明公开一种基于全局先验和局部上下文的深度学习显著性检测方法，首先对彩色图像和深度图像进行超像素分割，基于每个超像素的紧凑性、独特性和背景性等中层特征，获得每个超像素的全局先验特征图，并进一步通过深度学习模型，得到全局先验显著图；然后，结合全局先验显著图和彩色图像与深度图像中的局部上下文信息，通过深度学习模型，得到初始显著图；最后，依据空间一致性和外观相似性优化初始显著图，得到最终显著图。应用本发明，解决了传统显著性检测方法无法有效检测到复杂背景图像中的显著物体，还解决了现有的基于深度学习的显著性检测方法由于提取出的高层特征存在噪声而导致误检的问题。

Description

一种基于全局先验和局部上下文的深度学习显著性检测方法

技术领域

本发明属于图像处理和计算机视觉领域，尤其涉及一种基于全局先验和局部上下文的深度学习显著性检测方法。

背景技术

人眼在感知外部环境时，总能从包含有大量信息的场景中提取出感兴趣的内容，这种能力被称为视觉注意。视觉注意是计算机视觉中的一个研究热点，主要有两个方面的研究：一是研究基于视觉注意机制的眼睛注视，二是研究显著性目标区域的提取，也就是显著性检测。显著性检测的目的是从图像中将比较引人注目的目标区域与背景分离开，然后提取目标及其携带的信息，其广泛应用于图像分割、图像识别、视频异常检测等领域。

目前关于显著性检测的研究比较丰富，特征的对比是显著性检测的一个重要手段，从对比范围来说，显著性检测方法可分为局部对比和全局对比。局部对比方法通过计算检测区域与其邻域之间在颜色、纹理、边缘、方向等特征上的不同来突显检测区域，其强调显著区域的边缘但缺乏图像全局信息。全局对比方法通过将检测区域与图像中所有其它区域进行对比检测显著性，其能较好地突出显著区域的内部，但是当显著目标较大或者背景较复杂时，全局对比方法反而容易突出背景区域。最近，已有一些方法将局部对比和全局对比相结合，进行显著性检测。这些方法采用手工设定的特征和一些先验知识来计算显著性，其在简单场景下检测效果较好，但是对于具有复杂场景的图像，就很难设定有效的检测特征，因此，其检测结果中往往存在比较多的漏检和误检区域。

深度学习通过构建多层人工神经网络，能自动有效地提取图像的检测特征，并在图像分类和目标检测等任务中获得了优秀的性能。最近，也有一些方法将深度学习技术应用到显著性检测中。然而，这些方法都是仅将原图像或者原图像的局部区域作为深度学习模型的输入，对显著性检测来说，这些输入所包含的信息并不都是有用的，无用的信息会干扰高层特征的提取，影响深度学习模型的性能。

为了解决上述问题，当前需要一种新的基于深度学习的显著性检测方法。

发明内容

本发明要解决的问题是：在图像的显著性物体检测技术中，单纯依靠手工设定的特征和一些先验知识来计算显著性，无法有效检测到复杂背景图像中的显著物体；而现有的基于深度学习的显著性检测方法，仅将原图像或者原图像的局部区域作为深度学习模型的输入，由于提取出的高层特征存在噪声而导致误检。需要提出一种新的基于深度学习的显著性检测方法，提高检测效果。

为了解决上述问题，本发明提供了一种基于全局先验和局部上下文的深度学习显著性检测方法，以超像素为检测单位，融合全局先验和局部上下文信息，基于深度学习进行图像的显著性检测，包括以下步骤：

1)将彩色图像和深度图像进行超像素分割；

2)基于超像素的分割结果构建图模型，将每个超像素作为图模型中的顶点，构建无向图，每个超像素不仅和它相邻的超像素相连，而且和它相邻超像素的邻域超像素相连，并且位于边界的每个超像素互相连接，边的权值为两个超像素间的特征差异；

3)生成全局先验显著图，具体为：首先，基于每个超像素的颜色、纹理、深度等底层特征，计算其紧凑性、独特性和背景性等中层特征，并计算每个超像素与所有超像素之间的中层特征差异，得到每个超像素对应的紧凑性、独特性和背景性特征图，组合这些特征图，生成其对应的全局先验特征图，进一步将所有超像素对应的全局先验特征图作为深度学习模型的输入，得到全局先验显著图；

4)结合全局先验和局部上下文信息生成初始显著图，具体为：首先，将所有超像素在彩色图像上的局部邻域和全局先验显著图作为一个卷积神经网络的输入，计算得到彩色局部上下文显著图，然后，将其与所有超像素在深度图像上的局部邻域作为另一个卷积神经网络的输入，最后得到初始显著图；

5)结合空间一致性和外观相似性优化初始显著图，得到最终显著图。

作为进一步的优选方式，步骤3)具体步骤为：

3.1)生成紧凑性特征图时，首先，基于每个超像素的颜色、深度和纹理等底层特征，计算其紧凑性特征，每个超像素的紧凑性特征用一个三维特征向量表示:颜色紧凑性、深度紧凑性、纹理紧凑性；以颜色紧凑性为例，对于超像素r_i，计算其与其它超像素之间的颜色相似性加权的距离平均,作为r_i基于颜色的紧凑性特征值，类似可以计算得到r_i的深度紧凑性和纹理紧凑性,即得到r_i的紧凑性特征，其为颜色紧凑性、深度紧凑性、纹理紧凑性；然后计算每个超像素与图像中所有超像素之间的紧凑性特征差异，将所有超像素与该超像素的紧凑性特征差异值作为该超像素的紧凑性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的紧凑性特征图；

3.2)生成独特性特征图时，首先，基于每个超像素的颜色、深度和纹理等底层特征，计算其独特性特征，每个超像素的独特性特征用一个三维特征向量表示为:颜色独特性、深度独特性、纹理独特性；以颜色独特性为例，对于超像素r_i，计算其与其它超像素之间的空间距离加权的颜色差异和，作为r_i基于颜色的独特性特征值，类似可以计算得到r_i的深度独特性和纹理独特性,即得到r_i的独特性特征，其为：颜色独特性、深度独特性、纹理独特性；然后计算每个超像素与图像中所有超像素之间的独特性特征差异，将所有超像素与该超像素的独特性特征差异值作为该超像素的独特性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的独特性特征图；

3.3)生成背景性特征图时，首先，基于每个超像素的颜色、深度和纹理等底层特征，计算其背景性特征，每个超像素的背景性特征用一个三维特征向量表示为:颜色背景性、深度背景性、纹理背景性；以颜色背景性为例，对于超像素r_i，计算其扩展区域面积，以此得到r_i所属区域位于边界的长度，进一步基于超像素之间的颜色差异，计算r_i的边界连通性，根据背景性与边界连通性的反比例关系，得到r_i基于颜色的背景性特征值，类似可以计算得到r_i的深度背景性和纹理背景性,即得到r_i的背景性特征，其为颜色背景性、深度背景性、纹理背景性；计算r_i的对象性特征值，基于其对象性特征优化得到r_i的背景性特征；然后计算每个超像素与图像中所有超像素之间的背景性特征差异，将所有超像素与该超像素的背景性特征差异值作为该超像素的背景性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的背景性特征图；

3.4)生成全局先验特征图时，将每个超像素对应的紧凑性特征图、独特性特征图和背景性特征图，组合为其对应的三通道的全局先验特征图，且和原图像大小相同。具体为：对于超像素r_i来说，将其紧凑性特征图、独特性特征图和背景性特征图，分别作为其对应的全局先验特征图的R通道、G通道和B通道，即得到r_i对应的全局先验特征图；

3.5)采用ImageNet比赛中图像分类任务的冠军模型Clarifai构建深度学习模型DCNN_GP,将图像中所有超像素所对应的全局先验特征图，作为DCNN_GP的输入，分别进行前向运算，得到每个超像素对应的显著值，将其作为显著图中对应位置像素点的灰度值，最终得到全局先验显著图。

作为进一步的优选方式，步骤4)具体步骤为：

4.1)生成彩色局部上下文显著图时，首先，用彩色图像训练集中所有像素点的灰度值均值扩充彩色图，在扩充后的彩色图像上选取每个超像素对应的邻域矩形框，将其和全局先验显著图作为卷积神经网络DCNN_LC的输入，进行前向运算得到超像素的显著值，如果全局先验显著图中，该超像素的显著值大于0.8或者小于0.2，显著值不变，否则用DCNN_LC计算出来的显著值进行替换，对每个超像素都做同样的操作，最终得到彩色局部上下文显著图；

4.2)生成初始显著图时，首先，用深度图训练集中所有像素点的深度值均值扩充深度图像，在扩充后的图像上选取每个超像素对应的邻域矩形框，将其和彩色局部上下文显著图作为卷积神经网络DCNN_LD的输入，得到初始显著图。

作为进一步的优选方式，步骤5)具体为：相邻区域之间具有相似的显著值，并且显著区域之间外观十分相似，基于此，构建代价函数，最小化代价函数优化初始显著性图，得到最终显著图，其数学表述为：

其中，S为优化得到的显著图，θ_i表示在初始显著图S_ld中如果超像素的显著值接近于0或者1，则在优化后的显著图中这个超像素越有可能是背景或者显著区域，

W_ij表示无向图中每条边的权重，C表示超像素内像素点在LAB空间内的均值，T表示超像素的纹理特征，D表示超像素内像素点深度的均值，σ²＝0.1。

作为进一步的优选方式，步骤1)为：利用SLIC对彩色图进行超像素分割，基于彩色图的分割区域标记匹配深度图，得到深度图的超像素分割区域。

本发明提供了一种基于全局先验和局部上下文的深度学习显著性检测方法，该方法首先对彩色图像和深度图像进行超像素分割，基于每个超像素的紧凑性、独特性和背景性等中层特征，获得每个超像素的全局先验特征图，并进一步通过深度学习模型，得到全局先验显著图；然后，结合全局先验显著图和彩色图像与深度图像中的局部上下文信息，通过深度学习模型，得到初始显著图；最后，依据空间一致性和外观相似性优化初始显著图，得到最终显著图。应用本发明，解决了传统显著性检测方法无法有效检测到复杂背景图像中的显著物体，还解决了现有的基于深度学习的显著性检测方法由于提取出的高层特征存在噪声而导致误检的问题。本发明适用于图像的显著性检测，具有很好的鲁棒性，检测结果准确。

本发明的优点是：首先，本发明以图像的中层特征作为全局先验深度学习模型的输入，充分利用显著性的先验知识；其次，本发明通过结合全局先验和局部上下文检测显著性，采用全局先验作为深度学习模型的输入，不仅使其能关注待检测图像的全局显著性，而且还会减少模型的学习模糊性，采用局部上下文作为深度学习模型的输入，可以使模型学习显著物体的局部细节；最后，利用区域之间的空间一致性和外观相似性优化初始显著性图，提高显著性检测结果。

附图说明

图1是本发明基于全局先验和局部上下文的深度学习显著性检测方法的流程图；

图2是本发明生成全局先验显著图的流程图；

图3是本发明生成初始显著图的流程图。

具体实施方式

本发明提供了一种基于全局先验和局部上下文的深度学习显著性检测方法，该方法首先对彩色图像和深度图像进行超像素分割，基于超像素的紧凑性、独特性和背景性等中层特征，通过全局先验深度学习模型，计算得到全局先验显著图；结合全局先验显著图和彩色图像与深度图像中的局部上下文信息，通过深度学习模型，得到初始显著图；最后，依据空间一致性和外观相似性优化初始显著图，得到最终显著图。本发明适用于图像的显著性检测，具有很好的鲁棒性，检测结果准确。

如图1所示，本发明包括以下步骤：

1)采用SLIC超像素分割算法对彩色图像和深度图像进行分割，得到图像对应的区域标记。

2)基于超像素的分割结果构建图模型，将每个超像素作为图模型中的顶点，构建无向图，每个超像素不仅和它相邻的超像素相连，而且和它相邻超像素的邻域超像素相连，并且位于边界的每个超像素互相连接，边的权值为两个超像素间的特征差异。

3)计算每个超像素的全局先验特征图时，首先基于每个超像素的颜色、纹理、深度等底层特征，分别计算其紧凑性、独特性和背景性等中层特征，然后计算每个超像素与图像中所有超像素之间的中层特征差异，得到每个超像素对应的紧凑性、独特性和背景性特征图，最后，将每个超像素对应的紧凑性、独特性和背景性特征图，分别作为图像的三个通道，即可得到每个超像素对应的全局先验特征图；将每个超像素的全局先验特征图作为全局先验深度学习模型的输入，分别进行前向运算，得到每个超像素对应的显著值，将其作为显著图中对应位置像素点的灰度值，最终得到全局先验显著图。

3.1)一般来说，显著目标上的颜色、纹理、深度等底层特征都基本相似，因此，显著目标在颜色、纹理、深度这三个特征空间的分布是比较紧凑的，而背景区域在这三个特征空间的分布往往是比较发散的。

基于这一特性，本发明采用紧凑性表示超像素的显著性特征，每个超像素的紧凑性特征用一个三维特征向量表示:(颜色紧凑性，深度紧凑性，纹理紧凑性)。

以颜色紧凑性为例，超像素r_i的颜色紧凑性为：

其中，N表示图像中超像素的个数，n_j表示超像素r_j中像素点的个数，a_ij表示两个超像素之间的颜色相似性，c_i和c_j分别表示超像素r_i和r_j中所有像素LAB颜色特征的均值，

表示超像素r_j的几何中心，σ_c控制颜色相似性权值强度，σ_c ²＝0.1。

同理，分别得到超像素r_i的深度紧凑性dc(r_i)和纹理紧凑性tc(r_i)，即超像素r_i的紧凑性特征为：

cp(r_i)＝(cc(r_i),dc(r_i),tc(r_i))

为了有效地对物体进行准确定位，本发明基于超像素之间的紧凑性特征差异，生成每个超像素对应的紧凑性特征图。

在超像素r_i对应的紧凑性特征图CMap(r_i)中，超像素r_j(j＝1,2,...,N)中每个像素p的灰度值均为：

其中，Norm(x)是一个归一化函数，将x归一化到[0,1]区间。

3.2)如果一个区域与其邻域，或与图像中所有其它区域相比是比较独特的，则认为该区域是显著的。基于这一特性，本发明基于颜色、深度和纹理等底层特征计算每个超像素的独特性特征，则每个超像素的独特性特征用一个三维特征向量表示:(颜色独特性，深度独特性，纹理独特性)。

以颜色独特性为例，采用全局对比的方式计算超像素r_i的颜色独特性为：

其中，N表示图像中超像素的个数，n_j表示超像素r_j中像素点的个数，w_ij表示空间距离权重，x_i和x_j分别表示超像素和r_j的质心点，c_i和c_j分别表示超像素r_i和r_j中所有像素的LAB颜色特征均值，σ_d＝0.3。

同理，分别得到超像素r_i的深度独特性du(r_i)和纹理独特性tu(r_i)，即超像素r_i的独特性特征为：

up(r_i)＝(cu(r_i),du(r_i),tu(r_i))

基于超像素之间的独特性特征差异，生成每个超像素对应的独特性特征图。在超像素r_i对应的独特性特征图UMap(r_i)中，超像素r_j(j＝1,2,...,N)中每个像素p的灰度值均为：

3.3)通过观察发现，显著物体极大可能位于图像的内部而不是图像边界，且背景区域之间具有较强的连通性。基于这一特性，本发明基于颜色、深度和纹理等底层特征计算每个超像素的初始背景性特征，则每个超像素的初始背景性特征用一个三维特征向量表示:(颜色背景性，深度背景性，纹理背景性)。

以颜色背景性为例，计算超像素r_i的颜色背景性cb(r_i)为：

其中，BndCon(r)表示超像素r的边界连通性，Lenbnd(r)表示超像素r所属区域位于图像边界的长度，当r_j位于图像的边界，则δ(r_j∈Bnd)＝1，否则其为0，Area(r)表示超像素r的扩展区域面积，d_geo(r′,r″)表示超像素r′与r″之间的最短路径代价，d_app(r′,r″)为相连两个超像素r′、r″之间的颜色特征差异，

同理，分别得到超像素r_i的深度背景性db(r_i)和纹理背景性tb(r_i)。但是，当显著物体位于图像的边界时，此背景性特征会将图像中位于边界的目标区域误判为背景区域。一般，图像中的显著目标通常是真实物体，因此，本发明计算每个超像素的对象性，以修正其背景性特征，即超像素r_i的背景性特征为：

bp(r_i)＝(cb(r_i),db(r_i),tb(r_i))·(1-Obj(r_i))

其中，Obj(r_i)表示超像素r_i的对象性。

基于超像素之间的背景性特征差异，生成每个超像素对应的背景性特征图。在超像素r_i对应的背景性特征图BMap(r_i)中，超像素r_j(j＝1,2,...,N)中每个像素p的灰度值均为：

3.4)对于具有N个超像素区域的图像I，可以分别得到每个超像素r_i(i＝1,2,...,N)对应的紧凑性特征图CMap(r_i)、独特性特征图UMap(r_i)和背景性特征图BMap(r_i)。基于每个超像素的紧凑性特征图、独特性特征图和背景性特征图，生成每个超像素对应的全局先验特征图。在超像素r_i对应的全局先验特征图GPMap(r_i)中，超像素r_j(j＝1,2,...,N)中每个像素p的值均为：

3.5)本发明采用ImageNet比赛中图像分类任务的冠军模型Clarifai构建深度学习模型DCNN_GP,检测超像素的全局先验显著值，其主要包含5层卷积层和3层全连接层。在显著性检测时，首先需将图像进行超像素分割，对于得到的每一个超像素，生成对应的全局先验特征图，然后将这些特征图输入到模型中分别进行前向运算，得到每个超像素对应的显著值，将其作为显著图中对应位置像素点的灰度值，最终得到全局先验显著图S_g。

4)为了结合全局先验和局部上下文信息，本发明采用包含有两个卷积神经网络(DCNN_LC、DCNN_LD)的深度学习模型生成初始显著图。

4.1)首先，采用彩色图像训练集中所有像素点的灰度值均值扩充原彩色图的四周，扩充后图像的宽和高变为原来的三倍，在扩充后的图像上分别获取以每个超像素质心点为中心的固定大小的邻域矩形框，将这些邻域矩形框调整为227×227×3的大小作为卷积神经网络DCNN_LC的输入。DCNN_LC的结构、训练集的标注方式与DCNN_GP一致，只是网络中参数不同。为了融合全局先验和局部上下文，本文还将全局阶段得到的显著图S_g作为DCNN_LC的输入。在训练DCNN_LC的过程中，S_g不需要参与卷积运算，只需将其下采样为64×64，然后通过flatten层调整为4096维向量，其和第二层全连接层提取的4096维向量相结合共同判断超像素属于哪一类。在检测的时候将超像素的邻域矩形框作为输入，其经过DCNN_LC进行前向运算得到超像素的显著值，如果在显著图S_g中，该超像素的显著值大于0.8或者小于0.2，显著值不变，否则用DCNN_LC计算出来的显著值进行替换，对每个超像素都做同样的操作，最终得到显著图S_lc。

4.2)采用深度图训练集中所有像素点的深度值均值扩充原深度图的四周，扩充后图像的宽和高变为原来的三倍，在扩充后的图像上分别获取以每个超像素质心点为中心的固定大小的邻域矩形框，将这些邻域矩形框调整为227×227×3的大小作为卷积神经网络DCNN_LD的输入。DCNN_LD的结构、训练集的标注方式与DCNN_GP一致，只是网络中参数不同，本文还将显著图S_lc作为DCNN_LD的输入。在训练DCNN_LD的过程中，S_lc不需要参与卷积运算，只需将其下采样为64×64大小，然后通过flatten层调整为4096维向量，其和第二层全连接层提取的4096维向量相结合共同判断超像素属于哪一类。在检测的时候将超像素的邻域矩形框作为输入，其经过DCNN_LD进行前向运算得到超像素的显著值，对每个超像素都做同样的操作，最终得到初始显著图S_ld。

5)本发明利用图像中区域间的空间一致性和显著区域间的外观相似性优化初始显著性图，从而得到最终显著图S。基于已构建好的无向图，本发明提出一个代价函数，通过最小化代价函数优化各区域的显著值，其数学表述为：

其中，S为优化得到的显著图，θ_i表示在初始显著图S_ld中如果超像素的显著值接近于0或者1，则在优化后的显著图中这个超像素越有可能是背景或者显著区域，

W_ij表示无向图中每条边的权重，C表示超像素内像素点在LAB空间内的均值，T表示超像素的纹理特征，D表示超像素内像素点深度的均值，σ²＝0.1。

本发明在图像处理和计算机视觉领域有着广泛的应用，例如：图像分割、图像识别、视频异常检测等。下面参照附图，对本发明进行详尽的描述。

(1)在本发明的实施例中，采用SLIC超像素分割算法对彩色图像和深度图像进行分割，得到图像对应的区域标记。

(2)基于超像素的分割结果构建图模型，将每个超像素作为图模型中的顶点，构建无向图，每个超像素不仅和它相邻的超像素相连，而且和它相邻超像素的邻域超像素相连，并且位于边界的每个超像素互相连接，边的权值为两个超像素间的特征差异。

(3)将每个超像素的全局先验特征图作为全局先验深度学习模型的输入，生成全局先验显著图，具体做法如图2所示。首先，基于每个超像素的颜色、纹理、深度等底层特征，计算其紧凑性、独特性和背景性等中层特征；计算每个超像素与图像中所有超像素之间的中层特征差异，得到每个超像素对应的紧凑性、独特性和背景性特征图；组合这些特征图，生成每个超像素对应的全局先验特征图；将每个超像素对应的全局先验特征图作为全局先验深度学习模型的输入，得到全局先验显著图。

(4)结合全局先验和局部上下文信息生成初始显著图，具体做法如图3所示。首先，用彩色图像训练集中所有像素点的灰度值均值扩充彩色图，在扩充后的彩色图像上选取每个超像素对应的局部邻域，将其和全局先验显著图一起作为卷积神经网络DCNN_LC的输入，得到彩色局部上下文显著图，然后用深度图训练集中所有像素点的深度值均值扩充深度图，在扩充后的深度图像上获取每个超像素对应的局部邻域，将其和彩色局部上下文显著图一起作为卷积神经网络DCNN_LD的输入，得到初始显著图。

(5)利用空间一致性和外观相似性优化初始显著性图，从而得到最终的显著性检测结果。基于构建好的无向图，计算相连超像素之间的颜色、纹理和深度特征相似性，然后以其为权重，求得最终显著图中所有超像素显著值之间的加权差异之和，并计算所有超像素优化之前显著值和优化之后显著值之间的加权差异之和，将这两个差异之和相加构建代价函数，最后通过最小化代价函数得到最终显著图。

在NVIDIA Quadro K2200和Ubuntu14.04 64位操作系统下，采用Caffe和MATLAB2015编程实现该方法。

本发明提供了一种基于全局先验和局部上下文的深度学习显著性检测方法，适用于图像的显著性检测，鲁棒性好，检测结果准确。实验表明该方法能够有效地进行显著性检测。

Claims (4)

1.一种基于全局先验和局部上下文的深度学习显著性检测方法，其特征在于，包括以下步骤：

步骤1)、将彩色图和深度图进行超像素分割；

步骤2)、基于超像素的分割结果构建图模型，将每个超像素作为图模型中的顶点，构建无向图，每个超像素不仅和它相邻的超像素相连，而且和它相邻超像素的邻域超像素相连，并且位于边界的每个超像素互相连接，边的权值为两个超像素间的特征差异；

步骤3)、生成全局先验显著图，具体为：首先，基于每个超像素的颜色、纹理、深度底层特征，计算其紧凑性、独特性和背景性中层特征；计算每个超像素与图像中所有超像素之间的中层特征差异，得到每个超像素对应的紧凑性、独特性和背景性特征图；组合这些特征图，生成每个超像素对应的全局先验特征图；将每个超像素对应的全局先验特征图作为全局先验深度学习模型的输入，得到全局先验显著图；

步骤3)具体步骤为：

3.1)、生成紧凑性特征图时，首先，基于每个超像素的颜色、深度和纹理底层特征，计算其紧凑性特征，每个超像素的紧凑性特征用一个三维特征向量表示:颜色紧凑性、深度紧凑性、纹理紧凑性；以颜色紧凑性为例，对于超像素r_i，计算其与其它超像素之间的颜色相似性加权的距离平均,作为r_i基于颜色的紧凑性特征值，类似可以计算得到r_i的深度紧凑性和纹理紧凑性,即得到r_i的紧凑性特征，其为颜色紧凑性、深度紧凑性、纹理紧凑性；然后计算每个超像素与图像中所有超像素之间的紧凑性特征差异，将所有超像素与该超像素的紧凑性特征差异值作为该超像素的紧凑性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的紧凑性特征图；

3.2)、生成独特性特征图时，首先，基于每个超像素的颜色、深度和纹理底层特征，计算其独特性特征，每个超像素的独特性特征用一个三维特征向量表示为:颜色独特性、深度独特性、纹理独特性；以颜色独特性为例，对于超像素r_i，计算其与其它超像素之间的空间距离加权的颜色差异和，作为r_i基于颜色的独特性特征值，类似可以计算得到r_i的深度独特性和纹理独特性,即得到r_i的独特性特征，其为：颜色独特性、深度独特性、纹理独特性；然后计算每个超像素与图像中所有超像素之间的独特性特征差异，将所有超像素与该超像素的独特性特征差异值作为该超像素的独特性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的独特性特征图；

3.3)、生成背景性特征图时，首先，基于每个超像素的颜色、深度和纹理底层特征，计算其背景性特征，每个超像素的背景性特征用一个三维特征向量表示为:颜色背景性、深度背景性、纹理背景性；以颜色背景性为例，对于超像素r_i，计算其扩展区域面积，以此得到r_i所属区域位于边界的长度，进一步基于超像素之间的颜色差异，计算r_i的边界连通性，根据背景性与边界连通性的反比例关系，得到r_i基于颜色的背景性特征值，类似可以计算得到r_i的深度背景性和纹理背景性,即得到r_i的背景性特征，其为颜色背景性、深度背景性、纹理背景性；计算r_i的对象性特征值，基于其对象性特征优化得到r_i的背景性特征；然后计算每个超像素与图像中所有超像素之间的背景性特征差异，将所有超像素与该超像素的背景性特征差异值作为该超像素的背景性特征图中对应超像素区域的灰度值，即可得到每个超像素对应的背景性特征图；

3.4)、生成全局先验特征图时，将每个超像素对应的紧凑性特征图、独特性特征图和背景性特征图，组合为其对应的三通道的全局先验特征图，且和原图像大小相同； 具体为：对于超像素r_i来说，将其紧凑性特征图、独特性特征图和背景性特征图，分别作为其对应的全局先验特征图的R通道、G通道和B通道，即得到r_i对应的全局先验特征图；

3.5)、采用ImageNet比赛中图像分类任务的冠军模型Clarifai构建深度学习模型DCNN_GP,将图像中所有超像素所对应的全局先验特征图，作为DCNN_GP的输入，分别进行前向运算，得到每个超像素对应的显著值，将其作为显著图中对应位置像素点的灰度值，最终得到全局先验显著图；

步骤4)、生成初始显著图，具体为：首先，用彩色图像训练集中所有像素点的灰度值均值扩充彩色图，在扩充后的彩色图像上选取每个超像素对应的局部矩形框，将其和全局先验显著图一起作为卷积神经网络的输入，得到彩色局部上下文显著图，然后用深度图训练集中所有像素点的深度值均值扩充深度图，在扩充后的深度图像上获取每个超像素对应的局部矩形框，将其和彩色局部上下文显著图一起作为另一个卷积神经网络的输入，得到初始显著图；

步骤5)结合空间一致性和外观相似性优化初始显著图，得到最终显著图。

2.如权利要求1所述的基于全局先验和局部上下文的深度学习显著性检测方法，其特征在于，步骤4)具体步骤为：

4.1)、生成彩色局部上下文显著图时，首先，用彩色图像训练集中所有像素点的灰度值均值扩充彩色图，在扩充后的彩色图像上选取每个超像素对应的邻域矩形框，将其和全局先验显著图作为卷积神经网络DCNN_LC的输入，进行前向运算得到超像素的显著值，如果全局先验显著图中，该超像素的显著值大于0.8或者小于0.2，显著值不变，否则用DCNN_LC计算出来的显著值进行替换，对每个超像素都做同样的操作，最终得到彩色局部上下文显著图；

4.2)、生成初始显著图时，首先，用深度图训练集中所有像素点的深度值均值扩充深度图像，在扩充后的图像上选取每个超像素对应的邻域矩形框，将其和彩色局部上下文显著图作为卷积神经网络DCNN_LD的输入，得到初始显著图。

3.如权利要求1所述的基于全局先验和局部上下文的深度学习显著性检测方法，其特征在于，步骤5)具体为：相邻区域之间具有相似的显著值，并且显著区域之间外观十分相似，基于此，构建代价函数，最小化代价函数优化初始显著性图，得到最终显著图，其数学表述为：

其中，S为优化得到的显著图，θ_i表示在初始显著图S_ld中如果超像素的显著值接近于0或者1，则在优化后的显著图中这个超像素越有可能是背景或者显著区域，

W_ij表示无向图中每条边的权重，C表示超像素内像素点在LAB空间内的均值，T表示超像素的纹理特征，D表示超像素内像素点深度的均值，σ²＝0.1。

4.根据权利要求1所述的基于全局先验和局部上下文的深度学习显著性检测方法，其特征在于，步骤1)为：利用SLIC对彩色图进行超像素分割，基于彩色图的分割区域标记匹配深度图，得到深度图的超像素分割区域。

Images