CN105869173A - 一种立体视觉显著性检测方法 - Google Patents

Abstract

本发明属于图像处理、立体视觉技术领域，为研究一种能够准确、完整的提取显著性区域的方法，实现基于紧致性分析和多线索融合的立体视觉显著性检测。本发明采用的技术方案是，立体视觉显著性检测方法,步骤如下:1.图的构建2.基于紧致性分析的显著性计算3.基于多线索融合的前景显著性计算具体的实施步骤如下：(1)前景种子选择方法(2)多线索融合的局部对比显著性计算(3)基于流形排序的扩散处理4.显著性融合。本发明主要应用于设计制造场合。

Description

一种立体视觉显著性检测方法

技术领域

本发明属于图像处理、立体视觉技术领域，具体讲,涉及立体视觉显著性检测方法。

背景技术

显著区域通常包含人类感兴趣的重要目标或最能表达图像的内容，是能够在较短时间内将人的视觉注意力吸引过去的区域，而显著性检测就是找出这些感兴趣目标或区域的过程。显著性检测具有十分广泛的应用，如图像检索、目标识别、编码、分割、重定向、压缩等。通常可以显著性检测方法分为两类：一类是由数据驱动的、慢速的、任务依赖的自顶向下的检测方法，该类方法往往需要训练过程和特定的先验知识；另一类是由数据驱动的、快速的、下意识的自底向上的检测方法，这类方法主要利用底层线索(颜色、形状、深度等)直接进行显著性模型构建。

随着神经学、生物学的发展，人们对人类的视觉感知系统的研究不断深入，促使2D显著性检测取得了突破。Cheng等人提出了一种基于直方图对比度(HC)的全局显著性检测方法，该方法根据与其他像素的色彩差异来分配像素的显著性值，并用以产生全分辨显著性图像。作为HC的改进，以区域为单位，同时考虑了区域与整个图像的全局颜色对比和空间相干性，得到了基于区域对比度(RC)的显著性检测方法。Li等人利用在ImageNet上预训练的CNNs提取图像的多尺度深度特征，并将这多尺度表示通过多个全联结层进行融合，得到最后的显著性图。Wang等人采用两个层进式的CNNs网络进行特征的提取，综合考虑了局部信息和目标级信息，获得了较好的检测性能。

相比2D显著性检测研究的飞速发展，立体视觉显著性检测算法研究起步较晚，相关研究较少。Lang等人将显著性模型化为给定深度范围的条件概率，但该方法只考虑了绝对深度而丢失了全局的深度结构信息。Ju等人直接从深度信息出发，提出了一种基于深度信息的各向异性中心-周围差异的显著性检测模型。Peng等人首先构建了一个新的立体显著性检测数据库，并给出了一种综合三个层次显著性信息的立体视觉显著性模型。

发明内容

为克服现有技术的不足，本发明旨在通过综合利用RGB数据和深度(depth)数据，研究一种能够准确、完整的提取显著性区域的方法，实现基于紧致性分析和多线索融合的立体视觉显著性检测。本发明采用的技术方案是，立体视觉显著性检测方法,步骤如下：

1.图的构建

首先利用SLIC(Simple Linear Iterative Clustering)方法对输入的彩色图像进行超像素分割，得到N个超像素区域，然后以SLIC得到的超像素为节点，相邻超像素之间的相似性为边，构建输入图像的图表示G＝(V,E)，其中，V表示图的节点集合，E是图的相邻节点之间边的集合，位于图像边界的超像素之间视作是相邻的；

利用CIE Lab空间的欧式距离表征两个节点之间的颜色差异：

l_ij＝||c_i-c_j||

利用两个节点深度值的绝对差值表征它们之间的深度差异：

d_ij＝|d_i-d_j|

综合颜色和深度信息的两个超像素节点之间的相似性定义为：

$a_{ij}=\exp (-\frac{l_{ij}+{\mathrm{\λ}}_d\·d_{ij}}{{\mathrm{\σ}}^2})$

其中，c_i、d_i分别表示超像素节点v_i的平均颜色值和平均深度值，是控制深度信息强度的参数，c_j、d_j类似，σ²是控制相似性强度的参数，下标i和j代表超像素节点的序号。

任意两个超像素之间的关系矩阵定义为：

$w_{ij}=\left\{\begin{array}{cc}{a}_{ij}& if{v}_j\∈{\mathrm{\Ω}}_i\\ 0& otherwise\end{array}\right.$

其中，Ω_i表示超像素节点v_i的相邻节点集合；

2.基于紧致性分析的显著性计算

公式如下：

SCS(i)＝[1-norm(cc(i)+dc(i))]·Obj(i)

其中，cc(i)、dc(i)分别表示超像素节点v_i的颜色紧致性和有限制的深度紧致性，norm(·)为最小-最大归一化函数，Obj(i)表示超像素v_i属于一个目标的概率，基于颜色和深度的紧致性计算公式如下：

$cc\left(i\right)=\frac{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j\·\left|\right|b_j-{\mathrm{\μ}}_i\left|\right|}{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j}$

$dc\left(i\right)=\frac{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j\·\left|\right|b_j-p\left|\right|\·\exp (-\frac{{\mathrm{\λ}}_d\·d\left(i\right)}{{\mathrm{\σ}}^2})}{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j}$

其中，是超像素节点v_j的质心坐标位置，p＝[p_x,p_y]为图像中心的位置坐标，超像素节点v_i的平均空间位置定义如下：

${\mathrm{\μ}}_i^x=\frac{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j\·b_j^x}{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j}$

${\mathrm{\μ}}_i^y=\frac{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j\·b_j^y}{{\mathrm{\Σ}}_{j=1}^N{a}_{ij}\·n_j}$

3.基于多线索融合的前景显著性计算

具体的实施步骤如下：

(1)前景种子选择方法

首先利用阈值分割技术选择显著性值较大超像素节点作为候选前景种子点，然后利用深度信息从候选种子点集合中选出具有较大深度值的超像素节点作为最终的前景种子点；

(2)多线索融合的局部对比显著性计算

根据显著性区域的独特性(uniqueness)，综合考虑颜色、深度、纹理以及空间位置多个线索的局部对比显著性计算，其计算公式如下：

$S_{fg}\left(i\right)=\underset{j\∈{\mathrm{\Ω}}_s}{\Σ}\[a_{ij}\·D_t(i,j)\·\exp (-||b_i-b_j||/{\mathrm{\σ}}^2)\·n_j\]$

其中，n_j为超像素节点v_j中包含像素个数，a_ij表示两个超像素节点v_i和v_j之间的综合相似性，包含颜色和深度，Ω_s为前景种子点集合，b_i是超像素节点v_i的质心坐标位置，D_t(i,j)表示超像素节点v_i和v_j之间的纹理相似性，其计算公式如下：

$D_t(i,j)=\frac{\left|k_i^T{k}_j\right|}{\left|\right|k_i\left|\right|\left|\right|k_j\left|\right|}$

其中，k_i是超像素单元v_i的LBP直方图频率；

(3)基于流形排序的扩散处理

利用流形排序方法来传播前景显著性图，并将传播后的显著性图归一化到[0,1]的范围内，具体计算公式如下：

S_FS＝norm((D-αW)^-1S_fg)

其中，D＝diag{d₁₁,d₂₂,…,d_NN}为度矩阵，d_ii＝∑_jw_ij，norm(·)为最小-最大归一化函数，0<α<1；

4.显著性融合

加权求和的融合方案：

S＝γ·S_CS+(1-γ)·S_FS

其中，S_CS为紧致显著性图，S_FS为前景显著性图，γ为加权因子，用来控制两个显著性图的融合比例。

前景种子选择方法是一种综合利用初始显著图和深度信息的前景种子点选择机制，具体操作如下：

A.根据初始显著图确定候选前景种子点。采用阈值分割的方法获取候选前景种子点，初始显著性图(即CS)表征了超像素节点的显著性大小，数值越大，说明该超像素越显著。设分割的阈值为τ，即

B.求得候选前景种子点的平均深度值。考虑到“显著性目标的深度值往往在一定范围内较大”的先验，我们将利用深度信息对候选种子点进行筛选，候选种子点的平均深度值被作为筛选阈值，其求解方法为：

$md=\frac{1}{\left|{\mathrm{\&Theta;}}_p\right|}\underset{v_i\&Element;{\mathrm{\&Theta;}}_p}{\&Sigma;}{d}_i$

其中，Θ_p表示候选前景种子点的集合，d_i表示超像素节点v_i的平均深度值。

C.获得最终的前景种子点。在候选前景种子点集合中，以md为分割阈值，候选种子点中平均深度值大于md的超像素节点被保留下来，平均深度值小于等于md的超像素节点被剔除，这样保留下来的超像素节点即为最终的前景种子点。即：

至此，根据初始显著图和深度图获得了前景种子点集合Ω_s。

本发明的特点及有益效果是：

本发明综合利用了颜色、深度、纹理等信息，给出了一种立体视觉显著性检测方法，该方法可以有效的提取图像的显著性区域。

附图说明：

图1给出了基于紧致性分析的显著性检测结果图。

图2给出了基于多线索融合的前景显著性图。

图3给出了加权融合后的最终显著性检测结果。

图4给出了本发明提出方法的流程图。

具体实施方式

下面介绍本专利提出的基于紧致性分析和多线索融合的立体视觉显著性检测方法的实施过程。

1.图的构建

超像素分割可以将图像分割成若干个区域一致性和边缘描述性稳定的小区域——超像素，已广泛地用于很多图像分析应用中，采用超像素分割可以提高后续处理的效率。在超像素分割的方法中，Achanta等人提出的SLIC(Simple Linear Iterative Clustering)是一种能够高效地生成紧密、均匀的超像素并且具有低计算复杂度的方法。本发明首先利用SLIC方法对输入的彩色图像进行超像素分割，得到N个超像素区域(实验中N＝200)，利用超像素分割方法可以有效地降低计算量，同时可以更加有效的对图像进行描述，改善显著性目标检测的效果。然后以SLIC得到的超像素为节点，相邻超像素之间的相似性为边，构建输入图像的图表示G＝(V,E)。其中，V表示图的节点集合，E是图的相邻节点之间边的集合。值得注意的是，本发明认为位于图像边界的超像素之间是相邻的，这样做可以减小相似超像素之间的测地线距离。

利用CIE Lab空间的欧式距离表征两个节点之间的颜色差异：

l_ij＝||c_i-c_j||

利用两个节点深度值的绝对差值表征它们之间的深度差异：

d_ij＝|d_i-d_j|

综合颜色和深度信息的两个超像素节点之间的相似性定义为：

$a_{ij}=\exp (-\frac{l_{ij}+{\mathrm{\&lambda;}}_d\&CenterDot;d_{ij}}{{\mathrm{\&sigma;}}^2})$

其中，c_i、d_i分别表示超像素节点v_i的平均颜色值和平均深度值，λ_d是控制深度信息强度的参数，σ²是控制相似性强度的参数，实验中σ²＝0.1，下标i和j代表超像素节点的序号。

任意两个超像素之间的关系矩阵定义为：

$w_{ij}=\left\{\begin{array}{cc}{a}_{ij}& if{v}_j\&Element;{\mathrm{\&Omega;}}_i\\ 0& otherwise\end{array}\right.$

其中，Ω_i表示超像素节点v_i的相邻节点集合。该关系式表明，如果两个超像素节点相邻，那么它们之间的关系值为节点间的相似性，如果两个节点不相邻，那么它们之间的关系值为0。

2.基于紧致性分析的显著性计算

对于RGB彩色图像来说，其显著性目标的颜色具有紧致的分布，而其背景的颜色往往分布于整个图像，这就是显著性检测中一个常用的先验信息——色彩紧致性(colorcompactness)。经过观察发现，深度信息也存在一定的紧致特性，我们称之为有限制的深度紧致性(limited depth compactness)，即显著性目标的深度在一定范围内(通常为靠近图像中心的区域)分布较为集中，而背景的深度分布较分散。基于上述描述，我们提出了基于紧致性分析的显著性计算方法，其公式如下：

S_CS(i)＝[1-norm(cc(i)+dc(i))]·Obj(i)

其中，cc(i)表示超像素节点v_i的颜色紧致性，描述了超像素节点v_i的颜色空间变化，dc(i)为节点v_i的有限制的深度紧致性，描述了中心区域目标的深度紧致特性，norm(·)为最小-最大归一化函数。考虑到目标的空间位置信息对显著性检测的重要作用，我们将Alexe等人提出目标测度Obj(i)引入显著性检测模型，Obj(i)表示超像素v_i属于一个目标的概率。基于颜色和深度的紧致性计算公式如下：

$cc\left(i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;\left|\right|b_j-{\mathrm{\&mu;}}_i\left|\right|}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

$dc\left(i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;\left|\right|b_j-p\left|\right|\&CenterDot;\exp (-\frac{{\mathrm{\&lambda;}}_d\&CenterDot;d\left(i\right)}{{\mathrm{\&sigma;}}^2})}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

其中，是超像素节点v_j的质心坐标位置，p＝[p_x,p_y]为图像中心的位置坐标，超像素节点v_i的平均空间位置定义如下：

${\mathrm{\&mu;}}_i^x=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;b_j^x}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

${\mathrm{\&mu;}}_i^y=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;b_j^y}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

3.基于多线索融合的前景显著性计算

通常情况下，基于紧致性分析的显著性检测方法得到的显著性图(称为CS)已经可以取得较好的检测结果。但是，当显著性区域和背景较为相似时，可能难以达到完全令人满意的结果。因此，本发明提出了一种基于多线索融合的前景显著性计算方法来改善此问题。首先，在得到的紧致性显著图基础上，结合深度信息选取前景种子点，然后以超像素为单元构建多线索的局部对比显著性计算模型，最后经过扩散操作得到最终的显著性图(称为FS)。具体的实施步骤如下：

(1)前景种子选择方法

传统的前景种子点选择方法仅基于初始显著性图，这样容易造成选择出的前景种子点不准确，即包含部分背景区域，这对后期的显著性检测产生不好的影响。考虑到深度信息的重要性，本发明提出了一种综合利用初始显著图和深度信息的前景种子点选择机制，加入深度修正的候选种子筛选过程有2点好处：一是因后面的操作需要用到深度信息，如果前景种子点的深度较小，则会对后面的结果造成不好的影响；二是引入深度信息对候选种子点进行筛选，可以避免仅利用显著图确定种子点的不全面性，增加种子点选择的正确性、可靠性。具体选择方法如下：

D.根据初始显著图确定候选前景种子点。采用阈值分割的方法获取候选前景种子点，初始显著性图(即CS)表征了超像素节点的显著性大小，数值越大，说明该超像素越显著。设分割的阈值为τ，即

E.求得候选前景种子点的平均深度值。考虑到“显著性目标的深度值往往在一定范围内较大”的先验，我们将利用深度信息对候选种子点进行筛选，候选种子点的平均深度值被作为筛选阈值，其求解方法为：

$md=\frac{1}{\left|{\mathrm{\&Theta;}}_p\right|}\underset{v_i\&Element;{\mathrm{\&Theta;}}_p}{\&Sigma;}{d}_i$

其中，Θ_p表示候选前景种子点的集合，d_i表示超像素节点v_i的平均深度值。

F.获得最终的前景种子点。在候选前景种子点集合中，以md为分割阈值，候选种子点中平均深度值大于md的超像素节点被保留下来，平均深度值小于等于md的超像素节点被剔除，这样保留下来的超像素节点即为最终的前景种子点。即：

至此，我们根据初始显著图CS和深度图获得了前景种子点集合Ω_s。

(2)多线索融合的局部对比显著性计算

显著性区域与其他背景区域相比，在颜色、深度、纹理等特性上都表现出明显的不同，这种特性被称为独特性(uniqueness)，因此，本发明提出了一种综合考虑颜色、深度、纹理以及空间位置等多个线索的局部对比显著性计算方法。我们利用上步获得的前景种子点，计算每个超像素节点与前景种子点的局部对比值，对比值越小，说明该超像素节点与前景越相似，那么它的显著性值就越高。其计算公式如下：

$S_{fg}\left(i\right)=\underset{j\&Element;{\mathrm{\&Omega;}}_s}{\&Sigma;}\&lsqb;a_{ij}\&CenterDot;D_t(i,j)\&CenterDot;\exp (-||b_i-b_j||/{\mathrm{\&sigma;}}^2)\&CenterDot;n_j\&rsqb;$

其中，n_j为超像素节点v_j中包含像素个数，超像素区域越大，对当前超像素的影响就越大，a_ij表示两个超像素节点v_i和v_j之间的综合相似性(包含颜色和深度)，Ω_s为前景种子点集合，b_i是超像素节点v_i的质心坐标位置，exp(-||b_i-b_j||/σ²)表示两个超像素节点之间的距离加权因子，距离当前超像素节点越远的超像素节点对其影响越小，D_t(i,j)表示超像素节点v_i和v_j之间的纹理相似性，其计算公式如下：

$D_t(i,j)=\frac{\left|k_i^T{k}_j\right|}{\left|\right|k_i\left|\right|\left|\right|k_j\left|\right|}$

其中，k_i是超像素单元v_i的LBP直方图频率。

(3)基于流形排序的扩散处理

为了避免显著性图强调目标边界而不是整个图像区域的问题，我们利用流形排序方法来传播前景显著性图，并将传播后的显著性图归一化到[0,1]的范围内。具体计算公式如下：

S_FS＝norm((D-αW)^-1S_fg)

其中，D＝diag{d₁₁,d₂₂,…,d_NN}为度矩阵，d_ii＝∑_jwi_j，norm(·)为最小-最大归一化函数，实验中α＝0.99。

4.显著性融合

紧致显著性图和前景显著性图之间存在一定的互补关系，为了获得更加鲁棒的、准确的检测结果，本发明给出了一种加权求和的融合方案。

S＝γ·S_CS+(1-γ)·S_FS

其中，S_CS为紧致显著性图，S_FS为前景显著性图，γ为加权因子，用来控制两个显著性图的融合比例。实验中，我们取γ＝0.8。

下面结合附图说明实验效果：

图1和图2分别给出了基于紧致性分析和多线索融合的显著性检测结果。紧致显著性图(图1)中的花蕊区域被错误的检测为背景区域。实际上，该区域应该与花整体被检测显著性区域。而该区域在前景显著性图(图2)被检测为显著性区域。也就是说，在花蕊中心区域两个显著性图存在明显的互补关系，经过一定的融合机制后，可以有效的提高检测结果的准确性。

图3给出了加权融合后的显著性检测结果，显著性区域更加完整、准确。

Claims (2)

1.一种立体视觉显著性检测方法，其特征是，步骤如下：

1)图的构建

首先利用SLIC(Simple Linear Iterative Clustering)方法对输入的彩色图像进行超像素分割，得到N个超像素区域，然后以SLIC得到的超像素为节点，相邻超像素之间的相似性为边，构建输入图像的图表示G＝(V,E)，其中，V表示图的节点集合，E是图的相邻节点之间边的集合，位于图像边界的超像素之间视作是相邻的；

利用CIE Lab空间的欧式距离表征两个节点之间的颜色差异：

l_ij＝||c_i-c_j||

利用两个节点深度值的绝对差值表征它们之间的深度差异：

d_ij＝|d_i-d_j|

综合颜色和深度信息的两个超像素节点之间的相似性定义为：

$a_{ij}=\exp (-\frac{l_{ij}+{\mathrm{\&lambda;}}_d\&CenterDot;d_{ij}}{{\mathrm{\&sigma;}}^2})$

其中，c_i、d_i分别表示超像素节点v_i的平均颜色值和平均深度值，是控制深度信息强度的参数，c_j、d_j类似，σ²是控制相似性强度的参数，下标i和j代表超像素节点的序号；

任意两个超像素之间的关系矩阵定义为：

$w_{ij}=\left\{\begin{array}{cc}{a}_{ij}& if{v}_j\&Element;{\mathrm{\&Omega;}}_i\\ 0& otherwise\end{array}\right.$

其中，Ω_i表示超像素节点v_i的相邻节点集合；

2)基于紧致性分析的显著性计算

公式如下：

SCS(i)＝[1-norm(cc(i)+dc(i))]·Obj(i)

其中，cc(i)、dc(i)分别表示超像素节点v_i的颜色紧致性和有限制的深度紧致性，norm(·)为最小-最大归一化函数，Obj(i)表示超像素v_i属于一个目标的概率，基于颜色和深度的紧致性计算公式如下：

$cc\left(i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;\left|\right|b_j-{\mathrm{\&mu;}}_i\left|\right|}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

$dc\left(i\right)=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;\left|\right|b_j-p\left|\right|\&CenterDot;\exp (-\frac{{\mathrm{\&lambda;}}_d\&CenterDot;d\left(i\right)}{{\mathrm{\&sigma;}}^2})}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

其中，是超像素节点v_j的质心坐标位置，p＝[p_x,p_y]为图像中心的位置坐标，超像素节点v_i的平均空间位置定义如下：

${\mathrm{\&mu;}}_i^x=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;b_j^x}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

${\mathrm{\&mu;}}_i^y=\frac{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j\&CenterDot;b_j^y}{{\mathrm{\&Sigma;}}_{j=1}^N{a}_{ij}\&CenterDot;n_j}$

3)基于多线索融合的前景显著性计算

具体的实施步骤如下：

(1)前景种子选择方法

首先利用阈值分割技术选择显著性值较大超像素节点作为候选前景种子点，然后利用深度信息从候选种子点集合中选出具有较大深度值的超像素节点作为最终的前景种子点；

(2)多线索融合的局部对比显著性计算

根据显著性区域的独特性(uniqueness)，综合考虑颜色、深度、纹理以及空间位置多个线索的局部对比显著性计算，其计算公式如下：

$S_{fg}\left(i\right)=\underset{j\&Element;{\mathrm{\&Omega;}}_s}{\&Sigma;}\&lsqb;a_{ij}\&CenterDot;D_t(i,j)\&CenterDot;\exp (-||b_i-b_j||/{\mathrm{\&sigma;}}^2)\&CenterDot;n_j\&rsqb;$

其中，n_j为超像素节点v_j中包含像素个数，a_ij表示两个超像素节点v_i和v_j之间的综合相似性，包含颜色和深度，Ω_s为前景种子点集合，b_i是超像素节点v_i的质心坐标位置，D_t(i,j)表示超像素节点v_i和v_j之间的纹理相似性，其计算公式如下：

$D_t(i,j)=\frac{\left|k_i^T{k}_j\right|}{\left|\right|k_i\left|\right|\left|\right|k_j\left|\right|}$

其中，k_i是超像素单元v_i的LBP直方图频率；

(3)基于流形排序的扩散处理

利用流形排序方法来传播前景显著性图，并将传播后的显著性图归一化到[0,1]的范围内，具体计算公式如下：

S_FS＝norm((D-αW)^-1S_fg)

其中，D＝diag{d₁₁,d₂₂,…,d_NN}为度矩阵，d_ii＝∑_jw_ij，norm(·)为最小-最大归一化函数，0<α<1；

4)显著性融合

加权求和的融合方案：

S＝γ·S_CS+(1-γ)·S_FS

其中，S_CS为紧致显著性图，S_FS为前景显著性图，γ为加权因子，用来控制两个显著性图的融合比例。

2.如权利要求1中所述的一种立体视觉显著性检测方法，其特征是，前景种子选择方法是一种综合利用初始显著图和深度信息的前景种子点选择机制，具体操作如下：

A.根据初始显著图确定候选前景种子点,采用阈值分割的方法获取候选前景种子点，初始显著性图(即CS)表征了超像素节点的显著性大小，数值越大，说明该超像素越显著，设分割的阈值为τ，即

B.求得候选前景种子点的平均深度值,考虑到“显著性目标的深度值往往在一定范围内较大”的先验，我们将利用深度信息对候选种子点进行筛选，候选种子点的平均深度值被作为筛选阈值，其求解方法为：

$md=\frac{1}{\left|{\mathrm{\&Theta;}}_p\right|}\underset{v_i\&Element;{\mathrm{\&Theta;}}_p}{\&Sigma;}{d}_i$

其中，Θ_p表示候选前景种子点的集合，d_i表示超像素节点v_i的平均深度值

C.获得最终的前景种子点,在候选前景种子点集合中，以md为分割阈值，候选种子点中平均深度值大于md的超像素节点被保留下来，平均深度值小于等于md的超像素节点被剔除，这样保留下来的超像素节点即为最终的前景种子点，即：

至此，根据初始显著图和深度图获得了前景种子点集合Ω_s。