CN105894502A - 基于超图模型的rgbd图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于超图模型的RGBD图像显著性检测方法，该方法包括：对待检测彩色图像和深度图像进行超像素分割，对深度图像的每一个超像素区域进行邻域深度对比图的计算，依据邻域深度对比值构建深度背景超边；提取位于图像边界的超像素区域构建边界背景超边；计算两个超边的权重，并根据超图学习算法进行超边展开，构建诱导图；基于诱导图的空间邻接关系和边权重，利用边界连通性先验计算边界背景显著图；采用基于元胞自动机的显著度更新算法和结合深度先验的融合算法得到最终的显著性检测图。本发明弥补了传统2D边界背景先验中的不足，利用深度信息和超图模型进行改进，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

Description

基于超图模型的RGBD图像显著性检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于超图模型的RGBD图像显著性检测方法。

背景技术

图像显著性检测是当前计算机视觉和模式识别领域的热点课题之一。研究发现人眼视觉机制总是能快速地提取图像中重要的,感兴趣的区域,进而对这些区域进行分析和处理,而基本不会处理图像中剩余的并不显著的区域。这个原理为计算机视觉领域研究者提供很多启示，即可以对图像中的显著区域进行检测，提取出图像中显著的目标进行后续处理，节省了对全图处理的时间，大大提高了图像处理的效率。因此，图像显著性检测可以广泛的应用在图像分割，目标识别和图像检索等领域。

近年来，随着3D感知传感器技术的发展，我们不仅可以捕获到物体的外形和颜色信息，而且可以得到物体的距离信息，对场景的感知能力得到了进一步的提升。HouwenPeng等人利用彩色和深度特征计算局部的对比度，然后利用区域生长算法进行显著区域的聚类，最后利用物体位置的先验对结果进行改进，该方法仅将深度信息以及通过深度计算得到的法向信息作为颜色之外的图像特征分量，但对颜色信息对比不明显的物体检测效果不好。Ran Ju等人利用深度信息，计算视差图的各向异性中心—周边差异实现显著性的检测，但是没有与颜色信息相结合。

在2D显著性检测中，边界背景先验为寻找图像中的背景区域提供了新的思路。Zhu等人通过引入边界联通性的概念，衡量了不同图像区域与图像边界的联通程度，从而得到其属于背景的可能性。然而，该方法在背景区域被前景物体分割的时候会出现误判，孤立的背景区域无法检出。

针对当前3D显著性检测的不足和2D背景显著性先验的问题，本发明提出了基于深度信息的背景显著性先验，并利用超图模型解决了背景被分割的问题，取得了良好的效果。

发明内容

本发明的目的在于克服上述现有技术的不足，弥补现有的背景先验中深度信息的缺失，并针对传统2D边界背景先验中的不足之处，利用深度信息和超图模型进行了改进。

本发明的目的是通过以下技术方案来实现的：一种基于超图模型的RGBD图像显著性检测方法，包括如下步骤：

(1)输入待检测彩色图像RGB及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；

(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，采用SLIC算法实现图像的超像素分割，将图像分割成多块区域的集合其中r_i表示分割得到的第i个区域，n表示区域总数目，表示整数集合；

(3)对步骤2得到的图像超像素分割结果的每个区域r_i(i＝1～n)提取特征f_i＝[L_i,a_i,b_i,μd_i]，其中L_i为区域r_i内所有像素L通道的均值，a_i为区域r_i内所有像素a通道的均值，b_i为区域r_i内所有像素b通道的均值，d_i为深度图中区域r_i的深度均值,μ用于调整颜色信息和深度信息的权重，具体取值以将深度信息和颜色信息取值调整为相同数量级为宜；

(4)对步骤2得到的区域集合中的每一个超像素r，计算其邻域深度对比值NDC(r)，得到邻域深度对比图：

$NDC\left(r_i\right)=\frac{1}{1+\exp (-\underset{j\∈NB\left(i\right)}{\Σ}(d_j-d_i)/{\mathrm{\μ}}_d)}---\left(1\right)$

其中exp(·)表示指数函数，d_i表示超像素区域r_i的平均深度值，NB(i)表示超像素区域r_i的邻域，μ_d设置为图像的平均深度；

(5)将步骤2得到的超像素区域视作超图模型中的顶点v，相邻超像素区域之间的联系视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域v_i的邻域深度对比值低于设定的阈值θ时，将v_i加入到深度背景超边e_d中,其中阈值θ取值范围为[0,0.5]，由用户设定：

H(v_i,e_d)＝1s.t.NDC(v_i)<θ (2)

(6)计算步骤5得到的深度背景超边e_d的权重ω(e_d)：

$\mathrm{\&omega;}\left(e_d\right)=\underset{v_i\&Element;V}{\&Sigma;}H(v_i,e_d)\underset{v_j\&Element;N\left(v_i\right)}{\min }{d}_{rgbd}(i,j)---\left(3\right)$

其中，d_rgbd(i,j)表示v_i和v_j对应的超像素区域特征的欧氏距离：

d_rgbd(i,j)＝||f_i-f_j||₂ (4)

(7)对步骤5得到的深度背景超边进行展开得到诱导图,超边中任意两个超像素区域r_i和r_j在诱导图中都彼此相连，诱导图的邻接矩阵A_IG为：

$\underset{v_i,v_j\&Element;e,e\&Element;Eor{v}_i\&Element;NB\left(v_j\right)}{A_{IG}(i,j)}=1---\left(5\right)$

连接区域r_i和区域r_j的边的权重为：

$d_{rgbd}^{*}(i,j)={\mathrm{\&Sigma;}}_{e\&Element;E,v_i,v_j\&Element;e}w\left(e\right)/\mathrm{deg}\left(e\right)---\left(6\right)$

其中deg(e)为超边e的度，即超边e内包含的顶点数量；

(8)计算任意两个超像素p和q的最短路径代价d_geo(p,q)为：

$d_{geo}(p,q)=\underset{p_1=p,p_2,\mathrm{...}{p}_k=q}{\min }\underset{i=1}{\overset{k-1}{\&Sigma;}}{d}_{rgbd}^{*}(p_i,p_{i+1}),A_{IG}(i,i+1)=1---\left(7\right)$

其中k为最短路径经过的顶点的数量。

(9)对每一个超像素r，计算其边界连通性值BndCon(r)，得到边界背景显著图：

$BndCon\left(r\right)=\frac{{\mathrm{Len}}_{bnd}\left(r\right)}{\sqrt{Area\left(r\right)}}---\left(8\right)$

其中

${\mathrm{Len}}_{bnd}\left(r\right)=\underset{i=1}{\overset{n}{\&Sigma;}}\exp (-\frac{d_{geo}^2(r_i,r_{i+1})}{2{\mathrm{\&sigma;}}_{clr}^2})\&CenterDot;\mathrm{\&delta;}(r_i\&Element;Bnd)---\left(10\right)$

当r_i位于图像的边缘时，δ(r_i∈Bnd)＝1，否则δ(r_i∈Bnd)＝0,参数σ_clr取值范围为[5,15],由用户设定；

(10)将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分别采用基于元胞自动机的更新算法，分别得到更新后的结果S_D和S_B；

(11)采用结合深度先验的融合算法，融合S_D和S_B，得到最终的显著性图像。

进一步地，步骤10中的基于元胞自动机的更新算法，其更新规则为：

S^t+1＝CS^t+(I-C)F^*S^t

其中的I为单位矩阵，t表示更新次数，S^t表示经过t次更新后所有超像素的显著度向量。

定义F＝[f_ij]_n×n为影响因子矩阵，其中的元素f_ij为：

$f_{ij}=\left\{\begin{array}{cc}\exp (-\frac{d_{rgbd}(i,j)}{{{\mathrm{\&sigma;}}_f}^2})& A_{IG}(i,j)=1\\ 0& i=jorotherwise\end{array}\right.$

其中，σ_f ²取值由用户设定，可设置为超像素区域特征欧氏距离的方差；

为了对影响因子进行归一化，定义对角矩阵D＝diag{d₁,d₂,...,d_n}，其中d_i＝∑_jf_ij。经过行归一化的影响因子矩阵F^*为：

F^*＝D^-1F

一致性矩阵C＝diag{c₁,c₂,...,c_n}为对角矩阵，其中元素的设置方法如下：

c_i＝1.6×|S^t＝0(i)-0.5|+0.1

其中，S^t＝0(i)表示初始显著图中超像素r_i的显著度；

进一步地，步骤11中的结合深度先验的融合算法具体方法如下：

分别对显著图S_D和S_B进行OTSU阈值分割，将两者转换成二值图；分别统计两个二值图中取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m；在S_D和S_B选取显著度最高的m个区域作为对应的前景区域，组成集合V_D和V_B；

在这两个前景集合V_D和V_B的基础上，得到融合前景集合R_fg；若V_D和V_B对应区域的重叠率大于阈值K(取值范围[0.6,0.8]，由用户设定)，融合前景集合R_fg为两个集合的并集；若V_D和V_B对应区域的重叠率小于阈值K，融合前景集合R_fg为两者中平均深度较小的那个区域集合；

即：

$R_{fg}=\left\{\begin{array}{cc}{V}_D\&cup;V_B,& max\left(\right|V_D\&cap;V_B|/|V_D|,|V_D\&cap;V_B|/|V_B\left|\right)>K\\ V_D,& d\left(V_D\right)<d\left(V_B\right)\\ V_B,& d\left(V_B\right)<d\left(V_D\right)\end{array}\right.$

设置元胞自动机的更新初始值为S^t＝0＝S_B·S_D。一致性矩阵C＝diag{c₁,c₂,...,c_n}的元素取值方式为下：

$c_i=\left\{\begin{array}{cc}1.6\&times;|S_B\left(i\right)\&CenterDot;S_D\left(i\right)-0.5|+0.1,& v_i\&Element;R_{fg}\\ 0.1,& v_i\&NotElement;R_{fg}\end{array}\right.$

进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。

本发明具有的有益效果是：本发明提出了基于深度信息的背景先验，通过计算过分割深度图的邻域深度对比值，从深度信息中检出了背景区域。同时，将传统的二维边界背景先验引入RGB-D显著性检测工作中，并利用深度信息构建超图模型，通过构建超边重建了被前景分割的背景区域的连通性，从而解决了传统二维边界背景先验中背景区域被前景遮挡分割造成的误判问题。

附图说明

图1为本发明基于超图模型的RGBD图像显著性检测方法的流程图。

图2为采用现有图像显著性检测方法与本发明方法进行图像显著性检测后的精确率，召回率以及F-Measure柱状图的对比。

具体实施方式

下面结合附图与实施例对本发明进行进一步说明。

本发明基于超图模型的RGBD图像显著性检测方法，包括如下步骤：

(1)输入待检测彩色图像RGB及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；

(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，采用SLIC算法实现图像的超像素分割，将图像分割成多块区域的集合其中r_i表示分割得到的第i个区域，n表示区域总数目，表示整数集合；

(3)对步骤2得到的图像超像素分割结果的每个区域r_i(i＝1～n)提取特征f_i＝[L_i,a_i,b_i,μd_i]，其中L_i为区域r_i内所有像素L通道的均值，a_i为区域r_i内所有像素a通道的均值，b_i为区域r_i内所有像素b通道的均值，d_i为深度图中区域r_i的深度均值,μ用于调整颜色信息和深度信息的权重，具体取值以将深度信息和颜色信息取值调整为相同数量级为宜；

(4)对步骤2得到的区域集合中的每一个超像素r，计算其邻域深度对比值NDC(r)，得到邻域深度对比图：

$NDC\left(r_i\right)=\frac{1}{1+\exp (-\underset{j\&Element;NB\left(i\right)}{\&Sigma;}(d_j-d_i)/{\mathrm{\&mu;}}_d)}---\left(1\right)$

其中exp(·)表示指数函数，d_i表示超像素区域r_i的平均深度值，NB(i)表示超像素区域r_i的邻域，μ_d设置为图像的平均深度；

(5)将步骤2得到的超像素区域视作超图模型中的顶点v，相邻超像素区域之间的联系视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域v_i的邻域深度对比值低于设定的阈值θ时，将v_i加入到深度背景超边e_d中,其中阈值θ取值范围为[0,0.5]，由用户设定：

H(v_i,e_d)＝1s.t.NDC(v_i)<θ (2)

(6)计算步骤5得到的深度背景超边e_d的权重ω(e_d)：

$\mathrm{\&omega;}\left(e_d\right)=\underset{v_i\&Element;V}{\&Sigma;}H(v_i,e_d)\underset{v_j\&Element;N\left(v_i\right)}{\min }{d}_{rgbd}(i,j)---\left(3\right)$

其中，d_rgbd(i,j)表示v_i和v_j对应的超像素区域特征的欧氏距离：

d_rgbd(i,j)＝||f_i-f_j||₂ (4)

(7)对步骤5得到的深度背景超边进行展开得到诱导图,超边中任意两个超像素区域r_i和r_j在诱导图中都彼此相连，诱导图的邻接矩阵A_IG为：

$\underset{v_i,v_{j}e,e\&Element;Eor{v}_i\&Element;NB\left(v_j\right)}{A_{IG}(i,j)}=1---\left(5\right)$

连接区域r_i和区域r_j的边的权重为：

$d_{rgbd}^{*}(i,j)={\mathrm{\&Sigma;}}_{e\&Element;E,v_i,v_j\&Element;e}w\left(e\right)/\mathrm{deg}\left(e\right)---\left(6\right)$

其中deg(e)为超边e的度，即超边e内包含的顶点数量；

(8)计算任意两个超像素p和q的最短路径代价d_geo(p,q)为：

$d_{geo}(p,q)=\underset{p_1=p,p_2,...p_k=q}{\min }\underset{i=1}{\overset{k-1}{\&Sigma;}}{d}_{rgbd}^{*}(p_i,p_{i+1}),A_{IG}(i,i+1)=1---\left(7\right)$

其中k为最短路径经过的顶点的数量。

(9)对每一个超像素r，计算其边界连通性值BndCon(r)，得到边界背景显著图：

$BndCon\left(r\right)=\frac{{\mathrm{Len}}_{bnd}\left(r\right)}{\sqrt{Area\left(r\right)}}---\left(8\right)$

其中

${\mathrm{Len}}_{bnd}\left(r\right)=\underset{i=1}{\overset{n}{\&Sigma;}}\exp (-\frac{d_{geo}^2(r_i,r_{i+1})}{2{\mathrm{\&sigma;}}_{clr}^2})\&CenterDot;\mathrm{\&delta;}(r_i\&Element;Bnd)---\left(10\right)$

当r_i位于图像的边缘时，δ(r_i∈Bnd)＝1，否则δ(r_i∈Bnd)＝0,参数σ_clr取值范围为[5,15],由用户设定；

(10)将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分别采用基于元胞自动机的更新算法，分别得到更新后的结果S_D和S_B；

(11)采用结合深度先验的融合算法，融合S_D和S_B，得到最终的显著性图像。

进一步地，步骤10中的基于元胞自动机的更新算法，其更新规则为：

S^t+1＝CS^t+(I-C)F^*S^t

其中的I为单位矩阵，t表示更新次数，S^t表示经过t次更新后所有超像素的显著度向量。

定义F＝[f_ij]_n×n为影响因子矩阵，其中的元素f_ij为：

$f_{ij}=\left\{\begin{array}{cc}\exp (-\frac{d_{rgbd}(i,j)}{{{\mathrm{\&sigma;}}_f}^2})& A_{IG}(i,j)=1\\ 0& i=jorotherwise\end{array}\right.$

其中，σ_f ²取值由用户设定，可设置为超像素区域特征欧氏距离的方差；

为了对影响因子进行归一化，定义对角矩阵D＝diag{d₁,d₂,...,d_n}，其中d_i＝∑_jf_ij。经过行归一化的影响因子矩阵F^*为：

F^*＝D^-1F

一致性矩阵C＝diag{c₁,c₂,...,c_n}为对角矩阵，其中元素的设置方法如下：

c_i＝1.6×|S^t＝0(i)-0.5|+0.1

其中，S^t＝0(i)表示初始显著图中超像素r_i的显著度；

以NDC更新得到S_D为例，具体步骤如下：

S^t＝0＝NDC

whilet<T:

S^t+1＝CS^t+(I-C)F^*S^t

t＝t+1

S_D＝S^t

其中，T表示总的迭代次数，由用户设定。

进一步地，步骤11中的结合深度先验的融合算法为具体方法如下：

分别对显著图S_D和S_B进行OTSU阈值分割，将两者转换成二值图；分别统计两个二值图中取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m；在S_D和S_B选取显著度最高的m个区域作为对应的前景区域，组成集合V_D和V_B；

在这两个前景集合V_D和V_B的基础上，得到融合前景集合R_fg；若V_D和V_B对应区域的重叠率大于阈值K(取值范围[0.6,0.8]，由用户设定)，融合前景集合R_fg为两个集合的并集；若V_D和V_B对应区域的重叠率小于阈值K，融合前景集合R_fg为两者中平均深度较小的那个区域集合；

即：

$R_{fg}=\left\{\begin{array}{cc}{V}_D\&cup;V_B,& max\left(\right|V_D\&cap;V_B|/|V_D|,|V_D\&cap;V_B|/|V_B\left|\right)>K\\ V_D,& d\left(V_D\right)<d\left(V_B\right)\\ V_B,& d\left(V_B\right)<d\left(V_D\right)\end{array}\right.$

设置元胞自动机的更新初始值为S^t＝0＝S_B·S_D。一致性矩阵C＝diag{c₁,c₂,...,c_n}的元素取值方式为下：

$c_i=\left\{\begin{array}{cc}1.6\&times;|S_B\left(i\right)\&CenterDot;S_D\left(i\right)-0.5|+0.1,& v_i\&Element;R_{fg}\\ 0.1,& v_i\&NotElement;R_{fg}\end{array}\right.$

进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。

为了对本发明的效果进行客观数据指标评价，我们与现有的图像显著性检测方法进行了对比实验，并选用精确率，召回率和F-Measure三个量化评判标准对不同方法的实验结果进行比较分析，如图2所示。精确率定义为被正确检测到的显著性像素点数目与检测到的显著性像素点数目之比；召回率定义为被正确检测到的显著性像素点数目与真正的显著性像素点数目之比。一般而言，精确率和召回率通常是矛盾的，因此采用F-Measure指标综合反映显著性检测的量化结果，F-Measure的定义如下式：

本发明实施例中取值：ρ²＝0.3。

由图2可以得出，与现有的显著性方法CRC(Global contrast based salientregion detection)、RBG(Saliency optimization from robust backgrounddetection)、ACSD:(Depth saliency based on anisotropic center-surrounddifference)、LMH(Rgbd salient object detection:a benchmark and Algorithms)、SFP(Salient object detection in RGB-D image based on saliency fusion andpropagation)、DOP(Exploiting global priors for RGB-D saliency detection)进行比较，采用本发明图像显著性检测方法(HG)的表现结果更好，能更加完整和准确的从背景中提取显著物体。

Claims (3)

1.一种基于超图模型的RGBD图像显著性检测方法，其特征是，包括如下步骤：

(1)输入待检测彩色图像RGB及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；

(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，采用SLIC算法实现图像的超像素分割，将图像分割成多块区域的集合其中r_i表示分割得到的第i个区域，n表示区域总数目，表示整数集合；

(3)对步骤2得到的图像超像素分割结果的每个区域r_i(i＝1～n)提取特征f_i＝[L_i,a_i,b_i,μd_i]，其中L_i为区域r_i内所有像素L通道的均值，a_i为区域r_i内所有像素a通道的均值，b_i为区域r_i内所有像素b通道的均值，d_i为深度图中区域r_i的深度均值,μ用于调整颜色信息和深度信息的权重；

(4)对步骤2得到的区域集合中的每一个超像素r，计算其邻域深度对比值NDC(r)，得到邻域深度对比图：

$NDC\left(r_i\right)=\frac{1}{1+\exp (-\underset{j\&Element;NB\left(i\right)}{\&Sigma;}(d_j-d_i)/{\mathrm{\&mu;}}_d)}---\left(1\right)$

其中exp(·)表示指数函数，d_i表示超像素区域r_i的平均深度值，NB(i)表示超像素区域r_i的邻域，μ_d设置为图像的平均深度；

(5)将步骤2得到的超像素区域视作超图模型中的顶点v，相邻超像素区域之间的联系视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域v_i的邻域深度对比值低于设定的阈值θ时，将v_i加入到深度背景超边e_d中,其中阈值θ取值范围为[0,0.5]，由用户设定：

H(v_i,e_d)＝1 s.t. NDC(v_i)<θ (2)

(6)计算步骤5得到的深度背景超边e_d的权重ω(e_d)：

$\mathrm{\&omega;}\left(e_d\right)=\underset{v_i\&Element;V}{\&Sigma;}H(v_i,e_d)\underset{v_j\&Element;N\left(v_i\right)}{min}{d}_{rgbd}(i,j)---\left(3\right)$

其中，d_rgbd(i,j)表示v_i和v_j对应的超像素区域特征的欧氏距离：

d_rgbd(i,j)＝||f_i-f_j||₂ (4)

(7)对步骤5得到的深度背景超边进行展开得到诱导图,超边中任意两个超像素区域r_i和r_j在诱导图中都彼此相连，诱导图的邻接矩阵A_IG为：

$\underset{v_i,v_j\&Element;e,e\&Element;Eor{v}_i\&Element;NB\left(v_j\right)}{A_{IG}\left(i,j\right)}=1---\left(5\right)$

连接区域r_i和区域r_j的边的权重为：

$d_{rgbd}^{*}(i,j)={\mathrm{\&Sigma;}}_{e\&Element;E,v_i,v_j\&Element;e}w\left(e\right)/\mathrm{deg}\left(e\right)---\left(6\right)$

其中deg(e)为超边e的度，即超边e内包含的顶点数量；

(8)计算任意两个超像素p和q的最短路径代价d_geo(p,q)为：

$d_{geo}(p,q)=\underset{p_1=p,p_2,...p_k=q}{min}\underset{i=1}{\overset{k-1}{\&Sigma;}}{d}_{rgbd}^{*}(p_i,p_{i+1}),A_{IG}(i,i+1)=1---\left(7\right)$

其中k为最短路径经过的顶点的数量。

(9)对每一个超像素r，计算其边界连通性值BndCon(r)，得到边界背景显著图：

$BndCon\left(r\right)=\frac{{\mathrm{Len}}_{bnd}\left(r\right)}{\sqrt{Area\left(r\right)}}---\left(8\right)$

其中

${\mathrm{Len}}_{bnd}\left(r\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\exp (-\frac{d_{geo}^2(r_i,r_{i+1})}{2{\mathrm{\&sigma;}}_{clr}^2})\&CenterDot;\mathrm{\&delta;}(r_i\&Element;Bnd)---\left(10\right)$

当r_i位于图像的边缘时，δ(r_i∈Bnd)＝1，否则δ(r_i∈Bnd)＝0,参数σ_clr取值范围为[5,15],由用户设定；

(10)将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分别采用基于元胞自动机的更新算法，分别得到更新后的结果S_D和S_B；

(11)采用结合深度先验的融合算法，融合S_D和S_B，得到最终的显著性图像。

2.如权利要求1所述的基于超图模型的RGBD图像显著性检测方法，其特征是，步骤10中的基于元胞自动机的更新算法，其更新规则为：

S^t+1＝CS^t+(I-C)F^*S^t

其中的I为单位矩阵，t表示更新次数，S^t表示经过t次更新后所有超像素的显著度向量。

定义F＝[f_ij]_n×n为影响因子矩阵，其中的元素f_ij为：

$f_{ij}=\left\{\begin{array}{cc}\exp (-\frac{d_{rgbd}(i,j)}{{{\mathrm{\&sigma;}}_f}^2})& A_{IG}(i,j)=1\\ 0& i=jorotherwise\end{array}\right.$

其中，σ_f ²取值由用户设定，可设置为超像素区域特征欧氏距离的方差；

定义对角矩阵D＝diag{d₁,d₂,...,d_n}，其中d_i＝∑_jf_ij。经过行归一化的影响因子矩阵F^*为：

F^*＝D^-1F

一致性矩阵C＝diag{c₁,c₂,...,c_n}为对角矩阵，其中元素的设置方法如下：

c_i＝1.6×|S^t＝0(i)-0.5|+0.1

其中，S^t＝0(i)表示初始显著图中超像素r_i的显著度。

3.如权利要求2所述的基于超图模型的RGBD图像显著性检测方法，其特征是，步骤11中的结合深度先验的融合算法具体方法如下：

分别对显著图S_D和S_B进行OTSU阈值分割，将两者转换成二值图；分别统计两个二值图中取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m；在S_D和S_B选取显著度最高的m个区域作为对应的前景区域，组成集合V_D和V_B；

在这两个前景集合V_D和V_B的基础上，得到融合前景集合R_fg；若V_D和V_B对应区域的重叠率大于阈值K，融合前景集合R_fg为两个集合的并集；若V_D和V_B对应区域的重叠率小于阈值K，融合前景集合R_fg为两者中平均深度较小的那个区域集合；

即：

$R_{fg}=\left\{\begin{array}{cc}{V}_D\&cup;V_B,& max\left(\right|V_D\&cap;V_B|/|V_D|,|V_D\&cap;V_B|/|V_B\left|\right)>K\\ V_D,& d\left(V_D\right)<d\left(V_B\right)\\ V_B,& d\left(V_B\right)<d\left(V_D\right)\end{array}\right.$

设置元胞自动机的更新初始值为S^t＝0＝S_B·S_D。一致性矩阵C＝diag{c₁,c₂,...,c_n}的元素取值方式为下：

$c_i=\left\{\begin{array}{cc}1.6\&times;|S_B\left(i\right)\&CenterDot;S_D\left(i\right)-0.5|+0.1,& v_i\&Element;R_{\mathrm{fg}}\\ 0.1& v_i\&NotElement;R_{\mathrm{fg}}\end{array}\right.$

进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。