CN106373162A - 一种基于显著性融合与传播的显著物体检测方法 - Google Patents

Abstract

一种基于显著性融合与传播的显著物体检测方法，针对RGB‑D图像，首先分别利用图像的颜色特征和空间特征进行显著物体检测，然后通过融合二者的结果得到一个高准确率的显著性图，最后通过一种基于块的显著性传播方法来扩大显著区域和提高显著物体的完整性。本发明充分发掘了RGB‑D图像的彩色通道和深度通道，利用颜色特征和空间特征进行显著性检测，并采用融合‑传播策略提高检测结果的准确率和召回率，能够应对在RGB‑D图像中检测显著物体的任务，并能够取得比现有方法更优秀的效果。

Description

一种基于显著性融合与传播的显著物体检测方法

技术领域

本发明属于计算机视觉领域，涉及到针对RGB-D图像的显著物体检测方法，具体为一种基于显著性融合与显著性传播的显著物体检测方法。

背景技术

在计算机视觉领域，显著性检测是一项非常重要的研究内容，利用显著性检测技术，计算机能够自动识别图像中的显著区域。许多基于内容的图像处理应用都以显著性检测的结果为基础，例如图像分类、基于内容的图像缩放等。

显著性检测的方法可以分为两个类别：注视点预测和显著物体检测。注视点预测侧重于研究和模拟人类视觉系统的视觉注意机制，它的检测结果表现为稀疏的点状区域；显著物体检测则倾向于指出完整的显著物体，它的检测结果表现为平整的区域。本发明所涉及的方法属于显著物体检测方法。

研究显著物体检测方法的关键问题在于选择图像的何种特征，以及如何利用所选择的特征。近年来，显著物体检测方法的研究取得了较大的进展，许多研究者提出了效果优秀的显著物体检测方法，这些方法往往利用了图像的颜色特征和位置特征。

随着RGB-D图像的出现和广泛应用，针对RGB-D图像的显著物体检测方法也有了很大的应用价值，然而将传统的显著物体检测方法直接应用于RGB-D图像并不能充分利用RGB-D图像所提供的信息，因此有必要提出针对RGB-D图像的显著物体检测方法。

现有的针对RGB-D图像的显著物体检测方法往往分别对彩色通道和深度通道进行显著性检测，然后通过相乘、取最大值等方法对结果进行融合，并不做进一步处理。这种融合后不作处理的简单处理方式，容易造成显著区域过大或者过小。例如，采用相乘方法融合时，只有彩色通道和深度通道上都显著的区域才会被检测出，会造成显著区域过小；而采用取最大值方法融合时，只要彩色通道或深度通道上显著的区域就会被检测出，会造成显著区域过大。因此，它们的效果依然有改进的空间。

发明内容

本发明要解决的问题是：传统的针对彩色图像的显著物体检测方法不足以应对在RGB-D图像中检测显著物体的任务，因为它们无法利用深度图像所提供的信息；现有的针对RGB-D图像的显著物体检测算法分别利用彩色通道和深度通道的信息，然后对结果 进行简单的融合，但没有对融合的结果进行改善。

本发明的技术方案为：一种基于显著性融合与传播的显著物体检测方法，用于在RGB-D图像上，分别利用颜色特征与空间特征进行显著物体检测，然后进行显著性融合与传播，最终获得显著物体检测结果，包括以下步骤：

1)输入RGB-D图像中的彩色通道，采用针对彩色图像的显著物体检测方法，进行基于颜色特征的显著性检测；

2)输入RGB-D图像中的深度通道，在对图像分块的基础上，进行基于空间特征的显著物体检测；

3)将1)和2)中的结果相乘，进行显著性融合，得到融合后的显著性图；

4)对融合后的显著性图进行基于块的显著性传播，传播权重由块与块之间的颜色相似性和空间距离共同决定，具体为：

4.1)将RGB-D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度；

4.2)对于RGB-D图像中的任意两个块p_m,m，m＝1,2,…,M,n＝1,2,…,N，和p_i,j，i＝1,2,…,M,j＝1,2,…,N，根据它们之间的颜色距离定义两个块的颜色相似性传播权重：

${\mathrm{\ω}}_c(p_{m,n},p_{i,j})=e^{-\frac{\left|\right|c_{m,n}-c_{i,j}|{|}_2}{\mathrm{\δ}}}$

其中，c_m,m和c_i,j分别表示p_m,n和p_i,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数，δ的值越大，块之间根据颜色相似性进行传播的范围就越大；

4.3)对于块p_m,n和p_i,j，根据它们在三维空间中的距离定义两个块的空间距离传播权重：

${\mathrm{\ω}}_s(p_{m,n},p_{i,j})=e^{-\frac{{(m^{\′}-i^{\′})}^2+{(n^{\′}-j^{\′})}^2}{{\mathrm{\σ}}^2}}\·e^{-\frac{\mathrm{\α}{(d_{m,n}-d_{i,j})}^2}{{\mathrm{\σ}}^2}}$

其中，(m′,n′)和(i′,j′)分别表示p_m,n和p_i,j归一化之后的坐标，d_m,n和d_i,j分别表示p_m,n和p_i,j的平均深度值；参数σ控制显著性值的分布，σ的值越大，块之间根据空间距离进行传播的范围就越大；α单独控制显著性值在深度上的分布，α的值越大，在深度方向上传播的范围就越大；

4.4)综合4.2)和4.3)，块p_m,n和p_i,j之间的显著性传播权重为：

ω(p_m,n,p_i,j)＝ω_c(p_m,n,p_i,j)·ω_s(p_m,n,p_i,j)

所有块与块之间的传播权重构成传播矩阵；

4.5)在步骤3)所得到的融合显著性图中迭代地使用4.4)中的传播矩阵进行块与块之间的显著性传播，直到融合显著性图的变化小于预设的阈值或者传播次数达到预设的阈值为止，得到最终的显著性图。

步骤2)使用一种反映显著物体在三维空间中分布规律的空间偏置模型进行基于空间特征的显著物体检测，具体为：

2.1)将深度通道分为M×N块，并计算出每个块的平均深度；

2.2)对于深度通道中的每一个块p_m,n(m＝1,2,…,M,n＝1,2,…,N)，根据它在成像平面中的位置以及它的平均深度值，利用空间偏置模型计算它的显著性值S_{m ， n}：

$S_{m,n}=\frac{1}{2{\mathrm{\π\θ}}^2}{e}^{-\frac{{(m^{\′}-1)}^2+{(n^{\′}-1)}^2}{2{\mathrm{\θ}}^2}}\·e^{-\frac{\mathrm{\β}{(1-d_{m,n})}^2}{2{\mathrm{\θ}}^2}}$

其中，和表示p_m,n归一化之后的坐标；d_m,n是p_m,n对应的平均深度值，d_m,n的值被归一化到[0,1]，1表示最近；参数θ控制显著性值的分布，β单独控制显著性值在深度上的分布。

步骤3)使用逐像素相乘的方法对步骤1)和步骤2)所生成的显著性图进行融合。

本发明与现有技术相比有如下优点：充分利用了RGB-D图像的彩色通道和深度通道；对分别基于颜色特征和空间特征所获得的显著性图进行融合时，采用逐像素相乘的融合方法来获得在不同通道上都显著的、较小的显著区域，以提高检测结果的准确率；在此基础上，采用显著性传播的方法来扩展显著区域，将与高准确率的显著区域在颜色上较为相似且空间距离上较为相近的区域纳入显著物体，以提高显著物体的完整性，使得检测结果在高准确率的情况下拥有较高的召回率。图3展示了现有技术的显著性简单融合后不作处理的检测结果和本发明的显著性融合与传播的检测结果的比较示例，图中五列分别为(a)RGB-D图像的RGB通道，(b)RGB-D图像的深度通道，(c)人工标注的显著物体，(d)显著性融合的检测结果，(e)显著性融合-传播的检测结果，明显可见本发明检测结果具有更精确的检测结果。

附图说明

图1为本发明的实施流程。

图2为本发明的显著性传播的实施流程。

图3为本发明的检测结果示例。

图4为本发明与现有代表性方法在NJU400数据集上的比较结果，(a)为PR曲线，(b)为ROC曲线。

图5为本发明与现有代表性方法在RGBD Benchmark数据集上的比较结果，(a)为PR曲线，(b)为ROC曲线。

具体实施方式

本发明针对RGB-D图像提出了一种基于显著性融合与传播的显著物体检测方法，如图1所示，包括以下步骤：

1)输入RGB-D图像中的彩色通道，直接采用现有的针对彩色图像的显著物体检测方法生成显著性图，要求该方法在显著物体检测的过程中利用了图像的颜色特征，例如频率调谐(Frequency-tuned，FT)方法(参考文献1)、区域对比度(Region Contrast，RC)方法(参考文献2)等；

2)输入RGB-D图像中的深度通道，将深度图像分为M×N块，并计算出每个块的平均深度。对于图像中的每一个块p_m,n(m＝1,2,…,M,n＝1,2,…,N)，根据它在成像平面中的位置以及它的平均深度值，利用一种空间偏置模型计算它的显著性值：

$S_{m,n}=\frac{1}{2{\mathrm{\π\θ}}^2}{e}^{-\frac{{(m^{\′}-1)}^2+{(n^{\′}-1)}^2}{2{\mathrm{\θ}}^2}}\·e^{-\frac{\mathrm{\β}{(1-d_{m,n})}^2}{2{\mathrm{\θ}}^2}},$

其中，和表示p_m,n归一化之后的坐标；d_m,n是p_m,n对应的深度值，d_m,n的值应该被归一化到[0,1]，1表示最近；参数θ控制显著性值的分布，β单独控制显著性值在深度上的分布。本发明的实施例中使用了θ²＝0.2和β＝4。

3)使用逐像素相乘的方法对步骤1)和步骤2)所生成的显著性图进行融合。

4)将RGB-D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度。对于图像中的任意两个块p_m,n(m＝1,2,…,M,n＝1,2,…,N)和p_i,j(i＝1,2,…,M,j＝1,2,…,N)，根据它们之间的颜色距离定义传播权重：

${\mathrm{\ω}}_c(p_{m,n},p_{i,j})=e^{-\frac{\left|\right|c_{m,n}-c_{i,j}|{|}_2}{\mathrm{\δ}}},$

其中，c_m,n和c_i,j分别表示p_m,n和p_i,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数。本发明的实施例中使用了δ＝0.2。

对于块p_m,n和p_i,j，根据它们在三维空间中的距离定义传播权重：

${\mathrm{\ω}}_s(p_{m,n},p_{i,j})=e^{-\frac{{(m^{\′}-i^{\′})}^2+{(n^{\′}-j^{\′})}^2}{{\mathrm{\σ}}^2}}\·e^{-\frac{\mathrm{\α}{(d_{m,n}-d_{i,j})}^2}{{\mathrm{\σ}}^2}},$

其中，(m′,n′)和(i′,j′)分别表示p_m,n和p_i,j归一化之后的坐标，d_m,n和d_i,j分别表示p_m,n和p_i,j的深度值。参数σ和α与步骤2)中的作用相同，本发明的实施例中使用了σ²＝0.005和α＝0.25。

综合上述基于颜色的传播权重和基于空间距离的传播权重，块p_m,n和p_i,j之间的显著性传播权重为：

ω(p_m,n,p_i,j)＝ω_c(p_m,n,p_i,j)·ω_s(p_m,n,p_i,j)

如图2所示，本发明的显著性传播为：在步骤3)所得到的融合显著性图中迭代地使用该传播矩阵进行块与块之间的显著性传播，直到显著性图的变化小于预设的阈值或传播次数达到预设的阈值为止，得到最终的显著性图，也就是识别出RGB-D图像中的显著区域。本发明的实施例中使用了显著性图的变化阈值为传播次数的阈值为10次。

本发明的实施例在2个面向RGB-D图像显著性检测的公开数据集上与已有5种面向RGB-D图像的代表性显著性检测方法进行了比较。这两个公开数据集分别为NJU400(参考文献3)和RGBD Benchmark(参考文献4)。这5种代表性方法分别为Niu2012(参考文献5)、Fang2013(参考文献6)、Cheng2014(参考文献7)、Peng2014(参考文献8)和Tang2015(参考文献9)。本发明的实施例所采用的评估方法为准确率-召回率(precision-recall，PR)曲线以及受试者工作特征(receiver operating characteristic，ROC)曲线(参考文献10)。

图4为NJU400数据集上的评估曲线；图5为RGBD Benchmark数据集上的评估曲线。从图4可以看出，本发明的实施例在NJU400数据集上的效果明显优于Niu2012、Fang2013、Peng2014以及Tang2015，略优于Cheng2014。从图5可以看出，本发明的实施例在RGBD Benchmark数据集上的效果明显优于Niu2012、Fang2013、Cheng2014以及Tang2015，略优于Peng2014。由此可见，本发明可以取得比现有面向RGB-D图像显著性检测方法更好的效果。

参考文献：

1：Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection.Computer Vision and Pattern Recognition(CVPR),2009IEEE conference on.IEEE,2009:1597-1604

2：Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salient region detection. Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:409-416)

3：Ju R,Ge L,Geng W,et al.Depth saliency based on anisotropic center-surround difference.ICIP.IEEE,2014

4：Peng H,Li B,Xiong W,et al.RGBD salient object detection:a benchmark and algorithms.Computer Vision–ECCV 2014.Springer International Publishing,2014:92-109

5：Niu Y,Geng Y,Li X,et al.Leveraging stereopsis for saliency analysis.Computer Vision and Pattern Recognition(CVPR),2012 IEEE Conference on.IEEE,2012:454-461

6：Fang Y,Wang J,Narwaria M,et al.Saliency detection for stereoscopic images.Visual Communications and Image Processing(VCIP),2013.IEEE,2013:1-6

7：Cheng Y,Fu H,Wei X,et al.Depth Enhanced Saliency Detection Method.Proceedings of International Conference on Internet Multimedia Computing and Service.ACM,2014:23

8：Peng H,Li B,Xiong W,et al.RGBD salient object detection:a benchmark and algorithms.Computer Vision–ECCV 2014.Springer International Publishing,2014:92-109

9：Tang Y,Tong R,Tang M,et al.Depth incorporating with color improves salient object detection.The Visual Computer,2015:1-11

10：Powers D M.Evaluation:from precision,recall and F-measure to ROC,informedness,markedness and correlation.2011 。

Claims (4)

1.一种基于显著性融合与传播的显著物体检测方法，其特征是用于在RGB-D图像上，分别利用颜色特征与空间特征进行显著物体检测，然后进行显著性融合与传播，最终获得显著物体检测结果，包括以下步骤：

1)输入RGB-D图像中的彩色通道，采用针对彩色图像的显著物体检测方法，进行基于颜色特征的显著性检测；

2)输入RGB-D图像中的深度通道，在对图像分块的基础上，进行基于空间特征的显著物体检测；

3)将1)和2)中的结果相乘，进行显著性融合，得到融合后的显著性图；

4)对融合后的显著性图进行基于块的显著性传播，传播权重由块与块之间的颜色相似性和空间距离共同决定，具体为：

4.1)将RGB-D图像分为M×N块，计算出每个块在L*a*b*颜色空间上的平均颜色和每个块的平均深度；

4.2)对于RGB-D图像中的任意两个块p_m,n，m＝1,2,…,M,n＝1,2,…,N，和p_i,j，i＝1,2,…,M,j＝1,2,…,N，根据它们之间的颜色距离定义两个块的颜色相似性传播权重：

${\mathrm{\ω}}_c(p_{m,n},p_{i,j})=e^{-\frac{\left|\right|c_{m,n}-c_{i,j}|{|}_2}{\mathrm{\δ}}}$

其中，c_m,n和c_i,j分别表示p_m,n和p_i,j在L*a*b*颜色空间中的平均颜色，δ是用于调节显著性分布的参数，δ的值越大，块之间根据颜色相似性进行传播的范围就越大；

4.3)对于块p_m,n和p_i,j，根据它们在三维空间中的距离定义两个块的空间距离传播权重：

${\mathrm{\ω}}_s(p_{m,n},p_{i,j})=e^{-\frac{{(m^{\′}-i^{\′})}^2+{(n^{\′}-j^{\′})}^2}{{\mathrm{\σ}}^2}}\·e^{-\frac{\mathrm{\α}{(d_{m,n}-d_{i,j})}^2}{{\mathrm{\σ}}^2}}$

其中，(m′,n′)和(i′,j′)分别表示p_m,n和p_i,j归一化之后的坐标，d_m,n和d_i,j分别表示p_m,n和p_i,j的平均深度值；参数σ控制显著性值的分布，σ的值越大，块之间根据空间距离进行传播的范围就越大；α单独控制显著性值在深度上的分布，α的值越大，在深度方向上传播的范围就越大；

4.4)综合4.2)和4.3)，块p_m,n和p_i,j之间的显著性传播权重为：

ω(p_m,n,p_i,j)＝ω_c(p_m,n,p_i,j)·ω_S(p_m,n,p_i,j)

所有块与块之间的传播权重构成传播矩阵；

4.5)在步骤3)所得到的融合显著性图中迭代地使用4.4)中的传播矩阵进行块与块之间的显著性传播，直到融合显著性图的变化小于预设的阈值或者传播次数达到预设的阈值为止，得到最终的显著性图。

2.根据权利要求1所述的一种基于显著性融合与传播的显著物体检测方法，其特征是步骤1)所述针对彩色通道的显著物体检测方法包括频率调谐方法和区域对比度方法。

3.根据权利要求1所述的一种基于显著性融合与传播的显著物体检测方法，其特征是步骤2)使用一种反映显著物体在三维空间中分布规律的空间偏置模型进行基于空间特征的显著物体检测，具体为：

2.1)将深度通道分为M×N块，并计算出每个块的平均深度；

2.2)对于深度通道中的每一个块p_m,n(m＝1,2,…,M,n＝1,2,…,N)，根据它在成像平面中的位置以及它的平均深度值，利用空间偏置模型计算它的显著性值S_m,n：

$S_{m,n}=\frac{1}{2{\mathrm{\π\θ}}^2}{e}^{-\frac{{(m^{\′}-1)}^2+{(n^{\′}-1)}^2}{2{\mathrm{\θ}}^2}}\·e^{-\frac{\mathrm{\β}{(1-d_{m,n})}^2}{2{\mathrm{\θ}}^2}}$

其中，和表示p_m,n归一化之后的坐标；d_m,n是p_m,n对应的平均深度值，d_m,n的值被归一化到[0,1]，1表示最近；参数θ控制显著性值的分布，β单独控制显著性值在深度上的分布。

4.根据权利要求1所述的一种基于显著性融合与传播的显著物体检测方法，其特征是步骤3)使用逐像素相乘的方法对步骤1)和步骤2)所生成的显著性图进行融合。