CN104463890A - 一种立体图像显著性区域检测方法 - Google Patents

Abstract

本发明公开了一种立体图像显著性区域检测方法，包括：步骤1)对立体图像的左眼视图和右眼视图求出各像素点的流信息；步骤2)对流信息进行匹配，得到视差图；步骤3)选取左眼视图和右眼视图其中之一，分出T个不重叠的正方形图像块；步骤4)计算视差图上每个图像块的视差影响度；步骤5)计算所选取的左眼视图和右眼视图其中之一上每个图像块的中央偏置特征和空域不相似度，并视差影响度三者相乘，得到该图像块的显著值；步骤6)由图像块的显著值获得立体图像的显著灰度图。本发明提出一种基于视差影响度和空间不相似度的立体显著性提取方法，利用视差来获取深度信息，结合视觉中央偏置特征和空域不相似度来实现更精确地立体显著性区域检测。

Description

一种立体图像显著性区域检测方法

技术领域

本发明涉及一种立体图像显著性区域检测方法。更具体地说，本发明涉及一种基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法。

背景技术

视觉显著性由于其能够模拟人类视觉注意机制的特征而受到了研究领域的广泛关注，它已经成为神经系统科学、机器人学、计算机视觉等领域需要研究的课题。显著性区域的识别能够应用到目标识别，图像重定位，视觉追踪技术，图像分割，还能够用于分析人类视点的选取。目前，针对显著性提取的方法多面向单幅二维图像。随着信息科技技术地发展，更多的立体图像出现在人们的生活当中，这也为显著性提取技术提出了新的挑战。人们需要对立体图像的显著性重新进行分析和采样，在二维图像显著性研究的基础之上，引入新的因素和特征，综合估计立体显著性。

C.Lang在2012年中提供了深度特征提取的理论依据和方法，首先通过大量的对2D图像和3D图像的视点追踪实验得出四项结论：(1)深度特征会将视觉显著性调制到更远的深度范围，但是人类视觉依然更倾向于注意深度值较低的场景；(2)大量视点落在少量兴趣物上，在这一特点上，2D和3D都是一样的；(3)深度特征和显著性之间呈现非线性变化；(4)随着深度信息的增加，会导致2D和3D间视点分布变化程度的增加，特别是那种不同深度范围内都有显著刺激物的图像。这四项结论为深度特征提取在显著物目标检测的应用上提供了重要的理论依据，证明了深度特征的存在会大幅度影响视觉显著性在图像上的大小和分布。该文献在得出这四项结论之后，又通过高斯拟合分解深度概率密度函数，提取深度特征，并和2D显著性算法结合得出针对立体图像的显著性算法。K.Desingh在2013年对C.Lang的工作进一步优化和扩充，在实验中加入了对高景深背景模糊图像和中央偏置的测试，利用M.M.Cheng基于全局对比度的思想和点云分割技术提取深度特征，结合二维显著性算法得到三维图像显著性算法。Niu在2012年提出了两个方法，一个是基于全局视差估计对比的方法(CSS)，一个是基于立体视觉规则的方法(KSS)，并在文献中将两个方法进行了结合来提取立体图像显著性。但是，他们对显著性区域检测的精度还不够高。

发明内容

本发明的一个目的是解决立体图像显著性区域检测的精度不高的缺陷，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种立体图像显著性区域检测方法，该方法是基于视差影响度和空间不相似度进行的，通过本发明提出的立体图像显著性区域检测方法可显著的提高立体图像显著性区域检测的精确度。

为了实现根据本发明的这些目的和其它优点，提供了一种立体图像显著性区域检测方法，其为基于视差影响度和空间不相似度进行的，包括以下步骤：

步骤1)分别对立体图像的左眼视图和右眼视图利用Sift Flow算法求出各像素点的流信息；

步骤2)将左眼视图和右眼视图上的流信息进行匹配，得到两个图像的内容上相对应的像素点之间的位置偏移值，将其作为视差值，由此得到视差图；

步骤3)选取左眼视图和右眼视图其中之一，从中分出T个不重叠的正方形图像块，每个图像块中包含K²个像素；

步骤4)将步骤3)中的分块方式对应地移植到视差图上，计算视差图上每个图像块的视差影响度值；

步骤5)计算所选取的左眼视图和右眼视图其中之一上每个图像块的中央偏置特征值和空域不相似度值，并将这两者与步骤4)中的视差影响度三者相乘，得到该图像块的显著值；

步骤6)用图像块的显著值取代将该图像块中的每个像素点的显著值，将所有像素点的显著值进行归一化处理，就得到了立体图像的显著灰度图。

优选的是，所述的立体图像显著性区域检测方法，得到视差图的方法为：将视差值以灰度值形式展现在图像上，其中，灰度值的取值范围为[0～255]，且所述视差值的大小与所述灰度值的大小正相关。

优选的是，所述的立体图像显著性区域检测方法，其中，还包括以下步骤：

步骤7)对显著灰度图进行二层过滤，得到立体图像的显著区域。

优选的是，所述的立体图像显著性区域检测方法，其中，所述步骤4)中计算视差影响度的方法如下：

①计算视差影响度的公式如下：

$S_d=\left(p_i\right)=\underset{p_k\≠p_i}{\overset{T}{\mathrm{\Σ}}}{D}_r(p_i,p_k)$

S_d表示求图像块p_i的视差影响度，其中：每一个图像块标记为p_n，n＝1，2，3，.....T，(i，k)∈n；其中：

②D_r(p_i，p_k)表示两个不同的图像块p_i和p_k之间的区域距离，第一图像块和第二图像块之间的区域距离的定义如下：

$D_r(p_1,p_2)=\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_2}{\mathrm{\Σ}}}\left(c_{1,i}\right)f\left(c_{2,j}\right)D(p_1,p_2)$

f(x)表示计算灰度概率密度的函数，c_n，h表示图像块p_n的第h个像素的灰度值，(i，j)∈h，n₁、n₂分别表示图像块p₁和p₂中的像素点的个数；

其余图像块之间的区域距离算法与上述算法相同；其中：

③D(p₁，p₂)表示相对矢量距离，第一图像块和第二图像块之间的相对矢量距离的定义如下：

$D(p_1,p_2)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_{1,i}-x_{2,i})$

x_k，i指图像块p_k中的第i个像素在视差图中的灰度值，n为块像素数；

其余图像块之间的相对矢量距离算法与上述算法相同。

优选的是，所述的立体图像显著性区域检测方法，其中，所述步骤5)中计算中央偏置特征值的方法如下：

ω₁(p₁)＝1-DTC(p₁)/D_max

ω₁(x)表示计算中央偏置特征值的函数，p₁为第一图像块，DTC为第一图像块p₁到所选取左眼视图和右眼视图其中之一的中央的欧式距离，D_max为该图像中任意像素距该图像中央的最大距离；

其余图像块中央偏置特征值算法与上述算法相同。

优选的是，所述的立体图像显著性区域检测方法，其中，所述步骤5)中计算空域不相似度值的方法如下：

将每一个图像块的三通道像素值组成一个列向量f，形成像素矩阵X＝[f₁，f₂，f₃，.....，f_T]^T，每一列像素值减去该列像素的平均值，然后构造协方差矩阵G＝X^TX/T²，这时G为T*T的矩阵，计算G的特征值和特征向量，保留前d个最大的特征向量，d的取值为0.6*T，至此图像块在降维空间中的表示方式为U＝[X₁，X₂，.....，X_d]^T，X_i是特征向量，U是一个d*L的矩阵，针对块p₁和块p_k间的空域不相似度计算方法如下：

$\mathrm{dissimilarity}(p_1,p_k)=\underset{s=1}{\overset{d}{\mathrm{\Σ}}}|x_{s1}-x_{\mathrm{sk}}|$

优选的是，所述的立体图像显著性区域检测方法，其中，所述步骤5)中三者相乘的方法为：

$\mathrm{Sal}\left(p_i\right)={\mathrm{\ω}}_1\left(p_i\right)S_d\left(p_i\right)\underset{p_i\≠p_k}{\overset{T}{\mathrm{\Σ}}}\mathrm{dissimilarity}(p_i,p_k)$

其中，Sal(P_i)代表P_i图像块的显著值。

优选的是，所述的立体图像显著性区域检测方法，其中，所述步骤7)中，去除计算得到视差影响度为负值的图像块，再将显著值排名最高的前5％的像素点作为显著性候选区域，并对原图像进行过分割处理，让显著性候选区域向过分割后的原图块进行收敛，收敛规则为：若原图像一个过分割块上所有像素均为显著区域上的显著像素点，则保留该块，否则删去。

本发明至少包括以下有益效果：

1、本发明利用视差来获取深度信息，并利用视差影响度的概念作为权值来提取立体显著性，提出了一种面向左眼视图和右眼视图形式的立体图像显著性提取的新思路；

2、本发明通过结合视差影响度，中央偏置因素，空域不相似度这三项特征，实现了更为精确地显著性提取和显著性区域检测。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的一个实施例中立体图像显著性区域检测方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明所涉及的输入立体图像数据库来源于Niu在2012年建立的，源图库是1000副左右视图形式的立体图像对，但是我们发现Niu认为图像可用的原则是--用三个人来识别目标，如果这三个人识别的均一致则认为该图像可用，并将识别出的目标得到GroundTruth。而我们认为仅用了3个人来做目标物识别的实验是不够的，样本量太少导致随机性增大，因此本发明将这1000副立体图像再次进行筛选，仅保留下前景是单一目标的图像，从图像库中去掉那些多目标的图像，以使显著目标的识别更加准确。最终我们筛掉了其中300副图像，保留了700副图像，依旧是足够大的数据集。

图1示出了立体图像显著性区域检测方法的步骤。其中包括：

步骤1)分别对立体图像的左眼视图和右眼视图利用Sift Flow算法求出各像素点的流信息；

步骤2)将左眼视图和右眼视图上的流信息进行匹配，得到两个图像的内容上相对应的像素点之间的位置偏移值，将其作为视差值，由此得到视差图；深度信息的提取可使用深度提取设备去拍摄场景深度，由人类视差的生成原理可知视差的大小与深度的大小呈反比关系，在视差图上灰度值越大视差越大，因此只需要有一个基于左眼视图和右眼视图的立体图像的输入，对其进行视差信息的提取，即可达到提取深度信息的目的。

步骤3)选取左眼视图和右眼视图其中之一，从中分出T个不重叠的正方形图像块，每个图像块中包含K²个像素；例如选取M*N的左眼视图，可将左眼视图分成T个不重叠的正方形图像块，并且每个正方形图像块在横向方向上包括K个像素，纵向方向上包括K个像素，总块数T＝M*N/K²，并把每一个块标记为p_i，i＝1，2，3，.....T。其中M，N，K的值由用户设定。

步骤4)将步骤3)中的分块方式对应地移植到视差图上，计算视差图上每个图像块的视差影响度值；

步骤5)计算所选取的左眼视图和右眼视图其中之一上每个图像块的中央偏置特征值和空域不相似度值，并将这两者与步骤4)中的视差影响度三者相乘，得到该图像块的显著值；中央偏置在生理特征上解释为注视中央的神经元更容易受到激发，它能够帮助我们更好地模拟人类视觉特征，因此所述方法中引入中央偏置因素。

步骤6)用图像块的显著值取代将该图像块中的每个像素点的显著值，将所有像素点的显著值进行归一化处理，就得到了立体图像的显著灰度图。

在另一个实例中，得到视差图的方法为：将视差值以灰度值形式展现在图像上，其中，灰度值的取值范围为[0～255]，且所述视差值的大小与所述灰度值的大小正相关。视差的大小与深度的大小呈反比关系，在视差图上灰度值越大视差越大，因此只需要有一个基于左眼视图和右眼视图的立体图像的输入，对其进行视差信息的提取，即可达到提取深度信息的目的。并且，这种方式只是一种较佳实例的说明，但并不局限于此。

上述方案中的基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法的一种实现方式为：还包括以下步骤：

步骤7)对显著灰度图进行二层过滤，得到立体图像的显著区域。

上述方案中的基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法的一种实现方式为：所述步骤4)中计算视差影响度的方法如下：

①计算视差影响度的公式如下：

$S_d\left(p_i\right)=\underset{p_k\≠p_i}{\overset{T}{\mathrm{\Σ}}}{D}_r(p_i,p_k)$

S_d表示求图像块p_i的视差影响度，其中：每一个图像块标记为p_n，n＝1，2，3，.....T，(i，k)∈n；其中：

②D_r(p_i，p_k)表示两个不同的图像块p_i和p_k之间的区域距离，第一图像块和第二图像块之间的区域距离的定义如下：

$D_r(p_1,p_2)=\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_2}{\mathrm{\Σ}}}\left(c_{1,i}\right)f\left(c_{2,j}\right)D(p_1,p_2)$

f(x)表示计算灰度概率密度的函数，c_n，h表示图像块p_n的第h个像素的灰度值，(i，j)∈h，n₁、n₂分别表示图像块p₁和p₂中的像素点的个数；在这里我们认为，像素灰度频率越高、相对矢量灰度距离越大的块，显著值越大。

其余图像块之间的区域距离算法与上述算法相同；其中：

③D(p₁，p₂)表示相对矢量距离，第一图像块和第二图像块之间的相对矢量距离的定义如下：

$D(p_1,p_2)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_{1,i}-x_{2,i})$

x_k，i指图像块p_k中的第i个像素在视差图中的灰度值，n为块像素数；

其余图像块之间的相对矢量距离算法与上述算法相同。在这里，相对矢量距离的计算没有包括绝对值计算，因为距离为负值的像素很可能是背景区域，这样这些像素对应块的视差影响度能够得到很好的平衡，能够更精确地提取前景目标物信息。

上述方案中的基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法的一种实现方式为：所述步骤5)中计算中央偏置特征值的方法如下：

ω₁(p₁)＝1-DTC(p₁)/D_max

ω₁(x)表示计算中央偏置特征值的函数，p₁为第一图像块，DTC为第一图像块p₁到所选取左眼视图和右眼视图其中之一的中央的欧式距离，D_max为该图像中任意像素距该图像中央的最大距离；

其余图像块中央偏置特征值算法与上述算法相同。

上述方案中的基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法的一种实现方式为：所述步骤5)中计算空域不相似度值的方法如下：

利用类PCA降维空间方法求出块间的不相似度。具体过程为：将每一个图像块的三通道像素值组成一个列向量f，形成像素矩阵X＝[f₁，f₂，f₃，.....，f_T]^T，每一列像素值减去该列像素的平均值，然后构造协方差矩阵G＝X^TX/T²，这时G为T*T的矩阵，计算G的特征值和特征向量，保留前d个最大的特征向量，d的取值为0.6*T，至此图像块在降维空间中的表示方式为U＝[X₁，X₂，.....，X_d]^T，X_i是特征向量，U是一个d*L的矩阵，针对块p₁和块p_k间的空域不相似度计算方法如下：

$\mathrm{dissimilarity}(p_1,p_k)=\underset{s=1}{\overset{d}{\mathrm{\Σ}}}|x_{s1}-x_{\mathrm{sk}}|$

在另一个实例中，所述步骤5)中三者相乘的方法为：

$\mathrm{Sal}\left(p_i\right)={\mathrm{\ω}}_1\left(p_i\right)S_d\left(p_i\right)\underset{p_i\≠p_k}{\overset{T}{\mathrm{\Σ}}}\mathrm{dissimilarity}(p_i,p_k)$

其中，Sal(P_i)代表P_i图像块的显著值。其余图像块的显著值算法与上述算法相同。根据上述算法计算出左眼视图和右眼视图其中之一分成的T个不重叠像素块的显著值。

上述方案中的基于视差影响度和空间不相似度进行的立体图像显著性区域检测方法的一种实现方式为：所述步骤7)中，去除计算得到视差影响度为负值的图像块，再将显著值排名最高的前5％的像素点作为显著性候选区域，并对原图像进行过分割处理，让显著性候选区域向过分割后的原图块进行收敛，收敛规则为：若原图像一个过分割块上所有像素均为显著区域上的显著像素点，则保留该块，否则删去。背景因素很可能因为视差影响度的计算而呈现为负值，我们要将其删去，以免影响显著图显示效果和后续计算。经过两层过滤得到了最后的显著性区域。

如上所述，根据本发明，由于联合了视差影响度，中央偏置和空间不相似度等特征来预估显著性值，因此明显提高了显著性区域的准确度。

本发明的立体图像显著性区域检测方法与其他方法的比较结果如表1所示，分别同M.M.Cheng，在2012年提出的HC算法、RC算法、X.Hou在2007年提出的H算法、C.Wu在2011年提出的W算法、S.Goferman在2010年提出的G算法以及Margolin在2013年提出的M算法进行F-measure值对比。从对比结果看，本发明的F-measure值大于其他方法的F-measure值，这说明本发明的方法在显著性区域检测的准确度上均高于其他方法。

表1立体显著性区域检测方法和其它方法的F-measure对比表

方法	Our	Hou	Gofeman	Wu	Margolin	Cheng-HC	Cheng-RC
								F-measure	0.5144	0.3648	0.3947	0.4541	0.4360	0.3768	0.4401

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种立体图像显著性区域检测方法，其为基于视差影响度和空间不相似度进行的，包括以下步骤：

步骤1)分别对立体图像的左眼视图和右眼视图利用Sift Flow算法求出各像素点的流信息；

步骤2)将左眼视图和右眼视图上的流信息进行匹配，得到两个图像的内容上相对应的像素点之间的位置偏移值，将其作为视差值，由此得到视差图；

步骤3)选取左眼视图和右眼视图其中之一，从中分出T个不重叠的正方形图像块，每个图像块中包含K²个像素；

步骤4)将步骤3)中的分块方式对应地移植到视差图上，计算视差图上每个图像块的视差影响度值；

步骤5)计算所选取的左眼视图和右眼视图其中之一上每个图像块的中央偏置特征值和空域不相似度值，并将这两者与步骤4)中的视差影响度三者相乘，得到该图像块的显著值；

步骤6)用图像块的显著值取代将该图像块中的每个像素点的显著值，将所有像素点的显著值进行归一化处理，就得到了立体图像的显著灰度图。

2.如权利要求1所述的立体图像显著性区域检测方法，其特征在于，得到视差图的方法为：将视差值以灰度值形式展现在图像上，其中，灰度值的取值范围为[0～255]，且所述视差值的大小与所述灰度值的大小正相关。

3.如权利要求2所述的立体图像显著性区域检测方法，其中，还包括以下步骤：

步骤7)对显著灰度图进行二层过滤，得到立体图像的显著区域。

4.如权利要求2所述的立体图像显著性区域检测方法，其中，所述步骤4)中计算视差影响度的方法如下：

①计算视差影响度的公式如下：

$S_d\left(p_i\right)=\underset{p_k\≠p_i}{\overset{T}{\mathrm{\Σ}}}{D}_r(p_i,p_k)$

S_d表示求图像块p_i的视差影响度，其中：每一个图像块标记为p_n，n＝1，2，3，.....T，(i，k)∈n；其中：

②D_r(p_i，p_k)表示两个不同的图像块p_i和p_k之间的区域距离，第一图像块和第二图像块之间的区域距离的定义如下：

$D_r(p_1,p_2)=\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_2}{\mathrm{\Σ}}}f\left(c_{1,i}\right)f\left(c_{2,j}\right)D(p_1,p_2)$

f(x)表示计算灰度概率密度的函数，c_n，h表示图像块p_n的第h个像素的灰度值，(i，j)∈h，n₁、n₂分别表示图像块p₁和p₂中的像素点的个数；

其余图像块之间的区域距离算法与上述算法相同；其中：

③D(p₁，p₂)表示相对矢量距离，第一图像块和第二图像块之间的相对矢量距离的定义如下：

$D(p_1,p_2)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_{1,i}-x_{2,i})$

x_k，i指图像块p_k中的第i个像素在视差图中的灰度值，n为块像素数；

其余图像块之间的相对矢量距离算法与上述算法相同。

5.如权利要求4所述的立体图像显著性区域检测方法，其中，所述步骤5)中计算中央偏置特征值的方法如下：

ω₁(p₁)＝1-DTC(p₁)/D_max

ω₁(x)表示计算中央偏置特征值的函数，p₁为第一图像块，DTC为第一图像块p₁到所选取左眼视图和右眼视图其中之一的中央的欧式距离，D_max为该图像中任意像素距该图像中央的最大距离；

其余图像块中央偏置特征值算法与上述算法相同。

6.如权利要求5所述的立体图像显著性区域检测方法，其中，所述步骤5)中计算空域不相似度值的方法如下：

将每一个图像块的三通道像素值组成一个列向量f，形成像素矩阵X＝[f₁，f₂f₃，.....，f_T]^T，每一列像素值减去该列像素的平均值，然后构造协方差矩阵G＝X^TX/T²，这时G为T*T的矩阵，计算G的特征值和特征向量，保留前d个最大的特征向量，d的取值为0.6*T，至此图像块在降维空间中的表示方式为U＝[X₁，X₂，.....，X_d]^T，X_i是特征向量，U是一个d*L的矩阵，针对块p₁和块p_k间的空域不相似度计算方法如下：

$\mathrm{dissimilarity}(p_1,p_k)=\underset{s=1}{\overset{d}{\mathrm{\Σ}}}|x_{s1}-x_{\mathrm{sk}}|$

7.如权利要求6所述的立体图像显著性区域检测方法，其中，所述步骤5)中三者相乘的方法为：

$\mathrm{Sal}\left(p_i\right)={\mathrm{\ω}}_1\left(p_i\right)S_d\left(p_i\right)\underset{p_i\≠p_k}{\overset{T}{\mathrm{\Σ}}}\mathrm{dissimilarity}(p_i,p_k)$

其中，Sal(P_i)代表P_i图像块的显著值。

8.如权利要求7所述的立体图像显著性区域检测方法，其中，所述步骤7)中，去除计算得到视差影响度为负值的图像块，再将显著值排名最高的前5％的像素点作为显著性候选区域，并对原图像进行过分割处理，让显著性候选区域向过分割后的原图块进行收敛，收敛规则为：若原图像一个过分割块上所有像素均为显著区域上的显著像素点，则保留该块，否则删去。