CN103903256B - 一种基于相对高度深度线索的深度估计方法 - Google Patents

Abstract

本发明公开了一种基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。

Description

一种基于相对高度深度线索的深度估计方法

技术领域

本发明属于视频图像处理技术领域，更为具体地讲，涉及一种基于相对高度深度线索的深度估计方法。

背景技术

深度估计是2D转3D中的关键技术，而2D转3D技术从二十世纪九十年代开始起步，到现在经过约二十年的发展，已取得了丰硕的成果。

根据2D转3D是否实时转换，所采用的方法也不近相同。现阶段，非实时转换可以应用于数字电视及电影的后期制作，其典型的技术提供商包括In-Three、PassmoreLab、DDD、CRC和Leonis Cinema等。

实时转换适用于电视以及其他移动手持设备，作为真实3D内容的一个有益补充。其典型的技术提供商包括JVC、DDD、HDlogix和CRC等。由于实时处理对于速度要求很高，所以它的深度估计模块一般不采用复杂的图像分割技术。

而根据2D转3D的自动化程度，它可分为四种：全手工、半自动、自动非实时和自动实时转换。它们分为适用于不同场合或者不同的转换阶段。例如终端放映阶段转换的唯一方式为自动实时转换。其中全手工的转换方式能提供最佳的深度品质，但也是四种转换方式中最耗成本的方式，因为影响转换方式的关键因素为深度估计模块，因此许多学者开始探讨全自动深度估计算法。

Hoiem在假设图像场景内的所有景物对象都是垂直直立于地面的前提下，提出了一套完整的基于相对高度深度线索的深度估计方法。该方法以像素块为单位提取颜色、纹理等特征，然后使用adboost分类方法将整个图像分解为地面、天空、直立景物等，最后对图像中的地面区域建立3维模型，并依据图像中景物对象和地面的相交位置重构出整个三维场景。李乐等人通过分析理解街景图像内景物之间的构图关系，依据其中蕴含的深度认知线索估计街景图像的深度信息，对Hoiem的上述方法进行了改进。

当现有的基于相对高度深度线索的深度估计方法都是假设图像场景内的所有景物对象都是垂直直立于地面即图像都为下近上远，但实际的图像场景还有可能是左近右远或右近左远。另外，对图像中同一深度的目标得到的深度值会出现不一致的情况，估计得到的深度图准确度有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于相对高度深度线索的深度估计方法，以实现对多种图像场景的深度估计，同时提高深度图准确度。

为实现上述目的，本发明基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤：

(1)、获取初始深度图

对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；

对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景：左近右远，右近左远或下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计：

若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图；

对初始深度图进行联合双边滤波得到改善的初始深度图；

(2)、获取显著图

对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波；

(3)、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。

本发明的发明目的是这样实现的：

本发明基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。

附图说明

图1是本发明基于相对高度深度线索的深度估计方法一种具体实施方式流程图；

图2是基于线轨迹追踪的深度估计的流程图；

图3是像素点(i,j)周围的灰度值；

图4是Sobel算子的水平模板及垂直模板；

图5是下近上远模板时的初始线轨迹图的参数图；

图6是n＝52时初始的线轨迹图及初始的深度图；

图7是边缘图中线轨迹追踪器从左到右追踪的状态示意图；

图8是从左到右追踪及从右到左追踪得到的深度图；

图9是左近右远模板时的初始线轨迹图的参数图；

图10是边缘图中线轨迹追踪器从下到上追踪的状态示意图；

图11是深度图联合双边滤波的实例；

图12是联合双边滤波后的改善深度图；

图13是视觉注意计算模型的原理流程图；

图14是用于计算当前块对比度的4相邻块的示意图；

图15是显著图联合双边滤波实例图；

图16是叠加显著图后的深度图；

图17是深度估计实例图；

图18是联合双边滤波效果图；

图19是综合从左到右追踪及从右到左追踪的实验结果；

图20是三个不用图像场景的线轨迹追踪实验结果；

图21是四帧彩色图像改进前及改进后的深度图和用其生成的合成视图比较实例。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于相对高度深度线索的深度估计方法一种具体实施方式流程图。

在本实施例中，如图1所示，本发明基于相对高度深度线索的深度估计方法包括：基于线轨迹追踪的深度估计1、视觉注意计算2、联合双边滤波3、深度图的叠加4。整个方法是输入为视频序列的彩色图像，输出为最终的深度图。

在基于线轨迹追踪的深度估计1中，对输入的视频序列的彩色图像首先进行彩色图像转灰度图像的变换，然后，通过sobel边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景，再根据判断出的图像场景，选用选择相应的模板即3个模板：左近右远，右近左远和下近上远模板选择一个。对于霍夫变换未判断出的场景，使用下近上远模块进行深度估计，然后，进行基于线轨迹追踪的深度估计，获得初始深度图。对初始的深度图进行联合双边滤波3得到改善的深度图。

另一方面，对输入的视频序列的彩色图像，首先进行颜色空间转换，将其他颜色空间的图片如RGB转换为YCbCr颜色空间图片，然后通过视觉注意计算2获得显著图。为改善显著图的质量，采用联合双边滤波3对其进行滤波。

最后，通过深度图叠加4，将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。

由于通过相对高度深度线索得到的深度图的物体内部深度值不连续，并存在一些比较尖锐的毛刺，本发明中，使用联合双边滤波(joint bilateral filter)对深度图进行改善；同时将视觉注意机制的显著图(salient map)叠加到滤波后的深度图上，使物体的内部深度值基本一致。

下面对各个步骤进行详细的描述

1、基于线轨迹追踪的深度估计

在本实施例中，基于相对高度深度线索的深度估计采用基于线轨迹追踪的方式进行，包括5个步骤，如图2所示。

视频序列的彩色图像转灰度图像101完成将RGB的彩色图像转换为8-bit的灰度图像；边缘检测102实现对灰度图像边缘特征的提取，得到8-bit的边缘图；霍夫变换103检测边缘图中直线的交叉点位置，判断出图像场景，并选择相应的模板，以决定了线轨迹追踪方式及赋值方式；若是下近上远模板，线轨迹追踪104是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值105根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪104是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值105根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪104是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值105根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图(initial depth map)。

对初始深度图进行联合双边滤波得到改善的初始深度图。

基于线轨迹追踪的深度估计方法如下：

输入：彩色图像I_ref及其分辨率W_i×H_i；线轨迹图的线轨迹数n，边缘追踪约束的控制参数a；平滑约束的控制参数b；弹性约束的控制参数c；α为边缘追踪约束的权重因子(weighting factor)，β为平滑约束的权重因子，γ为弹性约束的权重因子；

输出：初始深度图。

1.1)、彩色图像转灰度图像

使用公式(1)将彩色图像RGB像素值转换为亮度值Y，从而实现彩色图像到灰度图像的转换。

Y＝(66R+129G+25B)/256+64. (1)

在本实施例中，输入为10-bit像素色深(color depth)的RGB彩色图像，通过(1)得到亮度值，从而输出10-bit的灰度图像。注意，公式(1)采用的是ITU-R BT.601标准。

1.2)、边缘检测

图像边缘可以定义为图像局部特征的不连续性，表现为图像灰度级的突变、纹理结构的突变和彩色的变化等。真实的图像边缘一般都具有有限的宽度且呈现出陡峭的斜坡状。

在本实施例中，采用Sobel算子进行边缘检测，它利用像素的左、右、上、下领域的灰度加权算法，根据在边缘点处达到极值这一原理进行边缘检测。设G(i,j)表示处理后的像素点(i,j)的灰度值，像素点(i,j)周围的灰度值如图3所示。

则：

G(i,j)＝|S_x|+|S_y|

其中S_x和S_y分别为水平模板(掩模)和垂直模板与灰度图像的卷积，即图像中的每一个点都用图4的两个模板即水平模板(a)及垂直模板(b)做卷积，两个模板卷积的绝对值之和作为该点的输出G(i,j)(即梯度的量，gradient magnitude)，所以

G(i,j)＝|a₂+2a₃+a₄-a₀-2a₇-a₈|+|a₀+2a₁+a₂-a₆-2a₅-a₄|

边缘检测子模块的输入为10-bit的灰度图像(模块内部取高8位)，输出为8-bit的边缘图。

1.3)、霍夫变换

本发明霍夫变换对边缘图进行处理，检测直线的交点位置，进而判断出使用的图像场景。

1.4)、线轨迹追踪

a、下近上远模板

线轨迹追踪将对边缘图中的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图。具体包含4步：①、相关参数的确定；②、每条线的线轨迹追踪器从左到右进行追踪；③、每条线的线轨迹追踪器从右到左进行追踪；④、对两幅线轨迹图深度赋值后，合并为一幅深度图。

①、相关参数的确定

线轨迹图的线轨迹数n：为保证深度估计的效果，线轨迹数n一般大于10；同时考虑计算量的大小，线轨迹数n一般不大于80；通常我们设以方便硬件实现时对DDR的读取操作；对于720P的视频，n＝45；

初始线轨迹图中相邻线轨迹的间距d：所有相邻的线轨迹的间距均相等，为对于720P的视频，d＝16；

初始线轨迹图中线轨迹的横坐标(图像素坐标系中的坐标)：对第i条线轨迹，其横坐标为(H_i-1)–i×d(0-based)；注意，这里坐标系的选取如图5所示；

线轨迹对应的深度值：为了估计出8-bit的深度图，需要对第i条线轨迹赋深度值为其中d'为两条线轨迹之间的深度值间隔，n为线轨迹数，0≤i≤n-1；注意，在这种赋值方式下，最上面的那条线轨迹对应的深度值总是大于0。

图6为n＝52时初始的线轨迹图(a)及初始的深度图(b)(H_i＝720)。

②、每条线的线轨迹追踪器从左到右进行追踪

每条线的线轨迹追踪器从第①步确定的线轨迹的最左边的点开始，沿明显边缘进行追踪。线轨迹追踪需满足五条准则：

a)线轨迹的条数保持不变；

b)线轨迹不能交叉；

c)线轨迹在任一点都不能有无穷大的斜率；

d)线轨迹必须是从左到右延伸；

e)线轨迹之间的区域的都被赋以相同的深度值。

总的来说，上述线轨迹追踪准则就是从左端的当前像素点向下一个像素点(在下一列中)追踪时，被选择的像素点需有高的边缘值，在垂直方向变化比较平缓，且与初始位置的垂直距离不能太远。我们分别用边缘追踪约束(edge tracing constraint)，平滑约束(smoothness constraint)及弹性约束(elasticity constraint)来表达这三个方面的要求：

E_lt(x,y)＝exp(-edge(x,y)/a)， (2)

E_s(x,y)＝d_s(x,y)/b, (3)

E_e(x,y)＝d_e(x,y)/c, (4)

其中E_lt为边缘追踪约束，edge(x,y)是边缘图像素点(x,y)的值，a为边缘追踪约束的控制参数；E_s为平滑约束，b为平滑约束的控制参数，d_s(x,y)为当前位置的像素点与下一位置的像素点垂直方向的距离，如图7所示；E_e为弹性约束，c为弹性约束的控制参数，d_e(x,y)为左边起始点位置像素与候选像素点位置的垂直距离。

最后，采用(5)来决定线轨迹下一像素点的位置：

$\hat{y}=\arg {\min }_y\{{\mathrm{\αE}}_{lt}(x,y)+{\mathrm{\βE}}_s(x,y)+{\mathrm{\γE}}_e(x,y)\}---\left(5\right)$

其中α、β、γ分别为边缘追踪约束E_lt，平滑约束E_s，弹性约束E_e的权重因子，它们在计算过程中是常量。(x,y)是一组坐标组成的向量。x一般取x+1，y的值可以取到整列像素的横坐标。

③、每条线的线轨迹追踪器从右到左进行追踪

每条线的线轨迹追踪器从第①步确定的线轨迹的最右边的点开始，沿明显边缘进行追踪。线轨迹追踪满足的约束条件及追踪方式与从左到右相同。

增加从右向左追踪的目的是克服由于边缘图走势原因造成的部分追踪错误。如图8所示，其中，a为从左到右的深度图，b为彩色图，c为从右到左追踪的深度图，从右到左追踪得到的深度图在椭圆区域有更理想的深度估计值。

④、对两幅线轨迹图深度赋值后，合并为一幅深度图

对从左到右追踪及从右到左追踪得到两幅深度图进行合并，其具体方法为：从上到下，从左到右逐个像素进行比较，取两幅深度图的较小值为深度图的深度值。

b、左近右远模板

线轨迹追踪将对边缘图中的明显边缘从下到上进行追踪，得到垂直不交叉的线轨迹图。具体包含2步：①、相关参数的确定；②、每条线的线轨迹追踪器从下到上进行追踪。

①、相关参数的确定

线轨迹图的线轨迹数n：为保证深度估计的效果，线轨迹数n一般大于10；同时考虑计算量的大小，线轨迹数n一般不大于80；通常我们设以方便硬件实现时对DDR的读取操作；对于720P的视频，n＝80；

初始线轨迹图中相邻线轨迹的间距d：所有相邻的线轨迹的间距均相等，为对于720P的视频，d＝16；

初始线轨迹图中线轨迹的横坐标(图像素坐标系中的坐标)：对第i条线轨迹，其横坐标为(W_i-1)–i×d(0-based)；注意，这里坐标系的选取如图5所示；

线轨迹对应的深度值：为了估计出8-bit的深度图，需要对第i条线轨迹赋深度值为其中d'为两条线轨迹之间的深度值间隔，n为线轨迹数，0≤i≤n-1；注意，在这种赋值方式下，最左面的那条线轨迹对应的深度值总是大于0。

②、每条线的线轨迹追踪器从下到上进行追踪

线轨迹追踪的原则与采用下近上远模板的d线轨迹必须是从左到右延伸不同外(左近右远模板的此原则为线轨迹必须是从下到上延伸)，其他要求均相同，追踪方式也相似。

采用左近右远模板的线轨迹追踪准则是从底端的当前像素点向下一个像素点(在下一行中)追踪时，被选择的像素点需有高的边缘值，在垂直方向变化比较平缓，且与初始位置的垂直距离不能太远。公式(3)中的d_s指当前点与下一候选点的水平距离。如图10所示：

c、右近左远模板

线轨迹追踪将对边缘图中的明显边缘从右到左进行追踪，得到垂直不交叉的线轨迹图。具体包含2步：①、相关参数的确定；②、每条线的线轨迹追踪器从下到上进行追踪。采用右近左远模板的线轨迹追踪模板与采用左近右远的线轨迹追踪模块的追踪原则完全相同，在此不在多述。

1.5)、深度赋值

线轨迹追踪完成后，将线轨迹图转换为坐标图。

对于下近上远模板，从下到上对每一列进行扫描，给最初的线轨迹0赋坐标值RX_Hi,对线轨迹0到线轨迹1的区间均赋值为RX_Hi,对线轨迹1到线轨迹2的区间(包含线轨迹1)赋值为RX_Hi-d,此处对轨迹线n到轨迹线n+1的区间赋值为RX_Hi–n*d。

对于左近右远模板，从左到右对每一行进行扫描，给最初的线轨迹0赋坐标值RX_Wi，对线轨迹0到线轨迹1的区间均赋值为RX_Wi,同理，对线轨迹1到线轨迹2的区间(包含线轨迹1)赋值为RX_Wi-d,此处对轨迹线n到轨迹线n+1的区间赋值为RX_Wi–n*d。

对于右近左远的模板，从右到左对每一行进行扫描，给最初的线轨迹0赋坐标值RX_Wi，对线轨迹0到线轨迹1的区间均赋值为RX_Wi,同理，对线轨迹1到线轨迹2的区间(包含线轨迹1)赋值为RX_Wi-d,此处对轨迹线n到轨迹线n+1的区间赋值为RX_Wi–n*d。

将线轨迹图转换为坐标图后，从上到下，从左到右逐点扫描，使用公式(6)完成整幅图像的深度赋值。当使用下近上远模板时：w_rl为0，w_ud为1；当使用左近右远的模板时：w_rl为1，w_ud为0；当使用右近左远的模板时：w_rl为-1，w_ud为0。

$depth(i,j)=128+255*(w_{rl}*\frac{C(i,j)-\frac{1}{2}RX\_Wi}{RX\_Wi}+w_{ud}*\frac{C(i,j)-\frac{1}{2}RX\_Hi}{RX\_Hi})---\left(6\right)$

2、联合双边滤波

本发明采用联合双边滤波来对所得到的深度图进行处理。标准双边滤波的特点是对图像上的每一点用其空间相邻且灰度值相似的像素值的平均值代替原来的点，从而达到滤波的效果。

$v\[x\]=\frac{1}{\mathrm{\γ}\[x\]}\underset{y\∈\mathrm{\Ω}}{\Σ}u\[y\]h_{{\mathrm{\σ}}_s}(x-y)h_{{\mathrm{\σ}}_e}(u\[x\]-u\[y\]),\mathrm{\γ}\[x\]=\underset{y\∈\mathrm{\Ω}}{\Σ}{h}_{{\mathrm{\σ}}_s}(x-y)h_{{\mathrm{\σ}}_e}(u\[x\]-u\[y\])---\left(7\right)$

公式(7)为标准双边滤波的数学公式，其中v[x]为需滤波的图像中某点的像素值，Ω为核函数的支撑域，和分别为距离和像素差核函数,可表示为γ[x]为距离权值和像素差权值的乘积和，即归一化参数。

从公式(7)可以看出，标准双边滤波是对图像空间临近度及灰度值相似度的一种折中处理，小的边缘所体现出的灰度差异往往被空间临近度所掩盖，滤波的结果是大的边缘被保留，小的边缘被去除。所以双边滤波可以用来去除图像的纹理，保留图像的形状特征。

由于通过线轨迹追踪得到的深度图中物体边缘及平滑区域与原彩色图并不一致，所以此处的灰度差异使用原彩色图的灰度图像来计算，即使用联合双边滤波来对深度图进行滤波。这样不仅可平滑估计出的深度图物体内部区域，同时也将保留物体的边缘。

$d_Q\[x\]=\frac{1}{\mathrm{\γ}\[x\]}\underset{y\∈\mathrm{\Ω}}{\Σ}{d}_Q\[y\]h_{{\mathrm{\σ}}_s}(x-y)h_{{\mathrm{\σ}}_e}(Q_L\[x\]-Q_L\[y\]),\mathrm{\γ}\[x\]=\underset{y\∈\mathrm{\Ω}}{\Σ}{h}_{{\mathrm{\σ}}_s}(x-y)h_{{\mathrm{\σ}}_e}(Q_L\[x\]-Q_L\[y\])---\left(8\right)$

公式(8)为联合双边滤波数学公式，其中d_Q[x]为深度图中某点的滤波值，d_Q[y]为深度图中核函数支撑域中对应的深度值，Ω为核函数的支撑域，和分别为距离和像素差核函数，γ[x]为距离权值和像素差权值的乘积和，即归一化参数；Q_L为深度图对应的2D图像的灰度图像，Q_L[x]和Q_L[y]为对应灰度图像的灰度值。

图11为联合双边滤波的仿真实例，其中，(a)、(b)、(c)为三个不同场景下的仿真实例，每个场景从左到右依次为彩色图、深度图和滤波后的深度图。从实验结果可以看出，深度图的物体边缘有一些损失，但物体内部变得更加平滑，基本消除了毛刺，避免三维图像变换后同样物体分离的情况。

3、视觉注意计算

如图12所示，经过联合双边滤波后的改善深度图虽然基本消除了毛刺，物体内部也更加平滑，但对于人们感兴趣的人(图12(a)方框区域)和马(图12(b)方框区域)深度值并不一致，为解决此问题，我们将视觉注意机制的显著图叠加到深度图上，用于改善此类情况。

视觉注意机制可由计算模型实现，在视觉注意计算模型中，用显著图(saliencymap)来表示视觉区域的显著性，显著图不仅表达视觉区域每个位置的显著性，并且通过显著性分布来引导注意区域的选择。在本实施例中，采用Jiwon Kim的计算模型来计算显著图。

如图13所示，Jiwon Kim的视觉注意计算模型首先采用矩形金字塔对输入图像进行多尺度表示，并使用颜色信息来引导注意，采用中央-外围的计算策略在特征图内部进行竞争，然后通过线性组合来得到总的显著图，最后采用联合双边滤波来改善显著图的边缘。

为使显著图鲁棒性更强，Jiwon Kim的视觉注意计算模型使用了矩形金字塔，其具体实现方法为：对于一张2D图片，首先将其转换到YCbCr颜色空间，然后分别从水平及垂直方向进行抽样以获得新一层金字塔特征图片，重复此步骤，直到得到最后一层金字塔特征图片(一般为4～6层)。由于水平抽样后再垂直抽样与垂直抽样后水平抽样得到的图片是一样的，所以对第L层金字塔，共有L+1图片。比如对6层金字塔，共有张图片。

对某张特征图片，分别计算3个分量(Y分量，Cr分量，Cb分量)的中央-周边差，然后线性组合为一张对比度图。计算某个分量的中央-周边差方法为：将此分量分为MxN块，每块大小为mxm。计算当前块与其相邻块的均值，标准方差和偏度的差异，然后将当前块与相邻4块的差异和作为此块的对比度。例如对块B₀，其对比度为而MDiff(B_k,B_l)定义如下：

MDiff(B_k,B_l)＝w₁|E_k-E_l|+w₂|σ_k-σ_l| (9)

其中w₁,w₂分别为均值E和标准方差σ的权重系数，在此都取1。对于第i块i＝k或l的均值，标准方差的计算公式如下：

$E_i=\frac{1}{m^2}\underset{j=1}{\overset{m^2}{\Σ}}{p}_{ij},{\mathrm{\σ}}_i={\left(\frac{1}{m^2}\underset{j=1}{\overset{m^2}{\Σ}}{\left(p_{ij}-E_i\right)}^2\right)}^{\frac{1}{2}}---\left(10\right)$

其中m²为此块的像素个数，p_ij为此块中第j个点的像素值。

将各尺度上的对比度图(显著图)还原到原分辨率大小，然后线性组合为一张显著图，为改善显著图的边缘和平滑显著图内部的显著值，我们使用联合双边滤波对其进行滤波。其滤波结果如图15所示，依次为彩色图，显著图和滤波后的显著图。

最后我们将显著图归一化到0～255后，若下近上远模板，显著值最大区域不是在图像顶部时(同理，对于左近右远模板，显著值最大区域不是在图像最右边时；对于右近左远模板，显著值最大区域不是在图像最左边)，叠加到改善的深度图上，得到最终的深度图。结果如图16所示，依次为彩色图像、改善的深度图以及最终的深度图。

实验结果

1、原线轨迹追踪深度估计实验结果

实验中采用的2D彩色图像如图17(a)所示，分辨率为642×642，进行深度估计时所使用的参数值如表1。图17(b)为边缘图，图17(c)为线轨迹图，图17(d)为估计的深度图。

a	b	c	α	β	γ	n
							0.10788	125	125	0.4	0.3	0.3	50

表1

2、联合双边滤波实验结果

图18是联合双边滤波效果图，其中，(a)估计的深度图；(b)改善后的深度图。通过联合双边滤波，使深度图平滑强度更高，进一步改善深度图的质量。

3、新加2个模板后的的线轨迹追踪实验结果

图19为综合从左到右追踪及从右到左追踪的实验结果，其中，图19(a)彩色图像为Stair的深度图，图19(b)为从左到右跟踪得到的深度图，图19(c)为从右到左跟踪得到的深度图，图19(d)是对从左到右追踪及从右到左追踪得到两幅深度图进行合并得到的深度图，合并后效果得到了提升。

图20为三个不用图像场景的线轨迹追踪实验结果，(a)～(b)分别为序列AngkorWat、Temple以及(c)～(e)为三帧室外建筑物的彩色图像及其估计的深度图，(a)和(b)使用下近上远模板从左到右及从右到左追踪后联合的深度图，(c)为使用左近右远从下到上追踪得到是深度图，(d)和(e)为使用右近左远从下到上追踪得到的深度图。

从图20可以看出，本发明对三种图像场景进行了很好的识别，使深度估计与图像场景相吻合。

3、联合滤波及叠加显著图的实验结果

图21是四帧彩色图像改进前及改进后即使用现有方法以及本发明方法得到的深度图和用其生成的合成视图比较实例。从图21(a)、(b)、(c)、(d)可以看出，显著图使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度，尤其是图中画圈处。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤：

(1)、获取初始深度图

对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；

对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景：左近右远，右近左远或下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计：

若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图；

对初始深度图进行联合双边滤波得到改善的初始深度图；

(2)、获取显著图

对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波；

(3)、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。

2.根据权利要求1所示的深度估计方法，其特征在于，步骤(1)所述的若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值中，采用从左到右追踪及从右到左追踪得到两幅深度图进行合并：从上到下，从左到右逐个像素进行比较，取两幅深度图的较小值为深度图的深度值。