CN107750370B - 用于确定图像的深度图的方法和装置 - Google Patents

Abstract

一种装置接收图像以及包括输入深度值的相关联深度图。轮廓检测器（405）检测图像中的轮廓。模型处理器（407）通过将深度模型拟合至针对轮廓的输入深度值而生成针对轮廓的轮廓深度模型。深度值确定器（409）从所述轮廓深度模型针对所述轮廓的至少一个像素确定深度模型深度值。所述深度模型例如可以对应于单个深度值，所述单个深度值例如可以被设置为最大输入深度值。修改器（411）通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图。这包括响应于所述深度模型深度值而针对所述经修改的深度图中的像素生成经修改的深度值。所述深度模型深度值例如可以替代所述像素的输入深度值。

Description

用于确定图像的深度图的方法和装置

技术领域

本发明涉及一种用于确定图像的深度图的方法和装置，尤其但并非排他地，所述方法和装置用于基于估计差异值来确定深度图。

背景技术

三维（3D）显示器通过为观看者的双眼提供所观看的景象的不同视图而对观看体验增加了第三维度。这能够通过使用户佩戴眼镜以将所显示的两个视图分离来实现。然而，由于这可能被认为造成用户的不便，所以在许多情形下优选使用裸眼立体显示器，所述裸眼立体显示器使用了分离视图的显示器处的器件（诸如柱状透镜或光栅）以及将它们以不同方向发送，其中它们可以单独地到达用户的眼睛。对于立体显示器而言需要两个视图，而裸眼立体显示器则通常需要更多视图（作为示例，诸如九个视图）。

所呈现的三维图像的质量取决于所接收图像数据的质量，并且特别地，三维感知的质量取决于所接收到的深度信息的质量。然而，在许多实际应用和情形中，所提供的深度信息往往是次优的。

例如，在许多实施例中，可能想要针对新的取景方向生成视图图像。而已知有各种算法是基于图像和深度信息来生成这样的新的视图图像，它们往往高度依赖于所提供（或得出）的深度信息的准确性。

实际上，三维图像信息经常由对应于景象的不同取景方向的多个图像所提供。特别地，所生成的诸如电影或电视节目之类的视频内容越来越多地包括一些3D信息。这样的信息可以使用专用的3D相机来捕捉，所述3D相机从稍具偏移量的相机位置捕捉两个同时的图像。

然而，在许多应用中，所提供的图像可能并不直接对应于所期望的方向，或者会要求更多的图像。例如，对于裸眼立体显示器而言，就需要多于两个的图像，并且实际上经常使用9-26个视图图像。

为了生成对应于不同取景方向的图像，可以采用视点转移（view pointshifting）处理。这通常由视图转移算法来执行，所述算法使用单个取景方向的图像以及相关联的深度信息。然而，为了生成没有明显伪像的新的视图图像，所提供的深度信息必须是足够准确的。

不幸的是，在许多应用和使用情形中，所述深度信息可能并不像所期望的那样准确。实际上，在许多情形下，深度信息是通过比较不同取景方向的视图图像来估计并提取深度值而生成的。

在许多应用中，使用处于稍微不同位置的两个相机将三维景象捕捉为立体图像。具体的深度值随后可以通过估计这两个图像中的相对应图像对象之间的差异而生成。然而，这样的深度提取和估计是有问题的，并且往往导致非理想的深度值。这也会导致伪像以及有所退化的三维图像质量。

三维图像退化和伪像对于不同图像对象之间的变换（transition）而言往往特别重要。进一步地，基于相关联图像的差异估计对深度信息的确定通常还涉及到对图像对象的特性的考虑。通常，差异估计算法通过在局部比较左侧图像中的点与右侧图像中其相对应的点之间的颜色差异来搜索左侧和右侧图像之间的对应性。

然而，所产生的深度图通常是相对不准确的，并且为了改善所述深度图而应用所述深度图的后期滤波。所述后期滤波可以特别地是双边颜色和/或亮度的自适应滤波，其中滤波核心适于反应图像的视觉属性。这样的双边滤波可以产生适于更紧密符合图像特性的深度图，并且它可以使得所估计差异的一致性和时间稳定性有所改善，或者例如可以在不同图像对象之间提供更为锐利的深度变换。

图1图示了可以用来产生差异图的典型处理流程的示例。左眼和右眼图像被输入至差异估计模块101，所述差异估计模块101输出通常为块分辨率（例如，4×4、8×8或16×16像素）的差异图。原始图像之一随后在双边滤波器103中被用来对该差异图进行滤波并且产生经双边滤波的深度图。在滤波之后，以像素分辨率对差异图进行修改。所述滤波器通常可以迫使在空间上接近且具有相同颜色的像素具有相同的差异。

由于处于长的对象边界两侧的对象的颜色/亮度的相似性，所述双边颜色/亮度自适应滤波器可能会导致接近于这样的边界的差异误差或伪像。作为结果，在接近于对象边界处，与背景中对象的距离可能被低估而与前景中对象的距离则可能被高估。在使用所获得的差异图进行视图生成时，例如用于裸眼立体观看，所述边界可能会变得失真。人类观看者往往对于这样的失真和伪像非常敏感。

例如，图1的双边滤波器103对于两个对象之间的边界作用非常好，所述两个对象具有对这两个对象而言非常不同的相当一致的视觉属性。例如，其对于都具有统一颜色（在对象内没有大的强度波动）但是强度存在大幅差异的两个对象作用可以极好。

然而，对于其它对象，特别是诸如具有高度纹理的对象而言，双边滤波器将远没那么有效并且实际上可能引入伪像。特别地，对于带纹理对象来说，前景的差异可能经常漏入背景，反之亦然。该伪像在对象边界上最为显现，因为如我们作为人类观看者所知道的，在相机位置小幅转移的情况下，如投射在图像平面中的对象边界的形状将仅表现出几何上的小幅变化。图2中图示了该效果。如所图示的，3D对象的透视投影的平滑对象边界将不太可能示出从左眼图像

到右眼图像

的几何上的高频变化，即图2a的情形可能反映出真实景象，而图2b的不规则性（其可能是由于带纹理的对象）则远远不太可能反映出所述景象。

因此，一种有所改进的用于确定适当深度信息的方法将会是有利的，特别是一种允许灵活性有所提高、便于实施、复杂度下降、深度信息有所改善、对于诸如纹理的视觉变化的敏感度下降、3D体验有所改善和/或所感知图像质量有所改善的方法将会是有利的。

发明内容

因此，本发明致力于优选地以单独方式或以任意组合方式来缓解、缓和或消除以上所提到的一种或多种缺陷。

根据本发明的一个方面，提供了一种用于生成深度图的装置，所述装置包括：用于提供图像以及包括输入深度值的相关联深度图的图像生成器；用于检测图像中的至少第一轮廓的轮廓检测器，所述第一轮廓包括第一像素集合；用于通过将深度模型拟合至仅针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型的模型处理器；用于从所述轮廓深度模型对所述第一像素集合中的至少第一像素确定深度模型深度值的深度值确定器；以及用于通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图的修改器；其中所述修改器被布置来响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。

在许多实施例中，该方法可以允许生成有所改善的深度图，其例如在被用于图像处理时可以提供有所改善的质量。例如，在许多实施例和情形中，使用经修改的深度图可以实现图像对象有所改善的呈现形式。该改善在所述经修改的深度图被用于图像视图转移时和/或在裸眼立体显示器上呈现三维图像时会是特别重要的。该方法在许多情形下尤其可以减少或去除图象对象边缘附近的深度不一致性、不规则性、噪声和/或伪像。

一个或多个深度图可以是部分图（partial map）。所述深度图中所包括的深度值可以是深度的任意适当的表示形式，诸如特别是表示不同取景方向的图像之间的转移的深度坐标（z）值或差异值。所述相关联深度图可以是提供图像中的图像对象/区域的深度的直接或间接指示的任意完整或部分深度图。

所述轮廓检测器可以被布置来检测多个轮廓，其中每个轮廓例如可以被单独处理。所述轮廓检测器可以响应于图像中视觉属性的空间变化，诸如特别是响应于图像的颜色和/或亮度的空间变化，而检测第一轮廓。

所述轮廓检测器可以特别地被布置来响应于视觉属性变化约束和几何约束而检测第一轮廓。所述轮廓检测器可以特别地评估轮廓要求以及将所述第一像素集合确定为满足所述轮廓要求的像素集合。所述轮廓要求可以包括视觉属性变化约束和几何约束二者。所述视觉属性变化约束可以特别地是颜色和/或亮度变化约束，以及尤其可以是纹理差异性约束。所述几何约束可以是（仅）有关像素位置的约束。

在一些实施例中，所述轮廓可以是图像中的弯曲线（也经常被称作曲线）。特别地，在一些情形以及实施例中，所述弯曲线可以是直线。在一些实施例中，所述轮廓可以形成图像中的一维曲线。在许多实施例中，第一像素集合可以形成弯曲线。在许多实施例中，所述轮廓深度模型在所述图像表示的两个维度以及（输入）深度值表示的深度维度所形成的三维空间中可以描述一条弯曲线，特别是一条直线。在许多实施例中，轮廓深度模型可以是从曲线起点到终点的单一线性变换。在许多实施例中，所述轮廓深度模型可以是线性或分段线性模型。

由所述模型处理器将深度模型拟合至输入深度值以及由所述深度值确定器对深度模型深度值的确定可以作为向第一轮廓的一个或多个输入深度值应用约束的单个处理来执行。

所述深度模型可以表示针对轮廓深度模型的一个或多个特性或约束。所述特性或约束可以被预先确定。所述特性或约束独立于深度值。例如，所述深度模型可以提供以下约束：轮廓深度模型必须针对所有像素仅提供单个深度值，必须线性地依赖于位置，必须具有小于阈值的空间梯度，不可以包括更高的空间频率，等等。例如，深度模型可以包括或包含在轮廓深度模型的空间频率分布中的约束，并且例如可以特别对应于空间低通滤波器。

所述轮廓深度模型可以由函数所表示，所述函数例如允许给定像素的深度模型深度值被确定为该第一像素（例如，相对于所确定的轮廓）的位置的函数。在这样的情况下，所述轮廓深度模型例如可以由模型处理器基于第一轮廓的至少一个输入深度值确定所述函数的参数而被确定。在一些实施例中，所述轮廓深度模型可以直接由第一轮廓的像素的个体数值来表示。在这样的情形下，所述轮廓深度模型例如可以由所述模型处理器通过向第一轮廓的像素的输入深度值应用诸如低通滤波之类的约束而针对所述第一轮廓的像素确定深度模型深度值而被确定。在这样的实施例中，所述深度值确定器可以直接通过获取模型处理器所确定的数值而针对第一像素确定深度模型深度值。

深度模型的拟合可以响应于仅第一像素集合的输入深度值。深度值的拟合可以不考虑除第一像素集合中的那些以外的其它输入深度值。

在一些实施例中，针对所述第一像素，所述修改器可以包括深度模型深度值和第一像素的输入深度值的组合，以及深度模型深度值对第一像素的输入深度值的替换中的至少一种。在一些实施例中，所述修改器还可以对第一深度值应用其它修改，作为示例，诸如限制或空间滤波。在一些实施例中，所述修改器可以仅修改被检测为属于轮廓的深度值，但是在其它实施例中还可以包括其它深度值的修改。

依据本发明的可选特征，所述修改器被布置来将所述第一经修改的深度值设置为所述深度模型深度值。

所述第一经修改的深度值可以替代所述第一像素的输入深度值。

所述特征可以在保持低复杂度和鲁棒操作的同时提供有利的三维体验。

依据本发明的可选特征，所述修改器被布置来将所述第一经修改的深度值生成为所述深度模型深度值和所述第一像素的输入深度值的组合。

在许多实施例中，这可以允许基于经修改的深度图的有所改善的三维渲染，尤其在许多实施例中允许伪像和/或噪声有所减少。

依据本发明的可选特征，所述轮廓检测器被布置来生成软决策检测数值，所述组合是加权组合，以及所述修改器被布置来响应于所述软决策检测数值而确定所述深度模型深度值和所述第一像素的输入深度值中的至少一个的权重。

在许多实施例中，这可以允许基于经修改的深度图的有所改善的三维渲染，尤其在许多实施例中可以允许伪像和/或噪声有所减少。

所述软决策检测数值可以是指示第一像素集合匹配图像中的轮廓的估计概率的置信度数值。针对第一像素集合匹配图像中的轮廓的增大的估计概率，所述深度模型深度值的权重可以相对于所述输入深度值的权重有所增大。

依据本发明的可选特征，所述轮廓检测器被布置来响应于所述第一轮廓的几何属性而生成所述软决策数值。

在许多情形下，这可以提供有所改善的性能。特别地，在许多实施例中，几何特性可以提供基于视觉特征所确定的像素集合实际上是否确实对应于轮廓的特别好的指示。

依据本发明的可选特征，所述轮廓深度模型是恒定深度值模型。

在许多实施例中，这可以允许基于经修改的深度图的有所改善的三维渲染，尤其在许多实施例中可以允许伪像和/或噪声有所减少。其可以进一步允许低复杂度。所述恒定深度值模型针对第一像素集合中的所有像素提供了相同的深度值，即单个深度值被分配给轮廓的所有像素。

依据本发明的可选特征，所述模型处理器被布置来将轮廓深度模型生成为针对第一像素集合的极端输入深度值、平均输入深度值和中间输入深度值之一。

这在许多实施例和情形中可以提供特别有吸引力的结果，同时允许低的复杂度和资源需求。

依据本发明的可选特征，所述轮廓深度模型是线性深度值模型。

这在许多实施例和情形中可以提供特别有吸引力的结果，同时允许低的复杂度和资源需求。特别地，其可以经常提供更为逼真的深度变换，同时仍然保持低复杂度以及有所减少的噪声/伪像。

依据本发明的可选特征，所述轮廓检测器被布置来在所述第一像素集合的几何要求的约束下确定所述第一轮廓。

这在许多实施例中可以提供有所改善的性能。

依据本发明的可选特征，所述几何要求包括所述第一像素集合形成不超过最大曲率的几何形状的要求。

这在许多实施例中可以提供有所改善的性能。

依据本发明的可选特征，所述装置进一步包括用于基于所述修改器修改之前的图像对相关联深度图进行滤波的双边滤波器。

双边滤波和深度图修改的这种组合可以利用滤波和修改之间的协同效应而提供特别有利的结果。特别地，所述双边滤波器可以对深度图加以改善，例如减少噪声，同时所述修改可以减少在图像的一些部分中可能由于滤波而被引入的潜在伪像或变换噪声。

依据本发明的可选特征，所述轮廓检测器被布置来响应于包括视觉属性变化约束和几何约束的轮廓要求来检测所述第一轮廓。

依据本发明的可选特征，所述图像生成器被布置来响应于基于所述图像以及对应于不同取景方向的第二图像的差异估计而生成所述相关联深度图。

根据本发明的一个方面，提供了一种生成深度图的方法，所述方法包括：提供图像以及包括输入深度值的相关联深度图；检测图像中的至少第一轮廓，所述第一轮廓包括第一像素集合；通过将深度模型拟合至仅针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型；从所述轮廓深度模型针对所述第一像素集合中的至少第一像素确定深度模型深度值；以及通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图；其中生成经修改的深度图包括响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。

本发明的这些和其它方面、特征以及优势将由于下文所描述的（多个）实施例而是显而易见的并且将参考所述实施例进行阐述。

附图说明

将参考附图仅通过示例对本发明的实施例进行描述，其中：

图1是用于生成图像的深度图的现有技术方法的示例的图示；

图2是可以从图1的方法产生的深度不规则性的示例的图示；

图3图示了三维显示系统的示例；

图4图示了依据现有技术的一些实施例的用于生成深度图的装置的部件示例；

图5图示了依据现有技术的一些实施例的用于生成深度图的装置的部件示例；

图6图示了依据现有技术的一些实施例的用于生成深度图的装置的部件示例；

图7-9图示了针对图4的装置的具体实施方式而针对像素所确定的数值示例。

具体实施方式

以下描述关注于能够应用于用于确定经修改的深度图的系统的本发明实施例，所述经修改的深度图尤其可以被用于针对景象的不同取景方向生成图像，作为示例，诸如一种用于生成附加图像以便在裸眼立体显示器上呈现输入立体图像的方法。然而，将要意识到的是，本发明并不局限于该应用，而是可以应用于许多其它应用和系统，并且经修改的深度图可以被用于许多其它目的。

图3图示了依据本发明一些实施例的系统的示例。在具体示例中，对应于裸眼立体显示器301的不同视图的图像从接收自图像源303的输入三维图像所生成。所述输入三维图像例如可以由具有相关联深度图的单一图像所表示，或者可以例如由从其提取出相关联深度图的立体图像所表示。

通常，裸眼立体显示器产生视图的“圆锥体”，其中每个圆锥体包括对应于景象的不同观看角度的多个视图。相邻（或者在一些情况下被进一步位移的）视图之间的观看角度差被生成以对应于用户的右眼和左眼之间的观看角度差。因此，左眼和右眼看到两个适当视图的观看者将会感知到三维效果。

裸眼立体显示器往往使用诸如柱状透镜或视差光栅/光栅掩模之类的器件来分隔视图并且将它们在不同方向发送，而使得它们单独地到达用户的眼睛。对于立体显示器而言要求两个视图，但是大多数裸眼立体显示器则通常采用更多视图。实际上，在一些显示器中，对图像执行取景方向的逐渐变换而使得图像的不同部分可以在不同取景方向进行投射。因此，在一些更为近期的裸眼立体显示器中，可以应用图像分区在取景方向上更为逐渐且连续的分布，而不同于渲染固定数量的完整视图的裸眼立体显示器。这样的裸眼立体显示器经常被称为提供部分视图而不是全视图。有关部分视图的更多信息例如可以在WO2006/117707中找到。

然而，对于大多数裸眼立体显示器而言常见的是，它们要求针对相对大量的不同取景方向生成图像信息。然而，通常三维图像数据是作为立体图像或者具有深度图的图像来提供的。为了生成所要求的取景方向，通常应用图像视图转移算法来生成适当像素值用于渲染。然而，这样的算法通常是次优的并且会引入伪像或失真。

在图3的系统中，显示驱动器305从图像源303接收输入三维图像并且为裸眼立体显示器301生成视图图像。显示驱动器305特别地被布置来生成对应于裸眼立体显示器301的个体视图的取景方向的新的和/或附加的视图图像。

显示驱动器305因此可以被布置来基于至少一个所接收的图像和相关联的深度信息而通过视图转移生成对应于新方向的图像。然而，不同于直接使用所接收的深度图或者通过来自多个所接收图像的差异估计所生成的深度图，显示驱动器305被布置来首先生成经修改的深度图，所述经修改的深度图随后被所述视图转移算法用来生成新的图像。该方法将在下文中参考图示出图3的显示驱动器305的部件的图4更详细地进行描述。

显示驱动器305包括图像生成器401，所述图像生成器401被布置来提供至少一个图像以及相关联的深度图，其中所述相关联的深度图针对所述图像的至少一些且通常全部的像素提供深度信息。通常，所述深度图可以针对图像的每个像素提供深度值（但是可能是以较低的空间或时间分辨率）。

将要意识到的是，在一些实施例中，所述深度图可以包括图像像素的更多间接深度信息。例如，在一些实施例中，所述深度图可以针对与所述图像相比稍有不同的取景方向而提供（例如，左眼深度图可以随右眼图像一起提供）。

包括在所述深度图中的深度值可以是深度的任意适当表示形式，诸如特别是表示不同取景方向的图像之间的转移的深度坐标（z）值或差异值。在下文中，深度值可以特别地是指差异值，而使得更高深度值可以对应于屏幕前方的对象的更高差异。因此，更高深度值将被认为反应了更接近于观看者的位置。

在一些实施例中，图像生成器401可以简单地从外部或内部源——特别地诸如图像源303——接收具有相关联深度图的图像。在其它实施例中，图像生成器401自身可以被布置来生成相关联的深度图。

特别地，在许多实施例中，图像生成器401可以接收对应于相同景象的不同取景方向的多个图像（通常是同时的图像），并且随后可以进行到基于差异估计生成深度图。

因此，在许多实施例中，图像生成器401可以被布置来接收由对应于不同取景方向的多个图像所形成的三维图像，诸如特别为立体图像，并且其可以被布置来执行差异估计以生成输入相关联深度图。

图像生成器401特别地可以被布置来响应于至少两个取景方向之间的差异检测而生成深度图，即其可以继续进行以找出图像中的相对应图像对象，确定这些之间的相对转移/差异，并且将相对应的深度水平赋予所述图像对象。将要意识到的是，可以使用用于基于差异估计来确定深度的任何适当算法。

这样的差异估计可能导致相对准确的深度图。然而，所述深度图通常仍然可以包括相对大量的误差，并且通常可能并不是完全一致的。特别地，伪像和不一致可能在大的且锐利的深度变换附近普遍存在。

因此，直接使用从针对图像在不同方向的差异估计所生成的深度图往往会导致感知质量退化以及伪像的引入，例如在执行视图转移时。

已经尝试通过向深度图应用双边滤波来缓解这样的问题，其中深度图的滤波基于图像的特性而被控制。然而，虽然这样的方法在一些情形中会改善深度图，但是它在许多实际应用和情形中却可能是次优的。特别地，它会针对带纹理对象导致不规则且带噪声的深度变换（如之前由图2所描述并指出的）。

然而，在图4的显示驱动器305中，经修改的深度图通过检测图像中的轮廓，将深度模型拟合至所检测的轮廓，基于经拟合的深度模型确定深度值，以及基于这些深度值修改深度图而生成经修改的深度图。所述经修改的深度图随后被用于观看转移。

更详细地，图像生成器401包括图像转移器403，所述图像转移器403被布置来基于不同取景方向的输入图像以及与输入图像相关联的（经修改）深度图生成给定取景方向的图像。图像转移器403在许多实施例中可以被提供以由不同取景方向的多个图像所提供的三维图像表示形式的单一取景方向的图像，所述多个图像诸如立体图像中的左眼图像或右眼图像。对于已经从外部源接收到这样的三维图像表示形式并且已经在本地通过差异估计生成了深度图的情形而言尤其如此。

图像生成器401进一步耦合至轮廓检测器405，所述轮廓检测器405从图像生成器401接收输入图像并且被布置来检测所述图像中的一个或多个轮廓。每个轮廓可以被确定为包括满足轮廓要求的像素集合。所述要求特别地可以包括相似性要求，其要求像素的相似性量度要足够高。所述轮廓要求可以包括反映集合中的像素是变换区域的一部分的变换要求，并且特别地，所述像素可以是将具有足够不同的（视觉）属性的两个区域——但是其中每个区域的像素满足相似性标准——分隔的变换区域的一部分。在许多实施例中，所述轮廓要求可以包括像素集合的几何要求，诸如属于给定轮廓的像素集合基本上形成垂直线条的要求。

所述轮廓可以特别地被确定为图像中的弯曲线（也称作曲线），以及特别地，所述第一像素集合可以被确定为形成弯曲线的连接像素的集合。特别地，曲率可以为零，即所述弯曲线可以是直线。

轮廓检测器405耦合至模型处理器407，所述模型处理器407被布置来通过将深度模型拟合至像素集合的输入深度值而针对每个所检测的轮廓生成轮廓深度模型。因此，对于包括第一像素集合的第一轮廓，模型处理器407被布置来通过将深度模型拟合至输入深度值——即拟合至输入相关联的深度图的深度值——而生成第一轮廓深度模型。所述初始深度模型特别地可以是具有一个或多个可变参数的预定模型。所述一个或多个可变参数随后可以被模型处理器407进行调节而使得所述模型与第一像素集合的深度值之间的拟合满足要求。所述要求例如可以是累加深度值差值量度被最小化，例如所述模型可适于使得深度模型值和像素集合的输入图的深度值之间的深度值差值的平方和最小化。

在所述轮廓为单一弯曲线的示例中，轮廓深度模型可以对应于由图像的深度维度和两个维度所形成的三维空间中的一维曲线。

在一些实施例中，所述深度模型可以为模型的深度值的深度的深度约束的形式。例如，深度模型可以对应于深度值的空间变化足够低的约束。例如，所述模型可以包括或包含在深度值的空间频率分布的约束。

作为具体示例，深度模型可以简单地是恒定深度模型，即所述模型可以是单个深度值模型。这样的模型可以基于第一像素的相关联深度图的输入深度值进行调适。因此，所述模型可以通过将属于轮廓的像素的深度值设置为单个模型深度值而得以被应用。特别地，所述深度模型可适于反映出属于轮廓的输入深度值的极端深度值（最小值或最大值）、平均值或中间值。

作为具体示例，模型处理器407可以通过将单个深度值设置为属于第一轮廓的像素的输入深度值的最大值而针对所述第一轮廓生成单个轮廓深度模型。

作为另一个示例，所述深度模型可以要求轮廓深度模型深度值的空间频谱被约束为例如仅包括较低频率。例如，可以要求深度值的空间变化率低于给定水平。

在许多实施例中，所述深度模型可以是低通滤波模型，其在被应用于相关联深度图的深度值时导致所述深度轮廓模型。因此，所述深度模型对较高的空间频率有所约束。

作为具体示例，模型处理器407可以向轮廓的像素应用空间低通滤波器以生成包括所述滤波的输出值的深度轮廓模型。所述低通滤波器特别地可以是统一滤波，并且因此所述深度轮廓模型可以被生成为相关联深度图的深度值的移动平均值。

如所提到的，轮廓在许多实施例中可以是图像中弯曲线（包括零曲率线，即直线），其经常也被称作曲线（即，属于轮廓的像素集合可以形成图像中的曲线）。轮廓深度模型对应地可以是三维空间中的曲线。

实际上，在一些实施例中，属于轮廓的像素集合可以被确定为例如单条线，或者实际上可以被确定为连接线的集合。在这样的示例中，轮廓深度模型可以被生成为由三维线段所构成的多段线。例如，第一轮廓可以被确定为垂直线。所述深度模型可以被给定为线条，即它可以将轮廓进行约束以表示线性深度变化。所述系统可以将该深度线拟合至垂直轮廓的深度值。例如，深度线/轮廓线的端点的深度值可以通过使得输入深度图的实际深度值和所述深度线的深度值之间的均方差最小化而得以被确定。作为另一个示例，深度线可以简单地通过将所述深度线的端点设置为轮廓的相对应端点的输入深度图的深度值而被拟合。所述结果因此可以是所述轮廓的轮廓深度模型，所述轮廓深度模型被约束为具有线性且因此平滑的进展。

轮廓深度模型可以描述深度值在沿可能为弯曲线的轮廓移动时的演变（所述轮廓在许多情况下并不封闭，但是例如描述对象和背景之间从A点到B点之间的边缘）。所述轮廓深度模型在许多示例中可以被认为是作为（多个）轮廓——（多个）D——上的位置的函数的一维深度描述，并且例如可以是恒定的、线性的或者更为复杂的多项式。作为另一个示例，所述轮廓深度模型可以是轮廓的输入深度值的低通滤波版本，即低通滤波效应能够被仅应用于属于轮廓曲线的像素的深度值。

将进一步意识到的是，轮廓并不需要是弯曲线，而例如可以被定义为图像中的二维区域。例如，所述轮廓可以例如被确定为矩形。这样的形状通常可以具有大大超过其它维度的一个维度（即，它们往往可以是“长且窄”的），并且宽度例如可以反映出轮廓确定中的不确定性，即可以实现更为逐渐的变换。

进一步地，所述轮廓深度模型例如可以被给定为三维空间中的二维形状。例如，所述深度模型可以是二维四边形，它通过将所述四边形的四个点的深度值设置到矩形轮廓的四个角的深度值的位置而被拟合至所述轮廓。通常，所述四边形也可以是矩形。这样的方法例如可以提供更柔的深度变换。将进一步意识到的是，所述深度模型并不局限于例如单个矩形，而是可以更为复杂。例如，深度模型甚至可以是多边形网格结构，它随后例如通过确定网格交叉点的位置而使得所述网格深度值和输入深度值之间的差针对轮廓像素得以被最小化而被拟合至所述轮廓的输入深度值。

所述模型处理器因此可以确定定义了轮廓的深度值的轮廓深度模型。所述轮廓深度模型基于对轮廓的深度值施加以约束的深度模型而确定。所述深度模型的约束可以是相对约束，诸如对轮廓的深度值变化的约束（例如，变化的最大量和/或频率）。所述轮廓深度模型基于将深度模型拟合至属于轮廓的像素的深度值而被确定，并且通常仅基于属于所述轮廓的像素的深度值而被确定。因此，轮廓深度模型提供了轮廓的像素的深度值并且响应于深度模型以及属于轮廓的像素的至少一个深度值而被确定。在许多实施例中，所述轮廓深度模型可以以属于轮廓的所有像素的深度值为基础来确定。所述深度模型因此可针对具体轮廓进行调适并且可以反映轮廓的至少一种特性（深度值）。所述轮廓深度模型因此特别地可以是轮廓的深度值的模型，并且通常可以通过不考虑其它深度值以及实际上不考虑被发现属于轮廓的像素以外的其它像素而被确定。

因此，所述轮廓深度模型可以是被高度局部调适的模型，它反映出轮廓的深度值的至少一种属性但是通常独立于所有并不属于所述轮廓的像素的深度值。所述轮廓深度模型因此是仅反映轮廓自身的深度值的非常局部且受限的模型。

模型处理器407耦合至深度值确定器409，所述深度值确定器409被布置来针对属于轮廓的像素确定深度模型深度值。因此，针对第一轮廓，深度值确定器409可以评估第一轮廓的轮廓深度模型（即，经拟合或调适的深度模型）以便针对属于第一轮廓的像素——即针对第一像素集合——确定深度模型深度值。

在其中轮廓深度模型是单个深度模型的低复杂度示例中，第一像素集合的深度模型深度值可以简单地被确定为模型的深度值。然而，对于更为复杂的模型，深度值的确定可以针对属于轮廓的每个像素单独执行。例如，在一些实施例中，给定轮廓的轮廓深度模型可以由函数进行表示（例如，表达为公式或等式），所述函数取决于像素（例如，在轮廓内）的具体位置并且该函数可以针对轮廓的每个像素进行估计。

深度值确定器409因此可以针对轮廓生成深度模型深度值并且因此可以针对所述轮廓生成反映如所述模型所反映的预定限制和属性的深度值。然而，所述模型可以基于实际收入的深度值进行调适，因此所产生的深度模型深度值可以反映出预定限制和约束，而且也可以反映出具体图像的属性。

深度值确定器409耦合至修改器411，所述修改器411被布置来通过修改输入相关联深度图的深度值而从相关联深度图生成经修改的深度图。特别地，修改器411被布置来依据深度值确定器409针对（多个）像素所确定的（多个）深度模型深度值而修改至少一个——且通常为全部——属于轮廓的像素。因此，针对第一轮廓的至少第一像素，第一经修改的深度值被计算/确定为针对该第一像素确定的深度模型深度值的函数。

在许多实施例中，修改器411可以被布置来通过利用针对轮廓的给定像素所确定的深度模型深度值替换相关联深度图的输入深度值而针对该像素设置经修改的深度值。

例如，如果深度模型是单个深度值模型，则给定轮廓的输入深度值可以全部被所确定的单个深度值所替换。例如，在许多实施例中，属于给定轮廓的所有像素例如可以被所述轮廓的最大、最小、中间或平均深度值所替换。

将要意识到的是，修改器所应用的具体修改可以取决于个体实施例的偏好和要求。另外，在一些实施例中，所述修改器可以进一步被布置来对并未被检测为属于轮廓的深度值执行修改。例如，在一些实施例中，修改器411可以被布置来向输入深度图应用空间滤波器，包括对属于轮廓的深度值以及不属于轮廓的深度值都应用所述滤波器。在应用滤波器之后，修改器可以被布置来将轮廓的深度值替换为来自（多个）轮廓深度模型的数值（作为示例，诸如向给定轮廓的所有像素指定以相同数值），或者它例如可以被布置来生成作为经滤波的输入深度值和深度模型值的组合的输出深度值。将要意识到的是，所述修改例如还可以包括其它函数和操作，作为示例，诸如限制、动态范围变化、量化变化等。

修改器411耦合至图像转移器403，所述图像转移器403继而使用经修改的深度图生成新的图像。特别地，在生成新图像时的差异和水平转移的确定可以基于经修改的深度图而不是原始深度图的深度。

所述方法在许多情形和应用中可以提供有所改善的性能。特别地，所述方法往往可以针对诸如不同深度的不同对象之间的经常变换的特别关键的区域提供更为鲁棒、一致且噪声较少的深度信息。所述方法在被用来执行取景方向转移时尤其可以使得伪像有所减少且所感知的图像退化有所减少。此外，这些优势可以利用相对低的复杂度和资源使用来实现。而且，所述方法通常是鲁棒的并且例如可以为作为移动图像序列的一部分的图像提供非常高度的时间稳定性。

在许多实施例中，显示驱动器305可以进一步包括用于基于图像的属性对相关联深度图进行滤波的双边滤波器。图5图示了这样的示例。图5的显示驱动器305与图4中的相对应，区别在于双边滤波器501被包括在图像生成器401和修改器411之间。

双边滤波器501在相关联的深度图被修改器411修改之前对其进行滤波。所述滤波是双边滤波而使得给定像素的内核权重取决于输入图像中所述像素的相邻像素（neighborhood）的属性。以这种方式，深度图得以被滤波从而更为紧密地反应图像的属性，以及因此在许多情形下提供有所改善的一致性和有所减少的噪声。例如，对应于同类图像对象的区域内的深度变化/噪声可以被实质性地减少。然而，所述双边滤波在一些情况下会例如由于图像中的纹理或其它变化而引入伪像和不规则性（作为示例，诸如之前参考图2所描述的）。然而，在图5的系统中，通过对属于轮廓的深度值的后续修改，这样的伪像得以被缓解、减少，或者甚至可能被去除。该修改可以允许沿例如纹理图像对象发生明显更为一致的深度变换，并且可以导致所呈现三维图像具有实质性改善的感知质量。

在图5的系统中，仍然使用相关联深度图的输入深度值——即， 使用空间双边滤波器之前的深度图——来执行深度模型的拟合。这已经被发现提供了有所改善的性能并且导致了更为真实的三维感知。特别地，这可以减少或缓解来自双边滤波（且因此例如来自纹理）的对于所检测轮廓的深度信息造成不利影响的伪像或不一致性。其因此可以提供图像的看上去更为均匀且真实的感知。

因此，在图5的示例中，轮廓深度值利用从双边滤波步骤所导致的对于深度图后续修改而直接在差异估计之后被估计。

将要意识到的是，可以执行不同的方法和算法来检测图像中的（多个）轮廓。

特别地，轮廓可以是包含至少两个满足取决于像素位置的视觉属性变化约束和几何约束的像素的像素集合。

视觉属性变化约束特别地可以是亮度和/或颜色变化约束。视觉属性变化约束特别地可以包括轮廓的至少一个像素的视觉属性与并非所述轮廓的一部分的至少一个相邻像素的视觉属性之间的差值量度超过阈值的要求。特别地，所述视觉属性可以是指示强度或颜色量度（诸如数值或变化属性）的属性，和/或可以指示纹理属性。

在一些实施例中，视觉属性变化约束特别地可以包括轮廓的至少一个像素的视觉属性和像素群组的视觉属性之间的差值量度超过阈值的要求，其中所述像素群组是并非所述轮廓的一部分且包括与所述轮廓中的所述至少一个像素相邻的至少一个像素的空间连续的群组。特别地，所述视觉属性可以是指示强度或颜色量度（诸如数值或变化属性）的属性，和/或可以指示纹理属性。

在一些实施例中，视觉属性变化约束可以是纹理差异性约束。这可以将轮廓边缘或轮廓线两侧的视觉结构（强度、颜色和或纹理）进行比较，要求最小差异存在于两侧之间。示例要求是处于轮廓每一侧的相邻像素之间的最小颜色差。

作为另一个示例，所述视觉属性变化约束/纹理差异性约束可以要求轮廓一侧的像素集合的视觉属性和轮廓另一侧的像素集合的视觉属性之间的差值量度超过阈值。特别地，所述视觉属性可以指示纹理属性（诸如静态分布或标准偏差）。

几何约束可以是集合中的所有像素与直线具有给定的最大欧几里得距离。另一种几何约束可以是集合中的所有像素形成矩形像素网格上的8连通分量（8-connectedcomponent）。

特别地，几何约束可以要求指示轮廓的至少一部分轮廓线的形状的几何属性满足要求。所述要求特别地可以是预期轮廓形状的所确定几何属性和预期几何属性之间的差值量度并不超过阈值。

将要意识到的是，在不同实施例中可以使用用于检测轮廓的不同算法和标准。通常，轮廓检测器405可以通过针对给定像素集合检查颜色强度约束和几何约束二者来检测轮廓。如果针对给定集合这两个约束都被满足，则该集合被认为是轮廓。

所述测试例如可以由轮廓检测器405首先确定满足视觉属性变化约束的像素集合来执行。其随后可以继而评估所产生像素集合的几何约束。如果所述几何约束被满足，则所述像素集合可以被认为是轮廓。

在许多实施例中，轮廓检测器405可以被布置来基于第一像素集合的几何要求来检测第一轮廓。所述几何要求可以例如通过评估关于给定像素集合的要求而被明确考虑，或者可以例如通过将要求构建至算法而被隐含考虑，例如通过算法固有地仅考虑满足几何约束的像素。

作为具体示例，轮廓检测器405可以被布置来仅考虑形成单条垂直线的像素集合。因此，如果给定像素属于轮廓（或者被评估以确定其是否属于轮廓），则仅相同列中的相邻像素被评估为相同轮廓的潜在候选。

所述几何要求例如可以包括针对像素集合所形成的轮廓的大小的要求。例如，如果轮廓被认为对应于垂直线，则几何要求可以包括所述线条的长度超过给定阈值的考虑。因此，例如对两个图像区域进行区分的短的像素线可能并不被认为足够大以便被指定为轮廓。

在下文中，将对用于有效检测轮廓的具体方法进行描述。在示例中，轮廓检测器405的目的在于通过检测较长的垂直定向的线条来检测轮廓，这是因为这些线条经常可能反映出对象边界（例如，灯杆、门柱、计算机屏幕的垂直边界、来自文本串的大型字符的垂直边界等）。因此，轮廓要求可以包括被指定为轮廓的像素集合中的像素形成具有大于给定阈值的长度的垂直线的要求。

参考图6对该示例进行描述，图6可以被认为是图5的系统的具体的示例性实例。

在示例中，图像生成器401接收左眼图像

和右眼图像

。其随后继而执行差异估计以生成相关联的深度图D _L 。在当前示例中，所述深度图针对左眼图像生成，但是在其它实施例中，例如可以替代地使用右眼深度图。实际上右眼深度图在一些实施例中甚至可以被用作左眼图像的深度图。任何转移例如可以被补偿，或者差可以被认为足够小。

轮廓检测器405接收左眼图像

并且输出轮廓集合C _k ，其中每个轮廓包括像素集合。

在具体示例中，实施轮廓检测算法，所述算法采用彩色图像I作为输入并且产生作为输出的轮廓图L，其中L逐像素(i,j)地包含像素(i,j)所属轮廓的长度。该轮廓图L还可以被称作长度图或轮廓长度图。所述算法执行访问所有像素位置的自上而下的扫描，随后是自下而上的扫描。因此，它具有非常低的计算复杂度并且能够在具有相对低的资源要求的硬件中实施。

在自上而下扫描的期间，所述算法检测像素(i,j)是否处于阶跃边缘（step edge）上。如果是，则轮廓长度图L相对于针对直接上方像素所确定的长度加1。特别地，所述操作可以通过以下递归公式来描述：

其中所述求和是在颜色通道上进行（例如，对于RGB信号而言是在红色、绿色和蓝色颜色通道上），并且E _min是用于边缘检测的适当阈值（对于具有3个8位颜色通道的图像而言，已经发现大约30的数值对于许多应用是适宜的）。括号内的条件返回1或0，这暗示了在每个图像行，轮廓长度图是否加1。

在第二次、自下而上的扫描中，在第一次扫描中找到的长度值被修改，但是在该扫描中并未包括边缘检测的考虑。相反，给定像素的长度值被设置为针对该像素所存储的长度值与针对下方紧邻像素所存储的长度值中的最大值：

这可以完成轮廓长度图的创建，其中针对每个像素所存储的数值指示认为所述像素所属的垂直轮廓线的长度。对于并不属于轮廓的像素，所述数值将为零。

图7图示了第一次扫描之后的长度图的示例，而图8则图示了所产生的轮廓长度图的示例，即第二次扫描之后的长度图。在该所产生的轮廓长度图中，每个像素位置具有对应于其被认为所属的轮廓的长度的数值。

图7图示了第一次扫描之后的轮廓长度图L，其中除了黑点所表示的像素之外所有数值都为零。数字指示由所描述的第一次扫描为轮廓像素所指定的长度。如能够看到的，所述长度图仅在每个轮廓的底端处是正确的。图8图示了第二次扫描如何将这些数值传播至轮廓的所有像素。

在所描述的示例中，轮廓检测以及轮廓深度模型的生成被认为是两个独立、顺序的步骤。在许多实施例中确实是这样的情况，尤其是在使用更为复杂的深度模型的实施例中。然而，在一些实施例中，轮廓检测、轮廓深度模型的生成以及经修改的深度图的生成可以被组合为单个步骤。例如对于轮廓被约束为垂直直线且具有例如简单地为对应于轮廓中遇到的最大深度水平的单个数值的深度模型的示例而言就是这种情形。所述方法可以与关于图6-8所描述的相类似并且特别地还可以使用两阶段的扫描方法。

在这样的示例中，在第一次的自上而下的扫描中，最终深度

可以使用取决于轮廓长度L_min的递归更新函数来设置。例如，可以应用一下的经更新公式：

是经滤波的差异值（使用双边或其它滤波器）。有效地，在自上而下的扫描期间，原始（未滤波的）差异

在其处于轮廓（在这里被定义为最小长度L _min的边缘像素的垂直定向的连接集合，它在这里例如可以被设置为30个像素）上时被假设为是正确的差异。不仅是原始差异

被假设为对于轮廓像素是正确的，而且除此之外，最大值沿轮廓向下传播（作为公式中的内部最大运算的结果）。因此，在第一次扫描之后，每个轮廓的最低像素被设置为所述轮廓中的像素深度的最大值。

给定轮廓的所有像素的深度水平随后通过附加的自下而上的扫描而被设置为该最大值。在该扫描中，例如可以使用以下的递归更新等式：

图9图示了向图7和8的长度为6的轮廓应用这样的最上而下和自下而上的扫描的结果（深度由像素的暗度来指示）。

以这种方式，直接生成了经修改的深度图，其中深度模型（作为最大深度值模型）针对具体输入进行调适，并且所述经修改的深度图中的轮廓的深度值被该深度模型值所替换，即被所述轮廓的最大深度值所替换。

已经找到了在实践中作用良好的具体方法。这反映出假设在滤波之前所确定的原始差异是准确的常常是适合的，这是因为由于纹理的存在，差异估计算法通常在轮廓处执行得很好。此外，通过轮廓传播最大深度值将所述轮廓设置为单个恒定的深度值并且将所述轮廓朝向观看者向前拉出。这可以确保轮廓在例如没有奇怪的弯曲或其它伪像的情况下得以被渲染。

在该示例中，轮廓检测固有地被所述轮廓应当为垂直线的几何要求所约束。这在许多情况下可以提供特别有益的性能。然而，在其它实施例中，可以使用其它几何要求。例如，在一些实施例中，所述几何要求可以包括轮廓中的像素形成并不超过最大曲率的几何形状的要求。所述曲率可以指示轮廓/轮廓候选弯曲的程度，尤其对于弯曲线而言，可以指示与直线相比偏差的程度。

直线具有曲率0而圆形则具有曲率

。如果我们假设轮廓将对应于圆形的一部分，则我们可以要求该圆形具有给定最小半径R（或者给定最大曲率

）。还能够针对更为复杂的参数曲线来计算曲率。针对这样的曲线，所述曲线上的所有点上的低曲率意味着所述曲线并不快速改变方向。因此，曲率是用于检测轮廓的有用标准。

例如，在一些实施例中，曲率检测器405可以被布置来首先收集基于颜色强度约束和第一几何约束的有序列表中的像素（例如，8连通性），将参数模型曲线拟合至像素位置，并且随后检查最大曲率是否处于曲线上的所有点的给定最大曲率以下。如果该第二几何约束得到满足，我们就将接受所述曲线为新的轮廓。

因此，在一些实施例中，轮廓检测器405可以被布置来将模型曲线拟合至轮廓候选的形状以及确定所述轮廓候选的曲率为模型曲线的曲率。随后可以要求所述曲率并不超过阈值。模型曲线的曲率例如可以响应于用于计算所述模型曲线的曲率的预定函数来确定。因此，轮廓检测器405可以例如计算用于拟合模型曲线的参数，并且曲率可以被计算为这些参数的函数。确切的函数和/或阈值（最大曲率）可以取决于个体应用和实施例的偏好和要求。

使用最大曲率的几何要求可以提供没有要求直线那么严格的要求，并且因此允许一些变化，而同时要求轮廓被限制为被认为是许多轮廓典型的形状。

而且，在该示例中，已经以单一/恒定深度值模型的形式使用了低复杂度的模型。在许多实施例中，这已经被发现通过沿轮廓提供一致深度而提供了有利的性能。

在一些实施例中，使用诸如最大或最小深度值之类的极端值可能是有利的。这往往可以将对象变换定位在最远的前面的对象的深度或最远的后面的对象的深度。在其它实施例中，所述模型的单个数值可以被设置为轮廓的平均或中间值。这往往可以从原始深度测量中去除噪声。

然而，在其它实施例中可以使用更为复杂的模型。例如，所述模型可以是线性深度值模型（特别是单个一阶多项式），其中例如线性深度梯度和转移被拟合至深度值。所述拟合例如可以寻求针对如所述线性深度梯度和转移所确定的轮廓的像素而使得像素的输入深度值和像素的深度模型深度值之间的平方差最小化。

在其它实施例中，所述线性深度值模型可以由多个分段线性（一阶多项式）的子部分所形成，所述子部分能够单独地被拟合至轮廓的输入深度值。

这样的方法在许多情形下可以对深度变换提供更为准确的反映，同时仍然允许深度变换的噪声有所减少和/或一致性有所提高。

在其它实施例中，所述深度模型可以是可以被拟合至输入深度值的更高阶多项式（或者多个更高阶多项式）。

在所描述的方法中，经修改的深度图通过将相关联深度图中的输入深度值替换为通过评估轮廓深度模型所确定的深度值而生成。这可以促进实施并减少资源使用，同时在许多实施例中提供了高性能。实际上，其可以在对象变换处导致非常一致且均匀的深度值。

然而，在其它实施例中，经修改的深度图可以通过将输入深度值和所确定的深度模型深度值进行组合而生成。特别地，对于属于所检测轮廓的给定像素而言，深度值可以被生成为所述像素的原始输入深度值和已经由深度值确定器409所生成的深度模型深度值的组合。这样的方法可以提供在许多情形下可以导致有所改善的感知质量的更为平滑且居中的深度。

在该示例中，轮廓检测器405简单地确定像素是否属于轮廓，并且如果是，则使用深度模型深度值。然而，在一些实施例中，轮廓检测器405可以被布置来提供软决策数值。因此，不同于仅指示像素是否属于轮廓，轮廓检测器405可以提供指示像素属于轮廓的置信度或估计概率的数值。

将要意识到的是，生成软决策数值而不是硬决策数值对于许多检测或估计算法来说是常见的。例如，许多检测算法生成数值，所述数值随后与阈值进行比较以便作出二进制决策。在这样的情形下，所述数值可以另外被用作用于检测的软决策数值。

轮廓检测器405可以将软决策数值生成为指示像素属于轮廓的估计可能性的任意适当数值。在许多实施例中，软决策检测数值可以响应于第一轮廓的几何属性而生成。例如，如果连续像素的集合已经被确定为可能是轮廓的一部分（例如，它们被检测为边缘或变换像素），则轮廓检测器405可以生成反映所产生的几何形状与轮廓预期的几何形状对应有多紧密的软决策数值。

例如，在图5-8的示例中，轮廓的长度可以被认为是软决策检测数值。实际上，所检测的轮廓越长，就越可能反映出实际轮廓且所述检测越不可能是由随机变化所导致。

在这样的实施例中，修改器411可以被布置来将修改深度图的深度值生成为输入深度值和深度模型深度值的加权组合，特别是它们的加权和。每个深度的权重可以被设置为软决策检测数值的函数。

因此，以这样的方法，经修改的深度值可以并非简单地通过选择输入深度值或深度模型深度值而生成。相反，可以基于所述软决策检测数值来执行这些深度值的加权组合。例如，如果置信度数值/软决策检测数值α被生成为反映像素属于轮廓的估计概率的0和1之间的数值，则该像素的修改深度值可以被计算为：

其中

表示从轮廓所预测的深度值，而

则表示输入深度值。

这样的方法在实践中已经被发现在许多情形下特别限制了深度图的时间不一致性。

将要意识到的是，以上描述已经出于清楚的目的参考不同功能电路、单元和处理器对本发明的实施例进行了描述。然而将显而易见的是，可以使用不同功能电路、单元或处理器之间的任意适当功能分布而并不背离本发明。例如，被说明为由分开的处理器或控制器所执行的功能可以由相同处理器或控制器来执行。因此，对具体功能单元或电路的引用仅被视为对用于提供所期望功能的适当器件的引用而并非指示严格的逻辑或物理结构或组织。

本发明可以以任意适当形式来实施，包括硬件、软件、固件或者这些的任意组合。本发明可以任选地至少部分被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的部件和组件可以以任意适当方式在物理、功能和逻辑上予以实施。实际上，功能可以以单个单元、多个单元来实施或者作为其它功能单元的一部分来实施。这样，本发明可以以单个单元实施或者可以在物理和功能上在不同单元、电路和处理器之间进行分布。

虽然已经结合一些实施例对本发明进行了描述，但是其并非意在被限制为这里所给出的具体形式。相反，本发明的范围仅由所附权利要求来限定。此外，虽然特征可能表现为结合特定实施例进行了描述，但是本领域技术人员将会认识到，所描述实施例的各个特征可以依据本发明进行结合。在权利要求中，术语包括并不排除存在其它部件或步骤。

此外，虽然被单独列出，但是多个器件、部件、电路或方法步骤例如可以由单个电路、单元或处理器来实施。此外，虽然个体特征可以被包括在不同权利要求中，但是这些可能有利地进行组合，并且包括在不同权利要求中并不意味着特征的组合不是可行和/或有利的。而且，特征包括在一个类型的权利要求中并不意味对该类型的限制，而是指示该特征可等同地适当应用于其它权利要求类型。此外，特征在权利要求中的顺序并不意味着特征必须以其进行工作的具体顺序，特别是方法权利要求中个体步骤的顺序并不意味着步骤必须以该顺序执行。相反，步骤可以以任意适当顺序来执行。此外，单数引用并不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用并不排除多个。权利要求中的附图标记仅被提供为起澄清作用的示例而并不应当以任何方式被理解为对权利要求范围进行限制。

Claims (15)

1.一种用于生成深度图的装置，所述装置包括：

用于提供图像以及包括输入深度值的相关联深度图的图像生成器（401）；

用于检测图像中的至少第一轮廓的轮廓检测器（405），所述第一轮廓包括第一像素集合；

用于通过将深度模型拟合至仅针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型的模型处理器（407）；

用于从所述轮廓深度模型针对所述第一像素集合中的至少第一像素确定深度模型深度值的深度值确定器（409）；以及

用于通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图的修改器（411）；其中

所述修改器（411）被布置来响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。

2.根据权利要求1所述的装置，其中所述修改器（411）被布置来将所述第一经修改的深度值设置为所述深度模型深度值。

3.根据权利要求1所述的装置，其中所述修改器（411）被布置来将所述第一经修改的深度值生成为所述深度模型深度值和所述第一像素的输入深度值的组合。

4.根据权利要求3所述的装置，其中所述轮廓检测器（405）被布置来生成软决策检测数值，所述组合是加权组合，以及所述修改器被布置来响应于所述软决策检测数值而确定所述深度模型深度值和所述第一像素的输入深度值中至少一个的权重。

5.根据权利要求4所述的装置，其中所述轮廓检测器（405）被布置来响应于所述第一轮廓的几何属性而生成所述软决策检测数值。

6.根据权利要求1所述的装置，其中所述轮廓深度模型是恒定深度值模型。

7.根据权利要求6所述的装置，其中所述模型处理器（407）被布置来将轮廓深度模型生成为针对第一像素集合的极端输入深度值、平均输入深度值和中间输入深度值之一。

8.根据权利要求1所述的装置，其中所述轮廓深度模型是线性深度值模型。

9.根据权利要求1所述的装置，其中所述轮廓检测器（405）被布置来在所述第一像素集合的几何要求的约束下确定所述第一轮廓。

10.根据权利要求9所述的装置，其中所述几何要求包括所述第一像素集合形成不超过最大曲率的几何形状的要求。

11.根据权利要求1所述的装置，进一步包括用于基于所述修改器修改之前的图像对相关联深度图进行滤波的双边滤波器（501）。

12.根据权利要求1所述的装置，其中所述轮廓检测器（405）被布置来响应于包括视觉属性变化约束和几何约束的轮廓要求来检测所述第一轮廓。

13.根据权利要求1所述的装置，其中所述图像生成器（401）被布置来响应于基于所述图像以及对应于不同取景方向的第二图像的差异估计而生成所述相关联深度图。

14.一种生成深度图的方法，所述方法包括：

提供图像以及包括输入深度值的相关联深度图；

检测图像中的至少第一轮廓，所述第一轮廓包括第一像素集合；

通过将深度模型拟合至仅针对所述第一像素集合的输入深度值而针对所述第一轮廓生成轮廓深度模型；

从所述轮廓深度模型针对所述第一像素集合中的至少第一像素确定深度模型深度值；以及

通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图；其中

生成经修改的深度图包括响应于所述深度模型深度值而针对所述经修改的深度图中的第一像素生成第一经修改的深度值。

15.一种计算机存储介质，其上存储有计算机程序，所述计算机程序包括计算机程序代码器件，所述计算机程序代码器件适于在所述程序在计算机上运行时执行权利要求14的全部步骤。

Images