CN102203829A

CN102203829A - 用于生成深度图的方法和设备

Info

Publication number: CN102203829A
Application number: CN2009801439795A
Authority: CN
Inventors: B·G·B·巴伦布鲁格
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-11-04
Filing date: 2009-11-02
Publication date: 2011-09-28
Anticipated expiration: 2029-11-02
Also published as: JP5587894B2; TW201029443A; KR20110093829A; TWI524734B; US8447141B2; WO2010052632A1; US20110210969A1; JP2012507907A; EP2347386A1; KR101625830B1; CN102203829B; EP2184713A1

Abstract

本发明涉及使用单眼信息生成图像的深度图的设备和方法（100），该方法包含：生成（110）图像（205）的第一深度图，其中，所述第一深度图与对于该图像中描绘的场景的全局深度分布的估计相对应；生成（120）该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成（130）该图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。本发明进一步涉及用于执行根据本发明的方法的计算机程序产品。

Description

用于生成深度图的方法和设备

技术领域

本发明涉及用于使用单眼信息生成图像的深度图的方法和设备，以及涉及计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品。

背景技术

在过去十年中，相当多数量的研究已聚焦于在家庭中和周围使用的3D显示技术的实现。结果，有了立体和自动立体显示器两者的风潮。

在立体显示器中，例如一般由位于观众眼睛和显示器之间的眼镜或薄片（foil）辅助观众的眼睛以时间复用或同时的方式（例如，通过光谱分离）将左眼图像引至观众的左眼，并将右眼图像引至观众的右眼。由于用户一般发现佩戴眼镜是麻烦的，因此自动立体显示器同样已受到相当多的注意。自动立体显示器（经常为多视图显示器）一般允许可视以聚焦于观众的视锥（viewing cone）的方式所复用的多个（例如，5-9或者更多）图像或视图。通过分别利用左右眼从锥体观察分离的视图，肉眼获得了立体效果。

对于立体显示器和自动立体显示器两者的重要问题是内容的传送。已知各种办法用于将三维内容传送至显示器。这些办法中的一些办法明确地对所有的视图编码，而其它办法对一个或一些视图以及这些视图中的一个或所有视图的附加深度和/或视差信息进行编码。提供深度信息的优点在于，其例如在基于所提供的图像呈现附加视图时，方便了三维内容的操作。

尽管例如可以通过立体图像的视差的分析或者使用测距仪（range finder）来获取这些深度信息，但是这一般仅对于新获取的内容而言是可能的。此外，立体或多视图获取一般也具有更高的成本。结果，已存在相当多的研究聚焦于从单眼图像或单眼图像序列获取深度信息。可想象范围从完全自动转换至用于高质量内容的用户辅助2D到3D转换的这些算法的各种应用。在用户辅助2D到3D转换的情况下，计算机辅助深度图生成可能代表相当多的时间节省。

S. Battiato 等人在Proceedings of SPIE Electronic Imaging 2004, Three-Dimensional Image Capture and Applications VI - Vol. 5302-13中出版的“Depth Map Generation by Image Classification”给出了从单眼图像获得深度图的办法的示例。

在上面的论文中，通过组合基于所估计出的图像全局深度分布的深度图来生成深度图，其然后与包含图像结构的另一个深度图相组合。然而，作为结果的组合并不总是在作为结果的图像中提供令人满意的深度感觉。

发明内容

据此，对于本发明的目标，本发明需提供一种替代的方法，其提供替代的深度图。

以上通过使用单眼信息生成图像的深度图的方法而实现，该方法包含：生成该图像的第一深度图，其中，所述第一深度图对应于对于该图像中描绘的场景的全局深度分布的估计；生成该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成该图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。

第三深度图的生成基于两个下面（underlying）的深度图成分：第一和第二深度图，它们均基于所估计出的在该第一深度图下面的全局深度分布。具体地，当该图像是来自图像序列的图像时，对于该序列中的各相邻图像，该全局深度分布可能是类似的，由此有助于第三深度图的时间稳定性。

第二深度图生成接着将局部结构高效地并入到全局深度分布。在第二深度图的生成期间，图像中的亮度和/或色彩相似性用于分配深度值。结果，局部地使得图像中具有相似色彩和/或亮度的各对象的深度值更加相似，从而产生在图像中具有相似性的结构，获得一般更加相似并且经常不同于全局深度分布的深度值。

注意，上面提到的相似性可以量化为落在色彩和/或亮度值的预定变化内。

最后，第三步骤以高效地缩放第一和第二深度图之间的某些差异的方式来组合所生成的第一和第二深度图。在根据本发明的一个实施例中，这允许在局部结构和全局深度分布之间引入更加显著的差异。以此方式，可以为各对象增强第一和第二深度图之间经常为某种程度的细微差异，这产生更加动态的深度图。可替代地，第二深度图中的局部结构可能太显著，在这种情况下，具有0和1之间的因子的缩放可改善3D观看体验。

注意，当生成第二深度图中的像素的深度值时，使用处于第一深度图中对应像素周围区域中的、来自第一深度图的深度值。优选地，基于色彩和/或亮度相似性（尽管也可以使用其它的图像属性，如图像动作、局部边缘状态（edginess）和/或附近的纹理量）来加权这种相邻深度值的深度值。以此方式，相比于较不相似的像素，与相似色彩和/或亮度的像素相关联的深度值更加有助于第二深度图中的像素的深度值。

注意，这里的相邻旨在表示局部而不是全局；即，不基于图像的整体。实践中，相邻经常涉及光圈内的像素。尽管光圈可以是预定形状和/或尺寸，但是其也可以例如基于进一步的图像信息来动态地适配光圈。

在实施例中，第一深度图基于深度图模板。这种模板可以是简单的普通模板，如斜线；即，从场景底部的前景到顶部的背景的渐变。替代的斜线可以包含定义背景开始的某一垂直位置上的水平线。可替代地，可以构造更加复杂的能够以参数表示的模板，如上面所引的、在此通过引用并入的S. Battiato的“Depth Map Generation by Image Classification”中公开的模板。这里给出了关于可以怎样基于图像分析来构造能够以参数表示的全局深度分布的示例。一般而言，深度图模板包含对于特定类型场景的深度分布的估计，由此可能表现出相当大的变化；例如，考虑室内对话场景的典型深度分布或者鱼眼特写之间的差异。

在优选实施例中，第二深度图的生成包含：将双边滤波器应用于图像中的色彩和亮度值之一以及第一深度图中的深度值。结果，不需要图像的分割，然而同时，图像内的色彩和/或亮度变化可用于防止来自色彩转变一侧的深度值有助于色彩转变另一侧的像素的深度值。结果，相比于第一深度图中的各对应区域，第二深度图中对应于具有特定色彩和/或亮度相似性的各区域的深度值一般将具有更加相似的深度值。结果，将会使得对象更加不同于全局深度分布。

在进一步的优选实施例中, 第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且为：

- 第一深度图中的对应深度值，或

- 基于来自第二深度图的对应深度值的候选深度值。实践中，一般将第三深度图的深度值设为第一深度图中的深度值与基于来自第二深度图的对应深度值的候选深度值中的最大者。作为这种特定措施的结果，第三深度图中的深度值不会置于全局深度分布的后面。从而，在第二深度图中被置于全局深度分布后面的（部分）对象将被设为全局深度分布。将注意，设想进一步的候选深度值。

上面提到的有利实施例中的候选值包含来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差异。结果，可能即使在用户/观众控制的情况下，增强也可以予以调整。可替代地，候选值可包含基于在空间上相邻于来自第一深度图的深度值的一个或多个深度值的阈值深度值。以此方式，对于具有特定色彩或亮度的对象的深度值可以得到进一步增强。

在实施例中，为其生成深度图的图像是图像序列的一部分。作为第一阶近似，可以以镜头（shot）分割图像序列，然后可以基于镜头中的图像来选择全局深度分布。以此方式，所生成的深度图的时间连续性可以得到进一步改善。

在更加先进的方法（其可以特别有利地例如与能够以参数表示的深度图模板相组合）中，基于镜头中多于一个的图像（例如，镜头中的第一个和最后一个图像），或者假设在镜头内具有关于大量图像/帧的进一步变化的情况下，来确定全局深度分布。

尽管上面的实施例是特别有益的，但这并不排除进一步的实施例，如这样的实施例：其中基于处于隔离的图像序列的每个图像/帧，或者更加可选地通过评估当前图像/帧以及所使用的最后的全局深度分布，来选择全局深度分布。

对于本发明的目标，本发明需进一步提供一种替代的设备，其提供了替代的深度图。

以上通过用于使用单眼信息生成图像的深度图的设备而实现，该设备包含：接收装置，其被安排用于接收图像；以及处理装置，该处理装置配置为：生成该图像的第一深度图，其中，所述第一深度图对应于对于该图像中描绘的场景的全局深度分布的估计；生成该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。

以上进一步通过计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品而实现。

本发明的这些和其它方面、特征和优点将根据下文描述的（一个或多个）实施例而清楚，并且将参照所述实施例加以说明。

附图说明

将参照附图，仅以示例的方式描述本发明的实施例，附图中

图1示出根据本发明的方法的流程图；

图2示出根据本发明的设备的框图；

图3A示出第一和第二深度图的垂直横截面；

图3B示出两个深度图的垂直横截面；

图3C示出三个深度图的垂直横截面；

图3D示出三个深度图的垂直横截面；

图4示出对于场景的全局深度分布的若干估计；以及

图5示出根据本发明的方法的若干步骤的输出。

具体实施方式

如上指出的，使用单眼信息生成图像的深度图比使用立体图像时更加复杂。在立体或多视图图像的情况下，经常可以使用场景的各个视图之间的视差，以获得与视图中描绘的场景有关的深度信息。

尽管立体以及较小程度上的多视图获取装置正变得可用，然而相比于单眼获取装置，一般仍存在使用这些装置时所涉及到的附加成本。此外，对于现有的单眼内容，经常不能以双视图（即，立体）或多视图形式进行重新捕获。

结果，需要用于使用单眼信息生成图像的深度图的方法。

图1示出根据本发明的方法100的流程图。方法100表示使用单眼信息生成图像的深度图的方法。该方法包含用于生成110图像的第一深度图的第一步骤。在该第一步骤期间，生成深度图（一般为图像中所有像素的深度图），其中第一深度图中的深度值与对于图像中描绘的场景的全局深度分布的估计相对应。

在V. Nedovic等人发表于IEEE 11^th International Conference on Computer Vision, 2007, ICCV 2007的“Depth Information by Stage Classification”中（这里通过引用将其并入），给出了5个全局深度级和11个更具体的深度级的图像的分类，以及将图像映射于这些深度级上的方法。全局级对应于包含天空、背景和地面的第一级（如，风景镜头）。第二级包含框（box），通常适于室内场景。第三级称为角落级，通常适于室内场景。第四级用于背景前方的一个或多个人，最后，第五级包含不具有深度的场景。

尽管上面的论文中所使用的分类是特别有利的，但是应当注意，其不是穷举的，而是可以由本领域技术人员容易地扩展。例如，论文中给出的模型未提供与使用鱼眼透镜制作的微距镜头（macro shot）相对应的全局深度分布。

图4提供可用于某些图像的全局深度分布的深度图的若干示例。这里，图像410提供了图像底部的前景至图像顶部的背景的渐变。对于本领域技术人员清楚的是，一般而言，当使用这种分布以通过检测水平线并随后将水平线以上的所有像素置于背景中来提炼（refine）该分布时，其可能是有益的。可替代地，创建具有更多预示的云彩的风景可能是有利的。在后一情况下，可以使用包含两个垂直渐变的图像420。结果，位于图像顶部的云彩相比于水平线上的那些更靠近于观众。

图像440接着示出了对于鱼眼微距镜头的全局深度分布的深度图，其包括具有白色中心和朝向图像边缘的更暗的环形的圆形渐变。结果，将图像的中心从观察图像的视点移开最近，并且将图像的边缘从观察图像的视点移开最远。最终，图像450像前方观看的场景一样提供了简单框（box）的深度图。

再次参考图1，在生成第一深度图之后，下一步骤对应于生成120图像的第二深度图。在第二深度图中，与像素相关联的深度值基于以下两者：

- 在空间上相邻于该像素的区域内的第一深度图中的深度值，以及

- 该区域内的图像的色彩和/或亮度值。

注意，第二深度图明确地基于第一深度图以及图像中的色彩和/或亮度信息。结果，第二深度图通常允许将具有不同色彩和/或亮度的对象与全局深度分布进行区分。

在优选实施例中，第二深度图的生成一方面涉及例如对于第一图像中深度值的双边滤波器，另一方面涉及对于图像的色彩信息的双边滤波器。

为了将局部结构添加至深度图，可以使用交叉（cross）或联合（joint）双边滤波器。

双边滤波器是既利用（空间）域又利用（强度）范围特性的非线性滤波器。下面的等式（1）示出了基本的双边滤波器。通过位置p的邻居S中来自输入图像I_q的各位置q的各像素的加权平均，确定输出图像O_p。加权计算取决于空间距离函数s和强度范围函数r。这里的函数s是传统的2D卷积滤波器核（kernel）。函数r接着随着更大的强度差异而减小，以传送边缘保存特性。

Figure 2009801439795100002DEST_PATH_IMAGE001

其中，

(1)

优选地，函数s和r按照下面在等式（2）和（3）中所示的那样实施，其中

Figure 2009801439795100002DEST_PATH_IMAGE003

(2)

并且

(3)

如上面提到的，基于来自第二图像的色彩和/或亮度信息的范围信息引入局部深度信息的特别有利的方式是应用交叉或联合双边滤波器。在本发明的实施例中，使用这种联合双边滤波器生成第二深度图。联合双边滤波器用于使用来自输入图像的范围信息（色彩和/或亮度）来对第一深度图（其表示对于场景的全局深度分布的估计）进行滤波。

等式（4）示出可以如何使用第一深度图D1_p（其表示对于场景的深度分布的估计）和来自图像I的图像内容来生成第二深度图D2_p。

其中

(4)

尽管上面提供了生成第二深度图的特别有效的方法，但是可以以对于本领域技术人员已知的其它方式来生成第二深度图。

如Proceedings of European Conference on Computer Vision (ECCV'06), 2006中出版的Sylvain Paris和Frédo Durand所著的“A Fast Approximation of the Bilateral Filter using a Signal Processing Approach”中描述的（在此通过引用将其包括），优选地可以在更高维数的双边网格域中表达（formulate）双边滤波器。这种表达使用粗略的3D网格对数据进行下采样，因此可以非常高效地实施。这种办法可以有利地与这里公开的方法相组合，这是由于在优选实施例中，可以在上采样之前，在下采样的3D网格中执行用以生成第三深度图的缩放操作。在上面的论文中，Paris和Durand表明可以针对双边滤波器自身进行下采样。当应用于本发明时，这意味着可以以更低的分辨率生成第一和第二深度图两者。

再次参照图1，在第二深度图生成之后，该方法继续如下的步骤：使用来自第一深度图和第二深度图的深度值生成130图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。

上面再次在视觉上呈现在图3A-3D中。图3A示出第一深度图的垂直横截面10和第二深度图20的垂直横截面。如可看到的，第一深度图对应于斜线。第二横截面接着对应于在某种程度上跟随第一深度图但是局部地与其背离的曲线。该第二曲线是可以例如按照上述那样使用双边滤波器生成的示例曲线。

尽管双边滤波器是特别有利的，但是也设想了其它的办法，如，通过对输入图像使用分割之后进行T－结合处检测（其中，可以使用来自第一全局深度图的值将T－结合处所提供的稀疏的局部排序集成为密集的深度分布）。图3B再次示出垂直横截面10以及根据本发明的、与横截面10和20上的（Z方向中的）最大值相对应的第三垂直横截面30。这里，深度值d3(y)与垂直横截面30的各个深度值相对应，对应于：

(5)

其中，d1(y)对应于横截面10的各个深度值，并且

其中，d2(y)对应于横截面20的各个深度值。

图3C基于横截面30接着示出了根据本发明的第四垂直横截面40。横截面40与横截面30一起示出，以便说明横截面40上的如下这样的点：其处于斜线（横截面10）前面，并且位于距离该斜线像横截面 30上的对应点两倍那么远。

(6)

通过为选择适当的值，可以进一步加强或降低深度差。当创建深度图时，此参数允许用户基于局部色彩和/或亮度变化来增强深度图变化。结果，图像的深度图更加有可能示出与图像信息的适当相关性，结果，将提供更加栩栩如生的外观，而的更低值将产生主要反映场景的总体深度分布的深度图。

对于本领域技术人员清楚的是，是否要放大差异或削弱差异的选择是高度取决于第二深度图的特性的。在第二深度图显现与第一深度图的巨大差异的情况下，可能需要削弱差异。而当差异通常较小时，可以适宜进行差异的放大。

图3D接着示出同样根据本发明的第五垂直横截面50。第五横截面接着示出将横截面40上的处于斜线前面的点的深度值设为阈值d2_T(y)。基于色彩和/或亮度相似性，通过垂直扫描确定这里的阈值。在这种垂直扫描（这里为底部至顶部）期间遇到就色彩和/或亮度而言从背景中突出的并且具有显著更高深度值的部分的情况下，那么可以基于在扫描中遇到的深度值，为此部分选择阈值。此部分下面和上面的深度值（扫描方向上）接着通常将反映第一深度图中呈现的全局深度分布；即，除非存在其它的部分。通过针对顶部手右边的横截面50沿着背景斜率延伸深度值，将该处理显现在图3D中。这里，示出了深度值中的“不连续”，其对应于图像中的色彩和/或亮度不连续。

(7)

如上文所指出的，通过在更高维数双边网格域中表达用于生成第二深度图的双边滤波器，深度图生成变得更加高效。然而，该特定实施方案另外地提供了进一步的优点；这是由于双边滤波器的该特定表达在额外的亮度（或色彩）范围中提供了另外的分离。这接着意味着可以如图3D中示例的那样使用单个扫描，其中具有亮度（或色彩）相似性的每个相应部分可以隔离地予以处理。结果，由于不再需要明确地检测任何的不连续，因此该特定实施方案提供了附加的效果。

来自图1的方法进一步图示在图5中。图5示出已经使用根据本发明的方法处理的一系列图像部分。图像510包含输入图像的一部分，该特定部分对应于一些冰山的场景视图，其中图像510的底部对应于前景，而图像的顶部对应于背景。

图像520中提供了基于斜线的第二深度图，注意，随后使用双边滤波器（其使用了第一深度图以及图像的亮度两者）来对斜线进行滤波。随后，图像530提供与中间值对应的图像，所述中间值与第一和第二深度图中的最大者对应。

为了进一步增强深度印象，本发明建议按照图3C示出的示例增强第一和第二深度图之间的差异（这里按因子2来增强）。作为结果的图像540示出对于图像530的一些改善，尤其是相比于冰山后面的天空使得部分冰山前移。

图像550示出相同的过程，这里按因子4增强。结果，对于前景对象的深度印象得到进一步改善。

图2示出根据本发明的用于使用单眼信息生成图像205的深度图的设备200。设备200包含接收装置210，其被安排用以接收图像。尽管为了清楚仅参照单个图像的深度图的生成讨论了示例，但是对于本领域技术人员清楚的是，这可以针对图像序列的深度图的生成而加以修改。实际上，根据本发明的设备优选地是这样的设备：其适用于单眼图像序列至三维视频信号（其例如包含图像信息和深度信息的并行流）的2D至3D转换。

设备200进一步包含处理装置220。这种处理装置一般可以以各种方式来实施，例如，使用通用处理平台、使用数字信号处理器和/或使用专用集成电路。处理装置200配置为生成图像205的第一深度图。第一深度图与对于图像中描绘的场景的全局深度分布的估计相对应。

处理装置进一步配置为生成图像的第二深度图。第二深度图中的深度值通常与图像中的单个像素相关联（尽管深度图的分辨率可能在本发明的某些实施例中相比于图像205的分辨率被子采样）。

关联到特定图像像素的第二深度图中的深度值基于在空间上相邻该图像像素的区域内的第一深度图中的深度值。另外，其基于该区域内图像像素的色彩或亮度值。结果，相比于呈现在第一深度图中的全局深度信息，第二深度图可包含局部深度信息。

处理装置进一步配置为使用来自第一深度图和第二深度图的深度值生成图像205的第三深度图215。当生成第三深度图中的深度值时，第一和第二深度图之间的经常细微的深度差被缩放。结果，相比于第二和第一深度图的深度值之间的对应差异，第三深度图的特定深度值和第一深度图的对应深度值之间的特定差异被缩放。

可选地，设备200可进一步包含额外的软件/硬件装置以用于处理第三深度图。

例如，第三深度图215可以随后在设备200内被进一步处理，或者可替代地，可以存储于存储装置230以便稍后使用。可替代地，第三深度图可以由编码装置240（优选地连同图像205一起）编码为三维图像信号。然后这种编码图像信号可以存储于存储装置230，或者通过发送装置250发送，例如以便使用（例如）诸如IP协议之类的协议、例如通过线缆或RF进行发送。

更进一步可替代地，第三深度图优选地与图像205一起可用作输入，以用于呈现装置260呈现一个或多个视图。呈现的视图接着可以输出在三维（自动）立体显示装置270上。

将理解的是，上面的描述出于清楚的原因参照各种功能单元描述了本发明的实施例。然而，将清楚的是，可以使用不同功能单元（或处理器）之间的任何适当的功能分布而不减损本发明。例如，被示出由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元的引用应当仅仅视作对于用于提供所描述的功能的适当装置的引用，而不是表示严格的逻辑或物理结构或组织。

本发明可以以任何适当的形式实现，包括硬件、软件、固件或者这些的任意组合。可选地，本发明可以至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以在物理上、功能上和逻辑上以任何适当的方式实现。事实上，所述功能可以在单个单元中、在多个单元中或者作为其他功能单元的一部分而实现。同样地，本发明可以在单个单元中实现，或者可以在物理上和功能上分布在不同单元和处理器之间。

尽管已经结合一些实施例描述了本发明，但是本发明并不预期限于本文阐述的特定形式。相反地，本发明的范围仅由所附权利要求书限制。此外，虽然特征可能看起来结合特定实施例而被描述，但是本领域技术人员将认识到，依照本发明可以组合所描述的实施例的各种特征。在权利要求书中，措词包括/包含并没有排除其他元件或步骤的存在。

此外，尽管单独地被列出，但是多个装置、元件或方法步骤可以由例如单个单元或处理器实现。此外，尽管单独的特征可以包含于不同的权利要求中，但是这些特征可能地可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。而且，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征同样可适当地应用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着其中特征必须起作用的任何特定顺序，并且特别地，方法权利要求中各个步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除复数。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被解释为限制了权利要求的范围。

Claims

1.一种使用单眼信息生成图像（205）的深度图的方法（100），该方法包含：

- 生成（110）图像（205）的第一深度图，其中，所述第一深度图对应于对于图像（205）中描绘的场景的全局深度分布（410、420、440、450）的估计，

- 生成（120）图像（205）的第二深度图（520），其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个，以及

- 使用来自第一深度图和第二深度图的深度值生成（130）图像（205）的第三深度图（530、540、550），该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。

2.如权利要求1所述的方法，其中，

针对具有色彩和亮度相似性中的至少一个的空间区域中的多个像素缩放深度差异。

3.如权利要求1所述的方法，其中

生成（130）中涉及的缩放将深度差异进行放大。

4.如权利要求1所述的方法，其中

第二深度图的生成包含：将双边滤波器应用于图像中的色彩和亮度值之一以及第一深度图中的深度值。

5.如权利要求1所述的方法，其中

第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且选自以下之一：

- 第一深度图中的对应深度值，以及

- 基于来自第二深度图的对应深度值的候选深度值。

6.如权利要求5所述的方法，其中

所述候选深度值是来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差。

7.如权利要求6所述的方法，其中

候选深度值是基于在空间上相邻于来自第一深度图的深度值的深度值的阈值深度值。

8.如权利要求1-7中任何一项所述的方法，其中

所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计对于镜头中的所有图像是相同的。

9.如权利要求1-7中任何一项所述的方法，其中

所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计基于镜头的多于一个的图像而确定。

10.一种用于使用单眼信息生成图像（205）的深度图的设备（200），该设备包含：

- 接收装置（210），其被安排用于接收图像，以及

- 处理装置（220），该处理装置配置为：

- 生成图像（205）的第一深度图，其中，所述第一深度图对应于对于图像（205）中描绘的场景的全局深度分布（410、420、440、450）的估计，

- 生成图像（205）的第二深度图（520），其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个，以及

- 使用来自第一深度图和第二深度图的深度值生成图像（205）的第三深度图（530、540、550），该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。

11.如权利要求10所述的设备，其中，

配置所述处理装置，以使得针对具有色彩和亮度相似性中的至少一个的空间区域中的多个像素缩放深度差异。

12.如权利要求10所述的设备，其中

配置所述处理装置，以使得第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且至少选自：

- 第一深度图中的对应深度值，以及

- 基于来自第二深度图的对应深度值的候选深度值。

13.如权利要求12所述的设备，其中

配置所述处理装置，以使得所述候选深度值是来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差。

14.如权利要求10-13中任何一项所述的设备，其中

15.如权利要求10-13中任何一项所述的设备，其中

所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计基于镜头的多于一个图像来确定。

16.一种计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品，该产品包含用于执行根据权利要求1-9的任一项的方法步骤的指令。