CN101822068B - 用于处理深度图的方法和设备 - Google Patents

Abstract

本发明涉及一种用于处理深度图710的设备和装置，该方法包括：基于有损压缩深度图获得深度图710，该深度图710包含一视点的场景的深度信息，该场景包括目标；获得有关该视点的场景的遮挡信息，该遮挡信息包括被深度图710中的目标遮挡的信息；以及使用该遮挡信息的至少一部分处理深度信息的至少一部分以便减少深度图710中的压缩伪像。

Description

用于处理深度图的方法和设备

技术领域

本发明涉及用于处理深度图的方法和设备。

背景技术

一段时间以来，不同的公司一直在积极开发适用于再现三维(3D)图像的自动立体显示器。自动立体设备可以向观众呈现3D印象而不需要专门的头盔和/或眼镜。

自动立体显示器通常对于不同的观察角度提供不同的视图。通过这种方式，可以对于观众的左眼产生第一图像并且对于观众的右眼产生第二图像。通过显示适当的图像，即分别从左眼和右眼的视点来看适当的图像，有可能向观众传递3D印象。

各种各样的技术用来产生用于自动立体显示器的图像。例如，多视图图像可以利用多个照相机来记录，其中各照相机的位置与每个各自的视图的各自的视点相对应。

为了维持向后兼容性并且改善带宽的使用，许多当前的自动立体显示器使用了包括常规二维(2D)图像和相对应深度图的序列的输入信号。

深度图提供了指示图像中描绘的目标到照相机的绝对或相对距离的深度信息。举例而言，8位灰度级图像通常用来表示深度信息。深度图可以逐像素地提供深度信息，但是技术人员应当清楚的是，深度图也可以使用更粗的粒度，例如较低分辨率的深度图，其中每个深度图值提供关于多个像素的深度信息。

视差图可以用作上述深度图的替代方案。视差指的是当从两个不同的视点观察时，例如从左眼和右眼视点观察时，场景中目标的表观移动。视差信息和深度信息是相关的，并且在视差图的各视点的几何关系(geometry)已知的条件下可以彼此映射，这是本领域技术人员所公知的。

鉴于这种密切的关系以及其中一个可以转换成另一个这一事实，整个说明书中使用的术语“深度图”和“深度信息”应当被理解为包括深度信息以及视差信息。

通过向自动立体显示器提供图像序列和相对应的深度信息图(或者简称为深度图)序列，自动立体显示器可以为一个或多个观众再现内容的多个视图。在上面的方式中，常规的信号利用深度图得到增强。

为了提高使用2D+深度信号的多视图再现的质量，可以提供也称为去遮挡信息的附加遮挡信息。(去)遮挡信息涉及可以用来再现与提供的2D+深度信息的视点不同的视点的视图的图像和/或深度信息。当基于2D+深度信息再现与该2D+深度信息的视点不同的视点的视图时，可能需要原始2D+深度信息中不存在的信息。该信息可以在遮挡信息中提供；除了被目标遮挡的信息之外，遮挡信息也可以包括被遮挡区域附近的信息。遮挡信息的可用性允许对孔进行填充，这发生在使用2D+深度信号再现视图的时候。在整个本申请中，术语遮挡信息应当被理解为包括在视图再现过程中可以用于填充去遮挡的区域的被遮挡图像信息和/或被遮挡深度信息。

国际申请WO2006/137000公开了一种组合交换图像数据和另外的数据(例如遮挡数据)的方法。尽管上面的格式尤其非常适合于例如机顶盒(STB)与显示器之间的3D内容的交换，但是当在带宽有限的介质上传输或分发这样的内容时，存在进一步减小这样的3D内容的大小的需要。虽然诸如基于DCT的有损压缩算法之类的有损压缩算法可以提供大小方面的显著降低，但是它们也倾向于引入噪声。Chris Varekamp在thesecond annual IEEE BENELUX/DSP Valley Signal Processing Symposium(SPS-DARTS 2006)上提交的“Compression artifacts in 3D televisionsignals”表明，作为多视图再现过程的结果，深度图中的噪声效应特别是在目标边界上可能导致严重的视差误差。这种效应是以下事实的直接结果：调整压缩算法以减小深度图中而不是得到的再现的多视图图像中的感知误差。

发明内容

本发明的目的是提供一种处理深度图的方法，其旨在降低源于有损压缩算法的深度图中的噪声效应。

这个目的的实现在于，依照本发明的方法包括：基于有损压缩深度图获得深度图，该深度图包含一视点的场景的深度信息，该场景包括目标；获得有关该视点的场景的遮挡信息，该遮挡信息包括被深度图中的目标遮挡的信息；以及使用该遮挡信息的至少一部分处理深度信息的至少一部分以便减少深度图中的压缩伪像。

因此，本发明使用了遮挡信息，其起初预期提供用于去遮挡的区块的信息，以便处理深度信息的一部分。诸如深度图中存在的蚊式噪声和斑点噪声之类的噪声因而可以通过使用来自深度图的数据以及遮挡信息来降低。

在遮挡信息与被遮挡图像信息有关的情况下，被遮挡图像信息可以用来提供有关被遮挡区域的边界的信息。因此，可以使用边缘保持功能(例如K均值类算法)来对深度图进行滤波，以便降低深度图中遮挡边界附近的噪声。

可替换地，被遮挡图像信息可以与本领域技术人员公知的启发式方法一起使用以便在被遮挡区域内重新产生深度图。被遮挡区域的深度图形式的输出可以用来提供用于对深度图进行滤波的附加信息；通过这种方式，作为压缩伪像的结果看起来位于被遮挡区域的深度图之后的深度值可以通过使用来自被遮挡区域的深度图的值进行校正。

另外可替换地，当遮挡信息与被遮挡深度信息有关时，该被遮挡深度信息可以用于直接(即不需要确立边界或者重新产生被遮挡深度图信息)对深度图进行滤波。

在一个实施例中，所述处理步骤包括处理围绕与目标有关的深度信息转变处的区域内的至少一部分深度信息。有损压缩方案通常在精确地表示强烈的深度转变方面具有一定困难。通常，在这样的转变处附近可能引入某种量化、振铃和/或重影。不幸的是，这样的深度转变处中的噪声典型地在使用该深度信息再现的视图中导致高度可见的伪像。因此，这个特定实施例代表了所需处理量与感知的改进之间的有利的折衷。

在特别高效的另一实施例中，只要有关目标轮廓的信息可用，则在围绕目标的区域内执行深度信息的处理。

在一个实施例中，提供了元数据，其提供有关所述区域的大小的信息以供处理。因此，可以事先规定最小的处理量，从而提供内容创建者对最终输出的控制。

本发明可以以特定的优势用于其中用于产生有损压缩深度图的有损压缩算法在深度信息中的转变处周围引入噪声的实施例中。此外，本发明可以以特定的优势用于其中用于产生有损压缩深度图的有损压缩算法使用频域表示以便表示有损压缩深度图中的深度信息的实施例中。

在一个实施例中，本发明还包括在深度信息中确立第一转变处。优选地，该实施例也使用被遮挡深度信息确立第二转变处。第一转变处可以用来将处理量限于其中边缘需要基本上保持的区域。通过结合第一转变处和第二转变处提供的信息，有可能确定在何处深度信息包括转变处并且被遮挡深度信息是连续的。通常，在深度信息中的转变处附近发现有损压缩伪像。因此，如果被遮挡深度信息也包括在中心视图中可见的深度信息，并且在被遮挡深度信息中不存在这样的转变处，那么该深度信息在统计上比来自包括该转变处的深度信息的深度信息更加可靠。

在依照本发明的实施例中，深度信息和遮挡信息在编码图像序列中提供，所述编码图像序列例如在传输信道上传输的编码数据流或者在存储介质上分布的编码数据流。优选地，提供与待处理区域的大小有关的信息的元数据(例如膨胀因子)在同一个编码数据流中提供。可替换地，可以例如通过显式地编码目标膨胀边界来编码膨胀信息，以便允许实现非均匀膨胀区域的应用。

在一个实施例中，所述处理步骤包括对于来自深度转变处附近的深度信息的像素确立替换标准，其中该替换标准对所述像素所属的转变处的侧进行分类。随后，基于该替换标准有条件地由替换像素替换来自深度信息的像素，其中所述替换像素在统计上与替换标准表示的空间背景(spatial context)相对应。在该实施例中，所述替换标准和替换像素中的至少一个基于遮挡信息。因此，该附加的遮挡信息用来补偿作为深度信息压缩的结果的噪声。

本发明的目的还借助于依照本发明的设备来实现，该设备包括：被设置成基于有损压缩深度图获得深度图的装置，该深度图包含一视点的场景的深度信息，该场景包括目标；被设置成获得有关该视点的场景的遮挡信息的装置，该遮挡信息包括被深度图中的目标遮挡的信息；以及被设置成使用该遮挡信息的至少一部分处理深度信息的至少一部分以便减少深度图中的压缩伪像的装置。

附图说明

下面，将使用以下附图更详细地描述本发明的这些和其他有利方面。

图1示出了用于中心视图的去遮挡数据；

图2示出了输入信号的四象限表示，包括图像数据、深度数据、图像遮挡数据以及深度遮挡数据；

图3示出了使用更有效编码的遮挡信息的四象限表示；

图4示出了另外的四象限表示；

图5示出了优选的四象限表示；

图6示出了基准深度图(ground truth depth map)以及包括由有损压缩引起的压缩伪像的深度图；

图7示出了利用和不利用依照本发明的处理的、基于有损压缩深度图的再现的视图；以及

图8示出了依照本发明的设备；

图9示出了包括依照本发明的设备的消费电子器件。

这些附图没有按比例绘制。通常，在这些附图中相同的部件由相同的附图标记来表示。

具体实施方式

为了在引入自动立体显示器和/或其他立体显示设备时提供3D内容，在终端用户处常规的2D内容可能开始时从2D转换到3D。然而，由于显示器侧产生的深度图典型地会具有由2D内容信号中的深度信息的缺乏引起的不足，因而将存在对于更好的深度图的需要。

由于采集侧的资源要求通常不是问题这一事实，因而采集和/或传输侧产生的深度图可能具有高得多的质量。而且，由于不需要实时地产生数据，因而吞吐时间也不是问题。此外，在专业的环境下，通常将存在更多的可用信息，例如立体输入或者甚至多视图输入形式的片段(footage)。最后，在采集侧，特别是对于工作室环境下的内容创建而言，也存在交互式内容创建的机会。

当在采集侧产生深度图时，表示这些深度图所需的附加带宽是一个重要因素。而且，将存在对于用于传输这样的深度图的标准的需要。

高质量深度图使得3D显示器能够传递更好的深度印象。然而，作为这种改进的深度复现的结果，伪像，例如那些由在图像的中心视图中被前景目标遮挡的信息的去遮挡而引起的伪像，将变得(更加)可见。

遮挡数据可以在显示器处以及在采集侧产生。同样地，在采集侧，所产生的遮挡数据的质量可能会高得多。因此，采集侧产生的遮挡数据将是优选的。采集侧产生的遮挡数据将在显示器侧使用以便再现用于在3D显示器上呈现的视图。虽然作为一阶近似有可能使用来自可见背景的深度/视差数据以便描绘遮挡区块(area)，但是该一阶近似的确具有其局限性。

以图像信息和/或深度信息的形式注释遮挡数据，这允许实现更高质量的再现。然而，从编码的观点来看，附加的数据将进一步增大比特率或者影响质量。随后，可以在传输或分发之前对包含图像、深度图、被遮挡图像信息和被遮挡深度信息的这样产生的数据进行编码。为了降低这样的实现的成本，优选的是使用现有的算法编码这样的信息，例如常规的H.264编码器。

然而，在利用常规的编码器进行实验期间，观察到深度图的质量在压缩和随后的解压缩之后必须为高以便不引入可见的伪像。一种解决这个问题的方式是降低对于遮挡信息的压缩要求。从编码的观点来看，这不是优选的。

然而，本发明提出了一种后处理步骤形式的可替换方案，其旨在降低包含与图像数据相对应的深度信息的深度图中以及可选地也在遮挡信息中存在的噪声。

遮挡/去遮挡

图1示出了遮挡的概念。图1代表一定场景的顶视图，该场景包括表示为顶部水平线B的背景以及由置于水平线B与中心视点20之间的线F代表的目标。图像将编码为感觉如同来自中心视点20。这意味着图像数据、被遮挡图像数据、深度数据和被遮挡深度数据将针对中心视点20来编码。

在再现引擎处，或者可替换地在显示器处，中心视图数据将用来再现至少两幅图像。中心视图数据将分别包括信息C1、C2和C3。然而，从左眼视点看来，信息L1和L2将是可见的；类似地，从右眼视点看来，信息R1和R2将是可见的。从左眼视点10看来，在中心视点20图像中被目标F遮挡的信息变得可见，所述被遮挡信息使用箭头OL来表示。类似地，从右眼视点30看来，在中心视点20图像中被目标F遮挡的信息变得可见，该信息使用箭头OR来表示。

在上面的情况下，可以对于箭头OL和OR表示的区域添加图像遮挡信息。

图2示出了中心视图图像205、遮挡数据215以及分别在右手边的相应深度图210和220。该实例中的深度值被编码成使得深度值越亮，则目标距观众越近。所讨论的场景描绘了在房间中悬浮在半空中的移动电话。虽然在该实例中遮挡数据针对整个场景而提供，但是这并不是本发明所要求的，如图3、图4和图5所示。应当指出的是，在这里所示的实例中，遮挡数据针对中心视图而产生。结果，遮挡数据/第二层是当中心视图中的目标从中心视图去除时变得可见的数据。然而，本发明也可以应用到其中图像和深度信息针对偏离中心的视点(例如左眼或右眼视点)而编码的实施例。

图3示出了其中遮挡数据针对框架325所示的移动电话之后的区域而提供的另一表示。在该实例中，被遮挡图像信息和被遮挡深度信息针对越过目标边界延伸的方形而提供。该特定表示(以及图2中给出的表示)的优点在于，被遮挡图像信息和被遮挡深度信息提供了关于目标之后的区域的信息以及目标与背景之间的深度转变处附近的信息。结果，两个区域中的伪像可以通过使用被遮挡图像和/或深度信息来滤除。

图4示出了其中遮挡数据仅针对被移动电话遮挡的区域而提供的另一表示。该特定表示的优点是其紧凑的尺寸；然而，缺点在于，它没有提供有关目标边界的许多信息。然而，它的确允许去除目标内的深度图中的编码伪像；毕竟，深度图210中的深度信息必须位于被遮挡深度信息420中提供的深度信息510之前。

图5示出了另外的优选的表示。该表示再一次包括图像205和深度图210。此外，提供了较低分辨率被遮挡图像505和相对应的被遮挡深度信息510。应当指出的是，被遮挡图像505和被遮挡深度信息中占优势的灰度色调代表出于编码效率的原因而被编码成这样的哑区(mutedareas)。

在可以合成多视图图像之前，应当对低分辨率图像进行放大尺寸(up-scale)。放大尺寸可以以原始的方式进行，或者通过使用例如颜色自适应双边向放大尺寸滤波器(如共同待决国际专利申请IB2007/051701(律师案卷号PH005826)中所述)巧妙地进行。接下来，由图像205和深度图210的各像素值替换所述哑区。得到的遮挡信息于是类似于图2中给出的信息。

图2、图3、图4和图5代表了分层深度图像(LDI)格式的一阶近似。欲知分层深度格式的详细说明，读者可参阅SIGGRAPH Proceedingsof the 25th conference，1998中公布的J.Shade，S.Gortler，L.He，R.Szeliski的“Layered depth images”。

从编码效率的观点来看，可以进一步考虑省略遮挡层的深度图。在这种情况下，被遮挡图像信息可以用来控制深度信息210的滤波。在后一种情况下，存在两种提高深度图质量的方法：

使用被遮挡图像信息处理深度信息。

使用被遮挡图像信息重新产生被遮挡深度信息并且使用该被遮挡深度信息对所述深度信息进行滤波。

依照第一种方法，图像信息205和被遮挡图像信息415可以用来建立目标边界。随后，优选地在围绕该边界的区域内使用边缘保持滤波器对深度图210进行滤波。该方法背后的基本原理在于，典型地深度图210中(例如目标边界上)的强烈过渡容易出现压缩伪像。然而，这样的伪像可以借助于诸如K均值滤波器之类的边缘保持滤波器来减少。

图像信息205、深度信息210和被遮挡图像信息415提供的信息可以用来建立其中应用这种滤波器的区域。随后，可以在相距深度转变处的特定距离内或者可替换地在相距目标边界的特定距离内对深度信息210进行滤波。在例如基于DCT的压缩方案的情况下，该距离可以被定义成为宏块的对角线。

依照第二种方法，图像信息205、深度信息210以及被遮挡图像信息415可以用来通过使用本领域技术人员已知的启发式方法重新产生被遮挡深度信息420。可以参阅共同待决的国际专利申请IB2007/051701(律师案卷号PH005826)以及欧洲专利申请06301011.0(律师案卷号PH006957)，其描述了使用颜色自适应双边滤波器重构被遮挡深度信息420的特别有利的方法。

通过结合图像信息205和被遮挡图像信息415，可以构造参考图像以便与所述颜色自适应双边滤波器一起使用。通过将权重关联到来自深度图210的深度信息，可以降低被遮挡深度信息对于重构过程的影响。一旦重构了被遮挡深度信息，那么它就可以用来对与目标相关的深度信息进行滤波。

产生被遮挡图像信息和/或被遮挡深度信息的另外的低成本可替换方案是对来自所述2D+深度信息的信息应用拉伸，即将与被遮挡区域相邻的信息拉伸到遮挡区域中。

使用遮挡数据再现3D序列

上面描述的遮挡信息可以用来合成另外的视图。在(自动)立体显示器上，作为观众用其左眼感知到与用其右眼感知的稍微不同的图像这一事实的结果，感知到3D。

在这里描述的实例中，使用来自中心视图及其关联的深度/视差图的信息产生这些视图。该视差/深度图暗示了应当如何针对这些不同的视图再现中心视图的像素。当针对特定视图再现/合成图像时，一些像素可能未定义并且因而将出现孔。

解决该问题的一阶方法是使用先前在水平线上遇到的像素的像素值。如果适当地选择扫描顺序，那么最后遇到的像素将是反映背景信息的像素。这个过程称为拉伸，并且从实现的观点来看，最易于实现。在深度图中存在强烈转变的位置处，即在目标明显地且远处于另一目标之前的位置处，典型地可以观察到由于前述拉伸而引起的伪像。

上述遮挡信息可以用来进一步减少这样的伪像。

利用遮挡信息的视图合成或再现过程可以以双阶段方法来实现。在第一阶段中，使用被遮挡图像和被遮挡深度信息再现视图。在不存在适当的遮挡信息的情况下，例如当出于编码效率的原因只有部分遮挡信息可用时，可以应用上面描述的图像拉伸。

在第二阶段中，使用其中省略了拉伸步骤的再现过程来再现前景图像205和深度图210。该第二阶段的输出叠加到第一步骤的输出之上。因此，在第二阶段中没有定义的像素被第一阶段定义。

处理深度图

图6示出了基准深度图605以及包含了由有损压缩引起的压缩伪像的深度图610。

图7说明了当这样的解压缩深度图710与图像705一起用作视图再现过程的输入时，得到的合成视图715基本上是失真的。该失真是深度信息中的压缩伪像的直接结果。当深度信息用来根据目标相对于视点的深度置换来自图像605的图像信息时，深度信息中的误差将导致不正确的置换。

结果，深度信息中的误差将被转换成像素数据的错误平移(translation)。这转而对再现的图像，特别是对目标边界产生重大的影响。这种效应在合成视图715中以目标边缘的变形的和不稳定的形状的形式清晰可见。

典型地，编码或压缩伪像在强烈的转变处引入。本发明提出使用遮挡信息，例如被遮挡图像信息、被遮挡深度信息和/或被遮挡视差信息以便减少在压缩和随后的解压缩期间在深度图中引入的编码伪像。

在仅仅被遮挡图像信息可用的情况下，该信息提供了有关图像205中的目标边缘的位置的信息，并且间接提供了有关深度图210中的潜在转变处的信息。当对深度图210应用边缘保持滤波步骤时，可以有利地使用该信息。优选地，这种边缘保持滤波器不平滑所述深度转变处。优选地，边缘保持滤波器将边缘每侧上的对应深度信息值映射到边缘对应侧上的深度信息的公共值。这种滤波器的一个实例是K均值滤波器。视频处理领域的技术人员应当认识到，可以应用各种各样的各向异性滤波器。

可替换地，如上所述，可以使用被遮挡图像信息来重构被遮挡深度信息。然而，优选的是在遮挡信息中包括被遮挡深度信息。当深度信息可用于被遮挡区域和/或围绕遮挡区块的区域时，该信息可以用来改善深度图210以及被遮挡深度信息220。潜在的思想是使用来自被遮挡区域的深度信息以提高质量和/或操纵对于来自深度图210的深度信息的处理。相反地，来自深度图210的深度信息也可以用来提高质量和/或操纵对于来自被遮挡深度信息的深度信息的处理。

在比特率高效的实现中，仅在其中出现强烈的深度转变的区块内对被遮挡深度图进行编码。此外，为了降低计算复杂度，对深度图710的处理仅在其中出现强烈的深度转变的区块内进行。

用于如210中所示的深度图的这种后处理步骤的一个简单实施例可能是对深度图210的每个值以及被遮挡深度信息220的相应值执行MAX运算(选择最大值)。这将去除中心视图的深度图710中的下冲伪像。可以设想的是，通过考虑转变处适当侧的空间附近的另外的像素，可以实现进一步的更精细的滤波。特别是在视频序列的情况下，可以设想的是，这种滤波操作通过考虑目标的运动也可以提供时间上的一致性。在空间和时间增强中，基本上保持深度图210中的边缘仍然是重要的。

到现在为止，深度图210是后处理步骤的目标。然而，类似的后处理步骤可以以同样的优势应用到被遮挡深度信息220。在一个简单的实施例中，如前面所建议的MAX运算可以由MIN运算(选择每个值的最小值)替换以便导出改善的被遮挡深度信息220。

在另一个实施例中，也可以应用所述后处理步骤，使得存在于深度图210中的前景目标中的伪像也可以减少。这可以通过首先检测中心视图深度图中的强烈深度转变处(例如通过在一定窗口上确定MIN和MAX并且将平均值看作转变处的交叉)来实现。

在这些转变处周围，深度图像素应当具有高的质量。因此，利用来自背景深度图的像素替换前景深度图中围绕边缘的深度图像素将提高总体质量，因为深度图不包含该转变处。

可以要求膨胀步骤防止前景目标置于背景上。在膨胀因子以元数据的形式与其他图像数据一起提供的情况下，可以使用这个值。该膨胀因子于是可以用来确定围绕应当替换的深度转变处的数据量。

在本发明的另外的实施例中，所述处理步骤包括确立用于来自深度转变处附近的深度信息的像素的替换标准，该替换标准对像素属于转变处的哪一侧进行分类。随后，基于该替换标准利用替换像素有条件地替换来自深度信息的像素。为了提高深度信息的质量，替换像素应当在统计上与替换标准所表示的空间背景相对应；即它应当与深度转变处的那侧上的深度信息一致。例如，当使用了k均值算法时，转变处的适当侧上的聚类的均值可以用作替换像素值。

重要的是应当指出，所述替换标准和替换像素中的至少一个基于遮挡信息；通过这种方式，可以获得提高的深度图一致性，因为遮挡信息提供了可以用来重构适当的深度信息的附加信息。

如果替换标准至少部分地基于遮挡信息，那么有可能使用来自深度信息的像素的空间背景以便确立替换像素值。优选地，来自遮挡信息的像素的空间背景(即该像素附近的像素)用来确定替换像素。更优选地，来自遮挡深度信息的相对应像素的空间背景用来确立替换像素。应当清楚的是，在深度转变处附近确立这样的替换标准就可能足够了，但是可替换方案也是可能的。作为替换方案，可以针对整幅图像中的每个像素确立这样的标准。

尽管特别是当在编码之前对深度信息进行向下尺度变换或者以非常低的比特率进行编码时，典型地深度信息中的转变将是清楚的，但是深度转变可以是微弱的。结果，有利的是使用利用来自转变处的空间背景的信息的边缘重构滤波器以便重构深度图中的转变处。

例如，当以较低分辨率提供深度信息时，向下尺度变换的深度信息中的边缘可能在向下尺度变换过程期间被“涂抹”。结果，重构边缘是有利的。在使用k均值算法以确定替换标准的本发明的一种实现方式中，有利的是在转变处的任一侧上确立适当的深度值，并且随后基于跨实际深度转变处的深度值确定边缘的最可能的位置。

有可能确定例如与转变处一侧上的深度值相对应的第一均值以及与转变处另一侧上的深度值相对应的第二均值。于是，重构的边缘可能位于第一和第二均值的中途。尽管在这里边缘重构的概念是关于k均值解决方案来解释的，但这不是必须的，并且其他的边缘重构技术可以以同样的优势加以应用。

图7示出了两个再现的视图，其部分地基于图像705和深度图710以及被遮挡图像信息和被遮挡深度信息(未示出)形式的遮挡信息。第一再现的视图715基于之前压缩的深度图710，而第二再现的视图720基于依照本发明进行了后处理的之前压缩的深度图。如前所示，第一再现的视图715受到深度图710中存在的压缩伪像的严重影响。与之相对照，在第二再现的视图720中，目标边缘更加接近原始图像705中的目标边缘。

尽管已经使用其中深度图分辨率与图像分辨率匹配的实例说明了本发明，但是技术人员应当清楚的是，本发明可以以同样的优势应用于其中各分辨率不同的情形。

图8示出了依照本发明的设备800。设备800包括被设置成基于有损压缩深度图获得深度图875的装置805，深度图875包含一定视点的场景的深度信息，该场景包括目标。设备800还包括被设置成获得有关该视点的场景的遮挡信息885的装置810，该遮挡信息885包括被深度图875中的目标遮挡的信息。最后，该设备包括被设置成使用该遮挡信息的至少一部分处理深度信息的至少一部分以便减少深度图875中的压缩伪像的装置815。装置815可选地可以在深度图875的处理中使用另外的信息，例如元数据和/或图像数据。

技术人员应当清楚的是，可以使用例如某个专用集成电路(ASIC)或多个ASIC形式的硬件部件，或者使用包含一个或多个数字信号处理器或者甚至通用处理器的可编程平台来构造设备800。前述实现方式的组合也是可以设想的。技术人员应当能够基于诸如时钟频率、可编程平台上的可用计算容量之类的约束和/或视频处理系统设计领域的技术人员公知的其他约束来构造这样的实现方式。

图9描绘了包含依照本发明的设备800的消费电子设备900的一种实现方式。消费电子设备900可以是例如通过网络接收包括至少一个图像序列的到来的传输流905的机顶盒(STB)，所述图像序列包括图像信息、深度信息、被遮挡图像信息以及可选的被遮挡深度信息。该STB被设置成再现输出到自动立体显示器的多个视图995。可替换地，所述消费电子设备可以是被设置成接收图像序列905的自动立体显示器，所述图像序列包括图像信息、深度信息、被遮挡图像信息以及可选的被遮挡深度信息，其用来再现用于在自动立体显示器900上显示的多个视图。在该特定实施例中，单独的视图不必以数字格式输出到另一设备，结果，输出995表示为虚线。

在整个说明书中，措词“获得”应当被理解为包括借助于从例如网络或数据载体接收而获得，以及借助于处理(例如通过解压缩或者重构这样的数据)而获得。

应当指出的是，上述实施例说明而不是限制了本发明，并且本领域技术人员在不脱离所附权利要求书的范围的情况下应当能够设计出许多可替换的实施例。

在权利要求书中，置于括号之间的任何附图标记都不应当被视为对权利要求的限制。

应当清楚的是，在本发明的框架内，许多变型是可能的。本领域技术人员应当理解的是，本发明并不受限于上面特别示出和描述的内容。本发明存在于每一个新颖的特性特征以及特性特征的每一种组合之中。权利要求中的附图标记并没有限制它们的保护范围。

动词“包括”及其变体的使用并没有排除存在权利要求中未列出的其他元件。元件之前的冠词“一”的使用并没有排除存在多个这样的元件。

Claims (12)

1.一种处理深度图(875)的方法，该方法包括：

-基于有损压缩深度图获得深度图，该深度图包含一视点的场景的深度信息，该场景包括目标，

-获得有关该视点的场景的遮挡信息，该遮挡信息包括被深度图中的目标遮挡的信息，以及

-使用该遮挡信息的至少一部分处理深度信息的至少一部分，以便减少深度图中的压缩伪像，

其中所述处理步骤包括处理围绕以下至少一个的预定区域内的至少部分深度信息：

与所述目标有关的深度信息中的转变处；和

所述目标，

其中所述遮挡信息的至少一部分是来自与正被处理的深度信息的区域相对应的区域的遮挡信息。

2.权利要求1的方法，其中所述遮挡信息包括被所述目标遮挡的深度信息。

3.权利要求1或2的方法，还包括：

-获得提供有关所述区域的大小的信息的元数据。

4.权利要求1的方法，其中用于产生有损压缩深度图的有损压缩算法在深度信息中的转变处周围引入噪声。

5.权利要求1的方法，其中用于产生有损压缩深度图的有损压缩算法使用频域表示来表示有损压缩深度图中的深度信息。

6.权利要求1的方法，其中该方法还包括在深度信息中确立转变处。

7.权利要求1的方法，其中所述处理步骤包括：

-对于来自深度转变处附近的深度信息的像素确立替换标准，该替换标准对所述像素属于转变处的哪侧进行分类；以及

-基于该替换标准有条件地用替换像素替换来自深度信息的像素，所述替换像素在统计上与替换标准表示的空间背景相对应；

其中所述替换标准和替换像素中的至少一个基于遮挡信息。

8.权利要求7的方法，其中所述替换标准借助于在以下项的至少一个上进行滤波来确立：

-来自深度信息的像素的空间背景；

-与来自深度信息的像素相对应的来自遮挡信息的像素的空间背景。

9.权利要求8的方法，其中所述替换像素是以下项之一：

-与来自深度信息的像素相对应的来自遮挡深度信息的像素；以及

-基于所述与来自深度信息的像素相对应的来自遮挡深度信息的像素的空间背景的像素。

10.权利要求2的方法，其中所述处理步骤包括从以下项之间确立最小值和最大值之一：

-来自深度信息的像素；以及

-来自遮挡信息的相对应像素。

11.权利要求1的方法，其中提供与所述区域的大小有关的元数据以供处理。

12.用于处理深度图(875)的设备(800)，该设备包括：

-被设置成基于有损压缩深度图获得深度图的装置(805)，该深度图包含一视点的场景的深度信息，该场景包括目标，

-被设置成获得有关该视点的场景的遮挡信息的装置(810)，该遮挡信息包括被深度图中的目标遮挡的信息，以及

-被设置成使用该遮挡信息的至少一部分处理深度信息的至少一部分、以便减少深度图(875)中的压缩伪像的装置(815)，

其中所述被设置成处理的装置(815)被设置成处理围绕以下至少一个的预定区域内的至少部分深度信息：

与所述目标有关的深度信息中的转变处；和

所述目标，

其中所述遮挡信息的至少一部分是来自与正被处理的深度信息的区域相对应的区域的遮挡信息。

Images