CN103181171A - 深度指示图的产生 - Google Patents

Abstract

提供一种根据图像产生深度指示图的方法。所述产生使用将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射执行。所述映射根据参考图像和对应参考深度指示图产生。因此，根据对应参考图像产生从图像到深度指示图的映射。所述方法可用于在编码器和解码器中根据图像预测深度指示图。具体而言，所述方法可用于产生深度指示图预测并且用于提供改进的深度指示图编码，所述深度指示图允许产生残差图像。

Description

深度指示图的产生

技术领域

本发明涉及产生深度指示图。更具体而非穷举地说，本发明涉及产生多视图图像的深度指示图。

背景技术

近几十年来，随着数字信号表示和通信逐渐取代模拟表示和通信，各种源信号的数字编码也变得日益重要。目前正在进行持续的研究和开发来提高可从编码图像和视频序列获取的质量，同时将数据速率保持在可接受水平。

此外，对图像和视频处理的关注也在增加。除了二维图像平面之外，还进一步考虑图像的深度方面。例如，三维图像已成为许多研究和开发的主题。的确，图像的三维呈现例如通过3D电视、计算机显示器等的形式引入消费市场。这些方法通常基于产生提供给用户的多个视图。例如，当前的许多3D内容基于产生立体视图，其中第一图像呈现给观众的右眼，第二图像呈现给观众的左眼。有些显示器能够提供相对多数量的视图，允许针对多个观看点为观众提供适当的视图。实际上，此类系统可允许用户环视对象，例如，看到中心视点无法看到的被遮挡对象。

已经提出不同的方法来提供有效的三维场景信息表示。例如，可针对提供给用户的每个视图提供单独图像。此方法对于其中将预定图像呈现给观众右眼和左眼的简单立体系统有效。因此，此方法相对适合于只为用户提供预定三维体验（例如，为观众呈现三维电影）的系统。

但是，此方法不适合其中需要为观众提供较多数量视图的更灵活的系统，具体是指不适合其中需要在呈现/表现点上灵活地改变或更改观众观看点的应用。此方法同时也是其中深度效应不固定而是可以改变的变基线立体图像应用的次优选择。具体而言，需要改变深度效应强度，如果没有不同对象的深度信息，可能很难分别使用用于左右眼的固定图像实现。

实际上，带有固定左右视图的立体表示已在BD 3D（蓝光光盘只读格式第三部分：视听基本规范版本2.4）中实现标准化。

但是，固定视图格式的灵活性有限。为实现诸如适应不同屏幕大小或对深度感觉强度的用户定义的调整以避免不适感等期望特征，要求传输更多的信息。此外，固定左右视图不提供任何用于实现高级显示（例如，需要两个以上视图的自动立体显示）的实际规定。此外，此方法不能轻松支持产生任意视点的视图。

为了解决这些问题，已提出提供具有一个或多个图像的深度图。所述深度图一般可以提供图像中所有部分的深度信息。因此，深度图可针对每个像素指示该像素图像对象的相对深度。深度图可以显著增加呈现的灵活性，例如可使图像适于对应于不同的视点。具体而言，视点的移位一般可导致依赖于像素深度的图像的像素移位。

在某些情况下，具有关联深度图的单个图像允许产生不同视图，从而例如允许产生三维图像。但是，一般提供多个对应于不同视图的图像来提高性能。例如，可在提供对应于视图左右眼的两个图像之时另外提供一个或两个深度图。实际上，在许多应用中，单个深度图足以提供基本优点。

但是，这些方法也包含一些固有的劣势或缺点。

实际上，此方法要求提供适当的深度图。对于新内容，具体对于计算机根据三维模型产生的图像而言，这相对容易做到。但是，对于创建时未包括深度信息的现有内容而言，产生足够精确的深度图是一项艰难、繁重的任务。实际上，多数产生现有内容（例如，现有画面或电影）深度信息的方法都需要大量人工参与，从而使深度图产生工作变得耗时、耗成本。

另外，包括深度图本质上需要分布和/或存储额外的数据。这样，含深度图图像（例如视频序列）的编码数据据速率本质上高于同一不含深度图的图像。因此，有效地对深度图执行编码和解码非常重要。

所以，需要改进的基于深度图的图像系统。具体而言，将有利地使用产生、编码或解码深度图的改进方法。特别是，有利地使用可增加灵活性、便利实施和/或操作、改进和/或便利深度数据的编码、解码和/或产生、降低编码数据速率和/或提高性能的系统。

发明内容

因此，本发明旨在优选地以单独形式或任何组合的形式弱化、减轻或消除上述一个或多个缺点。

根据本发明的一个方面，提供一种编码与图像关联的深度指示图的方法，所述方法包括：接收所述深度指示图；响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及响应于所述映射，通过编码所述深度指示图产生输出编码数据流。

本发明可以提供改进的编码。例如，它可以允许深度指示图的编码适应并面向特定特性。本发明例如可以提供允许解码器产生深度指示图的编码。具体而言，在许多实施例中，使用基于参考图像的映射可允许对图像和/或深度特性进行自动和/或改进的适应，无需针对特定图像或深度特性开发或应用预定的规则或算法。

可被视为与组合关联的图像位置例如可以针对特定输入集被判定为满足特定输入集的图像空间位置邻域标准的图像位置。例如，它可以包括以下图像位置，其小于距输入集位置的给定距离，与输入集的位置属于同一图像对象，落在针对输入集定义的位置范围内等。

组合例如可以是将多个色坐标值组合为更少值（具体是指组合为单个值）的组合。例如，组合可以将色坐标（例如，RGB值）组合为单个亮度值。作为另一实例，组合可以将邻近像素值组合为单个平均或微分值。在其他实施例中，组合可以替代地或额外地为多个值。例如，组合可以是包括多个邻近像素中每个像素的像素值的数据集。因此，在某些实施例中，组合可以对应于一个额外映射维度（即，除了空间维度之外），在其他实施例中，组合可以对应于多个额外映射维度。

色坐标可以是反映像素视觉特征的任何值，并且具体可以是亮度值、色度值或色差值。组合在某些实施例中可以只包括一个对应于输入集中图像空间位置的像素值。

所述方法可以包括动态地产生映射。例如，新映射可针对视频序列中每个图像产生，或者针对每一第N个图像产生，其中N为整数。

所述深度指示图可以是对应于图像的部分或完整图。所述深度指示图可以包括提供图像深度指示的值，具体可以包括每个像素或像素组的深度指示值。所述深度指示图的深度指示例如可以是深度（Z）坐标或视差值。所述深度指示图具体可以是深度视差图或深度图。

在某些实施例中，还可以提供图像遮挡数据。例如，图像可被表示为分层图像，其中第一层表示可从图像的视点看到的对象，并且一个或多个进一步的层提供从该视图无法看到的对象图像数据。深度指示数据可以仅针对顶层提供/产生，也可以针对一个或多个遮挡层提供/产生。所述遮挡数据可以在不同的比特流层中发送，即，它可以包括在输出数据流增强层中。

根据本发明的可选特征，所述方法进一步包括接收所述图像；响应于所述映射，根据所述图像预测深度指示图；响应于所述预测的深度指示图和所述图像，产生残差深度指示图；编码所述残差深度指示图以产生编码深度数据；以及将所述编码深度数据包括在所述输出编码数据流中。

本发明可以提供改进的深度指示图编码。具体而言，可实现根据图像对深度指示图的改进预测，从而允许减少的残差信号，以便更有效地进行编码。所述深度指示图编码数据的数据速率可以降低，从而能降低整个信号的数据速率。

所述方法可允许预测基于对深度指示图和图像之间特定关系的改进适应和/或自动适应。

所述方法在许多情况下允许反相兼容仅使用包括输入图像编码的基本层，而深度指示图数据在增强层提供的现有设备。此外，所述方法可允许低复杂度实现，从而降低成本、资源要求和使用量，或者便利设计或制造。

所述预测基本图像可以具体通过编码所述输入以产生编码数据来产生，以及通过解码所述编码数据来产生所述预测基本图像。

所述方法可以包括产生所述输出编码数据流以具有包括所述输入图像编码数据的第一层和包括所述残差深度指示图编码数据的第二层。所述第二层可以是可选层，具体而言，所述第一层可以是基本层，所述第二层可以是增强层。

所述残差深度指示图的编码可以具体地包括通过比较所述输入深度指示图和所述预测的深度指示图，产生至少部分所述深度指示图的残差数据；以及通过编码所述残差数据，产生至少部分所述编码深度指示图。

根据本发明的可选特征，每个输入集对应于每个空间图像维度的空间区间和所述组合的至少一个值区间，并且产生所述映射包括针对所述参考图像的至少一组图像位置中的每个图像位置：判定至少一个匹配输入集，其具有对应于所述每个图像位置的空间区间以及对应于所述图像中每个图像位置组合值的所述组合的值区间；以及响应于所述参考深度指示图中所述每个图像位置的深度指示值，判定所述匹配输入集的输出深度指示值。

这样提供一种有效、精确的方法来判定用于产生深度指示图的适当映射。

在某些实施例中，所述方法进一步包括响应于匹配第一输入集的至少一组图像位置的所有图像位置深度指示值的贡献平均，判定所述第一输入集的输出深度指示值。

根据本发明的可选特征，所述映射为以下至少一项：空间二次取样映射；时间二次取样映射；以及组合值二次取样映射。

这样可以在许多实施例中提高效率和/或降低数据速率或资源需求，同时仍允许执行有利的操作。所述时间二次取样可以包括更新图像/图序列中图像/图子集的映射。所述组合值二次取样可以包括对所述组合的一个或多个值应用比所述像素值的量化更粗的量化。所述空间二次取样可以包括涵盖多个像素位置的每个输入集。

根据本发明的可选特征，所述方法进一步包括：接收所述图像；响应于所述映射，根据所述图像产生所述深度指示图的预测；以及响应于所述深度指示图与所述预测的比较，适应所述映射和所述残差深度指示图的至少一项。

这样可以改进编码并且可以在许多实施例中针对特定图像特性适应数据速率。例如，可动态适应所述数据速率以实现可变的最低数据速率，从而将所述数据速率降为给定质量等级所需的水平。

在某些实施例中，所述适应可以包括判定是否修改部分或全部所述映射。例如，如果所述映射导致预期的深度指示图相对于所述输入深度指示图偏离给定量，则可以部分或全部地修改所述映射以改进预测。例如，所述适应可以包括修改映射针对特定输入集提供的特定深度指示值。

在某些实施例中，所述方法可以包括响应于所述输入深度指示图与所述预测的深度指示图的比较，选择映射数据和残差深度指示图数据的至少一项的元素以包括在所述输出编码数据流中。所述映射数据和/或残差深度指示图数据例如可以限于其中所述输入深度指示图与所述预测的深度指示图之差超过给定阈值的区域。

根据本发明的可选特征，所述输入图像为所述参考图像，所述参考深度指示图为所述深度指示图。

这样可以在许多实施例中更有效地根据输入图像预测深度指示图，并可以在许多情况下提供特别有效的深度指示图编码。所述方法可以进一步包括映射描述所述输出编码数据流中至少部分映射的特征的数据。

根据本发明的可选特征，所述方法进一步包括对所述图像进行编码，其中所述图像和所述深度指示图联合编码，其中所述图像的编码不依赖于所述深度指示图，并且所述深度指示图使用来自所述图像的数据进行编码，所述编码数据被分为单独的数据流，其中包括包含所述图像数据的主数据流和包含所述深度指示图数据的次数据流，其中所述主数据流和次数据流多路复用到所述输出编码数据流，并且为所述主数据流和次数据流的数据提供单独代码。这样可以提供特别有效的数据流编码，这种编码能改善后向兼容性。所述方法可以组合联合编码与后向兼容性的优点。

根据本发明的一方面，提供一种产生图像的深度指示图的方法，所述方法包括：接收所述图像；提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及响应于所述图像和所述映射，产生所述深度指示图。

本发明可实现用于根据图像产生深度指示图的特别有效的方法。具体而言，所述方法可以减少人工介入需求，并允许根据参考以及从此类参考中自动提取的信息产生深度指示图。所述方法可以例如允许产生例如通过人工或自动处理进一步细化的深度指示图。

所述方法具体可以是指对深度指示图进行解码的方法。所述图像可作为编码图像接收，所述编码图像首先进行解码，然后对所述解码图像应用映射以提供深度指示图。具体而言，所述图像可通过对编码数据流的基本层图像进行解码来产生。

所述参考图像和对应参考深度指示图具体可以是先前解码的图像/图。在某些实施例中，所述图像可以在编码数据流中接收，所述编码数据流还可以包括描述所述映射和/或所述参考图像和/或所述参考深度指示图的特征或识别所述映射和/或所述参考图像和/或所述参考深度指示图的数据。

根据本发明的可选特征，产生所述深度指示图包括针对至少部分预测的深度指示图的每个位置，通过以下操作判定至少部分所述预测的深度指示图：判定至少一个匹配所述每个位置以及关联于所述每个位置的像素值色坐标的第一组合的匹配输入集；从所述映射中检索所述至少一个匹配输入集的至少一个输出深度指示值；响应于所述至少一个输出深度指示值，判定所述预测的深度指示图中所述每个位置的深度指示值；以及响应于至少部分所述预测的深度指示图，判定所述深度指示图。

这样可以提供特别有利的深度指示图产生。在许多实施例中，所述方法允许对深度指示图进行特别有效的编码。具体而言，可实现根据图像自动适应和/或有效地产生深度指示图的预测。

响应于至少部分所述预测的深度指示图产生所述深度指示图可以包括直接使用至少部分所述预测的深度指示图，或者例如可以包括使用残差深度指示图数据增强至少部分所述预测的深度指示图，所述残差深度指示图数据可以包括在包含图像的层以外的编码信号层中。

根据本发明的可选特征，所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。

这样可允许有效执行操作，具体是指可允许对具有对应图像和深度指示图的视频序列进行有效编码。例如，所述方法可根据图像预测至少部分深度指示图，然后基于此预测实现精确编码，无需在编码器和解码器之间传输有关所应用映射的任何信息。

根据本发明的可选特征，所述先前深度指示图进一步响应于所述先前深度指示图相对于所述先前图像的预测深度数据的残差深度数据产生。

这样可以提供特别精确的映射，从而改进预测。

根据本发明的可选特征，所述图像为视频序列中的图像，并且所述方法进一步包括使用所述视频序列中的至少某些图像的标称（nominal）映射。

这样可允许特别有效地对许多深度指示图进行编码，具体是指可以有效地适应视频序列中的不同图像/图。例如。标称映射可用于那些没有适当的参考图像/图的深度指示图，例如，场景改变之后的第一图像/图。

在某些实施例中，所述视频序列可作为编码视频信号的一部分接收，所述编码视频信号进一步包括可用参考映射的图像的参考映射指示。在某些实施例中，所述参考映射指示指示所应用的从预定参考映射集中选择的参考映射。例如，可预定编码器与解码器之间的N个参考映射，并且所述编码可以包括有关所述解码器应该针对特定深度指示图使用哪个参考映射的指示。

根据本发明的可选特征，所述组合指示所述图像空间位置的纹理、梯度和空间像素值变化中的至少一项。

这样可提供特别有利的深度指示图产生。

根据本发明的可选特征，所述深度指示图与多视图图像中的第一视图图像关联，所述方法进一步包括：响应于所述深度指示图，产生所述多视图图像中的第二视图图像的进一步的深度指示图。

所述方法可允许特别有效的多视图深度指示图产生/解码，并且可允许将数据速率改进为质量比率和/或便利实现。所述多视图图像可以是包括多个对应于同一场景不同视图的图像，并且深度指示图可与每个视图关联。所述多视图图像具体可以是包括左右图像（例如对应于观众左右眼的视点）和左右深度指示图的立体图像。所述第一视图深度指示图具体可用于产生所述第二视图深度指示图的预测。在某些情况下，所述第一视图深度指示图可直接用作所述第二视图深度指示图的预测。

在某些实施例中，产生所述第二视图深度指示图的步骤包括：提供将采取图像空间位置以及关联于所述图像空间位置的深度指示值的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映所述第一视图的参考深度指示图与所述第二视图的对应参考深度指示图之间的关系；以及响应于所述第一视图深度指示图和所述映射，产生所述第二视图深度指示图。

这样可提供根据所述第一视图深度指示图产生所述第二视图深度指示图的特别有利的方法。具体而言，它允许根据参考深度指示图进行精确的映射或预测。所述第二视图深度指示图的产生可以基于自动产生映射，并且例如可以基于先前第二视图深度指示图和先前第一视图深度指示图。所述方法例如可允许在编码器和解码器端独立地产生映射，从而允许根据所述映射有效地进行编码器/解码器预测，无需将其他任何映射数据从所述编码器传输到所述解码器。

根据本发明的一方面，提供一种对关联于图像的深度指示图进行编码的设备，所述设备包括：接收器，用于接收所述深度指示图；映射产生器，用于响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及输出处理器，用于响应于所述映射，对所述深度指示图进行编码来产生输出编码数据流。所述设备例如可以是集成电路或其一部分。

根据本发明的一方面，提供一种装置，包括：上一段落所述的设备；输入连接构件，用于接收包括所述深度指示图的信号以及将此信号馈入所述设备；以及输出连接构件，用于从所述设备输出所述输出编码数据流。

根据本发明的一方面，提供一种产生图像的深度指示图的设备，所述设备包括：接收器，用于接收所述图像；映射处理器，用于提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及图像产生器，用于响应于所述图像和所述映射，产生所述深度指示图。所述设备例如可以是集成电路或其一部分。

根据本发明的一方面，提供一种装置，包括：上一段落所述的设备；输入连接构件，用于接收所述图像以及将此图像馈入所述设备；输出连接构件，用于从所述设备输出包括所述高深度指示图的信号。所述装置例如可以是机顶盒、电视机、计算机监视器或其他显示器、媒体播放器、DVD或BluRay^TM播放器等。

根据本发明的一方面，提供一种编码信号，包括：编码图像；以及深度指示图的残差深度数据，至少部分所述残差深度数据指示所述图像的所需深度指示图与向所述编码图像应用映射导致的预测深度指示图之差，其中所述映射将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联，所述映射反映参考图像与对应参考深度指示图之间的关系。

根据本发明的特征，提供一种包括上一段落所述的编码信号的存储介质。所述存储介质例如可以是诸如DVD或BluRay^TM盘之类的数据载体。

可提供一种执行本发明任一方面或特征的方法的计算机程序产品。另外，可以提供包括执行本发明任一方面或特征的方法的可执行代码的存储介质。

本发明的这些和其他方面、特征和优点通过下面描述的（多个）实施例将变得显而易见，并通过这些实施例进行阐述。

附图说明

将参考附图并仅借助实例描述本发明的实施例，在所述附图中：

图1是根据本发明的某些实施例的传输系统实例的图示；

图2是根据本发明的某些实施例的编码器实例的图示；

图3是根据本发明的某些实施例的编码方法实例的图示；

图4和5是根据本发明的某些实施例的映射实例的图示；

图6是根据本发明的某些实施例的编码器实例的图示；

图7是根据本发明的某些实施例的编码器实例的图示；

图8是根据本发明的某些实施例的解码方法实例的图示；

图9是根据本发明的某些实施例的高动态范围图像预测实例的图示；

图10是根据本发明的某些实施例的映射实例的图示；

图11是根据本发明的某些实施例的解码器实例的图示；

图12是根据本发明的某些实施例的解码器实例的图示；

图13是根据本发明的某些实施例可以在编码器中使用的基本编码模块实例的图示；

图14-17示出使用图13中的基本编码模块的编码器的实例；

图18示出数据流多路复用的实例；

图19是根据本发明的某些实施例可以在解码器中使用的基本解码模块实例的图示；以及

图20-22示出使用图18中的基本解码模块的解码器的实例。

具体实施方式

下面的描述着重在适用于对视频序列中的对应图像和深度指示图进行编码和解码的本发明实施例。但是将理解，本发明不限于此应用，可以在其他许多情况下应用所述原理。具体而言，所述原理不限于涉及编码或解码的深度指示图产生。

图1示出根据本发明的某些实施例传输视频信号的传输系统100。传输系统100包括通过网络105与接收器103相连的发送器101，网络105具体是指因特网，或者诸如数字电视广播系统之类的广播系统。

在特定实例中，接收器103为单个播放设备，但可以理解，在其他实施例中，所述接收器可用于其他应用以及其他目的。在特定实例中，接收器103可以是显示器，例如电视机，也可以是用于产生外部显示器（例如，计算机监视器或电视机）的显示输出信号的机顶盒。

在特定实例中，发送器101包括提供图像和对应深度指示图的视频序列的单个源107。图像的深度图可以包括图像深度信息。此类深度指示具体可以是z坐标（即，指示沿垂直于图像平面（x-y平面）的方向偏移的深度值）、视差值或其他任何提供深度信息的值。深度指示图可以是涵盖整个图像的完整指示图，也可以是仅提供一个或多个图像区域深度指示的局部深度指示图。深度指示图具体可以提供整个图像每个像素或图像的一个或多个部分的深度值。

信号源107本身可以产生图像和深度指示图，也可以例如从外部源接收图像和/或深度指示图。

下面将描述简单图像及关联的深度指示图的实例。但是，在某些实例中，可进一步提供图像的遮挡数据，实际上还可以提供遮挡数据的深度指示数据，例如深度指示图。

信号源107与编码器109相连，该编码器继续根据下面将详细描述的编码算法对视频序列进行编码。具体而言，视频序列中的图像可使用传统编码标准进行编码，而深度指示图将使用下面将详细描述的基于对应图像的预测进行编码。编码器109与网络发送器111相连，该网络发送器接收编码信号并与通信网络105连接。网络发送器可通过通信网络105将编码信号发送到接收器103。将理解，在许多其他实施例中，可使用其他分发或通信网络，例如陆地或卫星广播系统。

接收器103包括接收器113，该接收器与通信网络105连接并从发送器101接收编码信号。在某些实施例中，接收器113例如可以是因特网接口或无线或卫星接收器。

接收器113与解码器115相连。解码器115被馈入已接收的编码信号，然后继续根据下面将详细描述的解码算法对编码信号进行解码。解码器115具体可以使用传统解码算法产生解码图像，并且可以使用下面将详细描述的根据解码图像的预测对深度指示图进行解码。

在其中支持信号播放功能的特定实例中，接收器103进一步包括信号播放器117，该播放器从解码器115接收解码视频信号（包括深度指示图）并使用适当的功能向用户呈现解码视频信号。本领域的技术人员知道，信号播放器117具体可以根据解码图像和深度信息呈现来自不同视图的图像。

信号播放器117本身可以包括能呈现编码视频序列的显示器。作为替代或补充，信号播放器117可以包括能够产生针对外部显示装置的适当驱动信号的输出电路。因此，接收器103可以包括接收编码视频序列的输入连接构件以及提供显示器输出驱动信号的输出连接构件。

图2示出根据本发明的某些实施例的编码器实例109。图3示出根据本发明的某些实施例的编码方法实例。

编码器包括用于接收包括输入图像的视频序列的接收器201，以及用于接收对应深度指示图序列的接收器203。

首先，编码器109执行步骤301，其中接收视频序列中的输入图像。输入图像被馈入图像编码器205，该图像编码器对视频序列中的视频图像进行编码。将理解，可使用任何适当的视频或图像编码算法，并且所述编码具体可以包括本领域的技术人员已知的运动补偿、量化、转换变换等。具体而言，图像编码器205可以是H-264/AVC标准编码器。

因此，在步骤301之后执行步骤303，其中将输入图像进行编码以产生编码图像。

编码器109然后继续根据输入图像产生预测的深度指示图。所述预测基于预测基本图像，所述预测基本图像例如可以是输入图像本身。但是，在许多实施例中，可以产生预测基本图像以对应于解码器通过对编码图像进行解码产生的图像。

在图2的实例中，图像编码器205相应地与图像解码器207相连，该图像解码器继续通过对图像的编码数据进行解码产生预测基本图像。所述解码可以是实际输出数据流解码，也可以是中间数据流解码，例如在最终的无损失熵编码之前对编码数据流执行的解码。因此，图像解码器207执行步骤305，其中通过对编码图像进行解码来产生预测基本图像bas_IMG。

图像解码器207与预测器209相连，该预测器继续根据预测基本图像产生预测的深度指示图。所述预测基于映射处理器211提供的映射。

因此，在实例中，在步骤305之后执行步骤307，其中产生映射，接着执行步骤309，其中执行预测以产生预测的深度指示图。

预测器209进一步与深度编码器213相连，该深度编码器进一步与深度指示图接收器203相连。深度编码器213接收输入深度指示图和预测的深度指示图，然后继续根据预测的深度指示图对输入深度指示图进行编码。

作为特定低复杂度实例，深度指示图的编码可以基于相对于预测的深度指示图产生残差深度指示图以及对残差深度指示图进行编码。因此，在此实例中，深度编码器213可以继续到执行步骤311，其中响应于输入深度指示图与预测的深度指示图之间的比较，产生残差深度指示图。具体而言，深度编码器213可用输入深度指示图减去预测的深度指示图来产生残差深度指示图。因此，残差深度指示图表示输入深度指示图与根据对应（编码）图像预测的指示图之间的误差。在其他实施例中，可进行其他比较。例如，可采用深度指示图除以预测的深度指示图的方法。

深度编码器213然后可以执行步骤313，其中对残差深度指示图进行编码以产生编码的残差深度数据。

将理解，可使用用于对残差深度指示图进行编码的任何适当编码原理或算法。实际上，在许多实施例中，预测的深度指示图可用作多个预测中的一个可能的预测。因此，在某些实施例中，深度编码器213可被配置为在包括预测的深度指示图的多个预测之间做出选择。其他预测可以包括来自同一或不同深度指示图的空间或时间预测。所述选择可以基于对不同预测的精确度量（例如基于相对于输入深度指示图的残差量）。所述选择可以针对整个深度指示图执行，也可以例如针对深度指示图的不同区域或部分单独执行。

例如，深度指示图编码器可以使用H264编码器进行编码，其中深度值被映射到亮度值（luma vlaue）。传统的H264编码器可利用不同的预测，例如时间预测（帧之间，例如运动补偿）或空间预测（即，根据图像的一个区域预测另一区域）。在图2的方法中，此类预测可通过根据图像产生的深度指示图预测来补充。H.264编码器然后继续到在各种可能的预测之间进行选择。该选择根据宏块执行，并且基于选择导致该宏块的最低残差的预测。具体而言，可执行速率失真分析来针对每个宏块选择最佳预测方法。因此，做出局部决定。

于是，基于H264的编码器可针对不同的宏块使用不同的预测方法。对于每个宏块，可产生残差数据并对其进行编码。因此，输入HDR图像的编码数据可以包括每个宏块的残差数据，其中每个宏块由针对该宏块的特定选定预测导致。此外，编码数据可以包括有关针对每个单独的宏块使用哪种预测方法的指示。

因此，深度指示图预测所依据的图像可以提供可由深度编码器选择的其他可能的预测。对于某些宏块，此预测可以导致低于其他预测的残差，并因此将针对该宏块选择此预测。该块的最终残差深度指示图然后表示输入深度指示图与该块的预测的深度指示图之差。

编码器可以在实例中使用不同预测方法之间的选择，而非使用这些方法的组合，因为这样做会导致不同的预测经常发生相互干扰。

图像编码器205和深度编码器213与输出处理器215相连，该输出处理器接收编码的图像数据和编码的残差深度数据。输出处理器215然后继续到执行步骤315，其中产生输出编码数据流EDS以包括编码的图像数据和编码的残差深度数据。

在实例中，所产生的输出编码数据流为分层数据流，并且编码的图像数据包括在第一层中，编码的残差深度数据包括在第二层中。所述第二层具体可以是不兼容深度处理的解码器或设备能够放弃的可选层。因此，第一层可以是基本层，第二层可以是可选层，具体而言，第二层可以是增强或可选层。此方法允许在深度处理设备利用附加深度信息的同时实现后向兼容性。此外，使用预测和残差图像编码允许针对给定质量，以低数据速率实现高效编码。

在图2的实例中，深度指示图的预测基于映射。所述映射被配置为从采取图像空间位置以及与图像空间位置关联的像素值色坐标组合的输入集形式的输入数据映射到采取深度指示值形式的输出数据。

因此，具体可实现为查找表的映射基于由输入集中组织的大量参数定义的输入数据。因此，输入集可被视为包括多个参数值的多维集合。参数包括空间维度，具体可以包括二维图像位置，例如水平维度参数（范围）和垂直维度参数（范围）。具体而言，映射可将图像区域分为多个具有给定横向和纵向延伸的空间块。

对于每个空间块，映射然后包括一个或多个根据像素值色坐标产生的参数。作为简单实例，除了空间参数之外，每个输入集还可以包括单个亮度值。因此，在这种情况下，每个输入集为具有两个空间参数和一个亮度参数的三维集合。

对于各种可能的输入集，映射提供输出深度指示值。因此，在具体实例中，映射可以是从三维输入数据到单个深度指示（像素）值的映射。

因此，该映射提供到适当深度指示值的同时依赖于空间和颜色分量（仅包括亮度分量）的映射。

映射处理器211被配置为响应于参考图像和对应参考深度指示图产生映射。因此，映射不是预定或固定的映射，而是可根据参数图像/深度图自动和灵活地产生/更新的映射。

参考图像/图具体可以是视频序列中的图像/图。因此，映射根据视频序列中的图像/图动态地产生，从而提供针对特定图像/图映射的自动适应。

作为特定实例，映射可以基于正在编码的实际图像和对应深度指示图。在该实例中，可以产生映射以反映输入与输入深度指示图之间的空间和颜色分量关系。

作为特定实例，映射可以产生为由NX x NY x Ni个箱（bin）（输入集）构成的三维网格。这种网格方法在应用于三维的量化度方面提供巨大灵活性。在实例中，第三（非空间）维度是仅对应于亮度值的强度参数。在下面的实例中，在宏块级别上使用2⁸个强度箱（即，使用8位值）执行深度指示图预测。对于高清图像而言，这意味着网格大小为：120x68x256个箱。每个箱对应于映射输入集。

对于参考图像中的处于位置（x, y）和强度V的每个输入像素，首先确定该位置和强度的匹配箱。

在实例中，每个箱对应于空间水平区间，空间垂直区间和强度区间。匹配箱（即，输入集）可通过最近邻插值判定：

其中I _x 、I _y 和I _I 分别为水平、垂直和强度方向的网格坐标，s _x 、s_y和s _I 为沿这些维度的网格间距（区间长度），[]表示最近整数运算符。

因此，在实例中，映射处理器211判定匹配输入集/箱，该匹配输入集/箱具有对应于像素图像位置的空间区间以及对应于参考图像中特定位置上像素强度值的强度值区间。

映射处理器211然后继续到响应于参考深度指示图中位置的深度指示值，判定匹配输入集/箱的输出深度指示值。

具体而言，在构造网格期间，深度值D和权值W均针对所考虑的每个新位置进行更新（其中D_R表示参考深度指示图中某个位置的深度指示值）：

计算（evaluate）完参考图像/图的所有像素之后，通过权值对深度指示值进行归一化以导出箱的输出深度指示值B：

B= D /W，

其中每个值的数据值B包含对应于特定箱/输入集的位置和输入强度的输出深度指示像素值。因此，网格内的位置可以通过参考图像判定，而网格中存储的数据对应于参考深度指示图。因此，映射输入集根据参考图像判定，映射输出数据根据参考深度指示图判定。在特定实例中，已存储的输出深度指示值是落入输入集/箱内像素的平均深度指示值，但是将理解，在其他实施例中，可使用其他方法，具体是指更高级的方法。

在实例中，自动产生映射以将深度反映到参考图像与深度指示图之间的空间和像素值关系。这对于在参考与被编码的图像和深度指示图密切相关之时，根据图像预测深度指示图尤其有用。如果参考图像和指示图实际就是被编码的图像和指示图，则这种深度反映也会特别有用。在这种情况下，所产生的映射自动适应输入图像与深度指示图之间的特定关系。因此，虽然图像与深度指示图之间的关系一般无法提前获知，但是所述方法可自动适应关系，无需任何现有信息。这样允许精确的预测，从而获得相对于输入深度指示图的较小差别，因此产生可被更有效编码的残差图像。

在被编码的输入图像/图直接用于产生映射的实施例中，这些参考一般不能在解码器端上使用。因此，解码器自身无法产生映射。因此，在某些实施例中，编码器可进一步被配置为包括描述输出编码流中至少部分映射的特征的数据。例如，在使用固定和预定的输入集间隔（即，固定箱）的情况下，编码器可以在输出编码流中包括所有箱输出值，例如作为可选层的一部分。尽管这样可增加数据速率，但由于在产生网格之时执行二次取样，因此开销相对较低。因此，使用精确的自适应预测方法实现的数据简化可能胜于映射数据传输导致的任何数据速率增加。

当产生预测的深度指示图时，预测器209可继续一次一个像素地逐一扫描解码图像。对于每个像素，使用图像中像素的空间位置和强度值识别映射的特定输入集/箱。因此，对于每个像素，根据像素的空间位置和图像值选择箱。然后检索该输入集/箱的输出深度指示值，并且在某些实施例中，这些输出深度指示值可直接用作像素的深度指示值。但是，由于对映射进行空间二次取样可能提供特定的马赛克（blockiness），因此在许多实施例中，深度指示值可通过在多个输入箱的输出深度指示值之间插值产生。例如，也可提取邻近箱的值（在空间和非空间两个方向上），并且可产生深度指示像素值作为这些值的插值。

具体而言，可通过在空间坐标和图像指定的分数位置上划分网格来构建预测的深度指示图：

B _D  = F _int (B(x/S _x , y/S _y , I/S _I ))，

其中F _int 表示适当的插值运算符，例如，最邻近插值或双三次插值。

在许多情况下，图像可由多个颜色分量（例如，RGB或YUV）表示。

产生映射的实例在图4和5中提供。在这些实例中，图像深度映射关联使用图像和深度训练参考建立，并且映射表中的位置通过图像中的水平（x）和垂直（y）像素位置以及图像像素值（例如，图4实例中的亮度（Y）和图5实例中的熵（E））组合来判定。如上所述，映射表在指定位置上存储关联的深度指示训练数据。

编码器15因此产生包括编码图像的编码信号。该图像具体可以包括在编码比特流的强制或基本层中。此外，包括这样的数据，其允许在解码器上根据编码图像有效地产生深度图像。

在某些实施例中，该数据可以包括可被解码器使用的数据或采取可被解码器使用的数据形式。但是，在其他实施例中，对于部分或全部图像，不包括此映射数据。相反，解码器本身可以根据先前的图像产生映射数据。

所产生的编码信号可进一步包括深度指示图的残差深度指示数据，其中残差图像数据指示对应于图像的所需深度指示图与向解码图像应用映射导致的预测深度指示图之差。所需深度指示图具体为输入深度指示图，因此残差深度数据表示可修改解码器产生的深度指示图，以使其更接近地对应于所需深度指示图（即，对应于对应的输入深度指示图）的数据。

在许多实施例中，可以有利地将附加残差深度数据包括在可被适当配置的解码器使用并且被不具备所需功能的旧解码器忽略的可选层（例如，增强层）中。

所述方法例如可允许所描述的基于映射的预测集成在新的后向兼容视频格式中。例如，两个层都可使用传统的数据变换（例如，wavelet、DCT）操作和量化操作进行编码。帧内预测和运动补偿帧间预测可提高编码效率。在这种方法中，从图像到深度的层间预测对其他预测进行了补充并进一步提高增强层的编码效率。

信号可以具体为例如可以在图1实例中的网络上分发或传输的比特流。在某些情况下，信号可存储在适当的存储介质上，例如磁盘/光盘上。例如，信号可以存储在DVD或BluRay^TM盘。

在上面的实例中，映射信息包括在输出比特流中，从而允许解码器根据已接收的图像再现预测。在这种以及其他情况下，使用对映射的二次取样尤其有利。

实际上，可有利地使用空间二次取样，以便不针对每个单独的像素存储单独的输出深度值，而是针对像素组，具体是指针对像素区域存储。在特定实例中，单独的输出值针对每个宏块存储。

作为替代或补充，可使用输入非空间维度的二次取样。在特定实例中，每个输入集可涵盖图像中的多个可能的强度值，从而减少可能的箱数量。这种二次取样可对应于在产生映射之前应用较粗的量化。

这种空间或值二次取样可显著降低传输映射所需的数据速率。但是作为替代或补充，它可以显著减小编码器（和对应的解码器）的资源需求。例如，它可以显著减小存储映射所需的存储空间。在许多实施例中，它还减少产生映射所需的处理资源。

在实例中，映射的产生基于当前的图像和深度指示图，即，基于正被编码的图像和对应深度指示图，但是，在其他实施例中，可使用视频序列中的先前图像作为参考图像，以及使用针对先前图像视频序列产生的先前深度指示图作为参考深度指示图（或在某些情况下，使用对应的先前输入深度指示图）来产生映射。因此，在某些实施例中，用于当前图像的映射可以基于先前对应的图像和深度指示图。

作为实例，视频序列可以包括一系列具有相同场景的图像，因此，连续图像之间的差别会很小。因此，适合于一个图像的映射也极有可能适合于后续图像。因此，使用先前图像和深度指示图作为参考产生的映射也极有可能适用于当前图像。针对当前图像使用根据先前图像的映射的优点是：解码器可单独产生映射，因为这样也能使先前的图像可用（通过对这些图像进行解码）。因此，无需包括有关映射的信息，从而进一步降低编码输出流的数据速率。

使用此方法的特定编码器实例在图6中示出。在该实例中，映射（在特定实例中为查找表，LUT）根据先前重建的（延迟τ）图像和先前重建的（延迟τ）深度指示图在编码器和解码器端二者上构建。在此情况下，无需将任何映射值从编码器发送到解码器。而是，解码器仅使用已经可用的数据复制深度指示图预测过程。虽然层间预测质量可能稍有降低，但是由于视频序列中的后续帧之间具有高度的时间相关性，因此这种降低幅度并不重要。在实例中，针对图像使用yuv420颜色方案，针对映射使用yuv444/422颜色方案，因此，首先执行颜色上转换，然后产生和应用LUT（映射）。

优选地使延迟τ尽可能小，以便提高图像和深度指示图尽可能相似的概率。但是，在许多实施例中，最小值可能依赖于所使用的具体编码结构，因为需要解码器能够根据已解码的画面产生映射。因此，最佳延迟可能依赖于所使用的GOP（画面组）类型，具体是指依赖于所使用的时间预测（运动补偿）。例如，对于IPPPP GOP，τ可以是单个图像延迟，而根据IBPBP GOP，它将是至少两个图像延迟。

在实例中 ，图像中的每个位置只对网格的一个输入集/箱做出贡献。但是，在其他实施例中，映射处理器可以识别用于产生映射的至少一组图像位置中的至少一个位置的多个匹配输入集。然后可以响应于参考深度指示图中的位置的深度指示值，确定所有匹配输入集的输出深度指示值。

具体而言，不使用最近邻插值来构建网格，单个数据也可以遍布于邻近箱而非仅遍布于单个最佳匹配箱。在这种情况下，每个像素不对单个箱做出贡献，而是对例如它的所有邻近箱（在3D网格中，有8个箱）做出贡献。所述贡献例如可以与像素与邻近箱中心之间的三维距离成反比。

图7示出图2的编码器的互补解码器实例115，图8示出其操作方法的实例。

解码器115包括接收电路701，该接收电路执行步骤801，其中从接收器113接收编码数据。在其中图像编码数据和残差深度数据在不同层编码的特定实例中，接收电路被配置为提取和分用图像编码数据和采取残差深度指示图数据形式的可选层数据。在其中已接收的比特流包括映射信息的实施例中，接收电路701可进一步提取该数据。

接收电路701与接收编码图像数据的图像解码器703相连。该图像解码器然后继续到执行步骤803，其中对图像进行解码。图像解码器703将与解码器109的图像编码器205互补并且具体可以是H-264/AVC标准解码器。

图像解码器703与接收解码图像的解码预测器705相连。解码预测器705进一步与解码映射处理器707相连，该解码映射处理器被配置为执行步骤805，其中针对解码预测器705产生映射。

解码映射处理器707产生的映射对应于当产生残差深度数据时被编码器使用的映射。在某些实施例中，解码映射处理器707可以仅响应于在编码数据流中接收的映射数据而产生映射。例如，网格中每个箱的输出数据值可以在已接收的编码数据流中提供。

解码预测器705然后继续到执行步骤807，其中根据解码图像以及解码映射处理器707产生的映射产生预测的深度指示图。所述预测可遵循编码器中使用的同一方法。

为了简洁和清晰起见，该实例将着重描述简化的实例，其中编码器仅基于图像到深度预测，因此，产生整个图像到深度指示图的预测（因此为整个残差深度图）。但是将理解，在其他实施例中，此方法可与诸如时间或空间预测之类的其他预测方法一起使用。具体而言，将理解，并非将所述方法应用于整个图像，而是仅将此方法应用于个别图像区域或块，其中图像到深度预测由编码器选择。

图9示出如何执行预测操作的具体实例。

在步骤901，选择深度指示图图像中的第一像素位置。然后在步骤903，针对该像素位置判定映射的输入集，即，判定网格中的适当输入箱。例如可通过识别涵盖位置所落入的空间区间以及解码图像的解码像素值所落入的强度区间的网格来执行此判定。在步骤903之后执行步骤905，其中从映射中检索输入集的输出深度值。例如，可使用所判定的输入集数据定址LUT，并且检索针对该定址存储的结果输出数据。

在步骤905之后执行步骤907，其中根据检索的输出判定像素深度值。作为简单实例，可将深度值设为检索到的深度指示值。在更复杂的实施例中，像素深度值可通过在不同输入集的多个输出深度值之间插值产生（例如，考虑所有邻近箱以及匹配箱）。

此过程可以针对深度指示图中的所有位置重复，从而导致正被产生的预测的深度指示图。

解码器115然后将继续到根据预测的深度指示图产生输出深度指示图。

在特定实例中，输出深度指示图通过考虑已接收的残差深度指示数据产生。因此，接收电路701与接收残差深度指示数据的残差解码器709相连，该残差解码器继续到执行步骤809，其中对残差深度指示数据进行解码以产生解码的残差图像。

残差解码器709与组合器711相连，该组合器进一步与解码预测器705相连。组合器711接收预测的深度指示图和解码的残差深度指示图并继续到执行步骤811，其中组合这两个指示图以产生输出深度指示图。具体而言，该组合器可以逐像素针对两个图像添加深度值，从而产生输出深度指示图。

组合器711与输出电路713相连，该输出电路执行步骤813，其中产生输出信号。输出信号例如可以是能够驱动适当显示器（例如，电视机）以呈现图像或根据图像和深度指示图产生备选图像的显示器驱动信号。例如，可产生对应于不同视点的图像。

在特定实例中，映射根据编码数据流中包括的数据判定。但是，在其他实施例中，映射可响应于解码器已接收的先前图像/图（例如，视频序列中的先前图像和深度指示图）产生。对于该先前图像，解码器将具有通过图像解码获取的解码图像并将此图像用作参考图像。此外，已通过首先执行预测，然后使用残差深度指示图进一步校正预测的深度指示图产生出深度指示图。因此，所产生的深度指示图非常接近地对应于编码器的输入深度指示图并可相应地用作参考深度指示图。根据这两个参考图像，解码器可使用与编码器完全相同的方法产生映射。因此，该映射将对应于编码器使用的映射，从而导致相同的预测（因此，残差深度指示数据将精确地反映解码器预测的深度指示图与编码器端的输入深度指示图之差）。

因此，此方法提供始于标准图像编码的后向兼容深度编码。

此方法根据可用图像数据使用深度指示图的预测，从而减少所需的残差深度信息。

此方法使用从不同图像值到深度值映射的改进特征，自动考虑了图像/场景的细节。

所述方法可针对特定局部特征提供特别有效的映射适应，并且在许多情况下，可以提供特别精确的预测。这在图10的实例中示出，该实例示出图像Y的亮度与对应深度指示图中的深度D之间的关系。图10示出恰好包括三个不同对象元素的特定宏块的关系。因此，像素亮度与深度之间的关联（通过多个点指示）位于三个不同的群集1001、1003、1005中。

简单应用仅对关系执行线性回归，从而产生亮度值与深度值之间的线性关系，例如由直线1007指示的关系。但是，此方法对于至少某些值（例如，属于群集1003的图像对象的值）提供相对较差的映射/预测。

与之相对，上述方法将产生精确得多的映射，例如直线1009指示的映射。该映射更精确地反映所有群集的特征和适当映射，从而导致改进的映射。实际上，该映射不仅提供与群集对应的精确亮度结果，而且还精确地预测亮度之间的关系，例如1011指示的区间。此类映射可通过插值获取。

此外，可根据参考图像/图（在具体情况下，根据两个参考宏块）执行简单处理以自动判定此类精确映射信息。另外，编码器和解码器可根据先前的图像独立地判定精确映射，无需在数据流中包括映射信息。这样可以最小化映射开销。

在上面实例中，此方法针对图像和深度指示图用作解码器的一部分。但是将理解，所述原理可用于许多其他应用和情况。例如，此方法可用于仅根据图像产生深度指示图。例如，适当的局部参考图像和深度指示图可在局部选择以用于产生适当映射。然后将映射应用于图像以产生深度指示图（例如，使用插值）。然后使用所获得的深度指示图呈现图像（例如，利用已改变的视点）。

另外将理解，在某些实施例中，解码器不会考虑任何残差数据（因此，编码器不需要产生残差数据）。实际上，在许多实施例中，通过对解码图像应用映射产生的深度指示图可直接用作输出深度指示图，无需任何进一步的修改或增强。

所述方法可用于许多不同的应用和情况，例如可用于根据图像视频信号动态地产生实时深度指示图信号。例如，解码器115可在机顶盒或其他包含接收视频信号的输入接连器以及输出带有关联深度指示图信号的视频信号的输出连接器的装置中实现。

作为特定实例，所述视频信号可存储在可被Bluray^TM播放器读取的Bluray^TM盘上。Bluray^TM播放器可通过HDMI线缆连接到机顶盒，所述机顶盒然后产生深度指示图。所述机顶盒可通过另一HDMI连接器连接到显示器（例如电视机）。

在某些情况下，解码器或深度指示图产生功能可作为信号源的一部分而被包括，例如Bluray^TM播放器或其他媒体播放器。作为另一备选，此功能可实现为诸如计算机监视器或电视机之类的显示器的一部分。因此，显示器可接收能修改为根据局部产生的深度指示图提供不同图像的图像流。因此，可以提供诸如媒体播放器或显示器（例如提供明显改善的用户体验的计算机监视器或电视机）之类的信号源。

在特定描述的实例中，映射的输入数据只存在于两个空间维度和单个像素值维度中，所述像素值维度表示例如可对应于该像素亮度值或对应于颜色通道强度值的强度值。

但是更一般地说，映射输入可以包括图像像素色坐标的组合。每个色坐标可以仅对应于一个像素值，例如对应于RGB信号的R、G和B值之一，或者对应于YUV信号的Y、U、V值之一。在某些实施例中，所述组合可以仅对应于选择色坐标值之一，即，它可以对应于其中所有远离选定色坐标值的色坐标按零权值加权的组合。

在其他实施例中，所述组合可以是单个像素的多个色坐标的组合。具体而言，可以仅组合RGB信号的色坐标以产生亮度值。在其他实施例中，可使用更灵活的方法，例如具有以下特征的加权亮度值：其中考虑所有颜色通道，但是形成网格的颜色通道的权重大于其他颜色通道。

在某些实施例中，所述组合可以考虑多个像素位置上的像素值。例如，可产生单个亮度值，其不仅考虑被处理位置的像素的亮度，也考虑其他像素的亮度。

实际上，在某些实施例中，可产生不仅反映特定像素特征，而且还反映像素位置特征（具体是指反映此类特征如何围绕像素变化）的组合值。

作为实例，亮度或颜色强度梯度分量可包括在组合中。例如，产生组合值时可考虑当前像素值亮度与每个周围像素亮度之差。进一步地，可判定与所述周围像素的外围像素（即，下一同心层）亮度之差。然后使用加权求和法对这些差别进行求和，其中权值取决于到当前像素的距离。权值可以进一步取决于空间方向，例如通过对相反方向的差别应用相反符号。可以将此类基于组合差的值视为指示实施特定像素周围的可能亮度梯度。

因此，应用此类空间增强映射可允许根据图像产生的深度指示图考虑空间变化，从而允许其更精确的反映此类空间变化。

作为另一实例，可产生组合值以反映包括当前像素位置的图像区域的纹理特征。此类组合值例如可通过判定小型周围区域上的像素值变化产生。作为另一实例，当判定组合值时，可检测到重复图案并考虑这些重复图案。

实际上，在许多实施例中，组合值可以有利地反映当前像素值周围像素值的变化指示。例如，变化可直接判定并用作输入值。

作为另一实例，所述组合可以是局部熵值之类的参数。所述熵是随机性的统计度量，例如可用于描述输入图像纹理的特征（除该实例之外，可使用其他纹理或对象识别度量，例如对全部可对预测做出贡献的邻边或邻角度量求和（需要根据（粗）方向和与当前位置的距离进一步整理，例如指示局部点或像素区域位于锯齿形边缘的左侧），无论位于单独的映射/查找表中还是位于聚合映射/查找表中）。熵值H例如可计算为：

，

其中p()表示图像I中像素值I _j 的概率密度函数。此函数可通过在被考虑的邻域（在上述方程式中，具有n个邻近像素）上构建局部直方图来估计。对数的底数b通常被设为2。

将理解，在其中组合值根据多个单独的像素值产生的实施例中，针对每个空间输入集在网格中使用的可能组合值的数量可能大于单个像素的像素值量化等级总数。例如，特定空间位置的箱数量可以超过像素可达到的可能离散亮度值的数量。但是，个别组合值的精确量化以及网格大小针对特定应用实现最佳化。

将理解，根据图像产生深度指示图可响应于各种其他特征、参数和特性。

例如，编码器和/或解码器可以包括提取并可能识别图像对象的功能，并且可以响应于此类对象的特性调整映射。例如，已知多种用于检测图像中人脸的算法，并且此类算法可用于适应被视为对应于人脸的区域中的映射。其他可以考虑的实例特征包括锐度、对比度和颜色饱和度指标。所有这些特征一般随深度的增加而降低，因此会与深度充分关联。

因此，在某些实施例中，编码器和/解码器可以包括用于检测图像对象的构件和用于响应于图像对象的图像特性适应映射的构件。具体而言，编码器和/或解码器可以包括用于执行人脸检测的构件和用于响应于人脸检测（例如可通过在LUT中的画面亮度范围之上添加“人脸亮度”范围实现，尽管这些亮度可能出现在画面的其他位置，但是通过人脸检测，具有另一种意义）适应映射的构件。例如，可以假设在特定图像中，人脸更可能是前景对象，而非背景对象。

将理解，映射可通过多种不同的方式进行适应。作为低复杂度实例，不同的网格或查找表可以仅用于不同的区域。因此，编码器/解码器可被配置为响应于图像对象的图像特性，在不同的映射之间进行选择。

可构想适应映射的其他手段。例如，在某些实施例中，输入数据集可以在映射之前进行处理。例如，可以在表查找之前对颜色值应用抛物线函数。这种预处理可应用于所有输入值，也可以例如选择性地应用。例如，输入值可以仅针对某些区域或图像对象进行预处理，也可以仅针对某些值区间进行预处理。例如，预处理可以仅应用于落在肤色区间内的颜色值和/或仅应用于被指定为可能对应于人脸的区域。这种方法可更精确地建立人脸模型。

作为替代或补充，可以应用输出深度值的后处理。此类后处理可以类似地应用于所有输出深度值，也可以选择性地应用。例如，可以仅应用于与肤色对应的输出值，也可以仅应用于被视为对应于人脸的区域。在某些系统中，后处理可被配置为部分或全部地补偿预处理。例如，预处理可应用转换操作，而后处理应用反向转换。

作为特定实例，预处理和/或后处理可以包括筛选（一个或多个）输入/输出值。在许多实施例中，这样可提高性能，具体而言，映射经常可以改进预测。例如，筛选操作可减少深度域中的捆绑（banding）。

在某些实施例中，映射可进行非均匀二次取样。映射具体可以是空间非均匀二次取样映射、时间非均匀二次取样映射；以及组合值非均匀二次取样映射中的至少一项。

非均匀二次取样可以是静态非均匀二次取样，或者非均匀二次取样可以响应于例如图像特性或色坐标的组合特性进行适应。

例如，颜色值二次取样可依赖于色坐标值。此操作例如可以是静态操作，以便对应于肤色的颜色值的箱可以涵盖的色坐标值区间远小于涵盖其他颜色的颜色值的箱。

作为另一实例，可应用动态空间二次取样，其中针对人脸对应区域所执行的二次取样比针对非人脸对应区域执行二次取样程度更精细。将理解，可使用许多其他非均匀二次取样方法。

在上面实例中，使用了三维映射/网格。但是在其他实施例中，可使用N维网格，其中N是大于3的整数。具体而言，可以通过多个与像素值相关的维度补充两个空间维度。

因此，在某些实施例中，组合可以包括多个维度，具有针对每个维度的值。作为简单实例，所产生的网格为具有两个空间维度和一个用于每个颜色通道的维度的网格。例如，对于RGB图像，每个箱可通过水平位置区间、垂直位置区间、R值区间、G值区间以及B值区间定义。

作为另一实例，多个像素值维度可以额外地或替换地对应于不同的空间维度。例如，维度可被分配到当前像素亮度和每个周围像素。

这样，多维网格可以提供额外的信息，允许改进预测，具体允许深度指示图更紧密地反映像素间的相对差别。

在某些实施例中，编码器可被配置为响应于预测，适应操作。

例如，编码器可产生上述预测的深度指示图，然后可以将此预测的深度指示图与输入深度指示图做比较。例如可通过产生残差深度指示图并计算该指示图来执行比较。编码器然后继续到根据此计算适应操作，具体可以根据此计算适应映射和/或残差深度指示图。

作为特定实例，编码器可被配置为根据此计算选择将包括在编码数据流中的映射部分。例如，编码器可使用先前图像/图集产生当前图像的映射。可判定基于该映射的对应预测，并且可以产生对应残差深度指示图。编码器然后计算残差深度指示图以识别其中预测足够精确的区域以及预测不够精确的区域。例如，残差深度指示图值低于给定的预定阈值的所有像素可被视为能足够精确地被预测。因此，这些区域的映射值被视为足够精确，解码器可直接使用这些值的网格值。相应地，对于仅包括（span）被视为能足够精确地被预测的像素的输入集/箱，不包括任何映射数据。

但是，对于对应于不能足够精确地被预测的像素的箱，编码器可继续到使用当前图像/图集作为参考产生新映射值。由于解码器无法重新创建此映射信息，因此该信息包括在编码数据中。因此，此方法可用于动态地适应映射，使其包括反映先前图像/图的数据箱以及反映当前图像/图的数据箱。因此，映射被自动适应为在可接受时基于先前图像/图，在必要时基于当前图像/图。由于只有基于当前图像/图产生的箱需要包括在编码输出流中，因此实现所传输映射信息的自动适应。

这样，在某些实施例中，需要针对某些图像区域传输更佳的（非解码器端构建的）图像到深度映射，例如，因为编码器可针对这些区域检测到深度指示图预测不够准确，例如，因为关键对象发生变化，或者因为对象确实非常关键（例如人脸）。

在某些实施例中，可针对残差深度指示图替换地或额外地使用类似的的方法。作为低复杂度实例，所传输的残差深度指示数据量可响应于输入深度指示图与预测的深度指示图的比较进行适应。作为特定实例，编码器可以继续到计算残差深度指示图中信息的重要性。例如，如果残差深度指示图中值的平均值小于给定阈值，则表示预测的图像接近输入深度指示图。相应地，编码器可基于此考虑选择是否将残差深度指示图包括在编码输出流中。例如，如果平均残差深度值低于阈值，不包括残差图像的编码数据，如果高于阈值，则包括残差深度指示图的编码数据。

在某些实施例中，可应用更细致的选择，其中针对平均深度指示值高于阈值的区域包括残差深度指示数据，而对于平均深度指示值低于阈值的区域，则不包括该数据。图像区域例如可具有固定大小，也可以例如动态地确定大小（例如，经分割处理）。

在某些实施例中，编码器可进一步产生映射以提供所需效应。例如，在某些实施例中，产生映射不是为了提供最精确的预测，而是为了替换地或额外地给予所需效应。例如，可产生映射以使得预测也提供例如深度增强效应，从而使图像呈现包含感知的较高深度（即，前景对象与背景对象之间的较大的感知距离）。此类所需效应例如可通过不同方式应用于不同的图像区域。例如，可识别图像对象并将产生映射的不同方法用于不同区域。具体而言，某些对应于图像对象的区域可在画面中进一步前移或后移。

实际上，在某些实施例中，编码器可被配置为在响应于图像特性（具体是指响应于局部图像特性）产生映射的不同方法之间进行选择。

在实例中，映射基于根据图像和深度指示图集自适应产生映射。具体而言，映射可根据先前图像和深度指示图产生，因为这样不需要编码数据流包括任何映射信息。但是，在某些情况下，例如对于场景发生变化，先前图像与当前图像之间的关联并不很大的情况，这种方法并不适合。在这种情况下，编码器可切换为在编码输出数据中包括映射。例如，编码器可以检测到发生场景变化，并相应地继续到在场景变化之后立即根据当前的图像和深度指示图本身产生该（多个）图像的映射。所产生的映射数据然后包括在编码输出流中。解码器可以继续到根据先前图像/图产生映射，当明确的映射数据包括在已接收的编码比特流中，并且使用该映射数据时除外。

在某些实施例中，解码器可针对视频序列中的至少某些图像使用参考映射。参考映射可以是不响应于视频序列中的图像和深度指示图集动态判定的映射。参考映射可以是预定映射。

例如，编码器和解码器都可具有预定的默认映射信息，该默认预测可用于根据图像产生深度指示图。因此，在其中根据先前图像产生动态适应映射的实施例中，当所判定的映射不能精确地反映当前图像时，可以使用默认的预定映射。例如，在场景变化之后，可将参考图像用于（多个）第一图像。

在这些情况下，编码器可以检测到场景已发生变化（例如，通过对连续图像之间的像素值差进行简单比较），然后可以在编码输出流中包括参考映射指示，这表示应该将参考映射用于预测。参考映射可能降低预测的深度指示图的准确度。但是，当编码器和解码器使用同一参考映射时，只能导致残差深度指示图的值增加（从而增加数据速率）。

在某些实施例中，编码器和解码器能够从多个参考映射中选择参考映射。系统可以共享多个预定映射信息，而非仅使用一个参考映射。在此类实施例中，编码器可产生预测的深度指示图和对应残差深度指示图的所有可能的参考映射。然后选择一个导致最小残差深度指示图（从而实现最低编码数据速率）的映射。编码器可以包括参考映射指示器，该指示器明确定义在编码输出流中使用的参考映射。这种方法可确定预测，从而降低在许多情况下传输残差深度指示图所需的数据速率。

因此，在某些实施例中，可针对第一帧或场景改变后的第一帧使用固定LUT（映射）（或者从固定集中选择的映射，仅传输对应的索引）。虽然此类帧的残差一般较高，但由于没有必须编码的映射数据，因此一般优先使用。

在实例中，映射因此被配置为多维图，具有两个空间图像维度和至少一个组合值维度。这样提供特别有效的结构。

在某些实施例中，可对多维图应用多维过滤器，多维过滤器包括至少一个组合值维度和至少一个空图像维度。具体而言，在某些实施例中，可对多维网格应用适当的多维低通过滤器。在许多实施例中，这样做可改进预测，从而降低数据速率。具体而言，可以改进某些信号（例如通常导致轮廓效应（contouring artifacts）的平滑强度梯度）的预测质量。

在上面描述中，根据图像产生单个深度指示图。但是，现在已经更多地关注场景的多视图捕捉和呈现。例如，三维（3D）电视正进入消费市场。作为另一实例，已开发出允许用户环视对象等的多视图计算机显示器。

多视图图像因此可以包括从不同视点捕获或产生的同一场景的多个图像。下面着重介绍包括场景左右（眼）视图的立体视图。但是将理解，所述原理均等地应用于多视图图像（包括两个以上对应于不同方向的图像）中的视图，并且具体地，左右图像可被视为多视图图像内两个以上图像/视图中的两个视图的两个图像。

因此在许多情况下，需要有效地产生、编码或解码多视图图像，并且在许多情况下，通过使多视图图像中的一个图像依赖于另一图像来实现上述目的。

在某些情况下，多视图图像仅由一个深度指示图表示，即，深度指示图可以仅针多视图图像中的一个图像提供。但是在其他实例中，深度指示图可针对多视图图像中的全部或部分图像提供。具体而言，左深度指示图可针对左图像提供，右深度指示图可针对右图像提供。

在这些情况下，上述用于产生/预测深度指示图的方法可针对多视图图像中的每个个别图像单独应用。具体而言，左深度指示图可根据左图像的映射产生/预测，右深度指示图可根据右图像产生/预测。

但是，作为替代或补充，一个视图的深度指示图可根据另一视图的深度指示图产生或预测。例如，右深度指示图可根据左深度指示图产生或预测。

因此，第二视图的深度指示图可以根据第一视图的深度指示图进行编码。例如，如图11所示，图2的编码器可增强为提供立体深度指示图编码功能。具体而言，图11的编码器对应于图2的编码器，但是进一步包括第二接收器1101，该接收器被配置为接收对应于第二视图的第二深度指示图。在下文中，接收器203接收的深度指示图将被称为第一视图深度指示图，第二接收器1101接收的深度指示图将被称为第二视图深度指示图。第一和第二视图深度指示图具体为立体图像的左右深度指示图。

第一视图深度指示图根据上面的描述进行编码。此外，编码的第一视图深度指示图被馈入视图预测器1103，该预测器继续到根据第一视图深度指示图产生第二视图深度指示图的预测。具体而言，系统包括位于深度编码器213与视图预测器1103之间的深度解码器1105，该解码器对第一视图深度指示图的编码数据进行解码并将已解码深度指示图提供给视图预测器1103，视图预测器然后根据接收的已解码深度指示图产生第二视图深度指示图的预测。在简单实例中，第一视图深度指示图本身可直接用作第二深度指示图的预测。

图11的编码器进一步包括第二深度编码器1107，该编码器从视图预测器1103接收预测的深度指示图，以及从第二接收器1101接收原始图像。第二深度编码器1107继续到响应于来自视图预测器1103的预测的深度指示图，对第二视图深度指示图进行编码。具体而言，第二编码器1107可以用第二视图深度指示图减去预测的深度指示图，并对所得的残差深度指示图进行编码。第二编码器1107与输出处理器215相连，该处理器将第二视图深度指示图的编码数据包括在输出流中。

所述方法可允许特别有效地编码多视图深度指示图。具体而言，可用极低的数据速率实现给定质量。

一般而言，第二视图的图像也会被编码并包括在输出流中。因此，图11的编码器也可以增强，如图12所示。

具体而言，接收器1201可以接收第二视图图像（例如，立体图像的右图像）。然后将此图像馈入第二图像编码器1203，该编码器继续到对图像进行编码。第二图像编码器1203可以与第一图像编码器205完全相同，具体可根据H264标准执行图像编码。第二图像编码器1203与输出处理器215相连，该处理器被馈入来自第二图像编码器1203的编码数据。

因此，在实例中，输出流包括四个不同的数据流：

第一视图图像的编码数据。该数据自包含并且不依赖于其他任何编码数据。

第二视图图像的编码数据。该数据自包含并且不依赖于其他任何编码数据。

第一视图深度指示图的编码数据。该数据根据第一视图图像的编码数据进行编码。

第二视图深度指示图的编码数据。该数据根据第一视图深度指示图的编码数据，因此也根据第一视图图像数据进行编码。

如图12所示，第二视图深度指示图的编码也可以基于第二视图图像。实际上，在实例中，预测器1205产生基于第二视图图像的第二视图深度指示图的预测深度指示图。此预测可使用根据第一视图图像预测第一视图深度指示图时使用的相同方法产生。因此，预测器1205可被视为表示块207、209和211的组合功能。实际上，在某些情况下，可以使用完全相同的映射。

因此，在图12的实例中，第二深度编码器1107根据第二深度指示图的两种不同预测执行编码。

在图12的实例中，独立、自洽地对两个图像进行解码（即，不依赖或使用来自其他编码的数据）。但是，在某些实例中，图像之一可以根据另一图像进一步编码。例如，第二图像编码器1203可从图像解码器207接收解码的第一视图图像并使用此图像作为正被编码的第二视图图像的预测。

可使用不同的方法根据第一图像深度指示图预测第二图像深度指示图。如上所述，在某些实例中，第一图像深度指示图甚至可以直接用作第二深度指示图的预测。

特别有效的高性能系统可以基于与针对图像与深度指示图之间的映射描述的相同映射方法。

具体而言，根据参考指示图，可产生将输入数据与输出数据进行关联的映射，其中输入数据采取图像空间位置以及关联于第一视图的深度指示图中关联于该图像空间位置的深度指示值中的深度指示值的输入集的形式，输出数据采取关联于第二视图的深度指示图中的深度指示值的形式。因此，产生映射来反映第一视图参考深度指示图（即，对应于第一视图图像）与对应的第二视图参考深度指示图（即，对应于第二视图图像）之间的关系。

该映射可使用之前针对图像到深度指示图映射描述的相同原理产生。具体而言，映射可根据先前立体图像的深度图产生。例如，对于先前立体图像深度图，每个空间位置可通过被识别为涵盖匹配空间区间和深度值区间的映射的适当箱计算。然后可以使用第二视图的深度指示图中的对应值产生该箱（在某些实例中，可以直接用作输出值）的输出值。因此，此方法可以提供与应用于图像到深度映射的方法相同的优点，其中包括自动产生映射、精确实施预测、使得实现更实用等。

特别有效的编码器实现可使用通用、相同或共享的元件实现。在某些系统中，可针对多个编码操作使用预测性编码模块。

具体而言，基本编码模块可被配置为根据图像/图预测对输入图像/图进行编码。基本编码模块具体可以包含以下输入和输出端：

- 用于接收待编码图像/图的编码输入端；

- 用于接收待编码图像/图预测的预测输入端；以及

- 用于输出待编码图像的编码数据的编码输出端。

这种编码模块的实例是在图13中示出的编码模块。特定编码模块使用H264编解码器1301，该编解码器接收包含待编码图像或图数据的输入信号IN。进一步地，H264编解码器1301根据H264编码标准和原理对输入图像进行编码以产生编码的输出数据BS。这种编码基于预测存储器1303、1305中存储的一个或多个预测图像。其中一个预测存储器1305被配置为存储来自预测输入端（INex）的输入图像。具体而言，基本编码模块可以覆写基本编码模块自己产生的预测图像。因此，在实例中，预测存储器1303、1305根据H264标准填充通过对视频序列中的先前编码图像/指示图进行解码产生的先前预测数据。但是，此外，至少一个预测存储器1305被来自预测输入端的输入图像/图（即，通过预测在外部产生的）覆写。而编码模块内部产生的预测数据通常为时间或空间预测，即，根据视频序列中的当前、先前或将来图像/图的预测，在预测输入端上提供的预测通常可以是非时间和非空间预测。例如，可以是基于来自不同视图的图像的预测。例如，第二视图图像/深度指示图可使用上述编码模块进行编码，其中第一视图图像/深度指示图被馈入预测输入端。

图13的示例性编码模块进一步包括可选的解码图像输出端OUT_loc，该输出端将对编码数据进行解码产生的解码图像/图提供给外部功能。此外，采取延迟解码图像/图输出端OUT_{loc（τ-1）}形式的第二可选输出端提供延迟版本的解码图像。

编码单元具体可以是WO2008084417中描述的编码单元，该文档的内容通过引用合并于此。

因此，在某些实例中，系统可对视频信号进行编码，其中执行压缩，并使用多个时间预测，将多个预测帧存储在存储器中，其中存储器中的预测帧被单独产生的预测帧覆写。

被覆写的预测帧具体可以是存储器中最久的预测帧中的一个或多个。

存储器可以是增强流编码器中的存储器，预测帧可以被来自基本流编码器的帧覆写。

编码模块可在许多有利的配置和拓扑中使用，极大地提高实现效率，同时保持低实现成本。例如，在图12的编码器中，同一编码模块可同时用于图像编码器205、深度编码器213、第二图像编码器1203和第二HDR编码器1207。

将参考图14-17描述如图13中的编码模块的各种有利配置和使用。

图14示出其中基本编码模块（如图13中的编码模块）可用于根据上述原理对图像和对应深度指示图进行编码的实例。在实例中，基本编码模块1401、1405用于对图像和深度指示图二者进行编码。在实例中，图像被馈入编码模块1401，该编码模块继续到产生编码比特流BS IMG，无需在预测输入端上提供任何图像预测（尽管编码可以使用内部产生的预测，例如用于运动补偿的时间预测）。

基本编码模块1401进一步在解码图像输出端产生解码版本的图像以及在延迟解码图像输出端产生延迟的解码图像。这两个解码图像被馈入预测器1403，该预测器进一步接收延迟的解码图像（即，先前图像）。预测器1403继续到根据先前（延迟的）解码图像和深度指示图产生映射。然后继续到通过将该映射应用于当前解码图像来产生当前图像的预测深度指示图。

基本编码模块1405然后继续到在预测的深度指示图上对深度指示图进行编码。具体而言，预测的深度指示图被馈入基本编码模块1405的预测输入端，并且深度指示图被馈入输入端。基本编码模块1405然后产生对应于深度指示图的输出比特流BS DEP。两个比特流BS IMG和BS DEP可组合为单个输出比特流。

在实例中，因此使用同一编码模块（由两个功能表现1401、1405表示）对图像和深度指示图二者进行编码。可以仅按时间顺序使用一个基本编码模块执行编码。可替换地，可以实现完全相同的基本编码模块。这样可以大量节省成本。

在实例中，因此深度指示图编码依赖于图像，而图像编码不依赖于深度指示图。因此，提供可实现联合编码/压缩的层级式编码安排。

将理解，图14的实例可被视为图2的编码器的具体实现，其中针对图像和深度指示图使用完全相同的或同一编码模块。具体而言，可使用同一基本编码模块实现图像编码器205和图像解码器207以及图2中的深度编码器213。

另一实例在图15中示出。在该实例中，使用多个相同的或单个基本编码模块1501、1503执行有效的立体图像编码。在实例中，左图像被馈入基本编码模块1501，该编码模块继续到对左图像进行编码而不依赖任何预测。得出的编码数据作为第一比特流L BS输出。右图像的图像数据在基本编码模块1503的图像数据输入端输入。而且，左图像用作预测图像，这样，基本编码模块1501的解码图像输出端与基本编码模块1503的预测输入端相连，以便解码版本的左图像被馈入基本编码模块1503的预测输入端，该编码模块继续到根据此预测对右图像进行编码。基本编码模块1503因此产生包括右图像（相对于左图像）编码数据的第二比特流 R BS。

图16示出其中使用多个相同的或单个基本编码模块1401、1403、1603、1601提供立体深度指示图和图像的联合与组合编码的实例。在实例中，图14的方法应用于左图像和左深度指示图。此外，右深度指示图根据左深度指示图进行编码。具体而言，右深度指示图被馈入基本编码模块1601的图像数据输入端，该编码模块的预测输入端与执行左深度指示图编码的基本编码模块1405的解码图像输出端相连。因此，在实例中，基本编码模块1601根据左深度指示图对右深度指示图进行编码。因此，图16的编码器产生左图像比特流 L BS、左深度指示图比特流 L DEP BS，以及右深度指示图R DEP BS。

在图16的具体实例中，第四比特流也针对右图像进行编码。在实例中，基本编码模块1603在图像数据输入端接收右图像，而解码版本的左图像被馈入预测输入端。基本编码模块1603然后继续到对右图像进行编码以产生第四比特流R BS。

因此，在图15的实例中，立体图像和深度特性有效地进行联合编码/压缩。在实例中，左视图图像独立编码，右视图图像依赖于左图像。此外，左深度指示图依赖于左图像。右深度指示图依赖于左深度指示图，并因此也依赖于左图像。在实例中，右图像不用于任何立体深度指示图的编码/解码。这样做的优点是仅需3个基本模块执行立体深度指示图的编码/解码。

图17示出一个实例，其中增强图16的编码器，以使右图像也用于对右深度指示图进行编码。具体而言，可使用与用于左深度指示图的相同方法根据右图像产生右深度指示图的预测。具体而言，可使用上述映射。在实例中，基本编码模块1501的预测输入端被配置为接收两个预测图，这两个预测图均可用于对右深度指示图进行编码。例如，这两个预测深度指示图可覆写基本编码模块1601中的两个预测存储器。

因此，在该实例中，立体图像和深度指示图联合编码并（更加）有效地压缩。在此，左视图图像独立编码，右视图图像根据左图像进行编码。在该实例中，右图像也用于立体深度指示图信号（具体是指右深度指示图）的编码/解码。因此，在实例中，两个预测可用于右深度指示图，从而提高压缩效率，尽管需要以四个基本编码模块为代价（或者重复使用同一基本编码模块四次）。

因此，在图14-17的实例中，同一基本编码/压缩模块用于图像和深度指示图联合编码，这样做有利于压缩效率以及实现实用性和成本。

将理解，图14-17为功能图，并且可以反映按时间顺序使用同一编码模块，或者例如可以示出并行应用相同的编码模块。

因此，所述编码实例产生输出数据，其包括根据一个或多个图像或深度图对一个或多个图像或深度图进行编码。因此，在实例中，至少两个图联合编码，以便一个图依赖于另一图，而所述另一图不依赖于第一图。例如，在图16的编码器中，两个深度指示图联合编码，其中右深度指示图的编码依赖于左深度指示图（通过预测），而左深度指示图的编码不依赖于右深度指示图。

可使用这种非对称联合编码产生有利的输出流。具体而言，分别产生（分割）右深度指示图和左深度指示图的两个输出流R DEP BS和L DEP BS以作为两个不同的数据流，这两个数据流可一起多路复用以形成输出数据流（或其一部分）。不需要R DEP BS数据流中的数据的L DEP BS数据流可被视为主数据流，需要L DEP BS数据流中的数据的R DEP BS可被视为次数据流。在特别有利的实例中，实现多路复用以便为主数据流和次数据流提供单独的代码。因此，为这两个数据流分配不同的代码（头/标签）从而允许在输出数据流中分离和识别单独的数据流。

作为特定实例，输出数据流可被分为数据包或数据段，其中每个包/段包括仅来自主数据流或次数据流的数据，为每个包/段提供识别哪个流包括在特定包/段中的代码（例如，位于头、前导码、中间码或后导码中）。

这种方法可以提高性能，具体可以实现后向兼容性。例如，完全兼容的立体解码器能够提取左右深度指示图二者以产生完整的立体深度指示图。但是，非立体解码器只能提取主数据流。实际上，由于该数据流不依赖右深度指示图，因此非立体解码器可以继续到使用非立体技术对单个深度指示图进行解码。

将理解，此方法可用于不同的编码器。例如，对于图14的编码器，可将BS IMG比特流视为主数据流，可将BS DEP比特流视为次数据流。在图15的实例中，可将L BS比特流视为主数据流，将R BS比特流视为次数据流。因此，在某些实例中，主数据流可以包括完全自包含的数据，即，不需要其他任何编码数据输入（即，不依赖于来自其他任何数据流的编码数据，而是自洽地进行编码）。

另外，此方法可扩展为用于两个以上的比特流。例如，对于图16的编码器，可将L BS比特流（完全自包含）视为主数据流，可将L DEP BS（依赖于L BS比特流，而非 R DEP BS比特流）视为次数据流，并且将R DEP BS比特流（同时依赖于L BS和L DEP BS比特流）视为第三级数据流。这三个数据流可一起多路复用，其中为每个数据流分配自己的代码。

作为另一实例，在图16或17的编码器中产生的四个比特流可以包括在输出数据流的四个不同部分中。作为特定实例，对这些比特流进行多路复用可产生包括以下部分的输出流：第一部分，包含所有描述符代码为0x1B（常规H264）的L BS包；第二部分，包含所有描述符代码为0x20（MVC的从属立体视图）的R BS包；第三部分，包含所有描述符代码为0x21的L DEP BS包；以及第四部分，包含所有描述符代码为0x22的R DEP BS enh包。此类多路复用允许在保持后向兼容性的同时灵活使用立体多路复用。具体而言，特定代码允许传统的H264解码器对单个图像进行解码，同时允许适当配置（例如，基于H264或MVC）的解码器对更高级的图像和深度图（例如，立体图像/图）进行解码。

输出流的产生可以具体遵循WO2009040701中描述的方法，该文档的内容通过引用合并于此。

此类方法可以组合其他方法的优点，同时避免它们各自的缺点。此方法包括联合压缩两个或更多个视频数据信号，然后形成两个或更多个单独的比特流（主比特流和次比特流）。主比特流为自包含比特流（或者不依赖于次比特流），可被不能解码两个比特流的解码器进行解码。对单独的比特流执行多路复用，其中主比特流和次比特流是被分别提供单独的代码，并分别传输的单独比特流。乍看起来，首先联合压缩信号只是为了在压缩之后再次分割它们并且为它们提供单独的代码是多余且浪费精力的。在一般技术中，压缩的数据信号在多路复用器中被赋予单独的代码，乍看起来，此方法在数据信号编码期间增加了不需要的复杂度。

但是一方面能够看出，分割和单独打包（即，在多路复用器中，为主比特流和次比特流提供单独的代码）多路复用信号中的主比特流和次比特流具有以下效果：传统视频系统中的标准信号解多路复用器将通过代码识别主比特流并将它发送到解码器，以便标准视频解码器仅接收主比特流，次比特流不会通过解多路复用器，这样，标准视频解码器便可像标准视频数据信号那样正确地处理主比特流，而另一方面，专业系统可在将其发送到适当的解码器之前，完全反向执行编码过程并重新创建原始增强的比特流。

在此方法中，主比特流和次比特流是单独的比特流，其中主比特流具体可以是自包含比特流。这样便可为主比特流提供对应于标准视频数据信号的代码，而为次比特流或多个次比特流提供不会被标准解多路复用器识别为标准视频数据信号的代码。在接收端，标准解多路复用器设备将主比特流识别为标准视频数据信号并将此比特流传输到视频解码器。标准解多路复用器设备将拒绝次比特流，不会将它们识别为标准视频数据信号。视频解码器本身仅接收“标准视频数据信号”。因此，视频解码器本身接收的比特量被限于主比特流，此主比特流是自包含比特流并采取标准视频数据信号形式，它可以被标准视频设备解释并具有标准视频设备可处理的比特率。

此编码的特征在于：使用包括第一帧集和至少一个第二帧集的编码信号对视频数据信号进行编码，其中第一和第二帧集中的帧相交织以形成交织视频序列，或者可以具有以下特征：接收包括第一和第二帧集的交织视频数据信号，其中交织视频序列被压缩为压缩视频数据信号，其中第一帧集中的帧在编码和压缩时不使用第二帧集中的帧，第二帧集中的帧在编码和压缩时使用第一帧集中的帧，并且在压缩视频数据信号被分为主比特流和至少一个次比特流之后并且每个比特流都包括帧的情况下，其中主比特流包括第一帧集中的压缩帧，次比特流包括第二帧集中的压缩帧，主比特流和次比特流形成单独的比特流，其中在主比特流和次比特流被多路复用为多路复用信号之后，为主比特流和次比特流提供单独的代码。

交织之后，至少一个帧集（即，主比特流的帧集）可被压缩为“自包含”信号。这表示属于此自包含帧集的帧不需要来自其他次比特流的任何信息（例如，通过运动补偿，或通过其他任何预测方案）。

主比特流和次比特流形成单独的比特流，并基于上述原因，通过单独的代码执行多路复用。

在某些实例中，主比特流包括多视图视频数据信号中一个视图的帧数据，次比特流包括多视图数据信号中另一视图的帧数据。

图17示出两个视图（例如，左（L）深度指示图和右（L）深度指示图，每个视图包括帧0至7）可能交织为具有帧0至15的交织组合信号的实例（请参见图18）。

在特定实例中，图16中L DEP BS和R DEP BS的帧/图被分为图17所示的各个帧/段。

然后交织左右视图深度指示图的帧以提供组合信号。所述组合信号类似二维信号。压缩的特殊功能在于视图之一的帧不依赖于另一视图（可以是自包含系统），即，压缩时，不会使用其他视图的信息用于压缩。其他视图的帧使用第一视图的帧信息进行压缩。此方法背离平等对待两个视图的自然趋势。实际上，两个视图在压缩期间不被平等对待。其中一个视图变为主视图，对于该视图，在压缩期间不会使用来自其他视图的信息，所述其他视图为次视图。主视图的帧和次视图的帧被分割为主比特流和次比特流。编码系统可以包括多路复用器，其为主比特流分配代码（例如，用于MPEG的0x01，或用于H.264的0x1B）并且为次比特流分配另一代码（例如，0x20）。然后发送多路复用信号。该信号可被解码系统接收，其中解多路复用器识别两种比特流0x01或0x1B（用于主比特流）和0x20（用于次比特流），并将它们发送到比特流合并器，该合并器再次合并主比特流和次比特流，然后在解码器中通过反向执行编码方法对组合视频序列进行解码。这样可实现后向兼容性。旧版本或功能稍差的解码器可以忽略某些带有特殊代码的交织数据包（例如，它们只需提取左右视图，不提取包含可能全部交织在比特流中的背景信息的深度图或局部图像），而功能完备的解码器将对所有带有特殊相互关系的数据包进行解码。

将理解，图14-17的编码器实例可直接转移到解码器端的对应操作上。具体而言，图19示出基本解码模块，该基本解码模块与图13的基本编码模块形成互补。基本解码模块具有编码器数据输入端，用于接收待解码的编码图像/深度图的编码器数据。与基本编码模块类似，基本解码模块包括多个预测存储器1901以及用于接收待解码的编码图像/深度图预测的预测输入端。基本解码模块包括解码器单元1903，该解码器单元根据（多个）预测对编码数据进行解码以产生在解码器输出端OUT_loc上输出的解码图像/深度图。解码图像/图进一步被馈入预测存储器。对于基本编码模块，预测输入端上的预测数据可以覆写预测存储器1901中的数据。同样，与基本编码模块类似，基本解码模块也具有（可选）输出端，用于提供延迟的解码图像/图。

将理解，此类基本解码模块可互补于图14-17实例中的基本编码模块使用。例如，图20示出与图14的编码器互补的解码器。多路复用器（未示出）分离图像编码数据Enc IMG和深度指示图编码数据Enc DEP。第一基本解码模块对图像进行解码并借此产生深度指示图的预测，如针对图14描述的那样。第二基本解码模块（与第一基本解码模块完全相同，或者实际上是按时间顺序使用的第一基本解码模块）然后根据深度指示图编码数据和预测对深度指示图进行解码。

作为另一实例，图21示出与图15的编码器互补的解码器实例。在实例中，左图像的编码数据被馈入执行左图像解码的第一基本解码模块。解码的左图像被进一步馈入第二基本解码模块的预测输入端，该第二基本解码模块还接收右图像的编码数据，然后继续到根据预测对该数据执行解码以产生右图像。

作为又一实例，图22示出图16的编码器的互补解码器实例。

将理解，图20-22为功能图，其可以反映按时间顺序使用同一解码模块，或者例如可以示出并行应用相同的解码模块。

在实例中，考虑简单图像，根据该图像产生其深度指示图。在某些情况下，还可以提供该图像的遮挡信息。例如，该图像可以是分层图像，其中较低的层提供标准视图中被遮挡像素的图像数据。在这些情况下，所述方法可用于产生遮挡数据的深度图。例如，可针对上面的分层图像的第一层、第二层等产生映射。对于当前图像，可对每个层应用适当的映射以产生每层的深度图。此方法例如可用于编码过程，其中通过此方式产生每层深度指示图的预测。然后可以将每个层的最终预测与图像源提供的该层的输入深度指示图进行比较，然后对差别进行编码。提供遮挡数据能够改进从不同的视点产生的图像，具体而言，可以在视点改变时，改善解除遮挡图像对象的呈现效果。

在上面描述的实例中，根据对应图像产生或预测深度指示图。但是将理解，产生或预测深度指示图也可以考虑其他数据，实际上可以基于其他预测。例如，当前图像的深度指示图可根据针对先前帧或图像产生的深度指示图进行预测。例如，对于给定图像，可使用映射根据该图像产生第一深度指示图。此外，第二深度指示图例如可直接产生为根据先前图像的深度指示图，或者例如通过对其应用映射产生。然后，例如通过从第一和第二图像深度指示图中选择最接近地对应于输入深度指示图的图像区域，可以产生单个深度指示图（具体可以是当前图像的预测深度指示图）。选择信息然后可以包括在编码数据流中。将理解，此方法可应用于多视图图像中的两个（所有）视图或仅应用于视图子集。

将理解，为明晰起见，上面的描述参考不同的功能电路、单元和处理器描述了本发明的实施例。但显而易见，在不偏离本发明的情况下，可以使用不同功能电路、单元或处理器之间的任何适当的功能分布。例如，被示出为由单独的处理器或控制器执行的功能可以由同一处理器或控制器执行。因此，参考特定功能单元或电路只能被视为参考用于提供所需功能的适当装置，而不能被视为指示严格的逻辑或物理结构或组织。

本发明可通过任何适当的形式实现，其中包括硬件、软件、固件或它们的任意组合。本发明可以选择性地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可通过任何适当的方式在物理上、功能上和逻辑上实现。实际上，所述功能可以在单个单元中、多个单元中或作为其他功能单元的一部分实现。因此，本发明可以在单个单元中实现，或者可以在不同单元、电路和处理器之间进行物理和功能分布。

尽管已结合某些实施例描述了本发明，但是本发明并非旨在限于在此列出的特定形式。而是，本发明的范围仅由所附权利要求限定。此外，尽管特征可以结合特定实施例进行描述，但是本领域的技术人员将理解，所述实施例的各种特征可以根据本发明进行组合。在权利要求中，术语“包括”不排除存在其他元素或步骤。

而且，尽管单独列出，但是多个构件、元件、电路或方法步骤例如可以由单个电路、单元或处理器来实现。此外，尽管各个特征可以包括在不同的权利要求项中，但是这些特征可以有利地进行组合，并且包括在不同的权利要求项中并不暗示特征组合不可行和/或不是有利的。同样，将特征包括在一类权利要求中并不暗示仅限于该类别，而是指示特征同样适合于其他适当的权利要求类别。另外，权利要求项中特征的顺序并不暗示按照任何特定顺序执行特征，具体而言，方法权利要求中各个步骤的顺序并不暗示步骤必须按此顺序执行。而是，步骤可以按照任何适当的顺序执行。此外，单数引用不排除复数。因此，对“一”、“一个”、“第一”、 “第二”等的引用并不排除复数。权利要求中参考标号只是作为明晰的实例提供，不能将其视为通过任何方式限制权利要求的范围。

Claims (21)

1. 一种编码与图像关联的深度指示图的方法，所述方法包括：

接收（301）所述深度指示图；

响应于参考图像和对应参考深度指示图，产生（307）将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及

响应于所述映射，通过编码所述深度指示图产生（307-315）输出编码数据流。

2. 根据权利要求1的方法，进一步包括：

接收所述图像；

响应于所述映射，根据所述图像预测（309）预测的深度指示图；

响应于所述预测的深度指示图和所述图像，产生（313）残差深度指示图；

编码所述残差深度指示图以产生编码深度数据；以及

将所述编码深度数据包括（315）在所述输出编码数据流中。

3. 根据权利要求1或2的方法，其中所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。

4. 根据权利要求1、2或3的方法，其中每个输入集对应于每个空间图像维度的空间区间和所述组合的至少一个值区间，并且产生所述映射包括针对所述参考图像的至少一组图像位置中的每个图像位置：

判定至少一个匹配输入集，其具有对应于所述每个图像位置的空间区间和对应于所述图像中每个图像位置组合值的所述组合的值区间；以及

响应于所述参考深度指示图中所述每个图像位置的深度指示值，判定所述匹配输入集的输出深度指示值。

5. 根据权利要求1、2、3或4的方法，其中所述映射为以下至少一项：

空间二次取样映射；

时间二次取样映射；以及

组合值二次取样映射。

6. 根据权利要求1的方法，进一步包括：

接收所述图像；

响应于所述映射，根据所述图像产生所述深度指示图的预测；以及

响应于所述深度指示图与所述预测的比较，适应所述映射和所述残差深度指示图的至少一项。

7. 根据权利要求1或2的方法，其中所述图像为所述参考图像，所述参考深度指示图为所述深度指示图。

8. 根据权利要求1的方法，进一步包括对所述图像进行编码，其中所述图像和所述深度指示图联合编码，其中所述图像的编码不依赖于所述深度指示图，所述深度指示图使用所述图像的数据进行编码，所述编码数据被分为单独的数据流，其中包括包含所述图像数据的主数据流和包含所述深度指示图数据的次数据流，其中所述主数据流和次数据流多路复用到所述输出编码数据流，并且为所述主数据流和次数据流的数据提供单独代码。

9. 一种产生图像的深度指示图的方法，所述方法包括：

接收（801）所述图像；

提供（805）将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及

响应于所述图像和所述映射，产生（807-813）所述深度指示图。

10. 根据权利要求9的方法，其中产生所述深度指示图包括针对至少部分预测的深度指示图的每个位置，通过以下操作判定至少部分所述预测的深度指示图：

判定至少一个匹配所述每个位置以及关联于所述每个位置的像素值色坐标的第一组合的匹配输入集；

从所述映射中检索所述至少一个匹配输入集的至少一个输出深度指示值，以及

响应于所述至少一个输出深度指示值，判定所述预测的深度指示图中所述每个位置的深度指示值；以及

响应于至少部分所述预测的深度指示图，判定所述深度指示图。

11. 根据权利要求9或10的方法，其中所述图像为视频序列中的图像，并且所述方法包括使用所述视频序列中的先前图像作为参考图像，并使用针对所述先前图像产生的先前深度指示图作为所述参考深度指示图产生所述映射。

12. 根据权利要求11的方法，其中所述先前深度指示图进一步响应于所述先前深度指示图相对于所述先前图像的预测深度数据的残差深度数据而产生。

13. 根据权利要求9或10的方法，其中所述图像为视频序列中的图像，并且所述方法进一步包括使用所述视频序列中的至少某些图像的标称映射。

14. 根据权利要求9的方法，其中所述组合指示所述图像空间位置的纹理、梯度和空间像素值变化中的至少一项。

15. 根据权利要求9的方法，其中所述深度指示图与多视图图像中的第一视图图像关联，所述方法进一步包括：

响应于所述深度指示图，产生所述多视图图像中的第二视图图像的进一步的深度指示图。

16. 一种对与图像关联的深度指示图进行编码的设备，所述设备包括：

接收器（203），用于接收所述深度指示图；

映射产生器（211），用于响应于参考图像和对应参考深度指示图，产生将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射；以及

输出处理器（209、213、215、217），用于响应于所述映射，对所述深度指示图进行编码来产生输出编码数据流。

17. 一种装置，包括：

根据权利要求16的设备；

输入连接构件，用于接收包括所述深度指示图的信号以及将此信号馈入根据权利要求16的设备；以及

输出连接构件，用于从根据权利要求16的设备输出所述输出编码数据流。

18. 一种产生图像的深度指示图的设备，所述设备包括：

接收器（701），用于接收所述图像；

映射处理器（707），用于提供将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联的映射，所述映射反映参考图像与对应参考深度指示图之间的关系；以及

图像产生器（709、711、713），用于响应于所述图像和所述映射，产生所述深度指示图。

19. 一种装置，包括：

根据权利要求18的设备；

输入连接构件，用于接收所述图像以及将此图像馈入根据权利要求18的设备；以及

输出连接构件，用于从根据权利要求18的设备输出包括所述深度指示图的信号。

20. 一种编码信号，包括：

编码图像；以及

深度指示图的残差深度数据，至少部分所述残差深度数据指示所述图像的所需深度指示图与向所述编码图像应用映射导致的预测深度指示图之差，其中所述映射将采取图像空间位置以及关联于所述图像空间位置的像素值色坐标组合的输入集形式的输入数据与采取深度指示值形式的输出数据进行关联，所述映射反映参考图像与对应参考深度指示图之间的关系。

21. 一种包括根据权利要求20的所述编码信号的存储介质。

Images