CN102484700A

CN102484700A - 3d视频编码格式

Info

Publication number: CN102484700A
Application number: CN2010800298716A
Authority: CN
Inventors: 田栋; 赖旺霖
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2009-05-01
Filing date: 2010-04-30
Publication date: 2012-05-30
Also published as: JP2012525767A; KR20120013966A; EP2425626A2; CN102577375B; WO2010126612A3; US9942558B2; WO2010126608A2; US20120044322A1; WO2010126613A3; JP5614900B2; JP2012525769A; WO2010126612A2; JP5614902B2; EP2425624A2; WO2010126608A3; CN102577375A; WO2010126613A2; US20120050475A1; WO2010126608A8; EP2425625A2

Abstract

若干实现方式涉及3D视频(3DV)编码格式。一种实现方式编码描述在给定时间用于给定视图的不同三维(3D)信息的多个画面。生成为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素。所述结构定义多个画面的内容类型。生成包括编码的多个画面和语法元素的比特流。包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。所述语法元素还使得能够进行3DV内容的高效的层间编码，由此减少传输3DV内容使用的带宽。还提供了对应的解码实现方式。还提供了提取方法，其从通过这种3D结构表征的这种3DV视频流中提取感兴趣的画面。

Description

3D视频编码格式

相关申请的交叉引用

本申请要求2009年5月1日提交的、标题为“3D Video Coding Formats”的、序列号No 61/215,154的美国临时申请的提交日，2009年5月11日提交的、标题为“Reference Pictures for 3D Video”的、序列号No 61/215,874的美国临时申请的提交日，以及2010年3月4日提交的、标题为“Extended SPS for3DV sequences”的、序列号No 61/310,497的美国临时申请的提交日的权益，在此针对所有目的通过引用以其整体并入它们每一个的内容。

技术领域

描述有关于编解码系统的实现方式。各种特定的实现方式涉及三维(3D)视频编解码方案。

背景技术

为了方便新的视频应用，诸如三维电视(3DTV)和自由视点视频(free-viewpoint video，FVV)，可以利用包括常规的2D视频和深度图二者的3D视频(3DV)数据格式使得可以在用户端呈现附加的视图。这种3DV格式的示例包括：包含二维的(2D)视频及其对应的深度图的2D加深度(2D+Z)，以及包含2D+Z和遮挡(occlusion)视频加遮挡深度的分层的深度视频(LDV)。这种3DV格式的其它示例包括多视图加深度(MVD)和视差增强的立体(DES)。MVD是2D+Z的扩展，这是由于其包括来自不同视点的多个2D+Z。继而，DES由来自两个不同视点的两个LDV组成。另一示例3DV格式是层深度视频加右视图(LDV+R)，其由左视图的一个LDV和右视图的2D视频组成。怎样在所有这些格式中传递(编码和传输)数据是具有挑战的问题，这是由于在用户端共同使用不同的分量(component)来解码3DV内容。

发明内容

根据一个总的方面，编码用于描述在给定时间用于给定视图的不同三维(3D)信息的多个画面。生成用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素。所述结构定义多个画面的内容类型。生成包括编码的多个画面和语法元素的比特流。包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

根据另一总的方面，一种视频信号或者视频结构，其包括多个编码的画面的一个或者多个画面部分。编码的多个画面描述在给定时间用于给定视图的不同三维(3D)信息。该视频信号或者视频结构还包括用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素的一个或者多个语法部分。所述结构定义多个画面的内容类型。在视频信号中包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

根据另一总的方面，从比特流中访问编码的多个画面。所述多个画面描述在给定时间用于给定视图的不同的三维(3D)信息。从比特流中访问语法元素。所述语法元素为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中。所述结构提供多个画面之间的定义的关系。解码所编码的多个画面。以指示多个画面之间的定义关系的输出格式提供解码的画面。

根据另一总的方面，从一组数据中访问语法元素。所述语法元素指示怎样将编码的画面装入支持3D处理的结构中。所述结构定义编码画面的内容类型。从该组数据中提取编码画面的特定的编码画面。编码画面的特定的编码画面对应于来自感兴趣的给定视图并且具有感兴趣的给定的内容类型的画面，或者对应于感兴趣的给定视图和给定内容类型的参考。提取对应于感兴趣的给定视图和给定内容类型的画面是基于语法元素和指示的结构。

在附图和以下描述中提出一个或更多实现方式的细节。即使以一个特定方式来描述，但应清楚可以以各种方式来配置或体现所述实现方式。例如，实现方式可以被执行为方法，或者被体现为装置，诸如，例如被配置为执行一组操作的装置，或者存储用于执行一组操作的指令的装置，或者在信号中体现。在连同附图和权利要求书考虑的以下详细描述中，其它方面和特征将变得明显。

附图说明

图1是深度图的示例。

图2是示出LDV格式的四个分量的示例。

图3是3DV编码器的实现方式的框图/流程图。

图4是3DV解码器的实现方式的框图/流程图。

图5是3DV层编码器的实现方式的框图/流程图。

图6是3DV层解码器的实现方式的框图/流程图。

图7是视频传输系统的实现方式的框图/流程图。

图8是视频接收系统的实现方式的框图/流程图。

图9是视频处理装置的实现方式的框图/流程图。

图10是3DV编码结构的示例的图。

图11是网络抽象层(NAL)单元流的第一示例的框图/流程图。

图12是NAL单元流的第二示例的框图/流程图。

图13是解码3DV内容的方法的示例的流程图。

图14是编码3DV内容的方法的示例的流程图。

图15是图示层间(inter-layer)依赖性结构的示例的框图。

图16是构建用于编码处理的参考画面列表的方法的示例的流程图。

图17是构建用于解码处理的参考画面列表的方法的示例的流程图。

图18是编码3DV内容的扩展的序列参数集的NAL单元的方法的示例的流程图。

图19是解码3DV内容的扩展的序列参数集的NAL单元的方法的示例的流程图。

图20是编码具有扩展的序列参数集的方法的示例的流程图。

图21是解码具有扩展的序列参数集的方法的示例的流程图。

图22是编码3DV内容的层间依赖性结构的序列参数子集的第一方法的示例的框图/流程图。

图23是解码3DV内容的层间依赖性结构的序列参数子集的第一方法的示例的框图/流程图。

图24是编码3DV内容的层间依赖性结构的序列参数子集的第二方法的示例的框图/流程图。

图25是解码3DV内容的层间依赖性结构的序列参数子集的第二方法的示例的框图/流程图。

图26是编码3DV内容的方法的示例的流程图。

图27是解码3DV内容的方法的示例的流程图。

图28是构建编解码操作的参考画面列表的方法的示例的流程图。

图29是可以在图28的方法中实现的用于处理2D视频层画面的方法的示例的流程图。

图30是编码3DV内容并且传递层间依赖性结构的方法的示例的流程图。

图31是解码3DV内容并且传递层间依赖性结构的方法的示例的流程图。

图32是NAL单元流的示例的框图/流程图。

图33是通过采用层间依赖性结构来管理网络业务量的系统的示例的框图/流程图。

图34是通过采用层间依赖性结构来管理网络业务量的方法的示例的流程图。

具体实施方式

如在本领域中所理解的，3D视频(3DV)的基本原则是典型地向用户的每只眼睛提供场景或者对象的不同的视图使得用户能够感知到场景或者对象的深度。另外，为了增强用户体验，可以呈现除了正在被传输的视图之外的虚拟视图，例如来调整不同的感知深度范围的基线(baseline)距离。为了实现这些目标中的一个或者多个，如上注意到，3D视频(3DV)表示格式可以包括各种层，诸如视频、深度，以及或许更多的补充信息，诸如2D+Z(MVD)和LDV(DES)。为了更好地说明3DV内容的深度和其它补充信息的概念，参照图1和图2来进行。

图1提供了对应于常规的视频的深度图100的示例。另外，图2包括LDV格式中的四个分量的示例：2D视频202加上深度(Z)204以及同一场景的遮挡视频206和伴随的遮挡深度208。对上述的数据格式进行编码和传输在许多方面中是具有挑战的。例如，除了编解码效率之外，还应该最好提供诸如同步和向后兼容性(用于常规的单视觉(monoscopic)2D视频)之类的功能使得传统的高级视频编码(AVC)/多视图编码(MVC)解码器可以从比特流中提取可观看的视频。

可以解决这些问题中的至少一些的一种解决方案是进行联播(simulcast)，其中独立地编码并传输每个视图和/或层。这种方法可以使用多个编码器和解码器来分别编码和解码单独的视图/层，并且在系统级别或者应用级别上将视图/层同步到可观看的图像。例如，移动画面专家组(MPEG)-C部分3(国际标准化组织(ISO)/国际电工委员会(IEC)23002-3)规定了用于2D+Z的系统框架。典型的实现方式在系统级别上使用视频和深度之间的同步。可以使用任何现有的视频编码标准来编码视频和深度。然而，在典型的实现方式中，视频和深度的编码被解耦。由此，联播的成本被典型地乘以所传输的视图和/或层的数量。此外，因为单独地编码不同视图和/或层，典型地不以任何方式利用视图和/或层之间的任何冗余性而实现更高的编码效率。

相反，除了AVC/MVC系统的向后兼容性之外，在此描述的一个或更多实现方式可以允许层间编码以利用层之间的冗余性，并且由此实现更高的编码效率。具体地，一个或更多实现方式提供了在编码级别上对视图和/或层进行同步的手段以便获得这些益处中的至少一些。例如，在这里描述的至少一个实现方式中，提出了AVC的NAL单元设计上的新的3DV前缀网络抽象层(NAL)单元和新的3DV NAL单元首标扩展以高效地使得能够进行层间编码和视图/层的同步。高级语法发信号通知可以怎样从诸如AVC和可分级视频编码(SVC)/MVC比特流之类的比特流中提取3DV分量。由此，该方法具有的优点在于，不需要在系统级别上对不同3DV分量之间进行同步，这是由于可以在编码的比特流中耦合3DV分量(诸如SVC层，或者MVC视图)。另一潜在的益处在于，当以此方式进行编码时，可以移除层间或者视图间(inter-view)的冗余性。另外，新的NAL单元设计可以与MVC兼容并且还可以允许与任何将来的封装编码技术兼容以实现增强的压缩效率。

如在以下在此讨论的，为了使得能够在编码级别而不是系统级别上对不同视图/层同步，一个或更多实现方式将3DV NAL单元设计与3DV视图标识符(ID)和3DV层ID相关联。另外，为了更好地利用视图间/层间冗余性，与利用交织方法的AVC相比较，采用视图间/层间预测来提供更高的编码效率。此外，3DV补充层的NAL单元设计可以实现完全的向后兼容性，同时使得能够开发新的编码模式/工具而不影响2D视图层与MVC/AVC的兼容性。

各种实施例针对参考列表的配置以允许通过采用多参考预测来编码和解码包括3DV内容的比特流。例如，对于3DV编码结构，可以存在至少三种可能的参考画面类型，例如包括：时间参考画面、视图间参考画面，以及来自不同3DV层的参考画面。来自不同3DV层的参考画面可以包括，例如，用于深度层的参考的2D视频层。在本申请中描述的至少一个实施例提供了怎样在参考画面列表中布置三种类型的参考画面的构思和实现方式。例如，当以预测模式编码宏块(MB)时，编码器可以发信号通知哪个画面或者哪些画面用作可得到的多个参考画面中的参考。这里，列表中的索引可以指示使用哪个参考画面。如以下在此进一步讨论的，一个或更多实施例可以在列表中提供一个或更多层间参考画面以便使得能够进行层间预测。

如以上注意的，一个或更多实施例提供许多优点，其中之一是与MVC的潜在的兼容性。也就是，当根据这些实施例之一的3DV比特流被馈入传统的MVC解码器时，可以解码并输出2D视频(例如，以下被指定为层0)。为了进一步有助于与MVC的兼容性，同时允许使用各种层的3DV内容的高效编码，各种实施例附加地针对序列参数集(SPS)的构建和信令。如本领域普通技术人员所理解的，SPS可以指定画面序列的画面之间共享的公共属性。这样的公共属性可以包括，例如，画面大小、可选的采用的编码模式，以及宏块到码片组的映射，它们中的每一个可以在序列中的画面之间可选地共享。对于至少一个实施例，采用SPS的扩展来发信号通知用于编码和解码3DV内容的新的序列参数。此外，可以利用单独且新的NAL单元类型用于扩展的SPS。扩展的SPS可以用于诸如路由器之类的网络设备以适配于3DV内容的流传输的比特率，如以下在此进一步讨论的。

在详细地讨论实施例之前，提供对采用的术语的一些讨论以便于理解所描述的构思。

术语：

的“2D视频”在此通常用于指代传统的视频信号。

“深度”层在此通常用于指代指示场景对象的距离信息的数据。“深度图”是深度层的典型示例。

“遮挡视频”层在此通常用于指代从某个视点遮挡的视频信息。遮挡视频层典型地包括2D视频层的背景信息。

“遮挡深度”层在此通常用于指代从某个视点遮挡的深度信息。遮挡深度层典型地包括深度层的背景信息。

“透明”层通常用于指代用以指示深度不连续性或者深度边界的画面。典型的透明层具有二进制信息，其中大于特定阈值的两个值中之一指示深度关于邻近深度值具有不连续性的位置。

“3D视图”在此被定义为来自于一个视图位置的数据集，其与MVC中使用的“视图”不同。例如，3DV视图可以包括比MVC视图更多的数据。对于2D+Z格式，3DV视图可以包括两个层：2D视频加上其深度图。对于LDV格式，3DV视图可以包括四个层：2D视图、深度图、遮挡视频，以及遮挡深度图。另外，透明图可以是3DV视图中除其它之外的另一层的数据类型。

“3DV层”被定义为3DV视图的层之一。3DV层的示例例如是2D视图或者视频、深度、遮挡视频、遮挡深度，以及透明图。除了2D视图或者视频之外的层还被定义为“3DV补充层”。在一个或更多实施例中，3DV解码器可以被配置为识别层并且使用3dv_layer_id将该层与其它进行区分。在一个实施例中，如在表1中定义3dv_layer_id。然而，应注意，如本领域普通技术人员在考虑到这里提供的教导时所理解的，可以以其它方式定义并识别层。

表1-3DV层

3dv_layer_id的值	描述
		0	2D视频
1	深度
		2	遮挡视频
3	遮挡深度
		4	透明图
＞＝5	保留

图3和图4分别图示了高级通用的3DV编码器300和解码器400。编码器300/解码器400由层编码器/解码器和3DV参考缓冲器组成。例如，将可能包括例如2D视图、深度、遮挡视图、遮挡深度以及透明图各层的3DV内容信号302输入给如图3所示的各个层编码器。具体地，编码器系统/装置300包括：2D层编码器304，被配置为编码2D层，其可以是AVC兼容的；增强的2D层编码器306，配置为编码增强的2D层；深度层编码器308，配置为编码深度层；遮挡视图层编码器310，配置为编码遮挡视图层；遮挡深度层编码器312，配置为编码遮挡深度层；以及透明层编码器314，配置为编码透明层。由此，可以使用不同的编码器和/或编码技术来编码每个层。

增强的2D层通常在这里用于将这种层和与AVC、MVC、SVC，或者一些其它底层标准兼容的层区分开。例如，增强的2D层典型地不与MVC兼容，这是因为这种层允许诸如例如使用层间参考的新的编码工具。因此，这种层通常不向后兼容MVC。

注意到，术语“增强的2D层”(或者补充层)还可以用于指代可以利用MVC编码的、但是不希望被显示的并且因此典型地不被描述为利用MVC所编码的层。例如，一系列深度层可以被MVC视为一系列的画面并且可以被MVC编码。然而，典型地不能显示深度层，因此，通常期望具有识别和编码这种层的不同的方式，除了通过使用MVC。

每个层还可以使用不同的参考。参考可以来自于除了正编码(解码)的画面/块之外的不同的层。来自不同层的参考可以从3DV参考缓冲器316(3DV参考/输出缓冲器414)中获得。如图3中所示，每个层编码器与3DV参考缓冲器316进行信号通信以允许编码输入信号302以生成输出信号318的各种模式。

通过利用3DV参考缓冲器316，3DV格式的每个层可以使用来自其自身的层的参考和/或使用各个层之间的层间预测来进行编码，所述参考诸如是例如具有运动和/或视差补偿的相同层内的时间参考和/或视图间参考。例如，层间预测可以重用运动信息，诸如例如，来自另一层的运动矢量、参考索引等来编码当前层，其也被称为运动跳跃模式。以此方式，输出信号318可以与用于一个或更多3DV视图的各种层信息进行交织。层间预测可以是基于其它层的访问的任何种类的技术。

关于解码器系统/装置400，系统400包括各种层解码器，如图4所示，信号318可以被输入到所述各种层解码器。具体地，解码器系统/装置400包括：2D层解码器402，其可以是AVC兼容的、被配置为解码2D层；增强的2D层解码器404，配置为解码增强的2D层；深度层解码器406，配置为解码深度层；遮挡视图层解码器408，配置为解码遮挡视图层；遮挡深度层解码器410，配置为解码遮挡深度层；和/或透明层解码器412，配置为解码透明层。

如图4中图示的，每个层解码器与3DV参考/输出缓冲器414进行信号通信，3DV参考/输出缓冲器414可以被配置为解析从层解码器接收的解码的层信息并且确定输入信号中包括的层怎样适合支持3D处理的结构。这种3D处理可以包括例如如这里描述的3D层的编码或者在接收器或者显示单元处的附加画面的呈现(合成)。呈现可以使用例如深度画面来弯曲(warp)2D视频和/或遮挡画面以便利用背景信息来填充呈现的画面中的洞(hole)。

另外，3DV参考/输出缓冲器414可以被配置为生成用于向用户呈现的3DV兼容格式的输出信号416。格式化的3DV内容信号416当然可以包括例如，2D视图、深度、遮挡视图、遮挡深度，以及透明图各层。如图4所示的，可以与参考缓冲器一起实现输出缓冲器，或者可替换地，在其它实施例中，参考缓冲器和输出缓冲器可以分离。

编码器300和解码器400的其它实现方式可以使用更多或者更少的层。另外，可以使用与所示的那些层不同的层。

应清楚，如在3DV参考缓冲器316和在3DV参考/输出缓冲器414中所使用的，术语“缓冲器”是智能缓冲器。这种缓冲器可以用于例如存储画面、提供参考(或者参考的一部分)，以及重新排序输出的画面。另外，这种缓冲器可以用于例如执行各种其它处理操作，诸如例如假设的参考解码器测试、处理标记(marking)命令(例如，AVC中的存储管理控制操作)，以及解码的画面缓冲器管理。

图5和图6分别描绘了通用的3DV层编码器500和解码器600的高级框图/流程图，其可以分别用于实现层编码器304-314中的任何一个或更多以及层解码器402-412中的任何一个或更多。应注意，如例如图5中描绘的，层编码器304-314中的每一个可以关于它们对应的各层的相同的一般方式来设计以利于特定的目的。相反，如鉴于在此提供的教导所理解的，层编码器可以被不同地配置以更好地利用它们独特的特征。类似地，如例如图6中描绘的，解码器402-412可以关于它们对应的各层的相同的一般方式来设计。相反，层编码器可以被不同地配置以更好地利用它们独特的特征。

应注意，关于MVC编码器，输入由多个视图组成。每个视图是传统的2D视频。由此，与AVC编码器相比较，典型的MVC编码器包括诸如视差估计块、视差补偿块之类附加块，以及视图间参考缓冲器。类似地，图5和图6包括用于3DV参考和层间预测的块。在3DV编码器的情况下，输入由多个3D视图组成。如上所述，每个3D视图可以包括若干层。相应地，用于每个层的编码方法可以被不同地设计以利用它们独特的特性。结果，3DV编码器可以被划分为层编码器，如图3所示。然而，层编码器还可以被紧耦合。在层编码器中使用的技术可以被调整(tailor)为给定系统所期望的。由于每个层表现为视频信号，所以层可以具有与图5所示的高级处的类似的结构。应注意，在较低的、更具体的级别，层编码器可以被不同地设计。当然，一个实施例还可以使用被配置为编码所有层的单个编码器。

关于图5所图示的高级图，3DV层编码器500可以包括层分区器504，被配置为针对输入信号502内的3DV视图i接收并且将3DV视图层彼此分区。分区器504与加法器或者组合器506、与移位(运动/视差)补偿模块508、以及与移位(运动/视差)估计模块510进行信号通信，其中每一个从分区器504接收一组分区的层。加法器506的另一输入是通过开关512接收的各种可能的参考画面信息之一。

例如，如果与开关512进行信号通信的模式判定模块536确定编码模式应该是参考当前正被编码的相同块或者码片的帧内预测，则加法器从帧内预测模块530接收其输入。可替换地，如果模式判定模块536确定编码模式应该是移位补偿和估计，则加法器从移位补偿模块508接收其输入，如图5中所示，所述移位补偿和估计参考当前正在被处理的相同帧或者3DV视图或者3DV层的块或者码片，或者是与当前正在被编码的块或者码片不同的、之前处理的另一帧或者3DV视图或者3DV层的块或码片。此外，如果模式判定模块536确定编码模式应该是3DV层间预测，则加法器从与3DV参考缓冲器532进行信号通信的3DV层间预测模块534接收其输入，所述3DV层间预测参考当前正在被处理的相同帧或者3DV视图的3DV层，或者是与当前正在被处理的层不同的之前处理的另一帧或者3DV视图的3DV层。

加法器506向变换模块514提供包括(多个)3DV层和预测、补偿，和/或估计信息的信号，变换模块514被配置为变换其输入信号并且将变换的信号提供给量化模块516。量化模块516被配置为对其接收的信号执行量化并且向熵编码器518输出量化的信息。熵编码器518被配置为对其输入信号执行熵编码以生成比特流520。逆量化模块522被配置为从量化模块516接收量化的信号并且对量化的信号执行逆量化。继而，逆变换模块524被配置为从模块522接收逆量化的信号并且对其接收的信号执行逆变换。模块522和524重建或者重构从加法器506输出的信号。

加法器或者组合器526对从逆变换模块524和开关512接收的信号进行相加(组合)并且将结果信号输出给帧内预测模块530和去块滤波器528。此外，帧内预测模块530使用其接收的信号执行帧内预测，如以上讨论的。类似地，去块滤波器528对从加法器526接收的信号进行滤波并且将滤波的信号提供给3DV参考缓冲器532。

3DV参考缓冲器532继而解析其接收的信号。3DV参考缓冲器532通过元件534、508和510辅助层间和移位补偿/估计编码，如以上讨论的。3DV参考缓冲器532例如提供各种3DV层中的全部或者一部分。

再次参照图6，3DV层解码器600可以被配置为使用比特流接收器602接收比特流318，比特流接收器602继而与比特流解析器604进行信号通信并且向解析器604提供比特流。比特流解析器604可以被配置为向熵解码器606传输残差比特流605、向模式选择模块622传输控制语法元素607、向移位补偿(运动/视差)模块618传输移位(运动/视差)矢量信息609，以及向3DV层间预测模块620传输来自除了当前被解码的3DV层之外的3DV层的编码信息611。逆量化模块608可以被配置为对从熵解码器606接收的熵解码信号执行逆量化。另外，逆变换模块610可以被配置为对从逆量化模块608接收的逆量化的信号执行逆变换并且向加法器或者组合器612输出逆变换的信号。

加法器612可以接收依赖于采用的解码模式的各种其它信号之一。例如，模式判定模块622可以通过解析并分析控制语法元素607来判定是否编码器500对当前处理的块执行了3DV层间预测、移位补偿或帧内预测编码。依赖于所确定的模式，模式选择控制模块622可以基于控制语法元素607访问并控制开关623，使得加法器612可以从3DV层间预测模块620、移位补偿模块618或者帧内预测模块614接收信号。

这里，帧内预测模块614可以被配置例如执行帧内预测，所述帧内预测使用对当前正在被解码的相同块或者码片的参考来解码块或者码片。继而，移位补偿模块618可以被配置为例如执行移位补偿，所述移位补偿使用对当前正在被处理的相同帧或者3DV视图或者3DV层的块或者码片，或者对与当前正在被解码的块或者码片不同的、之前处理的另一帧或者3DV视图或者3DV层的块或码片的参考来解码块或者码片。此外，3DV层间预测模块620可以被配置为例如执行3DV层间预测，所述3DV层间预测使用对当前正在被处理的相同帧或者3DV视图的3DV层，或者对与当前正在被处理的层不同的之前处理的另一帧或者3DV视图的3DV层的参考来解码块或者码片。

在接收预测或者补偿信息信号之后，加法器612可以将预测或者补偿信息信号与逆变换的信号相加，用于传输给去块滤波器602。去块滤波器602可以被配置为对其输入信号进行滤波并且输出解码的画面。加法器612还可以将相加的信号输出给帧内预测模块614用于帧内预测。此外，去块滤波器602可以将滤波的信号传输给3DV参考缓冲器616。3DV参考缓冲器616可以被配置为解析其接收的信号以通过元件618和620来允许并辅助层间和移位补偿解码，3DV参考缓冲器616将解析的信号提供给元件618和620中的每一个。这种解析的信号可以是例如各种3DV层的全部或者一部分。

应理解，系统/装置300、400、500和600可以被不同地配置并且可以包括本领域普通技术人员鉴于在此公开的教导所理解的不同元件。

现在参照图7，图7图示了依据一实现方式的可以应用在此描述的方面的视频传输系统/装置700。视频传输系统700可以是例如一种使用各种介质中任一种来传输信号的首端(head-end)或者传输系统，所述各种介质诸如例如是卫星、电缆、电话线，或者地面广播。可以通过因特网或者其它一些网络来提供该传输。

视频传输系统700能够生成并递送例如视频内容和深度，以及伴随其它3DV补充层。这是通过以下方式来实现的：生成包括3DV补充层信息或者能够用于在可能例如具有解码器的接收器端合成3DV补充层信息的信息的(多个)编码信号。

视频传输系统700包括编码器710和能够传输编码的信号的传输器720。编码器710接收视频信息并且基于视频信息和/或3DV层信息生成(多个)编码信号。编码器710可以是例如以上详述的编码器300。编码器710可以包括例如包含用于接收各种信息并且将其组装为用于存储或传输的结构化格式的组装单元的子模块。各种信息可以包括例如，编码或者未编码的视频、编码或者未编码的深度信息，以及编码或者未编码的元素，诸如例如运动矢量、编码模式指示符，以及语法元素。

传输器720可以例如被适配为传输具有一个或者多个比特流的节目信号750，所述一个或更多比特流表示与之有关的编码画面和/或信息。典型的传输器执行以下一个或者多个功能：诸如例如，提供纠错编码、交织信号中的数据、随机化信号中的能量，以及使用调制器722将信号调制到一个或更多载波。传输器720可以包括，或者连接到天线(未示出)。此外，传输器720的实现方式可以包括或者限于调制器。

参照图8，图8图示了依据一实现方式的可以应用在此描述的方面的视频接收系统/装置800。视频接收系统800可以被配置为通过各种介质来接收信号，所述各种介质诸如例如是卫星、电缆、电话线，或者地面广播。可以通过因特网或者其它一些网络来接收该信号。

视频接收系统800可以是例如蜂窝电话、计算机、机顶盒、电视机，或者是接收编码的视频并且提供解码的视频用于向用户显示或者用于存储的其它设备。由此，视频接收系统800可以将其输出提供给例如电视机、计算机监视器、计算机(用于存储、处理或者显示)，或者其它一些存储、处理或者显示设备的屏幕。

视频接收系统800能够接收并处理包括视频信息的视频内容。视频接收系统800包括：接收器810，能够接收编码的信号，诸如例如在本申请的实现方式中描述的信号；以及解码器820，能够解码接收的信号。

接收器810可以例如被适配为接收具有多个代表编码画面的比特流的节目信号。典型的接收器执行以下一个或更多功能：诸如例如，接收调制和编码的数据信号，使用解调器822从一个或更多载波中解调数据信号，对信号中的能量进行去随机化，对信号中的数据进行解交织，以及对信号进行纠错解码。接收器810可以包括，或者连接到天线(未示出)。接收器810的实现方式可以包括或者限于解调器。

解码器820输出包括视频信息和深度信息的视频信号。解码器820可以是例如以上详述的解码器400。

系统700的输入在图7中被列为“(多个)输入视频”，来自系统800的输出在图8中被列为“输出视频”。应清楚，至少在这些实现方式中，这些指代包括多个层的3D视频。

参照图9，图9图示了依据一实现方式的可以应用在此描述的方面的视频处理设备900。视频处理设备900可以是例如机顶盒或者接收编码的视频并且提供例如解码的视频用于向用户显示或者用于存储的其它设备。由此，视频处理设备900可以将其输出提供给电视机、计算机监视器、计算机或者其它处理设备。

视频处理设备900包括前端(FE)设备905和解码器910。前端设备905可以例如是适配为接收具有多个表示编码的画面的比特流的节目信号并且从多个比特流中选择一个或更多比特流用于解码的接收器。典型的接收器执行以下一个或更多功能：诸如例如，接收调制和编码的数据信号，解调该数据信号，解码数据信号的一个或者多个编码(例如，信道编码和/或源编码)，和/或对数据信号进行纠错。前端设备905可以从例如天线(未示出)接收节目信号。前端设备905将接收的数据信号提供给解码器910。

解码器910接收数据信号920。数据信号920可以包括例如以下中的一个或更多：高级视频编码(AVC)、可分级视频编码(SVC)，或者多视图视频编码(MVC)兼容的流。

AVC更具体地指代现有的国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第十部分高级视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264推荐(下文的“H.264/MPEG-4AVC标准”或者其变型，诸如“AVC标准”或者简称“AVC”)。

MVC更具体地指代AVC标准的多视图视频编码(“MVC”)扩展(附录H)，称为H.264/MPEG-4AVC，MVC扩展(“MVC扩展”或者简称“MVC”)。

SVC更具体地指代AVC标准的可分级视频编码(“SVC”)扩展(附录G)，称为H.264/MPEG-4AVC，SVC扩展(“SVC扩展”或者简称“SVC”)。

解码器910解码接收的信号920的全部或者一部分，并且提供解码的视频信号930作为输出。解码的视频930被提供给选择器950。设备900还包括接收用户输入970的用户接口960。用户接口960基于用户输入970向选择器950提供画面选择信号980。画面选择信号980和用户输入970指示用户期望显示多个画面、序列、可分级版本、视图，或者可得到的解码数据的其它选择中的哪一个。选择器950提供(多个)选择的画面作为输出990。选择器950使用画面选择信息980来在解码视频930中选择哪些画面以便提供为输出990。

在各种实现方式中，选择器950包括用户接口960，而在其它实现方式中，不需要用户接口960，这是因为选择器直接接收用户输入970而不执行单独的接口功能。例如，选择器950可以被实现为软件或者集成电路。在一个实现方式中，选择器950与解码器910合并，在另一实现方式中，解码器910、选择器950和用户接口960都被集成。

在一个应用中，前端905接收各种电视节目的广播并且选择一个用于处理。一个节目的选择是基于期望观看的节目的用户输入。尽管在图9中未示出前端设备905的用户输入，但前端设备905接收用户输入970。前端905接收广播并且通过解调广播频谱的相关部分以及解码解调的节目的任何外部编码而处理期望的节目。前端905向解码器910提供解码的节目。解码器910是包括设备960和950的集成单元。解码器910由此接收用户输入，所述用户输入是用户提供的观看节目中的期望视图的指示。解码器910解码选择的视图，以及来自其它视图的任何需要的参考画面，并且提供解码的视图990用于在电视机(未示出)上显示。

继续上述应用，用户可能期望切换被显示的视图并且可能然后向解码器910提供新的输入。在接收到来自用户的“视图改变”之后，解码器910解码旧视图和新视图，以及在旧视图和新视图之间的任何视图。也就是，解码器910解码在物理上位于拍摄旧视图的相机和拍摄新视图的相机之间的、相机拍摄的任何视图。前端设备905还接收识别旧视图、新视图，以及其间的视图的信息。这种信息可以例如由具有关于视图的位置的信息的控制器(在图9中未示出)或者解码器910来提供。其它实现方式可以使用具有与前端设备集成在一起的控制器的前端设备。

解码器910提供所有这些解码的视图作为输出990。后处理器(在图9中未示出)在视图之间进行内插以提供从旧视图到新视图的平滑转换，并且向用户显示该转换。在转换到新视图之后，后处理器通知(通过一个或者多个通信链路，未示出)解码器910和前端设备905仅需要新视图。此后，解码器910仅仅提供新视图作为输出990。

系统/装置900可以用于接收图像序列的多个视图、并且表现单个视图用于显示，以及以平滑的方式在各个视图之间切换。平滑的方式可能涉及在视图之间进行内插以移动到另一视图。另外，系统900可以允许用户旋转对象或者场景，或者以其它方式观看对象或者场景的三维表示。对象的旋转例如可以对应于：从视图到视图的移动，并且在视图之间进行内插以获得视图之间的平滑转换或者简单地获得三维表示。也就是，用户可以“选择”内插的视图作为要显示的“视图”。

应清楚，视频传输系统700、视频接收系统800和视频处理设备900，都可以被适配用于在本申请中描述的各种实现方式。例如，系统700、800和900可以被适配为以讨论的3DV格式之一操作数据以及操作相关联的信令信息。

实施例1：3DV前缀NAL单元

在本实施例中，引入了新的NAL单元类型并且被称为表示为“16”的“3DV前缀NAL单元”，其可以在特定3DV视图或者3DV层的视频编码层(VCL)NAL单元或者MVC前缀NAL单元(具有被表示为14的nal_unit_type)之前。在2009年1月-2月，瑞士日内瓦，Gary Sullivan等人的″Editors′draftrevision to ITU-T Rec.H.264|ISO/IEC 14496-10 Advanced Video Coding″，JVT-AD007(下文简称“AVC草案”)中描述了VCL NAL单元和MVC前缀单元，在此通过引用并入，其与所提出的AVC标准有关。可以在AVC草案中找到所使用的没有在此明确定义的许多术语和缩写的含义，并且可由相关技术领域的技术人员理解。表示3DV前缀NAL单元的“16”的使用是任意的，并且可以被选择为AVC草案中任何被保留的NAL单元类型。

以下提供的表2是用于nal_unit_type代码的AVC草案中的表7-1的修改的版本并且定义3DV前缀NAL单元16。AVC草案中的表7-1在以下被再现为表3。应注意，表2还包括以下更详细地讨论的实施例3的修改。3DV前缀NAL单元16允许MVC兼容的解码器解码所有传输的3DV层，包括3DV补充层，并且还允许在编码级别同步3DV视图和层。表2的2-5行(NAL单元类型16-23)反映了对表3的语法改变。

表2-NAL单元类型代码、语法元素类别，以及NAL单元类型分类

表3-NAL单元类型代码、语法元素类别，以及NAL单元类型分类

以下在表4中示出了提出的3DV前缀NAL单元的更详细的描述

表4-3DV前缀NAL单元

3dv_prefix_nal_unit(){	C	描述符
			3dv_view_id	All	u(7)
3dv_layer_id	All	u(3)
			reserved_bits	All	u(6)
}

如表4中所图示的，3DV前缀NAL单元可以包括3dv_view_id和3dv_layer_id。3dv_view_id指定与3DV视图相关联的帧的3DV视图ID号。另外，3dv_layer_id指定相关联的帧的3DV层ID号。reserved_bit允许将NAL单元字节对齐。应理解，用于每个语法元素的比特的数目和它们的编码方法仅仅作为示例而提供。还应注意，NAL单元16的首标可以包括标准的第一字节，如以下表9中的前三个元素中的。在该实施例中，NAL单元16可以包括首标和扩展的首标并且不需要包括净荷(payload)。例如，可以在每个3DV层帧之前或者在3DV层帧的每个码片之前传输NAL单元16。

为了更好地说明可以怎样采用3DV前缀NAL单元，参照图10进行，图10示出了包括3DV视图1002、1004和1006的结构1000的3DV内容的示例。这里视图1002、1004和1006提供了相同场景或对象的不同透视。在该示例中，每个3DV视图进一步由两个层组成：2DV视图1010加上其深度1008。图10中的箭头示出了不同视图和层之间的编码依赖性。例如，出于编码目的，B视图1004(双向预测的视图)依赖于并且参考基本视图1002和P视图1006(预测视图)。类似地，P视图1006依赖于并且参考基本视图1002。这里，每个3DV视图的深度层1008参考对应的3DV视图的2DV视图层1010。应注意，本领域普通技术人员鉴于在这里提供的教导的情况下可以将3DV视图和依赖性扩展到具有附加的3DV补充层的3DV内容，诸如依据MVD、LDV、DES格式的那些。还应注意，图10中提供的依赖性仅仅是示例并且3DV前缀NAL的使用允许各种其它的依赖性。

在图11中图示了根据该实施例的图10中的3DV内容的NAL单元流。具体地，图11提供了视频表示的不同时间T0 1102和T1 1110的NAL单元1100的流。这里，视图1104和视图1112(3DV视图0)分别对应于时间T0和T1处的基本视图1002，在于它们与作为基本视图1002的相同透视或者视点相关联。类似地，视图1106和视图1114(3DV视图2)分别对应于时间T0和T1的P视图1006，而视图1108和视图1116(3DV视图1)分别对应时间T0和T1的B视图1004。

如图11中所示，每个3DV视图由2D视图层和深度层组成。然而，应理解，可以在其它实施例中采用附加补充层。在此，视图1104由2D视图层1118和深度层1120组成。2D视图层1118自身由NAL单元16(1126)、14(1128)，和5(1130)组成，而深度层1120由NAL单元16和NAL单元20(1132)组成。继而，视图1106的2D视图层1122和深度层1124它们自身由NAL单元16和NAL单元20组成，如图11所图示的。视图1112由包括NAL单元16和20的深度层以及包括NAL单元16、14和1(1134)的2D视图层1136二者组成。

图11的箭头指示NAL单元的传输顺序。例如，NAL单元16(1126)在NAL单元14(1128)之前传输，NAL单元14(1128)其自身在NAL单元5(1130)之前传输，等等。在表2和4中定义NAL单元16，而在表3中定义图11中图示的其它NAL单元。例如，NAL单元5包括瞬时解码刷新(IDR)画面的编码码片的视频数据，所述瞬时解码刷新(IDR)画面由仅仅帧内码片或者SI码片组成，如AVC草案中定义的。通常，IDR画面是仅仅使用帧内预测或者仅仅使用帧内预测和预测样本的量化而编码的。此外，NAL单元1包括非IDR画面的编码码片的视频数据，诸如双向(B)编码的画面或者预测(P)编码的画面，其继而可以参考其它画面、3DV层或者3DV视图。继而，如例如图10中所指示的，NAL单元20是可以参考另一层或者另一3DV视图的编码的码片扩展。还应注意，图11中所示的NAL单元1，5和20是许多这种单元的代表并且已经为了易于表示而被截断(truncate)。例如，对2D视图1118已经传输了前缀单元16和14之后，可以传输若干NAL单元5(1130)，直到已经发送了对应帧的所有码片为止。类似地，在对于深度视图已经传输了前缀NAL单元16之后，可以传输组成深度层帧的多个NAL单元20。图11中的NAL单元1类似于对应于2D视图层1136的帧的被截断的码片代表。

如上所述，每个NAL单元14是指示其对应层的MVC视图ID的前缀NAL单元。例如，NAL单元14包括其对应2D视图层1118的MVC视图ID。类似地，NAL单元20也包括其对应3DV层的MVC视图ID。在该实施例中，每个3DV层被编码为单独的MVC视图并且因此在其编码期间被分配了唯一的MVC view_id。编码器，诸如如上讨论的编码300，可以使用MVC view_id来指示序列参数集(SPS)中层和/或帧之间的依赖性，如以下关于实施例5-7进一步所讨论的，并且可以指定前缀NAL单元16中的对应3dv_view_id和3dv_layer_id，使得诸如解码器400之类的解码器可以使用3DV前缀NAL单元以正确的方式解释并且解码帧。

作为示例，可以如表5中设置每个3DV层的MVC view_id。因此，在实施例1的架构中，在具有MVC view_id等于4的任何NAL单元之前可以是具有3dv_view_id被设置为2和3dv_layer_id被设置为0的前缀NAL单元16。此处分配的实际值是任意的并且可以变化，只要其中每一个与不同透视或者观看点对应的不同3DV视图被唯一地识别并且它们对应的3DV层被充分地识别和传达。还应注意，表5中的值在不同时间是一致的。例如，视图1104和1112共享相同MVC视图、3DV视图和3DV层ID。

表5-实施例1中的MVC view_id的示例

MVC view_id	3dv_view_id	3dv_laye_id	描述
				0	0	0	2D视频
1	0	1	深度
				2	1	0	2D视频
3	1	1	深度
				4	2	0	2D视频
5	2	1	深度

应理解，实施例1中定义的比特流是MVC兼容的并且每个3DV视图及其所有的层可以由常规的MVC解码器解码。因此，3DV前缀NAL单元16允许MVC兼容的解码器解码所有传输的3DV层，包括3DV补充层。然而，尽管常规的MVC解码器可能不会意识到怎样将解码数据组织为3DV格式，但NAL单元16的使用允许由实施例在编码级别上对3DV视图和层的同步。例如，依据前面公开的教导，图3中图示的编码器300的3DV参考缓冲器316可以在比特流318中包括合适的3DV前缀单元，而图4的解码器400的3DV参考缓冲器414可以解释比特流318中的NAL单元并且相应地使用NAL单元构建和格式化3DV内容，使得它们符合以上关于图10和图11讨论的结构。

应注意，实现了MVC向后兼容性在于可以依据MVC通过常规的MVC解码器来解码并且格式化3DV视图的每个2DV视图层。然而，因为深度层和其它3DV补充层将包括它们自身唯一的MVC视图ID，所以3DV补充层将被MVC解码器解释为单独的MVC视图。由此，如果依据MVC来格式化并且显示3DV补充层，则显示的图像将一般不具有三维效果。同样，用户可以彻底搜索并且试图显示MVC视图，直到呈现可观看的3D图像为止。此处，无论何时两个2D视图层被选择/显示并且呈现给用户的每只眼睛，将呈现可观看的3D视图。

另外，如果用户的显示器被配置为接受例如使用实施例1所传输的3DV补充层并且产生3D图像，则用户还可以能够观看3D图像。例如，用户的显示器可以接受LDV格式化的输入并且从该输入产生3D图像。在这种情形下，用户例如可以在用户的显示器上选择一模式以指示输入是LDV格式。

实施例2：3DV下重用MVC view_id。

依据实施例2，作为实施例1的可替换实现方式，提出了对NAL单元首标的新的编码和解码处理。此处，以上关于实施例1提供的细节应用于实施例2，除了采用涉及MVC view_id的特定的编号方法使得避免对3DV前缀单元16的使用。例如，由于MVC view_id被定义为具有10比特，所以MVCview_id的3个最低有效比特可以指示3dv_layer_id而MVC view_id的7个最高有效比特可以指示3dv_view_id。结果，表5中的MVC view_id可以如以下的表6所设置。因此，图11中提供的3DV内容对于实施例2将相同，除了在实施例2中将不存在NAL单元16，并且解码器可以存储并使用表6，通过交叉参考提取的MVC视图ID与3DV视图ID和3DV层ID而从提取的比特流中的MVC视图ID中确定3DV视图ID和3DV层ID。相应地，NAL前缀单元14和/或NAL单元20可以依据涉及MVC视图ID的编号方法而被配置。此处，如所讨论的，可以采用MVC视图ID来传达3DV视图ID和3DV层ID以允许在编码级别上同步并且格式化3DV内容。

表6-实施例2中的MVC view_id的示例

MVC view_id	3dv_view_id	3dv_laye_id	描述
				0	0	0	2D视频
1	0	1	深度
				8	1	0	2D视频
9	1	1	深度
				16	2	0	2D视频
17	2	1	深度

实施例3：3DV NAL单元扩展

在实施例1和2中，使用某些MVC编码技术来编码所有的3DV层，并且同样，所有的3DV层通过常规的MVC解码器是可解码的。然而，实现当前MVC标准的常规的MVC解码器不将各种3DV层中的每一个构成为3DV格式，如以上讨论的。在实施例3中，提出了一种编码框架，其允许引入不是当前MVC标准的一部分的、以及可以应用到某些3DV视图和/或某些3DV层的附加的编码技术。

为了实现该目标，可以采用以上表2中所示的，在此被称为“21”的新颖的新NAL单元类型。类似于NAL单元16，实施例3的新的NAL单元的选择的参考编号可以是表3中AVC草案保留的任何编号。此处，不需要MVC解码器解码的任何3DV视图和/或3DV层可以使用NAL单元类型21来解码3DV内容。另外，可以由MVC解码器解码并适当解释的所有2D视图层可以以常规NAL单元类型来编码，诸如如以上讨论的1、5和20，并且它们被称为MVC兼容的2D视图。MVC兼容的2D视图之前可以是3DV前缀NAL单元，诸如NAL单元16，如关于实施例1描述的；或者可以指定MVC view_id编号方法，以便避免3DV前缀NAL单元，如关于实施例2所描述的。

类似于以下在表7中提供的AVC草案MVC NAL单元首标扩展，以下在表8中提出并且提供了新的3DV NAL单元首标扩展。

表7-NAL单元首标MVC扩展

nal_unit_header_mvc_extension(){	C	描述符
			non_idr_flag	All	u(1)
priority_id	All	u(6)
			view_id	All	u(10)
temporal_id	All	u(3)
			anchor_pic_flag	All	u(1)
inter_view_flag	All	u(1)
			reserved_one_bit	All	u(1)
}

表8-NAL单元首标3DV扩展

nal_unit_header_3dv_extension(){	C	描述符
			non_idr_flag	All	u(1)
priority_id	All	u(6)
			3dv_view_id	All	u(7)
3dv_layer_id	All	u(3)
			temporal_id	All	u(3)
anchor_pic_flag	All	u(1)
			inter_view_flag	All	u(1)
reserved_on_bit	All	u(1)
			}

如表7和表8中所示，3DV NAL单元首标扩展可以包括与MVC NAL单元首标扩展相同的语法元素，除了MVC NAL单元首标扩展的语法元素view_id在3DV NAL单元首标扩展中的两个语法元素3dv_view_id和3dv_layer_id取代。此处，在实施例3中，3dv_view_id指定相关联的帧的3DV视图ID编号。相同的3dv_view_id在来自相同视图位置的3DV视图层之间共享。继而，3dv_layer_id指定相关联的帧的3DV层ID编号。在表9中示出了对nal_unit_header_3dv_extension()的调用。

表9-NAL单元语法

nal_unit(NumByteslnNALunit){	C	描述符
			forbidden_zero_bit	All	i(1)
nal_ref_idc	All	u(2)
			nal_unit_type	All	u(5)
NumByteslnRBSP＝0
			nalUnitHeaderBytes＝1
If(nal_unit_type＝＝14\|\|nal_unit_type＝＝20){
			svc_extension_flag	All	u(1)
if(svc_extension_flag)
			nal_unit_header_svc_extension()	All
Else
			nal_unit_header_mvc_extension()	All
nalUnitHeaderBytes+＝3
			}
If(nal_unit_type＝＝21){
			nal_unit_header_3dv_extension()
nalUnitHeaderBytes+＝3
			}
for(I＝nalUnitHeaderBytes；i＜NumByteslnNALunit；i++){
			if(i+2＜NumByteslnNALunit && next_bits(24)＝＝0x000003){
rbsp_byte[NumByteslnRBSP++]	All	b(8)
			rbsp_byte[NumByteslnRBSP++]	All	b(8)
i+＝2
			emulation_prevention_three_byte/等于0x03/	All	f(8)
}else
			rbsp_byte[NumByteslnRBSP++]	All	b(8)
}
			}

此处，已经将if(nal_unit_type＝＝21){…}语句添加到AVC草案中描述的NAL单元语法中。

在图12中提供了依据实施例13的NAL单元流1200的示例，其中采用新的NAL单元类型21。此处，避免3DV前缀NAL单元类型的使用，这是由于在NAL单元首标解析处理中指定了view_id编号。NAL单元流1200是将实施例3应用于图10中提供的3DV内容示例的说明。如上讨论的，在3DV视图和3DV层之间的依赖性的不同变型以及所使用的3DV层的不同变型可以依据各种实现方式而不同。

类似于流1100，流1200可以包括不同时间的不同的视图集合，视图1204、1206和1208对应于T0(1202)，视图1212、1214和1216对应于时间T1(1210)。视图1204和视图1212(3DV视图0)分别对应于时间T0和T1处的基本视图1002，在于它们与作为基本视图1002的相同透视或者视点相关联。类似地，视图1206和视图1214(3DV视图2)分别对应于时间T0和T1的P视图1006，而视图1208和视图1216(3DV视图1)分别对应时间T0和T1的B视图1004。每个3DV视图由2D视图层和深度层组成。至于流1100，应理解，可以在其它实施例中采用附加补充层。视图1204由2D视图层1218和深度层1220组成。继而，2D视图层1218由NAL单元14(1226)和5(1230)组成，而深度层1220由NAL单元21(1230)组成。此外，视图1206由2D视图1222和深度视图1224组成，2D视图1222包括NAL单元20，深度视图1224由NAL单元21组成。另外，视图1212的2D视图1236由NAL单元14和1组成。

以上已经关于图11描述了NAL单元1、5、14和20。与NAL单元14和20使用的表7的MVC NAL单元首标扩展相反，NAL单元21采用表8的3DV NAL单元首标控制。使用新颖的3DV NAL单元首标扩展使得能够在编码级别上将3DV层同步到3DV内容格式同时允许应用新的编码方法。与NAL单元16不同，NAL单元21可以包括对应的视频数据的净荷。更一般地，该净荷可以包括通常被称为对应的编码画面的数据的画面数据。该画面数据可以来自与任何层，诸如，例如，2D视频、深度、遮挡视频、遮挡深度，或者透明性。

还应注意，类似于图11，图12的箭头指示NAL单元的传输顺序。此外，以与其中截断图11的NAL单元1、5和20的方式相同的方式截断图12中的NAL单元1、5、20和21。另外，实施例3是MVC可兼容的，这是在于，2D视图层可以通过常规的解码器来解码并且依据MVC来组合以允许生成并显示3D内容。

现在转到图13和图14，分别图示了解码和编码依据实施例3例示的3DV内容流的方法1300和1400。应注意，可以在图4的解码器400中执行并实现方法1300，而可以在图3的编码器300中执行并实现方法1400。方法1300和1400二者采用以上表9中提供的语法。

方法1300可以在步骤1302开始，其中解码器400可以读取所接收的NAL单元中的以上在表9中并且也在AVC草案中描述的nal_ref_idc。

在步骤1304，解码器400可以读取NAL单元类型。

在步骤1306，解码器400可以确定NAL单元类型是否是14。如果NAL单元类型是14，则解码器400可以前进到1308并且解析当前处理的NAL单元的剩余部分以获得MVC视图ID。在实施例3的该具体实现方式中，例如，如以上关于第二实施例描述的，通过MVC视图ID来指示3DV视图ID和3DV层ID。

由此，在步骤1310，解码器400可以从MVC视图ID中获得3DV视图ID和3DV层ID，如以上例如关于实施例2所讨论的。

在步骤1312，解码器400可以读取并解析所接收的下一NAL单元。下一NAL单元应该是类型1或者类型15。由此，如果解码器确定下一NAL单元不是类型1或者类型15，则已经发生了错误。

在步骤1314，解码器400可以解码当前处理的NAL单元的当前码片数据。

在步骤1316，解码器400可以确定处理的NAL单元是否对应于当前帧的结尾。如果处理的NAL单元不对应于当前帧的结尾，则可以通过解码器400重复步骤1312-1316。

在到达当前帧的结尾时，该方法然后可以前进到步骤1318，其中解码器400可以将解码帧与其3DV视图ID及其3DV层ID发送给其输出缓冲器，诸如，例如，3DV参考/输出缓冲器414，3DV参考/输出缓冲器414继而可以以3DV格式来配置该帧用于显示，如上所讨论的。

在步骤1320，解码器400可以确定是否已经到达比特流或者序列的结尾。如果还没有到达比特流或者序列的结尾，则该方法可以前进到步骤1302并且解码器400可以重复方法1300。如果到达了比特流或者序列的结尾，则方法1300可以结束。

返回到步骤1306，如果解码器400确定当前处理的NAL单元的NAL单元类型不是类型14，则该方法可以前进到步骤1322，其中解码器400可以确定当前处理的NAL单元的NAL单元类型是否是20。如果当前处理的NAL单元是类型20，则该方法可以前进到步骤1324，其中解码器400可以解析当前处理的NAL单元的剩余部分以获得MVC视图ID。在实施例3的该特定实现方式中，3DV视图ID和3DV层ID由MVC视图ID指示，例如，如以上关于实施例2所描述的。

相应地，在步骤1326，解码器400可以从MVC视图ID中获得3DV视图ID和3DV层ID，如以上例如关于实施例2所讨论的。

在步骤1328，解码器400可以解码当前处理的NAL单元的当前码片数据。

在步骤1330，解码器400可以确定处理的NAL单元是否对应于当前帧的结尾。如果处理的NAL单元不对应于当前帧的结尾，则该方法可以前进到步骤1332，其中解码器400可以读取并解析所接收的下一NAL单元。该下一NAL单元应是类型20。因此，如果解码器确定下一NAL单元不是类型20，则已经发生了错误。其后，可以由解码器400重复步骤1326-1330。

如果在步骤1330，解码器400确定到达了当前帧的结尾，则该方法可以前进到步骤1318，其中解码器400可以将解码的帧与其3DV视图ID及其3DV层ID发送到其输出缓冲器，如上所讨论的。其后，该方法可以前进到步骤1320，并且可以被重复或者终止，如上所讨论的。

返回到步骤1322，如果解码器400确定当前处理的NAL单元不是类型20，则该方法可以前进到步骤1334，其中解码器确定当前处理的NAL单元是否是类型21。如果当前处理的NAL单元是类型21，则该方法可以前进到步骤1336，其中解码器400可以解析当前处理的NAL单元的剩余部分并且获得由3DV NAL单元首标扩展所提供的3DV视图ID和3DV层ID。

在步骤1338，解码器400可以解码当前处理的NAL单元的当前码片数据。

在步骤1340，解码器400可以确定处理的NAL单元是否对应于当前帧的结尾。如果处理的NAL单元不对应于当前帧的结尾，则该方法可以前进到步骤1342，其中解码器400可以读取并解析所接收的下一NAL单元。该下一NAL单元应是类型21。因此，如果解码器确定下一NAL单元不是类型21，则已经发生了错误。其后，可以由解码器400重复步骤1338-1340。

如果在步骤1340，解码器400确定到达了当前帧的结尾，则该方法可以前进到步骤1318，其中解码器400可以将解码的帧与其3DV视图ID及其3DV层ID发送到其输出缓冲器，如上所讨论的。其后，该方法可以前进到步骤1320，并且可以被重复或者终止，如上所讨论的。

返回到步骤1334，如果解码器400在步骤1334确定当前处理的NAL单元不是类型21，则该方法可以前进到步骤1344，其中解析当前处理的NAL单元的剩余部分，其可以意图用于序列参数集(SPS)、画面参数集(PPS)或者其它目的。其后，该方法可以前进到步骤1320并且可以被重复或者终止，如以上讨论的。

再次参照图14，用于编码依据实施例3的3DV内容流的方法1400可以开始于步骤1402，其中编码器300可以读取其配置简档(profile)。

在步骤1404，编码器300可以写入SPS和/或PPS NAL单元。

在步骤1406，编码器300可以读取要编码的下一帧。

在步骤1408，编码器300可以确定当前处理的帧是否应是AVC兼容的视图。如果当前处理的帧应是AVC兼容的视图，则该方法可以前进到步骤1410，其中编码器300可以编码当前帧的下一码片。

在步骤1412，如果当前帧的当前处理的码片是当前帧的第一码片，如编码器300所确定的，则编码器300可以写入具有NAL单元类型例如为14的MVC前缀NAL单元。

在步骤1414，编码器300可以将当前码片封装到NAL单元，诸如例如，类型1或5的NAL单元。

在步骤1416，编码器300可以写入其中在步骤1414中封装了当前码片的NAL单元。

在步骤1418，编码器300可以确定其是否已经到达当前帧的结尾。如果编码器还没有到达当前帧的结尾，则该方法可以前进到步骤1410并且编码器300可以重复步骤1410-1418。如果编码器已经到达了当前帧的结尾，则该方法可以前进到步骤1420，其中编码器300可以确定对于序列或者比特流是否已经处理了所有的帧。如果已经处理了所有的帧，则该方法可以结束。否则，该方法可以前进到步骤1406并且编码器可以重复步骤1406和1408。

返回到步骤1408，如以上介绍的，如果编码器300确定当前处理的帧不需要是AVC兼容的视图，则该方法可以前进到步骤1422，其中编码器300可以确定当前处理的帧是否应是MVC兼容的视图。如果当前处理的帧应是MVC兼容的视图，则该方法可以前进到步骤1424，其中编码器300可以编码当前处理的帧的下一码片。

在步骤1426，编码器可以将当前码片封装到具有NAL单元类型例如为20的NAL单元。

在步骤1428，编码器300可以写入其中在步骤1426中当前码片被封装到的NAL单元。

在步骤1430，编码器300可以确定其是否已经到达当前帧的结尾。如果编码器还没有到达当前帧的结尾，则该方法可以前进到步骤1424并且编码器300可以重复步骤1424-1430。如果编码器已经到达了当前帧的结尾，则该方法可以前进到步骤1420，其中编码器300可以确定对于序列或者比特流是否已经处理了所有的帧。如果已经处理了所有的帧，则该方法可以结束。否则，该方法可以前进到步骤1406并且编码器可以重复步骤1406和1408。

返回到步骤1422，如果编码器300确定当前处理的帧不需要是MVC兼容的视图，则该方法可以前进到步骤1432，其中编码器300可以编码当前帧的下一码片。

在步骤1434，编码器可以将当前码片封装到具有NAL单元类型例如为21的NAL单元。

在步骤1436，编码器300可以写入其中在步骤1434中当前码片被封装到的NAL单元。

在步骤1440，编码器300可以确定其是否已经到达当前帧的结尾。如果编码器还没有到达当前帧的结尾，则该方法可以前进到步骤1432并且编码器300可以重复步骤1432-1440。如果编码器已经到达了当前帧的结尾，则该方法可以前进到步骤1420，其中编码器300可以确定对于序列或者比特流是否已经处理了所有的帧。如果已经处理了所有的帧，则该方法可以结束。否则，该方法可以前进到步骤1406并且编码器可以重复步骤1406和1408。

应理解，编码步骤1410、1424和1432以及解码步骤1314、1328和1338可以依据各种不同的编码方法和标准来执行，所述不同编码方法和标准允许符合以上关于例如图10和12讨论的实施例的结构和特征。

另外，在引入用于3DV层的新的NAL单元类型21的情况下，可以为利用它们的不同特性的不同3DV层定义特定的编码技术。例如，在深度图用于寻找参考画面中的预测块时，2D视图的解码可以依赖于其深度图的解码。此外，如上讨论的，可以采用其它这样的依赖性。

还应注意，利用新颖的NAL单元类型21，可以利用如表10中的3dv_slice_layer_extension_rbsp()来编码3DV视图/层，其中3dv_slice_header()和3dv_slice_data()可以包括修改的slice_header()和slice_data()。

表10-3DV码片层

还应理解，尽管已经单独地描述了实施例1-3，但如相关技术领域的技术人员鉴于在此提供的教导所理解的，可以以各种方式来组合这些实施例中的一个或更多。例如，可以以不同方式来编码相同帧的不同码片。例如，可以根据实施例1和/或2以MVC兼容的方式来编码帧的某些码片，而依据实施例3使用非MVC编码模式来编码其它码片。另外，可以采用根据实施例1和/或2的MVC来编码3DV视图的某些层，诸如例如，2D视图，而可以应用根据实施例3的非MVC模式来编码3DV视图的其它层，诸如例如，遮挡视图。此处，可以将具有NAL单元1和/或5的NAL单元16应用于一个或更多3DV视图的某些层，而可以将NAL单元21应用于一个或更多3DV视图的其它层。

第四实施例：参考画面列表构建

如上所指示的，实施例可以针对参考画面列表构建处理。在以下此处讨论的实施例中，每个画面具有其自身的参考画面列表。然而，其它实现方式可以提供特定于(并且用于)多个画面的参考画面列表。例如，参考画面列表可以被分配给时间上的整个画面序列，或者时间上的给定点的跨越多个视图上的整个画面组，或者画面的子集。例如，画面的子集可以由码片或者单个宏块或者子宏块组成。该参考画面列表构建处理的输入是来自NAL单元首标的inter_view_flag和从序列参数集解码的视图依赖性信息。应理解，可以将图3的编码器300和图4的解码器400二者配置为通过采用以下在此描述的教导来分别构建编码和解码比特流的参考画面列表。

在该处理的第一阶段，时间的参考画面和视图间参考画面可以被插入到初始的参考画面列表RefPicListX(X是0或者1)，如例如在AVC或者MVC系统中可以进行的。如在AVC草案中定义的RefPicListX可以用作示例的初始参考画面列表。例如，RefPicListX，X为0，可以用于编码或解码预测编码的画面的任何类型，而RefPicListX，X为1，可以用于编码或解码双向编码的画面或者B画面。由此，B画面可以具有两个参考画面列表，RefPicList0和RefPicList1，而预测编码的画面的其它类型可以仅仅具有一个参考画面列表RefPicList0。另外，应注意，此处，时间参考与在时间上与参考列表所分配给的对应画面不同的画面的参考对应。例如，参照图11，时间参考可以与用于编码/解码视图1112的视图1104的参考对应。继而，视图间参考可以与用于编码/解码视图1106的视图1104的参考对应。通过将时间参考画面和视图间参考画面插入到参考画面列表中，支持了现有的时间和视图间预测技术(例如，根据AVC和/或MVC)。如已知的，AVC系统可能在参考画面列表中包括时间参考画面，MVC系统可能在参考画面列表中进一步包括视图间参考画面。

该处理中的第二阶段可以包括添加可以对每个层独立地定义的层间参考画面。图15中提供了用于实施例4的一个层间预测结构1500。结构1500中的箭头指示预测方向。例如，特定视图的2D视频(视图)层1502(箭头离开的)被用于编码视图的深度层1504(箭头抵达的)的参考。相应地，层间预测结构可以用于确定哪个(哪些)画面可以用于参考并且因此在参考画面列表中应包括哪个(哪些)画面。在结构1500中，2D视频层还用于遮挡视频层1506和透明层1510二者的参考。另外，深度层1504用于遮挡深度层1508的参考。

如图15所描绘的，对于层间预测结构1500，每个3DV层具有至多一个层间参考。为编码给定的层，具有类似特性的层被用于参考。例如，再次参照图2，遮挡视频层206包括2D视频层202的背景，而遮挡深度层208包括深度层204的背景。由此，为更好地利用跨越各层的冗余性，实现方式可以使用视图的2D视频层作为用于视图的遮挡层的参考并且可以使用视图的深度层作为用于视图的遮挡深度层的参考。其它实现方式可能允许用于给定的3DV层的多个层间参考。

对于2D视频层画面，在第二阶段不需要做任何事，这是由于在2D视频层画面的实现方式中不需要使用层间参考。其它实施例可能真正对2D视频层提供层间参考。例如，给定视图的遮挡层可以用于参考的2D视频层的参考。避免使用2D视图层的层间参考的优点是可以由常规的MVC解码器来解码所有的2D视图层。应注意，在其它实现方式中，弯曲的(warp)的画面，诸如例如，合成的虚拟参考画面可以附加到参考列表。关于参考列表中的弯曲的画面参考位置，弯曲的画面参考可以被插入在具有高合成质量的初始参考列表的开始处或者具有中等合成质量的参考列表的结尾。以此方式使用弯曲的画面可以改进编码效率。

返回到图15，对于深度层画面1504，2D视频层画面1502(被示为图15中的深度层的参考)可以在第二阶段中被附加到RefPicListX的结尾。在各种实现方式中，2D视频画面参考被附加到参考列表的结尾处，而不是参考列表的开始处，这是因为其期望具有最小的冗余性(与第一阶段的时间和视图间参考相比较)并且期望有最小可能性被用作参考。由此，此处，在参考画面列表中的任何时间和视图间参考之后提供层间参考。

对于遮挡视频层画面1506，2D视频层画面1502可以在第二阶段被附加到RefPicListX的开始处。2D视频画面可以被附加到开始处(预先计划的(prepended))，在参考画面列表中任何时间和视图间参考之前，而不是在结尾处或者在中间，这是因为2D视频画面被期望具有可用的参考画面的最大冗余性并且有最大可能性被用作参考。

对于遮挡深度层画面1508，深度画面1504可以在第二阶段被附加到RefPicListX的开始处，在参考画面列表中的任何时间和视图间参考之前，这是由于期望的高级冗余性(与第一阶段的时间和视图间参考的任一个相比较)在遮挡层和深度层之间。

对于透明层画面1510，2D视频层画面1502可以在第二阶段被附加到RefPicListX的结尾处，在参考画面列表中的任何时间和视图间参考之后，这是由于期望的低级冗余性(与第一阶段的时间和视图间参考的任一个相比较)在透明层和2D视频层之间。

更一般地，可以在通过参考被使用的频度所确定的位置处将画面的层间参考插入到该画面的参考画面列表中。对于其中向每个参考指定优先级的实现方式，可以基于该参考被使用的频度来指定优先级。作为示例，一个实现方式通过宏块编码画面，并且每个宏块可以使用或者可以不使用来自参考画面列表的给定参考。对于该实现方式的每个宏块，在包括不同的编码模式和不同参考各种编码选项中，执行率失真优化。由此，给定的层间参考可能仅仅用于编码画面的宏块的子集。与有多少宏块使用在参考画面列表中可用的其它参考相比较，可以基于有多少宏块使用层间参考而确定向给定的层间参考指定的优先级。

现在参照图16和17，分别图示了用于构建编码和解码处理的参考画面列表的方法1600和1700。可以通过图3的编码器300来执行用于构建依据实施例4的一个实现方式的编码处理的参考画面列表的方法1600。例如，可以将3DV参考缓冲器316配置为实现方法1600。

方法1600可以开始于步骤1602，其中编码器300可以初始化参考画面列表RefPicListX。如以上提到的，RefPicListX可以依据AVC草案来初始化，X是0或1。例如，如上指示的，可以将时间和/或视图间参考画面插入到初始参考画面列表中。

在步骤1604，编码器300可以确定参考画面列表是否用于2D视频层画面。如果参考画面列表是用于2D视频层画面，则该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。此后，该方法可以结束或者该方法可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。

如果在步骤1604，编码器300确定参考画面列表不是用于2D视频层画面，则该方法可以前进到步骤1606，其中编码器300可以确定参考画面列表是否是用于深度层画面。如果参考画面列表是用于深度层画面，则该方法可以前进到步骤1608，其中来自与深度层画面相同的3D视图的2D视频层画面被附加到参考画面列表的结尾。此后，该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。然后该方法可以结束或者该方法可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。

如果在步骤1606，编码器300确定参考画面列表不是用于深度层画面，则该方法可以前进到步骤1610，其中编码器300可以确定参考画面列表是否是用于遮挡视频层画面。如果参考画面列表是用于遮挡视频层画面，则该方法可以前进到步骤1612，其中来自与遮挡视频层画面相同的3D视图的2D视频层画面被附加到参考画面列表的开始。此后，该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。然后该方法可以结束或者可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。

如果在步骤1610，编码器300确定参考画面列表不是用于遮挡视频层画面，则该方法可以前进到步骤1614，其中编码器300可以确定参考画面列表是否是用于遮挡深度层画面。如果参考画面列表是用于遮挡深度层画面，则该方法可以前进到步骤1616，其中来自与遮挡深度层画面相同的3D视图的深度层画面被附加到参考画面列表的开始。此后，该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。然后该方法可以结束或者可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。

如果在步骤1614，编码器300确定参考画面列表不是用于遮挡深度层画面，则该方法可以前进到步骤1618，其中编码器300可以确定参考画面列表是否是用于透明层画面。如果参考画面列表是用于透明层画面，则该方法可以前进到步骤1620，其中来自与透明层画面相同的3D视图的2D视频层画面被附加到参考画面列表的结尾。此后，该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。然后该方法可以结束或者可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。类似地，如果在步骤1618，编码器300确定该层不是透明层画面，则该方法可以前进到步骤1622，其中编码器300可以继续编码当前正在被处理的码片。然后该方法可以结束或者可以重复来构建另一3DV层画面的参考画面列表。可替换地，如果3DV层画面是B画面，则该方法可以重复用于相同的3DV层画面以构建RefPicList1。

现在转到图17的方法1700，可以通过图4的解码器400来执行用于构建依据实施例4的一个实现方式的解码处理的参考画面列表的方法1700。例如，可以将3DV参考/输出缓冲器414配置为执行方法1700。

方法1700可以开始于步骤1702，其中解码器400可以解析接收的NAL单元和码片首标以提取3DV层标识符。例如，NAL单元可以是如上关于实施例1讨论的3DV前缀单元16、实施例2的NAL前缀单元14和/或NAL单元20、和/或实施例3的NAL单元21。此外，如上指示的，可以由解码器400从解码器400接收的包括3DV内容的比特流中提取的其它信息可以包括来自NAL单元首标的inter_view_flag和从序列参数集解码的视图依赖性信息。此后，可以初始参考画面列表RefPicListX。如上提到的，RefPicListX可以依据AVC草案来初始化，X是0或1。例如，如上所指示的，可以采用来自NAL单元首标的inter_view_flag和从序列参数集解码的视图依赖性信息来初始RefPicListX。继而，时间和/或视图间参考画面可以被插入到初始的参考画面列表中。

可以以如上关于方法1600讨论的相同的方式由解码器400来执行方法1700的剩余步骤，除了由步骤1722来取代步骤1622之外。例如，可以与由编码器300执行步骤1604-1620的相同的方式由解码器400来执行步骤1704-1720。然而，在步骤1722，与编码当前处理的码片相反，解码器继续解码当前处理的码片。

应理解，使用以上关于实施例4提供的教导，本领域普通技术人员可以容易想到具有与以上关于图15描述的不同的层间依赖性的层间预测结构。

相应地，实施例4可以支持不同类型的层间预测。此外，实施例4将参考画面列表适配于诸如例如以上关于图15描述的结构之类的层间预测结构。结果，实施例4提供了基于系统的层间预测结构的参考画面列表，而同时允许常规的MVC解码器提取3DV内容并且格式化该内容用于显示。

应注意，可以组织参考画面使得它们与AVC系统兼容。例如，层间和视图间参考画面可以被多路复用为在时间上不同的画面。

实施例5：用于子集SPS 3DV的新颖的NAL单元类型

如上所指示的，在至少一个实施例中，可以扩展SPS使得可以发信号通知3DV格式的新的序列参数。扩展的3DV的SPS在以下被称为“子集SPS3DV”。在实施例5中，可以采用用于子集SPS 3DV的新颖的NAL单元类型。在实施例6和7中，如下讨论的，描述了子集SPS 3DV可以是怎样组成的。应理解，所提出的参数不限于SPS内，而是可以出现在NAL单元首标、画面参数集(PPS)、补充增强信息(SEI)、码片首标，以及任何其它高级语法元素中。实施例还可以使用低级语法或者带外信息(out-of-band information)。

此处，在实施例5中，新的NAL单元类型可以用于指示子集SPS 3DV。该实施例中的NAL单元类型编号可以是以上的表3中未被分配的任一个值，如上述的，已经从AVC草案转录。此外，还应以与以上关于实施例1和3描述的新颖的NAL单元类型不同的方式来选择分配给3DV层的VCL NAL单元的新颖的NAL单元类型编号。结果，17被选择为用于子集SPS 3DV的NAL单元类型编号，其在以下的表11中被表示为subset_seq_parameter_set_3dv_rbsp()。当然，可以选择其它NAL单元类型编号。如果不组合实施例，则NAL单元类型16或者21也可以被用于替代17。关于以上的表2，新添加了用于nal_unit_type 17和nal_unit_type 18…20的行。

表11-NAL单元类型代码、语法元素类别，以及NAL单元类型分类

新颖的NAL单元类型可以允许MVC解码器或者3DV解码器确定是丢弃还是解析子集SPS 3DV内的内容。因为在MVC下，类型17被保留，MVC解码器可以选取忽略或者丢弃该NAL单元中的数据。然而，3DV解码器可以解析该单元中的数据，这允许3DV解码器解码3DV补充层。

对于智能网络设备，例如，可以辨识新颖的NAL单元类型的路由器，如果网络提供商确定在特定环境下不应传输3DV补充层，该网络设备可以选择选择丢弃子集SPS 3DV。可替换地或者另外地，可以解析并利用子集SPS 3DV中的内容以将流传输适配为可用的网络带宽。例如，利用3DV层预测结构的知识，当网络遭受突发通信量时，网络设备(例如，流传输服务器或者路由器)可以丢弃不用作参考的3DV层。

比特流提取器，也被称为流服务器，也可以用于提取3DV流的各个部分。以上的路由器解析比特流并且做出关于是否转发(传输)各种3DV层的决定。比特流提取器还可以解析比特流，并且基于优先级做出转发决定，但是也可以将提取的比特流(也被叫做子比特流)调整到下游的设备。例如，比特流提取器可以仅提取2D视频和深度层，这是因为下游的接收器不使用遮挡或者透明层。此外，比特流提取器还可以仅提取与比特流中前两个视图对应的层，这是因为下游的接收器不使用超过两个视图。然而，另外，比特流提取器可以能够分析3DV SPS，以及任何MVC SPS，或者其它依赖性信息，来确定2D视频或者深度层是否使用遮挡层或者透明层中的任一个作为层间参考，并且确定前两个视图是否使用其它视图的任一个作为视图间参考。如果需要其它层或者视图来合适地解码期望的3DV层，其可以是前两个视图的2D视频和深度层，则比特流提取器也将提取这些层和/或视图。

注意，可以通过路由器或者比特流提取器来确定3DV层和3DV视图的优先级信息。然而，这样的优先级信息也可以例如通过被放置在NAL单元首标中在比特流中提供。这种优先级信息可以包括，例如，时间级别ID、优先级ID、视图ID，以及与3DV信息有关的优先级ID。

现在参照图18和19，分别图示了用于编码和解码依据实施例5的实现方式的子集SPS 3DV信息的NAL单元的方法1800和1900。可以分别通过图编码器300的3DV参考缓冲器316和通过解码器400的3DV参考缓冲器414来执行方法1800和1900。

方法1800可以开始于例如步骤1802，其中编码器300可以将NAL单元的NAL单元类型设置为17。在步骤1804，编码器300可以写入NAL单元首标。此后，在步骤1806，编码器300可以组成并写入SPS。例如，该SPS可以对应于subset_sequence_parameter_set_3dv_rbsp()并且可以如以下关于实施例6和7所讨论的组成和写入。

方法1900可以开始于例如步骤1902，其中解码器400可以接收NAL单元并且读取NAL单元首标。该NAL单元可以对应于在方法1800编码的NAL单元。在步骤1904，解码器400可以提取NAL单元类型。如果NAL单元类型被设置为17，则编码器可以读取并且解析SPS。例如，该SPS可以对应于subset_sequence_parameter_set_3dv_rbsp()并且可以如以下关于实施例6和7所讨论的被读取和解析。

实施例6：发信号通知3DV应用的参数的SPS的扩展

如以上关于实施例1-4所讨论的，可以采用3DV补充层来支持增强的3DV再现能力，并且因此可以在SPS中发信号通知3DV层识别编号(3dv_layer_id)。此外，如上讨论的，为了移除层间冗余性，可以利用层间编码并且可以将层间画面添加到参考画面列表以便利于层间编码。因此，为了允许解码器确定怎样利用层间参考来解码画面，编码器可以在SPS中指定层间预测结构。这种层间预测结构可以例如对应于如上关于图15讨论的结构1500。

在详细讨论SPS构造之前，应注意，依据各种实现方式，可以采用支持3DV内容的比特流的新颖的简档。2009年3月，ITU-T“Advanced Video Codingfor Generic audiovisual Services-Recommendation ITU-T H.264”，下文中称为“更新的AVC草案”，提供了对简档的讨论并且通过引用在此并入。在一个或者多个实现方式中，可以将profile_idc设置为218。更新的AVC草案描述了AVC/MVC中的其它现有的简档。

以下提供的表12详述了以上关于实施例5提到的函数subset_sequence_parameter_set_3dv_rbsp()经历的处理。具体地，表12，在语句else if(profile_idc＝＝218){…}，说明了依据实施例6的子集SPS 3DV的一个高级实现方式。可以用函数seq_parameter_set_3dv_extension()来实现详细的信令，例如如以下表12所示的。为218的profile_idc表示用于MVC标准的新的简档，并且是3DV简档。

表12-subset_seq_parameter_set_3dv_rbsp()

图20和21分别图示了编码2000和解码2100依据实施例6的各种实现方式的SPS的方法的高级流程图。方法2000和2100分别编码和解码以例如表12给出的形式的SPS。表12可以用于例如NAL单元类型17。应理解，图3的编码器300可以被配置为执行方法2000而图4的解码器可以被配置为执行方法2100。

方法200可以开始于步骤2002，其中编码器300可以设置profile_idc。如上指示的，profile_idc例如可以被设置为用于子集SPS 3DV的218。

在步骤2004，编码器300可以写入序列参数集数据。例如，这样的数据可以对应于关于seq_parameter_set_data()语法结构的更新的AVC草案中描述的任何SPS数据。

在步骤2006，编码器300可以确定profile_idc是否被设置为83或86。如果profile_idc被设置为83或86，则该方法可以前进到步骤2008，其中编码器300可以写入seq_parameter_set_svc_extension()，设置并写入svc_vui_parameters_present_flag，如在更新的AVC草案中讨论的。另外，在步骤2008，如果svc_vui_parameters_present_flag被设置为1，则编码器300可以写入svc_vui_parameter_extension()，如在更新的AVC草案中讨论的。此后，该方法可以前进到步骤2010，其在以下更详细地讨论。

返回到步骤2006，如果profile_idc未被设置为83或86，则该方法可以前进到步骤2014，其中编码器300可以确定profile_idc是否被设置为118。如果profile_idc被设置为118，则该方法可以前进到步骤2016，其中编码器300可以设置bit_equal_to_one等于1，写入bit_equal_to_one，写入seq_parameter_set_mvc_extension()，设置并写入mvc_vui_parameters_present_flag，如在更新的AVC草案中描述的。如果mvc_vui_parameters_present_flag等于1，则编码器300可以写入mvc_vui_parameters_extension()，如在更新的AVC草案中描述的。此后，该方法可以前进到步骤2010，其在以下更详细地讨论。

如果在步骤2014，编码器300确定profile_idc未被设置为118，则该方法可以前进到步骤2018，其中编码器300可以确定profile_idc是否被设置为218。如果profile_idc未被设置为218，则该方法可以前进到步骤2022，其中编码器300可以确定profile_idc是未知的并且可以输出错误消息。

然而，如果profile_idc被设置为218，则编码器300可以执行步骤2020，其中编码器300可以设置bit_equal_to_one为1并且写入bit_equal_to_one。如上注意的，在更新的AVC草案中描述了bit_equal_to_one。在步骤2020，编码器300可以进一步写入seq_parameter_set_3dv_extension()，其在以下关于表13和14以及图22-25更详细地描述。如以下在此讨论的，seq_parameter_set_3dv_extension()可以向解码器指示或者传达层间依赖性以允许解码器在画面的解码期间确定用于画面的合适的预测参考。此后，该方法可以前进到步骤2010。

在步骤2010，编码器300可以设置additional_extension2_flag，并且如果additional_extension2_flag被设置为1，则编码器300可以写入所有的additional_extension2_data_flag，如在更新的AVC草案中讨论的。在步骤2012，编码器300可以写入rbsp_trailing_bits()，如在更新的AVC草案中描述的，并且此后该方法可以结束。

现在转到图21，图21图示了用于解码例如依据方法2000可能已经生成的SPS的方法2100，方法2100可以开始于步骤2102，其中解码器400可以从接收的比特流中解码序列参数集数据seq_parameter_set_data()并且可以设置profile_idc，如在更新的AVC草案中讨论的。

在步骤2104，解码器400可以确定profile_idc是否被设置为83或86。如果profile_idc被设置为83或86，则该方法可以前进到步骤2106，其中解码器400可以解码seq_parameter_set_svc_extension()并且解码svc_vui_parameters_present_flag，如在更新的AVC草案中讨论的。另外，在步骤2106，如果svc_vui_parameters_present_flag被设置为1，则解码器400可以解码svc_vui_parameter_extension()，如在更新的AVC草案中讨论的。此后，该方法可以前进到步骤2108，其在以下更详细地讨论。

返回到步骤2104，如果profile_idc未被设置为83或86，则该方法可以前进到步骤2112，其中解码器400可以确定profile_idc是否被设置为118。如果profile_idc被设置为118，则该方法可以前进到步骤2114，其中解码器400可以解码bit_equal_to_one，解码seq_parameter_set_mvc_extension()以及解码mvc_vui_parameters_present_falg，如在更新的AVC草案中描述的。另外，如果mvc_vui_parameters_present_falg被设置为1，则解码器400可以解码mvc_vui_parameters_extension()，如在更新的AVC草案中描述的。此后，该方法可以前进到步骤2108，其在以下更详细地讨论。

如果在步骤2112，解码器400确定profile_idc未被设置为118，则该方法可以前进到步骤2116，其中解码器400可以确定profile_idc是否被设置为218。如果profile_idc未被设置为218，则该方法可以前进到步骤2120，其中解码器400可以确定已经读取到未知的profile_idc并且可以输出错误消息。

然而，如果profile_idc被设置为218，则解码器400可以执行步骤2118，其中解码器400可以解码bit_equal_to_one并且可以进一步解码bseq_parameter_set_3dv_extension()，其在以下关于表13和14以及图22-25更详细地描述。此后，该方法可以前进到步骤2108。

在步骤2108，解码器400可以解码additional_extension2_flag，并且如果additional_extension2_flag被设置为1，则解码器400可以解码所有的additional_extension2_data_flag，如在更新的AVC草案中讨论的。在步骤2110，解码器400可以解码rbsp_trailing_bits()，如在更新的AVC草案中描述的，并且此后该方法可以结束。

如上述的，表13示出了seq_parameter_set_3dv_extension()的一个实现方式，其中显式地发信号通知3dv_layer_id和层间预测结构。这种实现方式提供了大量的灵活性，这是因为可以指定不同顺序的3DV层和不同的层间预测结构。

表13-seq_parameter_set_3dv_extension()的一个实现方式

seq_parameter_set_3dv_extension(){	C	描述符
			seq_parameter_ser_mvc_extension()
num_3dv_layer_minus1		ue(v)
			for(i＝0；i＜＝num_3dv_layer_minus1；i++)
3dv_layer_id[i]		ue(v)
			for(i＝1；i＜＝num_3dv_layer_minus1；i++){
num_3dv_layer_refs_I0[i]		ue(v)
			for(j＝0；j＜num_3dv_layer_refs_I0[i]；j++)
3dv_layer_ref_I0[i][j]		ue(v)
			num_3dv_layer_refs_I1[i]	ue(v)
for(j＝0；j＜num_3dv_layer_refs_I1[i]；j++)
			3dv_layer_ref_I1[i][j]	ue(v)
}
			}

如下给出表13的语义：

num_3dv_layer_minus1加1指示3DV层的数量。

3dv_layer_id[i]指定第i个3DV层标识编号。

num_3dv_layer_refs_I0[i]指定在用于具有3DV层标识编号为3dv_layer_id[i]的3DV层的参考画面列表0中的层间参考的编号。

3dv_layer_refs_I0[i][j]指定在用于具有3DV层标识编号为3dv_layer_id[i]的3DV层的参考画面列表0中用作第j个层间参考的3DV层标识编号。

num_3dv_layer_refs_I1[i]指定在用于具有3DV层标识编号为3dv_layer_id[i]的3DV层的参考画面列表1中的层间参考的编号。

3dv_layer_refs_I1[i][j]指定在用于具有3DV层标识编号为3dv_layer_id[i]的3DV层的参考画面列表1中用作第j个层间参考的3DV层标识编号。

为了更好地说明在实施例6中可以怎样采用表13的seq_parameter_set_3dv_extension()，参照图22和23，分别图示编码2200和解码2300子集SPS 3DV扩展的方法。应理解，可以通过编码器300来实现方法2200而通过解码器400来实现方法2300。

方法2200可以开始于步骤2202，其中编码器300可以编码seq_parameter_set_mvc_extension()，其在更新的AVC草案中描述。

在步骤2204，编码器300可以设置并编码num_3dv_layer_minus1。如上提供的，num_3dv_layer_minus1指示在要编码的3DV内容的3DV视图中采用的3DV层的总数。为了便于编码和解码，num_3dv_layer_minus1的数字值比3DV层的实际数量小1。

如上注意的，“i”表示3DV层id编号。例如，3DV层id可以与以上在表1中定义的3DV层id对应。此处，在步骤2208，编码器300可以为要编码的3DV内容中采用的每种类型的3DV层设置并编码3DV层ID。由此，编码器300在循环2206中迭代地处理每个3DV层id，直至达到3DV内容的3DV视图中采用的3DV层的总数。

在循环2210中，如在循环2210的第一行注意的，编码器300在循环2210中连续地处理每个3DV层id以设置并编码每个参考画面列表类型0以及潜在的1的每个3DV层的3DV层间参考。例如，在步骤2212，编码器300可以设置并编码被分配了参考画面列表的3DV层(由“i”表示的)的参考画面列表0中的层间参考的总数(num_3dv_layer_refa_I0[i])。应注意，任何参考画面列表中的层间参考的数量依赖于采用的层间依赖性结构。例如，在图15的结构1500中，每个3DV层在被分配给3DV层的参考画面列表中至多具有一个层间参考。然而，可以采用其它层间依赖性或者预测结构，诸如以下关于实施例7在此讨论的结构。

在设置了参考画面列表‘0’中的3DV层‘i’的层间参考的总数之后，编码器300可以在步骤2216，设置并编码3DV层‘i’的参考画面列表‘0’的层间参考。具体地，编码器300可以在3DV层‘i’的参考画面列表‘0’中指定层间参考的3DV层id(3dv_layer_ref_I0[i][j])。在图22中，以及表13中，3DV层‘i’的参考画面列表‘0’中的层间参考可以由‘j’来表示，使得可以在循环2214中迭代步骤2216，直至已经达到了参考画面列表‘0’的3DV层‘i’的层间参考的总数为止。

编码器300可以进一步被配置为对3DV层‘i’的任何参考画面列表‘1’提供层间参考。然而，应理解，如果特定的3DV层‘i’不具有参考画面列表‘1’，可以跳过方法2200的以下步骤。如果3DV层‘i’具有参考画面列表‘1’，方法可以前进到步骤2218，其中编码器300可以设置并编码被分配了参考画面列表‘1’的3DV层i的参考画面列表1中的层间参考的总数(num_3dv_layer_refs_I1[i])。

在设置了参考画面列表‘1’中的3DV层‘i’的层间参考的总数之后，编码器300可以在步骤2222，设置并编码3DV层‘i’的参考画面列表‘1’的层间参考。具体地，编码器300可以在3DV层‘i’的参考画面列表‘1’中指定层间参考的3DV层id(3dv_layer_ref_I1[i][j])。类似于以上关于3DV层‘i’的参考画面列表‘0’提供的讨论，3DV层‘i’的参考画面列表‘1’中的层间参考可以由‘j’来表示，使得可以在循环2220中迭代步骤2222，直至已经达到了参考画面列表‘1’的3DV层‘i’的层间参考的总数为止。

另外，如上指示的，在循环2210，可以为要编码的3DV内容的3DV视图中采用的3DV层的每个层迭代步骤2212和2218以及循环2214和2220，直至已经处理的所有这样的层。

现在转到图23，描述了使用seq_parameter_set_3dv_extension()解码比特流中接收的SPS 3DV扩展的方法2300。方法2300可以开始于步骤2302，其中解码器400可以解码seq_parameter_set_mvc_extension()，其在更新的AVC草案中描述。

在步骤2304，解码器400可以解码并获得num_3dv_layer_minus1。如上述的，num_3dv_layer_minus1指示在3DV内容的3DV视图中采用的3DV层的总数。如上述的，num_3dv_layer_minus1的数字值比3DV层的实际数量小1。

如上注意的，“i”表示3DV层id编号。例如，3DV层id可以与以上在表1中定义的3DV层id对应。此处，在步骤2308，解码器400可以解码并获得3DV内容中采用的每种类型的3DV层的3DV层ID。由此，解码器400在循环2306中迭代地处理每个3DV层id，直至达到3DV内容的3DV视图中采用的3DV层的总数并且获得每个3DV层id。

在循环2310中，如在循环2310的第一行注意的，解码器400在循环2310中连续地处理每个3DV层id以解码并获得每个参考画面列表类型0以及潜在的1的每个3DV层的3DV层间参考。例如，在步骤2312，解码器400可以解码并获得被分配了参考画面列表的3DV层(由“i”表示的)的参考画面列表0中的层间参考的总数(num_3dv_layer_refs_I0[i])。应注意，任何参考画面列表中的层间参考的数量依赖于采用的层间依赖性结构。例如，在图15的结构1500中，每个3DV层在被分配给3DV层的参考画面列表中至多具有一个层间参考。然而，可以采用其它层间依赖性或者预测结构，诸如以下关于实施例7在此讨论的结构。

在获得了参考画面列表‘0’中的3DV层‘i’的层间参考的总数之后，解码器400可以在步骤2316，解码并获得3DV层‘i’的参考画面列表‘0’的层间参考。具体地，解码器400可以在3DV层‘i’的参考画面列表‘0’中获得层间参考的3DV层id(3dv_layer_ref_I0[i][j])。在图23中，以及表13中，3DV层‘i’的参考画面列表‘0’中的层间参考可以由‘j’来表示，使得可以在循环2314中迭代步骤2216，直至已经达到了参考画面列表‘0’的3DV层‘i’的层间参考的总数为止。

解码器400可以进一步被配置获得3DV层‘i’的任何参考画面列表‘1’的层间参考。然而，应理解，如果特定的3DV层‘i’不具有参考画面列表‘1’，可以跳过方法2300的以下步骤。如果3DV层‘i’具有参考画面列表‘1’，方法可以前进到步骤2318，其中解码器400可以解码并获得被分配了参考画面列表‘1’的3DV层i的参考画面列表1中的层间参考的总数(num_3dv_layer_refs_I1[i])。

在获得了参考画面列表‘1’中的3DV层‘i’的层间参考的总数之后，解码器400可以在步骤2322，解码并获得3DV层‘i’的参考画面列表‘1’的层间参考。具体地，解码器400可以在3DV层‘i’的参考画面列表‘1’中指定层间参考的3DV层id(3dv_layer_ref_I1[i][j])。类似于以上关于3DV层‘i’的参考画面列表‘0’提供的讨论，3DV层‘i’的参考画面列表‘1’中的层间参考可以由‘j’来表示，使得可以在循环2320中迭代步骤2322，直至已经达到了参考画面列表‘1’的3DV层‘i’的层间参考的总数为止。

另外，如上指示的，在循环2310，可以为3DV内容的3DV视图中采用的3DV层的每个层迭代步骤2312和2318以及循环2314和2320，直至已经处理的所有这样的层为止。由此，解码器400可以重构每个3DV层的(多个)参考画面列表以由此允许解码器400在解码画面期间确定接收的每个3DV层画面的层间参考。

应注意，在网络装置解析关于3DV层和预测结构的信息时，它可以在传输来自不同3DV层的NAL单元期间分配不同的优先级。因此，当发生拥塞时，可以丢弃来自“较高”3DV补充层(例如表1中较高的3DV层id)的一些NAL单元以缓解业务量。

实施例7：发信号通知3DV应用的参数的SPS的可替换的扩展

在某些实现方式中，因为使用的3DV层的潜在数量可能受到限制，并且继而，因为3DV层中的内容可能具有特定且一致的特征，用于编码和解码3DV的预测结构可以被预先配置并且对编码器和解码器二者是已知的。由此，不需要以显式方式，如例如在实施例6的表13，来发信号通知或者传递特定的预测或层间依赖性结构。相反，在实施例7中，层间预测结构可能对编码器和解码器二者是已知的，由此简化向解码器传递3DV的扩展的SPS。

为了提供简单的示例，采用如上定义的以下3DV层：2D视频层、深度层、遮挡视频层、遮挡深度层、以及透明层。

以下提供了根据各种实现方式的可以采用的预定义的层间预测结构的示例。然而，应理解，可以在其它实现方式中利用其它预定义的层间预测结构。在该结构中，对于2D视频层，不使用3DV补充层作为层间预测参考。对于深度层，2D视频层被用作层间预测参考。对于遮挡视频层，2D视频层和深度层被用作层间参考。对于遮挡深度层，2D视频层和深度层被用作层间参考。对于透明层，2D视频层和深度层被用作层间参考。

此处，在实施例7中，因为可以预定义层间预测结构，所以3DV的扩展的SPS可以简单地传递对于每个3DV视图是否存在每个层，如表14中所示。相应地，seq_parameter_set_3dv_extension()可以简单地采用用于每个可能的3DV层的标志来指示是否在3DV内容中的每个3DV视图中采用它们。因此，3DV的扩展的SPS不需要以任何显式方式来发信号通知或者传递层间预测结构。在一个实现方式中，层间预测结构是恒定的并且不能被改变。在另一实现方式中，层间预测结构使用表13来设置(例如，表12的初始出现，或者周期的出现)，并且否则表14用于传送扩展信息。应理解，表12-14可以依据设计选择每当需要时被重传到解码器，而在一个实现方式中，仅仅在存在对该信息的改变时被重传。

表14-seq_parmeter_set_3dv_extension()的第二实现方式

seq_parameter_set_3dv_extension(){	C	描述符
			seq_parameter_set_mvc_extension()
for(I＝0；i＜＝num_views_minus1；i++){
			video_layer_flag[i]	u(1)
depth_layer_flag[i]		u(1)
			occlusion_layer_video_flag[i]	u(1)
occlusion_layer_depth_flag[i]		u(1)
			transparency_layer_flag[i]	u(1)
}
			}

为了更好地说明在实施例7中可以怎样利用表14的seq_parmeter_set_3dv_extension()，参照分别图示编码2400和解码2500子集SPS 3DV的方法的图24和25。应理解，可以由编码器300来实现方法2400而可以由解码器400来实现方法2500。

方法2400可以开始于2402，其中编码器300可以编码seq_parmeter_set_mvc_extension()，其在更新的AVC草案中描述。编码器300然后可以执行循环2404，其中编码器300可以设置3DV层标志以指示对于特定的3DV视图‘i’是否存在相应的3DV层。例如，num_views_minus1指示在3DV内容中采用的3DV视图的总数。例如，在图10-12提供的示例中，采用了3个3DV视图(3DV视图0-3DV视图2)。为了便于编码和解码，num_views_minus1的数字值比3DV视图的实际数量小1。编码器300可以对于每个3DV视图‘i’迭代步骤2406-2414，直至到达了3DV内容中采用的3DV视图的总数。

具体地，在循环2404中，编码器300可以在步骤2406设置并编码2D视频层标志以指示在3DV视图‘i’中是否存在2D视频层，可以在步骤2408设置并编码(2D)深度层标志以指示在3DV视图‘i’中是否存在深度层，可以在步骤2410设置并编码遮视频层标志以指示在3DV视图‘i’中是否存在遮挡视频层，可以在步骤2412设置并编码遮挡深度层标志以指示在3DV视图‘i’中是否存在遮挡深度层，并且可以在步骤2414设置并编码透明层标志以指示在3DV视图‘i’中是否存在透明层。

现在转到使用表14解码子集SPS 3DV的方法2500，方法2500可以开始于2502，其中解码器400可以解码seq_parmeter_set_mvc_extension()，其在更新的AVC草案中描述。应注意，方法2500中的解码器400，可以接收依据方法2400由编码器300编码的比特流。解码器400还可以执行循环2504，其中解码器400可以解码3DV层标志以确定对于特定的3DV视图‘i’是否存在相应的3DV层。例如，如上关于方法2400讨论的，num_views_minus1指示在接收的3DV内容中采用的3DV视图的总数。解码器400可以对于每个3DV视图‘i’迭代步骤2506-2514，直至到达了3DV内容中采用的3DV视图的总数。

具体地，在循环2504中，解码器400可以在步骤2506解码并获得2D视频层标志以确定在3DV视图‘i’中是否存在2D视频层，可以在步骤2508解码并获得(2D)深度层标志以确定在3DV视图‘i’中是否存在深度层，可以在步骤2510解码并获得遮视频层标志以确定在3DV视图‘i’中是否存在遮挡视频层，可以在步骤2512解码并获得遮挡深度层标志以确定在3DV视图‘i’中是否存在遮挡深度层，并且可以在步骤2514解码并获得透明层标志以确定在3DV视图‘i’中是否存在透明层。

如上讨论的，解码器400可以重构每个3DV视图中每个3DV层的(多个)参考画面列表由此允许解码器400在解码画面期间为接收的每个3DV层画面确定层间参考。

附加实施例

现在参照图26和27，图示了编码和解码3DV内容的方法2600和2700。应理解，可以以方法2600和2700来实现或者利用它们来实现关于实施例的在此讨论的任一个或者多个方面及其组合。例如，如以下在此进一步讨论的，可以以方法2600和2700并且通过它们来实现采取单个或者任何组合形式的实施例1-3。此外，还应注意，图3的编码器300和图4的解码器400可以分别用于实现方法2600和2700。

方法2600可以开始于步骤2602，其中编码器300可以编码多个画面，其中该多个画面描述了在给定时间处的给定视图的不同的3D信息。例如，以上关于编码器300讨论的任一个或者多个层编码器可以用于实现依据实施例1，2和/或3的任一个或更多来实现编码多个画面。该多个画面可以是例如2D视频层画面和深度层画面。由2D视频层画面描述的3D信息可以是例如2D视频。类似地，由深度层画面描述的3D信息可以是例如深度信息。2D视频信息和深度信息均是给定时间处给定视图的3D信息的示例。

为了描述附加实施例的方法的目的，“画面”可以等效于如上关于各种实施例讨论的“帧”。此外，画面可以对应于如上讨论的任一个或更多3DV层。例如，2D视图1010和深度视图1008每一个可以构成单独的画面。另外，如上关于图11和/或图12讨论的任何2D视图层1118、1122、1136、1218、1222、1236和/或任何深度层1120、1124、1220、1224每一个可以构成单独的画面。另外，如上讨论的，未在图11和图12中显式图示的其它3DV补充层每一个也可以构成单独的画面。此外，如上讨论的任一个或者多个3DV视图可以构成给定时间处的给定视图，诸如如上关于图11和图12讨论的，在时间T0和T1处的3DV视图0、1和2。

在步骤2604，编码器300可以生成语法元素，所述语法元素对于编码的多个画面指示怎样将编码画面装配到支持3D处理的结构中，所述结构定义该多个画面的内容类型。例如，3DV参考缓冲器316可以依据任一个或更多实施例1、2和/或3生成语法元素。该语法元素例如可以是如上关于实施例1讨论的3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21。如上讨论的，根据实施例1、2和3的新颖的NAL单元可以为编码的3DV层指示怎样将每个层装配到支持3D处理的结构中，诸如图10的结构1000中。此外，新颖的NAL单元，诸如NAL单元16和21的使用，可以指示已经在比特流中使用了诸如图10中图示的3DV结构。如上注意的，结构1000可以定义不同内容类型，诸如不同类型的3DV层。应理解，结构可以对应于诸如图10所指示的一组3DV视图，和/或可以对应于3DV视图内的一组层。还应理解，编码器300可以使用不同编码的画面作为参考来编码一画面，由此提供不同内容类型的画面之间的层间编码。例如，使用图10作为示例，视图1004的深度视图可以依赖于并且参考不同层，诸如视图1004的2D视图，由此提供层间编码。另外，图10的编码结构可以被配置为使得视图1004的2D视图可以依赖于并且参考不同的层，诸如视图1006的深度层。层间编码的其它类型是可能的，如上指示的，并且可以由本领域普通技术人员在考虑此处提供的教导的情况下实现。

在步骤2606，编码器300可以生成包括编码的多个画面和语法元素的比特流，其中包括的语法元素在编码的比特流级别上提供了对结构中编码的多个画面之间的关系的指示。例如，3DV参考缓冲器316可以生成比特流318，其可以包括依据如上讨论的实施例1、2和/或3生成的任何编码的比特流。由此，该比特流可以包括多个编码的画面，诸如以上关于图10-12讨论的任何一个或更多层帧，并且还可以包括实施例1的任何一个或更多3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21，如上讨论的，这可以在编码比特流级别提供对结构中的编码的多个画面之间的关系的指示。例如，语法元素可以指示在图10的结构或者支持3DV内容的其它结构中的画面或层之间的依赖性和关系。例如，语法元素可以提供应怎样组合画面来生成3DV内容的指示。

应理解，依据各种实施例，编码器300的层编码器304-314的组可以被配置为执行步骤2602。此外，3DV参考缓冲器316和/或层编码器304-314可以被配置为执行步骤2604-2606中的一个或者多个步骤。编码器300可以替代地或者另外地包括被配置为至少执行方法2600的处理器。另外，实施例可以包括视频信号和/或视频信号结构，其被格式化为包括在步骤2602生成的多个编码画面，在步骤2604生成的语法元素，和/或在2606生成的比特流中包括的任何一个或更多元素，包括比特流自身。此外，实施例可以包括在其上存储了视频信号结构的处理器可读介质。另外，如上指示的，图7的调制器722可以被配置为调制视频信号。此外，实施例可以包括在其上存储了用于使得处理器至少执行方法2600的指令的处理器可读介质。

再次参照用于解码3DV内容的图27的方法2700，方法2700可以开始于步骤2702，其中解码器400可以从比特流访问编码的多个画面。该多个画面描述了在给定时间处的给定视图的不同的3D信息。例如，比特流可以对应于依据方法2600生成的比特流。如上关于方法2600讨论的，以上关于图11和/或图12讨论的任何2D视图层和/或任何深度层每一个可以构成单独的画面。另外，如上讨论的，未在图11和图12中显式图示的其它3DV补充层每一个也可以构成单独的画面。此外，如上讨论的任一个或者多个3DV视图可以构成给定时间处的给定视图，诸如如上关于图11和图12讨论的，在时间T0和T1处的3DV视图0、1和2。

在步骤2704，解码器400可以从比特流访问语法元素。所述语法元素对于编码的多个画面指示怎样将编码画面装配到支持3DV处理的结构中。所述结构提供了该多个画面之间的定义的关系。例如，3DV参考缓冲器414可以依据任一个或更多实施例1、2和/或3访问语法元素。该语法元素例如可以是如上关于实施例1讨论的3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21。如上讨论的，根据实施例1、2和3的新颖的NAL单元可以为编码的3DV层指示怎样将每个层装配到支持3D处理的结构中，诸如图10的结构1000中。此外，新颖的NAL单元，诸如NAL单元16和21的使用，可以指示已经在比特流中使用了诸如图10中图示的3DV结构。如上注意的，结构1000可以定义不同内容类型，诸如不同类型的3DV层。应理解，结构可以对应于如图10所指示的一组3DV视图，和/或可以对应于3DV视图内的一组层。还应理解，解码器400可以使用不同编码的画面作为参考来解码一画面，由此允许不同内容类型的画面之间的层间解码。例如，使用图10作为示例，视图1004的深度视图可以依赖于并且参考不同层，诸如视图1004的2D视图，由此允许层间解码。另外，图10的编码结构可以被配置为使得视图1004的2D视图可以依赖于并且参考不同的层，诸如视图1006的深度层。层间编码的其它类型是可能的，如上指示的，并且可以由本领域普通技术人员在考虑此处提供的教导的情况下实现。此外，如上关于实施例1-3讨论的，实施例1的任何一个或更多3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAl单元21可以通过使用3DV视图ID和3DV层ID来提供比特流的画面之间的定义的关系，如上讨论的。例如，解码器400可以被预先配置为依据诸如图10的结构1000之类的3DV结构来组合画面，并且可以使用3DV视图ID和3DV层ID来识别接收的那些画面对应于预定义结构中的不同层。

在步骤2706，解码器400可以被配置为解码所编码的多个画面。例如，解码器400可以使用如上例如关于图4和图6讨论的层解码器402-412来解码接收的画面。例如，解码器400可以使用由语法元素指示并且提供的定义的关系来呈现附加画面，所述附加画面参考一个或更多二维(2D)视频层画面、深度层画面、遮挡层画面，或者透明画面。例如，如上讨论的，图10的视图1004的深度视图可以依赖于并且参考不同层，诸如视图1004的2D视图，由此提供层间编码。由此，解码器400可以从一个或者多个各种不同层画面中呈现附加画面，诸如视图1004的深度视图。

在步骤2708，解码器可以以指示多个画面之间的定义关系的输出格式来提供解码的画面。例如，解码器400的3DV参考/输出缓冲器414可以输出依据3DV结构格式化的3DV内容。由此，该输出可以依据该结构向显示设备指示多个画面之间的关系以允许在显示设备上对3DV内容进行合适的显示并且使得用户能够观看3DV内容。具体地，该输出格式可以包括用于指定怎样将解码的画面装配到结构中的语法元素。这样的语法元素的示例可以包括实施例1的任何一个或更多3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21。

在执行了步骤2708之后，可以在解码器处执行可选的步骤2710-2714。实现方式可以执行作为步骤2708的一部分和/或作为步骤2706的解码的一部分的一个或更多步骤2710-2714。在各种实现方式中，可以在显示器处执行一个或更多步骤2710-2714，特别是步骤2714。

可选地，在步骤2710，解码器400可以使用语法元素从多个画面中识别2D视频画面。例如，通过解析用于编码3DV层所实现的实施例1的任何一个或更多3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21，解码器400可以识别2D视频画面或者层。解码器400可以进一步确定编码的画面中的哪些具有在以上被表示为‘0’的2D视图层ID，并且使用3DV视图ID来确定对应的3DV视图。

可选地，在步骤2712，解码器400可以使用语法元素从多个画面中识别深度画面。例如，通过解析用于编码3DV层所实现的实施例1的任何一个或更多3DV前缀单元16，实施例2的NAL前缀单元14和/或NAL单元20，和/或实施例3的NAL单元21，解码器400可以识别深度画面或者层。另外，解码器400可以确定编码的画面中的哪些具有在以上被表示为‘1’的深度层ID，并且使用3DV视图ID来确定对应的3DV视图。应注意，依据各种实施例，可以使用语法元素来识别其它3DV补充层。

可选地，在步骤2714，解码器400可以基于2D视频画面和深度画面呈现附加视图的新的画面。例如，识别的画面或者视图可以对应于图10的2D视图1010和深度视图1008。另外，依据以上关于图10提供的描述，3D视图1004和1006例如可以通过使用3DV基本视图1002的2D视图1010和深度视图1008作为参考来呈现。类似地，依据以上关于图10提供的描述，3DV视图1006的2D视频层和深度层可以用作呈现3DV视图1004的参考。

应理解，依据各种实施例，解码器400的层解码器402-412的组可以被配置为执行步骤2702和2706。此外，3DV参考缓冲器414和/或层解码器402-412可以被配置为执行步骤2704和2708中的一个或者多个步骤。解码器400可以替代地或者另外地包括被配置为至少执行方法2700的处理器。另外，如上指示的，图8的解调器822可以被配置为解调视频信号，所述视频信号包括在步骤2702中从其中访问多个编码画面的比特流。此外，实施例可以包括在其上存储了用于使得处理器至少执行方法2700的指令的处理器可读介质。

现在参照图28，图示了构建参考画面列表的方法2800。应理解，可以在方法2800中实现或者以方法2800来实现关于实施例的在此讨论的任何一个或者多个方面以及其组合。例如，如以下在此进一步讨论的，可以在方法2800中或者以方法2800来实现实施例4。另外，实施例1-3以及5-7中的任何一个或者多个可以与实施例4进行组合并且在方法2800中或者以方法2800来实现。此外，还应注意，图3的编码器300和/或图4的解码器400可以用于实现方法2800。另外，尽管方法2800描述了构建用于画面的参考画面列表，但这种参考列表可以被构建用于画面的序列，用于在多个视图上的一组画面或者用于画面的子集，如以上关于实施例4讨论的。

方法2800可以开始于可选步骤2802，其中编码器300或者解码器400可以基于用于画面的依赖性信息确定用于画面的层间参考。例如，如以上讨论的，解码器400可以从接收的用于传递序列参数集(SPS)的语法元素中提取和解码该依赖性信息。继而，对于编码器300，该依赖性信息可以与在SPS中包括的编码器300的依赖性信息相同，如上例如关于实施例5-8讨论的。例如，编码器300可以从在编码器上存储的配置文件中获得依赖性信息。应理解，该依赖性信息可以包括指示怎样预测性地编码不同画面和画面类型的时间依赖性、视图间依赖性和层间依赖性中的任何一个或更多。由此，基于该依赖性信息，编码器300或解码器400可以确定对其正在构建参考画面列表的画面的层间参考。另外，该层间参考可以符合以上关于实施例4讨论的层间参考。例如，该层间参考可以对应于以上关于图15讨论的结构中的任何一个或更多。

在步骤2804，编码器300或解码器400可以确定层间参考相对于画面的一个或者多个其它参考的优先级。例如，编码器300或解码器400可以被配置为应用优先级方案而排列参考画面列表中的画面的优先级。例如，如以上关于实施例4讨论的，参考列表中的画面可以依据对其构建参考画面列表的画面关于在其参考画面列表中列出的画面具有的冗余性程度进行排序/排列优先级。例如，如以上关于深度画面讨论的，期望层间参考与参考列表中的时间参考和视图间参考相比具有最低冗余性。因此，层间参考具有比时间和视图间参考更低的冗余。应注意以上关于实施例4中的不同3DV层类型提供的任何优先级此处可以在步骤2804中应用。然而，还应理解，依据在此描述的各个方面还可以采用不同的优先级。例如，优先级可以依据画面参考和与用于3DV内容的参考画面列表相关联的画面之间的实际冗余性而变化。例如，冗余性可以基于组成3DV内容的画面或层的测量来确定并且优先级方案可以被调整为反映测量的冗余性等级使得具有与参考列表相关联的画面有较高冗余性的参考画面比具有较低冗余性的参考画面被给予较高的优先级。此外，在其它方面或者实施例中，可以将这种优先级方案设计为针对每个画面或者参考画面列表而不同。

在步骤2806，编码器或者解码器400可以在基于优先级的排序的画面的参考列表中包括层间参考。例如，可以在具有较高优先级的其它参考画面之后或者在列表的结尾处包括具有较低或者最低优先级的层间参考画面。反过来，可以在具有较低优先级的其它参考画面之前或者在列表的开始处包括具有较高或者最高优先级的层间参考画面。这种参考可以包括如上讨论的时间和/或视图间参考。如上指示的，可以依据用于编码器实现方式的方法1600或者用于解码器实现方式的方法1700在参考的列表中包括层间参考。此外，如以上关于步骤2804讨论的，可以依据其它优先级方案在参考列表中包括层间参考。应注意，可以基于期望的用途来对列表进行排序以及排列优先级使得较小的索引可以用于更常用的参考并且可以在传输时节约比特。

在可选步骤2808，编码器或者解码器400可以在涉及画面的编解码操作中使用层间参考。例如，编码器300可以执行预测编解码操作以使用层间参考作为参考画面而编码对其构建参考列表的画面。反过来，解码器400可以执行预测解码操作以使用层间参考作为参考画面来解码对其构建了参考列表的画面。因此，可以至少部分地基于层间参考来编码或解码画面。

可选地，在步骤2810，编码器300或解码器400可以生成包括编解码画面的比特流。例如，编码器300可以依据以上关于图3和图5提供的讨论在比特流318中包括编码的画面。另外，解码器400可以依据以上关于图4和图6提供的讨论在比特流416中包括解码的画面。

此后，该方法可以结束或者可以重复使得编码器300或者解码器400可以为另一画面生成参考画面列表或者可以对相同的画面生成第二参考画面列表，如果该画面是B画面。

一个实现方式仅仅执行步骤2804和2806。可以提供层间参考，例如，该实现方式确定该层间参考的优先级。该实现方式然后基于所确定的优先级在排序的列表值包括该层间参考。

转到步骤2802，可选地，步骤2802可以包括在图29中提供的用于处理2D视频层画面的方法2900性能。例如，方法2900可以开始于步骤2902，其中，编码器300或解码器400可以确定对其构建参考画面列表的画面是否是2D视频层画面。如果该参考不是2D视频层画面，则该方法可以前进到方法2800的步骤2804。否则，该方法可以前进到步骤2904，其中编码器300或解码器400可以从参考画面列表中排除任何层间参考。例如，如以上关于实施例4讨论的，限制使用2D视频层的层间参考可以使得常规的MVC提取3DV内容并且格式化该内容用于显示。其后，该方法可以前进到方法2800的步骤2804。

还可以修改步骤2904以从正在用作2D视频层的参考中仅仅排除深度层。这种实现方式可以例如依靠作为2D视频层的层间参考的遮挡视频层。

应理解，依据各种实施例，可以配置一组层间编解码器，诸如解码器400的层间解码器402-412或者编码器300的层间编码器304-314，来执行步骤2808和步骤2810。此外，可以配置3DV参考缓冲器414、3DV参考缓冲器316，和/或层间编解码器来执行步骤2802-2806以及2810中的任一个或者多个。编码器300或者解码器400可以替代地或者另外地包括被配置为至少执行方法2800的处理器。此外，实施例可以包括其上存储了用于促使处理器至少执行方法2800的指令的处理器可读介质。

现在参照图30和31，图示了用于编码和解码3DV内容使得传递3DV层间依赖性结构的方法3000和3100。应理解，可以在方法3000和3100中实现或者以方法3000和3100来实现关于各种实施例的在此讨论的任何一个或者多个方面以及其组合。例如，如以下在此进一步讨论的，可以在方法2600和2700中或者以方法2600和2700来实现实施例5-7。另外，还应注意，图3的编码器300和图4的解码器400可以用于分别实现方法3000和3100。

方法3000可以开始于步骤3002，其中编码器300生成指示3DV层之间的层间依赖性结构的语法元素。例如，可以如上关于实施例5-7中的任何一个或更多讨论的来生成语法元素。例如，可以采用NAL单元17作为语法元素来传递互相依赖性结构，如以上关于实施例5讨论的。此外，可以如以上关于实施例6和7以及关于表13和14所讨论的来传递互相依赖性结构。例如，可以采用方法2000、2200和2400中的任何一个或更多来传递互相依赖性结构。例如，语法元素可以显式地传递层间依赖性结构，如上关于实施例6讨论的，或者语法元素可以使用3DV层id通过传递对每个3DV视图是否存在特定的3DV层来指示层间依赖性结构，其中层间依赖性是预先定义的，如以上关于实施例7所讨论的。另外，层间依赖性结构可以对应于许多不同层间依赖性结构中的一个。例如，层间依赖性结构可以对应于以上关于图15描述的以及以上关于实施例7讨论的那些。此外，如上述的，可以在NAL单元首标、SPS、PPS、SEI或者码片首标中的任何一个或更多中提供层间依赖性结构。此外，编码器300可以通过构建并采用参考画面列表来生成语法元素，例如以上关于实施例4所讨论的。

在步骤3004，编码器300可以基于层间依赖性结构从3D层的层中识别层间参考。例如，如果层间依赖性结构对应于以上关于图15描述的结构，为编码深度层画面，编码器300可以采用可以在步骤3002中构建的参考画面列表来确定用于深度层画面的层间参考是与该深度层画面相同的视图或者3DV视图中的2D视频层画面。如上注意的，互相依赖性结构可以变化并且可以包括许多不同类型的层，诸如2D视频层，深度层，遮挡视频层，遮挡深度层和透明层，以及其它具有不同互相依赖性的层，包括例如，不同3DV视图之间的互相依赖性。

在步骤3006，编码器300可以至少部分地基于层间参考来编码画面。例如，编码器300可以使用编码器304-314如以上关于图3和图5讨论的来编码画面。此处，再次使用结构1500和深度层作为示例，深度层可以至少部分地基于2D视频层来编码，如上所讨论的。

在可选步骤3008，编码器300可以生成包括编码的画面的比特流。例如，编码的比特流可以如以上关于图3和图5讨论的而生成并且可以对应于例如比特流318.

在可选步骤3010，编码器300可以提供编码的画面和用于在解码所编码的画面中使用的语法元素。例如，语法元素和编码的画面可以经由比特流318传输给解码器400。可替换地，语法元素可以在与用于传输3DV数据内容的比特流分开的比特流中进行传输。由此，图3中的比特流318可以表示两个分离的对应比特流。可替换地，可以单独地传输不同的比特流。例如，一个比特流可以在经由电缆网络被传输给解码器400，而另一个比特流可以无线地被传输给解码器400。另外，语法元素可以用于解码所编码的画面，如以下关于方法3100在此讨论的。

应理解，依据各种实施例，编码器300的层编码器304-314的集合可以被配置为执行步骤3006。此外，3DV参考缓冲器316和/或层编码器304-314可以被配置为执行步骤3002、3004、3008和3010中的一个或更多。编码器300可以替换地或另外包括被配置为执行至少方法3000的处理器。另外，实施例可以包括被格式化为包括依据方法3000生成的编码画面、语法元素和/或比特流的视频信号和/或视频信号结构。此外，实施例可以包括其上存储了视频信号结构的处理器可读介质。另外，如上指示的，图7的调制器722可以被配置为调制视频信号。此外，实施例可以包括在其上存储了用于使得处理器至少执行方法3000的指令的处理器可读介质。

一个实现方式仅仅执行步骤3002-3006。该实现方式生成用于识别画面的层间参考的语法元素并且然后至少部分地基于所识别的层间参考来编码画面。在该情形下，该实现方式不需要生成包括编码的画面的比特流或者提供编码画面和用于解码的语法元素。

再次参照用于解码3DV内容的图31的方法3100，方法3100可以开始于步骤3102。解码器400可以从比特流中访问编码的画面，其中该画面描述在给定时间处来自给定视图的特定的3DV层的3DV信息。例如，编码画面可以对应于以上讨论的任何一个或更多3DV层。例如，2D视图1010和深度视图1008每一个可以构成单独的画面。另外，如上关于图11和/或图12讨论的任何2D视图层1118、1122、1136、1218、1222、1236和/或任何深度层1120、1124、1220、1224每一个可以构成单独的画面。另外，如上讨论的，未在图11和图12中显式图示的其它3DV补充层每一个也可以构成单独的画面。此外，如上讨论的任一个或者多个3DV视图可以构成给定时间处的给定视图，诸如如上关于图11和图12讨论的，在时间T0和T1处的3DV视图0、1和2。此外，编码画面可以是由方法3000生成的编码画面。

在步骤3104，解码器400可以访问为一组包括特定3DV层的3DV层指示层间依赖性结构的语法元素。例如，NAL单元17可以是指示互相依赖性结构的语法元素，如上关于实施例5所讨论的。此外，可以如以上关于实施例6和7以及关于表13和14所讨论的来指示或传递互相依赖性结构。例如，可以采用方法2000、2200和2400中的任何一个或更多来传递或指示互相依赖性结构。

例如，语法元素可以显式地传递层间依赖性结构，如上关于实施例6讨论的。或者语法元素可以使用3DV层id通过传递对每个3DV视图是否存在特定的3DV层来指示层间依赖性结构，其中层间依赖性是预先定义的，如以上关于实施例7所讨论的。另外，层间依赖性结构可以对应于许多不同层间依赖性结构中的一个。例如，层间依赖性结构可以对应于以上关于图15描述的以及以上关于实施例7讨论的那些。此外，如上述的，可以从NAL单元首标、SPS、PPS、SEI或者码片首标中的任何一个或更多中获得层间依赖性结构和语法元素。此外，解码器可以访问语法元素，例如如以上关于方法2100、2300和2500中的任何一个或者多个所讨论的。

在步骤3106，解码器400可以至少部分地基于层间依赖性结构来解码所编码的画面。例如，解码器400可以如以上关于图4和图6所讨论的来解码所编码的画面。此外，解码器400可以使用语法元素来构建并采用一个或者的参考画面列表以便解码所编码的画面，例如如以上关于实施例4所讨论的。由此，解码器400可以为预测编码目的确定编码的画面的参考并且可以至少部分地基于其参考来解码画面。

在可选步骤3108，解码器400可以以指示层间依赖性结构的输出格式来提供解码的画面。例如，解码器400的3DV参考/输出缓冲器414可以输出依据层间依赖性结构格式化的3DV内容。由此，该输出可以依据该结构向显示装置指示多个画面之间的关系以允许在显示装置上对3DV内容进行合适的显示并且使得用户能够观看3DV内容。具体地，该输出格式可以包括用于指定怎样将解码的画面装入结构中的语法元素。这样的语法元素的示例可以包括如上讨论的NAL单元17。

应理解，依据各种实施例，解码器400的层解码器402-412的集合可以被配置为执行步骤3106。此外，3DV参考缓冲器414和/或层解码器402-412可以被配置为执行步骤3102、3104、3108中的一个或更多。解码器400可以替换地或另外包括被配置为执行至少方法3100的处理器。另外，如上所指示的，图8的解调器822可以被配置为解调在步骤3102中从中访问多个编码画面的比特流的视频信号。此外，实施例可以包括在其上存储了用于使得处理器至少执行方法3100的指令的处理器可读介质。

应理解，以上讨论的实施例可以通过本领域技术人员在考虑到此处提供的教导的情况下以各种方式进行组合。例如，现在参照图32，图示了合并来自以上讨论的若干实施例的特征的NAL单元流3200。此处，流3200可以包括用于MVC的子集序列参数集的NAL单元15(3202)，如以上在表3中提供并且在AVC草案中定义的。另外，流3200可以进一步包括指示至少一个层间依赖性结构的、用于3DV的扩展的SPS的NAL单元17，如以上关于实施例5-7讨论的。此处，为了简明的目的，在流3200中采用图10中示出的层间依赖性结构。

类似于图11和图12，图32提供了分别与时间T0和时间T1对应的3DV视图的组。以上讨论的图11和图12的截断也应用于图32并且图32的箭头指示NAL单元的传输顺序，类似于图11和12的箭头。当然，图32是流3200的小的节选。在实际应用中，流3200可能包括用于众多不同时间实例的许多NAL单元。另外，三个3DV视图的使用是一示例并且在解码器处可以采用和/或呈现许多视图，如熟悉MVC的本领域技术人员所理解的。此外，每个视图两个3DV层的使用也是一示例并且应理解可以采用若干另外的3DV层，如以上详细讨论的。

在流3200的节选中，三个3DV视图3206、3208和3210对应于时间T0，而三个3DV视图3212、3214和3216对应于时间T1。类似于图11和图12，3DV视图0(3206，3212)可以对应于图10中的基本视图1002，而3DV视图2(3208，3214)以及3DV视图1(3210，3216)可以分别对应于图10的P视图1006和B视图1004。3DV视图3206可以包括组成2D视频层3218的NAL单元16(3220)、14(3222)和5(3224)。如上讨论的，NAL单元5包括瞬时解码刷新(IDR)画面的编解码码片的视频数据并且仅由帧内码片或SI码片组成，如AVC草案中定义的。另外，NAL单元14可以包括用于表示作为依据MVC的其它视图的基本层的2D视频层3218的参考作为MVC前缀。在另一实现方式中，其中使用立体简档，可以省略NAL单元14和17。

NAL单元16例如可以包括3DV视图ID和3DV层ID，如上关于实施例1讨论的。此处，解码器400例如可以使用3DV视图ID和3DV层ID来识别用于其它深度层或者用于其它3DV层的层间参考的2D视频层3218。如在图32中示出的，3DV视图3206还包括由NAL单元21(3228)组成的深度层3226，如以上关于实施例3描述的。如以上关于实施例3讨论的，除了在MVC NAL单元首标扩展中提供的其它信息以外，NAL单元21还可以包括3DV视图ID和3DV层ID。

如以上关于实施例4-7所讨论的，解码器400可以使用在SPS中提供的信息，诸如由NAL单元17提供的层间依赖性结构，来重构参考画面列表，并且使用该参考画面列表来合适地解码3DV内容。例如，基于3DV视图ID和3DV层ID，解码器400可以在SPS中传递的层间依赖性结构中确定对应的层(在该情形下，深度层3226)的作用。此处，3DV视图ID和3DV层ID可以指示2D视频层3218可以被用作解码深度层3226的参考。

也如在图32中示出的，时间T0的其它每个3DV视图由分别对应于3DV视图中的2D视频层和深度层的NAL单元20和21组成。视图3208和3210内的NAL单元可以具有与视图1206和1208中的NAL单元的功能相同的功能，如以上关于图12所讨论的。类似地，时间T1的3DV视图的集合在本质上是以与时间T0的3DV视图集合相同的方式构建的，除了利用3DV视图3212中的NAL单元1取代了3DV视图3206中的NAL单元5。如以上关于实施例3讨论的，NAL单元1包括非IDR画面的编解码码片的视频数据。

现在参照图33，图示了提供采用层间依赖性结构管理网络通信量的系统3300。系统3300可以包括以上关于图7和图8描述的传输系统/装置700和接收系统/装置800。具体地，传输系统/装置700的编码器710可以由以上关于此处描述的各种实现方式讨论的编码器300来实现。类似地，传输系统/装置800的编码器解码器820可以由以上关于此处描述的各种实现方式讨论的解码器400来实现。在图33中，系统3300的输入和输出被列为“(多个)输入视频”和“输出视频”。应清楚，至少在该实现方式中，这些指代包括多个层的3D视频。

系统3300还可以包括在传输系统/装置700和接收系统/装置800之间的网络3350中提供的网络设备/系统3301。网络3350可以是例如有线的网络，诸如因特网、广域网或者局域网(LAN)，或者无线网络，诸如无线蜂窝网络或者无线LAN。继而，网络设备3301可以被实现为有线网络中的路由器或者无线网络中的基站。如图33中图示的，网络设备3301可以包括解析器3302、控制器3304、网络通信量监视器3306和转发模块3308。另外，网络设备3301的每个元件可以被实现为硬件元件或者软件和硬件的组合。网络设备3301和其元件的功能在以下关于可以由网络设备3301实现的图34的方法3400而更详细地描述。

继续参照图33，参照图34，提供了管理网络资源的方法3400。方法3400可以开始于步骤3402，其中解析器3302可以解析接收的用于指示3DV层的层间依赖性结构的语法元素，以基于该结构对于3DV层的至少一子集确定转发优先级。例如，语法元素可以是在从传输系统/装置700接收的NAL单元17中，其可以指示依据例如表13或14，如以上关于实施例5-7讨论的层间依赖性结构。

此处，解析器3302可以依据如在层间依赖性结构中指示的3DV层的重要性来确定转发优先级。例如，3DV层id可以被配置为使得最小的编号对应于最高优先级，而最大的编号对应于最低优先级。如果采用图15的互相依赖性结构和表1的3DV层标识符，解析器3302可以基于3DV层标识符确定2D视频层具有最高优先级，深度层具有下一最高优先级，等等。具体地，可以依据其提供3DV内容的贡献的重要性来排序3DV层标识符。例如，参照图2，2D视频的深度层204可以被考虑得比遮挡视频层206或者遮挡深度层208更重要，这是因为其对视图中的主要对象提供三维效果，而遮挡视频层206或遮挡深度层208不能这样。可以应用确定不同3DV层之间的重要性的变型。

例如，一个变型可以是依据层在层间依赖性结构中具有的参考的数目或者参考画面列表中可以包括的特定层的数目以层的优先级为基础。例如，响应于确定层间依赖性结构和/或对应的层间参考，解析器3302可以向最多数层参考的层分配最高优先级，而向最少数层参考的层分配最低优先级。例如，在图15的层间依赖性结构中，2D视频层可能具有最高优先级，这是由于它被三个层参考，而被一个层参考的深度层将具有下一最高优先级，等等。

其它变型可以针对依据用于合适地编码/解码层所采用的参考的数量而对3DV层进行排序。例如，在以上关于实施例7所描述的互相依赖性结构中，可以向遮挡视频层、遮挡深度层，以及透明层给予最低优先级，这是因为它们每一个采用两个(层间)参考，可以向深度层给予下一更高优先级，这是因为它采用一个(层间)参考，并且可以向2D视频层给予最高优先级，这是因为它不采用任何(层间)参考。

此外，可以应用不同的组合来确定优先级。例如，可以使用考虑到在呈现3D视图时给定的层的重要性和参考该给定层的层的数量二者的加权函数来确定转发优先级。另外，应理解，可以考虑除了层间参考之外的其它类型的参考。例如，上述的优先级确定可以进一步考虑特定层依赖的时间参考和视图间参考。由此，可以将上述的推理应用到任何类型的参考和/或参考的组合，诸如时间参考和视图间参考，和/或层间参考。

在步骤3404，解析器3302可以接收用于构建3DV层的数据单元。例如，再次参照图11，解析器3302可以接收所采用的用于构建2D视频层1118的NAL单元16、14和5。解析器3302还可以接收用于构建深度层1120的NAL单元16和20，等等。

在步骤3406，网络通信量监视器3306可以测量网络3350上的通信量/网络拥塞。如本领域技术人员理解的，此处可以采用各种已知的网络通信量监视器。

在步骤3408，基于从网络通信量监视器3306接收的拥塞测量，控制器3304可以确定在步骤3406测量的网络通信量是否满足第一拥塞阈值。应注意，此处，可选地，可以依据所确定的转发优先级，采用多种不同的拥塞阈值并且将其与3DV层相关联，如上述的，所述转发优先级可以基于层间依赖性结构。例如，可以对呈现3DV内容所采用的每一个3DV层或者对每个可丢弃的3DV层使用一个拥塞阈值。例如，再次参照表1，如果如以上关于步骤3402所讨论的，依据3DV层ID编号来确定转发优先级，则第一阈值可以与透明层相关联，对应于比第一阈值高级别的网络拥塞的第二阈值可以与遮挡深度层相关联，对应于比第一和第二阈值更高级别的网络拥塞的第三阈值可以与遮挡视频层相关联，等等。

由此，如果满足第一拥塞阈值，则在步骤3412，控制器3304可以丢弃在步骤3404接收的用于具有最低优先级的3DV层的单元或者NAL单元，以及可以引导转发模块3308将用于剩余3DV层的单元(如果不满足下一阈值)转发到接收系统装置800。如果不满足第一拥塞阈值，则转发模块3308在控制器3304的引导下，可以在步骤3410转发用于所有3DV层的单元。应理解，可以对N个3DV层的每一个重复阈值确定。例如N个层可以对应于一个或更多视图内用于呈现3DV内容采用的层的数量。同样，可以对每个阈值重复阈值确定并且可以依赖于结果进行单元丢弃和转发决定。

例如，如果在步骤3412之后，不满足第二阈值，则可以通过转发模块3308在步骤3412将用于N-1个3DV层的单元转发给接收单元800。可替换地，如果在步骤3412，控制器3304确定满足第一N-2个阈值，则该方法可以前进到步骤3414，其中控制器3304可以确定是否满足第(N-1)个拥塞阈值。如果不满足第(N-1)个拥塞阈值，则转发模块3308在控制器3304的引导下，可以在步骤3416转发用于具有最高两个优先级的3DV层的单元。另外，在步骤3416，控制器3304可以丢弃N-2最低优先级3DV层，这是由于N-2最低优先级3DV层已经满足了阈值。如果满足第(N-1)个拥塞阈值，则转发模块3308在控制器3304的引导下可以在步骤3418转发具有最高优先级的3DV层的单元。另外，控制器3304可以丢弃(N-1)最低优先级3DV层的单元。相应地，方法3400可以前进通过阈值确定，使得当满足第M个阈值并且不满足第(M+1)个阈值时，例如用于M最低优先级3DV层的NAL单元被丢弃并且剩余的较高优先级层的单元被转发。应注意，在该示例，仅仅考虑N-1个阈值以确保至少最高优先级层不被丢弃来确保接收装置/系统800可以至少解码一些内容。然而，可以采用方法3400的变型。还应注意，可以周期性地重复方法3400的一个或更多步骤以考虑网络拥塞的任何改变。

应清楚，除了方法3400以外，其它实现方式是可行的。一种这样的实现方式是更通用的并且包括访问指示三维视频(3DV)层之间的层间依赖性结构的语法元素。如在步骤3402中所示的，可以例如通过解析接收的语法元素来执行该访问。

实现方式还基于结构来确定3DV层的特定3DV层的传输优先级。传输优先级可以例如是与转发来自流的画面(或者画面的一部分)或者丢弃画面(或者画面的一部分)有关的优先级。可以通过确定有多少层使用该特定的3DV层作为参考(层间参考、视图间参考，和/或时间参考)来确定传输优先级。

该实现方式还确定是否传输属于该特定3DV层的编码数据。确定是否进行传输是基于所确定的特定3DV层的传输优先级以及基于网络拥塞的指示。例如，如在步骤3406中确定网络拥塞。网络拥塞的指示可以包括例如，指示是否已经满足一个或更多拥塞阈值的标志(或者一组标志)，如在步骤3408和3414。其它指示符可以包括例如网络活动的量度(吞吐量率、误码率、重传请求的数量或者速率、应答的数量或者速率，等等)。

另一实现方式访问这种传输优先级，并且基于所访问的用于特定3DV层的传输优先级和基于网络拥塞的指示来确定是否传输属于特定3DV层的编码数据。然而，该实现方式不需要访问指示3DV层的层间依赖性结构的语法。该实现方式也不需要基于层间依赖性结构来确定传输优先级。

还应清楚，传输优先级可以整个地或者部分地基于其它信息。这种信息可以包括例如与AVC、MVC或者SVC系统有关的时间级ID、优先级ID，或者视图ID。

因此通过一个或更多具有特定特征和方面的实现方式。然而，所描述的实现方式的特征和方面还可以适配于其它实现方式。

在本申请中描述的若干实现方式和特征可以用于H.264/MPEG-4AVC(AVC)标准，或者具有MVC扩展的AVC标准，或者具有SVC扩展的AVC标准的背景下。另外，实现方式可以用于来自以下的编码标准或者编码建议的背景中：(a)MPEG和ITU-T的视频编码联合协作组(JCT-VC)，(b)来自MPEG的高性能视频编码组，(c)来自ITU-T的视频编码专家组(VCEG)的下一代视频编码组，(d)来自MPEG的3D视频编码组，(e)与MPEG或ITU-T中的一个或更多相关联的任何其它组，或者(f)由公司开发的标准(专有的或者公用的)。然而，这些实现方式和特征可以用于另一标准(现有的或者将来的)的背景下，或者不涉及标准的背景下。

此外，实现方式可以使用各种技术来发信号通知信息，所述各种技术包括但不限于，SEI消息、码片首标、其它高级语法、非高级语法、带外信息、数据流数据，和隐式的信令。相应地，尽管可以在特定的背景下描述此处所描述的实现方式，但这种描述绝不应被作为将所述特征和构想限制于这样的实现方式或者背景。

另外，可以在以下中的一个或者多个中实现许多实现方式：编码器、解码器、处理来自解码器的输出的后处理器，或者向编码器提供输入的预处理器。此外，通过本公开可设想到其它实现方式。

说明书中对于“一个实施例”或者“一实施例”或“一个实现方式”或“一实现方式”以及其其它变型的引用意味着连同实施例描述的特定的特性、结构、特征，等等被包括在至少一个实施例中。由此，贯穿本说明书的各个位置中出现的在“一个实施例中”或在“一实施例”或者在“一实现方式”或在“实现方式”以及任何其它变型中出现的短语不是必须都指代相同的实施例。

要理解的是以下“/”，“和/或”，以及“至少一个”中任一个的使用，例如，在“A/B”，“A和/或B”以及“A和B中的至少一个”的情形下，旨在包括仅选择列出的第一选项(A)、仅选择列出的第二选项(B)，或者选择两个选项(A和B)。作为另一个例子，在“A、B，和/或C”和“A，B和C中的至少一”以及“A，B或C中的至少一个”的情形下，这样的短语旨在包括仅选择列出的第一选项(A)、仅选择列出的第二选项(B)、或者仅选择列出的第三选项(C)、或仅选择列出的第一选项和第二选项(A和B)、或仅选择列出的第一选项和第三选项(A和C)、或仅列出的第二选项和第三选项(B和C)，或者选择所有的三个选项(A和B和C)。如本领域和相关领域的普通技术人员易于清楚的，这可以被扩展用于所列出的许多条目。

另外，如在此使用的，单词“画面”和“图像”被可互换地使用，并且指代例如来自静态图像的全部或者一部分(局部)或者来自视频序列的画面的全部或者一部分(局部)。更一般地，画面例如指代画面或者视频数据的任何集合。画面可以是例如像素、宏块、码片、帧、场、全画面、界定画面中的对象的区域、画面的前景、画面的背景，或者画面中特定的(x，y)坐标组。类似地，画面的“局部”可以是例如像素、宏块、码片、帧、场、界定画面中的对象的区域、画面的前景、画面的背景，或者画面中特定的(x，y)坐标组。作为另一示例，深度画面(深度图)可以是例如完整的深度图或者仅包括例如用于对应的视频帧的单个宏块的深度信息的局部深度图。

另外，本领域技术人员将理解，层(或“视频”或“图像”或“画面”)可以指代各种视频分量的任一种或者它们的组合。这种分量或者它们的组合包括例如，亮度、色度、(YUV或YCbCr或YPbPr或YPcPr的)Y、(YUV的)U、(YUV的)V、(YCbCr的)Cb、(YCbCr的)Cr、(YPbPr的)Pb、(YPbPr或YPcPr的)Pr、(YPcPr的)Pc、(RGB的)红色，(RGB的)绿色，(RGB的)蓝色，S视频、以及这些分量的任一种的负值或正值。此外，这些不同类型的分量可以用于描述的实现方式。例如，YUV组分量可以用于所描述的一个或更多实现方式，并且在典型的实现方式中在宏块级上进行组合。另外，其它画面类型可以用于此处描述的实现方式和特征。这种其它画面类型可以包括例如包含除2D视频、深度、遮挡或者背景、透明或者边缘不连续性之外的信息。

另外，本申请或者其权利要求中可以引用“确定”各种信息。确定信息可以包括例如以下中的一个或更多：估计信息、计算信息、预测信息、从数据列表或者其它组中识别信息，或者从存储器中检索信息。

类似地，“访问”意图是宽泛的用语。访问信息可以包括任何操作，例如，使用、存储、发送、传送、接收、检索、修改、解析，或者提供信息。

许多实现方式引用“参考”。“参考”可以是将例如来自参考的基于像素的差分用于预测源的传统的参考。参考还可以或者可替换地用于以不同方式来预测源。例如，在一个实现方式中，边缘位置或者边缘不连续性的量度被用于预测源。通常，可以从参考中借用任何信息来辅助预测源。已经给出诸如像素值、边缘位置，和边缘不连续的量度之类的信息的示例，但是其它类型的信息也是可行的。

在此描述的实现方式可以在例如方法或处理，装置、软件程序、数据流，或者信号中实现。即使仅仅在实现方式的单一形式的背景下进行讨论(例如，仅仅作为方法讨论)，但所讨论的特征的实现方式还可以在其它形式中实现(例如，装置或者程序)。装置可以在例如合适的硬件、软件和固件中实现。方法可以在例如诸如例如处理器的装置中实现，所述处理器通常指代处理装置，包括例如计算机、微处理器、集成电路，或者可编程逻辑器件。处理器还可以包括通信装置，诸如，例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及其它便于在终端用户之间交互信息的装置。

在此描述的各种处理和特征的实现方式可以在各种不同的设备或者应用中体现，具体地，例如与数据编码和解码相关联的设备或者应用。这种设备的示例包括：编码器、解码器、处理来自解码器的输出的后处理器，或者向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA，以及其它通信装置。如应清楚地，该设备可以是移动的并且甚至被安装在移动车辆上。

另外，可以通过由处理器执行的指令来实现所述方法，并且这种指令(和/或由实现方式产生的数据值)可以被存储在处理器可读介质上，诸如，例如，集成电路、软件载体或者其它存储装置上，诸如例如，硬盘、致密盘、随机存取存储器(“RAM”)，或者只读存储器(“ROM”)。所述指令可以形成在处理器可读介质上有形体现的应用程序。指令可以是例如处于硬件、固件、软件，或者其组合中。指令可以在例如操作系统、单独的应用、或者二者的组合中发现。因此处理器可以被表征为例如被配置为执行处理的装置和包括具有用于执行处理的指令的处理器可读介质(诸如存储装置)这二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式产生的数据值。

对于本领域技术人员明显的，实现方式可以产生被格式化为承载例如可以被存储或传输的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由上述的实现方式之一产生的数据。例如，信号可以被格式化为承载作为数据的用于写入或者读取描述的实施例的语法的规则，或者承载由描述的实施例写的实际语法值。这种信号可以被格式化为例如电磁波(例如，使用频谱的无线电频率部分)或者基带信号。所述格式可以包括例如编码数据流并且利用编码的数据流调制载波。信号承载的信息可以是例如模拟或者数字信息。如已知的，该信号可以通过各种不同的有线或者无线链路而传输。信号可以被存储在处理器可读的介质上。

应理解，在实现方式的以上描述中，为了使本公开简化并且辅助对一个或更多各个方面的理解，在单个实现方式中、附图中，或者说明书中，有时将各种特征分组在一起。然而，本公开的该方法不应被解释为反映这种意图：所要求保护的发明比在每个权利要求中明确陈述的需要更多的特征。相反，如以下权利要求反映的，发明方面可以存在比在公开实施例中的单个上述的所有特征要少。因此，要理解，每个权利要求还提供单独的实现方式。

已经描述了多个实现方式。然而，还应理解，可以进行各种修改。例如，不同实现方式中的要素可以被组合、补充、修改，或者移除以产生其它实现方式。此外，可以在功能块之间互换操作。另外，本领域技术人员将理解，可以对所公开实现方式替换其它结构和处理并且作为结果的实现方式将如所公开的实现方式以至少基本上相同的(多个)方式执行至少基本上相同的(多个)功能，以实现至少基本上相同的(多个)效果。相应地，这些和其它实现方式是本申请可设想到的并且在以下权利要求的范围内。

Claims

1.一种方法，包括

编码多个画面，所述多个画面描述在给定时间用于给定视图的不同三维(3D)信息；

生成为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素，所述结构定义多个画面的内容类型；以及

生成包括编码的多个画面和语法元素的比特流，包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

2.根据权利要求1所述的方法，还包括：

编码多个附加画面，所述多个附加画面描述在给定时间用于第二视图的不同的3D信息，所述第二视图与所述给定视图不同；以及

生成为编码的多个附加画面指示怎样将编码的画面装入支持3D处理的结构中的附加的语法元素，所述结构包括用于多个附加画面的内容类型，以及

其中生成的比特流还包括编码的多个附加画面和附加的语法元素，包括的附加的语法元素在编码的比特流级别上提供结构中的编码的附加多个画面之间的关系的指示。

3.根据权利要求1所述的方法，其中语法元素和结构与多视图视频编码(MVC)兼容。

4.根据权利要求3所述的方法，其中语法元素包括用于多个画面的每一个的MVC视图标识符，并且多个画面之间的依赖性由MVC序列参数集数据指示。

5.根据权利要求1所述的方法，其中语法元素包括网络抽象层(NAL)单元类型，其指示在比特流中使用的结构。

6.根据权利要求1所述的方法，其中内容类型至少包括二维视频和深度。

7.根据权利要求1所述的方法，其中内容类型包括二维视频、深度、遮挡视频、遮挡深度，或者透明性中的一个或更多。

8.根据权利要求1所述的方法，其中用于每一个编码的画面的语法元素包括3D视图标识符和内容类型标识符，其中3D视图标识符标识由一组编码画面组成的3D视图，组中的每一个编码画面对应于不同的内容类型。

9.根据权利要求8所述的方法，其中在网络抽象层(NAL)单元中传输用于每一个编码的画面的语法元素，所述网络抽象层单元与包括用于对应的编码画面的数据的一个或更多NAL单元分开。

10.根据权利要求8所述的方法，其中用于每一个编码的画面的语法元素包括不同多视图视频编码(MVC)视图标识符，由此定义每个编码的画面作为单独的MVC视图。

11.根据权利要求1所述的方法，其中用于每一个编码的画面的语法元素包括指示3D视图和内容类型二者的多视图视频编码(MVC)视图标识符，其中MVC视图标识符标识由一组编码画面组成的3D视图，组中的每个编码画面对应于不同的内容类型。

12.根据权利要求1所述的方法，其中：

所述多个画面包括二维(2D)视频画面，以及一个或更多3D视频补充层画面，

用于2D视频编码画面的语法元素包括用于2D视频编码画面的多视图视频编码(MVC)视图标识符，以及

用于2D视频编码画面和用于一个或更多3D视频补充层编码画面的语法元素包括用于2D视频编码画面和用于对应的3D视频补充层编码画面的3D视图标识符和内容类型标识符，其中3D视图标识符标识由一组编码画面组成的3D视图，组中的每个编码画面对应于不同的内容类型。

13.根据权利要求12所述的方法，其中在包括用于对应的编码画面的数据的网络抽象层(NAL)单元中传输用于一个或更多3D视频补充层画面的语法元素。

14.根据权利要求12所述的方法，其中用于2D视频编码画面的语法元素与MVC兼容并且用于3D视频补充层的语法元素与不同于MVC的编码标准兼容。

15.根据权利要求1所述的方法，其中编码多个画面包括使用所述多个画面的不同画面作为参考来编码所述多个画面中的画面，由此提供不同内容类型的画面之间的层间编码。

16.根据权利要求1所述的方法，其中语法元素包括以下中的一个或更多：

(1)多视图视频编码(MVC)视图标识符，(2)3D视频(3DV)视图标识符，或者(3)3DV层标识符。

17.根据权利要求1所述的方法，其中在编码器处执行编码、语法元素的生成，以及比特流的生成。

18.一种装置，包括：

用于编码多个画面的部件，所述多个画面描述在给定时间用于给定视图的不同三维(3D)信息；

用于生成为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素的部件，所述结构定义多个画面的内容类型；以及

用于生成包括编码的多个画面和语法元素的比特流的部件，包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

19.一种计算机可读介质，具有其上存储的用于引起处理器至少执行以下步骤的指令：

20.一种装置，包括被配置为至少执行以下步骤的处理器：

生成用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素，所述结构定义多个画面的内容类型；以及

21.一种装置，包括：

一个或更多编码器，被配置为编码多个画面，所述多个画面描述在给定时间用于给定视图的不同三维(3D)信息；

3D视频参考缓冲器，被配置为生成为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素，所述结构定义多个画面的内容类型，

其中所述一个或更多编码器被进一步配置为生成包括编码的多个画面和语法元素的比特流，包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

22.一种装置，包括：

其中所述一个或更多编码器被进一步配置为生成包括编码的多个画面和语法元素的比特流，包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示；以及

调制器，被配置为调制包括所生成的比特流的信号。

23.一种被格式化为包括信息的视频信号，所述视频信号包括：

多个编码的画面的一个或者多个画面部分，所述多个编码的画面描述在给定时间用于给定视图的不同三维(3D)信息；以及

用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中的语法元素的一个或者多个语法部分，所述结构定义多个画面的内容类型，其中在视频信号中包括的语法元素在编码的比特流级别上提供结构中的编码的多个画面之间的关系的指示。

24.一种视频信号结构，包括：

用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的3D结构中的语法元素的一个或者多个语法部分，所述3D结构定义多个画面的内容类型，其中在视频信号结构中包括的语法元素在编码的比特流级别上提供3D结构中的编码的多个画面之间的关系的指示。

25.一种具有在其上存储的视频信号结构的处理器可读介质，包括：

用于为编码的多个画面指示怎样将编码的画面装入支持3D处理的3D结构中的语法元素的一个或者多个语法部分，所述3D结构定义多个画面的内容类型，其中包括的语法元素在编码的比特流级别上提供3D结构中的编码的多个画面之间的关系的指示。

26.一种方法，包括：

从比特流中访问编码的多个画面，所述多个画面描述在给定时间用于给定视图的不同的三维(3D)信息；

从所述比特流中访问语法元素，所述语法元素为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中，所述结构提供多个画面之间的定义的关系；

解码所编码的多个画面；以及

以指示多个画面之间的定义关系的输出格式提供解码的画面。

27.根据权利要求26所述的方法，其中所述输出格式包括指定怎样将给定的解码画面装入所述结构中的语法元素。

28.根据权利要求26所述的方法，其中解码进一步包括使用定义的关系来呈现附加画面，所述附加画面参考以下中的一个或更多：二维(2D)层画面、深度层画面、遮挡视频层画面，以及遮挡深度层画面，或者透明画面。

29.根据权利要求26所述的方法，其中在一个或更多编码器或解码器处执行访问编码的多个画面、访问语法元素、所述解码以及所述提供。

30.根据权利要求26所述的方法，还包括：

使用所述语法元素从所述多个画面中识别二维(2D)视频画面；

使用所述语法元素从所述多个画面中识别深度画面、遮挡视频画面、遮挡深度画面，或者透明画面中的一个或更多；以及

基于2D视频画面以及从深度画面、遮挡视频画面、遮挡深度画面，或者透明画面中识别的一个或更多画面，通过呈现附加视图的新画面来执行3D处理。

31.一种装置，包括：

用于从比特流中访问编码的多个画面的部件，所述多个画面描述在给定时间用于给定视图的不同的三维(3D)信息；

用于从所述比特流中访问语法元素的部件，所述语法元素为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中，所述结构提供多个画面之间的定义的关系；

用于解码所编码的多个画面的部件；以及

用于以指示多个画面之间的定义关系的输出格式提供解码的画面的部件。

32.一种计算机可读介质，具有其上存储的用于引起处理器至少执行以下步骤的指令：

解码所编码的多个画面；以及

33.一种装置，包括被配置为至少执行以下步骤的处理器：

解码所编码的多个画面；以及

34.一种装置，包括：

一个或更多解码器，被配置为从比特流中访问编码的多个画面，所述多个画面描述在给定时间用于给定视图的不同的三维(3D)信息；

3D视频参考缓冲器，被配置为从所述比特流中访问语法元素，所述语法元素为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中，所述结构提供多个画面之间的定义的关系；

其中所述一个或更多解码器被配置为解码所编码的多个画面；以及

其中所述3D视频参考缓冲器被配置为以指示多个画面之间的定义关系的输出格式提供解码的画面。

35.一种装置，包括：

解调器，被配置为解调包括比特流的信号；

一个或更多解码器，被配置为从解调比特流中访问编码的多个画面，所述多个画面描述在给定时间用于给定视图的不同的三维(3D)信息；

3D视频参考缓冲器，被配置为从解调的比特流中访问语法元素，所述语法元素为编码的多个画面指示怎样将编码的画面装入支持3D处理的结构中，所述结构提供多个画面之间的定义的关系；

36.一种方法，包括：

从一组数据中访问语法元素，所述语法元素指示怎样将编码的画面装入支持3D处理的结构中，所述结构定义编码画面的内容类型；以及

从该组数据中提取编码画面的一个特定的编码画面，编码画面的特定的编码画面对应于来自一个或更多感兴趣的给定视图并且具有一个或更多感兴趣的给定的内容类型的画面，或者对应于用于感兴趣的给定视图和给定内容类型的参考；

其中，所述提取对应于感兴趣的给定视图和给定内容类型的画面是基于语法元素和指示的结构进行的。

37.根据权利要求36所述的方法，其中，用于感兴趣的给定视图和给定的内容类型的参考是来自所述给定的视图并且具有与所述给定的内容类型不同的内容类型。