CN104115494B - 用于多视图视频译码mvc兼容三维视频译码3dvc的嵌套式sei消息 - Google Patents

Abstract

一般来说，本发明描述用于单独处理视频数据的深度和纹理分量的技术。一种经配置以处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置可执行所述技术的各个方面。所述装置可包括处理器，其经配置以：确定在处理所述视频数据的所述视图分量时适用的补充增强信息消息；以及确定在处理所述视图分量的所述深度分量时除补充增强信息消息之外适用的嵌套式补充增强信息消息。

Description

用于多视图视频译码MVC兼容三维视频译码3DVC的嵌套式SEI 消息

本发明主张2011年11月30日申请的第61/565,376号美国临时申请案、2011年12月1日申请的第61/565,938号美国临时申请案、2011年12月22日申请的第61/579,631号美国临时申请案以及2012年1月6日申请的第61/584,009号美国临时申请案的优先权，上述申请案中的每一者的内容特此以全文引用的方式并入本文中。

技术领域

本发明涉及视频译码，且更明确地说，涉及三维视频译码(3DVC)。

背景技术

数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4，第10部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频片(即，图片或图片的一部分)分割为视频块，其也可称为树块、译码单元(CU)和/或译码节点。相对于图片中的相邻块中的参考样本，使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。

空间或时间预测得出待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成所述预测性块的参考样本块的运动向量以及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可扫描经量化的变换系数(最初布置成二维阵列)，以便产生变换系数的一维向量，且可应用熵译码来实现更多的压缩。

发明内容

一般来说，本发明描述用于三维视频译码(3DVC)的技术。更明确地说，本发明描述用于使用H.264/高级视频译码(AVC)标准的3DVC扩展来执行3DVC的技术。所述3DVC扩展界定用于用深度数据来编码视频数据的多个视图的视频译码技术。每一视图对应于一不同视角或角度，以此视角或角度捕获共同场景的对应视频数据。在3DVC的上下文中，每一视图可含有纹理视图和深度视图。一个时刻中视图的经译码表示为视图分量。视图分量可含有深度视图分量和纹理视图分量。本发明的技术通常涉及在译码多视图视频数据加深度数据时，启用用于3DVC的视图的纹理分量和深度分量两者的处置。所述技术可促进3DVC与MVC的兼容性。

在一个实例中，一种译码包含包括深度分量和纹理分量的视图分量的视频数据的方法包括：为所述视图分量的所述纹理分量激活作为纹理参数集的参数集；以及基于所述所激活的纹理参数集译码所述视图分量的所述纹理分量。

在另一实例中，一种用于译码包含由深度分量和纹理分量组成的视图分量的视频数据的视频译码装置包括处理器，其经配置以：为所述视图分量的所述纹理分量激活作为纹理参数集的参数集；以及基于所述所激活的纹理参数集译码所述视图分量的所述纹理分量。

在另一实例中，一种用于译码包含由深度分量和纹理分量组成的视图分量的视频数据的视频译码装置包括：用于为所述视图分量的所述纹理分量激活作为纹理参数集的参数集的装置；以及用于基于所述所激活的纹理参数集译码所述视图分量的所述纹理分量的装置。

在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时致使视频译码装置的一个或一个以上处理器：为所述视图分量的所述纹理分量激活作为纹理参数集的参数集；以及基于所述所激活的纹理参数集译码所述视图分量的所述纹理分量。

在另一实例中，描述一种处理包含包括深度分量和纹理分量的视图分量的视频数据的方法。所述方法包括：确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息；以及确定除补充增强信息消息之外，应用于视图分量的深度分量的嵌套式补充增强信息消息。

在另一实例中，描述一种用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置。所述装置包括处理器，其经配置以：确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息；以及确定除补充增强信息消息之外，在处理所述视图分量的所述深度分量时应用的嵌套式补充增强信息消息。

在另一实例中，描述一种用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置。所述装置包括：用于确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息的装置；以及用于确定除补充增强信息消息之外在处理所述视图分量的所述深度分量时应用的嵌套式补充增强信息消息的装置。

在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时致使用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置的一个或一个以上处理器：确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息，其中所述视图分量包含深度分量和纹理分量两者；以及确定除补充增强信息消息之外，在处理所述视图分量的所述深度分量时应用的嵌套式补充增强信息消息。

在另一实例中，一种用于视频译码的方法包括：将深度分量存储在经解码图片缓冲器中；分析视图依赖性以确定深度分量是否用于视图间预测；以及响应于确定深度分量不用于视图间预测而将深度分量从经解码图片缓冲器去除。

在另一实例中，一种经配置以译码视频数据的视频译码装置包括经解码图片缓冲器和处理器，所述处理器经配置以：将深度分量存储在经解码图片缓冲器中；分析视图依赖性以确定深度分量是否用于视图间预测；以及响应于确定深度分量不用于视图间预测而将深度分量从经解码图片缓冲器去除。

在另一实例中，一种用于译码视频数据的视频译码装置包括：用于将深度分量存储在经解码图片缓冲器中的装置；用于分析视图依赖性以确定深度分量是否用于视图间预测的装置；以及用于响应于确定深度分量不用于视图间预测而将深度分量从经解码图片缓冲器去除的装置。

在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时致使视频译码装置的一个或一个以上处理器：将深度分量存储在经解码图片缓冲器中；分析视图依赖性以确定深度分量是否用于视图间预测；以及响应于确定深度分量不用于视图间预测而将深度分量从经解码图片缓冲器去除。

在另一实例中，一种处理包含包括一个或一个以上深度分量和一个或一个以上纹理分量的视图分量的视频数据的方法，所述方法包括：确定描述所述深度分量的特性的第一序列等级信息；以及确定描述所述视频数据的操作点的特性的第二序列等级信息。

在另一实例中，描述一种用于处理包含包括一个或一个以上深度分量和一个或一个以上纹理分量的视图分量的视频数据的视频译码装置。所述视频译码装置包括一个或一个以上处理器，其经配置以确定描述深度分量的特性的第一序列等级信息，且确定描述视频数据的操作点的特性的第二序列等级信息。

在另一实例中，描述一种用于处理包含包括一个或一个以上深度分量和一个或一个以上纹理分量的视图分量的视频数据的视频译码装置。所述视频译码装置包括：用于确定描述深度分量的特性的第一序列等级信息的装置；以及用于确定描述视频数据的操作点的特性的第二序列等级信息的装置。

在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时致使视频译码装置的一个或一个以上处理器：确定描述视频数据的一个或一个以上深度分量的特性的第一序列等级信息，其中所述视频数据包含包括一个或一个以上深度分量和一个或一个以上纹理分量的视图分量；且确定描述视频数据的操作点的特性的第二序列等级信息。

在附图及下文描述中陈述本发明的一个或一个以上方面的细节。将从描述和图式且从所附权利要求书明白本发明中所描述的技术的其它特征、目标和优点。

附图说明

图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。

图2是更详细地说明图1的实例中所示的视频编码器的框图。

图3是更详细地说明图1的实例中所示的视频解码器的框图。

图4是更详细地说明图1的实例中所示的包封单元的框图。

图5是说明实例多视图视频译码(MVC)预测模式的概念图。

图6是说明根据本发明中所描述的技术的各个方面的视频译码装置在实施MVC兼容3DVC的参数集激活中的操作的流程图。

图7是说明根据本发明中所描述的技术的处理多视图视频数据以产生用于MVC兼容3DVC的嵌套式补充增强信息(SEI)消息的实例操作的流程图。

图8是说明根据本发明中所描述的技术的视频译码装置在单独地将纹理和深度分量从经解码图片缓冲器去除以用于MVC兼容3DVC中的实例操作的流程图。

图9是说明根据本发明中所描述的技术的视频译码装置在确定用于MVC兼容3DVC的序列等级信息中的实例操作的流程图。

具体实施方式

根据某些视频译码系统，可使用运动估计和运动补偿来减少视频序列中的时间冗余，以便实现数据压缩。在此情况下，可产生运动向量，其识别预测性视频数据块，例如来自另一视频图片或片的块，其可用来预测正译码的当前视频块的值。将预测性视频块的值从当前视频块的值减去，以产生残余数据块。将运动信息(例如，运动向量、运动向量索引、预测方向或其它信息)连同残余数据一起从视频编码器传送到视频解码器。解码器可定位相同预测性块(基于运动向量)，且通过将残余数据与预测性块的数据组合来重构经编码视频块。

多视图视频译码(MVC)是用于译码视频数据的多个视图的视频译码过程。一般来说，每一视图对应于一不同视角或角度，以此视角或角度捕获共同场景的对应视频数据。可使用MVC加深度译码来执行三维视频译码(3DVC)。对ITU-T H.264/AVC标准的3DVC扩展目前正在开发。对H.264/AVC标准进行修正以添加3DVC扩展的工作草案在2011年11月在瑞士日内瓦进行的“关于对包含深度图的MVC扩展的工作草案(WD on MVC Extensions forInclusion of Depth Maps)”ISO/IEC/JTC1/SC29/WG11/N12351(“3DVC WD”)中描述。3DVC扩展(也称为用于包含深度图的MVC扩展)界定用于译码视图以支持3D视频数据的显示的技术)。

举例来说，在3D视频中，可使用光的不同偏振同时或几乎同时显示两个视图(例如，人类观看者的左眼和右眼视图)，且观看者可佩戴被动偏振眼镜，使得观看者的每只眼睛接收所述视图中的相应一者。或者，观看者可佩戴独立地遮蔽每只眼睛的主动眼镜，且显示器可与眼镜同步在每只眼睛的图像之间快速地交替。

虽然可个别地译码每一视图(例如，左眼和右眼视图)，但在3DVC中，使用所述视图的深度分量从其它视图重构所述视图中的一者。出于此原因，这种形式的3DVC也可称为多视图视频译码加深度(MVC+D)。为了说明，可将视图的特定图片(其中视图的此特定图片可称为视图的“视图分量”)的深度图计算为左眼视图与右眼视图之间的差。编码器可例如将左眼视图编码为视频分量的所谓的“纹理分量”，且可将深度图编码为视图分量的所谓的“深度分量”。

解码器可接着解码视图分量的纹理分量和视图分量的深度分量，且使用深度分量从纹理分量(其表示左眼视图)重构右眼视图。与独立地作为3DVC数据的单独视图来编码左眼视图和右眼视图两者相比，通过以此方式仅编码一个视图和对应的深度图，3DvC可较高效地编码左眼和右眼视图。

当编码视图的纹理和深度分量时，视频编码器通常将纹理和深度分量处置或以其它方式处理为视图分量，而不提供藉此区分纹理与深度分量的任何方式。就是说，3DVC用以处置或译码视图分量，而不提供藉此个别地从同一视图分量的深度分量单独地处理纹理分量的方式。3DVC中差别的此缺乏可导致较小的译码效率和/或经重构视频数据的较低质量。

举例来说，当前可要求深度分量以与对应的纹理分量相同的分辨率指定，以便适应此视图分量的联合处置。然而，较高分辨率深度分量(与纹理分量的分辨率相比)可导致三维(3D)视频重放，因为较好、较沉浸式3D视频可产生观看者的视觉系统预期的较佳模仿。此外，较低分辨率深度分量(与纹理分量的分辨率相比)在某些例子中可提供相同或类似的沉浸式3D体验，但在译码时消耗较少的位，且藉此增加译码效率。因为未能启用深度和纹理分量的单独处置，3DVC可降低译码效率且/或提供所重构视频数据的较低质量(通常，依据观看体验)。

本发明的技术通常涉及在处理或译码3DVC视频数据时，启用视图的纹理分量和深度分量的单独或独立处置。举例来说，本发明提出用信号通知序列参数集(SPS)中的深度图序列的图片大小。这些信令技术可在视频编码和/或解码过程期间由编码器应用且由解码器使用。所描述的技术与视频内容的图片的译码有关。根据本发明的技术，经编码图片可具有单位大小，例如选定高度和宽度的块，其可作为序列参数集中的语法元素用信号通知。可在序列参数集中用信号通知纹理视图序列和深度图序列的语法元素。

更具体地说，所述技术涉及在深度图序列具有与对应的纹理视图序列不同的分辨率时，用信号通知语法信息。3DVC可包含用每一视图的深度图序列来译码多个视图。这些深度图序列可具有与纹理视图序列不同的分辨率。在此情况下，当纹理和深度网络抽象层(NAL)单元简单地一起多路复用时，深度视图分量和纹理视图分量无法共享同一序列参数集(SPS)。在当前SPS MVC扩展中，指示不同等级(有或没有深度)可为不可能的。在AVC设计原理中，激活一个以上序列参数集(其含有图片大小)可为不可能的。因此，具有两个不同图片大小可能导致激活多个序列参数集。

当3DVC序列包含具有与对应的纹理视图不同的空间分辨率的深度图时，本发明的技术可用以基于AVC和MVC立体声指示3DVC序列。通过启用此单独处理，本发明中所描述的技术的各个方面可促进位节省(或换句话说，多视图视频数据的较高效译码)和/或经重构视频数据的较佳质量(其再次可依据感觉到的观看体验来测量)。

应将以下描述理解为在3DVC的上下文中，其中将对MVC的参考理解为如其涉及3DVC扩展中的MVC加深度译码那样对MVC的参考。就是说，在给定MVC为H.264的扩展，且3DVC为H.264的利用MVC的进一步扩展的情况下，3DVC并入有或以其它方式可被视为“继承”MVC的所有方面。3DVC可以本文所述的方式扩展或另外在适当的情况下添加到MVC，以提供还包含支持3DVC的那些视频解码器的深度图的MVC顺应位流。换句话说，在一些实例，所述技术可用于产生与MVC反向兼容的3DVC位流(或，换句话说，能够由不支持3DVC但确实支持MVC的视频解码器解码)。虽然以下技术各自在3DVC的上下文中描述，但在一些例子中，这些技术可扩展到译码具有纹理视图分量和深度视图分量的3D视频数据的其它方式。

图1是说明可利用用于多视图译码中的运动向量预测的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后时间将由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16向目的地装置14提供视频数据。源装置12和目的地装置14可包括各种各样的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、平板触摸计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式发射装置等。在一些情况下，源装置12和目的地装置14可为无线通信而配备。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12传送到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体，以使源装置12能够实时或近实时地将经编码视频数据直接发射到目的地装置14。

可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线。通信媒体可形成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。

在一些实例中，可将经编码数据从源装置12的发射器24输出到存储装置。类似地，可通过目的地装置14的接收器26从存储装置存取经编码数据。所述存储装置可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置可对应于可存储源装置12所产生的经编码视频的文件服务器或另一中间存储装置。

目的地装置14可经由流式发射或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。

本发明的技术不一定限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射，例如经由HTTP的动态自适应流式发射(DASH))中的任一者的视频译码，编码到数据存储媒体上的数字视频、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，源装置10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20、包封单元21和输出接口22。目的地装置14包含输入接口28、去包封单元29、视频解码器30和显示装置32。在一些实例中，源装置12和目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成显示装置32。

图1所说明的系统10仅为一个实例。用于多视图译码(包含3DVC)中的运动向量预测的技术可由任何数字视频编码和/或解码装置执行。尽管通常本发明的技术由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常称为“CODEC”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生经译码视频数据以供发射到目的地装置14。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式发射、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频档案，和/或用以接收来自视频内容提供者的视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20来编码所捕获的、所预先捕获的或计算机产生的视频。经编码的视频信息可接着由输出接口22输出到计算机可读媒体16上。

视频源24可通常将场景的多个视图提供到视频编码器28。视频源24还可提供指示所述视图的相机视角的位置的信息。视频源24可将此信息提供给视频编码器28，或可将信息直接提供给包封单元21。

包封单元21可使用指示所述视图的相机视角的相对位置的信息，以将视图识别符指派给多媒体内容的视图。包封单元21可形成多媒体内容的一个或一个以上表示，其中所述表示中的每一者可包含一个或一个以上视图。在一些实例中，视频编码器20可以不同方式编码每一视图，例如以不同帧速率、不同位速率、不同分辨率或其它此类差。因此，包封单元21可形成具有各种特性(例如，位速率、帧速率、分辨率等)的各种表示。

所述表示中的每一者可对应于可由目的地装置14接收的相应位流。包封单元21可提供用于包含在每一表示中(例如，多媒体内容的媒体呈现描述(MPD)数据结构内)的视图的视图识别符(view_id)的范围的指示。举例来说，包封单元21可提供表示的视图的最大视图识别符和最小视图识别符的指示。MPD可进一步提供目标用于多媒体内容的多个表示中的每一者的输出的视图的最大数目的指示。在一些实例中，MPD或其数据可存储在表示的清单中。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘，或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且产生含有所述经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包含各种形式的一个或一个以上计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，其还可由视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。目的地装置14的去包封单元29可表示对来自位流(或在MVC的上下文中称为“操作点”的位流的子集)的SEI消息去包封的单元。去包封单元29可以包封单元29所执行的操作相反的次序执行操作，以对来自经包封的经编码位流的数据(例如SEI消息)进行去包封。显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者(如适用)，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

在图1中所示的实例中，系统10还包含具有路由器36的服务器/内容递送网络34。在一些实例中，如上文所述，源装置12可经由多种无线和/或有线发射或存储媒体，与服务器/内容递送网络34通信。此外，虽然在图1的实例中单独展示，但在一些实例中，源装置12和服务器/内容递送网络34包括相同装置。服务器/内容递送网络34可存储经译码视频数据(来自源装置12的视频编码器20)的一个或一个以上版本，且可使此经译码视频数据可用于供目的地装置14和视频解码器30存取。在一些实例中，路由器36可负责以所请求的格式将经译码视频数据提供到目的地装置14。

视频编码器20和视频解码器30可根据视频译码标准来操作，例如目前在开发的高效视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或行业标准来操作，例如ITU-T H.264标准，或者称为MPEG4，部分10，高级视频译码(AVC)，或此些标准的扩展，包含H.264的MVC扩展和/或3DVC扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(Video CodingExperts Group，VCEG)连同ISO/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(Joint Video Team，JVT)的集体伙伴关系的产品。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T建议H.264“用于通用视听服务的高级视频译码(Advanced Video Coding for generic audiovisualservices)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。H.264/AVC包含可缩放视频译码(SVC)扩展和MVC扩展。另外，存在进一步开发以提供3DVC扩展，其利用包含深度图的MVC。联合视频小组(JVT)继续从事于H.264/MPEG-4AVC的扩展。虽然在3DVC的上下文内描述，但本发明中所描述的技术可相对于能够编码和解码涉及纹理和深度分量两者的3D视频的其它视频译码算法来实施。

视频编码器20可例如在图片标头、块标头、片标头或GOP标头中将语法数据(例如，基于块的语法数据、基于图片的语法数据以及基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的图片的数目，且图片语法数据可指示用以编码对应图片的编码/预测模式。

在一些实例中，视频编码器20可产生且视频解码器30可接收某些参数集，其可在解码视频数据时使用。举例来说，参数集可含有序列等级标头信息(在序列参数集(SPS)中)，以及很少改变的图片等级标头信息(在图片参数集(PPS)中)。对于参数集(例如，PPS和SPS)，无需针对每一序列(例如，图片序列)或图片重复很少改变的信息；因此可改进译码效率。此外，参数集合的使用可实现重要标头信息的带外发射，从而不需要冗余发射来进行误差恢复。在带外发射实例中，可在与其它NAL单元(例如补充增强信息(SEI)NAL单元)不同的信道上发射参数集NAL单元。

SEI NAL单元(称为SEI消息)可含有对解码来自视频译码层(VCL)NAL单元的经译码图片样本来说不必要的信息，但可辅助与解码、显示、误差恢复和其它目的有关的过程。SEI消息可包含在非VCL NAL单元中。SEI消息可包含在一些标准规范的标准部分中，且因此对于符合标准的解码器实施方案来说，不总是强制性的。SEI消息可为序列级SEI消息或图片级SEI消息。一些序列级信息可包含于SEI消息中，例如SVC的实例中的可缩放性信息SEI消息，以及MVC中的视图可缩放性信息SEI消息。视图可缩放性信息SEI消息还可提供用于H.264的3DVC扩展的序列等级信息。包封单元21可形成这些SEI消息，且将这些SEI消息提供给服务器/内容递送网络34，以用于(作为一个实例)协商经编码视频数据的递送。

包封单元21可形成NAL单元，其包括识别NAL所属的程序的标头、以及有效负载(例如，音频数据、视频数据或描述NAL单元所对应的输送或程序流的数据)。举例来说，在H.264/AVC中，NAL单元包含1字节标头以及不同大小的有效负载。在一个实例中，NAL单元标头包括priority_id元素、temporal_id元素、anchor_pic_flag元素、view_id元素、non_idr_flag元素和inter_view_flag元素。在常规MVC中，保持由H.264界定的NAL单元，除了前缀NAL单元和MVC经译码片NAL单元，其包含4字节MVC NAL单元标头和NAL单元有效负载。

在一些实例中，视频编码器20可使用MVC加深度信息来编码符合H.264的3DVC扩展的3DVC位流。2010年3月的“用于一般视听服务的高级视频译码(Advanced video codingfor generic audiovisual services)”ITU-T建议H.264中描述MVC的最新联合草案，而上文描述的2011年11月在瑞士日内瓦进行的“关于用于包含深度图的MVC扩展的工作草案(WDon MVC Extensions for Inclusion of Depth Maps)”ISO/IEC/JTC1/SC29/WG11/N12351中描述3DVC的工作草案。并且，本发明内对MVC的参考应理解为对3DVC的上下文内的MVC加深度的参考。就是说，本发明中将MVC称为其在3DVC并入有或“建立”MVC的意义上与3DVC有关。

在H.264的3DVC扩展中，视图包含纹理和深度。视图的纹理部分称为纹理视图，且视图的深度部分称为深度视图。一个存取单元中的视图的纹理部分(即，存取单元中的纹理视图)称为纹理视图分量。一个存取单元中的视图的深度部分(即，存取单元中的深度视图)称为深度视图分量。术语视图分量为一个存取单元中的视图，且共同指代同一存取单元中的纹理视图分量和深度视图分量两者。

在H.264/AVC的扩展中，可在NAL单元标头扩展中添加语法元素，以将NAL单元标头从一个字节扩展到四个字节，以在多个维度中描述VCL NAL单元的特性。因此，MVC扩展中的VCL NAL单元可包含比H.264/AVC标准中的NAL单元标头长的NAL单元标头。在本发明中，可将H.264/AVC的MVC扩展称为“MVC/AVC”。

MVC/AVC NAL单元可含有一字节NAL单元标头，其包含NAL单元类型，以及MVC/AVCNAL单元标头扩展。作为一个实例，MVC/AVC NAL单元标头扩展可包含下表中的语法元素：

NAL单元标头扩展语法

在上表中，idr_flag元素可指示NAL单元是否属于瞬时解码器刷新(IDR)或视图IDR(V-IDR)，其可用作闭合GOP随机存取点。举例来说，IDR图片和在显示次序和位流次序两者中在IDR图片之后的所有图片可适当地解码，而不以位流次序或显示次序解码先前图片。

可结合根据视频解码器30和/或显示装置32的改变的网络条件和/或能力而改变位流的位流适应过程(例如，单遍次适应过程)使用priority_id元素。可使用view_id元素来指示NAL单元所属的视图的视图识别符，其可在MVC解码器内使用，例如用于视图间预测，且可在解码器外使用，例如用于渲染。在一些例子中，可将view_id设定为等于预定义相机id，且可相对较大。可使用temporal_id元素来指示当前NAL单元的时间等级，其可对应于特定帧速率。

可使用anchor_pic_flag元素来指示NAL单元是否属于可用作开放GOP随机存取点的锚图片。举例来说，锚图片以及在显示次序中在所述锚图片之后的所有图片可适当地解码，而不解码解码次序(即，位流次序)中的先前图片，且因此可用作随机存取点。锚图片和非锚图片可具有不同的视图依赖性，其两者均可在SPS中用信号通知。

就是说，如本文所述，视图依赖性可通常指代当前正译码的视图所取决于的视图。换句话说，视图依赖性可陈述可从中预测当前正译码的视图的视图。根据一些实例，可在SPS MVC扩展中用信号通知视图依赖性。在此些实例中，可在SPS MVC扩展所指定的范围内进行所有视图间预测。可使用inter_view_flag元素来指示NAL单元是否用于其它视图中的NAL单元的视图间预测。

为了传达MVC位流的基础视图的NAL单元标头信息(其可为四字节的)，可在MVC中界定前缀NAL单元。在MVC的上下文中，基础视图存取单元可包含特定视图的当前时刻的VCLNAL单元，以及用于基础视图存取单元的前缀NAL单元，其可仅含有NAL单元标头。如果解码(例如，解码单个视图)不需要前缀NAL单元，那么解码器可忽略和/或丢弃前缀NAL单元。

相对于SPS MVC/AVC扩展，MVC SPS可指示可用于视图间预测的目的的视图。举例来说，潜在视图间参考可在SPS MVC/AVC扩展中用信号通知，且可通过参考图片列表构造过程来修改，其实现帧间预测或视图间预测参考的灵活排序。下文的表中陈述实例MVC/AVCSPS：

实例MVC SPS

根据一些实例，可在SPS MVC扩展中用信号通知视图依赖性。可在SPS MVC扩展所指定的范围内进行所有视图间预测。就是说，SPS可陈述哪些视图可称为用于当前正译码的视图的预测的目的。在上文的表2中，num_anchor_refs_10[i]元素可指定列表0(例如RefPicList0)的经初始化参考图片列表中的视图间预测的视图分量的数目。

另外，anchor_ref_10[i][j]元素可指定经初始化的RefPicList0中的视图间预测的第i个视图分量的view_id。num_anchor_refs_11[i]元素可指定列表一(例如RefPicListl)的经初始化参考图片列表中的视图间预测的视图分量的数目。anchor_ref_11[i][j]元素可指定经初始化的RefPicList1中的视图间预测的第i个视图分量的view_id。

num_non_anchor_refs_10[i]元素可指定经初始化RefPicList0中的视图间预测的视图分量的数目。non_anchor_ref_10[i[[j]元素可指定经初始化的RefPicList0中的视图间预测的第j个视图分量的view_id。num_non_anchor_refs_11[i]元素可指定经初始化RefPicList1中的视图间预测的视图分量的数目。non_anchor_ref_11[i][j]元素可指定经初始化的RefPicList中的视图间预测的第i个视图分量的view_id。

经初始化的或“初始”参考图片列表可与用于视图间预测视图分量的最终参考图片列表相同或不同。就是说，可将某些参考候选者(即，可用于视图间预测的参考图片)从初始参考图片列表(例如，冗余图片)去除。另外，如下文更详细地描述，可从初始参考图片列表记录参考候选者以形成最终参考图片列表。

在此实例中，根据MVC，单独维持且用信号通知锚图片和非锚图片的视图依赖性。就是说，视频译码器可确定总共四个参考图片列表(例如，列表0，非锚图片；列表1，非锚图片；列表0，锚图片；列表1，锚图片)。另外，如上文的表2中所示，需要单独的信令来向视频解码器30指示视图依赖性。就是说，SPS必须包含用于anchor_refs和non_anchor_refs两者的单独列表0和列表1信令。

此外，根据表2，非锚视图分量的视图间依赖性是锚视图分量的视图间依赖性的子集。就是说，例如，可从一个以上其它视图，例如视图3和4预测锚视图的视图分量。然而，可仅从视图3(锚视图的子集)的图片预测非锚视图。以此方式，可单独地维持锚与非锚视图分量的视图依赖性。

另外，在表2中，num_level_values_signalled可指定为经译码视频序列而用信号通知的等级的数目。level_idc[i]元素可指定为经译码视频序列而用信号通知的第i个等级值。num_applicable_ops_minus1[i]加1元素可指定由level_idc1[i]指示的等级所应用于的操作点的数目。applicable_op_temporal_id[i][j]元素可指定由level_idc[i]指示的等级所应用于的第i个操作点的temporal_id。

applicable_op_num_target_views_minus1[i][j]元素可指定由level_idc[i]指示的等级所应用于的第i个操作点的目标输出视图的数目。applicable_op_target_view_id[i][j][k]元素可指定由level_idc[i]指示的等级所应用于的第j个操作点的第k个目标输出视图。applicable_op_num_views_minus1[i][j]元素可指定由level_idc[i]指示等级所应用于的第j个操作点中的视图的数目，包含依赖于目标输出视图但不属于目标输出视图的视图。

因此，在MVC的SPS中，可针对每一视图用信号通知可用以形成参考图片列表0和参考图片列表1的视图的数目。另外，如在MVC的SPS中用信号通知的锚图片的预测关系可不同于同一视图的非锚图片(在MVC的SPS中用信号通知)的预测关系。

如下文更详细地描述，在构造参考图片列表时，视频编码器20和视频解码器30可灵活地布置时间和视图预测参考。允许灵活布置不仅提供潜在的译码效率增益，而且提供容错性，因为参考图片部分和冗余图片机制可扩展到视图维度。在一实例中，视频编码器20和视频解码器30可根据以下步骤构造参考图片列表：

1)初始化时间(即，视图内)参考图片的参考图片列表，使得不考虑来自其它视图的参考图片。

2)以其中图片在MVC SPS扩展中出现的次序将视图间参考图片附加到列表的结尾。

3)将参考图片列表记录(RPLR)过程应用于视图内和视图间参考图片。如MVC SPS扩展中所指定，视图间参考图片可在RPLR命令中由其索引值识别。

在MVC中，在解码多视图视频数据时，视频编码器20和/或视频解码器30可将零个或一个图片参数集(PPS)激活为活动PPS，且将零个或零个以上视图PPS(VPPS)激活为活动VPPS，其中每一活动VPPS特定对于小于最大视图次序索引值的特定视图次序索引值来说是活动的。就是说，视频编码器20和/或视频解码器30可激活应用于存取单元内的多视图视频数据的每个视图分量的PPS。视频编码器20和/或视频解码器30还可激活仅应用于存取单元中的视图分量的子集的VPPS。在一些例子中，VPPS可包含一个或一个以上语法元素，其超驰针对其激活VPPS的那些视图的PPS中所指定的一个或一个以上语法元素。在一些例子中，VPPS可包含一个或一个以上语法元素，其增大针对其激活VPPS的那些视图的PPS中所指定的一个或一个以上语法元素。

此外，在MVC中，在解码多视图视频数据时，视频编码器20和/或视频解码器30可将零个或一个图片参数集(SPS)激活为活动MVC SPS，且将零个或零个以上视图SPS(VSPS)激活为活动VSPS，其中每一活动VSPS特定对于小于最大视图次序索引值的特定视图次序索引值来说是活动的。就是说，视频编码器20和/或视频解码器30可激活应用于一个或一个以上存取单元内的多视图视频数据的每个视图分量的SPS。视频编码器20和/或视频解码器30还可激活仅应用于一个或一个以上存取单元中的视图分量的子集的VSPS。在一些例子中，VSPS可包含一个或一个以上语法元素，其超驰针对其激活VSPS的那些视图的SPS中所指定的一个或一个以上语法元素。在一些例子中，VSPS可包含一个或一个以上语法元素，其增大针对其激活VSPS的那些视图的SPS中所指定的一个或一个以上语法元素。

另外，MVC提供用于从单个位流剖析或提取各种所谓的操作部分的功能性。每一操作点可表示以不同时间帧速率和空间分辨率编码的多视图视频数据的视图的不同组合。换句话说，操作点可指代包含视图维度(反映视图的数目)、时间维度(反映帧速率)和空间维度(反映空间分辨率)的三个维度中对多视图视频数据的编码。

操作点可由表示目标时间等级的temporal_id值和表示目标输出视图的一组view_id值识别。一个操作点与一位流子集相关联，所述位流子集由目标输出视图和目标输出视图所依赖于的所有其它视图组成，即使用如H.264/AVC的三维视图译码(3DVC)的分条款H.8.5.3中所指定的子位流提取过程得出，其中tIdTarget等于temporal_id值，且viewIdTargetList由作为输入的所述组所view_id值组成。一个以上操作点可与同一位流子集相关联。当3DVC称“操作点经解码”时，其指代对应于操作点的位流子集的解码以及目标输出视图的后续输出。换句话说，每一操作点用若干视图表示，目标为以某一时间等级和/或空间分辨率或等级输出。

在序列参数集MVC扩展中，可用level_idc值来用信号通知不同操作点。以下语法元素称为等级定义语法元素。

对于MVC SPS扩展中用信号通知的每一level_idc，在3D视频(3DV)SPS扩展中用信号通知新的level_idc_depth。如果假定所有MVC操作点具有具有相同的level_idc[i]，那么在包含深度分量且构造3DVC操作点之后，3DVC操作点将具有level_idc_depth[i]的相同等级。详细的语法设计展示如下。

另外，MVC假定当将同一存取单元中的视图分量解码为待去除的视图分量时，如果视图分量不再进一步用于视图间参考且所述视图分量不用于输出，那么可将视图分量从经解码图片缓冲器(DPB)去除。

当前，3DVC不提供藉此区分视图分量的纹理分量与深度分量的方式，其中术语“视图分量”指代由3D多视图视频数据指定的视图的图片。因此，当编码视图的纹理和深度分量时，视频编码器通常以与上文相对于MVC所描述的方式类似的方式将纹理和深度分量处置或以其它方式处理为视图分量，而不提供藉此区分纹理与深度分量的任何方式。就是说，3DVC当前用以处置或译码视图分量，而不提供藉此个别地从深度分量单独地处理纹理分量的方式。3DVC中差别的此缺乏可导致较小的译码效率和/或经重构视频数据的较低质量。

举例来说，当前可要求深度分量以与对应的纹理分量相同的分辨率指定，以便适应此视图分量的联合处置。然而，较高分辨率深度分量(与纹理分量的分辨率相比)可导致三维(3D)视频重放，因为较好、较沉浸式3D视频可产生观看者的视觉系统预期的较佳模仿。此外，较低分辨率深度分量(与纹理分量的分辨率相比)在某些例子中可提供相同或类似的沉浸式3D体验，但在译码时消耗较少的位，且藉此增加译码效率。因为未能启用深度和纹理分量的单独处置，3DVC可降低译码效率且/或提供所重构视频数据的较低质量(通常，依据观看体验)。

本发明的技术通常涉及在处理或译码3D视频数据时，启用视图的纹理分量和深度分量的单独或独立处置。举例来说，可为3DVC相关简档添加序列参数集(SPS)3DVC扩展。在此SPS3DVC扩展内，可用信号通知以下各项中的一者或一者以上：深度图序列的图片大小、待由深度图序列显示的图片的大小，以及具有所考虑的深度图图片的操作点的等级，其中特定等级中的每一者对应于SPS MVC扩展中已经定义的等级。待显示的图片的大小可为由显示装置输出的经解码图片。

在3DVC编解码器中，特定时刻中视频数据的每一视图的视图分量可包含纹理视图分量和深度视图分量。纹理视图分量可包含亮度(Y)分量和色度(Cb和Cr)分量。亮度(辉度)和色度(色彩)分量在本文中总称为“纹理”分量。深度视图分量可来自图像的深度图。在3D图像渲染中，深度图包含深度分量，且可用于从所提供的检视角度产生虚拟视图。可用经译码块单元来用信号通知深度分量和纹理分量的语法元素。经译码块单元，在本发明中也简称为“经译码块”可对应于ITU-T H.264/AVC(高级视频译码)中的宏块。

本发明描述信令技术，其可在视频编码和/或解码过程的帧间预测阶段期间由编码器应用且由解码器使用。所描述的技术与三维(“3D”)视频内容的译码有关。3D视频内容可例如表示为多视图视频加深度(“MVD”)经译码块。更具体地说，所述技术涉及具有纹理视图分量和深度视图分量的至少一个二维图像的接收。可将一些纹理视图分量和深度信息一起译码成单个经译码块或译码为单独的块。可将图像分成图像片。可在序列参数集中用信号通知纹理视图序列和深度图序列的语法元素。深度视图分量可或可不从纹理视图分量预测。

在视频译码标准的上下文中，“简档”对应于应用于其的算法、特征或工具和约束的子集。举例来说，如由H.264标准所界定，“简档”是由H.264标准指定的整个位流语法的子集。“等级”对应于解码器资源消耗的限制，例如与图片的分辨率、位速率和宏块(MB)处理速率有关的解码器存储器和计算的限制。可用profile_idc(简档指示符)值来用信号通知简档，而可用level_idc(等级指示符)值来用信号通知等级。

在H.264/AVC标准中，界定网络抽象层(NAL)单元，以提供“网络友好的”视频表示，以解决例如视频电话、存储或流式视频等应用。可将NAL单元分类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎，且包括块、宏块(MB)和/或片等级。其它NAL单元为非VCL NAL单元。

对于2D视频编码，每一NAL单元可含有一字节NAL单元标头以及不同大小的有效负载。可使用五个位来指定NAL单元类型。三个位可用于nal_ref_idc，其指示NAL单元在由其它图片(NAL单元)参考方面有多重要。举例来说，将nal ref idc设定为等于0意味着NAL单元不用于帧间预测。因为H.264/AVC可扩大到包含3D视频编码，例如可缩放视频译码(SVC)标准，因此NAL标头可类似于2D情形的NAL标头。举例来说，可使用NAL单元标头中的一个或一个以上位来识别NAL单元为四分量NAL单元。

NAL单元标头还可用于MVC NAL单元。然而，在MVC中，可保持NAL单元标头结构，除了前缀NAL单元和MVC经译码片NAL单元。本发明的技术提供可用以用信号通知超SPS的不同NAL单元类型。

根据本发明的一个方面，下表提供序列参数集RBSP语法的一个实例。仅出于说明性目的，例如与此表相关联，可假定纹理和深度具有相同的view_id(所检视值)，且使用nal_unit_type来区分纹理与深度。在下文中，粗体项目表示与对MVC的3DVC扩展的工作草案的当前或先前版本相比，已根据本发明的实例而添加、更新或更改的项目。此外，参考附件，例如下文的表中的附件G，指代H.264视频译码标准的附件。

根据上文所示的表，3dvc_vui_parameter_present_flag等于1指示存在3dvc_vui_parameters_extension()。当3dvc_vui_parameter_present_flag等于0时，旗标指示不存在3dvc_vui_parameters_extension()。举例来说，3dvc_vui_parameter_present_flag指示并入有本发明的技术中的一些的扩展存在于序列参数集中。

在一些实例中，具有MVC简档(例如，立体高或多视图高)的子集SPS可具有与具有3DV简档的子集SPS相同的SPS id，使得纹理视图分量将指代具有不同简档中的不同内容的相同SPS_id。举例来说，具有MVC的子集SPS可对应于仅具有纹理的操作点。具有与具有3DV简档的子集SPS的SPS id相同的SPS id可使仅包含纹理的操作点能够被解码器或网络装置(例如，媒体意识网络元件(MANE))提取。

多视图高简档支持任意数目个视图。立体高简档支持双视图立体感视频。在其它实例中，本文所述的技术可应用于使用其它MVC简档的实例。

下表提供序列参数集3DVC扩展的扩展语法元素的实例。

在一个实例中，序列参数集3DVC扩展指定具有比经译码视频序列中的其它视图高的分辨率的额外视图的视图间依赖性关系。具有较低分辨率的其它视图的纹理视图分量属于符合附件H的子位流。序列参数集3DVC扩展还指定深度视图分量的依赖性。较高分辨率的视图可具有其它视图的双宽度、相同高度或双高度，或相同宽度。在一些实例中，较高分辨率的视图可具有其它视图的仅双宽度、相同高度或双高度，或相同宽度。

推断深度视图分量的chroma_format_idc等于4∶0∶0。

语法元素disable_depth_inter_view flag可具有与在m22583中具有相同名称的旗标中相同的语义。语法元素depth_pic_width_in_mbs_minus1加1指定以宏块为单位的每一深度视图分量图片的宽度。以宏块为单位的深度视图分量的图片宽度的变量可得出为：

PicWidthlnMbs＝pic_width_in_mbs_minus1+1 (1)

亮度分量的深度视图分量的图片宽度的变量得出为：

PicWidthInSamplesL＝PicWidthlnMbs*16 (2)

在一些实例中，语法元素depth_pic_height_in_map_units_minus1加1指定深度视图分量的经解码帧的片群组图单元中的高度。变量PicHeightInMapUnits和PicSizeInMapUnits得出为：

PicHeightInMapUnits＝pic_height_in_map_units_minus1+1 (3)

PicSizeInMapUnits＝PicWidthInMbs*PicHeightInMapUnits (4)

在一些实例中，当语法元素depth_frame_cropping_flag等于1是，depth_frame_cropping_flag指定在深度视图分量的序列参数集中跟随在后的帧裁剪偏移参数。depth_frame_cropping_flag等于0指定针对深度视图分量，不存在帧裁剪偏移参数。

依据用于输出的帧坐标中所指定的矩形区，语法元素depth_frame_crop_left_offset、depth_frame_crop_right_offset、depth_frame_crop_top_offset和depth_frame_crop_bottom_offset可指定从解码过程输出的经译码视频序列中的深度视图分量的图片的样本。这些偏移可界定经解码深度视图分量的图片的裁剪窗。

在一些实例中，语法元素level_idc_depth[i]指定为具有深度视图分量的经译码视频序列而用信号通知的第i个等级值。

有可能从MVC位流提取一个或一个以上视图以产生子位流。具有给定一组合理的目标输出视图的子位流称为操作点。因为视图依赖性，所述组目标输出视图可为子位流中所含有的视图的子集。目标输出视图也可与子位流中所含有的视图相同。然而，如果服务提供商不倾向于支持具有较大数目的视图的操作点，那么所述数目的目标输出视图可为所含有视图的子集。注意，所含有的视图为待解码的视图。

操作点由表示目标时间等级的temporal_id值和表示目标输出视图的一组view_id值识别。一个操作点与一位流子集相关联，所述位流子集由目标输出视图和目标输出视图所依赖于的所有其它视图组成，即使用如分条款H.8.5.3中所指定的子位流提取过程得出，其中tIdTarget等于temporal_id值，且viewIdTargetList由作为输入的所述组所view_id值组成。一个以上操作点可与同一位流子集相关联。当3DVC称“操作点经解码”时，其指代对应于操作点的位流子集的解码以及目标输出视图的后续输出。

根据本文所述的技术，3DVC SPS扩展的操作点的构造可与MVC SPS扩展中的操作点的构造相同，除了深度视图分量相关联。换句话说，对于在具有等于level_idc[i]的等级的MVC SPS扩展中用信号通知的每一操作点，在3DVC SPS扩展中启用对应的操作点，具有目标输出视图与temporal_id值的相同集合，但对于包含深度分量的每一视图分量，进一步包含level_idc_depth[i]的等级。

或者，具有3DV简档的当前SPS的SPS MVC扩展中用信号通知的level_idc值总是用于含有深度NAL单元的操作点，因此在3DVC的一些例子中，不用信号通知语法元素level_idc_depth[i]。举例来说，当用包含SPS MVC扩展的3DV简档用信号通知SPS中的level_idc值时，根据本文所述的技术，不用信号通知语法元素level_idc_depth[i]，因为level_idc值是用于含有深度NAL单元的操作点。

下表提供3DVC视频可用性信息(VUI)参考扩展的实例语义。

在上文直接展示的实例表，depth_present_flag[i]等于1指示当前操作点包含每一视图的深度视图分量。depth_present_flag[i]等于0指示当前操作点不包含任何深度视图分量。

其它语法元素可具有与具有相同名称的MVC VUI参数扩展中的语法元素相同的语义。

或者，可用信号通知depth_present_idc[i]。元素depth_present_idc[i]等于1可指示当前操作点包含每一视图的深度视图分量。在一些实例中，将depth_present_idc[i]设定为0或2可指示当前操作点仅包含纹理视图分量。在其它实例中，将depth_present_flag[i]设定为等于0可指示当前操作点不包含任何深度视图分量。在其它实例中，将depth_present_idc[i]设定为等于2可指示当前操作点不包含任何深度视图分量。

在另一实例中，甚至属于同一视图的深度视图分量和纹理视图分量可具有用信号通知的不同view_id值。然而，深度视图分量可仍共享与纹理相同的视图依赖性。在一些实例中，SPS3DVC扩展含有view_id值的映射。

下表提供SPS3DVC扩展的另一实例。

语法元素view_id_depth[i]指定具有等于i的VOIdx的深度视图的view_id，其属于具有等于view_id[i]的view_id的纹理视图的视图。

在另一实例中，保持所有其它方面相同，可以与SPS MVC扩展中用信号通知的level_idc值相同的方式用信号通知level_idc_depth值。

在另一实例中，深度视图分量可共享不同seq_parameter_set_data()。由此，用信号通知深度视图分量的宽度和高度。在一个实例，seq_parameter_set_data()语法可包含chorma_format_idc，在一些实例中，其可为4∶0∶0。在这些实例中，深度视图预测关系可仍共享与纹理视图预测关系相同的预测关系。

根据本发明的一个方面，下表提供当深度视图分量共享相同seq_parameter_set_data()时子集序列参数集RBSP语法的语法元素的实例。

根据本发明的一个方面，下表提供当深度视图分量共享相同seq_parameter_set_data()时的实例序列参数集3dVC扩展语法。

在一些实例中，前面的表中的一些表中所展示的语法元素的一些的语义可与相对于这些表中的其它表而描述的类似语法元素相似或相同。

在另一实例中，可提供新的NAL单元类型。NAL单元类型可具有用以用信号通知3DV简档的超SPS的值，例如15。接下来的三个表可对应于3DV简档的超SPS的语法元素。在一些实例中，超SPS可用信号通知深度视图分量和纹理分量两者。

下表提供超序列参数集RBSP语法的一个实例。使用新的NAL单元类型来用信号通知下表的SPS3DVC扩展语法。

根据本文所述的技术，下表提供SPS3DVC扩展语法的一个实例。使用新的NAL单元类型来用信号通知下表的SPS3DVC扩展语法。

根据本文所述的技术，下表提供3DVC VUI参数扩展语法的一个实例。使用新的NAL单元类型来用信号通知下表的3DVC VUI参数扩展语法。

在一些实例中，前面的表中所展示的语法元素的一些的语义可与相对于前面表中的其它表而描述的类似语法元素相似或相同。MVC SPS扩展中所界定的等级可应用于操作点，从而考虑深度NAL单元。在3DV相关简档中，可同时激活一个SPS、一个子集SPS和一个超集SPS。

因此，可借助于3DVC来扩展MVC，以提供深度和纹理分量的单独处置。通过启用此单独处理，本发明中所描述的技术的各个方面可促进位节省(或换句话说，多视图视频数据的较高效译码)和/或经重构视频数据的较佳质量(其再次可依据感觉到的观看体验来测量)。

举例来说，本发明中所描述的技术的各个方面可使视频译码装置(其可表示本发明中用来指代包含视频编码器和/或视频解码器的任何装置，例如源装置12和/或目的地装置14的术语)能够至少基于指派给多视图视频数据的视图分量的视图次序索引值而为视图分量的纹理分量激活作为纹理参数集的参数集。视图次序索引可描述存取单元的对应视图分量的解码次序。可结合图片次序计数(POC)值或帧值使用视图次序索引，以识别位流的视图分量。所述技术的此方面可因此提供仅为视图分量的纹理分量而激活且不应用于同一视图分量的对应深度分量的参数集，例如PPS或SPS。在此方面中，视频译码装置可基于激活的纹理参数集，仅译码视图分量的纹理分量，而不译码视图分量的深度分量。

另外，视频译码装置可至少基于指派给多视图视频数据的视图分量的视图次序索引值而激活用于视图分量的深度分量的参数集。就是说，在一些例子中，视频译码装置可为视图分量的纹理分量激活纹理特定参数集，且接着特定为同一视图分量的深度分量激活又一参数集。因此，视频译码装置可基于为视图分量的深度分量激活的参数集且不基于所激活的纹理参数集来译码视图分量的深度分量。视频译码装置可基于所激活的纹理参数集来译码纹理分量。以此方式，所述技术可促进参数集(例如PPS或SPS)针对视图分量的纹理和深度分量的单独激活，从而提供藉此促进MVC兼容3DVC视图中的深度和纹理分量的单独处置或处理。

本发明中所描述的技术的各种方面还可通过使视频译码装置能够确定应用于视图分量的纹理和深度分量两者或仅应用于视图分量的深度分量的嵌套式补充信息(SEI)消息来促进深度和纹理分量的单独处置。术语“嵌套式SEI消息”指代并入有另一SEI消息的各个部分以使得嵌套式SEI消息有效地“嵌套”在另一SEI消息的范围内的SEI消息。通过使嵌套式SEI消息能够仅应用于深度分量，所述技术的这些方面可再次促进纹理和深度分量的单独处置。

视频译码装置(即，图1的实例中的源装置12和/或目的地装置14)可执行所述技术的这些方面，以确定应用于多视图视频数据的视图分量的译码。此SEI消息可称为母SEI消息，以反映其应用于特定视图分量且设定任何嵌套式SEI消息的范围。视频译码装置可接着确定除补充增强信息消息之外在译码视图分量的深度分量时应用嵌套式补充增强信息消息。此嵌套式SEI消息可识别母SEI消息，且指示此嵌套式SEI消息仅应用于母SEI消息所应用的视图分量的深度分量。视频译码装置可接着基于补充增强信息消息和嵌套式补充增强信息消息来处理视图分量的深度分量。

通常，嵌套式SEI消息包含旗标或其它识别符，其指示嵌套式SEI消息是应用视图分量的纹理和深度分量还是仅应用于深度分量。因此，在一些例子中，视频译码装置可基于补充增强信息消息和嵌套式补充增强信息消息，确定当仅处理视图分量的深度分量时，除补充增强信息消息之外，应用嵌套式补充增强信息消息，且仅处理视图分量的深度分量而不处理视图分量的纹理分量。或者，视频译码装置可基于补充增强信息消息和嵌套式补充增强信息消息，确定当处理视图分量的纹理分量时，除补充增强信息消息之外，应用嵌套式补充增强信息消息，且处理视图分量的纹理分量。并且，所述技术的这些方面再次促进视图分量的深度和纹理分量的单独处置或处理。

本发明中所描述的技术的其它方面可通过使视频译码装置能够单独地将纹理和深度分量从经解码图片缓冲器去除来促进深度和纹理分量的单独处置。经解码图片缓冲器指代能够存储参考图片以用于译码当前视图分量的存储器或其它计算机可读媒体。因为本发明中所陈述的技术实现纹理和深度分量的单独处置，因此视频译码装置可使用与译码同一视图分量的深度分量时所使用的参考图片不同的参考图片来译码视图分量的纹理分量，与MVC相反，在MVC中，使用相同参考图片来译码视图分量(且因此，所述视图分量的深度和纹理分量)。因此，可存在以下例子，其中在参考视图分量的纹理分量之前，可将同一参考视图分量的深度分量从经解码图片缓冲器去除，且在参考视图分量的深度分量之前，可将同一参考视图分量的纹理分量从经解码图片缓冲器去除。

在操作中，视频译码装置可通过将深度分量存储在经解码图片缓冲器中，且分析视图依赖性以确定深度分量是否用于视图间预测，来执行本发明中所描述的技术。视频译码装置可接着响应于确定深度分量不用于视图间预测而将深度分量从经解码图片缓冲器去除。就是说，视频译码装置可响应于确定深度分量不用于视图间预测而将参考视图分量的深度分量从经解码图片缓冲器去除，而不去除同一参考视图分量的纹理分量。在去除深度分量之前，视频译码装置可通过确定深度分量不属于目标输出视图，且所述深度分量与具有等于零的值的网络抽象层参考识别码相关联(意味着包封所述深度分量的NAL单元的内容不用来构造图片间预测的参考图片)，将此深度分量验证为合格以供去除。

本发明中所描述的技术的额外方面还可准许或以其它方式促进深度和纹理分量的单独处置。举例来说，依据操作点，所述技术可使视频译码装置能够产生包含第一语法元素、第二语法元素和第三语法元素的SEI消息，其中第一语法元素指示操作点是否含有深度分量。当操作点含有深度分量时，视频译码装置可界定第二语法元素以指示参考点的目标输出视图直接依赖于的深度分量的数目，且界定第三语法元素以识别参考点的目标输出视图直接依赖于的深度分量。

在一些例子中，操作点可包含所述操作点的第一子集和所述操作点的第二子集，其中第一子集中的每一操作点仅含有纹理分量，且第二子集中的每一操作点含有深度分量。视频译码装置可接着确定简档识别符等于与3D视频译码相关联的给定值，且响应于确定简档识别符等于给定值而产生子集SPS，使得所述子集SPS包含第一SPS扩展和第二SPS扩展。第一SPS扩展可指示第一子集以及第一子集中的操作点所属的等级。第二SPS扩展可指示第二子集以及第二子集中的操作点所属的等级。以此方式，所述技术可准许为纹理和深度分量单独地且根据等级来界定操作点。

所述技术的此方面可利用深度和纹理分量的单独处置，以准许较容易地从位流提取操作点，以用于多视图视频译码。通过用信号通知操作点是否包含深度，视频解码器(例如视频解码器30)可确定哪一操作点最适应视频解码器30的能力。举例来说，视频解码器30可经优化以使用不包含深度的视图来执行多视图视频译码，从而偏好其中将左眼和右眼视角两者作为单独图片提供的多视图视频数据。视频解码器30可替代地为基于深度的多视图视频数据而优化，但可仅适应单个视图而不是两个或两个以上视图。通过用信号通知经编码多视图视频数据何时包含深度，以及在包含深度时，操作点的目标输出视图直接依赖于的深度分量的数目，视频解码器30可选择适应视频解码器30的能力或优化的操作点。

另外，视频译码装置可执行本发明中所描述的技术的方面，以用信号通知操作点所属的等级，其中所述操作点中的至少一些含有深度分量。视频译码装置可接着确定简档识别符等于与3D视频译码相关联的给定值，且响应于确定简档识别符等于给定值而产生子集SPS，使得所述子集SPS包含MVC SPS扩展，其用信号通知操作点以及所述操作点所属的等级。在此实例中，所述操作点中的每一者可指定一个或一个以上输出视图，其中所述输出视图中的每一者含有纹理分量和深度分量两者。

在其它例子中，视频译码装置可执行本发明中所述的技术，以在SPS中产生指示将为MVC过程中的操作点解码的视图的数目的语法元素，其中所述视图中的每一者具有若干纹理分量中的一者以及若干深度分量中的一者。视频译码装置可接着在SPS中用信号通知待为操作点解码的纹理分量的数目，以及待为操作点解码的深度分量的数目。并且，借助于促进深度和纹理分量的单独处置，所述技术可用于用信号通知如何利用这些深度和纹理分量来形成操作点。

图2是说明可实施本发明中所描述的技术以译码多视图视频数据的实例视频编码器20的框图。视频编码器20接收待编码的视频数据。在图2的实例中，视频编码器20包含模式选择单元40、求和器50、变换处理单元52、量化单元54、熵编码单元56以及参考图片存储器64。模式选择单元40又包含运动/差异估计单元42、运动补偿单元44、帧内预测单元46以及分区单元48。

对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60以及求和器62。还可包含去块滤波器(图2中未展示)以对块边界进行滤波，以从经重构的视频去除成块性假影。如果需要，去块滤波器将通常对求和器62的输出进行滤波。除去块滤波器之外，还可使用额外的环路滤波器(环路中或环路后)。为了简明，未展示此些滤波器，但如果需要，此些滤波器可对求和器50进行滤波(如环路内滤波器)。

模式选择单元40可从一个或一个以上视图接收呈块的形式的原始视频数据。模式选择单元40可例如基于错误结果选择译码模式(帧内或帧间)中的一者，且将所得经帧内译码或帧间译码块提供给求和器50以产生残余块数据，且提供给求和器62以重构经编码块以用作参考图片。模式选择单元40还向熵编码单元56提供语法元素，例如运动向量、帧内模式指示符、分区信息和其它此类语法信息。

运动/差异估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动/差异估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。运动向量(例如)可指示当前图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测性块，相对于正在当前图片(或其它经译码单元)内译码的当前块的位移。

预测性块是被发现在像素差异方面密切地匹配待译码块的块，其可由绝对差总和(SAD)、平方差总和(SSD)或其它差异量度确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64(其也可称为参考图片缓冲器)中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动/差异估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。

运动/差异估计单元42通过将PU的位置与参考图片的预测性块的位置进行比较，来计算经帧间译码的片中的视频块的PU的运动向量。运动/差异估计单元42还可经配置以执行视图间预测，在此情况下，运动/差异估计单元42可计算一个视图图片(例如，视图0)的块与参考视图图片(例如，视图1)的对应块之间的位移向量。一般来说，用于运动/差异向量的数据可包含参考图片列表、到参考图片列表中的索引(ref_idx)、水平分量和垂直分量。可从第一参考图片列表(列表0)、第二参考图片列表(列表1)或组合参考图片列表(列表C)选择参考图片，所述参考图片列表中的每一者识别存储在参考图片存储器64中的一个或一个以上参考图片。相对于组合列表，视频编码器20替代地从将插入(附加)到组合列表中的两个列表(即，列表0和列表1)选择条目。当已经将条目放在组合列表中时，通过检查POC编号，视频编码器20可不再次插入所述条目。对于每一列表(即，列表0或列表1)，视频编码器20可基于参考索引的升序来选择条目。

运动/差异估计单元42可产生识别参考图片的预测性块的运动/差异向量，并将其发送到熵编码单元56和运动补偿单元44。就是说，运动/差异估计单元42可产生并发送识别含有预测性块的参考图片列表的运动向量数据、到参考图片列表中的识别预测性块的图片的索引，以及用以在所识别图片内定位所述预测性块的水平和垂直分量。

由运动补偿单元44执行的运动补偿可涉及基于运动/差异估计单元42所确定的运动/差异向量而获取或产生预测性块。并且，在一些实例中，运动/差异估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻定位运动向量在参考图片列表的一者中所指向的预测性块。

求和器50通过将预测性块的像素值从正译码的当前视频块的像素值减去，从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动/差异估计单元42相对于亮度分量执行运动估计，且运动补偿单元44将基于亮度分量而计算的运动向量用于色度分量和亮度分量两者。模式选择单元40还可产生与视频块和视频片相关联的语法元素，以供视频解码器30用于解码视频片的视频块。

作为由运动/差异估计单元42和运动补偿单元44所执行的帧间预测的替代方案，帧内预测模块46可对当前块进行帧内预测，如上文所述。明确地说，帧内预测模块46可确定要用来编码当前块的帧内预测模式。在一些实例中，帧内预测模块46可例如在单独编码遍次期间，使用各种帧内预测模式来编码当前块，且帧内预测模块46(或在一些实例中，模式选择单元40)可从被测模式中选择要使用的适当帧内预测模式。

举例来说，帧内预测单元46可使用对各种被测帧内预测模式的速率失真分析来计算速率失真值，且在被测模式之中选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测单元46可从各种经编码块的失真和速率计算比率，以确定哪一帧内预测模型展现所述块的最佳速率失真值。

在为块选择帧内预测模式之后，帧内预测单元46可提供向熵编码单元56指示为所述块选择的帧内预测模式的信息。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在所发射位流中包含配置数据，其可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称为码字映射表)、各种块的编码情境的定义，以及最可能帧内预测模式的指示、帧内预测模式索引表以及经修改帧内预测模式索引表，以用于所述情境中的每一者。

视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52对残余块应用例如离散余弦变换(DCT)或概念上类似的变换等变换，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52均将变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步降低位速率。量化过程可减少与系数中的一些或全部相关联的位深度。通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率间隔分区熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或存档以供以后发射或检索。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换，以在像素域中重构残余块，例如以供稍后用作参考帧的参考块。运动补偿单元44可通过将残余块与参考图片存储器64的图片中的一者的预测块相加来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块，以计算用于运动估计中的子整数像素值。求和器62将所重构的残余块与由运动补偿单元44产生的经运动补偿的预测块相加以产生经重构视频块，以存储在参考图片存储器64中。经重构的视频块可由运动/差异估计单元42和运动补偿单元44用作对后续图片中的块进行帧间预测的参考块。

视频编码器20可产生若干语法元素，如上文所述，其可由视频编码器20的熵编码单元56或另一编码单元编码。在一些实例中，视频编码器20可产生且编码3DVC位流的语法元素，如上文所述，其中此3DVC位流可再次与MVC向后兼容。就是说，支持MVC但不支持3DVC的视频解码器仍可解码根据本发明中所描述的技术而编码的3DVC位流。

视频编码器20可至少基于指派给多视图视频数据的视图分量的视图次序索引值，为视图分量的纹理分量激活作为纹理参数集的参数集。换句话说，视频编码器20可仅为视图分量的纹理分量激活参数集(例如PPS或SPS)，使得此纹理参数集不应用于同一视图分量的对应深度分量。在此方面中，视频编码器20可基于激活的纹理参数集，仅编码视图分量的纹理分量，而不编码视图分量的深度分量。

明确地说，视频编码器20的模式选择单元40可通过选择模式，例如视图内预测(其可涉及时间或图片间预测，其中图片全部对应于同一视图)、视图间预测或帧内预测，来激活参数集。模式选择单元40可分析译码图片的反复中的每一者，其中每一反复可涉及不同参数。当选择译码图片的各种反复时，模式选择单元40可为图片、视图、视图分量、深度分量和/或纹理分量的特定序列有效地激活参数集。此外，模式选择单元40可以此方式为各自以下文更详细地描述的方式属于同一视图分量的纹理和深度分量激活不同参数集。

另外，模式选择单元40可至少基于指派给3DVC数据的视图分量的视图次序索引值而激活用于视图分量的深度分量的参数集。就是说，在一些例子中，模式选择单元40可为视图分量的纹理分量激活纹理特定参数集，且接着特定为同一视图分量的深度分量激活又一参数集。因此，模式选择单元40可基于为视图分量的深度分量激活的参数集且不基于所激活的纹理参数集来编码视图分量的深度分量。模式选择单元40可基于所激活的纹理参数集来编码纹理分量。以此方式，所述技术可促进参数集(例如PPS或SPS)针对视图分量的纹理和深度分量的单独激活，从而提供藉此促进3DVC中的深度和纹理分量的单独处置或处理。

视频编码器20还可单独地将纹理和深度分量从经解码图片缓冲器去除，在图2的实例中，所述经解码图片缓冲器展示为参考图片存储器64。因为本发明中所陈述的技术实现纹理和深度分量的单独处置，因此视频编码器20可使用与译码同一视图分量的深度分量时所使用的参考图片不同的参考图片来译码视图分量的纹理分量，与3DVC相反，在3DVC中，使用相同参考图片来译码视图分量(且因此，所述视图分量的深度和纹理分量)。因此，可存在以下例子，其中在参考视图分量的纹理分量之前，可将同一参考视图分量的深度分量从经解码图片缓冲器去除，且在参考视图分量的深度分量之前，可将同一参考视图分量的纹理分量从经解码图片缓冲器去除。

在操作中，视频编码器20的模式选择单元40可经配置以执行本发明中所描述的技术。模式选择单元40可将深度分量存储在参考图片存储器64中，且分析视图依赖性以确定深度分量是否用于视图间预测。模式选择单元40可接着响应于确定深度分量不用于视图间预测而将深度分量从参考图片存储器64去除。就是说，模式选择单元40可响应于确定深度分量不用于视图间预测而将参考视图分量的深度分量从参考图片存储器64去除，而不去除同一参考视图分量的纹理分量。在去除深度分量之前，模式选择单元40可通过确定深度分量不属于目标输出视图，且所述深度分量与具有等于零的值的网络抽象层参考识别码相关联(意味着包封所述深度分量的NAL单元的内容不用来构造图片间预测的参考图片)，将此深度分量验证为合格以供去除。

图3是说明可实施本发明中所描述的技术以解码多视图位流的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、具有运动补偿单元82和帧内预测单元84的预测单元81、逆量化单元86、逆变换单元88、求和器90以及参考图片存储器92。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码诗篇片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对所述位流进行熵解码，以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测单元81。视频解码器30可在视频片级和/或视频块级接收语法元素。

举例来说，视频解码器30可接收具有识别存储到NAL单元的数据的类型(例如，VCL数据和非VCL数据)的NAL单元标头的若干NAL单元。参数集可含有序列等级标头信息，例如SPS、PPS或上文所描述的其它参数集。

根据本发明的方面，视频解码器30可至少基于指派给3DVC数据的视图分量的视图次序索引值，为视图分量的纹理分量激活作为纹理参数集的参数集。更具体地说，熵解码单元80可剖析来自位流的参数集，从而解码所述参数集，且将经解码的参数集提供给视频解码器30的其它组件，例如预测单元81、逆量化单元86和逆变换处理单元88。这些组件中的每一者可指代当前活动的参数集，且在此场景中，视频解码器30激活用于视频解码器30的每一组件的参数集。

在任一情况下，视图次序索引可如上文所述描述存取单元的对应视图分量的解码次序。可结合图片次序计数(POC)值或帧值使用视图次序索引，以识别位流的视图分量。所述技术的此方面可因此提供仅为视图分量的纹理分量而激活且不应用于同一视图分量的对应深度分量的参数集，例如PPS或SPS。在此方面中，视频解码器30可基于激活的纹理参数集，仅解码视图分量的纹理分量，而不编码视图分量的深度分量。

另外，视频解码器30可至少基于指派给3DV数据的视图分量的视图次序索引值而激活用于视图分量的深度分量的参数集。就是说，在一些例子中，视频译码装置可为视图分量的纹理分量激活纹理特定参数集，且接着特定为同一视图分量的深度分量激活又一参数集。因此，视频解码器30可基于为视图分量的深度分量激活的参数集且不基于所激活的纹理参数集来译码视图分量的深度分量。视频解码器30可基于所激活的纹理参数集来解码纹理分量。以此方式，所述技术可促进参数集(例如PPS或SPS)针对视图分量的纹理和深度分量的单独激活，从而提供藉此促进3DVC中的深度和纹理分量的单独处置或处理。

详细地说，所述技术的此方面可使视频译码器(其可通常指代视频编码器和/或视频解码器中的两者或任一者)能够为深度分量和纹理分量中的每一者激活单独的参数集。序列和图片参数集机制可有效地使很少改变的信息的发射从经译码宏块数据的发射去耦。在一些应用中，可使用可靠输送机制在带外传达序列和图片参数集。图片参数集原始字节序列有效负载(或“RBSP”，其为指代图片参数集的另一较正式方式)包含可由一个或一个以上视图分量的一个或一个以上纹理或深度分量的经译码片NAL单元指代的参数。序列参数集RBSP包含可由一个或一个以上图片参数集或一个或一个以上缓冲周期SEI消息指代的参数。

当解码含有深度视图的3DVC位流时，在解码过程的操作期间的任一给定时刻，视频解码器30可激活零个或零个以上活动图片参数集、零个或零个以上活动纹理图片参数集以及零个或零个以上活动视图图片参数集。每一活动纹理图片参数集特定针对小于或等于最大视图次序索引值的特定视图次序索引值而活动，且每一活动视图图片参数集特定针对小于最大视图次序索引值的特定视图次序索引值而活动。

类似地，在解码过程的操作期间的给定时刻，视频解码器30可激活零个或一个活动MVC序列参数集、零个或零个以上活动纹理MVC序列参数集以及零个或零个以上活动视图MVC序列参数集。每一活动纹理MVC序列参数集特定针对小于或等于最大视图次序索引值的特定视图次序索引值而活动，且每一活动视图MVC序列参数集特定针对小于最大视图次序索引值的特定视图次序索引值而活动。

在此意义上，针对3DVC而激活参数集通常类似于MVC中的参数集的激活，除了本文所述的那些差异(其涉及如何处置MVC中当前不支持的深度视图分量的例子)。此外，MVC在每一参数集中提供若干保留位，针对使用MVC(例如3DVC)的扩展的额外语法元素可利用所述保留为来指定3DVC特定语法元素。通过提供这些保留位，参数集维持与MVC的向后兼容性，但这些保留位可用来指定与对H.264/AVC的MVC扩展无关或其中未指定的语法元素。因为此原因，尽管MVC参数集可包含与MVC无关的额外语法元素，但在给定MVC参数集中存在的保留位的情况下，这些参数集称为MVC参数集。

图片和序列参数集的详细激活过程如下。在解码过程的操作的开始，视频解码器30最初将每一图片参数集RBSP视为不活动。最多，视频解码器30在解码过程的操作期间的任一给定时刻，激活一个图片参数集RBSP作为活动图片参数集RBSP。当任一特定图片参数集RBSP变为活动图片参数集RBSP时，视频解码器30有效地去活先前活动的图片参数集RBSP(如果存在的话)。

除活动图片参数集RBSP之外，视频解码器30可特定为属于目标输出视图或可通过解码属于目标输出视图的纹理分量中的视图间预测来指代的纹理分量(具有小于或等于最大视图次序索引值(“VOIdxMax”)的特定视图次序索引值(“VOIdx”)激活零个或零个以上图片参数集RBSP。此图片参数集RBSP称为针对VOIdx的特定值的活动视图图片参数集RBSP。对活动图片参数集RBSP的约束也适用于VOIdx的特定值的活动视图图片参数集RBSP。

此外，视频解码器30可特定为属于目标输出视图或可通过解码属于目标输出视图的深度分量中的视图间预测指代的视图分量(具有小于VOIdxMax的VOIdx的特定值)激活零个或零个以上特定参数集RBSP。此图片参数集RBSP称为针对VOIdx的特定值的活动视图图片参数集RBSP。对活动图片参数集RBSP的约束也适用于小于VOIdxMax的VOIdx的特定值的活动视图图片参数集RBSP。

当图片参数集RBSP(具有pic_parameter_set_id的特定值)不是活动图片参数集RBSP，且图片参数集RBSP由属于深度分量且具有等于VOIdxMax的VOIdx的经译码片NAL单元(使用pic_parameter_set_i的值)指代，那么视频解码器30可激活所述图片参数集RBSP。属于深度分量的经译码片NAL单元可具有等于21的na1_unit_type。此图片参数集RBSP称为活动图片参数集RBSP，直到当另一图片参数集RBSP变为活动图片参数集RBSP时，所述图片参数集RBSP被去活为止。具有pic_parameter_set_id的特定值的图片参数集RBSP在所述图片参数集RBSP的激活之前将可用于解码过程。

当针对小于VOIdxMax的VOIdx的特定值，图片参数集RBSP(具有pic_parameter_set_id的特定值)不是活动视图图片参数集，且图片参数集RBSP由属于深度分量(即，具有等于21的nal_unit_type)且具有VOIdx的特定值的经译码片NAL单元(使用pic_parameter_set_id的所述值)指代时，视频解码器30为具有VOIdx的特定值的视图分量激活图片参数集RBSP。此图片参数集RBSP称为针对VOIdx的特定值的活动视图图片参数集RBSP，直到当另一图片参数集RBSP变为针对VOIdx的特定值的活动视图图片参数集RBSP时，所述图片参数集RBSP被去活为止。具有pic_parameter set id的特定值的图片参数集RBSP在所述图片参数集RBSP的激活之前将可用于解码过程。

当针对小于或等于VOIdxMax的VOIdx的特定值，图片参数集RBSP(具有pic_parameter_set_id的特定值)不是活动纹理图片参数集，且图片参数集RBSP由属于纹理分量(即，具有等于1、5或20的nal_unit_type)且具有VOIdx的特定值的经译码片NAL单元(使用pic_parameter_set_id的所述值)指代时，视频解码器30为具有VOIdx的特定值的深度分量激活图片参数集RBSP。此图片参数集RBSP称为针对VOIdx的特定值的活动纹理图片参数集RBSP，直到当另一图片参数集RBSP变为针对VOIdx的特定值的活动纹理图片参数集RBSP时，所述图片参数集RBSP被去活为止。具有pic_parameter_set_id的特定值的图片参数集RBSP在所述图片参数集RBSP的激活之前将可用于解码过程。

含有用于经译码图片的活动图片参数集RBSP的pic_parameter_set_id的值的任何图片参数集NAL单元将具有与用于此经译码图片的活动图片参数集RBSP的内容相同的内容，除非图片参数集NAL单元在此经译码图片的最后一个VCL NAL单元之后，且在另一经译码图片的第一VCL NAL单元之前。对于小于经译码图片的VOIdxMax的VOIdx的特定值，含有活动视图图片参数集RBSP的pic_parameter_set_id的值的任何图片参数集NAL单元将具有与针对此经译码图片的VOIdx的特定值的活动视图图片参数集RBSP的内容相同的内容，除非图片参数集NAL单元在此经译码图片的最后一个VCL NAL单元之后，且在另一经译码图片的第一VCL NAL单元之前。对于经译码图片的VOIdx的特定值，含有活动纹理图片参数集RBSP的pic_parameter_set_id的值的任何图片参数集NAL单元将具有与针对此经译码图片的VOIdx的特定值的活动纹理图片参数集RBSP的内容相同的内容，除非图片参数集NAL单元在此经译码图片的最后一个VCL NAL单元之后，且在另一经译码图片的第一VCL NAL单元之前。

在解码过程的操作的开始，视频解码器30最初确定每一MVC序列参数集RBSP为不活动。并且，对MVC序列参数集的参考涉及3DVC的上下文内的MVC序列参数集，其继承或以其它方式采用MVC，且因此并入有MVC序列参数集(但可通过添加额外的3DVC特定语法元素来修改这些参数集)。最多，视频解码器30在解码过程的操作期间的任一给定时刻，确定一个MVC序列参数集RBSP为活动MVC序列参数集RBSP。当任一特定MVC序列参数集RBSP变为活动MVC序列参数集RBSP时，视频解码器30去活先前活动的MVC序列参数集RBSP(如果存在的话)。

所述活动MVC序列参数集RBSP为序列参数集RBSP或子集序列参数集RBSP。序列参数集RBSP由具有等于1或5的nal_unit_type的经译码片NAL单元或不包含在MVC可缩放嵌套SEI消息或3DV可缩放嵌套SEI消息中的缓冲周期SEI消息激活。子集序列参数集由经译码片MVC扩展NAL单元(等于21的nal_unit_type)包含在3DVC可缩放嵌套SEI消息中的缓冲周期SEI消息激活。序列参数集RBSP和子集序列参数集RBSP可具有seq_parameter_set_id的相同值。

除活动MVC序列参数集RBSP之外，视频解码器30可特定为属于目标输出视图或可通过解码属于目标输出视图的视图分量中的视图间预测指代的视图分量(具有小于VOIdxMax的VOIdx的特定值)激活零个或零个以上MVC序列参数集RBSP。此MVC序列参数集RBSP称为针对VOIdx的特定值的活动视图MVC序列参数集RBSP。对活动MVC序列参数集RBSP的约束也适用于小于VOIdxMax的VOIdx的特定值的活动视图MVC序列参数集RBSP。

此外，视频解码器30可特定为属于目标输出视图或可通过解码属于目标输出视图的纹理分量中的视图间预测指代的纹理分量(具有小于或等于VOIdxMax的VOIdx的特定值)激活零个或零个以上MVC序列参数集RBSP。此MVC序列参数集RBSP称为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP。对活动MVC序列参数集RBSP的约束也适用于针对VOIdx的特定值的活动纹理MVC序列参数集RBSP。

对于以下描述，如下指定激活缓冲周期SEI消息。

-如果VOIdxMax等于VOIdxMin，且存取单元含有不包含在MVC可缩放嵌套SEI消息中且不包含在3DVC可缩放嵌套SEI消息中的缓冲周期SEI消息，那么此缓冲周期SEI消息为激活缓冲周期SEI消息。

-否则，如果VOIdxMax不等于VOIdxMin，且存取单元含有包含在3DVC可缩放嵌套SEI消息中且与正解码的操作点相关联的缓冲周期SEI消息，那么此缓冲周期SEI消息为激活缓冲周期SEI消息。

-否则，存取单元不含有激活缓冲周期SEI消息。

当具有seq_parameter_set_id的特定值的序列参数集RBSP(nal_unit_type等于7)尚未是活动MVC序列参数集RBSP，且序列参数集RBSP由图片参数集RBSP的激活(使用seq_parameter_set_id的值)来指代，且图片参数集RBSP由具有等于1或5的nal_unit_type的经译码片NAL单元激活(图片参数集RBSP变为活动图片参数集RBSP，且VOIdxMax等于VOIdxMin，且存取单元中不存在深度分量)，且存取单元不含有激活缓冲周期SEI消息时，视频解码器30可激活序列参数集RBSP。此序列参数集RBSP称为活动MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为活动MVC序列参数集RBSP时，所述序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的序列参数集RBSP在所述序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的序列参数集RBSP(nal_unit_type等于7)尚未是活动MVC序列参数集RBSP，且所述序列参数集RBSP由不包含在3DVC可缩放嵌套SEI消息中的激活缓冲周期SEI消息(使用seq_parameter_set_id的值)指代，且VOIdxMax等于VOIdxMin，且存取单元中不存在深度分量时，视频解码器30激活所述序列参数集RBSP。此序列参数集RBSP称为活动MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为活动MVC序列参数集RBSP时，所述序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的序列参数集RBSP在所述序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是活动MVC序列参数集RBSP，且子集序列参数集RBSP由图片参数集RBSP的激活(使用seq_parameter_set_id的所述值)来指代，且图片参数集RBSP由具有等于21的nal_unit_type且具有等于VOIdxMax的VOIdx的经译码片NAL单元激活(图片参数集RBSP变为活动图片参数集RBSP)，且存取单元不含有激活缓冲周期SEI消息时，视频解码器30可激活子集序列参数集RBSP。此子集序列参数集RBSP称为活动MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为活动MVC序列参数集RBSP时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在其激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是活动MVC序列参数集RBSP，且所述子集序列参数集RBSP由包含在3DV可缩放嵌套SEI消息中的激活缓冲周期SEI消息(使用seq_parameter_set_id的所述值)指代时，视频解码器30激活所述子集序列参数集RBSP。此子集序列参数集RBSP称为活动MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为活动MVC序列参数集RBSP时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在所述子集序列参数集RBSP的激活之前将可用于解码过程。

对于以下描述，如下指定针对VOIdx的特定值的激活纹理缓冲周期SEI消息。

-如果存取单元含有包含在MVC可缩放嵌套SEI消息中且与对其而言相关联位流子集中的最大VOIdx等于VOIdx的特定值的操作点相关联的一个或一个以上缓冲周期SEI消息，那么在解码次序中，这些缓冲周期SEI消息中的第一者为针对VOIdx的特定值的激活纹理缓冲周期SEI消息。

-否则，如果存取单元含有不包含在MVC可缩放嵌套SEI消息或3DV可缩放嵌套SEI消息中的缓冲周期SEI消息，那么此缓冲周期SEI消息为针对等于VOIdxMin的VOIdx的特定值的激活纹理缓冲周期SEI消息。

-否则，存取单元不含有针对VOIdx的特定值的激活纹理缓冲周期SEI消息。

当具有seq_parameter_set_id的特定值的序列参数集RBSP(nal_unit_type等于7)尚未是针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP，且序列参数集RBSP由图片参数集RBSP的激活(使用seq_parameter_set_id的所述值)来指代，且图片参数集RBSP由具有等于1或5的nal_unit_type的经译码片NAL单元激活(图片参数集RBSP变为针对等于VOIdxMin的VOIdx的活动纹理图片参数集RBSP)时，视频解码器30可激活具有等于VOIdxMin的VOIdx的纹理分量的序列参数集RBSP。此序列参数集RBSP称为针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP时，所述序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的序列参数集RBSP在所述序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的序列参数集RBSP(nal_unit_type等于7)尚未是针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP，且所述序列参数集RBSP由不包含在MVC可缩放嵌套SEI消息或3DV可缩放嵌套SEI消息中的激活纹理缓冲周期SEI消息(使用seq_parameter_set_id的所述值)指代时，视频解码器30可激活具有等于VOIdxMin的VOIdx的纹理分量的序列参数集RBSP。此序列参数集RBSP称为针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对等于VOIdxMin的VOIdx的活动纹理MVC序列参数集RBSP时，所述序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的序列参数集RBSP在所述序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是针对小于或等于VOIdxMax的VOIdx的特定值的活动纹理MVC序列参数集RBSP，且子集序列参数集RBSP由图片参数集RBSP的激活(使用seq_parameter_set_id的所述值)来指代，且图片参数集RBSP由具有VOIdx的特定值的经译码片NAL单元(nal_unit_type等于20)激活(图片参数集RBSP变为针对VOIdx的特定值的活动纹理图片参数集RBSP)时，视频解码器30可激活具有VOIdx的特定值的纹理分量的子集序列参数集RBSP。此子集序列参数集RBSP称为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在所述子集序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是针对小于或等于VOIdxMax的VOIdx的特定值的活动纹理MVC序列参数集RBSP，且所述子集序列参数集RBSP由包含在MVC可缩放嵌套SEI消息中且与VOIdx的特定值相关联的激活纹理缓冲周期SEI消息(使用seq_parameter_set_id的所述值)指代时，视频解码器30可激活具有VOIdx的特定值的纹理分量的此子集序列参数集RBSP。此子集序列参数集RBSP称为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在所述子集序列参数集RBSP的激活之前将可用于解码过程。

对于以下说明书，如下指定针对VOIdx的特定值的激活视图缓冲周期SEI消息。

-如果存取单元含有包含在3DVC可缩放嵌套SEI消息中且与对其而言相关联位流子集中的最大VOIdx等于VOIdx的特定值的操作点相关联的一个或一个以上缓冲周期SEI消息，那么在解码次序中，这些缓冲周期SEI消息中的第一者为针对VOIdx的特定值的激活视图缓冲周期SEI消息。

-否则，存取单元不含有针对VOIdx的特定值的激活视图缓冲周期SEI消息。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是针对小于VOIdxMax的VOIdx的特定值的活动视图MVC序列参数集RBSP，且子集序列参数集RBSP由图片参数集RBSP的激活(使用seq_parameter_set_id的所述值)来指代，且图片参数集RBSP由具有等于21的nal_unit_type且具有VOIdx的特定值的经译码片NAL单元激活(图片参数集RBSP变为针对VOIdx的特定值的活动视图图片参数集RBSP)时，视频解码器30激活具有VOIdx的特定值的视图分量的子集序列参数集RBSP。此子集序列参数集RBSP称为针对VOIdx的特定值的活动视图MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP时，或当解码具有小于或等于VOIdx的特定值的VOIdxMax的存取单元时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在所述子集序列参数集RBSP的激活之前将可用于解码过程。

当具有seq_parameter_set_id的特定值的子集序列参数集RBSP(nal_unit_type等于15)尚未是针对小于VOIdxMax的VOIdx的特定值的活动视图MVC序列参数集RBSP，且所述子集序列参数集RBSP由包含在3DV可缩放嵌套SEI消息中且与VOIdx的特定值相关联的激活视图缓冲周期SEI消息(使用seq_parameter_set_id的所述值)指代时，视频解码器30激活具有VOIdx的特定值的视图分量的此子集序列参数集RBSP。此子集序列参数集RBSP称为针对VOIdx的特定值的活动视图MVC序列参数集RBSP，直到当另一MVC序列参数集RBSP变为针对VOIdx的特定值的活动纹理MVC序列参数集RBSP时，或当解码具有小于或等于VOIdx的特定值的VOIdxMax的存取单元时，所述子集序列参数集RBSP被去活为止。具有seq_parameter_set_id的所述特定值的子集序列参数集RBSP在所述子集序列参数集RBSP的激活之前将可用于解码过程。

包含H.264/AVC的附件A或附件H或所提出的附件I中未指定的profile_idc的值的MVC序列参数集RBSP将不由作为活动图片参数集RBSP或作为活动视图图片参数集RBSP或作为活动纹理图片参数集RBSP的图片参数集RBSP的激活(使用seq_parameter_set_id的所述值)来指代，且不由缓冲周期SEI消息(使用seq_parameter_set_id的所述值)来指代。包含H.264/AVC的附件A或附件H或所提出的附件I中未指定的profile_idc的值的MVC序列参数集RBSP在对H.264/AVC的附件A或附件H或所提出的附件I中所指定的简档的解码中忽略。

这是以下约束遵守的位流一致性的要求：

-对于VOIdx的每一特定值，经译码视频序列的所有经译码片NAL单元(具有等于1、5、20或21的nal_unit_type)将指代seq_parameter_set_id的相同值(经由由pic_parameter_set_id的值指代的图片参数集RBSP)。

-不包含在MVC可缩放嵌套SEI消息中的缓冲周期SEI消息中的seq_parameter_set_id的值将与由同一存取单元中具有等于1或5(经由pic_parameter_set_id的值)的nal_unit_type的经译码片NAL单元指代的图片参数集RBSP中的seq_parameter_set_id的值相同。

-包含在MVC可缩放嵌套SEI消息中且与VOIdx的特定值相关联的缓冲周期SEI消息中的seq_parameter_set_id的值将与由同一存取单元中具有等于1、5或20的nal_unit_type且具有VOIdx的特定值(经由pic_parameter_set_id的值)的经译码片NAL单元指代的图片参数集RBSP中的seq_parameter_set_id的值相同。

-包含在3DVC可缩放嵌套SEI消息中且与VOIdx的特定值相关联的缓冲周期SEI消息中的seq_parameter_set_id的值将与由同一存取单元中具有等于21的nal_unit_type且具有VOIdx的特定值(经由pic_parameter_set_id的值)的经译码片NAL单元指代的图片参数集RBSP中的seq_parameter_set_id的值相同。

针对VOIdx的不同值的活动视图MVC序列参数集RBSP可为相同MVC序列参数集RBSP。针对VOIdx的特定值的活动MVC序列参数集RBSP和活动视图MVC序列参数集RBSP可为相同MVC序列参数集RBSP。

针对VOIdx的不同值的活动纹理MVC序列参数集RBSP可为相同MVC序列参数集RBSP。针对VOIdx的特定值的活动MVC序列参数集RBSP和活动纹理MVC序列参数集RBSP可为相同MVC序列参数集RBSP。针对VOIdx的特定值的活动视图MVC序列参数集RBSP和针对VOIdx的特定值的活动纹理MVC序列参数集RBSP可为相同MVC序列参数集RBSP。

当经译码图片的活动MVC序列参数集RBSP为序列参数集RBSP时，含有此经译码图片且具有活动MVC序列参数集RBSP的seq_parameter_set_id的值的经译码视频序列中的任何序列参数集RBSP将具有与活动MVC序列参数集RBSP的内容相同的内容。

当经译码图片的活动MVC序列参数集RBSP为子集序列参数集RBSP时，含有此经译码图片且具有活动MVC序列参数集RBSP的seq_parameter_set_id的值的经译码视频序列中的任何子集序列参数集RBSP将具有与活动MVC序列参数集RBSP的内容相同的内容。

对于VOIdx的每一特定值，以下适用：

当经译码图片的活动纹理MVC序列参数集RBSP为序列参数集RBSP时，含有此经译码图片且具有活动纹理MVC序列参数集RBSP的seq_parameter_set_id的值的经译码视频序列中的任何序列参数集RBSP将具有与活动纹理MVC序列参数集RBSP的内容相同的内容。

当经译码图片的活动纹理MVC序列参数集RBSP为子集序列参数集RBSP时，含有此经译码图片且具有活动纹理MVC序列参数集RBSP的seq_parameter_set_id的值的经译码视频序列中的任何子集序列参数集RBSP将具有与活动纹理MVC序列参数集RBSP的内容相同的内容。

经译码图片的活动视图MVC序列参数集RBSP为子集序列参数集RBSP，且含有此经译码图片且具有活动视图MVC序列参数集RBSP的seq_parameter_set_id的值的经译码视频序列中的任何子集序列参数集RBSP将具有与活动视图MVC序列参数集RBSP的内容相同的内容。

如果图片参数集RBSP或MVC序列参数集RBSP在位流内传达，那么这些约束相应地对含有图片参数集RBSP或MVC序列参数集RBSP的NAL单元强加次序约束。否则(图片参数集RBSP或MVC序列参数集RBSP通过H.264视频译码标准的此建议l国际标准中未指定的其它途径来传达)，它们必须以及时方式可用于解码过程，使得这些约束得以遵守。

当存在时，序列参数集扩展RBSP包含具有与序列参数集RBSP的那些参数的类似函数的参数。出于建立对序列参数集扩展RBSP的语法元素的约束的目的，且出于确定序列参数集扩展RBSP的激活的目的，序列参数集扩展RBSP将被视为先前序列参数集RBSP的具有seq_parameter_set_id的相同值的部分。当在序列参数集RBSP的激活之前，存在后面未接具有seq_parameter_set_id的相同值的序列参数集扩展RBSP的序列参数集RBSP时，所述序列参数集扩展RBSP及其语法元素将被视为对于活动MVC序列参数集RBSP来说不存在。序列参数集扩展RBSP的内容仅在解码符合附件A中指定的简档、符合附件I中所指定的一个或一个以上简档的经译码视频序列中的一者或一者以上的基础纹理视图时适用。子集序列参数集RBSP后将不接序列参数集扩展RBSP。

不将序列参数集扩展RBSP视为子集序列参数集RBSP的部分，且子集序列参数集RBSP不得后接序列参数集扩展RBSP。

对于具有等于VOIdxMax的VOIdx的视图分量，在MVC序列参数集和图片参数集中的语法元素的值(以及从那些语法元素得出的变量的值)以及其它语法元素的值之间的关系上表达的所有约束是仅适用于活动MVC序列参数集和活动图片参数集的约束的表达。对于具有小于VOIdxMax的VOIdx的特定值的视图分量，在MVC序列参数集和图片参数集中的语法元素的值(以及从那些语法元素得出的变量的值)以及其它语法元素的值之间的关系上表达的所有约束是针对VOIdx的特定值仅适用于活动视图MVC序列参数集和活动视图图片参数集的约束的表达。

如果位流中存在永不激活的具有等于附件A、附件H或所提出的附件I中所指定的profile_idc值中的一者的值的profil_idc的任何MVC序列参数集RBSP(即，所述MVC序列参数集RBSP永不成为活动MVC序列参数集或活动视图MVC序列参数集)，那么MVC序列参数集RBSP的语法元素将具有在MVC序列参数集RBSP在原本符合的位流中通过引用而激活的情况下将符合指定约束的值。如果位流中存在永不激活的任何图片参数集RBSP(即，图片参数集RBSP永不成为活动图片参数集或活动视图图片参数集)，那么图片参数集RBSP的语法元素将具有在图片参数集RBSP在原本符合的位流中通过引用而激活的情况下将符合指定约束的值。

在解码过程的操作期间，对于具有等于VOIdxMax的VOIdx的视图分量，活动图片参数集和活动MVC序列参数集的参数的值将被视为有效(在一个实例中，意味着在解码时应用。对于具有小于VOIdxMax的VOIdx的特定值的视图分量，针对VOIdx的特定值的活动视图图片参数集和活动视图MVC序列参数集的参数的值将被视为有效。为了解译应用于整个存取单元或具有等于VOIdxMax的VOIdx的视图分量的SEI消息，针对同一存取单元的活动图片参数集和活动MVC序列参数集的参数的值将被视为有效，除非SEI消息语义中另有指定。为了解译应用于具有小于VOIdxMax的VOIdx的特定值的视图分量的SEI消息，针对同一存取单元的VOIdx的特定值的活动视图图片参数集和活动视图MVC序列参数集的参数的值将被视为有效，除非SEI消息语义中另有指定。

对于任何活动MVC SPS或活动视图MVC SPS，MVC SPS扩展中的语法元素的部分仅应用于指代此SPS的深度视图，而MVC SPS扩展中的语法元素的一些其它部分共同适用于指代此SPS的深度视图和对应的纹理视图两者。更具体地说，MVC SPS扩展的视图依赖性信息仅应用于深度视图，且等级定义共同适用于操作点，其中的每一者含有深度视图及其对应的纹理视图两者。

在一些例子中，本发明的技术可使视频解码器30能够在含有深度视图的位流的译码期间为视图次序索引值激活纹理图片参数集(PPS)或纹理MVC序列参数集(SPS)。

在一些例子中，视频解码器30可在位流的译码期间激活活动PPS，在位流的译码期间激活针对视图次序索引值的活动视图PPS，在位流的译码期间激活针对视图次序索引值的活动视图MVC SPS，且在位流的译码期间激活活动MVC SPS。

在一些例子中，激活纹理PPS可涉及：当PPS RBSP不是针对视图次序索引值的活动纹理PPS，且PPS RBSP由属于纹理分量且指定视图次序索引值的经译码片网络抽象层(NAL)单元指代时，为指定视图次序索引值的深度分量激活PPS原始字节序列有效负载(RBSP)；激活PPS RBSP。视频解码器30还可激活纹理PPS和纹理MVS SPS，如上文所述。

在任一情况下，当将视频片译码为经帧内译码(I)片时，预测单元81的帧内预测单元84可鉴于活动参数集，基于用信号通知的帧内预测模式以及来自当前图片的先前经解码块的数据来产生当前视频片的视频块的预测数据。当将图片译码为经帧间译码(即，B、P或一般化PB(GPB))片时，预测单元81的运动补偿单元82再次鉴于活动参数集，基于从熵解码单元80接收到的运动向量和其它语法元素产生当前视频片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储在参考图片存储器92中的参考图片，使用默认构造技术来构造参考图片列表，列表0和列表1(或组合列表，列表c)。

运动补偿单元82通过剖析运动向量和其它语法元素来确定用于当前视频片的视频块的预测信息，且使用所述预测信息来产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些来确定用以对视频片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测片类型(例如，B片、P片或GPB片)、所述片的参考图片列表中的一者或一者以上的构造信息、所述片的每一经帧间编码视频块的运动向量、所述片的每一经帧间译码视频块的帧间预测状态，以及用以解码当前视频片中的视频块的其它信息。

逆量化单元86逆量化(即，去量化)位流中所提供且由熵解码单元80解码的经量化变换系数。逆量化过程可包含对视频片中的每一视频块使用视频编码器20所计算的量化参数以确定量化程度，以及同样地，应应用的逆量化的程度。

逆变换处理单元88对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残余块。逆变换处理单元88可确定将变换应用于残余数据的方式。

在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自逆变换处理单元88的残余块与运动补偿单元82产生的对应预测性块进行求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要的话，还可应用去块滤波器来对经解码块进行滤波，以便去除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来平滑像素过渡，或以其它方式改进视频质量。接着将给定图片中的经解码视频块存储在参考图片存储器92中，其存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以供以后在显示装置(例如，图1的显示装置32)上呈现。

本发明中所描述的技术的其它方面可通过使视频译码装置能够单独地将纹理和深度分量从经解码图片缓冲器去除来促进深度和纹理分量的单独处置。经解码图片缓冲器指代能够存储参考图片以用于译码当前视图分量的存储器或其它计算机可读媒体。在图3的实例中，将经解码图片缓冲器展示为参考图片存储器92。因为本发明中所陈述的技术实现纹理和深度分量的单独处置，因此视频解码器30可使用与译码同一视图分量的深度分量时所使用的参考图片不同的参考图片来解码视图分量的纹理分量，与3DVC相反，在3DVC中，在给定MVC中的视图的处理的情况下，使用相同参考图片来译码视图分量(且因此，所述视图分量的深度和纹理分量)。因此，可存在以下例子，其中在参考视图分量的纹理分量之前，可将同一参考视图分量的深度分量从经解码图片缓冲器去除，且在参考视图分量的深度分量之前，可将同一参考视图分量的纹理分量从经解码图片缓冲器去除。

在操作中，视频解码器30可通过将深度分量存储在参考图片存储器92中，且分析视图依赖性以确定深度分量是否用于视图间预测，来执行本发明中所描述的技术。视频解码器30可接着响应于确定深度分量不用于视图间预测而将深度分量从参考图片存储器92去除。就是说，视频解码器30可响应于确定深度分量不用于视图间预测而将参考视图分量的深度分量从参考图片存储器92去除，而不去除同一参考视图分量的纹理分量。在去除深度分量之前，视频解码器30可通过确定深度分量不属于目标输出视图，且所述深度分量与具有等于零的值的网络抽象层参考识别码相关联(意味着包封所述深度分量的NAL单元的内容不用来构造图片间预测的参考图片)，将此深度分量验证为合格以供去除。

就是说，在3DVC(其再次也可称为MVC加深度或MVC+D)中，每一视图的纹理或深度部分具有其自己的参考图片标记过程。属于目标输出视图的纹理和深度分量可同时输出。

对于不属于目标输出视图且具有等于0的nal_ref_idc的深度分量，一旦所述深度分量永不用于视图间参考，视频解码器30就可通过分析在含有3DV简档且当前激活为活动视图MVC序列参数集RBSP的子集SPS的MVC SPS扩展中用信号通知的视图依赖性，将深度分量从DPB去除。并且，本发明中对MVC的参考指代3DVC的上下文中的MVC，其如上文所述为H.264的所提出扩展。

举例来说，本发明的技术可使视频译码器(其可指代视频编码器20和/或视频解码器30中的两者或任一者)能够将深度分量存储在经解码图片缓冲器中，所述深度分量不属于目标输出视图，且具有等于0的nal_ref_idc。此外，视频译码器可分析视图依赖性，以确定深度分量是否永不用于视图间参考。另外，视频译码器可包括响应于确定深度分量永不用于视图间参考而将深度分量从经解码图片缓冲器去除。视图依赖性可在子集SPS的MVC序列参数集(SPS)扩展中用信号通知，所述子集SPS含有3DV简档，所述子集SPS当前激活为活动视图MVC序列参数集。视频编码器可编码深度分量。或者，视频译码器可解码深度分量。

虽然上文相对于视频编码器20或视频解码器30中的一者描述所述技术的各个方面，但在一些例子中，所述技术可由视频编码器20和视频解码器30两者以相同或互逆方式实施。因此，所述技术可通常由视频译码器实施，视频译码器可表示本发明中用来指代视频编码器20和视频解码器30中的两者或仅一者的术语。因此，这些技术在此方面应不受限制，而是可通常由任何视频译码器实施。

图4是更详细地说明包封单元21的框图。在图4的实例中，包封单元21包含视频输入接口100、音频输入接口102、视频文件创建单元104和视频文件输出接口106。在此实例中，视频文件创建单元104包含补充增强信息(SEI)消息产生单元108、视图识别符(ID)指派单元110、表示创建单元112和操作点创建单元114。

视频输入接口100和音频输入接口102分别接收经编码的视频和音频数据。虽然图1的实例中未展示，但源装置12还可包含音频源和音频编码器，以分别产生音频数据且编码音频数据。包封单元21可接着包封经编码音频数据和经编码视频数据以形成视频文件。视频输入接口100和音频输入接口102可在数据被编码时接收经编码视频和音频数据，或可从计算机可读媒体检索经编码视频和音频数据。在接收到经编码视频和音频数据后，视频输入接口100和音频输入接口102即刻将经经编码视频和音频数据传递到视频文件创建单元104，以供汇编到视频文件中。

视频文件创建单元104可对应于包含经配置以执行归于其的功能和程序的硬件、软件和/或固件的控制单元。控制单元可进一步执行通常归于包封单元21的功能。对于其中视频文件创建单元104包含在软件和/或固件中的实例，包封单元21可包含包括用于视频文件创建单元104的指令的计算机可读媒体以及用以执行所述指令的处理单元。视频文件创建单元104的子单元(在此实例中，SEI消息产生单元108、视图ID指派单元110、表示创建单元112和操作点创建单元114)中的每一者可实施为个别硬件单元和/或软件模块，且可在功能上集成或进一步分成额外子单元。

视频文件创建单元104可对应于任何合适的处理单元或处理电路，例如一个或一个以上微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其任何组合。视频文件创建单元104可进一步包含存储用于SEI消息产生单元108、视图ID指派单元110、表示创建单元112和操作点创建单元114中的任一者或全部的指令的非暂时性计算机可读媒体，以及用于执行所述指令的处理器。

一般来说，视频文件创建单元104可创建包含接收到的音频和视频数据的一个或一个以上视频文件。视频文件创建单元104可构造包含两个或两个以上视图的多媒体内容的媒体呈现描述(MPD)。在其它实例中，视频文件创建单元104可创建存储与多媒体内容的MPD的数据类似的数据的清单。SEI消息产生单元108可表示产生SEI消息的单元。视图ID指派单元110可将视图识别符指派给多媒体内容的视图中的每一者。表示创建单元112可构造多媒体内容的一个或一个以上表示，其中的每一者可包含多媒体内容的视图中的一者或一者以上。在一些实例中，视图ID指派单元110可包含MPD和/或表示中的数据(例如，所述表示的标头数据)，其指示包含于所述表示中的视图的视图识别符的最大值和最小值。另外，表示创建单元112可提供MPD中的信息，其指示较大视图ID是否对应于具有在具有较小视图ID的视图的相机视角右侧或左侧的相机视角的视图。

在一些实例中，可使用各种编码特性(例如，不同帧速率、不同位速率、不同编码方案或其它差异)来编码同一视图。表示创建单元112可确保包含于共同表示中的每一视图是根据相同编码特性来编码的。以此方式，用于所述表示的MPD和/或标头数据可用信号通知用于所述表示的适用于所述表示中的所有视图的一组特性(或属性)。此外，表示创建单元112可创建包含相同视图的多个表示，尽管具有潜在不同的编码特性。在一些实例中，表示创建单元112可将多媒体内容的每一视图包封在个别表示中。在此些实例中，为了输出一个以上视图，目的地装置14可请求多媒体内容的两个或两个以上表示。

操作点创建单元114可为多媒体内容的一个或一个以上表示创建操作点。一般来说，操作点对应于表示中目标用于输出的视图的子集，其中所述视图中的每一者共享一共用时间等级。如由H.264/AVC规范定义：操作点由表示目标时间等级的temporal_id值和表示目标输出视图的一组view_id值识别。一个操作点与一位流子集相关联，所述位流子集由目标输出视图和目标输出视图所依赖于的所有其它视图组成，即使用如分条款H.8.5.3中所指定的子位流提取过程得出，其中tIdTarget等于temporal_id值，且viewIdTargetList由作为输入的所述组所view_id值组成。一个以上操作点可与同一位流子集相关联。当所述规范称“操作点经解码”时，其指代对应于操作点的位流子集的解码以及目标输出视图的后续输出。

根据本发明中所描述的技术，SEI消息产生单元108可确定应用于视图分量的纹理和深度分量或仅应用于视图分量的深度分量的嵌套式补充信息(SEI)消息。通过使嵌套式SEI消息能够仅应用于深度分量，所述技术的这些方面可再次促进纹理和深度分量的单独处置。

SEI消息产生单元108可执行所述技术的这些方面，以确定应用于经编码视频数据的视图分量的译码的补充增强信息消息。SEI消息产生单元108可接着确定除补充增强信息消息之外，在处理视图分量的深度分量时应用嵌套式补充增强信息消息。SEI消息产生单元108可接着基于补充增强信息消息和嵌套式补充增强信息消息来编码视图分量的深度分量。

通常，嵌套式SEI消息包含旗标或其它识别符，其指示嵌套式SEI消息是应用视图分量的纹理和深度分量还是仅应用于深度分量。因此，在一些例子中，SEI消息产生单元108可基于补充增强信息消息和嵌套式补充增强信息消息，确定除补充增强信息消息之外，在仅处理视图分量的深度分量且仅处理视图分量的深度分量而不处理视图分量的纹理分量时，应用嵌套式补充增强信息消息。或者，SEI消息产生单元108可基于补充增强信息消息和嵌套式补充增强信息消息，确定当处理视图分量的纹理分量时，除补充增强信息消息之外，应用嵌套式补充增强信息消息，且译码视图分量的纹理分量。并且，所述技术的这些方面再次促进视图分量的深度和纹理分量的单独处置或处理。

此旗标可为称为“3DV可缩放嵌套SEI消息”(其可表示用于嵌套含有深度分量的操作点的SEI消息的SEI消息)的SEI消息界定。下表说明实例3DV可缩放嵌套SEI消息语法。

在上文的表中，sei_view_applicability_flag[i]等于1指示嵌套式SEI消息应用于具有等于sei_view_id[i]的view_id的视图的纹理分量和深度分量。sei_view_applicability_flag[i]等于0指示嵌套式SEI消息仅应用于具有等于sei_view_id[i]的view_id的视图的深度分量。

在上文的表中，sei_op_view_applicability_flag[i]等于1指示嵌套式SEI消息应用于具有等于sei_op_view_id[i]的view_id的视图的纹理分量和深度分量两者。sei_op_view_applicability_flag[i]等于0指示嵌套式SEI消息仅应用于具有等于sei_op_view_id[i]的view_id的视图的深度分量。

3DV可缩放嵌套SEI消息的其它语法元素的语义与MVC可缩放嵌套SEI消息的语义相同。

或者，当SEI消息为一个视图分量而嵌套时，SEI消息可为此视图分量的纹理分量和深度分量两者而嵌套。在此情况下，SEI消息产生单元108界定类似于MVC可缩放嵌套SEI消息的语法的3DV可缩放嵌套SEI消息的语法，以及类似于MVC可缩放嵌套SEI消息的语义的3DV可缩放嵌套SEI消息的语义。在3DV可缩放嵌套SEI消息的语义中，如早先所定义，视图分量可包含纹理分量和深度分量(且可由纹理分量和深度分量组成)。在所提出的附件I(其可指代H.264/AVC的3DVC扩展)的上下文中，如下改变MVC可缩放嵌套SEI消息的语义。MVC可缩放嵌套SEI消息的语义对于“视图分量”由“纹理分量”代替的所有例子均适用。下表呈现MVC可缩放嵌套SEI消息的语法。

为了进一步促进深度和纹理分量的单独处置，SEI消息产生单元108可产生称为3D视图可缩放性SEI消息的SEI消息，其包含第一语法元素、第二语法元素和第三语法元素，其中第一语法元素指示操作点是否含有深度分量。当操作点含有深度分量时，SEI消息产生单元108可界定第二语法元素以指示参考点的目标输出视图直接依赖于的深度分量的数目，且界定第三语法元素以识别参考点的目标输出视图直接依赖于的深度分量。

在一些例子中，操作点可包含所述操作点的第一子集和所述操作点的第二子集，其中第一子集中的每一操作点仅含有纹理分量，且第二子集中的每一操作点含有深度分量。SEI消息产生单元108可接着确定简档识别符等于与3D视频译码相关联的给定值，且响应于确定简档识别符等于给定值而产生子集SPS，使得所述子集SPS包含第一SPS扩展和第二SPS扩展。第一SPS扩展可指示第一子集以及第一子集中的操作点所属的等级。第二SPS扩展可指示第二子集以及第二子集中的操作点所属的等级。以此方式，所述技术可准许为纹理和深度分量单独地且根据等级来界定操作点。

以此方式，视频译码装置可确定描述深度分量的特性的第一序列等级信息，且确定描述视频数据的操作点的特性的第二序列等级信息。在一些实例中，第一序列等级信息包括指定深度分量的视图依赖性的三维视频译码序列参数集。此外，视频译码装置可确定识别三维视频译码序列参数集中所指示的深度分量的一个或一个以上参考图片的参考图片列表。

在一些实例中，第二序列等级信息包含三维视频译码序列参数集，其针对操作点，描述目标输出视图列表、当解码操作点时待解码的纹理视图的数目，以及当解码操作点时待解码的深度视图的数目，其中待解码的纹理视图的数目不同于深度视图的数目。在一些实例中，在可用时，视频译码装置可进一步针对目标输出视图列表中所指定的目标输出视图中的每一者，以一个或一个以上深度分量为目标。

在一些实例中，视频译码装置可将三维视频译码可缩放性信息SEI消息指定为视频数据的部分，其中三维视频译码可缩放性信息SEI消息包含不具有深度分量的操作点的描述，或具有深度分量的操作点的描述。在一些例子中，SEI消息包含操作点是否包含深度分量的指示。此外，在一些实例中，SEI消息包含操作点是否包含深度分量以及具有用于操作点的解码的直接相关纹理视图的直接相关深度视图的指示。

所述技术的此方面可利用深度和纹理分量的单独处置，以准许较容易地从位流提取操作点，以用于多视图视频译码。通过用信号通知操作点是否包含深度，视频解码器(例如视频解码器30)可确定哪一操作点最适应视频解码器30的能力。举例来说，视频解码器30可经优化以使用不包含深度的视图来执行多视图视频译码，从而偏好其中将左眼和右眼视角两者作为单独图片提供的多视图视频数据。视频解码器30可替代地为基于深度的多视图视频数据而优化，但可仅适应单个视图而不是两个或两个以上视图。通过用信号通知经编码多视图视频数据何时包含深度，以及在包含深度时，操作点的目标输出视图直接依赖于的深度分量的数目，视频解码器30可选择适应视频解码器30的能力或优化的操作点。

在操作中，在一个实例中，3D视图可缩放性信息SEI消息可具有如下表中所示而指定的语法元素。

或者，3D视图可缩放性信息SEI消息可具有如下表中所定义的语法元素。

3DV视图可缩放性消息的其它语法元素的语义与MVC视图可缩放性信息SEI消息的语义相同。视图可缩放性信息SEI中的语法元素具有与附件H中相同的语义，但适用于可潜在地含有深度分量的操作点。

在上文的表中，op_with_depth_fiag[i]等于1指示当前操作点含有深度视图。op_with_depth_fiag[i]等于0指示当前操作点不含有任何深度视图。如果操作点含有纹理和深度两者(op_with_depth_fiag[i]等于0)，那么num_directly_dependent_views[i]和directly_dependent_view_id[i][j]仅应用于操作点的纹理分量。或者，使用与上文相同的语义，将两个语法元素的名称分别改为num_directly_dependent_texture_views[i]和directly_dependent_texture_view_id[i][j]。3DV视图可缩放性消息的其它语法元素的语义与MVC视图可缩放性信息SEI消息的语义相同。

在上文的表中，num_directly_dependent_depth_views[i]指定当前操作点的表示内，当前操作点的目标输出视图直接依赖于的深度视图的数目。num_directly_dependent_depth_views[i]的值将在0到16的范围内，包含0和16。

在上文的表中，directly_dependent_depth_view_id[i][j]指定当前操作点的表示内，当前操作点的目标输出视图的深度视图直接依赖于的第i个深度视图的view_id。directly_dependent_depth_view_id[i][j]的值将在0到1023的范围内，包含0和1023。

在其它实例中，可在此SEI消息中用信号通知仅深度操作点，且因此添加指示op_texture_depth_idc[i]，如下表中所展示。

在上文的表中，op_texture_depth_idc[i]等于0指示当前操作点仅含有纹理分量。op_texture_depth_idc[i]语法元素等于1指示当前操作点含有纹理分量和深度分量两者。op_texture_depth_idc[i]语法元素等于2指示当前操作点仅含有深度分量。如果操作点含有纹理(op_texture_depth_idc[i]等于0或1)，那么Num_directly_dependent_views[i]和directly_dependent_view_id[i][j]仅应用于操作点的纹理分量。如果操作点仅含有纹理(op_texture_depth_idc[i]等于2)，那么Num_directly_dependent_views[i]和directly_dependent_view_id[i][j]仅应用于操作点的深度分量。

在一些实例中，根据本发明的技术，视频编码器可产生包含第一语法元素、第二语法元素和第三语法元素的SEI消息。第一语法元素指示操作点是否含有深度分量。如果操作点含有深度分量，那么第二语法元素指示操作点的目标输出视图直接依赖于的深度分量的数目，且第三语法元素识别操作点的目标输出视图直接依赖于的深度分量。视频编码器可编码深度分量。

在一些此类实例中，视频编码器可产生SEI消息，使得SEI消息包含第四语法元素和第五语法元素。如果操作点具有纹理和深度分量两者，第四语法元素指示多少纹理分量与操作点相关联，且第五语法元素识别操作点的目标输出视图直接依赖于的纹理分量。

或者，视频编码器可在SEI消息中用信号通知仅深度操作点。举例来说，视频编码器可产生SEI消息，使得第一语法元素指示操作点是仅含有纹理分量、含有纹理分量和深度分量两者，还是仅含有深度分量。

此外，在一些实例中，本发明的技术可提供视频解码器，其接收包含第一语法元素、第二语法元素和第三语法元素的SEI消息。第一语法元素指示操作点是否含有深度分量。如果操作点含有深度分量，那么第二语法元素指示操作点的目标输出视图直接依赖于的深度分量的数目，且第三语法元素识别操作点的目标输出视图直接依赖于的深度分量。视频解码器可解码深度分量。

此外，SEI消息可包含第四语法元素和第五语法元素。如果操作点具有纹理和深度分量两者，第四语法元素指示多少纹理分量与操作点相关联，且第五语法元素识别操作点的目标输出视图直接依赖于的纹理分量。

或者，SEI消息可在SEI消息中用信号通知仅深度操作点。举例来说，第一语法元素可指示操作点是仅含有纹理分量、含有纹理分量和深度分量两者，还是仅含有深度分量。

相对于操作点以及适应或修改操作点以潜在地提供纹理和深度分量的单独处置，本发明中所描述的技术的各种方面可用于以四种不同方式，用信号通知含有深度分量的操作点的等级：1)再用SPS语法元素，2)在3DVC SPS扩展中使用类似语法元素，3)在3DVCSPS扩展中添加较多语法元素，以及4)在3DVC SPS扩展中使用一组替代的较多语法元素。

相对于第一方式，即，再用SPS语法元素，使用MVC SPS扩展中的等级定义语法元素来指示含有深度分量的操作点。作为子集SPS的部分的MVC SPS扩展中用信号通知的每一操作点含有属于3D视频简档中的一者的profile_idc。每一操作点指定若干输出视图，其中的每一者含有纹理分量和深度分量两者。操作点创建单元114可实施此第一方式，以促进深度和纹理分量的单独处置。

相对于第二方式，即在3DV SPS扩展中的类似语法元素，MVC SPS扩展中的等级定义语法元素仍可用以指示仅含有纹理分量的操作点。在子集SPS的3DVC SPS扩展中，添加类似等级定义，指示含有深度分量的操作点。操作点创建单元114可实施此第二方式，以促进深度和纹理分量的单独处置。以下语法表说明类似语法元素。

在以上语法表中，每一操作点具有num_target_views_minus1[i][j]+1个视图，其中的每一者含有纹理分量和深度分量两者。因此，语法元素的语法与SPS MVC扩展中的语义相同，除了每一视图含有纹理分量和深度分量两者，或等效地，每一视图分量含有纹理分量和深度分量两者。

相对于第三方式，即在3DV SPS扩展中添加较多语法元素，3DV SPS扩展可在MVCSPS扩展中用信号通知的操作点之上添加含有需要用信号通知的纹理分量的较多操作点。在此情况下，操作点创建单元114可添加额外旗标以指示当前操作点是否含有深度分量，如以下语法表中所示。

在上文的表中，applicable_op_with_depth_flag[i][j]等于l指示在当前操作点(由i和i识别)中，每一目标输出视图含有纹理分量和深度分量两者，此旗标等于0指示在当前操作点中，仅含有每一目标输出视图的纹理。3DVC可缩放嵌套SEI消息的其它语法元素的语义与MVC可缩放嵌套SEI消息的语义相同。

相对于第四方式，即在3DV SPS扩展中使用一组替代较多语法元素，可存在仅深度操作点。在此例子中，操作点创建单元114可添加2位指示，以用信号通知每一操作点的三种不同情况：仅纹理、仅深度以及纹理和深度两者。下表说明待添加到SPS3DVC扩展的这些新语法元素：

在上文的表中，applicable_op_with_texture_depth_idc[i][j]等于0指示在当前操作点(由i和i识别)中，每一目标输出视图含有纹理分量和深度分量两者，applicable_op_with_texture_depth_idc[i][j]等于1指示当前操作点仅含有每一目标输出视图的纹理，applicable_op_with_texture_depth_idc[i][j]等于2指示当前操作点仅含有每一目标输出视图的深度。或者，applicable_op_with_texture_depth_idc[i][j]可译码为ue(v)。

在一些例子中，对于3DV操作点，可例如在活动纹理MVC SPS和活动视图MVC SPS中用信号通知两个不同视图依赖性，因为深度视图可具有不同视图间依赖性。一个实例是针对深度，可能根本不存在视图间依赖性。在此情况下，applicable_op_num_views_minus1[i][j]的语义不清楚。在MVC的上下文中，applicable_op_num_views_minus1[i][j]指定特定操作点的待解码的视图的数目。

在一些实例中，可为纹理和深度假定相同视图依赖性。如果纹理和深度的视图依赖性相同，那么可使此语法元素(即，applicable_op_num_views_minus1[i][j])的语义保持与待解码的视图的数目一致，然而，其暗示每一视图均含有纹理和深度。

在一些实例中，用信号通知将针对纹理和深度而解码的视图的准确数目。下表说明并入有所述技术的此方面的序列参数集3DVC扩展的语法元素。

在上文的表中，applicable_op_num_views_minus1[i][j]加1指定解码对应于由level_idc[i]指示的等级应用于的第i个操作点的目标输出视图所需的纹理视图的数目。Applicable_op_num_views_depth_minusl[i][j]加1指定解码对应于由level_idc[i]指示的等级应用于的第i个操作点的目标输出视图所需的深度视图的数目。或者，不添加applicable_op_num_views_depth_minus1[i][j]，但改变applicable_op_num_views_minus1[i][j]的语义。Applicable_op_num_views_minus1[i][j]加1指定解码对应于由level_idc[i]指示的等级应用于的第i个操作点的目标输出视图所需的深度视图的数目。

在一些例子中，本发明的技术用于在序列参数集中用信号通知用于操作点的待解码纹理视图的数目，以及用于操作点的待解码深度视图的数目。用信号通知纹理视图的数目和深度视图的数目可包括在序列参数集中产生指示用于操作点的待解码视图的数目的语法元素，所述视图中的每一者具有所述纹理视图中的一者以及所述深度视图中的一者。用信号通知纹理视图的数目和深度视图的数目可包括在序列参数集中产生第一语法元素和第二语法元素，第一语法元素指定用于操作点的待解码纹理视图的数目，且第二语法元素指定用于操作点的待解码深度视图的数目。用信号通知纹理视图的数目和深度视图的数目可包括在序列参数集中产生指示用于操作点的待解码纹理视图的数目加用于操作点的待解码深度视图的数目的语法元素。

在一些实例中，本发明的技术可用于接收用信号通知用于操作点的待解码纹理视图的数目以及用于操作点的待解码深度视图的数目的序列参数集。在此些实例中，序列参数集可包含指示用于操作点的待解码视图的数目的语法元素，所述视图中的每一者具有纹理视图中的一者和深度视图中的一者。所述序列参数集可包含第一语法元素和第二语法元素，第一语法元素指定用于操作点的待解码纹理视图的数目，且第二语法元素指定用于操作点的待解码深度视图的数目。序列参数集可包含指示用于操作点的待解码纹理视图的数目加用于操作点的待解码深度视图的数目的语法元素。

虽然上文将所述技术的各个方面描述为由包封单元21执行，但所述技术可由去包封单元29以相同或互逆方式执行。此外，在其它实施方案中，如正由包封单元21执行的上文所述的技术的各个方面还可由视频编码器20执行(其中视频解码器30执行与视频编码器20正执行的操作相同或互逆的操作)。因此，虽然图1到3的实例中展示特定实施方案，但所述技术不应限于此实例，而是可应用于提供由多视图视频数据所指定的视图分量的纹理和深度分量的单独处置的其它实施方案。

图5是说明实例MVC预测模式的概念图。在3DVC并入有MVC加深度的意义上，MVC的以下描述再次与3DVC有关。因此，描述对MVC以及由MVC所提供各种预测的描述以提供用于理解3DVC以及本发明中所描述的与3DVC有关的技术的上下文。

在图5的实例中，说明八个视图，且针对每一视图说明十二个时间位置。一般来说，图5中的每一行对应于一视图，而每一列指示时间位置。可使用视图识别符(“view_id”)来识别视图中的每一者，所述视图识别符可用来指示相对于其它视图的相对相机位置。在图5中所示的实例中，将视图ID指示为“S0”到“S7”，但还可使用数字视图ID。另外，可使用图片次序计数(POC)值来识别时间位置中的每一者，所述值指示图片的显示次序。在图4中所示的实例中，将POC值指示为“T0”到“T11”。

尽管MVC具有可由H.264/AVC解码器解码的所谓的基础视图，且立体视图对可由MVC支持，但MVC可支持两个以上视图作为3D视频输入。因此，具有MVC解码器的客户端的渲染器可预期具有多个视图的3D视频内容。

使用包含字母的阴影块来指示图5中的图片，所述字母指示对应图片是经帧内译码(就是说，I帧)，还是在一个方向上(即，作为P帧)或在多个方向上(即，作为B帧)帧间译码。一般来说，预测由箭头指示，其中指向的图片将始端对象用于预测参考。举例来说，从时间位置T0处的视图S0的I帧预测时间位置T0处的视图S2的P帧。图5中所示的图片中的每一者可称为视图分量。

如同单一视图视频编码一样，可相对于不同时间位置处的图片，以预测性方式来编码多视图视频序列的图片。举例来说，时间位置T1处的视图S0的b帧具有从时间位置T0处的视图S0的I帧指向其的箭头，指示所述b帧是从所述I帧预测的。另外，然而，在多视图视频编码的上下文中，图片可经视图间预测。就是说，视图分量可将其它视图中的视图分量用于参考。在MVC中，例如，实现视图间预测，就像另一视图中的视图分量为预测间参考。潜在视图间参考可在SPS MVC扩展中用信号通知，且可通过参考图片列表构造过程来修改，其实现帧间预测或视图间预测参考的灵活排序。

图5提供视图间预测的各种实例。在图5的实例中，将视图S1的图片说明为从视图S1的不同时间位置处的图片预测，并且从视图S0和S2在相同时间位置处的图片的图片视图间预测。举例来说，从视图S1在时间位置T0和T2处的B帧以及视图S0和S2在时间位置T1处的b帧中的每一者预测视图S1在时间位置T1处的b帧。

在图5的实例中，大写“B”和小写“b”意在指示图片之间的不同层级关系，而不是不同编码方法。一般来说，大写“B”帧与小写“b”帧相比在预测层级中相对较高。图5还说明使用不同等级的阴影的预测层级中的变化，其中与具有较少阴影(即，相对较淡)的那些图片相比，较大量的阴影(即，相对较暗)的图片在预测层级中较高。举例来说，用全阴影来说明图5中的所有I帧，而P帧具有稍淡的阴影，且B帧(以及小写b帧)相对于彼此具有各种阴影等级，但总是比P帧和I帧的阴影淡。

一般来说，预测层级与视图次序索引有关，因为在解码在层级中相对较低的图片之前，应解码在预测层级中相对较高的图片，使得在层级中相对较高的那些图片可用作层级中相对较低的图片的解码期间的参考图片。视图次序索引是指示存取单元中的视图分量的解码次序的索引。视图次序索引可在参数集(例如SPS)中暗示。

以此方式，在解码参考参考图片而编码的图片之前，可解码用作参考图片的图片。视图次序索引是指示存取单元中的视图分量的解码次序的索引。根据MVC/AVC，对于每一视图次序索引i，用信号通知对应的view_id。视图分量的解码遵循视图次序索引的升序。如果呈现所有视图，那么视图次序索引的集合包括从零到小于视图的完整数目的一个数目的连续持续集合。

在一些例子中，可提取整个位流的子集，以形成仍符合MVC的子位流。存在特定应用可基于例如服务器所提供的服务、容量、支持以及一个或一个以上客户端的解码器的能力，和/或一个或一个以上客户端的偏好而需要的许多可能子位流。举例来说，客户端可能仅需要三个视图，且可能存在两种情形。在一个实例中，一个客户端可需要平滑观看体验，且可能偏好具有view_id值S0、S1和S2的视图，而另一其它客户端可需要视图可缩放性，且偏好具有view_id值S0、S2和S4的视图。可将这些子位流两者解码为独立MVC位流，且可同时支持。

虽然图5展示八个视图(S0到S7)，但如上文所述，MVC/AVC扩展支持至多达1024个视图，且使用NAL单元标头中的view_id来识别NAL单元所属的视图。可用信号通知视图次序索引，作为NAL单元标头的部分。就是说，为了比较的目的，视图次序索引可代替在MVC/AVC扩展的NAL单元标头中用信号通知的view_id。视图次序通常描述视图在存取单元中的排序，且视图次序索引以存取单元的视图次序识别特定视图。就是说，视图次序索引描述存取单元的对应视图分量的解码次序。

因此，SPS可提供所述视图的view_id与所述视图的视图次序索引之间的关系。使用视图次序索引和SPS中的数据，视频编码器20和视频解码器30可用视图次序索引代替NAL单元标头中的MVC/AVC的10位view_id，这可导致由于MVC/AVC方案的位节省。

下文的表中提供提供视图的view_id与视图次序索引之间的关系的实例SPS。

序列参数集MVC扩展

上文的表中所示的SPS指定经译码视频序列的视图间依赖性关系。SPS还指定经译码视频序列的操作点的子集的等级值。由经译码视频序列指代的所有SPS将相同。然而，由view_id[i]识别的一些视图可不存在于经译码视频序列中。另外，由SPS描述的一些视图或时间子集可能已从原始经译码视频序列去除，且因此可不存在于经译码视频序列中。然而，SPS中的信息可总是应用于剩余视图和时间子集。

在上表中，num_views_minus1加1语法元素指定经译码视频序列中的经译码视图的最大数目。num_view_minus1的值可在0到31的范围内，包含0和31。在一些例子中，经译码视频序列中的视图的实际数目可小于num_views_minus1 plus 1。view_id[i]元素指定具有等于i的视图次序索引的视图的视图识别符。view_level[i]元素指定具有等于i的视图次序索引的视图的view_level。在一些实例中，具有至多达预定义值(VL)的view_level的所有视图分量可为可解码的，而不解码具有大于VL的view_level的任何视图分量。

num_ref_views[i]元素指定当解码具有等于i的视图次序索引的视图分量时，用于初始参考图片列表RefPicList0和RefPicList1中的视图间预测的视图分量的数目。num_ref_views[i]元素的值可不大于Min(15，num_views_minusl)。num_ref_views[0]的值可等于0。另外，ref_view_idx[i][j]元素可指定当解码具有等于i的视图次序索引的视图分量时，用于初始参考图片列表RefPicList0和RefPicList1中的视图间预测的第i个视图分量的视图次序索引。ref_view_idx[i][j]的值可在0到31的范围内，包含0和31。

图6是说明根据本发明中所描述的技术的各个方面的视频译码装置在实施参数集激活中的操作的流程图。最初，视频译码装置，例如视频解码器30，可确定指派给多视图视频数据的视图分量的次序索引值(130)。上文相对于图5更详细地描述此次序索引值。如上文所述，视频解码器30可接着至少基于指派给多视图视频数据的视图分量的所确定视图次序索引值，为视图分量的纹理分量激活作为纹理参数集的参数集(132)。在激活此纹理参数集之后，视频解码器30可接着基于所激活的纹理参数集来译码视图分量的纹理分量(134)。

在一些例子中，视频解码器30基于所激活的纹理参数集，仅译码视图分量的纹理分量，而不编码视图分量的深度分量。在一些例子中，视频解码器30至少基于指派给多视图视频数据的视图分量的视图次序索引值来为视图分量的深度分量激活另一参数集，且以上文所述的方式，基于为所述视图分量的深度分量激活的参数集而不基于所激活的纹理参数集来解码视图分量的深度分量。因此，虽然图6的实例中未明确展示，但可个别地为深度分量激活额外参数集，视频解码器30可接着使用其来解码深度分量，但不解码纹理分量。

在上文所述例子的一些例子中，视频解码器30可至少基于指派给多视图视频数据的视图分量的视图次序索引值来激活用于译码多视图视频数据的视图分量的序列参数集。此外，如上文所述，视频解码器30可至少基于指派给多视图视频数据的视图分量的视图次序索引值来为视图分量的纹理分量激活作为纹理序列参数集的序列参数集，使得由所述纹理序列参数集指定的一个或一个以上语法元素超驰或增大由所激活的序列参数集指定的一个或一个以上语法元素。

在上文所述实例的一些实例中，视频解码器30可至少基于指派给多视图视频数据的视图分量的视图次序索引值来为视图分量的纹理分量激活作为纹理图片参数集的图片参数集，使得由所述纹理图片参数集指定的一个或一个以上语法元素超驰或增大由所激活的序列参数集指定的一个或一个以上语法元素。

在上文所述例子的一些例子中，视频解码器30可至少基于指派给多视图视频数据的视图分量的视图次序索引值来为多视图视频数据的视图分量激活作为视图图片参数集的图片参数集。另外，视频解码器30可接着通过至少基于指派给多视图视频数据的视图分量的视图次序索引值为视图分量的纹理分量激活作为纹理图片参数集的图片参数集来激活作为纹理参数集的参数集，使得由纹理图片参数集指定的一个或一个以上语法元素超驰或增大由所激活的视图图片参数集指定的一个或一个以上语法元素。

在一些实例中，视频解码器30可接着通过至少基于指派给多视图视频数据的视图分量的视图次序索引值为视图分量的纹理分量激活分别作为纹理序列参数集和纹理图片参数集的序列参数集和图片参数集中的一者或一者以上，来激活作为纹理参数集的参数集。

还应理解，相对于图6所展示和描述的步骤仅作为一个实例而提供。就是说，图6的实例中所示的步骤无需一定以图6中所示的次序执行，且可执行较少、额外或替代步骤。此外，虽然上文相对于特定视频译码器(即，视频解码器30)来描述所述技术，但所述技术可由任何视频译码器(包含视频编码器20)来实施。

图7是说明根据本发明中所描述的技术的处理多视图视频数据以产生嵌套式SEI消息的实例操作的流程图。虽然相对于下文的特定单元(即，包封单元21)来描述，但此技术可通常由任何视频译码装置来实施，包含目的地装置14，且更明确地说，目的地装置14的去包封单元29。

最初，包封单元21接收经编码的多视图视频数据，且调用SEI消息产生单元108，其确定以上文所述的方式确定在处理多视图视频数据的视图分量时应用的补充增强信息(SEI)消息(140)。如上文所述，SEI消息产生单元108还可确定嵌套式SEI消息是应用于视图分量的纹理和深度分量两者，还是仅应用于视图分量的深度分量(141)。在确定嵌套式SEI消息仅应用于深度分量(“否”141)后，SEI消息产生单元108可即刻确定除补充增强信息消息之外，仅应用于视图分量的深度分量的嵌套式补充增强信息消息(142)。然而，在确定嵌套式SEI消息应用于深度和纹理分量(“是”141)后，SEI消息产生单元108可即刻确定除补充增强信息消息之外，应用于视图分量的纹理分量和深度分量两者的嵌套式补充增强信息消息(143)。视频文件创建单元104可接着产生包含SEI消息和嵌套式SEI消息(144)的视频文件。

在一些例子中，包封单元21产生此视频文件，且将此视频文件提供到路由器36或另一装置，例如内容递送网络34的视频服务器(上文相对于图1的实例描述上述两者)。此装置可接着基于补充增强信息消息和嵌套式补充增强信息消息来处理视图分量的深度分量。

在一些实例中，包封单元21确定除母补充增强信息消息之外，在仅译码视图分量的深度分量时应用嵌套式补充增强信息消息。在此例子中，路由器36可接着基于母补充增强信息消息和嵌套式补充增强信息消息而仅处理视图分量的深度分量，而不处理视图分量的纹理分量。

如上文所述，包封单元21可确定当译码视图分量的纹理分量时，除补充增强信息消息之外是否应用嵌套式补充增强信息消息。因此，在此例子中，路由器36可基于除补充增强信息消息之外在译码视图分量的纹理分量时是否应用嵌套式补充增强信息消息的确定，基于补充增强信息消息和嵌套式补充增强信息消息来处理视图分量的纹理分量。

当确定除补充增强信息消息之外在处理视图分量的纹理分量时应用嵌套式补充增强消息时，路由器36可识别嵌套式补充增强信息消息中的旗标，其指定嵌套式补充增强信息消息是仅应用于深度分量，还是应用于视图分量和深度分量两者，且基于所识别的旗标确定当译码视图分量的纹理分量时，除补充增强信息消息之外应用嵌套式补充增强消息。所述旗标可包括补充增强信息视图适用性旗标和补充增强信息操作视图适用性旗标中的一者或一者以上。

在一些例子中，当确定除补充增强信息消息之外在处理视图分量的纹理分量时应用嵌套式补充增强信息消息时，路由器36可确定在处理视图分量的深度分量和视图分量的纹理分量两者时，除补充增强信息消息之外应用嵌套式补充增强信息消息。在此例子中，路由器36可基于补充增强信息消息和嵌套式补充增强信息消息来处理视图分量的纹理分量。

在一些例子中，当确定除补充增强信息消息之外在译码视图分量的纹理分量时应用嵌套式补充增强信息消息时，路由器36可确定除补充增强信息消息之外，仅在译码视图分量的深度分量和视图分量的纹理分量两者时，应用嵌套式补充增强信息消息。因此，路由器36可基于补充增强信息消息而不基于嵌套式补充增强信息消息来处理视图分量的纹理分量。

还应理解，图7仅提供一个实例。就是说，图7的实例中所示的步骤无需一定以图7中所示的次序执行，且可执行较少、额外或替代步骤。

图8是说明根据本发明中所描述的技术的视频译码装置在单独地将纹理和深度分量从经解码图片缓冲器去除中的实例操作的流程图。图8中所示的实例通常描述为由视频解码器30(图1和3)执行。然而，应理解，相对于图8所述的过程可由多种其它处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(CODEC))等进行。

一般来说，视频解码器30可将视图分量(由多视图视频数据指定)的深度分量和纹理分量存储在经解码图片缓冲器中，在图3的实例中，将所述缓冲器展示为参考图片存储器92(150)。视频解码器30可接着分析视图依赖性，以确定深度分量是否用于视图间预测(其中，上文可相对于图5的实例反映此视图依赖性；152)。视频解码器30可仅为深度分量分析此视图依赖性，且当试图将相关联的纹理分量从参考图片存储器92去除时，单独分析视图依赖性。在一些例子中，在子集序列参数集的多视图视频译码序列参数集扩展中用信号通知视图依赖性。子集序列参数集可含有三维视频简档，且在分析视图依赖性时，被激活为活动视图多视图视频译码序列参数集。在任一情况下，视频解码器30可接着响应于确定深度分量不用于视图间预测而将深度分量从参考图片存储器92去除，而不去除纹理分量(154)。

在去除此深度分量之前，视频解码器30可通过确定深度分量不属于目标输出视图且与具有等于零的值的网络抽象层参考识别码相关联来使深度分量有资格被去除。由于潜在地提供深度和纹理分量的单独处置，视频解码器30可确定不同于纹理分量的用于深度分量的一个或一个以上参考图片。就是说，视频解码器30可至少通过确定识别用于深度分量的一个或一个以上参考图片的参考图片列表且确定识别用于纹理分量的一个或一个以上额外参考图片的参考图片列表，来确定用于深度分量的一个或一个以上参考图片，其中为纹理分量确定的所述一个或一个以上额外参考图片与为深度分量确定所述一个或一个以上参考图片不同。

在为深度分量确定参考图片列表时，视频解码器30可基于视频编码器20对深度和纹理分量的标记来为深度分量和纹理分量确定参考图片列表，所述标记用来与标记纹理分量分开识别深度分量的参考图片列表。在一些例子中，使用一个或一个以上语法元素用为深度分量确定的参考图片列表来单独标记深度分量，且使用一个或一个以上语法元素用为纹理分量确定的参考图片列表来单独标记纹理分量。

在一些例子中，视频解码器30可确定深度分量和纹理分量属于将输出以供显示的目标输出视图，且同时或几乎同时输出深度分量和纹理分量。

应理解，相对于图8的实例而展示和描述的步骤仅作为一个实例而提供。就是说，图8的实例中所示的步骤无需一定以图8中所示的次序执行，且可执行较少、额外或替代步骤。

图9是说明根据本发明中所描述的技术的视频译码装置在确定用于MVC兼容3DVC的序列等级信息中的实例操作的流程图。图8中所示的实例通常描述为由视频解码器30(图1和3)执行。然而，应理解，相对于图8所述的过程可由多种其它处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(CODEC))等进行。

如上文所述，视频解码器30可确定描述深度分量的特性的第一序列等级信息，且确定描述视频数据的操作点的特性的第二序列等级信息(160、162)。此外，视频解码器30可确定识别三维视频译码序列参数集中所指示的深度分量的一个或一个以上参考图片的参考图片列表。

在一些实例中，第二序列等级信息包含三维视频译码序列参数集，其针对操作点，描述目标输出视图列表、当解码操作点时待解码的纹理视图的数目，以及当解码操作点时待解码的深度视图的数目，其中待解码的纹理视图的数目不同于深度视图的数目。在一些实例中，在可用时，视频解码器30可进一步针对目标输出视图列表中所指定的目标输出视图中的每一者，以一个或一个以上深度分量为目标。

在一些实例中，视频解码器30可将三维视频译码可缩放性信息SEI消息指定为视频数据的部分，其中三维视频译码可缩放性信息SEI消息包含不具有深度分量的操作点的描述，或具有深度分量的操作点的描述。在一些例子中，SEI消息包含操作点是否包含深度分量的指示。此外，在一些实例中，SEI消息包含操作点是否包含深度分量以及具有用于操作点的解码的直接相关纹理视图的直接相关深度视图的指示。

应理解，相对于图9的实例而展示和描述的步骤仅作为一个实例而提供。就是说，图9的实例中所示的步骤无需一定以图9中所示的次序执行，且可执行较少、额外或替代步骤。

虽然相对于本发明而描述的某些语法元素已出于阐释的目的而提供了实例名称，但应理解，本发明中所描述的概念更一般地适用于任何语法元素，与名称无关。举例来说，虽然某些方面涉及“视图次序索引”、“view_order_index”或“view_idx”，但应理解，在未来译码标准中，此语法元素可被给予替代名称。

虽然相对于H.264标准来描述本发明的某些技术，但应理解，所述技术不一定限于特定译码标准。就是说，所述技术更一般地涉及如上文所述，例如通过较短且/或较不复杂的NAL单元和参数集来实现3DVC中的译码效率。

应理解，取决于实例，本文所述的方法中的任一者的某些动作或事件可以不同序列执行，可相加、合并或完全忽视(例如，不是所有的所描述动作或事件均对方法的实践来说是必要的)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时(而不是循序地)执行动作或事件。另外，虽然为了清楚的目的而将本发明的某些方面描述为由单个模块或单元执行，但应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含例如根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。

以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例(而非限制)，所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置，或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。

然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体，而是针对非瞬态有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。上文的组合也应包含在计算机可读媒体的范围内。

指令可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元，以强调经配置以执行所揭示技术的装置的功能方面，但不一定要求由不同硬件单元来实现。相反，如上文所述，各种单元可组合在编解码器硬件单元中，或由互操作硬件单元的集合提供，包含如上文所述的一个或一个以上处理器，结合合适的软件和/或固件。

已描述了本发明的各个方面。这些和其它方面在所附权利要求书的范围内。

Claims (40)

1.一种用于处理包含视图分量的视频数据的方法，所述视图分量包括深度分量和纹理分量，所述方法包括：

确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息；以及

确定除所述补充增强信息消息之外应用于所述视图分量的所述深度分量的嵌套式补充增强信息消息，其中所述补充增强信息消息设定所述嵌套式补充增强信息消息的范围且与所述嵌套式补充增强信息消息是分开的。

2.根据权利要求1所述的方法，其进一步包括基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述深度分量。

3.根据权利要求1所述的方法，

其中确定嵌套式补充增强信息消息包括确定除所述补充增强信息消息之外在仅处理所述视图分量的所述深度分量时应用的所述嵌套式补充增强信息消息，且

其中处理所述视图分量的所述深度分量包括基于所述补充增强信息消息和所述嵌套式补充增强信息消息，仅处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量。

4.根据权利要求1所述的方法，其进一步包括：

确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息；以及

基于所述补充增强信息消息和所述嵌套式补充增强信息消息且基于除所述补充增强信息消息之外在处理视图分量的纹理分量时是否应用所述嵌套式补充增强信息消息的确定来处理所述视图分量的所述纹理分量。

5.根据权利要求4所述的方法，其中确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息包括：

识别所述嵌套式补充增强信息消息中的旗标，所述旗标指定所述嵌套式补充增强信息消息是否仅应用于所述深度分量；以及

基于所述所识别的旗标，确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强消息。

6.根据权利要求5所述的方法，其中所述旗标包括补充增强信息视图适用性旗标和补充增强信息操作视图适用性旗标中的一者或一者以上。

7.根据权利要求4所述的方法，

其中确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息包括确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量和所述视图分量的所述纹理分量两者时应用所述嵌套式补充增强信息消息，且

其中所述方法进一步包括基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量。

8.根据权利要求4所述的方法，其中确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息包括确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息，且

其中所述方法进一步包括基于所述补充增强信息消息而不基于所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量。

9.根据权利要求1所述的方法，其中所述深度分量与所述纹理分量具有不同分辨率。

10.根据权利要求1所述的方法，其中所述视图数据符合对H.264/高级视频译码标准的三维视频译码扩展，且与对所述H.264/高级视频译码标准的多视图视频译码扩展反向兼容。

11.一种用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置，所述装置包括：

处理器，其经配置以：确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息；以及确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量时应用的嵌套式补充增强信息消息，其中所述补充增强信息消息设定所述嵌套式补充增强信息消息的范围且与所述嵌套式补充增强信息消息是分开的。

12.根据权利要求11所述的装置，其中所述处理器进一步经配置以基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述深度分量。

13.根据权利要求11所述的装置，

其中所述处理器进一步经配置以在确定嵌套式补充增强信息消息时，确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量时应用所述嵌套式补充增强信息消息，且

其中所述处理器进一步经配置以在处理所述视图分量的所述深度分量时，基于所述补充增强信息消息和所述嵌套式补充增强信息消息，仅处理所述视图分量的所述深度分量，而不处理所述视图分量的所述纹理分量。

14.根据权利要求11所述的装置，其中所述处理器进一步经配置以确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息，且基于所述补充增强信息消息和所述嵌套式补充增强信息消息，且基于除所述补充增强信息消息之外在处理视图分量的纹理分量时是否应用所述嵌套式补充增强信息消息的确定来处理所述视图分量的所述纹理分量。

15.根据权利要求14所述的装置，其中所述处理器进一步经配置以在确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息时，识别所述嵌套式补充增强信息消息中的旗标，其指定所述嵌套式补充增强信息消息是否仅应用于所述深度分量，且基于所述所识别的旗标来确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述补充增强信息消息。

16.根据权利要求15所述的装置，其中所述旗标包括补充增强信息视图适用性旗标和补充增强信息操作视图适用性旗标中的一者或一者以上。

17.根据权利要求14所述的装置，

其中所述处理器进一步经配置以在确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息时，确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量和所述视图分量的所述纹理分量两者时，应用所述嵌套式补充增强信息消息，且

其中所述处理器进一步经配置以基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量。

18.根据权利要求14所述的装置，

其中所述处理器进一步经配置以在确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息时，确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量时，应用所述嵌套式补充增强信息消息，且

其中所述处理器进一步经配置以基于所述补充增强信息消息而不基于所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量。

19.根据权利要求11所述的装置，其中所述深度分量与所述纹理分量具有不同分辨率。

20.根据权利要求11所述的装置，其中所述视图数据符合对H.264/高级视频译码标准的三维视频译码扩展，且与对所述H.264/高级视频译码标准的多视图视频译码扩展反向兼容。

21.一种用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置，所述装置包括：

用于确定在处理所述视频数据的所述视图分量时应用的补充增强信息消息的装置；以及

用于确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量时应用的嵌套式补充增强信息消息的装置，其中所述补充增强信息消息设定所述嵌套式补充增强信息消息的范围且与所述嵌套式补充增强信息消息是分开的。

22.根据权利要求21所述的装置，其进一步包括用于基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述深度分量的装置。

23.根据权利要求21所述的装置，

其中所述用于确定嵌套式补充增强信息消息的装置包括用于确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量时应用的所述嵌套式补充增强信息消息的装置，且

其中所述用于处理所述视图分量的所述深度分量的装置包括用于基于所述补充增强信息消息和所述嵌套式补充增强信息消息仅处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量的装置。

24.根据权利要求21所述的装置，其进一步包括：

用于确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用的所述嵌套式补充增强信息消息的装置；以及

用于基于所述补充增强信息消息和所述嵌套式补充增强信息消息，且基于除所述补充增强信息消息之外在处理视图分量的纹理分量时是否应用所述嵌套式补充增强信息消息的确定来处理所述视图分量的所述纹理分量的装置。

25.根据权利要求24所述的装置，其中所述用于确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息的装置包括：

用于识别所述嵌套式补充增强信息消息中的旗标的装置，所述旗标指定所述嵌套式补充增强信息消息是否仅应用于所述深度分量；以及

用于基于所述所识别的旗标确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息的装置。

26.根据权利要求25所述的装置，其中所述旗标包括补充增强信息视图适用性旗标和补充增强信息操作视图适用性旗标中的一者或一者以上。

27.根据权利要求24所述的装置，

其中所述用于确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息的装置包括用于确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量和所述视图分量的所述纹理分量两者时应用所述嵌套式补充增强信息消息的装置，且

其中所述装置进一步包括用于基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量的装置。

28.根据权利要求24所述的装置，其中所述用于确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息的装置包括用于确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息的装置，且

其中所述装置进一步包括用于基于所述补充增强信息消息而不基于所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量的装置。

29.根据权利要求21所述的装置，其中所述深度分量与所述纹理分量具有不同分辨率。

30.根据权利要求21所述的装置，其中所述视图数据符合对H.264/高级视频译码标准的三维视频译码扩展，且与对所述H.264/高级视频译码标准的多视图视频译码扩展反向兼容。

31.一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在被执行时，致使用于处理包含由深度分量和纹理分量组成的视图分量的视频数据的装置的一个或一个以上处理器：

确定在处理所述视频数据的视图分量时应用的补充增强信息消息，其中所述视图分量包含深度分量和纹理分量两者；且

确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量时应用的所述嵌套式补充增强信息消息，其中所述补充增强信息消息设定所述嵌套式补充增强信息消息的范围且与所述嵌套式补充增强信息消息是分开的。

32.根据权利要求31所述的非暂时性计算机可读存储媒体，其上存储有指令，所述指令在被执行时，致使所述一个或一个以上处理器基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述深度分量。

33.根据权利要求31所述的非暂时性计算机可读存储媒体，

其中在被执行时致使所述一个或一个以上处理器确定嵌套式补充增强信息消息的所述指令包括在被执行时致使所述一个或一个以上处理器确定除所述补充增强信息消息之外仅在处理所述视图分量的所述深度分量时应用的所述嵌套式补充增强信息消息的指令，且

其中在被执行时致使所述一个或一个以上处理器处理所述视图分量的所述深度分量的所述指令包括在被执行时致使所述一个或一个以上处理器基于所述补充增强信息消息和所述嵌套式补充增强信息消息而仅处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量的指令。

34.根据权利要求31所述的非暂时性计算机可读存储媒体，其上进一步存储有在被执行时致使所述一个或一个以上处理器进行以下操作的指令：

确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用的所述嵌套式补充增强信息消息；以及

基于所述补充增强信息消息和所述嵌套式补充增强信息消息，且基于除所述补充增强信息消息之外在处理视图分量的纹理分量时是否应用所述嵌套式补充增强信息消息的确定来处理所述视图分量的所述纹理分量。

35.根据权利要求34所述的非暂时性计算机可读存储媒体，其中在被执行时致使所述一个或一个以上处理器确定除所述嵌套式补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息的所述指令包括在被执行时致使所述一个或一个以上处理器进行以下操作的指令：

识别所述嵌套式补充增强信息消息中的旗标，所述旗标指定所述嵌套式补充增强信息消息是否仅应用于所述深度分量；以及

基于所述所识别的旗标，确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息。

36.根据权利要求35所述的非暂时性计算机可读存储媒体，其中所述旗标包括补充增强信息视图适用性旗标和补充增强信息操作视图适用性旗标中的一者或一者以上。

37.根据权利要求34所述的非暂时性计算机可读存储媒体，

其中在被执行时致使所述一个或一个以上处理器确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息的所述指令包括在被执行时致使所述一个或一个以上处理器确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量和所述视图分量的所述纹理分量两者时应用所述嵌套式补充增强信息消息的指令，且

其中所述非暂时性计算机可读存储媒体上进一步存储有在被执行时致使所述一个或一个以上处理器基于所述补充增强信息消息和所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量的指令。

38.根据权利要求34所述的非暂时性计算机可读存储媒体，其中在被执行时致使所述一个或一个以上处理器确定除所述补充增强信息消息之外在处理所述视图分量的所述纹理分量时是否应用所述嵌套式补充增强信息消息的所述指令包括在被执行时致使所述一个或一个以上处理器确定除所述补充增强信息消息之外在处理所述视图分量的所述深度分量而不处理所述视图分量的所述纹理分量时应用所述嵌套式补充增强信息消息的指令，且

其中所述非暂时性计算机可读存储媒体上进一步存储有在被执行时致使所述一个或一个以上处理器基于所述补充增强信息消息而不基于所述嵌套式补充增强信息消息来处理所述视图分量的所述纹理分量的指令。

39.根据权利要求31所述的非暂时性计算机可读存储媒体，其中所述深度分量与所述纹理分量具有不同分辨率。

40.根据权利要求31所述的非暂时性计算机可读存储媒体，其中所述视图数据符合对H.264/高级视频译码标准的三维视频译码扩展，且与对所述H.264/高级视频译码标准的多视图视频译码扩展反向兼容。