CN103718561A

CN103718561A - 多视图视频译码

Info

Publication number: CN103718561A
Application number: CN201280037706.4A
Authority: CN
Inventors: 陈盈; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-07-28
Filing date: 2012-07-27
Publication date: 2014-04-09
Anticipated expiration: 2032-07-27
Also published as: CN103718561B; JP5908586B2; JP2014526197A; WO2013016611A1; BR112014001860B1; CA2843189C; CA2843189A1; KR101617556B1; US20130114705A1; US9674525B2; BR112014001860A2; RU2589347C2; KR20140056310A; EP2737700A1; RU2014107707A

Abstract

本发明的方面涉及对视频数据进行译码的方法。在一实例中，所述方法包含从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息。所述方法还包含为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目。所述方法还包含基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。

Description

多视图视频译码

本发明主张2011年7月28日申请的第61/512,771号美国临时申请案的优先权，所述美国临时申请案的内容以全文应用的方式并入本文。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛多种装置中，包含数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置和类似装置。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准、当前在开发的高效视频译码(HEVC)标准以及此些标准的扩展中描述的那些技术。视频装置可通过实施此些视频压缩技术来较有效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，图片或图片的一部分)分割为若干视频块，所述视频块也可称为树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。

空间或时间预测得到待译码块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本的块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得到残余变换系数，所述系数随后可经量化。可扫描初始以二维阵列布置的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。

发明内容

大体上，本发明描述用于对视频数据进行译码的技术。举例来说，本发明描述用于执行多视图视频译码(MVC)和用于目前在开发的HEVC视频译码标准的MVC扩展的技术。也就是说，MVC是用于囊封视频数据的多个视图的视频译码技术。每一视图可对应于共同场景的对应视频数据被俘获的不同视角或角度。本发明的技术大体上涉及MVC网络抽象层(NAL)单元、MVC参数集和类似物的形成。

在一实例中，本发明的方面是针对一种对视频数据进行解码的方法，所述方法包含：从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。

在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包含一个或一个以上处理器，所述一个或一个以上处理器经配置以：从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。

在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包含：用于从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层(NAL)单元的装置，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；用于从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息的装置；以及用于基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码的装置。

在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：从经编码位流获得经编码视频数据的多个视图分量中的每一视图分量的一个或一个以上网络抽象层NAL单元，其中所述多个视图分量中的每一视图分量对应于共同时间位置，且其中所述一个或一个以上NAL单元囊封相应视图分量的所述经编码视频数据的至少一部分且包含指示所述相应视图分量的解码次序的信息；从所述经编码位流且与所述NAL单元分开地获得指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息；以及基于所述所接收信息以所述解码次序对所述多个视图分量的所述经编码视频数据进行解码。

在另一实例中，本发明的方面是针对一种对视频数据进行编码的方法，所述方法包含：对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。

在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以：对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。

在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包含：用于对视频数据的相应视图的多个视图分量的视频数据进行编码的装置，其中所述多个视图分量中的每一者对应于共同时间位置；用于作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分的装置；以及用于在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息的装置。

在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：对视频数据的相应视图的多个视图分量的视频数据进行编码，其中所述多个视图分量中的每一者对应于共同时间位置；作为经编码位流的部分而形成所述视图分量中的每一者的所述经编码视频数据的一个或一个以上网络抽象层(NAL)单元，使得所述NAL单元包含指示相应视图分量的所述视频数据的解码次序的信息且囊封所述相应视图分量的所述经编码视频数据的至少一部分；以及在所述经编码位流中与所述NAL单元分开地提供指示所述视图的视图识别符与所述视图分量的所述解码次序之间的关系的信息。

在另一实例中，本发明的方面是针对一种对视频数据进行解码的方法，所述方法包含：从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。

在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以：从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。

在另一实例中，本发明的方面是针对一种用于对视频数据进行解码的设备，所述设备包括：用于从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；用于为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码的装置。

在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。

在另一实例中，本发明的方面是针对一种对视频数据进行编码的方法，所述方法包括：针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。

在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以：针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。

在另一实例中，本发明的方面是针对一种用于对视频数据进行编码的设备，所述设备包括：用于针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；用于为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码的装置；以及用于在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量的装置。

在另一实例中，本发明的方面是针对一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。

在附图和以下描述中陈述本发明的一个或一个以上方面的细节。从描述和图式以及从权利要求书将明了本发明中描述的技术的其它特征、目的和优点。

附图说明

图1是图解说明可利用本发明中描述的技术的实例性视频编码和解码系统的框图。

图2是图解说明可实施本发明中描述的技术的实例性视频编码器的框图。

图3是图解说明可实施本发明中描述的技术的实例性视频解码器的框图。

图4是图解说明实例性多视图视频译码(MVC)预测模式的概念图。

图5A是图解说明可用于实施本发明的技术中的一者或一者以上的位流结构的实例的概念图。

图5B是图解说明可包含在图5A的位流结构中的视图的实例的概念图。

图5C是图解说明可包含在图5A的位流结构中的网络抽象层(NAL)单元的实例的概念图。

图5D是图解说明可包含在图5A的位流结构中的NAL单元的另一实例的概念图。

图6是图解说明对多视图位流进行编码的实例性方法的流程图。

图7是图解说明对多视图位流进行解码的实例性方法的流程图。

图8是图解说明对多视图位流进行编码的实例性方法的流程图。

图9是图解说明对多视图位流进行解码的实例性方法的流程图。

具体实施方式

根据某些视频译码系统，可使用运动估计和运动补偿来减少视频序列中的时间冗余，以便实现数据压缩。在此情况下，可产生运动向量，所述运动向量识别预测视频数据块，例如来自另一视频图片或切片的块，其可用以预测正经译码的当前视频块的值。将预测视频块的值从当前视频块的值减去以产生残余数据块。运动信息(例如，运动向量、运动向量索引、预测方向或其它信息)连同残余数据一起从视频编码器传送到视频解码器。解码器可定位同一预测块(基于运动向量)，且通过组合残余数据与预测块的数据而重构经编码视频块。

多视图视频译码(MVC)是用于囊封视频数据的多个视图的视频译码标准。大体上，每一视图对应于共同场景的对应视频数据被俘获的不同视角或角度。经译码视图可用于视频数据的三维(3D)显示。举例来说，使用不同的光偏振，可同时或近似同时显示两个视图(例如，人观察者的左眼和右眼视图)，且观察者可佩戴无源偏振眼镜以使得观察者的每一只眼接收到视图中的相应一者。或者，观察者可佩戴主动眼镜，其独立地开合每一只眼，且显示器可与眼镜同步地在每一只眼的图像之间快速地交替。

在MVC中，特定视图的特定图片称为视图分量。也就是说，视图的视图分量对应于视图的特定时间实例。多视图视频可含有相对大量的视图间统计相依性，因为用以俘获多视图数据的所有相机从不同的视点俘获同一场景。此些相依性可用于组合式时间和/或多视图预测，其中不仅从时间相邻图像而且从来自其它视图的对应图像来预测图像。也就是说，可在同一存取单元(即，同一时间实例内)中的若干图片之间执行视图间预测。

视图间预测大体上实现为似乎另一视图中的视图分量是帧间预测参考。并非使用用于预测的“运动”向量，视图间预测利用“位移”向量，其概念上类似于运动向量，但描述位移而不是运动。潜在的视图间参考是在序列参数集(SPS)MVC扩展中用信号表示，且可通过参考图片列表构造过程来修改，所述过程实现帧间预测或视图间预测参考的灵活排序。

包含MVC视频数据的视频数据可经组织为网络抽象层(NAL)单元，其提供“网络友好”的视频表示，以解决例如视频电话、存储、广播或流式传输等应用。举例来说，视频编码器通常将每一视频数据图片编码为一个或一个以上可独立解码的切片。切片可经封装为NAL单元以用于在网络上的发射。包含视频译码层(VCL)数据的NAL单元可包含用于图片的数据或用于图片的切片的数据。举例来说，NAL单元可包含语法信息，例如经译码块样式(CBP)值、块类型、译码模式、经译码单元(例如帧、切片、块或序列)的最大块大小，或其它信息。

每一NAL单元包含识别存储在所述NAL单元中的数据类型的标头。实例MVC NAL单元标头可包含语法元素，其指示NAL单元所属于的视图的视图识别符、NAL单元是否属于可用作随机存取点(供其它视图分量进行参考)的所谓的锚点图片、NAL单元是否用于其它视图中的NAL单元的视图间预测，以及多种其它信息。如本文描述，锚点图片可大体上对应于随机存取图片，且此些术语可以可互换方式使用。也就是说，“随机存取”大体上指代在除了位流的开始之外的点处开始所述流的解码过程的动作。随机存取图片大体上涉及仅含有经帧内译码切片(I切片)的图片。在解码次序和输出次序两者上跟随随机存取图片的经译码图片在解码次序或输出次序上不是从所述随机存取图片之前的图片来预测。

大体上，存取单元可包含特定时间实例的所有视图分量。特定视图分量包含特定时间实例处的特定视图的所有NAL单元。MVC NAL单元可含有一个字节NAL单元标头(包含NAL单元类型)且可进一步包含MVC NAL单元标头扩展。

虽然H.264/AVC包含MVC支持，但对H.264/AVC的当前MVC扩展可含有相对于其它视频译码标准的若干低效。而且，如下文更详细论述，MVC从H.264/AVC到例如即将到来的HEVC标准等其它译码标准的直接导入可能是不可行的。本发明的技术大体上涉及MVC相关NAL单元、MVC相关参数集和类似物的形成。本发明的某些技术可实现即将到来的HEVC标准的高效MVC译码。

图1是图解说明可利用多视图译码中用于运动向量预测的技术的实例性视频编码和解码系统10的框图。如图1所示，系统10包含源装置12，所述源装置12提供经编码视频数据以由目的地装置14在稍后时间解码。特定来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在一些情况下，源装置12和目的地装置14可针对无线通信而装备。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14。

经编码视频数据可根据例如无线通信协议等通信标准而调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或者一种或一种以上物理传输线。通信媒体可形成基于包的网络的部分，所述网络例如为局域网、广域网或例如因特网的全球网。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，经编码数据可通过输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它合适的用于存储经编码视频数据的数字存储媒体。在又一实例中，存储装置可对应于文件服务器或另一中间存储装置，其可存储由源装置12产生的经编码视频。

目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任一类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这可包含适于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。

本发明的技术不一定限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如空中电视广播、闭路电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用多视图译码中用于运动向量预测的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18接收视频数据，外部视频源例如外部相机。同样，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。

图1图解说明的系统10仅是一个实例。多视图译码中用于运动向量预测的技术可由任一数字视频编码和/或解码装置执行。虽然大体上本发明的技术由视频编码装置执行，但所述技术也可由通常称为“编解码器”的视频编码器/解码器执行。而且，本发明的技术也可由视频预处理器执行。源装置12和目的地装置14仅是此类译码装置的实例，其中源装置12产生经译码视频数据以用于发射到目的地装置14。在一些实例中，装置12、14可以大体上对称方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前俘获的视频的视频档案和/或用以从视频内容提供者接收视频的视频馈送接口。作为又一替代，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、经归档视频和计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而如上文提到，本发明中描述的技术可大体上适用于视频译码，且可适用于无线和/或有线应用。在每一情况下，所俘获、预俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可随后由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬态媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且可例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，例如光盘冲压设施等媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一个或一个以上计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述信息也由视频解码器30使用，包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

视频编码器20和视频解码器30在适当时各自可实施为多种合适编码器或解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

虽然图1中未图示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

在图1中所示的实例中，系统10还包含具有路由器36的服务器/内容递送网络34。在一些实例中，源装置12可经由多种无线和/或有线发射或存储媒体与服务器/内容递送网络34通信，如上文所述。而且，虽然在图1的实例中单独地展示，但在一些实例中，源装置12和服务器/内容递送网络34包括同一装置。服务器/内容递送网络34可存储经译码视频数据(来自源装置12的视频编码器20)的一个或一个以上版本，且可使此些经译码视频数据可用于由目的地装置14和视频解码器30存取。在一些实例中，路由器36可负责将经译码视频数据以所请求格式提供到目的地装置14。

视频编码器20和视频解码器30可根据例如当前在开发的高效视频译码(HEVC)标准等视频译码标准来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者称为MPEG-4第10部分高级视频译码(AVC))等其它专门或行业标准或此些标准的扩展来操作。然而本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。

ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起制订作为称为联合视频小组(JVT)的合作伙伴关系的产品。在一些方面中，本发明中描述的技术可应用于大体上符合H.264标准的装置。H.264标准由ITU-T研究组在ITU-T建议H.264用于一般视听服务的高级视频译码中描述且日期为2005年3月，其在本文可称为H.264标准或H.264规范或者H.264/AVC标准或规范。联合视频小组(JVT)持续致力于对H.264/MPEG-4AVC的扩展。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置相对于符合例如ITU-TH.264/AVC的现存装置的若干额外能力。举例来说，H.264提供9种帧内预测编码模式，而HM可提供多达33种帧内预测编码模式。

大体上，HM的工作模型描述了可将视频图片划分为包含亮度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可界定LCU的大小，其为在像素数目方面的最大译码单元。切片包含若干在译码次序上连续的树块。图片可经分割为一个或一个以上切片。每一树块可根据四叉树而分裂为若干译码单元(CU)。大体上，四叉树数据结构每CU包含一个节点，其中根节点对应于树块。如果CU经分裂为四个子CU，那么对应于CU的节点包含四个叶节点，其中每一者对应于子CU中的一者。

四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于节点的CU是否经分裂为子CU。CU的语法元素可递归地界定，且可取决于CU是否经分裂为子CU。如果CU未经进一步分裂，那么其称为叶CU。在本发明中，即使不存在原始叶CU的显式分裂，叶CU的四个子CU也将称为叶CU。举例来说，如果16x16大小的CU未经进一步分裂，那么尽管16x16CU从未分裂，四个8x8子CU也将称为叶CU。

CU具有与H.264标准的宏块类似的目的，不同的是CU不具有大小区别。举例来说，树块可经分裂为四个子节点(也称为子CU)，且每一子节点又可为母节点且分裂为另外四个子节点。称为四叉树的叶节点的最终未经分裂的子节点包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可界定树块可经分裂的最大次数，称为最大CU深度，且也可界定译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”来指代HEVC上下文中的CU、PU或TU中的任一者，或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。

CU包含译码节点以及与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小的范围可为从8x8像素直到具有最大64x64像素或更大的树块的大小。每一CU可含有一个或一个以上PU和一个或一个以上TU。与CU相关联的语法数据可描述例如CU分割为一个或一个以上PU。分割模式在CU经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间可不同。PU可经分割为非正方形的形状。与CU相关联的语法数据还可描述例如CU根据四叉树而分割为一个或一个以上TU。TU可为正方形或非正方形(例如，矩形)的形状。

HEVC标准允许根据TU的变换，所述TU对于不同CU可为不同的。TU通常基于为经分割LCU界定的给定CU内的PU的大小来定大小，但情况可能并非总是这样。TU通常与PU大小相同或小于PU。在一些实例中，使用称为“残余四叉树”(RQT)的四叉树结构，对应于CU的残余样本可经再分为较小的单元。RQT的叶节点可称为变换单元(TU)。与TU相关联的像素差值可经变换以产生可经量化的变换系数。

叶CU可包含一个或一个以上预测单元(PU)。大体上，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。而且，PU包含与预测相关的数据。举例来说，当PU经帧内模式编码时，PU的数据可包含在残余四叉树(RQT)中，其可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一个或一个以上运动向量的数据。界定PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一个或一个以上PU的叶CU还可包含一个或一个以上变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文论述。举例来说，分裂旗标可指示叶CU是否经分裂为四个变换单元。随后，每一变换单元可进一步分裂为另外的子TU。当TU未经进一步分裂时，其可称为叶TU。大体上，对于帧内译码，属于叶CU的所有叶TU共享同一帧内预测模式。也就是说，同一帧内预测模式大体上适用于计算叶CU的所有TU的预测值。对于帧内译码，视频编码器20可使用帧内预测模式计算每一叶TU的残余值，作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，可对PU分配同一CU的对应叶TU。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

而且，叶CU的TU也可与称为残余四叉树(RQT)的相应四叉树数据结构相关联。也就是说，叶CU可包含指示叶CU如何经分割为TU的四叉树。TU四叉树的根节点大体上对应于叶CU，而CU四叉树的根节点大体上对应于树块(或LCU)。RQT的未经分裂的TU称为叶TU。大体上，本发明使用术语CU和TU来分别指代叶CU和叶TU，除非另外说明。

视频序列通常包含一系列图片。如本文使用，“图片”和“帧”可以可互换方式使用。也就是说，含有视频数据的图片可称为视频帧或简称为“帧”。图片群组(GOP)通常包括一系列一个或一个以上视频图片。GOP可在GOP的标头、一个或一个以上图片的标头或其它地方包含描述所述GOP中包含的图片数目的语法数据。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为一实例，HM支持各种PU大小下的预测。假定特定CU的大小为2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测以及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向分割为25％和75％。CU的对应于25％分区的部分由“n”指示，随后是“上”、“下”、“左”或“右”的指示。因此，举例来说，“2NxnU”指代经水平分割的2Nx2N CU，其中顶部为2Nx0.5N PU且底部为2Nx1.5N PU。

在本发明中，“NxN”和“N乘N”可以互换地使用以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16x16像素或16乘16像素。大体上，16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样，NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可以若干行和列布置。而且，块无需一定在水平方向上具有与垂直方向上相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。

在使用CU的PU的帧内预测或帧间预测译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述产生空间域(也称为像素域)中的预测性像素数据的方法或模式的语法数据，且TU可包括例如在对残余视频数据应用例如离散余弦变换(DCT)、整数变换、小波变换等变换或概念上类似的变换后的变换域中的系数。残余数据可对应于未经编码图片的像素之间的像素差和对应于PU的预测值。视频编码器20可形成包含CU的残余数据的TU，且随后变换TU以产生CU的变换系数。

在任何变换以产生变换系数后，视频编码器20可执行变换系数的量化。量化大体上指代其中变换系数经量化以可能地减少用以表示所述系数的数据量从而提供进一步压缩的过程。量化过程可产生与系数中的一些或全部相关联的位深度。举例来说，在量化期间可将n位值下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(且因此较低频率)系数放置于阵列的前部，且将较低能量(且因此较高频率)系数放置于阵列的后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的经串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30用于对视频数据进行解码。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派于待发射的符号。所述上下文可例如涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射符号选择可变长度译码。VLC中的码字可经构造以使得相对较短的码对应于较可能的符号，而较长的码对应于较不可能的符号。以此方式，VLC的使用可例如针对待发射的每一符号使用相等长度码字来实现位节省。概率确定可基于对符号指派的上下文。

视频编码器20可进一步例如在图片标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于图片的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的图片数目，且图片语法数据可指示用以对对应图片进行编码的编码/预测模式。

在一些实例中，视频编码器20可产生某些参数集且视频解码器30可接收某些参数集，其可在对视频数据进行解码时使用。举例来说，参数集可含有(序列参数集(SPS))中的序列层级标头信息以及(图片参数集(PPS))中的不频繁改变的图片层级标头信息。通过参数集(例如，PPS和SPS)，不频繁改变的信息无需针对每一序列(图片序列)或图片重复，因此可改善译码效率。此外，参数集的使用可实现重要标头信息的带外发射，从而不需要冗余发射来实现错误弹性。在带外发射实例中，参数集NAL单元可在与例如补充增强信息(SEI)NAL单元等其它NAL单元不同的信道上发射的。

SEI NAL单元(称为SEI消息)可含有对于对来自VCL NAL单元的经译码图片样本进行解码并非必要但可帮助与解码、显示、错误弹性和其它目的相关的过程的信息。SEI消息可含于非VCL NAL单元中。SEI消息可包含在一些标准规范的标准化部分中，且因此对于标准顺应解码器实施方案并非总是强制的。SEI消息可为序列层级SEI消息或图片层级SEI消息。一些序列层级信息可含于SEI消息中，例如在SVC的实例中的可缩放性信息SEI消息和MVC中的视图可缩放性信息SEI消息。

在一些实例中，视频编码器20可对符合H.264/AVC的MVC扩展的MVC位流进行编码。同样，视频解码器30可对符合H.264/AVC的MVC扩展的MVC位流进行解码。MVC的最新联合草案在2008年1月到2月瑞士日内瓦第30届JVT会议的JVT-AD007“ITU-T推荐H.264的编者草案修订，ISO/IEC14496-10高级视频译码(Editors′draft revision to ITU-T Rec.H.264|ISO/IEC14496-10Advanced Video Coding)”中描述，其从http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007公开可得。

在H.264/AVC的可缩放扩展中，可在NAL单元标头扩展中添加语法元素以将NAL单元标头从一个字节延伸到四个字节以描述VCL NAL单元在多个维度中的特性。因此，HEVC中的VCL NAL单元可包含比H.264/AVC标准中的NAL单元标头长的NAL单元标头。H.264/AVC的MVC扩展在本发明中可称为“MVC/AVC”。

MVC/AVC NAL单元可含有一个字节NAL单元标头(包含NAL单元类型)以及MVC/AVC NAL单元标头扩展。作为一个实例，MVC/AVC NAL单元标头扩展可包含以下表1中的语法元素：

表1-NAL单元标头扩展语法

nal_unit_header_extension(){	C	描述符
			reserved_zero_bit	全部	u(1)
idr_flag	全部	u(1)
			priority_id	全部	u(6)
view_id	全部	u(10)
			temporal_id	全部	u(3)
anchor_pic_flag	全部	u(1)
			inter_view_flag	全部	u(1)
reserved_one_bit	全部	u(1)
			}

在以上表1中，idr_flag元素可指示NAL单元是否属于可以用作闭合GOP随机存取点的瞬时解码刷新(IDR)或视图IDR(V-IDR)图片。举例来说，IDR图片以及在显示次序和位流次序上均在IDR图片之后的所有图片可经适当解码，而不对在位流次序或显示次序上的先前图片进行解码。priority_id元素可与位流调适过程一起使用，所述过程根据视频解码器30和/或显示装置32的改变的网络条件和/或能力而改变位流(例如，单遍次调适过程)。view_id元素可用以指示NAL单元所属于的视图的视图识别符，其可在MVC解码器内使用(例如，用于视图间预测)和在解码器外使用(例如，用于再现)。在一些实例中，view_id可设定为等于预定义相机id，且可相对较大。temporal_id元素可用以指示当前NAL单元的时间层级，其可对应于特定帧速率。

anchor_pic_flag元素可用以指示NAL单元是否属于可用作开放GOP随机存取点的锚点图片。举例来说，锚点图片和在显示次序上在锚点图片之后的所有图片可经适当解码，而不对在解码次序(即，位流次序)上的先前图片进行解码，且因此可用作随机存取点。锚点图片和非锚点图片可具有不同的相依性，其均可在SPS中用信号表示。也就是说，如本文描述，视图相依性可大体上指代当前正经译码的视图所依赖的视图。换句话说，视图相依性可陈述当前正经译码的视图可从哪些视图来预测。根据一些实例，视图相依性可在SPS MVC扩展中用信号表示。在此些实例中，所有视图间预测均可在由SPSMVC扩展指定的范围内完成。inter_view_flag元素可用以指示NAL单元是否用于其它视图中的NAL单元的视图间预测。

为了针对MVC位流的基本视图传达上述4字节NAL单元标头信息，可在MVC中界定前缀NAL单元。在MVC的上下文中，基本视图存取单元可包含特定视图的当前实例的VCL NAL单元，以及用于基本视图存取单元的前缀NAL单元，其可仅含有NAL单元标头。如果对于解码不需要前缀NAL单元(例如，例如对单个视图进行解码)，那么解码器可忽略和/或丢弃前缀NAL单元。

相对于SPS MVC/AVC扩展，MVC SPS可指示可用于视图间预测的目的的视图。举例来说，潜在的视图间参考可在SPS MVC/AVC扩展中用信号表示，且可通过参考图片列表构造过程来修改，所述过程实现帧间预测或视图间预测参考的灵活排序。实例性MVC/AVC SPS在以下表2中陈述：

表2-实例性MVC SPS

根据一些实例，视图相依性可在SPS MVC扩展中用信号表示。所有视图间预测均可在由SPS MVC扩展指定的范围内完成。也就是说，SPS可陈述可参考哪些视图以用于通过当前正经译码的视图进行的预测。在以上表2中，num_anchor_refs_l0[i]元素可指定用于列表0的经初始化参考图片列表(例如，RefPicList0)中的用于视图间预测的视图分量的数目。另外，anchor_ref_10[i][j]元素可指定经初始化RefPicList0中用于视图间预测的第j视图分量的view_id。num_anchor_refs_l1[i]元素可指定用于列表1的经初始化参考图片列表(例如，RefPicList1)中的用于视图间预测的视图分量的数目。anchor_ref_11[i][j]元素可指定经初始化RefPicList1中用于视图间预测的第j视图分量的view_id。num_non_anchor_refs_l0[i]元素可指定经初始化RefPicList0中用于视图间预测的视图分量的数目。non_anchor_ref_10[i][j]元素可指定经初始化RefPicList0中用于视图间预测的第j视图分量的view_id。num_non_anchor_refs_11[i]元素可指定经初始化RefPicList1中用于视图间预测的视图分量的数目。non_anchor_ref_l1[i][j]元素可指定经初始化RefPicList中用于视图间预测的第j视图分量的view_id。

经初始化或“初始”参考图片列表可相同或不同于用于视图间预测视图分量的最终参考图片列表。也就是说，某些参考候选(即，可用于视图间预测的参考图片)可从初始参考图片列表移除(例如，冗余图片)。另外，如下文更详细描述，参考候选可从初始参考图片列表重新排序以形成最终参考图片列表。

在此实例中，根据MVC/AVC，用于锚点图片和非锚点图片的视图相依性是单独地维持且用信号表示的。也就是说，视频译码器可确定总共四个参考图片列表(例如，列表0，非锚点图片；列表1，非锚点图片；列表0，锚点图片；列表1，锚点图片)。另外，如以上表2中所示，需要单独的信令来对视频解码器30指示视图相依性。也就是说，SPS必须包含用于anchor_refs和non_anchor_refs两者的单独列表0和列表1信令。

而且，根据表2，用于非锚点视图分量的视图间相依性是用于锚点视图分量的视图间相依性的子集。也就是说，举例来说，一锚点视图的视图分量可从一个以上其它视图(例如视图3和4)预测。然而，非锚点视图可仅从视图3的图片(锚点视图的子集)预测。以此方式，用于锚点和非锚点视图分量的视图相依性可单独地维持。

另外，在表2中，num_level_values_signalled可指定针对经译码视频序列用信号表示的层级值的数目。level_idc[i]元素可指定针对经译码视频序列用信号表示的第i层级值。num_applicable_ops_minus1[i]加1元素可指定由level_idc1[i]指示的层级所适用的操作点的数目。applicable_op_temporal_id[i][j]元素可指定由level_idc[i]指示的层级所适用的第j操作点的temporal_id。applicable_op_num_target_views_minus1[i][j]元素可指定由level_idc[i]指示的层级所适用的第j操作点的目标输出视图的数目。applicable_op_target_view_id[i][j][k]元素可指定由level_idc[i]指示的层级所适用的第j操作点的第k目标输出视图。applicable_op_num_views_minus1[i][j]元素可指定由level_idc[i]指示的层级所适用的第j操作点中的视图数目，包含依赖于目标输出视图但不属于目标输出视图的视图。

因此，在SPS MVC扩展中，对于每一视图，可用以形成参考图片列表0和参考图片列表1的视图数目可用信号表示。另外，如在SPS MVC扩展中用信号表示的用于锚点图片的预测关系可不同于用于同一视图的非锚点图片的预测关系(在SPS MVC扩展中用信号表示)。

如下文更详细描述，视频编码器20和视频解码器30可在构造参考图片列表时灵活地布置时间和视图预测参考。允许灵活的布置不仅提供潜在的译码效率增益，而且提供错误弹性，因为参考图片区段和冗余图片机制可延伸到视图尺寸。视频编码器20和/或视频解码器30在实例中可根据以下步骤构造参考图片列表：

1)初始化用于时间(即，视图内)参考图片的参考图片列表，使得不考虑来自其它视图的参考图片。

2)以图片在MVC SPS扩展中发生的次序将视图间参考图片附加到列表的末尾。

3)针对视图内和视图间参考图片应用参考图片列表重排序(RPLR)过程。视图间参考图片可在RPLR命令中通过如MVC SPS扩展中指定的其索引值来识别。

虽然H.264/AVC包含MVC支持，但对H.264/AVC的当前MVC扩展可含有相对于其它视频译码标准的若干低效。而且，如下文更详细论述，MVC从H.264/AVC到例如即将到来的HEVC标准等其它译码标准的直接导入可能是不可行的。本发明的技术大体上涉及MVC相关NAL单元、MVC相关参数集和类似物的形成。虽然本发明的技术不限于任何特定译码标准，但本发明的某些技术可实现即将到来的HEVC标准的高效MVC译码。

作为实例，H.264/MVC标准支持多达1024个视图，且使用NAL单元标头中的视图识别符(view_id)来识别NAL单元所属于的视图。因为视图id是10位长，所以通过视图id值可唯一地识别超过1000个不同视图。然而，许多三维(3D)视频应用需要相当更少的视图。而且，对于使用视图合成来产生较多视图(不需要译码)的3D视频应用可需要更少的视图。根据MVC/AVC扩展，NAL单元标头包含总是提供的10位视图id。视图id可大体上增加NAL单元标头的位数目，其占据位流的相对大部分。

根据本发明的方面，可用信号表示视图次序索引(“view_order_index”或“view_idx”)作为NAL单元标头的部分。也就是说，视频编码器20可编码和发射视图次序索引且视频解码器30可接收和解码视图次序索引，作为NAL单元标头的部分。为了比较，视图次序索引可代替在H.264/AVC的MVC扩展(下文中为“MVC/AVC”)的NAL单元标头中用信号表示的视图id。也就是说，例如，view_idx可代替NAL单元标头中的view_id。

如上文论述，MVC提供视图间预测。因此，用于参考的视图(也就是说，用以预测其它视图的视图)必须以比参考视图早的译码次序发生，如上文论述。视图次序大体上描述存取单元中的视图的排序，且视图次序索引以存取单元的视图次序识别特定视图。也就是说，视图次序索引描述存取单元的对应视图分量的解码次序。

SPS可提供视图的视图id(view_id)与视图的视图次序索引之间的关系。根据本发明的方面，使用SPS中的视图次序索引和数据，视频编码器20和视频解码器30可用视图次序索引来代替NAL单元标头中的MVC/AVC的10位view_id。举例来说，视图次序索引可包含大体上少于10个位(例如，例如2个位、3个位或类似者)。虽然视图次序索引与视图id之间的关系可需要一些相关联信令(例如，SPS中)，但NAL单元标头通常消耗比此信令多得多的位。因此，通过减少NAL单元标头的大小，本发明的技术可实现超过MVC/AVC方案的位节省。指示所述关系的信息可包括例如将view_id值映射到视图次序索引值的映射表。以此方式，视频解码器30可简单地接收NAL单元标头中的视图次序索引值，且使用映射表确定NAL单元的view_id。

根据本发明的一些方面，视图次序索引可具有动态长度，这取决于其是否为HEVC基本视图、简档、或在MVC位流中支持的视图数目。举例来说，在仅包含两个视图的MVC流(即，用于立体视频)中可实现额外位节省。在此实例中，可不需要视图次序索引，因为视频解码器30可总是在解码第二视图(例如，视图1)之前解码第一视图(例如，视图0)。也就是说，根据本发明的一些方面，可对基本视图指派默认视图次序索引0，且因此不需要用信号表示。

另外，当使用上述视图次序索引时，紧接在MVC/AVC基本视图的基本视图(例如，视图0)的NAL单元之前而包含的前缀NAL单元可不再需要。举例来说，视频解码器30可不再需要用于基本视图的前缀NAL单元，因为视图次序索引对于基本视图可总是为零，且基本视图的时间位置可使用temporal_id(包含在MCV/AVC中)来确定。因此，视频编码器20可在NAL单元标头中用信号表示temporal_id，其可提供视频解码器30使特定视图分量与特定视图以及与适当时间位置相关联所需的所有信息。

相对于新兴的HEVC标准，根据本发明的方面，当前缀NAL单元不用于HEVC顺应基本视图时，可将旗标添加到HEVC基本视图的NAL单元标头中。所述旗标可仅用以指示(所述特定NAL单元的)视图分量是否可用以帧间预测位流的其它视图的视图分量。

另外，根据本发明的方面，视图次序索引可与图片次序计数(POC)值(例如，指示图片的显示次序)或帧值(例如，指示图片的解码次序)一起使用以识别位流的视图分量。

作为另一实例，如上所述，MVC/AVC SPS可针对每一视图单独地指示依赖的视图(即，为了预测而由一个或一个以上其它视图参考的视图)。举例来说，包含在MVC/AVCNAL单元标头中的anchor_pic_flag可用以指示NAL单元是否属于可用作开放GOP随机存取点的锚点图片。在MVC/AVC中，如上所述，视图相依性针对锚点图片和非锚点图片是以不同方式用信号表示。因此，对于针对每一视图用信号表示的依赖视图，考虑四个不同类别，其中每一者是通过图片是否用于锚点图片或图片是否用于列表0或列表1来区分。此设计不仅需要相对大量的位来维持此些分界，而且可使参考图片列表构造变复杂(例如，必须在参考列表构造和重排序期间维持每一类别)。

根据本发明的方面，视频编码器20可针对MVC位流的每一视图共同地针对所有视图分量用信号表示(且视频解码器30可接收此信令)视图相依性，无论所述视图分量是用于锚点图片还是非锚点图片。在一些实例中，SPS包含视图分量的视图相依性的指示，而不是依赖于NAL单元标头中的信息。以此方式，视频编码器20和视频解码器30可不使用在MVC/AVC NAL单元标头中使用的anchor_pic_flag。

用信号表示的依赖视图的视图分量可用作列表0和列表1两者中的参考图片。另外，用于列表0和列表1的参考图片列表构造和参考图片列表重排序也可基于用于锚点图片和非锚点图片的共同信令。在一些实例中，序列层级补充增强信息(SEI)消息可用以指示何时非锚点图片具有与锚点图片不同的视图相依性。

因此，本发明的某些方面涉及移除MVC/AVC的锚点图片/非锚点图片和列表0/列表1信令区别，进而简化位流，以及参考图片列表的构造。举例来说，根据本发明的方面，视频解码器30可针对第一视图的任一视图分量接收参考视图信息，所述信息指示用于预测第一视图的视图分量的一个或一个以上参考视图。也就是说，视频解码器30可接收指示视图的锚点图片以及视图的非锚点图片的视图相依性的参考视图信息。参考视图信息可包含例如与每一参考视图相关联的视图次序索引(指示存取单元中的视图的解码次序)，如上所述。

另外，当对特定视图的(存取单元的)特定图片进行解码时，视频解码器30可包含来自与所述特定图片相同的存取单元以及来自由参考视图信息指示的参考视图的参考候选(例如，特定图片可根据其预测的视图分量)。在一些实例中，视频解码器30可将参考候选添加到来自每一参考视图的参考图片列表，使得参考候选数目等于参考视图的数目。另外，视频解码器30可将参考候选添加到列表1、列表0或两者。视频解码器30可随后基于参考图片列表中的参考图片中的一者对特定图片进行解码。

作为再一实例，如上所述，priority_id包含在MVC/AVC顺应位流的NAL单元标头中。priority_id提供特定NAL单元的优先级的指示。更特定来说，每一NAL单元常规上被指派一优先级值。响应于针对优先级值P的请求，将提供具有小于或等于P的优先级值的所有NAL单元(也就是说，丢弃具有大于P的priority_id值的NAL单元)。以此方式，较低优先级值指定较高优先级。应了解，同一视图的NAL单元可具有不同优先级，例如针对视图内的时间可缩放性。

此优先级可用于可缩放性目的。举例来说，为了检索消耗最少量带宽(以形成相对低质量表示为代价)的视频数据，视频解码器30(或更一般地，目的地装置14)可仅请求从例如源装置12/视频编码器20等源发射最高优先级NAL单元，且priority_id可用以过滤掉较低优先级NAL单元。在一些实例中，服务器/内容递送网络34的路由器36可使用priority_id来分离相对高优先级NAL单元与较低优先级NAL单元。为了产生相对较高质量表示(以较高带宽消耗为代价)，视频解码器30可例如通过指定较高优先级值来请求具有较低优先级的NAL单元以补充较高优先级NAL单元。

根据本发明的方面，视频编码器20可在SPS中提供priority_id值，而非在NAL单元标头中用信号表示priority_id。也就是说，具有某一时间层级的每一视图的priority_id可在序列层级中用信号表示。另外，根据本发明的方面，只要与调适相关联的信令上下文是已知的，便可启用单遍次调适。

如上文论述，在一些实例中，可负责将位流转发到目的地装置14的路由器36可使用SPS priority_id值来过滤某些视图。也就是说，路由器36可接收完整位流，但提取包含具有处于和低于由目的地装置14指定的优先级值的priority_id值的NAL单元的子位流，且将子位流转发到目的地装置。

在再另一实例中，根据MVC/AVC，单遍次调适需要NAL单元标头中的6位priority_id。举例来说，如上所述，MVC/AVC SPS可包含用于视图可缩放性的视图层级指示。也就是说，MVC位流的每一视图可以阶层方式译码且被指派数值视图层级。

根据本发明的方面，SPS可包含视图层级信息。因此，当目的地装置14从服务器/内容递送网络34请求视图层级V的视图时，目的地装置14接收具有小于或等于V的视图层级的所有视图。类似于上述priority_id值的使用，服务器/内容递送网络34的路由器36可使用视图层级来提取包含具有小于或等于客户端请求的视图层级的视图层级的视图的数据的子位流。

本发明的其它方面涉及轻量型转码过程，用以将较高简档的子位流转换为符合较低简档的位流。此转码过程可例如由服务器/内容递送网络34执行。根据本发明的方面，可在以下步骤中执行转码：

1)在SPS中重映射view_idx和view_id值

2)以短长度view_idx对NAL单元标头重定大小

例如假定自由视点电视(FVT)简档位流含有32个视图，其中针对每一视图view_idx等于view_id。在此实例中，位流具有含有8个视图的子位流，其中view_idx等于0、4、8、12、16、20、24、28。此子位流进一步含有包含具有view_id值0和4的两个视图的子位流。

根据本发明的方面，8视图子位流的view_idx值可根据以下表3重映射：

表3-VIEW_IDX重映射

view_id	0	4	8	12	16	20	24	28
									ftv简档中的原始view_idx	0	4	8	12	16	20	24	28
3DV简档中的经映射view_idx	0	1	2	3	4	5	6	7

根据本发明的方面，2视图子位流的view_idx值可根据以下表4重映射：

表4-VIEW_IDX重映射

view_id	0	4
			ftv简档中的原始view_idx	0	4
3DV简档中的经映射view_idx	0	1
			立体简档中的经映射view_idx	0	1

根据本发明的方面，NAL单元标头中的view_idx可根据以下表5重映射：

表5-VIEW_IDX重映射

	NALU中的位数目	用于view_id4的值
			ftv NAL单元标头中的view_idx	u(10)	4
3DV NAL单元标头中的view_idx	u(3)	1
			立体NAL单元标头中的view_idx	无位需要用信号表示	1

或者，如果符合的位流允许视图次序索引中的间隙，那么上文描述的轻量型转码过程可不需要view_idx的重映射。

图2是图解说明可实施本发明中描述的技术以用于对多视图位流进行编码的实例性视频编码器20的框图。视频编码器20接收待编码的视频数据。在图2的实例中，视频编码器20包含模式选择单元40、求和器50、变换处理单元52、量化单元54、熵编码单元56以及参考图片存储器64。模式选择单元40又包含运动/视差估计单元42、运动补偿单元44、帧内预测单元46以及分割单元48。

对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波以从经重构视频移除成块假象。如果需要，则解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外也可使用额外的环路滤波器(环路内或环路后)。此些滤波器为了简明而未图示，但如果需要则可对求和器50的输出进行滤波(作为环路内滤波器)。

模式选择单元40可以块的形式从一个或一个以上视图接收原始视频数据。模式选择单元40可例如基于误差结果而选择译码模式中的一者(帧内或帧间)，且将所得经帧内或帧间译码块提供到求和器50以产生残余块数据且提供到求和器62以重构经编码块以用作参考图片。模式选择单元40还将例如运动向量、帧内模式指示符、分区信息和其它此类语法信息等语法元素提供到熵编码单元56。

运动/视差估计单元42和运动补偿单元44可高度集成，但为了概念目的而分开来说明。由运动/视差估计单元42执行的运动估计是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测块相对于当前图片(或其它经译码单元)内的正经译码当前块的位移。

预测块为被发现在像素差方面紧密匹配于待译码块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值，所述存储器也可称为参考图片缓冲器。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动/视差估计单元42可执行相对于全像素位置和分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。

运动/视差估计单元42通过将PU的位置与参考图片的预测块的位置进行比较来计算经帧间译码切片中的视频块的PU的运动向量。运动估计/视差单元42还可经配置以执行视图间预测，在此情况下运动估计/视差单元42可计算一个视图图片(例如，视图0)的块与参考视图图片(例如，视图1)的对应块之间的位移向量。大体上，用于运动/视差向量的数据可包含参考图片列表、到参考图片列表中的索引(ref_idx)、水平分量以及垂直分量。参考图片可选自第一参考图片列表(列表0)、第二参考图片列表(列表1)或组合参考图片列表(列表C)，其中每一者识别存储在参考图片存储器64中的一个或一个以上参考图片。相对于组合列表，视频编码器20从两个列表(即，列表0和列表1)交替地选择条目以插入(附加)到组合列表中。当条目已经置于组合列表中时，通过检查POC数字，视频编码器20可不再次插入条目。对于每一列表(即，列表0或列表1)，视频编码器20可基于参考索引的升序来选择条目。

运动/视差估计单元42可产生且发送识别参考图片的预测块的运动/视差向量到熵编码单元56和运动补偿单元44。也就是说，运动/视差估计单元42可产生且发送识别参考图片列表的运动向量数据，其含有预测块、识别预测块的图片的到参考图片列表中的索引，以及用以在所识别图片内定位预测块的水平和垂直分量。

由运动补偿单元44执行的运动补偿可涉及基于由运动/视差估计单元42确定的运动/视差向量来获取或产生预测块。又，在一些实例中，运动/视差估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位运动向量指向的预测块。

求和器50通过从正译码的当前视频块的像素值减去预测块的像素值而形成像素差值，来形成残余视频块，如下文论述。大体上，运动/视差估计单元42执行相对于亮度分量的运动估计，且运动补偿单元44使用基于亮度分量计算的运动向量用于色度分量和亮度分量两者。模式选择单元40还可产生与视频块和视频切片相关联的语法元素，供视频解码器30用于对视频切片的视频块进行解码。

帧内预测单元46可对当前块进行帧内预测，作为对如上所述由运动/视差估计单元42和运动补偿单元44执行的帧间预测的替代。具体来说，帧内预测单元46可确定将用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独的编码遍次期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(或在一些实例中，模式选择单元40)可从测试模式中选择将使用的适当帧内预测模式。

举例来说，帧内预测单元46可使用用于各种经测试帧内预测模式的速率-失真分析来计算速率-失真值，且在经测试模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与曾经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(即，位数目)。帧内预测单元46可根据各种经编码块的失真和速率来计算比率，以确定哪一帧内预测模式展现块的最佳速率-失真值。

在选择块的帧内预测模式之后，帧内预测单元46可将指示块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射位流中包含配置数据，其可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称为码字映射表)、用于各种块的编码上下文的定义，以及针对上下文中的每一者将使用的最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示。

视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据来形成残余视频块。求和器50表示执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任一情况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。变换可将残余信息从像素值域转换为变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可产生与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行扫描。

在量化后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56的熵译码之后，经编码位流可发射到另一装置(例如，视频解码器30)，或经归档以用于稍后发射或检索。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以重构像素域中的残余块，例如用于稍后用作参考块。运动补偿单元44可通过将残余块加到参考图片存储器64的图片中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构残余块以计算子整数像素值以用于运动估计。求和器62将经重构残余块加到由运动补偿单元44产生的经运动补偿预测块以产生经重构视频块以存储在参考图片存储器64中。经重构视频块可由运动/视差估计单元42和运动补偿单元44用作参考块以对后续图片中的块进行帧间译码。

视频编码器20可产生如上所述的若干语法元素，其可由熵编码单元56或视频编码器20的另一编码单元编码。在一些实例中，视频编码器20可产生且编码用于MVC位流的语法元素，如上所述。

如上所述，在NAL单元标头中可包含视图识别符以识别NAL单元所属于的视图。视图id可大体上增加NAL单元标头的位数目，其占据位流的相对大部分。根据本发明的方面，视频编码器20可用信号表示视图次序索引作为NAL单元标头的部分。也就是说，视频编码器20可用视图次序索引代替可在NAL单元标头中共同地用信号表示的视图id。视图次序索引可描述存取单元的对应视图分量的解码次序。视图次序索引可与POC值或帧值一起使用以识别位流的视图分量。视频编码器20还可产生SPS，其提供视图的视图id与视图的视图次序索引之间的关系的指示。举例来说，视频编码器20可产生将view_id值映射到视图次序索引值的映射表，且在SPS中包含此映射表。在其它实例中，视频编码器20可以替代方式指示视图id与视图次序索引之间的关系。

视频编码器20还可避免对通常可紧接在基本视图之前包含的前缀NAL单元进行编码。而是，视频编码器20可在NAL单元标头中用信号表示temporal_id，其可提供视频解码器30使特定视图分量与特定视图以及与适当时间位置相关联所需的所有信息(例如，给定为零的默认基本视图次序索引)。在一些实例中，视频编码器20可将旗标添加到基本视图的NAL单元标头以指示(所述特定NAL单元的)视图分量是否可用以对位流的其它视图的视图分量进行帧间预测。

根据本发明的方面，视频编码器20可针对每一视图共同地针对所有视图分量用信号表示视图相依性，无论所述视图分量是用于锚点图片还是非锚点图片以及视图分量是否属于列表0或列表1。在一些实例中，视频编码器20可在SPS中包含识别锚点图片和非锚点图片的不同视图相依性的指示。

根据本发明的其它方面，视频编码器20可在SPS中提供priority_id值，而非在NAL单元标头中用信号表示priority_id。也就是说，具有某一时间层级的每一视图的priority_id可在序列层级中用信号表示。另外，根据本发明的方面，只要与调适相关联的信令上下文是已知的，便可启用单遍次调适。另外，视频编码器20可在SPS中用信号表示视图层级信息。

图3是图解说明可实施本发明中描述的技术以用于对多视图位流进行解码的实例性视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、具有运动补偿单元82和帧内预测单元84的预测单元81、逆量化单元86、逆变换单元88、求和器90以及参考图片存储器92。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流和相关联语法元素。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测单元81。视频解码器30可在视频切片级和/或视频块级接收语法元素。

举例来说，视频解码器30可接收具有NAL单元标头的若干NAL单元，所述标头识别存储到NAL单元的数据类型(例如，VCL数据和非VCL数据)。参数集可含有序列层级标头信息，例如SPS、PPS或上文描述的其它参数集。

根据本发明的方面，视频解码器30可接收视图次序索引作为NAL单元标头的部分。也就是说，视频解码器30可接收视图次序索引而非可在NAL单元标头中共同地用信号表示的视图id。视图次序索引可描述存取单元的对应视图分量的解码次序。另外，视频解码器30可接收指示所接收视图次序索引与对应视图id之间的关系的信息。所述信息可包含例如将view_id值映射到视图次序索引值的映射表。以此方式，视频解码器30可简单地接收NAL单元标头中的视图次序索引值，且使用映射表确定NAL单元的view_id。在一些实例中，可在SPS中接收关系信息。视频解码器30也可将视图次序索引与POC值或帧值(帧号或frame_num)一起使用以识别位流的视图分量。

在一些实例中，根据本发明的方面，视频编码器30可不接收通常可紧接在基本视图之前包含的前缀NAL单元。而是，视频解码器30可接收NAL单元标头中的temporal_id，其可提供视频解码器30使特定视图分量与特定视图以及与适当时间位置相关联所需的所有信息(例如，给定为零的默认基本视图次序索引)。在一些实例中，视频解码器30可接收基本视图的NAL单元标头中的旗标以指示(所述特定NAL单元的)视图分量是否可用以对位流的其它视图的视图分量进行帧间预测。

根据本发明的方面，视频解码器30还可接收针对每一视图共同地针对所有视图分量的视图相依性，无论所述视图分量是用于锚点图片还是非锚点图片以及无论视图分量是否将包含在列表0或列表1中。在一些实例中，视频解码器30可接收SPS中的识别锚点图片和非锚点图片的不同视图相依性的指示。

根据本发明的其它方面，视频编码器20可在SPS中提供priority_id值，而非在NAL单元标头中用信号表示priority_id。另外，根据本发明的方面，只要与调适相关联的信令上下文是已知的，便可启用单遍次调适。视频解码器30也可接收SPS中的某些视图层级信息。

当视频切片经译码为经帧内译码(I)切片时，预测单元81的帧内预测单元84可基于用信号表示的帧内预测模式和来自当前图片的先前经解码块的数据来产生当前视频切片的视频块的预测数据。当图片经译码为经帧间译码(即，B、P或GPB)切片时，预测单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素来产生当前视频切片的视频块的预测块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器92中的参考图片，使用默认构造技术来构造参考图片列表，列表0和列表1(或组合列表，列表c)。

运动补偿单元82通过剖析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，且使用预测信息来产生正解码的当前视频块的预测块。举例来说，运动补偿单元82使用所接收语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的一个或一个以上参考图片列表的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以对当前视频切片中的视频块进行解码的其它信息。

逆量化单元86逆量化(即，解量化)在位流中提供且由熵解码单元80解码的经量化变换系数。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数来确定量化程度，且同样确定应当应用的逆量化程度。

逆变换处理单元88对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。根据本发明的方面，逆变换处理单元88可确定变换应用于残余数据的方式。也就是说，例如，逆变换处理单元88可确定表示变换(例如，DCT、整数变换、小波变换，或一个或一个以上其它变换)应用于与所接收视频数据块相关联的残余亮度样本和残余色度样本的方式的RQT。

在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过将来自逆变换处理单元88的残余块与由运动补偿单元82产生的对应预测块进行求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要，则还可应用解块滤波器以对经解码块进行滤波以便移除成块假象。也可使用其它环路滤波器(在译码环路中或在译码环路之后)来平滑像素转变，或另外改善视频质量。随后将给定图片中的经解码视频块存储在参考图片存储器92中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频用于稍后在例如图1的显示装置32等显示装置上呈现。

图4是图解说明实例性MVC预测模式的概念图。在图4的实例中，图解说明八个视图，且针对每一视图图解说明十二个时间位置。大体上，图4中的每一行对应于一视图，而每一列指示一时间位置。视图中的每一者可使用视图识别符(view_id)来识别，所述视图识别符可用以指示相对于其它视图的相对相机位置。在图4中所示的实例中，视图ID经指示为“S0”到“S7”，但也可使用数字视图ID。另外，时间位置中的每一者可使用图片次序计数(POC)值来识别，其指示图片的显示次序。在图4所示的实例中，POC值经指示为“T0”到“T11”。

虽然MVC具有H.264/AVC解码器可解码的所谓的基本视图且MVC可支持立体视图对，但MVC可支持两个以上视图作为3D视频输入。因此，具有MVC解码器的客户端的再现器可预期具有多个视图的3D视频内容。

图4中的图片是使用包含字母的阴影框来指示，所述字母指定对应图片是否经帧内译码(即，I帧)或者在一个方向上(即，作为P帧)或在多个方向上(即，作为B帧)经帧间译码。大体上，预测是通过箭头指示，其中被指向的图片使用指向来自的对象用于预测参考。举例来说，视图S2在时间位置T0的P帧是根据视图S0在时间位置T0的I帧来预测。图4中所示的图片中的每一者可称为视图分量。也就是说，视图的视图分量对应于视图的特定时间实例。

如同单个视图视频编码，多视图视频序列的图片可相对于不同时间位置处的图片经预测性编码。举例来说，视图S0在时间位置T1的b帧具有从视图S0在时间位置T0的I帧指向其的箭头，指示所述b帧是根据所述I帧来预测。然而另外，在多视图视频编码的上下文中，可对图片进行视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。在MVC中，例如，视图间预测经实现为似乎另一视图中的视图分量是帧间预测参考。潜在的视图间参考可在SPS MVC扩展中用信号表示，且可通过参考图片列表构造过程来修改，所述过程实现帧间预测或视图间预测参考的灵活排序。

图4提供视图间预测的各种实例。在图4的实例中，视图S1的图片经图解说明为根据视图S1的不同时间位置处的图片来预测，以及根据视图S0和S2的图片在相同时间位置处的图片来进行视图间预测。举例来说，视图S1在时间位置T1处的b帧是根据视图S1在时间位置T0和T2处的B帧以及视图S0和S2在时间位置T1处的b帧中的每一者来预测。

在图4的实例中，大写字母“B”和小写字母“b”既定指示图片之间的不同阶层关系，而非不同的编码方法。大体上，大写字母“B”帧在预测阶层中相对高于小写字母“b”帧。图4还使用不同阴影水平来图解说明预测阶层的变化，其中较大量的阴影(即，相对较暗)图片在预测阶层中高于具有较少阴影(即，相对较亮)的那些图片。举例来说，图4中的所有I帧是用完全阴影图解说明，而P帧具有稍微较亮的阴影，且B帧(和小写字母b帧)相对于彼此具有各种水平的阴影，但总是比P帧和I帧的阴影亮。

大体上，预测阶层与视图次序索引有关，因为在预测阶层中相对较高的图片应在对阶层中相对较低的图片进行解码之前解码，使得在阶层中相对较高的那些图片在对阶层中相对较低的图片的解码期间可用作参考图片。视图次序索引是指示存取单元的视图分量的解码次序的索引。视图次序索引可在例如SPS等参数集中暗示。

以此方式，用作参考图片的图片可在对参照参考图片编码的图片进行解码之前解码。视图次序索引是指示存取单元的视图分量的解码次序的索引。根据MVC/AVC，对于每一视图次序索引i，用信号表示对应的view_id。视图分量的解码遵循视图次序索引的升序。如果呈现所有视图，那么视图次序索引集合包括从零到比全部视图数目少一的连续排序集合。

在一些实例中，可提取整个位流的子集以形成仍符合MVC的子位流。存在许多可能的子位流，特定应用可基于例如由服务器提供的服务、一个或一个以上客户端的解码器的容量、支持和能力和/或一个或一个以上客户端的偏好而需要所述子位流。举例来说，客户端可能需要仅三个视图，且可能存在两个情形。在一个实例中，一个客户端可需要平滑的观看体验，且可能偏向于具有view_id值S0、S1和S2的视图，而另一其它客户端可需要视图可缩放性和偏向于具有view_id值S0、S2和S4的视图。这些子位流中的两者可经解码为独立MVC位流且可同时被支持。

大体上，不同视图之间的相机位置、定向和几何关系可从视图ID或视图次序索引推断。为此目的，可使用多视图获取信息SEI消息在位流中包含内在和外在相机参数两者。

虽然图4展示八个视图(S0-S7)，如上所述，但MVC/AVC扩展支持多达1024个视图，且使用NAL单元标头中的view_id来识别NAL单元所属于的视图。根据本发明的方面，可用信号表示视图次序索引作为NAL单元标头的部分。也就是说，为了比较，视图次序索引可代替在MVC/AVC扩展的NAL单元标头中用信号表示的view_id。视图次序大体上描述存取单元中的视图的排序，且视图次序索引以存取单元的视图次序识别特定视图。也就是说，视图次序索引描述存取单元的对应视图分量的解码次序。

因此，根据本发明的方面，SPS可提供视图的view_id与视图的视图次序索引之间的关系。使用SPS中的视图次序索引和数据，视频编码器20和视频解码器30可用视图次序索引来代替NAL单元标头中的MVC/AVC的10位view_id，这可带来超过MVC/AVC方案的位节省。

提供视图的view_id与视图次序索引之间的关系的实例性SPS在以下表6中提供：

表6-序列参数集MVC扩展

在表6中所示的实例中，黑体且斜体的语法元素指示与MVC/AVC SPS语法的偏离，即，相对于MVC/AVC SPS语法的修改。举例来说，表6中所示的SPS指定经译码视频序列的视图间相依性关系。SPS还指定经译码视频序列的操作点的子集的层级值。由经译码视频序列参考的所有SPS应当是相同的。然而，由view_id[i]识别的一些视图可能不存在于经译码视频序列中。另外，由SPS描述的一些视图或时间子集可能已从原始经译码视频序列移除，且因此可能不存在于经译码视频序列中。然而，SPS中的信息可总是应用于剩余的视图和时间子集。

在以上表6中，the num_views_minus1加1元素可指定经译码视频序列中的经译码视图的最大数目。num_view_minus1的值可在0到31(包含性)的范围内。在一些实例中，经译码视频序列中的实际视图数目可小于num_views_minus1加1。view_id[i]元素可指定具有等于i的视图次序索引的视图的视图识别符。view_level[i]元素可指定具有等于i的视图次序索引的视图的view_level。在一些实例中，具有高达预定义值(VL)的view_level的所有视图分量均可为可解码的，而无需对具有大于VL的view_level的任何视图分量进行解码。

根据本发明的方面，num_ref_views[i]元素可指定当对具有等于i的视图次序索引的视图分量进行解码时初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的视图分量的数目。num_ref_views[i]元素的值可不大于Min(15，num_views_minus1)。num_ref_views[0]的值可等于0。另外，根据本发明的方面，ref_view_idx[i][j]元素可指定当对具有等于i的视图次序索引的视图分量进行解码时初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的第j视图分量的视图次序索引。ref_view_idx[i][j]的值可在0到31(包含性)的范围内。

因此，在本发明的各种方面中，用于锚点图片和非锚点图片的视图相依性可不再需要单独地维持且用信号表示。也就是说，视频编码器20和/或视频编码器30可同样使用单个参考图片列表(或维持两个参考图片列表，列表0和列表1)用于锚点图片和非锚点图片。以此方式，如以上表6中所示，不需要单独的信令来对视频解码器30指示视图相依性。而是，SPS包含ref_view_idx，其可用以构造用于视图分量的列表0和列表1两者。

根据本发明的此些方面，例如，视频解码器30可针对第一视图的任一视图分量接收参考视图信息，所述信息指示用于预测第一视图的视图分量的一个或一个以上参考视图。也就是说，视频解码器30可接收指示视图的锚点图片以及视图的非锚点图片的视图相依性的参考视图信息。另外，当对特定视图的(存取单元的)特定图片进行解码时，随后视频解码器30可包含来自与所述特定图片相同的存取单元以及来自由参考视图信息指示的参考视图的参考候选(例如，特定图片可根据其预测的视图分量)。在一些实例中，视频解码器30可将参考候选添加到来自每一参考视图的参考图片列表，使得参考候选数目等于参考视图的数目。另外，视频解码器30可将参考候选添加到列表1、列表0或两者。视频解码器30可随后基于参考图片列表中的参考图片中的一者对特定图片进行解码。

而且，根据表6，用于非锚点视图分量的视图间相依性可不再在SPS中用信号表示为用于锚点视图分量的视图间相依性的子集。而是，锚点视图的视图分量可根据一个以上其它视图(例如，视图3和4)来预测，且非锚点视图也可根据视图3和视图4的图片来预测。如果针对非锚点图片需要额外限制视图相依性限制，那么可在例如SEI消息等补充信令中提供此限制。

num_level_values_signalled_minus1加1元素可指定针对经译码视频序列用信号表示的层级值的数目。num_level_values_signalled_minus1的值可在0到63(包含性)的范围内。level_idc[i]元素可指定针对经译码视频序列用信号表示的第i层级值。num_applicable_ops_minus1[i]加1元素可指定由level_idc[i]指示的层级所适用的操作点的数目。num_applicable_ops_minus1[i]元素的值可在0到1023(包含性)的范围内。applicable_op_temporal_id[i][j]元素可指定由level_idc[i]指示的层级所适用的第j操作点的temporal_id。applicable_op_num_target_views_minus1[i][j]加1元素可指定由level_idc[i]指示的层级所适用的第j操作点的目标输出视图的数目。applicable_op_num_target_views_minus1[i][j]元素的值可在0到1023(包含性)的范围内。

applicable_op_target_view_idx[i][j][k]元素可指定由level_idc[i]指示的层级所适用的第j操作点的第k目标输出视图的视图次序索引。applicable_op_target_view_idx[i][j][k]元素的值可在0到31(包含性)的范围内。applicable_op_num_views_minus1[i][j]加1元素可指定用于对对应于由level_idc[i]指示的层级所适用的第j操作点的目标输出视图进行解码所需的视图的数目。由applicable_op_num_views_minus1指定的视图数目可包含目标输出视图以及目标输出视图所依赖的视图，如子位流提取过程所指定。

在另一实例中，根据本发明的方面，基于同一时间实例中的视图分量的解码次序，ref_view_idx[i][j]的值可需要小于i。

ref_view_idx[i][j]可在大小上进一步减小(与MVC/AVC相比得到额外位节省)。举例来说，在仅包含两个视图的MVC流(即，用于立体视频)中可实现额外位节省。在此实例中，可不需要视图次序索引，因为视频解码器30可总是在解码第二视图(例如，视图1)之前解码第一视图(例如，视图0)。实例性减小的SPS在以下表7中提供：

表7-序列参数集MVC扩展

seq_parameter_set_mvc_extension(){	描述符
		...	ue(v)
for(i=1；i<=num_views_minus1；i++){
		num_ref_views[i]	ue(v)

for(j=0；j<num_ref_view[i]；j++)
	ref_view_idx_diff_minus1[i][.j]	ue(v)
...

在表7所示的实例中，ref_view_idx_diff_minus1[i][j]加i+1元素可指定当对具有等于i的视图次序索引的视图分量进行解码时初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的第j视图分量的视图次序索引。ref_view_idx_diff_minus1[i][j]元素的值可在0到30-i(包含性)的范围内。

其它实例也是可能的。举例来说，可在PPS中用信号表示视图相依性，而非在SPS中用信号表示视图相依性(例如以上表6和7中所示的实例)。在另一实例中，可在SPS中用信号表示视图相依性，且可在PPS中进一步用信号表示在序列参数集中用信号表示的视图相依性的范围内的视图相依性。举例来说，在SPS中，依赖视图(例如，视图2)可用信号表示为依赖于视图0和视图1，而在PPS中，依赖视图(例如，视图2)可用信号表示为仅依赖于视图0。

根据本发明的一些方面，参考图片列表构造和重排序可从MVC/AVC变更。举例来说，根据本发明的方面，上文描述的视图索引(view_idx)可在参考图片列表构造和/或重排序期间使用。实例性参考图片列表MVC修改语法在以下表8和9中提供：

表8-MVC参考图片列表修改

表9-MVC参考图片列表修改

在表8和9中，modification_of_pic_nums_idc元素连同abs_diff_pic_num_minus1、long_term_pic_num或abs_diff_view_idx_minus1一起可指定参考图片或仅视图间参考分量中的哪些经重映射。举例来说，abs_diff_view_idx_minus1加1元素可指定将置于参考图片列表中的当前索引的视图间参考索引与视图间参考索引的预测值之间的绝对差。

在另一实例中，根据本发明的方面，可直接用信号表示视图间参考的inter_view_index。此参考图片列表MVC修改语法在以下表10和11中提供：

表10-MVC参考图片列表修改

表11-MVC参考图片列表修改

在表10和11中，视图间参考图片可由inter_view_index如下识别：

VOIdx=ref_view_idx[CurrVOIdx][inter_view_index]

其中CurrVOIdx是当前视图分量的视图次序索引。给定当前图片的POC值，POC和VOIdx可用以识别视图间参考图片。

在一些实例中，用于参考图片列表构造的MVC解码过程可在用于每一P、SP或B切片的解码过程的开始处调用。在此过程的调用期间，可仅考虑具有与当前切片相同的view_idx值的参考图片。可将经解码参考图片标记为“用于短期参考”或“用于长期参考”。短期参考图片可通过frame_num和view_idx的值来识别，且对于视图间参考图片，另外通过PicOrderCnt()来识别。长期参考图片可被指派长期帧索引且通过长期帧索引view_idx的值来识别，且对于视图间参考图片，另外通过PicOrderCnt()来识别。

除了参考图片之外，仅视图间参考分量(可为非参考图片且在参考图片标记过程期间可不标记)也可包含在参考图片列表中。仅视图间参考分量可通过view_idx的值和通过PicOrderCnt()来识别。

在参考图片列表构造过程的调用期间，在MVC/AVC中识别为子条款8.2.4.1的以下过程可经调用以指定：

●对短期参考图片中的每一者指派变量FrameNum、FrameNumWrap和PicNum，以及

●对长期参考图片中的每一者指派变量LongTermPicNum。

参考图片和(当存在时)仅视图间参考分量是通过参考索引来解决。参考索引是到参考图片列表中的索引。当对P或SP切片进行解码时，存在单个参考图片列表RefPicList0。当对B切片进行解码时，除了RefPicList0之外还存在第二独立参考图片列表RefPicList1。

在用于每一切片的解码过程的开始处，参考图片列表RefPicList0以及(对于B切片)RefPicList1可如通过以下有序步骤指定而导出：

1.如MVC/AVC的子条款8.2.4.2中指定而导出初始参考图片列表RefPicList0和(对于B切片)RefPicList1。

2.如子条款6.4.1(下文陈述)中指定将视图间参考图片或仅视图间参考分量附加到初始参考图片列表RefPicList0和(对于B切片)RefPicList1。

3.当ref_pic_list_modification_flag_l0等于1时或当对B切片进行解码，ref_pic_list_modification_flag_l1等于1时，如子条款6.4.2(下文陈述)中指定而修改参考图片列表RefPicList0和(对于B切片)RefPicList1。

另外，在经修改参考图片列表RefPicList0中的条目数目为num_ref_idx10active_minus1+1，且对于B切片，在经修改参考图片列表RefPicList1中的条目数目为num_ref_idx_l1active_minus1+1。参考图片或仅视图间参考分量可在经修改参考图片列表RefPicList0或RefPicList1中的一个以上索引处出现。

在子条款6.4.1中指定的过程的调用期间，附加到RefPicListX(其中X为0或1)的视图间预测参考可不存在。然而，在子条款6.4.2(下文陈述)中指定的过程的调用之后，不存在的视图间预测参考可不在经修改RefPicListX中。

在一实例中，下文陈述子条款6.4.1，其包含用于视图间预测参考的参考图片列表的初始化过程：

●对此过程的输入是参考图片列表RefPicListX(其中X为0或1)、inter_view_flag和已从seq_parameter_set_mvc_extension()解码的视图相依性信息。

●此过程的输出是可能经修改的参考图片列表RefPicListX，其仍称为初始参考图片列表RefPicListX。

●在i为当前切片的view_idx的值的情况下，如下文指定将视图间参考图片和仅视图间参考分量附加到参考图片列表：

●对于从0到num_ref_views[i]-1(包含性)的视图间参考索引j的每一值，以j的升序，将来自与当前切片相同的存取单元的具有等于ref_view_idx[i][j]的view_idx的视图间预测参考附加到RefPicListX。

在一实例中，下文陈述子条款6.4.2，其包含用于参考图片列表的修改过程：

●对此过程的输入是参考图片列表RefPicList0以及当对B切片进行解码时还有参考图片列表RefPicList1。

●此过程的输出是可能经修改的参考图片列表RefPicList0以及当对B切片进行解码时还有可能经修改的参考图片列表RefPicList1。

●当ref_pic_list_modification_flag_l0等于1时，指定以下有序步骤：

1.使refIdxL0为到参考图片列表RefPicList0中的索引。其初始设定为等于0。

2.对应语法元素modification_of_pic_nums_idc是以其在位流中发生的次序来处理。对于这些语法元素中的每一者，以下适用：

●如果modification_of_pic_nums_idc等于0或等于1，那么以作为输入给定的RefPicList0和refIdxL0来调用在子条款6.4.2.1(下文陈述)中指定的过程，且将输出指派于RefPicList0和refIdxL0。

●否则，如果modification_of_pic_nums_idc等于2，那么以作为输入给定的RefPicList0和refIdxL0来调用在子条款6.4.2.2(下文陈述)中指定的过程，且将输出指派于RefPicList0和refIdxL0。

●否则，如果modification_of_pic_nums_idc等于4或等于5，那么以作为输入给定的RefPicList0和refIdxL0来调用在子条款6.4.2.3(下文陈述)中指定的过程，且将输出指派于RefPicList0和refIdxL0。

●否则(modification_of_pic_nums_idc等于3)，用于参考图片列表RefPicList0的修改过程结束。

●当ref_pic_list_modification_flag_l1等于1时，指定以下有序步骤：

1.使refIdxL1为到参考图片列表RefPicList1中的索引。其初始设定为等于0。

2.对应语法元素modification_of_pic_nums_idc是以其在位流中发生的次序来处理。对于这些语法元素中的每一者，以下适用。

●如果modification_of_pic_nums_idc等于0或等于1，那么以作为输入给定的RefPicList1和refIdxL1来调用在子条款6.4.2.1(下文陈述)中指定的过程，且将输出指派于RefPicList1和refIdxL1。

●否则，如果modification_of_pic_nums_idc等于2，那么以作为输入给定的RefPicList1和refIdxL1来调用在子条款6.4.2.2(下文陈述)中指定的过程，且将输出指派于RefPicList1和refIdxL1。

●否则，如果modification_of_pic_nums_idc等于4或等于5，那么以作为输入给定的RefPicList1和refIdxL1来调用在子条款6.4.2.3(下文陈述)中指定的过程，且将输出指派于RefPicList1和refIdxL1。

●否则(modification_of_pic_nums_idc等于3)，用于参考图片列表RefPicList1的修改过程结束。

在一实例中，下文陈述子条款6.4.2.1，其包含用于帧间预测的短期参考图片的参考图片列表的修改过程：

●对此过程的输入是索引refIdxLX和参考图片列表RefPicListX(其中X为0或1)。

●此过程的输出是经递增索引refIdxLX和经修改参考图片列表RefPicListX。

●变量picNumLXNoWrap是如下导出：

其中picNumLXPred为用于变量picNumLXNoWrap的预测值。当针对切片(即，针对ref_pic_list_modification()语法中等于0或1的modification_of_pic_nums_idc的首次发生)首次调用在此子条款中指定的过程时，将picNumL0Pred和picNumL1Pred初始设定为等于CurrPicNum。在picNumLXNoWrap的每一指派之后，将picNumLXNoWrap的值指派于picNumLXPred。

在一些实例中，如下通过以下伪码指定而导出变量picNumLX：

其中picNumLX可等于经标记为“用于短期参考”的参考图片的PicNum，且不可等于经标记为“不存在”的短期参考图片的PicNum。可进行以下过程以将具有短期图片号picNumLX的图片放置于索引位置refIdxLX中，将任何其它剩余图片的位置移位到列表中的较晚处，且递增refIdxLX的值：

其中函数viewIDX(refpic)返回参考图片refpic的view_idx，变量currViewIDX等于当前切片的view_idx，且函数PicNumF(RefPicListX[cIdx])是如下导出：

●如果参考图片RefPicListX[cIdx]经标记为“用于短期参考”，那么PicNumF(RefPicListX[cIdx])是图片RefPicListX[cIdx]的PicNum。

●否则(参考图片RefPicListX[cIdx]未经标记为“用于短期参考”)，PicNumF(RefPicListX[cIdx])等于MaxPicNum。

在一实例中，下文陈述子条款6.4.2.2，其包含用于帧间预测的长期参考图片的参考图片列表的修改过程：

●对此过程的输入是索引refIdxLX(其中X为0或1)和参考图片列表RefPicListX。

●可进行以下过程以将具有长期图片号long_term_pic_num的图片放置于索引位置refIdxLX中，将任何其它剩余图片的位置移位到列表中的较晚处，且递增refIdxLX的值：

其中函数viewIDX(refpic)返回参考图片refpic的view_idx，变量currViewIDX等于当前切片的view_idx，且函数LongTermPicNumF(RefPicListX[cIdx])可如下导出：

●如果参考图片RefPicListX[cIdx]经标记为“用于长期参考”，那么LongTermPicNumF(RefPicListX[cIdx])是图片RefPicListX[cIdx]的LongTermPicNum。

●否则(参考图片RefPicListX[cIdx]未经标记为“用于长期参考”)，LongTermPicNumF(RefPicListX[cIdx])等于2*(MaxLongTermFrameIdx+1)。

在一实例中，下文陈述子条款6.4.2.3，其包含用于视图间预测参考的参考图片列表的修改过程：

●对此过程的输入是参考图片列表RefPicListX(其中X为0或1)和到此列表中的索引refIdxLX。

●此过程的输出是经修改参考图片列表RefPicListX(其中X为0或1)和经递增索引refIdxLX。

●使currVOIdx为当前切片的变量VOIdx。将变量maxViewIdx设定为等于num_ref_views[currVOIdx]。

●变量picInterViewIdxLX是如下导出：

其中picInterViewIdxLXPred为用于变量picInterViewIdxLX的预测值。当针对切片的RefPicList0或RefPicList1(即，针对ref_pic_list_modification()语法中等于4或5的modification_of_pic_nums_idc的首次发生)首次调用在此子条款中指定的过程时，可将picInterViewIdxL0Pred和picInterViewIdxL1Pred初始设定为等于-1。在pidnterViewIdxLX的每一指派之后，将picInterViewIdxLX的值指派于picInterViewIdxLXPred。

位流可不含有导致picInterViewIdxLX等于小于0或picInterViewIdxLX大于maxViewIdx的数据。变量targetViewIDX可是如下导出：

targetViewIDX=ref_view_idx[currVOIdx][picInterViewIdxLX](H-8)

可进行以下过程以将具有等于pidnterViewIdxLX的视图间参考索引的视图间预测参考放置于索引位置refIdxLX中，且将任何其它剩余图片的位置移位到列表中的较晚处：

其中函数viewIDX(refpic)返回参考图片refpic的view_idx，变量currViewIDX等于当前切片的view_idx，且变量currPOC等于当前切片的PicOrderCnt()。

在一些实例中，可使用默认过程来组合参考图片列表。举例来说，默认参考图片列表组合过程可包含检查参考图片(来自RefPicList0或RefPicList1)是否为正添加到组合列表中的参考图片的首次发生。为了执行此检查，视频译码器(例如视频编码器20或视频解码器30)可比较当前图片CurrPic与列表中的任何图片PicA，包含视图间参考图片和时间参考图片。所述比较可如下完成。

如果(ViewIDX(CurrPic)==ViewIDX(PicA)＆＆POC(CurrPic)==POC(PicA))

返回真；

否则

返回假；

图5A是图解说明可用于实施本发明的技术中的一者或一者以上的位流结构100的实例的概念图。位流100可遵守视频译码标准，例如HEVC标准。而且，在一些实例中，位流100可遵守视频译码标准的MVC扩展。

在图5A所示的实例中，位流100包含多个存取单元102-1到102-N(统称为存取单元102)。如上所述，存取单元102可包含一组视图分量(称为视图)，例如视图104-1到104-M(统称为视图104)。大体上，存取单元102包含用于共同时间实例的所有数据，例如，每视图一个视图分量的数据。在一些实例中，存取单元102中的每一存取单元包含相同数目的视图104。对存取单元102中的每一存取单元进行解码可得到每视图一个经解码图片。存取单元102可含有可用以再现三维视频重放的经编码视频数据。

图5B是图解说明可包含在图5A的位流100的结构中的视图104-N的实例的概念图。大体上，存取单元中的每一视图分量(例如存取单元102-N中的视图104)含有一组视频编码器/解码器(编解码器)层(VCL)NAL单元。也就是说，在图5B所示的实例中，视图104-N以特定形式和次序包含NAL单元106-1到106-3。通常，视图分量在每一存取单元中以相同次序布置，使得每一存取单元中的第k视图分量对应于同一视图。在其它实例中，视图104-N可包含其它数目的NAL单元。

图5C是图解说明实例性NAL单元108的概念图，NAL单元108可在结构上类似于图5B所示的NAL单元106。NAL单元108大体上包含NAL单元标头110和有效负载112。另外，NAL单元标头110包含第一部分114和可符合MVC/AVC扩展的NAL单元标头扩展116。

举例来说，第一部分114包含ref_idc元素和NAL单元类型元素。ref_idc元素可指示NAL单元是否用作其它NAL单元的参考。举例来说，ref_idc值00可指示NALU的内容未用以重构所存储图片(可用于未来参考)。可丢弃此些NALU而无参考图片的完整性风险。高于00的值可指示需要NALU的解码来维持参考图片的完整性。NAL单元类型元素可指示NAL单元108的包类型。

NAL单元标头扩展116大体上包含IDR旗标(IDR)、优先级ID(priority_id)、视图ID(view_id)、时间ID(temporal_id)、锚点图片旗标(APF)，以及视图间旗标(IVF)。如相对于以上图1描述，IDR旗标可指示NAL单元108是否属于可用作闭合GOP随机存取点的瞬时解码刷新(IDR)或视图IDR(V-IDR)图片。priority_id可与位流调适过程一起使用，所述过程根据视频解码器30和/或显示装置32的改变的网络条件和/或能力而改变位流(例如，单遍次调适过程)。view_id可用以指示NAL单元所属于的视图的视图识别符。temporal_id可用以指示当前NAL单元的时间层级，其可对应于特定帧速率。APF可用以指示NAL单元是否属于可用作开放GOP随机存取点的锚点图片。IVF可用以指示NAL单元是否用于其它视图中的NAL单元的视图间预测。

如上文论述，MVC/AVC的view_id是10位长，且可用以唯一地识别超过1000个不同视图。然而大体上，实际经编码的视图数目通常比1000个视图小若干数量级。举例来说，图4包含用于给定MVC多媒体内容的八个视图。由于针对每个NAL单元包含NAL单元标头110，因此view_id可消耗实质量的位流。如相对于图5D所示的实例所描述，本发明的方面可从NAL单元标头消除view_id，进而减少对MVC视频数据进行译码所需的位数目。

图5C是图解说明实例性NAL单元120的概念图，NAL单元120可在结构上类似于图5B所示的NAL单元106。图5D中所示的实例图解说明根据本发明的方面的实例性NAL单元。举例来说，NAL单元120包含NAL单元标头122和有效负载124。另外，NAL单元标头包含第一部分126和NAL单元标头扩展128。

如同图5C中所示的实例，第一部分126包含ref_idc元素和NAL单元类型元素。ref_idc元素可指示NAL单元是否用作其它NAL单元的参考。NAL单元类型元素可指示NAL单元120的包类型。

然而如图5D的实例中所示，将视图次序索引用信号表示为NAL单元标头122的部分，而非在NAL单元标头扩展128中包含view_id。也就是说，根据本发明的方面，NAL单元标头122的视图次序索引可代替在NAL单元标头110中用信号表示的view_id(图5C)。如上所述，视图次序大体上描述例如存取单元102中的一者等存取单元中的视图的排序(图5A)。视图次序索引可指示存取单元的视图次序中的特定视图，例如视图104中的一者。也就是说，视图次序索引可描述存取单元的对应视图分量的解码次序。

用于扩展128的实例性NAL单元标头语法表在以下表12中提供：

表12-NAL单元标头MVC扩展

nal_unit_header_mvc_extension(){	C	描述符
			non_idr_flag	全部	u(1)
anchor_pic_flag	全部	u(1)
			view_idx	全部	u(5)
reserved_one_bit	全部	u(1)
			}

在图13中所示的实例中，等于0的non_idr_flag可指示当前存取单元是IDR存取单元。non_idr_flag的值对于存取单元的所有VCL NAL单元可为相同的。在一些实例中，对于具有等于5的nal_unit_type的基本视图NAL单元，non_idr_flag可推断为0。另外，对于具有等于1的nal_unit_type的基本视图NAL单元，non_idr_flag可推断为1。对于其中存在non_idr_flag的NAL单元，通过在non_idr_flag等于0时将旗标设定为等于1且在non_idr_flag等于1时设定为等于0，可修改变量IdrPicFlag。

另外，等于1的anchor_pic_flag可指定当前存取单元是锚点存取单元。在一些实例中，anchor_pic_flag可针对具有等于1的nal_unit_type的基本视图NAL单元推断为等于0，且可针对具有等于4的nal_unit_type的基本视图NAL单元推断为等于1(清洁解码刷新)。

view_idx可指定NAL单元的视图次序索引。大体上，具有相同的view_idx值的NAL单元属于同一视图。等于20的NAL单元类型可用以指示不在基本视图中的视图分量的NAL单元类型。

如表12的实例中所示，与图5C所示的实例相比，priority_id、temporal_id和inter_view_flag已移除，且view_id已由view_idx代替。在一些实例中，inter_view_flag可移出扩展128，如以下表13的实例性NAL单元标头中所示：

表13-用于基本视图的NAL单元标头

nal_unit(NumBytesInNALunit){	描述符
		forbidden_zero_bit	f(1)
nal_ref_idc	u(2)
		nal_unit_type	u(5)
NumBytesInRBSP=0
		nalUnitHeaderBytes=1
if(nal_unit_type==1\|\|nal_unit_type==5){
		temporal_id	u(3)
output_flag	u(1)
		reserved_zero_3bits	u(3)
inter_view_flag	u(1)
		nalUnitHeaderBytes+=1
}
		for(i＝nalUnitHeaderBytes；i<NumBytesInNALunit；i++){
if(i+2<NumBytesInNALunit＆＆next_bits(24)==0x000003){
		rbsp_byte[NumBytesInRBSP++]	b(8)
rbsp_byter[NumBytesInRBSP++]	b(8)
		i+=2
emulation_prevention_three_byte/等于0x03/	f(8)
		}else
rbsp_byte[NumBytesInRBSP++]	b(8)
		}
}

在表13中所示的实例中，等于0的inter_view_flag元素可指示当前视图分量未用于当前存取单元中的任何其它视图分量的视图间预测。等于1的inter_view_flag可指示当前视图分量可用于当前存取单元中的其它视图分量的视图间预测。inter_view_flag的值对于视图分量的所有VCL NAL单元可为相同的。

另外，在表13中所示的实例中，当nal_unit_type等于1或5时，视图次序索引可推断为0，且此视图分量的view_id为view_id[0]。在此实例中，可不需要NAL单元标头扩展。也就是说，在包含仅两个视图的MVC流中(即，用于立体视频)，可不需要视图次序索引，因为解码器(例如视频解码器30)可总是在解码第二视图(例如，视图1)之前解码第一视图(例如，视图0)。

在一些实例中，前缀NAL单元对于基本视图(例如，视图0)可为不再需要的。举例来说，可不再需要用于基本视图的前缀NAL单元，因为视图次序索引对于基本视图总是为零，且基本视图的时间位置可使用temporal_id来确定。因此，在NAL单元标头中的temporal_id提供使特定视图分量与特定视图以及与适当时间位置相关联所需的所有信息。

表14包含参考NAL单元标头扩展的另一NAL单元标头：

表14-NAL单元标头

在表14中所示的实例中，等于0的inter_view_flag可指示当前视图分量未用于当前存取单元中的任何其它视图分量的视图间预测。等于1的inter_view_flag可指示当前视图分量可用于当前存取单元中的其它视图分量的视图间预测。inter_view_flag的值对于视图分量的所有VCL NAL单元可为相同的。另外，nal_unit_header_mvc_extension指代扩展，例如以上表12中所示的扩展。

根据本发明的其它方面，用于MVC位流的NAL单元标头可根据以下表15设计：

表15-NAL单元标头

在表15中所示的实例中，NAL单元标头的形成可取决于例如nal_unit_type。也就是说，例如，当nal_unit_type等于20时，且MVC NAL单元，NAL单元可包含上述的non_idr_flag、anchor_pic_flag和view_idx。因此，对于立体简档，NAL单元标头可根据以下表16来设计：

表16-NAL单元标头

在再一实例中，根据本发明的其它方面，用于MVC位流的NAL单元标头可根据以下表17设计：

表17-NAL单元标头

无论NAL单元标头的特定配置如何，如上文相对于图4所述，序列参数集(SPS)可提供视图的view_id与视图的视图次序索引之间的关系。因此，使用SPS中的视图次序索引和数据，可用视图次序索引来代替NAL单元标头中的MVC/AVC的10位view_id，这可带来超过MVC/AVC方案的位节省。视图次序索引可与POC值或帧值(帧号)一起使用以识别位流的视图分量。举例来说，使图4中所示的视图分量的栅格与笛卡尔栅格相关，视图次序索引可提供特定视图分量的y坐标(例如，S0、S1、S2...)，而POC值或帧值可提供特定视图分量的x坐标(例如，T0、T1、T2...)。以此方式识别视图分量可例如在参考图片列表中实施。

根据本发明的其它方面，可共同地针对所有视图分量用信号表示MVC位流的每一视图的视图相依性，无论所述视图分量是用于锚点图片还是非锚点图片。在一些实例中，SPS可包含视图分量的视图相依性，而不是依赖于NAL单元标头中的信息。以此方式，可移除在NAL单元标头扩展128中使用的anchor_pic_flag。

在此实例中，用信号表示的依赖视图的视图分量可用作列表0和列表1两者中的参考图片，如上文相对于图4所描述。另外，用于列表0和列表1的参考图片列表构造和参考图片列表重排序也可基于用于锚点图片和非锚点图片的共同信令。在一些实例中，序列层级补充增强信息(SEI)消息可用以指示何时非锚点图片具有与锚点图片不同的视图相依性。

根据本发明的其它方面，视频编码器20可在SPS中提供priority_id值，而非在NAL单元标头中用信号表示priority_id。如上文论述，在一些实例中，路由器36可使用SPSpriority_id值来过滤某些视图。也就是说，路由器36可接收完整位流，但提取包含具有处于和低于由目的地装置14指定的优先级值的priority_id值的NAL单元的子位流，且将子位流转发到目的地装置。

另外，根据本发明的方面，优先级调适消息可用以执行调适。举例来说，以下表18展示实例性优先级调适SEI消息：

表18-优先级调适SEI消息

priority_adaptation_SEI(payloadSize){	C	描述符
			num_temproal_id_minus1	5	u(3)
for(i=0；i<=num_temproal_id_minus1；i++)
			for(j=0；j<=num_views_minus1；j++){
same_priority_id_flag[i][j]	5	u(1)
			if(!same_priority_id_flag[i][j])
priority_id[i][j]	5	u(6)
			}
}

在表18中所示的实例中，num_temporal_id_minus1加1可指示MVC位流的NAL单元的最高temporal_id。same_priority_id_flag[i][j]等于1元素可指示具有temporal_idi和视图次序索引j的NAL单元的priority_id等于先前用信号表示的priority_id，其可为priority_id[i][j-1](当j>0时)，或priority_id[i-1][j](当j=0且i>0时)。priority_id[i][j]元素可指定具有等于i的temporal_id和等于j的视图次序索引的NAL单元的优先级识别符。priority_id的较低值可指示较高优先级。

调适可基于NAL单元标头和SEI消息，例如表18中所示的SEI消息。举例来说，调适过程可假定NAL单元的temporal_id和view_idx为TID和VIDX，且目标priority_id为PID。在此实例中，如果priority_id[TID][VIDX]不大于PID，那么保持NAL单元，否则将NAL单元过滤掉。

虽然实例描述SEI消息中的优先级信息，但在其它实例中，经描述为在SEI消息中用信号表示的信息可用信号表示为例如MVC SPS等参数集的任选部分。

图6是图解说明对多视图位流进行编码的实例性方法的流程图。图6中所示的实例大体上描述为由视频编码器20(图1和2)执行。然而应了解，相对于图6描述的过程可由多种其它处理器、处理单元、例如编码器/解码器(CODEC)等基于硬件的译码单元和类似物来实行。

在图6的实例中，视频编码器20可对多个视图分量的视频数据进行编码(140)。举例来说，视频编码器20可对多个多个不同视图进行编码，其中每一视图对应于共同场景的对应视频数据被俘获的不同视角或角度。如上所述，特定视图的特定图片称为视图分量。也就是说，视图的视图分量对应于视图的特定时间实例。

视频编码器20还可形成包含视图分量的解码次序的指示的NAL单元(142)。举例来说，如相对于图5A到5D描述，根据本发明的方面，视频编码器20可在NAL单元标头中提供视图次序索引(view_idx)的指示，其提供视图分量的解码次序的指示。大体上，具有相同的view_idx值的NAL单元属于同一视图。

视频编码器20还可与NAL单元分开地提供信息，所述信息提供视图识别符与解码次序之间的关系的指示(144)。在一些实例中，视频编码器20可产生例如SPS等参数集，其指示视图的视图识别符与视图的视图次序索引之间的关系。在其它实例中，视频编码器20可以不同方式指示视图次序索引与视图识别符之间的关系。

使用视图次序索引和单独的信息，视频编码器20可用视图次序索引代替NAL单元标头中通常包含的10位视图识别符，这可提供位节省。举例来说，视图次序索引可包含大体上比视图识别符少的位。虽然视频编码器20必须例如在SPS中用信号表示视图次序索引与视图识别符之间的关系，但NAL单元标头通常消耗比此信令多得多的位。用视图次序索引代替NAL单元标头中的视图识别符可减少NAL单元标头的大小，进而实现超过对NAL单元标头中的视图识别符进行译码的位节省。

还应了解，相对于图6展示和描述的步骤是仅作为一个实例而提供。也就是说，图6的方法的步骤不一定以图6所示的次序执行，且可执行更少、额外或替代的步骤。

图7是图解说明对多视图位流进行解码的实例性方法的流程图。图7中所示的实例大体上描述为由视频解码器30(图1和3)执行。然而应了解，相对于图7描述的过程可由多种其它处理器、处理单元、例如编码器/解码器(CODEC)等基于硬件的译码单元和类似物来实行。

在图7的实例中，视频解码器30可接收用于每一视图分量的一个或一个以上NAL单元，其包含指示相应视图分量的解码次序的信息(150)。根据本发明的方面，如相对于图6所述，相应视图分量的解码次序可使用视图次序索引来指示。因此，视频解码器30可接收NAL单元标头中的视图次序索引(view_idx)的指示，其提供视图分量的解码次序的指示。大体上，具有相同的view_idx值的NAL单元属于同一视图。

视频解码器30还可接收指示视图识别符与视图分量的解码次序之间的关系的信息(152)。在一些实例中，视频解码器30可接收例如SPS等参数集，其指示视图的视图识别符与视图的视图次序索引之间的关系。在其它实例中，视频解码器30可接收视图次序索引与视图识别符之间的关系的不同指示。

视频解码器30还可使用所接收信息对多视图视频数据进行解码。也就是说，例如，视频解码器可对视图中的每一者进行解码，且使用所接收单独信息来确定适当的视图识别符。视频解码器30可随后例如在显示装置32上使用视图来呈现3D表示。

还应了解，相对于图7展示和描述的步骤是仅作为一个实例而提供。也就是说，图7的方法的步骤不一定以图7所示的次序执行，且可执行更少、额外或替代的步骤。

图8是图解说明对多视图位流进行编码的实例性方法的流程图。图8中所示的实例大体上描述为由视频编码器20(图1和2)执行。在其它实例中，相对于图8描述的过程可由多种其它处理器、处理单元、例如编码器/解码器(CODEC)等基于硬件的译码单元和类似物来实行。在图8的实例中，视频编码器20可针对第一视图的任一视图分量确定参考视图信息，所述信息指示用于预测第一视图的视图分量的一个或一个以上参考视图(160)。举例来说，如上所述，针对视图的所有视图分量可以相同方式用信号表示视图相依性，无论特定存取单元的特定视图分量是否为锚点图片(随机存取点)或特定存取单元的特定视图分量是否为非锚点图片。在一些实例中，参考视图信息可使用参考视图索引值(用于参考视图的视图次序索引值)指示视图相依性。也就是说，参考视图信息可含有用于每一参考视图的参考视图索引值，其可指示存取单元中的参考视图的解码次序。在其它实例中，参考视图信息可含有参考视图索引差值，其可指示特定参考视图的视图次序索引与当前正编码的视图分量的视图次序索引之间的差。在如上所述其中使用视图次序索引值的实例中，视频编码器20还可提供指示视图的视图次序索引值与视图识别符之间的关系的额外信息。

视频编码器20还可在对第一视图中的存取单元中的第一视图分量进行编码时，基于第一视图分量所属于的存取单元、参考视图信息以及由参考视图信息指示的参考视图数目而在参考图片列表中包含一个或一个以上参考候选(162)。举例来说，如上所述，视频编码器20可构造包含用于预测第一视图分量的候选参考图片(“候选”参考图片，因为所述参考图片可从最终参考图片列表移除)的参考图片列表。视频编码器20可将属于同一存取单元(例如，具有相同时间实例)的由参考视图信息指示的参考视图中的每一者中的视图间候选参考图片识别为第一视图分量。视频编码器20可将所有所识别视图分量添加到参考图片列表。

因此，在图8中所示的实例中，视频编码器20可构造参考图片列表而不考虑当前正编码的视图分量是否为锚点图片或非锚点图片。而且，视频编码器20可构造参考图片列表而不考虑候选参考图片是否包含在列表0或列表1中。也就是说，视频编码器20可使用相同的参考视图信息来构造参考图片列表0或参考图片列表1。另外，视频编码器20可同样将所识别参考候选添加到列表0或列表1两者。

视频编码器20还可基于参考图片列表中的一个或一个以上参考候选对第一视图分量进行编码(164)。举例来说，视频编码器20可识别参考图片列表中的视图分量，使用所识别视图分量产生残余数据，以及对残余数据进行编码，如相对于图2描述。视频编码器20还可在经编码位流中与所确定参考视图信息一起提供经编码第一视图分量(166)。

应了解，相对于图8展示和描述的步骤是仅作为一个实例而提供。也就是说，图8的方法的步骤不一定以图8所示的次序执行，且可执行更少、额外或替代的步骤。

图9是图解说明对多视图位流进行解码的实例性方法的流程图。图9中所示的实例大体上描述为由视频解码器30(图1和3)执行。在其它实例中，相对于图9描述的过程可由多种其它处理器、处理单元、例如编码器/解码器(CODEC)等基于硬件的译码单元和类似物来实行。

在图9中所示的实例中，视频解码器30可从经编码位流且针对第一视图的任一视图分量获得参考视图信息，所述信息指示用于预测第一视图的视图分量的一个或一个以上参考视图(170)。举例来说，如上文相对于图8所述，针对视图的所有视图分量可以相同方式用信号表示视图相依性，无论特定存取单元的特定视图分量是否为锚点图片(随机存取点)或特定存取单元的特定视图分量是否为非锚点图片。在一些实例中，参考视图信息可使用参考视图索引值(用于参考视图的视图次序索引值)指示视图相依性。也就是说，参考视图信息可含有用于每一参考视图的参考视图索引值，其可指示存取单元中的参考视图的解码次序。在其它实例中，参考视图信息可含有参考视图索引差值，其可指示特定参考视图的视图次序索引与当前正编码的视图分量的视图次序索引之间的差。在如上所述其中使用视图次序索引值的实例中，视频解码器30还可从经编码位流获得指示视图的视图次序索引值与视图识别符之间的关系的额外信息。此信息可从序列层级获得。

视频解码器30还可在对第一视图中的存取单元中的第一视图分量进行解码时，基于第一视图分量所属于的存取单元、参考视图信息以及由参考视图信息指示的参考视图数目而在参考图片列表中包含一个或一个以上参考候选(172)。举例来说，如上所述，视频解码器30可构造包含用于预测第一视图分量的候选参考图片的参考图片列表。视频解码器30可将属于同一存取单元(例如，具有相同时间实例)的由参考视图信息指示的参考视图中的每一者中的视图间候选参考图片识别为第一视图分量。视频解码器30可将所有所识别视图分量添加到参考图片列表。

因此，在图9中所示的实例中，视频解码器30可构造参考图片列表而不考虑当前正编码的视图分量是否为锚点图片或非锚点图片。而且，视频解码器30可构造参考图片列表而不考虑候选参考图片是否包含在列表0或列表1中。也就是说，视频解码器30可使用仅可从经编码位流获得一次的相同的参考视图信息来构造参考图片列表0或参考图片列表1。另外，视频解码器30可同样将所识别参考候选添加到列表0或列表1两者。

视频解码器30还可基于参考图片列表中的一个或一个以上参考候选对第一视图分量进行解码(174)。举例来说，视频解码器20可识别参考图片列表中的视图分量，组合所识别视图分量与经解码残余数据(来自经编码位流)以产生视图分量，如上文相对于图3描述。

应了解，相对于图9展示和描述的步骤是仅作为一个实例而提供。也就是说，图9的方法的步骤不一定以图9所示的次序执行，且可执行更少、额外或替代的步骤。

虽然为了阐释目的已为相对于本发明描述的某些语法元素提供了实例性名称，但应了解，无论名称如何，本发明中描述的概念均较一般地适用于任何语法元素。举例来说，虽然某些方面涉及“视图次序索引”、“view_order_index”或“view_idx”，但应了解，在未来译码标准中可对此语法元素给出替代名称。

虽然相对于新兴的HEVC标准描述本发明的某些技术，但应了解，所述技术不限于任何特定译码标准。也就是说，所述技术较一般地涉及例如通过如上所述的较短和/或较不复杂的NAL单元和参数集在多视图视频译码中实现译码效率。

应了解，取决于实例，本文描述的方法中的任一者的某些动作或事件可以不同顺序执行，可添加、合并或一起完全省去(例如，并非所有描述的动作或事件对于所述方法的实践都是必要的)。而且，在某些实例中，动作或事件可例如通过多线程处理、中断处理或多个处理器而同时执行，而非循序地执行。另外，虽然为了清楚而将本发明的某些方面描述为由单个模块或单元执行，但应了解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。

以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或者一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。

然而应了解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对非瞬时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供。

已描述了本发明的各种方面。这些和其它方面属于所附权利要求书的范围内。

Claims

1.一种对视频数据进行解码的方法，其包括：

从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；

为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及

基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码。

2.根据权利要求1所述的方法，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。

3.根据权利要求1所述的方法，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中包含所述一个或一个以上参考视图的视图分量作为参考候选包括将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

4.根据权利要求1所述的方法，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

5.根据权利要求4所述的方法，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

6.根据权利要求1所述的方法，其中获得所述参考视图信息包括在序列层级获得所述参考视图信息。

7.根据权利要求6所述的方法，其中获得所述参考视图信息包括在序列层级获得每一视图的所述参考视图信息。

8.根据权利要求6所述的方法，其中在所述序列层级获得所述参考视图信息包括获得序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。

9.根据权利要求1所述的方法，其进一步包括基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。

10.根据权利要求1所述的方法，其进一步包括将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。

11.根据权利要求1所述的方法，其中重排序所述一个或一个以上参考候选是基于所述参考视图信息。

12.根据权利要求1所述的方法，其进一步包括从最终参考图片列表排除所述一个或一个以上参考候选。

13.一种用于对视频数据进行解码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以：

14.根据权利要求13所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。

15.根据权利要求13所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述一个或一个以上处理器经配置以将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

16.根据权利要求13所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

17.根据权利要求16所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

18.根据权利要求13所述的设备，其中为了获得所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级获得所述参考视图信息。

19.根据权利要求18所述的设备，其中为了获得所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级获得每一视图的所述参考视图信息。

20.根据权利要求18所述的设备，其中为了在所述序列层级获得所述参考视图信息包括，所述一个或一个以上处理器经配置以获得序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。

21.根据权利要求13所述的设备，所述一个或一个以上处理器进一步经配置以基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。

22.根据权利要求13所述的设备，所述一个或一个以上处理器进一步经配置以将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。

23.根据权利要求13所述的设备，其中所述一个或一个以上处理器经配置以基于所述参考视图信息来重排序所述一个或一个以上参考候选。

24.根据权利要求13所述的设备，所述一个或一个以上处理器经配置以从最终参考图片列表排除所述一个或一个以上参考候选。

25.一种用于对视频数据进行解码的设备，所述设备包括：

用于从经编码位流且针对第一视图的任一视图分量获得指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；

用于为了对存取单元中和所述第一视图中的第一视图分量进行解码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；以及

用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行解码的装置。

26.根据权利要求25所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。

27.根据权利要求25所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中用于包含所述一个或一个以上参考视图的视图分量作为参考候选的装置包括用于将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表的装置。

28.根据权利要求25所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

29.根据权利要求28所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

30.一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：

31.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅获得一次。

32.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅包含一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述指令致使所述一个或一个以上处理器将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

33.根据权利要求30所述的非暂时性计算机可读存储媒体，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

34.根据权利要求33所述的非暂时性计算机可读存储媒体，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

35.一种对视频数据进行编码的方法，其包括：

针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息；

为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；

基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码；以及

在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量。

36.根据权利要求35所述的方法，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。

37.根据权利要求35所述的方法，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中包含所述一个或一个以上参考视图的视图分量作为参考候选包括将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

38.根据权利要求35所述的方法，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

39.根据权利要求38所述的方法，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

40.根据权利要求35所述的方法，其中提供所述参考视图信息包括在序列层级提供所述参考视图信息。

41.根据权利要求40所述的方法，其中提供所述参考视图信息包括在序列层级提供每一视图的所述参考视图信息。

42.根据权利要求40所述的方法，其中在所述序列层级提供所述参考视图信息包括提供序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。

43.根据权利要求35所述的方法，其进一步包括基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。

44.根据权利要求35所述的方法，其进一步包括将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。

45.根据权利要求35所述的方法，其中重排序所述一个或一个以上参考候选是基于所述参考视图信息。

46.根据权利要求35所述的方法，其进一步包括从最终参考图片列表排除所述一个或一个以上参考候选。

47.一种用于对视频数据进行编码的设备，所述设备包括一个或一个以上处理器，所述一个或一个以上处理器经配置以：

48.根据权利要求47所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。

49.根据权利要求47所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述一个或一个以上处理器经配置以将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

50.根据权利要求47所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

51.根据权利要求50所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

52.根据权利要求47所述的设备，其中为了提供所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级提供所述参考视图信息。

53.根据权利要求52所述的设备，其中为了提供所述参考视图信息，所述一个或一个以上处理器经配置以在序列层级提供每一视图的所述参考视图信息。

54.根据权利要求52所述的设备，其中为了在所述序列层级提供所述参考视图信息，所述一个或一个以上处理器经配置以提供序列参数集SPS中的所述一个或一个以上参考视图的视图次序索引。

55.根据权利要求47所述的设备，所述一个或一个以上处理器进一步经配置以基于所述一个或一个以上参考视图包含在所述参考视图信息中的次序将同一存取单元的视图分量添加到第一参考图片列表的第一初始列表和第二参考图片列表的第二初始列表中的一者中。

56.根据权利要求47所述的设备，所述一个或一个以上处理器进一步经配置以将所述一个或一个以上参考候选重排序到最终参考图片列表的任一位置。

57.根据权利要求47所述的设备，其中所述一个或一个以上参考候选的所述重排序是基于所述参考视图信息。

58.根据权利要求47所述的设备，其中所述一个或一个以上处理器进一步经配置以从最终参考图片列表排除所述一个或一个以上参考候选。

59.一种用于对视频数据进行编码的设备，所述设备包括：

用于针对第一视图的任一视图分量确定指示用于预测所述第一视图的视图分量的一个或一个以上参考视图的参考视图信息的装置；

用于为了对存取单元中和所述第一视图中的第一视图分量进行编码而在参考图片列表中包含一个或一个以上参考候选的装置，其中所述一个或一个以上参考候选包括由所述参考视图信息指示的所述存取单元中和所述参考视图中的视图分量，其中参考候选的数目等于参考视图的数目；

用于基于所述参考图片列表中的所述一个或一个以上参考候选对所述第一视图分量进行编码的装置；以及

用于在经编码位流中与所述所确定参考视图信息一起提供所述经编码第一视图分量的装置。

60.根据权利要求59所述的设备，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。

61.根据权利要求59所述的设备，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中用于包含所述一个或一个以上参考视图的视图分量作为参考候选的装置包括用于将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表的装置。

62.根据权利要求59所述的设备，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

63.根据权利要求62所述的设备，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。

64.一种其上存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时致使一个或一个以上处理器：

65.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考视图信息对于对所述第一视图的用作随机存取点的视图分量和所述第一视图的未用作随机存取点的视图分量进行解码是相同的且仅提供一次。

66.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考图片列表包括第一参考图片列表和第二参考图片列表中的一者，且其中所述参考视图信息对于所述第一视图的任一视图分量的所述第一参考图片列表和所述第二参考图片列表是相同的且仅提供一次，且其中为了包含所述一个或一个以上参考视图的视图分量作为参考候选，所述指令致使所述一个或一个以上处理器将相同视图分量添加到所述第一参考图片列表和所述第二参考图片列表。

67.根据权利要求64所述的非暂时性计算机可读存储媒体，其中所述参考视图信息针对每一参考视图包括指示存取单元内的视图的解码次序的视图次序索引的指示。

68.根据权利要求67所述的非暂时性计算机可读存储媒体，其中所述视图次序索引的所述指示包括参考视图的所述视图次序索引与所述第一视图的所述视图次序索引之间的差。