CN103999467B - 用于多视图和三维视频译码的参考图片列表建构 - Google Patents

用于多视图和三维视频译码的参考图片列表建构 Download PDF

Info

Publication number
CN103999467B
CN103999467B CN201280062632.XA CN201280062632A CN103999467B CN 103999467 B CN103999467 B CN 103999467B CN 201280062632 A CN201280062632 A CN 201280062632A CN 103999467 B CN103999467 B CN 103999467B
Authority
CN
China
Prior art keywords
view
reference picture
inter
subset
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280062632.XA
Other languages
English (en)
Other versions
CN103999467A (zh
Inventor
陈颖
王益魁
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103999467A publication Critical patent/CN103999467A/zh
Application granted granted Critical
Publication of CN103999467B publication Critical patent/CN103999467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视频编码器至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。所述视频解码器基于所述参考图片集合产生用于所述当前视图分量的所述参考图片列表，另外，所述视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。

Description

用于多视图和三维视频译码的参考图片列表建构
本申请案主张2011年12月20日申请的第61/578,178号美国临时专利申请案的权益，所述临时申请案的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码(即，视频数据的编码和/或解码)。
背景技术
数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频片(即，视频帧或视频帧的一部分)分区成若干视频块。相对于图片中的相邻块中的参考样本，使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可扫描经量化的系数(最初布置成二维阵列)，以便产生系 数的一维向量，且可应用熵译码来实现更多的压缩。
发明内容
一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视图间参考图片集合包含属于与当前视图分量相同的存取单元但与和当前视图分量不同的视图相关联的参考图片。视频编码器基于参考图片列表中的一个或一个以上参考图片，使用视图间预测或帧间预测来编码当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。视频解码器基于参考图片集合产生当前视图分量的参考图片列表。另外，视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码当前视图。
在一个方面中，本发明描述一种用于多视图视频解码的方法。所述方法包括从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括基于参考图片集合产生当前视图分量的参考图片列表。另外，所述方法包括基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
在另一方面中，本发明描述一种用于视频编码的方法。所述方法包括基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述方法包括产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
在另一方面中，本发明描述一种视频解码装置，其包括一个或一个以上处理器，所述处理器经配置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片集合产生当前视图分量的参考图片列表。另外，所述一个或一个以上处理器经配置以基于参考图片列表中的一个或一个以上参考图片解码当前视图分量的至少一部分。
在另一方面中，本发明描述一种视频编码装置，其包括一个或一个以上处理器，所述处理器经配置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述一个或一个以上处理器经配置以产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
在另一方面中，本发明描述一种视频解码装置，其包括用于从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频解码装置还包括用于基于参考图片集合产生当前视图分量的参考图片列表的装置。另外，所述视频解码装置包括用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
在另一方面中，本发明描述一种视频编码装置，其包括用于基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频编码装置还包括用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置的装置。另外，所述视频编码装置包括用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频解码装置以基于参考图片集合产生当前视图分量的参考图片列表。此外，所述指令配置所述视频解码装置以基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频编码装置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述指令配置所述视频编码装置以产生包含 指示所述当前视图分量的所述参考图片集合的语法元素的位流。
在附图及下文描述中陈述本发明的一个或一个以上实例的细节。从描述内容、图式和所附权利要求书中将了解其它特征、目标和优点。
附图说明
图1是说明可利用本发明中所述的技术的实例视频译码系统的框图。
图2是说明实例多视图视频译码(MVC)解码次序的概念图。
图3是说明实例MVC时间和视图间预测结构的概念图。
图4是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图5是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图6是说明根据本发明的一个或一个以上技术的作为用以编码视频数据的过程的一部分的由视频编码器执行的实例操作的流程图。
图7是说明根据本发明的一个或一个以上技术的作为用以解码经编码视频数据的过程的一部分的由视频解码器执行的实例操作的流程图。
具体实施方式
作为帧间预测过程的一部分，视频编码器在位流中用信号通知特定视图分量的参考图片集合。特定视图分量的参考图片集合可包含可用于特定视图分量内的块的帧间预测的参考图片。在多视图译码(MVC)和3维视频(3DV)译码中，视频编码器可使用与所述特定视图分量相同的存取单元的视图分量作为用于编码所述特定视图分量的参考图片。然而，视频编码器不用信号通知视图分量的参考图片集合中的视图间参考图片。这可降低解码所述位流的视频解码器的效率。
根据本发明的技术，视频编码器可基于存取单元的当前视图分量的参考图片集合，产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元的多个视图分量。视图间参考图片集合中的每一视图分量可与一不同视图相关联。此外，所述视频编码器可至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量的至少若干部分。另外，所述视频编码器可产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
同样地，根据本发明的技术，视频解码器可从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。参考图片集合包含视图间参考图片集合，其包含多个视图分量。视图间参考图片集合的视图分量属于存取单元。视图间参考图片集合的每一视 图分量与一不同视图相关联。视频解码器可基于参考图片集合产生当前视图分量的参考图片列表。此外，所述视频解码器可基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少若干部分。
附图说明实例。由附图中的参考编号指示的元件对应于由以下描述中的参考编号指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等等)开始的名称的元件不一定暗示所述元件具有特定次序。相反，此些序数词仅用以指代相同或类似类型的不同元件。
图1是说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用和描述，术语“视频译码器”一般地指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”可一般地指代视频编码和视频解码。
如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此源装置12可称为视频编码装置或视频编码设备。目的地装置14解码源装置12所产生的经编码视频数据。因此，目的地装置14可称为视频解码装置或视频解码设备。源装置12和目的地装置14是视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括各种各样的装置，包含桌上型计算机、移动计算装置、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机等。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移到目的地装置14的一个或一个以上媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一个或一个以上通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。所述一个或一个以上通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线。所述一个或一个以上通信媒体可形成例如局域网、广域网或全局网络(例如，因特网)的基于包的网络的部分。所述一个或一个以上通信媒体可包含路由器、开关、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储媒体，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中，信道16可包含文件服务器或另一中间存储装置，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。
目的地装置14可通过标准数据连接(包含因特网连接)来存取经编码视频数据。实例类型的数据连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))的视频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统，或此些视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。早一些实例中，源装置12经由输出接口22将经编码视频数据直接发射到目的地装置14。在其它实例中，还可将经编码视频数据存储到存储媒体或文件服务器上，以供目的地装置14以后存取以用于解码和/或重放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示器32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准(例如，ISO/IECMPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)来操作。H.264的MVC扩展的草案在2012年12月19日可用于在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip下载，其整个内容以引用的方式并入本文中。
在其它实例中，视频编码器20和视频解码器30可根据其它视频压缩标准(包含目前在开发的高效视频译码(HEVC)标准)来操作。布罗斯等人在2011年7月在意大利都灵市举行的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第6次会议的“WD4：高效视频译码的工作草案4”中描述即将到来的HEVC标准的草案，称为“HEVC工作草案4”，其从2012年12月19日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip下载，其整个内容以引用的方式并入本文中。布罗斯等人在2012年10月在中国上海市举行的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第11次会议的“高效视频译码(HEVC)文本说明书草案9”中描述即将到来的HEVC标准的草案，称为“HEVC工作草案9”，其从2012年12月19日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v8.zip下载，其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的多视图扩展而操作。特科等人在2012年10月在中国上海市举行的ITU-T SG16WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第2次会议的“MV-HEVC工作草案2”中描述HEVC的多视图扩展的草案，其从2012年12月19日起可从http://phenix.int-evry.fr/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-Bl004-vl.zip下载，其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的3DV扩展而操作。汉努克塞拉(Hannuksela)等人在2012年10月在瑞典斯德哥尔摩市举行的ITU-T SG16WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第1次会议的“3D-HEVC测试模型1”中描述HEVC的3DV扩展的草案，其从2012年12月19日起可从http://phenix.it-sudparis.eu/jct3v/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A1005-v1.zip下载，其整个内容以引用的方式并入本文中。然而，本发明的技术不限于任何特定译码标准或技术。
图1仅为实例，且本发明的技术可适用于不一定包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据从本地存储器检索、经由网络流式传输等。编码装置可编码数据并将其存储到存储器，且/或解码装置可从存储器检索数据并对其进行解码。在许多实例中，编码和解码由不与彼此通 信而是仅将数据编码到存储器且/或从存储器检索数据并对其进行解码的装置执行。
视频编码器20和视频解码器30各自可实施为多种合适电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分以软件来实施，装置可将用于所述软件的指令存储在合适的非暂时计算机可读存储媒体中，且可使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。前述各项中的任一者(包含硬件、软件、硬件与软件的组合等)可被视为一个或一个以上处理器。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。
本发明可大体上涉及视频编码器20将某些信息“用信号通知”另一装置，例如视频解码器30。术语“用信号通知”可大体上指代用以解码经压缩视频数据的语法元素和/或其它数据的通信。此通信可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，解码装置接着可在存储到此媒体之后的某一时间检索所述语法元素。
如上文简要提到，视频编码器20编码视频数据。视频数据可包括一个或一个以上图片。所述图片中的每一者可为静止图像。在一些例子中，图片可称为视频“帧”。视频编码器20可产生包含形成视频数据的经译码表示的位序列的位流。视频数据的经译码表示可包含经译码图片和相关联数据。经译码图片为图片的经译码表示。所述相关联数据可包含序列参数组(SPS)、图片参数组(PPS)和其它语法结构。SPS可含有适用于零个或零个以上图片序列的参数。PPS可含有适用于零个或零个以上图片的参数。语法结构可为在位流中以指定次序一起呈现的一组零个或零个以上语法元素
视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。在H.264/AVC中，一视频块可对应于H.264/AVC中的一宏块或一宏块的一分区。在HEVC中，视频块可对应于译码单元(CU)。视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。此外，每一视频帧可包括多个片。每一片可包含多个视频块。
当视频编码器20编码视频块时，视频编码器20可产生对应于所述视频块的预测性像素块。视频编码器20可执行帧内预测或帧间预测，以产生预测性像素块。当视频编码器20对视频块执行帧内预测时，视频编码器20可基于与视频块相同的视频帧内的样本(例如，像素分量的值)而产生对应于所述视频块的预测性像素块。当视频编码器20执行帧间预测以产生对应于视频块的预测性像素块时，视频编码器20可基于一个或一个以上参考图片内的样本产生预测性像素块。参考图片可为不同于含有视频块的图片的图 片。
在视频编码器20产生对应于视频块的预测性像素块之后，视频编码器20可产生对应于所述视频块的残余视频块。残余视频块中的每一样本可基于视频块和预测性像素块中的对应样本之间的差异。视频编码器20可将变换应用于残余视频块，以产生一个或一个以上系数块。视频编码器20可将各种变换应用于残余视频块。举例来说，视频编码器20可将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频块。视频编码器20可量化系数块以进一步减少用于表示视频块的位的数目。在量化系数块之后，视频编码器20可执行并熵编码(例如，上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、指数哥伦布(exponential-Golomb)译码等)表示系数块中的系数的语法元素和与所述视频块相关联的其它语法元素。视频编码器20可输出包含与视频块相关联的经熵编码语法元素的位流。
视频解码器30可接收包含视频数据的经编码表示的位流。视频解码器30可剖析位流以从位流提取语法元素。作为从位流提取语法元素的一部分，视频解码器30可将熵解码应用于位流的若干部分。对于视频数据的每一帧的每一相应视频块，视频解码器30可至少部分地基于与相应视频块相关联的语法元素执行帧间或帧内预测，以产生相应视频块的预测性像素块。另外，视频解码器30可逆量化与相应视频块相关联的系数块的系数，且可将一个或一个以上逆变换应用于系数块，以产生相应视频块的残余视频块。视频解码器30可接着至少部分地基于残余视频块和预测性像素块重构相应视频块。以此方式，通过重构帧的视频块中的每一者，视频解码器30可重构所述帧。
如上文所提到，视频编码器20可执行帧间预测以产生对应于特定视频块的预测性像素块。更具体地说，视频编码器20可执行单向帧间预测或双向帧间预测，以产生预测性像素块。
当视频编码器20对特定视频块执行单向帧间预测时，视频编码器20可在单个参考图片列表中的参考图片内搜索参考块。参考块可为类似于特定视频块的样本块。此外，当视频编码器20执行单向帧间预测时，视频编码器20可产生特定视频块的运动信息。特定视频块的运动信息可包含运动向量和参考图片索引。运动向量可指示特定视频块在当前帧(即，包含特定视频块的帧)内的位置与参考块在参考帧内的位置之间的空间移位。参考图片索引指示在含有参考图片列表的参考帧的参考图片列表内的位置。特定视频块的预测性像素块可等于参考块。
当视频编码器20对特定视频块执行双向帧间预测时，视频编码器20可在第一参考图片列表(“列表0”)中的参考图片内搜索第一参考块，且可在第二参考图片列表(“列 表1”)中的参考图片内搜索第二参考块。视频编码器20可至少部分地基于第一和第二参考块产生特定视频块的预测性像素块。另外，视频编码器20可产生第一运动向量，其指示特定视频块与第一参考块之间的空间移位。视频编码器20还可产生第一参考图片索引，其识别在含有第一参考块的参考图片的第一参考图片列表内的位置。此外，视频编码器20可产生第二运动向量，其指示特定视频块与第二参考块之间的空间移位。视频编码器20还可产生第二参考图片索引，其识别在包含第二参考块的参考图片的第二参考图片列表内的位置。
当视频编码器20对特定视频块执行单向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的参考样本。视频解码器30可接着基于特定视频块的参考样本产生特定视频块的预测性像素块。当视频编码器20对特定视频块执行双向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的两个参考样本。视频解码器30可基于特定视频块的两个参考样本产生特定视频块的预测性像素块。
可将H.264/AVC扩展以用于多视图视频译码(MVC)。在H.264的MVC扩展中，可存在从不同视点看的同一场景的多个视图。术语“存取单元”用来指代对应于同一时刻的图片集合。因此，视频数据可概念化为随着时间过去而出现的一系列存取单元。
图2是说明实例MVC解码次序的概念图。在图2的实例中，每一正方形对应于一图片。正方形的列对应于存取单元。每一存取单元可界定为含有一时刻的所有视图的经译码图片。正方形的行对应于视图。在图2的实例中，将存取单元标记为T0到T7，且将视图标记为S0到S7。因为在下一存取单元的任何视图分量之前解码存取单元的每一图片，因此，图2的解码次序可称为时间第一译码。如图2的实例中所示，图片的解码次序可不与图片的输出或显示次序相同。
H.264/AVC的MVC扩展、HEVC的MVC扩展和其它标准用于视图间预测。视图间预测类似于H.264/AVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频编码器20对视频块执行视图间预测时，视频编码器20可使用与所述视频块在同一存取单元中但在不同视图中的图片作为参考图片。相反，常规帧间预测仅使用不同存取单元中的图片作为参考图片。在MVC中，如果视频解码器(例如，视频解码器30)可不参考任何其它视图中的图片而解码视图中的图片，那么将视图称为“基础视图”。对同一存取单元的不同视图中的图片执行运动补偿可称为差异运动补偿。本发明可将用作视图间预测的参考图片的视图分量称为视图间参考视图分量。在一些实例中，视图间参考图片可为具有等于1的nal_ref_flag的视图分量，或可为具有等于0的nal_ref_flag的视图分 量。
图3是说明实例MVC时间和视图间预测结构的概念图。在图3的实例中，每一正方形对应于一图片。标记为“I”的正方形为经帧内预测图片。标记为“P”的正方形为经单向帧间预测图片。标记为“B”和“b”的正方形为经双向帧间预测图片。标记为“b”的正方形为不用作其它图片的参考图片的经双向预测图片。标记为“B”的正方形为可用作其它图片的参考图片的经双向预测图片。从第一正方形指向第二正方形的箭头指示第一正方形可在帧间预测中用作第二正方形的参考图片。如由图3中的垂直箭头所指示，同一存取单元的不同视图中的图片可用作参考图片。将存取单元的一个图片用作同一存取单元的另一图片的参考图片可称为视图间预测。
在H.264/AVC的MVC扩展中，可将视图间预测实施为犹如另一视图中的图片为帧间预测参考图片。如果所述图片在不同视图中但具有与当前图片相同的时刻(即，存取单元)，那么当译码非基础视图中的当前图片时，可将图片添加到参考图片列表中。可将视图间预测参考图片放入参考图片列表的任何位置中，类似于任何其它类型的帧间预测参考图片。在H.264/AVC的MVC扩展中，视频编码器20可在视频序列的SPS的扩展中用信号通知可潜在地用于视频序列中的图片的视图间参考图片。下文的表1是用于SPS的扩展的实例语法。
表1
在表1中且在以下的表中，具有类型描述符ue(v)的语法元素为使用左位第一的第0次序指数哥伦布译码来编码的可变长度不带正负号整数。在表1中且在以下的表中，具有类型描述符form u(n)的语法元素为长度为n的不带正负号值，其中n为非负整数。举例来说，具有类型描述符u(3)和u(8)的语法元素分别为具有3个和8个位的不带正负号整数。
在表1的SPS MVC扩展中，“num_views_minus1”语法元素加1指示经译码视频序列中的经译码视图的最大数目。“view_id[i]”语法元素指示具有等于i的视图次序指示符的视图分量的视图识别符。视图识别符可为识别特定相机位置的值。属于同一相机位置的所有视图分量可与同一视图识别符相关联。视图次序索引是指定经译码视图从左到右的排序的带正负号整数。相反，视图识别符(viewId)不暗示相机位置的任何排序。
此外，对于每一视图，SPS MVC扩展可包含“anchor_ref_l0”语法元素，其指示视频解码器30可包含在用于锚图片的视图间预测的参考图片列表0的初始版本中的图片的视图识别符。锚图片为其中所有片仅参考同一存取单元中的片的经译码图片。就是说，视频编码器20可使用视图间预测来编码锚图片，但视频编码器20不使用帧间预测来编码所述锚图片。对于每一视图，SPS MVC扩展还可包含“anchor_ref_l1”语法元素，其指示视频解码器30可包含在用于锚图片的视图间预测的参考图片列表1的初始版本中的图片的视图识别符。此外，对于每一视图，SPS MVC扩展可包含“non_anchor_refs_l0”语法元素，其指示视频解码器30可包含在用于非锚视图分量的视图间预测的列表0中的图片的视图识别符。类似地，对于每一视图，SPS MVC扩展可包含“non_anchor_refs_l1”语法元素，其指示视频解码器30可包含在用于非锚视图分量的视图间预测的列表1中的图片的视图识别符。以此方式，表1的SPS MVC扩展可提供同一视图的锚图片和非锚图片的不同预测关系。
在H.264/AVC的MVC扩展中，如果NAL单元类型为前缀NAL单元或MVC视频译码层(VCL)NAL单元，那么NAL单元可包含一字节NAL单元标头和三字节MVC NAL单元标头扩展。MVC中的前缀NAL单元可仅含有NAL单元标头和MVC NAL单元标头扩展。MVC VCL NAL单元可为经译码片NAL单元。在H.264/AVC中，术语“VCL NAL单元”是用于指代经译码片NAL单元和经译码片数据分区NAL单元的合称术语。下文的表2指示MVC NAL单元标头扩展(“nal_unit_header_mvc_extension”)的实例语法。
表2
在表2的实例语法中，non_idr_flag指示NAL单元是否属于瞬时解码刷新(IDR)NAL单元。随机存取点为仅包含I片的图片。随机存取点为仅包含I片的图片。priority_id语法元素可用于一路径适应，其中适应可通过检查priority_id来进行。view_id语法元素可指示当前视图的视图识别符。NAL单元可包含当前视图的视图分量的片的经译码表示。temporal_id语法元素可指示NAL单元的时间级。NAL单元的时间级可指示与NAL单元相关联的图片率。anchor_pic_flag语法元素可指示NAL单元是否属于可用于随机存取的锚图片。inter_view_flag语法元素指示当前视图分量是否用于其它视图中的NAL单元的视图间预测。NAL单元可包含当前图片的片的经译码表示。
除编码多个视图之外，存在正在进行的努力以产生对H.264和HEVC的三维视频(3DV)译码扩展。3DV扩展提供深度图。深度图是像素值表示对应“纹理”图片中所示的物体的三维深度的图片。在一些实例中，深度图中较亮的像素值可对应于较靠近相机的物体，且深度图中较暗的像素值可对应于较远离相机的物体。“纹理”图片可包含常规图片。与3DV相反，MVC不提供深度图，且仅译码纹理图片。然而，因为3DV扩展也使用多个纹理视图，所以3DV扩展可使用MVC中所使用的译码技术中的许多技术。
在H.264/AVC和HEVC的3DV扩展中，视频编码器20可以与存取单元的其它视图相同的方式编码深度图。就是说，除用于不同视图的纹理图片之外，存取单元可包含深 度图。存取单元的深度图也可称为存取单元的“深度视图分量”。术语“视图分量”可用以指代存取单元的纹理视图分量或深度视图分量。
视频译码器(例如，视频编码器20和视频解码器30)可使用基于深度图像的渲染(DIBR)来基于可用纹理和深度视图分量产生合成纹理视图分量。合成纹理视图分量可为基于深度图和一个或一个以上纹理视图分量而合成的纹理视图分量。在一些例子中，可将合成纹理视图分量用作存取单元间预测或视图间预测的参考图片。用作参考图片的合成纹理视图分量可称为视图合成参考图片(VSRP)。视频译码器可包含参考图片列表中的VSRP。在一些特定设计中，视频译码器可使用多个视图分量(具有深度)来通过DIBR产生一个VSRP。在一些实例中，仅一个VSRP可用于每一经译码图片。
一些参考图片为“短期”参考图片，且一些参考图片为“长期”参考图片。与短期参考图片相比，长期参考图片可保持在参考图片列表中较长的时间周期。如果视频编码器20确定在延长的时间周期(例如，若干秒)内维持参考图片的可用性将是有利的，那么视频编码器20可用信号通知参考图片为长期参考图片。举例来说，如果参考图片含有静态背景且其它图片覆盖且揭示此静态背景的部分，那么视频编码器20可指示参考帧为长期参考图片。在H.264/AVC或H.264/MVC中，短期参考图片从不具有等于当前图片(即，当前正译码的图片)的帧编号的帧编号(frame_num)。图片的帧编号为基于图片的图片编号的值。当将图片用作短期参考图片时，图片的帧编号可用来识别所述图片。
如上文所提到，视频译码器(例如，视频编码器20和视频解码器30)可维持第一参考图片列表(列表0)和第二参考图片列表(列表1)。列表0和列表1可为参考图片的帧编号的列表。视频编码器20可通过用信号通知特定参考图片的帧编号的参考图片列表中的位置来用信号通知视频块是使用所述特定参考图片中的参考块来进行帧间预测的。
一些视频译码器产生参考图片列表，使得时间(即，视图内)参考图片的帧编码最初总是列在第一。时间参考图片的帧编号在参考图片列表中后接视图间参考图片的帧编号。就是说，视频译码器可使用以下步骤产生参考图片。首先，如H.264/AVC标准中所指定，视频译码器可对时间(即，视图内)参考图片应用参考图片列表初始化过程，其中不考虑来自其它视图的参考图片。其次，视频译码器可以视图间参考图片在MVC SPS扩展中出现的次序，将视图间参考图片附加到参考图片列表的尾部。再次，视频译码器可将参考图片列表修改(RPLM)过程应用于视图内和视图间参考图片。举例来说，视频编码器或视频解码器可执行参考图片列表修改过程，其改变视图间参考视图分量的参考图片列表中的位置。如MVCSPS扩展所指定，视图间参考图片可在RPLM命令中由其索引值识别。下文详细描述RPLM过程。
在HEVC中，VCL NAL单元的NAL单元标头的长度可为两个字节。相反，H.264/AVC中的VCL NAL单元的NAL单元标头的长度可仅为一个字节。HEVC VCL NAL单元的NAL单元标头的第一字节可具有与H.264/AVC VCL NAL单元的NAL单元标头相同的语法和语义。当存在HEVC VCL NAL单元的NAL单元标头的第二字节时，HEVC VCL NAL单元的NAL单元标头的第二字节可包含时间识别符(例如，“temporal_id”)语法元素和输出旗标(例如，“output_flag”)语法元素。时间识别符语法元素可指定用于NAL单元的时间识别符。包含存取单元的视图分量的经译码片的每一NAL单元可具有相同的时间识别符。输出旗标语法元素可影响与NAL单元相关联的经解码图片的输出，如HEVC的附件C中所描述。
此外，在视频译码器在HEVC中产生参考图片列表0和1之后，视频译码器可从参考图片列表0和1中的参考图片产生经组合参考图片列表。为了产生所述经组合参考图片列表，视频译码器可从列表0和1选择条目(即，参考图片)，且将选定条目插入(例如，附加)到组合参考图片列表。在一些实例中，视频译码器可基于在列表0和列表1中出现的升序从列表0和列表1选择条目。如果选定条目已经在经组合参考图片列表中，那么视频译码器不会再次将所述条目插入到经组合参考图片列表中。视频译码器可通过检查条目的图片次序计数(POC)编号来确定选定条目是否已在经组合参考图片列表中。
在HEVC中，视频编码器20用信号通知每一经译码图片的参考图片集合(RPS)。经译码图片的RPS为与经译码图片相关联的参考图片集合。RPS可包含以下部分，且在一些实施例中由以下部分组成：在解码次序中在经译码图片之前可用于经译码图片的帧间预测的所有参考图片，或在解码次序中在经译码图片之后的任何图片。
视频编码器20可在PPS和片标头中用信号通知经译码图片的RPS。举例来说，视频编码器20可在PPS中用信号通知RPS，且可在经译码图片的片标头中用信号通知经译码图片的RPS为PPS中用信号通知的RPS。在其它例子中，视频编码器20可直接在经译码图片的片标头中用信号通知经译码图片的RPS。因此，视频解码器30可从片标头剖析指示RPS的语法元素。
可将视图分量(即，当前视图分量)的RPS分成五个参考图片子集：RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll。这些参考图片子集中的每一者可包括识别参考视图分量的POC值的列表。术语“参考视图分量”和“参考图片”在本发明中可互换使用。RefPicSetStCurr0可由在解码次序和输出次序中在当前视图分量之前且可用于当前视图分量的帧间预测中的所有短期参考视图分量组成。RefPicSetStCurr1可由在解码次序中在当前视图分量之前、在输出次 序中在当前视图分量之后且可用于当前视图分量的帧间预测中的所有短期参考视图分量组成。RefPicSetStFoll0可由在解码次序和输出次序中在当前视图分量之前、可用于在解码次序中在当前视图分量之后的视图分量中的一者或一者以上的帧间预测中且不用于当前视图分量的帧间预测中的所有短期参考视图分量组成。RefPicSetStFoll1可由在解码次序和输出次序中在当前视图分量之前、在输出次序中在当前视图分量之后、可用于在解码次序中在当前视图分量之后的视图分量中的一者或一者以上的帧间预测中且不用于当前视图分量的帧间预测中的所有短期参考视图分量组成。RefPicSetLtCurr可由在解码次序在当前视图分量之前且可用于当前视图分量的帧间预测中的所有长期参考视图分量组成。RefPicSetLtFoll可由在解码次序在当前视图分量之前、可用于在解码次序中在当前视图分量之后的视图分量中的一者或一者以上的帧间预测中且不用于当前视图分量的帧间预测中的所有长期参考视图分量组成。
RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll中的条目的数目在本发明中可分别称为NumRpsStCurr0、NumRpsStCurr1、NumRpsStFoll0、NumRpsStFoll1、NumRpsLtCurr和NumRpsLtFoll。如果当前视图分量为IDR图片，那么RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll全为空，且NumRpsStCurr0、NumRpsStCurr1、NumRpsStFoll0、NumRpsStFoll1、NumRpsLtCurr和NumRpsLtFoll全等于0。可在博伊斯(Boyce)等人的“JCT-VC分会报告：参考图片缓冲和列表构造(AHG21)”(文献号JCTVC-G1002，日期为2011年11月11日)中找到参考图片集合的进一步描述，所述文献从2012年12月19日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G1002-v5.zip获得，其整个内容以引用的方式并入本文中。
当视频译码器译码P或B片时，视频译码器可产生列表0和列表1的初始版本。换句话说，视频译码器可初始化列表0和列表1。视频译码器可产生列表0和列表1的初始版本，使得列表0和列表1包含来自的至少一个RefPicSetCurr0、RefPicSetCurr1或RefPicSetLtCurr参考图片。
举例来说，视频译码器可执行由以下伪码描述的操作，以产生列表0的初始版本。
在上文的伪码中，cIdx为计数器变量。此外，在上文的伪码中，num_ref_idx_10_active_minus1为指示列表0中的活动参考图片的数目减1。当视频译码器执行上文的伪码时，视频译码器将RefPicSetStCurr0的每一参考图片插入参考图片列表0中，接着将RefPicSetStCurr1的每一参考图片插入参考图片列表0中，接着将RefPicSetLtCurr的每一参考图片插入参考图片列表0中。
视频译码器可执行由以下伪码描述的操作，以产生列表1的初始版本。
当视频译码器执行上文的伪码时，视频译码器将RefPicSetStCurr0的每一参考图片插入参考图片列表1中，接着将RefPicSetStCurr1的每一参考图片插入参考图片列表1中，接着将RefPicSetLtCurr的每一参考图片插入参考图片列表1中。
在一些例子中，改变参考图片在参考图片列表中的次序可为有利的。举例来说，因为可使用一元值来用信号通知位置，所以与参考图片列表中的最后一个位置相比，可需 要较少的位来指示参考图片列表中的第一位置。因此，如果特定参考图片有可能被频繁使用，那么使特定参考图片相较于参考图片列表的最后一个位置较靠近参考图片列表的第一位置。
因此，视频编码器20可包含位流中的一系列一个或一个以上RPLM命令。RPLM命令可为用于将参考图片插入参考图片列表中的一组一个或一个以上语法元素。因此，通过将RPLM命令包含在位流中，视频编码器20可灵活地布置时间和视图预测参考，其可提供潜在的译码效率增益。另外，RPLM命令的使用可增加差错恢复，因为参考图片选择和冗余图片机制可扩展到视图尺寸。
视频解码器30以RPLM命令在位流中用信号通知的次序处理RPLM命令。此外，当视频解码器30处理一系列RPLM命令时，视频解码器30可最初将当前索引值设定为0，且可在每一RPLM命令的处理期间递增当前索引值。当视频解码器30处理RPLM命令时，视频解码器30可在参考图片列表中使由当前索引值指示的位置处的参考图片以及在由当前索引值指示的位置之后的位置处的所有参考图片降档一个位置。视频解码器30可接着在当前索引值所指示的位置处将参考图片插入到参考图片列表中。视频解码器30可接着扫描通过参考图片列表，且如果存在，那么去除所插入参考图片的复本。
RPLM命令可在经译码片的片标头中指定。下文的表3展示可包含于片标头中的RPLM命令的实例语法。
表3—RPLM语法
在表3中，“slice_type”指示当前片(即，片标头包含RPLM命令的片)的类型。下文的表4指示“slice_type”的实例语义。
表4
slice_type slice_type的名称
0 P(P片)
1 B(B片)
2 I(I片)
此外，在表3的实例语法中，“list_modification_idc”和“ref_pic_set_idx”语法元素可指定从参考图片列表的初始版本到视频译码器用于帧间预测的参考图片列表的版本的改变。“ref_pic_list_modification_flag_l0”语法元素指示是否存在用以修改列表0的一个或一个以上“list_modification_idc”语法元素。当“ref_pic_list_modification_flag_l0”语法元素等于1时，“list_modification_idc”语法元素不等于3的次数可不超过活动参考图片在列表0中列举的数目。“ref_pic_list_modification_flag_l1”语法元素指示是否存在用以修改列表1的一个或一个以上“list_modification_idc”语法元素。当“ref_pic_list_modification_flag_l1”语法元素等于1时，list_modification_idc不等于3的次数可不超过活动参考图片在列表1中列举的数目。“long_term_pic_num”语法元素指定正移动到参考图片列表的当前索引的图片的长期帧数目。
一般来说，“ref_pic_set_idx”语法元素指定到将移动到参考图片列表中的当前索引的参考图片的RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr中的位置的索引。“ref_pic_set_idx”语法元素的值可从0到参考图片的最大可允许数目的范围内，包含0和所述最大可允许数目。
“list_modification_idc”语法元素指定要执行的RPLM命令的类型。为了方便阐释，此语法元素可称为RPLM类型语法元素。在一些实例中，RPLM类型语法元素可具有在从0到3的范围内(包含0和3)的值。对于列表0，如果RPLM类型语法元素等于0，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr0中的位置的索引。举例来说，“ref_pic_set_idx”可指示RefPicSetStCurr0中的第二位置处的参考图片。对于列表1，如果RPLM类型语法元素等于0，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr1中的位置的索引。
对于列表0，如果RPLM类型语法元素等于1，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr1中的位置的索引。对于列表1，如果RPLM类型语法元素等于1，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr0中的位置的索引。
如果RPLM类型语法元素等于2，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素指示到RefPicSetLtCurr中的位置的索引。如果RPLM类型语法元素等于3，那么视频译码器停止修改参考图片列表的循环。
当“ref_pic_list_modification_flag_l0”语法元素等于1，那么视频译码器可以其在位流中出现的次序处理“list_modification_idc”语法元素。对于每一“list_modification_idc”语法元素，视频译码器可确定“list_modification_idc”语法元素是等于0、1还是2。如果“list_modification_idc”语法元素等于0、1或2，那么视频译码器可调用将一个参考图片移到参考图片索引的过程。视频译码器可将索引refIdxL0作为输入提供给所述过程，且可将refIdxL0设定为所述过程的输出。refIdxL0为到列表0中的索引。视频译码器可最初将refIdxL0设定为等于0。下文描述将一个参考图片移到参考图片索引的过程。否则，如果“list_modification_idc”语法元素等于3，那么视频译码器停止针对列表0的参考图片列表修改过程。
当当前片为B片，且“ref_pic_list_modification_flag_l1”语法元素等于1时，视频译码器可以其在位流中出现的次序处理“list_modification_idc”语法元素。对于每一“list_modification_idc”语法元素，视频译码器可确定“list_modification_idc”语法元素是等于0、1还是2。如果“list_modification_idc”语法元素等于0、1或2，那么视频译码器可调用将一个参考图片移到参考图片索引的过程。视频译码器可将索引refIdxL1作为输入提供给所述过程，且可将refIdxL1设定为所述过程的输出。refIdxL1为到列表1中的索引。视频译码器可最初将refIdxL1设定为等于0。下文描述将一个参考图片移到参考图片索引的过程。否则，如果“list_modification_idc”语法元素等于3，那么视频译码器停止针对列表1的参考图片列表修改过程。
如上文所提到，视频译码器可执行将参考图片移到参考图片索引的过程。此过程可将参考图片索引视为输入，且输出递增的参考图片索引。参考图片索引可表示为refIdxLX，其中对于列表0中的参考图片的移动，X等于0，且对于列表1中的参考图片的移动，X等于1。如果“list_modification_idc”语法元素等于0，且当前参考图片列表为列表0，那么视频解码器可指定RefPicSetStCurr0为当前参考图片集合。否则，如果“list_modification_idc”语法元素等于0，且当前参考图片列表为列表1，那么视频译 码器可指定RefPicStCurr1为当前参考图片集合。如果“list_modification_idc”语法元素等于1，且当前参考图片列表为列表0，那么视频译码器可指定RefPicStCurr1为当前参考图片集合。如果“list_modification_idc”语法元素等于1，且当前参考图片列表为列表1，那么视频译码器可指定RefPicStCurr0为当前参考图片集合。如果“list_modification_idc”语法元素等于2，那么视频译码器可指定RefPicSetLtCurr为当前参考图片集合。
此外，在将参考图片移到参考图片索引的过程中，视频译码器可确定相关POC值，pocLX。相关POC值可为将在当前参考图片集合中由“ref_pic_set_idx”语法元素指示的位置处插入到参考图片列表X(其中X为0或1)中的参考图片的POC值。另外，视频译码器可执行由以下伪码所描述的过程，以在由refIdxLX指示的位置处将具有相关POC值的图片插入到当前参考图片列表中。
在上文的伪码中，cIdx为计数器变量。此外，在上文的伪码中，num_ref_idx_lX_active_minus1为等于当前参考图片列表中的活动参考图片的数目减1的变量。PicOrderCnt为返回参考图片的POC值的函数。当视频译码器执行由上文的伪码描述的过程时，视频译码器可将在由refIdxLX指示的位置之后的参考图片移位到当前参考图片列表中稍后的位置，插入具有相关POC值的参考图片，递增refIdxLX，且从参考图片列表去除具有相关POC值的参考图片的任何复本。
在上文的伪码中，当前参考图片列表的长度可暂时比当前参考图片列表的最终版本的长度长一个元素。因此，在视频译码器执行由上文的伪码描述的操作之后，视频译码器可在当前参考图片列表的最终版本中仅保留元素0到num_ref_idx_lX_active_minus1。
整个内容以引用的方式并入本文中的第61/512,771号美国临时专利申请案描述HEVC的扩展以包含多个纹理视图的译码，类似于H.264/AVC的MVC扩展。就是说，第61/512,771号美国临时专利申请案描述在视图间预测(即，差异运动补偿)的HEVC中的使用，类似于用于H.264/AVC中。此外，在第61/512,771号美国临时专利申请案中， 视频编码器可在SPS中用信号通知非基础视图所取决于的视图分量的视图识别符。下文的表5是用以用信号通知非基础视图的视图依赖性的SPS的语法的一部分。
表5
在上文的表5中，“ref_view_idx[i][j]”语法元素指示用于解码具有等于i的视图次序索引的视图分量的参考图片列表0和参考图片列表1的初始版本中的视图间预测的第j个视图分量的视图次序索引。在第61/512,771号美国临时专利申请案中，参考图片列表构造遵循与H.264/MVC中相同的程序。然而，在第61/512,771号美国临时专利申请案中，视频编码器20可使用相同信令，不管当前图片是锚图片还是非锚图片，且不管当前列表是RefPicList0还是RefPicList1。以此方式，可使用RPLM命令的两个指示，且可使用视图间参考索引的差异来识别视图间参考图片。
上文所述的视频译码器可能存在若干问题。举例来说，视图间参考视图分量的信令可为低效的或丢失。在另一实例中，参考图片列表初始化过程可为低效的。在另一实例中，参考图片列表修改过程可为低效的。
本发明的技术可纠正这些问题。根据本发明的技术，视频译码器得出当前视图分量的RPS。当前视图分量的RPS可包含参考图片子集：RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr、RefPicSetLtFoll。另外，当前视图分量的RPS可包含视图间参考图片集合(RefPicSetInterView)。视图间预测参考图片集合包含不来自与当前视图分量相同的视图，还来自与当前视图分量相同的存取单元，并且还由当前视图分量用于视图间预测参考的视图分量。在一些实例中，视图间参考图片集合在序列级用信号通知，且可由同一视图的所有视图分量共享。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll包含来自与当前视图分量相同的视图，在解码次序中在当前视图分量之前，且可用于当前视图分量或来自同一视图中的在解码次序中在当前视图分量之后的任何视图分量的帧间预测的参考视图分量。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll在本文中称为视图内参考图片集合。
在一个实例中，视频编码器20可使用以下伪码得出RefPicSetInterView：
for(j＝0；j<num_ref_views[VOIdx]；j++)
RefPicSetInterView[j]＝ref_view_idx[VOIdx][j]
NumRpsInterView＝j
在上文的伪码中，VOIdx指示当前视图分量的视图次序索引。
在另一实例中，视频编码器20可使用以下伪码得出RefPicSetInterView：
在上文的伪码中，针对所有j值的ref_view_flag[VOIdx][j]值来自活动序列参数集合中的语法结构inter_view_rps(i，inter_view_rps_idx)。
举例来说，视频编码器20可基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合可包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。此外，视频编码器20基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量。视频编码器20可产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
此外，根据本发明的技术，视频解码器30可从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合。视频解码器30可基于参考图片集合产生当前视图分量的参考图片列表。另外，视频解码器30可至少部分地基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量。
当视频译码器(例如，视频编码器20或视频解码器30)初始化用于当前视图分量的参考图片列表0和1时，视频译码器包含来自参考图片列表0和1中的RefPicSetInterView的参考视图分量。在一些实例中，视频译码器产生参考图片列表0和1，使得参考图片 列表0和1包含视图间参考图片集合(RefPicSetInterView)的每一视图分量。视频译码器可包含来自参考图片列表0和1中根据各种预定义次序的各种位置处的RefPicSetInterView的参考视图分量。
在第一实例次序中，视频译码器初始化参考图片列表0，使得RefPicSetStCurr0中的视图分量列在第一，接着是RefPicSetInterView中的视图分量、RefPicSetStCurr1中的视图分量以及RefPicSetLtCurr中的视图分量。在此实例中，视频译码器初始化参考图片列表1，使得RefPicSetStCurr1中的视图分量列在第一，接着是RefPicSetInterView中的视图分量、RefPicSetStCurr0中的视图分量以及RefPicSetLtCurr中的视图分量。因此，在此实例中，视频解码器30可产生参考图片列表(例如，列表0或列表1)，使得第一子集(即，RefPicSetStCurr0)或第二子集(即，RefPicSetStCurr1)在参考图片列表中第一出现，接着是视图间参考图片集合(即，RefPicSetInterView)。
在第二实例次序中，视频译码器初始化参考图片列表0，使得RefPicSetStCurr0中的视图分量列在第一，接着是RefPicSetStCurr1中的视图分量、RefPicSetInterView中的视图分量以及RefPicSetLtCurr中的视图分量。在此实例中，视频译码器初始化参考图片列表1，使得RefPicSetStCurr1中的视图分量列在第一，接着是RefPicSetStCurr0中的视图分量、RefPicSetInterView中的视图分量以及RefPicSetLtCurr中的视图分量。因此，在此实例中，视频解码器30可产生参考图片列表(例如，列表0或列表1)，使得第一子集(即，RefPicSetStCurr0)和第二子集(即，RefPicSetStCurr1)在参考图片列表中出现，接着是视图间参考图片集合(即，RefPicSetInterView)
在第三实例次序中，视频译码器初始化参考图片列表0，使得RefPicSetStCurr0中的视图分量列在第一，接着是RefPicSetStCurr1中的视图分量、RefPicSetLtCurr中的视图分量以及RefPicSetInterView中的视图分量。在此实例中，视频译码器初始化参考图片列表1，使得RefPicSetStCurr1中的视图分量列在第一，接着是RefPicSetStCurr0中的视图分量、RefPicSetLtCurr中的视图分量以及RefPicSetInterView中的视图分量。因此，在此第三实例中，RefPicSetInterView(视图间参考图片集合)的视图分量在参考图片列表0和1中最后出现。就是说，在此实例中，视频解码器30可产生参考图片列表(例如，列表0或列表1)，使得第一子集(即，RefPicSetStCurr0)、第二子集(即，RefPicSetStCurr1)、第五子集(即，RefPicSetLtCurr)在参考图片列表中出现，接着是视图间参考图片集合(即，RefPicSetInterView)
在一些实例中，RefPicSetInterView将再分为两个子集：RefPicSetInterViewFwd和RefPicSetInterViewBwd。RefPicSetInterViewFwd包含RefPicSetInterView的具有小于当 前视图分量的视图识别符的视图识别符的那些参考视图分量。RefPicSetInterViewBwd包含RefPicSetInterView的具有大于当前视图分量的视图识别符的视图识别符的那些参考视图分量。RefPicSetInterViewFwd中的视图分量的次序和RefPicSetInterViewBwd中的视图的次序与对应SPS中用信号通知的一样。就是说，对于任何视图A和视图B，如果视图A和B两者均具有大于当前视图的view_id的view_id值，且视图A在SPS中在视图B之前，那么在RefPicSetInterViewBwd中，视图A的视图分量在视图B的视图分量之前。如果视图A和B两者均具有小于当前视图的view_id的view_id值，且视图A在SPS中在视图B之前，那么在RefPicSetInterViewFwd中，视图A的视图分量在视图B的视图分量之前。
在其它实例中，RefPicSetInterViewFwd包含RefPicSetInterView的具有小于当前视图分量的视图次序索引的视图次序索引的那些参考视图分量。RefPicSetInterViewBwd包含RefPicSetInterView的具有大于当前视图分量的视图次序索引的视图次序索引的那些参考视图分量。RefPicSetInterViewFwd中的视图分量的次序和RefPicSetInterViewBwd中的视图的次序与对应SPS中用信号通知的一样。就是说，对于任何视图A和视图B，如果视图A和B两者均具有大于当前视图的视图次序索引的视图次序索引值，且视图A在SPS中在视图B之前，那么在RefPicSetInterViewBwd中，视图A的视图分量在视图B的视图分量之前。如果视图A和B两者均具有小于当前视图的视图次序索引的视图次序索引值，且视图A在SPS中在视图B之前，那么在RefPicSetInterViewFwd中，视图A的视图分量在视图B的视图分量之前。
在一些实例中，通过使用如在MVC的序列参数集合MVC扩展中用信号通知的视图依赖性语法元素来得出RefPicSetInterView。在此些实例中，当当前视图分量属于锚存取单元(其等效于干净随机存取(CRA)存取单元)时，可得出RefPicSetInterViewFwd等于anchor_ref_l0[i][j]。当当前视图分量属于非锚存取单元(对于所有j值)时，可得出RefPicSetInterViewFwd等于non_anchor_ref_l0[i][j]。当当前视图分量属于锚存取单元(其等效于CRA存取单元)时，可得出RefPicSetInterViewBwd等于anchor_ref_l1[i][j]。当当前视图分量属于非锚存取单元(对于所有j值)时，可得出RefPicSetInterViewBwd等于non_anchor_ref_l0[i][j]。
在其中将RefPicSetInterView再分成RefPicSetInterViewFwd和RefPicSetInterViewBwd的一些实例中，视频译码器可初始化参考图片列表0，使得参考图片列表0包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr和RefPicSetInterViewFwd的参考视图分量，但不包含来自RefPicSetInterViewBwd的参考视图分量。视频译码器可初始化参考图片列表1，使得参考图片列表1包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurrn和RefPicSetInterViewBwd的参考视图分量，但不包含来自RefPicSetInterViewFwd的参考视图分量。
因此，视频译码器可产生第一参考图片列表(例如，列表0)，使得第一参考图片列表包含视图间参考图片的第一子集(例如，RefPicInterViewFwd)，且不包含视图间参考图片的第二子集(例如，RefPicInterViewBwd)。此外，视频译码器可产生第二参考图片列表(例如，列表1)，使得第二参考图片列表包含视图间参考图片的第二子集(例如，RefPicInterViewBwd)，且不包含视图间参考图片的第一子集(例如，RefPicInterViewFwd)。
或者，在其中将RefPicSetInterView再分成RefPicSetInterViewFwd和RefPicSetInterViewBwd的一些实例中，视频译码器可根据上文所述的第一、第二或第三实例次序来初始化参考图片列表0和1。然而，当视频译码器包含参考图片列表0中的视图间参考视图分量时，视频译码器可在来自RefPicSetInterViewBwd的视图间参考视图分量之前包含来自RefPicSetInterViewFwd的每一视图间参考视图分量。当视频译码器包含参考图片列表1中的视图间参考视图分量时，视频译码器可在来自RefPicSetInterViewFwd的任何视图间参考视图分量之前包含来自RefPicSetInterViewBwd的每一视图间参考视图分量。
在一些实例中，视频译码器可产生参考图片列表0和1，使得参考图片列表包含一组一个或一个以上VSRP。视频译码器可包含在参考图片列表0和1内的各种位置处的VSRP。举例来说，视频译码器可初始化参考图片列表0和1，使得VSRP紧接视图间参考视图分量之后。换句话说，视频译码器可产生参考图片列表0和1，使得所述组VSRP在参考图片列表0和1中跟在视图间参考图片集合之后。在另一实例中，视频译码器可初始化参考图片列表0和1，使得VSRP就在视图间参考视图集合之前(即，在其前面)。
在3D视频译码的上下文中，其中视图分量可含有纹理和深度视图分量两者，特定存取单元的特定视图的纹理或深度视图分量可进一步用指示来识别。在一个实例中，此指示为NAL单元标头中的旗标。在另一实例中，此指示是基于NAL单元的类型。本发明的技术(包含视图间参考图片集合的使用、本发明的参考图片集合构造技术、本发明的参考图片列表初始化技术以及本发明的参考图片列表修改技术)可适用于纹理视图分量和深度视图分量两者，图4是说明经配置以实施本发明的技术的实例视频编码器20的框图。图4是出于阐释的目的而提供，且不应被视为限制如本发明中广泛示范和描述的技术。出于阐释的目的，本发明在HEVC译码以及HEVC的MVC和3DV扩展的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图4的实例中，视频编码器20包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波单元113、经解码图片缓冲器114以及熵编码单元116。预测处理单元100包含帧间预测处理单元121和帧内预测处理单元126。帧间预测处理单元121包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含较多、较少或不同的功能组件。
视频编码器20接收视频数据。为了编码视频数据，视频编码器20可编码视频数据的每一图片(例如，纹理视图分量或深度视图分量)的每一片。作为编码片的一部分，视频编码器20可编码片中的每一CTB。作为编码CTB的一部分，预测处理单元100可对与CTB相关联的像素块执行四叉树分区，以将像素块分成逐渐变小的像素块。举例来说，预测处理单元100可将CTB的像素块分区成四个大小相等的子块，将所述子块中的一者或一者以上分区成四个大小相等的子子块，依此类推。较小的像素块可与CTB的CU相关联。
视频编码器20可编码CTB的CU以产生CU(即，经译码CU)的经编码表示。作为编码CU的一部分，预测处理单元100可在CU的一个或一个以上PU之中对CU的像素块进行分区。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，视频编码器20和视频解码器30可支持用于帧内预测的PU大小2Nx2N或NxN，以及用于帧间预测的对称PU大小2Nx2N、2NxN、Nx2N、NxN或类似大小。视频编码器20和视频解码器30还可支持用于帧间预测的PU大小2NxnU、2NxnD、nLx2N和nRx2N的不对称分析。
帧间预测处理单元121可产生视图分量的片的参考图片列表。另外，帧间预测处理单元121可通过对CU的每一PU执行帧间预测来产生PU的预测性数据。PU的预测性数据可包含对应于PU的预测性像素块和所述PU的运动信息。片可为I片、P片或B片。帧间预测处理单元121可依据PU是在I片中、P片中还是B片中来对CU的PU执行不同操作。在I片中，所有PU均经帧内预测。因此，如果PU在I片中，那么帧间预测处理单元121不对PU执行帧间预测或视图间预测。
如果PU在P片中，运动估计单元122可搜索参考图片列表(例如，“列表0”)中的参考图片，以寻找PU的参考块。列表0可包含一个或一个以上视图间参考图片。PU的参考块可为最接近地对应于PU的像素块的像素块。运动估计单元122可产生：参考图片索引，其指示含有PU的参考块的列表0中的参考图片；以及运动向量，其指示PU的像素块与参考块之间的空间移位。运动估计单元122可输出参考图片索引和运动向量， 作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的预测性像素块。
如果PU在B片中，那么运动估计单元122可对PU执行单向帧间预测或双向帧间预测。为了对PU执行单向帧间预测，运动估计单元122可搜索第一参考图片列表(“列表0”)或第二参考图片列表(“列表1”)的参考图片，以寻找PU的参考块。列表0和/或列表1可包含一个或一个以上视图间参考图片。作为PU的运动信息，运动估计单元122可输出：参考图片索引，其指示含有参考块的参考图片的列表0或列表1中的位置；运动向量，其指示PU的像素块与参考块之间的空间移位；以及预测方向指示符，其指示参考图片是在列表0还是列表1中。
为了对PU执行双向帧间预测，运动估计单元122可搜索列表0中的参考图片以寻找PU的参考块，且还可搜索列表1中的参考图片以寻找PU的另一参考块。运动估计单元122可产生参考图片索引，其指示含有参考块的参考图片的列表0和列表1中的位置。另外，运动估计单元122可产生运动向量，其指示参考块与PU的像素块之间的空间移位。PU的运动信息可包含PU的参考图片索引和运动向量。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的预测性像素块。
帧间预测处理单元121可用信号通知可用于片的参考图片集合(RPS)。根据本发明的技术，帧间预测处理单元121可以各种方式用信号通知RPS的视图间参考视图分量。举例来说，帧间预测处理单元121可用信号通知视图间参考视图分量，如MVC扩展中所述。在另一实例中，帧间预测处理单元121可用信号通知视图间参考视图分量，如第61/512,771号美国临时专利申请案中所描述。
在另一实例中，帧间预测处理单元121可通过将下文的表6的语法结构包含在SPS中来用信号通知视图间参考视图分量。
表6
在表6的实例语法结构中，num_ref_views[i]语法元素和ref_view_idx[i][j]语法元素可具有与第61/512,771号美国临时专利申请案中的语法元素相同的语义。就是说，“num_ref_views[i]”语法元素可指定在解码具有等于i的视图次序索引的视图分量时，用于列表0和列表1的初始版本中的视图间预测的视图分量的数目。“ref_view_idx[i][j]”语法元素可在解码具有等于i的视图次序索引的视图分量时指定列表0和列表1的初始版本中的第j个视图分量的视图次序索引。num_inter_view_rps[i]语法元素可指定以下inter_view_rps[i]语法结构的数目。
或者，帧间预测处理单元121可在PPS而不是SPS中包含表7的语法，如在表6的实例中。
表7
在表6和7的实例中，“inter_view_rps(i,k)”语法结构可扩展，如下文的表8中所示。
表8
在表8的实例语法结构中，如果“ref_view_flag[i][j]”语法元素等于1，帧间预测处理单元121可在参考图片集合中包含具有等于“ref_view_idx[i][j]”的视图次序索引的视图分量。如果“ref_view_flag[i][j]”语法元素等于0，那么具有等于“ref_view_idx[i][j]”的视图次序索引的视图分量不包含在参考图片集合中。
此外，帧间预测处理单元121可在片标头中包含下文的表9的语法结构。
表9
在表9的实例语法中，如果“all_inter_view_refs_flag”语法元素等于1，那么对于j的每一值，SPS中由“ref_view_idx[i][j]”语法元素识别的所有视图分量包含于当前视图分量的RPS中。如果“all_inter_view_refs_flag”语法元素不等于1，那么当前视图分量的RPS可包含SPS中由“ref_view_idx[i][j]”语法元素识别的视图分量的子集。
此外，在表9的实例语法中，如果“all_inter_yiew_refs_flag”语法元素不等于1，那么片标头可包含“no_inter_view_ref_flag”语法元素。如果“no_inter_yiew_ref_flag”语法元素等于1，那么当前视图分量的RPS不包含任何视图间参考图片。如果“no_inter_view_ref_flag”语法元素等于0，那么当前视图分量的RPS可包含一个或一个以上视图间参考图片。此外，如果“no_inter_view_ref_flag”语法元素等于0，那么片标头可包含“inter_view_rps_idx”语法元素。“inter_view_rps_idx”语法元素可指定与当前视图分量相关联的SPS的“inter_view_rps(i,k)”语法结构中的视图间参考图片集合的索引。以此方式，当前视图分量的RPS可包含“inter_view_rps(i,inter_view_rps_idx)”语法结构中的视图间参考图片。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性像素块和各种语法元素。帧内预测处理单元126可对I片、P片和B片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多种帧内预测模式来产生PU的多个预测性数据集合。为了使用帧内预测模式来产生PU的一组预测性数据，帧内预测处理单元126可使来自相邻PU的样本块的样本在与帧内预测模式相关联的方向上延伸越过所述PU的样本块。相邻PU可在PU的上方、上方右侧、上方左侧或左侧，假定PU、CU和CTB的从左到右、从上到下的编码次序。帧内预测处理单元126可使用各种数目的帧内预测模式，例如33种定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的像素块的大小。
预测处理单元100可从帧间预测处理单元121针对PU而产生的预测性数据或帧内预测处理单元126针对PU而产生的预测性数据当中选择用于CU的PU的预测性数据。 在一些实例中，预测处理单元100基于预测性数据集合的速率/失真度量选择用于CU的PU的预测性数据。选定预测性数据的预测性像素块在本文中可称为选定预测性像素块。
残差产生单元102可基于CU的像素块和CU的PU的选定预测性像素块产生CU的残差像素块。举例来说，残差产生单元102可产生CU的残差像素块，使得残差像素块中的每一样本具有等于CU的像素块中的样本与CU的PU的选定预测性像素块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分区以将CU的残差像素块分区成若干子块。每一未分残差像素块可与CU的不同TU相关联。与CU的TU相关联的残差像素块的大小和位置可或可不基于与CU的PU相关联的像素块的大小和位置。称为“残差四叉树”(RQT)的四叉树结构可包含与残差像素块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
因为TU的残差像素块的像素可包括Y样本、U样本和V样本，TU中的每一者可与Y样本块、U样本块和V样本块相关联。U样本可指示像素的蓝色分量与像素的Y样本之间的差异。出于此原因，U样本还可称为Cb样本。V样本可指示像素的红色分量与像素的Y样本之间的差异。出于此原因，V样本还可称为Cr样本。
变换处理单元104可通过将一个或一个以上变换应用于与TU相关联的残差样本块而产生CU的每一TU的系数块。变换处理单元104可将各种变换应用于与TU相关联的残差样本块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于残差样本块。
变换处理单元104可基于变换将应用于的残差样本块的大小确定要应用的变换。举例来说，变换处理单元104可依据残差样本块为4x4、8x8、16x16还是另一大小而应用不同变换。在一些实例中，变换处理单元104可将变换应用于矩形残差样本块，例如16x4、32x8等等的残差样本块。
量化单元106可量化与TU相关联的系数块中的系数。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位系数向下舍入到m位系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从系数块重构残余样本块。重构单元112可将经重构的残差样本块添加到来自由预测处理单元100产生的一个或一个以上预测性样本块的对应样本，以产生与TU相关联的经 重构样本块。通过以此方式重构CU的每一TU的样本块，视频编码器20可重构CU的像素块。
滤波单元113可执行去块操作，以减少与CU相关联的像素块中的成块假象。在滤波单元113对经重构的像素块执行一个或一个以上去块操作之后，经解码图片缓冲器114可存储经重构的像素块。帧间预测处理单元121可使用含有经重构像素块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器114中的经重构像素块来对与CU相同的图片中的其它PU执行帧内预测。
熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元116可对数据执行一个或一个以上熵编码操作以产生经熵编码的数据。举例来说，熵编码单元116可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率间隔分区熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元116产生的经熵编码数据的位流。
图5是说明经配置以实施本发明的技术的实例视频解码器30的框图。图5是为了阐释目的而提供，且不限制如本发明中广泛示范且描述的技术。为了阐释的目的，本发明在HEVC译码、HEVC的MVC和3DV扩展的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图5的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162和帧内预测处理单元164。在其它实例中，视频解码器30可包含较多、较少或不同功能组件。
视频解码器30可接收位流。熵解码单元150可剖析位流以从位流提取语法元素。作为剖析位流的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波单元159可基于从位流提取的语法元素产生经解码视频数据。
位流可包括一系列NAL单元。位流的NAL单元可包含经译码片NAL单元。作为剖析位流的一部分，熵解码单元150可从经译码片NAL单元提取语法元素并对其进行熵解码。经译码片中的每一者可包含片标头和片数据。片标头可含有关于视频分量的片的语法元素。片标头中的语法元素可包含识别与含有所述片的图片(即，纹理视图分量或深度视图分量)相关联的PPS的语法元素。
另外，视频解码器30可对非分区CU执行重构操作。为了对非分区CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残差像素块。
作为对CU的TU执行重构操作的一部分，逆量化单元154可逆量化(即去量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，且同样地，确定要应用的逆量化单元154的逆量化的程度。
在逆量化单元154对系数块进行逆量化之后，逆变换处理单元156可将一个或一个以上逆变换应用于所述系数块，以便产生与TU相关联残差样本块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆卡洛变换(Karhunen-Loeve transform，KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。
如果使用帧内预测来编码PU，那么帧内预测处理单元164可执行帧内预测以产生PU的预测性样本块。帧内预测处理单元164可使用帧内预测模式来基于空间上相邻的PU的像素块产生PU的预测性像素块。帧内预测处理单元164可基于从位流剖析的一个或一个以上语法元素来确定PU的帧内预测模式。
当视频解码器30正在解码P或B片时，预测处理单元152可基于从位流提取的语法元素，产生P或B片的第一参考图片列表(列表0)和第二参考图片列表(列表1)。如果使用帧间预测来编码PU，那么运动补偿单元162可基于PU的一个或一个以上参考块产生PU的预测性像素块。为了确定PU的参考块，运动补偿单元162可基于PU的参考图片索引确定与PU相关联的片的参考图片列表中的参考图片。另外，运动补偿单元162可基于PU的运动向量识别所识别参考图片中的参考块。
为了产生列表0和列表1，预测处理单元152可对列表0执行初始化过程，且对列表1执行初始化过程。在各种实例中，预测处理单元152可执行各种初始化过程。
在一个实例中，预测处理单元152可将视图间参考图片插入列表0中，紧接RefPicSetStCurr0的参考图片之后。在此实例中，预测处理单元152可将视图间参考图片插入列表1中，紧接RefPicSetCurr1的参考图片之后。在此实例初始化过程中，列表0和列表1两者包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr或RefPicSetInterView的至少一个参考图片。以下伪码描述列表0的实例初始化过程。
在上文的伪码中，cIdx为计数器变量，NumRpsStCurr0为RefPicSetStCurr1中的参考图片的数目，NumRpsStCurr1为RefPicSetStCurr1中的参考图片的数目，NumRpsLtCurr为RefPicSetLtCurr中的参考图片的数目，RefPicList0为列表0，且RefPicList1为列表1。另外，RefPicSetInterView为视图间参考图片的集合。在给定POC值和视图次序索引的情况下，pic()函数返回参考图片。VOIdx为当前视图分量的视图次序索引。PicOrderCnt为当前视图分量的POC值。或者，在给定参考图片的POC值以及参考图片的视图识别符(viewId)的情况下，pic()函数返回所述参考图片。此外，num_ref_idx_l0_active_minus1指示列表0中的活动参考图片的数目减1。num_ref_idx_l1_active_minus1指示列表1中的活动参考图片的数目减1。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表0中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
以下伪码描述列表1的实例初始化过程。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表1中：RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
在另一实例参考图片列表初始化过程中，预测处理单元152可将视图间参考图片插入列表0中，紧接RefPicSetStCurr1的参考图片之后。在此实例中，预测处理单元152可将视图间参考图片插入列表1中，紧接RefPicSetStCurr0的参考图片之后。在此实例初始化过程中，列表0和列表1两者包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr或RefPicSetInterView的至少一个参考图片。以下伪码描述列表0的此实例初始化过程。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表0中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
以下伪码描述列表1的实例初始化过程。
以上伪码中的项可具有与前面实例的伪码中的项相同的意义。当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表1中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
在另一实例参考图片列表初始化过程中，预测处理单元152可将视图间参考图片插 入列表0和列表1中，紧接RefPicSetLtCurr的参考图片之后。在此实例初始化过程中，列表0和列表1两者包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr或RefPicSetInterView的至少一个参考图片。以下伪码描述列表0的此实例初始化过程。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表0中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片。
以下伪码描述列表1的此实例初始化过程。
以上伪码中的项可具有与前面实例的伪码中的项相同的意义。当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表1中：RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterView的具有等于当前视图分量的POC值的POC值的每一参考图片。
在另一实例参考图片列表初始化过程中，预测处理单元152可将视图间参考图片插入列表0中，紧接RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr的参考图片之后，如先前实例中所描述。同样地，在此实例中，预测处理单元152可将视图间参考图片插入列表1中，紧接RefPicSetStCurr1、RefPicSetStCurr0或RefPicSetLtCurr的参考图片之后，如先前实例中所描述。然而，在此实例中，预测处理单元152可将具有小于当前视图分量的视图识别符的视图识别符的视图间参考图片插入列表0中。此外，在此实例中，预测处理单元152可将具有大于当前视图分量的视图识别符的视图识别符的视图间参考图片插入列表1中。在此实例初始化过程中，列表0和列表1两者包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr或RefPicSetInterView的至少一个参考图片。以下伪码描述列表0的此实例初始化过程。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表0中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterViewFwd的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
以下伪码描述列表1的此实例初始化过程。
在上文的伪码中，RefPicSetInterViewFwd为具有小于当前视图分量的视图识别符的视图识别符的视图间参考图片的子集。RefPicSetInterViewFwd为具有大于当前视图分量的视图识别符的视图识别符的视图间参考图片的子集。以上伪码中的其它项可具有与前面实例的伪码中的项相同的意义。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表1中：RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterViewBwd的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
在另一实例参考图片列表初始化过程中，预测处理单元152可将视图间参考图片插入列表0中，紧接RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr的参考图片之后，如先前实例中所描述。同样地，在此实例中，预测处理单元152可将视图间参考图片插入列表1中，紧接RefPicSetStCurr1、RefPicSetStCurr0或RefPicSetLtCurr的参考图片之后，如先前实例中所描述。然而，当预测处理单元152包含参考图片列表0中的视图间参考视图分量时，预测处理单元152可在来自RefPicSetInterViewBwd的视图间参考视图分量之前包含来自RefPicSetInterViewFwd的每一视图间参考视图分量。当预测处理单元152包含参考图片列表1中的视图间参考视图分量时，预测处理单元152可在来自RefPicSetInterViewFwd的视图间参考视图分量之前包含来自RefPicSetInterViewBwd的每一视图间参考视图分量。如在先前实例中，RefPicSetInterViewFwd为具有小于当前视图分量的视图识别符的视图识别符的视图间参考图片的子集，且RefPicSetInterViewBwd为具有大于当前视图分量的视图识别符的视图识别符的视图间参考图片的子集。在此实例初始化过程中，列表0和列表1两者包含来自RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurr或RefPicSetInterView的至少一个参考图片。以下伪码描述列表0的此实例初始化过程。
当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表0中：RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterViewFwd的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
以下伪码描述列表1的此实例初始化过程。
以上伪码中的项可具有与前面实例的伪码中的项相同的意义。当预测处理单元152执行上文的伪码时，预测处理单元152将以下各项插入参考图片列表1中：RefPicSetStCurr1的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetInterViewBwd的具有等于当前视图分量的POC值的POC值的每一参考图片，接着是RefPicSetStCurr0的具有当前视图分量的视图次序索引的每一参考图片，接着是RefPicSetLtCurr的具有当前视图分量的视图次序索引的每一参考图片。
在一些实例参考图片列表初始化过程中，预测处理单元152可初始化列表0和1以包含VSRP。预测处理单元152可包含在参考图片列表0和1内的各种位置处的VSRP。举例来说，预测处理单元152可初始化参考图片列表0和1，使得VSRP紧接视图间参考视图分量之后。在另一实例中，预测处理单元152可初始化参考图片列表0和1，使得VSRP紧临视图间参考视图分量之前。
在预测处理单元152对列表0和列表1执行初始化过程之后，预测处理单元152可执行参考图片列表修改过程，以修改列表0和/或列表1中的参考图片的次序。预测处理单元152可响应于位流中用信号通知的RPLM命令而修改列表0和列表1中的参考图片的次序。如上文所论述，RPLM命令可包含“list_modification_idc”语法元素。RPLM命令可具有各种语法。
在RPLM命令的第一实例语法中，如果预测处理单元152正修改列表0，且“list_modification_idc”语法元素等于0，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr0中的位置的索引。如果预测处理单元152正修改列表1，且“list_modification_idc”语法元素等于0，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr1中的位置的索引。此外，如果预测处理单元152正修改列表0，且“list_modification_idc”语法元素等于1，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr1中的位置的索引。如果预测处理单元152正修改列表1，且“list_modification_idc”语法元素等于1，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素对应于到RefPicSetStCurr0中的位置的索引。如果“list_modification_idc”语法元素等于2，那么“ref_pic_set_idx”语法元素存在，且“ref_pic_set_idx”语法元素指示到RefPicSetLtCurr中的位置的索引。如果“list_modification_idc”语法元素等于3，那么预测处理单元152停止修改参考图片列表的循环。
在此第一实例语法中，“list_modification_idc”语法元素还可等于4或5。如果“list_modification_idc”语法元素等于4，那么“ref_pic_set_idx”语法元素存在，且对应于到RefPicSetInterView的索引。如果“list_modification_idc”语法元素等于5，那么“ref_pic_set_idx”语法元素存在，且对应于到RefPicSetVsrp的索引。RefPicSetVsrp可为可由用于预测参考的当前视图分量使用的一组VSRP。在此实例中，“ref_pic_set_idx”语法元素可指定到正移到参考图片列表中的当前索引(例如，refldxLX)的参考图片的RefPicSetStCurr0、RefPicSetCurr1、RefPicSetLtCurr、RefPicSetInterView或RefPicSetVsrp的索引。
在RPLM命令的类似于先前段落中所描述的第一实例语法的第二实例语法中，可从不存在一个以上VSRP。因为仅存在一个VSRP，所以不需要指示哪一VSRP将插入到参考图片列表中。因此，在此实例中，如果“list_modification_idc”语法元素等于5，那么不用信号通知“ref_pic_set_idx”语法元素。此外，对于HEVC的多视图扩展，可能不需要用信号通知等于5的“list_modification_idc”语法元素。
在RPLM命令的第三实例语法中，将视图间参考图片的集合分成RefPicSetInterViewFwd和RefPicSetInterViewBwd。RefPicSetInterViewFwd为具有小于当前视图分量的视图识别符的视图识别符的视图间参考图片的集合。RefPicSetInterViewFwd为具有大于当前视图分量的视图识别符的视图识别符的视图间参考图片的集合。在此实例中，“list_modification_idc”语法元素还可等于4、5或6。如果“list_modification_idc”语法元素等于4，那么“ref_pic_set_idx”语法元素存在，且对应于到RefPicSetInterViewFwd中的位置的索引。如果“list_modification_idc”语法元素等于5，那么“ref_pic_set_idx”语法元素存在，且对应于到RefPicSetInterViewBwd中的位置的索引。如果“list_modification_idc”语法元素等于6，那么“ref_pic_set_idx”语法元素存在，且对应于到RefPicSetVsrp中的位置的索引。
在RPLM命令的第四实例语法中，“ref_pic_set_idx”语法元素指定索引的相对值。就是说，“ref_pic_set_idx”语法元素指示索引与“ref_pic_set_idx”语法元素的先前用信号通知的值之间的差。在此实例中，RPLM命令可符合下文的表10的语法。
表10
在表10的实例语法中，“list_modification_idc”语法元素可具有介于0与10之间的值。如果“list_modification_idc”语法元素等于3，那么预测处理单元152停止修改参考图片列表的循环。在下文的实例中，preRefPicSetIdx为先前“ref_pic_set_idx_diff_minus1”语法元素的值。preRefPicSetIdx可最初等于-1。MaxNum为相关参考图片子集(例如，RefPicSetStCurr0、RefPicSetStCurr1等)中的参考图片的最大数目。
如果预测处理单元152正修改列表0，且“list_modification_idc”语法元素等于0，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx-(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetStCurr0中的位置的索引。如果预测处理单元152正修改列表0，且“list_modification_idc”语法元素等于1，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx+(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetStCurr1中的位置的索引。
如果预测处理单元152正修改列表0，且“list_modification_idc”语法元素等于2，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx-(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetStCurr1中的位置的索引。如果预测处理单元152正修改列表1，且“list_modification_idc”语法元素等于4，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx+(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetStCurr0中的位置的索引。
如果预测处理单元152正修改列表0或列表1，且“list_modification_idc”语法元素等于5，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx-(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetLtCurr中的位置的索引。如果预测处理单元152正修改列表0或列表1，且 “list_modification_idc”语法元素等于6，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx+(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetLtCurr中的位置的索引。
如果预测处理单元152正修改列表0或列表1，且“list_modification_idc”语法元素等于7，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx-(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetInterView中的位置的索引。如果预测处理单元152正修改列表0或列表1，且“list_modification_idc”语法元素等于8，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx+(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetInterView中的位置的索引。
如果预测处理单元152正修改列表0或列表1，且“list_modification_idc”语法元素等于9，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx-(ref_pictset_idx_diff_minus1+1))％MaxNum来确定RefPicSetInterVsrp中的位置的索引。如果预测处理单元152正修改列表0或列表1，且“list_modification_idc”语法元素等于10，那么“ref_pic_set_idx_diff_minus1”语法元素存在，且预测处理单元152可通过计算preRefPicSetIdx+(ref_pic_set_idx_diff_minus1+1))％MaxNum来确定RefPicSetInterVsrp中的位置的索引。
预测处理单元152可基于RPLM命令执行各种参考图片列表修改过程。在一个实例中，预测处理单元152可接收符合上文的第一或第二实例的RPLM语法的语法元素。在此实例中，当“ref_pic_list_modification_flag_l0”语法元素等于1时，预测处理单元152可以“list_modification_idc”语法元素在位流中出现的次序处理“list_modification_idc”语法元素。对于每一“list_modification_idc”语法元素，预测处理单元152可确定“list_modification_idc”语法元素是等于0、1、2、4还是5。如果“list_modification_idc”语法元素等于0、1、2、4或5，那么预测处理单元152可执行用以将一个参考图片移到参考图片索引指示的列表0中的位置的过程。预测处理单元152可将索引refIdxL0作为输入提供给所述过程，且可将refIdxL0设定为所述过程的输出。refIdxL0为到列表0中的索引。预测处理单元152可最初将refIdxL0设定为等于0。下文描述将参考图片移到列表0中由参考图片索引指示的位置的过程。否则，如果“list_modification_idc”语法元素等于3，那么预测处理单元152停止针对列表0的参考图片列表修改过程。
在此实例中，当当前片为B片且“ref_pic_list_modification_flag_l1”语法元素等于1时，预测处理单元152可以“list_modification_idc”语法元素在位流中出现的次序处 理“list_modification_idc”语法元素。对于每一“list_modification_idc”语法元素，预测处理单元152可确定“list_modification_idc”语法元素是等于0、1、2、4还是5。如果“list_modification_idc语法元素等于0、1、2、4或5，那么预测处理单元152可执行用以将一个参考图片移到参考图片索引指示的列表1中的位置的过程。预测处理单元152可将索引refIdxL1作为输入提供给所述过程，且可将refIdxL1设定为所述过程的输出。refIdxL1为到列表1中的索引。预测处理单元152可最初将refIdxL1设定为等于0。下文描述将一个参考图片移到列表1中由参考图片索引指示的位置的过程。否则，如果搼list_modification_idc”语法元素等于3，那么预测处理单元152停止针对列表1的参考图片列表修改过程。
如上文所提到，预测处理单元152可执行用以将参考图片移到列表0或1中由参考图片索引指示的位置的过程。此过程可将参考图片索引视为输入，且输出递增的参考图片索引。参考图片索引可表示为refIdxLX，其中对于列表0中的参考图片的移动，X等于0，且对于列表1中的参考图片的移动，X等于1。如果“list_modification_idc”语法元素等于0，且当前参考图片列表为列表0，那么视频解码器可将指定RefPicSetStCurr0为当前参考图片集合。否则，如果“list_modification_idc”语法元素等于0，且当前参考图片列表为列表1，那么预测处理单元152可将指定RefPicStCurr1为当前参考图片集合。如果“list_modification_idc”语法元素等于1，且当前参考图片列表为列表0，那么预测处理单元152可将指定RefPicStCurr1为当前参考图片集合。如果“list_modification_idc”语法元素等于1，且当前参考图片列表为列表1，那么预测处理单元152可将指定RefPicStCurr0为当前参考图片集合。如果“list_modification_idc”语法元素等于2，那么预测处理单元152可指定RefPicSetLtCurr为当前参考图片集合。根据本发明的技术，如果“list_modification_idc”语法元素等于4，那么预测处理单元152可指定RefPicSetInterView为当前参考图片集合。此外，根据本发明的技术，如果“list_modification_idc”语法元素等于5，那么预测处理单元152可指定RefPicSetVsrp为当前参考图片集合。或者，“list_modification_idc”语法元素的特定值(例如，4和5)可将RefPicSetInterViewFwd或RefPicSetInterviewBwd指定为当前参考图片集合。
此外，在将参考图片移到列表0或1中由参考图片索引指示的位置的过程中，预测处理单元152可确定相关POC值，pocLX。在一些实例中，预测处理单元152可确定pocLX为PicOrderCnt(curRefPicSet[ref_pic_set_idx])，其中PicOrderCnt()返回视图分量的POC值，且curRefPicSet为当前参考图片集合。相关POC值可为当前参考图片列表中在由“ref_pic_set_idx”语法元素指示的位置处的参考图片的POC值。另外，预测 处理单元152可确定相关视图次序索引，vOIdx。在一些实例中，预测处理单元152可确定vOIdx为viewOrderIdx(curRefPicSet[ref_pic_set_idx])，其中viewOrderIdx()为返回视图分量的视图次序索引的函数。
VSRP可具有与当前视图分量相同的POC值，且可具有与最初从中合成VSRP的视图分量相同的视图次序索引。在其中预测处理单元152从多个视图分量合成VSRP的一些实例中，VSRP图片的视图次序索引可等于从中合成VSRP的视图分量的最小视图次序索引。在其中预测处理单元152从多个视图分量合成VSRP的其它实例中，VSRP图片的视图次序索引可等于从中合成VSRP的视图分量中的任一者的视图次序索引。
预测处理单元152可执行由以下伪码所描述的过程，以在由refIdxLX指示的位置处将具有等于相关POC值的POC值的图片插入到当前参考图片列表中。
当预测处理单元152执行上文的伪码所述的过程时，预测处理单元152可将在由refIdxLX指示的位置之后的参考图片移位到参考图片列表X中稍后的位置，将具有相关POC值(pocLX)的参考图片插入到参考图片列表X中，递增refIdxLX，且将所插入的参考图片的复本从参考图片列表X去除。在上文的伪码中，cIdx为计数器变量。此外，在上文的伪码中，num_ref_idx_lX_active_minus1为等于当前参考图片列表中的活动参考图片的数目减1的变量。PicOrderCnt为返回参考图片的POC值的函数。在上文的伪码中，当前参考图片列表的长度可暂时比当前参考图片列表的最终版本的长度长一个元素。因此，在预测处理单元152执行由上文的伪码描述的操作之后，预测处理单元152可在当前参考图片列表的最终版本中仅保留元素0到num_ref_idx_lX_active_minus1。
在先前实例运动参考图片列表修改过程中，预测处理单元152确定相关视图次序索引，vOIdx，且使用vOIdx来确定参考图片列表内将插入参考图片的位置。在另一实例中，预测处理单元152可执行类似于先前实例的过程的参考图片列表修改过程，除了预测处理单元152确定并使用相关视图识别符viewId来识别视图间参考图片或VSRP，而不是视图次序索引。举例来说，预测处理单元152可确定相关视图识别符为 ViewId(curRefPicSet[ref_pic_set_idx])，其中ViewId为返回视图分量的视图识别符的函数，且curRefPicSet为当前参考图片集合。在此实例中，预测处理单元152可执行由以下伪码描述的程序，以将参考图片插入参考图片列表中。
在以上论述中，基于使用POC和视图次序索引识别图片来描述实例。然而，相同技术还可基于使用POC和视图ID识别图片而应用。
现在继续参考图5的实例。重构单元158可使用与CU的TU相关联的残差像素块以及CU的PU的预测性像素块(即，帧内预测数据或帧间预测数据，如适用)来重构CU的像素块。明确地说，重构单元158可将残差像素块的样本添加到预测性像素块的对应样本，以重构CU的像素块。
滤波单元159可执行去块操作，以减少与CU的像素块相关联的成块假象。视频解码器30可将CU的像素块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续的运动补偿、帧内预测和在显示装置(例如图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的像素块对其它CU的PU执行帧内预测或帧间预测操作。
图6是说明根据本发明的一个或一个以上技术的作为用以编码视频数据的过程的一部分的由视频编码器20执行的实例操作200的流程图。图6的流程图以及以下图的流程图是作为实体提供。在其它实例中，本发明的技术可使用比图6以及以下图的实例中所示的步骤多、少或不同的步骤来实施。
在图6的实例中，视频编码器20基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量(202)。此外，视频编码器20基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量(204)。视频编码器20可产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流(206)。
图7是说明根据本发明的一个或一个以上技术的作为用以解码经编码视频数据的过程的一部分的由视频解码器30执行的实例操作230的流程图。在图7的实例中，视频解码器30可从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合(232)。另外，视频解码器30可基于参考图片集合产生当前视图分量的参考图片列表(234)。视频解码器30可至少部分地基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量(236)。
在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含例如根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置，或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，那么电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体，而是针对非瞬态有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
指令可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性 可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元，以强调经配置以执行所揭示技术的装置的功能方面，但不一定要求由不同硬件单元来实现。相反，如上文所述，各种单元可组合在编解码器硬件单元中，或由互操作硬件单元的集合提供，包含如上文所述的一个或一个以上处理器，结合合适的软件和/或固件。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (42)

1.一种用于多视图数据解码的方法，所述方法包括：
基于存取单元的当前视图分量的参考图片集合产生所述当前视图分量的参考图片列表，所述参考图片集合包含第一子集、第二子集、第三子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；以及
基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
2.根据权利要求1所述的方法，其中所述参考图片集合进一步包含第四子集、第五子集和第六子集，所述第四子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
3.根据权利要求1所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
4.根据权利要求1所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
5.根据权利要求1所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第三子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
6.根据权利要求1所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
7.根据权利要求1所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由当前视图中的所有视图分量共享。
8.根据权利要求1所述的方法，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集且不包含所述第二视图间参考图片子集；以及
所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集且不包含所述第一视图间参考图片子集。
9.根据权利要求1所述的方法，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集的在所述第二视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及
所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集的在所述第一视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
10.根据权利要求1所述的方法，其进一步包括从片标头剖析指示所述存取单元的所述当前视图分量的所述参考图片集合的语法元素。
11.一种用于视频编码的方法，所述方法包括：
基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含第一子集、第二子集、第三子集和视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；
至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量；以及
产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
12.根据权利要求11所述的方法，其中所述参考图片集合进一步包括第四子集、第五子集和第六子集，所述第四子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
13.根据权利要求11所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
14.根据权利要求11所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
15.根据权利要求11所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第三子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
16.根据权利要求11所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
17.根据权利要求11所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由当前视图中的所有视图分量共享。
18.根据权利要求11所述的方法，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集且不包含所述第二视图间参考图片子集；以及
所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集且不包含所述第一视图间参考图片子集。
19.根据权利要求11所述的方法，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集的在所述第二视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及
所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集的在所述第一视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
20.根据权利要求11所述的方法，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
21.一种包括一个或一个以上处理器的视频解码装置，所述一个或一个以上处理器经配置以：
基于存取单元的当前视图分量的参考图片集合，产生所述当前视图分量的参考图片列表，所述参考图片集合包含第一子集、第二子集、第三子集和视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；以及
基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
22.根据权利要求21所述的视频解码装置，其中所述参考图片集合进一步包含第四子集、第五子集和第六子集，所述第四子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
23.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
24.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
25.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第三子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
26.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
27.根据权利要求21所述的视频解码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由当前视图中的所有视图分量共享。
28.根据权利要求21所述的视频解码装置，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
所述一个或一个以上处理器经配置以：
产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集而不包含所述第二视图间参考图片子集；且
产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集且不包含所述第一视图间参考图片子集。
29.根据权利要求21所述的视频解码装置，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；
所述一个或一个以上处理器经配置以：
产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集的在所述第二视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且
产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集的在所述第一视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
30.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以从片标头剖析指示所述存取单元的所述当前视图分量的所述参考图片集合的语法元素。
31.一种包括一个或一个以上处理器的视频编码装置，所述一个或一个以上处理器经配置以：
基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含第一子集、第二子集、第三子集和视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；
至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量；以及
产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
32.根据权利要求31所述的视频编码装置，其中所述参考图片集合进一步包含第四子集、第五子集和第六子集，所述第四子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
33.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
34.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
35.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第三子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
36.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
37.根据权利要求31所述的视频编码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由当前视图中的所有视图分量共享。
38.根据权利要求31所述的视频编码装置，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；且
所述一个或一个以上处理器经配置以：
产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集而不包含所述第二视图间参考图片子集；且
产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集且不包含所述第一视图间参考图片子集。
39.根据权利要求31所述的视频编码装置，其中：
所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一视图间参考图片子集和第二视图间参考图片子集，所述第一视图间参考图片子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二视图间参考图片子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；且
所述一个或一个以上处理器经配置以：
产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一视图间参考图片子集的在所述第二视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且
产生第二参考图片列表，使得所述第二参考图片列表包含所述第二视图间参考图片子集的在所述第一视图间参考图片子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
40.根据权利要求31所述的视频编码装置，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
41.一种视频解码装置，其包括：
用于基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表的装置，所述参考图片集合包含第一子集、第二子集、第三子集和视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；以及
用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
42.一种视频编码装置，其包括：
用于基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表的装置，所述参考图片集合包含第一子集、第二子集、第三子集和视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，所述视图间参考图片集合包含属于所述存取单元且与不同视图相关联的多个视图分量；
用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置；以及
用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
CN201280062632.XA 2011-12-20 2012-12-20 用于多视图和三维视频译码的参考图片列表建构 Active CN103999467B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161578178P 2011-12-20 2011-12-20
US61/578,178 2011-12-20
US13/720,622 2012-12-19
US13/720,622 US9258559B2 (en) 2011-12-20 2012-12-19 Reference picture list construction for multi-view and three-dimensional video coding
PCT/US2012/071049 WO2013096674A1 (en) 2011-12-20 2012-12-20 Reference picture list construction for multi-view and three-dimensional video coding

Publications (2)

Publication Number Publication Date
CN103999467A CN103999467A (zh) 2014-08-20
CN103999467B true CN103999467B (zh) 2017-05-10

Family

ID=48609733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280062632.XA Active CN103999467B (zh) 2011-12-20 2012-12-20 用于多视图和三维视频译码的参考图片列表建构

Country Status (8)

Country Link
US (2) US9258559B2 (zh)
EP (1) EP2795902B1 (zh)
JP (1) JP6009581B2 (zh)
KR (2) KR101644253B1 (zh)
CN (1) CN103999467B (zh)
ES (1) ES2650729T3 (zh)
HU (1) HUE037169T2 (zh)
WO (1) WO2013096674A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
KR102137149B1 (ko) 2012-03-02 2020-07-23 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
US20150117526A1 (en) * 2012-04-23 2015-04-30 Samsung Electronics Co., Ltd. Method for encoding multiview video using reference list for multiview video prediction and device therefor, and method for decoding multiview video using reference list for multiview video prediction and device therefor
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
CN104396252B (zh) * 2012-04-25 2018-05-04 三星电子株式会社 使用用于多视点视频预测的参考画面集的多视点视频编解码方法及其装置
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
US9992513B2 (en) * 2012-12-21 2018-06-05 Sony Corporation Image processing efficient transmission or reception of encoded information
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
EP2946556B1 (en) * 2013-01-16 2016-10-12 Telefonaktiebolaget LM Ericsson (publ) Decoder and encoder and methods for coding of a video sequence
CA2909566C (en) 2013-04-17 2018-07-03 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN105453564B (zh) * 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
WO2015016578A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015016534A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015034216A1 (ko) * 2013-09-03 2015-03-12 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150033577A (ko) * 2013-09-24 2015-04-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060642A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX364032B (es) 2013-10-22 2019-04-11 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.
WO2015060641A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX359902B (es) 2013-10-22 2018-10-16 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.
CN104768015B (zh) * 2014-01-02 2018-10-26 寰发股份有限公司 视频编码方法及装置
WO2015100710A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools
KR20160135760A (ko) * 2014-03-14 2016-11-28 삼성전자주식회사 유형 정보를 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법
EP3254466A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-video codec supporting inter-component prediction
US10511834B2 (en) * 2015-04-29 2019-12-17 Hfi Innovation Inc. Method and apparatus for Intra Block Copy reference list construction
US11595652B2 (en) 2019-01-28 2023-02-28 Op Solutions, Llc Explicit signaling of extended long term reference picture retention
CN106937168B (zh) * 2015-12-30 2020-05-12 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
CN111418214B (zh) * 2017-11-28 2021-06-29 华为技术有限公司 使用重建像素点的语法预测
EP3831064B1 (en) * 2018-08-17 2024-02-07 Huawei Technologies Co., Ltd. Reference picture management in video coding
CN113597768A (zh) * 2019-01-28 2021-11-02 Op方案有限责任公司 扩展长期参考图片保留的在线和离线选择
CN111726632B (zh) * 2019-03-18 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114270864A (zh) * 2019-08-22 2022-04-01 夏普株式会社 用于在视频编码中发送信号通知图片信息的系统和方法
US11582478B2 (en) * 2020-09-08 2023-02-14 Alibaba Group Holding Limited Video encoding technique utilizing user guided information in cloud environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548550A (zh) * 2006-10-16 2009-09-30 诺基亚公司 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
WO2011074153A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 画像復号装置及び画像復号方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
EP1977593A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
BRPI0709194A2 (pt) 2006-03-29 2011-06-28 Thomson Licensing métodos e aparelhos para uso em um sistema de codificação de vìdeo multivista
EP3139615A1 (en) * 2006-03-30 2017-03-08 LG Electronics Inc. A method and apparatus for decoding/encoding a video signal
US20080002773A1 (en) * 2006-06-26 2008-01-03 Texas Instruments Incorporated Video decoded picture buffer
AU2007269576B2 (en) 2006-07-06 2012-07-12 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
JP5135342B2 (ja) 2006-07-20 2013-02-06 トムソン ライセンシング マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置
EP2087738B1 (en) 2006-10-13 2016-04-13 Thomson Licensing Method for reference picture management involving multiview video coding
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
WO2008088497A2 (en) 2006-12-21 2008-07-24 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
KR20090099546A (ko) 2007-01-04 2009-09-22 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 높은 레벨의 신택스 레퍼런스 뷰들을 이용하여 비디오 에러 은닉을 행하는 방법 및 장치
TW200843510A (en) 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
JP2009100070A (ja) 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
WO2010086500A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
EP2399394B1 (en) 2009-02-19 2020-09-30 InterDigital Madison Patent Holdings 3d video formats
EP2413606B1 (en) * 2009-03-26 2018-05-02 Sun Patent Trust Decoding method, decoding device
WO2010123198A2 (ko) 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
KR20110139304A (ko) 2009-04-22 2011-12-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
WO2011013257A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
WO2012052968A1 (en) 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548550A (zh) * 2006-10-16 2009-09-30 诺基亚公司 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
WO2011074153A1 (ja) * 2009-12-14 2011-06-23 パナソニック株式会社 画像復号装置及び画像復号方法

Also Published As

Publication number Publication date
JP2015505435A (ja) 2015-02-19
WO2013096674A1 (en) 2013-06-27
KR20140110960A (ko) 2014-09-17
KR20160091441A (ko) 2016-08-02
EP2795902B1 (en) 2017-09-20
ES2650729T3 (es) 2018-01-22
US9344737B2 (en) 2016-05-17
EP2795902A1 (en) 2014-10-29
KR101644253B1 (ko) 2016-07-29
US20130155184A1 (en) 2013-06-20
CN103999467A (zh) 2014-08-20
HUE037169T2 (hu) 2018-08-28
US20150373315A1 (en) 2015-12-24
US9258559B2 (en) 2016-02-09
JP6009581B2 (ja) 2016-10-19
KR101917936B1 (ko) 2018-11-12

Similar Documents

Publication Publication Date Title
CN103999467B (zh) 用于多视图和三维视频译码的参考图片列表建构
CN104365105B (zh) 视频译码中的外部图片
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN105379288B (zh) 处理对视频译码的照明补偿
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN104471943B (zh) 视频译码中的参数集
CN104904218B (zh) 视差矢量推导
CN104335586B (zh) 运动向量舍入
CN104396250B (zh) 用于3d视频译码的深度图的帧内译码的方法和装置
CN104054348B (zh) 在视频译码中波前平行处理的子流
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105027571B (zh) 三维视频译码中导出的视差向量
CN104365103B (zh) 视频译码中的视差向量选择
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN106105212A (zh) 简化的子预测单元(sub‑pu)运动参数继承(mpi)
CN104584557B (zh) 对视频数据进行编码、解码的方法、装置以及计算机可读介质
CN105103557B (zh) 用于视频译码的方法、装置和存储媒体
CN105230022A (zh) 使用基于相邻者的视差向量导出的用于3d视频译码的并行经导出视差向量
CN105247866A (zh) 使用颜色分量之间的样本预测的视频译码
CN106063262A (zh) 3d视频译码中的增量dc残差译码的简化
CN104272741A (zh) 多视图译码和3d译码中的视图相依性
CN104471942A (zh) 重新使用参数集用于视频译码
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN104322070A (zh) 用于高效率视频译码的高级别语法扩展

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant