CN103975598A - 对于视图合成参考图片的参考图片列表修改 - Google Patents

Abstract

一种视频编码器产生包含参考图片列表修改RPLM命令的位流。所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。所述RPLM命令指令视频解码器将合成参考图片插入到所述参考图片列表内。所述视频解码器至少部分基于从所述位流剖析的语法元素解码一或多个视图分量，且至少部分基于所述一或多个视图分量产生所述合成参考图片。所述视频解码器响应于所述RPLM命令修改参考图片列表以包含所述合成参考图片。所述视频解码器可将所述参考图片列表中的一或多个图片用作参考图片来对图片的一或多个视频块执行帧间预测。

Description

对于视图合成参考图片的参考图片列表修改

本申请案主张2011年12月9日申请的第61/569,137号美国临时专利申请案的权利，所述申请案的全部内容在此被以引用的方式并入。

技术领域

本发明涉及视频译码(即，视频数据的编码和/或解码)。

背景技术

数字视频能力可并入到广泛范围的装置内，包含数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、数字游戏装置、视频游戏控制台、蜂窝式或卫星无线电技术、所谓的“智能电话”、视频电话会议装置、视频串流传输装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前在开发中的高效率视频译码(HEVC)标准和这些标准的扩展中描述的视频压缩技术。视频装置可通过实施这些视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)的切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码的块与预测性块之间的差的残余数据编码经帧间译码的块。根据帧内译码模式和残余数据编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，接着可量化残余变换系数。可扫描一开始按二维阵列排列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以达成甚至更多的压缩。

发明内容

视频编码器产生属于用于将短期参考图片插入到参考图片列表内的参考图片列表修改(RPLM)命令类型的RPLM命令。视频解码器响应于RPLM命令修改参考图片列表以包含合成参考图片。视频解码器使用参考图片列表中的一或多个图片对图片的一或多个视频块执行帧间预测。

在一方面，一种用于多视图视频解码的方法包括至少部分基于从位流剖析的语法元素解码一或多个视图分量。所述方法还包括至少部分基于所述一或多个视图分量产生合成参考图片。另外，所述方法包括响应于RPLM命令将所述合成参考图片在特定位置处插入于参考图片列表内。所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。另外，所述方法包括使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

在另一方面，一种视频解码装置包括一或多个处理器，其经配置以至少部分基于从位流剖析的语法元素解码一或多个视图分量。所述一或多个处理器还经配置以至少部分基于所述一或多个视图分量产生合成参考图片。另外，所述一或多个处理器经配置以响应于RPLM命令将所述合成参考图片在特定位置处插入于参考图片列表内。所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。此外，所述一或多个处理器经配置以使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

在另一方面，一种视频解码装置包括用于至少部分基于从位流剖析的语法元素解码一或多个视图分量的装置。所述视频解码装置还包括用于至少部分基于所述一或多个视图分量产生合成参考图片的装置。此外，所述视频解码装置包括用于响应于RPLM命令将所述合成参考图片在特定位置处插入于参考图片列表内的装置。所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。所述视频解码装置还包括用于使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测的装置。

在另一方面，一种计算机可读存储媒体具有存储于其上的指令，所述指令当由视频解码装置的一或多个处理器执行时使所述视频解码装置至少部分基于从位流剖析的语法元素解码一或多个视图分量。所述指令还配置所述视频解码装置以至少部分基于所述一或多个视图分量产生合成参考图片。此外，所述指令配置所述视频解码装置以响应于RPLM命令将所述合成参考图片在特定位置处插入于参考图片列表内。所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。所述指令还配置所述视频解码装置以使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

在另一方面，一种用于多视图视频编码的方法包括至少部分基于一或多个视图分量产生合成参考图片。所述方法还包括将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块。另外，所述方法包括产生包含属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令的位流。所述RPLM命令指令视频解码器将所述合成参考图片在特定位置处插入于参考图片列表中。

在另一方面，一种视频编码装置包括一或多个处理器，其经配置以至少部分基于一或多个视图分量产生合成参考图片。所述一或多个处理器还经配置以将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块。此外，所述一或多个处理器经配置以产生包含属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令的位流，所述RPLM命令指令视频解码器将所述合成参考图片在特定位置处插入于参考图片列表中。

在另一方面，一种视频编码装置包括用于至少部分基于一或多个视图分量产生合成参考图片的装置。此外，所述视频编码装置包括用于将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块的装置。此外，所述视频编码装置包括用于产生包含属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令的位流的装置，所述RPLM命令指令视频解码器将所述合成参考图片在特定位置处插入于参考图片列表中。

在另一方面，一种计算机可读存储媒体具有存储于其上的指令，所述指令当由视频编码装置的一或多个处理器执行时配置所述视频编码装置以至少部分基于一或多个视图分量产生合成参考图片。所述指令还配置所述视频解码装置以将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块。此外，所述指令配置所述视频解码装置以产生包含属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令的位流，所述RPLM命令指令视频解码器将所述合成参考图片在特定位置处插入于参考图片列表中。

在附图和以下描述中阐明本发明的一或多个实例的细节。其它特征、目标和优点将从描述、图式和权利要求书显而易见。

附图说明

图1为说明可利用本发明中描述的技术的实例视频译码系统的框图。

图2为说明可实施本发明中描述的技术的实例视频编码器的框图。

图3为说明可实施本发明中描述的技术的实例视频解码器的框图。

图4为说明根据本发明的一或多个技术的由视频编码器执行的作为编码视频数据的过程的部分的实例操作的流程图。

图5为说明根据本发明的一或多个技术的由视频解码器执行的作为解码经编码的视频数据的过程的部分的实例操作的流程图。

图6为说明根据本发明的一或多个技术的将短期参考图片或合成的参考图片插入到参考图片列表内的视频解码器的实例操作的流程图。

具体实施方式

常规上，视频编码器可能不能够使用用于短期参考图片的参考图片列表修改(RPLM)命令来将合成的参考图片(例如，视图合成参考图片(VSRP))在任意位置处插入于参考图片列表中。RPLM命令可为用于在参考图片列表中插入参考图片的一或多个语法元素的集合。此无能性可导致译码效率的降低，且可潜在地降低错误回弹性。

本发明的技术可补救这个问题。如本发明中所描述，视频编码器可产生用于短期参考图片的一或多个RPLM命令。用于短期参考图片的RPLM命令可为属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令。视频解码器可响应于用于短期参考图片的一或多个参考RPLM命令修改参考图片列表以包含VSRP。视频解码器可使用参考图片列表中的一或多个参考图片对图片的一或多个视频块执行帧间预测。

附图说明实例。由附图中的参考数字指示的元件对应于由以下描述中的同样参考数字指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等等)开始的名称的元件未必暗示所述元件具有特定次序。相反地，这些序数词仅用以指相同或类似类型的不同元件。

图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”一般指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指视频编码或视频解码。

如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码的视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码的视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。

源装置12和目的地装置14可包括广泛范围的装置，包括桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”手机的电话手机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似者。

目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码的视频数据直接传输到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据例如无线通信协议的通信标准调制经编码的视频数据，且可将经调制的视频数据传输到目的地装置14。一或多个通信媒体可包含无线和/或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可形成基于包的网络的部分，例如，局域网、广域网或全球网络(例如，因特网)。一或多个通信媒体可包含路由器、交换机、基站或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种局部存取的数据存储媒体，例如，蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适的数字存储媒体。

在再一实例中，信道16可包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载存取存储于文件服务器或另一中间存储装置处的经编码的视频数据。档案服务器可为能够存储经编码的视频数据且将经编码的视频数据传输到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，针对网站)、文件传送协议(FTP)服务器、网络附接式存储(NAS)装置或局部磁盘驱动器。

目的地装置14可通过标准数据连接(例如，因特网连接)存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用或环境。技术可应用于支持多种多媒体应用(例如，空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如，经由因特网)、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码或其它应用)的视频译码。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)和/或发射器。视频源18可包含视频捕获装置(例如，视频相机)、含有先前捕获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统或这些视频数据源的组合。

视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码的视频数据传输到目的地装置14。在其它实例中，经编码的视频数据也可存储到存储媒体或文件服务器上，用于稍后由目的地装置14存取，以用于解码和/或播放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码的视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可包括多种显示装置，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在一些实例中，视频编码器20和视频解码器30根据例如ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)的视频压缩标准(包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)操作。到2012年11月7日为止，H.264的MVC扩展的草案可在http://http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip下载，所述草案的全部内容在此被以引用的方式并入。在其它实例中，视频编码器20和视频解码器30可根据包含目前在开发中的高效率视频译码(HEVC)标准的其它视频压缩标准操作。即将到来的HEVC标准的另一草案(被称作“HEVC工作草案9”)描述于布罗斯等人的“高效率视频译码(HEVC)文本规范草案9(High Efficiency Video Coding(HEVC)text specification draft9)”(ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作团队(JCT-VC)，第11次会议：中国上海，2012年10月，到2012年11月7为止，其可自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v8.zip下载)中，其全部内容被以引用的方式并入本文中。然而，本发明的技术不限于任何特定译码标准或技术。

图1仅为实例，且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码环境(例如，视频编码或视频解码)。在其它实例中，数据从局部存储器检索，经由网络流式传输，或类似者。编码装置可编码数据且将数据存储到存储器，和/或解码装置可检索且解码来自存储器的数据。在许多实例中，编码和解码由不相互通信的装置执行，但仅将数据编码到存储器和/或检索且解码来自存储器的数据。视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合的多种合适电路中的任一者。如果部分以软件实施所述技术时，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器执行硬件中的指令以执行本发明的技术。可将前述中的任何者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中的任一者可作为组合式编码器/解码器(CODEC)集成于相应装置中。

本发明可大体上提及视频编码器20将某些信息“用信号发送”到另一装置，例如，视频解码器30。术语“用信号发送”可大体上指用以解码经压缩的视频数据的语法元素和/或其它数据的传递。此传递可实时或几乎实时地发生。交替地，此传递可在时间跨度上发生，例如，可当在编码时将语法元素在经编码的位流中存储到计算机可读存储媒体时发生，语法元素接着可由解码装置在经存储到此媒体后的任何时间检索。

视频序列通常包含一系列视频帧。图片群组(GOP)大体上包括一或多个视频帧的系列。GOP可在GOP的标头、GOP的一或多个帧的标头或其它处中包含描述包含于GOP中的帧的数目的语法数据。每一帧可包含描述用于相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的视频块操作以便编码视频数据。在H.264中，视频块可对应于H.264中的宏块或宏块的分割区。在HEVC中，视频块可对应于译码单元(CU)。视频块可具有固定或变化大小，且可根据指定译码标准在大小上不同。此外，每一视频帧可包含多个切片。每一切片可包含多个视频块。

当视频编码器20编码视频块时，视频编码器20可产生对应于视频块的预测性像素块。视频编码器20可执行帧内预测或帧间预测来产生预测性像素块。当视频编码器20对视频块执行帧内预测时，视频编码器20可基于与视频块相同的视频帧内的样本(例如，像素分量的值)产生对应于视频块的预测性像素块。当视频编码器20执行帧间预测以产生对应于视频块的预测性像素块时，视频编码器20可基于一或多个参考图片内的样本产生预测性像素块。参考图片可为不同于含有视频块的图片的图片。

在视频编码器20产生对应于视频块的预测性像素块后，视频编码器20可产生对应于视频块的残余视频块。残余视频块中的每一样本可基于视频块与预测性像素块中的对应样本之间的差。视频编码器20可将变换应用到残余视频块以产生一或多个系数块。视频编码器20可将各种变换应用到残余视频块。例如，视频编码器20可将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换应用到残余视频块。视频编码器20可量化系数块以进一步减少用以表示视频块的位的数目。在量化系数块后，视频编码器20可对表示系数块中的系数的语法元素和对与视频块相关联的其它语法元素执行熵编码(例如，上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、指数哥伦布译码等)。视频编码器20可输出包含与视频块相关联的经熵编码的语法元素的位流。

视频解码器30可接收包含视频数据的经编码的表示的位流。视频解码器30可剖析位流以从位流中提取语法元素。作为从位流中提取语法元素的部分，视频解码器30可将熵解码应用到位流的部分。对于视频数据的每一帧的每一相应视频块，视频解码器30可至少部分基于与相应视频块相关联的语法元素执行帧间或帧内预测以产生用于相应视频块的预测性像素块。另外，视频解码器30可反量化与相应视频块相关联的系数块的系数且可将一或多个反变换应用到系数块以产生用于相应视频块的残余视频块。视频解码器30可接着至少部分基于残余视频块和预测性像素块重构建相应视频块。以此方式，通过重构建帧的视频块中的每一者，视频解码器30可重构建所述帧。

如上文提到，视频编码器20可执行帧间预测以产生对应于特定视频块的预测性像素块。更具体来说，视频编码器20可执行单向帧间预测或双向帧间预测以产生预测性像素块。

当视频编码器20针对特定视频块执行单向帧间预测时，视频编码器20可搜索单一参考图片列表中的参考图片内的参考块。参考块可为类似于特定视频块的样本块。此外，当视频编码器20执行单向帧间预测时，视频编码器20可产生用于特定视频块的运动信息。用于特定视频块的运动信息可包含运动向量和参考图片索引。运动向量可指示特定视频块在当前帧(即，包含特定视频块的帧)内的位置与参考块在参考帧内的位置之间的空间位移。参考图片索引指示含有参考图片列表的参考帧在参考图片列表内的位置。用于特定视频块的预测性像素块可等于参考块。

当视频编码器20针对特定视频块执行双向帧间预测时，视频编码器20可搜索第一参考图片列表(“列表0”)中的参考图片内的第一参考块，且可搜索第二参考图片列表(“列表1”)中的参考图片内的第二参考块。视频编码器20可至少部分基于第一和第二参考块产生用于特定视频块的预测性像素块。另外，视频编码器20可产生指示特定视频块与第一参考块之间的空间位移的第一运动向量。视频编码器20还可产生识别含有第一参考块的参考图片在第一参考图片列表内的位置的第一参考图片索引。此外，视频编码器20可产生指示特定视频块与第二参考块之间的空间位移的第二运动向量。视频编码器20还可产生识别包含第二参考块的参考图片在第二参考图片列表内的位置的第二参考图片索引。

当视频编码器20对特定视频块执行单向帧间预测时，视频解码器30可使用特定视频块的运动信息识别特定视频块的参考样本。视频解码器30可接着基于特定视频块的参考样本产生特定视频块的预测性像素块。当视频编码器20对特定视频块执行双向帧间预测时，视频解码器30可使用特定视频块的运动信息识别特定视频块的两个参考样本。视频解码器30可基于特定视频块的两个参考样本产生特定视频块的预测性像素块。

多视图视频译码(MVC)为H.264标准的扩展。在对H.264的MVC扩展中，从不同视点看来，可存在同一场景的多个视图。术语“存取单元”用以指对应于同一时间例子的图片集合。因此，可将视频数据概念化为随着时间过去而出现的一系列存取单元。

MVC支持视图间预测。视图间预测类似于在H.264中使用的帧间预测，且可使用相同的语法元素。然而，当视频译码器对视频块执行视图间预测时，视频编码器20可将在与视频块相同的存取单元中但在不同视图中的图片用作参考图片。相比之下，常规帧间预测仅将不同存取单元中的图片用作参考图片。在MVC中，如果视频解码器(例如，视频解码器30)可参照任一其它视图中的图片来解码在一个视图中的图片，那么所述视图被称作“基本视图”。

除了编码多个视图外，还存在产生对H.264的三维视频(3DV)译码扩展的正在进行中的努力。对H.264的3DV扩展提供深度图。深度图为其像素值表示在对应的“纹理”图片中展示的物体的三维深度的图片。在一些实例中，在深度图中的较亮像素值可对应于更靠近相机的物体，且在深度图中的较暗像素值可对应于更远离相机的物体。“纹理”图片可包含正常的H.264/AVC图片。

在3DV扩展中，视频编码器20可以与存取单元的其它视图相同的方式来编码深度图。即，视频编码器20可使用帧间预测和/或帧内预测来编码深度图的视频块。视频编码器20可将深度图编码为包含不同视图的纹理图片的存取单元的部分。也可将存取单元的深度图称作存取单元的“深度视图分量”。术语“视图分量”可用来指存取单元的纹理视图分量或深度视图分量。

视频编码器20可基于一或多个视图分量产生合成参考图片，且将合成参考图片包含于一或多个参考图片列表中。例如，视频编码器20可使用基于深度图像的渲染(DIBR)来基于可用纹理和深度图分量产生合成纹理视图分量。合成纹理视图分量可为基于深度图和一或多个纹理视图分量合成的纹理视图分量。在一些实例中，可将合成纹理视图分量用作帧间预测中的参考图片或用作视图间预测中的参考图片。用作参考图片的合成纹理视图分量可被称作视图合成参考图片(VSRP)。视频译码器可将VSRP包含于参考图片列表中。

如上提到，视频译码器(例如，视频编码器20和视频解码器30)可维护第一参考图片列表(列表0)和第二参考图片列表(列表1)。列表0和列表1可为参考图片的列表。视频编码器20可用信号表示部分通过用信号表示特定参考图片在参考图片列表中的位置来使用特定参考图片中的参考块帧间预测视频块。

在H.264/AVC和H.264/MVC中，视频译码器始终产生参考图片列表，使得时间(即，视图内)参考图片始终一开始首先被列出。在参考图片列表中，时间参考图片后跟着视图间参考图片。即，视频译码器可使用以下步骤构建参考图片。首先，视频译码器可应用用于时间(即，视图内)参考图片的参考图片列表初始化过程(如在H.264标准中所指定)，其中不考虑来自其它视图的参考图片。其次，视频译码器可按视图间参考图片在MVCSPS扩展中出现的次序将视图间参考图片附加于参考图片列表的末尾。第三，视频译码器可应用用于视图内和视图间参考图片两者的参考图片列表修改(RPLM)过程。视图间参考图片可在RPLM命令中由其索引值识别，如由MVC SPS扩展所指定。以下详细描述RPLM过程。

一些参考图片为“短期”参考图片，且一些参考图片为“长期”参考图片。长期参考图片可在比短期参考图片长的时间周期内保持处于参考图片列表中。如果视频编码器20确定在延长的时间周期内维持参考图片的可用性将是有利的，那么视频编码器20可用信号表示参考图片为长期参考图片。例如，视频编码器20可指示如果参考图片含有静态背景且其它图片覆盖和显露此静态背景的部分，那么参考帧为长期参考图片。在H.264/AVC或H.264/MVC中，短期参考图片从不具有等于当前图片(即，当前正译码的图片)的帧数的帧数(frame_num)。图片的帧数为基于图片的图片数的值。当将图片用作短期参考图片时，可使用图片的帧数来识别图片。

在一些实例中，改变参考图片列表中的参考图片的次序可为有利的。例如，因为可使用一元值用信号表示位置，所以可需要比在参考图片列表中的最后位置少的位来指示在参考图片列表中的第一位置。因此，如果有可能频繁地使用特定参考图片，那么使特定参考图片更靠近参考图片列表中的第一位置而非参考图片列表中的最后位置可为有利的。

因此，视频编码器20可包含指令视频解码器30修改参考图片列表的一或多个参考图片列表修改(RPLM)命令的系列。视频编码器20可将RPLM命令包含于经译码的切片的切片标头中。以下表1展示可包含于切片标头中的用于RPLM命令的实例语法。

表1-RPLM语法

在表1的实例语法中，具有类型描述符ue(v)的语法元素为使用指数哥伦布译码编码(首先从左位开始)的不带正负号的可变长度值。具有形式u(n)(其中n为非整数值)的类型描述符的语法元素为具有等于n的长度的不带正负号的值。

在表1中，“slice_type”指示当前切片(即，其切片标头包含RPLM命令的切片)的类型。以下表2指示“slice_type”的实例语义。

表2

slice_type	slice_type的名称
		0	P(P切片)
1	B(B切片)
		2	I(I切片)
3	SP(SP切片)
		4	SI(SI切片)
5	P(P切片)
		6	B(B切片)
7	I(I切片)
		8	SP(SP切片)
9	SI(SI切片)

除了当前切片的译码类型外，在范围5..9中的“slice_type”值指定当前译码的图片的所有其它切片应具有等于slice_type的当前值或等于slice_type的当前值减5的slice_type值。

此外，在表1的实例语法中，“ref_pic_list_modification_flag_10”语法元素指示是否存在一或多个“modification_of_pic_nums_idc”语法元素来修改列表0。“ref_pic_list_modification_flag_11”语法元素指示是否存在一或多个“modification_of_pic_nums_idc”来修改列表1。

“modification_of_pic_nums_idc”语法元素指示执行的RPLM命令的类型。以此方式，“modification_of_pic_nums_idc”语法元素为RPLM类型识别符的实例。在一些实例中，“modification_of_pic_nums_idc”语法元素可具有范围包含性的从0到5的值。如果“modification_of_pic_nums_idc”语法元素等于0，那么位流包含指定从图片数目预测值减去的量的“abs_diff_pic_num_minus1”语法元素。如果“modification_of_pic_nums_idc”语法元素等于1，那么位流包含指定添加到图片数目预测值的量的“abs_diff_pic_num_minus1”语法元素。如果“modification_of_pic_nums_idc”语法元素等于2，那么位流包含指定长期图片数目的“long_term_pic_num”语法元素。

如果“modification_of_pic_nums_idc”语法元素等于4，那么位流包含“abs_diff_view_idx_minus1”语法元素，且“abs_diff_view_idx_minus1”语法元素对应于从参考视图索引的预测值减去的值。如果RPLM类型语法元素等于5，那么位流包含对应于添加到参考视图索引的预测值的值的语法元素(例如，“abs_diff_view_idx_minus1”)。具有等于0或1的RPLM类型语法元素的RPLM命令可被称作用于短期参考图片的RPLM命令，或属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令。如果“modification_of_pic_nums_idc”语法元素等于3，那么“modification_of_pic_nums_idc”语法元素指示参考图片列表的修改完成。

视频解码器30按在位流中用信号发送RPLM命令的次序处理RPLM命令。此外，当视频解码器30处理一系列RPLM命令时，视频解码器30可一开始将当前索引值设定到0，且可在每一RPLM命令的处理期间增大当前索引值。当视频解码器30处理RPLM命令时，视频解码器30可将在由当前索引值指示的位置处的参考图片和在跟在由当前索引值指示的位置后的位置处的所有参考图片在参考图片列表中下移一个位置。视频解码器30可接着在由当前索引值指示的位置处将参考图片插入到参考图片列表内。视频解码器30可接着扫描遍参考图片列表，且如果存在，那么去除插入的参考图片的复制。

视频解码器30使用RPLM命令的“modification_of_pic_nums_idc”语法元素、“abs_diff_pic_num_pic_minus1”语法元素和“long_term_pic_num”语法元素确定与RPLM命令相关联的图片数目。与RPLM命令相关联的图片数目可为插入到参考图片列表内的参考图片的图片数目。例如，如果视频解码器30处理包含等于0的“modification_of_pic_nums_idc”语法元素的RPLM命令，那么视频解码器30可通过从图片数目预测值减去“abs_diff_pic_num_pic_minus1”语法元素的值加上1来确定插入到参考图片列表内的参考图片的图片数目。如果视频解码器30处理包含等于1的“modification_of_pic_nums_idc”语法元素的RPLM命令，那么视频解码器30可通过将“abs_diff_pic_num_pic_minus1”语法元素的值加上1加到图片数目预测值来确定插入到参考图片列表内的参考图片的图片数目。图片数目预测值一开始等于当前帧的图片数目。在确定插入到参考图片列表内的参考图片的图片数目后，视频解码器30将图片数目预测值设定为等于确定的图片数目。

如果视频解码器30处理包含等于4的“modification_of_pics_nums_idc”语法元素的RPLM命令，那么视频解码器30可通过从参考视图索引的预测值减去“abs_diff_view_idx_minus1”语法元素的值加上1来确定插入到参考图片列表内的参考图片的视图索引。如果视频解码器30处理包含等于5的“modification_of_pics_nums_idc”语法元素的RPLM命令，那么视频解码器30可通过将“abs_diff_view_idx_minus1”语法元素的值加上1加到参考视图索引的预测值来确定插入到参考图片列表内的参考图片的视图索引。参考视图索引的预测值可一开始等于-1。在确定插入到参考图片列表内的参考图片的视图索引后，视频解码器30可将参考视图索引的预测值设定为等于确定的视图索引。

如果视频解码器30处理包含等于2的“modification_of_pic_nums_idc”语法元素的RPLM命令，那么视频解码器30可将具有等于“long_term_pic_num”语法元素的值的图片数目的参考图片插入到参考图片列表内。如果视频解码器30处理包含等于3的“modification_of_pic_nums_idc”语法元素的RPLM命令，那么视频解码器30可结束修改参考图片列表的过程。

通过将RPLM命令包含在位流中，视频编码器20可灵活地排列时间和视图预测参考，这可提供潜在的译码效率增益。此外，RPLM命令的使用可增加错误回弹性，因为参考图片选择和冗余图片机制可扩展到视图维度。

在当前MVC设计中，不可能使用短期参考图片RPLM命令将合成的参考图片(例如，VSRP)在特定位置处插入于参考图片列表中。短期参考图片RPLM命令可指令视频解码器将短期参考图片插入到参考图片列表内。例如，具有RPLM类型识别符(“modification_of_pic_nums_idc”语法元素)(其具有等于0、1、4或5的值)的RPLM命令为短期参考图片RPLM命令。因此，即使频繁地将合成的参考图片用作参考图片，仍不能将合成的参考图片移动到参考图片列表中的较早位置。这可不必要地增加用来指示合成的参考图片在参考图片列表中的位置的位数。

根据本发明的技术，视频编码器20可产生一或多个短期参考图片RPLM命令。一或多个短期参考图片RPLM命令可属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。同样地，视频解码器30可响应于一或多个短期参考图片RPLM命令修改参考图片列表以包含合成的参考图片。视频解码器30可使用参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

如上指示，在H.264/AVC或H.264/MVC中，短期参考图片从不具有等于当前图片(即，当前正译码的图片)的帧数的帧数(frame_num)。根据本发明的技术，可重新使用短期参考图片RPLM命令来识别3D视频译码中的合成参考图片。例如，当短期参考图片RPLM命令与等于当前帧的帧数的参考图片的帧数相关联时，RPLM命令正参考合成的参考图片。换句话说，等于当前图片的帧数的帧数表示RPLM命令中的合成参考图片。以此方式，可通过加上具有等于0或1的modification_of_pic_nums_idc的一个RPLM命令来将合成的参考图片插入到参考图片列表中的任何位置内。

例如，当前帧的帧数可为5，且两个短期参考图片的帧数可分别为3和4。短期参考图片将被添加于参考图片列表中。此外，一个合成的参考图片也被添加于参考图片列表中。为了按以下次序(具有等于4的帧数的短期参考图片、合成的参考图片和具有等于3的帧数的短期参考图片)构建参考图片列表，视频编码器20可按以下次序用信号发送以下RPLM命令：

1.(modification_of_pic_nums_idc，abs_diff_pic_num_minus1)＝(0，0)

2.(modification_of_pic_nums_idc，abs_diff_pic_num_minus1)＝(1，0)

3.(modification_of_pic_nums_idc，abs_diff_pic_num_minus1)＝(0，1)

4.(modification_of_pic_nums_idc)＝(3)

如上解释，如果“modification_of_pic_nums_idc”语法元素等于0，那么视频解码器30可通过从图片数目预测值减去“abs_diff_pic_num_minus1”语法元素的值加上1来确定插入到参考图片列表内的参考图片的帧数。如果“modification_of_pic_nums_idc”语法元素等于1，那么视频解码器30可通过将“abs_diff_pic_num_minus1”语法元素的值加上1加到图片数目预测值来确定插入到参考图片列表内的参考图片的帧数。图片数目预测值一开始等于当前帧的图片数目。以此方式，视频解码器30可通过将由RPLM命令指定的值加上1加到图片预测值或减去由RPLM命令指定的值加上1来确定图片数目。在确定插入到参考图片列表内的参考图片的图片数目后，视频解码器30将图片数目预测值设定为等于确定的图片数目。

因此，响应于以上的第一RPLM命令，视频解码器30可在位置0将具有帧数4(即，5-(0+1)＝4)的参考帧插入到参考图片列表内，且下移参考图片列表中的所有其它参考图片。响应于以上的第二RPLM命令，视频解码器30可在位置1将具有帧数5(即，4+(0+1)＝5)的参考帧插入到参考图片列表内，且下移参考图片列表中的所有跟着的参考图片。因为确定的帧数“5”等于当前帧的帧数，所以视频解码器30响应于第二RPLM命令将合成的参考图片插入到参考图片列表内。响应于第三RPLM命令，视频解码器30可在位置2将具有帧数3(即，5-(1+1)＝3)的参考帧插入到参考图片列表内，且下移参考图片列表中的所有跟着的参考图片。以此方式，视频解码器30可响应于第二RPLM命令将纹理视图分量插入到参考图片列表内，其中第二RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。响应于第四RPLM命令，视频解码器30可停止修改参考图片列表的过程。

图2为说明经配置以实施本发明的技术的实例视频编码器20的框图。图2是为了解释的目的而提供，且不应被视为将技术限制为在本发明中所广泛的举例说明和描述。为了解释的目的，本发明在H.264译码的情况下描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。

在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器单元113、经解码的图片缓冲器114、熵编码单元116和位流单元118。预测处理单元100包含帧间预测处理单元121和帧内预测处理单元126。帧间预测处理单元121包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。

视频编码器20可接收视频数据。为了编码视频数据，视频编码器20可编码视频数据的每一图片的每一切片。作为编码切片的部分，视频编码器20可编码切片中的视频块。

帧间预测处理单元121可通过对视频块执行帧间预测来产生用于视频块的预测性数据。用于视频块的预测性数据可包含对应于视频块的预测性像素块和用于视频块的运动信息。

切片可为I切片、P切片或B切片。运动估计单元122和运动补偿单元124可取决于视频块处于I切片、P切片或是B切片中来执行对于视频块的不同操作。在I切片中，帧内预测所有视频块。因此，如果视频块在I切片中，那么运动估计单元122和运动补偿单元124不对视频块执行帧间预测。

如果视频块在P切片中，那么运动估计单元122可针对用于视频块的参考块来搜索参考图片列表(例如，列表0)中的参考图片。视频块的参考块可为最紧密对应于视频块的像素块。运动估计单元122可使用多种度量来确定参考图片中的像素块对应于像素块的紧密程度。例如，运动估计单元122可通过绝对差的总和(SAD)、平方差的总和(SSD)或其它差度量来确定参考图片中的像素块对应于视频块的紧密程度。

运动估计单元122可产生指示在列表0中的含有在P切片中的视频块的参考块的参考图片的参考图片索引，和指示视频块与参考块之间的空间位移的运动向量。运动估计单元122可将参考图片索引和运动向量作为视频块的运动信息输出。运动补偿单元124可基于由视频块的运动信息所指示的参考块产生用于视频块的预测性像素块。

如果视频块在B切片中，那么运动估计单元122可针对视频块执行单向帧间预测或双向帧间预测。为了针对视频块执行单向帧间预测，运动估计单元122可针对用于视频块的参考块搜索列表0或列表1的参考图片。运动估计单元122可产生指示含有参考块的参考图片在列表0或列表1中的位置的参考图片索引，和指示视频块与参考块之间的空间位移的运动向量。运动估计单元122还可产生指示参考图片是在列表0还是在列表1中的预测方向指示符。

为了针对视频块执行双向帧间预测，运动估计单元122可针对用于视频块的参考块搜索列表0中的参考图片，且也可针对用于视频块的另一参考块搜寻列表1中的参考图片。运动估计单元122可产生指示含有参考块的参考图片在列表0及列表1中的位置的参考图片索引。另外，运动估计单元122可产生指示参考块与视频块之间的空间位移的运动向量。视频块的运动信息可包含视频块的参考图片索引和运动向量。运动补偿单元124可基于由视频块的运动信息指示的参考块产生视频块的预测性样本块。

帧内预测处理单元126可通过对视频块执行帧内预测来产生用于视频块的预测性数据。用于视频块的预测性数据可包含用于视频块的预测性像素块和各种语法元素。帧内预测处理单元126可对在I切片、P切片和B切片中的视频块执行帧内预测。

为了对视频块执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式产生用于视频块的预测性数据的多个集合。为了使用帧内预测模式产生用于视频块的预测性数据的集合，帧内预测处理单元126可在与帧内预测模式相关联的方向上跨越视频块从相邻视频块扩展样本。假定对于视频块的从左到右、从上到下编码次序，相邻视频块可在视频块的上方、右上方、左上方或左边。在一些实例中，帧内预测模式的数目可取决于视频块的大小。

预测处理单元100可从由帧间预测处理单元121针对视频块产生的预测性数据或由帧内预测处理单元126针对视频块产生的预测性数据间选择用于视频块的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真度量选择用于视频块的预测性数据。

残余产生单元102可通过从视频块的对应的样本减去预测性像素块中的样本来产生残余样本块。变换处理单元104可通过将一或多个变换应用到残余样本块来产生用于每一残余样本块的系数块。变换处理单元104可将各种变换应用到残余样本块。例如，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用到残余样本块。

量化单元106可量化系数块中的系数。量化过程可减少与系数中的一些或全部相关联的位深度。例如，在量化期间可将n位系数下舍入到m位系数，其中n大于m。量化单元106可基于量化参数(QP)值量化系数块。视频编码器20可通过调整QP值调整应用到系数块的量化程度。

反量化单元108和反变换处理单元110可分别将反量化和反变换应用到系数块，以从系数块重构建残余样本块。重构建单元112可将重构建的残余样本块中的样本添加到来自由预测处理单元100产生的一或多个预测性样本块的对应的样本，以产生重构建的视频块。滤波器单元113可执行去块操作以减少重构建的视频块中的成块假象。经解码的图片缓冲器114可在滤波器单元113对重构建的视频块执行了一或多个去块操作后存储重构建的视频块。运动估计单元122和运动补偿单元124可使用含有经重构建的视频块的参考图片对随后图片的视频块执行帧间预测。另外，帧内预测处理单元126可使用经解码的图片缓冲器114中的重构建的视频块执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。例如，熵编码单元116可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元116可对数据执行一或多个熵编码操作以产生经熵编码的数据。例如，视频编码器20可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、变量到变量(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布译码操作或另一类型的熵编码操作。

位流单元118可输出包含由熵编码单元116产生的经熵编码的数据的位流。位流可包含表示由帧间预测处理单元121产生的一或多个RPLM命令的数据。RPLM命令可包含指令视频解码器修改参考图片列表以包含合成的参考图片的一或多个短期参考图片RPLM命令。

图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是为了解释的目的而提供，且不将技术限制为在本发明中所广泛的举例说明和描述。为了解释的目的，本发明在H.264译码的情况下描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158、滤波器单元159和经解码的图片缓冲器160。预测处理单元152包含运动补偿单元162和帧内预测处理单元164。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频解码器30可接收位流。熵解码单元150可剖析位流以从位流提取语法元素。作为剖析位流的部分，熵解码单元150可熵解码(例如，CABAC解码)在位流中的经熵编码的语法元素。预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158和滤波器单元159可基于从位流提取的语法元素产生经解码的视频数据。从位流提取的语法元素可包含表示系数块的语法元素。

预测处理单元152可基于与切片相关联的语法元素产生第一参考图片列表(列表0)和第二参考图片列表(列表1)。作为产生参考图片列表的部分，预测处理单元152可响应于RPLM命令修改参考图片列表。例如，预测处理单元152可响应于一或多个短期参考图片命令修改参考图片列表以包含合成的参考图片(例如，VSRP)。

反量化单元154可反量化(即，去量化)系数块。反量化单元154可使用QP值确定量化程度，且同样地，用于反量化单元154应用的反量化程度。在反量化单元154反量化系数块后，反变换处理单元156可将一或多个反变换应用到系数块以便产生残余样本块。例如，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反方向变换或另一反变换应用到系数块。

如果使用帧内预测编码视频块，那么帧内预测处理单元164可执行帧内预测以产生用于视频块的预测性像素块。例如，帧内预测处理单元164可基于位流中的语法元素确定用于视频块的帧内预测模式。帧内预测处理单元164可使用帧内预测模式基于空间相邻视频块产生用于视频块的预测性像素块。

此外，如果正使用帧间预测编码视频块，那么熵解码单元150可提取用于视频块的运动信息。运动补偿单元162可基于视频块的运动信息确定用于视频块的一或多个参考块。运动补偿单元162可基于用于视频块的一或多个参考块产生用于视频块的预测性像素块。

重构建单元158可基于用于视频块的残余像素块和视频块的预测性像素块重构建视频块。明确地说，重构建单元158可将残余像素块的样本(例如，亮度或色度分量)添加至预测性像素块的对应的样本以重构建视频块。滤波器单元159可执行去块操作以减少与视频块相关联的成块假象。视频解码器30可将视频块存储于经解码的图片缓冲器160中。经解码的图片缓冲器160可提供参考图片用于随后运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上呈现。例如，视频解码器30可基于经解码的图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

图4为说明根据本发明的一或多个技术的由视频编码器20执行的作为编码视频数据的过程的部分的实例操作200的流程图。图4的流程图和接下来的图的流程图是作为实例提供的。在其它实例中，可使用比在图4和接下来的图的实例中展示的步骤多、少的步骤或这些步骤不同的步骤实施本发明的技术。

在图4的实例中，视频编码器20的帧间预测处理单元121至少部分基于一或多个视图分量产生合成参考图片(202)。在一些实例中，合成参考图片为VSRP。帧间预测处理单元121可将合成参考图片用作用于编码当前图片的一或多个视频块的参考图片(204)。另外，位流单元118可产生位流，位流包含图片的经译码表示和指令视频解码器将合成参考图片在特定位置处插入于参考图片列表中的RPLM命令(206)。

图5为说明根据本发明的一或多个技术的由视频解码器30执行的作为解码经编码的视频数据的过程的部分的实例操作230的流程图。在图5的实例中，视频解码器30至少部分基于从位流剖析的语法元素解码一或多个视图分量(232)。另外，视频解码器30可至少部分基于一或多个视图分量产生合成参考图片(234)。例如，视频解码器30可执行DIBR以基于存取单元的纹理视图分量和存取单元的深度视图分量产生VSRP。

预测处理单元152可响应于RPLM命令将合成参考图片在特定位置处插入于参考图片列表内(236)。RPLM命令可属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型。以下详细描述的图6为说明将短期参考图片或合成参考图片插入到参考图片列表内的实例操作的流程图。在预测处理单元152已将短期参考图片或合成参考图片插入到参考图片列表内后，运动补偿单元162可使用参考图片列表中的一或多个参考图片对图片的视频块执行帧间预测(238)。在一些实例中，运动补偿单元162可将插入的合成参考图片用作用于视图间预测的参考图片。

图6为说明根据本发明的一或多个技术的将短期参考图片或合成的参考图片插入到参考图片列表内的视频解码器30的实例操作250的流程图。在图6的实例中，预测处理单元152确定与RPLM命令相关联的图片数目(251)。例如，如果RPLM命令的RPLM类型识别符等于0或1，那么预测处理单元152可通过将由RPLM命令指定的值加上1加到图片数目预测值或减去由RPLM命令指定的值加上1来确定与RPLM命令相关联的图片数目。另外，预测处理单元152可基于与RPLM命令相关联的图片数目确定与RPLM命令相关联的帧数(252)。在一些实例中，与RPLM命令相关联的帧数可为与RPLM命令相关联的图片数目的最低有效位。

此外，预测处理单元152可将计数器值设定到参考图片列表中的最后一个位置的索引(253)。预测处理单元152可接着确定计数器值是否大于当前索引值(254)。当预测处理单元152开始处理切片标头中的一系列RPLM命令时，预测处理单元152可一开始将当前索引值设定到零，且可在所述系列中的每一RPLM命令的处理期间增大当前索引值。

响应于确定计数器值大于当前索引值(254的“是”)，预测处理单元152可在参考图片列表中将在由计数器值指示的位置处的参考图片移位到参考图片列表中的接下来的位置(256)。接下来，预测处理单元152可增大计数器值(258)。在确定了计数器值后，预测处理单元152可再次确定计数器值是否大于当前索引值(254)。如果大于当前索引值，那么预测处理单元152可重复动作256和258。以此方式，预测处理单元152可在参考图片列表中下移跟在当前索引值后的所有参考帧数。因此，如果预测处理单元152正将合成的参考图片在给定位置处插入到参考图片列表内，那么预测处理单元152可将图片在参考图片列表中的位置移位到给定位置后。

响应于确定计数器值不大于当前索引值(254的“否”)，预测处理单元152可确定当前帧数是否等于插入帧数(260)。当前帧数为预测处理单元152当前正解码的图片的帧数。插入帧数为预测处理单元152正在参考图片列表中插入的图片的帧数。响应于确定当前帧数不等于插入帧数(260的“否”)，预测处理单元152可将参考图片在由当前索引值指示的位置处插入到参考图片列表内(262)。图片的帧数可为图片的图片数目的LSB部分。因为当前帧数不等于插入帧数，所以正插入到参考图片列表内的参考图片为短期参考图片，且并非合成的参考图片。

另一方面，响应于确定当前帧数等于插入帧数(260的“是”)，预测处理单元152可将合成参考图片在由当前索引值指示的位置处插入到参考图片列表内(264)。因为当前帧数等于插入帧数，所以插入帧数是指合成的参考图片。以此方式，如果预测处理单元152接收属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型的RPLM命令，那么预测处理单元152可确定与RPLM命令相关联的图片数目，且响应于确定与RPLM命令相关联的帧数等于与RPLM命令相关联的帧数将合成参考图片插入到参考图片列表内。与RPLM命令相关联的帧数可为用来指具有等于与RPLM命令相关联的图片数目的图片数目的短期参考图片的数目。在一些实例中，与RPLM命令相关联的图片数目可至少部分基于RPLM命令的“abs_diff_pic_num_minus1”语法元素和图片数目预测值来确定。

在于动作262或264中将参考图片插入到参考图片列表内后，预测处理单元152可增大当前索引值且将临时索引值设定到当前索引值(266)。另外，预测处理单元152可将计数器值设定到当前索引值(268)。预测处理单元152可接着确定计数器值是否小于或等于参考图片列表中的最高位置(270)。如果计数器不小于或等于参考图片列表中的最高位置(270的“否”)，那么预测处理单元152可结束操作250。另一方面，响应于确定计数器小于或等于参考图片列表中的最高位置(270的“是”)，那么预测处理单元152可确定参考图片列表中在当前位置(即，由计数器值指示的位置)处的参考图片的图片数目是否等于插入帧数(272)。如果在参考图片列表中的当前位置处的参考图片的图片数目等于插入帧数(272的“是”)，那么预测处理单元152可确定在参考图片列表中由计数器值指示的位置处的参考图片的视图识别符是否等于当前视图识别符(274)。当前视图识别符可为视频解码器30当前正解码的图片的视图识别符。

如果在参考图片列表中的当前位置处的参考图片的图片数目不等于插入帧数(272的“否”)或在参考图片列表中的当前位置处的参考图片的视图识别符不等于当前视图识别符(274的“否”)，那么预测处理单元152可将在临时索引值加上1处的参考图片设定为在参考图片列表中的当前位置(即，参考图片列表中由计数器值指示的位置)处的参考图片(276)。响应于确定在参考图片列表中的当前位置处的参考图片的视图识别符等于当前视图识别符(274的“是”)或在执行动作276后，预测处理单元152可增大计数器值(278)。预测处理单元152可接着再次确定计数器值是否小于或等于参考图片列表中的最高位置(270)。动作268、270、272、274、276和278可用以从参考图片列表去除正插入到参考图片列表内的参考图片的复制。

可使用以下伪代码实施实例操作250：

在以上伪代码中，“cIdx”为计数器变量。“num_ref_idxlX_active_minus1”表示参考图片列表X中的有效参考图片的数目，其中X等于0或1。“refIdxX”表示短期参考图片或VSRP将被插入于参考图片列表X中的位置。此外，“RefPicListX[]”表示参考图片列表X。“picNumLX”表示待插入于参考图片列表X中的短期参考图片或VSRP的帧数。RPLM命令可指定“picNumLX”的值。“PicNumF()”为返回参考图片的帧数的函数。“viewID()”为返回参考图片的视图识别符的函数。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施，那么功能可作为一或多个指令或代码存储于计算机可读媒体上或通过计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)，或包含促进计算机程序从一处转移到另一处(例如，根据通信协议)的任何媒体的通信媒体。以这个方式，计算机可读媒体大体上可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据指令用于实施本发明中描述的技术的任何可利用的媒体。计算机程序产品可包含计算机可读媒体。

例如，且不受限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以按指令或数据结构的形式存储所要的程序代码且可由计算机存取的任一其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它短暂媒体，而取而代之，针对非短暂、有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范畴内。

指令可由一或多个处理器执行，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。此外，在一些方面，本文中描述的功能性可提供于经配置用于编码和解码或内插于组合式编解码器中的专用硬件和/或软件模块内。同样，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如，芯片集合)。各种组件、模块或单元在本发明中描述以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。相反地，如上所述，各种单元可组合于编解码器硬件单元中或由互操作的硬件单元(包含如上所述的一或多个处理器)结合合适的软件和/或固件的集合来提供。

已描述了各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (42)

1.一种用于多视图视频解码的方法，所述方法包括：

至少部分基于从位流剖析的语法元素解码一或多个视图分量；

至少部分基于所述一或多个视图分量产生合成参考图片；

响应于参考图片列表修改RPLM命令，将所述合成参考图片在特定位置处插入于参考图片列表内，所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型；及

使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

2.根据权利要求1所述的方法，其中所述合成参考图片为视图合成参考图片VSRP。

3.根据权利要求1所述的方法，其中插入所述合成参考图片包括：

确定与所述RPLM命令相关联的图片数目；

基于与所述RPLM命令相关联的所述图片数目确定帧数；及

响应于确定与所述RPLM命令相关联的所述帧数等于与所述当前图片相关联的帧数，将所述合成参考图片插入到所述参考图片列表内。

4.根据权利要求3所述的方法，其中确定与所述RPLM命令相关联的所述图片数目包括通过将由所述RPLM命令指定的值加上1加到图片数目预测值或减去由所述RPLM命令指定的值加上1来确定所述图片数目。

5.根据权利要求1所述的方法，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

6.根据权利要求1所述的方法，

其中所述参考图片列表包含在所述特定位置后的一或多个图片，且

其中在所述特定位置处将所述合成参考图片插入到所述参考图片列表内包括移位在所述位置后的所述图片在所述参考图片列表中的位置。

7.根据权利要求1所述的方法，其中所述RPLM命令为第一RPLM命令，且所述方法进一步包括响应于第二RPLM命令将纹理视图分量插入到所述参考图片列表内，所述第二RPLM命令属于用于将短期参考图片插入到所述参考图片列表内的所述RPLM命令类型。

8.一种视频解码装置，其包括一或多个处理器，所述一或多个处理器经配置以：

至少部分基于从位流剖析的语法元素解码一或多个视图分量；

至少部分基于所述一或多个视图分量产生合成参考图片；

响应于参考图片列表修改RPLM命令，将所述合成参考图片在特定位置处插入于参考图片列表内，所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型；及

使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

9.根据权利要求8所述的视频解码装置，其中所述合成参考图片为视图合成参考图片VSRP。

10.根据权利要求8所述的视频解码装置，其中所述一或多个处理器经配置以：

确定与所述RPLM命令相关联的图片数目；

基于与所述RPLM命令相关联的所述图片数目确定帧数；及

响应于确定与所述RPLM命令相关联的所述帧数等于与所述当前图片相关联的帧数，将所述合成参考图片插入到所述参考图片列表内。

11.根据权利要求10所述的视频解码装置，其中所述一或多个处理器经配置以通过将由所述RPLM命令指定的值加上1加到图片数目预测值或减去由所述RPLM命令指定的值加上1来确定所述图片数目。

12.根据权利要求8所述的视频解码装置，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

13.根据权利要求8所述的视频解码装置，

其中所述参考图片列表包含在所述特定位置后的一或多个图片，且

其中所述一或多个处理器经配置以移位在所述特定位置后的所述图片在所述参考图片列表中的位置。

14.根据权利要求8所述的视频解码装置，其中所述RPLM命令为第一RPLM命令，且所述一或多个处理器经进一步配置以响应于第二RPLM命令将纹理视图分量插入到所述参考图片列表内，所述第二RPLM命令属于用于将短期参考图片插入到所述参考图片列表内的所述RPLM命令类型。

15.一种视频解码装置，其包括：

用于至少部分基于从位流剖析的语法元素解码一或多个视图分量的装置；

用于至少部分基于所述一或多个视图分量产生合成参考图片的装置；

用于响应于参考图片列表修改RPLM命令将所述合成参考图片在特定位置处插入于参考图片列表内的装置，所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型；及

用于使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测的装置。

16.根据权利要求15所述的视频解码装置，其中所述合成参考图片为视图合成参考图片VSRP。

17.根据权利要求15所述的视频解码装置，其包括：

用于确定与所述RPLM命令相关联的图片数目的装置；

用于基于与所述RPLM命令相关联的所述图片数目确定帧数的装置；及

用于响应于确定与所述RPLM命令相关联的所述帧数等于与所述当前图片相关联的帧数将所述合成参考图片插入到所述参考图片列表内的装置。

18.根据权利要求15所述的视频解码装置，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

19.一种计算机可读存储媒体，其上存储有指令，所述指令当由视频解码装置的一或多个处理器执行时配置所述视频解码装置以：

至少部分基于从位流剖析的语法元素解码一或多个视图分量；

至少部分基于所述一或多个视图分量产生合成参考图片；

响应于参考图片列表修改RPLM命令，将所述合成参考图片在特定位置处插入于参考图片列表内，所述RPLM命令属于用于将短期参考图片插入到参考图片列表内的RPLM命令类型；及

使用所述参考图片列表中的一或多个图片对当前图片的视频块执行帧间预测。

20.根据权利要求19所述的计算机可读存储媒体，其中所述合成参考图片为视图合成参考图片VSRP。

21.根据权利要求19所述的计算机可读存储媒体，其中所述指令配置所述视频解码装置以：

确定与所述RPLM命令相关联的图片数目；

基于与所述RPLM命令相关联的所述图片数目确定帧数；及

响应于确定与所述RPLM命令相关联的所述帧数等于与所述当前图片相关联的帧数，将所述合成参考图片插入到所述参考图片列表内。

22.根据权利要求19所述的计算机可读存储媒体，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

23.一种用于多视图视频编码的方法，所述方法包括：

至少部分基于一或多个视图分量产生合成参考图片；

将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块；及

产生位流，所述位流包含属于用于将短期参考图片插入到参考图片列表内的参考图片列表修改RPLM命令类型的RPLM命令，所述RPLM命令指令视频解码器在特定位置处将所述合成参考图片插入于参考图片列表中。

24.根据权利要求23所述的方法，其中所述合成参考图片为视图合成参考图片VSRP。

25.根据权利要求23所述的方法，其中所述RPLM命令与用于所述当前图片的帧数相关联。

26.根据权利要求25所述的方法，其中所述RPLM命令包括具有值的语法元素，其中与所述RPLM命令相关联的图片数目等于图片数目预测值加或减所述值加上1，且与所述RPLM命令相关联的所述帧数可基于所述当前图片的所述图片数目确定。

27.根据权利要求23所述的方法，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

28.一种视频编码装置，其包括一或多个处理器，所述一或多个处理器经配置以：

至少部分基于一或多个视图分量产生合成参考图片；

将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块；及

产生位流，所述位流包含属于用于将短期参考图片插入到参考图片列表内的参考图片列表修改RPLM命令类型的RPLM命令，所述RPLM命令指令视频解码器在特定位置处将所述合成参考图片插入于参考图片列表中。

29.根据权利要求28所述的视频编码装置，其中所述合成参考图片为视图合成参考图片VSRP。

30.根据权利要求28所述的视频编码装置，其中所述RPLM命令与用于所述当前图片的帧数相关联。

31.根据权利要求29所述的视频编码装置，其中所述RPLM命令包括具有值的语法元素，其中与所述RPLM命令相关联的图片数目等于图片数目预测值加或减所述值加上1，且与所述RPLM命令相关联的所述帧数可基于所述当前图片的所述图片数目确定。

32.根据权利要求27所述的视频编码装置，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

33.一种视频编码装置，其包括：

用于至少部分基于一或多个视图分量产生合成参考图片的装置；

用于将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块的装置；及

用于产生位流的装置，所述位流包含属于用于将短期参考图片插入到参考图片列表内的参考图片列表修改RPLM命令类型的RPLM命令，所述RPLM命令指令视频解码器在特定位置处将所述合成参考图片插入于参考图片列表中。

34.根据权利要求33所述的视频编码装置，其中所述合成参考图片为视图合成参考图片VSRP。

35.根据权利要求33所述的视频编码装置，其中所述RPLM命令与用于所述当前图片的帧数相关联。

36.根据权利要求35所述的视频编码装置，其中所述RPLM命令包括具有值的语法元素，其中与所述RPLM命令相关联的图片数目等于图片数目预测值加或减所述值加上1，且与所述RPLM命令相关联的所述帧数可基于所述当前图片的所述图片数目确定。

37.根据权利要求33所述的视频编码装置，其中所述RPLM命令指令所述视频解码器将所述合成参考图片在所述参考图片列表中的特定位置处插入到所述参考图片列表内。

38.一种计算机可读存储媒体，其上存储有指令，所述指令当由视频编码装置的一或多个处理器执行时配置所述视频编码装置以：

至少部分基于一或多个视图分量产生合成参考图片；

将所述合成参考图片用作参考图片来编码当前图片的一或多个视频块；及

产生位流，所述位流包含属于用于将短期参考图片插入到参考图片列表内的参考图片列表修改RPLM命令类型的RPLM命令，所述RPLM命令指令视频解码器在特定位置处将所述合成参考图片插入于参考图片列表中。

39.根据权利要求38所述的计算机可读存储媒体，其中所述合成参考图片为视图合成参考图片VSRP。

40.根据权利要求38所述的计算机可读存储媒体，其中所述RPLM命令包括具有值的语法元素，其中与所述RPLM命令相关联的图片数目等于图片数目预测值加或减所述值加上1，且与所述RPLM命令相关联的所述帧数可基于所述当前图片的所述图片数目确定。

41.根据权利要求38所述的计算机可读存储媒体，其中所述RPLM命令包含等于0或1的RPLM类型识别符。

42.根据权利要求38所述的计算机可读存储媒体，其中所述RPLM命令指令所述视频解码器将所述合成参考图片在所述参考图片列表中的特定位置处放置到所述参考图片列表内。