CN101366285A - 用于多视角视频编码的方法和装置 - Google Patents

Abstract

提供了用于多视角视频编码的方法和装置。一种视频编码器包括编码器(100)，该编码器用于通过在时间预测和交叉视角预测之间进行选择以实现对图片的块的预测来对该块进行编码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点之一。高级别语法被用于指示对该块使用交叉视角预测。

Description

用于多视角视频编码的方法和装置

与相关申请的交叉引用

本申请要求2006年1月9日递交的题为“Multi-View Video CodingSystem”的美国临时申请No.60/757,289的优先权，该申请通过引用被并入在此。另外，本申请与代理案卷号为No.PU060004、题为“Methodsand Apparatus for Multi-View Video Coding”的非临时申请相关，该申请与本申请被共同转让、通过引用被全部并入在此并且与本申请同时递交。

技术领域

本发明一般地涉及视频编码器和解码器，更具体而言涉及用于多视角视频编码的方法和装置。

背景技术

多视角视频编码(Multi-view video coding，MVC)是用于多视角序列的编码的压缩框架。多视角视频编码(MVC)序列是从不同视角点(viewpoint)捕捉相同场景的两个或更多个视频序列的集合。

已经广泛认识到的是，多视角视频编码是为包括自由视角点和3D视频应用、家庭娱乐和监视在内的多种应用服务的关键技术。在这些多视角应用中，所涉及的视频数据的量是巨大的。因此，需要高效的压缩技术来提高当前的执行独立视角的同时联播的视频编码方案的编码效率。

近年来，在设计用于压缩立体视频(stereoscopic video)的高效方法方面已经投入了许多精力。传统的平面压缩(monoscopic compression)方法可以被独立地应用到立体图像对的左视角和右视角。但是，如果利用视角之间的高相关性，则可以实现更高的压缩率。

关于一种对立体图像对的两个视角都进行编码的现有技术方法，在国际标准化组织/国际电工委员会(ISO/IEC)运动图片专家组-2(MPEG-2)标准中定义了多视角规范(Multi-View Profile，MVP)来传送一对视频信号。MVP依赖于多层信号表示方法，从而一个视角(通常是左视角)被分配到基本层，而另一视角被分配到增强层。以相同工具作为主规范(MP)的平面编码被应用到基本层。增强层是利用时间可缩放性工具以及运动(motion)和视差(disparity)场的混合预测来编码的。

在涉及国际标准化组织/国际电工委员会(ISO/IEC)运动图片专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐(以下称为“MPEG-4AVC标准”)的现有技术方法中，立体视频编码可以以两种不同的方式来执行：(i)作为交织图像编码的特定情况来执行，其中具有特定奇偶性的所有场都被分配给左视角，而具有相反奇偶性的所有场都被认为是立体视角内容的右视角；或者(ii)通过交替来自左视角和右视角的帧来执行，以创建单个平面视频序列。立体视觉补充增强信息(SEI)消息向解码器提供了关于被编码的视频序列是否表示立体内容以及哪种方法被用来对相应内容编码的指示。

这些先前已知的方法要求对现有的平面编码技术进行最低限度的修改。但是，在降低存在于立体对中的两个视角之间的冗余性方面，它们表现出的能力有限。结果，立体视角的编码与单个平面视角的编码相比导致了很大的开销。另外，先前不能支持对多于两个相机视角的编码。

发明内容

本发明解决了现有技术的这些和其他缺陷和缺点，本发明针对用于多视角视频编码的方法和装置。

根据本发明的一个方面，提供了一种视频编码器。该视频编码器包括编码器，该编码器用于利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行编码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点中的当前视角点。两个交叉视角参考图片列表与具有不同视角点中除当前视角点之外的视角点的参考图片相对应。

根据本发明的另一方面，提供了一种视频编码器。该视频编码器包括至少一个缓冲器，该至少一个缓冲器用于存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

根据本发明的另一方面，提供了一种视频编码方法。该方法包括利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行编码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点中的当前视角点。两个交叉视角参考图片列表与具有不同视角点中除当前视角点之外的视角点的参考图片相对应。

根据本发明的另一方面，提供了一种视频编码方法。该方法包括在至少一个缓冲器中存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

根据本发明的另一方面，提供了一种视频解码器。该视频解码器包括解码器，该解码器用于利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行解码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点中的当前视角点。两个交叉视角参考图片列表与具有不同视角点中除当前视角点之外的视角点的参考图片相对应。

根据本发明的另一方面，提供了一种视频解码器。该视频解码器包括至少一个缓冲器，该至少一个缓冲器用于存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

根据本发明的另一方面，提供了一种视频解码方法。该方法包括利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行解码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点中的当前视角点。两个交叉视角参考图片列表与具有不同视角点中除当前视角点之外的视角点的参考图片相对应。

根据本发明的另一方面，提供了一种视频解码方法。该方法包括在至少一个缓冲器中存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

本发明的这些和其他方面、特征和优点将从以下的要结合附图理解的对示例性实施例的详细描述中清楚显现出来。

附图说明

根据以下示例性附图可以更好地理解本发明，附图中：

图1是根据本原理的实施例、本原理可应用到的示例性多视角视频编码(MVC)编码器的框图；

图2是根据本原理的实施例、本原理可应用到的示例性多视角视频编码(MVC)解码器的框图；

图3是根据本原理的实施例的用于多视角视频内容的参考列表构造的示例性方法的流程图；

图4是根据本原理的实施例用于执行时间/交叉视角模式判决的示例性方法的流程图；

图5是根据本原理的实施例用于为与多视角视频内容相对应的同一片段(slice)处理运动和视差向量的示例性方法的流程图；以及

图6是根据本原理的实施例用于为多视角视频内容处理运动和视差向量的示例性方法的流程图。

具体实施方式

本发明针对用于多视角视频编码的方法和装置。

本说明书说明了本发明的原理。因此，将会明白，本领域的技术人员将能够设计出各种配置，这些配置虽然在这里没有明确描述或者示出，但却实现了本发明的原理并被包括在其精神和范围之内。

这里记载的所有示例和条件语言都意图用于教学目的，以帮助读者理解本发明的原理和发明人对推进现有技术所贡献的概念，并且应当被解释为不限于这种具体记载的示例和条件。

另外，这里的所有记载本发明的原理、方面和实施例及其具体示例的陈述，都意图包括其结构和功能等同物。此外，希望这种等同物既包括当前已知的等同物，也包括将来开发出的等同物，即所开发出的任何执行相同功能的元件，不论其结构如何。

因此，例如，本领域的技术人员将会明白，这里给出的框图表示了实现本发明的原理的示例性电路的概念性视图。类似地，将会明白，任何流程图、状态转换图、伪代码等等都表示实质上可以表示在计算机可读介质中并可以由计算机或处理器来如此执行的各种过程，不论这种计算机或处理器是否被明确地示出。

图中所示的各种元件的功能可通过使用专用硬件以及能够结合适当的软件来执行软件的硬件来提供。当由处理器提供时，这些功能可由单个专用处理器提供、由单个共享处理器提供、或者由多个独立的处理器(其中一些可能被共享)提供。另外，对术语“处理器”或“控制器”的明确使用不应当被解释为只指能够执行软件的硬件，而是可以隐含地包括(但不限于)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储设备。

还可以包括其他传统的和/或定制的硬件。类似地，图中所示的任何开关都只是概念性的。它们的功能可通过程序逻辑的操作来实现、通过专用逻辑来实现、通过程序控制和专用逻辑的交互来实现，或者甚至手工实现，具体的技术由实现者根据对上下文的更具体理解来选择。

在其权利要求中，被表达为用于执行指定功能的装置的任何元件都意图涵盖执行该功能的任何方式，例如包括a)执行该功能的电路元件的组合或者b)任何形式的软件，因此包括固件、微代码等等，这种软件与用于执行该软件的适当电路相组合以执行该功能。这种权利要求所限定的发明存在于以下事实中：由所记载的各种装置所提供的功能以权利要求所要求的方式被组合到一起。因此，认为任何能够提供这些功能的装置都与这里示出的那些是等同的。

说明书中提到本原理的“一个实施例”或“实施例”意指结合该实施例描述的特定特征、结构、特性等等被包括在本原理的至少一个实施例中。因此，说明书中各处出现的短语“在一个实施例中”或者“在实施例”中不一定均指相同实施例。

参考图1，示例性的多视角视频编码(MVC)编码器由标号100总地指示。编码器100包括组合器105，该组合器105具有与变换器110的输入发生信号通信连接的输出。变换器110的输出与量化器115的输入发生信号通信连接。量化器115的输出与熵编码器120的输入和逆量化器125的输入发生信号通信连接。逆量化器125的输出与逆变换器130的输入发生信号通信连接。逆变换器130的输出与组合器135的第一同相输入发生信号通信连接。组合器135的输出与内预测器145的输入和解块滤波器150的输入发生信号通信连接。解块滤波器150的输出与参考图片存储155(用于视角i)的输入发生信号通信连接。参考图片存储155的输出与运动补偿器175的第一输入和运动估计器180的第一输入发生信号通信连接。运动估计器180的输出与运动补偿器175的第二输入发生信号通信连接。

参考图片存储160(用于其他视角)的输出与视差/照明估计器170的第一输入和视差/照明补偿器165的第一输入发生信号通信连接。视差/照明估计器170的输出与视差/照明补偿器165的第二输入发生信号通信连接。

熵编码器120的输出可用作编码器100的输出。组合器105的同相输入可用作编码器100的输入，并且与视差/照明估计器170的第二输入以及运动估计器180的第二输入发生信号通信连接。开关185的输出与组合器135的第二同相输入以及组合器105的反相输入发生信号通信连接。开关185包括与运动补偿器175的输出发生信号通信连接的第一输入、与视差/照明补偿器165的输出发生信号通信连接的第二输入以及与内预测器145的输出发生信号通信连接的第三输入。

模式判决模块140具有连接到开关185的输出，用于控制哪个输入被开关185选择。

参考图2，示例性的多视角视频编码(MVC)解码器由标号200总地指示。解码器200包括熵解码器205，该熵解码器205具有与逆量化器210的输入发生信号通信连接的输出。逆量化器的输出与逆变换器215的输入发生信号通信连接。逆变换器215的输出与组合器220的第一同相输入发生信号通信连接。组合器220的输出与解块滤波器225的输入和内预测器230的输入发生信号通信连接。解块滤波器225的输出与参考图片存储240(用于视角i)的输入发生信号通信连接。参考图片存储240的输出与运动补偿器235的第一输入发生信号通信连接。

参考图片存储245(用于其他视角)的输出与视差/照明补偿器250的第一输入发生信号通信连接。

熵编码器205的输入可用作解码器200的输入，用于接收残余比特流。另外，模式模块260的输入也可用作解码器200的输入，用于接收用来控制哪个输入被开关255选择的控制语法(syntax)。另外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。另外，视差/照明补偿器250的第二输入可用作解码器200的输入，用于接收视差向量和照明补偿语法。

开关255的输出与组合器220的第二同相输入发生信号通信连接。开关255的第一输入与视差/照明补偿器250的输出发生信号通信连接。开关255的第二输入与运动补偿器235的输出发生信号通信连接。开关255的第三输入与内预测器230的输出发生信号通信连接。模式模块260的输出与开关255发生信号通信连接，用于控制哪个输入被开关255选择。解块滤波器225的输出可用作解码器的输出。

多视角视频编码(MVC)是用于多视角序列的编码的压缩框架。多视角视频编码(MVC)序列是从不同视角点捕捉相同场景的两个或更多个视频序列的集合。

由于多视角视频源包括相同场景的多个视角，因此在多个视角图像之间存在高度的相关性。因此，除了时间冗余之外还可以利用视角冗余，并且视角冗余是通过跨不同的视角执行视角预测来实现的。因此，这里描述的本原理的实施例可以包括时间和交叉视角预测两者。

出于说明目的，这里针对MPEG-4 AVC标准来描述本原理的实施例。但是，应当明白本发明并不限于MPEG-4 AVC标准，并且，有了这里提供的本原理的教导，本领域和相关领域的普通技术人员将想出本原理可应用到的、能够进行多视角视频编码的这种和其他视频编码标准，同时维持本原理的范围。这里描述的涉及MPEG-4 AVC标准的本原理的实施例例如可以包括解块滤波器变化和/或语法的熵编码。

在一个实施例中，在片段级别上，引入了交叉视角预测列表来实现视差预测，并且添加了交叉视角编码类型语法来指示视差预测的编码类型。在宏块(MB)级别上，引入了标志语法来指示对于每个信号块是使用运动补偿还是视差补偿。另外，在针对MPEG-4 AVC标准的实施例中可以利用的其他变化例如包括解块滤波器、用于新语法的上下文自适应二元算术编码(CABAC)上下文以及参数设置级别和片段头部级别上的附加语法。

现在将描述根据本原理的实施例的交叉视角编码类型和交叉视角预测列表。

MPEG-4 AVC标准通过形成两个预测列表List0和List1来执行帧间预测。因此，当前帧中的图像块可以通过只使用List0中的一幅参考图片来补偿，或者通过使用两幅参考图片(每个列表一幅)来补偿。在片段头部中，通告了slice_type语法，以指示每个片段的时间编码类型。当slice_type＝P_SLICE时，只有List0会被用于运动补偿中。当slice_type＝B_SLICE时，List0和List1都可能被用于运动补偿中。

为了实现不同视角之间的交叉视角预测，本原理的一个实施例包括使用两个新的预测列表：ViewList0和ViewList1。ViewList0/ViewList1中的图片是来自除当前视角外的相机视角的参考图片。片段头部中的新语法view_slice_type被用于指示交叉视角预测的编码类型。例如，如果特定的片段具有slice_type＝B_SLICE和view_slice_type＝P_SLICE，则该片段中的宏块(MB)可以被时间编码为B_SLICE编码类型，或者被交叉视角编码为P_SLICE编码类型。

在MPEG-4 AVC标准框架中实现交叉视角预测的另一种方式包括将来自另一视角的参考图片插入在列表List0/List1中，而不引入新的视角预测列表和交叉视角编码类型。但是，第一种方法的优点如下。第一种方法的一个优点在于，由于ViewList0/ViewList1中的参考图片只包括交叉视角参考，因此对ref_idx的通告所花费的比特比起在同一列表中包括相同视角参考和交叉视角参考两者来说要更少。第一种方法的另一优点在于，具有两个新的列表ViewList0/ViewList1提供了一种处理时间和交叉视角预测的单独方式。这涉及这样的情况，即List0/List1既包括时间参考又包括交叉视角参考，从而用于参考图片列表构造的MPEG-4 AVC标准重排序过程(reordering process)将需要被修改并且必定会更复杂。

在一个实施例中，每个片段的交叉视角参考列表可根据以下规则来形成。关于第一规则，在片段头部中，对于ViewList0和ViewList1都通告交叉视角参考图片的数目及其view_id。view_id在两个交叉视角预测列表中的每一个中是不同的。至于第二规则，交叉视角预测列表中的参考图片以与它们出现在片段头部中的顺序相同的顺序被排序。对于每个被参考的视角，具有最近图片顺序计数(POC)号(相对于当前片段的POC)的参考图片被用在当前片段的交叉视角预测列表中。

可以包括附加的参考重排序语法，以便允许对交叉视角参考图片进行更灵活的处理。

参考图3，用于多视角视频内容的参考列表构造的示例性方法由标号300总地指示。方法300包括开始块305，该开始块305将控制传递给判决块310。判决块310判定当前片段类型是否是P片段或B片段。如果是，则控制被传递到功能块315。否则，控制被传递到判决块330。

功能块315利用时间参考来构造List0，并将控制传递到判决块320。判决块320判定当前片段类型是否是B片段。如果是，则控制被传递到功能块325。否则，控制被传递到判决块330。

功能块325利用时间参考来构造List1，并将控制传递到判决块330。

判决块330判定当前视角片段类型是否是P片段或B片段。如果是，则控制被传递到功能块335。否则，控制被传递到循环限制块350。

功能块335利用交叉视角参考来构造ViewList0，并将控制传递到判决块340。判决块340判定当前片段类型是否是B片段。如果是，则控制被传递到功能块345。否则，控制被传递到循环限制块350。

功能块345利用交叉视角参考来构造ViewList0，并将控制传递到循环限制块350。

循环限制块350在每个宏块上开始一个循环，包括利用变量mb＝0至MacroBlockslnPic-1来设置循环的范围，并将控制传递到功能块355。功能块355利用List0/List1对当前宏块编码，并将控制传递到判决块360。判决块360判定当前视角片段类型是否等于P片段或B片段。如果是，则控制被传递到功能块365。否则控制被传递到功能块370。

功能块365利用ViewList0/ViewList1对当前宏块编码，并将控制传递到功能块370。

功能块370选择最佳模式，设置mvc_prediction_flag，并将控制传递到功能块375。功能块375执行运动/视差向量缓冲处理，并将控制传递到循环限制块380。循环限制块结束循环，并将控制传递到功能块385。功能块385将编码后的图片保存在解码图片缓冲器(dqb)中，并将控制传递到结束块390。

由于每个片段的交叉视角预测可以完全利用交叉视角编码类型和视角预测列表来配置，因此多视角视频编码(MVC)编解码器可支持任意的视角编码顺序和视角可缩放性。

在一个实施例中，在MB级别上，被称为mvc_pred_flag的新语法指示是时间预测还是交叉视角预测被用于对每个信号块编码。在mvc_pred_flag＝0的情况下，将根据slice_type将List0/List1用于运动补偿。当mvc_pred_flag＝1时，则将根据view_slice_type使用ViewList0/ViewList1。

参考图4，用于执行时间/交叉视角模式判决的示例性方法由标号400总地指示。方法400包括开始块405，该开始块405将控制传递给判决块410。判决块410判定当前片段类型是否是P片段或B片段。如果是，则控制被传递到功能块415。否则，控制被传递到判决块430。

功能块415利用时间参考来构造List0，并将控制传递到判决块420。判决块420判定当前片段类型是否是B片段。如果是，则控制被传递到功能块425。否则，控制被传递到判决块430。

功能块425利用时间参考来构造List1，并将控制传递到判决块430。

判决块430判定当前视角片段类型是否是P片段或B片段。如果是，则控制被传递到功能块435。否则，控制被传递到循环限制块450。

功能块435利用交叉视角参考来构造ViewList0，并将控制传递到判决块440。判决块440判定当前片段类型是否是B片段。如果是，则控制被传递到功能块445。否则，控制被传递到循环限制块450。

功能块445利用交叉视角参考来构造ViewList0，并将控制传递到循环限制块450。

循环限制块450在每个宏块上开始一个循环，包括利用变量mb＝0至MacroBlockslnPic-1来设置循环的范围，并将控制传递到判决块455。判决块455判定mvc_prediction_flag是否等于1。如果是，则控制被传递到功能块。否则，控制被传递到功能块465。

功能块460利用ViewList0/ViewList1对宏块解码，并将控制传递到功能块470。

功能块465利用List0/List1对宏块解码，并将控制传递到功能块470。

功能块470执行运动/视差向量缓冲处理，并将控制传递到循环限制块475。循环限制块475结束循环，并将控制传递到功能块480。功能块480将解码后的图片保存在解码图片缓冲器(dqb)中，并将控制传递到结束块485。

添加了三个新的CABAC上下文，用于对mvc_pred_dir语法进行编码。上下文建模与transform_size_8×8_flag语法相同。

在MPEG-4 AVC标准的多视角扩展中，解码图片缓冲器(dpb)需要能够处理来自多个视角的解码后的图片。假定有N个输入视角，那么本原理的一个实施例可能包括N个分离的dpb。每个dpb存储来自一个特定视角的解码后的图片。

管理dpb的另一种方式是将所有视角图片放在单个dpb中。但是，第一种方法具有以下优点。第一种方法的一个优点在于每个视角具有其自己的dpb，并且具有与MPEG-4 AVC标准中相同的解码参考标记过程。这种更简单的方法降低了在同一dpb中管理不同视角图片的复杂度。第一种方法的另一个优点涉及不希望减少可用时间参考帧的数目，因为时间相关性一般强于交叉视角相关性。在每个视角在其dpb中管理其自己的参考图片的情况下，时间预测将具有与同时联播中相同的多参考帧预测能力。

与传统的视频编码相比，MVC的独特特性在于运动和视差的共存。被时间预测的块将需要通告运动向量(MV)，而在交叉视角预测的情况下则需要通告视差向量(DV)。

这里描述了两种示例性的方法，用于为同一片段处理运动向量和视差向量两者。但是，应当明白，有了这里提供的本发明的教导，本领域和相关领域的普通技术人员将想出其这些和其他方法，同时保持本发明的范围。

在第一种方法中，对于每个块，通告和存储运动向量或者视差向量，但不是两者。是运动向量还是视差向量将被通告和存储取决于语法mvc_pred_flag。这将会要求较少的存储器存储，但是组合的向量场将会不一致。

在第二种方法中，对于每个块，存储运动向量和视差向量两者。这或者可以通过通告两个向量来实现，或者可以通过通告一个并利用向量场插值填充另一个来实现。此方法将花费更多的存储器存储，但是运动和视差场的一致性能够得到更好的保持。

第一种方法的示例性实施例在图5中示出并被参考图5来描述。第二种方法的示例性实施例在图6中示出并被参考图6来描述。

参考图5，用于为与多视角视频内容相对应的同一片段处理运动和视差向量的示例性方法由标号500总地指示。方法500包括开始块505，该开始块505将控制传递到判决块510。判决块510判定mvc_pred_flag是否等于0。如果是，则控制被传递到功能块515。否则，控制被传递到功能块520。功能块515形成视差向量预测子、处理视差向量DV、将视差向量DV存储在VectorBuffer中，并将控制传递到结束块525。

功能块520形成运动向量预测子，处理运动向量MV，将运动向量MV存储在VectorBuffer中，并将控制传递到结束块525。

参考图6，用于为多视角视频内容处理运动和视差向量的另一种方法由标号600总地指示。方法600包括开始块605，该开始块505将控制传递到功能块610。功能块610形成视差向量预测子，处理视差向DV，将视差向量DV存储在VectorBuffer1中，并将控制传递到功能块615。功能块615形成运动向量预测子，处理运动向量MV，将运动向量MV存储在VectorBuffer2中，并将控制传递到结束块620。

在同一片段的编码中具有运动和视差向量两者的含义出自以下方面：(1)对运动/视差向量的预测性编码；以及(2)直接(Direct)和跳过(Skip)模式。

在MPEG-4 AVC标准中，利用来自相邻块的中值或方向预测来对运动向量分量进行差分编码。在多视角视频编码中，相邻块可能具有与当前块不同的预测方向。为了在对运动/视差向量的编码中节省比特，优选使用最相关的信息来形成预测子。取决于是否运动向量和视差向量两者都对于相邻块可用，对于第一种方法，只使用那些具有相同预测方向的相邻块；对于第二方法，在形成运动向量预测子时只使用相邻块的运动向量，而在形成视差预测子时只使用相邻块的视差向量。

除了空间相邻块以外，时间上共位的块也可用来增强视差预测，因为视差场在时间维上通常是静止的。

MPEG-4 AVC标准中的跳过和直接模式是更好地利用了存在于相邻宏块之间的时空相关性的有效编码工具，因为它们能够表示运动，而不必传递运动向量。在多视角视频编码中，这些模式应当被修改，以考虑到附加的交叉视角相关性。

对于P_Skip模式，获得重构的信号，该信号类似于参考位于List0的索引0的图片的P_16×16宏块型预测信号。用于重构P_Skip宏块的运动向量与用于16×16块的运动向量预测子类似。在MVC中，对运动/视差向量预测子的上述修改将帮助使P_Skip模式更为有用。

对于B_SLICE编码，B_Skip/B_Direct_16×16/B_Direct_8×8模式应当被修改，以考虑到运动和视差的混合。在MPEG-4AVC标准中支持两种不同的直接模式，即时间直接和空间直接。

对于时间直接模式，运动向量是从第一List1参考中的共位位置得到的。当第一List1参考被视差预测时，系统或者可以寻找其他List1参考(ref_idx>0)中的共位位置处的运动向量，或者使用空间运动向量预测子。

对于空间直接模式，运动向量是以与P_SKIP所使用的方式类似的方式得到的，但是List0/List1两者都被考虑了。P_SKIP中进行的修改也可在List1中被扩展。

表1-4示出了多视角视频编码的各种语法，包括根据本原理的各种实施例的那些。表1示出了多视角视频编码的序列参数设置RBSP语法。表2示出了多视角视频编码的图片参数设置RBSP语法。表3示出了多视角视频编码的片段头部语法。表4示出了多视角视频编码的宏块层语法。

表1

 

seq_parameter_set_rbsp(){	C	描述符
			log2_max_view_num_minusl	0	ue(v)
num_views_sps	0	u(log2_max_view_num_minusl+1)
			view_id_sps	0	u(log2_max_view_num_minusl+1)
profile_idc	0	u(8)
			constraint_set0_flag	0	u(1)
constraint_set1_flag	0	u(1)
			constraint_set2_flag	0	u(1)
constraint_set3_flag	0	u(1)
			reserved_zero_4bits/*equalto0*/	0	u(4)
…

表2

 

pic_parameter_set_rbsp(){	C	描述符
			view_id_pps	0	u(log2_max_view_num_minus l+1)
pic_parameter_set_id	1	ue(v)
			seq_parameter_set_id	1	ue(v)
entropy_coding_mode_flag	1	u(1)
			pic_order_present_flag	1	u(1)
num_slice_groups_minusl	1	ue(v)
			…

表3

 

slice_header(){	C	描述符
			first_mb_in_slice	2	ue(v)
view_id	2	u(log2_max_view_num_minusl+1)
			view_slice_type	2	ue(v)
if(view_slice_type＝＝VL_SLICE){
			num_ref_idx_ll_active_minusl	2	ue(v)
for(i＝0：i<＝num_ref_idx_ll_active_minusl：i++){
			left_ref_view_id[i]	2	ue(v)
}
			}
if(view_slice_type＝＝VR_SLICE){
			num_ref_idx_lr_active_minusl	2	ue(v)
for(i＝0：i<＝num_ref_idx_lr_active_minusl：i++){
			right_ref_view_id[i]	2	ue(v)
}
			}
if(view_slice_type＝＝VB_SLICE){
			num_ref_idx_ll_active_minusl	2	ue(v)
for(i＝0：i<＝num_ref_idx_ll_active_minusl：i++){
			left_ref_view_id[i]	2	ue(v)
}
			num_ref_idx_lr_active_minusl	2	ue(v)
for(i＝0：i<＝num_ref_idx_lr_active_minusl：i++){
			right_ref_view_id[i]	2	ue(v)
}
			}
...
			slice_type	2	ue(v)
pic_parameter_set_id	2	ue(v)
			frame_num	2	u(v)
...

表4

 

macroblock_layer(){	C	描述符
			mvc_pred_flag	2	u(1)lae(v)
mb_type	2	ue(v)lae(v)
			if(mb_type＝＝I_PCM){
while(！byte_aligned()）
			pcm_alignment_zero_bit	2	f(1)
for(i＝0：i<256：i++)
			pcm_sample_luma[i]	2	u(v)
...

现在将描述本发明所带来的许多优点/特征中的一些，其中一些在上面已经提到。例如，一个优点/特征是一种视频编码器，该视频编码器包括编码器，该编码器用于利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行编码。该图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一。该图片代表不同视角点中的当前视角点。两个交叉视角参考图片列表与具有不同视角点中除当前视角点之外的视角点的参考图片相对应。

另一个优点/特征是如上所述的视频编码器，其中两个交叉视角参考图片列表不同于国际标准化组织/国际电工委员会运动图片专家组-4第10部分高级视频编码标准/国际电信联盟电信部(ITU-T)H.264推荐的List0和List1。

另一个优点/特征是一种视频编码器，该视频编码器包括至少一个缓冲器，该至少一个缓冲器用于存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

另外，另一个优点/特征是如上所述的视频编码器，其中所述至少一个缓冲器对于不同视角点中的每一个包括一个单独的缓冲器。本领域的普通技术人员基于这里的教导可以很容易确定本发明的这些和其他特征和优点。应当理解，本发明的教导可以以各种形式的硬件、软件、固件、专用处理器或其他组合来实现。

最优选的是本发明的教导被实现为硬件和软件的组合。另外，软件可以实现为有形地包含在程序存储单元上的应用程序。应用程序可以被上载到包括任何适当的体系结构的机器并被该机器所执行。优选地，该机器是在具有诸如以下硬件的计算机平台上实现的：一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口。计算机平台还可包括操作系统和微指令代码。这里描述的各种过程和功能可以是微指令代码的一部分或者应用程序的一部分，或者是其任何组合(可由CPU执行)。此外，各种其他的外围单元可连接到该计算机平台，例如附加的数据存储单元和打印单元。

还应当理解，因为附图中示出的构成系统组件和方法中的一些优选地是用软件实现的，因此系统组件或过程功能块之间的实际连接可能根据对本发明编程的方式而有所不同。有了这里的教导，本领域的普通技术人员将能够想出本发明的这些和其他实现方式或配置。

虽然这里已经参考附图描述了示例性的实施例，但是应当理解，本发明并不限于这些确切的实施例，本领域的普通技术人员可在其中实现各种变化和修改，而不脱离本发明的精神或范围。所有这种变化和修改都意图被包括在所附权利要求所限定的本发明的范围之内。

Claims (19)

1.一种视频编码器，包括：

编码器(100)，用于利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行编码，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应。

2.如权利要求1所述的视频编码器，其中所述两个交叉视角参考图片列表不同于国际标准化组织/国际电工委员会运动图片专家组-4第10部分高级视频编码标准/国际电信联盟电信部H.264推荐的List0和List1。

3.一种视频编码器，包括：

至少一个缓冲器(160)，用于存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

4.如权利要求3所述的视频编码器，其中所述至少一个缓冲器(160)对于所述不同视角点中的每一个包括一个单独的缓冲器。

5.一种视频编码方法，包括：

利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行编码，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应(365)。

6.如权利要求5所述的方法，其中所述两个交叉视角参考图片列表不同于国际标准化组织/国际电工委员会运动图片专家组-4第10部分高级视频编码标准/国际电信联盟电信部H.264推荐的List0和List1(335，345)。

7.一种视频编码方法，包括：

在至少一个缓冲器中存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应(385)。

8.如权利要求7所述的方法，其中所述存储步骤将所述不同视角点中的每一个的解码后图片存储在相应缓冲器中，所述相应缓冲器中的每一个与所述不同视角点之一相对应(385)。

9.一种视频解码器，包括：

解码器(200)，用于利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行解码，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应。

10.如权利要求9所述的视频解码器，其中所述两个交叉视角参考图片列表不同于国际标准化组织/国际电工委员会运动图片专家组-4第10部分高级视频解码标准/国际电信联盟电信部H.264推荐的List0和List1。

11.一种视频解码器，包括：

至少一个缓冲器(245)，用于存储解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

12.如权利要求11所述的视频解码器，其中所述至少一个缓冲器(245)对于所述不同视角点中的每一个包括一个单独的缓冲器。

13.一种视频解码方法，包括：

利用两个交叉视角参考图片列表中的至少一个来对图片中的块进行解码(435，445)，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应。

14.如权利要求13所述的方法，其中所述两个交叉视角参考图片列表不同于国际标准化组织/国际电工委员会运动图片专家组-4第10部分高级视频解码标准/国际电信联盟电信部H.264推荐的List0和List1(435，445)。

15.一种视频解码方法，包括：

在至少一个缓冲器中存储(480)解码后的图片，所述解码后的图片与相同或相似场景的不同视角点的多视角内容相对应。

16.如权利要求15所述的方法，其中所述存储步骤(480)将所述不同视角点中的每一个的解码后图片存储在相应缓冲器中，所述相应缓冲器中的每一个与所述不同视角点之一相对应。

17.一种用于视频编码的视频信号结构，包括：

利用两个交叉视角参考图片列表中的至少一个编码的图片中的块，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应。

18.一种存储介质，其上编码有视频信号数据，包括：

利用两个交叉视角参考图片列表中的至少一个编码的图片中的块，所述图片是与多视角视频内容相对应并且具有关于相同或相似场景的不同视角点的一组图片之一，所述图片代表所述不同视角点中的当前视角点，所述两个交叉视角参考图片列表与具有所述不同视角点中除所述当前视角点之外的视角点的参考图片相对应。

19.一种存储介质，其上编码有视频信号数据，包括：

与相同或相似场景的不同视角点的多视角视频相对应的解码后图片。

Images