CN104521238B

CN104521238B - 用于3d视频编码的装置和方法

Info

Publication number: CN104521238B
Application number: CN201380042551.8A
Authority: CN
Inventors: D·拉萨诺维斯基; M·M·安尼克塞拉
Original assignee: Nokia Technologies Oy
Current assignee: Nokia Technologies Oy
Priority date: 2012-06-20
Filing date: 2013-06-17
Publication date: 2018-07-20
Anticipated expiration: 2033-06-17
Also published as: WO2014009598A1; ZA201500317B; RU2014153261A; EP2865184A1; US20130342644A1; KR20150032714A; CN104521238A; US9998726B2; CA2876344A1; EP2865184A4; RU2611240C2; CA2876344C; PL2865184T3; ES2864222T3; KR101662963B1; EP2865184B1

Abstract

公开一种其中视图合成预测利用另一视图中的共同定位的参考帧的深度映射、视差信息或者其它测距信息的方法、装置和计算机程序产品。获得表示第一视图的第一纹理图片的第一未压缩的纹理块和与第一未压缩的纹理块关联的测距信息。基于测距信息推导参考第二视图的视差信息。基于视差信息获得第二视图的参考采样。通过使用参考采样来执行视图合成预测，以获得用于对第一未压缩的纹理块进行编码的参考块。

Description

用于3D视频编码的装置和方法

技术领域

本发明涉及用于视频编码和解码的装置、方法和计算机程序。

背景技术

本节旨在于提供在权利要求中记载的本发明的背景或者上下文。本文中的描述可以包括如下概念，这些概念可以被探求、但是未必是先前已经设想或者探求的概念。因此，除非本文中另有指示，在本节中描述的内容不是在本申请中的说明书和权利要求书的现有技术并且不因包含于本节中而被承认为现有技术。

视频编码系统可以包括将输入视频变换成适合用于存储/传输的压缩的表示的编码器和可以将压缩的视频表示解压回成可查看形式的解码器。编码器可以丢弃原有视频序列中的一些信息以便以更紧凑形式表示视频，以例如实现视频信息在比以别的方式可能需要的比特率更低的比特率的存储/传输。

可伸缩视频编码是指编码结构，其中一个比特流可以包含内容在不同比特率、分辨率、帧速率和/或其它类型的可伸缩性的多个表示。可伸缩比特流可以由提供可用最低质量视频的基础层和在与更低层一起接收和解码时增强视频质量的一个或者多个增强层构成。为了提高用于增强层的编码效率，该层的编码表示可以依赖于更低层。每层与所有它的依赖层一起是视频信号在某个空间分辨率、时间分辨率、质量水平和/或其它类型的可伸缩性的操作点的一个表示。

当前考察和开发用于提供三维(3D)视频内容的各种技术。尤其是，密集研究已经被聚焦于各种多视图应用，其中查看者能够仅看见来自具体视点的一对立体视频和来自不同视点的另一对立体视频。用于这样的多视图应用的最可行方式之一已经证明是这样的方式，其中向解码器侧提供仅有限数目的输入视图(例如单一或者立体视频加上一些补充数据)，并且所有需要的视图然后被解码器本地渲染(即合成)以在显示器上被显示。

在对3D视频内容的编码中，可以使用视频压缩系统，诸如高级视频编码标准H.264/AVC或者H.264/AVC的多视图视频编码MVC 扩展。

发明内容

一些实施例提供用于执行反向视图合成预测的机制，其中基于用于视图的共同定位的深度/视差块形成用于相同视图的当前纹理块的视图合成预测块。一些实施例指定编码和解码操作集以及用于执行视图合成的操作集，该视图合成将允许用于回路内视图合成预测的基于块的、低复杂性的实施方式。在一些实施例中，选择第一视图的帧的当前块以用于编码，并且选择第一视图的帧的当前块以用于编码。获得与当前块的纹理块关联的测距信息。基于测距信息推导参考第二视图中的参考帧的视差信息，并且基于视差信息推导参考区域。通过使用参考区域以获得对当前块的预测来执行视图合成预测。

根据本发明的第一方面，提供一种方法，该方法包括：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行编码的参考块。

根据本发明的第二方面，提供一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

根据本发明的第三方面，提供一种计算机

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

根据本发明的第四方面，提供一种装置，该装置包括：

用于获得表示第一视图的第一纹理图片的第一未压缩的纹理块的部件；

用于获得与第一未压缩的纹理块关联的测距信息的部件；

用于基于测距信息推导参考第二视图中的参考帧的视差信息的部件；

用于基于视差信息获得第二视图的参考采样的部件；

用于通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行编码的参考块的部件。

根据本发明的第五方面，提供一种方法，该方法包括：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进行解码的参考块。

根据本发明的第六方面，提供一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

根据本发明的第七方面，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下项：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

根据本发明的第八方面，提供一种装置，该装置包括：

用于获得表示第一视图的第一纹理图片的第一编码的纹理块的部件；

用于获得与第一编码的纹理块关联的测距信息的部件；

用于基于视差信息获得第二视图的参考采样的部件；

用于通过使用参考采样来执行视图合成预测以获得用于对第一编码的纹理块进行解码的参考块的部件。

根据本发明的第九方面，提供一种视频编码器，其配置用于：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

通过使用参考采样来执行视图合成预测以获得用于对第一未压缩的纹理块进行解码的参考块。

根据本发明的第十方面，提供一种视频解码器，其配置用于：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

通过使用参考采样来执行视图合成预测以获得用于对第一编码缩的纹理块进行解码的参考块。

附图说明

为了更好地理解本发明，现在将通过示例的方式参照附图，在附图中：

图1示出立体相机设置的简化2D模型；

图2示出多视图相机设置的简化模型；

图3示出多视图自动立体显示器(ASD)的简化模型；

图4示出基于DIBR的3DV系统的简化模型；

图5图示视频加上深度数据的示例；

图6图示在第一和第二编码的视图中的纹理与深度图像之间的水平-竖直和视差对应的可视化；

图7a示出用作用于帧内预测的候选的当前编码的块的空间邻域；

图7b示出用作用于帧间预测的候选的当前编码的块的时间邻域；

图8示出具有视图合成功能的多视图视频编码器的示例为简化框图；

图9示出具有视图合成功能的多视图视频解码器的示例为简化框图；

图10示意地示出适合用于采用本发明的一些实施例的电子设备；

图11示意地示出适合用于采用本发明的一些实施例的用户设备；

图12进一步示意地示出使用无线和有线网络连接而连接的采用本发明的实施例的电子设备；

图13示出根据示例实施例的编码方法为流程图；以及

图14示出根据示例实施例的解码方法为流程图。

具体实施方式

为了理解本发明的各种方面和与之有关的实施例，以下简要地描述视频编码的一些密切有关的方面。

在这一节中描述H.264/AVC的一些关键定义、比特流和编码结构以及概念作为其中可以实施一些实施例的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。本发明的方面不限于 H.264/AVC，而是更确切地说对于本发明可以在其之上被部分地或者完全地实现的一个可能基础给出描述。

H.264/AVC标准由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)和国际标准化组织(ISO)/国际电工委员会(IEC)的移动图片专家组(MPEG)的联合视频团队(JVT)开发。H.264/AVC标准由两个母标准化组织发布，并且它被称为ITU-T 推荐H.264和ISO/IEC国际标准14496-10，还称为MPEG-4部分10 高级视频编码(AVC)。已经有H.264/AVC标准的多个版本，每个版本向该规范集成新扩展或者特征。这些扩展包括可伸缩视频编码 (SVC)和多视图视频编码(MVC)。

与许多更早的视频编码标准相似，在H.264/AVC中指定比特流语法和语义以及用于无错比特流的解码过程。未指定编码过程，但是编码器必须生成相符比特流。可以用在H.264/AVC的附录C中指定的假设参考解码器(HRD)验证比特流和解码器相符。该标准包含有助于应对传输错误和丢失的编码工具，但是在编码中使用工具是可选的，并且对于错误比特流尚未指定解码过程。

用于向H.264/AVC编码器的输入和H.264/AVC解码器的输出的基本单元是图片。图片可以是帧或者场。帧通常包括亮度采样和对应色度采样的矩阵。场在源信号被交织时是帧的交替采样行的集，并且可以用作编码器输入。宏块(MB)是16x16亮度采样块和对应色度采样块。块具有由在最高和最低采样行以及在最左和最右采样列处的采样构成的边界采样。可以例如在帧内预测中使用与正在编码或者解码的另一个块相邻的边界采样。色度图片在与亮度图片比较时可以被子采样。例如在4：2：0采样模式中，色度图片的空间分辨率是亮度图片沿着两个坐标轴的空间分辨率的一半，因而宏块包含每个色度分量的一个8x8色度采样块。图片被分割成一个或者多个分片组，并且分片组包含一个或者多个分片。分片由在特定分片组内的光栅扫描中连续地排序的整数数目的宏块构成。

用于H.264/AVC编码器的输出和H.264/AVC解码器的输入的基本单元是网络抽象层(NAL)单元。对部分地丢失或者破坏的NAL 单元的解码通常是困难的。为了通过面向分组的网络传送或者存储成结构化的文件，NAL单元通常被封装成分组或者相似结构。已经在H.264/AVC中为未提供成帧结构的传输或者存储环境指定字节流格式。字节流格式通过在每个NAL单元前面附着开始码来将NAL 单元相互分离。为了避免错误检测NAL单元边界，编码器运行面向字节的开始码仿真预防算法，如果开始码原本会出现，则该算法向 NAL单元有效载荷添加仿真预防字节。为了实现在面向分组与面向流的系统之间的简单直接网关操作，无论是否使用字节流格式，总是执行开始码仿真预防。

H.264/AVC如同许多其它视频编码标准允许将编码的图片拆分成分片。跨分片边界禁用图片内预测。因此，分片可以视为一种用于将编码的图片拆分成独立地可解码件的方式，并且分片因此是用于传输的基本单元。

H.264/AVC的一些配置文件实现每编码的图片使用多达八个分片组。在使用多于一个分片组时，图片被分割成在使用宏块自适应帧场(MBAFF)编码时等于两个竖直地连续宏块而否则等于宏块的分片组映射单元。图片参数集包含数据，基于该数据，图片的每个分片组映射单元与特定分片组关联。分片组可以包含任何分片组映射单元，从而包括非相邻映射单元。在为图片指定多于一个分片组时，使用该标准的灵活宏块排序(FMO)特征。

在H.264/AVC中，分片由按照光栅扫描顺序的在特定分片组内的一个或者多个连续宏块(或者在使用MBAFF时的宏块对)构成。如果使用仅一个分片组，则H.264/AVC分片包含按照光栅扫描顺序的连续宏块并且因此与在许多先前编码标准中的分片相似。在H.264/AVC的一些配置文件中，编码的图片的分片可以在比特流中相对于彼此按照任何顺序出现，这称为任意分片排序(ASO)特征。否则，分片必须在比特流中按照光栅扫描顺序。

NAL单元由报头和有效载荷构成。NAL单元报头指示NAL单元的类型和在NAL单元中包含的编码的分片是参考图片还是非参考图片的部分。用于SVC和MVC NAL单元的报头另外包含与可伸缩性和多视图分级有关的各种指示。

H.264/AVC的NAL单元可以被分类为视频编码层(VCL)NAL 单元和非VCL NAL单元。VCL NAL单元是编码的分片NAL单元、编码的分片数据分割NAL单元或者VCL前缀NAL单元。编码的分片NAL单元包含表示一个或者多个编码的宏块的语法元素，每个编码的宏块对应于在未压缩的图片中的采样块。有四种类型的编码的分片NAL单元：在瞬时解码刷新(IDR)图片中的编码的分片、在非IDR图片中的编码的分片、辅助编码的图片(比如阿尔法平面) 的编码的分片和编码的分片扩展(对于未在基础层中的SVC分片或者未在基础视图中的MVC分片)。三个编码的分片数据分割NAL 单元集包含与编码的分片相同的语法元素。编码的分片数据分割A 包括分片的宏块报头和运动矢量，而编码的分片数据分割B和C包括分别用于帧内宏块和帧间宏块的编码的残值数据。注意仅在 H.264/AVC的一些配置文件中包括对于分片数据分割的支持。VCL 前缀NAL单元先于SVC和MVC比特流中的基础层的编码的分片并且包含关联编码的分片的可伸缩性分级的指示。

H.264/AVC的非VCL NAL单元可以是以下类型之一：序列参数集、图片参数集、补充增强信息(SEI)NAL单元、访问单元定界符、序列结束NAL单元、流结束NAL单元或者填充符数据NAL单元。参数集对于重构解码的图片是必不可少的，而其它非VCL NAL单元对于重构解码的采样值不是必需的并且服务于以下呈现的其它目的。

在序列参数集中包括遍及编码的视频序列保持不变的许多参数。除了解码过程必不可少的参数之外，序列参数集还可以可选地包含视频可用性信息(VUI)，该VUI包括对于缓冲、图片输出定时、渲染和资源保留而言重要的参数。图片参数集包含可能在若干编码的图片中不变的这样的参数。无图片报头存在于H.264/AVC比特流中，但是频繁地改变的图片级数据在每个分片报头中被重复，并且图片参数集携带其余图片级参数。H.264/AVC语法允许序列和图片参数集的许多实例，并且每个实例用唯一标识符来标识。每个分片报头包括对于对包含分片的图片的解码而言活跃的图片参数集的标识符，并且每个图片参数集包含活跃序列参数集的标识符。因而，图片和序列参数集的传输无需与分片的传输准确地同步。取而代之，活跃序列和图片参数集在它们被引用之前的任何时刻被接收就足够了，这允许使用与用于分片数据的协议比较的更可靠传输机制来传输参数集。例如可以包括参数集作为在用于H.264/AVC实时传送协议(RTP)会话的会话描述中的参数。如果带内传输参数集，则可以重复它们以提高错误健壮性。

H.264/AVC的SEI NAL单元包含一个或者多个SEI消息，该一个或者多个SEI消息不是对输出图片的解码所必需的、但是辅助有关过程(比如图片输出定时、渲染、错误检测、错误隐藏和资源保留)。在H.264/AVC中指定若干SEI消息，并且用户数据SEI消息使组织和公司能够指定用于它们自己使用的SEI消息。H.264/AVC 包含用于指定的SEI消息的语法和语义，但是未定义用于在接收者中处置消息的过程。因而，要求编码器在它们创建SEI消息时遵循 H.264/AVC标准，并且未要求与H.264/AVC标准相符的解码器为了输出顺序相符而处理SEI消息。在H.264/AVC中包括SEI消息的语法和语义的原因之一是允许不同系统规范等同地解释补充信息并且因此互操作。旨在于系统规范可以要求在编码端中和在解码端中均使用特定SEI消息，并且另外可以指定用于在接收者中处置特定SEI 消息的过程。

在H.264/AVC中的编码的图片由对图片的解码所需要的VCL NAL单元构成。编码的图片可以是主要编码图片或者冗余编码图片。在有效比特流的解码过程中使用主要编码图片，而冗余编码图片是应当仅在主要编码图片不能被成功地解码时被解码的冗余表示。

在H.264/AVC中，访问单元由主要编码图片和与它关联的那些 NAL单元构成。约束NAL单元在访问单元内的出现顺序如下。可选访问单元定界符NAL单元可以指示访问单元的开始。随后是零个或者更多SEI NAL单元。主要编码图片的编码分片或者分片数据分割接着出现，随后是用于零个或者更多冗余编码图片的编码分片。

定义在MVC中的访问单元为按照解码顺序连续的NAL单元集，并且确切包含由一个或者多个视图分量构成的一个主要编码图片。除了主要编码图片之外，访问单元还可以包含一个或者多个冗余编码图片、一个辅助编码图片或者不含编码的图片的分片或者分片数据分割的其它NAL单元。对访问单元的解码总是产生由一个或者多个解码的视图分量构成的一个解码的图片。换而言之，在MVC中的访问单元包含用于一个输出时间实例的视图的视图分量。

在MVC中的视图分量称为在单个访问单元中的视图的编码表示。

视图间预测可以在MVC中被使用并且是指从相同访问单元的不同视图分量的解码采样预测视图分量。在MVC中，与帧间预测相似地实现视图间预测。例如视图间参考图片被置于与用于帧间预测的参考图片相同的参考图片列表中，并且参考索引以及运动矢量对于视图间和帧间参考图片被相似地编码或者推断。

在MVC中的锚图片是编码的图片，在该编码的图片中，所有分片可以仅参考在相同访问单元内的分片，即可以使用视图间预测，但是未使用帧间预测，并且按照输出顺序的所有后继编码的图片未使用从按照解码顺序在编码的图片之前的任何图片的帧间预测。视图间预测可以用于IDR视图分量，这些IDR视图分量是非基础视图的部分。在MVC中的基础视图是在编码的视频序列中具有最小视图顺序索引值的视图。基础视图可以独立于其它视图而解码并且未使用视图间预测。基础视图可以由仅支持单视图配置文件(比如 H.264/AVC的基线配置文件或者高配置文件)的H.264/AVC解码器解码。

在MVC标准中，MVC解码过程的子过程中的许多子过程通过分别用“视图分量”、“帧视图分量”和“场视图分量”替换在H.264/AVC 标准的子过程规范中的术语“图片”、“帧”和“场”来使用H.264/AVC 标准的相应子过程。同样地，术语“图片”、“帧”和“场”经常在下文中用来分别意指“视图分量”、“帧视图分量”和“场视图分量”。

定义编码的视频序列为按照从IDR访问单元(包括IDR访问单元)到无论哪个更早出现的下一IDR访问单元(不含下一IDR访问单元)或者到比特流的结束这一解码顺序的连续访问单元的序列。

可以定义图片组(GOP)及其特性如下。GOP无论任何先前图片是否被解码都可以被解码。开放GOP是这样的图片组，在该图片组中，按照输出顺序在初始帧内图片之前的图片可能在解码从开放 GOP的初始帧内图片开始时不可正确地解码。换而言之，开放GOP 的图片可以引用(在帧间预测时)属于先前GOP的图片。H.264/AVC 解码器可以从在H.264/AVC比特流中的恢复点SEI消息识别开始开放GOP的帧内图片。封闭GOP是这样的图片组，在该图片组中，所有图片可以在解码从封闭GOP的初始帧内图片开始时被正确地解码。换而言之，在封闭GOP中的图片未引用在先前GOP中的任何图片。在H.264/AVC中，封闭GOP从IDR访问单元开始。作为结果，封闭GOP结构与开放GOP结构比较而言具有更多错误恢复可能性，然而代价是可能压缩效率降低。开放GOP编码结构由于在选择参考图片时的更大灵活性而在压缩时潜在地更高效。

H.264/AVC的比特流语法指示特定图片是否为用于任何其它图片的帧间预测的参考图片。任何编码类型(I、P、B、SP)的图片可以是在H.264/AVC中的参考图片或者非参考图片。NAL单元报头指示NAL单元的类型和在NAL单元中包含的编码的分片是参考图片还是非参考图片的部分。

有用于指定高效率视频编码(HEVC)标准的正在进行的视频编码标准化项目。HEVC的关键定义、比特流和编码结构以及概念中的许多关键定义、比特流和编码结构以及概念与H.264/AVC的关键定义、比特流和编码结构以及概念相同或者相似。在这一节中描述HEVC的一些关键定义、比特流和编码结构以及概念作为其中可以实施一些实施例的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。本发明的方面不限于HEVC，而是更确切地说，对于本发明可以在其之上被部分地或者完全地实现的一个可能基础给出描述。

与H.264/AVC相似地，HEVC比特流由多个访问单元构成，每个访问单元包括与图片关联的编码的数据。每个访问单元被划分成 NAL单元，从而包括一个或者多个VCL NAL单元(即编码的分片 NAL单元)和零个或者更多非VCL NAL单元，例如参数集NAL单元或者补充增强信息(SEI)NAL单元。每个NAL单元包括NAL单元报头和NAL单元有效载荷。在草案HEVC标准中，两字节NAL 单元报头用于所有指定的NAL单元类型。NAL单元报头的第一字节包含一个保留位、一位指示nal_ref_idc(主要地指示在这一访问单元中携带的图片是参考图片还是非参考图片)和六位NAL单元类型指示。NAL单元报头的第二字节包括用于时间级的三位temporal_id指示和在草案HEVC标准中需要具有等于1的值的五位保留字段(称为reserved_one_5bits)。预计五位保留字段被诸如将来可伸缩和3D 视频扩展之类的扩展所使用。预计这些五位将携带关于可伸缩性分级的信息，比如quality_id等、dependency_id等、任何其它类型的层标识符、视图顺序索引等、视图标识符、与SVC的priority_id——如果从比特流去除大于指定标识符值的所有NAL单元，则priority_id 指示有效子比特流提取——相似的标识符。不失一般性，在一些示例实施例中，从reserved_one_5bits的值推导变量LayerId例如如下： LayerId＝reserved_one_5bits–1。

在草案HEVC标准中，定义用于图片分割的一些关键定义和概念如下。定义分割为将集划分成子集，从而集的每个元素确切地在子集之一中。

可以将视频图片划分成覆盖图片的区域的编码单元(CU)。编码单元由定义用于在编码单元内的采样的预测过程的一个或者多个预测单元(PU)和定义用于在编码单元中的采样的预测误差编码过程的一个或者多个变换单元(TU)构成。编码单元可以由具有从可能编码单元大小的预定义集可选择的大小的采样方块构成。具有最大允许大小的编码单元可以命名为最大编码单元(LCU)，并且视频图片可以被划分成非重叠最大编码单元。最大编码单元可以例如通过递归地拆分最大编码单元和所得编码单元来进一步拆分成更小编码单元的组合。每个所得编码单元可以具有至少一个预测单元和与它关联的至少一个变换单元。每个预测单元和变换单元分别可以进一步被拆分成更小的预测单元和变换单元，以便增加预测过程和预测误差编码过程的粒度。每个预测单元具有与它关联的预测信息，该预测信息定义什么种类的预测将应用于在该预测单元内的像素 (例如用于帧间预测的预测单元的运动矢量信息和用于帧内预测的预测单元的帧内预测方向性信息)。相似地，每个变换单元与如下信息关联，该信息描述用于在变换单元内的采样的预测误差解码过程(包括例如DCT系数信息)。可以在编码单元级用信号发送，预测误差编码是否应用于每个编码单元。在无与编码单元关联的预测误差残值的情况下，可以认为无用于编码单元的变换单元。可以在比特流中用信号发送将图像划分成编码单元以及将编码单元划分成预测单元和变换单元，从而允许解码器再现这些单元的既定结构。

包括H.264/AVC和HEVC的许多混合视频编码解码器在两个阶段中对视频信息进行编码。在第一阶段中，预测在某个图片区域或者“块”中的像素或者采样值。例如可以通过运动补偿机制预测这些像素或者采样值，这些运动补偿机制涉及到发现和指示在先前编码的视频帧之一中的与正在编码的块密切对应的区域。此外，可以通过涉及到发现和指示空间区域关系的空间机制预测像素或者采样值。

使用来自先前编码的图像的图像信息的预测方式还可以称为帧间预测方法，这些帧间预测方法还可以称为时间预测和运动补偿。使用在相同图像内的图像信息的预测方式还可以称为帧内预测方法。

第二阶段是对在预测的像素或者采样块与原有像素或者采样块之间的误差进行编码的阶段。这可以通过使用指定的变换对像素或者采样值的差值进行变换来实现。这一变换可以是离散余弦变换 (DCT)或者其变体。在变换差值之后，变换的差值被量化和熵编码。

通过变化量化过程的保真性，编码器可以控制在像素或者采样表示的准确性(即图片的可视质量)与所得编码的视频表示的大小 (例如文件大小或者传输比特率)之间的平衡。

解码器通过应用与编码器为了形成像素或者采样块的预测的表示而使用的预测机制相似的预测机制(使用由编码器创建的并且在图像的压缩表示中存储的运动或者空间信息)和预测误差解码(预测误差编码的的逆操作，以在空间域中恢复量化的预测误差信号) 来重构输出视频。

在应用像素或者采样预测和误差解码过程之后，解码器组合预测和预测误差信号(像素或者采样值)以形成输出视频帧。

解码器(和编码器)还可以应用附加滤波过程，以便在传递输出视频用于显示和/或存储为用于在视频序列中的即将来临的图片的预测参考之前，改善输出视频的质量。

在包括H.264/AVC和HEVC的许多视频编码解码器中，运动信息用与每个运动补偿的图像块关联的运动矢量来指示。这些运动矢量中的每个运动矢量表示在待编码(在编码器侧中)或者待解码(在解码器侧中)的图片中的图像块和在先前编码或者解码的图片之一中的预测源块的位移。H.264/AVC和HEVC如同许多其它视频压缩标准将图片划分成矩形网格，对于这些矩形中的每个矩形，指示在参考图片之一中的相似块用于帧间预测。预测块的位置被编码为运动矢量，该运动矢量指示预测块与正在编码的块比较的定位。为了高效地表示运动矢量，它们可以相对于块专属预测的运动矢量来差分地编码。在许多视频编码解码器中，以预定义的方式、例如通过计算相邻块的编码或者解码的运动矢量的中值来创建预测的运动矢量。用于创建运动矢量预测的另一方式是从相邻块和/或在时间参考图片中的共同定位的块生成候选预测的列表并且用信号发送选择的候选作为运动矢量预测符。除了预测运动矢量值之外，还可以预测先前编码/解码的图片的参考索引。可以从相邻块和/或从在时间参考图片中的共同定位的块预测参考索引。另外，许多高效率视频编码解码器采用常称为合并化/合并模式的附加运动信息编码/解码机制，其中预测和使用所有运动场信息——该运动场信息包括运动矢量和用于每个可用参考图片列表的对应参考图片索引——而无任何修改/ 校正。相似地，使用相邻块和/或在时间参考图片中的共同定位的块的运动场信息来执行预测运动场信息，并且在用可用相邻/共同定位的块的运动场信息填充的运动场候选列表之中用信号发送使用的运动场信息。

可以使用以下因素中的一个或者多个因素来表征帧间预测过程。

运动矢量表示的准确度。例如运动矢量可以具有四分之一像素准确度，并且可以使用有限冲激响应(FIR)滤波器来获得在分数像素定位中的采样值。

用于帧间预测的块分割。包括H.264/AVC和HEVC的许多编码标准允许选择块——对于该块应用运动矢量以用于在编码器中的运动补偿——的大小和形状，并且在比特流中指示选择的大小和形状，从而解码器可以再现在编码器中完成的运动补偿预测。

用于帧间预测的参考图片数目。帧间预测的源是先前解码的图片。包括H.264/AVC和HEVC的许多编码标准实现存储用于帧间预测的多个参考图片和在块基础上选择使用的参考图片。例如可以在 H.264/AVC中在宏块或者宏块分割基础上和在HEVC中在PU或者 CU基础上选择参考图片。诸如H.264/AVC和HEVC之类的许多编码标准在比特流中包括语法结构，这些语法结构使解码器能够创建一个或者多个参考图片列表。指向参考图片列表的参考图片索引可以用来指示多个参考图片中的哪个参考图片用于特定块的帧间预测。参考图片索引可以在一些帧间编码模式中由编码器编码到比特流中，或者它可以在一些其它帧间编码模式中(由编码器和解码器) 例如使用邻近块来推导。

运动矢量预测。为了在比特流中高效地表示运动矢量，运动矢量可以相对于块专属预测的运动矢量来差分地编码。在许多视频编码解码器中，以预定义的方式、例如通过计算相邻块的编码或者解码的运动矢量的中值来创建预测的运动矢量。用于创建运动矢量预测的另一方式是从相邻块和/或在时间参考图片中的共同定位的块生成候选预测的列表并且用信号发送选择的候选作为运动矢量预测符。除了预测运动矢量值之外，还可以预测先前编码/解码的图片的参考索引。通常从相邻块和/或在时间参考图片中的共同定位的块预测参考索引。通常跨分片边界禁用对运动矢量的差分编码。

多假设运动补偿预测。H.264/AVC和HEVC实现在P分片(本文中称为单预测分片)中使用单个预测块或者将两个运动补偿预测块的线性组合用于还称为B分片的双预测分片。在B分片中的个体块可以被双预测、单预测或者帧内预测，并且在P分片中的个体块可以被单预测或者帧内预测。用于双预测图片的参考图片不限于按照输出顺序的后续图片和先前图片，而是可以使用任何参考图片。

在诸如H.264/AVC和HEVC之类的许多编码标准中，为P和SP 分片构造称为参考图片列表0的一个参考图片列表，并且为B分片构造列表0和列表1这两个参考图片列表。对于B分片，即使用于预测的参考图片可以具有与彼此或者当前图片的任何解码或者输出顺序关系，在向前方向上的预测可以是指从在参考图片列表0中的参考图片预测，而在向后方向上的预测可以是指从在参考图片列表1 中的参考图片预测。在一些实施例中，在回放或者输出顺序中比当前图片更早的参考图片根据递减顺序被放入列表0中，而比当前图片更晚的参考图片根据递增顺序被放入列表1中。参考图片可以根据在参考图片与当前图片之间的距离来排序。

由于多视图视频向编码解码器提供利用视图间冗余性的可能性，所以也可以在参考图片缓冲器中包括解码的视图间帧。加权预测。许多编码标准将预测权重1用于帧间(P)图片的预测块而0.5 用于B图片的每个预测块(导致平均化)。H.264/AVC允许用于P 和B分片两者的加权预测。在隐式加权预测中，权重与图片顺序计数成比例，而在显式加权预测中，显式地指示预测权重。

在许多视频编码解码器中，在运动补偿之后的预测残值先用变换内核(比如DCT)来变换、然后被编码。这一点的原因是，在残值之中经常仍存在一些相关性并且变换可以在许多情况下帮助减少这一相关性并且提供更高效编码。

在草案HEVC中，每个PU具有与它关联的预测信息，该预测信息定义什么种类的预测将应用于在该PU内的像素(例如用于帧间预测的PU的运动矢量信息和用于帧内预测的PU的帧内预测方向性信息)。相似地，每个TU与如下信息关联，该信息描述用于在所述 TU内的采样的预测误差解码过程(包括例如DCT系数信息)。通常在CU级用信号发送，预测误差编码是否应用于每个CU。在无与 CU关联的预测误差残值的情况下，可以认为没有用于所述CU的TU。

在诸如H.264/AVC和HEVC之类的视频编码标准中的许多语法元素在编码器中被熵编码和在解码器中被熵解码。熵编码可以例如使用上下文自适应二进制算术编码(CABAC)、基于上下文的可变长度编码、霍夫曼(Huffman)编码或者任何相似熵编码来完成。

许多视频编码器利用拉格朗日(Lagrangian)代价函数以发现率失真最优编码模式，例如希望的宏块模式和关联运动矢量。这一类型的代价函数使用加权因子或者λ以将由于有损编码方法所致的确切或者估算的图像失真和为了表示在图像区域中的像素/采样值而需要的确切或者估算的信息量连结在一起。拉格朗日代价函数可以由下式表示：

C＝D+λR

其中C是待最小化的拉格朗日代价，D是当前考虑的模式和运动矢量的图像失真(例如在原有图像块中和在编码的图像块中的像素/采样值之间的均方误差)，λ是拉格朗日系数，并且R是为了表示用于在解码器中重构图像块的所需数据(包括为了表示候选运动矢量的数据量)而需要的位数。

在一些编码格式和编码解码器中，在所谓短期与长期参考图片之间进行区分。这一区分可以影响一些解码过程，比如在时间直接模式中的运动矢量伸缩或者隐式加权预测。如果用于时间直接模式的使用的参考图片二者均是短期参考图片，则可以根据在当前图片与参考图片中的每个参考图片之间的POC差值伸缩在预测中使用的运动矢量。然而，如果用于时间直接模式的至少一个参考图片是长期参考图片，则使用运动矢量的默认伸缩，例如可以使用将运动伸缩至一半。相似地，如果短期参考图片用于隐式加权预测，则可以根据在当前图片的POC与参考图片的POC之间的POC差值伸缩预测权值。然而，如果长期参考图片用于隐式加权预测，则可以使用默认预测权值，比如在用于双预测块的隐式加权预测中的0.5。

诸如H.264/AVC之类的一些视频编码格式包括frame_num语法元素，该语法元素用于与多个参考图片有关的各种解码过程。在 H.264/AVC中，用于IDR图片的frame_num的值是0。用于非IDR 图片的frame_num的值等于按照解码顺序被递增1的先前参考图片的frame_num(在模算术中，即在frame_num的最大值之后卷绕至0 的frame_num值)。

H.264/AVC和HEVC包括图片顺序计数(POC)概念。POC的值是对于每个图片而推导的，并且在输出顺序中随着图片定位的增加而未减少。POC因此指示图片的输出顺序。POC可以在解码过程中例如用于在双预测分片的时间直接模式中的运动矢量的隐式伸缩、用于在加权预测中的隐式地推导的权值和用于参考图片列表初始化。另外，可以在验证输出顺序相符时使用POC。在H.264/AVC 中，相对于先前IDR图片或者如下图片指定POC，该图片包含存储器管理控制操作，该存储器管理控制操作标记所有图片为“未用于参考”。

H.264/AVC指定用于解码的参考图片标记的过程，以便控制在解码器中的存储器消耗。在序列参数集中确定称为M的用于帧间预测的参考图片的最大数目。在参考图片被解码时，标记它为“用于参考”。如果对参考图片的解码引起多于M个图片被标记为“用于参考”，则标记至少一个图片为“未用于参考”。有用于解码的参考图片标记的两个操作类型：自适应存储器控制和滑动窗。在图片基础上选择用于解码的参考图片标记的操作模式。自适应存储器控制实现用信号显式发送哪些图片被标记为“未用于参考”，并且还可以向短期参考图片指派长期索引。自适应存储器控制要求在比特流中存在存储器管理控制操作(MMCO)参数。如果使用滑动窗操作模式并且有标记为“用于参考”的M个图片，则在标记为“用于参考”的那些短期参考图片之中是第一解码的图片的短期参考图片被标记为“未用于参考”。换而言之，滑动窗操作模式产生在短期参考图片之中的先入先出缓冲操作。

在H.264/AVC中的存储器管理控制操作之一使除了当前图片之外的所有参考图片被标记为“未用于参考”。瞬时解码刷新(IDR)图片仅包含帧内编码的分片并且引起参考图片的相似“重置”。

在草案HEVC标准中，未使用参考图片标记语法结构和有关解码过程，但是取而代之，参考图片集(RPS)语法结构和解码过程代之以用于相似目的。对于图片有效或者活跃的参考图片集包括作为参考用于该图片的所有参考图片和对于按照解码顺序的任何后续图片保持标记为“用于参考”的所有参考图片。有参考图片集的即称为 RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、 RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll的六个子集。六个子集的注解如下。“Curr”是指在当前图片的参考图片列表中包括的参考图片并且因此可以作为帧间预测参考用于当前图片。“Foll”是指未在当前图片的参考图片列表中包括的参考图片，但是可以在按照解码顺序的后续图片中用作参考图片。“St”是指短期参考图片，这些短期参考图片一般可以通过它们的POC值的某个数目的最低有效位来标识。“Lt”是指长期参考图片，这些长期参考图片被具体地标识并且一般具有比提到的某个数目的最低有效位可以表示的POC值差值更大的相对于当前图片的POC值差值。“0”是指具有比当前图片的 POC值更小的POC值的那些参考图片。“1”是指具有比当前图片的 POC值更大的POC值的那些参考图片。RefPicSetStCurr0、 RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考图片集的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考图片集的长期子集。

在HEVC中，可以在序列参数集中指定并且通过指向参考图片集的索引在分片报头中使用参考图片集。还可以在分片报头中指定参考图片集。一般仅在分片报头中指定参考图片集的长期子集，而可以在图片参数集或者分片报头中指定相同参考图片集的短期子集。参考图片集可以被独立地编码或者可以从另一参考图片集来预测(称为RPS间预测)。在参考图片集被独立地编码时，语法结构包括对不同类型的参考图片迭代的多达三个回路：具有比当前图片更低的POC值的短期参考图片、具有比当前图片更高的POC值的短期参考图片和长期参考图片。每个回路条目指定将标记为“用于参考”的图片。一般而言，图片用差分POC值来指定。RPS间预测利用如下事实，可以从先前解码图片的参考图片集预测当前图片的参考图片集。这是因为当前图片的所有参考图片是先前图片的参考图片或者先前解码的图片本身。仅有必要指示这些图片中的哪些图片应当是参考图片和用于当前图片的预测。在两个类型的参考图片集编码中，还为每个参考图片发送标志(used_by_curr_pic_X_flag)，该标志指示参考图片是(被包括在*Curr列表中)否(被包括在*Foll 列表中)由当前图片用于参考。在当前分片使用的参考图片集中包括的图片被标记为“用于参考”，并且未在当前分片使用的参考图片集中的图片被标记为“未用于参考”。如果当前图片是IDR图片，则 RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、 RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFol1都被设置成空。

可以在编码器中和/或在解码器中使用解码的图片缓冲器 (DPB)。缓冲解码的图片有用于在帧间预测中的参考和用于将解码的图片重新排序成输出顺序这两个原因。由于H.264/AVC和 HEVC为参考图片标记和输出重新排序二者提供大量灵活性，所以用于参考图片缓冲和输出图片缓冲的分离缓冲器可能浪费存储器资源。因此，DPB可以包括用于参考图片和输出重新排序的统一的解的图片缓冲过程。解码的图片可以在它不再用作参考并且无需输出时从DPB被去除。

在H.264/AVC和HEVC的许多编码模式中，用指向参考图片列表的索引指示用于帧间预测的参考图片。可以用可变长度编码对索引进行编码，该可变长度编码通常使更小索引具有用于对应语法元素的更短值。在H.264/AVC和HEVC中，为每个双预测(B)分片生成两个参考图片列表(参考图片列表0和参考图片列表1)，并且为每个帧间编码(P)分片形成一个参考图片列表(参考图片列表0)。此外，对于在HEVC中的B分片，在已经构造最终参考图片列表(列表0和列表1)之后，构造还称为合并列表的组合的列表(列表C)。组合的列表可以用于在B分片内的单预测(还称为单向预测)。

通常在两个步骤中构造参考图片列表(比如参考图片列表0和参考图片列表1)：首先，生成初始参考图片列表。可以例如基于 frame_num、POC、temporal_id或者诸如GOP结构之类的关于预测分级的信息、或者其任何组合生成初始参考图片列表。其次，可以按照可以在分片报头中包含的还称为参考图片列表修改语法结构的参考图片列表重新排序(RPLR)命令，对初始参考图片列表重新排序。RPLR命令指示向相应参考图片列表的开头排序的图片。这一第二步骤也可以称为参考图片列表修改过程，并且可以在参考图片列表修改语法结构中包括RPLR命令。如果使用参考图片集，则可以初始化参考图片列表0以先包含RefPicSetStCurr0、跟随有 RefPicSetStCurr1、跟随有RefPicSetLtCurr。可以初始化参考图片列表1以先包含RefPicSetStCurr1、跟随有RefPicSetStCurr0。可以通过参考图片列表修改语法结构修改初始参考图片列表，其中可以通过指向列表的条目索引标识在初始参考图片列表中的图片。

由于多视图视频向编码器和解码器提供用于利用视图间冗余性的可能性，所以也可以在参考图片列表中包括解码的视图间帧。

可以构造HEVC中的组合的列表如下。如果用于组合的列表的修改标志是零，则通过隐式机制构造组合的列表；否则，通过在比特流中包括的参考图片组合命令构造它。在隐式机制中，在列表C 中的参考图片以从列表0的第一条目开始、随后是列表1的第一条目等等的交织方式被映射到来自列表0和列表1的参考图片。已经在列表C中映射的任何参考图片未被再次映射。在显式机制中，用信号发送列表C中的条目数目，随后是从列表0或者列表1中的条目到列表C的每个条目的映射。此外，在列表0和列表1完全相同时，编码器具有如下选项，该选项是设置ref_pic_list_combination_flag 为0，以指示来自列表1的参考图片未被映射，并且列表C等效于列表0。

诸如草案HEVC编码解码器之类的典型高效率视频编码解码器采用常称为合并化/合并模式/过程/机制的附加运动信息编码/解码机制，其中预测和使用块/PU的所有运动信息而无任何修改/校正。用于PU的前述运动信息包括1)是否‘PU仅使用参考图片列表0来单预测’或者‘PU仅使用参考图片列表1来单预测’或者‘PU使用参考图片列表0和列表1二者来双预测’的信息、2)与参考图片列表0对应的运动矢量值、3)在参考图片列表0中的参考图片索引、4)与参考图片列表1对应的运动矢量值、5)在参考图片列表1中的参考图片索引。相似地，预测运动信息是使用相邻块和/或在时间参考图片中的共同定位的块的运动信息来执行的。通常，常称为合并列表的列表通过包括与可用相邻/共同定位的块关联的运动预测候选来构造，并且用信号发送列表中的选择的运动预测候选的索引。然后，选择的候选的运动信息被复制到当前PU的运动信息。在合并机制被采用用于整个CU并且用于CU的预测信号用作重构信号、即预测残值未被处理时，这一类型的对CU进行编码/解码通常称为跳过模式或者基于合并的跳过模式。除了跳过模式之外，合并机制还被采用用于个体PU(未必如在跳过模式中的整个CU)，并且在这一情况下，预测残值可以用来提高预测质量。这一类型的预测模式通常命名为合并间模式。

用于参考图片标记的语法结构可以在视频编码系统中存在。例如在已经完成对图片的解码时，解码的参考图片标记语法结构如果存在则可以用来自适应地标记图片为“未用于参考”或者“用于长期参考”。如果解码的参考图片标记语法结构不存在并且标记为“用于参考”的图片的数目不再能够增加，则可以使用基本上标记最早(按照解码顺序)解码的参考图片为未用于参考的滑动窗参考图片标记。

在H.264/AVC及其MVC扩展中指定的运动矢量(MV)预测利用可以在相同图像的邻近块中(空间相关性)或者在先前编码的图像中(时间相关性)存在的相关性。图7a示出当前编码的块(cb) 的空间邻域，并且图7b示出当前编码的块的时间邻域，该邻域用作为用于H.264/AVC中的运动矢量预测的候选。

当前块cb的运动矢量可以通过运动估算和运动补偿过程来估算，并且可以用差分脉冲码调制(DPCM)来编码而且以在运动矢量预测(MVp)与实际运动矢量MV之间的残值的形式被传输为MVd(x, y)＝MV(x,y)–MVp(x,y)。

可以计算紧接在当前分割或者子分割上方(块B)、对角地在当前分割或者子分割上方和右侧(块C)、以及紧接在当前分割或者子分割左侧(块A)的宏块分割或者子分割的运动矢量的中间值。

在一些实施例中，可以指定运动矢量预测MVp估算如下：

在空间邻近块(A，B，C)中的仅一个空间邻近块具有与当前块完全相同的参考索引时，那么MVp＝mvLXN(1)

在多于一个或者无邻近块(A，B，C)具有与当前块完全相同的参考索引时，那么MVp＝median{mvLXA,mvLXB,mvLXC}，(2)

其中mvLXA、mvLXB、mvLXC是空间邻近块的运动矢量(无参考帧id)。

在一些情形中，可以利用P_SKIP模式或者B_SKIP模式。在 P_SKIP模式中，当前块的参考帧索引总是0，并且利用的列表是第一列表0(refIdxL0＝0)。运动矢量通过仅使用紧接在当前块左侧 (块A)和紧接在当前块上方(块B)的块来估算。如果紧接在左侧和紧接在上方的块不存在，则选择零值运动矢量预测MVp。由于在P_SKIP模式中无MV＝MVp，所以未传输运动矢量差值dMV。

在B_SKIP模式中，可以利用两个运动矢量预测估算过程：空间直接模式，其中如图7a中所示从空间邻近块计算运动矢量预测；或者时间直接模式，其中如图7b中所示从时间邻近块计算运动矢量预测。

运动矢量预测过程包括对以下值的估算：

a.参考索引refIdxL0、refIdxL1

b.运动矢量mvL0和mvL1。

在空间直接模式中，对于两个参考图片列表(参考图片列表0、参考图片列表1)独立地运行参考索引预测和运动矢量预测的过程。在每个列表中选择最小正参考索引，并且运动矢量预测过程应用于每个参考图片列表以产生mvpL0和mvpL1。

运动矢量预测mvpLX的每个分量由运动矢量mvLXA、mvLXB 和mvLXC的对应矢量分量的中值给定：

mvpLX[0]＝Median(mvLXA[0],mvLXB[0],mvLXC[0])

mvpLX[1]＝Median(mvLXA[1],mvLXB[1],mvLXC[1]).

在时间直接模式中，可以通过对来自邻近(在时间方向上)块的运动矢量的时间插值来计算当前块到列表0和列表1的运动矢量。可以利用从当前帧到参考帧的图片顺序计数(POC)距离作为差值因子。

MV0＝MVc*(TDb/TDd)

MV1＝MVc*(TDb-TDD)/TDd，

其中TDb是在当前帧与在列表0中的参考帧之间的图片顺序计数距离；TDd是在列表0和列表1中的参考帧之间的图片顺序计数距离；并且MVc是来自参考图片列表0的共同定位的块的运动矢量。

接着，为了更好地理解本发明的实施例，简要地描述三维(3D) 多视图应用的一些方面以及与之密切有关的深度和视差信息的概念。

立体视频内容由向查看者的左和右眼分离地示出的偏移图像对构成。这些偏移图像用具体立体相机设置来捕获，并且假设在相机之间的特定立体基线距离。

图1示出这样的立体相机设置的简化2D模型。在图1中，C1 和C2是指立体相机设置的相机，更具体地是指相机的中心位置，b 是在两个相机的中心之间的距离(即立体基线)，f是相机的焦距，并且X是在真实3D场景中的正在捕获的物体。真实世界物体X被投影到在相机C1和C2捕获的图像中的不同位置，这些位置分别是 x1和x2。在图像的按照绝对坐标的x1与x2之间的水平距离称为视差。相机设置所捕获的图像称为立体图像，并且在这些图像中呈现的视差创建或者增强深度感。为了使图像能够向查看者的左和右眼被分离地示出，可能需要查看者使用指定3D眼镜。对视差的适配是用于调整立体视频内容以在各种显示器上舒适地可查看的关键特征。

然而视差适配不是简单直接的过程。它需要让附加相机视图有不同基线距离(即b可变)或者渲染在真实世界中不可用的虚拟相机视图。图2示出与这一解决方案相适的这样的多视图相机设置的简化模型。这一设置能够提供用若干用于立体基线的离散值捕获的立体视频内容，并且因此允许立体显示器选择与查看条件相适的一对相机。

用于3D视觉的更高级方式是具有无需眼镜的多视图自动立体显示器(ASD)300。ASD一次发射多于一个视图，但是该发射以如图3所示查看者从具体视点仅看见立体对这样的方式被局限在空间中，其中在注视最右视点时在视图的中间看见房屋。另外，查看者能够从不同视点看见另一立体对，例如在图3中在注视最左视点时在视图的右边界看见房屋。因此，如果连续视图是立体对并且它们被恰当地布置，则支持运动视差查看。ASD技术可以有能力在相同时间示出例如52或者更多不同图像，在这些图像中，仅一个立体对从具体视点可见。这支持例如在起居室环境中的无眼镜的多用户3D 视觉。

以上描述的立体和ASD应用需要多视图视频在显示器可用。 H.264/AVC视频编码标准的MVC扩展允许在解码器侧的多视图功能。MVC比特流的基础视图可以由任何H.264/AVC解码器解码，这便于向现有服务中引入立体和多视图内容。MVC允许视图间预测，这可以产生与对所有视图的独立编码比较的显著比特率节省，这依赖于相邻视图如何相关。然而MVC编码的视频的比特率通常与视图数目成比例。考虑ASD可能需要例如52个视图作为输入，所以用于这样的数目的视图的总比特率将挑战可用带宽的约束。

因而，已经发现一种用于这样的多视图应用的更可行解决方案是具有有限数目的输入视图(例如单一或者立体视图加上一些补充数据)并且在解码器侧本地渲染(即合成)所有需要的视图。从用于视图渲染的若干可用技术中，基于深度图像的渲染(DIBR)已经被证明为有竞争力的备选。

在图4中示出基于DIBR的3DV系统的简化模型。3D视频编码解码器的输入包括具有立体基线b0的立体视频和对应深度信息。然后3D视频编码解码器合成在具有基线(bi<b0)的两个输入视图之间的多个虚拟视图。DIBR算法还可以实现外推在两个输入视图以外而不在它们之间的视图。相似地，DIBR算法可以实现从单个纹理视图和相应深度视图的视图合成。然而为了实现基于DIBR的多视图渲染，纹理数据应当与对应深度数据一起在解码器侧可用。

在这样的3DV系统中，在编码器侧为每个视频帧以深度图片 (还称为深度映射)的形式产生深度信息。深度映射是具有每像素深度信息的图像。在深度映射中的每个采样表示相应纹理采样从相机所在平面的距离。换而言之，如果z轴沿着相机的拍摄轴(并且因此与相机所在平面正交)，则在深度映射中的采样表示在z轴上的值。

可以通过各种手段来获得深度信息。例如可以从捕获相机配准的视差计算3D场景的深度。深度估算算法取得立体视图作为输入并且计算在视图的两个偏移图像之间的局部视差。每个图像在重叠块中被逐个像素处理，并且为每个像素块执行在偏移图像中对于匹配块的水平地局限的搜索。一旦计算按像素的视差，通过等式(3)计算对应深度值z：

其中如图1中所示，f是相机的焦距并且b是在相机之间的基线距离。另外，d是指在两个相机之间观测到的视差，并且相机偏移Δd反映两个相机的光学中心的可能水平错位。

取代以上描述的立体视图深度估算或者除了以上描述的立体视图深度估算之外，还可以使用飞行时间(TOF)原理、例如通过使用被提供具有用于照射场景的光源(例如红外线发射器)的相机来获得深度值。这样的照射器可以被布置为对于在例如10-100MHz 之间的频率产生强度调制的电磁发射，这可能需要使用LED或者激光二极管。红外线光通常用来使照射不唐突。从场景中的物体反射的光由在与照射器相同的频率同步地调制的图像传感器检测。图像传感器被提供具有光学器件；收集反射的光的透镜和用于仅传递具有与照射器相同的波长的光、因此帮助抑制背景光的光学带通滤波器。图像传感器对于每个像素测量光从照射器向物体行进和返回已经花费的时间。到物体的距离被表示为在照射调制中的相移，该相移可以对于在场景中的每个像素同时从采样数据来确定。

在深度增强的多视图编码的情况下，可以在编码器的编码回路中和在解码器的解码回路中利用视图合成，从而提供视图合成预测 (VSP)。视图合成图片(参考分量)可以从编码的纹理视图和深度视图来合成，并且可以包含可以用于视图合成预测的采样。为了实现用于对当前视图的编码的视图合成预测，相同访问单元的先前编码的纹理和深度视图分量可以用于视图合成。使用相同访问单元的先前编码的纹理和深度视图分量的这样的视图合成可以称为向前视图合成或者向前投影的视图合成，并且相似地，使用这样的视图合成的视图合成预测可以称为向前视图合成预测或者向前投影的视图合成预测。

视图合成图片还可以称为合成参考分量，该合成参考分量可以被定义为包含可以用于视图合成预测的采样。合成参考分量可以用作为用于视图合成预测的参考图片，但是通常未被输出或者显示。视图合成图片通常是对于相同相机位置而生成的，其中假设与用于正在编码或者解码的图片相同的相机参数。在图8中描绘编码回路的示例。

视图合成预测的视图合成算法的实施例可以使用深度映射(d) 到视差(D)转换，其中在合成的目标图像t(x+D,y)中的新像素位置中映射源图片s(x,y)的像素如下。

在纹理图片的投影的情况下，s(x,y)是纹理图像的采样，并且 d(s(x,y))是与s(x,y)关联的深度映射值。如果用于合成的参考帧使用 4：2：0采样(即色度分量图片具有空间分辨率，该空间分辨率是亮度分量图片沿着两个坐标轴的空间分辨率的一半)，则可以通过重复采样值将色度分量上采样成4：4：4：

其中s′_chroma(·，·)是全分辨率的色度采样值，并且s_chroma(·，·)是半分辨率的色度采样值。

在深度映射值的投影的情况下，s(x，y)＝d(x，y)，并且这一采样使用它自己的值d(s(x，y))＝d(x，y)来投影。

视图合成预测可以包括按照子像素准确度的卷绕，对于该卷绕，可以在卷绕之前执行对参考帧的上采样，并且合成的帧可以被下采样回到原有分辨率。

视图合成过程可以由两个概念步骤构成：向前卷绕和孔洞填充。在向前卷绕中，参考图像的每个像素例如使用上式来映射到合成的图像。在来自参考帧的多个像素被映射到在合成的视图中的相同采样位置时，可以选择与更大深度值关联(与相机更接近)的像素以表示该采样位置。在卷绕所有像素之后，可以留有一些孔洞像素，这些孔洞像素无从参考帧映射的采样值，并且可以例如用基于线的有向孔洞填充来填充这些孔洞像素，其中定义“孔洞”为在两个非孔洞像素之间的水平线中的连续孔洞像素。在孔洞中的孔洞像素可以由两个相邻非孔洞像素中的具有更小深度采样值(距离相机更远)的一个非孔洞像素填充。

可以例如在单个处理回路中执行卷绕和孔洞填充如下。例如从左到右遍历输入参考图像的每个像素行，并且处理输入参考图像中的每个像素如下：

当前像素根据以上深度到视差映射/卷绕等式被映射到目标合成图像。在深度边界周围的像素可以使用抛雪球法(splatting)，其中一个像素被映射到两个邻近位置。可以在参考图像的每个线中的每N个像素执行边界检测。如果在像素的深度采样值与在相同线中的邻近像素(该邻近像素是在像素右侧的第N个像素)的深度采样值之间的差值超过阈值(对应于M个像素的按照整数卷绕精确度的与合成的图像的视差差值)，则像素可以视为深度边界像素。深度边界像素和在深度边界像素右侧的K个邻近像素可以使用抛雪球法。更具体而言，N＝4xUpRefs，M＝4，K＝16xUpRefs-1，其中UpRefs 是参考图像在卷绕之前的上采样率。

在当前像素赢得z缓冲时，即在当前像素被卷绕到无先前卷绕的像素或者有先前卷绕的像素——该先前卷绕的像素具有更小深度采样值——的位置时，定义迭代有效并且可以执行以下步骤。否则，迭代无效，并且处理从输入参考图像中的下一像素继续。

如果在这一迭代与先前有效迭代的映射的位置之间有间隙，则可以标识孔洞。

如果标识孔洞并且当前映射的位置在先前映射的位置右侧，则可以填充孔洞。

如果标识孔洞并且当前迭代将像素映射到先前有效迭代的映射的位置左侧，则紧接地在这一映射的位置左侧的连续像素如果它们是孔洞则可以被更新。

为了从左参考视图生成视图合成的图片，则可以先翻转参考图像，然后以上卷绕和孔洞填充过程可以用来生成中间合成的图片。中间合成图片可以被翻转以获得合成的图片。备选地，基本上通过对水平方向和顺序的相反假设，以上过程可以被更改为执行深度到视差映射、边界认知抛雪球法和用于视图合成预测的其它过程。

在另一示例实施例中，视图合成预测可以包括以下过程。用于推导视图合成图片的这一示例过程的输入是纹理视图分量的解码的亮度分量srcPicY、上采样至srcPicY的分辨率的两个色度分量 srcPicCb和srcPicCr、以及深度图片DisPic。

用于推导视图合成图片的示例过程的输出是通过可以用以下伪代码举例说明的基于视差的卷绕而产生的合成参考分量vspPic的采样阵列：

其中函数“Disparity()”将在空间位置i、j的深度映射值转换成视差值dX，PicHeight是图片的高度，PicWidth是图片的宽度， srcTexturePicY是源纹理图片，outputPicY是输出图片的Y分量， outputPicCb是输出图片的Cb分量，并且outputPicCr是输出图片的 Cr分量。

如以下所示，考虑相机设置、比如在两个视图之间的平移b、相机的焦距f和深度映射表示的参数(Znear，Zfar)来计算视差。

从以上描述的过程产生的vspPic图片可以以诸如孔洞和/或遮挡之类的各种卷绕非自然成分为特征，并且为了抑制那些非自然成分，可以应用各种后处理操作、比如孔洞填充。

然而可以避免这些操作以减少计算复杂性，因为视图合成图片 vspPic被用于参考图片(该参考图片用于预测)，并且可以不向显示器输出。

可以用与用视图间参考图片完成的方式相似的方式在参考图片列表中引入合成的图片{outputPicY，outputPicCb，outputPicCr}。在视图合成预测的情况下利用参考图片列表的信号发送和操作可以保持与在 H.264/AVC或者HEVC中指定的信号发送和操作相同或者相似。

相似地，运动信息推导的过程及其在视图合成预测中的应用可以保持与为H.264/AVC或者HEVC的帧间和视图间预测而指定的过程相同或者相似。

在3D视频编码/解码过程中引入视图合成预测可以不影响运动信息信号发送和解码这样的低级操作，因此任何这样的操作可以实现保留与现有H.264/AVC或者HEVC编码标准的低级兼容性。

备选地或者附加地，用于视图合成预测的具体编码模式可以由编码器在比特流中指定并且用信号来发送。例如在VSP跳过/直接模式中，也可以省略例如使用基于变换的编码的运动矢量差值编(解) 码和对残值预测误差的编(解)码。例如，如果在将使用跳过/直接模式而编码的比特流内指示宏块，则还可以在比特流内指示VSP帧是否用作参考。

根据本发明的一些示例实施例的编码器可以包括以下操作中的一个或者多个操作。这里应当注意，相似原理还可以在解码器侧适用于解码。

使用视图#i(其中i≠N)的参考纹理/视频数据(还称为Ti)来执行对视图#N中的纹理/视频中的块Cb的编码/解码，该视图#i用作 VSP源图像并且提供用于视图合成过程的图像采样。

在下文中，概括一些实施例的一些特性方面。

深度/视差信息d(Cb)的可用性

可以用深度信息、深度映射信息、视差信息或者任何其它测距信息d(Cb)来执行对纹理/视频视图#N中的块Cb的编码/解码，该任何其它测距信息d(Cb)与这一纹理信息Cb和范围信息关联并且在对纹理块的编码/解码之前可用。

用于VSP的参考区域R(Cb)

在一些实施例中，用于纹理块Cb的视图合成预测造成产生或者计算视图#M的参考VSP图像中的参考区域R(Cb)中的像素或参考采样值，其中M！＝N。在一些实施例中，参考区域R(Cb)的采样可以是用于纹理块Cb的预测块，而在一些其它实施例中，参考区域R(Cb) 的采样可以用于，例如通过在参考区域R(Cb)内的运动补偿预测和/ 或子像素值插值，或者通过对从不同视图获得的多个参考区域R(Cb) 的联合处理，来推导用于纹理块Cb的预测块的采样。

向后投影

在一些实施例中，视图合成预测的过程用向后投影方式来执行并且可以利用以下步骤：

与视图#N中的编码的块Cb关联的测距信息dN(Cb)被转换成视差信息Di(Cb)，该视差信息指定在当前视图#N与参考视图#i的采样之间的空间坐标偏移。

可以用逐个像素方式执行向视差信息Di(Cb)的转换，其中对于当前视图#N的视差信息Di(Cb)的每个采样，计算或者估算独立视差信息Di(Cb)。备选地，可以逐个块完成向视差的转换，从而例如通过对测距信息值dN(Cb)求平均、将中值滤波器应用于测距信息值 dN(Cb)或者对在测距信息值dN(Cb)中的所有采样应用任何其它函数或者滤波器来获得推导的测距信息值dN(Cb’)。然后，推导的测距信息值dN(Cb’)可以使用例如深度到视差映射而转换成相应视差值 Di(Cb’)。备选地，可以逐个块完成向视差的转换，从而例如通过对视差信息Di(Cb)的值求平均、将中值滤波器应用于视差信息Di(Cb) 的值或者对在视差信息Di(Cb)中的所有采样应用任何其它函数或者滤波器以产生相应视差值Di(Cb”)来处理视差信息Di(Cb)。

视差信息Di(Cb)或者分别为Di(Cb’)或者Di(Cb”)可以用来对在参考视图#i的纹理中的采样值和与这些纹理采样关联的测距信息di(Cb)(例如在参考视图#i中的深度映射图像的采样)进行定位。如果视差信息Di(Cb)是视差值块，则可以逐个像素对纹理参考视图#i 的采样值进行定位。如果视差信息Di(Cb)表示用于像素块的单个视差值，则可以逐个块对纹理参考视图#i的采样值进行定位。定位的采样可以用来形成R(Cb)。定位和/或复制还可以称为投影、映射、滤波或者卷绕。

产生参考区域R(Cb)可以包括对参考视图#i的像素(即Ti)的各种处理，例如空间或者时间滤波、使用加权的预测参数进行滤波以补偿亮度改变、或者非线性处理以处置遮挡或者孔洞等。可以在向参考区域R(Cb)投影像素之前或者之后执行这样的处理。

在视图合成预测中的向后投影的结果是，参考区域R(Cb)的推导顺序可以是任意的。换而言之，可以对于每个块Cb独立地产生 VSP图像中的参考区域R(Cb)的像素值，并且未假设对处理的Cb(s) 的顺序的依赖性。因此，可以通过用于单个Cb的视图合成过程或者通过整个帧级的视图合成过程产生参考区域R(Cb)的相同像素值。这一性质实现按帧级或者分片级的向后视图合成预测的实施方式，帧级或者分片级与诸如H.264/MVC之类的现有编码方法比较，可以无需块级编码/解码的改变。然而，该性质还可以实现块级实施方式，这可以消耗更少量的存储器。

在下文中，概括一些实施例的一些补充特性方面。这些方面中的一个或者多个方面还可以与以上列举的方面一起使用。

从多于一个VSP参考帧的基于块的多假设预测

双预测或者任何其它类型的多假设预测可以使用两个或者更多参考VSP帧作为参考。双预测可以被加权，以例如补偿在视图之间的照射差值。

从多个VSP源图像的基于采样的R(Cb)推导

如果多个VSP源图像可用于R(Cb)采样值计算，则可以应用各种处理以产生用于R(Cb)的实际纹理采样。这一处理可以包括但不限于有条件的选择(例如可以选择具有更近深度值的纹理采样或者可以选择具有更小深度值的纹理采样)或者将多个候选聚合成采样。

基于深度/视差的R(Cb)推导

可以使用不同相似度或者差值度量(比如绝对差值之和 (SAD))来比较di(Cb)和dN(Cb)的对应采样值。可以对于块di(Cb) 或者di(Cb)的个体采样而推导差值度量。如果差值属于某个范围，则参考视图#i的由视差Di(Cb)指定的纹理采样可以用于产生参考区域R(Cb)的采样值。

在下文中，更详细地描述一些实施例。

图8示出根据一些示例实施例的通过使用视图合成预测的纹理编码的运动估算/运动补偿预测链的示例实施例的流程图。视图合成预测未必产生完整VSP帧，而是可以应来自运动估算/运动补偿预测链的请求，仅产生参考区域R(Cb)。

图5图示视频加上深度数据的示例。在图5中，块152图示纹理150的当前编码的块Cb，并且块156是与这一纹理关联的测距信息d(Cb)，例如深度映射151。纹理150的其它块153、154、155表示在当前块cb的左手侧上的邻近块S、在当前块cb的右上角的邻近块T、和在纹理150中的非邻近块U。块157、158、159分别图示纹理块S、T、U的测距信息d(S)、d(T)、d(U)。

在下文中，假设编码的多视图加上深度视频编码(MVD)数据包含表示可能用平行相机设置捕获的多个视频的纹理和深度映射分量，并且纠正这些捕获的视图。

项Ti和di分别表示视图#i的纹理和深度映射分量。MVD数据的纹理和深度映射分量可以按照不同编码顺序、例如T0d0T1d1或者d0d1T0T1来编码。在一些实施例中，假设深度映射分量di在纹理分量Ti之前可用(被解码)，并且在对纹理分量Ti的编码/解码中利用深度映射分量di。

在下文中，更详细地举例说明第一实施例，该第一实施例基于用于当前块Cb的基于像素的向后视频合成预测。例如可以利用以下假设：编码顺序是T0d0d1T1，用视频合成预测对纹理分量T1进行编码，并且当前编码的块Cb1具有分割16x16。当前编码的块Cb1 与深度映射数据d(Cb1)关联，并且深度映射数据由相同大小16x16 的块构成。在一些实施例中，然后可以用以下步骤实施多视图视频加上深度编码。

深度到视差转换

将深度映射数据d(Cb1)块转换成视差采样块D(Cb1)。可以用以下等式或者用它的整数算术实施方式执行转换过程：

其中d0是视图#0的深度映射值，Z是实际深度值，并且D是到特定视图的视差。

可以从相机设置来推导参数f、b、Z_near和Z_far；即使用的焦距(f)、在视图#0与视图#i之间的相机间距(b)以及深度范围 (Z_near,Z_far)表示深度映射转换的参数。应用所得视差值D作为水平坐标偏移(dX)，该水平坐标偏移被应用以将视图#1中的空间坐标转换成视图#i中的空间坐标。

一般而言，假设等式(5)实施浮点算术。然而由于采样网格的有限性质，视差值可以被取整成最近整数(在这一情况下，实现像素到像素对应性)或者某个子像素准确度(在这一情况下，参考图像Ti应当被上采样成所需准确度)。在这一原理中，通过使用等式(5)而计算的视差值不同于用子像素准确度表示的运动矢量分量 mv_x。

纹理像素到R(Cb)的投影

对于每个深度映射值d1(i,j)计算视差D1(i,j)，并且它被应用以发现视图#0中的关联纹理像素的位置。在当前编码的视图#1到视图 #i之间被应用，视差值提供与当前物体关联的在视图#i中的纹理像素Ti的位置。从指向的位置被提取，像素被用来产生参考块R(Cb) 中的像素，该参考块可以具有与当前块Cb的大小相等的大小。

在一些实施方式中，参考块R(Cb)可以在大小上大于当前块 Cb，以例如实现通过运动矢量编码等精化在Cb与R(Cb)之间的位移。这样的更大的R(Cb)可以例如通过将映射的像素抛雪球到R(Cb)中的比单个采样位置更大的区域和/或使用比Cb更大的深度/视差块用于推导R(Cb)来生成。

在利用具有子像素准确度的视差信息的情况下，视差值DX可以被再伸缩以反映VSP源图像和当前编码的图像的分辨率差值，并且可以通过插值过程产生R(Cb)的像素，其中Ti的N个最近采样可以用来产生采样例如如下。

其中索引项“A：B”指定属于在A与B之间的范围的所有索引。在这一特定示例中，这意味着差值函数考虑位于在i+DX-N/2与 i+DX+N/2-1之间的范围中的所有Ti像素。

插值的其它示例可以包括但不限于在H.264/AVC和HEVC中利用的回路内插值。

在一些实施例中，对于产生R(Cb)而标记的视频合成预测源的像素可以经历用以下处理对关联测距信息或者采样邻居的附加分析：

其中di是视图#i的测距信息，d1是用于视图#1的深度映射信息，并且function是处理函数。

在一些实施例中，多个视频合成预测源图像可以可用于产生 R(Cb)。可以在比特流内向解码器用信号发送或者在解码器处通过推导过程推导用于R(Cb)的特定视频合成预测源。

编码器可以执行通过率失真优化(RDO)或者通过优化某个其它代价度量来选择视频合成预测源图像。在这样的实施例中，选择的视频合成预测源图像用于基于视频合成预测对当前纹理块的编码，并且向解码器侧用信号发送对选择的视频合成预测源图像的标识。

对用于使用的视频合成预测源图像用信号发送的非限制示例可以包括在块分割级用信号发送与运动矢量分量关联的参考帧索引、在宏块级或者以下通过指定的分割信息(例如编码模式)发信号、在分片级发信号(将在视频合成预测中用于当前分片的所有视频合成预测编码的纹理块的、标识的视频合成预测源图像)、或者通过序列参数集或者以下发信号(用在视频合成预测中利用的、标识的视频合成预测源图像对当前序列的所有视频合成预测编码的纹理进行编码)。

在又一实施例中，可以预先指定和/或提前与解码器传达视频合成预测源候选集。在这样的实施例中，编码器用信号发送指向具体候选的索引，或者用信号发送关于如何从在解码器侧可用的信息推导对视频合成预测源图像的标识的索引、例如通过从已经编码的信息提取索引。

编码器和解码器可以执行通过在编码器和解码器侧完全相同的指定的推导过程推导用于R(Cb)或者R(Cb)的个体采样的视频合成预测源图像。这样的推导过程的非限制示例可以包括：依赖于深度的选择(例如选择具有与d(Cb)最接近的深度值的视频合成预测源、或者具有更小深度值的视频合成预测源(表示与相机最接近的3D场景的物体))或者从先前编码的块或者邻近块推导最优视频合成预测源。推导过程可以是逐个采样或者逐个块的。如果推导过程是逐个块的，则该推导可以包括滤波，比如对d(Cb)和相应候选R(Cb)块求平均。

在一些实施例中，编码器和解码器可以利用预定义的推导过程集。可以在宏块级或者以下、在分片级或者以下、在序列参数集或者以下向解码器用信号发送所利用的过程的索引，或者它可以由所利用的编码配置文件指定。

从R(Cb)预测Cb

可以用一种用于运动补偿预测的常规方式从R(Cb)预测当前块 Cb，参考索引指向特定参考VSP图像，并且运动矢量分量Mv_x和 mv_y引用这一参考帧中的特定空间位置。

参考索引和运动矢量分量可以用常规方式来编码，并且可以被传输到解码器。

在一些实施例中，可以使用分数像素运动矢量从R(Cb)预测 Cb，因此，参考区域R(Cb)具有比当前块Cb更大的块大小。

在一些实施例中，可以使用零运动矢量(Mv_x＝mv_y＝0)从R(Cb) 产生用于当前块Cb的视频合成预测。在这样的实施例中，参考区域 R(Cb)可以具有与当前块Cb相同的块大小。

在一些实施例中，残留运动矢量信息可以视为预先已知，或者可以在解码器侧推导它，而未向解码器传输残留运动矢量。在解码器侧推导运动矢量可以例如基于在某个搜索范围内或者在候选运动矢量之中使用特定相似度/差值度量(比如绝对差值之和)来最小化深度/视差差值，候选运动矢量可以例如从相邻空间块或者例如相对于当前块Cb具有某个空间位置的某些时间或者视图间块选择。

在一些实施例中，用于参考视频合成预测图像的参考索引视为预先已知，或者可以在解码器侧推导它，即用于参考视频合成预测图像的参考索引未被传输到解码器。

在一些实施例中，可以不用参考索引作为用信号发送运动信息的部分的形式、而是通过代之以使用备选信号发送形式，传输将视频合成预测图像用于对当前块Cb的编码/解码。这样的信号发送的非限制示例可以包括：使用具体标志，该标志指定将视频合成预测用于当前块Cb。可以在基于H.264-AVC的编码解码器中在宏块级或者在块分割级上、在基于HEVC的编码解码器中在编码单元(CU) 级或者以下用信号发送这样的标志，或者可以如在HEVC编码解码器中那样，通过在解码器侧预先已知的预测候选的索引用信号发送它。标志可以被CABAC编码或者用某个其它算术编码解码器等来编码，因此未必由比特流中的比特表示。

在下文中，更详细地举例说明第二实施例，该第二实施例基于对视图合成预测中的测距信息的处理。第二实施例与第一实施例的不同如以下所示。

在如等式(5)中所示转换成视差之前，多视图加上深度视频编码的深度分量可以经历例如如以下所示的一些处理。

深度映射可以经历其可以包括线性和/或非线性滤波、均值或者中值滤波的各种滤波。

在均值滤波的情况下，计算视差值d(Cb)的平均值并且在等式 (5)中利用视差值d(Cb)的平均值以产生用于整个块Cb的单个平均视差值D(Cb)：

Av_d＝mean(d(Cb))。

备选地，可以利用中值滤波取代均值滤波。

median_d＝median(d(Cb))。

备选地，可以在等式(5)中利用深度映射数据的最小或者最大值：

min_d＝min(d(Cb))。

max_d＝max(d(Cb))。

在一些实施例中，可以如在等式(5)中指定的那样，从视差值d(Cb)产生逐个像素的视差，并且在这一步骤之后，可以通过在视差域中的操作来产生表示当前块Cb的单个视差值。可以通过线性或者非线性处理来产生单个视差值，该线性或者非线性处理的非限制示例包括均值、中值或者最小值/最大值操作。

在一些实施例中，对应用于视差值d(Cb)的视差值d(Cb)的子采样操作可以用来提供用于等式(5)中的当前块Cb的深度映射表示。

在又一实施例中，可以从先前编码的深度映射分量(视图)或者从先前编码的纹理块推导用于当前块Cb的深度映射表示。

在又一实施例中，用于当前块Cb的表示的深度映射候选可以在对当前块Cb的编码/解码之前在编码器和解码器可用。可以在比特流中用信号发送或者可以在编码器和解码器侧推导指向用于对当前块Cb的编码/解码的具体深度值的索引。

然后，可以用与以上结合第一实施例所示相同的方式执行第一实施例的其它阶段。

在下文中，更详细地举例说明第三实施例，该第三实施例基于具有RDO的多向视图合成预测。

在多视图3D视频编码的情况下，可以从来自多个参考视图的视图合成来生成VSP帧。例如假设3视图编码，可以按照 T0-d0-d1-d2-T1-T2顺序对多视图加上深度视频分量进行编码。按照这一顺序，纹理视图T1可以利用视图合成预测，并且可以从视图#0 投影对应VSP帧。对照而言，纹理视图T2可以利用从视图#0和视图#1产生的VSP帧。因此，它可以利用多个VSP帧以用于编码/解码，或者竞争VSP帧可以被融合以提高视图合成预测的质量。

在解码器侧产生和处置多个参考VSP帧可能在计算复杂性和存储器分配方面对于解码器要求高。然而，由于在块级执行在一些实施例中提出的方案，所以仅产生参考区域R(Cb)，而未必是完整帧。

用于第三实施例的关于深度到视差转换的解码操作不同于第一和第二实施例。解码器从比特流读取或者从在解码器处可用的信息提取指示符，该指示符指定应当从其执行视图合成预测的视图 (view_id)。不同的view_id(VSP方向)将具有向深度到视差转换的不同输入(比如平移参数b或者焦距)并且可以产生不同视差值。此后，解码器可以执行第一实施例或者第二实施例的其它步骤而无改变。

对照而言，编码器将对于所有可用视图完整地执行第一和第二实施例，这可以产生编码的Cb的多个副本。在一些率失真优化中提供最小代价的view_id可以被选择用于编码，并且可以用信号发送到解码器侧。

备选地，编码器可以从可用信息提取关于视图合成预测方向的信息，并且执行对当前块Cb的编码而无信号发送。在这样的实施例中，解码器将在对应过程中在解码器侧执行对view_id的提取。例如编码器和解码器可以选择在相机平移方面与当前视图在物理上最接近的VSP源帧。如果有在相机平移方面与当前视图同等地接近的两个(或者更多)视图，则编码器和解码器可以基于确定性规则在视图之间进行选择，比如选择具有更小视图顺序索引的视图。

在下文中，更详细地举例说明第四实施例，该第四实施例基于具有深度认知选择的多向视图合成预测。

取代第三实施例或者除了第三实施例之外，可以在对当前块 Cb进行编码/解码之前，在编码器和解码器侧基于在编码器/解码器侧可用的深度信息选择视图合成预测方向。

由于在视图#2内的深度信息d(Cb)、从视图#0对应视图合成预测D0、和从视图#1的视图合成预测D1都在对当前块Cb的编码之前在编码器和解码器侧可用，所以它可以用于对用于当前块Cb的优选视图合成预测方向的决策做出。例如提供在d(Cb)与VSP_D之间的最小欧几里得(Euclidian)距离的方向可以被选择用于预测。

Cost1＝min(average(d(Cb))-average(VSP_D1)

Cost2＝min(average(d(Cb))-average(VSP_D2)

如果(Cost1＜Cost2)，则Vsp_id＝1，否则Vsp_id＝2，

应当注意可以在第四实施例中利用不同的失真度量。

在下文中，更详细地举例说明基于双向VSP的第五实施例。

取代第三和第四实施例或者除了第三和第四实施例之外，可以用双向视图合成预测来预测视图#2中的当前块Cb。在这样的实施例中，将从参考视图#0和#1创建参考区域R0(Cb)和R1(Cb)，并且以加权预测的形式用于对视图#2中的当前块Cb的预测。

在下文中，更详细地举例说明第六实施例，该第六实施例基于对先前实施例的单、多或者双向视图合成预测的加权。

在一些实施例中，完整VSP帧在解码器侧和编码器侧均不可用，因此以常规方式从完整帧估算用于加权预测的权值将在所需计算、存储器使用和存储器访问带宽方面代价高。另外，利用对加权参数的基于图片顺序计数(POC)的计算也不会最优，因为图片顺序计数将对视图合成预测所产生的图像质量无反映。

然而，由于视图合成预测假设从特定视图投影实际像素值(视图合成预测方向)，所以可以从对应视图继承用于那些像素的加权参数，例如重新使用用于从视图#0的视图间预测视图#2的wp1参数和用于从视图#1的视图间预测视图#2的wp2参数。

在第一至第四实施例中，可以用对应加权参数再伸缩(归一化) 从特定视图投影的像素数据R(Cb)。在第五实施例中，将计算像素数据R(Cb)为从视图#0和视图#1投影的像素数据的加权平均值。

备选地或者附加地，可以基于在编码器或者解码器侧可用的深度信息估算加权预测参数。

Wp1＝function(d(Cb)，VSP_D1)

Wp2＝function(d(Cb)，VSP_D2)

备选地，可以定义函数以返回Wp1和Wp2二者、即 [Wp1，Wp2]＝function(d(Cb)，VSP_D1，VSP_D2)。例如可以指定函数如下：

Cost1＝sad(d(Cb)，VSP_D1)

Cost2＝sad(d(Cb)，VSP_D2)

其中sad(d(Cb)，VDP_Dx)返回在d(Cb)中的每对采样与在VSP_Dx 中的对应采样之间的绝对差值之和。然后，指定Total_Cost为Cost1+Cost2。最后，指定Wp1为Cost2/Total_Cost，并且指定Wp2为 Cost1/Total_Cost(假设用于加权预测的权值合计为1)。

在图8中描绘编码器800的示例为简化框图，并且在图13中描绘根据示例实施例的编码器的操作为流程图。编码器800接收802 纹理视图的当前帧的块以用于编码。该块还可以称为当前块Cb。向第一组合器804(比如减法元件)并且向运动估算器806提供当前块。运动估算器806具有对存储先前编码的帧的帧缓冲器812的访问，或者可以通过其它手段向运动估算器806提供一个或者多个先前编码的帧的一个或者多个块。运动估算器806检查一个或者多个先前编码的块中的哪个先前编码的块可以提供用于使用该块作为用于当前块的预测参考的良好基础。如果已经发现适当预测参考，则运动估算器806计算运动矢量，该运动矢量指示相对于当前块在当前帧中的位置，选择的块在参考帧中位于何处。运动矢量信息可以由第一熵编码器814编码。还向计算预测的块的运动预测器810提供预测参考的信息。

第一组合器804确定在当前块与预测的块808之间的差值。该差值可以例如通过计算在当前块的像素值与预测的块的对应像素值之间的差值来确定。这一差值可以称为预测误差。预测误差由变换元件816变换到变换域。该变换可以例如是离散余弦变换(DCT)。变换的值由量化器818量化。量化的值可以由第二熵编码器820编码。还可以向重构变换的值的逆量化器822提供量化的值。重构的变换的值然后由逆变换元件824逆变换以获得重构的预测误差值。第二组合器826组合重构的预测误差值与预测的块以获得当前块的重构的块值。重构的块值按照正确顺序由排序元件828排序并且存储到帧缓冲器812中。

在一些实施例中，编码器800还包括视图合成预测器830，该视图合成预测器可以使用一个或者多个其它视图832的纹理视图帧和深度信息834(例如深度映射)，以如以上用若干实施例举例说明的那样，例如基于除了当前块之外的另一视图中的共同定位块的深度映射，合成其它视图836。还可以向帧缓冲器812存储其它纹理视图帧832和/或合成的视图836，从而运动估算器806可以在选择用于当前块的预测参考时使用其它视图和/或合成的视图。

用于基于视图合成的预测、视图间预测和层间预测的运动矢量分量可能在它们的适用范围上受限制，这些适用范围定义语法元素集和解码操作集。例如可以限制运动矢量分量或者相对于预测值的运动矢量分量差值的值范围和/或精确度。另外，在一些实施例中，用于基于视图合成的预测、视图间预测和/或层间预测的差分运动矢量分量可以具有与用于帧间或者时间运动补偿预测的差分运动矢量分量比较的不同初始上下文。另外，在一些实施例中，与对帧间或者时间运动补偿预测的差分运动矢量分量的二值化比较，可以对于基于上下文的算术编码和解码，不同地二值化用于基于视图合成的预测、视图间预测和/或层间预测的差分运动矢量分量。

在编码器对帧或者图片的块的纹理信息进行编码时，编码器可以确定102用于当前块的测距信息是否可用。这一确定可以包括检查用于与当前块的视图相同的视图的、共同定位的深度/视差块是否存在于存储器中或者以别的方式可用于视图合成预测。待编码的块已经被输入到编码器，这在图13中用块100图示。如果该确定指示用于与当前块的视图相同的视图的、共同定位的深度/视差块可用于视图合成预测，则执行用于当前块的纹理块的视图合成预测以获得参考区域R(Cb)。如果该确定指示用于与当前块的视图相同的视图的、共同定位的深度/视差块不可用于视图合成预测，则可以应用常规运动预测114。在图13中描绘的实施例中，视图合成预测包括将测距信息转换104成视差信息，该视差信息指定在当前视图#N和参考视图#i的采样之间的空间坐标偏移。视差信息用来对参考视图#i 的纹理中的采样值进行定位106。在参考视图#i的纹理中的定位的采样值可以被复制108到参考区域R(Cb)。用于当前块的纹理块的视图合成预测还可以包括处理110参考视图#i的采样。可以在复制108 之前或者之后执行处理110。如果在复制之前执行处理110，则向参考区域R(Cb)的采样复制处理的值或者它们的部分。

在已经构造参考区域R(Cb)时，可以基于参考区域R(Cb)的信息预测112当前块Cb。

在下文中，将参照图9并且参照图14的流程图描述解码器900 的示例实施例的操作。解码器900接收200、902包含编码的视频信息的比特流或者比特流的部分。编码的视频信息可以包含预测误差值、运动矢量、参考索引等。这里应当注意，无需在相同比特流中包括所有这种信息，但是可以使用不同种类的语法元素在不同比特流中传输信息中的一些信息。

在下文中，主要地描述涉及运动矢量处理的解码，并且描述其它解码操作904(比如块重构)大多从本说明书中省略。

解码器900可以包括对接收的熵编码的信息进行解码的熵解码器906。可以向运动矢量解码器908提供解码的信息。运动矢量解码器908可以包括参考类型检查元件910，该参考类型检查元件可以检查解码的信息，以确定是否已经在接收的比特流中包括用于当前块的参考的类型的参考索引或者另一种类的参考指示。如果已经接收参考指示，则参考类型检查元件910可以基于参考指示来确定202 参考类型。如果尚未接收参考指示，则参考类型检查元件910可以使用其它数据以确定参考类型。

运动矢量解码器908还可以包括可以重构用于当前块的运动矢量分量的运动矢量重构元件912。

如果参考指示是指示已经使用常规帧内预测来预测当前块，则可以通过使用接收的预测误差信息和在与当前帧相同的帧内的先前解码的块的信息来重构220当前块。如果该指示是指示已经使用常规帧间预测来预测当前块，则运动矢量信息和预测误差信息被解码并且与预测参考——即编码器800已经在重构220用于当前帧的预测参考时使用的其它先前解码的帧的块——一起使用。

如果参考指示是指示已经使用视图合成预测204来预测当前块，则以下操作在一些实施例中可以由解码器900执行。解码器900 可以推导206或者可以从编码器800接收作为用于视图合成预测的源而使用的图像的信息，并且使用208源图像以使用与编码器侧对应的过程来产生VSP块。

如果参考指示是指示尚未使用视图合成预测204来预测当前块，则可以使用210其它预测方法对当前块进行解码。

在示例实施例中，可以使用例如如在H.264/AVC或者草案 HEVC中指定的用于算术算符、逻辑算符、关系算符、逐位算符、赋值算符和范围表示法的常用表示法。另外，可以使用例如如在 H.264/AVC或者草案HEVC中指定的常用数学函数，并且可以使用例如如在H.264/AVC或者草案HEVC中指定的算符的优先和执行顺序的常用顺序(从左向右或者从右向左)。

在示例实施例中，以下描述符可以用来指定每个语法元素的解析过程。

-ae(v)：上下文自适应算术(CABAC)熵编码的语法元素。

-b(8)：具有任何比特串模式的字节(8位)。

-se(v)：以左位优先的有符号整数Exp-Golomb编码的语法元素。

-u(n)：使用n位的无符号整数。在n是在语法表中的“v”时，位数以依赖于其它语法元素的值的方式变化。用于这一描述符的解析过程由来自比特流的n个接下来的位指定，这些位被解译为以最高有效位写入优先的无符号整数的二进制表示。

-ue(v)：以左位优先的无符号整数Exp-Golomb编码的语法元素。

可以例如使用以下表将Exp-Golomb比特串转换成码编号 (codeNum)：

可以例如使用以下表将与Exp-Golomb比特串对应的码编号转换成se(v)：

codeNum	语法元素值
		0	0
1	1
		2	-1
3	2
		4	-2
5	3
		6	-3
...	...

尽管已经使用特定编码标准及其扩展作为基础来描述本发明的实施例，但是本发明也可以应用于其它编码解码器、比特流格式和编码结构。

提供如以下将描述的那样可以组合成单个解决方案的以下元素，或者它们可以被分离地利用。如更早说明的那样，视频编码器和视频解码器二者通常应用预测机制，因此以下元素可以相似地适用于视频编码器和视频解码器二者。

在以上呈现的各种实施例中，选择正在编码/解码的当前块cb 的邻近块。选择邻近块的示例包括空间邻居(例如如图7a中指示的那样)。其它示例包括在相同视图的先前和/或以后帧中的时间(例如如图7b中指示的那样)、在相邻视图中的空间邻居、在不同层中的空间邻居和在合成的视图中的空间邻居。本发明的方面不限于提到的选择邻近块的方法，而是更确切地说，对于本发明的其它实施例可以被部分地或者完全地实现在其上的一个可能基础给出描述。

尽管对于用于亮度的预测来描述实施例中的许多实施例，但是将理解在许多编码布置中，可以使用预定关系从亮度预测信息推导色度预测信息。例如可以假设与用于亮度相同的参考采样被用于色度分量。

下文进一步详细描述用于实施本发明的实施例的适当装置和可能机制。就这一点而言，先参照示出示例装置或者电子设备50的示意框图的图10，该装置或者电子设备可以并入根据本发明的实施例的编码解码器。

电子设备50可以例如是无线通信系统的移动终端或者用户设备。然而将理解可以在可能需要对视频图像进行编码和解码或者编码或者解码的任何电子设备或者装置内实施本发明的实施例。

装置50可以包括用于并入和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中，显示器可以是适合于显示图像或者视频的任何适当显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中，可以采用任何适当数据或者用户接口机制。例如可以实施用户接口为虚拟键盘或者数据输入系统作为触敏显示器的部分。该装置可以包括麦克风 36或者任何适当音频输入，该音频输入可以是数字或者模拟信号输入。装置50还可以包括音频输出设备，该音频输出设备在本发明的实施例中可以是以下各项中的任何一项：耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50还可以包括电池40(或者在本发明的其它实施例中，该设备可以由诸如太阳能电池、燃料电池或者发条发电机之类的任何适当移动能量设备供电)。该装置还可以包括用于与其它设备的短程视线通信的红外线端口42。在其它实施例中，装置50还可以包括任何适当短程通信解决方案，诸如例如蓝牙无线连接或者USB/火线有线连接。

装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58，该存储器在本发明的实施例中可以存储形式为图像的数据和音频数据二者，和/或还可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于执行音频和/ 或视频数据的编码和解码或者辅助由控制器56执行的编码和解码的编码解码器电路装置54。

装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46，例如 UICC和UICC读取器。

装置50可以包括无线电接口电路装置52，该无线电接口电路装置连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网进行通信的无线通信信号。装置50还可以包括天线44，该天线连接到无线电接口电路装置52，以用于向其它装置传输在无线电接口电路装置52处生成的射频信号以及用于从其它装置接收射频信号。

在本发明的一些实施例中，装置50包括有能力记录或者检测个体帧的相机，这些帧然后向编码解码器54或者控制器传递以用于处理。在本发明的其它实施例中，该装置可以在传输和/或存储之前，从另一设备接收视频图像数据以用于处理。在本发明的其它实施例中，装置50可以无线地或者通过有线连接来接收图像以用于编码/ 解码。

关于图12，示出可以在其内利用本发明的实施例的系统的示例。系统10包括可以通过一个或者多个网络进行通信的多个通信设备。系统10可以包括有线或者无线网络的任何组合，这些有线或者无线网络包括但不限于无线蜂窝电话网络(比如GSM、UMTS、 CDMA网络等)、诸如由IEEE 802.x标准中的任何标准定义的无线局域网(WLAN)、蓝牙个人区域网络、以太网局域网、令牌环局域网、广域网和因特网。

系统10可以包括适合于实施本发明的实施例的有线和无线通信设备或者装置50二者。

例如图12中所示系统示出移动电话网络11并且示出因特网 28的表示。与因特网28的连通可以包括但不限于长程无线连接、短程无线连接和各种有线连接，这些有线连接包括但不限于电话线路、线缆线路、电力线和相似通信途径。

系统10中所示示例通信设备可以包括但不限于电子设备或者装置50、个人数字助理(PDA)和移动电话14的组合、PDA 16、集成消息接发设备(IMD)18、台式计算机20、笔记本计算机22。装置50可以是静止的或者在由正在移动的个体携带时是移动的。装置50还可以位于运输模式中，该运输模式包括但不限于小汽车、卡车、出租车、公共汽车、火车、船只、飞机、自行车、摩托车或者任何相似的适当运输模式。

一些或者进一步的装置可以发送和接收呼叫和消息，并且通过与基站24的无线连接25与服务提供商通信。基站24可以连接到网络服务器26，该网络服务器允许在移动电话网络11与因特网28之间的通信。系统可以包括附加通信设备和各种类型的通信设备。

通信设备可以使用各种传输技术来通信，这些传输技术包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-网际协议(TCP-IP)、短消息接发服务(SMS)、多媒体消息接发服务(MMS)、电子邮件、即时消息接发服务(IMS)、蓝牙、IEEE 802.11和任何相似无线通信技术。参与实施本发明的各种实施例的通信设备可以使用各种介质来通信，这些介质包括但不限于无线电、红外线、激光、线缆连接和任何适当连接。

虽然以上示例描述在电子设备内的编码解码器内操作的本发明的实施例，但是将理解的是，可以实施如以下描述的本发明为任何视频编码解码器的部分。因此例如可以在视频编码解码器中实施本发明的实施例，该视频编码解码器可以通过固定或者有线通信路径实施视频编码。

因此，用户设备可以包括视频编码解码器，比如以上在本发明的实施例中描述的那些视频编码解码器。应当理解，术语用户设备旨在于涵盖任何适当类型的无线用户设备，比如移动电话、便携数据处理设备或者便携web浏览器。

另外，公共陆地移动网络(PLMN)的元件也可以包括如以上描述的视频编码解码器。

一般而言，可以在硬件或者专用电路、软件、逻辑或者其任何组合中实施本发明的各种实施例。例如可以在硬件中实施一些方面，而在可以由控制器、微处理器或者其它计算设备执行的固件或者软件中可以实施其它方面，尽管本发明不限于此。尽管本发明的各种方面可以被图示和描述为框图、流程图或者使用一些其它图形表示来图示和描述，但是很好理解的是，可以在作为非限制示例的硬件、软件、固件、专用电路或者逻辑、通用硬件或者控制器或者其它计算设备、或者其某个组合中实施本文中描述的这些块、装置、系统、技术或者方法。

可以通过由移动设备的数据处理器(比如在处理器实体中)可执行的计算机软件、或者通过硬件、或者通过软件和硬件的组合来实施本发明的实施例。进一步就这一点而言，应当注意，如图中的逻辑流程的任何块可以表示程序步骤或者互连的逻辑电路、块和功能或者程序步骤和逻辑电路、块和功能的组合。软件可以存储于比如在处理器内实施的存储器芯片或者存储器块、诸如硬盘或者软盘之类的磁介质、和诸如例如DVD及其数据变体CD之类的光学介质这样的物理介质上。

存储器可以是适合于本地技术环境的任何类型的，并且可以使用诸如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器之类的任何适当数据存储技术来实施。数据处理器可以是适合于本地技术环境的任何类型的，并且可以包括作为非限制示例的通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多芯处理器架构的处理器中的一项或者多项。

可以在诸如集成电路模块之类的各种部件中实践本发明的实施例。集成电路的设计大体上是高度自动化过程。复杂而强大的软件工具可用于将逻辑级设计转换成准备好在半导体基板上蚀刻和形成的半导体电路设计。

诸如由Mountain View,California的Synopsys公司和San Jose, California的Cadence Design提供的那些程序之类的程序使用建立好的设计规则以及预存的设计模块的库在半导体芯片上自动路由导体和定位部件。一旦已经完成用于半导体电路的设计，就可以按照标准化电子格式(例如Opus、GDSII等)向半导体制造设施或者“fab”传输所得设计以用于制造。

前文描述已经通过示例性和非限制示例的方式，提供对本发明示例性实施例的完全和翔实的描述。然而鉴于在与附图和所附权利要求结合阅读时的前文描述，对于相关领域技术人员来说，各种修改和适配可以变得显而易见。然而对本发明的教导的所有这样和相似的修改仍将落入本发明的范围内。

在下文中，将提供一些示例。

根据第一示例，提供一种方法，该方法包括：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一纹理块关联的测距信息；

基于测距信息，推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

在一些实施例中，该方法包括提供用于获得参考块的两个或者更多参考视图。

在一些实施例中，该方法包括推导视差信息以指定在第一视图中的当前块的纹理的采样与第二视图中的参考采样之间的空间坐标偏移。

在一些实施例中，该方法包括：

使用视差信息以对第二视图的纹理中的参考采样进行定位；以及

基于定位的采样值获得预测的采样值。

在一些实施例中，获得参考区域的采样值包括以下项中的一个或者多个项：

对参考视图的纹理的采样值进行滤波；

使用一个或者多个加权预测参数对参考视图的纹理的采样值进行滤波。

在一些实施例中，该方法包括在滤波中使用多于一个参考帧的采样值。

在一些实施例中，该方法包括在滤波中使用多于一个参考视图的采样值。

在一些实施例中，该方法包括使用参考VSP帧作为参考帧。

在一些实施例中，该方法包括从两个或者更多源帧产生参考 VSP帧。

在一些实施例中，该方法包括从两个或者更多源视图产生参考 VSP帧。

在一些实施例中，该方法包括通过使用两种或者更多视图合成方法来产生参考VSP帧。

在一些实施例中，该方法包括：

从两个或者更多源帧或者通过使用两种或者更多视图合成方法来产生两个或者更多参考VSP帧；以及

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

在一些实施例中，该方法包括提供以下指示中的至少一个指示：

对一个或者多个参考帧的指示；

对用于产生参考块的一种或者多种视图合成预测方法的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在一些实施例中，该方法包括提供以下中的至少一个：

通过编码的比特流向解码器用信号发送指示；以及

在解码器侧通过预定义的决策做出过程从先前解码的纹理和/或测距信息推导用于指示的精化。

在一些实施例中，该方法包括应用所述指示以对视频序列的像素、块、分片或者完整纹理进行编码或者解码。

在一些实施例中，该方法包括至少提供指示被用作参考图片的图片的第一参考图片列表，可以从参考图片选择参考块。

在一些实施例中，该方法在移动通信设备中用来对视频信息进行编码。

在一些实施例中，视频信息是多视图视频信息。

根据第二示例，提供一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息，推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置提供用于获得参考块的两个或者更多视图。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置推导视差信息以指定在第一视图中的当前块的纹理的采样与第二视图中的参考采样之间的空间坐标偏移。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置：

基于定位的采样值获得预测的采样值。

在该装置的一些实施例中，获得参考区域的采样值包括以下中的一个或者多个：

对参考视图的纹理的采样值进行滤波；

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置在滤波中使用多于一个参考帧的采样值。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置在滤波中使用多于一个参考视图的采样值。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置使用参考 VSP帧作为参考帧。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置从两个或者更多源帧产生参考VSP帧。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置从两个或者更多源视图产生参考VSP帧。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置通过使用两种或者更多视图合成方法来产生参考VSP帧。

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置提供以下指示中的至少一个指示：

对一个或者多个参考帧的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置提供以下中的至少一个：

通过编码的比特流向解码器用信号发送指示；以及

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置应用所述指示以对视频序列的像素、块、分片或者完整纹理进行编码或者解码。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置至少提供指示被用作参考图片的图片的第一参考图片列表，可以从参考图片选择参考块。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置使用移动通信设备中的用于对视频信息进行编码的方法。

在该装置的一些实施例中，视频信息是多视图视频信息。

根据第三示例，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下项：

获得表示第一视图的第一未压缩的纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息，推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置提供用于获得参考块的两个或者更多参考视图。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置推导视差信息以指定在第一视图中的当前块的纹理的采样与第二视图中的参考采样之间的空间坐标偏移。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置：

基于定位的采样值获得预测的采样值。

在该计算机程序产品的一些实施例中，获得参考区域的采样值包括以下中的一个或者多个：

对参考视图的纹理的采样值进行滤波；

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置在滤波中使用多于一个参考帧的采样值。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置在滤波中使用多于一个参考视图的采样值。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用参考VSP帧作为参考帧。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从两个或者更多源帧产生参考 VSP帧。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从两个或者更多源视图产生参考 VSP帧。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置通过使用两种或者更多视图合成方法来产生参考VSP帧。

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置提供以下指示中的至少一个指示：

对一个或者多个参考帧的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置提供以下中的至少一个：

通过编码的比特流向解码器用信号发送指示；以及

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置应用所述指示以对视频序列的像素、块、分片或者完整纹理进行编码或者解码。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置至少提供指示被用作参考图片的图片的第一参考图片列表，可以从参考图片选择参考块。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用在移动通信设备中的用于对视频信息进行编码的方法。

在该计算机程序产品的一些实施例中，视频信息是多视图视频信息。

根据第四示例，提供一种装置，该装置包括：

用于获得表示第一视图的第一未压缩的纹理图片的第一未压缩的纹理块的部件；

用于获得与第一未压缩的纹理块关联的测距信息的部件；

用于基于测距信息，推导参考第二视图中的参考帧的视差信息的部件；

用于基于视差信息获得第二视图的参考采样的部件；

根据第五示例，提供一种方法，该方法包括：

接收包括与第一视图的帧的当前块有关的编码的信息的比特流；

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

在一些实施例中，该方法包括：

基于定位的采样值获得预测的采样值。

在该方法的一些实施例中，获得参考区域的采样值包括以下中的一个或者多个：

对参考视图的纹理的采样值进行滤波；

在一些实施例中，该方法包括使用参考VSP帧作为参考帧。

在一些实施例中，该方法包括：

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

对一个或者多个参考帧的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在一些实施例中，该方法包括提供以下中的至少一个：

通过编码的比特流从编码器获得指示；以及

在编码器侧通过预定义的决策做出过程从先前解码的纹理和/或测距信息推导用于指示的精化。

在一些实施例中，该方法包括应用所述指示以对视频序列的像素、块、分片或者完整纹理进行解码。

在一些实施例中，该方法包括在移动通信设备中使用该方法以对视频信息进行编码。

在该方法的一些实施例中，视频信息是多视图视频信息。

根据第六示例，提供一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息，推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置提供用于获得参考块的两个或者更多参考视图。

基于定位的采样值获得预测的采样值。

在该装置的一些实施例中，其中获得参考区域的采样值包括以下中的一个或者多个：

对参考视图的纹理的采样值进行滤波；

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

对一个或者多个参考帧的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置执行以下中的至少一个：

通过编码的比特流从编码器获得指示；以及

在该装置的一些实施例中，所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时还使该装置应用所述指示以对视频序列的像素、块、分片或者完整纹理进行解码。

在该装置的一些实施例中，视频信息是多视图视频信息。

根据第七示例，提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下项：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息，推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

使用视差信息以对第二视图的纹理中的参考采样值进行定位；以及

基于定位的采样值获得预测的采样值。

对参考视图的纹理的采样值进行滤波；

选择两个或者更多参考VSP帧中的一个，以用作参考VSP帧。

对一个或者多个参考帧的指示；

对用于产生参考块的一个或者多个VSP源帧的指示。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置执行以下中的至少一个：

通过编码的比特流从编码器获得指示；以及

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置应用所述指示以对视频序列的像素、块、分片或者完整纹理进行解码。

在一些实施例中，该计算机程序产品包括一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用移动通信设备中的用于对视频信息进行编码的方法。

根据第八示例，提供一种装置，该装置包括：

用于获得与第一编码的纹理块关联的测距信息的部件；

用于基于视差信息获得第二视图的参考采样的部件；

根据第九示例，提供一种视频编码器，该视频编码器被配置用于：

获得表示第一视图的第一纹理图片的第一未压缩的纹理块；

获得与第一未压缩的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

根据第十示例，提供一种视频解码器，该视频解码器被配置用于：

获得表示第一视图的第一纹理图片的第一编码的纹理块；

获得与第一编码的纹理块关联的测距信息；

基于测距信息推导参考第二视图中的参考帧的视差信息；

基于视差信息获得第二视图的参考采样；

Claims

1.一种处理视频的方法，包括：

获得表示第一视图的第一编码的深度图片；

基于所述第一编码的深度图片，来重构第一解码的深度图片；

获得表示所述第一视图的第一纹理图片的第一纹理块；

从所述第一解码的深度图片获得与所述第一纹理块关联的测距信息；

基于所述测距信息推导参考第二视图中的参考图片的逐个块的视差信息；

使用所述逐个块的视差信息获得所述第二视图的参考块的位置，作为从所述第一纹理块的位置的空间坐标偏移；以及

使用视图合成预测获得包括参考采样的所述参考块以用于执行以下各项中的至少一项：

对所述第一纹理块进行编码；或者

对所述第一纹理块进行解码。

2.根据权利要求1所述的方法，还包括：

基于所述测距信息推导参考第三视图中的第二参考图片的视差信息；

基于所述视差信息获得所述第三视图的参考采样；以及

使用所述第二视图的所述参考采样和所述第三视图的所述参考采样来获得所述参考块。

3.根据权利要求1所述的方法，还包括推导视差信息以指定在所述第一纹理块的采样与所述参考采样之间的空间坐标偏移。

4.根据权利要求1所述的方法，还包括：

使用所述视差信息以用于对所述参考图片中的所述参考采样进行定位；

基于定位的所述参考采样获得用于所述参考块的参考采样值；

对所述参考采样值进行滤波；以及

使用一个或者多个加权预测参数对所述参考采样值进行滤波。

5.根据权利要求1所述的方法，还包括至少提供指示被用作参考图片的图片的第一参考图片列表，从所述参考图片选择所述参考块。

6.根据权利要求1所述的方法，其中获得测距信息包括以下各项中的至少一项：

重构或者解码表示所述第一视图的所述第一解码的深度图片并且从所述第一解码的深度图片获得所述测距信息；

从按照编码顺序在所述第一纹理图片之前的深度图片获得所述测距信息；以及

从按照编码顺序在所述第一纹理块之前的纹理块获得所述测距信息。

7.根据权利要求1所述的方法，还包括用以下方式中的至少一种方式处理所述测距信息或者所述视差信息：

对所述测距信息或者所述视差信息进行滤波；

对所述测距信息或者所述视差信息进行子采样；以及

从所述测距信息或者所述视差信息推导一个视差值。

8.一种用于处理视频的装置，被配置为：

获得表示第一视图的第一编码的深度图片；

获得表示所述第一视图的第一纹理图片的第一纹理块；

对所述第一纹理块进行编码；或者

对所述第一纹理块进行解码。

9.根据权利要求8所述的装置，还被配置为：

基于所述视差信息获得所述第三视图的参考采样；以及

10.根据权利要求8所述的装置，其中所述装置还被配置为推导视差信息以指定在所述第一纹理块的采样与所述参考采样之间的空间坐标偏移。

11.根据权利要求8所述的装置，其中所述装置还被配置为：

基于定位的所述参考采样获得参考采样值；

对所述参考采样值进行滤波；以及

12.根据权利要求8所述的装置，其中所述装置还被配置为至少提供指示被用作参考图片的图片的第一参考图片列表，从所述参考图片选择所述参考块。

13.根据权利要求8所述的装置，其中通过还被配置为以下各项中的至少一项，所述装置被配置为获得测距信息：

14.根据权利要求8所述的装置，其中所述装置还被配置为用以下方式中的至少一种方式处理所述测距信息或者所述视差信息：

对所述测距信息或者所述视差信息进行滤波；

对所述测距信息或者所述视差信息进行子采样；以及

从所述测距信息或者所述视差信息推导一个视差值。

15.一种包括一个或者多个指令的一个或者多个序列的计算机可读介质，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下各项：

获得表示第一视图的第一编码的深度图片；

获得表示所述第一视图的第一纹理图片的第一纹理块；

对所述第一纹理块进行编码；或者

对所述第一纹理块进行解码。

16.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置：

基于所述视差信息获得所述第三视图的参考采样；以及

使用所述第二视图的所述参考采样和所述第三视图的所述参考采样以获得所述参考块。

17.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置推导视差信息以指定在所述第一纹理块的采样与所述参考采样之间的空间坐标偏移。

18.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置：

使用所述视差信息以用于对所述参考图片中的参考采样进行定位；

基于定位的所述参考采样获得参考采样值；

对所述参考采样值进行滤波；以及

19.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置至少提供指示被用作参考图片的图片的第一参考图片列表，从所述参考图片选择所述参考块。

20.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置根据以下各项中的至少一项获得参考信息：

21.根据权利要求15所述的计算机可读介质，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时使所述装置用以下方式中的至少一种方式处理所述测距信息或者所述视差信息：

对所述测距信息或者所述视差信息进行滤波；

对所述测距信息或者所述视差信息进行子采样；以及

从所述测距信息或者所述视差信息推导一个视差值。

22.一种视频编码器，被配置为：

获得表示第一视图的第一编码的深度图片；

获得表示所述第一视图的第一纹理图片的第一纹理块；

使用视图合成预测获得包括参考采样的所述参考块以用于对所述第一纹理块进行编码。