CN101945277A - 处理多视图视频 - Google Patents

Abstract

本发明涉及处理多视图视频。对视频信号进行解码包括：接收比特流，该比特流包括根据第一简表编码的视频信号以及标识第一简表的简表信息，该第一简表表示从一组多个简表中选择的简表，该多个简表包括用于多视图视频信号的至少一个简表。从该比特流提取简表信息。当确定的简表对应于多视图视频信号时，使用在各个视图中的图像的段之间的亮度补偿，根据确定的简表来解码视频信号。该多个视图的每一个包括分段成多个段的多个图像。

Description

处理多视图视频

本申请是2008年7月14日提交的国际申请日为2007年1月12日的申请号为200780003112.0(PCT/KR2007/000226)的，发明名称为“处理多视图视频”专利申请的分案申请。

技术领域

本发明涉及处理多视图视频。

背景技术

多视图视频编码(MVC)涉及压缩通常由对应照相机获取的视频序列(例如图像或者“图像”序列)。视频序列或者“视图”能够根据标准例如MPEG编码。视频序列中的图像能够表示整个视频帧或者视频帧的场。条带(slice)是图像的独立编码部分，条带包括图像中的一些或者所有的宏块，并且宏块包括图像元素(或者“像素”)的块。

视频序列能够根据H.264/AVC编解码器技术被编码成多视图视频序列，并且很多研发者对标准的修订进行研究以适应多视图视频序列。

在当前H.264标准中规定了用于支持特定功能的三个简表(profile)。术语“简表(profile)”指示用于视频编码/解码算法的技术元素的标准化。换言之，简表是为解码压缩序列的比特流而规定的一组技术元素，并且可以被认为是子标准。上述三个简表是基线简表、主要简表和扩展简表。在H.264标准中定义了用于编码器和解码器的各种功能，以便编码器和解码器能够分别地与基线简表、主要简表和扩展简表兼容。

根据用于处理运动图像编码(即序列编码)的视频编码层(VCL)以及与能够发送/存储编码信息的子系统相关联的网络提取层(NAL)，构造用于H.264/AVC标准的比特流。编码过程的输出数据是VCL数据，并且在它被发送或者存储之前被映射成NAL单元。每一个NAL单元包括对应于压缩视频数据或者头部信息的原始字节序列载荷(RBSP)。

NAL单元包括NAL头部和RBSP。NAL头部包括标志信息(例如，nal_ref_idc)和标识(ID)信息(例如，nal_unit_type)。标志信息“nal_ref_idc”指示用作NAL单元的参考图像的条带是否存在。ID信息“nal_unit_type”指示NAL单元的类型。RBSP存储压缩后的原始数据。RBSP末位能够被添加到RBSP的最后部分，从而RBSP的长度能够由8比特的倍数来表示。

存在各种NAL单元，例如，即时解码刷新(IDR)图像、序列参数集(SPS)、图像参数集(PPS)和补充增强信息(SEI)等。

该标准通常使用各种简表和级来定义目标产品，以便能够以适当成本实现目标产品。解码器满足在对应的简表和级处的预定约束条件。

简表和级能够指示解码器的功能或者参数，以便它们指示解码器能够处理哪些压缩图像。指示多个简表中的哪一个简表对应于比特流的特定信息能够利用简表ID信息来标识。简表ID信息“profile_idc”提供用于标识与比特流相关联的简表的标志。H.264/AVC标准包括三个简表标识符(ID)。如果简表ID信息“profile_idc”被设为“66”，则比特流基于基线简表。如果简表ID信息“profile_idc”被设为“77”，则比特流基于主要简表。如果简表ID信息“profile_idc”被设为“88”，则比特流基于扩展简表。上述“profile_idc”信息可以例如被包含在SPS(序列参数集)中。

发明内容

在一个方面，通常，一种用于解码视频信号的方法包括：接收比特流，该比特流包括根据第一简表编码的视频信号和标识该第一简表的简表信息，第一简表表示从包括用于多视图视频信号的至少一个简表的一组多个简表中做出的选择；从该比特流提取简表信息；以及当确定的简表对应于多视图视频信号时，使用在对应的视图中的图像的段之间的亮度补偿，根据确定的简表来解码视频信号，其中该多个视图的每一个包括分段成多个段(例如，图像块段例如单块或者宏块，或者例如图像条带的段)的多个图像。

本发明的方面能够包括下面的特征中的一个或者多个。

该方法还包括：当确定的简表对应于多视图视频信号时，从比特流中提取与多个视图相关联的配置信息，其中，该配置信息包括如下信息中的至少一个：表示在各个视图之间的依赖关系的视图依赖信息、指示参考视图的视图标识信息、指示视图数目的视图数目信息、用于提供视图缩放性的视图级信息以及指示照相机布局的视图布局信息。

简表信息位于比特流的头部中。

视图级信息对应于在多视图视频信号的视图中与层级(hierachical)视图预测结构相关联的多个级中的一个。

视图依赖信息以二维数据结构表示依赖关系。

二维数据结构包括矩阵。

段包括图像块。

对于第一段使用亮度补偿包括：通过形成包括用于相邻块的亮度补偿的预测器(predictor)和残值(residual value)的和，获得用于相邻块的亮度补偿的偏移值。

该方法还包括：按照其中一个或者多个竖直或者水平相邻者之后跟着一个或者多个对角相邻者的次序，根据对于相邻块来说是否满足一个或者多个条件，来选择至少一个相邻块。

选择至少一个相邻块包括按照以下顺序判定对于相邻块来说是否满足一个或者多个条件：左相邻块，随后为上相邻块，随后为右上相邻块，随后为左上相邻块。

判定对于相邻块来说是否满足一个或者多个条件包括：从比特流中提取与相邻块相关联的值，该值指示是否需要执行相邻块的亮度补偿。

选择至少一个相邻块包括：判定使用用于单个相邻块的亮度补偿的偏移值还是使用用于对应的相邻块的亮度补偿的多个偏移值。

在另一方面，通常，一种用于解码多视图视频信号的方法包括：接收比特流，该比特流包括多视图视频信号以及表示依赖关系的视图依赖数据，该多视图视频信号根据在各个视图之间的依赖关系编码；提取视图依赖数据，并且根据所提取的数据来确定依赖关系；以及使用在各个视图中的图像的段之间的亮度补偿，根据确定的依赖关系，来解码多视图视频信号，其中，所述多视图视频信号包括多个视图，每一个视图均包括分段成多个段的多个图像。

本发明的方面能够包括下面的特征中的一个或者多个。

视图依赖数据以二维数据结构表示依赖关系。

视图依赖数据包括矩阵。

该方法还包括从比特流提取配置信息，该配置信息包括以下信息中的至少一个：指示参考视图的视图标识信息、指示视图数目的视图数目信息、用于提供视图缩放性的视图级信息以及指示照相机布局的视图布局信息。

段包括图像块。

对于第一段使用亮度补偿包括：通过形成包括用于相邻块的亮度补偿的预测器和残值的和，获得用于相邻块的亮度补偿的偏移值。

该方法还包括：按照在一个或者多个竖直或者水平相邻者后面跟着一个或者多个对角相邻者的次序，根据对于相邻块来说是否满足一个或者多个条件，来选择至少一个相邻块。

选择至少一个相邻块包括按照以下顺序判定对于相邻块来说是否满足一个或者多个条件：左相邻块，随后为上相邻块，随后为右上相邻块，随后为左上相邻块。

判定对于相邻块来说是否满足一个或者多个条件包括：从比特流提取与相邻块相关联的值，该值指示是否将要执行相邻块的亮度补偿。

选择至少一个相邻块包括：判定使用用于单个相邻块的亮度补偿的偏移值还是使用用于各个相邻块的亮度补偿的多个偏移值。

该方法还包括：当将要使用多个偏移值时，通过组合多个偏移值来获得用于执行第一块的亮度补偿的预测器。

组合该多个偏移值包括求取偏移值的平均值或者中值。

在另一方面，通常，对于每一个对应的解码方法来说，一种用于编码视频信号的方法包括：产生能够利用对应的解码方法被解码成视频信号的比特流。例如，在另一方面，通常，一种用于编码比特流的方法包括：根据第一简表形成比特流，该第一简表表示从一组多个简表中进行的选择，该组多个简表包括用于多视图视频信号的至少一个简表，以及形成标识该第一简表的简表信息；并且当确定的简表对应于多视图视频信号时，提供用于在各个视图中的图像的段之间的亮度补偿的信息，其中，该多个视图的每一个包括分段成多个段的多个图像。在另一方面，通常，一种用于编码比特流的方法包括：根据在各个视图之间的依赖关系形成比特流，以及形成表示该依赖关系的视图依赖数据；以及当确定的简表对应于多视图视频信号时，提供用于在各个视图中的图像的段之间的亮度补偿的信息，其中，该多个视图的每一个包括分段成多个段的多个图像。

在另一方面，通常，对于各种解码方法，在计算机可读介质上存储的计算机程序包括用于致使计算机执行对应的解码方法的指令。

在另一方面，通常，对于各种解码方法，在机器可读信息载体上实施的图像数据能够利用对应的解码方法被解码成视频信号。

在另一方面，通常，对于各种解码方法，解码器包括用于执行对应的解码方法的装置。

在另一方面，通常，对于各种解码方法，编码器包括用于产生能够利用对应的解码方法被解码成视频信号的比特流的装置。

从下面的说明，并且从权利要求可以清楚其它特征和优点。

附图说明

图1是示例性解码设备。

图2是示出序列参数集RBSP语法的结构图示。

图3A是示出包括仅仅一个序列的比特流的结构图示。

图3B是示出包括两个序列的比特流的结构图示。

图4A-4C是示出示例性GOP组(GGOP)结构的图示。

图5是示出用于解码视频序列的方法的流程图。

图6A-6B、7A-7B和8是示出多视图序列预测结构的实例的图示。

图9A-9B是示出在多视图序列数据的数个观点之间的层级预测结构的图示。

图10A-10B是示出二维(2D)多视图序列数据的预测结构的图示。

图11A-11C是示出多视图序列预测结构的图示。

图12是示出层级编码/解码系统的图示。

图13是示出用于编码视频序列的方法的流程图。

图14是示出用于从其它视图的参考块推导出当前块的预测平均像素值的过程的框图。

图15是示出用于从其它视图的参考块推导出当前块的预测平均像素值的过程的详细框图。

图16是示出16×16宏块的图示。

图17A-17B是示出16×8宏块的图示。

图18A-18B是示出8×16宏块的图示。

图19A-19B是示出8×8宏块的图示。

图20是示出用于获得当前块的偏移值的过程的图示。

图21是示出用于执行当前块的亮度补偿的过程的流程图。

图22是示出用于通过判定当前块的参考索引(reference index)是否等于相邻块的参考索引而获得预测器的方法的流程图。

图23是示出根据本本发明基于当前块的预测类型来执行亮度补偿的方法的流程图。

图24是示出用于使用指示是否执行块的亮度补偿的标志信息来执行亮度补偿的方法的流程图。

图25是示出用于通过判定当前块的参考索引是否等于相邻块的参考索引来预测当前块的标志信息的方法的流程图。

图26是示出用于当利用两个或者更多参考块对当前块预测编码时执行亮度补偿的方法的流程图。

图27是示出用于不仅使用指示是否执行当前块的亮度补偿的标志还使用当前块偏移值来执行亮度补偿的方法的流程图。

图28A-28B是示出用于使用与P和B条带的块相关联的标志和偏移值来执行亮度补偿的方法的图示。

图29是指示用于当利用两个或者更多参考块对当前块预测编码时执行亮度补偿的方法的流程图。

图30是指示用于使用指示是否执行当前块的亮度补偿的标志执行亮度补偿的方法的流程图。

图31A-31C是示出指示是否执行当前块的亮度补偿的标志信息的范围的图示。

图32是指示用于考虑到当前块的偏移值来获得运动矢量的方法的流程图。

具体实施方式

为了有效处理多视图序列，输入比特流包括允许解码设备判定输入比特流是否与多视图简表有关的信息。在判定输入比特流与多视图简表相关的情形中，根据语法将与多视图序列相关联的补充信息添加到比特流并且发送到解码器。例如，多视图简表ID能够指示用于根据H.264/AVC标准的修订来处理多视图视频数据的简表模式。

MVC(多视图视频编码)技术是H.264/AVC标准的修订技术。即，为MVC模式添加特定语法作为补充信息。用于支持MVC技术的这种修订能够比其中使用无条件语法的备选方案更加有效。例如，如果AVC技术的简表标识符指示多视图简表，则添加多视图序列信息能够提高编码效率。

H.264/AVC比特流的序列参数集(SPS)指示包括与整个序列编码相关联的信息(例如简表和级)的头部信息。

全部压缩后的运动图像(即序列)能够以序列头部开始，从而对应于头部信息的序列参数集(SPS)早于参考参数集(refer to)的数据到达解码器。结果，序列参数集RBSP在进口(entry)S1处用作运动图像的压缩数据的头部信息(图2)。如果接收到比特流，则简表ID信息“profile_idc”从数个简表中标识哪一个简表对应于接收到的比特流。

简表ID信息“profile_idc”能够被例如设为“MULTI_VIEW_ROFILE”，以便包括简表ID信息的语法能够判定所接收的比特流是否与多视图简表相关。当所接收的比特流与多视图简表相关时，能够添加下面的配置信息。

图1是示出用于解码包含多视图视频序列的视频信号的多视图视频系统的示例性解码设备(或者“解码器”)的框图。该多视图视频系统包括对应的编码设备(或者“编码器”)以提供多视图视频序列作为比特流，该比特流包括在机器可读信息载体(例如机器可读存储介质或者在发送器和接收器之间传播的机器可读能量信号)上实施的编码图像数据。

参考图1，解码设备包括解析单元10、熵解码单元11、反量化(Inverse Quantization)/反变换(Inverse Transform)单元12、帧间预测单元13、帧内预测单元14、解块滤波器15和解码图像缓存器16。

帧间预测单元13包括运动补偿单元17、亮度补偿单元18和亮度补偿偏移预测单元19。

解析单元10在NAL单元中对接收的视频序列执行解析以解码所接收的视频序列。一般地，在条带头部和条带数据被解码之前，将一个或者多个序列参数集和图像参数集发送到解码器。在此情形中，NAL头部或者NAL头部的扩展区域可以包括各种配置信息，例如，时间级信息(temporal level information)、视图级信息(view level information)、锚(anchor)图像ID信息和视图ID信息等。

术语“时间级信息”表示用于从视频信号提供时间缩放性的分层结构信息，以便能够经由上述时间级信息将多种时区的序列提供给用户。

术语“视图级信息”表示用于从视频信号提供视图缩放性的分层结构信息。多视图视频序列能够限定时间级和视图级，以便能够根据所限定的时间级和视图级将多种时间序列和视图序列提供给用户。

以此方式，如果如上所述来限定级信息，则用户可以采用时间缩放性和视图缩放性。因此，使用者能够查看对应于期望时间和视图的序列，或者能够查看对应于另一限制的序列。也可以根据参考状态以各种方式建立上述级信息。例如，可以根据照相机位置改变级信息，并且也可以根据照相机布局类型来改变级信息。另外，也可以没有任何特定参考地任意建立级信息。

术语“锚图像”表示其中所有条带仅仅指的是当前视图中的条带而非其它视图中的条带的编码图像。在视图之间的随机访问能够被用于多视图序列解码。

锚图像ID信息能够被用于执行随机访问过程以访问特定视图的数据而无需解码大量数据。

术语“视图ID信息”表示用于在当前视图的图像和另一视图的图像之间进行区别的特定信息。当对视频序列信号进行编码时，为了将一个图像从其它图像区别开，能够使用图像序列号(POC)和帧序号信息(frame_num)。

如果当前序列被确定为多视图视频序列，则能够执行视图间预测。标识符被用于将当前视图的图像与另一视图的图像进行区别。

能够定义视图标识符以表示图像的视图。解码设备能够使用上述视图标识符获得不同于当前图像的视图的视图中的图像的信息，以便它能够使用该图像的信息来解码视频信号。上述视图标识符能够被应用于视频信号的整个编码/解码过程。而且，考虑到视图，上述视图标识符也能够被应用于使用帧序号信息“frame_num”的多视图视频编码过程。

一般地，多视图序列具有大量数据，并且每一个视图的分层编码功能(也被称为“视图缩放性”)能够被用于处理该大量数据。为了执行视图缩放性功能，可以定义考虑到多视图序列的视图的预测结构。

可以通过结构化数个视图序列的预测次序或者方向来定义上述预测结构。例如，如果给定将要编码的数个视图序列，则总体布局的中心位置被设为基础视图，以便能够分层地选择将要编码的视图序列。总体布局的端部或者其它部分可以被设为基础视图。

如果照相机视图的数目由“2”的指数幂表示，则根据用“2”的指数幂表示照相机视图的上述情形，能够形成数个视图序列之间的分层预测结构。在其它情形中，如果照相机视图的数目不由“2”的指数幂表示，则能够使用虚拟视图并且可以基于该虚拟视图形成预测结构。如果照相机布局指示二维布局，则可以沿着水平或者垂直方向交替地(by turns)形成预测次序。

被解析的比特流利用熵解码单元11进行熵解码，并且提取数据，例如每一个宏块的系数、运动矢量等。反量化/反变换单元12将所接收的量化值乘以预定常数以获取经过变换的系数值，并且对所获取系数值执行反变换，以便它重构像素值。帧间预测单元13使用该重构的像素值由当前图像的解码样本执行帧间预测功能。

同时，解块滤波器15被应用于每一个解码宏块以降低块失真程度。解块滤波器15执行块边缘的平滑处理，从而它提高解码后的帧的图像质量。滤波过程的选择依赖于边界强度和在边界附近布局的图像样本的梯度。滤波后的图像被存储在解码图像缓存器16中，从而它们能够被输出或者被用作参考图像。

解码图像缓存器16存储或者输出预编码图像以执行帧间预测功能。在此情形中，图像的帧序号信息“frame_num”和POC(图像序列号)信息被用于存储或者输出预编码图像。在MVC技术的情形中，其它视图的图像可以存在于上述预编码图像中。因此，为了使用上述图像作为参考图像，根据需要，可以不仅使用“frame_num”和POC信息，而且使用表示图像视图的视图标识符。

帧间预测单元13使用在解码图像缓存器16中存储的参考图像执行帧间预测。帧间编码宏块可以被划分成宏块部分。每一个宏块部分能够利用一个或者两个参考图像来预测。

运动补偿单元17使用从熵解码单元11接收的信息补偿当前块的运动。运动补偿单元17从视频信号提取当前块的相邻块的运动矢量，并且获得当前块的运动矢量预测器。运动补偿单元17使用在从视频信号和所获得的运动矢量预测器所提取的运动矢量和预测值之间的差值，来补偿当前块的运动。上述运动补偿可以利用仅仅一个参考图像执行，或者也可以利用多个参考图像执行。

因此，如果上述参考图像被确定为不同于当前视图的其它视图的图像，则可以根据表示其它视图的视图标识符来执行运动补偿。

直接模式表示用于基于被完全解码的块的运动信息来预测当前块的运动信息的编码模式。上述直接模式能够减少编码运动信息所需的位数，结果导致提高压缩效率。

例如，时域直接模式使用时域方向的运动信息的相关性来预测当前块的运动信息。类似于时域直接模式，解码器能够使用视图方向的运动信息的相关性来预测当前块的运动信息。

如果所接收的比特流对应于多视图序列，则可以分别地利用不同照相机捕获视图序列，以便可能由于照相机的内部或者外部因素导致可以发生亮度差异。为了减少与亮度差异相关联的潜在的效率低下问题，亮度补偿单元18执行亮度补偿功能。

在执行亮度补偿功能的情形中，标志信息可以用于指示是否执行在视频信号的特定级处的亮度补偿。例如，亮度补偿单元18可以使用指示是否执行对应的条带或者宏块的亮度补偿的标志信息，来执行亮度补偿功能。而且，用于使用上述标志信息执行亮度补偿的上述方法可以被应用于各种宏块类型(例如帧间16×16模式(inter 16×16mode)、B-跳过模式(B-skip mode)、直接模式等)。

当执行亮度补偿时，为了重构当前块，可以使用相邻块的信息或者不同于当前块的视图的视图中的块的信息，并且也可以使用当前块的偏移值。

在此情形中，当前块的偏移值表示在当前块的平均像素值与对应于当前块的参考块的平均像素值之间的差值。作为使用上述偏移值的实例，可以通过使用当前块的相邻块获得当前块偏移值的预测器，并且可以使用在偏移值和预测器之间的残值。因此，解码器能够使用残值和预测器重构当前块的偏移值。

为了获得当前块的预测器，可以根据需要使用相邻块的信息。

例如，能够通过使用相邻块的偏移值来预测当前块的偏移值。在预测当前块的偏移值之前，判定当前块的参考索引是否等于相邻块的参考索引。根据判定结果，亮度补偿单元18能够判定将使用哪一个相邻块或者使用哪个值。

亮度补偿单元18可以使用当前块的预测类型来执行亮度补偿。如果利用两个参考块对当前块进行预测编码，则亮度补偿单元18可以使用当前块的偏移值来获得对应于每一个参考块的偏移值。

如上所述，根据预测模式来选择利用亮度补偿和运动补偿获得的帧间预测图像或帧内预测图像，并且重构当前图像。

在该文献中稍后将描述用于重构当前图像的编码/解码方法的各种实例。图2是指示序列参数集RBSP语法的结构图示。

参考图2，序列参数集表示包括与整个序列编码相关联的信息(例如简表和级)的头部信息。

整个压缩序列能够以序列头部开始，从而对应于头部信息的序列参数集早于参考(refer to)参数集的数据到达解码器。结果，在步骤S1，序列参数集(RBSP)用作与得到的压缩后的运动图像的数据相关联的头部信息。在步骤S2，如果接收到比特流，“profile_idc”信息确定数个简表中的哪一个简表对应于所接收的比特流。例如，如果“profile_idc”被设为“66”，则这指示所接收的比特流基于基线简表。如果“profile_idc”被设为“77”，则这指示所接收的比特流基于主要简表。如果“profile_idc”被设为“88”，则这指示所接收的比特流基于扩展简表。步骤S3使用语法“If(profile_idc)＝＝MULTI_VIEW_PROFILE)”以判定所接收的比特流是否涉及多视图简表。

如果在步骤S3所接收的比特流涉及多视图简表，则多视图序列的各种信息能够被添加到所接收的比特流。

“reference_view”信息表示全部视图的参考视图，并且可以将与参考视图相关联的信息添加到比特流。通常，MVC技术使用能够被用于单个序列的编码方案(例如，H.264/AVC编解码器)来编码或者解码参考视图序列。如果参考视图被添加到语法，则语法指示数个视图中的哪一个视图将被设为参考视图。

用作编码参考的基础视图用作上述参考视图。参考视图的图像被独立编码而不参考另一视图的图像。

视图数目(num_views)可以添加指示由数个照相机捕获的多视图的数目的特定信息。可以以各种方式设定每一个序列的视图数目(num_views)。“num_views”信息被发送到编码器和解码器，从而在步骤S5编码器和解码器能够自由使用“num_views”信息。

照相机布局(view_arrangement)指示当获取到序列时照相机的布局类型。如果“view_arrangement”信息被添加到语法，则编码过程能够有效执行以适用于各个布局。此后，如果开发出新的编码方法，能够使用不同的“view_arrangement”信息。

帧的数目“temporal_units_size”指示每一个视图的接连编码/解码帧的数目。如果需要，也可以添加指示帧数的特定信息。更加详细地，如果当前第N个视图正在被编码/解码，并且第M个视图将在下一次被编码/解码，则“temporal_units_size”信息指示在第N个视图将首先处理多少个帧并且然后将处理第M个视图。通过“temporal_units_size”信息和“num_views”信息，系统能够从数个视图中判定哪一个视图对应于每个帧。如果从每一个视图序列的I条带到P条带的第一长度、在P条带之间的第二长度、或者对应于第一或者第二长度的倍数的长度被设为“temporal_units_size”信息，可以仅仅在一个视图处处理“temporal_units_size”信息，并且可以进行到下一个视图。“temporal_units_size”信息可以等于或者小于传统GOP长度。例如，图4B～4C示出用于解释“temporal_units_size”概念的GGOP结构。在此情形中，在图4B中，“temporal_units_size”信息被设为“3”。在图4C中，“temporal_units_size”信息被设为“1”。

在一些实例中，对应于“temporal_units_size”为“1的情况，MVC方法在时间轴和视图轴上布局数个帧，以便它可以处理在相同时间值的每个视图的单个帧，并且然后可以处理在下一个时间值的每一个视图的单个帧。可替代地，对应于“temporal_units_size”为“N”的情况，MVC方法可以在相同视图处处理N个帧，并且然后可以在下一个视图处处理该N个帧。因为通常处理至少一个帧，所以“temporal_units_size_minusl”可以被添加到语法以表示处理多少另外的帧。因此，在步骤S7，上述实例可以分别地由“temporal_units_sizeminusl＝0”和“temporal_units_size_minusl＝N-1”表示。

传统编码方案的简表不具有公共简表，从而标志被进一步用于指示兼容性。“constraint_set*_flag”信息指示哪一个简表能够使用解码器来解码比特流。“constraint_set0_flag”信息指示能够在步骤S8利用基线简表的解码器来解码比特流。“constraint_set1_flag”信息指示能够在步骤S9利用主要简表的解码器来解码比特流。“constraint_set2_flag”信息指示能够在步骤S10利用扩展简表的解码器来解码比特流。因此，需要定义“MULTI_VIEW_PROFILE”解码器，并且可以在步骤S11利用“constraint_set4_flag”信息来定义“MULTI_VIEW_PROFILE”解码器。

“level_idc”信息指示级标识符。“level”通常指示解码器的性能和比特流的复杂度，并且在步骤S12涉及在上述简表中规定的技术元素。

“seq_parameter_set_id”信息指示在SPS(序列参数集)中包含的SPS(序列参数集)ID信息从而在步骤S13标识序列类型。

图3A是示出包括仅仅一个序列的比特流的结构图示。

参考图3A，序列参数集(SPS)指示包括与整个序列编码相关联的信息(例如简表和级)的头部信息。补充增强信息(SEI)指示补充信息，对于运动图像(即序列)编码层的解码过程而言并不需要该补充增强信息。图像参数集(PPS)是指示整个图像的编码模式的头部信息。I条带仅仅执行帧内编码过程。P条带执行帧内编码过程或者帧间预测编码过程。图像分隔符指示在视频图像之间的边界。系统对上述SPS应用SPS RBSP语法。因此，系统在产生比特流期间采用上述语法，以便它能够向所需对象添加各种信息。

图3B是示出包括两个序列的比特流的结构图示。

参考图3B，H.264/AVC技术能够使用单个比特流处理多种序列。SPS包括SPS中的SPS ID信息(seq_parameter_set_id)以便标识序列。在PPS(图像参数集)中规定SPS ID信息，以便标识哪一个序列包括图像。而且，在条带头部中规定PPS ID信息(pic_parameter_set_id)，以便“pic_parameter_set_id”信息能够标识将使用哪一个PPS。

例如，图3B的条带#1的头部包括将将要参考的PPS ID信息(pic_parameterset_id)，如由①所表示。PPS#1包括所参考的SPS ID信息(SPS＝1)，如由②所表示。因此，能够认识到条带#1属于序列#1。以此方式，也能够认识到条带#2属于序列#2，如由③和④所表示。实际上，基线简表和主要简表被添加和编辑以创建新的视频比特流。在此情形中，两个比特流被分配不同的SPS ID信息。该两个比特流中的任何一个也可以根据需要被转变为多视图简表。

图4A示出示例性GOP组(GGOP)结构。图4B和图4C示出用于解释“temporal_units_size”概念的GGOP结构。GOP表示一些图像的数据组。为了有效执行编码过程，MVC使用GGOP概念来执行空间(spatial)预测和时间(temporal)预测。

如果在每一个视图序列的I条带和P条带之间的第一长度、在P条带之间的第二长度、或者对应于第一或者第二长度的倍数的第三长度被设为“temporal_units_size”信息，则可以在仅仅一个视图处处理“temporal_units_size”信息，并且可以进行到下一个视图。“temporal_units_size”信息可以等于或者小于传统GOP长度。例如，在图4B中，“temporal_units_size”信息被设为“3”。在图4C中，“temporal_units_size”信息被设为“1”。特别地，在图4B中，如果“temporal_units_size”信息由“temporal_units_size＞1”表示，并且一个或者多个视图在I帧处开始，则能够处理(temporal_units_size+1)个帧。而且，通过参考上述“temporal_units_size”和“num_views”信息，系统能够从数个视图中识别出哪一个视图对应于整个序列的每一个帧。

在图4A中，在时间轴和视图轴上布局各个帧。V1～V8的图像分别地指示GOP。用作基础GOP的V4被用作其它GOP的参考GOP。如果“temporal_units_size”信息被设为“1”，则MVC方法在相同时间区处理各个视图的帧，并且然后能够在下一个时间区再次处理各个视图的帧。T1～T4的图像指示在相同时间区的各个视图的帧。换言之，MVC方法能够首先处理T1的帧，并且然后能够以T4-＞T2-＞T3-＞...的顺序处理多个帧。如果“temporal_units_size”信息被设为“N”，则MVC方法可以首先在单个视图中沿着时间轴方向处理N个帧，并且可以在下一个视图处处理该N个帧。换言之，如果“temporal_units_size”信息被设为“4”，则MVC方法可以首先处理在V4 GOP的T1-T4的帧中包含的帧，并且然后可以按照顺序V1-＞V2-＞V3-＞…处理多个帧。

因此，在产生图4A中的比特流的情形中，视图数目(num_views)被设为“8”，参考视图被设为V4 GOP(图像组)。帧的数目(temporal_units_size)指示每一个视图的接连编码/解码的帧的数目。因此，如果在图4A中的相同时间区处处理每一个视图的帧，则“temporal_units_size”信息被设为“1”。如果在单个视图中沿着时间轴方向处理帧，则“temporal_units_size”信息被设为“N”。上述信息被添加到比特流产生过程。

图5是示出用于解码视频序列的方法的流程图。

参考图8，从所接收的比特流提取一个或者多个简表信息。在此情形中，所提取的简表信息可以是数个简表(例如基线简表、主要简表和多视图简表)中的至少一个。在步骤S51可以根据输入的视频序列来改变上述简表信息。从所提取的简表信息中提取在上述简表中包含的至少一个配置信息。例如，如果所提取的简表信息涉及多视图简表，则在步骤S53提取在多视图简表中包含的一个或者多个配置信息(即“reference_view”、“num_views”、“view_arrangement”和“temporal_units_size”信息)。以此方式，上述所提取的信息被用于对多视图编码的比特流进行解码。

图6A-6B是示出根据第一实例的多视图序列预测结构的概念图示。

参考图6A-6B，如果数个观点的数目(m)(即，多视图数目)被设为2n(即，m＝2n)，如果n＝0，则多视图数目(m)被设为“1”。如果n＝1，则多视图数目(m)被设为“2”。如果n＝2，则多视图数目(m)被设为“4”。如果n＝3，则多视图数目(m)被设为“8”。因此，如果多视图数目(m)被设为2n-1＜m≤2n，则比特流包括单个基础视图比特流和n个分层辅助视图比特流。

特别地，术语“基础视图”表示数个观点(即多视图)中的参考视图。换言之，对应于该基础视图的序列(即运动图像)利用普通视频编码方案(例如MPEG-2、MPEG-4、H.263和H.264等)编码，从而它以独立比特流的形式产生。为了方便说明，该独立比特流被称为“基础视图比特流”。

术语“辅助视图”表示在数个观点(即多视图)中除了上述基础视图之外的剩余视图。换言之，对应于辅助视图的序列通过执行基础视图序列的差异(disparity)估计而形成比特流，并且该比特流被称为“辅助视图比特流”。

当在数个观点(即多视图)之间执行分层编码过程(即视图缩放性过程)的情形中，上述辅助视图比特流被分类成第一辅助视图比特流、第二辅助视图比特流和第n辅助视图比特流。

术语“比特流”根据需要可以包括上述基础视图比特流和上述辅助视图比特流。

例如，如果多视图数目(m)被设为“8”(n＝3)，比特流包括单个基础视图和三层辅助视图。如果比特流包括单个基础视图和n层辅助视图，则优选由普通规则定义将要成为多视图中的基础视图的位置和将要成为每一个分层辅助视图的位置。作为参考，图6A-6B的正方形区域表示单个观点。关于在正方形区域中包含的数字，数字“0”表示基础视图，数字“1”指示第一层辅助视图，数字“2”表示第二层辅助视图，并且数字“3”表示第三层辅助视图。在图6A-6B的这个实例中，作为多视图视频序列，示例性地公开了最多8个观点，然而，应该注意，多视图数目不限于“8”，并且根据需要任何多视图数目可以用于其它实例。

参考图6A，由下面的规则确定各个基础视图和各个辅助视图。首先，基础视图的位置被设为第2^n-1个视图。例如，如果n＝3，基础视图被设为第四视图。图6A-6B示出其中开始视图位于最右侧的示例性情形。对应于从最右视图61起的第四次序的特定视图被用作基础视图。优选地，基础视图位置可以位于多视图中的中心视图附近的特定位置处或者可以被设为多视图中的中心视图，因为基础视图可以被用作参考以执行其它辅助视图的预测编码过程。

对于另一实例，最左的视图总是被设为开始视图，并且观点的数目(m)(即多视图数目)可以按照m＝0-＞m＝1-＞m＝2-＞m＝3...的顺序布局。例如，如果n＝3，第2^n-1个多视图数目(即m＝4)可以被设为基础视图。

第一层辅助视图位置可以被设为从上述基础视图分开2^n-2量级(magnitude)的左侧视图，或者从上述基础视图分开2^n-2量级的右侧视图。例如，图6A示出例示情况，其中从基础视图在向左方向上分开2^n-2个视图(即在n＝3的情形中为两个观点)的观点被确定为第一层辅助视图。在其它情形中，图6B示出例示情况，其中沿着右方向从基础视图分开2^n-2个视图(即在n＝3的情形中为两个观点)的观点被确定为第一层辅助视图。在上述实例中，第一层辅助视图的数目被设为“1”。

第二层辅助视图位置可以被设为从基础视图分开2^n-2量级的左侧视图，或者从第一层辅助视图分开2^n-2量级的右侧视图。例如，上述图6A的情形产生两个第二层辅助视图。因为上述图6B的情形不具有沿着右方向从第一层辅助视图分开2^n-2量级的视图，所以沿着左方向从基础视图分开2^n-2量级的观点被确定为第二层辅助视图。

沿着左方向从第二层辅助视图分开2^n-2量级的观点也可以被确定为第二层辅助视图63。然而，如果该观点对应于多视图的两端，则上述观点可以被确定为第三层辅助视图。在图6B的情形中可以产生一个或者两个第二层辅助视图。

最后，第三层辅助视图位置被设为除了已被选择为基础视图和第一以及第二层辅助视图的上述观点之外的剩余观点。在图6A中，产生四个第三层辅助视图。在图6B中，产生四个或者五个第三层辅助视图。

图7A-7B是示出根据第二实例的多视图序列预测结构的概念图不。

图7A-7B的第二实例在概念方面类似于上述图6A-6B的第一实例，然而，应该注意，不同于图6A-6B，图7A-7B示出用于选择基础视图的开始视图位于最左侧。换言之，从最左侧65分开的第四视图被选择作为基础视图。在图7A-7B中，除了上述差异之外的其余部分与图6A-6B的那些相同。

图8是示出根据第三实例的多视图序列预测结构的概念图示。

图8的第三实例示出其中多视图数目(m)被设为2^n-1＜m≤2ⁿ的示例性情形。更加详细地，图8示出由m＝5，m＝6，m＝7，和m＝8表示的各种情形。如果m＝5，6，和7，则多视图数目(m)并不满足条件m＝2ⁿ，从而系统不作改变则难以实现图6A-6B的上述第一实例和图7A-7B的上述第二实例。为了解决上述问题，该系统应用虚拟视图概念，以便利用虚拟视图概念避免上述问题。

例如，如果2^n-1＜m＜2ⁿ，产生2ⁿ-m个虚拟视图。如果多视图数目(m)是奇数，则在多视图布局的左侧(或者右侧)产生(2ⁿ-m+1)/2个虚拟视图，并且在多视图布局的右侧(或者左侧)产生(2ⁿ-m-1)/2个虚拟视图。如果多视图数目(m)是偶数，分别地在多视图布局的左侧和右侧产生(2ⁿ-m)/2个虚拟视图。并且然后，能够以相同方式利用所得到的虚拟视图应用上述预测结构。

例如，如果多视图数目(m)被设为“5”，则通过分别地向多视图的两端添加一个或者两个虚拟视图而虚拟地形成m＝8的多视图，并且选择基础视图位置和三个层级辅助视图位置。如从图8可见，两个虚拟视图被添加到左侧的端部，并且单个虚拟视图被添加到右侧的端部，以便根据图6A的上述实例选择基础视图和第一到第三层辅助视图。

例如，如果多视图数目(m)被设为“6”，则通过向多视图的两端都添加单个虚拟视图而虚拟地形成m＝8的多视图，并且分别地选择基础视图的位置和三层辅助视图的位置。如从图8可见，根据图6A的上述实例选择基础视图和第一到第三层辅助视图。

例如，如果多视图数目(m)被设为“7”，则通过向多视图两端的任何一个添加单个虚拟视图而虚拟地形成m＝8的多视图，并且分别地选择基础视图的位置和三层辅助视图的位置。例如，如图8所示，将单个虚拟视图添加到左侧端部，以便根据图6A的上述实例选择基础视图和第一到第三层辅助视图。

图9A-9B是示出在多视图序列数据的数个观点之间的分层预测结构的概念图示。例如，图9A示出图6A情形的实现实例，并且图9B示出图7A情形的实现实例。更加详细地，如果多视图数目(m)被设为“8”，提供基础视图和三层辅助视图，以便在多视图序列的编码期间能够实现在数个观点之间的分层编码(或者“视图缩放性”)。

基于基础视图的图像和/或上层辅助视图图像的图像，估计/预测由上述分层辅助视图比特流实现的各个图像，从而对所得到的图像执行编码。特别地，差异(disparity)估计通常被用作上述估计。

例如，第一层辅助视图92通过参考基础视图91执行在观点之间的估计/编码过程(即多视图的估计/编码过程)。第二层级辅助视图(93a和93b)通过参考基础视图91和/或第一层辅助视图92执行在观点之间的估计/编码过程。第三层辅助视图(94a、94b、94c和94d)通过参考基础视图和第一层辅助视图92，和/或第二层辅助视图(93a和93b)执行在观点之间的估计/编码过程。与上述说明相关，图中箭头指示上述多视图的估计/编码过程的行进方向，并且可以理解，在相同层中包含的辅助流可以根据需要参考不同视图。上述分层-编码的比特流根据显示器特性在接受端中被选择性地解码，并且将参考图12在以后描述其详细说明。

通常，编码器的预测结构可以被改变为另一结构，以便通过发送指示各个视图的关系的信息，解码器能够容易地识别出各个视图图像的预测结构关系。而且，指示整个视图层级中的哪一个级包括该各个视图的特定信息也可以被发送到解码器。

如果为对应的图像(或者条带)指定视图级(view_level)，并且给出视图图像之间的依赖关系，即便利用编码器以各种方式改变预测结构，解码器也能够容易地识别出被改变的预测结构。在此情形中，各个视图的预测结构/方向信息可以以矩阵的形式构造，以便矩阵型的预测结构/方向信息被发送到目的地。换言之，视图数目(num_view)被发送到解码器，并且各个视图的依赖关系也可以由二维(2D)矩阵表示。

如果视图的依赖关系随着时间而改变，例如，如果每一个GOP的第一帧的依赖关系不同于其余时间区的其它帧的依赖关系，则可以发送与各个情形相关联的依赖关系矩阵信息。

图10A-10B是示出根据第四实例的二维(2D)多视图序列的预测结构的概念图示。

上述第一到第三实例已经作为实例公开了一维阵列的多视图。应该注意，根据需要它们也能够被应用于二维(2D)多视图序列。

在图10A-10B中，正方形表示以2D的形式布局的各个视图，并且在正方形中包含的数字表示分层视图的关系。

例如，如果以“A-B”的形式构造正方形中的数字，“A”指示对应的分层辅助视图，并且“B”指示在相同分层辅助视图中的优先权。

关于在正方形区域中包含的数字，数字“0”表示基础视图，数字“1”表示第一层辅助视图，数字“2-1”或者“2-2”表示第二层辅助视图，数字“3-1”或者“3-2”表示第三层辅助视图，数字“4-1”、“4-2”或者“4-3”表示第四层辅助视图，并且数字“5-1”、“5-2”或者“5-3”表示第五层辅助视图。

总之，在通过对利用从二维(2D)多视图获取的图像进行编码产生比特流的情形中，如果在水平轴上的2D多视图数目(m)是2^n-1＜m≤2ⁿ并且在垂直轴上的2D多视图数目(p)是2^k-1＜p≤2^k，上述比特流包括单个基础视图比特流和(n+k)个分层辅助视图比特流。

更加详细地，在水平轴和垂直轴上交替地形成上述(n+k)层辅助视图。例如，在图10A中的(n+k)层辅助视图中的第一层辅助视图位于包括基础视图的垂直轴处。在图10B中的(n+k)层辅助视图中的第一层辅助视图位于包括基础视图的水平轴处。

例如，如图10A所示，如果水平轴的多视图数目(m)被设为“8”(即，n＝3)，并且垂直轴的多视图数目(p)被设为“4”(即，k＝2)，则比特流包括单个基础视图和五层辅助视图。与上述说明有关，图10A示出按照“垂直轴-＞水平轴-＞垂直轴-＞...”的顺序选择分层辅助视图。将如下在下文中描述用于确定基础视图和辅助视图的位置的方法。

首先，以与上述一维阵列相同的方式确定基础视图位置。因此，基础视图位置被确定为对应于沿着水平轴方向第2^n-1个位置且沿着垂直轴方向第2^k-1个位置的特定视图。

第一层辅助视图位置被确定为在垂直轴方向上从基础视图位置分开2^k-2量级的顶侧视图或者底侧视图，如由①所表示。第二层辅助视图位置被确定为沿着水平轴方向从基础视图位置和第一层辅助视图分开2^n-2量级的如由②所示的左侧视图或右侧视图。第三层辅助视图位置被确定为在包括不仅第一和第二层辅助视图而且还包括基础视图的垂直轴中包含的其余视图。第四层辅助视图位置被确定为沿着水平轴方向从第一到第三层辅助视图和基础视图分开2^n-2量级的左侧视图或者右侧视图。最后，第五层辅助视图位置被确定为除了基础视图和第一到第四层辅助视图之外的其余视图。

例如，如从图10B可见，如果水平轴的多视图数目(m)被设为“8”(即，n＝3)，并且垂直轴的多视图数目(p)被设为“4”(即，k＝2)，则比特流包括单个基础视图和五层辅助视图。与上述说明相关，图10B示出按照“水平轴-＞垂直轴-＞水平-＞...”的次序选择分层辅助视图。将如下在下文中描述用于确定基础视图和辅助视图的位置的方法。

首先，以与上述一维阵列相同的方式确定基础视图位置。因此，基础视图位置被确定为对应于沿着水平轴方向的第2^n-1个位置以及沿着竖直轴方向的第2^k-1个位置的特定视图。

第一层辅助视图位置被确定为沿着水平轴方向从基础视图位置分开2^n-2量级的左侧视图或者右侧视图，如由①所表示。第二层辅助视图位置被确定为沿着垂直轴方向从基础视图和第一层辅助视图分开2^k-1量级的如②所示的顶侧视图或底侧视图。第三层辅助视图位置被确定为沿着水平轴方向从基础视图和第一到第二层辅助视图分开2^n-2量级的左和右方向视图。第四层辅助视图位置被确定为在包括不仅第一到第三层辅助视图而且还包括基础视图的垂直轴中包含的其余视图。最后，第五层辅助视图位置被确定为除了基础视图和第一到第四层辅助视图之外的其余视图。

图11A-11C是示出根据第五实例的多视图序列预测结构的概念图示。图11A-11C的第五实例具有不同于上述第一到第四实例的预测-结构规则。例如，图11A-11C的正方形区域表示各个视图，然而，在正方形区域中包含的数字指示视图预测的次序。换言之，关于在正方形区域中包含的数字，数字“0”表示第一预测视图(或者第一视图)，数字“1”表示第二预测视图(或者第二视图)，数字“2”表示第三预测视图(或者第三视图)，并且数字“3”表示第四预测视图(或者第四视图)。

例如，图11A示出在多视图数目(m)由m＝l～m＝10表示的情形中第一到第四视图的决定格式。第一到第四视图由下面的规则确定。

例如，多视图的两端被设为第一视图(0)，并且多视图中的中心视图被设为第二视图(1)。通过基于第二视图(1)沿着两个方向跳过至少一个视图接连布局的视图被分别地设为第三视图(2)。除了第一到第三视图之外的其余视图被分别地设为第四视图(3)。如果如上所述确定第一到第四视图，则需要区分基础视图和辅助视图。例如，第一视图、第二视图和第三视图中的任何一个被设为基础视图，并且除了基础视图之外的其余视图可以被设为辅助视图。

如果不通过上述规定规则来确定基础视图而是由编码器任意选择基础视图，则基础视图位置的标识(ID)信息(即“base_view_position”)可以被包含在比特流中。

图11B示出第二视图(1)的决定的另一实例。更加详细地，图11B示出不同于图11A实例的另一实例，从而它示出其中除了第一视图(0)之外的其余视图被设为偶数的示例性情形。换言之，如果m＝4、m＝6、m＝8或者m＝10，则图11B的第二视图(1)可以根据需要不同于图11A的第二视图(1)。对于另一实例，在确定位于第二视图(1)之后的视图的情形中，可以通过基于最左第一视图(0)顺序地跳过单个视图而确定上视图。

与上述说明相关，图11C示出一种示例性情形，其中，多视图数目(m)为10(即，m＝10)，并且多视图中的基础视图由基础视图ID信息利用“base_view_position＝′1′view”(对应于第六视图)。例如，如从图11C可见，第一层辅助视图被设为第三视图(2)，第二层辅助视图被设为第一视图(0)，并且第三层辅助视图被设为第四视图(3)。

与上述说明相关，在图11A-11B中，基础视图也可以被设为第一视图(1)，如图11C所示。原因在于，如果基础视图位于多视图中心部分附近的特定位置处，或者位于多视图的中心部分处，则其它辅助视图的估计/编码过程能够有效执行。因此，能够根据下面的规则来确定基础视图位置和辅助视图位置。

换言之，基础视图位置被设为多视图的中心视图(1)，第二辅助视图位置被设为多视图的两端视图(0)，并且第一辅助视图位置被设为通过基于基础视图沿着两个方向跳过至少一个视图而接连布局的视图(2)。除了上述视图之外的其余视图(3)均被设为第三辅助视图。

与上述说明相关，如果多视图数目(m)等于或者小于“7”(即，m＜7)，仅仅两个或者更少视图被布局在基础视图(1)和第二辅助视图(0)之间，在基础视图(1)和第二辅助视图(0)之间布局的所有的视图均被分别地设为第一辅助视图(2)。

如果多视图数目(m)等于或者大于“8”(即，m≥8)并且仅仅两个或者更少视图被布局在第二辅助视图(0)和第一辅助视图(2)之间，则在第二辅助视图(0)和第一辅助视图(2)之间布局的所有视图均被分别地设为第三辅助视图(3)。

例如，如图11A～11B所示，如果m＝8、m＝9和m＝10，则能够识别出位于第二辅助视图(0)和第一辅助视图(2)之间的一个或者两个视图被分别地设为第三辅助视图(3)。

对于另一实例，如果仅仅两个或者更少的视图位于基础视图(1)和第二辅助视图(0)之间，则在基础视图(1)和第二辅助视图(0)之间布局的所有的视图均可以分别地被设为第三辅助视图(3)。例如，如图11A～11B所示，如果m＝8，则能够知道，位于基础视图(1)和第二辅助视图(0)之间的两个视图被分别地设为第三辅助视图(3)。

使用利用上述方法确定的基础视图和辅助视图，能够执行在视图(或者观点)之间的视图缩放性。

例如，如果多视图数目(m)等于或者小于“7”(即，m≤7)，则产生单个基础视图流和两个分层辅助视图比特流。例如，第二辅助视图(0)能够被设为第一层辅助视图，并且第一辅助视图(2)也能够被设为第二层辅助视图。

例如，如果多视图数目(m)等于或者高于“8”(即，m≥8)，即，如果m＝8、m＝9或者m＝10，则产生单个基础视图比特流和三个分层辅助视图比特流。例如，第一辅助视图(2)被选择作为第一层辅助视图，第二辅助视图(0)被选择作为第一层辅助视图，并且第三辅助视图(3)被选择作为第三层辅助视图。

图12是示出编码/解码多视图序列的分层方法的概念图示。

参考图12，传输端的编码器使用可以由第一到第五实施例预期到的修改方法和在第一到第五实例中示出的方法执行多视图序列的视图缩放性功能，以用于产生比特流，并且将比特流发送到接受端。

因此，解码方法或者设备接收由上述特性形成的比特流，解码所接收的比特流，并且对于每一个层产生解码后的数据。此后，根据用户或者显示器的选择，能够使用由每一个层解码的数据来实现各种显示。

例如，用于再现仅仅基础视图的数据的基础层121适用于2D显示125。用于一起再现基础视图的数据和第一层辅助视图的数据的第一增强层#1(122)适用于通过组合两个2D图像而形成的立体型显示126。用于一起地再现基础视图的数据、第一层辅助视图的数据和第二层辅助视图的数据的第二增强层#2(123)适用于用于多视图序列的3D再现的低多视图显示127。用于一起再现基础视图的数据和所有的分层辅助视图的数据的第三增强层#3(124)适用于用于多视图序列的3D再现的高多视图显示128。

图13是示出用于编码视频序列的方法的流程图。

参考图13，在步骤S131，视频序列编码方法的实例获得当前块的相邻块和另一视图的参考块中的至少一个块的平均像素值。当接收到所获得的值时，视频序列编码方法在步骤S132使用数个模式中的至少一种模式推导当前块的预测平均像素值。视频序列编码方法在步骤S133获得在当前块的预测平均像素值和实际平均像素值之间的差值。视频序列编码方法在步骤S134测量上述数个模式的各个的编码效率，并且从该数个模式中选择最优模式。能够以各种方式选择上述最优模式，例如，用于从所获得差值中选择最小差值的方法，和用于使用指示率失真(Rate-Distortion)(RD)的关系的等式的方法等。

在此情形中，上述RD等式不仅认识到在编码对应块期间产生的编码位数而且认识到指示与实际图像相关联的差值的失真值，以便它使用编码位数和失真值来计算成本。更加详细地，视频序列编码方法利用由量化系数确定的拉格朗日乘子去乘位数，并且将失真值加到乘积，以便它计算成本。如果选择最优模式，视频序列编码方法能够编码指示所选择模式的标识(ID)信息，并且发送编码结果。可替代地，如果选择最优模式，视频序列编码方法能够不仅编码指示所选择模式的ID信息而且编码由所选择模式获得的差值，并且在步骤S135发送编码结果。

图14是示出用于由另一视图的参考块推导当前块的预测平均像素值的过程的框图。

参考图14，假定B_c块的平均像素值是m_c，B_r，1块的平均像素值是m_r，1，并且其余块的平均像素值由上述块符号表示。具有用于根据一个或者多个相邻块的信息预测m_c信息的各种方法。为了方便说明，假定在编码B_c块的情形中参考帧#1被用作候选参考帧。

用于根据一个或者多个相邻块的信息来预测m_c信息的第一方法是用于基于对应于当前块的另一视图的参考块的平均像素值来预测m_c信息的第一模式方法(Mode1)。更加详细地，第一模式方法(Mode1)表示用于使用参考帧#1的B_r，1块的平均像素值来预测m_c信息的方法。差值能够由下面的等式1表示：

[等式1]

e＝m_c-m_r，1

用于预测在当前块的平均像素值和对应于当前块的另一视图的参考块的平均像素值之间的差值的第二方法，是用于基于在当前块的每一个相邻块的平均像素值和参考块的平均像素值之间的差异来预测差值的第二模式方法(Mode2)。更加详细地，第二模式方法(Mode2)使用在相邻块

之间的平均像素值的差值来预测在当前块的平均像素值和参考帧#1的B_r，1块的平均像素值之间的差值。

差值能够由下面的等式2表示：

[等式2]

$e=(m_c-m_{r,1})-(m_c^1-m_{r,1}^1)$

用于预测在当前块的平均像素值和对应于当前块的另一视图的参考块的平均像素值之间的差值的第三方法，是用于使用在当前块的相邻块的平均像素值和参考块的平均像素值之间的差异来预测该差值的第三模式方法(Mode3)。更加详细地，第三模式方法(Mode3)基于在相邻块

的平均像素值和参考帧#1的B_r，1块的平均像素值之间的差异来预测m_c信息。在此情形中，差值能够由下面的等式3表示：

[等式3]

$e=(m_c-m_{r,1})-(m_c^1-m_{r,1})=m_c-m_c^1$

在通过使用另一视图的参考块的相邻块来编码当前块的相邻块的情形中，具有用于基于当前块的相邻块的预测平均像素值来预测m_c信息的第四模式方法(Mode4)。换言之，如果通过参考参考帧#2的

块而对

块进行预编码，则在当前块(B_c)和对应于当前块的参考块(B_r，1)的平均像素值之间的差值能够利用在当前块的相邻块

的平均像素值和另一视图的参考块的相邻块

的平均像素值之间的差值来进行预测。

在此情形中，差值能够由下面的等式4表示：

[等式4]

$e=(m_c-m_{r,1})-(m_c^1-m_{r,2}^1)$

在使用上述Mode2、Mode3和Mode4方法使用相邻块信息的情形中，虽然上述Mode2、Mode3和Mode4方法已经公开仅仅示例性地使用下一上块(upper-block)的一个信息，应该注意，围绕当前块的数个相邻块的信息的组合也可以被用作实例。

图15是示出用于由其它视图的参考块推导当前块的预测平均像素值的过程的详细框图。

更加详细地，图15示出当前块、每一个与当前块共享边界的预编码块以及其它块，其他块的每一个与参考块共享边界。在此情形中，Mode2-方法等式、Mode3-方法等式和Mode4-方法等式能够由下面的等式5表示：

[等式5]

$\mathrm{Mode}2:e=(m_c-m_{r,1})-\frac{{\mathrm{\Σ}}_i{w}_i(m_c^i-m_{r,1}^i)}{{\mathrm{\Σ}}_i{w}_i}$

$\mathrm{Mode}3:e=(m_c-m_{r,1})-\frac{{\mathrm{\Σ}}_i{w}_i(m_c^i-m_{r,1})}{{\mathrm{\Σ}}_i{w}_i}=m_c-\frac{{\mathrm{\Σ}}_i{w}_{\mathrm{ii}}{m}_c^i}{{\mathrm{\Σ}}_i{w}_i}$

$\mathrm{Mode}4:e=(m_c-m_{r,1})-\frac{{\mathrm{\Σ}}_i{w}_i(m_c^i-m_{r,1}^i)}{{\mathrm{\Σ}}_i{w}_i}$

在上述Mode4等式中，

指示在

块的参考块位于参考帧#k处的条件下该参考块的平均像素值。

在等式5中，w_i指示加权系数。用于预测的相邻块不限于共享边界的块，并且根据需要也可以包括与上述相邻块邻近的其它块。在其它情形中，上述相邻块也可以采用其它块的仅仅一些部分。上述相邻块的范围可以由w_i调整。以此方式，差值(e)被量化并且被熵编码，以便将熵编码信息发送到解码单元。

在计算数个步骤到实际比特流阶段之后，考虑到速率和失真因子，上述Mode1、Mode2、Mode3和Mode4方法的参考帧被确定为最优帧。具有用于选择最优模式的各种方法，例如，用于选择所获得差值中的最小差值的特定模式的方法，以及用于使用RD关系的方法。

上述RD-关系方法计算各个模式的实际比特流，并且考虑到速率和失真而选择最优模式。在计算块残值的情形中，上述RD关系方法由当前块推断每个块的平均像素值，由参考块推断每一个块的平均像素值，并且计算在当前块的推断结果和参考块的所推断结果之间的差值，如由下面的等式6所表示：

[等式6]

$\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}|I_c(i,j)-{\tilde{m}}_c-(I_r(i+\mathrm{\Δx},j+\mathrm{\Δy})-m_r|$

在等式6中，ΔxΔy表示差异矢量，并且I是像素值。如果由相邻块的信息预测的值和差值被量化，并且预测值和差值的量化结果值被重构，并且重构结果值被添加，则所添加结果由等式6的

表示。在此情形中，

的值适于从编码单元和解码单元获得相同数值。m_r指示参考块的平均像素值。在解码图像的情形中，编码单元具有与解码单元相同的m_r。实际上，在时间域中搜索参考块，并且在空间-时间域中搜索最优块。因此，指示是否将使用亮度补偿的ID信息被与各个帧和块相关联地设为“0”或者“1”，并且所得到的ID信息被熵编码。

如果选择最优模式，则能够编码仅仅所选择模式，从而所选择模式的编码结果可以被发送到解码单元。除了所选择模式的编码结果，由所选择模式获得的差值也能够被编码和发送。所选择模式信息由索引类型表示，并且也能够利用相邻模式信息进行预测。另外，在当前选择模式的索引和预测模式的索引之间的差值也能够被编码和发送。

根据需要，可以考虑所有的上述模式，可以选择上述模式中的一些，或者也可以仅仅选择上述模式中的一个。在使用所有的可用方法中的单个方法的情形中，无需分别地编码模式索引。

在获得平均像素值并且推导得到预测平均像素值的情形中，预解码像素值可以被应用于将要编码的参考帧和目标帧的当前块。

基本上，左侧像素的预解码值和上侧像素的预解码值被用于预测当前块的平均像素值。在编码实际视频序列的情形中，基于宏块来编码视频序列。16×16宏块被划分成16×8块、8×16块和8×8块，并且然后被解码。8×8块也可以被划分成8×4块、4×8块和4×4块。具有用于基于单个宏块来预测子块的平均像素值的各种方法。

图16是示出16×16宏块的概念图示，用于解释在推导得到当前块的平均像素值和预测平均像素值的情形中位于整个块的左和上部的预解码像素值的使用。

参考图16，16×16宏块能够使用左和上部的所有像素值。因此，在预测当前块的平均像素值的情形中，计算上部的像素(h1～h16)和左部的像素(v1～v16)的平均像素值，并且利用计算出的像素(v1～v16，h1～～h16)的平均像素值来预测当前块的平均像素值。在此情形中，16×16块(由“B16×16”表示)的平均像素值能够由下面的等式7表示：

[等式7]

$\frac{\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{32}$

图17A是示出16×8宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图17B是示出16×8宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。

在图17A中，在使用包围划分块的所有像素的情形中，B16×8_0块和B16×8_1块的平均值能够由下面的等式8表示：

[等式8]

$\frac{\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{32}$

在图17B中，在使用包围划分块的所有像素的情形中，B16X8_0块的平均值能够由下面的等式9表示，并且B16×8_1块的平均值能够由下面的等式10表示：

[等式9]

$\frac{\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{vi}}{24}$

[等式10]

$\frac{\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{gi}+\underset{i=9}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{24}$

在图17A～17B的上述情形中，位于宏块角部处的值h0也可以根据需要被添加到计算结果。在此情形中，图17A的B16X8_0块的平均像素值能够由下面的等式11表示，并且图17B的B16X8_0的平均像素值能够由下面的等式12表示：

[等式11]

$\frac{\underset{i=0}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{33}$

[等式12]

$\frac{\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{vi}}{25}$

在图17A～17B的上述情形中，位于宏块角部处的值h0和v8也可以根据需要被添加到计算结果。在此情形中，图17A的B16X8_1块的平均像素值能够由下面的等式13表示，并且图17B的B16X8_1的平均像素值能够由下面的等式14表示：

[等式13]

$\frac{\underset{i=0}{\overset{16}{\mathrm{\Σ}}}\mathrm{hi}+\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{33}$

[等式14]

$\frac{\underset{i=0}{\overset{16}{\mathrm{\Σ}}}\mathrm{gi}+\underset{i=8}{\overset{16}{\mathrm{\Σ}}}\mathrm{vi}}{25}$

图18A是示出8×16宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图18B是示出8×16宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。用于推导得到划分块的平均像素值的方法与图17A-17B的相同。

图19A是示出8×8宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图19B是指示8×8宏块的概念图示，用于解释在推导得到划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。用于推导得到划分块的平均像素值的方法与图17A-17B的相同。

该8×8块能够被划分成多个子块。

预测将要被编码的当前帧的当前块的对应块的平均像素值，从而将预测的平均像素值设为

预测参考帧的对应块的平均像素值，以便将预测的平均像素值设为

从每一个块的所有像素推断每一个预测的平均像素值，并且能够由下面的等式15来计算在使用参考块预测的像素值与当前块的像素值之间的差值：

[等式15]

$\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}|I_c(i,j)-{\hat{m}}_c-(I_r(i+\mathrm{\Δx},j+\mathrm{\Δy})-{\hat{m}}_r|$

在等式15中，(Δx，Δy)表示差异矢量，并且I是像素值。具有最小块残值的参考块被选择作为亮度补偿最优块。在此情形中，差异矢量由(Δx，Δy)表示。实际上，系统比较上述亮度补偿情形和其中不补偿亮度的另一情形，并且选择这两种情形中的较好的一个。

作为上述方案的一个修改实例，参考块的平均像素值不利用相邻块的像素值预测，而是利用在实际块中包含的所有像素的平均像素值来直接计算的。

作为上述方案的另一修改实例，可以增加左和上部像素的数目。更加详细地，可以使用当前层的两个或者更多相邻层的像素以代替邻近当前层的仅仅一个层的像素。

解码单元使用ID信息来判定是否执行对应块的亮度补偿。如果执行亮度补偿，则解码单元计算差值(e)的解码值，并且根据上述预测方法获得预测值。差值(e)的解码值被添加到预测值，从而值

能够被解码。从参考块推断

的值，所述参考块是预测块，就是所谓的用于当前块的预测器，并且所推断的结果被添加到残余块的解码值，以便能够最后获得当前块的值。当前块能够如下重构：

其中B是当前块的值，参考块是用于当前块的预测器，

是平均像素值的预测差，即用于当前块的亮度补偿的预测偏移值，并且e是差值。解码单元获得在当前块的亮度补偿的偏移值和预测差之间的差，并且能够使用所获得的残余块值和预测差来重构当前块的亮度补偿的偏移值。

图20是示出用于获得当前块的偏移值的过程的图示。

可以在运动估计期间执行亮度补偿。当它比较当前块与参考块时，考虑到在两个块之间的亮度差异。新的运动估计和新的运动补偿被用于补偿亮度差异。新的SAD(差的绝对值的总和)能够由下面的等式16和17表示：

[等式16]

$\mathrm{SAD}=\underset{x=m}{\overset{M+m-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N+n-1}{\mathrm{\Σ}}}|(I_c(x,y)-M_c)-(I_r(x+\mathrm{\Δx},y+\mathrm{\Δy})-M_r)|$

$=\underset{x=m}{\overset{M+m-1}{\mathrm{\Σ}}}\underset{y=n}{\overset{N+n-1}{\mathrm{\Σ}}}|(I_c(x,y)-I_r(x+\mathrm{\Δx},y+\mathrm{\Δy}))-(M_c-M_r)|$

[等式17]

$M_c=\underset{x=m}{\overset{M+m-1}{\mathrm{\Σ}}}\underset{y=n}{\overset{N+n-1}{\mathrm{\Σ}}}{I}_c(x,y)$

$M_r=\underset{x=m}{\overset{M+m-1}{\mathrm{\Σ}}}\underset{y=n}{\overset{N+n-1}{\mathrm{\Σ}}}{I}_r(x+\mathrm{\Δx},y+\mathrm{\Δy})$

参考等式16和17，M_c表示当前块的平均像素值，并且M_r表示参考块的平均像素值。I_c(x，y)表示在当前块的特定坐标(x，y)处的像素值，并且I_r(x+Δx，y+Δy)表示在参考块的运动矢量(Δx，Δy)处的像素值。基于由等式16表示的新的SAD，来执行运动估计，以便能够获得在当前块的平均像素值和参考块的平均像素值之间的差值。在当前块和参考块之间的平均像素值的差值被称为偏移值(IC_offset)。

如果执行应用于亮度补偿的运动估计，则获得偏移值和运动矢量。能够使用偏移值和运动矢量由下面的等式18执行亮度补偿：

[等式18]

R(x，y)＝I_c(x，y)-I_r(x+Δx，y+Δy)-(M_c-M_r)

参考等式18，R(x，y)表示亮度补偿的残值。

偏移值(IC_offset＝M_c-M_r)被发送到解码单元。能够由下面的等式19执行解码单元的亮度补偿：

[等式19]

I′_c(x，y)＝I_r(x+Δx，y+Δy)+R′(x，y)+(M_c-M_r)

参考等式19，R’(x，y)表示重构和亮度补偿的残值，并且I’_c(x，y)表示当前块的像素值。

为了重构当前块，偏移值被发送到解码单元，并且能够利用相邻块的数据来预测该偏移值。为了进一步减少用于编码偏移值的位数，在当前块偏移值(IC_offset)和相邻块偏移值(IC_offset_pred)之间的差值(R_IC_offset)能够被发送到解码单元50，如由下面的等式20所表示：

[等式20]

R_{IC_offset}＝IC_offset-IC_offset_pred

图21是示出用于执行当前块的亮补偿的过程的流程图。

参考图21，如果当前块的亮度补偿标志被设为“0”，则不执行当前块的亮度补偿。否则，如果当前块的亮度补偿标志被设为“1”，则执行用于重构当前块的偏移值的过程。在获得当前块预测器的情形中，能够采用相邻块的信息。在步骤S210判定当前块的参考索引是否等于相邻块的参考索引。在步骤S211，基于判定结果获得用于执行当前块的亮度补偿的预测器。在步骤S212通过使用所获得的预测器重构当前块的偏移值。在此情形中，将在下文中参考图22描述用于判定当前块的参考索引是否等于相邻块的参考索引的步骤S210和用于基于判定结果来获得预测器的步骤S211。

图22是示出用于通过判定当前块的参考索引是否等于相邻块的参考索引而获得预测器的方法的流程图。

参考图22，为了执行亮度补偿，解码单元从视频信号提取各种信息，例如，当前块的相邻块的标志信息和偏移值，以及当前和相邻块的参考块的参考索引，以便解码单元能够使用所提取的信息获得当前块的预测器。解码单元获得在当前块的偏移值和预测之间的残值，并且能够使用所获得的残值和预测器重构当前块的偏移值。

在获得当前块的预测器的情形中，能够采用相邻块的信息。例如，能够利用相邻块的偏移值来预测当前块的偏移值。在预测当前块的偏移值之前，能够判定当前块的参考索引是否等于相邻块的参考索引，以便能够通过参考判定结果来确定将使用哪一个值或者哪一个相邻块。而且，判定相邻块的标志信息是否被设为“真”，以便能够通过参考该判定结果来判定是否使用相邻块。

根据第一实例，在步骤S220判定是否存在具有与当前块相同的参考索引的相邻块。如果判定存在仅仅一个具有与当前块相同的参考索引的相邻块，则在步骤S221，将具有该相同参考索引的相邻块的偏移值分配给当前块的预测器。如果在步骤S220判定存在每一个均具有与当前块相同的参考索引的两个相邻块，则在步骤S222，将该两个相邻块的偏移值的平均值分配给当前块的预测器。如果在步骤S220判定存在每一个均具有与当前块相同的参考索引的三个相邻块，则在步骤S223，将该三个相邻块的偏移值的中值分配给当前块的预测器。如果根据在步骤S220的判定结果确定不存在具有与当前块相同的参考索引的相邻块，则在步骤S224，将当前块的预测器设为“0”。如果需要，用于判定当前块的参考索引是否等于相邻块的参考索引的步骤S220还可包括：用于判定相邻块的标志是否被设为“1”的另一步骤。

根据第二实例，判定相邻块是否具有与当前块相同的参考索引，并且判定相邻块的标志是否被设为“1”。如果确定相邻块具有与当前块相同的参考索引，并且具有“1”的标志，则可以将相邻块的偏移值设为当前块的预测器。在此情形中，可以按照左相邻块-＞上相邻块-＞右上相邻块-＞左上相邻块的顺序检查多个相邻块。如果需要，也可以按照上相邻块-＞左相邻块-＞右上相邻块-＞左上相邻块的顺序检查相邻块。如果没有能够满足该两个条件的相邻块，并且该三个相邻块(即左相邻块、上相邻块和右上(或者左上)相邻块)的标志分别地被设为“1”，则将该三个块的偏移值的中值设为预测器。否则，当前块的预测器可以被设为“0”。

图23是示出用于基于当前块的预测类型来执行亮度补偿的方法的流程图。

参考图23，可以根据当前块的预测类型来改变用作参考块的相邻块。例如，如果当前块具有与相邻块相同的形状，则利用相邻块的中值来预测当前块。否则，如果当前块的形状不同于相邻块的形状，则将采用另一种方法。

例如，如果位于当前块左侧的块被划分成数个子块，则子块中的最上子块被用于预测。同样，如果位于当前块上部的块被划分成数个子块，则最左子块被用于预测。在此情形中，可以根据当前块的预测类型来改变预测值。因此，图23的实例在步骤S231确定将由当前块的预测类型参考的相邻块。在步骤S232，判定所确定的相邻块的参考索引是否等于当前块的参考索引。用于判定相邻块的参考索引是否等于当前块的参考索引的步骤S232还可包括用于判定相邻块的标志是否被设为“1”的另一步骤。能够在步骤S233基于该判定结果来获得用于执行当前块的亮度补偿的预测器。利用所获得的预测器重构当前块的偏移值，以便能够在步骤S234执行亮度补偿。在此情形中，将在下文中详细描述用于通过参考步骤S232的结果来执行步骤S233的过程，并且其详细说明将类似于图22。

例如，如果当前块的预测类型指示通过使用位于当前块左侧的相邻块来执行预测，则判定左侧相邻块的参考索引是否等于当前块的参考索引。如果当前块的参考索引等于左侧相邻块的参考索引，则将左侧相邻块的偏移值分配给当前块的预测器。此外，如果当前块的预测类型指示通过参考当前块的左相邻块和上相邻块执行预测，或者如果通过参考三个相邻块(即左相邻块、上相邻块和右上相邻块)执行预测，则将如图22的方法那样类似地应用各个情形。

图24是示出用于使用指示是否执行块的亮度补偿的标志信息来执行亮度补偿的方法的流程图。

参考图24，指示是否执行当前块的亮度补偿的标志信息(IC_flag)也可以被用于重构当前块的偏移值。另外，也可以使用图22的用于检查参考索引的方法和用于预测标志信息的方法来获得预测器。首先，在步骤S241判定是否存在具有与当前块相同的参考索引的相邻块。在步骤S242利用该判定结果获得用于执行当前块的亮度补偿的预测器。在此情形中，用于判定相邻块的标志是否为“1”的过程也可以被包括在步骤S242中。在步骤S243，基于该判定结果来预测当前块的标志信息。通过使用所获得的预测器和预测的标志信息来重构当前块的偏移值，以便能够在步骤S244执行亮度补偿。在此情形中，可以如图22的方法那样类似地应用步骤S242，并且将参考图25在下文中描述步骤S243。

图25是示出用于通过判定当前块的参考索引是否等于相邻块的参考索引来预测当前块的标志信息的方法的流程图。

参考图25，在步骤S250判定是否存在具有与当前块相同的参考索引的相邻块。如果确定仅仅存在一个具有与当前块相同的参考索引的相邻块，则在步骤S251利用具有该相同参考索引的相邻块的标志信息来预测当前块的标志信息。如果在步骤S250确定存在两个相邻块，其中每一个相邻块具有与当前块相同的参考索引，则在步骤S252利用具有该相同参考索引的该两个相邻块的标志信息中的任何一个来预测当前块的标志信息。

如果在步骤S250确定存在三个相邻块，其中每一个相邻块具有与当前块相同的参考索引，则在步骤S253利用该三个相邻块的标志信息的中值来预测当前块的标志信息。此外，如果根据步骤S250的判定结果不存在具有与当前块相同的参考索引的相邻块，则在步骤S254不预测当前块的标志信息。

图26是示出当利用两个或者更多参考块对当前块预测编码时用于执行亮度补偿的方法的流程图。

参考图26，在执行亮度补偿期间，如果通过使用两个参考块预测编码当前块，则解码单元不能直接识别出对应于每一个参考块的偏移值，因为当获得当前块的偏移值时解码单元使用该两个参考块的平均像素值。因此，在一个实例中，获得对应于每一个参考块的偏移值，结果实现了正确预测。在步骤S261，通过使用当前块的预测器和残值来重构当前块的偏移值。如果通过使用两个参考块来预测编码当前块，则在步骤S262利用该偏移值获得对应于每一个参考块的偏移值，如由下面的等式21所表示：

[等式21]

IC_offset＝m_c-w₁×m_r，1-w₂×m_r，2

IC_offsetL0＝m_c-m_r，1＝IC_offset+(w₁-1)×m_r，1+w₂×m_r，2

IC_offsetL1＝m_c-m_r，2＝IC_offset+w₁×m_r，1+(w₂-1)×m_r，2

在等式21中，m_c是当前块的平均像素值。m_r，1和m_r，2分别地指示参考块的平均像素值，w₁和w₂分别地指示用于双预测编码过程的加权系数。

在亮度补偿方法的一个实例中，系统独立地获得对应于每一个参考块的准确的偏移值，以便它能够正确地执行预测编码过程。在步骤S262重构当前块的偏移值的情形中，系统将重构的残值和预测器值相加，从而它获得偏移值。在此情形中，分别地获得List0的参考图像的预测器和List1的参考图像的预测器并将这些预测器进行组合，从而该系统能够获得用于重构当前块的偏移值的预测器。

根据另一实例，该系统也能够被应用于跳过宏块(skip-macroblock)。在此情形中，执行预测以获得用于亮度补偿的信息。利用相邻块预测的值被用作标志信息，指示是否执行亮度补偿。利用相邻块预测的偏移值可以被用作当前块的偏移值。例如，如果标志信息被设为“真”，则偏移值被添加到参考块。在应用P-跳过模式(P-skip mode)的宏块的情形中，通过使用左相邻块和上相邻块的标志和偏移值来执行预测，以便能够获得宏块的标志和偏移值。如果仅仅一个块具有“1”的标志，则可以将当前块的标志和偏移值分别地设为该块的标志和偏移值。如果两个块具有“1”的标志，则将当前块的标志设为“1”，并且将当前块的偏移值设为该两个相邻块的平均偏移值。

根据另一实例，该系统也能够被应用于直接模式，例如，时域直接模式、B-跳过模式等。在此情形中，执行预测以获得亮度补偿的信息。通过使用用于预测标志和偏移的可变方法，能够获得每一个预测器。该预测器可以被设为当前块的实际标志和实际偏移值。如果每一个块具有一对标志和偏移信息，则能够获得每一个块的预测值。在此情形中，如果存在两个参考块并且检查该两个参考块的参考索引，则判定当前块的参考索引是否等于相邻块的参考索引。此外，如果每一个参考块包括唯一的偏移值，则能够获得第一预测标志信息、第一预测偏移值、第二预测标志信息和第二预测偏移值。在此情形中，利用相邻块预测的值可以被用作标志信息。该两个参考块的偏移值可以被分别地用作第一预测偏移值和第二预测偏移值。在此情形中，当前块的偏移值可以被设为各个参考块的平均偏移值。

在直接模式或者跳过宏块模式中，该系统可以编码/解码指示是否将直接模式或者跳过宏块模式应用于当前块的标志信息。更加详细地，根据标志值添加或者不添加偏移值。在偏移值和预测偏移值之间的残值也可以被编码/解码。在此情形中，能够更加正确地重构所需数据，并且可以考虑到RD(率失真)关系来选择最优模式。如果参考图像不能被用于预测过程，即，如果参考图像数目小于“1”，则标志信息或者预测标志信息可以被设为“假(false)”，并且偏移值或者预测偏移值也可以被设为“0”。

根据另一实例，该系统也能够被应用于熵编码过程。与标志信息相关联地，可以根据相邻块(例如位于当前块的左部和上部的块)的标志数值来使用三个上下文模型(context model)。

如果确定标志值被设为“真”，则产生值“1”。如果确定标志值被设为“假”，则产生值“0”。如果该两种情形的该两个数值“1”和“0”被相加，则能够获得三种情形。通过使用三个上下文模型来编码/解码标志信息。变换系数级编码方法能够被用于偏移值的预测残值。换言之，由UEGO执行数据二进制化，单个上下文模型能够被应用于第一bin值(bin value)，并且另一上下文模型被应用于一元前缀部分的其余bin值。利用旁路(bypass)模式编码/解码符号位。根据标志信息的另一实例，根据预测标志值可以考虑两个上下文，以便能够执行编码/解码过程。

图27是示出用于不仅使用指示是否执行当前块的亮度补偿的标志信息而且还使用当前块的偏移值来执行亮度补偿的方法的流程图。

参考图27，为了执行亮度补偿，解码单元从视频信号提取各种信息，例如，当前块的标志信息和偏移值，以及当前块的相邻块的标志信息和偏移值，以及当前和相邻块的参考块的索引信息，以便解码单元能够使用上述所提取的信息来获得当前块的预测器。解码单元50获得在当前块的偏移值和预测器之间的残值，并且能够使用所获得的残值和预测器来重构当前块的偏移值。在重构当前块的偏移值的情形中，可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。

解码单元在步骤S271获得指示是否执行当前块的亮度补偿的标志信息。如果根据上述标志信息(IC_flag)执行亮度补偿，则在步骤S272能够重构指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。以此方式，上述亮度补偿技术编码在不同图像的块之间的平均像素值的差值。如果当指示是否应用亮度的标志被应用于每一个块时在P条带中包含对应的块，则单个标志信息和单个偏移值被编码/解码。然而，如果在B条带中包含对应的块，则能够使用各种方法，并且将参考图28A～28B在下文中对其详细说明进行描述。

图28A-28B是示出用于使用与P和B条带的块相关联的标志信息和偏移值来执行亮度补偿的方法的图示。

参考图28A，“C”表示当前块，“N”表示当前块(C)的相邻块，“R”表示当前块(C)的参考块，“S”表示当前块(C)的相邻块(N)of的参考块，并且“m_c”表示当前块(C)的平均像素值，“m_r”表示当前块(C)的参考块的平均像素值。如果当前块(C)的偏移值由“IC_offset”表示，则“IC_offset”信息能够由“IC_offset＝m_c-m_r”表示。

以此方式，如果相邻块(S)的偏移值由“IC_offset_pred”表示，则编码单元能够将当前块的偏移值(IC_offset)和相邻块的偏移值(IC_offset_pred)之间的残值(RIC_offset)发送到解码单元，以便它能够重构当前块(C)的偏移数值“IC_offset”。在此情形中，“R_IC_offset”信息也能够由上述等式20表示。

在基于相邻块的标志信息或者偏移值来产生当前块的预测器的情形中，能够使用各种方法。例如，可以采用仅仅一个相邻块的信息，或者也可以采用两个或者更多相邻块的信息。在采用两个或者更多相邻块的信息的情形中，可以采用平均值或者中值。以此方式，如果利用单个参考块来预测编码当前块，则能够使用单个偏移值和单个标志信息来执行亮度补偿。

然而，如果在B条带中包含对应的块，即，如果利用两个或者更多参考块来预测编码当前块，则能够使用各种方法。

例如，如图28B所示，假定“C”表示当前块，“N”表示当前块(C)的相邻块，“R0”表示位于由当前块参考的List0的参考图像(1)处的参考块，“S0”表示位于由相邻块参考的List0的参考图像(1)处的参考块，“R1”表示位于由当前块参考的List1的参考图像(3)处的参考块，并且“S1”表示位于由相邻块参考的List1的参考图像(3)处的参考块。在此情形中，当前块的标志信息和偏移值与每一个参考块相关联，从而每一个参考块包括两个值。因此，能够分别地采用标志信息和偏移值中的至少一个。

根据第一实例，能够经由运动补偿通过组合两个参考块的信息来获得当前块的预测器。在此情形中，单个标志信息指示是否执行当前块的亮度补偿。如果标志信息被确定为“真”，则从当前块和预测器获得单个偏移值，从而能够执行编码/解码过程。

根据第二实例，在运动补偿过程中，判定亮度补偿是否将被应用于两个参考块的每一个。标志信息被分配给两个参考块的每一个，并且通过使用上述标志信息获得的单个偏移值可以被编码或者解码。在此情形中，应该注意，可以基于参考块来使用两个标志信息，并且可以基于当前块来使用单个偏移值。

根据第三实例，单个标志信息可以基于当前块指示亮度补偿是否被应用于对应的块。能够对于两个参考块编码/解码各自的偏移值。如果在编码过程期间亮度补偿未被应用于参考块中的任何一个，则对应的偏移值被设为“0”。在此情形中，可以基于当前块使用单个标志信息，并且可以基于参考块使用两个偏移值。

根据第四实例，能够对于各个参考块编码/解码标志信息和偏移值。在此情形中，能够基于参考块使用两个标志和两个偏移值。

根据上述第一到第四实例，偏移值未被无任何改变地编码，而是利用相邻块的偏移值被预测，从而它的残值被编码。

图29是示出用于当利用两个或者更多参考块预测编码当前块时执行亮度补偿的方法的流程图。

参考图29，为了在B条带中包含当前块的条件下执行亮度补偿，从视频信号提取当前块的相邻块的标志信息和偏移值，并且提取当前和相邻块的对应的参考块的索引信息，以便能够通过使用所提取的信息来获得当前块的预测器。解码单元获得在当前块的偏移值和预测器之间的残值，并且能够使用所获得的残值和预测器重构当前块的偏移值。在重构当前块偏移值的情形中，根据需要可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。

解码单元在步骤S291获得指示是否执行当前块的亮度补偿的标志信息。如果根据上述标志信息(IC_flag)执行亮度补偿，则能够在步骤S292重构指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。

然而，如果利用两个参考块预测编码当前块，则解码器不能直接识别出对应于每一个参考块的偏移值，因为当获得当前块的偏移值时它使用两个参考块的平均像素值。因此，根据第一实例，获得对应于每一个参考块的偏移值，结果实现了正确预测。因此，如果利用两个参考块预测编码当前块，则在步骤S293能够通过使用上述偏移值来获得对应于每一个参考块的的偏移值，如由下面的等式22所表示：

[等式22]

IC_offset＝m_c-w₁×m_r，1-w₂×m_r，2

IC_offsetL0＝m_c-m_r，1＝IC_offset+(w₁-1)×m_r，1+w₂×m_r，2

IC_offsetL1＝m_c-m_r，2＝IC_offset+w₁×m_r，1+(w₂-1)×m_r，2

在等式22中，m_c是当前块的平均像素值。m_r，1和m_r，2分别表示参考块的平均像素值，w₁和w₂分别地表示用于双预测编码过程的加权系数。

在使用上述方法执行亮度补偿的情形中，该系统独立地获得对应于每一个参考块的准确偏移值，从而它能够更加准确地执行预测编码过程。在重构当前块的偏移值的情形中，系统将重构的残值和预测器值相加，以便它获得偏移值。在此情形中，List0的预测器和List1的预测器被获得和组合，从而系统能够获得用于重构当前块的偏移值的预测器值。

图30是示出用于使用指示是否执行当前块的亮度补偿的标志信息来执行亮度补偿的方法的流程图。

亮度补偿技术适用于补偿亮度差异或者颜色差异。如果亮度补偿技术的范围得以扩展，则也可以在由相同照相机捕获到的所获得序列之间应用扩展亮度补偿技术。亮度补偿技术能够防止亮度或者颜色差异显著影响运动估计。然而，实际上，编码过程采用指示是否执行亮度补偿的标志信息。亮度补偿的应用范围可以被扩展到序列、视图、GOP(图像组)、图像、条带、宏块和子块等。

如果亮度补偿技术被应用于小尺寸区域，也可以控制局部区域，然而，应该注意，用于标志信息的许多位数被消耗。可能不需要亮度补偿技术。因此，指示是否执行亮度补偿的标志位被分配给各个区域，从而该系统能够有效地使用亮度补偿技术。该系统在步骤S201获得能够允许对视频信号的特定级进行亮度补偿的标志信息。

例如，下面的标志信息可以被分配给各个区域。“seq_IC_flag”信息被分配给序列级，“view_IC_flag”信息被分配给视图级，“GOP_IC_flag”信息被分配给GOP级，“pic_IC_flag”信息被分配给图像级，“slice_IC_flag”信息被分配给条带级，“mb_IC_flag”信息被分配给宏块级，并且“blk_IC_flag”信息被分配给块级。将参考图31A～31C对上述标志信息的详细说明进行描述。能够在步骤S302对利用标志信息执行亮度补偿后的视频信号的特定级进行解码。

图31A-31C是示出标志信息的范围的概念图示，该标志信息指示是否执行当前块的亮度补偿。

参考图31A-31C，指示是否执行亮度补偿的标志信息能够以分层方式被分类。例如，如从图31A-31C可见，“seq_IC_flag”信息311被分配给序列级，“view_IC_flag”信息312被分配给视图级，“GOP_IC_flag”信息313被分配给GOP级，“pic_IC_flag”信息314被分配给图像级，“slice_IC_flag”信息315被分配给条带级，“mb_IC_flag”信息316被分配给宏块级，并且“blk_IC_flag”信息317被分配给块级。

在此情形中，每一个标志均由1个位构成。上述标志的数目可以至少被设为一。上述序列/视图/图像/条带-级标志可以位于对应的参数集或者头部处，或者也可以位于另一参数集处。例如，“seq_IC_flag”信息311可以位于序列参数集处，“view_IC_flag”信息312可以位于视图参数集处，“pic_IC_flag”信息314可以位于图像参数集处，并且“slice_IC_flag”信息315可以位于条带头部处。

如果存在两个或者更多标志，则指示是否执行上级的亮度补偿的特定信息可以对是否执行下级的亮度补偿进行控制。换言之，如果每一个标志位值被设为“1”，则亮度补偿技术可以被应用于下级。

例如，如果“pic_IC_flag”信息被设为“1”，在对应的图像中包含的每一个条带的“slice_IC_flag”信息可以被设为“1”或者“0”，每一个宏块的“mb_IC_flag”信息可以被设为“1”或者“0”，或者每一个块的“blk_IC_flag”信息可以被设为“1”或者“0”。如果在存在视图参数集的条件下“seq_IC_flag”信息被设为“1”，则每一个视图的“view_IC_flag”值可以被设为“1”或者“0”。否则，如果“view_IC_flag”信息被设为“1”，对应视图的GOP、图像、条带、宏块或者块的标志位值可以被设为“1”或者“0”，如图31A所示。显然，根据需要，对应视图的GOP、图像、条带、宏块或者块的上述标志位值可以不被设为“1”或者“0”。如果对应视图的GOP、图像、条带、宏块或者块的上述标志位值可以不被设为“1”或者“0”，则这表示GOP标志、图像标志、条带标志、宏块标志或者块标志不由视图标志信息控制，如图31B所示。

如果上范围的标志位值被设为“0”，下范围的标志位值被自动设为“0”。例如，如果“seq_IC_flag”信息被设为“0”，则这指示亮度补偿技术不被应用于对应的序列。因此，“view_IC_flag”信息被设为“0”，“GOP_IC_flag”信息被设为“0”，“pic_IC_flag”信息被设为“0”，“slice_IC_flag”信息被设为“0”，“mb-IC_flag”信息被设为“0”，并且“blk_IC_flag”信息被设为“0”。如果需要，根据亮度补偿技术的特定实现方法，可以采用仅仅一个“mb_IC_flag”信息或者仅仅一个“blk_IC_flag”信息。如果需要，当视图参数集被新(newly)应用于多视图视频编码时，可以采用“view_IC_flag”信息。根据用作最低级单元的宏块或者子块的标志位值，当前块的偏移值可以被另外地编码/解码。

如从图31C可见，指示IC技术应用的标志也可以被应用于条带级和宏块级。例如，如果“slice_IC_flag”信息被设为“0”，则这表示IC技术未被应用于对应的条带。如果“slice_IC_flag”信息被设为“1”，则这表示IC技术被应用于对应的条带。在此情形中，如果“mb_IC_flag”信息被设为“1”，对应的宏块的“IC_offset”信息被重构。如果“mb_IC_flag”信息被设为“0”，则这表示IC技术未被应用于对应的宏块。

根据另一实例，如果高于宏块级的上级的标志信息被确定为“真”，则该系统能够获得指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。在此情形中，根据需要，宏块级的标志信息或者块级的标志信息可以不被采用。亮度补偿技术能够使用标志信息来指示是否对每一个块执行亮度补偿。亮度补偿技术也可以使用特定值例如运动矢量，来指示是否对每一个块执行亮度补偿。上述实例也能够被应用于亮度补偿技术的各种应用。与上范围(即序列、视图、GOP和图像)相关联地，上述实例能够使用标志信息指示是否执行下范围的亮度补偿。用作最低范围的宏块或者块级能够使用偏移值有效地指示是否执行亮度补偿而不使用标志位。类似于使用运动矢量的方法，能够执行预测编码过程。例如，如果预测编码过程被应用于当前块，则相邻块的偏移值被分配给当前块的偏移值。如果预测编码方案被确定为双预测编码方案，则通过计算从List0和List1检测到的参考块获得各个参考块的偏移值。因此，在编码当前块偏移值的情形中，没有利用相邻块的偏移值对每一个参考块的偏移值进行直接编码，并且残值被编码/解码。用于预测偏移值的方法可以被确定为上述偏移预测方法或者用于获得用于预测运动矢量的中值的方法。在双向预测的直接模式的情形中，没有使用与运动矢量相同的方法对补充信息进行编码/解码，并且能够利用预定信息获得偏移值。

根据另一实例，使用解码单元(例如基于H.264的解码单元)替代MVC解码单元。应该利用传统解码单元来解码与传统解码单元兼容的视图序列，从而“view_IC_flag”信息被设为“假”或者“0”。在此情形中，需要解释基础视图概念。应该注意，可能需要与H.264/AVC解码器兼容的单个视图序列。因此，能够被独立解码的至少一个视图被定义并且称为基础视图。基础视图表示在数个视图(即多视图)中的参考视图。利用普通视频编码方案(例如MPEG-2、MPEG-4、H.263和H.264等)对在MVC方案中对应于基础视图的序列进行编码，从而它以独立比特流的形式产生。上述基础视图序列能够与H.264/AVC方案兼容，或者能够不与之兼容。然而，与H.264/AVC方案兼容的视图序列总是被设为基础视图。

图32是示出用于考虑到当前块的偏移值获得运动矢量的方法的流程图。

参考图32，该系统能够在步骤S321获得当前块的偏移值。该系统在步骤S322使用偏移值搜索与当前块最佳匹配的参考块。该系统在步骤S323从参考块获得运动矢量，并且编码运动矢量。为了亮度补偿，在运动估计期间对各种因素加以考虑。例如，在用于通过偏移第一和第二块的平均像素值来比较第一块和第二块的方法的情形中，在运动估计期间从每一个块的像素值推断该两个块的平均像素值，从而能够计算在该两个块之间的相似性。在此情形中，在该两个块之间的偏移值被独立编码，从而在运动估计过程中反映出用于独立编码的成本。能够由下面的等式23计算传统成本：

[等式23]

COST＝SAD+λ_MOTION·GenBit

在使用亮度补偿的情形中，SAD(差绝对值的总和)能够由下面的等式24表示：

[等式24]

$\mathrm{SAD}=\underset{\mathrm{ij}}{\mathrm{\Σ}}|(I_c(m,n)-M_c)-(I_r(m,n)-M_r)|$

在等式24中，I_c表示当前块的像素值，并且I_r表示参考块的像素值。M_c表示当前块的平均像素值，并且M_r表示参考块的平均像素值。偏移成本能够被包括在上述SAD计算过程中，如由下面的等式25和26所表示：

[等式25]

COST_IC＝SAD_IC+λ_MOTION·GenBit

[等式26]

SAD_IC＝α|offset-offset_pred|+∑|(I_c(m，n)-M_c)-(I_r(m，n)-M_r)|

参考等式25和26，α表示加权系数。如果α的值被设为“1”，反映出则偏移值的绝对值。对于用于反映亮度补偿成本的另一种方法，具有一种通过预测用于编码偏移值所需要的位数来反映亮度补偿成本的方法。下面的等式27表示一种用于预测偏移编码位的方法。在此情形中，能够与偏移残值的大小成比例地预测编码位。

[等式27]

GenBit_IC＝GenBit+Bit_IC

在此情形中，能够由下面的等式28计算新的成本：

[等式28]

Cost＝SAD+λ_MOTION·GenBit_IC

Claims (12)

1.一种解码多视图视频数据流中的多视图视频数据的方法，所述方法包括：

从多视图视频数据流中获取随机访问图像的视图间预测结构信息，所述视图间预测结构信息指示多个视图之间的参考关系；

获取视图间预测的随机访问标志，当网络提取层NAL单元类型表示多视图视频数据的扩展数据时，所述随机访问标志指示当前图像的类型是否是随机访问图像，所述随机访问图像中的所有条带仅参考具有相同时间位置并且位于所述多视图视频数据的不同视图中的条带；

当根据所述随机访问标志，所述当前图像的类型表示随机访问图像时，使用所述随机访问图像的视图间预测结构信息来导出所述当前图像的预测值；

使用所述预测值来解码所述当前图像；

其中，所述多视图视频数据包括基础视图和辅助视图的视频数据，所述基础视图指示不使用视图间预测独立于其它视图而解码的视图，所述辅助视图是除所述基础视图之外的视图。

2.根据权利要求1所述的方法，其中，所述视图间预测结构信息包括数目信息和视图标识信息，所述数目信息指示在所述多视图视频数据中的视图的总数，并且所述视图标识信息提供所述多视图视频数据中的每个参考视图的视图标识符。

3.根据权利要求1所述的方法，其中，从序列区域获取所述视图间预测结构信息。

4.根据权利要求1所述的方法，其中，通过考虑预测方向来获取所述随机访问图像的视图间预测结构信息。

5.根据权利要求4所述的方法，其中，所述预测方向以图像输出顺序来表示向前方向或向后方向。

6.根据权利要求1所述的方法，其中，通过参考所述基础视图来解码所述辅助视图。

7.一种解码多视图视频数据流中的多视图视频数据的装置，所述装置包括：

NAL解析单元，其从多视图视频数据流中获取随机访问图像的视图间预测结构信息，所述视图间预测结构信息指示多个视图之间的参考关系，以及所述NAL解析单元获取视图间预测的随机访问标志，当网络提取层NAL单元类型表示所述多视图视频数据流的扩展数据时，所述随机访问标志指示当前图像的类型是否是随机访问图像，所述随机访问图像中的所有条带仅参考具有相同时间位置并且位于所述多视图视频数据的不同视图中的条带；

帧间预测单元，根据所述随机访问标志，当所述当前图像的类型表示随机访问图像时，使用所述随机访问图像的视图间预测结构信息来导出所述当前图像的预测值，并且使用所述预测值来解码所述当前图像，

其中，所述多视图视频数据包括基础视图和辅助视图的视频数据，所述基础视图指示不使用视图间预测独立于其它视图而解码的视图，所述辅助视图是除所述基础视图之外的视图。

8.根据权利要求7所述的装置，其中，所述视图间预测结构信息包括数目信息和视图标识信息，所述数目信息指示在所述多视图视频数据中的视图的总数，并且所述视图标识信息提供所述多视图视频数据中的每个参考视图的视图标识符。

9.根据权利要求7所述的装置，其中，从序列区域获取所述视图间预测结构信息。

10.根据权利要求7所述的装置，其中，通过考虑预测方向来获取锚定图像的视图间预测结构信息。

11.根据权利要求10所述的装置，其中，所述预测方向以图像输出顺序来表示向前方向或向后方向。

12.根据权利要求7所述的装置，其中，通过参考所述基础视图来解码所述辅助视图。

Images