本申请要求于2006年3月29日申请的序号为60/787092的美国临时申请的权益,此处引入其全部内容,可供参考。该申请还与两个其它申请密切相关,该两个申请与本申请同时申请并具有共同的发明人和共同的代理人(代理人案卷号PU060064和PU070032),此处引入每个申请的全部内容,可供参考。
发明内容
由针对在多视图视频编码系统中使用的及方法和装置的本发明原理提出在先技术的这些和其它缺点和不便。
按照本发明原理的一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于将对应于多视图视频内容的至少两个视图编码成为结果的位流,其中将该结果的位流编码以包含视图特定信息。该视图特定信息指示在至少两个视图中的至少某些视图之间的解码相依性。
按照本发明原理的另一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于多视图视频内容的至少两个视图编码成为结果的位流,其中将该结果的位流编码以包含视图特定信息。该视图特定信息指示在至少两个视图中的至少某些视图之间的解码相依性(interdependence)。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含解码器,用于将对应于来自位流的多视图视频内容的至少两个视图解码,其中将该位流解码以确定其中包含的视图特定信息,该视图特定信息指示在至少两个视图中的至少某些视图之间的解码相依性。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于来自位流的多视图视频内容的至少两个视图解码,其中将该位流解码以确定其中包含的视图特定信息,该视图特定信息指示在至少两个视图中的至少某些视图之间的解码相依性。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于通过将至少两个视图中的对于其解码独立于该至少两个视图中的任何其它视图的任一视图定义作为基本视图,将对应于多视图视频内容的至少两个视图编码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含通过将至少两个视图中的对于其解码独立于该至少两个视图中的任何其它视图的任一视图定义作为基本视图,将对应于多视图视频内容的至少两个视图编码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含解码器,用于将对应于多视图视频内容的至少两个视图解码,其中该解码器确定至少两个视图中的哪一个视图——如果有的话——是对于其解码独立于该至少两个视图中的任何其它视图的基本视图。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于多视图视频内容的至少两个视图解码,其中该解码步骤确定至少两个视图中的哪一个视图——如果有的话——是对于其解码独立于该至少两个视图中的任何其它视图的基本视图。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于通过将至少两个视图中的至少一个视图编码在结果的位流中,将对应于多视图视频内容的至少两个视图编码,该结果的位流的语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准,其中至少两个视图中的至少一个视图是与动画专家组-4部分10高级视频编码标准/国际通信联盟-通信段H.264推荐标准向后兼容的。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含通过将至少两个视图中的至少一个视图编码在结果的位流中,将对应于多视图视频内容的至少两个视图编码,该结果的位流的语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准,其中至少两个视图中的至少一个视图是与动画专家组-4部分10高级视频编码标准/国际通信联盟-通信段H.264推荐标准向后兼容的。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于将对应于多视图视频内容的至少两个视图解码,其中至少两个视图中的至少一个视图包含在位流中,该结果的位流的语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准,其中至少两个视图中的至少一个视图是与动画专家组-4部分10高级视频编码标准/国际通信联盟-通信段H.264推荐标准向后兼容的。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于多视图视频内容的至少两个视图解码,其中至少两个视图中的至少一个视图包含在位流中,该结果的位流的语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准,其中至少两个视图中的至少一个视图是与动画专家组-4部分10高级视频编码标准/国际通信联盟-通信段H.264推荐标准向后兼容的。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于通过在两个预定义的片类型之间选择其一,将对应于多视图视频内容的至少两个视图中的至少一个视图编码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含通过在两个预定义的片类型之间选择其一,将对应于多视图视频内容的至少两个视图中的至少一个视图编码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含解码器,用于通过在两个预定义的片类型之间确定其一,将对应于多视图视频内容的至少两个视图中的至少一个视图解码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含通过在两个预定义的片类型之间确定其一,将对应于多视图视频内容的至少两个视图中的至少一个视图解码。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于将对应于多视图视频内容的至少两个视图编码成为位流,其中将结果的位流编码以包含对应于至少两个视图中的至少一个视图的至少一个摄像机参数。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于多视图视频内容的至少两个视图编码成为位流,其中将结果的位流编码以包含对应于至少两个视图中的至少一个视图的至少一个摄像机参数。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含解码器,用于将对应于来自位流的多视图视频内容的至少两个视图解码,其中解码该位流以确定其中包含的至少一个摄像机参数。该至少一个摄像机参数对应于至少两个视图中的至少一个视图。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于来自位流的多视图视频内容的至少两个视图解码,其中解码该位流以确定其中包含的至少一个摄像机参数。该至少一个摄像机参数对应于至少两个视图中的至少一个视图。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含编码器,用于将对应于多视图视频内容的至少两个视图编码成为结果的位流,其中将结果的位流编码以包含与用于至少两个视图中的至少一个视图的至少一个摄像机参数相关的至少一个语法要素。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于多视图视频内容的至少两个视图编码成为结果的位流,其中将结果的位流编码以包含与用于至少两个视图中的至少一个视图的至少一个摄像机参数相关的至少一个语法要素。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的装置。该装置包含解码器,用于将对应于来自位流的多视图视频内容的至少两个视图解码,其中基于包含在位流中的至少一个语法要素,解码该位流以确定用于至少两个视图中的至少一个视图的至少一个摄像机参数。
按照本发明原理的再一个方面,提供一种多视图视频编码系统中使用的方法。该方法包含将对应于来自位流的多视图视频内容的至少两个视图解码,其中基于包含在位流中的至少一个语法要素,解码该位流以确定用于至少两个视图中的至少一个视图的至少一个摄像机参数。
通过结合附图阅读对于示范性实施例的如下的详细描述,使本发明原理的这些和其它方面、特征和优点将变得更明显。
具体实施方式
本发明原理针对用在多视图视频编码系统的方法和装置。
本说明书描述本发明原理。因此,本技术领域的技术人员会理解能够设计体现本发明原理并包含在其构思和范围内的各种配置,虽然再这里没有直接明确地描述或表示。
这里详述的所有的实例和条件性语言意在教学目的,有助于读者理解由本发明人为推广该技术而分析的本发明原理和概念,和所作分析没有局限于这些具体详述的实例和条件。
此外,这里对各原理、各方面和本发明原理的实施例所有的叙述及其特定实例,意在包含其结构和功能方面两者的等效物。另外,意在这些等效物包含当前公知的等效物以及将来发展的等效物,即,所发展的任何元件执行相同的功能,与结构无关。
因此,例如本技术领域的技术人员会理解,这里提出的方框图表示所描述的体现本发明原理的电路的概念性视图。类似地,应理解,任何流程图、流程示意图、状态转变示意图、伪码等表示各种处理,这些处理主要体现在计算机可读介质中,和由计算机或处理器执行,而不管这些计算机和处理器是否直接明确表示。
图中所示的各种元件的功能可以通过使用专用的硬件以及能够以与适当软件相关联的方式执行软件的硬件来提供。当由处理器提供时,可以由单一的专用处理器、由单一的共享处理器或由多个单个的处理器来提供该功能,其中的某些可以共享。此外,明确使用术语“处理器”或“控制器”不应解释为专指能够执行软件的硬件,和可以隐含包含,而不局限于,数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。
还可以包含其它硬件,传统的和/或定制的。类似地,在图中所示的开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑电路、通过程序控制和专用逻辑电路的交互作用,或者甚至通过人工实现,如从上下文更具体地理解通过该实施方案所选择的特定技术。
在其权利要求中,按照用于执行指定功能的部件表达的任何元件,意在包含任何执行途径,其功能包含例如a)执行该功能的电路元件的组合,b)任何形式的软件因此包含固件、微代码之类,与用于执行软件适当的电路组合以执行该功能。按照由这些权利要求限定的本发明原理在于这样的事实,即将由各种所述的部件提供的功能组合并以权利要求所要求的方式集合。因此这样看待可以提供那些功能的任何部件等效于这里所示的那些。
在说明书中谈及本发明原理的“一个实施例”或“一实施例”是指与实施例相联系表述的特定的特征、结构、特性和等等,包含在本发明原理的至少一个实施例中。因此,遍及说明书在各个地方出现的“一个实施例”或“一实施例”的词组不一定全部涉及相同的实施例。
转向图1,由标号100概括地指示可以应用示范性本发明原理的视频编码器。
在信号通信中视频编码器100的输入端与组合器110的非反相输入端相连接。在信号通信中组合器110的输出端与变换器/量化器120相连接。在信号通信中变换器/量化器120的输出端与熵编码器140相连接。熵编码器140的输出端可用作编码器100的输出端。
在信号通信中变换器/量化器120的输出端还与逆变换器/量化器150相连接。在信号通信中逆变换器/量化器150的输出端与解块滤波器160的输入端相连接。在信号通信中解块滤波器160的输出端与参考画面存储器170相连接。在信号通信中参考画面存储器170的第一输出端与运动估算器180的第一输出端相连接。在信号通信中编码器100的输入端还与运动估算器180的第二输入端相连接。在信号通信中运动估算器180的输出端与运动补偿器190的第一输入端相连接。在信号通信中参考画面存储器170的第二输出端与运动补偿器190的第二输入端相连接。在信号通信中运动补偿器190的输出端与组合器110的反相输入端相连接。
转向图2,由标号200概括地指示可以应用示范性本发明原理的视频解码器。
视频解码器200包含用于接收视频序列的熵解码器210。在信号通信中熵解码器210的第一输出端与逆量化器/变换器220的输入端相连接。在信号通信中逆量化器/变换器220与组合器240的非反相输入端相连接。
在信号通信中组合器240的输出端与解块滤波器290的输入端相连接。在信号通信中解块滤波器290的输出端与参考画面存储器250的输入端相连接。在信号通信中参考画面存储器250的输出端与运动补偿器260的第一输入端相连接。在信号通信中运动补偿器260的输出端与组合器240的第二非反相输入端相连接。在信号通信中熵解码器210的第二输出端与运动补偿器260的第二输入端相连接。解块滤波器290的输出端可用作视频解码器200的输出端。
在本发明原理的实施例中,提出一种用于高效处理多视图序列的高级语法。特别是,我们提出创立称为视图参数组(View Parameter Set、VPS)的新参数组,具有其本身的NAL单元类型和另两个新NAL单元类型以支持多视图片,其中NAL单元类型包含在NAL首标中的视图识别符(id),以识别该片属于哪一个视图。为了视图可扩展性和与符合MPEG-4 AVC标准的解码器的向后兼容性,我们提出维持一个符合MPEG-4 AVC的视图,我们将该视图称为“符合MPEG-4 AVC的基本视图”(MPEG-4 AVC compliant Base View)。
这里所使用的“高级语法”指呈现在位流中的语法,其分级地驻留在宏块层之上。例如,这里所使用的高级语法可以指但不局限于在片首标级、补充增强信息(SEI)级、画面参数组级和序列参数组级的语法。
在上述的多视图视频编码系统当前的实施方案中,并没有措施来识别一特定视图和将摄像机参数以信号表示,不同的视图交错以形成单一序列,而非将不同的视图作为单独的视图处理。正如以上指出的,由于该语法符合MPEG-4 AVC标准,目前不可能识别一指定的片属于哪一个视图。由于几个原因需要这一视图信息。视图可扩展性、视图随机存取、并行处理、视图生成、和视图合成都是需要识别视图的多视图视频编码要求。为了高效地支持视图随机存取和视图可扩展性,重要的是解码器要了解不同的画面如何彼此依赖,这样仅将必须的画面解码。对于视图合成,需要摄像机参数。如果将视图合成最终用在解码循环中,需要指定将摄像机参数以信号表示的标准方式。按照一实施例,使用一视图参数组。
在一实施例中,假设需要一个与MPEG-4 AVC标准完全向后兼容的视图,用于支持非MVC兼容的但是MPEG-4 AVC可兼容的解码器。在一个实施例中,假设将有可独立解码的几个视图,以便于快速视图随机存取。我们称这些视图为“基本视图”。基本视图可以与MPEG-4 AVC标准相兼容或不相兼容,但是,MPEG-4 AVC可兼容的视图总是一基本视图。
转向图3,由标号300概括地指示利用分级B画面的基于MPEG-4 AVC标准的视图间时间预测结构。在图3中,变量I代表内编码(intra coded)的画面,变量P代表预测编码的画面,变量B代表双预测编码的画面,变量T代表特定画面的位置,变量S代表特定画面所对应的特定的视图。
按照一个实施例,定义如下的术语:
定义锚(anchor)画面为其解码不涉及在不同时刻采样的任何画面。通过将nal_ref_idc设定为3,将锚画面以信号表示。在图3中,在位置T0,T8,...,T96和T100的所有画面是锚画面的实例。
定义非锚画面为一不具有对于锚画面指定的上述限制的画面。在图3中,画面B2、B3和B4是非锚画面。
基本视图是不依赖于任何其它视图的视图,并可以独立地解码。在图3中,视图S0是基本视图的实例。
此外,在一实施例中,提出一被称为视图参数组的新的参数组,该视图参数组具有其自身的NAL单元类型和两个新NAL单元类型以支持多视图视频编码片。我们还改进了该片首标语法以指示view_id和要使用的视图参数组。
MPEG-4 AVC标准包含如下的两个参数组:(1)序列参数组(SequenceParameter Set、SPS),其包含在整个序列上预期不会改变的信息;(2)画面参数组(Picture Parameter Set、PPS),其包含对于每个画面预期不会改变的信息。
由于多视图视频编码具有对于每个视图特定的附加的信息,我们建立了单独的视图参数组(VPS),以便发送这一信息。确定不同视图之间的依赖性所需的所有信息指示在视图参数组中。用于所提出的视图参数组的语法表表示在表1(视图参数组RBSP语法)中。这一视图参数组包含在如表2中所示的新NAL单元类型例如类型14(NAL单元类型代码)中。
按照对本发明的叙述,定义如下的术语:
view_parameter_set_id在片首标中识别所参照的视频参数组。view_parameter_set_id的值应处在0到255的范围内。
number_of_minus_1加1识别在为位流中的视图的总数,number_of_minus_1的值应处在0到255的范围内。
avc_compatible_view_id指示AVC可兼容的视图的view_id。avc_compatible_view_id的值应处在0到255的范围内。
is_base_view_flag[i]等于1指示该视图i是基本视图,并可独立解码。is_base_view_flag[i]等于0指示该视图i不是基本视图。对于AVC可兼容的视图i,is_base_view_flag[i]的值应等于1。
dependency_update_flag等于1指示对于这一视图的依赖性信息在VPS中更新。Dependency_update_flag等于0指示对于这一视图的依赖性信息不更新并不应当改变。
anchor_picture_dependency_maps[i][j]等于1指示view_id等于j的锚画面将依赖于view_id等于i的锚画面。
non_anchor_picture_dependency_maps[i][j]等于1指示view_id等于j的非锚画面将依赖于view_id等于i的非锚画面。non_anchor_picture_dependency_maps[i][j]仅当anchor_picture_dependency_maps[i][j]等于1时出现。如果出现anchor_picture_dependency_maps[i][j]并等于0,则non_anchor_picture_dependency_maps[i][j]推断应等于0。
表1
view_parameter_set_rbsp(){ |
C |
描述符 |
view_parameter_set_id |
0 |
ue(v) |
number_of_views_minus_1 |
0 |
ue(v) |
avc_compatible_view_id |
0 |
ue(v) |
for(i=0;i<=number_of_views_minus_1;i++){ |
|
|
is_base_view_flag[i] |
0 |
u(1) |
dependency_update_flag |
0 |
u(1) |
If(dependency_update_flag==1){ |
|
|
for(j=0;j<=number_of_views_minus_1;i++){ |
|
|
anchor_picture_dependency_maps[i][j] |
0 |
f(1) |
if(anchor_picture_dependency_maps[i][j]==1) |
|
|
non_anchor_picture_dependency_maps[i][j] |
0 |
f(1) |
} |
|
|
} |
|
|
} |
|
|
fore(i=0;i<=numberof_views_minus_1;i++)( |
|
|
camera_parameters_present_flag |
0 |
u(1) |
if(camera_parameters_present_flag==1){ |
|
|
camera_parameters_1_1[i] |
0 |
f(32) |
*** |
|
|
camera_parameters_3_4[i] |
0 |
f(32) |
} |
|
|
) |
|
|
} |
|
|
表2
在视图参数组中的选项参数包含如下:
camera_parameter_present_flag等于1指示按照如下将投影矩阵以信号表示。
camera_parameters,假设摄像机参数以3×4投影矩阵P的形式的输送,该参数可以用于将在3D空间中的点映射到2D图像坐标:
I=P*[XW∶YW∶ZW∶1]
其中I是无向性坐标I=P*[λ·IX∶λ·IY∶λ]。
可以按照IEEE单精度浮点(32位)标准表示每个要素camera_parameter_*_*。
将这一信息放入单独参数组中的好处是我们仍然维持与MPEG-4 AVC标准可兼容的序列参数组(SPS)和画面参数组(PPS)。如果我们将这一信息放入序列参数组(SPS)或画面参数组(PPS),则对于每个视图,我们需要发出单独的序列参数组与画面参数组。这就太受约束了。此外,这一信息不能很好地适合序列参数组或画面参数组。另一个理由是由于我们提出具有MPEG-4 AVC标准可兼容的基本视图,对于这样的视图,我们就必须使用单独的(MPEG-4 AVC可兼容的)序列参数组和画面参数组,和对于所有其它的视图,我们必须使用单独的序列参数组/画面参数组(具有视图特定信息)。
在序列的起点将所有的依赖性信息放入单一的视图参数组是十分有益的。一旦解码器接收视图参数组,其就可以利用所有的依赖性信息建立映射表。这样就使得其在接收任何片之前能够了解对于解码一特定的视图那些视图是需要的。其结果是我们仅需要分析片首标以得到view_id,和确定解码由用户指示的目标视图是否需要这一视图。因此,确定为了解码一特定的视图需要那一些帧,我们不需要缓冲任何帧或等待直到某一点。
在视图参数组中指示依赖性信息和其是否是基本视图。即使MPEG-4 AVC可兼容的基本视图也与其关联有对于该视图特定的信息(例如摄像机参数)。为了包含视图内插/合成的几个目的这一信息可以由其它视图使用。我们提出仅支持一个MPEG-4 AVC可兼容的视图,这是由于如果存在多个MPEG-4 AVC可兼容的视图,这就使得难于为每个这样的片识别其属于那一个视图,并且非多视图视频编码的解码器可能容易混乱。
通过将其限制到仅一个这样的视图,保证了非多视图视频编码的解码器将能够正确地解码视图,并且根据视图参数组利用语法avc_compatible_view_id,多视图视频编码的解码器可以易于识别这样的视图。利用is_base_flag可以识别所有的(非MPEG-4 AVC可兼容的)其它基本视图。
提出一种用于多视图视频编码片的新片首标。为了支持视图的可扩展性、视图随机存取等,我们需要了解当前的片依赖于那些视图。为了视图合成和视图内插,我们可能还需要摄像机参数。这一信息出现在视图参数组中,如在以上表1中显示。利用view_parameter_set_id识别视图参数组。我们提出将view_parameter_set_id添加到所有非MPEG-4 AVC可兼容的片的片首标中,如表3所示(片首标语法)。需要view_id信息用于几种多视图视频编码需求,包含视图内插/合成、视图随机存取、并行处理等。这一信息还可以用于仅与交叉视图预测相关的特殊编码模式。为了根据用于这一视图的视图参数组找到对应的参数,我们需要在片首标中传送view_id。
表3
slice_header(){ |
C |
描述符 |
first_mb_in_slice |
2 |
ue(v) |
slice_type |
2 |
ue(v) |
pic_parameter_set_id |
2 |
ue(v) |
if(nal_unit_type==22‖nal_unit_type==23){ |
|
|
view_parameter_set_id |
2 |
ue(v) |
view_id |
2 |
ue(v) |
} |
|
|
frame_num |
2 |
u(v) |
if(!frame_mbs_only_flag){ |
|
|
field_pic_flag |
2 |
u(1) |
if(field_pic_flag) |
|
|
bottom_field_flag |
2 |
u(1) |
} |
|
|
|
|
|
) |
|
|
对于新多视图视频编码片,我们提出对于每个片类型(瞬时解码刷新(IDR)和非IDR)建立新NAL单元类型。我们提出使用用于IDR片的类型22和用于非IDR片的类型23,如在表2中所示。
view_parameter_set_id指定使用的视图参数组。view_parameter_set_id的值应当在0到255的范围内。
view_id指示当前视图的视图id。view_parameter_set_id的值应当在0到255的范围内。
现在按照本发明原理的一实施例,说明视图随机存取的实例。
视图随机存取是多视图视频编码要求。目标是以最小解码工作量进行对任何视图的存取。让我们考虑用于图3所示的预测结构的视图随机存取的一个实例。
假设用户要求解码视图S3。从图3我们可以看出,这一视图依赖于视图S0、S2和S4。下面描述视图参数组的一个实例。
我们假设在片首标语法中将用于多个视图的view_id陆续地从0到7编号,仅出现一个视图参数组view_parameter_set等于0。number_of_views_minus_1设定到7。avc_compatible_view_id可以设定到0。
对于视图S0,将is_base_view_flag设定到1,并对于其它的视图设定到0。查看对于S0、S1、S2、S3和S4的依赖性映射表如在表4A(用于S0的依赖性映射表anchor_picture_dependency_map)和表4B(用于S0的依赖性映射表non_anchor_picture_dependency_map)中所显示的。可以按相似的方式写出用于其它视图的依赖性映射表。
一旦这一个表在解码器是可用的,解码器可以易于确定解码特定的视图是否需要其接收的片。解码器仅需要分析片首标以确定当前片的view_id,和对于目标视图S3,其可以查看在两个表(表4A和4B)中的S3列,以确定是否应当保持当前的片。解码器需要在锚画面和非锚画面之间进行辨别,这是由于它们可能具有不同的依赖性,如从表4A和4B可以看出的。对于目标视图S3,我们需要将视图S0、S2和S4的锚画面解码,但是仅需要将视图S2和S4的非锚画面解码。
表4A
i\j |
S0 |
S1 |
S2 |
S3 |
S4 |
S5 |
S6 |
S7 |
S0 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
S1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
S2 |
0 |
1 |
0 |
1 |
1 |
1 |
1 |
1 |
S3 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
S4 |
0 |
0 |
0 |
1 |
0 |
1 |
1 |
1 |
表4B
i\j |
S0 |
S1 |
S2 |
S3 |
S4 |
S5 |
S6 |
S7 |
S0 |
0 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
S1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
S2 |
0 |
1 |
0 |
1 |
0 |
0 |
0 |
0 |
S3 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
S4 |
0 |
0 |
0 |
1 |
0 |
1 |
0 |
0 |
转向图4,由标号400概括地指示用于解码多视图视频内容中的多个视图的示范性的方法。
方法400包含开始块405,其向功能块410传递控制。功能块410读出一用于编码参数(该参数用于编码多个视图)的配置文件和向功能块415传递控制。该功能块设定N等于需编码的视图的数目,并向功能块420传递控制。功能块420将number_of_view_minus_1设定等于N-1,设定avc_compatible_view_id等于MPEG-4 AVC可兼容的视图的view_id,向功能块425传递控制。功能块425设定view_parameter_set_id等于一有效的整数,将变量i初始化等于0,并向判定块430传递控制。判定块430确定i是否大于N。如果为是,则将向判定块435控制传递。否则,向功能块470传递控制。
判定块435确定当前的视图是否是基本视图。如果为是,则向功能块440传递控制。否则,向功能块480传递控制。
功能块440将is_base_view_flag[i]设定等于1,并向判定块445传递控制。判定块445确定是否正在更新依赖性。如果为是,则向功能块450传递控制。否则,向功能块485传递控制。
功能块450将dependency_update_flag设定等于1,并向功能块455传递控制。功能块455将变量j设定等于0,并向判定块460传递控制。判定块460确定j是否小于N。如果为是,则向功能块465传递控制。否则,向功能块487传递控制。
功能块465将anchor_picture_dependency_maps[i][j]和non_anchor_picture_dependency_maps[i][j]设定为由配置文件指示的值,并向功能块467传递控制。功能块467将变量j递增1,并向判定块460返回控制。
当出现摄像机参数时,功能块470将camera_parameter_present_flag设定等于1,否则将camera_parameter_present_flag设定等于0,并向判定块472传递控制。判定块472确定camera_parameter_present_flag是否等于1。如果为是,则向功能块432传递控制。否则,向功能块434传递控制。
功能块432写入摄像机参数,并向功能块434传递控制。
功能块434写入视图参数组(VPS)或序列参数组(SPS),并向终止块499传递控制。
功能块480将is_base_view_flag[i]设定等于0,并向判定块445传递控制。
功能块485将dependency_update_flag设定等于0,并向功能块487传递控制。功能块487将变量i递增1,并向判定块判定块430返回控制。
转向图5,由标号500概括地指示用于解码多视图视频内容中的多个视图的示范性的方法。
方法500包含开始块505,其向功能块510传递控制。功能块510分析序列参数组(SPS)或视图参数组(VPS)、view_parameter_set_id、number_of_view_minus_1、avc_compatible_view_id,将变量i和j设定等于0,将N设定等于number_of_view_minus_1,并向判定块515传递控制。判定块515确定i是否小于或等于N。如果为是,则将向功能块570控制传递。否则,向功能块525传递控制。
功能块570分析camera_parameter_present_flag,并向判定块572传递控制。判定块572确定camera_parameter_present_flag是否等于1。如果为是,则将向功能块574控制传递。否则,向功能块576传递控制。
功能块574分析摄像机参数,并向功能块576传递控制。
功能块576继续解码,并向终止块599传递控制。
功能块525分析is_base_view_flag[i]和dependency_update_flag,并向判定块530传递控制。判定块530确定dependency_update_flag是否等于0。如果为是,则将向功能块532控制传递。否则,向判定块535传递控制。
功能块532将i递增1,并向判定块515返回控制。
判定块535确定j是否小于或等于N。如果为是,则将向功能块540控制传递。否则,向功能块537传递控制。
功能块540分析anchor_picture_dependency_maps[i][j],并向判定块545返回控制。判定块545确定non_anchor_picture_dependency_maps[i][j]是否等于1。如果为是,则将向功能块550控制传递。否则,向功能块547传递控制。
功能块550分析non_anchor_picture_dependency_maps[i][j]并向功能块547传递控制。
功能块547将j递增1,并向判定块535返回控制。
功能块537将i递增1,并向功能块515返回控制。
现在将说明本发明的很多附带优点和特征中的某些优点和特征,它们中的某一些上面已经提到。例如,一个优点和特征是该装置包含一用于将对应于多视图视频内容的至少两个视图编码成为结果的位流的编码器,其中将该结果的位流编码以包含视图特定信息。视图特定信息指示至少两个视图中的至少某些视图之间的解码相依性。另一个优点和特征是该装置具有如上所述的编码器,其中该解码相依性使得至少两个视图中的至少一个视图对应的解码能够仅利用用于该对应的解码的至少两个视图的子组。再一个优点和特征是该装置具有如上所述的编码器,其中通过略去与在至少两个视图中相对于至少一个视图作为非相依指示的任何其它视图相关的片,将在视图特定信息中指示的该解码相依性用于随机存取至少两个视图中的至少一个视图。再一个优点和特征是该装置具有如上所述的编码器,其中视图特定信息包含在高级语法中。再一个优点和特征是该装置具有如上所述的编码器,其中视图特定信息包含在符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准的参数组中。再一个优点和特征是该装置具有如上所述的编码器,其中视图特定信息包含在视图参数组中。再一个优点和特征是该装置具有如上所述的编码器,其中视图特定信息包含在视图参数组中,其中将视图参数组指定为仅专用于视图参数组的NAL单元类型。再一个优点和特征是该装置具有如上所述的编码器,其中将如上所述的视图参数组指定为仅专用于视图参数组的NAL单元类型,其中NAL单元类型是14。此外,一个附加的优点和特征是该装置具有该编码器,其中该视图特定信息包含至少一个语法要素,用于指示如上所述的视图参数组id。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素用于指示如上所述的视图参数组id,其中该至少一个语法要素由view_parameter_set_id语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素用于指示视图的数目。另外,再一个优点和特征是该装置具有如上所述的编码器,该视图特定信息如上所述包含至少一个语法要素用于指示视图的数目,其中该至少一个语法要素由number_of_view_minus_1语法要素表示。另外,再一个优点和特征是该装置具有如上所述的编码器,其中当至少两个视图中的一个特定视图编码成为位流时,该视图特定信息包含用于指示用于至少两个视图中的该特定视图id的至少一个语法要素,该位流符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含用于指示一如上所述用于至少两个视图中的至少一个特定视图id的至少一个语法要素,其中至少一个语法要素由avc_compatible_view_id语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素或是根据高级语法隐含地导出的,至少一个语法要素和高级用于语法指示至少两个视图中的一个特定视图,该语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准。另外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素或是如上所述根据高级语法隐含地导出的,其中至少一个语法要素由is_base_view_flag语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素,用于指示用于至少两个视图中的至少一个视图的信息是否出现在结果的位流中。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素。用于指示一如上所述用于至少两个视图中的至少一个视图的依赖性信息是否出现在结果的位流中,其中至少一个语法要素由dependency_update_flag语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素。用于指示至少两个视图中当前的一个视图中的至少一个锚画面是否用于解码至少两个视图中的任何其它视图。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素,用于指示至少两个视图中当前的一个视图中的至少一个锚画面是否如上所述用于解码至少两个视图中的任何其它视图,其中至少一个语法要素由anchor_picture_dependancy_maps[i][j]语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素,用于指示至少两个视图中当前的一个视图中的至少一个非锚画面是否用于解码至少两个视图中的任何其它视图。此外,再一个优点和特征是该装置具有如上所述的编码器,其中该视图特定信息包含至少一个语法要素,用于指示至少两个视图中当前的一个视图中的至少一个非锚画面是否如上所述用于解码至少两个视图中的任何其它视图,其中至少一个语法要素由non_anchor_picture_dependancy_maps[i][j]语法要素表示。此外,再一个优点和特征是该装置具有如上所述的编码器,其中将该结果的位流编码以包含至少一个语法要素,该语法要素与用于至少两个视图中的至少一个视图的至少一个摄像机参数相关。此外,再一个优点和特征是该装置具有如上所述的编码器,其中将该结果的位流编码以包含至少一个语法要素,该语法要素与用于至少两个视图中的至少一个视图的至少一个摄像机参数相关,其中至少一个语法包含在对应于该结果的位流的参数组中。
此外,再一个优点和特征是该装置包含编码器,用于通过将至少两个视图中于其解码独立于至少两个视图中的任何其它视图的任一视图定义作为基本视图,将对应于多视图视频内容的至少两个视图编码。
此外,再一个优点和特征是该装置包含编码器,用于通过将至少两个视图中的至少一个视图编码在结果的位流中,将对应于多视图视频内容的至少两个视图编码,为了与其的向后兼容性,该结果的位流的语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准。此外,再一个优点和特征是该装置具有如上所述的编码器,其中至少一个视图是于其解码独立于至少两个视图中任何其它视图的基本视图。此外,再一个优点和特征是该装置具有如上所述的编码器,其中avc_compatible_view_id语法要素识别在结果的位流中编码的至少一个视图,该语法符合国际标准化组织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准,用于向后兼容。
此外,再一个优点和特征是该装置包含编码器,用于通过在两个预定义的片类型之间选择其一,将对应于多视图视频内容的至少两个视图编码。此外,再一个优点和特征是该装置具有如上所述的编码器,其中两个预定义的片类型是瞬时解码刷新片类型和非瞬时解码刷新片类型。此外,再一个优点和特征是该装置具有该编码器,其在如上所述的瞬时解码刷新片类型和非瞬时解码刷新片类型之间选择,其中NAL单元类型22用于瞬时解码刷新片类型和NAL单元类型23用于非瞬时解码刷新片类型。此外,再一个优点和特征是该装置具有如上所述的编码器,其中用于至少两个片中的至少一个片的片首标包含视图特定语法。此外,再一个优点和特征是该装置具有该编码器,其中用于至少两个视图中的至少一个视图的片首标包含如上所述的视图特定语法,其中根据NAL单元类型23和NAL单元类型24调节(condition)视图特定语法。此外,再一个优点和特征是该装置具有该编码器,其中用于至少两个视图中的至少一个视图的片首标包含如上所述的视图特定语法,其中视图特定语法包含视图参数组识别符和视图识别符。此外,再一个优点和特征是该装置具有该编码器,其中视图特定语法包含如上所述的视图参数组识别符和视图识别符,其中视图参数组识别符由view_parameter_set_id语法要素表示,和视图识别符由view_id语法要素表示。
此外,再一个优点和特征是这样一种装置,其包含编码器,用于将对应于多视图内容的至少两个视图编码成为结果的位流,其中将结果的位流编码以包含对应于的至少两个视图种的至少一个视图的至少一个摄像机参数。此外,再一个优点和特征是这样一种装置,其具有如上所述的编码器,其中将结果的位流编码以包含视图参数组,和至少一个摄像机参数包含在视图参数组中。此外,再一个优点和特征是该装置具有如上所述的编码器,其中由一语法要素指示至少一个摄像机参数的出现。此外,再一个优点和特征是该装置具有该编码器,其中如上所述由一语法要素指示至少一个摄像机参数的出现,其中该语法要素是camera_parameter_present_flag语法要素。此外,再一个优点和特征是该装置具有如上所述的编码器,其中由camera_parameter语法要素表示至少一个摄像机参数。
此外,再一个优点和特征是这样一种装置,其包含编码器,用于将对应于多视图内容的至少两个视图编码成为结果的位流,其中将结果的位流编码以包含与用于至少两个视图中的至少一个视图的至少一个摄像机参数相关的至少一个语法要素。此外,再一个优点和特征是该装置具有如上所述的编码器,其中至少一个语法是高级语法要素。此外,再一个优点和特征是该装置具有如上所述的编码器,其中至少一个语法包含在对应于结果的位流的参数组中。
根据这里的论述,本发明原理的这些和其它特征和优点可以易于由所属技术领域的普通技术人员查明。应理解,本发明的论述可以以各种形式的硬件、软件、固件、专用处理器或它们的组合来实施。
按最优选的方式,按照硬件和软件的组合实施本发明原理。此外,可以按照在程序存储单元上确实体现的应用程序来实施软件。应用程序可以下载到一包含适当结构的机器并由其执行。最好,在具有硬件例如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出接口的计算机平台上实施该机器。计算机平台还可以包含操作系统和微指令代码。这里所述的各种处理和功能可以是可以由CPU执行的、部分微指令代码或部分应用程序或它们的任意组合。此外,可以将各种其它外围单元连接到计算机平台例如附加的数据存储装置和打印装置。
还应理解,因为附图中的某些系统组成部分和方法以软件的方式实施,系统组成部或处理功能块之间的实际的连接可以不同,其依赖于将本发明原理编程的方式。这里提供的论述,所属技术领域的普通技术人员能够规划这些或类似的实施方案或本发明原理的配置。
虽然,这里参照附图已经说明各描述性的实施例,应当理解本发明原理并不局限于那些实施例,所属技术领域的普通技术人员在不脱离本发明原理的构思和范围的情况下,可以进行各种改变和改进。所有这些改变和改进包含在在所提出的权利要求所述的本发明原理的范围内。