CN101658038B - 针对可缩放视频编码的视频可用信息的方法和设备 - Google Patents

Abstract

本发明提供了针对可缩放视频编码(SVC)的视频可用信息(VUI)的方法和设备。设备包括用于将视频信号数据编码成比特流的编码器(100)。编码器使用高级语法元素在比特流中指定除假定参考解码器参数之外的视频用户信息。该视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合(340、355)。

Description

针对可缩放视频编码的视频可用信息的方法和设备

相关申请的交叉参考

本申请要求于2007年4月12日提交的美国临时申请序列号No.60/911,490的优先权，其全部内容通过引用合并于此。

技术领域

本发明总体上涉及视频编码和解码，更具体地，涉及针对可缩放视频编码(SVC)的视频可用信息(VUI)的方法和设备。

背景技术

国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐标准(此后称之为“MPEG-4AVC标准”)规定了序列参数集的视频可用信息(VUI)参数的语法和语义。VUI包括纵横比、过扫描、视频信号类型、色度位置、定时、网络抽象层(NAL)假定参考解码器(HRD)参数、虚拟编码层(VCL)HRD参数、比特流限制等。表1中示出了MPEG-4AVC标准中VUI参数的语法。

表1：

vui_parameters(){	C	描述符
			aspect_ratio_info_present_flag	0	u(1)
if(aspect_ratio_info_present_flag){
			aspect_ratio_idc	0	u(8)
if(aspect_ratio_idc＝＝Extended_SAR){
			sar_width	0	u(16)
sar_height	0	u(16)
			}
}
			overscan_info_present_flag	0	u(1)
if(overscan_info_present_flag)
			overscan_appropriate_flag	0	u(1)
video_signal_type_present_flag	0	u(1)

if(video_signal_type_present_flag){
			video_format	0	u(3)
video_full_range_flag	0	u(1)
			colour_description_present_flag	0	u(1)
if(colour_description_present_flag){
			colour_primaries	0	u(8)
transfer_characteristics	0	u(8)
			matrix_coefficients	0	u(8)
}
			}
chroma_loc_info_present_flag	0	u(1)
			if(chroma_loc_info_present_flag){
chroma_sampie_loc_type_top_field	0	ue(v)
			chroma_sample_loc_type_bottom_field	0	ue(v)
}
			if(profile_idc＝＝‘SVC’){
num_layers_minus1	0	ue(v)
			for(i＝0；i＜＝num_layers_minus1；i++){
temporal_level[i]	0	u(3)
			dependency_id[i]	0	u(3)
quality_level[i]	0	u(2)
			timing_info_present_flag[i]	0	u(1)
if(timing_info_present_flag[i]){
			num_units_in_tick[i]	0	u(32)
time_scale[i]	0	u(32)
			fixed_frame_rate_flag[i]	0	u(1)
}
			nal_hrd_parameters_present_flag[i]	0	u(1)
if(nal_hrd_parameters_present_flag[i])
			hrd_parameters()
vcl_hrd_parameters_present_flag[i]	0	u(1)
			if(vcl_hrd_parameters_present_flag[i])
hrd_parameters()
			if(nal_hrd_parameters_present_flag{i]||vcl_hrd_parameters_present_flag[i])
low_delay_hrd_flag[i]	0	u(1)
			pic_struct_present_flag[i]	0	u(1)
}
			}else{
timing_info_present_flag	0	u(1)
			if(timing_info_present_flag){
num_units_in_tick	0	u(32)
			time_scale	0	u(32)
fixed_frame_rate_flag	0	u(1)
			}
nal_hrd_parameters_present_flag	0	u(1)
			if(nal_hrd_parameters_present_flag)

hrd_parameters()
			vcl_hrd_parameters_present_flag	0	u(1)
if(vcl_hrd_parameters_present_flag)
			hrd_parameters()
if(nal_hrd_parameters_present_flag||vcl_hrd_parameters_present_flag)
			low_delay_hrd_flag	0	u(1)
pic_struct_present_flag	0	u(1)
			}
bitstream_restriction_flag	0	u(1)
			if(bitstream_restriction_flag){
motion_vectors_over_pic_boundaries_flag	0	u(1)
			max_bytes_per_pic_denom	0	ue(v)
max_bits_per_mb_denom	0	ue(v)
			log2_max_mv_length_horizontal	0	ue(v)
log2_max_mv_length_vertical	0	ue(v)
			num_reorder_frames	0	ue(v)
max_dec_frame_buffering	0	ue(v)
			}
}

针对各种目的，VUI向用户提供额外的比特流信息。例如，在比特流限制信息中，VUI规定了：(1)运动是否超出图像边界；(2)每个图像的最大字节；(3)每个宏块的最大比特；(4)最大运动矢量长度(水平和垂直)；(5)重新排序的帧数；以及(6)最大解码帧缓冲器大小。当解码器发现该信息，而不是使用“级别”信息来设置通常高于比特流实际上所需的解码要求时，解码器可以基于更严格的限制来定制其解码操作。

发明内容

通过本发明解决了现有技术的这些以及其它缺陷和缺点，本发明针对可缩放视频编码(SVC)的视频可用信息(VUI)的方法和设备。

根据本发明的一个方面，提供了一种设备。该设备包括用于将视频信号数据编码成比特流的编码器。，该编码器使用高级语法元素在比特流中指定除假定参考解码器参数之外的视频用户信息。该视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合。

根据本发明的另一方面，提供了一种方法。该方法包括将视频信号数据编码成比特流。编码步骤包括：使用高级语法元素在比特流中指定除假定参考解码器参数之外的视频用户信息。该视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合。

根据本发明的又一方面，提供了一种设备。该设备包括用于从比特流中解码视频信号数据的解码器。解码器使用高级语法元素从比特流中确定除假定参考解码器参数之外的视频用户信息。视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合。

根据本发明的又一方面，提供了一种方法。该方法包括从比特流中解码视频信号数据。解码步骤包括：使用高级语法元素从比特流中确定除假定参考解码器参数之外的视频用户信息。视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合。

结合附图阅读的示例实施例的以下详细描述，本发明的这些和其他方面、特征以及优点将变得显而易见。

附图说明

根据以下示例性附图，可以更好地理解本发明，在附图中：

图1是应用本发明的示例性可缩放视频编码器的方框图；

图2是应用本发明的示例性可缩放视频解码器的方框图；

图3是根据本发明实施例的用于对视频用户信息(VUI)进行编码的示例性方法的流程图；

图4是根据本发明实施例的用于对视频用户信息(VUI)进行解码的示例性方法的流程图；

图5是根据本发明实施例的用于对MPEG-4AVC标准时间补充增强信息(SEI)消息进行编码的流程图；以及

图6是根据本发明实施例的用于对MPEG-4AVC标准临时补充增强信息(SEI)消息进行解码的流程图。

具体实施方式

本发明针对可缩放视频编码(SVC)的视频可用信息(VUI)的方法和设备。

本说明书示意了本发明。因此将理解的是，尽管这里没有明确描述或示出，本领域的技术人员将能够设想体现本发明并包括在本发明精神和范围内的各种布置。

因此，这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明以及发明人对现有技术做出贡献的构思，应看作不会被限制为具体引述的示例和条件。

此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。

因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。

可以通过使用专用硬件和能够与适合的软件一同执行软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。

还可以包括常规和/或专用的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。

在权利要求书中，表示为用于执行特定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路组件的组合，或b)任意形式的软件，包括固件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本发明在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。

在说明书中涉及本发明原理的“一个实施例”或“实施例”是指：结合实施例描述的特定特征、结构、特性等包括在本发明的至少一个实施例中。因此，贯穿说明书在不同地方出现的术语“在一个实施例中”或“在实施例中”不必均指相同的实施例。

此外，应当理解的是，术语“和/或”的使用，例如在“A和/或B”的情况下，意在包括选择第一所列项目(A)、选择第二所列项目(B)、或选择两个项目(A和B)。作为另一示例，在“A、B和/或C”的情况下，这样的表示意在包括选择第一所列项目(A)、选择第二所列项目(B)、选择第三所列项目(C)、选择第一和第二所列项目(A和B)、选择第一和第三所列项目(A和C)、选择第二和第三所列项目(B和C)、或选择所有三个项目(A和B和C)。对于本领域和相关领域的普通技术人员之一来说显而易见的是，对于所列的许多项目，上述是可以扩展的。

此外，应当理解，尽管这里关于MPEG-4AVC标准描述本发明的一个或多个实施例，本发明不仅限于该标准，并因此可以关于其他视频编码标准、推荐标准及其扩展(包括MPEG-4AVC标准的扩展)来使用，同时保留本发明的精神。

如这里所使用的“高级语法”指代在分级地驻留于上述宏块层的比特流中出现的语法。例如，如这里所使用的高级语法可以指代但不限于片报头级、补充增强信息(SEI)级、图像参数集(PPS)级、序列参数集(SPS)级、网络抽象层(NAL)单元报头级处的语法。

可缩放视频编码(SVC)是MPEG-4AVC标准的扩展(附录G)。在SVC中，可以将视频信号编码进基层和以金字塔的形式构建的一个或更多增强层中。增强层增强了时间分辨率(即，帧率)、空间分辨率，或者简单地增强由另外的层或其部分所表示的视频内容的质量。每一层与其所有的依赖层是特定空间分辨率、时间分辨率和质量等级的视频信号的一个表示。由互操作性工作点(IOP，也称之为工作点)表示与其所有的依赖层相组合的、要求对特定空间分辨率、时间分辨率和质量等级的视频信号进行解码的层。典型地，至少部分由于比特流是可缩放的这一事实，SVC比特流具有多个IOP。例如，这种比特流在空间上、时间上以及信噪比(SNR)上是可缩放的。对应于可缩放的方面，可以从该比特流中提取子比特流。

转向图1，应用本发明的示例性可缩放视频编码器一般由参考数字100指示。

将时间分解模块142的第一输出以信号通信的方式与针对帧内块的帧内预测模块146的第一输入相连接。将时间分解模块142的第二输出以信号通信的方式与运动编码模块144的第一输入相连接。将针对帧内块的帧内预测模块146的输出以信号通信的方式与变换/熵编码器(信噪比(SNR)可缩放)149的输入相连接。将变换/熵编码器149的第一输出以信号通信的方式与复用器140的第一输入相连接。

将时间分解模块132的第一输出以信号通信的方式与针对帧内块的帧内预测模块136的第一输入相连接。将时间分解模块132的第二输出以信号通信的方式与运动编码模块134的第一输入相连接。将针对帧内块的帧内预测模块136的输出以信号通信的方式与变换/熵编码器(信噪比(SNR)可缩放)139的输入相连接。将变换/熵编码器139的第一输出以信号通信的方式与复用器130的第一输入相连接。

将变换/熵编码器149的第二输出以信号通信的方式与2D空间插值模块138的输入相连接。将运动编码模块144的第二输出以信号通信的方式与运动编码模块134的输入相连接。

将时间分解模块122的第一输出以信号通信的方式与帧内预测器126的第一输入相连接。将时间分解模块122的第二输出以信号通信的方式与运动编码模块124的第一输入相连接。将帧内预测器126的输出以信号通信的方式与变换/熵编码器(信噪比(SNR)可缩放)129的输入相连接。将变换/熵编码器129的输出以信号通信的方式与复用器120的第一输入相连接。

将变换/熵编码器139的第二输出以信号通信的方式与2D空间插值模块128的输入相连接。将运动编码模块134的第二输出以信号通信的方式与运动编码模块124的输入相连接。

将运动编码模块124的第一输出、运动编码模块134的第一输出以及运动编码模块144的第一输出分别以信号通信的方式与复用器170的第二输入相连接。

将2D空间抽取模块104的第一输出以信号通信的方式与时间分解模块132的输入相连接。将2D空间抽取模块104的第二输出以信号通信的方式与时间分解模块142的输入相连接。

时间分解模块122的输入和2D空间抽取模块104的输入可用作编码器100的输入，以用于接收输入视频102。

复用器170的输出可用作编码器100的输出，以用于提供比特流180。

在编码器100的核心编码器部分187中包括：时间分解模块122、时间分解模块132、时间分解模块142、运动编码模块124、运动编码模块134、运动编码模块144、帧内预测器126、帧内预测器136、帧内预测器146、变换/熵编码器129、变换/熵编码器139、变换/熵编码器149、2D空间插值模块128以及2D空间插值模块138。

转向图2，应用本发明的示例性可缩放视频解码器一般由参考数字200指示。解复用器202的输入可用作可缩放视频解码器200的输入，以用于接收可缩放比特流。将解复用器202的第一输出以信号通信的方式与空间反变换SNR可缩放熵解码器204的输入相连接。将空间反变换SNR可缩放熵解码器204的第一输出以信号通信的方式与预测模块206的第一输入相连接。将预测模块206的输出以信号通信的方式与组合器230的第一输入相连接。

将空间反变换SNR可缩放熵解码器204的第二输出以信号通信的方式与运动矢量(MV)解码器210的第一输入相连接。将MV解码器210的输出以信号通信的方式与运动补偿器232的输入相连接。将运动补偿器的输出以信号通信的方式与组合器230的第二输入相连接。

将解复用器202的第二输出以信号通信的方式与空间反变换SNR可缩放熵解码器212的输入相连接。将空间反变换SNR可缩放熵解码器212的第一输出以信号通信的方式与预测模块214的第一输入相连接。将预测模块214的第一输出以信号通信的方式与插值模块216的输入相连接。将插值模块216的输出以信号通信的方式与预测模块206的第二输入相连接。将预测模块214的第二输出以信号通信的方式与组合器240的第一输入相连接。

将空间反变换SNR可缩放熵解码器212的第二输出以信号通信的方式与MV解码器220的第一输入相连接。将MV解码器220的第一输出以信号通信的方式与MV解码器210的第二输入相连接。将MV解码器220的第二输出以信号通信的方式与运动补偿器242的输入相连接。将运动补偿器242的输出以信号通信的方式与组合器240的第二输入相连接。

将解复用器202的第三输出以信号通信的方式与空间反变换SNR可缩放熵解码器222的输入相连接。将空间反变换SNR可缩放熵解码器222的第一输出以信号通信的方式与预测模块224的输入相连接。将预测模块224的第一输出以信号通信的方式与插值模块226的输入相连接。将插值模块226的输出以信号通信的方式与预测模块214的第二输入相连接。

将预测模块224的第二输出以信号通信的方式与组合器250的第一输入相连接。将空间反变换SNR可缩放熵解码器222的第二输出以信号通信的方式与MV解码器230的输入相连接。将MV解码器230的第一输出以信号通信的方式与MV解码器220的第二输入相连接。将MV解码器230的第二输出以信号通信的方式与运动补偿器252的输入相连接。将运动补偿器252的输出以信号通信的方式与组合器250的第二输入相连接。

组合器250的输出可用作解码器200的输出，以用于输出层0信号。组合器240的输出可用作解码器200的输出，以用于输出层1信号。组合器230的输出可用作解码器200的输出，以用于输出层2信号。

针对可缩放视频编码(SVC)的假定参考解码器(HRD)，提出修改网络抽象层(NAL)假定参考解码器(HRD)参数和虚拟编码层(VCL)HRD参数。然而，并未考虑到VUI中的其它信息，具体地，比特流限制信息。因此，根据本发明，提出针对SVC中的附加VUI信息的修改。

从而，根据本发明，提议修改针对可缩放视频编码(SVC)的MPEG-4AVC标准视频可用信息(VUI)。在实施例中，针对SVC的每个互操作性点(IOP)定义VUI。具体地，考虑VUI中的比特流限制信息以及如何修改针对SVC的比特流限制信息。还考虑如何使用补充增强信息(SEI)消息来传送针对MPEG-4AVC标准兼容情况的VUI信息。

当前，针对可缩放视频编码的每个IOP来设置视频VUI中的假设参考解码器参数，但是其余的VUI信息仅使用比特流的一个VUI参数集。由于假设解码器仅对视频信号的子集(与IOP相对应)进行解码，与需要发送和解码的每个IOP相对应的数据的大小也随着IOP而改变。因此，相信，除了假定参考解码器参数外，应该向每个IOP或针对某些信息的IOP集发送一些其它VUI信息。具体地，考虑VUI中的比特流限制信息。

在实施例中，使用比特流限制信息作为示例。然而，应该意识到，根据本发明，也可以使用其它VUI信息。即，给出这里提供的本发明的教导的情况下，本领域和相关领域的普通技术人员将设想到应用本发明的各种其它类型的VUI信息，同时保持本发明的精神。

在一个实施例中，假设IOP集共享同样的比特流限制信息。例如，具有相同dependency_id的所有层共享相同的比特流限制信息。

在另一实施例中，提出针对每个IOP对比特流限制信息进行定义。通过dependency_id、temporal_id和quality_id，可以唯一地标识IOP。假定i是IOP的索引，比特流限制信息包括以下语法：

bitstream_restriction_flag[i]-指示针对当前可缩放层的比特流限制信息存在于SEI消息中。

bitstream_restriction_flag[i]等于0指示，针对dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的比特流限制信息未存在于SEI消息中。

motion_vectors_over_pic_boundaries_flag[i]-指定dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的motion_vectors_over_pic_boundaries_flag的值。当不存在motion_vectors_over_pic_boundaries_flag语法元素时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的motion_vectors_over_pic_boundaries_flag值等于1。

max_bytes_per_pic_denom[i]-指定dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_bytes_per_pic_denom值。当不存在max_bytes_per_pic_denom[i]语法元素时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_bytes_per_pic_denom的值等于2。

max_bits_per_mb_denom[i]-指定dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_bits_per_mb_denom值。当不存在max_bits_per_mb_denom[i]时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_bits_per_mb_denom的值等于1。

log2_max_mv_length_horizontal[i]和log2_max_mv_length_vertical[i]-指定dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的log2_max_mv_length_horizontal和log2_max_mv_length_vertical值。当不存在log2_max_mv_length_horizontal[i]时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的log2_max_mv_length_horizontal和log2_max_mv_length_vertical的值等于16。

num_reorder_frames[i]-指示dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的num_reorder_frames的值。num_reorder_frames[i]的值应该在0到max_dec_frame_buffering的范围内(包含0和max_dec_frame_buffering)。当不存在num_reorder_frames[i]语法元素时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的num_reorder_frames值等于max_dec_frame_buffering。

max_dec_frame_buffering[i]-指示dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_dec_frame_buffering的值。max_dec_frame_buffering[i]的值应该在num_ref_frames[i]到MaxDpbSize(如MPEG-4AVC标准中的子条款A.3.1或A.3.2中所指定的)的范围内(num_ref_frames[i]和MaxDpbSize)。当不存在max_dec_frame_buffering[i]的语法元素时，应推断dependency_id等于dependency_id[i]、temporal_id等于temporal_id[i]以及quality_id等于quality_id[i]的可缩放层的max_dec_frame_buffering的值等于MaxDpbSize。

此外，表2包括针对该实施例的提出的、与针对每个IOP定义比特流限制信息有关的VUI语法。

表2：

vui_parameters(){	C	描述符
			aspect_ratio_info_present_flag	0	u(1)
if(aspect_ratio_info_present_flag){
			aspect_ratio_idc	0	u(8)
if(aspect_ratio_idc＝＝Extended_SAR){
			sar_width	0	u(16)
sar_height	0	u(16)
			}
}
			overscan_info_present_flag	0	u(1)

if(overscan_info_present_flag)
			overscan_appropriate_flag	0	u(1)
video_signal_type_present_flag	0	u(1)
			if(video_signal_type_present_flag){
video_format	0	u(3)
			video_full_range_flag	0	u(1)
colour_description_present_flag	0	u(1)
			if(colour_description_present_flag){
colour_primaries	0	u(8)
			transfer_characteristics	0	u(8)
matrix_coefficients	0	u(8)
			}
}
			chroma_loc_info_present_flag	0	u(1)
if(chroma_loc_info_present_flag){
			chroma_sample_loc_type_top_field	0	ue(v)
chroma_sample_loc_type_bottom_field	0	ue(v)
			}
if(profile_idc＝＝‘SVC’){
			num_layers_minus1	0	ue(v)
for(i＝0；i＜＝num_layers_minus1；i++){
			temporal_level[i]	0	u(3)
dependency_id[i]	0	u(3)
			quality_level[i]	0	u(2)
timing_info_present_flag[i]	0	u(1)
			if(timing_info_present_flag[i]){
num_units_in_tick[i]	0	u(32)
			time_scale[i]	0	u(32)
fixed_frame_rate_flag[i]	0	u(1)
			}
nel_hrd_parameters_present_flag[i]	0	u(1)
			if(nal_hrd_parameters_present_flag[i])
hrd_parameters()
			vcl_hrd_parameters_present_flag[i]	0	u(1)
if(vcl_hrd_parameters_present_flag[i])
			hrd_parameters()
if(nal_hrd_parameters_present_flag[i]||vcl_hrd_parameters_present_flag[i])
			low_delay_hrd_flag[i]	0	u(1)
pic_struct_present_flag[i]	0	u(1)
			bitstream_restriction_flag[i]	0	u(1)
if(bitstream_restriction_flag[i]){
			motion_vectors_over_pic_boundaries_flag[i]	0	u(1)
max_bytes_per_pic_denom[i]	0	ue(v)
			max_bits_per_mb_denom[i]	0	ue(v)
log2_max_mv_length_horizontal[i]	0	ue(v)
			log2_max_mv_length_vertical[i]	0	ue(v)

num_reorder_frames[i ]	0	ue(v)
			max_dec_frame_buffering[i ]	0	ue(v)
}
			}
}else{
			timing_info_present_flag	0	u(1)
if(timing_info_present_flag){
			num_units_in_tick	0	u(32)
time_scale	0	u(32)
			fixed_frame_rate_flag	0	u(1)
}
			nal_hrd_parameters_present_flag	0	u(1)
if(nal_hrd_parameters_present_flag)
			hrd_parameters()
vcl_hrd_parameters_present_flag	0	u(1)
			if(vcl_hrd_parameters_present_flag)
hrd_parameters()
			if(nal_hrd_parameters_present_flag ||vcl_hrd_parameters_present_flag)
low_delay_hrd_flag	0	u(1)
			pic_struct_present_flag	0	u(1)
}
			bitstream_restriction_flag	0	u(1)
if(bitstream_restriction_flag){
			motion_vectors_over_pic_boundaries_flag	0	u(1)
max_bytes_per_pic_denom	0	ue(v)
			max_bits_per_mb_denom	0	ue(v)
log2_max_mv_length_horizontal	0	ue(v)
			log2_max_mv_length_vertical	0	ue(v)
num_reorder_frames	0	ue(v)
			max_dec_frame_buffering	0	ue(v)
}
			}

转向图3，用于对视频用户信息(VUI)进行编码的示例性方法一般由参考数字300指示。

方法300包括将控制传递到判决块310的开始块305。判决块310确定profile_idc是否等于SVC。如果是，将控制传递到功能块315。否则将控制传递到功能块350。

功能块315将变量M设置为等于层-1的数目，并将控制传递到功能块320。功能块320将变量M写到比特流中，并将控制传递到功能块325。功能块325设置变量i等于0，并将控制传递到功能块330。功能块330将层i的temporal level、dependency_id和quality_level写到比特流中，并将控制传递到功能块335。功能块335将层i的定时信息和HRD参数写到比特流中，并将控制传递到功能块340。功能块340将层i的比特流限制信息写到比特流中，并将控制传递到判决块345。判决块345确定变量i是否等于变量M。如果是，将控制传递到结束块399。否则将控制传递到功能块360。

功能块350将定时信息和HRD参数写到比特流中，并将控制传递到功能块355。功能块355将比特流限制信息写到比特流中，并将控制传递到结束块399。

功能块360使变量i以1递增，并将控制返回至功能块330。

转向图4，用于对视频用户信息(VUI)进行解码的示例性方法一般由参考数字400指示。

方法400包括将控制传递到判决块410的开始块405。判决块410确定profile_idc是否等于SVC。如果是，将控制传递到功能块415。否则将控制传递到功能块450。

功能块415从比特流中读取变量M，并将控制传递到功能块420。功能块420将层的数目设置为等于M+1，并将控制传递到功能块425。功能块425设置变量i等于0，并将控制传递到功能块430。功能块430从比特流中读取层i的temporal_level、dependency_id和quality_level，并将控制传递到功能块435。功能块435从比特流中读取层i的定时信息和HRD参数，并将控制传递到功能块440。功能块440从比特流中读取层i的比特流限制信息，并将控制传递到判决块445。判决块445确定变量i是否等于变量M。如果是，将控制传递到结束块499。否则将控制传递到功能块460。

功能块450从比特流中读取定时信息和HRD参数，并将控制传递到功能块455。功能块455从比特流中读取比特流限制信息，并将控制传递到结束块499。

功能块460使变量i以1递增，并将控制返回至功能块430。

SVC要求基层与MPEG-4AVC标准兼容。然而，MPEG-4AVC标准的可兼容比特流可以包括若干时间层。根据本发明的实施例，提出针对MPEG-4AVC兼容的层中的不同的时间层使用高级语法来传送比特流限制信息。在一个实施例中，使用补充增强信息(SEI)消息。当然，本发明不仅限于使用关于高级语法的SEI消息，从而，在保持本发明的精神的同时，根据本发明还可以使用其它高级语法。表3示出了根据本发明实施例所提出的AVC时间视频用户信息(VUI)补充增强信息(SEI)消息。以下的语法定义应用于表3提出的语法。

表3：

avc_temporal_vui(payloadSize){	C	描述符
			num_of_temporal_layers_in_base_layer_minus1	0	ue(v)
for(i＝0；i＜num_of_temporal_layers_in_base_layer_minus1；i++){
			temporal_level[i]	0	u(3)
bitstream_restriction_flag	0	u(1)
			if(bitstream_restriction_flag){
motion_vectors_over_pic_boundaries_flag	0	u(1)
			max_bytes_per_pic_denom	0	ue(v)
max_bits_per_mb_denom	0	ue(v)
			log2_max_mv_length_horizontal	0	ue(v)
log2_max_mv_length_vertical	0	ue(v)
			num_reorder_frames	0	ue(v)
max_dec_frame_buffering	0	ue(v)
			}
}
			}

转向图5，用于对MPEG-4AVC标准时间补充增强信息(SEI)消息进行编码的示例性方法一般由参考数字500指示。

方法500包括将控制传递到功能块510的开始块505。功能块510将变量M设置为等于基层-1中时间子集的数目，并将控制传递到功能块515。功能块515将变量M写到比特流中，并将控制传递到功能块520。功能块520设置变量i等于0，并将控制传递到功能块525。功能块525将层i的temporal_level写到比特流中，并将控制传递到功能块530。功能块530将层i的比特流限制信息写到比特流中，并将控制传递到判决块535。判决块535确定变量i是否等于变量M。如果是，将控制传递到结束块599。否则将控制传递到功能块540。功能块540以1递增变量i，并将控制返回至功能块525。

转向图6，用于对MPEG-4AVC标准时间补充增强信息(SEI)消息进行解码的示例性方法一般由参考数字600指示。

方法600包括将控制传递到功能块610的开始块605。功能块610从比特流中读取变量M，并将控制传递到功能块615。功能块615将基层中的时间子集的数目设置为等于变量M+1，并将控制传递到功能块620。功能块620设置变量i等于0，并将控制传递到功能块625。功能块625从比特流中读取层i的temporal_level，并将控制传递到功能块630。功能块630从比特流中读取层i的比特流限制信息，并将控制传递到判决块635。判决块635确定变量i是否等于变量M。如果是，将控制传递到结束块699。否则将控制传递到功能块640。

功能块640使变量i以1递增，并将控制返回至功能块625。

表4示出了可缩放性信息SEI消息中比特流限制信息的另一种实现方式。

表4：

scalability_info(payloadSize){	C	描述符
			temporal_id_nesting_flag	5	u(1)
quality_layer_info_present_flag	5	u(1)
			priority_id_setting_flag	5	u(1)
num_layers_minus1	5	ue(v)
			for(i＝0；i＜＝num_layers_minus1；i++){
layer_id[i]	5	ue(v)
			priority_id[i ]	5	u(6)
discardable_flag[i]	5	u(1)
			temporal_id[i]	5	u(3)
dependency_id[i]	5	u(3)
			quality_id[i]	5	u(4)
…
			bitstream_restriction_info_present_flag[i]	5	u(1)
…
			if(bitstream_restriction_info_present_flag[i]){
motion_vectors_over_pic_boundaries_flag[i]	5	u(1)
			max_bytes_per_pic_denom[i]	5	ue(v)
max_bits_per_mb_denom[i]	5	ue(v)
			log2_max_mv_length_horizontal[i]	5	ue(v)

log2_max_mv_length_vertical[i]	5	ue(v)
			num_reorder_frames[i]	5	ue(v)
max_dec_frame_buffering[i]	5	ue(v)
			}
…
			}
}

现在给出对本发明很多附带的优点/特征中的一些的描述，其中一些在上面已经提到。例如，一个优点/特征是包括用于将视频信号数据编码成数据流的编码器的设备。编码器使用高级语法元素在比特流中指定除假定参考解码器参数之外的其他视频用户信息。该视频用户信息对应于比特流中与可缩放视频编码有关的互操作性点集合。

另一优点/特征是具有编码器的上述设备，其中，该编码器使用高级语法元素针对比特流中与可缩放视频编码有关的每个互操作性点(包括互操作性点集合)来指定视频用户信息。

又一优点/特征是具有编码器的上述设备，其中，在与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的层处，该编码器针对与可缩放视频编码有关的互操作性点来指定视频用户信息。

又一优点/特征是具有编码器的上述设备，其中，视频用户信息包括比特流限制信息。

此外，另一优点/特征是具有编码器的设备，其中，如上所述视频用户信息包括比特流限制信息，其中，该比特流限制信息包括以下中的至少一个：motion_vectors_over_pic_boundaries_flag语法元素、max_bytes_per_pic_denom语法元素、max_bits_per_mb_denom语法元素、log2_max_mv_length_horizontal语法元素、log2_max_mv_length_vertical语法元素、num_reorder_frames语法元素以及max_dec_frame_buffering语法元素。

此外，另一优点/特征是具有编码器的上述设备，其中，高级语法元素与以下中的至少一个相对应：片报头级、序列参数集级、图像参数集级、网络抽象层单元报头级以及与补充增强信息消息相对应的级。

同样，另一优点/特征是具有编码器的上述的设备，其中，profile_idc语法元素用来区分针对可缩放视频编码的比特流或与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的比特流。

此外，另一优点/特征是具有编码器的上述设备，其中，至少针对集合中的每个互操作性点，编码器将dependency_id语法元素、temporal_level语法元素和quality_level语法元素写到比特流中。

此外，另个优点/特征是具有编码器的上述设备，其中，至少针对集合中的每个互操作性点，编码器将temporal_level语法元素和quality_level语法元素写到比特流中。

此外，另个优点/特征是具有编码器的上述设备，其中，至少针对集合中的每个互操作性点，编码器将temporal_level语法元素写到比特流中。

基于这里的教导，本领域的普通技术人员可以容易地确定本发明的这些以及其它特征和优点。应理解的是，本发明的教导可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。

最优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将该软件实现为在程序存储单元上具体体现的应用程序。可将该应用程序上载到包括任何适合架构在内的机器并由该机器执行。优选地，在具有硬件(如，一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分，或其组合。此外，可将其它各种外围单元连接到计算机平台，如附加的数据存储单元和打印单元。

还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实现，根据对本发明编程的方式，系统组件或处理功能块之间的实际连接可以有所不同。在这里给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及类似的实现方式或配置。

虽然这里参考附图描述了示意性的实施例，但是应理解的是，本发明并不限于这些确定的实施例，在不背离本发明的范围或精神的情况下，本领域的普通技术人员可以实现各种变化和修改。旨在将所有这些变化和修改包括在如所附权利要求中所阐述的本发明的范围内。

Claims (32)

1.一种针对可缩放视频编码的设备，包括：

编码器(100)，用于将视频信号数据编码成比特流，其中，所述编码器使用高级语法元素在比特流中指定比特流限制信息，所述比特流限制信息对应于比特流中与可缩放视频编码有关的互操作性点的集合。

2.根据权利要求1所述的设备，其中，所述编码器(100)使用所述高级语法元素，针对比特流中与可缩放视频编码有关的、包括所述互操作性点的集合在内的互操作性点中的每一个，来指定比特流限制信息。

3.根据权利要求1所述的设备，其中，比特流限制信息包括以下中的至少一个：motion_vectors_over_pic_boundaries_flag语法元素、max_bytes_per_pic_denom语法元素、max_bits_per_mb_denom语法元素、log2_max_mv_length_horizontal语法元素、log2_max_mv_length_vertical语法元素、num_reorder_frames语法元素以及max_dec_frame_buffering语法元素。

4.根据权利要求1所述的设备，其中，所述高级语法元素与以下中的至少一个相对应：片报头级、序列参数集级、图像参数集级、网络抽象层单元报头级以及与补充增强信息消息相对应的级。

5.根据权利要求1所述的设备，其中，profile_idc语法元素用于区分针对可缩放视频编码的比特流或与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的比特流。

6.根据权利要求1所述设备，其中，所述编码器(100)至少针对所述集合中的每个互操作性点，将dependency_id语法元素、temporal_level语法元素以及quality_level语法元素写到比特流中。

7.根据权利要求1所述设备，其中，所述编码器(100)至少针对所述集合中的每个互操作性点，将temporal_level语法元素以及quality_level语法元素写到比特流中。 

8.根据权利要求1所述设备，其中，所述编码器(100)至少针对所述集合中每个互操作性点，将temporal_level语法元素写到比特流中。

9.一种针对可缩放视频编码的方法，包括：

将视频信号数据编码成比特流，其中，所述编码步骤包括：使用高级语法元素在比特流中指定比特流限制信息，所述比特流限制信息对应于比特流中与可缩放视频编码有关的互操作性点的集合(340、355、530)。

10.根据权利要求9所述的方法，其中，所述指定步骤使用高级语法元素，针对比特流中与可缩放视频编码有关的、包括所述互操作性点的集合在内的互操作性点中的每一个，来指定比特流限制信息(330、525)。

11.根据权利要求9所述的方法，其中，所述比特流限制信息包括以下中的至少一个：motion_vectors_over_pic_boundaries_flag语法元素、max_bytes_per_pic_denom语法元素、max_bits_per_mb_denom语法元素语法元、log2_max_mv_length_horizontal语法元素log2_max_mv_length_vertical语法元素、num_reorder_frames语法元素以及max_dec_frame_buffering语法元素。

12.根据权利要求9所述的方法，其中，所述高级语法元素与以下中的至少一个相对应：片报头级、序列参数集级、图像参数集级、网络抽象层单元报头级以及与补充增强信息消息相对应的层。

13.根据权利要求9所述的方法，其中，profile_idc语法元素用于区分针对可缩放视频编码的比特流或与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的比特流(410)。

14.根据权利要求9所述的方法，其中，所述指定步骤包括：至少针对所述集合中的每个互操作性点，将dependency_id语法元素、temporal_level语法元素以及quality_level语法元素写到比特流中(330、525)。

15.根据权利要求9所述的方法，其中，所述指定步骤包括：至 少针对所述集合中的每个互操作性点，将temporal_level语法元素以及quality_level语法元素写到比特流中(330、525)。

16.根据权利要求9所述的方法，其中，所述指定步骤包括：至少针对集合中的每个互操作性点，将temporal_level语法元素写到比特流中(330、525)。

17.一种针对可缩放视频编码的设备，包括：

解码器(200)，用于从比特流中解码视频信号数据，其中，所述解码器使用高级语法元素从比特流中确定比特流限制信息，所述比特流限制信息对应于比特流中与可缩放视频编码有关的互操作性点的集合。

18.根据权利要求17所述的设备，其中，所述解码器(200)使用所述高级语法元素，针对比特流中与可缩放视频编码有关的、包括所述互操作性点的集合在内的互操作性点中的每一个，来确定比特流限制信息。

19.根据权利要求17所述的设备，其中，所述比特流限制信息包括以下中的至少一个：motion_vectors_over_pic_boundaries_flag语法元素、max_bytes_per_pic_denom语法元素、max_bits_per_mb_denom语法元素、log2_max_mv_length_horizontal语法元素、log2_max_mv_length_vertical语法元素、num_reorder_frames语法元素以及max_dec_frame_buffering语法元素。

20.根据权利要求17所述的设备，其中，所述高级语法元素与以下中的至少一个相对应：片报头级、序列参数集级、图像参数集级、网络抽象层单元报头级以及与补充增强信息消息相对应的级。

21.根据权利要求17所述的设备，其中，profile_idc语法元素用于区分针对可缩放视频编码的比特流或与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的比特流。

22.根据权利要求17所述的设备，其中，所述解码器(200)至少针对所述集合中的每个互操作性点，从比特流中读取dependency_id语法元素、temporal_level语法元素以及quality_level语法元素。 

23.根据权利要求17所述的设备，其中，所述解码器(200)至少针对所述集合中的每个互操作性点，从比特流中读取temporal_level语法元素以及quality_level语法元素。

24.根据权利要求17所述的设备，其中，所述解码器(200)至少针对所述集合中的每个互操作性点，从比特流中读取temporal_level语法元素。

25.一种针对可缩放视频编码的方法，包括：

从比特流中解码视频信号数据，其中，所述解码步骤包括：使用高级语法元素从比特流中确定比特流限制信息，所述比特流限制信息对应于比特流中与可缩放视频编码有关的互操作性点的集合(435、455、630)。

26.根据权利要求25所述的方法，其中，所述确定步骤使用高级语法元素，针对比特流中与可缩放视频编码有关的、包括所述互操作性点的集合在内的互操作性点中的每一个，来确定比特流限制信息(430、625)。

27.根据权利要求25所述的方法，其中，所述比特流限制信息包括以下中的至少一个：motion_vectors_over_pic_boundaries_flag语法元素、max_bytes_per_pic_denom语法元素、max_bits_per_mb_denom语法元素、log2_max_mv_length_horizontal语法元素、log2_max_mv_length_vertical语法元素、num_reorder_frames语法元素以及max_dec_frame_buffering语法元素。

28.根据权利要求25所述的方法，其中，所述高级语法元素与以下中的至少一个相对应：片报头级、序列参数集级、图像参数集级、网络抽象层单元报头级以及与补充增强信息消息相对应的层。

29.根据权利要求25所述的方法，其中，profile_idc语法元素用于区分针对可缩放视频编码的比特流或与国际标准化组织/国际电工委员会运动图像专家组-4第10部分的高级视频编码标准/国际电信联盟电信部的H.264推荐标准相兼容的比特流(410)。

30.根据权利要求25所述的方法，其中，所述确定步骤包括：至少针对所述集合中的每个互操作性点，从比特流中读取 dependency_id语法元素、temporal_level语法元素以及quality_level语法元素(430、625)。

31.根据权利要求25所述的方法，其中，所述确定步骤包括：至少针对所述集合中的每个互操作性点，从比特流中读取temporal_level语法元素以及quality_level语法元素(430、625)。

32.根据权利要求25所述的方法，其中，所述确定步骤包括：至少针对所述集合中的每个互操作性点，从比特流中读取temporal_level语法元素(430、625)。 

Images