CN101444104A - 在可伸缩视频编码和解码中的参考图像标记 - Google Patents

Abstract

一种设备、编码方法和解码方法，其能够进行关键访问单元的基本表示和增强表示的单独标记以节省存储空间或允许更好的可伸缩视频编码优化。将原始图像的序列编码成访问单元的序列的方法包括在编码一个访问单元后，存储第一编码图像的第一解码图像和第二编码图像的第二解码图像以用于对其他访问单元的编码的帧间预测；并且将第一解码图像和第二解码图像标识为不再用于帧间预测。解码方法包括解码第一访问单元，其中从第一图像解码第一解码图像并且从第二图像解码第二解码图像；将第一解码图像和第二解码图像标记为用于帧间预测；解码第二访问单元；以及将第一解码图像和第二解码图像的一个标记为不再用于帧间预测。

Description

在可伸缩视频编码和解码中的参考图像标记

技术领域

本部分旨在为权利要求书中陈述的本发明提供背景或上下文。在此处的描述可能包括可以贯彻的概念，但不必是那些之前已经想到或者贯彻的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就被认为是现有技术。

本发明涉及可伸缩视频编码和解码。特别地，本发明涉及提供用于可伸缩视频编码的增强的参考图像管理解决方案。

背景技术

视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-TH.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)。此外，当前正在致力于开发新的视频编码标准。正在开发的一个类此标准是可伸缩视频编码(SVC)标准，其将成为H.264/AVC的可伸缩扩展。另一此类的努力涉及中国视频编码标准的开发。一个此类的视频编码标准是：Joint Video Team，“Joint Draft 5：Scalable Video Coding”，2006年1月，可从

http://ftp3.itu.ch/av-arch/jvt-site/2006 01 Bangkok/JVT-R201.zip获得。

SVC可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被提取并且解码成具有降级的回放视觉质量。可伸缩视频比特流包含非可伸缩基本层和一个或多个增强层。增强层可以增强时间解析度(即，帧率)、空间解析度或简单地由低层或其部分所代表的视频内容的质量。在某些情况下，增强层的数据可以在某个位置后截断，甚至在任意的位置，并且每个截断的位置可以包括代表不断增强的视觉质量的某些附加数据。此类的可伸缩性被称为精细(粒度)可伸缩性(FGS)。相比较于FGS，由不提供精细可伸缩性的质量增强层所提供的可伸缩性称为粗粒度(CGS)。基本层也可以被设计成FGS可伸缩。然而，当前没有视频压缩标准或草案标准实现该概念。

在当前的SVC规范中提供时间可伸缩性(这里称为分层(hierarchical)B图像编码结构)的机制不比AVC中的多。AVC完全支持该特征并且信令部分可以通过使用子序列相关补充增强信息(SEI)消息来完成。

对于提供空间和CGS可伸缩性的机制，类似于早期标准的常规分层编码技术结合层间预测方法来使用。可以是层间预测数据的数据包括帧内(intra)纹理、动作和冗余数据。单环解码可以通过受限的帧间纹理预测模式来实现，由此层间帧内纹理预测可以应用到宏块(MB)，对于这些宏块，基本层的相应块位于帧内MB，并且同时位于基本层中的那些帧内MB使用受限的帧内预测。在单环解码中，解码器仅需要对期望回放的可伸缩层(称为期望层)执行运动补偿和全图像重构，因此解码复杂度被极大地减小。除期望层以外的所有层不需要被完全解码，因为不用于层间预测(其是层间帧内纹理预测、层间运动预测或层间冗余预测)的MB数据的所有数据或一部分数据不需要用于期望层的重构。

空间可伸缩性已经被概括为使得基本层成为增强层的剪切和缩放版本。量化和熵编码模块被调整以提供FGS能力。该编码模式称为渐近细化，其中通过重复地减小量化步长并且应用类似于子位元平面编码(sub-bitplane)的“循环”熵编码，变换系数的渐近细化被编码。

当前草案SVC标准中的可伸缩层结构特征在于三个变量，称为时间_级(temporal_level)、相关性_id(dependency_id)和质量_级(quality_level)，它们可以在比特流中发送或可以根据规范导出。时间_级变量用于指示时间分层或帧率。

包括更小时间_级值的图像的层具有比包括更大时间_级的图像的层更小的帧率。相关性_id用于指示层间编码相关性分层。在任何时间位置，更小相关性_id值的图像可以用于针对具有更大相关性_id值的图像的编码的层间预测。质量_级变量用于指示FGS层分层。在任何时间位置并且具有相同的相关性_id值，具有质量值等于QL的FGS图像使用具有质量_级值等于QL-1的FGS图像或基本质量图像(即，当QL-1＝0时的非FGS图像)来进行层间预测。关于SVC的更多信息，参见：S.Wenger，Y.-K.Wang和M.M.Hannuksela于2006年四月向分组视频工作组提交的“RTP payload format for H.264/SVCScalable Video Coding”。

用于预测后续编码图像的解码图像存储在解码图像缓冲器(DPB)中。为了有效地使用缓冲存储器，DPB管理进程被规定，该DPB管理进程包括将解码图像存储进DPB、标记参考图像、从DPB输出和移除解码图像。

SVC包括关键图像(key picture)的编码，对于这些图像，语法元素nal_ref_idc等于3。这里包含关键图像的访问单元(access unit)被称为关键访问单元。关键访问单元通常形成最低时间解析度，即，它们通常属于具有时间_级等于0的时间分层。

对于关键访问单元，如果用于回放的期望可伸缩层具有大于0的质量_级，即，目标回放图像是FGS图像，则访问单元的两个表示将存储在DPB中以用于预测后续图像。一个表示对应于具有相关性_id等于期望值(即，根据SVC规范的DependencyIdmax)并且质量_级等于0的解码图像。该表示称为基本表示。另一表示对应于期望层的解码图像(具有等于DependencyIdmax的相关性_id和等于期望值的质量_级，或换句话说，根据SVC规范，dOiDX的值等于dOiDXmax)。该表示称为增强的表示。

对于非关键访问单元，仅一个表示，具有dOiDX等于dOiDXmax的解码图像可以存储在DPB中。

根据SVC规范，任何关键访问单元的解码总是仅使用早期解码关键访问单元的表示来进行帧间预测并且不使用非关键访问单元的解码图像来进行帧间预测。非关键访问单元的解码仅在关键访问单元的增强表示无论何时可用时(如果不是，则使用它们的基本表示)使用关键访问单元的增强表示和其他非关键访问单元的解码图像来用于帧间预测。

在SVC中，关键访问单元的基本表示和增强表示的标记同时完成。当增强表示被存储在DPB中时，基本表示也存储在DPB中。当增强表示标记为“用于短期参考”，则基本表示被标记为“用于短期参考”和“基本表示”。当增强表示被标记为“用于长期参考”并且分配LongTermFrameIdx的值，基本表示被标记为“用于长期参考”和“基本表示”并且分配相同的LongTermFrameIdx值。当增强表示被标记为“不用于参考”，则基本表示也标记为“不用于参考”。

当精细粒度可伸缩性(FGS)用于SVC中并且用于解码和回放的期望层是FGS层时，则对于每个所谓的关键图像，访问单元的两个解码表示存储在解码图像缓冲器中，用于预测后续图像。一个表示，基本表示或基本关键图像对应于具有相关性_id等于期望值并且质量_级等于0的解码图像。另一个表示对应于期望层的解码图像。由于SVC中关键访问单元的基本表示和增强表示的同步参考图像标记处理，当存储在DPB中的一些参考图像实际上不再需要用于帧间预测参考时，其仍将被标记为“用于短期参考”或“用于长期参考”。因此，相当的存储量保持被不必要地占用。

发明内容

根据至少一个方面，提供一种用于将原始图像的序列编码成访问单元的序列，其中每个访问单元包括第一层中的第一编码图像的第一编码条带(slice)以及第二层中的第二编码图像的第二编码条带。第二层是精细粒度可伸缩(FGS)层并且第一层是非FGS层。该方法包括在编码一个访问单元后，存储第一编码图像的第一解码图像和第二编码图像的第二解码图像，以便用于对其他访问单元的编码的帧间预测。该方法还包括将第一解码图像或第二解码图像标记为不再用于帧间预测。

根据另一方面，提供一种用于对包括第一访问单元和第二访问单元的编码视频信号进行解码的方法，该第一访问单元包括第一层中的第一图像的第一条带和第二层中的第二图像的第二条带。第二层是精细粒度可伸缩(FGS)层并且第一层是非FGS层。该方法包括解码第一访问单元，其中第一解码图像从第一图像解码并且第二解码图像从第二图像解码；将第一解码图像和第二解码图像标记为用于帧间预测；解码第二访问单元；并且将第一解码图像和第二解码图像的一个标记为不再用于帧间预测。

根据另一方面，提供一种用于编码视频信号的设备，其中分别标记关键访问单元的基本表示和增强表示以节约存储器或允许更好的可伸缩视频编码优化。编码的视频信号可以包括第一访问单元和第二访问单元，第一访问单元包括第一层中的第一图像的第一条带和第二层中的第二图像的第二条带。第二层是精细粒度可伸缩(FGS)层并且第一层是非FGS层。

根据另一实施方式，一种用于解码视频信号的设备存储第一编码图像的第一解码图像和第二编码图像的第二解码图像，以便用于对其他访问单元的编码的帧间预测。设备也包括将第一解码图像或第二解码图像标记为不再用于帧间预测。设备也解码第一访问单元，其中第一解码图像从第一图像解码并且第二解码图像从第二图像解码，将第一解码图像和第二解码图像标记为用于帧间预测，解码第二访问单元；以及将第一解码图像和第二解码图像之一标记为不再用于帧间预测。

附图说明

从下面的描述、所附权利要求和在下面简述的附图中示出的示例性实施方式，本发明的这些和其他特征、方面和优势将变得明显，

图1是其中可以实现示例性实施方式的系统的概略图；

图2是可在示例性实施方式的实现中使用的移动电话的透视图；

图3是图2的移动电话的电话电路的示意图；

图4是示出仅具有相关性_id等于DependencyIdmax的示例性可伸缩视频流的时间段的示图；以及

图5和图6是示出在解码参考图像标记处理中执行的操作的流程图。

具体实施方式

将参考附图来描述示例性实施方式。应该理解的是下面的描述旨在描述本发明的示例性实施方式，并且不是对本发明的限制。

图1示出了可以在其中使用示例性实施方式的系统10，包括可以通过网络进行通信的多个通信设备。系统10可以包括有线或无线网络的任意组合，其中这些网络包括但不限于移动电话网络、无线局域网(LAN)、蓝牙个人局域网、以太网LAN、令牌环LAN、广域网、互联网等。系统10可以包括有线通信设备和无线通信设备两者。

例如，图1中所示系统10包括移动电话网络11和互联网28。通往互联网28的连接可以包括但不限于远程无线连接、短程无线连接，以及各种有线连接，有线连接包括但不限于电话线、电缆线路、电力线等。

系统10的示例性通信设备可以包括但不限于移动电话12、组合式PDA和移动电话14、PDA 16、集成消息传递设备(IMD)18、台式计算机20，以及笔记本计算机22。通信设备可以是固定的或者在由行进中的个人携带时是移动的。通信设备还可以处于交通模式中，包括但不限于汽车、卡车、出租车、公共汽车、船、飞机、自行车、摩托车等。通信设备的一些或全部可以通过到基站24的无线连接25发送和接收呼叫和消息，并且通过到基站24的无线连接25与服务提供商进行通信。基站24可以连接至网络服务器26，该服务器26允许移动电话网络11和互联网28之间的通信。系统10可以包括附加的通信设备和不同类型的通信设备。

通信设备可以使用各种传输技术进行通信，包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息传递服务(SMS)、多媒体消息传递服务(MMS)、电子邮件、即时消息传递服务(IMS)、蓝牙、IEEE 802.11等。通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、线缆连接等。

图2和图3示出了可以在其中实现示例性实施方式的一个代表性移动电话12。然而，应当理解，本发明不旨在限于一种特定类型的移动电话12或其他电子设备。图2和图3的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、UICC形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56以及存储器58。单独的电路和元件是本领域公知的所有类型，例如Nokia范围内的移动电话系列。

图4示出示例性可伸缩性视频流的时间段，其中仅示出具有等于DependencyIdmax的相关性_id的图像。T代表时间_级、D代表相关性_id、Q代表质量_级并且t代表时间。在图4中，时间值是相对的，即，时间＝0不必意味着比特流中显示顺序的第一图像的时间。在最为典型的情况下，关键访问单元中所示图像被编码为P或EP条带并且仅使用一个参考图像，而非关键访问单元中的图像被编码为B或EB条带并且仅使用两个参考图像。以箭头示出预测关系。箭头所指向的对象使用箭头所来自的对象来进行帧间预测参考。

如在图4中所看到的，在解码第二个关键访问单元后，第一访问单元的基本表示不再需要用于帧间预测参考，而相同访问单元的增强表示仍需要用于解码非关键访问单元。然而，根据SVC规范，当解码具有t＝2的非关键图像时，基本表示和增强表示必须被存储在DPB中。换句话说，一个帧存储的存储空间不必被占用或浪费。

在其他情况下，可以不必浪费更多的存储空间。例如，为了更好的编码效率或更高的错误恢复，可能期望使用与编码关键图像的增强表示相比更大数目的参考图像来编码基本表示。在这种情况下，根据常规参考图像标记处理，关键图像的某个数量的增强表示不得不毫不必要地与它们的基本表示绑定在一起并保持在DBP中，尽管不再需要它们用于参考。这仅是一个例子。还有许多其他类似的例子，其中存储空间可以被潜在地节省。示例性的实施方式通过使用SVC中的单环解码以及关键访问单元的基本表示和增强表示的新协调标记处理来解决这些问题。

根据至少一个示例性实施方式，关键访问单元的基本表示和增强表示的单独标记被提供以节省存储空间或允许更好的可伸缩视频编码优化。具体地，示例性的实施方式包括至少两个方面。第一方面包括修改的滑动窗口参考图像标记处理，其中对于标记为“不用于参考”，基本表示和相应的增强表示具有不同的优先级。第二方面包括修改的自适应参考图像标记处理，其中将基本表示标记为“不用于参考”独立于将增强表示标记为“不用于参考”。

可以基于SVC标准和渐进编码来实现示例性实施方式。然而，示例性的实施方式也可以应用于其他可伸缩编码方法。根据当前的SVC规范，具有质量_级大于0的条带是渐进细化条带，对于该渐进细化条带，在dec_ref_pic_marking()中，条带头部不包括参考图像标记语法元素。关键访问单元中的渐进条带的条带头部语法(即，具有nal_ref_idc等于3的PR条带)被改变以实现对关键访问单元的基本表示和增强表示的单独参考图像标记处理，并且当基本表示从AVC兼容编码图像解码时，保持与AVC的后向兼容性。表1示出slice_header_in_sclable_extension()的改变的语法。

表1

                 

Slice_header_in_scalable_extension(){	C	Descriptor
			First_mb_in_slice	2	ue(v)
slice_type	2	ue(v)
			if(slice_type＝＝PR){
fragmented_flag	2	u(1)
			if(fragmented_flag＝＝1){
fragment_order	2	ue(v)
			if(fragment_order!＝0)
last_fragment_flag	2	u(1)
			}
if(fragment_order＝＝0){
			num_mbs_in_slice_minus1	2	ue(v)
luma_chroma_sep_flag	2	u(1)
			}
}
			if(slice_type!＝PR||fragment_order＝＝0){
pic_parameter_set_id	2	ue(v)
			frame_num	2	u(v)
if(!frame_mbs_only_flag){
			field_pic_flag	2	u(1)
if(field_pic_flag)
			bottom_field_flag	2	u(1)
}
			if(nal_unit_type＝＝21)
idr_pic_id	2	ue(v)
			if(pic_order_cnt_type＝＝0){
pic_order_cnt_lsb	2	u(v)
			if(pic_order_present_flag && !field_pic_flag)
delta_pic_order_cnt_bottom	2	se(v)
			}
if(pic_order_cnt_type＝＝1 && !delta_pic_order_always_zero_flag){
			delta_pic_order_cnt[0]	2	se(v)
if(pic_order_present_flag&&!field_pic_flag)
			delta_pic_order_cnt[1]	2	se(v)
}
			}
if(slice_type!＝PR){
			if(redundant_pic_cnt_present_flag)
redundant_pic_cnt	2	ue(v)
			if(slice_type＝＝EB)
direct_spatial_mv_pred_flag	2	u(1)

 

base_id_plus1	2	ue(v)
			if(base_id_plusl!＝0){
adaptive_prediction_flag	2	u(1)
			}
if(slice_type＝＝EP||slice_type＝＝EB){
			num_ref_idx_active_override_flag	2	u(1)
if(num_ref_idx_active_override_flag){
			num_ref_idx_l0_active_minus1	2	ue(v)
if(slice_type＝＝EB)
			num_ref_idx_l1_active_minus1	2	ue(v)
}
			}
ref_pic_list_reordering()	2
			if((weighted_pred_flag && slice_type＝＝EP)||(weighted_bipred_idc＝＝1 && slice_type＝＝EB)){
if(adaptive_prediction_flag)
			base_pred_weight_table_flag	2	u(1)
if(base_pred_weight_table_flag＝＝0)
			pred_weight_table()
}
			}
if(slice_type!＝PR){
			if(nal_ref_idc!＝0)
dec_ref_pic_marking()	2
			}else{
if(nal_ref_idc＝＝3&&fragment_order＝＝0)
			dec_ref_pic_marking_in_pr_slice()
}
			if(slice_type!＝PR){
if(entropy_coding_mode_flag&&slice_type!＝EI)
			cabac_init_idc	2	ue(v)
}
			if(slice_type!＝PR||fragment_order＝＝0){
slice_qp_delta	2	se(v)
			if(deblocking_filter_control_present_flag){
disable_deblocking_filter_idc	2	ue(v)
			if(disable_deblocking_filter_idc!＝1){
slice_alpha_c0_offset_div2	2	se(v)
			slice_beta_offset_div2	2	se(v)
}
			}
}
			if(slice_type!＝PR)

 

if(num_slice_groups_minus1>0 &&slice_group_map_type>＝3 && slice_group_map_type<＝5)
			slice_group_change_cycle	2	u(v)
if(slice_type!＝PR&&extended_spatial_scalability>0){
			if(chroma_format_idc>0){
base_chroma_phase_x_plus1	2	u(2)
			base_chroma_phase_y_plus1	2	u(2)
}
			if(extended_spatial_scalability＝＝2){
scaled_base_left_offset	2	se(v)
			scaled_base_top_offset	2	se(v)
scaled_base_right_offset	2	se(v)
			scaled_base_bottom_offset	2	se(v)
}
			}
if(slice_type＝＝PR){
			adaptive_ref_fgs_flag	2	u(1)
if(adaptive_ref_fgs_flag){
			max_diff_ref_scale_for_zero_base_block	2	u(5)
max_diff_ref_scale_for_zero_base_coeff	2	u(5)
			}
}
			SpatialScalabilityType＝spatial_scalability_type()
}

添加到slice_header_in_sclable_extension()的语法的dec_ref_pic_marking_in_pr_slice()的语法在表2中示出。

表2

 

dec_ref_pic_marking_in_pr_slice(){	C	Descriptor
			if(nal_unit_type!＝21){
adaptive_ref_pic_marking_mode_flag	2	u(1)
			if(adaptive_ref_pic_marking_mode_flag)
do{
			memory_management_control_operation	2	ue(v)
if(memory_management_control_operation＝＝1)
			difference_of_pic_nums_minus1	2	ue(v)
if(memory_management_control_operation＝＝2)
			long_term_pic_num	2	ue(v)
}while(memory_management_control_operation！＝0)
			}
}

通过例子，PR条带中的语法参考图像标记

(dec_ref_pic_marking_in_pr_slice())出现在具有质量_级大于0和nal_ref_idc等于3的NAL单元的条带头部中(slice_header_in_sclable_extension())。语法元素adaptive_ref_pic_marking_mode_flag、memory_management_control_operation、difference_of_pic_nums_minus1和long_term_pic_num规定将参考图像标记为“不用于参考”。Adaptive_ref_pic_marking_mode_flag具有与SVC规范中规定的dec_ref_marking()中的语法元素adaptive_ref_pic_marking_mode_flag相同的语义。

memory_management_control_operation指定控制操作被应用以影响参考图像标记。memory_management_control_operation语法元素跟着是由memory_management_control_operation的值所规定的操作所需的数据。在表3中示出与memory_management_control_operation关联的参数值和控制操作。通过以memory_management_control_operation语法元素出现在条带头部中的顺序来解码处理而对它们进行处理，并且针对每个memory_management_control_operation表达的语义约束以该各个memory_management_control_operation被处理的顺序应用在特定的位置处。

memory_management_control_operation在条带头部中不设置等于1，除非当memory_management_control_operation由解码处理进行处理时，指定的参考图像被标记为“用于短期参考”和标记为“基本表示”。memory_management_control_operation在条带头部中不设置等于2，除非当memory_management_control_operation由解码处理进行处理时，指定的长期图像号表示被标记为“用于长期参考”和标记为“基本表示”的参考图像。

表3

 

memory_management_control_operation参数值	存储管理控制操作
		0	结束memory_management_control_operation语法元素循环
1	将短期基本表示标记为“不用于参考”
		2	将长期基本表示标记为“不用于参考”

使用difference_of_pic_nums_minus1(memory_management_control_operation等于1)来将短期参考图像标记为“不用于参考”。当由解码处理来对关联的memory_management_control_operation进行处理时，从difference_of_pic_nums_minus1导出的得到的图像号是分配给标记为“用于参考”和“基本表示”的参考图像的一个的图像号。

得到的图像号受如下的限制。如果field_pic_flag等于0，则得到的图像号是分配给参考帧的图像号集合的一个或补充参考字段对。否则(即，fielc_pic_flag等于1)，得到的图像号是分配给参考字段的图像号集合的一个。

使用Long_term_pic_num(memory_management_control_operation等于2)将长期参考图像标记为“不用于参考”。当由解码处理来对关联的memory_management_control_operation进行处理时，Long_term_pic_num等于分配给参考图像之一的长期图像号，该参考图像当前被标记为“不用于长期参考”和“基本表示”。

得到的长期图像号受下面的限制。如果field_pic_flag等于0，则得到的长期图像号是分配给参考帧的长期图像号集合的一个或补充参考字段对。否则(即，field_pic_flag等于1)，得到的长期图像号是分配给参考字段的长期图像号的集合的一个。

根据示例性的实施方式，当对访问单元的所有条带进行解码并且当解码的结果用于解码顺序中后续访问单元的帧间预测参考时，调用解码参考图像标记处理。如果访问单元不是关键访问单元，则标记处理与SVC规范中规定的相同。如果用于输出的解码图像具有质量级等于0，即，dOiDXmax等于DependencyIdmax<<2，则标记处理也与SVC规范中规定的相同。如果用于输出的解码图像具有质量_级大于0，即，dOiDXmax大于DependencyIdmax<<2，则使用参考图5和图6所述的标记处理。

图5和图6示出在解码参考图像标记处理中执行的操作。根据实施方式，可以执行附加的、更少的或不同的操作。也可以这里示出的不同顺序来执行操作。首先处理基本表示还是首先处理增强表示是无关紧要的。在参考图5和图6所述的操作中，假设首先处理基本表示。

在图5所示的操作102中，确定当前的访问单元是否是IDR访问单元。如果当前的访问单元是IDR访问单元，则在操作104中，将所有的参考图像标记为“不用于参考”。在操作106中，确定在具有相关性_id等于DependencyIdmax并且质量_级等于0的NAL的条带头部中的long_term_reference_flag是否等于0。如果等于0，则执行操作108，其中基本表示标记为“用于长期参考”和“基本表示”。在操作110中，增强表示标记为“用于长期参考”并且MaxLongTermFrameIdx被设定为等于“没有长期帧索引”。

如果在操作106中的确定为否(即，在具有相关性_id等于DependencyIdmax并且质量_级等于0的NAL单元的条带头部中的long_term_reference_flag等于1)，则执行操作112，其中基本表示被标记为“用于长期参考”和“基本表示”，并且用于基本表示的LongTermFrameIdx被设定为0。也执行操作114，其中增强表示被标记为“用于长期参考“，用于增强表示的LongTermFrameIdx被设定为等于0，并且MaxLongTermFrameIdx被设定为等于0。

如果操作102中的确定为否(即，当前的访问单元不是IDR访问单元)，则执行操作114(图6)，其中确定在具有dOiDX等于dOiDXmax的NAL单元的条带头部中的adaptive_ref_pic_marking_mode_flag是否等于0。如果是，则执行操作106，其中调用在SVC的子章节8.2.5.3中规定的滑动窗口解码参考图像标记处理。在调用处理期间，如果存在具有FrameNum Wrap的最小值的基本表示(标记为“基本表示”)和增强表示(未标记为“基本表示”)，则基本表示被标记为“不用于参考”。

如果在操作114中的确定为否(即，具有dOiDX等于dOiDXmax的NAL单元的条带头部中的adaptive_ref_pic_marking_mode_flag是否等于1)，执行操作118，其中调用如在SVC规范的子章节8.2.5.4规定的自适应存储控制解码参考图像标记处理。在该处理的调用中，未标记为“基本表示”的参考图像不被考虑。即，在该处理的调用中，仅考虑标记为“基本表示”的参考图像。

在操作116或118后，在操作120中，将基本表示标记为“用于短期参考”和“基本表示”。在操作122中，确定在具有相关性_id等于DependencyIdmax并且质量_级等于0的NAL单元的条带头部中的adaptive_ref_pic_marking_mode_flag是否等于0。如果等于0，则执行操作124，其中调用在SVC子章节8.2.5.3中规定的滑动窗口解码参考图像标记处理。在该调用处理期间，如果存在具有FrameNum Wrap最小值的基本表示(标记为“基本表示”)和增强表示(未标记为“基本表示”)，则基本表示被标记为“不用于参考”。也执行操作126，其中增强表示被标记为“用于短期参考”。

如果操作122中的确定为否(即，在具有相关性_id等于DependencyIdmax并且质量_级等于0的NAL单元的条带头部中的adaptive_ref_pic_marking_mode_flag等于1)，则执行操作128，其中调用SVC规范的子章节8.2.5.4中规定的自适应存储控制解码参考图像标记处理。标记为“基本表示”的参考图像在该处理的调用中不被考虑。如果在该处理的调用期间，LongTermFrameIdx被分配给图像并且存在具有PicNum的相同值的基本表示(在分配长期帧索引前)，则LongTermFrameIdx也分配给该基本表示，并且“用于短期参考”的标记也改变到“用于长期参考”。进一步，当通过根据SVC规范，memory_management_control_operation等于6，当前访问单元的增强表示在自适应存储控制解码参考图像标记处理的调用中未标记为“用于长期参考”，则将其标记为“用于短期参考”。

在另一示例性实施方式中，没有语法元素被添加到关键访问单元的渐进条带的条带头部。相反，dec_ref_pic_marking()中的解码参考图像标记语法改变为如表4中所示。

在该实施方式中，解码的参考图像标记处理与SVC规范中相同，同时具有至少下面的两个差异。一个差异是如在SVC的子章节8.2.5.3中规定的滑动窗口解码参考图像标记处理的调用。在调用处理期间，如果存在具有FrameNum Wrap最小值的基本表示(标记为“基本表示”)和增强表示(未标记为“基本表示”)，则基本表示被标记为“不用于参考”。

第二个差异是如在SVC的子章节8.2.5.4中规定的自适应解码参考图像标记处理的调用。在该调用期间，如果存在memory_management_control_operation等于1，并且相应的base_represenation_flag等于1，则具有标识的PicNum、标记为“用于短期参考”和标记为“基本表示”的参考图像被标记为“不用于参考”。如果存在memory_management_control_operation等于1，并且相应的base_represenation_flag等于0，则具有标识的PicNum、标记为“用于短期参考”并且未标记为“基本表示”的参考被标记为“不用于参考”。如果存在memory_management_control_operation等于2，并且相应的base_represenation_flag等于1，则具有标识的LongTermPicNum、标记为“用于长期参考”并且标记为“基本表示”的参考图像被标记为“不用于参考”。如果存在memory_management_control_operation等于2，并且相应的base_represenation_flag等于0，则具有标识的LongTermPicNum、标记为“用于长期参考”并且未标记为“基本表示”的参考图像被标记为“不用于参考”。

表4

 

dec_ref_pic_marking(){	C	Descriptor
			if(nal_unit_type＝＝5||nal_unit_type＝＝21){/*nal_unit_type 21 is specified in Annex F*/
no_output_of_prior_pics_flag	2|5	u(1)
			long_term_reference_flag	2|5	u(1)
}else{
			adaptive_ref_pic_marking_mode_flag	2|5	u(1)
if(adaptive_ref_pic_marking_mode_flag)
			do{
memory_management_control_operation	2|5	ue(v)
			if((memory_management_control_operation＝＝1||memory_management_control_operation＝＝2)&& nal_ref_idc＝＝3)
base_represenation_flag	2|5	u(1)
			if(memory_management_control_operation＝＝1||memory_management_control_operation＝＝3)
difference_of_pic_nums_minus1	2|5	ue(v)
			if(memory_management_control_operation＝＝2)
long_term_pic_num	2|5	ue(v)
			if(memory_management_control_operation＝＝3||memory_management_control_operation＝＝6)
long_term_frame_idx	2|5	ue(v)
			if(memory_management_control_operation＝＝4)
max_long_term_frame_idx_plus1	2|5	ue(v)
			}while(memory_management_control_operation!＝0)
}
			}

上述的实施方式不可应用于AVC-兼容基本层。在这种情况下，类似于表2中的信号可以在NAL单元中发送，该NAL单元包含对于AVC-兼容编码图像的所有条带和条带数据分段公共的参数。当DependencyIdmax等于0时，当表2语法在关键访问单元的渐进条带头部中发送时，应用类似于实施方式的解码参考图像标记处理。

应该注意到将要解码的比特流可以从位于实际任意类型网络内的远端设备接收。附加地，比特流可以从本地硬件或软件接收。进一步，应该理解尽管这里所包含的文本和例子可能详细地描述了解码处理，本领域技术人员可以容易地理解相同的概念和原理也适用于相应的编码处理并且反之亦然。

在方法操作的一般背景下描述了示例性实施方式，在一个实施方式其可通过程序产品来实施，该程序产品包括计算机可执行指令，例如由网络化环境中的计算机所执行的程序代码。一般地，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联的数据结构以及程序模块提供用于执行这里公开的方法的步骤的程序代码的例子。这类可执行指令或关联的数据结构的特定序列提供用于实施这类步骤中所述的功能的相应动作的例子。

可利用标准的编程技术来完成本发明的软件和web实施，该编程技术具有基于规则的逻辑和其他逻辑以完成各种数据库搜索步骤、相关步骤、比较步骤和判定步骤。应该注意到这里和权利要求书中所使用的措词“组件”和“模块”旨在包括使用一行或多行软件代码的实施和/或硬件实施，和/或用于接收人工输入的设备。

为了示例和描述已经提供了示例性实施方式的上述描述。不旨在穷举或将本发明限制于这里所公开的实施，根据本发明的上述教导或从本发明的实践可获得修改和变形。选择和描述实施方式以解释本发明的原理及其实际应用，从而使得本领域技术人员在各种实施方式中以及利用适于预期特定使用的各种修改来实施本发明。

Claims (30)

1.一种对编码的视频信号进行解码的方法，该方法包括：

解码第一访问单元，该第一解码图像包括第一层内的至少一个条带和第二层内的至少一个条带，其中从第一层内的至少一个条带解码第一图像并且从第二层内的至少一个条带解码第二图像；

将第一解码图像和第二解码图像标记为用于帧间预测；

解码第二访问单元；以及

将第一解码图像和第二解码图像的一个标记为不再用于帧间预测。

2.根据权利要求1所述的方法，其中：

非可伸缩层对应于基本表示。

3.根据权利要求1所述的方法，其中：

可伸缩层对应于FGS可伸缩表示。

4.根据权利要求1所述的方法，进一步包括：

在所述第二访问单元的解码期间，提取针对所述第一访问单元的图像管理信息。

5.根据权利要求4所述的方法，其中：

所述参考图像管理信息包括针对所述第一访问单元的第一图像的信息。

6.根据权利要求4所述的方法，其中：

所述参考图像管理信息包括针对所述第一访问单元的第二图像的信息。

7.一种编码视频信号的方法，该方法包括：

编码第一访问单元，所述第一访问单元包括第一层内的至少一个条带和第二层内的至少一个条带；

从所述第一层内的至少一个条带解码第一解码图像和从第二层内的至少一个条带解码第二解码图像；

存储第一解码图像和第二解码图像，以用于其他访问单元的编码的帧间预测；以及

编码第二访问单元，将所述第一解码图像和所述第二解码图像的一个标记为不再用于帧间预测。

8.根据权利要求7所述的方法，其中：

非可伸缩层对应于基本表示。

9.根据权利要求7所述的方法，其中：

可伸缩层对应于FGS可伸缩表示。

10.根据权利要求7所述的方法，进一步包括：

在所述第二访问单元的编码期间，提供针对所述第一访问单元的图像管理信息。

11.根据权利要求10所述的方法，其中：

所述参考图像管理信息包括针对所述第一访问单元的第一图像的信息。

12.根据权利要求11所述的方法，其中：

所述参考图像管理信息包括针对所述第一访问单元的第二图像的信息。

13.一种用于对编码的视频信号进行解码的设备，该设备包括：

处理器；

存储器，有效地连接到所述处理器；以及

编程的指令，用于：

解码第一访问单元，该第一访问单元包括第一层内的至少一个条带和第二层内的至少一个条带，其中从第一层内的至少一个条带解码第一解码图像并且从第二层内的至少一个条带解码第二解码图像；

将存储在存储器中的第一解码图像和第二解码图像标记为用于帧间预测；

解码第二访问单元；以及

将第一解码图像和第二解码图像的一个标记为不再用于帧间预测。

14.根据权利要求13所述的设备，其中：

非可伸缩层对应于基本表示。

15.根据权利要求13所述的设备，其中：

可伸缩层对应于FGS可伸缩表示。

16.根据权利要求13所述的设备，其中所述编程的指令进一步配置成：

在所述第二访问单元的解码期间，提取针对所述第一访问单元的图像管理信息。

17.根据权利要求16所述的设备，其中：

所述参考图像管理信息包括针对所述第一访问单元的第一图像的信息。

18.根据权利要求16所述的设备，其中：

所述参考图像管理信息包括针对所述第一访问单元的第二图像的信息。

19.一种对视频信号进行编码的设备，该设备包括：

处理器；

存储器，有效地连接到所述处理器；以及

编程的指令，用于：

编码第一访问单元，所述第一访问单元包括第一层内的至少一个条带和第二层内的至少一个条带；

从所述第一层内的至少一个条带解码第一解码图像和从第二层内的至少一个条带解码第二解码图像；

在存储器中存储第一解码图像和第二解码图像，以用于其他访问单元的编码的帧间预测；

编码第二访问单元；以及

将所述第一解码图像和所述第二解码图像的一个标记为不再用于帧间预测。

20.根据权利要求19所述的设备，其中：

所述第一解码图像和第二解码图像被标记为“用于短期参考”。

21.根据权利要求19所述的设备，其中：

非可伸缩层对应于基本表示。

22.根据权利要求19所述的设备，其中：

可伸缩层对应于FGS可伸缩表示。

23.根据权利要求19所述的设备，其中所述编程的指令进一步配置成：

对所述第一编码图像和第二编码图像定义不同的优先级；以及

基于所述优先级将第一编码图像和所述第二编码图像的至少一个标记为“不用于参考”。

24.根据权利要求19所述的设备，其中所述编程的指令进一步配置成：

在所述第二访问单元的编码期间，提供针对所述第一访问单元的图像管理信息。

25.根据权利要求24所述的设备，其中：

所述参考图像管理信息包括针对所述第一访问单元的第一图像的信息。

26.根据权利要求24所述的设备，其中：

所述参考图像管理信息包括针对所述第一访问单元的第二图像的信息。

27.根据权利要求19所述的设备，其中：

第一解码图像和第二解码图像被独立地标识，并且所述编程的指令进一步配置成：

将所述第一解码图像和第二解码图像标记为“不用于参考”。

28.根据权利要求13所述的设备，其中所述编程的指令进一步配置成：

对所述第一编码图像和第二编码图像定义不同的优先级；以及

基于所述优先级将第一编码图像和所述第二编码图像的至少一个标记为“不用于参考”。

29.根据权利要求1所述的方法，进一步包括：

对所述第一编码图像和第二编码图像定义不同的优先级；以及

基于所述优先级将第一编码图像和所述第二编码图像的至少一个标记为“不用于参考”。

30.根据权利要求7所述的方法，进一步包括：

对所述第一编码图像和第二编码图像定义不同的优先级；以及

基于所述优先级将第一编码图像和所述第二编码图像的至少一个标记为“不用于参考”。

Images