CN104396257A - 在视频译码中长期参考图片的随机存取和发信 - Google Patents

Abstract

视频译码器可经配置以译码随机存取点RAP图片并译码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

Description

在视频译码中长期参考图片的随机存取和发信

本申请案主张以下各者的权利：

2012年6月28日申请的美国临时申请案第61/665,862号，和

2012年6月29日申请的美国临时申请案第61/666,688号，所述申请案中的每一者特此以引用的方式全部并入。

技术领域

本发明大体上涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电传会议装置、视频流式传输装置，和类似者。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)所定义的标准、目前正在开发中的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频译码技术。ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)于2012年4月27日到2012年5月7日在瑞士日内瓦召开的第9次会议上布罗斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案7”的文件HCTVC-I1003中描述即将到来的HEVC标准的最新草案(被称作“HEVC工作草案7”或“WD7”)，从2013年2月5日起，其可从http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v5.zip下载。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，其也可称作树型块、译码树单元、译码单元(CU)和/或译码节点。可使用相对于图片中的相邻块中的参考样本的空间预测来编码同一图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间预测或时间预测导致待译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化残余变换系数。可扫描一开始布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。

发明内容

一般来说，本发明描述用于支持视频译码中长期参考图片的随机存取和发信的技术。本发明提议对于支持基于各种类型图片的随机存取的若干限制。在一个实例中，随机存取点(RAP)图片的所有标记为舍弃(TFD)的图片可具有早于RAP的所有可解码前置图片(DLP)的显示次序值的显示次序值。本发明也提议防止前置图片与“结尾图片”在解码次序方面交错的限制。即，根据本发明的技术，视频译码器可确保所有前置图片(包含TFD图片和DLP两者)具有早于具有大于对应RAP图片的显示次序值的显示次序值和大于对应RAP图片的解码次序值的解码次序值两者的图片的解码次序值的解码次序值。显示次序也可称作输出次序。TFD图片也可称作随机存取跳过前置(RASL)图片，且DLP图片也可被称作随机存取可解码前置(RADL)图片。

在一个实例中，一种译码视频数据的方法包含：译码随机存取点(RAP)图片；以及译码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

在另一实例中，一种用于译码视频数据的装置包含视频译码器，其经配置以执行以下操作：译码随机存取点(RAP)图片；以及译码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

在另一实例中，一种用于译码视频数据的设备包含：用于译码随机存取点(RAP)图片的装置；以及用于译码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP的装置。

在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时使所述一或多个处理器执行以下操作：译码随机存取点(RAP)图片；以及译码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

在另一实例中，一种编码视频数据的方法包含：编码随机存取点(RAP)图片；以及编码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

在另一实例中，一种用于编码视频数据的装置包含视频编码器，所述视频编码器经配置以执行以下操作：编码随机存取点(RAP)图片；以及编码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

在另一实例中，一种用于编码视频数据的设备包含：用于编码随机存取点(RAP)图片的装置；以及用于编码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP的装置。

在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时使所述一或多个处理器执行以下操作：编码随机存取点(RAP)图片；以及编码RAP图片的一或多个可解码前置图片(DLP)，使得目标用于舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。

一或多个实例的细节陈述于随附图式和以下描述中。其它特征、目标和优势将从所述描述和所述图式以及从权利要求书显而易见。

附图说明

图1为说明可利用用于在切片标头中发信长期参考图片的技术的实例视频编码和解码系统的框图。

图2为说明可实施用于在切片标头中发信长期参考图片的技术的视频编码器的实例的框图。

图3为说明可实施用于在切片标头中发信长期参考图片的技术的视频解码器的实例的框图。

图4为说明经译码视频图片的序列的概念图。

图5为说明形成网络的部分的装置的实例集合的框图。

图6为说明根据本发明的技术的用于译码随机存取点(RAP)图片的实例操作的流程图。

图7为说明根据本发明的技术的用于译码RAP图片的实例操作的流程图。

图8为说明根据本发明的技术的用于译码RAP图片的实例操作的流程图。

图9为说明根据本发明的技术的用于译码RAP图片的实例操作的流程图。

图10为说明根据本发明的技术的用于译码RAP图片的实例操作的流程图。

图11为说明根据本发明的技术的用于译码RAP图片的实例操作的流程图。

具体实施方式

一般来说，视频数据由经快速连续地俘获或显示的一连串图片表示。应理解，在一些实例中，图片或图片的部分可(例如)使用计算机图形来产生，而非被俘获(或除被俘获外)。图片将经显示的次序(其可或可不与俘获或产生图片的次序相同)可不同于经译码图片包含于位流中的次序。经译码视频序列中的图片的显示次序可由图片次序计数(POC)值表示，而图片的译码次序可由帧数目(frame_num)值表示。

图片的译码一般涉及利用图片中出现的冗余数据。例如，空间译码(也被称作帧内预测性译码)利用共同图片的像素值的空间相邻块之间出现的冗余。作为另一实例，时间译码(也被称作帧间预测性译码)利用在不同时间执行个体俘获、产生或显示的不同图片之间出现的冗余。更明确地说，可将图片划分成切片，其可经指定用于帧内预测或帧间预测。此外，可将每一切片可经划分成多个块(例如，最大译码单元(LCU)，也被称作译码树单元)，且可基于对应切片是否已经指定用于帧内预测或帧间预测而进一步分割或译码所述块中的每一者。

关于帧间预测性译码的实例，可从参考图片预测当前正经译码的图片(也被称作“当前图片”)的块。WD7将“参考图片”定义为具有等于1的nal_ref_flag的图片。nal_ref_flag为网络抽象层(NAL)单元中指示包含在NAL单元中的数据是否作为参考图片的语法元素。WD7也提供，参考图片含有在后续图片按解码次序的解码过程中可用于帧间预测的样本(即，像素值)。

如上文所介绍，一般来说，视频数据包含各种类型的图片。例如，视频数据包含可用以开始一串视频数据的随机存取点(RAP)。RAP为经独立译码为(例如)经帧内预测译码图片(I图片)的图片。RAP包含瞬时解码器再新(IDR)图片、中断链路存取(BLA)图片、干净随机存取(CRA)图片和逐渐解码再新(GDR)图片。其它类型的图片包含目标用于舍弃(TFD)的图片、可解码前置图片(DLP)和结尾图片。一般来说，DLP(类似于所有前置图片)为具有早于对应RAP的输出次序的输出次序但具有迟于对应RAP的解码次序的解码次序的图片。然而，DLP为在不检索按解码次序先于对应RAP的数据情况下可解码的前置图片。另一方面，结尾图片具有迟于对应RAP的输出次序的输出次序，以及迟于对应RAP的解码次序的解码次序。为TFD的图片在执行从对应RAP的随机存取时不可被适当地解码。此一般归因于TFD图片系从按解码次序先于对应RAP的数据预测。因为从RAP的随机存取省略检索按解码次序早于RAP的数据，所以当RAP用作随机存取点时TFD图片(其取决于按解码次序早于RAP的数据)不可被正确地解码，且因此可在未被解码情况下被舍弃。在相对于按解码次序早于RAP出现的一或多个图片而预测TFD图片的意义上来讲，TFD图片“取决于”较早数据。

NAL单元可经指派(例如)NAL单元标头中的特定NAL单元类型值以指示包含于对应NAL单元中的数据的类型。NAL单元一般可包含视频译码层(VCL)数据(也被称作VCL NAL单元)或非VCL数据(也被称作非VCL NAL单元)。非VCL数据包含(例如)参数集，例如，图片参数集(PPS)、序列参数集(SPS)和调适参数集(APS)以及补充增强信息(SEI)消息。VCL数据一般包含经译码视频数据。NAL单元类型可提供包含于NAL单元中的数据的类型的指示，包含NAL单元中的经译码视频数据是否对应于RAP，且如果对应，那么经译码视频数据对应于CRA、BLA或是IDR图片。NAL单元类型可指示NAL单元是否也包含其它类型的数据。下文表1提供一些NAL单元类型值的实例和包含于对应NAL单元中的数据，如WD7中所提供：

表1

此外，WD7区别长期参考图片与短期参考图片。例如，WD7将长期参考图片定义为标记为“用于长期参考”的参考图片。WD7规定序列参数集(SPS)中的旗标指示长期参考图片是否完全被发信用于经译码视频序列。根据WD7，视频译码器在切片的切片标头中发信长期参考图片的POC值的最低有效位(LSB)。发信LSB相对于发信完整POC值可导致位节省。根据WD7，如果经解码图片缓冲器(DPB)中存在具有与长期参考图片相同的LSB位的一个以上参考图片，那么视频译码器可发信长期参考图片的POC值的最高有效位(MSB)。此外，根据WD7，视频译码器可使用旗标来指示经发信的长期参考图片是否可由当前图片用于参考。

对于HEVC的参考图片集(RPS)设计的一个假定为RPS导出必须对于图片丢失是稳健的，只要可正确地建立针对短期参考图片(STRP)和长期参考图片(LTRP)两者的相对POC值。为实现此，任一图片的RPS导出可为自含式的，即，不取决于经解码图片缓冲器(DPB)状态。通过此设计原理，根据WD7，STRP是使用其相对于当前图片的增量(delta)POC值来发信。因此，解码器可能甚至在一些图片丢失时仍能够导出这些参考图片的POC值并因此检查STRP中的每一者是否存在。

本发明认识到，在有WD7的图片丢失情况下LTRP的当前切片标头发信中的某些问题。RPS的错误导出在有丢失的情况下是可能的。这是归因于仅发信LTRP的与用于每一当前图片的POC值的发信相同的量的POC LSB(即，pic_order_cnt_lsb)，但在一些状况下使用delta_poc_msb_cycle_lt语法元素的完整POC值经发信用于LTRP。如果DPB中存在具有与经发信用于LTRP相同的LSB的图片，那么在RPS的导出中可能存在歧义，且RPS的不正确结果可能出现，如下文呈现的实例中所示。在下文论述的实例中，“MaxPicOrderCntLsb”经假定为等于256，或换句话说，log2_max_pic_order_cnt_lsb_minus4等于4。

作为说明上文论述的问题的第一实例，考虑按解码次序连续的三个图片n-1、n和n+1。假定图片n-1具有作为LTRP的具有0和256的POC值的参考图片，且图片n和n+1仅具有作为LTRP的具有POC 256的参考图片。图片n-1、n和n+1的POC值全部在257到511的范围内(包含257和511)。也假定图片n-1、n和n+1或DPB中的任一其它图片中一个皆不具有等于0的LSB值。在HEVC WD7的发信情况下，符合型位流的相关语法元素如表2中所示。

表2

对于图片n，即使仅图片256作为LTRP而被发信，当图片n的RPS经导出时，图片0仍将在DPB中。因此，甚至对于图片n，delta_poc_msb_present_flag经设定为1，且delta_poc_msb_msb_cycle_lt值被发送。在用于图片n的RPS导出后，图片0经标记为“未用于参考”且可从DPB中去除。然而，对于图片n+1，因为仅一个LTRP存在于DPB中，所以delta_poc_msb_present_flag经设定为0且delta_poc_msb_cycle_lt不存在。

在WD7的语法结构下，上述表将对应于符合型位流。然而，如果图片n丢失，那么图片n+1的LTRP发信将不足以解决来自DPB的哪一图片待被作为LTRP拾取。0和256两者具有为0的LSB，且解码器将不能够解决问题。解码器将需要用于图片n+1的delta_poc_msb_present_flag等于1以唯一地识别待用作仅LTRP的图片。

上文论述的问题(关于上文的第一实例)的第二实例如下。除图片0作为LTRP发信且图片256作为图片n-1的STRP发信外，表3的描述类似于表2的描述。

表3

此处再次，如果图片n丢失，那么解码器将不能够正确地识别作为图片256发信的LTRP，且解码器将需要delta_poc_msb_present_flag等于1以唯一地识别待用作仅LTRP的图片。

参看表4描述上文论述的问题的第三实例。

表4

参看表4的实例，假定具有POC 255的图片被接收到，继之以图片258(换句话说，图片256和257丢失)。在解码图片258的切片标头之后，图片0(而非图片256)将被标记为LTRP。解码器将不正确地导出图片0为经发信的LTRP且继续解码(假定解码过程的其它方面为此丢失而工作)，而非针对图片258而算出参考图片256不存在。

从上述实例，用于解决上述问题的靠不住的简单解决方案可能显得为发信LTRP的实际完整POC值。也好像是RPS导出在完整POC发信情况下将为自含式的。然而，CRA图片可起始位流或CRA图片可通过拼接器转换成BLA图片的概率消除发信完整POC值。例如，考虑位流中具有256(仍假定MaxPicOrderCntLsb＝256)的POC值的CRA图片，且令按解码次序在CRA图片之后的一些图片具有作为LTRP的CRA图片。如果CRA图片的完整POC(其为256)经发信，且CRA图片转换成BLA图片或起始位流，那么LTRP将被不正确地导出，且位流将变得不合格。当CRA图片转换到BLA图片或起始位流时，解码器根据WD7的技术仅基于其LSB导出其POC值。在上述实例中，CRA图片(其现在为BLA图片)的POC将经确定为0。当解码器寻找具有POC 256的LTRP时，DPB将不含有任何此图片，因为现在CRA图片具有为0的导出的POC。此将导致RPS中“无参考图片”，且如果当前图片并非为与CRA图片相关联的TFD图片，那么所得位流将不合格。

本发明描述用于支持对视频数据随机存取的技术。在一些例项中，这些技术可用于克服WD7的上述问题。更明确地说，本发明提议若干限制用于支持基于各种类型图片的随机存取。首先，根据本发明的一个技术，RAP图片的所有TFD图片应具有早于RAP的所有DLP的显示次序值的显示次序值。此限制可通过避免帧速率的突变(choppiness)而改善观看者的观看体验。即，如果存在不能被正确解码的一或多个图片(即，TFD图片)且如果这些图片具有与DLP混合的显示次序值，那么帧速率将出现突变，其将减损用户体验。根据另一技术，本发明也提议防止前置图片与“结尾图片”在解码次序方面交错的限制。即，根据本发明的技术，视频译码器可确保所有前置图片(包含TFD图片和DLP两者)具有早于具有大于对应RAP图片的显示次序值的显示次序值的图片的解码次序值的解码次序值。如上文所提及，“结尾图片”为按解码次序和按显示次序两者皆在RAP图片之后的图片。

如上文所介绍，一般来说，视频数据包含各种类型的图片。例如，视频数据包含可用以开始视频数据的流式传输的RAP。RAP为经独立译码为(例如)帧内预测经译码图片(I图片)的图片。RAP包含IDR图片、BLA图片和CRA图片。

其它类型的图片包含TFD、DLP和结尾图片。一般来说，DLP(类似于所有前置图片)为具有早于对应RAP图片的输出次序的输出次序但具有迟于对应RAP的解码次序的解码次序的图片。然而，DLP为在不检索按解码次序先于对应RAP图片的数据情况下可解码的前置图片。换句话说，DLP为关于包含和/或在对应RAP之后的一或多个图片的数据而预测的前置图片。另一方面，结尾图片具有迟于对应RAP的输出次序的输出次序以及迟于对应RAP图片的解码次序的解码次序。

当从对应RAP图片执行随机存取时为TFD图片的图片不能被适当地解码。此一般来说是归因于TFD图片系从按解码次序先于对应RAP图片的数据而预测。因为从RAP图片的随机存取省略了检索早于RAP图片的数据，所以取决于早于RAP图片的数据的TFD图片将不能被正确地解码，且因此可在未解码情况下被舍弃。

本发明提议若干限制用于支持基于这些各种类型图片的随机存取。首先，RAP图片的所有TFD图片应具有早于RAP图片的所有DLP的显示次序值的显示次序值。此限制可改善观看者的观看体验，因为其避免帧速率的突变。即，如果存在不能被正确解码的一或多个图片(例如，TFD图片)，如果这些图片具有与DLP混合的显示次序值，那么帧速率将出现突变，此将减损用户体验。

本发明也提议防止前置图片与“结尾图片”在解码次序方面交错的限制。即，根据本发明的技术，视频译码器可确保所有前置图片(包含TFD图片和DLP两者)具有早于具有大于对应RAP图片的显示次序值的显示次序值的图片的解码次序值的解码次序值。如上文所提及，“结尾图片”为按解码次序和按显示次序两者在RAP图片之后的图片。实施本发明的技术，视频编码器可经配置以编码RAP图片并编码RAP图片的一或多个DLP，使得目标用于舍弃的所有图片按输出次序先于与RAP图片相关联的DLP。同样，视频解码器无需试图解码在用作随机存取点的RAP图片后的TFD图片。实情为，视频解码器可在不试图解码用于这些TFD图片的数据的情况下简单地剖析所述数据。此可为例如视频解码器的装置提供资源节省。例如，这些技术可节省电池电力和/或改善处理效率。通过不在解码次序方面交错前置图片和结尾图片，系统(例如，MANE或视频解码器)可在无需剖析超过在相关联的RAP图片之后的第一结尾图片范围的图片的情况下易于识别与RAP图片相关联的前置图片。识别前置图片可由于前置图片按显示次序出现在RAP之前而在决定随机存取处的输出时有用，且如果中间系统经配置以如此执行，那么可用于去除前置图片。此外，如上文所提及，这些技术可通过避免帧速率突变而导致改善的用户体验。

图1为说明可利用用于在切片标头中发信长期参考图片的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含提供待在稍后时间由目的地装置14解码的经编码视频数据的源装置12。明确地说，源装置12经由计算机可读媒体16提供视频数据到目的地装置14。源装置12和目的地装置14可包括广泛范围装置中的任一者，所述装置包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”手机的电话手机、所谓的“智能型”板、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或类似者。在一些状况下，源装置12和目的地装置14可经装备用于无线通信。

目的地装置14可经由计算机可读媒体16接收待被解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于封包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基站或可用以促进从源装置12到目的地装置14的通信的任何其它装备。

在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒体中的任一者，例如，硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储源装置12所产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将那个经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接式存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)或两者的结合。经编码视频数据从存储装置的传输可为流式传输、下载传输，或其组合。

本发明的技术不必限于无线应用或设定。所述技术可应用于支持例如以下应用的多种多媒体应用中的任一者的视频译码：空中电视广播、有线电视传输、卫星电视传输、例如HTTP动态自适应性流式传输(DASH)的因特网流式传输视频传输、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于在切片标头中发信长期参考图片的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。例如，源装置12可从外部视频源18(例如，外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

图1的所说明的系统10仅为一实例。用于在切片标头中发信长期参考图片的技术可由任一数字视频编码和/或解码装置执行。尽管一般由视频编码装置执行本发明的技术，但也可由视频编码器/解码器(通常被称作“CODEC”)执行所述技术。此外，也可由视频预处理器来执行本发明的技术。源装置12和目的地装置14仅仅为这些译码装置的实例，在所述译码装置中，源装置12产生用于传输到目的地装置14的经译码视频数据。在一些实例中，装置12、14可按实质上对称方式进行操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输，例如，用于视频流式传输、视频播放、视频广播或视频电话。

源装置12的视频源18可包含例如视频摄影机的视频俘获装置、含有先前俘获的视频的视频封存档，和/或用以从视频内容提供者接收视频的视频馈入接口。作为另一替代，视频源18可产生基于计算机图形的数据，作为源视频、或直播视频、存档视频和计算机产生的视频的组合。在一些状况下，如果视频源18为视频摄影机，那么源装置12和目的地装置14可形成所谓的摄影机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一状况下，所俘获的、预先俘获的或计算机产生的视频可由视频编码器20编码。经编码视频信息接着可由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含暂时性媒体，例如，无线广播或有线网络传输；或存储媒体(即，非暂时性存储媒体)，例如，硬盘、随身碟、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如，经由网络传输)将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解成包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义、也由视频解码器30使用的语法信息，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据例如目前在开发中的高效率视频译码(HEVC)标准的视频译码标准而操作，且可遵照HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据例如ITU-T H.264标准替代地被称作MPEG-4第10部分先进视频译码(AVC)的其它专有或行业标准或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。虽然图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。

ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家群(VCEG)连同ISO/IEC动画专家群(MPEG)一起制定为被称作联合视频小组(JVT)的集体合作的产物。在一些方面中，本发明中所描述的技术可应用于大体遵照H.264标准的装置。H.264标准由ITU-T研究小组且在日期为2005年3月描述于ITU-T推荐H.264(用于一般视听服务的先进视频译码)中，其在本文中可被称作H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

视频编码器20和视频解码器30可各自实施为多种适合编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于适合的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(HM)。HM假设视频译码装置相对于根据(例如)ITU-TH.264/AVC的现有装置的若干额外能力。例如，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。尽管本发明可出于解释的目的而有时依赖于HEVC的WD7，但本发明的技术决不限于WD7。HEVC标准继续演进，且预期本发明的技术可与HEVC的将来版本兼容。例如，本发明中的技术可结合“HEVC工作草案10”或“WD10”使用，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)于2013年1月14日到23日在瑞士日内瓦召开的第12次会议，上布罗斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10(High Efficiency VideoCoding(HEVC)Text Specification Draft 10)”的文件JCTVC-L1003_v18中描述“HEVC工作草案10”或“WD10”，从2013年2月5日起，其可从http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v18.zip下载。

一般来说，HM的工作模型描述视频帧或图片可划分成包含亮度样本和色度样本两者的树型块或最大译码单元(LCU)序列。位流内的语法数据可定义LCU的大小，LCU就像素的数目来说为最大译码单元。切片包含按译码次序的数个连续树型块。可将视频帧或图片分割成一或多个切片。每一树型块可根据四分树而分裂成若干译码单元(CU)。一般来说，四分树数据结构中每CU包含一个节点，其中根节点对应于树型块。如果将CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。

所述四分树数据结构中的每一节点可提供针对对应CU的语法数据。例如，在四分树中的节点可包含分裂旗标，其指示是否将对应于所述节点的CU分裂成子CU。可递归地定义用于CU的语法元素，且用于CU的语法元素可视CU是否分裂成子CU而定。如果CU未经进一步分裂，那么其被称作叶CU。在本发明中，即使不存在原始叶CU的明显分裂，叶CU的四个子CU也将被称作叶CU。例如，如果16×16大小的CU未经进一步分裂，那么四个8×8子CU也将被称作叶CU，尽管所述16×16CU从未经分裂。

除了CU不具有大小区别之外，CU具有与H.264标准的宏块类似的用途。例如，树型块可分裂成四个子节点(也被称作子CU)，且每一子节点又可为母节点并分裂成另外四个子节点。被称作四分树的叶节点的最终的未分裂子节点包括译码节点，所述译码节点也被称作叶CU。与经译码位流相关联的语法数据可定义可分裂树型块的最大次数(其被称作最大CU深度)，且也可定义所述译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”指在HEVC的上下文中的CU、PU或TU中的任一者，或在其它标准的上下文中的类似数据结构(例如，在H.264/AVC中的宏块和其子块)。

CU包含译码节点和与所述译码节点相关联的若干预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或大于64×64像素的树型块的大小。每一CU可含有一或多个PU和一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可视CU经跳过或直接模式编码、经帧内预测模式编码抑或经帧间预测模式编码而不同。PU可分割成非正方形形状。与CU相关联的语法数据也可描述(例如)CU根据四分树而分割成一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。

HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小而设定TU大小，但可能并非总是如此状况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用被称作“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，变换系数可被量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。例如，当PU经帧内模式编码时，用于PU的数据可包含于残余四分树(RQT)中，残余四分树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义所述PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU也可包含一或多个变换单元(TU)。可使用RQT(也被称作TU四分树结构)指定变换单元，如上文所论述。例如，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU不进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同帧内预测模式。即，一般应用相同帧内预测模式来计算一叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为在CU的对应于所述TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可能大于或小于PU。对于帧内译码，PU可与用于同一CU的对应叶TU共置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU也可与被称作残余四分树(RQT)的相应四分树数据结构相关联。即，叶CU可包含指示如何将叶CU分割成TU的四分树。TU四分树的根节点大体上对应于叶CU，而CU四分树的根节点大体上对应于树型块(或LCU)。RQT的不分裂的TU被称作叶TU。一般来说，除非另有指示，否则本发明分别使用术语CU和TU来指叶CU和叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)大体包括一系列一或多个视频图片。GOP可在GOP的标头、图片中的一或多者的标头中或在别处包含描述包含于GOP中的图片数目的语法数据。图片的每一切片可包含描述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。

作为实例，HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N，那么HM支持以2N×2N或N×N的PU大小进行帧内预测，和以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM也支持以2N×nU、2N×nD、nL×2N和nR×2N的PU大小针对帧间预测进行不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向分割成25％和75％。CU的对应于25％分割的部分由“n”继之以“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此，例如，“2N×nU”指被水平分割而具有2N×0.5N PU顶部和2N×1.5N PU底部的2N×2N CU。

在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直维度与水平维度方面的像素尺寸，例如，16×16像素或16乘16像素。大体来说，16×16块在垂直方向中将具有16个像素(y＝16)且在水平方向中将具有16个像素(x＝16)。同样地，N×N块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按行和列来布置块中的像素。此外，块未必需要在水平方向中与在垂直方向中具有相同数目个像素。例如，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可在将变换(例如，离散余弦变换(DCT)、整数变换、小波变换，或概念上类似的变换)应用于残余视频数据之后包括变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。

在产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化大体上指如下过程：将变换系数量化以可能地减少用以表示所述系数的数据量，从而提供进一步压缩。所述量化过程可减少与所述系数中的一些或所有系数相关联的位深度。例如，可在量化期间将n位值降值舍位到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可被设计成将较高能量(且因此较低频率)系数置于阵列前部，且将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法而熵编码所述一维向量。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符号。所述上下文可能涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可构建VLC中的码字使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省(与(例如)针对待传输的每一符号使用等长度码字相比较)。概率确定可基于指派给符号的上下文而进行。

根据本发明的技术，视频编码器20和视频解码器30可经配置以执行如下的实例函数“GetLSB(poc，len)”，其中poc为整数且len为正整数：

$\mathrm{GetLSB}(\mathrm{poc},\mathrm{len})=\mathrm{poc}-(1<<\mathrm{len})*\mathrm{Floor}\left(\frac{\mathrm{poc}}{1<<\mathrm{len}}\right)---\left(1\right)$

在函数(1)的实例中，“＜＜”表示按位左移算子且Floor()返回传递到其的自变量的值，所述值经降值舍位。

视频编码器20和视频解码器30可经配置以执行用于导出参考图片集(RPS)和发信待包含于经译码图片的RPS中的长期参考图片(LTRP)的一或多个各种技术。一般来说，视频编码器20和视频解码器30可经配置以单独地或以任何组合方式来执行本发明中描述的实例中的任一者或全部。一般来说，本发明描述与以下编码和解码技术有关的技术，其中视频编码器20和视频解码器30可经配置以结合WD7的其它技术或其它视频译码框架来执行这些技术中的任一者或全部。

在一个实例中，经发信用于待包含于当前图片的RPS中的特定LTRP的信息可为在当前图片与LTRP之间或在LTRP与按解码次序的前一RAP图片之间的增量POC值。作为一个替代方案，除语法元素delta_poc_msb_cycle_lt[i]始终经发信用于切片标头中的每一LTRP外，通过去除语法元素delta_poc_msb_present_flag[i]，或通过针对所有LTRP命令delta_poc_msb_present_flag[i]为1，LTRP发信和导出可保持与WD7中相同。作为另一替代方案，经发信用于待包含于当前图片的RPS中的特定LTRP的信息可为在LTRP与按解码次序的前一RAP图片之间的增量POC值，或可应用上述替代方法。

在一个替代方案中，按解码次序在CRA或BLA图片之后的图片可经禁止将按解码次序先于CRA或BLA图片的图片用作LTRP。因此，前置图片可经禁止将按解码次序先于相关联的CRA或BLA图片的图片参照为LTRP。对于非TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，具有最小POC的图片未标记为TFD且按解码次序先于当前图片，并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。对于TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，具有最小POC的图片按解码次序先于当前图片，并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。

在一个替代方案中，与RAP图片相关联的TFD图片可经禁止按解码次序在与同一RAP图片相关联的任一DLP图片之后。对于非TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，具有最小POC的图片未标记为TFD图片且按解码次序先于当前图片，并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。对于TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，具有最小POC的图片按解码次序先于当前图片，并按输出次序在按解码次序在前一RAP图片之前的RAP之后(包含在按解码次序的前一RAP图片之前的RAP在内)。

在一个替代方案中，与CRA或BLA图片相关联的前置图片可经禁止以将相关联的CRA或BLA图片或与同一CRA或BLA图片相关联的其它前置图片参照为LTRP。发信LTRP LSB所需的位的数目可由按输出次序先于当前图片的RAP图片来确定。

在一个替代方案中，可强加以下约束。按解码次序先于CRA或BLA图片的任何图片应按输出次序先于与CRA或BLA图片相关联的任一DLP图片。此外，也可强加以下约束：与CRA或BLA图片相关联的任一TFD图片应按输出次序先于与CRA或BLA图片相关联的任一DLP图片。这些实例约束禁止DLP图片与TFD图片或按解码次序早于相关联的CRA或BLA图片的图片在输出次序方面交错的状况。在那些状况下，当随机存取或从CRA或BLA图片执行流切换时，开始图片速率将小于DLP图片输出之后的图片速率。在使用频繁流切换的调适流式传输中(例如，在HTTP动态自适应性流式传输(DASH)上下文中)，图片速率的此波动可引起不需要的用户体验。对于CRA或BLA图片，WD7规定应不存在按解码次序先于CRA或BLA图片且按输出次序在CRA或BLA图片之后的图片。包含那个限制是出于类似原因。

在一个替代方案中，与第一图片相关联的前置图片(更明确地说，TFD图片)经允许以将与用于帧间预测参考的第二图片相关联的DLP图片用作STRP或LTRP，其中所述第一图片为CRA图片，所述第二图片为CRA或BLA图片，且所述第二图片和所述第一图片为两个按解码次序的连续RAP图片，其中第一图片按解码次序在第二图片之后。DLP图片由前置图片的此帧间预测参考可通过允许这些DLP图片存在于这些前置图片的参考图片集中而实现，且可允许前置图片的更灵活且更高效的译码。因此，CRA和BLA图片的定义可经改变以允许此帧间预测。

在一个替代方案中，与CRA或BLA图片相关联的TFD图片与按解码次序和按输出次序两者皆在CRA或BLA图片之后的图片(即，CRA或BLA图片的结尾图片)的解码次序交错可被禁止。换句话说，可需要与CRA或BLA图片相关联的任何TFD图片按解码次序先于CRA或BLA图片的任何结尾图片。

替代地，与CRA或BLA图片相关联的前置图片与按解码次序和按输出次序两者皆在CRA或BLA图片之后的图片的解码次序交错可被禁止。换句话说，可需要与CRA或BLA图片相关联的任何前置图片按解码次序先于按解码次序和按输出次序两者皆在CRA或BLA图片之后的任何图片。

实施的以下实例提供上文描述的实例的另外细节。应理解实例实施中描述的各种技术可单独或以任何组合方式来使用。

第一实例实施提供用于试图解决错误恢复问题并确信RPS偏差是自含式的(即，不取决于DPB状态)且同时当从CRA图片执行随机存取时或当CRA图片转换到BLA图片时是无问题的方法。在此第一实例实施中，经发信用于待包含于当前图片的RPS中的特定LTRP的信息为在当前图片与LTRP之间(模式1)或在LTRP与按解码次序的前一RAP图片之间(模式2)的增量POC值。此第一实例实施也与当前RPS发信和WD7的STRP的导出对准。编码器(例如，视频编码器20)可选择用于待被发信的每一LTRP的两种模式中的一者，其将导致较少位被使用。例如，如果LTRP按输出/显示次序距离比当前图片更接近于按解码次序的前一RAP，那么视频编码器20可经配置以使用模式2。否则，视频编码器20可使用模式1。同样，视频解码器30可接收描述待使用模式的语法数据，且使用由语法数据发信的模式。

为达成第一实例实施，可使用以下语法、语义和译码过程的相对于WD7的改变，其中下划线的文字表示相对于WD7的改变。下文表5提供用于图片参数集(PPS)的语法的实例集合。

表5

在此第一实例实施中，如表5中所示，PPS语法包含相对于WD7的额外语法元素poc_lt_idc。其它语法元素的语义可保持相同。在此实例中，poc_lt_idc可用以指示切片标头中的delta_poc_lt_curr_pic_flag[i]的存在，且当delta_poc_lt_curr_pic_flag[i]未存在于切片标头中时用以确定切片标头中的delta_poc_lt_curr_pic_flag[i]的推断值。在此实例中，如果poc_lt_idc等于0或1，那么delta_poc_lt_curr_pic_flag[i]不存在于切片标头中且值经推断为等于poc_lt_idc。在此实例中，当poc_lt_idc等于2时，delta_poc_lt_curr_pic_flag[i]经在切片标头中发信。在此实例中，用于poc_lt_idc的值3留作将来使用。

表6提供根据第一实例实施方案的用于切片标头的语法的实例集合。

表6

在此实例中，切片标头包含delta_poc_lt_curr_pic_flag[i]、delta_poc_lt_len[i]和(在一些状况下)delta_poc_lt[i]的额外语法元素。下文针对这些语法元素描述语义的实例集合。其它语法元素的语义可保持与WD7中相同。

在此第一实例实施方案中，delta_poc_lt_curr_pic_flag[i]等于1可指定delta_poc_lt[i]表示当前图片与第i个长期参考图片之间的图片次序计数差。delta_poc_lt_curr_pic_flag[i]等于0可指定delta_poc_lt[i]表示按解码次序的前一RAP图片与第i个长期参考图片之间的图片次序计数差。如果(例如，表5的)poc_lt_idc等于0或1，那么delta_poc_lt_curr_pic_flag[i]的值可经推断为等于poc_lt_idc。

在此第一实例实施方案中，delta_poc_lt_len[i]可用以指定表示delta_poc_lt[i]的位的数目。如果delta_poc_lt_curr_pic_flag[i]等于0，那么delta_poc_lt_len[i]的值可在0到24的范围内(包含0和24)。否则(delta_poc_lt_curr_pic_flag[i]等于1)，delta_poc_lt_len[i]的值可在1到24的范围内(包含1和24)。

变量DeltaPocLtLen[i]可经如下导出：

替代地，delta_poc_lt_len[i]可改变成poc_lt_len[i]，其经固定长度译码为(例如)u(N)，其中N为5。在此状况下，语义可为如下。poc_lt_len[i]可指定表示delta_poc_lt[i]的位的数目。如果delta_poc_lt_curr_pic_flag[i]等于0，那么poc_lt_len[i]的值可在0到24的范围内(包含0和24)。否则(delta_poc_lt_curr_pic_flag[i]等于1)，poc_lt_len[i]的值可在1到24的范围内(包含1和24)。变量DeltaPocLtLen[i]可经设定为等于poc_lt_len[i]。

在此第一实例实施方案中，delta_poc_lt[i]可指定包含于当前图片的长期参考图片集中的第i个长期参考图片的增量图片次序计数值。delta_poc_lt[i]的长度可为DeltaPocLtLen[i]。

视频解码器30可经配置以根据此第一实例实施方案执行用于参考图片集的解码过程如下。视频编码器20可在编码视频数据以产生参考图片集的同时执行类似过程。在解码切片标头之后但在解码任一译码单元之前且在切片的参考图片列表构造的解码过程之前，视频解码器30可每一图片一次地调用此解码过程，如WD7的子条款8.3.3中指定。所述过程可导致将一或多个参考图片标记为“未用于参考”。来自WD7以“注释(NOTE)”开头的引文应仅被认为直接从WD7得到的引文，且不应认为系本发明的技术所必需的。

注释1-参考图片集为用于当前和将来译码的图片的解码过程的参考图片的绝对描述。参考图片集发信在包含于参考图片集中的所有参考图片经明确地列出且解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片集构造过程的意义上是明确的。

参考图片可由其PicOrderCntVal值来识别。

图片次序计数值的五个列表可经构建以导出参考图片集——分别具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll。

如果当前图片是为位流中的第一经译码图片的CRA图片、IDR图片或BLA图片，那么PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空，且NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll可全部设定为0。

否则，以下可适用于导出图片次序计数值的五个列表和条目的数目。

其中PicOrderCntVal和PrevRapPicPoc分别为当前图片和按解码次序的前一RAP图片的图片次序计数值，如子条款8.2.1中所指定。

注释2-范围在0到num_short_term_ref_pic_sets-1内(包含0和num_short_term_ref_pic_sets-1)的StRpsIdx的值可指示来自作用中序列参数集的短期参考图片集正被使用，其中StRpsIdx为到按在序列参数集中发信短期参考图片集的次序的短期参考图片集的列表的短期参考图片集的索引。等于num_short_term_ref_pic_sets的StRpsIdx指示在切片标头中明确发信的短期参考图片集正被使用。

参考图片集可包含参考图片的五个列表——RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr和RefPicSetLtFoll。变量NumPocTotalCurr可经设定为等于NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr。当解码P或B切片时，为了位流符合性，WD7需要NumPocTotalCurr的值应不等于0。

注释3-RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr可含有可用于当前图片的帧间预测且可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。RefPicSetStFoll和RefPicSetLtFoll可包含未用于当前图片的帧间预测但可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。

参考图片的标记可为“未用于参考”、“用于短期参考”或“用于长期参考”，但在WD7中仅可为这三者中的一者。当参考图片称作经标记为“用于参考”时，此共同地指经标记为“用于短期参考”或“用于长期参考”(但在WD7中并非为两者)的图片。经标记为“用于短期参考”的参考图片称作短期参考图片。经标记为“用于长期参考”的参考图片称作长期参考图片。

根据以下定序步骤执行用于参考图片集和图片标记的导出过程，其中DPB指如WD7的附录C中描述的经解码图片缓冲器，其中(#-#)指WD7的方程编号：

1.以下应用：

2.包含于RefPicSetLtCurr和RefPicSetLtFoll中的所有参考图片经标记为“用于长期参考”

3.以下适用：

4.包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中的所有参考图片经标记为“用于短期参考”。

经解码图片缓冲器中未包含于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的所有参考图片可经标记为“未用于参考”。

注释4-可存在包含于参考图片集中但不存在于经解码图片缓冲器中的一或多个参考图片。RefPicSetStFoll或RefPicSetLtFoll中的等于“无参考图片”的条目应忽略。除非以下两个条件中的任一者为真，否则对于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的等于“无参考图片”的每一条目在WD7中应被推断为无意的图片丢失：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经译码图片为与所述BLA图片相关联的TFD图片。

替代地，WD7可需要(在上文中)DPB中的每一经识别picX应被标记为“用于参考”。替代地，WD7可限制标记为“未用于参考”的图片应从不标记为“用于参考”。

替代地，上述五个步骤可由以下而替代：

1.以下适用：

2.包含于RefPicSetLtCurr和RefPicSetLtFoll中的所有参考图片经标记为“用于长期参考”

3.以下适用：

4.RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中包含的所有参考图片经标记为“用于短期参考”。

5.经解码图片缓冲器中未包含于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的所有参考图片经标记为“未用于参考”。

注释4-可存在包含于参考图片集中但未存在于经译码图片缓冲器中的一或多个参考图片。RefPicSetStFoll或RefPicSetLtFoll中的等于“无参考图片”的条目根据WD7应被忽略。除非以下两个条件中的任一者为真，否则对于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的等于“无参考图片”的每一条目在WD7中应被推断为无意的图片丢失：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经译码图片为与所述BLA图片相关联的TFD图片。

替代地，上述步骤的次序可变成3、4、1、2和5。

在一些实例中，为了位流符合性，WD7需要将参考图片集限制如下：

-应不存在包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的具有大于当前图片的temporal_id的temporal_id的参考图片。

-在当前图片为TLA图片时，应不存在包含于参考图片集中的具有大于或等于当前图片的temporal_id的temporal_id的参考图片。

-应不存在包含于参考图片集中的按输出次序先于按解码次序和输出次序两者皆先于当前图片的任一RAP图片的参考图片。

-除非以下条件中的任一者为真，否则RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中应不存在等于“无参考图片”的条目：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经解码图片为与所述BLA图片相关联的TFD图片。

注释5-参考图片不可包含于五个参考图片集列表中的一个以上者中。

在一些实例中，WD7规定上述限制可为如下：

-应不存在包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中的具有大于当前图片的temporal_id的temporal_id的参考图片。

-在当前图片为TLA图片时，应不存在包含于参考图片集中的具有大于或等于当前图片的temporal_id的temporal_id的参考图片。

-令prevRapPic为按解码次序的前一RAP图片。在当前图片为RAP图片或按输出次序先于prevRapPic时，应不存在包含于参考图片集中的按输出次序先于按解码次序和输出次序两者皆先于当前图片的任一RAP图片的参考图片。

-令prevRapPic为按解码次序的前一RAP图片。在当前图片并非RAP图片且按输出次序在prevRapPic之后时，应不存在包含于参考图片集中的按解码次序先于prevRapPic的参考图片，且应不存在包含于参考图片集中的为TFD图片的参考图片。

-除非以下条件中的任一者为真，否则RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中应不存在等于“无参考图片”的条目：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经解码图片为与所述BLA图片相关联的TFD图片。

注释5-根据WD7，参考图片不可包含于五个参考图片集列表中的一个以上者中。

基于HEVC WD7中的语法结构的第二实例实施方案包含始终发信LTRP的MSB循环并去除delta_poc_msb_present_flag[i]语法元素的方法。再次，应理解第一实例实施方案和第二实例实施方案的各种技术可以任一组合方式组合。视频编码器20和视频解码器30可经配置以单独地或以与上文论述的第一实例实施方案的一或多个技术的任一组合的方式执行此第二实例实施方案的技术中的任一者或全部。下文表7提供根据此第二实例实施方案的用于切片标头的语法的实例集合。

表7

在表7的实例切片标头语法中，相对于WD7添加语法元素delta_poc_msb_cycle_lt[i]。除非另有规定，否则此语法元素的语义可如下文所描述，而其它语法元素的语义可保持与WD7中相同。在此第二实例实施方案中，delta_poc_msb_cycle_lt[i]可用以确定包含于当前图片的长期参考图片集中的第i个长期参考图片的图片次序计数值的最高有效位的值。

在此第二实例实施方案中，变量DeltaPocMSBCycleLt[i]可经如下导出，其中(#-#)指WD7的方程编号且下划线的文字表示相对于WD7的改变：

视频解码器30可执行用于参考图片集的以下解码过程。视频编码器20可经配置以在编码视频数据以产生参考图片集的同时执行实质上类似的过程。在解码切片标头之后但在解码任一译码单元之前且在切片的参考图片列表构造的解码过程之前，每一图片一次地调用此过程，如WD7的子条款8.3.3中指定。所述过程可导致将一或多个参考图片标记为“未用于参考”。

注释1-参考图片集为用于当前和将来经译码图片的解码过程的参考图片的绝对描述。参考图片集发信在包含于参考图片集中的所有参考图片经明确地列出且解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片集构造过程意义上是明确的。

在此第二实例实施方案中，参考图片由其PicOrderCntVal值来识别。

图片次序计数值的五个列表可经构建以导出参考图片集——分别具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll。

-如果当前图片是为位流中的第一经译码图片的CRA图片、IDR图片或BLA图片，那么PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空，且NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll全部设定为0。

-否则，以下适用于导出图片次序计数值的五个列表和条目的数目。

其中PicOrderCntVal为当前图片的图片次序计数，如WD7的子条款8.2.1中所指定。

注释2-范围在0到num_short_term_ref_pic_sets-1内(包含0和num_short_term_ref_pic_sets-1)的StRpsIdx的值在此实例中指示来自作用中序列参数集的短期参考图片集正被使用，其中StRpsIdx为到按在序列参数集中发信短期参考图片集的次序的短期参考图片集的列表的短期参考图片集的索引。等于num_short_term_ref_pic_sets的StRpsIdx指示在切片标头中明确发信的短期参考图片集正被使用。

参考图片集可包含参考图片的五个列表——RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr和RefPicSetLtFoll。变量NumPocTotalCurr可被设定为等于NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr。当解码P或B切片时，为了位流符合性，WD7要求NumPocTotalCurr的值应不等于0。

注释3-RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr可含有可用于当前图片的帧间预测且可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。RefPicSetStFoll和RefPicSetLtFoll可包含未用于当前图片的帧间预测但可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。

参考图片的标记可为“未用于参考”、“用于短期参考”或“用于长期参考”，但在WD7中仅可为这三者中的一者。当参考图片称作经标记为“用于参考”时，此共同地指经标记为“用于短期参考”或“用于长期参考”(但在WD7中并非为两者)的图片。经标记为“用于短期参考”的参考图片称作短期参考图片。经标记为“用于长期参考”的参考图片称作长期参考图片。

对于第二实例实施方案，可以与第一实例实施方案中相同的方式来执行用于参考图片集和图片标记的导出过程。

第三实例实施方案提供简化的LTRP发信方法，以及禁止按解码次序在CRA或BLA图片之后的图片将按解码次序先于CRA或BLA图片的图片用作LTRP的限制。因此，禁止前置图片将按解码次序先于相关联的CRA或BLA图片的图片参照为LTRP。对于非TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，所述具有最小POC的图片未标记为TFD且按解码次序先于当前图片并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。

对于TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，具有最小POC的图片按解码次序先于当前图片并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。语法结构是基于2012年4月27日到5月7日于瑞士日内瓦召开的JCTVC第9次会议上王(Wang)等人的“关于参考图片集(On Reference Picture Set)”JCTVC-I0342，从2013年2月5日起，其可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0342-v1.zip得到，所述稿件以引用的方式并入本文中，其中LTRP LSB的长度经发信，继之以LSB位自身。语义和参考图片集的解码过程相对于HEVC WD7的变化下文在此第三实例实施方案的描述中加上下划线。此外，应理解第三实例实施方案的技术可以任一组合方式与第一和/或第二实例实施方案的技术组合。

表8提供根据此第三实例实施方案的用于切片标头的语法的实例集合。

表8

在表8的实例中，切片标头包含额外语法元素poc_lsb_len_delta[i]和poc_lsb_lt[i]。下文描述用于这些语法元素的语义，且下文也描述相对于WD7改变的某些语法元素的语义。除非另外规定，否则其它语法元素的语义可保持与WD7中相同。

在表8的实例中，poc_lsb_len_delta[i]可用以指定表示poc_lsb_lt[i]的位的数目。

在表8的实例中，poc_lsb_lt[i]可指定包含于当前图片的长期参考图片集中的第i个长期参考图片的图片次序计数值的最低有效位。poc_lsb_lt[i]应在0到(1＜＜PocLsbLtLen[i])-1的范围内(包含0和(1＜＜PocLsbLtLen[i])-1)。poc_lsb_lt[i]的长度为PocLsbLtLen[i]。

视频解码器30可根据此第三实例实施方案执行以下用于参考图片集的解码过程。视频编码器20可经配置以在编码视频数据以产生参考图片集的同时执行实质上类似的过程。在解码切片标头之后但在解码任何译码单元之前且在切片的参考图片列表构造的解码过程之前，可每一图片一次地调用此过程，如WD7的子条款8.3.3中指定。所述过程可导致将一或多个参考图片标记为“未用于参考”。

注释1-参考图片集可为用于当前和将来经译码图片的解码过程中的参考图片的绝对描述。参考图片集发信可在包含于参考图片集中的所有参考图片经明确地列出且解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片集构造过程意义上是明确的。

短期参考图片可由其PicOrderCntVal值来识别。长期参考图片可由其PicOrderCntVal 值的最低有效位来识别。

图片次序计数值的五个列表或图片次序计数值的最低有效位可经构建以导出参考图片集——分别具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll。

-如果当前图片为为位流中的第一经译码图片的CRA图片、IDR图片或BLA图片，那么PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll可全部设定为空，且NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll可全部设定为0。

-否则，以下可适用于导出图片次序计数值的五个列表和条目的数目。

其中PicOrderCntVal为当前图片的图片次序计数，如WD7的子条款8.2.1中指定。

注释2-范围在0到num_short_term_ref_pic_sets-1内(包含0和num_short_term_ref_pic_sets-1)的StRpsIdx的值可指示来自作用中序列参数集的短期参考图片集正被使用，其中StRpsIdx为到按在序列参数集中发信短期参考图片集的次序的短期参考图片集的列表的短期参考图片集的索引。等于num_short_term_ref_pic_sets的StRpsIdx可指示在切片标头中明确发信的短期参考图片集正被使用。

参考图片集可包含参考图片的五个列表——RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr和RefPicSetLtFoll。变量NumPocTotalCurr经设定为等于NumPocStCurrBefore+NumPocStCurrAfter+NumPocLtCurr。当解码P或B切片时，为了位流符合性，WD7需要NumPocTotalCurr的值应不等于0。

注释3-RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr可含有可用于当前图片的帧间预测且可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。RefPicSetStFoll和RefPicSetLtFoll可包含未用于当前图片的帧间预测但可用于按解码次序在当前图片之后的一或多个图片的帧间预测的所有参考图片。

参考图片的标记可为“未用于参考”、“用于短期参考”或“用于长期参考”，但在WD7中仅可为这三者中的一者。当参考图片称作经标记为“用于参考”时，此共同地指经标记为“用于短期参考”或“用于长期参考”(但在WD7中并非为两者)的图片。经标记为“用于短期参考”的参考图片称作短期参考图片。经标记为“用于长期参考”的参考图片称作长期参考图片。

根据以下定序步骤执行用于参考图片集和图片标记的导出过程，其中DPB指如WD7的附录C中描述的经解码图片缓冲器：

1.以下适用：

2.包含于RefPicSetLtCurr和RefPicSetLtFoll中的所有参考图片经标记为“用于长期参考”

3.以下适用：

4.包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll中的所有参考图片经标记为“用于短期参考”。

5.经解码图片缓冲器中的未包含于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中的所有参考图片经标记为“未用于参考”。

注释4-可存在包含于参考图片集中但未存在于经解码图片缓冲器中的一或多个参考图片。RefPicSetStFoll或RefPicSetLtFoll中的等于“无参考图片”的条目根据WD7应忽略。除非以下两个条件中的任一者为真，否则针对RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的等于“无参考图片”的每一条目可被推断为无意的图片丢失：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经译码图片为与所述BLA图片相关联的TFD图片。

为了位流符合性，WD7需要参考图片集经限制如下，如由此第三实例实施方案而修订：

-应不存在包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的具有大于当前图片的temporal_id的temporal_id的参考图片。

-在当前图片为TLA图片时，应不存在包含于参考图片集中的具有大于或等于当前图片的temporal_id的temporal_id的参考图片。

-应不存在包含于参考图片集中的按输出次序先于按解码次序和输出次序两者皆先于当前图片的任一RAP图片的参考图片。

-除非以下条件中的任一者为真，否则应不存在RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中的等于“无参考图片”的条目：a)位流中的第一经译码图片为CRA图片且当前经译码图片为与位流中的第一经译码图片相关联的TFD图片；b)按解码次序先于当前经译码图片的前一RAP图片为BLA图片且当前经译码图片为与所述BLA图片相关联的TFD图片。

注释5-参考图片不可包含于五个参考图片集列表中的一个以上者中。

-对于在0到NumPocLtCurr-1的范围内(包含0和NumPocLtCurr-1)的i的每一 值，DPB中应不存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或 RefPicSetStFoll中且具有GetLSB(PicOrderCntVal，PocLsbLenCurr[i])等于PocLtCurr[i] 的PicOrderCntVal的一个以上参考图片。对于在0到NumPocLtFoll-1范围内(包含0 和NumPocLtFoll-1)的i的每一值，DPB中应不存在未包含于RefPicSetStCurrBefore、 RefPicSetStCurrAfter或RefPicSetStFoll中且具有GetLSB(PicOrderCntVal， PocLsbLenFoll[i])等于PocLtFoll[i]的PicOrderCntVal的一个以上参考图片。

-令prevRapPic为按解码次序的前一RAP图片。在当前图片为RAP图片或按输 出次序先于prevRapPic时，应不存在包含于RefPicSetLtCurr或RefPicSetLtFoll中的按 解码次序先于prevRapPic的参考图片。

第四实例实施方案提供基于上文论述的第三实例实施方案中的语法结构的LTRP发信方法，其中LTRP LSB的长度经发信，继之以LSB位自身。在此第四实例实施方案中去除对前置图片不参照在相关联RAP前的图片的限制。与RAP图片相关联的TFD图片经禁止按解码次序在与此第四实例实施方案中的同一RAP图片相关联的任何DLP图片之后。对于非TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，最小POC的图片未经标记为TFD图片且按解码次序先于当前图片并按解码次序在按解码次序的前一RAP图片之后(包含按解码次序的前一RAP图片在内)。对于TFD图片，发信LTRP LSB所需的位的数目可由具有最小POC的图片来确定，最小POC的图片按解码次序先于当前图片并按输出次序在按解码次序在前一RAP图片之前的RAP之后(包含按解码次序在前一RAP图片之前的RAP在内)。下文仅呈现对来自第三实例实施方案的语义和RPS导出过程的改变。应理解第四实例实施方案的技术可以任一组合方式与第一、第二和/或第三实例实施方案的技术中的任一者组合。下划线的文字表示相对于上文描述的第三实例实施方案的变化。

在此第四实例实施方案中，poc_lsb_len_delta[i]可用以指定表示poc_lsb_lt[i]的位的数目。

令CurrPicOrderCntVal为当前图片的PicOrderCntVal。令PrevRapPicPoc为按解码次 序先于当前图片的RAP图片的PicOrderCntVal。变量PrevPrevLtRefPicPoc和 PrevLtRefPicPoc经如下导出。

用于PocLsbLtLen[i]的导出过程可以与如上文描述的第三实例实施方案中相同的方式来执行。

视频解码器30可执行以下用于参考图片集的解码过程。视频编码器20可经配置以在编码视频数据以产生参考图片集的同时执行实质上类似的过程。在解码切片标头之后但在解码任一译码单元之前且在切片的参考图片列表构造的解码过程之前，可每一图片一次地调用此过程，如WD7的子条款8.3.3中指定。所述过程可导致将一或多个参考图片标记为“未用于参考”。

注释1-参考图片集可为用于当前和将来经译码图片的解码过程的参考图片的绝对描述。参考图片集发信在包含于参考图片集中的所有参考图片经明确地列出且解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片集构造过程意义上是明确的。

在此第四实例实施方案中，参考图片由其PicOrderCntVal值来识别。

图片次序计数值的五个列表可经构建以导出参考图片集——分别具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll。

下文省略号表示文本可保持与第三实例实施方案中和/或WD7的当前版本中相同：

-如果当前图片是为位流中的第一经译码图片的CRA图片、IDR图片或BLA图片，那么PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空，且NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll全部设定为0。

-…

-对于在范围0到NumPocLtCurr-1内(包含0和NumPocLtCurr-1)的i的每一值，DPB中应不存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有GetLSB(PicOrderCntVal，PocLsbLenCurr[i])等于PocLtCurr[i]的PicOrderCntVal的一个以上参考图片。对于在范围0到NumPocLtFoll-1内(包含0和NumPocLtFoll-1)的i的每一值，DPB中应不存在未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有GetLSB(PicOrderCntVal，PocLsbLenFoll[i])等于PocLtFoll[i]的PicOrderCntVal的一个以上参考图片。

-与CRA或BLA图片相关联的任一TFD图片应先于未标记为TFD、按输出次序 先于CRA或BLA图片并按解码次序在CRA或BLA图片之后的任一图片。

第五实例实施方案大体上也基于第三实例实施方案。此第五实例实施方案揭示禁止与CRA或BLA图片相关联的前置图片将相关联的CRA或BLA图片或与相同CRA或BLA图片相关联的其它前置图片参照为LTRP的方法。在此第五实例实施方案中去除在第三实例实施方案中对前置图片不将在相关联RAP之前的图片参照为LTRP的限制。发信LTRP LSB所需的位的数目在此第五实例实施方案中可由按输出次序先于当前图片的RAP图片来确定。此外，应理解此第五实例实施方案的技术可以任一组合方式与第一、第二、第三和/或第四实例实施方案的技术中的任一者组合。

在此第五实例实施方案中，第三实例实施方案的切片标头语义可如下文下划线的文字所指示而改变：

令CurrPicOrderCntVal为当前图片的PicOrderCntVal。令PrevRapPicPoc为按输出次 序先于当前图片的RAP图片的PicOrderCntVal。

变量MaxPocLsbLtLen可经如下导出。

MaxPocLsbLtLen＝Log2(Ceil(CurrPicOrderCntVal-PrevRapPicPoc))用于PocLsbLtLen[i]的导出过程可以与第三实例实施方案中相同的方式来执行。

视频解码器30可执行以下用于参考图片集的解码过程。视频编码器20可经配置以在编码视频数据以产生参考图片集的同时执行实质上类似的过程。在解码切片标头之后但在解码任一译码单元之前且在切片的参考图片列表构造的解码过程之前，可每一图片一次地调用此过程，如WD7的子条款8.3.3中指定。所述过程可导致将一或多个参考图片标记为“未用于参考”。

注释1-参考图片集可为用于当前和将来经译码图片的解码过程的参考图片的绝对描述。参考图片集发信在包含于参考图片集中的所有参考图片经明确地列出且解码器中不存在取决于经解码图片缓冲器的状态的默认参考图片集构造过程意义上是明确的。

在此第五实例实施方案中，参考图片由其PicOrderCntVal值来识别。

图片次序计数值的五个列表可经构建以导出参考图片集——分别具有元素的NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll数目的PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll。

下文省略号表示文本可保持与第三实例实施方案中和/或WD7的当前版本中相同：

-如果当前图片是为位流中的第一经译码图片的CRA图片、IDR图片或BLA图片，那么PocStCurrBefore、PocStCurrAfter、PocStFoll、PocLtCurr和PocLtFoll全部设定为空，且NumPocStCurrBefore、NumPocStCurrAfter、NumPocStFoll、NumPocLtCurr和NumPocLtFoll全部设定为0。

-…

-对于在范围0到NumPocLtCurr-1内(包含0和NumPocLtCurr-1)的i的每一值，DPB中应没有未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有GetLSB(PicOrderCntVal，PocLsbLenCurr[i])等于PocLtCurr[i]的PicOrderCntVal的一个以上参考图片。对于在范围0到NumPocLtFoll-1内(包含0和NumPocLtFoll-1)的i的每一值，DPB中应没有未包含于RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetStFoll中且具有GetLSB(PicOrderCntVal，PocLsbLenFoll[i])等于PocLtFoll[i]的PicOrderCntVal的一个以上参考图片。

-令prevRapPic为按解码次序之前一RAP图片。在当前图片按输出次序先于 prevRapPic时，应不存在包含于RefPicSetLtCurr或RefPicSetLtFoll中的参考图片，其为 prevRapPic或按输出次序先于prevRapPic但按解码次序在prevRapPic之后的任一图片。

视频编码器20和视频解码器30可各自实施为多种合适编码器或解码器电路中的任一者(在适用时)，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如，蜂窝式电话)。

图2为说明可实施用于在切片标头中发信长期参考图片的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减小或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或去除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46和分割单元48。为了视频块重构建，视频编码器20也包含反量化单元58、反变换处理单元60和求和器62。也可包含解块滤波器(图2中未展示)以滤波块边界，从而从重构建的视频去除方块效应伪影。如果需要，解块滤波器通常将滤波求和器62的输出。除解块滤波器外，也可使用额外滤波器(回路内或回路后)。为简洁起见，未展示这些滤波器，但这些滤波器必要时可滤波求和器50的输出(作为回路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42和运动补偿单元44执行所接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码，以提供时间预测。帧内预测处理单元46可替代地执行所接收的视频块相对于在与待译码的块相同的帧或切片中的一或多个相邻块的帧内预测译码，以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。例如，分割单元48可一开始将帧或切片分割成LCU，且基于位率-失真分析(例如，位率-失真优化)来将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四分树数据结构。四分树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内或帧间译码的块提供到求和器50以产生残余块数据，且提供到求和器62以重构建经编码块以便用作参考帧。模式选择单元40也将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此语法信息)提供到熵编码单元56。

运动估计单元42和运动补偿单元44可高度集成，但为概念目的而分别说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。例如，运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考帧(或其它经译码单元)内的预测性块(其与所述当前帧(或其它经译码单元)内正被译码的当前块相关)的位移。预测性块为经发现在像素差方面紧密地匹配待译码块的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。例如，视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运动估计单元42可执行相对于全像素位置和分率像素位置的运动搜索，且以分率像素精度输出运动向量。

运动估计单元42通过比较经帧间译码的切片中的视频块的PU的位置与参考图片的预测性块的位置来计算所述PU的运动向量。参考图片可从第一参考图片列表(列表0)或第二参考图片列表(列表1)选择，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将经计算运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42所确定的运动向量来提取或产生预测性块。再次，在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44就可在参考图片列表中的一者中定位运动向量所指向的预测性块。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42执行相对于亮度分量的运动估计，且运动补偿单元44将基于所述亮度分量所计算的运动向量用于色度分量与亮度分量两者。模式选择单元40也可产生与视频块和视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。

当从参考图片存储器64中选择参考图片时，模式选择单元40可实施本发明的限制。例如，模式选择单元40可确定特定图片是否在经选择为RAP的图片之后。如果是，那么模式选择单元40可确定所述图片是否为前置图片并按输出次序在与同一RAP相关联的DLP图片之后。如果是，那么模式选择单元40选择用于所述图片的编码模式，使得所述图片被视为DLP图片。即，模式选择单元40确保当前图片并非从先于RAP的任何图片或任何相关联的TFD图片而预测，且因此所有TFD图片按输出次序先于所有DLP图片。换句话说，如果可能另外经译码为TFD图片的图片按译码次序在另一DLP图片之后，那么所述图片经译码为DLP图片。类似地，模式选择单元40可选择译码模式以确保所有前置图片按解码次序先于RAP的所有结尾图片。

如上文所描述，作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。明确地说，帧内预测处理单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从经测试模式选择将使用的适当帧内预测模式。

例如，帧内预测处理单元46可使用对各种经测试的帧内预测模式的位率-失真分析而计算位率-失真值，且在经测试模式当中选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量以及用以产生经编码块的位率(即，位数目)。帧内预测处理单元46可从失真和位率计算各种经编码块的比率以确定哪一帧内预测模式展现块的最佳位率-失真值。

在选择块的帧内预测模式之后，帧内预测处理单元46可向熵编码单元56提供指示所述块的选定帧内预测模式的信息。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在经传输的位流配置数据中包含各种块的编码上下文的定义和用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示，所述位流配置数据可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也被称作码字映射表)。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换的变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减少位率。所述量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56熵译码经量化变换系数。例如，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行的熵译码之后，可将经编码位流传输到另一装置(例如，视频解码器30)或经封存以供稍后传输或检索。

反量化单元58和反变换处理单元60分别应用反量化和反变换，以在像素域中重构建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将所述残余块添加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可对将一或多个内插滤波器应用于经重构建残余块以计算用于在运动估计中使用的次整数像素值。求和器62将所述经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构视频块以用于存储于参考图片存储器64中。所述经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

图2的视频编码器20表示可经配置以执行本发明的技术中的任一者的视频编码器的实例。例如，视频编码器20可经配置以译码RAP图片并译码所述RAP图片的一或多个可解码前置图片DLP，使得所有经标记为舍弃的图片按显示次序先于与RAP图片相关联的DLP。DLP可包含具有早于RAP图片的显示次序值的显示次序值且不指按解码次序早于RAP图片的视频数据的一或多个图片。视频编码器20也可相对于RAP图片译码一或多个前置图片，使得RAP图片的所有前置图片按解码次序先于RAP图片的所有结尾图片，其中结尾图片包含具有大于RAP图片的显示次序值的显示次序值的图片。RAP图片可包含(例如)CRA图片和BLA图片中的一者。按解码次序先于CRA或BLA图片的任一图片可按显示次序先于与CRA图片或BLA图片相关联的任一DLP图片。视频编码器20也可译码与RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于RAP图片且按解码次序在RAP图片之后，且视频编码器20可译码与RAP图片相关联的一或多个结尾图片，使得所有前置图片按解码次序先于所有结尾图片，其中结尾图片按显示次序值和按解码次序两者皆在RAP图片之后。

视频编码器20也可译码与RAP图片相关联的一或多个标记为舍弃(TFD)的图片。所述一或多个TFD图片可按显示次序值先于RAP图片并按解码次序在RAP图片之后且指按解码次序早于RAP图片的视频数据。视频编码器20可通过译码与RAP图片相关联的所述一或多个DLP使得所有TFD图片按显示次序先于DLP来译码所述RAP图片的所述一或多个DLP，其中DLP按显示次序先于RAP图片且按解码次序在RAP图片之后且不参照按解码次序早于RAP图片的视频数据。

视频编码器20也可译码按解码次序先于RAP图片的一或多个图片。视频编码器20可通过译码与RAP图片相关联的所述一或多个DLP使得按解码次序先于RAP图片的所有图片按显示次序也先于所有DLP来译码所述一或多个DLP。DLP可按显示次序先于RAP图片并按解码次序在RAP图片之后且不参照视频数据按解码次序早于RAP图片的视频数据。

图3为说明可实施用于在切片标头中发信长期参考图片的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、参考图片存储器82和求和器80。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码所述位流，以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可接收在视频切片层级和/或视频块层级的语法元素。

当视频切片经译码为帧内译码(I)切片时，帧内预测处理单元74可基于所发信的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考帧存储器92中的参考图片使用默认构造技术构建参考帧列表(列表0和列表1)。运动补偿单元72通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息来产生正经解码的当前视频块的预测性块。例如，运动补偿单元72使用所接收的语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码视频块的运动向量、切片的每一帧间译码视频块的帧间预测状态，和用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72也可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可从接收的语法元素来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。

反量化单元76反量化(即，解量化)提供于位流中且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QP_Y来确定量化的程度和同样地应应用的反量化的程度。

反变换处理单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。如果需要，也可应用解块滤波器来滤波经解码块以便去除方块效应伪影。其它回路滤波器(译码回路中或译码回路之后)也可用以使像素转变平滑，或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器92中，所述参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器82也存储经解码视频，用于稍后呈现于显示装置(例如，图1的显示装置32)上。

当实施本发明的技术时，视频解码器30可接收RAP图片并确定所述RAP图片用作位流的随机存取点。RAP图片待由视频解码器30用作随机存取点的确定可(例如)基于在位流中的发信。对于按译码次序在RAP图片后的图片，视频解码器可确定图片是否为TFD图片。如果图片为TFD图片，那么视频解码器30可在不必解码TFD图片的情况下剖析与TFD图片相关联的语法。例如，基于NAL单元类型，视频解码器可识别TFD图片且不完全解码TFD图片。如果视频解码器30确定图片为DLP，那么视频解码器30可解码图片。

图3的视频解码器30表示可经配置以执行本发明的技术中的任一者的视频编码器的实例。例如，视频编码器20可经配置以译码RAP图片并译码所述RAP图片的一或多个可解码前置图片DLP，使得经标记为舍弃的所有图片按显示次序先于与所述RAP图片相关联的DLP。DLP可包含具有早于RAP图片的显示次序值的显示次序值且不指按解码次序早于所述RAP图片的视频数据的一或多个图片。视频解码器30也可相对于RAP图片译码一或多个前置图片，使得RAP图片的所有前置图片按解码次序先于RAP图片的所有结尾图片，其中结尾图片包含具有大于RAP图片的显示次序值的显示次序值的图片。RAP图片可包含(例如)CRA图片和BLA图片中的一者。按解码次序先于CRA或BLA图片的任一图片可按显示次序先于与CRA图片或BLA图片相关联的任何DLP图片。视频编码器20也可译码与RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于RAP图片且按解码次序在RAP图片之后，且视频解码器30可译码与RAP图片相关联的一或多个结尾图片，使得所有前置图片按解码次序先于所有结尾图片，其中所述结尾图片按显示次序值和按解码次序两者皆在RAP图片之后。

视频解码器30也可译码与RAP图片相关联的一或多个标记为舍弃(TFD)的图片。所述一或多个TFD图片可按显示次序值先于RAP图片且按解码次序在RAP图片之后并参照按解码次序早于RAP图片的视频数据。视频编码器20可通过译码与RAP图片相关联的一或多个DLP使得所有TFD图片按显示次序先于DLP而译码RAP图片的一或多个DLP，其中所述DLP按显示次序先于RAP图片且按解码次序在RAP图片之后且不参照按解码次序早于RAP图片的视频数据。

视频解码器30也可译码按解码次序先于RAP图片的一或多个图片。视频解码器30可通过译码与RAP图片相关联的一或多个DLP使得按解码次序先于RAP图片的所有图片按显示次序也先于所有DLP而译码所述一或多个DLP。DLP可按显示次序先于RAP图片且按解码次序在RAP图片之后且不参照按解码次序早于RAP图片的视频数据。

图4为说明经译码视频图片100到图片132的序列的概念图。图4说明RAP、前置图片、TFD和结尾图片之间的关系。图片以不同方式划阴影以指示在阶层预测结构内的位置。例如，图片100、116和132具有黑色阴影，以表示图片100、116和132位于阶层式预测结构的顶部。图片100、116和132可包括(例如)以单一方向从其它图片预测的经帧内译码的图片或经帧间译码的图片(例如，P图片)。当进行帧内译码时，图片100、116、132仅从同一图片内的数据中预测。当进行帧间译码时，如从图片116到图片100的虚线箭头所指示，图片116(例如)可关于图片100的数据进行译码。图片116、132分别形成图片群组(GOP)134、136的关键图片。

图片108、124具有深阴影，以指示所述图片接着在编码阶层中位于图片100、116和132之后。图片108、124可包括经双向帧间模式预测编码的图片。例如，图片108可从图片100和116的数据而预测，而图片124可从图片116和132而预测。图片104、112、120和128具有浅阴影，以指示所述图片接着在编码阶层中位于图片108与124之后。图片104、112、120和128也可包括经双向帧间模式预测编码的图片。例如，图片104可从图片100和108而预测，图片112可从图片108和116而预测，图片120可从图片116和124而预测，且图片128可从图片124和132而预测。一般来说，阶层中较低的图片可从阶层中较高的任何参考图片而编码，假设所述参考图片仍在解码图片缓冲器中缓冲，且假设所述参考图片相比当前正经译码的图片更早地进行译码。

最后，图片102、106、110、114、118、122、126和130具有白色阴影，以指示这些图片在编码阶层位于最后。图片102、106、110、114、118、122、126和130可为经双向帧间模式预测编码的图片。图片102可从图片100和104而预测，图片106可从图片104和108而预测，图片110可从图片108和112而预测，图片114可从图片112和116而预测，图片118可从图片116和120而预测，图片122可从图片120和124而预测，图片126可从图片124和128而预测，且图片130可从图片128和132而预测。此外，应理解，译码阶层中较低的图片可从译码阶层中较高的其它图片而译码。例如，另外或在替代方案中，图片102、106、110或114中的任一者或全部可相对于图片100、116或108中的任一者而预测。

图片100到图片132是以显示次序进行说明。即，继解码之后，图片100显示于图片102之前，图片102显示于图片104之前，等等。如上文所论述，POC值大体上描述图片的显示次序，所述显示次序也实质上与原图片被编码之前经俘获或产生的次序相同。然而，归因于编码阶层，图片100到132可以不同次序进行解码。此外，在进行编码时，图片100到132可以解码次序而布置于包含图片100到132的经编码数据的位流中。例如，在GOP 134的图片中，图片116可最后一个显示。然而，归因于编码阶层，在GOP 134中，图片116可第一个解码。即，为了适当地解码图片108，例如，图片116可能需要第一个解码，以便充当图片108的参考图片。类似地，图片108可充当图片104、106、110和112的参考图片，且因此可能需要在图片104、106、110和112之前解码。

此外，某些图片可作为长期参考图片对待，而其它图片可作为短期参考图片对待。例如，假定图片100和116表示长期参考图片，而图片108、104和112表示短期参考图片。在此实例中，可能存在以下状况：图片102和106可关于图片100、116、108或104中的任一者进行预测，而图片110和114可关于图片100、116、108或112中的任一者进行预测。换句话说，图片104可能无法在译码图片110和114时用于参考。作为另一实例，假设图片100和116表示长期参考图片，且图片108、104和112表示短期参考图片，图片108、104和112可能无法在译码图片118、122、126和130时用于参考。根据本发明的技术，关于长期参考图片的数据可在切片的切片标头中发信以用于图片100到132中的任一者或全部。

在图4的实例中，箭头表示潜在预测关系，其中每一箭头的尾端表示可经预测的图片，且每一箭头的头部表示可预测图片的图片(即，箭头头部指向潜在参考图片)。尽管图片116具有指向图片100的箭头，但出于例证的目的，假定图片116经帧内预测译码(即，在不参考任何其它图片情况下译码)。此外，假定图片108参考图片116而经译码为P图片。此外，假定图片116被用作随机存取点，例如，用作IDR、BLA或CRA图片。即，以图片116起始检索的位流将包含按解码次序的图片102到132中的每一者，但将不包含图片100。

在此实例中，在上文所述假定下，图片102、104和106表示TFD图片，因为图片102、104和106直接或间接地取决于图片100。图片108到114表示DLP的实例，因为图片108到114并不直接或间接地取决于图片100，且具有早于图片116的显示次序，但具有迟于图片116的解码次序。图片118到132在此实例中表示结尾图片，因为图片118到132的显示次序和解码次序两者皆迟于图片116。根据本发明的技术，当译码RAP图片的一或多个DLP时，可译码DLP，使得经标记为舍弃的所有图片按显示次序先于与RAP图片相关联的DLP。例如，如上文参看图2所论述，当译码图片108时，模式选择单元40可确定相对于(例如)图片116将图片108译码为P图片。以此方式，图片108可经分类为DLP。因此，模式选择单元40可确定也将图片110、112、114中的每一者译码为DLP而非TFD。类似地，视频解码器30可在确定图片108为DLP之后确定按输出次序的后续图片为可解码的。另一方面，视频解码器30可在不解码情况下简单地剖析为TFD的任何图片的数据。在此实例中，视频解码器30可确定图片102、104和106为TFD图片，且因此在不试图解码这些图片的情况下简单地剖析所述图片的数据。对于具有迟于图片108的输出次序的图片，视频解码器30可在不确定图片为TFD或是DLP的情况下开始正常地解码，因为根据本发明中提议的限制，所有TFD图片按输出次序先于所有DLP图片。

如上文所论述，本发明提议若干限制用于支持基于这些各种类型图片的随机存取。首先，RAP图片的所有TFD图片应具有早于RAP的所有DLP的显示次序值的显示次序值。此限制可改善观看者的观看体验，因为其避免帧速率的突变。即，如果存在不能被正确地解码的一或多个图片(即，TFD图片)，如果这些图片具有与DLP混合的显示次序值，那么帧速率将出现突变，此将减损用户体验。本发明也提议防止前置图片与“结尾图片”在解码次序方面交错的限制。即，根据本发明的技术，视频译码器可确保所有前置图片(包含TFD图片和DLP两者)具有早于具有大于对应RAP图片的显示次序值的显示次序值的图片的解码次序值的解码次序值。如上文提及，“结尾图片”为按解码次序和按显示次序两者皆在RAP图片之后的图片。

图5为说明形成网络150的部分的装置的实例集合的框图。在此实例中，网络150包含路由装置154A、154B(路由装置154)和转码装置156。路由装置154和转码装置156希望表示可形成网络150的部分的小数目个装置。例如交换器、集线器、网关、防火墙、桥接器和其它这些装置的其它网络装置也可包含于网络150内。此外，可沿着服务器装置152与客户端装置158之间的网络路径提供额外网络装置。在一些实例中，服务器装置152可对应于源装置12(图1)，而客户端装置158可对应于目的地装置14(图1)。

一般来说，路由装置154实施一或多个路由协议以经由网络150交换网络数据。一般来说，路由装置154执行路由协议以发现经由网络150的路线。通过执行这些路由协议，路由装置154B可发现从其自身经由路由装置154A到服务器装置152的网络路线。

图6为说明本发明的实例技术的流程图。将参考一般视频译码器来描述图6的技术。此一般视频译码器可(例如)对应于视频编码器20或视频解码器30中的任一者。视频译码器译码RAP图片(161)。所述RAP图片可包含干净随机存取图片和中断链路存取图片中的一者。视频译码器译码RAP图片的一或多个DLP，使得所有目标用于舍弃的图片按显示次序先于与RAP图片相关联的DLP(162)。DLP可包含具有早于RAP图片的显示次序值的显示次序值且不指按解码次序早于RAP图片的视频数据的一或多个图片。

图7为说明本发明的实例技术的流程图。将参考一般视频译码器来描述图7的技术。此一般视频译码器可(例如)对应于视频编码器20或视频解码器30中的任一者。视频译码器译码RAP图片(171)。视频译码器译码与RAP图片相关联的一或多个TFD图片，其中TFD图片按显示次序先于所述RAP图片且按解码次序在RAP图片之后并参照按解码次序早于RAP图片的视频数据(172)。视频译码器译码与RAP图片相关联的一或多个DLP，使得所有TFD图片按显示次序先于DLP，其中DLP按显示次序先于RAP图片且按解码次序在RAP图片之后且不参照按解码次序早于RAP图片的视频数据(173)。

图8为说明本发明的实例技术的流程图。将参考一般视频译码器来描述图8的技术。此一般视频译码器可(例如)对应于视频编码器20或视频解码器30中的任一者。视频译码器译码RAP图片(181)。视频译码器译码与RAP图片相关联的一或多个前置图片，其中前置图片按显示次序先于RAP图片并按解码次序在RAP图片之后(182)。视频译码器译码与RAP图片相关联的一或多个结尾图片，使得所有前置图片按解码次序先于所有结尾图片，其中所述结尾图片按显示次序和按解码次序两者皆在RAP图片之后(183)。

图9为说明本发明的实例技术的流程图。将参考一般视频译码器来描述图9的技术。此一般视频译码器可(例如)对应于视频编码器20或视频解码器30中的任一者。视频译码器译码按解码次序先于RAP图片的一或多个图片(191)。视频译码器译码RAP图片(192)。视频译码器译码与RAP图片相关联的一或多个DLP，使得按解码次序先于RAP图片的所有图片按显示次序也先于所有DLP，其中DLP按显示次序先于RAP图片且按解码次序在RAP图片之后且不参照按解码次序早于RAP图片的视频数据(193)。

图10为说明本发明的实例技术的流程图。图10的技术可(例如)由视频编码器20的模式选择单元40执行。模式选择单元40可编码RAP图片(202)。对于下一图片，在RAP图片后，模式选择单元40可确定是将下一图片译码为TFD或是DLP(204)。如果模式选择单元40将下一图片编码为TFD(206)，那么对于后续图片，模式选择单元40可再次确定是将所述图片译码为TFD或是DLP(204)。一旦模式选择单元40将在RAP图片之后的图片译码为DLP(208)，那么模式选择单元便将后续图片编码为DLP(210)。在图10的实例中，“下一图片”一般指按输出次序的后续图片。仍允许DLP和TFD的解码次序交错，而输出次序交错可能被禁止。

图11为说明本发明的实例技术的流程图。图11的技术可(例如)由视频解码器30执行。视频解码器30可解码RAP图片并确定所述图片待用于随机存取位流。对于位流中之下一图片，视频解码器30可(例如)基于图片的NAL单元类型来确定图片是TFD图片或是DLP(214)。如果图片为TFD，那么视频解码器30可跳过TFD图片的解码(216)。如果图片为DLP，那么视频解码器30可解码DLP(218)。

尽管图6、7、8、9、10和11的技术已单独地呈现，但预期图6、7、8、9、10和11中所呈现的技术的方面可同时实施。也应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可增添、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或事件皆是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非顺序地执行动作或事件。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合予以实施。如果以软件予以实施，那么所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、程序代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，任何连接可适当地被称作计算机可读媒体。例如，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电和微波)而从网站、服务器或其它远端源传输指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为，是有关非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各物的组合也应包含于计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可以多种装置或设备实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要由不同硬件单元来实现。相反地，如上文所描述，可将各种单元组合于编解码器硬件单元中，或由互操作性硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适软件和/或固件来提供所述单元。

已描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (60)

1.一种解码视频数据的方法，所述方法包括：

解码随机存取点RAP图片；以及

解码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

2.根据权利要求1所述的方法，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

3.根据权利要求1所述的方法，其进一步包括相对于所述RAP图片解码一或多个前置图片，使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

4.根据权利要求1所述的方法，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

5.根据权利要求4所述的方法，其中按解码次序先于CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

6.根据权利要求1所述的方法，所述方法进一步包括：

解码与所述RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及

解码与所述RAP图片相关联的一或多个结尾图片，使得所有所述前置图片按解码次序先于所有所述结尾图片，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

7.根据权利要求1所述的方法，所述方法进一步包括：

解码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

8.根据权利要求7所述的方法，其中解码所述RAP图片的所述一或多个DLP包括解码与所述RAP图片相关联的所述一或多个DLP，使得所有所述TFD图片按显示次序先于所述DLP，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

9.根据权利要求1所述的方法，所述方法进一步包括：

解码按解码次序先于所述RAP图片的一或多个图片；且

其中解码所述一或多个DLP包括解码与所述RAP图片相关联的所述一或多个DLP，使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

10.根据权利要求1所述的方法，其中解码所述RAP图片是作为视频编码过程的部分而执行。

11.一种用于解码视频数据的装置，所述装置包括：

视频解码器，其经配置以解码一随机存取点RAP图片；以及

解码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

12.根据权利要求11所述的装置，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

13.根据权利要求11所述的装置，其中所述视频解码器经进一步配置以相对于所述RAP图片解码一或多个前置图片，使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

14.根据权利要求11所述的装置，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

15.根据权利要求14所述的装置，其中按解码次序先于CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

16.根据权利要求11所述的装置，其中所述视频解码器经进一步配置以：解码与所述RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及解码与所述RAP图片相关联的一或多个结尾图片，使得所有所述前置图片按解码次序先于所有所述结尾图片，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

17.根据权利要求11所述的装置，其中所述视频解码器经进一步配置以解码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

18.根据权利要求17所述的装置，其中所述视频解码器经配置以通过解码与所述RAP图片相关联的所述一或多个DLP使得所有所述TFD图片按显示次序先于所述DLP而解码所述RAP图片的所述一或多个DLP，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

19.根据权利要求11所述的装置，其中所述视频解码器经进一步配置以解码按解码次序先于所述RAP图片的一或多个图片；且其中所述视频解码器经配置以通过解码与所述RAP图片相关联的所述一或多个DLP使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP而解码所述一或多个DLP，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

20.根据权利要求11所述的装置，其中所述装置包括以下各者中的至少一者：

集成电路；

微处理器；以及

无线通信装置，其包含所述视频解码器。

21.一种用于解码视频数据的设备，所述设备包括：

用于解码随机存取点RAP图片的装置；以及

用于解码所述RAP图片的一或多个可解码前置图片DLP使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP的装置。

22.根据权利要求21所述的设备，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

23.根据权利要求21所述的设备，其进一步包括用于相对于所述RAP图片解码一或多个前置图片使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片的装置，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

24.根据权利要求21所述的设备，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

25.根据权利要求24所述的设备，其中按解码次序先于CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

26.根据权利要求21所述的设备，所述设备进一步包括：

用于解码与所述RAP图片相关联的一或多个前置图片的装置，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及

用于解码与所述RAP图片相关联的一或多个结尾图片使得所有所述前置图片按解码次序先于所有所述结尾图片的装置，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

27.根据权利要求21所述的设备，所述设备进一步包括：

用于解码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片的装置，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

28.根据权利要求27所述的设备，其中所述用于解码所述RAP图片的所述一或多个DLP的装置包括用于解码与所述RAP图片相关联的所述一或多个DLP使得所有所述TFD图片按显示次序先于所述DLP的装置，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

29.根据权利要求21所述的设备，所述设备进一步包括：

用于解码按解码次序先于所述RAP图片的一或多个图片的装置；且

其中所述用于解码所述一或多个DLP的装置包括用于解码与所述RAP图片相关联的所述一或多个DLP使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP的装置，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

30.一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时使所述一或多个处理器执行以下操作：

解码随机存取点RAP图片；以及

解码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

31.一种编码视频数据的方法，所述方法包括：

编码随机存取点RAP图片；以及

编码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

32.根据权利要求31所述的方法，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

33.根据权利要求31所述的方法，其进一步包括相对于所述RAP图片编码一或多个前置图片，使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

34.根据权利要求31所述的方法，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

35.根据权利要求34所述的方法，其中按解码次序先于一CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

36.根据权利要求31所述的方法，所述方法进一步包括：

编码与所述RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及

编码与所述RAP图片相关联的一或多个结尾图片，使得所有所述前置图片按解码次序先于所有所述结尾图片，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

37.根据权利要求31所述的方法，所述方法进一步包括：

编码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

38.根据权利要求37所述的方法，其中编码所述RAP图片的所述一或多个DLP包括编码与所述RAP图片相关联的所述一或多个DLP，使得所有所述TFD图片按显示次序先于所述DLP，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

39.根据权利要求31所述的方法，所述方法进一步包括：

编码按解码次序先于所述RAP图片的一或多个图片；且

其中编码所述一或多个DLP包括编码与所述RAP图片相关联的所述一或多个DLP，使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

40.根据权利要求31所述的方法，其中编码所述RAP图片是作为视频编码过程的部分而执行。

41.一种用于编码视频数据的装置，所述装置包括：

视频编码器，其经配置以编码随机存取点RAP图片；以及编码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。

42.根据权利要求41所述的装置，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

43.根据权利要求41所述的装置，其中所述视频编码器经进一步配置以相对于所述RAP图片编码一或多个前置图片，使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

44.根据权利要求41所述的装置，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

45.根据权利要求44所述的装置，其中按解码次序先于CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

46.根据权利要求41所述的装置，其中所述视频编码器经进一步配置以：编码与所述RAP图片相关联的一或多个前置图片，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及编码与所述RAP图片相关联的一或多个结尾图片，使得所有所述前置图片按解码次序先于所有所述结尾图片，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

47.根据权利要求41所述的装置，其中所述视频编码器经进一步配置以编码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

48.根据权利要求47所述的装置，其中所述视频编码器经配置以编码所述RAP图片的所述一或多个DLP包括编码与所述RAP图片相关联的所述一或多个DLP，使得所有所述TFD图片按显示次序先于所述DLP，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

49.根据权利要求41所述的装置，其中所述视频编码器经进一步配置以编码按解码次序先于所述RAP图片的一或多个图片；且其中所述视频编码器经配置以通过编码与所述RAP图片相关联的所述一或多个DLP来编码所述一或多个DLP，使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

50.根据权利要求41所述的装置，其中所述装置包括以下各者中的至少一者：

集成电路；

微处理器；以及

无线通信装置，其包含所述视频编码器。

51.一种用于编码视频数据的设备，所述设备包括：

用于编码随机存取点RAP图片的装置；以及

用于编码所述RAP图片的一或多个可解码前置图片DLP使得经标记为舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP的装置。

52.根据权利要求51所述的设备，其中所述DLP包括具有指示早于所述RAP图片的显示次序值的显示次序的显示次序值并具有指示迟于所述RAP图片的解码次序值的解码次序的解码次序值的一或多个图片，且其中所述一或多个图片不参照按解码次序早于所述RAP图片的视频数据。

53.根据权利要求51所述的设备，其进一步包括用于相对于所述RAP图片编码一或多个前置图片使得所述RAP图片的所有所述前置图片按解码次序先于所述RAP图片的所有结尾图片的装置，其中所述结尾图片包括具有大于所述RAP图片的显示次序值的显示次序值的图片。

54.根据权利要求51所述的设备，其中所述RAP图片包括干净随机存取CRA图片和中断链路存取BLA图片中的一者。

55.根据权利要求54所述的设备，其中按解码次序先于CRA或BLA图片的任一图片按显示次序先于与所述CRA图片或所述BLA图片相关联的任一DLP图片。

56.根据权利要求51所述的设备，所述设备进一步包括：

用于编码与所述RAP图片相关联的一或多个前置图片的装置，其中所述前置图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后；以及

用于编码与所述RAP图片相关联的一或多个结尾图片使得所有所述前置图片按解码次序先于所有所述结尾图片的装置，其中所述结尾图片按显示次序值和按解码次序两者皆在所述RAP图片之后。

57.根据权利要求51所述的设备，所述设备进一步包括：

用于编码与所述RAP图片相关联的一或多个经标记为舍弃TFD的图片的装置，其中所述一或多个TFD图片按显示次序值先于所述RAP图片且按解码次序在所述RAP图片之后并参照按所述解码次序早于所述RAP图片的视频数据。

58.根据权利要求57所述的设备，其中所述用于编码所述RAP图片的所述一或多个DLP的装置包括用于编码与所述RAP图片相关联的所述一或多个DLP使得所有所述TFD图片按显示次序先于所述DLP的装置，其中所述DLP按显示次序先于所述RAP图片且按所述解码次序在所述RAP图片之后且不参照按所述解码次序早于所述RAP图片的视频数据。

59.根据权利要求51所述的设备，所述设备进一步包括：

用于编码按解码次序先于所述RAP图片的一或多个图片的装置；且

其中所述用于编码所述一或多个DLP的装置包括用于编码与所述RAP图片相关联的所述一或多个DLP使得按解码次序先于所述RAP图片的所有图片按显示次序也先于所有所述DLP的装置，其中所述DLP按显示次序先于所述RAP图片且按解码次序在所述RAP图片之后且不参照按解码次序早于所述RAP图片的视频数据。

60.一种存储指令的计算机可读存储媒体，所述指令当由一或多个处理器执行时使所述一或多个处理器执行以下操作：

编码随机存取点RAP图片；以及

编码所述RAP图片的一或多个可解码前置图片DLP，使得目标用于舍弃的所有图片按显示次序先于与所述RAP图片相关联的所述DLP。