CN103959793A - 参考图像集的有效率发信号 - Google Patents

Abstract

本发明提供一种视频译码器，其可选择应在例如图像参数集PPS等参数集中用信号发出哪些参考图像及应在切片标头中用信号发出哪些参考图像，以使得当视频解码器构造参考图像集时，所述视频解码器不需要重新排序所述参考图像集以构造用于视频数据切片的初始参考图像列表。

Description

参考图像集的有效率发信号

本申请案主张以下各申请案的权利：

2011年10月10日申请的第61／545,525号美国临时申请案；以及，

2011年10月21日申请的第61／550,276号美国临时申请案，

所述申请案中的每一者的整个内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码且，更明确地说，涉及用于译码视频数据的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，广泛范围的装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电话会议装置、视频流装置，及其类似者。数字视频装置实施视频压缩技术，例如以下各者中所描述的视频压缩技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264／MPEG-4(第10部分，高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准，以及此类标准的扩展。视频装置可通过实施此类视频压缩技术而更有效率地传输、接收、编码、解码及／或存储数字视频信息。

视频压缩技术执行空间(图像内)预测和／或时间(图像间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频图像或视频图像的一部分)分割成多个视频块，所述视频块还可被称作树块、译码树块(CTB)、译码树单元(CTU)、译码单元(CU)和／或译码节点。图像的经帧内译码(I)切片中的视频块是使用相对于相同图像中的相邻块中的参考样本的空间预测来编码。图像的经帧间译码(P或B)切片中的视频块可使用相对于相同图像中的相邻块中的参考样本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧，且参考图像可被称作参考帧。

空间预测或时间预测导致译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量以及指示经译码块与预测性块之间的差异的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可进行量化的残余变换系数。可扫描最初以二维阵列布置的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

发明内容

本发明的技术一般来说是关于用于视频译码过程中的帧间预测的参考图像的管理。更具体来说，本发明的技术是关于选择应在例如图像参数集(PPS)等参数集中用信号发出哪些参考图像及应在切片标头中用信号发出哪些参考图像，以使得当视频解码器构造参考图像集时，所述视频解码器不需要记录所述参考图像集以构造用于视频数据切片的初始参考图像列表。

在一个实例中，一种用于译码视频数据的方法包含：确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间的依据输出次序的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

在另一实例中，一种用于译码视频数据的装置包含视频译码器，所述视频译码器经配置以：确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间的依据输出次序的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

在另一实例中，一种用于译码视频数据的装置包含：用于确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集的装置，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间的依据输出次序的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及用于基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集的装置。

在另一实例中，一种存储指令的非暂时性计算机可读存储媒体，所述指令在由一个或一个以上处理器执行时致使所述一个或一个以上处理器进行以下操作：确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间的依据输出次序的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

一个或一个以上实例的细节阐述于随附图式及以下描述中。其它特征、目标及优点将从描述和图式及从权利要求书而显而易见。

附图说明

图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。

图2为说明包含经编码及经传输的多个图像的实例视频序列的概念图。

图3为说明可实施本发明中所描述的技术的实例视频编码器的框图。

图4为说明可实施本发明中所描述的技术的实例视频解码器的框图。

图5为说明导出参考图像集的实例操作的流程图。

图6为说明构造参考图像列表的实例操作的流程图。

图7为说明构造参考图像列表的实例操作的流程图。

具体实施方式

本发明的技术一般来说是关于用于视频译码过程中的帧间预测的参考图像的管理。更具体来说，本发明的技术是关于选择应在例如图像参数集(PPS)等参数集中用信号发出哪些参考图像及应在切片标头中用信号发出哪些参考图像，以使得当视频解码器构造参考图像集时，所述视频解码器不需要记录所述参考图像集以构造用于视频数据切片的初始参考图像列表。

视频译码器(例如，视频编码器或视频解码器)通常包含已解码图像缓冲器(DPB)。DPB存储已解码图像，包含参考图像。参考图像为可潜在地用于对图像进行帧间预测的图像。因此，视频译码器可基于存储在DPB中的参考图像的一个或一个以上块而预测当前正被译码的图像的块。

为了有效率地利用DPB，可以视频编码器已知哪些参考图像将可供视频解码器使用的方式指定DPB管理过程。可加以指定的DPB管理的方面包含(例如)DPB中的已解码图像的存储过程、参考图像的标记过程、将已解码图像从DPB中输出及去除过程，等等。一般来说，在一些当前及开发中的视频译码标准中，DPB管理可包含以下方面中的一者或一者以上：图像识别及参考图像识别、参考图像列表构造、参考图像标记、将图像从DPB中输出、将图像插入到DPB中，及将图像从DPB中去除。

为了辅助理解，以下描述提供对可如何根据一些视频译码标准发生参考图像标记及参考图像列表构造的简要概述。对于参考图像标记，在有效序列参数集中指示用于进行帧间预测的参考图像的最大数目，其被称作M(num_ref_frames)。当参考图像经解码时，其被标记为“用于参考”。如果参考图像的解码致使将M个以上图像标记为“用于参考”，那么至少一个图像必须被标记为“不用于参考”。如果经标记为“不用于参考”的图像也不需要输出，那么DPB去除过程将经标记为“不用于参考”的图像从DPB中去除。

当图像经解码时，所述图像可能为非参考图像或参考图像。参考图像可为长期参考图像或短期参考图像，且当参考图像经标记为“不用于参考”时，所述参考图像可变得不再需要供参考。在一些视频译码标准中，可能存在改变参考图像的状态的参考图像标记操作。

可能存在用于参考图像标记的两种类型的控制操作，其一般被称作滑动窗控制和自适应存储器控制。用于参考图像标记的操作模式可基于图像而选择。滑动窗操作可通过固定数目个短期参考图像以先进先出队列的形式运作。换句话说，在滑动窗操作中，可以隐含式方式首先去除具有最早解码时间的短期参考图像(标记为不用于参考的图像)。

与此对比，自适应存储器控制操作显式地去除短期或长期参考图像。自适应存储器控制操作还使得能够切换短期和长期参考图像的状态等。举例来说，在自适应存储器控制操作中，视频编码器可用信号发出指定应将哪些图像标记为用于参考的语法元素。视频解码器可接收语法元素且如所指定标记图像。与自适应存储器控制操作不同，在滑动窗操作中，视频编码器可能不需要用信号发出应将哪些图像标记为用于参考。而是，视频解码器可基于哪些图像在滑动窗内而隐含式地(即，不接收语法元素)确定应将哪些图像标记为用于参考。

视频译码器还可将针对每一视频切片构造指示哪些参考图像可用于帧间预测目的的参考图像列表作为任务。这些参考图像列表中的两者分别被称作列表0和列表1。视频译码器首先使用默认构造技术来构造用于视频切片的列表0和列表1(例如，用于构造列表0和列表1的经预先配置的构造方案)。视情况，在构造初始列表0和列表1之后，视频解码器可解码语法元素，当存在语法元素时，语法元素可指导视频解码器修改初始列表0和列表1。

视频编码器可用信号发出指示DPB中的参考图像的识别符的语法元素，且视频编码器还可在列表0、列表1或列表0与列表1两者内用信号发出包含索引的语法元素，所述索引指示哪一参考图像或哪些参考图像将用以解码当前图像的经译码块。反过来，视频解码器使用所接收识别符识别列表0、列表1或列表0与列表1两者中所列出的一个或一个以上参考图像的一个或一个以上索引值。根据所述一个或一个以上参考图像的(多个)索引值以及(多个)识别符，视频解码器从DPB中检索所述一个或一个以上参考图像或所述一个或一个以上参考图像的部分，且基于所述一个或一个以上所检索的参考图像和一个或一个以上运动向量而解码当前图像的经译码块，所述一个或一个以上运动向量识别所述一个或一个以上参考图像内用于解码经译码块的块。

用于经双向预测图像的第一参考图像列表或第二参考图像列表的参考图像列表构造可包含两个步骤：参考图像列表初始化及参考图像列表修改(还被称作参考图像列表重新排序)。参考图像列表初始化可为隐含式机制，其基于图像序列号次序(Picture OrderCount，POC，与图像的显示次序对准)值将参考图像存储器(还被称为已解码图像缓冲器)中的参考图像置于列表中。参考图像列表重新排序机制可将在参考图像列表初始化期间置于列表中的图像的位置修改成任何新位置，或甚至在图像并不属于经初始化的列表的情况下，将参考图像存储器中的任何参考图像置于任何位置中。在参考图像列表重新排序(修改)之后，一些图像可能置于列表中非常远的位置中。然而，如果图像的位置超过列表的有效参考图像的数目，那么所述图像将不被视为最终参考图像列表的条目。可在每一列表的切片标头中用信号发出有效参考图像的数目。

本发明中所描述的技术可适用于各种视频译码标准。视频译码标准的实例包含ITU-T H.261、ISO／IEC MPEG-1视频、ITU-T H.262或ISO／IEC MPEG-2视频、ITU-TH.263、ISO／IEC MPEG-4视频以及ITU-T H.264(还被称为ISO／IEC MPEG-4AVC)，包含其可调式视频译码(SVC)和多视角视频译码(MVC)扩展。另外，存在新的视频译码标准，即，高效率视频译码(HEVC)，其是由ITU-T视频译码专家组(VCEG)和ISO／IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发。

仅为了说明的目的，在HEVC标准的上下文中描述技术。从2012年10月8日时起，可从http：／／phenix.int-evry.fr／jct／doc_end_user／documents／10_Stockholm／wg11／JCTVC-J1003-v8.zip得到HEVC的最新工作草案(WD)(且在下文中被称作HEVC WD8)。

根据本发明中所描述的技术，从参考图像集构造参考图像列表。参考图像集一般经定义为与图像相关联的参考图像集合，其由在解码次序上在相关联的图像之前的所有参考图像组成，且其可用于对相关联的图像中的块或对在解码次序上在相关联的图像之后的任何图像进行帧间预测，例如，直到下一瞬时解码刷新(instantaneous decoding refresh，IDR)图像或断链接入(broken link access，BLA)图像为止。换句话说，参考图像集中的参考图像可能需要以下特性：(1)其在解码次序上全部在当前图像之前，以及(2)其可用于对当前图像进行帧间预测及／或对在解码次序上在当前图像之后的任何图像进行帧间预测，且在一些实例中，对在解码次序上在当前图像之后的任何图像进行帧间预测，直到下一IDR图像或BLA图像为止。可能存在关于参考图像集的其它替代定义，下文提供所述其它替代定义。

在本发明中所描述的实例技术中，视频译码器(例如，视频编码器或视频解码器)可导出参考图像集，且在此导出之后，视频译码器可构造用于视频数据切片的参考图像列表。举例来说，仅参考图像集中的参考图像可为用以构造用于切片的参考图像列表的候选参考图像。

为了构造参考图像集，视频译码器可构造多个参考图像子集。参考图像子集的组合可一起形成参考图像集。举例来说，视频编码器可在经译码位流中显式地用信号发出允许视频解码器确定用于包含在参考图像集中的参考图像的识别符的值。举例来说，参考图像的识别符可为图像序列号。每一图像与一个图像序列号(被称作PicOrderCnt)相关联。PicOrderCnt指示相对于解码次序上的先前IDR图像的对应图像的输出次序或显示次序，且，在一些其它替代例中，指示相对于相同经译码视频序列中的其它图像的输出次序位置的相关联的图像的输出次序位置。

PicOrderCnt可被称作图像序列号(POC)值。POC值可指示图像的输出或显示次序，且可用以识别图像。举例来说，在经译码视频序列内，具有较小POC值的图像比具有较大POC值的图像早输出或显示。

视频解码器可确定用于参考图像的识别符，且从这些识别符，视频解码器可构造所述多个参考图像子集。根据这些参考图像子集，视频解码器可导出参考图像集，如下文更详细描述。在一些实例中，参考图像子集中的每一者包含不同参考图像，这意味着所述参考图像子集中的参考图像不存在重叠。以此方式，参考图像中的每一者可能仅在参考图像子集中的一者中，且不在任何其它参考图像子集中。然而，本发明的方面不应被视为受此限制。

在确定参考图像集或参考图像集的子集中的参考图像的识别符(例如，POC值)之后，视频解码器可构造参考图像子集。如下文更详细描述，视频解码器可构造六个参考图像子集，但视频解码器可能有可能构造更多或更少个参考图像子集。

这些六个参考图像子集命名为：RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr，和RefPicSetLtFoll。RefPicSetStCurr0参考图像子集可被称作RefPicSetStCurrBefore参考图像子集，且RefPicSetStCurr1参考图像子集可被称作RefPicSetStCurrAfter参考图像子集。

RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1参考图像子集可识别短期参考图像。在一些实例中，这些参考图像子集可基于以下各者而识别短期参考图像：短期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，以及短期参考图像是否可潜在地用于对当前图像及在解码次序上在当前图像之后的图像进行帧间预测，或是否可潜在地用于仅对在解码次序上在当前图像之后的图像进行帧间预测。

举例来说，RefPicSetStCurr0参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息(例如，POC值)：具有比当前图像的输出或显示次序早的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetStCurr1参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序迟的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。

RefPicSetStFoll0参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序早的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。RefPicSetStFoll1参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序迟的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。

RefPicSetLtCurr和RefPicSetLtFoll参考图像子集可识别长期参考图像。在一些实例中，这些参考图像子集可基于长期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，识别长期参考图像。

举例来说，RefPicSetLtCurr参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息：可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetLtFoll参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息：可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。

在构造参考图像子集之后，视频解码器可将所述参考图像子集以不同次序排序以导出参考图像集。作为一个实例，参考图像集的次序可为RefPicSetStCurr0、RefPicSetSetCurr1、RefPicSetFoll0、RefPicSetFoll1、RefPicSetLtCurr，及RefPicSetLtFoll。然而，所述子集的其它排序可能有可能导出参考图像集。举例来说，作为另一实例，参考图像集的次序可为RefPicSetStCurr0参考图像子集、后接续有RefPicSetStCurr1参考图像集、后接续有RefPicSetLtCurr参考图像子集、后接续有RefPicSetStFoll0参考图像子集、后接续有RefPicSetFoll1参考图像子集，且后接续有RefPicSetLtFoll参考图像子集。

根据本发明中所描述的技术，RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr子集包含可用于当前图像中的块的帧间预测中且可用于在解码次序上在当前图像之后的图像中的一者或一者以上的帧间预测中的所有参考图像。RefPicSetStFoll0、RefPicSetStFoll1和RefPicSetLtFoll子集包含不用于当前图像中的块的帧间预测中而可用于在解码次序上在当前图像之后的图像中的一者或一者以上的帧间预测中的所有参考图像。

应理解，仅用于说明目的而描述六个参考图像子集，且所述情形不应被视为限制性的。在替代实例中，可能存在更多或更少个参考图像子集。下文更详细描述在这些替代实例中的此类参考图像子集。

在本发明中所描述的一些技术中，视频解码器可能不需要将已解码图像标记为“用于参考”、“不用于参考”、“用于短期参考”或“用于长期参考”。而是，存储在DPB中的已解码图像是否需要进行帧间预测是通过其是否包含在当前图像的参考图像集中来指示。在替代实例中，视频解码器可能有可能将已解码图像标记为“用于参考”、“不用于参考”、“用于短期参考”或“用于长期参考”。在这些实例中，在视频解码器解码图像之后，所述已解码图像为参考图像且经标记为“用于参考”。接着，在调用用于参考图像集导出的过程之后，在有可能将已解码图像从DPB中去除之前，将存储在DPB中但不包含在当前图像的参考图像集中的所有参考图像标记为“不用于参考”。因此，存储在DPB中的已解码图像是否需要进行帧间预测可通过其是否经标记为“用于参考”来指示。

一旦视频解码器从所述多个参考图像子集导出参考图像集，视频解码器便可从参考图像集构造参考图像列表(例如，列表0和列表1)。举例来说，参考图像列表的构造可包含初始化步骤及可能的修改步骤。通过以上文所描述的方式导出参考图像集，视频解码器可能能够改善参考图像列表初始化及参考图像列表修改的效率且降低参考图像列表初始化及参考图像列表修改的复杂性。

可能存在视频解码器可借以构造参考图像列表的各种方式。本发明中所描述的技术提供一种机制，视频解码器可通过所述机制构造参考图像列表，而不需要将待包含在(初始)参考图像列表中的参考图像重新排序。举例来说，视频解码器可经配置以实施默认参考列表构造技术，其中视频解码器利用参考图像子集来构造初始参考图像列表。接着，如果不需要参考图像列表修改，那么最终参考图像列表可与初始参考图像列表相同，而不需要参考图像列表的任何额外重新排序。

如上文所介绍，参考图像集中的一些参考图像可在图像参数集(PPS)中用信号发出且参考图像集中的其它参考图像可在切片标头中用信号发出。视频解码器可接着使用PPS与切片标头两者中的参考图像构造参考图像集。然而，这些技术可能需要视频解码器在视频解码器可构造用于视频切片的初始参考图像列表之前，将所构造的参考图像集重新排序。此中间重新排序步骤可浪费处理循环，且由此增加了视频解码器解码当前图像所花费的时间量。

为了解决此间题，作为一个实例，本发明描述“combine_with_reference_flag”语法元素、“ref_pic_set_combination_idx”语法元素、“ref_pic_set_offset0”语法元素和“ref_pic_set_offset1”语法元素，所述语法元素指示视频解码器应使用来自PPS的哪些参考图像来构造参考图像集。所述技术还描述应用于可包含在切片标头中的图像的限制。以此方式，视频解码器可以使得视频解码器不需要在构造初始参考图像列表之前将参考图像集重新排序的方式构造参考图像集。

在本发明的技术中，当“combine_with_reference_flag”语法元素经设置为真(例如，具有值1)时，视频解码器确定将从当前图像的PPS和切片标头两者中的参考图像构造用于当前图像的参考图像集。“ref_pic_set_combination_idx”语法元素为识别PPS内的候选参考图像集合的语法元素。作为一个说明性实例，可能存在五个参考图像候选者，且每一候选者可包含10个参考图像。在此实例中，“ref_pic_set_combination_idx”语法元素的值可指所述五个候选者中的一者。

候选者中的每一者中的参考图像可根据其增量POC值来排序。POC值指示图像的输出次序，且增量POC值可为当前图像的POC值与参考图像的POC值之间的差。作为一个实例，一个候选者集合中的10个参考图像可具有-5到-1及1到5的增量POC值；然而，其它值是有可能的。在此实例中，增量POC值-5意味着参考图像的POC值减去当前图像的POC值为-5。因为POC值指示输出次序，所以负增量POC值可指示参考图像比当前图像早输出(例如，显示)，且正增量POC值可指示参考图像在当前图像之后输出。

ref_pic_set_offset0语法元素的值指示应将在输出次序上比当前图像早的多少个参考图像从所识别的候选者中去除。ref_pic_set_offset1语法元素的值指示应将在输出次序上比当前图像迟的多少个参考图像从所识别的候选者集合中去除。在一些实例中，视频解码器去除的图像为在输出次序上距当前图像最远的图像。

举例来说，假设：ref_pic_set_offset0和ref_pic_set_offset1的值均等于2。在此实例中，视频解码器可将2个图像从通过ref_pic_set_combination_idx值识别的候选者的参考图像中去除。在先前实例中，参考图像可为对应于增量POC值-5到-1及1到5的参考图像。在此实例中，视频解码器可去除参考图像中对应于具有增量POC值-5到-1的参考图像的两者，及参考图像中对应于具有增量POC值1到5的参考图像的两者。另外，在一些实例中，视频解码器去除的参考图像可为对应于增量POC值-5、-4、4和5的参考图像，这是因为存在在输出次序上最远离当前图像的参考图像。

因此，在此实例中，视频解码器可确定视频解码器应使用PPS内的所识别的候选者中的参考图像中的6个参考图像。明确地说，在此实例中，参考图像将为对应于增量POC值-3到-1及1到3的参考图像。

视频解码器可接着根据切片的切片标头识别参考图像集中的剩余图像。然而，为了确保视频解码器可能不需要记录参考图像集，可能存在置于可包含在切片标头中的参考图像上的某些限制。

在一些实例中，在切片标头中识别的参考图像必须在输出次序上在距离上比在PPS中识别的参考图像中的任一者远。举例来说，与先前实例一致，具有增量POC值-6或+6的参考图像可被称为可包含在切片标头中的参考图像，这是因为此参考图像比PPS中的参考图像中的任一者远。

视频解码器可接着以两个子集的组合的形式来构造参考图像集。第一子集可包含在时间上出现在当前图像之前的参考图像，且第二子集可包含在时间上出现在当前图像之后的参考图像。视频解码器可将第一子集中的参考图像按降序POC次序从最接近当前图像的参考图像(如通过PPS中的增量POC值识别)开始到最远离当前图像的参考图像(如通过切片标头中的增量POC值识别)排序。视频解码器可将第二子集中的参考图像按升序POC次序从最接近当前图像的参考图像(如通过PPS中的增量POC值识别)开始到最远离当前图像的参考图像(如通过切片标头中的增量POC值识别)排序。以此方式，视频解码器可以使得视频解码器可能不需要在视讯解码器构造初始参考图像列表时将参考图像集重新排序的方式构造参考图像集。

图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。一般来说，参考图像集经定义为与图像相关联的参考图像集合。参考图像集由在解码次序上在相关联的图像之前的所有参考图像组成，且其可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。在一些实例中，在相关联的图像之前的参考图像可为直到下一瞬时解码刷新(IDR)图像或断链接入(BLA)图像为止的参考图像。换句话说，参考图像集中的参考图像可能在解码次序上全部在当前图像之前。而且，参考图像集中的参考图像可用于对当前图像进行帧间预测及／或对在解码次序上在当前图像之后的任何图像进行帧间预测，直到下一IDR图像或BLA图像为止。

可能存在参考图像集的其它替代定义。举例来说，参考图像集可为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(排除相关联的图像自身)组成：可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测，且具有小于或等于相关联的图像的temporal_id的temporal_id。temporal_id可为时间识别值。时间识别值可为指示哪些图像可用于译码当前图像的阶层值。一般来说，具有特定temporal_id值的图像可能有可能为用于具有相等或较大temporal_id值的图像的参考图像，但反过来不成立。举例来说，具有temporal_id值1的图像可能有可能为用于具有temporal_id值1、2、3，......的图像的参考图像，但不可能为用于具有temporal_id值0的图像的参考图像。

最低temporal_id值还可指示最低显示率。举例来说，如果视频解码器仅解码具有temporal_id值0的图像，那么显示率可为7.5个图像／秒。如果视频解码器仅解码具有temporal_id值0和1的图像，那么显示率可为15个图像／秒，等等。

作为另一实例，参考图像集可为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(排除相关联的图像自身)组成：可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。作为又一实例，参考图像集可经定义为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(有可能包含相关联的图像自身)组成：可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。作为另一实例，参考图像集可经定义为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(有可能包含相关联的图像自身)组成：可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测，且具有小于或等于相关联的图像的temporal_id的temporal_id。

作为又一实例，在参考图像集的上述定义中，用“用于进行帧间预测”替换短语“可用于进行帧间预测”。尽管可能存在参考图像集的替代定义，但在本发明中，描述具有参考图像集的以下定义的实例：参考图像集为与图像相关联的参考图像集合，其由在解码次序上在相关联的图像之前的所有参考图像组成，其可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。

举例来说，参考图像集中的参考图像中的一些参考图像为可潜在地用以对当前图像的块进行帧间预测且无法对在解码次序上在当前图像之后的图像进行帧间预测的参考图像。参考图像集中的参考图像中的一些参考图像为可潜在地用以对当前图像的块及对在解码次序上在当前图像之后的一个或一个以上图像中的块进行帧间预测的参考图像。参考图像集中的参考图像中的一些参考图像为可潜在地用以对在解码次序上在当前图像之后的一个或一个以上图像中的块进行帧间预测且无法用以对当前图像中的块进行帧间预测的参考图像。

如本发明中所使用，可潜在地用于进行帧间预测的参考图像是指可用于进行帧间预测的参考图像，但未必必须用于进行帧间预测。举例来说，参考图像集可识别可潜在地用于进行帧间预测的参考图像。然而，此情形并不意味着所有所识别的参考图像必须用于进行帧间预测。而是，这些所识别的参考图像中的一者或一者以上可用于进行帧间预测，但全部未必必须用于进行帧间预测。

如图1中所展示，系统10包含源装置12，其产生经编码视频以用于由目的地装置14解码。源装置12和目的地装置14可各自为视频译码装置的实例。源装置12可经由通信信道16将经编码视频传输到目的地装置14或可将经编码视频存储在存储媒体17或文件服务器19上，以使得经编码视频可由目的地装置14视需要存取。

源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含例如所谓的“智能型”电话、所谓的“智能型”垫等无线手机，或经装备以用于无线通信的其它此类无线装置。源装置12和目的地装置14的额外实例包含(但不限于)数字电视、数字直播系统中的装置、无线广播系统中的装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式无线电电话、卫星无线电电话、视频电话会议装置，及视频流装置、无线通信装置，或其类似者。

如上文所指示，在许多情况下，源装置12和／或目的地装置14可经装备以用于无线通信。因此，通信信道16可包括无线信道、有线信道或适合于传输经编码视频数据的无线和有线信道的组合。类似地，文件服务器19可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。

然而，本发明的技术可适用于支持多种多媒体应用中的任一者的视频译码，多种多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由互联网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及／或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20、调制器／解调器(调制解调器)22和输出接口24。在源装置12中，视频源18可包含例如以下各者等源：视频俘获装置(例如，视频摄像机)、含有先前所俘获的视频的视频存档、接收来自视频内容提供者的视频的视频馈入接口，和／或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18为视频摄像机，那么源装置12与目的地装置14可形成所谓的摄像机电话或视频电话。然而，一般来说，本发明中所描述的技术可适用于视频译码，且可应用于无线和／或有线应用。

可由视频编码器20来编码所俘获的、预先俘获的或计算机产生的视频。可由调制解调器22根据通信标准(例如，无线通信协议)来调制经编码视频信息，且经由输出接口24将经编码视频信息传输到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。输出接口24可包含经设计以用于传输数据的电路，包含放大器、滤波器和一个或一个以上天线。

由视频编码器20编码的所俘获的、预先俘获的或计算机产生的视频还可存储到存储媒体17或文件服务器19上以供稍后消耗。存储媒体17可包含蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频的任何其它合适的数字存储媒体。存储在存储媒体17上的经编码视频可接着由目的地装置14存取以用于解码及播放。

文件服务器19可为能够存储经编码视频且将所述经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储器(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据且将经编码视频数据传输到目的地装置的任何其它类型的装置。来自文件服务器19的经编码视频数据的传输可为流式传输、下载传输或流式传输与下载传输两者的组合。文件服务器19可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)或两者的组合。

在图1的实例中，目的地装置14包含输入接口26、调制解调器28、视频解码器30，和显示装置32。目的地装置14的输入接口26经由信道16接收信息(作为一个实例)，或从存储媒体17或文件服务器17接收信息(作为替代实例)，且调制解调器28解调所述信息以产生用于视频解码器30的经解调的位流。经解调的位流可包含由视频编码器20产生以供视频解码器30在解码视频数据中使用的多种语法信息。此语法还可包含在存储在存储媒体17或文件服务器19上的经编码视频数据内。作为一个实例，语法可嵌入于经编码视频数据内，但本发明的方面不应被视为限于此要求。由视频编码器20定义且还供视频解码器30使用的语法信息可包含描述视频块的特性和／或处理的语法元素，视频块例如译码树单元(CTU)、译码树块(CTB)、预测单元(PU)、译码单元(CU)，或经译码视频的其它单元，例如，视频切片、视频图像和视频序列或图像组(GOP)。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示已解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线，或无线和有线媒体的任何组合。通信信道16可形成基于包的网络(例如，局域网、广域网，或例如互联网等全球网络)的部分。通信信道16一般表示用于将视频数据从源装置12传输到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含路由器、交换器、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

视频编码器20和视频解码器30可根据视频压缩标准操作，视频压缩标准例如ITU-TH.261、ISO／IEC MPEG-1视频、ITU-T H.262或ISO／IEC MPEG-2视频、ITU-T H.263、ISO／IEC MPEG-4视频和ITU-T H.264(还被称为ISO／IEC MPEG-4AVC)，包含其可调式视频译码(SVC)和多视角视频译码(MVC)扩展。

另外，如上文参考，视频编码器20和视频编码器30可根据新的视频译码标准操作，即，高效率视频译码(HEVC)标准，其目前正由ITU-T视频译码专家组(VCEG)和ISO／IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发。然而，本发明的技术不限于任何特定译码标准。仅为了说明的目的，根据HEVC标准描述技术。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与一音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频与视频两者的编码。如果可适用，那么MUX-DEMUX单元可遵守ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者，合适编码器电路例如一个或一个以上处理器(包含微处理器)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件来实施技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。

视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，视频编码器20和视频解码器30中的任一者可集成为相应装置中的组合式编码器／解码器(CODEC)的部分。在一些实例中，视频编码器20和视频解码器30可共同地被称作译码信息(例如，图像和语法元素)的视频译码器。当视频译码器对应于视频编码器20时，信息的译码可指编码。当视频译码器对应于视频解码器30时，信息的译码可指解码。

此外，本发明中所描述的技术可指视频编码器20用信号发出信息。当视频编码器20用信号发出信息时，本发明的技术一般指视频编码器20借以提供信息的任何方式。举例来说，当视频编码器20将语法元素用信号发出到视频解码器30时，可能意味着：视频编码器20经由输出接口24和通信信道16将语法元素传输到视频解码器30，或视频编码器20经由输出接口24将语法元素存储在存储媒体17和／或文件服务器19上以供视频解码器30最终接收。以此方式，从视频编码器20到视频解码器30的发信号不应被解释为需要来自视频编码器20的立即由视频解码器30接收的传输，但此情形可能为有可能的。而是，从视频编码器20到视频解码器30的发信号应被解释为视频编码器20借以提供用于供视频解码器30直接地或经由中间存储器(例如，在存储媒体17和／或文件服务器19中)最终接收的信息的任何技术。

视频编码器20和视频解码器30可经配置以实施本发明中所描述的用于导出参考图像集的实例技术。举例来说，视频解码器30可每一图像调用一次用以导出参考图像集的过程。视频解码器30可在解码切片标头之后但在解码任何译码单元之前且在用于切片的参考图像列表构造的解码过程之前，调用用以导出参考图像集的过程。

如上文所描述，参考图像集为关于以下参考图像的绝对描述：用于当前图像及解码次序上的未来经译码图像的解码过程中，直到下一瞬时解码刷新(IDR)图像或断链接入(BLA)图像为止。在本发明中所描述的实例中，视频编码器20可显式地用信号发出值，视频解码器30可根据所述值确定用于属于参考图像集的参考图像的识别符。在包含在参考图像集中的所有参考图像是显式地列出(除了某些图像，例如，IDR图像)的意义上，参考图像集发信号为显式的。无参考图像集语法元素包含在切片标头中且参考图像集经解释为空。

可能存在视频编码器20可借以在经译码位流中用信号发出语法元素的各种方式，视频解码器30可利用所述语法元素来导出参考图像集。举例来说，视频编码器20可在图像参数集(PPS)、序列参数集(SPS)、图像标头(如果存在的话)、切片标头或其任何组合中用信号发出语法元素。仅为了说明的目的，视频编码器20可使用SPS、PPS和切片标头用信号发出语法元素，如更详细描述。本发明的技术是关于选择应在例如图像参数集等参数集中用信号发出哪些参考图像及应在切片标头中用信号发出哪些参考图像，以使得当视频解码器构造参考图像集时，所述视频解码器不需要记录所述参考图像集以构造用于视频数据切片的初始参考图像列表。

为了导出参考图像集，视频解码器30可实施解码过程以确定用于属于参考图像集的图像的识别符。视频解码器30可接着构造多个参考图像子集，其中所述子集中的每一者识别属于参考图像集的参考图像中的零者或多者。视频解码器30可从所构造的参考图像子集导出参考图像集。举例来说，视频解码器30可以特定次序列出所述多个参考图像子集以导出参考图像集。

可能存在视频解码器30可借以确定用于属于参考图像集的图像的识别符的各种方式。一般来说，视频编码器20可用信号发出值，视频解码器30可根据所述值确定用于图像(包含属于参考图像集的图像)的识别符。图像的识别符可为PicOrderCnt(即，图像序列号(POC)值)。如上文所描述，POC值可指示图像的显示或输出次序，其中具有较小POC值的图像比具有较大POC值的图像早显示。给定图像的POC值可相对于先前瞬时解码刷新(IDR)图像来说。举例来说，IDR图像的PicOrderCnt(即，POC值)可为0，在显示或输出次序上在IDR图像之后的图像的POC值可为1，在显示或输出次序上在具有POC值1的图像之后的POC值可为2，等等。

根据本发明中所描述的技术，在当前图像并不是IDR图像时，下文可适用于导出当前图像的POC值。下文旨在辅助理解，且不应被视为限制性的。

举例来说，考虑列表变量listD，列表变量listD包含与包含所有以下各者的图像列表相关联的PicOrderCnt值(POC值)作为元素：(1)列表中的第一图像为解码次序上的先前IDR图像，以及(2)所有其它图像在解码次序上在列表中的第一图像之后且在解码次序上先于当前图像或者为当前图像。在此实例中，在调用用于参考图像集的导出过程之前，当前图像包含在listD中。而且，考虑列表变量listO，列表变量listO包含以POC值的升序排序的listD的元素。在此实例中，listO可能不含有具有等于另一图像的POC值的值的POC值。

在一些实例中，POC值可限于-2^pocLen-1到2^pocLen-1-1(包含-2^pocLen-1和2^pocLen-1-1)的范围。在此实例中，pocLen可等于long_term_ref_pic_id_len_delta+long_term_ref_pic_id_delta_len_minus4+4。long_term_ref_pic_id_len_delta和long_term_ref_pic_id_delta_len_minus4可为视频解码器30在经译码位流中接收的作为图像参数集语法的部分的语法元素，如下文更详细描述。作为另一实例，POC值可限于-2³¹到2³¹-1(包含-2³¹和2³¹-1)的范围。

作为一个实例，视频解码器30可在经译码位流(即，由视频编码器20用信号发出的位流)中接收pic_order_cnt_lsb语法元素。pic_order_cnt_lsb语法元素可指定经译码图像的图像序列号模数MaxPicOrderCntLsb。pic_order_cnt_lsb语法元素的长度可为log2_max_pic_order_cnt_lsb_minus4+4位。pic_order_cnt_lsb的值可在0到MaxPicOrderCntLsb-1(包含0和MaxPicOrderCntLsb-1)的范围内。视频解码器30可在待解码的当前图像的切片标头语法中接收pic_order_cnt_lsb语法元素。

视频解码器30还可在由视频编码器20用信号发出的经译码位流中接收log2_max_pic_order_cnt_lsb_minus4语法元素。视频解码器30可在序列参数集中接收log2_max_pic_order_cnt_lsb_minus4语法元素。log2_max_pic_order_cnt_lsb_minu4的值可在0到12(包含0和12)的范围内。log2_max_pic_order_cnt_lsb_minus4语法元素可指定变量MaxPicOrderCntLsb的值，视频解码器30在用于确定POC值的解码过程中使用变量MaxPicOrderCntLsb的值。举例来说：

MaxPicOrderCntLsb＝2^{(log2_max_pic_order_cnt_lsb_minus4+4)}。

根据这些所接收语法元素，视频解码器30可确定当前图像的POC值如下。举例来说，视频解码器30可确定用于当前图像的PicOrderCntMsb。用于当前图像的POC值可为用于当前图像的所确定的PicOrderCntMsb加上用于当前图像的所接收的pic_order_cnt_lsb。

在下文中，函数PicOrderCnt(picX)等于用于图像X的POC值。函数DiffPicOrderCnt(picA，picB)等于PicOrderCnt(picA)减去PicOrderCnt(picB)。在一些实例中，经译码位流可能不包含产生在解码过程中使用的DiffPicOrderCnt(picA，picB)的超过-2¹⁵到2¹⁵-1(包含-2¹⁵和2¹⁵-1)范围的值的数据。此外，假设：X为当前图像且Y和Z为相同序列中的两个其它图像，其中当DiffPicOrderCnt(X，Y)与DiffPicOrderCnt(X，Z)两者为正或DiffPicOrderCnt(X，Y)与DiffPicOrderCnt(X，Z)两者为负时，Y和Z被视为从X起的相同输出次序方向。而且，在一些实例中，视频编码器20可指配相对于先前IDR图像的取样时间的与对应图像的取样时间成比例的PicOrderCnt。

作为确定用于当前图像的POC值的过程的部分，视频解码器30可确定变量prevPicOrderCntMsb和prevPicOrderCntLsb。举例来说，如果当前图像为IDR图像，那么视频解码器30可将prevPicOrderCntMsb设置为等于0，且将prevPicOrderCntLsb设置为等于0。否则(即，在当前图像并不是IDR图像的情况下)，视频解码器30可将prevPicOrderCntMsb设置为等于具有小于或等于当前图像的temporal_id的temporal_id的解码次序上的先前参考图像的PicOrderCntMsb，且将prevPicOrderCntLsb设置为等于具有小于或等于当前图像的temporal_id的temporal_id的解码次序上的先前参考图像的pic_order_cnt_lsb的值。

通过这些变量值和语法元素的值(例如，prevPicOrderCntMsb、prevPicOrderCntLsb、pic_order_cnt_lsb和MaxPicOrderCntLsb的值)，视频解码器30可基于以下伪码中所阐述的步骤确定PicOrderCntMsb的值。应理解，视频解码器30可实施以下伪码中所阐述的步骤，以确定用以导出当前图像的POC值的用于每一当前图像的PicOrderCntMsb。

在确定用于当前图像的PicOrderCntMsb之后，视频解码器30可基于用于当前图像的PicOrderCntMsb和用于当前图像的pic_order_cnt_lsb而确定用于当前图像的POC值。视频解码器30可确定用于当前图像的POC值如下：

PicOrderCnt=PicOrderCntMsb+pic_order_cnt_lsb。

在解码图像之后，视频解码器30可将用于所述图像(包含属于参考图像集的参考图像中的每一者)的PicOrderCntMsb值、pic_order_cnt_lsb值和POC值存储在视频解码器30的已解码图像缓冲器(DPB)中。以此方式，DPB中的每一图像与一POC值、一PicOrderCntMsb值和一pic_order_cnt_lsb值相关联。

下文更详细描述用于确定包含在当前图像的参考图像集中的参考图像的POC值的方法。根据所确定的POC值，视频解码器30可实施用于参考图像集的导出过程。然而，在描述视频解码器30借以实施用于参考图像集的导出过程的方式之前，下文提供视频解码器30可在视频编码器20用信号发出的经译码位流中接收的语法元素的表格。举例来说，视频编码器20可在视频解码器30接收的经译码位流中用信号发出以下表格中的语法元素。上文已描述了这些语法元素中的一些语法元素。根据所述语法元素，视频解码器30可确定包含在参考图像集中的参考图像的POC值且进一步导出参考图像集。

举例来说，在本发明中所描述的技术中，相对于先前视频译码标准修改以下语法结构：序列参数集(SPS)原始字节序列有效载荷(RBSP)语法seq_paramater_set_rbsq()、图像参数集(PPS)RBSP语法pic_parameter_set_rbsp()、切片标头语法slice_header()，和参考图像列表修改语法ref_pic_list_modification()。在描述了导出参考图像集及初始化一个或一个以上参考图像列表之后，更详细地描述参考图像列表修改。

而且，根据本发明中所描述的技术，将以下语法结构添加到经译码位流：短期参考图像集语法short_term_ref_pic_set()，和长期参考图像集语法long_term_ref_pic_set()。视频解码器30可利用短期参考图像集语法和长期参考图像集语法用于构造参考图像子集的目的，视频解码器30从所述参考图像子集导出参考图像集。

举例来说，为了使视频解码器30确定用于属于参考图像集的参考图像的POC值，视频编码器20可在图像参数集中用信号发出视频解码器30用以确定POC值的参考图像识别信息，且可在切片标头中参考到列表的索引。然而，此方式为视频编码器20可借以用信号发出此参考图像识别信息的一种实例方式。

在一个替代实例中，视频编码器20可在序列参数集中用信号发出参考图像信息且可在切片标头中参考到列表的索引，此情形可减少发信号额外开销。在另一替代实例中，视频译码器可在新类型的参数集(例如，参考图像集参数集(RPSPS))中用信号发出参考图像信息，且可在切片标头中参考RPSPS id以及到参考图像识别信息列表的索引两者。此情形可减少发信号额外开销以及不增加对图像参数集或序列参数集数目的需要。在其它实例中，视频编码器20可利用这些实例技术的任何组合来用信号发出参考图像识别信息。

下文的表1展示SPS RBSP语法的实例。

表1.序列参数集RBSP语法

seq_parameter_set_rbsp(){	描述符
		profile_idc	u(8)

reserved_zero_8bits／*等于0*／	u(8)
		level_idc	u(8)
seq_parameter_set_id	ue(v)
		max_temporal_layers_minus1	u(3)
pic_width_in_luma_samples	u(16)
		pic_height_in_luma_samples	u(16)
bit_depth_luma_minus8	ue(v)
		bit_depth_chroma_minus8	ue(v)
pcm_bit_depth_luma_minus1	u(4)
		pcm_bit_depth_chroma_minus1	u(4)
log2_max_pic_order_cnt_lsb_minus4	ue(v)
		max_num_ref_frames	ue(v)
log2_min_coding_block_size_minus3	ue(v)
		log2_diff_max_min_coding_block_size	ue(v)
log2_min_transform_block_size_minus2	ue(v)
		log2_diff_max_min_transform_block_size	ue(v)
log2_min_pcm_coding_block_size_minus3	ue(v)
		max_transform_hierarchy_depth_inter	ue(v)
max_transform_hierarchy_depth_intra	ue(v)
		chroma_pred_from_luma_enabled_flag	u(1)
loop_filter_across_slice_flag	u(1)
		sample_adaptive_offset_enabled_flag	u(1)
adaptive_loop_filter_enabled_flag	u(1)
		pcm_loop_filter_disable_flag	u(1)
cu_qp_delta_enabled_flag	u(1)
		temporal_id_nesting_flag	u(1)
inter_4x4_enabled_flag	u(1)
		rbsp_trailing_bits()
}

pic_width_in_luma_samples可指定明度样本中的每一已解码图像的宽度。pic_width_in_luma_samples的值可在0到2¹⁶-1(包含0和2¹⁶-1)的范围内。

pic_height_in_luma_samples可指定明度样本中的每一已解码图像的高度。pic_height_in_luma_samples的值可在0到2¹⁶-1(包含0和2¹⁶-1)的范围内。

如表1中所指示，视频解码器30可在序列参数集(SPS)中接收log2_max_pic_order_cnt_lsb_minus4语法元素。如上文所描述，log2_max_pic_order_cnt_lsb_minu4的值可指定视频解码器30在用于确定POC值的解码过程中使用的变量MaxPicOrderCntLsb的值，其中MaxPicOrderCntLsb=2^{(log2_max_pic_order_cnt_lsb_minus4+4)}。

下文的表2展示PPS RBSP语法的实例。

表2.图像参数集RBSP语法

pic_parameter_set_rbsp(){	描述符
		pic_parameter_set_id	ue(v)
seq_parameter_set_id	ue(v)
		entropy_coding_mode_flag	u(1)
num_short_term_ref_pic_sets_pps	ue(v)
		for(i=0；i<num_short_term_ref_pic_sets_pps；i++)
short_term_ref_pic_set()
		long_term_ref_pics_present_flag	u(1)
if(long_term_ref_pics_present_flag){
		long_term_ref_pic_id_delta_len_minus4	ue(v)
long_term_ref_pic_id_len_delta	ue(v)
		num_long_term_ref_pics_pps	ue(v)
for(i=0；i<num_long_term_ref_pics_pps；i++)
		long_term_ref_pic_id_pps[i]	i(v)
}
		num_temporal_layer_switching_point_flags	ue(v)
for(i=0；i<num_temporal_layer_switching_point_flags；i++)
		temporal_layer_switching_point_flag[i]	u(1)
num_ref_idx10default_active_minus1	ue(v)
		num_ref_idx_l1_default_active_minus1	ue(v)
pic_init_qp_minus26/*相对于26*／	se(v)
		constrained_intra_pred_flag	u(1)
slice_granularity	u(2)
		shared_pps_info_enabled_flag	u(1)
if(shared_pps_info_enable(dflag)
		if(adaptive_loop_filter_enable(dflag)
alf_param()
		if(cu_qp_delta_enable(dflag)
max_cu_qp_delta_depth	u(4)
		rbsp_trailing_nits()
}

语法元素“num_short_term_ref_pic_sets_pps”指定包含在图像参数集中的short_term_ref_pic_set()语法结构的数目。语法元素“num_short_term_ref_pic_sets_pps”的值可在0到32(包含0和32)的范围内。

等于0的long_term_ref_pics_present_flag指定：无长期参考图像用于参考图像参数集对任何经译码图像进行帧间预测，且不存在语法元素long_term_ref_pic_id_delta_len_minus4、long_term_ref_pic_id_len_delta和num_long_term_ref_pics_pps。等于1的long_term_ref_pics_present_flag指定：长期参考图像可用于参考图像参数集对一个或一个以上经译码图像进行帧间预测，且存在语法元素long_term_ref_pic_id_delta_len_minus4、long_term_ref_pic_id_len_delta和num_long_term_ref_pics_pps。

long_term_ref_pic_id_delta_len_minus4+4指定long_term_ref_pic_id_delta_add_foll[i]语法元素的位长度。long_term_ref_pic_id_delta_len_minus4的值可在0到12(包含0和12)的范围内。

long_term_ref_pic_id_len_delta+long_term_ref_pic_id_delta_len_minus4+4指定long_term_ref_pic_id_pps[i]语法元素的位长度。long_term_ref_pic_id_len_delta的值可在0到28-long_term_ref_pic_id_delta_len_minus4(包含0和28-long_term_ref_pic_id_delta_len_minus4)的范围内。参考一个特定序列参数集的所有图像参数集中的long_term_ref_pic_id_len_delta+long_term_ref_pic_id_delta_len_minus4+4的值可相同。

num_long_term_ref_pics_pps指定包含在图像参数集中的长期参考图像的识别的数目。num_long_term_ref_pics_pps的值可在0到32(包含0和32)的范围内。

long_term_ref_pic_id_pps[i]指定包含在图像参数集中的第i长期参考图像识别信息。用以表示long_term_ref_pic_id_pps[i]的位的数目可等于long_term_ref_pic_id_len_delta+long_term_pic_id_len_minus4+4。

下文的表3展示短期参考图像集语法。

表3.短期参考图像集语法

短期参考图像集语法可用于短期图像。短期图像可经定义为满足以下情形的参考图像：识别信息包含在用于经译码图像的short_term_ref_pic_set()语法结构中，short_term_ref_pic_set()语法结构包含在(多个)切片标头中或包含在所参考的图像参数集中且通过(多个)切片标头中的short_term_ref_pic_set_idx语法元素来参考。在下文表4中提供切片标头语法元素。

当short_term_ref_pic_set()语法结构用于导出经译码图像的参考图像集时，num_short_term_curr0指定RefPicSetStCurr0中的短期参考图像的数目，如下文所描述。num_short_term_curr0的值可在0到max_num_ref_frames(包含0和max_num_ref_frames)的范围内。

当short_term_ref_pic_set()语法结构用于导出经译码图像的参考图像集时，num_short_term_curr1指定RefPicSetStCurr1中的短期参考图像的数目，如下文所描述。num_short_term_curr1的值可在0到max_num_ref_frames-num_short_term_curr0(包含0和max_num_ref_frames-num_short_term_curr0)的范围内。

当short_term_ref_pic_set()语法结构用于导出经译码图像的参考图像集时，num_short_term_foll0指定RefPicSetStFoll0中的短期参考图像的数目，如下文所描述。num_short_term_foll0的值可在0到max_num_ref_frames-num_short_term_curr0-num_short_term_curr1(包含0和max_num_ref_frames-num_short_term_curr0-num_short_term_currI)的范围内。

当short_term_ref_pic_set()语法结构用于导出经译码图像的参考图像集时，num_short_term_foll1指定RefPicSetStFoll1中的短期参考图像的数目，如下文所描述。num_short_term_foll1的值应在0到max_num_ref_frames-num_short_term_curr0-num_short_term_currl-num_short_term_foll0(包含0和max_num_ref_frames-num_short_term_curr0-num_short_term_curr1-num_short_term_foll0)的范围内。

short_term_ref_pic_id_delta_minus1[i]指定包含在short_term_ref_pic_set()语法结构中的第i短期参考图像的识别信息。

下文的表4展示切片标头语法的实例。

表4.切片标头语法

slice_header(){	描述符
		lightweight_slice_flag	u(1)
if(!lightweight_slice_flag){
		slice_type	ue(v)
pic_parameter_set_id	ue(v)
		if(IdrPicFlag){
idr_pic_id	ue(v)
		no_output_ofprior_pics_flag	u(1)
}
		pic_order_cnt_lsb	u(v)

if(!IdrPicFlag){
		short_term_ref_pic_setpps_flag	u(1)
if(short_term_ref_pic_set_pps_flag)
		short_term_ref_pic_set_idx	ue(v)
Else
		short_term_ref_pic_set()
if(long_term_ref_pics_presentflag)
		long_term_ref_pic_set()
}
		if(slice_type==P||slice_type==B){
num_ref_idx_active_override_flag	u(1)
		if(num_ref_idx_active_ovelride_nag){
num_ref_idx_l0_active_minus1	ue(v)
		if(slice_type==B)
num_ref_idx_l1_active_minus1	ue(v)
		}
}
		ref_pic_listmodification()
ref_pic_listcombination()
		}
if(entropy_coding_mode_flag＆＆slice_type!=I)
		cabac_init_idc	ue(v)
first_slice_in_pic_flag	u(l)
		if(firstslice_in_pic_flag==0)
slice_address	u(v)
		if(!lightweight_slice_flag){
slice_qp_delta	se(v)
		if(sample_adaptive_offset_enabled_flag)
sao_param()
		if(deblocking_filter_control_present_flag){
disable_deblocking_filter_idc
		if(disable_deblocking_filter_idc!=1){
slice_alpha c0offset_div2
		slice_beta_offset_div2
}
		}
if(slice_type==B)
		collocated_from_10_flag	u(1)
if(adaptive_loop_filter_enabled_flag){
		if(!shared_pps_info_ehabled_flag)
alf_param()
		alf_cu_control_param()
}

}
		}

no_output_of_prior_pics_nag指定在解码IDR图像之后如何处理已解码图像缓冲器中的先前已解码图像。当IDR图像为位流中的第一IDR图像时，no_output_of_prior_pics_flag的值可能对解码过程无影响。当IDR图像并不是位流中的第一IDR图像且从有效序列参数集导出的pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_frame_buffering的值可能不同于从用于前一图像的有效序列参数集导出的pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_frame_buffering的值时，等于1的no_output_of_prior_pics_flag可(但未必)由解码器来推断，而不管no_output_of_prior_pics_flag的实际值。

等于1的short_term_ref_pic_set_pps_flag指定：包含在用于当前图像的参考图像集中的短期参考图像集合的识别信息存在于所参考的图像参数集中。等于0的short_term_ref_pic_set_pps_flag指定：包含在用于当前图像的参考图像集中的短期参考图像集合的识别信息不存在于所参考的图像参数集中。

short_term_ref_pic_set_idx指定包含在所参考的图像参数集中的short_term_ref_pic_set()语法结构的索引，其包含用于当前图像的参考图像集中的短期参考图像集合的识别信息。

将变量NumShortTermCurr0和NumShortTermCurr1指定为：

NumShortTermCurr0=num_short_term_curr0

NumShortTermCurr1=num_short_term_curr1

在num_short_term_curr0和num_short_term_curr0分别为short_term_ref_pic_set()语法结构中的相同名称的语法元素的情况下，存在于所参考的图像参数集中且通过short_term_ref_pic_set_idx来参考，或者直接存在于切片标头中。

num_ref_idx10active_minus1指定用于可用以解码切片的参考图像列表0的最大参考索引。

在当前切片为P或B切片且num_ref_idx10active_minus1不存在时，可推断num_ref_idx10active_minus1等于num_ref_idx10default_active_minus1。

num_ref_idx10active_minus1的值可在0到15(包含0和15)的范围内。

num_ref_idx_I1active_minus1指定用于可用以解码切片的参考图像列表1的最大参考索引。

在当前切片为P或B切片且num_ref_idx11active_minus1不存在时，可推断num_ref_idx_l1active_minu_s1等于num_ref_idx_l1default_active_minus1。

num_ref_idx_l1active_minus1的值可在0到15(包含0和15)的范围内。下文的表5展示长期参考图像语法的实例。

表5.长期参考图像集语法

long_term_ref_pic_set(){	描述符
		num_long_term_pps_curr	ue(v)
num_long_term_add_curr	ue(v)
		num_long_term_pps_foll	ue(v)
num_long_term_add_foll	ue(v)
		for(i=0；i<num_long_term_pps_curr+num_long_term_pps_foll；i++)
long_term_ref_pic_set_idx_pps[i]	ue(v)
		for(i=0；i<num_long_term_add_curr+num_long_term_add_foll；i++)
long_term_ref_pic_id_delta_add[i]	i(v)
		}

长期参考图像集语法可用于长期图像。长期图像可经定义为识别信息包含在用于经译码图像的long_term_ref_pic_set()语法结构中的参考图像。

num_long_term_pps_curr指定识别信息包含在所参考的图像参数集中且可用于对当前图像进行帧间预测的所有长期参考图像的数目。如果num_long_term_pps_curr不存在，那么可导出值为等于0。num_long_term_pps_curr的值可在0到max_num_ref_frames(包含0和max_num_ref_frames)的范围内。

num_long_term_add_curr指定识别信息未包含在所参考的图像参数集中且可用于对当前图像进行帧间预测的所有长期参考图像的数目。如果num_long_term_add_curr不存在，那么可导出值为等于0。num_long_term_add_curr的值可在0到max_num_ref_frames-num_long_term_pps_curr(包含0和max_num_ref_frames-num_long_term_pps_curr)的范围内。

将变量NumLongTermCurr指定为：

NumLongTermCurr=num_long_term_pps_curr+num_long_term_add_curr

num_long_term_pps_foll指定满足以下情形的所有长期参考图像的数目：识别信息包含在所参考的图像参数集中，不用于对当前图像进行帧间预测，且可用于对在解码次序上在当前图像之后的图像中的任一者进行帧间预测。如果num_long_term_pps_foll不存在，那么可导出值为等于0。num_long_term_pps_foll的值可在0到max_num_ref_frames(包含0和max_num_ref_frames)的范围内。

num_long_term_add_foll指定满足以下情形的所有长期参考图像的数目：识别信息未包含在所参考的图像参数集中，不用于对当前图像进行帧间预测，且可用于对解码次序上的随后图像中的任一者进行帧间预测。如果num_long_term_add_foll不存在，那么可导出值为等于0。num_long_term_add_foll的值可在0到max_num_ref_frames-num_long_term_pps_foll(包含0和max_num_ref_frames-num_long_term_pps_foll)的范围内。

long_term_ref_pic_set_idx_pps[i]指定从所参考的图像参数集到当前图像的参考图像集而继承的第i长期参考图像的到包含在所参考的图像参数集中的长期参考图像识别信息的列表的索引。long_term_ref_pic_set_idx_pps[i]的值可在0到31(包含0和31)的范围内。

long_term_ref_pic_id_delta_add[i]指定并不是从所参考的图像参数集而继承但包含在当前图像的参考图像集中的第i长期参考图像的长期参考图像识别信息。用以表示long_term_ref_pic_id_add_curr[i]的位的数目可等于long_term_pic_id_len_minus4+4。

通过上述用信号发出的或导出的值(即，表l到5中的值)，视频解码器30可导出参考图像集。如上文所描述，所导出的参考图像集可识别可潜在地用以译码／预测当前图像(即，当前正被解码的图像)及在解码次序上在当前图像之后的图像的参考图像。根据本发明中所描述的技术，所导出的参考图像集中的所有参考图像的解码次序比当前图像的解码次序早。

导出过程可包含从多个参考图像子集构造参考图像集。可在解码切片标头之后但在解码任何译码单元之前且在用于切片的参考图像列表构造的解码过程之前，每一图像调用一次此过程。举例来说，根据所导出的值和用信号发出的语法元素，视频解码器30可确定用于属于参考图像集的参考图像的POC值。根据所确定的POC值，视频解码器30可构造一起形成参考图像集的参考图像子集。以此方式，通过构造参考图像子集，视频解码器30可构造参考图像集。举例来说，视频解码器30可以特定方式将所述参考图像子集排序以导出参考图像集。排序可指视频解码器30借以列出参考图像子集以导出参考图像集的方式。

如上文所描述，为了导出参考图像集，视频解码器30可构造多个参考图像子集。在一些实例中，视频解码器30可构造六个参考图像子集。所述六个参考图像子集可命名为：RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr，和RefPicSetLtFoll。RefPicSetStCurr0可被称作RefPicSetStCurrBefore，且RefPicSetStCurr1可被称作RefPicSetStCurrAfter。

应理解，用于说明的目的而描述六个参考图像子集，且所述情形不应被解释为限制性的。作为一个实例，视频解码器30可(例如)通过组合所述子集中的一些子集而构造比六个参考图像子集少的参考图像子集。下文描述视频解码器30构造少于六个的参考图像子集的这些实例中的一些实例。然而，为了说明的目的，通过视频解码器30构造六个参考图像子集的实例描述所述技术。

RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1参考图像子集可识别短期参考图像。在一些实例中，这些参考图像子集可基于以下各者而识别短期参考图像：短期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，以及短期参考图像是否可潜在地用于对当前图像及在解码次序上在当前图像之后的图像进行帧间预测，或是否可潜在地用于仅对在解码次序上在当前图像之后的图像进行帧间预测。

举例来说，RefPicSetStCurr0参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息(例如，POC值)：具有比当前图像的输出或显示次序早的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetStCurr1参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序迟的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。

RefPicSetStFoll0参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序早的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。RefPicSetStFoll1参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息：具有比当前图像的输出或显示次序迟的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。

RefPicSetLtCurr和RefPicSetLtFoll参考图像子集可识别长期参考图像。在一些实例中，这些参考图像子集可基于长期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，识别长期参考图像。

举例来说，RefPicSetLtCurr参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息：可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetLtFoll参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息：可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。

如果待解码的当前图像为IDR图像，那么视频解码器30可将RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll参考图像子集设置为空。此情形可能因为：IDR图像无法进行帧间预测且在解码次序上在IDR图像之后的图像均无法在解码中使用在IDR图像之前的任何图像供参考。否则(例如，在当前图像为非IDR图像时)，视频解码器30可通过实施以下伪码而构造短期参考图像子集和长期参考图像子集。

举例来说，当视频解码器30解码在切片标头中或者参考所参考的图像参数集的short_term_ref_pic_set()语法结构的实例时，视频解码器30可实施以下伪码以构造RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1参考图像子集。

如果视频解码器30确定long_term_ref_pics_present_flag等于0，那么视频解码器30可将RefPicSetLtCurr和RefPicSetLtFoll设置为空，这是因为对于此情况不存在长期参考图像。否则，如果视频解码器30解码切片标头中的long_term_ref_pic_set()语法结构的实例，那么视频解码器30可实施以下伪码以构造RefPicSetLtCurr和RefPicSetLtFoll参考图像子集。

根据本发明中所描述的技术，如果具有PicOrderCnt的特定值(POC值)的参考图像包含在经译码图像的参考图像集的六个子集中的任一者中，那么所述参考图像可被称作包含在所述经译码图像的参考图像集中。如果PicOrderCnt的特定值(POC值)等于包含在参考图像集的特定子集中的PicOrderCnt值中的一者，那么具有PicOrderCnt的特定值的参考图像被称作包含在所述子集中。

在构造参考图像子集之后，视频解码器30可导出参考图像集。举例来说，视频解码器30可将所述参考图像子集排序以导出参考图像集。作为一个实例，视频解码器30可列出RefPicSetStCurr0参考图像子集、后接续有RefPicSetStCurrl参考图像子集、后接续有RefPicSetStFoll0参考图像子集、后接续有RefPicSetStFoll1参考图像子集、后接续有RefPicSetLtCurr参考图像子集，及接着的RefPicSetLtFoll参考图像子集。作为另一实例，视频解码器30可列出RefPicSetStCurr0参考图像子集、后接续有RefPicSetStCurrl参考图像子集、后接续有RefPicSetLtCurr参考图像子集、后接续有RefPicSetStFoll0参考图像子集、后接续有RefPicSetStFoll1，及接着的RefPicSetLtFoll参考图像子集。

视频解码器30借以将参考图像子集排序的方式的其它排列可能有可能用于导出参考图像集。在一些实例中，可将参考图像子集的构造与参考图像集的导出组合在一起。举例来说，参考图像子集的构造可自动地导致视频解码器30导出参考图像集。换句话说，视频解码器30可能不需要执行不同步骤以用于构造参考图像子集及导出参考图像集，但视频解码器30可能有可能首先构造参考图像子集且接着导出参考图像集。

而且，根据本发明中所描述的技术，以上文所描述的方式构造参考图像集可导致视频解码器30满足以下限制。举例来说，具有PicOrderCnt的特定值的特定参考图像可能不包含在当前图像的参考图像集的参考图像子集中的一者以上中。换句话说，在参考图像子集中的一者中识别的参考图像可能在其它参考图像子集中的任一者中未加以识别。作为另一实例，在所导出的参考图像集中，可能不存在具有大于包含在形成参考图像集的参考图像子集中的任一者中的当前图像的temporal_id的temporal_id的参考图像。

如上文所描述，时间识别值(temporal_id)可为指示哪些图像可用于译码／预测当前图像的阶层值。一般来说，具有特定temporal_id值的图像可能有可能为用于具有相等或较大temporal_id值的图像的参考图像，但反过来不成立。举例来说，具有temporal_id值1的图像可能有可能为用于具有temporal_id值1、2、3，......的图像的参考图像，但不可能为用于具有temporal_ID值0的图像的参考图像。

最低temporal_id值还可指示最低显示率。举例来说，如果视频解码器30仅解码具有temporal_id值0的图像，那么显示率可为7.5个图像／秒。如果视频解码器30仅解码具有temporal_id值0和1的图像，那么显示率可为15个图像／秒，等等。

在一些实例中，仅具有小于或等于当前图像的temporal_id的temporal_id值的图像可包含在当前图像的参考图像集中。如上文所描述，仅具有小于或等于当前图像的temporal_id的temporal_id值的图像可用作参考图像。因此，具有较低或相等temporal_id值的所有参考图像可供当前图像使用以用于进行帧间预测且可包含在参考图像集中。而且，将满足以下情形的一些参考图像从参考图像集中排除：具有大于当前图像的temporal_id值的temporal_id值，及将供在解码次序上在当前图像之后的图像使用且具有大于当前图像的temporal_id值的temporal_id值。

通过这些技术，不需要temporal_id的发信号以及用于导出参考图像集的图像识别；因此，参考图像集发信号变得更有效率。举例来说，视频编码器20可能不用信号发出属于参考图像集的参考图像的temporal_id值，且视频解码器30可能不需要接收属于参考图像集的参考图像的temporal_id值以用于导出参考图像集的目的。

此外，以此方式，所构造的参考图像子集可能不识别具有大于当前图像的temporal_id值的temporal_id值的参考图像。举例来说，视频解码器30可能能够构造参考图像子集，且确保在参考图像子集中的任一者中识别的参考图像均不具有大于当前图像的temporal_id值的temporal_id值，这是因为位流一致性可能需要temporal_id值不包含在由视频编码器20用信号发出且由视频解码器30接收的位流中。以此方式，视频解码器30可在不接收用于属于参考图像集的参考图像的时间识别值的情况下导出参考图像集。

在上述实例中，视频解码器30可构造六个参考图像子集，其中四个参考图像子集用于短期参考图像(即，RefPicSetStCurr0、RefPicSetStCurrl、RefPicSetStFoll0和RefPicSetStFoll1)，且两个参考图像子集用于长期参考图像(即，RefPicSetLtCurr和RefPicSetLtFoll)。然而，本发明的方面不应受此限制。在其它实例中，可将这些参考图像子集中的两者或两者以上组合成一个参考图像子集，从而导致视频解码器30构造较少参考图像子集。下文描述视频解码器30可构造较少参考图像子集的一些非限制性实例。可能存在视频解码器30可借以构造较少参考图像子集的其它方式。

举例来说，在一些实例中，可能不存在用于当前图像的子集与用于解码次序上的随后图像的子集的分离。因此，可能存在用于短期参考图像的两个子集(被称作RefPicSetSt0和RefPicSetSt1)，且可能仅存在用于长期参考图像的一个子集(被称作RefPicSetLt)。在此实例中，RefPicSetSt0参考图像子集可为RefPicSetStCurr0与RefPicSetStFoll0的并置，其中RefPicSetStCurr0在并置结果的开始处。在此实例中，RefPicSetSt1参考图像子集可为RefPicSetStCurr1与RefPicSetStFoll1的并置，其中RefPicSetStCurr1在并置结果的开始处。RefPicSetLt参考图像子集可为RefPicSetLtCurr与RefPicSetLtFoll的并置，其中RefPicSetLtCurr在并置结果的开始处。

作为另一实例，可能不存在具有比当前图像早或迟的输出次序的子集的分离。此情形可仅适用于短期参考图像。因此，可能存在用于短期参考图像的两个子集，其被称作RefPicSetStCurr和RefPicSetStFoll。RefPicSetStCurr参考图像子集可为RefPicSetStCurr0与RefPicSetStCurr1的并置，其中RefPicSetStCurr0在并置结果的开始处。RefPicSetStFoll参考图像子集可为RefPicSetStFoll0与RefPicSetStFoll1的并置，其中RefPicSetStFoll0在并置结果的开始处。

作为另一实例，可能不应用上文所叙述的两种类型的分离。因此，可能仅存在用于短期参考图像的一个子集(被称作RefPicSetSt)，且仅存在用于长期参考图像的一个子集(被称作RefPicSetLt)。RefPicSetSt参考图像子集可为呈所列次序(或任何其它次序)的RefPicSetStCurr0、RefPicSetStCurrl、RefPicSetStFoll0和RefPicSetStFoll1的并置，且RefPicSetLt可与上述情形相同。

上述技术描述视频解码器30可借以导出参考图像集的实例方式。在编码过程期间，视频编码器20还可能需要解码经编码图像以用于编码后续图像的目的，此过程被称作重构造过程。因此，在一些实例中，视频编码器20还可经配置以导出参考图像集。在一些实例中，视频编码器20可实施与视频解码器30实施的用以导出参考图像集的技术相同的技术。然而，可能不需要在每个实例中由视频编码器20导出参考图像集，且视频解码器30可能为导出参考图像集的仅有的译码器。

因此，在一些实例中，视频译码器(例如，视频编码器20或视频解码器30)可译码(例如，分别为编码或解码)指示属于参考图像集的参考图像的信息。举例来说，视频编码器20可用信号发出经编码位流，所述经编码位流包含用以确定哪些参考图像属于参考图像集的值。类似地，视频解码器30可解码位流以确定哪些参考图像属于参考图像集。

视频译码器可构造多个参考图像子集，每一参考图像子集识别所述参考图像中的零者或多者。举例来说，视频译码器可构造六个参考图像子集(即，RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll参考图像子集)，其中所述子集中的每一者识别零或多个参考图像。在一些实例中，视频译码器可基于所述多个参考图像子集而译码当前图像。

举例来说，视频译码器可从所述所构造的多个参考图像子集导出参考图像集。举例来说，视频译码器可以任何次序将所述参考图像子集排序以导出参考图像集，或可作为构造参考图像子集的部分导出参考图像集。在一些实例中，根据所导出的参考图像集，视频译码器可译码当前图像。因为参考图像集是从所述多个参考图像子集导出，所以视频译码器可被视为基于所述多个参考图像子集而译码当前图像。

在一些实例中，为了将参考图像子集排序，视频译码器可以参考图像子集待列于参考图像集中的次序构造参考图像子集。举例来说，视频译码器可首先构造RefPicSetLtCurr参考图像子集，接着构造RefPicSetLtFoll参考图像子集，接着构造RefPicSetStCurr0参考图像子集，接着构造RefPicSetStCurr1参考图像子集，接着构造RefPicSetStFoll0参考图像子集，且接着构造RefPicSetStFoll1参考图像子集。在此说明性实例中，参考图像集中的参考图像子集的次序可为RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1(呈所述次序)，但其它次序是有可能的。

根据本发明中所描述的实例技术，在导出参考图像集之后，视频解码器30可开始解码当前图像内的切片。解码过程的部分涉及构造一个或两个参考图像列表。参考图像列表为用于P或B切片的预测的参考图像的列表。对于P切片的解码过程，存在一个参考图像列表(列表0)。对于B切片的解码过程，存在两个参考图像列表(列表0和列表1)。列表0(有时被称作参考图像列表0或RefPicList0)为用于对P或B切片进行帧间预测的参考图像列表。用于P切片的所有帧间预测使用列表0。参考图像列表0为用于B切片的双向预测的两个参考图像列表中的一者，其中另一参考图像列表为参考图像列表1。列表1(有时被称作参考图像列表1或RefPicList1)为用于B切片的预测的参考图像列表。参考图像列表1为用于B切片的预测的两个参考图像列表中的一者，其中另一参考图像列表为参考图像列表0。可使用列表0与列表1两者对B切片中的一些块进行双向预测，且可使用列表0或列表1对B切片中的一些块进行单向预测。

为了构造参考图像列表，视频解码器30可实施默认构造技术以构造初始列表0和(对于B切片)初始列表1。初始列表0和初始列表1的构造可被称作初始化过程。在一些实例中，经译码位流可指示：视频解码器30应修改初始列表0和／或初始列表1以产生最终列表0和最终列表1。初始列表0和／或初始列表1的修改可被称作修改过程。可能不需要在每个实例中进行修改过程，且下文更详细描述视频解码器30可借以实施修改过程的方式。根据本发明中所描述的技术，当不需要初始列表0或初始列表1的修改时，最终列表0或最终列表1(即，用以解码当前图像的切片的参考图像列表0或1)可等于初始列表0或初始列表1。以此方式，可能不需要参考图像列表重新排序。

在本发明中所描述的技术中，视频解码器30可以使得视频解码器30可能不需要执行待包含在初始列表0或初始列表1中的参考图像的重新排序的方式构造初始列表0或初始列表1，而不管是否需要修改过程，这是因为参考图像子集中的每一者中的参考图像已经呈适当次序。举例来说，在一些其它技术中，不管是否需要修改过程，在将参考图像添加或列入到初始列表0或初始列表1中时，需要根据参考图像的POC值将待包含在初始列表0或初始列表1中的参考图像重新排序。

在初始化过程中，视频解码器30可实施默认构造技术以构造初始列表0和初始列表1。默认构造技术可意味着：在不从视频编码器20接收关于视频解码器30应借以构造初始参考图像列表的方式或应在初始参考图像列表中识别哪些参考图像的语法元素的情况下，视频解码器30构造初始参考图像列表。

当解码P或B切片标头时，视频解码器30可调用参考图像列表构造过程。举例来说，当解码P切片时，视频解码器30可调用用于构造初始列表0的过程，而可能不调用用于构造初始列表1的过程，这是因为P切片中的块仅相对于在列表0中识别的参考图像进行单向预测。当解码B切片时，视频解码器30可调用用于构造初始列表0及构造初始列表1的过程，这是因为B切片中的块可相对于在列表0和列表1中的每一者中识别的参考图像进行双向预测。

根据本发明中所描述的实例技术，视频解码器30可利用参考图像子集来构造初始列表0和初始列表1。举例来说，初始列表0和初始列表1可列出在RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr中识别的零或多个参考图像。在此实例中，当调用参考图像列表构造过程时，RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr中可能存在至少一个参考图像。尽管初始列表0和初始列表1可识别来自相同参考图像子集的一个或一个以上参考图像，但视频解码器30在初始列表0中添加参考图像的次序可能不同于视频解码器30在初始列表1中添加参考图像的次序。

在本发明中，当视频解码器30在初始列表0或初始列表1中添加(例如，列出)来自参考图像子集中的一者或一者以上的参考图像时，本发明提及视频解码器30识别初始列表0或初始列表1中的参考图像。举例来说，所述多个参考图像子集可各自识别零或多个参考图像。为了构造初始列表0和初始列表1，视频解码器30可识别在参考图像子集中识别的到初始列表0或初始列表1中的参考图像中的一者或一者以上。

为了避免混淆且为了辅助清晰性，本发明可提及视频解码器30将在参考图像子集中识别的参考图像中的零者或多者列入或添加到初始列表0和初始列表1中，以构造初始列表0和初始列表1。以此方式，视频解码器30添加或列出参考图像意味着：视频解码器30添加或列出在参考图像子集中识别的参考图像的识别符。因此，所得初始列表0和初始列表1包含用于可潜在地用于译码当前图像的块或切片的参考图像的多个识别符。这些参考图像存储在视频解码器30和视频编码器20的相应已解码图像缓冲器中。

举例来说，为了构造初始列表0，视频解码器30可首先在初始列表0中列出(例如，添加)在RefPicSetStCurr0中识别的参考图像，后接续在初始列表0中列出(例如，添加)在RefPicSetStCurr1中识别的参考图像，且接着在初始列表0中列出(例如，添加)在RefPicSetLtCurr中识别的参考图像。为了构造初始列表1，视频解码器30可首先在初始列表1中列出(例如，添加)在RefPicSetStCurr1中识别的参考图像，后接续在初始列表1中列出(例如，添加)在RefPicSetStCurr0中识别的参考图像，且接着在初始列表1中列出(例如，添加)在RefPicSetLtCurr中识别的参考图像。

此外，除以不同次序添加参考图像子集中的参考图像之外，在构造列表0和列表1时，视频解码器30还可利用来自参考图像子集中的每一者的不同数目个参考图像。举例来说，列表0和列表1不需要包含来自RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr的所有参考图像。而是，从这些实例参考图像子集列出以构造初始列表0和初始列表1的参考图像的数目可基于指示初始列表0和初始列表1中的每一者内的参考图像的最大数目的语法元素。

举例来说，对于初始列表0，视频编码器20可在切片标头中用信号发出用于P和B切片的num_ref_idx_l0active_minus1语法元素，及用于经双向预测的B切片的num_ref_idx_l1active_minus1语法元素。如上文所描述，num_ref_idx_l0active_minus1可定义可处于初始列表0中的参考图像的最大数目，且num_ref_idx_l1active_minus1可定义可处于初始列表1中的参考图像的最大数目。在一些实例中，以下情形可能为有可能的：num_ref_idx_l0active_minus1的值不同于num_ref_idx_l1active_minus1的值，但此情形可能并不是每个实例中所必要的。在一些实例中，num_ref_idx_l0active_minus1的值可与num_ref_idx_l1active_minus1的值相同。

如上文所描述，视频解码器30可在经译码位流中接收用于num_short_term_curr0和num_short_term_curr1的值。视频解码器30可将变量NumShortTermCurr0定义为等于num_short_term_curr0，且将变量NumShortTermCurr1定义为等于num_short_term_curr1。NumShortTermCurr0可指示RefPicSetStCurr0参考图像子集中的参考图像的数目，且NumShortTermCurr1可指示RefPicSetStCurr1参考图像子集中的参考图像的数目。

视频解码器30还可在经译码位流中接收用于num_long_term_pps_curr和num_long_term_add_curr的值。视频解码器30可将变量NumLongTermCurr定义为等于num_long_term_pps_curr加上num_long_term_add_curr。NumLongTermCurr可指示RefPicSetLtCurr中的参考图像的数目。

为了构造初始列表0，视频解码器30可首先将RefPicSetStCurr0中的参考图像添加到初始列表0中，直到视频解码器30将RefPicSetStCurr0中的所有参考图像添加到初始列表0中为止，且只要初始列表0中的条目的数目(例如，在列表0中识别的参考图像的数目)小于或等于num_ref_idx_l0active_minus1即可。举例来说，NumShortTermCurr0可指示RefPicSetStCurr0参考图像子集中的参考图像的数目。在此实例中，视频解码器30可列出(例如，添加)来自RefPicSetStCurr0参考图像子集的参考图像，直到从RefPicSetStCurr0列出的参考图像的数目等于NumShortTermCurr0为止。然而，在将RefPicSetStCurr0的参考图像列入到初始列表0中时，如果初始列表0中的条目的总数目等于num_ref_idx_l0active_minus1，那么视频解码器30可停止添加RefPicSetStCurr0参考图像子集中的参考图像，即使RefPicSetStCurr0中存在未列于初始列表0中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表0的构造。

在视频解码器30列出RefPicSetStCurr0参考图像子集中的所有参考图像且初始列表0中的条目的总数目小于num_ref_idx_l0active_minus1之后，视频解码器30可接着添加RefPicSetStCurr1中的参考图像，直到视频解码器30识别RefPicSetStCurr1中的所有参考图像为止，且只要初始列表0中的条目的数目(例如，在列表0中识别的参考图像的数目)小于或等于num_ref_idx_l0active_minus1即可。举例来说，类似于上述情形，NumShortTermCurr1可指示RefPicSetStCurr1参考图像子集中的参考图像的数目。在此实例中，视频解码器30可列出来自RefPicSetStCurr1参考图像子集的参考图像，直到从RefPicSetStCurr1列出的参考图像的数目等于NumShortTermCurr1为止。然而，在列出来自RefPicSetStCurr1的参考图像时，如果初始列表0中的条目的总数目等于num_ref_idx_l0active_minus1，那么视频解码器30可停止添加来自RefPicSetStCurr1参考图像子集的参考图像，即使RefPicSetStCurr1中存在未列于初始列表0中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表0的构造。

在视频解码器30列出RefPicSetStCurr1参考图像子集中的所有参考图像且初始列表0中的条目的总数目小于num_ref_idx_l0active_minus1之后，视频解码器30可接着列出RefPicSetLtCurr中的参考图像，直到视频解码器30列出RefPicSetLtCurr中的所有参考图像为止，且只要初始列表0中的条目的数目(例如，在列表0中识别的参考图像的数目)小于或等于num_ref_idx_l0active_minus1即可。举例来说，类似于上述情形，NumLongTermCurr可指示RefPicSetLtCurr参考图像子集中的参考图像的数目。在此实例中，视频解码器30可列出来自RefPicSetLtCurr参考图像子集的参考图像，直到从RefPicSetLtCurr列出的参考图像的数目等于NumLongTermCurr为止。然而，在将来自RefPicSetLtCurr的参考图像列入到初始列表0中时，如果初始列表0中的条目的总数目等于num_ref_idx_l0active_minus1，那么视频解码器30可停止添加RefPicSetLtCurr参考图像子集中的参考图像，即使RefPicSetLtCurr中存在未列于初始列表0中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表0的构造。

以下伪码说明视频解码器30可借以构造初始列表0的方式。

在上述伪码中，RefPicList0可为初始列表0。在不需要列表0的修改的实例中，最终列表0可等于初始列表0。因此，在不需要列表0的修改的实例中，在上述伪码中，RefPicList0可为最终列表0。

视频解码器30可类似地构造初始列表1。然而，为了构造初始列表1，视频解码器30可首先将来自RefPicSetStCurr1参考图像子集的参考图像添加到初始列表1中，后接续将来自RefPicSetStCurr0参考图像子集的参考图像添加到初始列表1中，且后接续将来自RefPicSetLtCurr参考图像子集的参考图像添加到初始列表1中。而且，类似于上述情形，在列出来自RefPicSetStCurr1、RefPicSetStCurr0和RefPicSetLtCurr参考图像子集中的任一者的参考图像时，如果初始列表1中的条目的总数目等于num_ref_idx_l1active_minus1，那么视频解码器30可停止添加参考图像，即使这些参考图像子集中存在额外参考图像也如此。

举例来说，为了构造初始列表1，视频解码器30可首先列出来自RefPicSetStCurr1的参考图像，直到视频解码器30识别RefPicSetStCurr1中的所有参考图像为止，且只要初始列表1中的条目的数目(例如，在列表1中识别的参考图像的数目)小于或等于num_ref_idx_l1active_minus1即可。举例来说，NumShortTermCurr1的值可指示视频解码器30何时完成列出RefPicSetStCurr1参考图像子集中的所有参考图像。然而，在列出来自RefPicSetStCurr1的参考图像时，如果初始列表1中的条目的总数目等于num_ref_idx_l1active_minus1，那么视频解码器30可停止添加RefPicSetStCurr1参考图像子集中的参考图像，即使RefPicSetStCurr1中存在未列于初始列表1中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表1的构造。

在视频解码器30列出RefPicSetStCurr1参考图像子集中的所有参考图像且初始列表1中的条目的总数目小于num_ref_idx_l1active_minus1之后，视频解码器30可接着列出来自RefPicSetStCurr0的参考图像，直到视频解码器30列出RefPicSetStCurr0中的所有参考图像为止，且只要初始列表1中的条目的数目(例如，在列表1中识别的参考图像的数目)小于或等于num_ref_idx_l1active_minus1即可。举例来说，类似于上述情形，NumShortTermCurr0的值可指示视频解码器30何时完成列出RefPicSetStCurr0参考图像子集中的所有参考图像。然而，在将来自RefPicSetStCurr0的参考图像列入到初始列表1中时，如果初始列表1中的条目的总数目等于num_ref_idx_l1active_minus1，那么视频解码器30可停止添加RefPicSetStCurr0参考图像子集中的参考图像，即使RefPicSetStCurr0中存在未列于初始列表1中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表1的构造。

在视频解码器30列出RefPicSetStCurr0参考图像子集中的所有参考图像且初始列表1中的条目的总数目小于num_ref_idx_l1active_minus1之后，视频解码器30可接着列出RefPicSetLtCurr中的参考图像，直到视频解码器30列出RefPicSetLtCurr中的所有参考图像为止，且只要初始列表1中的条目的数目(例如，在列表1中识别的参考图像的数目)小于或等于num_ref_idx_l1active_minus1即可。举例来说，类似于上述情形，NumLongTermCurr的值可指示视频解码器30何时完成列出RefPicSetLtCurr参考图像子集中的所有参考图像。然而，在列出来自RefPicSetLtCurr的参考图像时，如果初始列表1中的条目的总数目等于num_ref_idx_l1active_minus1，那么视频解码器30可停止添加RefPicSetLtCurr参考图像子集中的参考图像，即使RefPicSetLtCurr中存在未列于初始列表1中的额外图像也如此。在此情况下，视频解码器30可能已完成初始列表1的构造。

以下伪码说明视频解码器30可借以构造初始列表1的方式。

在上述伪码中，RefPicList1可为初始列表1。在不需要列表1的修改的实例中，最终列表1可等于初始列表1。因此，在不需要列表1的修改的实例中，在上述伪码中，RefPicList1可为最终列表1。

前述实例方式为视频解码器30在不需要参考图像列表修改时可借以构造最终列表0和最终列表1的一种实例方式。在其它实例中，视频解码器30可以不同于上文所描述的次序的次序添加参考图像子集。在又一些其它实例中，视频解码器30可添加不同于上文所描述的参考图像子集的参考图像子集。

尽管前述实例描述用于由视频解码器30执行的参考图像列表构造的技术，但本发明的方面不受此限制，且视频编码器20可实施类似技术以用于构造参考图像列表。然而，视频编码器20可能不必要以与视频解码器30借以构造参考图像列表的方式相同的方式构造参考图像列表。

因此，视频译码器(例如，视频编码器20或视频解码器30)可经配置以译码(例如，编码或解码)指示属于参考图像集的参考图像的信息。如上文所描述，参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在当前图像之后的一个或一个以上图像进行帧间预测的参考图像。

视频译码器还可经配置以构造多个参考图像子集，每一参考图像子集识别零或多个参考图像。举例来说，视频译码器可至少构造RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr参考图像子集。视频译码器可构造额外参考图像子集，例如上文所描述的参考图像子集。

只要初始参考图像列表条目的数目不大于可允许参考图像列表条目的最大数目，视频译码器便可接着将以下各参考图像添加到初始参考图像列表中：来自第一参考图像子集的参考图像、后接续有来自第二参考图像子集的参考图像，及后接续有来自第三参考图像子集的参考图像。举例来说，只要初始列表0中的条目的数目不大于num_ref_idx_l0active_minus1，视频译码器便可将以下各参考图像列入到初始列表0中：来自RefPicSetStCurr0参考图像子集的参考图像、后接续有来自RefPicSetStCurr1参考图像子集的参考图像，及后接续有来自RefPicSetLtCurr子集的参考图像。此外，num_ref_idx_l0active_minus1的值可指示列表0的可允许参考图像列表条目的最大数目。

在一些实例中，视频译码器可在初始参考图像列表中添加来自第一参考图像子集的参考图像，直到在初始参考图像列表中列出第一参考图像子集中的所有参考图像或初始参考图像列表条目的数目等于可允许参考图像列表条目的最大数目为止。当初始参考图像列表条目的数目小于可允许参考图像列表条目的最大数目时，且在添加来自第一参考图像子集的参考图像之后，视频译码器可在初始参考图像列表中添加来自第二参考图像子集的参考图像，直到在初始参考图像列表中列出第二参考图像子集中的所有参考图像或初始参考图像列表条目的数目等于可允许参考图像列表条目的最大数目为止。当初始参考图像列表条目的数目小于可允许参考图像列表条目的最大数目时，且在添加来自第二参考图像子集的参考图像之后，视频译码器可在初始参考图像列表中添加来自第三参考图像子集的参考图像，直到在初始参考图像列表中列出第三参考图像子集中的所有参考图像或初始参考图像列表条目的数目等于可允许参考图像列表条目的最大数目为止。

视频译码器可类似地构造初始列表1。举例来说，只要初始列表1中的初始参考图像列表条目的数目不大于num_ref_idx_l1active_minus1，视频译码器便可将以下各参考图像添加到初始列表1中：来自第二参考图像子集的参考图像、后接续有来自第一参考图像子集的参考图像，及后接续有来自第三参考图像子集的参考图像。num_ref_idx_l1active_minus1语法元素可定义列表1中的可允许条目的最大数目。

在一些实例中，例如，当不需要修改时，初始列表0和初始列表1可等于最终列表0和最终列表1。换句话说，在不需要修改时，视频译码器可构造最终列表0和最终列表1，而不修改初始列表0和初始列表1。在这些情况下，在构造初始列表0和初始列表1之后，视频译码器可能不需要执行额外步骤以构造最终列表0和最终列表1(即，视频译码器用以译码当前图像的块的参考图像列表)。

如上述伪码中所指示，当cIdx小于或等于num_ref_idx_l0active_minus1时，视频解码器30可构造初始列表0，且当cIdx小于或等于num_ref_idx_l1active_minus1时，视频解码器30可构造初始列表1。此情形可导致视频解码器30构造初始列表0和初始列表1，在参考图像列表中无任何非完成条目。举例来说，在一些其它视频译码技术中，用于这些其它视频技术的视频解码器将利用不同于本发明中所描述的技术的技术构造初始列表0和列表1。对于这些其它视频译码技术，如果初始列表0和初始列表1中的条目的数目小于条目的最大可允许数目，那么用于这些其它视频译码技术的视频解码器将用非完成条目的“无参考图像”填充列表0和列表1中的剩余条目。非完成条目指列表0和列表1中在识别参考图像的最后条目之后的且直到最后可能的条目的条目。

作为辅助理解的说明性实例，用于这些其它视频译码技术的视频解码器可构造具有五个条目的列表0，其中可允许条目的最大数目为十个条目。在此实例中，用于这些其它视频译码技术的视频解码器将第六条目到第十条目填充为“无参考图像”。在此实例中，非完成条目将为第六条目(例如，在识别参考图像的最后条目之后的条目)直到第十条目(例如，如通过可允许条目的最大数目定义的最后可能的条目)。

本发明描述用于参考图像集的有效率发信号的各种技术，以使得在组合PPS中的用信号发出的参考图像集与切片标头或APS中的用信号发出的参考图像集的组合时，可在建立短期参考图像集的子集中或在建立初始参考图像列表中在不根据参考图像的POC值将参考图像重新排序的情况下使用所构造的短期参考图像集。此外，所揭示的技术允许准确地控制哪些参考图像将从PPS继承及哪些参考图像将直接在切片标头或APS中用信号发出。

如上文所介绍，参考图像集中的一些参考图像可在图像参数集(PPS)中用信号发出且参考图像集中的其它参考图像可在切片标头中用信号发出。视频解码器可接着使用PPS与切片标头两者中的参考图像构造参考图像集。然而，这些技术可能需要视频解码器在视频解码器可构造用于视频切片的初始参考图像列表之前，将所构造的参考图像集重新排序。此中间重新排序步骤可浪费处理循环，且由此增加了视频解码器解码当前图像所花费的时间量。

为了解决此间题，作为一个实例，本发明描述“combine_with_reference_flag”语法元素、“ref_pic_set_combination_idx”语法元素、“ref_pic_set_offset0”语法元素和“ref_pic_set_offset1”语法元素，所述语法元素指示视频解码器应使用来自PPS的哪些参考图像来构造参考图像集。所述技术还描述应用于可包含在切片标头中的图像的限制。以此方式，视频解码器可以使得视频解码器不需要在构造初始参考图像列表之前将参考图像集重新排序的方式构造参考图像集。

在本发明的技术中，当“combine_with_reference_flag”语法元素被设置为真(例如，具有值1)时，视频解码器确定将从当前图像的PPS和切片标头两者中的参考图像构造用于当前图像的参考图像集。“ref_pic_set_combination_idx”语法元素为识别PPS内的参考图像候选者的语法元素。作为一个说明性实例，可能存在五个参考图像候选者，且每一候选者可包含10个参考图像。在此实例中，“ref_pic_set_combination_idx”语法元素的值可指所述五个候选者中的一者。

候选者中的每一者中的参考图像可根据其增量POC值来排序。POC值指示图像的输出次序，且增量POC值可为当前图像的POC值与参考图像的POC值之间的差。作为一个实例，一个候选者中的10个参考图像可具有从-5到-1及1到5的增量POC值；然而，其它值是有可能的。在此实例中，增量POC值-5意味着参考图像的POC值减去当前图像的POC值为-5。因为POC值指示输出次序，所以负增量POC值可指示参考图像比当前图像早输出(例如，显示)，且正增量POC值可指示参考图像在当前图像之后输出。

ref_pic_set_offset0语法元素的值指示应将在输出次序上比当前图像早的多少个参考图像从所识别的候选者中去除。ref_pic_set_offset1语法元素的值指示应将在输出次序上比当前图像迟的多少个参考图像从所识别的候选者中去除。在一些实例中，视频解码器去除的图像为在输出次序上距当前图像最远的图像。

举例来说，假设：ref_pic_set_offset0和ref_pic_set_offset1的值均等于2。在此实例中，视频解码器可将2个图像从通过ref_pic_set_combination_idx值识别的候选者的参考图像中去除。在先前实例中，参考图像可为对应于增量POC值-5到-1及1到5的参考图像。在此实例中，视频解码器可去除参考图像中对应于具有增量POC值-5到-1的参考图像的两者，及参考图像中对应于具有增量POC值1到5的参考图像的两者。另外，在一些实例中，视频解码器去除的参考图像可为对应于增量POC值-5、-4、4和5的参考图像，这是因为存在在输出次序上最远离当前图像的参考图像。

因此，在此实例中，视频解码器可确定视频解码器应使用PPS内的所识别的候选者中的参考图像中的6个参考图像。明确地说，在此实例中，参考图像将为对应于增量POC值-3到-1及1到3的参考图像。

视频解码器可接着根据切片的切片标头识别参考图像集中的剩余图像。然而，为了确保视频解码器可能不需要记录参考图像集，可能存在置于可包含在切片标头中的参考图像上的某些限制。

在一些实例中，在切片标头中识别的参考图像必须在输出次序上在距离上比在PPS中识别的参考图像中的任一者远。举例来说，与先前实例一致，具有增量POC值-6或+6的参考图像可被称为可包含在切片标头中的参考图像，这是因为此参考图像比PPS中的参考图像中的任一者远。

视频解码器可接着以两个子集的组合的形式来构造参考图像集。第一子集可包含在时间上出现在当前图像之前的参考图像，且第二子集可包含在时间上出现在当前图像之后的参考图像。视频解码器可将第一子集中的参考图像按降序POC次序从最接近当前图像的参考图像(如通过PPS中的增量POC值识别)开始到最远离当前图像的参考图像(如通过切片标头中的增量POC值识别)排序。视频解码器可将第二子集中的参考图像按升序POC次序从最接近当前图像的参考图像(如通过PPS中的增量POC值识别)开始到最远离当前图像的参考图像(如通过切片标头中的增量POC值识别)排序。以此方式，视频解码器可以使得视频解码器可能不需要在视讯解码器构造初始参考图像列表时将参考图像集重新排序的方式构造参考图像集。

表6展示用于实施所揭示的技术的实例语法和语义。

表6-参考图像集语法

ref_pic_set(){	描述符
		ref_pic_set_pps_flag	u(1)
if(ref_pic_set_pps_flag)
		ref_pic_setidx	u(v)
else{
		combine_with_reference_flag	u(1)
if(combine_with_reference_flag){
		ref_pic_setcombination_idx	u(v)
ref_pic_setoffset0	ue(v)
		ref_pic_setoffset1	ue(v)
}
		num_negative_pics	ue(v)
for(i＝0；i<num_negative_pics；i++){
		negative_delta_poc_minus1[i]	ue(v)
used_by_curr_pic_flag0[i]	u(1)
		}
if(positive_pics_in_ref_pic_set_flag){
		num_positive_pics	ue(v)
for(i＝0；i<num_positive_pics；i++){
		delta_poc_minus1[i]	ue(v)
used_by_curr_pic_flag1[i]	u(1)
		}
}
		}
if(long_term_ref_pics_present_flag){
		num_long_term_pps	ue(v)
num_long_term_add	ue(v)
		for(i=0；i<num_long_term_pps；i++)
long_term_ref_pic_set_idx_pps[i]	ue(v)
		for(i＝0；i<num_long_term_add；i++){
long_term_ref_pic_poc_delta_add[i]	i(v)
		used_by_curr_pic_flag_add[i]	u(1)
}
		}
}

在图像的所有切片标头中，参考图像集语法结构的内容可相同。

经设置为等于l的语法元素“ref_pic_set_pps_flag”可指定：可仅使用有效图像参数集中的语法元素建立当前图像的短期参考图像集。经设置为等于0的语法元素“ref_pic_set_pps_flag”可指定：可使用在ref_pic_set()语法结构中显式地用信号发出的零个或多个短期参考图像，可能结合通过有效图像参数集中的语法元素指示的短期参考图像，来建立当前图像的短期参考图像集。

语法元素“ref_pic_set_idx”可指定到在有效图像参数集中指定的短期参考图像集的列表的索引，其可用于建立当前图像的参考图像集。语法元素“ref_pic_set_idx”可通过ceil(log2(num_ref_pic_sets))位来表示，且语法元素“ref_pic_set_idx”的值可在0到num_ref_pic_sets-1(包含0和num_ref_pic_sets-1)的范围内。

对于在0到num_negative_pics_pps[idx]+num_positive_pics_pps[idx]范围内的所有i值，可导出变量RpsPoc[i]和RpsByCurrPic[i]及变量Offset和RpsNumRefPics如下：

其中PicOrderCnt为当前图像的图像序列号。

经设置为等于1的语法元素“combine_with_reference_flag”可指定：来自有效图像参数集的语法元素用以结合ref_pic_set()语法结构中的显式发信号指配列表RpsPoc和RpsByCurrPic中的值。经设置为等于0的语法元素“combine_with_reference_flag”可指定：来自有效图像参数集的语法元素不用以结合ref_pic_set()语法结构中的显式发信号指配列表RpsPoc和RpsByCurrPic中的值。

语法元素“ref_pic_set_combination_idx”可指定到列表RpsPoc和RpsbyCurrPic的索引，其可用于结合显式发信号建立当前图像的参考图像集。语法元素“ref_pic_set_combination_idx”可通过ceil(log2(num_ref_pic_sets))位来表示，且语法元素“ref_pic_set_combination_idx”的值可在0到num_ref_pic_sets-1(包含0和num_ref_pic_sets-1)的范围内。

语法元素“ref_pic_set_offset0”和“ref_pic_set_offset1”可分别指定在导出列表RpsPoc和RpsbyCurrPic中使用的变量Offset0和Offset1的值如下。假设idx等于ref_pic_set_combination_idx。ref_pic_set_offset0的值可在0到num_negative_pics_pps[idx](包含0和num_negative_pics_pps[idx])的范围内。ref_pic_set_offset1的值可在0到num_positive_pics_pps[idx](包含0和num_positive_pics_pps[idx”的范围内。

导出变量Offset0和Offset1如下：

idx=ref_pic_set_combination_idx

Offset0=num_negative_pics_pps[idx]-ref_pic_set_offset0

Offset1=num_positive_pics_pps[idx]-ref_pic_set_offset1

如果语法元素“combine_with_reference_flag”经设置为等于0，那么变量Offset0和Offset1均可被称作等于0。

语法元素“num_negative_pics”可指定以下negative_delta_poc_minus1[i]和used_by_curr_pic_flag0[i]语法元素的数目。num_negative_pics的值可在0到max_num_ref_frames(包含0和max_num_ref_frames)的范围内。可导出变量Offset如下：

Offset=Offset0+num_negative_pics

对于在0到Offset0(包含0和Offset0)的范围内的所有i值，可导出变量RpsPoc[i]和RpsByCurrPic[i]如下：

其中PicOrdercCnt为当前图像的图像序列号。

语法元素“negative_delta_poc_minus1[i]”加上1可指定两个图像次序计数值之间的绝对差。negative_delta_poc_minus1[i]的值可在0到MaxPicOrderCntLsb-1(包含0和MaxPicOrderCntLsb-1)的范围内。

可导出变量RpsPoc[i+Offset0]如下：

其中PicOrderCnt为当前图像的图像序列号。

当Offset0大于0时，RpsPoc[Offset0]的值可小于RpsPoc[Offset0-1]的值。当combine_with_reference_flag等于1时，此情形表达了以下约束。对于待包含到当前图像的短期参考图像集中的具有小于当前图像的图像序列号的图像序列号的参考图像，直接在切片标头中用信号发出的任何图像可具有小于从PPS继承的任何图像的图像序列号的图像序列号。

等于0的语法元素“used_by_curr_pic_flag0[i]”可指定在当前图像的帧间预测中不使用具有小于当前图像的图像序列号的图像序列号的第i短期参考图像。

可导出变量RpsByCurrPic[i+Offset0]如下：

RpsByCurrPic[i+Offset0]=used_by_curr_pic_flag0[i]

语法元素“num_positive_pics”可指定以下positive_delta_poc_minus1[i]和used_by_curr_pic_flag1[i]语法元素的数目。num_positive_pics的值可在0到max_num_ref_frames-Offset(包含0和max_num_ref_frames-Offset)的范围内。当不存在num_positive_pics时，可推断num_positive_pics的值等于0。

可导出变量RpsNumRefPics如下：

RpsNumRefPics=num_negative_pics+Offset0+num_positive_pics+Offset1

对于在Offset到Offset+Offset1-1(包含Offset和Offset+Offset1-1)的范围内的所有i值，可导出变量RpsPoc[i]和RpsByCurrPic[i]如下：

在上述内容中，PicOrdercCnt为当前图像的图像序列号。

语法元素“delta_poc_minus1[i]”可指定两个图像次序计数值之间的绝对差。delta_poc_minus1[i]的值可在0到MaxPicOrderCntLsb-1(包含0和MaxPicOrderCntLsb-1)的范围内。

可导出变量RpsPoc[i+Offset+Offset1]如下：

在上述内容中，PicOrderCnt为当前图像的图像序列号。

当Offset1大于0时，RpsPoc[Offset+Offset1]的值可大于RpsPoc[Offset+Offset1-1]的值。当combine_with_reference_flag等于1时，此情形表达了以下约束。对于待包含到当前图像的短期参考图像集中的具有大于当前图像的图像序列号的图像序列号的参考图像，直接在切片标头中用信号发出的任何图像可具有大于从PPS继承的任何图像的图像序列号的图像序列号。

经设置为等于0的语法元素“used_by_curr_pic_flag1[i]”可指定在当前图像的帧间预测中不使用具有大于当前图像的图像序列号的图像序列号的第i短期参考图像。

可导出变量RpsbyCurrPic[i+Offset+Offset1]如下：

RpsByCurrPic[i+Offset+Offset1]=used_by_curr_pic_flag1[i]

语法元素“num_long_term_pps”可指定在所参考的图像参数集中指定的且将包含在当前图像的长期参考图像集中的长期参考图像的数目。如果num_long_term_pps不存在，那么可导出值为等于0。num_long_term_pps的值可在0到max_num_ref_frames(包含0和max_num_ref_frames)的范围内。

导出变量LtOffset如下：

LtOffset=num_long_term_pps

语法元素“num_long_term_add”可指定在所参考的图像参数集中未指定的且将包含在当前图像的长期参考图像集中的长期参考图像的数目。如果num_long_term_add不存在，那么可导出值为等于0。num_long_term_add的值可在0到max_num_ref_frames-num_long_term_pps(包含0和max_num_ref_frames-num_long_term_pps)的范围内。

导出变量LtRpsNumRefPics如下：

LtRpsNumRefPics=LtOffset+num_long_term_add

语法元素“long_term_ref_pic_set_idx_pps[i]”可指定从所参考的图像参数集到当前图像的长期参考图像集而继承的第i长期参考图像的到在所参考的图像参数集中指定的长期参考图像的列表的索引。long_term_ref_pic_set_idx_pps[i]的值可在0到31(包含0和31)的范围内。

可导出变量LtRpsPoc[i]和LtRpsByCurrPic[i]如下。

LtRpsPoc[i]=LtPocPps[long_term_ref_pic_set_idx_pps[i]]

LtRpsByCurrPic[i]=LtByCurrPicPps[long_term_ref_pic_set_idx_pps[i]]

语法元素“long_term_ref_pic_poc_delta_add[i]”可指定并不是从所参考的图像参数集而继承但包含在当前图像的长期参考图像集中的第i长期参考图像的图像序列号。用以表示语法元素“long_term_ref_pic_poc_delta_add[i]”的位的数目可等于long_term_ref_pic_poc_len_minus4+4。

导出变量LtRpsPoc[i+LtOffset]如下：

LtRpsPoc[i+LtOffset]=PicOrderCnt-long_term_ref_pic_poc_delta_add[i]

其中PicOrderCnt为当前图像的图像序列号。

经设置为等于0的语法元素“used_by_curr_pic_flag_add[i]”可指定在当前图像的帧间预测中不使用并不是从所参考的图像参数集而继承但包含在当前图像的长期参考图像集中的第i长期参考图像。

导出变量LtRpsbyCurrPic[i+LtOffset]如下：

LtRpsByCurrPic[i+LtOffset]=used_by_curr_pic_flag_add[i]

如上文所描述，本发明中所描述的技术可根据HEVC标准来执行。下文为辅助理解的关于HEVC标准的简要描述。此外，尽管在HEVC标准的上下文中描述技术，但所述技术可扩展到其它标准(包含专有标准)。

JCT-VC致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(HM)。HM假设视频译码装置相对于根据(例如)ITU-TH.264／AVC的现有装置的若干额外能力。举例来说，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图像可划分成包含明度样本与色度样本两者的树块或最大译码单元(LCU)序列。树块具有与H.264标准的宏块的目的类似的目的。切片包含解码次序上连续的若干树块。可将视频帧或图像分割成一个或一个以上切片。每一树块可根据四叉树而分裂成多个译码单元(CU)。举例来说，树块(作为四叉树的根节点)可分裂成四个子节点，且每一子节点又可为一父节点且分裂成另外四个子节点。最终的未分裂的子节点(作为四叉树的叶节点)包括一译码节点(即，经译码视频块)。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。在一些实例中，树块可被称作LCU。

CU包含一译码节点及与所述译码节点相关联的多个预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或大于64×64像素的树块的大小。每一CU可含有一个或一个以上PU和一个或一个以上TU。与CU相关联的语法数据可描述(例如)CU到一个或一个以上PU的分割。分割模式可取决于是跳过CU还是直接模式编码、帧内预测模式编码还是帧间预测模式编码CU而不同。PU的形状可分割成非正方形。与CU相关联的语法数据还可描述(例如)CU根据四叉树到一个或一个以上TU的分割。TU的形状可为正方形或非正方形。

HEVC标准允许根据TU进行的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小而设置TU大小，但可能并不是始终如此情况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分为更小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

一般来说，PU包含与预测过程有关的数据。举例来说，当以帧内模式编码PU时，所述PU可包含描述所述PU的帧内预测模式的数据。作为另一实例，当以帧间模式编码PU时，所述PU可包含定义所述PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图像，和／或用于运动向量的参考图像列表(例如，列表0、列表1或列表C)。

一般来说，TU是用于变换过程和量化过程。具有一个或一个以上PU的给定CU还可包含一个或一个以上变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括可变换成使用TU而量化及扫描以产生串行化变换系数以用于熵译码的变换系数的像素差值。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含一译码节点及多个PU和TU的树块(即，LCU或CU)。

视频序列通常包含一系列视频帧或图像。图像组(GOP)通常包括一系列视频图像中的一者或一者以上。GOP可在GOP的标头、图像中的一者或一者以上的标头中或在别处包含描述包含在GOP中的图像的数目的语法数据。图像的每一切片可包含描述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。

作为实例，HM支持以各种PU大小进行预测。假设特定CU的大小为2N×2N，那么HM支持以2N×2N或N×N的PU大小进行帧内预测，及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM还支持以2N×nU、2N×nD、nL×2N和nR×2N的PU大小进行帧间预测的不对称分割。在不对称分割中，CU的一个方向未经分割，而另一方向经分割成25％和75％。CU的对应于25％分割的部分通过“n”后接续有“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”指在水平方向上以顶部2N×0.5NPU和底部2N×1.5N_PU分割的2N×2N_CU。

在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直尺寸与水平尺寸方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上将具有16个像素(y=16)且在水平方向上将具有16个像素(x=16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按列和行来布置块中的像素。此外，块未必需要在水平方向上具有与在垂直方向上的像素数目相同的数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且TU可包括在将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换的变换应用于残余视频数据之后的变换域中的系数。残余数据可对应于未经编码图像的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。

在应用任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指如下过程：将变换系数量化以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。量化过程可减少与所述系数中的一些系数或所有系数相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描所述经量化的变换系数以形成一维向量之后，视频编码器20可熵编码所述一维向量，例如，根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指配给待传输的符号。所述上下文可能关于(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可以使得相对较短码对应于更有可能的符号而较长码对应于较不可能的符号的方式来构造VLC中的码字。以此方式，使用VLC可实现位节省(与(例如)针对待传输的每一符号使用等长度码字相比较)。概率确定可基于指配给符号的上下文而进行。

图2为说明包含经编码及传输的多个图像的实例视频序列33的概念图。在一些情况下，视频序列33可被称作图像组(GOP)。如所说明，视频序列33包含图像35A、36A、38A、35B、36B、38B和35C，及显示次序上的最终图像39。图像34为发生在序列33之前的序列的显示次序上的最终图像。图2一般表示用于视频序列的示范性预测结构，且仅希望说明用于预测不同切片或图像类型的视频块(例如，P图像或切片，或B图像或切片)的图像参考。实际视频序列可含有不同图像类型及呈不同显示次序的更多或更少个视频图像。视频序列33可包含数目比图2中所说明的图像数目多或少的图像，且仅为了理解及作为实例的目的而说明视频序列33中所说明的图像。

对于基于块的视频译码，可将包含在序列33中的视频图像中的每一者分割成视频块，例如译码单元(CU)或预测单元(PU)。举例来说，视频图像的每一CU可包含一个或一个以上PU。经帧内译码(I)图像中的视频块是使用关于相同图像中的相邻块的空间预测来预测。经帧间译码(P或B)图像中的视频块可使用关于相同图像中的相邻块的空间预测或关于其它参考图像的时间预测。

B图像中的视频块可使用双向预测来预测以根据两个不同参考图像列表(例如，参考图像列表0和1，其被称作列表0和列表1)计算两个运动向量。在一些情况下，B图像中的视频块可使用单向预测根据两个不同参考图像列表中的一者来预测(例如，经单向B译码)。P图像中的视频块可使用单向预测来预测以根据单个参考图像列表计算单个运动向量。根据新兴HEVC标准，可使用单向预测来编码视频块以根据两个参考图像列表中的一者计算单个运动向量，或使用双向预测来编码视频块以根据两个参考图像列表计算两个运动向量。举例来说，两个参考图像列表可含有显示或输出次序上的过去参考图像或未来参考图像或过去参考图像与未来参考图像两者，及解码次序上的始终过去参考图像。

在图2的实例中，最终图像39经指明用于作为I图像进行帧内模式译码。在其它实例中，可参考前一序列的最终图像34(其可为I图像)以帧间模式译码(例如，作为P图像)译码最终图像39。视频图像35A到35C(共同地为“视频图像35”)经指明用于作为B图像使用双向预测参考过去图像和未来图像进行译码。在所说明实例中，作为B图像参考最终图像34和图像36A编码图像35A，如通过从图像34和36A到视频图像35A的箭头指示。类似地编码图像35B和35C。

视频图像36A到36B(共同地为“视频图像36”)可经指明用于作为图像使用单向预测参考过去图像进行译码。在所说明实例中，作为P图像参考最终图像34编码图像36A，如通过从图像34到视频图像36A的箭头指示。类似地编码图像36B。

根据本发明中所描述的技术，视频编码器20可用信号发出用于序列33中的图像中的每一者的参考图像集。举例来说，对于图像35A，此参考图像集可识别可用以对图像35A进行帧间预测的所有参考图像，以及可潜在地用于对在解码次序上在图像35A之后的图像进行帧间预测的所有参考图像。举例来说，图像35A的参考图像集可包含用于图像34和图像36A的POC值，以及用于额外参考图像(例如，可潜在地用于对在解码次序上在图像35A之后的图像进行帧间预测的参考图像)的POC值。在此实例中，在图像35A之后的图像可为在解码次序上在图像35A之后且在视频序列33内的图像。

视频解码器30可接着以上文所描述的方式导出图像35A的参考图像集。举例来说，视频解码器30可确定用于属于参考图像集的参考图像的POC值，如上文所描述。视频解码器30可进一步构造至少四个或至少五个参考图像子集，且在一些实例中，直到上文所描述的六个参考图像子集。视频解码器30可以特定次序布置所述六个参考图像集以导出图像35A的参考图像集。

视频解码器30可以上文所描述的方式进一步构造初始参考图像列表，其中不需要将待包含在初始参考图像列表中的图像重新排序。

图3为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧或图像内的视频的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的邻近帧或图像内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的压缩模式中的任一者。

在图3的实例中，视频编码器20包含分割单元35、预测模块41、已解码图像缓冲器(DPB)64、求和器50、变换模块52、量化单元54，和熵编码单元56。预测模块41包含运动估计单元42、运动补偿单元44，和帧内预测模块46。对于视频块重构造，视频编码器20还包含反量化单元58、反变换模块60，和求和器62。还可包含解块滤波器(图3中未展示)以对块边界滤波以将方块效应伪影从经重构造的视频中去除。在需要时，解块滤波器通常对求和器62的输出滤波。除解块滤波器之外，还可使用额外的环路滤波器(环路内或环路后)。

如图3中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及(例如)根据LCU和CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且有可能划分成被称作图块的视频块的集合)。预测模块41可基于误差结果(例如，译码速率和失真电平)而选择用于当前视频块的多个可能译码模式中的一者，例如，多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测模块41可将所得的经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，且将所得的经帧内译码或经帧间译码块提供到求和器62以重构造经编码块以用作参考图像。

预测模块41内的帧内预测模块46可执行相对于与待译码的当前块相同的图像或切片中的一个或一个以上相邻块的当前视频块的帧内预测性译码以提供空间压缩。预测模块41内的运动估计单元42和运动补偿单元44执行相对于一个或一个以上参考图像中的一个或一个以上预测性块的当前视频块的帧间预测性译码以提供时间压缩。

运动估计单元42可经配置以根据视频序列的预定模式确定视频切片的帧间预测模式。预定模式可指明序列中的视频切片为P切片或B切片。运动估计单元42和运动补偿单元44可高度集成，但为了概念目的而分别加以说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。运动向量(例如)可指示当前视频图像内的视频块的PU相对于参考图像内的预测性块的位移。

预测性块为被发现与待译码的视频块的PU在像素差方面紧密匹配的块，可通过绝对差总和(SAD)、平方差总和(SSD)或其它不同度量来确定像素差。在一些实例中，视频编码器20可计算存储在已解码图像缓冲器64中的参考图像的子整数像素位置的值。举例来说，视频编码器20可内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置和分数像素位置的运动搜索，且以分数像素精度输出运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图像的预测性块的位置而计算所述PU的运动向量。参考图像可选自第一参考图像列表(列表0)或第二参考图像列表(列表1)，第一参考图像列表(列表0)或第二参考图像列表(列表1)中的每一者识别存储在已解码图像缓冲器64中的一个或一个以上参考图像。运动估计单元42将所计算的运动向量和其它语法元素发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于通过运动估计确定的运动向量而获取或产生预测性块，有可能执行子像素精度的内插。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可将运动向量所指向的预测性块定位于参考图像列表中的一者中。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成块的残余数据，且可包含明度差分量与色度差分量两者。求和器50表示执行此减法运算的一个或一个以上组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。

帧内预测模块46可帧内预测当前块，而作为由运动估计单元42和运动补偿单元44执行的帧间预测(如上文所描述)的替代。明确地说，帧内预测模块46可确定使用帧内预测模式以编码当前块。在一些实例中，帧内预测模块46可使用各种帧内预测模式(例如)在单独编码遍次期间编码当前块，且帧内预测模块46(或，在一些实例中，模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测模块46可使用对各种所测试帧内预测模式的速率-失真分析而计算速率-失真值，且在所测试模式当中选择具有最好速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生经编码块的原始的未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(即，位数目)。帧内预测模块46可根据各种经编码块的失真和速率计算比率以确定哪一帧内预测模式展现块的最好速率-失真值。

在选择用于块的帧内预测模式之后，帧内预测模块46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术编码指示选定帧内预测模式的信息。视频编码器20可在经传输的位流配置数据中包含各种块的编码上下文的定义及将用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表和修改的帧内预测模式索引表的指示，所述经传输的位流配置数据可包含多个帧内预测模式索引表和多个修改的帧内预测模式索引表(也被称作码字映射表)。

在预测模块41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视频编码器20通过从当前视频块中减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一个或一个以上TU中且应用于变换模块52。变换模块52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换模块52可将残余视频数据从像素域转换到变换域，例如频域。

变换模块52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与所述系数中的一些系数或所有系数相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56熵编码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行的熵编码之后，可将经编码位流传输到视频解码器30或加以存档以供视频解码器30稍后传输或检索。熵编码单元56还可熵编码正被译码的当前视频切片的运动向量及其它语法元素。

反量化单元58和反变换模块60分别应用反量化和反变换，以在像素域中重构造残余块以供稍后用作参考图像的参考块。运动补偿单元44可通过将残余块与参考图像列表中的一者内的参考图像中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构造的残余块以计算子整数像素值以供用于运动估计中。求和器62将经重构造的残余块与由运动补偿单元44产生的经运动补偿的预测块相加以产生用于存储在已解码图像缓冲器64中的参考块。参考块可由运动估计单元42和运动补偿单元44作为用于对后续视频帧或图像中的块进行帧间预测的参考块使用。

根据本发明，预测模块41表示用于执行上文所描述的实例功能的一个实例单元。举例来说，预测模块41可确定哪些参考图像属于参考图像集，且致使视频编码器20译码指示属于参考图像集的参考图像的信息。而且，在重构造过程(例如，用以重构造用于用作参考图像且存储在已解码图像缓冲器64中的图像的过程)期间，预测模块41可构造多个参考图像子集，每一参考图像子集识别参考图像中的一者或一者以上。预测模块41还可从所述所构造的多个参考图像子集导出参考图像集。而且，预测模块41可实施上文所描述的实例伪码集合中的任何一者或一者以上，以实施本发明中所描述的一个或一个以上实例技术。

在一些实例中，预测模块41可以上文所描述的方式构造初始参考图像列表。在一些实例中，不需要将短期参考图像集或待包含在初始参考图像列表中的图像重新排序。在其它实例中，不同于预测模块41的单元可实施上文所描述的实例。在一些其它实例中，预测模块41结合视频编码器20的一个或一个以上其它单元可实施上文所描述的实例。在又一些其它实例中，视频编码器20的处理器或单元(图3中未展示)可单独地或结合视频编码器20的其它单元实施上文所描述的实例。

图4为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图4的实例中，视频解码器30包含熵解码单元80、预测模块81、反量化单元86、反变换单元88、求和器90，和已解码图像缓冲器(DPB)92。预测模块81包含运动补偿单元82和帧内预测模块84。在一些实例中，视频解码器30可执行一般与关于视频编码器20(图3)所描述的编码遍次互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码所述位流以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测模块81。视频解码器30可在视频切片层级和／或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测模块81的帧内预测模块84可基于用信号发出的帧内预测模式和来自当前图像的先前已解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频图像经译码为经帧间译码(即，B或P)切片时，预测模块81的运动补偿单元82基于从熵解码单元80所接收的运动向量及其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可产生自参考图像列表中的一者内的参考图像中的一者。视频解码器30可使用默认构造技术基于存储在已解码图像缓冲器92中的参考图像而构造参考帧列表(列表0和列表1)。在一些实例中，视频解码器30可从在所导出的参考图像集中识别的参考图像构造列表0和列表1。

运动补偿单元82通过分析运动向量及其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息产生正被解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些所接收语法元素确定：用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图像列表中的一者或一者以上的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，以及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元82还可基于内插滤波器而执行内插。运动补偿单元82可使用如由视频编码器20在编码视频块期间使用的内插滤波器，以计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频编码器20计算的用于视频切片中的每一视频块的量化参数，以确定量化程度及(同样的)应应用的反量化的程度。反变换模块88将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。

在预测模块81基于帧间预测或帧内预测而产生用于当前视频块的预测性块之后，视频解码器30通过将来自反变换模块88的残余块与由预测模块81产生的对应预测性块加总而形成已解码视频块。求和器90表示执行此加总运算的一个或一个以上组件。在需要时，还可应用解块滤波器来对已解码块滤波以便去除方块效应伪影。其它环路滤波器(译码环路中或译码环路后)还可用以使像素转变平滑，或以其它方式改善视频质量。接着将给定图像中的已解码视频块存储在已解码图像缓冲器92中，已解码图像缓冲器92存储用于后续运动补偿的参考图像。已解码图像缓冲器92还存储已解码视频以用于稍后呈现于显示装置(例如，图1的显示装置32)上。

根据本发明，预测模块81表示用于执行上文所描述的实例功能的一个实例单元。举例来说，预测模块81可确定哪些参考图像属于参考图像集。而且，预测模块81可构造多个参考图像子集，每一参考图像子集识别所述参考图像中的一者或一者以上。预测模块81还可从所述所构造的多个参考图像子集导出参考图像集。而且，预测模块81可实施上文所描述的实例伪码集合中的任何一者或一者以上，以实施本发明中所描述的一个或一个以上实例技术。

在一些实例中，预测模块81可以上文所描述的方式构造初始参考图像列表。在一些实例中，不需要将短期参考图像集或待包含在初始参考图像列表中的图像重新排序。在其它实例中，不同于预测模块81的单元可实施上文所描述的实例。在一些其它实例中，预测模块81结合视频解码器30的一个或一个以上其它单元可实施上文所描述的实例。在又一些其它实例中，视频解码器30的处理器或单元(图4中未展示)可单独地或结合视频解码器30的其它单元实施上文所描述的实例。

图5为说明导出参考图像集的实例操作的流程图。仅为了说明的目的，图5的方法可由对应于视频编码器20或视频解码器30的视频译码器来执行。举例来说，视频译码器(例如，视频编码器20或视频解码器30)可译码(例如，编码或解码)指示属于参考图像集的参考图像的信息(94)。参考图像集可识别可潜在地用于对当前图像进行帧间预测且用于对在解码次序上在当前图像之后的一个或一个以上图像进行帧间预测的参考图像。

举例来说，当视频编码器20执行步骤94时，视频编码器20可编码指示属于参考图像集的参考图像的识别符的值。举例来说，视频编码器20可在位流中用信号发出pic_order_cnt_lsb语法元素和log2_max_pic_order_cnt_lsb_minus4语法元素。当视频解码器30执行步骤94时，视频解码器30可根据log2_max_pic_order_cnt_lsb_minus4语法元素确定MaxPicOrderCntLsb的值。视频解码器30可接着确定属于参考图像集的参考图像的识别符(例如，POC值)。

视频译码器可构造多个参考图像子集。每一参考图像子集可识别零个参考图像或可识别所述参考图像中的一者或一者以上(96)。举例来说，视频译码器可构造RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll参考图像子集。然而，本发明的方面不应受此限制。在一些实例中，视频译码器可构造五个参考图像子集，所述五个参考图像子集中的四者可为RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll参考图像子集中的四者，且所述五个参考图像子集中的第五者可为剩余六个参考图像子集中的两者的组合(例如，RefPicSetFoll0与RefPicSetFoll1参考图像子集的组合)。

在一些实例中，视频译码器可构造以下四个参考图像子集中的至少两者。在其它实例中，视频译码器可至少构造以下四个参考图像子集。第一参考图像子集可识别满足以下情形的短期参考图像：在解码次序上在当前图像之前且在输出次序上在当前图像之前，且可潜在地用于对当前图像及在解码次序上在当前图像之后的一个或一个以上图像中的一者或一者以上进行帧间预测。第二参考图像子集可识别满足以下情形的短期参考图像：在解码次序上在当前图像之前且在输出次序上在当前图像之后，且可潜在地用于对当前图像及在解码次序上在当前图像之后的一个或一个以上图像中的一者或一者以上进行帧间预测。

第三参考图像子集可识别满足以下情形的长期参考图像：在解码次序上在当前图像之前，且可潜在地用于对当前图像及在解码次序上在当前图像之后的一个或一个以上图像中的一者或一者以上进行帧间预测。第四参考图像子集可识别满足以下情形的长期参考图像：在解码次序上在当前图像之前，且无法用于对当前图像进行帧间预测，且可潜在地用于对在解码次序上在当前图像之后的一个或一个以上图像中的一者或一者以上进行帧间预测。

视频译码器可从所述多个参考图像子集导出参考图像集(98)。举例来说，视频译码器可以特定次序将以下各者中的至少两者排序：RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll参考图像子集，以导出参考图像集。

在一些实例中，由视频码执行的排序可意味着：参考图像子集中的每一者中的图像可在参考图像集内顺序地加以识别。在这些实例中，视频译码器可通过到参考图像集中的索引值来参考参考图像集中的参考图像。

视频译码器可基于所导出的参考图像集而译码当前图像(100)。应理解，因为视频译码器从参考图像子集导出参考图像集，所以视频译码器可被视为基于所述多个参考图像子集而译码当前图像。举例来说，视频译码器可基于所述多个参考图像子集(例如，来自从所述多个参考图像子集导出的所导出的参考图像集)而构造第一参考图像列表和第二参考图像列表中的至少一者。视频译码器可接着基于第一参考图像列表和第二参考图像列表中的至少一者而译码当前图像。

图6为说明构造参考图像列表的实例操作的流程图。仅为了说明的目的，图6的方法可由对应于视频编码器20或视频解码器30的视频译码器来执行。类似于图5，视频译码器可译码指示参考图像的信息(102)，且构造多个参考图像子集(104)。

视频译码器可接着将来自参考图像子集的参考图像添加到初始参考图像列表中，以构造初始参考图像列表(106)。在一些实例中，视频编码器20与视频解码器30两者可构造初始参考图像列表。举例来说，视频编码器20可构造初始参考图像列表以建立用于存储在DPB64中的经重构造的视频块。视频解码器30可作为其解码过程的部分构造初始参考图像列表，且可实施默认构造技术，在默认构造技术中，视频解码器30不需要从视频编码器20接收关于借以构造初始参考图像列表的方式的信息。视频解码器30可(例如)将初始参考图像列表存储在DPB92中。

在一些实例中，为了构造初始参考图像列表，视频译码器可将来自所述多个参考图像子集中的第一子集的参考图像添加到初始参考图像列表中，后接续将来自第二子集的参考图像添加到初始参考图像列表中，且接着接续将来自第三子集的参考图像添加到初始参考图像列表中。只要初始参考图像列表中所列出的参考图像的总数目不大于初始参考图像列表中的可允许条目的最大数目，视频译码器便可添加来自这些参考图像子集的参考图像。举例来说，如果在于参考图像列表中添加参考图像期间的任何时间，初始参考图像列表中的条目的数目变成等于可允许初始参考列表条目的最大数目，那么视频译码器可停止在初始参考图像列表中添加任何额外图像。

视频译码器可类似地构造另一初始参考图像列表，例如在当前图像的视频块经双向预测的实例中。在此实例中，为了构造此另一初始参考图像列表，只要此另一初始参考图像列表中的条目的总数目不大于条目的可允许数目，视频译码器便可将来自第二子集的参考图像添加到所述另一初始参考图像列表中，后接续将来自第一子集的参考图像添加到所述另一初始参考图像列表中，且接着接续将来自第三子集的参考图像添加到所述另一初始参考图像列表中。在这些实例中，第一子集可为RefPicSetStCurr0参考图像子集，第二子集可为RefPicSetStCurr1参考图像子集，且第三子集可为RefPicSetLtCurr参考图像子集。

在某一实例中，为了添加在RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr参考图像子集中识别的参考图像，视频译码器可译码(例如，编码或解码)语法元素，视频译码器可根据所述语法元素确定这些参考图像子集中的每一者中的参考图像的数目。举例来说，视频译码器可译码num_short_term_curr0语法元素和num_short_term_currl语法元素。num_short_term_curr0语法元素和num_short_term_curr1语法元素可分别指示在RefPicSetStCurr0参考图像子集和RefPicSetStCurr1参考图像子集中识别的参考图像的数目。

视频译码器还可译码num_long_term_pps_curr语法元素和num_long_term_add_curr语法元素。num_long_term_pps_curr语法元素可指示识别包含在图像参数集(PPS)中的长期参考图像的数目，且num_long_term_add_curr语法元素可指示识别信息不包含在PPS中的长期参考图像的数目。在此实例中，这些长期参考图像可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在当前图像之后的一个或一个以上图像进行帧间预测。

视频译码器可基于num_long_term_pp_s_curr语法元素和num_long_term_add_curr语法元素而确定RefPicSetLtCurr参考图像子集中的参考图像的数目。举例来说，视频译码器可将num_long_term_pps_curr语法元素和num_long_term_add_curr语法元素的值加总，以确定RefPicSetLtCurr参考图像子集中的参考图像的数目。

视频译码器可基于一个或一个以上参考图像列表而译码当前图像(108)。举例来说，视频译码器可基于所导出的参考图像集而构造第一参考图像列表和第二参考图像列表中的至少一者。视频译码器可接着基于第一参考图像列表和第二参考图像列表中的至少一者而译码当前图像。

图7为说明导出参考图像集的实例操作的流程图。仅为了说明的目的，图7的方法可由对应于视频编码器20或视频解码器30的视频译码器来执行。

视频译码器确定将从在参数集中及切片标头中识别的参考图像构造用于当前图像的参考图像集(112)。可选择包含在参数集中的图像和包含在切片标头中的图像以用于包含在参数集和切片标头中，以使得当前图像与在切片标头中识别的参考图像中的任一者之间的距离大于当前图像与在参数集中识别的参考图像中的任一者之间的距离。基于在参数集和切片标头中识别的参考图像，视频译码器可构造参考图像集(114)。根据所构造的参考图像集，视频译码器可构造初始参考图像列表，而不将所构造的参考图像集重新排序(116)。参数集可(例如)包含PPS。可基于如上文所描述的增量图像次序计数值而确定当前图像与参考图像之间的距离。

在一个或一个以上实例中，所描述的功能可在硬件、软件、固件或其任何结合中实施。如果以软件来实施，那么可将所述功能作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和／或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件和／或软件模块内，或并入于组合式编码解码器中。而且，所述技术可完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中加以实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元来实现。而是，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一个或一个以上处理器)的集合且结合合适软件和／或固件来提供所述单元。

已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (33)

1.一种用于译码视频数据的方法，所述方法包括：

确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间在输出次序上的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及

基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

2.根据权利要求1所述的方法，其进一步包括：

从所述所构造的参考图像集构造初始参考图像列表。

3.根据权利要求2所述的方法，其中构造所述初始参考图像列表包括在不重新排序所述所构造的参考图像集的情况下构造所述初始参考图像列表。

4.根据权利要求1所述的方法，其中所述参数集包括图像参数集PPS。

5.根据权利要求1所述的方法，其中所述当前图像与所述参考图像之间的所述距离是基于增量图像次序计数值而确定。

6.根据权利要求1所述的方法，其进一步包括：

译码语法元素，其中所述语法元素指示将从在所述参数集中识别的所述参考图像和在所述切片标头中识别的所述参考图像构造用于所述当前图像的所述参考图像集。

7.根据权利要求1所述的方法，其中译码包括解码，且其中所述方法进一步包括接收所述参数集及接收所述切片标头。

8.根据权利要求1所述的方法，其中译码包括编码，且其中所述方法进一步包括产生所述参数集及产生所述切片标头。

9.一种用于译码视频数据的装置，所述装置包括视频译码器，所述视频译码器经配置以：确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间在输出次序上的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

10.根据权利要求9所述的装置，其中所述视频译码器经进一步配置以从所述所构造的参考图像集构造初始参考图像列表。

11.根据权利要求10所述的装置，其中所述视频译码器通过在不重新排序所述所构造的参考图像集的情况下构造所述初始参考图像列表来构造所述初始参考图像列表。

12.根据权利要求9所述的装置，其中所述参数集包括图像参数集PPS。

13.根据权利要求9所述的装置，其中所述视频译码器基于增量图像次序计数值而确定所述当前图像与所述参考图像之间的所述距离。

14.根据权利要求9所述的装置，其中所述视频译码器经进一步配置以译码语法元素，其中所述语法元素指示将从在所述参数集中识别的所述参考图像和在所述切片标头中识别的所述参考图像构造用于所述当前图像的所述参考图像集。

15.根据权利要求9所述的装置，其中所述视频译码器包括视频解码器，且其中所述视频解码器经配置以接收所述参数集及接收所述切片标头。

16.根据权利要求9所述的装置，其中所述视频译码器包括视频编码器，且其中所述视频编码器经配置以产生所述参数集及产生所述切片标头。

17.根据权利要求9所述的装置，其中所述装置包括以下各者中的至少一者：

集成电路；

微处理器；以及，

无线通信装置，其包含所述视频译码器。

18.一种用于视频译码的装置，所述装置包括：

用于确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集的装置，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间在输出次序上的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及

用于基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集的装置。

19.根据权利要求18所述的装置，其进一步包括：

用于从所述所构造的参考图像集构造初始参考图像列表的装置。

20.根据权利要求19所述的装置，其中所述用于构造所述初始参考图像列表的装置在不重新排序所述所构造的参考图像集的情况下构造所述初始参考图像列表。

21.根据权利要求18所述的装置，其中所述参数集包括图像参数集PPS。

22.根据权利要求18所述的装置，其中所述当前图像与所述参考图像之间的所述距离是基于增量图像次序计数值而确定。

23.根据权利要求18所述的装置，其进一步包括：

用于译码语法元素的装置，其中所述语法元素指示将从在所述参数集中识别的所述参考图像和在所述切片标头中识别的所述参考图像构造用于所述当前图像的所述参考图像集。

24.根据权利要求18所述的装置，其中所述用于译码的装置包括用于解码的装置，且其中所述装置进一步包括用于接收所述参数集的装置和用于接收所述切片标头的装置。

25.根据权利要求18所述的装置，其中所述用于译码的装置包括用于编码的装置，且其中所述装置进一步包括用于产生所述参数集的装置和用于产生所述切片标头的装置。

26.一种存储指令的非暂时性计算机可读存储媒体，所述指令在由一个或一个以上处理器执行时致使所述一个或一个以上处理器进行以下操作：

确定将从在参数集中识别的参考图像和在切片标头中识别的参考图像构造用于当前图像的参考图像集，其中所述当前图像与在所述切片标头中识别的所述参考图像中的任一者之间在输出次序上的距离大于所述当前图像与在所述参数集中识别的所述参考图像中的任一者之间的距离；以及

基于在所述参数集和所述切片标头中识别的所述参考图像而构造所述参考图像集。

27.根据权利要求26所述的非暂时性计算机可读存储媒体，其进一步存储指令，所述指令在由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器进行以下操作：

从所述所构造的参考图像集构造初始参考图像列表。

28.根据权利要求27所述的非暂时性计算机可读存储媒体，其进一步存储指令，所述指令在由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器进行以下操作：通过不重新排序所述所构造的参考图像集的情况下构造所述初始参考图像列表来构造所述初始参考图像列表。

29.根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述参数集包括图像参数集PPS。

30.根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述当前图像与所述参考图像之间的所述距离是基于增量图像次序计数值而确定。

31.根据权利要求27所述的非暂时性计算机可读存储媒体，其进一步存储指令，所述指令在由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器译码语法元素，其中所述语法元素指示将从在所述参数集中识别的所述参考图像和在所述切片标头中识别的所述参考图像构造用于所述当前图像的所述参考图像集。

32.根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述一个或一个以上处理器包括视频解码器且其中所述非暂时性计算机可读存储媒体进一步存储指令，所述指令在由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器接收所述参数集及接收所述切片标头。

33.根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述一个或一个以上处理器包括视频解码器且其中所述非暂时性计算机可读存储媒体进一步存储指令，所述指令在由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器产生所述参数集及产生所述切片标头。