CN107347160B - 针对高效率视频代码化用信号发送并置图片的显式方式 - Google Patents

Abstract

公开了针对高效率视频代码化用信号发送并置图片的显式方式。提供了一种用于确定并置参考图片以使得能够针对高效率视频代码化(HEVC)实现当前图片的编码和解码的系统。通过访问语法来标识并置图片，语法能够包括列表0和列表1的索引、指示列表0和列表1中图片的数目的参考图片集合数目、以及指示所述并置图片是在列表0还是列表1中的标志。该系统能够进一步使用片类型来确定列表0和列表1两者是否应该被访问。

Description

针对高效率视频代码化用信号发送并置图片的显式方式

本申请是分案申请，原案的申请号是201280056828.8，申请日是2012年11月19日，发明名称是“针对高效率视频代码化(HEVC)用信号发送并置图片的显式方式”。

相关申请的交叉引用

本申请根据美国法典第35条119(e)款要求2011年11月18日提交的在先提交的美国临时申请序号61/561,270的优先权，其整体通过引用结合在本文中。

技术领域

本公开涉及视频压缩领域，特别是使用了采用块处理的高效率视频代码化(HEVC)的视频压缩。

背景技术

图1描绘了能够被用来发送和接收HEVC数据的、包括代码化系统110和解码系统140的内容分发系统100。在一些实施例中，代码化系统110能够包括输入接口130、控制器111、计数器112、帧存储器113、编码单元114、发射器缓冲器115以及输出接口135。解码系统140能够包括接收器缓冲器150、解码单元151、帧存储器152以及控制器153。代码化系统110和解码系统140能够经由能够承载压缩比特流105的传输路径与彼此耦合。代码化系统110的控制器111能够以接收器缓冲器150的容量为基础控制要被发送的数据量，并且能够包括诸如每单元时间的数据量的其它参数。控制器111能够控制编码单元114以防止解码系统140的接收信号解码操作的失败的发生。控制器111能够是处理器，或者通过非限制性示例的方式包括具有处理器、随机存取存储器以及只读存储器的微型计算机。

通过非限制性示例的方式，从内容提供商供应的源图片120能够包括将源图片包括在视频序列中的帧的视频序列。源图片120能够是未经压缩的或压缩的。如果源图片120是未经压缩的，则代码化系统110能够具有编码功能。如果源图片120是压缩的，则代码化系统110能够具有转码功能。能够利用控制器111从源图片得到代码化单元(coding unit)。帧存储器113能够具有能够被用于存储来自源图片120的传入帧的第一区域和能够被用于读出帧并且将它们输出到编码单元114的第二区域。控制器111能够将区域切换控制信号123输出到帧存储器113。区域切换控制信号123能够指示要利用第一区域还是第二区域。

控制器111能够将编码控制信号124输出到编码单元114。编码控制信号124能够使编码单元114启动编码操作，诸如基于源图片来准备代码化单元。响应于来自控制器111的编码控制信号124，编码单元114能够开始读出准备好的代码化单元给高效率编码处理，诸如处理准备好的代码化单元从而基于与代码化单元相关联的源图片生成视频压缩数据的预测代码化处理或变换代码化处理。

编码单元114能够将所生成的视频压缩数据封装在包括视频分组的封装基本流(PES)中。编码单元114能够使用控制信息将视频分组映射成编码的视频信号122，并且节目时间戳(PTS)和经编码的视频信号122能够被发送到发射器缓冲器115。

经编码的视频信号122，包括所生成的视频压缩数据，能够被存储在发射器缓冲器115中。信息量计数器112能够被递增以指示发射器缓冲器115中的数据的总量。当数据被从缓冲器中检索和去除时，计数器112能够被递减以反映发射器缓冲器115中的数据量。占据区域信息信号126能够被发送到计数器112以指示来自编码单元114的数据是否已被被添加到发射器缓冲器115或者从发射器缓冲器115去除，所以计数器112能够被递增或者递减。控制器111能够以占据区域信息126为基础控制由编码单元114所产生的视频分组的产生，占据区域信息126能够被传送以便预期、避免、防止和/或检测在发射器缓冲器115中发生上溢或下溢。

能够响应于由控制器111所生成和输出的预设信号128重置信息量计数器112。在信息计数器112被重置之后，它能够对由编码单元114所输出的数据进行计数并且获得已生成的视频压缩数据和/或视频分组的量。信息量计数器112能够给控制器111供应表示所获得的信息量的信息量信号129。控制器111能够控制编码单元114使得在发射器缓冲器115处没有上溢。

在一些实施例中，解码系统140能够包括输入接口170、接收器缓冲器150、控制器153、帧存储器152、解码单元114以及输出接口175。解码系统140的接收器缓冲器150能够暂时地存储已压缩比特流105，包括所接收到的基于来自源图片120的源图片的视频压缩数据和视频分组。解码系统140能够读取与所接收到的数据中的视频分组相关联的控制信息和呈现时间戳，并且输出能够被应用于控制器153的帧数信号163。控制器153能够以预定义间隔监督所计数的帧数。通过非限制性示例的方式，每当解码单元151完成解码操作时控制器153能够监督所计数的帧数。

在一些实施例中，当帧数信号163指示接收器缓冲器150处于预定容量时，控制器153能够将解码启动信号164输出到解码单元151。当帧数信号163指示接收器缓冲器150少于预定容量时，控制器153能够等待其中所计数的帧数变得等于预定量的情形的发生。当该情形发生时控制器153能够输出解码启动信号164。通过非限制性示例的方式，当帧数信号163指示接收器缓冲器150处于预定容量时，控制器153能够输出解码启动信号164。经编码的视频分组和视频压缩数据能够基于与经编码的视频分组相关联的呈现时间戳以单调顺序(即，增加或减小)被解码。

响应于解码启动信号164，解码单元151能够对总计为与帧相关联的一个图片以及与关联于来自接收器缓冲器150的视频分组的该图片相关联的压缩视频数据的数据进行解码。解码单元151能够将解码的视频信号162写入帧存储器152。帧存储器152能够具有经解码的视频信号被写入的第一区域，以及用于将解码的图片160读出到输出接口175的第二区域。

在各种实施例中，代码化系统110能够与在头端处的转码器或编码装置合并或者相关联，并且解码系统140能够与下游设备合并或者相关联，下游设备诸如是移动设备、机顶盒或转码器。

能够分别地或共同利用代码化系统110和解码系统140根据包括高效率视频代码化(HEVC)的各种代码化格式对视频数据进行编码和解码。HEVC是基于块的空间和时间混合预测代码化方案。在HEVC中，诸如视频帧的输入图像能够被划分成称作代码化树单元(CTU)200的方形块，如图2中所示。CTU 200每个都能够如128x128像素那么大，不同于将输入图像分解成16x16像素的宏块的其它代码化方案。如图3中所示，每个CTU 200都能够通过将CTU200分裂成四个代码化单元(CU)202而被分割。CU 202能够是各为CTU 200的四分之一尺寸的方形块。每个CU 202都能够被进一步分裂成各为较大的CU 202的四分之一尺寸的四个较小的CU 202。通过非限制性示例的方式，在图3中所描绘的CTU 200的右上角的CU 202能够被划分成四个较小的CU202。在一些实施例中，这些较小的CU 202能够被进一步分裂成甚至尺寸更小的四分之一，并且能够多次完成将CU 202分裂成较小的CU202的这个处理。

随着越来越高的视频数据密度，所需要的是针对HEVC更高效地、迅速地以及准确地对图片组中的单独图片进行编码和解码的方式。

发明内容

本发明的实施例提供了用于在HEVC中使用并置图片(collocated picture)对图片组中的当前图片进行编码和解码的改进的系统。在用于系统的实施例中，并置图片是使得能实现当前图片的编码和解码的、视频流中一组参考图片中的一个。并置图片能够针对用于当前图片的运动矢量图片(MVP)和合并/跳跃模式提供要被用作候选中的一个的运动矢量(MV)。并置图片位于与当前图片相对极接近的一组参考图片中，并且能够使用包含第一列表列表0和第二列表列表1的参考图片索引来标识，其中列表0和列表1使用图片顺序计数(POC)来相对于当前图片定位参考图片。一些实施例使用标志来标识需要列表0和列表1中的哪一个来标识并置图片。一些实施例进一步使用片类型是否将帮助标识并置图片的指示。若干不同的实施例被概括如下。

在第一实施例中，列表0和列表1两者被分别地访问以标识并置图片。在这个实施例中，由列表0和列表1所参考的每个集合中的图片数被首先评估。列表0和列表1具有标记为collocated_picture_idx_list0和collocated_picture_idx_list1的语法。图片参考集合的这些数目由标记为NumRpsCurr0和NumRpsCurr1的语法来标识。如果列表0或列表1的任何一个数目大于1，则能够查阅列表0或列表1得到并置图片的标识。如果数目等于1，则在参考图片集合中仅存在一个图片并且它提供并置图片。如果数目是0，则参考图片的集合是空的。能够在一个实施例中访问标志以指示列表0和列表1中的哪一个包含并置图片，该标志具有标记为collocated_from_10_flag的语法。另外，能够访问片类型以确定访问列表0和列表1两者是否是需要的。对于B型片，列表0和列表1两者都将是需要的。

在第二实施例中，与第一实施例不同的过程被提供来更高效地标识并置图片。在这个实施例中，片类型被首先评估以确定它是否是B型以潜在地消除访问列表0和列表1两者的需要。类似地，标志接下来被访问以确定如果片类型被标识为B型则是否将在列表0或列表1中寻找并置图片，以及如果片类型被标识P型则是否将在列表0中寻找并置图片。最后，仅针对所标识的列表来评估参考图片集合以确定该集合是空的、包含默认为并置图片的仅一个数目、还是包含一个以上的数目要求查阅结合列表0和列表1来标识并置图片的语法collocated_picture_idx。

第三实施例提供了包含上面所描述的第一和第二实施例的标识并置图片的通用方法。这个第三实施例的特征一般地包括：(1)标识图片组中的当前图片以用于解码或编码；(2)提供用于标识该组图片中的并置参考图片的语法；以及(3)使用经标识的并置图片来对当前图片进行解码或编码。

附图说明

借助于附图来解释本发明的另外的细节，在附图中：

图1描绘内容分发系统的实施例；

图2描绘被划分成代码化树单元的输入图像的实施例；

图3描绘被划分成代码化单元的代码化树单元的实施例；

图4描绘被划分成代码化单元的代码化树单元的四叉树表示；

图5描绘在代码化单元内预测单元的可能的示例性布置；

图6描绘用于对预测单元进行编码和/或解码的方法的实施例的框图；

图7描绘被划分成预测单元和变换单元的代码化单元的示例性实施例；

图8描绘被划分成变换单元的代码化单元的四叉树表示的示例性实施例；

图9提供图示用于标识用于在使用两个参考图片列表列表0和列表1对当前图片进行解码时使用的并置参考图片的本发明的一个实施例的语法列表；

图10图示用于解释当前图片与参考图片之间的图片顺序计数差如何被确定的图片组；

图11提供图示能够被用来标识并置图片以使得能实现当前图片的解码和编码的编码语法步骤的流程图；

图12提供示用于标识在使用公共参考图片列表对当前图片进行解码时使用的并置图片的另一实施例的语法列表；以及

图13描绘能够被用来实现本发明的实施例的计算机硬件的示例性实施例。

具体实施方式

在HEVC中，诸如视频帧的输入图像被分解成然后在代码中标识的CU。CU然后被进一步分解成如将随后描述的那样被代码化的子单元。

最初对于代码化，四叉树数据表示能够被用来描述CTU 200的分区。四叉树表示能够具有与CTU 200和CU 202相对应的节点。在四叉树表示的每个节点处，如果CTU 200或CU202被分裂成四个CU 202则能够指配标志“1”。如果节点未被分裂成CU 202，则能够指配标志“0”。通过非限制性示例的方式，图4中所示出的四叉树表示能够描述图3中所示出的CTU分区，其中CTU 200被分裂成四个CU 202，并且第二CU 202被分裂成四个更小的CU 202。四叉树的二进制数据表示可以是CU分裂标志，CU分裂标志能够被代码化并且连同随后描述的诸如跳跃模式标志、合并模式标志以及PU代码化模式一起作为开销被发送。通过非限制性示例的方式，图4中所示出的CU分裂标志四叉树表示能够被代码化为二进制数据表示“10100”。

在四叉树的每个叶处，最后的CU 202能够被分解为称作预测单元(PU)204的一个或多个块。PU 204可以是方形或矩形。具有2Nx2N的维度的CU 202能够具有图5中所示出的PU 204的四个示例性的布置中的一个，其中PU 204具有2Nx2N、2NxN、Nx2N或NxN的维度。

PU能够通过空间预测或时间预测来获得。时间预测与帧间模式图片相关。空间预测涉及帧内模式图片。因此能够在帧内模式或帧间模式下代码化每个CU 202的PU 204。在以下的段落中描述了涉及帧内模式和帧间模式图片的代码化的特征。

帧内模式代码化能够使用来自当前输入图像的数据，而不用参考其它图像，以对I图片进行代码化。在帧内模式下PU 204能够被空间预测代码化。CU 202的每个PU 204都能够具有其自身的空间预测方向。空间预测方向可以是水平、垂直、45度对角线、135度对角线、DC、平面或任何其它方向。PU 204的空间预测方向能够被代码化为语法元素。在一些实施例中，能够分别地预测PU 204的亮度信息(亮度)和色彩信息(色度)。在HEVC中，用于所有块尺寸的亮度帧内预测模式的数目是35。在替代实施例中，用于任何尺寸的块的亮度帧内预测模式的数目能够是35。附加的模式能够被用于色度帧内预测模式。在一些实施例中，色度预测模式能够被称作“IntraFromLuma”。

帧间模式代码化能够使用来自当前输入图像和一个或多个参考图像的数据来对“P”图片和/或“B”图片进行代码化。在一些情形和/或实施例中，帧间模式代码化能够导致比帧内模式代码化更高的压缩。在帧间模式下PU 204能够被时间预测代码化，使得CU 202的每个PU204都能够具有一个或多个运动矢量和一个或多个关联的参考图像。时间预测能够通过运动估计操作来执行，运动估计操作遍及所关联的参考图像为PU 204搜索最佳匹配预测。最佳匹配预测能够由运动矢量和关联的参考图像来描述。P图片使用来自当前输入图像和一个或多个先前的参考图像的数据。B图片使用来自当前输入图像以及先前的和后续的参考图像的数据，并且能够具有直至两个运动矢量。运动矢量和参考图片能够被代码化在HEVC比特流中。在一些实施例中，运动矢量能够是语法元素“MV”，以及参考图片能够是语法元素“refIdx”。在一些实施例中，帧间模式能够允许空间预测代码化和时间预测代码化两者。

图6描绘PU 204x如何能够被编码和/或解码的框图。在606处，能够从当前PU 204x减去如上所述通过在602处的帧内模式或在604处的帧间模式所预测的预测PU 206x’，以获得残差PU 208e。在608处，残差PU 208e能够以块变换被变换成一个或多个变换单元(TU)210E。每个TU 210都能够包括一个或多个变换系数212。在一些实施例中，块变换可以是方形的。在替代实施例中，块变换可以是非方形的。

如图7中所示，在HEVC中，能够对CU 202执行不同尺寸的一组块变换，使得一些PU204能够被划分成更小的TU 210并且其它PU204能够具有与PU 204相同的尺寸的TU 210。将CU 202和PU 204划分成TU 210能够由四叉树表示来示出。通过非限制性示例的方式，图8中所示出的四叉树表示描绘在图7中所示出的CU 202内的TU 210的布置。

返回参考图6，在610处TU 210E的变换系数212能够被量化成有限数目的可能值中的一个。在一些实施例中，这是有损操作，其中通过量化导致的数据损失可能不是可恢复的。在变换系数212已被量化之后，在612处经量化的变换系数212能够被熵代码化以获得最后的压缩比特214。能够在步骤612期间应用的熵代码化方案能够包括基于上下文的自适应二进制算术代码化(CABAC)和上下文自适应可变长度代码化CAVLC。

在614处，经量化的变换系数212能够被去量化成去量化的变换系数216E’。在616处，经去量化的变换系数216E’然后能够被逆变换来重建残差PU 218e’。在618处，经重建的残差PU 218e’然后能够被相加到通过在602处的空间预测或在604处的时间预测获得的对应的预测PU 206x’，以获得重建的PU 220x”。在620处，能够对PU 220x”使用去块滤波器以减少块效应。在620处，还提供了采样自适应偏移处理，采样自适应偏移处理能够被有条件地执行以补偿重建的像素与原始像素之间的像素值偏移。另外，在620处，能够对经重建的PU 220x”有条件地使用自适应环路滤波器，以减少或者最小化输入图像与输出图像之间的代码化失真。

如果经重建的图像是将在帧间模式代码化中被用于将来的时间预测的参考图像，则经重建的图像能够被存储在参考缓冲器622中。帧内模式代码化的图像可以是其中解码能够开始而无需附加的重建的图像的可能点。

本发明的实施例提供了在参考图片的标识中帮助当前图片的编码和解码的改进。特别地，并置参考图片的标识被提供来使得能实现关联的当前图片的更高效的编码和解码。并置图片能够被用作用于针对当前图片的运动矢量图片(MVP)和合并/跳跃模式的侯选中的一个。对于以下的本发明的实施例，描述了关于如何针对当前图片标识并置图片的信息。

I.概述-HEVC中的并置图片标识

在HEVC中，用于当前图片的关联的并置参考图片能够存在于正被解码或编码的先前的或后续的图片中。并置参考图片能够被用作候选以使得能够针对当前图片实现MVP和合并/跳跃模式。

并置图片提供参考图片并且在用于在B型图片被使用时标识并置图片的一个方法中，能够在被称为列表0或列表1的两个列表之一中被指定。标记为collocated_from_l0_flag的标志能够被用来指明两个列表列表0或列表1中的哪一个标识并置图片。标志能够被设置为1以指示图片应该是从列表0得到的，否则图片应该是从列表1得到的。如果collocated_from_l0_flag不存在于包含用于编码或解码的图片组的比特流中，则它的默认值是1。

具体地，在下面提供能够在更常规的方法中被用来标识并置图片的步骤。在步骤中，如上所述的标志collocated_from_10_flag连同标识列表0和列表1的变量，标记为RefPicList0[]和RefPicList1[]，一起被使用。附加的变量colPic标识并置图片。该过程的两个步骤(A)和(B)如下：

(A)如果slice_type(片_类型)等于B并且collocated_from_l0_flag等于0，则变量colPic指定包含如由RefPicList1[0]所指定的并置分区的图片，这意味着列表1中的第一条目被视为并置图片。

(B)否则当slice_type等于B并且collocated_from_l0_flag等于1或者slice_type等于P时，变量colPic指定包含如由RefPicList0[0]所指定的并置分区的图片，这意味着列表0中的第一条目被视为并置图片。

取决于标志collocated_from_l0_flag的值，并置图片使用这种第一“隐式”方法被标识为列表0或列表1中的第一参考图片。然而，用于定义并置图片的这种隐式过程可能不是最优的。理想地，并置图片应该是与当前图片最接近的参考图片。但是，列表0或列表1中的第一参考图片可能未必是最接近于当前图片的一个。而且，用于相同图片内的不同片的RefPicList0[0]或RefPicList1[0]可能不指向相同并置图片，这将导致硬件实施方式的困难。因此，提供用用信号发送并置图片的替代方式可能是有用的。

II.用于HEVC的改进的显式并置图片标识

为了具有选取最优并置图片的灵活性，能够显式地，代替隐式地，用信号发送并置图片。对于显式用信号发送，通过使用包括可以不使用列表0或列表1中的第一条目参考图片的实施例的过程，或者替换地从单个列表而不是两个单独的列表参考图片以标识并置参考图片，语法元素被用来来显式地表示并置图片。取决于新的语法元素被放在哪里以显式地表示并置图片，对于列表0和列表1来说可能需要一个或两个语法元素，或者替换地可以在更高效的代码化中使用有效地去除参考列表0和列表1的需要的单个列表。

A.使用列表0和列表1的显式语法

在显式地标识并置图片的一个实施例方法中，绝对图片顺序计数(POC)差被用来表示参考图片。这个方法通过使用POC和当前图片POC与参考图片POC之间的差来实现。POC和增量POC被用来构建参考图片集合(RPS)。RPS然后被用来创建标识能够被用来对当前图片进行编码和解码的并置图片的两个列表列表0和列表1。用来标识并置图片的这个实施例的方法能够使用图9的语法来执行。

图9通过标识参考图片集合索引ref_pic_set(idx)并且标识这个参考图片集合的负图片和正图片的数目来开始。用于标识与列表0和列表1中的图片的数目相同的负变量和正变量的数目的语法变量是num_negaive_pics和num_pos_pics。负图片和正图片帮助确定列表0和列表1中的图片，像能够参考图10所解释的那样。图10图示七个图片的组中的当前图片3，其中图片组中图片的图片顺序计数(POC)范围从0到6。负图片，或在当前图片3之前的图片，包括图片0-2。正图片，或继当前图片3之后的图片，包括图片4-6。如在图片指示符之上所示，列表0中的负图片在当前图片3之后被按顺序表示为L0[2,1,0]，其中方括号中的那些数是在列表0中的参考图片的POC数，并且例如，列表0的第一条目是POC 2以及列表0的第二条目是POC 1等等。类似地，列表1中的正图片在当前图片3之后被按顺序表示为L1[4,5,6]。请记住，具有POC 0、1、2、4、5以及6的图片在图片3之前被编码或者解码。

图9的语法通过确定当前图片与参考图片之间在POC方面的差而继续。这使得图10中所示出的L0和L1的列表值能够通过使用差代码化而被转换为更合理的值。例如，采用语法步骤：

for(I＝0；I<num_negative_pics；i++)

delta_poc_s0_minus1[i]

used_by_current_pic_s0_flag[i]

这些步骤在POC方面从当前图片减去所列举的图片，以将列表L0[2,1,0]转换为新的增量POC列表L0[1,2,3]，使得更易于对增量POC而不是POC本身进行代码化。同时，进一步的步骤通过使用used_by_current_pic_s0_flag来设置当前图片以指示参考列表0中的图片是否被使用。类似地，采用语法步骤：

for(I＝0；I<num_positive_pics；i++)

delta_poc_s1_minus1[i]

used_by_current_pic_s1_flag[i]

这些步骤在POC方面从当前图片减去所列举的图片，以将列表L1[4,5,6]转换为新的增量POC列表L1[-1,-2,-3]，并且通过使用used_by_current_pic_s1_flag来设置当前图片以指示参考列表1中的图片是否被使用。

图9进一步包括标记有“*”的有效语法。在该语法中，为参考图片集合中的列表0和列表1的索引ref_pic_set(idx)提供两个变量，这些变量被标记为collocated_picture_idx_list0和collocated_picture_idx_list1，它们分别为列表0和列表1中的并置图片指定索引。另外在该有效语法中，提供用于当前参考图片集合的数目的两个变量，标记为NumRpsCurr0和NumRpsCurr1，它们分别还被认为是列表0和列表1的图片的数目。变量NumRpsCurr0和NumRpsCurr1分别标识当前参考图片集合中的条目RefPicSetCurr0和RefPicSetCurr1的数目。

采用图9中的这种有效语法，并置图片分别由collocated_picture_idx_list0和collocated_picture_idx_list1在列表0和列表1之一中被显式地用信号发送。首先在该有效语法中，针对列表0，当前参考图片集合中的图片的数目NumRpsCurr0被检查以确定它是否大于1。如果NumRpsCurr0是零，则在列表0中什么也没有，以及如果NumRpsCurr0是一，则在列表0中所列举的一个参考图片必须是并置图片。然而如果NumRpsCurr0大于一，则语法collocated_picture_idx_list0被审查以确定哪一个参考图片被指明为并置图片。如果collocated_picture_idx_list0不存在，则它被推断为等于0。

其次在图9的有效语法中，针对列表1，当前参考图片集合中的图片的数目NumRpsCurr1被检查以确定它是否大于1。如果NumRpsCurr1是零，则在列表1中什么也没有，以及如果NumRpsCurr1是一，则在列表1中所列举的一个参考图片必须是并置图片。然而如果NumRpsCurr1大于一，则语法collocated_picture_idx_list1被审查以确定哪一个参考图片被指明为并置图片。如果collocated_picture_idx_list1不存在，则它被推断为等于1。

尽管未在图9的语法中示出，但是单独的标志能够被提供来标识列表0或列表1这两个列表中的哪一个标识并置图片。用于将具有两个状态1或0的标志的变量是collocated_from_l0_flag。如果collocated_from_l0_flag等于1，则由collocated_picture_idx_list0所指示的列表0中的参考图片将被用于并置图片，否则，由collocated_picture_idx_list1所指示的列表1中的参考图片将被用作并置图片。

对于除B型以外的片/图片类型，collocated_from_10_flag不存在并且将被设置为1作为默认值以指示默认使用列表0。对于B片图片，collocated_from_10_flag能够具有0值或1值以指示列表0或列表1中的哪一个将被使用。

在实践中，由图9的语法所示出的方法可以被实现来从图片组中选择图片作为用于当前图片的并置图片。若干示例被提供如下。

在使用图9的语法的第一示例中，collocated_from_l0_flag是1并且NumRpsCurr0是5。标记为RefPicSetCurr0的、参考图片集合中的参考图片的增量POC是{2,5,1,4,3}。如果collocated_picture_idx_list0是2，则来自列表0的、具有为1的增量POC的参考图片将被用作当前图片/片的并置图片。

在第二示例中，collocated_from_l0_flag是0并且NumRpsCurr1是5。RefPicSetCurr1中的参考图片的增量POC是{3,1,2,4,5}。如果collocated_picture_idx_list1是1，则来自列表1的、具有为1的增量POC的参考图片将被用作当前图片/片的并置图片。

图11提供图示能够被用来标识并置图片以使得能实现当前图片的解码和编码的语法步骤的编码的流程图。首先，在步骤300中提供了图片组中被标识用于编码或解码的当前图片。在步骤302中，当前图片的片类型被标识以确定它是否是B型。如果是这样的话，则必须在步骤304中访问标志以确定并置图片是在列表0还是列表1中被标识。如果图片不同于B型，则方法直接进行到步骤306并且假定具有并置图片的列表是列表0。确定步骤304被使用，标志状态确定方法是否进行到步骤306以为并置图片而检查列表0，或者它是否进行到步骤308以检查列表1。

如果列表0将被检查，则步骤306看看列表0中图片的当前数目是否大于1。如果是这样的话，则控制进行到步骤310以从列表0标识并置图片。如果在步骤306中图片的数目等于一，则处理进行到步骤312以将并置图片标识为列表0中的唯一图片。

如果列表1将被检查，则步骤308看看列表1中图片的当前数目是否大于1。如果是这样的话，则控制进行到步骤314以从列表1标识并置图片。如果在步骤308中图片的数目等于一，则处理进行到步骤316以将并置图片标识为列表1中的唯一图片。

最后，一旦并置图片被标识，方法就进行到步骤318。步骤318提供并置图片以使得能够对当前图片进行编码或解码。

B.使用单个参考列表的显式语法

作为由图9的语法所示出的处理的替代，能够使用在片头部处的一个语法collocated_picture_idx，其为在列表0或列表1处的并置图片指定索引，以显式地用信号发送当前片的并置图片，如图12的语法列表中所示。这种方式同样在访问参考图片列表之前使用collocated_from_10_flag来确定列表0或列表1中的哪一个将被使用。然而，语法collocated_picture_idx可以被放在collocated_from_10_flag之后。采用这种排序，将无需具有两个语法。图12的语法因此可以提供比图9的语法更有效的系统。

对于图12的语法，最初片类型用语法变量slice_type来标识。如果片类型是B，则标志collocated_from_10_flag被参考以确定并置图片将来自列表0还是列表1。对于其它片类型，collocated_from_10_flag不存在并且collocated_from_10_flag的值被推断为等于1，这意味着并置图片总是来自列表0并且不需要检查“else”语句。类似地，如果collocated_from_10_flag是0，则不需要检查“if”语句。

不同于图9的实施例，在图12中能够标识并置图片的单个collocated_picture_idx被查阅。标志能够被设置为1以指示包含并置分区的图片应该是从通过使用collocated_picture_idx从列表0检查图片的“if”语法得到的，否则应该在“else”语句之后从列表1得到并置图片。

与图9的实施例类似，在图12中，提供用于当前参考图片集合的数目的两个变量，标记为NumRpsCurr0和NumRpsCurr1。变量NumRpsCurr0和NumRpsCurr1，或分别在列表0和列表1中参考图片的数目，标识当前参考图片集合中的条目的数目。因此在该语法中，取决于用来确定它是否大于1的“if”和“else”条件，NumRpsCurr0和NumRpsCurr1被检查。如果任何一个是0，则集合是空的并且不需要被评估。如果任何一个是1，则一个索引值标识并置图片，因为它是集合中是仅有的一个，并且意味着collocated_picture_idx的默认值应该是0以及并置图片是对应的参考列表中的第一个且仅有的图片。如果任何一个大于1，则collocated_picture_idx语法能够被用来标识并置参考图片。

C.利用高效语法的显式并置图片

对于以上章节A和B的语法两者所共有的特征图示如何能够执行用来标识并置图片的显式方法。章节A的语法要求更多资源来标识并置图片。例如，为了标识并置图片必须执行贯穿两个单独的列表collocated_picture_idx_list0和collocated_picture_idx_list1的搜索。通过在章节B的系统中采取提前步骤以通过最初参考标志collocated_from_l0_flag来消除贯穿列表中的一个进行搜索的需要，章节B的语法消除所要求的资源。另外，在章节B中，片类型在甚至参考标志之前被审查，因为如果片类型是I型或P型，而不是B型，则将提前知道标志状态。

与从章节A到章节B的语法的改变类似，能够执行语法的其它修改以使并置图片的标识变得更有效。章节A和B的语法的公共特征包括：(1)标识图片组中的当前图片以用于解码或编码；(2)提供用于标识该组图片中的并置参考图片的语法；以及(3)使用经标识的并置图片来对当前图片进行解码或编码。

可以以若干方式执行采用所提出的图9和12的语法的代码化和编码。用来对collocated_picture_idx_list0、collocated_picture_idx_list1或collocated_picture_idx进行代码化的一个可能的方式将使用固定长度代码化。用于这些语法的最大比特被指明为变量Ceil(Log2(max_num_ref_frames)，其中max_num_ref_frames指定可以被解码处理用于序列中任何图片的帧间预测的参考帧、互补参考字段对以及非成对参考字段的最大数目。

对于实际的编码，应用各种条件。例如，如果collocated_from_l0_flag是1并且NumRpsCurr0也是1，则collocated_picture_idx_列表0和collocated_picture_idx均未被代码化。同样地，如果collocated_from_l0_flag是0并且NumRpsCurr1是1，则collocated_picture_idx_list1和collocated_picture_idx均未被代码化。取决于代码化过程，遵循用于编码的语法代码化规则的处理能够被用于解码。

实践本发明的实施例所要求的指令的序列的执行可以由图1的系统中的一个或多个计算机来执行。将参考图13描述能够被使用的计算机系统400，图13是计算机系统400的功能组件的框图。如本文中所用的，术语计算机系统400被广泛地用来描述能够存储并且独立地运行一个或多个程序的任何计算设备。

计算机系统400能够包括耦合到总线406的通信接口414。通信接口414提供计算机系统400之间的双向通信。相应的计算机系统400的通信接口414发送和接收电、电磁或光学信号，信号包括表示各种类型的信号信息，例如，指令、消息以及数据的数据流。通信链路415将一个计算机系统400与另一计算机系统400链接。例如，通信链路415可以是LAN、综合服务数字网络(ISDN)卡、调制解调器或因特网。

计算机系统400可以通过它相应的通信链路415和通信接口414来发送和接收消息、数据以及指令，包括程序，即应用、代码。接收到的程序代码在它被接收时可以由相应的(一个或多个)处理器407执行，和/或被存储在存储设备410或其它关联的非易失性介质中，以用于以后执行。

在实施例中，计算机系统400与数据存储系统431相结合地操作，数据存储系统431例如包含可由计算机系统400容易地访问的数据库432。计算机系统400通过数据接口433与数据存储系统431进行通信。

计算机系统400能够包括用于传送统称为信息的指令、消息以及数据的总线406或其它通信机制，以及与总线406耦合以用于处理信息的一个或多个处理器407。计算机系统400还包括耦合到总线406以用于存储要被(一个或多个)处理器407执行的动态数据和指令的主存储器408，诸如随机存取存储器(RAM)或其它动态存储设备。计算机系统400能够进一步包括耦合到总线406以用于存储用于(一个或多个)处理器407的静态数据和指令的只读存储器(ROM)409或其它静态存储设备。诸如磁盘或光盘的存储设备410还可以被提供并且耦合到总线406以用于存储用于(一个或多个)处理器407的数据和指令。

计算机系统400可以经由总线406被耦合到显示设备411，诸如LCD屏幕。输入设备412，例如，字母数字和其它键，被耦合到总线406以用于将信息和命令选择传送到(一个或多个)处理器407。

根据一个实施例，单独的计算机系统400通过它们相应的(一个或多个)处理器407执行在主存储器408中包含的一条或多个指令的一个或多个序列来执行特定操作。这样的指令可以被从诸如ROM 409或存储设备410的另一计算机可用介质读取到主存储器408中。在主存储器408中包含的指令的序列的执行使(一个或多个)处理器407执行本文中所描述的处理。在替代实施例中，可以代替软件指令或者与软件指令相结合地使用硬连线电路。因此，实施例不限于硬件电路和/或软件的任何特定组合。

尽管已经在上面特别地描述了本发明，但是这仅仅将教导本领域的普通技术人员如何做出和使用本发明。许多附加的修改将落入本发明的范围内，因为该范围由随附权利要求来限定。

Claims (10)

1.一种在高效率视频代码化HEVC视频流中提供的图片组中标识并置图片的方法，所述方法包括：

根据标志的状态，指示第一列表和第二列表中的哪个参考图片提供所述并置图片；

如果所述标志处于第一状态：

提供第一参考图片集合数目，所述第一参考图片集合数目指示所述第一列表中按照解码顺序在当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目；以及

确定所述第一参考图片集合数目是否指示在所述第一列表中存在多于一个参考图片，如果是，则使用并置图片索引语法来标识所述并置图片，并且如果不是，则所述第一列表中的第一条目被标识为所述并置图片；以及

如果所述标志处于第二状态：

提供第二参考图片集合数目，所述第二参考图片集合数目指示所述第二列表中按照解码顺序在所述当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目，以及

确定所述第二参考图片集合数目是否指示在所述第二列表中存在多于一个参考图片，如果是，则使用所述并置图片索引语法来标识所述并置图片，并且如果不是，则所述第二列表中的第一条目被标识为所述并置图片。

2.根据权利要求1所述的方法，其中所标识的并置图片被用于解码所述当前图片。

3.根据权利要求1所述的方法，其中所标识的并置图片被用于对所述当前图片进行编码。

4.根据权利要求1所述的方法，还包括：

在所述根据标志的状态指示的步骤之前，从片类型来确定所述并置图片是否能够使用所述第一列表或所述第二列表中的任何一个来定位，以及：如果所述片类型不是B型，则进行所述如果标志处于第一状态的步骤，并且如果所述片类型是B型，则进行所述指示步骤。

5.一种用于处理包含图片组的高效率视频代码化HEVC编码视频流的解码器，所述解码器包括：

处理器

通信地耦合到所述处理器的存储器，所述存储器存储包括指令的多个指令，所述指令使得所述处理器：

根据标志的状态，指示第一列表和第二列表中的哪个参考图片提供并置图片；

如果所述标志处于第一状态：

提供第一参考图片集合数目，所述第一参考图片集合数目指示所述第一列表中按照解码顺序在当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目；以及

确定所述第一参考图片集合数目是否指示在所述第一列表中存在多于一个参考图片，如果是，则使用并置图片索引语法来标识所述并置图片，并且如果不是，则所述第一列表中第一条目被标识为所述并置图片；

如果所述标志处于第二状态：

提供第二参考图片集合数目，所述第二参考图片集合数目指示所述第二列表中按照解码顺序在所述当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目，以及

确定所述第二参考图片集合数目是否指示在所述第二列表中存在多于一个参考图片，如果是，则使用所述并置图片索引语法来标识所述并置图片，并且如果不是，则所述第二列表中的第一条目被标识为所述并置图片。

6.根据权利要求5所述的解码器，其中所述处理器使用所述并置图片来解码所述当前图片。

7.根据权利要求5所述的解码器，其中所述指令还使得所述处理器：

在所述根据标志的状态指示的步骤之前，从片类型来确定所述并置图片是否能够使用所述第一列表或所述第二列表中的任何一个来定位，以及：

如果所述片类型不是B型，则进行所述如果标志处于第一状态的步骤；以及

如果所述片类型是B型，则进行所述指示步骤。

8.一种用于处理包含图片组的高效率视频代码化HEVC编码视频流的编码器，所述编码器包括：

处理器

通信地耦合到所述处理器的存储器，所述存储器存储包括指令的多个指令，所述指令使得所述处理器：

根据标志的状态，指示第一列表和第二列表中的哪个参考图片提供并置图片；

如果所述标志处于第一状态：

提供第一参考图片集合数目，所述第一参考图片集合数目指示所述第一列表中按照解码顺序在当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目；以及

确定所述第一参考图片集合数目是否指示在所述第一列表中存在多于一个参考图片，如果是，则使用并置图片索引语法来标识所述并置图片，并且如果不是，则所述第一列表中的第一条目被标识为所述并置图片；

如果所述标志处于第二状态：

提供第二参考图片集合数目，所述第二参考图片集合数目指示所述第二列表中按照解码顺序在当前图片之前的并且能够用于所述当前图片的帧间预测的参考图片的总数目，以及

确定第二参考图片集合数目是否指示在所述第二列表中存在多于一个参考图片，如果是，则利用所述并置图片索引语法来标识所述并置图片，并且如果不是，则所述第二列表中的第一条目被标识为所述并置图片。

9.根据权利要求8所述的编码器，其中所述处理器使用所述并置图片对当前图片进行编码。

10.根据权利要求8所述的编码器，其中所述指令还使所述处理器：

在所述根据标志的状态指示的步骤之前，从片类型来确定所述并置图片是否能够使用所述第一列表或所述第二列表中的任何一个来定位，以及：

如果所述片类型不是B型，则进行所述如果标志处于第一状态的步骤；以及

如果所述片类型是B型，则进行所述指示步骤。

Images