CN108718415A - 多层视频译码中的交叉层图片类型对准的指示 - Google Patents

Abstract

本申请涉及多层视频译码中的交叉层图片类型对准的指示。在一个实例中，本发明是针对包含接收位流的技术，所述位流包括至少语法元素、第一网络抽象层单元类型以及包括多个图片的经译码存取单元。所述技术进一步包含确定所述语法元素的值，所述语法元素指示所述存取单元是否是使用交叉层对准译码。所述技术进一步包含确定所述存取单元中的图片的所述第一网络抽象层单元类型以及确定所述第一网络抽象层单元类型是否等于类型值范围中的值。所述技术进一步包含在所述第一网络抽象层单元类型等于所述类型值范围中的值的情况下将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的所述值。

Description

多层视频译码中的交叉层图片类型对准的指示

本申请为发明名称为“多层视频译码中的交叉层图片类型对准的指示”的原中国发明专利申请的分案申请。原申请的中国申请号为201480021964.2；原申请的申请日为2014年4月17日。

本申请案主张2013年4月17日申请的第61/813,120号美国临时申请案的权益。

技术领域

本发明涉及视频译码和压缩。

背景技术

可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内编码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称为参考帧。

空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将残余变换系数量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

发明内容

一般来说，本发明描述用于图片类型的交叉层对准的指示的技术，其中当交叉层图片类型不可在存取单元内对准时所述指示易于由媒体发射和应用系统中的不同实体可存取。

在一个实例中，本发明是针对一种方法，其包含：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。在一些实例中，可针对属于存取单元的任何直接和/或间接的参考层图片设定网络抽象层单元类型。

在另一个实例中，本发明是针对一种包括视频解码器的视频译码装置，所述视频解码器经配置以：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的所述第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的所述值。在一些实例中，可针对属于存取单元的任何直接和/或间接的参考层图片设定网络抽象层单元类型。

在另一个实例中，本发明是针对一种用于对视频进行译码的设备，其包括：用于接收位流的装置，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；用于确定语法元素的值的装置，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；用于响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的所述第一网络抽象层单元类型的装置；用于确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值的装置；以及用于响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的所述值的装置。在一些实例中，可针对属于存取单元的任何直接和/或间接的参考层图片设定网络抽象层单元类型。

在另一个实例中，本发明是针对一种其上存储有指令的计算机可读存储媒体，所述指令当执行时致使用于对视频数据进行译码的装置的一或多个处理器：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的所述值。

在另一个实例中，本发明是针对一种方法，其包含：对存取单元进行编码，其中所述存取单元包括多个图片；产生语法元素以指示所述存取单元的交叉层对准；产生所述存取单元中的图片的第一网络抽象层单元类型；以及输出位流，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。

在另一个实例中，本发明是针对一种包括视频编码器的视频译码装置，所述视频编码器经配置以：对存取单元进行编码，其中所述存取单元包括多个图片；产生语法元素以指示所述存取单元的交叉层对准；产生所述存取单元中的图片的第一网络抽象层单元类型；以及输出位流，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。

在另一个实例中，本发明是针对一种用于对视频进行译码的设备，其包括：用于对存取单元进行编码的装置，其中所述存取单元包括多个图片；用于产生语法元素以指示所述存取单元的交叉层对准的装置；用于产生所述存取单元中的图片的第一网络抽象层单元类型的装置；以及用于输出位流的装置，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。

在另一个实例中，本发明是针对一种其上存储有指令的计算机可读存储媒体，所述指令当执行时致使用于对视频数据进行译码的装置的一或多个处理器：对存取单元进行编码，其中所述存取单元包括多个图片；产生语法元素以指示所述存取单元的交叉层对准；产生所述存取单元中的图片的第一网络抽象层单元类型；以及输出位流，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。

在附图和下文描述中陈述本发明的一或多个实例的细节。本发明的其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

附图说明

图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。

图2是说明可实施本发明中描述的技术的视频编码器的实例的框图。

图3是说明可实施本发明中描述的技术的实例视频解码器的框图。

图4是说明其中可实施本发明的一或多个方面的一个实例网络的框图。

图5是说明根据本发明中描述的一或多个技术的实例解码技术的流程图。

图6是说明根据本发明中描述的一或多个技术的实例编码技术的流程图。

具体实施方式

本发明描述用以指示用于多层视频译码的交叉层图片类型的对准的方法。更具体来说，揭示用于IRAP图片类型、前导图片类型、尾随图片类型、TSA图片类型和STSA图片类型的交叉层对准的指示的方法。还描述使用所述方法的各种装置、系统、计算机可读媒体。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉、ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，以及ITU-T H.265。

SVC和MVC并不需要跨越层的经界定图片类型的交叉层对准，且HEVC中界定的一批图片类型未在AVC/SVC/MVC中界定。当前，在SHVC WD1和MV-HEVC WD3中，CRA图片不需要进行交叉层对准。不需要交叉层图片类型对准可对一些使用情况情形有益。举例来说，不需要CRA图片对准在以下情形中将有益：在较低层需要比较高层更高的效率的频繁随机存取的情形，或在较高层需要比较低层更高的效率的频繁随机存取的情形。在这些情况下，图片类型的交叉层对准可能不允许跨越层的图片的高效使用，其可导致译码效率的损失或增加随机存取延迟。

SHVC WD1和MV-HEVC WD3当前需要BLA图片的交叉层对准，且它们并不需要IDR图片、RASL图片、RADL图片、TSA图片和STSA图片的交叉层对准。有可能SHVC和MV-HEVC的未来版本可出于与CRA图片相同的原因而允许未交叉层对准的IDR图片。

在一些实例中，本文档可假定(经译码)图片、存取单元(AU)、IRAP AU、经译码视频序列(CVS)和位流的一些概念，但所述方法在这些假设中的一些改变的情况下也适用。贯穿本发明，(经译码)图片可类似于当前(经译码)图片定义，其中经译码图片等效于SVC中的层表示、MVC中的视图分量以及MVC+D中的纹理或深度视图分量。存取单元可类似于SVC和MVC中的存取单元，其由与同一输出时间相关联的所有经译码图片及其相关联非VCL NAL单元组成。IRAP存取单元可为其中所有经译码图片是IRAP图片的存取单元。CVS可为按解码次序由以下各项组成的存取单元的序列：具有等于1的NoRaslOutputFlag的IRAP存取单元，接着是并非具有等于1的NoRaslOutputFlag的IRAP存取单元的零个或零个以上存取单元，包含多达但不包含作为具有等于1的NoRaslOutputFlag的IRAP存取单元的任何后续存取单元的所有后续存取单元。位流可为形成一或多个CVS的表示的呈NAL单元流或字节流的形式的位序列，且所述位流中的第一存取单元可为IRAP存取单元。

然而，尽管针对允许例如CRA图片和IDR图片等未交叉层对准图片类型的上文所提及的优点，如果位流是以经交叉层对准的一或多个或所有图片类型编码，那么其也可有益于系统实体知道且利用此信息，所述系统实体例如服务器和媒体感知网络元件(MANE)，也被称作智能媒体网关。

举例来说，如果MANE被告知CRA或IDR图片经交叉层对准，那么其并不需要等待接收存取单元的所有图片且剖析所述图片，且随后确定当前存取单元提供对所有层的全随机可存取性因此可用于对任何层集合的简单随机存取、与任何层集合的拼接以及向任何层的切换。

因此，所希望的是提供用于图片类型的交叉层对准的指示的机制，其中所述指示易于由媒体发射和应用系统中的不同实体可存取。并且，可能希望以并不需要与视频解压缩相关联的熵解码或其它剖析的方式设计此些机制，因为网络元件(例如MANE)不可执行与视频解压缩相关联的熵解码或其它剖析。

一般来说，用于特定图片类型或特定图片类型集合的交叉层对准的指示的语法元素(例如，被命名为vps_cross_layer_irap_align_flag的旗标)是在VPS中(例如，VPS扩展中，例如VPS)用信号表示，且所述语法元素可以某些语义设计且解译。在一些实例中，当语法元素用信号表示为等于0时，可应用或可不应用例如下文列出的那些位流限制。换句话说，在一些实例中，如果所述语法元素等于0，那么在参考所述VPS的CVS内，每一AU中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。在其它实例中，如果所述语法元素等于0，那么在参考VPS的CVS内，特定范围的VCL NAL单元中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。

在一些实例中，当所述语法元素等于1时，在参考所述VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type等于NAL单元类型的特定类型(或作为NAL单元类型值的特定集合中的一者的值)时，在AU中的所有VCL NAL单元具有相同的nal_unit_type的值。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

在一些实例中，所述语法元素可等于1，其可指定在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在BLA_W_LP...RSV_IRAP_VCL23的范围(16到23(包含性))中时，所述AU中的所有VCL单元具有相同的nal_unit_type的值。具体来说，当所述语法元素等于1时，位流限制可适用。所述位流限制可为当AU中的一个图片具有在BLA_W_LP...RSV_IRAP_VCL23的范围(16到23(包含性))内的nal_unit_type nutA时，同一存取单元中的任何其它图片将具有等于nutA的nal_unit_type。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

替代地，在其中语法元素可等于0的实例中，在参考VPS的CVS内，当AU中的一个VCLNAL单元的nal_unit_type在BLA_W_LP...RSV_IRAP_VCL23的范围中时，所述AU中的所有VCLNAL单元可具有或可不具有相同的nal_unit_type的值。此方法可本身独立地应用或连同其它实例中所描述的方法一起应用。

在一些实例中，所述语法元素可等于1，其可指定在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type等于IDR_W_RADL或IDR_N_LP(19或20)时，所述AU中的所有VCL单元具有相同的nal_unit_type的值。具体来说，当所述语法元素等于1时，位流限制可适用。所述位流限制可为当AU中的一个图片具有等于IDR_W_RADL或IDR_N_LP(19或20)的nal_unit_type nutA时，同一存取单元中的任何其它图片将具有等于nutA的nal_unit_type。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

替代地，在其中所述语法元素可等于0的实例中，在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type等于IDR_W_RADL或IDR_N_LP(19或20)时，所述AU中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。此方法可本身独立地应用或连同其它实例中所描述的方法一起应用。

在一些实例中，所述语法元素可等于1，其可指定在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在TRAIL_N...RSV_VCL31的范围(0到31(包含性))中时，所述AU中的所有VCL单元具有相同的nal_unit_type的值。具体来说，当所述语法元素等于1时，位流限制可适用。所述位流限制可为当AU中的一个图片具有在TRAIL_N...RSV_VCL31的范围(0到31(包含性))内的nal_unit_type nutA时，同一存取单元中的任何其它图片将具有等于nutA的nal_unit_type。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

替代地，在其中所述语法元素可等于0的实例中，在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在TRAIL_N...RSV_VCL31的范围(0到31(包含性))中时，所述AU中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。此方法可本身独立地应用或连同其它实例中所描述的方法一起应用。

在一些实例中，所述语法元素可等于1，其可指定在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在BLA_W_LP...BLA_N_LP的范围(16到18(包含性))中时，所述AU中的所有VCL单元具有相同的nal_unit_type的值。具体来说，当所述语法元素等于1时，位流限制可适用。所述位流限制可为当AU中的一个图片具有在BLA_W_LP...BLA_N_LP的范围(16到18(包含性))内的nal_unit_type nutA时，同一存取单元中的任何其它图片将具有等于nutA的nal_unit_type。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

替代地，在其中所述语法元素可等于0的实例中，在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在BLA_W_LP...BLA_N_LP的范围(16到18(包含性))中时，所述AU中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。此方法可本身独立地应用或连同其它实例中所描述的方法一起应用。

在一些实例中，所述语法元素可等于1，其可指定在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type等于CRA_NUT(21)时，所述AU中的所有VCL单元具有相同的nal_unit_type的值。具体来说，当所述语法元素等于1时，位流限制可适用。所述位流限制可为当AU中的一个图片具有等于CRA_NUT(21)的nal_unit_type nutA时，同一存取单元中的任何其它图片将具有等于nutA的nal_unit_type。在一些实例中，当语法元素等于1时，在参考VPS的CVS内，同一存取单元中的每一参考图片具有与初始参考的图片相同的nal_unit_type的值。

替代地，在其中所述语法元素可等于0的实例中，在参考VPS的CVS内，当AU中的一个VCL NAL单元的nal_unit_type在等于CRA_NUT(21)的范围中时，所述AU中的所有VCL NAL单元可具有或可不具有相同的nal_unit_type的值。此方法可本身独立地应用或连同其它实例中所描述的方法一起应用。

在一些实例中，所述语法元素可在SEI消息或SPS中用信号表示。可为有利的是在NAL单元中在并不需要熵解码来存取语法元素的位置中用信号表示所述语法元素，例如，在任何经熵译码(例如，经ue(v)译码)语法元素之前，或在一些经熵译码语法元素之后，但此语法元素的剖析并不需要剖析例如在VPS扩展语法的开始中的那些经熵译码语法元素。

除上文呈现的实例之外，还可将nal_unit_type与其它值或范围进行比较以确定是否可应用位流限制。举例来说，NAL单元类型的特定值可为RADL_N(6)。作为又一实例，NAL单元类型值的特定集合可为RASD_N和RASD_R(6和7)。作为又一实例，NAL单元类型值的特定集合可为RADL_N、RADL_R、RASL_N和RASL_R(6、7、8和9)。

图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些状况下，源装置12和目的地装置14可能经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议等通信标准来调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。

替代地，可将经编码数据从输出接口22输出到存储装置32。类似地，可通过输入接口从存储装置32存取经编码数据。存储装置32可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。在另一实例中，存储装置32可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置32经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置32的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频))或其它应用中的任何者。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。

可由视频编码器12对所俘获、预先俘获或计算机产生的视频进行编码。经编码视频数据可经由源装置20的输出接口22直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置32上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。

目的地装置14包含输入接口28、视频解码器30及显示装置31。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置32上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置31可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置31将经解码视频数据显示给用户，并且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2、ITU-T H.263和ITU-T H.265。

尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令来执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。同样，包含源装置12、目的地装置14、链路16和存储装置32的系统10可包含在例如无线手持机、个人计算机、平板计算机或类似物等单个装置中。

视频编码器20和视频解码器30可经配置以实施本发明的技术。举例来说，在一些实例中，视频编码器20可经配置以：对存取单元进行编码，其中所述存取单元包括多个图片；产生语法元素以指示所述存取单元的交叉层对准；产生所述存取单元中的图片的第一网络抽象层单元类型；以及输出位流，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。此外，在一些实例中，视频解码器30可经配置以：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定所述语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的所述第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。

JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进的模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两者的树块或最大译码单元(LCU)的序列。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的多个连续树块。视频帧或图片可被分割成一或多个切片。每一树块可以根据四叉树而分裂成多个译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且分裂成另外四个子节点。作为四叉树的叶节点的最后的未经分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可限定树块可分裂的最大次数，且还可限定译码节点的最小大小。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8x8像素到多达具有最大64x64像素或更大的树块大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可为正方形或非正方形形状。

HEVC标准允许根据TU进行的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可以经量化。

一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即，LCU或CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含在GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。

作为一实例，HM支持各种PU大小的预测。假定特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是另一方向分割成25％及75％。CU的对应于25％分区的部分通过“n”、后面接续“上方”、“下方”、“左侧”或“右侧”指示来指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，且底部为2Nx1.5N PU。

在本发明中，“NxN”及“N乘N”可以互换使用以指在垂直尺寸及水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样，NxN块一般在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成行和列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM个像素，其中M未必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且在将变换应用到残余视频数据之后，TU可包括变换域中的系数，所述变换例如为离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化一般来说是指变换系数经量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造使得相对较短码对应于更有可能符号，而较长码对应于不太可能符号。以此方式，使用VLC可与例如对待发射的每一符号使用等长码字相比实现位节省。概率确定可基于指派给符号的上下文。

视频编码器20可包括执行本发明的技术的各种组件。举例来说，视频编码器20可包括熵编码单元。熵编码单元可执行本发明的技术。举例来说，在一些实例中，熵编码单元可产生指示存取单元的交叉层对准的语法元素。在一些实例中，熵编码单元还可产生存取单元中的图片的第一网络抽象层单元类型。这些步骤也可由其它组件执行。举例来说，输出接口22可包括可执行这些步骤的后处理单元。

视频解码器30可包括执行本发明的技术的各种组件。举例来说，视频解码器30可包括熵解码单元。在一些实例中，熵解码单元可确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示。熵解码单元还可响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型。熵解码单元可确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值。此外，响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值，熵解码单元可将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。这些步骤也可由其它装置执行。举例来说，在一些实例中，输入接口28可包括可执行这些步骤的网络装置。

在一个实例中，本发明是针对一种方法，其包含：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。

图2是说明可实施本发明中描述的技术的视频编码器的实例的框图。视频编码器20可经配置以将视频输出到后处理实体27，所述后处理实体是可实施本发明中描述的技术的另一实例装置。后处理实体27既定表示视频实体的实例，例如媒体感知网络元件(MANE)、拼接/编辑装置或可处理来自视频编码器20的经编码视频数据的另一中间装置。在一些情况下，后处理实体可为网络实体的实例。在一些视频编码系统中，后处理实体27和视频编码器20可为单独装置的部分，而在其它情况下，相对于后处理实体27描述的功能性可由包括视频编码器20的同一装置执行。在一些实例中，视频编码器20可将位流输出到后处理实体27，且位流可包括至少经译码存取单元、语法元素以及第一网络抽象层单元类型。

后处理实体27可执行本发明的技术。举例来说，在一些实例中，后处理实体27可产生指示存取单元的交叉层对准的语法元素。在一些实例中，后处理实体27还可产生存取单元中的图片的第一网络抽象层单元类型。

在一个实例中，后处理实体27可接收经译码存取单元。如果经译码存取单元是使用交叉层对准编码，那么后处理实体27可产生指示使用了交叉层对准的语法元素。后处理实体27还可产生存取单元中的图片的第一网络抽象层单元类型，其如果在预定范围中则可指示所述存取单元中的所有图片应使用同一网络抽象层单元类型来解码。

视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含分割单元35、预测单元41、滤波器单元63、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。预测单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60，及求和器62。滤波器单元63既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图2中将滤波器单元63展示为环路内滤波器，但在其它配置中，可将滤波器单元63实施为环路后滤波器。

如图2中所示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可以划分成多个视频块(并且可能划分成被称作瓦片的视频块集合)。预测处理单元41可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。

运动估计单元42可经配置以根据用于视频序列的预定模式来确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片标明为P切片、B切片或GPB切片。运动估计单元42和运动补偿单元44可以高度集成，但出于概念目的分开加以图解说明。由运动估计单元42执行的运动估计是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的移位。

预测性块是被发现在像素差方面与待译码视频块的PU密切匹配的块，像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过将PU的位置与参考图片的预测性块的位置进行比较来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精确度的内插)确定的运动向量获取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成所述块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。确切地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以例如在单独编码遍次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在任何情况下，在选择了用于一块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术编码指示所述选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的编码上下文的定义，及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，可将位流发射到视频解码器30，或将位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正被译码的当前视频切片的运动向量及其它语法元素进行熵编码。熵编码单元56可执行本发明的技术。举例来说，在一些实例中，熵编码单元56可产生指示存取单元的交叉层对准的语法元素。在一些实例中，熵编码单元56还可产生存取单元中的图片的第一网络抽象层单元类型。然而，所产生语法元素可以确保剖析或解译语法元素(例如由MANE)的能力而不需要执行位流的熵解码或完全解压缩的方式产生。举例来说，可经剖析而不需要执行位流的熵解码或完全解压缩的特定语法元素可以固定长度码或不需要熵解码能力的其它技术而译码。这些步骤也可由其它组件执行。举例来说，后处理单元27可执行这些步骤。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构残余块，以供稍后用作参考图片的参考块。运动补偿单元44可以通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残余块以计算子整数像素值以用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。

以此方式，图2的视频编码器20表示经配置以实施在此阐述的技术中的一或多者的视频编码器的实例。举例来说，视频编码器20可经配置以：对存取单元进行编码，其中所述存取单元包括多个图片；产生语法元素以指示所述存取单元的交叉层对准；产生所述存取单元中的图片的第一网络抽象层单元类型；以及输出位流，其中所述位流包括至少所述经译码存取单元、所述语法元素以及所述第一网络抽象层单元类型。

图3是说明可实施本发明中描述的技术的实例视频解码器的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、逆量化单元86、逆变换单元88、求和器90、滤波器单元91和参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行与关于来自图2的视频编码器20描述的编码遍次大体上互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的视频位流和相关联的语法元素。视频解码器30可从网络实体29接收视频位流。网络实体29可例如为服务器、MANE、视频编辑器/拼接器，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体29可包含或可不包含视频编码器，例如视频编码器20。在网络29将视频位流发射到视频解码器30之前，本发明中描述的技术中的一些可由网络实体29实施。在一些视频解码系统中，网络实体29及视频解码器30可为单独装置的部分，而在其它情况下，关于网络实体29描述的功能性可由包括视频解码器30的相同装置执行。在一些实例中，位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元。

网络实体29可确定位流的其它方面。在一些实例中，网络实体29可确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示。网络实体29还可响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型。网络实体29可确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值。此外，响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值，网络实体29可将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。

在一个实例中，网络实体29可从视频编码器20或后处理单元27接收位流，如图2中所描绘。所述位流可包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元。网络实体29可读取所述语法元素和第一网络抽象层单元类型，其两者可在熵编码过程之外添加到位流且可在熵解码过程之外解码。网络实体29可确定语法元素的值。如果所述语法元素等于指示在对所述存取单元进行编码中使用交叉层对准的值，那么网络实体29可确定第一网络抽象层单元类型的值以查看所述第一网络抽象层单元类型是否等于位流限制中指示的预定范围中的值。如果所述第一网络抽象层单元类型在预定范围中，那么网络实体29可将所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型。

在网络实体29中执行这些步骤可具有许多优点。举例来说，如果网络实体29被告知CRA或IDR图片经交叉层对准，那么其并不需要等待接收存取单元的所有图片且剖析所述图片，且随后确定当前存取单元提供对所有层的全随机可存取性因此可用于对任何层集合的简单随机存取、与任何层集合的拼接以及向任何层的切换。此外，在熵编码和熵解码过程之外执行此步骤可允许外部装置确定这些特性而不需要执行任何译码操作或完全解压缩，从而改善整个系统的效率。

视频解码器30的熵解码单元80对位流进行熵解码以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。

熵解码单元80可确定位流的其它方面。在一些实例中，熵解码单元80可确定语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示。熵解码单元80还可响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型。熵解码单元80可确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值。此外，响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值，熵解码单元80可将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。然而，所述语法元素和第一网络抽象层类型可以确保剖析或解译语法元素(例如由MANE)的能力而不需要执行位流的熵解码或完全解压缩的方式在编码过程中产生。举例来说，可经剖析而不需要执行位流的熵解码或完全解压缩的特定语法元素可以固定长度码或不需要熵解码能力的其它技术而译码。在这些实例中，网络装置29可执行这些步骤。

当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表--列表0和列表1。

运动补偿单元82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数逆量化(即，解量化)。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数。逆变换处理单元88将逆变换应用于变换系数，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在运动补偿单元82基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换处理单元88的残余块与运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此加总运算的一或多个组件。在需要时，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。滤波器单元91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图3中将滤波器单元91展示为环路内滤波器，但在其它配置中，可将滤波器单元91实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考图片存储器92还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置31)上。

以此方式，图3的视频解码器30表示经配置以实施在此阐述的技术中的一或多者的视频解码器的实例。举例来说，视频解码器30可经配置以：接收位流，其中所述位流包括至少语法元素、第一网络抽象层单元类型以及经译码存取单元，其中所述经译码存取单元包括多个图片；确定所述语法元素的值，其中所述语法元素包含所述存取单元是否是使用交叉层对准译码的指示；响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型；确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值；以及响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值而将所述经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。

图4是说明其中可实施本发明的一或多个方面的一个实例网络的框图。图4是说明形成网络100的部分的一组实例装置的框图。在此实例中，网络100包含路由装置104A、104B(路由装置104)和转码装置106。路由装置104及转码装置106既定表示可形成网络100的部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此些装置的其它网络装置也可包含在网络100内。另外，可沿着服务器装置102与客户端装置108之间的网络路径提供额外的网络装置。在一些实例中，服务器装置102可对应于源装置12(图1)，而客户端装置108可对应于目的地装置14(图1)。

一般来说，路由装置104实施一或多个路由协议以经由网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理或高速缓冲存储器操作。因此，在一些实例中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以经由网络100发现路线。通过执行此些路由协议，路由装置104B可发现从自身经由路由装置104A到服务器装置102的网络路线。

路由装置104中的一或多者可包括使用本发明的一或多个方面的MANE。在一些实例中，路由装置104中的一或多者可确定语法元素的值，其中所述语法元素包含存取单元是否是使用交叉层对准译码的指示。路由装置104中的一或多者还可响应于确定所述语法元素指示交叉层对准而确定所述存取单元中的图片的第一网络抽象层单元类型。路由装置104中的一或多者可确定所述第一网络抽象层单元类型是否等于预定类型值范围中的值。此外，响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值，路由装置104中的一或多者可将经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值。这些步骤也可由其它装置执行。举例来说，在一些实例中，网络装置29可执行这些步骤。

可通过例如路由装置104和转码装置106等网络装置实施本发明的技术，并且可通过客户端装置108实施本发明的技术。以此方式，路由装置104、转码装置106和客户端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置以及图2中所说明的编码器20和图3中所说明的解码器30也为可经配置以执行本发明的技术的示范性装置。

图5是说明根据本发明中描述的一或多个技术的实例处理技术的流程图。在此技术中，例如网络实体29或视频解码器30的熵解码单元80等视频装置可接收位流(140)。在一些实例中，所述位流可含有至少语法元素、第一网络抽象层类型以及经译码存取单元。

所述视频装置可确定所述位流中的语法元素的值(142)。所述语法元素可包含经译码存取单元是使用交叉层对准译码的指示。响应于所述语法元素指示经译码存取单元是使用交叉层对准译码，所述视频装置可确定第一网络抽象层单元类型的值(144)。所述视频装置可确定所述第一网络抽象层单元类型的值是否等于预定类型值范围中的值(146)。响应于确定所述第一网络抽象层单元类型等于所述预定类型值范围中的值，所述视频装置可将经译码存取单元中的所有其它图片的网络抽象层单元类型设定为等于所述第一网络抽象层单元类型的值(148)。

图6是说明根据本发明中描述的一或多个技术的实例编码技术的流程图。在此技术中，例如视频编码器20的熵编码单元56等视频译码装置可对存取单元进行编码(160)。例如视频编码器20的后处理单元27或熵编码单元56等视频装置可产生语法元素(162)。所述语法元素可为存取单元是使用交叉层对准译码的指示。所述视频装置可产生存取单元中的图片的第一网络抽象层单元类型(164)。所述视频装置可随后输出位流，其中所述位流包括至少经译码存取单元、语法元素以及第一网络抽象层单元类型(166)。

在一或多个实例中，所描述功能可在硬件、软件、固件或其任何组合中实施。如果以软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体总体上可以对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说(且并非限制)，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可以完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能性方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述本发明的各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (24)

1.一种处理视频数据的方法，所述方法包括：

接收位流，所述位流包括视频参数集VPS和视频译码层VCL网络抽象层NAL单元，所述VPS包括第一语法元素，所述VCL NAL单元包括NAL单元类型语法元素，所述VCL NAL单元在存取单元中；

基于所述第一语法元素等于1并且所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP，确定在所述存取单元中的所有VCL NAL单元的NAL单元类型语法元素具有相同的值，所述存取单元中的所述VCL NAL单元在参考所述VPS的经译码视频序列CVS内；以及

响应于确定所述存取单元中的一或多个图片交叉层对准，执行使用所述位流的任何层的随机存取或层切换中的一种。

2.根据权利要求1所述的方法，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

3.根据权利要求1所述的方法，其中所述第一语法元素经固定长度译码，其中所述第一语法元素在NAL单元中定位于所述NAL单元中的任何经可变长度译码元素之前。

4.根据权利要求1所述的方法，其中所述第一语法元素在NAL单元中定位，使得所述第一语法元素在所述NAL单元中的一或多个经可变长度译码元素之后且在VPS扩展语法集合的开头。

5.根据权利要求1所述的方法，其中所述VPS是第一VPS，所述方法还包括：

接收第二位流，其中所述第二位流包括第二VPS和第二VCL NAL单元，所述第二VPS包括第二语法元素；以及

基于所述第二语法元素等于0，确定第二存取单元中的每个VCL NAL

单元的每个相应NAL单元类型语法元素不限于具有相同的值，所述存取单元中的所述VCL NAL单元在参考所述第二VPS的经译码视频序列CVS内。

6.根据权利要求1所述的方法，其中所述位流表示所述视频数据的图片的经编码视频切片的视频块和相关联的语法元素，所述方法还包括：

在无线通信装置的接收器处接收所述位流；

在所述无线通信装置的存储器中存储所述位流；以及

在所述无线通信装置的一或多个处理器上处理所述位流。

7.根据权利要求6所述的方法，其中所述无线通信装置包括无线电话手持机，且其中在所述无线通信装置的所述接收器处接收所述位流包括根据无线通信标准解调包括所述位流的信号。

8.一种用于处理视频数据的装置，其中所述装置包括：

存储器，经配置以存储包括视频参数集VPS和视频译码层VCL网络抽象层NAL单元的位流，所述VPS包括第一语法元素，所述VCL NAL单元包括NAL单元类型语法元素，所述VCL NAL单元在存取单元中；

以及

一或多个处理器，经配置以基于所述第一语法元素等于1并且所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP而确定所述存取单元中的所有VCL NAL单元的NAL单元类型语法元素具有相同的值，所述存取单元中的所述VCL NAL单元在参考所述VPS的经译码视频序列CVS内，以及

响应于确定所述存取单元中的一或多个图片交叉层对准，执行使用所述位流的任何层的随机存取或层切换中的一种。

9.根据权利要求8所述的装置，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

10.根据权利要求8所述的装置，其中所述第一语法元素经固定长度译码，其中所述第一语法元素在NAL单元中定位于所述NAL单元中的任何经可变长度译码元素之前。

11.根据权利要求8所述的装置，其中所述装置是视频解码器或媒体感知网络元件中的一种。

12.根据权利要求8所述的装置，其中所述装置包括无线通信装置，所述无线通信装置还包括经配置以接收所述位流的接收器。

13.根据权利要求12所述的装置，其中所述无线通信装置包括无线电话手持机，其中所述接收器经配置以根据无线通信标准解调包括所述位流的信号。

14.一种用于处理视频的设备，所述设备包括：

用于接收位流的装置，其中所述位流包括视频参数集VPS和视频译码层VCL网络抽象层NAL单元，所述VPS包括第一语法元素，所述VCL NAL单元包括NAL单元类型语法元素，所述VCL NAL单元在存取单元中；

用于基于所述第一语法元素等于1并且所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP而确定所述存取单元中的所有VCL NAL单元的NAL单元类型语法元素具有相同的值的装置，所述存取单元中的所述VCL NAL单元在参考所述VPS的经译码视频序列CVS内；以及

用于响应于确定所述存取单元中的一或多个图片交叉层对准而执行使用所述位流的任何层的随机存取或层切换中的一种的装置。

15.根据权利要求14所述的设备，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

16.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时致使用于处理视频数据的装置的一或多个处理器进行以下操作：

接收位流，所述位流包括视频参数集VPS和视频译码层VCL网络抽象层NAL单元，所述VPS包括第一语法元素，所述VCL NAL单元包括NAL单元类型语法元素，所述VCL NAL单元在存取单元中；

基于所述第一语法元素等于1并且所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP，确定在参考所述VPS的经译码视频序列CVS内所述存取单元中的所有VCL NAL单元的NAL单元类型语法元素具有相同的值；以及

响应于确定所述存取单元中的一或多个图片交叉层对准，执行使用所述位流的任何层的随机存取或层切换中的一种。

17.根据权利要求16所述的计算机可读存储介质，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

18.一种处理视频数据的方法，所述方法包括：

确定视频译码层VCL网络抽象层NAL单元的NAL单元类型语法元素是否等于IDR_W_RADL或IDR_N_LP以及包括所述VCL NAL单元的存取单元中的所有VCL NAL单元的NAL单元类型语法元素是否具有相同的值，所述存取单元中的所述VCL NAL单元在参考视频参数集VPS的经译码视频序列CVS内；

响应于确定所述存取单元中的一或多个图片交叉层对准，使得所述存取单元的任何层能够用于随机存取或层切换；以及

响应于确定所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP并且所述存取单元中的所有VCL NAL单元的所述NAL单元类型语法元素具有相同的值，将所述VPS中的第一语法元素的值设定为1。

19.根据权利要求18所述的方法，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

20.一种用于处理视频数据的装置，所述装置包括：

存储器，经配置以存储包括视频参数集VPS的位流；以及

一或多个处理器，经配置以：

确定视频译码层VCL网络抽象层NAL单元的NAL单元类型语法元素是否等于IDR_W_RADL或IDR_N_LP以及包括所述VCL NAL单元的存取单元中的所有VCL NAL单元的NAL单元类型语法元素是否具有相同的值，所述存取单元中的所述VCL NAL单元在参考所述位流中的视频参数集VPS的经译码视频序列CVS内；

响应于确定所述存取单元中的一或多个图片交叉层对准，使得所述存取单元的任何层能够用于随机存取或层切换；以及

响应于确定所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP并且所述存取单元中的所有VCL NAL单元的所述NAL单元类型语法元素具有相同的值，将所述VPS中的第一语法元素的值设定为1。

21.根据权利要求20所述的装置，其中所述第一语法元素在NAL单元中的位置处用信号表示使得不需要经熵解码以存取所述语法元素。

22.根据权利要求20所述的装置，其中所述装置是视频编码器或后处理单元中的一种。

23.一种用于处理视频的设备，所述设备包括：

用于确定视频译码层VCL网络抽象层NAL单元的NAL单元类型语法元素是否等于IDR_W_RADL或IDR_N_LP以及包括所述VCL NAL单元的存取单元中的所有VCL NAL单元的NAL单元类型语法元素是否具有相同的值的装置，所述存取单元中的所述VCL NAL单元在参考视频参数集VPS的经译码视频序列CVS内；

用于响应于确定所述存取单元中的一或多个图片交叉层对准而使得所述位流的任何层能够用于随机存取或层切换的装置；以及

用于响应于确定所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP并且所述存取单元中的所有VCL NAL单元的所述NAL单元类型语法元素具有相同的值而将所述VPS中的第一语法元素的值设定为1的装置。

24.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时致使用于处理视频数据的装置的一或多个处理器进行以下操作：

确定视频译码层VCL网络抽象层NAL单元的NAL单元类型语法元素是否等于IDR_W_RADL或IDR_N_LP以及包括所述VCL NAL的存取单元中的所有VCL NAL单元的NAL单元类型语法元素是否具有相同的值，所述存取单元中的所述VCL NAL单元在参考视频参数集VPS的经译码视频序列CVS内；

响应于确定所述存取单元中的一或多个图片交叉层对准，使得所述存取单元的任何层能够用于随机存取或层切换；以及

响应于确定所述VCL NAL单元的所述NAL单元类型语法元素等于IDR_W_RADL或IDR_N_LP并且所述存取单元中的所有VCL NAL单元的所述NAL单元类型语法元素具有相同的值，将所述VPS中的第一语法元素的值设定为1。