CN106165426A - 特定hevc sei消息用于多层视频编解码器的用途 - Google Patents

Abstract

本发明揭示用于在解码视频信息期间确定是否起始随机存取的装置和方法。在一方面，装置可包含：存储器，其经配置以存储包含至少一个恢复点补充增强信息SEI消息的视频信息；以及处理器，其耦合到所述存储器。所述处理器经配置以确定所述至少一个恢复点SEI消息是否包括用以复位图片次序计数POC语义值的指示。所述处理器经进一步配置以识别关于所述恢复点SEI消息是否存在于存取单元中的第一约束、关于所述恢复点SEI消息与图片的关联的第二约束或第三约束中的至少一者，且基于所述第一约束或所述第二约束中的至少一者确定是否起始从所述存取单元进行所述随机存取和解码。

Description

特定HEVC SEI消息用于多层视频编解码器的用途

技术领域

本发明涉及视频译码和压缩的领域，且确切地说，涉及用于多层译码的补充增强信息(SEI)消息。

背景技术

现有技术的说明

数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如在由运动图像专家组-2(MPEG-2)、MPEG-4、国际电信联盟电信标准化部门(ITU-T)H.263、ITU-T H.264/MPEG-4、第10部分定义的标准、高级视频译码(AVC)、高效视频译码(HEVC)标准和此些标准的扩展中描述的视频压缩技术。视频装置可通过实施这些视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。

发明内容

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。在一方面，一种装置可包含：存储器，其经配置以存储包含至少一个恢复点SEI消息的视频信息；以及处理器，其可操作地耦合到存储器。处理器经配置以确定至少一个恢复点SEI消息是否包括用以复位图片次序计数(POC)语义值的指示。处理器经进一步配置以识别关于恢复点SEI消息是否存在于存取单元中的第一约束、关于恢复点SEI消息与图片的关联的第二约束或关于将恢复点SEI消息适用于层集合的第三约束中的至少一者。处理器还经配置以基于第一约束或第二约束中的至少一者确定是否起始从存取单元进行随机存取和解码。

在另一方面，揭示一种用于在解码多层位流的视频信息期间确定是否起始随机存取的方法，所存储的视频信息包括至少一个恢复点SEI消息。方法包括确定至少一个恢复点SEI消息是否包括用以复位POC语义值的指示。方法进一步包括识别关于恢复点SEI消息是否存在于存取单元中的第一约束、关于恢复点SEI消息与图片的关联的第二约束或关于将恢复点SEI消息适用于层集合的第三约束中的至少一者。方法也包括基于第一约束或第二约束中的至少一者确定是否起始从存取单元进行随机存取和解码。

在另一方面，用于在解码多层位流的视频信息期间确定是否起始随机存取的装置包括：用于存储包含至少一个恢复点SEI消息的视频信息的装置；用于确定至少一个恢复点SEI消息是否包括用以复位POC语义值的指示的装置；用于识别关于恢复点SEI消息是否存在于存取单元中的第一约束、关于恢复点SEI消息与图片的关联的第二约束或关于将恢复点SEI消息适用于层集合的第三约束中的至少一者的装置；以及用于基于第一约束或第二约束中的至少一者确定是否起始从存取单元进行随机存取和解码的装置。

在额外方面，非暂时性计算机可读存储媒体其上存储有指令，所述指令在执行时使得装置的处理器：存储包含至少一个恢复点SEI消息的视频信息；确定至少一个恢复点SEI消息是否包括用以复位POC语义值的指示；识别关于恢复点SEI消息是否存在于存取单元中的第一约束、关于恢复点SEI消息与图片的关联的第二约束或关于将恢复点SEI消息适用于层集合的第三约束中的至少一者；以及基于第一约束或第二约束中的至少一者确定是否起始从存取单元进行随机存取和解码。

附图说明

现将参考附图，结合各种实施例描述上文所提到的方面以及本发明技术的其它特征、方面和优点。然而，所说明的实施例仅为实例，且并不希望是限制性的。在整个图式中，类似的符号通常识别类似的组件，除非上下文另外规定。

图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。

图1B为说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A为说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。

图3B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4A为说明SEI消息的语义与操作点当中的每一操作点或层当中的每一层的关联的流程图。

图4B为说明根据本发明的实施例的适用于操作点的SEI消息之间的关联的框图。

图4C为说明根据本发明的实施例的适用于层的SEI消息与多个图片之间的关联的框图。

图5展示可用于传达作用中参数集SEI消息语义的语法。

图6为说明根据本发明的实施例的一或多个区刷新SEI消息与多层位流的一或多个图片之间的关联的框图。

图7展示可用以传达区刷新信息SEI消息语义的语法。

图8展示用于将视频译码信息的语义与多层位流的层或操作点相关联的方法(包括存储与多层位流相关联的视频信息)的流程图。

图9展示用于在解码多层位流的视频信息期间确定是否起始随机存取的方法的流程图。

具体实施方式

一般来说，本发明涉及在例如HEVC等高级视频编解码器的情况下用于多层视频译码的SEI消息、序列参数集(SPS)、恢复点SEI消息和刷新信息SEI消息。更具体来说，本发明涉及用于在HEVC的多视图和可缩放扩展(即MV-HEVC(多视图)和SHVC(可缩放))中增加SEI消息的范围的明确性和将作用中参数集SEI消息中用信号表示的SPS与其所指向的层的系统和方法。本发明还涉及用于在HEVC的多视图和可缩放扩展(即MV-HEVC和SHVC)中在建立与恢复点SEI消息相关联的图片次序计数语义和区刷新信息与帧间预测约束之间的关系时增加明确性的系统和方法。

在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。确切地说，一些视频译码方案包含SEI消息，所述SEI消息可提供适用于存取单元、操作点、层或图片中的一者的各种语义以供在由解码器解码时使用。在常规单层译码方案(例如，HEVC)中，每一SEI消息仅可适用于单层，且因此单个存取单元在给定时间唯一地含有单个图片。因此，在这些常规方案中，SEI消息的语义清楚其适用于什么，比如说适用于层、存取单元、图片或操作点。然而，如下文更详细地论述，在多层位流中，SEI消息可在给定时间适用于一或多个图片、层、操作点或存取单元，因为位流在任何给定时间含有多个层。因此，常规单层译码方案不具有定义SEI消息的范围以获得符合多层译码方案的视频编码器/解码器的准确且一致行为的必需语义。

本发明还涉及由单个作用中参数集SEI消息用信号表示多个SPS，和在存在不相等数目的层和SPS时，解析序列参数集中的每一者适用于哪些层的模糊性。在一些实施方案中，可放宽将SPS的数目限定为“1”的约束，从而允许作用中参数集SEI消息引入多个SPS且提供用于将一或多个SPS关联到多层位流的一层或多层的机制。作用中参数集SEI消息或替代SEI消息中的额外语义使得能够对多层位流进行译码，从而将多于一个SPS与一或多个特定层明确地相关联。符合本发明(即，根据本发明操作或根据本发明配置)的视频编码器/视频解码器的操作相比于常规译码方案改进了操作一致性。

本发明另外涉及计算或导出POC以便避免多层位流的一或多个图片的不正确或不明确的POC值。在多层位流中，在随机存取事件之后，在从含有恢复点SEI消息的存取单元开始解码时，恢复点SEI消息的一或多个语义将识别当前图片的POC字段的一或多个值复位到零。在与相关联于恢复点SEI消息(且使POC值复位到零)的图片相同的层中存在图片picA时，在picA按解码次序在当前图片之后且具有用信号表示的POC相关值时，这可产生一个问题。因此，常规单层译码方案不具有定义将如何处置恢复点SEI消息以获得符合多层译码方案的视频编码器/解码器的准确且一致行为的必需语义。对恢复点SEI消息提出修改，从而允许导出与恢复点SEI消息相关联的图片的POC值，这与在利用恢复点消息随机存取之后进行解码时复位POC值正相反。另外，本文中揭示了用以控管存取单元中恢复点SEI消息的存在或恢复点SEI消息与图片的关联的约束。

本发明另外涉及用于多层译码方案的语义，其解析与区刷新信息SEI消息相关联的任何模糊性。在一些实施方案中，区刷新信息SEI消息指示刷新参考(或增强)层的图片的区。在多层位流中，此区刷新信息SEI消息可经配置以考虑到层间预测约束，以使得在第一图片依赖于将在完全刷新第一图片之前刷新的另一图片时，在层间区刷新预测中考虑到此依赖(或对应)。

虽然本文中在HEVC和/或H.264标准的情况下描述某些实施例，但所属领域的一般技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含可缩放和多视图扩展。

在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。实际上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的分层结构替换，所述分层结构可提供高灵活性和其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单位(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可将CU视为类似于宏块的概念，但HEVC不限制CU的最大大小，且可允许递归分裂成四个大小相等的CU以改进内容适应性。PU可被认为是帧间/帧内预测的基本单元，且单个PU可含有多个任意形状分区以有效地译码不规则图像样式。TU可认为是变换的基本单元。可独立于PU界定TU；然而，TU的大小可限于TU属于的CU的大小。此块结构分离为三个不同概念可允许根据单元的相应作用来优化每一单元，这可得到改善的译码效率。

仅出于说明的目的，用仅包含视频数据的两个层(举例来说，例如基础层等较低层，以及例如增强层等较高层)的实例来描述本文所揭示的某些实施例。视频数据的“层”通常可指具有至少一个共同特性(例如，视图、帧率、分辨率或其类似者)的图片序列。举例来说，层可包含与多视图视频数据的特定视图(例如，视角)相关联的视频数据。作为另一实例，层可包含与可缩放视频数据的特定层相关联的视频数据。因此，本发明可互换地参考视频数据的层和视图。也就是说，视频数据的视图可被称作视频数据的层，且视频数据的层可被称作视频数据的视图。此外，多层编解码器(还被称作多层视频译码器或多层编码器-解码器)可共同指多视图编解码器或可缩放编解码器(例如，经配置以使用MV-HEVC、3D-HEVC、SHVC或另一多层译码技术编码和/或解码视频数据的编解码器)。视频编码和视频解码可通常被称作视频译码。应理解，这些实例可适用于包含多个基础层及/或增强层的配置。另外，为了易于解释，参考某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不打算具有限制性。举例来说，下文描述的技术可配合任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)一起使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平及垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度和色度信息。在无压缩的情况下，将从图像编码器传达到图像解码器的信息的绝对量将使实时图像传输变得不可能。为了减少待发射的信息的量，已开发出例如JPEG、MPEG及H.263标准等数个不同压缩方法。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称作ISO/IECMPEG-4AVC)，包含可缩放和多视图扩展。

另外，ITU-T视频译码专家组(VCEG)和ISO/IEC MPEG的视频译码联合协作小组(JCT-VC)已经开发视频译码标准(即，HEVC)。HEVC草案10的完整引用为文献JCTVC-L1003：布洛斯(Bross)等人的“高效视频译码(HEVC)文本规范草案10”(ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的JCT-VC，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日)。对HEVC的多视图扩展(即，MV-HEVC)和对HEVC的可缩放扩展(名为SHVC)也正分别由JCT-3V(ITU-T/ISO/IEC的3D视频译码扩展开发联合协作小组)和JCT-VC开发。

视频译码系统

下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反地，提供这些方面以使得本发明将透彻且完整，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提及了较佳态样之一些益处及优点，但本发明之范畴不欲限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。

附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不同元件。

图1A为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。除了视频编码器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的装置)。

如图1A中所示，视频译码系统10包含源装置12，其产生将在稍后时间由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12和目的地装置14构成单独装置。然而，应注意，源装置12和目的地装置14可在同一装置上或为同一装置的一部分，如在图1B的实例中所展示。

再次参考图1A，源装置12和目的地装置14可分别包含广泛范围的装置中的任一者，包括台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在各种实施例中，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括使得源装置12能够实时将经编码视频数据发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任一其它设备。

或者，经编码数据可从输出接口22输出到存储装置31(可选地存在)。类似地，可由(例如)目的地装置14的输入接口28从存储装置31存取经编码数据。存储装置31可包括多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。这可包含无线信道(例如，无线局域网(WLAN)连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、(例如)经由因特网的流式视频传输(例如，根据超文本传送协议(HTTP)的动态自适应流式传输等)、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。

在图1A的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前所俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据以作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的“相机电话”或“视频电话”，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。可经由源装置12的输出接口22将经编码视频数据发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置31上以用于稍后由目的地装置14或其它装置存取以用于解码和/或重放。图1A和1B中所说明的视频编码器20可包括图2A中所说明的视频编码器20、图2B中所说明的视频编码器23或本文中所描述的任一其它视频编码器。

在图1A的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28可经由链路16和/或从存储装置31接收经编码视频数据。经由链路16传达或在存储装置31上提供的经编码视频数据可包括由视频编码器20所产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。图1A和1B中说明的视频解码器30可包括图3A中说明的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。

显示装置32可以与目的地装置14集成或者在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可能是显示装置。一般来说，显示器装置32将经解码视频数据显示给用户，且可包括多种显示器装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示器装置。

在相关方面中，图1B展示实例视频译码系统10′，其中源装置12和目的地装置14在装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或其类似者。装置11可包含与源装置12和目的地装置14可操作通信的控制器/处理器装置13(可选地存在)。图1B的视频译码系统10′和其组件在其它方面类似于图1A的视频译码系统10和其组件。

视频编码器20和视频解码器30可根据例如HEVC等视频压缩标准操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准操作，所述标准例如ITU-T H.264标准(或者被称作MPEG-4第10部分AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

尽管图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施所述技术时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或多于一个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器的部分。

视频译码过程

如上文简要提到，视频编码器20编码视频数据。视频数据可以包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20编码视频数据时，视频编码器20可以产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片和相关联的数据。经译码的图片是图片的经译码的表示。

为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。相关联数据可包含视频参数集(VPS)、SPS、图片参数集(PPS)、自适应参数集(APS)和其它语法结构。SPS可以含有适用于零个或多于零个的图片序列的参数。PPS可含有适用于零或更多图片的参数。APS可含有适用于零个或更多图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为了产生经译码图片，视频编码器20可将图片分割成大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。

在一些实例中，视频编码器20可将图片分割成多个切片。切片中的每一者可包含整数数目个CU。在一些情况下，切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称作“经译码切片”。

为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码型式的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(例如，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的每一树块。

作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当编码给定树块时，视频编码器20可能能够存取通过编码给定树块的上方和左边的树块而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的信息。

为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。经分割的CU可为其视频块被分割成与其它CU相关联的视频块的CU。未经分割CU可为其视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直至最大64×64像素或更大的树块的视频块大小(例如，树块的大小)。

视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按所述次序进行编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的视频块的子块相关联的CU。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行编码。

作为根据z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右上方、左边和左下方的CU。尚未编码给定CU的右下方的CU。因此，当编码给定CU时，视频编码器20可能能够存取通过编码与给定CU相邻的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码与给定CU相邻的其它CU而产生的信息。

当视频编码器20编码未经分割CU时，视频编码器20可产生所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生PU的经预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测CU。

此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生所述PU的运动信息。PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的经预测视频块。

在视频编码器20产生CU的一或多个PU的经预测视频块之后，视频编码器20可基于CU的所述PU的经预测视频块产生所述CU的残差数据。CU的残差数据可指示CU的PU的经预测视频块中的样本与CU的原始视频块之间的差。

此外，作为对未经分割CU执行编码操作的一部分，视频编码器20可对CU的残差数据执行递归四叉树分割以将CU的残差数据分割成与CU的TU相关联的一或多个残差数据块(例如，残差视频块)。CU的每一TU可与不同残差视频块相关联。

视频编码器20可将一或多个变换应用于与TU相关联的残差视频块以产生与TU相关联的变换系数块(例如，变换系数块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数降值舍位到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与所述CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应二进制算术译码(CABAC)操作的熵编码操作应用于这些语法元素中的一些。还可使用例如上下文自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有对NAL单元中的数据类型的指示和含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、SEI、存取单元定界符、填充符数据，或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体上互逆。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行逆量化。视频解码器30可对变换系数块执行逆变换以重构与CU的TU相关联的残差视频块。在产生经预测视频块且重构残差视频块之后，视频解码器30可基于经预测视频块和残差视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。

视频编码器

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如，针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未示出)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处理。

视频编码器20可执行对视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122和运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。

视频编码器20可接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所示)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的一部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的一部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。

与CU相关联的视频块的大小范围可从8×8样本直至最大64×64像素或更大的树块大小。在本发明中，“N×N”和“N乘N”可互换使用来指代在垂直和水平维度方面的视频块的样本尺寸，例如16×16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的一部分，预测处理单元100可产生所述树块的阶层式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有对应树块或CU的语法数据(例如，语法元素)。举例来说，四分树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可被递归地定义，且可取决于所述CU的视频块是否分裂成子块。其视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于对应树块的四叉树数据结构的数据。

视频编码器20可对树块的每一未经分割CU执行编码操作。当视频编码器20对未经分割CU执行编码操作时，视频编码器20产生表示未经分割CU的经编码表示的数据。

作为对CU执行编码操作的一部分，预测处理单元100可在CU的一或多个PU当中分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假设特定CU的大小为2N×2N，则视频编码器20和视频解码器30可支持2N×2N或N×N的PU大小，以及2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2N×nU、2N×nD、nL×2N 和nR×2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧边会合的边界来在CU的PU当中分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。

切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU都经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引和指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可输出参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”和“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1中的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。

当运动估计单元122对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引和指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息用信号表示PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号表示第二PU的运动信息。

作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片和B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可沿与帧内预测模式相关联的方向和/或梯度跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，这假设对于PU、CU和树块采用从左到右、从上到下的编码次序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。

预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真度量来选择用于PU的预测数据。

如果预测处理单元100选择由帧内预测处理单元126产生的预测数据，那么预测处理单元100可用信号表示用以产生用于PU的预测数据的帧内预测模式，例如所选帧内预测模式。预测处理单元100可以各种方式用信号表示所选帧内预测模式。举例来说，有可能所选帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示所选帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用在SHVC中可得的一或多个不同层(例如，基础或参考/增强层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元128利用预测方法减少层间冗余，由此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的相同位置块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。

在预测处理单元100选择用于CU的PU的预测数据之后，残差产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残差数据。CU的残差数据可包含对应于CU的视频块中的样本的不同样本分量的2D残差视频块。举例来说，残差数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残差视频块。另外，CU的残差数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残差视频块。

预测处理单元100可执行四叉树分割以将CU的残差视频块分割成子块。每一未经划分的残差视频块可与CU的不同TU相关联。与CU的TU相关联的残差视频块的大小和位置可基于或可不基于与CU的PU相关联的视频块的大小和位置。被称作“残差四叉树”(RQT)的四叉树结构可包含与残差视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用于与CU的每一TU相关联的残差视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用于与TU相关联的残差视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用于与TU相关联的残差视频块。

在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树块多次执行编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。

逆量化单元108和逆变换单元110可分别将逆量化和逆变换应用于变换系数块以从变换系数块重构残差视频块。重构单元112可以将经重构残差视频块添加到来自由预测处理单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。

在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对与CU处于同一图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。当熵编码单元116接收所述数据时，熵编码单元116可执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行CAVLC操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、PIPE译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示具有特定值的特定二进制数的概率估计。在CABAC的上下文中，术语“二进制数”用以指语法元素的二进制化版本的位。

多层视频编码器

图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23(也被简称为视频编码器23)的实例的框图。视频编码器23可经配置以处理多层视频帧(例如，用于SHVC和MV-HEVC)。此外，视频编码器23可经配置以执行本发明的技术中的任一者或全部。

视频编码器23包含视频编码器20A和视频编码器20B，其中的每一者可经配置为视频编码器20且可执行上文关于视频编码器20所描述的功能。此外，如重复使用元件符号所指示，视频编码器20A和20B可包含与视频编码器20相同的至少一些系统和子系统。虽然将视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器23可包含用于存取单元中的每一图片或帧的视频编码器20。举例来说，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能为非活动的。

除了视频编码器20A和20B之外，视频编码器23可包含重新取样单元90。在一些情况下，重新取样单元90可对所接收的视频帧的基础层进行升取样以(例如)创建增强层。重新取样单元90可对与帧的所接收基础层相关联的特定信息进行升取样，但不对其它信息进行升取样。举例来说，重新取样单元90可对基础层的空间大小或像素数目进行升取样，但切片的数目或图片次序计数可保持恒定。在一些情况下，重新取样单元90可不处理所接收的视频和/或可为可选的。例如，在一些情况下，预测处理单元100可执行升取样。在一些实施例中，重新取样单元90经配置以对层进行升取样且重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行升取样，但在一些情况下，重新取样单元90可对层进行降取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧进行降取样而不是升取样。

重新取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)进行升取样。可接着将所述经升取样图片提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器与较低层编码器相差一个层。在其它情况下，在图2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。

在一些情况下，可省略或绕过重新取样单元90。在这些情况下，可直接或在至少不提供到重新取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而无需任何重新取样。

在一些实施例中，视频编码器23使用降取样单元94对待提供到较低层编码器的视频数据进行降取样，随后将所述视频数据提供到视频编码器20A。或者，降取样单元94可为能够对视频数据进行升取样或降取样的重新取样单元90。在另外其它实施例中，可省略降取样单元94。

如图2B中所说明，视频编码器23可进一步包含多路复用器(或mux)98。mux 98可输出来自视频编码器23的组合位流。通过从视频编码器20A和20B中的每一者取得位流且在给定时间使输出的位流交替，可产生组合位流。虽然在一些情况下，可一次一个位地交替来自两个(或在多于两个视频编码器层的情况下，多于两个)位流的位，但在许多情况下，以不同方式组合所述位流。举例来说，可通过一次一个块地交替所选位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，可针对从视频编码器20A输出的每一块，从视频编码器20B输出两个块。在一些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从视频编码器23外部的系统(例如，从包含源装置12的源装置上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。

视频解码器

图3A为说明可实施本发明中描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如，用于HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未示出)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而，如将关于图3B进一步描述，可复制视频解码器30中的一些或全部以用于多层编解码器的处理。

在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行与关于图2A的视频编码器20描述的编码步骤大体上互逆的解码步骤。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。

视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。对位流执行剖析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换单元156、重构单元158和滤波器单元159可执行重构操作，所述重构操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据等等。

此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经译码切片中的每一者可包含切片标头和切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的一部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未经分割CU执行剖析操作之后，视频解码器30可对未经分割CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残差视频块。

作为对TU执行重构操作的一部分，逆量化单元154可对与TU相关联的变换系数块进行逆量化(例如，解量化)。逆量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154所应用的逆量化的程度。

在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生与变换系数块相关联的TU的残差视频块。逆变换单元156可将逆变换应用于变换系数块以便产生所述TU的残差视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的逆变换。在这些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元156可应用级联的逆变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改善PU的经预测视频块。将用于子样本精确度的运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可使用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。

如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SHVC中可得的一或多个不同层(例如，基础或参考/增强层)预测当前块(例如，增强层中的当前块)。此预测可被称作层间预测。层间预测单元166利用预测方法减少层间冗余，由此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的相同位置块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。以下更详细地论述层间预测方案中的每一者。

重构单元158可使用与CU的TU相关联的残差视频块和CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块和残差视频块，且可基于经预测视频块和残差视频块而产生视频块。

在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所述CU相关联的块假象。在滤波器单元159执行解块操作以减小与CU相关联的块假象之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

多层解码器

图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33(也被简称为视频解码器33)的实例的框图。视频解码器33可经配置以处理多层视频帧(例如，用于SHVC及多视图译码)。另外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。

视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可经配置为视频解码器30并可执行上文关于视频解码器30所描述的功能。此外，如重复使用元件符号所指示，视频解码器30A和30B可包含与视频解码器30相同的至少一些系统和子系统。虽然将视频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限制并且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帧多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能为非活动的。

除了视频解码器30A和30B之外，视频解码器33还可包含升取样单元92。在一些实施例中，升取样单元92可对所接收的视频帧的基础层进行升取样以创建将添加到帧或存取单元的参考图片列表的增强后的层。此增强后的层可存储在经解码图片缓冲器160中。在一些实施例中，升取样单元92可包含关于图2A的重新取样单元90描述的实施例中的一些或全部。在一些实施例中，升取样单元92经配置以对层进行升取样且重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，升取样单元92可为经配置以对所接收的视频帧的层进行升取样和/或降取样的重新取样单元。

升取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)进行升取样。随后可将此经升取样图片提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以与较低层解码器解码在相同的存取单元中的图片。在一些情况下，较高层解码器与较低层解码器相差一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，可省略或绕过升取样单元92。在这些情况下，可直接或在至少不提供到升取样单元92的情况下将来自视频解码器30A的经解码图片缓冲器160的图片提供到视频解码器30B的预测处理单元152。举例来说，如果提供到视频解码器30B的视频数据和来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要升取样。另外，在一些实施例中，升取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收的参考图片进行升取样或降取样的重新取样单元90。

如图3B中所说明，视频解码器33可进一步包含多路分用器(或demux)99。demux 99可将经编码视频位流分裂为多个位流，其中由demux 99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来创建多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A和30B)中的每一者之间一次一个位地交替来自在demux 99处接收的位流的位，但在许多情况下，以不同方式划分所述位流。举例来说，可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可按非1:1的块比率将位流划分到视频解码器30A和30B中的每一者。举例来说，可针对提供到视频解码器30A的每一块，将两个块提供到视频解码器30B。在一些实施例中，demux 99对位流的划分可被预编程。在其它实施例中，demux 99可基于从视频解码器33外部的系统(例如，从包含目的地装置14的目的地装置上的处理器)接收的控制信号而划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因素而产生控制信号。

帧内随机存取点(IRAP)图片

一些视频译码方案可提供贯穿位流的各种随机存取点，以使得可从那些随机存取点中的任一者开始解码位流而无需解码在位流中在那些随机存取点之前的任何图片。在此类视频译码方案中，可正确地解码除随机存取跳过前沿(RASL)图片外的按解码次序在随机存取点之后的所有图片，而不需使用在所述随机存取点之前的任何图片。举例来说，即使位流的一部分在传输期间或在解码期间丢失，解码器仍可从下一个随机存取点开始恢复解码位流。对随机存取的支持可促进(例如)动态流服务、搜寻操作、信道切换等。

在一些译码方案中，此些随机存取点可由被称作帧内随机存取点(IRAP)图片的图片提供。举例来说，与包含在存取单元(“auA”)中的在增强层(“layerA”)中的增强层IRAP图片相关联的随机存取点可提供层特定的随机存取，使得对于layerA的每一参考/增强层(“layerB”)(例如，参考层为用以预测layerA的层)(所述参考/增强层具有与包含在存取单元(“auB”)中的在layerB中且按解码次序在auA之前的图片相关联的随机存取点(或包含在auA中的随机存取点))，可正确地解码layerA中按解码次序在auA之后的图片(包含位于auA中的那些图片)而无需解码layerA中在auA之前的任何图片。

IRAP图片可使用帧内预测(例如，在不参考其它图片的情况下进行译码)和/或层间预测进行译码，且可包含(例如)即时解码器刷新(IDR)图片、清洁随机存取(CRA)图片和断链存取(BLA)图片。当在位流中存在IDR图片时，按解码次序在IDR图片之前的所有图片不用于通过在所述IDR图片之后的图片进行的预测。当在位流中存在CRA图片时，在CRA图片之后的图片可或可不将按解码次序在CRA图片之前的图片用于预测。按解码次序在CRA图片之后但使用按解码次序在CRA图片之前的图片的那些图片可被称作RASL图片。按解码次序可在IRAP图片之后且按输出次序在IRAP图片之前的另一类型的图片为随机存取可解码前沿(RADL)图片，其可不含有对按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图片不可用，那么解码器可丢弃RASL图片。BLA图片向解码器指示在BLA图片之前的图片可能对解码器来说不可用(例如，这是因为两个位流拼接在一起，且BLA图片为按解码次序的第二位流的第一图片)。含有为IRAP图片的基础层图片(例如，具有层识别符(ID)值0)的存取单元(例如，由跨越多个层的与相同的输出时间相关联的所有经译码图片组成的图片群组)可被称作IRAP存取单元。

SEI消息

一些视频译码方案可包含SEI消息。SEI消息可包括额外信息，所述额外信息可插入到位流中以增强位流内的经译码图片的数据或用途。然而，因为SEI消息是任选的，所以SEI消息不含解码位流的经译码图片所必需的任何信息。举例来说，SEI消息可包括元数据、可辅助解码的信息或关于如何在位流中最佳地显示数据的提示。SEI消息可为前缀型或后缀型消息。

在常规单层译码方案(例如，HEVC)中，每一存取单元唯一地含有用于单层的单个图片。因为单层译码方案的每一存取单元含有单个图片，所以在单层译码方案的情况下，术语“存取单元”和“图片”能够可互换地使用。举例来说，关于SEI消息的利用和应用，与存取单元相关联的SEI消息很明显地也与存取单元内含有的图片相关联。

然而，多层译码方案(例如，SHVC/MV-HEVC)的存取单元可包含用于位流的每一层的单独图片。换句话说，在多层位流中，单个存取单元可含有(即，包含或包括)具有相同POC值的多个图片。因为在常规单层译码方案中，SEI消息与存取单元的单个图片相关联，所以这些单层译码方案可不具有定义SEI消息如何准确地适用于多层译码方案的多于一个操作点或层所需要的语义。关于多层译码方案中的SEI消息的此模糊性允许实施视频编码器或解码器，以将SEI消息与多层译码方案的存取单元内的可能多个图片当中的图片相关联而不加限制。因此，将SEI消息与多层译码方案中的图片、操作点或层相关联可不总是正确或恰当。因此，这些视频编码器和解码器相对于适用于多于一个操作点、层和/或图片的SEI消息的行为是不可预测的，且可在不同实施方案之间变化，以使得这些不同实施方案可能不会一致地编码/解码视频序列。举例来说，在一些情况下，可能不太清楚SEI消息是否将与一个图片、图片的子集或对应存取单元的所有图片相关联，且在无适当语义的情况下处置的SEI消息可不恰当地相关联。

或者或另外，非嵌套式的SEI消息可适用于具有时间ID(Tid)的操作点，所述时间ID为位流的最大Tid且含有位流的所有层。

因此，本发明的一个目标在于阐明SEI消息的语义，以使得在SEI消息适用于多于一个操作点或层时，SEI消息的范围可与多层译码方案内的存取单元的一或多个图片明确地相关联。另外，本发明的目标在于阐明SEI消息的持久性范围，因为关于特定持久性范围适用于存取单元内的可能多个图片中的哪一图片或哪些图片，使用单层译码方案SEI消息的语义的SEI消息的持久性范围的指定可能不清楚。

根据本发明，实施于多层译码方案中的SEI消息可与存取单元的一或多个图片、一或多个操作点和/或一层或多层相关联，和/或适用于存取单元的一或多个图片、一或多个操作点和/或一层或多层。在SEI消息适用于多于一个操作点或层时，可修改或阐明SEI消息的语义，以使得SEI消息可与多层译码方案内的存取单元的特定图片、操作点和/或层明确地相关联。通过根据本发明阐明语义，视频编码器/解码器的行为更易于预测，且因此与在使用单层译码方案的语义的多层译码方案中的情形相比，这些视频编码器/解码器的不同实施方案之间的SEI消息的处理更一致。本发明的技术/方案可“向后”兼容或“向下”兼容，以使得本发明的技术/方案可由使用单层视频译码方案的旧式装置使用。此外，本发明的技术/方案可供各种SEI消息利用，所述SEI消息可适用于多层存取单元内的一或多个图片、一或多个操作点和/或一层或多层。

多层译码方案中的SEI消息可取决于SEI消息的类型和SEI消息所适用于的东西而适用于不同存取单元。举例来说，SEI消息可经配置以适用于层集合中的一个层或操作点集合中的一个操作点。操作点可包括处于那些层的一或多个特定时间ID的范围的层列表。举例来说，操作点可包括处于2个时间ID(ID 0和1)范围的三个层(层0、1和2)的列表，且三个层中的每一者将在时间ID 0和1中的每一者处考虑(译码)。因此，操作点可包括待解码/编码的视频信息的整个位流的位流的子集。

举例来说，在多层位流的存取单元的SEI消息为缓冲周期SEI消息、图片时序SEI消息和解码单元信息SEI消息中的一者，且SEI消息适用于操作点集合(例如，在SEI消息适用于操作点集合而非层集合时)时，SEI消息的语义可独立地适用于SEI消息所适用于的操作点集合中的每一操作点。这表示SEI消息的语义中的每一者可独立地适用于操作点集合中的操作点中的每一者，且可能不在操作点集合中的操作点的子集当中分裂。因此，缓冲周期、图片时序和解码单元信息SEI消息中的一者的语义可各自独立地适用于层列表中的层中的每一者直到SEI消息所适用于的操作点中的每一者的最大时间ID。举例来说，如果第一SEI消息适用于操作点集合，且具有等于0、1或130的payloadType值，那么第一SEI消息的语义独立地适用于第一SEI消息中所指示的操作点集合中的每一操作点。另外，SEI消息的一或多个语义可重新定义为适用于操作点集合中的每一操作点的适当位流。

使SEI消息独立地适用于与SEI消息相关联的操作点的意思是如果SEI消息适用于三个操作点0、1和2(OP 0、1和2)，那么SEI消息的语义独立地适用于OP 0、OP 1和OP 2中的每一者。在修改或阐明如本文中所揭示的SEI消息的语义时，可类似地修改和/或阐明SHVC/MV-HEVC标准中的参考。举例来说，在SEI消息独立地适用于操作点集合中的每一操作点(如上文所描述)时，SHVC/MV-HEVC标准中的短语“当前SEI消息”应被当作可用SEI消息中的一者，以使得适用于所述SEI消息的任何内容适用于当前SEI消息。类似地，MV-HEVC中的短语“当前操作点”可被当作表示可用操作点中的一者和适用于可用操作点中适用于当前操作点的一个操作点的任何内容。术语“存取单元”和“经译码视频序列(CVS)”可适用于存取单元，如由当前操作点定义(即，BitstreamToDecode)。举例来说，如果位流具有四个层(层0、1、2和3)，但当前操作点仅含有三个层(层0、1和3)，那么“存取单元”是指含有当前操作点的图片(换句话说，层0、1和3的图片)的存取单元。这是因为在特定操作下进行解码时，所述操作点的层集合中并未包含的层将不包含于BitstreamToDecode中。

图4A为说明根据示范性实施例的用于将SEI消息的语义与操作点集合中的每一操作点或层集合中的每一层独立地相关联的方法的流程图400。流程图400的步骤或方框可由控制器、处理器或上文关于图1到3B所描述的译码和解码系统的其它组件中的任一者执行。

在框410处，方法通过确定当前SEI消息是否为非嵌套式SEI消息开始，所述非嵌套式SEI消息具有有效负载类型0、1或130(指示非嵌套式SEI消息分别为缓冲周期、图片时序或解码单元信息SEI消息)。如果SEI消息为具有有效负载类型0、1或130的非嵌套式SEI消息(例如如果SEI消息为非嵌套式缓冲周期、图片时序或解码单元信息SEI消息)，那么方法前进到框412。然而，如果SEI消息不为具有有效负载类型0、1或130的非嵌套式SEI消息(例如不为非嵌套式缓冲周期、图片时序或解码单元信息SEI消息)，那么方法前进到框414。在框412处，方法将SEI消息的语义适用于具有Tid的操作点，所述Tid为位流的最大Tid且含有位流的所有层。

在框414处，方法确定SEI消息是否为缓冲器周期消息、图片时序SEI消息或解码单元信息SEI消息中的一者。通过识别SEI消息的字段(或语义)的值来作出此确定。在一些实施例中，此字段可为payloadType字段。在一些实施例中，payloadType字段可为整数或其它数据类型，其中存储于字段中的值指示SEI消息的类型。举例来说，在SEI消息的payloadType字段的值等于0、1或130时，接着SEI消息可分别为缓冲周期、图片时序或解码单元信息SEI消息。在一些实施例中，缓冲周期、图片时序和解码单元SEI消息可适用于操作点集合，所述集合包括一或多个操作点。如果payloadType字段具有等于除了{0、1、130}以外任意值的值，那么SEI消息可适用于一或多个操作点或层，且可能不为缓冲周期、图片时序和解码单元信息SEI消息中的一者。因此，在框414处，如果SEI消息的payloadType等于{0、1、130}中的一者，那么方法前进到框418。如果payloadType不等于{0、1、130}中的一者，那么方法前进到框416。在框416处，不具有值为{0、1、130}中的一者的payloadType的SEI消息的语义各自独立地适用于SEI消息所适用于的层集合中的每一层。

在框418处，方法确定SEI消息是适用于操作点还是适用于层。如果SEI消息适用于操作点，那么方法前进到框420；如果SEI消息适用于层，那么方法前进到框422。在框420处，SEI消息语义独立地适用于SEI消息所适用于的所有操作点。因此，如果SEI消息被识别为适用于两个操作点，那么SEI消息的语义中的每一者独立地适用于两个操作点中的每一者(和对应层)。在框422处，在SEI消息适用于层(例如，单个操作点)时，SEI消息语义可根据SEI消息和/或语义一起适用于层集合。举例来说，每一SEI消息可包括字段(或语义)，其指示SEI消息适用于哪一或哪些层。SEI消息语义可根据那些指示适用。

在一些实施例中，特定SEI消息的存在和关联可取决于各种条件。举例来说，如上文所描述，在一些实施例中，SEI消息的语法和语义可确定一或多个SEI消息的关联。在一些实施例中，切片标头中发现的信息可修改或阐明SEI消息的存在。举例来说，操作点的缓冲周期SEI消息的存在可取决于缓冲周期SEI消息所适用于的存取单元。如果存取单元具有在不影响解码一或多个其它图片能力的情况下无法有意舍弃的至少一个图片，那么存取单元可具有与其相关联的缓冲周期SEI消息。在此情况下，指示相关联图片的可舍弃性的discardable_flag字段(切片标头中的字段)可等于“1”，指示在不影响另一图片的可解码性的情况下不可舍弃相关联的图片。或者，在discardable_flag字段含有值“0”时，可在不影响解码另一图片能力的情况下舍弃相关联的图片。其它SEI消息可具有针对与给定存取单元、图片、操作点或层相关联的SEI消息的存在而设置的类似或不同条件。

图4B为说明根据本发明的实施例的适用于操作点的SEI消息之间的关联的框图。图4B的多层位流450(也被简称为位流450)包含基础层470A(具有等于“0”的识别符“ID”的BL 470A)、第一增强层470B(具有等于“1”的识别符“ID”的EL 470B)和第二增强层470C(具有等于“2”的识别符“ID”的EL 470C)。尽管图4B的位流450被说明为含有基础层BL 470A和增强层EL 470B和470C，但位流450可包含更多或更少增强层。在一些实施例中，可基于基础层470A的译码来译码增强层。在一些实施例中，增强层可包括不同于基础层470A的视图。多视图位流的一个实例为包含左眼视图层和右眼视图层的三维(3D)视频位流。

返回参考图4B，位流450包含多个操作点(OP)452到460。每一操作点对应于层BL470A和EL 470B和470C的时刻(具有时间ID)。在一些实施例中，所描绘的操作点中的一或多者可对应于时刻的范围，例如包括时间ID 0和1的操作点454。在一些实施例中，层中的每一者可包括在对应操作点的给定时间ID的一或多个图片。在一些实施例中，操作点可包括多于一个时间ID，例如时间点的范围，但此图中未图示。在图4B的实施例中，SEI消息451表示适用于一或多个操作点的集合的SEI消息(例如，在SEI消息包括缓冲周期、图片时序和解码单元信息SEI消息中的一者时)。如SEI消息451的影线结合以上描述所示，SEI消息451的语义可独立地适用于SEI消息451所适用于的操作点集合中的每一操作点(即，操作点OP 452和OP 454)。因此，如图4B所示，SEI消息451独立地适用于操作点OP 452(如由箭头461指示)和操作点OP 454(如由箭头462指示)中的每一者。

如上文所描述，SEI消息可适用于层集合中的一层或多层(例如，替代一或多个操作点的集合中的一或多个操作点)。因此，SEI消息的语义可适用于层集合中具有识别符的每一层，所述识别符对应于SEI消息的目标字段的值。举例来说，如果第二SEI消息适用于一层或多层的集合，那么第二SEI消息的语义可独立地适用于具有等于第二SEI消息的目标字段的值的识别符值的每一层，其中每一层属于一层或多层的集合。

图4C为说明根据本发明的实施例的适用于层的SEI消息与多个图片之间的关联的的框图。图4C的多层位流480(也被简称为位流480)类似于图4B的多层位流，除了图4C包括图片和存取单元而非与每一层相关联的操作点，而图4B包括与每一层相关联的时间识别符。因此，每一AU 482到488包含来自每一层的一个图片。举例来说，AU 482包含BL 470A图片472A、EL 470B图片472B和EL 470C图片472C。

图4C中还展示了两个SEI消息。两个SEI消息可为恢复点SEI消息，且因此可具有payloadType值“6”。因此，两个恢复点SEI消息可适用于层集合中的至少一个层，且两个恢复点SEI消息可各自包含targetLayerId语义，所述targetLayerId语义分别包括值“1”和“2”。因此，恢复点SEI消息可各自分别适用于具有nuh_layer_id值“1”和“2”的特定层。在图4C所说明的实施例中，图片472C可被指示为具有targetLayerId值“2”的恢复点SEI消息的恢复点图片，而图片476B可被指示为具有targetLayerId值“1”的恢复点SEI消息的恢复点图片。

在一些实施例中，在SEI消息为全屏幕扫描矩形、渐进式优化段开始、胶片颗粒特性、色调映射信息、帧封装布置和显示定向SEI消息中的一者时，关于存留范围的SEI消息的语义可阐明为层所特有的。举例来说，上文所列的SEI消息可包含指定当前层的存留的语法。每一所列的SEI消息的语法可包含persistence_flag值(即，film_grain_characteristics_persistence_flag或tone_map_persistence_flag)。存留旗标语法可指示当前层存留直到开始新CVS为止，直到结束当前位流为止或直到开始解码具有适用于当前层的相同类型的另一SEI消息的当前层中的另一图片为止。因此，对应SEI消息的语义可仅适用于当前层或如由SEI消息指示的指定层。举例来说，参考上文所论述的SEI消息，在SEI消息中的一者被指示为适用于第二层(例如，targetLayerId的值为2)时，接着SEI消息的语义(例如，胶片颗粒特性SEI消息的胶片颗粒特性SEI消息的film_grain_characteristics_cancel_flag和film_grain_characteristics_persistence_flag)可适用于第二层，且因此可指定相关联的存留相关语义适用于所述层(即，层2)。这些存留相关语义可适用直到开始新CVS，结束位流或开始解码具有适用于层2且具有较大POC值的胶片颗粒特性SEI消息的层2中的另一图片为止。

在一些实施例中，时间子层零索引SEI消息可提供信息，所述信息可用以辅助解码器检测遗漏的经译码图片。时间子层零索引SEI可向具有等于0的Tid的图片提供索引，以使得解码器可察觉到它是否看到具有等于0的Tid的图片，但所述图片的索引与具有等于0的Tid的先前图片之间具有间隙。间隙通常在存在图片丢失的情况下出现。因此，此SEI将能够帮助解码器理解存在丢失的图片。然而，在具有等于0的Tid的图片也为可舍弃图片(即，其discardable_flag等于0)时可存在问题。在可舍弃图片具有等于0的Tid且在到达解码器之前从位流(由实体，例如智能路由器)舍弃(移除)时，解码器可错误地认为存在丢失的图片，然而图片实际上并非丢失，而是被有意地移除。

时间子层零索引SEI消息可包含语法元素temporal_sub_layer_zero_idx，其在当前图片具有等于零的时间ID(Tid)时指示当前图片的时间子层零索引。或者，temporal_sub_layer_zero_idx语法元素可指示按解码次序在当前层中的先前图片的时间子层零索引，其中Tid等于0。在一些实施例中，可阐明时间子层零索引SEI消息的语义以考虑(例如图片的)切片标头的discardable_flag元素的值。举例来说，可约束temporal_sub_layer_zero_idx元素以使得元素的值仅在当前图片为锚图片时增加，在不影响解码另一图片的能力的情况下无法有意舍弃所述锚图片。举例来说，如果当前图片具有大于0的Tid或当前图片的discardable_flag值为0(指示当前图片为可舍弃的)，那么temporal_sub_layer_zero_idx值将不递增。因此，在修改或指派值给temporal_sub_layer_zero_idx元素时，修改时间子层零索引SEI消息的语义以考虑相关联的图片的切片标头的discardable_flag元素的值。

序列参数集(SPS)

一些视频译码方案可进一步包含参数集，例如SPS。参数集可将某些共同控制参数携载到解码器，因为所述共同控制参数係关于一或多个经译码切片。使参数集内所含有的参数独立于经译码切片发射可改进效率，因为可单次发送适用于多个经译码切片的信息，这与针对每一经译码切片个别地发送相反。在一些实施例中，SPS可包括为视频序列所共有的一或多个参数。举例来说，SPS可包括关于视频帧的大小或解码器约束的信息，例如参考帧的最大数目。另外，每一SPS可包括SPS内所识别的唯一识别符。SPS可保持“在非作用中”，直到由PPS启动为止，所述PPS由即时解码器刷新(IDR)存取单元有效地启动。SPS可保持在作用中直到SPS所适用于的经译码视频序列的处理完成为止。

在常规单层译码方案(例如，HEVC)中，视频序列含有各自唯一地含有单个图片的存取单元的序列。因为视频序列的每一存取单元含有单个图片，所以已知与视频序列相关联的SPS将与存取单元所述的单个图片相关联。举例来说，在视频序列的开始处发送SPS0。视频序列可包括启动SPS0的IDR0，后跟着多个切片。解码器可使用SPS0的参数直到后续IDR1启动随后传达的SPS1为止。因此，解码器使用SPS0的参数来对IDR0与IDR1之间的多个切片进行解码。另外，在常规单层方案中，在作用中参数集中可用信号表示仅一个SPS。

然而，如上文所论述，多层译码方案的存取单元可包含位流的每一层的单独图片。换句话说，如上文另外论述，在多层位流中，单个存取单元可含有(即，包含或包括)多个层中的多个图片。因为在常规单层译码方案中，SPS与具有单个图片的单层相关联，这些单层译码方案可不具有定义一或多个SPS如何与多层译码方案内的可能多个层当中的一层或多层准确地相关的所需要的语义。因此，在SPS的数目小于位流中的层数时或在SPS的数目大于位流中的层数时，可产生问题或模糊性，这是因为SPS与层的关联可能不明确。

在常规方案中关于SPS的此模糊性允许实施视频编码器或解码器以将多个SPS与多层译码方案的存取单元内的可能多个层当中的层相关联而不加以限制。因此，这些视频编码器和解码器相对于多个SPS的行为是不可预测的，且可在不同实施方案之间变化，以使得这些不同实施方案可能不会一致地编码/解码视频序列。因此，本发明的另一个目标为引入如下机制：映射或用信号表示多个SPS应如何与多层译码方案内的作用中参数集SEI消息中的多个层明确地相关联。另外，可放宽关于可在作用中参数集SEI消息中用信号表示的SPS的数目的约束，从而允许在单个作用中参数集SEI消息中用信号表示多于一个SPS。

用于通过作用中参数集SEI消息用信号表示多个SPS应与多个层明确地相关联的方式的机制可指示每一SPS应适用于的层。机制可将特定层指派给每一特定SPS，以使得SPS被理解为与特定层相关联。在一些实施例中，机制可将特定SPS指派给每一特定层，以使得层被理解为与特定SPS相关联。在所述机制内，或除了所述机制之外，限制在作用中参数集SEI消息中用信号表示的SPS的数目的现有约束可被移除，以便允许由单个作用中参数集SEI消息用信号表示多个SPS。

在一些实施例中，所述机制可包括制定环路关联，以使得对于每一特定SPS，将特定层指派给SPS。举例来说，在上文所论述作用中参数集SEI消息中，可添加新语义，其表示包含值的字段，所述值指示特定SPS所适用于的层。在作用中参数集SEI消息内，具有识别符的第一SPS将被指派特定层，如新语义中所指示(即，target_nuh_layer_id[i])。因此，对于由作用中参数集SEI消息识别的每一SPS，特定层将以环路关联方式被指派为相关联的层，直到每一SPS具有指派给其的层为止。或者或另外，作用中参数集SEI消息(或重新定义的SEI或其它消息)可将多个层中的每一层与一或多个SPS相关联。类似于上文所描述的情形，关联环路可以环路关联方式向每一层指派一或多个特定SPS，直到每一层具有指派给其的一或多个SPS为止。

图5展示可用以传达作用中参数集SEI消息语义的语法500。此语法500可在存取单元或图片的SEI消息中传达，且可希望提供关于SEI消息的类型、SEI消息的大小和SEI消息语义的各种其它方面的必要信息。尽管当前图5描绘作用中参数集SEI消息的许多元素，但语法500可包含比图5中说明的组件多或少的组件。另外或替代性地，相同或类似于语法500的语法可用于传达用于其它类型的SEI消息的SEI消息语义(例如图片时序、解码单元信息、胶片颗粒特性、图片快照和场景信息SEI消息以及其它者)。因此，并非所有语法500的语义(或字段)可在本文中定义。此定义的缺乏不应被解释为表示功能的重要性。如图所示，语法500包含用于描述权利要求书的范围内的实施方案的显著特征的字段(或语义)的取样，且可包含未图示的一或多个额外字段，或可包含在所有实施例中可能未被利用的一或多个字段。

语法500可包含语义payloadType 502和payloadSize 504，如SEI消息的所有其它语法可能的那样。PayloadType 502具有一个字节的长度，且可包含指示SEI消息的类型的值，语法500与所述SEI消息相关联。举例来说，payloadType 502可包含值0或1，其指示缓冲周期或图片时序SEI消息。在一个字节大小的情况下，payloadType 502可指示256个不同SEI消息中的一者。语法500进一步包含有效负载大小504语义。payloadSize504可具有按字节指定的可变大小，且可等于SEI消息有效负载中的原始字节序列有效负载字节的数目。

语法500进一步包含语义active_video_parameter_set_id 506，其具有四个位的长度。active_video_parameter_set_id 506可指示识别视频参数集(VPS)的值，所述VPS由与SEI消息相关联的单元指向。在一些实施例中，值active_video_parameter_set_id 506可处于0到15(包含0和15)的范围内。语法500进一步包含具有一个位的长度的语义self_contained_cvs_flag 508和具有一个位的长度的no_parameter_set_update_flag 510。self_contained_cvs_flag 508指示单元所参考的每一参数集合在参考参数集的任何单元之前，而no_parameter_set_update_flag 510指示将不需要更新参数集。语法500进一步包含num_sps_ids_minus1 512语义，其具有可变数据类型的长度且指示由与作用中参数集SEI消息相关联的存取单元的单元指向的SPS的数目。另外，语义active_seq_parameter_set_id[i]514包含于语法500中。active_seq_parameter_set_id[i]514可指示识别由单元指向的SPS的值，所述单元具有处于与SEI消息相关联的存取单元的target_nuh_layer_id[i]范围内的nuh_layer_id。最后，如图所示的语法500可包含target_nuh_layer_id[i]516语义，其可经配置以指定与active_seq_parameter_set_id[i]相关联的targetLayerId。上文所提及的机制可在关联环路中特定地利用active_seq_parameter_set_id[i]和target_nuh_layer_id[i]。

恢复点SEI消息和POC导出

在一些视频译码方案中，可有可能在IRAP图片之间开始解码位流。这可使得能够在(例如)在传输期间或在解码期间丢失位流的一部分的情况下较快返回到经恰当解码视频流，或允许较快起始解码实时流视频。然而，当在IRAP图片之间的随机存取点处起始解码视频流时，经解码视频流可归因于解码过程对按解码次序在随机存取点之前的图片的依赖而不具有对于显示来说可接受的质量。

如先前所提及，一些视频译码方案包含可辅助解码器确定解码过程将在何时产生对于显示来说可接受的图片的恢复点SEI消息。当解码器起始随机存取或在断链之后重新起始解码时，解码器可能够基于包含在位流中的恢复点SEI消息而确定经解码图片在何时对于显示来说可接受。恢复点SEI消息指定经解码图片输出次序中的恢复点，所述恢复点指示在从含有恢复点SEI消息的存取单元起始解码过程时，按输出次序在恢复点处或之后解码的所有经解码图片在内容上可为正确或大致正确的。此些恢复点SEI消息并不为了使在恢复点之后解码的图片具有正确或大致正确的经解码内容而要求基于在随机存取之后和/或在与恢复点相关联的图片之前的位流的解码而产生的经解码图片是正确的。此外，恢复点SEI消息可能不要求在随机存取之后和/或在与恢复点相关联的图片之前的位流的解码所参考的图片是可用的。

在常规单层译码方案(例如，HEVC)中，每一存取单元唯一地含有单个图片。由于每一存取单元含有单个图片，因此术语“存取单元”与“图片”能够在单层译码方案的上下文中例如在利用恢复点SEI消息方面互换使用。然而，多层译码方案的存取单元可包含针对位流的每一层的单独图片。换句话说，在多层位流中，单个存取单元可含有(即，包含或包括)多个图片。由于在常规单层译码方案中，恢复点SEI消息与存取单元相关联，因此此等单层译码方案可不具有用以定义恢复点SEI消息如何准确地与多层译码方案的存取单元内的可能的多个图片当中的一或多个图片有关所必需的语义。在常规方案中与恢复点SEI消息有关的此多义性允许视频编码器或解码器的实施方案使恢复点SEI消息与来自多层译码方案的存取单元内的可能的多个图片的图片相关联而无限制。因此，这些视频编码器和解码器在恢复点SEI消息方面的行为是不可预测的，且可在不同实施方案之间变化，使得这些不同实施方案不能一致地编码/解码视频序列。

另外，在单层译码方案中，包括恢复点SEI消息的存取单元可在恢复点SEI消息处将POC的值复位到零。另外，基于恢复点SEI消息，图片或解码器的其它值可复位或用信号表示成设定为指定值。举例来说，在恢复点SEI消息处，先前图片次序计数的值可复位到0，或poc_msb语义(图片次序计数的最高有效位)也可设定为0。

在SHVC/MV-HEVC中，可基于当前图片的切片标头中用信号表示的poc_msb来计算具有恢复点SEI消息的当前图片的POC。通常，在不由恢复点SEI消息设定时，当前图片的poc_msb值可基于先前图片的poc_msb。因此，在当前图片的切片标头中用信号表示poc_msb时，当前图片的poc_msb可设定为用信号表示的poc_msb。然而，因为与恢复点SEI消息相关联的图片的poc_msb设定为零，所以在当前图片的poc_msb(即，按解码次序在与恢复点SEI消息相关联的使poc_msb设定为零的图片之后)应根据用信号表示的值设定时存在问题，因为用信号表示的值和导出的值可能不匹配。

在多层译码方案中，存在用于用信号表示poc_msb值的机制。可在切片标头中用信号表示图片的poc_msb值。在一些实施例中，在此机制下，在解码具有切片标头中用信号表示的poc_msb值的当前图片时，当前图片的poc_msb值不应基于较早图片语义来计算，而是切片标头中用信号表示的poc_msb中的值应仅被用作当前图片的poc_msb值。会产生问题，因为在单层译码方案下，对具有恢复点SEI消息的图片的随机存取复位poc_msb(将poc_msb设定到0)和POC。然而，在多层译码方案中，如果仅将当前图片的poc_msb设定为零(如由现有译码方案指定)，但后续图片具有切片标头中用信号表示的poc_msb值(除0之外的值)，那么会产生冲突，因为后续图片无法正确地导出poc_msb值，这是归因于用信号表示的poc_msb值和先前零值。举例来说，图片picA在与相关联于恢复点SEI消息的图片相同的层中，且按解码次序在与恢复点SEI消息相关联的图片之后。picA具有用信号表示的图片次序计数导出值(例如poc_msb_val)。因此，picA的POC的导出可为不明确或不正确的。

因此，在解码具有恢复点SEI消息的图片时，POC语义不应仅仅复位到0或用信号表示为另一值。而是，应修改恢复点SEI消息的语义以在解码过程从与恢复点SEI消息相关联的层开始时，提供与恢复点SEI消息相关联的图片的POC的值的导出。在一些实施例中，这可涉及到推断一或多个POC语义值。另外，可修改恢复点SEI消息的语义以引入控管存取单元中恢复点SEI消息的存在或恢复点SEI消息与图片的关联的约束。因此，在多层译码方案中，在执行随机存取，且解码从含有恢复点SEI消息的存取单元开始时，可不将poc_msb值设定为零，而是可基于标准中定义的用于计算poc_msb的机制重新计算poc_msb值。因此，在执行随机存取且解码从含有恢复点SEI消息的存取单元开始时，解码器可操作为好像相关联的存取单元按解码次序为位流中的第一存取单元一样。另外，如果指示当前图片存在poc_msb值的语义等于1(当前图片的poc_msb_val_present_flag＝1)，那么变量PicOrderCntMsb可计算为poc_msb_val*MaxPicOrderCntLsb。如果poc_msb_val_present_flag＝0，那么将PrevPicOrderCnt[nuh_layer_id]设定为0。

或者或另外，可在适当的位置设置各种约束以控管存取单元中恢复点SEI消息的存在或恢复点SEI消息与图片的关联。举例来说，在一些实施例中，对于恢复点SEI消息来说可需要满足以下条件，以适用于当前层：

●在层layerA具有至少一个参考层，且属于layerA的一或多个图片和其在特定存取单元中的至少一个参考层具有等于0的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于0)且具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义时，接着所述特定存取单元可不含有适用于仅含有layerA和其参考层的层集合的恢复点SEI消息。

●或者或另外，在层layerA具有大于零的层id语义(例如，nuh_layer_id>0)，且特定存取单元中的layerA的图片具有等于0的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于0)且具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义时，接着所述存取单元可不含有仅适用于layerA的恢复点SEI消息。

●或者或另外，在属于具有等于0的层id语义(例如，nuh_layer_id＝0)的层的图片picA和按解码次序在所述图片picA之后以及按解码次序在下一个IRAP图片(其中NoRaslOutputFlag等于1，且层id等于0)之前的任何图片(包含picA和下一个IRAP图片)具有大于0的slice_segment_header_extension_length、等于0的poc_msb_val_present_flag和等于0的poc_reset_idc时，接着含有picA的存取单元可不含有仅适用于具有等于0的层id的层的恢复点SEI消息。

或者，可添加以下条件：

●如果恢复点SEI消息为嵌套式的且适用于多于一个层，那么在当前存取单元中恢复点SEI消息所适用于的层的所有图片可具有等于1的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于1)或具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义。

●否则，如果恢复点SEI消息(嵌套式或非嵌套式)仅适用于具有大于0的层id(nuh_layer_id>0)的层，那么属于当前存取单元的层的图片可具有等于1的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于1)或可具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义。

●否则(恢复点SEI消息仅适用于层id等于0(nuh_layer_id＝0)的层)，在存在按解码次序在当前图片之后以及按解码次序在下一个IRAP图片(其中NoRaslOutputFlag等于1)之前的至少一个图片(包含当前图片和下一个IRAP图片)(其中语法元素slice_segment_header_extension_length的值大于0)时，属于当前存取单元的层的当前图片可具有等于1的指示存在于SEI标头中的poc_msb值的语义(例如，poc_msb_val_present_flag等于1)或可具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义。

或者，可添加以下约束：

●如果在按解码次序在当前存取单元之后的存取单元中存在当前SEI消息所适用于的层中的任一者中的任何图片，即存在poc_msb_val_present_flag，那么当前SEI消息所适用于的层中的任一者中的每一图片可具有等于1的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于1)或可具有指示POC复位指示符等于0(例如，poc_reset_idc等于0)的语义。

或者，可适用以下约束：

●如果在按解码次序在当前存取单元之后的存取单元中存在当前SEI消息所适用于的层中的任一者中的任何图片，即存在poc_msb_val_present_flag，那么当前SEI消息所适用于的层中的任一者中的每一图片可具有等于1的poc_msb_val_present_flag。

或者，可适用以下约束：

●如果当前SEI仅适用于层id大于0(nuh_layer_id>0)的一个层，那么当前图片可具有等于1的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于1)。

●否则，如果当前SEI适用于多于一个层(包含基础层)，那么恢复点SEI所适用于的所有层中的当前存取单元中的所有图片可具有等于1的指示poc_msb值存在于SEI标头中的语义(例如，poc_msb_val_present_flag等于1)。

●否则，如果对于当前图片来说，切片段标头扩展长度大于0，且指示poc_msb值存在于SEI标头中的语义等于0(例如，poc_msb_val_present_flag等于0)，那么可能不存在恢复点SEI消息。

区刷新信息SEI消息

一些视频译码方案进一步包含区刷新信息SEI消息(也被称作区刷新SEI消息)。与恢复点SEI消息相关联的区刷新SEI消息指示当前区刷新SEI消息所应用/对应于的当前图片的区(例如，切片段)是否属于当前图片的经刷新区(或未经刷新区)。换句话说，区刷新SEI包含指示对应图片的个别切片在解码之后在内容上是否为正确或大致正确的信息。区刷新SEI消息与恢复点SEI消息组合使用。区刷新SEI消息表述如果从具有恢复点SEI消息的图片开始解码，从具有恢复点SEI消息的图片之后的下一个图片开始直到恢复点图片为止，那么针对恢复点SEI消息图片与恢复点图片之间的每一图片正确地解码的区的数目将改变直到恢复点图片处的所有区都正确地解码(或大体上或大致正确地解码)为止。

如上文所描述，在常规视频译码方案中，存取单元唯一地与图片相关联。因此，在这些常规方案中，区刷新信息SEI消息与存取单元相关联，且因此唯一地与图片相关联。此外，在常规译码方案中，层间约束和/或预测可能并非关注点，因为在其它层中可能没有与之相关联的图片。然而，在多层译码方案中，存取单元可含有多于一个图片。此外，与恢复点SEI消息相关联的区刷新SEI消息和用以定义区刷新SEI消息的语义的预测约束可不考虑层间预测约束。这可造成多层HEVC(例如，SHVC/MV-HEVC)中的问题。

在解码不为基础层的层时，可考虑层间预测，意味着在除基础层之外的层中的图片可依赖于对应图片，且在确定是否刷新区时可考虑所述依赖。举例来说，可在参考层中的特定图片依赖于基础层中的对应图片且已刷新基础层中的对应图片(或对应图片的至少对应区)和所述特定图片两者时，刷新所述特定图片的区。因此，被认为待刷新的另一图片或区所参考的任何图片或区也可能已被刷新。

常规视频译码方案的语义不一定考虑此些层间依赖性或预测约束。因此，本发明的另一目标为阐明区刷新信息SEI消息的语义，以使得在识别经刷新的区时考虑层间依赖性和/或预测约束。

在多层译码方案中，提供参考层中的图片的区刷新信息的区刷新信息SEI消息(与恢复点SEI消息相关联)可考虑层间和层内预测约束。举例来说，在一些实施例中，如果图片的区声明为刷新过了，那么所述区可能已进行帧内预测(意味着在不依赖于其它区的情况下解码所述区)，或对所述区进行帧间预测(意味着所述区取决于自身已经刷新的其它区来进行解码)。

举例来说，解码参考层(或任何层)中的第一图片可依赖于来自基础层中的一或多个第二图片的信息。在一些实施例中，第一图片所依赖于的第二图片是在与第一图片相同或不同的存取单元中。因此，在区刷新SEI消息指示是否刷新第一图片的一或多个区时，区刷新SEI消息应考虑以下事实：第一图片依赖于来自一或多个第二图片的信息。如果由区刷新SEI消息指示为刷新过的第一图片的一或多个区依赖于尚未刷新的第二图片的一或多个其它区，那么第一图片的区刷新信息可能不准确。这是因为如果第一图片所依赖于的信息未进行刷新，那么第一图片可不被认为是恰当地刷新过了。

在一些实施例中，区刷新SEI消息可经配置以考虑其所适用于的图片的任何层间预测或约束。举例来说，区刷新SEI消息可识别目标层的列表(例如，区刷新SEI消息所适用于的层的列表)，且可指定区刷新SEI消息与恢复点SEI消息之间的任何关系(或关联)。在一些实施例中，区刷新SEI消息也可定义关于将层间预测用于与区刷新SEI消息相关联的图片的一些一致性约束。在一些实施例中，区刷新SEI消息可与适用于包含于刷新区SEI消息的目标层的列表中的层的恢复点SEI消息相关联或相关。或者，区刷新SEI消息可与适用于目标层的列表且不适用于任何其它层的恢复点SEI消息相关联，区刷新SEI消息可与适用于目标层的任何恢复点SEI消息相关联。

在一些实施例中，可如下导出上文所描述的目标层的列表：如果区刷新信息SEI消息适用于当前层和所有参考层，那么目标层的列表可含有当前层和所有参考层的层id(nuh_layer_id)。否则，目标层的列表可含有当前层的层id(nuh_layer_id)。

图6为说明根据本发明的实施例在一或多个区刷新SEI消息与多层位流的一或多个图片之间的关联的框图。图6包含类似于结合图4C的位流480的多层位流600(也被简称为位流600)。图6中展示了第一恢复点SEI消息，其与BL 472A相关联，且对应恢复点与BL 480A相关联。在图6中，交叉影线希望指示恢复点SEI消息中的每一者的对应图片与相应恢复点SEI消息和一或多个相应区刷新SEI消息相关联。在与恢复点SEI消息相关联的图片之后且在与所述图片相同的层中的多个图片可通常被称作逐步解码刷新(GDR)图片。GDR图片可与一GDR图片集相关联，所述GDR图片集包含从与恢复点SEI消息相关联的图片开始到GDR图片集中按输出次序处于最后一个的图片的图片。GDR图片集与对应恢复点SEI消息相关联。此外，区刷新SEI消息可与GDR图片相关联。在图6中，基础层470A中的BL图片472A到480A中的每一者被说明为包含三个单独内容切片，而增强层470B中的EL图片472B到480B中的每一者也被说明为包含内容的三个单独切片。然而，在其它实施例中，基础层BL 470B和/或增强层EL 470B的图片可分别被划分成比图6中所示的切片多或少的切片。在本发明的一些实施中，区刷新SEI消息仅与包含在GDR图片集中的图片相关联。基础层470A中的BL图片472A到480A和在增强层470B中的EL图片472B到480B中的切片在本文中将被称作顶部、中间和底部切片以基于其在图中的定向而指代对应切片。

图6的BL图片474A的区刷新SEI消息指示BL图片474A的底部切片将在BL图片474A的经解码内容中为正确或大致正确的，如由点影线所说明。类似地，BL图片476A的区刷新SEI消息指示对应中间切片(即，BL图片476A的中间切片)将在BL图片476A的内容中为正确或大致正确的。类似地，BL图片480A的区刷新SEI消息指示BL图片480B的顶部切片将在BL图片480A的内容中为正确或大致正确的。因而，区刷新信息SEI消息包含另外定义当在与对应恢复点SEI消息相关联的图片(例如，与相关联于GDR图片集的恢复点SEI消息相关联的图片)处或之前开始随机存取时，相关联图片中的切片中的每一者将在何时在经解码内容中为正确或大致正确的信息。另外，因为图片474A到480A为基础层BL 470A上的图片，所以SEI消息的区刷新信息可能不需要考虑任何层间预测约束或这些图片对于其它图片的任何依赖。因此，区恢复SEI消息的区恢复信息可被认可为正确和准确的。

然而，指示底部切片将在EL图片476B的内容上为正确或大致正确的EL图片476B的区刷新信息SEI消息可能需要考虑层间预测约束，因为可仅在刷新基础层BL 476A的对应图片的对应区时刷新EL图片476B底部切片。因此，如图6中所示，因为刷新对应图片BL 476A的对应底部切片，所以EL图片476B的区刷新信息SEI消息可被认为是正确的。然而，指示顶部切片将在EL图片474B的内容上为正确或大致正确的EL图片474B的区刷新信息SEI消息可被认为是不正确的，因为对应图片BL 474A的对应顶部切片未被指示为由BL图片474A的对应区刷新信息SEI消息刷新。因此，EL图片474B的顶部切片可不在EL 474B的内容上为正确或大致正确的。

图7展示可用以传达区刷新信息SEI消息语义的语法700。可在存取单元或图片的SEI消息中传达此语法700，且所述语法可希望提供关于SEI消息的类型、SEI消息的大小和SEI消息语义的各种其它方面的必要信息。尽管当前图7描绘区刷新信息SEI消息的许多元素，但语法700可包含比图7中所说明的组件多或少的组件。另外或替代性地，与语法700相同或类似的语法可用于传达其它类型的SEI消息的SEI消息语义(例如图片时序、解码单元信息、胶片颗粒特性、图片快照和场景信息SEI消息以及其它者)。因此，并非所有语法700的语义(或字段)可在本文中定义。此定义的缺乏不应被解释为表示功能的重要性。如图所示，语法700包含用于描述权利要求书的范围内的实施方案的显著特征的字段(或语义)的取样，且可包含未图示的一或多个额外字段，或可包含在所有实施例中可能未被利用的一或多个字段。

语法700可包含语义payloadType 702和payloadSize 704，如SEI消息的所有其它语法可能的那样，如上文所描述。PayloadType 702具有一个字节的长度，且可包含指示SEI消息的类型的值，语法700与所述SEI消息相关联。举例来说，payloadType 702可包含值0或1，其分别指示缓冲周期或图片时序SEI消息。在一个字节大小的情况下，payloadType 702可指示256个不同SEI消息中的一者。语法700进一步包含有效负载大小704语义。payloadSize 704可具有按字节指定的可变大小，且可等于SEI消息有效负载中的原始字节序列有效负载字节的数目。

语法700进一步包含具有一个位的长度的语义refreshed_region_flag 706。refreshed_region_flag 706可指示与当前SEI消息相关联的切片属于当前图片中的刷新区(即，经刷新的切片)。值0可指示未刷新切片，而值1可指示刷新切片。语法700进一步包含具有一个字节长度的语义targetLayerIdList 708。targetLayerIdList 708可含有区刷新信息SEI的区刷新信息所适用于的所有层的所有层id(nuh_layer_id)的列表。另外，区刷新SEI消息可与恢复点SEI消息相关联，所述恢复点SEI消息适用于具有等于targetLayerIdList中的那些值的nuh_layer_id值的层。

显示定向SEI消息

在常规HEVC单层位流中，可仅存在一个层，且所述层可被视为输出层。然而，在SHVC/MV-HEVC多层位流中，可存在描述哪些层为输出层且哪些层不为输出层的输出层集合。因为一层或多层可为任何输出层集合的非目标输出层，所以在层不为目标输出层时，可不存在与所述层中的图片相关联的显示定向SEI消息。在常规HEVC语义中遗漏此约束。

当前，SHVC/MV-HEVC多层位流支持替代输出过程特征。根据特征，在来自输出层的图片不存在于特定存取单元中时，特定存取单元中的来自非输出层的图片可被用作在输出层上输出的替代图片，其中非输出层低于输出层(例如，具有较低图片ID值或由输出层参考)。举例来说，图片picA属于非输出层layerA，且可能存在或可能不存在的图片picB属于输出层layerB。layerB的nuh_layer_id的值大于layerA的nuh_layer_id的值。相同存取单元中含有picA和picB两者(如果存在)。在允许替代输出过程时可存在以下问题：

a)如果存在两个显示定向SEI消息，且每一显示定向SEI消息分别适用于layerA和layerB(两个显示定向SEI消息不相同，且不存在picB)，那么在调用替代输出过程且输出picA来代替picB时，可存在关于两个显示定向SEI消息中的哪一者将适用于picB的模糊性。

b)或者或另外，如果仅存在一个显示定向SEI消息且其适用于layerB，且不存在picB，那么在调用替代输出过程且输出picA来代替picB时，可存在关于显示定向SEI消息是否将适用于picA的模糊性。

为了解决多层位流中的此些问题，可针对显示定向SEI消息添加约束，以使得在层未被指示为任何输出层集合中的目标输出层时，应不存在与所述层中的图片相关联的显示定向SEI消息。

a)因此，在不在当前层中的图片picA被用作当前层中的图片的替代输出时，适用于当前层的显示定向SEI消息(如果存在的话)应适用于输出picA。

b)或者或另外，可指定约束以使得在允许当前层的替代输出过程时，显示定向SEI消息不应与当前层中的图片相关联。

c)或者或另外，可指定约束以使得在允许替代输出过程，且输出来自非输出层的图片picA作为输出层中的不存在图片的替代品时，输出图片的显示定向应根据适用于输出层的显示定向SEI消息(如果存在)。

实例流程图

图8展示用于将视频译码信息的语义与多层位流的层或操作点相关联的方法800(包括存储与多层位流相关联的视频信息)的流程图。图8的方法800可由图1A到3B的组件中的一或多者(例如视频解码器30)执行。方法800开始于框805，包括存储与多层位流相关联的视频信息，所存储的视频信息包括SEI消息。举例来说，视频信息可存储于存储器(例如图1A的存储装置31)中或存储于类似装置中。一旦存储视频信息，方法便前进到框810。在框810处，展示方法，其基于SEI消息中的识别符确定SEI消息是属于第一SEI消息类别还是属于第二SEI消息类别。在一些实施例中，可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)作出确定。一旦在框810处确定SEI消息的类别，方法800便前进到框815，其中方法为确定SEI消息是适用于操作点还是适用于层。此确定可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)作出。在一些实施例中，处理器/控制器装置13或现在所示的处理器可包括用于确定的装置。方法800接着前进到框820，其中展示方法：响应于SEI消息为第一SEI消息类别且适用于操作点，将SEI消息的每一语义与操作点当中的每一操作点相关联。此关联可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)执行。在一些实施例中，处理器/控制器装置13或现在所示的处理器可包括用于关联的装置。

图9展示用于在解码多层位流的视频信息期间确定是否起始随机存取的方法900的流程图。图9的方法900可由图1A到3B的组件中的一或多者(例如视频解码器30)执行。方法900开始于框905，包括存储包含至少一个恢复点SEI消息的视频信息。举例来说，视频信息可存储于存储器(例如图1A的存储装置31)中或存储于类似装置中。一旦存储视频信息，方法900便前进到框910。在框910处，展示方法，其确定至少一个恢复点SEI消息是否包括复位POC语义值的指示。在一些实施例中，可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)作出确定。一旦在框910处确定至少一个恢复点SEI消息包括复位POC值的指示，方法900便前进到框915，其中方法识别关于恢复点SEI消息是否存在于存取单元中的第一约束、关于恢复点SEI消息与图片的关联的第二约束或关于将恢复点SEI消息适用于层集合的第三约束中的至少一者。此识别可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)作出。在一些实施例中，处理器/控制器装置13或现在所示的处理器可包括用于确定的装置。方法900接着前进到框920，其中展示方法，其基于第一约束或第二约束中的至少一者确定是否起始从存取单元进行随机存取和解码。此确定可由处理器或控制器(例如图1B的处理器/控制器装置13或视频解码器30的一或多个组件或图3A或3B中未图示的处理器)执行。在一些实施例中，处理器/控制器装置13或现在所示的处理器可包括用于确定的装置、用于识别的装置、用于关联的装置、用于导出的装置和用于译码的装置中的一或多者。

实例实施方案

下文概述和描述本发明的一些实施例。在重制SHVC/MV-HEVC规范的某些部分以说明可并入以实施本文中所描述的方法中的一或多者的添加和删除时，此些添加用下划线展示，且删除用展示。

表1-对标准文本的MV-HEVC修改

其它考虑

可使用多种不同科技和技术中的任一者来表示本文中所公开的信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。

结合本文中公开的实施例所描述的各种说明性逻辑块和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软体的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块和步骤。此功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起偏离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为装置或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体和类似物。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件或硬件内或并入组合的视频编码器-解码器(CODEC)中。此外，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在多种多样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下将来自一项实施例的特征或元件与其它实施例组合。举例来说，可缩放嵌套恢复点SEI消息可与一个存取单元中的多个图片相关联，且单个恢复点SEI消息可另外与同一存取单元的图片中的一个图片相关联。单个恢复点SEI消息可与相关联于可缩放嵌套恢复点SEI消息的相同图片中的一个图片或不同的未经关联图片相关联。还预期特征的类似组合，包含对相关联于恢复点SEI消息的图片添加区刷新信息SEI消息；然而，相应实施例之间的特征组合不必受限于此。

已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (30)

1.一种用于在解码多层位流的视频信息期间确定是否起始随机存取的装置，所述装置包括：

存储器，其经配置以存储包含至少一个恢复点补充增强信息SEI消息的视频信息；以及

处理器，其与所述存储器通信且经配置以：

确定所述至少一个恢复点SEI消息是否包括用以复位图片次序计数POC语义值的指示，

识别关于所述恢复点SEI消息是否存在于存取单元中的第一约束、关于所述恢复点SEI消息与图片的关联的第二约束或关于将所述恢复点SEI消息适用于层集合的第三约束中的至少一者，以及

基于所述第一约束或所述第二约束中的至少一者确定是否起始从所述存取单元进行所述随机存取和解码。

2.根据权利要求1所述的装置，其中所述处理器经进一步配置以：

在所述处理器确定起始随机存取和开始解码时导出与所述至少一个恢复点SEI消息的所述POC语义值相关联的语义的值；

在所述恢复点SEI消息被识别为适用于所述图片时，将所述至少一个恢复点SEI消息与所述图片、所述层集合中的层或所述存取单元相关联；以及

至少部分基于所述至少一个恢复点SEI消息与所述图片、所述层集合中的所述层或所述存取单元的所述关联对所述视频信息进行译码。

3.根据权利要求2所述的装置，其中所述处理器经进一步配置以导出与所述POC语义值相关联的所述语义的值包括所述处理器如同包括所述恢复点SEI消息的所述存取单元为按解码次序在所述多层位流中的第一存取单元一样进行操作。

4.根据权利要求3所述的装置，其中所述处理器经进一步配置以确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否存在于与所述恢复点SEI消息相关联的图片的切片标头中，且基于POC最高有效位值的存在来计算与所述POC语义相关联的所述语义的所述值。

5.根据权利要求3所述的装置，其中所述处理器经进一步配置以确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否不存在于与所述恢复点SEI消息相关联的图片的切片标头中，且将特定层的先前POC的值确立为零。

6.根据权利要求1所述的装置，其中所述处理器经进一步配置以在解码器中的至少一者起始随机存取、层向上切换之后及在编码器指示断链之后确定可接受的图片将在当前层中进行解码。

7.根据权利要求1所述的装置，其中所述处理器经进一步配置以识别区刷新信息SEI消息，所述区刷新信息SEI消息经配置以指示是否刷新所述区刷新信息SEI消息所适用于的一或多个区，其中经刷新的区指示所述一或多个区正确且恰当地译码。

8.根据权利要求7所述的装置，其中指示刷新所述一或多个区的所述区刷新信息SEI消息指示所述经刷新的区独立于任何其它层或段刷新，且不取决于所述其它层或段，或刷新所述经刷新的区所取决于的所有其它层或段。

9.根据权利要求8所述的装置，其中所述区刷新信息SEI消息包括语义，所述语义经配置以指示所述经刷新的区的识别符和在所述经刷新的区取决于其它层或段时所述经刷新的区所取决于的所述层或段的识别符。

10.根据权利要求8所述的装置，其中所述区刷新信息SEI消息包括语义，所述语义经配置以在所述经刷新的区独立于所述其它层或段刷新时指示仅所述经刷新的区的识别符。

11.一种用于在解码多层位流的视频信息期间确定是否起始随机存取的方法，所述方法包括：

存储包含至少一个恢复点补充增强信息SEI消息的视频信息；

确定所述至少一个恢复点SEI消息是否包括用以复位图片次序计数POC语义值的指示；

识别关于所述恢复点SEI消息是否存在于存取单元中的第一约束、关于所述恢复点SEI消息与图片的关联的第二约束或关于将所述恢复点SEI消息适用于层集合的第三约束中的至少一者；以及

基于所述第一约束或所述第二约束中的至少一者确定是否起始从所述存取单元进行所述随机存取和解码。

12.根据权利要求11所述的方法，其进一步包括：

在确定起始随机存取和开始解码时导出与所述至少一个恢复点SEI消息的所述POC语义值相关联的语义的值；

在所述恢复点SEI消息被识别为适用于所述图片时，将所述至少一个恢复点SEI消息与所述图片、所述层集合中的层或所述存取单元相关联；以及

至少部分基于所述至少一个恢复点SEI消息与所述图片、所述层集合中的所述层或所述存取单元的所述关联对所述视频信息进行译码。

13.根据权利要求12所述的方法，其中导出与所述POC语义值相关联的所述语义的值包括如同包括所述恢复点SEI消息的所述存取单元为按解码次序在所述多层位流中的第一存取单元一样操作。

14.根据权利要求13所述的方法，其进一步包括确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否存在于与所述恢复点SEI消息相关联的图片的切片标头中，且基于POC最高有效位值的存在来计算与所述POC语义相关联的所述语义的所述值。

15.根据权利要求13所述的方法，其进一步包括确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否不存在于与所述恢复点SEI消息相关联的图片的切片标头中，且将特定层的先前POC的值确立为零。

16.根据权利要求12所述的方法，其进一步包括在解码器中的至少一者起始随机存取、层向上切换之后及在编码器指示断链之后确定可接受的图片将在当前层中进行解码。

17.根据权利要求11所述的方法，其进一步包括识别区刷新信息SEI消息，所述区刷新信息SEI消息经配置以指示是否刷新所述区刷新信息SEI消息所适用于的一或多个区，其中经刷新的区指示所述一或多个区正确且恰当地译码。

18.根据权利要求17所述的方法，其中指示刷新所述一或多个区的所述区刷新信息SEI消息指示所述经刷新的区独立于任何其它层或段刷新，且不取决于所述其它层或段，或刷新所述经刷新的区所取决于的所有其它层或段。

19.根据权利要求18所述的方法，其中所述区刷新信息SEI消息包括语义，所述语义经配置以指示所述经刷新的区的识别符和在所述经刷新的区取决于其它层或段时所述经刷新的区所取决于的所述层或段的识别符。

20.根据权利要求18所述的方法，其中所述区刷新信息SEI消息包括语义，所述语义经配置以在所述经刷新的区独立于所述其它层或段刷新时指示仅所述经刷新的区的识别符。

21.一种用于在解码多层位流的视频信息期间确定是否起始随机存取的装置，所述装置包括：

用于存储包含至少一个恢复点补充增强信息SEI消息的视频信息的装置；

用于确定所述至少一个恢复点SEI消息是否包括用以复位图片次序计数POC语义值的指示的装置；

用于识别关于所述恢复点SEI消息是否存在于存取单元中的第一约束、关于所述恢复点SEI消息与图片的关联的第二约束或关于将所述恢复点SEI消息适用于层集合的第三约束中的至少一者的装置；以及

用于基于所述第一约束或所述第二约束中的至少一者确定是否起始从所述存取单元进行所述随机存取和解码的装置。

22.根据权利要求21所述的装置，其进一步包括：

用于在用于确定是否起始随机存取和解码的所述装置确定起始随机存取和开始解码时导出与所述至少一个恢复点SEI消息的所述POC语义值相关联的语义的值的装置；

用于在所述恢复点SEI消息被识别为适用于所述图片时，将所述至少一个恢复点SEI消息与所述图片、所述层集合中的层或所述存取单元相关联的装置；以及

用于至少部分基于所述至少一个恢复点SEI消息与所述图片、所述层集合中的所述层或所述存取单元的所述关联对所述视频信息进行译码的装置。

23.根据权利要求22所述的装置，其中用于导出与所述POC语义值相关联的所述语义的值的所述装置包括用于如同包括所述恢复点SEI消息的所述存取单元为按解码次序在所述多层位流中的第一存取单元一样操作的装置。

24.根据权利要求23所述的装置，其进一步包括用于确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否存在于与所述恢复点SEI消息相关联的图片的切片标头中的装置，和用于基于POC最高有效位值的存在来计算与所述POC语义相关联的所述语义的所述值的装置。

25.根据权利要求23所述的装置，其进一步包括用于确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否不存在于与所述恢复点SEI消息相关联的图片的切片标头中的装置，和用于将特定层的先前POC的值确立为零的装置。

26.一种非暂时性计算机可读存储媒体，其具有存储于其上的指令，所述指令在执行时使得装置的处理器：

存储包含至少一个恢复点补充增强信息SEI消息的视频信息；

确定所述至少一个恢复点SEI消息是否包括用以复位图片次序计数POC语义值的指示；

识别关于所述恢复点SEI消息是否存在于存取单元中的第一约束、关于所述恢复点SEI消息与图片的关联的第二约束或关于将所述恢复点SEI消息适用于层集合的第三约束中的至少一者；以及

基于所述第一约束或所述第二约束中的至少一者确定是否起始从所述存取单元进行所述随机存取和解码。

27.根据权利要求26所述的非暂时性计算机可读存储媒体，其进一步具有存储于其上的指令，所述指令在执行时使得所述处理器：

在确定是否起始随机存取和解码的所述处理器确定起始随机存取和开始解码时，导出与所述至少一个恢复点SEI消息的所述POC语义值相关联的语义的值；

在所述恢复点SEI消息被识别为适用于所述图片时，将所述至少一个恢复点SEI消息与所述图片、所述层集合中的层或所述存取单元相关联；以及

至少部分基于所述至少一个恢复点SEI消息与所述图片、所述层集合中的所述层或所述存取单元的所述关联对所述视频信息进行译码。

28.根据权利要求27所述的非暂时性计算机可读存储媒体，其中存储于此处以使得所述处理器导出与所述POC语义值相关联的所述语义的值的所述指令包括存储于其上以使得所述处理器如同包括所述恢复点SEI消息的所述存取单元为按解码次序在所述多层位流中的第一存取单元一样操作的指令。

29.根据权利要求28所述的非暂时性计算机可读存储媒体，其进一步具有存储于其上的指令，所述指令在执行时使得所述处理器：

确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否存在于与所述恢复点SEI消息相关联的图片的切片标头中；以及

基于POC最高有效位值的存在来计算与所述POC语义相关联的所述语义的所述值。

30.根据权利要求28所述的非暂时性计算机可读存储媒体，其进一步具有存储于其上的指令，所述指令在执行时使得所述处理器：

确定与所述恢复点SEI消息的所述POC语义相关联的所述语义是否不存在于与所述恢复点SEI消息相关联的图片的切片标头中；以及

将特定层的先前POC的值确立为零。