CN115244934A - 视频编解码语法 - Google Patents

Abstract

一种用于对视频数据进行编解码的示例设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器。一个或多个处理器被配置为确定视频数据的序列参数集是否引用视频参数集。基于序列参数集没有引用视频参数集，一个或多个处理器被配置为：确定第一语法元素的值指示档次‑层级‑等级结构是在序列参数集中信令通知的；以及基于档次‑层级‑等级结构来对视频数据进行编解码。

Description

视频编解码语法

本申请要求2021年3月2日提交的美国申请第17/189,976号、2020年3月4日提交的美国临时申请第62/984,895号和2020年4月1日提交的美国临时申请第63/003,710号的优先权，这些申请中的每一项的全部内容通过引用合并于此。2021年3月2日提交的美国申请第17/189,976号要求2020年3月4日提交的美国临时申请第62/984,895号和2020年4月1日提交的美国临时申请第63/003,710号的权益。

技术领域

本公开涉及视频编码(encode)和视频解码(decode)。

背景技术

数字视频能力可以被合并到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、笔记本电脑或桌面计算机、平板计算机、电子书阅读器、数字相机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏控制面板、行动或卫星无线电电话(所谓的“智能型手机”)、视频电话会议设备、视频流设备等。数字视频设备实现视频编解码(code)技术(诸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分，高级视频编解码(AVC))、ITU-T H.265/高效率视频编解码(HEVC)所定义的标准以及此类标准的扩展中描述的那些技术)。通过实现这样的视频编解码技术，视频设备可以更加高效地发送、接收、编码、解码和/或储存数字视频信息。

视频编解码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或去除在视频序列中固有的冗余。对于基于块的视频编解码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，视频块也可以被称为编解码树单元(CTU)、编解码单元(CU)和/或编解码节点。图片的经帧内编解码(I)的切片中的视频块是使用相对于同一图片中的相邻块中的参考样点的空间预测来编码的。图片的经帧间编解码(P或B)的切片中的视频块可以使用相对于同一图片中的相邻块中的参考样点的空间预测或者相对于其它参考图片中的参考样点的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

发明内容

概括而言，本公开描述了用于视频编解码中的子图片的信令通知的技术。更具体地，本公开描述了多个子图片以及其它语法和信令通知技术，其可以是相对于现有技术的改进。例如，本公开的技术可以通过减少或消除不必要的信令来减少信令通知开销。

在一个示例中，一种对视频数据进行编解码的方法包括：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级(profile-tier-layer)结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行编解码。

在另一示例中，一种方法包括：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。

在另一示例中，一种设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行编解码。

在另一示例中，一种设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。

在附图和以下描述中阐述了一个或多个示例的细节。根据描述、附图和申请专利范围，其它特征、目的和优点将是显而易见的。

附图说明

图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。

图2A和图2B是示出示例四叉树二叉树(QTBT)结构以及对应的编解码树单元(CTU)的概念图。

图3是示出可以执行本公开的技术的示例视频编码器的框图。

图4是示出可以执行本公开的技术的示例视频解码器的框图。

图5是示出被分割为6x4个CTU、3x2个片、9个切片和6个子图片的图片的概念图。

图6是示出示例的取决于视口的全景媒体格式(OMAF)的概念图。

图7是示出视口自适应流传输的示例的概念图。

图8是示出根据本公开的示例信令通知技术的流程图。

图9是示出根据本公开的另外示例信令通知技术的流程图。

图10是示出视频编码的示例的流程图。

图11是示出视频解码的示例的流程图。

具体实施方式

本公开描述了子图片数量以及其它信令通知和语法变化，这些变化可以是相比于现有技术(例如，一些标准草案的那些技术)的改进。例如，某些草案标准允许语法元素的冗余和/或不必要的信令通知，这可能增加与视频编解码相关联的信令通知带宽(相比于原本可能需要的信令通知带宽)。此外，某些标准草案可能包括可能不必要地妨碍视频编解码器在某些用例(诸如视口自适应流传输)下满足某些要求的能力的限制。

根据本公开的技术，可以减少或消除此类视频标准中的冗余和/或不必要的信令通知，以减少与视频编解码相关联的信令通知带宽。另外，根据本公开的技术，可以改变限制以提高视频编解码器满足某些用例(诸如视口自适应流传输)的要求的能力。

图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。概括而言，本公开的技术涉及对视频数据进行编解码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码(例如，经重构)的视频、以及视频元数据(例如，信令数据)。

如图1所示，在该示例中，系统100包括源设备102，源设备102提供要被目标设备116解码和显示的、经编码的视频数据。具体地，源设备102经由计算机可读介质110来将视频数据提供给目标设备116。源设备102和目标设备116可以包括各种各样的设备中的任何一种，包括桌面计算机、笔记本计算机(即，笔记本电脑)、平板计算机、机顶盒、诸如智能型手机的电话手机、电视机、相机、显示设备、数字媒体播放器、视频游戏控制面板、视频流传输设备等。在一些情况下，源设备102和目标设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200以及输出接口108。目标设备116包括输入接口122、视频解码器300、存储器120以及显示设备118。根据本公开，源设备102的视频编码器200和目标设备116的视频解码器300可以被配置为应用用于视频编解码中的子图片的信令通知的技术。因此，源设备102表示视频编码设备的示例，而目标设备116表示视频解码设备的示例。在其它示例中，源设备和目标设备可以包括其它组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目标设备116可以与外部显示设备对接，而不是包括集成的显示设备。

如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可以执行用于视频编解码中的子图片的信令通知的技术。源设备102和目标设备116仅是这样的编解码设备的示例，其中，源设备102生成经编解码的视频数据以用于传输给目标设备116。本公开将“编解码”设备指代为执行对数据的编解码(例如，编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示编解码设备(具体地，视频编码器和视频解码器)的示例。在一些示例中，源设备102和目标设备116可以以基本上对称的方式进行操作，使得源设备102和目标设备116中的每一者都包括视频编码和解码组件。因此，系统100可以支持在源设备102和目标设备116之间的单向或双向视频传输，例如，用于视频流传输、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据(即原始的未经编码的视频数据)的源，并且将视频数据的顺序的一系列图片(也被称为“帧”)提供给视频编码器200，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄影机、包含先前捕获的原始视频的视频存档、和/或用于从视频内容提供商接收视频的视频馈送接口。作为另外的替代方式，视频源104可以生成基于计算机图形的数据作为源视频，或者直播视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对被捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从所接收的次序(有时被称为“显示次序”)重新排列为用于编解码的编解码次序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出到计算机可读介质110上，以便由例如目标设备116的输入接口122接收和/或检索。

源设备102的存储器106和目标设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以储存原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。另外或替代地，存储器106、120可以储存可由例如视频编码器200和视频解码器300分别执行的软件指令。尽管存储器106和存储器120在该示例中被示为与视频编码器200和视频解码器300分开，但是应当理解的是，视频编码器200和视频解码器300还可以包括用于在功能上类似或等效目的的内部存储器。此外，存储器106、120可以储存例如从视频编码器200输出并且输入到视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以储存原始的经解码和/或经编码的视频数据。

计算机可读介质110可以表示能够将经编码的视频数据从源设备102输送到目标设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，其使得源设备102能够例如经由射频网络或基于计算机的网络，来实时地向目标设备116直接发送经编码的视频数据。输出接口108可以根据诸如无线通信协议的通信标准来对包括经编码的视频数据的传输信号进行解调，并且输入接口122可以根据诸如无线通信协议的通信标准来对所接收的传输信号进行解调。通信介质可以包括任何无线或有线通信介质，例如，射频(RF)频谱或一条或多条实体传输线。通信介质可以形成诸如以下各项的基于分组的网络的一部分：局域网络、广域网、或诸如因特网的全球网络。通信介质可以包括路由器、交换机、基地台、或对于促进从源设备102到目标设备116的通信而言可以有用的任何其它设备。

在一些示例中，源设备102可以将经编码的数据从输出接口108输出到储存设备112。类似地，目标设备116可以经由输入接口122从储存设备112存取经编码的数据。储存设备112可以包括各种分布式或本地存取的数据储存介质中的任何一种，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或用于储存经编码的视频数据的任何其它适当的数字储存介质。

在一些示例中，源设备102可以将经编码的视频数据输出到文件服务器114或者可以储存由源设备102生成的经编码的视频数据的另一中间储存设备。目标设备116可以经由流传输或下载来从文件服务器114存取被储存的视频数据。文件服务器114可以是能够储存经编码的视频数据并且将该经编码的视频数据发送给目标设备116的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容递送网络设备、或网络附加储存(NAS)设备。目标设备116可以通过任何标准数据连接(包括因特网连接)来从文件服务器114存取经编码的视频数据。这可以包括适于存取被储存在文件服务器114上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或这两者的组合。文件服务器114和输入接口122可以被配置为根据以下各项来操作：流传输传输协议、下载传输协议或其组合。

输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线联网组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何一种标准进行操作的无线通信组件或其它实体组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4G、4G-LTE(长期演进)、高级LTE、5G等)来传输数据(诸如经编码的视频数据)。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据其它无线标准(诸如IEEE 802.11规范、IEEE802.15规范(例如，ZigBee^TM)、Bluetooth^TM标准等)来传输数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目标设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括用于执行被赋予视频编码器200和/或输出接口108的功能的SoC设备，并且目标设备116可以包括用于执行被赋予视频解码器300和/或输入接口122的功能的SoC设备。

本公开的技术可以应用于视频编解码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、因特网流传输视频传输(诸如HTTP上的动态自适应流传输(DASH))、被编码到数据储存介质上的数字视频、对被储存在数据储存介质上的数字视频的解码、或其它应用。

目标设备116的输入接口122从计算机可读介质110(例如，通信介质、储存设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的诸如以下语法元素的信令信息(其也被视频解码器300使用)：该语法元素具有描述视频块或其它编解码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值。显示设备118将经解码的视频数据的经解码的图片显示给用户。显示设备118可以表示各种显示设备中的任何一种，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或另一种类型的显示设备。

尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元或其它硬件和/或软件，以处理公共数据流中包括音频和视频两者的经多路复用的流。如果适用，MUX-DEMUX单元可以遵循ITU H.223多路复用器协议或其它协议(诸如用户数据报协议(UDP))。

视频编码器200和视频解码器300各自可以被实现为各种适当的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、分立逻辑、软件、硬件、固件、或其任何组合。当技术部分地用软件实现时，设备可以将用于软件的指令储存在适当的非暂时性计算机可读介质中，并且使用一个或多个处理器，用硬件来执行指令以执行本公开的技术。视频编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器、和/或无线通信设备(诸如蜂窝电话)。

视频编码器200和视频解码器300可以根据视频编解码标准(诸如ITU-T H.265(也被称为高效率视频编解码(HEVC)标准)或其扩展(诸如多视图和/或可伸缩视频编解码扩展))进行操作。替代地，视频编码器200和视频解码器300可以根据其它专有或行业标准(诸如ITU-T H.266标准，也被称为通用视频编解码(VVC))进行操作。VVC标准的最新草案在Bross等人的以下文档中进行了描述：“Versatile Video Coding(Draft 8)”，ITU-TSG16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，第17次会议：比利时布鲁塞尔，2020年1月7-17日，JVET-Q2001-vC(下文中被称为“VVC草案8”)。更新的草案在Bross等人的以下文档中进行了描述：“Versatile Video Coding Editorial Refinementson Draft 10”，ITU-T SG 16WP3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，第20次会议，电话会议，2020年10月7-16日，JVET-T2001-v1。然而，本公开的技术不限于任何特定的编解码标准。

通常，视频编码器200和视频解码器300可以执行对图片的基于块的编解码。术语“块”通常指代包括要被处理的(例如，编码和/或解码过程中要被编码、被解码或以其它方式使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编解码。也就是说，不是对用于图片的样点的红色、绿色和蓝色(RGB)数据进行编解码，而是视频编码器200和视频解码器300可以对亮度和色度分量进行编解码，其中，色度分量可以包括红色色相和蓝色色相色度分量两者。在一些示例中，视频编码器200在进行编码之前将所接收的经RGB格式化的数据转换为YUV表示，而视频解码器300将YUV表示转换为RGB格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。

概括而言，本公开可以涉及对图片的编解码(例如，编码和解码)，包括对图片的数据进行编码或解码的过程。类似地，本公开可以涉及对图片的块的编解码，包括对用于块的数据进行编码或解码(例如，预测和/或残差编解码)的过程。经编码的视频比特流通常包括用于表示编解码决策(例如，编解码模式)以及将图片分割为块的语法元素的一系列值。因此，关于对图片或块进行编解码的引用通常应当被理解为对用于形成图片或块的语法元素的值进行编解码。

HEVC定义了各种块，包括编解码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编解码器(诸如视频编码器200)根据四叉树结构来将编解码树单元(CTU)分割为CU。也就是说，视频编解码器将CTU和CU分割为四个相等的、不重迭的正方形，并且四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频编解码器可以进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示对TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。经帧内预测的CU包括帧内预测信息，诸如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据VVC进行操作。根据VVC，视频编解码器(诸如视频编码器200)将图片分割为多个编解码树单元(CTU)。视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)分割CTU。QTBT结构去除了多种分割类型的概念，诸如在HEVC的CU、PU和TU之间的分隔。QTBT结构包括两层：根据四叉树分割而被分割的第一层、以及根据二叉树分割而被分割的第二层。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编解码单元(CU)。

在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割以及一种或多种类型的三叉树(triple tree，TT)(也被称为三元树(ternary tree，TT))分割来对块进行分割。三叉树或三元树分割是其中块被划分为三个子块的分割。在一些示例中，三叉树或三元树分割将块划分为三个子块，而不通过中心划分原始块。MTT中的分割类型(例如，QT、BT和TT)可以是对称的或不对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度分量和色度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如用于亮度分量的一个QTBT/MTT结构以及用于两个色度分量的另一个QTBT/MTT结构(或者用于相应色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以被配置为使用根据HEVC的四叉树分割、QTBT分割、MTT分割或其它分割结构。为了解释的目的，关于QTBT分割给出了本公开的技术的描述。然而，应当理解的是，本公开的技术还可以应用于被配置为使用四叉树分割或者还使用其它类型的分割的视频编解码器。

可以以各种方式在图片中对块(例如，CTU或CU)进行分组。作为一个示例，图块可以指代图片中的特定片内的CTU行的矩形区域。片可以是图片中的特定片列和特定片行内的CTU的矩形区域。片列指代CTU的矩形区域，其具有等于图片的高度的高度以及由语法元素(例如，诸如在图片参数集中的语法元素)指定的宽度。片行指代CTU的矩形区域，其具有由语法元素(例如，诸如在图片参数集中的语法元素)指定的高度以及等于图片的宽度的宽度。

在一些示例中，可以将片分割为多个图块，每个图块可以包括片内的一个或多个CTU行。没有被分割为多个图块的片也可以被称为图块。然而，作为片的真实子集的图块不可以被称为片。

图片中的图块也可以以切片来排列。切片可以是图片的整数个图块，其可以唯一地被包含在单个网络抽象层(NAL)单元中。在一些示例中，切片包括多个完整的片或者仅包括一个片的连续序列的完整图块。

本公开可以互换地使用“NxN”和“N乘N”来指代块(诸如CU或其它视频块)在垂直和水平维度方面的样点大小，例如，16x16个样点或16乘16个样点。通常，16x16 CU在垂直方向上将具有16个样点(y＝16)，并且在水平方向上将具有16个样点(x＝16)。同样地，NxN CU通常在垂直方向上具有N个样点，并且在水平方向上具有N个样点，其中N表示非负整数值。CU中的样点可以按行和列来排列。此外，CU不一定需要在水平方向上具有与在垂直方向上相同的数量的样点。例如，CU可以包括NxM个样点，其中M不一定等于N。

视频编码器200对用于CU的表示预测和/或残差信息以及其它信息的视频数据进行编码。预测信息指示将如何预测CU以便形成CU的预测块。残差信息通常表示在编码之前的CU的样点与预测块之间的逐样点差。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成CU的预测块。帧间预测通常指代从先前编解码的图片的数据来预测CU，而帧内预测通常指代从同一图片的先前编解码的数据来预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动向量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如在CU与参考块之间的差异方面与CU紧密匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其它这种差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。

VVC的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则的运动类型)的两个或更多个运动向量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。VVC的一些示例提供六十七种帧内预测模式，包括各种方向模式、以及平面模式和DC模式。通常，视频编码器200选择帧内预测模式，帧内预测模式描述要从其来预测当前块(例如，CU的块)的样点的、当前块的相邻样点。假定视频编码器200以光栅扫描次序(从左到右、从上到下)对CTU和CU进行编解码，则这样的样点通常可以是在与当前块相同的图片中在当前块的上方、左上方或左侧。

视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动向量预测(AMVP)或合并模式来对运动向量进行编码。视频编码器200可以使用类似的模式来对仿射运动补偿模式的运动向量进行编码。

在诸如对块的帧内预测或帧间预测的预测之后，视频编码器200可以计算该块的残差数据。残差数据(诸如残差块)表示在块与该块的预测块之间的逐样点差，该预测块是使用对应的预测模式来形成的。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非在样点域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，诸如模式相关的不可分二次变换(MDNSST)、信号相关变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。

如上所述，在任何变换以产生变换系数之后，视频编码器200可以执行对变换系数的量化。量化通常指代如下的过程：在该过程中，对变换系数进行量化以可能减少用于表示变换系数的数据量，从而提供进一步的压缩。通过执行量化过程，视频编码器200可以减小与一些或所有变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特的值向下舍入为m比特的值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对要被量化的值的按位右移。

在量化之后，视频编码器200可以扫描变换系数，从而从包括经量化的变换系数的二维矩阵产生一维向量。可以将扫描设计为将较高能量(并且因此较低频率)的变换系数放在向量的前面，而将较低能量(并且因此较高频率)的变换系数放在向量的后面。在一些示例中，视频编码器200可以利用预定义的扫描次序来扫描经量化的变换系数以产生经串行化的向量，并且然后对向量的经量化的变换系数进行熵编码。在其它示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器200可以例如根据上下文自适应二进制算术编解码(CABAC)来对一维向量进行熵编码。视频编码器200还可以对用于描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。

为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给要被发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于被分配给符号的上下文。

视频编码器200还可以例如在图片标头、块标头、切片标头中生成到视频解码器300的语法数据(诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据)或其它语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))。同样地，视频解码器300可以对这样的语法数据进行解码以确定如何解码对应的视频数据。

以这种方式，视频编码器200可以生成比特流，其包括经编码的视频数据，例如，描述将图片分割为块(例如，CU)以及用于该块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流并且对经编码的视频数据进行解码。

通常，视频解码器300执行与由视频编码器200执行的过程相反的过程，以对比特流的经编码的视频数据进行解码。例如，视频解码器300可以使用CABAC，以与视频编码器200的CABAC编码过程基本上类似的、但是相反的方式来对比特流的语法元素的值进行解码。语法元素可以定义用于将图片分割为CTU、以及根据对应的分割结构(诸如QTBT结构)对每个CTU进行分割以定义CTU的CU的分割信息。语法元素还可以定义视频数据的块(例如，CU)的预测和残差信息。

残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以重现该块的残差块。视频解码器300使用经信令通知的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，帧间预测的运动信息)来形成块的预测块。视频解码器300然后可以对预测块和残差块(在逐样点的基础上)进行组合以重现原始块。视频解码器300可以执行额外处理，诸如执行去方块处理以减少沿着块的边界的视觉伪影。

根据本公开的技术，一种方法包括：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行编解码。

在另一示例中，一种方法包括：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。

在另一示例中，一种设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行编解码。

在另一示例中，一种设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。

概括而言，本公开可能涉及“信令通知”某些信息(诸如语法元素)。术语“信令通知”通常可以指代对语法元素的值和/或用于对经编码的视频数据进行解码的其它数据的传送。也就是说，视频编码器200可以在比特流中信令通知语法元素的值。通常，信令通知指代在比特流中生成值。如上所述，源设备102可以基本上实时地或不是实时地(诸如可能在将语法元素储存到储存设备112以供目标设备116稍后检索时发生)将比特流传输到目标设备116。

图2A和2B是示出示例四叉树二叉树(QTBT)结构130以及对应的编解码树单元(CTU)132的概念图。实线表示四叉树划分，而虚线指示二叉树划分。在二叉树的每个划分(即非叶)节点中，信令通知一个标志以指示使用哪种划分类型(即，水平或垂直)，其中，在该示例中，0指示水平划分，而1指示垂直划分。对于四叉树划分，由于四叉树节点将块水平地并且垂直地划分为具有相等大小的4个子块，因此无需指示划分类型。因此，视频编码器200可以对以下各项进行编码，而视频解码器300可以对以下各项进行解码：QTBT结构130的区域树层(即实线)的语法元素(诸如划分信息)、以及QTBT结构130的预测树层(即虚线)的语法元素(诸如划分信息)。视频编码器200可以对由QTBT结构130的终端叶节点表示的CU的视频数据(诸如预测和变换数据)进行编码，而视频解码器300可以对该视频数据进行解码。

通常，图2B的CTU 132可以与定义与QTBT结构130的处于第一和第二层的节点相对应的块的尺寸的参数相关联。这些参数可以包括CTU尺寸(以样点表示的CTU 132的尺寸)、最小四叉树尺寸(MinQTSize，其表示最小允许四叉树叶节点尺寸)、最大二叉树尺寸(MaxBTSize，其表示最大允许二叉树根节点尺寸)、最大二叉树深度(MaxBTDepth，其表示最大允许二叉树深度)以及最小二叉树尺寸(MinBTSize，其表示最小允许二叉树叶节点尺寸)。

QTBT结构的与CTU相对应的根节点可以在QTBT结构的第一层处具有四个子节点，每个子节点可以根据四叉树分割来分割。也就是说，第一层的节点是叶节点(没有子节点)或者具有四个子节点。QTBT结构130的示例将这样的节点表示为包括父节点和具有实线分支的子节点。如果第一层的节点不大于最大允许二叉树根节点尺寸(MaxBTSize)，则可以通过相应的二叉树进一步对这些节点进行分割。可以对一个节点的二叉树划分进行迭代，直到从划分产生的节点达到最小允许二叉树叶节点尺寸(MinBTSize)或最大允许二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有虚线分支。二叉树叶节点被称为编解码单元(CU)，其用于预测(例如，图片内或图片间预测)和变换，而不进行任何进一步分割。如上所讨论的，CU也可以被称为“视频块”或“块”。

在QTBT分割结构的一个示例中，CTU尺寸被设置为128x128(亮度样点和两个对应的64x64色度样点)，MinQTSize被设置为16x16，MaxBTSize被设置为64x64，MinBTSize(对于宽度和高度两者)被设置为4，并且MaxBTDepth被设置为4。首先对CTU应用四叉树分割以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即MinQTSize)到128x128(即CTU尺寸)的尺寸。如果四叉树叶节点为128x128，则由于该尺寸超过MaxBTSize(即，在该示例中为64x64)，因此叶四叉树节点将不被二叉树进一步划分。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是用于二叉树的根节点，并且具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(在该示例中为4)时，不允许进一步划分。当二叉树节点具有等于MinBTSize(在该示例中为4)的宽度时，其意味着不允许进一步的垂直划分。类似地，具有等于MinBTSize的高度的二叉树节点意味着不允许针对该二叉树节点进行进一步的水平划分。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换而被进一步处理，而无需进一步分割。

图3是示出可以执行本公开的技术的示例视频编码器200的框图。图3是出于解释的目的而提供的，并且不应当被认为对在本公开中广泛地举例说明和描述的技术进行限制。出于解释的目的，本公开描述了根据VVC(正在开发的ITU-T H.266)和HEVC(ITU-TH.265)的技术的视频编码器200。然而，本公开的技术可以由被配置为其它视频编解码标准的视频编码设备来执行。

在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。例如，视频编码器200的单元可以被实现为一个或多个电路或逻辑原件，作为硬件电路的一部分，或者作为处理器、ASIC或FPGA的一部分。此外，视频编码器200可以包括额外或替代的处理器或处理电路以执行这些和其它功能。

视频数据存储器230可以储存要由视频编码器200的组件来编码的视频数据。视频编码器200可以从例如视频源104(图1)接收被储存在视频数据存储器230中的视频数据。DPB 218可以充当参考图片存储器，其储存参考视频数据以在由视频编码器200对后续视频数据进行预测时使用。视频数据存储器230和DPB 218可以由各种存储器设备中的任何一种形成，诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻RAM(RRAM)或其它类型的存储器设备。视频数据存储器230和DPB 218可以由相同的存储器设备或单独的存储器设备来提供。在各个示例中，视频数据存储器230可以与视频编码器200的其它组件在芯片上(如图所示)，或者相对于那些组件在芯片外。

在本公开中，对视频数据存储器230的引用不应当被解释为限于在视频编码器200内部的存储器(除非如此具体地描述)，或者限于在视频编码器200外部的存储器(除非如此具体地描述)。确切而言，对视频数据存储器230的引用应当被理解为储存视频编码器200接收以用于编码的视频数据(例如，用于要被编码的当前块的视频数据)的存储器的引用。图1的存储器106还可以提供对来自视频编码器200的各个单元的输出的临时储存。

示出了图3的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，这些单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，这些单元中的一个或多个单元可以是集成电路。

视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以储存视频编码器200接收并且执行的软件的指令(例如，目标代码)，或者视频编码器200内的另一存储器(未示出)可以储存这样的指令。

视频数据存储器230被配置为储存所接收的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并且将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将要被编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括额外功能单元，其根据其它预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码通路(pass)，以测试编码参数的组合以及针对这样的组合所得到的率失真值。编码参数可以包括将CTU分割为CU、用于CU的预测模式、用于CU的残差数据的变换类型、用于CU的残差数据的量化参数等。模式选择单元202可以最终选择编码参数的具有比其它测试的组合更佳的率失真值的组合。

在一些示例中，模式选择单元202可以确定可以由熵编码单元220编码到比特流的参数集。例如，模式选择单元202可以确定序列参数集和视频参数集。

在一些示例中，模式选择单元202可以确定视频数据的序列参数集是否引用视频参数集。基于序列参数集没有引用视频参数集，模式选择单元202可以确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的。

在一些示例中，模式选择单元202可以确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元。基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，模式选择单元202可以确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片。

视频编码器200可以将从视频数据存储器230检索的图片分割为一系列CTU，并且将一个或多个CTU封装在切片内。模式选择单元202可以根据树结构(诸如上述HEVC的QTBT结构或四叉树结构)来分割图片的CTU。如上所述，视频编码器200可以通过根据树结构来分割CTU，来形成一个或多个CU。这样的CU通常也可以被称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU，或者在HEVC中，PU和TU的重迭部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可以执行运动搜索以识别在一个或多个参考图片(例如，被储存在DPB 218中的一个或多个先前编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等，来计算表示潜在参考块与当前块的类似程度的值。运动估计单元222通常可以使用当前块与正被考虑的参考块之间的逐样点差来执行这些计算。运动估计单元222可以识别从这些计算所得到的具有最低值的参考块，其指示与当前块最紧密匹配的参考块。

运动估计单元222可以形成一个或多个运动向量(MV)，该运动向量限定相对于当前块在当前图片中的位置而言参考块在参考图片中的的位置。然后，运动估计单元222可以将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动向量，而对于双向帧间预测，运动估计单元222可以提供两个运动向量。然后，运动补偿单元224可以使用运动向量来生成预测块。例如，运动补偿单元224可以使用运动向量来检索参考块的数据。作为另一示例，如果运动向量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器来对用于预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应的运动向量标识的两个参考块的数据并且例如通过逐样点平均或加权平均来将所检索的数据进行组合。

作为另一示例，对于帧内预测或帧内预测编解码，帧内预测单元226可以从与当前块相邻的样点来生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上将相邻样点的值进行组合，并且跨当前块在所定义的方向上填充这些计算出的值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样点的平均，并且生成预测块以包括针对预测块的每个样点的该所得到的平均。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未经编码的版本，并且从模式选择单元202接收预测块。残差生成单元204计算在当前块与预测块之间的逐样点差。所得到的逐样点差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样点值之间的差，以使用残差差分脉冲编解码调制(RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。

在模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种尺寸的PU。如上所指出的，CU的尺寸可以指代CU的亮度编解码块的尺寸，而PU的尺寸可以指代PU的亮度预测单元的尺寸。假定特定CU的尺寸为2Nx2N，则视频编码器200可以支持用于帧内预测的2Nx2N或NxN的PU尺寸、以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称的PU尺寸。视频编码器200和视频解码器300还可以支持针对用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU尺寸的非对称分割。

在模式选择单元202不将CU进一步分割为PU的示例中，每个CU可以与亮度编解码块和对应的色度编解码块相关联。如上所述，CU的尺寸可以指代CU的亮度编解码块的尺寸。视频编码器200和视频解码器300可以支持2Nx2N、2NxN或Nx2N的CU尺寸。

对于其它视频编解码技术(举几个示例，诸如帧内块复制模式编解码、仿射模式编解码和线性模型(LM)模式编解码)，模式选择单元202经由与编解码技术相关联的相应单元来生成用于正被编码的当前块的预测块。在一些示例中(诸如调色板模式编解码)，模式选择单元202可以不生成预测块，而是替代地生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。

如上所述，残差生成单元204接收用于当前块和对应的预测块的视频数据。然后，残差生成单元204为当前块生成残差块。为了生成残差块，残差生成单元204计算在预测块与当前块之间的逐样点差。

变换处理单元206将一种或多种变换应用于残差块，以生成变换系数的块(本文中被称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)、或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多种变换，例如，主变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。

量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整被应用于与当前块相关联的变换系数块的量化程度。量化可能引起信息损失，并且因此，经量化的变换系数可能具有比变换处理单元206所产生的原始变换系数更低的精度。

逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于经量化的变换系数块，以从变换系数块重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重构块(尽管可能具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样点与来自模式选择单元202所生成的预测块的对应样点相加，以产生经重构的块。

滤波器单元216可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元216可以执行去方块操作以减少沿着CU的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将经重构的块储存在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重构单元214可以将经重构的块储存到DPB 218中。在需要滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的重构块储存到DPB 218中。运动估计单元222和运动补偿单元224可以从DPB 218检索由经重构的(并且可能经滤波的)块形成的参考图片，以对后续编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用在DPB 218中的当前图片的经重构的块来对当前图片中的其它块进行帧内预测。

通常，熵编码单元220可以对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应变长编解码(CAVLC)操作、CABAC操作、可变-可变(V2V)长度编解码操作、基于语法的上下文自适应二进制算术编解码(SBAC)操作、概率区间分割熵(PIPE)编解码操作、指数哥伦布编码操作或对数据的另一种类型的熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。

视频编码器200可以输出比特流，其包括用于重构切片或图片的块所需要的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。

关于块描述了上述操作。这样的描述应当被理解为用于亮度编解码块和/或色度编解码块的操作。如上所述，在一些示例中，亮度编解码块和色度编解码块是CU的亮度分量和色度分量。在一些示例中，亮度编解码块和色度编解码块是PU的亮度分量和色度分量。

在一些示例中，不需要针对色度编解码块重复关于亮度编码块执行的操作。作为一个示例，不需要重复用于识别亮度编解码块的运动向量(MV)和参考图片的操作来识别色度块的MV和参考图片。确切而言，可以对亮度编解码块的MV进行缩放以确定色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度编解码块和色度编解码块，帧内预测过程可以是相同的。

视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行编码。

视频编码器200还表示被配置为对视频数据进行编码的设备的示例，该设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编码的情况下对编解码层视频序列的视频数据进行编码。

图4是示出可以执行本公开的技术的示例视频解码器300的框图。图4是出于解释的目的而提供的，并且不对在本公开中广泛地举例说明和描述的技术进行限制。出于解释的目的，本公开根据VVC(正在开发的ITU-T H.266)和HEVC(ITU-T H.265)的技术描述了视频解码器300。然而，本公开的技术可以由被配置用于其它视频编解码标准的视频编解码设备来执行。

在图4的示例中，视频解码器300包括编解码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)134。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 134中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。例如，视频解码器300的单元可以被实现为一个或多个电路或逻辑组件，作为硬件电路的一部分，或者作为处理器、ASIC或FPGA的一部分。此外，视频解码器300可以包括额外或替代的处理器或处理电路以执行这些和其它功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括额外的单元，其根据其它预测模式来执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以储存要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，可以从计算机可读介质110(图1)获得被储存在CPB存储器320中的视频数据。CPB存储器320可以包括储存来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以储存除了经编解码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常储存经解码的图片，视频解码器300可以输出经解码的图片，和/或在解码经编码的视频比特流的后续数据或图片时使用经解码的图片作为参考视频数据。CPB存储器320和DPB 314可以由各种存储器设备中的任何一种形成，诸如DRAM，包括SDRAM、MRAM、RRAM或其它类型的存储器设备。CPB存储器320和DPB 314可以由相同的存储器设备或单独的存储器设备来提供。在各个示例中，CPB存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。

另外或替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索经编解码的视频数据。也就是说，存储器120可以存储如上文针对CPB存储器320讨论的数据。同样，当视频解码器300的一些或全部功能是用要被视频解码器300的处理电路执行的软件来实现时，存储器120可以储存要被视频解码器300执行的指令。

示出了图4中示出的各个单元以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。类似于图3，固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，这些单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，这些单元中的一个或多个单元可以是集成电路。

视频解码器300可以包括由可编程电路形成的ALU、EFU、数字电路、模拟电路和/或可编程核。在由在可编程电路上执行的软件执行视频解码器300的操作的示例中，片上或片外存储器可以储存视频解码器300接收并且执行的软件的指令(例如，目标代码)。

熵解码单元302可以从CPB接收经编码的视频数据，并且对视频数据进行熵解码以重现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成经解码的视频数据。

通常，视频解码器300逐块地重构图片。视频解码器300可以单独地对每个块执行重构操作(其中，当前正在被重构(即，被解码)的块可以被称为“当前块”)。

熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及诸如量化参数(QP)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定供逆量化单元306应用的逆量化程度。逆量化单元306可以例如执行按位左移操作以对经量化的变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一种或多种逆变换应用于变换系数块，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。

此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是经帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示在DPB 314中的要从其检索参考块的参考图片、以及标识相对于当前块在当前图片中的位置而言参考块在参考图片中的位置的运动向量。运动补偿单元316通常可以以与关于运动补偿单元224(图3)所描述的方式基本类似的方式来执行帧间预测过程。

作为另一示例，如果预测信息语法元素指示当前块是经帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图3)所描述的方式基本上类似的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314检索当前块的相邻样点的数据。

在一些示例中，熵解码单元302可以从经编码的视频比特流解码参数集，并且预测处理单元304可以从经编码的视频比特流确定参数集。例如，预测处理单元304可以确定序列参数集和视频参数集。

在一些示例中，预测处理单元304可以确定视频数据的序列参数集是否引用视频参数集。基于序列参数集没有引用视频参数集，预测处理单元304可以确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的。第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的可以是基于序列参数集没有引用视频参数集，因为视频编码器200可以这样设置第一语法元素的值以满足比特流一致性要求。

在一些示例中，预测处理单元304可以确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元。基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，预测处理单元304可以确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片。第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片可以是基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，因为视频编码器200可以这样设置第一语法元素的值以满足比特流一致性要求。

重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样点与预测块的对应样点相加来重构当前块。

滤波器单元312可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元312可以执行去方块操作以减少沿着经重构的块的边缘的块效应伪影。不一定在所有示例中都执行滤波器单元312的操作。

视频解码器300可以将经重构的块储存在DPB 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块储存到DPB 314中。在执行滤波器单元312的操作的示例中，滤波器单元312可以将经滤波的重构块储存到DPB 314中。如上所讨论的，DPB 314可以将参考信息(诸如用于帧内预测的当前图片以及用于后续运动补偿的先前解码的图片的样点)提供给预测处理单元304。此外，视频解码器300可以从DPB314输出经解码的图片(例如，经解码的视频)，以用于在诸如图1的显示设备118的显示设备上的后续呈现。

以这种方式，视频解码器300表示视频数据解码设备的示例，该视频解码设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定视频数据的序列参数集是否引用视频参数集；基于序列参数集没有引用视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在序列参数集中信令通知的；以及基于档次-层级-等级结构来对视频数据进行解码。

视频编码器300还表示被配置为对视频数据进行解码的设备的示例，该设备包括：被配置为储存视频数据的存储器；以及在电路中实现并且通信地耦合到存储器的一个或多个处理器，一个或多个处理器被配置为：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编码的情况下对编解码层视频序列的视频数据进行解码。

如上所述，本公开描述了相比于现有技术而言用于改进视频编解码中的信令通知的技术。这些现有技术可以是在通用视频编解码(VVC)标准的草案中阐述的技术。ITU-T和ISO/IEC的联合视频专家组(JVET)已经开发了VVC，以实现超过HEVC的显著压缩能力以用于拓宽的应用范围。VVC草案8规定了归一化的比特流和图片格式、高级语法(HLS)和语义以及解析和解码过程。VVC草案8还在附录中规定了档次/层级/等级(PTL)限制、字节流格式、假设参考解码器和补充增强信息(SEI)。

VVC草案8从HEVC继承了多个高级特征，诸如网络抽象层(NAL)单元和参数集概念、片和波前并行处理、分层编解码、以及将SEI消息用于补充数据信令。在VVC草案8中包括额外的新高级特征，包括矩形切片和子图片概念、图片分辨率适配、混合NAL单元类型、图片标头、逐步解码刷新(GDR)图片、虚拟边界、以及用于参考图片管理的参考图片列表(RPL)。

在VVC草案8中支持子图片概念，以解决360度视频应用，诸如在以下文档中规定的取决于视口的流传输：ISO/IEC JTC1/SC29/WG11 N19042，“Text of ISO/IEC DIS 23090-22nd edition OMAF”，2020年1月(以下称为“OMAF”)。OMAF代表全景媒体格式。

图片可以被划分为一个或多个片行和一个或多个片列。片是一系列CTU，其覆盖图片的矩形区域。光栅扫描切片包含在图片的片光栅扫描中的一系列完整的片。矩形切片包含共同形成图片的矩形区域的多个完整的片、或者一个片的共同形成图片的矩形区域的多个连续的完整CTU行。子图片包含共同覆盖图片的矩形区域的一个或多个矩形切片。因此，每个子图片边界也是切片边界，并且每个垂直子图片边界也是垂直片边界。

图5是示出图片的子图片分割的示例的概念图。在图5的示例中，CTU由长虚线表示，片由实线表示，切片由点线表示，并且子图片由中等虚线表示。在该示例中，其中图片包含4x6个CTU，并且被分割为6个片(400、402、404、406、408和410)，即在左手侧的2个片(400和402)(覆盖16个CTU的一个切片)、在右手侧的4个片(404、406、408和410)(各自覆盖1x2个CTU的2个垂直堆栈切片)，总共产生9个切片和6个子图片。

视频编码器200可以基于CTU来在SPS中显式地信令通知子图片布局。在VVC草案8中，当使用子图片时，不支持逐编解码层视频序列(CLVS)中的图片分辨率变化。视频编码器200可以在SPS或PPS中(但不在这两者中)信令通知子图片标识符(ID)映射。当视频编码器200没有显式地信令通知子图片ID时，视频解码器300可以使用子图片索引作为子图片ID。

当子图片可用时，切片标头携带slice_subpic_id语法元素以标识包含该切片的子图片，并且slice_address是子图片等级切片索引。可以将图片等级切片索引和子图片等级切片索引对齐，使得图片等级切片索引和子图片等级切片索引是按照对应于解码顺序的顺序的。

图片的切片和子图片的形状可以是使得每个CTU在被解码时具有CTU的整个左边界和整个顶部边界，这些边界是图片边界或者是先前解码的CTU的边界。

当图片是使用三个单独的颜色平面来编解码的时(separate_colour_plane_flag等于1)，切片仅包含由colour_plane_id语法元素的对应值标识的一个颜色分量的CTU。视频编码器200可以在如下的约束下，将图片内的具有colour_plane_id的不同值的经编解码的切片彼此交错：针对colour_plane_id的每个值，具有colour_plane_id的该值的经编解码的切片NAL单元可以在针对每个经编解码的切片NAL单元的第一CTU的片扫描顺序中是按照增加CTU地址的顺序的。

现在讨论VVC草案8的子图片设计的多个缺点。一个这样的缺点是子图片存在信令通知。VVC草案8要求视频编码器(诸如视频编码器200)始终在SPS中信令通知子图片存在标志，并且保持子图片布局在CLVS上是静态的。由于当在CLVS中启用图片分辨率变化时不允许子图片，因此子图片存在标志可以是有条件的。在VVC视频编解码器的将来版本中，子图片布局信令通知可以被设计为处理图像分辨率变化。

现在讨论子图片ID映射信令通知。根据VVC草案8，视频编码器(诸如视频编码器200)可以在SPS或PPS中信令通知子图片ID语法元素，并且切片标头携带子图片ID以标识包含该切片的子图片。视频编码器200可以在PPS中信令通知子图片映射ID以解决子图片提取和重新定位场景。在这种情况下，视频编码器200可以不时地在PPS中信令通知所有子图片的ID，即使大多数子图片的位置和ID是一致的(例如，不重新排序)(在取决于视口的流传输情况期间)。对于常见情况而言，可能有益的是，信令通知仅用于其顺序(例如，显示顺序、解码顺序或其它顺序)被改变的那些子图片的ID，以节省信令通知比特(减少信令开销)。换句话说，为了节省信令比特，视频编码器200可以仅信令通知其顺序被改变的那些子图片的子图片ID和/或子图片映射ID。

现在讨论跨子图片的环路滤波。环路滤波可以用于减少块效应失真。loop_filter_across_subpic_enabled_flag[i](指示是否启用跨子图片的环路滤波的语法元素)的语义如下。loop_filter_across_subpic_enabled_flag[i]等于1指定可以跨CLVS中的每个经编解码的图片中的第i子图片的边界执行环路内滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0指定跨CLVS中的每个经编解码的图片中的第i子图片的边界不执行环路内滤波操作。当不存在时，推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于1-sps_independent_subpics_flag。因此，如果在比特流中不存在loop_filter_across_subpic_enabled_pic_flag[i]，视频解码器300可以推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于1-sps_independent_subpics_flag。sps_independent_subpics_flag指示CLVS中的所有子图片边界是否被视为图片边界以及是否允许跨子图片边界的环路滤波。

当所有子图片被独立地编解码时，环路滤波不应用于子图片边界。然而，当单个子图片被独立地编解码时，环路滤波可以应用或者可以不应用于子图片边界。loop_filter_across_subpic_enabled_flag[i]可以是以subpic_treated_as_pic_flag[i]一致为条件的。subpic_treated_as_pic_flag[i]可以指示CLVS中的每个经编解码的图片的第i子图片是否被视为解码过程(不包括环路内滤波操作)中的图片。

现在讨论SPS中的档次-层级-等级(PTL)信令通知。在VVC草案8中，SPS中的语法元素sps_ptl_dpb_hrd_params_present_flag的值可以是0或1，而没有约束。sps_ptl_dpb_hrd_params_present_flag可以指示在SPS中是否存在profile_tier_level()语法结构和dpb_parameters()语法结构，并且在SPS中还可以存在general_timing_hrd_parameters()语法结构和ols_timing_hrd_parameters()语法结构。当sps_video_parameter_set_id等于0时，SPS没有引用视频参数集(VPS)，并且编解码视频序列(CVS)仅包含一个层。当在解码引用SPS的每个CLVS时没有引用VPS时，在SPS中存在PTL语法结构。

现在讨论切片标头中的图片标头。VVC草案8允许切片标头(SH)携带图片标头(PH)语法结构，而没有约束。这种允许的最初动机是合并PH和SH以用于常见情况(诸如在存在每图片一个切片的情况下)。然而，可能期望比特流一致性要求限制SH中的PH，从而避免在多个SH中复制PH语法结构。针对每图片单个切片的情况允许SH中的PH的额外益处是允许容易的图片边界检测，因为在VVC草案8中禁止PH重复。此外，针对多个经编解码的切片，可以约束PH语法结构的内容。

现在讨论PPS ID长度。VVC草案8用ue(v)(例如，可变长度)来规定PPS ID数据类型，这与在HEVC中规定的是相同的。尽管在HEVC中SPS ID数据类型为ue(v)，但是在VVC草案8中SPS ID数据类型被改变为u(4)(例如，4个比特)。根据VVC草案8，由于pps_pic_parameter_set_id的值应在0到63(含)的范围，包括0和63，因此可能有益的是，用u(6)(例如，6个比特)来定义PPS ID数据类型以简化PPS解析过程。

现在讨论对片列的一般等级限制。如表1所示，在根据HEVC和VVC草案8的一般层级和等级限制中，片列的最大数量小于片行的最大数量。VVC草案8将每个子图片边界始终约束为切片边界，并且每个垂直子图片边界始终约束为垂直片边界。对于等矩形投影图片，子图片可以覆盖18度的给定MaxTileCols 20的最小方位角范围，同时子图片可以覆盖8度的给定MaxTileRows 22的仰角范围、或者甚至更小的仰角区域，因为最小子图片高度可以等于CTU行高度。可能期望的是，增加MaxTileCols以满足视口自适应流传输要求。

表1一般层级和等级限制

本公开描述了子图片的数量和其它信令通知和语法变化，这些变化可以是对VVC草案8的改进。一种这样的改进可以是针对子图片存在标志。VVC草案8规定了：当res_change_in_clvs_allowed_flag等于1时，指示是否存在子图片信息的subpic_info_present_flag的值应等于0。可能期望的是，使得subpic_info_present_flag的存在以res_change_in_clvs_allowed_flag为条件，如表2所示。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

表2提议的subpic_info_present_flag的条件

可以如下更新在VVC草案8中的subpic_info_present_flag的语义。修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

subpic_info_present_flag等于1指定：对于CLVS，存在子图片信息，并且在CLVS的每个图片中可以存在一个或多个子图片。subpic_info_present_flag等于0指定：对于CLVS，不存在子图片信息，并且在CLVS的每个图片中仅存在一个子图片。＜CHANGE＞当不存在时，推断subpic_info_present_flag的值等于0。＜/CHANGE＞

例如，如果不存在subpic_info_present_flag，则视频解码器300可以推断subpic_info_present_flag为0。

如果将来支持分辨率变化和子图片两者，则VVC草案8静态子图片布局信令通知方法可能是不够的。本公开描述了在SPS中的额外标志，其可以在SPS subpic_info_present_flag等于1时指示在SPS还是PPS中信令通知子图片信息语法结构。当在PPS中信令通知子图片信息语法结构时，每个子图片的左上方位置的语法元素的长度是基于上限函数Ceil(Log2((pic_width_in_luma_samples+CtbSizeY-1)＞＞CtbLog2SizeY))和Ceil(Log2((pic_height_in_luma_samples+CtbSizeY-1)＞＞CtbLog2SizeY))比特。

在另一示例中，可以在PPS中信令通知覆盖标志，以覆盖PPS中的子图片布局的值和语法元素的属性。

现在讨论子图片ID映射信令通知。对于视口自适应流传输，视频编码器200或视频解码器300可以更新子图片子集以匹配观看朝向变化，并且这种变化通常可能是细微的。图6是示出取决于OMAF视口的示例的概念图。在图6的示例中，视频解码器300可以提取和合并高分辨率子图片和低分辨率子图片，以匹配在时间t1处的观看朝向。在时间t2处，观看者朝向变化，相应地在提取器轨道中，高分辨率子图片#14、#15、#20和#21替换先前的高分辨率子图片#2、#3、#8和#9，以及低分辨率子图片#26、#27、#32和#34替换先前的低分辨率子图片38#、#39、#44和#45。在这个示例中，仅替换了24个子图片中的8个子图片。被替换的子图片的百分比可以取决于子图片分割粒度和观看朝向移动速度。

根据VVC草案8，视频编码器200在PPS中信令通知所有子图片ID，以用于动态子图片变化。假设在一个图片中可以存在96个子图片以及可以存在最多64个PPS，则可能期望减少信令通知开销。

本公开描述了用于在SPS中信令通知子图片ID映射以及覆盖在PPS中的一些或所有ID的子图片ID覆盖方案。对VVC草案8的删除的开始用＜DELETE＞来标记，并且删除的结束用＜/DELETE＞来标记。其它修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

表3提议的PPS子图片ID覆盖

pps_subpic_id_override_enable_flag等于1指定在PPS中存在pps_num_subpics_minus1、pps_subpic_id_len_minus1和pps_subpic_idx_present_flag。pps_subpic_id_override_enable_flag等于0指定在PPS中不存在pps_num_subpics_minus1、pps_subpic_id_len_minus1和pps_subpic_idx_present_flag。

pps_num_subpics指定在PPS中显式地信令通知的子图片ID的数量。当不存在时，推断pps_num_subpics的值等于0。

pps_subpic_idx_present_flag等于1指定在PPS中存在pps_subpic_idx[i]。pps_subpic_idx_present_flag等于0指定在PPS中不存在pps_subpic_idx[i]。

pps_subpic_idx[i]指定第i子图片的索引。当不存在时，推断pps_subpic_idx[i]的值等于i。pps_subpic_idx[i]语法元素的长度是Ceil(Log2(pps_num_subpics))比特。

pps_subpic_id[i]指定第(pps_subpic_idx[i])子图片的子图片ID。pps_subpic_id[i]语法元素的长度是pps_subpic_id_len_minus1+1比特。

针对i的每个值(在0到sps_num_subpics_minus1(含)的范围内)，如下推导变量SubpicIdVal[i]：

for(i＝0；i＜＝sps_num_subpics_minus1；i++)

SubpicIdVal[i]＝subpic_id_mapping_in_sps_flag？sps_subpic_id[i]:i

if(pps_subpic_id_override_enable_flag)

for(i＝0；i＜pps_num_subpics；i++)

SubpicIdVal[pps_subpic_idx[i]]＝pps_subpic_id[i]

在另一示例中，可以不信令通知子图片索引。视频编码器200可以在PPS中信令通知前N个子图片ID，其中第(N–1)子图片ID是其ID被改变的最后一个子图片。

在表4中示出了提议的子图片ID映射覆盖语法。修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

表4提议的PPS语法

subpic_id_mapping_＜CHANGE＞override＜/CHANGE＞_in_pps_flag等于1指定在PPS中存在子图片ID映射语法元素。subpic_id_mapping_＜CHANGE＞override＜/CHANGE＞_in_pps_flag等于0指定在PPS中不存在子图片ID映射语法元素。

pps_num_subpics_minus1＜CHANGE＞加1指定在PPS中存在的子图片ID的数量。＜/CHANGE＞

pps_subpic_id[i]指定第i子图片的子图片ID。pps_subpic_id[i]语法元素的长度是pps_subpic_id_len_minus1+1比特。

针对i的每个值(在0到sps_num_subpics_minus1(含)的范围内)，如下推导变量SubpicIdVal[i]：

for(i＝0；i<＝sps_num_subpics_minus1；i++)

if(subpic_id_mapping_explicitly_signalled_flag)

SubpicIdVal[i]＝

(subpic_id_mapping_<CHANGE>override</CHANGE>_in_pps_flag

<CHANGE>&&(i<＝pps_num_subpics_minus1)</CHANGE>)？

pps_subpic_id[i]:sps_subpic_id[i]

(80)

else

SubpicIdVal[i]＝i

现在讨论跨子图片的环路滤波。本公开描述了使loop_filter_across_subpic_enabled_flag[i]的信令通知以subpic_treated_as_pic_flag[i]为条件，如表5所示。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

表5提议的在SPS中的环路滤波的条件

可以如下更新loop_filter_across_subpic_enabled_flag[i]的语义。对VVC草案8的删除的开始用＜DELETE＞来标记，并且删除的结束用＜/DELETE＞来标记的。其它修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

loop_filter_across_subpic_enabled_flag[i]等于1指定可以跨CLVS中的每个经编解码的图片中的第i子图片的边界来执行环路内滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0指定跨CLVS中的每个经编解码的图片中的第i子图片的边界不执行环路内滤波操作。当不存在时，推断loop_filter_across_subpic_enabled_pic_flag[i]的值等于＜DELETE＞1-sps_independent_subpics_flag＜/DELETE＞＜CHANGE＞0＜/CHANGE＞。

例如，当不存在loop_filter_across_subpic_enabled_pic_flag[i]时，视频解码器300可以推断loop_filter_across_subpic_enabled_pic_flag[i]为0。

现在讨论SPS PTL信令通知约束。一些草案视频编解码标准(例如，VVC草案8)，比特流可以包含或者可以不包含VPS。当在比特流中不存在VPS时，可能根本不信令通知PTL结构。为了避免这样的情况，根据本公开的技术，当不存在VPS时，要求sps_ptl_dpb_hrd_params_present_flag的值等于1，以使在SPS中信令通知PTL结构。换句话说，视频编码器200可以设置sps_ptl_dpb_hrd_params_present_flag的值等于1，并且在SPS中信令通知PTL结构。

在一个示例中，如下施加对sps_ptl_dpb_hrd_params_present_flag的约束：作为比特流一致性的要求，当sps_video_parameter_set_id等于0时，sps_ptl_dpb_hrd_params_present_flag的值等于1。

例如，视频编码器200或视频解码器300可以确定视频数据的序列参数集是否引用视频参数集。例如，视频编码器200可以确定不信令通知VPS，因为视频编码器200可以确定信令通知VPS不值得VPS将占用的开销，例如当正被编码的比特流仅包含一个层时。视频编码器200可以对指示SPS是否引用VPS的语法元素进行编码。例如，视频编码器200可以将sps_video_parameter_set_id的值编码为0，以向视频解码器300指示SPS没有引用VPS。例如，视频解码器300可以通过解析指示SPS是否引用VPS的语法元素来确定视频数据的序列参数集是否引用VPS。例如，视频解码器300可以解析sps_video_parameter_set_id，并且确定sps_video_parameter_set_id的值等于0以确定SPS没有引用VPS。

基于序列参数集没有引用视频参数集，视频编码器200或视频解码器300可以确定第一语法元素的值指示在序列参数集中信令通知指示档次-层级-等级结构。视频编码器200或视频解码器300可以基于档次-层级-等级结构来对视频数据进行编解码。

在另一示例中，视频编码器200可以在SPS中信令通知用于PTL语法结构存在的单独标志，并且上述约束可以应用于该标志。

现在讨论PH语法元素的条件。如下所阐述的，描述了no_gdr_constraint_flag的语义。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

no_gdr_constraint_flag等于1指定不应存在具有等于在OlsInScope中存在的GDR_NUT的nuh_unit_type的NAL单元。no_gdr_constraint_flag等于0时不会施加此类约束。

gdr_enabled_flag等于1指定在引用SPS的CLVS中可以存在GDR图片。gdr_enabled_flag等于0指定在引用SPS的CLVS中不存在GDR图片。＜CHANGE＞作为比特流一致性的要求，gdr_enabled_flag应等于0＜/CHANGE＞当no_gdr_constraint_flag等于1时。

例如，当no_gdr_constraint_flag等于1时，视频编码器200可以设置gdr_enabled_flag应等于0；或者当no_gdr_constraint_flag等于1时，视频解码器300可以将gdr_enabled_flag推断为0。

对于单层场景，non_reference_picture_flag语法元素可以是以ph_inter_slice_allowed_flag为条件。如下所阐述的，修改non_reference_picture_flag的语义。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

non_reference_picture_flag等于1指定与PH相关联的图片从不用作参考图片。non_reference_picture_flag等于0指定与PH相关的图片可以用作或者可以不用作参考图片。＜CHANGE＞当不存在时，推断non_reference_picture_flag的值等于1。＜/CHANGE＞

例如，当不存在non_reference_picture_flag时，视频解码器300可以推断non_reference_picture_flag等于1。

在表6中阐述了PH语法元素的条件。

表6提议的PH语法

在另一示例中，non_reference_picture_flag语法元素可以被放置在PH的开头、或者紧接在PH中的图片类型标志(例如，gdr_or_irap_pic_flag和gdr_pic_flag)之后，以使得更容易丢弃图片。

可以在SPS中信令通知all intra only flag语法元素，以指示slice_type应等于I(帧内)。All intra可以用在静止图像编解码和快速流切换应用中。下文描述了sps_all_intra_enabled_flag的语义。

sps_all_intra_enabled_flag等于1指定slice_type应等于I。sps_all_intra_enabled_flag等于0指定slice_type可以等于或者可以不等于0。

如下所阐述的，可以修改intra_only_constraint_flag的语义。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

intra_only_constraint_flag等于1指定＜CHANGE＞sps_all_intra_enabled_flag应等于1＜/CHANGE＞。intra_only_constraint_flag等于0可以不施加这样的约束。

语法元素sps_all_intra_enabled_flag可以用于对PH处的语法元素(诸如ph_inter_slice_allowed_flag和non_reference_picture_flag)施加条件。

例如，视频编码器200或视频解码器300可以确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元。基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，视频编码器200或视频解码器300可以确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片。视频编码器200或视频解码器300可以在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。

现在讨论SH语法元素的条件。本公开描述了：仅当在图片中存在一个切片时在SH中呈现PH语法结构。下文的表7示出了使用一般约束信息来对picture_header_in_slice_header_flag施加条件。

在另一示例中，可以信令通知SPS语法元素sps_one_slice_per_picture以指定在CLVS中每个图片应仅包含一个切片。sps_one_slice_per_picture可以用于对语法元素，诸如picture_header_in_slice_header_flag，施加条件。

在另一示例中，可以信令通知PPS语法元素pps_one_slice_per_picture以指定引用PPS的图片应仅包含一个切片。pps_one_slice_per_picture可以用于对PPS中的语法元素num_slices_in_pic_minus1和SH中的picture_header_in_slice_header_flag施加条件。对VVC Draft 8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

表7提议的SH语法

如下所阐述的，修改picture_header_in_slice_header_flag的语义。对VVC草案8的修改的开始用＜CHANGE＞来标记，并且修改的结束用＜/CHANGE＞来标记。

picture_header_in_slice_header_flag等于1指定在切片标头中存在PH语法结构。picture_header_in_slice_header_flag等于0指定在切片标头中不存在PH语法结构。＜CHANGE＞当不存在时，则推断picture_header_in_slice_header_flag的值等于0。＜/CHANGE＞

在一些示例中，本公开描述了比特流一致性的如下要求：当picture_header_in_slice_header_flag等于1时，picture_header_structure()的内容应针对CLVS中的所有经编解码的切片是相同的。

现在讨论PPS ID的长度。pps_pic_parameter_set_id是以ue(v)来编解码的，并且pps_pic_parameter_set_id的语义约束pps_pic_parameter_set_id的值在0到63(含)的范围内。

与其它类似语法元素具有一致性可以是有益的，例如，用于SPS和VPS的ID。本公开描述了利用固定长度(例如，u(6)或6比特)来编解码pps_pic_parameter_set_id语法元素。

表8和表9示出了所描述的在VVC草案8中的PPS和PH的改变。对VVC草案8的改变的开始用＜CHANGE＞来标记，并且改变的结束用＜/CHANGE＞来标记。

表8提议的PPS语法

表9提议的PH语法

例如，视频编码器200或视频解码器300可以确定图片参数集的图片参数集标识符。图片参数集标识符可以具有6比特的固定长度。

现在讨论对MaxTileCols的一般层级和等级限制。对于视口自适应流传输，VR客户端(其可以包括视频解码器300的示例)可以仅请求与VR客户端的视口匹配的那些子图片以减少流传输带宽。例如，可以仅对在视口内的子图片进行流传输，而不是对360度的子图片进行流传输。当视口变化时，VR客户端可以请求新的子图片子集来覆盖新的区域。

图7是示出从第一视口到第二视口的示例移位的概念图。在图7的示例中，视口可以从视口484(以短划线示出)移位到视口486(以点线示出)，或者视口可以从视口488(以短划线示出)移位到视口490(以点线示出)，并且VR客户端可以请求相应地改变地正被流传输的子图片子集。在图7中示出了两个不同的子图片分割(子图片分割480和子图片分割482)。在图7的示例中，在给定相同的视口移动的情况下，子图片分割480可以比子图片分割482消耗更少的带宽。这是因为列492中的新子图片比列494中的新子图片小(因此占用较少带宽来进行流传输)，并且列492中的顶部和底部子图片将不需要进行流传输。

在一些示例中，根据本公开的技术，可以基于最大角速度来定义一般层级和等级限制中的MaxTileCols的值。例如，在最大角速度为每秒300度或在30fps下每图片10度的情况下(参见OMAF)，MaxTileCols可以被设置为多达36以用于高层级和等级。可以减小MaxTileCols的值，因为该值可以与子图片分割粒度无关。

图8是示出根据本公开的示例信令通知技术的流程图。视频编码器200或视频解码器300可以确定视频数据的序列参数集是否引用视频参数集(330)。例如，视频编码器200可以确定与视频数据相关的SPS，并且可以确定VPS标识符作为SPS的元素。VPS标识符可以具有标识与SPS相关联的特定VPS的值，或者可以具有指示SPS没有引用VPS的值0。例如，视频编码器200可以确定信令通知VPS不值得VPS将占用的开销，例如，VPS将不会有意义地改善相关联的视频数据的任何解码的质量。视频编码器200可以对指示SPS是否引用VPS的语法元素进行编码。例如，视频编码器200可以将sps_video_parameter_set_id的值编码为0，以向视频解码器300指示SPS没有引用VPS。

例如，视频解码器300可以解析SPS中的VPS标识符以确定SPS是否引用VPS。视频参数集标识符可以具有标识特定视频参数集的值，或者可以具有值0，值0指示序列参数集没有引用视频参数集。例如，视频解码器300可以解析sps_video_parameter_set_id，并且确定sps_video_parameter_set_id的值等于0以确定SPS没有引用VPS。

基于序列参数集没有引用视频参数集，视频编码器200或视频解码器300可以确定第一语法元素的值指示在序列参数集中信令通知档次-层级-等级结构(332)。例如，根据本公开的技术，视频编码器200可以基于SPS没有引用视频参数集，来将第一语法元素(例如，sps_ptl_dpb_hrd_params_present_flag)的值设置为等于1，以便符合比特流一致性要求。例如，视频解码器300可以解析第一语法元素(例如，sps_ptl_dpb_hrd_params_present_flag)以确定第一语法元素的值(例如，1)指示在SPS中信令通知档次-层级-等级结构。第一语法元素的值可以是基于SPS没有引用视频参数集，因为视频编码器200可以将第一语法元素的值设置为符合比特流一致性要求。

视频编码器200或视频解码器300可以基于档次-层级-等级结构来对视频数据进行编解码(334)。例如，视频编码器200可以使用档次-层级-等级结构来对视频数据进行编码。视频编码器200还可以在比特流中的SPS中(而不是在VPS中，因为SPS没有引用VPS)向视频解码器300信令通知档次-层级-等级结构。视频解码器300可以解析SPS以确定档次-层级-等级结构，并且可以使用档次-层级-等级结构来对视频数据进行解码。

在一些示例中，在编解码包括编码的情况下，视频编码器200可以在序列参数集中信令通知第一语法元素，并且在序列参数集中信令通知档次-层级-等级结构。在一些示例中，在编解码包括解码的情况下，视频解码器300可以解析序列参数集中的第一语法元素并且解析序列参数集中的档次-层级-等级结构。在一些示例中，视频编码器200或视频解码器300还可以确定图片参数集标识符，其中，图片参数集标识符具有6比特的固定长度。

图9是示出根据本公开的另外示例信令通知技术的流程图。视频编码器200或视频解码器300可以确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元(340)。例如，视频编码器200可以执行多个编码通路，并且基于用于多个编码通路的不同参数组合的率失真值，确定输出层集不包括具有逐步解码刷新的NAL单元标头类型的任何NAL单元。例如，视频编码器200可以确定最佳编码通路不包括任何逐步解码刷新NAL单元。例如，视频解码器300可以解析语法元素(例如，no_gdr_constraint_flag)以确定在输出层集中是否不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元。

基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，视频编码器200或视频解码器300可以确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片(342)。例如，根据本公开的技术，视频编码器200可以基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，来将第一语法元素(例如，gdr_enabled_flag)的值设置为等于为0，以符合比特流一致性要求。例如，视频解码器300可以解析第一语法元素(例如，gdr_enabled_flag)以确定第一语法元素的值(例如，0)指示在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元。第一语法元素的值可以是基于在输出层集中不存在具有逐步解码刷新NAL单元类型的NAL单元标头类型的NAL单元，因为视频编码器200可以将第一语法元素的值设置为符合比特流一致性要求。

视频编码器200或视频解码器300可以在不对逐步解码器刷新图片进行编解码的情况下对编解码层视频序列的视频数据进行编解码。例如，视频编码器200可以在不对逐步解码器刷新图片进行编码的情况下对编解码层视频序列的视频数据进行编码。视频解码器300可以在不对逐步解码器刷新图片进行解码的情况下对编解码层视频序列的视频数据进行解码。

在一些示例中，在编解码包括解码的情况下，视频解码器300可以确定在比特流中是否存在指示图片是否不被用作参考图片的第二语法元素。基于在比特流中不存在第二语法元素，视频解码器300可以推断第二语法元素的值指示图片不是参考图片。

在一些示例中，在编解码包括编码的情况下，视频编码器200可以确定视频数据的编解码层视频序列是否仅包含一个层，并且确定在编解码层视频序列的图片中是否允许帧间切片。基于编解码层视频序列仅包含一个层并且帧间切片被允许，视频编码器200可以确定指示图片是否不被用作参考图片的第二语法元素的值。在一些示例中，在第二语法元素的值指示图片不被用作参考图片的情况下，视频编码器200可以避免信令通知第二语法元素。

在一些示例中，视频编码器200或视频解码器300可以进行以下操作：确定第三语法元素的值指示序列中的所有切片是帧内切片；以及基于序列中的所有切片是帧内切片，使用帧内预测对序列中的所有切片进行编解码。在一些示例中，在编解码包括解码的情况下，视频解码器可以通过解析第三语法元素来确定第三语法元素的值。在一些示例中，在编解码包括编码的情况下，视频编码器200可以在SPS中信令通知第三语法元素。在一些示例中，视频编码器200或视频解码器300可以确定第四语法元素的值指示应用仅帧内约束，其中，确定第三语法元素的值是基于应用仅帧内约束的。在一些示例中，视频编码器200或视频解码器300可以确定图片参数集标识符，其中，图片参数集标识符具有6比特的固定长度。

图10是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频编码器200(图1和3)进行了描述，但是应当理解的是，其它设备可以被配置为执行与图10的方法类似的方法。

在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算在原始的未经编码的块与当前块的预测块之间的差。作为形成预测块和/或计算残差块的一部分，视频编码器200可以执行图8和/或9的技术。然后，视频编码器200可以对残差块进行变换以及对残差块的变换系数进行量化(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC来对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(360)。

图11是示出用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和4)进行了描述，但是应当理解的是，其它设备可以被配置为执行与图11的方法类似的方法。

视频解码器300可以接收当前块的经熵编码的数据(例如，经熵编码的预测信息和与当前块相对应的残差块的变换系数的经熵编码的数据)(370)。视频解码器300可以对经熵编码的数据进行熵解码以确定用于当前块的预测信息并且重现残差块的变换系数(372)。作为确定预测信息的一部分，视频解码器200可以执行图8和/或9的技术。视频解码器300可以例如使用如由用于当前块的预测信息所指示的帧内或帧间预测模式来预测当前块(374)，以计算当前块的预测块。然后，视频解码器300可以对所重现的变换系数进行逆扫描(376)，以创建经量化的变换系数的块。然后，视频解码器300可以对变换系数进行逆量化和逆变换以产生残差块(378)。最终，视频解码器300可以通过将预测块和残差块进行组合来对当前块进行解码(380)。

本公开包括以下示例。

条款1A.一种对视频数据进行编解码的方法，所述方法包括：确定子图片的顺序是否已经改变；如果所述子图片的所述顺序已经改变，则确定子图片ID或子图片映射ID中的一项或多项；如果所述子图片的所述顺序没有改变，则不确定所述子图片ID和所述子图片映射ID中的一项或多项；以及基于所述子图片的所述顺序来对所述视频数据进行编解码。

条款2A.一种对视频数据进行编解码的方法，所述方法包括：确定在所述视频数据中是否存在subpic_info_present_flag；基于不存在subpic_info_present_flag，来推断subpic_info_present_flag的值等于0；基于subpic_info_present_flag的值来对所述视频数据进行编解码。

条款3A.一种对视频数据进行编解码的方法，所述方法包括：确定序列参数集(SPS)中的标志；以及基于所述SPS中的所述标志来对所述视频数据进行编解码，其中，所述SPS中的所述标志指示子图片信息语法结构是在所述SPS中还是在图片参数集(PPS)中信令通知的。

条款4A.根据条款3A所述的方法，其中，所述SPS中的所述标志指示所述子图片信息语法结构是在所述PPS中信令通知的，并且所述方法还包括：将与所述PPS相关联的每个子图片的左上方位置的语法元素的长度设置为Ceil(Log2((pic_width_in_luma_samples+CtbSizeY-1)＞＞CtbLog2SizeY))和Ceil(Log2((pic_height_in_luma_samples+CtbSizeY-1)＞＞CtbLog2SizeY))比特。

条款5A.一种对视频数据进行编解码的方法，所述方法包括：确定PPS中的覆盖标志；基于所述覆盖标志指示覆盖，覆盖所述PPS中的子图片布局的值和语法元素的属性；以及基于所述覆盖来对所述视频数据进行编解码。

条款6A.一种对视频数据进行编解码的方法，所述方法包括：确定所述视频数据中是否存在loop_filter_across_subpic_enabled_pic_flag[i]；基于不存在loop_filter_across_subpic_enabled_pic_flag[i]，推断loop_filter_across_subpic_enabled_pic_flag[i]等于0；以及基于loop_filter_across_subpic_enabled_pic_flag[i]来对所述视频数据进行编解码。

条款7A.一种对视频数据进行编解码的方法，所述方法包括：确定在所述视频数据中是否存在视频参数集(VPS)；基于不存在所述VPS，确定sps_ptl_dpb_hrd_params_present_flag的值是否等于1；如果sps_ptl_dpb_hrd_params_present_flag等于1，则在所述SPS中确定档次-层级-等级(PTL)结构；如果sps_ptl_dpb_hrd_params_present_flag不等于1，则不在所述SPS中确定档次-层级-等级(PTL)结构；以及基于sps_ptl_dpb_hrd_params_preset_flag来对所述视频数据进行编解码。

条款8A.根据条款7A所述的方法，还包括：确定sps_video_parameter_set_id是否等于0；以及基于sps_video_parameter_set_id等于0，确定sps_ptl_dpb_hrd_params_present_flag等于1。

条款9A.一种对视频数据进行编解码的方法，所述方法包括：确定sps_ptl_dpb_hrd_params_present_flag是否等于1；如果sps_ptl_dpb_hrd_params_present_flag等于1，则确定标志，所述标志指示在所述SPS中存在PTL语法结构；如果sps_ptl_dpb_hrd_params_present_flag不等于1，则不确定所述标志；以及基于sps_ptl_dpb_hrd_params_present_flag来对所述视频数据进行编解码。

条款10A.一种对视频数据进行编解码的方法，所述方法包括：确定no_gdr_constraint_flag是否等于1；基于no_gdr_constraint_flag等于1，确定gdr_enabled_flag等于0；以及基于gdr_enabled_flag来对所述视频数据进行编解码。

条款11A.一种对视频数据进行编解码的方法，所述方法包括：确定在所述视频数据中是否存在non_reference_picture_flag；基于不存在non_reference_picture_flag，来推断non_reference_picture_flag等于1；以及基于non_reference_picture_flag来对所述视频数据进行编解码。

条款12A.一种对视频数据进行编解码的方法，所述方法包括：确定non_reference_picture_flag的位置；以及基于non_reference_picture_flag来对所述视频数据进行编解码，其中，所述non_reference_picture_flag的所述位置是在图片标头(PH)的开始处或者紧接在所述PH中的图片类型标志之后。

条款13A.根据条款12A所述的方法，其中，所述图片类型标志包括gdr_or_irap_pic_flag或者gdr_pic_flag。

条款14A.一种对视频数据进行编解码的方法，所述方法包括：确定intra_only_constraint_flag是否等于1；基于所述intra_only_constraint_flag等于1，确定sps_all_intra_enabled_flag等于1；以及基于sps_all_intra_enabled_flag来对所述视频数据进行编解码。

条款15A.根据条款14A所述的方法，还包括：基于sps_all_intra_enabled_flag来对PH中的语法元素施加条件。

条款16A.根据条款15A所述的方法，其中，所述语法元素是ph_inter_slice_allowed_flag或non_reference_picture_flag中的至少一项。

条款17A.一种对视频数据进行编解码的方法，所述方法包括：确定在所述视频数据中的图片中是否仅存在一个切片；如果在所述图片中仅存在一个切片，则在切片标头(SH)中呈现PH语法结构；如果在所述图片中不是仅存在一个切片，则不在所述SH中呈现PH语法结构；以及基于所述图片来对所述视频数据进行编解码。

条款18A.根据条款17A所述的方法，还包括：确定指示仅包含一个切片的CLVS中的每个图片的SPS语法元素。

条款19A.根据条款18A所述的方法，其中，所述SPS语法元素是sps_one_slice_per_picture。

条款20A.根据条款19A所述的方法，还包括：基于sps_one_slice_per_picture来对语法元素施加条件。

条款21A.根据条款20A所述的方法，其中，所述语法元素是picture_header_in_slice_header_flag。

条款22A.一种对视频数据进行编解码的方法，所述方法包括：确定PPS中的语法元素；基于所述语法元素，确定引用所述PPS的图片仅包含一个切片；以及基于所述语法元素来对所述视频数据进行编解码。

条款23A.根据条款22A所述的方法，还包括：基于所述语法元素来对所述PPS中的num_slices_in_pic_minus1和SH中的picture_header_in_slice_header_flag施加条件。

条款24A.根据条款23A所述的方法，还包括：确定是否存在picture_header_in_slice_header_flag；基于不存在picture_header_in_slice_header_flag，推断picture_header_in_slice_header_flag等于0；以及基于picture_header_in_slice_header_flag来对所述视频数据进行编解码。

条款25A.一种对视频数据进行编解码的方法，所述方法包括：确定picture_header_in_slice_header_flag是否等于1；基于picture_header_in_slice_header_flag等于1，确定picture_header_structure()的内容对于CLVS中的所有切片是相同的；以及基于所述picture_header_structure()的内容来对所述视频数据进行编解码。

条款26A.一种对视频数据进行编解码的方法，所述方法包括：确定pps_pic_parameter_set_id；确定ph_pic_parameter_set_id；以及基于pps_pic_parameter_set_id和ph_pic_parameter_set_id来对所述视频数据进行编解码，其中，pps_pic_parameter_set_id和ph_pic_parameter_set_id具有相同的固定长度。

条款27A.根据条款26A所述的方法，其中，所述相同的固定长度为6比特。

条款28A.一种对视频数据进行编解码的方法，所述方法包括：确定视口移动的最大角速度；基于所述最大角速度，确定MaxTileCols的值；以及基于所述MaxTileCols的值来对所述视频数据进行编解码。

条款29A.根据条款28A所述的方法，其中，所述最大角速度为每秒300度或者在每秒30帧下每图片10度，并且MaxTileCols的值最大为36。

条款30A.一种对视频数据进行编解码的方法，所述方法包括：确定前N个子图片ID，其中，第(N-1)个子图片ID是其ID被改变的最后一个子图片；以及基于所述前N个子图片ID来对所述视频数据进行编解码。

条款31A.根据条款30A所述的方法，其中，所述前N个子图片ID是在PPS中信令通知的。

条款32A.根据条款30A或31A所述的方法，还包括：避免信令通知子图片索引。

条款33A.根据条款30A-32A的任何组合所述的方法，还包括：确定覆盖标志，其中，对所述视频数据进行编解码是进一步基于所述覆盖标志的。

条款34A.根据条款1A-33A的任何组合所述的方法，其中，编解码包括解码。

条款35A.根据条款1A、3A-5A、7A-10A、12A-23A和25A-33A的任何组合所述的方法，其中，编解码包括编码。

条款36A.一种用于对视频数据进行编解码的设备，所述设备包括用于执行根据条款1A-35A的任何组合所述的方法的一个或多个部件。

条款37A.根据条款36A所述的设备，其中，所述一个或多个部件包括在电路中实现的一个或多个处理器。

条款38A.根据条款36A和37A中任一项所述的设备，还包括：用于储存所述视频数据的存储器。

条款39A.根据条款36A-38A的任何组合所述的设备，还包括：被配置为显示经解码的视频数据的显示器。

条款40A.根据条款36A-39A的任何组合所述的设备，其中，所述设备包括相机、计算机、行动设备、广播接收器设备或机顶盒中的一者或多者。

条款41A.根据条款36A-40A的任何组合所述的设备，其中，所述设备包括视频解码器。

条款42A.根据条款36A-41A的任何组合所述的设备，其中，所述设备包括视频编码器。

条款43A.一种具有储存在其上的指令的计算机可读储存介质，所述指令在被执行时使得一个或多个处理器执行根据条款1A-33A的任何组合所述的方法。

条款1B.一种对视频数据进行编解码的方法，所述方法包括：

确定所述视频数据的序列参数集是否引用视频参数集；基于所述序列参数集没有引用所述视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在所述序列参数集中信令通知的；以及基于所述档次-层级-等级结构来对所述视频数据进行编解码。

条款2B.根据要求1B所述的方法，其中，编解码包括编码，并且所述方法还包括：在所述序列参数集中信令通知所述第一语法元素；以及在所述序列参数集中信令通知所述档次-层级-等级结构。

条款3B.根据要求1B所述的方法，其中，编解码包括解码，并且所述方法还包括：解析所述序列参数集中的所述第一语法元素；以及解析所述序列参数集中的所述档次-层级-等级结构。

条款4B.根据要求1B-3B的任何组合所述的方法，还包括：确定图片参数集的图片参数集标识符，其中，所述图片参数集标识符具有6比特的固定长度。

条款5B.一种对视频数据进行编解码的方法，所述方法包括：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在所述输出层集中不存在具有所述逐步解码刷新NAL单元类型的所述NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对所述编解码层视频序列的所述视频数据进行编解码。

条款6B.根据要求5B所述的方法，其中，编解码包括解码，并且其中，所述方法还包括：确定在比特流中是否存在指示图片是否不被用作参考图片的第二语法元素；以及基于在所述比特流中不存在所述第二语法元素，推断所述第二语法元素的值指示所述图片不是参考图片。

条款7B.根据要求5B所述的方法，其中，编解码包括编码，并且其中，所述方法还包括：确定所述视频数据的编解码层视频序列是否仅包含一个层；确定在所述编解码层视频序列的图片中是否允许帧间切片；基于所述编解码层视频序列仅包含一个层并且所述帧间切片被允许，确定指示所述图片是否不被用作参考图片的第二语法元素的值。

条款8B.根据要求7B所述的方法，其中，所述第二语法元素的值指示所述图片不被用作参考图片，并且其中，所述方法还包括：避免信令通知所述第二语法元素。

条款9B.根据要求5B-8B的任何组合所述的方法，还包括：确定第三语法元素的值指示序列中的所有切片都是帧内切片；以及基于所述序列中的所有切片都是帧内切片，来使用帧内预测对所述序列中的所有切片进行编解码。

条款10B.根据要求9B所述的方法，其中，编解码包括解码，并且其中，确定所述第三语法元素的值包括解析所述第三语法元素。

条款11B.根据要求9B所述的方法，其中，编解码包括编码，所述方法还包括：在SPS中信令通知所述第三语法元素。

条款12B.根据要求9B-11B的任何组合所述的方法，还包括：确定第四语法元素的值指示仅帧内约束被应用；其中，确定所述第三语法元素的值基于所述仅帧内约束被应用。

条款13.根据要求5B-12B的任何组合所述的方法，还包括：确定图片参数集的图片参数集标识符，其中，所述图片参数集标识符具有6比特的固定长度。

条款14B.一种用于对视频数据进行编解码的设备，所述设备包括：被配置为储存所述视频数据的存储器；以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：确定所述视频数据的序列参数集是否引用视频参数集；基于所述序列参数集没有引用所述视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在所述序列参数集中信令通知的；以及基于所述档次-层级-等级结构来对所述视频数据进行编解码。

条款15B.根据要求14B所述的设备，其中，编解码包括编码，并且所述一个或多个处理器还被配置为：在所述序列参数集中信令通知所述第一语法元素；以及在所述序列参数集中信令通知所述档次-层级-等级结构。

条款16B.根据要求14B所述的设备，其中，编解码包括解码，其中，作为确定所述第一语法元素的值的一部分，所述一个或多个处理器被配置为：解析所述序列参数集中的所述第一语法元素，并且其中，所述一个或多个处理器还被配置为：解析所述序列参数集中的所述档次-层级-等级结构。

条款17B.根据要求14B-16B的任何组合所述的设备，还包括：确定图片参数集的图片参数集标识符，其中，所述图片参数集标识符具有6比特的固定长度。

条款18B.一种用于对视频数据进行编解码的设备，所述设备包括：被配置为储存所述视频数据的存储器；以及在电路中实现并且通信地耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：确定在输出层集中是否不存在具有逐步解码刷新网络抽象层(NAL)单元类型的NAL单元标头类型的NAL单元；基于在所述输出层集中不存在具有所述逐步解码刷新NAL单元类型的所述NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及在不对逐步解码器刷新图片进行编解码的情况下对所述编解码层视频序列的所述视频数据进行编解码。

条款19B.根据要求18B所述的设备，其中，编解码包括解码，并且其中，所述一个或多个处理器还被配置为：确定在比特流中是否存在指示图片是否不被用作参考图片的第二语法元素；以及基于在所述比特流中不存在所述第二语法元素，推断所述第二语法元素的值指示所述图片不是参考图片。

条款20B.根据要求18B所述的设备，其中，编解码包括编码，并且其中，所述一个或多个处理器还被配置为：确定所述视频数据的编解码层视频序列是否仅包含一个层；确定在所述编解码层视频序列的图片中是否允许帧间切片；基于所述编解码层视频序列仅包含一个层并且所述帧间切片被允许，确定指示所述图片是否不被用作参考图片的第二语法元素的值。

条款21B.根据要求20B所述的设备，其中，所述第二语法元素的值指示所述图片不被用作参考图片，并且所述一个或多个处理器还被配置为：避免信令通知所述第二语法元素。

条款22B.根据要求18B-21B的任何组合所述的设备，其中，所述一个或多个处理器还被配置为：确定第三语法元素的值指示序列中的所有切片都是帧内切片；以及基于所述序列中的所有切片都是帧内切片，使用帧内预测对所述序列中的所有切片进行编解码。

条款23B.根据要求22B所述的设备，其中，编解码包括解码，并且其中，作为确定所述第三语法元素的值的一部分，所述一个或多个处理器被配置为：解析所述语法元素。

条款24B.根据要求22B所述的设备，其中，编解码包括编码，并且其中，所述一个或多个处理器还被配置为：在SPS中信令通知所述第三语法元素。

条款25B.根据要求22B-24B的任何组合所述的设备，其中，所述一个或多个处理器还被配置为：确定第四语法元素的值指示仅帧内约束被应用；其中，所述一个或多个处理器基于所述仅帧内约束被应用来确定所述第三语法元素的值。

条款26B.根据要求18B-25B的任何组合所述的设备，还包括：确定图片参数集的图片参数集标识符，其中，所述图片参数集标识符具有6比特的固定长度。

要认识到的是，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件是对于实施所述技术都是必要的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。

在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件来实现，则所述功能可以作为一个或多个指令或程序代码储存在计算机可读介质上或者通过其进行传输并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读储存介质，其对应于诸如数据储存介质的有形介质或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读储存介质、或者(2)诸如信号或载波的通信介质。数据储存介质可以是可以由一个或多个计算机或者一个或多个处理器存取以取得用于实现在本公开中描述的技术的指令、程序代码和/或数据结构的任何可用的介质。计算机程序产品可以包括计算机可读介质。

举例来说而非进行限制，这样的计算机可读储存介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存、磁盘储存或其它磁储存设备、闪存、或者能够用于以指令或数据结构形式储存期望的程序代码以及能够由计算机存取的任何其它介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输指令，则同轴电缆、光纤光缆、双绞线、DSL或者无线技术(例如，红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读储存介质和数据储存介质不包括连接、载波、信号或其它临时性介质，而是替代地针对非临时性的有形储存介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、雷射光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘利用雷射来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。

指令可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的积体或分立逻辑电路。因此，如本文所使用的术语“处理器”和“处理电路”可以指代前述结构中的任何一者或者适于实现本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者被并入经组合的编解码器中。此外，所述技术可以完全在一个或多个电路或逻辑组件中实现。

本公开的技术可以在多种多样的设备或设备中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但是不一定需要通过不同的硬件单元来实现。确切而言，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合适当的软件和/或固件来提供。

已经描述了各个示例。这些和其它示例在所附的权利要求的范围内。

Claims (26)

1.一种对视频数据进行编解码的方法，所述方法包括：

确定所述视频数据的序列参数集是否引用视频参数集；

基于所述序列参数集没有引用所述视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在所述序列参数集中信令通知的；以及

基于所述档次-层级-等级结构来对所述视频数据进行编解码。

2.根据权利要求1所述的方法，其中，所述编解码包括编码，并且所述方法还包括：

在所述序列参数集中信令通知所述第一语法元素；以及

在所述序列参数集中信令通知所述档次-层级-等级结构。

3.根据权利要求1所述的方法，其中，所述编解码包括解码，并且所述方法还包括：

解析所述序列参数集中的所述第一语法元素；以及

解析所述序列参数集中的所述档次-层级-等级结构。

4.根据权利要求1所述的方法，还包括：

确定图片参数集的图片参数集标识符，

其中，所述图片参数集标识符具有6比特的固定长度。

5.一种对视频数据进行编解码的方法，所述方法包括：

确定在输出层集中是否不存在具有逐步解码刷新网络抽象层NAL单元类型的NAL单元标头类型的NAL单元；

基于在所述输出层集中不存在具有所述逐步解码刷新NAL单元类型的所述NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及

在不对所述逐步解码器刷新图片进行编解码的情况下对所述编解码层视频序列的所述视频数据进行编解码。

6.根据权利要求5所述的方法，其中，所述编解码包括解码，并且其中，所述方法还包括：

确定在比特流中是否存在指示图片是否不被用作参考图片的第二语法元素；以及

基于在所述比特流中不存在所述第二语法元素，推断所述第二语法元素的值指示所述图片不是参考图片。

7.根据权利要求5所述的方法，其中，所述编解码包括编码，并且其中，所述方法还包括：

确定所述视频数据的编解码层视频序列是否仅包含一个层；

确定在所述编解码层视频序列的图片中是否允许帧间切片；

基于所述编解码层视频序列仅包含一个层并且所述帧间切片被允许，确定指示所述图片是否不被用作参考图片的第二语法元素的值。

8.根据权利要求7所述的方法，其中，所述第二语法元素的值指示所述图片不被用作参考图片，并且其中，所述方法还包括：避免信令通知所述第二语法元素。

9.根据权利要求5所述的方法，还包括：

确定第三语法元素的值指示序列中的所有切片都是帧内切片；以及

基于所述序列中的所有切片都是帧内切片，使用帧内预测对所述序列中的所有切片进行编解码。

10.根据权利要求9所述的方法，其中，所述编解码包括解码，并且其中，确定所述第三语法元素的所述值包括解析所述第三语法元素。

11.根据权利要求9所述的方法，其中，所述编解码包括编码，所述方法还包括：

在SPS中信令通知所述第三语法元素。

12.根据权利要求9所述的方法，还包括：

确定第四语法元素的值指示仅帧内约束被应用；

其中，确定所述第三语法元素的所述值基于所述仅帧内约束被应用。

13.根据权利要求5所述的方法，还包括：

确定图片参数集的图片参数集标识符，

其中，所述图片参数集标识符具有6比特的固定长度。

14.一种用于对视频数据进行编解码的设备，所述设备包括：

被配置为储存所述视频数据的存储器；以及

在电路中实现并且通信地耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：

确定所述视频数据的序列参数集是否引用视频参数集；

基于所述序列参数集没有引用所述视频参数集，确定第一语法元素的值指示档次-层级-等级结构是在所述序列参数集中信令通知的；以及

基于所述档次-层级-等级结构来对所述视频数据进行编解码。

15.根据权利要求14所述的设备，其中，所述编解码包括编码，并且所述一个或多个处理器还被配置为：

在所述序列参数集中信令通知所述第一语法元素；以及

在所述序列参数集中信令通知所述档次-层级-等级结构。

16.根据权利要求14所述的设备，其中，所述编解码包括解码，其中，作为确定所述第一语法元素的所述值的一部分，所述一个或多个处理器被配置为：解析所述序列参数集中的所述第一语法元素，并且其中，所述一个或多个处理器还被配置为：

解析所述序列参数集中的所述档次-层级-等级结构。

17.根据权利要求14所述的设备，还包括：

确定图片参数集的图片参数集标识符，

其中，所述图片参数集标识符具有6比特的固定长度。

18.一种用于对视频数据进行编解码的设备，所述设备包括：

被配置为储存所述视频数据的存储器；以及

在电路中实现并且通信地耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：

确定在输出层集中是否不存在具有逐步解码刷新网络抽象层NAL单元类型的NAL单元标头类型的NAL单元；

基于在所述输出层集中不存在具有所述逐步解码刷新NAL单元类型的所述NAL单元标头类型的NAL单元，确定第一语法元素的值指示在编解码层视频序列中不存在逐步解码器刷新图片；以及

在不对所述逐步解码器刷新图片进行编解码的情况下对所述编解码层视频序列的所述视频数据进行编解码。

19.根据权利要求18所述的设备，其中，所述编解码包括解码，并且其中，所述一个或多个处理器还被配置为：

确定在比特流中是否存在指示图片是否不被用作参考图片的第二语法元素；以及

基于在所述比特流中不存在所述第二语法元素，推断所述第二语法元素的值指示所述图片不是参考图片。

20.根据权利要求18所述的设备，其中，所述编解码包括编码，并且其中，所述一个或多个处理器还被配置为：

确定所述视频数据的编解码层视频序列是否仅包含一个层；

确定在所述编解码层视频序列的图片中是否允许帧间切片；

基于所述编解码层视频序列仅包含一个层并且所述帧间切片被允许，确定指示所述图片是否不被用作参考图片的第二语法元素的值。

21.根据权利要求20所述的设备，其中，所述第二语法元素的所述值指示所述图片不被用作参考图片，并且所述一个或多个处理器还被配置为：

避免信令通知所述第二语法元素。

22.根据权利要求18所述的设备，其中，所述一个或多个处理器还被配置为：

确定第三语法元素的值指示序列中的所有切片都是帧内切片；以及

基于所述序列中的所有切片都是帧内切片，使用帧内预测对所述序列中的所有切片进行编解码。

23.根据权利要求22所述的设备，其中，所述编解码包括解码，并且其中，作为确定所述第三语法元素的所述值的一部分，所述一个或多个处理器被配置为：

解析所述语法元素。

24.根据权利要求22所述的设备，其中，所述编解码包括编码，并且其中，所述一个或多个处理器还被配置为：

在SPS中信令通知所述第三语法元素。

25.根据权利要求22所述的设备，其中，所述一个或多个处理器还被配置为：

确定第四语法元素的值指示仅帧内约束被应用；

其中，所述一个或多个处理器基于所述仅帧内约束被应用来确定所述第三语法元素的所述值。

26.根据权利要求18所述的设备，还包括：

确定图片参数集的图片参数集标识符，

其中，所述图片参数集标识符具有6比特的固定长度。

Images