CN114402599A - 用于视频编解码的高级语法中的子图片的信令号 - Google Patents

Abstract

视频解码器可以被配置为对指示编解码树单元(CTU)的大小的第一语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；以及基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置。

Description

用于视频编解码的高级语法中的子图片的信令号

本申请要求于2020年9月21日提交的美国申请第17/027,262号的优先权，该美国申请要求于2019年9月23日提交的美国临时专利申请62/904,516的权益，每个申请的全部内容通过引用方式合并于此。

技术领域

本公开涉及视频编码和视频解码。

背景技术

数字视频功能可以被结合到各种设备中，该设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能手机”、视频电话会议设备、视频流设备等。数字视频设备实施视频编解码技术，诸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、第10部分、高级视频编解码(AVC)、ITU-T H.265/高效视频编解码(HEVC)定义的标准以及此类标准的扩展中描述的那些技术。通过实施此类视频编解码技术，视频设备可以更有效地发送、接收数字视频信息、对数字视频信息进行编码、解码和/或存储数字视频信息。

视频编解码技术包括空间(帧内图片)预测和/或时间(帧间图片)预测以减少或去除视频序列中固有的冗余。对于基于块的视频编解码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，该视频块也可以被称为编解码树单元(CTU)、编解码单元(CU)和/或编解码节点。图片的帧内编解码(I)切片中的视频块使用空间预测相对于同一图片中的相邻块中的参考样本进行编码。图片的帧间编解码(P或B)切片中的视频块可以使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可以被称为帧，而参考图片可以被称为参考帧。

发明内容

在本公开的一个示例中，一种视频解码器可以被配置为在对指示子图片标识符网格的元素的宽度的第二语法元素进行解码之前以及在对指示子图片标识符网格的元素的高度的第三语法元素进行解码之前，对指示编解码树单元(CTU)的大小的第一语法元素进行解码，然后基于CTU大小而非总是使用4x4的网格大小分配用于存储子图片索引的存储器。本公开的技术通过减少存储子图片索引所需的存储器量，潜在地改善视频解码器的操作。更具体地，通过将解码器配置为在对指示子图片标识符网格的元素的宽度的第二语法元素进行解码之前以及在对指示子图片标识符网格的元素的高度的第三语法元素进行解码之前对指示CTU的大小的第一语法元素进行解码，视频解码器可以被配置为基于CTU大小而不是总是使用4x4的网格大小来分配用于存储子图片索引的存储器。

在一个示例中，本公开描述了一种对视频数据进行解码的方法，该方法包括：对指示编解码树单元(CTU)的大小的第一语法元素进行解码；在对指示该CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；在对指示该CTU的大小的第一语法元素进行解码之后，对指示该子图片标识符网格的元素的高度的第三语法元素进行解码；以及基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置。

在另一个示例中，本公开描述了一种用于对视频数据进行解码的设备，该设备包括：存储器；以及在电路中实施的一个或多个处理器，该一个或多个处理器耦合到该存储器并且被配置为：对指示编解码树单元(CTU)的大小的第一语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；以及基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置。

在另一个示例中，本公开描述了一种其上存储有指令的计算机可读存储介质，该指令在被执行时将处理器配置为：对指示编解码树单元(CTU)的大小的第一语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；以及基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置。

在另一个示例中，本公开描述了一种用于对视频数据进行解码的设备，该设备包括：用于对指示编解码树单元(CTU)的大小的第一语法元素进行解码的部件；用于在对指示该CTU的大小的第一语法元素进行解码之后对指示子图片标识符网格的元素的宽度的第二语法元素进行解码的部件；用于在对指示该CTU的大小的第一语法元素进行解码之后对指示该子图片标识符网格的元素的高度的第三语法元素进行解码的部件；以及用于基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置的部件。

在附图及下文描述中陈述一个或多个示例的细节。从具体实施方式、附图说明和权利要求书，其它特征、对象和优点将显而易见。

附图说明

图1是示出可以执行本公开的技术的示例性视频编码和解码系统的框图。

图2A和图2B是示出示例性四叉树-二叉树(QTBT)结构和对应的编解码树单元(CTU)的概念图。

图3是示出可以执行本公开的技术的示例性视频编码器的框图。

图4是示出可以执行本公开的技术的示例性视频解码器的框图。

图5是示出示例性视频编码过程的流程图。

图6是示出示例性视频解码过程的流程图。

图7是示出示例性视频解码过程的流程图。

具体实施方式

视频编解码(例如，视频编码和/或视频解码)通常涉及根据同一图片中的已经编解码的视频数据块(例如，帧内预测)或不同图片中的已经编解码的视频数据块(例如，帧间预测)来预测视频数据块。在一些情况下，视频编码器还通过将预测块与原始块进行比较来计算残差数据。因此，残差数据表示预测块的样本与原始块的样本之间的差。为了减少发信号通知残差数据所需的比特数，视频编码器对残差数据进行变换和量化，并在编码比特流中发信号通知变换和量化的残差数据。通过变换和量化过程实现的压缩可能是有损的，这意味着变换和量化过程可能会将失真引入解码视频数据中。

视频解码器对残差数据进行解码并将其添加到预测块，以产生与比单独的预测块更紧密地匹配原始视频块的重构视频块。由于残差数据的变换和量化所引入的损失，第一重构块可能具有失真或伪影。为了进一步提高解码视频的质量，视频解码器可以对重构视频块执行一个或多个滤波操作。

视频被编码为一系列图片，每个图片被分为一个或多个切片。切片可以包括整数个块，例如，编解码树单元(CTU)。在一些情况下，可将切片内的块分组为图块(tile)或一些其它此类分组。对于一些应用，如二维电影或电视，图片通常对应于单个连续场景。对于诸如360度视频等其它类型的应用，一个图片可以包括多个子图片，其中子图片可以分别对应于一个连续场景，而整个图片则不然。子图片通常是指由图片内的一个或多个切片组成的矩形区域。作为一个示例性用例，在一些实施方式中，可以从96个不同的子图片中修补360度图片。96个不同的子图片在边界之间可以是连续的或不连续的。在流式传输360度视频时，用户只能接收一些子图片。

为了支持360度视频，新出现的通用视频编解码(VVC)标准支持子图片。本公开描述了用于子图片的信令技术。本公开的技术可以应用于VVC标准或其它未来的视频编解码标准。

根据本公开的技术，为了标识子图片在图片中的位置，视频编码器和视频解码器通过基于图片的大小、子图片网格中的列数和子图片网格中的行数将图片划分为一系列网格元素来确定子图片标识符网格。子图片标识符网格或子图片网格上的点对应于图片中的不同样本位置。对于图片中的每个子图片，视频编码器向视频解码器发信号通知子图片索引，该子图片索引标识包括该子图片的左上的亮度样本的网格元素。当存储子图片索引的值时，视频解码器基于最坏案例分配存储器，这意味着可能需要最大潜在存储器量。可能需要的最大潜在存储器量是所使用的网格元素大小的函数。用于子图片信令的当前实施方案利用大小为4x4的网格元素。使用4x4网格元素，一张8192x4320的视频图片具有2,211,840个网格元素。

在本公开的一个示例中，一种视频解码器可以被配置为在对指示子图片标识符网格的元素的宽度的第二语法元素进行解码之前以及在对指示子图片标识符网格的元素的高度的第三语法元素进行解码之前，对指示编解码树单元(CTU)的大小的第一语法元素进行解码，然后基于CTU大小而非总是使用4x4的网格大小分配用于存储子图片索引的存储器。本公开的技术通过减少存储子图片索引所需的存储器量，潜在地改善视频解码器的操作。更具体地，通过将解码器配置为在对指示子图片标识符网格的元素的宽度的第二语法元素进行解码之前以及在对指示子图片标识符网格的元素的高度的第三语法元素进行解码之前对指示CTU的大小的第一语法元素进行解码，视频解码器可以被配置为基于CTU大小而不是总是使用4x4的网格大小来分配用于存储子图片索引的存储器。通过基于CTU大小而不是总是使用4×4的网格大小来分配存储器，本公开的技术可以改善设备的存储器使用，这可以改善设备性能。

另外，根据本公开的技术，在一些编解码案例中，通过将视频解码器配置为基于CTU大小的最大高度值和最大宽度值而不是始终使用4x4的网格大小来分配用于存储子图片索引的存储器，可以减少视频解码器存储子图片索引所需的存储器量。例如，视频解码器可以被配置为以响应于确定CTU的宽度小于最大宽度值而基于最大宽度值来确定子图片标识符网格中的列数，并响应于确定CTU的高度小于最大高度值而基于最大高度值来确定子画面标识符网格中的行数。

图1是示出可执行本公开的技术的示例性视频编码和解码系统100的框图。本公开的技术一般涉及对视频数据进行编解码(编码和/或解码)。一般来说，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始未经编码视频、编码后的视频、解码后的(例如，重构)视频和视频元数据，诸如信令数据。

如图1中所示，在本示例中，系统100包括源设备置102，其提供待由目标设备116解码和显示的编码后的视频数据。具体地，源设备102经由计算机可读介质110向目标设备116提供视频数据。源设备102和目标设备116可以包括多种设备中的任一种，包括台式计算机、笔记本(即，膝上型)计算机、移动设备、平板计算机、机顶盒、电话听筒(诸如智能电话)、电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等。在一些情况下，源设备102和目标设备116可被装备用于无线通信，并且因此可被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目标设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目标设备116的视频解码器300可以被配置为应用用于本文描述的子图片信令的技术。因此，源设备102表示视频编码设备的示例，而目标设备116表示视频解码设备的示例。在其它示例中，源设备和目标设备可包括其它组件或布置。例如，源设备102可以从外部视频源(诸如外部相机)接收视频数据。同样，目标设备116可以与外部显示设备对接，而不是包括集成显示设备。

如图1中所示的系统100仅为一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于本文描述的子图片信令的技术。源设备102和目标设备116仅仅是此类编解码设备的示例，其中源设备102生成编解码的视频数据以发送到目标设备116。本公开将“编解码”设备称为对数据执行编解码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示编解码设备的示例，尤其分别表示视频编码器和视频解码器的示例。在一些示例中，源设备102和目标设备116可以基本对称方式操作，使得源设备102和目标设备116中的每一者都包括视频编码和解码组件。因此，系统100可以支持源设备102与目标设备116之间的单向或双向视频传输，例如用于视频流、视频回放、视频广播或视频电话。

一般来说，视频源104表示视频数据源(即，原始未经编码的视频数据)并将视频数据的一系列连续图片(也称为“帧”)提供给视频编码器200，该视频编码器对图片的数据进行编码。源设备102的视频源104可以包括视频捕捉设备，诸如摄像机、包含先前捕捉的原始视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源104可产生基于计算机图形的数据作为源视频，或实况视频、归档视频和计算机产生的视频的组合。在每一种情况下，视频编码器200对所捕捉、预先捕捉或计算机产生的视频数据进行编码。视频编码器200可将图片从接收次序(有时称为“显示次序”)重新布置为编解码次序以供编解码。视频编码器200可产生包括编码后的视频数据的比特流。源设备102然后可经由输出接口108将编码后的视频数据输出到计算机可读介质110上以供由例如目标设备116的输入接口122接收和/或检索。

源设备102的存储器106和目标设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可存储原始视频数据，例如来自视频源104的原始视频和来自视频解码器300的原始解码后的视频数据。另外或替代地，存储器106、120可以存储分别可由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中存储器106和存储器120示为与视频编码器200和视频解码器300分开，但是应理解，视频编码器200和视频解码器300还可包括功能性类似或等效目的的内部存储器。此外，存储器106、120可存储例如从视频编码器200输出和输入到视频解码器300的编码后的视频数据。在一些示例中，可分配存储器106、120的部分作为一个或多个视频缓冲器，以例如存储原始、解码后的和/或编码后的视频数据。

计算机可读介质110可以表示能够将编码的视频数据从源设备102传送到目标设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示用于使得源设备102能够(例如)经由无线电频率网络或基于计算机的网络实时地将编码后的视频数据直接发送到目标设备116的通信介质。根据通信标准(诸如无线通信协议)，输出接口108可调制包括编码后的视频数据的发送信号，并且输入接口122可将所接收发送信号解调。通信介质可以包括任何无线或有线通信介质，诸如无线电频率(RF)频谱或一条或多条物理发送线。通信介质可以形成基于分组的网络的一部分，诸如局域网、广域网或诸如互联网之类的全球网络。通信介质可以包括路由器、交换机、基站或可能有助于促进从源设备102到目标设备116的通信的任何其它设备。

在一些示例中，源设备102可将编码后的数据从输出接口108输出到存储设备112。类似地，目标设备116可经由输入接口122从存储设备112访问编码后的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任一种，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储编码的视频数据的任何其它合适的数字存储介质。

在一些示例中，源设备102可将编码后的视频数据输出到文件服务器114或可存储由源设备102产生的编码后的视频的另一中间存储设备。目标设备116可经由流式传输或下载而从文件服务器114访问所存储的视频数据。

文件服务器114可以是能够存储编码后的视频数据并将该编码后的视频数据发送到目标设备116的任何类型的服务器设备。文件服务器114可以表示Web服务器(例如，用于网站)，被配置为提供文件传输协议服务(诸如文件传输协议(FTP)或单向文件传输(FLUTE)协议)的服务器、内容递送网络(CDN)设备、超文本传输协议(HTTP)服务器、多媒体广播多播服务(MBMS)或增强型MBMS(eMBMS)服务器和/或网络附接存储(NAS)设备。文件服务器114可以另外或替代地实施一种或多种HTTP流式传输协议，诸如基于HTTP的动态自适应流式传输(DASH)、HTTP实时流式传输(HLS)、实时流式传输协议(RTSP)、HTTP动态流式传输等。

目标设备116可经由包括互联网连接的任何标准数据连接从文件服务器114访问编码后的视频数据。这可包括无线通道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)，或适合于访问存储于文件服务器114上的编码后的视频数据的两者的组合。输入接口122可以被配置为根据以上讨论的用于从文件服务器114检索或接收媒体数据的各种协议中的任一者或多者或用于检索媒体数据的其它这样的协议来操作。

输出接口108和输入接口122可表示无线发送器/接收器、调制解调器、有线网络连接组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任一者来操作的无线通信组件或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可被配置为根据诸如4G、4G-LTE(长期演进)、高级LTE、5G等蜂窝式通信标准来传输数据，诸如编码后的视频数据。在其中输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可被配置为根据其它无线标准(诸如，IEEE 802.11规格、IEEE802.15规格(例如ZigBee^TM)、Bluetooth^TM标准等)传输数据，诸如编码后的视频数据。在一些示例中，源设备102和/或目标设备116可包括相应的片上系统(SoC)设备。例如，源设备102可包括SoC设备以执行归于视频编码器200和/或输出接口108的功能性，并且目标设备116可包括SoC设备以执行归于视频解码器300和/或输入接口122的功能性。

本公开的技术可以应用于支持多种多媒体应用中的任一种的视频编解码，该多媒体应用诸如空中电视广播、有线电视发送、卫星电视发送、互联网流视频发送，诸如基于HTTP的动态自适应流发送(DASH)、被编码到数据存储介质上的数字视频、被存储在数据存储介质上的数字视频的解码或其它应用程序。

目标设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码后的视频比特流。编码后的视频比特流可包括由视频编码器200定义的信令信息(其也由视频解码器300使用)，诸如具有描述视频块或其它经编码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示解码后的视频数据的解码后的图片。显示设备118可以表示多种显示设备中的任一种，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备。

尽管图1中未示，但是在一些示例中，视频编码器200和视频解码器300可各自与音频编码器和/或音频解码器集成，并且可包括适当的MUX-DEMUX单元或其它硬件和/或软件，以处置在共同数据流中包括音频和视频两者的复用流。如果适用，则MUX-DEMUX单元可以遵照ITU H.223复用器协议或其它协议(诸如，用户数据报协议(UDP))。

视频编码器200和视频解码器300各自可以被实施为各种合适的编码器和/或解码器电路中的任一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件实施时，设备可以将用于软件的指令存储在合适的非暂时性计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开的技术。视频编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，该一个或多个编码器或解码器中的任一者可以被集成作为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可包括集成电路、微处理器和/或无线通信设备(诸如蜂窝式电话)。

视频编码器200和视频解码器300可根据视频编解码标准来操作，该视频编解码标准诸如ITU-T H.265，也称为高效视频编解码(HEVC)或其扩展，诸如多视图和/或可缩放视频编解码扩展。替代地，视频编码器200和视频解码器300可根据其它专有或行业标准操作，诸如联合勘探测试模型(JEM)或ITU-T H.266，其也称为多功能视频编解码(VVC)。VVC标准的最新草案在Bross等人于2019年7月3至12日在瑞典哥德堡第15次会议ITU-T SG 15WP 3和ISO/IEC JTC 3/SC 29/WG 11的联合视频专家团队(JVET)中发表的“通用视频编解码(草案6)”JVET-O2001-v14(以下简称“VVC草案6”)中有所描述。然而，本公开的技术不限于任何特定编码标准。VVC标准的另一草案在Bross等人于2020年6月22至7月1日在网上电子会议第18次会议ITU-T SG 15WP 22和ISO/IEC JTC 3/SC 29/WG 11的联合视频专家团队(JVET)中发表的“通用视频编解码(草案10)”JVET-S2001-v16(以下简称“VVC草案10”)中有所描述。然而，本公开的技术不限于任何特定编码标准。

通常，视频编码器200和视频解码器300可执行对图片的基于块的编解码。术语“块”一般是指包括待处理(例如，编码、解码或以其它方式在编码和/或解码程序中使用)的数据的结构。例如，块可包括照度和/或彩度数据样本的二维矩阵。通常，视频编码器200和视频解码器300可对以YUV(例如Y、Cb、Cr)格式表示的视频数据进行编解码。即，视频编码器200和视频解码器300可对照度和彩度分量进行编解码，而非对图片的样本的红色、绿色和蓝色(RGB)数据进行编解码，其中彩度分量可包括红色调和蓝色调彩度分量两者。在一些示例中，视频编码器200在编码之前将所接收的RGB格式化数据转换为YUV表示，并且视频解码器300将YUV表示转换为RGB格式。替代地，预处理单元和后处理单元(图中未示出)可执行这些转换。

本公开可以一般涉及对图片进行编解码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开可以涉及对图片的块进行编解码以包括对块的数据进行编码或解码的过程，例如预测和/或残差编解码。编码的视频比特流通常包括表示编解码判决(例如，编解码模式)和将图片分割成块的语法元素的一系列值。因此，对将图片或块进行编解码的引用一般应当被理解为用于形成图片或块的语法元素的编解码值。

HEVC定义各种块，包括编解码单元(CU)、预测单元(PU)以及变换单元(TU)。根据HEVC，视频编解码器(诸如视频编码器200)根据四叉树结构将编解码树单元(CTU)分割成CU。即，视频编解码器将CTU和CU分割成四个相同的非重叠正方形，并且四叉树的每个节点具有零个或四个子节点。不具有子节点的节点可被称为“叶节点”，并且此类叶节点的CU可包括一个或多个PU和/或一个或多个TU。视频编解码器可进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。经帧内预测的CU包括帧内预测信息，诸如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可被配置为根据VVC操作。根据VVC，视频编解码器(诸如视频编码器200)将图片分割成多个编解码树单元(CTU)。视频编码器200可根据树型结构分割CTU，诸如四叉树-二叉树(QTBT)结构或多类型树型(MTT)结构。QTBT结构移除多个分割类型的概念，诸如HEVC的CU、PU以及TU之间的间距。QTBT结构包括两个层级：根据四叉树分割进行分割的第一层级，和根据二叉树分割进行分割的第二层级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编解码单元(CU)。

在MTT分割结构中，块可使用四叉树(QT)分割、二叉树(BT)分割和一种或多种类型的三叉树(TT)(也称为三叉树(TT))分割来分割。三元或三叉树分割是其中块分裂成三个子块所处的分割。在一些示例中，三元或三叉树分割在不通过中心划分原始块的情况下将块划分为三个子块。MTT中的分割类型(例如，QT、BT和TT)可为对称或不对称的。

在一些示例中，视频编码器200和视频解码器300可使用单一QTBT或MTT结构表示照度和彩度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可使用两个或更多个QTBT或MTT结构，诸如用于照度分量的一个QTBT/MTT结构和用于两个彩度分量的另一QTBT/MTT结构(或用于相应的彩度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可被配置为使用根据HEVC的四叉树分割、QTBT分割、MTT分割，或其它分割结构。出于解释目的，关于QTBT分割呈现本公开的技术的描述。然而，应理解，本公开的技术还可应用于被配置为使用四叉树分割还或其它类型的分割的视频编解码器。

在一些示例中，CTU包括亮度样本的编解码树块(CTB)、具有三个样本阵列的图片的色度样本的两个对应CTB，或者单色图片或使用三个独立的彩色平面和用于对样本进行编解码的语法结构进行编解码的图片的样本的一个CTB。CTB可以是某个N值的NxN样本块，使得将组件划分为CTB是分割。组件是来自三个阵列(亮度和两个色度)中的一者的阵列或单个样本，这三个阵列以4:2:0、4:2:2或4:4:4的颜色格式组成图片；或者是阵列或组成单色格式图片的阵列的单个样本。在一些示例中，编解码块是针对M和N的一些值的样本的M×N样本块，使得将CTB划分成编解码块是分割。

可以以各种方式在图片中对块(例如，CTU或CU)进行分组。作为一个示例，程序块(brick)可以指程序块中的特定图块内的CTU行的矩形区域。图块可以是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是指CTU的矩形区域，其具有等于图片高度的高度和由语法元素指定的宽度(例如，诸如在图片参数集中的宽度)。图块行是指CTU的矩形区域，其具有由语法元素指定的高度(例如，诸如在图片参数集中)以及等于图片宽度的宽度。

在一些示例中，可将图块划分成多个程序块，每个程序块可在图块内包括一个或多个CTU行。没有分割为多个程序块的图块也可以称为程序块。然而，作为图块的真实子集的程序块不能称为图块。

图片中的程序块也可以以切片的形式布置。切片可以是图片的整数个程序块，它们可以专有地包含在单个网络抽象层(NAL)单元中。在一些示例中，切片包括多个完整图块或仅一个图块的连续程序块的连续序列。

本公开可互换地使用“N×N”和“N乘以N”以指代关于竖直和水平尺寸的块(诸如，CU或其它视频块)的样本尺寸，例如16×16样本或16乘以16样本。通常，16×16CU在竖直方向上将具有16个样本(y＝16)，并且在水平方向上将具有16个样本(x＝16)。同样，N×N CU通常在竖直方向上具有N个样本，并且在水平方向上具有N个样本，其中N表示非负整数值。CU中的样本可按列和行布置。此外，CU不一定在水平方向上和竖直方向上具有相同数量个样本。例如，CU可包括N×M个样本，其中M不必等于N。

视频编码器200对CU的表示预测和/或残差信息和其它信息的视频数据进行编码。预测信息指示将如何对CU进行预测以便形成CU的预测块。残差信息通常表示编码前CU与预测块的样本之间的逐样本差。

为了预测CU，视频编码器200可通常经由帧间预测或帧内预测形成CU的预测块。帧间预测一般是指从先前经编解码的图片的数据预测CU，而帧内预测一般是指从同一图片的先前经编解码数据预测CU。为了执行帧间预测，视频编码器200可使用一个或多个运动矢量来产生预测块。视频编码器200可通常执行运动搜索以标识(例如)就CU与参考块之间的差而言与CU紧密匹配的参考块。视频编码器200可使用绝对差总和(SAD)、平方差总和(SSD)、平均绝对差(MAD)、均方差(MSD)或其它此类差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可使用单向预测或双向预测来预测当前CU。

VVC的一些示例还提供仿射运动补偿模式，其可被视为帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则运动类型)的两个或更多个运动矢量。

为了执行帧内预测，视频编码器200可选择帧内预测模式以产生预测块。VVC的一些示例提供六十七种帧内预测模式，包括各种方向模式以及平面模式和DC模式。通常，视频编码器200选择从其中预测当前块的样本的帧内预测模式，其描述与当前块(例如，CU的块)相邻的样本。假定视频编码器200以光栅扫描次序(左至右、上至下)对CTU和CU进行编解码，则此类样通常可在与当前块相同的图片中处于当前块的上方、左上方或左侧。

视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可对表示使用各种可供使用的帧间预测模式中的哪种模式以及对应模式的运动信息的数据进行编码。例如，对于单向或双向帧间预测，视频编码器200可使用高级运动矢量预测(AMVP)或合并模式来对运动矢量进行编码。视频编码器200可使用类似模式来对仿射运动补偿模式的运动矢量进行编码。

在块的预测(诸如帧内预测或帧间预测)之后，视频编码器200可计算块的残差数据。残差数据(诸如残差块)表示块与该块的使用对应预测模式所形成的预测块之间的逐样本差。视频编码器200可将一个或多个变换应用于残差块，以在变换域而非样本域中产生变换后的数据。例如，视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可在一级变换之后应用二级变换，诸如模式相关不可分离二级变换(MDNSST)、信号相关变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。

如上文所指出，在产生变换系数的任何变换之后，视频编码器200可执行变换系数的量化。量化一般是指变换系数被量化以可能减少用于表示变换系数的数据的量从而提供进一步压缩的程序。通过执行量化程序，视频编码器200可减少与变换系数中的一些或所有相关的比特深度。例如，视频编码器200可在量化期间将n比特值舍入到m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可执行待量化值的按位右移位。

在量化之后，视频编码器200可扫描变换系数，从而从包括量化后的变换系数的二维矩阵产生一维矢量。扫描可被设计以将较高能量(且因此较低频率)变换系数置于矢量前部，并且将较低能量(且因此较高频率)变换系数置于矢量后部。在一些示例中，视频编码器200可利用预定义扫描次序来扫描量化后的变换系数以产生串行化矢量，并且随后对矢量的量化后的变换系数进行熵编码。在其它示例中，视频编码器200可执行自适应扫描。在扫描量化后的变换系数以形成一维矢量之后，视频编码器200可例如根据上下文自适应性二进制算术编码(CABAC)对一维矢量进行熵编码。视频编码器200还可对描述与编码后的视频数据相关联的元数据的语法元素的值进行熵编码，以供由视频解码器300用于对视频数据进行解码。

为了执行CABAC，视频编码器200可将上下文模型内的上下文指派给待发送符号。上下文可涉及(例如)符号的邻近值是否为零值。概率确定可基于指派给符号的上下文。

视频编码器200可进一步(例如)在图片标头、块标头、切片标头或其它语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))中向视频解码器300产生语法数据，诸如基于块的语法数据、基于图片的语法数据以及基于序列的语法数据。视频解码器300可同样地对此类语法数据进行解码以确定对对应视频数据进行解码的方式。

这样，视频编码器200可产生包括编码后的视频数据(例如，描述图片到块(例如，CU)的分割的语法元素和用于块的预测和/或残差信息)的比特流。最后，视频解码器300可接收比特流并对编码后的视频数据进行解码。

通常，视频解码器300执行与视频编码器200所执行的程序互易的程序，以对比特流的编码后的视频数据进行解码。例如，视频解码器300可使用CABAC以与视频编码器200的CABAC编码程序基本上类似但互易的方式对比特流的语法元素的值进行解码。语法元素可定义用于将图片分割成CTU的分割信息和每一CTU根据对应分割结构(诸如QTBT结构)的分割，以定义CTU的CU。语法元素可进一步定义视频数据块(例如，CU)的预测和残差信息。

残差信息可以由例如量化的变换系数表示。视频解码器300可将块的量化后的变换系数逆量化和逆变换，以再现块的残差块。视频解码器300使用发信号通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)以形成块的预测块。视频解码器300然后可(逐样本地)使预测块与残差块组合以再现初始块。视频解码器300可执行附加处理，诸如执行解块程序以减少沿块边界的视觉伪影。

本公开通常可指代“发信号通知”某些信息，诸如语法元素。术语“发信号通知”通常可指代传送用于对编码后的视频数据进行解码的语法元素和/或其它数据的值。即，视频编码器200可在比特流中发信号通知语法元素的值。通常，发信号通知是指在比特流中产生值。如上文所提及，源设备102可基本上实时地将比特流传送到目标设备116，或不实时传送，诸如可在将语法元素存储到存储设备112以供目标设备116稍后检索时发生。

图2A和图2B是示出示例性四叉树-二叉树(QTBT)结构130和对应的编解码树单元(CTU)132的概念图。实线表示四叉树分裂，而虚线指示二叉树分裂。在二叉树的每个分裂(即，非叶)节点中，发信号通知一个标志以指示使用哪种分裂类型(即，水平或竖直)，其中在该示例中，0指示水平分裂而1指示竖直分裂。对于四叉树分裂，不需要指示分裂类型，因为四叉树节点将一个块水平和竖直分裂成大小相等的4个子块。因此，视频编码器200可以对QTBT结构130的区域树层次(即，实线)的语法元素(诸如分裂信息)和QTBT结构130的预测树层次(即，虚线)的语法元素(诸如分裂信息)进行编码，并且视频解码器300可以对这些语法元素进行解码。对于由QTBT结构130的终端叶节点表示的CU，视频编码器200可以对视频数据(诸如预测数据和变换数据)进行编码，并且视频解码器300可以对该视频数据进行解码。

通常，图2B的CTU 132可以与定义与QTBT结构130在第一和第二层级处的节点相对应的块的大小的参数相关联。这些参数可以包括CTU大小(表示样本中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许二叉树深度)和最小二叉树大小(MinBTSize，表示最小允许二叉树叶节点大小)。

与CTU相对应的QTBT结构的根节点在QTBT结构的第一层次处可以具有四个子节点，每个子节点可以根据四叉树分割进行分割。即，第一层次的节点是叶节点(没有子节点)或者具有四个子节点。QTBT结构130的示例将此类节点表示为包括以实线代表分支的父节点和子节点。如果第一层次的节点不大于最大允许二叉树根节点大小(MaxBTSize)，则节点可以被相应的二叉树进一步分割。一个节点的二叉树分裂可以迭代，直到由于分裂而产生的节点达到最小允许二叉树叶节点大小(MinBTSize)或最大允许二叉树深度(MaxBTDepth)。QTBT结构130的示例将此类节点表示为以虚线代表分支。二叉树叶节点被称为编解码单元(CU)，其用于预测(例如，帧内图片或帧间图片预测)和变换，而无需任何进一步的分割。如上文所讨论的，CU也可以被称为“视频块”或“块”。

在QTBT分割结构的一个示例中，CTU大小被设置为128x128(亮度样本和两个对应的64x64色度样本)，MinQTSize被设置为16x16，MaxBTSize被设置为64x64，MinBTSize(针对宽度和高度)被设置为4，并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点的大小可以从16x16(即，MinQTSize)至128x128(即，CTU大小)。如果叶四叉树节点是128x128，则叶四叉树节点不会被二叉树进一步分裂，因为大小超过了MaxBTSize(即，64x64，在该示例中)。否则，四叉树叶节点将通过二叉树进一步分裂。因此，四叉树叶节点也是二叉树的根节点并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(在该示例例中为4)时，不允许进一步分裂。宽度等于MinBTSize(在该示例中为4)的二叉树节点暗示不允许对该二叉树节点进行进一步的竖直分裂(即，宽度划分)。类似地，高度等于MinBTSize的二叉树节点暗示不允许对该二叉树节点进行进一步的水平分裂(即，高度划分)。如上文描述，二叉树的叶节点被称为CU，并且根据预测和变换进行进一步处理而无需进一步分割。

根据本公开的技术，视频解码器300可以被配置为对指示CTU的大小的第一语法元素进行解码。第一语法元素可以例如是下面更详细描述的log2_ctu_size_minus5。在对指示CTU的大小的第一语法元素进行解码之后，视频解码器300可以对指示子图片标识符网格的元素的宽度的第二语法元素进行解码。第二语法元素可以例如是下面更详细描述的subpic_grid_col_width_minus1。在对指示CTU的大小的第一语法元素进行解码之后，视频解码器300可以对指示子图片标识符网格的元素的高度的第三语法元素进行解码。第三语法元素可以例如是下面更详细描述的subpic_grid_row_height_minus1。视频解码器300可以基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置。

为了基于该第一语法元素、该第二语法元素和该第三语法元素确定该子图片在该图片内的位置，视频解码器300可以被配置为基于该第二语法元素和该图片的宽度确定该子图片标识符网格中的列数，基于该第三语法元素和该图片的高度确定该子图片标识符网格中的行数，并且基于该子图片标识符网格中的列数和该子图片标识符网格中的行数确定该子图片在该图片内的位置。子图片标识符网格中的列数在下面示为变量NumSubPicGridCols，而图片的宽度在下面示为变量pic_width_max_in_luma_samples。子图片标识符网格中的行数在下面由变量NumSubPicGridRows表示，而图片的高度在下面由变量pic_height_max_in_luma_samples表示。

为了基于第二语法元素和图片的宽度确定子图片标识符网格中的列数，视频解码器300可以被配置为确定CTU的宽度是否小于最大宽度值，并且响应于确定CTU的宽度小于最大宽度值，基于最大宽度值确定子图片标识符网格中的列数。视频解码器300还可以被配置为确定CTU的高度是否小于最大高度值，并且响应于确定该CTU的高度小于该最大高度值，基于该最大高度值确定该子图片标识符网格中的行数。

为了基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置，视频解码器300可以接收第四语法元素并基于第四语法元素的值、子图片标识符网格中的列数以及子图片标识符网格中的行数来标识子图片标识符网格的元素中的一个元素标识符标识符，并基于所标识的元素来确定子图片在图片内的位置。第四语法元素可以例如是下面更详细描述的subpic_grid_idx[i][j]。为了基于所标识的元素来确定子图片在图片内的位置，视频解码器300可以基于所标识的元素来确定子图片的左上的亮度样本。左上的亮度样本由下面的SubPicTop和SubPicLeft表示。

下面复制了本公开中经过改善的VVC草案6第14版中的部分：

VVC草案6第14版中的第7.3.2.3部分：

VVC草案6第14版中的第7.4.3.3部分：

subpics_present_flag等于1指示在SPS RBSP语法中存在子图片参数。subpics_present_flag等于0指示在SPS RBSP语法中不存在子图片参数。

注2-当比特流是子比特流提取过程的结果并且仅含有子比特流提取过程的输入比特流的子图片的子集时，可能需要在SPS的RBSP中将subpics_present_flag的值设置为等于1。

max_subpics_minus1加1指定CVS中可能存在的最大子图片数量。max_subpics_minus1的范围应为0到254。值255被保留以供ITU-T|ISO/IEC未来使用。

subpic_grid_col_width_minus1加1以4个样本为单位指定子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2(pic_width_max_in_luma_samples/4))比特。

变量NumSubPicGridCols的推导如下：

NumSubPicGridCols＝(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*4+3)/(subpic_grid_col_width_minus1*4+4) (7-5)

subpic_grid_row_height_minus1加1以4个样本为单位指定子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/4))比特。

变量NumSubPicGridRows的推导如下：

NumSubPicGridRows＝(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*4+3)/(subpic_grid_row_height_minus1*4+4) (7-6)

subpic_grid_idx[i][j]指定网格位置(i,j)的子图片索引。语法元素的长度为Ceil(Log2(max_subpics_minus1+1))比特。

变量SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]和NumSubPics的推导如下：

subpic_treated_as_pic_flag[i]等于1指定CVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中被视为图片。subpic_treated_as_pic_flag[i]等于0指定CVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中未被视为图片。如果不存在，则将subpic_treated_as_pic_flag[i]的值推断为等于0。

loop_filter_across_subpic_enabled_flag[i]等于1指定可以在CVS中的每个编解码图片中的第i个子图片的边界上执行环路滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0指定不在CVS中的每个编解码图片中的第i个子图片的边界上执行环路滤波操作。如果不存在，则将loop_filter_across_subpic_enabled_pic_flag[i]的值推断为等于1。

遵循以下约束是比特流一致性的要求：

-对于任何两个子图片subpicA和subpicB，当subpicA的索引小于subpicB的索引时，subPicA的任何编解码NAL单元应按解码顺序在subPicB的任何编解码NAL单元之后。

子图片的形状应使得每个子图片在被解码时应使其整个左边界和整个上边界由图片边界组成或由先前解码的子图片的边界组成。

在启用subpics_present_flag的同时，在VVC草案6第14版中实施的子图片信令仅允许存在一个子图片。由于仅当存在至少两个或更多子图片时才有意义地启用subpics_present_flag，因此当subpics_present_flag等于1时，此信令可能会通过允许一个子图片来产生歧义。当subpic_grid_col_width_minus1和subpic_grid_row_height_minus1同时等于0且当max_subpics_minus1等于0时，可能会出现此问题。本公开还描述了可以解决与网格大小有关的其它问题的附加技术。本公开的技术潜在地解决了这些缺点。

本公开描述了用于改善SPS、PPS和切片标头中的子图片信令的几种技术。所公开的技术可以单独或组合使用。将针对VVC草案6第14版的更改来描述这些技术。建议的更改如下所示。

当启用subpics_present_flag时，在VVC草案6第14版中实施的子图片信令允许仅存在一个子图片。由于仅当存在至少2个或更多子图片时才有意义地启用subpics_present_flag，因此当subpics_present_flag等于1时，此信令可能会通过允许一个子图片来产生歧义。当subpic_grid_col_width_minus1和subpic_grid_row_height_minus1同时等于0且当max_subpics_minus1等于0时，可能会出现此问题。根据一个示例，本公开描述了用max_subpics_minus2替换max_subpics_minus1以从2开始子图片的数量的技术。本公开还描述了不允许subpic_grid_col_width_minus1和subpic_grid_row_height_minus1都等于0的技术。下表示出了对VVC草案6第14版的语法更改，其中＜add＞和＜/add＞之间的文本对应于添加，而＜del＞和＜/del＞之间的文本对应于删除。

VVC草案6第14版中的第7.3.2.3部分：

VVC草案6第14版中的第7.4.3.3部分：

subpics_present_flag等于1指示在SPS RBSP语法中存在子图片参数。subpics_present_flag等于0指示在SPS RBSP语法中不存在子图片参数。

注2-当比特流是子比特流提取过程的结果并且仅含有子比特流提取过程的输入比特流的子图片的子集时，可能需要在SPS的RBSP中将subpics_present_flag的值设置为等于1。

<del>max_subpics_minus1加1指定CVS中可能存在的最大子图片数量。max_subpics_minus1的范围应为0到254。值255被保留以供ITU-T|ISO/IEC未来使用。</del>

＜add＞max_subpics_minus2加2指定CVS中可能存在的最大子图片数。max_subpics_minus2的范围应在0到N之间。值N+b被保留以供ITU-T|ISO/IEC未来使用。</add>

请注意，N和b是正整数，N可以是小于256的任何正数，并且b可以是任何正数，诸如1和2。

subpic_grid_col_width_minus1加1以4个样本为单位指定子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2(pic_width_max_in_luma_samples/4))比特。

变量NumSubPicGridCols的推导如下：

NumSubPicGridCols＝(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*4+3)/

(subpic_grid_col_width_minus1*4+4) (7-5)

subpic_grid_row_height_minus1加1以4个样本为单位指定子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/4))比特。

变量NumSubPicGridRows的推导如下：

NumSubPicGridRows＝(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*4+3)/(subpic_grid_row_height_minus1*4+4) (7-6)

<add>比特流一致性的要求是不允许存在单个子图片。

比特流一致性要求是不允许NumSubPicGridCols＝1且NumSubPicGridRows＝1。</add>

subpic_grid_idx[i][j]指定网格位置(i,j)的子图片索引。语法元素的长度为Ceil(Log2(max_subpics_minus1+1))比特。

变量SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]和NumSubPics的推导如下：

subpic_treated_as_pic_flag[i]等于1指定CVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中被视为图片。subpic_treated_as_pic_flag[i]等于0指定CVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中未被视为图片。如果不存在，则将subpic_treated_as_pic_flag[i]的值推断为等于0。

loop_filter_across_subpic_enabled_flag[i]等于1指定可以在CVS中的每个编解码图片中的第i个子图片的边界上执行环路滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0指定不在CVS中的每个编解码图片中的第i个子图片的边界上执行环路滤波操作。如果不存在，则将loop_filter_across_subpic_enabled_pic_flag[i]的值推断为等于1。

遵循以下约束是比特流一致性的要求：

-对于任何两个子图片subpicA和subpicB，当subpicA的索引小于subpicB的索引时，subPicA的任何编解码NAL单元应按解码顺序在subPicB的任何编解码NAL单元之后。

-子图片的形状应使得每个子图片在被解码时应使其整个左边界和整个上边界由图片边界组成或由先前解码的子图片的边界组成。

在VVC草案6第14版中实施子图片信令可能需要大量的存储器来存储子图片索引(例如subpic_grid_idx[i][j])的数据，因为4x4的网格大小太小。使用8192x4320视频的图片作为示例，根据4x4网格大小，存储子图片索引的值在最坏情况下需要2.21兆比特。因此，本公开描述了用于扩大网格大小并因此减少存储子图片索引所需的存储器量的技术。几个示例描述如下。

根据第一示例，扩大网格大小可以取决于CTU大小。视频解码器300可以例如基于CTU的大小分配一定量的存储器以存储子图片索引。使用8192x4320视频的图片作为示例，对于32x32的网格大小，存储子图片索引需要34千字节。

根据第二示例，视频解码器300可以被配置为仅根据CTU大小但不小于最小值(诸如64x64)来分配用于存储子图片索引的存储器。使用8192x4320视频的图片作为示例，如果最小网格大小为64x64，则在最坏情况下，存储子图片索引需要8.6千字节。

为了实施上面的第一和第二示例，可以将CTU大小的信令log2_ctu_size_minus5向前移动，并且前进到语法元素subpic_grid_idx[i][j]之前。例如，视频解码器300可以被配置为在视频数据的SPS中接收第一语法元素(例如，log2_ctu_size_minus5)、第二语法元素(例如，subpic_grid_col_width_minus1)和第三语法元素(例如，subpic_grid_row_height_minus1)，第一语法元素在第二语法元素和第三语法元素之前被包括在SPS中。

下表示出了对VVC草案6第14版的示例性语法更改，其中＜add＞和＜/add＞之间的文本对应于添加，而＜del＞和＜/del＞之间的文本对应于删除。

VVC草案6第14版中的第7.3.2.3部分：

VVC草案6第14版中的第7.4.3.3部分：

log2_ctu_size_minus5加5指定每个CTU的亮度编解码树块大小。比特流一致性要求是log2_ctu_size_minus5的值小于或等于2。

CtbLog2SizeY＝log2_ctu_size_minus5+5 (7-15)

CtbSizeY＝1<<CtbLog2SizeY (7-16)

subpic_grid_col_width_minus1加1以<add>CtbSizeY</add>个样本为单位指定子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2(pic_width_max_in_luma_samples/<add>CtbSizeY</add>))比特。

变量NumSubPicGridCols的推导如下：

NumSubPicGridCols＝(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*<add>CtbSizeY+CtbSizeY–1</add>)/

(subpic_grid_col_width_minus1*<add>CtbSizeY+CtbSizeY</add>)

(7-5)

subpic_grid_row_height_minus1加1以<add>CtbSizeY</add>个样本为单位指定子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/<add>CtbSizeY</add>))比特。

变量NumSubPicGridRows的推导如下：

NumSubPicGridRows＝(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*<add>CtbSizeY+CtbSizeY–1</add>)/

(subpic_grid_row_height_minus1*<add>CtbSizeY+CtbSizeY</add>)

(7-6)

下表示出了对用于实施上述第二示例的VVC草案6第14版的示例性语法更改，其中＜add＞和＜/add＞之间的文本对应于添加，而＜del＞和＜/del＞之间的文本对应于删除。

VVC草案6第14版中的第7.3.2.3部分：

VVC草案6第14版中的第7.4.3.3部分：

log2_ctu_size_minus5加5指定每个CTU的亮度编解码树块大小。比特流一致性要求是log2_ctu_size_minus5的值小于或等于2。

CtbLog2SizeY＝log2_ctu_size_minus5+5 (7-15)

CtbSizeY＝1<<CtbLog2SizeY (7-16)

subpic_grid_col_width_minus1加1以<add>max(64,CtbSizeY)</add>个样本为单位指定子图片标识符网格的每个元素的宽度。语法元素的长度为Ceil(Log2(pic_width_max_in_luma_samples/max(64,CtbSizeY)</add>))比特。

变量NumSubPicGridCols的推导如下：

NumSubPicGridCols＝(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*<add>max(64,CtbSizeY)+max(64,CtbSizeY)-1<add>)/(subpic_grid_col_width_minus1*<add>max(64,CtbSizeY)+max(64,CtbSizeY)</add>) (7-5)

subpic_grid_row_height_minus1加1以<add>max(64,CtbSizeY)</add>个样本为单位指定子图片标识符网格的每个元素的高度。语法元素的长度为Ceil(Log2(pic_height_max_in_luma_samples/<add>max(64,CtbSizeY)</add>))比特。

变量NumSubPicGridRows的推导如下：

NumSubPicGridRows＝(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*<add>max(64,CtbSizeY)+max(64,CtbSizeY)–1</add>)/

(subpic_grid_row_height_minus1*<add>max(64,CtbSizeY)+max(64,CtbSizeY))</add> (7-6)

图3是示出可以执行本公开的技术的示例性视频编码器200的框图。图3是出于解释目的而提供并且不应被认为是对本公开广泛例示和描述的技术的限制。出于解释目的，本公开在诸如ITU-T H.265(HEVC)视频编解码标准和研发中的ITU-T H.266(VVC)视频编解码标准的视频编解码标准的情况下描述视频编码器200。然而，本公开的技术不限于这些视频编解码标准，并且通常可适用于视频编码和解码。

在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差产生单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、经解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差产生单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任一者或全部可实施于一个或多个处理器中或处理电路中。此外，视频编码器200可以包括附加的或替代的处理器或处理电路以执行这些和其它功能。

视频数据存储器230可以存储将由视频编码器200的组件编码的视频数据。视频编码器200可从例如视频源104(图1)接收存储于视频数据存储器230中的视频数据。DPB 218可充当参考图片存储器，其存储参考视频数据以用于由视频编码器200预测后续视频数据。视频数据存储器230和DPB218可以由多种存储器设备中的任一种形成，诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻RAM(RRAM)，或其它类型的存储器设备。视频数据存储器230和DPB 218可以由相同的存储器设备或单独的存储器设备提供。在各个示例中，视频数据存储器230可以如所示与视频编码器200的其它组件在芯片上，或者相对于那些组件在芯片外。

在本公开中，对视频数据存储器230的参考不应解译为限于在视频编码器200内部的存储器(除非特定地如此描述)，或限于在视频编码器200外部的存储器(除非特定地如此描述)。更确切地，对视频数据存储器230的参考应理解为存储视频编码器200所接收以用于编码的视频数据(例如待编码的当前块的视频数据)的参考存储器。图1的存储器106还可提供对来自视频编码器200的各种单元的输出的暂时存储。

图3的各种单元被示为辅助理解由视频编码器200执行的操作。该单元可被实施为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能性且对可执行的操作进行默认的电路。可编程电路是指可被编程为执行各种任务并在可执行的操作中提供柔性功能性的电路。例如，可编程电路可执行使可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常为不可变的。在一些示例中，单元中的一者或多者可为不同电路块(固定功能或可编程)，并且在一些示例中，单元中的一者或多者可为集成电路。

视频编码器200可包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在其中视频编码器200的操作是使用由可编程电路执行的软件执行的示例中，存储器106(图1)可存储视频编码器200接收并执行的软件的指令(例如，目标代码)，或视频编码器200内的另一存储器(未示出)可存储此类指令。

视频数据存储器230被配置为存储所接收视频数据。视频编码器200可从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差产生单元204和模式选择单元202。视频数据存储器230中的视频数据可以为待编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可包括附加功能单元以根据其它预测模式来进行视频预测。作为示例，模式选择单元202可包括调色板单元、块内复制单元(其可为运动估计单元222和/或运动补偿单元224的部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码遍次以测试编码参数的组合和用于此类组合的所得率失真值。编码参数可包括CTU到CU的分割、用于CU的预测模式、用于CU的残差数据的变换类型、用于CU的残差数据的量化参数等等。模式选择单元202可最终选择比其它所测试组合具有更佳速率-失真值的编码参数的组合。

视频编码器200可以将从视频数据存储器230检索的图片分割成一系列CTU，并且将一个或多个CTU封装于切片内。模式选择单元202可根据树型结构、诸如上文所描述的QTBT结构或HEVC的四叉树结构来分割图片的CTU。如上文所描述，视频编码器200可用根据树状结构分割CTU来形成一个或多个CU。此CU通常还可被称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以产生用于当前块(例如，当前CU，或在HEVC中PU与TU的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可执行运动搜索以标识一个或多个参考图片(例如，存储于DPB 218中的一个或多个先前编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可例如根据绝对差总和(SAD)、平方差总和(SSD)、平均值绝对差(MAD)、均方差(MSD)等来计算表示潜在参考块与当前块的类似程度的值。运动估计单元222通常可使用当前块与所考虑的参考块之间的逐样本差执行这些计算。运动估计单元222可标识具有由这些计算产生的最小值的参考块，从而指示与当前块最紧密匹配的参考块。

运动估计单元222可形成一个或多个运动向量(MV)，其相对于当前图片中的当前块的位置定义参考图片中的参考块的位置。运动估计单元222然后可将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可提供单个运动向量，而对于双向帧间预测，运动估计单元222可提供两个运动向量。运动补偿单元224然后可使用运动向量来产生预测块。例如，运动补偿单元224可使用运动向量检索参考块的数据。作为另一示例，如果运动向量具有分数样本精度，则运动补偿单元224可根据一个或多个内插滤波器为预测块内插值。此外，对于双向帧间预测，运动补偿单元224可检索用于通过相应的运动向量标识的两个参考块的数据，并且例如经由逐样本平均或加权平均来组合所检索的数据。

作为另一示例，对于帧内预测或帧内预测编解码，帧内预测单元226可从邻近当前块的样本产生预测块。例如，对于方向模式，帧内预测单元226可在数学上大致组合邻近样本的值，并且在横跨当前块的所定义方向上填入这些计算值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可计算与当前块相邻的样本的平均值，并且产生预测块以针对预测块的每个样本包括这种所得平均值。

模式选择单元202将预测块提供给残差产生单元204。残差产生单元204从视频数据存储器230接收当前块的原始未经编码版本，并且从模式选择单元202接收预测块的原始未经编解码版本。残差产生单元204计算当前块与预测块之间的逐样本差。所得逐样本差定义当前块的残差块。在一些示例中，残差产生单元204还可确定残差块中的样本值之间的差，以使用残差差分脉冲编解码调制(RDPCM)来产生残差块。在一些示例中，可使用执行二进制减法的一个或多个减法器电路来形成残差产生单元204。

在其中模式选择单元202将CU分割成PU的示例中，每个PU可与亮度预测单元和对应色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上文所指示，CU的大小可以指代CU的亮度编解码块的大小，而PU的大小可以指代PU的亮度预测单元的大小。假设特定CU的大小是2Nx2N，则视频编码器200可以支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称PU大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非对称分割。

在其中模式选择单元202未将CU进一步分割成PU的示例中，每个CU可与亮度编码块和对应色度编码块相关联。如上所示，CU的大小可指CU的亮度编码块的大小。视频编码器200和视频解码器300可支持2N×2N、2N×N或N×2N的CU大小。

对于诸如块内复制模式编解码、仿射模式编解码和线性模型(LM)模式编解码(举几个示例)之类的其它视频编解码技术，模式选择单元202经由与编解码技术相关联的相应的单元产生正编码的当前块的预测块。在诸如调色板模式编解码的一些示例中，模式选择单元202可能不会产生预测块，而是产生指示基于选定调色板来重构块的方式的语法元素。在此类模式中，模式选择单元202可将这些语法元素提供给熵编码单元220以待编码。

如上文所描述，残差产生单元204接收用于当前块和对应预测块的视频数据。残差产生单元204然后产生当前块的残差块。为了产生残差块，残差产生单元204计算预测块与当前块之间的逐样本差。

变换处理单元206将一个或多个变换应用于残差块以产生变换系数的块(在本文中被称为“变换系数块”)。变换处理单元206可将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可将离散余弦变换(DCT)、方向变换(directional transform)、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如主变换和二次变换，诸如旋转变换。在一些示例中，变换处理单元206不将变换应用于残差块。

量化单元208可量化变换系数块中的变换系数，以产生量化后的变换系数块。量化单元208可根据与当前块相关联的量化参数(QP)值量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化程度。量化可引入信息的损失，并且因此，量化后的变换系数可具有比由变换处理单元206产生的原始变换系数低的精度。

逆量化单元210和逆变换处理单元212可将逆量化和逆变换分别应用于量化后的变换系数块，以根据变换系数块重构残差块。重构单元214可基于重构后的残差块和通过模式选择单元202产生的预测块产生对应于当前块的重构块(尽管可能具有一些程度的失真)。例如，重构单元214可将重构后的残差块的样本添加到来自模式选择单元202产生的预测块的对应样本，以产生重构块。

滤波器单元216可对重构块执行一个或多个滤波操作。例如，滤波器单元216可以执行解块操作以减少沿CU的边缘的块效应伪影。在一些示例中，可跳过滤波器单元216的操作。

视频编码器200将重构块存储于DPB 218中。例如，在其中不执行滤波器单元216的操作的示例中，重构单元214可将重构块存储到DPB 218。在其中执行滤波器单元216的操作的示例中，滤波器单元216可将滤波后的重构块存储到DPB 218。运动估计单元222和运动补偿单元224可从DPB 218检索由重构(和可能的滤波后的)块形成的参考图片，以对随后编码的图片的块进行帧间预测。另外，帧内预测单元226可使用当前图片在DPB 218中的重构块以对当前图片中的其它块进行帧内预测。

一般来说，熵编码单元220可对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可对来自量化单元208的量化后的变换系数块进行熵编码。作为另一示例，熵编码单元220可对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可对语法元素(其为视频数据的另一示例)进行一个或多个熵编码操作以产生经熵编码的数据。例如，熵编码单元220可对数据执行上下文自适应性可变长度编码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度编码操作、基于语法的上下文自适应性二进制算术编码(SBAC)操作、概率间隔分割熵(PIPE)编码操作、索引哥伦布编码操作或另一类型的熵编码操作。在一些示例中，熵编码单元220可在旁路模式下操作，其中语法元素未经熵编码。

视频编码器200可输出比特流，该比特流包括重构切片或图片的块所需的经熵编码语法元素。具体地，熵编码单元220可输出比特流。

上文所描述的操作是针对块来描述的。此描述应理解为用于亮度编码块和/或色度编码块的操作。如上文所描述，在一些示例中，亮度编码块和色度编码块是CU的亮度和色度分量。在一些示例中，亮度编码块和色度编码块是PU的亮度和色度分量。

在一些示例中，无需针对色度编码块重复关于亮度编码块执行的操作。作为一个示例，无需重复标识亮度编码块的运动向量(MV)和参考图片的操作来标识色度块的MV和参考图片。更确切地，亮度编码块的MV可被缩放以确定色度块的MV，并且参考图片可为相同的。作为另一示例，帧内预测程序可针对亮度编解码块和色度编解码块是相同的。

这样，视频编码器200表示视频编码设备的示例，该视频编码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为对第一语法元素进行编码，其中用于第一语法元素的值加2指示编解码视频序列(CVS)中可能存在的子图片的最大数量。

视频编码器200还表示视频编码设备的示例，该视频编码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：根据其中第一语法元素和第二语法元素两者不能同时等于0的限制对视频数据进行编码，其中第一语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

视频编码器200还表示视频编码设备的示例，该视频编码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：对指示编解码树单元的大小的语法元素进行编码；以及在对指示编解码树单元的大小的语法元素进行编码之后，对第一语法元素和第二语法元素进行编码，其中第一语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

视频编码器200还表示视频编码设备的示例，该视频编码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：对指示编解码树单元的大小的语法元素进行编码；以及在对指示编解码树单元的大小的语法元素进行编码之后，对第一语法元素和第二语法元素进行编码，其中第一语法元素的值加1来以最大(64,CtbSizeY)样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素以最大(64，CtbSizeY)样本为单位指定子图片标识符网格中每个元素的高度。在该示例或以上示例中的任一者中，语法元素可以例如包括在SPS中。

图4是示出可以执行本公开的技术的示例性视频解码器300的框图。图4是出于解释目的而提供并且并非是对本公开广泛例示和描述的技术的限制。出于解释目的，本公开根据VVC和HEVC的技术来描述视频解码器300。然而，本公开的技术可由被配置为其它视频编解码标准的视频编解码设备执行。

在图4的示例中，视频解码器300包括编码后的图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码后的图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任一者或全部可实施于一个或多个处理器或处理电路中。此外，视频解码器300可以包括附加的或替代的处理器或处理电路以执行这些和其它功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可包括根据其它预测模式执行预测的附加单元。作为示例，预测处理单元304可包括调色板单元、块内复制单元(其可形成运动补偿单元316的部分)、仿射单元、线性模型(LM)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可存储待由视频解码器300的组件解码的视频数据，诸如编码后的视频比特流。可(例如)从计算机可读介质110(图1)获得存储于CPB存储器320中的视频数据。CPB存储器320可包括存储来自编码后的视频比特流的编码后的视频数据(例如，语法元素)的CPB。而且，存储器320可存储除编码后的图片的语法元素的外的视频数据，诸如表示来自视频解码器300的各种单元的输出的暂时数据。DPB 314通常存储解码后的图片，视频解码器300可在对编码后的视频比特流的后续数据或图片进行解码时输出该解码后的图片和/或将其用作参考视频数据。CPB存储器320和DPB314可以由多种存储器设备中的任何一种形成，例如包括SDRAM的DRAM、MRAM、RRAM，或其它类型的存储器设备。CPB存储器320和DPB314可以由相同的存储器设备或单独的存储器设备提供。在各个示例中，CPB存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。

另外或替代地，在一些示例中，视频解码器300可从存储器120(图1)检索编解码后的视频数据。即，存储器120可通过CPB存储器320来存储如上文所讨论的数据。同样地，当视频解码器300的一些或所有功能性实施于软件中以由视频解码器300的处理电路执行时，存储器120可存储待由视频解码器300执行的指令。

图4中所示的各种单元被示为辅助理解由视频解码器300执行的操作。该单元可被实施为固定功能电路、可编程电路或其组合。类似于图3，固定功能电路是指提供特定功能性且对可执行的操作进行默认的电路。可编程电路是指可被编程为执行各种任务并在可执行的操作中提供柔性功能性的电路。例如，可编程电路可执行使可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常为不可变的。在一些示例中，单元中的一者或多者可为不同电路块(固定功能或可编程)，并且在一些示例中，单元中的一者或多者可为集成电路。

视频解码器300可包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作系由在可编程电路上执行的软件执行的示例中，芯片上或芯片外存储器可存储视频解码器300接收并执行的软件的指令(例如目标代码)。

熵解码单元302可从PCB存储器接收编码后的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成解码的视频数据。

通常，视频解码器300逐块地重构图片。视频解码器300可单独对每一块执行重构操作(其中当前经重构(即，解码后的)的块可被称为“当前块”)。

熵解码单元302可以对定义经量化变换系数块的经量化变换系数的语法元素以及诸如量化参数(QP)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可使用与经量化变换系数块相关联的QP来确定量化程度，并且同样确定逆量化程度以供逆量化单元306应用。逆量化单元306可以例如执行按位左移操作以将量化后的变换系数逆量化。逆量化单元306可由此形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块以产生与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一种逆变换应用于变换系数块。

此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素产生预测块。例如，如果预测信息语法元素指示当前块经帧间预测，则运动补偿单元316可以产生预测块。在该情况下，预测信息语法元素可以指示DPB 314中的参考图片(从其中检索参考块)以及运动向量，该运动向量标识参考图片中的参考块相对于当前图片中的当前块的位置的位置。运动补偿单元316通常可以基本上类似于关于运动补偿单元224(图3)所描述的方式执行帧间预测程序。

作为另一示例，如果预测信息语法元素指示当前块经帧内预测，则帧内预测单元318可以根据通过预测信息语法元素指示的帧内预测模式产生预测块。而且，帧内预测单元318通常可以基本上类似于关于帧内预测单元226(图3)所描述的方式执行帧内预测程序。帧内预测单元318可将邻近样本的数据从DPB 314检索到当前块。

重构单元310可使用预测块与残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本以重构当前块。

滤波器单元312可对重构块执行一个或多个滤波操作。例如，滤波器单元312可执行解块操作以沿重构块的边缘减少块效应伪影。滤波器单元312的操作不一定在所有示例中执行。

视频解码器300可将重构块存储于DPB 314中。例如，在其中不执行滤波器单元312的操作的示例中，重构单元310可以将重构块存储到DPB 314。在其中执行滤波器单元312的操作的示例中，滤波器单元312可以将滤波后的重构块存储到DPB 314。如上文所讨论，DPB314可以将诸如用于帧内预测的当前图片和用于后续运动补偿的经先前解码图片的样本的参考信息提供给预测处理单元304。此外，视频解码器300可输出来自DPB 314的解码后图片(例如，解码后视频)以用于随后呈现于诸如图1的显示设备118的显示设备上。

这样，视频解码器300表示视频解码设备的示例，该视频解码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为对第一语法元素进行解码，其中用于第一语法元素的值加2指示编解码视频序列中可能存在的子图片的最大数量。

视频解码器300还表示视频解码设备的示例，该视频解码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：根据其中第一语法元素和第二语法元素两者不能同时等于0的限制对视频数据进行解码，其中第一语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

视频解码器300还表示视频解码设备的示例，该视频解码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：对指示编解码树单元的大小的语法元素进行解码；以及在对指示编解码树单元的大小的语法元素进行编解码之后，对第一语法元素和第二语法元素进行解码，其中第一语法元素的值加1以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

视频解码器300还表示视频解码设备的示例，该视频解码设备包括：存储器，该存储器被配置为存储视频数据；以及一个或多个处理单元，该一个或多个处理单元实施于电路中并且被配置为：对指示编解码树单元的大小的语法元素进行解码；以及在对指示编解码树单元的大小的语法元素进行编解码之后，对第一语法元素和第二语法元素进行解码，其中第一语法元素的值加1来以max(64,CtbSizeY)个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素以max(64，CtbSizeY)个样本为单位指定子图片标识符网格中每个元素的高度。在该示例或以上示例中的任一者中，语法元素可以例如包括在SPS中。

图5是示出用于对当前块进行编码的示例性过程的流程图。当前块可包括当前CU。尽管关于视频编码器200(图1和图3)进行描述，但应理解，其它设备可被配置为进行类似于图5的方法的方法。

在该示例中，视频编码器200首先预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。视频编码器200然后可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算当前块的原始未经编码块与预测块之间的差。视频编码器200然后可以对残差块的系数进行变换和量化(354)。接下来，视频编码器200可以扫描残差块的量化后的变换系数(356)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可使用CAVLC或CABAC对变换系数进行编码。视频编码器200然后可以输出块的经熵编码数据(360)。

图6是示出用于对当前视频数据块进行解码的示例性过程的流程图。当前块可包括当前CU。尽管关于视频解码器300(图1和图4)进行描述，但应理解，其它设备可被配置为进行类似于图6的方法的方法。

视频解码器300可接收当前块的经熵编码数据，诸如对应于当前块的残差块的系数的经熵编码预测信息和经熵编码数据(370)。视频解码器300可以对经熵编码数据进行熵解码，以确定当前块的预测信息并再现残差块的系数(372)。视频解码器300可以例如使用如由当前块的预测信息所指示的帧内或帧间预测来预测当前块(374)，以计算当前块的预测块。视频解码器300随后可以逆扫描经再现的系数(376)，以产生量化后的变换系数的块。视频解码器300可随后对变换系数进行逆量化和逆变换以产生残差块(378)。视频解码器300最后可通过组合预测块与残差块来对当前块进行解码(380)。

图7是示出用于对视频数据图片块进行解码的示例性过程的流程图。尽管关于视频解码器300(图1和图4)进行描述，但应理解，其它设备可被配置为进行类似于图7的方法的方法。

在图7的示例中，视频解码器300对指示CTU的大小的第一语法元素进行解码(400)。在对指示CTU的大小的第一语法元素进行解码之后，视频解码器300对指示子图片标识符网格的元素的宽度的第二语法元素进行解码(402)。在对指示CTU的大小的第一语法元素进行解码之后，视频解码器300对指示子图片标识符网格的元素的高度的第三语法元素进行解码(404)。视频解码器300可例如接收视频数据的序列参数集中的第一语法元素、第二语法元素和第三语法元素。第一语法元素可以在第二语法元素和第三语法元素之前被包括在视频数据的序列参数集中。

视频解码器300基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置(406)。为了基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置，视频解码器300可以被配置为基于第一语法元素、第二语法元素和图片的宽度确定子图片标识符网格中的列数；基于第一语法元素、第三语法元素和图片的高度确定子图片标识符网格中的行数；以及基于子图片标识符网格中的列数和子图片标识符网格中的行数确定子图片在图片内的位置。

为了基于第二语法元素和图片的宽度确定子图片标识符网格中的列数，视频解码器300可以被配置为确定CTU的宽度是否小于最大宽度值，并且响应于确定CTU的宽度小于最大宽度值，基于最大宽度值确定子图片标识符网格中的列数。为了基于第三语法元素和图片的高度确定子图片标识符网格中的行数，视频解码器300可以被配置为确定CTU的高度是否小于最大高度值，并且响应于确定CTU的高度小于最大高度值，基于最大高度值确定子图片标识符网格中的行数。

为了基于该第一语法元素、该第二语法元素和该第三语法元素确定子图片在图片内的位置，视频解码器300可以被配置为接收第四语法元素；基于第四语法元素的值、子图片标识符网格中的列数和子图片标识符网格中的行数来标识子图片标识符网格的元素中的元素；以及基于所标识的元素确定子图片在图片内的位置。为了基于所标识的元素来确定子图片在图片内的位置，视频解码器300可以被配置为基于所标识的元素来确定子图片的左上的亮度样本。视频解码器300可以基于CTU的大小分配一定量的存储器以存储第四语法元素的值。

视频解码器300可以基于确定的位置对子图片进行解码。作为解码的一部分，视频解码器300可以例如从图片提取子图片或使子图片相对于图片中的其它子图片移动。

以下示例描述可由视频编码器200和视频解码器300中的一者或两者执行的技术。

示例1：一种对视频数据进行编解码的方法包括：对第一语法元素进行编解码，其中第一语法元素的值加2指示编解码视频序列中可以存在的子图片的最大数量。

示例2：一种对视频数据进行编解码的方法包括：根据其中第一语法元素和第二语法元素两者不能同时等于0的限制对视频数据进行编解码，其中第一语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

示例3：一种对视频数据进行编解码的方法包括：对指示编解码树单元的大小的语法元素进行编解码；在对指示编解码树单元的大小的语法元素进行编解码之后，对第一语法元素和第二语法元素进行编解码，其中第一语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素的值加1来以N个样本为单位指定子图片标识符网格的每个元素的高度，其中N是整数值。

示例4：一种对视频数据进行编解码的方法包括：对指示编解码树单元的大小的语法元素进行编解码；在对指示编解码树单元的大小的语法元素进行编解码之后，对第一语法元素和第二语法元素进行编解码，其中第一语法元素的值加1来以max(64,CtbSizeY)个样本为单位指定子图片标识符网格的每个元素的宽度，并且第二语法元素以max(64，CtbSizeY)个样本为单位指定子图片标识符网格中每个元素的高度。

示例5：根据示例1至4中任一项所述的方法，其中语法元素包括在序列参数集中。

示例6：根据示例1至5中任一项所述的方法，其中编解码包括解码。

示例7：根据示例1至5中任一项所述的方法，其中编解码包括编码。

示例8：一种用于对视频数据进行编解码的设备，该设备包括用于执行根据示例1至5中任一项所述的方法的一个或多个部件。

示例9：根据示例8所述的设备，其中该一个或多个部件包括实施于电路中的一个或多个处理器。

示例10：根据示例8或9中任一项所述的设备，其还包括存储器用于存储视频数据。

示例11：根据示例8至10中任一项所述的设备，其还包括显示器，该显示器被配置为显示解码视频数据。

示例12：根据示例8至11中任一项所述的设备，其中该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。

示例13：根据示例8至12中任一项所述的设备，其中该设备包括视频解码器。

示例14：根据示例8至13中任一项所述的设备，其中该设备包括视频编码器。

示例15：一种其上存储有指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器执行根据示例1至7中任一项所述的方法。

应当认识到，取决于示例，本文描述的任何技术的某些动作或事件可以以不同顺序执行，可以被添加、合并或完全排除(例如，并非所有描述的动作或事件都是技术实践所必需的)。此外，在某些示例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理或多个处理器执行，而不是顺序执行。

在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果以软件实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质发送并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质(其对应于诸如数据存储介质之类的有形介质)或通信介质，其包括促进例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质一般可对应于(1)非暂时性有形计算机可读存储介质，或(2)通信介质(诸如，信号或载波)。数据存储介质可为可由一个或多个计算机或一个或多个处理器访问以检索用于实施本公开中所描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。

通过示例的方式而不是限制的方式，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储介质或其它磁存储设备、快闪存储器或者可以用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机访问的任何其它介质。而且，将任何连接适当地称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发送指令，则在介质的定义中包括同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是针对非暂时性、有形存储介质。如本文中使用的磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘借助于激光光学地再现数据。上述组合也应包括于计算机可读介质的范围内。

指令可以由一个或多个处理器执行，如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路系统。因此，如本文所使用的术语“处理器”和“处理电路”可以指代任何前述结构或者适合于实施本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能性可以被提供于被配置用于编码和解码或者被结合在组合编解码器中的专用硬件和/或软件模块内。而且，技术可完全实施于一个或多个电路或逻辑元件中。

本公开的技术可实施于广泛多种设备或装置中，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述各种组件、模块或单元以强调被配置为执行所公开技术的设备的功能方面，但未必需要由不同硬件单元来实现。更确切地，如上文所描述，可将各种单元组合于编解码硬件单元中，或由互操作性硬件单元(包括如上文所描述的一个或多个处理器)的集合结合合适软件和/或固件来提供各种单元。

已经描述了各种示例。这些和其它示例在以下权利要求的范围内。

Claims (30)

1.一种对视频数据进行解码的方法，所述方法包括：

对指示编解码树单元(CTU)的大小的第一语法元素进行解码；

在对指示CTU的大小的所述第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；

在对指示CTU的大小的所述第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；

基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定子图片在图片内的位置；以及

基于所述确定的位置对所述子图片进行解码。

2.根据权利要求1所述的方法，其中，基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置包括：

基于所述第一语法元素、所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的列数；

基于所述第一语法元素、所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的行数；以及

基于所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数确定所述子图片在图片内的位置。

3.根据权利要求2所述的方法，其中：

基于所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的所述列数包括：

确定所述CTU的宽度是否小于最大宽度值；以及

响应于确定所述CTU的宽度小于所述最大宽度值，基于所述最大宽度值确定所述子图片标识符网格中的所述列数；

基于所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的所述行数包括：

确定所述CTU的高度是否小于最大高度值；以及

响应于确定所述CTU的所述高度小于所述最大高度值，基于所述最大高度值确定所述子图片标识符网格中的所述行数。

4.根据权利要求2所述的方法，其中，基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置包括还包括：

接收第四语法元素；

基于所述第四语法元素的值、所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数来标识所述子图片标识符网格的元素中的元素；以及

基于所标识的元素确定所述子图片在图片内的位置。

5.根据权利要求4所述的方法，其中，基于所标识的元素来确定所述子图片在图片内的位置包括基于所标识的元素来确定所述子图片的左上的亮度样本。

6.根据权利要求4所述的方法，还包括：

基于所述CTU的大小分配一定量的存储器以存储所述第四语法元素的值。

7.根据权利要求1所述的方法，还包括：

接收所述视频数据的序列参数集中的所述第一语法元素、所述第二语法元素和所述第三语法元素。

8.根据权利要求6所述的方法，其中，所述第一语法元素在所述第二语法元素和所述第三语法元素之前被包括在视频数据的所述序列参数集中。

9.一种对视频数据进行解码的设备，所述设备包括：

存储器；以及

在电路中实施的一个或多个处理器，所述一个或多个处理器耦合到所述存储器并且被配置为：

对指示编解码树单元(CTU)的大小的第一语法元素进行解码；

在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；

在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；

基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定子图片在图片内的位置；以及

基于所述确定的位置对所述子图片进行解码。

10.根据权利要求9所述的设备，其中，为了基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置，所述一个或多个处理器还被配置为：

基于所述第一语法元素、所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的列数；

基于所述第一语法元素、所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的行数；以及

基于所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数确定所述子图片在图片内的位置。

11.根据权利要求10所述的设备，其中：

为了基于所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的所述列数，所述一个或多个处理器还被配置为：

确定所述CTU的宽度是否小于最大宽度值；以及

响应于确定所述CTU的宽度小于所述最大宽度值，基于所述最大宽度值确定所述子图片标识符网格中的所述列数；

为了基于所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的所述行数，所述一个或多个处理器还被配置为：

确定所述CTU的高度是否小于最大高度值；以及

响应于确定所述CTU的所述高度小于所述最大高度值，基于所述最大高度值确定所述子图片标识符网格中的所述行数。

12.根据权利要求10所述的设备，其中，为了基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置，所述一个或多个处理器还被配置为：

接收第四语法元素；

基于所述第四语法元素的值、所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数来标识所述子图片标识符网格的元素中的元素；以及

基于所标识的元素确定所述子图片在图片内的位置。

13.根据权利要求12所述的设备，其中，为了基于所所标识的元素来确定所述子图片在图片内的位置，所述一个或多个处理器还被配置为基于所标识的元素来确定所述子图片的左上的亮度样本。

14.根据权利要求12所述的设备，其中，所述一个或多个处理器还被配置为：

基于所述CTU的大小分配一定量的存储器以存储所述第四语法元素的值。

15.根据权利要求9所述的设备，其中，所述一个或多个处理器还被配置为：

接收所述视频数据的序列参数集中的所述第一语法元素、所述第二语法元素和所述第三语法元素。

16.根据权利要求14所述的设备，其中，所述第一语法元素在所述第二语法元素和所述第三语法元素之前被包括在视频数据的所述序列参数集中。

17.根据权利要求14所述的设备，其还包括：

显示器，所述显示器被配置为显示所述解码的子图片。

18.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时将处理器配置为：

对指示编解码树单元(CTU)的大小的第一语法元素进行解码；

在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的宽度的第二语法元素进行解码；

在对指示CTU的大小的第一语法元素进行解码之后，对指示子图片标识符网格的元素的高度的第三语法元素进行解码；以及

基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定子图片在图片内的位置。

19.根据权利要求18所述的计算机可读存储介质，其中，所述指令将所述处理器配置为：

基于所述第一语法元素、所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的列数；

基于所述第一语法元素、所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的行数；

基于所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数确定所述子图片在图片内的位置；以及

基于所确定的位置对所述子图片进行解码。

20.根据权利要求19所述的计算机可读存储介质，其中：

为了基于所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的所述列数，所述指令将所述处理器配置为：

确定所述CTU的宽度是否小于最大宽度值；以及

响应于确定所述CTU的宽度小于所述最大宽度值，基于所述最大宽度值确定所述子图片标识符网格中的所述列数；

为了基于所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的所述行数，所述指令将所述处理器配置为：

确定所述CTU的高度是否小于最大高度值；以及

响应于确定所述CTU的所述高度小于所述最大高度值，基于所述最大高度值确定所述子图片标识符网格中的所述行数。

21.根据权利要求19所述的计算机可读存储介质，其中，所述指令将所述处理器配置为：

接收第四语法元素；

基于所述第四语法元素的值、所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数来标识所述子图片标识符网格的元素中的元素；以及

基于所标识的元素确定所述子图片在图片内的位置。

22.根据权利要求21所述的计算器可读存储介质，其中，所述指令将所述处理器配置为基于所标识的元素来确定所述子图片的左上的亮度样本。

23.根据权利要求21所述的计算器可读存储介质，其中，所述指令将所述处理器配置为基于所述CTU的大小分配一定量的存储器以存储所述第四语法元素的值。

24.根据权利要求18所述的计算机可读存储介质，其中，所述指令将所述处理器配置为：

接收所述视频数据的序列参数集中的所述第一语法元素、所述第二语法元素和所述第三语法元素。

25.根据权利要求23所述的计算机可读存储介质，其中，所述第一语法元素在所述第二语法元素和所述第三语法元素之前被包括在视频数据的所述序列参数集中。

26.一种对视频数据进行解码的设备，所述设备包括：

用于对指示编解码树单元(CTU)的大小的第一语法元素进行解码的部件；

用于在对指示CTU的大小的所述第一语法元素进行解码之后对指示子图片标识符网格的元素的宽度的第二语法元素进行解码的部件；

用于在对指示CTU的大小的所述第一语法元素进行解码之后对指示子图片标识符网格的元素的高度的第三语法元素进行解码的部件；以及

用于基于第一语法元素、第二语法元素和第三语法元素确定子图片在图片内的位置的部件。

27.根据权利要求26所述的设备，其中，用于基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置的部件包括：

用于基于所述第一语法元素、所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的列数的部件；

用于基于所述第一语法元素、所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的行数的部件；以及

用于基于所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数确定所述子图片在图片内的位置的部件。

28.根据权利要求27所述的设备，其中：

用于基于所述第二语法元素和所述图片的宽度确定所述子图片标识符网格中的所述列数的部件包括：

用于确定所述CTU的宽度是否小于最大宽度值的部件；以及

响应于确定所述CTU的宽度小于所述最大宽度值，基于所述最大宽度值确定所述子图片标识符网格中的所述列数；

用于基于所述第三语法元素和所述图片的高度确定所述子图片标识符网格中的所述行数的部件包括：

用于确定所述CTU的高度是否小于最大高度值的部件；并且

响应于确定所述CTU的所述高度小于所述最大高度值，基于所述最大高度值确定所述子图片标识符网格中的所述行数。

29.根据权利要求27所述的设备，其中，用于基于所述第一语法元素、所述第二语法元素和所述第三语法元素确定所述子图片在图片内的位置的部件包括还包括：

用于接收第四语法元素的部件；

用于基于所述第四语法元素的值、所述子图片标识符网格中的所述列数和所述子图片标识符网格中的所述行数来标识所述子图片标识符网格的元素中的元素的部件；以及

用于基于所标识的元素确定所述子图片在图片内的位置的部件。

30.根据权利要求28所述的设备，还包括：

用于基于所述CTU的大小分配一定量的存储器以存储所述第四语法元素的值的部件。

Images