CN114615506A - 用于视频编解码的子块变换的方法和系统 - Google Patents

Abstract

计算设备通过以下方式执行解码视频数据的方法：从比特流中接收与SBT编解码单元相关联的第一语法元素，第一语法元素指示在SBT编解码单元中存在至少一个非零变换系数；确定包括非零变换系数的第一变换单元；接收与第一变换单元的第一色度分量相关联的第二语法元素、与第二色度分量相关联的第三语法元素、以及与第一变换单元的亮度分量相关联的第四语法元素；基于第二、第三和第四语法元素，对第一变换单元的色度分量和亮度分量的变换系数进行解码；以及将多个变换单元的其余部分的亮度分量和色度分量的变换系数设置为零。

Description

用于视频编解码的子块变换的方法和系统

本申请是中国专利申请202080043251.1的分案申请。

技术领域

本申请总体上涉及视频数据编码和解码，并且特别地，涉及用于视频编解码的子块变换（SBT）的方法和系统。

背景技术

数字视频受各种各样的电子设备支持，诸如数字电视、膝上型或台式计算机、平板计算机、数字照相机、数字记录设备、数字媒体播放器、视频游戏控制台、智能电话、视频远程会议设备、视频流式传输设备等。电子设备通过实现如由MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分、高级视频编解码（AVC）、高效视频编解码（HEVC）和通用视频编解码（VVC）标准所定义的视频压缩/解压缩标准，而对数字视频数据进行发送、接收、编码、解码和/或存储。视频压缩典型地包括执行空间（帧内）预测和/或时间（帧间）预测，以降低或者去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧分割成一个或多个条带，每个条带具有多个视频块，视频块也可以称为编解码树单元（CTU）。每个CTU可以包含一个编解码单元（CU），或者递归地拆分成更小的CU，直到达到预定义最小CU尺寸。每个CU（也称为叶CU）包含一个或多个变换单元（TU），并且每个CU也包含一个或多个预测单元（PU）。每个CU可以以帧内模式、帧间模式或者IBC模式被编解码。视频帧的帧内编解码（I）条带中的视频块是关于相同视频帧内的相邻块中的参考样本，而使用空间预测被编码的。视频帧的帧间编解码（P或B）条带中的视频块可以关于相同视频帧内的相邻块中的参考样本而使用空间预测，或者关于其他先前和/或未来参考视频帧中的参考样本而使用时间预测。

基于先前已经编码的参考块（例如，相邻块）的空间或时间预测，产生了针对要被编解码的当前视频块的预测块。找到参考块的过程可以通过块匹配算法完成。表示要被编解码的当前块与预测块之间的像素差异的残差数据称为残差块或者预测误差。帧间编解码的块依照运动向量和残差块被编码，运动向量指向形成预测块的参考帧中的参考块。确定运动向量的过程典型地称为运动估计。帧内编解码的块依照帧内预测模式和残差块被编码。为了进一步压缩，将残差块从像素域变换到变换域（例如，频域），而产生残差变换系数，残差变换系数然后可以被量化。最初以二维阵列布置的量化的变换系数可以被扫描以产生变换系数的一维向量，并且然后被熵编码到视频比特流中以实现甚至更大的压缩。

编码的视频比特流然后被保存在计算机可读存储介质（例如，闪存）中，以便由具有数字视频能力的另一个电子设备访问，或者有线或无线地直接传输至该电子设备。电子设备然后通过例如以下方式执行视频解压缩（其为上面描述的视频压缩的相反过程）：解析编码的视频比特流以便从比特流获得语法元素，以及至少部分地基于从比特流获得的语法元素，将数字视频数据从编码的视频比特流重建为它的原始格式；并且电子设备在电子设备的显示器上呈现重建的数字视频数据。

发明内容

本申请描述了涉及视频数据编码和解码的实现方式，并且更具体地，实现方式涉及视频编解码中的子块变换的改进的系统和方法。

依照本申请的第一方面，一种对子块变换（SBT）编解码单元进行解码的方法，其中SBT编解码单元被分割成多个变换单元，该方法包括：从比特流中接收与SBT编解码单元相关联的第一语法元素，其中第一语法元素指示在SBT编解码单元中存在至少一个非零变换系数；响应于接收到指示在SBT编解码单元中存在至少一个非零变换系数的第一语法元素，确定多个变换单元中包括非零变换系数的第一变换单元；从比特流中接收第二语法元素、第三语法元素和第四语法元素，第二语法元素与第一变换单元的第一色度分量相关联以指示是否第一色度分量的所有变换系数都为零，第三语法元素与第一变换单元的第二色度分量相关联以指示是否第二色度分量的所有变换系数都为零，第四语法元素与第一变换单元的亮度分量相关联以指示是否亮度分量的所有变换系数都为零；基于来自比特流的第二、第三和第四语法元素对第一变换单元的色度分量和亮度分量的变换系数进行解码；以及将多个变换单元的其余部分的亮度分量和色度分量的变换系数设置为零。

依照本申请的第二方面，一种电子装置包括一个或多个处理单元、存储器、以及存储器中存储的多个程序。这些程序在由一个或多个处理单元执行时，使得电子装置执行上面描述的操作。

依照本申请的第三方面，一种非暂时性计算机可读存储介质存储多个程序，以供具有一个或多个处理单元的电子装置执行。这些程序在由一个或多个处理单元执行时，使得电子装置执行上面描述的操作。

附图说明

附图被包括以提供对实现方式的进一步理解并且被并入本文且构成说明书的一部分，附图图示了所描述的实现方式并且与描述一起用来解释底层原理。相似的参考标号指代对应的部分。

图1为图示出依照本公开一些实现方式的示例性视频编码和解码系统的框图。

图2为图示出依照本公开一些实现方式的示例性视频编码器的框图。

图3为图示出依照本公开一些实现方式的示例性视频解码器的框图。

图4A至图4F为图示出依照本公开一些实现方式如何将帧递归地四叉树分割成多个不同尺寸和形状的视频块的框图。

图5A-图5B为图示出依照本公开一些实现方式的叶编解码块的不同子块变换分割的框图。

图6为图示出依照本公开一些实现方式的对子块变换编解码单元进行解码的过程的流程图。

具体实施方式

现在将详细地参考特定的实现方式，其示例在附图中图示出。在以下详细描述中，阐述了许多非限制性特定细节以便帮助理解本文给出的主题。但是，对于本领域普通技术人员而言显而易见的是，在不脱离权利要求的范围的情况下可以使用各种不同的替代方案，并且可以在没有这些特定细节的情况下实施主题。例如，对于本领域普通技术人员而言显而易见的是，本文给出的主题可以在具有数字视频能力的许多类型的电子设备上实现。

图1为图示出依照本公开一些实现方式的用于对视频块并行地编码和解码的示例性系统10的框图。如图1所示，系统10包括源设备12，其生成和编码要在以后的时间由目标设备14解码的视频数据。源设备12和目标设备14可以包括各种各样的电子设备中的任何电子设备，包括台式或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、照相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些实现方式中，源设备12和目标设备14配备有无线通信能力。

在一些实现方式中，目标设备14可以经由链路16接收要解码的经编码的视频数据。链路16可以包括能够将编码的视频数据从源设备12移动到目标设备14的任何类型的通信介质或设备。在一个示例中，链路16可以包括使得源设备12能够实时地将编码的视频数据直接传输至目标设备14的通信介质。编码的视频数据可以依照诸如无线通信协议之类的通信标准被调制，并且被传输至目标设备14。通信介质可以包括任何无线或有线通信介质，诸如射频（RF）频谱或者一根或多根物理传输线。通信介质可以形成基于分组的网络（诸如局域网、广域网、或者诸如因特网之类的全球网络）的一部分。通信介质可以包括路由器、交换机、基站、或者可以对促进从源设备12到目标设备14的通信有用的任何其他装备。

在一些其他实现方式中，编码的视频数据可以从输出接口22传输至存储设备32。随后，存储设备32中的编码的视频数据可以由目标设备14经由输入接口28访问。存储设备32可以包括各种各样的分布式或本地访问的数据存储介质中的任何数据存储介质，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或者用于存储编码的视频数据的任何其他适当的数字存储介质。在另外的示例中，存储设备32可以对应于文件服务器或者可以保持由源设备12生成的编码视频数据的另一中间存储设备。目标设备14可以经由流式传输或者下载访问来自存储设备32的存储的视频数据。文件服务器可以是能够存储编码的视频数据以及将编码的视频数据传输至目标设备14的任何类型的计算机。示例性文件服务器包括web服务器（例如，用于网站）、FTP服务器、网络附接存储（NAS）设备、或者本地盘驱动器。目标设备14可以通过适合于访问文件服务器上存储的编码视频数据的任何标准数据连接来访问编码的视频数据，标准数据连接包括无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、电缆调制解调器等）、或者二者的组合。来自存储设备32的编码视频数据的传输可以是流式传输、下载传输、或者二者的组合。

如图1所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可以包括诸如视频捕获设备之类的源，例如摄像机、包含先前捕获视频的视频档案、从视频内容供应者接收视频的视频馈送接口、和/或用于生成作为源视频的计算机图形数据的计算机图形系统、或者此类源的组合。作为一个示例，如果视频源18为安全监控系统的摄像机，那么源设备12和目标设备14可以形成相机电话或者视频电话。然而，本申请中描述的实现方式可以一般性地适用于视频编解码，并且可以应用于无线和/或有线应用。

捕获的视频、预先捕获的视频、或者计算机生成的视频可以由视频编码器20编码。编码的视频数据可以经由源设备12的输出接口22直接传输至目标设备14。编码的视频数据也可以（或者可替换地）存储到存储设备32上，以便以后由目标设备14或者其他设备访问，用于解码和/或回放。输出接口22可以进一步包括调制解调器和/或发射器。

目标设备14包括输入接口28、视频解码器30和显示设备34。输入接口28可以包括接收器和/或调制解调器，并且通过链路16接收编码的视频数据。通过链路16传送或者在存储设备32上提供的编码视频数据可以包括各种各样的语法元素，语法元素由视频编码器20生成以便由视频解码器30在解码视频数据时使用。这样的语法元素可以被包括于在通信介质上传输、在存储介质上存储、或者在文件服务器上存储的编码视频数据内。

在一些实现方式中，目标设备14可以包括显示设备34，显示设备34可以是集成式显示设备以及被配置为与目标设备14通信的外部显示设备。显示设备34向用户显示解码的视频数据，并且可以包括各种各样的显示设备中的任何显示设备，诸如液晶显示器（LCD）、等离子体显示器、有机发光二极管（OLED）显示器、或者另一种类型的显示设备。

视频编码器20和视频解码器30可以依照专有标准或行业标准而操作，诸如VVC、HEVC、MPEG-4第10部分、高级视频编解码（AVC）、或者此类标准的扩展。应当理解，本申请并不限于特定的视频编解码/解码标准，并且可以适用于其他视频编解码/解码标准。通常认为，源设备12的视频编码器20可以被配置为依照这些当前或未来标准中的任何标准对视频数据进行编码。类似地，通常还认为，目标设备14的视频解码器30可以被配置为依照这些当前或未来标准中的任何标准对视频数据进行解码。

视频编码器20和视频解码器30每一个都可以实现为各种各样的适当的编解码器电路系统中的任何电路系统，诸如一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、离散逻辑、软件、硬件、固件、或者其任何组合。当部分地以软件实现时，电子设备可以将用于该软件的指令存储在适当的非暂时性计算机可读介质中，并且在硬件中使用一个或多个处理器执行这些指令,以便执行本公开中公开的视频编解码/解码操作。视频编码器20和视频解码器30中的每一个都可以被包括在一个或多个编码器或解码器中，其中任何一者都可以作为组合编码器/解码器（CODEC）的一部分被集成在相应设备中。

图2为图示出依照本申请中描述的一些实现方式的示例性视频编码器20的框图。视频编码器20可以执行视频帧内的视频块的帧内和帧间预测编解码。帧内预测编解码依赖于空间预测，以降低或去除给定视频帧或图片内的视频数据中的空间冗余。帧间预测编解码依赖于时间预测，以降低或去除视频序列的邻近视频帧或图片内的视频数据中的时间冗余。

如图2所示，视频编码器20包括视频数据存储器40、预测处理单元41、已解码图片缓冲区（DPB）64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41进一步包括运动估计单元42、运动补偿单元44、分割单元45、帧内预测处理单元46和帧内块复制（BC）单元48。在一些实现方式中，视频编码器20也包括用于视频块重建的逆量化单元58、逆变换处理单元60和求和器62。去块滤波器（未示出）可以置于求和器62与DPB 64之间以对块边界进行滤波，以便从重建的视频中去除块效应伪影。除了去块滤波器之外，还可以使用环路滤波器（未示出）以对求和器62的输出进行滤波。视频编码器20可以采取固定或者可编程硬件单元的形式，或者可以被划分在图示的固定或可编程硬件单元中的一个或多个硬件单元之中。

视频数据存储器40可以存储要由视频编码器20的组件编码的视频数据。视频数据存储器40中的视频数据可以例如从视频源18获得。DPB 64为缓冲区，其存储供视频编码器20在编码视频数据时使用的参考视频数据（例如，在帧内或帧间预测编解码模式下）。视频数据存储器40和DPB 64可以由各种各样的存储器设备中的任何存储器设备形成。在各个不同的示例中，视频数据存储器40可以与视频编码器20的其他组件一起在片上，或者相对于那些组件在片外。

如图2所示，在接收视频数据之后，预测处理单元41内的分割单元45将视频数据分割成视频块。这种分割也可以包括依照与视频数据相关联的预定义拆分结构（诸如四叉树结构）将视频帧分割成条带、瓦片、或者其他更大的编解码单元（CU）。视频帧可以被划分成多个视频块（或者称为瓦片的视频块集合）。预测处理单元41可以基于误差结果（例如，编解码率和失真水平）为当前视频块选择多种可能的预测编解码模式之一，诸如多种帧内预测编解码模式之一或者多种帧间预测编解码模式之一。预测处理单元41可以将得到的帧内或帧间预测编解码的块提供给求和器50以生成残差块，并且提供给求和器62以重建编码的块以便随后用作参考帧的一部分。预测处理单元41也向熵编码单元56提供语法元素，诸如运动向量、帧内模式指示符、分割信息、以及其他这样的语法信息。

为了针对当前视频块选择合适的帧内预测编解码模式，预测处理单元41内的帧内预测处理单元46可以执行当前视频块相对于与要编解码的当前块在相同帧中的一个或多个相邻块的帧内预测编解码，以便提供空间预测。预测处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一个或多个参考帧中的一个或多个预测块的帧间预测编解码，以便提供时间预测。视频编码器20可以执行多个编解码遍次，例如以便为视频数据的每个块选择合适的编解码模式。

在一些实现方式中，运动估计单元42通过依照视频帧序列内的预定型式生成运动向量而为当前视频帧确定帧间预测模式，运动向量指示当前视频帧内的视频块的预测单元（PU）相对于参考视频帧内的预测块的位移。由运动估计单元42执行的运动估计是生成运动向量的过程，这些运动向量估计针对视频块的运动。运动向量例如可以指示当前视频帧或图片内的视频块的PU相对于参考帧（或者其他编解码的单元）内的预测块的位移，预测块是相对于当前帧（或者其他编解码的单元）内正被编解码的当前块而言的。预定型式可以将序列中的视频帧指定为P帧或B帧。帧内BC单元48可以以类似于运动估计单元42为帧间预测确定运动向量的方式确定用于帧内BC编解码的向量，例如块向量，或者可以利用运动估计单元42确定块向量。

预测块是在像素差异方面被认为与要编解码的视频块的PU紧密匹配的参考帧的块，像素差异可以通过绝对差之和（SAD）、平方差之和（SSD）、或者其他差异度量而确定。在一些实现方式中，视频编码器20可以计算针对DPB 64中存储的参考帧的亚整数像素位置的值。例如，视频编码器20可以对参考帧的四分之一像素位置、八分之一像素位置、或者其他分数像素位置的值进行插值。因此，运动估计单元42可以执行相对于完整像素位置和分数像素位置的运动搜索，并且输出具有分数像素精度的运动向量。

运动估计单元42通过以下方式针对帧间预测编解码帧中的视频块的PU来计算运动向量：将PU的位置与从第一参考帧列表（列表0）或者第二参考帧列表（列表1）中选择的参考帧的预测块的位置进行比较，第一参考帧列表和第二参考帧列表中的每个列表标识DPB64中存储的一个或多个参考帧。运动估计单元42将计算的运动向量发送到运动补偿单元44，并且然后发送到熵编码单元56。

由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量取出或者生成预测块。一经接收到用于当前视频块的PU的运动向量，运动补偿单元44就可以在参考帧列表之一中定位运动向量指向的预测块，从DPB 64中取回预测块，并且将预测块转发至求和器50。求和器50然后通过从正被编解码的当前视频块的像素值中减去由运动补偿单元44提供的预测块的像素值，而形成像素差异值的残差视频块。形成残差视频块的像素差异值可以包括亮度差异分量或色度差异分量或者二者。运动补偿单元44也可以生成与视频帧的视频块相关联的语法元素，以供视频解码器30在解码视频帧的视频块时使用。这些语法元素可以包括，例如，定义用来标识预测块的运动向量的语法元素、指示预测模式的任何标志、或者本文描述的任何其他语法信息。注意，运动估计单元42和运动补偿单元44可以是高度集成的，但是出于概念上的目的而分离地图示出。

在一些实现方式中，帧内BC单元48可以以与上面结合运动估计单元42和运动补偿单元44所描述的方式类似的方式生成向量和取出预测块，但是预测块处于与正被编解码的当前块相同的帧中，并且向量被称为块向量而不是运动向量。特别地，帧内BC单元48可以确定用来对当前块进行编码的帧内预测模式。在一些示例中，帧内BC单元48可以例如在多个单独的编码遍次期间使用各种不同的帧内预测模式对当前块进行编码，并且通过率失真分析来测试它们的性能。接下来，帧内BC单元48可以在各种不同的已测试的帧内预测模式之中选择合适的帧内预测模式来使用，并且相应地生成帧内模式指示符。例如，帧内BC单元48可以针对各种不同的已测试的帧内预测模式，使用率失真分析来计算率失真值，并且在已测试的模式之中选择具有最佳率失真特性的帧内预测模式，作为要使用的合适的帧内预测模式。率失真分析通常确定编码块与被编码以产生该编码块的原始未编码块之间的失真（或误差）量、以及用来产生该编码块的比特率（即比特数量）。帧内BC单元48可以从针对各种不同编码块的失真和速率来计算比率，以确定对于块而言哪种帧内预测模式表现出最佳的率失真值。

在其他示例中，帧内BC单元48可以完全或者部分地使用运动估计单元42和运动补偿单元44，来依照本文描述的实现方式执行用于帧内BC预测的此类功能。在任一种情况下，对于帧内块复制，预测块可以是在像素差异方面被认为与要编解码的块紧密匹配的块，像素差异可以通过绝对差之和（SAD）、平方差之和（SSD）、或者其他差异度量而确定，并且预测块的标识可以包括计算针对亚整数像素位置的值。

不管预测块是依照帧内预测来自相同的帧，还是依照帧间预测来自不同的帧，视频编码器20都可以通过以下方式形成残差视频块：从正被编解码的当前视频块的像素值中减去预测块的像素值，而形成像素差异值。形成残差视频块的像素差异值可以包括亮度分量差异和色度分量差异二者。

作为如上文描述的由运动估计单元42和运动补偿单元44执行的帧间预测、或者由帧内BC单元48执行的帧内块复制预测的替代方案，帧内预测处理单元46可以对当前视频块进行帧内预测。特别地，帧内预测处理单元46可以确定用来对当前块进行编码的帧内预测模式。为了这样做，帧内预测处理单元46可以例如在多个单独的编码遍次期间使用各种不同的帧内预测模式对当前块进行编码，并且帧内预测处理单元46（或者在一些示例中，模式选择单元）可以从已测试的帧内预测模式中选择要使用的合适的帧内预测模式。帧内预测处理单元46可以将指示用于块的所选帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以将指示所选帧内预测模式的信息编码在比特流中。

在预测处理单元41经由帧间预测或者帧内预测确定了用于当前视频块的预测块之后，求和器50通过从当前视频块中减去预测块而形成残差视频块。残差块中的残差视频数据可以被包括在一个或多个变换单元（TU）中，并且被提供给变换处理单元52。变换处理单元52使用变换将残差视频数据变换为残差变换系数，诸如离散余弦变换（DCT）或者概念上类似的变换。

变换处理单元52可以将得到的变换系数发送至量化单元54。量化单元54对变换系数进行量化以便进一步降低比特率。量化过程也可以降低与系数中的一些或全部系数相关联的位深度。量化的程度可以通过调节量化参数被修改。在一些示例中，量化单元54然后可以执行对包括量化变换系数的矩阵的扫描。可替换地，熵编码单元56可以执行该扫描。

在量化之后，熵编码单元56使用例如上下文自适应可变长度编解码（CAVLC）、上下文自适应二进制算术编解码（CABAC）、基于语法的上下文自适应二进制算术编解码（SBAC）、概率区间分割熵（PIPE）编解码、或者另一种熵编码方法或技术，将量化的变换系数熵编码到视频比特流中。编码的比特流然后可以被传输至视频解码器30，或者存档于存储设备32中以便以后传输至视频解码器30或者由其取回。熵编码单元56也可以对用于正被编解码的当前视频帧的运动向量和其他语法元素进行熵编码。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换，以在像素域中重建残差视频块，以便生成用于预测其他视频块的参考块。如上面所指出的，运动补偿单元44可以从DPB 64中存储的帧的一个或多个参考块生成经运动补偿的预测块。运动补偿单元44也可以将一个或多个插值滤波器应用到预测块，以计算用于在运动估计中使用的亚整数像素值。

求和器62将重建的残差块加到由运动补偿单元44产生的经运动补偿的预测块，以产生用于存储在DPB 64中的参考块。参考块然后可以由帧内BC单元48、运动估计单元42和运动补偿单元44用作预测块，以便对后续视频帧中的另一个视频块进行帧间预测。

图3为图示出依照本公开一些实现方式的示例性视频解码器30的框图。视频解码器30包括视频数据存储器79、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90和DPB 92。预测处理单元81进一步包括运动补偿单元82、帧内预测处理单元84和帧内BC单元85。视频解码器30可以执行通常与上面关于视频编码器20结合图2描述的编码过程互反的解码过程。例如，运动补偿单元82可以基于接收自熵解码单元80的运动向量生成预测数据，而帧内预测单元84可以基于接收自熵解码单元80的帧内预测模式指示符生成预测数据。

在一些示例中，视频解码器30的单元可以被分派任务以执行本申请的实现方式。同样地，在一些示例中，本公开的实现方式可以被划分在视频解码器30的单元中的一个或多个单元之中。例如，帧内BC单元85可以单独地或者与视频解码器30的其他单元（诸如运动补偿单元82、帧内预测处理单元84和熵解码单元80）结合地执行本申请的实现方式。在一些示例中，视频解码器30可以不包括帧内BC单元85，并且帧内BC单元85的功能可以由预测处理单元81的其他组件（诸如运动补偿单元82）执行。

视频数据存储器79可以存储要由视频解码器30的其他组件解码的视频数据，诸如编码的视频比特流。视频数据存储器79中存储的视频数据可以例如从存储设备32、从本地视频源（诸如照相机）、经由视频数据的有线或无线网络通信、或者通过访问物理数据存储介质（例如，闪存驱动器或者硬盘）来获得。视频数据存储器79可以包括存储来自编码视频比特流的编码视频数据的已编解码图片缓冲区（CPB）。视频解码器30的已解码图片缓冲区（DPB）92存储供视频解码器30在对视频数据进行解码时使用的参考视频数据（例如，在帧内或帧间预测编解码模式下）。视频数据存储器79和DPB 92可以由各种各样的存储器设备中的任何存储器设备形成，诸如包括同步DRAM（SDRAM）在内的动态随机存取存储器（DRAM）、磁阻式RAM（MRAM）、电阻式RAM（RRAM）、或者其他类型的存储器设备。出于说明的目的，视频数据存储器79和DPB 92在图3中被描绘为视频解码器30的两个不同组件。但是对于本领域技术人员而言将显而易见的是，视频数据存储器79和DPB 92可以由同一存储器设备或者分离的存储器设备提供。在一些示例中，视频数据存储器79可以与视频解码器30的其他组件一起在片上，或者相对于那些组件在片外。

在解码过程期间，视频解码器30接收编码的视频比特流，其表示编码视频帧的视频块和相关联的语法元素。视频解码器30可以在视频帧级别和/或视频块级别接收语法元素。视频解码器30的熵解码单元80对比特流进行熵解码，以生成量化的系数、运动向量或帧内预测模式指示符、以及其他语法元素。熵解码单元80然后将运动向量和其他语法元素转发至预测处理单元81。

当视频帧被编解码为帧内预测编解码（I）帧或者用于其他类型的帧中的帧内编解码预测块时，预测处理单元81的帧内预测处理单元84可以基于用信号传输的帧内预测模式和来自当前帧的先前解码块的参考数据，生成针对当前视频帧的视频块的预测数据。

当视频帧被编解码为帧间预测编解码（即B或P）帧时，预测处理单元81的运动补偿单元82基于接收自熵解码单元80的运动向量和其他语法元素，产生用于当前视频帧的视频块的一个或多个预测块。这些预测块中的每一个可以从参考帧列表之一内的参考帧产生。视频解码器30可以基于DPB 92中存储的参考帧，使用默认构建技术构建参考帧列表——列表0和列表1。

在一些示例中，当依照本文描述的帧内BC模式对视频块进行编解码时，预测处理单元81的帧内BC单元85基于接收自熵解码单元80的运动向量和其他语法元素，产生用于当前视频块的预测块。这些预测块可以处于由视频编码器20定义的与当前视频块相同的图片的重建区域内。

运动补偿单元82和/或帧内BC单元85通过解析运动向量和其他语法元素，确定用于当前视频帧的视频块的预测信息，并且然后使用该预测信息产生用于正被解码的当前视频块的预测块。例如，运动补偿单元82使用接收的语法元素中的一些语法元素，来确定用来对视频帧的视频块进行编解码的预测模式（例如，帧内或帧间预测）、帧间预测帧类型（例如，B或P）、用于帧的参考帧列表中的一个或多个参考帧列表的构建信息、用于帧的每个帧间预测编码视频块的运动向量、用于帧的每个帧间预测编解码视频块的帧间预测状态、以及对当前视频帧中的视频块进行解码的其他信息。

类似地，帧内BC单元85可以使用接收的语法元素中的一些语法元素（例如，标志）来确定当前视频块是使用帧内BC模式被预测的、帧的哪些视频块处于重建区域内并且应当存储在DPB 92中的构建信息、用于帧的每个帧内BC预测视频块的块向量、用于帧的每个帧内BC预测视频块的帧内BC预测状态、以及对当前视频帧中的视频块进行解码的其他信息。

运动补偿单元82也可以使用如视频编码器20在视频块的编码期间使用的插值滤波器执行插值，以计算用于参考块的亚整数像素的内插值。在这种情况下，运动补偿单元82可以从接收的语法元素确定视频编码器20使用的插值滤波器，并且使用这些插值滤波器产生预测块。

逆量化单元86使用视频编码器20为视频帧中的每个视频块计算以便确定量化程度的相同量化参数，对比特流中提供的且由熵解码单元80熵解码的量化变换系数进行逆量化。逆变换处理单元88将逆变换（例如，逆DCT、逆整数变换、或者概念上相似的逆变换过程）应用到变换系数，以便在像素域中重建残差块。

在运动补偿单元82或帧内BC单元85基于向量和其他语法元素生成用于当前视频块的预测块之后，求和器90通过对来自逆变换处理单元88的残差块以及由运动补偿单元82和帧内BC单元85生成的对应预测块进行求和，而重建针对当前视频块的经解码的视频块。环路滤波器（未绘出）可以置于求和器90和DPB 92之间，以便进一步处理解码的视频块。给定帧中的经解码的视频块然后被存储在DPB 92中，DPB 92存储用于接下来的视频块的后续运动补偿的参考帧。DPB 92或者与DPB 92分开的存储器设备也可以存储解码的视频，以便以后在显示设备（诸如图1的显示设备34）上呈现。

在典型的视频编解码过程中，视频序列典型地包括帧或图片的有序集合。每个帧可以包括三个样本阵列，记为SL、SCb和SCr。SL为亮度样本的二维阵列。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。在其他情况下，帧可以是单色的，并且因此仅包括亮度样本的一个二维阵列。

如图4A所示，视频编码器20（或者更具体地，分割单元45）通过首先将帧分割为编解码树单元（CTU）集合而生成该帧的编码表示。视频帧可以包括从左到右和从上到下以光栅扫描顺序连续排序的整数个CTU。每个CTU为最大的逻辑编解码单元，并且CTU的宽度和高度由视频编码器20在序列参数集合中用信号传输，使得视频序列中的所有CTU都具有相同的尺寸，该尺寸为128×128、64×64、32×32和16×16之一。但是应当指出，本申请不一定限于特定的尺寸。如图4B所示，每个CTU可以包括亮度样本的一个编解码树块（CTB）、色度样本的两个对应的编解码树块、以及用来对编解码树块的样本进行编解码的语法元素。这些语法元素描述编解码像素块的不同类型的单元的属性以及在视频解码器30处可以如何重建视频序列，包括帧间或帧内预测、帧内预测模式、运动向量和其他参数。在单色图片或者具有三个单独颜色平面的图片中，CTU可以包括单个编解码树块和用来对编解码树块的样本进行编解码的语法元素。编解码树块可以是NxN样本块。

为了实现更佳的性能，视频编码器20可以对CTU的编解码树块递归地执行树分割，诸如二叉树分割、三叉树分割、四叉树分割或者二者的组合，并且将CTU划分成更小的编解码单元（CU）。如图4C中所描绘的，64x64 CTU 400首先被划分成四个更小的CU，每个CU具有32x32的块尺寸。在这四个更小的CU之中，CU 410和CU 420每一个被划分成四个块尺寸为16x16的CU。两个16x16 CU 430和CU 440每一个进一步被划分成四个块尺寸为8x8的CU。图4D描绘了四叉树数据结构，其说明了如图4C中所描绘的CTU 400的分割过程的最终结果，四叉树的每个叶节点对应于范围从32x32到8x8的各个尺寸的一个CU。像图4B中描绘的CTU那样，每个CU可以包括亮度样本的编解码块（CB）和相同尺寸的帧的色度样本的两个对应的编解码块、以及用来对编解码块的样本进行编解码的语法元素。在单色图片或者具有三个单独颜色平面的图片中，CU可以包括单个编解码块和用来对编解码块的样本进行编解码的语法结构。应当指出，图4C和图4D中描绘的四叉树分割仅用于说明的目的，并且一个CTU可以基于四叉/三叉/二叉树分割而拆分成CU，以适应变化的局部特性。在多类型树结构中，一个CTU被四叉树结构分割，并且每个四叉树的叶CU可以进一步被二叉和三叉树结构分割。如图4E所示，具有宽度W和高度H的编解码块存在五种可能的分割类型，即四元分割、水平二元分割、垂直二元分割、水平三元分割和垂直三元分割。

在一些实现方式中，视频编码器20可以进一步将CU的编解码块分割成一个或多个MxN预测块（PB）。预测块为样本的矩形（方形或者非方形）块，其上应用相同的预测（帧间或帧内）。CU的预测单元（PU）可以包括亮度样本的预测块、色度样本的两个对应的预测块、以及用来对预测块进行预测的语法元素。在单色图片或者具有三个单独颜色平面的图片中，PU可以包括单个预测块和用来对预测块进行预测的语法结构。视频编码器20可以生成针对CU的每个PU的亮度预测块、Cb预测块和Cr预测块的预测亮度块、预测Cb块和预测Cr块。

视频编码器20可以使用帧内预测或帧间预测生成用于PU的预测块。如果视频编码器20使用帧内预测生成PU的预测块，那么视频编码器20可以基于与PU相关联的帧的已解码样本生成PU的预测块。如果视频编码器20使用帧间预测生成PU的预测块，那么视频编码器20可以基于不同于与PU相关联的帧的一个或多个帧的已解码样本生成PU的预测块。

在视频编码器20生成用于CU的一个或多个PU的预测亮度块、预测Cb块和预测Cr块之后，视频编码器20可以通过将CU的预测亮度块从其原始亮度编解码块中减去而生成针对CU的亮度残差块，使得CU的亮度残差块中的每个样本指示CU的预测亮度块之一中的亮度样本与CU的原始亮度编解码块中的对应样本之间的差异。类似地，视频编码器20可以分别生成针对CU的Cb残差块和Cr残差块，使得CU的Cb残差块中的每个样本指示CU的预测Cb块之一中的Cb样本与CU的原始Cb编解码块中的对应样本之间的差异，并且CU的Cr残差块中的每个样本可以指示CU的预测Cr块之一中的Cr样本与CU的原始Cr编解码块中的对应样本之间的差异。

此外，如图4C所示，视频编码器20可以使用四叉树分割将CU的亮度残差块、Cb残差块和Cr残差块分解为一个或多个亮度变换块、Cb变换块和Cr变换块。变换块是其上应用相同变换的样本的矩形（方形或非方形）块。CU的变换单元（TU）可以包括亮度样本的变换块、色度样本的两个对应的变换块、以及用来对变换块样本进行变换的语法元素。因此，CU的每个TU可以与亮度变换块、Cb变换块和Cr变换块相关联。在一些示例中，与TU相关联的亮度变换块可以是CU的亮度残差块的子块。Cb变换块可以是CU的Cb残差块的子块。Cr变换块可以是CU的Cr残差块的子块。在单色图片或者具有三个单独颜色平面的图片中，TU可以包括单个变换块和用来对变换块的样本进行变换的语法结构。

视频编码器20可以将一种或多种变换应用到TU的亮度变换块，以生成针对TU的亮度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一种或多种变换应用到TU的Cb变换块，以生成针对TU的Cb系数块。视频编码器20可以将一种或多种变换应用到TU的Cr变换块，以生成针对TU的Cr系数块。

在生成系数块（例如，亮度系数块、Cb系数块或者Cr系数块）之后，视频编码器20可以对系数块进行量化。量化通常是指一种过程，在该过程中，对变换系数进行量化以便可能地减少用来表示变换系数的数据量，提供进一步压缩。在视频编码器20对系数块进行量化之后，视频编码器20可以对指示量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示量化变换系数的语法元素执行上下文自适应二进制算术编解码（CABAC）。最后，视频编码器20可以输出包括比特序列的比特流，比特序列形成编解码帧和相关联数据的表示，比特流被保存在存储设备32中或者被传输至目标设备14。

在接收到视频编码器20生成的比特流之后，视频解码器30可以解析比特流以便从比特流获得语法元素。视频解码器30可以至少部分地基于从比特流获得的语法元素重建视频数据的帧。重建视频数据的过程通常与视频编码器20执行的编码过程互反。例如，视频解码器30可以对与当前CU的TU相关联的系数块执行逆变换，以重建与当前CU的TU相关联的残差块。视频解码器30还通过将用于当前CU的PU的预测块的样本加到当前CU的TU的变换块的对应样本，而重建当前CU的编解码块。在重建帧的每个CU的编解码块之后，视频解码器30可以重建该帧。

随着数字视频质量从高清晰转到4Kx2K或者甚至8Kx4K，要编码/解码的视频数据量呈指数增长。就如何在保持解码视频数据的图像质量的同时，更高效地对视频数据进行编码/解码而言，这是一个永恒的问题。不同的方法已经被各种不同的视频编解码标准采用以解决该问题。例如，已经发现，当存在真实世界中的许多种类的运动（例如，放大/缩小、旋转、透视运动和其他不规则运动）时，平移运动模型对于运动补偿预测来说表现较差。因此，已经提出了多种基于块的仿射运动模型，以提高运动补偿预测的精度。

图4F示出了多类型树分割结构的示例，其依照规定的PU拆分类型将叶CU（例如，图4C中的叶CU 440）拆分成一个或多个PU。每个叶CU可以进一步依照规定的PU拆分类型被拆分成一个、二个或四个PU。相同的运动信息（例如，MV和参考图片索引）由一个PU的所有样本共享，也即，只需一个单一运动补偿过程以生成PU的参考样本。在通过将一个CU的预测信号从对应原始信号中减去而获得该CU的残差信号之后，该CU可以依照与被应用来拆分CU的四叉树结构类似的另一个四叉树结构而被拆分成多个TU。

在一些实施例中（例如，在VVC中），基于四叉树拆分、二元拆分和三元拆分的多类型树分割结构被应用来代替多分割类型的概念，也即，它消除了CU、PU和TU概念的分离。在这样的分割结构中，一个CU可以具有方形或矩形形状。具体地，首先基于四叉树结构分割一个CTU（例如，参照图4C和图4D以及有关的描述），然后可以通过多类型树分割结构进一步分割每个四叉树叶节点（例如，图4C的叶CU 440）。在一些实施例中，在多类型树结构中存在四种拆分类型：垂直二元拆分（SPLIT_BT_VER）、水平二元拆分（SPLIT_BT_HOR）、垂直三元拆分（SPLIT_TT_VER）、以及水平三元拆分（SPLIT_TT_HOR）。例如，叶CU 450（尺寸为32x32）依照水平二元拆分被分割，其产生两个区域，每个区域具有16x32的尺寸。叶CU 460（尺寸为32x32）依照垂直二元拆分被分割，其产生两个区域，每个区域具有32x16的尺寸。叶CU 470依照垂直三元拆分被分割，并且产生分别具有32x8、32x16和32x8的尺寸的三个区域。注意，中间区域依照水平二元拆分进一步被分割，并且右边区域依照水平三元拆分进一步被分割。叶CU 480（尺寸为32x32）依照水平三元拆分被分割，并且产生具有8x32、16x32和8x32的尺寸的三个区域。

在一些实施例中，每个多类型树的叶节点被视为一个CU，并且用作用于预测过程和变换过程二者的基本单元而无需进一步分割，除外的是（1）当若干子块编解码模式用来在子块基础上应用变换时，以及（2）当一个CU的宽度或高度大于最大允许变换尺寸（例如，64个样本）时。在后一情况下，CU将在水平方向、垂直方向、或者二者上被拆分成多个TU，以确保应用的变换不超过最大支持的变换尺寸。如上面可以看到的，在大多数情况下，CU、PU和TU在分割结构中共享相同的块尺寸。

图5A-图5B图示出依照本公开一些实现方式的不同子块变换（SBT）分割。SBT模式被支持用于帧间预测的CU（也称为“帧间CU”）以增强变换编解码的效率。针对具有至少一个非零变换系数（例如，通过设置为1的语法元素cu_root_cbf来指示）的每个帧间CU，CU级别标志cu_sbt_flag用信号被传输以指示整个CU的残差被编解码，还是CU的仅一部分的残差被编解码。如果整个CU的残差被编解码，那么CU被编码器看作单个TU，也就是说，整个CU的残差基于单个变换（例如，变换块的尺寸等于CU的尺寸）被变换、被量化并且被编解码到比特流中。如果仅CU的一部分（例如，CU的一半、四分之一、或三分之一）的残差被编解码，那么整个CU的残差隐式地被分割成两组：残差的第一组利用某些预先指配的变换（例如，DCT-7或DCT-8）被编解码并且从编码器传输至解码器，而残差的第二组被设置为零值而无需信令。

在一些实施例中，SBT CU的色度残差（Cr残差和Cb残差）总是使用DCT-2被编解码，而SBT CU的亮度残差以依赖于位置的变换方法被编解码。特别地，如图5A所示，取决于不同的SBT分割型式，两个SBT位置被指配DCT-8或DST-7变换。例如，用于SBT-Hal-V和SBT-Quart-V位置0的水平变换和垂直变换分别为DCT-8和DST-7。为了避免引入新的变换尺寸，当残差TU的一侧大于32时，对应的变换被设置为DCT-2。因此，SBT模式联合地规定TU分割、每个TU是否包含非零残差、以及所应用的水平变换和垂直变换，这可以被认为是针对一个CU的主要残差位于该CU一侧的情况的语法捷径。

在常规的帧内模式下，与CU相邻的重建样本用来生成该CU的帧内预测样本。基于这样的方法，预测的样本与参考样本之间的空间相关性大致和预测的样本与参考样本之间的距离成比例。因此，在内部部分的样本（尤其是位于块的右下角的样本）通常比靠近顶部和/或左边块边界的样本具有更差的预测质量。为了改善帧内预测效率，在HEVC标准的开发周期期间提出了且充分地研究了短距离帧内预测（SDIP）。该方法将帧内编解码块水平地或垂直地划分为多个子块以用于预测。这样的基于子块的帧内预测的一种极端情况是所谓的基于排的预测，其中块被划分为1-D行/列以用于预测。

在一些实施例中，一种称为帧内子分割（ISP）模式的帧内编解码工具（其以SDIP的相同风格被设计）被用来改善帧内编解码效率。ISP根据CU尺寸将一个帧内CU的亮度样本垂直地或者水平地划分为2个或4个子分割。例如，用于ISP的最小CU尺寸为4x8（或8x4）。如果CU尺寸等于4x8（或8x4），那么在ISP模式下该CU被划分为2个子分割。如果CU尺寸大于4x8（或8x4），那么在ISP模式下该CU被划分为4个子分割。依照当前的ISP设计，子分割必须包含至少16个样本。此外，在已有的ISP设计中，当对于一个CU启用ISP模式时，只有该CU的亮度残差被分割为多个TU以用于变换编解码，而两个色度分量（即Cb和Cr）的残差作为整体被编解码，无需进一步的TU分割。

在VVC标准中，一种名为已编解码块标志（CBF）的语法元素被用来以信号通知针对每个CU的残差的重要性，也即，它用信号通知CU是否包含非零残差。依照VVC中的当前设计，存在用于给定CU的一个亮度分量和两个色度分量的分离CBF。如果相应分量的CBF等于零，那么对于该分量没有变换系数被用信号传输，并且所有变换系数都设置为零；否则，变换系数被编解码到比特流中。此外，如早先所提到的，在VVC中存在三种不同的场景，在这些场景中，一个CU被拆分为多个TU并且每个TU的残差单独地被编解码。这三种场景包括SBT TU分割、ISP TU分割、以及当CU宽度和/或高度大于最大允许变换尺寸时由最大变换尺寸限制所造成的TU分割。依照当前VVC规范草案，在所有这三种场景中，应用一种相同的信令方法以指示对于亮度分量是否存在非零变换系数，即对于每个TU单独地发送一个tu_luma_cbf。然而，如下面所描述的，在这三种场景中，不同的方法被应用来以信号传输色度分量的CBF：

基于最大变换尺寸的TU分割：对于每个TU用信号传输两个附加的CBF标志tu_cb_ cbf和tu_cr_cbf，以指示是否有非零系数存在于TU的对应色度分量中。如果一个色度CBF标志等于0，则它指示该色度分量的所有残差都为零，并且没有残差信息需要被传输。否则（即，CBF标志等于1），对应色度分量的残差被传输。

ISP TU分割：如早先所提到的，在ISP模式下，TU分割仅被应用来对亮度残差进行编解码，而色度分量的残差在没有TU分割的情况下被编解码。因此，对于整个CU，用信号传输两个色度CBF标志，即tu_cb_cbf和tu_cr_cbf，以指示是否一个色度分量具有非零变换系数。注意，由于ISP TU分割没有应用到色度分量，因此对于ISP模式的色度CBF信令而言CU级别等于TU级别。

SBT TU分割（如图5A所示）：不同于ISP模式，SBT模式的TU分割被应用到亮度分量和色度分量二者。此外，TU分割之一的残差（亮度分量和色度分量二者）被强制为零。基于已有的SBT设计，在CU级别对于两个色度分量分别用信号传输两个CBF。当一个色度分量的CBF等于0时，该色度分量的所有残差都被设置为零而无需信令。否则（即，CBF等于1），只有非零SBT分割（例如，图5中SBT-Hal-V位置0和SBT-Quart-V位置0的左分割、以及SBT-Hal-V位置1和SBT-Quart-V位置1的右分割）的残差在比特流中传输。在当前的VVC参考软件（VTM）中，其他SBT分割的色度残差总是通过将对应CBF作为零发送而被设置为零。

基于上面的比较，对于SBT模式的色度CBF信令，发现了以下问题：

1. 在不同的场景下，针对TU分割方案使用不同的信令方法用信号传输色度CBF。特别地，对于基于最大变换尺寸的TU分割和ISP TU分割二者而言，在TU级别用信号传输色度CBF，以指示一个TU是否包含用于一个对应色度分量的非零残差。然而，对于SBT TU分割而言，在CU级别用信号传输两个色度CBF。这样的不统一的设计从标准化观点来说可能不是最优的。

2. 如早先所指出的，在当前的VTM中，对于零SBT分割（图5A中SBT-Hal-V位置0和SBT-Quart-V位置0的右分割、以及SBT-Hal-V位置1和SBT-Quart-V位置1的左分割）总是以信号传输两个色度CBF。然而，鉴于零SBT分割的所有色度残差根据定义为零，即对应的色度CBF总是等于0，则这两个标志是冗余的。

3. 不同的上下文模型被用来对这三种TU分割模式的色度CBF进行编解码。特别地，对于基于最大变换尺寸的TU分割和ISP TU分割，用来对色度CBF（即tu_cb_cbf和tu_cr_ cbf）进行编解码的上下文模型通过TU深度（即CU的对应TU分割级别）来确定。这不同于SBT模式，在SBT模式中，使用一种固定的上下文模型而不考虑TU分割的深度。

在一些实施例中，对于SBT模式而言，通过将色度CBF信令从CU级别移动到TU级别，不同TU分割方案的色度CBF信令方法被统一。表1说明了当应用了所提出的方法时对应的变换单元语法表的一个示例伪代码，其中SBT有关语法被加粗。参照图6和用于不同TU分割方案的色度CBF信令的协调细节的有关描述。

表1 应用解决方案一之后修改的编解码单元语法表。

如表1中所示，通过所提出的方法，对于每个SBT TU单独地用信号传输亮度CBFtu_cbf_luma以及两个色度CBF tu_cbf_cb和tu_cbf_cr。此外，一个SBT TU的亮度CBF和色度CBF的存在以SBT分割的位置信息为条件。更特别地，对于仅包含零残差的对应的零SBT分割（图5中SBT-Hal-V位置0和SBT-Quart-V位置0的右分割、以及SBT-Hal-V位置1和SBT-Quart-V位置1的左分割），省略亮度CBF和色度CBF二者的信令。另一方面，基于VVC中已有的SBT设计，仅针对根CBF（即cu_root_cbf）等于1的帧间CU可以启用SBT模式。换言之，只能在对于整个CU而言存在至少一个非零变换系数（亮度或色度）时启用SBT模式。此外，如表1中所示，对于一个非零SBT TU分割，在亮度CBF之前用信号传输色度CBF，并且仅在两个色度CBF中的至少一个为1的情况下用信号传输亮度CBF。

在一些实施例中，如通过图5B所示，用于SBT模式的子块分割的三叉树（TT）拆分被启用。特别地，除了当前的二叉树（BT）和自适应二叉树（ABT）拆分型式之外，引入了两种附加的SBT分割类型，即SBT-TT-V和SBT-TT-H。在SBT-TT-V/SBT-TT-H模式下，当前CU被垂直地/水平地拆分成具有1:2:1分割比例的三个TU，并且只有中间TU分割包含非零残差，而两个边界TU分割的残差总是被设置为零而无需信令。

在一些实施例中，当在SBT模式下将TT拆分用于子块分割时，为了在频域中更好地压缩局部残差能量，应用依赖于位置的变换选择方法，以便自适应地选择用于非零TT分割的不同维度的核心变换。图5B中图示出一个示例，其中SBT-TT-V的中间TU的水平变换和垂直变换分别为DCT-2和DST-7。在另一个示例中，为了避免引入不同的DST-7变换尺寸，仅在非拆分CU侧（即没有TU拆分的一侧）不大于32个样本时启用DST-7变换；否则，沿着TU的那个方向的对应变换将用DCT-2代替。在第三示例中，在所提出的基于TT的SBT分割方案中应用（除了DCT-2和DST-7之外的）其他核心变换，以适应不同块中的残差的变化特性。

在一些实施例中，当使用所提出的TT分割型式时，在SBT模式下可以全部和/或部分地启用其他不同的SBT分割型式。在一个示例中，提出了使用TT分割型式代替ABT分割型式，以拆分SBT模式的TU。特别地，通过这种方法，存在总共6种SBT分割，即SBT-BT-H位置0、SBT-BT-H位置1、SBT-BT-V位置0、SBT-BT-V位置1、SBT-TT-H和SBT-TT-V。在另一个示例中，提出了对于SBT模式启用所有BT分割型式、ABT分割型式和TT分割型式，即SBT-BT-H位置0、SBT-BT-H位置1、SBT-BT-V位置0、SBT-BT-V位置1、SBT-Quart-H位置0、SBT-Quart-H位置1、SBT-Quart-V位置0、SBT-Quart-V位置1、SBT-TT-H和SBT-TT-V全部被包括。

图6为图示出依照本公开一些实现方式的对子块变换（SBT）编解码单元进行解码的过程600的流程图。为了方便起见，将过程600描述为由解码器（诸如图3的视频解码器30）执行。

如上面关于图5A-图5B所描述的，SBT编解码单元被分割为多个变换单元（例如，SBT-Hal-V位置0、SBT-Hal-V位置1等）。在多个变换单元中，只有一个包括非零系数。例如，在SBT-Hal-V位置0分割方案中，只有左边变换单元包括非零系数，并且右边变换单元包括全零系数。

作为对SBT变换单元进行解码的第一步，解码器从比特流中接收与SBT编解码单元相关联的第一语法元素（例如，如表1中所描述的cu_root_cbf标志），其中第一语法元素指示在SBT编解码单元中存在至少一个非零变换系数（例如，第一语法元素为“1”）（610）。

接下来，响应于确定第一语法元素指示在SBT编解码单元中存在至少一个非零变换系数（例如，第一语法元素为1），解码器确定多个变换单元中包括非零变换系数的第一变换单元。在一些实施例中，第一变换单元是多个变换单元中包括非零变换系数的仅有的一个变换单元。例如，在图5A中所描述的SBT-Hal-V位置0分割方案中，左边变换单元是可能包括非零变换系数的变换单元。在另一个示例中，在图5B中所描述的SBT-TT-V分割方案中，中间变换单元是可能包括非零变换系数的变换单元。在一些实施例中，确定包括非零系数的变换单元取决于特定分割方案的位置信息，其诸如由表1中的语法元素“cu_sbt_pos_flag”指示（620）。

解码器然后从比特流中接收第二语法元素（例如，表1中的tu_cbf_cb）和第三语法元素（例如，表1中的tu_cbf_cr），第二语法元素与第一变换单元的第一色度分量（例如，cb）相关联以指示是否第一色度分量的所有变换系数都为零，第三语法元素与第一变换单元的第二色度分量（例如，cr）相关联以指示是否第二色度分量的所有变换系数都为零（630）。

解码器然后从比特流中接收与第一变换单元的亮度分量相关联的第四语法元素（例如，表1中的tu_cbf_luma），其指示是否亮度分量的所有变换系数都为零（640）。

基于第二、第三和第四语法元素，解码器推断第一变换单元的色度分量和亮度分量是否包括全零变换系数，并且对色度分量和亮度分量的变换系数进行解码（650）。

最后，由于其他变换单元（例如，SBT-Hal-V位置0的右边变换单元）仅包括零系数，因而解码器将SBT编解码单元中的其他变换单元的亮度分量和色度分量设置为零（660）。

在一些实施例中，解码器仅在第二和第三语法元素中的至少一个语法元素指示相应的色度分量包括非零系数（例如，第二和/或第三语法元素等于1）时，从比特流中接收第四语法元素。另一方面，当第二和第三语法元素指示色度分量仅包括零系数（例如，第二和第三语法元素等于0）时，解码器将第四语法元素设置为1。

在一些实施例中，SBT编解码单元被分割成三叉树分割方案（例如，如图5B所示），其将编解码单元划分为三个变换单元，并且其中三个变换单元中的两个变换单元的变换系数被设置为零。

在一些实施例中，三个变换单元在垂直方向上彼此邻近，并且包括顶部变换单元、中心变换单元和底部变换单元，并且其中顶部变换单元和底部变换单元具有全零系数。

在一些实施例中，在中心变换单元的水平方向上应用DST-VII变换，并且在中心变换单元的垂直方向上应用DCT-II变换。

在一些实施例中，三个变换单元在水平方向上彼此邻近，并且包括最左边变换单元、中心变换单元和最右边变换单元，并且最左边变换单元和最右边变换单元具有全零变换系数。

在一些实施例中，在中心变换单元的垂直方向上应用DST-VII变换，并且在中心变换单元的水平方向上应用DCT-II变换。

在一个或多个示例中，所描述的功能可以以硬件、软件、固件、或者其任意组合实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质之上或者通过计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质或者通信介质，计算机可读存储介质对应于诸如数据存储介质之类的有形介质，通信介质包括例如依照通信协议促进计算机程序从一个地方传送到另一个地方的任意介质。以此方式，计算机可读介质通常可以对应于（1）非暂时性的有形计算机可读存储介质或者（2）诸如信号或载波之类的通信介质。数据存储介质可以是任何可用介质，其可以被一个或多个计算机或者一个或多个处理器访问，以取回用于实现本申请中描述的实现方式的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。

本文在实现方式的描述中使用的术语仅出于描述具体实现方式的目的，并且不意在限制权利要求的范围。如在实现方式的描述和所附权利要求中使用的，单数形式“一种”、“一个”和“该”也意在包括复数形式，除非上下文另有明确指出。还将理解，如本文中使用的术语“和/或”指代并且涵盖相关联的列出项目中的一个或多个项目的任意和所有可能的组合。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”明确规定所陈述的特征、元件和/或组件的存在，但是没有排除一个或多个其他特征、元件、组件和/或其群组的存在或者附加。

还将理解，尽管措词第一、第二等可能在本文中用来描述各种不同的元件，但是这些元件不应当受这些措词限制。这些措词仅用来将一个元件与另一个元件区分开。例如，第一电极可以称为第二电极，并且类似地，第二电极可以称为第一电极，而不脱离实现方式的范围。第一电极和第二电极二者都是电极，但是它们不是同一电极。

本申请的描述已经出于说明和描述的目的被给出，并且不旨在是详尽无遗的或者限于所公开形式的发明。许多修改、变型和替代实现方式对受益于前面描述和关联附图中给出的教导的本领域普通技术人员而言将是显而易见的。实施例被选择和描述以便最佳地解释本发明的原理、实际的应用，并且使得本领域技术人员能够就各种不同的实现方式理解本发明，且最佳地利用底层原理和适合设想的具体用途的具有各种修改的各种实现方式。因此，将理解，权利要求的范围将不限于所公开的实现方式的特定示例，并且修改和其他实现方式意在被包括在所附权利要求的范围之内。

Claims (12)

1.一种视频解码的方法，包括：

从比特流中接收与编解码单元相关联的第一语法元素，其中所述第一语法元素指示在所述编解码单元中是否存在至少一个非零变换系数；

响应于接收到指示在所述编解码单元中存在至少一个非零变换系数的所述第一语法元素，接收指示所述编解码单元是否以子块变换（SBT）模式被编解码的第二语法元素；

响应于接收到指示所述编解码单元是以所述SBT模式被编解码的所述第二语法元素，确定从所述编解码单元分割出的多个变换单元中的第一变换单元，其中所述第一变换单元包括非零变换系数；

从所述比特流中接收第三语法元素、第四语法元素和第五语法元素，所述第三语法元素与所述第一变换单元的第一色度分量相关联以指示是否所述第一色度分量的所有变换系数都为零，所述第四语法元素与所述第一变换单元的第二色度分量相关联以指示是否所述第二色度分量的所有变换系数都为零，所述第五语法元素与所述第一变换单元的亮度分量相关联以指示是否所述亮度分量的所有变换系数都为零，其中所述第三语法元素和所述第四语法元素先于所述第五语法元素而被接收；

基于来自所述比特流的所述第三语法元素、所述第四语法元素和所述第五语法元素，对所述第一变换单元的色度分量和亮度分量的所述变换系数进行解码；以及

将所述多个变换单元的其余部分的亮度分量和色度分量的变换系数设置为零。

2.根据权利要求1所述的方法，其中所述第一变换单元是所述多个变换单元中包括非零变换系数的仅有的一个变换单元。

3.根据权利要求1所述的方法，其中从所述比特流中接收所述第五语法元素，所述第五语法元素指示是否所述亮度分量的所有变换系数都为零包括：

仅在所述第三语法元素和所述第四语法元素中的至少一个语法元素等于1时，接收所述第五语法元素。

4.根据权利要求1所述的方法，进一步包括：

当所述第三语法元素和所述第四语法元素二者都为零时，将所述第五语法元素设置为1。

5.根据权利要求1所述的方法，其中所述编解码单元被分割成三叉树分割方案，所述三叉树分割方案将编解码单元划分为三个变换单元，并且其中所述三个变换单元中的两个变换单元的变换系数被设置为零。

6.根据权利要求5所述的方法，其中所述三个变换单元在垂直方向上彼此邻近，并且包括顶部变换单元、中心变换单元和底部变换单元，并且其中所述顶部变换单元和所述底部变换单元具有全零系数。

7.根据权利要求6所述的方法，其中在所述中心变换单元的水平方向上应用DST-VII变换，并且在所述中心变换单元的垂直方向上应用DCT-II变换。

8.根据权利要求5所述的方法，其中所述三个变换单元在水平方向上彼此邻近，并且包括最左边变换单元、中心变换单元和最右边变换单元，并且所述最左边变换单元和所述最右边变换单元具有全零变换系数。

9.根据权利要求8所述的方法，其中在所述中心变换单元的垂直方向上应用DST-VII变换，并且在所述中心变换单元的水平方向上应用DCT-II变换。

10.一种计算设备，包括：

一个或多个处理器；

耦合到所述一个或多个处理器的存储器；以及

存储在所述存储器中的多个程序，所述多个程序在由所述一个或多个处理器执行时，使得所述计算设备执行权利要求1-9中任一项的方法。

11.一种非暂时性计算机可读存储介质，存储有比特流以供具有一个或多个处理器的计算设备执行，其中所述比特流在由所述一个或多个处理器执行时，使得所述计算设备执行权利要求1-9中任一项的方法。

12.一种计算机程序产品，包括指令，所述指令当由处理器执行时，使得所述处理器执行权利要求1-9中任一项的方法。

Images