CN116055737A

CN116055737A - 一种视频编码的方法、装置和介质

Info

Publication number: CN116055737A
Application number: CN202211699482.5A
Authority: CN
Inventors: 修晓宇; 陈漪纹; 马宗全; 朱弘正; 王祥林; 于冰
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2020-01-05
Filing date: 2021-01-05
Publication date: 2023-05-02
Anticipated expiration: 2041-01-05
Also published as: JP2022553450A; KR20230101946A; WO2021138697A1; JP2024120052A; KR20230093068A; KR20230098378A9; JP7509890B2; CN116055737B; CN117979013A; EP4085637A4; CN117939152A; US20220345705A1; KR20230098378A; MX2022008206A; EP4085637A1; CN115244930A; KR102554345B1; KR20220114107A

Abstract

本申请涉及一种视频编码的方法、装置和介质。公开了一种视频编码的方法，包括：获取从视频图片分割的多个编码单元CU，其中每个所述编码单元通过帧内预测模式或帧间预测模式进行编码；对每个所述编码单元：生成第一语法元素，所述第一语法元素指示所述编码单元是否已经使用自适应颜色空间变换ACT进行编码；传输所述第一语法元素至解码侧，使得所述解码侧根据所述第一语法元素确定所述编码单元已经使用所述自适应颜色空间变换ACT进行编码时执行操作，所述操作包括：对所述编码单元的残差执行截取操作；以及在所述截取操作之后对所述编码单元的所述残差应用逆ACT。

Description

一种视频编码的方法、装置和介质

本申请是中国专利申请第202180018865.9号的分案申请，该中国专利申请为2021年01月05日提交的国际专利申请PCT/US2021/012165的中国国家阶段申请，该国际专利申请要求2020年01月05日提交的美国专利申请第62/957,273号和2020年01月25日提交的美国专利申请第62/965,859号的优先权。

技术领域

本申请总体上涉及视频数据编解码和压缩，并且更特别地涉及在自适应颜色空间变换(ACT)之前执行截取操作的方法和系统。

背景技术

如数字电视、膝上型计算机或台式计算机、平板计算机、数码相机、数字录音设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过实施由MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编解码(AVC)、高效视频编解码(HEVC)和通用视频编解码(VVC)标准定义的视频压缩/解压缩标准来发送、接收、编码、解码和/或存储数字视频数据。视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧划分为一个或多个条带，每个条带具有多个视频块，该视频块也可以被称为编码树单元(CTU)。每个CTU可以包含一个编码单元(CU)或递归地分割成较小的CU，直到达到预定义的最小CU尺寸。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或帧内块复制(IBC)模式对每个CU进行编解码。相对于同一视频帧内的相邻块中的参考样点，使用空间预测对视频帧的帧内编解码(I)条带中的视频块进行编码。视频帧的帧间编解码(P(前向预测图片)或B(双向预测图片))条带中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预测。

基于先前已被编码的参考块(例如，相邻块)的空间或时间预测产生针对待编解码的当前视频块的预测块。查找参考块的过程可以通过块匹配算法来完成。表示待编解码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动矢量、以及残差块来对帧间编码块进行编码。确定运动矢量的过程典型地被称为运动估计。根据帧内预测模式和残差块对帧内编码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，从而产生残差变换系数，然后可以对所述残差变换系数进行量化。可以扫描最初布置为二维阵列的量化变换系数，以产生变换系数的一维矢量，并且然后将其熵编码为视频比特流，以实现更多的压缩。

然后，将已编码视频比特流保存在计算机可读存储介质(例如，闪速存储器)中，以被具有数字视频能力的另一个电子设备访问，或者直接以有线或无线方式传输到电子设备。然后，电子设备通过例如解析已编码视频比特流以从比特流获得语法元素并且至少部分地基于从比特流获得的语法元素将数字视频数据从已编码视频比特流重建为其原始格式来执行视频解压缩(其是与上文描述的视频压缩相反的过程)，并且在电子设备的显示器上渲染重建数字视频数据。

随着数字视频质量从高清到4Kx2K或甚至8Kx4K，待编码/解码的视频数据量呈指数增长。关于如何在保持解码视频数据的图像质量的同时更高效地对视频数据进行编码/解码方面一直存在挑战。

某些视频内容(例如屏幕内容视频)以4∶4∶4色度格式进行编码，其中所有三个分量(亮度分量和两个色度分量)都具有相同的分辨率。虽然4∶4∶4色度格式与4∶2∶0色度格式和4∶2∶2色度格式相比包括更多冗余(这对于实现良好的压缩效率不友好)，但是对于许多需要高保真度以在经解码的视频中保留颜色信息(比如尖锐边缘)的应用来说，4∶4∶4色度格式仍然是优选的编码格式。鉴于4∶4∶4色度格式视频中存在的冗余，有证据表明可以通过利用4∶4∶4视频的三个颜色分量(例如YCbCr域中的Y、Cb和Cr；或RGB域中的G、B和R)之间的相关性来实现显著的编解码改进。由于这些相关性，在开发HEVC屏幕内容编解码(SCC)扩展期间，采用了自适应颜色空间变换(ACT)工具来利用三个颜色分量之间的相关性。

发明内容

本申请描述了与视频数据编码和解码相关、并且更特别地与在自适应颜色空间变换(ACT)之前执行截取操作的方法和系统相关的实施方式。

对于最初以4∶4∶4颜色格式捕获的视频信号，如果经解码的视频信号需要高保真度并且原始颜色空间中存在大量的信息冗余(例如，RGB视频)，则优选地在原始空间中对视频进行编码。尽管当前的VVC标准中的一些分量间编解码工具(例如，跨分量线性模型预测(CCLM))可以提高4∶4∶4视频编解码的效率，但这三个分量之间的冗余并没有被完全消除。这是因为仅利用了Y/G分量来预测Cb/B分量和Cr/R分量，而没有考虑Cb/B分量与Cr/R分量之间的相关性。相应地，对三个颜色分量进行进一步去相关可以提高针对4∶4∶4视频编解码的编解码性能。

在当前的VVC标准中，现有的帧间工具和帧内工具的设计主要着重于以4：2：0色度格式捕获的视频上。因此，为了实现更好的复杂性/性能折衷，这些编解码工具中的大多数仅适用于亮度分量，而对于色度分量被禁用(例如，位置相关帧内预测组合(PDPC)、多参考线(MRL)和子分区预测(ISP))，或者对亮度分量和色度分量使用不同的操作(例如，应用于运动补偿预测的内插滤波器)。然而，与4∶2∶0视频相比，4∶4∶4色度格式的视频信号表现出非常不同的特性。例如，4∶4∶4YCbCr和RGB视频的Cb/B分量和Cr/R分量比4∶2∶0视频中的色度分量表现出更丰富的颜色信息并拥有更多的高频信息(例如，边缘和纹理)。考虑到这一点，对于4∶2∶0和4∶4∶4视频两者，使用VVC中一些现有编解码工具的相同设计可能总是最佳的。

根据本申请的第一方面，一种对视频数据进行解码的方法包括：从比特流接收对应于编码单元的视频数据，其中，所述编码单元通过帧内预测模式或帧间预测模式进行编解码；从所述视频数据接收第一语法元素，其中，所述第一语法元素指示所述编码单元是否已经使用自适应颜色空间变换(ACT)进行编解码；对所述视频数据进行处理以生成所述编码单元的残差；根据基于所述第一语法元素的所述编码单元已经使用所述ACT进行编解码的确定，对所述编码单元的残差执行截取操作；以及在所述截取操作之后对所述编码单元的残差应用逆ACT。

在一些实施例中，所述截取操作将所述编码单元的残差的动态范围限制在预定义范围内，用于通过所述逆ACT进行处理。

根据本申请的第二方面，一种电子装置包括一个或多个处理单元、存储器以及存储在所述存储器中的多个程序。所述程序当由所述一个或多个处理单元执行时使所述电子装置执行如上文描述的对视频数据进行解码的方法。

根据本申请的第三方面，一种非暂态计算机可读存储介质存储用于由具有一个或多个处理单元的电子装置执行的多个程序。所述程序当由所述一个或多个处理单元执行时使所述电子装置执行如上文描述的对视频数据进行解码的方法。

附图说明

被包括在内以提供对实施方式的进一步理解并且并入本文并构成说明书的一部分的附图图示了所描述的实施方式，并且与说明书一起用于解释基本原理。相似的附图标记指代对应的部分。

图1是图示了根据本公开的一些实施方式的示例性视频编码和解码系统的框图。

图2是图示了根据本公开的一些实施方式的示例性视频编码器的框图。

图3是图示了根据本公开的一些实施方式的示例性视频解码器的框图。

图4A至图4E是图示了根据本公开的一些实施方式的如何将帧递归地分区成具有不同尺寸和形状的多个视频块的框图。

图5A和5B是图示了根据本公开的一些实施方式的应用自适应颜色空间变换(ACT)的技术来在RGB颜色空间与YCgCo颜色空间之间变换残差的示例的框图。

图6是根据本公开的一些实施方式的在示例性视频数据解码过程中应用利用色度缩放的亮度映射(LMCS)的技术的框图。

图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该视频解码过程实施逆自适应颜色空间变换(ACT)的技术。

图8A和图8B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该视频解码过程实施逆自适应颜色空间变换(ACT)和利用色度缩放的亮度映射(LMCS)的技术。

图9是图示了根据本公开的一些实施方式的在执行自适应颜色空间变换(ACT)与块差分脉冲编解码调制(BDPCM)之间切换的示例性解码逻辑的框图。

图10是根据本公开的一些实施方式的在亮度和色度内部比特深度不同时为不同分量应用不同量化参数(QP)偏移的解码流程图。

图11A和图11B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该视频解码过程实施截取技术以将编码单元的残差的动态范围限制在预定义范围内，用于通过逆ACT进行处理。

图12是图示了根据本公开的一些实施方式的示例性过程的流程图，视频解码器通过该过程通过执行截取操作来对视频数据进行解码，所述截取操作将编码单元的残差的动态范围限制在预定义范围内，用于通过逆ACT进行处理。

具体实施方式

现在将详细参考具体实施方式，附图中图示了这些实施方式的示例。在以下详细描述中，阐述了许多非限制性的具体细节，以便帮助理解本文提出的主题。但是对于本领域的普通技术人员将显而易见的是，在不脱离权利要求的范围的情况下，可以使用各种替代性方案，并且可以在没有这些具体细节的情况下实践主题。例如，对于本领域普通技术人员将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实施。

在一些实施例中，提供所述方法来提高VVC标准对于4：4：4视频的编解码效率。通常，本公开中的技术的主要特征总结如下。

在一些实施例中，实施所述方法来改进能够在残差域中进行自适应颜色空间转换的现有ACT设计。特别是，对处理ACT与VVC中一些现有编解码工具的相互作用进行了特殊考虑。

在一些实施例中，实施所述方法来提高VVC标准中的一些现有帧间和帧内编解码工具对于4：4：4视频的效率，包括：1)为色度分量启用8抽头内插滤波器；2)为色度分量的帧内预测启用PDPC；3)为色度分量的帧内预测启用MRL；4)为色度分量启用ISP分区。

图1是图示了根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的示例性系统10的框图。如图1所示，系统10包括源设备12，该源设备生成并编码视频数据，以由目的地设备14在稍后时间解码。源设备12和目的地设备14可以包括多种电子设备中的任何一种，该多种电子设备包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流式传输设备等。在一些实施方式中，源设备12和目的地设备14配备有无线通信能力。

在一些实施方式中，目的地设备14可以经由链路16接收待解码的已编码视频数据。链路16可以包括能够将已编码视频数据从源设备12移到目的地设备14的任何类型的通信介质或设备。在一个示例中，链路16可以包括用于使源设备12能够实时地将已编码视频数据直接传输到目的地设备14的通信介质。已编码视频数据可以根据如无线通信协议等通信标准来调制并被传输到目的地设备14。通信介质可以包括任何无线或有线通信介质，如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(如局域网、广域网、或全球网(如因特网))的一部分。通信介质可以包括路由器、交换机、基站或可以用于促进从源设备12到目的地设备14的通信的任何其他设备。

在一些其他实施方式中，已编码视频数据可以从输出接口22传输到存储设备32。随后，存储设备32中的已编码视频数据可以由目的地设备14经由输入接口28访问。存储设备32可以包括各种分布式或本地访问的数据存储介质中的任一种，如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性存储器或非易失性存储器或用于存储已编码视频数据的任何其他合适的数字存储介质。在进一步示例中，存储设备32可以对应于可以保持由源设备12生成的已编码视频数据的文件服务器或另一个中间存储设备。目的地设备14可以经由流式传输或下载从存储设备32访问所存储的视频数据。文件服务器可以是能够存储已编码视频数据并且将已编码视频数据传输到目的地设备14的任何类型的计算机。示例性文件服务器包括web服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)设备、或本地磁盘驱动器。目的地设备14可以通过任何标准数据连接访问已编码视频数据，该连接包括适于访问被存储在文件服务器上的已编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。从存储设备32传输已编码视频数据可以是流式传输、下载传输或两者的组合。

如图1所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可以包括如视频捕获设备等的源，例如摄像机、包含先前捕获的视频的视频档案、用于从视频内容提供方接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形系统、或这样的源的组合。作为一个示例，如果视频源18是安全监控系统的摄像机，则源设备12和目的地设备14可以形成拍照电话或视频电话。然而，本申请中描述的实施方式通常可以适用于视频编解码并且可以应用于无线和/或有线应用。

捕获的、预先捕获的或计算机生成的视频可以由视频编码器20进行编码。已编码视频数据可以经由源设备12的输出接口22直接传输到目的地设备14。已编码视频数据也可以(或替代性地)被存储到存储设备32上，以供目的地设备14或其他设备以后访问，以进行解码和/或回放。输出接口22可以进一步包括调制解调器和/或发射器。

目的地设备14包括输入接口28、视频解码器30和显示设备34。输入接口28可以包括接收器和/或调制解调器，并且通过链路16接收已编码视频数据。通过链路16传送的或在存储设备32上提供已编码视频数据可以包括由视频编码器20生成的各种语法元素，以供视频解码器30在解码视频数据时使用。这种语法元素可以被包括于在通信介质上传输的、存储在存储介质上的、或存储在文件服务器中的已编码视频数据内。

在一些实施方式中，目的地设备14可以包括显示设备34，该显示设备可以是集成显示设备和被配置为与目的地设备14通信的外部显示设备。显示设备34向用户显示已解码视频数据并且可以包括各种显示设备中的任何一种，如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备。

视频编码器20和视频解码器30可以根据专有或行业标准(如VVC、HEVC、MPEG-4第10部分、高级视频编解码(AVC)或这种标准的扩展)进行操作。应当理解，本申请不限于特定的视频编码/解码标准，并且可以适用于其他视频编码/解码标准。通常设想，源设备12的视频编码器20可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行编码。类似地，通常还设想，目的地设备14的视频解码器30可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行解码。

视频编码器20和视频解码器30各自可以实施为各种适合的编码器电路中的任何一种，如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施时，电子设备可以将用于软件的指令存储在合适的非暂态计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开中公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可以包括在一个或多个编码器或解码器中，该一个或多个编码器或解码器中的任一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部分。

图2是图示了根据本申请中描述的一些实施方式的示例性视频编码器20的框图。视频编码器20可以执行对视频帧内的视频块的帧内预测编解码和帧间预测编解码。帧内预测编解码依赖于空间预测来减少或去除给定视频帧或图片内的视频数据的空间冗余。帧间预测编解码依赖于时间预测以减少或去除视频序列的邻近视频帧或图片内的视频数据的时间冗余。

如图2所示，视频编码器20包括视频数据存储器40、预测处理单元41、已解码图片缓冲器(DPB)64、加法器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41进一步包括运动估计单元42、运动补偿单元44、分区单元45、帧内预测处理单元46和帧内块复制(BC)单元48。在一些实施方式中，视频编码器20还包括用于视频块重建的反量化单元58、逆变换处理单元60和加法器62。去块滤波器(未示出)可以位于加法器62与DPB 64之间，以对块边界进行滤波，来从重建的视频中去除块效应伪像。除了去块滤波器之外，还可以使用环路滤波器(未示出)来对加法器62的输出进行滤波。视频编码器20可以采用固定或可编程硬件单元的形式，或者可以被划分在所图示的固定或可编程硬件单元中的一个或多个之中。

视频数据存储器40可以存储待由视频编码器20的部件编码的视频数据。视频数据存储器40中的视频数据可以例如从视频源18获得。DPB 64是缓冲器，所述缓冲器存储参考视频数据以供视频编码器20在对视频数据进行编码(例如，在帧内预测编解码模式或帧间预测编解码模式下)时使用。视频数据存储器40和DPB 64可以由多种存储器设备中的任何一种形成。在各个示例中，视频数据存储器40可以与视频编码器20的其他部件一起在片上(on-chip)，或者相对于那些部件在片外(off-chip)。

如图2所示，在接收到视频数据之后，预测处理单元41内的分区单元45将视频数据分区为视频块。该分区还可以包括根据预定义的分割结构(如与视频数据相关联的四叉树结构)将视频帧分区为条带、瓦片、或其他更大的编码单元(CU)。视频帧可以被划分成多个视频块(或称为瓦片的视频块集)。预测处理单元41可以基于误差结果(例如，编码率和失真级别)为当前视频块选择多个可能的预测编解码模式之一，如多个帧内预测编解码模式之一或多个帧间预测编解码模式之一。预测处理单元41可以将所得的帧内预测编码块或帧间预测编码块提供给加法器50以生成残差块，并且提供给加法器62以重建编码块以随后用作参考帧的一部分。预测处理单元41还将如运动矢量、帧内模式指示符、分区信息和其他这种语法信息等语法元素提供给熵编码单元56。

为了为当前视频块选择适当的帧内预测编解码模式，预测处理单元41内的帧内预测处理单元46可以相对于与待编解码的当前块相同的帧中的一个或多个相邻块执行对当前视频块的帧内预测编解码，以提供空间预测。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一个或多个参考帧中的一个或多个预测块执行对当前视频块的帧间预测编解码，以提供时间预测。视频编码器20可以执行多个编码通道，例如，来为视频数据的每个块选择适当的编码模式。

在一些实施方式中，运动估计单元42根据视频帧序列内的预定模式通过生成运动矢量来确定当前视频帧的帧间预测模式，该运动矢量指示当前视频帧内的视频块的预测单元(PU)相对于参考视频帧内的预测块的位移。由运动估计单元42执行的运动估计是生成运动矢量的过程，该过程估计了视频块的运动。运动矢量例如可以指示当前视频帧或图片内的视频块的PU相对于参考帧内的预测块(或其他已编码单元)的位移，该预测块(或其他已编码单元)相对于在当前帧内编解码的当前块(或其他已编码单元)。预定模式可以将序列中的视频帧指定为P帧或B帧。帧内BC单元48可以以与由运动估计单元42确定运动矢量以进行帧间预测的方式类似的方式确定用于进行帧内BC编解码的矢量，例如，块矢量，或者可以利用运动估计单元42来确定块矢量。

预测块是就像素差而言被认为与待编解码的视频块的PU紧密匹配的参考帧的块，该像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差值度量来确定。在一些实施方式中，视频编码器20可以计算存储在DPB 64中的参考帧的子整数像素位置的值。例如，视频编码器20可以插入参考帧的四分之一像素位置、八分之一像素位置或其他分数像素位置的值。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并且以分数像素精度输出运动矢量。

运动估计单元42通过将PU的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)中选择的参考帧的预测块的位置进行比较来计算帧间预测编码帧中的视频块的PU的运动矢量，该列表中的每一个标识存储在DPB 64中的一个或多个参考帧。运动估计单元42将计算的运动矢量发送到运动补偿单元44，并且然后发送到熵编码单元56。

由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动矢量获取或生成预测块。在接收当前视频块的PU的运动矢量后，运动补偿单元44可以在参考帧列表中的一个中定位运动矢量所指向的预测块，从DPB 64取得预测块并且将预测块转发到加法器50。然后，加法器50通过从被编解码的当前视频块的像素值中减去由运动补偿单元44提供的预测块的像素值来形成像素差值的残差视频块。形成残差视频块的像素差值可以包括亮度差分量或色度差分量或两者。运动补偿单元44还可以生成与视频帧的视频块相关联的语法元素，以供视频解码器30在对视频帧的视频块进行解码时使用。语法元素可以包括例如定义用于描述预测块的运动矢量的语法元素、指示预测模式的任何标志、或本文描述的任何其他语法信息。注意，运动估计单元42和运动补偿单元44可以是高度集成的，但是出于概念性目的而分别图示。

在一些实施方式中，帧内BC单元48可以以与上文结合运动估计单元42和运动补偿单元44所描述的方式类似的方式来生成矢量并且获取预测块，但是其中预测块与被编解码的当前块处于同一帧中，并且其中相对于运动矢量，该矢量被称为块矢量。特别地，帧内BC单元48可以确定用于对当前块进行编码的帧内预测模式。在一些示例中，帧内BC单元48可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且通过率失真(rate-distortion)分析来测试其性能。接下来，帧内BC单元48可以在各种测试的帧内预测模式中选择适当的帧内预测模式来使用并相应地生成帧内模式指示符。例如，帧内BC单元48可以使用针对各种测试的帧内预测模式的率失真分析来计算率失真值并且在测试的模式中选择具有最佳率失真特性的帧内预测模式作为要使用的适当的帧内预测模式。率失真分析通常确定已编码块与原始的未编码块(被编码以产生已编码块)之间的失真(或误差)量以及用于产生已编码块的比特率(即，比特数)。帧内BC单元48可以根据各个已编码块的失真和速率来计算比值，以确定哪个帧内预测模式展现出块的最佳率失真值。

在其他示例中，帧内BC单元48可以全部或部分地使用运动估计单元42和运动补偿单元44，以根据本文描述的实施方式执行用于帧内BC预测的这种功能。在任一种情况下，对于帧内块复制，预测块可以是就像素差而言被认为与待编解码的块紧密匹配的块，该像素差可以由绝对差和(SAD)、平方差和(SSD)或其他差值度量来确定，并且预测块的识别可以包括计算子整数像素位置的值。

无论预测块是根据帧内预测来自同一帧还是根据帧间预测来自不同帧，视频编码器20都可以通过从被编解码的当前视频块的像素值中减去预测块的像素值从而形成像素差值来形成残差视频块。形成残差视频块的像素差值可以包括亮度分量差值和色度分量差值。

如上文描述的，帧内预测处理单元46可以对当前视频块进行帧内预测，作为由运动估计单元42和运动补偿单元44执行的帧间预测、或由帧内BC单元48执行的帧内块复制预测的替代方案。特别地，帧内预测处理单元46可以确定用于对当前块进行编码的帧内预测模式。为此，帧内预测处理单元46可以例如在单独的编码通道期间使用各种帧内预测模式对当前块进行编码，并且帧内预测处理单元46(或者在一些示例中，为模式选择单元)可以从测试的帧内预测模式中选择适当的帧内预测模式来使用。帧内预测处理单元46可以将指示块的所选帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示比特流中的所选帧内预测模式的信息进行编码。

在预测处理单元41经由帧间预测或帧内预测确定当前视频块的预测块之后，加法器50通过从当前视频块中减去预测块来形成残差视频块。残差块中的残差视频数据可以被包括在一个或多个变换单元(TU)中，并且被提供给变换处理单元52。变换处理单元52使用如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换为残差变换系数。

变换处理单元52可以将所得的变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低比特率。量化过程还可以减小与系数中的一些或所有系数相关联的比特深度。量化程度可以通过调整量化参数来修改。在一些示例中，量化单元54然后可以对包括量化变换系数的矩阵执行扫描。替代性地，熵编码单元56可以执行扫描。

量化之后，熵编码单元56使用例如上下文自适应可变长度编解码(CAVLC)、上下文自适应二进制算术编解码(CABAC)、基于语法的上下文自适应二进制算术编解码(SBAC)、概率区间分区熵(PIPE)编解码或其他熵编码方法或技术将量化变换系数熵编码为视频比特流。然后可以将已编码比特流传输到视频解码器30，或将其存档在存储设备32中，以供以后传输到视频解码器30或由视频解码器取得。熵编码单元56还可以对被编解码的当前视频帧的运动矢量和其他语法元素进行熵编码。

反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建残差视频块，以生成用于预测其他视频块的参考块。如上所述，运动补偿单元44可以从DPB64中存储的帧的一个或多个参考块中生成运动补偿的预测块。运动补偿单元44还可以将一个或多个内插滤波器应用于预测块以计算用于在运动估计中使用的子整数像素值。

加法器62将重建的残差块添加到由运动补偿单元44产生的运动补偿的预测块，以产生参考块用于存储在DPB 64中。参考块然后可以由帧内BC单元48、运动估计单元42和运动补偿单元44用作预测块，以对后续视频帧中的另一个视频块进行帧间预测。

图3是图示了根据本申请的一些实施方式的示例性视频解码器30的框图。视频解码器30包括视频数据存储器79、熵解码单元80、预测处理单元81、反量化单元86、逆变换处理单元88、加法器90和DPB 92。预测处理单元81进一步包括运动补偿单元82、帧内预测处理单元84和帧内BC单元85。视频解码器30可以执行通常与上文结合图2关于视频编码器20所描述的编码过程相反的解码过程。例如，运动补偿单元82可以基于从熵解码单元80接收到的运动矢量生成预测数据，而帧内预测单元84可以基于从熵解码单元80接收到的帧内预测模式指示符生成预测数据。

在一些示例中，视频解码器30的单元可以被指派执行本申请的实施方式。同样，在一些示例中，本公开的实施方式可以在视频解码器30的一个或多个单元之间进行划分。例如，帧内BC单元85可以单独或与视频解码器30的其他单元(如运动补偿单元82、帧内预测处理单元84和熵解码单元80)组合执行本申请的实施方式。在一些示例中，视频解码器30可以不包括帧内BC单元85，并且帧内BC单元85的功能可以由预测处理单元81的其他部件(如运动补偿单元82)执行。

视频数据存储器79可以存储待由视频解码器30的其他部件解码的视频数据，比如已编码的视频比特流。例如，可以经由对视频数据进行有线或无线网络传送或者通过访问物理数据存储介质(例如，闪存驱动器或硬盘)从存储设备32、本地视频源(如相机)获得存储在视频数据存储器79中的视频数据。视频数据存储器79可以包括存储来自已编码视频比特流的已编码视频数据的编码图片缓冲器(CPB)。视频解码器30的已解码图片缓冲器(DPB)92存储参考视频数据，以供视频解码器30对视频数据进行解码时使用(例如，在帧内预测编解码模式或帧间预测编解码模式下)。视频数据存储器79和DPB92可以由多种存储器设备中的任一种形成，如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其他类型的存储器设备。出于说明性目的，视频数据存储器79和DPB 92在图3中被描绘为视频解码器30的两个不同的部件。但是对于本领域技术人员将显而易见的是，视频数据存储器79和DPB 92可以由相同的存储器设备或单独的存储器设备提供。在一些示例中，视频数据存储器79可以与视频解码器30的其他部件一起在片上，或者相对于那些部件在片外。

在解码过程期间，视频解码器30接收表示已编码视频帧的视频块和相关联语法元素的已编码视频比特流。视频解码器30可以在视频帧级别和/或视频块级别接收语法元素。视频解码器30的熵解码单元80对比特流进行熵解码以生成量化的系数、运动矢量或帧内预测模式指示符和其他语法元素。熵解码单元80然后将运动矢量和其他语法元素转发到预测处理单元81。

当视频帧被编解码为帧内预测编解码(I)帧或用于其他类型的帧中的帧内编解码预测块时，预测处理单元81的帧内预测处理单元84可以基于用信号传输的帧内预测模式和来自当前帧的先前解码块的参考数据来生成当前视频帧的视频块的预测数据。

当视频帧被编解码为帧间预测编解码(即，B或P)帧时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动矢量和其他语法元素产生当前视频帧的视频块的一个或多个预测块。每个预测块可以从参考帧列表之一内的参考帧产生。视频解码器30可以基于存储在DPB 92中的参考帧使用默认构造技术构造参考帧列表：列表0和列表1。

在一些示例中，当根据本文描述的帧内BC模式对视频块进行编解码时，预测处理单元81的帧内BC单元85基于从熵解码单元80接收到的块矢量和其他语法元素来为当前视频块产生预测块。预测块可以处于与由视频编码器20定义的当前视频块相同的图片的重建的区域内。

运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其他语法元素来确定当前视频帧的视频块的预测信息，并且然后使用预测信息来产生被解码的当前视频块的预测块。例如，运动补偿单元82使用接收到的语法元素中的一些来确定用于对视频帧的视频块进行编解码的预测模式(例如，帧内预测或帧间预测)、帧间预测帧类型(例如，B或P)、帧的参考帧列表中的一个或多个参考帧列表的构造信息、帧的每个帧间预测编码视频块的运动矢量、帧的每个帧间预测编解码视频块的帧间预测状态以及用于对当前视频帧中的视频块进行解码的其他信息。

类似地，帧内BC单元85可以使用接收到的语法元素中的一些(例如，标志)来确定当前视频块是使用以下各项预测的：帧内BC模式、帧的视频块处于重建的区域内并且应存储在DPB 92中的构造信息、帧的每个帧内BC预测视频块的块矢量、帧的每个帧内BC预测视频块的帧内BC预测状态以及用于对当前视频帧中的视频块进行解码的其他信息。

运动补偿单元82还可以如由视频编码器20在对视频块进行编码期间使用的那样使用内插滤波器来执行内插以计算参考块的子整数像素的内插值。在这种情况下，运动补偿单元82可以从接收到的语法元素确定由视频编码器20使用的内插滤波器并且使用该内插滤波器来产生预测块。

反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定量化程度的相同的量化参数，对在比特流中提供的并且由熵解码单元80进行熵解码的量化变换系数进行反量化。逆变换处理单元88将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中重建残差块。

在运动补偿单元82或帧内BC单元85基于矢量和其他语法元素生成当前视频块的预测块之后，加法器90通过对来自逆变换处理单元88的残差块以及由运动补偿单元82和帧内BC单元85生成的对应预测块求和来重建当前视频块的已解码视频块。环路滤波器(未示出)可以被定位在加法器90与DPB 92之间，以进一步处理已解码视频块。然后将给定帧中的已解码视频块被存储在DPB 92中，该DPB存储用于对接下来的视频块进行后续运动补偿的参考帧。DPB 92或与DPB 92分开的存储器设备还可以存储已解码视频以供稍后呈现在如图1的显示设备34等显示设备上。

在典型的视频编解码过程中，视频序列典型地包括帧或图片的有序集合。每个帧可以包括三个样点阵列，分别表示为SL、SCb和SCr。SL是亮度样点的二维阵列。SCb是Cb色度样点的二维阵列。SCr是Cr色度样点的二维阵列。在其他实例中，帧可以是单色的，并且因此仅包括亮度样点的一个二维阵列。

如图4A所示，视频编码器20(或更具体地，分区单元45)通过首先将帧分区为一组编码树单元(CTU)来生成帧的已编码表示。视频帧可以包括从左到右以及从上到下以光栅扫描顺序连续排序的整数个CTU。每个CTU是最大的逻辑编码单元，并且由视频编码器20在序列参数集中用信号传输CTU的宽度和高度，使得视频序列中的所有CTU具有相同的尺寸，即128×128、64×64、32×32和16×16中的一个。但是应当注意，本申请不必限于特定的尺寸。如图4B所示，每个CTU可以包括亮度样点的一个编码树块(CTB)、色度样点的两个对应的编码树块以及用于对编码树块的样点进行编解码的语法元素。语法元素描述像素的编码块的不同类型的单元的属性以及可以如何在视频解码器30处重建视频序列，语法元素包括帧间预测或帧内预测、帧内预测模式、运动矢量和其他参数。在单色图片或具有三个单独的色彩平面的图片中，CTU可以包括单个编码树块和用于对编码树块的样点进行编解码的语法元素。编码树块可以是NxN样点块。

为了实现更好的性能，视频编码器20可以对CTU的编码树块递归地执行树分区(如二叉树分区、三叉树分区、四叉树分区或两者的组合)，并且将CTU分区为较小的编码单元(CU)。如图4C描绘的，首先将64x64CTU 400划分为四个较小的CU，每个CU的块尺寸为32x32。在四个较小的CU中，CU410和CU420按块尺寸各自被划分为四个16x16的CU。两个16x16CU430和440按块尺寸各自进一步划分为四个8x8的CU。图4D描绘了图示了如图4C中所描绘的CTU 400的分区过程的最终结果的四叉树数据结构，四叉树的每个叶节点对应于相应尺寸在32x32至8x8范围内的一个CU。类似于图4B描绘的CTU，每个CU可以包括亮度样点的编码块(CB)和相同尺寸的帧的色度样点的两个对应的编码块，以及用于对编码块的样点进行编解码的语法元素。在单色图片或具有三个单独的色彩平面的图片中，CU可以包括单个编码块和用于对编码块的样点进行编解码的语法结构。应当注意，图4C和图4D中描绘的四叉树分区仅用于说明目的，并且可以将一个CTU分割成多个CU以适应基于四叉树/三叉树/二叉树分区的不同的局部特性。在多类型树结构中，一个CTU被四叉树结构分区，并且每个四叉树叶CU可以进一步被二叉树结构或三叉树结构分区。如图4E所示，有五种分区类型，即四元分区、水平二元分区、垂直二元分区、水平三元分区以及垂直三元分区。

在一些实施方式中，视频编码器20可以进一步将CU的编码块分区为一个或多个M×N预测块(PB)。预测块是应用相同预测(帧间或帧内)的矩形(正方形或非正方形)样点块。CU的预测单元(PU)可以包括亮度样点的预测块、色度样点的两个对应的预测块以及用于对预测块进行预测的语法元素。在单色图片或具有三个单独的色彩平面的图片中，PU可以包括单个预测块和用于对预测块进行预测的语法结构。视频编码器20可以生成CU的每个PU的亮度、Cb和Cr预测块的预测亮度、Cb和Cr块。

视频编码器20可以使用帧内预测或帧间预测来生成PU的预测块。如果视频编码器20使用帧内预测来生成PU的预测块，则视频编码器20可以基于与PU相关联的帧的已解码样点来生成PU的预测块。如果视频编码器20使用帧间预测来生成PU的预测块，则视频编码器20可以基于除与PU相关联的帧之外的一个或多个帧的已解码样点来生成PU的预测块。

在视频编码器20生成CU的一个或多个PU的预测亮度、Cb和Cr块之后，视频编码器20可以通过从其原始亮度编码块中减去CU的预测亮度块来生成CU的亮度残差块，使得CU的亮度残差块中的每个样点指示CU的预测亮度块之一中的亮度样点与CU的原始亮度编码块中的对应样点之间的差。类似地，视频编码器20可以分别生成CU的Cb残差块和Cr残差块，使得CU的Cb残差块中的每个样点指示CU的预测Cb块之一中的Cb样点与CU的原始Cb编码块中的对应样点之间的差，并且CU的Cr残差块中的每个样点可以指示CU的预测Cr块之一中的Cr样点与CU的原始Cr编码块中的对应样点之间的差。

此外，如图4C所图示的，视频编码器20可以使用四叉树分区来将CU的亮度、Cb和Cr残差块分解为一个或多个亮度、Cb和Cr变换块。变换块是应用相同变换的矩形(正方形或非正方形)样点块。CU的变换单元(TU)可以包括亮度样点的变换块、色度样点的两个对应的变换块以及用于对变换块样点进行变换的语法元素。因此，CU的每个TU可以与亮度变换块、Cb变换块和Cr变换块相关联。在一些示例中，与TU相关联的亮度变换块可以是CU的亮度残差块的子块。Cb变换块可以是CU的Cb残差块的子块。Cr变换块可以是CU的Cr残差块的子块。在单色图片或具有三个单独的色彩平面的图片中，TU可以包括单个变换块和用于对变换块的样点进行变换的语法结构。

视频编码器20可以将一个或多个变换应用于TU的亮度变换块以生成TU的亮度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一个或多个变换应用于TU的Cb变换块以生成TU的Cb系数块。视频编码器20可以将一个或多个变换应用于TU的Cr变换块以生成TU的Cr系数块。

在生成系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以对系数块进行量化。量化通常是指对变换系数进行量化以可能减少用于表示变换系数的数据量从而提供进一步压缩的过程。在视频编码器20对系数块进行量化之后，视频编码器20可以对指示量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示量化变换系数的语法元素执行上下文自适应二进制算术编解码(CABAC)。最终，视频编码器20可以输出包括形成编解码帧和相关联数据的表示的比特序列的比特流，该比特流被保存在存储设备32中或被传输到目的地设备14。

在接收到由视频编码器20生成的比特流之后，视频解码器30可以解析比特流以从比特流中获得语法元素。视频解码器30可以至少部分地基于从比特流获得的语法元素来重建视频数据的帧。重建视频数据的过程通常与由视频编码器20执行的编码过程是相反的。例如，视频解码器30可以对与当前CU的TU相关联的系数块执行逆变换以重建与当前CU的TU相关联的残差块。视频解码器30还通过将当前CU的PU的预测块的样点添加到当前CU的TU的变换块的对应样点来重建当前CU的编码块。在重建帧的每个CU的编码块之后，视频解码器30可以重建该帧。

如上所述，视频编解码主要使用两种模式，即，帧内预测(intra-frameprediction)(或帧内预测(intra-prediction))和帧间预测(inter-frameprediction)(或帧间预测(inter-prediction))来实现视频压缩。基于调色板(palette-based)的编解码是许多视频编解码标准采用的另一编解码方案。在可能特别适用于屏幕生成内容编解码的基于调色板的编解码中，视频编解码器(例如，视频编码器20或视频解码器30)形成表示给定块的视频数据的颜色的调色板表。调色板表包括给定块中最主要的(例如，经常使用的)像素值。给定块的视频数据中不经常表示的像素值不被包括在调色板表中，或者作为逸出颜色被包括在调色板表中。

调色板表中的每个条目包括调色板表中对应像素值的索引。可以对块中样点的调色板索引进行编解码，以指示调色板表中的哪个条目要用于预测或重建哪个样点。调色板模式开始于为图片、条带、瓦片或视频块的其他这种分组的第一块生成调色板预测值(predictor)的过程。如下文将解释的，后续视频块的调色板预测值典型地通过更新先前使用的调色板预测值来生成。出于说明的目的，假设调色板预测值是在图片级别定义的。换句话说，图片可以包括多个编码块，每个编码块具有其自已的调色板表，但是对于整个图片有一个调色板预测值。

为了减少用信号传输视频比特流中的调色板条目所需的比特，视频解码器可以利用调色板预测值来确定调色板表中的新调色板条目，以重建视频块。例如，调色板预测值可以包括来自先前使用的调色板表的调色板条目，或者甚至可以通过包括最近使用的调色板表的所有条目来用最近使用的调色板表来被初始化。在一些实施方式中，调色板预测值可以包括少于来自最近使用的调色板表的所有条目，并且然后结合来自其他先前使用的调色板表的一些条目。调色板预测值可以具有与用于编解码不同块的调色板表相同的尺寸，或者可以比用于编解码不同块的调色板表更大或更小。在一个示例中，调色板预测值被实施为包括64个调色板条目的先进先出(FIFO)表。

为了从调色板预测值生成视频数据块的调色板表，视频解码器可以从已编码视频比特流接收调色板预测值的每个条目的一比特标志。该一比特标志可以具有指示调色板预测值的相关联条目将被包括在调色板表中的第一值(例如，二进制一)或者指示调色板预测值的相关联条目将不被包括在调色板表中的第二值(例如，二进制零)。如果调色板预测值的尺寸大于用于视频数据块的调色板表，则一旦达到调色板表的最大尺寸，视频解码器就可以停止接收更多的标志。

在一些实施方式中，调色板表中的一些条目可以在已编码视频比特流中直接用信号传输，而不是使用调色板预测值来确定。对于这种条目，视频解码器可以从已编码视频比特流接收三个单独的m比特值，该m比特值指示与条目相关联的亮度分量和两个色度分量的像素值，其中m表示视频数据的比特深度。与直接用信号传输的调色板条目所需的多个m比特值相比，从调色板预测值得到的那些调色板条目只需要一比特标志。因此，使用调色板预测值用信号传输一些或所有调色板条目可以显著减少用信号传输新调色板表的条目所需的比特数，从而提高调色板模式编解码的整体编解码效率。

在许多实例中，一个块的调色板预测值是基于用于编解码一个或多个先前编解码的块的调色板表来确定的。但是，当对图片、条带或瓦片中的第一编码树单元进行编解码时，先前编解码的块的调色板表可能不可用。因此，无法使用先前使用的调色板表的条目来生成调色板预测值。在这种情况下，可以在序列参数集(SPS)和/或图片参数集(PPS)中用信号传输一系列调色板预测值初始值，该初始值是当先前使用的调色板表不可用时用于生成调色板预测值的值。SPS通常是指应用于被称为已编解码视频序列(CVS)的一系列连续编解码视频图片的语法元素的语法结构，如由在PPS中找到的语法元素的内容确定的，该内容指的是在每个条带分段头中找到的语法元素。PPS通常是指应用于CVS内的一个或多个单独图片的语法元素的语法结构，如由在每个条带分段头中找到的语法元素所确定的。因此，SPS通常被认为是比PPS更高级别的语法结构，这意味着与PPS中包括的语法元素相比，SPS中包括的语法元素通常不那么频繁地变化并且应用于视频数据的更大部分。

图5A至5B是图示了根据本公开的一些实施方式的应用自适应颜色空间变换(ACT)的技术来在RGB颜色空间与YCgCo颜色空间之间变换残差的示例的框图。

在HEVC屏幕内容编解码扩展中，应用ACT将残差从一个颜色空间(例如，RGB)自适应地变换到另一个颜色空间(例如，YCgCo)，使得在YCgCo颜色空间中，三个颜色分量(例如，R、G和B)之间的相关性(例如，冗余)显著降低。进一步，在现有的ACT设计中，不同颜色空间的自适应是在变换单元(TU)级别通过对于每个TU用信号传输一个标志tu_act_enabled_flag来执行的。当标志tu_act_enabled_flag等于一时，指示当前TU的残差是在YCgCo空间中编解码的；否则(即，该标志等于0)，指示当前TU的残差是在原始颜色空间中编解码的(即，没有进行颜色空间转换)。此外，根据当前TU是以无损模式(lossless mode)还是以有损模式(lossy mode)进行编解码，应用不同的颜色空间变换公式。具体地，在图5A中定义了针对有损模式的RGB颜色空间与YCgCo颜色空间之间的前向和逆向颜色空间变换公式。

针对无损模式，使用RGB-YCgCo变换的可逆版本(也称为YCgCo-LS)。RGB-YCgCo变换的可逆版本是基于图5B及相关描述中描绘的提升(lifting)操作来实施的。

如图5A所示，在有损模式中使用的前向和逆向颜色变换矩阵未被归一化。因此，YCgCo信号的幅度小于原始信号在应用颜色变换后的幅度。为了补偿由前向颜色变换引起的幅度下降，将调整后的量化参数应用于YCgCo域中的残差。具体地，当应用颜色空间变换时，用于量化YCgCo域残差的QP值QP_Y、QP_cg和QP_co被分别设置为QP-5、QP-5和QP-3，其中，QP是原始颜色空间中使用的量化参数。

在VVC中，LMCS作为新的编解码工具被应用在环路滤波器(例如，去块滤波器、SAO和ALF)之前。通常，LMCS有两个主要模块：1)基于自适应分段线性模型对亮度分量的环路映射；2)亮度相关色度残差缩放。图6示出了应用LMCS的修改的解码过程。在图6中，在映射域中执行的解码模块包括熵解码模块、反量化模块、逆变换模块、亮度帧内预测模块和亮度样点重建模块(即，附加的亮度预测样点和亮度残差样点)。在原始(即非映射)域中执行的解码模块包括运动补偿预测模块、色度帧内预测模块、色度样点重建模块(即，附加的色度预测样点和色度残差样点)、以及如去块模块、SAO模块、和ALF模块等所有环路滤波器模块。LMCS引入的新操作模块包括亮度样点的前向映射模块610、亮度样点的逆映射模块620、和色度残差缩放模块630。

LMCS的环路映射可以调整输入信号的动态范围，以提高编解码效率。现有LMCS设计中亮度样点的环路映射是基于两个映射函数构建的：一个前向映射函数FwdMap和一个对应的逆映射函数InvMap。前向映射函数使用一个具有十六个相等尺寸分段的分段线性模型用信号从编码器传输到解码器。逆映射函数可以直接从前向映射函数得到，因此不需要用信号传输。

亮度映射模型的参数在条带级别用信号传输。首先用信号传输存在标志，以指示是否要用信号传输当前条带的亮度映射模型。如果当前条带中存在亮度映射模型，则进一步用信号传输对应的分段线性模型参数。此外，在条带级别，用信号传输另一个LMCS控制标志，以为条带启用/禁用LMCS。

色度残差缩放模块630被设计为在将环路映射应用于亮度信号时补偿亮度信号与其对应色度信号之间的量化精度的相互作用。还在条带头中用信号传输是为当前条带启用还是禁用色度残差缩放。当启用亮度映射时，用信号传输额外的标志，以指示是否应用亮度相关色度残差缩放。当不使用亮度映射时，总是禁用亮度相关色度残差缩放，并且不需要额外的标志。此外，对于包含少于或等于四个色度样点的CU，始终禁用色度残差缩放。

图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该过程实施逆自适应颜色空间变换(ACT)的技术。

与HEVC SCC中的ACT设计类似，VVC中的ACT将4：4：4色度格式的一个CU的帧内/帧间预测残差从原始颜色空间(例如，RGB颜色空间)转换为YCgCo颜色空间。结果，可以减少三个颜色分量之间的冗余，以获得更好的编解码效率。图7描绘了关于通过添加逆ACT模块710如何在VVC框架中应用逆ACT的解码流程图。当处理启用ACT编码的CU时，熵解码、反量化和基于DCT/DST的逆变换首先应用于CU。之后，如图7所描绘的，调用逆ACT以将解码的残差从YCgCo颜色空间转换为原始颜色空间(例如RGB和YCbCr)。此外，由于有损模式下的ACT未被归一化，因此将(-5，-5，-3)的QP调整应用于Y、Cg和Co分量，以补偿变换残差的变化幅度。

在一些实施例中，ACT方法重用HEVC的相同ACT核心变换来进行不同颜色空间之间的颜色转换。具体地，根据当前CU是以有损方式还是无损方式编解码，应用两种不同版本的颜色变换。有损情况的前向和反向颜色变换使用不可逆的YCgCo变换矩阵，如图5A所描绘的。对于无损情况，应用可逆颜色变换YCgCo-LS，如图5B所示。此外，与现有的ACT设计不同，ACT方案引入了以下更改，以处理其与VVC标准中其他编解码工具的相互作用。

例如，由于HEVC中一个CU的残差可能被分区为多个TU，因此针对每个TU单独用信号传输ACT控制标志，以指示是否需要应用颜色空间转换。然而，如上结合图4E所述，在VVC中应用嵌套有二元和三元分区结构的一个四叉树来代替多分区类型的概念，从而去除HEVC中单独的CU、PU和TU分区。这意味着在大多数情况下，一个CU叶节点也被用作预测和变换处理的单元而无需进一步分区，除非最大支持的变换尺寸小于CU的一个分量的宽度或高度。基于这样的分区结构，自适应地在CU级别启用和禁用ACT。具体地，针对每个CU用信号传输一个标志cu_act_enabled_flag，以在原始颜色空间与YCgCo颜色空间之间进行选择，以用于对CU的残差进行编解码。如果标志等于1，则指示CU内的所有TU的残差都是在YCgCo颜色空间中编解码的。否则，如果标志cu_act_enabled_flag等于0，则CU的所有残差都是在原始颜色空间中编解码的。

在一些实施例中，存在禁用ACT的不同情境。当针对一个CU启用ACT时，需要访问所有三个分量的残差以进行颜色空间转换。然而，VVC设计不能保证每个CU总是包含三个分量的信息。根据本公开的实施例，在CU不包含所有三个分量的信息的那些情况下，应该强制禁用ACT。

首先，在一些实施例中，当应用分离树分区结构时，一个CTU内的亮度和色度样点基于分离的分区结构被分区为CU。结果，亮度分区树中的CU仅包含亮度分量的编解码信息，而色度分区树中的CU仅包含两个色度分量的编解码信息。根据当前的VVC，单树分区结构与分离树分区结构之间的切换是在条带级别进行的。因此，根据本公开的实施例，当发现分离树被应用于一个条带时，对于条带内的所有CU(包括亮度CU和色度CU)，将始终禁用ACT，而不用信号传输ACT标志，其替代地被推断为零。

其次，在一些实施例中，当启用ISP模式(下文进一步描述)时，TU分区仅被应用于亮度样点，而色度样点被编解码而不进一步分割成多个TU。假设N是一个帧内CU的ISP子分区(即TU)的数量，根据当前的ISP设计，只有最后一个TU包含亮度和色度分量两者，而第一个N-1ISP TU仅由亮度分量组成。根据本公开的实施例，在ISP模式下ACT被禁用。有两种方法来针对ISP模式禁用ACT。在第一种方法中，在用信号传输ISP模式的语法之前用信号传输ACT启用/禁用标志(即cu_acT_enabled_flag)。在这种情况下，当标志cu_act_enabled_flag等于一时，不会在比特流中用信号传输ISP模式，但其总是被推断为零(即关闭)。在第二种方法中，使用ISP模式信令来绕过ACT标志的信令。具体地，在该方法中，在标志cu_act_enabled_flag之前用信号传输ISP模式。当选择ISP模式时，标志cu_act_tnabled_flag不用信号传输并被推断为零。否则(不选择ISP模式)，仍将用信号传输标志cu_act_enabled_flag，以自适应地选择颜色空间用于CU的残差编解码。

在一些实施例中，除了针对亮度和色度分区结构未对齐的CU强制禁用ACT之外，还针对应用ACT的CU禁用LMCS。在一个实施例中，当一个CU选择YCgCo颜色空间来编解码其残差时(即ACT为一)，亮度映射和色度残差缩放都被禁用。在另一个实施例中，当为一个CU启用ACT时，仅禁用色度残差缩放，而仍然可以应用亮度映射来调整输出亮度样点的动态范围。在最后一个实施例中，对于应用ACT来编解码其残差的CU，亮度映射和色度残差缩放都被启用。可能有多种方法来为应用ACT的CU启用色度残差缩放。在一种方法中，在解码时的逆ACT之前应用色度残差缩放。通过这种方法，这意味着当应用ACT时，将色度残差缩放应用于YCgCo域中的色度残差(即Cg和Co残差)。在另一种方法中，在逆ACT之后应用色度残差缩放。具体地，通过第二种方法，将色度缩放应用于原始颜色空间中的残差。假设输入视频是以RGB格式捕获的，这意味着将色度残差缩放应用于B和R分量的残差。

在一些实施例中，将语法元素(例如，sps_act_enabled_flag)添加到序列参数集(SPS)，以指示是否在序列级别启用ACT。此外，由于将颜色空间转换应用于亮度和色度分量具有相同分辨率(例如，4：4：4色度格式4：4：4)的视频内容，因此需要添加一个比特流一致性要求，使得ACT只能针对4：4：4色度格式被启用。表1说明了添加了上述语法的修改的SPS语法表。

表1修改的SPS语法表

具体地，sps_act_enabledf_flag等于1指示启用ACT，并且sps_act_enabled_flag等于0指示禁用ACT，使得对于指代SPS的CU，不用信号传输标志cu_act_enabled_flag但该标志被推断为0。当ChromaArrayType不等于3时，比特流一致性的要求是sps_act_enabled_flag的值应等于0。

在另一个实施例中，代替总是用信号传输sps_act_enabed_flag，而是标志的信令取决于输入信号的色度类型。具体地，鉴于ACT只能在亮度和色度分量处于相同分辨率时应用，仅在输入视频是以4：4：4色度格式捕获时才用信号传输标志sps_act_enabled_flag。有了这样的更改，修改的SPS语法表为：

表2带信令条件的修改的SPS语法表

在一些实施例中，在下表中说明了用于使用ACT解码视频数据的语法设计规范。

表3信令ACT模式规范

标志cu_act_enabled_flag等于1指示编码单元的残差是在YCgCo颜色空间中被编解码的，并且标志cu_act_enabled_flag等于0指示编码单元的残差是在原始颜色空间(例如RGB或YCbCr)中被编解码的。当标志cu_act_enabled_flag不存在时，推断其等于0。

在当前的VVC工作草案中，当输入视频是以4：4：4色度格式捕获时，可以将变换跳过模式应用于亮度分量和色度分量两者。基于这样的设计，在一些实施例中，在下文中使用三种方法来处理ACT与变换跳过之间的相互作用。

在一种方法中，当为一个ACT CU启用变换跳过模式时，变换跳过模式仅应用于亮度分量而不应用于色度分量。在一些实施例中，在下表中说明了用于这种方法的语法设计规范。

表4变换跳过模式仅应用于亮度分量时的语法规范

在另一种方法中，变换跳过模式被应用于亮度分量和色度分量两者。在一些实施例中，在下表中说明了用于这种方法的语法设计规范。

表5变换跳过模式被应用于亮度分量和色度分量两者时的语法规范

在又一种方法中，当对一个CU启用ACT时，总是禁用变换跳过模式。在一些实施例中，在下表中说明了用于这种方法的语法设计规范。

表6始终禁用变换跳过模式时的语法规范

图8A和图8B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该过程实施逆自适应颜色空间变换(ACT)和利用色度缩放的亮度映射的技术。在一些实施例中，使用ACT(例如，图7中的逆ACT 710)和色度残差缩放(例如，图6中的色度残差缩放630)对视频比特流进行编解码。在一些其他实施例中，使用色度残差缩放但不同时使用ACT对视频比特流进行编解码，因此不需要逆ACT 710。

更具体地，图8A描绘了其中视频编解码器在逆ACT 710之前执行色度残差缩放630的实施例。结果，视频编解码器在颜色空间变换域中执行亮度映射以及色度残差缩放630。例如，假设输入视频是以RGB格式捕获的并且被变换到YCgCo颜色空间中，则视频编解码器根据YCgCo颜色空间中的亮度残差Y对色度残差Cg和Co执行色度残差缩放630。

图8B描绘了其中视频编解码器在逆ACT 710之后执行色度残差缩放630的替代性实施例。结果，视频编解码器在原始颜色空间域中执行亮度映射以及色度残差缩放630。例如，假设输入视频是以RGB格式捕获的，则视频编解码器对B和R分量应用色度残差缩放。

BDPCM是用于屏幕内容编解码的编解码工具。在一些实施例中，在SPS中在序列级别用信号传输BDPCM启用标志。仅当在SPS中启用变换跳过模式时，才会用信号传输BDPCM启用标志。

当启用BDPCM时，如果CU尺寸小于或等于MaxTsSize×MaxTsSize(以亮度样点计)，并且如果CU是帧内编解码的，则在CU级别传输标志，其中，MaxTsSize是允许变换跳过模式的最大块尺寸。该标志指示是使用常规帧内编解码还是使用BDPCM。如果使用BDPCM，则进一步传输另一个BDPCM预测方向标志，以指示预测是水平的还是垂直的。然后，使用常规的水平或垂直帧内预测过程利用未滤波参考样点来预测块。对残差进行量化，并对每个量化的残差与其预测值(即水平或垂直(取决于BDPCM预测方向)相邻位置的先前编解码残差)之间的差进行编解码。

对于尺寸为M(高度)×N(宽度)的块，令r_i，j(0≤i≤M-1，0≤j≤N-1)为预测残差。令Q(r_i，j)(0≤i≤M-1，0≤j≤N-1)表示残差r_i，j的量化版本。将BDPCM应用于量化的残差值，从而得到具有元素

的修改的M×N阵列

其中，

是从其相邻的量化残差值预测的。对于垂直BDPCM预测模式，对于0≤j≤(N-1)，使用下式来得到

对于水平BDPCM预测模式，对于0≤i≤(M-1)，使用下式来得到

在解码器侧，将上述过程反过来以计算Q(r_i，j)，0≤i≤M-1，0≤j≤N-1，如下：

使用垂直BDPCM (3)

使用水平BDPCM (4)

将反量化残差Q^-1(Q(r_i，j))添加到帧内块预测值以产生重建的样点值。

使用与变换跳过模式残差编解码中相同的残差编解码过程将预测的量化残差值

发送到解码器。就未来帧内模式编解码的MPM模式而言，如果BDPCM预测方向分别为水平或垂直，则为BDPCM编解码的CU存储水平或垂直预测模式。对于去块，如果块边界侧上的块均是使用BDPCM编解码的，则该特定块边界不会被去块。根据最新的VVC工作草案，当输入视频是4：4：4色度格式时，可以通过在CU级别针对亮度和色度通道用信号传输两个单独的标志(即intra_bdpcm_lumafflag和intra_bdpcm_chroma_flag)来将BDPCM应用于亮度分量和色度分量两者。

在一些实施例中，视频编解码器执行不同的逻辑来处理ACT与BDPCM之间的相互作用。例如，当将ACT被应用于一个帧内CU时，BDPCM对于亮度分量被启用但对于色度分量被禁用(910)。在一些实施例中，当将ACT应用于一个帧内CU时，BDPCM对于亮度分量被启用，但对于色度分量的BDPCM信令被禁用。当绕过色度BDPCM的信令时，在一个实施例中，intra_bdpcm_chroma_flag和intra_bdpcm_chroma_dir的值等于亮度分量(即，intra_bdpcm_flag和intra_bdpcm_dir_flag)的值，(即，对于色度BDPCM，使用与亮度相同的BDPCM方向)。在另一个实施例中，当针对ACT模式用信号传输intra_bdpcm_chroma_flag和intrra_bdpcm_chroma_dir_flag时，它们的值被设置为零(即，对于色度分量，禁用色度BDPCM模式)。对应的编码单元修改语法表如下：

表7仅对亮度分量启用BDPCM

在一些实施例中，当将ACT应用于一个帧内CU时，对亮度分量和色度分量都启用BDPCM(920)。对应的编码单元修改语法表如下：

表8对亮度分量和色度分量都启用BDPCM

在一些实施例中，当将ACT应用于一个帧内CU时，对亮度分量和色度分量都禁用BDPCM(930)。在这种情况下，不需要用信号传输与BDPCM相关的语法元素。对应的编码单元修改语法表如下：

表9对亮度分量和色度分量都禁用BDPCM

在一些实施例中，针对ACT模式使用一种受约束的色度BDPCM信令方法。具体地，色度BDPCM启用/禁用标志(即，intra_bdpcm_chroma_flag)的信令取决于当应用ACT时亮度BDPCM(即，intra_bdpcm_flag)的存在。仅在标志intra_bdpcm_flag等于一(即，启用亮度BDPCM模式)时才用信号传输标志intra_bdpcm_chroma_flag。否则，标志intra_bdpcm_chroma_flag被推断为零(即，禁用色度BDPCM)。当标志intra_bdpcm_chroma_flag等于一(即，启用色度BDPCM)时，色度分量所应用的BDPCM方向总是被设置为等于亮度BDPCM方向，即，标志intra_bdpcm_chroma_dir_flag的值总是被设置为等于intra_bdpcm_dir_flag的值。对应的编码单元修改的语法表如下：

表10决定色度BDPCM启用/禁用标志的信令取决于亮度BDPCM的存在

在一些实施例中，当应用ACT时，标志intra_bdpcm_chroma_flag的存在并非取决于intra_bdpcm_flag的值，而是在亮度分量的帧内预测模式为水平或垂直时有条件地启用色度BDPCM模式的信令。具体地，通过这种方法，仅当亮度帧内预测方向为纯水平或垂直时才用信号传输标志intra_bdpcm_chroma_flag。否则，标志intra_bdpcm_chroma_flag被推断为0(这意味着禁用色度BDPCM)。当标志intra_bdpcm_chroma_flag等于一(即，启用色度BDPCM)时，色度分量所应用的BDPCM方向总是被设置为等于亮度帧内预测方向。在下表中，数字18和50表示当前的VVC草案中水平和垂直帧内预测的当前帧内预测索引。对应的编码单元修改的语法表如下：

表11当亮度分量的帧内预测模式为水平或垂直时，决定色度BDPCM启用/禁用标志的信令

在一些实施例中，实施亮度/色度BDPCM模式的上下文建模。在VVC中的当前BDPCM设计中，针对亮度分量和色度分量的BDPCM信令重用相同的上下文建模。具体来说，一个单一的上下文由亮度BDPCM启用/禁用标志(即，intra_bdpcm_flag)和色度BDPCM启用/禁用标志(即，intra_bdpcm_chroma_flag)共享，并且另一个单一的上下文由亮度BDPCM方向标志(即，intra_bdpcm_dir_flag)和色度BDPCM方向标志(即，intra_bdpcm_chroma_dir_flag)共享。

在一些实施例中，为了提高编解码效率，在一种方法中，使用单独的上下文来用信号传输亮度分量和色度分量的BDPCM启用/禁用。在另一个实施例中，针对亮度分量和色度分量使用用于用信号传输BDPCM方向标志的单独的上下文。在又一实施例中，使用两个额外的上下文来编解码色度BDPCM启用/禁用标志，其中，当启用亮度BDPCM模式时，使用第一上下文来用信号传输intra_bdpcm_chroma_flag，而当禁用亮度BDPCM模式时，使用第二上下文来用信号传输intra_bdpcm_chroma_flag。

在一些实施例中，用无损编解码来处理ACT。在HEVC标准中，通过用信号传输一个CU级别标志cu_transquant_bypass_flag为一来指示一个CU的无损模式。然而，在正在进行的VVC标准化过程中，应用了一种不同的无损启用方法。具体地，当一个CU以无损模式编解码时，只需要跳过变换并使用量化步长为一。这可以通过用信号传输CU级别QP值为一并用信号传输TU级别transform_skip_flag为一来实现。因此，在本公开的一个实施例中，根据transform_skip_flag的值和QP值，针对一个CU/TU切换有损ACT变换和无损ACT变换。当标志transform_skip_flag等于一并且QP值等于4时，应用无损ACT变换；否则，应用ACT变换的有损版本，如下所示。

如果transform_skip_flag等于1并且QP等于4，则残差样点r_Y、r_Cb和r_cr的(nTbW)×(nTbH)阵列修改如下，其中x＝0..nTbW-1，y＝0..nTbH-1：

tmp＝r_Y[x][y]-(r_Cb[x][y]>>1)

r_Y[x][y]＝tmp+r_Cb[x][y]

r_Cb[x][y]＝tmp-(r_Cr[x][y]>>1)

r_Cr[x][y]＝r_Cb[x][y]+r_Cr[x][y]

否则，则残差样点r_Y、r_Cb和r_Cr的(nTbW)×(nTbH)阵列修改如下，其中x＝0..nTbW-1，y＝0..nTbH-1：

tmp＝r_Y[x][y]-r_Cb[x][y]

r_Y[x][y]＝r_Y[x][y]+r_Cb[x][y]

r_Cb[x][y]＝tmp-r_cr[x][y]

r_Cr[x][y]＝tmp+r_Cr[x][y]

在上面的描述中，针对有损编解码和无损编解码使用了不同的ACT变换矩阵。为了实现一种更统一的设计，针对有损编解码和无损编解码均使用无损ACT变换矩阵。此外，鉴于无损ACT变换会将Cg和Co分量的动态范围增加1位，所以在前向ACT变换之后对Cg和Co分量应用额外的1位右移位，而在逆ACT变换之前对Cg和Co分量应用1位左移位。如下所述，

如果transform_skip_flag等于0或者QP不等于4，则残差样点r_Cb和r_Cr的(nTbW)×(nTbH)阵列修改如下，其中x＝0..nTbW-1，y＝0..nTbH-1：

r_Cb[x][y]＝r_cb[x][y]<<1

r_Cr[x][y]＝r_cr[x][y]<<1

则残差样点阵列r_Y、r_Cb和r_Cr的(nTbW)×(nTbH)修改如下，其中x＝0..nTbW-1，y＝0..nTbH-1：

tmp＝r_Y[x][y]-(r_Cb[x][y]>>1)

r_Y[x][y]＝tmp+r_Cb[x][y]

r_Cb[x][y]＝tmp-(r_Cr[x][y]>>1)

r_Cr[x][y]＝r_Cb[x][y]+r_Cr[x][y]

此外，从上文可以看出，当应用ACT时，QP偏移(-5，-5，-3)被应用于Y、Cg和Co分量。因此，对于小的输入QP值(例如，<5)，负QP将被用于未定义的ACT变换系数的量化/去量化。为了解决这个问题，在ACT的QP调整之后添加一个截取操作，使得所应用的QP值总是等于或大于零，即QP’＝max(QP_org-QP_offset，0)，其中，QP是原始QP，QP_offset是ACT QP偏移，以及QP’是调整后的QP值。

在上述方法中，虽然针对有损编解码和无损编解码都使用相同的ACT变换矩阵(即，无损ACT变换矩阵)，但仍然可以识别出以下两个问题：

根据当前CU是有损CU还是无损CU，仍然会应用不同的逆ACT操作。具体地，对于无损CU，应用逆ACT变换；对于有损CU，需要在ACT逆变换之前应用额外的右移位。此外，解码器需要知道当前CU是以有损模式还是无损模式编解码的。这与当前的VVC无损设计不符。具体来说，与HEVC无损设计(其中，一个CU的无损模式通过用信号传输一个cu_transquant_bypass_flag来指示)不同，VVC中的无损编解码是以一种纯粹的非规范方式进行的，即，跳过预测残差的变换(对亮度分量和色度分量启用变换跳过模式)、选择适当的QP值(即，4)并明确禁用阻止无损编解码的编解码工具(比如环路滤波器)。

用于归一化ACT变换的QP偏移现在已固定。然而，就编解码效率而言最佳QP偏移的选择可能取决于内容本身。因此，在启用ACT工具时允许灵活的QP偏移信令以便最大化其编解码增益可能更有益。

基于以上考虑，一种统一的ACT设计实施如下。首先，对于以有损模式和无损模式编解码的CU应用无损ACT前向变换和逆变换。其次，并非使用固定的QP偏移，而是在比特流中显性地用信号传输应用于ACT CU的QP偏移(即，应用于Y、Cg和Co分量的三个QP偏移)。第三，为了防止应用于ACT CU的QP的可能溢出问题，对每个ACTCU的结果QP应用截取操作至有效QP范围。可以看出，基于上述方法，有损编解码与无损编解码之间的选择可以通过纯粹的仅编码器修改(即，使用不同的编码器设置)来实现。ACTCU的有损和无损编解码的解码操作是相同的。具体地，为了启用无损编解码，除了现有的编码器侧无损配置外，编码器只需用信号传输三个QP偏移的值为零。另一方面，为了启用有损编解码，编码器可以用信号传输非零QP偏移。例如，在一个实施例中，为了补偿在有损编解码中由无损ACT变换引起的动态范围变化，可以在应用ACT时针对Y、Cg和Co分量用信号传输QP偏移(-5，1，3)。另一方面，可以在不同的编解码级别用信号传输ACT QP偏移，例如，序列参数集(SPS)、图片参数集(PPS)、图片头、编码块组级别等，这样可以以不同的粒度提供不同的QP自适应。下表给出了在SPS中执行QP偏移信令的一个示例。

表12在SPS中执行QP偏移信令的语法规范

在另一个实施例中，在SPS或PPS处添加一个高级控制标志(例如，pictureheader_acLqp_offset_present_flag)。当该标志等于零时，这意味着在SPS或PPS中用信号传输的QP偏移将被应用于以ACT模式编解码的所有CU。否则，当该标志等于一时，可以在图片头中进一步用信号传输额外的QP偏移语法(例如，picture_header_y_qp_offset_plus5、picture_header_cg_qp_offset_minus1和picture_header_co_qp_offset_minus3)，以在一个特定图片中单独地控制应用于ACT CU的QP值。

另一方面，还应该应用用信号传输的QP偏移，以将最终的ACT QP值限制在有效动态范围内。此外，可以将不同的截取范围应用于用变换和不用变换编解码的CU。例如，当不应用变换时，最终的QP应该不小于4。假设ACT QP偏移是在SPS级别用信号传输的，则ACT CU的对应QP值得到过程可以描述如下：

QpY＝((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffset+

sps_act_y_qp_offset)％(64+QpBdOffset))-QpBdOffset

Qp′_Cb＝Clip3(-QpBdOffset，63，qP_Cb+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOff

set_Cb+sps_act_cg_offset)+QpBdOffset

Qp′_Cr＝Clip3(-QpBdOffset，63，qP_Cr+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffset_Cr+sps_act_co_offset)+QpBdOffset

Qp′_CbCr＝Clip3(-QpBdOffset，63，qP_Cbcr+pps_joint_cbcr_qp_offset+slice_joint_cbcr_qp_offset+CuQpOffsetcbcr+sps_act_cg_offset)+QpBdOffset

在另一个实施例中，在SPS级别用信号传输ACT启用/禁用标志，而在PPS级别用信号传输ACT QP偏移，以允许对于编码器更大的灵活性，以调整被应用于ACT CU的QP偏移，以便提高编解码效率。具体地，具有所描述的更改的SPS和PPS语法表在下表中显示。

表13在SPS级别用信号传输ACT启用/禁用标志而在PPS级别用信号传输ACT QP偏移的语法规范

pps_acLqp_offseLpresenLflag等于1指定比特流中存在pps_acLy_qp_offset_plus5、pps_acLcg_qp_offset_minus1和pps_acLco_qp_offset_minus3。当pps_acLqp_offset_present_flag等于0时，比特流中不存在语法元素pps_acLy_qp_offset_plus5、pps_acLcg_qp_offset_minus1和pps_acLco_qp_offset_minus3。比特流一致性是当sps_acLenabled_flag等于0时pps_act_qp_offset_present_flag的值应为0。

pps_acLy_qp_offseLplus5、pps_acLcg_qp_offseLminus1和pps_acLco_qp_offseLminus3用于确定被应用于针对其cU_acLenabled_flag等于1的编码块的亮度分量和色度分量而使用的量化参数值的偏移。当不存在时，pps_acLy_qp_offset_plus5、pps_acLcg_qp_offset_minus1和pps_acLcr_qp_offset_minus3的值被推断等于0。

在上述PPS信令中，当应用或不应用色度残差联合编解码(JCCR)模式时，对ACTCU应用相同的QP偏移值。鉴于一个信号色度分量的仅残差是以JCCR模式编解码的，这样的设计可能不是最佳的。因此，为了实现一个更好的编解码增益，当对一个ACTCU应用JCCR模式时，可以应用一个不同的QP偏移来对色度分量的残差进行编解码。基于这样的考虑，在PPS中为JCCR模式添加一个单独的QP偏移信令，具体如下。

表14在PPS中为JCCR模式添加单独的QP偏移信令的语法规范

pps_joint_cbcr_qp_offset用于确定应用于针对应用了联合色度残差编解码的编码块的色度残差而使用的量化参数值的偏移。当不存在时，pps_joint_cbcr_qp_offset的值被推断等于零。

在一些实施例中，图10示出了当内部亮度比特深度和色度比特深度不同时处理ACT的方法。具体地，图10是根据本公开的一些实施方式的在亮度和色度内部比特深度不同时为不同分量应用不同QP偏移的解码流程图。

根据现有的VVC规范，允许亮度分量和色度分量使用不同的内部比特深度(表示为BitDepth_Y和BitDepth_C)以用于编解码。然而，现有的ACT设计总是假设内部亮度比特深度和色度比特深度相同。在本节中，当BitDepth_v不等于BitDepth_C时，实施方法来改进ACT设计。

在第一种方法中，当内部亮度比特深度不等于色度分量的比特深度时，始终禁用ACT工具。

在第二种方法中，通过将比特深度较小的分量左移位来匹配另一个分量的比特深度来在第二种解决方案中实施亮度分量和色度分量的比特深度对齐；然后，缩放后的分量将在颜色变换后通过右位移位被重新调整到原始比特深度。

与HEVC类似，量化步长随着QP的每次递增而增加约2^1/6倍，每6次递增正好翻倍。基于这样的设计，在第二种方法中，为了补偿亮度与色度之间的内部比特深度，将用于内部比特深度较小的分量的QP值增加6Δ，其中，Δ是亮度内部比特深度与色度内部比特深度之间的差。然后，通过应用Δ位右移位，将分量的残差移位回原始动态范围。图10图示了当应用上述方法时对应的解码过程。例如，假设输入QP值为qp，则应用于Y、Cg和Co分量的默认QP值等于qp-5、qp-5和qp-3。进一步，假设亮度内部比特深度高于色度比特深度，即，Δ＝BitDepthY-BitDepthc。于是，应用于亮度分量和色度分量的最终QP值等于qp-5、qp-5+6Δ和qp-3+6Δ。

在一些实施例中，实施编码器加速逻辑。为了为一个CU的残差编解码选择颜色空间，最直接的方法是让编码器检查每种编解码模式(例如，帧内编解码模式、帧间编解码模式和IBC模式)两次，一次带有被启用的ACT，另一次带有被禁用的ACT。这可能会使编码复杂性大致加倍。为了进一步降低ACT的编码复杂性，本公开实施了以下编码器加速逻辑：

首先，由于YCgCo空间比RGB空间更紧凑，所以当输入视频为RGB格式时，首先检查启用ACT工具的率失真(R-D)成本，然后检查禁用ACT工具的R-D成本。此外，仅当启用ACT时存在至少一个非零系数时，才进行对禁用颜色空间变换的R-D成本的计算。替代性地，当输入视频为YCbCr格式时，在对启用ACT的R-D检查之后检查禁用ACT的R-D成本。仅当禁用ACT时存在至少一个非零系数时才执行第二个R-D检查(即启用ACT)。

其次，为了减少测试的编解码模式的数量，对两个颜色空间使用相同的编解码模式。更具体地，对于帧内模式，在两个颜色空间之间共享为全R-D成本比较所选的帧内预测模式；对于帧间模式，在两个颜色空间之间共享所选的运动矢量、参考图片、运动矢量预测值和合并索引(用于帧间合并模式)；对于IBC模式，在两个颜色空间之间共享所选的块矢量和块矢量预测值以及合并索引(用于IBC合并模式)。

第三，由于VVC中使用的四/二/三叉树分区结构，通过不同的分区组合可以获得相同的块分区。为了加速颜色空间的选择，当通过不同的分区路径实现一个相同的块时，实施使用ACT启用/禁用决策。具体地，当首次对CU进行编解码时，将存储用于对一个特定CU的残差进行编解码的所选颜色空间。然后，当通过另一个分区路径获得相同的CU时，不再在这两个空间之间进行选择，而是会直接重用存储的颜色空间决策。

第四，考虑到一个CU与其空间邻居之间的强相关性，实施使用其空间相邻块的颜色空间选择信息来决定当前CU的残差编解码需要检查多少个颜色空间。例如，如果有足够数量的空间相邻块选择YCgCo空间来编解码它们的残差，那么可以合理地推断当前CU很可能选择相同的颜色空间。相应地，可以跳过原始颜色空间中对当前CU的残差的编解码的R-D检查。如果有足够多的选择原始颜色空间的空间邻居，则可以绕过YCgCo域中对残差编解码的R-D检查。否则，两个颜色空间都需要被测试。

第五，鉴于同一区域中的CU之间存在强相关性，所以一个CU可以选择与其父CU相同的颜色空间来对其残差进行编解码。或者子CU可以从其父CU的信息中得到颜色空间，比如所选的颜色空间和每个颜色空间的RD成本。因此，为了简单的编码复杂性，如果一个CU的父CU的残差是在YCgCo域中编码的，则对于该CU将跳过RGB域中对残差编解码的R-D成本的检查；此外，如果其父CU的残差是在RGB域中编码的，则将跳过YCgCo域中对残差编解码的RD成本的检查。另一种保守的方法是，如果在其父CU的编码中测试了两个颜色空间，则在两个颜色空间中使用其父CU的R-D成本。如果其父CU选择YCgCo颜色空间，并且YCgCo的RD成本远小于RGB的RD成本，则会跳过RGB颜色空间，反之亦然。

在一些实施例中，通过针对色度分量启用仅亮度编解码工具来提高4：4∶4视频编解码效率。因为VVC设计的主要重点是针对以4∶2∶0色度格式捕获的视频，因此大多数现有的帧间/帧内编解码工具仅对于亮度分量被启用，而对于色度分量被禁用。但如前所述，当与4：2：0视频信号相比，4：4：4色度格式的视频信号表现出截然不同的特性。例如，与亮度分量类似，4∶4∶4YCbCr/RGB视频的Cb/B和Cr/R分量通常包含有用的高频纹理和边缘信息。这与4∶2∶0视频中的色度分量不同，后者通常非常平滑且包含的信息比亮度分量少得多。基于这样的分析，当输入视频为4：4：4色度格式时，实施以下方法将当前VVC中的一些仅亮度编解码工具扩展到色度分量。

首先，为色度分量启用亮度内插滤波器。与HEVC一样，VVC标准利用运动补偿预测技术来利用时间相邻图片之间的冗余，所述技术支持的运动矢量精确到Y分量的十六像素以及Cb和Cr分量的三十二像素。使用一组可分离的8抽头滤波器对分数样点进行内插。Cb和Cr分量的分数内插与Y分量的分数内插基本上相同，只是在4：2：0视频格式的情况下使用了可分离的4抽头滤波器。这是因为对于4：2：0视频，Cb和Cr分量包含的信息比Y分量少得多，并且与使用8抽头内插滤波器相比，4抽头内插滤波器可以降低分数内插滤波的复杂性，而不会影响Cb和Cr分量的运动补偿预测的效率。

如前所述，现有的4抽头色度内插滤波器可能无法高效地为4：4：4视频中的色度分量的运动补偿预测内插分数样点。因此，在本公开的一个实施例中，将相同的一组8抽头内插滤波器(用于4：2：0视频中的亮度分量)用于4：4：4视频中的亮度分量和色度分量两者的分数样点内插。在另一个实施例中，为了在编解码效率与复杂性之间实现更好的折衷，对4：4：4视频中的色度样点启用自适应内插滤波器选择。例如，可以在SPS、PPS和/或条带级别中用信号传输一个内插滤波器选择标志，以指示在各种编解码级别对色度分量使用8抽头内插滤波器(或其他内插滤波器)还是默认的4抽头内插滤波器。

其次，为色度分量启用PDPC和MRL。

VVC中的位置相关帧内预测组合(PDPC)工具通过采用帧内预测样点与未滤波参考样点的加权组合来扩展上述想法。在当前的VVC工作草案中，在没有信令的情况下为以下帧内模式启用PDPC：平面、DC、水平(即，模式18)、垂直(即，模式50)、接近左下角对角线方向的角度方向(即，模式2、3、4、…、10)以及接近右上角对角线方向的角度方向(即，模式58、59、60、...、66)。假设定位为坐标(x，y)的预测样点是pred(x，y)，其在PDPC之后的对应值计算如下

pred(x,y)＝(wL×R-1，y+wT×Rx,-1-wTL×R-1，-1+(64-wL-wT+wTL)×

pred(x,y)+32)>>6

其中，Rx,-1、R-1，y分别表示位于当前样点(x，y)上方和左侧的参考样点，并且R-1，-1表示位于当前块左上角的参考样点。以上等式中的权重wL、wT和wTL是根据预测模式和样点位置自适应选择的，如下所述，其中假设当前编码块的尺寸为w×H：

对于DC模式，

wT＝32>>((y<<1)>>shift)，wL＝32>>((x<<1)>>shift)，wTL＝(wL>>4)+(

wT>>4)

对于平面模式，

wT＝32>>((y<<1)>>shift)，wL＝32>>((x<<1)>>shift)，wTL＝0

对于水平模式：

wT＝32>>((y<<1)>>shift)，wL＝32>>((x<<1)>>shift)，wTL＝wT

对于垂直模式：

wT＝32>>((y<<1)>>shift)，wL＝32>>((x<<1)>>shift)，wTL＝wL

对于左下角对角线方向：

wT＝16>>((y<<1)>>shift)，wL＝16>>((x<<1)>>shift)，wTL＝0

对于右上角对角线方向：

wT＝16>>((y<<1)>>shift)，wL＝16>>((x<<1)>>shift)，wTL＝0

其中，shift＝(log2(W)-2+log2(H)-2+2)>>2。

与仅将最近的重建样点行/列作为参考的HEVC不同，在VVC中引入了多参考线(MRL)，其中将两个额外的行/列用于帧内预测。所选择的参考行/列的索引从编码器用信号传输到解码器。当选择非最近的行/列时，平面模式和DC模式被从可以用于预测当前块的帧内模式集合中排除。

在当前的VVC设计中，PDPC工具仅由亮度分量使用，以减少/消除帧内预测样点与其参考样点(从重建的相邻样点得到)之间的不连续性。然而，如前所述，4：4∶4色度格式的视频信号中的色度块中可能存在丰富的纹理信息。因此，像PDPC这样使用未滤波参考样点和帧内预测样点的加权平均值来提高预测质量的工具应该也有利于提高4∶4：4视频的色度编解码效率。基于这样的考虑，在本公开的一个实施例中，对4∶4∶4视频中的色度分量的帧内预测启用PDPC过程。

同样的考虑也可以扩展到MRL工具。在当前的VVC中，MRL不能应用于色度分量。基于本公开的实施例，通过用信号传输一个帧内CU的色度分量的一个MRL索引来为4：4：4视频的色度分量启用MRL。基于该实施例，可以使用不同的方法。在一种方法中，可以用信号传输一个额外的MRL索引，并由Cb/B和Cr/R分量共享该索引。在另一种方法中，用信号传输两个MRL索引，每个色度分量一个。在第三种方法中，将亮度MRL索引重用于色度分量的帧内预测，使得不需要额外的MRL信令来为色度分量启用MRL。

第三，为色度分量启用ISP。

在一些实施例中，将一种称为子分区预测(ISP)的编解码工具引入VVC以进一步提高帧内编解码效率。传统的帧内模式仅利用与一个CU相邻的重建样点来生成该块的帧内预测样点。基于这样的设计，预测样点与参考样点之间的空间相关性与它们之间的距离大致成比例。因此，内部的样点(尤其是位于块右下角的样点)通常比靠近块边界的样点具有更差的预测质量。ISP根据块尺寸将当前CU分为水平或垂直方向的2个或4个子块，并且每个子块至少包含16个样点。一个子块中的重建样点可以用作预测下一子块中的样点的参考。重复上述过程，直到当前CU内的所有子块都被编解码。此外，为了减少信令开销，一个ISPCU内的所有子块共享相同的帧内模式。此外，根据现有的ISP设计，子块分区仅适用于亮度分量。具体地，仅一个ISPCU的亮度样点可以被进一步分割成多个子块(或TU)，并且每个亮度子块被单独地编解码。然而，ISPCU的色度样点没有被划分。换句话说，对于色度分量，CU被用作帧内预测、变换、量化和熵编解码的处理单元，而无需进一步分区。

在当前的VVC中，当启用ISP模式时，TU分区仅应用于亮度样点，而色度样点被编解码而不进一步分割成多个TU。根据本公开的实施例，由于色度平面中丰富的纹理信息，还为4∶4：4视频中的色度编解码启用ISP模式。基于该实施例，可以使用不同的方法。在一种方法中，用信号传输一个额外的ISP索引，并由两个色度分量共享该索引。在另一种方法中，单独地用信号传输两个额外的ISP索引，一个用于Cb/B，另一个用于Cr/R。在第三种方法中，将用于亮度分量的ISP索引重用于这两个色度分量的ISP预测。

第四，为色度分量启用基于矩阵的帧内预测(MIP)作为新的帧内预测技术。

为了预测宽度为W且高度为H的矩形块的样点，MIP将块左侧的一行H个重建的相邻边界样点和块上方的一行W个重建的相邻边界样点作为输入。如果重建的样点不可用，则按照传统帧内预测中的方式生成它们。

在一些实施例中，仅为亮度分量启用MIP模式。由于为色度分量启用ISP模式的相同原因，在一个实施例中，为444视频的色度分量启用MIP。可以应用两种信令方法。在第一种方法中，单独地用信号传输两种MIP模式，一种用于亮度分量，另一种用于两个色度分量。在第二种方法中，仅用信号传输由亮度分量和色度分量共享的一种单一的MIP模式。

第五，为色度分量启用多变换选择(MTS)。

除了在HEVC中采用的DCT-II之外，还使用MTS方案进行帧间编码块和帧内编码块两者的残差编解码。它使用来自DCT8/DST7的多种选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。

在当前的VVC中，仅为亮度分量启用MTS工具。在本公开的一个实施例中，为444视频的色度分量启用MIP。可以应用两种信令方法。在第一种方法中，当为一个CU启用MTS时，单独地用信号传输两个变换索引，一个用于亮度分量，另一个用于两个色度分量。在第二种方法中，当启用MTS时，用信号传输由亮度分量和色度分量共享的一个单一的变换索引。

在一些实施例中，与使用固定查找表来基于亮度QP从色度分量得到所使用的量化参数(QP)的HEVC标准不同，在VVC标准中，将亮度到色度映射表从编码器传输到解码器，该亮度到色度映射表由分段线性函数的几个枢轴点定义。具体地，亮度到色度映射表的语法元素和重建过程描述如下：

表15亮度到色度映射表的语法元素和重建过程

same_qp_table_for_chroma等于1指定仅用信号传输一个色度QP映射表，并且该表适用于Cb和Cr残差，并且在sps_joint_cbcr_enabled_flag等于1时还适用于联合Cb-Cr残差。same_qp_table_for_chroma等于0指定在SPS中用信号传输色度QP映射表，两个用于Cb和Cr，另外一个用于当sps_joint_cbcr_enabled_flag等于1时的联合Cb-Cr。当比特流中不存在same_qp_table_for_chroma时，same_qp_table_for_chroma的值被推断等于1。

qp_table_start_minus26[i]加26指定用于描述第i个色度QP映射表的起始亮度和色度QP。qp_table_start_minus26[i]的值应在-26-QpBdOffset到36的范围内(包括端点)。当比特流中不存在qp_table_start_minus26[i]时，qp_table_start_minus26[i]的值被推断等于0。

num_points_in_qp_table_minus1[i]加1指定用于描述第i个色度QP映射表的点数。num_points_in_qp_table_minusl[i]的值应在0到63+QpBdOffset的范围内(包括端点)。当比特流中不存在num_points_in_qp_table_minus1[0]时，num_points_in_qp_table_minus1[0]的值被推断等于0。

delta_qp_in_val_minus1[i][j]指定用于得到第i个色度QP映射表的第j个枢轴点的输入坐标的delta值。当比特流中不存在delta_qp_in_val_minus1[0][j]时，delta_qp_in_val_minus1[0][j]的值被推断等于0。

delta_qp_diff_val[i][j]指定用于得到第i个色度QP映射表的第j个枢轴点的输出坐标的delta值。

如下得到第i个色度QP映射表ChromaQpTable[i]，对于i＝0..numQpTables-l：

在一些实施例中，本文公开了用于RGB视频的改进的亮度到色度映射函数。

在一些实施例中，当输入视频为RGB格式时，将一个两段线性函数从编码器传输到解码器，以用于将亮度QP映射到色度QP。这是通过设置语法元素same_qp_table_for_chroma＝1、qp_table_start_minus26[0]＝0、num_points_in_qp_table_minus1[0]＝0、delta_qp_in_val_minus1[0][0]＝0和delta_qp_diff_val[0][0]＝0来完成的。具体地，对应的亮度到色度QP映射函数定义为

假设内部编解码比特深度为10位，表16说明了应用于RGB编解码的亮度到色度QP映射函数。

表16用于RGB编解码的亮度到色度QP映射表

如(5)所示，当亮度QP大于26时，使用不相等的QP值对亮度分量和色度分量进行编解码。在一些实施例中，鉴于在计算模式决策的R-D成本时使用加权色度失真(具体见以下等式)，不相等的QP值不仅对量化/去量化过程有影响，而且对在率失真(R-D)优化期间做出的决策也有影响。

J_mode＝(SSE_luma+W_chroma·SSE_chroma)+λ_mode·R_mode (6)

其中，SSE_luma和SSE_chroma分别是亮度分量和色度分量的失真；R_mode是位数；λ_mode是拉格朗日乘数；w_chroma是色度失真的加权参数，其计算为

然而，与YCbCr/YUV视频相比，RGB视频的三个通道之间存在更强的相关性。因此，当视频内容是以RGB格式捕获的(即，R、G和B中的信息同等重要)时，所有三个分量中通常存在强纹理和高频信息。因此，在本公开的一个实施例中，将相等的QP值应用于所有三个通道以进行RGB编解码。这可以通过将对应的亮度到色度QP映射语法元素设置为same_qp_table_for_chroma＝1、qp_table_start_minus26[0]＝0、num_points_in_qp_table_minus1[0]＝0、delta_qp_in_val_minus1[0][0]＝0和delta_qp_diff_val[0][0]＝1来完成。相应地，利用本文公开的方法，通过等式(8)和表17说明了RGB亮度到色度映射函数。

QP_c＝QP_L (8)

表17用于RGB编解码的亮度到色度QP映射表

图11A和图11B是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过该过程实施截取技术以将编码单元的残差的动态范围限制在预定义范围内，以通过逆ACT进行处理。

更具体地，图11A示出了将截取操作1102应用于逆ACT1104的输入的示例。图11B示出了将截取操作1102和1106应用于逆ACT1104的输入和输出两者的示例。在一些实施例中，截取操作1102和1106是相同的。在一些实施例中，截取操作1102和1106是不同的。

在一些实施例中，用ACT实施比特深度控制方法。根据现有的ACT设计，解码器处的逆ACT过程的输入是来自其他残差解码过程(例如，逆变换、逆BDPCM和逆JCCR)的输出残差。在当前的实施方式中，那些残差样点可以达到16位符号整数的最大值。通过这样的设计，逆ACT无法通过16位实施方式来实施，这对于硬件实施方式来说是非常昂贵的。为了解决这个问题，对逆ACT过程的输入残差应用一个截取操作。在一个实施例中，对逆ACT过程的输入残差应用以下截取操作：

Clip_input＝Clip(-(2^Bitdepth-1)，2^Bitdepth-1，M)

其中，Bitdepth是内部编解码比特深度。

在另一个实施例中，对逆ACT过程的输入残差应用另一个截取操作，如下所示：

Clip_input＝Clip(-(2¹⁵-1)，2¹⁵-1，M)

此外，在另一个实施例中，对逆ACT的输出残差应用截取操作。在一个实施例中，对逆ACT的输出应用以下截取操作：

Clip_output＝Clip(-(2^Bitdepth-1)，2^Bitdepth-1，M)

在另一个实施例中，对逆ACT的输出应用以下截取操作：

Clip_output＝Clip(-(2¹⁵-1)，2¹⁵-1，M)

如图5B中描绘的提升操作所示，当应用可逆YCgCo变换时，由于提升操作，Cg和Co分量的动态范围将增加1位。因此，为了保持从可逆YCgCo变换输出的残差样点的精度，在一个实施例中，基于以下等式对逆ACT的输入残差进行截取：

Clip_input＝Clip(_2^Bitdepth+1，2^Bitdepth+1-1，M)

在另一个实施例中，对逆ACT的输入Y、Cg和Co残差应用不同的截取操作。具体地，由于Y分量的比特深度在可逆ACT变换前后保持不变，因此通过以下操作对逆ACT的输入亮度残差进行截取：

Clip_input＝Clip(-2^Bitdepth，2^Bitdepth-1，M)

对于Cg和Co分量，由于比特深度的增加，通过以下操作对逆ACT的对应输入残差进行截取：

Clip_input＝Clip(_2^Bitdepth+1，2^Bitdepth+1-1，M)

在另一个实施例中，通过以下操作对逆ACT的输入残差进行截取：

Clip_input＝Clip(-2^c，2^c-1，M)

其中，C是一个固定数字。

图12是图示了根据本公开的一些实施方式的示例性过程的流程图1200，视频解码器(例如，视频解码器30)通过该过程通过执行截取操作来对视频数据进行解码，该截取操作将编码单元的残差的动态范围限制在预定义范围内，以供通过逆ACT进行处理。

视频解码器30从比特流接收对应于编码单元的视频数据，其中，编码单元通过帧内预测模式或帧间预测模式进行编解码(1210)。

然后，视频解码器30从视频数据接收第一语法元素。第一语法元素指示编码单元是否已经使用自适应颜色空间变换(ACT)进行编解码(1220)。

然后，视频解码器30对视频数据进行处理以生成编码单元的残差(1230)。根据基于第一语法元素确定编码单元已经使用ACT进行编解码，视频解码器30对编码单元的残差执行截取操作(1240)。视频解码器30在截取操作之后对编码单元的残差应用逆ACT(1250)。

在一些实施例中，截取操作将编码单元的残差的动态范围限制在预定义范围内，以便通过逆ACT进行处理。

在一些实施例中，截取操作被定义为

Clip_input＝Clip(-2^Bitdepth+1，2^Bitdepth+1-1，M)

其中，M是截取操作的输入，Bitdepth是内部编解码比特深度，Clip_input是截取操作的输出、范围从-2^Bitdepth+1至(2^Bitdepth+1-1)在一些实施例中，如果输入M小于-2^Bitdepth+1，则截取操作的输出设置为-2^Bitdepth+1。在一些实施例中，如果输入M大于(2^Bitdepth+1-1)，则截取操作的输出设置为(2^Bitdepth+1-1)。

在一些实施例中，截取操作被定义为

Clip_input＝Clip(-2^Bitdepth，2^Bitdepth-1，M)

其中，M是截取操作的输入，Bitdepth是内部编解码比特深度，Clip_input是截取操作的输出、范围从-2^Bttdepth至(2^Bitdepth-1)在一些实施例中，如果输入M小于_2^Bitdepth，则截取操作的输出设置为_2^Bitdepth。在一些实施例中，如果输入M大于(2^Bitdepth-1)，则截取操作的输出设置为(2^Bitdepth-1)。

在一些实施例中，在执行截取操作之前，视频解码器30对编码单元的残差应用逆变换。

在一些实施例中，在对编码单元的残差应用逆ACT之后，视频解码器30对编码单元的残差应用第二截取操作。

在一些实施例中，截取操作将编码单元的残差的动态范围调整在通过逆ACT实施的固定内部编解码比特深度范围内。

在一些实施例中，实施固定的内部编解码比特深度为15。

在一些实施例中，在从视频数据接收第一语法元素之后，视频解码器30从视频数据接收第二语法元素，其中，第二语法元素指示在截取操作中使用的可变内部编解码比特深度。

在一些实施例中，在从视频数据接收第一语法元素之后，视频解码器30从视频数据接收第二语法元素，其中，第二语法元素指示第一内部编解码比特深度，并且在截取操作中使用的第二内部编解码比特深度是第一内部编解码比特深度加1。

在一些实施例中，截取操作进一步包括应用于编码单元的残差的亮度分量的第一截取操作、以及应用于编码单元的残差的色度分量的第二截取操作。

在一些实施例中，第一截取操作将编码单元的残差的亮度分量的动态范围限制在第一内部编解码比特深度加1的范围内，并且第二截取操作将编码单元的残差的色度分量的动态范围限制在第二内部编解码比特深度加1的范围内，并且第二内部编解码比特深度为第一内部编解码比特深度加1。

在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过计算机可读介质进行传输并且由基于硬件的处理单元执行。计算机可读介质可以包括对应于如数据存储介质等有形介质的计算机可读存储介质或包括有助于例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂态的有形计算机可读存储介质或者(2)如信号或载波等通信介质。数据存储介质可以是可以被一个或多个计算机或者一个或多个处理器访问以取得用于实施本申请中描述的实施方式的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

在对本文中实施方式的描述中使用的术语仅出于描述特定实施方式的目的，并且不旨在限制权利要求的范围。如对实施方式的描述和所附权利要求中使用的，单数形式“一个(a)”、“一种(an)”和“所述(the)”旨在也包括复数形式，除非上下文另有明确指示。还将理解的是，本文所使用的术语“和/或”是指并涵盖相关联列举项目中的一个或多个项目的任何和所有可能组合。将进一步理解的是，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，其指定陈述的特征、元件和/或部件的存在，但不排除一个或多个其他特征、元件、部件和/或其组的存在或添加。

还应理解，尽管术语第一、第二等在本文中可以用来描述各种要素，但是这些要素不应该受这些术语的限制。这些术语仅仅是用来将一个要素与另一个要素进行区分。例如，在不偏离实施方式的范围的情况下，第一电极可以被称为第二电极，并且类似地，第二电极可以被称为第一电极。第一电极和第二电极都是电极，但是第一电极和第二电极不是同一电极。

已经出于说明和描述的目的呈现了对本申请的描述，并且描述不旨在是穷举的或以所公开的形式限于本发明。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。选择并描述实施例以便最好地解释本发明的原理、实际应用，并且使本领域其他技术人员能够理解本发明的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，权利要求的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在被包括在所附权利要求的范围内。

Claims

1.一种视频编码的方法，包括：

获取从视频图片分割的多个编码单元CU，其中每个所述编码单元通过帧内预测模式或帧间预测模式进行编码；

对每个所述编码单元：

生成第一语法元素，所述第一语法元素指示所述编码单元是否已经使用自适应颜色空间变换ACT进行编码；

传输所述第一语法元素至解码侧，使得所述解码侧根据所述第一语法元素确定所述编码单元已经使用所述自适应颜色空间变换ACT进行编码时执行操作，所述操作包括：

对所述编码单元的残差执行截取操作；以及

在所述截取操作之后对所述编码单元的所述残差应用逆ACT。

2.根据权利要求1所述的方法，其中，所述截取操作将所述编码单元的所述残差的动态范围限制在预定义范围内，以通过所述逆ACT进行处理。

3.根据权利要求1所述的方法，其中，所述截取操作被定义为

Clip_input＝Clip(-2^Bitdepth+1，2^Bitdepth+1-1，M)

其中，M是所述截取操作的输入，Bitdepth是内部编解码比特深度，Clip_input是所述截取操作的输出，所述截取操作的所述输出在从-2^Bitdepth+1至(2^Bitdepth+1-1)的范围内。

4.根据权利要求1所述的方法，其中，所述操作进一步包括：在执行所述截取操作之前，应用逆变换以生成所述编码单元的所述残差。

5.根据权利要求1所述的方法，其中，所述操作进一步包括：在对所述编码单元的所述残差应用所述逆ACT之后，对所述编码单元的所述残差应用第二截取操作。

6.根据权利要求1所述的方法，其中，所述截取操作将所述编码单元的所述残差的动态范围调整在固定内部编解码比特深度范围内，以通过所述逆ACT进行处理，所述固定内部编解码比特深度范围是基于固定内部编解码比特深度而确定的。

7.根据权利要求6所述的方法，其中，所述固定内部编解码比特深度为15。

8.根据权利要求1所述的方法，进一步包括：在生成所述第一语法元素之后，生成第二语法元素，其中，所述第二语法元素指示在所述截取操作中使用的可变内部编解码比特深度。

9.根据权利要求1所述的方法，进一步包括：在生成所述第一语法元素之后，生成第二语法元素，其中，所述第二语法元素指示第一内部编解码比特深度，并且在所述截取操作中使用的第二内部编解码比特深度是所述第一内部编解码比特深度加1。

10.根据权利要求1所述的方法，其中，所述截取操作进一步包括被应用于所述编码单元的所述残差的亮度分量的第一截取操作、以及被应用于所述编码单元的所述残差的色度分量的第二截取操作。

11.根据权利要求10所述的方法，其中，所述第一截取操作将所述编码单元的所述残差的所述亮度分量的动态范围限制在第一内部编解码比特深度加1的范围内，并且所述第二截取操作将所述编码单元的所述残差的所述色度分量的动态范围限制在第二内部编解码比特深度加1的范围内，并且所述第二内部编解码比特深度为所述第一内部编解码比特深度加1。

12.一种电子装置，包括：

一个或多个处理单元；

存储器，所述存储器被耦接到所述一个或多个处理单元；以及

被存储在所述存储器中的多个程序，所述多个程序当由所述一个或多个处理单元执行时使所述电子装置执行如权利要求1至11中任一项所述的方法。

13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具有一个或多个处理单元的电子装置执行的多个程序，其中，所述多个程序当由所述一个或多个处理单元执行时使所述电子装置执行如权利要求1至11中任一项所述的方法。

14.一种计算机程序产品，包括用于由具有一个或多个处理器的计算设备执行的指令，其中所述指令由所述一个或多个处理器执行时，使得所述计算设备执行如权利要求1至11中任一项所述的方法。

15.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储有视频比特流，其中，所述视频比特流是根据权利要求1至11中任一项所述的方法编码而生成的。