CN115209139B - 视频编解码中的预测模式信令 - Google Patents

Abstract

一种视频数据的编码方法，包括：确定与非跳过模式编码块相关联的参数集；根据确定所述参数集包括满足不同条件的信息，通过比特流发送第一语义元素、第二语义元素或者第三语义元素；其中，在所述第一语义元素被发送且所述第一语义元素具有第一值的情况下，所述第三语义元素被发送；当所述第一语义元素具有第一值且所述第三语义元素具有所述第一值时，所述非跳过模式编码块基于调色板模式编码；当所述第一语义元素具有所述第一值且所述第三语义元素具有第二值时，所述非跳过模式编码块基于帧内预测模式编码；以及通过所述比特流发送所述非跳过模式编码块。

Description

视频编解码中的预测模式信令

本申请是申请号为“202080059859.3”，申请日为“2020年09月08日”，发明名称为“视频编解码中的预测模式信令”的中国发明专利申请的分案申请。

技术领域

本发明实施例总体上涉及视频编码和解码，尤其涉及用于视频编解码中的预测模式信令的方法和系统。

背景技术

各种电子设备支持数字视频，例如数字电视、膝上型或台式计算机、平板计算机、数码相机、数字记录设备、数字媒体播放器、视频游戏控制台、智能电话、视频电话会议设备、视频流媒体设备等。电子设备通过实施由MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4，第10部分，高级视频编码(AVC)、高效视频编码(HEVC)和通用视频编码(VVC)标准定义的视频压缩/解压缩标准来传输、接收、编码、解码和/或存储数字视频数据。视频压缩通常包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编码，视频帧被划分为一个或多个切片(slice)，每个切片具有多个视频块，也可以称为编码树单元(CTU)。每个CTU可以包含一个编码单元(CU)或递归地拆分成更小的CU，直到达到预定义的最小CU尺寸。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，每个CU还包含一个或多个预测单元(PU)。每个CU可以采用帧内、帧间或IBC模式进行编码。使用相对于同一视频帧内的相邻块中的参考样本的空间预测对视频帧的帧内编码(I)切片中的视频块进行编码。视频帧的帧间编码(P或B)切片中的视频块可使用相对于同一视频帧内相邻块中的参考样本的空间预测或相对于其它先前和/或未来参考视频中的参考样本的时间预测。

基于先前已编码的参考块(例如，相邻块)的空间或时间预测产生要编码的当前视频块的预测块。寻找参考块的过程可以通过块匹配算法来完成。表示要编码的当前块和预测块之间的像素差异的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动矢量和残差块对帧间编码块进行编码。确定运动矢量的过程通常称为运动估计。根据帧内预测模式和残差块对帧内编码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，产生残差变换系数，然后可以对其进行量化。最初以二维阵列排列的量化变换系数可以被扫描以产生变换系数的一维向量，然后熵编码到视频比特流中以实现甚至更多的压缩。

编码的视频比特流然后被保存在计算机可读存储介质(例如，闪存)中，以被具有数字视频能力的另一电子设备访问或者直接以有线或无线的方式地传输到电子设备。电子设备然后通过例如解析编码视频比特流以从比特流获得语义元素并且至少部分地基于从该比特流获得的语义元素从编码视频比特流将数字视频数据重构为其原始格式来执行视频解压缩(这是与上述视频压缩相反的过程)，并且在电子设备的显示器上呈现重构的数字视频数据。

随着数字视频质量从高清到4K×2K甚至8K×4K，要编码/解码的视频数据量呈指数增长。如何在保持解码视频数据的图像质量的同时更有效地编码/解码视频数据是一个持续的挑战。

发明内容

本申请描述了与视频数据编码和解码相关的实施方式，更具体地来讲，描述了用于视频编解码中的预测模式信令的系统和方法。

根据本申请的第一方面，在具有一个或多个处理器和存储由一个或多个处理器执行的多个程序的存储器的计算设备执行一种视频数据的编码方法。该方法包括：确定与非跳过模式编码块相关联的参数集；根据确定所述参数集包括满足不同条件的信息，通过比特流发送第一语义元素、第二语义元素或者第三语义元素；其中，在所述第一语义元素被发送且所述第一语义元素具有第一值的情况下，所述第三语义元素被发送；当所述第一语义元素具有第一值且所述第三语义元素具有所述第一值时，所述非跳过模式编码块基于调色板模式编码；当所述第一语义元素具有所述第一值且所述第三语义元素具有第二值时，所述非跳过模式编码块基于帧内预测模式编码；以及通过所述比特流发送所述非跳过模式编码块。

根据本申请的第二方面，一种计算设备包括一个或多个处理器、存储器和存储在该存储器中的多个程序。在由一个或多个处理器执行时这些程序使该计算设备执行如上所述的操作。

根据本申请的第三方面，一种非暂时性计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序。在由一个或多个处理器执行时这些程序使该计算设备执行如上所述的操作。

附图说明

所包括的附图用以提供对实施方式的进一步理解并且结合在本文中并构成说明书的一部分，图示了所描述的实施方式并且与说明书一起用于解释基本原理。相同的附图标记指代相应的部分。

图1是示出了根据本发明的一些实施方式的示例性的视频编码和解码系统的框图。

图2是示出了根据本发明的一些实施方式的示例性的视频编码器的框图；

图3是示出了根据本发明的一些实施方式的示例性的视频解码器的框图；。

图4A至4E是示出了根据本申请的一些实施方式的帧如何被递归地四叉树分割成不同尺寸的多个视频块的框图。

图5是示出了根据本申请的一些实现方式的编码单元的不同预测模式的框图。

图6是示出了根据本发明的一些实施方式的视频编解码器实现通过信号发送预测模式的技术的示例性过程的流程图。

具体实施方式

现在将详细参考具体实施方式，其示例在附图中示出。在下面的详细描述中，阐述了许多非限制性的具体细节以帮助理解在此呈现的主题。但是对于本领域的普通技术人员来说显而易见的是，在不脱离权利要求的范围的情况下可以使用各种替代方案，并且可以在没有这些具体细节的情况下实践主题。例如，对于本领域的普通技术人员来说显而易见的是，这里呈现的主题可以在具有数字视频能力的多种类型的电子设备上实现。

图1是示出了根据本发明的一些实施方式的用于并行编码和解码视频块的示例性系统10的框图。如图1所示，系统10包括源设备12，其生成并编码随后由目标设备14解码的视频数据。源设备12和目标设备14可包括多种电子设备中的任一种，包括台式计算机或膝上型电脑、平板电脑、智能手机、机顶盒、数字电视、摄像机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备，等等。在一些实施方式中，源设备12和目标设备14配备有无线通信能力。

在一些实施方式中，目标设备14可经由链路16接收要解码的编码视频数据。链路16可包括能够将已编码视频数据从源设备12移动到目标设备14的任何类型的通信介质或设备。在一个示例中，链路16可包括通信介质以使得源设备12能够将编码视频数据实时地直接传输到目标设备14。可根据诸如无线通信协议之类的通信标准对编码视频数据进行调制，并将其传输到目标设备14。该通信介质可包括任何无线或有线通信介质，如射频(RF)频谱或一种或多种物理传输线路。该通信介质可形成基于分组的网络的一部分，如局域网、广域网或全球网，如因特网。该通信介质可包括路由器、交换机、基站或其它任何可能有助于促进从源设备12到目标设备14的通信的设备。

在其它的一些实施方式中，编码视频数据可以从输出接口22被传输到存储设备32。随后，目标设备14可通过输入接口28访问存储设备32中的编码视频数据。存储设备32可包括各种分布式或本地访问的数据存储介质中的任何一种，如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或其它任何适当的用于存储编码视频数据的数字存储介质。在进一步的示例中，存储设备32可对应于可以保存源设备12生成的编码视频数据的文件服务器或另一种中间存储设备。目标设备14可通过流传输或下载来访问来自存储设备32的存储的视频数据。该文件服务器可以是能够存储编码视频数据并将编码视频数据传输到目标设备14的任何类型的计算机。示例性文件服务器包括网络服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)设备或本地磁盘驱动器。目标设备14可以通过任何标准数据连接访问编码视频数据，所述标准数据连接包括适用于访问存储在文件服务器上的编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或二者的组合。来自存储设备32的编码视频数据的传输可以是流传输、下载传输或二者的组合。

如图1所示，源设备12包括视频源18、视频编码器20和输出接口22。视频源18可包括诸如视频捕获设备之类的源，如摄像机、包含先前捕获的视频的视频档案、用于从视频内容提供商接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形系统或这些源的组合。作为一个示例，如果视频源18是安全监控系统的摄像机，则源设备12和目标设备14可形成照相电话或视频电话。然而，本申请中描述的这些实施方式通常可适用于视频编解码，并且可适用于无线和/或有线应用。

捕获的、预先捕获的或计算机生成的视频可由视频编码器20编码。编码视频数据可通过源设备12的输出接口22直接传输到目标设备14。编码视频数据也可以(或替代地)被存储到存储设备32上以随后由目标设备14或其它设备访问，以进行解码和/或回放。输出接口22还可包括调制解调器和/或发射器。

目标设备14包括输入接口28、视频解码器30和显示设备34。输入接口28可包括接收器和/或调制解调器，并且通过链路16接收编码视频数据。通过链路16传送的或在存储设备32上提供的编码视频数据可包括由视频编码器20生成的供视频解码器30在对视频数据进行解码时使用的多种语义元素。这些语义元素可包括在在通信介质上传输、存储在存储介质上或存储在文件服务器上的编码视频数据内。

在一些实施方式中，目标设备14可包括显示设备34，该显示设备34可以是集成的显示设备和被配置为与目标设备14进行通信的外部显示设备。显示设备34向用户显示解码视频数据，并且可包括多种显示设备中的任一种，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其它类型的显示设备。

视频编码器20和视频解码器30可根据专有或行业标准进行操作，如VVC、HEVC、MPEG-4第10部分，高级视频编码(AVC)，或此类标准的延伸。应理解本申请不限于特定的视频编码/解码标准，可以适用于其它视频编码/解码标准。通常设想源设备12的视频编码器20可被配置为根据当前或未来的这些标准中的任何一个来编码视频数据。类似地，通常还设想目标设备14的视频解码器30可被配置为根据当前或未来的这些标准中的任何一个来解码视频数据。

视频编码器20和视频解码器30均可以实现为多种适当的编码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(DSP)、应用型专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实现时，电子设备可将用于软件的指令存储在适当的非暂时性计算机可读介质中并使用一个或多个处理器在硬件中执行这些指令来执行本发明中公开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可包括在一个或多个编码器或解码器中，其中的任何一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。

图2是示出了根据本申请中描述的一些实施方式的示例性的视频编码器20的框图。视频编码器20可执行视频帧内的视频块的帧内和帧间预测编码。帧内预测编码取决于空间预测来减少或去除给定视频帧或图片内视频数据中的空间冗余。帧间预测编码取决于时间预测来减少或去除视频序列的相邻视频帧或图片内的视频数据中的时间冗余。

如图2所示，视频编码器20包括视频数据存储器40、预测处理单元41、解码图片缓存器(DPB)64、加法器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41还包括运动估计单元42、运动补偿单元44、分割单元45、帧内预测处理单元46和帧内块复制(BC)单元48。在一些实施方式中，视频编码器20还包括用于视频块重构的逆量化单元58、逆变换处理单元60和加法器62。去块滤波器(未示出)可位于加法器62与DPB 64之间以对块边界进行滤波，从而从重构的视频中去除块状伪影。除了去块滤波器之外，还可以使用环路滤波器(未示出)来对加法器62的输出进行滤波。视频编码器20可采用固定或可编程硬件单元的形式，或者可在示出的一个或多个固定的或可编程硬件单元中被划分。

视频数据存储器40可存储由视频编码器20的组件编码的视频数据。视频数据存储器40中的视频数据可以例如从视频源18获得。DPB 64是存储视频编码器20在编码视频数据时(例如以帧内或帧间预测编码模式)使用的参考视频数据的缓存器。视频数据存储器40和DPB 64可由多种存储器设备中的任一种形成。在各种示例中，视频数据存储器40可以与视频编码器20的其它组件在芯片上，或者相对于这些组件在芯片外。

如图2所示，在接收视频数据之后，预测处理单元41内的分割单元45将视频数据划分成视频块。该划分还可包括根据预定义的划分结构将视频帧划分为切片、图块(tile)或其它更大的编码单元(CU)，这些划分结构如与视频数据相关联的四叉树结构。该视频帧可被划分为多个视频块(或称为图块的视频块组)。预测处理单元41可基于误差结果(如编码率和失真水平)为当前的视频块从多个可能的预测编码模式中选择一个预测编码模式，该预测编码模式如多个帧内预测编码模式中的一个或多个帧间预测编码模式中的一个。预测处理单元41可将由此得到的帧内或帧间预测编码块提供给加法器50以生成残差块，并且提供给加法器62以重构该编码块以随后用作参考帧的一部分。预测处理单元41还向熵编码单元56提供语义元素，如运动向量、帧内模式指示符、分割信息和其它此类语义信息。

为了为当前视频块选择适当的帧内预测编码模式，预测处理单元41内的帧内预测处理单元46可相对于与要被编码的当前块在同一帧中的一个或多个相邻块执行当前视频块的帧内预测编码，以提供空间预测。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一个或多个参考帧中的一个或多个预测块进行当前视频块的帧间预测编码，以提供时间预测。视频编码器20可以执行多个编码遍次(coding passes)，例如，为每个视频数据块选择适当的编码模式。

在一些实施方式中，运动估计单元42根据视频帧序列内的预定型式(pattern)通过生成运动向量来为当前视频帧确定帧间预测模式，该运动向量指示当前视频帧内的视频块的预测单元(PU)相对于参考视频帧内的预测块的位移。由运动估计单元42执行的运动估计是生成运动向量的过程，其估计视频块的运动。运动向量，例如，可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它已编码单元)内的、相对于在当前帧内被编码的当前块(或其他已编码单元)的预测块的位移。该预定型式可将该序列中的视频帧指定为P帧或B帧。帧内BC单元48可以以类似于由运动估计单元42为帧间预测确定运动向量的方式确定用于帧内BC编码的向量，例如块向量，或者可以利用运动估计单元42来确定该块向量。

预测块是参考帧的一个块，它被认为在像素差方面与待编码视频块的PU紧密匹配，像素差可以由绝对差之和(SAD)、平方差之和(SSD)或其它差异度量值确定。在一些实施方式中，视频编码器20可以计算存储在DPB 64中的参考帧的子整数像素位置的值。例如，视频编码器20可以内插该参考帧的四分之一像素位置、八分之一像素位置或其它分数的像素位置。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并输出具有分数像素精度的运动向量。

运动估计单元42通过将PU的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)中选择的参考帧的预测块的位置进行比较，来计算帧间预测编码帧中视频块的PU的运动向量，第一参考帧列表和第二参考帧列表中的每一个标识存储在DPB 64中的一个或多个参考帧。运动估计单元42将计算的运动向量发送到运动补偿单元44，然后发送到熵编码单元56。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来获取或生成预测块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可以在其中的一个参考帧列表中定位运动向量所指向的预测块，从DPB 64取回(retrieve)预测块，并将预测块转发到加法器50。然后，加法器50通过从正在被编码的当前视频块的像素值中减去由运动补偿单元44提供的预测块的像素值来形成像素差值的残差视频块。形成残差视频块的这些像素差值可包括亮度差分量或色度差分量或包括两者。运动补偿单元44还可产生与视频帧的视频块相关联的语义元素以供视频解码器30在对视频帧的视频块进行解码时使用。这些语义元素可包括如定义用于识别该预测性块的运动向量的语义元素、指示该预测模式的任何标识或本文描述的其它任何语义信息。应注意，运动估计单元42和运动补偿单元44可高度集成，但出于概念目的而分别地图示。

在一些实施方式中，帧内BC单元48可以以与上文结合运动估计单元42和运动补偿单元44描述的方式类似的方式生成向量并获取预测块，但这些预测块与正在被编码的当前块位于同一帧内并且这些向量被称为块向量而不是运动向量。具体而言，帧内BC单元48可确定用于对当前块进行编码的帧内预测模式。在一些示例中，帧内BC单元48可例如在单独的编码遍次期间使用各种帧内预测模式来编码当前块，并且通过率失真分析测试它们的性能。接下来，帧内BC单元48可以在各种经过测试的帧内预测模式中选择适当的帧内预测模式来使用并相应地生成帧内模式指示符。例如，帧内BC单元48可以使用针对各种经过测试的帧内预测模式的率失真分析来计算率失真值，并且在经过测试的模式中选择具有最佳率失真特性的帧内预测模式作为适当的帧内预测模式来使用。率失真分析通常确定编码块与被编码以产生该编码块的原始未编码块之间的失真(或误差)量、以及用于产生该编码块的比特率(即比特数)。帧内BC单元48可从用于各种编码块的失真和速率计算比率以确定哪种帧内预测模式展示出块的最佳速率失真值。

在其他示例中，帧内BC单元48可全部或部分地使用运动估计单元42和运动补偿单元44来根据本文描述的实施方式来执行用于帧内BC预测的此类功能。在任一情况下，对于帧内块复制，预测块可以是被认为与待编码块紧密匹配的块，就像素差而言，其可以由绝对差之和(SAD)、平方之和(SSD)或其它差异度量值来确定，并且该预测块的识别可包括子整数像素位置的值的计算。

无论预测块是根据帧内预测来自同一帧，还是根据帧间预测来自不同帧，视频编码器20都可以通过从正在被编码的当前视频块的像素值中减去该预测块的像素值来形成残差视频块，从而形成像素差值。形成该残差视频块的这些像素差值可包括亮度和色度分量差。

如上文描述的，帧内预测处理单元46可对当前视频块进行帧内预测，作为运动估计单元42和运动补偿单元44执行的帧间预测或帧内BC单元48执行的帧内块复制预测的替代方案。具体而言，帧内预测处理单元46可确定用于对当前块进行编码的帧内预测模式。为此，帧内预测处理单元46可例如在单独的编码遍次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测处理单元46(或在一些示例中为模式选择单元)可从经过测试的帧内预测模式中选择适当的帧内预测模式来使用。帧内预测处理单元46可向熵编码单元56提供指示用于该块的所选择的帧内预测模式的信息。熵编码单元56可在比特流中对指示所选择的帧内预测模式的信息进行编码。

在预测处理单元41通过帧间预测或帧内预测确定当前视频块的预测块之后，加法器50通过从当前视频块中减去该预测块来形成残差视频块。该残差块中的残差视频数据可包括在一个或多个变换单元(TU)中并提供给变换处理单元52。变换处理单元52使用诸如离散余弦变换(DCT)或概念上类似的变换来将残差视频数据变换为残差变换系数。

变换处理单元52可将所得到的变换系数发送到量化单元54。量化单元54将这些变换系数量化以进一步降低比特率。该量化过程还可减少与一些或所有系数相关联的比特深度。可以通过调整量化参数来修改量化程度。在一些示例中，量化单元54然后可对包含经过量化的变换系数的矩阵进行扫描。可替代地，熵编码单元56可进行这种扫描。

在量化之后，熵编码单元56使用例如上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、基于语义的上下文自适应二进制算术编码(SBAC)、概率区间划分熵(PIPE)编码或其它熵编码方法或技术将量化的变换系数熵编码成视频比特流。然后这种编码后的比特流可被传送到视频解码器30，或被存档在存储装置32中以供以后传送到视频解码器30或由视频解码器30取回。熵编码单元56还可对用于正在被编码的当前视频帧的这些运动向量和其它语义元素进行熵编码。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以重构像素域中的残差视频块，以生成用于预测其它视频块的参考块。如上所述，运动补偿单元44可从DPB 64中存储的帧的一个或多个参考块生成运动补偿预测块。运动补偿单元44还可将一个或多个内插滤波器应用于该预测块以计算用于运动估计的子整数像素值。

加法器62将该重构的残差块与运动补偿单元44产生的该运动补偿预测块相加以产生存储在DPB 64中的参考块。该参考块然后可由帧内BC单元48、运动估计单元42以及运动补偿单元44用作预测块以对后续视频帧中的另一个视频块进行帧间预测。

图3是示出了根据本申请的一些实施方式的示例性的视频解码器30的框图。视频解码器30包括视频数据存储器79、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、加法器90和DPB 92。预测处理单元81还包括运动补偿单元82、帧内预测处理单元84和帧内BC单元85。视频解码器30执行解码过程，该解码过程通常与结合图2所描述的与视频编码器20有关的编码过程是相互的。例如，运动补偿单元82可基于从熵解码单元80接收的运动向量生成预测数据，而帧内预测单元84可基于从熵解码单元80接收的帧内预测模式指示符生成预测数据。

在一些示例中，视频解码器30的单元可以被分配执行本发明的实施方式的任务。此外，在一些示例中，本发明的实施方式可以在视频解码器30的一个或多个单元之间划分。例如，帧内BC单元85可以单独地或与视频解码器30的其它单元(如运动补偿单元82、帧内预测处理单元84和熵解码单元80)组合起来执行本发明的实施方式。在一些示例中，视频解码器30可以不包括帧内BC单元85并且帧内BC单元85的功能可由预测处理单元81的其它组件(如运动补偿单元82)执行。

视频数据存储器79可以存储待由视频解码器30的其它部件进行解码的视频数据，如编码视频比特流。存储在视频数据存储器79中的视频数据例如可经由视频数据的有线或无线网络通信从存储设备32、从本地视频源(如相机)中获得，或者可通过访问物理数据存储介质(如闪存驱动器或硬盘)来获得。视频数据存储器79可包括存储来自编码视频比特流的编码视频数据的编码图片缓存器(CPB)。视频解码器30的已解码图片缓存器(DPB)92存储参考视频数据以在视频解码器30(如以帧内或帧间预测编码模式)解码视频数据时使用。视频数据存储器79和DPB92可由多种存储器设备中的任一种形成，如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其它类型的存储设备。出于例示目的，在图3中将视频数据存储器79和DPB92示为视频解码器30的两个不同组件。但是对于本领域中熟练的技术人员显而易见的是，视频数据存储器79和DPB92可以由相同的存储器设备或分离的存储器设备提供。在一些示例中，视频数据存储器79可与视频解码器30的其它组件在芯片上，或者相对于这些组件在芯片外。

在该解码过程期间，视频解码器30接收表示编码视频帧的视频块和相关联的语义元素的编码视频比特流。视频解码器30可以在视频帧级别和/或视频块级别接收这些语义元素。视频解码器30的熵解码单元80对该比特流进行熵解码以生成量化系数、运动向量或帧内预测模式指示符以及其它语义元素。熵解码单元80然后将这些运动向量和其它的这些语义元素转发到预测处理单元81。

当该视频帧被编码为帧内预测编码(I)帧或用于其它类型帧中的帧内编码预测块时，预测处理单元81的帧内预测处理单元84可基于通过信号发送(signal)的帧内预测模式和来自当前帧的先前已解码块的参考数据来为当前视频帧的视频块生成预测数据。

当该视频帧被编码为帧间预测编码(即，B或P)帧时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的这些运动向量和其它语义元素为当前视频帧的视频块产生一个或多个预测块。这些预测块中的每一个可从这些参考帧列表中的一个参考帧列表的参考帧产生。视频解码器30可基于存储在DPB 92中的参考帧使用默认的构建技术来构建参考帧列表，即列表0和列表1。

在一些示例中，在根据本文所描述的帧内BC模式编码该视频块时，预测处理单元81的帧内BC单元85基于从熵解码单元80接收的块向量和其它语义元素为当前的视频块产生预测块。这些预测块可以在与由视频编码器20定义的当前视频块相同的图片的重构区域内。

运动补偿单元82和/或帧内BC单元85通过对这些运动向量和其它的语义元素进行解析来确定用于当前视频帧的视频块的预测信息，然后使用该预测信息来为正在解码的当前视频块产生预测帧。例如，运动补偿单元82使用所接收的语义元素中的一些来确定用于编码该视频帧的视频块的预测模式(如帧内或帧间预测)、帧间预测帧类型(如B或P)、用于该帧的一个或多个参考帧列表的构造信息、该帧的每个帧间预测编码视频块的运动向量、该帧的每个帧间预测编码视频块的帧间预测状态以及用于解码当前视频帧中的这些视频块的其它信息。

类似地，帧内BC单元85可以使用接收到的语义元素中的一些(如标识)来确定使用该帧内BC模式对当前视频块进行预测、该帧的哪些视频块在该重构区域内并应存储在DPB92中的构造信息、用于该帧的每个帧内BC预测视频块的块向量、用于该帧的每个帧内BC预测视频块的帧内BC预测状态以及用于解码当前视频帧中的这些视频块的其它信息。

运动补偿单元82还可以在这些视频块的编码期间如视频编码器20一样使用这些内插滤波器来进行内插，以计算用于参考块的子整数像素的内插值。在这种情况下，运动补偿单元82可从所接收的语义元素来确定视频编码器20所使用的这些内插滤波器，并且使用这些内插滤波器来产生预测块。

逆量化单元86使用由视频编码器20为该视频帧中的每个视频块计算的同一量化参数对比特流中提供的并由熵解码单元80熵解码的已量化的变换系数进行逆量化，以确定量化程度。逆变换处理单元88将逆变换(如逆DCT、逆整数变换或概念上类似的逆变换过程)应用于这些变换系数，以重构该像素域中的残差块。

在运动补偿单元82或帧内BC单元85基于这些向量和其它语义元素生成用于当前视频块的预测块之后，加法器90通过将来自逆变换处理单元88的残差块和由运动补偿单元82和帧内BC单元85生成的相应预测块相加，来重构用于当前视频块的编码视频块。环内滤波器(未图示)可以位于加法器90与DPB 92之间以对该解码视频块进行进一步的处理。然后将给定帧中的解码视频块存储在DPB 92中，DPB 92存储用于以后的视频块的后续运动补偿的参考帧。DPB 92或与DPB 92分离的存储器设备也可以存储已解码的视频以供稍后在显示设备(如图1的显示设备34)上呈现。

在典型的视频编码过程中，视频序列通常包括一组有序的帧或图片。每个帧可包括三个样本阵列，表示为SL、SCb和SCr。SL是亮度样本的二维阵列。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。在其它情况下，帧可以是单色的，因此仅包括一个二维亮度样本阵列。

如图4A所示，视频编码器20(或更具体地来讲，分割单元45)通过首先将帧划分为一组编码树单元(CTU)来生成该帧的编码表示。视频帧可包括整数个按从左到右和从上到下的光栅扫描顺序连续排序的CTU。每个CTU是最大的逻辑编码单元并且该CTU的宽度和高度由视频编码器20在序列参数集中用信号通知，以使视频序列中的所有CTU具有相同的尺寸(size)，即128×128、64×64、32×32和16×16中的一个。但需要说明的是，本申请并不一定限于特定的尺寸。如图4B所示，每个CTU可包括亮度样本的一个编码树块(CTB)、色度样本的两个对应编码树块以及用于对这些编码树块的样本进行编码的语义元素。这些语义元素描述编码像素块的已编码块的不同类型单元的特性以及如何在视频解码器30处重构视频序列，包括帧间或帧内预测、帧内预测模式、运动向量以及其它参数。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个编码树块和用于对该编码树块的样本进行编码的语义元素。编码树块可以是N×N个样本块。

为了实现更好的性能，视频编码器20可以对该CTU的这些编码树块递归地执行树分割，例如二叉树分割、三叉树分割、四叉树分割或其组合，并将该CTU分割成更小的编码单元(CU)。如图4C所示，首先将64×64的CTU400分成四个更小的CU，每个更小的CU具有32×32的块尺寸。在这四个更小的CU中，CU410和CU420均按块尺寸分成四个16×16的CU。两个16×16的CU430和440分别按块尺寸进一步分为四个8×8的CU。图4D示出了一种四叉树数据结构，图中示出了如图4C中示出的CTU 400的分割过程的最终结果，该四叉树的每个叶节点对应一个尺寸范围从32×32到8×8的CU。如图4B中所示出的CTU一样，每个CU可包括相同尺寸的帧的亮度样本的编码块(CB)和色度样本的两个对应编码块以及用于对这些编码块的这些样本进行编码的语义元素。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个编码块和用于对该编码块的这些样本进行编码的语义结构。应该注意的是，在图4C和4D中示出的四叉树分割仅用于图示目的，并且可将一个CTU拆分为CU以适应基于四叉/三叉/二叉树分割的不同局部特征。在多类型树结构中，一个CTU被四叉树结构分割，每个四叉树叶CU可以进一步被二叉树和三叉树结构分割。如图4E所示，有五种分割类型，即四叉分割、水平二叉分割、垂直二叉分割、水平三叉分割和垂直三叉分割。

在一些实施方式中，视频编码器20可进一步将CU的编码块分割成一个或多个M×N的预测块(PB)。预测块是矩形(正方形或非正方形)样本块，在其上应用了相同的(帧间或帧内)预测。CU的预测单元(PU)可包括亮度样本的预测块、色度样本的两个对应预测块以及用于这些预测块进行预测的语义元素。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用于对该预测块进行预测的语义结构。视频编码器20可以为该CU的每个PU的亮度、Cb和Cr预测块生成预测亮度、Cb和Cr块。

视频编码器20可使用帧内预测或帧间预测来生成用于PU的预测块。如果视频编码器20使用帧内预测来生成PU的预测块，则视频编码器20可基于与该PU相关联的帧的已解码样本来生成PU的预测块。如果视频编码器20使用帧间预测来生成PU的预测块，则视频编码器20可基于除与PU相关联的帧之外的一个或多个帧的已解码样本来生成PU的预测块。

在视频编码器20为CU的一个或多个PU生成预测亮度、Cb和Cr块之后，视频编码器20可通过从其原始亮度编码块中减去该CU的预测亮度块来生成用于该CU的亮度残差块，以使该CU的亮度残差块中的每个样本指示该CU的预测亮度块之一中的亮度样本与该CU的原始亮度编码块中的对应样本之间的差异。类似地，视频编码器20可分别为该CU生成Cb残差块和Cr残差块，以使该CU的Cb残差块中的每个样本指示CU的预测Cb块之一中的Cb样本与CU的原始Cb编码块中的对应样本之间的差异，并且CU的Cr残差块中的每个样本可以指示CU的预测Cr块之一中的Cr样本与CU的原始Cr编码块中的对应样本之间的差异。

此外，如图4C所示，视频编码器20可采用四叉树分割来将CU的亮度、Cb和Cr残差块分解为一个或多个亮度、Cb和Cr变换块。变换块是对其应用相同变换的矩形(正方形或非正方形)样本块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块以及用于对这些变换块样本进行变换的语义元素。因此，CU的每个TU可与亮度变换块、Cb变换块和Cr变换块相关联。在一些示例中，与该TU相关联的亮度变换块可以是该CU的亮度残差块的子块。该Cb变换块可以是该CU的Cb残差块的子块。该Cr变换块可以是该CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单个变换块和用于对该变换块的样本进行变换的语义结构。

视频编码器20可将一个或多个变换应用于TU的亮度变换块以生成该TU的亮度系数块。系数块可以是多个变换系数的二维阵列。变换系数可以是标量。视频编码器20可将一个或多个变换应用于TU的Cb变换块以生成用于该TU的Cb系数块。视频编码器20可将一个或多个变换应用于TU的Cr变换块以生成用于该TU的Cr系数块。

在生成系数块(如亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可将该系数块量化。量化通常是指对变换系数进行量化以可能减少用于表示变换系数的数据量从而提供进一步压缩的过程。在视频编码器20将系数块量化之后，视频编码器20可对指示量化后的变换系数的语义元素进行熵编码。例如，视频编码器20可对指示量化后的变换系数的语义元素进行上下文自适应二进制算术编码(CABAC)。最后，视频编码器20可以输出包括比特序列的比特流，该比特序列形成已编码帧和相关数据的表示，其被保存在存储设备32中或传输到目标设备14。

在接收由视频编码器20生成的比特流之后，视频解码器30可解析该比特流以从该比特流获得语义元素。视频解码器30可以至少部分地基于从该比特流获得的语义元素来重构该视频数据的帧。重构视频数据的过程通常与视频编码器20执行的编码过程是相互的。例如，视频解码器30可以对与当前CU的TU相关联的系数块进行逆变换，以重构与当前CU的这些TU关联的残差块。视频解码器30还可以通过将用于当前CU的PU的预测块的这些样本加到当前CU的这些TU的变换块的样本来重构当前CU的这些编码块。在重构用于帧的每个CU的编码块之后，视频解码器30可重构该帧。

如上所述，视频编解码主要使用两种模式实现视频压缩，即帧内预测和帧间预测。基于调色板的编解码是被许多视频编码标准采用的另一种编码方案。在可能特别适用于屏幕生成内容编解码的基于调色板的编解码中，视频编解码器(例如，视频编码器20或视频解码器30)形成表示给定块的视频数据的颜色的调色板表。该调色板表包括该给定块中最主要的(例如，经常使用的)像素值。在该给定块的视频数据中不经常表示的像素值要么不包括在该调色板表中，要么作为逃逸颜色(escape color)包括在该调色板表中。

该调色板表中的每个条目包括该调色板表中的对应像素值的索引。用于该块中的样本的调色板索引可以被编码以指示来自该调色板表中的哪个条目将会用于预测或重构哪个样本。该调色板模式开始于为图片、切片、图块或其它此类视频块分组的第一块生成调色板预测器的过程。如下文所述，用于后续视频块的调色板预测器通常是通过更新先前使用的调色板预测器来生成的。为了说明的目的，假设该调色板预测器以图片级别定义。换言之，一张图片可包括多个编码块，每个编码块都有自己的调色板表，但整个图片只有一个调色板预测器。

为了减少通过信号发送视频比特流中的调色板条目所需的比特，视频解码器可以利用调色板预测器来确定调色板表中用于重建视频块的新调色板条目。例如，该调色板预测器可包括来自先前使用的调色板表的调色板条目，或者甚至通过包括最近使用的调色板表的所有条目而用最近使用的调色板表初始化。在一些实施方式中，该调色板预测器可包括少于最近使用的调色板表的所有条目，然后合并来自其它先前使用的调色板表的一些条目。该调色板预测器可具有与用于编码不同块的调色板表相同的尺寸，或者可以大于或小于用于编码不同块的调色板表。在一个示例中，该调色板预测器被实现为包括64个调色板条目的先进先出(FIFO)表。

为了从该调色板预测器生成用于视频数据的块的调色板表，视频解码器可以从已编码的视频比特流接收用于该调色板预测器的每个条目的一位标志。该一位标志可以具有指示调色板预测器的关联条目将被包括在调色板表中的第一值(如二进制1)或指示该调色板预测器的关联条目不包含在该调色板表中的第二值(如二进制0)。如果该调色板预测器的尺寸大于用于视频数据块的调色板表，则一旦达到调色板表的最大尺寸，该视频解码器就可以停止接收更多标志。

在一些实施方式中，调色板表中的一些条目可以在该已编码的视频比特流中直接通过信号发送，而不是使用该调色板预测器来确定。对于这些条目，该视频解码器可以从该已编码的视频比特流接收三个单独的m比特值，这些比特值指示用于与该条目相关联的亮度和两个色度分量的像素值，其中，m表示视频数据的比特深度。与直接通过信号发送的调色板条目所需的多个m位值相比，从该调色板预测器导出的调色板条目只需要一位标志。因此，使用该调色板预测器通过信号发送一些或所有调色板条目可以显著减少通过信号发送新调色板表的条目所需的比特数，从而提高调色板模式编码的整体编码效率。

在多种情况下，用于一个块的调色板预测器是基于用于对一个或多个先前编码的块进行编码的调色板表来确定的。但是在对图片、切片或图块中的第一编码树单元进行编码时，之前编码的块的调色板表可能不可用。因此，不能使用先前使用的调色板表的条目生成调色板预测器。在这种情况下，可以在序列参数集(SPS)和/或图片参数集(PPS)中通过信号发送调色板预测器初始值的序列，这些初始值是在先前使用的该调色板表不可用时用于生成调色板预测器的值。SPS通常是指应用于称为编码的视频序列(CVS)的一系列连续编码的视频图片的语义元素的语义结构，该编码的视频序列由在PPS中找到的语义元素的内容确定，在每个切片段头中找到的语义元素引用在PPS中找到的语义元素。PPS通常是指应用于CVS内的一个或多个单独图片的语义元素的语义结构，一个或多个单独图片由在每个条带片段头中找到的语义元素确定。因此，通常认为SPS是比PPS更高级别的语义结构，这意味着与PPS中包括的语义元素相比，SPS中包括的语义元素通常改变较少并且应用于较大部分视频数据。

图5是示出了根据本申请的一些实现方式的编码单元的不同预测模式的框图。

在VVC中，每个CU可以被编码为跳过模式或非跳过模式。对于编码为跳过模式的CU，进一步通过信号发送一个语义元素以指示当前CU是常规跳过模式(类似于HEVC中的跳过模式)还是IBC跳过模式。对于被编码为非跳过模式的CU，进一步通过信号发送多个语义元素以指示当前CU是被编码为帧内模式、帧间模式、帧内块复制(IBC)模式还是调色板(PLT)模式。这些模式在VVC规范中分别称为“MODE_INTRA”、“MODE_INTER”、“MODE_IBC”和“MODE_PLT”。对于编码为帧内模式的CU，只有同一图片/切片中的空间相邻重构像素才能用于生成用于当前CU的预测信号。对于编码为帧间模式的CU，预测信号可以由来自不是当前图片的参考图片的像素生成。IBC模式的细节可以在文档JVET-N1002(http://phenix.int-evry.fr/jvet/)中找到。在第15次JVET会议上，该调色板(PLT)模式被新采用到VVC中，其细节在http://phenix.int-evry.fr/jvet/的文件JVET-O0119中进行了说明。

在当前的VVC中，用于启用每个不同模式的约束和条件是不同的，如下表1中所概括的那样。此外，在序列参数集(SPS)中通过信号发送标志以指示IBC和PLT模式的开/关，即指示在相关的比特流中是否允许IBC和/或PLT模式。

表1：启用(enabling)/通过信号发送(signaling)非跳过相关模式的约束当前VVC中的模式信令的语义如下表所示。

表2.当前VVC中预测模式信令的语义

下面说明当前VVC中的模式信令的语义。

cu_skip_flag[x0][y0]等于1代表对于当前编码单元，在解码P或B切片时，在cu_skip_flag[x0][y0]之后不再解析除以下一项或多项之外的语义元素：IBC模式标志pred_mode_ibc_flag[x0][y0]，以及merge_data()语义结构；在解码I切片时，在cu_skip_flag[x0][y0]之后除了merge_idx[x0][y0]之外，不再解析语义元素。cu_skip_flag[x0][y0]等于0代表不跳过该编码单元。数组索引x0,y0代表所考虑的编码块的左上角亮度样本相对于该图片左上角亮度样本的位置(x0，y0)。当cu_skip_flag[x0][y0]不存在时，它被推断为等于0。

pred_mode_flag等于0代表以帧间预测模式对当前编码单元进行编码。pred_mode_flag等于1代表以帧内预测模式对当前编码单元进行编码。当pred_mode_flag不存在时，推断如下：

·如果cbWidth等于4且cbHeight等于4，则推断pred_mode_flag等于1。

·否则，如果modeType等于MODE_TYPE_INTRA，则推断pred_mode_flag等于1。

·否则，如果modeType等于MODE_TYPE_INTER，则推断pred_mode_flag等于0。

·否则，pred_mode_flag在解码I切片时被推断为等于1，在解码P或B切片时分别推断为等于0。

·对于x＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight-1，变量CuPredMode[chType][x][y]推导如下：

·如果pred_mode_flag等于0，则CuPredMode[chType][x][y]被设置为等于MODE_INTER。

·否则(pred_mode_flag等于1)，CuPredMode[chType][x][y]被设置为等于MODE_INTRA。

pred_mode_ibc_flag等于1代表以IBC预测模式对当前编码单元进行编码。pred_mode_ibc_flag等于0代表不以IBC预测模式对当前编码单元进行编码。当pred_mode_ibc_flag不存在时，推断如下：

·如果cu_skip_flag[x0][y0]等于1，cbWidth等于4，cbHeight等于4，则推断pred_mode_ibc_flag等于1。

·否则，如果cbWidth和cbHeight都等于128，则推断pred_mode_ibc_flag等于0。

·否则，如果modeType等于MODE_TYPE_INTER，则推断pred_mode_ibc_flag等于0。

·否则，如果treeType等于DUAL_TREE_CHROMA，则推断pred_mode_ibc_flag等于0。

·否则，在解码I切片时，pred_mode_ibc_flag被推断为等于sps_ibc_enabled_flag的值，在解码P或B切片时分别为0。

·当pred_mode_ibc_flag等于1时，变量CuPredMode[chType][x][y]设置为等于MODE_IBC，因为x＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight-1。

pred_mode_plt_flag代表在当前编码单元中使用调色板模式。pred_mode_plt_flag等于1表示在当前编码单元中应用调色板模式。pred_mode_plt_flag等于0表示在当前编码单元中没有应用调色板模式。当pred_mode_plt_flag不存在时，它被推断为等于0。当pred_mode_plt_flag等于1时，变量CuPredMode[x][y]被设置为等于MODE_PLTforx＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight-1。

总之，在当前的VVC中，通过信号发送以指示对应的非跳过模式的语义(即相关联的标志)在表4至表10中示出，每个表对应于允许的预测模式的不同条件。应注意，在这些表中，码字中的0和1可以全部反转，而且所生成的码字的功能相同。

此外，还可以将语义元素的命名更改为其它名称，而并不改变信令模式的功能。

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	0	0	-
IBC	0	1	-
				PLT	1	-	1
帧内	1	-	0

表3.允许所有模式(帧间、帧内、IBC和PLT模式)时当前VVC中非跳过CU预测模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				IBC	-	1	-
PLT	-	0	1
				帧内	-	0	0

表4.仅允许帧内、IBC和PLT模式时当前VVC中非跳过CU模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	0	-	0
PLT	0	-	1
				帧内	1	-	-

表5.仅允许帧内、帧间和PLT模式时当前VVC中非跳过CU模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	0	0	-
IBC	0	1	-
				帧内	1	-	-

表6.仅允许帧内、帧间和IBC模式时当前VVC中非跳过CU模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				IBC	-	1	-
帧内	-	0	-

表7.仅允许帧内和IBC模式时当前VVC中非跳过CU模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				PLT	-	-	1
帧内	-	-	0

表8.仅允许帧内和PLT模式时当前VVC中非跳过CU模式的信令

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	0	-	-
帧内	1	-	-

表9.仅允许帧内和帧间模式时当前VVC中非跳过CU模式的信令

图6是示出了根据本发明的一些实施方式的视频编解码器实现通过信号发送预测模式的技术的示例性过程的流程图。

在当前的VVC中，IBC模式被认为是更类似于帧间模式的模式，而PLT模式被认为是更类似于帧内模式的模式。因此，在VVC中，当pred_mode_flag被用信号发送为0时，通过信号发送IBC模式标志(pred_mode_ibc_flag)，这意味着当前CU是类似的帧间模式。在pred_mode_flag被用信号发送为1时，通过信号发送PLT模式标志(pred_mode_plt_flag)，这意味着当前CU是类似的帧内模式。但是，当仅允许帧内、帧间和PLT模式(即不允许IBC模式)时，存在一种例外情况。如表5所示，当pred_mode_flag被用信号发送为0时，PLT模式标志(pred_mode_plt_flag)被通过信号发送。这种例外情况不仅破坏了pred_mode_flag标志的物理意义，而且还由于根据是否允许IBC模式使用了不同的信令条件而导致了pred_mode_plt_flag的信令条件的复杂化。

此外，在当前的VVC中，对通过信号发送pred_mode_ibc_flag和pred_mode_plt_flag进行的条件检查很复杂，如表2所示。提出了几种方法来简化通过信号发送这些预测模式的条件检查。

根据本申请的第一实施例，指示该调色板模式(如VVC规范中的pred_mode_plt_flag)的启用的标志仅在类似于帧内模式的模式下被通过信号发送，而并不考虑所允许的预测模式的条件。在一个示例中，仅当用于指示类似于帧内模式或类似于帧间模式(例如pred_mode_flag)的语义元素被通过发信号发送或推断为类似于帧内模式(例如在当前VVC中通过信号发送pred_mode_flag为1)时，该调色板模式标志pred_mode_plt_flag被通过发信号发送。根据本实施例，当只允许帧间、帧内和PLT模式时，对应的码字如表10所示，表10与表5不同。此外，可以简化pred_mode_plt_flag的信令条件，如在表11中突出显示的部分。

Pred_Modes	pred_mode_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	0	-	-
PLT	1	-	1
				帧内	1	-	0

表10.在基于第一实施例仅允许帧内、帧间和PLT模式时非跳过CU模式的信令

表11.用于VVC的建议的模式信令的语义(修改的部分被突出显示)

根据本申请的第二实施例，基于预定义的顺序通过信号发送这些模式，除了最后一个模式之外，每个模式通过对应的标志指示。最后一个模式不需要相应的标志，因为当所有先前通过信号发送的模式(或标志)未启用时，可以将其推断为已启用。在一个示例中，帧间模式、IBC模式和PLT模式分别通过标志pred_mode_inter_flag、pred_mode_ibc_flag和pred_mode_plt_flag来指示。在这种情况下，该方法与基于预定义的信令顺序将截断的二进制码字分配给模式基本相同。相关码字如表12至表18所示。pred_mode_ibc_flag和pred_mode_plt_flag的信令条件也可以被简化，如在表19中突出显示的那样。

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	1	-	-
IBC	0	1	-
				PLT	0	0	1
帧内	0	0	0

表12.当基于第二实施例允许所有模式(帧间、帧内、IBC和PLT模式)时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				IBC	-	1	-
PLT	-	0	1
				帧内	-	0	0

表13.当基于第二实施例仅允许帧内、IBC和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				INTER	1	-	-
PLT	0	-	1
				INTRA	0	-	0

表14.当基于第二实施例仅允许帧内、帧间和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				INTER	1	-	-
IBC	0	1	-
				INTRA	0	0	-

表15.当基于第二实施例仅允许帧内、帧间和IBC模式时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				IBC	-	1	-
帧内	-	0	-

表16.当基于第二实施例仅允许帧内和IBC模式时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				PLT	-	-	1
INTRA	-	-	0

表17.当基于第二实施例仅允许帧内和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_inter_flag	pred_mode_ibc_flag	pred_mode_plt_flag
				帧间	1	-	-
帧内	0	-	-

表18.当基于第二实施例仅允许帧内和帧间模式时非跳过CU模式的信令

表19.用于VVC的建议的模式信令的语义(修改的部分被突出显示)

根据本发明的第三实施例，通过首先发送语义元素来通过信号发送这些模式以指示当前块使用常规模式(如帧间和帧内模式)还是新模式(如IBC和PLT模式)。在第一个语义元素之后，通过信号发送附加的语义元素以指示使用哪种模式。相关联的码字在表20至表26中示出。应注意，根据本实施例，码字仓(或标志)的命名被改变以反映它们的物理意义。

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				帧间	1	1	-
IBC	0	-	1
				PLT	0	-	0
帧内	1	0	-

Table 20.当基于第三实施例允许所有模式(帧间、帧内、IBC和PLT模式)时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				IBC	0	-	1
PLT	0	-	0
				帧内	1	-	-

表21.当基于第三实施例仅允许帧内、IBC和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				帧间	1	1	-
PLT	0	-	-
				帧内	1	0	-

表22.当基于第三实施例仅允许帧内、帧间和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				帧间	1	1	-
IBC	0	-	-
				帧内	1	0	-

表23.当基于第三实施例仅允许帧内、帧间和IBC模式时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				IBC	0	-	-
帧内	1	-	-

表24.当基于第三实施例仅允许帧内和IBC模式时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				PLT	0	-	-
帧内	1	-	-

表25.当基于第三实施例仅允许帧内和PLT模式时非跳过CU模式的信令

Pred_Modes	pred_mode_regular_flag	pred_mode_inter_flag	pred_mode_ibc_flag
				帧间	-	1	-
帧内	-	0	-

表26.当基于第三实施例仅允许帧内和帧间模式时非跳过CU模式的信令

为了通过信号发送预测模式，该视频编解码器首先从比特流接收对应于非跳过模式编码块的视频数据(610)，并且确定与该非跳过模式编码块相关联的参数集(620)。该参数集(如序列参数集)包括信息以包括在相关联的比特流中允许哪种模式(如IBC，PLT等)，如表1所示。

之后，该视频编解码器选择性地从该比特流接收第一、第二或第三语义元素。如果该参数集包括满足第一条件的信息，则该视频编解码器从该比特流中取回第一语义元素(如表2中的pred_mode_flag)(630)。如果该参数集包括满足第二条件的信息，则该视频编解码器从该比特流中取回第二语义元素(如表2中的pred_mode_ibc_flag)(640)。如果该参数集包括满足第三条件的信息，则该视频编解码器从该比特流中取回第三语义元素(如表2中的pred_mode_plt_flag)(650)。对于与每个相应的语义元素相关联的条件，参考表2。在一些实施例中，如果不满足相应的条件，则该视频编解码器不接收相应的语义元素(例如，该视频编解码器可以将默认值分配给这些语义元素或在解码期间不使用这些语义元素)。

接下来，该视频编解码器根据接收到的第一、第二和第三语义元素的值，使用相应的模式对与该非跳过模式编码块对应的视频数据进行解码。具体来讲：

当第一语义元素(如表1中的pred_mode_flag)和第三语义元素(如表1中的pred_mode_plt_flag)都具有第一值(如“1”)时，该视频编解码器使用该调色板模式对视频数据进行解码，并且不满足第二条件(例如，该视频编解码器没有接收到pred_mode_ibc_flag)(660)。

当第一语义元素(如表1中的pred_mode_flag)具有第一值(如“1”)并且第三语义元素具有第二值(如“0”)时，该视频编解码器使用帧内预测模式对视频数据进行解码。不满足第二条件(例如，该视频编解码器没有接收到pred_mode_ibc_flag)(670)。

当第一语义元素具有第二值(如“0”)并且不满足第二和第三条件(例如，该视频编解码器未接收到pred_mode_ibc_flag和pred_mode_plt_flag)时，该视频编解码器使用帧间预测模式对视频数据进行解码(680)。

在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输并由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或者包括便于将计算机程序从一个地方转移到另一个地方的任何介质的通信介质，例如，根据通信协议。在这种方式中，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以取回指令、代码和/或数据结构以实现本申请中描述的实施方式的任何可用介质。计算机程序产品可包括计算机可读介质。

在此处的实施方式的描述中使用的术语仅用于描述特定实施方式的目的，并不旨在限制权利要求的范围。在实施方式和所附权利要求的描述中使用的单数形式“一个”和“该/所述”也旨在包括复数形式，除非上下文另有明确指示。还应理解，本文所用的术语“和/或”是指并且涵盖一个或多个相关联的所列项目的任何和所有可能的组合。将会进一步理解，当在本说明书中使用时，术语“包括”指定所陈述的特征、要素和/或组件的存在，但不排除其它一个或多个特征、要素、组件和/或它们的组的存在或添加。

还应理解，虽然术语第一、第二等在本文中可用于描述各种要素，但这些要素不应受限于这些术语。这些术语仅用于区分一种要素与另一种要素。例如，在不脱离实施方式的范围的情况下，第一电极可以被称为第二电极，并且类似地，第二电极可以被称为第一电极。第一电极和第二电极都是电极，但不是同一个电极。

本申请的描述是为了说明和描述的目的而呈现的，并不旨在穷举或限制以所公开形式的本发明。受益于前述描述和相关附图中呈现的教导，本领域普通技术人员将明白许多修改、变化和替代实施方式。选择和描述实施例是为了最好地解释本发明的原理、实际应用，并使本领域的其他技术人员能够理解本发明的各种实现方式，并最好地利用具有各种修改的基本原理和各种实现方式，如适用于预期的特定用途。因此，应当理解，权利要求的范围不限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在所附权利要求的范围内。

Claims (9)

1.一种视频数据的编码方法，所述方法包括：

确定与非跳过模式编码块相关联的参数集；

根据确定所述参数集包括满足不同条件的信息，通过比特流发送第一语义元素、第二语义元素或者第三语义元素；其中，在所述第一语义元素被发送且所述第一语义元素具有第一值的情况下，所述第三语义元素被发送；

当所述第一语义元素具有第一值且所述第三语义元素具有所述第一值时，所述非跳过模式编码块基于调色板模式编码；当所述第一语义元素具有所述第一值且所述第三语义元素具有第二值时，所述非跳过模式编码块基于帧内预测模式编码；以及

通过所述比特流发送所述非跳过模式编码块。

2.如权利要求1所述的方法，其中，所述方法还包括：

当所述第一语义元素被发送且所述第一语义元素具有第二值时，所述非跳过模式编码块基于帧间预测模式编码。

3.如权利要求1所述的方法，其中，在所述非跳过模式编码块基于所述调色板模式编码时，不发送所述第二语义元素。

4.如权利要求1所述的方法，其中，在所述非跳过模式编码块基于所述帧内预测模式编码时，不发送所述第二语义元素。

5.如权利要求1所述的方法，其中，在所述第一语义元素被发送且所述第一语义元素具有第二值的情况下，不发送所述第二语义元素和所述第三语义元素。

6.如权利要求1所述的方法，其中，所述方法还包括：

当所述第一语义元素具有第二值或所述第一语义元素没有被发送、所述第二语义元素具有所述第一值并且所述第三语义元素没有被发送时，所述非跳过模式编码块基于帧内块复制模式编码。

7.如权利要求1至6任一项所述的方法，其中，

所述第一语义元素为pred_mode_flag，pred_mode_flag具有第二值代表以帧间预测模式进行编码，pred_mode_flag具有第一值代表以帧内预测模式或调色板模式进行编码；

所述第二语义元素为pred_mode_ibc_flag，pred_mode_ibc_flag具有第一值代表以帧内块复制模式进行编码，pred_mode_ibc_ flag具有第二值代表不以帧内块复制模式进行编码；

所述第三语义元素为pred_mode_plt_flag，pred_mode_plt_flag具有第二值代表在编码单元中不使用调色板模式，pred_mode_plt_flag具有第一值表示在编码单元中使用调色板模式。

8.一种计算设备，包括：

一个或多个处理器；

耦合到所述一个或多个处理器的存储器；以及

存储在所述存储器中的多个程序，当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行权利要求1至7中任一项所述的视频数据的编码方法。

9.一种非暂时性计算机可读存储介质，其存储包括视频数据的比特流，当所述视频数据被发送时，使编码装置执行权利要求1至7中任一项所述的视频数据的编码方法。

Images