CN113424532A - 视频编解码方法和装置 - Google Patents

Abstract

本公开的各方面提供用于视频编码/解码的方法和装置。在一些示例中，一种用于视频解码的装置包括接收电路和处理电路。例如，处理电路接收比特流，该比特流包括与编码图片中的块的残差相对应的比特，解析该比特流以提取指示块的角度预测的潜在使用的至少一个比特。此外，处理电路基于指示块的角度预测的潜在使用的至少一个比特，确定用于编码二次变换的信息的上下文，并且使用基于上下文解码的二次变换的信息，对与块的残差相对应的比特进行解码。

Description

视频编解码方法和装置

引用并入

本申请要求于2020年3月19日提交的申请号为16/824,492的美国专利申请“视频编解码方法和装置(METHOD AND APPARATUS FOR VIDEO CODING)”的优先权，该美国申请要求于2019年3月21日提交的申请号为62/821,657的美国临时申请“对二次变换索引或标志进行熵编码的上下文建模(CONTEXT MODELING FOR ENTROPY CODING OF SECONDARYTRANSFORM INDEX OR FLAG)”和2019年10月3日提交的申请号为62/910,127的美国临时申请“LFNST的块大小限制(BLOCK SIZE RESTRICTION OF LFNST)”的优先权。这些先前申请的公开内容通过引用整体并入本申请中。

技术领域

本申请描述了涉及视频编解码的实施例。

背景技术

本文中提供的背景技术描述是为了大体上呈现本申请的上下文。在此背景技术部分描述的程度上，当前署名的发明人的工作，以及在本申请提交时可能不具有作为现有技术的资格的描述的各方面，既不明确认为也不隐含认为是本申请的现有技术。

视频的编码和解码可以使用具有运动补偿的帧间预测进行。未压缩的数字视频可包括一系列的图片，每个图片具有一定的空间维度，例如具有1920×1080的亮度样本和相关的色度样本。所述一系列的图片可以具有固定的或可变的图片速率(非正式地，也被称作帧率)，例如，每秒60个图片或60赫兹(Hz)。未压缩的视频对比特率有着显著的要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧率下的1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。这样的视频一小时需要超过600GB的存储空间。

视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于降低上述带宽或存储空间的要求，在一些情况下，可降低两个或更多的数量级。无损压缩和有损压缩以及其组合都可以用于视频编码和解码。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不完全一致，但是原始信号与重建的信号之间的失真小得足以使重建的信号可以用于预期应用。有损压缩广泛应用于视频中。有损压缩容许的失真量取决于应用；例如，与电视分发应用的用户相比，某些消费者流式传输应用的用户可以容忍较高的失真。可实现的压缩比可以反映的是：越高的可允许的/可容许的失真，可产生越高的压缩比。

视频编码器和解码器可以使用几大类技术，包括例如运动补偿、变换、量化和熵编码。

视频编解码技术可以包括帧内编码技术。在帧内编码技术中，样本值的表示不参考先前已重建的参考图片中的样本或其他数据。在一些视频编解码技术中，将图片从空间上划分为样本块。当所有的样本块都是通过帧内模式进行编码时，该图片可以是一个帧内图片。帧内图片以及他们的衍生图片，例如独立解码器刷新的图片，可以用于对解码器的状态进行重置，因此可以用作已编码视频码流和视频会话中的第一幅图片，或者作为一副静止图片。可以对帧内块的样本进行变换，并且可以在进行熵编码之前，对变换系数进行量化。帧内预测可以是一种将样本值在预变换域最小化的技术。在一些情况下，变换后的DC值越小以及AC系数越小，给定量化步长大小的情况下，表示熵编码后的块所需的比特数目越少。

传统的帧内编码技术，例如已知的MPEG-2编码技术并不使用帧内预测。然而，一些较新的视频压缩技术包括尝试使用例如邻近的样本数据和/或元数据的技术，所述邻近的样本数据和/或元数据是在对空间上相邻且解码顺序上在先的数据块进行编码/解码的过程中获得的。因此，这种技术称为“帧内预测”技术。至少在一些情况下，帧内预测仅使用当前正在重建的图片中的参考数据，而不使用参考图片中的参考数据。

帧内预测可以有很多种形式。当给定的视频编码技术中可以使用一个以上的这种技术时，可以使用帧内预测模式对所使用的技术进行编码。在某些情况下，一些模式具有子模式和/或参数，这些可以单独进行编码，或者可以包含在模式码字中。某个给定模式/子模式/参数的组合使用何种码字，会通过帧内预测影响到编码效率增益，将码字转译为码流所用的熵编码技术同样对其也会产生影响。

H.264标准引入了某个模式的帧内预测，H.265标准对其进行了改进，在较新的编码技术中，例如，联合探索模型(JEM)、通用视频编码(VVC)、基准集合(BMS)等等，对其进一步进行了改进。预测子(predictor)块可以使用属于已经可用的样本的相邻样本值来形成。将相邻样本的样本值按照一个方向复制到预测子块中。所使用的方向的参考可以编码到码流中，或者其本身可以预测。

发明内容

本公开的各方面提供了视频编码/解码的方法和装置。在一些示例中，视频解码装置包括接收电路和处理电路。例如，所述处理电路接收比特流，所述比特流包括与编码图片中的块的残差相对应的比特，解析所述比特流，以提取指示所述块的角度预测的潜在使用的至少一个比特。此外，处理电路基于指示所述块的所述角度预测的潜在使用的所述至少一个比特，确定用于对二次变换的信息进行编码的上下文，并使用基于所述上下文解码的所述二次变换的信息，对与所述块的所述残差相对应的所述比特进行解码。

在实施例中，所述处理电路解析所述比特流以提取最可能模式(MPM)的标志和MPM的索引中的至少一个。

在实施例中，所述处理电路基于指示所述块的所述角度预测的所述潜在使用的所述至少一个比特，确定用于对所述二次变换的标志和所述二次变换的索引中的至少一个进行编码的所述上下文。

在另一实施例中，处理电路解析所述比特流以提取最可能模式(MPM)的索引，并基于所述MPM的索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

在一些实施例中，处理电路解析所述比特流以提取所述块的参考行的索引，并基于所述块的所述参考行的所述索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

在一些实施例中，处理电路解析所述比特流以提取所述块的帧内子分区的索引，并基于所述块的所述帧内子分区的所述索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

在一些实施例中，处理电路解析所述比特流以提取第一标志，所述第一标志指示角度模式是否被应用于所述块的预测，并根据所述第一标志，确定用于对所述二次变换的信息进行编码的所述上下文。在示例中，以在所述第一标志指示角度模式不被应用于所述块的所述预测时，处理电路解析所述比特流提取第二标志，所述第二标志指示平面模式或DC模式是否被应用于所述块的所述预测。然后，处理电路基于所述第二标志，确定用于对所述二次变换的信息进行编码的所述上下文。

在一些实施例中，处理电路在所述块的大小小于阈值时，禁用所述二次变换。

本申请的各方面提供了一种非易失性计算机可读介质，所述指令当由计算机执行以用于视频解码时，使得所述计算机执行所述视频解码方法。

附图说明

通过下文的详细描述和附图，本申请所公开主题的进一步特征、本质和各种优点将更加清楚，其中：

图1是根据一个实施例的通信系统(100)的简化框图的示意图。

图2是根据一个实施例的通信系统(200)的简化框图的示意图。

图3是根据一个实施例的解码器的简化框图的示意图。

图4是根据一个实施例的编码器的简化框图的示意图。

图5示出了根据另一实施例的编码器的框图。

图6示出了根据另一实施例的解码器的框图。

图7-10示出了变换核心矩阵的示例。

图11A-11E示出了64×64变换核心矩阵。

图12示出了所选DST/DCT变换的变换基函数。

图13示出了索引与变换类型之间的映射关系表。

图14-17示出了DST-7变换的变换核心矩阵。

图18-21示出了DCT-8变换的变换核心矩阵。

图22示出了本公开一些实施例中的变换单元语法的示例。

图23A-23C示出了本公开一些实施例中残差编码语法的示例。

图24A-24B示出了正向变换的示例。

图25A-25E示出了一些实施例中缩放的变换系数的变换过程的示例。

图26示出了从帧内预测模式到对应的变换集的映射的示例。

图27示出了HEVC中使用的帧内预测方向和帧内预测模式的示例。

图28示出了帧内预测方向和帧内预测模式的示例。

图29示出了当前编码单元的相邻编码单元的示例。

图30示出了多个参考行的示例。

图31示出了取决于块大小的子分区的数目。

图32示出了将一个块划分为两个子分区的场景。

图33示出了将一个块划分为四个子分区的场景。

图34示出了本公开实施例中使用变换核心的示例。

图35示出了本公开实施例中使用另一变换核心的示例。

图36示出了缩小的二次变换矩阵的示例。

图37A-37B示出了本申请一些方面中缩小的二次变换的示例。

图38示出了用于变换集选择的表的示例。

图39示出了用于确定二次变换的索引的表的示例。

图40示出了概述本公开实施例的处理过程的示例。

图41是根据实施例的计算机系统的示意图。

具体实施方式

图1图示了根据本申请公开的实施例的通信系统(100)的简化框图。通信系统(100)包括多个终端装置，所述终端装置可通过例如网络(150)彼此通信。举例来说，通信系统(100)包括通过网络(150)互连的第一对终端装置(110)和(120)。在图1的示例中，第一对终端装置(110)和(120)执行单向数据传输。例如，终端装置(110)可对视频数据(例如由终端装置(110)采集的视频图片流)进行编码，以通过网络(150)传输到另一终端装置(120)。已编码视频数据可以以一个或多个已编码视频码流的形式传输。终端装置(120)可从网络(150)接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输可能在媒体服务等应用中比较常见。

在另一示例中，通信系统(100)包括执行已编码视频数据的双向传输的第二对终端装置(130)和(140)，所述双向传输可例如在视频会议期间发生。对于双向数据传输，终端装置(130)和终端装置(140)中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络(150)传输到终端装置(130)和终端装置(140)中的另一终端装置。终端装置(130)和终端装置(140)中的每个终端装置还可接收由终端装置(130)和终端装置(140)中的另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。

在图1的示例中，终端装置(110)、终端装置(120)、终端装置(130)和终端装置(140)可能图示为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(150)表示在终端装置(110)、终端装置(120)、终端装置(130)和终端装置(140)之间传送已编码视频数据的任何数目的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(150)可在电路交换和/或分组交换信道中交换数据。代表性的网络可包括电信网络、局域网、广域网和/或互联网。出于本论述的目的，除非在下文中有所解释，否则网络(150)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

作为本申请所公开主题应用的示例，图2示出了视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

流式传输系统可包括采集子系统(213)，所述采集子系统可包括数码相机等视频源(201)，所述视频源创建例如未压缩的视频图片流(202)。在一个示例中，视频图片流(202)包括由数码相机拍摄的样本。视频图片流(202)描绘为粗线，以强调与已编码的视频数据(204)(或已编码视频码流)相比，其具有较高的数据量相较于已编码的视频数据(204)(或已编码的视频码流)，视频图片流(202)可由电子装置(220)处理，所述电子装置(220)包括耦接到视频源(201)的视频编码器(203)。视频编码器(203)可包括硬件、软件或软硬件组合，以实现或实施如下文更详细地描述的所公开主题的各方面。已编码的视频数据(204)(或已编码的视频码流(204))描绘为细线，以强调与视频图片流(202)相比，其具有较低的数据量，其可存储在流式传输服务器(205)上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统(206)和(208)，可访问流式传输服务器(205)，以检索已编码的视频数据(204)的副本(207)和(209)。客户端子系统(206)可包括例如电子装置(230)中的视频解码器(210)。视频解码器(210)对已编码的视频数据的传入副本(207)进行解码，且产生可在显示器(212)(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流(211)。在一些流式传输系统中，可根据某些视频编码/压缩标准，对已编码的视频数据(204)、(207)和(209)(例如视频码流)进行编码。该些标准的实施例包括ITU-TH.265建议书。在一个示例中，正在开发的视频编码标准非正式地称为多功能视频编码(VersatileVideo Coding，VVC)，本申请可用于VVC标准的上下文中。

应注意，电子装置(220)和(230)可包括其它组件(未示出)。举例来说，电子装置(220)可包括视频解码器(未示出)，且电子装置(230)还可包括视频编码器(未示出)。

图3是根据本申请公开的实施例的视频解码器(310)的框图。视频解码器(310)可设置在电子装置(330)中。电子装置(330)可包括接收器(331)(例如，接收电路)。视频解码器(310)可用于代替图2示例中的视频解码器(210)。

接收器(331)可接收将由视频解码器(310)解码的一个或多个已编码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。已编码视频序列可从信道(301)接收，所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(331)可接收已编码的视频数据以及其它数据，例如，可转发到它们各自的使用实体(未标示)的已编码音频数据和/或辅助数据流。接收器(331)可将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(315)可耦接在接收器(331)与熵解码器/解析器(320)(此后称为“解析器(320)”)之间。在某些应用中，缓冲存储器(315)是视频解码器(310)的一部分。在其它情况下，所述缓冲存储器(315)可设置在视频解码器(310)外部(未标示)。而在其它情况下，视频解码器(310)的外部设置缓冲存储器(未标示)，以例如防止网络抖动，且在视频解码器(310)的内部可配置另一缓冲存储器(315)，以例如处理播出定时。而当接收器(331)从具有足够带宽和可控性的存储/转发装置，或从等时同步网络接收数据时，也可能不需要配置缓冲存储器(315)，或可以将所述缓冲存储器做得较小。为了在互联网等尽力而为业务分组网络上使用，也可能需要缓冲存储器(315)，所述缓冲存储器可相对较大且可具有自适应性大小，且可至少部分地实施于操作系统或视频解码器(310)外部的类似元件(未标示)中。

视频解码器(310)可包括解析器(320)，以根据已编码视频序列重建符号(321)。这些符号的类别包括用于管理视频解码器(310)的操作的信息，以及用以控制显示装置(312)(例如，显示屏)等显示装置的潜在信息，所述显示装置不是电子装置(330)的组成部分，但可耦接到电子装置(330)，如图3中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental Enhancement Information)(SEI消息)或视频可用性信息(VideoUsability Information，VUI)的参数集片段(未标示)。解析器(320)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循各种原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(320)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures，GOP)、图片、图块(tile)、切片(slice)、宏块、编码单元(CodingUnit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。解析器(320)还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。

解析器(320)可对从缓冲存储器(315)接收的视频序列执行熵解码/解析操作，从而创建符号(321)。

取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(321)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(320)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(320)与下文的多个单元之间的此类子群控制信息流。

除已经提及的功能块以外，视频解码器(310)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。

第一单元是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)从解析器(320)接收作为符号(321)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(351)可输出包括样本值的块，所述样本值可输入到聚合器(355)中。

在一些情况下，缩放器/逆变换单元(351)的输出样本可属于帧内编码块；即：不使用来自先前已重建图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内预测单元(352)提供。在一些情况下，帧内预测单元(352)采用从当前图片缓冲器(358)提取的周围已重建信息，生成大小和形状与正在重建的块相同的块。举例来说，当前图片缓冲器(358)缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下，聚合器(355)基于每个样本，将帧内预测单元(352)生成的预测信息添加到由缩放器/逆变换单元(351)提供的输出样本信息中。

在其它情况下，缩放器/逆变换单元(351)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(353)可访问参考图片存储器(357)以提取用于预测的样本。在根据属于块的符号(321)对提取的样本进行运动补偿之后，这些样本可由聚合器(355)添加到缩放器/逆变换单元(351)的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(353)从参考图片存储器(357)内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(321)的形式而供运动补偿预测单元(353)使用，所述符号(321)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器(357)提取的样本值的插值、运动矢量预测机制等等。

聚合器(355)的输出样本可在环路滤波器单元(356)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数，且所述参数作为来自解析器(320)的符号(321)可用于环路滤波器单元(356)，但是还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。

环路滤波器单元(356)的输出可以是样本流，所述样本流可输出到显示装置(312)以及存储在参考图片存储器(357)，以用于后续的帧间图片预测。

一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。举例来说，一旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器(320))被识别为参考图片，则当前图片缓冲器(358)可变为参考图片存储器(357)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。

视频解码器(310)可根据例如ITU-T H.265建议书等标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说，配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(HypotheticalReference Decoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

在实施例中，接收器(331)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(310)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。

图4是根据本申请公开的实施例的视频编码器(403)的框图。视频编码器(403)设置于电子装置(420)中。电子装置(420)包括传输器(440)(例如传输电路)。视频编码器(403)可用于代替图2实施例中的视频编码器(203)。

视频编码器(403)可从视频源(401)(并非图4示例中的电子装置(420)的一部分)接收视频样本，所述视频源可采集将由视频编码器(403)编码的视频图像。在另一实施例中，视频源(401)是电子装置(420)的一部分。

视频源(401)可提供将由视频编码器(403)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源(401)可以是存储先前已准备的视频的存储装置。在视频会议系统中，视频源(401)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

根据实施例，视频编码器(403)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(443)。施行适当的编码速度是控制器(450)的一个功能。在一些实施例中，控制器(450)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器(450)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。控制器(450)可用于具有其它合适的功能，这些功能涉及针对某一系统设计优化的视频编码器(403)。

在一些实施例中，视频编码器(403)在编码环路中进行操作。作为简单的描述，在一个示例中，编码环路可包括源编码器(430)(例如，负责基于待编码的输入图片和参考图片创建符号，例如符号流)和嵌入于视频编码器(403)中的(本地)解码器(433)。解码器(433)以类似于(远程)解码器创建样本数据的方式重建符号，以创建样本数据(因为在本申请所公开的主题所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(434)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(434)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。

“本地”解码器(433)的操作可与例如已在上文结合图3详细描述视频解码器(310)的“远程”解码器相同。然而，另外简要参考图3，当符号可用且熵编码器(445)和解析器(320)能够无损地将符号编码/解码到已编码视频序列时，包括缓冲存储器(315)和解析器(320)在内的视频解码器(310)的熵解码部分，可能不完全在本地解码器(433)中实施。

此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因，本申请侧重于解码器操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。

在操作期间，在一些示例中，源编码器(430)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的一个或多个先前已编码图片，所述运动补偿预测编码对输入图片进行预测性编码。以此方式，编码引擎(432)对输入图片的像素块与参考图片的像素块之间的差值进行编码，所述参考图片可被选作所述输入图片的预测参考。

本地视频解码器(433)可基于源编码器(430)创建的符号，对可指定为参考图片的图片的已编码视频数据进行解码。编码引擎(432)的操作可为有损过程。当已编码视频数据可在视频解码器(图4中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(433)复制解码过程，所述解码过程可由视频解码器对参考图片执行，且可使重建的参考图片存储在参考图片高速缓存(434)中。以此方式，视频编码器(403)可在本地存储重建的参考图片的副本，所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。

预测器(435)可针对编码引擎(432)执行预测搜索。即，对于将要编码的新图片，预测器(435)可在参考图片存储器(434)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(435)可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(435)获得的搜索结果，可确定输入图片可具有从参考图片存储器(434)中存储的多个参考图片取得的预测参考。

控制器(450)可管理源编码器(430)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。

可在熵编码器(445)中对所有上述功能单元的输出进行熵编码。熵编码器(445)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。

传输器(440)可缓冲由熵编码器(445)创建的已编码视频序列，从而为通过通信信道(460)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(440)可将来自视频编码器(403)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

控制器(450)可管理视频编码器(403)的操作。在编码期间，控制器(450)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：

帧内图片(I图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。

预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。

双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。

源图片通常可在空间上细分成多个样本块(例如，每个具有4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。

视频编码器(403)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(403)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。

在实施例中，传输器(440)可传输附加数据和已编码的视频。源编码器(430)可以包括此类数据为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和切片等其它形式的冗余数据、SEI消息、VUI参数集片段等。

采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间或其它)相关性。在实施例中，将正在编码/解码的特定图片分割成块，正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时，可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块，且在使用多个参考图片的情况下，所述运动矢量可具有识别参考图片的第三维度。

在一些实施例中，双向预测技术可用于帧间图片预测中。根据双向预测技术，使用两个参考图片，例如按解码次序均在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。可通过第一参考块和第二参考块的组合来预测所述块。

此外，合并模式技术可用于帧间图片预测中以改善编码效率。

根据本申请公开的一些实施例，帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(codingtree unit，CTU)以用于压缩，图片中的CTU具有相同大小，例如64×64像素、32×32像素或16×16像素。一般来说，CTU包括三个编码树块(coding tree block，CTB)，所述三个编码树块是一个亮度CTB和两个色度CTB。更进一步的，还可将每个CTU以四叉树拆分为一个或多个编码单元(coding unit，CU)。举例来说，可将64×64像素的CTU拆分为一个64×64像素的CU，或4个32×32像素的CU，或16个16×16像素的CU。在实施例中，分析每个CU以确定用于CU的预测类型，例如帧间预测类型或帧内预测类型。此外，取决于时间和/或空间可预测性，将CU拆分为一个或多个预测单元(prediction unit，PU)。通常，每个PU包括亮度预测块(prediction block，PB)和两个色度PB。在实施例中，编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例，预测块包括像素值(例如，亮度值)的矩阵，例如8×8像素、16×16像素、8×16像素、16×8像素等等。

图5示出了根据本申请公开的另一实施例的视频编码器(503)的图。视频编码器(503)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如预测块)，且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中，视频编码器(503)用于代替图2示例中的视频编码器(203)。

在HEVC示例中，视频编码器(503)接收用于处理块的样本值的矩阵，所述处理块为例如8×8样本的预测块等。视频编码器(503)使用例如率失真(rate-distortion，RD)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时，视频编码器(503)可使用帧内预测技术以将处理块编码到已编码图片中；且当在帧间模式或双向预测模式中编码处理块时，视频编码器(503)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助预测值外部的已编码运动矢量分量的情况下，从一个或多个运动矢量预测值推导运动矢量。在某些其它视频编码技术中，可存在适用于主题块的运动矢量分量。在实施例中，视频编码器(503)包括其它组件，例如用于确定处理块模式的模式决策模块(未示出)。

在图5的示例中，视频编码器(503)包括如图5所示的耦接到一起的帧间编码器(530)、帧内编码器(522)、残差计算器(523)、开关(526)、残差编码器(524)、通用控制器(521)和熵编码器(525)。

帧间编码器(530)用于接收当前块(例如处理块)的样本、比较所述块与参考图片中的一个或多个参考块(例如先前图片和后来图片中的块)、生成帧间预测信息(例如根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如已预测块)。在一些示例中，参考图片是基于已编码的视频信息解码的已解码参考图片。

帧内编码器(522)用于接收当前块(例如处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还(例如根据一个或多个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在一个示例中，帧内编码器(522)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如已预测块)。

通用控制器(521)用于确定通用控制数据，且基于所述通用控制数据控制视频编码器(503)的其它组件。在实施例中，通用控制器(521)确定块的模式，且基于所述模式将控制信号提供到开关(526)。举例来说，当所述模式是帧内模式时，通用控制器(521)控制开关(526)以选择供残差计算器(523)使用的帧内模式结果，且控制熵编码器(525)以选择帧内预测信息且将所述帧内预测信息添加在码流中；以及当所述模式是帧间模式时，通用控制器(521)控制开关(526)以选择供残差计算器(523)使用的帧间预测结果，且控制熵编码器(525)以选择帧间预测信息且将所述帧间预测信息添加在码流中。

残差计算器(523)用于计算所接收的块与选自帧内编码器(522)或帧间编码器(530)的预测结果之间的差(残差数据)。残差编码器(524)用于基于残差数据操作，以对残差数据进行编码以生成变换系数。在实施例中，残差编码器(524)用于将残差数据从时域转换到频域，且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中，视频编码器(503)还包括残差解码器(528)。残差解码器(528)用于执行逆变换，且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(522)和帧间编码器(530)使用。举例来说，帧间编码器(530)可基于已解码残差数据和帧间预测信息生成已解码块，且帧内编码器(522)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片，且在一些实施例中，所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。

熵编码器(525)用于将码流格式化以产生已编码的块。熵编码器(525)根据HEVC标准等合适标准产生各种信息。在实施例中，熵编码器(525)用于获得通用控制数据、所选预测信息(例如帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式中对块进行编码时，不存在残差信息。

图6示出了根据本申请公开的另一实施例的视频解码器(610)的图。视频解码器(610)用于接收作为已编码视频序列的一部分的已编码图像，且对所述已编码图像进行解码以生成重建的图片。在一个示例中，视频解码器(610)用于代替图2示例中的视频解码器(210)。

在图6的示例中，视频解码器(610)包括如图6中所示耦接到一起的熵解码器(671)、帧间解码器(680)、残差解码器(673)、重建模块(674)和帧内解码器(672)。

熵解码器(671)可用于根据已编码图片来重建某些符号，这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如用于对所述块进行编码的模式(例如帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(672)或帧间解码器(680)用以进行预测的某些样本或元数据的预测信息(例如帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在一个示例中，当预测模式是帧间预测模式或双向预测模式时，将帧间预测信息提供到帧间解码器(680)；以及当预测类型是帧内预测类型时，将帧内预测信息提供到帧内解码器(672)。残差信息可经由逆量化并提供到残差解码器(673)。

帧间解码器(680)用于接收帧间预测信息，且基于所述帧间预测信息生成帧间预测结果。

帧内解码器(672)用于接收帧内预测信息，且基于所述帧内预测信息生成预测结果。

残差解码器(673)用于执行逆量化以提取解量化的变换系数，且处理所述解量化的变换系数，以将残差从频域转换到空间域。残差解码器(673)还可能需要某些控制信息(用以获得量化器参数QP)，且所述信息可由熵解码器(671)提供(未标示数据路径，因为这仅仅是低量控制信息)。

重建模块(674)用于在空间域中组合由残差解码器(673)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块，所述重建的块可以是重建的图片的一部分，所述重建的图片继而可以是重建的视频的一部分。应注意，可执行解块操作等其它合适的操作来改善视觉质量。

应注意，可使用任何合适的技术来实施视频编码器(203)、(403)和(503)以及视频解码器(210)、(310)和(610)。在实施例中，可使用一个或多个集成电路来实施视频编码器(203)、(403)和(503)以及视频解码器(210)、(310)和(610)。在另一实施例中，可使用执行软件指令的一个或多个处理器来实施视频编码器(203)、(403)和(403)以及视频解码器(210)、(310)和(610)。

本公开的各方面提供用于二次变换索引或标志的熵编码的上下文建模技术。具体地，在一些实施例中，使用了一种将MPM索引或标志用作二级索引熵编码的上下文建模的方法。

根据本公开的一些方面，可以在残差信号的编码中使用主变换和二次变换。在一些实施例中，4点、8点、16点和32点类型2离散余弦变换(DCT-2)变换可以用作主变换。图7-10分别示出了4点、8点、16点和32点DCT-2的变换核心矩阵。那些变换核心矩阵的元素可以使用8位整数表示，因此这些变换核心矩阵被称为8位变换核心。如图所示，较小DCT-2的变换核心矩阵是较大DCT-2的变换核心矩阵的一部分。

DCT-2核心矩阵显示出对称/反对称特性。因此，可以支持所谓的“部分蝶形(partial butterfly)”实现，以减少操作计数(乘法、加/减、移位)的数量。使用部分蝶形实现可以获得相同的矩阵乘法结果。

在一些实施例中，除了上述的4点、8点、16点和32点DCT-2变换之外，还使用了额外的2点和64点DCT-2。图11A-11E示出了64点DCT-2变换的64×64变换核心矩阵。

在一些实施例中，除了DCT-2变换和4×4的离散正弦变换类型IIV(DST-7)变换之外，还使用自适应多变换(AMT)(也称为增强型多变换(EMT)或多变换选择(MTS))进行帧间和帧内编码块的残差编解码。除了DCT-2变换之外，AMT还使用离散余弦变换(DCT)/离散正弦变换(DST)族的多个所选变换，如DST-7变换的变换核心矩阵或DCT-8变换的变换核心矩阵。

图12示出了所选DST/DCT变换的变换基函数。

在一些实施例中，AMT中使用的DST/DCT变换核心矩阵是用8位的表示(representation)来表示。在一些实施例中，AMT应用于宽度和高度均小于或等于32的CU。是否应用AMT可以通过由mts_flag表示的标志来控制。例如，当mts_flag等于0时，仅应用DCT-2对残差块进行编码。当mts_flag等于1时，可进一步使用两个二进制数(bin)发信号通知mts_idx表示的索引，以指定将使用的水平变换和垂直变换。

图13示出了mts_idx值分别与水平变换或垂直变换之间的映射关系表(1300)。mts_idx的值为-1的行(1301)对应于mts_flag等于0的场景，使用DCT-2变换。mts_idx的值为0、1、2或3的行(1302)至(1305)对应于mts_flag等于1的场景。在表(1300)的右侧两列中，0表示DCT-2变换类型，1表示DST-7变换类型，2表示DCT-8变换类型。

图14至17示出了DST-7变换的变换核心矩阵。图18至图21示出了DCT-8变换的变换核心矩阵。

在一些示例中，诸如在VVC中，当编码块的高度和宽度都小于或等于64时，变换大小与编码块大小相同。当编码块的高度或宽度大于64时，在进行变换(诸如逆变换、逆主变换等)或帧内预测时，将编码块进一步拆分为多个子块，其中每个子块的宽度和高度小于或等于64。可以对每个子块执行变换。

图22示出了根据本公开的一些实施例的变换单元语法的示例。在一些示例中(例如，在VVC中)，MTS的相关语法和语义可以如(2210)所示。

图23A-23C示出了根据本公开的一些实施例的残差编码语法的示例。在一些示例中(例如，在VVC中)，MTS的相关语法和语义可以如(2310)所示。

在一些实施例中，变换单元语义和残差编码语义可以指定MTS信息。在一个示例中，cu_mts_flag[x0][y0]用于指示是否应用MTS。例如，当cu_mts_flag[x0][y0]等于1时，多重变换选择被应用于相关亮度变换块的残差样本。当cu_mts_flag[x0][y0]等于0时，多重变换选择不应用于相关亮度变换块的残差样本。数组索引x0、y0指定所考虑的变换块的左上角亮度样本相对于图片左上角亮度样本的位置(x0,y0)。在一些实施例中，当cu_mts_flag[x0][y0]不存在时，cu_mts_flag[x0][y0]的值被推断为等于0。

在另一个示例中，mts_idx[x0][y0]用于指定沿当前变换块的水平和垂直方向将哪些变换内核应用于亮度残差样本。数组索引x0、y0指定所考虑的变换块的左上角亮度样本相对于图片左上角亮度样本的位置(x0,y0)。当mts_idx[x0][y0]不存在时，推断mts_idx[x0][y0]的值等于-1。

图24A示出了由编码器执行的示例性正向变换(也称为正向主变换)。在一些示例中，正向变换可以由正向水平变换和正向垂直变换来执行，因此正向变换是可分离的，分为正向水平变换和正向垂直变换。在一个示例中，正向水平变换首先应用于具有残差数据的残差块(2410)以获得变换中间块。随后，将正向垂直变换应用于变换中间块以获得具有变换系数的系数块(2412)。

图24B示出了由解码器执行的示例性反向变换(也称为逆主变换或逆变换)。通常来说，逆变换与正向变换相匹配。逆主变换可以由逆主水平变换(也称为逆水平变换)和逆主垂直变换(也称为逆垂直变换)来执行。为了匹配正向变换，在逆变换中切换了应用逆水平变换和逆垂直变换的顺序。因此，首先将逆垂直变换应用于系数块(2422)以获得逆变换中间块。随后，将逆水平变换应用于逆变换中间块以获得残差块(2420)。

通常，对于主变换，在编码器侧进行正向主变换；并且在解码器侧，执行逆主变换。当主变换是可分离的，在一个示例中，为了执行正向主变换，执行正向水平变换和正向垂直变换；为了执行逆主变换，执行逆垂直变换和逆水平变换。

图25A-25E示出了根据一些实施例的经缩放的变换系数的变换过程的示例。

在一些实施例中，可以利用主变换来执行二次变换。二次变换可以是不能分离为垂直变换和水平变换的不可分离变换。通常，使用作为水平变换和垂直变换执行的可分离变换可以捕捉水平方向和垂直方向的相关性；并且使用不可分离变换可以额外捕捉其他方向的相关性，诸如对角线方向等。不可分离变换比可分离变换包括更多的计算。

在一个实施例中，不可分离二次变换可以是依赖于模式的，并且被称为依赖于模式的不可分离二次变换(NSST)。在一些示例中，NSST可以在编码器侧的正向核心(主)变换和量化之间以及在解码器侧的去量化和逆核心(主)变换之间执行。例如，为了保持低复杂度，在主变换(或核心变换)之后对低频系数应用NSST。当变换系数块的宽度(W)和高度(H)都大于或等于8时，将8×8NSST应用于变换系数块的左上角8×8区域。否则，当变换系数块的宽度W或高度H为4时，应用4×4NSST，所述4×4NSST应用于变换系数块的左上角min(8,W)×min(8,H)区域。在一个示例中，上述变换选择方法应用于亮度和色度分量。

具体地，在一个实施例中，以下以4×4输入块为例描述NSST的矩阵乘法实现。4×4输入块X如(等式1)所示

然后，输入块X可以表示为(等式2)中的向量

其中

在一些实施例中，不可分离变换被计算为

其中

表示变换系数向量，并且T表示16×16变换矩阵。随后使用输入块X的扫描顺序(例如水平扫描顺序、垂直扫描顺序或对角线扫描顺序)将16×1变换系数向量

重组为4×4块。具有较小索引的系数可以以较小的扫描索引放置在4×4系数块中。在一些实施例中，可以使用具有蝶形实现的超立方体给定变换(HyGT)代替上述矩阵乘法以降低NSST的复杂度。

在一些实施例中，35×3不可分离二次变换可用于4×4和8×8的块大小，其中35是与帧内预测模式相关联的变换集的数量，而3是每个帧内预测模式的NSST候选的数量。

图26示出了从帧内预测模式到相应变换集的示例性映射2600。根据从帧内预测模式到变换集索引的映射2600，应用于亮度/色度变换系数的变换集由对应的亮度/色度帧内预测模式指定。对于大于34的帧内预测模式，对应于对角线预测方向，编码器/解码器分别在NSST之前/之后转置变换系数块。

对于每个变换集，可以通过显式地用信号通知的CU级NSST索引来进一步指定选择的NSST候选。CU级NSST索引在变换系数之后、在每个帧内编码CU的比特流中用信号发送，并且截断的一元二值化用于CU级NSST索引。例如，平面或DC模式(平面和DC模式被称为非角度预测模式)的截断值为2，而角度帧内预测模式的截断值为3。在一个示例中，仅当CU中存在多于一个非零系数时才用信号通知CU级NSST索引。默认值为0且不用信号通知，表示未将NSST应用于CU。值1-3中的每一个都指示要从变换集中应用哪个NSST候选。

在一些实施例中，NSST不应用于以变换跳过模式编码的块。当针对CU用信号通知CU级NSST索引并且其不等于0时，NSST不用于在CU中以变换跳过模式编码的块。当CU中块的所有分量以变换跳过模式编码或非变换跳过模式CB的非零系数的数量小于2时，不针对CU用信号通知CU级NSST索引。

图27示出了HEVC中使用的示例性的帧内预测方向及帧内预测模式。在HEVC中，共有35种帧内预测模式(模式0到模式34)。模式0和模式1为非方向模式，其中模式0为平面(planar)模式，模式1为DC模式。模式2-34为方向模式，其中模式10为水平模式，模式26为垂直模式，模式2、模式18和模式34为对角线模式。在一些示例中，帧内预测模式由三个最可能模式(MPM)和32个其余模式用信号通知。

图28示出了一些实施例(例如，VVC)中的示例性帧内预测方向和帧内预测模式。帧内预测模式共有95种(模式-14至模式80)，其中模式18为水平模式，模式50为垂直模式，模式2、模式34和模式66为对角线模式。模式-1～-14和模式67～80被称为广角帧内预测(WAIP)模式。

根据本公开的一个方面，为了编码帧内模式，建立最可能模式(MPM)列表以包括帧内预测模式的子集。在诸如HEVC的一些示例中，MPM列表包括三个最可能模式并且基于当前块的相邻块的帧内预测模式构建。MPM列表也称为主MPM列表。在这样的示例中，用信号通知MPM标志以指示当前块的帧内预测模式是否来自MPM列表。当MPM标志指示当前块的帧内预测模式来自MPM列表时，用信号通知MPM列表索引以指示当前块的MPM列表中的三种最可能模式之一。然而，当MPM标志指示当前块的帧内预测模式并非来自MPM列表时，用信号通知模式索引以为当前块指示不在MPM列表中的其他帧内模式之一。

在一些实施例中，MPM列表生成过程如下所示。

在MPM列表生成过程中，leftIntraDir表示当前块的左侧相邻块的帧内预测模式，aboveIntraDir表示当前块的上侧相邻块的帧内预测模式。如果左或上块不可用，则leftIntraDir或aboveIntraDir可以设置为DC_IDX。PLANAR_IDX、DC_IDX和VER_IDX分别表示平面模式(例如模式0)、DC模式(例如模式1)和垂直模式(例如模式26)的模式索引。此外，变量“offset”和“mod”为常数值，在一示例中分别设置为29和32。在该示例中，当左相邻块和上相邻块都具有相同的方向模式时，第一最可能模式被设置为相同的方向模式。第二和第三最可能模式被选择为最接近第一最可能模式的模式编号的两个方向模式。当左侧相邻块和上侧相邻块具有相同的非方向模式时，第一、第二和第三最可能模式分别设置为平面模式、DC模式和垂直模式。当左侧相邻块和上侧相邻块具有不同的帧内预测模式时，将第一和第二最可能模式分别设置为左侧相邻块和上侧相邻块的帧内预测模式，将第三最可能模式设置为平面模式、DC模式或垂直模式之一，取决于这三个模式中的哪一个，按此顺序，不与前两个最可能模式重复。

在一些实施例中，诸如在VTM3中，对于相邻参考行(也称为参考行0)和非相邻参考行(也称为非零参考行)，MPM列表的大小均设置为等于6。在一个示例中，MPM列表可以从相邻参考行和非相邻参考行推导。

图29示出了当前编码单元的相邻编码单元的示例。在图29中，块A表示当前编码单元的左侧相邻单元，块B表示当前编码单元的上侧相邻单元。

在一些实施例中，可以应用多行帧内预测以将更多参考行用于帧内预测，并且编码器决定并用信号通知使用哪个参考行来生成帧内预测器。在帧内预测模式之前用信号通知参考行索引，并且在非零参考行索引被用信号通知的情况下，仅允许最可能的模式。

图30示出了多个参考行的示例，诸如显示为参考行0、参考行1、参考行2及参考行3的四条参考行。每个参考行由六个片段组成，即片段A至F，连同左上角的参考样本(对于四个参考行，分别显示为S0、S1、S2和S3)。另外，片段A和F分别用片段B和E的最接近的样本填充。

在一些实施例中，对于相邻和非相邻参考行，用于推导6个MPM候选的相邻模式的位置是相同的，如图29所示。在图29中，块A和块B表示当前编码单元的上下相邻编码单元。变量candIntraPredModeA和candIntraPredModeB分别用于指示块A和B的相关帧内预测模式。在一个示例中，candIntraPredModeA和candIntraPredModeB最初设置为等于INTRA_PLANAR。当将块A(或B)标记为可用时，然后将candIntraPredModeA(或candIntraPredModeB)设置为等于块A(或B)的实际帧内预测模式。

在一些实施例中，相邻和非相邻参考行的MPM候选推导过程是不同的。对于零参考行(参考行0)，当相邻的两个模式均为平面或DC模式时，使用默认模式来构建MPM列表。例如，MPM列表中的6个候选模式中有2个是平面和DC模式，其余4个模式是角度(angular)模式(也称为角度默认模式)。对于非零参考行，当相邻的两个模式均为平面模式或DC模式时，使用6种角度默认模式来构建MPM列表。在一个示例中，MPM列表的推导过程如下所示，其中candModeList[x]表示6个MPM候选，x＝0..5，IntraLumaRefLineIdx[xCb][yCb]表示待预测的块的参考行索引，并且IntraLumaRefLineIdx[xCb][yCb]可以是0、1或3。

例如，当candIntraPredModeB等于candIntraPredModeA并且candIntraPredModeA大于INTRA_DC时，基于IntraLumaRefLineIdx[xCb][yCb]推导candModeList[x]，其中，x＝0..5。当IntraLumaRefLineIdx[xCb][yCb]等于0时，根据(等式3)-(等式8)构建候选列表：

candModeList[0]＝candIntraPredModeA (等式3)

candModeList[1]＝INTRA_PLANAR (等式4)

candModeList[2]＝INTRA_DC (等式5)

candModeList[3]＝2+((candIntraPredModeA+61)％64) (等式6)

candModeList[4]＝2+((candIntraPredModeA-1)％64) (等式7)

candModeList[5]＝2+((candIntraPredModeA+60)％64) (等式8)

否则，当IntraLumaRefLineIdx[xCb][yCb]不等于0时，根据(等式9)-(等式14)构建候选列表：

candModeList[0]＝candIntraPredModeA (等式9)

candModeList[1]＝2+((candIntraPredModeA+61)％64) (等式10)

candModeList[2]＝2+((candIntraPredModeA-1)％64) (等式11)

candModeList[3]＝2+((candIntraPredModeA+60)％64) (等式12)

candModeList[4]＝2+(candIntraPredModeA％64) (等式13)

candModeList[5]＝2+((candIntraPredModeA+59)％64) (等式14)

当candIntraPredModeB不等于candIntraPredModeA并且candIntraPredModeA或candIntraPredModeB大于INTRA_DC时，根据(等式15)和(等式16)推导两个变量minAB和maxAB：

minAB＝candModeList[(candModeList[0]>candModeList[1])？1:0] (等式15)

maxAB＝candModeList[(candModeList[0]>candModeList[1])？0:1] (等式16)

此外，当candIntraPredModeA和candIntraPredModeB都大于INTRA_DC时，可以根据(等式17)-(等式22)推导candModeList[x]，其中x＝0..1：

candModeList[0]＝candIntraPredModeA (等式17)

candModeList[1]＝candIntraPredModeB (等式18)

然后，基于IntraLumaRefLineIdx[xCb][yCb]设置其他四种候选模式。例如，当IntraLumaRefLineIdx[xCb][yCb]等于0时，两个候选模式可以设置如(等式19)和(等式20)：

candModeList[2]＝INTRA_PLANAR (等式19)

candModeList[3]＝INTRA_DC (等式20)

当maxAB-minAB在2至62的范围内(包括端点)时，最后两个候选模式可以设置如(等式21)和(等式22)：

candModeList[4]＝2+((maxAB+61)％64) (等式21)

candModeList[5]＝2+((maxAB-1)％64) (等式22)

当maxAB-minAB在2至62的范围之外时，最后两个候选模式可以设置为(等式23)和(等式24)

candModeList[4]＝2+((maxAB+60)％64) (等式23)

candModeList[5]＝2+((maxAB)％64) (等式24)

当IntraLumaRefLineIdx[xCb][yCb]不等于0时，根据maxAB和minAB之间的差设置其他四个候选模式。当maxAB-minAB等于1时，四个候选模式可以设置为(等式25)-(等式28)

candModeList[2]＝2+((minAB+61)％64) (等式25)

candModeList[3]＝2+((maxAB-1)％64) (等式26)

candModeList[4]＝2+((minAB+60)％64) (等式27)

candModeList[5]＝2+(maxAB％64) (等式28)

当maxAB-minAB等于2时，四个候选模式可以设置为(等式29)-(等式32)：

candModeList[2]＝2+((minAB-1)％64) (等式29)

candModeList[3]＝2+((minAB+61)％64) (等式30)

candModeList[4]＝2+((maxAB-1)％64) (等式31)

candModeList[5]＝2+((minAB+60)％64) (等式32)

当maxAB-minAB大于61时，四个候选模式可以设置为(等式33)-(等式36)：

candModeList[2]＝2+((minAB-1)％64) (等式33)

candModeList[3]＝2+((maxAB+61)％64) (等式34)

candModeList[4]＝2+(minAB％64) (等式35)

candModeList[5]＝2+((maxAB+60)％64) (等式36)

当maxAB-minAB大于2但小于61时，四个候选模式可被设置为(等式37)-(等式40)：

candModeList[2]＝2+((minAB+61)％64) (等式37)

candModeList[3]＝2+((minAB-1)％64) (等式38)

candModeList[4]＝2+((maxAB+61)％64) (等式39)

candModeList[5]＝2+((maxAB-1)％64) (等式40)

当candIntraPredModeA和candIntraPredModeB中的一个大于INTRA_DC)时，可以基于IntraLumaRefLineIdx[xCb][yCb]推导candModeList[x]，其中，x＝0..5。例如，当IntraLumaRefLineIdx[xCb][yCb]等于0时，可以根据(等式41)-(等式46)推导6个候选模式：

candModeList[0]＝candIntraPredModeA (等式41)

candModeList[1]＝candIntraPredModeB (等式42)

candModeList[2]＝1–minAB (等式43)

candModeList[3]＝2+((maxAB+61)％64) (等式44)

candModeList[4]＝2+((maxAB-1)％64) (等式45)

candModeList[5]＝2+((maxAB+60)％64) (等式46)

然而，当IntraLumaRefLineIdx[xCb][yCb]不等于0)时，可以根据(等式47)-(等式52)推导6种候选模式：

candModeList[0]＝maxAB (等式47)

candModeList[1]＝2+((maxAB+61)％64) (等式48)

candModeList[2]＝2+((maxAB-1)％64) (等式49)

candModeList[3]＝2+((maxAB+60)％64) (等式50)

candModeList[4]＝2+(maxAB％64) (等式51)

candModeList[5]＝2+((maxAB+59)％64) (等式52)

否则，当candIntraPredModeA和candIntraPredModeB都不大于INTRA_DC时，可以基于IntraLumaRefLineIdx[xCb][yCb]推导candModeList[x]，其中x＝0..5。例如，当IntraLumaRefLineIdx[xCb][yCb]等于0时，可以根据(等式53)-(等式58)推导6个候选模式：

candModeList[0]＝candIntraPredModeA (等式53)

candModeList[1]＝

(candModeList[0]＝＝INTRA_PLANAR)？INTRA_DC:INTRA_PLANAR (等式54)

candModeList[2]＝INTRA_ANGULAR50 (等式55)

candModeList[3]＝INTRA_ANGULAR18 (等式56)

candModeList[4]＝INTRA_ANGULAR46 (等式57)

candModeList[5]＝INTRA_ANGULAR54 (等式58)

然而，当IntraLumaRefLineIdx[xCb][yCb]不等于0时，可以根据(等式59)-(等式64)推导6个候选模式：

candModeList[0]＝INTRA_ANGULAR50 (等式59)

candModeList[1]＝INTRA_ANGULAR18 (等式60)

candModeList[2]＝INTRA_ANGULAR2 (等式61)

candModeList[3]＝INTRA_ANGULAR34 (等式62)

candModeList[4]＝INTRA_ANGULAR66 (等式63)

candModeList[5]＝INTRA_ANGULAR26 (等式64)

在一些实施例中，采用帧内子分区(ISP)编解码模式。在ISP编解码模式中，可将亮度帧内预测块垂直划分或水平划分为2个子分区或4个子分区。子分区的数目可以取决于块的大小。图31示出了取决于块大小的子分区的数目。图32示出了将一个块划分为两个子分区的场景。图33示出了将一个块划分为四个子分区的场景。在示例中，所有的子分区均满足具有至少16个样本的条件。在一示例中，ISP不应用于色度分量。

在一示例中，对于从编码块划分的子分区中的每一个子分区，通过对编码器发送的各个系数进行熵解码，然后进行反量化和反变换来生成残差信号。然后，对子分区中的第一子分区进行帧内预测，以生成预测信号。将预测信号添加到第一子分区的相应残差信号上，以获得对应的重建样本。在此之后，第一子分区的重建样本值可用于生成子分区中的第二个子分区的预测值。可以逐个子分区地重复该过程，直到编码块的所有子分区均已重建。在一示例中，所有的子分区共享同一帧内模式。

在实施例中，仅使用作为最可能模式(MPM)列表的一部分的帧内模式来测试ISP编解码模式。因此，如果一个块使用ISP，则可推断MPM标志为1。此外，当ISP用于某个块时，则修改相应的MPM列表，以排除DC模式，并对ISP水平分割优先使用水平帧内模式，对垂直分割优先使用垂直帧内模式。

在ISP编解码模式中，每个子分区均可以看作是子TU，因为每个子分区的变换和重建是分别执行的。

应当注意，所公开的技术可以用于NSST和其他合适的不可分离二次变换，诸如缩减二次变换(RST)，它是不可分离二次变换的替代设计。RST是NSST的变体，并使用变换归零方案。RST检查帧内预测模式是平面模式还是DC模式，以便对NSST的变换索引进行熵编码。

在示例中(例如，在JVET-N0193中)，应用4个变换集，并且每个变换集包括三个RST变换核心，其大小可以是16×48(或16×64)(应用于高度和宽度均大于或等于8的变换系数块)或16×16(应用于高度或宽度等于4的变换系数块)。为了表示方便，16×48(或16×64)变换表示为RST 8×8，16×16变换表示为RST 4×4。

图34示出了根据本公开的实施例中使用16×64变换核心的示例。例如，在编码器侧，16×64变换应用于部分(3410)，其是变换系数块的左上8×8区域，并且结果为16个系数。因此，在解码器侧，反RST应用于部分(3420)，其包括左上角4×4区域的16个系数。

图35示出了根据本公开的实施例中使用16×48变换核心的示例。例如，在编码器侧，16×48变换应用于部分(3510)，其包括变换系数块的左上灰色区域的3个4×4块，并且结果是16个系数。因此，在解码器侧，反RST应用于部分(3520)，其包括左上角4×4区域的16个系数。

通常，缩减变换(RT)的主要思想是将N维向量映射到不同空间中的R维向量，其中R/N(R<N)是缩减因子。

图36示出了作为R×N矩阵的RST矩阵。RST矩阵包括变换的R行，它们是N维空间的R个基。RT的反变换矩阵是正向变换的转置。

例如，可以应用具有4(1/4尺寸)缩减因子的RST8×8。对于常规的8×8不可分离变换矩阵大小，需要应用64×64变换矩阵。对于缩减变换RST8×8，使用16×64直接矩阵。换言之，在解码器侧使用64×16反RST矩阵，以在8×8左上角区域中生成核心(主)变换系数。正向RST8×8使用16×64(或8×64用于8×8块)矩阵，因此缩减变换仅在给定8×8区域内的左上角4×4区域中产生非零系数。换言之，当应用RST时，除了左上角4×4区域之外的8×8区域将只有零系数。对于RST4×4，应用16×16(或对于4×4块为8×16)直接矩阵乘法。

在一些实施例中，诸如对于RST 8×8，为了进一步缩减变换矩阵大小，不是使用整个左上角8×8系数作为计算二次变换的输入，而是使用左上角三个4×4系数作为输入用于计算二次变换。

图37A示出了16×16块(例如，主变换之后的系数块)。在一个示中，可以使用16×64变换矩阵将RST 8×8应用于左上角的8×8区域(在对角条纹中)。

图37B示出了16×16块(例如，主变换之后的系数块)。在一个示例中，可以使用16×48变换矩阵将RST 8×8应用于对角条纹中的左上角区域。

在一些实施例中，当满足某些条件时，有条件地应用反RST，诸如要求块大小大于或等于给定阈值的第一条件(例如，W>＝4&&H>＝4)以及要求变换跳过模式标志等于零的第二条件。

在一些实施例中，当变换系数块的宽度(W)和高度(H)都大于4时，则将RST8×8应用于变换系数块的左上角8×8区域。否则，将RST 4×4应用于变换系数块的左上角min(8,W)×min(8,H)区域。

在一些实施例中，使用RST索引。当RST索引等于0时，不应用RST。当RST索引不为零时，应用RST，并基于RST索引选择内核。

在一些实施例中，RST应用于切片(slice)内和切片间的内部CU，以及应用于亮度和色度。在一个示例中，当启用双树时，亮度和色度的RST索引分别用信号通知。对于切片间(禁用双树)，单个RST索引被用信号通知并用于亮度和色度。选择ISP模式时，禁用RST，并且不会用信号通知RST索引。

在一些实施例中，RST矩阵选自四个变换集，并且每个集包括两个变换。变换集的选择是基于帧内预测模式确定的。

当指示三种交叉分量线性模型(CCLM)模式中的一种时，选择变换集0。否则，根据表执行变换集选择。

图38示出了用于变换集选择的表。在图38的示例中，IntraPredMode的范围为[-14,83]，用于广角帧内预测。InPredMode对应的变换模式索引是用于广角帧内预测的变换模式索引。

以VVC Draft v5中采用的RST设计为例，RST采用4×2 16×16变换矩阵(RST 4×4)和4×2 16×48变换矩阵(RST 8×8)，变换矩阵中的每个元素用8位整数表示。因此，总共有4×2×(256+768)＝8K字节的内存用于存储变换矩阵。

不同的实现方式可以以其他标准实现。例如，在JVET-O0292和JVET-O0350中，不是两个候选，而是对于每个块只能使用并用信号通知一个候选。JVET-O0292和JVET-O0350中使用一个候选的技术被称为低频不可分离二次变换(LFNST)。

图39示出了用于确定LFSNT索引(表中的lfnstIdx)的表。在图39的示例中，在比特流中用信号通知的LFSNT索引表示为lfnstIdx，给定变换集中的所选LFNST核心索引表示为coreIdx，并且帧内预测模式表示为intraMode。

在一些实施例中，诸如在JVET-O0292和JVET-O0350中使用的，仅保留一个LFNST候选，但该方案仍支持选择当前VVC Draft 6中定义的所有LFNST候选。由于仅保留一个LFNST候选，因此减少了在编码器侧选择LFNST的负担。

此外，如果编码器放弃lfnstIdx 2以实现编码器加速，则存在显著的编码损失，因为永远无法选择第二LFNST候选。

根据本公开的一些方面，硬件处理的瓶颈可以是4×4帧内预测。为4×4TU添加LFNST会使硬件处理变得更糟。然而，4×4TU的LFNST可能不会贡献良好的编码增益。

根据本公开的一些方面，NSST对于具有定向纹理图案的视频内容最有帮助。对于非角度帧内预测模式，诸如Planar或DC，NSST的编码增益相对较低。因此，本公开提供用于二次变换索引或标志的熵编码的上下文建模技术。

所提出的方法可以单独使用或以任何顺序组合使用。此外，方法(或实施例)、编码器和解码器中的每一者可由处理电路(例如，一个或多个处理器或一个或多个集成电路)实施。在示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。在下文中，术语块可以被解释为预测块、编码块或编码单元，即CU。

在一些示例中，DST-7用作MTS候选，并且DST-4可以代替DST-7用作MTS候选。在一些示例中，DCT-8用作MTS候选，并且DCT-4可以代替DCT-8用作MTS候选。

应当注意，所公开的技术可用于NSST和其他合适的不可分离二次变换，诸如缩减二次变换(RST)，其是不可分离二次变换的替代设计(例如，如JVET-M0292或JVET-N0193中所述)，或低频不可分离二次变换(LFNST)(例如，在VVC Draft v6中采用)。

需要说明的是，在本公开中，TB是指一个颜色分量的变换系数块，TU可以包括多个具有相同坐标和大小的TB。此外，当块大小(例如，CU大小、或TU大小、或PU大小、或TB大小)小于或等于阈值时，块大小限制可参考一种或多种解释。解释包括：(1)块宽度和块高度均小于或等于阈值；(2)块区域大小(样本数)小于或等于阈值；(3)块宽度和块高度之间的最小值小于或等于阈值；(4)块宽度和块高度之间的最大值小于或等于阈值；(5)块宽度小于或等于阈值；(6)块高度小于或等于阈值；(7)块纵横比(宽对高、或高对宽)小于(或大于)或等于阈值。

根据本公开的一些方面，对NSST索引或NSST标志进行熵编码的上下文推导或二值化可以基于指示块的方向模式(诸如角度帧内预测模式)的潜在使用的比特来执行，以提高编码效率。因此，在解码器侧，在一些实施例中，当从比特流中解析出指示方向模式的潜在使用的比特时，并且在角度帧内预测模式被完全解码之前，这些比特可用于提供对NSST索引或NSST标志进行熵编码的上下文。

在一些实施例中，熵编码NSST索引或NSST标志的上下文推导或二值化取决于MPM标志和/或MPM索引。例如，当MPM标志为真时，使用角度帧内预测模式的可能性小于MPM标志为假的情况。

在一个实施例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于MPM索引的第一二进制数(bin)推导的。在一些示例中，可以使用截断的一元二值化来二值化MPM索引。例如，索引0(MPM列表中的第一个)可以使用MPM索引的第一二进制数(第一个二进制)进行编码；索引1(MPM列表中的第二个)可以使用第一二进制数和第二二进制数进行编码。一些形成MPM列表的技术倾向于将DC和/或平面模式放在MPM列表中的第一和/或第二位置。因此，MPM索引的第一二进制数和/或第二二进制数可以提供用于对二次变换进行编码的上下文。因此，在示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于MPM索引的第一二进制数和/或第二二进制数推导的。

根据本公开的另一个方面，用于对NSST索引和/或NSST标志进行熵编码的上下文推导或二值化取决于参考行索引。在一些示例中，非零参考行倾向于提供角度帧内预测模式。因此，参考行索引可以为二次变换的信息的熵编码提供上下文。

在示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于参考行索引的第一二进制数推导的。

在另一个示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于参考行索引的第二二进制数推导的。

在另一个示例中，用于熵编码NSST索引或NSST标志的上下文是基于参考行索引的第一二进制数和/或第二二进制数推导的。

根据本公开的一个方面，用于对NSST索引和/或NSST标志进行熵编码的上下文推导或二值化取决于ISP分区索引(是水平分区还是垂直分区，是水平分区还是垂直分区)。因此，ISP分区索引可以为二次变换的信息的熵编码提供上下文。

在示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于ISP分区索引的第一二进制数推导的。

在另一个示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于ISP分区索引的第二二进制数推导的。

在另一个示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于ISP分区索引的第一二进制数和/或第二二进制数推导的。

在一些实施例中，对于帧内模式编码，发信号通知标志，该标志(表示为intra_ang_flag)指示是否应用角度模式。当不使用角度模式时，用信号通知另一个标志，该标志(表示为intra_planar_flag)指示是否应用平面或DC。然后，诸如intra_ang_flag和/或intra_planar_flag等标志可以为二次变换信息的熵编码提供上下文。因此，对NSST索引或NSST标志进行熵编码的上下文推导或二值化可以依赖于这些标志。

在示例中，用于对NSST索引或NSST标志进行熵编码的上下文仅基于intra_planar_flag推导。

在另一示例中，用于对NSST索引或NSST标志进行熵编码的上下文仅基于intra_ang_flag推导。

在另一个示例中，用于对NSST索引或NSST标志进行熵编码的上下文是基于intra_ang_flag和intra_planar_flag两者推导的。

根据本公开的一些方面，可以针对小于某个阈值的TU大小禁用诸如LFNST的二次变换。

在一些实施例中，对于4×4TU大小，禁用LFNST。在一个实施例中，对于4×4亮度TU，禁用LFNST。在另一个实施例中，对于4×4色度TU，禁用LFNST。在另一个实施例中，对于4×4亮度TU和4×4色度TU，都禁用LFNST。

在一些实施例中，对于4×4、4×8和8×4TU大小，禁用LFNST。在一个实施例中，对于4×4、4×8和8×4亮度TU，禁用LFNST。在另一个实施例中，对于4×4、4×8和8×4色度TU，禁用LFNST。在另一个实施例中，对于4×4、4×8和8×4亮度TU和4×4、4×8和8×4色度TU，都禁用LFNST。

在一些实施例中，用信号通知一个LFNST索引以供多个颜色分量使用(例如，用信号通知一个LFNST索引用于Y、Cb和Cr)。对于颜色分量中的每一个，当关联的TB大小小于或等于给定阈值时，该TB的相关系数对LFNST索引信令没有影响。换言之，LFNST索引信令不考虑大小小于或等于给定阈值的任何TB的系数(例如，DC系数是否为非零、最后位置值)。

在一些实施例中，用信号通知一个LFNST索引以供多个颜色分量使用(例如，用信号通知一个LFNST索引用于Y、Cb和Cr)。对于颜色分量中的每一个，当关联的TB大小小于或等于给定阈值使得该TB不能应用LFNST时，LFNST索引信令仍然考虑大小小于或等于给定阈值的该TB的系数(例如，DC系数是否非零、最后位置值)。应当注意，在一些实施例中，阈值可以是4或8。

图40示出了概述根据本公开的实施例的过程(4000)的流程图。过程(4000)可以用于块的重建，从而为重建中的块生成预测块。在各个实施例中，过程(4000)由处理电路执行，诸如终端设备(110)、(120)、(130)和(140)中的处理电路、执行视频编码器(203)功能的处理电路、执行视频解码器(210)功能的处理电路、执行视频解码器(310)功能的处理电路、执行视频编码器(403)功能的处理电路等。在一些实施例中，过程(4000)以软件指令实现，因此，当处理电路执行软件指令时，处理电路执行过程(4000)。处理从(S4001)开始，并且进行到(S4010)。

在(S4010)处，接收比特流。比特流包括与编码图片中块的残差相对应的比特。例如，在编码器处，计算预测块相对于原始块的残差，并对残差应用变换以生成系数。系数被熵编码为比特，因此比特对应于块的残差。该比特包含在编码器侧的比特流中。

在(S4020)处，比特流被解析以提取指示块的角度预测的潜在使用的至少一个比特。举例来说，当该比特为“1”时，对于块，使用角度预测比使用非角度预测的概率更高；当该比特为“0”时，对于块，使用角度预测比使用非角度预测的概率要低。在一个示例中，提取MPM标志或MPM索引的二进制数。在另一个示例中，提取参考行索引。在另一个示例中，提取ISP分区索引。在另一个示例中，提取指示角度模式的应用的标志。在另一个示例中，提取指示是应用平面模式还是DC模式的标志。

在(S4030)处，基于指示块的角度预测的潜在使用的至少一个比特来确定用于对二次变换的信息进行编码的上下文。在一些实施例中，诸如NSST之类的二次变换被应用于具有方向性纹理图案，诸如具有角度帧内预测模式，的视频内容。对NSST的信息，例如NSST标志、NSST索引等，熵编码的二值化基于可以从指示块的角度预测的潜在使用的比特推导的上下文模型。

在(S4040)处，使用基于上下文解码的二次变换信息，解码与块的残差对应的比特。可以确定残差。例如，可以基于上下文对二次变换信息进行解码，并且可以基于二次变换信息执行二次逆变换。此外，可以执行主逆变换来计算残差。可以将残差与预测相加以重建块。过程进行到(S4099)并结束。

上文所描述的技术可使用计算机可读指令实施为计算机软件且以物理方式存储在一个或多个计算机可读存储介质中。举例来说，图41示出适于实施所公开主题的某些实施例的计算机系统(4100)。

所述计算机软件可使用任何合适的机器代码或计算机语言来编码，所述机器代码或计算机语言可经受汇编、编译、链接或类似机制以创建包括指令的代码，所述指令可直接或通过解译、微码执行等而由一个或多个计算机中央处理单元(central processingunit，CPU)、图形处理单元(Graphics Processing Unit，GPU)等执行。

可在各种类型的计算机或计算机组件上执行所述指令，所述计算机或计算机组件包括例如个人计算机、平板电脑、服务器、智能电话、游戏装置、物联网装置等。

图41中所示的用于计算机系统(4100)的组件在本质上是示范性的，并非旨在暗示关于实施本申请实施例的计算机软件的使用或功能的范围的任何限制。也不应将组件的配置解释为对计算机系统(4100)的示范性实施例中所示的组件中的任一个组件或组件组合有任何依赖或需求。

计算机系统(4100)可包括某些人机接口输入装置。此类人机接口输入装置可响应于一个或多个人类用户通过例如触觉输入(例如：按键、滑动、数据手套移动)、音频输入(例如：语音、拍击)、视觉输入(例如：手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可用于捕获未必与人的有意识输入直接相关的某些媒体，例如音频(例如：话语、音乐、环境声)、图像(例如：扫描图像、从静态图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

输入人机接口装置可包括以下一个或多个(每种仅描绘一个)：键盘(4101)、鼠标(4102)、轨迹垫(4103)、触摸屏(4110)、数据手套(未示出)、操纵杆(4105)、麦克风(4106)、扫描仪(4107)、相机(4108)。

计算机系统(4100)还可包括某些人机接口输出装置。此类人机接口输出装置可通过例如触觉输出、声音、光和气味/味道刺激一个或多个人类用户的感觉。此类人机接口输出装置可包括触觉输出装置(例如触摸屏(4110)、数据手套(未示出)或操纵杆(4105)的触觉反馈，但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如：扬声器(4109)、头戴式耳机(未描绘))、视觉输出装置(例如屏幕(4110)，包括CRT屏幕、LCD屏幕、等离子体屏幕、OLED屏幕，各自具有或不具有触摸屏输入能力，各自具有或不具有触觉反馈能力--其中的一些能够通过例如立体平画输出的方式输出二维视觉输出或大于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘))，以及打印机(未描绘)。

计算机系统(4100)还可包括人类可访问的存储装置和存储装置的相关联介质，例如光学介质，包括具有CD/DVD等介质(4121)的CD/DVD ROM/RW(4120)、拇指驱动器(4122)、可移动硬盘驱动器或固态驱动器(4123)、磁带和软盘(未描绘)等旧版磁性媒体、基于ROM/ASIC/PLD的专用装置，例如安全保护装置(未描绘)，等等。

所属领域的技术人员还应理解，结合当前公开的主题使用的术语“计算机可读介质”并未涵盖传输介质、载波或其它瞬时信号。

计算机系统(4100)还可包括到一个或多个通信网络的接口。网络可例如是无线的、有线的、光学的。网络还可以是本地的、广域的、城域的、车载和工业的、实时的、容忍延迟的等等。网络的实例包括例如以太网、无线LAN的局域网、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线TV、卫星TV和地面广播TV的TV有线或无线广域数字网络、包括CAN总线的车载网络和工业网络等。某些网络通常需要附接到某些通用数据端口或外围总线(4149)(例如，计算机系统(4100)的USB端口)的外部网络接口适配器；其它网络通常通过附接到如下文所描述的系统总线而集成到计算机系统(4100)的核心中(例如通过以太网接口集成到PC计算机系统中，或通过蜂窝网络接口集成到智能电话计算机系统中)。通过使用这些网络中的任一网络，计算机系统(4100)可与其它实体通信。此类通信可以是仅单向接收(例如广播TV)、仅单向发送(例如连到某些CAN总线装置的CAN总线)或是双向的，例如使用局域数字网络或广域数字网络连接到其它计算机系统。可在如上文所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。

上述人机接口装置、人类可访问存储装置和网络接口可附接到计算机系统(4100)的核心(4140)。

核心(4140)可包括一个或多个中央处理单元(CPU)(4141)、图形处理单元(GPU)(4142)、现场可编程门区域(Field Programmable Gate Areas，FPGA)形式的专用可编程处理单元(4143)、用于某些任务的硬件加速器(4144)等等。这些装置连同只读存储器(read-only memory，ROM)(4145)、随机存取存储器(4146)、例如内部非用户可访问的硬盘驱动器、SSD等内部大容量存储装置(4147)可通过系统总线(4148)连接。在一些计算机系统中，系统总线(4148)可通过一个或多个物理插头形式访问以实现通过额外CPU、GPU等来扩展。外围装置可直接或通过外围总线(4149)附接到核心的系统总线(1648)。用于外围总线的架构包括PCI、USB等等。

CPU(1641)、GPU(1642)、FPGA(1643)和加速器(1644)可执行某些指令，所述指令组合起来可构成上述计算机代码。计算机代码可存储在ROM(1645)或RAM(1646)中。过渡数据也可存储在RAM(1646)中，而永久性数据可例如存储在内部大容量存储装置(1647)中。可通过使用高速缓冲存储器来实现对任一存储器装置的快速存储和检索，所述高速缓冲存储器可与一个或多个CPU(1641)、GPU(1642)、大容量存储装置(1647)、ROM(1645)、RAM(1646)等紧密关联。

计算机可读介质上可具有用于执行各种计算机实施的操作的计算机代码。所述介质和计算机代码可以是专为本申请的目的设计和构建的介质和计算机代码，或可属于计算机软件领域中的技术人员众所周知且可用的种类。

举例来说但不作为限制，具有架构(1600)且尤其是核心(1640)的计算机系统可提供因处理器(包括CPU、GPU、FPGA、加速器等)执行以一个或多个有形计算机可读介质体现的软件而产生的功能。此类计算机可读介质可以是与上文所介绍的用户可访问大容量存储装置以及核心(1640)的非易失性质的某些存储装置(例如核心内部大容量存储装置(1647)或ROM(1645))相关联的介质。实施本申请的各种实施例的软件可存储在此类装置中且由核心(1640)执行。根据特定需求，计算机可读介质可包括一个或多个存储器装置或芯片。软件可使核心(1640)且具体地说使其中的处理器(包括CPU、GPU、FPGA等等)执行本文中所描述的特定过程或特定过程的特定部分，包括限定存储在RAM(1646)中的数据结构以及根据由软件限定的过程修改此类数据结构。另外或作为替代方案，计算机系统可提供由硬连线的或以其它方式体现于电路(例如：加速器(1644))中的逻辑所产生的功能，所述逻辑可代替或连同软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时，对软件的引用可涵盖逻辑，且反之亦然。适当时，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或这两种电路。本申请涵盖硬件与软件的任何合适的组合。

附录A：缩略词

JEM:joint exploration model，联合开发模型

VVC:versatile video coding，多功能视频编码

BMS:benchmark set，基准集合

MV:Motion Vector，运动矢量

HEVC:High Efficiency Video Coding，高效视频编码

SEI:Supplementary Enhancement Information，辅助增强信息

VUI:Video Usability Information，视频可用性信息

GOPs:Groups of Pictures，图片群组

TUs:Transform Units，变换单元

PUs:Prediction Units，预测单元

CTUs:Coding Tree Units，编码树单元

CTBs:Coding Tree Blocks，编码树块

PBs:Prediction Blocks，预测块

HRD:Hypothetical Reference Decoder，假想参考解码器

SNR:Signal Noise Ratio，信噪比

CPUs:Central Processing Units，中央处理单元

GPUs:Graphics Processing Units，图形处理单元

CRT:Cathode Ray Tube，阴极射线管

LCD:Liquid-Crystal Display，液晶显示器

OLED:Organic Light-Emitting Diode，有机发光二极管

CD:Compact Disc，光盘

DVD:Digital Video Disc，数字视频光盘

ROM:Read-Only Memory，只读存储器

RAM:Random Access Memory，随机存取存储器

ASIC:Application-Specific Integrated Circuit，专用集成电路

PLD:Programmable Logic Device，可编程逻辑设备

LAN:Local Area Network，局域网

GSM:Global System for Mobile communications，全球移动通信系统

LTE:Long-Term Evolution，长期演进

CANBus:Controller Area Network Bus，控制器局域网络总线

USB:Universal Serial Bus，通用串行总线

PCI:Peripheral Component Interconnect，外围设备互连

FPGA:Field Programmable Gate Areas，现场可编程门阵列

SSD:solid-state drive，固态驱动器

IC:Integrated Circuit，集成电路

CU:Coding Unit，编码单元

尽管本申请描述了若干示范性实施例，但在本申请的范围内，可以有各种改动、排列组合方式以及各种替代等同物。因此，应该理解，在申请的精神和范围内，本领域技术人员能够设计出各种虽未在本文明确示出或描述、但可以体现本申请的原理的系统和方法。

Claims (20)

1.一种在视频解码器中进行视频解码的方法，其特征在于，包括：

处理器接收比特流，所述比特流包括与编码图片中的块的残差相对应的比特；

所述处理器解析所述比特流，以提取指示所述块的角度预测的潜在使用的至少一个比特；

基于指示所述块的所述角度预测的潜在使用的所述至少一个比特，所述处理器确定用于对二次变换的信息进行编码的上下文；以及

使用基于所述上下文解码的所述二次变换的信息，所述处理器对与所述块的所述残差相对应的所述比特进行解码。

2.根据权利要求1所述的方法，进一步包括：

所述处理器解析所述比特流，以提取最可能模式MPM的标志和MPM的索引中的至少一个。

3.根据权利要求1所述的方法，进一步包括：

基于指示所述块的所述角度预测的潜在使用的所述至少一个比特，所述处理器确定用于对所述二次变换的标志和所述二次变换的索引中的至少一个进行编码的所述上下文。

4.根据权利要求1所述的方法，进一步包括：

所述处理器解析所述比特流以提取最可能模式MPM的索引；以及

基于所述MPM的索引的第一二进制数和第二二进制数中的至少一个，所述处理器确定用于对所述二次变换的信息进行编码的所述上下文。

5.根据权利要求1所述的方法，进一步包括：

所述处理器解析所述比特流以提取所述块的参考行的索引；以及

基于所述块的所述参考行的索引的第一二进制数和第二二进制数中的至少一个，所述处理器确定用于对所述二次变换的信息进行编码的所述上下文。

6.根据权利要求1所述的方法，进一步包括：

所述处理器解析所述比特流以提取所述块的帧内子分区的索引；以及

基于所述块的所述帧内子分区的索引的第一二进制数和第二二进制数中的至少一个，所述处理器确定用于对所述二次变换的信息进行编码的上下文。

7.根据权利要求1所述的方法，进一步包括：

所述处理器解析所述比特流以提取第一标志，所述第一标志指示角度模式是否被应用于所述块的预测；以及

基于所述第一标志，所述处理器确定用于对所述二次变换的信息进行编码的所述上下文。

8.根据权利要求7所述的方法，进一步包括：

当所述第一标志指示角度模式不被应用于所述块的所述预测时，所述处理器解析所述比特流以提取指示第二标志，所述第二标志指示平面模式或DC模式是否被应用于所述块的预测；以及

基于所述第二标志，所述处理器确定用于对所述二次变换的信息进行编码的所述上下文。

9.根据权利要求1所述的方法，进一步包括：

当所述块的大小小于阈值时，所述处理器禁用所述二次变换。

10.一种视频解码装置，其特征在于，包括：

处理电路，其被配置为：

接收比特流，所述比特流包括与编码图片中块的残差相对应的比特；

解析所述比特流，以提取指示所述块的角度预测的潜在使用的至少一个比特；

基于指示所述块的所述角度预测的所述潜在使用的所述至少一个比特，确定用于对二次变换的信息进行编码的上下文；以及

使用基于所述上下文解码的所述二次变换的信息，对与所述块的所述残差对应的所述比特进行解码。

11.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

解析所述比特流以提取最可能模式MPM的标志和MPM的索引中的至少一个。

12.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

基于指示所述块的所述角度预测的所述潜在使用的所述至少一个比特，确定用于对所述二次变换的标志和所述二次变换的索引中的至少一个进行编码的所述上下文。

13.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

解析所述比特流以提取最可能模式MPM的索引；以及

基于所述MPM的索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

14.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

解析所述比特流以提取所述块的参考行的索引；以及

基于所述块的所述参考行的所述索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

15.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

解析所述比特流以提取所述块的帧内子分区的索引；以及

基于所述块的所述帧内子分区的所述索引的第一二进制数和第二二进制数中的至少一个，确定用于对所述二次变换的信息进行编码的所述上下文。

16.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

解析所述比特流以提取第一标志，所述第一标志指示角度模式是否被应用于所述块的预测；以及

根据所述第一标志，确定用于对所述二次变换的信息进行编码的所述上下文。

17.根据权利要求16所述的装置，其中，所述处理电路进一步被配置为：

在所述第一标志指示角度模式不被应用于所述块的所述预测时，解析所述比特流以提取第二标志，所述第二标志指示平面模式或DC模式是否被应用于所述块的所述预测；以及

基于所述第二标志，确定用于对所述二次变换的信息进行编码的所述上下文。

18.根据权利要求10所述的装置，其中，所述处理电路进一步被配置为：

当所述块的大小小于阈值时，禁用所述二次变换。

19.一种存储指令的易失性计算机可读介质，其特征在于，当由计算机执行以进行视频解码时使所述计算机执行：

接收比特流，所述比特流包括与编码图片中块的残差相对应的比特；

解析所述比特流，以提取指示所述块的角度预测的潜在使用的至少一个比特；

基于指示所述块的所述角度预测的潜在使用的所述至少一个比特，确定用于对二次变换的信息进行编码的上下文；以及

使用基于所述上下文解码的所述二次变换的信息，对与所述块的所述残差相对应的所述比特进行解码。

20.根据权利要求19所述的非易失性计算机可读介质，其中，所述指令使所述计算机执行：

基于指示所述块的所述角度预测的所述潜在使用的所述至少一个比特，来确定用于对所述二次变换的标志和用于所述二次变换的索引中的至少一个进行编码的上下文。

Images