CN117616750A - 基于模板的帧内模式推导 - Google Patents

Abstract

在特定实施方案中，视频编码或解码可使用解码器侧帧内模式推导(DIMD)。基于与块相邻的模板区域中的多个重建样本选择帧内编码模式，并且基于该选择的帧内编码模式用帧内预测来预测该块中的该样本。通过针对从重建的参考样本集预测该模板区域的成本(例如，失真)测试多个候选帧内编码模式，可选择该帧内编码模式。在一个示例中，使用用于帧内预测当前块的相同参考样本预测该模板区域。该模板区域的形状和大小还可取决于该候选帧内模式。该多个候选帧内编码模式可以是方向模式的全部或子集，或者MPM模式的全部或子集。

Description

基于模板的帧内模式推导

技术领域

本实施方案总体上涉及用于视频编码和解码中基于模板的帧内预测的方法和装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用图片内或图片间相关性，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

根据实施方案，提供了一种视频编码或解码的方法，该方法包括：对于多个候选帧内编码模式中的每一个候选帧内编码模式，使用相应候选帧内编码模式和参考样本集，获得与图片块相邻的模板区域的预测；确定使用所述相应候选帧内编码模式预测所述模板区域的成本；基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；以及基于所选择的帧内编码模式和所述参考样本集，用帧内预测来预测所述块中的样本。

根据另一实施方案，提供了一种视频编码或解码的方法，该方法包括：对于多个候选帧内编码模式中的每一个候选帧内编码模式，基于相应候选帧内编码模式，获得与图片块相邻的模板区域；基于所述相应候选帧内编码模式，获得所述模板区域的预测；确定使用所述相应候选帧内编码模式预测所述模板区域的成本；基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；以及基于所选择的帧内编码模式，用帧内预测来预测所述块中的样本。

根据另一实施方案，提出了一种用于视频编码或解码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：对于多个候选帧内编码模式中的每一个候选帧内编码模式，使用相应候选帧内编码模式和参考样本集，获得与图片块相邻的模板区域的预测；确定使用所述相应候选帧内编码模式预测所述模板区域的成本；基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；基于所选择的帧内编码模式和所述参考样本集，用帧内预测来预测所述块中的样本。

根据另一实施方案，提出了一种用于视频编码或解码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：对于多个候选帧内编码模式中的每一个候选帧内编码模式，基于相应候选帧内编码模式，获得与图片块相邻的模板区域；基于所述相应候选帧内编码模式，获得所述模板区域的预测；确定使用所述相应候选帧内编码模式预测所述模板区域的成本；基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；基于所选择的帧内编码模式，用帧内预测来预测所述块中的样本。

一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案中的编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对视频数据进行编码或解码的指令。

一个或多个本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于传输或接收根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了其中可实现本发明实施方案的各方面的系统的框图。

图2示出了视频编码器的实施方案的框图。

图3示出了视频解码器的实施方案的框图。

图4A示出了HEVC中的帧内预测方向，并且图4B示出了VVC中的帧内预测方向。

图5示出了用于帧内预测的参考样本。坐标(x,y)处的像素值由P(x,y)指示。

图6示出了广角帧内预测。

图7示出了平面模式。

图8示出了用于对帧内模式块解码的过程。

图9示出了基于模板的帧内模式推导。

图10示出了现有技术的DIMD过程。

图11A示出了93帧内预测方向，并且图11B示出了帧内预测方向取决于(predIntraMode,intraPredAngle)的值。

图12A和图12B示出了用于构建帧内预测的参考样本值的列表取决于(predIntraMode,intraPredAngle)的值。

图13示出了根据实施方案的模板取决于帧内预测模式的DIMD过程。

图14A和图14B示出了根据实施方案的从常规参考样本(refIdx＝0)构建模板的预测样本。

图15A和图15B示出了根据实施方案的从常规参考样本(refIdx>0)构建模板的预测样本。

具体实施方式

图1示出了其中可实现各种方面和实施方案的系统的示例的框图。系统100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统100的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他系统或其他电子设备。在各种实施方案中，系统100被配置为实现本申请所述的方面的一个或多个方面。

系统100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。系统100包括存储设备140，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。

系统100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块130可被实现为系统100的独立元件，或可被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器110或编码器/解码器130上以执行本申请中所述的各个方面的程序代码可存储在存储设备140中，并且随后加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可在本申请中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在若干实施方案中，处理器110和/或编码器/解码器模块130内部的存储器用于存储指令并提供工作存储器以用于在编码或解码期间进行需要的处理。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC。

对系统100的元件的输入可通过如块105中所指示的各种输入设备来提供。此类输入设备包括但不限于：(i)接收例如由广播器通过无线电传输的RF信号的RF部分；(ii)复合输入端子；(iii)USB输入端子和/或(iv)HDMI输入端子。

在各种实施方案中，块105的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，RF部分可与适于以下项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调经下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统100连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理器110内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器110内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器110和编码器/解码器130，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统100的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间传输数据。

系统100包括通信接口150，该通信接口允许经由通信信道190与其他设备的通信。通信接口150可包括但不限于被配置为通过通信信道190传输和接收数据的收发器。通信接口150可包括但不限于调制解调器或网卡，并且通信信道190可在有线和/或无线介质等内实现。

在各种实施方案中，使用Wi-Fi网络诸如IEEE 802将数据流式传输到系统100。11.这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道190和通信接口150接收。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其他OTT通信。其他实施方案使用机顶盒向系统100提供流式传输的数据，该机顶盒通过输入块105的HDMI连接来递送数据。还有其他实施方案使用输入块105的RF连接向系统100提供流式传输的数据。

系统100可向各种输出设备(包括显示器165、扬声器175和其他外围设备185)提供输出信号。在实施方案的各种示例中，其它外围设备185包括以下中的一者或多者：独立DVR、磁盘播放器、立体音响系统、照明系统和基于系统100的输出提供功能的其它设备。在各种实施方案中，使用信令诸如AV在系统100与显示器165、扬声器175或其他外围设备185之间传送控制信号。链路、CEC或能够在有或没有用户干涉的情况下实现设备到设备控制的其他通信协议。这些输出设备可通过相应接口160、接口170和接口180经由专用连接通信地耦接到系统100。另选地，输出设备可使用通信信道190经由通信接口150连接到系统100。显示器165和扬声器175可与电子设备(例如，电视机)中的系统100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如，定时控制器(T Con)芯片。

另选地，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可与其他部件中的一个或多个部件分开。在显示器165和扬声器175为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

图2示出了示例性视频编码器200，诸如VVC(通用视频编码)编码器。图2还可以示出其中对VVC标准进行改进的编码器或采用类似于VVC的技术的编码器。

在本申请中，术语“重建”和“解码”可以互换使用，术语“已编码”或“代码化(coded)”可以互换使用，并且术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。

在经过编码之前，视频序列可经过预编码处理(201)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器200中，如下所述，图片由编码器元件进行编码。待编码的图片在例如CU的单元中分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(260)。在帧间模式中，执行运动估计(275)和补偿(270)。编码器决定(205)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如，预测模式标志来指示帧内/帧间决策。例如，通过从初始图像块减去(210)预测块来计算预测残差。

然后，对预测残差进行变换(225)和量化(230)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和预测块，重建了图像块。将环内滤波器(265)应用于重建的图片以执行例如，解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。滤波的图像存储在参考图片缓冲器(280)处。

图3示出了示例性视频解码器300的框图。在解码器300中，比特流由解码器元件解码，如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先，对比特流进行熵解码(330)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和预测块，重建图像块。可从帧内预测(360)或运动补偿的预测(即，帧间预测)(375)获得(370)预测块。将环内滤波器(365)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(380)处。

经解码的图片还可经过解码后处理(385)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码处理(201)中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

如上所述，帧内预测允许从邻近的重建样本(参考样本)预测当前块。经常地，平面和DC预测模式用于预测平滑且逐渐变化的区域，而角度预测模式用于捕获不同的方向结构。HEVC支持从2到34索引的33个方向预测模式；VVC支持从2到66索引的65个方向预测模式。这些预测模式对应于如图4A(针对HEVC)及图4B(针对VVC)中所示的不同预测方向。

HEVC和VVC中的帧内预测处理由三个步骤组成：

·参考样本生成、

·帧内样本预测以及

·预测样本的后处理。

参考样本生成过程在图5中示出。参考样本集形成L形。对于大小为NxN的预测单元(PU)，顶部的一行(2N+refIdx)解码的样本以及一列(2N+refIdx)解码的样本分别从先前重建的顶部和右上方以及左侧和底部左侧像素形成，其中(refIdx+1)指示参考样本行与当前PU的顶部行之间的垂直距离(以像素数量计)，(refIdx+1)还表示参考样本列与当前PU的样本的最左侧列之间的水平距离(以像素数量计)。在VVC中，可使用多参考线(MRL)，并且样本的参考行和列可具有到当前块的多于一个样本的距离(d＝refIdx+1)，如图5中所描绘。

左上方位置处的角像素也用于填充顶部行和左列参考之间的间隙。如果顶部或左侧的一些样本不可用，因为对应CU不在相同切片中或者当前CU在帧边界处等，然后执行参考样本替代的方法，其中缺失的样本按顺时针方向从可用样本复制。然后，根据当前CU大小和预测模式，使用指定的滤波器对参考样本进行滤波。

帧内样本预测包括基于参考样本预测目标CU的像素。存在不同的预测模式。经常地，平面和DC预测模式用于预测平滑且逐渐变化的区域，而角度(按顺时针方向从45度到135度限定的角度)预测模式用于捕获不同的方向结构。对于正方形块，HEVC支持从2到34索引的33个方向预测模式。这些预测模式对应于如图4A所示的不同预测方向。在VVC中，有65个角度预测模式，对应于在HEVC中限定的33个角度方向，并且还有32个方向，每个方向对应于相邻对之间的中间方向(图4B)。

在VVC中，对于非正方形块，用附加广角帧内预测模式替换不允许的常规方向帧内预测，如图6中所示。

对于给定角度预测模式，参考阵列上的预测器样本沿着目标PU内部的对应方向被复制。一些预测器样本可以具有积分位置，在这种情况下，它们与对应的参考样本匹配；其他预测器的位置将具有指示它们的位置将落在两个参考样本之间的分数部分。在后一种情况下，预测器样本使用最近的参考样本内插。在HEVC中，执行两个最近的参考样本的线性内插以计算预测器样本值；在VVC中，为了内插预测器样本，使用根据帧内模式方向选择的4抽头滤波器fT[]。

除方向模式以外，DC模式用L形的样本的平均值填充预测(除了使用较长边的参考样本的平均值的矩形CU之外)，并且平面模式在空间上内插参考样本，如图7中所描绘。

帧内模式编码

为了更好的压缩，可从六个最可能模式(MPM)的列表预测帧内模式。在如图8所示的示例中，基于重建的左侧和重建的上方邻近块(如果以帧内编码)的帧内模式以及默认帧内模式构造(810)MPM列表。如果模式为MPM中的一个MPM，则其索引用CABAC解码(820)，否则模式为61个非MPM模式中的一个非MPM模式，并且使用了截断二进制码(TBC)。在推导帧内预测模式(830)之后，可以相应地对块解码(840)。

使用MPM(TIMD或DIMD)的基于模板的帧内模式推导

图9和图10中描绘了解码器侧帧内模式推导(DIMD)方法。DIMD允许推导或更新MPM的列表。在DIMD中，不是显式地用信号通知帧内模式，而是在编码器和解码器两者处从当前块的邻近重建样本推导信息。模板(920，由图9中的阴影区域指示)指定了用于推导帧内模式的已重建样本集。模板大小表示为延伸到目标块的上方和左侧的模板内的样本的数量，即L1和L2。当该块为正方形时，L1可以等于L2，即，L1＝L2＝L。例如，模板大小为2(即，L＝2)用于4x4和8x8块，并且模板大小为4(即，L＝4)用于16x16块和更大的块。模板的参考(910，由图9中的虚线区域指示)是指来自模板的上方和左侧的邻近样本集。

如图10所示，对于每个(角度)帧内预测模式(或其子集)，编码器或解码器获得(1010)参考样本(910)和模板的重建样本(920)。对于模板中的样本(920,P(x,y))，例如使用与常规帧内预测样本构建相同的过程从模板的参考样本(910)获得(1020)预测样本(T(x,y))。然后，编码器或解码器计算(1030)重建的模板样本P(x,y)与其预测样本T(x,y)之间的失真(例如，绝对差SAD)。选择产生K个最小失真的K个帧内预测模式为K个MPM(1040)。如果K等于1，则选择有最小SAD的帧内模式作为当前块的最终帧内预测模式。

在变型中，用附加的邻近帧内模式(如果不存在于列表中)以及用其它非角度模式(例如，DC、平面)更新MPM列表。在另一变型中，标志以比特流编码以指示是使用DIMD方法还是使用常规方法对帧内预测模式编码。在Y.Wang等人的标题为“EE2相关：使用MPM的基于模板的帧内模式推导(EE2-related：Template-based intra mode derivation using MPM)”(文档JVET-V0098，第22次开会，远程会议，2021年4月20日至28日)的文章中描述的工作中，当DIMD标志为真时，仅针对常规MPM模式计算SAD，并且选择有最小SAD的模式。如果DIMD标志为假，则使用常规MPM索引编码。

帧内子分区

帧内子分区(ISP)根据块大小将帧内预测亮度块垂直地或水平地划分成两个或四个子分区。对于每个子分区，通过将残差信号添加到预测信号获得重建样本。在此，通过诸如熵解码、逆量化、逆变换的过程生成残差信号。因此，每个子分区的重建样本值可用于生成下一个子分区的预测，并且重复处理每个子分区。另外，待处理的第一子分区是包含CU的左上样本并且然后向下(水平分裂)或向右(垂直分裂)继续的子分区。结果，用于生成子分区预测信号的参考样本仅位于子分区的左侧和上侧。所有子分区共享相同的帧内模式。

当前DIMD有一些缺点和限制。例如，参考样本可相对远离(距离＝L)当前块，这可对应于不同于当前块的区域。另外，MIMD所使用的参考样本与用于构建对当前块的最终帧内预测的参考样本不同。

用于在VVC中构建帧内预测的参考样本

图11A示出了VVC中的93个预测方向，其中虚线方向与仅应用于非正方形块的广角模式相关联。图11B指定了(predModeIntra)与角度参数(intraPredAngle)之间的映射表。如图12所示，对于VVC，用于构建帧内预测的参考样本集取决于(predIntraMode，intraPredAngle)的值。

在下文中，我们考虑MIMD与所有常规(方向模式，或方向模式加上DC和平面模式)帧内模式或帧内模式的子集“G”一起使用。例如，G可以是常规MPM、常规MPM的子集/超集或预定义帧内模式集。有最小SAD的K个模式(K≤G)将允许构建MPM列表，并且对MPM索引编码以指示要用于当前CU的MPM帧内模式。在示例中，K＝1并且不对MPM索引编码。

可能地，DIMD标志为每CU编码以指示是否使用DIMD方法。将DIMD与帧内模式的缩减集一起使用(例如，DIMD与常规MPM模式一起使用，或与扩展的MPM列表一起使用，或与方向的任意缩减集一起使用)允许降低解码器侧复杂性。

在实施方案中，如果启用DIMD，则不对MRL refIdx编码而是推断为零，并且不对ISP标志编码并且推断为零。

在实施方案中，如果一起启用DIMD和ISP，则确定帧内模式用于第一子分区并且对于其他子分区是相同的。在另一实施方案中，使用DIMD连续地推导用于所有ISP子分区的帧内模式。

模板取决于帧内模式

在现有的DIMD中，模板由两个区域T1和T2组成，如图9所示，分别对应于大小为(CU_H×L1)和(CU_W×L2)的左侧模板和顶部模板，其中CU_H和CU_W分别是CU的高度和宽度。

在一个实施方案中，如图13所示，修改用于推导如图10所示的MPM列表的DIMD过程，使得取决于帧内预测模式(1320)的值，模板由T1、T2或(T1+T2)组成。例如，如果帧内预测模式对应于仅使用顶部参考样本的垂直方向(角度<阈值，例如-45度，或predIntraMode>50)，则模板设置为T2。如果帧内预测模式对应于仅使用左侧参考样本的水平方向(角度>0度或predIntraMode<18)，则模板设置为T1。在其它情况下，模板等于T1+T2。

在另一示例中，取决于相对于当前CU的MPM候选位置，模板由T1、T2或(T1+T2)组成。例如，如果MPM候选来自顶部CU，则使用T2。如果MPM候选来自左侧CU，则使用T1。在其它情况下，使用T1+T2或使用基于predIntraMode值的先前方法。

在另一示例中，编码器或解码器推导对应于分别用T1、T2和(T1+T2)模板最小化SAD的三个帧内预测模式的三个MPM帧内模式。这三个MPM被添加到MPM列表，同时修剪复刻的模式。

返回参考图13，对于每个(角度)帧内预测模式(或其子集)，编码器或解码器获得(1310)参考样本。例如基于如上所述的帧内预测模式或MPM位置选择模板(1320)。对于模板中的样本(P(x,y))，从模板的参考样本获得预测样本(T(x,y))(1330)。然后，编码器或解码器计算(1340)重建的模板样本P(x,y)与其预测样本T(x,y)之间的失真(例如，绝对差SAD)。注意，因为模板可随帧内预测模式而变化，所以可归一化失真以便对于不同的帧内预测模式可比较。选择产生K个最小失真的K个帧内预测模式为K个MPM(1350)。如果K等于1，则选择有最小SAD的帧内模式作为当前块的最终帧内预测模式。注意，可以在编码器或解码器处应用如图13所示的方法。

使用常规参考样本构建模板预测样本

在一个实施方案中，用于构建模板的预测样本的过程修改如下：

-模板的参考样本设置为等于常规帧内预测过程的参考样本(见关于标准规范的改变的描述中的ref[x])。

-用于构建模板的预测样本的过程与常规过程(在关于标准规范的改变的描述中的predSamples[x][y])相同，除了参考阵列上的预测器样本沿着相反方向被复制或在相同方向上继续，如图14中所描绘，这取决于intraPredMode的值。用于内插预测器样本的相同条件适用(见等式336、337、338，等式346、347、348)。

图14中描绘了两个示例。在图14A中，对于帧内模式方向-135度，参考样本A允许通过常规预测过程沿着用箭头表示的方向填充当前CU的预测样本。在所提出的方案中，样本A还用于通过在相同方向(虚线箭头)上继续填充来预测模板T1中的样本。样本A还用于通过在相反方向(虚线箭头)上填充来预测模板T2中的样本。

在图14B中，对于帧内模式方向-45度，参考样本A和B允许通过常规预测过程沿着用箭头表示的方向填充当前CU的预测样本。在所提出的方案中，样本A和B还用于分别在相反方向(虚线箭头)上预测T2和T1中的样本。

在另一实施方案中，针对每个帧内模式使用用于推导或填充模板预测样本的两种方法，使得计算(2×G)SAD。一种方法是所提出的方法(见上文)，而另一种方法是常规DIMD方法。

在另一实施方案中，即使MRL没有为当前CU选择refIdx＝0，用于预测模板的参考样本也对应于refIdx＝0。在另一实施方案中，如果refIdx不等于零，则参考样本如在VVC中构建，但实行填充如同它们位于位置refIdx＝0，如图14中所描绘。

在另一实施方案中，如果refIdx不等于零，则参考样本如在VVC中构建，但是用所提出的方法实行填充，其中参考样本位于它们的实际位置处，如图15A和图15B中所描绘。

在另一实施方案中，如果不能使用用于构建预测样本的常规方程(见关于标准规范的改变的描述中关于refMax的条件)，则模板预测样本设置为等于邻近的重建样本。

在另一个实施方案中，如果不能使用用于构建预测样本的常规方程(见关于标准规范的改变的描述中关于refMax的条件)，则模板样本设置为“未定义”并且不用于失真计算。

用于构建帧内预测的模板样本的文本规范

在下文中，Benjamin Bross、Jianle Chen、Shan Liu和Ye-Kui Wang(JVET-S2001)的规范“多功能视频编码(Versatile Video Coding，第10稿)”(第19次开会，2020年6月22日至7月1日)的一部分被修改为包括用于构建模板预测样本的过程。改变以斜体表示。在修改之前，本说明书的这个部分描述了预测当前CU的样本的过程(常规帧内方向预测模式)。在修改之后，本说明书部分另外描述了构建模板的预测样本的过程。这是常规帧内模式预测规范的修改示例。

首先，模板预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝-1..-L2以及x＝-1..-L1，y＝0..nTbH–1用邻近的重建值p[x][y]初始化。

让我们表示变换块大小nTbW×nTbH。

调用下以下过程推导预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1；以及推导模板预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝-1..-L2以及x＝-1..-L1，y＝0..nTbH–1如下

·如果predModeIntra大于或等于34，则以下有序步骤适用：

1.参考样本阵列ref[x]如下指定：

-以下适用：

ref[x]＝p[-1-refIdx+x][-1-refIdx]，其中x＝0..nTbW+refIdx+1 (329)

-如果intraPredAngle小于0，则主参考样本阵列如下扩展：

ref[x]＝p[-1-refIdx][-1-refIdx+Min((x*invAngle+256)>>9,nTbH)]，其中x＝-nTbH..-1 (330)

-否则，以下适用：

ref[x]＝p[-1-refIdx+x][-1-refIdx]，其中x＝nTbW+2+refIdx..refW+refIdx(331)

-附加样本ref[refW+refIdx+x]，其中x＝1..(Max(1,nTbW/nTbH)*refIdx+1)推导如下：

ref[refW+refIdx+x]＝p[-1+refW][-1-refIdx] (332)

值refMax设置为等于(Max(1,nTbW/nTbH)*refIdx+1)

2.预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1；以及模板预测样本的值predSamples[x][y]，其中x＝0..nTbW-1,y＝-1..-L2以及x＝-1..-L1，y＝0..nTbH–1，推导如下：

-索引变量iIdx和乘法因子iFact推导如下：

iIdx＝(((abs(y)+1+refIdx)*intraPredAngle)>>5)+refIdx (333)

iFact＝((abs(y)+1+refIdx)*intraPredAngle)&31 (334)

-如果cIdx等于0(亮度分量)，则以下适用：

-内插滤波器系数fT[j](其中j＝0..3)推导如下：

fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j] (335)

-如果(x+iIdx+i)(其中i＝0..3)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝Clip1(((Σ_i＝0..3fT[i]*ref[x+iIdx+i])+32)>>6) (336)

-否则(cIdx不等于0，色度分量)，取决于iFact的值，以下适用：

-如果iFact不等于0，并且如果(x+iIdx+i)(其中i＝1..2)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (337)

-否则，如果(x+iIdx+1)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝ref[x+iIdx+1] (338)

·否则(predModeIntra小于34)，以下有序步骤适用：

1.参考样本阵列ref[x]如下指定：

-以下适用：

ref[x]＝p[-1-refIdx][-1-refIdx+x],其中x＝0..nTbH+refIdx+1 (339)

-如果intraPredAngle小于0，则主参考样本阵列如下扩展：

ref[x]＝p[-1-refIdx+Min((x*invAngle+256)>>9,nTbW)][-1-refIdx],其中x＝-nTbW..-1 (340)

-否则，以下适用：

ref[x]＝p[-1-refIdx][-1-refIdx+x],其中x＝nTbH+2+refIdx..refH+refIdx(341)

-附加样本ref[refH+refIdx+x](其中x＝1..(Max(1,nTbH/nTbW)*refIdx+1))推导如下：

ref[refH+refIdx+x]＝p[-1-refIdx][-1+refH] (342)

值refMax设置为等于(Max(1,nTbH/nTbW)*refIdx+1)

2.预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1；以及模板预测样本的值predSamples[x][y]，其中x＝0..nTbW-1，y＝-1..-L2以及x＝-1..-L1，y＝0..nTbH–1，推导如下：

-索引变量iIdx和乘法因子iFact推导如下：

iIdx＝(((abs(x)+1+refIdx)*intraPredAngle)>>5)+refIdx (343)

iFact＝((abs(x)+1+refIdx)*intraPredAngle)&31 (344)

-如果cIdx等于0(亮度分量)，则以下适用：

-内插滤波器系数fT[j](其中j＝0..3)推导如下：

fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j] (345)

-如果(y+iIdx+i)(其中i＝0..3)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝Clip1(((Σ_i＝0..3fT[i]*ref[y+iIdx+i])+32)>>6) (346)

-否则(cIdx不等于0，色度分量)，取决于iFact的值，以下适用：

-如果iFact不等于0，并且如果(y+iIdx+i)(其中i＝1..2)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5 (347)

-否则，如果(y+iIdx+1)大于或等于0且小于或等于refMax，则预测样本的值predSamples[x][y]推导如下：

predSamples[x][y]＝ref[y+iIdx+1] (348)

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、部件、步骤、操作等，例如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改模块，例如，视频编码器200和解码器300的帧内预测模块(260,360)，如图2和图3所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐以及任何此类标准和推荐的扩展。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行以便产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的过程的全部或部分。

注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的装置(例如，处理器)中实施，该处理器包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、(例如，从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在操作期间“接收”通常以一种方式或另一种方式涉及，例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，该编码器发信号通知用于解量化的量化矩阵。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数传输(显式发信号通知)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式发信号通知)的情况下使用发信号通知，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，发信号通知可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“发信号通知(signal)”的动词形式，但是词语“信号(signal)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的多种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带该实施方案的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。众所周知，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

Claims (20)

1.一种视频编码或解码的方法，所述方法包括：

对于多个候选帧内编码模式中的每一个候选帧内编码模式，使用相应候选帧内编码模式和参考样本集，获得与图片块相邻的模板区域的预测；

确定使用所述相应候选帧内编码模式预测所述模板区域的成本；

基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；以及

基于所选择的帧内编码模式和所述参考样本集，用帧内预测来预测所述块中的样本。

2.一种视频编码或解码的方法，所述方法包括：

对于多个候选帧内编码模式中的每一个候选帧内编码模式，基于相应候选帧内编码模式，获得与图片块相邻的模板区域；

基于所述相应候选帧内编码模式，获得所述模板区域的预测；

确定使用所述相应候选帧内编码模式预测所述模板区域的成本；

基于所述成本从所述多个候选帧内编码模式中选择帧内编码模式；以及

基于所选择的帧内编码模式，用帧内预测来预测所述块中的样本。

3.根据权利要求1或2所述的方法，其中所述成本为所述模板区域与使用所述相应候选帧内编码模式对所述模板区域的所述预测之间失真的度量。

4.根据权利要求1至3中任一项所述的方法，其中对于所述模板区域内的样本，获得所述模板区域的预测包括：

通过沿着与由所述相应候选帧内编码模式指定的方向相反的方向投影参考样本，获得对所述模板区域内的所述样本的预测。

5.根据权利要求1至4中任一项所述的方法，其中所述模板区域包括与所述块相邻的重建样本。

6.根据权利要求1至5中任一项所述的方法，其中比特流包括指示解码器侧帧内模式推导用于所述块的标志。

7.根据权利要求1至6中任一项所述的方法，其中所述模板区域仅包括所述块上方的重建样本。

8.根据权利要求7所述的方法，所述方法还包括确定所述相应候选帧内编码模式为属于预定的垂直模式集的垂直模式或者仅使用上方参考样本进行帧内预测的垂直模式。

9.根据权利要求7所述的方法，所述方法还包括确定所述相应候选模式对应于来自顶部块的MPM候选。

10.根据权利要求1至6中任一项所述的方法，其中所述模板区域仅包括所述块的左侧的重建样本。

11.根据权利要求10所述的方法，所述方法还包括确定所述相应候选模式为属于预定的水平模式集的水平模式或者因为仅使用左侧参考样本进行帧内预测而为水平模式。

12.根据权利要求10所述的方法，所述方法还包括确定所述相应候选模式对应于来自左侧块的MPM候选。

13.根据权利要求1至12中任一项所述的方法，其中所述多个候选帧内编码模式包括所有方向帧内模式。

14.根据权利要求13所述的方法，其中所述多个候选帧内编码模式还包括DC和平面模式。

15.根据权利要求1至14中任一项所述的方法，所述方法还包括推断使用了与所述块紧邻的参考阵列。

16.根据权利要求1至15所述的方法，所述方法还包括推断指示是否使用帧内子分区的标志为零。

17.根据权利要求1至16所述的方法，其中所述参考样本集不紧邻所述块，并且其中获得所述模板区域的所述预测，如同所述参考样本集紧邻所述块一样。

18.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为执行根据权利要求1至17中任一项所述的方法。

19.一种包括比特流的信号，所述比特流通过执行根据权利要求1至17中任一项所述的方法形成。

20.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有用于根据权利要求1至17中任一项所述的方法对视频编码或解码的指令。