CN110870316B

CN110870316B - 视频编码和解码中低复杂度双向帧内预测的方法和装置

Info

Publication number: CN110870316B
Application number: CN201880045513.0A
Authority: CN
Inventors: G.拉思; F.拉卡普; F.加尔平; F.勒林内克
Original assignee: InterDigital Madison Patent Holdings SAS
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2017-05-31
Filing date: 2018-05-29
Publication date: 2023-10-13
Anticipated expiration: 2038-05-29
Also published as: CN110870316A; WO2018219938A1; US10893294B2; US11212554B2; US20230328281A1; EP3632109A1; CN117499674A; EP3410722A1; US11711543B2; US20200204826A1; US20220086487A1; US20210092443A1

Abstract

公开了一种用于视频解码的方法。对于视频中的图片的当前块解码(910)定向帧内预测模式，所述定向帧内预测模式具有方向。基于所述定向帧内预测模式，访问(7010)样本的第一预测量，该样本在所述当前块内。基于所述定向帧内预测模式，访问(7020)所述样本的第二预测量，所述第一预测量和第二预测量在至少接近所述方向的线上。通过使用所述第一预测量和第二预测量来预测(7030)所述样本的样本值；以及基于所述预测样本值，重构(965)所述当前块的所述样本。

Description

视频编码和解码中低复杂度双向帧内预测的方法和装置

技术领域

本实施例中的至少一个一般涉及用于视频编码和解码的方法和装置，并且更具体地，涉及用于低复杂度双向帧内预测的方法和装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空域和时域冗余。通常，帧内或帧间预测被用于利用帧内或帧间帧相关性，然后原始图像和预测图像之间的差异(通常表示为预测误差或预测残差)被变换、量化和熵编码。为了重构视频，压缩数据通过对应于预测、变换、量化和熵编码的逆过程来解码。

视频压缩中的帧内预测是指使用来自因果邻近块(即同一帧中已经被编码或解码的邻近块)的信息，对像素块的空域预测。帧内预测是一种强大的编码工具，因为它允许帧内帧以及帧间帧的高压缩效率。因此，帧内预测已经被包括在许多视频压缩标准中作为核心编码工具，包括但不限于H.264/AVC和H.265/HEVC。许多现有的视频编码标准使用编码工具的定点运算实施方式。

发明内容

根据至少一个实施例的一般方面，提出了一种用于视频解码的方法，包括：解码视频中图片的当前块的定向帧内预测模式，所述定向帧内预测模式具有方向；基于所述定向帧内预测模式，访问样本的第一预测量(predictor)，该样本在所述当前块内；基于所述定向帧内预测模式，访问所述样本的第二预测量，所述第一预测量和第二预测量在至少接近所述方向的线上，通过使用所述第一预测量和第二预测量来预测所述样本的样本值；以及基于所述预测的样本值来解码所述当前块的所述样本。

根据至少一个实施例的另一个一般方面，提出了一种用于视频编码的方法，包括：访问视频中图片的当前块的定向帧内预测模式，所述定向帧内预测模式具有方向；基于所述定向帧内预测模式，访问样本的第一预测量，该样本在所述当前块内；基于所述定向帧内预测模式，访问所述样本的第二预测量，所述第一预测量和第二预测量位于至少接近所述方向的线上，通过使用所述第一预测量和第二预测量来预测所述样本的样本值；以及基于所述预测的样本值来编码所述当前块的所述样本。

根据至少一个实施例，提出了用于预测当前块的样本的双向帧内预测，从而改进了编码视频的速率/失真成本。

根据至少一个实施例，至少访问第二预测量和/或使用第一预测量和第二预测量来预测样本值使用适用于定点运算实施方式的近似法。这样的实施例与理论插值模型和双向帧内预测扩展紧密匹配。因此，双向帧内预测实施方式适用于低复杂度编码。此外，根据本公开的至少一个实施例，提出简单近似法，以便在访问第二预测量时和/或在从第一预测量和第二预测量预测样本时避免除法运算。

根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的装置，包括至少一个存储器和一个或多个处理器，其中一个或多个处理器被配置为：解码视频中图片的当前块的定向帧内预测模式，所述定向帧内预测模式具有方向；基于所述定向帧内预测模式，访问样本的第一预测量，该样本在所述当前块内；基于所述定向帧内预测模式，访问所述样本的第二预测量，所述第一预测量和第二预测量在至少接近所述方向的线上，通过使用所述第一预测量和第二预测量来预测所述样本的样本值；以及基于所述预测的样本值，解码所述当前块的所述样本。

根据至少一个实施例的另一个一般方面，一种用于视频编码的装置，包括至少一个存储器和一个或多个处理器，其中一个或多个处理器被配置为：访问视频中图片的当前块的定向帧内预测模式，所述定向帧内预测模式具有方向；基于所述定向帧内预测模式，访问样本的第一预测量，该样本在所述当前块内；基于所述定向帧内预测模式，访问所述样本的第二预测量，所述第一预测量和第二预测量在至少接近所述方向的线上，通过使用所述第一预测量和第二预测量来预测所述样本的样本值；以及基于所述预测的样本值，编码所述当前块的所述样本。

在一个实施例中，所述样本基本上位于所述方向上的所述线上，在所述第一预测量和第二预测量之间，所述第二预测量基本上位于所述方向上的所述线和参考样本阵列的交点处。

根据另一个实施例，访问所述第二预测量包括：基于所述方向，使用基于整数的运算，确定沿着所述参考样本阵列的位移值，以及基于所述位移值来识别所述第二预测量。根据该实施例，使用基于整数的运算而不是浮点运算。因此，节省了存储器存储以及用于执行运算的功耗。

根据另一个实施例，所述位移值被确定为与所述方向相关联的角度参数的函数。例如，角度参数从帧内预测模式推导。

根据另一个实施例，确定所述位移值包括使用预先计算的幅值(magnitudevalue)表，该幅值表是针对与来自可用定向帧内预测模式集合的定向帧内预测模式的方向相关联的每个角度参数计算的。

根据另一个实施例，所述参考样本阵列对应于所述当前块的垂直邻近样本，所述位移值是垂直位移值。

根据另一个实施例，其中考虑到所述当前块中的所述样本的水平坐标来确定所述位移值。

根据另一个实施例，所述幅值由来确定，其中A是与定向帧内预测模式的方向相关联的角度参数。

根据另一个实施例，所述方向是负方向，并且其中确定所述位移值考虑了所述当前块的宽度。

根据另一个实施例，预测所述样本值包括在所述第一预测量和第二预测量的值之间进行插值。

根据另一个实施例，所述第一预测量和第二预测量的值之间的插值基于所述样本在所述当前块中的位置，并且其中插值使用比率的近似法，其中所述比率的分母是2的幂。因此，插值运算中的除法因此可以通过移位运算来实施。

根据另一个实施例，所述值的插值包括将所述第二预测量值和所述第一预测量值之间的差值乘以比率，其中所述比率至少基于W+H来计算，其中W是所述当前块的宽度，并且H是所述当前块的高度。

根据另一个实施例，所述比率近似为其中y是所述样本在所述当前块中沿着垂直轴的坐标。

根据另一个实施例，所述方向是正方向，并且其中所述比率近似为其中y和x分别是所述样本在所述当前块中沿着垂直轴和水平轴的坐标。

根据另一个实施例，所述方向是负方向，并且其中所述比率近似为其中y和x分别是所述样本在所述当前块中沿着垂直轴和水平轴的坐标。

根据另一个实施例，从所述当前块的上方或左边邻近块的一个或多个参考样本中确定所述第一预测量。

根据至少一个实施例的另一个一般方面，视频信号被格式化为包括视频的图片的至少当前块的编码数据，所述当前块基于定向帧内预测模式来编码，所述定向帧内预测模式具有方向，所述当前块的至少一个样本基于通过使用基于所述定向帧内预测模式访问的第一预测量和第二预测量而获得的预测的样本值被编码，所述第一预测量和所述第二预测量在至少接近所述方向的线上。

所述视频信号还被格式化为对于当前块包括双向标志，该双向标志指示当前块是使用单向帧内预测还是双向帧内预测。

本实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有用于根据上述方法编码或解码视频数据的指令。本实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供了一种用于发送根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了示例性HEVC(High Efficiency Video Coding，高效视频编码)视频编码器的框图。

图2A是描绘HEVC参考样本生成的图示示例，并且图2B是描绘HEVC中帧内预测方向的图示示例。

图3示出了示例性HEVC视频解码器的框图。

图4A是描绘从顶部参考阵列和左侧参考阵列在正垂直方向上的双向帧内预测的图示示例。图4B是描绘从顶部参考阵列和左侧参考阵列在正水平方向上的双向帧内预测的图示示例。图4C是描绘负垂直方向的顶部参考阵列的预测和构建的图示示例。图4D是描绘负垂直方向的右侧参考阵列的估计的图示示例。

图5A是描绘在正方向的双向帧内预测中第二参考样本的定位的图示示例。图5B是描绘在负方向的双向帧内预测中第二参考样本的定位的图示示例。

图6示出了根据实施例的用于在双向帧内预测中定位第二参考样本的示例性方法。

图7A示出了根据实施例的在视频编码或解码中执行双向帧内预测的示例性方法。图7B示出了根据另一个实施例的在视频编码或解码中执行双向帧内预测的示例性方法。

图8示出了根据实施例的用双向帧内预测进行视频编码的示例性方法。

图9示出了根据实施例的用双向帧内预测进行视频解码的示例性方法。

图10示出了可以实施示例性实施例的各个方面的示例性系统的框图。

具体实施方式

为了所有目的，以下两个申请通过引用整体结合于此：(i)2017年5月31日提交的标题为“Method and apparatus for bi-directional intra prediction for negativedirections in video encoding and decoding(用于视频编码和解码中负方向的双向帧内预测的方法和装置)”的欧洲专利申请，其申请号为EP17305629.2，以及(ii)2017年5月31日提交的标题为“Method and apparatus for intra prediction with interpolation(用于插值的帧内预测的方法和装置)”的欧洲专利申请，其申请号为EP17305635.9。

图1示出了示例性的HEVC编码器100。为了编码具有一个或多个图片的视频序列，图片被分割成一个或多个条带，其中每个条带可以包括一个或多个条带段。条带段被组织成编码单元、预测单元和变换单元。

在本申请中，术语“重构的”和“解码的”可以互换使用，并且术语“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构的”在编码器侧使用，并且“解码的”在解码器侧使用。

HEVC规范区分“块”和“单元”，其中“块”针对样本阵列中的特定区域(例如，亮度、Y)，并且“单元”包括与块相关联的所有编码颜色分量(Y、Cb、Cr或单色)、语法元素和预测数据(例如，运动矢量)的并置块。

为了编码，图片被分割成具有可配置尺寸的正方形的编码树块(Coding TreeBlock，CTB)，并且一组连续的编码树块被分组成条带。编码树单元(Coding Tree Unit，CTU)包含编码的颜色分量的CTB。CTB是分割成编码块(Coding Block，CB)的四叉树的根，并且编码块可以被分割成一个或多个预测块(Prediction Block，PB)，并且形成分割成变换块(TransformBlock，TB)的四叉树的根。对应于编码块、预测块和变换块，编码单元(CodingUnit，CU)包括预测单元(Prediction Unit，PU)、和变换单元(Transform Unit，TU)的树结构集，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用来指代CTU、CU、PU、TU、CB、PB和TB中的任何一种。另外，“块”还可以用来指代宏块和分区，如在H.264/AVC或其他视频编码标准中所规定的，并且更一般地指代各种尺寸的数据阵列。

在示例性编码器100中，图片由编码器元件编码，如下所述。要被编码的图片以CU为单位来处理。使用帧内模式或帧间模式对每个CU进行编码。当CU以帧内模式编码时，它执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来编码CU，并通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。

为了利用空域冗余，从同一条带内的重构的邻近样本预测帧内模式下的CU。当考虑当前CU的编码/解码时，因果邻近CU已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器都使用来自重构/解码的邻近因果CU的信息来形成对当前CU的预测。

HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测，以及(3)预测样本的后处理。示例性HEVC参考样本在图2A中示出，其中相对于当前块左上角上方和左方的一个像素的坐标(x,y)处的参考像素值由R(x,y)指示，并且当前块的坐标(x,y)处的预测样本值由P(x,y)指示。对于尺寸为N×N的CU，顶部的一行2N个解码样本由解码的CU形成。类似地，左侧的一列2N个样本由解码CU形成。来自左上方的解码的CU的角像素被用于填充上行和左列参考之间的间隙。如果一些样本不可用，例如，当对应的CU不在相同条带中或者当前CU在帧边界处时，则执行参考样本替换，其中丢失的样本按顺时针方向从可用样本中复制。然后，取决于当前CU尺寸和预测模式，使用特定滤波器对参考样本进行滤波。

下一步，即帧内样本预测，包括基于参考样本来预测目标CU的像素。为了有效地预测不同种类的内容，HEVC支持一系列预测方法。特别地，平面和DC预测模式被用于预测平滑且逐渐变化的区域，而定向预测模式(也称为“角度预测模式”)被用于捕捉不同的定向结构。HEVC支持索引从2到34的33种定向预测模式。这些预测模式对应于如图2B所示的不同预测方向，其中数字(即2,3,...,34)表示帧内预测模式索引。预测模式2-17被表示为水平预测模式(H-26至H+32)，因为预测的主要来源是水平方向。模式18-34相应地被表示为垂直预测模式(V-32至V+32)。图2B中的“H”和“V”分别用于指示水平方向和垂直方向，而标识符的数字部分指示1/32像素分数处的像素位移(也称为“角度参数”)。

表1示出了如HEVC规定的定向预测模式和角度参数A之间的关系。

表1

具有非负位移的方向(即H0至H+32和V0至V+32)也表示为正方向，并且具有负位移的方向(即H-2至H-26和V-2至V-32)也表示为负方向。正预测方向也可以被定义为具有正A值的方向，并且负预测方向可以被定义为具有负A值的方向。

如图2B所示，定义的角度方向的样本精度为1/32。也就是说，水平或垂直方向上的两个像素之间的间隔被划分成32个子间隔。如上所述，定义的方向可以被区分为垂直或水平。水平方向上的预测模式仅使用左侧参考样本，或者使用一些左侧参考样本和一些顶部参考样本。类似地，垂直方向上的预测模式仅使用顶部参考样本，或者使用一些顶部参考样本和一些左侧参考样本。从H0至H+32的水平正方向仅使用左侧参考样本以用于预测。类似地，从V0至V+32的垂直正方向仅使用顶部参考样本以用于预测。负的水平和垂直方向(H-2至H2-26和V-2至V-32)使用左侧和顶部的参考样本以用于预测。

在HEVC参考码中，首先使用顶部和左侧参考样本来构建参考阵列。对于垂直预测，参考阵列是水平的(即参考样本的行)，并且对于水平预测，参考阵列是垂直的(即参考样本的列)。对于具有正方向的模式，参考阵列取决于方向而仅为顶部或左侧参考样本：

对于垂直预测，topRef[x]＝R(x,0)，0≤x≤2N (1)

对于水平预测，leftRef[y]＝R(0,y)，0≤y≤2N (2)

对于具有负方向的模式，参考阵列需要来自顶部和左侧参考阵列的像素。在这种情况下，参考阵列将扩展到超过0的负索引。具有正索引的参考阵列的样本值将根据垂直或水平预测如上所述而获得。通过在预测方向上将左侧参考像素(用于垂直预测)或顶部参考像素(用于水平预测)投影到参考阵列上，来获得具有负索引的参考阵列上的那些样本值：

对于垂直预测，topRef[x]＝R(0,(x*B+128)>>8)，-N≤x<0，

对于水平预测，leftRef[y]＝R((x*B+128)>>8,0)，-N≤y<0，

其中>>表示向右的移位运算，并且B表示对应于角度参数A的反向角度参数。图4C示出了利用来自左侧参考阵列的样本的映射来构建负方向的顶部参考阵列。

一旦构建了参考阵列，通过沿着所选择的方向将像素位置投影到参考阵列并以1/32像素精度插入(interpolate)用于该参考阵列的值，来获得目标PU之内任何像素位置(x,y)处的预测。预测的样本值通过在两个最接近的参考样本之间插值来计算：

对于垂直预测，P(x,y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)>>5)，

1≤x，y≤N， (3)

对于水平预测，P(x,y)＝((32-f)*leftRef[y+i]+f*leftRef[y+i+1]+16)>>5)，

1≤x，y≤N， (4)

其中i和f表示从像素位置(x,y)的投影位移的整数部分和小数部分。如果Δ表示投影位移，则

对于水平预测，Δ＝x*A；对于垂直预测，Δ＝y*A。

i＝Δ>>5，f＝Δ&31

其中&表示按位“与”运算。注意，如果f＝0，即没有小数部分，并且预测的样本值在预测方向上等于参考阵列样本值。

一些预测模式，诸如DC模式和直接水平模式(即模式10)和直接垂直模式(即模式26)，可能导致预测样本在CU边界处的不连续。因此，这种预测模式之后是后处理步骤，其中使用低通滤波器来平滑预测的样本的边界。这里，直接水平模式是指当目标块左侧的参考样本被水平重复到右侧用于帧内预测时的预测模式。类似地，直接垂直模式是指当目标块顶部的参考样本被垂直向下重复用于帧内预测时的预测模式。

由于有多种可用的帧内预测模式，解码器需要模式信息来形成对帧内编码CU的预测。编码器使用亮度分量的最可能模式(most probable mode，MPM)集对模式信息进行编码。HEVC规定了包括三种不同模式的MPM集，该MPM集由当前CU顶部和左侧的帧内编码的CU的预测模式、平面模式、DC模式和直接垂直模式构建。

当前块的适用亮度帧内预测模式可以使用两种不同的选项来编码。如果适用模式包括在三种最可能模式(MPM)的所构建的列表中，则模式由MPM列表中的索引来信令通知。否则，模式通过模式索引的固定长度二值化来信令通知。三种最可能模式是从邻近块顶部和左侧的帧内预测模式中推导。

对于帧间CU，对应的编码块被进一步分割成一个或多个预测块。帧间预测在PB级别执行，并且对应的PU包含关于如何执行帧间预测的信息。运动信息(即运动矢量和参考图片索引)可以用两种方法来信令通知，即“Merge模式”和“高级运动矢量预测(advancedmotion vector prediction，AMVP)”。

在Merge模式中，视频编码器或解码器基于已经编码的块来组建(assemble)候选列表，并且视频编码器信令通知候选列表中的候选之一的索引。在解码器侧，运动矢量(MV)和参考图片索引基于信令通知的候选来重构。

在AMVP中，视频编码器或解码器基于从已经编码的块中确定的运动矢量组建候选列表。视频编码器然后信令通知候选列表中的索引以识别运动矢量预测量(motion vectorpredictor，MVP)，并信令通知运动矢量差(motion vector difference，MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。对于AMVP，适用的参考图片索引也在的PU语法中显示地编码。

然后对预测残差进行变换(125)和量化(130)。量化的变换系数以及运动矢量和其他语法元素被熵编码(145)以输出比特流。编码器也可以跳过变换，并在4×4TU的基础上直接对未变换的残差信号应用量化。编码器也可以绕过变换和量化，即残差被直接编码，而不应用变换或量化过程。在直接PCM编码中，不应用预测，并且编码单元样本被直接编码到比特流中。

编码器解码编码块，以便为进一步预测提供参考。量化的变换系数被去量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的图片，例如，执行去块/SAO(Sample Adaptive Offset，采样自适应偏移)滤波以减少编码伪像。滤波后的图像被存储在参考图片缓冲器(180)中。

图3示出了示例性HEVC视频解码器300的框图。在示例性解码器300中，比特流由解码器元件解码，如下所述。视频解码器300通常执行与如图1所述的编码过程相反的解码过程，其执行视频解码作为编码视频数据的一部分。

特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(330)，以获得变换系数、运动矢量和其他编码信息。变换系数被去量化(340)和逆变换(350)以解码预测残差。组合(355)解码的预测残差和预测块，重构图像块。可以从帧内预测(360)或运动补偿预测(即帧间预测)(375)获得(370)预测块。如上所述，AMVP和Merge(合并)模式技术可以用于为运动补偿推导运动矢量，其可以使用插值滤波器来计算参考块的子整数样本的插入值。环内滤波器(365)被应用于重构图像。滤波后的图片被存储在参考图片缓冲器(380)处。

如上所述，在HEVC中，视频序列帧的编码基于块结构。一帧被划分成正方形编码树单元(CTU)，它可能基于率失真准则而将四叉树分割成多个编码单元。每个CU是帧内预测的，即从因果邻近CU在空域上预测，或者是帧间预测的，即从已经解码的参考帧在时域上预测。在I条带中，所有CU都是帧内预测的，而在P和B条带中，CU既可以是帧内预测预测的，也可以是帧间预测的。对于帧内预测，HEVC定义了35种预测模式，包括一种平面模式(索引为模式0)、一种DC模式(索引为模式1)和33种定向预测模式(索引为模式2-34)。

在由联合视频探索团队(Joint Video Exploration Team，JVET)研究设计下一代视频压缩标准的JEM(Joint Exploration Model，联合探索模型)中，QTBT(Quadtree plusBinary Tree，四叉树加二叉树)结构去除了HEVC中多分割类型的概念，即去除了CU、PU和TU概念的分离。编码树单元(CTU)首先由四叉树结构分割。四叉树叶节点被二叉树结构进一步分割。二叉树叶节点被命名为编码单元(CU)，其用于预测和变换，而无需进一步分割。因此，在新的编码QTBT块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU包括不同颜色分量的编码块(CB)。为了便于标记，由二叉树分割产生的一个或多个CU或块也被称为二叉树(binary tree，BT)CU或块，并且由四叉树分区产生的一个或多个CU或块也被称为四叉树(quadtree，QT)CU或块。

作为对HEVC的可能改进，JEM 3.0除了平面和DC模式之外，还使用65种定向帧内预测模式。模式按递增顺序从2到66编号，与HEVC中从2到34编号的方式相同。65种定向预测模式包括在HEVC中指定的33种定向预测模式加上对应于两个原始角度之间的角度的32种附加定向预测模式。换句话说，JEM中的预测方向的角度分辨率是HEVC的两倍。已经提出了更高数量的预测模式，以利用具有提出的更大块尺寸的角结构的可能性。对应于较高数量的模式，存在较高数量的角度参数A值。

除了正方形的CU之外，JEM也可以有矩形的CU，因为它有QTBT结构。在这种情况下，对于正方向，参考阵列如下构建：

对于垂直预测，topRef[x]＝R(x,0)，0≤x≤W+H，

对于水平预测，leftRef[y]＝R(0,y)，0≤y≤W+H，

其中，W和H分别表示目标CU的宽度和高度。对于负方向，参考阵列如上针对正索引来构建。对于负索引，使用左侧参考阵列(用于垂直预测)或顶部参考阵列(用于水平预测)的投影：

对于垂直预测，topRef[x]＝R(0,(x*B+128)>>8)，-H≤x<0，

对于水平预测，leftRef[y]＝R((y*B+128)>>8,0)，-W≤y<0。

预测过程基本上与HEVC相同。像素值计算如下：

对于垂直预测，P(x,y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)>>5，1≤x≤W，1≤y≤H， (5)

对于水平预测，P(x,y)＝((32-f)*leftRef[y+i]+f*leftRef[y+i+1]+16)>>5，1≤x≤W，1≤y≤H。 (6)

如上所述，HEVC和JEM旨在通过不同的角度预测模型来建模不同的方向结构。根据方向性，一些预测方向被称为正方向，而一些预测方向被称为负方向。当强度值沿着预测方向变化不大时，预测模型工作良好。然而，在自然影像(imagery)中，对象上的强度值经常由于若干原因而发生变化。例如，由于对象本身的颜色属性、光照、深度、运动等，PU上的强度值可能会发生变化，这些变化不能通过像素重复来充分建模。当PU尺寸较大时，尤其如此，例如，JEM已经提出使用高达256的CTU尺寸。因此，我们可以考虑可以更有效地建模强度变化的其他预测模型。

双向帧内预测

根据上述帧内预测方法的实施例，目标块的样本由包含在如上所述构建的第一参考阵列中的第一参考样本来预测。该实施例针对双向帧内预测，其中目标块的样本由第一参考样本和第二参考样本来预测，其中第二参考样本从不同于第一参考阵列的第二参考阵列获得。

在双向帧内预测中，如图4A和图4B所示，预测方向在相反侧延伸，以获得目标像素P[x][y]的第二参考样本。第二参考样本位于第二参考阵列(即不包含第一参考样本的阵列)。利用两个参考样本，而不是像在HEVC中那样简单地复制第一参考样本，在目标像素位置插入一值并用作预测的值。

作为图4A所示的示例，通过在来自顶部参考阵列的预测量样本P₁和来自左侧参考阵列的预测量样本P₂之间进行插值，获得目标样本P[x][y]的预测的值。预测量样本P₂在左侧参考阵列中位于基本上与由帧内定向预测给出的方向预测线的交点处。

作为图4B所示的另一个示例，通过在来自左侧参考阵列的预测量样本P₁和来自顶部参考阵列的预测量样本P₂之间插值，获得目标样本P[x][y]的预测的值。预测量样本P₂在顶部参考阵列中位于基本上与由帧内定向预测给出的方向预测线交点处。

给定参考阵列具有有限大小的2N个样本，对于一些预测方向，对于一些目标像素，不可能具有来自另一参考阵列的第二参考样本，因为预测方向的延伸不会与另一参考阵列相交。在这些情况下，在第一实施例中，通过重复阵列之外的另一参考阵列的最后的样本值来估计第二参考样本。例如，在图4A的情况下，对于任何目标像素，如果第二预测量超出左侧参考阵列的长度，则我们只使用最后一个左侧参考样本，即样本P[-1][N-1]。左侧参考阵列根据需要在下方进行扩展。

根据另一个实施例，在对于一些目标像素不可能具有来自另一参考阵列的第二参考样本的情况下，使用现有两个参考阵列上的参考样本来估计第二参考样本。例如，构建更大的参考阵列，其中从顶部和左侧参考阵列的参考样本估计未知样本。例如，在图4A的情况下，执行插值来估计位于左侧参考阵列底部的样本，即从P[-1][N]至P[-1][2N-1]的样本。这种插值可以通过将P[-1][2N-1]设置为P[2N-1][-1]的值，并使用P[-1][N-1]和P[-1][2N-1]的值用线性插值对位于P[-1][N-1]至P[-1][2N-1]之间的其他左侧样本进行插值来完成。

参考图5A和图5B进一步描述了双向预测，其中，为了便于解释，坐标系的原点已经被移动到目标块的左上角邻近像素的位置。因此，原点现在与顶部参考阵列的第一个样本以及左侧参考阵列的第一个样本重合。根据本实施例要预测其值的像素位于目标块中的(x,y)，0≤x<W，0≤y<H，其中H是目标块的高度，并且W是目标块的宽度。在新坐标系中，像素的坐标为(1+x,1+y)。

对于所示的正方向，设(s,0)表示顶部参考样本的坐标。我们将(s,0)处的样本称为目标像素的第一参考样本。预测方向向左下方延伸，并在(0,t)处与左侧参考阵列相交。我们将(0,t)处的样本称为目标像素的第二参考样本。

对于负预测方向，如图5B所示，(1+W,t)表示第二参考样本在右参考阵列上的位置。由于对于当前块的右侧，在编码器或解码器处没有已知的参考样本，因此必须估计这样的右侧参考阵列。以同样的方式，底部参考阵列可以被估计用于具有负预测方向的双向帧内预测。图4D示出了用于估计右侧参考阵列的图示示例。右侧参考阵列和/或底部参考阵列的这种估计可以以类似于上面公开的用于估计有限长度阵列的未知样本的方式来执行。例如，在图4D的情况下，执行插值来估计位于右侧参考阵列中的样本，即从位置(1+W,0)到(1+W,1+H+W)的样本。这种插值可以通过将(1+W,0)处的值设置为与位置(W,0)处的值相同，将(1+W,1+H+W)处的值设置为与位置(0,H)处的值相同，并且插值位于(1+W,0)和(1+W,1+H+W)之间的其他右侧样本来完成。使用(1+W,0)和(1+w,1+H+W)处的值进行线性插值。

为了执行双向帧内预测，第一步是确定第二预测量P₂。为此，需要计算t。作为示例，我们考虑来自HEVC的32个角度方向。所公开的实施例也可以容易地应用于具有64种帧内定向预测模式的JEM情况。因此，在32个角度方向的情况下，s和t都具有像素的(1/32)分辨率。参考图5A，t可以表示为t＝1+y+Δ_y，其中Δ_y表示第二参考样本从目标像素位置的垂直位移。

设Δ_x表示顶部参考上的投影位移。类似地，设Δ_y表示左侧参考上的投影位移。对于正预测，Δ_x>＝0，Δ_y≥0。正如我们前面看到的，对于角度参数A，Δ_x被给出为Δ_x＝(1+y)*A。为了计算Δ_y，我们进行如下。首先，利用投影位移，我们得到s＝((1+x)<<5)+Δ_x，t＝((1+y)<<5)+Δ_y。

利用三角形的相似性，我们得到：

根据此我们得到，

将此与前面t的表达式进行比较，我们得到：

因此，Δ_y可以计算为：

对于正垂直方向，以类似的方式，可以示出Δ_y可以计算为：对于负垂直方向，/>其中Δ_x表示第一参考样本从目标像素的水平位移。

对于由HEVC规定的角度参数A，Δ_x已经计算为：

Δ_x＝(1+y)*A；

在正和负水平预测方向的情况下，上述公式保持不变，因为它们是通过用左侧参考阵列交换顶部参考阵列并且交换目标块的高度和宽度来实施的。

一旦获得两个参考样本，使用两个参考样本来插值目标像素位置处的值。线性插值基本上是加权和，它将产生两个参考样本值之间的中间值。该加权和可以替代地实施为第一参考样本与更新项的相加。因为在HEVC和JEM参考码中，已经使用第一参考样本来计算预测值，所以选择第二种方法以便在参考码中更容易实施。如果P₁和P₂表示第一参考样本值和第二参考样本值，则像素(1+x,1+y)处的预测被计算为P[l+x][l+y]＝P₁+ΔP， (7)

其中

这里，L和R表示第一参考样本和第二参考样本距目标像素的距离，如图5A和图5B所示。所以，为了计算更新项必须计算比率可以示出，该比率可以计算为：

对于正方向，以及

对于负方向，

在HEVC中，色度分量的预测取决于亮度分量预测模式。色度分量仅用5种预测模式进行测试，以选择最佳预测模式。模式为平面、DC、直接水平(模式10)、直接垂直(模式26)和亮度分量的预测模式(称为直接(或推导)模式)。如果直接模式等于前四种模式中的任何一种，即平面模式、DC模式、直接水平模式和直接垂直模式，则垂直对角模式34替代该模式。

在JEM中，除了这五种预测模式(即平面(模式0)、DC(模式1)、直接水平(模式18)、直接垂直(模式50)和直接模式)之外，还有一种新的模式，称为LM-CHROMA。LM-CHROMA模式不使用任何定义的预测模式，而是由重构的亮度块来构建预测。为了区分直接模式和LM-CHROMA，直接模式被称为DM_CHROMA模式。如果DM_CHROMA模式等于固定的四种模式(即平面、DC、纯水平和纯垂直)之一，则垂直对角模式66替代该模式。

此外，与HEVC不同，在JEM中，帧内帧中色度CU分割与亮度CU分割解耦。因此，DM_CHROMA模式可以对应于亮度CU的预测模式，其在空域上不对应于所考虑的色度CU。

如上所述的双向帧内预测方法可以应用于亮度和色度分量。如上所述的双向帧内预测方法基于图像中对象方位和强度变化的物理直觉。它们不能保证最终的RD性能总是优于单向帧内预测。因此，在一个实施例中，我们建议通过在语法中信令通知标志来包括双向帧内预测作为选项，例如，在SPS(序列参数集)或PPS(图片参数集)或条带头中信令通知。

在一个实施例中，一旦双向帧内预测被启用，每个帧内CU可以在双向帧内预测或单向帧内预测之间进行选择。选择可以通过CU级别的1比特标志来信令通知，它可以使用上下文0或依赖于模式的上下文进行上下文编码。

对于色度分量，在一个实施例中，如果对应的色度CU使用双向帧内预测与否与亮度CU信令无关，则我们可以发送一比特信令。一比特标志可以使用上下文0或依赖于模式的上下文进行上下文编码。在另一个实施例中，没有额外的信令用于色度分量的预测。相反，色度分量可以使用与CTU中心或左上角的亮度CU相同的信令。在该实施例中，如果亮度信令标志被启用，则用双向帧内预测来预测CU，否则执行单向角度预测。

当执行双向预测时，定位第二参考样本并插值以获得所预测的值需要用整数进行除法运算，这些整数不总是二的幂。因此，这些除法可能会给低复杂性定点运算带来困难。

以上公开的计算是精确的，并假设在帧中对象方位和强度变化的某些模型。通过在相反方向上扩展预测方向来定位第二参考样本假设方向性沿着完美的直线保持，这在真实图像中不一定是真的。一般地，偏离精确位置的几个像素是可以容忍的。其次，沿着某一方向的亮度变化不需要总是线性的，尤其是如果块尺寸大的话。线性只是捕获强度变化的一阶模型。因此，如果插值计算中的更新值偏移了一些容限，则双向帧内预测方法仍然可以表现良好。

定位第二参考样本的近似法

根据本公开的一个方面，至少一个实施例涉及一种用于近似第二参考样本的定位的方法。

让我们只考虑正预测方向，因为在负预测的情况下，第二参考样本的定位只是右侧参考阵列上的镜像副本。如前所述，沿左侧参考阵列的位移Δ_y给出为

现在，替换分母中Δ_x((1+y)*A)的值，然后从分子和分母中取消(1+y)，得到：

这可以等效地表示为Δ_y＝(1+x)*Ay；0≤x<N，对于宽度的目标块，其中

注意的是，我们在这里假设HEVC中给出的Δ_x的分辨率，即(1/32)像素，并且我们假设Δ_y的相同分辨率。然而，也可以使用其他分辨率Δ_x和/或Δ_y。例如，两者的分辨率都可以增加到(1/64)像素，这里Ay的值将是(1<<12)/A。在这种情况下，A的值将对应于(1/64)像素分辨率而改变。

对于正方向，A具有正值。可以看出，Δ_y只是x坐标的函数。这是有意义的，因为对于给定的预测方向，即对于给定的A，如果我们沿着目标块之内的列移动，则位移值Δ_y将不改变。注意的是，这与Δ_x相反，其沿着垂直方向变化，但在我们在目标块之内水平移动时保持不变。然而，A的值不总是2的幂，因此除法运算不能通过移位运算来实施。

图6示出了根据实施例的用于访问第二参考样本的示例性方法。

在步骤600，对于所有的A的正值(即所有的正方向)，Ay的值被预先计算为最接近的整数，并且值Ay被保存在表中。在对图片或视频进行编码或解码的任何处理之前，可以在编码器和解码器处计算和存储这样的表，使得在编码和解码期间仅执行一次预计算处理。可以看出，Ay只取决于A值。

由于取整，当表用于第二参考样本的定位时，会有近似误差。注意的是，随着x坐标从x＝0增加，取整误差将沿着x方向累积。对JEM码的实验表明，这些值位于精确位置的±2个像素内。下面的表2列出了取整到最接近整数的值，示出了在HEVC情况下，Ay的值与参数A的函数关系。

表2：HEVC中A的不同正值的参数Ay

A	2	5	9	13	17	21	26	32
									Ay	512	205	114	79	60	49	39	32

对于考虑67种预测模式的JEM码，Ay的值可以类似地推导，如下表3所示。

表3：JEM中A的不同正值的参数Ay

A	1	2	3	5	7	9	11	13	15	17	19	21	23	26	29	32
																	Ay	1024	512	341	205	146	114	93	79	68	60	54	49	45	39	35	32

在步骤605，当在具有角度参数A的当前帧内定向预测模式下编码或解码目标块时，使用存储的表来确定要用于当前块的值Ay。

在步骤610，对于给定样本(1+x,1+y)，如果目标块在具有正预测方向的当前帧内定向预测模式下被编码或解码，则沿着第二参考样本所在的参考阵列的位移Δ_y被确定为Δ_y＝(1+x)*Ay。如果目标块在具有负预测方向的当前帧内定向预测模式下被编码或解码，则位移Δ_y由Δ_y＝(W-x)*Ay确定。

在步骤615，确定第二预测量P₂，即确定第二参考样本值。设i_y和f_y表示Δ_y的整数和小数部分。也就是说，i_y＝Δ_y>>5，并且f_y＝Δ_y&31。设P₂表示第二预测量值，即第二参考样本的值。然后，如果小数部分为零，则第二参考样本的值P₂由refArray[l+y+i_y]给出，其中refArray是第二参考样本所在的参考阵列。例如，在具有正垂直方向的双向帧内预测的情况下，refArray对应于左侧参考阵列。在具有正水平方向的双向帧内预测的情况下，refArray对应于顶部参考阵列。

如果小数部分不为零，则需要使用最近的两个参考像素进行插值。在这种情况下，对于给定的目标像素，预测方向不穿过参考像素，而是在两个像素之间。因此，第二参考样本的值P₂由下式给出：

P₂＝((32-f_y)*refArray[l+y+i_y]+f_y*refArray[l+y+i_y+l]+16)>>5。

当计算预测的值时插值运算的近似法

根据本公开的另一方面，至少一个实施例涉及一种用于在计算预测的值时近似插值运算的方法。

如上所述，插值运算通过添加更新项来实施。更新项取决于比率和两个参考样本值之间的差。

很容易看出这个比率介于0和1之间。因此，更新项基本上将差的小数部分添加到原始预测值上。如果目标像素接近第一参考样本，则比率接近0，因此更新项非常小。当我们靠近第二参考样本时，比率值会向1增加，因此，更新操作将使预测值更接近第二参考样本。在所有情况下，更新项都会产生一个介于两个参考样本值之间的值。

如上所述，更新项的计算需要除法运算，其中分母可能不是2的幂。为了避免这种除法，通过使用独立于方向的固定比率值来近似这些运算。如前所述，该比率可以计算为：

其中y表示目标像素的y坐标。

该比率可以近似为：

其中，H和W是目标块的高度和宽度。

让我们称这个模型为固定比率模型(FM0)。尽管仍有除法运算，但它更容易实施，因为块的高度和宽度是2的幂，并且通过移位可以更快地进行缩放。对于4×4目标块，不同目标像素位置(x,y)处的上述比率值如下所示：

1/8	1/8	1/8	1/8
				2/8	2/8	2/8	2/8
3/8	3/8	3/8	3/8
				4/8	4/8	4/8	4/8

可以类似地计算其他目标块尺寸的比率值。在这个固定比率近似法中，比率仅是y坐标的函数。

对于正方向，可以使用另一固定比率模型，如

让我们称之为对于正方向的固定比率模型1(FMP1)。对于4×4和8×8目标块，不同目标像素位置的比率(忽略常数分母)如下所示：

4	3	2	1
				5	4	3	2
6	5	4	3
				7	6	5	4

8	7	6	5	4	3	2	1
								9	8	7	6	5	4	3	2
10	9	8	7	6	5	4	3
								11	10	9	8	7	6	5	4
12	11	10	9	8	7	6	5
								13	12	11	10	9	8	7	6
14	13	12	11	10	9	8	7
								15	14	13	12	11	10	9	8

为了使用上述固定比率模型1表获得给定像素位置的比率，对于4×4目标块，上述表的每个值必须除以8，或者对于8×8目标块，上述表的每个值除以16，或者对于4×4目标块，上述表的每个值移位3，或者对于8×8目标块，上述表的每个值移位4。

可以看出，固定比率模型1的比率映射关于正方形目标像素的对角线对称。对于其他块大小，可以类似地推导表。

考虑到JEM也使用矩形目标块，可以使用其他固定比率模型，诸如其在主对角线的两侧具有对称权重。让我们称之为对于正方向的固定比率模型2(FMP2)。可以看出，一般地，比率值沿着第二对角线从右上向左下增加。比率沿着列向下增加，并且沿着行向右减少。

对于负预测方向，可以使用以下固定比率模型代替FM0模型：让我们称之为对于负方向的固定比率模型1(FMN1)。该模型遵循先前给出的属性，即，值应该介于0和1之间，并且在我们从第一参考样本(其位于负预测方向的顶部参考阵列上)向第二参考样本(其位于负预测方向的右侧参考阵列上)移动时，它们应该从接近0的值向更高的值增加。

对于4×4和8×8目标块，不同目标像素位置的比率(忽略常数分母)如下所示：

1	2	3	4
				2	3	4	5
3	4	5	6
				4	5	6	7

1	2	3	4	5	6	7	8
								2	3	4	5	6	7	8	9
3	4	5	6	7	8	9	10
								4	5	6	7	8	9	10	11
5	6	7	8	9	10	11	12
								6	7	8	9	10	11	12	13
7	8	9	10	11	12	13	14
								8	9	10	11	12	13	14	15

正如我们所见，这里的比率沿着主对角线从左上向右下增加。它们也沿着行和列增加。

这些固定比率模型不会给我们精确的插入值。例如，接近第二参考样本的插入的值不需要非常接近它们，并且可以偏移一定量级。HEVC中的后滤波将使这些值更接近第二参考样本。在所有情况下，插入的值将始终介于两个参考样本值之间。

实验表明，就RD成本而言，正方向比负方向表现更好。关于插值表的使用，适用于正方向和负方向的第一模型(FM0)具有最差的性能，从精确计算的实施(即浮点运算)中损失约0.15％。对于正方向的FMP1或FMP2以及对于负方向的FMN1的性能损失约为0.05％。因此，与相比于上述近似法提供了相对浮点运算复杂度而言降低的复杂度，由于使用定点运算的插值近似法而导致的损失非常小。

在实施例中，仅对严格正角度预测模式执行插值。我们使用表3为每个目标像素定位第二参考样本。对于插值，我们使用任一固定比率模型，例如，FM0或FMP1或FMP2。所提出的双向预测并不是针对所有具有正预测模式的块而强制实施的，而是作为一个选项包含在内的，因为它不能保证产生比正常单向预测更好的RD性能。因此，对于具有正预测方向的块，单向和双向预测都在编码器处执行，并且选择给出更好RD性能的预测。所选择的预测方法使用1比特标志来信令通知给解码器。该标志的值1表示双向预测，并且值0表示通常的单向预测。使用上下文0或依赖于模式的或依赖于邻域的上下文进行上下文编码的1比特标志，例如，在CABAC熵编码器(Context Adaptive Binary Arithmetic Coder，上下文自适应二进制算术编码器)中。对于平面和DC预测模式，纯垂直和纯水平模式，以及与负方向相关的预测模式，不应用信令通知，因为我们不对这些模式应用插值。解码器在解码块的预测模式之后解码该标志。对于色度编码单元(CU)，与中心亮度CU一起使用的信令标志用于决定是否用DM_Chroma模式执行插值。如果中心亮度CU具有双向预测，意味着标志具有值1，那么如果其预测模式为正，则假设色度CU也是如此。如果预测模式不是DM_Chroma，则使用单向帧内预测。

根据另一个实施例，我们仅对严格负角度预测模式执行插值。我们使用表3为每个目标像素定位第二参考样本。对于插值，我们使用任一固定比率模型，例如，FM0或FMN1。为了信令通知插值，我们使用1比特标志，该标志是使用上下文0或依赖于模式的或依赖于邻域的上下文进行上下文编码的。对于平面和DC预测模式，对于纯垂直和纯水平模式，以及与正方向相关的预测模式，不应用信令通知，因为我们不对这些模式应用插值。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否用DM_Chroma模式执行插值。如果预测模式不是DM_Chroma，则使用单向帧内预测。

根据另一个实施例，我们对严格正和严格负的角度预测模式执行插值。我们使用表3为每个目标像素定位第二参考样本。对于插值，我们使用任何固定比率模型(例如，对于正方向，使用FM0或FMP1或FMP2，对于负方向，使用FM0或FMN1)。为了信令通知插值，我们使用1比特标志，该标志是使用上下文0或依赖于模式的或依赖于邻域的上下文进行上下文编码的。对于平面和DC预测模式，以及纯垂直和纯水平模式，不应用信令通知，因为我们不对这些模式应用插值。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否用DM_Chroma模式执行插值。如果预测模式不是DM_Chroma，则使用单向帧内预测。

根据另一个实施例，我们对严格正和严格负的角度预测模式执行插值。我们使用表3为每个目标像素定位第二参考样本。对于插值，我们使用任何固定比率模型(例如，对于正方向，使用FM0或FMP1或FMP2，对于负方向，FM0或FMN1)。为了信令通知插值，我们使用1比特标志，该标志是使用上下文0或依赖于模式的或依赖于邻域的上下文进行上下文编码的。对于平面和DC预测模式，以及纯垂直和纯水平模式，信令比特被设置为0，以指示这些模式没有插值。因此，标志的解码独立于用于编码当前块的帧内预测模式。因此，解码器由此可以解析标志，而无需等待预测模式的解码完成。这在硬件实施上有一些速度优势。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否用DM_Chroma模式执行插值。如果预测模式不是DM_Chroma，则使用单向帧内预测。

根据上面公开的任何一个实施例的变型，我们还发送色度分量的信令标志，以指示独立于亮度的色度插值。色度分量的信令标志使用上下文0或依赖于模式的或依赖于邻域的上下文进行上下文编码。

根据上面公开的任何一个实施例的另一变型，在条带头中信令通知添加插值的选项，指示条带中的所有CU可以使用插值选项。因此，编码器可以将双向预测应用于所选择的条带。

根据上述任何一个实施例的另一变型，在PPS头中信令通知添加插值的选项，指示帧中的所有CU可以使用插值选项。因此，编码器可以将双向预测应用于所选择的帧。

根据上述任何一个实施例的另一变型，在SPS头中信令通知添加插值的选项，指示序列中的所有帧可以使用插值选项。因此，编码器可以指示对序列的所有帧使用双向预测。

图7A示出了根据实施例的用于对当前块执行对于垂直正预测方向的双向帧内预测的示例性方法700。方法700可以在编码器和解码器处实施。通常，在编码器和解码器处应该构建或估计相同的参考阵列，并且应该使用相同的插值方法，使得编码器生成的比特流可以被解码器正确解码。

在方法700中，编码器或解码器例如使用等式(1)构建(710)顶部参考阵列。在步骤720，编码器或解码器例如使用等式(2)构建(720)左侧参考阵列。对于目标像素，可以例如使用等式(3)或(5)从顶部参考阵列沿着预测线确定(730)第一预测量值P₁。

在步骤740，例如使用图6中公开的方法从左侧参考阵列获得第二预测量值P₂。

在步骤750，然后可以例如使用等式(7)基于预测量值P1和P2两者来预测目标像素。

编码器或解码器检查(760)块中是否需要预测更多样本。如果是，控制返回到步骤730。否则，对于给定垂直正预测方向，完成当前块的双向帧内预测。

根据另一个实施例，在步骤750，当使用等式(7)时，可以使用上述给出比率的近似值的任何一个实施例，诸如FM0、FMP1、FMP2。

因此，当对当前块的负预测方向执行双向帧内预测时，在步骤750中，当使用等式(7)时，可以使用上述给出比率的近似值的任何一个实施例，诸如FM0、FMN1。

图7B示出了根据另一个实施例的用于对当前块执行双向帧内预测的示例性方法7000。一个特定实施例包括：(i)基于具有方向的定向帧内预测模式，访问(7010)样本的第一预测量P1，该样本在当前块内，(ii)基于定向帧内预测模式，访问(7020)样本的第二预测量P₂，第一预测量和第二预测量在至少接近与定向帧内预测模式相关联的所述方向的线上，以及(iii)通过使用第一预测量和第二预测量来预测(7030)样本的样本值。编码器或解码器检查(7040)当前块中是否需要预测更多样本。如果是，控制返回到步骤7010。否则，对于定向帧内预测模式，完成对当前块的双向帧内预测。

图8示出了根据实施例的用于用双向帧内预测进行编码的示例性方法800。方法800可以接受要编码的视频序列作为输入。在初始化步骤810，编码器可以决定是否将双向帧内预测用于编码视频序列，以及哪些预测模式可以使用双向帧内预测。例如，编码器可以在条带头、PPS或SPS中分别信令通知，条带、图片、序列中的所有CU可以使用双向帧内预测选项。

在步骤820，编码器访问要测试的当前帧内预测模式。编码器检查(830)当前帧内预测模式是否属于可以使用双向预测的预测模式集合。例如，双向预测可以仅被设置为具有正方向的预测模式，或者具有负方向的预测模式，或者具有负方向或正方向的预测模式。

如果不使用双向帧内预测，则编码器使用单向帧内预测来测试(845)块的帧内预测模式，例如，在HEVC中那样。否则，如果可以使用双向帧内预测，则编码器用单向帧内预测来测试(840)亮度分量的帧内预测模式，例如，如在HEVC那样执行帧内预测，并且编码器还用双向帧内预测测试(850)亮度分量的帧内预测模式。例如，通过使用方法700或使用方法7000和如上所述的各种实施例执行双向帧内预测并计算RD成本。测试可以通过计算RD成本来完成。基于编码性能，编码器确定(860)是否将双向帧内预测用于当前帧内预测模式，并且基于单向和双向预测的选择将双向标志设置为0或1。

对于色度分量，编码器可以基于用于DM_CHROMA模式的中心亮度CU的双向标志确定(870)是否使用双向帧内预测。如果亮度CU没有方向标志(因为其预测模式不属于使用双向预测的模式集合)，则使用默认值0来指示单向预测。

然后为色度分量测试(880)当前帧内预测模式。编码器检查(885)是否要为当前块测试更多的帧内预测模式。如果是，控制返回到步骤820。否则，编码器基于测试结果选择(890)要使用的最佳帧内预测模式(例如，在不同的帧内预测模式中选择RD成本最小的模式)。然后编码帧内预测模式和预测残差(890)。

如果帧内预测模式来自可以使用双向帧内预测的帧内预测模式集合，则双向标志也被编码(895)，例如，用上下文0或者依赖于模式的上下文进行上下文编码。对于使用帧内编码的其他块，也可以重复编码过程。

在上面，方法800可以使用当在双向预测中为当前块的目标样本的预测值进行插值时近似比率的任何一个实施例。

图9示出了根据实施例的用于用双向帧内预测进行解码的示例性方法900。方法900可以接受要解码的比特流作为输入，例如，使用方法800的输出作为输入。在初始化步骤905，解码器可以决定是否将双向帧内预测用于解码视频序列，以及哪些预测模式可以使用双向帧内预测。

在步骤910，解码器解码当前块的帧内预测模式。解码器检查(920)帧内预测模式是否属于可以使用双向预测的所选择的预测模式集合。如果不使用双向帧内预测，则解码器使用单向预测解码(990)块。否则，如果可以使用双向帧内预测，则解码器解码(930)指示(940)当前块使用单向帧内预测还是双向帧内预测的双向标志。只有当预测模式属于所选择的集合时，解码器才解码双向标志。如果预测模式不属于该集合，解码器不解码信令标志，并且假设双向标志的默认值为零。

如果使用单向预测，则解码器执行(960)单向帧内预测，例如，如在HEVC那样执行帧内预测。如果使用双向预测，则解码器使用例如方法700或方法7000以及如上所述的各种实施例来执行(950)双向帧内预测。使用预测和预测残差，可以解码当前块(965)。

对于色度分量，解码器可以基于中心亮度CU的双向标志来确定(970)是否使用双向帧内预测。色度分量然后被解码(980)。在另一个实施例中，色度分量的信令标志可以用依赖于模式的上下文进行上下文编码。可以对使用帧内编码的其他块重复解码过程。

以上描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

在本申请中使用各种数值，例如，预测方向的精度(1/32)，或参考阵列的长度(W、H、W+H或1+W+H)。应当注意，特定值是出于示例性目的，并且本实施例不限于这些特定值。

在上面，关于HEVC或基于HEVC标准的JVET描述了各种实施例。例如，如上所述的各种双向帧内预测方法可以用于修改如图1和图2所示的JVET或HEVC编码器和解码器的帧内预测模块(160，360)。然而，本实施例不限于JVET或HEVC，并且可以应用于其他标准、建议，及其扩展。

本申请中的各种实施例使用来自与正被编码或解码的图像中的块相邻的列和/或行的第一预测量和第二预测量。然而，在其他实施例中，这两个预测量取自(i)图像中不在与块相邻的行或列中的其他位置，或者(ii)其他图像。这种其他图像包括例如参考图像、不同视图和/或具有不同时域值的图像，诸如例如时间序列中的先前图像或后续的图像。

本申请中的各种实施例包括将数字取整到最接近的整数。在这些实施例的变型中，取整是向上取整到下一个更高整数和/或向下取整到下一个更低整数。

图10示出了可以实施示例性实施例的各个方面的示例性系统的框图。系统1000可以被实现为包括下面描述的各种组件的设备，并且被配置为执行上述过程。这种设备的示例包括但不限于个人计算机、膝上型计算机、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、联网的家用电器和服务器。系统1000可以可通信地耦合到其他类似的系统，并经由如图10所示的通信信道耦合到显示器，如本领域技术人员所知，以实施上述示例性视频系统。

系统1000可以包括至少一个处理器1010，该处理器1010被配置为执行加载在其中用于实施如上所讨论的各种过程的指令。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000还可以包括至少一个存储器1020(例如，易失性存储器设备、非易失性存储器设备)。系统1000还可以包括存储设备1020，该存储设备1020可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问存储设备。系统1000还可以包括编码器/解码器模块1030，被配置为处理数据以提供编码视频或解码视频。

编码器/解码器模块1030表示可以包括在设备中用以执行编码和/或解码功能的(多个)模块。正如所知，设备可以包括编码和解码模块中的一个或两个。此外，编码器/解码器模块1030可以被实施为系统1000的单独元件，或者可以被结合在处理器1010中，作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器1010上以执行上述各种过程的程序代码可以存储在存储设备1040中，并随后加载到存储器1020上以供处理器1010执行。根据示例性实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行上述过程期间存储各种项目中的一个或多个，包括但不限于输入视频、解码视频、比特流、等式、公式、矩阵、变量、运算和运算逻辑。

系统1000还可以包括通信接口1050，该通信接口1050使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为从通信信道1060发送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质中实施。系统1000的各种组件可以使用各种合适的连接来连接或通信耦合在一起，包括但不限于内部总线、线缆和印刷电路板。

示例性实施例可以由处理器1010实施的计算机软件或者由硬件或者由硬件和软件的组合来执行。作为非限制性示例，示例性实施例可以由一个或多个集成电路实施。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实施，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

本文描述的实施方式可以在例如方法或过程、装置、软件程序、数据流或信号中实施。即使仅在单一实施形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其他形式实施(例如，装置或程序)。一种装置可以在例如适当的硬件、软件和固件中实施。这些方法可以在例如诸如处理器的装置中实施，该处理器通常是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备(诸如例如计算机、手机、便携式/个人数字助理(“PDA”))、以及便于终端用户之间信息通信的其他设备。

提及“一个实施例”或“实施例”或“一个实施方式”或“实施方式”及其其他变型意味着结合该实施例描述的特定特征、结构、特性等被包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”的出现，以及在整个说明书的不同地方出现的任何其他变化，不一定都指同一实施例。

此外，本申请或其权利要求可能涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一个或多个。

此外，本申请或其权利要求可能涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。

此外，本申请或其权利要求可能涉及“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一个或多个。此外，在操作期间，诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常以一种方式或其他方式涉及“接收”。

对于本领域技术人员来说显而易见的是，实施可以产生各种信号，这些信号被格式化为携带例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令，或者由所描述的实施方式之一产生的数据。例如，信号可以被格式化以携带所述实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。正如所知，信号可以通过各种不同的有线或无线链路发送。信号可以被存储在处理器可读介质上。

Claims

1.一种用于视频解码的方法，包括：

解码(910)视频中图片的块的定向帧内预测模式，所述定向帧内预测模式具有方向；

基于所述定向帧内预测模式，访问(7010)样本的第一预测量，所述样本在所述块内；

基于所述定向帧内预测模式，访问(7020)所述样本的第二预测量，所述第一预测量和所述第二预测量在至少接近所述方向的线上，

通过使用所述第一预测量和所述第二预测量进行插值，来预测(7030)所述样本的样本值，其中所述插值响应于至少一个比率，并且其中所述比率的分母至少基于W+H并且所述分母是2的幂，其中W是所述块的宽度，H是所述块的高度；和

基于所预测的样本值，解码(965)所述块的样本。

2.根据权利要求1所述的方法，其中，所述插值还响应于所述第二预测量值和所述第一预测量值之间的差。

3.根据权利要求1所述的方法，其中，所述比率近似为其中y是所述样本在所述块中沿着垂直轴的坐标。

4.根据权利要求1所述的方法，其中，所述方向是正方向，并且其中所述比率近似为或/>其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

5.根据权利要求1所述的方法，其中，所述方向是负方向，并且其中所述比率近似为其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

6.一种用于视频编码的方法，包括：

访问视频中图片的块的定向帧内预测模式，所述定向帧内预测模式具有方向；

基于所述定向帧内预测模式，访问样本的第一预测量，所述样本在所述块内；

基于所述定向帧内预测模式，访问所述样本的第二预测量，所述第一预测量和所述第二预测量在至少接近所述方向的线上；

通过使用所述第一预测量和所述第二预测量进行插值来预测所述样本的样本值，其中所述插值响应于至少一个比率，并且其中所述比率的分母至少基于W+H并且所述分母是2的幂，其中W是所述块的宽度，H是所述块的高度；和

基于所预测的样本值，编码所述块的所述样本。

7.根据权利要求6所述的方法，其中，所述插值还响应于所述第二预测量值和所述第一预测量值之间的差。

8.根据权利要求6所述的方法，其中，所述比率近似为其中y是所述样本在所述块中沿着垂直轴的坐标。

9.根据权利要求6所述的方法，其中，所述方向是正方向，并且其中所述比率近似为或/>其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

10.根据权利要求6所述的方法，其中，所述方向是负方向，并且其中所述比率近似为其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

11.一种用于视频解码的装置，其包括一个或多个处理器，其中所述一个或多个处理器被配置为：

解码视频中图片的块的定向帧内预测模式，所述定向帧内预测模式具有方向；

基于所预测的样本值，解码所述块的所述样本。

12.根据权利要求11所述的装置，其中，所述插值还响应于所述第二预测量值和所述第一预测量值之间的差。

13.根据权利要求11所述的装置，其中，所述比率近似为其中y是所述样本在所述块中沿着垂直轴的坐标。

14.根据权利要求11所述的装置，其中，所述方向是正方向，并且其中所述比率近似为或/>其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

15.根据权利要求11所述的装置，其中，所述方向是负方向，并且其中所述比率近似为其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

16.一种用于视频编码的装置，其包括一个或多个处理器，其中所述一个或多个处理器被配置为：

基于所预测的样本值，编码所述块的所述样本。

17.根据权利要求16所述的装置，其中，所述插值还响应于所述第二预测量值和所述第一预测量值之间的差。

18.根据权利要求16所述的装置，其中，所述比率近似为其中y是所述样本在所述块中沿着垂直轴的坐标。

19.根据权利要求16所述的装置，其中，所述方向是正方向，并且其中所述比率近似为或/>其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。

20.根据权利要求16所述的装置，其中，所述方向是负方向，并且其中所述比率近似为其中y和x分别是所述样本在所述块中沿着垂直轴和水平轴的坐标。