CN111955006A - 用于使用复合参考阵列的帧内预测的方法和装置 - Google Patents

Abstract

描述了用于使用复合参考阵列的视频编码和解码中的帧内预测的方法和装置。在一个示例性实施例中，复合参考阵列由多个参考阵列中的两个或更多个参考阵列形成。可以通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近被编码或解码的视频数据的块的参考阵列上来形成复合参考阵列。然后，基于不同参考阵列上的预测器的位置来确定用于插值滤波器的滤波器系数。对来自不同参考阵列的参考样本进行插值，可以获得目标样本的预测器值。

Description

用于使用复合参考阵列的帧内预测的方法和装置

技术领域

本实施例中的至少一个一般涉及用于视频编码和解码的方法或装置，并且更具体地，涉及用于执行帧内预测或者使用由两个或更多个不同的参考阵列形成的复合参考阵列的方法或装置。不同的参考阵列可以包括视频样本的不同的行、列和/或层。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般地，使用帧内(intra)或帧间(inter)预测来利用帧内或帧间相关性，然后对原始图像块和预测图像块之间的差(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过与预测、变换、量化和熵编码对应的逆过程对压缩数据进行解码。

视频压缩中的帧内预测是指使用来自因果(causal)相邻块的信息对像素块进行空间预测，因果相邻块即相同帧中已被编码或解码的相邻块。帧内预测是一种强大的编码工具，因为它允许帧内以及帧间的高压缩效率。因此，帧内预测已经作为核心编码工具被包括在许多视频压缩标准中，包括但不限于由JVET(联合视频探索团队)开发的H.264/AVC(高级视频编码)、H.265/HEVC(高效视频编码)和H.266。

发明内容

根据至少一个实施例的一般方面，提出了一种用于编码视频数据的方法，包括：从视频数据的重建样本形成用于视频数据的块的多个参考阵列；通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行编码。

根据至少一个实施例的另一个一般方面，提出了一种用于解码视频数据的方法，包括：从视频数据的解码样本形成用于视频数据的块的多个参考阵列；通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行解码。

根据至少一个实施例的另一个一般方面，提出了一种用于编码视频数据的装置，包括至少一个存储器和一个或多个处理器，其中，一个或多个处理器被配置为：从视频数据的重建样本形成用于视频数据的块的多个参考阵列；通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行编码。

根据至少一个实施例的另一个一般方面，提出了一种用于编码视频数据的装置，包括：用于从视频数据的重建样本形成用于视频数据的块的多个参考阵列的部件；用于通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列的部件；用于从复合参考阵列计算用于视频数据的块的目标像素的预测器的部件；以及用于使用预测器对视频数据的块进行编码的部件。

根据至少一个实施例的另一个一般方面，提出了一种用于解码视频数据的装置，包括至少一个存储器和一个或多个处理器，其中，一个或多个处理器被配置为：从视频数据的解码样本形成用于视频数据的块的多个参考阵列；通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行解码。

根据至少一个实施例的另一个一般方面，提出了一种用于解码视频数据的装置，包括：用于从视频数据的解码样本形成用于视频数据的块的多个参考阵列的部件；用于通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列的部件；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行解码。

根据实施例，参考阵列包括在视频数据的块的上方的像素行和左侧的像素列。

根据另一实施例，使用高斯滤波器计算预测器。

根据另一实施例，高斯滤波器是4抽头高斯滤波器。

根据另一实施例，应用滤波器来使用复合参考阵列的最接近预测器的四个整数样本(integral sample)对预测器进行插值。

根据另一实施例，基于多个参考阵列中的两个或更多个参考阵列上的预测器位置来确定用于插值滤波器的系数。

根据另一实施例，对视频数据的块进行帧内预测。

根据另一实施例，预测方向对应于角度预测模式。

根据另一实施例，仅当预测器与最靠近视频数据的块的参考阵列上的样本不重合时，才形成复合参考阵列。

根据至少一个实施例的另一个一般方面，一种比特流被格式化为包括视频数据的编码块，其中，通过以下方式对视频数据的编码块进行编码：从视频数据的重建样本形成用于视频数据的块的多个参考阵列；通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据的块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列；从复合参考阵列计算用于视频数据的块的目标像素的预测器；以及使用预测器对视频数据的块进行编码。

本实施例中的一个或多个还提供一种计算机可读存储介质，其上存储有用于根据上述方法对视频数据进行编码或解码的指令。本实施例还提供一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供用于发送或接收根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了示例性视频编码器的框图。

图2A是描绘HEVC中用于帧内预测的参考样本的图示示例，图2B是描绘HEVC中的帧内预测方向和对应模式的图示示例，以及图2C是描绘JEM中的帧内预测方向和对应模式的图示示例。

图3示出了示例性视频解码器的框图。

图4以图示示出了多参考帧内预测的示例性概念，其中参考层n指第n参考行和列。

图5A示出了使用两个参考阵列的帧内预测，其中预测方向被扩展以获得针对目标像素的第二参考阵列上的预测器，以及图5B示出了使用两个参考阵列的另一帧内预测，但是目标块仅包含具有方向性的对象的一部分。

图6示出了通过沿着帧内预测方向将参考阵列之一投影到最靠近视频数据的目标块的参考阵列上而形成的复合参考阵列。

图7以图示示出了基于预测器的位置生成4抽头(4-tap)高斯滤波器的滤波器系数。

图8A示出了在预测器左侧的较近的参考样本属于参考阵列1的场景，以及图8B示出了在预测器左侧的较近的参考样本属于参考阵列2的场景。

图9示出了根据实施例的帧内预测的示例性方法。

图10示出了根据另一实施例的帧内预测的示例性方法。

图11示出了根据实施例的视频编码的示例性方法。

图12示出了根据实施例的视频解码的示例性方法。

图13示出了在其中可以实现示例性实施例的各个方面的示例性装置的框图。

具体实施方式

图1示出了示例性视频编码器100，诸如HEVC编码器。HEVC是由视频编码联合协作团队(JCT-VC)开发的压缩标准(例如，参见“ITU-T H.265ITU电信标准化部门(10/2014)，系列H：视听和多媒体系统，视听服务的基础设施——运动视频编码，高效视频编码，建议书ITU-T H.265”)。图1还可以示出其中对HEVC标准进行了改进的编码器或采用类似于HEVC的技术的编码器，诸如基于JVET正在开发的JEM(联合探索模型)的编码器或基于其改进的编码器。

在本申请中，术语“重建的”和“解码的”可以互换使用，术语“像素”和“样本”可以互换使用，并且术语“图片”和“帧”可以互换使用。通常但并非必须的，术语“重建的”用于编码器侧，而“解码的”用于解码器侧。

HEVC规范区分“块”和“单元”，其中“块”针对样本阵列(例如亮度，Y)中的特定区域，而“单元”包括所有编码的颜色分量(Y、Cb、Cr或单色)的并置(collocated)块、语法元素以及与这些块相关联的预测数据(例如，运动矢量)。

为了进行编码，将图片分割为具有可配置尺寸的正方形形状的编码树块(CTB)，并将连续的编码树块的集合分组为切片。编码树单元(CTU)包含编码的颜色分量的CTB。CTB是被分割为编码块(CB)的四叉树的根，并且编码块可以被分割为一个或多个预测块(PB)，并形成被分割为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构的集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可用于指代例如CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”还可以用于指代H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。

在图1的示例性编码器100中，如下所述，通过编码器元件对图片进行编码。以CU为单位对要编码的图片进行处理。使用帧内或帧间模式对每个CU进行编码。当以帧内模式对CU进行编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来对CU进行编码，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。

然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器还可以跳过该变换，并以4×4TU为基础将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且将编码单元样本直接编码到比特流中。

编码器对编码块进行解码，以为进一步的预测提供参考。对量化的变换系数进行解量化(140)和逆变换(150)以解码预测残差。结合(155)解码的预测残差和预测块，重建图像块。环内滤波器(165)被应用于重建的图片，以例如执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波后的图像被存储在参考图片缓冲器(180)。

图3示出了诸如HEVC解码器的示例性视频解码器300的框图。在示例性解码器300中，如下所述，由解码器元件对比特流进行解码。视频解码器300一般执行与如图1所示的编码遍历(pass)相应的解码遍历，其执行视频解码作为对视频数据进行编码的一部分。图3还可以示出其中对HEVC标准进行了改进的解码器或采用类似于HEVC的技术的解码器，诸如基于JEM的解码器或基于JEM改进的解码器。

具体地，解码器的输入包括可由视频编码器100生成的视频比特流。首先对该比特流进行熵解码(330)以获得变换系数、运动矢量和其他编码信息。对变换系数进行解量化(340)和逆变换(350)以解码预测残差。结合(355)解码的预测残差和预测块，重建图像块。可以从帧内预测(360)或运动补偿预测(即帧间预测)(375)获得(370)预测块。高级运动矢量预测(AMVP)和合并模式技术可以用于推导用于运动补偿的运动矢量，其可使用插值滤波器来计算参考块的子整数样本的插值值。环内滤波器(365)被应用于重建的图像。滤波后的图像被存储在参考图片缓冲器(380)。

为了利用空间冗余，从相同切片内的重建的相邻样本中预测帧内模式下的CU。当考虑当前CU的编码/解码时，因果相邻CU已经被编码/解码。为了避免误匹配，编码器和解码器具有相同的预测。因此，编码器和解码器两者都使用来自重建/解码的相邻因果CU的信息来形成对当前CU的预测。

HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测和(3)预测样本的后处理。在图2中示出了用于帧内预测的示例性HEVC参考样本，其中参考样本候选是在目标块(无阴影)的顶部的行(有阴影)和左侧的列(也有阴影)。坐标(x，y)处的像素值在图2A中以P(x，y)示出。对于尺寸为N×N的CU，根据解码的CU形成顶部的2N个解码样本的行。类似地，根据解码的CU形成左侧的2N个样本的列。来自左上方的解码的CU的拐角像素用于填充上方行和左侧列参考之间的间隙。如果样本中的某些样本不可用，例如，当相应的CU不在相同切片中或者当前CU在帧边界处时，则执行参考样本替换，其中以顺时针方向从可用样本中复制丢失的样本。然后，根据当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。

下一步，即帧内样本预测，包括基于参考样本来预测目标CU的像素。为了有效地预测不同种类的内容，HEVC支持一系列预测模式。具体地，平面和DC预测模式用于预测平滑且逐渐变化的区域，而定向预测模式(也被称为“角度预测模式”)用于捕获不同的定向结构。HEVC支持索引从2到34的33种定向预测模式。这些预测模式对应于如图2B所示的不同预测方向，其中数字(即2，3，……，34)表示帧内预测模式索引。由于预测的主要来源是水平方向，因此将预测模式2-17表示为水平预测模式(H-26至H+32)。相应地，将模式18-34表示为垂直预测模式(V-32至V+32)。图2B中的“H”和“V”分别用于指示水平和垂直的方向性，而标识符的数字部分指示1/32像素分数下的像素位移(也被称为“角度参数”)。

下面的表1示出了HEVC指定的定向预测模式与角度参数A之间的关系：

表1

具有非负位移的方向(即，H0至H+32和V0至V+32)也被表示为正方向，具有负位移的方向(即H-2至H-26和V-2至V-32)也被表示为负方向。也可以将正预测方向定义为具有正A值的方向，将负预测方向定义为具有负A值的方向。

如图2B所示，所定义的角度方向具有1/32的样本精度。也就是说，水平或垂直方向上的两个像素之间的间隔被划分为32个子间隔。如上所述，可以将所定义的方向区分为垂直或水平。水平方向上的预测模式仅使用左侧参考样本，或者使用一些左侧和一些顶部参考样本。类似地，垂直方向上的预测模式仅使用顶部参考样本，或者使用一些顶部和一些左侧参考样本。从H0至H+32的水平正方向仅使用左侧参考样本进行预测。类似地，从V0到V+32的垂直正方向仅使用顶部参考样本进行预测。负水平方向和负垂直方向(H-2至H-26和V-2至V-32)使用左侧和顶部两者的参考样本进行预测。

在JEM中，当前的提议与HEVC相比增加了帧内预测模式的数量。例如，如图2C所示，JEM 3.0除了平面模式0和DC模式1外，还使用65种方向帧内预测模式。以如图2B所示的在HEVC中从2到34那样的相同方式，方向帧内预测模式以增加的顺序从2到66编号。65种定向预测模式包括HEVC中指定的33种定向预测模式加上与两个原始角度之间的角度相对应的32种附加的定向预测模式。换句话说，JEM中的预测方向的角度分辨率是HEVC的两倍。已经提出了更多数量的预测模式，以使用所提出的更大的块尺寸来利用更精细的角度结构的可能性。

在HEVC参考代码中，首先使用顶部和左侧参考样本构建参考阵列。对于垂直预测，参考阵列是水平的(即，一行参考样本)，并且对于水平预测，参考阵列是垂直的(即，一列参考样本)。对于具有正方向和正角度参数A的模式(模式2至10和26至34)，取决于方向，参考阵列仅仅是顶部或左侧参考样本：

TopRef[x]＝P[x-1][-1]，0≤x≤2N，对于垂直方向

LeftRef[x]＝P[-1][y-1]，0≤y≤2N，对于水平方向

其中，N是CU尺寸。常规的是将目标CU的左上像素处的样本坐标初始化为(0，0)。因此，顶部参考样本的y坐标将为-1，并且左侧参考样本的x坐标将为-1，如图2A所示。

对于具有负方向和负角度参数A的模式(模式11至25)，参考阵列需要顶部和左侧参考阵列两者中的像素。在这种情况下，参考阵列将扩展到0之外的负索引。取决于垂直预测或水平预测，如上面那样获得具有正索引的参考阵列上的样本值。通过在预测方向上将左侧参考像素(对于垂直预测)或顶部参考像素(对于水平预测)投影到参考阵列上，获得具有负索引的参考阵列上的样本值。

一旦构建了参考阵列，就可以通过沿选定方向将像素位置投影到参考阵列，然后复制在(x，y)处的参考阵列样本值，来获得目标CU内部任意像素位置(x，y)处的预测。通过在两个相邻样本之间进行插值来以(1/32)的样本分辨率计算参考样本值，如下所示：

P[x][y]＝((32-f)*topRef[x+i+1]+f*topRef[x+i+2]+16)>>5)，0≤x,y<N，对于垂直方向

P[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)>>5)，0≤x,y<N，对于水平方向

其中，i和f表示离像素位置(x，y)的投影位移的整数部分和分数部分。

如果Δ表示投影位移，则

对于水平预测，Δ＝(x+1)*A，并且

对于垂直预测，Δ＝(y+1)*A。

然后，如下获得位移的整数部分和分数部分：

i＝Δ>>5，f＝Δ&31。

注意，如果f＝0(也就是说，没有分数部分)，则预测等于在预测方向上的参考阵列样本值。在这种情况下，不需要插值。

在JEM中，上述插值被替换为利用4抽头滤波器进行滤波。如果当前块的宽度(高度)是4或8，则所选择的滤波器是用于垂直(水平)预测模式的4抽头立方滤波器，否则是4抽头高斯滤波器。滤波器系数取决于分数部分f。对于不同的f值，取决于预测器样本离四个参考样本的距离，存在不同的滤波器系数的集合。预测器是用于预测目标像素的样本。在JEM中，以(1/64)的样本分辨率来计算预测器，例如，i＝Δ>>6，f＝Δ&63。如果f≠0，并将针对对应的f的滤波器系数表示为h[0]、h[1]、h[2]和h[3]，则预测器样本被插值为：

P[x][y]＝(h[0]*topRef[x+i]+h[1]*topRef[x+i+1]+h[2]*topRef[x+i+2]+h[3]*topRef[x+i+3]+128)>>8)，0≤x,y<N，f>0，对于垂直方向

P[x][y]＝(h[0]*leftRef[y+i]+h[1]*leftRef[y+i+1]+h[2]*leftRef[y+i+2]+h[3]*leftRef[y+i+3]+128)>>8)，0≤x,y<N，f>0，对于水平方向

由于具有整数值的滤波器系数之和始终为256，因此滤波包括256的缩放比例。另一方面，如果f＝0，则不需要插值，并且将预测方向上的参考样本用作预测器。

诸如DC模式以及直接水平模式(即，HEVC中的模式10、JEM中的模式18)和直接垂直模式(即，HEVC中的模式26、JEM中的模式50)的预测模式中的一些可能会导致预测样本的CU边界处不连续。因此，在HEVC中以及在JEM中，在这些预测模式之后是后处理步骤，其中使用低通滤波器对预测样本的边界进行平滑。这里，直接水平模式是指将目标块左侧的参考样本水平地向右重复以进行帧内预测的预测模式。类似地，直接垂直模式是指将目标块顶部的参考样本垂直地向下重复以进行帧内预测的预测模式。

由于存在多个可用的帧内预测模式，所以解码器需要模式信息来形成针对帧内编码的CU的预测。编码器使用针对亮度分量的最可能模式(MPM)集对模式信息进行编码。HEVC规定了由三个不同模式组成的MPM集，其由当前CU顶部和左侧的帧内编码的CU的预测模式、平面模式、DC模式和直接垂直模式构成。

可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式包括在三个最可能模式(MPM)的构造列表中，则通过MPM列表中的索引来发信号通知该模式。否则，通过模式索引的固定长度二进位制来发信号通知该模式。从顶部和左侧相邻块的帧内预测模式、平面模式、DC模式和直接垂直模式中得出三个最可能模式。

多参考帧内预测是指使用参考像素的多个行和列的帧内预测。图4示出了多参考帧内预测的示例。其也称为任意阶(tier)参考帧内预测或多线帧内预测。在编码器处，对于给定的预测模式，首先使用每个参考层来预测目标块。然后，将产生最佳RD(速率失真)性能的参考层发信号通知给解码器，以使解码器使用与编码器相同的参考层。可以以与在HEVC中相同的方式进行使用任何参考层的预测，或者可以通过补偿更靠近目标块的参考层的残差来改善从更远离目标块的参考层进行的预测。由于编码器必须检查从每个层进行预测的RD成本，因此这两个提议在编码器处需要高的复杂性。实际上，由于RD成本计算是编码器处最复杂的任务，因此对于N个参考层，复杂度可能会上升N倍。

如前面提到的，帧内预测的目的是使用参考阵列尽可能接近地预测目标块内容。参考阵列仅包含整数位置处的参考样本。然而，具有一些角度预测模式的用于某些像素的预测器样本可能位于两个参考样本之间的中间位置。如前所述，这使得有必要使用参考阵列样本对此类预测器值进行插值。如果我们有多个参考阵列，则由于视频内容的方向性的基本假设，因此可以提高插值精度。

如图5A所示，当用于目标像素的预测器样本位于顶部参考阵列上的两个参考样本之间时，考虑垂直角度预测模式。在这种情况下，在HEVC中，如前面提到的，将使用图5A中的参考样本p2和p3对预测器样本进行线性插值。在JEM中，将在对图5A中的四个参考样本p1、p2、p3、p4进行滤波之后，对预测器样本进行插值。在这种情况下，预测器样本仅是估计。如果将预测方向再扩展一行，则该线将在不同的点处与第二行交叉。同样，我们可以通过仅使用参考阵列2中的参考样本p6和p7，或者使用参考阵列2中的四个参考样本p5、p6、p7和p8，对用于目标像素的第二预测器进行插值。

为了理解方向性效果，考虑对象部分地覆盖目标块和参考阵列的情况，如图5B所示。在这种情况下，由于参考样本p4与参考样本p1、p2和p3不属于相同对象，即使它们都属于参考阵列1，使用4抽头滤波器对预测器样本进行插值将导致不准确的估计。另一方面，如果我们使用四个参考样本：参考阵列1中的p2和p3以及参考阵列2中的p6和p7，对预测器进行插值，这将导致更准确的估计。

因此，本实施例的基本思想是沿着预测方向，对象上的强度值保持不变或不急剧变化。这也是沿着预测方向复制参考样本值以进行预测的基础假设。沿着预测方向的第二参考阵列上的参考样本与第一参考阵列上的更远离投影线的参考样本相关。在极少数情况下，可能会有对象边界恰好落在第一参考阵列上，这将导致参考阵列2中的参考样本p6和p7不属于同一对象。如将在之后描述的，如果需要，可以使用启发法(heuristics)来选择性地检测这些场景。

再次，根据本实施例的基础认识或概念是使用沿着预测方向来自多个参考阵列的样本对预测器样本进行插值。即使当前概念可以应用于任意数量的参考阵列，但是为了清晰呈现且保持着眼于实用和有效的实现方式，我们在这里仅使用两个参考阵列来呈现我们的示例性实施例。因此，为了进行帧内预测，我们将像在HEVC或JEM中那样形成顶部和左侧参考阵列。我们将它们称为参考阵列1、参考阵列2，依此类推，例如，如图5A和图5B所示。注意，取决于预测模式是对应于垂直方向还是水平方向，参考阵列n(n＝1，2，……)可以分别表示顶部参考阵列或左侧参考阵列。

然而，由于在交换顶部参考阵列和左侧参考阵列并且交换目标块的高度和宽度之后，水平预测可以被实现为垂直预测，因此我们将仅使用垂直预测来说明本实施例。因此，我们首先按照HEVC或JEM中的参考样本生成算法来生成参考样本。然后，我们使用这些样本形成参考阵列。对于具有正角度参数A的模式(HEVC中的模式2至10和26至34、JEM中的模式2-18和50-66)，参考阵列n仅仅是参考层n的顶部参考样本，例如，如图4所示，其中参考阵列1是最靠近视频数据块的参考阵列：

Ref_n[x]＝P[x-n][-n],0≤x≤W+H+2n-2,n＝1,2,3,…

对于具有负角度参数A的模式(HEVC中的模式11至25、JEM中的模式19至49)，如上所述获得具有正索引的参考阵列上的样本值，并通过沿着预测方向对相同参考阵列上的对应参考层的左侧参考像素进行投影来获得具有负索引的那些样本值。

注意，可以不必在解码器处对整个参考阵列进行投影。我们可以只需要对所需的样本进行投影。所需的样本取决于预测模式。

考虑垂直角度预测，其中目标像素在参考阵列1上的分数距离处具有预测器样本，如图6所示。在JEM中，将对参考阵列1中的四个样本p1、p2、p3和p4进行滤波以对预测器进行插值。然而，根据本实施例中的一个，我们首先构造由来自图6中所示的参考阵列1和参考阵列2两者的样本组成的复合参考阵列。也就是说，来自参考阵列2的样本沿着帧内预测模式的预测方向被投影到参考阵列1上。对于大多数角度预测模式，样本从参考阵列2到参考阵列1的投影将导致交替来自两个参考阵列的参考样本，如图6所示。也就是说，复合参考阵列将包含来自两个参考阵列的交替的样本。我们的目的是使用复合阵列上最接近的参考样本(例如，四个最接近的样本)对预测器进行插值。

可以使用例如JEM中的插值滤波器来完成插值。此外，即使插值滤波器可以是大于或等于2的任何有限阶，但是为了说明，我们使用阶数为4的高斯滤波器来呈现本实施例。考虑到计算该滤波器的系数的困难，我们从JEM中使用的4抽头高斯滤波器开始，然后呈现计算用于插值的该滤波器的系数的方法。

注意，对于严格垂直模式(HEVC中的模式26和JEM中的模式50)和严格水平模式(HEVC中的模式10和JEM中的模式18)，所有目标像素都具有整数位置处的预测器。类似地，对于垂直对角线模式(HEVC中的模式34和JEM中的模式66)、对角线上模式(HEVC和JEM两者中的模式2)和对角线下模式(HEVC中的模式18和JEM中的模式34)，所有目标像素都将具有整数位置处的预测器。对于这些预测模式，我们仅使用第一参考阵列，就像在JEM代码中所做的那样，因为无需对预测器样本进行插值。

复合阵列上的样本之间的间距不是均匀的(除了来自第二参考阵列的参考样本被投影在第一参考阵列上的样本之间的正中间的预测模式)。因此，我们不能照原样使用JEM中使用的4抽头高斯滤波器。此外，我们注意到来自第一参考阵列和第二参考阵列的样本之间的间距随着预测模式而变化。这使得难以像通常对高斯滤波器所做的那样计算滤波器系数。在下文中，我们提出了使用现有的4抽头高斯滤波器来计算滤波器系数的示例性计算方法。

对于JEM中使用的4抽头高斯滤波器，针对不同的f值，按照f从0到63(具有1/64的样本分辨率)，将参数值h[0]、h[1]、h[2]、h[3]制成表格。由此，所计算出的表格将包含64组值{h[0]，h[1]，h[2]，h[3]}，如下所示并计算如下：

{

{h[0]，h[1]，h[2]，h[3]}，//对于f＝0

{h[0]，h[1]，h[2]，h[3]}，//对于f＝1

……

{h[0]，h[1]，h[2]，h[3]}，//对于f＝63

}

或者可以如图7所示来设计4抽头滤波器：

k≡f/64

并且，

h[0]＝round(h′[0]*256)；

h[1]＝round(h′[1]*256)；

h[2]＝round(h′[2]*256)；

h[3]＝round(h′[3]*256)；

h[0]+h[1]+h[2]+h[3]＝256

方法1

对于给定的预测模式和给定的目标像素，就预测器位置而言，只能有两种情况。在一种场景下，预测器像素左侧的较近的参考像素属于参考阵列1，以及在第二种场景下，较近的像素是来自参考阵列2的样本的投影。这两种情况分别在图8A和图8B中示出。

图8A示出了场景1，其中预测器左侧的较近的参考样本(即p2)属于参考阵列1。在场景1中，我们令f1表示投影位移的分数部分，其给出为：

f1＝Δ₁&63 (1)

其中Δ₁表示在第一参考阵列上的投影位移。这里，对于插值分辨率64，在等式(1)中使用“63”。如果使用其他分辨率(R)，则等式(1)变为f1＝Δ₁&(R-1)。

图8B示出了场景2，其中预测器左侧的较近的参考样本属于参考阵列2。在场景2中，我们令f2表示投影位移相对于第二参考阵列的分数部分，其给出为：

f2＝Δ₂&63 (2)

其中，对于水平预测，Δ₂＝(x+2)*A，并且对于垂直预测，Δ₂＝(y+2)*A。注意，可以在参考阵列2或复合阵列中计算f2，并且结果将是相同的，因为从参考阵列2到参考阵列1的投影不会影响距离。

如图8A和图8B所示，将复合阵列上的四个最接近的参考样本表示为p1、p2、p3和p4，我们将用于目标像素p的预测器插值为：

滤波器系数h[0]，……，h[3]是从场景1中的f1的值和场景2中的f2获得的。也就是说，在场景1中，高斯滤波器对应于f1值，而在场景2中，高斯滤波器对应于f2值。

图9示出了根据实施例的用于使用帧内预测来预测块的示例性方法900。方法900的输入可以包括要被帧内预测的块和帧内预测定向模式。方法900可以应用于编码器和解码器。

对于待预测的当前样本P(x，y)，编码器或解码器可以确定(910)预测器在参考阵列1上的位置。可以沿着帧内预测方向将参考阵列2投影(920)到参考阵列1以形成复合参考阵列，例如，如图8A和图8B所示。然后，编码器或解码器使用等式(1)计算(925)f1且使用等式(2)计算(925)f2，并比较它们的值。如果(930)较近的参考样本来自参考阵列1(也就是说，f1较小)，则使用(940)f1来确定滤波器系数。否则，使用(950)f2来确定滤波器系数。然后，对复合阵列中最接近预测器的四个样本进行滤波(960)以获得预测器值。如果在块中有更多样本要预测(970)，则该过程继续。否则，对块的帧内预测完成，并且预测块准备就绪。

方法2

在这种方法中，我们首先确定针对两个参考阵列的两个高斯滤波器，然后从中推导针对复合参考阵列的滤波器。因此，例如，如JEM中所指定的，令

以及

分别表示针对分数部分f1和f2的两个高斯滤波器。我们计算用于复合参考阵列的四个系数为：

h11＝h1[0]+h1[1]，

h12＝h1[2]+h1[3]，

h21＝h2[0]+h2[1]，

h21＝h2[0]+h2[3]。

使用这些系数，我们将用于目标像素p的预测器插值为：

对于场景1，

以及(3)

对于场景2，

如果我们仅使用利用两个最接近参考样本的2抽头高斯滤波器，则h11和h12将表示要与来自参考阵列1的参考样本一起使用的滤波器系数。类似地，h21和h22将表示要与来自参考阵列2的参考样本一起使用的两个高斯滤波器系数。因此，等式(3)或等式(4)中的滤波表示对在两个参考阵列上应用的利用2抽头高斯滤波器进行的滤波的平均。

图10示出了根据另一实施例的用于使用帧内预测来预测块的示例性方法1000。类似于方法900，方法1000的输入可以包括要进行帧内预测的块和帧内预测定向模式。方法1000可以应用于编码器和解码器。

对于待预测的当前样本P(x，y)，编码器或解码器可以计算(1010)f1和f2。基于f1的值，可以确定(1020)第一组滤波器系数(h1[0]，h1[1]，h1[2]和h1[3])。类似地，可以使用值f2来确定(1020)第二组滤波器系数(h2[0]，h2[1]，h2[2]，h2[3])。然后，例如，如上所述，可以计算滤波器系数h11、h12、h21和h22。

可以沿着帧内预测方向将参考阵列2投影(1040)到参考阵列1以形成复合参考阵列，例如，如图8A和图8B所示。然后，基于f1和f2的值，编码器或解码器决定(1050)预测器左侧的较近的参考样本是来自参考阵列1还是来自参考阵列2。如果较近的参考样本来自参考阵列1(也就是说，f1较小)，则例如使用等式(3)对复合阵列中最接近预测器的四个样本进行滤波(1055)以获得预测器值。否则，如果较近的参考样本来自参考阵列2(也就是说，f2较小)，则例如使用等式(4)对复合阵列中最接近预测器的四个样本进行滤波(1060)以获得预测器值。如果在块中有更多样本要预测(1070)，则该过程继续。否则，对块的帧内预测完成，并且预测块准备就绪。因此，沿着预测方向来自多个参考阵列的参考样本被用于计算预测器，而不是使用第一参考阵列上的所有样本。

方法3

在该方法中，在第一步，如在方法2中那样，确定针对两个参考阵列的两个高斯滤波器。然后，我们按照与方法2中相同的计算方法来获得中间值h11、h12、h21和h22。然后，在场景1中，我们获得滤波器系数为：

h[0]＝(h11*h2[0]+128)>>8，

h[1]＝(h11*h2[1]+128)>>8，

h[2]＝(h12*h2[2]+128)>>8，

h[3]＝(h12*h2[3]+128)>>8。 (5)

在场景2中，我们获得滤波器系数为：

h[0]＝(h21*h1[0]+128)>>8，

h[1]＝(h21*h1[1]+128)>>8，

h[2]＝(h22*h1[2]+128)>>8，

h[3]＝(h22*h1[3]+128)>>8。 (6)

使用这些值，我们将用于目标像素p的预测器插值为：

其中，iSum＝(h[0]+h[1]+h[2]+h[3])，并且p1、p2、p3和p4是复合阵列上的四个参考像素。注意，这里滤波器系数的和无需为2的幂。

可以以与方法1000类似的过程执行根据“方法3”的帧内预测，其中滤波有所改变。具体地，可以调整步骤1055为使用等式(5)获得滤波器系数并使用等式(7)进行滤波，并且可以调整步骤1060为使用等式(6)获得滤波器系数并使用等式(7)进行滤波。

如前面提到的，如果我们仅使用利用两个最接近参考样本的2抽头高斯滤波器，则h11和h12将表示要与参考阵列1上的参考样本一起使用的滤波器系数。现在，当将来自参考阵列2的两个参考样本投影到参考阵列1上并且具有场景1时，我们可以以系数h2[0]和h2[l]的比例从h11推导针对样本p1和p2的结果滤波器系数(h[0]和h[l])，如等式(5)所示。注意，在高斯滤波器的情况下，滤波器系数表示分配给要滤波的相应样本的概率，并且所有系数均为正。类似地，我们可以以系数h2[2]和h2[3]的比例从h12推导针对样本p3和p4的结果滤波器系数(h[2]和h[3])，如等式(5)所示。类似地，在场景2中，由于来自第二参考阵列中的左侧参考样本更接近，所以我们使用滤波器系数h21和h22。注意，结果系数仅仅表示对复合阵列上的滤波器系数的近似值。然而，与仅使用两个2抽头高斯滤波器的平均的方法2不同，方法3考虑了参考样本在复合阵列上的位置来计算系数。

在方法1-方法3中，复合阵列用于说明使用来自不同参考阵列的样本进行插值的概念。通过使用复合阵列的概念，通过考虑来自不同参考阵列的参考样本与预测器样本之间的距离设计插值滤波器。即，可以将可能来自不同参考阵列的参考样本的滤波器系数设计为向离投影线更近的参考样本赋予更多权重，从而实现更准确的帧内预测。在一些实施例中，可以直接使用来自参考阵列的参考样本来实现上述方法，而无需实际形成复合参考阵列。回想一下，我们的目标是使用沿着预测方向来自多个参考阵列的参考样本对预测器进行插值，而不是仅使用来自第一参考阵列的所有四个参考样本进行插值。理想情况下，我们会使用2D高斯滤波器对预测器进行插值。然而，在这种情况下，确定滤波器系数并非易事，因为它取决于预测方向以及预测器在参考阵列上的位置。为了说明来自不同参考阵列的所使用的参考样本，并且为了如方法1-方法3中所呈现的那样推导近似滤波器系数，这里呈现了复合阵列的概念。

在复合参考阵列的构建中，存在一个基本假设，即对象强度在所考虑的参考阵列上沿其定向保持恒定或缓慢变化。如果我们允许对象强度沿其定向变化，则将使得利用权重将样本从第二参考阵列投影到复合参考阵列上成为必要。等效地，这可以通过对相应的滤波器系数进行加权来实现。

上面呈现的示例性方法只是能够获得用于所使用的插值滤波器的滤波器系数的一些技术。一般地，可以将预测器插值为：

其中L表示滤波器的长度。注意，我们已假设系数被归一化。对于定点实现方式，如上面的方法那样，需要通过适当的缩放因子对该表达式进行归一化。

图11示出了根据实施例的由编码器(例如，图1中的编码器100)执行的用于对视频数据进行编码的示例性编码方法1100。在步骤1110处，编码器从视频数据的重建样本形成用于视频数据块的多个参考阵列。在步骤1120处，编码器通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列。在步骤1130处，编码器从复合参考阵列计算用于视频数据块中的目标像素的预测器。在步骤1140处，编码器使用预测器对视频数据块进行编码。

图12示出了根据实施例的由解码器(例如，图3中的解码器300)执行的用于对视频数据进行解码的示例性解码方法1200。在步骤1210处，解码器从视频数据的解码样本形成用于视频数据块的多个参考阵列。在步骤1220处，解码器通过沿着预测方向将多个参考阵列中的一个或多个投影到最靠近视频数据块的参考阵列上，从多个参考阵列中的两个或更多个形成复合参考阵列。在步骤1230处，解码器从复合参考阵列计算用于视频数据块中的目标像素的预测器。在步骤1240处，解码器使用预测器对视频数据块进行解码。

在下文中，我们提出了几个附加实施例，其使用所提出的利用多个参考阵列的帧内预测来形成复合参考阵列。我们基于当前的JEM编解码器来呈现我们的实施例。假设当前JEM编解码器中的诸如位置依赖帧内预测组合(PDPC)和参考样本自适应滤波(RSAF)的帧内预测工具被禁用，或者每当目标块使用单个参考层进行帧内预测时就激活。

附加实施例1

在非限制性实施例中，为了使用任何角度帧内预测模式来预测目标块，我们使用两个参考阵列。如前面已经提到的，参考阵列的数量可以大于两个且是可变的，但是为了保持低的附加复杂度，我们仅使用两个参考阵列来说明本示例。在进行预测之前，通过使用顶部、右上方、左侧、左下方和左上方CU中的已解码的像素，以与JEM中完全相同的方式来构建参考阵列。然后，如之前已经描述的，对于给定的预测模式，我们使用两个参考阵列来构建复合参考阵列。现在，对于每个目标像素，取决于预测器样本与第一参考阵列上的参考样本是否重合，我们使用第一参考阵列或复合参考阵列来计算预测值。也就是说，如果位移的分数部分为零，则我们直接使用来自第一参考阵列的参考样本作为预测器，否则，我们使用复合参考阵列对预测器进行插值。我们可以使用之前描述的计算方法中的任何一个，也可以使用任何其他技术来对预测器样本进行插值。由于对于任何预测模式，解码器都会根据位移的分数部分的值知道用于目标像素的参考阵列，因此不需要附加的信令来指示用于预测的参考阵列。

附加实施例2

在另一非限制性实施例中，如上述附加实施例1中那样，我们预测目标块，不同之处在于，通过附加的启发法来决定在位移的分数部分非零的情况下，使用复合参考阵列还是参考阵列1。例如，如果目标块的高度(或宽度)小于针对垂直(或水平)角度预测模式的某个值，则可以使用复合参考，否则，我们可以仅使用第一参考阵列。其他可能的启发法度量可以是，例如，目标块的高度和宽度的和、目标像素与预测器的距离、预测器处的边缘强度(避免在第一参考层处存在对象边缘的情况下使用参考阵列2)，等等。解码器可以使用与编码器相同的启发法，因此，解码器将知道哪个参考阵列被用于预测。因此，不需要发送附加的信令比特来指示预测方法。

附加实施例3

在又一非限制性实施例中，我们以与上述前两个附加实施例相同的方式并且还通过标准单参考阵列方法来预测亮度目标块。在这两个预测之间，我们选择带来更好RD性能的那个，并使用CU级别的一比特标志将预测发信号通知给解码器。使用固定上下文、依赖于预测模式的上下文或依赖于邻域的上下文对信令标志进行上下文编码。

对于色度目标块，我们可以采用两种可能的方法之一。在一种方法中，我们可以应用与相关联的亮度目标块相同的预测方法(即，多参考或单参考)。在这种情况下，无需发送用于色度块的单独的信令标志。解码器将从相关联的亮度目标块中推导预测方法的类型。在另一种方法中，我们可以对色度目标块执行多参考预测和单参考预测两者，并选择带来更好RD性能的那个。在这种情况下，我们使用CU级别的一比特标志来发信号通知预测方法。类似于用于亮度块的标志，可以使用固定上下文、依赖于预测模式的上下文或依赖于邻域的上下文对该标志进行上下文编码。对于使用单个参考阵列预测的目标块，可以选择性地激活其他帧内预测工具，诸如JEM中的PDPC和RSAF。而且，可替代地，可以以切片报头级别、图片参数集(PPS)报头级别或序列参数集(SPS)报头级别来发信号通知用于发信号通知所选的预测类型的一比特标志。

我们使用全帧内(all-intra，AI)配置的JEM代码进行了实验，其中只有一帧来自JVET测试序列。如在先前所述的附加实施例1中那样，我们使用了两个参考阵列来预测目标块。对于预测器样本的插值，我们使用了所有三种插值方法，即如前所述的方法1至方法3。下面的表2至表4示出了所提出的复合多参考帧内预测相比单参考帧内预测的BD

速率性能，其中复合参考根据两个参考阵列、以及分别如方法1至方法3所示的插值计算形成。

表2-方法1

表3-方法2

表4-方法3

从上表可以看出，方法2插值在三种插值方法中表现最好。尽管方法1和方法3对于较低分辨率的序列(类C-E)表现良好，但对于较高分辨率的序列(类A1、A2、B)，它们导致BD速率损失。因此，方法2似乎在所有类别的序列上都具有均衡的性能。

在第二组实验中，我们如附加实施例2中所描述的那样预测了目标块。在第一种情况下，如果目标块的宽度和高度之和小于32，则我们使用方法2用于预测器插值，否则，我们使用利用单个参考阵列的普通预测。在第二种情况下，对于预测器插值，如果目标块的高度(宽度)小于16，则我们使用方法3；如果块的高度(宽度)为16，则使用方法2；否则，使用普通预测，用于垂直(水平)角度预测。BD速率性能结果分别示出在表5和表6中。正如我们已经注意到的，这些混合方法比仅使用方法2或方法3插值方法具有更好的性能。

表5

表6

因此，本实施例旨在使用附加参考阵列形成复合参考阵列来提高目标块的预测准确度，从而导致更高的编码增益。由于编码器不必像现有技术那样检查每个参考阵列的RD性能，而只是尝试改善一些目标像素的角度预测模式的插值，因此编码器处的附加复杂度需求主要是用于构建附加参考阵列，这是极小的。在解码器侧，复杂度的增加也极小。

以上描述了各种方法，并且这些方法中的每一个包括用于实现所描述的方法的一个或多个步骤或动作。除非对于方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

如上所述的根据本实施例的各种方法可以用于修改如图1和图3所示的JVET或HEVC编码器100和解码器300的帧内预测、熵编码和/或解码模块(160、360、145、330)。而且，本实施例不限于JVET或HEVC，并且可以应用于其他标准、建议书及其扩展。以上描述的各种实施例可以单独或组合使用。

在本申请中使用各种数值，例如，插值分辨率、用于在不同方法之间切换的块尺寸阈值、滤波器长度以及插值中使用的参考样本的数量。应当注意的是，特定值是出于示例性目的，并且本实施例不限于这些特定值。

图13示出了可以在其中实现示例性实施例的各个方面的示例性系统的框图。系统1300可以体现为包括以下描述的各种组件并被配置为执行上述过程的设备。这种设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器以及服务器。系统1300可以经由如图13所示以及本领域技术人员已知的通信信道通信地耦合到其他类似的系统以及显示器，以实现上述示例性视频系统。

系统1300可以包括至少一个处理器1310，其被配置为执行加载在其中的指令以实现上面讨论的各种过程。处理器1310可以包括嵌入式存储器、输入输出接口以及本领域已知的各种其他电路。系统1300还可以包括至少一个存储器1320(例如，易失性存储设备、非易失性存储设备)。系统1300可以附加地包括存储设备1340，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1340可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。系统1300还可以包括编码器/解码器模块1330，其被配置为处理数据以提供编码视频和/或解码视频。

编码器/解码器模块1330表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块中的一个或两者。另外，如本领域技术人员所知的，编码器/解码器模块1330可以被实现为系统1300的单独的元件，或者可以被结合在处理器1310内作为硬件和软件的组合。

要被加载到处理器1310上以执行上文描述的各种过程的程序代码可以被存储在存储设备1340中，并且随后被加载到存储器1320上以由处理器1310执行。根据示例性实施例，(一个或多个)处理器1310、存储器1320、存储设备1340和编码器/解码器模块1330中的一个或多个可以在执行上文所讨论的过程期间存储各种项中的一个或多个，包括但不限于输入视频、解码视频、比特流、等式、公式、矩阵、变量、运算和运算逻辑。

系统1300还可以包括通信接口1350，其使得能够经由通信信道1360与其他设备进行通信。通信接口1350可以包括但不限于被配置为从通信信道1360发送和接收数据的收发器。通信接口1350可以包括但不限于调制解调器或网卡，并且通信信道1350可以在有线和/或无线介质内实现。系统1300的各种组件可以使用包括但不限于内部总线、布线和印刷电路板的各种合适的连接被连接在一起或通信地耦合在一起。

示例性实施例可以通过由处理器1310实现的计算机软件、或者通过硬件、或者通过硬件和软件的组合来实施。作为非限制性示例，示例性实施例可以由一个或多个集成电路来实现。存储器1320可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器。处理器1310可以是适合于技术环境的任何类型，并且可以涵盖作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

这里描述的实现方式可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的上下文中进行了讨论(例如，仅作为方法进行讨论)，但是所讨论的特征的实现方式也可以其他形式(例如，装置或程序)来实现。例如，装置可以以适当的硬件、软件和固件来实现。例如，方法可以在诸如例如处理器的装置中实现，处理器一般指的是处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)、以及有助于终端用户之间信息的通信的其他设备。

对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”以及它们的其他变型的引用是指结合该实施例描述的具体特征、结构、特性等等被包括在至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型不一定全部指代相同的实施例。

另外，本申请或其权利要求可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一项或多项。

此外，本申请或其权利要求可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如从存储器中)、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一项或多项。

另外，本申请或其权利要求可以涉及“接收”各种信息。与“访问”一样，接收意为广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器中)中的一项或多项。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

如将对本领域技术人员显而易见的，实现方式可以产生各种信号，这些信号被格式化以承载例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令、或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流来调制载波。信号所承载的信息可以例如是模拟或数字信息。如已知的，可以通过各种不同的有线或无线链路来发送信号。信号可以被存储在处理器可读介质上。

Claims (15)

1.一种用于编码视频数据的方法，包括：

从所述视频数据的重建样本形成用于所述视频数据的块的多个参考阵列；

通过沿着预测方向将所述多个参考阵列中的一个或多个投影到最靠近所述视频数据的所述块的参考阵列上，从所述多个参考阵列中的两个或更多个形成复合参考阵列；

从所述复合参考阵列计算用于所述视频数据的所述块的目标像素的预测器，其中使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值；以及

使用所述预测器对所述视频数据的所述块进行编码。

2.一种用于解码视频数据的方法，包括：

从所述视频数据的解码样本形成用于所述视频数据的块的多个参考阵列；

通过沿着预测方向将所述多个参考阵列中的一个或多个投影到最靠近所述视频数据的所述块的参考阵列上，从所述多个参考阵列中的两个或更多个形成复合参考阵列；

从所述复合参考阵列计算用于所述视频数据的所述块的目标像素的预测器，其中使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值；以及

使用所述预测器对所述视频数据的所述块进行解码。

3.一种用于编码视频数据的装置，包括一个或多个处理器，其中，所述一个或多个处理器被配置为：

从所述视频数据的重建样本形成用于所述视频数据的块的多个参考阵列；

通过沿着预测方向将所述多个参考阵列中的一个或多个投影到最靠近所述视频数据的所述块的参考阵列上，从所述多个参考阵列中的两个或更多个形成复合参考阵列；

从所述复合参考阵列计算用于所述视频数据的所述块的目标像素的预测器，其中使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值；以及

使用所述预测器对所述视频数据的所述块进行编码。

4.一种用于解码视频数据的装置，包括一个或多个处理器，其中，所述一个或多个处理器被配置为：

从所述视频数据的解码样本形成用于所述视频数据的块的多个参考阵列；

通过沿着预测方向将所述多个参考阵列中的一个或多个投影到最靠近所述视频数据的所述块的参考阵列上，从所述多个参考阵列中的两个或更多个形成复合参考阵列；

从所述复合参考阵列计算用于所述视频数据的所述块的目标像素的预测器，其中使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值；以及

使用所述预测器对所述视频数据的所述块进行解码。

5.根据权利要求1或2所述的方法，或者根据权利要求3或4所述的装置，其中，参考阵列包括在所述视频数据的所述块的上方的像素行和左侧的像素列。

6.根据权利要求1、2和5中任一项所述的方法，或者根据权利要求3至5中任一项所述的装置，其中，应用插值滤波器来使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值。

7.根据权利要求6所述的方法，或者根据权利要求6所述的装置，其中，基于所述多个参考阵列中的所述两个或更多个参考阵列上的预测器位置来确定用于所述插值滤波器的系数。

8.根据权利要求6或7所述的方法，或者根据权利要求6或7所述的装置，其中，所述插值滤波器是高斯滤波器。

9.根据权利要求8所述的方法，或者根据权利要求8所述的装置，其中，所述高斯滤波器是4抽头高斯滤波器。

10.根据权利要求6至9中任一项所述的方法，或者根据权利要求6至9中任一项所述的装置，其中，用于所述插值滤波器的所述系数基于对应的预测器和参考样本之间的相应距离。

11.根据权利要求1、2和5至10中任一项所述的方法，或者根据权利要求3至10中任一项所述的装置，其中，所述计算包括：基于所述块的块尺寸来选择插值滤波器。

12.根据权利要求1和5至11中任一项所述的方法，或者根据权利要求3至11中任一项所述的装置，其中，仅当所述预测器与最靠近所述视频数据的所述块的所述参考阵列上的样本不重合时，才形成所述复合参考阵列。

13.一种非暂时性计算机可读介质，其包含根据如权利要求1、2和5至12中任一项所述的方法或由如权利要求3和5至12中任一项所述的装置生成的数据内容，以用于使用处理器进行回放。

14.一种计算机程序产品，其包括计算指令，所述计算指令在由一个或多个处理器运行时用于执行权利要求1、2和5至12中任一项所述的方法。

15.一种比特流，其被格式化为包括视频数据的编码块，其中，通过以下方式对所述视频数据的编码块进行编码：

从所述视频数据的重建样本形成用于所述视频数据的块的多个参考阵列；

通过沿着预测方向将所述多个参考阵列中的一个或多个投影到最靠近所述视频数据的所述块的参考阵列上，从所述多个参考阵列中的两个或更多个形成复合参考阵列；

从所述复合参考阵列计算用于所述视频数据的所述块的目标像素的预测器，其中使用所述复合参考阵列的最接近所述预测器的多个整数样本对所述预测器进行插值；以及

使用所述预测器对所述视频数据的所述块进行编码。

Images