CN107113438A

CN107113438A - 帧内编码模式

Info

Publication number: CN107113438A
Application number: CN201580072586.5A
Authority: CN
Inventors: D.梭罗; M.艾伦; M.勒庞迪; M.图尔坎
Original assignee: Thomson Licensing SAS
Current assignee: InterDigital VC Holdings Inc
Priority date: 2014-12-08
Filing date: 2015-12-03
Publication date: 2017-08-29
Also published as: EP3231178A1; KR20170093833A; JP2018501710A; WO2016091727A1; EP3032830A1; US20170366807A1

Abstract

一种对视频图像进行编码的方法包括，对于视频图像的每一个块，根据在块的因果邻域中计算的相邻梯度值来计算块中的虚拟梯度值，并基于虚拟梯度值获取一个预测方向或非方向性帧内预测模式；以及通过比较块的不同预测来确定编码模式，通过应用所确定的“编码模式”来获取预测块，获取预测块与当前块之间的残差，并对所确定的编码模式与预测方向或非方向性帧内预测模式之间的差进行编码。对于每个预测方向，计算包括沿预测方向传播相邻梯度值以估计块中的虚拟梯度值。

Description

帧内编码模式

技术领域

本发明通常涉及对视频图像进行编码的方法、对经编码的视频图像进行解码的方法、用于对视频图像进行编码的装置以及用于对经编码的视频图像进行解码的装置。

背景技术

在H.264(参见“MPEG-4AVC/H.264文献ISO/IEC 14496-10”)和HEVC(参见“B.Bross,W.J.Han,G.J.Sullivan,J.R.Ohm,T.Wiegand JCTVC-K1003，“高效率视频编码(HEVC)文本规范草案9”，2012年10月”和“G.Sulivan,J.Ohm,W.J Han,T.Wiegand“高效率视频编码(HEVC)标准概述”，TCSVT 2012(http://iphome.hhi.de/wiegand/assets/pdfs/2012_12_IEEE-HEVC-Overview.pdf”)标准中，可以使用相应的9个和35个帧内预测模式。该模式下的编码基于根据在当前块被编码之前选择的模式所确定的最可能模式(MPM)的先前计算。

在H.264标准中，帧内4×4和帧内8×8预测与基于相邻重构像素的要编码的当前块(图1中的“blc”)的像素的空间估计相对应。H.264标准规定了不同的方向性预测模式，以便详述像素预测。在宏块(MB)的4×4和8×8块大小上定义了九个帧内预测模式。如图2所描述的，这些模式中的八个模式由基于要预测的当前块周围的像素(左列和顶行)的1D方向性外插组成。帧内预测模式2(DC模式)将预测的块像素定义为可用周围像素的平均值。

在H264的帧内4×4模式预测中，预测取决于重构的相邻像素，如图1所示。

要注意，在图1中，“blc”表示要编码的当前块，阴影区域对应于重构像素或因果区域，图片(图像)的剩余部分尚未编码，并且因果部分中的左列和顶行的像素用于执行空间预测。

关于帧内4×4预测，图2中示出了不同的模式。

这些4×4预测如下执行，例如：

在模式1(水平)中，利用重构像素“J”(左列)预测像素“e”、“f”、“g”和“h”。

在模式5中，例如，通过(Q+A+1)/2预测“a”，并且通过(A+2B+C+2)/4预测“g”和“p”。

类似地，图3图示了帧内8×8预测的原理。

这些8×8预测如下执行，例如：

要注意，下面示出的“p_rd(i,j)”表示当前块的要预测的像素，坐标为行和列(i,j)。索引(0,0)的第一像素是当前块中的左上角像素。

在模式1(水平)中，例如，利用重构的“Q”像素预测像素p_rd(0,0)，p_rd(0,1)，...和p_rd(0,7)。

在模式5中，例如，通过(M+A+1)/2预测p_rd(0,0)，并且同样，通过(A+2B+C+2)/4)预测p_rd(1,2)和p_rd(3,3)。

然后使用不同的预测方向执行帧内预测。在残差(即当前块与预测块之间的差)被频率变换(DCT)、量化和最终编码之后，将其发送出。在编码处理之前，从可用的九个预测模式中，选择最佳预测模式。对于方向预测，例如，可以使用在要编码的当前块与预测块之间计算的SAD(绝对差之和)度量。显然，针对每个子分区对预测模式进行编码。

在H.264标准中，MPM对应于“左”和“上”块(参见图1)的帧内编码模式的索引的最小值。如果相邻块的帧内编码模式不可用，则默认将DC模式(索引＝2)分配给当前块。

关于HEVC标准中的MPM，从上述参考文献中提取以下：G.Sulivan,J.Ohm,W.J Han,T.Wiegand“高效率视频编码(HEVC)标准概述”，TCSVT 2012

(http://iphome.hhi.de/wiegand/assets/pdfs/

2012_12_IEEE-HEVC-Overview.pdf，第1658页第1列和第2列，

“7)模式编码：

HEVC支持总共33个角度帧内预测模式以及用于所有块大小的亮度预测的平面帧内预测模式和DC帧内预测模式(参见图4)。由于方向数量的增加，HEVC在对亮度图片内预测模式预测地进行编码时，考虑三个最可能模式(MPM)，而不是H.264/MPEG-4AVC中考虑的一个最可能模式。

在三个最可能模式之中，通过上和左PB的亮度图片内预测模式对前两个模式进行初始化，如果这些PB可用并且使用图片内预测模式进行编码。任何不可用的预测模式被认为是DC帧内。始终将亮度编码树块(CTB)之上的预测块(PB)认为不可用，以避免需要存储相邻亮度预测模式的行缓冲器。

当前两个最可能模式不相等时，将第三个最可能模式设置为等于平面帧内、DC帧内或角度帧内(索引的)[26](垂直)，根据这些模式中的哪个按照该顺序不是前两个模式之一的副本。当前两个最可能模式相同时，如果该第一个模式具有平面帧内或DC帧内值，则将第二个和第三个最可能模式分配为平面帧内、DC帧内或角度帧内[26]，根据这些模式中的哪个按照该顺序不是副本。当前两个最可能模式相同并且第一个模式具有角度帧内值时，将第二个和第三个最可能模式选择为最接近第一个模式的角度(即，k的值)的两个角度预测模式。

在当前亮度预测模式是三个MPM之一的情况下，仅将MPM索引传送到解码器。否则，通过使用5-b固定长度码将不包括三个MPM的当前亮度预测模式的索引传送到解码器。

对于色度图片内预测，HEVC允许编码器选择五个模式之一：平面帧内，角度帧内[26](垂直)，角度帧内[10](水平)，DC帧内和衍生帧内。衍生帧内模式指定色度预测使用与亮度预测相同的角度方向。利用该方案，原则上也可以在色度预测中使用为HEVC中的亮度指定的所有角度模式，并且在预测精度与信令开销之间实现良好的折衷。对所选择的色度预测模式直接进行编码(不使用MPM预测机制)。

根据国际公开号WO2010/102935A1，MPM估计部分地基于使用卷积滤波器从因果邻域获取的梯度。

发明内容

根据本发明的一个方面，一种对视频图像进行编码的方法包括：对于视频图像的每一个块，根据在块的因果邻域中计算的相邻梯度值来计算块中的虚拟梯度值，并且基于虚拟梯度值来获取一个预测方向或非方向性帧内预测模式；以及通过比较块的不同预测来确定编码模式，通过应用所确定的“编码模式”来获取预测块，获取预测块与当前块之间的残差，并且对残差以及所确定的编码模式与预测方向或非方向性帧内预测模式之间的差进行编码。该计算包括，对于每个预测方向，沿预测方向传播邻域梯度值以估计块中的虚拟梯度值。

附图说明

图1图示了空间预测；

图2图示了帧内4×4预测；

图3图示了帧内8×8预测；

图4图示了根据HEVC标准的帧内预测模式；

图5图示了2D卷积窗口；

图6图示了因果邻域；

图7图示了给定方向d的因果邻域的梯度；

图8图示了虚拟8×8预测(或外推)块G_rd(G_r0，G_r1，G_r2，G_r3，G_r4，G_r5，G_r6，G_r7和G_r8)；

图9图示了当前块的预测；

图10A是图示根据本实施例的编码器侧的处理的流程图；

图10B是图示根据本实施例的解码器侧的处理的流程图；

图11是图示图10中所示的步骤S100的处理的流程图；

图12是图示在应用H.264标准的方式的情况下的图11所示的步骤S130的处理的流程图；

图13是图示根据第一解决方案在应用H.264标准的方式的情况下的图11所示的步骤S130的处理的流程图；

图14是图示根据第二解决方案在应用H.264标准的方式的情况下的图11所示的步骤S130的处理的流程图；

图15是图示根据实施例的编码器的框图；以及

图16是图示根据实施例的解码器的框图。

具体实施方式

将参照附图描述本发明的优选实施例。

本实施例的目的是为了通过针对较低比特率保持相同质量来改进视频编码性能。目的是为了实现要在提供这样的编码优点的编码器和解码器中使用的工具。

这里提出的是在图像和视频编码的背景下针对帧内(或空间)模式估计预测模式的问题。

在H.264和HEVC标准中，如上所述，可以使用相应的9个和35个帧内预测模式。该模式下的编码基于根据当前块在被编码之前选择的模式所确定的最可能模式(MPM)的计算。

根据本实施例，通过对MPM的更好的估计，可以降低当前模式(专用于当前块)的编码成本。

因此，根据本实施例，可以改进当前块的帧内编码模式的估计，然后改进MPM的效率。

根据H264和HEVC标准的MPM的计算非常简单(计算成本低)，但可以改进。在上述参考文献(即国际公开号WO2010/102935A1)中提出了改进，其中使用方向梯度滤波器分析当前块的邻域。在该技术中，使用当前块周围的限制区域(因果部分)，其中不考虑大量重构像素(参见参考文献的图3中的L区)，即使它们可以在预测中使用，例如，在H.264的情况下的模式3和7以及在HEVC的情况下的模式27至34。

此外，在该技术中，在当前块的区域中不分析可能外推轮廓的影响。

根据本实施例，可以改进MPM估计，以便以合理的复杂度降低编码成本(或比特率)。

本实施例包括通过以下使用方向梯度滤波器基于周围因果像素计算MPM：

a)计算取决于在块的因果(或解码)邻域中计算的方向梯度值的(要编码的)当前块值；以及

b)对当前块进行编码。

步骤b包括根据给定的空间预测模式对块的纹理进行编码；以及

将预测模式的索引有差别地编码为称为最可能模式(MPM)的预测器。

步骤a包括，对于当前块：

a1)对于预测方向，计算因果邻域中的梯度值；

a2)通过沿着预测方向传播梯度值来确定虚拟梯度预测块；

a3)从虚拟梯度预测块的传播梯度值中确定能量值；

a4)对于每个预测方向重复步骤a1至a3，即在HVC4的情况下的8个方向以及在HEVC的情况下的33个方向；

a5)确定最高能量值，最高能量值给出专用于当前块的预测器或MPM作为其编码模式。

要注意，步骤a(于是步骤a1至a5)也在解码器侧实现。

步骤a2至a5表示实施例的目的，步骤a1部分地包括在上述参考文献，即国际公开号WO2010/102935A1中。对于根据每个帧内预测模式的帧内预测，编码器使用具有标志的MPM的条件来用信号发送帧内预测模式。如果MPM与帧内预测模式相同，则将标志设置为“1”，并且仅需要一位来用信号发送帧内预测模式。当MPM和帧内预测模式不同时，将标志设置为“0”，并且需要附加的3位来用信号发送帧内预测模式。编码器必须花费1位或4位来表示帧内预测模式。

用于预测当前块的预测模式由编码器利用例如基于RDO(速率失真优化)的给定模式决策算法来选择。RDO算法在视频压缩领域是众所周知的。

然后，用于预测当前块的预测模式通常与MPM不同。

本实施例的目的是找到实际用于预测块的编码模式的最接近可能的MPM。

对块进行编码和解码的处理可以如下。

在编码器侧，编码器

1.根据实施例确定MPM；

2.通过比较要编码的块的不同预测块，确定(利用RDO算法，例如在视频压缩界中众所周知的)块的最佳编码模式；

3.参考MPM对“编码模式”进行编码(例如，对所确定的最佳编码模式与MPM之间的差进行编码)；以及

4.对要编码的当前块与预测块(对应于编码模式，例如参见图2)之间的残差预测块进行编码。

在解码器侧，解码器

1.根据实施例确定MPM；

2.借助于MPM对“编码模式”进行解码(例如，通过对要获取的编码模式与MPM之间的差进行解码来获取“编码模式”，以预测要解码的块)；以及

3.对残差预测块进行解码，并将这样获取的残差预测块添加到预测块(例如，通过应用编码模式获取，参见图2)以获取要解码的块。

(1)原理

根据本实施例的确定MPM的处理在于对位于当前块的邻域上的虚拟梯度预测块的分析，针对每个预测方向模式实现该处理。

要注意，预测块与关于像素域的预测相关，并且与专用于要编码的当前块的预测相对应。与之相反，虚拟梯度预测块不用于预测，而仅用于估计在当前块内外推的梯度的能量值。

该分析包括在给出最高梯度能量值的方向的能量值方面的检测和量化(或求和)。

该方法的优点如下：

考虑到对预测块构建有贡献的所有重构像素的影响，在块内分析该影响。

在(梯度的)虚拟预测块中工作给出梯度能量值和轮廓密度(诸如对于每个预测方向的可能的轮廓的梯度幅度，以及该块内的那些轮廓的空间贡献，即，轮廓的大小)的良好折衷。

下面将详细描述处理。

根据上述参考文献(即国际公开号WO2010/102935A1)中所讨论的技术，考虑索引3的预测模式8×8“对角左下”，其中仅使用重构像素A至H而不使用其他像素(I至P)。

根据本实施例，对于每个预测方向，确定虚拟梯度预测块，其中在因果邻域中计算梯度，并且使用与在处理预测块中使用的相同的外推方程来执行虚拟梯形预测块。

之后，对于每个虚拟梯度预测块，计算能量值(例如，梯度的绝对值之和)，最后选择给出最高能量值的虚拟梯度预测块作为对应于根据本实施例的MPM的方向。

(2)梯度处理

如前所述，第一步是计算当前块的邻域中的梯度，对其将2D窗口卷积(或滤波器)应用于因果区域中的像素。通常，对于当前块(在H.264的情况下参见图2和图3)，对于不同的空间d(其中d＝0,1,...,8且d≠2)方向的F_d是例如图5中所示的那些。

在该示例中，使用8个卷积滤波器。索引“d”对应于不同的取向。借助于具有(2N+1)×(2N+1)个系数的大小的滤波器来计算梯度。目的是为了将梯度值分配给图6中所示的相邻像素X至P。

在图6的相邻像素的情况下，重构像素I(x,y)的梯度G_d(y,x)如下计算：

在那里，“y”和“x”表示梯度G_d(y,x)的行和列的坐标。

此外，“y”和“x”表示像素I(y,x)的行和列的坐标。

“N+i”和“N+j”表示具有(2N+1)×(2N+1)的大小的滤波器F_d的系数的行和列的坐标，其中“N”是正整数。

要注意，为了对最后一行应用滤波器，实现N行填充(例如，副本)。该填充由图6示出，其中在3×3的F_d大小(N＝1)的该示例中，像素p₀、p₁和p₂例如是以上相应像素的简单副本。

因此，在图7的示例中，梯度如下计算：

对于从A到P的像素，

对于从Q到X的像素，

对于像素M，

在图6中所示的过滤器的示例中，对于从3到8(F₃到F₈)的预测方向，应用这些公式(6)至(8)。

对于垂直和水平预测，可以优化滤波(F₀和F₁滤波器)。这些滤波器相应地具有零系数的列和行。在这种情况下，梯度如下计算：

对于从A到P的像素，

对于从Q到X的像素，

这里，在垂直和水平预测中不使用像素M(参见图2和图3中的模式0和模式1)。

(3)梯度外推

在先前的步骤中，对于每个预测方向d(其中d＝0,1,...,7且d≠2)，借助于相应的F_d滤波器，在边界上计算梯度，如图7所示。

一旦这样计算出梯度，则将通过使用在预测块中使用的相同的外推技术(参见图2和图3中的像素域)，使用“简单”空间传播来计算虚拟梯度预测块(对于每个方向)，如图8所示。

这些预测如下实现。

对于当前块，对坐标行和列(i,j)的梯度Gr_d(i,j)进行外推。索引(0,0)的第一梯度是当前块中的左上。

例如，在模式1(水平)中，利用梯度G_Q1预测梯度Gr₁(0,0),Gr₁(0,1),…,Gr₁(0,7)。

在模式5中，例如，Gr₅(0,0)通过(G_A5+G_Q5+1)/2外推，并且同样，Gr₅(1,2)和Gr₅(3,3)通过(G_A5+2G_B5+G_C5+2)/4预测。

外推的另一可能性在于梯度的绝对值的传播。

在这种情况下，在模式1(水平)中，利用梯度|G_Q1|预测梯度Gr₁(0,0),Gr₁(0,1),…,Gr₁(0,7)，其中符号||是绝对值的运算符。

在模式5中，Gr₅(0,0)通过(|G_A5|+|G_Q5|+1)/2外推，并且同样，Gr₅(1,2)和Gr₅(3,3)通过(|G_A5|+2|G_B5|+|G_C5|+2)/4预测。

(4)梯度能量块

(虚拟预测)块中的外推梯度的能量值通过虚拟梯度预测块内包含的梯度之和获取。对于给定d取向的梯度块Gr_d(H×W的大小)，该块的能量值E_d如下计算：

梯度之和如下计算，

或者，如果大于给定阈值(固定阈值)，则梯度之和如下计算，

如果|Gr_d(i,j)|＞thr (13)

例如，thr＝10，

或者，利用使用量化器步长值(QP)的阈值函数，如下

如果|Gr_d(i,j)|＞f(QP) (14)

例如，如果QP>0，

(注意：量化器步长值(QP)例如与应用于(预测的)残差变换(例如DCT)系数的H.264和HEVC中使用的众所周知的量化器步长相对应。)

或者，使用最大梯度，如下，

对于当前块B，通过下式获得在因果邻域中可用的预测方向之中具有最大能量值E_B的最佳方向：

在H.264的8个方向性模式的示例中(参见图2和图3)

其中d＝0,…,8且d≠2 (17)

(5)MPM标准选择

公式(17)给出当前块上的可能轮廓的(E_B能量值的)最可能方向。另外，在视频编码标准中使用的空间模式预测的背景下，考虑诸如H264标准的DC模式和HEVC标准的DC和平面模式之类的非方向性预测模式。

(5.1)H264

对于索引号2的DC模式，估计另外的虚拟梯度(由于DC模式)，如下：

在那里，λ表示预定的系数，诸如要分配给DC模式的估计值。当当前块周围的信号接近平坦时，则(从其他d方向)选择该值。例如，λ可以等于1.2。

在这种情况下，公式(17)现在是：

其中d＝0,...,8 (19)

然后，MPM对应于给出最大能量值的索引的模式。

(5.2)HEVC

在HEVC标准中，考虑包括非方向性模式(即DC和平面模式)的35个模式。在这种情况下，可以应用以下两个解决方案之一。

类似于上述H.264标准的情况，估计分别专用于DC和平面模式的能量值E_DC和E_planar，如下：

现在将描述第一个解决方案。

首先，以相同的方式，从所有方向性和非方向性模式计算能量值，如下：

其中d＝0,1,…34

然后，如果等于方向性模式d(索引2至34)中的任何一个，则，

如果不是方向性模式d(索引2到34)之一，也就是说，如果MPM等于非方向性模式(索引0和1，即DC和平面模式)两者之一，则应用在HEVC标准中使用的规则来确定MPM。

现在将描述第二个解决方案。

其中d＝0,1,…,34

然后，如果等于方向性模式d(索引2到34)中的任何一个，则

如果不是方向性模式d(索引2到34)之一，也就是说，如果MPM等于非方向性模式(索引0和1，即DC和平面模式)两者之一，则基于相邻的重构像素，选择DC和平面模式两者之一。

考虑图9中所示的当前块的预测的上下文。

计算重构的相邻像素(图9中的“x”)的两个估计误差，即DC模式的Er_DC和平面模式的Er_planar。

下面，i、j表示块的像素的行和列的坐标(以预测H×W的大小)。索引(0,0)的第一像素是当前块中的左上的像素，并且计算与模式DC相关联的值，如下：

相邻像素(x)从DC模式的估计误差Er_DC如下计算：

对于平面模式，计算相邻像素的行和列中的相应斜率，之后估计邻近像素(x)上的误差Er_planar，如下：

分别在左列(垂直)和顶行(水平)上估计的表示变化的斜率α_v和α_h如下计算：

α_v＝(I(H,-1)-I(-1,-1))/(H+1)如果I(H,-1)可用

α_h＝(I(-1,W)-I(-1,-1))/(W+1)

然后，估计误差Er_planar如下计算：

另一方面，如果I(H,-1)不可用，则使用像素I(H-1,-1)，如下：

α_v＝(I(H-1,-1)-I(-1,-1))/(H)其中I(H,-1)不可用

α_h＝(I(-1,W)-I(-1,-1))/(W+1)

然后，估计误差Er_planar如下计算：

如果I(H,-1)和I(-1,W)不可用，则，

α_v＝(I(H-1,-1)-I(-1,-1))/(H)

α_h＝(I(-1,W-1)-I(-1,-1))/(W)

然后，MPM对应于来自Er_DC和Er_planar的估计误差的最小值，如下：

如果Er_DC≤Er_planar，则，

MPM＝DC模式

如果Er_DC＞Er_planar，则，

MPM＝平面模式

接下来，使用图10A-图14，将描述本实施例中的处理流程。

如图10A所示，对于要编码的视频图像的每个块，执行图10A的处理，使得从而可以对视频图像进行编码。

在步骤S100中，计算取决于块的因果邻域中的相邻梯度值的虚拟梯度值。然后，获取(选择)一个预测方向或非方向性帧内预测模式。

在上述项“(2)梯度处理”中获取“相邻梯度值”，如图6中所示的相邻像素X至P的G_d(y,x)。

从“(3)梯度外推”获取“虚拟梯度值”Gr_d，然后从“(4)梯度能量块”和“(5)MPM标准选择”获取“一个预测方向或非方向性帧内预测模式”。

稍后将使用图11-14来描述细节。

在步骤S200E中，通过比较要编码的块的不同预测来确定“编码模式”，获取所确定的“编码模式”与所获取的“预测方向或非方向性帧内预测模式”(MPM)之间的“差”，并通过应用“编码模式”来获取预测块。然后，获取要编码的当前块与预测块之间的残差，并对所获取的残差和“差”进行编码以将其发送出。

如图10B中所示，对于要解码的视频图像的每个块，执行图10B的处理，使得从而可以对视频图像进行解码。

在图10B的步骤S100中，计算取决于块的因果邻域中的相邻梯度值的虚拟梯度值。然后，获取(选择)一个预测方向或非方向性帧内预测模式。

稍后将使用图11-14来描述细节。

在图10B的步骤S200D中，对从编码器侧发送出的“差”进行解码以借助于所获取的“预测方向或非方向性帧内预测模式”(MPM)来获取“编码模式”。例如，通过将经解码的“差”应用于MPM来获取“编码模式”。然后，通过应用这样获取的“编码模式”来获取预测块。然后，对从编码器侧发送出的残差进行解码，并且将经解码的残差添加到所获取的预测块，以获取当前解码块。

图11图示了图10中所示的步骤S100的细节的一个示例。

在步骤S110中，对于每个预测方向“d”，计算因果邻域中的相邻梯度值(“G_d(y,x)”)。如上所述，例如，在应用H.264标准中的方式的情况下，预测方向“d”包括d＝0,1,...,8且d≠2(参见图2和图3)。

在步骤S120中，沿着当前预测方向传播在步骤S110中计算出的相邻梯度值，以估计当前块中的虚拟梯度值“Gr_d”(“(3)梯度外推”)。然后，将这样估计的当前块中的虚拟梯度值相加以获取能量值“Ed”(“(4)块梯度能量”)。

在步骤S130中，基于从步骤S110-S120的重复循环处理针对相应预测方向获取的能量值来确定一个预测方向或非方向性帧内预测模式。

更具体而言，在应用H.264标准中的方式的情况下，如图12所示，在步骤S131中，基于从步骤S110-S120的重复循环处理针对相应预测方向获取的能量值，获取DC模式的能量值“E₂”，如公式(18)中所示。

在图12的步骤S132中，确定具有最高能量值(MPM)的一个预测方向或非方向性帧内预测模式，如公式(19)中所示。

另一方面，在应用HEVC标准中的方式的情况下的上述第一个解决方案中，如图13所示，在步骤S133中，基于从步骤S110-S120的重复循环处理针对相应预测方向获取的能量值，获取DC和平面模式的相应能量值“E_DC”和“E_planar”，如公式(20)中所示。

在步骤S134中，确定预测方向中的任何一个是否具有最高能量值(即，)。

如果预测方向中的任何一个具有最高能量值(即，)，则将对应的预测方向确定为一个预测方向或非方向性帧内预测模式)(步骤S135)。

如果非方向性帧内预测模式(DC模式和平面模式)两者之一具有最高能量值(即，)，则根据相关技术中的HEVC标准的规则确定一个预测方向或非方向性帧内预测模式(MPM)(步骤S136)。在本申请的“背景技术”中描述了HEVC标准的规则(第2页第31行至第4页第3行)。

另一方面，在应用HEVC标准中的方式的情况下的上述第二个解决方案中，如图14中所示，步骤S133-S135与图13的那些步骤相同。

如果非方向性帧内预测模式(DC模式和平面模式)两者之一具有最高能量值(即，)，则将具有重构的相邻像素(图9中的“x”)的最小估计误差(“E_DC”或“E_planar”)的DC模式或平面模式两者之一确定为一个预测方向或非方向性帧内预测模式(MPM)(步骤S137)。

接下来，使用图15和图16，将描述本实施例的示例中的编码器和解码器。

图15和图16分别示出了最可能模式(MPM)确定集中处(即，“MPM”框14和34)的编码器和解码器。要注意，编码器和解码器中包括的相同的框(即，“MPM”框14和34；“Q^-1T^-1”框17和32；“参考帧”框21和33；以及“空间预测”框13和35)分别具有相同的功能。

在编码器和解码器侧，仅描述使用帧内模式(m)的帧内图像预测模式。然而，众所周知的是，“模式决策”框15(使用给定的RDO标准)的功能在于从帧内和帧间图像预测模式中确定最佳预测模式。

如图15中所示，编码器包括“运动估计”框11、“时间预测”框12、“空间预测”框13、“MPM”框14、“模式决策”框15、加法器(“+”)框16、“T,Q”框17、“熵编码器”框18、“Q^-1T^-1”框19、加法器(“+”)框20和“参考帧”框21。

当要对原始图像块b进行编码时，在图15的编码器中执行以下处理。

1)利用在用作存储参考帧的缓冲器的“参考帧”框21中存储的原始块b和(先前解码的)图像，“运动估计”框11找到具有给定运动向量的最佳帧间图像预测块(利用“时间预测“框12)。从可用的帧内预测模式(参见图2，例如，在H264的情况下)和相邻的重构(或解码)像素中，“空间预测”框13给出帧内预测块。

2)由“MPM”框14确定MPM，根据上述实施例，MPM取决于来自当前图像的先前块的块的因果(或解码)邻域中计算的方向梯度值。

3)如果“模式决策”框15选择(例如，基于速率失真优化标准，即稍后描述的RDO)帧内图像预测模式(“M”索引，来自D帧内可用模式)，残差预测rb通过加法器16获取作为原始块b与预测块之间的差。参考所确定的MPM，对空间(帧内)编码模式m进行编码。例如，获取MPM与所选空间(帧内)编码模式m之间的差，并在由“熵编码器”框18对其编码之后将其发送到解码器。

4)之后，通过“T,Q”框17对残差预测rb进行变换和量化(r_bq)，最后由“熵编码器”框18进行熵编码，并在比特流中发送出。

5)通过加法器20将逆变换和去量化(通过“Q^-1T^-1”框19)的预测误差块r_bdq添加到预测块对解码块b_rec进行本地重建。从而获取重构块b_rec。

6)将这样获取的重构(或解码)帧存储在“参考帧”框21中。

现在将描述上述“速率失真优化”(RDO)。

可以使用RDO标准来选择具有最小速率失真成本的最佳编码模式。该方法可以由下式表示。

其中k＝0,D-1

以及

其中

“V”和“U”表示块的垂直和水平维度

并且

“i”和“j”表示块中像素的垂直和水平坐标，

其中λ是(众所周知的)拉格朗日乘数，SSD_k是经由k索引模式的帧内预测的重建块的失真，其通过当前块b中的原始样本与重构(或解码)块之间的平方差之和来计算。术语Cst_k是可变长度编码之后的比特率的成本。

最后，m索引的最佳编码模式对应于来自D个可能模式的最小的速率失真Rd，例如，在帧内预测H.264的情况下，其总数可以等于9(参见图2)。

在这方面，参见Thomas Wiegand、Bernd Girod的“Lagrange MultiplierSelection in Hybrid VideoCoder Control”，图像处理IEEE 2001。

如图16中所示，解码器包括“熵解码器”框31、“Q^-1T^-1”框32、加法器(“+”)38、“参考帧”框33、“MPM”框34、“空间预测”框35、“运动补偿”框36、“预测”框37和加法器(“+”)38。

在图16的解码器中执行以下处理。

1)根据从编码器发出的比特流，对于给定块，“熵解码器”框31对量化误差预测r_bq进行解码。

2)由“T-1Q-1”框32将这样获取的残差预测r_bq去量化和逆变换为去量化和逆变换的残差预测r_bdq。

3)由“MPM”框34确定MPM，根据上述实施例，MPM取决于来自当前图像的先前块的块的因果(或解码)邻域中计算的方向梯度值。

4)借助于所确定的MPM，对空间(帧内)编码模式m进行解码。例如，对MPM与空间(帧内)编码模式“m”之间的差进行解码以获取“编码模式”来预测要解码的块。

5)通过应用这样获取的“m”帧内模式，“空间预测”框35和“预测”框37利用经解码的相邻像素获取帧内图像预测块

6)通过加法器38将经解码和去量化的预测误差块r_bdq添加到预测块对解码块b_rec进行本地重建。从而获取重构块b_rec。

7)将这样获取的重构(或解码)帧存储在“参考帧”框33中。解码帧将用于下一帧/帧内图像预测。

本实施例在于使用方向性梯度滤波器基于周围因果像素并且通过分析对于每个预测方向的可能轮廓的当前块(虚拟梯度预测块)的影响来计算MPM。通过该方法，与上述相关技术相比，可以特别接近当前块周围的重构信号的内容。当本实施例在编码器中实现时，优点在于降低给定质量的比特率或者提高给定比特率的质量。

本实施例可以应用于图像和视频压缩。特别地，存在于本实施例中的概念可以作为开发专用于存档和分发视频内容的新一代编码器的一部分而提交给ITU-T或MPEG标准化组。

因此，在具体实施例中已经描述了对视频图像进行编码的方法、对经编码的视频图像进行解码的方法以及编码器。然而，本发明不限于实施例，并且可以在所要求保护的发明的范围内做出变化和替换。

应当理解，可以对说明性实施例做出许多修改，并且可以设计出由所附权利要求限定的其他布置。

在此描述的实现方式可以实现在例如方法或处理、装置、软件程序、数据流或信号中。即使仅在单一形式的实现方式的背景下进行了讨论(例如仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以在例如适当的硬件、软件和固件中实现。方法例如可以实现在诸如处理器(其一般被称为处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备)这样的装置中。处理器还包括诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)这样的通信设备以及便于在最终用户之间进行信息通信的其他设备。

在此描述的各种处理和特征的实现方式可以在各种不同的装备或应用中实施，特别是例如装备或应用。这样的装备的示例包括网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及其他通信设备。应当清楚的是，装备可以是可移动的，并且甚至可以安装在移动车辆中。

此外，可以通过由处理器执行的指令来实现该方法，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在处理器可读介质中，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩磁盘(“CD”)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的DVD)、随机存取存储器(“RAM”)或只读存储器(“ROM”)这样的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式所产生的数据值。

已描述了多个实现方式。然而，应当理解的是，可以做出各种修改。例如，可以对不同实现方式的元件进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员将理解的是，其他结构和处理可以替代所公开的结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

Claims

1.一种对视频图像进行编码的方法，包括以下步骤：

对于视频图像的每一个块，

(a)计算所述块的因果邻域中的第一梯度值(S110)；

(b)对于每个预测方向，通过沿着所述每个预测方向对第一梯度值进行外推来计算所述块中的第二梯度值(S120)；

(c)对于所述每个预测方向，从所述块中的第二梯度值获取能量值(S120)；

(d)通过使用所述预测方向的所获取的能量值来获取至少一个非方向性预测模式的能量值(S131)；以及

(e)对于所述块，基于所获取的能量值，在所述预测方向的方向性模式和所述至少一个非方向性预测模式之中确定用于编码的预测模式(S132)。

2.一种对经编码的视频图像进行解码的方法，包括以下步骤：

对于经编码的视频图像的每一个块，

(a)计算所述块的因果邻域中的第一梯度值(S110)；

(c)对于所述每个预测方向，从所述块中的第二值获取能量值(S120)；

(e)对于所述块，基于所获取的能量值，在所述预测方向的方向性模式和所述至少一个非方向性预测模式之中确定用于解码的预测模式(S132)。

3.根据权利要求1或2所述的方法，其中在步骤(a)中，对所述块的因果邻域中的像素值进行滤波来获得所述第一梯度值，所述滤波与所述预测方向相关，并且(2N+1)×(2N+1)个像素值用于每个所述第一梯度值，N是正整数。

4.根据权利要求1至3之一所述的方法，其中在步骤(b)中，通过空间外推获得所述第二梯度值。

5.根据权利要求1至4之一所述的方法，其中在步骤(c)中，所述能量值是所述第二梯度值的绝对值的总和或者所述第二梯度值的绝对值之中的最大值。

6.根据权利要求1至5之一所述的方法，其中在步骤(d)中，通过对所述预测方向的所获取的能量值进行平均来获得所述能量值。

7.根据权利要求1至6之一所述的方法，其中在步骤(e)中，将所述预测模式确定为所获取的能量值之中的能量值最高的预测模式。

8.根据权利要求7所述的方法，其中在步骤(e)中，如果所获取的能量值之中的能量值最高的预测模式是非方向性预测模式，并且如果存在多个非方向性预测模式，则根据HEVC标准的方式或者根据所述像素值与所述块的因果邻域中的估计值之间的差的绝对值来确定所述预测模式。

9.根据权利要求1和3至8所述的方法，还包括以下步骤：

(f)使用所确定的预测模式对所述块进行编码(S200E)；以及

(g)将所确定的预测模式的索引编码为预测器。

10.根据权利要求2至8所述的方法，还包括以下步骤：

(f2)使用所确定的预测模式对所述块进行解码(S200D)。

11.一种用于对视频图像进行编码或者对经编码的视频图像进行解码的装置，包括被配置为实现根据权利要求1和3至9之一所述的方法的每个步骤的部件。

12.一种用于对经编码的视频图像进行解码的装置，包括被配置为实现根据权利要求2至8和10之一所述的方法的每个步骤的部件。

13.一种计算机程序产品，其可从通信网络下载和/或记录在可由计算机读取的介质上和/或可由处理器执行，包括用于实现根据权利要求1至10中至少一项所述的方法的程序代码指令。

14.一种非临时性计算机可读介质，包括其上记录的并且能够由处理器运行的计算机程序产品，包括用于实现根据权利要求1至10中至少一项所述的方法的程序代码指令。