CN101529916B

CN101529916B - 利用帧内编码选择的视频编码

Info

Publication number: CN101529916B
Application number: CN200780040296.8A
Authority: CN
Inventors: 朱利安·哈达德; 多米尼克·托罗; 菲利普·吉约泰尔
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2006-10-31
Filing date: 2007-10-26
Publication date: 2012-07-18
Anticipated expiration: 2027-10-26
Also published as: CN101529916A; EP2078424A1; JP5065404B2; FR2908007A1; JP2010508684A; US8325804B2; US20100054331A1; WO2008052950A1

Abstract

提供了一种方法，其特征在于，为了确定(1、3、4)由图像块构成的宏块的编码模式，所述方法根据以下步骤执行宏块的帧内定向预测编码模式的预选择(2)，步骤如下：计算(2)预测方向上的块的行为梯度，预选择(2)方向与最小值行为或行为梯度相对应的块的帧内定向编码模式。

Description

利用帧内编码选择的视频编码

技术领域

本发明涉及一种用于对于图像序列进行编码的方法，特别是一种使用帧内预测模式对图像序列进行编码的方法。

这是针对数据存储或传输的视频压缩领域。特别关注于MPEG4类型编码操作上下文中通过块的压缩方案。

背景技术

H.264/MPEG4部分10标准定义了针对大小为4×4、4行每行4个像素的图像块的9种帧内预测模式。图1示出了这些不同的预测模式。还定义了针对16×16块的4种模式，水平和垂直预测模式、DC模式和根据预测像素的行和列位置来执行双线性插值的平面模式。对于这4种预测模式，对4×4大小的残余块(residue block)执行DCT系数计算。图1中的DC模式或模式2随后也被称作DC帧内预测编码模式，而其他模式是帧内定向预测编码模式。

对于MPEG4部分10“high profile”版本，DCT编码和预测还可以应用于8×8大小的残余块、当前块减预测块。可以参考描述了用于对这些模式进行更完整解释的视频编码标准H264/MPEG4-AVC的与FRExt(保真度范围扩展)扩展相关的新工具的文档。

帧内预测模式参考相邻块的像素亮度值或DC模式的当前块的像素亮度值。这些位于所作用的当前块的像素位置(i，j)处的预测值构成预测块，向非相关位置分配零亮度值。在帧内预测模式下，通过当前亮度块和剩余帧内预测块之间的差值，来获得在其上应用离散余弦变换的残余块。

为了执行帧内模式下的编码，在MPEG4部分10标准种，当前16×16宏块被剪切成4个8×8块、16个4×4块，并且对每一块执行每一个帧内编码模式的测试。还需要重构部分当前宏块(因而被编码)以定义帧内4×4预测块，来执行该选择。根据诸如编码成本和失真的已知准则，在针对当前模块的4×4块而计算的9个预测块中执行选择，来定义最佳预测。

已知的选择准则是由下列方程表示的基于后验的比特率/失真准则，方程如下：

J＝sse+λ·rate，

其中，sse是方差之和(sum of errors per square)，λ是系数，<<rate>>是用于块编码的精确比特数目。

在该方程中：

sse (s, r) = Σ_{i, j = 0}^{N - 1} {(s_{Y} (i, j) - r_{Y} (i, j))}^{2},

其中，N是要被编码的块在行数或列数上的大小，i和j是块的行或列的相对索引，s_y和r_y是当前源块的亮度值和解码后或重构后预测块的亮度值。y指示对亮度分量已执行的测量。

与针对16×16宏块的帧内编码的选择相关的决策算法相对简单，并不需要大计算量，对单个宏块应用测试后的帧内模式。这不同于必须重构才能使用已测试块的相邻块的4×4和8×8块。块编码模式的选择准则的计算(提供了最佳比特率/失真折衷)必须针对所有预测模式来执行，并因此在中央处理单元的计算时间和处理时间方面消耗极高。部分由于递归问题，计算的复杂性降低了处理电路的效率或需要复杂电路，并实现起来成本很高。

一个解决方案在于实现两种途径，第一途径基于先验准则来选择最佳预测器，例如，SATD(绝对变换差和)类型的计算在于，针对相对于预测块的残余块计算变换，该变换提供了系数、及这些系数的绝对值的和。第二途径能够针对在第一阶段中保留下来的模式使用更复杂的准则来改进搜索。然而这种类型的解决方案是不令人满意的，这是由于始终需要针对4×4块和8×8块来测试9个预测模式，并且在计算消耗或处理时间方面的节约方面也是有限的，按照这两种途径进行处理。对于“high profile”版本来说，复杂性甚至更高。

发明内容

本发明的目的之一是克服上述不利。本发明的目的是一种使用不同预测方向优先(privileging)的预测帧内定向编码模式的图像序列编码方法，用于对图像的块进行编码，其特征在于，为了确定由图像块构成的宏块的编码模式，所述方法根据以下步骤执行对宏块的块的帧内定向预测编码模式进行预选择，所述步骤如下：

-计算预测方向上块的梯度行为，

-预选择块的帧内定向编码模式，所述块的方向与最小值的梯度行为或多个梯度行为相对应。

根据具体实现方式，还对帧内DC预测编码模式执行预选择，将DC行为分配给块，该DC行为是沿着各个预测方向的梯度行为的加权平均，并且如果所述行为小于最小值的行为梯度，则对该模式进行预选择。

根据具体实现方式，编码模式还包括帧间图像编码模式、非预测帧内编码模式和帧内DC预测编码模式。

根据具体实现方式，根据在块中移位(displace)的2D卷积窗口，来执行块的行为梯度的计算步骤。

根据具体实现方式，针对不同空间方向的卷积窗口如下：

D_{0} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 1 & 0 \end{matrix}]

D_{1} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 1 \\ 0 & 0 & 0 \end{matrix}]

D_{3} = [\begin{matrix} 0 & 0 & - 1 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{4} = [\begin{matrix} - 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{5} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{6} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{7} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{8} = [\begin{matrix} 0 & 0 & 1 \\ - 1 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}] .

根据具体实现方式，根据成本/失真选择准则来执行编码模式的确定。

根据具体实现方式，为了对16×16宏块进行编码，所述方法包括：

-预分析步骤，用于对与所述宏块的每一个4×4块和每一个8×8块相关的每一定向能量进行计算，

-针对每一个4×4块和每一个8×8块，对与相对于最低能量等级的帧内定向编码模式相对应的帧内预测编码模式的预选择步骤，

-根据针对预选模式中的每一个而计算的成本/失真准则J的值，对每一个块的帧内预测编码模式的选择步骤，

-根据考虑了针对构成宏块的块的所选模式而计算的准则的、针对16×16宏块而计算的选择准则J的值，对宏块的模式选择步骤，最小值限定了宏块的定位和分块(partition)的帧内编码模式。

根据具体实现方式，选择准则成本/失真J等于：

J＝sse+λ·rate，

其中，sse是当前块和预测块之间的方差之和，λ是系数，<<rate>>是用于块编码的精确比特数目。

根据具体实现方式：

sse (s, r) = Σ_{i, j = 0}^{N - 1} {(s_{Y} (i, j) - r_{Y} (i, j))}^{2},

其中，N是要被编码的块在行数或列数上的大小，i和j是块的行或列的相对索引，s_y和r_y是当前源块的亮度值和解码后或重构后预测块的亮度值。

本发明还涉及一种实现前述图像序列编码方法的编码设备，其特征在于，包括用于确定宏块的编码模式的预分析电路，所述电路包括宏块的块梯度计算电路。

本发明的思想是，针对块来确定与最高能量相对应的方向，然后针对与该方向相对应的预测块进行帧内模式选择。事实上，在最少变化的信息携带方向上，具有块的最接近预测的可能性更大，所述方向具有最低能量等级。例如使用梯度值定义这些能量等级。

使用卷积窗口，每一个窗口使同那些与由MPEG4标准提出的帧内编码模式相关的方向中的一方向相对应的块中的方向优先。这些窗口实现定向能量的计算，特别是具有最高能量等级的方向。

由于本发明，不再需要测试所有预测器，从而避免执行长且复杂的计算来定义帧内预测模式。

附图说明

根据作为非限制示例提供的以下描述并参照附图，其他特定特征和优点将变得显而易见，附图示出了：

在图1中，示出了针对帧内编码4×4块的不同预测模式，

在图2中，示出了编码方法流程图。

具体实施方式

根据本发明的编码方法实现了一种分析算法，能够降低要测试的4×4和8×8预测器的数目。基于不同方向上梯度的分析，来确定像素块的优先方向。为此，一种解决方案在于，根据以下矩阵执行计算。事实上，所述解决方案涉及根据针对帧内模式(除DC模式)预测的前述8个方向而定义的8个窗口或2D卷积节点，所述矩阵如下：

D_{0} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 1 & 0 \end{matrix}]

D_{1} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 1 \\ 0 & 0 & 0 \end{matrix}]

D_{3} = [\begin{matrix} 0 & 0 & - 1 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{4} = [\begin{matrix} - 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{5} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{6} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{7} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{8} = [\begin{matrix} 0 & 0 & 1 \\ - 1 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}]

根据以下方程计算定向能量E₀至E₈：

E_{d} = Σ_{i = 0, j = 0}^{N - 1, N - 1} (Y * D_{d}) (i, j)

i和j是包含在要编码的子分块或块中的像素的索引，

Y是亮度值，

d是与不同预测方向相对应的索引，在图1中由0至8表示，

*是卷积操作符。

E_d因此是N×N卷积的和。

例如，对于方向d＝1，并且对于当前块的像素(1，1)，即，行i＝1，列j＝1，所计算的值是像素(1，2)的亮度减去像素(1，0)的亮度。针对块所计算的值的集合给出E_d。因此对于大小为4×4的块存在16个和，对于大小为8×8的块存在64个和。

关于反掩罩(inversed mask)，与该方向d上的最低行为梯度相对应的最弱能量值E_d限定了方向d以及用于帧内编码计算的预测器。

可能选择给出最低能量值的p个预测器(而不是仅保留单个预测器)，然后以标准的方式对这些预测器进行测试，以仅保留一个预测器。第一预选择算法在于，在这些p个预测器中系统地预选择与DC模式相对应的预测器。例如，使用根据帧内预测模式d给出块的能量值E_d的图像源块的直方图，同时使E₂值为零。在帧内编码模式决策算法(例如，被称作RDO(速率失真优化)的成本/失真优化算法)的实现期间，选择DC模式的可能性实际上大于选择其他模式的可能性。

要执行的计算数量和减少选择造成的损失之间的良好折衷在于，预选择模式与9个可用方向中的3个最低能量等级相对应，同时在3个模式中利用DC模式。在这3个模式中，所选的模式将是针对选择准则J给出最低值的模式。

第二预选择算法在于，给予DC模式一特定能量值。该选择值等于除D₂之外的每个方向上的所有模式的加权平均。

E_{avr} = \frac{1}{8} Σ_{d = 0}^{d = 8} (E_{d}),

其中，d≠2

E₂＝E_avr×0,8125

经验计算的例如系数0.8125的该加权在定向能量具有接近数值时有利于DC模式，E₂值低于其他能量值的可能性更大。在相同能量的情况下，即，当没有清楚的方向出现时，使用DC帧内预测模式看起来是最切合的。

图2示出了根据本发明的方法流程图。

在步骤1中考虑要被编码的图像的16×16个像素的当前宏块。在步骤2，针对该宏块执行预分析。该预分析在于，针对如前所示的包括宏块的4个8×8块和16个4×4块，计算包括能量E_DC的方向能量E_d。

E_{d} = Σ_{i = 0, j = 0}^{N - 1, N - 1} (Y * D_{d}) (i, j)

E_{DC} = (0,8125) \frac{1}{8} Σ_{d = 0}^{d = 8} (E_{d}),

其中d≠2

例如针对每一个块选择给出了最低能量值的2个定向预测模式以及DC模式，即，针对8×8大小的块的4×3个预测，以及针对4×4大小的块的16×3个预测。

下一步骤3针对每个在前一步骤中保留的帧内模式d(称作modd)，来执行选择准则计算J。相对于不同的帧内模式、DC模式或定向模式的预测块在例如与H264标准相关、并参考ISO/IEC 14496-10的文献中标题为“intra prediction”的章节8.5中、或在ITU-T Rec文献.H264(2006)的标题为“intra prediction process”章节8.3中定义。这些预测块用于选择准则计算。所述步骤因此为宏块的4个8×8块中的每一个和16个4×4块中的每一个提供J值。

J(modd)＝sse(s，pred_modd)+λ_intra·block_costmodd

-sse是方差之和，即，源块的像素亮度和模式d的预测块pred_modd之间、逐像素的平方差。

-block_costmodd与模式d的块的编码成本相对应，

-参数λ_intra是预定系数值，在模式modd的编码期间，使编码成本和失真能够被加权。

该步骤然后在针对每一个8×8块的模式d和针对每一个4×4块的模式d下，执行与J的最低值相对应的d模式的选择。

随后的步骤4恢复这些4+16个模式以及与所选d模式相关联的J的值。在第一阶段，将16个4×4块的J值之和与4个8×8块的J值之和进行比较。对于该第一阶段，定义了宏块的分块以及分块的块模式的、为宏块所选的帧内模式，提供了针对整个宏块的最低J值。第二阶段在于，将所选的并与针对宏块的4×4或8×8块的预测相关的帧内模式与针对同整个16×16宏块的预测相关的16×16帧内编码模式进行比较，以选择最有效的帧内编码模式。随后步骤(未在图中示出)在于，再次将该帧内编码模式与由诸如帧间类型编码模式的编码器实现的其他编码模式进行比较，以作出针对宏块的编码模式的最终选择。

当然还可能的是，在仅使用水平和垂直方向的情况下(即在标准的“high profile”版本中)，使用与这些方向相对应的窗口，根据卷积窗口处理宏块的16×16帧内预测编码模式，并同时处理4×4和8×8帧内预测编码模式。例如通过对在某种程度上小于DC模式的水平和垂直方向上的能量等级之和进行加权，来单独地处理平面模式。

本发明还涉及一种实现前述编码方法的编码设备。该设备包括用于确定宏块帧内编码模式的预分析电路。该电路包括，用于计算宏块的块梯度以执行不同方向上块梯度行为的计算的装置。该预选的预分析电路针对每一块，预选择出例如提供了最低梯度行为的2个帧内定向模式以及帧内DC模式。所述电路针对这些预选择的模式基于成本/失真准则执行标准计算，来确定要与由编码器实现的其他模式进行比较的宏块的帧内模式。

已针对构成16×16宏块的4×4和8×8块对本发明进行了描述。然而，本发明还可应用于在大小方面与为预测帧内定向编码模式的定义所选的块大小之一相对应的所有块类型。本发明也可以应用于亮度块以及色度块。

本申请关于数据压缩，所涉及的标准是MPEG4部分10标准和使用预测帧内定向编码模式的所有未来标准。

Claims

1.一种用于使用不同预测方向优先的预测帧内定向编码模式对图像序列进行编码的方法、用于对图像的块进行编码，其特征在于，为了确定由图像块构成的宏块的编码模式，所述方法根据以下步骤执行宏块的块的帧内定向预测或DC预测编码模式的预选择，所述步骤如下：

-计算预测方向上的块的梯度行为，

-计算块的DC行为，所述块的DC行为是块的不同预测方向上的梯度行为的加权平均，

-如果DC行为大于一个或多个最小梯度行为，则预选择方向与最小值的一个或多个梯度行为相对应的块的帧内定向编码模式，或者在相反情况下预选择DC预测模式。

2.根据权利要求1的方法，其特征在于，所述编码模式还包括帧间图像编码模式、非预测帧内编码模式和帧内DC预测编码模式。

3.根据权利要求1的方法，其特征在于，根据在块中移位的2D卷积窗口来执行块的行为梯度的计算步骤。

4.根据权利要求3的方法，其特征在于，针对不同空间方向的卷积窗口如下：

D_{0} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 1 & 0 \end{matrix}]

D_{1} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 1 \\ 0 & 0 & 0 \end{matrix}]

D_{3} = [\begin{matrix} 0 & 0 & - 1 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{4} = [\begin{matrix} - 1 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{5} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{6} = [\begin{matrix} 0 & 0 & 0 \\ - 1 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}]

D_{7} = [\begin{matrix} 0 & - 1 & 0 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

D_{8} = [\begin{matrix} 0 & 0 & 1 \\ - 1 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}] .

5.根据权利要求1的方法，其特征在于，根据成本/失真选择准则来执行编码模式的确定。

6.根据权利要求1的方法，用于对16×16宏块进行编码，其特征在于，所述方法包括：

-预分析步骤，用于对与宏块的每一个4×4块和每一个8×8块相关的每一个定向能量进行计算，

-针对每一个4×4块和每一个8×8块，对与相对于最低能量等级的帧内定向编码模式相对应的帧内预测编码模式进行预选择的预选择步骤，

-根据针对预选模式中的每一个而计算的成本/失真准则J的值，对每一个块的帧内预测编码模式进行选择的选择步骤，

-模式选择步骤，根据考虑了针对构成宏块的块的所选模式而计算的准则的、针对16×16宏块而计算的选择准则J的值，对宏块的模式进行选择，最小值限定了宏块的定位和分块的帧内编码模式。

7.根据权利要求5的方法，其特征在于，所述成本/失真选择准则J等于：

J＝sse+λ·rate，

其中，sse是当前块和预测块之间的方差之和，λ是系数，rate是用于块编码的精确比特数目。

8.根据权利要求6的方法，其特征在于：

sse (s, r) = Σ_{i, j = 0}^{N - 1} {(s_{Y} (i, j) - r_{Y} (i, j))}^{2},

其中，N是要被编码的块在行数或列数上的大小，i和j是块的行和列的相对索引，s_y和r_y是当前源块的亮度值和解码后或重构后预测块的亮度值。

9.一种用于使用不同预测方向优先的预测帧内定向编码模式对图像序列进行编码的设备，用于对图像的块进行编码，其特征在于，为了确定由图像块构成的宏块的编码模式，所述设备通过以下装置执行宏块的块的帧内定向预测或DC预测编码模式的预选择：

-用于计算预测方向上的块的梯度行为的装置，

-用于计算块的DC行为的装置，所述块的DC行为是块的不同预测方向上的梯度行为的加权平均，

-如果DC行为大于一个或多个最小梯度行为，则预选择方向与最小值的一个或多个梯度行为相对应的块的帧内定向编码模式，或者在相反情况下预选择DC预测模式的装置。