CN101222635A - 帧内预测方法 - Google Patents

Abstract

本发明涉及一种帧内预测方法。该帧内预测方法包括选取一个待预测的4×4像素亮度块作为当前块；判断所述当前块是否为中心块，若是，计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，否则，将可用的预测模式作为候选预测模式；计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。本发明根据残差能量函数确定候选预测模式，通过计算候选预测模式的率失真代价参数确定最优预测模式，达到减少需要计算率失真代价参数的预测模式的数量，进而减小计算量的目的。

Description

帧内预测方法

技术领域

本发明涉及一种帧内预测方法，尤其是一种能够有效提高运算速度的帧内预测方法。

背景技术

新一代视频编码标准H.264/AVC具有良好的网络性能，适用于交互和非交互应用环境，自发布以来就受到很大的关注，其显著的优点是压缩效率高。图1示出了H.264/AVC标准的编码器框架图，其工作过程可根据数据流方向分为前向通道和重建通道。当前帧F_n的编码，是对原始图像16×16像素的宏块进行编码，宏块编码分为帧内编码和帧间编码，在帧内编码和帧间编码时，预测宏块P都由重建帧获得。在帧内编码模式中，P由当前帧中的已编码宏块经解码、重构，由重构宏块uF_n′预测得到，在帧间编码模式下，P由一个或多个参考帧F_n-1′经运动补偿预测得到。预测宏块P与当前宏块F_n的差值为残差宏块D_n，D_n经变换、量化后得到一串变换参数X，参数X需要进行两方面的处理：一是重排序和熵编码处理，整个过程没有反馈分量，故称为前向通道；二是反量化和逆变换处理，产生宏块D_n′，D_n′与预测宏块P相加得到重构宏块uF_n′，重构宏块uF_n′再经过一系列处理得到重建的参考帧F_n′，用于下一帧的运动估计，因此称为重建通道。H.264/AVC性能的提高与其采用的一些新技术密不可分，如采用基于空间域的帧内预测方法、变换采用整数离散余弦变换(Discrete Cosine Transform，以下简称DCT)、运动估计/运动补偿基于4×4像素块、重建通道采用环路滤波、新的熵编码方法等。

其中基于空间域的帧内预测是H.264/AVC性能提高的重要因素，帧内预测利用图像的空间相关性，根据已解码重构的相邻像素块的信息预测当前块的信息，得到当前块的预测块，然后对当前块和当前块的预测块的残差进行变换、量化、编码，为了较好地表示当前块，H.264/AVC采用率失真最优化(RateDistortion Optization，以下简称RDO)技术来最优化编码质量和最小化编码位。

H.264/AVC标准中以16×16像素的宏块为单位，一个宏块包括一个亮度块和两个对应的色度块，其中亮度块为1个16×16的或者16个4×4的，色度块为8×8的。

对于4×4的亮度块，帧内预测有9种预测模式，这些预测模式为：

模式0：垂直预测(vertical prediction)模式

模式1：水平预测(horizontal prediction)模式

模式2：DC预测(DC prediction)模式

模式3：45度方向预测(diagonal down/left prediction)模式

模式4：135度方向预测(diagonal down/right prediction)模式

模式5：112.5度方向预测(vertical-right prediction)模式

模式6：157.5度方向预测(horizontal-down prediction)模式

模式7：67.5度方向预测(vertical-left prediction)模式

模式8：22.5度方向预测(horizontal-up prediction)模式

其中，除了DC预测模式，剩余的8种预测模式称为方向预测模式，图2示出了参考像素和待预测的当前块像素的关系图，其中大写字母表示的为参考像素，小写字母表示的是当前块像素。图3中的数字标明了各个方向预测模式的指向。

对于16×16的亮度块，帧内预测有4种预测模式，这些预测模式为：

垂直预测(vertical prediction)模式

水平预测(horizontal prediction)模式

DC预测(DC prediction)模式

平板预测(plane prediction)模式

对于8×8的色度块，帧内预测有4种预测模式，这些预测模式为：

DC预测(DC prediction)模式

水平预测(horizontal prediction)模式

垂直预测(vertical prediction)模式

平板预测(plane prediction)模式

从上述的分析可以看出：如果M8表示色度块的预测模式的数量、M4表示4×4亮度块的预测模式的数量、M16表示16×16亮度块的预测模式的数量，一个宏块中亮度块和色度块预测模式的组合数量为M8×(M4×16+M16)＝592，即，为了确定一个宏块的帧内预测的最优模式，编码器需要进行592次RD0的计算。因此，H.264/AVC压缩率的提高是以计算复杂度的增加为代价的，难以实时应用。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种帧内预测方法，用以解决现有帧内预测方法计算复杂度高的问题，提高帧内预测编码的速度，有利于编码器的实时应用。

本发明通过实施例提供了如下的技术方案：

一种帧内预测方法，包括：

步骤1：选取一个待预测的4×4像素亮度块作为当前块；

步骤2：判断所述当前块是否为中心块，若是，执行步骤3，否则，执行步骤4；

步骤3：计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执行步骤5；

步骤4：将可用的预测模式作为候选预测模式，执行步骤5；

步骤5：计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。

本发明实施例根据能量函数选择4×4像素亮度块的候选预测模式，通过计算候选预测模式的率失真代价参数得到最优预测模式，而不是根据所有预测模式的率失真代价参数得到最优预测模式，由于预测模式数量的减小，可以减少率失真代价参数的计算量，提高运算速度，适用于实时编码。

附图说明

图1为现有技术H.264/AVC标准的编码器框架图；

图2为现有技术H.264/AVC标准中参考像素与待预测的当前块像素关系的示意图；

图3为现有技术H.264/AVC标准中方向预测模式的指向图；

图4为本发明帧内预测方法实施例一流程图；

图5为本发明帧内预测方法实施例二流程图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明的技术方案。

图4为本发明帧内预测方法实施例一流程图，该帧内预测方法包括：

步骤41：选取一个待预测的4×4像素亮度块作为当前块；

步骤42：判断所述当前块是否为中心块，若是，执行步骤43，否则，执行步骤44；

步骤43：计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执行步骤45；

步骤44：将可用的预测模式作为候选预测模式，执行步骤45；

步骤45：计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。

图5为本发明帧内预测方法实施例二流程图，该帧内预测方法包括：

步骤501：将一个16×16宏块划分为16个4×4亮度块，执行步骤502。H.264/AVC标准中以16×16像素的宏块为单位，一个宏块包括一个亮度块和两个色度块，亮度块是1个16×16的或16个4×4的，色度块是8×8的，当前亮度块或色度块的像素值用与当前块相邻的上块和相邻的左块已经解码重构的像素值按照多种预测模式预测编码。因为H.264/AVC标准中的变换是以4×4块为单位的，且4×4块在预测编码中占据很大的比例，因此，本实施例针对4×4亮度块的预测编码进行改进，对16×16亮度块和8×8色度块的预测编码方法不予改变。

步骤502：选取一个待预测编码的4×4亮度块作为当前块，执行步骤503。4×4亮度块的帧内预测方法的预测模式包括8种方向预测和1种DC预测。传统的H.264/AVC标准中采用RDO技术进行亮度块的预测模式的选择包括如下步骤：

(1)对于4×4亮度块，分别计算9种预测模式下的率失真代价参数，得到率失真代价参数的最小值及对应于率失真代价参数最小的预测模式。率失真代价参数(RDCost)的计算公式为：RDCost＝SSD+λ×bitrate，其中RDCost为率失真代价参数；SSD为当前块与重构块的差值块的所有元素的平方和，即重构残差的平方；λ为量化参数(QP)的函数，λ＝0.85×2^(QP-12)/3；bitrate为熵编码后的码率，即预测编码后形成码流的比特数。

(2)依照上述方法得到16个4×4亮度块的最小率失真代价参数，并将这16个最小率失真代价参数相加，将相加之后的和作为4×4亮度块的率失真代价参数。

(3)对于16×16亮度块，分别计算4种预测模式下的当前块与预测块的残差的hasmard变换后所有元素的和，即残差hasmard变换和(STAD)的值，计算STAD值最小的预测模式的率失真代价参数，将该率失真代价参数作为16×16亮度块的率失真代价参数.

(4)比较(2)、(3)得到的率失真代价参数，选择最小的率失真代价参数对应的预测模式作为帧内亮度块的预测模式。

从上述(1)的率失真代价参数的公式可以看出，对当前4×4亮度块的每种预测模式都要进行预编码，计算复杂度较大，为了降低计算复杂度，可以简化RDO的计算或者减少用来计算RDO的预测模式，为了降低帧内编码的复杂度同时较好地保持帧内编码的效率，本实施例采用减少用来计算RDO预测模式的方法。

步骤503：判断当前块是否为中心块，是则执行步骤504，否则，执行步骤507。由于视频编码中采用从左至右、从上至下的顺序进行解码重构，如果与当前块相邻的左块和相邻的上块均已解码时，称为左块和上块可用，当左块已解码重构时，称为左块可用，当上块已解码重构时，称为上块可用，当两者均未解码时，称为两者均不可用。当左块和上块均可用时，当前块即为中心块，此时，对应于当前块有9种预测模式；当前块不为中心块时，对应于当前块的预测模式称为可用预测模式，可用预测模式不足9种，如只有左块可用时，可用预测模式为将水平预测模式(模式1)、DC预测模式(模式2)、22.5度方向预测模式(模式8)，只有上块可用时，可用预测模式为垂直预测模式(模式0)、DC预测模式(模式2)、45度方向预测模式(模式3)、67.5度方向预测(模式7)。

步骤504：计算所有预测模式下的当前块与预测块的残差的能量函数，执行步骤505。从上述分析可知，如果当前块为中心块时，其可用的预测模式有9种，为了减少RDO计算的运算量，采用减少预测模式的方法。由于自然的或合成的图像的大部分区域是由低频组成的，而大多数高频信息能用0行程编码，且高频可以粗略地反映一个图像的纹理的复杂程度。在实际应用中，用解码的相邻块的信息按照当前块的纹理方向来预测当前块的信息，然后对相应的残差进行能量函数的计算，本发明所定义的能量函数是从多维的频域空间到一维的能量空间的映射，纹理残差块的DCT变换的高频分量反映了纹理残差的细节信息，为了突出纹理残差的细节信息，本发明为高频分配较高的权值(w(y，x))可以放大高频系数的影响。由本发明所述的DCT能量函数的定义，纹理残差块细节越丰富(高频信息越多)，其DCT能量越大。本发明正是利用了能量函数的这一特征，选择纹理残差块复杂度较小(能量较小、高频信息较少)的几种模式进行RDO的计算，从而可以达到减少用来进行RDO计算的的模式数量，最终实现加快帧内编码速度的目的。其中能量函数的计算公式为：

$E_{\mathrm{DCT}}=\underset{y=1}{\overset{\mathrm{\ω}}{\mathrm{\Σ}}}\underset{x=1}{\overset{h}{\mathrm{\Σ}}}w(y,x)\mathrm{DCT}(y-1,x-1)$

这里E_DCT是针对预测残差的DCT变换的能量计算，ω和h是当前块的宽度和高度，DCT(y，x)是位于(y，x)的DCT系数，对于H.264/AVC的4×4的亮度块，上式中权值函数w(y，x)(x＝1，2，...h，y＝1，2，...，ω)，定义如下：

$w(y,x)=\left\{\begin{array}{cc}0.2& (y=1,x=1),(y=1,x=2),(y=2,x=1)\\ 0.4& (y=1,x=3),(y=2,x=2),(y=3,x=1)\\ 0.6& (y=1,x=4),(y=2,x=3),(y=3,x=2),(y=4,x=1)\\ 0.8& (y=2,x=4),(y=3,x=3),(y=4,x=2)\\ 1& (y=3,x=4),(y=4,x=3),(y=4,x=4)\end{array}\right.$

其中，ω＝4，h＝4

上式中的DCT变换采用标准中的整数DCT变换，公式如下所示：

$\mathrm{DCT}=(\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\×\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right])\⊗\left[\begin{array}{cccc}{a}^2& \frac{\mathrm{ab}}{2}& a^2& \frac{\mathrm{ab}}{2}\\ \frac{\mathrm{ab}}{2}& \frac{b^2}{4}& \frac{\mathrm{ab}}{2}& \frac{b^2}{4}\\ a^2& \frac{\mathrm{ab}}{2}& a^2& \frac{\mathrm{ab}}{2}\\ \frac{\mathrm{ab}}{2}& \frac{b^2}{4}& \frac{\mathrm{ab}}{2}& \frac{b^2}{4}\end{array}\right]$

其中， $a=\frac{1}{2},$ $b=\sqrt{\frac{2}{5}},$ X为当前块与预测块的残差。

步骤505：将不同预测模式下的重构残差的能量函数值按从小到大的顺序排列，选取最小的四个能量值第一能量(E1)、第二能量(E2)、第三能量(E3)、第四能量(E4)及对应的第一预测模式(m1)、第二预测模式(m2)、第三预测模式(m3)、第四预测模式(m4)，执行步骤506。

步骤506：根据下述的筛选原则，从上述的四种预测模式m1、m2、m3、m4中确定候选预测模式，执行步骤508。所述筛选原则包括：

步骤5061：判断E2是否大于α×E1，若是，执行步骤5062；否则，执行步骤5063。

步骤5062：候选预测模式为m1。

步骤5063：判断E3是否大于α×E1，若是，执行步骤5064，否则执行步骤5065。

步骤5064：候选预测模式为m1和m2。

步骤5065：判断E4是否大于α×E1，若是，执行步骤5066，否则执行步骤5067。

步骤5066：候选预测模式为m1、m2和m 3。

步骤5067：判断E4是否小于β×E1，若是，执行步骤5068，否则，执行步骤5069。

步骤5068：候选预测模式为m1和m2。

步骤5069：候选预测模式为m1、m2、m3和m4。

上述的α，β是常数，经过大量的试验，取α＝1.4和β＝1.05时编码效果最佳。

步骤507：将可用的预测模式作为候选预测模式，执行步骤508。当只有与当前块相邻的左块可用时，可用预测模式为模式1、模式2、模式8；当只有与当前块相邻的上块可用时，可用预测模式为模式0、模式2、模式3、模式7；当与当前块相邻的左块和上块均不可用时，候选预测模式为DC预测模式。

步骤508：对当前块各候选预测模式进行RDO计算，选取率失真代价参数RDCost最小的候选预测模式为当前块的最优预测模式，执行步骤509。即当前块的相邻左块和相邻上块均可用时，根据对能量函数确定的候选预测模式进行RDO计算，得到的率失真代价参数最小的候选预测模式为最优预测模式；当前块的相邻左块或相邻上块之一可用时，对可用的预测模式进行RDO计算，得到的率失真代价参数最小的可用预测模式为最优预测模式；当前块的相邻左块和相邻上块均不可用时，DC预测模式为最优预测模式。

步骤509：判断是否16个亮度块都作为当前块进行过上述计算，若是，执行步骤510，否则，重复执行步骤502，直到所有的4×4亮度块都完成预测编码。

步骤510：将16个4×4亮度块的最小率失真代价参数相加，并将相加后的和作为4×4亮度块的率失真代价参数RDCost4，执行步骤512。

步骤511：计算16×16亮度块4种预测模式的率失真代价参数，得到最小的率失真代价参数及对应于最小率失真代价参数的预测模式，其中最小的率失真代价参数为16×16亮度块的率失真代价参数RDCost16，对应于最小率失真代价参数的预测模式为16×16亮度块的最优预测模式，执行步骤512。

步骤512：比较4×4亮度块的率失真代价参数RDcost4和16×16亮度块的率失真代价参数RDcost16，若RDcost4＜RDcost16，执行步骤513，否则，执行步骤514。

步骤513：选取对应于各个4×4亮度块的最优预测模式作为16×16宏块的亮度块的最优预测模式。

步骤514：选取对应于RDcost16的16×16亮度块的最优预测模式作为16×16宏块的亮度块的最优预测模式。

本实施例，对H.264/AVC标准中的4×4亮度块的帧内预测方法进行改进，用残差的DCT变换得到的能量函数确定候选预测模式，对候选预测模式进行RDO计算，而不是对所有的预测模式进行RDO计算，由于进行RDO计算的预测模式数量减少，可以有效地减少RDO的运算量，有利于应用于实时编码。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种帧内预测方法，其特征在于，包括：

步骤1：选取一个待预测的4×4像素亮度块作为当前块；

步骤2：判断所述当前块是否为中心块，若是，执行步骤3，否则，执行步骤4；

步骤3：计算所有预测模式下所述当前块的预测块和所述当前块的残差的能量函数，并根据不同预测模式下的能量函数确定候选预测模式，执行步骤5；

步骤4：将可用的预测模式作为候选预测模式，执行步骤5；

步骤5：计算候选预测模式的率失真代价参数，选取率失真代价参数最小的候选预测模式为所述当前块的最优预测模式。

2.根据权利要求1所述的帧内预测方法，其特征在于，所述步骤2具体为：像素亮度块按从左至右、从上至下的顺序解码，当与所述当前块相邻的左像素亮度块和上像素亮度块均已解码时，所述当前块为中心块。

3.根据权利要求1所述的帧内预测方法，其特征在于，所述步骤3具体包括：

步骤31：计算不同预测模式下的所述当前块的预测块；

步骤32：根据不同预测模式下的所述当前块的预测块和所述当前块，得到不同预测模式下的所述当前块的预测块和所述当前块的残差；

步骤33：对不同预测模式下的残差进行离散余弦变换得到不同预测模式下的残差的能量函数；

步骤34：将不同预测模式下的残差的能量函数按照能量值从小到大的顺序排列，依次得到能量值较小的第一能量、第二能量、第三能量和第四能量，并得到对应于所述第一能量的第一预测模式、对应于所述第二能量的第二预测模式、对应于所述第三能量的第三预测模式和对应于所述第四能量的第四预测模式；

步骤35：根据所述第一能量、第二能量、第三能量和第四能量及所述第一预测模式、第二预测模式、第三预测模式和第四预测模式确定候选预测模式。

4.根据权利要求3所述的帧内预测方法，其特征在于，所述步骤3 3的计算公式为：

$E=\underset{y=1}{\overset{4}{\mathrm{\Σ}}}\underset{x=1}{\overset{4}{\mathrm{\Σ}}}w(y,x)\mathrm{DCT}(y-1,x-1)$

其中， $w(y,x)=\left\{\begin{array}{cc}0.2& (y=1,x=1),(y=1,x=2),(y=2,x=1)\\ 0.4& (y=1,x=3),(y=2,x=2),(y=3,x=1)\\ 0.6& (y=1,x=4),(y=2,x=3),(y=3,x=2),(y=4,x=1)\\ 0.8& (y=2,x=4),(y=3,x=3),(y=4,x=2)\\ 1& (y=3,x=4),(y=4,x=3),(y=4,x=4)\end{array}\right.$

$\mathrm{DCT}=\left(\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]X\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right]\right)\⊗\left[\begin{array}{cccc}{a}^2& \frac{\mathrm{ab}}{2}& a^2& \frac{\mathrm{ab}}{2}\\ \frac{\mathrm{ab}}{2}& \frac{b^2}{4}& \frac{\mathrm{ab}}{2}& \frac{b^2}{4}\\ a^2& \frac{\mathrm{ab}}{2}& a^2& \frac{\mathrm{ab}}{2}\\ \frac{\mathrm{ab}}{2}& \frac{b^2}{4}& \frac{\mathrm{ab}}{2}& \frac{b^2}{4}\end{array}\right]$

y为所述当前块的宽度方向的坐标，x为所述当前块的高度方向的坐标，X为所述当前块的预测块与所述当前块的残差，DCT(y，x)为所述当前块的坐标为(y，x)的DCT系数， $a=\frac{1}{2},$ $b=\sqrt{\frac{2}{5}}.$

5.根据权利要求3所述的帧内预测方法，其特征在于，所述步骤35具体包括：

步骤351：判断所述第二能量是否大于所述第一能量的1.4倍，若是，则所述第一预测模式为候选预测模式，否则，执行步骤352；

步骤352：判断所述第三能量是否大于所述第一能量的1.4倍，若是，则所述第一预测模式和第二预测模式为候选预测模式，否则，执行步骤353；

步骤353：判断所述第四能量是否大于所述第一能量的1.4倍，若是，则所述第一预测模式、第二预测模式和第三预测模式为候选预测模式，否则，执行步骤354；

步骤354：判断所述第四能量是否小于所述第一能量的1.05倍，若是，则所述第一预测模式和第二预测模式为候选预测模式，否则，所述第一预测模式、第二预测模式、第三预测模式和第四预测模式为候选预测模式。

6.根据权利要求1所述的帧内预测方法，其特征在于，所述步骤4具体包括：

当与所述当前块相邻的上像素亮度块已解码时，将垂直预测模式、DC预测模式、45度方向预测模式、67.5度方向预测模式作为候选预测模式(将各个模式换成背景技术中的具体模式名称)；

当与所述当前块相邻的左像素亮度块已解码时，将水平预测模式、DC预测模式、22.5度方向预测模式作为候选预测模式；

当与所述当前块相邻的上像素亮度块、左像素亮度块均未解码时，将DC预测模式作为候选预测模式。

7.根据权利要求1所述的帧内预测方法，其特征在于，还包括：

步骤6：将16个4×4像素亮度块最优预测模式的率失真代价参数之和作为4×4像素亮度块的率失真代价参数；

步骤7：计算16×16像素亮度块在不同预测模式下的残差hasmard变换和的值；

步骤8：将具有残差hasmard变换和的值最小的预测模式的率失真代价参数作为16×16像素亮度块的率失真代价参数；

步骤9：判断所述4×4像素亮度块的率失真代价参数是否小于所述16×16像素亮度块的率失真代价参数，若是，将对应于4×4像素亮度块的最优预测模式作为像素亮度块的最优预测模式，否则，将对应于16×16像素亮度块的最优预测模式作为像素亮度块的最优预测模式。

Images