CN101309421A - 帧内预测模式选择方法 - Google Patents

Abstract

本发明公开了一种帧内预测模式选择方法，包括：计算当前编码块的边方向强度值；根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理。所述计算当前编码块的边方向强度值具体为：采用4×4像素块、8×8像素块或16×16像素块计算所述当前编码块的边方向强度值。本发明帧内预测模式选择方法通过采用边方向强度值这一边缘特征对预测模式进行选择，只保留具有最小边方向强度值的一个或多个预测模式以及DC模式，在编码性能没有改变的基础上能够有效地降低RDO运算量，缩短运算时间，提高帧内预测效率，从而达到实时编码的效果。

Description

帧内预测模式选择方法

技术领域

本发明涉及视音频处理技术，尤其涉及一种帧内预测模式选择方法。

背景技术

随着图像处理技术的不断发展，视频编解码技术也随之快速发展。H.264/AVC就是新一代视频编解码标准。基于空间域的帧内预测是H.264/AVC标准中采用的一项重要新技术。在H.264/AVC标准中，编码是以宏块(Macro Block，以下简称：MB)为单位的，每个MB的大小为16×16的像素块，一个MB可以由一个亮度块和两个色度块表示，亮度块为1个16×16的像素块，色度块为2个8×8的像素块。亮度块的两种预测策略分别为：帧内16×16预测和帧内4×4预测。对于色度块只有一种色度8×8的预测策略，两个色度块使用相同的预测模式。

对于亮度块帧内4×4预测，一共有9种预测模式，当前亮度块的像素值都是用与当前编码块相邻的已经重构获取的像素值进行预测的。图1为现有技术中亮度块帧内4×4预测的预测模式的预测方向。如图1所示，其中箭头1代表0度预测方向也就是水平预测模式；箭头0代表90度预测方向也就是垂直预测模式；箭头3代表45度预测方向也就是平板预测模式，图中其它角度分别对应着不同的预测模式，总共有8种不同的预测方向对应八种预测模式。另外一种是直流(Direct Current，以下简称：DC)预测模式。亮度块帧内16×16预测共有4种预测模式：垂直预测，水平预测，DC预测，平板预测。而色度块帧内8×8预测也有4种预测模式。在现有技术中，H.264/AVC标准采用率失真优化(Rate Distortion Optimization，以下简称：RDO)技术进行预测模式选择，其中最优的亮度块预测模式计算过程为：首先，分别计算9种4×4亮度块模式的代价函数值，选择具有最小代价的模式；然后将16个4×4像素块的最小的代价函数值相加之和作为当前MB亮度采用4×4像素块分割下的代价函数值；再分别计算4种亮度16×16模式的当前MB与重建MB差值的绝对值之和，选择具有最小绝对值之和的模式，计算该模式下的代价函数值，得到当前MB的亮度16×16预测策略下的代价函数值；最后，比较上述两个代价函数值，选择具有最小代价函数值的模式作为该MB的帧内亮度预测模式。一个MB的亮度块和色度块的所有的预测模式的组合是M8×(M4×16+M16)种，其中M8是色度8×8像素块的模式数，M4是亮度4×4像素块的模式数，M16是亮度16×16像素块的模式数。

在实现本发明的过程中，发明人认为现有技术至少具有如下缺陷：首先，为了获得较高的编码效率，H.264/AVC编码器必须对所有的帧内MB模式的组合穷尽地进行RDO计算。为了确定一个MB的帧内预测的最优模式，编码器需要进行4×(9×16+4)＝592次RDO计算，从而导致相当大的计算复杂度；其次，RDO的计算公式为：RDCost＝distortion+λ×bitrate，其中，distortion表示以某种模式预测得到的重构残差；bitrate表示以该模式进行预测编码后形成码流的比特数，λ是关于量化参数的函数。因此，为了得到RDCost必须对当前MB进行预编码，该编码过程是相当耗时的，从而导致不能实现实时编码。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种帧内预测模式选择方法，以实现降低RDO运算量，缩短运算时间，提高帧内预测效率以及实现实时编码的效果。

为实现上述目的，本发明提供了一种帧内预测模式选择方法，包括：

计算当前编码块的边方向强度值；

根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理。

所述计算当前编码块的边方向强度值具体为：采用4×4像素块、8×8像素块或16×16像素块计算所述当前编码块的边方向强度值。

所述采用4×4像素块计算所述当前编码块的边方向强度值具体为：

将当前4×4像素块与其相邻行和列中已重构获取的像素组成5×5像素块；

根据所述5×5像素块的像素值计算该5×5像素块的边方向强度值。

所述根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理之前还包括：根据所述边方向强度值选择最小边方向强度值所对应的至少一个预测模式，具体为：

判断边方向强度值中最小的两个边方向强度值的差值是否大于第一阈值，如果大于第一阈值，则选择最小的一个边方向强度值所对应的预测模式，如果小于第一阈值，则判断所述最小的两个边方向强度值的差值是否小于第二阈值；

如果小于第二阈值，则选择最小的五个边方向强度值所对应的预测模式，如果大于第二阈值，则选择最小的三个边方向强度值所对应的预测模式。

所述采用8×8像素块或16×16像素块计算所述当前编码块的边方向强度值具体为：

将所述8×8像素块或16×16像素块划分形成第一4×4像素块；

分别计算所述第一4×4块的每个子像素块中所有像素的像素值的平均值；

根据所述像素值的平均值计算预测模式的边方向强度值。

所述根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理之前还包括：选择最小的一个边方向强度值所对应的预测模式。

由上述技术方案可知，本发明帧内预测模式选择方法通过采用边方向强度值这一边缘特征对当前编码块内的亮度块和色度块的预测模式进行选择，只保留具有最小边方向强度值的一个或多个预测模式以及DC模式，在编码性能没有改变的基础上能够有效地降低RDO运算量，缩短运算时间，提高帧内预测效率，从而达到实时编码的效果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为现有技术中亮度块帧内4×4预测的预测模式的预测方向；

图2为本发明帧内预测模式选择方法第一实施例的流程图；

图3为本发明帧内预测模式选择方法第二实施例的流程图；

图4为本发明帧内预测模式选择方法第二实施例中5×5像素块的示意图；

图5a为本发明帧内预测模式选择方法在计算0度角方向的边方向强度值时的计算示意图；

图5b为本发明帧内预测模式选择方法在计算90度角方向的边方向强度值时的计算示意图；

图5c为本发明帧内预测模式选择方法在计算45度角方向的边方向强度值时的计算示意图；

图5d为本发明帧内预测模式选择方法在计算135度角方向的边方向强度值时的计算示意图；

图6为本发明帧内预测模式选择方法第三实施例的流程图；

图7为本发明帧内预测模式选择方法第三实施例中将色度8×8像素块划分的示意图。

具体实施方式

图2为本发明帧内预测模式选择方法第一实施例的流程图。如图2所示，该方法包括：

步骤201、计算当前编码块的边方向强度值。

边方向强度值代表当前编码块的纹理沿着某个方向的强度，体现了视频图像纹理的变化趋势。如果针对当前编码块的预测模式在某个方向上的边方向强度值越小，就说明当前编码块的纹理可能是沿着这个方向，因此，使用该方向对应的预测模式进行帧内预测的效果就越好。

步骤203、根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理。

可以将与当前编码块对应的预测模式的边方向强度值作为一种边缘特征对各种预测模式的预测效果进行区分。通过计算各种预测模式的边方向强度值就可以对各种预测模式进行筛选。根据预测精度以及其它不同需求，可以选择具有最小边方向强度值的一个或者多个预测模式，而排除那些边方向强度值较大也就是预测效果不好的预测模式，从而降低后续RDO的计算量。

通过实验可知，DC模式为无方向性的预测模式，是帧内预测中最常用的模式，因此，DC模式总是作为候选模式。同时，将步骤203中选择出的预测效果较好的一个或多个预测模式也作为候选模式。

与现有H.264/AVC标准中使用全部预测模式进行RDO计算相比，本发明帧内预测模式选择方法第一实施例通过采用边方向强度值这一边缘特征对预测模式进行选择，只保留具有较小边方向强度值的一个或多个预测模式以及DC模式，在编码性能没有改变的基础上能够有效地降低RDO运算量，缩短运算时间，提高帧内预测效率，因此能够达到实时编码的效果。

图3为本发明帧内预测模式选择方法第二实施例的流程图。计算与当前MB对应的预测模式的边方向强度值可以采用4×4像素块、8×8像素块或16×16像素块来计算预测模式的边方向强度值。对于一个MB中的亮度块而言有两种预测策略：帧内16×16预测和帧内4×4预测。本实施例采用4×4预测策略对一个MB中的亮度块进行帧内预测。如图3所示，该方法包括：

步骤301、将当前4×4亮度块与其相邻行和列中已重构获取的像素组成5×5像素块。

由于视频图像的运动变化具有连续性，因此，相邻的像素块之间具有一定相关性。由于当前的编码块是用它左侧和上侧已经重构出来的像素进行预测的，因此为了更加准确的检测出当前像素块的预测模式的边方向强度值，将与当前4×4像素块相邻的行和列中已重构获取的像素，也就是该4×4像素块上侧和左侧已经重构获取的9个像素与该4×4像素块结合起来组成5×5像素块。图4为本发明帧内预测模式选择方法第二实施例中5×5像素块的示意图。如图4所示，在本实施例中所使用到的与该4×4像素块相邻的像素值为其左侧和上侧虚线框内的用大写字母表示的像素值，大写字母代表已经重构获取的9个像素值，剩下的4×4像素块为待预测的像素值，用这个5×5像素块计算各个预测模式的边方向强度值。

步骤303、根据5×5像素块的像素值计算边方向强度值。

本实施例计算了5×5像素块的八个方向的边方向强度值，这八个方向包括：0度角方向、90度角方向、45度角方向、135度角方向、22.5度角方向、67.5度角方向、112.5度角方向以及157.5度角方向。各个方向的边方向强度值的计算公式如下所示：

图5a为本发明帧内预测模式选择方法在计算0度角方向的边方向强度值时的计算示意图。如图5a所示，计算0度角方向的预测模式的边方向强度值，其计算公式为：

$\stackrel{\‾}{a_i}=\frac{1}{5}\underset{k=0}{\overset{4}{\mathrm{\Σ}}}{a}_{\mathrm{ik}};$ a_i为0度角方向的像素的均值。

图5b为本发明帧内预测模式选择方法在计算90度角方向的边方向强度值时的计算示意图。如图5b所示，计算90度角方向的预测模式的边方向强度值，其计算公式为：

$\stackrel{\‾}{a_j}=\frac{1}{5}\underset{k=0}{\overset{4}{\mathrm{\Σ}}}{a}_{\mathrm{ij}};$ a_j为90度角方向的像素的均值。

图5c为本发明帧内预测模式选择方法在计算45度角方向的边方向强度值时的计算示意图。如图5c所示，计算45度角方向的预测模式的边方向强度值，其计算公式为：

$+\underset{0\≤i\≤4,i+j=4}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{5}\underset{0\≤i\≤4,i+j=4}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|+\underset{1\≤i\≤4,i+j=5}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{4}\underset{1\≤i\≤4,i+j=5}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|+\underset{2\≤i\≤4,i+j=6}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{3}\underset{2\≤i\≤4,i+j=6}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|;$

图5d为本发明帧内预测模式选择方法在计算135度角方向的边方向强度值时的计算示意图。如图5d所示，计算135度角方向的预测模式的边方向强度值，其计算公式为：

$+\underset{0\≤i\≤4,j=i}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{5}\underset{0\≤i\≤4,j=i}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|+\underset{1\≤i\≤4,j=i-1}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{4}\underset{1\≤i\≤4,j=i-1}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|+\underset{2\≤i\≤4,j=i-2}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{3}\underset{2\≤i\≤4,j=i-2}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|.$

除了计算上述四个主要方向上的边方向强度之外，还可以利用上述四个边方向强度值计算以下四个方向上的边方向强度值。

计算22.5度角方向的预测模式的边方向强度值，其计算公式为：

计算67.5度角方向的预测模式的边方向强度值，其计算公式为：

计算112.5度角方向的预测模式的边方向强度值，其计算公式为：

计算157.5度角方向的预测模式的边方向强度值，其计算公式为：

在上述各式中，d为各个角度上的预测模式的边方向强度值，i、j分别为5×5像素块的行标号和列标号，a_ij(0≤i，j≤4)为5×5像素块的像素值。

这样通过上面的八个公式就可以计算出当前5×5像素块在八个不同的方向的预测模式的边方向强度值了。如果计算出来的边方向强度值越小就说明当前像素块的边方向是沿着这个方向的，同时也说明了使用这个方向所对应的预测模式的预测效果也就越好。

步骤305、判断边方向强度值中最小的两个边方向强度值的差值是否大于第一阈值，如果大于第一阈值，则执行步骤307，如果小于第一阈值，执行步骤309；

步骤307、选择最小的一个边方向强度值对应的预测模式，执行步骤315。

步骤309、判断边方向强度值中最小的两个边方向强度值的差值是否小于第二阈值；如果小于第二阈值，则执行步骤311，如果大于第二阈值，则执行步骤313；

步骤311、选择最小的五个边方向强度值对应的预测模式，执行步骤315。

步骤313、选择最小的三个边方向强度值对应的预测模式，执行步骤315。

具体地，如果上述这八个边方向强度值中最小的两个值之间的差值大于预设的第一阈值，这说明具有最小边方向强度值的预测模式很可能就是最优的模式，在这种情况下只选择具有最小边方向强度值的一个预测模式。如果上述八个边方向强度值中最小的两个值之间的差值小于第二阈值的话，这说明当前的像素块非常平滑，很难选择哪个模式是最优的，这种情况下选择具有最小边方向强度值的五种预测模式。其他情况下，也就是介于上述两种情况之间时，只选择三种具有最小边方向强度值的预测模式。通过实验发现第一阈值选择150，而第二阈值选择40适合于各种类型的视频序列。

步骤315、根据直流模式和选择出的预测模式进行帧内预测处理。

对于只从八个方向的预测模式中选择一种预测模式的情况，总共有两种候选模式；对于从八个方向的预测模式中选择五种预测模式的情况，总共有六种候选模式；对于从八个方向的预测模式中选择三种预测模式的情况，总共有四种候选模式。相对于原先九种候选模式来说，减小了候选模式的数量，进而降低了候选帧内预测处理的运算量。

本发明帧内预测模式选择方法第二实施例通过对亮度块4×4预测策略采用边方向强度值这一边缘特征对亮度块的预测模式进行选择。在计算边方向强度值的过程中充分考虑了用来预测当前4×4像素块的已经重构获取的像素的像素值，从而能够提高预测精度；本实施例根据预设的第一阈值和第二阈值选择具有较小边方向强度值的一个、三个或者五个预测模式以及DC模式作为候选模式，在编码性能没有改变的基础上能够有效地降低RDO运算量，缩短运算时间，提高帧内预测效率，从而达到实时编码的效果。

图6为本发明帧内预测模式选择方法第三实施例的流程图。对于一个MB中的色度块而言只有一种预测策略：帧内8×8预测。本实施例采用8×8预测策略对一个MB中的色度块进行帧内预测。如图6所示，该方法包括：

步骤601、将8×8像素块划分成第一4×4像素块。

图7为本发明帧内预测模式选择方法第三实施例中将色度8×8像素块划分的示意图。如图7所示，8×8像素块经过划分后形成的第一4×4像素块中，每个像素块是由一个2×2子像素块组成的。

步骤603、分别计算第一4×4像素块的每个子像素块中所有像素的像素值的平均值。

图7中平均值a₀₀即该a₀₀所在的2×2子像素块的平均像素值的计算公式为：

$a_{00}=\left(\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{b}_k\right)/4$

其它平均像素值的计算以此类推。

步骤605、根据各个平均值计算预测模式的边方向强度值。

本实施例计算了第一4×4像素块在三个方向上的边方向强度值，这三个方向包括：0度角方向、90度角方向、45度角方向。在上一实施例中，计算边方向强度值时考虑了与4×4像素块相邻的像素的9个像素值，而在本实施例中，由于当前像素块的大小为8×8，重构出来的参考像素和当前像素块的像素距离较远，因此相关性不大，因此，此处不再使用与第一4×4像素块相邻像素的像素值。三个方向的边方向强度值的具体计算公式如下所示：

计算0度角方向的预测模式的边方向强度值，其计算公式为：

其中，a_i为0度角方向的像素的均值；

计算90度角方向的预测模式的边方向强度值，其计算公式为：

其中，a_j为90度角方向的像素的均值；

计算45度角方向的预测模式的边方向强度值，其计算公式为：

$+\underset{1\≤i\≤3,i+j=4}{\mathrm{\Σ}}|a_{\mathrm{ij}}-\frac{1}{3}\underset{1\≤i\≤3,i+j=4}{\mathrm{\Σ}}{a}_{\mathrm{ij}}|;$

其中，d为各个角度对应的边方向强度值，i，j分别为第一4×4像素块的行标号和列标号，a_ij(0≤i，j≤3)为第一4×4像素块的像素值。

步骤607、选择三个方向的预测模式中与最小边方向强度值对应的一个预测模式。

步骤609、根据直流模式和选择出的一个预测模式进行帧内预测处理。

对于亮度块采用帧内16×16预测来说，也可以使用上述色度块的预测方法。所不同的是，在划分之后，形成的是4×4子像素块，在求取平均像素值是对该4×4子像素块内的16个像素的像素值进行平均。

本发明帧内预测模式选择方法第三实施例在色度块8×8预测策略的情况下首先对其进行划分，求取像素平均值后再采用边方向强度值这一边缘特征对色度块的预测模式进行选择。只选择三个预测模式中具有最小边方向强度值的一个预测模式以及DC模式作为候选模式，在编码性能没有改变的基础上能够有效地降低RDO运算量，缩短运算时间，提高帧内预测效率，从而达到实时编码的效果。

综合本发明帧内预测模式选择方法的三个实施例可知，在对一个编码块进行帧内预测时，分别对色度块和亮度块采用上述的方法进行候选模式的选择，能够使得现有技术H.264/AVC标准下进行592次RDO计算的运算次数最低降至68次，运算量得到显著的降低，在保持原来的编码性能的前提下极大地加快了帧内编码速度，进而能够获得实时编码的效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (6)

1、一种帧内预测模式选择方法，其特征在于包括：

计算当前编码块的边方向强度值；

根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理。

2、根据权利要求1所述的帧内预测模式选择方法，其特征在于，所述计算当前编码块的边方向强度值具体为：采用4×4像素块、8×8像素块或16×16像素块计算所述当前编码块的边方向强度值。

3、根据权利要求2所述的帧内预测模式选择方法，其特征在于，所述采用4×4像素块计算所述当前编码块的边方向强度值具体为：

将当前4×4像素块与其相邻行和列中已重构获取的像素组成5×5像素块；

根据所述5×5像素块的像素值计算该5×5像素块的边方向强度值。

4、根据权利要求3所述的帧内预测模式选择方法，其特征在于，所述根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理之前还包括：根据所述边方向强度值选择最小边方向强度值所对应的至少一个预测模式，具体为：

判断边方向强度值中最小的两个边方向强度值的差值是否大于第一阈值，如果大于第一阈值，则选择最小的一个边方向强度值所对应的预测模式，如果小于第一阈值，则判断所述最小的两个边方向强度值的差值是否小于第二阈值；

如果小于第二阈值，则选择最小的五个边方向强度值所对应的预测模式，如果大于第二阈值，则选择最小的三个边方向强度值所对应的预测模式。

5、根据权利要求2所述的帧内预测模式选择方法，其特征在于，所述采用8×8像素块或16×16像素块计算所述当前编码块的边方向强度值具体为：

将所述8×8像素块或16×16像素块划分形成第一4×4像素块；

分别计算所述第一4×4像素块的每一个子像素块中所有像素的像素值的平均值；

根据所述像素值的平均值计算预测模式的边方向强度值。

6、根据权利要求5所述的帧内预测模式选择方法，其特征在于，所述根据最小所述边方向强度值所对应的预测模式和直流模式进行帧内预测处理之前还包括：选择最小一个边方向强度值所对应的预测模式。

Images