CN101159873A - 一种帧间模式选择方法 - Google Patents

Abstract

本发明涉及了一种帧间模式选择方法。根据前后帧的时空相关性，计算前后帧像素差异；进而计算块差异比率和块差异比率阈值；根据块差异比率及其阈值划分不同感兴趣区域；由不同区域和帧间预测编码模式的关系限定模式选择范围；并设计跳过模式和帧内模式的预判别准则进一步帮助模式决策。经过具有不同特点的标准视频序列测试，算法在保证主观质量的前提下，大大降低AVS的编码计算复杂度，而且信噪比和码率几乎没有损失。本方法也适用于其他以宏块为单位编码的视频标准，具有很强的扩展性和实用性。

Description

一种帧间模式选择方法

技术领域

本发明涉及视频编码，视频压缩，视频传输，视频存储，以及多媒体视频应用领域，尤其涉及一种帧间模式选择方法。

背景技术

作为先进音视频编码技术的重要组成部分，AVS-Part2(简称AVS)是我国拥有自主知识产权的视频标准，它能提供与H.264/AVC相似的编码性能。AVS标准采用运动估计、补偿加变换的混合编码框架，由于其采用了块尺寸可变的多参考帧运动估计、多模式帧内预测以及二维熵编码等新技术，因此与以往标准相比，编码效率可以提高1.5至2倍。编码的基本单位是宏块。因为宏块的大小可变，多参考帧运动估计时可以灵活选择宏块的大小。在宏块(macroblock-MB)划分上AVS采用了跳过(SKIP)，P16×16，P16×8，P8×16，P8×8，Intra8×8六种模式。为获得率失真最优的编码性能，可采用基于率失真优化(Rate Distortion Optimization-RDO)的全模式选择方法，通过比较所有模式下编码所得的率失真代价(RateDistortion cost-RDcost)来选择率失真代价最小的模式。RDO并不是由AVS所独有的，其他的编码标准也可以采用RDO，比如H.264和Mpeg等。RDO使编码器遇到多种不同模式选择时，可以选择最有效的编码方式。但是却大幅度地增加了编码器的计算复杂度，因为这种基于RDO的全模式选择与运动估计过程占编码器计算量的70％以上。所以，编码模式选择的研究对编码器性能优化具有重要意义。

专利申请号为200610013140.8的中国发明专利申请“一种快速帧间预测模式选择方法”通过对宏块运动特性和细节特征的预选择，选择符合条件的宏块模式进行编码计算。该方法使用当前宏块的绝对帧差以及一帧图像中所有宏块绝对帧差的平均值做比较，确定宏块处于运动区域或非运动区域。该方法难以克服噪声对区域判断的影响，而且需要帧系数的大量计算帮助确定编码模式从而计算复杂度高，进而使计算速度慢。

发明内容

本发明目的在于提供一种视频编码的快速帧间模式选择方法，其能够避免帧间模式选择时的大量计算，在保证编码质量的条件下，提高编码速度、节约编码时间。

为实现上述目的，根据本发明的一个方面，提供了一种帧间模式选择方法，包括下列步骤：

1)根据像素差异判断当前宏块属于非感兴趣区，普通感兴趣区或高度感兴趣区；

2)对于当前宏块，根据该宏块的周围宏块的编码模式进行Intra8×8模式预判。如果Intra8×8模式的预判为真，则帧内模式集合为空，否则帧内模式集合包含Intra8×8模式；

3)对于属于非感兴趣区的宏块，根据当前宏块的周围宏块属于的区域和当前宏块在前一参考帧中的对应同位宏块及其相邻宏块的编码模式进行SKIP模式预判。如果SKIP模式预判为真，则帧间模式集合包含SKIP模式，否则，所述帧间模式集合包含所述SKIP模式和P16×16模式；

4)对于属于普通感兴趣区的宏块，根据当前宏块的周围宏块属于的区域和当前宏块在前一参考帧中的对应同位宏块及其相邻宏块的编码模式进行SKIP模式预判，如果SKIP模式预判为真，则帧间模式集合包含SKIP和P16×16模式，否则，帧间模式集合包含SKIP、P16×16、P16×8和P8×16模式；

5)对于属于高度感兴趣区的宏块，帧间模式集合包含SKIP、P16×16、P16×8、P8×16、P8×8模式；

6)在帧内模式集合和帧间模式集合的并集中，进行率失真优化计算得到当前宏块的模式选择结果；

其中，步骤3)、4)和5)没有先后顺序关系。

根据本发明的另一方面，Intra8×8模式预判包含判断当前宏块的周围宏块的编码模式是否是SKIP模式。

根据本发明的又一方面，SKIP模式预判包含判断当前宏块的周围宏块属于非感兴趣区且当前宏块在前一参考帧中的对应同位宏块及其相邻宏块是SKIP模式是否均成立。

根据本发明的再一方面，根据像素差异判断当前宏块属于非感兴趣区，普通感兴趣区或高度感兴趣区包含以下步骤：

根据块差异比率阈值判断当前宏块属于感兴趣区还是非感兴趣区；

如果属于所述感兴趣区，则进一步根据感兴趣区中各块的差异比率判断所述当前宏块属于普通感兴趣区还是高度感兴趣区。

经过具有不同特点的标准视频序列测试，算法在保证主观质量的前提下，大大降低AVS的编码计算复杂度。对于最常用的两参考帧，节省编码时间60％以上，信噪比和码率几乎没有损失。算法也适用于其他以宏块为单位编码的视频标准，具有很强的扩展性和实用性，而且易于实现。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1是国际通用标准测试序列Akiyo序列第145帧原始图像。

图2是国际通用标准测试序列Akiyo序列第145帧的区域标识图像。

图3是国际通用标准测试序列News序列第20帧原始图像。

图4是国际通用标准测试序列News序列第20帧的区域标识图像。

图5是跳过模式预判所需宏块位置示意图。

图6是对帧内模式跳过的预判所需宏块位置示意图。

图7是本发明方法流程图。

具体实施方式

本发明把图像分为不同区域，对不同区域进行不同模式选择。其中进行模式选择时，根据跳过模式和Intra8×8模式的预判准则进一步帮助快速模式选择。具体实现方法如下：

若视频帧尺寸为M×N像素，当前帧为第t帧，前一参考帧则为第(t-1)帧。

根据公式(1)计算当前帧与前一帧的像素差异阈值；其中，P为帧坐标(i，j)处的像素值。根据公式(2)计算像素的差异。

${\mathrm{PixThr}}_t=\frac{1}{M\·N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|P_t(i,j)-P_{t-1}(i,j)|$ 公式(1)

${\mathrm{PixDif}}_t(i,j)=\left\{\begin{array}{c}1,|P_t(i,j)-P_{t-1}(i,j)|>\mathrm{Pix}{\mathrm{Thr}}_t\\ 0,\mathrm{else}\end{array}\right.$ 公式(2)

根据公式(3)计算块差异比率，并根据公式(4)计算块差异比率阈值。其中Blk_m为当前帧的第m个块。L为Blk_m中的像素数。N_Blk为当前帧的块总数。λ为经验参数，调整块差异比率阈值BlkThr，λ越大则处于前景感兴趣区域中的块越少。其中λ优选取值为1.15。

$\mathrm{DR}\_{\mathrm{Blk}}_m=\underset{(i,j)\∈{\mathrm{Blk}}_m}{\mathrm{\Σ}}\frac{\mathrm{Pix}{\mathrm{Dif}}_t(i,j)}{L}$ 公式(3)

$\mathrm{BlkThr}=\mathrm{\λ}\·\left(\underset{m=1}{\overset{N_{\mathrm{Blk}}}{\mathrm{\Σ}}}\frac{\mathrm{DR}\_{\mathrm{Blk}}_m}{N_{\mathrm{Blk}}}\right)$ 公式(4)

本发明将视频序列中的每帧，分为感兴趣区域(ROI)和非感兴趣区域(NonROI)。感兴趣区是人较为关注的区域，非感兴趣区与之相反。感兴趣区域又称为前景区域(Foreground)，是由块差异比率大于BlkThr的块组成的，如公式(5)所示。感兴趣区域进一步分为两个部分，普通感兴趣区域(NormalROI)和高度感兴趣区域(TopROI)。其中高度感兴趣区域的受关注程度是最高的，它由块差异比率大于根据公式(7)计算的前景区域的块差异比率的中值的块组成，如公式(8)所示；感兴趣区域除去属于高度感兴趣区域的区域即为普通感兴趣区，如公式(9)所示。图2和图4分别为图1和图3进行区域检测以后的结果，其中灰色覆盖的块属于高度感兴趣区域，白色覆盖的块为普通感兴趣区，其余部分为非感兴趣区。

Foreground＝ROI＝{Block_m}，if(DR_Blk_m＞BlkThr)    公式(5)

NonROI＝{Block_m}-ROI                              公式(6)

ROI_BLK＝{DR_Blk_m}，if(DR_Blk_m＞BlkThr)           公式(7)

TopROI＝{Block_m}，if(DR_Blk_m＞median(ROI_BLK))；  公式(8)

NormalROI＝Foreground-TopROI                      公式(9)

宏块编码模式的选择主要由宏块内对象的运动和纹理情况决定，如果宏块运动情况趋于一致，则选择16×16模式；如果左、右宏块分属不同的运动情况，则选择8×16模式；如果上、下宏块分属不同的运动情况，则选择16×8模式；更复杂的运动情况就选择8×8模式。

表1是对“News”序列299个P帧进行统计，NonROI，NormalROI和TopROI三个区域中包含的各编码模式的宏块数所占比例。以此结果为例，分析本专利方法的具体实施。

表1三个区域中不同模式的分布比例(％)

区域	SKIP	P16×16	P16×8	P8×16	P8×8	I8×8
							所有区域	79.78	8.99	3.58	4.53	2.11	1.00
NormalROI	7.57	2.22	0.77	0.88	0.26	0.17
							TopROI	9.79	4.26	2.14	2.91	1.70	0.73
NonROI	62.42	2.52	0.67	0.74	0.15	0.09

对非感兴趣区、普通感兴趣区和高度感兴趣区进行帧间模式选择，具体实施方法如下：

表1说明了在每帧图像中非感兴趣区的范围一般最大，其属于静止或微小运动的大面积平滑区域。该区域中SKIP模式比例最大，P16×16其次，而P16×8与P8×16之和再次，而P8×8与Intra8×8之和最小。因此，如果当前宏块MB_Cur位于该区域中，其模式选择可以限制在前两种。

MODE_Cur∈{SKIP，P16×16}，如果MB_Cur∈NonROI    公式(10)

普通感兴趣区是有轻微变化的区域。其中前4种模式占该区域的90％以上。因此，如果当前宏块MB_Cur位于该区域中，则优先选择这4种模式。

MODE_Cur∈{SKIP，P16×16，P16×8，P8×16}，

如果MB_Cur∈NormalROI                  公式(11)

最重要的高度感兴趣区域，是该帧运动变化最大的区域，绝大多数P8×8与Intra8×8模式的宏块位于此区域。高度感兴趣区域是观众最关注的区域，因此其编码质量对主观有最大的影响。其中各种模式比例比较均衡，因此在所有可用编码模式中进行选择，以求达到最好的效果。

MODE_Cur∈{SKIP，P16×16，P16×8，P8×16，P8×8，Intra8×8}，

如果MB_Cur∈TopROI                                公式(12)

由于SKIP模式在所有模式总数中占最大比例，如果能提前判断，就可以节省大量计算时间，提高编码速度。因此，有必要为非感兴趣区和普通感兴趣区中的宏块设计SKIP模式预判准测。以图5所示宏块位置为例，当前帧P_t中，当前编码宏块MB_Cur，其相邻左宏块MB_CurL，上宏块MB_CurT。前一参考帧REF_t-1中，当前宏块的对应同位宏块MB_Co，其相邻右宏块MB_CoR，下宏块MB_CuB。

因为非运动区域一般面积比较大，而且移动相对缓慢。从空间特点说，当前帧中的SKIP模式周围的宏块大多位于非感兴趣区。而从时间特点来说，MB_Cur的前一参考帧中的对应同位宏块MB_Co的周围宏块也大多为SKIP编码模式。考虑到SKIP模式宏块的时间和空间局部性的特点，如果MB_CurT，MB_CurL都在非感兴趣区和普通感兴趣区区域，而MODE_CoR和MODE_CoB的编码模式为SKIP，则当前宏块编码模式MODE_Cur极有可能为SKIP模式。SKIP模式预判准测如下：

MODE_Cur＝SKIP，如果(MB_Cur∈NonROI)且(MB_CurT，MB_CurL∈NonROI)且(MODE_CoR，MODE_CoB＝＝SKIP)

MODE_Cur∈{SKIP，P16×16}；如果(MB_Cur∈NormalROI)且(MB_CurT，MB_CurL∈NonROI)且(MODE_CoR，MODE_CoB＝＝SKIP)

由于帧内模式选择与否的判断，需要5种帧内模式的计算，计算复杂度比较高；而且，帧内的Intra8×8模式只占极小的数量，所以如果对每一个宏块都进行5种帧内模式的计算，则绝大多数都是无用计算。但是由于帧内模式本身的特点，不能轻易舍弃，否则信噪比有较大下降。基于以上因素，本发明对帧间宏块是否采用帧内模式进行预判。在帧内模式预判中，当前8×8块由其上边和左边的各16个宏块参考样本值来预判。在帧中选择帧内模式编码得到宏块，其上边和左边宏块都为SKIP的情况也极小。

所以，以如图6所示的位置关系为例，当前宏块MB_Cur的左边和上边4个宏块的编码模式(MODE_{Cur_A}，MODE_{Cur_B}，MODE_{Cur_C}，MODE_{Cur_D})，来判定是否对MB_Cur进行Intra8×8的模式选择，即：

MODE_Cur≠Intra8×8，

如果(MODE_{Cur_A}，MODE_{Cur_B}，MODE_{Cur_C}，MODE_{Cur_D})都等于SKIP。

对于本领域的普通技术人员来说，显然可以认识到，上述预判准则中宏块位置关系和个数的选择仅是给出的一个例子，他们可以需要选择宏块及其位置关系来实现SKIP模式和Intra8×8模式的其他预判准测，而不偏离本发明的精神范围。

综合上面所述，则本算法具体伪代码如下所示：

初始帧内模式集合(IntraModeSet)和帧间模式集合(InterModeSet)为空；SKIP模式预判值(bSkip)和Intra8×8模式预判值(bNotIntra)为FALSE；

{

如果(MB_CurT，MB_CurL∈NonROI)且(MODE_CoR，MODE_CoB＝＝SKIP)

   则bSkip＝TRUE；

  如果(MODE_{Cur_A}，MODE_{Cur_B}，MODE_{Cur_C}，MODE_{Cur_D})＝＝SKIP

     则bNotIntra＝TRUE；

  如果(bNotIntra＝＝FALSE)

     则Intra8×8∈IntraModeSet；

  如果(MB_Cur∈NonROI)

  {

    如果(bSkip)

        则SKIP∈InterModeSet；

    否则

         {SKIP，P16×16}InterModeSet；

  }

  如果(MB_Cur∈NormalROI)

  {

    如果(bSkip)

       则{SKIP，P16×16}InterModeSet；

    否则

       {SKIP，P16×16，P16×8，P8×16}InterModeSet；；

  }

  如果(MB_Cur∈TopROI)

    {所有可用帧间模式}InterModeSet；

  MODE_Cur∈IntraModeSet∪InterModeSet；

}

在IntraModeSet∪InterModeSet中，进行率失真优化计算得到当前宏块的模式选择结果。

对于无线移动设备，由于本身处理器频率和电池能耗的限制，对视频压缩提出新的要求，要在较高的压缩比例下，取得令人满意的视觉效果。矛盾最为突出的是，小尺寸设备的计算能力和功耗受到很大限制，不可能像台式电脑强调硬件计算速度的提升对编码效率和视频质量的促进。所以，如何有效的分配计算能力和设备资源，是该类设备上成功应用的重要挑战。本发明提供的一种区域辅助的快速帧间模式选择方法，能够降低设备能量消耗，将最宝贵的设备资源，分配给人主观最感兴趣的区域，提高人的主观满意度并延长电池的使用时间。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (8)

1.一种帧间模式选择方法，包括下列步骤：

1)根据像素差异判断当前宏块属于非感兴趣区，普通感兴趣区或高度感兴趣区；

2)对于所述当前宏块，根据该宏块的周围宏块的编码模式进行Intra8×8模式预判，如果Intra8×8模式的预判为真，则帧内模式集合为空，否则帧内模式集合包含Intra8×8模式；

3)对于属于所述非感兴趣区的宏块，根据所述当前宏块的周围宏块属于的区域和所述当前宏块在前一参考帧中的对应同位宏块及其相邻宏块的编码模式进行SKIP模式预判，如果所述SKIP模式预判为真，则帧间模式集合包含SKIP模式，否则，所述帧间模式集合包含所述SKIP模式和P16×16模式；

4)对于属于所述普通感兴趣区的宏块，根据所述当前宏块的周围宏块属于的区域和所述当前宏块在前一参考帧中的对应同位宏块及其相邻宏块的编码模式进行SKIP模式预判，如果所述SKIP模式预判为真，则所述帧间模式集合包含SKIP和P16×16模式，否则，所述帧间模式集合包含SKIP、P16×16、P16×8和P8×16模式；

5)对于属于所述高度感兴趣区的宏块，所述帧间模式集合包含SKIP、P16×16、P16×8、P8×16、P8×8模式；

6)在所述帧内模式集合和所述帧间模式集合的并集中，进行率失真优化计算得到当前宏块的模式选择结果；

其中，步骤3)、4)和5)没有先后顺序关系。

2.根据权利要求1所述的方法，其特征在于，所述Intra8×8模式预判包含判断当前宏块的周围宏块的编码模式是否是SKIP模式。

3.根据权利要求2所述的方法，其特征在于，所述当前宏块的周围宏块包含当前宏块的左边、左上、上边和右上4个宏块。

4.根据权利要求1所述的方法，其特征在于，所述SKIP模式预判包含判断当前宏块的周围宏块属于非感兴趣区且当前宏块在前一参考帧中的对应同位宏块及其相邻宏块是SKIP模式是否均成立。

5.根据权利要求4所述的方法，其特征在于，所述当前宏块的周围宏块包含当前宏块的左边和上边宏块；当前宏块在前一参考帧中的对应同位宏块的相邻宏块包含所述同位宏块的右边和下边宏块。

6.根据权利要求1所述的方法，其特征在于，所述根据像素差异判断当前宏块属于非感兴趣区，普通感兴趣区或高度感兴趣区包含以下步骤：

根据块差异比率阈值判断当前宏块属于感兴趣区还是非感兴趣区；

如果属于所述感兴趣区，则进一步根据感兴趣区中各块的差异比率判断所述当前宏块属于普通感兴趣区还是高度感兴趣区。

7.根据权利要求6所述的方法，其特征在于，所述块差异比率阈值是通过计算前后帧像素差异而得到的：

计算像素差异： ${\mathrm{PixDif}}_t(i,j)=\left\{\begin{array}{c}1,|P_t(i,j)-P_{t-1}(i,j)|>\mathrm{Pix}{\mathrm{Thr}}_t\\ 0,\mathrm{else}\end{array}\right.;$

计算块差异比率： $\mathrm{DR}\_{\mathrm{Blk}}_m=\underset{(i,j)\∈{\mathrm{Blk}}_m}{\mathrm{\Σ}}\frac{\mathrm{Pix}{\mathrm{Dif}}_t(i,j)}{L};$

计算块差异比率阈值： $\mathrm{BlkThr}=\mathrm{\λ}\·\left(\underset{m=1}{\overset{N_{\mathrm{Blk}}}{\mathrm{\Σ}}}\frac{\mathrm{DR}\_{\mathrm{Blk}}_m}{N_{\mathrm{Blk}}}\right).$

8.根据权利要求7所述的方法，其特征在于，所述λ优选为1.15。

Images