CN1809167A - 一种快速帧间预测模式选择方法 - Google Patents

Abstract

一种快速帧间预测模式选择方法，通过对宏块运动特性和细节特征的预选择，选择符合条件的宏块模式进行编码计算，与传统技术相比，本发明能够大大降低编码器的计算复杂度，显著提高编码效率，编码时间平均减少了32.14％。并且该算法的计算量小，简单可行，适合于实际应用。

Description

一种快速帧间预测模式选择方法

                            技术领域

本发明涉及多媒体中的视频应用领域，尤其涉及视频编码中的快速帧间预测模式选择方法。

                            背景技术

视频编码标准H.264/AVC对视频信号具有很高的压缩效率。在同等图像质量下，若遵循H.264标准，所需码率约为使用MPEG-2标准的36％、使用H.263标准的51％、使用MPEG-4标准的61％。

为了获得较高的压缩效率，H.264标准采用了一系列先进的视频编码技术，其中最重要的一项技术是对可变块进行运动估计和补偿，即对每一个宏块有七种帧间划分模式(16×16，16×8，8×16，8×8，8×4，4×8，4×4)、13种帧内预测模式和一种skip/direct模式。但是，在对视频图像进行帧间编码时，H.264编码器需要遍历每一个宏块的所有编码模式，并运用失真率(Rate-Distortion)优化方法选择RD代价(RDcost)最小的模式为最终的编码模式。采用该技术虽然能很好地降低编码比特率，提高压缩效率和图像质量，但同时增加了编码器的计算复杂度，从而导致了在实时应用中的难度。

为了降低编码器的计算复杂度，满足在编码、传输等实际应用中实时性的需求，需要研究快速的帧内、帧间模式选择算法，预先去除一些不必要的块模式，减少遍历次数。

                            发明内容

本发明正是为了解决上述现有技术所存在的缺陷，而提出一种快速的帧间模式选择方法，通过预先估计宏块的运动特性和细节特征，从而有效地跳过一些不必要的待选模式，大大降低编码器的计算复杂度，显著提高编码效率，编码时间平均减少了32.14％。并且该算法的计算量小，简单可行，适合于实际应用。

本发明提供一种快速帧间预测模式选择方法，通过对宏块运动特性和细节特征的预选择，选择符合条件的宏块模式进行编码计算，该方法包括以下步骤：

首先利用当前宏块的运动特性进行宏块模式预选择：

根据相继两幅图像对应宏块的绝对帧差SAD以及该两幅图像中所有宏块绝对帧差的平均值MADMF，判断当前宏块属于背景区域还是运动区域；

判断准则为： $\frac{{\mathrm{SAD}}_i}{\mathrm{MADMF}}<\mathrm{\&lambda;}$

如果当前宏块的绝对帧差SAD以及一帧图像中所有宏块绝对帧差的平均值MADMF比值满足上述条件，则认为该宏块处于背景区域，在进行运动估计时，使用16×16、16×8和8×16几种大尺寸的块模式；如不满足上述条件，也可据此判断出该宏块属于运动区域；

然后，根据该宏块的细节特征做进一步的宏块模式预选择：

计算当前宏块AC系数的总能量E_AC

$E_{\mathrm{AC}}=\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{\left(A_{i,j}\right)}^2-\frac{1}{256}{\left(\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{A}_{i,j}\right)}^2$

计算一帧中所有宏块AC系数总能量的均值ME_AC：

${\mathrm{ME}}_{\mathrm{AC}}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{E}_{{\mathrm{AC}}_i}---\left(8\right)$

根据判断条件

$\frac{E_{{\mathrm{AC}}_i}}{{\mathrm{ME}}_{\mathrm{AC}}}<w---\left(9\right)$

如果满足上述条件，则判定该宏块使用16×16、16×8和8×16的块模式，否则需要遍历所有的块模式(16×16、16×8、8×16、8×8、8×4、4×8和4×4)。

与传统技术相比，本发明能够大大降低编码器的计算复杂度，显著提高编码效率，编码时间平均减少了32.14％。并且该算法的计算量小，简单可行，适合于实际应用。

下面将结合实施例及参照附图对该发明的技术方案进行详细说明。

附图说明

图1本发明算法流程图。

图2为本发明与现有技术的视频序列R-D性能比较图。

                      具体实施方式

本方法通过对宏块的运动特性和细节特征的预估，从而有效地跳过不必要的帧间预测模式，降低编码器的计算复杂度。该方法的具体实现如下：

第一步、利用宏块的运动特性进行模式预选择

在一个视频序列中，相继两幅图像间存在很大的关联性或相似性，尤其是当视频序列存在很大部分的相似区域时，这种相似性就更为明显。绝对帧差通常能反映相继两幅图像的运动信息，运动信息越多的区域绝对帧差就越大。一幅图像中包括：运动信息量多的区域，即运动区域，和运动信息量少的区域，即背景区域。

根据相继两幅图像对应宏块的绝对帧差SAD以及一帧图像中所有宏块绝对帧差的平均值MADMF，判断当前宏块属于背景区域还是运动区域。首先，根据以下计算公式分别得出相继两副图像对应宏块的绝对帧差SAD以及该两幅图像中所有宏块绝对帧差的平均值MADMF：

$\mathrm{SAD}=\underset{i=1}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{16}{\mathrm{\&Sigma;}}}|A_{i,j}-B_{i,j}|---\left(1\right)$

$\mathrm{MADMF}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{SAD}}_i---\left(2\right)$

其中，A_i，j和B_i，j分别表示当前帧和前一帧中(i，j)位置处像素的亮度值。K＝MN/256，表示一帧中包含的宏块数，M，N分别表示图像的水平和垂直尺寸。

根据以下计算公式，判断当前宏块为背景区域或是运动区域：

$\frac{{\mathrm{SAD}}_i}{\mathrm{MADMF}}<\mathrm{\&lambda;}---\left(3\right)$

如果当前宏块的绝对帧差SAD以及一帧图像中所有宏块绝对帧差的平均值MADMF比值能够满足上述条件，则可据此判断出该宏块处于背景区域，在进行运动估计时，使用16×16、16×8和8×16几种大尺寸的块模式；如不满足上述条件，也可据此判断出该宏块属于运动区域，需要根据该宏块的细节特征做进一步的判断。

上述判断中所依据的重要条件参数阈值λ，由一帧中所有宏块的SAD的变异系数CV以及该宏块的量化参数QP得到。阈值λ计算公式如下：

$\mathrm{\&lambda;}=\sqrt{\mathrm{CV}}+(\mathrm{QP}-28)*0.2/4---\left(4\right)$

公式(4)中的参数QP适用所有的取值范围。参数CV为变异系数，它表征数据的离散程度，是测量数据离散程度的相对指标，为标准差对平均数的百分数，计算公式如下：

$\mathrm{\&sigma;}=\sqrt{\frac{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{({\mathrm{SAD}}_i-\mathrm{MADMF})}^2}{K}}---\left(5\right)$

$\mathrm{CV}=\frac{\mathrm{\&sigma;}}{\mathrm{MADMF}}---\left(6\right)$

在这里，QP也影响阈值的选择，通常QP越大，被选用的块模式就越大。

第二步、利用宏块的细节特征进行模式预选择

在一幅图像中，对于平滑而且细节很少的区域，其能量主要集中在低频部分。因此，可以利用一个宏块AC系数的总能量来估计它的细节程度。现有技术中，通过对宏块进行DCT变换，就可以获得该宏块的AC系数，但DCT变换比较费时。因此改用下面的公式来求得该宏块AC系数的总能量E_AC。

$E_{\mathrm{AC}}=\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{\left(A_{i,j}\right)}^2-\frac{1}{256}{\left(\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{A}_{i,j}\right)}^2---\left(7\right)$

该公式等号右边的第一项表示该宏块的总能量，第二项表示该宏块的平均能量。

一帧中所有宏块AC系数总能量的均值ME_AC的计算公式如下：

${\mathrm{ME}}_{\mathrm{AC}}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{E}_{{\mathrm{AC}}_i}---\left(8\right)$

其中i表示该帧中的第i个宏块。如果

$\frac{E_{{\mathrm{AC}}_i}}{{\mathrm{ME}}_{\mathrm{AC}}}<w---\left(9\right)$

则可判定该宏块相对比较平滑并且包含的细节比较少，使用16×16、16×8和8×16几种大尺寸的块模式就足够了，否则需要遍历所有的块模式(16×16、16×8、8×16、8×8、8×4、4×8和4×4)。其中，反映宏块细节程度的阈值w较佳选择值为1.5。

下面通过一个具体实施例，来进一步说明本发明的技术方案。假设，本发明采用JVT的JM82作为平台，实现条件如下：

MV的搜索范围：QCIF为±16个像素，CIF为±32个像素；

采用了RD优化和滤波；

参考图像为5帧；

编码结构为IPPP；

对每一个序列编码帧数为100帧。

表1为采用JM82软件的参考算法和本算法的性能比较结果。从表1可以看出，在对图像质量损伤不大、比特率增加很小的情况下，能明显地提高运算速度(平均节省时间为32.14％)。

如图1所示，为本发明具体实施例的算法流程图，具体处理步骤包括：

运用公式(1)计算每个宏块的SAD值，及分别运用公式(2)，(4)，(5)和(6)计算MADMF、标准差、CV和阈值λ，步骤101；

检验不等式(3)，如果满足 $\frac{{\mathrm{SAD}}_i}{\mathrm{MADMF}}<\mathrm{\&lambda;},$ 执行步骤106，否则执行步骤103和104，步骤102；

运用公式(7)和(8)分别计算每个宏块AC系数的总能量E_AC和总能量的均值ME_AC，步骤103；

根据不等式(9)进行判断，如果 $\frac{E_{{\mathrm{AC}}_i}}{{\mathrm{ME}}_{\mathrm{AC}}}<1.5,$ 则执行步骤106，否则执行步骤105，步骤104；

计算所有七种块模式16×16，8×16，16×8，8×8，8×4，4×8 and 4×4的RDcost，步骤105；

计算几个较大块模式16×16，8×16，16×8的RDcost，步骤106；

本发明与现有H.264标准中的相关算法性能比较结果，参见表1所示。

          表1：本算法和参考算法的性能比较结果

Format	Sequence	PSNR(dB)	Bitrate	Speed uprate
					QCIF	bus	-0.15	1.75％	35.56％
foreman	-0.05	0.21％	32.05％
				mobile		-0.12	0.81％	31.69％
football	-0.11	1.38％	31.82％
				mthr_dotr		-0.06	0.15％	30.37％
CIF	football	-0.08	1.06％						32.23％
				news	-0.03	1.42％	30.19％
	silent	-0.01	0.23％					33.23％

如图2所示，为视频序列R-D性能比较图，从该图中可以看出，参考算法与本改进算法的实验曲线几乎是重叠的，这就意味着两种方法的率失真性能是相似的。

Claims (5)

1.一种快速帧间预测模式选择方法，通过对宏块运动特性和细节特征的预选择，选择符合条件的宏块模式进行编码计算，该方法包括以下步骤：

首先，根据当前宏块的运动特性进行宏块模式预选择：

根据相继两幅图像对应宏块的绝对帧差SAD以及这两幅图像中所有宏块绝对帧差的平均值MADMF来判断当前宏块属于背景区域还是运动区域；判断准则为： $\frac{{\mathrm{SAD}}_i}{\mathrm{MADMF}}<\mathrm{\&lambda;}$

如果当前宏块的绝对帧差SAD以及一帧图像中所有宏块绝对帧差的平均值MADMF比值满足上述条件，则认为该宏块处于背景区域，在进行运动估计时，使用16×16、16×8和8×16几种大尺寸的块模式；如不满足上述条件，也可据此判断出该宏块属于运动区域；

然后，根据该宏块的细节特征做进一步的宏块模式预选择：

计算当前宏块AC系数的总能量E_AC

$E_{\mathrm{AC}}=\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{\left(A_{i,j}\right)}^2-\frac{1}{256}{\left(\underset{i=0}{\overset{16}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{16}{\mathrm{\&Sigma;}}}{A}_{i,j}\right)}^2$

计算一帧中所有宏块AC系数总能量的均值ME_AC：

${\mathrm{ME}}_{\mathrm{AC}}=\frac{1}{K}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{E}_{{\mathrm{AC}}_i}---\left(8\right)$

根据判断条件

$\frac{E_{A{C}_i}}{{\mathrm{ME}}_{\mathrm{AC}}}<w$

如果满足上述条件，则判定该宏块使用16×16、16×8和8×16的块模式，否则需要遍历所有的块模式(16×16、16×8、8×16、8×8、8×4、4×8和4×4)。

2.如权利要求1所述的一种快速帧间预测模式选择方法，其特征在于，其中当前宏块的运动特性的判断条件参数阈值λ的计算公式如下：

$\mathrm{\&lambda;}=\sqrt{\mathrm{CV}}+(\mathrm{QP}-28)*0.2/4.$

3.如权利要求2所述的一种快速帧间预测模式选择方法，其特征在于，其中参数QP适用所有的取值范围，QP取值越大，被选用的宏块模式就越大。

4.如权利要求2所述的一种快速帧间预测模式选择方法，其特征在于，其中参数CV为变异系数，它表征数据的离散程度，是测量数据离散程度的相对指标，为标准差对平均数的百分数，计算公式如下：

$\mathrm{\&sigma;}=\sqrt{\frac{{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}({\mathrm{SAD}}_i-\mathrm{MADMF})}^2}{K}}$

$\mathrm{CV}=\frac{\mathrm{\&sigma;}}{\mathrm{MADMF}}.$

5.如权利要求1或2所述的一种快速帧间预测模式选择方法，其特征在于，其中阈值w反映宏块细节程度，取值为1.5。

Images