CN100407795C - 一种帧场自适应检测方法 - Google Patents

Abstract

本发明提供了一种帧场自适应检测方法，根据输入的图像，计算输入图像的特征值C_l；根据输入的前N帧图像，确定当前帧的检测门限T_n；当C_l＜T_n，且C_l＜1时，该帧采用帧编码的编码模式，否则，该帧采用场编码的编码模式。本发明提供的帧场自适应检测方法，编码准确率高，效率高。

Description

一种帧场自适应检测方法

技术领域

本发明涉及一种帧场自适应检测方法，尤其涉及在信号处理中的音视频编解码技术领域中一种对于Interlace(隔行)序列的图像级的帧场自适应检测方法。

背景技术

隔行扫描(Interlace scan)是一种在电视系统中经常应用的扫描格式，它是将一帧图像分解为两场，其中顶场只包含图像的奇数行，底场只包含图像的偶数行，它依赖人眼的视觉暂留特性和显示器的一些特性，会使两个场的扫描线看起来像是被交织在一起，变成了一幅完整的图像，这种扫描格式的最大优点是可以用逐行扫描一半的数据量实现较高的刷新率，使画面没有闪烁的感觉，但是它也有一个很大的缺点，就是当图像的运动量大时，两场图像作为一帧图像显示时，由于两场之间的时间差，图像的两行之间会有锯齿出现。

近年出现的一批数字音视频编解码标准，具有代表性的有国际标准MPEG-4、H.264/MPEG-4AVC，我国自主制定的标准AVS，微软公司推出的WM9等等，这些标准都涉及到了对Interlace序列的处理。

在MPEG-2和MPEG-4标准中，根据Interlace序列的特点，设置了“帧编码”和“场编码”两种模式，“帧编码”是指编码器以两场合成的一帧的帧宏块作为编码器的基本单元进行编码的模式，“场编码”是指编码器以每场的场宏块作为编码器的基本单元进行编码的模式。编码器根据预先设定好的模式对每幅图像进行编码，其本身没有根据序列的特点自适应的选择编码模式的功能，这样可能造成本来适合场编码的图像被帧编码，或者本来适合帧编码的图像被场编码，这样就使得因为编码模式的选择错误而降低编码质量；在H.264/MPEG-4AVC和AVS中，编码器对视频信号首先分别进行帧编码和场编码，然后根据两者的编码代价，决定采用帧编码还是场编码，也就是说H.264/MPEG-4AVC和AVS采用了编两遍的方法实现了对interlace序列的图像级的帧场自适应的编码，这样编码效率降低了一半，因此这种方法很难应用到实时性要求高的场合。

发明内容

本发明提供的一种帧场自适应检测方法，准确率高，效率高。

为了达到上述目的，本发明提供了一种帧场自适应检测方法，包括以下步骤：

步骤1、计算输入图像的特征值C₁：

若输入图像的大小为Width个像素×Height个像素，且像素点(x，y)的亮度值为I(x，y)，则有：

$C_{\mathrm{frame}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|---\left(1\right)$

$C_{\mathrm{frame}\_\mathrm{bot}}=\underset{y=\frac{\mathrm{Height}}{2}}{\overset{\mathrm{Height}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|---\left(2\right)$

$C_{\mathrm{field}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y)-I(x,2y+2)|---\left(3\right)$

$C_{\mathrm{field}\_\mathrm{bot}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y+1)-I(x,2y+3)|---\left(4\right)$

于是，输入图像的特征值C₁的值为：

$C_1=\frac{C_{\mathrm{frame}\_\mathrm{top}}+C_{\mathrm{frame}\_\mathrm{bot}}}{C_{\mathrm{field}\_\mathrm{top}}+C_{\mathrm{field}\_\mathrm{bot}}}---\left(5\right)$

对于Interlace序列，其图像的顶场和底场的发生时间有一定的时间间隔，当图像中有剧烈运动的部分时，两场作为一帧编码显示时，运动剧烈的部分就会有明显的锯齿；

计算得到的输入图像的特征值C₁越小，则该帧图像的运动量越小，说明该帧图像更适合于帧编码模式；相反，若输入图像的特征值C₁越大，则该帧图像的运动量越大，说明该图像帧更适合于场编码模式；

步骤2、根据输入的前N帧图像和当前帧的帧类型来确定当前第n帧的最终检测门限T_n；当n＜N时，检测门限会根据每帧新输入的像素数据不断更新，得到当前第n帧的基准检测门限T_nj；当n＞＝N时，基准检测门限即为T_Nj；然后根据该帧的帧类型确定该帧的最终检测门限T_n；该步骤包含以下分步骤：

步骤2.1、设置当前输入帧为第n帧，判断n是否大于N，若是，则直接执行步骤2.4；若否，则依次执行步骤2.2和步骤2.3；

步骤2.2、计算当前帧的特征值C₂，其从当前帧图像所分割的每个宏块的角度说明了当前帧图像的运动量的大小，其包含以下分步骤：

步骤2.2.1、设定两个计数变量：N_field＝0，N_frame＝0；

步骤2.2.2、对于当前帧的图像，分割成若干个M像素×M像素的宏块，其中，M∈[4，8，16，32，64]，对于每个宏块，计算其顶场的自方差V_top和底场的自方差V_bot；

$V_{\mathrm{top}}=\underset{y=0}{\overset{\frac{M}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(x,2y)-E)}^2---\left(6\right)$

$V_{\mathrm{bot}}=\underset{y=0}{\overset{\frac{M}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(x,2y+1)-E)}^2---\left(7\right)$

其中，E表示该宏块的所有像素的亮度的平均值；

步骤2.2.3、对于每个宏块的V_top和V_bot，计算A＝V_top/V_bot，若 $A\∉[{\mathrm{MT}}_1,M{T}_2]$ ，则计数变量N_field的值加1；若A∈[MT₁，MT₂]，则计数变量N_frame的值加1，其中，1.0＜MT₁＜1.5，0.5＜MT₂＜1.0；

步骤2.2.4、计算特征值C₂＝N_frame/N_field，C₂的值越大，则说明这一帧图像越适合采用帧编码；

步骤2.3、确定检测门限，其包含以下分步骤：

步骤2.3.1、计算图像当前帧，即第n帧的初始检测门限：

当C₂≥Mod₁×M时， $T_f\left(n\right)=-\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.9＜Cof＜1.0，0.25＜Mod₁＜0.5；

当C₂≥Mod₂×M时， $T_f\left(n\right)=\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.8＜Cof＜0.9；0.2＜Mod₂＜0.4；

当C₂＜Mod₂×M时， $T_f\left(n\right)=\frac{C_2\×C_1}{4},$ 其中，0.2＜Mod₂＜0.4；

步骤2.3.2、考虑到前面n-1帧和第n帧的相关性，第n帧的基准检测门限为： $T_{\mathrm{nj}}=\frac{1}{n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{T}_f\left(k\right);$

步骤2.3.3、根据当前帧，即第n帧的帧类型，确定该帧的最终检测门限：根据H.264/MPEG-4AVC和AVS中帧场自适应编码的经验结果，由于帧内图(I帧)、预测图(P帧)与双向预测图(B帧)相比，更适合于帧编码，因此对于I帧以及P帧，检测门限较小，对于B帧，检测门限较大，故；

对于I帧或P帧，最终检测门限为：T_n＝T_nj；

对于B帧，最终检测门限为：T_n＝Coe×T_nj，其中，1.0＜Coe＜2.0；

步骤2.4、由于输入的图像帧数n大于N，表示该序列的帧场检测门限基本稳定，这时可以直接根据当前帧的帧类型和前N帧的检测门限来确定该帧的检测门限，即：

对于I帧或P帧，令T_n＝T_Nj；

对于B帧，令T_n＝Coe×T_Nj，其中，1.0＜Coe＜2.0；

步骤3、图像级帧场自适应检测：

若C₁＜T_n，且C₁＜1，则该帧采用帧编码的编码模式，否则，该帧采用场编码的编码模式。

本发明提供的帧场自适应检测方法，从整体和局部两个方面出发，对每帧的运动量的大小进行了定量的估计，并将每个序列的前N帧综合起来考虑，逐步确定该序列的帧场检测的门限，根据该门限，预先确定每一帧的编码模式，这样就可以既保证较高的编码模式选择的正确度，提高编码质量，又避免了H.264/MPEG-4AVC和AVS中以牺牲编码效率为代价，以提高编码质量。

该发明提供的一种帧场自适应检测方法可以用于H.264/MPEG-4AVC和AVS等编码器中，这些编码器可以应用本发明中的方法，在编码前，对interlace序列的每一帧图像进行帧场自适应检测，然后根据获得的每帧的编码模式对图像进行编码，这样可以在不提高编码复杂度，不影响编码速度的基础上，提高编码质量。

附图说明

图1为本发明提供的帧场自适应检测方法的流程图；

图2为本发明提供的帧场自适应检测方法的确定检测门限的流程图。

具体实施方式

以下根据图1～图2具体说明本发明的最佳实施方式：

如图1、图2所示，本发明提供了一种帧场自适应检测方法，包括以下步骤：

步骤l、计算输入图像的特征值C₁：

若输入图像的大小为Width个像素×Height个像素，且像素点(x，y)的亮度值为I(x，y)，则有：

$C_{\mathrm{frame}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|---\left(1\right)$

$C_{\mathrm{frame}\_\mathrm{bot}}=\underset{y=\frac{\mathrm{Height}}{2}}{\overset{\mathrm{Height}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|---\left(2\right)$

$C_{\mathrm{field}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y)-I(x,2y+2)|---\left(3\right)$

$C_{\mathrm{field}\_\mathrm{bot}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y+1)-I(x,2y+3)|---\left(4\right)$

于是，输入图像的特征值C₁的值为：

$C_1=\frac{C_{\mathrm{frame}\_\mathrm{top}}+C_{\mathrm{frame}\_\mathrm{bot}}}{C_{\mathrm{field}\_\mathrm{top}}+C_{\mathrm{field}\_\mathrm{bot}}}---\left(5\right)$

对于Interlace序列，其图像的顶场和底场的发生时间有一定的时间间隔，当图像中有剧烈运动的部分时，两场作为一帧编码显示时，运动剧烈的部分就会有明显的锯齿；

计算得到的输入图像的特征值C₁越小，则该帧图像的运动量越小，说明该帧图像更适合于帧编码模式；相反，若输入图像的特征值C₁越大，则该帧图像的运动量越大，说明该图像帧更适合于场编码模式；

步骤2、根据输入的前N帧图像和当前帧的帧类型来确定当前第n帧的最终检测门限T_n；当n＜N时，检测门限会根据每帧新输入的像素数据不断更新，得到当前第n帧的基准检测门限T_nj；当n＞＝N时，基准检测门限即为T_Nj；然后根据该帧的帧类型确定该帧的最终检测门限T_n；该步骤包含以下分步骤：

步骤2.1、设置当前输入帧为第n帧，判断n是否大于N，若是，则直接执行步骤2.4；若否，则依次执行步骤2.2和步骤2.3；

步骤2.2、计算当前帧的特征值C₂，其从当前帧图像所分割的每个宏块的角度说明了当前帧图像的运动量的大小，其包含以下分步骤：

步骤2.2.1、设定两个计数变量：N_field＝0，N_frame＝0；

步骤2.2.2、对于当前帧的图像，可分割成若干个16像素×16像素的宏块，对于每个宏块，计算其顶场的自方差V_top和底场的自方差V_bot；

$V_{\mathrm{top}}=\underset{y=0}{\overset{7}{\mathrm{\Σ}}}\underset{x=0}{\overset{15}{\mathrm{\Σ}}}{(I(x,2y)-E)}^2---\left(6\right)$

$V_{\mathrm{bot}}=\underset{y=0}{\overset{7}{\mathrm{\Σ}}}\underset{x=0}{\overset{15}{\mathrm{\Σ}}}{(I(x,2y+1)-E)}^2---\left(7\right)$

根据上述M＝16的例子，同理可以推出M＝4，8，32，64的情况，其中，E表示该宏块的所有像素的亮度的平均值；

步骤2.2.3、对于每个宏块的V_top和V_bot，计算A＝V_top/V_bot，若 $A\∉[{\mathrm{MT}}_1,M{T}_2]$ ，则计数变量N_field的值加1；若A∈[MT₁，MT₂]，则计数变量N_frame的值加1，其中，1.0＜MT₁＜1.5，0.5＜MT₂＜1.0；

步骤2.2.4、计算特征值C₂＝N_frame/N_field，C₂的值越大，则说明这一帧图像越适合采用帧编码；

步骤2.3、确定检测门限，其包含以下分步骤：

步骤2.3.1、计算图像当前帧，即第n帧的初始检测门限：

当C₂≥Mod₁×M时， $T_f\left(n\right)=\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.9＜Cof＜1.0，0.25＜Mod₁＜0.5；

当C₂≥Mod₂×M时， $T_f\left(n\right)=\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.8＜Cof＜0.9；0.2＜Mod₂＜0.4；

当C₂＜Mod₂×M时， $T_f\left(n\right)=\frac{C_2\×C_1}{4},$ 其中，0.2＜Mod₂＜0.4；

步骤2.3.2、考虑到前面n-1帧和第n帧的相关性，第n帧的基准检测门限为： $T_{\mathrm{nj}}=\frac{1}{n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{T}_f\left(k\right);$

步骤2.3.3、根据当前帧，即第n帧的帧类型，确定该帧的最终检测门限：根据H.264/MPEG-4AVC和AVS中帧场自适应编码的经验结果，帧内图(I帧)、预测图(P帧)与双向预测图(B帧)相比，更适合于帧编码，因此对于I帧以及P帧，检测门限较小，对于B帧检测门限较大，故：

对于I帧或P帧，最终检测门限为：T_n＝T_nj；

对于B帧，最终检测门限为：T_n＝Coe×T_nj，其中，1.0＜Coe＜2.0；

步骤2.4、由于输入的图像帧数n大于N，表示该序列的帧场检测门限基本稳定，这时可以直接根据当前帧的帧类型和前N帧的检测门限来确定该帧的检测门限，即：

对于I帧或P帧，令T_n＝T_Nj；

对于B帧，令T_n＝Coe×T_Nj，其中，1.0＜Coe＜2.0；

步骤3、图像级帧场自适应检测：

若C₁＜T_n，且C₁＜1，则该帧采用帧编码的编码模式，否则，该帧采用场编码的编码模式。

本发明提供的帧场自适应检测方法，从整体和局部两个方面出发，对每帧的运动量的大小进行了定量的估计，并将每个序列的前N帧综合起来考虑，逐步确定该序列的帧场检测的门限，根据该门限，预先确定每一帧的编码模式，这样就可以既保证较高的编码模式选择的正确度，提高编码质量，又避免了H.264/MPEG-4AVC和AVS中以牺牲编码效率为代价，以提高编码质量。

该发明提供的一种帧场自适应检测方法可以用于H.264/MPEG-4AVC和AVS等编码器中，这些编码器可以应用本发明中的方法，在编码前，对interlace序列的每一帧图像进行帧场自适应检测，然后根据获得的每帧的编码模式对图像进行编码，这样可以在不提高编码复杂度，不影响编码速度的基础上，提高编码质量。

Claims (1)

1.一种帧场自适应检测方法，特征在于，包括以下步骤：

步骤1、计算输入图像的特征值C₁：

若输入图像的大小为Width个像素×Height个像素，且像素点(x，y)的亮度值为I(x，y)，则有：

$C_{\mathrm{frame}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|;$

$C_{\mathrm{frame}\_\mathrm{bot}}=\underset{y=\frac{\mathrm{Height}}{2}}{\overset{\mathrm{Height}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,y)-I(x,y+1)|;$

$C_{\mathrm{field}\_\mathrm{top}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y)-I(x,2y+2)|;$

$C_{\mathrm{field}\_\mathrm{bot}}=\underset{y=0}{\overset{\frac{\mathrm{Height}}{2}-2}{\mathrm{\Σ}}}\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}|I(x,2y+1)-I(x,2y+3)|;$

于是，输入图像的特征值C₁的值为： $C_1=\frac{C_{\mathrm{frame}\_\mathrm{top}}+C_{\mathrm{frame}\_\mathrm{bot}}}{C_{\mathrm{field}\_\mathrm{top}}+C_{\mathrm{field}\_\mathrm{bot}}};$

步骤2、根据输入的前N帧图像和当前帧的帧类型来确定当前第n帧的检测门限T_n；包含以下分步骤：

步骤2.1、设置当前输入帧为第n帧，判断n是否大于N，若是，则直接执行步骤2.4；若否，则依次执行步骤2.2和步骤2.3；

步骤2.2、计算当前帧的特征值C₂，其包含以下分步骤：

步骤2.2.1、设定两个计数变量：N_field＝0，N_frame＝0；

步骤2.2.2、对于当前帧的图像，分割成若干个M像素×M像素的宏块，其中，M ∈[4，8，16，32，64]；对于每个宏块，计算其顶场的自方差V_top和底场的自方差V_bot；

$V_{\mathrm{top}}=\underset{y=0}{\overset{\frac{M}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(x,2y)-E)}^2;$

$V_{\mathrm{bot}}=\underset{y=0}{\overset{\frac{M}{2}-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{(I(x,2y+1)-E)}^2;$

其中，E表示该宏块的所有像素的亮度的平均值；

步骤2.2.3、对于每个宏块的V_top和V_bot，计算A＝V_top/V_bot，若 $A\∉[{\mathrm{MT}}_1,{\mathrm{MT}}_2]$ ，则计数变量N_field的值加1；若A∈[MT₁，MT₂]，则计数变量Nf_rame的值加1，其中，1.0＜MT₁＜1.5，0.5＜MT₂＜1.0；

步骤2.2.4、计算特征值C₂＝N_frame/N_field；

步骤2.3、确定检测门限，其包含以下分步骤：

步骤2.3.1、计算图像当前帧，即第n帧的初始检测门限：

当C₂≥Mod₁×M时， $T_f\left(n\right)=\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.9＜Cof＜1.0，0.25＜Mod₁＜0.5；

当C₂≥Mod₂×M时， $T_f\left(n\right)=\frac{\mathrm{Cof}\×C_2\×C_1}{4},$ 其中，0.8＜Cof＜0.9；0.2＜Mod₂＜0.4；

当C₂＜Mod₂×M时， $T_f\left(n\right)=\frac{C_2\×C_1}{4},$ 其中，0.2＜Mod₂＜0.4；

步骤2.3.2、当前帧，即第n帧的基准检测门限为： $T_{\mathrm{nj}}=\frac{1}{n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{T}_f\left(k\right);$

步骤2.3.3、根据当前帧，即第n帧的帧类型，确定该帧的最终检测门限：

对于帧内图I帧或预测图P帧，最终检测门限为：T_n＝T_nj；

对于双向预测图B帧，最终检测门限为：T_n＝Coe×T_nj，其中，1.0＜Coe＜2.0；

步骤2.4、输入的图像帧数n大于N，则有：

对于帧内图I帧或预测图P帧，最终检测门限为：T_n＝T_Nj；

对于双向预测图B帧，最终检测门限为：T_n＝Coe×T_Nj，其中，1.0＜Coe＜2.0；

步骤3、图像级帧场自适应检测：若C₁＜T_n，且C₁＜1，则该帧采用帧编码的编码模式，否则，该帧采用场编码的编码模式。

Images