CN101867759A - 基于场景检测的自适应运动补偿帧频提升方法 - Google Patents

Abstract

一种基于场景检测的自适应运动补偿帧频提升方法，包含以下步骤：步骤1，静止场景检测，判断该两帧是否为静止场景帧，如是静止场景帧则转到步骤4，如是非静止场景帧，则执行下一步；步骤2，复杂运动场景检测，判断该两帧是否为复杂运动场景帧，如是复杂运动场景帧则转到步骤4，如是非复杂运动场景帧，则执行下一步；步骤3，全局运动场景检测，判断该两帧是否为全局运动场景帧，如是全局运动场景帧则转到步骤5，如是非全局运动场景帧，则执行步骤6；步骤4，静止与复杂运动场景插值处理；步骤5，全局运动场景插值处理；步骤6，刚体平移运动补偿插值处理；步骤7，对步骤4，5和6中生成的待插帧插入到相邻的前后两帧图像之间，并输出。

Description

基于场景检测的自适应运动补偿帧频提升方法

技术领域

本发明涉及计算视频、数字电视后处理中的帧频提升方法，具体涉及一种针对不同类型的场景自适应地采用相应的帧频提升技术进行处理的方法。

背景技术

与传统CRT电视相比，LCD电视在分辨率、尺寸、重量以及功耗等方面具有明显的优势，因而已成为市场上的主流产品。随着LCD电视屏幕尺寸的不断增大和高清电视信号的播出，消费者对LCD电视的画质提出了更高的要求。高端LCD电视需要提高显示图像的帧频来减轻LCD电视由于响应速度慢而造成运动图像的模糊现象。

帧频提升技术能够显著改善LCD显示的运动图像模糊现象，有效地提高显示图像质量。通常的帧频提升处理主要采用运动补偿帧频提升方法，该方法通过在连续的前后视频帧间进行块匹配的方法估计得到运动矢量，并根据运动矢量计算生成插值帧。运动补偿帧频提升方法能够利用连续帧间的运动信息生成待插帧，减轻运动图像的模糊现象。但运动补偿帧频提升方法易产生运动估计错误，产生错误的插值帧，造成明显的图像失真。特别对于图像中存在旋转、非刚体形变和遮挡等复杂运动场景，运动补偿帧频提升会显著降低图像的清晰度。

为解决运动补偿帧频提升方法因运动估计错误造成图像失真问题，已出现了利用更多帧图像信息进行运动估计与补偿插值的方法，如申请号为200610071860.X的中国发明专利申请和申请号为200510110112.3的中国发明专利申请。其所公开的方法虽然增加了运动估计的准确性，但需要存储多个图像帧，运算量和资源消耗大，增加了硬件实现的复杂度，不适于需要实时视频处理的应用场合。如何以较低的耗费代价实现帧频提升，特别是减少运动补偿帧失真，已成为业界亟待解决的技术问题。

发明内容

本发明的目的在于，提供一种运算和硬件成本低，但能显著提高图像主观清晰度的帧频提升方法，有效解决运动图像模糊现象，且能有效的降低硬件复杂度，从而广泛应用于需要实时处理的消费类电子领域。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于场景检测的自适应运动补偿帧频提升方法，包含以下步骤：

步骤1，静止场景检测，求相邻的前后两帧图像亮度差值，并与设定的像素差异阈值进行比较，统计大于像素差异阈值的像素个数，将得到的像素个数与设定的像素个数阈值比较，判断该两帧是否为静止场景帧，如是静止场景帧则转到步骤4，如是非静止场景帧，则执行下一步；

步骤2，复杂运动场景检测，对于非静止场景的帧，计算相邻两帧运动估计得到的SAD值及运动矢量，并与设定的差异阈值进行比较，判断该两帧是否为复杂运动场景帧，如是复杂运动场景帧则转到步骤4，如是非复杂运动场景帧，则执行下一步；

步骤3，全局运动场景检测，对非复杂运动场景帧，统计相邻两帧的各个子块的运动矢量的个数，并与设定的个数阈值比较，判断该两帧是否为全局运动场景帧，如是全局运动场景帧则转到步骤5，如是非全局运动场景帧，则执行步骤6；

步骤4，静止与复杂运动场景插值处理，对步骤1和步骤2中判定的静止场景帧和复杂运动场景帧，进行帧复制插值处理，生成待插帧；

步骤5，全局运动场景插值处理，对步骤3中判定的全局运动场景帧，利用全局运动矢量和前一帧亮度值进行全局运动补偿插值处理，生成待插帧；

步骤6，刚体平移运动补偿插值处理，对步骤3中判定的非全局运动场景帧，看作刚体平移运动场景帧，进行刚体平移运动补偿插值，生成待插帧；

步骤7，对步骤4，5和6中生成的待插帧插入到相邻的前后两帧图像之间，并输出。

上述方案中，所述步骤2的具体操作为：

步骤2.1：对后一帧f_n+1和前一帧f_n-1进行块匹配运动估计，得到相邻两帧中每个子块所对应的SAD值

和

步骤2.2：对相邻两帧中每个子块对应的SAD值

和

求差：

$\mathrm{Broken}(x,y)=|{\mathrm{SAD}}_{f_{n+1}}(x,y)-{\mathrm{SAD}}_{f_{n-1}}(x,y)|$ (1)

步骤2.3：对SAD差值Broken(x，y)与设定的差异阈值Broken_th进行比较，如果Broken(x，y)＞Broken_th，则判定该块是差异块，标记Broken_flag(x，y)＝1，Broken_flag(x，y)为差异标志位，然后对差异标志位Broken_flag(x，y)进行个数统计，得出Broken_flag(x，y)＝1的个数Count_Broken；

步骤2.4：设定差异阈值Count_{Broken_th}，比较Count_Broken与Count_{Broken_th}的大小，如果Count_Broken＞Count_{Broken_th}，则认为相邻两帧图像差异过大，判定该两帧为复杂运动场景帧；如果Count_Broken＜Count_{Broken_th}，则判定该两帧为非复杂运动场景帧。

所述步骤3的具体操作为：

步骤3.1：统计步骤2.1中的块匹配运动估计得到的每个子块对应的运动矢量的个数，即其水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y；

步骤3.2：设定全局运动矢量的个数阈值Globle_block_th：

Globle_block_th＝α×H×V                                 (2)

式中：

α——常数；

H——每列的运动估计块数；

V——每行的运动估计块数；

H×V——每帧图像的运动估计块数；

步骤3.3：比较水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y与全局运动矢量个数阈值Globle_block_th，如果Count_Block_x＞Globle_block_th且Count_Block_y＞Globle_block_th，则判定该两帧为全局运动场景帧，且保存对应的全局运动矢量MV_globle(MV_x，MV_y)，否则判定该两帧为非全局运动场景帧。

步骤6中，所述刚体平移运动补偿插值是利用步骤2.1中块匹配运动估计得到的各子块的运动矢量MV(MV_x，MV_y)和前一帧的像素值f_n-1(x，y)进行内插，生成中间帧f_n，即f_n(x，y)＝f_n-1(x+MV_x，y+MV_y)。

与现有数字电视后处理中的帧频提升方法相比，本发明提出的方法基于不同的场景，有效地利用优化的插帧方法完成帧频提升处理。本发明中的帧频提升方法针对不同场景帧，自适应地采用不同的插帧方法生成插值帧，从而达到以最优化的运算量和硬件成本显著提高视频图像中主观清晰度的效果。

附图说明

图1为本发明基于场景检测的自适应运动补偿帧频提升方法的流程框图

图2为图1框图基础上的具体实施流程图。

具体实施方式

以下将结合附图及具体实施例对本发明作进一步详细描述。

如图1、图2所示，本发明的基于场景检测的自适应运动补偿帧频提升方法的具体实施步骤为：

步骤1：根据人眼视觉特性，对具有不同运动特性的场景，自适应得进行相应的帧频提升处理。对相邻两帧亮度值做差并与设定的阈值进行比较，检测该两帧是否为静止场景帧。

步骤1.1：对后一帧f_n+1和前一帧f_n-1做差，得到帧中每个像素的差值f_diff，即f_diff(x，y)＝|f_n+1(x，y)-f_n-1(x，y)|。

步骤1.2：将差值f_diff与设定的像素差异阈值f_{diff_th}进行比较，并统计大于像素差异阈值f_{diff_th}的像素个数Sum_diff。

步骤1.3：将步骤1.2中得到的像素个数Sum_diff与设定的像素个数阈值Sum_{diff_th}进行比较，判断该两帧是否为静止场景帧。如果Sum_diff＜Sum_{diff_th}，那么判定该两帧为静止场景帧；如果Sum_diff＞Sum_{diff_th}，则判定该两帧为非静止场景帧。

步骤2：对由步骤1检测出的非静止场景帧，进行复杂运动场景检测。对于复杂运动场景帧，运动估计无法准确的估计出代表真实运动轨迹的运动矢量，其运动补偿插值会造成不可接受的块效应失真。因而本方法将检测出复杂运动场景帧，并进行帧复制插值处理。

步骤2.1：对后一帧f_n+1和前一帧f_n-1进行块匹配运动估计，得到相邻两帧中每个子块所对应的绝对值误差(SAD)。令

表示后一帧子块的SAD；

表示前一帧子块的SAD。

步骤2.2：对相邻两帧中每个子块对应的SAD值

和

求差：

$\mathrm{Broken}(x,y)=|{\mathrm{SAD}}_{f_{n+1}}(x,y)-{\mathrm{SAD}}_{f_{n-1}}(x,y)|$ (1)

步骤2.3：对SAD差值Broken(x，y)与设定的差异阈值Broken_th进行比较，如果Broken(x，y)＞Broken_th，则判定该块是差异块，标记Broken_flag(x，y)＝1，Broken_flag(x，y)为差异标志位。然后对差异标志位Broken_flag(x，y)进行个数统计，得出Broken_flag(x，y)＝1的个数Count_Broken。

步骤2.4：设定差异阈值Count_{Broken_th}，比较Count_Broken与Count_{Broken_th}的大小。如果Count_Broken＞Count_{Broken_th}，则认为相邻两帧图像差异过大，判定该两帧为复杂运动场景帧，使用帧重复插值进行帧频提升；如果Count_Broken＜Count_{Broken_th}，则判定该两帧为非复杂运动场景帧。

步骤3：对由步骤2检测出的非复杂运动场景帧，进行全局运动场景检测。

步骤3.1：统计步骤2.1中的块匹配运动估计得到的每个子块对应的运动矢量的个数，即其水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y。

步骤3.2：设定全局运动矢量的个数阈值Globle_block_th：

Globle_block_th＝α×H×V                            (2)

式中：

α——常数；

H——每列的运动估计块数；

V——每行的运动估计块数；

H×V——每帧图像的运动估计块数。

步骤3.3：比较水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y与全局运动矢量个数阈值Globle_block_th，如果Count_Block_x＞Globle_block_th且Count_Block_y＞Globle_block_th，则判定该两帧为全局运动场景帧，且保存对应的全局运动矢量MV_globle(MV_x，MV_y)，否则判定该两帧为非全局运动场景帧。

步骤4：对由步骤1检测出的静止场景帧和步骤2检测出的复杂运动场景帧，进行帧复制插值处理，得到中间待插帧f_n，即f_n(x，y)＝f_n-1(x，y)。

步骤5：对由步骤3判断为全局运动场景的帧进行插帧。根据步骤3.3得到的全局运动矢量MV_global(MV_{x_global}，MV_{y_global})和前一帧的像素值f_n-1(x，y)进行全局运动场景补偿内插，生成中间帧f_n，即

f_n(x，y)＝f_n-1(x+MV_{x_global}，y+MV_{y_global})。

步骤6：对由步骤3判断为非全局运动场景的帧，可认为是刚体平移运动场景帧，进行刚体平移运动补偿帧频提升处理。利用步骤2.1中块匹配运动估计得到的各子块的运动矢量MV(MV_x，MV_y)和前一帧的像素值f_n-1进行内插，生成中间帧f_n，即f_n(x，y)＝f_n-1(x+MV_x，y+MV_y)。

步骤7，对步骤4，5和6中生成的待插帧插入到相邻的前后两帧图像之间，并输出。

Claims (4)

1.一种基于场景检测的自适应运动补偿帧频提升方法，其特征在于，包含以下步骤：

步骤1，静止场景检测，求相邻的前后两帧图像亮度差值，并与设定的像素差异阈值进行比较，统计大于像素差异阈值的像素个数，将得到的像素个数与设定的像素个数阈值比较，判断该两帧是否为静止场景帧，如是静止场景帧则转到步骤4，如是非静止场景帧，则执行下一步；

步骤2，复杂运动场景检测，对于非静止场景的帧，计算相邻两帧运动估计得到的SAD值及运动矢量，并与设定的差异阈值进行比较，判断该两帧是否为复杂运动场景帧，如是复杂运动场景帧则转到步骤4，如是非复杂运动场景帧，则执行下一步；

步骤3，全局运动场景检测，对非复杂运动场景帧，统计相邻两帧的各个子块的运动矢量的个数，并与设定的个数阈值比较，判断该两帧是否为全局运动场景帧，如是全局运动场景帧则转到步骤5，如是非全局运动场景帧，则执行步骤6；

步骤4，静止与复杂运动场景插值处理，对步骤1和步骤2中判定的静止场景帧和复杂运动场景帧，进行帧复制插值处理，生成待插帧；

步骤5，全局运动场景插值处理，对步骤3中判定的全局运动场景帧，利用全局运动矢量和前一帧亮度值进行全局运动补偿插值处理，生成待插帧；

步骤6，刚体平移运动补偿插值处理，对步骤3中判定的非全局运动场景帧，看做刚体平移运动场景帧，进行刚体平移运动补偿插值，生成待插帧；

步骤7，对步骤4，5和6中生成的待插帧插入到相邻的前后两帧图像之间，并输出。

2.如权利要求1所述的基于场景检测的自适应运动补偿帧频提升方法，其特征在于，所述步骤2的具体操作为：

步骤2.1：对后一帧f_n+1和前一帧f_n-1进行块匹配运动估计，得到相邻两帧中每个子块所对应的SAD值SAD_fn+1和SAD_fn-1；

步骤2.2：对相邻两帧中每个子块对应的SAD值SAD_fn+1和SAD_fn-1求差：

Broken(x，y)＝|SAD_fn+1(x，y)-SAD_fn-1(x，y)|                       (1)

步骤2.3：对SAD差值Broken(x，y)与设定的差异阈值Broken_th进行比较，如果Broken(x，y)＞Broken_th，则判定该块是差异块，标记Broken_flag(x，y)＝1，Broken_flag(x，y)为差异标志位，然后对差异标志位Broken_flag(x，y)进行个数统计，得出Broken_flag(x，y)＝1的个数Count_Broken；

步骤2.4：设定差异阈值Count_{Broken_th}，比较Count_Broken与Count_{Broken_th}的大小，如果Count_Broken＞Count_{Broken_th}，则认为相邻两帧图像差异过大，判定该两帧为复杂运动场景帧；如果Count_Broken＜Count_{Broken_th}，则判定该两帧为非复杂运动场景帧。

3.如权利要求2所述的基于场景检测的自适应运动补偿帧频提升方法，其特征在于，所述步骤3的具体操作为：

步骤3.1：统计步骤2.1中的块匹配运动估计得到的每个子块对应的运动矢量的个数，即其水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y；

步骤3.2：设定全局运动矢量的个数阈值Globle_block_th：

Globle_block_th＝α×H×V                             (2)

式中：

α——常数；

H——每列的运动估计块数；

V——每行的运动估计块数；

H×V——每帧图像的运动估计块数；

步骤3.3：比较水平分量MV_x和垂直分量MV_y的个数Count_Block_x和Count_Block_y与全局运动矢量个数阈值Globle_block_th，如果Count_Block_x＞Globle_block_th且Count_Block_y＞Globle_block_th，则判定该两帧为全局运动场景帧，且保存对应的全局运动矢量MV_globle(MV_x，MV_y)，否则判定该两帧为非全局运动场景帧。

4.如权利要求2所述的基于场景检测的自适应运动补偿帧频提升方法，其特征在于，步骤6中，所述刚体平移运动补偿插值是利用步骤2.1中块匹配运动估计得到的各子块的运动矢量MV(MV_x，MV_y)和前一帧的像素值f_n-1进行内插，生成中间帧f_n，即f_n(x，y)＝f_n-1(x+MV_x，y+MV_y)。

Images