CN101600105A - 帧频提升方法 - Google Patents

Abstract

本发明涉及一种帧频提升方法，包括以下步骤：a)对相邻两帧的每个图像块进行单向运动向量搜索；b)对于有多个单向运动向量通过的图像块，根据最小MAD/MSE准则确定一个双向运动向量；对于没有任何单向运动向量通过的图像块，采用邻域运动向量平滑方法，为该块分配一个双向运动向量；c)预设一阈值，如果相邻图像块的矢量差值超过预设阈值，则根据该矢量差值对双向运动向量进行块分解直至相邻图像块的矢量差值小于预设阈值；d)根据估计出的双向运动向量进行补偿获得内插帧；e)将生成的内插帧插入前一帧和当前帧之间完成帧频提升。本发明提供的帧频提升方法，同时提升了运动向量的平滑性和精确性。

Description

帧频提升方法

技术领域

本发明涉及一种帧频提升方法，尤其涉及一种用于提高视频帧率的方法。

背景技术

帧频提升方法主要有两类，第一类方法不考虑物体的运动实现帧频提升，如帧重复法、时间域帧平均法；第二类方法是在考虑物体运动的情况下，利用线性或者非线性内插器来获得内插帧，称为“运动补偿帧内插“，这也是目前广泛采用的方法。

帧频提升方法主要包括两个部分：运动估计和运动补偿。运动估计是帧频提升方法中至关重要的一步，运动估计的准确性很大程度上影响着内插帧的质量。运动估计广泛采用块匹配法，包括单向运动估计和双向运动估计。在过去的时间里，很多运动估计的算法被提出，但是存在着一些问题。利用单向运动估计产生的运动向量进行运动补偿会产生重叠(overlap)和空洞(hole)的问题；双向运动估计中搜索范围过大会平滑掉物体的细节(detail)，搜索范围过小会无法找到快速运动物体的真实运动向量；利用循环迭代方法可以获得比较好的运动向量，但是巨大的计算量以及难以实现并行处理使得这种方法在实际的硬件实现中难以得以应用。

运动补偿获得内插帧各像素点的像素值。简单的块平均方法会影响相邻块之间的平滑性，产生运动模糊和运动物体形变；同时，一般的运动补偿得到的内插帧像素值的可信性得不到一个合适的度量，无法对不可信像素点进行纠正，从而使得运动补偿算法过度地依赖于运动向量的精度，对于有大量复杂运动的视频序列处理效果不好，鲁棒性不强。

发明内容

本发明所要解决的技术问题是提供一种帧频提升方法，同时提升运动向量的平滑性和精确性。

本发明为解决上述技术问题而采用的技术方案是提供一种帧频提升方法，包括时间上相邻的前一帧和当前帧，每帧划分成大小相等的多个图像块，采用块匹配法进行运动估计并生成比较理想的内插帧，其中，包括以下步骤：

a)对相邻两帧的每个图像块进行单向运动向量搜索；

b)对于有多个单向运动向量通过的图像块，根据最小MAD/MSE准则确定一个双向运动向量；对于没有任何单向运动向量通过的图像块，采用邻域运动向量平滑方法，为该块分配一个双向运动向量；

c)预设一阈值，如果相邻图像块的矢量差值超过预设阈值，则根据该矢量差值对双向运动向量进行块分解直至相邻图像块的矢量差值小于预设阈值；

d)根据估计出的双向运动向量进行补偿获得内插帧；

e)将生成的内插帧插入前一帧和当前帧之间完成帧频提升。

上述帧频提升方法中，所述单向运动向量搜索采用图像块边缘加权法。

上述帧频提升方法中，所述双向运动向量补偿采用前一帧和当前帧加权的重叠块运动补偿方法，当前帧加权系数为a，前一帧的加权系数为1-a，a通过计算重叠区域的绝对值误差确定。

上述帧频提升方法中，对前向、后向内插帧的每个图像块进行相似性比较，确定整帧初始估计图像的像素可信度矩阵，所述内插帧中对可信度比较低的像素点利用相邻点进行滤波。

本发明对比现有的帧频方法具有如下的有益效果：本发明提供的帧频提升方法，首先采用较大的块进行单向运动估计以保证运动向量的平滑性；然后确定双向运动向量并对大块的双向运动向量进行进一步的块分解以保证运动向量的精确性。此外，本发明采用图像块边缘加权法的单向运动向量估计进一步加强了运动向量的平滑性；双向运动向量补偿采用前一帧和当前帧加权的重叠块运动补偿方法进一步提升运动向量的精确性。最后，本发明还可采用像素可信度对像素点滤波获得最终的内插帧。

附图说明

图1是本发明帧频提升框架示意图；

图2是本发明双向运动估计示意图；

图3是本发明初始帧估计示意图；

图4是本发明当前帧绝对值误差(SOAD)计算示意图；

图5是本发明加窗的重叠块运动补偿示意图。

具体实施方式

下面结合附图及典型实施例对本发明作进一步说明。

图1是本发明帧频提升框架示意图，请参见图1，本发明的帧频提升方法包括三个部分：双向运动估计、初始帧估计和三维滤波。

1、双向运动估计

双向运动估计的框架如图2所示。利用单向运动估计确定运动向量(MV)的初始估计，采用较大的块进行运动估计保证了运动向量的平滑性；同时，进行运动估计时加入了图像的边缘信息(即图像边缘加权的运动估计)，进一步加强了运动向量的平滑性。对大块的运动向量进行进一步的块分解，尽可能保证运动向量的精确性。最后对运动向量进行refinement处理，采用小搜索范围的双向运动估计进行微调，使运动估计(特别是物体边缘估计)更加精准。

(1)单向运动估计

在很多直接采用双向运动的算法中，都会将搜索范围限定在一个比较小的范围内。比如采用大小为16×16的块进行双向运动估计，搜索范围一般为8×8。这就带来了一个问题，如果物体的运动范围比较大(如标准测试序列table tennis中的乒乓球)，最佳匹配块超出了这样一个小的搜索范围，从而导致无法找到真实的运动向量。如果采用比较大的搜索范围，比如说32×32，某些比较小的运动物体会被滤除，被背景所取代(table tennis序列中的乒乓球就是这样一个例子)。因而，我们首先采用单向运动估计为双向运动估计提供一个初始值，然后再利用双向运动估计对运动向量(MV)进行进一步的细化。从而，既可以获得比较精确的运动向量，又避免了单向运动估计带来的重叠(overlap)和空洞(hole)的问题。

由于边缘包含了图像中许多有用的信息，而且边缘部分的失配会极大地影响内插帧的主观质量，因而本方法采用了边缘加权的单向运动估计，以加强运动估计的鲁棒性，更好得保持了图像边缘的完整性。

(2)双向运动向量的确定

在单向运动估计中，会出现这样一个问题：待插帧中的某些块会有多个运动向量通过，而有些块没有任何运动向量通过。这样，就必须为每个块确定一个最接近于真实值的运动向量。

我们采用这样一个方法确定双向运动向量。对于有多个运动向量通过的块，根据最小MAD/MSE准则确定一个最佳运动向量；对于没有任何运动向量通过的块，采用邻域运动向量平滑方法，为该块分配一个运动向量。

(3)块分解及运动向量取精

块分解考虑了运动向量在水平、竖直、对角线方向的平滑性，根据当前块与邻域块的相似性进行块分解。运动向量取精(refinement)处理，采用小搜索范围的双向运动估计进行。

由于运动估计的计算量占整个帧频提升算法的60％～80％，因而减小运动估计阶段的计算性非常有必要。本帧频提升算法减小了运动估计的计算量。在单向运动估计中，搜索范围设置为±M，则单个块的计算量可以记为(2M+1)×(2M+1)。由于我们进行了运动向量的refinement处理，可以纠正误差范围为±1的运动向量。这一特性启发我们，尽管单向ME中获得的运动向量不是最佳运动向量，但是只要误差范围在±1之内，我们依然可以通过后续的refinement处理获得真实的运动向量。因而，在单向运动中，我们可以在搜索范围不变的情况下将搜索步长设置为2(而不是默认的步长1)。这样的话，单个块的计算量就变为(M+1)×(M+1)，计算量大概变为了原来的3/4。尽管还有后续的refinement处理，但是其计算量与单向运动估计的计算量相比已经很小了。因而，我们可以相信，尽管采用了较大的搜索范围，但是本运动估计算法并没有明显地增加计算量。相反，在搜索范围一致的情况下，我们明显地减小了运动估计的计算量。

实验结果表明，利用此次的运动估计方法，图像的大多数区域都可以得到很好的匹配，旋转、缩放问题也可以得到比较好的调整。同时，由于运动估计时，各图像块之间相对比较独立，因而适合硬件的并行执行。

2、初始帧估计

初始帧估计的框架如图3所示。运动补偿采用前后帧加权的重叠块运动补偿(OBMC)方法。与普通的块补偿方式(BMC)相比，此OBMC可以更好的保证图像块之间的平滑性。根据前、后向补偿帧得到待插帧的初始估计以及相应的像素可信度矩阵，以备后续处理。

(1)运动补偿中前、后帧权重系数的确定

前、后帧的权重系数由当前块和相邻块的平滑性决定。请参见图4，以当前帧的处理为例说明加权系数的确定。对于当前帧的一个块(当前块)，进行重叠块扩展。周围的相邻块用前帧的运动补偿块来填充(如图4右上区域所示)，形成当前块的一个临时内插帧。计算重叠区域的绝对值误差(SOAD)。令：SOAD_cc表示当前帧扩展块与当前帧相邻块的SOAD；SOAD_cp表示当前帧扩展块与前帧相邻块的SOAD。同理，SOAD_pp表示前帧扩展块与前帧相邻块的SOAD；SOAD_pc表示前帧扩展块与当前帧相邻块的SOAD。

记前帧的加权系数α，从而，前、后帧加权的加窗重叠块运动补偿可以表示为：

B_n(x，y)＝α·w(x，y)·B_n-1(x+dx，y+dy)+(1-α)·w(x，y)·B_n+1(x-dx，y-dy)    (1)

(2)重叠块运动补偿(OBMC)中窗函数的确定

图5是本发明加窗的重叠块运动补偿示意图，本发明的重叠块运动补偿采用了加窗的形式，即利用窗函数来控制各个重叠块像素的权重。窗函数可以选用双线性窗、升余弦窗等，根据具体需要而定。相比于简单的均值方法，利用窗函数可以获得更好的效果。

(3)前后加权的初始帧形成

为了进一步加强平滑性，在初始帧估计中，同样可以采用前后帧加权的形式(如图4所示)。加权系数index的确定采用类似于OBMC中α的确定方式(不需要考虑块的运动)，但是采用较大的块来执行，保证图像的平滑性。由于前后内插帧的相似度很大，因而会出现重叠区域完全相同的现象，此时，令index＝0.5，即采用简单的均值方法。

在实验中看到，有时候前、后向运动补偿的差别很明显。如标准测试序列tabletennis的83帧，前向运动补偿的PSNR(峰值信噪比)值要比后向运动补偿的PSNR值低1.3dB；而标准测试序列mobile的49帧，前向运动补偿的PSNR值要比后向运动补偿的PSNR值高0.7dB，同时主观质量上也有明显的差别。因而单纯的采用单向运动补偿会在图像的某些内插帧中产生明显的模糊现象。采用前后加权的初始帧估计方法可以比较有效的克服这一问题。实验结果表明，此方法形成的初始帧可以获得更好的PSNR值，同时主观质量上的模糊现象也得到了有效的抑制。

(4)像素可信度矩阵的确定

利用前、后向补偿帧像素的相似性来衡量该像素点的可信度，从而形成整帧图像的像素可信度矩阵。像素可信度矩阵的确定由下式表示：

$A_t(x,y)=\sqrt{{(f_{t,E}(x,y)-F_{t,F}(x,y))}^2+{(f_{t,E}(x,y)-f_{t,B}(x,y))}^2}---\left(2\right)$

其中f_t，F、f_t，B表示前、后向内插帧，f_t，E表示初始估计图像。

实验结果表明，前、后向补偿帧相似度比较大，这说明运动估计及运动补偿的精度比较高，从而得到的初始帧可信度比较高。对于可信度相对比较低的像素值进行后续的三维滤波处理，以得到更可信的像素，从而提高内插帧的精度。从实验结果中可以看到，如果将初始帧像素的可信度在[0，1]内排列，绝大多数像素可信度为1，即认为是精确补偿的像素点。实际上需要进行滤波处理的像素点比较少，后续处理的复杂度比较低。

3、三维滤波

在实际的图像中，相邻像素点(空间相邻、时间相邻)有着很大的相关性，空间相关性表征了帧内图像块间的相似关系，时间相关性表征了帧间图像块间的相似关系。相邻图像块之间的相关性可以用Markov随机场来描述，因而我们可以利用这种相关性对初始帧中可信度相对比较低的像素点进行纠正。由于初始帧估计采用了前后向加权的形式，因而帧内的二维滤波实际上执行的是前后帧加权的三维滤波。实验结果表明，经过三维滤波处理后的内插帧像素有更高的可信度，图像的主、客观质量都得到了比较高的提升。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (4)

1.一种帧频提升方法，包括时间上相邻的前一帧和当前帧，每帧划分成大小相等的多个图像块，采用块匹配法进行运动估计并生成比较理想的内插帧，其特征在于，包括以下步骤：

a)对相邻两帧的每个图像块进行单向运动向量搜索；

b)对于有多个单向运动向量通过的图像块，根据最小MAD/MSE准则确定一个双向运动向量；对于没有任何单向运动向量通过的图像块，采用邻域运动向量平滑方法，为该块分配一个双向运动向量；

c)预设一阈值，如果相邻图像块的矢量差值超过预设阈值，则根据该矢量差值对双向运动向量进行块分解直至相邻图像块的矢量差值小于预设阈值；

d)根据估计出的双向运动向量进行补偿获得内插帧；

e)将生成的内插帧插入前一帧和当前帧之间完成帧频提升。

2.如权利要求1所述的帧频提升方法，其特征在于，所述单向运动向量搜索采用图像块边缘加权法。

3.如权利要求1所述的帧频提升方法，其特征在于，所述双向运动向量补偿采用前一帧和当前帧加权的重叠块运动补偿方法，当前帧加权系数为a，前一帧的加权系数为1-a，a通过计算重叠区域的绝对值误差确定。

4.如权利要求1所述的帧频提升方法，其特征在于，对前向、后向内插帧的每个图像块进行相似性比较，确定整帧初始估计图像的像素可信度矩阵，所述内插帧中对可信度比较低的像素点利用相邻点进行滤波。

Images