CN1551637A - 在帧速率转换时的帧内插方法及其设备 - Google Patents

Abstract

公开了一种用于帧速率转换的帧内插设备及其方法。该帧内插设备包括：计算单元，用以执行关于前一帧和下一帧的输入视频信号的SAD映射计算，并且执行块匹配；确定单元，用以从块匹配帧中确定视频是否具有周期性重复并且快速变化；以及内插单元，用以根据确定单元的确定结果，选择性地计算内插帧的像素值。因此，内插帧清晰明亮，从而，消除了通常的图像模糊问题。

Description

在帧速率转换时的帧内插方法及其设备

技术领域

本发明涉及在诸如MPEG的视频处理领域中的帧速率转换时的帧内插方法及其设备，更具体地说，涉及确定输入视频是否重复，如果重复，则将其内插到在与前一帧相同的位置的像素值的方法及其设备。

背景技术

帧速率转换(FRC)就是转换每秒输出的帧的数量。通常地，帧速率以Hz表示。例如，当具有帧速率为24Hz的运动图像通过具有30Hz的电视机播放时，由于每个视频信号帧速率的不同，需要进行帧速率转换。如上所述，当帧速率增加时，需要进行内插帧操作。

在诸如运动图像专家组(MPEG)标准的视频处理领域，大多数视频信号具有高的自相关作用(autocorrelation)从而产生冗余。因此，通过去除冗余可以获得有效的数据压缩。在这里，为了有效压缩随时间变化的视频帧，需要及时消除二维空间的冗余。

时间冗余(temporal redundancy)的去除是基于如下想法：通过将帧中的没有改变的部分或运动的-但-静止图像-相似的部分用其紧接在前的帧来替代，可以大大减少要传输的数据的量。

这样，需要发现当前帧和前一帧之间最相似的块，这里称为“运动估计(motion estimation)”，并且指示块移动了多少位移，即“运动矢量”。

典型的估计运动矢量的方法为块匹配算法(Block Matching Algorithm)，该算法考虑到精度、效率、实时处理性(teal-time processability)以及硬件实现。

块匹配算法以块为单元比较诸如前一帧和下一帧的两个连续的视频，并随后基于信号类型匹配程度估计运动。在块匹配算法中，以特定大小，即以水平方向的M个像素和垂直方向的N个像素的一组为单位，执行估计和补偿，并且该像素组称为“宏块”，用M×N表示。

使用该块匹配算法，将估计出关于前一帧和下一帧的运动矢量，并且通过使用估计出的运动矢量来执行帧内插。

图1示出利用常规块匹配算法的运动估计方法的示意图。帧A为输入视频的前一帧，帧C为输入视频的下一帧，帧B为利用帧A和C的像素值内插的新帧。在图1中t1表示前一帧和内插帧之间的时间间隔，t2表示内插帧和下一帧之间的时间间隔。

通常，帧速率转换中的块匹配以如下方式执行，即前一帧和下一帧的搜索区域基于特定大小的块被设置，绝对差之和(sum of absolute difference(SAD))早在搜索区域内被比较，并且前一帧和下一帧之间的匹配块被查到并被用作运动信息。所述SAD可以通过如下公式获得。

〔公式1〕

$\mathrm{SAD}=\underset{j=0}{\overset{M-1}{Q}}\underset{j=0}{\overset{N-1}{Q}}\left(\right|f_2(i,j)-f_1(i,j)\left|\right)$

其中，i，j表示像素的坐标，f(i，j)表示位于i行和j列的像素的像素值。f的下标表示相应的帧。用于搜索匹配块的典型的搜索方法为全搜索算法(fullsearch algorithm)和3步搜索算法(3-Step search algorithm)。所述全搜索算法具有高性能，但是需要复杂的硬件。所述3步搜索算法需要简单的硬件，但是具有较低的性能。因此，根据预期系统的结构选择适当的算法。

在具有图1的时间间隔的帧中，假设通过帧A和帧C之间的SAD值获得的最佳运动矢量为MV，则可以从如下公式中获得从帧B到帧A的运动矢量MV_BA，和从帧B到帧C的运动矢量MV_BC。

〔公式2〕

${\mathrm{MV}}_{\mathrm{BA}}=-\frac{t_1}{t_1+t_2}\mathrm{mv}=\[{\mathrm{dx}}_{\mathrm{BA}},{\mathrm{dy}}_{\mathrm{BA}}\]$

${\mathrm{MV}}_{\mathrm{BC}}=\frac{t_2}{t_1+t_2}\mathrm{mv}=\[{\mathrm{dx}}_{\mathrm{BC}},{\mathrm{dy}}_{\mathrm{BC}}\]$

其中，mv表示单位运动矢量〔dx，dy〕。

根据现有技术，在帧内插正常视频的情况下，内插帧的像素值通过利用运动矢量确定，即内插帧的像素值f_B(i，j)可以通过如下公式获得。

〔公式3〕

$f_B(i,j)=\frac{t_2\×f_A(i+{\mathrm{dx}}_{\mathrm{BA}},j+{\mathrm{dy}}_{\mathrm{BA}})+t_2\×f_C(i+{\mathrm{dx}}_{\mathrm{BC}},j+{\mathrm{dy}}_{\mathrm{BC}})}{t_1+t_2}$

在公式3中，利用从帧B到帧A的运动矢量以及从帧B到帧C的运动矢量来获得将要内插的帧的像素值。另一方面，对于快速变化，即快动作(fastmotion)或重复动作(repetitive motion)视频，由于运动矢量的估计变得困难了，所以对不同于正常视频进行内插时存在困难。这样，根据现有技术，通过使用位于与前一帧和下一帧相同位置的像素的像素值的平均值来执行内插。即，在这种特殊视频情况下，内插帧的像素值通过如下公式获得。

〔公式4〕

$f_B(i,j)=\frac{t_2\×f_A(i,j)+t_S\×f_C(i,j)}{t_1+t_2}$

在公式4中，不使用公式3的运动矢量获得像素值f_B(i，j)。

根据常规运动估计方法，利用运动矢量内插正常视频，并且利用前一视频和下一视频的平均值内插特殊视频，从而避免视频严重损坏(deterioration)。在快速视频，即具有快速变化的像素值的视频的情况下，在播放运动图像时可能出现视频模糊(blurring of video)，但是这种模糊不要紧，不会使眼睛感到不愉快。

然而，在重复视频的情况下，在输入视频和内插视频之间会出现视频模糊。此外，当观看运动图像时，亮区和暗区之间的亮度差可能会使眼睛感到不愉快。

发明内容

因此，本发明的一方面是根据一种不用于快速变化视频的不同的算法提供一种在帧速率转换时用以处理重复或周期性重复的视频的帧内插方法及其设备，以避免视频质量降低。

根据本发明的帧内插设备包括：计算单元、确定单元和内插单元。所述计算单元执行关于前一帧和下一帧的输入视频信号的SAD映射计算，并且执行块匹配。所述确定单元从块匹配帧中确定视频是否是周期性重复和/或快速变化的。所述内插单元根据确定单元确定的结果选择性地计算内插帧的像素值。

在示范性实施例中，所述确定单元还包括：用以通过利用SAD值确定视频是否具有重复类型的重复类型确定单元，用以通过SAD值计算运动矢量的运动矢量提取单元，和用以通过利用运动矢量的值确定视频是否是快速变化视频的快速变化视频确定单元。

在具有重复类型的视频的情况下，内插单元利用前一帧的像素值内插视频。在快速变化视频的情况下，利用位于与前一帧和下一帧相同位置的像素值的平均值内插视频。如果视频不具有重复类型并且不快速变化，则利用前一帧和下一帧的运动矢量内插视频。

根据本发明的帧内插方法包括如下步骤：为前一帧和下一帧设置块；通过执行SAD映射计算搜索匹配块；确定输入视频信号是否具有重复类型；以及如果确定视频信号具有重复类型，则利用前一帧的像素值内插视频。

同样，帧内插方法还包括如下步骤：如果确定视频信号不具有重复类型，则提取运动矢量；利用运动矢量确定所述输入视频信号是否是快速变化视频；以及如果视频信号被确定是快速变化视频，则用位于与前一帧和下一帧相同位置的像素的平均值内插视频。

在示范性实施例中，如果确定视频不是快速变化视频，则还包括利用运动矢量内插视频的步骤。

附图说明

通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其他特性和优点将会变得更加清楚，并且在其中：

图1示出了常规对称块匹配算法的示意图；

图2示出了根据本发明的帧内插设备的结构示意方框图；

图3示出了帧内插方法的流程图；

图4A、4B和4C分别示出了对于重复(iterative)视频、快速变化视频和正常视频的内插方法的示意图；

图5A示出了根据常规内插方法的重复视频的模拟结果的示意图；

图5B示出了根据本发明的重复视频的内插方法的模拟结果的示意图。

具体实施方式

通过借助附图在下文中将描述本发明。

图2示出了根据本发明的帧内插设备的结构示意方框图。所述帧内插设备包括：计算单元210、确定单元300以及内插单元250。所述确定单元300为包括重复类型确定单元(repetition pattern determination unit)220、运动矢量提取单元230以及快速变化视频确定单元240在内的系统的总称。因为本发明涉及帧内插方法及其设备，所以帧内插的其他部分的结构将不再示出。

所述计算单元210基于特定大小的块设置前一帧和下一帧的特定大小的搜索区域，并且计算该搜索区域内的绝对差之和(SAD)。该SAD值可由公式1获得。所述计算单元210比较SAD值，并且当具有最小SAD值时确定最佳的块匹配。为完成上述操作，可以利用全搜索算法或3步搜索算法。

所述重复类型确定单元220比较匹配块并且确定视频是否重复。重复类型识别算法可以用来完成确定操作。作为重复类型识别算法的示范性实施例，将描述3步重复类型识别算法。所述算法的第一步是对角映射距离(DiagonalMap Distance)，在该步中，通过相加关于帧的块的每个相应像素的绝对差值获得平均绝对误差(MAE)映射(MAP)，并且如果表示在对角线上的MAE数据差值之和的对角距离具有大于预定值的阈值，则重复类型确定单元220识别该值为潜在重复类型。第二步是MAE映射分类。在该步中，MAE映射被分成小块，并且如果每个小块的MAE比率(最大/最小)值特别分布在会聚于对角线周围或水平/垂直线上，则重复类型确定单元220将该值识别为相似重复类型(analogous repetition pattern)并且从重复类型中排除该值。第三步是改进的中值滤波(Modified Median Filtering)。在该步中，考虑到重复视频通常会被聚集，即考虑到相邻块的自相关性，只有当多于预定数量的块在相邻块(例如，3×3块)中具有可重复性时，重复类型确定单元220识别重复类型视频。因此，利用如上所述算法，将确定视频的重复特性。

一旦识别重复类型，所述重复类型确定单元220发送信号到内插单元250。因此，所述内插单元250利用在前一帧中相同像素的像素值并且内插。

如果在重复类型确定单元220中确定视频不具有重复类型，则运动矢量提取单元230从前一帧和下一帧的SAD值中提取最佳的运动矢量。在该实施例中，最佳运动矢量是最小SAD值的运动矢量。

所述快速变化视频确定单元240利用由运动矢量提取单元230提取的运动矢量确定视频是快速变化视频还是正常视频。即，如果运动矢量大于预先确定的水平，则将视频确定为快速变化视频。反之，则确定为正常视频。

所述内插单元250根据在所述确定单元300中的确定结果改变内插的帧的像素值，并且内插。

图3示出根据本发明的在帧速率转换时用于帧内插方法的算法的流程图。如图3所示，在步骤410中，在内插帧的前一帧和下一帧中分别设置特定大小的块。

在步骤420中，基于块设置具有特定大小的搜索区域，并在搜索区域内计算SAD。通过比较SAD，将具有最小SAD值的块确定为最佳块匹配。

在步骤430中，通过利用常规重复类型识别算法，将比较前一帧和下一帧的匹配块之间的视频，并且因此确定视频是否重复。所述重复类型识别算法是众所周知的技术，在这里将不再描述。

如果在前一步骤430中确定视频为重复类型视频，在步骤440中，所述内插单元250通过将要被内插的帧中的像素I的值设置为与前一帧具有相同位置的像素A的值来执行内插，并且随后结束帧内插过程。

如果在步骤430中确定视频不是重复类型视频，则在步骤450中提取运动矢量。如上所述，利用SAD值获得所述运动矢量。

在步骤460中，确定视频是否为快速变化视频。即确定在步骤450中提取的运动矢量是否大于预先确定的水平。如果大于，则该视频被识别为快速变化视频。根据在重复类型视频中的常规快速变化识别算法，可以执行该识别过程。

如果确定为快速变化视频，则在步骤470中，所述内插单元250通过将要被内插的帧中像素I的值设置为与前一帧和下一帧具有相同位置的像素A和像素B的平均值来执行内插。如果确定为不是快速变化的正常视频，则在步骤480中，所述内插单元250将利用从像素C至像素D的运动矢量来执行内插。

图4A至4C是示出内插过程的示意图。在每张图中，左侧、中间和右侧的线分别表示前一帧、内插帧和下一帧。在线上排列的圆表示帧中的不同像素。图4A示出了重复类型的内插方法。在该方法中，将内插帧的像素I内插到前一帧相同位置上的像素A的值。此时，图4B示出了快速变化视频的内插方法。在该方法中，内插帧的像素I被内插到分别位于与前一帧和下一帧相同位置上的像素A和像素B的平均值。图4C示出了正常视频的内插方法。在该方法中，利用帧之间的运动矢量内插像素I。即，利用从帧B(内插帧)到帧A(前一帧)的运动矢量MV_BA和从帧B到帧C(下一帧)的运动矢量MV_BC，执行内插。

如果根据本发明利用位于与前一帧相同位置上的像素值内插所述重复类型视频，则将不出现图像模糊。图5A和5B比较了根据常规方法内插的视频(图5A)和根据本发明内插的视频(图5B)的模拟结果。如图5A所示，在内插帧中明显出现图像模糊。相反，在图5B中，内插视频比较清晰明亮。

同时，通过比较利用均方误差(MSE)获得的峰值信噪比(PSNR)可以使根据本发明的内插方法的效果更加明显。利用前一帧的像素值f1(i，j)和下一帧的像素值f2(i，j)获得所述MSE，然后通过如下公式，可以利用该MSE获得所述PSNR。

〔公式5〕

$\mathrm{MSE}=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{Q}}\underset{j=0}{\overset{N-1}{Q}}\left(\right|f_2(i,j)-f_1(i,j){|}^2)$

$\mathrm{PSNR}=20{\log }_{10}\left(\frac{255}{\sqrt{\mathrm{MSE}}}\right)$

其中，M表示块的宽度，N表示块长度。通过公式5获得的数据如下。

〔表1〕

	利用运动矢量内插重复类型视频	利用前一帧和下一帧的像素平均值内插重复类型视频	利用前一帧的像素值本身内插重复类型视频
				PSNR	15.8dB	24.9dB	100dB

在表1中，如果利用前一帧的像素值内插重复类型视频，即根据本发明内插视频，则所述PSNR最高。当利用前一帧和下一帧的像素平均值内插重复类型视频时，所述PSNR高于利用运动矢量内插的情况。然而，与根据本发明的情况相比较，利用像素平均值情况下的PSNR远远偏低。

根据本发明的内插方法，在如图4A所示的重复类型视频的情况下，内插帧的像素I被内插于值f_B(i，j)＝f_A(i，j)。

在图4B所示的快速变化视频的情况下，像素I被如下内插。

$f_B(i,j)=\frac{t_2\×f_A(i,j)+t_2\×f_C(i,j)}{t_1+t_2}$

在图4C所示的正常视频的情况下，内插帧的像素I被如下内插。

$f_B(i,j)=\frac{t_2\×f_A(i+{\mathrm{dx}}_{\mathrm{BA}},j+{\mathrm{dy}}_{\mathrm{BA}})+t_2\×{\mathrm{sf}}_C(i+{\mathrm{dx}}_{\mathrm{BC}},j+{\mathrm{dy}}_{\mathrm{BC}})}{t_1+t_2}$

因此，将根据常规内插方法内插所述正常视频和快速变化视频，并且利用前一帧的像素值内插重复类型视频，以避免在现有技术中内插重复类型视频所引起的图像模糊。本发明的效果在视觉上和数字上都是显而易见的。即，图5A中内插帧的图像模糊在图5B中完全消除了。同样，在表1的比较数据中，在根据本发明的内插方法的情况下，重复类型视频的PSNR最高。

尽管本发明是参照其示范性实施例来描述的，但本领域的技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。

Claims (16)

1.一种用于转换帧速率的帧内插设备，包括：

计算单元，执行关于前一帧和下一帧的输入视频信号的绝对差之和(SAD)映射计算，并且执行块匹配以输出块匹配帧；

确定单元，从块匹配帧确定视频是否是周期性重复和/或快速变化的；以及

内插单元，根据确定单元的确定结果选择性地计算内插帧的像素值。

2.如权利要求1的帧内插设备，其中确定单元还包括：

重复类型确定单元，通过利用SAD值确定视频是否具有重复类型；

运动矢量提取单元，通过SAD值计算运动矢量；以及

快速变化视频确定单元，通过利用运动矢量的值确定视频是否是快速变化视频。

3.如权利要求2的帧内插设备，其中如果视频具有重复类型，则内插单元利用前一帧的像素值内插该视频。

4.如权利要求2的帧内插设备，其中如果视频不具有重复类型但是快速变化，则内插单元利用位于与前一帧和下一帧相同位置的像素的像素值的平均值内插视频。

5.如权利要求2的帧内插设备，其中如果视频不具有重复类型并且不快速变化，则内插单元利用前一帧和下一帧的运动矢量内插所述视频。

6.一种帧内插方法，包括如下步骤：

为前一帧和下一帧设置块；

通过执行绝对差之和(SAD)映射计算搜索匹配块；

确定匹配块的视频信号是否具有重复类型；以及

如果确定视频信号具有重复类型，利用前一帧的像素值执行内插。

7.如权利要求6的帧内插方法，还包括如下步骤：

如果确定视频信号不具有重复类型，则提取运动矢量；

利用运动矢量确定视频信号是否是快速变化视频；以及

如果视频信号被确定是快速变化视频，则利用位于与前一帧和下一帧相同位置的像素的平均值执行内插。

8.如权利要求7的帧内插方法，还包括如下步骤：

如果视频信号被确定不是快速变化视频，则利用运动矢量执行内插。

9.一种用于转换帧速率的帧内插设备，包括：

计算单元，关于前一帧和下一帧比较输入视频信号以输出差值，并且执行块匹配以输出块匹配帧；

确定单元，从块匹配帧确定视频是否是周期性重复和/或快速变化的；以及

内插单元，根据确定单元的确定结果选择性地计算内插帧的像素值。

10.如权利要求9的帧内插设备，其中确定单元还包括：

重复类型确定单元，通过利用差值确定视频是否具有重复类型；

运动矢量提取单元，通过差值计算运动矢量；以及

快速变化视频确定单元，通过利用运动矢量的值确定视频是否是快速变化视频。

11.如权利要求10的帧内插设备，其中如果视频具有重复类型，则内插单元利用前一帧的像素值内插视频。

12.如权利要求10的帧内插设备，其中如果视频不具有重复类型但是快速变化，则内插单元利用位于与前一帧和下一帧相同位置的像素的像素值的平均值内插视频。

13.如权利要求10的帧内插设备，其中如果视频不具有重复类型并且不快速变化，则内插单元利用前一帧和下一帧的运动矢量内插视频。

14.一种帧内插方法，包括如下步骤：

为前一帧和下一帧设置块；

搜索匹配块；

确定匹配块的视频信号是否具有重复类型；以及

如果确定视频信号具有重复类型，则利用前一帧的像素值执行内插。

15.如权利要求14的帧内插方法，还包括如下步骤：

如果确定视频信号不具有重复类型，则提取运动矢量；

利用运动矢量确定视频信号是否是快速变化视频；以及

如果视频信号被确定是快速变化视频，则利用位于与前一帧和下一帧相同位置的像素的平均值执行内插。

16.如权利要求15的帧内插方法，还包括如下步骤：

如果视频信号被确定不是快速变化视频，则利用运动矢量执行内插。

Images