CN1171010A - 内插电影模式兼容性的帧的方法和装置 - Google Patents

Abstract

一种内插电影模式兼容性的帧的方法和装置。本发明涉及用于内插数字视频数据帧的方法,该数据是在电影模式或通常模式下以帧频按帧格式接收的,包括帧存贮,产生运动矢量的运动估算和在所存贮帧与当前帧之间的内插,其特征在于:在电影模式下,存贮是以如此方式以摄像模式下频率的一半执行的,即只有对应于同一电影图像的两个输入帧的第二个被存贮在帧存贮器中以连续地再读出两次,以与随后的两个输入帧比较,以计算该运动矢量。本发明应用于帧频转换。

Description

内插电影模式兼容性 的帧的方法和装置

本发明涉及到内插帧的方法，它利用从摄像模式或电影模式中视频信号的帧频转换，并可减少通过隔行扫描来使用电影模式而引起的抖动。

利用运动补偿的频率变换，例如从隔行的50Hz到隔行的100Hz变换，在利用电影模式中的序列时实际上会带来具体的问题。

电影模式中的扫描是逐行的25Hz扫描(通过人工每24个图像重复一个图像而实现每秒24个图像到25Hz的变换)。为了变换成50Hz的隔行标准电视格式，电影图像被分解成两个中间帧，它们对应于同一图像，即相同的瞬间，但它们在不同瞬间显示。因此，以50Hz隔行观看，在场景中有物体运动时，会导致抖动效果，因为它们的运动不再被真实的再现，而是经受了一种时间的分离。如果所用的转换算法只采用了单一帧存贮器，即使进行了运动补偿，这种抖动效果例如在70Hz或100Hz的帧频转换后还会出现。

图1描述了当图像序列输入为电影模式时，在50Hz至100Hz频率转换情况下，具有垂直均匀线性运动的物体的像素的变化。

横座标上图像号(n-1，n，n+1，…)递增，每个号对应于由图像周期T图像划分的瞬间t。纵座标对应于图像中像素的垂直位移y，该图像是由该像素的均匀位移率与帧周期T帧的乘积而划分的。

输入到频率转换器的同一图像的两帧被标为1和3，由转换器重构的中间帧被标为2和4，在给定图像的输出处，这对应于四个周期。

由叉表示的输入像素产生于电影模式的帧，因此对于周期1和3对应的图像n的两个顺序帧1和3它们位于相同的位置。对于同一图像n，频率转换产生两个新帧2和4交织在这些帧之间。在一个图像的两个顺序输入帧1和3之间，然后在一个图像的帧3与下一个图像的帧1之间的运动估算在图1中由圆圈表示：

-在帧1和3之间，所计算的运动矢量为0，中间帧的像素与那些相应于邻近帧的像素具有相同的位置。

-在帧3与1之间，所计算的运动矢量V使中间帧的像素位置可能在距离V/2处。

抖动效果即运动中的参差不齐在此会导致画面中的阶梯出现，并由在输出处重复的输入像素和重构帧的内插像素而产生。

借助于图2来描述一种公知的减少抖动的方法。运动估算在一个图像的帧1和3之间(事实上该运动矢量为0)以及在一个图像的帧3与下一个图像的帧1之间进行。

在图像n的输入帧3与下一图像n+1的帧1之间计算的运动矢量V在这儿用来定位由当前图像n的输出帧3和4内插而形成的像素(这儿帧3的像素在输出处不重复)：

-对于该同一帧的输入像素，帧3的输出像素移动了值V/2。

-对于帧3的输入像素，帧4的输出像素移动了值3V/4。

在先前图像的输入帧3与当前图像n的帧1之间计算的运动矢量V′用来定位当前图像的输出帧的像素；

-通过移动帧1的输入像素而形成的帧2的输出像素被移动值V′/4。

-对于相同帧的输入像素帧1的输出像素移动的值为0(重复像素)。

因此，在这儿进行外插和两个内插，外插是由先前图像的一帧和当前图像的一帧所计算的运动矢量进行的，内插是由当前图像的一帧与下一图像的一帧所计算的运动矢量进行的。

如图所示，在输出端的像素被对齐，使得抖动效果消失。

可是，该方法是非常昂贵的。它所要求的运动矢量的估算需要大量的延迟线，特别是在运动估算所加的硬件实施限制和输出帧3的输出像素在分离两个帧的时间间隔中被内插的情况。

利用矢量投影(外插)，因此假设在两帧之间估算的运动连续到下一帧，除了抖动现象之外，尤其当运动不是均匀的时，给出受损的图像质量。

基于在比如两个非连续帧之间计算的运动内插的方法也存在，但它需要一个以上的帧存贮器，因此，需要高的结构成本。

本发明的目的是要克服上述缺点。

它涉及到用于内插数字视频数据帧的方法，该数据是在电影模式或通常模式下以帧频按帧格式接收的，包括帧存贮，运动估算和存贮帧与当前帧之间的内插，其特征在于电影模式的存贮是以如此方式以摄像模式频率的一半执行的，即只有对应于同一电影图像的两个输入帧的第二个被存贮在帧存贮器中，以便被连续地再读出两次，以与随后的两个输入帧比较，以计算该运动矢量。

通过下面结合附图对本发明的最佳实施例进行描述，本发明的上述目的和优点将更清楚。

图1描述了具有垂直均匀线性运动的物体的像素的变化，该像素是从电影模式的图像中产生的，并展示了抖动现象；

图2描述了从按照现有技术的抖动减少装置输出的相同像素的变化；

图3显示了能减少抖动并实施按照本发明的方法的运动内插和估算装置；

图4是由按照本发明装置的各个模块输出的信号的时序图；

图5描述了在按照本发明的装置输出端的像素的变化；

图6显示了用于进行内插的两个滤波模式。

按照本发明，结构成本可减少，限制了帧存贮器和延迟线的需要。通过利用单一帧存贮器，通过内插就可能计算电影模式中同一图像的两帧之间的中间帧。

所计算的运动矢量场具有较好的质量，不需要外插。因此改进了所显示的运动，限制了体效应并得到较好质量的运动矢量，因此，抑制抖动效果。

图3表示了按照本发明的装置。

该装置的输入是称为加速存贮器的双输出频率存贮器1的输入。存贮器1的输出并行地连接到帧存贮器2的输入，运动估算器3的输入以及内插器4的输入。帧存贮器2的输出连接到运动估算器的第二输入和内插器的第二输入。运动估算器通过一链路传输运动矢量到内插器。该内插器4的输出是该装置的输出。帧存贮器2还具有接收对应于电影或摄像模式的，输入到该装置的图像信号的控制输入端。

在加速存贮器的输入端接收的数字信号是电影模式，即25Hz图像频率的逐行扫描。

如前面解释的，这些信号在被传输到该装置的输入端之前，被转换成隔行模式的50Hz频率。

借助于图4的曲线，可更好地理解该装置的工作，图4表示了三个标点，用线性扫描y作纵座标，用时间t作横座标。

F¹ _n和F² _n为对应于图像n的奇偶帧。参考图2，标号F¹ _n和F² _n为图像n的周期1或3。在电影模式下，属于同一图像的两个帧例如F¹ _n和F² _n实际上对应于相同的图像。

曲线5对应于输入到加速存贮器的信号y₁，曲线6对应于由该存贮器输出的信号y₂，曲线7对应于由帧存贮器2输出的信号y₃。

加速存贮器的作用是以双倍频率输出在输入端存贮的帧，存贮该帧的第二半部分的第一时间，存贮下一帧的第一半部分的第二时间。

下面从加速存贮器输出帧的周期或频率被称为周期或帧频。

在双倍输出频率存贮器产生的数据中，帧存贮器2只存贮那些对应于偶数帧的第二分离帧，即帧F² _n1，F² _n等等的第二个。在存贮之后，帧存贮器在其输出端传输所存贮的帧，并在通向下一帧之前重复它四次，如曲线7所示。因此该存贮器的作用是从离开加速存贮器的帧中选择帧，并延迟这些所选择的帧一至四个帧周期，在其输出端以帧频连续四次输出它们。运动估算器3比较在其每个输入端接收的帧，以确定运动矢量场。比较对应于在运动估算器每个输入端出现的信号的曲线6和7，很明显在计算中要考虑的运动是在图像n的偶数帧与下一图像n+1的奇数帧之间的那些，跨越了两个帧周期，然后是图像n的偶数帧与图像n+1的偶数帧之间的那些，跨越了后面的两个周期。在电影模式中，相比较的两帧对应于两个不同的瞬间，因为它们总是不同的图像帧。

下面将说明运动估算器和内插器的工作。

该电路必须能对付下述两种情况，即在其输入端可获得的帧具有相同的奇偶性，以及它们具有相反的奇偶性。因此，运动估算器在输入端执行帧的垂直滤波，无论所比较的帧具有相同奇偶性或相反的奇偶性均允许运动矢量的计算。

在对应于输入到运动估算器的帧第一次出现的第一帧周期中，通过用相关性来执行例如主块的匹配来进行运动矢量的第一次估算，该图像被分成多个主块(MB表示主块)，该匹配方法通常称为“块匹配”。在“第二遍”(相同的帧呈现在第二帧周期中)中，通过计算构成主块的子块(SB表示子块)的运动矢量来细化该计算。分两步(或2周期)的该计算方法使得有可能限制这些计算所需的延迟线数：于是，由于在计算MB的周期之后的周期中计算SB的期间，SB矢量的计算需要知道最接近的MB矢量，就可避免引入附加的延迟线；但是另一方面，SB矢量不能获得，直到下一周期。这最后一点不是问题，因为只在可获得MB矢量的周期期间才需要运动补偿内插。

下表表示了在处理电影模式和摄像模式的图像时计算运动估算的各种情况。

电影模式：

Y1	F1 n		F2 n		F1 n+1		F2 n+1
								Y2	F2 n-1	F1 n	F1 n	F2 n	F2 n	F1 n+1	F1 n-1
Y3	F2 n-2	F2 n-1	F2 n-1	F2 n-1	F2 n-1	F2 n	F2 n
								运动估算	SB	MB	SB	SB	SB	MB	SB
内插	F2 n-2+F2 n-1	F2 n-1+F1 n	F2 n-1+F1 n	F2 n-1+F2 n	F2 n-1+F2 n	F2 n+F1 n+1	F2 n+F1 n+1
								系数	3/4	00	1/44	1/2	3/4	0	1/4
输出	C4 n-1	C1 n	C2 n	C3 n	C4 n	C1 n+1	C2 n+1

频率加倍的输出被标为C¹ _n以表示这与图像n的周期数i相关。输出C¹ _n和C³ _n因此对应于输入F¹ _n和F² _n。

运动估算器计算来自于帧F¹ _n和F² _n 1的主块比如C¹ _n的运动矢量的场。

帧Y₂和Y₃的信号是利用合适的系数计算运动矢量并内插输出帧的那些帧。

在下一个周期C² _n，呈现到运动估算器的两个输入端的帧再次为F¹ _n和F² _n-1。通过在子块上作用，这第二周期因此将能使运动估算器细化运动矢量的计算。在对应于输出C³ _n和C⁴ _n的第三和第四周期期间，所呈现的帧为F² _n和F² _n-1。运动矢量的计算也是在子块水平上完成，在第一周期期间为主块所计算的运动矢量在这儿被利用，因为它们仍然是有效的。因此，只有在第一与随后的周期之间的帧改变时，对于这些矢量的计算，比较总是在图像n-1和n之间进行，并知道在电影模式下，偶数帧和奇数帧对应于同一图像，即源图像的相同瞬间。对于第四周期重复该计算，因为这可避免先前矢量场的存贮因此消耗存贮器。

摄像模式：

Y1		F1 n		F2 n		F1 n+1		F2 n+1
									Y2	F2 n-1	F2 n-1	F1 n	F1 n	F2 n	F2 n	F1 n+1	F1 n-1
Yx	F2 n-2	F2 n-2	F2 n-1	F2 n-1	F1 n	F1 n	F2 n	F2 n
									运动估算	MB	SB	MB	SB	MB	SB	MB	SB
内插	F2 n-2+ F2 n-1	F2 n-2+ F2 n-1	F2 n-1+F1 n	F2 n1+F1 n	F1 n+F2 n	F2 n+F2 n	F2 n+F1 n+1	F2 n+F1 n+1
									系数	0	1/2	0	1/2	0	1/2	0	1/2
输出	C3 n-1	C4 n-1	C1 n	C2 n	C3 n	C4 n	C1 n+1	C2 n+1

在摄像模式，同一图像的两帧F¹ _n和F² _n对应于源图像的两个不同瞬间。因此，在与C¹ _n对应的第一周期期间，运动矢量的计算是基于帧F² _n-1和F¹ _n在主宏块MB上进行的，在第二周期期间则在这些相同帧的子块上进行。对于第三周期，所呈现的帧为F¹ _n和F² _n，因此从这些帧可以计算块MB上新的运动矢量，第四周期允许在子块上细化。

两个模式之间的区别与帧存贮器相关。对应于所包含模式的信号被送到帧存贮器的控制输入端，该输入端同意或拒绝存贮其输入端呈现的帧。

在图4的曲线7中可看出在帧存贮器输入端可获得的信号y₂在电影模式中以每四周期的速率被写取样，例如F² _n-1，F² _n，F² _n+1，等等。然后所存贮的帧在四个连续的周期(或四个连续的帧周期)内被读出四次。而在摄像模式下，取样是以双倍频率，所存贮的帧因此在二个连续的周期内重复。

为给定帧计算的运动矢量场被传输到内插器4。它按照在其第一输入端上接收的帧和在其第二输入端上接收的帧的函数进行内插。

在通常模式下加到运动矢量的系数为0和1/2。

在电影模式，从图5可以较好理解所选的值。在帧F² _n-1和F¹ _n之间计算运动矢量V1以产生中间帧的像素，它离第一帧的像素的距离为1/4×V1，在帧F² _n-1和F² _n之间计算运动矢量V2，以产生中间帧的像素，它离第一帧的像素的距离为3/4×V2。帧F¹ _n和F² _n对应于同一电影图像，矢量V1和V2因此是相同的，当考虑在第一周期期间的宏块上计算的运动矢量时，这就是为什么在第三和第四周期期间在子块上进行计算的原因，由圆圈(输出像素)代表的像素的对齐所示的抖动效果被抑制了。

常规的内插滤波器用相反奇偶性的两帧工作。通过对两个输入帧之一的垂直平均可体现这种滤波器用途。通过平均两个输入帧中的一个所进行的滤波使得有可能产生具有相反奇偶性的一场。该内插滤波然后可以常规方式进行，尽管是对三个像素取平均，即一个帧的两个像素，一个在另一个的下面，和在后面构成的相反奇偶性的帧的中间行上的那一个。

可是该解决方法可能会损失垂直方向的清晰度。另一个解决方法包括在输入到内插器的两个偶数帧基础上进行滤波，以获得奇数帧。例如用线性/中值滤波器或简单的一个线性滤波器，对四个像素或两个像素进行滤波。

图6中给出了一个例子，它表示了从这种输入像素(又叉)的滤波所获得的输出像素(圆圈)。

滤波的选择取决于分配到中间帧像素的运动矢量和具有要内插的像素的行的奇偶性。

具有0运动矢量的输出像素Y可用线性/中值混合滤波器从一帧输入像素A，C和相同奇偶性的其它帧的输入像素B，D的值(亮度)产生。 $Y=\mathrm{MEDIAN}(\frac{(A+B)}{2},\mathrm{MEDIAN}(A,B,C,D),\frac{(C+D)}{2})$ 。具有奇数个变量的中值算子去除了极限值而只选择中间值，具有偶数个变量的中值算子选择两个中间值并计算它们的平均值。

运动矢量为+2的输出像素Z可从一帧的像素E和相同奇偶性的其它帧的像素D产生，用单一线性滤波器移动一行。 $Z=\frac{(E+D)}{2}$

本发明不限制于所描述的例子，而是可应用于需要内插的任何类型的帧扫描转换器。具体地，按照输入帧频率和输出帧频率之间的比率，为了实施本发明，并不是必须要采用“加速”型存贮器。

Claims (7)

1.用于内插数字视频数据的帧的方法，该数据是在电影模式或通常模式下以帧频按帧格式接收的，包括帧存贮，产生运动矢量的运动估算和在所存贮帧与当前帧之间的内插，其特征在于：在电影模式下，存贮是以如此方式以摄像模式频率的一半执行的，即只有对应于同一电影图像的两个输入帧的第二个被存贮在帧存贮器中，以便被连续地再读出两次，以与随后的两个输入帧比较，以计算该运动矢量。

2.用于转换数字视频数据的帧频的方法，包括按照权利要求1的帧存贮，产生运动矢量的运动估算和在所存贮帧与当前帧之间的内插，其特征在于：当前帧被首先存贮以便以输入帧频率的双倍频率连续地读取两次，以产生y₂，其中y₂在通常模式每第二帧被存贮，在电影模式每第四帧被存贮，每次都是最后一帧，以便以输入帧频率的两倍频率被顺序读取，以产生y₃，其中运动估算和内插在以输入帧频的双倍频率读取的帧y₂和y₃之间进行。

3.按照权利要求1或2的方法，其特征在于：当接收的两帧具有相同奇偶性时，事先进行内插，通过对两帧之一y₂垂直平均来预滤波，以产生与y₃相反奇偶性的帧。

4.按照权利要求1或2的方法，其特征在于：当接收的两帧具有相同的奇偶性时进行内插，在由要内插的像素的运动矢量匹配的四个像素上进行线性/中值滤波，首先的两个像素属于两个连续的行，而其它两个属于其它帧中相应的连续行，这些像素的水平和垂直位置由要内插的像素的位置和分配给该像素的运动矢量来确定。

5.按照权利要求1或2的方法，其特征在于：当接收的两帧具有相同奇偶性时进行内插，在由要内插的像素的运动矢量匹配的两个像素上进行线性滤波，一个像素来自一帧，相应像素来自另一帧，这些像素的水平和垂直位置由要内插的像素的位置和分配给该像素的运动矢量来确定。

6.按照权利要求4或5的方法，其特征在于：滤波的选择取决于分配给被内插帧的像素的运动矢量和该像素所属的行的奇偶性。

7.用于内插数字视频数据的帧的装置，该数据是在电影模式或通常模式下以帧格式接收的，该装置包括帧存贮器(2)，用于接收数字视频数据；运动估算器(3)和内插器(4)，每个具有两个输入端，它们的第一输入端接收相同的数字视频数据，作为帧存贮器的输入，它们的第二输入端接收帧存贮器的输出，其特征在于：数字视频数据事先通过“加速”型存贮器(1)，通过重复帧两次，在输出端以双倍频率产生视频数据；在摄像模式下，帧存贮器每第二帧写入，然后以输入帧频的双倍频率读取该帧两次，而在电影模式下帧存贮器每第四帧写入，然后以双倍帧频的频率读取该同一帧四次，每次帧存贮器存贮的帧是从同一图像产生的两帧中的第二个。

Images