CN101023677A

CN101023677A - 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置

Info

Publication number: CN101023677A
Application number: CNA2005800316770A
Authority: CN
Inventors: 史方; 维贾亚拉克施密·R·拉维德朗
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2004-07-20
Filing date: 2005-07-20
Publication date: 2007-08-22
Also published as: CA2574579A1; KR20070040397A; US20060017843A1; EP1774794A1; AU2005267169A1; AR049727A1; BRPI0513536A; WO2006012382A1; US20070211800A1; TW200629899A

Abstract

一种使用当前视频帧以及多个先前视频帧创建内插视频帧的方法。该方法包括从所述多个先前视频帧中的至少一个先前视频帧创建外插运动矢量组；使用所述外插运动矢量和每个外插运动矢量的内容类型来执行自适应运动估计；确定运动补偿内插模式；以及基于所述运动补偿内插模式确定来创建运动补偿运动矢量组。还公开了一种执行该方法的装置。

Description

以多个参考帧以及可变块尺寸的帧速率上变换方法和装置

根据U.S.C§119要求的优先权

本专利申请要求临时申请No.60/589,990、于2004年7月20日提交、并转让给其受让人题为“Method and Apparatus for Frame Rate upConversion”的临时申请的优先权，并通过对其在此进行参考而清楚地结合。

对共同未决的专利申请的参考

本专利申请与下面的共同未决的美国专利申请相关：No.11/122,678，2005年5月4日提交的、并转让给其受让人题为“Method and Apparatus for Motion Compensated Frame Rate upConversion for Block-Based Low Bit-Rate Video”，并通过在此的参考而清楚地结合。

技术领域

这里描述的实施例总体涉及帧速率上变换(FRUC)，并且更具体的，涉及利用多个参考帧和可变块尺寸的帧速率上变换(FRUC)的方法和装置。

背景技术

由于有限的带宽资源和可用带宽的变化，低比特率视频压缩在诸如无线视频流以及视频电话的多种多媒体应用中非常重要。低比特率的带宽适应视频编码可以通过减少时域分辨率来实现。换言之，取代压缩和发送三十(30)帧每秒(fps)的比特流，该时域分辨率可以减半到15fps，以降低发射比特率。然而，减少时域分辨率的后果是引入时域失真(artifact)，诸如运动断续(motion jerkiness)，其显著地降低解码视频的可视质量。

为了在接收机侧显示完整的帧速率，就需要一种称作帧速率上变换(FRUC)的恢复机制来重新产生被跳过的帧并减少时域失真。通常，FRUC是视频解码器的视频内插处理，用于提高重建视频的所感知到的帧速率。

已经提出了很多FRUC算法，其可以分成两类。第一类通过使用接收的视频帧的组合来内插丢失帧而不考虑对象的运动。帧重复和帧平均方法适合于这种类型。这些方法的缺点在于在具有运动的时候，包括产生运动断续、“鬼影”图像以及运动物体的模糊。与第一类相比，第二类更加先进，并使用了传送的运动信息，即所谓的运动补偿(帧)内插(MCI)。

如现有技术的图2所示，在MCI中，基于重建的当前帧202、存储的先前帧204、以及一组传送的运动矢量206来内插丢失的帧208。重建的当前帧202包括一组与该组传送的运动矢量206相关联的非重叠块250、252、254以及256，其中该运动矢量206指向存储的先前帧204中对应的块。因此，内插的帧208可以以当前和先前帧中相应像素的线性组合来重建；或是以诸如中值运算的非线性运算来重建。

尽管基于块的MCI提供了一些优点，但是其仍旧引入了一些不想要的区域，诸如内插帧中的重叠(多个运动轨迹穿过该区域)以及空洞(没有运动轨迹穿过该区域)区域。如图3所示，内插帧302包含重叠区域306以及空洞区域304。造成这两种不想要的区域的主要原因是：

1.运动物体不符合刚性平移运动模型；

2.由于在编码器一侧使用的基于块的快速运动搜索算法，在MCI中使用的传送的运动矢量可能不指向真正的运动轨迹；以及

3.在当前和先前帧中遮盖的和未遮盖的背景。

重叠和空洞区域的内插是现有的基于块的运动补偿方案中一个主要的技术上的挑战。已经提出了中值模糊以及空间内插技术来填充这些重叠和空洞区域。然而，这些方法的缺点在于引入了模糊和块失真，并还导致内插运算的复杂度升高。

因此，需要克服上述的问题。

发明内容

本发明和装置提供一种灵活的系统，用于实施用于帧速率上变换(FRUC)的各种算法。例如，在一个实施例中，该算法提供对多个参考帧的支持，以及为FRUC提供内容自适应的模式确定变化。

在一个实施例中，使用当前视频帧和多个先前视频帧创建内插视频帧的方法包括从多个先前视频帧中的至少一个参考视频帧创建一组外插运动矢量，随后使用该外插的运动矢量和每个外插运动矢量的内容类型来执行自适应运动估计。该方法还包括确定运动补偿内插模式，以及基于运动补偿内插模式确定来创建一组运动补偿运动矢量。

在另一个实施例中，计算机可读介质具有存储在其上的指令，在被处理器执行的时候，该存储的指令使得该处理器执行使用当前视频帧和多个先前视频帧来创建内插视频帧的方法。包括使用当前视频帧和多个先前视频帧创建内插视频帧的该方法包括从多个先前视频帧中的至少一个参考视频帧创建一组外插运动矢量，随后使用外插运动矢量和每个外插运动矢量的内容类型来执行自适应运动估计。该方法还包括关于运动补偿内插模式的确定，以及基于运动补偿内插模式确定来创建一组运动补偿运动矢量。

在另一个实施例中，有一种使用当前视频帧以及多个先前视频帧创建内插视频帧的视频帧处理器，该处理器包括用于从多个先前视频帧的至少一个参考视频帧创建一组外插运动矢量的装置；以及使用外插运动矢量以及每个外插运动矢量的内容类型来执行自适应运动估计的装置。该视频帧处理器还包括确定运动补偿内插模式的装置，以及基于运动补偿内插模式确定来创建一组运动补偿运动矢量的装置。

从下面的详细描述中，各个实施例的其他目的、特征以及优点将变得对于本领域技术人员来说显而易见。然而，可以理解，表示各种实施例的同时，通过示出的方式而不是限制的方式给出详细的描述和具体例子。可以在不背离本发明的精神的情况下，在实施例的范围内作出很多改变和修改，并且该实施例包括所有的这种修改。

附图说明

通过参考附图可以更好地理解这里描述的实施例，其中：

图1是依照一个实施例配置的帧速率上变换(FRUC)系统的框图；

图2是示出使用运动补偿帧内插(MCI)构建内插帧的图；

图3是示出可能在MCI期间在内插帧中产生的重叠和空洞区域的图；

图4是示出分配给视频帧之内图形元素的各个类的图；

图5是示出对于单个参考帧、线性运动模型的矢量外插的图；

图6是示出对于单个参考帧、运动加速模型的矢量外插的图；

图7是示出对于多个参考帧、运动矢量外插的线性运动模型的矢量外插的图；

图8是示出对于多个参考帧、运动矢量外插的非线性运动模型的矢量外插的图；

图9是在不使用运动矢量外插的FRUC系统中自适应运动估计确定处理的流程图；

图10是在使用矢量外插的FRUC系统中自适应运动估计确定处理的流程图；以及

图11是在FRUC系统中运动估计处理之后执行的模式确定处理的流程图；

图12是无线系统的接入端和接入点的框图。

在附图的若干个示图之中，类似的附图标记表示类似的部件。

具体实施方式

这里描述的方法和装置提供了一种灵活的系统，来实现用于帧速率上变换(FRUC)的各种算法。例如，在一个实施例中，该系统提供FRUC处理中的多个参考帧。在另一个实施例中，该系统提供FRUC处理中的内容自适应模式确定。这里描述的FRUC系统可以归类到使用传送的运动矢量信息来构建一个或多个内插帧的运动补偿内插(MCI)FRUC系统的种类中。

图1是依照一个实施例来配置的FRUC系统100的框图，该系统用于实现FRUC处理中包括的运算。图1所示的部件对应于可以使用一个或多个软件算法来实现的FRUC系统中的具体模块。用充足的细节以高级别来描述算法的运算，以使得本领域技术人员可以使用硬件和软件方式的结合来实现这些算法。例如，这里描述的部件可以实施为在通用处理器上执行的软件；诸如专用集成电路(ASIC)中的“硬件实现的”电路；或是其任意的组合。应该注意，可以使用这里描述的实现该模块的各种其他方式，并且这些方式是在图像和视频处理的广泛的技术领域中普通技术人员的知识领域内。

此外，这里描述的发明构思可以用于符合国际电信联盟电信标准化组(ITU-T)公布的H26x标准；或是符合作为国际标准化组织/国际电工委员会，第一联合技术委员会(ISO/IEC JTC1)的一个工作组的运动图像专家组公布的MPEGx-标准的解码器/编码器系统。ITU-T视频编码标准称作推荐标准，并且他们用H.26x(H.261，H.262，H.263，和H.264)表示。ISO/IEC标准用MPEG-x(MPEG-1，MPEG-2和MPEG-4)表示。例如，多个参考帧和可变块尺寸是H.264标准所需要的特殊特征。在其他实施例中，解码器/编码器系统可以是私有的。

在一个实施例中，系统100可以基于不同复杂程度的要求而配置。例如，高度复杂的配置可以包括多个参考帧；可变块尺寸；使用运动加速模型的先前参考帧运动矢量外插；以及运动估计辅助双运动场平滑。相反的是，较低复杂度的配置可以仅包括单个参考帧；固定的块尺寸；以及使用运动矢量场平滑的MCI。对于不同应用目的，其他配置也是有效的。

系统100使用多个数据存储单元接收输入，该数据存储单元包含关于在视频流处理中使用的视频帧的信息，该系统包括多个先前的帧内容图存储单元102；多个先前帧外插运动场存储单元104；单个先前帧内容图存储单元106；以及单个先前帧外插运动场存储单元108。该运动矢量分配系统100还包括当前帧运动场存储单元110和当前帧内容图存储单元112。多参考帧控制器模块116将适当的存储单元连接到输入的下一级，该下一级是控制到运动矢量平滑模块120的输入的运动矢量外插控制器模块118。因此，系统100中的输入运动矢量可以从当前解码帧创建，或是可以从当前帧和先前解码帧创建。系统100中其他的输入是来自解码帧数据的边带信息，其可以包括但是不限于关注区域、材质信息变化、以及亮度背景值的变化。该信息可以提供对运动矢量分类和自适应平滑算法的指导。

尽管图示出了使用不同的两组存储单元来存储内容图和运动场，其中一组存储单元用于使用多参考帧的情形(即，多个先前帧内容图存储单元102和多个先前帧外插运动场存储单元104)，并且另一组用于使用单个参考帧的情况(即，单个先前帧内容图存储单元106和单个先前帧外插运动场存储单元108)，应该注意，其他的配置也是可以的。例如，两种不同内容内容图存储单元的功能可以结合，以使得用于存储内容图的一个存储单元可以用于存储对于多个先前帧的内容图或是对于单个先前帧的单个内容图。此外，存储单元还可以存储对于当前帧的数据。

基于接收的视频流元数据(即，传送的运动矢量)以及解码的数据(即，重建的帧像素值)，帧中的内容可以被分成下面的类型：

1.静态背景(SB)；

2.运动对象(MO)；

3.出现的对象(AO)；

4.消失的对象(DO)；以及，

5.边缘(EDGE)。

因此，分析在当前运动矢量所指向的帧的区域的类型，并且该类型将会影响要被内插的帧的处理。如其中所述，引入EDGE类到内容分类中添加了内容分类的附加类并提供了FRUC处理中的改进。

图4提供了像素的不同类的图示，包括对于MCI的运动对象(MO)408，出现的对象(AO)404，消失的对象(DO)410，静态背景(SB)402和边缘406，其中一组箭头412表示在三个示出的帧：F(t-1)，F(t-1)和F(t+1)中的像素的运动轨迹。具体的说，在MCI的上下文(context)中，每个视频帧中的每个区域或像素可以分类到上述五类中的一个内，并且相关的运动矢量可以基于类型信息改变(如果存在改变)的比较，以特定的方式处理。例如，如果运动矢量指向这样一个区域，该区域在先前的参考帧中被归类为静态背景，但是在当前帧中被改变分类为运动对象，则该运动矢量可以标记为异常(outlier)运动矢量。此外，在SB、AO和DO之间的区别比较小的时候，上述五种内容分类可以分成三个受限制较少的类：

1.SB 402，AO 404，DO 410；

2.MO 408；和

3.EDGE 406。

在一个实施例中，使用两种不同的方法来执行DO 410，SB402，AO 404和MO 408内容的分类，每种方法都基于不同的计算复杂度。在低复杂度的方法中，例如可以使用下面的公式来对内容分类：

Qc＝abs(Fc[yn][xn]-Fp[yn][xn])；

Qp＝abs(Fp[yn][xn]-Fpp[yn][xn])；

Qc＝(Qc＞阈值)；以及

Qp＝(Qp＞阈值)；

其中：

yn和xn是像素的y和x坐标位置；

Fc是当前帧的像素值；

Fp是先前帧的像素值；

Fpp是先前-先前帧的像素值；

Qc是在当前和先前帧中共置像素(位于[yn][xn])之间的像素值差的绝对值；以及

Qp是在先前和先前-先前帧中共置像素(位于[yn][xn])之间像素值差的绝对值；以及：

if(Qc&&Qp)则将对象归类为运动对象；

else if(！Qc&&！Qp)则将对象归类为静止背景；

else if(Qc&&！Qp)则将对象归类为消失的背景；

else if(！Qc&&Qp)则将对象归类为出现的背景。

在高复杂度方法中，对于通过追随分割的对象的运动而执行的内容分类，例如基于对象分割和形态学运算来执行分类。

因此：

1.在运动场上执行对象分割；

2.跟随分割的对象的运动(例如，通过形态学运算)；以及

3.分别将对象标记为SB，AO，DO和MO。

如上所述，将EDGE 406分类添加到FRUC系统100。边缘表现出边界的特征，尤其是运动对象的边界，因此在图像处理中具有本质的重要性。图像中的边缘是具有强对比程度的区域(即，从一个像素到下一个像素中的较大程度变化)。边缘检测提供了在图片中识别对象的好处。有很多种方法来执行边缘检测。然而，大部分的不同方法可以分成两个种类：梯度法和拉普拉斯法。梯度方法通过寻找图像中一阶导数的最大值和最小值来探测边缘。拉普拉斯方法寻找图像中二阶导数中的零交叉点来寻找边缘。作为一维的梯度和拉普拉斯方法的技术通过Sobel方法而用于二维的情况。

Gx＝

-1	1
-1	1	-2	0	2
-1	1	-2	0	2

Gy＝

1	2	1
1	2	1	0	0	0
-1	-2	-1	0	0	0

L＝

-1	-1	-1	-1	-1
-1	-1	-1	-1	-1	-1	-1	-1	-1	-1
-1	-1	24	-1	-1	-1	-1	-1	-1	-1
-1	-1	24	-1	-1	-1	-1	-1	-1	-1

-1

在一个实施例中，其中使用可变块尺寸，该系统对最小块尺寸执行运动矢量的过采样。例如，在H.264中，对于运动矢量的最小块尺寸是4×4。因此，过采样函数将以4×4对帧中的所有运动矢量进行过采样。在过采样函数之后，可以对于过采样的运动矢量应用固定尺寸的合并直至预定块尺寸。例如，十六(16)个4×4运动矢量可以合并成一个16×16运动矢量。合并函数可以是平均函数或中值函数。

参考帧运动矢量外插模块116为参考帧的运动场提供外插，并且因此为将要内插的帧提供额外的一组运动场信息用于执行MCI。具体的说，参考帧的运动矢量场的外插可以基于不同的运动模型以多种方式进行(例如，线性运动和运动加速模型)。外插的运动场提供额外的一组信息用于处理当前帧。在一个实施例中，该额外信息可以用于下面的应用：

1.对于通用视频处理的运动矢量分配，以及具体的说，对于FRUC的分配；

2.对于通用视频处理的自适应双向运动估计，以及具体的说，对于FRUC的估计；

3.对于通用视频处理的模式确定；以及，

4.对于通用视频处理的基于对象分割的运动。

因此，参考帧运动矢量外插模块116外插参考帧的运动场以对于要编码帧的MCI提供一组额外的运动场信息。在一个实施例中，FRUC系统100支持运动估计(ME)辅助和非ME辅助的MCI变形，如下面所述。

FRUC系统100的外插模块116的运算将首先参考单帧、线性运动的模型来描述，并随后参考单帧、运动加速模型的三个变形来描述。后面将描述外插模块116在多参考帧以及对于线性运动或运动加速的变形的模型中的操作。

在单参考帧、线性运动的模型中，运动对象以线性运动的方式移动，并具有恒定的速度。在图5中示出该例子，其中F(t+1)是当前帧，F(t)是将要内插的帧(F帧)，F(t-1)是参考帧，且F(t-2)是对于F(t-1)的参考帧。在一种实施例中，外插模块116通过下面操作来提取运动矢量：

1.反转参考帧的运动矢量；以及

2.基于F帧的时间索引来适当地缩小运动矢量。

在一种实施例中，该定标是线性的。

图6示出单个参考帧、非线性运动模型运动矢量外插，其中F(t+1)是当前帧，F(t)是将要内插的帧(F帧)，F(t-1)是参考帧，且F(t-2)是F(t-1)的参考帧。在非线性运动模型中，加速度可以是恒定的或是可变的。在一种实施例中，外插模块116可以基于这些模型的变化而采用不同的操作。其中，加速度是恒定的时候，例如外插模块116将：

1.反转参考帧F(t-1)的运动矢量(MV_2)；

2.计算当前帧F(t+1)的运动矢量(MV_1)和反转的MV_2之间的差别，即运动加速度；

3.适当地定标在步骤1反转的MV_2和步骤2获得的运动加速度；以及，

4.对定标的运动矢量和定标的加速度求和，以得到外插的运动矢量。

其中，加速度是可变的，在一种方式中，外插模块116将：

1.追踪多个先前的参考帧的运动矢量；

2.例如，通过解多项式/二次数学函数来计算运动轨迹，或是使用最小平方统计数据模型来计算；以及

3.计算外插的MV以使其位于所计算的运动轨迹上。

外插模块116还可以使用单个帧、可变加速度模型中的第二种方法：

1.使用恒定加速度模型，如上所述，以从F(t-1)，F(t-2)，和F(t-3)的运动场计算调整加速度的前向MV_2；

2.反转校正加速度的前向MV_2以得到反转的MV_2；以及，

3.执行对于单参考帧、非线性运动模型描述的步骤3和步骤4。

图7示出外插模块116对于多参考帧、线性运动模型的运算，其中解码帧的前向运动矢量可以不指向其前面紧邻的参考帧。然而，运动仍是恒定速度。在图中，F(t+1)是当前帧，F(t)是将要内插的帧(F帧)，F(t-1)是参考帧，且F(t-2)是紧邻F(t-1)帧前面的参考帧，而F(t-2n)是帧F(t-1)的参考帧。在此模型中，外插模块116将：

1.反转参考帧的运动矢量；以及，

2.基于F帧的时间索引，适当地将其缩小。在一种实施例中，该定标是线性的。

图8示出多参考帧、非线性运动模型，其中外插模块116将执行运动矢量外插，其中F(t+1)是当前帧，F(t)是将要内插的帧(F帧)，F(t-1)是参考帧，且F(t-2)是紧邻F(t-1)帧前面的参考帧，而F(t-2n)是帧F(t-1)的参考帧。在此模型中，非线性速度运动可以是恒定速度的或是可变加速的。在非线性运动模型的变形中，其中对象处于恒定加速，外插模块将按照下面这样外插运动矢量：

1.反转参考帧F(t-2n)的运动矢量(如反转的MV_2所示)；

2.计算当前帧F(t+1)的运动矢量MV_1和反转的MV_2之间的差异，其是运动加速度；

3.适当地定标反转的MV_2和从步骤2获得的运动加速度；以及，

4.将定标的反转MV_2和定标的加速度相加，以获得外插的MV。

其中加速的运动不是恒定的，而是可变的，在一个实施例中，外插模块将如下确定估计的运动矢量：

1.追踪多个先前参考帧的运动矢量；

2.通过解多项式/二次数学函数计算运动轨迹，或是通过统计数据模型(例如，使用最小均方计算)来计算；以及，

3.计算外插的MV以与计算的运动轨迹重叠。

在另一个实施例中，外插模块116如下对可变加速模型确定外插运动矢量：

1.如上所述，使用恒定加速度模型，以从F(t-1)，F(t-2)，和F(t-3)的运动场计算调整加速度的前向MV_2；

2.反转校正加速度的前向MV_2以得到反转的MV_2；以及，

3.重复在多个参考帧、线性运动模型中描述的步骤3和步骤4。

一旦已经提取了运动矢量，就将其发送到运动矢量平滑模块118。运动矢量平滑模块118的功能是去除任何异常运动矢量并减少由于这些异常运动矢量造成的失真的数量。运动矢量平滑模块118的操作的一种实施在共同未决的专利申请号11/122,678，题为“Method andApparatus for Motion Compensated Frame Rate up Conversion forBlock-Based Low Bit-Rate Video”中更加具体的描述。

在运动平滑模块118执行了其功能之后，FRUC系统100的处理可以依赖于是否将使用运动估计来改变，如确定模块120所确定的一样。如果将使用运动估计，则处理将继续到F帧划分模块122，其划分F帧为非重叠的宏块。划分模块122的一种可行的实施方式可以在共同未决的专利申请号11/122,678，题为“Method and Apparatus forMotion Compensated Frame Rate up Conversion for Block-Based LowBit-Rate Video”中找到。划分模块122的划分功能还可以在基于块的确定模块136的后面(downstream)使用，如这里进一步描述的，其确定内插是基于块的还是基于像素的。

在F帧已经被划分为宏块之后，运动矢量分配模块124将为每个宏块分配运动矢量。运动矢量分配模块124的一种可行的实施方式在共同未决的专利申请号11/122,678，题为“Method and Apparatus forMotion Compensated Frame Rate up Conversion for Block-Based LowBit-Rate Video”中描述，其中该模块也其他模块之后使用，如图1所示。

一旦对宏块作出了运动矢量分配，自适应双向运动估计(Bi-ME)模块126将用作执行运动估计辅助FRUC的一个部件。如下面进一步所述的，由Bi-ME模块126执行的对FRUC的自适应的双向运动估计提供下面的验证/校验功能：

1.在种子运动矢量是运动场的正确描述的时候，来自双向运动估计引擎的前向运动矢量和后向运动矢量应该彼此相似；并且，

2.在种子运动矢量是运动场的错误描述的时候，该前向运动矢量和后向运动矢量彼此之间将很不同。

因此，该双向运动补偿运算用作其他不连续块上的模糊运算并且将提供视觉上更加令人舒服的图片。

应该注意Bi-ME模块126执行的运动估计处理中彩色信息的重要性，因为FRUC运算中色度通道起到的作用与“传统”MPEG编码运算中色度通道起到的作用不同。具体的说，由于FRUC运算“没有残差改进(residual refinement)”，所以在FRUC运算中色度信息更加重要。对于FRUC运算来说，由于重建处理使用MV所指向的参考帧中的像素作为F-MB中的重建像素，所以没有残差信息；而对于正常运动补偿解码，甚至在运动矢量不是非常准确的情况下，该比特流携带色度通道的运动矢量信息和残差信息，该比特流中携带的残差信息将在一定程度上补偿重建的值。因此，运动矢量的正确性对于FRUC运算来说更加重要。因此，在一个实施例中，通过确定下面的值，色度信息包括在确定最匹配的种子运动矢量的处理中：

总变形＝W_1*D_Y+W_2*D_U+W_3*D_V

其中，D_Y是Y(亮度)通道的变形度量；D_U(色度通道，U轴)和D_V(色度通道，V轴)分别是U和V色度通道的变形度量；并且W_1，W_2，和W_3分别是对于Y，U，和V通道的加权因子。例如，W_1＝4/6；W_2＝W_3＝1/6。

不是所有的宏块都需要完全的双向运动估计。在一个实施例中，其他的运动估计处理，诸如单向运动估计可以用作双向运动估计的一种替换手段。总之，可以基于作为宏块的内容类，和/或穿过宏块的运动矢量数量的因子来确定对于特定的宏块来说，单向运动估计或双向运动估计是合格的。

图9示出没有运动矢量外插的优选自适应运动估计确定处理，即，其中不存在外插的运动矢量(902)，其中：

1.如果不存在内容图(906)，且宏块不是重叠或空洞宏块(938)，则不执行运动估计(924)。可选地，不执行运动估计，使用较小搜索范围执行双向运动估计处理。例如，在中心点周围的8×8搜索。如果存在重叠或是空洞宏块(938)，则执行双向运动估计(940)；

2.如果存在内容图(906)，然而，宏块不是重叠或是空洞宏块(908)，如果种子运动矢量在同一内容类中开始并结束(924)，则不执行运动估计。可选地，不执行运动估计，使用较小的搜索范围执行双向运动估计处理(926)。如果种子运动矢量没有在同一内容类中开始并结束(924)，如果探测到该块：(1)该种子运动矢量开始的块被分类为消失的对象(DO)；或是(2)该种子运动矢量结束的块被分类成出现的对象(AO)(928)，则将不执行运动估计(930)。否则，各个共置的DO或是AO运动矢量将被复制(930)。如果宏块是重叠或是空洞宏块(908)且种子运动矢量在同样的内容类中开始和结束(910)，则将产生同样的结果(930)；

3.如果种子运动矢量没有以DO内容开始或以AO内容块结束(928)，但是确实以被分类为具有运动对象(MO)内容的块开始或结束，则使用单向运动估计来创建与MO匹配的运动矢量(934)。否则，不执行运动估计，或是可选地执行平均模糊操作(936)；以及

4.如果种子运动矢量在同一内容类中开始和结束(910)，则使用双向运动估计处理来创建运动矢量(912)。

然而，在外插的运动矢量可用的时候，自适应运动估计确定处理不同于其中外插矢量不是，即，外插运动矢量存在的处理(902)；

1.每个宏块具有两个种子运动矢量：前向运动矢量(F_MV)和后向运动矢量(B_MV)；

2.前向运动估计是通过前项运动矢量得到的(seeded)；并且，

3.后向运动估计是通过后项运动矢量得到的。

图10示出利用运动矢量外插的优选自适应运动估计确定处理，其中：

1.如果存在内容图(1004)，且前向运动矢量与后项运动矢量适合(1006)，在一个实施例中，如果种子运动矢量在同一内容类中开始和结束，则不执行运动估计(1010)。具体的说，如果前向运动矢量的幅度和方向，以及开始和结束点的内容类与后项运动矢量适合，则将不执行运动估计(1010)。可选地，不必执行运动估计，可以使用较小搜索范围来执行双向运动估计(1010)。

2.如果种子运动矢量没有在同一内容类中开始和结束(1008)，则确定已经分配了错误的种子运动矢量，且重新分配了前向运动矢量和后向运动矢量(1012)。如果重新分配的运动矢量在同一内容类中(1014)，则在一个实施例中，如果种子运动矢量在同一内容类中开始和结束，将不执行运动估计(1016)。可选地，不用不执行运动估计，可以使用较小的搜索范围执行双向运动估计(1016)。如果重新分配的运动矢量没有在同一内容类中开始和结束，则使用空间内插(1018)；

3.如果前向运动矢量与后项运动矢量不适合(1006)，如果两种运动矢量的开始和结束点属于同一内容类(1022)，则执行双向运动估计处理(1022)。否则，如果运动矢量之一的开始点和结束点属于同一内容类，就使用具有在同一内容类中的开始点和结束点的运动矢量作为种子运动矢量，来执行双向运动估计(1026)。

4.如果没有运动矢量具有属于同一内容类的开始点和结束点(1024)，则由于它们是错误的种子运动矢量，所以前向运动矢量和后向运动矢量需要被重新分配(1028)。如果重新分配的运动矢量在同一类中(1030)，则使用同样的内容类运动矢量执行双向运动估计(1032)。否则，如果重新分配的运动矢量的开始点和结束点不在同一内容类中(1030)，则执行空间内插(1034)；并且，

5.如果内容图不可用(1004)，则如果前向运动矢量和后向运动矢量彼此适合，就不执行运动估计(1038)。可选地，取代不执行运动估计的方式，可以执行具有较小搜索范围的双向运动估计(1038)。否则，如果前向和后向运动矢量不适合(1036)，则将应用随着较小的绝对差值总和(SAD)的方向的单向运动补偿内插，来执行双向运动估计。

在通过Bi-ME模块126执行了自适应双向运动估计处理之后，每个宏块将具有两个运动矢量——前向运动矢量以及后向运动矢量。假定在一个实施例中，这两个运动矢量有三种可能的模式，其中FRUC系统100可以执行MCI以构建F帧。模式确定模块130将确定FRUC系统100是否将：

1.使用两种运动矢量并执行双向运动补偿内插(Bi-MCI)；

2.仅使用前向运动矢量并执行单向运动补偿；并且，

3.仅使用后向运动矢量并执行单向运动补偿。

模式确定的执行是智能地确定哪个运动矢量描述了真实的运动轨迹，并从上述三个候选者中选出一个运动补偿模式的过程。例如，其中视频流中什么位置包含脱口秀或是其他具有很多人脸的视频序列，皮肤色调颜色分割是一种有用的技术，它可以用于模式确定处理中。颜色提供了快速检测的唯一信息。具体的说，通过将注意力仅集中到具有与目标对象相同颜色的区域上，可以显著地减少搜索时间。通过搜索皮肤色调的像素，存在在彩色图像内定位人脸的算法。使用形态学和中值滤波器来将皮肤色调的像素分组成皮肤色调块(blob)并去除散开的背景噪声。典型地，皮肤色调在色度平面内一个很小区域上分布。人类皮肤色调在色度域中是这样的：在均一化之后0.3＜Cb＜0.5，且0.5＜Cr＜0.7，其中Cb和Cr分别是色度通道的蓝色和红色分量。

图11示出FRUC系统100的模式确定模块130使用的模式确定处理1100，其中假定来自上述运动估计处理的前向运动矢量(前向MV)1102和后向运动矢量(后向MV)1104、种子运动矢量(种子MV)1106以及内容图1108作为潜在的输入：

1.如果前向和后向运动矢量彼此适合，将执行Bi-MCI(1114)，并且其开始和结束点在同一内容类中(1112)。此外，如果前向运动矢量与后向运动矢量适合，但是具有不同内容类中的结束点的时候(1116)，将执行Bi-MCI(1118)。在后面一种情形的时候，尽管由于不同的内容类可以造成错误的结果，这些可能的错误结果应该在运动矢量平滑处理之后校正；

2.如果前向和后向运动矢量彼此不适合(1116)，但是运动矢量的每个与其各自种子运动矢量适合(1122)，如果确定了种子运动矢量都是来自同一类中(1124)，则将执行空间内插(1132)，其中来自同一类的运动矢量表示开始点和结束点都属于一类。否则，如果运动矢量都来自不同的内容类(1124)，但是运动矢量之一来自同一类(1126)。其中同一类表示种子运动矢量的开始点和结束点在同一内容类中，则将使用该运动矢量执行单向MCI(1128)。如果没有运动矢量来自同一类(1126)，则将执行空间内插(1130)。

3.如果运动矢量与种子运动矢量不适合(1122)，但是运动矢量之一与种子运动矢量适合(1134)，如果运动矢量是来自与种子运动矢量同样的类中(1136)，则执行单向MCI(1138)。否则，如果没有运动矢量与种子运动矢量适合(1134)，或是如果与种子运动矢量适合的一个运动矢量不是来自与种子运动矢量的同样类(1136)，就将分别执行空间内插(1140，1142)。

4.如果没有内容图(1110)，但是前向运动矢量与后向运动矢量适合(1144)，也要执行Bi-MCI操作(1160)。否则，如果前向和后向运动矢量不适合(1144)，但是共置的宏块是帧内的(1146)，则处于运动矢量的共置位置的帧内宏块被复制(1148)。如果运动矢量不是可靠的，且共置的宏块是内宏块(其表示新的对象)，则假设当前宏块是在此时刻的新对象的一部分是很合理的，且共置的宏块的复制是很自然的步骤。否则，如果共置的宏块不在帧内(1146)，且运动矢量都与种子运动矢量适合(1150)，则由于种子运动矢量不正确，就将执行空间内插(1152)。

5.如果运动矢量与种子运动矢量不适合(1150)，但是运动矢量之一与种子运动矢量适合(1154)，则执行单向MCI(1156)。否则，如果没有运动矢量与种子运动矢量适合，则由于种子运动矢量错误，将执行空间内插(1158)。

在共同未决的专利申请号11/122,678，题为“Method and Apparatusfor Motion Compensated Frame Rate up Conversion for Block-BasedLow Bit-Rate Video”中描述了Bi-MCI和宏块重建模块132。

在重新装配了宏块以构建F帧之后，去块器134用于减少在重新装配的过程中产生的失真。具体的说，去块器134平滑在宏块之间沿着边界的锯齿状和块状的失真。

图12示出了在无线系统中接入终端1202x和接入点1204x的方框图，在该无线系统中可以实施上述的FRUC方案。在此所述的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算设备，或者其可以是独立设备，例如个人数字助理。接入终端还可以指用户单元、移动站点、移动设备、远程站点、远程终端、用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线连接功能的手持设备、或者连接到无线调制解调器上的其他处理设备。在此所述的“接入点”指的是在空中接口上通过一个或多个扇区与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空中接口帧转换为IP分组，来充当在接入终端与包括IP网络在内的接入网络的其他部分之间的路由器。接入点还协调空中接口的属性管理。

对于反向链路而言，在接入终端1202x，发射(TX)数据处理器1214接收来自数据缓冲器1212的通信量数据，根据所选择的编码和调制方案来处理(例如，编码、交错、以及码元映射)每个数据分组，并提供数据码元。数据码元是数据的调制码元，导频码元是导频(其已知为先验的(priori))的调制码元。调制器1216接收数据码元、导频码元，并且可能还有反向链路的信令，执行系统所指定的(例如OFDM)调制和/或者其他处理，并提供输出芯片的流。发射器单元(TMTR)1218处理(例如转换为模拟、滤波、放大、和频率上变换)输出芯片流并生成经过调制的信号，该信号是从天线1220发射的。

在接入点1204x，由与接入点1204x通信的接入终端1202x和其他终端所发射的经过调制的信号被天线1252接收。接收器单元(RCVR)1254处理(例如，调节和数字化)来自天线1252的接收信号，并提供接收的样本。解调器(Demod)1256处理(例如，解调和检测)所接收的样本，并提供所检测的数据码元，其是由终端发射到接入点1204x的数据码元的噪声估计。接收(RX)数据处理器1258处理(例如，码元解映射、解交错和解码)每个终端的所检测的数据码元，并提供该终端的被解码数据。

对于前向链路，在接入点1204x，由TX数据处理器1260处理通信量数据以生成数据码元。调制器1262接收数据码元、导频码元、和前向链路的信令，执行(例如OFDM)调制和/或者其他相关处理，并提供输出芯片流，所述芯片流由发射器单元1264进行进一步调节，并从天线1252发射。前向链路信令可以包括由控制器1270对所有终端所产生的功率控制命令，所述终端在反向链路上发射到接入点1204x。在接入终端1202x，由接入点1204x所发射的被调制信号由天线1220所接收，由接收器单元1222进行调节和数字化，并由解调器1224进行处理，以获得所检测的数据码元。RX数据处理器1226处理所检测的数据码元，并为终端提供被解码数据并提供前向链路信令。控制器1230接收功率控制命令，并控制在反向链路上到接入点1204x的数据传输和发射功率。控制器1230和1270分别控制接入终端1202x和接入点1204x的操作。存储器单元1232和1272分别存储控制器1230和1270所使用的程序代码和数据。

所公开的实施例可以应用到以下技术中的任意一种或者其组合：码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。

应该注意的是，在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施例中，客户机是具有通信能力的手持计算机。在另一实施例中，客户机是具有通信能力的个人计算机。另外，诸如GPS接收器之类的硬件可以按照需要结合到客户机中，来实现各种实施例。与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，该处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。

与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但是可替换的是，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器，或者任何其他的这种配置。

与在此所公开的实施例有关的所述方法和算法的步骤可以直接用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储介质耦合到处理器，从而使得存储器能够从存储介质中读出信息，并将信息写入存储介质中。可替换的，存储介质可以集成到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。可替换的，处理器和存储介质可以作为分立部件而位于用户终端中。

上述实施例是示例性的实施例。在不脱离在此所公开的发明构思的情况下，本领域技术人员可以实现上述实施例的许多用途和改变。对于这些实施例的各种修改对于本领域技术人员是显而易见的，并且在此所定义的一般原理可以应用到其他实施例中而不会脱离这里所述新颖方案的精神和范围，例如，应用在即时消息服务中或者任何通用无线数据通信应用中。因此，实施例的范围不是要局限于在此所示的实施例，而是依照与在此公开的原理和新颖特征一致的最大范围。单词“示例性”在此专用于“用作示例、实例或者举例说明”的意思。在此作为“示例性”所述的任何实施例不必解释为优选的、或是优于其他实施例。因此，在此所描述的实施例的新颖性方面仅仅由所附权利要求的范围来定义。

Claims

1、一种使用当前视频帧和多个先前视频帧创建内插视频帧的方法，该方法包括：

从所述多个先前视频帧中的至少一个先前视频帧创建外插运动矢量组；以及

使用所述外插运动矢量组来对所述内插视频帧的一个区域产生运动矢量。

2、根据权利要求1所述的方法，其中使用所述外插运动矢量组来对所述内插视频帧的一个区域产生运动矢量的步骤还包括执行自适应运动估计。

3、根据权利要求1所述的方法，其中使用所述外插运动矢量组来对所述内插视频帧的一个区域产生运动矢量的步骤还包括：使用所述外插运动矢量组和每个外插运动矢量的内容类型，来为所述内插视频帧的一个区域产生运动矢量。

4、根据权利要求1所述的方法，还包括确定运动补偿内插模式。

5、根据权利要求4所述的方法，还包括基于所述运动补偿内插模式确定，来创建运动补偿运动矢量组。

6、根据权利要求1所述的方法，还包括平滑所述外插运动矢量组。

7、根据权利要求1所述的方法，还包括基于所述运动补偿运动矢量组来创建所述内插帧。

8、根据权利要求1所述的方法，其中所述至少一个先前视频帧包括多个运动对象，每个运动对象与相应前向运动矢量相关，且其中为每个运动对象创建所述外插运动矢量组的步骤包括：

创建反转的运动矢量；以及，

定标所述反转的运动矢量。

9、根据权利要求8所述的方法，其中创建所述反转运动矢量的步骤包括反转所述相应前向矢量。

10、根据权利要求8所述的方法，其中创建所述反转的运动矢量的步骤包括：

追踪与所述运动对象相关的所述多个视频帧中的一系列运动矢量；

基于所述一系列运动矢量来确定运动轨迹；以及，

计算所述反转的运动矢量的轨迹以使其位于所确定的运动轨迹上。

11、根据权利要求8所述的方法，其中所述反转的运动矢量基于所述至少一个先前视频帧的时间索引来定标。

12、根据权利要求8所述的方法，其中对所述反转的运动矢量定标的步骤包括：

通过计算当前视频帧前向运动矢量和所述反转的运动矢量之间的差异来确定运动加速度的量；

定标所述反转的运动矢量和所述运动加速度的量；以及，

结合所述反转的运动矢量和所述运动加速度的量。

13、根据权利要求4所述的方法，其中确定所述运动补偿内插模式的步骤包括：

确定描述对象的真正运动轨迹的至少一个运动矢量；以及，

执行运动补偿内插。

14、根据权利要求13所述的方法，其中所述至少一个运动矢量包括前向运动矢量和后向运动矢量，并且执行所述运动补偿内插的步骤包括：使用所述前向运动矢量和所述后向运动矢量来执行双向运动补偿内插。

15、根据权利要求13所述的方法，其中执行所述运动补偿内插的步骤包括执行单向运动补偿内插。

16、根据权利要求15所述的方法，其中所述至少一个运动矢量包括前向运动矢量，且所述单向运动补偿内插使用所述前向运动矢量来执行。

17、根据权利要求15所述的方法，其中所述至少一个运动矢量包括后向运动矢量，且所述单向运动补偿内插使用所述后向运动矢量来执行。

18、一种有指令存储其上的计算机可读介质，被处理器执行的时候，所存储的指令使得所述处理器执行使用当前视频帧和多个先前视频帧来创建内插视频帧的方法，所述方法包括下面的步骤：

从所述多个先前视频帧中的至少一个参考视频帧创建外插运动矢量组；

使用所述外插运动矢量和每个外插运动矢量的内容类型来执行自适应运动估计；

确定运动补偿内插模式；以及，

基于所述运动补偿内插模式确定，来创建运动补偿运动矢量组。

19、根据权利要求18所述的计算机可读介质，其中所述方法还包括平滑所述外插运动矢量组的步骤。

20、根据权利要求18所述的计算机可读介质，其中所述方法还包括基于所述运动补偿运动矢量组来创建所述内插帧的步骤。

21、根据权利要求18所述的计算机可读介质，其中所述至少一个参考视频帧包括多个运动对象，每个运动对象与相应前向运动矢量相关联，且其中为每个运动对象创建所述外插运动矢量组的步骤包括下面的步骤：

创建反转的运动矢量；以及，

定标所述反转的运动矢量。

22、根据权利要求21所述的计算机可读介质，其中创建所述反转的运动矢量的步骤包括反转所述相应前向矢量的步骤。

23、根据权利要求21所述的计算机可读介质，其中所述创建所述反转的运动矢量的步骤包括下面的步骤：

基于所述一系列运动矢量来确定运动轨迹；以及，

24、根据权利要求21所述的计算机可读介质，其中所述反转的运动矢量基于所述至少一个参考帧的时间索引来定标。

25、根据权利要求21所述的计算机可读介质，其中对所述反转的运动矢量的定标的步骤包括下面的步骤：

定标所述反转的运动矢量和所述运动加速度的量；以及，

结合所述反转的运动矢量和所述运动加速度的量。

26、根据权利要求18所述的计算机可读介质，其中执行所述运动补偿内插模式确定的步骤包括下面的步骤：

确定描述对象的真正运动轨迹的至少一个运动矢量；以及，

执行运动补偿内插。

27、根据权利要求26所述的计算机可读介质，其中所述至少一个运动矢量包括前向运动矢量和后向运动矢量，并且执行所述运动补偿内插的步骤包括使用所述前向运动矢量和所述后向运动矢量来执行双向运动补偿内插的步骤。

28、根据权利要求26所述的计算机可读介质，其中执行所述运动补偿内插的步骤包括执行单向运动补偿内插的步骤。

29、根据权利要求26所述的计算机可读介质，其中所述至少一个运动矢量包括前向运动矢量，且使用所述前向运动矢量来执行所述单向运动补偿内插。

30、根据权利要求26所述的计算机可读介质，其中所述至少一个运动矢量包括后向运动矢量，且使用所述后向运动矢量来执行所述单向运动补偿内插。

31、一种视频帧处理器，用于使用当前视频帧和多个先前视频帧来创建内插视频帧，所述处理器包括：

用于从所述多个先前视频帧中的至少一个参考视频帧创建外插运动矢量组的装置；

用于使用所述外插运动矢量和每个外插运动矢量的内容类型来执行自适应运动估计的装置；

用于确定运动补偿内插模式的装置；以及，

用于基于所述运动补偿内插模式确定来创建运动补偿运动矢量组的装置。

32、根据权利要求31所述的视频帧处理器，还包括用于平滑所述外插运动矢量组的装置。

33、根据权利要求31所述的视频帧处理器，还包括用于基于所述运动补偿运动矢量组来创建所述内插帧的装置。

34、根据权利要求31所述的视频帧处理器，其中所述至少一个参考视频帧包括多个运动对象，每个运动对象与相应前向运动矢量相关联，且其中用于为每个运动对象创建所述外插运动矢量组的装置包括：

用于创建反转的运动矢量的装置；以及，

用于定标所述反转的运动矢量的装置。

35、根据权利要求34所述的视频帧处理器，其中用于创建所述反转的运动矢量的装置包括用于反转所述相应前向矢量的装置。

36、根据权利要求34所述的视频帧处理器，其中用于创建所述反转的运动矢量的装置包括：

用于追踪与所述运动对象相关的所述多个视频帧中的一系列运动矢量的装置；

用于基于所述一系列运动矢量来确定运动轨迹的装置；以及，

用于计算所述反转的运动矢量的轨迹以使其位于所确定的运动轨迹上的装置。

37、根据权利要求34所述的视频帧处理器，其中所述反转的运动矢量基于所述至少一个参考帧的时间索引来定标。

38、根据权利要求34所述的视频帧处理器，其中用于对所述反转的运动矢量定标的装置包括：

用于通过计算当前视频帧前向运动矢量和所述反转的运动矢量之间的差异来确定运动加速度量的装置；

用于定标所述反转的运动矢量和所述运动加速度量的装置；以及，

用于结合所述反转的运动矢量和所述运动加速度量的装置。

39、根据权利要求31所述的视频帧处理器，其中用于执行运动补偿内插模式确定的装置包括：

用于确定描述对象真正运动轨迹的至少一个运动矢量的装置；以及，

用于执行运动补偿内插的装置。

40、根据权利要求39所述的视频帧处理器，其中所述至少一个运动矢量包括前向运动矢量和后向运动矢量，并且用于执行运动补偿内插的装置包括用于使用所述前向运动矢量和所述后向运动矢量来执行双向运动补偿内插的装置。

41、根据权利要求39所述的视频帧处理器，其中用于执行所述运动补偿内插的装置包括用于执行单向运动补偿内插的装置。

42、根据权利要求39所述的视频帧处理器，其中所述至少一个运动矢量包括前向运动矢量，且使用所述前向运动矢量来执行所述单向运动补偿内插。

43、根据权利要求39所述的视频帧处理器，其中所述至少一个运动矢量包括后向运动矢量，且使用所述后向运动矢量来执行所述单向运动补偿内插。