CN102939747A - 用于运动补偿的视频内插的方法和装置 - Google Patents

Abstract

提供了用于运动补偿的视频内插的方法和装置。视频图像系列中的每个场或帧被再分成多个块，且运动矢量场使用用于当前视频场的块匹配而获得，所述当前视频场使用与之前视频场或帧匹配的数据。第一时间实例被确定为处于对内插块进行显示的位置处，以及第二时间实例被确定为处于相应的内插块将被创建的位置处。针对每个块的视频数据在用于每个块的第二时间实例处被内插，且之后被输出以用于在第一时间实例处被显示。

Description

用于运动补偿的视频内插的方法和装置

技术领域

本发明涉及视频帧内插系统，并尤其涉及与降低运动补偿的帧内插中的伪像可视性相关联的方法和装置。

背景技术

视频序列通常包含视频数据的一系列非交织帧（non interlaced frame）或视频数据的一系列交织场（interlaced field）。交织序列由在显示器的交替行上携带数据的场产生，以便第一场将携带交替行的数据，第二场将携带缺失行的数据。因此将这些场在时间和空间上被隔开。序列中的每个交替场都将携带同一空间位置处的数据。一对交织场可以被称为帧，而非交织场也可以被称为帧。本发明的实施方式将就非交织系统进行描述，但是本发明可以等价地应用于处理交织或非交织视频数据的系统。

视频序列中的运动的识别是众所周知的，且产生用于描述一个帧与另一个帧之间的运动的每个像素或像素组的运动矢量。众所周知的基于块匹配技术的运动估计方法将用于说明本发明，虽然其他类型的运动估计器将是等价适用的。基于块的运动估计方法通常考虑来自视频序列的两个连续的帧，并把它们再分成称为块或宏块的多个区域。在运动搜索过程中，每个块与来自先前帧中的各种候选位置的像素数据进行比较。最佳匹配的相对位置给出了描述那个块位置处的情景中的运动的矢量。共同地，帧中每个块位置处的运动矢量组被称为针对那个帧的运动矢量场（motion vector field）。注意，术语“矢量场”的使用不能与用于描述交织视频序列中的数据的“场”或“视频场”的使用混淆。

图1示出了块匹配运动估计器的典型示例。在包括图1在内的所有附图中，用位于块的中心的对应于矢量的箭头的头来示出运动矢量。帧被分成了块，并且之前帧中的对象101已经移动到当前帧中的位置102。该对象的之前位置被示为叠加在当前帧上，并用103表示。针对块而非针对对象执行运动估计，其中当前帧中的像素块与之前帧中的块大小的像素区域相匹配，其不必是块对准的。例如，块104被移动的对象102部分覆盖，并具有如105处所示的内容。如果执行得好的话，针对块104的运动估计将发现之前帧中的像素数据区域106，也能看到该像素数据区域106包含105中所示的像素，也就是好的匹配已经被找到。通过被叠加回当前帧上，匹配的像素数据区域位于107处。因此，与块104相关联的运动矢量由箭头108示出。

许多基于块的运动估计通过用绝对差和（SAD）或平均平方差（MSD）之类的方法对运动矢量候选集进行测试来选择它们的输出运动矢量，以识别给出最低误差块匹配的运动矢量。图2示出了针对当前帧中的块201的候选评估过程，其中块201具有在211中所示的像素内容。在该简单的示例性系统中，考虑了三个运动矢量候选206、207和208，这三个运动矢量候选对应于之前帧中的位置202、203和204处的候选像素数据区域。这些像素数据区域的像素内容分别如212、213和214中所见。显然，位置202处的像素数据提供了针对块201的最佳匹配，因此应该被选为最佳匹配/最低差别候选。通过叠加回当前帧上，匹配的像素数据区域位于205处，并且相关联的运动矢量是206。

不同的系统具有不同的运动估计需求。在视频编码器中，该需求将通过参考序列中的先前帧形成帧的最紧凑表示。该需求通常是找到给出最低误差块匹配的运动矢量，并且当获得的运动矢量通常是情景中的对象的真实运动的表示时，没有需求，这种情况总是存在的。在其他应用中，诸如反交织（de-interlacing）或帧率转换，即使视频中的其他失真意味着块匹配并不总是给出最低误差，运动矢量表示情景的真实运动仍然是更加重要的。通过在运动搜索期间将合适的约束应用到候选运动矢量，结果能够在需要时被指引向“最低误差”或“真实运动”。

帧率转换系统也是众所周知的。在这种系统中，输入帧率下的输入场或帧的序列被改变成不同的输出帧率。通常，这通过重复和/或减小帧直到实现期望的输出帧率而完成。产生更平滑的输出运动的可替换的方法称为运动补偿的帧内插。在运动补偿的帧内插系统中，运动估计被用于确定表示场景中的对象的真实运动的运动矢量，而且这些运动矢量用于创建额外帧，在所述额外帧中，运动中的对象被表示在正确的中间位置处。相对于输入序列的原始帧，我们将帧的时间位置描述为帧的时间实例（time instance）。对于帧率加倍的应用，其中在t=-1和t=0的两个输入帧之间的时间中点处需要内插帧，则内插帧的时间实例是处于t=-0.5处。

运动补偿的帧内插系统需要在两个输入帧之间创建中间帧。必须在其处输出每个内插帧的时间位置从输入和输出帧率中获得，而且被称为帧的“理想时间实例”。在传统运动补偿的帧内插系统中，使用理想时间实例来创建每个内插帧，以确定场景中对象的中间位置。

帧率转换系统的框图如图15所示。该系统包括视频输入1501，该视频输入1501去向存储器1502和运动估计单元1503，其中，存储器1502用于储存输入帧历史，而运动估计单元1503用于通过将来自视频输入1501的当前输入帧与来自存储器1502的先前帧进行比较来执行运动估计。运动矢量被发送到内插单元1504，该内插单元1504根据输入帧构建内插帧并提供视频输出1507。已知运动矢量允许内插单元1504放置像素以便内插帧中的对象根据他们运动的轨迹出现在合适的位置中。时间控制单元1505为内插输出帧计算理想时间实例。图像分析单元1506也可以对输入帧数据进行分析，以检测诸如场景改变和交替渐变之类的事件，已知在这些事件中运动估计难以进行。在这些情况中，优选将理想时间实例设置成t=-1，从而重复原始输入帧。

图3示出了示例性的帧率转换系统，在该系统中，使用三个输入帧来创建具有加倍的输出帧数量的输出序列。可以看出，输出1是被提供为输入1的帧的直接复制。输出2必须被创建在输入1时间实例与输入2时间实例之间的时间中点处。可以看出，输出3是被提供为输入2的帧的直接复制。输出4必须被创建在输入2时间实例与输入3时间实例之间的时间中点处。可以看出，输出5是被提供为输入3的帧的直接复制。

图4示出了示例性的帧率转换系统，在该系统中，使用三个输入帧来创建具有2.5倍输出帧数量的输出序列。可以看出，输出1是被提供为输入1的帧的直接复制。输出2必须被创建在输入1与输入2之间的时间实例2/5处。输出3必须被创建在输入1与输入2之间的时间实例4/5处。输入2在输出序列中没有示出。输出4必须被创建在输入2与输入3之间的时间实例1/5处。输出5必须被创建在输入2与输入3之间的时间实例3/5处。可以看出，输出6是被提供为输入3的帧的直接复制。

存在着用于在内插输出帧中创建每个像素块的各种方案。在运动估计已经识别了输入帧中的像素数据的区域之间的完美匹配的情况中，内插可以和将来自其中一个输入帧的像素复制到由运动矢量所确定的内插帧中的位置以及该内插帧的时间实例那样简单。在由运动估计所识别的匹配不完美的情况中，有必要根据来自输入帧的像素数据的一些组合来生成内插输出帧中的像素块。恰当方法的详细描述超出了本发明的范围，但是本领域的技术人员应该理解。适用于说明本发明的概念的简单方法是在来自两个邻近输入帧的运动补偿的像素数据之间使用加权混合。

图5示出了加权混合内插系统。内插像素区域中的每个像素值可以被认为是来自邻近输入帧中的运动补偿的位置处的像素数据区域中的相应位置的像素值之间的内插。在图5中，需要来自之前输入帧的黑像素（A）与来自当前输入帧的白像素（B）之间的内插。输入帧之间的中间时间实例处的内插像素能够通过黑像素与白像素之间的适当加权混合进行创建。适当的加权函数将使用与输入帧的时间实例相关的内插帧的分数时间实例。例如，如果内插帧的时间实例位于之前输入帧（包含像素A）与当前输入帧（包含像素B）之间的时间距离的四分之一处，则内插像素应当使用来自像素A的75%的贡献和来自像素B的25%的贡献，即像素A和像素B之间3/4:1/4混合。如果内插像素在两个帧之间的中点处被创建，则将使用来自每个像素的相等的贡献，即像素A和像素B之间1/2:1/2混合。

由运动补偿的帧内插产生的内插帧的质量极大地依赖于运动估计器的性能。在运动估计器执行地比较差并产生非真实矢量的情况中，使用这些差矢量的内插产生伪像。差的运动矢量可以源自复杂或不规则的运动、输入帧之间被遮盖/揭露的对象、混叠、或者被缩放或旋转的对象，以致于不能由从屏幕的一个区域到另一区域的简单的像素平移来对其进行描述。

图6示出了传统运动补偿的帧内插系统，其创建双倍输入帧率的输出帧。在该示例中，之前输入帧的时间实例是t=-1，而当前输入帧的时间实例是t=0，即100%的输入帧时间间隔。描述在该间隔期间从位置601至位置602的对象的运动的运动矢量被示为603。清晰起见，已经省略了运动矢量场中的其他矢量。由于内插帧必须被输出在输入帧时间实例位置之间的中间的时间实例处，即位于50%的输入帧时间间隔处，所以理想时间实例为t=-0.5，而且在那个时间实例处对象的位置可以被内插在沿着运动矢量的中间位置处，即604处。被要求表示块大小的像素区域614中的对象的像素数据通过在块大小的像素区域611（内容被示为611-A）与像素块612（内容被示为612-A）之间进行内插来创建。611-A与612-A之间由理想时间实例确定的50%的混合结果被示为614-A。当用于描述输入帧间隔上对象的运动的运动矢量精确地描述了对象的真实运动时，该方法很好地工作。所得到的对象通过用之前输入帧中它们的位置之间的线性位置而被平滑地内插到当前输入帧中它们的位置中。

图7示出了传统运动补偿的帧内插系统，其在运动估计执行差的情况中创建双倍输入帧率的输出帧。在该示例中，之前输入帧的时间实例是t=-1，而当前输入帧的时间实例是t=0。用于描述在该间隔期间从位置701至位置702的对象的真实运动的运动矢量（出于一些原因而）不能被运动估计器精确地确定。替代真实运动矢量，运动估计器引入被示为703和704的非真实运动矢量。再次地，清晰起见，已经省略了运动矢量场中的其他矢量。由于内插帧必须被输出在输入帧之间的中间的时间实例处，所以理想时间实例是t=-0.5。因此，对象将被内插在沿着运动矢量703和704的中间的位置处。通过沿着运动矢量703的内插，块大小的像素区域715通过在块大小的像素区域711（包含如711-A中所示的对象像素）与像素块722（包含如722-A中所示的背景像素）之间进行内插来创建。块大小的像素区域711-A与722-A之间的50%混合的结果被示为715-A，为对象和背景像素之间的1/2:1/2混合。通过沿着运动矢量704的内插，块大小的像素区域716通过在块大小的像素区域721（包含如721-A中所示的背景像素）与像素块712（包含如712-A中所示的对象像素）之间进行内插来创建。块大小的像素区域721-A与712-A之间的50%混合的结果被示为716-A，为对象和背景像素之间的1/2:1/2混合。内插帧现在包括原始对象的两个内插版本，这两个内插版本中输入帧中的对象的不透明度不同且位于错误的位置中。使用非真实运动矢量的内插因此导致了内插帧中明显可见的伪像。

图8示出了如何使用运动补偿的帧内插在两个输入帧之间的中点之外的时间实例处生成一对输入帧之间的两个中间帧。这适用于诸如2.5倍帧率转换的应用。之前帧中的对象801已经移动到当前帧中的位置811。之前的对象位置叠加在内插帧上，如821和831所示，以及对象的当前位置叠加在内插帧上，如824和834所示。运动估计执行地很好，而且用于描述输入帧之间对象的运动的运动矢量被示为826和836。为了增加帧率，有必要在之前输入帧的时间实例与当前输入帧的时间实例之间的分数点处创建内插帧。在2.5倍帧率转换中被示为具有第一跨度的示例中，有必要在时间实例跨度的2/5和4/5（即t=-0.6和t=-0.2）处创建内插帧。假设对象位置的线性内插，则可以期望在第一内插帧中，对象将在输入帧之间的2/5时间实例处沿着由运动矢量826所限定的路径移动2/5的距离。第一内插帧中位置823处的内插后的块大小的像素区域因此能够通过块大小的像素区域802与块812中的像素之间的内插来创建，所得到的混合中的3/5来自之前输入帧而2/5来自当前输入帧。类似地，假设对象位置的线性内插，则可以期望在第二内插帧中，对象将在输入帧之间的4/5时间实例处沿着由运动矢量836所限定的路径移动4/5的距离。第二内插帧中位置833处的内插后的块大小的像素区域因此能够通过块大小的像素区域802与块812中的像素之间的内插来创建，所得到的混合中的1/5来自之前输入帧而4/5来自当前输入帧。

为了改进运动补偿的内插系统的视觉质量，希望将出现在差运动估计区域中的伪像的可视性最小化。

发明内容

本发明的优选实施方式提供了与通过改变在创建内插帧时使用的、与在其处显示该内插帧的时间位置有关的时间位置来降低运动补偿的帧内插中的伪像的可视性相关联的方法和装置。

附图说明

现在将通过参考附图详细描述本发明的优选实施方式，其中：

图1示出了典型的现有技术块匹配运动估计器；

图2示出了现有技术候选矢量之间的比较；

图3示出了2倍帧率转换的所需内插时间实例；

图4示出了2.5倍帧率转换的所需内插时间实例；

图5示出了在源像素之间使用加权混合的示例性现有技术像素内插系统；

图6示出了使用真实运动矢量用于2倍帧率转换的现有技术对象内插；

图7示出了使用非真实运动矢量用于2倍帧率转换的现有技术对象内插；

图8示出了使用真实运动矢量用于2.5倍帧率转换的现有技术对象内插；

图9示出了针对具有操作缩放因子为1/2的2倍帧率转换所需内插时间实例和操作时间实例；

图10示出了针对采用各种时间实例移位方法的、具有1/2操作缩放因子的4倍帧率转换所需内插时间实例和操作时间实例；

图11示出了使用非真实运动矢量的2倍帧率转换的对象内插，其中应用了变化的时间内插方法；

图12示出了在应用变化的时间内插方法之前和之后帧内插伪像的比较；

图13示出了示例性的基于运动估计器的性能的操作缩放因子的确定；

图14示出了示例性的基于运动估计器的性能的操作缩放因子以及箝位（clamping）缩放因子的确定；

图15是传统运动补偿的帧率转换系统的框图；

图16是被修改以包括变化的时间内插的运动补偿的帧率转换系统的框图。

具体实施方式

本发明的实施方式提供了运动补偿的帧内插系统的修改，其能够减小内插帧中伪像的可视性。在传统的运动补偿的帧内插系统中，理想时间实例（在该理想时间实例处，在序列中输出输出帧）用于确定内插场景中的对象的位置。提出虽然内插帧应当在时间实例处（在此处需要（“理想时间”））仍旧被输出，但是可以使用第二“操作时间实例”来帮助屏幕中对象的位置的计算。通常，操作时间实例可以被定义为由“操作缩放因子”修改的理想时间实例。这带来在其处帧被内插成更接近于输入帧的时间实例。这应该降低任何不稳定的运动矢量的影响并提供具有较少伪像的输出，其中该较少伪像之后可以在理想时间使用。

图9示出了示例性的帧率转换系统，在该系统中，使用三个输入帧来创建输出序列，其中输出帧率是输入帧率的两倍。可以看出，输出1是被提供为输入1的帧的直接复制。输出2必须在理想时间实例t=-0.5处被输出，其中理想时间实例t=-0.5是输入1时间实例与输入2时间实例之间的中间位置。然而，针对输出2的内插的操作时间实例由0.5的操作缩放因子从理想时间实例缩放回去。如果我们采用了例如通过将理想时间实例乘以操作缩放因子来确定操作时间实例的缩放函数，则这产生了被内插的输出帧，如同其处于输入1时间实例与输入2时间实例之间的路径的四分之一的时间实例处。用于输出2的操作时间实例因此是t=-0.75。可以看出，输出3是被提供为输入2的帧的直接复制。输出4必须在理想时间实例t=-0.5处被输出，其中理想时间实例t=-0.5是输入2时间实例与输入3时间实例之间的中间位置。针对输出4的内插的操作时间实例由0.5的操作缩放因子从理想时间实例缩放回去。这产生被内插的输出帧，如同其位于输入2时间实例与输入3时间实例之间的路径的四分之一的时间实例处。用于输出4的操作时间实例因此是t=0.25。可以看出，输出5是被提供为输入3的帧的直接复制。

在上面的示例中，操作缩放因子总是用于将操作时间实例向着之前输入帧的时间实例移位。还能够应用所述方法将操作时间实例向着当前输入帧的时间实例移位或者将操作时间实例向着最接近的输入帧的时间实例移位。

图10示出了如何通过使用各种时间实例移位方法来使用0.5的操作缩放因子将操作时间实例向着输入帧的时间实例移位。所示出的示例性帧率转换系统在两个输入帧（位于t=-1和t=0处）之间进行内插，以创建具有四倍的输出帧数量的输出序列。可以看出，第一和最后的输出帧分别是被提供为输入1和输入2的帧的复制，而且在输入帧时间实例处被显示。内插输出帧的理想时间实例位于t=-0.75、t=-0.5和t=-0.25处。通过采用0.5的操作缩放因子以及向着之前输入帧移位的时间实例，操作时间实例能够通过将理想时间实例乘以操作缩放因子来计算。这给出了顺序地位于时间位置t=-0.825、t=-0.75和t=-0.625处的操作时间实例。输入帧时间实例与内插帧时间实例之间的最大时间距离是输入帧周期的0.375，以及连续的操作时间实例之间的最大间隔是输入帧周期的0.625。

简单地计算为时间实例和操作缩放因子的乘积的替代，操作时间实例可以被计算以便操作时间实例向着为最接近于内插帧的理想时间实例的输入帧移位。可以看出，操作时间实例现在顺序地位于时间位置t=-0.875、t=-0.75和t=-0.125处。输入帧时间实例与内插帧时间实例之间的最大时间距离现在是输入帧周期的0.25，而连续的操作时间实例之间的最大间隔保持为输入帧周期的0.625。如我们将讨论的，输入帧时间实例与内插帧时间实例之间的减小的最大时间距离使得内插帧中的可视伪像更少。而且，通过保持连续的操作时间实例之间的相同间隔，不会影响输出视频序列的被感知的平滑性。

图11示出了之前在图7中所示的示例，其中，引入0.5的操作缩放因子来将操作时间实例向着之前的帧移位。在该示例中，之前输入帧的时间实例是t=-1，而当前输入帧的时间实例是t=0。用于描述在该间隔期间从位置1101至位置1102的对象的真实运动的运动矢量（出于一些原因而）不能被运动估计器精确地确定。替代真实运动矢量，运动估计器生成被示为1103和1104的非真实运动矢量。清晰起见，已经省略了运动矢量场中的其他矢量。对于内插帧而言，t=-0.5的理想时间实例和0.5的操作缩放因子使得操作时间实例上升到t=-0.75。为了在该操作时间实例处进行内插，对象必须在沿着运动矢量1103和1104的路径的四分之一位置处被内插。通过沿着运动矢量1103的内插，块大小的像素区域1115通过在块大小的像素区域1111（包含如1111-A中所示的对象像素）与像素块1122（包含如1122-A中所示的背景像素）之间进行内插来创建。1111-A与1122-A之间的混合结果被操作时间实例确定为使用来自之前输入帧的25%和来自当前输入帧的75%。该结果被示为1115-A，为对象和背景像素之间的3/4:1/4混合。通过沿着运动矢量1104的内插，块大小的像素区域1116通过在块大小的像素区域1121（包含如1121-A中所示的背景像素）与像素块1112（包含如1112-A中所示的对象像素）之间进行内插来创建。1121-A与1112-A之间的混合结果被操作时间实例确定为使用来自之前输入帧的75%和来自当前输入帧的25%。该结果被示为1116-A，为对象和背景像素之间的1/4:3/4混合。内插帧现在包括原始对象的两个内插版本，这两个内插版本中输入帧中的对象的不透明度不同且位于错误的位置中。使用非真实运动矢量的内插因此仍然导致了内插帧中的可见伪像。然而，在应用操作缩放因子之后出现的伪像明显比通过在理想时间实例处进行内插所引入的伪像要少。

通常，对操作时间实例进行移位使其更接近于输入帧的操作缩放因子的引入使得内插帧看起来更像其所移向的输入帧。在差运动估计发生的区域中，与在理想时间实例处进行内插相比，这通常是更好的替代，因为将提高输出图像的质量。

图12示出了使用传统的运动补偿的内插方法与本发明所描述的修改方法在伪像可视性中的差异。在该示例中，输出帧率是输入帧率的3倍，要求两个内插帧位于源帧之间的理想时间实例1/3和2/3的时间实例处。图12-A示出了输入帧。图12-B示出了完美结果，其中真实运动矢量用于将对象内插在理想时间实例处。

图12-C示出了使用错误的或非真实运动矢量将对象内插在理想时间实例处的可能结果。这些错误的/非真实运动矢量与图11中所示相同。这些运动矢量使得对象在错误位置中的多个内插上升。对象的内插从对象像素和背景像素之间的混合产生，如之前图7中所示具有由内插帧的理想时间实例确定的不透明。由于t=1/3的理想时间实例，内插帧#1左边的内插对象由对象像素和背景像素之间的2/3:1/3加权混合创建。由于t=1/3的理想时间实例，内插帧#1右边的内插对象由背景像素和对象像素之间的2/3:1/3加权混合创建。类似地，由于t=2/3的理想时间实例，内插帧#2左边的内插对象由对象像素和背景像素之间的1/3:2/3加权混合创建。由于t=2/3的理想时间实例，内插帧#2右边的内插对象由背景像素和对象像素之间的1/3:2/3加权混合创建。这些内插像素在它们的错误位置处具有相对高的可视性。

图12-D示出了在使用0.5的操作缩放因子将内插帧的操作时间实例向着最接近内插帧的理想时间实例的输入帧移位的系统中，改善的使用与图12-C所示的相同的非真实运动矢量的结果。根据t=1/3的理想时间实例计算的内插帧#1的操作时间实例因此是t=1/6，而根据t=2/3的理想时间实例计算的内插帧#2的操作时间实例因此是t=5/6。在该修改后的系统中，内插帧显示对象的混合内插，具有最接近源帧中对象的原始位置的混合内插更加明显的。相反地，离对象的原始位置最远的混合内插最不明显。由于1/6的操作时间实例内插帧#1左边的内插对象由对象像素和背景像素之间的5/6:1/6加权混合创建。类似地，内插帧#1右边的内插对象由背景像素和对象像素之间的5/6:1/6加权混合创建。内插帧#2使用1/6:5/6加权混合以相同的方式被创建。

虽然对象的两个混合内插在错误位置仍然是可见的，但是操作时间实例内插使得接近原始源帧对象的位置（并因此接近对象的真实运动路径）的内插对象具有增加的可视性，而使远离原始源帧对象的位置（并因此远离对象的真实运动路径）的内插对象的可视性降低。

在至此为止的示例中，操作缩放因子已经被明确提供为常量，该常量影响了所有的帧和等价地影响了帧的所有部分。虽然至此所描述的实施方式用于降低差运动估计器性能的区域中伪像的可见性，但是其也可能降低了运动估计器执行地很好的区域中内插视频的平滑度。实际上，内插视频的平滑度的明显改进仍然能够被观察到，而且通常能够找到内插性能与伪像减小之间的满意折中，即使是在采用恒定操作缩放因子的情况中。

对于性能的进一步改进，建议无论是全局还是局部帧中，操作缩放因子还可以由运动估计器的性能来确定。宽范围的度量可以用于确定运动估计器正在执行的如何好。例如，对于运动估计器性能的全局测量，我们可以对由运动估计器找到的具有最佳匹配的SAD值高于特定阈值的块的数量进行计数。本质上，如果运动估计器被认为执行地很好，则接近于1.0的操作缩放因子可以被使用。随着运动估计的质量的减小，可能由于复杂运动所致，则所产生的矢量场变得不太可靠，而且更低的操作缩放因子可以期望减小伪像的可见性。这种限制情况在0.0的操作缩放因子被应用且系统将重复输入帧以产生输出系列中的正确帧数时发生。该帧重复情况为非常差的运动估计提供了安全、无伪像状态，但是将丢失运动补偿的帧内插所提供的益处。所提出的用于执行从理想的运动补偿的帧内插向帧重复的平滑过渡的方案的能力是期望的特征。

图13示出了基于运动估计器的性能确定操作缩放因子的适当方法。在该示例中，被认为给出源帧像素之间的差匹配的矢量场中的矢量的比例用于为帧中的每个块生成单个操作缩放因子度量。在帧中0%的差矢量与帧中用户定义的阈值A%的差矢量之间，操作缩放因子被设置为1.0。在该区域中，运动估计器的性能被认为是好的，因此操作时间实例被应当被从理想时间矢量缩放回去。在从帧中第二用户定义的阈值B%的差矢量至帧中100%的差矢量的区域中，运动估计器的性能被认为是不可接受的，因此与使用运动补偿的内插帧相比，输出重复的帧是更安全的。这通过将操作缩放因子设置成0.0来实现。在帧中用户定义的阈值A%的差矢量与帧中B%的差矢量之间的区域中，运动估计器被认为是不可靠的，因此需要位于1.0与0.0之间的操作缩放因子。该简单的示例能够被容易地修改以使用例如可替换的运动估计性能度量、非线性斜坡函数、具有不同斜坡函数的多个阈值等。

在图13中，操作缩放因子在0.0与1.0之间改变。对该系统的有用修改是将恒定缩放因子制定为箝位值以用于上限和下限。图14示出了根据运动估计器的性能以及根据被明确定义的上限箝位缩放因子来确定操作缩放因子的方法的扩展。1401示出了用于基于运动估计器的性能来确定缩放因子的函数，如之前图13中所示的那样。1402示出了被明确定义的近似为0.5的上限箝位缩放因子。1403示出了作为两个缩放因子的乘积的最终的操作缩放因子函数。在帧中0%的差矢量与帧中用户定义的阈值A%的差矢量之间，操作缩放因子被设置成上限箝位缩放因子。在从帧中第二用户定义的阈值B%的差矢量至帧中100%的差矢量的区域中，运动估计器的性能被认为是不可接受的，因此与使用运动补偿的内插帧相比，输出重复的帧是更安全的。在帧中用户定义的阈值A%的差矢量与帧中B%的差矢量之间的区域中，运动估计器被认为是不可靠的，因此需要位于上限箝位缩放因子与下限箝位缩放因子之间的操作缩放因子。在该示例中将箝位缩放因子至函数的引入已经被用于将在内插中使用的操作时间实例向着输入帧时间实例移位，即该系统更保守且将具有更少的可视伪像。还期望应用下限箝位缩放因子以确保该系统总是将一定量的平滑引入输出帧中。

通常，操作缩放因子可以根据被明确定义的箝位缩放因子的组合以及从运动估计器的性能中导出。最终的操作缩放因子可以被选择作为两个值的最小/最大/平均值，或者可以通过算数函数进行计算。适当的算术函数可以包括但不局限于两个缩放因子的乘积或和。

根据本发明修改的帧率转换系统的框图如图16所示。该系统包括视频输入1601，该视频输入去向存储器1602和运动估计单元1603，其中，存储器1602用于储存输入帧历史，而运动估计单元1603用于通过将来自视频输入1601的当前输入帧与来自存储器1602的先前帧进行比较来执行运动估计。运动矢量被发送到内插单元1604，该内插单元根据输入帧构建内插帧并提供视频输出1607。理想时间控制单元1605为内插输出帧计算理想时间实例。图像和误差分析单元1606可以监控在操作缩放因子计算中使用的运动估计器的性能，以在逐块的基础上或整个图像的基础上确定其执行地怎么样。依赖于运动估计的输出被提供给操作缩放因子计算1608。这使用接收到的信号来确定操作缩放因子，该操作缩放因子之后被操作时间实例控制单元1609用于提供由内插单元1604所使用的调整后内插时间。单元1608可以确定处于箝位上限值与下限值之间的操作缩放因子。

Claims (19)

1.一种用于运动补偿的视频内插的方法，该方法包括以下步骤：

a）将视频图像序列的每个场或帧再分成多个块；

b）针对当前视频场或帧中的每个块，确定产生与先前视频场或帧中的像素数据区域的最佳匹配的运动矢量；

c）通过使用如此确定的针对每个块的最佳匹配矢量来形成针对当前视频场或帧的运动矢量场；

d）确定第一时间实例，在该第一时间实例处必须显示视频场或帧中的内插块；

e）确定第二时间实例，在该第二时间实例处将创建相应内插块；

f）使用所述运动矢量场针对所述图像的每个块在所述每个块各自的第二时间实例处内插视频数据；

g）将在各自的第二时间实例处被内插的内插块组合成用于输出的帧或场；

h）输出内插帧或场以用于存储或在所述第一时间实例处进行显示。

2.根据权利要求1所述的方法，其中内插场或帧中的所有块使用相同的第二时间实例。

3.根据权利要求1所述的方法，其中用于内插场或帧中的每个块的所述第二时间实例被单独地确定。

4.根据前述权利要求中任一项权利要求所述的方法，其中所述第二时间实例通过将缩放因子应用于所述第一时间实例进行确定。

5.根据权利要求4所述的方法，其中所述缩放因子依赖于运动估计器的性能。

6.根据权利要求4所述的方法，其中所述缩放因子被导出位于上限箝位缩放因子与下限箝位缩放因子之间。

7.根据权利要求5或6所述的方法，其中操作缩放因子从由所述运动估计器的性能确定的所述缩放因子和被提供的箝位缩放因子值两者中导出。

8.根据权利要求7所述的方法，其中所述缩放因子是依赖于所述运动估计器的性能的所述缩放因子与被提供的上限和/或下限箝位缩放因子值的算术函数。

9.根据权利要求8所述的方法，其中所述算术函数是所述缩放因子的乘积。

10.根据权利要求8所述的方法，其中所述算术函数是所述缩放因子的平均值。

11.根据权利要求1至10所述的方法，其中所述内插场或帧的所述第二时间实例被向着之前输入的场或帧的时间实例进行时间移位。

12.根据权利要求1至10所述的方法，其中所述内插场或帧的所述第二时间实例被向着当前输入的场或帧的时间实例进行移位。

13.根据权利要求1至10所述的方法，其中所述内插场或帧的所述第二时间实例被向着最接近于所述内插场或帧的第一时间实例的输入的场或帧进行移位。

14.一种用于运动补偿的视频内插的装置，该装置包括：

用于将视频图像序列的每个场或帧再分成多个块的设备；

用于针对当前视频场或帧中的每个块确定产生与先前视频场或帧中的像素数据区域的最佳匹配的运动矢量的设备；

用于通过使用如此确定的针对每个块的最佳匹配矢量来形成针对当前视频场或帧的运动矢量场的设备；

用于确定第一时间实例的设备，在该第一时间实例处必须显示视频场或帧的内插块；

用于确定第二时间实例的设备，在该第二时间实例处将创建相应内插块；

用于使用所述运动矢量场针对图像的每个块在所述每个块各自的第二时间实例处内插视频数据的设备；

用于将在各自的第二时间实例处内插的内插块组合成用于输出的帧或场的设备；

用于输出内插帧或场以用于存储或在所述第一时间实例处进行显示的设备。

15.根据权利要求1所述的装置，其中每个块使用相同的第二时间实例。

16.根据权利要求14所述的装置，其中用于内插场或帧中的每个块的第二时间实例独立于所述场或帧中的其他块而被确定。

17.根据权利要求14至16中任一项权利要求所述的装置，其中所述第二时间实例通过将缩放因子应用于所述第一时间实例来确定。

18.根据权利要求17所述的装置，该装置包括用于确定运动估计误差的设备和用于依赖于如此确定的误差来确定所述缩放因子的设备。

19.根据权利要求17所述的装置，其中所述用于获得所述缩放因子的装置获得位于上限箝位缩放因子值与下限箝位缩放因子值之间的缩放因子。

Images