CN1079350A - 视频图象处理 - Google Patents

Abstract

在视频图象运动补偿方法中，利用如在图象对之 间的相位相关技术求出多个运动矢量。为了产生能 够用于基本上确定在一个输入图象中的全部运动的 一组运动矢量，从比较在前的和随后的图象中求出矢 量组，然后将它们进行组合，以产生用于分配给一个 输入图象的一组矢量。一旦求出矢量组，就将它们分 配给输入图象，从输入图象可将它们投影以产生一个 期望的输出图象。矢量被分配给图象的各个元素区 域，而且确定的元素区域拥有分配给它们的两个(或 更多个)的矢量。

Description

本发明涉及视频图象处理，特别是关于运动矢量的求出和分配，这些运动矢量表示出对一幅视频图象不同区域的电流运动的方向和幅度，以便有助于产生期望的输出图象。

我们的英国专利No.GB-B-2188510描述了一种产生运动矢量表的方法，该运动矢量适用于一幅视频图象整个区域，并给该图象的每个区域分配在表内的一个合适的运动矢量。其它的方法也能用来产生这种运动矢量表。该矢量适用的区域可以如一个图象元素（象素）那么小，也可以包含很多象素，即一组图象。

当希望产生与两个输入场的中间时间的瞬间相对应的输出视频场时，这种运动矢量是特别有用的。在视频图象与电影胶片的相互转换，在制式转换或在产生慢运动效果的视频图象处理系统中，这种输出场都是必须的。

在所有这些应用中，都希望产生一个轮廓清晰的、流畅的运动图象。在慢运动产生的情况下，如果使用该项技术，例如，一个装有快门的CCD摄象机，就能获得近似于一个高帧频摄象机所得到的质量的图象。用于产生运动矢量表以及随后将它们指定给单个图象元素的一种可能的技术已经在我们的国际专利申请No.WO-A-9205662以及在我们的国际专利申请No.PCT/GB91/01622中提出，该项技术称为四场算法，并利用四个输出场的总和分配一个输出矢量场。已证明，对于一定类型的运动，特别是旋转运动，这种系统并不是总能产生满意的效果的。

另一种现有技术的系统在英国专利申请No.GB-A-2231743中描述。其中，利用标为F₁和F₂的一对场之间的数据块匹配技术导出一个实验矢量表。然后这个矢量表或矢量菜单加到F₁到F₄的整整三个场间隔中，以便在一个期望的输出矢量场的瞬间产生一个矢量场。这项技术也有问题，这是因为在输出矢量场分配矢量，不必考虑该矢量所表示的一个物体是否出现在这两个相邻场，因此，输出场中就可能产生误差。而且，当利用下一个间隔（F₂到F₃）时，就不得不对F₂导出一组新矢量并随后进行分配。这就要导致附加计算并增加复杂性。

我们已经知道，对于三个视频图象的序列来说，在输出场中产生的任何物体可以在先前的输入视频场或者在随后的输入视频场出现。因此，产生一个中间输出场所需要的全部信息都出现在这三个场中。因此，在产生输出场时，确保正确地分配矢量的唯一方法是在产生输出场之前，明确地将矢量分配到输入场。用于产生必要的矢量菜单以及在输出场求出之前将它们分配到输入场的两项技术在本申请中进行了描述。它们涉及到三场算法和两场算法，这是由于它们的操作方法而决定的。

本发明是由应参考的附加的权利要求书所限定。

现在，将通过参考附图通过举例的方法详细描述本发明，在附图中：

图1是表示利用三场算法求出对应表面的图;

图2是表示四个连续场序列之间的前景和背景的运动图;

图3是表示一种矢量分配方法的图;

图4是表示利用两场算法求出对应表面的图;

图5是表示用于图4中产生的矢量菜单的矢量分配图;

图6是产生图1对应表面的电路框图;

图7是产生图4的对应表面的电路框图;

涉及上述的三场矢量分配方法将首先进行描述。

三场矢量分配方法参考图1进行描述，图1表示出三个时间的位移场，即在t₀，t₁和t₂三个时刻的场f₀，f₁和f₂。

利用我们的英国专利No.GB-B-2188510中陈述的一种方法，基于相位相关方法的快速搏里叶变换，导出相位相关表面P₁以代表确定场f₀和f₁之间差的矢量场。导出第二相关表面P₂以代表场f₁和f₂之间的差。导出这些相关表面作为输入场F₀，F₁和F₂的多个信息组中的每个信息组。典型地，输入图象分成108个信息组，这些信息组安排成在相位相关之前的12组中的9排。其它的排列虽然是可能的。相位相关是在两个连续的顺序场f₀和f₁的相同组中进行的。

在f₀，f₁和f₂中的相应数据组已求出相关表面P₁和P₂之后，通过在加法器2中将它们相加而将它们瞬时滤波。这样就产生一个相关表面PT它可用于将矢量分配到输入场f₁。该表面PT包括在的有三场中出现的物体以及仅在f₀和f₁或f₁和f₂中出现的有关物体的信息。因此，它能够将一个矢量分配给f₁中的每一个图象区域。

通过定位相关表面中的峰值的探测，在给f₁分配矢量之前就从PT中求出矢量菜单。例如，选择在一个预置阈值之上多达五个峰值的一个表面形成一个实验矢量的菜单，用于从新求出的表面对f₁中的信息组的图象区域进行分配。

在实验矢量的菜单分配到f₁之前，要对扫调（pan）和变焦距分量进行分析并进行适当的调节。进行这些调节的技术在我们的英国专利申请No.9206396.5中进行了描述。

因此，求出的这个矢量菜单应该含有一个仅仅描述f₁中的每个象素在f₀和f₁以及f₁和f₂之间运动的矢量。

产生分配给f₁的象素的矢量是分配的目的，通过将那个象素的数据投影到输出场的时间位置，就可利用f₁帮助求出在f₀和f₁，或者f₁和f₂之间的一个输出场。分配这些矢量的一种方法在我们的国际专利申请No.WO-A-9205662中进行了描述。其中，根据实验矢量表中的那个矢量将一个矢量分配给f₁中的一个象素，该实验矢量表给出了在把具有那个矢量的象素投影到f₂和f₀上的求解过程中的最小总误差（匹配误差）。当前景物体移动，因而显露或遮盖两场间图象背景部分时，这种分配的问题就产生了。处理这些问题的一些建议已经在我们的国际专利申请No.WO-A-9205662中中提出，这份国际专利申请是关于四场算法的，它们的变型可以用于利用三场算法求出的矢量分配。

在前景物体运动于背景物体前面的景色中，假设前景物体遮盖了背景。前景物体的运动连续地复盖和显露背景。在一个三场序列中，在中心场可看到的每件事物都应该在前一场，下一场或者这两场中看到。这种情况示于图2。该规则的例外是窗口效应，该窗口效应是由前景中的一个孔所产生的，该孔显示在每一场都完全不同的某些景象。

利用三场算法产生一个实验矢量表并利用这些矢量按照以下方法之一就能够对图象的每个元素进行分配：

a）前景物体;在中心场期间低匹配误差;

b）遮盖背景;若分配场1，则在前一场期间低匹配误差;

c）暴露的背景;如果分配场2，则在下一场期间低匹配误差;

d）丢失的矢量/窗口问题;没有好的匹配。

三场分配产生与输入场共时的矢量场和状态场。如果一个输入定时矢量场可用于两个连续输入场，则中间输出场的产生就是一个逻辑问题。当然，如果一个矢量从菜单丢失了，则图象的一个区域就肯定要利用一个后退模式予产生而且不进行运动补偿。

多矢量分配：

按照这种分配方法，该矢量选择过程扩展到允许对于在显露的和遮盖的背景区域中的每个输出象素产生的多达两个矢量，这就使得用于在前景和背景物体间接合处的图象插入的矢量之间能够软转换。例如，对于作为显露的背景所分配的每个象素（即在最后两场间发生的最低加权分配误差），在最先两场上给出最小分配误差的矢量也就被确定了。然后，输出图象就从分配的显露背景矢量（标为所需的输出时间）移动的随后场和通过该二次矢量移动的在先场的成分（contribution）。这两个成分的相对比例可以按如下方法确定：计算将被插入的每个象素的控制信号，确定从随后场中取出的输出图象部分。对于在前景区域中的全部样值来说，这是一个等于图2所示的δt的常数，这是一个时间内插滤波器的常规操作模式。在标为显露的背景区域中，控制信号被置于1，这是由于所有信息应取自如前所述的并示于图3区域e的随后场中。然而该控制信号经过一个低通空间滤波器，因此，它在显露的背景区域内，将不再等于1。

包括输出场的图象元素则可以以减少强反差边缘的方法而被融合在一起。在一个最初的源图象中，在越过物体间的一个窄边界上混合在一起。该边界是由分辨率描述的。

对于大多数输出图象而言，图象元素将出现在当前输出场位置之前的那一帧和其后的那一帧。利用的两个输入图象加权的和可以产生输出图象。来自每个输入变量中的成分是称为assn-ff的图象尺寸阵列。

当使用遮盖的或显露的背景时，输出只从一帧中产生。在产生输出时，在一场和两场图象形成之间产生图象转换。这种转换发生两次，一次是在一场的背景与两场的背景之间，而另一次是在使用一场的背景和从两场产生前景之间。

分配矢量的两个图象尺寸在矢量分配期间（称为assn-V₁和assn-2）产生。第一矢量场对应于紧挨着输出图象时间之前的那场。每个矢量场都是从一个不同的菜单中求出的，该菜单是利用三场算法给那个场求出的。当在中心周期中发现一个最小匹配误差时，则给两个矢量场相同的值，而且使assn-ff等于场1和TO（输出场时间）之间的距离（dist）。输出图象作为一个加权的两场平均值被计算，这依赖于asssn-ff。

Aout＝A1×（1-assn-ff）+A2assn-ff

assn-ff＝dist（距离），如果最佳匹配是处于在先的场间周期内。

当最佳匹配是处于在先的场间周期时，那个周期的最佳矢量就插入到矢量场asssn-V1中，而中心周期的最佳矢量就插入到assn-V2。在这种情况下，assn-ff就被置0以迫使从场1产生输出。当最佳匹配是处于下一个随后的场间周期时，中心周期的最佳矢量就插入到矢量场assn-V1，而那个周期的最佳矢量插入到assn-V2。然后，assn-ff被置1以迫使从场2产生输出。这些都在图3中示出。

因此可以看出，两个矢量与每场中的每个象素有关;一个矢量用于“看望”前向方向而另一个矢量用于“看望”后向方向。在遮盖的和显露的背景期间，一个矢量指向背景并用于获得该背景，而在此同时另一个矢量指向前景物体。由于assn-ff的分配值，在assn-ff阵列被空间滤波之前，一次只用一个矢量。在模式变换期间assn-ff的一个小的低通滤波器将产生一个共同混合。

因此，输出场就与TO被位移dist assn-V1之前的场以及TO被位移（1-dist）^＊assn-V1）之后的场一起逐象素地产生。

在其它情况中给每个象素分配多个，例如两个运动矢量也是可能的。这种分配能够在输入时间或在输出时间发生。

在以下所述的最佳实施例中，与第一场共时的矢量场总是前向投影，而与第二场共时的矢量场总是后向投影。

预滤波：

在分配之前，输入图象通过一个小的2维（2D）空间滤波器。该滤波器的脉冲响应为一个矩形，因此阶跃响应是一个线性斜面。当把匹配误差从图象间的差中计算出来时，也就把图象程度算出来了。当将差用梯度相除时，其结果就对应于一个位置误差。这正象一个运动测量的梯度方法一样，而且当图象中的梯度是线性时，它就将是最精确的。

当位移很大时该方法就失灵，而且结果不是位移的测量，仅仅是一个大误差。该方法用于简单地选择最佳矢量。另一个改进的地方是利用位移测量校正在所分配的矢量中的小误差。

再取样矢量场：

输入定时的矢量场适合于交变的象素。原始图象被完全取样，因此匹配误差的精度受取样的影响不显著，而却在硬件方面明显地节约了。

匹配误差计算：

匹配误差的通常含义和方法可以总结如下：匹配误差是找出一个矢量菜单中的特定矢量是否加到一个特定的图象元素上的一个手段。匹配误差是通过由所建议的矢量运动移动两个图象然后减去两个图象来计算的。对于分配数据组的区域也是如此进行的，而这误差信号的模数除以中心图象元素的图象梯度然后进行空间滤波。

在三场算法中，与所需的输入矢量场共时的输入图象保持静止，而在先的和随后的图象场由一个实验矢量进行位移。对于在所需输出时间之前的场以及其后的场都必须这样做。

这产生两个匹配误差，在该输入图象之前和其后各产生一个。当矢量场前向投影时，第二匹配误差对应于输出图象时间周期，而且低匹配误差将指示前景。该中心匹配误差通过将它乘以一个0.5至0.99之间的加权系数而得到一个小的优惠。当矢量场后向投影时，第一匹配误差就对应于输出图象时间周期，而且低的匹配误差将指示前景。这个中心场匹配误差按前述的相同方法进行加权。

一个附加的匹配误差通过将另外两个匹配误差加在一起来进行计算，而且也要进行加权。这就会出现：中心场匹配误差及组合的两场匹配误差在确定前景时是一样好的，因此其加权系数是相似的。

在实际中，与前向投影的第一图象共时的矢量场与在第二图象位置和后向投影的相同图象的矢量场非需类似。匹配误差计算是相同的，而场相关加权是变化的，因此，分配的矢量和状态值也是变化的。前向投影场和后向投影矢量场同时进行计算，而前向矢量场则被延迟一个输入场周期。

分配与状态：

在本方案中，输入矢量场被再取样为360个象素和288场行。对于在输入矢量场中的每个元素，都要比较加权的匹配误差。具有最低加权的匹配误差的实验矢量被分配给那个图象元素。

对于前向投影矢量场，其状态规则如下：

前景由第二场或两场平均值的最低匹配误差表示。

遮盖的背景由第一场的最低匹配误差表示。

丢失的运动矢量由一个大匹配误差表示。

对于后向投影矢量场，其状态规则如下：

前景由第一场或两场平均值的最低匹配误差表示。

显露的背景由第二场的最低匹配误差表示。

丢失的运动矢量由一个大匹配误差表示。

该状态与每个分配的矢量一起存贮在第一和第二矢量场内。

输出时间矢量场：

输入分配矢量图可安置于共时图象之上，以指示每个事物运动的路途。输出矢量场通过将第一输入矢量场和每个元素前向投影到输出时间并将第二矢量场后向投影到输出位置来产生的。虽然输入矢量场被再取样，但输出矢量场仍拥有全部720个水平样值。

输出定时矢量场需要离开输入矢量场一些时间距离。该情况示于图4。当投影第一矢量场时，每个输入定时矢量的位置就加到由距离标出的分配矢量上，而之个新的位置拥有一个被存贮的分配矢量。对于第二矢量场而言，每个输入定时矢量的位置被加到由1个距离标出的分配矢量上，而这个新位置拥有一个被存贮的分配矢量。稍微复杂的问题是，投影位置不象是输出矢量场中的一个准确位置，而且输出矢量场也比输入矢量场更稠密地进行取样。通过在投影矢量任一边的位置内存贮其矢量的办法，两个问题都得到了解决。

状态和模式：

输入定时矢量场和状态跟随着投影矢量，而且产生一个新的输出矢量状态。输出矢量场状态的规则如下：

前景：

前景矢量从两个输入定时矢量场进行前向和后向投影。如果两个前景矢量落在相同的位置，则两个矢量都被存贮，而状态指示两个前景矢量。

背景：

遮盖的背景被前向投影，而状态以遮盖背景标志该区域。

显露的背景被后向投影，而状态以显露背景标志该区域。

退回模式：

如果图象区域在任何一个输入定时矢量场中有一个大的匹配误差的话，就假定没有运动矢量可利用。为了防止物体丢失到投影的背景中去，该区域被标为不可分配并进入退回模式。现行的退回模式是使用一个静止矢量并按输出场的位置相对于输入场比例将两个图象混合在一起。一个较低分辨率的图象用于退回模式以降低没有运动补偿的图象元素的粗糙性。

处理输出矢量场：

矢量投影的结果是在矢量场中可能有些孔，这些孔由就近分配的矢量和状态滤除。

输出图象从一个能得到的输入图象的移动混合产生的，交叉混合因数控制两个输入场的混合以产生输出图象，该“交叉混合”（crossfade）信号按照以下规则取值0到1.0：

遮盖的背景：交叉混合＝0、从前一图象提取图象。

显露的背景：交叉混合＝1，从下一个图象提取图象。

前景：交叉混合＝dist，从前一个和下一个图象提取图象。则第一场由所分配的第一矢量移动，而第二矢量则用于移动第二图象。

高误差区域：交叉混合＝dist，退回模式，分配的矢量等于0。

遮盖的背景和显露的背景：这是在得不到低中心匹配时产生的，而且交叉混合＝已发现在工作的距离。

输出图象的产生：

输出图象产生过程逐步通过输出图象位置的每个元素并应用如下算法：

图象输出（x，y）＝

图象1（x，位移dist^＊Vec1的y）（1-交叉混合）+

图象2（x，位移（dist-1）^＊vec2的y）^＊（交叉混合）

vec1和vec2是两个分配的矢量，如果只有一个矢量，则使分配的矢量vec2等于vec1。

内插器已被用来产生部分象素移动，而精确的形式仍然有些优化的余地。该细节将会影响最后图象的质量，但对于基本的三场算法并不显著。

两场矢量投影算法：

两场算法的名称来自于在矢量分配的第一阶段期间只比较两场。对两场系统的输入矢量菜单是那些与图象间的间隔共时的矢量，而不是与三场系统所要求的图象共时的矢量。

这个方法在图5中进行了图示说明。它表示出一个四视频帧f₀至f₃的序列。对每一对帧之间的间隔求出一个相位相关表面，这些是相关表面P₀₁，P₁₂和P₂₃。它们的每一个表面都可用于一个特定的间隔。如果它们中的每一个表面简单地用于给求出的场分配矢量的话，则对于出现在一场而不在另一场出现的物体就会出现问题。因此，求出三个相关表面的加权平均值，然后用于分配在中心间隔f₁至f₂中产生图象的矢量。在这个特别的例子中，P₀₁和P₂₃都给予1/4的加权，而P₁₂给予1/2加权，这是在将它们加到一起以从一个可得到矢量菜单12求出一个瞬时滤波相关表面之前进行的。一旦矢量被分配，该过程被重复，之是通过求出在f₃至f₄间隔中的另一个相关表面并使用该表面以及P₁₂和P₂₃求出在f₂至f₃间隔上分配的矢量菜单。该过程在整个视频图象系列连续进行。

这样，就求出了视频图象序列中的每一个帧间隔就求出了的一个相位相关表面，然后这些相关表面被组合为一个加权平均值，以产生一个可用于单个帧间隔上的矢量菜单。菜单可用在两帧间的间隔上的事实是为什么它被称为两场算法的原因。

正如以上所讨论的，最好把矢量分配给输入场而不是给输出场，而且可以理解到，例如，如果将菜单12分配给f₁至f₂，然后将菜单23分配给f₂至f₃，则f₂将分配给它两个矢量场。它们中的一个矢量场与f₁有关而另一个矢量场与f₂有关。它们分别称之为前向和后向投影场，而且使用它们能够非常可靠地产生在慢运动序列产生中使用的那类型的中间场。对于它们产生的原因，以及产生输出图象的方法都在下面进行叙述。

所产生的分配矢量场类似于由前向/后向分配所产生的分配矢量场，这种前向/后向分配在我们的英国专利申请No.9013642.5已提出。前向/后向矢量场被成对地与附带的匹配误差一起存贮，并被组合以确定矢量状态。

组合的矢量场被前向和后向投影到输出时间，以产生一个双输出定时矢量场。第一输出定时矢量与前向投影相关，而第二输出定时矢量与后向投影相关，而且它们被组合以控制到图象产生系统的两个矢量输入端。

运动估算：

运动估算器的大多数特征类似于前述的“三场”算法，其主要差别如下：

矢量菜单定时：

用于“三场”型式的菜单要求对输入场之前的周期及之后的周期两种情况都有效的矢量菜单。一个偶数级的瞬时滤波器用于相关表面上，以对该运动情况作出最佳估算。当在以测量突然运动和快速加速为代价运动相当连续时，改进运动估算是一个折衷办法。

“两场”算法将每一个菜单仅用于一场周期，因此定时没有变化。更可能一个菜单对一场的情况而不是对两场的情况是有效，因此矢量菜单问题就没有折衷。

相关滤波：

已经证明，瞬时相关滤波器的特殊设计将消除进行场频相关的隔行扫描时所产生的问题。瞬时滤波器的设计最好满足奇数系数抽头（coefficent    taps）之和等于偶数系数抽头之和的条件。由于抽头的最大可能数是3，因此系数将为0.25，0.5，0.25。

图4概略示出了两场算法及相关的矢量场，而且这将涉及以下的部分。

输入定时的矢量场：

估算器产生的每个菜单进行两次分配，一次是使用前面分配而另一次是利用后向分配。前向分配是通过保持第一场稳定和用一个实验矢量移动第二场，并从差的幅度读者匹配误差来完成的。差除以梯度，之是梯度法矢量测量的一种应用，但其结果只用于选择，该误差对应于一个距离。它可以在以后的某个时间用于校正。后向投影场是通过保持第二场稳定而移动第一场并重复该过程而产生的。

每个新的输入场及菜单都产生两个分配矢量场，例如从菜单2中产生场b和c。

组合输入定时的矢量场：

到此我们已经有四个分配矢量场，一对用于输出时间之前的场，而另一对用于输出时间之后的场。对每一对矢量场而言，其第一矢量场是由后向分配在前菜单而产生的，而第二矢量场是由前向分配第二菜单而产生的。

如果输入矢量场用于前向投影，则第二矢量场“b”对应于中心周期并与前景相关。第二矢量场和匹配误差具有施加加权的中心（centre-）Wt然后，将其与输出场“a”匹配误差进行比较。具有最小匹配误差的矢量就被指定了。当组合矢量场“a”和“b”以产生矢量场“c”时，应用以下规则：

中心场低：前景（状态＝3）

外场低：遮盖的背景（状态＝1）

两个匹配误差高：丢失矢量（状态＝5）

当输入矢量场用于后向投影时，除了将中心（centre-）wt用于后向分配矢量场“c”匹配误差之外，情况是类似的。“c”的加权匹配误差与“d”的匹配误差进行比较，以产生后向投影矢量场“f”，该规则就变为：

中心场低：前景（状态＝3）

外场低：显露背景（状态＝2）

两个匹配误差高：丢失矢量（状态＝5）

称为在前的和在后的组合矢量场（图1中的e和f）类似于在三场算法中产生的输入下时的矢量场。

输出定时的矢量场：

与输入定时矢量场颇为类似，有两个与输出场相关的矢量场。第一个是通过前向投影“在e之前”矢量场而获得到，而第二个则是通过后向投影“在f之间”的矢量场而获得的。

矢量投影（前向）：

矢量投影是通过以下方法获得的，即访问在输入矢量场“e”中的每个位置;加上分配到该矢量位置的一与“dist”（距离）之积和该矢量和状态写入输出矢量场。之将十分可能出现前景/背景写入一个特定的输出位置的竞争。当两个前景矢量到达空间的相同点时，可能出现这种情况，因此有一组简单规则用于写入输出矢量场。

该规则总结如下：

1）整个矢量阵列初始化为状态＝0，不进行分配。

2）任何矢量都能写入输出矢量场，只要它的状态高于一个已经存在的状态。而第二个矢量被忽略不计。

矢量投影（后向）

矢量从下一个输入场后向投影到输出场位置的情况类似于前向投影。该输出定时后面矢量场在图中标示为h，而且在投影开始前将状态置0。其差别是距离为1-dist。

组合输出定时的矢量场：

按照下表中总结的另一组规则将两个输出矢量场组合：

如果启动4X的模式能够用距离（dist）或0.5P₂₁进行交叉混合，则仍然有待于优化。

矢量处理之后，矢量g、h及交叉混合因数的全部位置就都被占满了。现已证明，使矢量场和交叉混合表面经过一个二维空间滤波器，输出图象明显地改进了。

输出图象产生：

输出图象产生过程是逐步地通过输出图象位置的每个元素并应用下述算法：

图象输出（Pic-output）（x，y）＝

图象1（x，位移dist＊vec1的y）＊（1-交叉混合）+

图象2（x，位移（dist-1）＊vec2的y）＊（交叉混合）

现已使用一个内插器产生部分象素位移，但精确的形式仍然有一些优化的余地，细节将影响最后图象的质量，但对基本的三场算法并不重要。

图6示出完成三场算法的电路。它包括一对场延迟20，它们以串联形式相连并接收一个视频场序列。每个场延迟的输入和输出连接到一个相位相关22的各自输入端。它们中的每一个产生代表在两个连续场之间运动的相关表面。之些表面由乘法器24级予相等的0.5加权，然后在加法器26中进行组合。然后，这个平均的相关表面定个峰值矢量检测器28，该检测器28只允许那些超过预定阈值的矢量通过。因此它们生一个用于分配，给一个三扬组的中心场和矢量菜单。此时，该矢量菜单就成为可用的了，被分配的输入场在第二输出或场延迟20是可用的。矢量菜单和两个场延迟的输出形成一个分配单元的输入，在该分配单元可以把矢量分配到求出菜单的三场序列的中心场。

图7是图6电路的一种改型并适用于进行两场算法。它包括一个与其它的场延迟串联的一个附加场延迟20。它有一个相关的相位相关器22，其输出由第四乘法器21加权，这是在它与其它的相位相关器的输出在加法器26中进行组合之前进行的。生成的矢量菜单以及求出的它的各个输出场输入到一个分配单元（未示出）。

矢量分配及瞬时内插处处理二者都未涉及隔行来进行描述。该过程可以直接用于一个隔行信号（考虑到取样行的垂直定位）;另一方面，一个隔行信号也可以在处理之前转换为一个顺序的或逐行形式。

对于能体现本发明的慢运动响应系统的框图，可参考IEE会议文件No.327（IBC90）第121至125m页，引用在此供参考，和该文章中所列的参考文件。

可以理解到，上述的操作通常是由一个计算机系统实现而不是由分离电路完成的。上述操作的描述提供了产生这样一个系统的全部必要信息，因为本专业的普通技术人员容易理解这些内容，因此详细的描述编程框图就不必要了而且此处也未包括这些内容。

Claims (38)

1、一种视频信号运动补偿方法，包括有求出代表图象各部分运动的多个运动矢量和将对应的一个矢量分配到图象的各个元素区域的步骤，其特征在于：确定的元素区域具有分配给它们的两个(或更多个)矢量。

2、根据要求1的方法，其特征在于在两个输入场中间产生一个输出场。

3、根据权利要求2的方法，其特征在于在所说的确定元素区域中，所分配的第一个矢量用于确定输入场到输出场一个边的运动，而所分配的第二个矢量用于确定输入场到输出场另一边的运动。

4、根据权利要求2的方法，其特征在于所分配矢量中的一个矢量与第一图象部分有关，而所分配的第二矢量与第一图象部分运动不同的第二图象部分有关，在相应的输入图象部分上的两个矢量的总组合形成对应的输出图象部分，以给出运动物体边缘的模糊外形。

5、根据权利要求2的方法，其特征在于如确定两个物体在输出图象中具有相等的权利，刚两个分配的矢量就分别与两个物体相关，而且其总组合形成输出场。

6、根据权利要求2的方法，其特征在于在所说的确定元素区域中能够确定无效运动，其中所分配的第一矢量对应于后退模式，而所分配的第二矢量对应于来自相邻测量数据块中的矢量。

7、根据权利要求1的方法，其特征在于：所说的确定元素区域值的两个予测量是以两个分配的矢量为基础而形成的，而且这两个合矢量通过一种简单的或加权的平均方法进行组合。

8、根据权利要求7的方法，其特征在于该组合是依赖于加至平滑滤波器函数的时间相关系数而进行的。

9、根据权利要求1的方法，其特征在于求出多个图象数据块中的每一个数据块运动矢量，选择这样求出的矢量以提供图象或图象的一部分的多个矢量。

10、根据权利要求1的方法，其特征在于通过相位相关技术求出矢量。

11、根据权利要求2的方法，其特征在于通过同时比较三个输入帧的内容进行分配。

12、根据权利要求1的方法，其特征在于两个矢量场被分配给一个输入场，第一矢量场通过后向投影到前一输入场进行分配，而第二矢量场通过前向投影到随后的输入场进行分配。

13、根据权利要求1的方法，其特征在于具有分配给它们的两个（或更多个）矢量的元素区域拥有从不同的运动矢量组分配的那些矢量。

14、一种视频运动补偿的设备，包括矢量求出装置，用于求出多个图象数据块中的每一个数据块的多个运动矢量;矢量分配装置，用于把相应的一个矢量分配给图象的各个元素区域，其特征在于该矢量分配装置把两个（或更多个）有效矢量分配给确定的元素区域。

15、一种视频信号运动补偿方法，包括步骤：求出对应于图象各部分运动的多个运动矢量，把相应的一个矢量分配给每个输入场中的各个元素区域和投影这样分配的矢量以便在两个输入场中间得到一个输出场。

16、根据权利要求15的方法，其特征在于至少有两个矢量分配到一个输入场的每个元素区域。

17、根据权利要求16的方法，其特征在于分配给一个输入场的一个元素区域中的第一矢量是通过向前一输入场后向投影求出的，而分配到相同元素区域的第二矢量是通过对随后的输入场前向投影求出的。

18、根据权利要求15的方法，其特征在于：用于分配给一个输入场的一组运动矢量是从两组（或更多组）运动矢量中求出的，而两组（或更多组）运动矢量是在所说的输入场和在前一个及随后的输入场之间进行比较而求出的。

19、根据权利要求18的方法，其特征在于：所说的的运动矢量组构成了在所说的输入场和紧挨它的前一场和后一场的输入场之间进行比较而求出的运动矢量组的一个平均值。

20、根据权利要求15泊方法，其特征在于该运动矢量是利用相位相关技术求出的。

21、根据权利要求15的方法，其特征在于：用于在一个输出场的两边分配给输入场的一组运动矢量是从在两个输入场的间隔中求出的一组运动矢量和从在前的及随后的间隔中求出的矢量组中求出的。

22、根据权利要求21的方法，其特征在于：所说的运动矢量组是从所说的间隔以及紧挨着该间隔的前一间隔和后一间隔求出的运动矢量组的平均值求出的。

23、根据权利要求22的方法，其特征在于该平均值是一个加权的平均值。

24、一种求出用于一个视频信号运动补偿系统中的一组运动矢量的方法，包括步骤：通过比较第一和第二输入的场求出第一组运动矢量，通过比较第二和第三输入场求出第二组运动矢量，以及从上述第一和第二组中求出第三组矢量。

25、根据权利要求24的方法，其特征在于输入场是在一个序列中的连续场。

26、根据权利要求24的方法，其特征在于包括把第三组矢量分配给图象的元素区域的步骤。

27、根据权利要求24的方法，其特征在于包括把第三组矢量分配给第二输入场中的图象的元素区域的步骤。

28、根据权利要求24的方法，其特征在于第一和第二组运动矢量是利用相位相关技术求出的。

29、一种求出适用于视频信号运动补偿系统中的一组运动矢量的方法，包括步骤：从第一和第二，第二和第三以及第三和第四输入场中求出第一、第二和第三组运动矢量，以及从所说第一，第二和第三组中求出第四组运动矢量。

30、根据权利要求29的方法，其特征在于第四组运动矢量是从所说的第一、第二和第三组的平均值求出的。

31、根据权利要求30的方法，其特征在于该平均值是一个加权的平均值。

32、根据权利要求29的方法，其特征在于该输入场是在一个序列中的连续场。

33、根据权利要求29的方法，包括将第四组矢量分配给由视频信号表示的图象中的元素区域的步骤。

34、根据权利要求33的方法，其特征在于将矢量分配给第二和第三输入场的元素区域。

35、根据权利要求34的方法，其特征在于利用前向投影技术将矢量分配给第二输入场，利用后向投影技术将矢量分配到第三输入场。

36、根据权利要求28的方法，包括对第二、第三、第四和第五输入场重复处理并因此求出第五组运动矢量的步骤。

37、根据权利要求28的方法，其特征在于运动矢量组是利用相位相关技术求出的。

38、用于求出适用于运动补偿系统中的一组运动矢量的设备，包括至少两个串联的并接收一个视频场序列的场延迟装置，至少两个运动矢量求出装置，每个装置从一个对应的场延迟装置的输入和输出接收输入场;和一个组合装置，它耦合到矢量求出装置的输出端并具有产生所说的运动矢量组的输出端。

Images