CN1063190A - 视频图象处理 - Google Patents

Abstract

把可能的运动矢量表中一个合适的运动矢量施 加到视频图象的每个区域。对于每个可能的运动矢 量，为四个连续场中的每一场确定那个区域的一个图 象值。比较四个场中的这些值，当这些值基本上与一 个给定矢量相同时，就设想为该矢量适合于那个区 域。适合于被遮住的或被显露的背景区域的矢量也 可以这样分配，即通过比较内场差并确定对中心对和 一个外对来说内场差高，而对于场的其它外对来说内 场差低的区域。为了产生对应于被遮住的背景区域， 仅使用前面场的信息，而为了产生对应于被显露的背 景区域，仅使用后面场的信息。

Description

本发明涉及图象处理，特别涉及表示不同图象区域视在运动的方向和幅度的运动矢量分配，以帮助产生想望的输出图象。

我们的英国专利GB-B₂188510描述了一种处理视频图象的方法，以便提供一种能用于整个区域的运动矢量表，而且运动矢量中的一个被认为适用于图象的每个区域。也可采用其它方法产生这种运动矢量表。为了使用这种矢量，则必须选择出这些矢量中的哪一个可以施加于图象的给定区域。每一区域可以如一个象素那么小，或者可以包含多个象素或一组图象。

例如，可以使用运动矢量产生在时间上对应于两个输入场中间的瞬时的输出场。例如为了产生慢动作效果，从电影胶片转换到视频影象或是在制式转换时，这可能是需要的。

可以认为，一个典型的图象的最简单形式是具有一个运动的前景区域和一个背景区域，正如附图1所图示的。图（a）表示在背景前方的前景物体的一场图象，例如一个球。图（b）表示该图象的下一场。球从位置A移到了位置B。从图象（b）可见，在（a）中可看到的部分背景现在被遮住了，而在（a）中看不见的部分背景现在显露出来了。

一般情况，图象中的背景也可以“运动”，例如，摄象机正在摇镜头时。因此，运动矢量分别与前景及背景二者有关。在每种情况下，通过比较两个连续场并考虑在图象的不同区域上产生的运动，从可能的运动矢量表中（例如在我们前面提及的专利中所产生的）选取合适的运动矢量。

这种操作将在图象区域的大部分提供精确的信息。在两个图象之间可以比较没有被球的图象位置A或B遮住的背景部分，也可以比较被球的图象位置A和B二者遮住的重迭部分，以提供一个合适的矢量。不过，在被遮住的背景区域和被显露的背景区域中，一场包含球的图象，而另一场包含背景图象，这些没有什么有意义的联系。

现已提出了很多运动预测算法，它们大部分不能检测在这种区域中的运动，而对于那些可以检测运动存在的算法，我们不相信会有一种算法能够确定当运动在视野上消失或重新出现时区域运动的方向和幅值。

在待批准的权利要求中限定了本发明，现在来进行说明。

在本发明的优选实施例中，对于可能的运动矢量表中的每个矢量，对每连续的四场中的每一场，确定视频图象的每一区域的一个图象值。比较四个场中的值，当这些值与给定的矢量基本相同时，就认为该矢量适合于那个区域。也可以通过比较场间差并确定对于中心对和一个外对场间差高的区域和对于四场组中的其它外对的场间差低的区域，来分配适合于被遮住的或显露的背景区域的矢量。

输出场可用内插法产生。为产生相应于被遮住的背景区域，仅使用来自较早的场的信息，而为产生相应于被显露的背景区域，则仅使用来自较迟的场的信息。

本发明的优选实施例可参阅附图，用举例的方法更详细地描述，其中

图1（上面参考过）表示一个视频图象序列的两个连续场，其中前景物体产生了运动;

图2是用来说明对于一给定的运动矢量在四个连续场中对应点的图;

图3是说明在四个连续场之间前景和背景运动的图;

图4是用来获得沿一条试探运动轨迹的四个亮度值的装置框图;

图5是用来计算分配误差的装置框图;

图6说明了一种用来比较分类码和误差的电路。

如果确信整个图象按照同一条试探运动矢量显示，该矢量是可能的运动矢量表中的一个矢量，那么，通过追溯用那个矢量值显示的前面场中的一点就可以估算任何象素的值。此外，若取任一给定场作基准，则对于基准场中的每一象素就可以追溯与期待，并产生出一个在前、后场的产生时刻的象素值。这可以通过观察那些在前面的和后面的场中的象素，即那些被适合于那个运动矢量的值从基准场中的象素中被置换的点来达到。这一操作如图2所示，其中分别说明了在时刻t-1，t，t+1和t+2的四场视频信号。竖轴方向上用一维表示了横切图象的一个立体截面。由于运动，不同场上对应的点被立体地移动了。

这样，对于基准场中的每一象素，对任一给定的运动矢量，可以建立在相继场中那个象素所希望具有的值。如果该运动矢量对于该象素确实是正确的，则那些值可能是或多或少相同的值。如果对所有可能的运动矢量重复这一操作，那么在所得数值中产生最小偏差的那个矢量对该象素而言可能是合适的矢量。这些值可以被处理，从而给出每一象素及每个矢量的分配误差量度，正如下面所述。

因此，按照本发明，我们提出了使用四个连续场的内容来确定用于不同图象区域的合适的运动矢量。参看图3，其中也用图说明了分别在时刻t-1，t，t+1和t+2的四场视频信号。在竖轴方向用一维表示在自身运动的背景上运动着的前景物体。由图可见，在t-1和t+2场之间，前景物体正在稳定地向上运动，而背景物体则正在更慢地向下运动。

现有的系统比较两个中心场t和t+1，而不能确定适合于图象的一定区域的矢量。特别是它们不能确定适合于标号为C的区域的矢量，该区域代表在t和t+1场间被遮住的背景，或者不能确定适合于标号为e的区域的矢量，该区域代表被暴露的背景。

运动矢量可以在内插操作时使用，以便在对应于场t和t+1之间的中间时刻的瞬时t+δt产生输出场。通过使用所有的四场，运动矢量的检测不仅更精确，而且能够对图象区域c和e分配矢量。适于图3所示的每个不同区域a到g的处理如下：

区域a和g：背景运动矢量给出一个跨越四场的低分配误差，故可使用四场内插。

区域b：背景运动矢量给出中心场间的低分配误差，但不跨越所有四场;使用跨越中心场的两场内插，或者，若跨越前两场的分配误差小于跨越中心场的分配误差的话，能够在时刻t使用场外插。

区域c：背景矢量只给出了跨越前两场的低误差;其它矢量没有给出跨越任何时间间隔的低分配误差。因此该区域标记为“被遮住”，并使用背景矢量在时刻t在该场外插。

区域d：物体的运动矢量给出一个低的四场分配误差，故使用四场内插。

区域e：背景矢量给出最后两场的低分配误差，其它矢量未给出跨越任何时间间隔的低分配误差。故该区域标记为“被显露”，并使用背景矢量在时刻t+1从该场外插。

区域f：背景矢量给出一个中心场之间、但未跨越所有四场的低分配误差;故使用跨越中心场的两场内插，或者，若跨越后两场的分配误差小于跨越中心场的分配误差的话，能够在时刻t+1使用场外插。

因此对于示出的所有图象区域都能进行矢量分配，而不管是以象素连象素还是以组连组为基础。仅使用前面场中的信息产生对应于被遮住的背景区域，以及只使用在以后的场中的信息产生对应于被显露的背景区域。

现在说明分配误差产生的方式。利用适当的存贮可即时获得四场视频信号。对于每个试探矢量，确定沿所提出的运动轨迹的四个值（见图2）。所取的值是信号的亮度值。运动矢量可以被确定到比一个象素还好的精度，此时，运动轨迹将不再精确地通过在场t-1，t+1或t+2上的现有的取样位置。然后使用空间内插器计算适合于这些场中最接近的象素位置的亮度值。

这样获得的四个值通过一高滤波器，该滤波器测量随时间变化的亮度分量幅值。很多滤波器响应是可能的，而一个提供差模的加权平均值的可能的滤波器响的例子是：

0.25X｛｜a_-1-a₁｜+｜a₀-a₂｜｝

+0.125X｛｜a_-1-a₀｜+2｜a₀-a₁｜+｜a₁-a₂｜｝

因此每个象素位置都得到一个值。通过使用一个空间低通滤波器，将跨越图象的值滤平，从而对每个矢量形成一个四场矢量分配误差。然后，对于每个象素，对所有可能的试探矢量的四场矢量分配误差的幅值进行比较，如果最低的四场矢量分配误差的幅值低于一个给定的门限，那么相应的矢量就被分配到那个象素，并且该象素被标记为正在进行一种简单的直线运动。

如果最低的四场矢量分配误差高于这个门限，那么对所有的试探矢量检查相继场之间的差值，以便确定哪个矢量和时间间隔给出最低的误差，参考图3如上所述。例如，若该区域对应于被显露的背景，则对于正确的矢量，可望｜a_-1-a₂｜有一个小幅值，而｜a₀-a₁｜和｜a₁-a₀｜将为高的幅值。类似地，一个被遮住的背景区域，将给出一个低幅值的｜a_-1-a₀｜。如果对于中心时间周期的值最低，则可以得出结论，即该区域刚刚显露过或即将被遮住。三个误差须经过空间沪波器，并且在比较它们之前，最好用一个加权系数乘之。加权系数的选取应确保只有当对于一个最外场周期的误差显著小于中心周期的误差时，区域被标记为被显露的或被遮住的背景。

现在参照图4至图6描述实现图3所示方法的一种可能的硬件。图4表明如何得到沿试探运动轨迹的四个亮度值。三个固定的场延迟10用来从四个连续的场周期提供信号值。可变延迟12用于完成按照试探矢量值的偏移，用一对应于相关输入场与产生矢量场的时间之间的时间周期值乘以试探矢量值。这种可变延迟可以使用n个利用适当的读写指针寻址的随机存取存贮器而容易地实现。在一个实施例中，所有场被移动到一个子象素的精度，每个偏移器由n个偏移器代替，以提供周围象素的值;然后把这些值送入一个空间内插器，以执行偏移的子象素角色。这内插器是公知的。

图5所示为根据图4算出的亮度值计算四场及两场分配误差的一种的可能方案。利用减法器14计算这些误差，减法器14后面接有电路16，以便计算场差之模。模差被空间滤波以便形成两场误差，再用这些值计算四场误差。可用于实现这种空间滤波的集成电路可以获得，例如Inmos  A1110。在本例中，四场误差在加法器18中从三个两场误差的和简单地取得，也可以使用如前所述的一种更复杂的高通滤波器装置。这些误差通过一个判断电路20，它根据彼此的、并与前述的给定门限值及加权系数相关的误差值出判定。这种电路可以由例如比较器及逻辑门元件构成。

图6所示为分类码和与每个试探矢量有关的误差如何进行比较，以便达到最终判定。这涉及使用比较器比较每个矢量的误差，从而确定最小的。误差根据其分类可在比较之前加权;这种如权可使用一个可编程只读存贮器22来实现，该储贮器按误差值和分类码进行寻址。表明选定矢量的数字可以容易地转换成该矢量的水平和垂直矢量分量，方法是利用该数字对含有试探运动矢量表的查寻表进行寻址。

使用一种非常类似于图4所示的场延迟和可变延迟装置，可以容易地实现使用按上述获得的矢量和分类信息进行图象内插。可变延迟由所选定的矢量控制;所获得的四个亮度值送入一个四端滤波器，其系数由分类码和将要产生的场的暂时位置确定。这种滤波器可以用加法器和乘法器与具有滤波器系数的只读存贮器一起容易地构成。

作为一种使用场差作为分配误差量度的替代方案，可以通过考虑在每个象素区域中的亮度梯度来完成更精确的测量。这就可以对高细节区域误差给出一个小的加权，而且其优点是由于运动矢量中的一个小的不精确误差就可以在这一区域中产生一个高的场差。计算分配误差的一个合适的方法如下所述：

分配误差＝（｜差｜+常数）/（｜梯度｜+常数）

其中，差＝（a₀-a₁）（在前两场间的分配误差的情况下）;

常数是这样的一个恒量，其功能是减小由于噪音和零梯度所产生的问题，例如等于4个亮度量化电平。

而梯度＝平方根（Y（X-1，Y）-Y（X+1，Y））²

+（Y（X，Y-1）-Y（X，Y+1））²

其中Y（X，Y）是在时间上最接近产生矢量场时的输入场中的亮度电平，（X，Y）是该图象中的坐标，所研究的运动矢量通过它。

该项技术可用于计算任意的分配误差。所得的误差经过上述的空间低通滤波器。

另一种能够加强分配误差的计算方法是除了上述的亮度信息之外，还包括来自色度信号的信息。通过使用所谓的U和V色度信号，可以按如上所述的计算亮度分配误差的相同方法，计算两个色度分配误差。然后把色度分配误差加到由亮度分量获得的分配误差上，从而给出一个组合的分配误差信号，该信号在具有小的亮度清晰度而具有大的色度清晰度的图象中，此只有亮度信号更可靠。

如果所有的分配误差都大，则可以断定没有矢量与运动匹配，该象素则标记为具有一个未知矢量。

如果两个或多个矢量给出相似的分配误差，则可能是选取了不正确的矢量。在实际中，矢量是否具有显著的不同值是唯一的问题。在本发明的一个实施例中，通过使用具有较大孔径的空间滤波器重复整个的分配过程，直至找到一个唯一的矢量，则在该情况下的可靠性就得到改善。此外，误差信号的空间滤波可通过并联使用几个滤波器孔径来实现，以及利用来自给出唯一答案的最小滤波器孔径的信号。如果未找到一个给出低分配误差的唯一矢量，则该象素被标记为具有一种未知运动。

组合及加权连续场之间的匹配误差的复杂方法可用于改善矢量分配过程的可靠性。例如，在本发明的一个优选实施例中，由三个未加权的匹配误差计算出七个匹配误差的过程如下：

首先使用上述的梯度方法计算三个未加权的分配误差E₀，E₁，E₂，E₀是由（a₀-a₁）确定的四场中前两场间的分配误差，E₁是中间两场间的分配误差，E₂是最后两场间的分配误差。

然后根据加权的E₀，E₁和E₂的组合计算出七个误误W₀0W₆：

W₀＝E₀＊第一个-wt

W₁＝E₁＊一个-wt

W₂＝E₂＊第二个-wt

W₃＝（E₀+E₁）/2＊2个-wt

W₄＝（E₁+E₂）/2＊2-wt

W₅＝（E₀+E₂）/2＊2-wt

W₆＝（E₀+E₁+E₂）/3＊2-wt

加权系数可以是矢量选择过程优化操作新选定矢量的常数，或者是一些参数的函数，例如试探矢量幅值，分配滤波器空间孔径限值，以及输出场位置。

在一个实施例中，第一个-wt和第二个-wt是以这种方式变化的函数，即使得在背景矢量与前景矢量对抗时，减少物体边界处的问题;在这种区域内，应用于E₀-E₂的空间低通滤波器趋于使背景矢量仅仅在物体边界内部被选择。下面公式可用于这两个加权系数：

第一-wt＝1+（δt＊矢量长度）/孔径长度

第二-wt＝1+（1-δt）＊矢量长度）/孔径长度

其中δt是输出场的位置，其范围为0-1，如图3所示，孔径长度指加于分配误差E₀-E₂上的空间滤波器的尺寸。

在非常大的矢量的情况下，这些加权系数可以限制到一个固定的最大值。

其它的加权系数（一个-wt，2个-wt以及2个-wt）是所选取的小于1个单位（unity）、因而总是小于第一个-wt或第二个-wt的常数。这就保证了表示前景的矢量相对于表示被显露的或被遮住的背景矢量是有利的。这是因为对于运动边缘周围的背景作为前景（变得稍微模糊些）处理，比前景物体的边缘作为背景处理（在物体中出现孔）主观上要好得多。

对于每一试探矢量，加权和W₀-W₆进行比较，而且为每一取样选取最小值。根据该选择进行矢量和区域的分类：如果W₁，W₃，W₄，W₅或W₆是最小的，则对应的矢量被分配并标记为前景。如果W₀是最小的，对应的矢量就被分配并标记为被遮住的背景。类似地，如果W₂是最小的，矢量就被标记为表示被显露的背景。如前所述，如果最小误差在予置门限之上，则该象素就可被标记为具有一个未知矢量的象素。

如果需要，所获得的矢量和区域分类信息可以受到附加的后加工处理;这可以包括使用低通或中间空间滤波器，这种滤波器是公知的。

正如参看图3所注意到的，从上述操作中获得的矢量和分类信息在图象序列的瞬时内插中找到了特殊应用。这种应用包括产生高质量的慢动作重现;不同场频之间的制式转换;以及在电影胶片序列内的图象内插，以便把其显示率提高到电视的显示率。

再参看图3，所示的输出图象在现存的场间的任意时刻被内插。两场及四场内插滤波器系数的计算是一个相当简单的公知过程。图中未示出无矢量被分配的任何区域;这种区域使用一个非适配四端瞬时滤波器被内插，其响应类似于用于图3中的区域a，d和g中的运动补偿四端滤波器。

在本发明的一个实施例中，矢量选择过程可扩展到允许被显露的和被遮住的背景区域中的每个输出象素产生两个矢量。这就允许在前景与背景物体之间的接合处，在用于图象内插的矢量之间有一个软开关，例如，对于指定为被显露的背景的每一个象素（即发生在最后两场之间的最低加权分配误差），在头两场上给出最小分配误差的矢量也就确定了，如前所述，输出图象则由所分配的被显露背景矢量（标为所需的输出时间）偏移的随后的场与由第二矢量所偏移的在前的场的基值一起被内插。两种基值的相对比例可按以下确定：对每一个要被内插的象素计算出一个控制信号，指定要从后面场中选取的图象部分，对于在前景区域中的所有取样，这将是一个等于图3中δt的常数，这是瞬时内插滤波器的正常操作方式。在标记为被显露的背景区域，控制信号将被设定为1个单位，因为正如以前在图3中对区域e所述的那样，所有信息都应从随后的场中取得。然后该控制信号要经过一个低通空间滤波器，因此仅在被显露的背景区域内部它不再等于1个单位。

矢量分配及瞬时内插过程已被描述而与隔行无关。两个过程可直接应用于一个隔行信号（考虑取样行的垂直定位），此外，一个隔行信号可在处理之前被转换为连续的或逐行的形式。

可以理解到，在非正常事件中，即只想要检测被遮住的背景或被显露的背景之一，而不是两者都检测的情况，则只需要比较三个连续场。

可以理解，上述的操作一般将由计算机实现而不是通过分离电路。上面关于操作的描述提供了为产生这种系统所需的所有信息，这一点本领域技术人员容易理解，因而不必给出而且此处也未包含的详细的编程框图说明。

Claims (17)

1、一种把多个可能的运动矢量中的合适的一个矢量分配到与基准场及相邻场间的区域呈现的时刻一致的视频图象区域中的一种机械方法，包括有下列步骤：确定，对一个基准场的每一个区域和每个可能的运动矢量，确定对于基准场和至少两个相邻场之间的区域所适合的图象值；比较，对于每个所述区域，比较图象值或由此导致的值，以确定哪个运动矢量可能适合于该区域。

2、根据权利要求1所述的方法，其中图象值是亮度值。

3、根据权利要求1或2所述的方法，其中所述的可能的运动矢量具有优于一个象素的精度，而且对邻近场确定图象值的步骤包括空间内插。

4、根据权利要求1或2或3所述的方法，其中每个区域包括一个象素。

5、根据权利要求1或2或3所述的方法，其中每个区域包括一组象素。

6、根据前面任何一个权利要求所述的方法，其中图象值被高通瞬时滤波，以便为每一区域和每一矢量提供一个分配误差值，而所述比较包括比较分配误差值。

7、根据权利要求6所述的方法，其中当对于任一区域而言，只有一个分配误差值低于门限时，对应的矢量就被分配到那个区域。

8、根据权利要求7所述的方法，其中当对于任一区域而言，没有分配误差低于门限时，则比较步骤进而包括对每个可能矢量计算连续的内场差，并根据所述的差分配运动矢量。

9、根据权利要求8所述的方法，其中所说的差受到空间滤波。

10、根据权利要求8或9的方法，其中所说的差受到加权因数。

11、根据权利要求8或9或10的方法，其中四个连续场被检查（两个中心场和两个相对的外场）。

12、根据权利要求11的方法，其中当中心场间的差值低于某门限，而一个外场及其相邻的中心场间的差值高于门限时，在分配运动矢量时至少忽略所述的外场。

13、根据权利要求11或12所述的方法，其中当中心场之间的差值高，在前的外场与其相邻的中心场间的差值也高，而后面的外场与其相邻的中心场间的差值低时，该区域被识别为被显露的背景。

14、根据权利要求11，12或13所述的方法，其中当中心场间的差值高，后面的外场与其相邻的中心场间差值也高，而在前的外场与其中心场间的差值低时，该区域被识别为被遮住的背景。

15、根据前面任一权利要求所述的方法，还包括利用这样分配的运动矢量，通过运动补偿内插，在输入场之间及时地产生一个输出场中间值。

16、一种把多个可能的运动矢量中合适的一个分配到视频图象区域的方法，基本上如参考附图在此所述的一样。

17、一种把多个可能的运动矢量中合适的一个矢量分配到与基本场及相邻场间的区域呈现的时刻一致的图象区域中的装置，包括有确定装置，用于对一个基准场的每一个区域和每个可能的运动矢量，确定对于基准场和至少两个相邻场间的区域所适合的图象值;以及与确定装置相连的比较装置，用于对每个区域，比较图象值或由此导出的值，以确定哪个运动矢量可能适合于该区域。

Images