CN1076070A - 视频图象处理 - Google Patents

Abstract

一个从多个输入场产生的复合时间补偿的视频 图象包括突变。它们是从含有运动的输入场投影的 结果。对它们进行检测，然后利用一个软化滤波器进 行平滑。

Description

本发明涉及视频图象处理，特别涉及产生具有运动补偿的图象的图象处理。

在我们的英国专利申请NO.9020498.3和NO.9111348.0中描述了运动补偿的各种方案，上述专利申请描述了能够产生视频图象序列中间场的系统，在这些视频图象序列中图象的原始序列包含，例如，在一个背景上运动的前景物体的运动。当产生慢运动序列或对于制式转换时，需要这种中间场。

在很多运动补偿的应用中，通过把各种视频图象的一部分或多部分剪切或贴补在背景上以产生一个输出图象。视频图象的这些部分可以包括在它们之中的运动部分和这些部分全部可以在背景上运动。

在应用这种剪切和贴补技术时，当前景图象到背景图象间存在一个明显的瞬变时，在输出图象中经常会产生可见的突变。这些突变称之为“混淆”，而这一问题在图象产生系统中是公知的。利用“抗混淆”技术可从图象中除去它们，抗混淆技术就是在几个象素上将前景和背景图象混合在一起。

本发明的最佳实施例提供了一种系统，该系统检测输出图象中的这些突变，然后在几个象素上把前景和背景图象混合在一起。

本发明在其各个方面由要参考的所附的权利要求书所限定。

现在，通过参考附图的实例方法详细描述本发明，其中：

图1表示来自具有一个中间输出场的原始视频序列的两个输入场;

图2表示从输出场中除去突变的电路;

图3表示实施本发明的一个更复杂的电路;

如果图象的一个区域简单地移动，即所有图象部分以相同的量进行移动，则不产生突变。

如果一个图象的两个相邻元素之间的移位是不同的话，则将产生突变。

加到图象元素（象素）上的移位是该象素的运动速度乘以输入和输出图象间的时间。在遮蔽的和显露的背景区域，即运动前景物体，时间矢量被变形，因此或者从输出场时间之前的输入场或者从输出场时间之后的输入场中提取图象部分。这就称作交叉衰落信号。

在两场运动补偿算法中，输出图象是从两个顺序的输入场和两个运动矢量场中产生的。两个矢量场与在前的输入场的正向投影及随后图象场的反向投影有关。

在识别一个输出场中的突变的第一步是从速度矢量乘以时间的距离中计算位移。该位移称作移位场，然后该位移通过一个小的两维差分滤波器以寻找在移位场中的瞬变。如果该滤波器的输出高于一个预定的阈值，则已发现一个突变。该阈值被设定为如半个象素电平。然后将一个低通滤波器加到突变上以软化两幅图象的瞬变。这种软化等效于以下述方法进行两幅图象的混合，即在产生一个象素时，提取每个图象的不同部分。

软化滤波器仅仅在图象中显著裂痕时工作。相同运动的各种测量间的微小差别在输出图象中是看不到的而一个模糊滤波器的不必要的使用可能会害大于利。

图1示出了一个前景物体向上运动而背景向下运动的情况。出现了几种不同的情况并在下面描述它们：

1）A-B    在两个输入图象中可看到背景，而且两个输入图象都对输出图象产生影响。

2）B-C    仅在第一图象F1中可看到背景，而且输出图象仅取自F1。在点B，在正向投影场中没有变化，但在从F2的反向移位场中有变化。如果摄象机时滞已经模糊了前景物体，则仅仅可看到B点的转换。

3）C-D    在F1和F2中可看到前景，而且输出图象从二者中取得信息。在点C，在正向移位场中以及反向移位场中都有变化。这可能在输出图象中给出可见的突变，因而可能需要软化。

4）D-E    仅仅在第二图象F2中可看到背景，输出图象仅取自F2。在点D，在正向移位场中和反向移位场中都有变化。这可能在输出图象中给出可见突变。

5）E-F    在两个图象中都可看到背景，而且两个输入图象都对输出图象产生影响。在点E，在反向移位场中没有变化而在正向移位场中有变化。如果摄象机时滞已经模糊了前景物体，则仅仅在点E可看到转换。

所用的技术检测图象中的剪切和贴补边缘并根据看到的边缘部分即出现混淆进行滤波。

在图象产生中，输出图象是从两个输入图象的加权和中得出的。在一个输出时刻接近输入时刻时，图象基本上由随后的最接近的场产生。由于图象元素并未移远，所以最接近的场不太可能有很多位置裂痕。然而，其它场就十分可能有裂痕，但是，由于它在时间上离得更远，所以来自这一场的影响就小。在极限的情况下，如果输出图象与输入图象共同定时（co-timed），当输入图象产生100%的输出图象时，则输出图象中就没有裂痕。虽然在其它图象中有很多裂痕，但它们只产生0%的输出。

另外一个规则是用于停止所加的低通滤波器以使输出图象完美。根据这个规则，如果在属于一入输入图象的位移场中有一个裂痕，而且来自该图象的影响大于F%（F可设定为约20%，但对于特定的应用这可能是最佳的），则在输出图象中就有一个裂痕存在。

因此，在一个输出图象中可能看到裂痕的原因有三个：

1）在第一位移场有一个裂痕，而且其影响大于F%。

2）在第二位移场有一个裂痕，而且其影响大于F%。

3）在输出场中，在大于C%的交叉衰落因数中有变化。

由于任何一个原因都可能引起一个可见的裂痕，则假设低通滤波器是必须的。滤波器本身是一个非常小的孔，该孔典型地是2-3个象素宽度，而且边缘效应十分小，但是在削弱由于剪切和贴补而引起的显著裂痕方面却十分有效。

以前述的操作所描述的方法构成图象，此外，完整的图象还要经过一个3×5抽头的低通滤波器。一个开关信号以上述的方法获得并用于选择显著的未滤波的图象或较软化的滤波的图象。沿一个裂痕线的开关信号通常只有几个象素宽，如最多6个象素宽，因此，受气刷滤波器影响的图象区域是最小的。由于它可能仅仅影响2个或3个取样，所以要在图象清晰度上看到滤波器的影响是困难的。

图2表示了低通滤波器和开关的装置。

所述的系统可应用于利用运动补偿的任何系统。

图3表示出本发明的一个更复杂的实施例。该实施例检索5种不同类型的裂痕，如果检测到它们中的一种就进行软化。该5种类型是来自正向投影矢量场的数据中的x和y方向裂痕，来自反向投影矢量场数据中的x和y裂痕，最后是该图象的交叉衰落区域中的裂痕。因此示出了正向裂痕逻辑，反向裂痕逻辑，以及交叉衰落裂痕逻辑。

正向和反向投影矢量场以如下方法得到。将矢量分配给正向和反向投影的输入场的每个单元区域。然后把这些矢量分配给一个移位矢量场中的输出场的每个单元区域，这是通过把它们乘以到输出场的距离来进行的。因此，该移位矢量场包括一组未标度的矢量，其每一个都分配给输出场的单元区域。

一个正向投影的矢量场的x和y分量分别通过二维（2D）差分滤波器10和12。在每种情况下都产生一个信号，该信号的幅度依赖于分配给该图象的相邻单元区域（或象素）的矢量间的差别。

然后，将差分滤波器的输出在乘法器11和13中进行定标，乘法器将该差别与输出场至输入场的距离相乘。这就必须给裂痕一个实际幅度。差别中的任何符号变化则都在模数检测器15和17中除去。

一对阈值检测器14和16接收这些模数检测器的输出，而且若任一个输出高于阈值B，即已检测到高于预定值的一个裂痕，则在各个检测器的输出端产生一个控制信号。

两个检测器输出端上的控制信号通过或门18，如果由任一个检测器产生一个信号，则或门18就产生一个输出信号。

然后，或门的输出信号形成与门20的一个输入信号。与门20的另一个输入端接收输入场之间的交叉衰落因数。如果F1大于20%（F1是与由正向投影输入场产生的输出场的部分），则在检测到裂痕时，与门20将产生一个标为F的输出。

另外，2D滤波器22和24，乘法器21和23，模数检测器27和29，阈值检测器26和28，或门30，以及与门32都在反向投影矢量场上工作。对于反向投影场，差分滤波器22和27的输出信号都被1减距输入场的距离之差来乘，由反向投影矢量场产生的输出场的部分F2是（1-CROSSFADE    FACTOR）（或1-交叉衰落因数）。与门32有一个标为R的输出，R是在检测到一个裂痕时产生的。

由于在遮盖的和显露的背景图象中的运动，就在另一个2D滤波器34中检测到交叉衰落因数的变化。当超过阈值时，就从阈值检测器36产生出一个信号CF。

信号F，R和CF都从输入端输入到或门38，而且，它们中的任何一个出现时都产生一个控制开关40的一个输出信号，以通过一个气刷滤波器40（参看图2）转换一个输入视频信号。

使用的2D滤波器典型地是5抽头滤波器，而且对中心象素给一个加权4，对在x和y方向上的每个相邻象素给一个加权-1。

在一个更复杂的系统中，能够用滤波器检测裂痕在x方向和y方向上的突变幅值，并响应在突变方向提供平滑效果的气刷滤波器中的那些开关。

在所有的输出中，阈值检测器受到监测，而平滑滤波器根据突变的方向进行选择。如果突变只出现在x方向上，则平滑将只在x方向上进行。所用的平滑滤波器可参照一个检查表选择。

显然，对于本技术领域的普通技术人员来说，虽然本发明能以专用的硬件来实现，但它也能够仅以软件来实现。

Claims (7)

1、一种用于检测由多个输入场产生的运动补偿复合图象中的突变的方法，包括的步骤为：从至少一个输入场的时间投影中产生一个移位场和检测在该移位场中的瞬变。

2、按照权利要求1的方法，其中只检测大于一个预定阈值的瞬变。

3、按照权利要求1或2的方法，包括的步骤为：响应任何检测的瞬变的复合图象区域应用一个软化滤波器。

4、按照权利要求1，2，或3的方法，其中软化滤波器只加到从输入场检测的瞬变，该输入场比输出场的预定部分影响更大。

5、按照前述任何一个权利要求的方法，其中检测突变的方向。

6、按照权利要求4和5的方法，其中将软化滤波器加到依赖于突变方向的一个方向上。

7、按照前述任何一个权利要求的方法，其中移位场包括一个移位的矢量场。

Images