CN1381024A - 用于减少在mc向上转换中的晕圈的运动估算器 - Google Patents

Abstract

一种用于检测在前一个和下一个图像间的临时中间位置的运动的装置,该装置具有用于优化候选向量的准则函数的优化装置(1),由此该准则函数取决于来自前一个和下一个图像中的数据。在非覆盖和非裸露区域中的临时中间位置检测该运动。根据本发明该装置具有用于检测覆盖和裸露区域的装置(2)及其被设置为在覆盖区域的下一个图像的临时位置和裸露区域的前一个图像的临时位置执行优化的优化装置。

Description

用于减少在MC向上转换中的晕圈的运动估算器

本发明涉及一种用于检测在前一个和下一个图像间的临时中间位置的运动的方法，其中用于候选向量的准则函数被优化，所述函数取决于来自前一个和下一个图像中的数据，并且其中优化是在非覆盖和非裸露区域中的临时中间位置进行的。

从现有发明产生的基本观测数据表明，一种估算一个视频序列中的两个连续图像间的运动的估算器，在出现覆盖或裸露的区域并不能很好地执行，由于这种估算器是典型地用于信息只出现在两个图像中的任何一个的区域。因此即使是对于一个正确的向量块匹配器也总能找到最大的匹配误差。

本发明的目的就是要消除上述问题，概括来说就是在从前一个和/或下一个图像计算向量场方面的问题。

根据本发明，该目的通过在覆盖区域的下一个图像的临时位置和在裸露区域的前一个图像的临时位置执行优化来实现。

此外，本发明涉及一种用于检测前一个和下一个图像间的运动的装置，包括用于优化候选向量的准则函数的装置，所述函数取决于前一个和下一个图像中的数据，并且其中优化是在非覆盖和非裸露区域中的临时中间位置进行的，其中提供了用于检测覆盖或裸露区域的装置，并且优化是在覆盖区域的下一个图像的临时位置和裸露区域的前一个图像的临时位置进行的。根据本发明的方法及装置的实施例在附属权利要求中加以说明。

参考相关的附图将对本发明将作更详细地说明。

图1表示用于估算运动的方法的一个例子。

图2表示由于覆盖引起的模糊区域；

图3表示由于裸露引起的模糊区域；

图4表示重计时器的情况；

图5表示用于检测前景/背景的方法的一个实施例；

图6表示用于检测前景/背景的方法的另一个实施例；

图7表示用于检测前景/背景的方法的再一个实施例；

图8表示用于检测运动的装置的一个优选实施例；

图9表示一个前景/背景检测器的一个实施例；

图10表示一个前景/背景检测器的另一个实施例；

图11表示一个前景/背景检测器的再一个实施例；

图12表示包括在本发明中的一种图像显示装置；

本发明可以应用到各种技术领域。例如：图像频率转换，其中根据本发明的一种改进的向量场会导致一种更满意的，人工的任意视频流。该应用的典型设备就是TV和PC机。

3维不均匀性的分析，其中由滚动摄像机或从滚动景物中生成的图像。

根据本发明基于视频压缩的其中具有一种改进的向量场的运动会导致高质量的预测以及由此的较高的压缩率或改善的图像质量。在MPEG中的压缩就是一个例子。

根据本发明基于图像分析的其中具有一种改进的向量场的运动会导致目标的更可靠的提取和较容易的后期处理。例如：安全摄像视频分析，视频的特殊效果和通话分析。

在电视技术中的图像增强例如背景模糊的避免。

科学的应用，根据本发明其中具有一种改进的向量场会导致一种更好的数据分析。例如白云和海洋学的人造卫星图片。

可以认为，在覆盖的情况下当前图像中的所有信息存在于前一个图像中，而在裸露下一个图像的情况下，在一个裸露区域中，当前图像包含前一个图像(局部地围绕裸露区域)的所有信息。因此，通过修改匹配误差计算结果，由一个覆盖/裸露检测器来控制，例如在WO00/11863中公开的一种检测器，从匹配当前图像与运动补偿的前一图像(覆盖)到匹配前一图像与运动补偿的当前图像(裸露)，在估算器中的任何模糊都可以避免。这将会产生更加精确和一致的向量场和减少的晕圈。这种修改将在说明书的后一部分详细阐述。

作为这种动态改变匹配计算结果的一方面的影响，产生的清楚向量场迟早在某一时刻会不再有效，更不用说在发生向上转换的时刻了，但是这种“有效时刻”改变取决于考虑作为覆盖、裸露或简单的固定移动区域的区域。这种影响可以用本发明公开的第二部分来消除，在说明书的后部分加以说明。

下面将参照附图1来说明改善的运动向量计算结果，该运动向量计算结果使用全搜索块匹配运动估算器算法计算运动向量。该算法对于运动估算问题来说并不是一个非常划算的方法，但是却是更有效的一种方法。相同的原理在G.de Haan，P.W.A.C.Biezen，H.Huygen及O.A.Ojo的论文“3维递归搜索块匹配的实际运动估算”，发表在用于视频技术的电路和系统上的IEEE Tr.，第3卷，1993年10月，第368-388页，以及G.de Haan，P.W.A.C.Biezen的论文“3维递归搜索块匹配的子象素运动估算，发表在信号处理：图像通信6(1994)第220-239页中有所描述。在块匹配运动估算算法中，一个置换向量通过在一个搜索区域

内搜索一个相似块被指定到当前图像n中的一块象素

的中心 ，也可以定中心在 ，但是在前一个图像n-1中。该相似块有一个中心，该中心根据通过置换向量 中的

来变换。为了找到 ，通过使用误差约数

去量化块相似度来求解多个候选向量

。更正式地，定义CS^max作为一组候选向量

根据前一个图像的搜索区域

中的 来描述所有可能(通常为整数)的置换： ${\mathrm{CS}}^{\max }=\left\{\stackrel{\→}{C}\right|-N\≤C_x\≤N,-M\≤C_y\≤M\}----\left(1\right)$

其中N和M是限制

的常量。一个块 定中心在

，X比Y大很多，由当前图像n中的象素位置

组成，定义为： $B\left(X\right)=\left\{x\right|X_x-X/2\≤x\≤X_x+X/2X_y-Y/2\≤y\≤X_y+Y/2\}----\left(2\right)$ 由块匹配过程产生的置换向量

，是产生误差函数 的最小值的一个候选向量

$\stackrel{\→}{D}(\stackrel{\→}{X},n)\∈\{\stackrel{\→}{C}\∈{\mathrm{CS}}^{\max }|\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)\≤\mathrm{\ϵ}(\stackrel{\→}{V},\stackrel{\→}{X},n)\∀\stackrel{\→}{V}\∈{\mathrm{CS}}^{\max }\}----\left(3\right)$ 如果是通常的情形，具有最小匹配误差的向量

被指定到块 中的所有象素位置： $\∀\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right):\stackrel{\→}{D}(\stackrel{\→}{x},n)=\stackrel{\→}{D}(\stackrel{\→}{x},n)----\left(4\right)$

而不是只有中心象素，这样大大减少了计算量。

作为隐含，连续块

是不重叠的。对于给定的候选向量

的误差值是当前块中象素的亮度值以及从前一图像变换的块中象素的亮度值的函数，将块

求和。一种常规的选择，我们也将使用的是差(SAD)的绝对值求和： $\mathrm{\ϵ}(\stackrel{\→}{C},\stackrel{\→}{X},n)={\mathrm{\Σ}}_{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}|F(\stackrel{\→}{x}-\mathrm{\α}\stackrel{\→}{C},n-1)-F(\stackrel{\→}{x}+(1-\mathrm{\α})\stackrel{\→}{C},n)|----\left(5\right)$ 其中α为一个常量，0≤α≤1，确定两个图像间的临时位置，其中向量场必须有效。

图2更加清楚地表示出了对于所有可能发生的参考位置0≤α≤1。假定上线对应经由时间移动的前景目标边缘的位置。然后在后来的图像中，我们在速度向量边缘位置X_E(运动向量代替一个有效的空间变化的位置)的任一边上查找正确的前景或背景速度，但是我们越将参考位置移向过去的图像，模糊区域就变得越大，其中通过成像不可能找到正确的向量。由于所有的候选向量将有一个大的SAD值，求最小值很少选择某一个意味着结果向量场几乎不可能正确的候选向量。

类似地，从图3中我们可以知道对于裸露区域来说，如果我们将参考位置α定为0，会导致一个清楚的运动估算，换句话说我们将块从后来的图像投影到了过去的图像。对于固定的运动如果我们将参考位置α放在中间(例如α为0.5)，则没有误差产生。判定一个区域是覆盖区域或裸露区域可以根据从以前计算的向量场中的向量边缘的任何一边获得的运动向量的X_E分量的差的符号来作出。

本发明基于在例如覆盖的情况下的理解，存在于后来图像的封闭区域中和周围的所有象素块也可以在过去的图像中找到，然而，在过去的图像中有额外块，其并不存在于后来的图像中，因为他们被覆盖了。用于块匹配的参考位置放置的一个自然位置在后来的图像的临时位置，以后对于所有封闭区域中或周围的块来说，原则上都可以找到一个正确的运动向量。

从发生覆盖的区域的观测数据中作出改进，正确的运动向量可以仅以使用α＝1的估算器来估算。类似地，对于裸露区域只以使用α＝0的估算器来查找正确的向量。

计算用于中间临时场合的向量的向量估算器在覆盖和裸露时都有困难，最坏的情形是模糊区域比对于极限估算器还小。(最坏的情形是模糊区域对于使用α＝0.5的估算器是最小的)。图2和3列举了在模糊区域尺寸上α的结果。

第1步是改进用于覆盖和裸露位置的块匹配器，不管对于插入的图像的α所需的值，在由覆盖/裸露检测器指示为一个覆盖区域的情况下将等式5变换为： ${\∈}_c(\stackrel{\→}{C},\stackrel{\→}{X},n)=\mathrm{\Σ}\stackrel{\→}{x}\∈B\left(\stackrel{\→}{x}\right)|F(\stackrel{\→}{x}-\stackrel{\→}{C},n-1)-F(\stackrel{\→}{x},n)|----\left(6\right)$ 例如在WO00/11863中所述的，以及在裸露的情况下将等式5变换为： ${\∈}_c(\stackrel{\→}{C},\stackrel{\→}{X},n)=\mathrm{\Σ}\stackrel{\→}{x}\∈B\left(\stackrel{\→}{x}\right)|F(\stackrel{\→}{x},n-1)-F(\stackrel{\→}{x}+\stackrel{\→}{C},n)|----\left(7\right)$

在非封闭区域我们例如取α＝0.5，并将块从过去的和后来的图像双向投影到参考块位置，即在临时位置插入的图像中比较他们。对于覆盖块我们取α＝1，并将在后来图像中的一个块在其自己的位置与一个从过去的图像中用候选运动向量获取的块进行匹配。在图像的裸露区域我们取α＝0，换句话说我们将过去图像中的块与后来图像中的块相匹配。

有多种检测封闭或更具体的覆盖和裸露区域的方式。

覆盖/裸露检测器可以使用一个以前的向量场，或当前向量场的一个以前的计算结果(迭代)，或使用基于两个相邻图像间计算的匹配误差的估算的方法。

一种优选的覆盖/裸露检测器要考虑速度的符号。如果例如相邻的速度互相指向我们知道覆盖肯定会发生。因此其他情形可以分析并总结如下：

V_U-V_D＞δ(覆盖)

V_U-V_D＜-δ(裸露)

其中V_U为速度边缘X_E，V_D为低于边缘的速度，并且δ为一个较小的常量以避免噪声检测。这种方法及其稳固，因为它不依靠向量的具体数值。该方法将总是在边缘的任何一边具有或多或少的正确的向量值，即使该值是不正确的，它们的差仍是正确的。其次围绕预定边缘的一个很大的区域为“受保护的”，因为对覆盖及裸露分别的估算就像在前景FG区域如模糊三角形外部中的传统的估算(等式7)。这提供了对边缘X_E的位置偏移的坚决反对。

从转换α到0或1获得的优点，就是没有错误的向量从求最小化中产生，但是付出的代价是获得的向量不总是在正确的块位置。例如前景FG边缘(向量从背景BG改变为前景FG速度的块位置)在位置X_E处被找到，代替其实际位置U(见图2，图3)。这是由于匹配的时间不正确(例如α＝0代替α＝0.5)。

事实上获得的向量场在任何单计时时机都是无效的，但在三个不同的计时时机，取决于在图像中的位置，因此这种方法称为“三临时运动估算器”。通常向量场必须被重计时到所需的中间位置(例如α＝0.5)。在一个序列的具体情况中，前景FG目标是固定的，背景BG移到其后面，三临时向量场的无重计时是必要的，因为前景FG边缘并不移动(X_E＝U)。这种情况经常发生在摄像者跟踪主要目标处的膜材料中。

由于所计划的修改，对于运动估算器没有任何模糊，尽管我们牺牲了其中向量场为有效的正确的临时场合。

在算法的第二步中，重计时器，时间误差是被校正的。为此，向量场被‘投影’到所需的临时场合，例如在覆盖的时候向后投影： $D^{*}(\stackrel{\→}{x},n-1+\mathrm{\α})=D(\stackrel{\→}{x}+(1-\mathrm{\α})\stackrel{\→}{D}(\stackrel{\→}{x},n),n)----\left(8\right)$ 在裸露时向前投影： $D^{*}(\stackrel{\→}{x},n-1+\mathrm{\α})=D(\stackrel{\→}{x}-\mathrm{\α}\stackrel{\→}{D}(\stackrel{\→}{x},n-1),n-1)----\left(9\right)$

这种投影重新引入模糊区域，例如没有向量被指入的区域。这一模糊区域的起源是以一种估算不知道不连续性是否沿着图2中的线“a”或“b”移动，因此从例如在不连续性上的位置 获取的向量是背景向量，其应放在向上转换的向量场中的该位置，这是很重要的。在前一向量场的帮助下，可能判断两个可能的向量边缘的哪一个移动，及哪一个是背景哪一个是前景速度。

重计时器执行以下动作，它确定重计时发生在哪儿。它查找一个速度边缘X_E并围绕该边缘标记一个足够宽的封闭区域。第二它计算应该校正多少个块，通过将前景FG速度舍入到块精度。第三确定应该使用哪个重计时器校正动作。

此外重计时器在时间n-1+α通过从向量边缘

投影前景速度到清楚向量场来确定向量场中模糊区域的起始位置

。一个小的求精会导致中间向量场中的边缘的位置

不是从一个向量场估算的转换结果，而是作为在当前和前一向量场中的位置的加权(带α)平均值来计算。重计时器然后用前景或背景速度来填充

和

之间的空间，依靠前景区域( 的左或右)的边和前景速度的符号。对于这一工作策略，需要一种坚固的前景/背景判定策略。

制造了有八种不同的重计时器，取决于：

1、覆盖与裸露之比

2、前景FG速度的符号

3、背景FG是在速度边缘X_E的哪一边。如图4中所示，其中作为一个例子用于中间图像的α＝0.5。

图4的第一上部分涉及覆盖、边缘底部的前景FG和前景FG速度V_FG＜0的情况。在这种情况下，两个前景FG块应当被背景BG块替代(填充BG)。图4的第二上部分涉及覆盖、前景FG速度V_FG＞0和边缘底边的前景FG。只有一个背景BG块应当由前景FG块替代(填充前景FG)。图4的第三上部分涉及裸露、前景速度V_FG＜0及边缘底边的前景FG。在这种情况下只有一个背景BG块应当由一个前景FG块替代(填充前景FG)。图4的第四上部分涉及裸露、前景速度V_FG＞0及边缘底边的前景FG。在这种情况下只有一个前景FG块应当由一个背景BG块替代(填充背景BG)。图4的第一下部分涉及覆盖、前景FG速度V_FG＜0和边缘底边的背景BG。只有一个背景BG块应当由一个前景FG块替代(填充前景FG)。图4的第二下部分涉及覆盖、前景FG速度V_FG＞0和边缘底边的背景FG。只有一个前景FG块应当由背景BG块替代(填充背景BG)。图4的第三下部分涉及裸露、前景速度V_FG＜0及边缘上边的前景FG。在这种情况下只有一个前景FG块应当由背景BG块替代(填充背景BG)。图4的第四下部分涉及裸露，边缘顶边的前景FG及前景速度V_FG＞0。在这种情况下只有有一个背景BG块应当由一个前景FG块替代(填充前景FG)。请注意在图4的例子中中间图像在n+1/2，但很明显中间图像可以在距离前一图像α的位置，其中α可以改变。

重计时器需要知道围绕目标边缘的哪一个速度是前景哪一个是背景。借助于一个以前的运动向量场可以确定哪一个目标区域或速度属于前景哪一个属于背景。一个背景块是用于灰值象素和相关的速度向量在覆盖下消失的块。在前景/背景检测器中使用向量的一致性，因为它们被判定生成比基于约数的象素简化的更可靠的约数。

在图5所示的第一策略中，平均向量前景/背景判定，我们使用任意向量，其中k小于1，并且

和

为前景和背景目标在位置

处的速度，在覆盖情况下从前一向量场获取背景速度，在裸露情况下获取前景速度。使用的最安全的向量是平均向量

。更正规地，对于覆盖我们计算在前一图像对中的边缘的两个可能的

和 及在向量场n中的位置

的垂直边缘： ${\stackrel{\→}{x}}_a={\stackrel{\→}{x}}_E+\stackrel{\→}{D}(\stackrel{\→}{x}-\begin{array}{c}\left[\begin{array}{c}1\\ 0\end{array}\right],n\end{array})$ ${\stackrel{\→}{x}}_b={\stackrel{\→}{x}}_E+\stackrel{\→}{D}(\stackrel{\→}{x}+\left[\begin{array}{c}1\\ 0\end{array}\right],n)----\left(10\right)$

并获取存在于模糊区域前一向量场(覆盖)中的中间位置的向量： ${\stackrel{\→}{D}}_a(\stackrel{\→}{x},n)=\stackrel{\→}{D}(\frac{{\stackrel{\→}{x}}_a+{\stackrel{\→}{x}}_b}{2},n-1)----\left(11\right)$

如果我们需要填充插补向量场的模糊区域中的前景向量，我们在 和 中选择一个最不同于 的值。

该第一策略的一个变化形式是从后来的图像中获取用于裸露的背景向量： ${\stackrel{\→}{D}}_a(\stackrel{\→}{x},n)=\stackrel{\→}{D}(\frac{{\stackrel{\→}{x}}_a+{\stackrel{\→}{x}}_b}{2},n)----\left(12\right)$

同时： ${\stackrel{\→}{x}}_a={\stackrel{\→}{x}}_1-\stackrel{\→}{D}(\stackrel{\→}{x}-\left[\begin{array}{c}1\\ 0\end{array}\right],n-1){\stackrel{\→}{x}}_b={\stackrel{\→}{x}}_1+\stackrel{\→}{D}(\stackrel{\→}{x}+\left[\begin{array}{c}1\\ 0\end{array}\right],n-1)----\left(13\right)$

第二策略(见图6)，双边自速前景/背景判定，对于裸露使用，以背景速度投影到过去的图像的位置具有比以

投影要高的朝向前景区域的交叉可能性。当出现小的相对速度 或不正确估算向量场的情况时这是很有趣的。因为我们不知道先验哪一个速度是背景速度，我们以其自己的速度

投影两个位置在边缘的任一边。正如我们看到的理想情形，较低速度从在n中的背景速度变到n-1中的前景速度。在n的前景中的一块投影到n-1中的前景的可能性是很高的，以致对于实际原因我们会考虑它作为1。所有其他可能的判定结果如表1中所示。

表1

上块实际为：	前景	背景
			上块判定结果	FG	FG或BG
下块判定结果	FG或BG	FG

在两种投影产生相同(前景)的向量的情况下，我们有一个确定的判定。如果该向量等于上块的向量，则该向量为前景速度向量，反之亦然。在向量不同时，此方法不能成功，并产生一个不确定的判定。对于覆盖的情形可以使用一种类似的向后来的图像映射。

第三策略(见图7)，边缘投影前景/背景判定，检查例如覆盖前一图像n中的 和

之间的边缘是否在存在于位置a或b(见图2)。如果在位置a检测到该边缘，则

，反之亦然。应当注意n-1中的速度与n中的相同，由于在投影的邻近区域可能出现其他速度边缘。显然背离用裸露替代覆盖、用后来替代过去而使用的原则。

应当注意通过插入匹配误差可以增强策略。当出现前景区域的一个交叉时，在该块中向量的匹配误差会降低。当我们投影到一个背景区域，该区域错误地分配一个前景向量到前一个图像中时，误差会比较高。

在图8中表示根据本发明一个实施例的用于在前一个和下一个图像间的临时中间位置检测运动的一个设备。该设备包括装置1，用于对候选向量的准则函数进行优化，该函数取决于来自前一个和下一个图像中的数据。这种优化装置可以如G.de Haan，P.W.A.C.Biezen，H.Huygen及O.A.Ojo的论文“3维递归搜索块匹配的实际运动估算”，发表于用于视频技术的电路和系统上的IEEE Tr.，第3卷，1993年10月，第368-388页描述的来实现。将一个图像信号J用于对候选向量的准则函数进行优化的装置1的输入，而在装置1的输出可以得到一个运动向量MV。

所述图像信号E也提供给用于检测覆盖/裸露区域的装置2，其输出与用于优化候选向量的准则函数的装置1相连。所述用于检测覆盖/裸露区域的装置2可以是例如WO00/1863中公开的。

用于优化候选向量的准则函数的置1提供有开关装置，由用于检测覆盖/裸露区域的装置2控制，在非覆盖和非裸露区域的临时中间位置执行装置1的优化，反之在覆盖区域的下一图像的临时位置和在裸露区域的前一图像的临时位置执行优化。

前一图像通过分数α乘以候选向量来转换，下一图像通过1-α乘以候选向量来转换，分数α可以在图像周期内改变。上述准则函数是极小化的一个匹配误差。所述匹配误差也是分数α的一个函数。

用于优化匹配误差的装置设置成分数α由匹配过程中的覆盖/裸露检测器控制。最好在覆盖情况下设置分数α为1，在裸露情况下设置为0。

用于检测覆盖/裸露区域的装置2选定前一图像中的数据为当前估算中的分数α。

图像信号J还应用到前景/背景检测器4，其输出控制重计时器3。重计时器3的输出与用于优化准则函数的装置1相连。

重计时器3确定图像信号中的速度边缘X_E，并围绕所述边缘标记一个封闭区域。该重计时器3根据该封闭为一个覆盖或裸露区域、前景速度的符号和前景在速度边缘X_E的哪一边来控制用于优化的装置1以便在所述封闭区域中用背景速度替代前景速度或者由前景速度替代背景速度。

在图9中示出了根据本发明的前景/背景检测器的一个实施例。该检测器包括提供图像信号J给其的计算装置5和6，用于执行速度边缘的位置 的计算。计算装置5通过在边缘的一边通过第一向量转换

来计算前一(覆盖)或下一(裸露)图像的第一位置

，计算装置6通过在边缘的另一边通过第二向量转换 来计算前一(覆盖)或下一(裸露)图像的第二位置 。前一或下一图像的选择通过覆盖/裸露检测器7来执行，很明显对于这种检测器可以使用图1中的用于检测覆盖/裸露区域的装置2。

计算装置5和6的输出与计算装置8的输入相连，计算

和

之间的第三中间位置。

图9中的前景/背景检测器还提供有获取装置9，其一个输入与用于计算第三位置的装置8的输出相连，另一个输入提供有图像信号J。从获取装置9的输出可以得到背景速度V_BG。获取装置9从前一(覆盖)或下一(裸露)图像中获取第三位置背景向量速度。该向量被填充在边缘环境中图像的那些区域，没有向量被投影，在背景向量 应当被填充而在 和

之间选择了最不同于

的向量来填充的情况，在一个前景向量 应当被填充的情况。根据另一个确立，第三中间位置为

前景/背景检测器的另一实施例如图10所示。该检测器包括投影装置10，11其输入提供有图像信号J。这些投影装置10，11由覆盖/裸露检测器12控制，该检测器也提供有图像信号J。所述检测器12可以由图1所示的用于检测覆盖和覆盖区域的装置2替代。覆盖/裸露检测的控制操作为投影装置10投影速度边缘的一边的位置到前一(覆盖)或下一(裸露)图像，投影装置11投影速度边缘的另一边的位置到前一(覆盖)或下一(裸露)图像。识别装置14与投影装置10和11相连，在其输出可以获得背景速度

和前景速度 。该识别装置14识别作为一种穿过速度不连续性并投影到前一图像中的一个前景速度的速度，反之一个前景速度投影到其自身。

更可取地，一个检查装置13与投影装置10，11相连，该装置检查两个投影是否产生相同的向量。如果是，识别确定。

在图11中示出了前景/背景检测器的又一实施例。该检测器也由覆盖/裸露检测器17控制，其也可以由图1中用于检测覆盖/裸露区域的装置2替代。在图11的检测器中一个图像信号J被提供给投影装置16的输入，其在覆盖裸露检测器的控制下投影不连续性到填充在覆盖位置的前一向量和裸露位置的后来的向量场。此外，提供了用于确定不连续性一边的速度的装置18和用于确定不连续性另一边的速度的装置19。装置18和19输出的确定速度提供给测试装置20。所述测试装置20与用于检测边缘是否通过在不连续性一边的第一向量移动或通过不连续性另一边的第二向量移动的投影装置16相连。检测装置20发送背景向量

，如果不连续性以第一(第二)向量移动，其背景向量为第二(第一)向量。

此外填充装置与测试装置20相连，该填充装置填充第一(第二)向量在不连续性环境中投影向量场的那些区域，没有向量被投影，在一个前景向量应当被填充而填充了其他向量的情况，在一个背景向量应当被填充的情况下。

图12表示一种图像显示装置。该装置包括一个用于检测前一和下一图像间的临时中间位置的运动向量的装置21。一个图像信号J被提供给装置21，也提供给用于在前一和下一图像间插入图像部分的装置22。在装置21的输出检测的运动向量被提供给插入装置22的输入。插入装置22的输出用于阴极射线管23。用于检测一个运动向量的装置可以根据上述装置之一来实现。

Claims (25)

1.用于检测在前一个和下一个图像间的临时中间位置的运动的方法，其中用于候选向量的准则函数被优化，所述函数取决于来自前一个和下一个图像中的数据，并且其中优化是在非覆盖和非裸露区域中的临时中间位置进行的，其特征在于优化是在覆盖区域的下一个图像的临时位置和在裸露区域的前一个图像的临时位置执行的。

2.根据权利要求1的方法，其中前一图像通过分数α乘以候选向量来转换，下一图像通过1-α乘以候选向量来转换，分数α可以在图像周期内改变。

3.根据权利要求1的方法，其中准则函数是一个被最小化的匹配误差。

4.根据权利要求2的方法，其中分数α在匹配过程中由一个覆盖/裸露检测器控制。

5.根据权利要求4的方法，其中分数α在覆盖时设置为1，在裸露时设置为0。

6.根据权利要求4的方法，其中覆盖/裸露检测器选定前一图像中的数据为当前估算中的分数。

7.根据权利要求1的方法，其中确定一个速度边缘X_E，围绕所述边缘标记一个封闭区域，并且在所述区域中根据该封闭区域是覆盖/裸露区域、前景速度的符号和前景在速度边缘X_E的哪一边来由背景速度替代前景速度或正好相反。

8.根据权利要求7的方法，其中在速度边缘的位置

●在边缘的一边通过第一向量转换

来计算前一(覆盖)或下一(裸露)图像的第一位置

●在边缘的另一边通过第二向量转换

来计算前一(覆盖)或下一(裸露)图像的第二位置

●计算

和

之间的第三中间位置

●最后，在前一(覆盖)或下一(裸露)图像中的第三位置用 获取的向量被填充在边缘环境中图像的那些区域，没有向量被投影，在背景向量 应当被填充而在

和 之间选择了最不同于

的向量来填充的情况，在一个前景向量

应当被填充的情况。

9.根据权利要求8的方法，其中中间位置为

10.根据权利要求7的方法，其中一个背景速度被识别作为一个穿过速度不连续性并投影到前一图像中的一个前景速度的速度，反之一个前景速度投影到其自身。

11.根据权利要求7的方法，其中检测附近的边缘是否通过该边缘一边的第一向量移动，或通过该边缘的另一边的第二向量移动，在该边缘以第一(第二)向量移动时，填充第二(第一)向量在该边缘环境中投影向量场的那些区域，没有向量被投影，在一个背景向量 应当被填充而填充了其他向量的情况，在一个前景向量

应当被填充的情况。

12.根据权利要求10的方法，其中通过该块中向量的匹配误差来检验前一图像中从一个背景区域到一个前景区域的交叉。

13.用于检测在前一个和下一个图像间的临时中间位置的运动的装置，所述函数取决于来自前一个和下一个图像中的数据，其中优化是在非覆盖和非裸露区域中的临时中间位置进行的，其特征在于提供有用于检测覆盖/裸露区域的装置(2)，并且优化是在覆盖区域的下一个图像的临时位置和裸露区域的前一个图像的临时位置进行的。

14.根据权利要求13的装置，其中前一图像通过分数α乘以候选向量来转换，下一图像通过1-α乘以候选向量来转换，分数α可以在图像周期内改变。

15.根据权利要求13的装置，其中准则函数是一个被最小化的匹配误差。

16.根据权利要求14的装置，其中分数α在匹配过程中由一个覆盖/裸露检测器控制。

17.根据权利要求16的装置，其中根据权利要求4的方法，其中分数α在覆盖时设置为1，在裸露时设置为0。

18.根据权利要求16的装置，其中覆盖/裸露检测器(2)选定前一图像中的数据为当前估算中的分数α。

19.根据前述任何一个权利要求的装置，其中确定一个速度边缘X_E，围绕所述边缘标记一个封闭区域并且在所述区域中根据该封闭区域是覆盖/裸露区域、前景速度的符号和前景在速度边缘X_E的哪一边来由背景速度替代前景速度或正好相反。

20.根据权利要求19的装置，其中提供有计算装置(5，6，8)，用于在速度边缘的位置

●在边缘的一边通过第一向量转换 来计算前一(覆盖)或下一(裸露)图像的第一位置

●在边缘的另一边通过第二向量转换

来计算前一(覆盖)或下一(裸露)图像的第二位置

●计算

和

之间的第三中间位置。

●最后，在前一(覆盖)或下一(裸露)图像中的第三位置用

获取的向量被填充在边缘环境中图像的那些区域，没有向量被投影，在背景向量 应当被填充而在 和

之间选择了最不同于 的向量来填充的情况，在一个前景向量 应当被填充的情况。

21.根据权利要求20的装置，其中其中中间位置为

22.根据权利要求19的装置，其中提供了用于投影边缘的任一边的两个位置到前一(覆盖)或下一(裸露)图像的装置(10，11)，其中一个背景速度被识别作为一个穿过速度不连续性并投影到前一图像中的一个前景速度的速度，反之一个前景速度投影到其自身。

23.根据权利要求19的装置，其中提供了用于检测附近边缘是否通过该边缘一边的第一向量移动，或通过该边缘的另一边的第二向量移动的装置(20)，在该边缘以第一(第二)向量移动时，填充第二(第一)向量在该边缘环境中投影向量场的那些区域，没有向量被投影，在背景向量

应当被填充而填充了其他向量的情况，在前景向量 应当被填充的情况。

24.根据权利要求22的装置，其中提供了用于通过该块中向量的匹配误差来检验前一图像中从一个背景区域到一个前景区域的交叉的检验装置。

25.图像显示装置，包括根据权利要求13的用于检测运动的检测装置(21)，与所述检测装置(21)相连用于插入图像部分的装置(22)和一个与插入装置相连的显示装置(23)。

Images