CN1615651A - 确定图像序列中背景的运动 - Google Patents

Abstract

确定一个场景的图像序列中背景成像的运动。用通过组合若干个连续图像建立的像素组成合并图像。和合并图像一起，计算变化图像，变化图像表示在合并图像中对相同区域起作用的连续图像之间产生的差异与位置相关的范围。搜索输入图像中和合并图像中对应区域。这根据变化图像完成，从而发现在合并图像中的一个区域的可能性更小，这取决于该变化图像指示区域的可变化性更大，例如通过选择，为了搜索合并图像中的区域，将搜索输入图像中的对应区域。根据对应区域的位置确定背景的运动。

Description

确定图像序列中背景的运动

本发明涉及一种用于确定图像序列中背景的运动的方法和装置。这样的运动包括例如背景的平移和/或旋转。本发明尤其涉及一种用于确定一个场景的图像序列中背景成像的运动的方法，该方法包括步骤

-存储来自图像序列一部分的位置相关的图像信息；

-根据有关区域中的图像内容的一致性，分别从序列的输入图像和图像信息中，选择第一和第二区域之间的对应性；

-分别由输入图像和图像信息中第一和第二区域的位置确定运动。

在记录一个场景的图像序列时，摄像机相对于场景的运动(例如，平移和/和旋转)经常发生。因此，在连续图像中成像的物体和这些物体的背景所在的位置将在图像和图像之间改变。

对于各种应用来说，有必要确定这些运动。这种应用的一个例子是消除摄像机的晃动运动的影响。这需要确定晃动运动的大小。例如，这应当从图像中场景的背景运动中确定。

美国专利号6,005,639公开了一种用于确定视频信号中一幅图像与下一幅图像中背景和物体运动的技术。为此，计算对于连续图像中可能对应区域的图像内容之间的差异的量，同时不同图像中区域的位置彼此不同，相差一个位移。引起对于该差异量的最小值的一个位移用作该区域中成像的物体或背景的位移向量。

物体相对于背景的运动引起该技术中的一个问题。这是因为作为这种运动的结果，每种情况下图像中背景部分被覆盖，或者反过来出现。这种运动能够是摄像机运动中透视效果产生的物体“实际”运动或表面上的运动的结果。

美国专利号6,005,639通过使用四个连续图像和那些图像中一系列不均匀放置的区域解决了该问题。即，每种情况下紧接着的连续图像中区域的位置差异对应于相同的位移向量。如果所有这些区域中区域的图像内容差别很小，位移向量用作物体或背景的位移向量。一种不同的情况是，序列中少量图像中区域之间图像内容差别很小，但是该序列中其他一个或多个图像区域中图像内容差别大很多。在这种情况下，图像内容明显地在一个或多个其他图像中覆盖，虽然如此位移向量也能够用作物体或背景的位移向量。

因此，背景的覆盖效果受到控制。但是，这是在假定背景和物体运动不均匀的条件下做出的。该假定不总应用于晃动运动。而且，该假定限制了美国专利号6,005,639的技术可使用的图像序列的长度。美国专利号6,005,639使用四个连续图像。不能使用很大的数量，是由于均匀运动的风险，也因为为此需要大量存储器容量。因此，上述技术不适用于发生更加延长的覆盖情况的图像。

本发明的目的是提供一种用于确定场景的图像中背景运动的方法和装置，同时该方法和装置在暂时覆盖背景时继续可靠地操作、并且不需要用于若干个图像的序列的存储器。根据本发明的方法的特征在于该方法包括步骤：

用通过该序列的若干多个图像的合并产生的像素组成一个合并图像；

确定一个变化图像，它表示合并图像中对相同像素起作用的图像序列的像素的图像内容之间的差异的位置相关的范围；

其中，根据该变化图像执行选择对应性，从而取决于变化图像指示在一候选区域中像素的可变性更大，使得在该候选区域被选为对应性中第二区域的可能性更小。

因此合并若干个图像的一个序列，以形成一个总体合并图像，并且该合并图像用一变化图像补充，该变化图像指示来自图像序列的区域不同于对合并图像中相同像素起作用的图像序列的位置相关的范围(这能够在每个像素或每组像素或例如每个区域的变化图像中完成)。在该上下文中，“图像”被理解为表示任何形式的位置相关信息，而不管位置范围或分辨率。合并图像和变化图像与来自图像序列的图像相比通常进一步扩展。

变化图像用于搜索合并图像中的对应区域和来自图像序列的一个输入图像。这样做时，如果第二区域是高度可变，则不使用合并图像中的第二区域。

这样，当使用相对于成像场景移动的摄像机时，对于运动确定，确保对其内容是背景的成像的区域给予优先。在摄像机位移的情况下，来自前景的物体成像将比背景运得更快。这造成前景物体成像的区域的高可变化性。结果，由于本发明，将使这些区域的使用的可能性更小。

用于运动确定的对应性的第二区域对低可变化性区域的限制能够以不同的方式执行。在第一实施例中，从合并图像预先选择将搜索输入图像中对应区域的区域。执行从输入图像中选择区域，其准则是，当根据用于该区域的变化图像，该区域的可变化性分别低于或高于一个阈值时，根据变化图像的内容、将选择或不选择合并图像中的相同区域。(顺便说一下，该阈值不需要明确计算：它实际上能够与合并图像中其他区域的特性做比较而产生。)在区域的选择中，该准则的加权可以只包括可变化性，但是其他因数也可以包含加权，比如在有关区域中的反差、与在前图像中可见区域的距离等。因而，根据这些因素，表示选择或不选择之间区别的可变化性的阈值对每个区域可以不同。

在另一个实施例中，例如，可变化性可以包含加权，在确定区域之间的一致性对应于图像内容中的最小差时，使得例如当根据图像的变化图像、第二区域的可变化性低于或高于一个阈值时(这里，阈值也不需要明确)，特定的第一和第二区域之间的对应性看作最小，或者不是最小。

优选的是，在若干个步骤中执行运动的确定，首先是一个粗略步骤，其中来自合并图像的临时第二区域与来自输入图像的区域匹配，接着是改进步骤，其中来自合并图像的确定的第二区域与来自输入图像的区域匹配。接着在改进步骤中，只使用来自合并图像的区域，其在粗略步骤接下来的运动中与输入图像的偏差不是很大。

合并图像最好在输入图像的基础上每次更新，例如它被成像在合并图像上作为运动的结果。最好，合并图像以位置相关形式被更新更小强度，根据变化图像表示合并图像局部可变化性更小。这防止了合并图像由于背景的暂时覆盖被强烈干扰。

根据本发明的方法和设备的这些和其他目的和优点将参照以下附图进一步说明。

图1表示一个图像处理设备。

图2表示一个输入图像。

图3表示一个镶嵌图像。

图4表示根据本发明的方法的流程图。

图1表示一个图像处理设备。该设备包括一个摄像机10、一个输入存储器11、一个镶嵌存储器12、一个搜索单元13、一个分数存储器14、一个处理器15，一个镶嵌更新单元16、一个变化图像存储器17和一个变化图像更新单元18。

尽管该设备用分开的功能单元表示，但是很明显的是，实际上可以由不同程序编程的相同硬件在更大或更小的范围上实现不同的功能单元，比如处理器15、搜索单元13和更新单元16、18。而且，不同存储器11、12、17可以被部分地或全部地实现在单个较大存储器的不同区域中。

图2表示摄像机10的一个输入图像20的一个例子。这样的一幅图像包含，例如，720×576像素。图3表示镶嵌存储器12中镶嵌图像30的一个例子。镶嵌图像30通常比输入图像更全面(例如，是它的四倍大，1440×1152像素)，但不包含或在更小的范围上包含相对于背景24移动的物体22、26的成像。通过说明，对应于输入图像20的周围的帧32被表示在镶嵌图像30中。帧中缺少的部分是位于前景中的一个灌木26和一个柱子22，其在摄像机10的均匀位移的情况下不进入画面中相对于背景固定的位置。

摄像机10具有一输出端，耦合到用于保存输入图像20的输入存储器11的输入端，输入图像由摄像机记录到输入存储器11。输入存储器11和镶嵌存储器12具有连接到搜索单元13的输入端的输出端，用于从输入存储器11和镶嵌存储器12向搜索单元13提供图像信息。

处理器15具有连接到输入存储器11和镶嵌12的输出端，控制从镶嵌存储器12的哪些区域发送到搜索单元13。处理器15具有连接到变化图像存储器17的输入端，用于从变化图像接收信息。处理器15被设置以在来自变化图像的信息的基础上控制第二区域的选择。

从镶嵌存储器12中，处理器15选择的来自镶嵌图像30的一个区域的图像信息被提供到搜索单元。搜索单元13被安排从图像存储器11搜索输入图像20，尽可能找到其内容与从镶嵌图像30提供的区域相匹配的对应区域。搜索单元13具有连接到处理器15的输出端，传递输入图像中找到的区域的位置到处理器15。处理器具有连接到更新单元16、18的控制输入端的输出端。

更新单元16、18具有连接到输入存储器11和镶嵌存储器12和变化图像存储器17的输入端。更新单元16、18具有连接到镶嵌存储器12和变化图像存储器17的输出端。

图4表示说明图1的设备的操作的流程图。在第一步骤41中，摄像机10记录输入图像10，它保存在输入存储器11中。在第二步骤42中，处理器15从保存在镶嵌存储器12中的镶嵌图像30选择多个区域。区域的一个例子是32×32像素的矩形区域。

在第三步骤43中，处理器15使镶嵌存储器12提供来自镶嵌存储器12中的镶嵌图像30选择区域的内容到搜索单元13。搜索单元13从输入存储器11中的输入图像20中搜索一个内容与镶嵌图像30的选择区域最匹配的区域。

本发明不依赖于搜索单元13搜索使用的技术。公知的所有技术，例如，块匹配技术在此是适用的。一种选择是，例如确定输入图像中不同的候选区域的相对于从镶嵌图像30选择的区域的偏离分数，此后选择具有最低偏离的区域。原则上，有可能从输入图像20中所有可能位置搜索区域，或者在相对于镶嵌图像30的先前输入图像的运动基础上，从能够预测的输入图像20中一个位置范围的镶嵌图像搜索每个区域，从中选择用于比较的区域。

在第四步骤44中，处理器15检查从镶嵌图像所有选择的与输入图像20匹配的区域是否已经搜索到，如果没有搜索到，对下一个区域执行第三步骤43。当已经找到对镶嵌图像30所有与输入图像20匹配的区域时，执行第五步骤45。

在第五步骤45，处理器15对镶嵌图像的每个区域确定输入图像20将放置在镶嵌图像30上的位置，以具有镶嵌图像上面的区域的输入图像20选择的区域。从处理器15确定镶嵌图像中不同区域的多个位置，处理器15继续计算总的运动。运动能够单独包含一个平移(移位分量)或一个旋转分量。原则上，输入图像20的每两个区域的移位继续旋转或平移，而单个区域的移位只继续旋转。由于优选使用镶嵌图像30的两个以上的区域，能够计算若干个平移和/或旋转值。通过平均或取中值，或者以不同的方式，确定一个平移和/或旋转。

在一个实施例中，在第五步骤中，处理器15继续采用改进步骤，其中找到的全部平移和/或旋转用于再次从镶嵌图像30中选择许多区域，但现在限于那些第二区域，即在找到的全部平移和/或旋转处或附近，那些第二区域与输入图像20的不同小于一个阈值。(这里，能够再次用优先权选择一个较低可变化性区域)。这样做避免的是从输入图像中覆盖的镶嵌图像的背景部分的使用。

而且，如果必要，输入存储器11中的输入图像20按照找到的旋转进行旋转。用新选择的区域，处理器用诸如第二步骤42和前述部分的第五步骤45的步骤再次计算全部位置，但现在的计算更精确。

在第六步骤46，处理器15继续向更新单元16、18发送命令，在选择所有位置更新镶嵌存储器12和变化图像存储器18的内容。接着，处理器对下一个输入图像20重复从第一步骤41开始的步骤。

在第二步骤42，处理器15在保存在变化图像存储器17的变化图像的内容基础上控制镶嵌图像30中区域的选择。变化图像表示每个像素或每组像素作为位置的函数，对不同的输入图像20的像素的范围，输入图像被成像在镶嵌图像上并位于不同的输入图像之间受到变化的相应位置或每组位置上。

镶嵌图像30的一个区域中像素的可变化性越大，处理器15将越不容易在第二步骤42中选择有问题的区域。因而，处理器15在第五步骤45中对最小差的搜索的成对区域组限于具有低可变化性的镶嵌图像30中的一组区域。结果，找到的对应性可靠性被增强，并且确定差异所需要的大量计算也通过只看镶嵌图像30有限数量的区域而受到限制。

在第二步骤42的第一实施例中，处理器15首先选择在整个镶嵌图像30上均匀分布的多个候选区域。接着，处理器15对于来自变化图像存储器17读出有问题的区域的可变化性范围有多大。处理器继续选择预定数量的区域，这些区域与所有其它区域相比可变化性更小，并在第三步骤43中使用这些区域。

在另一实施例中，区域的选择由其他因素联合确定，比如有关区域的反差的测量，或者有关区域的位置与在前一个输入图像20成像在其上的镶嵌图像30的部分32的距离。对这些因素中的每一个，处理器15计算分数，并把这些分数加到诸如从变化图像存储器17的内容中出现的可变化性范围中。接着，在第二步骤42中，处理器15选择分数总和最小的那些区域。反差越大反差的分数越低(这表现更适于运动检测的区域，此外还表示问题区域清晰)，距离越短对距离的分数越低，并且可变化性越大，加到这些分数中的可变化性范围越大。因此，具有最高反差(清晰)、接近于前一输入图像或在前一输入图像中并具有低可变化性的镶嵌图像的区域更适合用在第三步骤43的比较中。因而，实际上，在这些因素的基础上，调整有关区域的可变化性必须低于且将被选择的一个阈值。

通常，在第二步骤中，处理器15利用选择算法，该算法中来自镶嵌图像的一个区域，与其他区域相比，具有更多被选择的机会，这取决于有关区域的可变化性更小。

在第六步骤46，更新单元16、18更新镶嵌存储器和变化图像存储器的内容。在找到的平移和/或旋转的基础上，确定输入图像的哪些像素位置成像在镶嵌图像的哪些像素位置上(或哪些像素的组合成像在一个位置上)。在输入图像成像的位置上，更新镶嵌图像。对于镶嵌图像，例如，通过使用每个图像的特定加权因子(例如，对输入图像20为0.1和对镶嵌图像为0.9)互相平均化输入图像20和镶嵌图像30，完成这一过程。在一个实施例中，用于镶嵌图像的更新单元16根据变化图像的内容，通过取决于在那一点的镶嵌图像30的可变化性越小就给出输入图像20越小的加权来选择加权因子(加权因子能够例如根据可变化性的预定函数，如线性函数变化)。因而，包含一个背景成像的镶嵌图像30的一部分重写的效果更小。因此，以这种方式，不包含任何背景(高可变化性)的镶嵌图像30的部分变化得更快。

用于变化图像的更新单元18计算镶嵌图像30和输入图像20之间的差(例如对应像素位置上的像素值之间的差的绝对值)，并在计算的差的基础上更新保存的可变化性。这能够例如通过根据差值是低于还是高于一个阈值(以选择性地限于预定的最小值和最大值之间的一个范围的可变化性)以固定的量增加或降低可变化性。而且，通过平均化确定可变化性有可能能够用一个加权因子完成，从而旧的可变化性图像执行比新计算的可变化性值更大的平均加权。这里，加权因子能够依赖于局部可变化性设置，从而旧的变化值承载更多的加权，这取决于它更小。

尽管已经参照用于确定背景运动的特定技术说明了变化图像的使用，但是很明显，变化图像不限于该技术。因而，例如，一个人能够首先选择输入图像的区域，接着继续搜索镶嵌图像中的对应区域。根据本发明，能够接着使用变化图像，以确定考虑镶嵌图像中的哪些区域，从而考虑低于一个特定可变化性的一个和相同的区域，并且不考虑高于一个特定的可变化性。

而且，不管各区域的可变化性怎样，都能够考虑镶嵌图像中的区域，此后镶嵌图像和输入图像中区域的内容之间的差的分数接着根据镶嵌图像中问题区域的可变化性进行加权，从而可变化性越大，分数则表示越大的差异。从而更有可能表现镶嵌图像的低可变化性区域用于最佳对应区域的成对选择。

最好保存镶嵌图像、变化图像和输入图像，从而问题图像中像素的位置遵循该像素的内容保存在存储器中的地址。因而，图像中特定区域的选择对应于存储器中地址的数量，关于问题图像的信息从存储器中找回。而且，位移向量对应于一个存储器中的第一到另一个存储器中的地址的平移。但是，不背离本发明，图像的信息也能够以不同的方式保存，例如以像素位置和地址之间没有固定关系的压缩形式。

尽管以上没有进一步的寻址，也有可能补偿摄像机10的旋转。最好，该输入图像的旋转从前一个输入图像预测，并且根据预测角旋转的输入图像保存在输入存储器11中。因而，消除了摄像机旋转的影响。但是，在不偏离本发明的情况下，该影响也可以通过根据搜索单元13的预测旋转而旋转镶嵌图像中选定区域中的图像信息，或通过合并搜索单元13本身中的这一旋转来消除。甚至在搜索单元13的搜索期间，有可能搜索输入图像和引起偏离图像内容最小的镶嵌图像之间的旋转。确定了平移和旋转后，镶嵌图像按照找到的旋转和平移被更新。

而且，有可能有不同的改进方式。因而，在第五步骤45，输入图像或镶嵌图像能够在两幅图像的粗略运动确定和比较后，在再次搜索两个图像中对应区域的搜索之前，对诸如自动增益控制的摄像机影响进行校正。而且，随着摄像机在一个特定方向上进一步移动，将需要每次清除包含从输入图像移动的最远的镶嵌图像30一部分的镶嵌存储器12的一部分，这将建立将进入视野的新背景部分的空间。而且，除了变化图像，还能够更新‘陈旧图像’，它表示镶嵌图像中的信息多久没有刷新过。以这种方式，能够控制镶嵌图像30的区域选择，从而使用“旧”区域的可能性更小，由于这样部分中的背景已经改变的机会更大，这取决于它已被覆盖得更长。

还很显然的是，变化图像能够用于与单独确定运动不同的其他应用。因而，变化图像也能够用于压缩目的，或用于图像滤波的位置相关控制或其他图像处理操作。

但是，一个主要的应用是视频图像输出序列的产生，视频图像每个都根据视频图像的一个输入序列的下一个图像，但是是在输入图像上摄像机的晃动运动影响消除之后。这里，根据本发明，晃动运动的幅度等在上述运动检测的基础上确定。

产生这样的给出检测运动的发出序列的技术本身是公知的。例如，在输入图像中，每次在那些输入图像内的可变位置选择一个窗口。窗口位置这样选择，根据背景计算的运动，每次不同图像中选择的窗口包含关于选择的窗口的边界基本上相同位置的背景的相同部分。可选择的是，这里不补偿运动的低通滤波分量。

每次选择的窗口中输入图像的部分在图像的输出序列中形成一个图像。为此，该设备最好包括连接到输入存储器和处理器的一个输出单元，安排用来在由处理器产生的背景的运动估计基础上选择用于每个输入图像的窗口和从对那个输入图像选择的窗口中的输入图像读出图像信息，用于作为输出图像输出。在一个实施例中，窗口只根据平移设置，但最好窗口也根据测量的背景旋转进行旋转。

Claims (10)

1、一种用于确定一个场景的图像序列中背景成像的运动的方法，该方法包括步骤：

保存来自该序列的一部分的图像的位置相关图像信息；

根据有关区域中的图像内容的一致性，分别由来自该序列的输入图像和图像信息选择第一和第二区域之间的对应性；

分别由在输入图像中的第一和第二区域的位置和图像信息确定该运动，

其特征在于，该方法包括步骤：

用通过该序列的若干个图像的合并产生的像素组成一个合并图像；

确定一个变化图像，它表示对合并图像中相同像素起作用的图像序列的像素的图像内容之间有差异的位置相关的范围；

其中，根据该变化图像执行选择对应性，从而取决于该变化图像表示一候选区域中像素的可变性更大，使得该候选区域被选为在该对应性中第二区域的可能性更小。

2、根据权利要求1的方法，其中选择对应性包括步骤：

根据候选区域的变化图像的内容，由该合并图像中的若干个候选区域选择第二区域；

基于选择的第二区域，随后在输入图像中搜索第一区域。

3、根据权利要求1的方法，其中选择对应性依次包括步骤：

根据候选区域的变化图像的内容，由该合并图像中的若干个候选区域选择一个临时第二区域；

基于选择的临时第二区域，在输入图像中搜索临时第一区域；

分别由输入图像中的临时第一区域和临时第二区域的位置和该图像信息确定临时运动；

在施加临时运动后、在该合并图像和输入图像之间的差低于一个阈值的若干位置，依据该图像信息从候选区域中选择该第二区域；

基于选择的第二区域，在输入图像中搜索该第一区域。

4、根据权利要求1、2或3的方法，其中，基于根据该运动在该合并图像上成像的输入图像的内容，更新该合并图像。

5、根据权利要求4的方法，其中，根据该变化图像，以位置相关的方式设置该合并图像被更新的范围，使得该合并图像的较少可变化部分与较多可变化部分相比被更新的强度更小。

6、根据权利要求1到5之任一项的方法，其中由该图像序列得出一个输出图像序列，并且其中被确定的运动用于补偿该输出图像系列中摄像机的运动。

7、一种图像处理设备，具有：

一个输入端，用于接收一个场景的图像序列；

一个存储器，用于保存来自该序列的一部分的图像的位置相关图像信息；

一个选择单元，用于根据有关区域中图像内容的一致性，分别由来自该序列的输入图像和图像信息选择第一和第二区域之间的对应性；

一个运动确定器，用于由分别在该输入图像中的第一和第二区域的位置和该图像信息确定该运动，其特征在于该装置具有：

一个图像合成单元，用于以已通过该序列中若干个图像的合并建立的像素组成一个合并图像；

一个变化确定器，用于确定一个变化图像，它表示对在该合并图像中相同像素起作用的图像序列的像素的图像内容之间有差异的位置相关的范围；

其中，该选择单元根据该变化图像执行选择对应性，从而取决于该变化图像指示一候选区域中像素的可变性更大，使得该候选区域被选为对应性中第二区域的可能性更小。

8、根据权利要求7的设备，其中该选择单元具有：

用于根据候选区域的变化图像的内容、从该合并图像中的若干个候选区域选择第二区域；

一个搜索单元，用于根据选择的第二区域、在输入图像中搜索第一区域。

9、根据权利要求7的设备，其中该选择单元具有：

用于根据候选区域的变化图像的内容、从该合并图像的若干个候选区域中选择第二区域的装置；

一个搜索单元，根据选择的临时第二区域、在输入图像中搜索第一区域；

该设备被设置用于：

首先，由该用于选择的装置，从合并图像中的候选区域选择一个临时第二区域，并由该搜索单元，基于选择的临时第二区域、在输入图像中搜索临时第一区域，并用临时第一和第二区域确定临时运动；和

接着，由该用于选择的装置，在施加临时运动后、在该合并图像和输入图像之间的差小于一个阈值的位置上从该合并图像中的候选区域选择第二区域，和用该搜索单元，基于选择的第二区域、在输入图像中搜索第一区域。

10、根据权利要求7到9之任一项的设备，用一输出单元输出从该图像序列得出的输出图像序列，其中该输出单元被设置成使用确定的运动来补偿摄像机的运动对该输出图像序列的影响。

Images