CN101299272A - 初始化运动目标模板的方法和系统 - Google Patents

Abstract

本发明涉及初始化运动目标模板的方法和系统。提供了用于跟踪图像序列中的运动目标的方法，包括：将所述序列的所述图像中的每一个划分成分块；识别出在所述序列的连续图像之间已经发生运动的分块；将沿同一方向运动同一距离的邻接分块分组到第一分块分组；利用所述第一分块分组初始化用于所述运动目标的初始模板并且在所述图像序列中跟踪所述模板。还提供了用于跟踪运动目标的相应系统。

Description

初始化运动目标模板的方法和系统

技术领域

本发明涉及用于初始化运动目标模板的方法和系统以及相应的计算机程序产品。

背景技术

在图像处理中，模板跟踪用于例如跟踪视频中的面部或者用于卫星监控。此外，在汽车应用中的前视相机中，模板跟踪用于跟踪自身车辆前的车辆运动。这些模板通常通过手工或者通过分类来初始化，这是可行的，因为在前视应用中，视角并没有发生改变。然而，在侧视应用或者车辆盲点监测中，视角发生改变并且不能进行常用的分类。

发明内容

本发明的目的是提供一种用于初始化运动目标模板的改进方法和改进系统。

这个目的是通过依照权利要求1、9和12的方法、系统和计算机程序产品实现的。

在从属权利要求中限定了其他的实施例。

通过考虑附图和随后的描述，本发明的其他细节将变得清楚明白。

附图说明

图1a示出了本发明的一个实施例的主要步骤，其解释了运动估计和分割步骤；

图1b示出了初始化模板并且之后跟踪该模板的组合的主要步骤；

图2示出了本发明另一个实施例的框图，其可以应用于汽车计算机视觉中；

图3示出了本发明另一个实施例的框图，其中仅当更新有必要时触发初始化单元；

图4示出了本发明另一个实施例中所用的示范性模板；

图5示出了一幅示范性图像，其中跟踪图4的模板，

图6示出了本发明另一个实施例的框图，其可以用于带任意内容/视频序列的消费电子产品中；

图7示出了本发明另一个实施例中所用的用于消费电子产品的另一个示范性模板；以及

图8示出了带图7的被跟踪模板的另一个示范性消费电子产品的图像。

具体实施方式

在下文中，描述了本发明的实施例。值得注意的是，可以以任何方式组合下文中描述的所有实施例，即不存在某些被描述的实施例不能与其他实施例组合的限制。

在图1a中，在步骤S100，将序列的每幅图像划分成分块(block)。每个分块可以包括8×8或16×16像素，不过，不仅方形分块而且其他形状的分块或者具有另外数量的像素的分块也是可能的。图像也可能被称为“帧”或者“场”。这些图像是通过例如数字摄像机摄取的并且按像素(pixel-wise)存储在存储器中。

在步骤S102，识别出在所述序列的连续图像之间发生运动的分块。这种分块运动可以通过计算针对可能的分块位移的误差准则来检测。例如，可以使用绝对差和(sum of absolute difference)、相关积(correlation product)或者其他方法作为匹配准则。

在步骤S103，例如通过比较连续图像中运动分块的位置来确定运动的距离和方向。也可以通过计算连续图像的分块之间的运动矢量并且比较所述运动矢量来确定沿“相似”方向的“相似”距离的运动。

在步骤S104，将已经针对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接分块分组到第一分组。预定方向区间和预定距离区间用于检测沿基本上同一方向的基本上同一距离的运动。这些预定区间可以是固定的，或者可以适应例如所述运动分块的实际方向或距离。

因此，将基本上沿同一方向运动同一距离的运动分块分组在一起。

如果在所述图像序列中存在另外的运动目标并且这些运动目标的运动不相同，那么可以如上所述通过对沿基本上同一方向和基本上同一距离运动的相应的其他分块进行分组来产生相应的其他分组。

在本说明书中，也使用措词“分割”、“分段”或“聚类”，而非措词“分组”。

如果一个分块是另一个分块的4个(或8个)直接相邻分块中的至少一个，那么该分块可以视为与所述另一个分块邻接。

在步骤S106，利用所述第一分块分组初始化用于所述运动目标的初始模板。由于这个第一分块分组“一起”运动，因此将这样的分块分组看作属于一个运动目标。这样，通过该第一分组定义了这样一个运动目标，并且通过使用该分块分组建立了用于该运动目标的相应初始模板。所述分块分组的像素值描述了该运动目标的外观。

根据这种方法，使用整个目标的良好匹配的分割轮廓作为初始模板，而不是使用固定位置处的可能部分覆盖背景的小分块作为初始模板。

在图1b中，附加地执行步骤S108，其中通过估算例如互相关或者绝对差和(SAD)在所述图像序列中跟踪所述初始模板。

利用汽车计算机视觉中的本方法，可以检测并随后跟踪障碍物(汽车、卡车等等)。不需要进行分类。在消费电子产品中，该方法改善了诸如帧率转换或者动态降噪(temporal noise reduction)之类的基于运动估计的视频处理应用的性能。

在另一个实施例中，用另外的图像对所述序列进行扩展。识别在所述序列的所述另外的图像的至少一部分之间发生运动的运动分块，确定所述运动分块的所述运动的方向和距离，并且将已经针对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组到第二分块分组。因此，将例如通过估算分块的相应运动矢量而检测到的在所述另外的图像的至少一部分内沿“相似”方向运动了“相似距离”的分块分组到第二分块分组。之后，利用所述第二分块分组对所述运动目标更新模板。例如，在预定数量的帧之后，可能通过当前匹配即第二分块分组来更新初始模板。

用于更新模板的本方法能够容易处理目标的尺度变化、形状变化、旋转和遮挡(occlusion)，所述尺度变化在目标接近或者离开时发生，所述形状变化在目标变形时发生，所述旋转在目标沿任何方向旋转时发生，所述遮挡在新的像素被遮掩在运动目标之后或者在运动目标前显露时发生。根据本方法，没有误差随着时间而累积，否则其将导致模板逐渐远离被跟踪目标，直到该跟踪丢失了目标。

在另一个实施例中，基于绝对差和和/或所述模板与其中应当跟踪该模板的图像部分之间的互相关来跟踪所述模板。

依照另一个实施例，在某个区域周围设置搜索范围，其中依照目标在所述序列的在前图像中的运动行为预计目标在所述序列的后继图像中；并且在所述后继图像中的所述搜索范围内执行所述跟踪步骤。利用这种方法，可以容易地减少用于跟踪模板的处理时间，因为不必要在整幅图像中跟踪模板。

在另一个实施例中，计算模板与所述序列的所述图像的部分之间的相关，并且如果所述相关低于预定相关阈值，那么就检测出所述跟踪步骤是失败的。这样，在所述序列中跟踪正确模板出现这种失败之后，可能启动模板的更新。

因此，可以基于例如流逝的预定时间间隔或者基于指示可以执行进一步更新的测量值来连续地更新所述模板，因为所用模板与所述序列的图像之间的相关性在降低。

在另一个实施例中，为所述图像的相干(coherent)分块(代表汽车运动目标)确定平均运动矢量，并且也在后继图像中为所述模板确定模板运动矢量。比较模板运动矢量和所述平均运动矢量，并且如果所述平均运动矢量与所述模板运动矢量之间不匹配，那么丢弃(reject)所述模板。

通过所提出的连续并行使用运动估计，可以使用模板跟踪进行交叉验证。通过比较运动估计结果和模板跟踪结果，可以降低随运动估计出现的虚警。如果这些结果匹配良好，那么可以依照运动估计分割结果更新模板。否则，这种失配意味着问题的出现并且可能导致丢弃该模板。

在另一个实施例中，利用全局运动估计和全局运动补偿来预处理所述序列的所述图像。在全局运动估计和全局运动补偿中，考虑了例如因为摄像机的摇动等等而影响图像的所有像素的效应。这种方法特别适用于例如帧率转换、动态降噪、去隔行等等的消费电子产品的应用。全局运动估计和补偿用于分割所有的局部运动目标。

在另一个实施例中，所述方法用于检测车辆的盲点区域中的运动目标，其中所述运动目标在所述盲点区域中相对于所述车辆的运动向后运动。由于运动估计方法在检测后向运动障碍物方面性能不佳，使用本方法初始化减速车辆的模板。这里，减速意味着车辆在开始时速度相对较快，随后速度下降到负的相对速度。于是，可以改善例如盲点区域检测的汽车安全应用。

在图2中，绘出了本发明另一个实施例的框图。所绘出的用于跟踪运动目标的模板的系统200包括初始化单元202，该初始化单元202包括局部运动估计单元204和分割单元206。将由图像序列组成的视频输入208输入到初始化单元202，并且局部运动估计单元204将所述序列的所述图像中的每一个划分成分块并且识别出在所述序列的连续图像之间已经发生运动的运动分块。其后，分割单元206通过将邻接的运动分块分组来初始化所述运动分块的模板，对于这些邻接的运动分块，如前所述已经确定出预定方向区间内的方向和预定距离区间内的距离。

跟踪单元210使用该经过初始化的模板，所述跟踪单元210被配置成在由视频输入208给出的所述图像序列中跟踪所述模板。如果跟踪了这种模板，那么就将其输出到模板跟踪输出212。

在图3中绘出的跟踪运动目标的模板的系统200的另一个实施例中，决策单元300附加地连接到跟踪单元210的输出。决策单元决定是否应该执行对所述模板的更新。例如，在预定时间之后或者在估算模板和该序列的图像之间的相关性为低之后，决策单元可以触发来自初始化单元202的基于运动的模板更新。

初始化单元202执行运动估计并且将沿“相似”方向运动预定时间、“相似”距离的邻接分块分组到第二分组中，如上所述。该第二分组代表初始模板的“新的”或者“更新的”版本，从而使用该第二分组更新随后由跟踪单元210使用的该模板。

在图4中，绘出了经过初始化的模板400的示例，其显示出大篷车的前侧，该模板在用安装在车辆后视镜上的照相机摄取图像的同时由本方法初始化，从而检测出邻近车道上的运动目标。

在图5中绘出了由该照相机拍摄的整幅图像，其中被跟踪的模板400用白色正方形标记。利用本方法，可以容易地检测出邻近车道上的运动目标并且在车辆司机打算改变车道时可以使用其向该司机给出警告信息。

在图6中绘出的非常适于应用到消费产品应用的另一个实施例中，全局运动估计/补偿单元被用于预处理由视频输入208给出的图像序列。这个全局运动估计/补偿单元600用于补偿例如因为摄取该序列的图像的相机的运动而发生的整幅图像的运动。利用这个全局运动估计/补偿单元600，系统200可以在分割单元208内分割所有的局部运动目标。

如果应该使用所导出的模板的更新，那么可以如参照图3所描述的那样使用决策单元300，不过这个决策单元300只是任选的，这在图6中以虚线绘出。

在图7中绘出了在图8中绘出的消费电子产品序列的所提取的模板700的示例。运动估计通常在这种运动方面存在问题，因为运动目标遮掩背景中的其他运动目标。如图7中所绘出的，目标被很好地分割，并且在相关中并没有考虑图像的其他部分或者将其用零或平均分布的噪声填充。

依照另一个实施例，提供了一种包括计算机程序代码的计算机程序产品，所述计算机程序代码当装载到处理器中时执行本方法以便跟踪运动目标。

利用本方法，在汽车安全应用中可以检测盲点检测设备中的后向运动目标，这是汽车制造商所希望的。本方法和系统使用基于运动估计的分割结果以便初始化和/或更新运动目标的模板跟踪。甚至在基于运动估计的方法例如针对盲点区域检测中的后向运动目标完全失效的情况下，也可以使用上述方法和系统。

只要找到初始模板，就可以使用互相关或者绝对差和(SAD)在许多帧上很好地跟踪前向和后向运动目标的模板。模板跟踪效果良好，但是问题在于找到第一初始遮掩模板。本方法和系统使用基于运动估计的分割结果作为初始模板。

通过在检测到模板的地方用同一尺寸的模板替换在前模板，不时地对所述模板进行更新。模板的大小根据到盲点检测应用中的消失点的距离而变化。为了方便起见并且为了更好的存储器分配，可以将模板调节到固定的大小。将互相关/绝对差和的搜索范围限制到最后检测周围的可行范围并且可以包括预测。这个所提出的更新过程降低了“漂移”问题(“模板更新问题”)。

除了能够跟踪向后缓慢运动车辆之外，模板跟踪还能够增强或者替换固定不变的(permanent)运动估计。曾经检测出的模板可以很好地由模板跟踪来跟踪；只有在跟踪失败时才使用运动估计。如果相关峰低于一定(固定或者自适应的)阈值或者如果模板位置跳到其他局部极大，那么可以检测到跟踪的失败。

这种方法改善了分割结果，降低了分割的“抖动”，并且在车辆检测过程中不受虚警的影响。

如果仍然并行地连续使用运动估计，那么可以使用模板跟踪进行交叉验证。比较运动估计结果和模板跟踪结果可以减少运动估计期间发生的虚警。如果这些结果匹配良好，那么可以依照运动估计分割结果来更新模板。否则，失配意味着出现了问题并且可能导致丢弃该模板。

Claims (12)

1.用于初始化用于图像序列中的运动目标的模板的方法，包括：

将所述序列的所述图像中的每一个划分成分块；

识别在所述序列的连续图像之间已经发生运动的运动分块；

确定所述运动分块的所述运动的方向和距离；

将已经对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组到第一分块分组；以及

利用所述第一分块分组初始化用于所述运动目标的模板。

2.依照权利要求1的方法，进一步包括：

用另外的图像扩展所述序列；

识别在所述序列的所述另外的图像的至少一部分之间已经发生运动的运动分块；

确定所述运动分块的所述运动的方向和距离；

将已经对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组到第二分块分组；以及

利用所述第二分块分组更新用于所述运动目标的所述模板。

3.依照权利要求1或2的任一项权利要求的方法，进一步包括：

基于所述模板与所述图像的部分之间的误差准则在所述序列中跟踪所述模板。

4.依照权利要求3的方法，进一步包括：

在某区域周围设置搜索范围，其中依照目标在所述序列的在前图像中的运动行为预计目标在所述序列的后继图像中；以及

在所述后继图像的所述搜索范围内执行所述跟踪步骤。

5.依照权利要求1-4中任一项权利要求的方法，进一步包括：

计算所述模板与所述序列的所述图像的部分之间的相关；以及

如果所述相关低于预定相关阈值，那么更新所述模板。

6.依照权利要求1-5中任一项权利要求的方法，进一步包括：

为所述图像的相干分块分组确定平均运动矢量；

在后继图像中为所述模板确定模板运动矢量；

比较所述平均运动矢量和所述模板运动矢量；以及

如果所述平均运动矢量与所述模板运动矢量之间不匹配，那么丢弃所述模板。

7.依照权利要求1-6中任一项权利要求的方法，进一步包括：

利用全局运动估计和全局运动补偿来预处理所述序列的所述图像。

8.依照权利要求1-7中任一项权利要求的方法，其中所述方法用于检测车辆盲点区域中的运动目标，所述运动目标在所述盲点区域中相对于所述车辆的运动向后运动.

9.用于初始化用于图像序列中的运动目标的模板的系统，包括：

局部运动估计单元，其被配置成将所述序列的所述图像中的每一个划分成分块，识别在所述序列的连续图像之间已经发生运动的运动分块并且确定所述运动分块的所述运动的方向和距离；以及

分割单元，其被配置成通过将邻接的运动分块分组来初始化用于所述运动目标的初始模板，对于该邻接的运动分块，已经确定出预定方向区间内的方向和预定距离区间内的距离。

10.依照权利要求8的系统，进一步包括：

决策单元，其被配置成决定是否应该执行对所述模板的更新，所述决策单元连接到所述局部估计单元。

11.依照权利要求9-10中任一项权利要求的系统，进一步包括：

全局运动估计单元，其被配置成对所述序列的所述图像执行全局运动估计和全局运动补偿。

12.计算机程序产品，包括计算机程序代码，该计算机程序代码当装载到处理器中时执行依照权利要求1-9中任一项权利要求的方法。

Images