CN101276468A - 在视频帧序列中跟踪目标的由计算机执行的方法 - Google Patents

Abstract

一种在视频帧序列内跟踪目标的方法。该方法中设置有一组跟踪模块。将视频帧缓存于存储缓冲器中。第一，利用这多个跟踪模块中选出的一个，在缓存的帧中对目标进行时间上前向的跟踪。第二，利用所选出的跟踪模块，在缓存的帧中对目标进行时间上后向的跟踪。然后，由第一跟踪与第二跟踪确定跟踪误差。如果该跟踪误差小于预定阈值，则将附加的帧缓存到存储缓冲器中，并且重复第一跟踪、第二跟踪和确定的步骤。否则，如果误差大于该预定阈值，则选择不同的跟踪模块，并且重复第一跟踪、第二跟踪和确定的步骤。

Description

在视频帧序列中跟踪目标的由计算机执行的方法

技术领域

本发明大体上涉及计算机视觉应用，尤其涉及在视频帧序列内跟踪目标。

背景技术

在帧序列中，即在视频中，可通过逐帧地确定目标的特征的对应而跟踪目标。然而，精确地跟踪变形、非刚性及快速移动的目标仍然是一个棘手的计算机视觉问题。

可利用均值移位算子而执行跟踪，见Comaniciu等人的“Real-timetracking of non-rigid objects using mean-shift”，Proc.IEEE Conf.OnComputer Vision and Pattern Recognition，volume 1，pages 142-149，2000，及美国专利第6,590,999号(其专利权人为Comaniciu等人，公告日为2003年7月8日，名称为“Real-time tracking of non-rigid objects usingmean-shift”)。使用非参数化的密度梯度估计量来跟踪与给定色彩直方图最相似的目标。该方法提供了精确的定位。然而，此方法要求目标位置在连续帧中的一些交叠，这将不适用于快速移动的目标的情况，在该情况中，两个连续帧中的目标可能出现在完全不同的位置上。而且，因为直方图用于确定相似性，在目标和背景色分布相似的情况中，梯度估计与收敛变的不正确。

为解决此问题，可使用多核均值移位法，见Porikli等人的“Objecttracking in low-frame-rate video”，Proc.Of PIE/EI image and VideoCommunication and Processing，San Jose，CA，2005，及美国专利申请公开第20060262959(其申请日为2006年11月23日，其申请人为Tuzel等人，且其名称为“Modeling low frame rate video with Bayesian estimation”)。通过背景提取而取得额外的核。为解决上述收敛问题，可应用另一个核，其目标“推离”背景区域。

可将跟踪看作给定了到此时为止所有的测量值的情况下的状态估计，或者看作等价地构建目标位置的概率密度函数。简单的跟踪方法是预测滤波。该方法使用了目标的颜色和位置统计，同时利用固定的权重对目标模型进行更新，见Wren等人的“Pfinder：Real-time tracking of thehuman body”，IEEE Trans.Pattern Anal.Machine Intell.，vol.19，pp.780-785，1997，及美国专利第6,911,995号(其专利权人为Ivanov等人，公告日为2005年6月28日，名称为“Computer vision depth segmentation usingvirtual surface”)。通过递归贝叶斯(Bayesian)滤波器而提供一种优化的方案，其解决了连续预测及更新步骤中的问题。

当假定测量噪声呈高斯分布的时候，通过卡尔曼滤波器而提供一种方案，该方案常用于跟踪刚性目标，见Boykov等人的“Adaptive Bayesianrecognition in tracking rigid objects”，Proc.IEEE Conf.On Computer Visionand Pattern Recognition，volume 2，page 697-704，2000，及Rosales等人的“A framework for heading-guided recognition of human activity”，ComputerVision and Image Understanding，volume 91，pages 335-367，2003。卡尔曼(Kalman)滤波器限制于预定的状态转变参数，这些参数控制目标运动特性的“粘度”。

当状态空间离散并且由有限数量的状态构成时，马尔科夫(Markovian)滤波器可用于目标跟踪。最常用类别的滤波器以粒子滤波器为代表，该滤波器基于蒙特卡罗(Monte Carlo)积分方法。特定状态的当前密度由一组具有相关权重的随机样本表示。然后，新的密度基于加权后的样本。

粒子滤波器可用于恢复用于视觉跟踪与验证的条件密度传播。一般地，粒子滤波基于随机样本，由于样本的退化及枯竭，该随机样本是成问题的，尤其是对于高维度问题。可使用基于核的贝叶斯滤波器来对状态空间进行更有效的采样。多重假设滤波器(multiple hypothesis filter)评估移动目标引起某一测量顺序的概率。

成为一个问题的是，上述所有基于滤波器的方法容易在局部优化时遇到困难。作为另一个顾虑，大多数现有的方法缺乏适当的同时表示统计特性与空间特性的相似度标准。大多数现有的方法要么仅仅依赖于颜色分布，要么仅仅依赖于结构模型。

已经使用了从集合统计到外观模型的许多不同表示方法来跟踪目标。因为正态化的直方图与建模数据的概率密度函数十分相似，因此直方图比较普及。然而，直方图没有考虑特征值的空间排列。比如，像素在观察窗口中的随机再排列产生相同的直方图。此外，利用较少数量的像素构建较高维度的直方图是主要问题。

外观模型将图像特征(比如外形与纹理)映射到尺寸均匀的张量窗口上。由于指数复杂度的缘故，仅可以使用相对较少数量的特征。因此，各个特征必须具有高判别性。特征的可靠性严格地依赖于目标类型。外观模型倾向于对大小差异高度地敏感，并且也依赖于姿势。

跟踪(即，在帧序列中发现与目标对应的区域)面临着类似的挑战。目标频繁地改变其外观与姿势。目标可局部或完全地被遮蔽，或者目标可被合并与分裂。根据应用，目标可表现出不稳定的运动样式，并且常常突然进行转向。

也可将跟踪看作是分类问题，并且可将分类器训练成将目标从背景中区别出来，见Avidan的“Ensemble tracking”，Proc.IEEE Conf.OnComputer Vision and Pattern Recognition，San Diego，CA，2005，及美国专利申请公开第20060165258号(其申请人为Avidan，申请日为2006年7月27日，且名称为“Tracking objects in videos with adaptive classifiers”)。这通过在基准图像中为每个像素构建特征向量并将分类器训练成将属于目标的像素从属于背景的像素中分离出来而实现。在亮度改变的情况下，在时间上对分类器进行积分可改善跟踪器的稳定性。正如在均值移位法中那样，只有在目标运动小的情况下，才可跟踪目标。在遮蔽的情况下，该方法会将目标混淆。

目标表示方法(即，如何将色彩、运动、形状及其它特性转换为紧凑并可识别的形式(比如特征向量))在跟踪中具有关键作用。传统跟踪器要么仅仅依赖于忽视了像素结构配置的颜色直方图，要么仅仅依赖于忽略了统计特性的外观模型。这些表示方法具有一些缺点。通过较少数量的像素构成较高维度的直方图导致了不完整的表示。除此之外，直方图容易因噪声而失真。外观模型对大小变化及定位误差敏感。

协方差矩阵表示法同时体现了目标的空间特性与统计特性，并且提供了将多个特征汇合起来的一流方案，见O.Tuzel，F.Porikli及P.Meer的“Region covariance：A fast descriptor for detection and classification”，Proc.9th European Conf.On Computer Vision，Graz，Austria，2006。协方差是两个或多个变量或过程的偏差相匹配程度的测量值。在跟踪的过程中，这些变量对应于点特征(比如坐标、色彩、梯度、方位及滤波器响应)。这种表示法相对于直方图具有更低的维度。这种表示法具有抵抗噪声和照明变化的鲁棒性。为了利用协方差描述符来跟踪目标，采用基于距离度量的本征向量对目标矩阵与候选区域矩阵进行比较。协方差跟踪器未对运动做任何假设。这意味着即使目标的运动不稳定并且速度快，跟踪器也可以保持对目标的跟踪。这可以不局限于固定的窗口尺寸而对任何区域进行比较。尽管具有这些优点，所有候选区域的协方差矩阵距离的计算是缓慢的而且需要成指数函数的时间。

基于积分图像并且要求固定时间的方法可以提高速度，见Porikli的“Integral histogram：A fast way to extract histograms in Cartesian spaces”，Proc.IEEE Conf.on Computer Vision and Pattern Recognition，San Diego，CA，vol.1，pp.829-836，2005，及美国专利申请公开第20060177131号(其申请人为Porikli，申请日为2006年8月10日，名称为“Method of extractingand searching integral histograms of data sample”)。该技术通过利用点的空间排列而显著地加快了协方差矩阵的提取过程。

同许多视觉任务一样，目标检测与跟踪也受益于特定的硬件实施。这种实施包括不同子系统(比如常规的数字信号处理器(DSP)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)及其它可重配置的内核)的各种组合。DSP提供了成本划算的软件可编程性。通过可编程DSP体系，可以加快基础低级算法的速度。另一方面，ASIC提供了用于实施方法的高性能、低功耗且低成本的选择，但对不同跟踪方法的支持要求庞大数量的ASIC，从而导致了更大的装置，更高的功耗及更高的成本。GPU也允许构建经济且平行的结构。可把一些计算密集型过程(包括对比度增强、颜色转换、边缘检测及特征点跟踪)推给GPU。FPGA能够实现数据流的大规模平行处理与流水线操作。FPGA提供了显著的片载RAM并且支持高时钟速度。然而，当前的片载RAM在目标检测与跟踪时不足以支持可用程度的内部RAM帧缓存。因此，在图像数据的处理过程中，需要额外的外部存储器来提供存储。FPGA的高速I/O能力支持同时对多个RAM库的访问，从而能实现有效的流水线操作。

跟踪方法具有许多问题需要克服。目标与候选区域之间的相似性分值计算是一个瓶颈。随着直方图尺寸的增加，采用直方图的跟踪方法的要求变得更高。一些直方图距离度量(比如Bhattacharya与KL)本来就复杂。对于协方差跟踪，相似性计算要求本征向量的提取，该提取是缓慢的。快速似然度计算方法可以显著地提高计算速度。

复杂度与候选区域的数量或搜索区域的尺寸成正比。分层搜索方法可用来加快跟踪过程。随着目标尺寸变得更大，定位搜索方法(比如均值移位方法及整体跟踪方法)变得更慢。在不破坏重要信息的情况下对核及图像进行适应性缩放可获得实时性能。随着目标数量的增加，基于核的跟踪方法的要求变得更高。全局搜索法可应用于要求跟踪多个目标的场合。因此，需要一种在不可控条件下跟踪目标的方法。

发明内容

一种在视频帧序列内跟踪目标的方法。该方法中设置有一组跟踪模块。

将视频帧缓存于存储缓冲器中。第一，利用多个跟踪模块中选出的一个模块，在缓存的帧中对目标进行时间上前向的跟踪。第二，利用选出的跟踪模块，在缓存的帧中对目标进行时间上后向的跟踪。

然后，由第一跟踪与第二跟踪确定跟踪误差。如果跟踪误差小于预定阈值，则将附加的帧缓存到存储缓冲器中，并且重复第一跟踪、第二跟踪与确定的步骤。

否则，如果误差大于预定阈值，则选出不同的跟踪模块，并且重复第一跟踪、第二跟踪与确定的步骤。

附图说明

图1是根据本发明一个实施方式的目标跟踪方法的框图；

图2是低误差跟踪的框图；

图3是高误差跟踪的框图；

图4-6是根据本发明实施方式的选择跟踪模块的框图；

图7是根据本发明实施方式的确定跟踪误差的框图；

图8是根据本发明一个实施方式的更新试验统计值的框图；

图9是根据本发明一个实施方式的缓冲器控制单元的框图；及

图10是根据本发明一个实施方式的缓冲器控制单元的框图。

具体实施方式

图1示出了根据本发明一个实施方式的在视频101的帧序列内跟踪目标的方法。选择跟踪模块410。以下描述跟踪模块的选择。把新的帧(比如来自视频101的五个帧)缓存到存储器中(步骤110)。利用跟踪模块，在缓存的帧中在时间上前向地跟踪目标(步骤210)。然后，在时间上后向地跟踪目标(步骤220)。在前向与后向跟踪之后，确定跟踪误差701(步骤700)。如果误差701小于预定阈值401，则将存储缓冲器清空，并且缓存另外的帧(步骤110)，直到视频的所有帧被处理为止。

否则，如果误差701大于预定阈值，则选出不同的跟踪模块(步骤400)，并且针对缓冲器中的当前帧而重复前向跟踪与后向跟踪。

如图8所示，可以使用试验统计值，该试验统计值评估先前分配的跟踪器是否产生了满意的结果，以确定缓冲器的尺寸809。根据跟踪误差，可以改变缓冲器内的帧数，用以下次缓存新的帧。

在误差小于预定阈值(步骤810)且缓冲器内的帧数小于最大帧数的情况下，增大缓冲器的尺寸，用以下次对帧进行缓存(步骤820)。如果跟踪误差大于阈值，则减小缓冲器的尺寸(步骤830)。缓冲器内的最小帧数设定为1。

或者，如图9所示，利用缓冲器控制单元内的帧间差分(FD)误差912的大小来设定缓冲器的尺寸809(如图9-10所示)。通过估计参数化的运动来确定两个连续帧之间的全局运动(步骤910)，以便获得帧间差分911。也可以使用全部图像或图像的一部分来估计运动参数。然后，利用运动参数，施加从一个图像像素坐标到其它图像的映射，以发现对应的像素对。此操作可称为运动补偿。对于静态相机而言，由于没有相机运动，从而省略了运动补偿。通过合并两个帧中对应像素的强度差异而确定帧间差分误差。将阈值应用于帧间差分误差，以改变缓冲器的尺寸(步骤920)。

如图10所示，第二实施方式使用了帧间差分误差及缓冲器尺寸函数1000(该函数为非线性映射)，以确定缓冲器的尺寸。缓冲器的尺寸可限定于最大尺寸(最大缓冲)1010与一个帧的尺寸之间。

图2示出了在跟踪误差相对较小的情况下的针对五个帧的前向与后向跟踪，而图3则示出了跟踪误差相对较大的情况。在图2和图3中，目标以椭圆201的形式表示，而目标的跟踪位置则以交叉线或十字线(+)202的形式表示。如图3所示，实际目标位置201与跟踪位置202之间在时间203上有相当大的“漂移”。

图4示出了选择(步骤400)跟踪模块的细节。本方法可访问许多跟踪模块410。该组跟踪模块可包括均值移位跟踪器、粒子滤波器跟踪器、协方差跟踪器、卡尔曼滤波器跟踪器、整体跟踪器(ensemble tracker)、穷尽搜索跟踪器(exhaustive search tracker)及在线分类器跟踪器或其它相似的已知跟踪器。跟踪器可以按复杂度从高到低的顺序402排列。因此，选择器400确定(步骤420)是否存在任何更多的模块，如果是，选择(步骤430)适当的模块。否则如果不是，增大(步骤440)阈值401。粒子滤波器跟踪器的复杂度是粒子的数量，对于均值移位跟踪器而言，复杂度是核的尺寸，对于卡尔曼滤波器跟踪器及穷尽搜索跟踪器而言，复杂度是搜索区域的尺寸，对于协方差跟踪器而言，复杂度是特征的数量，而对于在线分类器跟踪器及整体跟踪器而言，复杂度是分类器的数量。因此，也可以基于跟踪误差改变跟踪器模块的复杂度(比如粒子的数量、核的尺寸、特征的数量、搜索区域的尺寸或分类器的数量)。

选择是基于多个约束条件的。在跟踪误差大的情况下，选择更复杂的跟踪器，而在跟踪误差小的情况下，选择复杂度低的跟踪器。所利用的复杂度测量方法很多。在不同类型的跟踪方法之间，复杂度表示计算复杂度。相对于其它跟踪方法，一些跟踪方法可更鲁棒地抵抗噪声等，因此复杂度也指鲁棒程度。

对于相同类型的跟踪器而言，复杂度意味着计算负荷及跟踪参数的范围。对于基于局部搜索的跟踪器(比如梯度移位跟踪器，卡尔曼跟踪器等)而言，更大的复杂性表示更大的搜索窗口或核窗口。对于基于采样的跟踪器(比如粒子滤波器等)而言，复杂度对应于粒子数量及粒子状态的量化步长(精度)。

图5示出了一些跟踪模块(比如均值移位跟踪器、粒子跟踪器、协方差跟踪器及整体跟踪器410)的例子。复杂度低的跟踪器将比复杂度高的跟踪器要快，并且使用了更少的资源。然而，复杂度低的跟踪器可能无法跟踪经历不稳定且快速运动的目标或外观剧烈变化的目标。因此，本发明的跟踪方法使得跟踪器410可适应跟踪过程的复杂度。

图6示出了如何改变特定跟踪器的复杂度。比如，如果选出的跟踪器为粒子跟踪器，则选择器400确定(步骤620)粒子数量是否小于最大值，并且如果没有小于最大值，则增大(步骤630)阈值。否则如果小于最大值，则选择器400增加用于跟踪目标的粒子数量。

图7示出了确定(过程700)跟踪误差701的细节。跟踪器410具有位于第一帧中的目标的位置711及后向跟踪之后位于第一帧中的位置712。一般地讲，目标的位置是根据目标模型而确定的。然后，可在跟踪开始之前、前向跟踪之后及后向跟踪之后确定目标的位置。位置之间的距离确定(步骤710)了正确位置与跟踪位置之间的空间差异。用于第一帧的目标模型713与用于最后一帧的模型714确定了(步骤720)目标模型距离。差异及目标模型距离可在加权和(步骤730)中组合起来，从而生成跟踪误差。

虽然以优选实施方式为例对本发明进行了说明，但应当理解：在发明精神与范围之内，可做出各种其它改变与修改。因此，所附权利要求旨在涵盖所有这些变化与修改，只要它们落入了发明的本意与范围内。

Claims (16)

1、一种在视频帧序列中跟踪目标的由计算机执行的方法，该方法包括如下步骤：

提供一组跟踪模块；

将视频帧缓存(110)于存储缓冲器中；

利用所述多个跟踪模块中选出的一个，对缓存的帧中的目标进行时间上前向的第一跟踪(210)；

利用所述选出的跟踪模块，对缓存的帧中的所述目标进行时间上后向的第二跟踪(220)；及

由所述第一跟踪和所述第二跟踪确定(700)跟踪误差，并且如果所述跟踪误差小于预定阈值(130)，则将附加的帧缓存(110)到所述存储缓冲器中，并重复所述第一跟踪、所述第二跟踪与所述确定的步骤，否则，如果所述误差大于所述预定阈值，则选择(400)不同的跟踪模块并重复所述第一跟踪、所述第二跟踪与所述确定的步骤。

2、根据权利要求1所述的方法，该方法进一步包括如下步骤：

如果帧间差分误差大于预定阈值，则减小(830)所述缓冲器的尺寸，否则，如果所述帧间差分误差小于所述预定阈值，则增大(820)所述缓冲器的尺寸。

3、根据权利要求1所述的方法，其中，所述帧间差分误差是基于所述缓冲器中的连续帧之间的全局运动的帧间差分。

4、根据权利要求2所述的方法，其中，所述缓冲器的尺寸为非线性函数。

5、根据权利要求1所述的方法，其中，各个跟踪模块具有关联的复杂度，并且该方法进一步包括如下步骤：

按复杂度从高到低的顺序排列(410)所述多个跟踪模块。

6、根据权利要求1所述的方法，其中，所述不同的跟踪模块是基于所述跟踪误差而选择的。

7、根据权利要求1所述的方法，其中，各个跟踪模块具有关联的复杂度，并且所述一组跟踪模块是从包括均值移位跟踪器、粒子滤波器跟踪器、协方差跟踪器、卡尔曼滤波器跟踪器、整体跟踪器、穷尽搜索跟踪器和在线分类器跟踪器的组中选出的。

8、根据权利要求1所述的方法，其中，所述跟踪误差基于跟踪开始之前，以及跟随有所述第二跟踪的所述第一跟踪之后的所述目标的位置。

9、根据权利要求1所述的方法，其中，所述跟踪误差基于在跟踪之前、所述第一跟踪之后以及所述第二跟踪之后所述目标的位置处确定的目标模型。

10、根据权利要求7所述的方法，其中，所述复杂度是所述跟踪模块的计算负荷。

11、根据权利要求7所述的方法，其中，所述粒子滤波器跟踪器的所述复杂度是粒子数量。

12、根据权利要求7所述的方法，其中，所述均值移位滤波器跟踪器的所述复杂度是核的尺寸。

13、根据权利要求7所述的方法，其中，所述卡尔曼滤波器跟踪器及所述穷尽搜索跟踪器的所述复杂度是搜索区域的尺寸。

14、根据权利要求7所述的方法，其中，所述协方差跟踪器的所述复杂度是特征的数量。

15、根据权利要求7所述的方法，其中，所述在线分类器跟踪器及所述整体跟踪器的所述复杂度是分类器的数量。

16、根据权利要求7所述的方法，该方法进一步包括如下步骤：

基于所述跟踪误差而改变(430)所述选出的跟踪器模块的所述复杂度。

Images