CN101685538A - 对象跟踪方法和装置 - Google Patents

Abstract

本发明提供了一种对象跟踪方法和装置，其中，对象跟踪方法可以包括以下步骤：跟踪对象提取步骤，从输入图像中提取出作为跟踪对象的前景区域；对象初始化步骤，对于跟踪对象进行初始化处理以使跟踪对象具有在各个像素区域利用多色彩模型的分布特征；色彩评价步骤，根据多色彩模型，对在各个像素区域内的色彩信息与跟踪对象的相似性进行评价；运动评价步骤，根据相似性的评价结果，基于跟踪对象在前帧或后帧之间的运动量，计算跟踪对象的运动模型；以及对象确定步骤，基于多色彩模型和运动模型，对在前景区域内的各个像素区域进行处理以确定跟踪对象。

Description

对象跟踪方法和装置

技术领域

本发明涉及一种对象跟踪方法和装置，更具体地，涉及一种鲁棒的对象跟踪方法和装置，其利用一台或多台相机，使用跟踪对象的色彩模型和运动模型，利用对象内各个像素区域的位置关系来进行对象跟踪。

背景技术

诸如人物等的对象的跟踪技术，对于各种显像系统来说都是一项极其重要的技术，虽然到目前为止已提出了多种对象跟踪方法，但是仍然没有解决在跟踪时的对象的遮挡隐藏问题以及多个相机间的联合跟踪问题。

到目前为止，虽然已提出了各种各样关于物体跟踪的方法，但一般来说，作为具体过程共分为三个步骤：初始化、运动预测和相似性评价。代表性地提出了利用粒子滤波器(Particle filter，简称为PF)的方法。

在PF方法中，作为初始化步骤，可使用特定方法来提取跟踪对象(本文中具体涉及的是人物)的区域，然后计算此区域的直方图分布，将其作为跟踪对象的初期模型。然后，在运动预测步骤中，例如，可以使用线性予测模型来预测对象的运动，另外由于考虑到了对象的不规则性运动，所以可利用按照正态分布的扩散模型。接下来，通过计算出预测位置上的区域的直方图分布，并且计算其与初始化对象模型的相似性评价，根据概率值判定出当前区域内是否为跟踪对象。最后，使用对全部预测位置上的区域的相似性评价结果(概率)来推断跟踪对象的位置。

虽然在某种程度上，以上方法可以鲁棒地跟踪对象，但是由于不同相机间的跟踪、色彩分布特性相似的对象、人物间和背景等带来的遮挡问题以及照明状况的变化等都会引起跟踪错误，所以就不一定能够进行正确地跟踪。

可以看出，现有技术中主要存在的问题在于：不同相机中同一人物的识别；人物间和背景等引起的遮挡；以及照明状况的变化(云、阴影)等。

因此，需要一种方案，其能够对当前时刻的帧图像进行处理除去背景来检出成为前景的区域，并利用色彩特征模型和运动模型，计算这些前景区域的各个像素与前一帧的各个对象区域间的相似性，将相似性最高的作为同一对象(区域)进行标记，最后利用所述的各对象的模型(位置关系)，对各区域的标记结果进行跟踪对象区域的判定。

发明内容

鉴于上述问题，本发明提供了一种鲁棒的对象跟踪技术，其中，首先利用背景除去处理，检出成为前景的各跟踪对象(例如，多个人物)。然后，根据色彩特征，自动地将这些对象分割为多个区域，以高斯分布的方式，将这些被分割的区域模型化，制成初始化模型。

接下来，通过每个区域的高斯模型描述各个对象，将描述了各区域模型间的位置关系的高斯模型作为对象模型。另外，根据利用了各个对象的前后帧间的运动量的高斯模型，描述运动模型。

在运动对象的跟踪中，利用对当前时刻的帧图像进行处理除去背景，检出成为前景的区域，并利用上述色彩模型和运动模型，对这些前景区域的各个像素，计算与前帧的各个对象区域间的相似性，将相似性最高的作为同一对象(区域)进行标记。最后，利用所述的各对象的模型(位置关系)，对各区域的标记结果进行跟踪对象区域的判定。

根据本发明的一个方面，提供了一种对象跟踪方法，其可以包括以下步骤：跟踪对象提取步骤，从输入图像中提取出作为跟踪对象的前景区域；对象初始化步骤，对于跟踪对象进行初始化处理以使跟踪对象具有在各个像素区域利用多色彩模型的分布特征；色彩评价步骤，根据多色彩模型，对在各个像素区域内的色彩信息与跟踪对象的相似性进行评价；运动评价步骤，根据相似性的评价结果，基于跟踪对象在前帧或后帧之间的运动量，计算跟踪对象的运动模型；以及对象确定步骤，基于多色彩模型和运动模型，对在前景区域内的各个像素区域进行处理以确定跟踪对象。

在跟踪对象提取步骤中，可以使用输入图像生成背景图像，并执行输入图像和其背景图像的差分处理，从而提取出作为跟踪对象的前景区域。

另外，在对象初始化步骤中，可以用色彩特征进行区域分割处理，并计算跟踪对象在各个像素区域内的色彩信息的平均值和方差，对跟踪对象应用高斯模型。

在色彩评价步骤中，可以利用在跟踪对象提取步骤提取的前景区域，对在前景区域内的各个像素区域，计算出属于每个色彩模型的概率。

然后，在运动评价步骤中，可以利用在跟踪对象提取步骤提取的前景区域，计算出跟踪对象在前帧或后帧之间的运动量，并利用运动量来计算出跟踪对象属于前帧或后帧中的对应跟踪对象的概率。

接下来，在对象确定步骤中，可以根据在色彩评价步骤和运动评价步骤中分别得到的各个像素区域属于每个色彩模型的概率以及跟踪对象属于前帧或后帧中的对应跟踪对象的概率，确定各个像素区域是否属于跟踪对象。

而当跟踪多个跟踪对象时，在对象确定步骤中，可以根据多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

在本发明中，初始化处理至少包括领域平滑分割处理。

根据本发明的另一个方面，提供了一种对象跟踪装置，其可以包括：跟踪对象提取单元，用于从输入图像中提取出作为跟踪对象的前景区域；对象初始化单元，用于对跟踪对象进行初始化处理以使跟踪对象具有在各个像素区域利用多色彩模型的分布特征；色彩评价单元，用于根据多色彩模型，对在各个像素区域内的色彩信息与跟踪对象的相似性进行评价；运动评价单元，用于根据相似性的评价结果，基于跟踪对象在前帧或后帧之间的运动量，计算跟踪对象的运动模型；以及对象确定单元，用于基于多色彩模型和运动模型，对在前景区域内的各个像素区域进行处理以确定跟踪对象。

在本发明中，跟踪对象提取单元使用输入图像生成背景图像，并执行输入图像和背景图像的差分处理，从而提取出作为跟踪对象的前景区域。对象初始化单元用色彩特征进行区域分割处理，并计算跟踪对象在各个像素区域内的色彩信息的平均值和方差，对跟踪对象应用高斯模型。

另外，色彩评价单元利用在跟踪对象提取单元提取的前景区域，对在前景区域内的各个像素区域，计算出属于每个色彩模型的概率。

运动评价单元利用在跟踪对象提取单元提取的前景区域，计算出跟踪对象在前帧或后帧之间的运动量，并利用运动量来计算出跟踪对象属于前帧或后帧中的对应跟踪对象的概率。

对象确定单元根据在色彩评价单元和运动评价单元中分别得到的各个像素区域属于每个色彩模型的概率以及跟踪对象属于前帧或后帧中的对应跟踪对象的概率，确定各个像素区域是否属于跟踪对象。而当跟踪多个跟踪对象时，对象确定单元根据多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

在本发明中，初始化处理至少包括领域平滑分割处理。

因此，通过本发明，能够对不同相机中的同一个对象进行识别，解决了由于对象间和背景等引起的遮挡问题、以及由于照明状况的变化(云、阴影)等带来的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的对象跟踪方法的流程图；

图2是根据本发明的对象跟踪装置的框图；

图3根据本发明实施例的对象跟踪系统的架构图，图(a)是相机1的；

图4是示出了以用2台相机进行对象跟踪为例的详细跟踪过程的流图；

图5是示出了背景图像生成实例的示图；

图6是示出了前景对象检测实例的示图；

图7是使用色彩信息对对象(人物)区域进行分割处理的示图；

图8示出了利用色彩信息对人物领域分割的结果；

图9示出了人物对象的运动模型所使用的特征点位置；

图10是示出了当存在多个人物对象时，根据当前时刻(前帧)t和前一时刻(t-1)的人物区域的特征点位置来计算运动量的概念示图；

图11是利用利用色彩模型和运动模型进行人物对象跟踪的概念示意图；

图12是示出了用不同相机观测到的同一人物对象的跟踪实例的示图；

图13是基于1台相机进行多个人物对象的跟踪的示图；

图14示出了通过相机1和2得到的图像，其中，图(a)是相机1和2在某个时刻的观测图像，图(b)是以100帧为单位得到的背景图像，图(c)是相机1和2检出的对象区域，图(d)是基于色彩模型得到的属于各个像素的人物标记，图(e)是利用各个像素的任务标记值得到的人物分离结果，以及图(f)是最终的跟踪结果；

图15示出了用于执行领域平滑分割处理的模型的示意图；

图16是示出了图15的模型中的参数计算方法的示图；

图17是示出了图16所涉及的无参数密度估计算法的示图；

图18是示出了图16所涉及的核心密度梯度估计算法的示图；

图19是对Blob模型并行执行图18所示的核心密度梯度估计算法后的示意图；

图20示出了数据点中心位置的估计方法；

图21示出了Epanechnikov核心和统一核心；

图22示出了通过图15的模型得到的分割结果；以及

图23是为了人物检测算法的发展以及在复杂背景下用多个相机得到的监控视频对人物的行为的跟踪(包括在多个相机之间人的遮挡和跟踪)的示图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是根据本发明的对象跟踪方法的流程图。如图1所示，该方法包括以下步骤：

S102，从输入图像中提取出作为跟踪对象的前景区域；

S104，对于跟踪对象进行初始化处理以使跟踪对象具有在各个像素区域利用多色彩模型的分布特征；

S106，根据多色彩模型，对在各个像素区域内的色彩信息与跟踪对象的相似性进行评价；

S108，根据相似性的评价结果，基于跟踪对象在前帧或后帧之间的运动量，计算跟踪对象的运动模型；以及

S110，基于多色彩模型和运动模型，对在前景区域内的各个像素区域进行处理以确定跟踪对象。

在S102中，可以使用输入图像生成背景图像，并执行输入图像和其背景图像的差分处理，从而提取出作为跟踪对象的前景区域。

另外，在S104中，可以用色彩特征进行区域分割处理，并计算跟踪对象在各个像素区域内的色彩信息的平均值和方差，对跟踪对象应用高斯模型。

在S106中，可以利用所提取的前景区域，对在前景区域内的各个像素区域，计算出属于每个色彩模型的概率。

然后，在S108中，可以利用所提取的前景区域，计算出跟踪对象在前帧或后帧之间的运动量，并利用运动量来计算出跟踪对象属于前帧或后帧中的对应跟踪对象的概率。

接下来，在S110中，可以根据在S106和S108中分别得到的各个像素区域属于每个色彩模型的概率以及跟踪对象属于前帧或后帧中的对应跟踪对象的概率，确定各个像素区域是否属于跟踪对象。

而当跟踪多个跟踪对象时，在S110中，可以根据多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

在本发明中，初始化处理至少包括领域平滑分割处理。

图2是根据本发明的对象跟踪装置的框图。如图2所示，该装置包括：跟踪对象提取单元202，用于从输入图像中提取出作为跟踪对象的前景区域；对象初始化单元204，用于对跟踪对象进行初始化处理以使跟踪对象具有在各个像素区域利用多色彩模型的分布特征；色彩评价单元206，用于根据多色彩模型，对在各个像素区域内的色彩信息与跟踪对象的相似性进行评价；运动评价单元208，用于根据相似性的评价结果，基于跟踪对象在前帧或后帧之间的运动量，计算跟踪对象的运动模型；以及对象确定单元210，用于基于多色彩模型和运动模型，对在前景区域内的各个像素区域进行处理以确定跟踪对象。

在本发明中，跟踪对象提取单元202使用输入图像生成背景图像，并执行输入图像和背景图像的差分处理，从而提取出作为跟踪对象的前景区域。对象初始化单元204用色彩特征进行区域分割处理，并计算跟踪对象在各个像素区域内的色彩信息的平均值和方差，对跟踪对象应用高斯模型。

另外，色彩评价单元206利用在跟踪对象提取单元202提取的前景区域，对在前景区域内的各个像素区域，计算出属于每个色彩模型的概率。

运动评价单元208利用在跟踪对象提取单元202提取的前景区域，计算出跟踪对象在前帧或后帧之间的运动量，并利用运动量来计算出跟踪对象属于前帧或后帧中的对应跟踪对象的概率。

对象确定单元210根据在色彩评价单元206和运动评价单元208中分别得到的各个像素区域属于每个色彩模型的概率以及跟踪对象属于前帧或后帧中的对应跟踪对象的概率，确定各个像素区域是否属于跟踪对象。而当跟踪多个跟踪对象时，对象确定单元210根据多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

在本发明中，初始化处理至少包括领域平滑分割处理。

图3根据本发明实施例的对象跟踪系统的架构图。如图3所示，通过多个相机的观测图像生成背景图像，并使用此背景图像提取成为前景的观测对象(人物等)，利用色彩特征以多高斯模型的方式记述各个对象内的多数区域，并进行初始化。此后，使用各对象的色彩模型和运动模型，进行各个前景区域的追踪处理，最终输出追踪各个对象的追踪结果。

图5是示出了背景图像生成实例的示图。如图5所示，虽然背景画像生成有几种方法，但在本发明中，将某时间间隔内的平均图像作为背景图像。图(a)和(b)是由实际上不同的相机观测到的图像，使用约是用100帧的图像做成的平均图像(背景图像)。

此处，B(x，y)为背景图像，ft(x，y)为某时刻t时的输入图像，T为用于生成平均图像的时间间隔。因此，得出：

$B(x,y)=\frac{1}{T}\left\{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{f}_t(x,y)\right\}$

图6是示出了前景对象检测实例的示图。在图6中，图(a)为某时刻t0时刻的观测图像，图(b)为背景图像，以及图(c)是从图(a)中除去图(b)的背景部分，得到的t0时刻检出的前景对象(人物)区域。

图7是使用色彩信息对对象(人物)区域进行分割处理的示图。其中，首先对图6中得到的各人物对象进行利用色彩特征的分割处理。如图7所示，可将人物区域分为若干区域。作为具体的区域分割方法，本发明中采用了Mean Shift方法(以下将以Blob模型为例进行详细描述)。

图8示出了利用色彩信息对人物领域进行分割的结果。对图7(c)中得到的人物区域分割结果(例如，A1-A6区域)，计算各区域内的RGB的分布特性(平均值r0、g0、b0和方差σr、σg、σb)，分别用高斯模型的方式来进行描述。

其中，人物对象区域：M＝{Ai}，i＝1，2......N。

因此，人物对象的色彩模型为：

$P_C(r,g,s)=\frac{1}{N{\mathrm{\σ}}_r{\mathrm{\σ}}_g{\mathrm{\σ}}_s}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}K\left(\frac{r-r_i}{{\mathrm{\σ}}_r}\right)K\left(\frac{g-g_i}{{\mathrm{\σ}}_g}\right)K\left(\frac{s-s_i}{{\mathrm{\σ}}_s}\right),(r_i,g_i,s_i)\∈C$

其中， $K\left(m\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-1/2{\left(\frac{m}{\mathrm{\σ}}\right)}^2}.$

图9示出了人物对象的运动模型所使用的特征点位置。如图9(a)所示，在运动模型中，使用了人物对象的三个特征点位置(头部、腰部、脚部)，计算前后帧间的活动量，求出基于高斯模型的成本评价值。

在图7(b)中，根据当前时刻t和前一时刻(t-1)的人物区域的三个特征点位置，计算运动量，并通过应用于下述的高斯模型，求出基于运动模型的成本评价值(概率)。

此处，σxi、σyi根据经验确定。

$P_M(x_{r,i},y_{t,i}){=P}_M(x_{r,1},y_{t,1},x_{r,2},y_{t,2},x_{t,3},y_{r,3})$

$=g_{{\mathrm{\σ}}_{x_1}{\mathrm{\σ}}_{y_1}}(x_{r,1}-x_{r-\mathrm{1,1}},y_{r,1}-y_{r-\mathrm{1,1}})g_{{\mathrm{\σ}}_{x_2}{\mathrm{\σ}}_{y_2}}(x_{t,2}-x_{r-\mathrm{1,2}},y_{r,2}-y_{t-\mathrm{1,2}})g_{{\mathrm{\σ}}_{x_3}{\mathrm{\σ}}_{y_3}}(x_{r,3}-x_{t-\mathrm{1,3}},y_{r,3}-y_{t-1,3})$

其中， $g_{{\mathrm{\σ}}_{x_2}{\mathrm{\σ}}_{y_2}}(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{xi}}{\mathrm{\σ}}_{\mathrm{yi}}}{e}^{-1/2(\frac{x^2}{{{\mathrm{\σ}}_{x_2}}^2}-\frac{y^2}{{{\mathrm{\σ}}_{y_2}}^2})}.$

图10是示出了当存在多个人物对象时，根据当前时刻t和前一时刻(t-1)的人物区域的特征点位置来计算运动量的概念示图。其中，对当前时刻t中的各人物A、B、C，分别计算与前一时刻(t-1)追踪的各人物区域之间的运动量，设计后使距离近的评价值大。

图11是利用利用色彩模型和运动模型进行人物对象跟踪的概念示意图。在图11中，对各人物区域内的像素，使用所述的色彩模型和运动模型，按照下述方法求算成本评价值。

P_k(x，y)＝P_C(r，g，s)·P_M(x_r，i,y_r，i)

其中，Pk(x，y)是使用基于人物p(p＝1，......，P)的运动模型的概率和基于第k(k＝1，......，K＞P)个色彩模型的概率计算出的成本评价值。而且，成本评价值最大时，对应的色彩模型成为了其像素的追踪对象的结果(用标签表现)。

图12是示出了用不同相机观测到的同一人物对象的跟踪实例的示图，其中，用框架围住的部分示出了人物的色彩分布类似的区域。

图14示出了通过相机1和2得到的图像。其中，图14(a)是相机1和2在某个时刻的观测图像，图14(b)是以100帧为单位得到的背景图像，图14(c)是相机1和2检出的对象区域，图14(d)是基于色彩模型得到的属于各个像素的人物标记，图14(e)是利用各个像素的人物标记值得到的人物分离结果，以及图14(f)是最终的跟踪结果。

应了解，虽然本实施例仅介绍使用均值移动方法来对如图15～图21所示的色彩分段进行分离，然而，本发明并不仅限于均值移动方法，而是还可以使用其他方法来对色彩分段进行分离。

图15示出了用于执行领域平滑分割处理的模型的示意图(从左向右，从上向下)。在图15中，目标是找到密集的区域，图15中示出了同样的分布情况，实框箭头表示均值移动向量，大圆表示感兴趣的区域，以及小圆表示质心。

图16是示出了图15的模型中的参数计算方法的示图。在图16中，该参数计算方法用于在一组数据样本中找到多个模式，从而用R^N来表明基本的概率密度函数(PDF)。

图17是示出了图16所涉及的无参数密度估计算法的示图。在图17中，假定数据点是从基本的PDF中取样得到的。

图18是示出了图16所涉及的核心密度梯度估计算法的示图。在图18中，涉及到简单的均值移动程序，其中，首先要计算均值移动向量，然后用m(x)来转换核心窗。

图21示出了Epanechnikov核心和统一核心。

在Blob模型中，首先要计算特征空间，联合域相当于空间坐标和色彩空间的和，即，

$K\left(x\right)=C\·k_s\left(\right|\left|\frac{x^s}{h_s}\right|\left|\right)\·k_r{\left(\right|\left|\frac{x^r}{h_r}\right|\left|\right)}^{\′}.$

这意味着将图像看作空间和灰度级域中的数据点。然后找到核心(特定类别的放射线状的对称核心)。

即将Epanechnikov核心变为统一核心。

在Epanechnikov核心中，

在统一核心中，

因此，得到

其中，假设x_i和z_i(i＝1，...，n)是d维输入和在联合空间范围域中的过滤后的图像像素。对于每个像素，

(1)初始化，j＝1以及y_i，1＝x_i

(2)在收敛y＝y_i，c之前之前，根据以上公式计算y_i，j+1

(3)赋值，

图22示出了通过图15的模型得到的分割结果。如图22所示，图22(a)示出了原始图像，图22(b)示出了平滑后的图像，图22(c)示出了分割后的图像，以及图22(d)示出了对原始图像的分割结果。

因此，在色彩模型中，如果核心函数表示为K、其方差为σ以及观测样本S＝{x_i}(i＝1，2，...，N)，则在任意点x处的估计密度为

$\hat{f}\left(x\right)=\frac{1}{\mathrm{N\σ}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}K\left(\frac{x-x_i}{\mathrm{\σ}}\right)$

如果x是d维向量，则核心密度估计算法可以实现多变量积的核心估计。所以以上公式就变成了以下公式。每一维具有不同的平滑参数σ_k。

$\hat{f}\left(x\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left[\frac{1}{{\mathrm{\σ}}_1\·\·\·{\mathrm{\σ}}_d}\underset{k=1}{\overset{d}{\mathrm{\Π}}}K\left(\frac{x^{\left(k\right)}-{x_i}^{\left(k\right)}}{{\mathrm{\σ}}_k}\right)\right]$

在本发明中，将色彩模型描述成多变量积的核心估计的函数。为了处理亮度改变，将每个像素的归一化电流表示为3维向量，x＝{r，g，b}，其中，

d＝3。

因此，本发明色彩模型的核心密度估计算法可以如下计算：

${\widehat{\mathrm{\ζ}}}_S(r,g,s)=\frac{1}{N{\mathrm{\σ}}_r{\mathrm{\σ}}_g{\mathrm{\σ}}_s}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}K\left(\frac{r-r_i}{{\mathrm{\σ}}_r}\right)K\left(\frac{g-g_i}{{\mathrm{\σ}}_g}\right)K\left(\frac{s-s_i}{{\mathrm{\σ}}_s}\right),(r_i,g_i,s_i)\∈S$

$K\left(s\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-1/2{\left(\frac{s}{\mathrm{\σ}}\right)}^2}$

$P(x_{t,1},y_{t,1},x_{t,2},y_{t,2},x_{t,3},y_{t,3})$

$=g_{{\mathrm{\σ}}_{x1}{\mathrm{\σ}}_{y1}}(x_{t,1}-x_{t-\mathrm{1,1}},y_{t,1}-y_{t-\mathrm{1,1}})g_{{\mathrm{\σ}}_{x2}{\mathrm{\σ}}_{y2}}(x_{t,2}-x_{t-\mathrm{1,2}},y_{t,2}-y_{t-\mathrm{1,2}})g_{{\mathrm{\σ}}_{x3}{\mathrm{\σ}}_{y3}}(x_{t,3}-x_{t-\mathrm{1,3}},y_{t,3}-y_{t-\mathrm{1,3}})$

$g_{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{e}^{-1/2(\frac{x^2}{{{\mathrm{\σ}}_x}^2}+\frac{y^2}{{{\mathrm{\σ}}_y}^2})}$

综上所述，通过本发明，对当前时刻的帧图像进行处理除去背景来检出成为前景的区域，并利用色彩特征模型和运动模型，计算这些前景区域的各个像素与前一帧的各个对象区域间的相似性，将相似性最高的作为同一对象(区域)进行标记，最后利用所述的各对象的模型(位置关系)，对各区域的标记结果进行跟踪对象区域的判定。因此，能够对不同相机中的同一个对象进行识别，解决了由于对象间和背景等引起的遮挡问题、以及由于照明状况的变化(云、阴影)等带来的问题。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种对象跟踪方法，用于利用一台或多台相机，鲁棒地跟踪对象，其特征在于，包括以下步骤：

跟踪对象提取步骤，从输入图像中提取出作为跟踪对象的前景区域；

对象初始化步骤，对所述跟踪对象进行初始化处理以使所述跟踪对象具有在所述各个像素区域利用多色彩模型的分布特征；

色彩评价步骤，根据所述多色彩模型，对在所述各个像素区域内的所述色彩信息与所述跟踪对象的相似性进行评价；

运动评价步骤，根据所述相似性的评价结果，基于所述跟踪对象在前帧或后帧之间的运动量，计算所述跟踪对象的运动模型；以及

对象确定步骤，基于所述多色彩模型和所述运动模型，对在所述前景区域内的所述各个像素区域进行处理以确定所述跟踪对象。

2.根据权利要求1所述的对象跟踪方法，其特征在于，在所述跟踪对象提取步骤中，

使用所述输入图像生成背景图像，并执行所述输入图像和背景图像的差分处理，从而提取出作为跟踪对象的所述前景区域。

3.根据权利要求1所述的对象跟踪方法，其特征在于，在所述对象初始化步骤中，

用色彩特征进行区域分割处理，并计算所述跟踪对象在所述各个像素区域内的色彩信息的平均值和方差，对所述跟踪对象应用高斯模型。

4.根据权利要求1所述的对象跟踪方法，其特征在于，在所述色彩评价步骤中，

利用在所述跟踪对象提取步骤提取的所述前景区域，对在所述前景区域内的所述各个像素区域，计算出属于每个色彩模型的概率。

5.根据权利要求1所述的对象跟踪方法，其特征在于，在所述运动评价步骤中，

利用在所述跟踪对象提取步骤提取的所述前景区域，计算出所述跟踪对象在所述前帧或后帧之间的运动量，并利用所述运动量来计算出所述跟踪对象属于所述前帧或后帧中的对应跟踪对象的概率。

6.根据权利要求4或5所述的对象跟踪方法，其特征在于，在所述对象确定步骤中，

根据在所述色彩评价步骤和所述运动评价步骤中分别得到的所述各个像素区域属于每个色彩模型的概率以及所述跟踪对象属于所述前帧或后帧中的对应跟踪对象的概率，确定所述各个像素区域是否属于所述跟踪对象。

7.根据权利要求6所述的对象跟踪方法，其特征在于，当跟踪存在多个跟踪对象时，在所述对象确定步骤中，

根据所述多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

8.根据权利要求1所述的对象跟踪方法，其特征在于，所述初始化处理至少包括领域平滑分割处理。

9.一种对象跟踪装置，用于利用一台或多台相机，鲁棒地跟踪对象，其特征在于，包括：

跟踪对象提取单元，用于从输入图像中提取出作为跟踪对象的前景区域；

对象初始化单元，用于对所述跟踪对象进行初始化处理以使所述跟踪对象具有在所述各个像素区域利用多色彩模型的分布特征；

色彩评价单元，用于根据所述多色彩模型，对在所述各个像素区域内的所述色彩信息与所述跟踪对象的相似性进行评价；

运动评价单元，用于根据所述相似性的评价结果，基于所述跟踪对象在前帧或后帧之间的运动量，计算所述跟踪对象的运动模型；以及

对象确定单元，用于基于所述多色彩模型和所述运动模型，对在所述前景区域内的所述各个像素区域进行处理以确定所述跟踪对象。

10.根据权利要求9所述的对象跟踪装置，其特征在于，所述跟踪对象提取单元使用所述输入图像生成背景图像，并执行所述输入图像和背景图像的差分处理，从而提取出作为跟踪对象的所述前景区域。

11.根据权利要求9所述的对象跟踪装置，其特征在于，所述对象初始化单元用色彩特征进行区域分割处理，并计算所述跟踪对象在所述各个像素区域内的色彩信息的平均值和方差，对所述跟踪对象应用高斯模型。

12.根据权利要求9所述的对象跟踪装置，其特征在于，所述色彩评价单元利用在所述跟踪对象提取单元提取的所述前景区域，对在所述前景区域内的所述各个像素区域，计算出属于每个色彩模型的概率。

13.根据权利要求9所述的对象跟踪装置，其特征在于，所述运动评价单元利用在所述跟踪对象提取单元提取的所述前景区域，计算出所述跟踪对象在所述前帧或后帧之间的运动量，并利用所述运动量来计算出所述跟踪对象属于所述前帧或后帧中的对应跟踪对象的概率。

14.根据权利要求12或13所述的对象跟踪装置，其特征在于，所述对象确定单元根据在所述色彩评价单元和所述运动评价单元中分别得到的所述各个像素区域属于每个色彩模型的概率以及所述跟踪对象属于所述前帧或后帧中的对应跟踪对象的概率，确定所述各个像素区域是否属于所述跟踪对象。

15.根据权利要求14所述的对象跟踪装置，其特征在于，当跟踪多个跟踪对象时，所述对象确定单元根据所述多个跟踪对象在多高斯分布中的位置关系来确定在某个时刻的各个前景区域属于哪个跟踪对象。

16.根据权利要求9所述的对象跟踪装置，其特征在于，所述初始化处理至少包括领域平滑分割处理。

Images