CN101916368B - 基于多窗口的目标跟踪方法 - Google Patents

Abstract

本发明为一种基于多窗口的目标跟踪方法，属于计算机视觉技术。该方法的步骤为：1)读入目标初始位置的图像，根据目标特性构造N个跟踪窗口，每个窗口对应一个跟踪器，测定每个跟踪器与目标初始位置X₀＝(x₀，y₀)之间的补偿量d_i；2)读入下一帧图像，计算每个跟踪器在当前图像帧的新位置Y_i；3)计算所有跟踪器的权值W_i；4)对所有跟踪器在当前图像帧中的新位置Y_i用补偿量d_i进行位置补偿，获得

5)用跟踪器权值W_i和

计算目标位置参数E(X)；6)根据目标位置参数初始化所有跟踪器，并对跟踪器的参考窗口进行更新，继续读入下一帧图像。本发明的跟踪方法可以提高系统在遮挡、光照变化等复杂条件下的跟踪性能，目标跟踪结果不受某一跟踪窗口结果的控制，具有很强的鲁棒性。

Description

基于多窗口的目标跟踪方法

技术领域

本发明属于计算机视觉技术的目标跟踪方法，具体涉及基于多窗口的目标跟踪方法。

背景技术

视频序列中的目标跟踪以数字图像处理和计算机视觉为理论依据，以动态图像处理技术为基础。它具有广泛的应用前景，如人机交互、辅助医疗诊断以及智能视频监控等领域。目前针对视频目标跟踪，很多研究人员提出了不同的解决方案，其中包括模板匹配、均值移动和粒子滤波等算法。

目标在复杂环境下运动，特征会受到光照、摄像机角度等因素的影响，并且目标可能会被自身其他部分或者场景物体遮挡，以至于跟踪到的目标位置的准确度较低，而要去除这些因素的影响，现有技术的运算非常复杂。

发明内容

本发明提供一种基于多窗口的目标跟踪方法。该方法用多个跟踪窗口来描述目标的整体结构特性，并以各个跟踪窗口与初始目标位置作为线索，进行目标真实位置分析，可以剔除背景干扰、以及目标短时遮挡等问题，从而达到提高跟踪精度的目的。

为实现上述目的，本发明提供一种基于多窗口的目标跟踪方法，包括以下步骤：

1)读入目标初始位置图像，根据目标特性构造N个跟踪窗口，每个窗口对应一个跟踪器，测定每个跟踪器与目标初始位置X₀＝(x₀，y₀)之间的补偿量d_i，跟踪器的初始位置为Y′_i，i为1到N；多个窗口的空间分布在一定程度上反映了跟踪目标空间特征。

2)读入下一帧图像，计算每个跟踪器在当前图像帧的新位置Y_i。

3)计算所有跟踪器的权值W_i。

4)对所有跟踪器在当前图像帧中的新位置Y_i用补偿量d_i进行位置补偿，获得

5)用跟踪器权值W_i和

计算目标位置参数。

6)根据目标位置参数初始化所有跟踪窗口，并对跟踪器的参考窗口进行更新，继续读入下一帧图像，即返回2)步骤。

所述补偿量d_i为：

$d_i=Y_i^{\′}-X_0=(x_i^{\′},y_i^{\′})-(x_0,y_0)=(x_i^{\′}-x_0,y_i^{\′}-y_0)=(d_i^x,d_i^y)$

其中Y′_i＝(x′_i，y′_i)为各个跟踪窗口的初始位置。

所述2)步骤中用跟踪算法获得跟踪器新位置Y_i＝(x_i，y_i)。

所述跟踪算法可以为均值移动算法、粒子滤波算法等。

所述第3)步骤计算的跟踪器权值W_i为相似度归一化权值。

所述相似度归一化权值W_i具体计算方法如下：

首先计算跟踪器的跟踪窗口P_i与参考窗口Q_i的相似度ρ_i，为：

${\mathrm{\ρ}}_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i\left(u\right)\·Q_i\left(u\right)}$

然后计算窗口相似度的加权系数W′_i：

$W_i^{\′}=e^{\mathrm{\λ}\·{\mathrm{\ρ}}_i}$

λ为调节参数

最后对加权系数W′_i进行归一化处理获得权值：

$W_i=W_i^{\′}/{\mathrm{\Σ}}_{j=1}^N{W}_j^{\′}$

所述对Y_i进行位置补偿获得

的方法为：

$Y_i^{\·}=Y_i-d_i=(x_i,y_i)-(d_i^x,d_i^y)=(x_i-d_i^x,y_i-d_i^y)$

所述目标位置参数E(X)的计算方法为最小均方误差法。

所述目标位置参数

所述N个跟踪窗口部分重叠或完全不重叠。

本发明的有益效果是提供了一种目标跟踪的新方法。本发明具有的明显特征有：目标的多窗口表示，这些窗口之间可以部分重叠或相互完全分离，并且它们的形状可以根据跟踪目标的特性随意变化，每个窗口都对应一个独立的跟踪器，最终的跟踪结果通过融合不同跟踪器的跟踪结果得到，最后根据跟踪结果重置不同的跟踪窗口，从而实现错误纠正的目的，保证了跟踪的精度和准确性。

当跟踪目标所在的背景区域有类似颜色干扰时，该方法具有很强的鲁棒性。

当跟踪目标被短时遮挡或者特征因为光照变化发生变化的时候，多个跟踪窗口之间的信息可以互补，从而可以准确推断目标的位置。

目标跟踪结果不受某一跟踪窗口跟踪结果的控制，而是受多个窗口跟踪结果的影响，从而提高跟踪鲁棒性。

附图说明

图1是本发明方法的流程图。

图2是本发明方法的示意图。

图3是本发明方法中一种跟踪窗口的分布示意图。

图4是本发明方法中另一种跟踪窗口的分布示意图。

图5是本实施例中人脸跟踪实验获得的跟踪效果图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对本发明的保护范围没有限定作用。

本发明的方法，参见图2，其中大圆代表目标区域，它的中心位置用小圆表示，方块代表多个跟踪窗口的窗口中心。例如在t时刻，采用8个跟踪窗口表示目标，如图2中的a部分。计算跟踪窗口与目标中心的位移量，称为补偿量。对每一个跟踪窗口采用一个跟踪器对其进行跟踪，分别提取各个跟踪窗口在t+1时刻的图像位置，然后根据跟踪窗口所在t+1时刻的图像信息计算其可信度，用来作为不同窗口的权值，如图2中的b部分，其方块的大小代表窗口可信度、重要性的高低。利用补偿量对当前的跟踪窗口位置进行补偿，从而使所有跟踪窗口分布在目标真实位置附近，如图2中c部分所示。利用不同窗口的权值对目标真实位置进行计算。最后根据目标真实位置和补偿量，重新初始化所有跟踪窗口，即进入下一帧迭代，如图2中的d部分。具体实施步骤参见图1：

步骤S1：

先读入目标初始位置的图像，跟踪之前根据具体目标特性构造N个跟踪窗口，这些窗口的分布可参见图3或图4所示。窗口分布方式可以根据实际情况进行调整。每个窗口对应一个跟踪器，跟踪器T_i的初始位置为T′_i＝(x′_i，y′_i)，i为1到N，按照公式(1)计算各个窗口与目标初始位置X₀＝(x₀，y₀)之间的补偿量d_i；

$d_i=Y_i^{\′}-X_0=(x_i^{\′},y_i^{\′})-(x_0,y_0)=(x_i^{\′}-x_0,y_i^{\′}-y_0)=(d_i^x,d_i^y)---\left(1\right)$

步骤S2：读入下一帧图像，通过跟踪算法，如均值移动算法计算每个跟踪器T_i在当前图像帧的新位置Y_i＝(x_i，y_i)；

步骤S3：计算跟踪器的相似度归一化权值W_i，并且对所有跟踪器的新位置Y_i，按照公式(2)进行位置补偿。

$Y_i^{\·}=Y_i-d_i=(x_i,y_i)-(d_i^x,d_i^y)=(x_i-d_i^x,y_i-d_i^y)---\left(2\right)$

跟踪器的权值W_i的具体计算方法为：

首先采用Bhattacharyya相似度计算方法计算跟踪窗口P_i与参考窗口Q_i的相似度：

${\mathrm{\ρ}}_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i\left(u\right)\·Q_i\left(u\right)}---\left(3\right)$

然后计算窗口相似度的加权系数W′_i：

$W_i^{\′}=e^{\mathrm{\λ}\·{\mathrm{\ρ}}_i}---\left(4\right)$

λ为调节参数

最后对加权系数W′_i进行归一化处理获得权值W_i：

$W_i=W_i^{\′}/{\mathrm{\Σ}}_{j=1}^N{W}_j^{\′}---\left(5\right)$

步骤S4：采用最小均方误差对目标真实位置进行计算，获得目标位置参数E(X)：

$E\left(X\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{Y}_i^{\·};---\left(6\right)$

步骤S5：利用多窗口计算的目标位置参数E(X)和补偿量d_i，初始化所有跟踪器T_i，并且更新参考窗口，继续读入下一帧图像，即返回步骤S2。

按照本发明的方法对人脸进行目标跟踪的实验

为了说明本发明，我们采用自拍场景进行实验，实验场景是一段教学楼道的视频段。在整个视频中，光照变化明显而且目标状态也随着时间发生随意变化，摄像机为手持方式，有时目标存在明显的跳动现象。视频图像的分辨率为160×120，跟踪窗口数量为5，窗口具体分布如图4所示。对应每个跟踪窗口的跟踪器我们采用改进的均值移动算法。当每个跟踪器得到当前帧的位置之后，我们计算当前所在位置窗口P_i与其所对应的均值移动算法的参考模板Q_i的颜色相似度，具体采用Bhattacharyya相似度来度量，如公式(3)所示：

${\mathrm{\ρ}}_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i\left(u\right)\·Q_i\left(u\right)}---\left(3\right)$

然后计算窗口相似度的加权系数W′_i，具体如下：

$W_i^{\′}=e^{\mathrm{\λ}\·{\mathrm{\ρ}}_i}---\left(4\right)$

其中λ为一调节参数，根据具体需要进行设置。本实施例中设置为λ＝5。

对W′_i进行归一化处理：

$W_i=W_i^{\′}/{\mathrm{\Σ}}_{j=1}^N{W}_j^{\′}---\left(5\right)$

最终获得目标位置参数E(X)：

$E\left(X\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{Y}_i^{\·}---\left(6\right)$

具体跟踪效果如图5所示，可以看出本方法在跟踪目标遮挡的情况下，依旧具有很好的跟踪效果，其提高了跟踪系统的鲁棒性.

本发明的方法将目标用多个不同的窗口表示，每一个窗口对应一个跟踪器。这些窗口之间可以存在重叠，也可以包含被跟踪目标上下文信息，如在人脸跟踪中，有些跟踪窗口可以包含颈部信息、上衣颜色信息。然后利用这些窗口之间的位置关系以及在后继跟踪过程中的相似度来估计目标的真实位置。使跟踪目标被短时遮挡或者特征因为光照变化发生变化时，多个窗口之间的信息可以互补，从而可以准确推断目标的位置。

Claims (8)

1.基于多窗口的目标跟踪方法，包括如下步骤：

1）读入目标初始位置图像，根据目标特性构造N个跟踪窗口，每个窗口对应一个跟踪器，测定每个跟踪器与目标初始位置X₀=(x₀,y₀)之间的补偿量d_i，跟踪器的初始位置为Y'_i，i为1到N，所述目标初始位置X₀=(x₀,y₀)是目标的中心位置；所述补偿量d_i为：

$d_i=Y_i^{\′}-X_0=(x_i^{\′},y_i^{\′})-(x_0,y_0)=(x_i^{\′}-x_0,y_i^{\′}-y_0)=(d_i^x,d_i^y)$

其中y'_i=(x′_i,y′_i)为各个跟踪窗口的初始位置；

2）读入下一帧图像，计算每个跟踪器在当前图像帧的新位置Y_i；

3）计算所有跟踪器的权值W_i；

4）对所有跟踪器在当前图像帧中的新位置Y_i用步骤1）中所测的补偿量d_i进行位置补偿,获得

5）用跟踪器权值W_i和

计算目标位置参数E(X)；

6）根据目标位置参数E(X)初始化所有跟踪器，并对跟踪器的参考窗口进行更新，继续读入下一帧图像。

2.按权利要求1所述的基于多窗口的目标跟踪方法，其特征在于所述第2）步骤中用跟踪算法获得跟踪器新位置Y_i=(x_i,y_i)。

3.按权利要求1所述的基于多窗口的目标跟踪方法，其特征在于所述跟踪器的权值W_i为相似度归一化权值。

4.按权利要求3所述的基于多窗口的目标跟踪方法，其特征在于所述相似度归一化权值W_i的计算方法如下：

首先计算跟踪器的跟踪窗口P_i与参考窗口Q_i的相似度ρ_i，为：

${\mathrm{\ρ}}_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{P_i\left(u\right)\·Q_i\left(u\right)}$

然后计算窗口相似度的加权系数W'_i：

$W_i^{\′}=e^{\mathrm{\λ}\·{\mathrm{\ρ}}_i}$

λ为调节参数

最后对加权系数W'_i进行归一化处理获得权值：

$W_i=W_i^{\′}/{\mathrm{\Σ}}_{j=1}^N{W}_j^{\′}.$

5.按权利要求1所述的基于多窗口的目标跟踪方法，其特征在于所述对Y_i进行位置补偿获得

的方法为：

$Y_i^{\·}=Y_i-d_i=(x_i,y_i)-(d_i^x,d_i^y)=(x_i-d_i^x,y_i-d_i^y).$

6.按权利要求1所述的基于多窗口的目标跟踪方法，其特征在于所述目标位置参数E(X)的计算方法为最小均方误差法。

7.按权利要求6所述的基于多窗口的目标跟踪方法，其特征在于所述目标位置参数为：

$E\left(X\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{Y}_i^{\·}.$

8.按权利要求1-7任一项所述的基于多窗口的目标跟踪方法，其特征在于所述N个跟踪窗口部分重叠或完全不重叠。

Images