CN101853511B - 一种抗遮挡目标轨迹预测跟踪方法 - Google Patents

Abstract

本发明涉及计算机视觉和模式识别技术领域，提出了一种抗遮挡目标轨迹预测跟踪方法。本发明包括选定目标，Kalman参数初始化，计算量化直方图；读取图像，计算跟踪窗口的位置和大小，校正目标的中心位置，设置下一帧图像搜索窗口中心位置；轨迹预报程序进行目标位置预报；求遮挡因子；根据被遮挡情况选择Kalman滤波器工作或转换为基于最小二乘支持向量机的轨迹预报：预报过程中若超过已定帧数仍未发现目标则认定跟踪失败；若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪等。该方法能准确跟踪经过大面积遮挡后重新出现的目标，具有良好的实时性和抗干扰能力。

Description

一种抗遮挡目标轨迹预测跟踪方法

(一)技术领域

本发明属于计算机视觉与模式识别技术领域，具体涉及一种抗遮挡目标轨迹预测跟踪方法。

(二)背景技术

目标跟踪是计算机视觉的一个重要分支。在视频监控、物体识别、人机界面等应用领域中，往往需要在各种复杂的环境下对运动物体进行有效的跟踪。跟踪系统不但要求能够实时适应目标因各种运动导致的外观变化，而且要求对场景中存在的诸如遮挡、光照变化等因素的影响不敏感。

MeanShift目标跟踪算法是一种基于密度梯度的无参数估计方法，于1975年由Fukunaga^[1]提出，1995年Cheng^[2]将它引入计算机视觉领域。近年来，MeanShift目标跟踪算法^[3，4]以其无需参数、快速模式匹配的特性引起国内外学者的关注并广泛应用到目标跟踪领域^[5-8]。MeanShift目标跟踪算法中核函数对于目标中心的象素赋予一个大权值，而远离中心的象素赋予小权值，保证了MeanShift目标跟踪算法本身对遮挡和背景的变化有很好的鲁棒性^[7]。这种算法在简单背景环境中能够取得较好的跟踪效果，但是在复杂背景中，由于该算法对运动物体不做任何预测，不能解决大面积背景颜色干扰等问题，容易导致跟踪失败，所以需引入估计器预测目标运动参数。

Kalman滤波是一个在误差协方差最小准则下的最优估计方法，计算量小，实时性高，能利用实际的运动参数不断修正未来运动状态的估计值，提高估计的精度。因此将Kalman滤波预测技术融入到MeanShift算法中，提高了跟踪方法的抗干扰能力。然而，相对于目标区域的面积而言，如果目标遭遇大比例的遮挡，MeanShift算法寻找到的目标位置点是不准确的，由这个位置点信息组成的Kalman滤波器对当前帧的观测向量也不是正确的，如果仍然由Kalman滤波器去预测目标在下一帧的可能位置，可信度显然很低。

最小二乘支持向量机^[9](Least Squares Support Vector Machines，LSSVM)是近几年来应用于建模的一种新方法，LSSVM的最优求解基于结构风险最小化思想，因此具有比其他非线性函数逼近方法具有更强的泛化能力。

参考文献

[1]K Fukunaga，L D Hostetler.The estimation of the gradient of a density functionwith application in pattern recognition.IEEE Trans Information Theory，1975，21(1)：32-40

[2]Y.CHENG.Mean shift，mode seeking，and clustering.IEEE Transactions onPattern Analysis and Machine Intelligence，1995，17(8)：790-799

[3]Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects usingmean shift[C]Proceedings of IEEE Conference on Computer Vision and PatternRecognition.Hihon Head Island.South Carolina：IEEE，2000，2：142-149

[4]Comaniciu D，Ramesh V.Mean shift and optimal prediction for efficient obj ecttracking[CProceedings of the 2000 IEEE International Conference on ImageProcessing.Vancouver，Canada：IEEE，2000，3：70-73

[5]Yilmaz A，Shafique K，Shah M.Target tracking in airborne forward lookinginfrared imagery[J].Image and Vision Computing，2003，21(7)：623-635

[6]彭宁嵩，杨杰，刘志等.Mean Shift跟踪算法中核函数窗宽的自动选取[J].软件学报，2005，16(9)：1542-1550

PENG Ning_song，YANG Jie，LIU Zh，et al.Automatic selection ofkernel-bandwidth for mean-shift object tracking[J].Journal of Software，2005，16(9)：1542-1550(in CNnese)

[7]Comaniciu D，Ramesh V.Meer P.Kernel-based object tracking[J].IEEE TransOn Patern Analysis and Machine Intelligence.2003，25(5)：564-575

[8]Collins R T.Mean shift blob tracking through scale space[C].IEEE InternatienalConference On Computer Vision and Pattern Reeognition.2003，2：234-240

[9]J.A.K.Suykens.Nonlinear modelling and support vector machines[C]//Instrumentation and Measurement Technology Conference.2001：287-294.

[10]孙中森，孙俊喜，宋建中，等.一种抗遮挡的运动目标跟踪算法[J].光学精密工程，2007，15(2)：267-271

(三)发明内容

本发明的目的在于提出一种对部分遮挡以及全遮挡目标进行准确跟踪的抗遮挡目标轨迹预测跟踪方法。

本发明的目的是这样实现的：

(1).初始选定跟踪目标，Kalman参数初始化，计算目标的量化直方图。

(2).读取图像，用MeanShift算法计算跟踪窗口的位置和大小，并将窗口的中心位置作为Kalman滤波的测量值，校正目标的中心位置，同时更新目标的状态及方差阵，Kalman滤波器的预测结果用于设置下一帧图像搜索窗口的中心位置。

(3).将目标位置输出给轨迹预报程序，与跟踪程序同时做下一帧目标位置的预报。

(4).根据方程求遮挡因子α。

(5).根据设定的阈值判断目标被遮挡情况：若α小于此阈值，返回步骤2继续下一帧计算；若α大于此阈值，Kalman滤波器停止工作，跟踪转换为基于最小二乘支持向量机的轨迹预报，利用前一段时间MeanShift收敛点的位置用最小二乘支持向量机预测下一帧可能起始点的值，然后在该起始点邻域内利用MeanShift目标预测算法对当前帧目标的位置进行搜索：

(a)若未发现目标，继续进行基于最小二乘支持向量机的轨迹预报，若搜索超过已设定的帧数仍未发现目标则认定跟踪失败；

(b)若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪，并更新Kalman滤波器状态，返回步骤(2)开始下一帧计算。

本发明还可以包括：

目标跟踪过程中，利用最小二乘支持向量机，将1到t-1时刻的轨迹坐标作为输入，将本时刻t的坐标作为输出，训练最小二乘支持向量机，时刻修正最小二乘支持向量机模型。

其有益效果在于：与现有目标跟踪方法相比，本发明将基于最小二乘支持向量机LSSVM的轨迹预测融入MeanShift算法中，增强了算法的鲁棒性，保证了跟踪的稳定性，同时解决了目标跟踪过程中由于大面积或全部遮挡造成的跟踪效果变差和目标丢失问题。

(四)附图说明

图1为目标跟踪与轨迹预报转换流程图。

图2为LSSVM预测目标u轴轨迹预测值与真实值的对比图。

图3为LSSVM预测目标v轴轨迹预测值与真实值的对比图。

(五)具体实施方式

下面对本发明具体技术方案作进一步说明。

1、MeanShift目标跟踪算法

MeanShift目标跟踪算法是一种非参数的密度估计算法，由起始帧为被跟踪目标建立直方图分布，用同样的方法计算第N帧对应的直方图分布，以两个分布的相似性最大为原则。

(1)目标区域距离加权建模

假设模板中各个像素点为

模板中心是

定义函数b：h²→{1，...，m}，将

处像素值与2维实数坐标向量

相对应。模板的半径是

表示模板上各个像素点到模中心的归一化距离。k(x)是核函数，值越接近0，其值越大。δ[x]是离散冲击函数，当x＝0时其值为1，否则其值为0。由此可以得到如下计算模板直方图的公式(以直方图中像素值为u的项为例，其中

为q_u 的归一化系数，使概率之和为1)：

$q_u\left(\hat{y}\right)=\hat{C}\underset{i=1}{\overset{\hat{n}}{\mathrm{\Σ}}}k\left({\left|\right|\frac{\hat{y}-{\hat{x}}_i}{\hat{h}}\left|\right|}^2\right)\mathrm{\δ}[b\left({\hat{x}}_i\right)-u]---\left(1\right)$

式中， $\hat{C}=\frac{1}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{\hat{y}-{\hat{x}}_i}{\hat{h}}\left|\right|}^2\right)}$

$\mathrm{\δ}[b\left({\hat{x}}_i\right)-u]=\left\{\begin{array}{cc}1& b\left({\hat{x}}_i\right)=u\\ 0& b\left({\hat{x}}_i\right)\≠u\end{array}\right.$

(2)候选区域距离加权建模

同目标区域距离加权建模相似，假设匹配对象中各个像素点为{x_i}_{i-1，...，m}，对象的中心是y。对象的半径是h，则计算对象直方图的公式为(以直方图中像素值为u的项为例，其中C为p_u(y)的归一化系数，使概率之和为1)：

$p_u\left(y_0\right)=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(2\right)$

式中， $C=\frac{1}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}$

$\mathrm{\δ}[b\left(x_i\right)-u]=\left\{\begin{array}{cc}1& b\left(x_i\right)=u\\ 0& b\left(x_i\right)\≠u\end{array}\right.$

(3)目标与候选区域的相似性测度

相似度采用Bhattacharyya系数表征，定义为：

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}(p\left(y\right),q)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right)q_u}---\left(3\right)$

可见，

与

分布越接近，ρ(y)值越大。由于归一化，当

与

分布完全相同时，ρ(y)取得最大值1；否则，ρ(y)将介于0～1之间。

(4)目标位置搜索

为使ρ(y)达到最大，在当前帧中，以目标在上一帧中的位置y₀(目标区域的中心位置)，作为目标在当前帧中的初始位置，然后在y₀邻域内寻找最优目标位置y₁，使得ρ(y₁)最大。对(3)式在p(y₀)处进行泰勒展开，略去高阶项后相似性函数可近似为：

$\mathrm{\ρ}(p\left(y\right),q)\≈\frac{1}{2}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)q_u}+\frac{C}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{i}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)---\left(4\right)$

式中， $w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\δ}[b\left(x_i\right)-u]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(5\right)$

由于式(4)中的第1项与y无关，为了使迭代得出的中心更接近实际的目标中心，式(4)中的第2项必须要取最大值。通过MeanShift迭代可以使该项最大，即找到了最佳中心。中心迭代公式如下：

$y_1=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{w}_{i}k\left({\left|\right|\frac{y_0-x_i}{n}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}k\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}---\left(6\right)$

2、融入Kalman滤波预测技术的MeanShift目标跟踪算法

跟踪过程中，由于相邻两帧图像时间间隔较短，目标运动状态变化较小，可近似认为目标在两帧图像时间间隔内做匀速运动，所以采用等速度运动模型，用Kalman滤波器预测目标中心位置。

定义状态向量

观测状态向量Z_k＝(x_k，y_k)^T，预测状态向量其中：x_k，y_k，

分别表示目标中心在x轴和y轴上的位置和速度；x′_k，y′_k，

分别表示Kalman滤波器预测的目标中心位置和速度。

算法的核心思想是用MeanShift目标跟踪算法计算跟踪窗口的位置和大小，并把窗口的中心位置作为Kalman滤波的测量值，校正目标的中心位置Z_k，Kalman滤波器的预测结果X_k+1/k用于设置下一帧图像搜索窗口的中心位置。

3、遮挡因子

在跟踪过程中，采用文献[10]中的遮挡因子来判断目标被遮挡程度。

若y₀为当前目标位置，令

$\mathrm{\α}=\left\{\begin{array}{cc}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(q_u-p_u\left(y_0\right)),& \sqrt{\frac{q_u}{p_u\left(y_0\right)}}>\mathrm{\ξand}{p}_u\left(y_0\right)\≠0\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{q}_u,& p_u\left(y_0\right)=0\mathrm{and}{q}_u\≠0\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

其中ξ∈[1，∞)，为遮挡程度参量。遮挡因子α∈[0，1]，当0＜α＜1时，目标被部分遮挡，α＝1时，目标被全部遮挡。设定一个阈值γ，如果α＞γ，则判定目标被大面积遮挡。

4、基于最小二乘支持向量机LSSVM的目标轨迹预报技术

当目标被遮挡时，采用最小二乘支持向量机LSSVM对目标轨迹预报。

对于时间序列{x₁，x₂，x₃，...，x_n}，i＝1，2，...，n，{x_n}为预报的目标值，将{x_n-1，x_n-2，x_n-3，...，x_n-m}作为相关量，建立输入x＝{x_n-1，x_n-2，x_n-3，...，x_n-m}与输出y＝{x_n}之间的映射关系：R^m→R，m为嵌入维数。

在训练回归模型中，组成如下的训练样本对：输入为x₁，x₂，...，x_m，输出为x_m+1；输入为x₂，x₃，...，x_m+1，输出为x_m+2，以此类推，由n个训练样本可以构建n-m个训练样本对，建立初始训练模型。

当模型训练完成后，对未来第一步的预报形式为：

${\hat{x}}_{n+1}=f(x_n,x_{n-1},\·\·\·x_{n-m+1})---\left(8\right)$

对未来第二步的预报形式为：

${\hat{x}}_{n+2}=f({\hat{x}}_{n+1},x_n,\·\·\·,x_{n-m+2})---\left(9\right)$

后续各步以此类推，对未来第p步的预报形式为：

${\hat{x}}_{n+p}=f({\hat{x}}_{n+p-1},{\hat{x}}_{n+p-2},\·\·\·x_{n+p-m})---\left(10\right)$

式中，x_n表示第n个数据的实际值，

表示第n个数据的预报值。

摄像机采集的图像为图像像素坐标，在图像上定义直角坐标系O_ouv，原点O_o在图像平面的左上角，每一像素的坐标(u，v)分别是该像素在数组中的列数和行数，所以(u，v)是以像素为单位的图像坐标系的坐标。目标轨迹预报是对目标的u轴和v轴坐标值预报。

实施例：

摄像机采集图像分辨率为768×576的彩色图像。

1、初始选定跟踪目标，Kalman参数初始化，根据Kalman状态方程和观测模型得状态转移矩阵A和观测矩阵H为：

$A=\left[\begin{array}{cccc}1& 0& T& 0\\ 0& 1& 0& T\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$ $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

式中，T是时刻t_k与时刻t_k-1的时间间隔。

Kalman滤波分为预测和校正两阶段，首先初始化过程噪声方差矩阵Q、测量噪声方差矩阵R、初始状态向量X₀和初始误差方差矩阵P₀，然后用预测状态向量X′_k中的x′_k，y′_k分量设定MeanShift算法搜索窗口的中心位置，并把MeanShift算法输出的质心位置作为测量值Z_k校正预测状态向量X′_k，得到X′_k+1。试验中：

Q＝diag(10101515)

R＝diag(0.10.2)

P₀＝diag(1111)。

初始状态向量X₀中的x₀，y₀分量取初始搜索窗口的中心位置，

分量取零。根据式(1)计算目标的量化直方图q_u；

2、读取下一帧图像，计算当前帧方差P_k/k-1，目标状态X_k/k-1，得到预测位置为y₀；在预测目标位置y₀处，利用MeanShift算法得到的目标窗口的中心位置作为Kalman滤波的测量值Z_k；更新目标状态X_k/k及方差阵P_k/k，X_k/k即为当前帧目标窗口中心位置；

3、跟踪时将目标位置输出给轨迹预报程序，与跟踪程序同时做下一帧目标位置的预报；

4、根据式(7)求遮挡因子α；

5、设定阈值γ＝0.6，如果α＜0.6返回步骤2开始下一帧的计算；如果α＞0.6，Kalman滤波器停止工作，跟踪转换为基于LSSVM轨迹预报，在预报目标位置附近用MeanShift算法搜索：

a.若无目标，继续预报，N帧以上则认为跟踪失败；

b.若有目标，启用MeanShift算法和Kalman滤波器跟踪，并更新Kalman滤波器状态，返回步骤2开始下一帧的计算。

图2是用LSSVM预测目标u轴轨迹预测值与真实值的对比图。图中实线是实际值(线1)，点虚线是预测值(线2)。X轴表示预报步数，单位为帧；Y轴表示目标运动轨迹的u轴坐标，单位为像素。

图3是用LSSVM预测目标v轴轨迹预测值与真实值的对比图。图中实线是实际值(线1)，点虚线是预测值(线2)。X轴表示预报步数，单位为帧；Y轴表示目标运动轨迹的v轴坐标，单位为像素。

Claims (2)

1.一种抗遮挡目标轨迹预测跟踪方法，其特征是具体步骤如下：

(1).初始选定跟踪目标，Kalman参数初始化，计算目标的量化直方图；

(2).读取图像，用MeanShift算法计算跟踪窗口的位置和大小，并将窗口的中心位置作为Kalman滤波的测量值，校正目标的中心位置，同时更新目标的状态及方差阵，Kalman滤波器的预测结果用于设置下一帧图像搜索窗口的中心位置；

(3).将目标位置输出给轨迹预报程序，与跟踪程序并行做下一帧目标位置的预报；

(4).根据方程 $\mathrm{\α}=\left\{\begin{array}{cc}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(q_u-p_u\left(y_0\right)),& \sqrt{\frac{q_u}{p_u\left(y_0\right)}}>\mathrm{\ξand}{p}_u\left(y_0\right)\≠0\\ \underset{i=1}{\overset{m}{\mathrm{\Σ}}}{q}_u,& p_u\left(y_0\right)=0\mathrm{and}{q}_u\≠0\\ 0,& \mathrm{otherwise}\end{array}\right.$ 求遮挡因子α，其中 $q_u=\hat{C}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}k\left({\left|\right|\frac{\hat{y}-{\hat{x}}_i}{\hat{h}}\left|\right|}^2\right)\mathrm{\δ}[b\left({\hat{x}}_i\right)-u],$ $p_u=\hat{C}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u],$ ξ为遮挡程度参量，y₀为目标区域的中心位置，m为目标区域或候选区域内像素点个数，其中为

的归一化系数，

k(x)是核函数，

为目标区域的模板中各个像素点，

为模板中心，

为

处的像素值，b为定义函数，b：h²→{1，...，m}，

为模板半径，δ(x)是离散冲击函数， $\mathrm{\δ}[b\left({\hat{x}}_i\right)-u]=\left\{\begin{array}{cc}1& b\left({\hat{x}}_i\right)=u\\ 0& b\left({\hat{x}}_i\right)\≠u\end{array}\right.,$ u为直方图中像素值，C为p_u(y)的归一化系数，

x为候选区域的匹配对象中各个像素点，y为对象的中心， $\mathrm{\δ}[b\left(x_i\right)-u]=\left\{\begin{array}{cc}1& b\left(x_i\right)=u\\ 0& b\left(x_i\right)\≠u\end{array}\right.,$ h为对象的半径；

(5).根据设定的阈值判断目标被遮挡情况：若α小于此阈值，返回步骤2继续下一帧计算；若α大于此阈值，Kalman滤波器停止工作，跟踪转换为基于最小二乘支持向量机的轨迹预报，利用前一段时间MeanShift收敛点的位置用最小二乘支持向量机预测下一帧可能起始点的值，然后在该起始点邻域内利用MeanShift目标预测算法对当前帧目标的位置进行搜索：

(a)若未发现目标，继续进行基于最小二乘支持向量机的轨迹预报，若搜索超过已设定的帧数仍未发现目标则认定跟踪失败；

(b)若发现目标，继续启用MeanShif目标跟踪算法和Kalman滤波器进行跟踪，并更新Kalman滤波器状态，返回步骤(2)开始下一帧计算；

其中基于最小二乘支持向量机的轨迹预报方法包括：

A、对于时间序列{x₁，x₂，x₃，...，x_n}，i＝1，2，...，n，{x_n}为预报的目标值，将{x_n-1，x_n-2，x_n-3，...，x_n-l}作为相关量，建立输入x＝{x_n-1，x_n-2，x_n-3，...，x_n-l}与输出y＝{x_n}之间的映射关系：R^l→R，l为嵌入维数；

B、在训练回归模型中，组成如下的训练样本对：输入为x₁，x₂.....x_l，输出为x_l+l；输入为x₂，x₃.....x_l+l，输出为x_l+2，以此类推，由n个训练样本可以构建n-l个训练样本对，建立初始训练模型，

当模型训练完成后，对未来第一步的预报形式为：

${\hat{x}}_{n+1}=f(x_n,x_{n-1},\·\·\·x_{n-l+1})$

对未来第二步的预报形式为：

${\hat{x}}_{n+2}=f({\hat{x}}_{n+1},x_n,\·\·\·x_{n-l+2})$

C、后续各步以此类推，对未来第p步的预报形式为：

${\hat{x}}_{n+p}=f({\hat{x}}_{n+p-1},{\hat{x}}_{n+p-2},\·\·\·x_{n+p-m})$

式中，x_n表示第n个数据的实际值，

表示第n个数据的预报值。

2.根据权利要求1所述的一种抗遮挡目标轨迹预测跟踪方法，其特征是在目标跟踪过程中，利用最小二乘支持向量机，将1到t-1时刻的轨迹坐标作为输入，将本时刻t的坐标作为输出，训练最小二乘支持向量机，时刻修正最小二乘支持向量机模型。

Images