CN105335986A - 基于特征匹配和MeanShift算法的目标跟踪方法 - Google Patents

Abstract

基于特征匹配和Mean？Shift算法的目标跟踪方法，步骤如下：输入图像序列，对图像序列进行背景重构，获得初始时刻的目标区域，并采用MeanShift算法进行建模；对初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点；通过SIFT特征匹配计算当前帧目标的初始位置、尺度参数和旋转参数；采用Mean？Shift算法对目标进行精确定位；计算目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式；图像序列中的所有图像跟踪完毕，结束目标跟踪。本发明将Mean？Shift算法和SIFT特征匹配算法结合起来，充分发挥二者的优势，实现目标的稳定跟踪。

Description

基于特征匹配和MeanShift算法的目标跟踪方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于SIFT特征匹配和MeanShift算法相结合的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的一个重要分支，它在视频监控、智能交通、人机交互、军事领域以及机器人视觉导航等中有着广泛的应用。其目的是通过一定的相似性度量和匹配搜索算法实现目标跟踪和定位。

迄今为止，视频序列的目标跟踪技术相对比较完善。针对不同的应用场合及需求，研究人员已经设计研发了多种目标跟踪方法。通常情况下目标跟踪方法大致可以分为：基于区域的目标跟踪方法、基于主动轮廓的目标跟踪方法、基于模型的目标跟踪方法和基于特征的目标跟踪方法等。基于区域的目标跟踪算法通常是把感兴趣的运动目标区域作为待匹配的模板，按照某种相似性度量准则，通过相关匹配技术在下一帧图像中寻找与目标模板的最优匹配位置，但是该算法在目标发生局部遮挡和目标发生几何变形时往往效果不好；基于主动轮廓的目标跟踪算法是利用封闭曲线的演化来表达目标轮廓，该方法通过建立合适的能量函数来自动演化目标轮廓，而且如果能够对目标实现较好的初始化轮廓，并且各个目标之间能够分开的话，则在发生局部遮挡的情况下也能够较好的跟踪目标，但初始化轮廓通常是很困难的；基于模型的目标跟踪算法通常是根据先验信息建立目标的模型，然后通过模型的匹配来寻找各帧图像中目标的位置；基于特征的目标跟踪算法通常是利用目标的某些局部特征标识目标，并通过特征匹配在图像序列中跟踪目标，该算法对目标局部遮挡具有较好的鲁棒性，但是当目标被严重遮挡甚至是全部遮挡时该算法容易出现目标跟踪误差大，甚至无法跟踪目标的问题

在众多跟踪方法中，MeanShift算法是基于跟踪目标的空间色彩直方图特征来实现目标的识别与跟踪，因其具有运算简单、实时性好的优点而被广泛使用。但当跟踪目标出现明显尺度变化、旋转、遮挡以及目标运动速度较快等情况下，它容易出现目标跟踪误差大，甚至无法跟踪目标的问题。

为了解决MeanShift算法在跟踪过程中所面临的问题，西安电子科技大学提出的公告号为CN102999920B的发明专利“基于最近邻分类器和均值漂移的目标跟踪方法”公开了一种基于最近邻分类器和均值漂移的目标跟踪方法。该方法对通过目标模型与目标搜索区域中相匹配的SIFT特征点的位置区域和利用MeanShift算法所获得的跟踪目标区域进行决策级融合来获得最终的目标跟踪结果，该方法虽然在目标快速运动甚至出现运动模糊时有较好的跟踪效果，但是当目标出现尺度变化或者严重遮挡甚至是全部遮挡时，该方法容易出现跟踪误差大甚至无法跟踪目标的问题。

天津工业大学提出的公开号为CN104331638A的专利申请“基于Meanshift算法的小型载体视觉导航方法”公开了一种基于Meanshift算法的小型载体视觉导航方法。该方法利用Meanshift算法实现自然路标的特征提取与跟踪，然后利用图像序列中的自然路标位置信息确定小型载体的位置，从而获得精确的导航坐标，该方法虽然对正常运动情况下的小型载体有较好的定位效果，但是当小型载体快速运动或者自然路标被遮挡时，该方法就会产生较大的定位误差甚至无法定位。

南京大学提出的公开号为CN102117487A的专利申请“一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法”公开了一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法。该方法首先通过MeanShift算法预测目标的位置，然后通过预测的目标区域的SIFT特征点的尺度和方向信息来计算目标的尺度和旋转参数。该方法虽然对目标出现尺度变化和旋转时有较好的跟踪效果，但是当目标出现快速运动或者遮挡时，该方法就会产生较大的跟踪误差甚至跟丢目标。

哈尔滨工程大学提出的公开号为CN104036524A的专利申请“一种改进的SIFT算法的快速目标跟踪方法”公开了一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法。该方法通过SIFT算法获得初始时刻目标的位置，然后在后续每帧视频序列该位置处仅采用MeanShift算法对目标进行定位。该方法虽然在正常运动情况下能够跟踪目标，但是当目标出现较大尺度变化或者遮挡时，会出现跟踪误差大甚至跟踪失败的问题。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种可以避免目标跟踪过程中遇到尺度变化、遮挡、旋转和快速运动等复杂情况导致跟踪性能变差，实现目标的稳定跟踪的目标跟踪方法。

为了实现上述目的，本发明采取如下的技术解决方案：

基于特征匹配和MeanShift算法的目标跟踪方法，包括以下步骤：输入图像序列，

步骤1、采用基于RGB颜色模型的方法对图像序列进行背景重构，然后采用背景差分法获得初始时刻的目标区域，并对初始时刻的目标区域采用MeanShift算法进行建模，得到初始时刻的目标区域模型；

步骤2、对初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点；

步骤3、从图像序列中输入单帧图像，通过SIFT特征匹配计算当前帧目标的初始位置、尺度参数和旋转参数，步骤如下：

步骤3-1、在当前帧的候选目标搜索区域提取SIFT特征点；

步骤3-2、将SIFT特征点与特征库中的特征点进行匹配，并消除误匹配对，获得正确匹配对；

步骤3-3、采用仿射变换模型，通过正确匹配对计算当前帧的候选目标搜索区域与前一帧初始时刻的目标区域模型之间的变换参数；

仿射变换矩阵 $H=\left[\begin{array}{ccc}{H}_0& H_1& H_2\\ H_3& H_4& H_5\end{array}\right],$

目标区域与候选目标搜索区域间的点坐标变换关系 $\left[\begin{array}{c}\hat{x}\\ \hat{y}\end{array}\right]=\left[\begin{array}{cc}{H}_0& H_1\\ H_3& H_4\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{H}_2\\ H_5\end{array}\right];$

其中，[x,y]^T和分别表示前一帧和当前帧匹配的点的坐标，H₂和H₅为前一帧初始时刻的目标区域模型相对当前帧候选目标搜索区域的平移量，H₀、H₁、H₃、H₄为尺度参数和旋转参数；

步骤3-4、利用目标区域和候选目标搜索区域间的点坐标关系计算当前帧目标的初始位置以及相对于前一帧目标的尺度参数和旋转参数，进行目标初步定位；

步骤4、对当前帧目标进行精确定位；

步骤4-1、在步骤3-4获得的当前帧目标的初始位置处采用MeanShift算法建立候选目标模型；

步骤4-2、计算初始时刻的目标区域模型与候选目标模型的相似性系数ρ(x_cen,y_cen)：

$\mathrm{\ρ}\left(x_{cen},y_{cen}\right)=\mathrm{\ρ}\[p\left(x_{cen},y_{cen}\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(x_{cen},y_{cen}\right)q_u}\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(x_0,y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{n_h}{\Σ}}{w}_{i}k\left(\right|\left|\frac{\left(x_{cen},y_{cen}\right)-\left(x_i^{\′},y_i^{\′}\right)}{h}\right|{|}^2);$

其中，p(x_cen,y_cen,)为候选目标模型的颜色特征概率密度分布，q为目标模型的颜色特征概率密度分布，p_u(x_cen,,y_cen,)为候选目标模型在颜色特征值为u时的概率密度，q_u表示目标模型在颜色特征值为u时的概率密度，p(x₀,y₀)为中心坐标在点(x₀,y₀)处的目标模型的颜色特征概率密度分布，C_h为候选目标模型在颜色特征值为u时的概率密度中的归一化常数，w_i是权值系数，u为颜色直方图的颜色索引，(x_cen,,y_cen,)为候选目标模型的中心坐标，(x_i′,y_i′)为候选目标模型中第i个像素的坐标，(x₀,y₀)为初始时刻的目标区域模型的中心坐标，n_h为候选目标模型的总像素点数；

步骤4-3、采用MeanShift算法对目标进行精确定位；

步骤5、计算当前帧目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式；

步骤5-1、计算目标的遮挡因子其中，λ为遮挡程度参量；

步骤5-2、根据目标的遮挡因子occ判断目标的遮挡程度，当occ＜阈值th1时执行步骤5-2-1，否则执行步骤5-2-2；

步骤5-2-1、当occ＜阈值th1时，认为目标没有被遮挡，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪，则读入下一帧图像，返回执行步骤3；

步骤5-2-2、当occ＞阈值th1时，认为目标被遮挡，进入遮挡跟踪模式，当跳出遮挡跟踪模式时，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪，读入下一帧图像，返回执行步骤3；

步骤6、图像序列中的所有图像跟踪完毕，结束目标跟踪。

进一步的，步骤1中基于RGB颜色模型进行背景重构的方法如下：从连续的M帧图像序列中抽取N帧图像构成图像子序列，N≤M；分别对图像子序列的每帧图像在每个点(x,y)处的RGB分量按照递增的顺序进行排序，形成数列RI^R(x,y)、RI^G(x,y)及RI^B(x,y)；分别取数列RI^R(x,y)、RI^G(x,y)、RI^B(x,y)的中间值作为背景图像的RGB分量在该点的像素值。

进一步的，步骤1中采用背景差分法获得初始时刻的目标区域的步骤如下：对背景重构后的图像中每个像素点的R、G、B分量分别进行处理，得到三个通道的差分图像：

D^R(x,y)＝|f^R(x,y)-B^R(x,y)|

D^G(x,y)＝|f^G(x,y)-B^G(x,y)|；

D^B(x,y)＝|f^B(x,y)-B^B(x,y)|

其中，f^R(x,y)、f^G(x,y)、f^B(x,y)为图像f(x,y)的RGB分量，(x,y)为像素点的空间坐标；

对差分图像进行阈值化处理得到初始时刻的目标区域：

RGB三个通道的平均差分图像 $\mathrm{\Δ}2(x,y)=\frac{1}{3}\[D^R(x,y)+D^G(x,y)+D^B(x,y)\];$

阈值化处理结果图像 $RI(x,y)=\left\{\begin{array}{c}1,if\left(\mathrm{\Δ}2\right(x,y)\≥TH)\\ 0,else\end{array}\right.;$

其中，TH为目标检测阈值。

进一步的，步骤1中采用MeanShift算法进行目标建模的步骤如下：将初始时刻的目标区域的颜色直方图划分为m个子区间，计算目标模型的颜色特征概率密度分布，进行初始时刻的目标区域建模；

目标模型的颜色特征概率密度分布q＝{q_u}_u＝1…m，

其中，u为颜色直方图的颜色索引，q_u表示目标模型在颜色特征值为u时的概率密度。

进一步的，步骤3-1中用Kalman滤波法预测出当前帧的目标区域，以该目标区域中心为中心、长宽按比例扩大后得到的矩形区域作为当前帧的候选目标搜索区域。

进一步的，步骤3-2中采用随机抽样一致算法消除误匹配对。

进一步的，步骤5-2-1中更新特征库的步骤如下：

将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点，对特征库中每个特征点的可信度赋予一个初始值；

若当前帧的候选目标搜索区域提取的SIFT特征点在特征库中能找到正确匹配点，则用当前帧中相应的特征点替换其在特征库匹配的特征点，并使该特征点的可信度加1；若候选目标区域提取的SIFT特征点在特征库中未找到相匹配的特征点，则将该特征点添加至特征库中，并对该特征点的可信度赋予初始值；

若特征库中的某特征点在当前帧的候选目标搜索区域未找到相匹配的特征点，则使该特征点的可信度减1，当特征库中某特征点的可信度为0，将该特征点丢弃；

目标模板更新是指将当前帧通过MeanShift算法精确定位后所获得的目标区域作为新的目标模板。

进一步的，步骤5-2-2中遮挡跟踪的步骤如下：

采用Kalman滤波估计目标被遮挡时在当前帧的位置，得到候选目标区域；

计算Kalman滤波预测的候选目标区域与进入遮挡模式时的前一帧的目标区域的归一化互相关系数；

当归一化互相关系数的最大值大于设定阈值时，认为目标离开遮挡区域，跳出遮挡跟踪模式，以归一化互相关系数的最大值对应的目标位置为当前帧目标位置，对特征库和目标模板进行更新，进入下一帧的跟踪。

本发明方法通过采取以下措施，提高目标跟踪的精度：第一，通过SIFT进行初始定位，克服旋转、缩放、遮挡等对目标跟踪的影响，然后利用MeanShift精确定位，提高目标定位精度；第二，为了保证特征提取与特征匹配的稳定性，采用特征库动态更新的SIFT特征匹配，大大提高了匹配的精度；第三，通过计算目标的遮挡因子来确定目标的跟踪模式，如果遮挡因子大于阈值则进入遮挡跟踪模式，否则对特征库进行更新，然后进入下一帧的跟踪。本发明将MeanShift算法和SIFT特征匹配算法结合起来，充分发挥二者的优势，实现目标的稳定跟踪。

附图说明

图1为本发明方法的流程图；

图2a至图2c分别是采用本发明方法与现有的两种目标跟踪方法的跟踪结果图；

图3a至图3c分别是采用本发明方法与现有的两种目标跟踪方法的跟踪结果图；

图4a至图4c分别是采用本发明方法与现有的两种目标跟踪方法的跟踪结果图；

图5a至图5c是本发明方法与现有的目标跟踪方法的跟踪误差对比图。

具体实施方式

为了让本发明的上述和其它目的、特征及优点能更明显，下文特举本发明实施例，并配合所附图示，做详细说明如下。

本发明方法的基本思路是：利用SIFT特征匹配对目标进行初始定位，利用MeanShift算法对目标精确定位，其整个过程分为五大步骤，首先，采用基于RGB颜色模型的方法进行背景重构，然后采用背景差分法获得初始时刻的目标区域，并对其采用MeanShift算法进行建模；其次，对目标区域进行SIFT特征提取，将初始时刻目标区域的SIFT特征点作为特征库的初始特征点；再次，采用Kalman滤波预测当前帧目标区域的位置，以此为中心、在长宽扩大一定比例的候选区域内进行SIFT特征提取，并与特征库中的特征点进行匹配，计算出当前帧目标的初始位置、尺度参数和旋转参数；接着，采用MeanShift算法对目标进行精确定位；最后，通过计算目标的遮挡因子判断目标的遮挡程度，如果遮挡因子大于阈值，则进入遮挡跟踪模式，否则对特征库进行更新，进入下一帧的跟踪。

以上是本发明的核心思想，下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

参照图1，图1为本发明方法的流程图，本发明方法的步骤如下：输入图像序列，

步骤1、采用基于RGB颜色模型的方法对图像序列进行背景重构，然后采用背景差分法获得初始时刻的目标区域，并对初始时刻的目标区域采用MeanShift算法进行建模，得到初始时刻的目标区域模型；

步骤1中基于RGB颜色模型进行背景重构的方法具体如下：从连续的M帧图像序列(f₁,f₂,…,f_M)中抽取N帧图像构成图像子序列，可记为I₁,I₂,…,I_N，N≤M，每帧图像的大小为W×H；分别对图像子序列的N帧图像在每个点(x,y)处的RGB分量按照递增的顺序进行排序，x＝1,…,W，y＝1,…H，i＝1,2,…,N，形成数列RI^R(x,y)、RI^G(x,y)及RI^B(x,y)，分别取数列RI^R(x,y)、RI^G(x,y)、RI^B(x,y)的中间值作为背景图像的RGB分量在该点的像素值，记为B^R(x,y)、B^G(x,y)、B^B(x,y)；

采用背景差分法对背景重构后的图像中每个像素点的R、G、B分量分别进行处理，得到三个通道的差分图像：

D^R(x,y)＝|f^R(x,y)-B^R(x,y)|

D^G(x,y)＝|f^G(x,y)-B^G(x,y)|；

D^B(x,y)＝|f^B(x,y)-B^B(x,y)|

其中，f^R(x,y)、f^G(x,y)、f^B(x,y)为图像f(x,y)的RGB分量，(x,y)为像素点的空间坐标；

对差分图像进行阈值化处理得到前景目标——要检测的目标区域，获得初始时刻的目标区域，将初始时刻的目标区域作为当前帧的初始目标模板：

RGB三个通道的平均差分图像 $\mathrm{\Δ}2(x,y)=\frac{1}{3}\[D^R(x,y)+D^G(x,y)+D^B(x,y)\];$

阈值化处理结果图像 $RI(x,y)=\left\{\begin{array}{c}1,if\left(\mathrm{\Δ}2\right(x,y)\≥TH)\\ 0,else\end{array}\right.;$

其中，TH为目标检测阈值，当差分图像中某一像素大于该阈值时，则认为该像素是前景像素，否则为背景像素；本发明可采用最大类间方差法确定目标检测阈值；

由于本发明仅仅对单目标跟踪，只需对初始时刻的图像序列采用背景差分法进行目标检测，然后对检测到的目标进行跟踪，因此，不需要对背景图像进行更新；

采用MeanShift算法进行目标建模时，将采用背景差分法获得的初始时刻的目标区域的颜色直方图划分为m个子区间，即将颜色特征空间量化成m个特征值，然后计算初始时刻的目标模型的颜色特征概率密度分布，从而进行初始时刻的目标区域建模；

目标模型的颜色特征概率密度分布q＝{q_u}_u＝1…m，

其中，u为颜色直方图的颜色索引，u＝1,…,m，q_u表示目标模型在颜色特征值为u时的概率密度， $q_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{\left(x_i,y_i\right)-\left(x_0,y_0\right)}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i,y_i\right)-u\],$ C为归一化常数，k(·)表示核函数，(x_i,y_i)为目标区域中第i个像素的坐标，(x₀,y₀)为目标区域的中心坐标，h为核函数的带宽，n为目标区域的总像素点数，δ(·)表示Delta函数，b(x_i,y_i)表示(x_i,y_i)处的颜色特征值，δ[b(x_i,y_i)-u]的作用是判断目标区域中像素(x_i,y_i)处的颜色特征值是否等于颜色特征值u，若等于则值为1，否则为0；

步骤2、对步骤1得到的初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点；

步骤3、读入图像序列中的一帧图像，通过SIFT特征匹配计算当前帧目标的初始位置、尺度参数和旋转参数，具体步骤如下：

步骤3-1、在当前帧的候选目标搜索区域提取SIFT特征点；采用Kalman滤波法预测出当前帧的目标区域，将以该目标区域的中心为中心、长宽按一定比例扩大后得到的矩形区域作为当前帧的候选目标搜索区域，其中长、宽扩大的比例可以根据实际情况进行设定，当目标速度比较快时搜索区域的长宽可以扩大的更大一些，反之则相反；

步骤3-2、将步骤3-1得到的SIFT特征点与特征库中的特征点进行匹配，采用随机抽样一致(RandomSampleConsensus,RANSAC)算法消除误匹配对，获得正确匹配对；

步骤3-3、采用仿射变换模型，通过正确匹配对计算当前帧的候选目标搜索区域与前一帧初始时刻的目标区域模型之间的变换参数，变换参数包括初始位置、尺度参数和旋转参数；若当前帧图像为图像序列中的第一帧图像时，则计算第一帧图像的候选目标搜索区域与第一帧图像的初始时刻的目标区域模型之间的变换参数；

仿射变换矩阵 $H=\left[\begin{array}{ccc}{H}_0& H_1& H_2\\ H_3& H_4& H_5\end{array}\right],$

目标区域与候选目标搜索区域间的点坐标变换关系 $\left[\begin{array}{c}\hat{x}\\ \hat{y}\end{array}\right]=\left[\begin{array}{cc}{H}_0& H_1\\ H_3& H_4\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{H}_2\\ H_5\end{array}\right];$

其中，[x,y]^T和分别表示前一帧和当前帧匹配点的坐标，H₂和H₅表示前一帧初始时刻的目标区域模型相对当前帧候选目标搜索区域的平移量，H₂为水平平移量，H₅为垂直平移量，H₀、H₁、H₃、H₄为尺度参数和旋转参数，共同决定了图像的尺度和旋转量，H₀、H₁、H₃、H₄分别是s*cosθ、-s*sinθ、s*sinθ、s*cosθ，其中s表示图像尺度，θ表示图像旋转角度，即 $\left[\begin{array}{c}\hat{x}\\ \hat{y}\end{array}\right]=\left[\begin{array}{c}s*cos\mathrm{\θ}-s*sin\mathrm{\θ}\\ s*sin\mathrm{\θ}s*\cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}dx\\ dy\end{array}\right];$

步骤3-4、利用目标区域和候选目标搜索区域间的点坐标关系计算当前帧目标的初始位置以及相对于前一帧目标的尺度参数和旋转参数，进行目标初定位；

步骤4、对当前帧目标进行精确定位；

步骤4-1、在步骤3-4获得的当前帧目标的初始位置处采用MeanShift算法建立候选目标模型，其建模的方法与步骤1中采用MeanShift算法进行目标建模的方法相同；

步骤4-2、计算步骤1得到的初始时刻的目标区域模型与候选目标模型的相似性系数ρ(x_cen,y_cen)：

$\mathrm{\ρ}\left(x_{cen},y_{cen}\right)=\mathrm{\ρ}\[p\left(x_{cen},y_{cen}\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(x_{cen},y_{cen}\right)q_u}\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(x_0,y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{n_h}{\Σ}}{w}_{i}k\left(\right|\left|\frac{\left(x_{cen},y_{cen}\right)-\left(x_i^{\′},y_i^{\′}\right)}{h}\right|{|}^2);$

其中，p(x_cen,y_cen,)为候选目标模型的颜色特征概率密度分布，q为目标模型的颜色特征概率密度分布，p_u(x_cen,,y_cen,)为候选目标模型在颜色特征值为u时的概率密度，q_u表示目标模型在颜色特征值为u时的概率密度，p(x₀,y₀)为中心坐标在点(x₀,y₀)处的目标模型的颜色特征概率密度分布，C_h为候选目标模型在颜色特征值为u时的概率密度中的归一化常数，w_i是权值系数，u为颜色直方图的颜色索引，p(x_cen,y_cen)＝{p_u(x_cen,y_cen)}_u＝1…m，(x_cen,,y_cen,)为候选目标区域模型的中心坐标，(x_i′,y_i′)为候选目标区域模型中第i个像素的坐标，(x₀,y₀)为初始时刻的目标区域模型的中心坐标，n_h为候选目标区域模型的总像素点数；

本步骤中的相似性系数ρ(x_cen,y_cen)为Bhattacharraya系数，Bhattacharraya系数越大，两物体越相似，步骤4-3所述的目标精确位置就是通过对相似性系数ρ(x_cen,y_cen)的第二项进行优化而确定的；

步骤4-3、采用MeanShift算法对目标进行精确定位；

MeanShift算法对目标进行精确定位的过程就是不断迭代计算当前帧新目标中心位置的过程，随着新目标中心位置的收敛，即相邻两次迭代计算获得的新目标中心位置的距离小于经验阈值ε，如小于0.5，或者迭代计算次数达到设定的最大迭代次数时，如达到100次时，认为相似性系数ρ(x_cen,y_cen)达到最优，然后将此时的新目标中心位置作为目标最终中心位置，完成目标的精确定位，停止迭代；

新目标中心位置 $\left(x_1,y_1\right)=\left(\frac{\underset{i=1}{\overset{n_h}{\Σ}}\left(x_i^{\′},y_i^{\′}\right)w_{i}g\left(\right|\left|\frac{\left(x_0,g_0\right)-\left(x_i^{\′},y_i^{\′}\right)}{h}\right|{|}^2)}{\underset{i=1}{\overset{n_h}{\Σ}}{w}_{i}g\left(\right|\left|\frac{\left(x_0,g_0\right)-\left(x_i^{\′},y_i^{\′}\right)}{h}\right|{|}^2)}\right),$ 其中，g(·)＝-k′(·)，k′(·)表示对k(·)求导；

步骤5、计算当前帧目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式；

步骤5-1、计算目标的遮挡因子其中，λ∈[1,∞)为遮挡程度参量，其为经验值，本实施例中λ＝1.2，当t_u＞1时，目标的第u个颜色特征被部分遮挡，当t_u＝-1时，目标的第u个颜色特征被全部遮挡；

步骤5-2、根据目标的遮挡因子occ判断目标的遮挡程度，当occ＜阈值th1时执行步骤5-2-1，否则执行步骤5-2-2；

步骤5-2-1、当occ＜th1时，th1∈(0,1)，认为目标没有被遮挡，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪，则读入下一帧图像，返回执行步骤3，进入下一帧的跟踪；本实施例中th1为经验值，本实施例中th1＝0.65；

步骤5-2-1中更新特征库的步骤如下：

将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点，对特征库中每个特征点的可信度赋予一个初始值co_ini，本实施例的co_ini为5；

若当前帧的候选目标搜索区域提取的SIFT特征点在特征库中能找到正确匹配点，则用当前帧中相应的特征点替换其在特征库匹配的特征点，并使该特征点的可信度加1；若候选目标区域提取的SIFT特征点在特征库中未找到相匹配的特征点，则将该特征点添加至特征库中，并对该特征点的可信度赋予初始值co_ini；

若特征库中的某特征点在当前帧的候选目标搜索区域未找到相匹配的特征点，则使该特征点的可信度减1，当特征库中某特征点的可信度为0，将该特征点丢弃；

目标模板更新是指将当前帧通过MeanShift算法精确定位后所获得的目标区域作为新的目标模板；

步骤5-2-2、当occ＞th1时，认为目标被遮挡，停止对特征库的更新，进入遮挡跟踪模式，当跳出遮挡跟踪模式时，对特征库的特征点和目标模板进行更新，更新后如果图像序列中还有图像要继续跟踪，读入下一帧图像，返回执行步骤3；

步骤5-2-2中遮挡跟踪的步骤如下：采用Kalman滤波对当前帧目标运动轨迹进行预测和跟踪，即采用Kalman滤波估计目标被遮挡时在当前帧的位置，得到候选目标区域；

为了使目标在离开遮挡区域时能够更加准确的被检测到，计算Kalman滤波预测的候选目标区域与初始时刻的目标区域的归一化互相关系数；

归一化互相关系数 $R(x_{ncc},y_{ncc})=\frac{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}\[S(i+x_{ncc},j+y_{ncc})-\stackrel{\‾}{S(x_{ncc},y_{ncc})}\]\·\[T(i,j)-\stackrel{\‾}{T}\]}{\sqrt{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\[S(i+x_{ncc},j+y_{ncc})-\stackrel{\‾}{S(x_{ncc},y_{ncc})}\]}^2}\·\sqrt{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\[T(i,j)-\stackrel{\‾}{T}\]}^2}},$

其中，T(i,j)为进入遮挡模式时的前一帧的目标区域在点(i,j)的像素值，m和n分别为进入遮挡模式时的前一帧的目标区域的长和宽，S(i+x_ncc,j+y_ncc)为候选目标区域在点(i+x_ncc,j+y_ncc)处的像素值，(x_ncc,y_ncc,)为搜索子图的左下角顶点在候选目标区域中的坐标，和分别为搜索子图的灰度平均值和进入遮挡模式时的前一帧的目标区域的灰度平均值，搜索子图S(x_ncc,y_ncc)是指初始时刻的目标区域在候选目标区域上平移时初始时刻的目标区域所覆盖的部分；

当归一化互相关系数的最大值大于设定阈值时，如大于0.7时，认为目标离开遮挡区域，跳出遮挡跟踪模式，以归一化互相关系数的最大值对应的目标位置为当前帧目标位置，对特征库的特征点及目标模板进行更新，更新方法与步骤5-2-1的更新方法相同，进入下一帧的跟踪；

步骤6、图像序列中的所有图像跟踪完毕，结束目标跟踪。

本发明方法通过SIFT特征匹配获得目标的初始位置，利用MeanShift算法对目标精确定位，采用遮挡因子来确定目标的跟踪模式，从而获得更强的跟踪鲁棒性。本发明方法中的阈值、初始值的赋值都是根据经验设置的经验值。

图2a至图2c分别是采用本发明方法和传统SIFT方法及传统MeanShift方法对视频序列进行跟踪的结果图，其中输入的视频序列的目标存在小尺度变化和旋转，图中从左到右分别表示视频序列的第1、9、22、31、52帧。图3a至图3c分别是采用本发明方法和核函数带宽增加±10％的MeanShift方法及传统MeanShift方法对视频序列进行跟踪的结果图，其中输入的视频序列的目标存在较大的尺度变化，图中从左到右分别是视频序列的第1、40、60、120、170帧。图4a至图4c分别是采用本发明方法、传统的SIFT方法及传统MeanShift方法对视频序列进行跟踪的结果图，其中输入的视频序列的目标存在遮挡，图中从左到右分别是视频序列的第13、15、22、27、30帧。图5a是采用本发明方法与SIFT方法及传统MeanShift方法的跟踪误差对比图；图5b是采用本发明方法与核函数带宽增加±10％增量的MeanShift方法及传统MeanShift方法的跟踪误差对比图；图5c是采用本发明方法与SIFT方法即传统MeanShift方法的跟踪误差对比图。由上述对比图可以看出，本发明对目标存在遮挡、快速运动及尺度变化等情况时均具有较强的跟踪鲁棒性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于，包括以下步骤：输入图像序列，

步骤1、采用基于RGB颜色模型的方法对图像序列进行背景重构，然后采用背景差分法获得初始时刻的目标区域，并对初始时刻的目标区域采用MeanShift算法进行建模，得到初始时刻的目标区域模型；

步骤2、对初始时刻的目标区域模型进行SIFT特征提取，将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点；

步骤3、从图像序列中输入单帧图像，通过SIFT特征匹配计算当前帧目标的初始位置、尺度参数和旋转参数，步骤如下：

步骤3-1、在当前帧的候选目标搜索区域提取SIFT特征点；

步骤3-2、将SIFT特征点与特征库中的特征点进行匹配，并消除误匹配对，获得正确匹配对；

步骤3-3、采用仿射变换模型，通过正确匹配对计算当前帧的候选目标搜索区域与前一帧初始时刻的目标区域模型之间的变换参数；

仿射变换矩阵 $H=\left[\begin{array}{ccc}{H}_0& H_1& H_2\\ H_3& H_4& H_5\end{array}\right],$

目标区域与候选目标搜索区域间的点坐标变换关系 $\left[\begin{array}{c}\hat{x}\\ \hat{y}\end{array}\right]=\left[\begin{array}{cc}{H}_0& H_1\\ H_3& H_4\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{H}_2\\ H_5\end{array}\right];$

其中，[x,y]^T和分别表示前一帧和当前帧匹配的点的坐标，H₂和H₅为前一帧初始时刻的目标区域模型相对当前帧候选目标搜索区域的平移量，H₀、H₁、H₃、H₄为尺度参数和旋转参数；

步骤3-4、利用目标区域和候选目标搜索区域间的点坐标关系计算当前帧目标的初始位置以及相对于前一帧目标的尺度参数和旋转参数，进行目标初步定位；

步骤4、对当前帧目标进行精确定位；

步骤4-1、在步骤3-4获得的当前帧目标的初始位置处采用MeanShift算法建立候选目标模型；

步骤4-2、计算初始时刻的目标区域模型与候选目标模型的相似性系数ρ(x_cen,y_cen)：

$\mathrm{\ρ}\left(x_{cen},y_{cen}\right)=\mathrm{\ρ}\[p\left(x_{cen},y_{cen}\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(x_{cen},y_{cen}\right)q_u}\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p\left(x_0,y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{n_h}{\Σ}}{w}_{i}k\left(\right|\left|\frac{\left(x_{cen},y_{cen}\right)-\left(x_i^{\′},y_i^{\′}\right)}{h}\right|{|}^2);$

其中，p(x_cen,y_cen)为候选目标模型的颜色特征概率密度分布，q为目标模型的颜色特征概率密度分布，p_u(x_cen,,y_cen)为候选目标模型在颜色特征值为u时的概率密度，q_u表示目标模型在颜色特征值为u时的概率密度，p(x₀,y₀)为中心坐标在点(x₀,y₀)处的目标模型的颜色特征概率密度分布，C_h为候选目标模型在颜色特征值为u时的概率密度中的归一化常数，w_i是权值系数，u为颜色直方图的颜色索引，(x_cen,,y_cen)为候选目标模型的中心坐标，(x′_i,y′_i)为候选目标模型中第i个像素的坐标，(x₀,y₀)为初始时刻的目标区域模型的中心坐标，n_h为候选目标模型的总像素点数；

步骤4-3、采用MeanShift算法对目标进行精确定位；

步骤5、计算当前帧目标的遮挡因子，判断目标的遮挡程度，确定目标的跟踪模式；

步骤5-1、计算目标的遮挡因子其中，

${\mathrm{\α}}_u=\left\{\begin{array}{c}{q}_u-p_u(x_{cen},y_{cen}),t_u>\mathrm{\λ}\\ q_u,t_u=-1\\ 0,otherwise\end{array}\right.,$ λ为遮挡程度参量；

步骤5-2、根据目标的遮挡因子occ判断目标的遮挡程度，当occ＜阈值th1时执行步骤5-2-1，否则执行步骤5-2-2；

步骤5-2-1、当occ＜阈值th1时，认为目标没有被遮挡，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪，则读入下一帧图像，返回执行步骤3；

步骤5-2-2、当occ＞阈值th1时，认为目标被遮挡，进入遮挡跟踪模式，当跳出遮挡跟踪模式时，对特征库和目标模板进行更新；更新后，如果图像序列中还有图像要继续跟踪时，读入下一帧图像，返回执行步骤3；

步骤6、图像序列中的所有图像跟踪完毕，结束目标跟踪。

2.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤1中基于RGB颜色模型进行背景重构的方法如下：从连续的M帧图像序列中抽取N帧图像构成图像子序列，N≤M；分别对图像子序列的每帧图像在每个点(x,y)处的RGB分量按照递增的顺序进行排序，形成数列RI^R(x,y)、RI^G(x,y)及RI^B(x,y)；分别取数列RI^R(x,y)、RI^G(x,y)、RI^B(x,y)的中间值作为背景图像的RGB分量在该点的像素值。

3.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤1中采用背景差分法获得初始时刻的目标区域的步骤如下：对背景重构后的图像中每个像素点的R、G、B分量分别进行处理，得到三个通道的差分图像：

D^R(x,y)＝|f^R(x,y)-B^R(x,y)|

D^G(x,y)＝|f^G(x,y)-B^G(x,y)|；

D^B(x,y)＝|f^B(x,y)-B^B(x,y)|

其中，f^R(x,y)、f^G(x,y)、f^B(x,y)为图像f(x,y)的RGB分量，(x,y)为像素点的空间坐标；

对差分图像进行阈值化处理得到初始时刻的目标区域：

RGB三个通道的平均差分图像 $\mathrm{\Δ}2(x,y)=\frac{1}{3}\[D^R(x,y)+D^G(x,y)+D^B(x,y)\];$

阈值化处理结果图像 $RI(x,y)=\left\{\begin{array}{c}1,if\left(\mathrm{\Δ}2\right(x,y)\≥TH)\\ 0,else\end{array}\right.;$

其中，TH为目标检测阈值。

4.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤1中采用MeanShift算法进行目标建模的步骤如下：将初始时刻的目标区域的颜色直方图划分为m个子区间，计算目标模型的颜色特征概率密度分布，进行初始时刻的目标区域建模；

目标模型的颜色特征概率密度分布q＝{q_u}_u＝1...m，

其中，u为颜色直方图的颜色索引，q_u表示目标模型在颜色特征值为u时的概率密度。

5.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤3-1中用Kalman滤波法预测出当前帧的目标区域，以该目标区域的中心为中心、长宽按比例扩大后得到的矩形区域作为当前帧的候选目标搜索区域。

6.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤3-2中采用随机抽样一致算法消除误匹配对。

7.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤5-2-1中更新特征库的步骤如下：

将初始时刻的目标区域模型的SIFT特征点作为特征库的初始特征点，对特征库中每个特征点的可信度赋予一个初始值；

若当前帧的候选目标搜索区域提取的SIFT特征点在特征库中能找到正确匹配点，则用当前帧中相应的特征点替换其在特征库匹配的特征点，并使该特征点的可信度加1；若候选目标区域提取的SIFT特征点在特征库中未找到相匹配的特征点，则将该特征点添加至特征库中，并对该特征点的可信度赋予初始值；

若特征库中的某特征点在当前帧的候选目标搜索区域未找到相匹配的特征点，则使该特征点的可信度减1，当特征库中某特征点的可信度为0，将该特征点丢弃；

目标模板更新是指将当前帧通过MeanShift算法精确定位后所获得的目标区域作为新的目标模板。。

8.如权利要求1所述的基于特征匹配和MeanShift算法的目标跟踪方法，其特征在于：所述步骤5-2-2中遮挡跟踪的步骤如下：

采用Kalman滤波估计目标被遮挡时在当前帧的位置，得到候选目标区域；

计算Kalman滤波预测的候选目标区域与进入遮挡模式时的前一帧的目标区域的归一化互相关系数；

当归一化互相关系数的最大值大于设定阈值时，认为目标离开遮挡区域，跳出遮挡跟踪模式，以归一化互相关系数的最大值对应的目标位置为当前帧目标位置，对特征库和目标模板进行更新，进入下一帧的跟踪。