CN106127766B

CN106127766B - 基于空间耦合关系和历史模型的目标跟踪方法

Info

Publication number: CN106127766B
Application number: CN201610467214.9A
Authority: CN
Inventors: 何珂; 王强; 周芸
Original assignee: National News Publishes Broadcast Research Institute Of General Bureau Of Radio Film And Television
Current assignee: National News Publishes Broadcast Research Institute Of General Bureau Of Radio Film And Television
Priority date: 2016-06-24
Filing date: 2016-06-24
Publication date: 2018-12-25
Anticipated expiration: 2036-06-24
Also published as: CN106127766A

Abstract

本发明涉及一种基于空间耦合关系和历史模型的目标跟踪方法，其主要技术特点是：建立MIL模型并在跟踪过程中不断更新该MIL模型；利用跟踪目标的历史状态构成一个目标模型池；针对当前帧选择最佳的目标模型并估计目标位置；检测目标周边区域的关键点，利用空间相关信息预测目标位置；融合利用最佳模型估计出的目标位置和利用空间相关信息预测出的目标位置，得到最终的目标位置。本发明设计合理，以多示例学习跟踪算法为基本的跟踪模型，保存一组目标历史模型，配合空间上下文信息辅助跟踪，达到了出色的跟踪效果，能够应对各种环境变化的情况，具有良好的鲁棒性和较强的可扩展性。

Description

基于空间耦合关系和历史模型的目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，尤其是一种基于空间耦合关系和历史模型的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域研究最为火热的方向之一，并且在视频监控、自动驾驶、人机交互和虚拟现实中起到至关重要的作用。经过几十年的研究，很多目标跟踪的算法被提出，并且取得了非常大的进步。然而目标跟踪由于诸多因素的影响，仍然很难应用到实际场景中。

部分遮挡、全遮挡或者是背景噪声都会导致模型漂移到背景之中，严重地影响着跟踪算法的性能。利用分类器思想构建的跟踪算法，因为在建模时，考虑到了背景因素，因此能够有效地处理部分遮挡、光照变化和背景噪声。普通的算法很难处理长期完全遮挡，或者是目标移出视野范围的情况，需要利用对是否跟踪失败进行检测，若失败后，则利用重检测模块重新检测目标位置。但是重检测算法很容易受到相似目标的干扰，若有多个相似目标存在，则很难确定目标的真实位置。因此空间环境相关性被用来预测目标位置。

目标跟踪算法主要分为生成式和判别式两大类。判别式分类算法利用在线更新的方式训练得到一个分类器模型，同时在建模时考虑到了背景信息，因此在处理很多跟踪场景时，都有不错的效果。一种基于在线AdaBoost算法的实时目标跟踪算法(H.Grabner,M.Grabner,and H.Bischof,“Real-time tracking via on-line boosting.,”in BMVC,2006,vol.1,p.6.)在模型更新时利用了背景作为负样本。此外，一种半监督的算法(H.Grabner,C.Leistner,and H.Bischof,“Semisupervised on-line boosting forrobust tracking,”in ECCV,pp.234–247.Springer,2008.)仅以第一帧标记的样本进行跟踪。Bakenko等人(B.Babenko,M.-H.Yang,and S.Belongie,“Robust object trackingwith online multiple instance learning,”TPAMI,vol.33,no.8,pp.1619–1632,2011.)引入多示例学习算法到目标跟踪领域，有效地处理了跟踪时样本存在歧义的问题。Henriques等人(J.Henriques,R.Caseiro,P.Martins,and J.Batista，“High-speedtracking with kernelized correlation filters,”TPAMI,vol.37,no.3,pp.583–596,2015.)则将训练样本作为一个循环矩阵，并且以相关滤波作为分类器。

综上所述，现有的目标跟踪算法容易出现目标漂移到背景区域的问题，因此，很难确定目标的真实位置，不能适应各种环境变化的情况。

发明内容

本发明的目的在于弥补现有技术的不足之处，提供一种设计合理、鲁棒性良好且扩展性强的基于空间耦合关系和历史模型的目标跟踪方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于空间耦合关系和历史模型的目标跟踪方法，包括以下步骤：

步骤1、采用多示例学习跟踪算法对跟踪目标建立MIL模型，并在跟踪的过程中，不断更新该MIL模型；

步骤2、利用跟踪目标的历史状态，记录表达各个不同历史状态的目标模型，构成一个目标模型池；

步骤3、对每个模型分配一权重因子，针对当前帧选择最佳的目标模型并估计目标位置；

步骤4、检测目标周边区域的关键点，找出与跟踪目标有强耦合关系的物体，利用空间相关信息预测目标位置；

步骤5、融合利用最佳模型估计出的目标位置和利用空间相关信息预测出的目标位置，得到最终的目标位置。

所述步骤1的实现方法包括以下步骤：

(1)构建Haar特征集F＝{f₁，...，f_d}，该特征集包含有d个特征，选择出一组图像块：并计算每个图像块的特征值，得到MIL模型；

(2)利用构建的MIL模型估计目标位置概率p(y＝1|x)，更新目标位置该MIL模型包含一组高斯分类器，采用在线Boost算法构建强分类器；

(3)根据目标的新位置，选择一组正样本图像块和一组负样本图像块，计算样本的特征值，更新高斯分类器的均值、方差参数，从而更新MIL模型。

所述步骤2的实现方法包括以下步骤：

(1)MIL跟踪算法利用多个弱分类器构建目标模型，每个弱分类器利用高斯分布构建，包含4个重要的参数，分别是正负样本的均值和方差,参数矩阵m被用来表示目标，如下式所示:

其中d表示弱分类器的数量，μ_*p，μ_*n，σ_*p，σ_*n分别表示正负样本的均值和方差，以此构建出目标模型池M＝{m₁，...，m_n}；

(2)每一帧目标模型更新后，得到一个新的参数矩阵模型表示，矩阵余弦相似度被用来衡量两个模型的相似度，并根据相似度的大小，判断是否需要保存该模型，该矩阵余弦相似度定义如下：

其中||m₁||_F表示矩阵m₁的F范数，对于模型m_t-1，若ρ(m_t-1，m)＜θ，则将模型m_t-1保存到模型池中，其中θ是设置的固定的阈值，判断模型的相似程度。

所述步骤3的实现方法包括以下步骤：

(1)、判断目标模型池的大小，若超过了限定值，则删除目标模型池中最相似两个模型的后者；

(2)、对于第t帧，从构建的模型池中选出与当前帧最匹配的外观模型，如下式所示：

其中c_i(x)是利用模型m_i计算得到的概率置信图，N是模型池中模型的数量，|| ||_∞表示无穷范数。

所述步骤4的实现方法包括以下步骤：

(1)SURF特征被用来检测目标周边区域的关键点，将检测关键点的区域限制在宽αw和高αh的矩形范围内且不包括目标区域，其中α表示缩放因子，w和h表示目标区域的宽和高，第t帧上检测关键点按如下公式得到：

其中是关键点的位置，f_i ^t是对关键点对应的描述子，r_i ^t是关键点与目标中心位置的相对距离，是指该关键点连续存在的帧数，初始化r_i ^t和为0；

(2)得到第t帧的一组关键点后，将该组关键点与t-1帧的关键点进行匹配，如果满足下式，则认为匹配成功：

其中，和分别表示关键点在第t帧中最相似和次相似的关键点；

(3)关键点匹配完成得到一组匹配成功的关键点，对于成功匹配的关键点，更新这些点的相对距离和匹配次数如下：

r_i ^t＝r_j ^t-1

(4)利用所有匹配次数的点预测目标位置，认为在连续十帧中都出现的关键点，与目标有很强的运动关联性，预测目标位置的公式如下：

其中是满足条件所有关键点的个数。

所述步骤5采用如下融合公式得到最终的目标位置：

其中L是一组候选目标位置的集合。

本发明的优点和积极效果是：

本发明融合了跟踪目标在空间上的强耦合关系和目标的历史状态到一种分类式跟踪算法中。目标的历史状态记录了目标的多种变化形态，构建一个历史模型池，并利用最大后验概率准则从中选出最适合当前帧的模型，从而校正目标模型漂移。另外，目标的周围环境信息可用于辅助目标跟踪，检测目标周围的关键点，并筛选出与目标存在强耦合关系的关键点预测目标位置，可有效解决目标被遮挡或者被相似物体干扰导致不能准确跟踪的问题。本发明设计合理，以多示例学习跟踪算法为基本的跟踪模型，保存一组目标历史模型，配合空间上下文信息辅助跟踪，达到了出色的跟踪效果，能够应对各种环境变化的情况，具有良好的鲁棒性和较强的可扩展性。

附图说明

图1是包括不同序列使用不同算法跟踪的结果图；

图2是采用不同算法在所有序列上的定量比较结果图(左侧为精确率曲线，右侧为成功率曲线)。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

步骤1、以多示例学习(MIL)跟踪算法为基本跟踪模型，对跟踪目标进行建立MIL模型，并在跟踪的过程中，不断更新该MIL模型，以适应目标或者环境的变化。同时，MIL模型利用了分类器的思想，将背景信息考虑模型中，使得算法能够更加有效地应对模型漂移。

本步骤的具体实现方法为：

(1)、构建Haar特征集F＝{f₁，...，f_d}，共包含有d个特征，选择出一组图像块并计算每个图像块的特征值；

(2)、利用构建的MIL模型估计目标位置概率p(y＝1|x)，更新目标位置MIL模型包含一组高斯分类器，采用在线Boost算法构建强分类器；

(3)、根据目标的新位置，选择一组正样本图像块和一组负样本图像块，更新目标模型。在更新模型时，主要是利用新的正负样本，计算样本的特征值，更新高斯分类器的均值、方差等参数。

步骤2、随着时间的推移，目标会发生各种形变，也就会存在多种多样的形态。本算法利用目标的历史状态，记录表达各个不同状态的目标模型，构成一个目标模型池，并将目标模型用一个参数矩阵来表示，利用相似度准则来衡量模型是否需要保存。

本步骤的具体实现方法为：

(1)、提出一种简单而有效的模型表示方式。MIL跟踪算法利用多个弱分类器构建目标模型，而每个弱分类器利用高斯分布构建，包含4个重要的参数，分别是正负样本的均值和方差。因此，参数矩阵被用来表示目标，如下式所示:

其中d表示弱分类器的数量，μ_*p，μ_*n，σ_*p，σ_*n分别表示正负样本的均值和方差，以此构建出模型池M＝{m₁，...，m_n}。

(2)、利用参数矩阵表示出目标模型后，对于每一帧，模型更新后，都会得到一个新的参数矩阵模型表示，矩阵余弦相似度被用来衡量两个模型的相似度，并根据相似度的大小，判断是否需要保存该模型。矩阵余弦相似度定义如下：

其中||m₁||_F表示矩阵m₁的F范数。对于模型m_t-1，若ρ(m_t-1，m)＜θ，则将模型m_t-1保存到模型池中，其中θ是设置的固定的阈值，判断模型的相似程度。模型池会记录着目标的经历的各种形态，以适应目标的各种变化。

步骤3、针对当前帧，选择最佳的目标模型，采用概率最大者作为最佳的模型，为了避免当前的模型最可能符合最佳的标准，对每个模型分配一权重因子，越早的模型，权重越大。

本步骤的具体实现方法为：

(1)、在步骤2中完成了模型池的初步构建，但模型池不能无限制的增长，否则系统的运行开销会过大，导致系统运行缓慢，因此限制模型池的大小，若超过了限制的大小，则删除模型池中最相似的两个模型的后者。

步骤4、检测目标周边区域的关键点，找出与目标有强耦合关系的物体，用于预测目标的位置。当目标被严重遮挡时，辅助定位目标的位置。

本步骤的具体实现方法为：

(1)、SURF特征被用来检测目标周边区域的关键点，将检测关键点的区域限制在宽αw和高αh的矩形范围内(但不包括目标区域)。其中α表示缩放因子，w和h表示目标区域的宽和高。第t帧上检测关键点得到：

其中是关键点的位置，f_i ^t是对关键点对应的描述子，r_i ^t是关键点与目标中心位置的相对距离，是指该关键点连续存在的帧数。初始化r_i ^t和为0.

(2)、得到关于第t帧的一组关键点后，将该组关键点与t-1帧的关键点进行匹配。若满足下式，则认为匹配成功：

其中，和分别表示关键点在第t帧中最相似和次相似的关键点。

(3)、关键点匹配完成，得到一组匹配成功的关键点，对于成功匹配的关键点，更新这些点的相对距离和匹配次数如下：

r_i ^t＝r_j ^t-1

(4)、利用所有匹配次数的点预测目标位置，认为在连续十帧中都出现的关键点，与目标有很强的运动关联性，预测目标位置的公式如下：

其中是满足条件所有关键点的个数。

为了防止目标漂移，融合利用两种方法得到目标位置。本步骤所采用的融合公式如下：

其中L是一组候选目标位置的集合。

下面按照本发明的方法进行实验，说明本发明的效果。

测试环境：Visual Studio 2010，MATLAB 2014b。

测试序列：一共包含了25个测试序列，分别为bird2,bolt,car2,cardark,coke,coupon,crowds,dancer2,david2,dog,doll,faceocc2,fish,freeman1,football,jogging,man,mhyang,motorRolling,mountainbike,skater,suv,sylvester,walking2,woman。

测试指标：实验使用了两种评价指标，分别为CLE和VOR，其中CLE是中心位置误差，表示跟踪到的目标和真实目标的中心位置的像素距离。因为CLE忽略了目标大小的影响，作为补充，考虑VOR准则，VOR定义为跟踪的目标区域与真实目标区域的交集与并集的比值。

测试结果如表1、图1、图2所示：

表1、8个跟踪算法在25个序列上的实验结果，CLE<20,VOR>0.5

方法	KCF	STC	Struck	SCM	ASLA	MIL	OAB	本专利
									VOR	0.7534	0.4994	0.712	0.7366	0.6608	0.4448	0.5401	0.7987
CLE	0.8467	0.7525	0.8293	0.8095	0.7176	0.562	0.6274	0.8597

通过上表及图1、图2可以看出，采用本发明进行目标跟踪相对于其他方法具有一定的优越性。表1给出了CLE<＝20和VOR>＝0.5时，跟踪成功的视频帧的比例。无论是在CLE标准还是VOR标准下，本发明都取得了最佳的性能，平均跟踪成功的帧数达到了85.97％(CLE)和79.87％(VOR)。图1给出了四种算法在8个视频序列下的跟踪结果。在序列suv和woman中，目标受到了严重的遮挡，除了我们提出的方法其他的算法都不能成功跟踪目标，说明在本发明中采用的模型校正策略能够有效地避免模型漂移。序列coupon和cardark的背景较复杂，存在相似目标的干扰。也只有我们提出的算法能够一直成功定位目标，本发明中采用的空间预测方法能够有效地排除相似目标的干扰。而在序列man和coke中，本发明涉及的方法一度丢失目标，但仍然能够通过本发明中的重检测机制，重新定位目标位置。最后，两个帧数大于3000的序列被用来验证本发明在长期跟踪中的出色效果。图2给出了定性的跟踪结果比较，可见，本发明提出的算法在精确率曲线和成功率曲线上都是优于其他算法的。本发明能够应对各种环境变化的情况，具有良好的鲁棒性和较强的可扩展性。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种基于空间耦合关系和历史模型的目标跟踪方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于空间耦合关系和历史模型的目标跟踪方法，其特征在于：所述步骤1的实现方法包括以下步骤：

3.根据权利要求1所述的基于空间耦合关系和历史模型的目标跟踪方法，其特征在于：所述步骤2的实现方法包括以下步骤：

其中d表示弱分类器的数量，μ_*p，μ_*n，σ_*p，σ_*n分别表示正样本的均值、负样本的均值、正样本的方差和负样本的方差，以此构建出目标模型池M＝{m₁，...，m_n}；

其中||m₁||_F表示矩阵m₁的F范数，对于模型m_t-1，若则将模型m_t-1保存到模型池中，其中θ是设置的固定的阈值，判断模型的相似程度。

4.根据权利要求1所述的基于空间耦合关系和历史模型的目标跟踪方法，其特征在于：所述步骤3的实现方法包括以下步骤：

5.根据权利要求1所述的基于空间耦合关系和历史模型的目标跟踪方法，其特征在于：所述步骤4的实现方法包括以下步骤：

r_i ^t＝r_j ^t-1

其中是满足条件所有关键点的个数。

6.根据权利要求1所述的基于空间耦合关系和历史模型的目标跟踪方法，其特征在于：所述步骤5采用如下融合公式得到最终的目标位置：

其中L是一组候选目标位置的集合。