CN106780552A - 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法，主要解决现有TLD算法中目标发生遮挡导致检测与跟踪误差变大甚至失效的问题。其实现步骤为：1.输入视频图像的第一帧和目标区域，并对目标进行均匀采样得到多个局部区域；2.对每一个局部区域的检测参数和在线模型进行初始化；3.更新检测参数和在线模型；4.读入新的视频帧，对目标的局部区域进行跟踪、检测得到所有局部结果；5.计算更新所有局部区域的权重值；6.对所有局部结果进行聚类，得到目标的跟踪结果；7.对输入的新视频图像重复步骤3～6。本发明能在目标遮挡情况下的有效的检测跟踪到目标，并提高了精度，可用于自动视频监控、智能交通等领域。

Description

基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及在目标被抗遮挡情况下的跟踪方法，可应用于自动视频监控、智能机器人导航及智能交通。

背景技术

目标跟踪是获得目标在连续的时间与空间上位置与变化的复杂过程，随着应用场景的不同会面对很多情况，诸如目标旋转、外形变化、尺度变化、光照变化和遮挡等问题。其中，如何有效地处理遮挡，是目标跟踪领域的热点和难点问题。

基于遮挡问题，目前可以将遮挡目标的跟踪算法分为基于景深分析算法、基于相机优化布设算法和基于融合的算法，其中以融合算法研究最广泛。由于检测跟踪算法理论的不断成熟和计算机运算性能的提升，多算法融合的研究趋势越来越明显，很难将一种算法归为一类，因此对此类算法统称为基于融合的算法。

基于融合的遮挡目标跟踪算法包括卡尔曼滤波等线性动态模型融合方法、基于粒子滤波的融合算法、基于特征空间压缩采样的目标跟踪算法和跟踪检测学习算法TLD等。由于TLD跟踪算法由跟踪、检测、学习三部分联合判断更新，使其在目标无遮挡的情况下能表现出良好的跟踪性能。但是当目标发生局部遮挡和严重遮挡时会使得跟踪误差过大，甚至无法得到跟踪结果。

发明内容

本发明的目的在于针对上述跟踪技术的不足，提出一种基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法，以减小目标在遮挡情况下的跟踪误差，提高跟踪的有效性和准确度。

实现本发明的技术方案是：对输入的视频图像通过均匀采样的方式进行局部感兴趣区域划分，并通过跟踪检测学习算法TLD对每一个局部区域进行跟踪，然后通过自适应权重的Meanshift聚类算法得到最终的跟踪结果。其实现步骤包括如下：

(1)对目标进行初始化：

(1a)输入第一帧视频图像F₁，并在该视频图像中手工标定目标区域G₁，通过均匀采样的方式对目标区域G₁划分得到m个局部区域其中表示第一帧视频图像的第j个局部区域，1≤j≤m，目标区域G₁包含目标区域的中心点Gc¹和目标区域的尺寸Gs¹；

(1b)初始化所有局部区域的空间权重和时间权重得到联合权重其中表示第一帧视频图像第j个局部区域的空间权重，表示第一帧视频图像第j个局部区域的时间权重，表示第一帧视频图像第j个局部区域的联合权重；

(2)将每一个局部区域作为一个独立目标，初始化并更新每个局部区域的检测参数和在线模型{M₁,…,M_j,…,M_m}，其中M_j表示第j个局部区域的在线模型，检测参数包括方差阈值vcla_j，概率阈值最近邻阈值位置，分组信息和排序信息；

(3)更新所有局部区域的概率阈值、最近邻阈值和在线模型{M₁,…,M_j,…,M_m}；

(4)输入第n帧视频图像，通过检测跟踪学习算法TLD，得到所有局部区域在第n帧的跟踪结果

(5)判断上一帧即第n-1帧是否是第一帧：

如果第n-1帧是第一帧，则根据(1b)直接得到所有局部区域初始化的联合权重

如果第n-1帧不是第一帧，则根据第n-1帧的目标区域G_n-1和局部区域跟踪结果计算所有局部区域在第n-1帧视频图像中的空间权重和时间权重得到第n帧视频图像中的联合权重

(6)将所有局部区域的跟踪结果进行基于第n-1帧联合权重的meanshift算法聚类，得到最后的聚类中心RP_n即为第n帧的目标区域G_n；

(7)判断是否有下一帧视频图像输入，如果没有输入，则结束整个跟踪过程，否则返回(3)。

本发明具有如下优点：

第一：本发明通过局部区域检测，可以消除遮挡区域目标特征匮乏，减少错误样本的个数，降低检测结果出现的误差。

第二：本发明通过局部划分的方式，提高了目标区域蕨特征的有效性，增加了相关相似度的判断精度；

第三：本发明利用自适应权重的meanshit聚类方法，能通过所有局部区域跟踪的位置准确找到有效目标位置。

附图说明

图1为本发明的实现流程图；

图2为用本发明对benchmark数据集中目标遮挡严重的视频数据进行跟踪的结果图；

图3为本发明与现有TLD跟踪方法的跟踪结果对比图。

具体实施方案

下面结合附图，对本发明的实现步骤和效果作进一步的详细描述。

参照图1，本发明的实现步骤如下：

步骤1，输入视频第一帧图像F₁和目标区域G₁，通过均匀采样对目标区域G₁进行采样得到m个局部区域。

(1a)读入图像F₁和目标区域G₁，在目标区域上均匀撒m个点{(x₁,y₁),…,(x_j,y_j),…,(x_m,y_m)}，这m个点之间的间隔为Δ，以每个点作为局部区域的中心点,得到m个s×s大小的矩形局部区域其中表示第一帧视频图像中第j个局部区域，1≤j≤m；

(1b)将m个局部区域的空间权重的值初始化为1，时间权重的值也初始化为1，再计算得到每一个局部区域的联合权重计算公式如下：

其中表示第一帧视频图像第j个局部区域的空间权重，表示第一帧视频图像第j个局部区域的时间权重，表示第一帧视频图像第j个局部区域的联合权重，1≤j≤m。

步骤2，初始化所有局部区域的在线模型和检测参数。

(2a)用所有局部区域分别赋值给m个空的在线模型{M₁,…,M_j,…,M_m}，其中M_j表示第j个在线模型，1≤j≤m；

(2b)统计所有局部区域对应的灰度均值和标准差并将标准差的作为每个局部区域的方差阈值{vclas₁,…,vclas_j,…,vclas_m}，其中vclas_j表示第j个局部区域方差分类检测的阈值，1≤j≤m；

其中s×s表示局部区域的大小，I_(x,y)表示图像在(x,y)处的灰度值，I_(p,q)表示图像在(p,q)的灰度值；

(2c)通过经验将概率阈值都赋值为0.6，最近邻阈值都赋值为0.65；

(2d)在s×s大小的图像中初始随机选取260个像素点，并保存这260个像素点的位置{pos₁,……,pos₂₆₀}，将260个像素点随机分为10组，按顺序将每组的13个像素点对排列，并保存分组信息{gro₁,……,gro₁₀}和排序信息{sor₁,……,sor₁₃}，每个像素点对包含两个像素点。

步骤3，更新所有局部区域的在线模型、最近邻阈值和概率阈值。

(3a)以步长sL和多个尺寸缩放系数ss的窗口多次扫描第n-1帧视频图像F_n-1，得到全部的扫描窗口计算所有局部区域与窗口的重叠率，其计算公式为：

其中表示第h个窗口与第j个局部区域面积的重叠率，表示与交集的面积，表示与并集的面积；

(3b)把最大的k个扫描窗口作为第j个局部区域的正集pb^j，把小于阈值0.2的扫描窗口作为第j个局部区域的负集nb^j，得到所有局部区域的正集{pb¹,…,pb^j,…,pb^m}和负集{nb¹,…,nb^j,…,nb^m}；

(3c)将所有局部区域正集{pb¹,…,pb^j,…,pb^m}和负集{nb¹,…,nb^j,…,nb^m}的扫描窗口都归一化为尺寸为s×s的图像；

(3d)对第j个局部区域所对应正集pb^j的k个扫描窗口进行偏移，尺度变化，旋转等t次仿射变换，得到k×t个样本，将这k×t个样本作为第j个局部区域的正样本集在负集nb^j中选择p个扫描窗口作为第j个局部区域的负样本集

这样就得到了所有局部区域的正样本集和负样本集其中表示第j个正样本集，表示第j个负样本集，1≤j≤m；

(3e)在第j正样本集中随机选取个正样本作为第j个局部区域的训练集另外个正样本作为第j个局部区域的测试集同时在第j负样本集中随机选取个负样本作为第j个局部区域的训练集另外个负样本作为第j个局部区域的测试集

(3f)每个正样本训练集中的正样本和负样本训练集中的负样本在位置{pos₁,……,pos₂₆₀}处找到260个像素点；再按照分组信息{gro₁,……,gro₁₀}将260个像素点分成10组，按照排序信息{sor₁,……,sor₁₃}将每组的13个像素点对进行排序

(3g)将每组13个像素点对的两个像素灰度进行比较，如果像素点对中前一个像素灰度大于后一个像素灰度，则将二进制特征值标记为1，否者标记为0，这样每组就得到13个二进制特征值；

(3h)将这13个二进制特征值按照排序信息{sor₁,……,sor₁₃}进行排序，得到13位的二进制蕨特征bv，每一组蕨特征bv对应一个如下的蕨特征后验概率：

P(y|bv)＝np/(np+nn)

其中np和nn分别表示该组蕨特征中1和0二进制特征值的个数；

计算每个正、负样本的10个蕨特征后验概率，求均值得到正、负样本平均后验概率：和其中表示第u个正样本的平均后验概率， 表示第v个负样本的平均后验概率，

(3i)将正、负样本的平均后验概率和分别与概率阈值比较：

如果小于概率阈值就将正样本训练集第u个正样本从正样本集中删除，并将其添加到负样本集中；

如果大于概率阈值就将负样本训练集第v个负样本从负样本集中删除，并将其添加到正样本集中；

(3j)计算负样本训练集的负样本与在线模型M_j的相关相似度：

其中表示第v个负样本与在线模型M_j的相关相似度，

(3k)计算正样本训练集的正样本与在线模型M_j的相关相似度：

其中表示第u个正样本与在线模型M_j的相关相似度， 的计算公式如下：

其中表示第u个正样本与在线模型M_j的相关性，s×s表示图像的大小，(x,y)表示图像内像素坐标，表示第u个正样本在(x,y)处的灰度值，I_(x,y)表示在线模型M_j在(x,y)处的灰度值，μ_u表示第u个正样本的灰度均值，δ_u表示第u个正样本的灰度标准差，表示M_j的灰度均值，表示M_j的灰度标准差；

(3l)将正样本与在线模型的相关相似度和负样本与在线模型的相关相似度分别与概率阈值比较：

如果正样本的相关相似度小于最近邻阈值就将正样本训练集第u个正样本从正样本集中删除，并将其添加到负样本集中；

如果负样本的相关相似度大于最近邻阈值负样本训练集第v个负样本从负样本集中删除并将其添加到正样本集中；

(3m)将正样本集分别添加到在线模型{M₁,…,M_j,…,M_m}中；

(3n)每一个负样本测试集的负样本在位置{pos₁,……,pos₂₆₀}处找到260个像素点，再按照分组信息{gro₁,……,gro₁₀}将260个像素点分成10组，并按照排序信息{sor₁,……,sor₁₃}将每组的13个像素点对进行排序；

(3o)按照步骤(3g)，计算负样本的10个蕨特征后验概率，求均值得到负样本的平均后验概率其中表示测试集中第w个负样本的平均后验概率，

从中筛选出最大的平均后验概率如果大于阈值0.6，则将作为新的概率阈值否则，概率阈值不更新。

(3p)计算负样本测试集的负样本与在线模型M_j的相关相似度：

其中表示样本测试集中第s个负样本与在线模型M_j的相关相似度；

(3q)从中筛选最大的相关相似度值作为最近邻阈值

步骤4，读入第n帧视频图像F_n，n>1，对图像中目标的所有局部区域进行跟踪检测，得到所有的局部结果。

(4a)在第n-1帧视频图像的第j个局部结果中均匀撒点，得到L个特征点p1，利用金字塔LK光流法先跟踪第n-1帧的特征点p1在第n帧的位置p2，再利用LK光流法反向跟踪第n帧的特征点p2在第n-1帧的位置p1'，得到反向误差FR：

FR＝|p1'-p1|；

(4b)找到反向误差FR的中值误差MR，如果MR大于误差阈值et＝10，则视为跟踪失效；反之，为跟踪有效，并筛选出FR小于MR的特征点Fp1作为最佳的追踪点，执行步骤(4c)；

(4c)利用金字塔LK光流法跟踪第n-1帧特征点Fp1在第n帧的位置Fp2，根据Fp2得到第j个局部区域在第n帧的跟踪结果

(4d)以步长sL和多个尺寸缩放系数ss的窗口多次扫描第n帧视频图像F_n，得到第n帧的全部窗口图像

(4e)计算全部窗口图像的灰度方差并从中筛选出大于方差阈值vcla_j的窗口图像，作为元方差图像

(4f)将元方差图像归一化尺寸大小为s×s，然后计算每个元方差图像的10个蕨特征后验概率，求均值得到第n帧的平均后验概率从中筛选大于概率阈值的元方差图像，作为蕨图像其中表示第n帧视频图像的第a个蕨图像1≤a≤t，t表示蕨图像的个数；

(4g)计算这t个蕨图像与在线模型M_j的相关相似度：{Sim₁,…,Sim_a,…,Sim_t}，其中Sim_a表示蕨图像与M_j的相关相似度；

(4h)从{Sim₁,…,Sim_a,…,Sim_t}中筛选大于最近邻阈值的蕨图像，作为最终的检测结果并得到检测结果的相似度{Sd₁,…,Sd_b,…,Sd_z}，其中表示第b个检测结果，1≤b≤z，z表示检测结果的个数；

(4i)计算跟踪结果与每个检测结果的重叠率其中，表示与交集的面积，表示与并集的面积；

(4j)对重叠率进行kmeans聚类，聚成k个类别并记录每个类别的检测结果的个数其中表示第c个类别的重叠率，表示第c个类别的检测结果个数，1≤c≤k；

(4k)计算跟踪结果与在线模型M_j的相关相似度Sim_PT，将第c个类别检测结果的相关相似度均值与相关相似度Sim_PT进行比较：

若大于Sim_PT，再对第c个类别的重叠率进行判断：如果则将第c个类别的检测结果求均值作为局部结果如果则找到第c个类别重叠率的检测结果进行累加，再加上跟踪结果后，对其求均值得到局部结果

若不大于Sim_PT，则找到第c个类别中所有重叠率的检测结果进行累加，再加上跟踪结果对其求均值得到局部结果

(4l)所有局部区域按照步骤(4a)～(4k)，就得到第n帧所有的局部结果

步骤5，根据第n-1帧的局部结果，计算所有局部区域的联合权重。

(5a)判断第n-1帧是否是第一帧；

如果第n-1帧是第一帧，则根据(1b)直接得到第一帧所有局部区域初始化的联合权重

如果第n-1帧不是第一帧，则将第n-1帧的所有局部结果映射到目标区域的中心点执行步骤(5b)

(5b)计算中心点与n-1帧目标区域中心点Gc^n-1的欧氏距离并利用该欧氏距离的高斯分布得到所有局部结果所对应的空间权重

(5c)利用每个局部区域连续三帧的高斯分布得到对应的时间权重

(5d)根据空间权重和时间权重利用(1b)中的公式计算得到联合权重

步骤6，根据所有局部结果和联合权重，聚类得到目标在第n帧的跟踪结果。

(6a)用所有局部结果映射得到目标区域的中心点其中表示第n帧中第j个目标映射的中心点；

(6b)把联合权重赋给中心点用基于权重的meanshift聚类算法寻找所有中心点中密度最大的位置，并将此位置作为目标区域的中心点Gcⁿ；

(6c)在(6a)的过程中，所有局部结果也会映射得到目标区域的尺寸向量对这m个尺寸向量求均值，得到目标区域的尺寸向量Gsⁿ；

(6d)根据目标区域的中心点Gcⁿ和目标区域的尺寸向量Gsⁿ，得到在第n帧中的目标区域G_n，即为跟踪结果。

步骤7，判断是否有下一帧视频图像输入，如果没有输入，结束整个跟踪过程，否则返回(3)。

本发明的效果结合以下仿真实验进一步说明：

1.仿真条件

本发明是在中央处理器为Intel(R)Core i7-4790k 4.0GHZ、内存16G、64位WINDOWS 7操作系统的PC上，运用MATLAB 2015b进行的仿真实验。

2.仿真内容

仿真1，采用本发明方法对benchmark数据集中遮挡较为严重的box和woman视频进行目标跟踪，跟踪结果如图2所示，其中：

图2(a)表示对box视频303～306帧的跟踪结果；

图2(b)表示对box视频467～470帧的跟踪结果；

图2(c)表示对woman视频129～132帧的跟踪结果；

图2(d)表示对woman视频221～224帧的跟踪结果；

由图2可以看出，本发明能有效地将视频中遮挡目标检测出来。

仿真2，采用TLD算法和本发明对benchmark数据集中遮挡较为严重的视频box和woman进行目标跟踪，跟踪结果如图3所示，其中：

图3(a)表示对box视频303～306帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；

图3(b)表示对box视频467～470帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；

图3(c)表示对woman视频129～132帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；

图3(d)表示对woman视频221～224帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；

由图3可以看出，相比于TLD算法，本发明能够有效提高视频中遮挡目标的跟踪精度。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理之后，都可能在不违背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求范围之内。

Claims (3)

1.基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法，包括：

(1)对目标进行初始化：

(1a)输入第一帧视频图像F₁，并在该视频图像中手工标定目标区域G₁，通过均匀采样的方式对目标区域G₁划分得到m个局部区域其中表示第一帧视频图像的第j个局部区域，1≤j≤m,目标区域G₁包含目标区域的中心点Gc¹和目标区域的尺寸Gs¹；

(1b)初始化所有局部区域的空间权重和时间权重得到联合权重其中表示第一帧视频图像第j个局部区域的空间权重，表示第一帧视频图像第j个局部区域的时间权重，表示第一帧视频图像第j个局部区域的联合权重；

(2)将每一个局部区域作为一个独立目标，初始化并更新每个局部区域的检测参数和在线模型{M₁,…,M_j,…,M_m}，其中M_j表示第j个局部区域的在线模型，检测参数包括方差阈值vcla_j，概率阈值最近邻阈值位置，分组信息和排序信息；

(3)更新每所有局部区域的在线模型{M₁,…,M_j,…,M_m}、最近邻阈值和概率阈值；

(4)输入第n帧视频图像，通过检测跟踪学习算法TLD，得到所有局部区域在第n帧的跟踪结果

(5)判断上一帧即第n-1帧是否是第一帧：

如果第n-1帧是第一帧，则根据(1b)直接得到所有局部区域初始化的联合权重

如果第n-1帧不是第一帧，则根据第n-1帧的目标区域G_n-1和局部区域跟踪结果计算所有局部区域在第n-1帧视频图像中的空间权重和时间权重得到第n帧视频图像中的联合权重

(6)将所有局部区域的局部结果进行基于第n-1帧联合权重的meanshift算法聚类，得到最后的聚类中心RP_n即为第n帧的目标区域G_n；

(7)判断是否有下一帧视频图像输入，如果没有输入，结束整个跟踪过程，否则返回(3)。

2.根据权利要求1所述的方法，其中步骤(4)中通过检测跟踪学习算法TLD，得到所有局部区域在第n帧的局部结果按如下步骤进行：

(4a)在第n-1帧视频图像的第j个局部结果中均匀撒点，得到L个特征点p1，利用金字塔LK光流法先跟踪第n-1帧特征点p1在第n帧的位置p2，再利用LK光流法反向跟踪第n帧特征点p2在第n-1帧的位置p1'，得到反向误差FR：

FR＝|p1'-p1|；

(4b)找到反向误差FR的中值误差MR，如果MR大于误差阈值et＝10，则视为跟踪失效；反之，为跟踪有效，并筛选出FR小于MR的特征点Fp1作为最佳的追踪点，执行步骤(3c)；

(4c)利用金字塔LK光流法跟踪第n-1帧特征点Fp1在第n帧的位置Fp2，根据Fp2得到第j个局部区域在第n帧的跟踪结果

(4d)以步长sL和多个尺寸缩放系数ss的窗口多次扫描第n帧视频图像F_n，得到全部窗口图像

(4e)计算全部窗口图像的灰度方差并从中筛选出大于方差阈值vcla_j的窗口图像，作为元方差图像

(4f)将元方差图像归一化尺寸大小为s×s，然后计算每个元方差图像的10个蕨特征值的后验概率，求均值得到平均后验概率从中筛选大于概率阈值的元方差图像，作为蕨图像其中表示第n帧视频图像的第a个蕨图像1≤a≤t，t表示蕨图像的个数；

(4g)计算这t个蕨图像与在线模型M_j的相关相似度：{Sim₁,…,Sim_a,…,Sim_t}，其中Sim_a表示蕨图像与M_j的相关相似度，0≤Sim_a≤1，Sim_a越大表示相关相似度越高，Sim_a的计算公式为：

${\mathrm{Sim}}_a=\frac{{\mathrm{NCC}}_a+1}{2},$

其中表示和M_j的相关性，s×s表示图像的大小，(x,y)表示图像内像素坐标，表示在(x,y)处的灰度值，I_(x,y)表示在线模型M_j在(x,y)处的灰度值，μ_a表示的灰度均值，δ_a表示的灰度标准差，表示M_j的灰度均值，表示M_j的灰度标准差；

(4h)从{Sim₁,…,Sim_a,…,Sim_t}中筛选大于最近邻阈值的蕨图像，作为最终的检测结果并得到检测结果的相关相似度{Sd₁,…,Sd_b,…,Sd_z}，其中表示第b个检测结果，1≤b≤z，z表示检测结果的个数；

(4i)计算跟踪结果与在线模型M_j的相关相似度Sim_PT，并综合跟踪结果和检测结果找到第j个局部区域的局部结果1≤j≤m，得到所有局部区域的局部结果

3.根据权利要求2所述的方法，其中步骤(4i)中综合跟踪结果和检测结果找到第j个局部区域的局部结果按如下步骤进行：

(4i1)计算跟踪结果与每个检测结果的重叠率其中表示第b个检测结果与的重叠率，1≤b≤z，的计算公式为：

${\mathrm{ol}}_b^n=\frac{S_{{\mathrm{gd}}_b^n\∩{\mathrm{PT}}_j^n}}{S_{{\mathrm{gd}}_b^n\∪{\mathrm{PT}}_j^n}}$

其中，表示与交集的面积，表示与并集的面积；

(4i2)对重叠率进行kmeans聚类，聚成k个类别并记录每个类别的检测结果的个数其中表示第c个类别的重叠率，表示第c个类别的检测结果个数，1≤c≤k；

(4i3)计算每个类别对应检测结果的相关相似度均值从中筛选出相关相似度均值最大的类别其中表示第c个类别对应检测结果的相关相似度均值，1≤c≤k；

(4i4)将步骤(4i3)中第c个类别对应检测结果的相关相似度均值与步骤(4i)中的相关相似度Sim_PT进行比较：

若大于Sim_PT，再对第c个类别的重叠率进行判断：如果则将第c个类别的检测结果求均值作为局部结果如果则找到第c个类别重叠率的检测结果进行累加，再加上跟踪结果后，对其求均值得到局部结果

若不大于Sim_PT，则找到第c个类别中所有重叠率的检测结果进行累加，再加上跟踪结果对其求均值得到局部结果