CN108986142A - 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法 - Google Patents

Abstract

本发明公开了基于置信图峰值旁瓣比优化的遮挡目标跟踪方法，输入图像序列；获取目标初始位置信息；基于STC跟踪，通过STC算法获取当前帧置信图的PSR；当PSR≤2.2的时候，认为目标发生严重遮挡或者是全部遮挡，此时结合历史采样数据并结合粒子滤波预测运动轨迹进行目标状态估计，确定出目标真实位置并迭代到时空上下文模型作为下一帧中目标位置；一帧一帧对目标进行跟踪，直到当前帧数大于图像序列总帧数则结束跟踪。本发明的有益效果是本文方法能够有效解决遮挡引起的目标漂移问题，具有更高的跟踪精确度及稳健性。

Description

基于置信图峰值旁瓣比优化的遮挡目标跟踪方法

技术领域

本发明属于图像处理技术领域，涉及一种基于置信图峰值旁瓣比优化的遮挡 目标跟踪方法。

背景技术

目标跟踪是计算机视觉中的热点问题，在行为分析、智能监控、智能交通、 汽车导航以及人机交互等领域扮演着十分重要的角色。由于视频目标经常会受到 自身或干扰背景的遮挡，导致跟踪漂移甚至失败。因此，如何实现遮挡情况下目 标的精确跟踪是提升视频目标跟踪系统稳健性的关键。

早期针对遮挡目标跟踪问题的研究主要聚焦在生成式方法，通过构建目标的 运动方程，结合先验图像帧特征观测对遮挡目标的位置信息进行预测估计，常用 的如卡尔曼滤波跟踪、粒子滤波跟踪。但是该类方法在目标完全遮挡会后重新出 现在帧图像中无法恢复跟踪。随后，研究人员基于机器学习的思想，对目标及背 景进行块状分割，并采用判别式方法将目标跟踪看作是二值分类和特在线学习问 题。例如，在线Boosting跟踪、基于分块局部敏感直方图方法，等。但是这类 方法没有对子块信息进行更新及有效性检测，导致不能满足目标本身和外界条 件的实时变化，利用无效子块对目标位置定位导致目标漂移问题。随后，文献 通过融合遮挡感知的在线Boosting跟踪算法，有效感知跟踪过程中可能发生的 遮挡，从而自适应调整分类器的更新策略，提高算法在遮挡环境下的顽健性；文 献以随机蕨为基础检测器，通过多示例学习在线更新检测器，实时检测候选块的 有效性，替换无效的候选块，提高了遮挡目标跟踪的鲁棒性。但是这类方法只能 处理部分遮挡问题，无法对完全遮挡的目标进行预测分析，且当目标脱离遮挡以 后，无法重新恢复跟踪。而且，这类基于分块的抗遮挡处理方法本质上是属于稀 疏表示方法，上下文环境中大量剩余的区域没有得到充分的利用，降低了上下文 环境在抗遮挡过程中的应用效率。针对这一问题，提出了一种非常高效的时空上 下文(Spatio-temporal context,STC)算法,其主要思想是利用信号处理的传统自 适应滤波方法，在频域对图像进行空间滤波处理，获取不同的置信图(Confidence map)，每一帧中滤波的最大响应置信图即为目标所在位置。由于该方法通过引入 了生物视觉系统的注意中心机制，有效利用目标及周围背景信息的时间连续性和空间位置关系，考虑了目标周围的稠密上下文环境(相对于上面稀疏上下文环境 而言)，把整个上下文环境融入到跟踪算法中,使上下文环境中的信息得到了充 分利用。同时，采用快速傅里叶变换的思路将图像时域的卷积变换为频域的点乘 运算，在提升精度的同时，大幅提升了视频跟踪算法的实时性，其性能超过了大 部分的当前主流算法。但是该算法在进行模型更新过程中，对跟踪结果高度依赖， 在遮挡情况下，目标区域会包含背景信息，并且这些背景信息会被当成正样本， 用于对目标外观模型进行更新，导致模板出现错误更新，即算法将错误信息更新 到目标模型中，导致跟踪漂移、甚至跟踪失败。针对这一问题，Dai等先计算缩 小到低分辨率后的目标模板和候选区域的欧式距离以估计目标的大致位置，再使 用时空上下文算法确定目标的精确位置；Wei等采用多个时空上下文模型结合高 斯卡尔曼滤波来进行跟踪，虽然这两类改进算法克服了原算法的单一模型在长时 间遮挡后容易漂移的缺陷，有效提升了原算法在遮挡情况下的跟踪精度，但无法 有效限制原算法的错误更新，不能有效限制时空上下文模型的错误更新。Xu等 提出加权空时文本(weightedspatio temporal context，WSTC)方法，对上下文 区域进行动态分区处理，对上下文区域与目标匹配相似度赋予不同的权值，增 强上下文特征的有效性。虽然WSTC了光照变化、目标形变等问题提高了跟踪 精度。但当目标发生遮挡时，上下文区域同样会受到不同程度的遮挡，此时算 出的上下文匹配相似度并不准确，导致跟踪失败。

发明内容

本发明的目的在于提供基于置信图峰值旁瓣比优化的遮挡目标跟踪方法，本 发明的有益效果是本文方法能够有效解决遮挡引起的目标漂移问题，具有更高的 跟踪精确度及稳健性。

本发明所采用的技术方案是按照以下步骤进行：

步骤1：输入图像序列；

步骤2：获取目标初始位置信息；

步骤3：基于STC跟踪，通过STC算法获取当前帧置信图的PSR；

步骤4：当PSR≤2.2的时候，认为目标发生严重遮挡或者是全部遮挡，此时结合 历史采样数据并结合粒子滤波预测运动轨迹进行目标状态估计，确定出目标真实 位置并迭代到时空上下文模型作为下一帧中目标位置；

步骤5：一帧一帧对目标进行跟踪，直到当前帧数大于图像序列总帧数则结束 跟踪。

进一步，PSR的计算公式为

其中c_max为置信图的峰值，μ_s1和σ_s1为旁瓣的均值和标准偏差，c为最大峰值和 旁瓣的比值。

进一步，时空上下文模型的权重更新如下：

其中

其中，R_t表示第t帧的PSR值，R_max表示当前所有帧中的PSR最大值，R_{th_PSR}为 预先设置的PSR阈值。

本发明提出了一种基于置信图峰值旁瓣比优化的目标跟踪方法。首先，在传 统时空上下文模型的基础上采用具有旋转对称性的高斯核函数优化上下文先验 概率进行置信图计算，消除图像边缘高频噪声的干扰；接着，基于置信图峰值旁 瓣比进行目标遮挡程度的判别分析。部分遮挡情况下对空间上下文模型进行权值 优化更新，消除遮挡部位对模型更新的影响；严重遮挡及全遮挡情况下采用粒子 滤波方法对目标的位置进行预测估计。

附图说明

图1是视频序列的部分跟踪结果示意图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明中，时空上下文(Spatio-temporal context,STC)算法。薛模根，刘文 琢，袁广林，等.基于编码迁移的快速鲁棒视觉跟踪[J].电子与信息学报，2017,39(7)：1571-1577，通过STC算法获取当前帧置信图的PSR，峰值旁瓣比 率(Peak to Sidelobe Ratio,PSR)，PSR的计算公式为

其中c_max为置信图的峰值，μ_s1和σ_s1为旁瓣的均值和标准偏差。c为最大峰值和 旁瓣的比值。本发明旁瓣像素的计算采用一个11×11的窗函数的峰值。并根据初 始阈值进行遮挡程度的判断。本发明设置PSR的阈值分别为2.6和2.1.当 PSR≥2.6的时候，目标处于正常跟踪环境，此时直接根据STC算法输出跟踪结 果，当2.6＞PSR＞2.2的时候，判断目标处于部分遮挡状态，此时采用式(2)进 行时空上下文模型的权重更新，

其中

其中，R_t表示第t帧的PSR值，采用公式(1)进行计算。R_max表示当前所 有帧中的PSR最大值，R_{th_PSR}为预先设置的PSR阈值。一旦R_t＜R_{th_PSR}，表明目 标出现了更加复杂的背景情况(例如，目标被严重或完全遮挡、光照突然改变等 复杂背景干扰情况)，此时跳转为传统的粒子滤波跟踪实现。并基于修正后的STC 输出跟踪结果；当PSR≤2.2的时候，认为目标发生严重遮挡或者是全部遮挡， 此时结合历史采样数据并结合粒子滤波预测运动轨迹进行目标状态估计，确定出 目标真实位置并迭代到时空上下文模型作为下一帧中目标位置按照以上步骤一 帧一帧对目标进行跟踪，直到当前帧数大于图像序列总帧数则结束跟踪。

实验与结果分析

为验证本发明方法在处理遮挡问题的有效性，进行了不同遮挡情况下的视频 目标跟踪实验分析。实验中分别选取了Woman、Occlusion1、Occlusion2和Caviar1 四段视频序列和基于兰州理工人工智能实验室自己拍摄的“Girl_flowers”序列 进行了实际的跟踪效果分析。测试视频的主要特性如表1所示。为了验证本发明 算法的稳健性和精确性，并将本发明方法同现有的不同STC类算法进行了对比 分析，具体用于对比的算法主要包括STC算法、WSTC以及SVM-STC算法行 了对比分析。对实验结果进行了定性和定量分析。为了保证跟踪的公平性，实验 中用于对比的跟踪方法均采用作者提供的原始代码和参量设置。

表1

实验环境与参数设置

本发明算法在MATLABR2011b实验环境下完成。实验平台为CPU双核 4.0GHz，内存为8GB，操作系统为Windows 7，64位操作系统。所有算法均在 第一帧给定框选目标位置后自动启动。运动估计中f_{th_lsn}＝2,多维特征滤波器跟 踪中α＝2.25\β＝1,尺度更新机制中a＝1.02。所以尺度空间共3个尺度，参 数σ初始化为式中s_h和s_w分别为初始目标框的高和宽，尺度每5 帧更新一次。实验表明当低于2.5时目标基本处于完全遮挡状态，故时空上下 文模型更新中R_{th_PSR}＝2.5，ρ设定为ρ＝0.075。

为了验定量分析跟踪方法的性能，实验中采用中心位置误差(CenterLocationError,CLE)和跟踪重叠率(overlapping ratio,OR)作为算法性能的评测标准。 各指标的计算如下：

其中，(x_T,y_T)为目标的跟踪结果位置，(x_G,y_G)为目标的真实位置。

重叠率的计算为

其中，area()为计算面积函数，R_t为跟踪获取的目标位置数据集合，R_g为认为 预先标定的真实数据集合。

定性实验分析

图1为5种遮挡测试序列的部分跟踪结果，从图中可以看出，针对5种测试 序列，本发明方法表现出了优于其他几种STC方法的跟踪效果。其中，在图1 的(a)Occlusion1的部分遮挡问题，四种测试的STC类方法均可以实现跟踪， 主要原因是因为STC利用了空间文本信息，通过上下文的关系确定目标的位置， 因此对部分遮挡具有一定的处理能力，但是由于在部分遮挡情况下的表观更新将 干扰模板也错误的融入到目标特征集合中，导致出现了误差累积效应，跟踪偏差 会越来越大。在5种测试序列中，标准STC算法均存在这一问题。从图1的(b) Occlusion2的跟踪结果可以看出，SVM-STC方法和本文方法不仅能够很好的适应遮挡问题，也能够处理目标旋转问题的跟踪。而STC会在过渡旋转情况下导 致跟踪失败，且无法恢复，主要是由于误差样本一旦引入以后，STC方法不能自 行消除。从图1的(c)Woman的跟踪结果可以看出，SVM-STC方法不能适应 目标的尺寸改变问题，这是由于训练样本中引入了太多的背景干扰信息，同时从 图1的(d)Caviar1的跟踪结果也可以看出，STC、WSTC和SVM-STC对相似 特征目标遮挡的处理能力明显低于本文方法，一方面是由于相似的样本引入导致 目标特征集合的扩散，另一方面是因为本文引入了粒子滤波方法，通过预测可以 进一步缩小置信图的映射范围，因此在处理相似颜色遮挡情况下要好于其他几种 方法。图1的(e)的跟踪结果中可以看出，在目标(人脸)发生完全遮挡以后， STC和WSTC均会因为遮挡物特征取代目标特征的原因导致跟踪失败，而 SVM-STC和本文方法能够实现有效的跟踪。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的 限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变 化与修饰，均属于本发明技术方案的范围内。

Claims (3)

1.基于置信图峰值旁瓣比优化的遮挡目标跟踪方法，其特征在于按照以下步骤进行：

步骤1：输入图像序列；

步骤2：获取目标初始位置信息；

步骤3：基于STC跟踪，通过STC算法获取当前帧置信图的PSR；

步骤4：当PSR≤2.2的时候，认为目标发生严重遮挡或者是全部遮挡，此时结合历史采样数据并结合粒子滤波预测运动轨迹进行目标状态估计，确定出目标真实位置并迭代到时空上下文模型作为下一帧中目标位置；

步骤5：一帧一帧对目标进行跟踪，直到当前帧数大于图像序列总帧数则结束跟踪。

2.按照权利要求1所述基于置信图峰值旁瓣比优化的遮挡目标跟踪方法，其特征在于：所述PSR的计算公式为

其中c_max为置信图的峰值，μ_s1和σ_s1为旁瓣的均值和标准偏差，c为最大峰值和旁瓣的比值。

3.按照权利要求1所述基于置信图峰值旁瓣比优化的遮挡目标跟踪方法，其特征在于：所述时空上下文模型的权重更新如下：

其中

其中，R_t表示第t帧的PSR值，R_max表示当前所有帧中的PSR最大值，R_{th_PSR}为预先设置的PSR阈值。