CN106204638A - 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于尺度自适应和遮挡处理的航拍视频跟踪方法。步骤包括：对于航拍视频的每一帧输入图像，计算在当前尺度下KCF跟踪器响应函数的峰值，判断目标是否受到遮挡，若受到遮挡，就停止对跟踪器参数的更新，若没有受到遮挡，则继续进行尺度变化的探测；通过阈值限定的方法每次去计算一个大的尺度或一个小的尺度，探测出描述当前目标状态的最佳尺度，并更新当前尺度和跟踪器的参数。本发明在对航拍视频中的目标进行跟踪的过程中具有很好的鲁棒性和实时性，可以实现对航拍目标的准确持续跟踪。

Description

一种基于尺度自适应和遮挡处理的航拍目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及运动目标跟踪技术领域中的一种航拍视频跟踪方法。本发明可以很好的处理航拍视频跟踪过程中的尺度变化和遮挡问题，实现对航拍目标准确持续的跟踪。

背景技术

运动目标跟踪是计算机视觉领域的研究重点问题之一，在视觉监控、无人驾驶、人机交互、智能机器人等领域都有着广泛的应用。

航拍视频下的运动目标跟踪是目标跟踪的一个特殊应用，是进行无人机侦查、基于空基的监控指挥和探测地理灾害等任务中的关键技术。航拍视频的特点是目标尺寸较小、尺度变化大、图像分辨率低、场景复杂多变等，这就使得对跟踪算法的鲁棒性有着更高的要求，同时由于机载计算资源有限，对跟踪算法的实时性也有着较高的要求。

目前主流的跟踪算法有两种：一种是“生成(generative)”的方法，通过搜索和目标模型最相似的区域来进行跟踪，一般是基于模板或子空间模型，这种方法只使用目标信息；另一种是“判别(discriminative)”的方法，这种方法把跟踪视为一个二元分类问题，将目标从背景中区分出来，同时使用目标信息和背景信息来训练跟踪分类器，是一种基于检测的跟踪思想。随着机器学习中分类方法的发展，基于判别的跟踪算法由于其在线学习的优势和高效的性能在近年来有了越来越多的发展和应用，比如Struck、多示例学习、TLD以及压缩感知等跟踪算法。这些在线训练方法的性能依赖于训练时采样样本的数量，采样样本不足会导致训练的分类器模型缺乏足够的信息，而采样样本过多又会非常耗费时间，同时传统的稀疏采样策略会存在很严重的信息冗余。近年来，相关滤波在跟踪领域的引入在一定程度上缓和了这些问题。Henriques J F(Henriques J F,Rui C and Martins P,etal.“Exploiting the Circulant Structure of Tracking-by-Detection withKernels,”Computer Vision–ECCV 2012.Springer Berlin Heidelberg,2012:702-715)提出了CSK算法对训练样本进行循环移位近似为密集采样，从而得到大量的训练样本来训练分类器，同时对候选样本采用循环移位的方法构造密集的候选区域用于分类器的检测，分类器响应值最高的候选样本即为目标。在问题的求解过程中，基于循环矩阵的特性把问题的求解变换到傅里叶变换域，从而避免了矩阵求逆的过程，大大降低了算法的时间复杂度；KCF算法(Henriques J F,Caseiro R and Martins P,et al.“High-Speed Tracking withKernelized Correlation Filters,”IEEE Transactions on Pattern Analysis&MachineIntelligence,2015,37(3):583-596)是对CSK算法的完善，使用核方法通过多通道的HOG特征代替CSK算法采用的原始灰度特征，增强了对目标外观的描述能力，使得训练得到的分类器对待跟踪的目标的解释力更强。KCF算法由于其简单的算法结构和快速高效的表现成为近年来高性能的跟踪器之一。

上述运动目标跟踪算法存在的技术缺陷为：CSK和KCF跟踪器均使用的是固定大小的尺寸去描述目标，无法解决目标尺度变化的问题，同时当目标受到遮挡时，这类方法往往会跟踪失败，不能对目标进行持续地跟踪。

发明内容

本发明针对航拍视频中普遍存在的尺度变化问题和遮挡问题，在KCF算法的基础上，提出一种自适应尺度变化和遮挡问题的跟踪方法来弥补KCF算法的不足。为了解决尺度变化的问题，结合航拍视频的特点，在每一帧对目标可能的尺度变化做一个探测，满足阈值即视为当前的最佳匹配尺度，这种限定阈值的尺度探测策略在保证准确性的前提下可以减少尺度的冗余探测；同时在跟踪器中加入一个遮挡检测机制，当判断为目标受到遮挡时，就停止对分类器模型的更新，以实现对目标的持续跟踪。

本发明解决其技术问题所采用的技术方案是：

一种航拍运动目标跟踪方法，包括处理遮挡问题和尺度变化问题两个过程，具体实现步骤如下：

(1)输入视频的第一帧，并根据第一帧中目标的初始位置初始化KCF跟踪器，同时初始化当前尺度Scale为目标初始大小；

(2)用S标记当前目标的尺度大小：S＝Scale；

(3)读取下一帧进行处理，计算在当前尺度S下KCF跟踪器的响应函数f(z)的峰值Peak：Peak＝max(f(z))，

F(f(z))＝F(k^xz)⊙F(α)

其中，k^xz是对训练样本x和测试样本z构建的核函数矩阵，F表示的是离散傅里叶变换矩阵，α是跟踪的训练参数，f(z)是一个向量，包含了跟踪目标在当前帧的测试样本z的所有循环移位的响应值，其中响应值最大的位置就是目标新的跟踪位置；

第一个过程，遮挡问题的具体处理步骤如下：

为了检测遮挡的发生，首先定义一个集合P来判断遮挡状态，P中保存的是未遮挡情况下KCF跟踪器的响应函数f(z)的峰值Peak；

(4)检测遮挡是否发生；

4a)对当前帧的跟踪响应结果f(z)的峰值Peak做一个判断：若Peak大于集合中的每一个元素乘以波动阈值，则判定当前目标未受到遮挡，并用当前的Peak值更新集合P中的一个元素，继续转到步骤5进行尺度变化的探测；否则转至步骤4b；

4b)判定当前目标受到遮挡，根据参数更新机制，停止跟踪器参数α的更新，同时停止对集合P的更新和对尺度变化的探测，返回步骤2继续跟踪下一帧；

第二个过程，在判断目标未受到遮挡之后继续进行尺度变化的探测，具体步骤如下：

(5)判断当前帧的Peak值是否大于阈值T；

(6)如果Peak大于T，保持当前尺度不变并根据参数跟新机制更新跟踪器参数α，返回步骤2继续跟踪下一帧；若Peak小于阈值T，则进行下面的尺度探测：

6a)首先探测一个大的尺度：S＝S*step，判断在这个大尺度下跟踪器的响应峰值Peak是否大于阈值T，若大于，转至步骤7，否则，转入步骤6b；

6b)探测一个小尺度：S＝S/step，判断在这个小尺度下跟踪器的Peak值是否大于阈值T，若大于，转至步骤7，若小于，则返回步骤6a继续探测一个更大的尺度或是一个更小的尺度，直到满足阈值，探测到当前描述目标的最佳尺度；

(7)更新跟踪器参数α和当前尺度：Scale＝S，转至步骤2继续进行下一帧的跟踪。

进一步地，依据KCF跟踪器响应结果进行遮挡判断的依据是：当目标正常运动时，KCF跟踪器的响应函数f(z)是一个高斯分布，峰值很明显；而一旦目标受到遮挡，f(z)的分布就会变得分散平滑，峰值较之前未受到遮挡时的值也变得微弱。

进一步地，所述的构建遮挡状态判断集合P的方法是：集合P＝{p₁,p₂,p₃,p₄,p₅}中有五个元素，保存的是跟踪过程中出现过的响应函数f(z)的峰值Peak，初始值均设为0，之后用在目标未受到遮挡情况下的每一帧的KCF跟踪器的响应峰值Peak逐一去更新集合P中的元素。

进一步地，步骤4a所述的集合P的更新策略是：当上一次更新了p₁后，下一次就更新p₂，即从p₁到p₅依次进行顺序更新，以保证集合P的稳定性。

进一步地，步骤4b和步骤6所述的参数更新机制所述如下：

KCF跟踪器在每一帧中训练跟踪模型的参数时，是对上一帧训练样本得到的参数α₁和当前帧的训练样本得到的参数α₂进行了一个线性插值，其表达式如下：

α＝(1-θ)α₁+θα₂

其中，α是KCF跟踪器的训练参数，θ是α的更新率，在KCF算法中取值为一固定常量；当目标进行正常无干扰运动时，通过上一帧的历史样本信息和当前帧的样本信息来更新α，获得对下一帧的跟踪分类器参数；而一旦在某一帧目标开始受到遮挡，这时候如果继续用这一帧的样本信息去更新分类器的参数就会发生错误，因为这个时候的样本信息已经不再是被跟踪目标的信息了，而是遮挡物的信息，所以这时应该停止对分类器的更新，保存目标在受到遮挡之前的参数信息：

如上述公式，在本发明中，当目标正常运动时，将θ值设置为τ＝0.012；当判断目标受到遮挡时，把θ值设为0，停止对跟踪器参数的更新，直至目标出了遮挡区域为止。

进一步地，步骤5所述的T是一个自适应阈值，取当前帧的上一帧跟踪结果的峰值Peak乘以一个变化因子：max(f(z))*0.96。

进一步地，步骤6a和步骤6b中所述的step是尺度探测的步长，取值1.05。

本发明的有益效果表现在：

第一，由于航拍视频中多存在尺度变化的情况，本发明通过阈值限定的方法来探测目标的最佳描述尺度，减小了尺度探测的冗余计算量，使得本发明在对航拍视频进行跟踪的过程中具有很好的准确性和实时性。

第二，由于本发明提出一种遮挡检测机制和参数更新机制来处理跟踪过程中的遮挡问题，有效地解决了KCF算法不能处理目标受到遮挡的跟踪情况，使得本发明在对航拍视频跟踪的过程中具有很好的鲁棒性。

附图说明

图1为本发明的流程图；

图2为本发明对存在尺度变化的RedTeam视频序列的跟踪结果图；

图3为本发明在存在遮挡情况时的航拍序列的跟踪实例图；

图4为本发明和KCF算法的精确度曲线对比图；

图5为本发明和KCF算法的VOR曲线对比图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1，一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，包括如下步骤：

(1)输入视频的第一帧，并根据第一帧中目标的初始位置初始化KCF跟踪器，同时初始化当前尺度Scale为目标初始大小；

(2)用S标记当前目标的尺度大小：S＝Scale；

(3)读取下一帧进行处理，计算在当前尺度S下KCF跟踪器的响应函数f(z)的峰值Peak：Peak＝max(f(z))，

F(f(z))＝F(k^xz)⊙F(α)

其中，k^xz是对训练样本x和测试样本z构建的核函数矩阵，F表示的是离散傅里叶变换矩阵，α是跟踪的训练参数，f(z)是一个向量，包含了z的所有循环移位的响应值，其中响应值最大的位置就是目标新的跟踪位置；

第一个过程，遮挡问题的具体处理步骤如下：

为了检测遮挡的发生，首先定义一个集合P＝{p₁,p₂,p₃,p₄,p₅}来判断遮挡状态；

(4)检测遮挡是否发生；

4a)对当前帧的跟踪响应结果f(z)的峰值Peak做一个判断：若Peak大于集合中的每一个元素乘以波动阈值(取0.75)，则判定当前目标未受到遮挡，并用当前的Peak值更新集合P中的一个元素，更新策略是从p₁到p₅依次进行顺序更新，继续转到步骤5进行尺度变化的探测；否则转至4b；

4b)判定当前目标受到遮挡，根据参数更新机制，停止跟踪器参数α的更新，同时停止对集合P的更新和对尺度变化的探测，返回步骤2继续跟踪下一帧；

第二个过程，在判断目标未受到遮挡之后继续进行尺度变化的探测，具体步骤如下：

(5)判断当前帧的Peak值是否大于阈值T；

(6)如果Peak大于T，保持当前尺度不变并根据参数更新机制更新跟踪器参数α，返回步骤2继续跟踪下一帧；若Peak小于阈值T，则进行下面的尺度探测：

6a)首先探测一个大的尺度：S＝S*step，判断在这个大尺度下跟踪器的响应峰值Peak是否大于阈值T，若大于，转至步骤7，否则转入步骤6b；

6b)探测一个小尺度：S＝S/step，判断在这个小尺度下跟踪器的Peak值是否大于阈值T，若大于，转至步骤7，若小于，则返回步骤6a继续探测一个更大的尺度或是一个更小的尺度，直到满足阈值，探测到当前描述目标的最佳尺度；

(7)更新跟踪器参数α和当前尺度：Scale＝S，转至步骤2继续进行下一帧的跟踪。

本实施例中，依据KCF跟踪器响应结果进行遮挡判断的依据是：当目标正常运动时，KCF跟踪器的响应函数f(z)是一个高斯分布，峰值很明显；而一旦目标受到遮挡，f(z)的分布就会变得分散平滑，峰值较之前未受到遮挡时的值也变得微弱。

本实施例中，所述的构建遮挡状态判断集合P的方法是：集合P＝{p₁,p₂,p₃,p₄,p₅}中有五个元素，保存的是跟踪过程中出现过的响应函数f(z)的峰值Peak，初始值均设为0，之后用在目标未受到遮挡情况下的每一帧的KCF跟踪器的响应峰值Peak逐一去更新集合P中的元素。

本实施例中，步骤4a所述的集合P的更新策略是：当上一次更新了p₁后，下一次就更新p₂，即从p₁到p₅依次进行顺序更新，以保证集合P的稳定性。

本实施例中，步骤4b和步骤6所述的参数更新机制所述如下：

α＝(1-θ)α₁+θα₂，

其中，α是跟踪器的训练参数，θ是α的更新率，当目标正常运动时，将θ值设置为τ＝0.012，通过上一帧的历史样本信息和当前帧的样本信息来更新α，获得对下一帧的跟踪分类器参数；当判断目标受到遮挡时，把θ值设为0，停止对跟踪器参数的更新，直至目标出了遮挡区域为止。

本实施例中，步骤5所述的T是一个自适应阈值，取当前帧的上一帧跟踪结果的峰值Peak乘以一个变化因子：max(f(z))*0.96。

本实施例中，步骤6a和步骤6b中所述的step是尺度探测的步长，取值1.05。

本发明的效果可以通过下述仿真实验说明：

1.仿真条件：

本发明在Intel(R)Xeon(R)CPU 2.93GHz，12G的PC机上，使用Visual Studio 2010开发平台并结合OpenCV2.4计算机视觉开源库，对包括VIVID视频测试集在内的航拍视频序列完成仿真。

2.仿真结果：

图2是对存在明显尺度变化的RedTeam航拍序列的跟踪结果图，分别是第100帧，第550帧和第1900帧，图中的矩形方框表示本发明跟踪到的结果。从图2可以看出，在运动目标的尺度由小变大再变小的过程中，本发明可以很好的适应目标的尺度变化，对目标进行准确的跟踪。

图3是对存在遮挡情况的3个航拍序列的跟踪结果图，图中的矩形方框表示本发明跟踪到的结果。可以看到在目标经过一个遮挡后，本发明仍然可以很准确的跟踪到目标。

图4-5是本发明的KCF算法的精确度曲线和VOR曲线对比图。精确度曲线指的是跟踪结果的目标中心和groundtruth中标注的真实中心的欧氏距离小于某一阈值的帧数与整个测试视频序列长度的比值；VOR指的是跟踪结果的目标区域和groundtruth给的真实目标区域重合率为某一百分比时的帧数与视频序列总长度的比值。从曲线图中可以看出，本发明和KCF算法相比在精确度和VOR两种评估指标上都有很大的提升。

综上所述，本发明可以很好的处理航拍视频跟踪过程中存在的尺度变化和遮挡问题。经评估统计，和传统的KCF算法相比，本发明在阈值为10像素处的平均精确性上提升了24％，并在重合率为50％处的平均VOR值上提升了35％，同时可以以每秒80帧以上的处理速度实现对航拍视频的实时跟踪。

Claims (7)

1.一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，通过判断KCF跟踪器的响应值，来处理航拍视频跟踪过程中目标受到的遮挡问题和尺度变化问题，具体实现步骤如下：

(1)输入视频的第一帧，并根据第一帧中目标的初始位置初始化KCF跟踪器，同时初始化当前尺度Scale为目标初始大小；

(2)用S标记当前目标的尺度大小：S＝Scale；

(3)读取下一帧进行处理，计算在当前尺度S下KCF跟踪器的响应函数f(z)的峰值Peak：Peak＝max(f(z))；

F(f(z))＝F(k^xz)⊙F(α)

其中，k^xz是对训练样本x和测试样本z构建的核函数矩阵，F表示的是离散傅里叶变换矩阵，α是跟踪的训练参数，f(z)是一个向量，包含了跟踪目标在当前帧的测试样本z的所有循环移位的响应值，其中响应值最大的位置就是目标新的跟踪位置；

(4)为了检测遮挡的发生，首先构建一个集合P＝{p₁,p₂,p₃,p₄,p₅}来判断遮挡状态，检测遮挡是否发生，遮挡问题的具体处理步骤如下：

4a)对当前帧的跟踪响应结果f(z)的峰值Peak做一个判断：若Peak大于集合P中的每一个元素乘以波动阈值，其中波动阈值取值0.75，则判定当前目标未受到遮挡，并用当前的Peak值更新集合P中的一个元素，继续转到步骤5进行尺度变化的探测，否则转至步骤4b；

4b)判定当前目标受到遮挡，根据参数更新机制，停止跟踪器参数α的更新，同时停止对集合P的更新和对尺度变化的探测，返回步骤2继续处理下一帧；

(5)在判断目标未受到遮挡之后继续进行尺度变化的探测，判断当前帧的Peak值是否大于阈值T；

(6)如果Peak大于T，保持当前尺度不变，并根据参数更新机制更新跟踪器参数α，返回步骤2继续跟踪下一帧；若Peak小于阈值T，则进行下面的尺度探测：

6a)首先探测一个大的尺度：S＝S*step，判断在这个大尺度下跟踪器的响应峰值Peak是否大于阈值T，若大于，则转至步骤7，否则转入步骤6b；

6b)探测一个小尺度：S＝S/step，判断在这个小尺度下跟踪器的Peak值是否大于阈值T，若大于，就转至步骤7，若小于，则返回步骤6a继续探测一个更大的尺度或是一个更小的尺度，直到满足阈值条件，探测到描述当前目标的最佳尺度；

(7)更新跟踪器参数α和当前尺度：Scale＝S，转至步骤2继续进行下一帧的跟踪。

2.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，依据KCF跟踪器响应结果进行遮挡判断的依据是：当目标正常运动时，KCF跟踪器的响应函数f(z)是一个高斯分布，峰值很明显；而一旦目标受到遮挡，f(z)的分布就会变得分散平滑，峰值较之前未受到遮挡时的值也变得微弱。

3.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，所述的构建遮挡状态判断集合P的方法是：集合P＝{p₁,p₂,p₃,p₄,p₅}中的五个元素，保存的是跟踪过程中出现过的响应函数f(z)的峰值Peak，初始值均设为0，之后用在目标未受到遮挡情况下的每一帧的KCF跟踪器的响应峰值Peak逐一去更新集合P中的元素。

4.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，步骤4a所述的集合P的更新策略是：当上一次更新了p₁后，下一次就更新p₂，即从p₁到p₅依次进行顺序更新，以保证集合P的稳定性。

5.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，步骤4b和步骤6所述的参数更新机制所述如下：

KCF跟踪器在每一帧中训练跟踪模型的参数时，是对上一帧训练样本得到的参数α₁和当前帧的训练样本得到的参数α₂进行了一个线性插值，其表达式如下：

α＝(1-θ)α₁+θα₂

其中，α是KCF跟踪器的训练参数，θ是α的更新率，在KCF算法中取值为一固定常量；当目标进行正常无干扰运动时，通过上一帧的历史样本信息和当前帧的样本信息来更新α，获得对下一帧的跟踪分类器参数；而一旦在某一帧目标开始受到遮挡，这时候如果继续用这一帧的样本信息去更新分类器的参数就会发生错误，因为这个时候的样本信息已经不再是被跟踪目标的信息了，而是遮挡物的信息，所以这时应该停止对分类器的更新，保存目标在受到遮挡之前的参数信息：

如上述公式，在本发明中，当目标正常运动时，将θ值设置为τ＝0.012；当判断目标受到遮挡时，把θ值设为0，停止对跟踪器参数的更新，直至目标出了遮挡区域为止。

6.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，步骤5所述的T是一个自适应阈值，取当前帧的上一帧跟踪结果的峰值Peak乘以一个变化因子：max(f(z))*0.96。

7.根据权利要求1所述的一种基于尺度自适应和遮挡处理的航拍目标跟踪方法，其特征在于，步骤6a和步骤6b中所述的step是尺度探测的步长，取值1.05。