CN108198209B - 在发生遮挡和尺度变化情况下行人跟踪方法 - Google Patents

Abstract

一种在发生遮挡和尺度变化情况下行人跟踪方法，通过Kalman滤波对目标位置进行预测；将预测结果用于KCF框架，精确定位目标；根据KCF跟踪响应值判断目标是否发生遮挡。发生遮挡时，KCF的跟踪结果无效，滤波器不更新，用Kalman滤波的预测结果进行校准；未发生遮挡时，更新滤波器，同时用滤波器的跟踪结果进行Kalman校准，得到最终的目标位置。该算法在目标发生遮挡或者目标尺度发生变化的情况下可以准确跟踪目标，数据处理速度约为82帧/秒，基本可以满足实时性要求。

Description

在发生遮挡和尺度变化情况下行人跟踪方法

技术领域

本发明属于一张计算机视觉领域，特别涉及一种在发生遮挡和尺度变化情况下行人跟踪方法。

背景技术

目标跟踪是计算机视觉领域一个重要的研究课题，在视频监控、人机交互、机器人、军事制导等领域都有广泛的应用前景。基于图像序列的目标跟踪是在没有任何先验知识的前提下，根据第一帧中给定的目标边框确定目标位置及其运动轨迹。虽然近年来目标跟踪领域取得了快速的发展，但仍然面临着很多挑战：背景干扰、运动模糊、目标形变、光照变化、快速移动、遮挡、低分辨率、旋转和尺度变化等,，这些都会导致目标跟踪过程中发生漂移甚至跟踪失败。其中遮挡和尺度问题是限制目标跟踪方法发展的关键性因素，如何解决方法在目标发生遮挡和尺度变化的情况下跟踪失败已成为目标跟踪领域的一个关键性问题。

目标跟踪方法可以分为生成式跟踪方法和判别式跟踪方法两类。生成式目标跟踪首先要建立目标的表观模型，然后搜索图像中与该模型最相似的区域作为目标。判别式方法是把跟踪问题视为目标与背景的二分类问题，通过机器学习的方法将目标与背景分离开。生成式方法在跟踪过程中仅仅考虑了目标信息，忽略了背景信息，在背景干扰的情况下很容易导致跟踪失败。而判别式目标跟踪则充分利用背景信息，可以很好地克服生目标跟踪方法的缺陷。判别式方法可以分为基于在线Boosting的方法，基于支持向量机的方法、基于随机学习的方法、基于相关滤波的方法以及基于判别分析的方法。2010年相关滤波的引入，使得目标跟踪方法取得了快速的发展。方法在跟踪速度上取得了很大的突破。

发明内容

本发明的目的在于克服上述现有技术中存在的不足，而提供一种在发生遮挡和尺度变化情况下行人跟踪方法，该方法可有效地提高在发生遮挡和尺度变化的情况下对行人进行跟踪的准确性。

为了实现上述目的，本发明的方案是：一种在发生遮挡和尺度变化情况下行人跟踪方法，其特征在于：把核相关滤波作为卡尔曼滤波中的检测方法，根据上一帧中目标的运动趋势预测目标当前的运动状态，然后通过卡尔曼滤波在预测的位置进行目标检测，对检测结果进行遮挡判断，在未发生遮挡的情况下，通过卡尔曼滤波对检测结果进行校准；发生遮挡时，直接对预测结果进行校准。

上述在发生遮挡和尺度变化情况下行人跟踪方法的具体步骤如下：

(1)选择要跟踪的视频序列，其中包括视频序列、groundfruth文本文件和frames文本文件；

(2)通过第一帧信息对相关滤波进行初始化，最小化损失函数求出α＝(K+λI)^-1y,其中I为单位矩阵，y表示训练样本的标签，K为核矩阵K_ij＝κ(x_i，x_j)，κ(*，*)为核函数，x为训练样本；

(3)从第二帧开始，通过卡尔曼滤波对目标位置进行预测：

①状态向量预测：

其中H(k)为第k帧的状态转移矩阵，初始化为[1,0,1,0；0,1,0,1；0,0,1,0；0,0,0,1]，

为上一帧矫正结果，初始化为[pos’；0；0]，pos为第一帧给定的目标位置；

②状态向量协方差预测：P(k+1|k)＝H(k)P(k|k)H^T(k)+Q(k)，其中P(k|k)为第k帧的状态向量，Q(k)为系统噪音，初始化为四维单位矩阵；

(4)通过核相关滤波计算新一帧的目标位置：

以预测得到的目标位置为初始位置，通过滑动窗口的方式根据尺度因子的设置从图像中提取大量样本，用线性插值的方式将样本调整为滤波器的尺寸，离散傅里叶转换结合相关滤波计算出所有样本的响应值

其中

z为输入的待检测样本，Pⁱ为循环矩阵P的第i行元素；

为傅里叶转换，

为傅里叶逆运算；响应值最大的位置作为核相关滤波器跟踪的结果；

(5)判断遮挡：

当最大响应值大于给定的阈值1同时与上一帧的最大响应值的差值小于给定的阈值2，则判定为未发生遮挡，核相关滤波器的跟踪结果有效，更新滤波器；否则，不保留核相关滤波的跟踪结果；

(6)卡尔曼校准：

①计算卡尔曼加权矩阵：

K(k+1)＝P(k+1|k)F^T(k+1)·(F(k+1)P(k+1|k)F^T(k+1)+Λ(k+1)^-1)

其中F为测量矩阵，F＝[1，0，0，0；0，1，0，0],Λ＝[36，0；0，36]；

②更新状态向量：

其中X＝pos’，表示第四步得到的目标位置构造的列向量；

③更新状态向量协方差：

P(k+1|k+1)＝(I-K(k+1)F(k+1))P(k+1，k)。

本发明具有如下的优点和有益效果：

1、本发明采用原始KCF方法无论跟踪结果是否准确，都会对滤波器进行更新，从而出现在目标发生遮挡或跟踪发生漂移时，滤波器被错误信息干扰，导致跟踪失败。

2、本发明根据KCF滤波的跟踪结果判断是否发生遮挡，在发生遮挡的情况下，不再更新滤波器，使得滤波器保留正确的目标信息，在发生遮挡时，依靠卡尔曼滤波对目标的运动状态进行预测，在目标重新出现在视野内时，KCF可以继续进行跟踪。

附图说明

图1是本发明跟踪准确率示意图。

具体实施方式

一种在发生遮挡和尺度变化情况下行人跟踪方法，通过Kalman滤波对目标位置进行预测，将预测结果用于KCF框架，精确定位目标；根据KCF跟踪响应值判断目标是否发生遮挡。发生遮挡时，KCF的跟踪结果无效，滤波器不更新，用Kalman滤波的预测结果进行校准；未发生遮挡时，更新滤波器，同时用滤波器的跟踪结果进行Kalman校准，得到最终的目标位置。

其具体步骤如下：

(1)选择要跟踪的视频序列，其中包括视频序列、groundfruth文本文件和frames文本文件；

(2)通过第一帧信息对相关滤波进行初始化，最小化损失函数求出α＝(K+λI)^-1y,其中I为单位矩阵，y表示训练样本的标签，K为核矩阵K_ij＝k(x_i，x_j)，κ(*，*)为核函数，x为训练样本；

(3)从第二帧开始，通过卡尔曼滤波对目标位置进行预测：

①状态向量预测：

其中H(k)为第k帧的状态转移矩阵，初始化为[1,0,1,0；0,1,0,1；0,0,1,0；0,0,0,1]，

为上一帧矫正结果，初始化为[pos’；0；0]，pos为第一帧给定的目标位置；

②状态向量协方差预测：P(k+1|k)＝H(k)P(k|k)H^T(k)+Q(k)，其中P(k|k)为第k帧的状态向量，Q(k)为系统噪音，初始化为四维单位矩阵；

(4)通过核相关滤波计算新一帧的目标位置：

以预测得到的目标位置为初始位置，通过滑动窗口的方式根据尺度因子的设置从图像中提取大量样本，用线性插值的方式将样本调整为滤波器的尺寸，离散傅里叶转换结合相关滤波计算出所有样本的响应值

其中

z为输入的待检测样本，Pⁱ为循环矩阵P的第i行元素。

为傅里叶转换，

为傅里叶逆运算。响应值最大的位置作为核相关滤波器跟踪的结果；

(5)判断遮挡：

当最大响应值大于给定的阈值1同时与上一帧的最大响应值的差值小于给定的阈值2，则判定为未发生遮挡，核相关滤波器的跟踪结果有效，更新滤波器；否则，不保留核相关滤波的跟踪结果。

(6)卡尔曼校准：

①计算卡尔曼加权矩阵：

K(k+1)＝P(k+1|k)F^T(k+1)·(F(k+1)P(k+1|k)F^T(k+1)+Λ(k+1)^-1)

其中F为测量矩阵，F＝[1，0，0，0；0，1，0，0],Λ＝[36，0；0，36]；

②更新状态向量：

其中X＝pos’，表示第四步得到的目标位置构造的列向量；

③更新状态向量协方差：

P(k+1|k+1)＝(I-K(k+1)F(k+1))P(k+1，k)。

本发明是一种在发生遮挡和尺度变化情况下仍旧具有鲁棒性的行人跟踪方法，通过建卡尔曼滤波与核相关滤波相结合对行人的运动趋势进行预测-跟踪-校准。先通过卡尔曼滤波进行预测，预测结果作为核相关滤波器的输入，核相关滤波器最大响应值处作为检测结果，再通过卡尔曼滤波对检测结果进行校正。在方法中加入检测遮挡机制，当相邻两帧得到的相关滤波最大响应值相差较大时，判定为遮挡，这种情况下，核相关滤波的跟踪结果失效，直接用卡尔曼滤波的预测值进行校正。

本发明以OTB-50数据集中的图像序列Girl2为例，通过对视频序列每隔10帧截图展示方法的跟踪结果为：

1、在这个过程中目标被遮挡后，本方法根据卡尔曼滤波还是可以精准的估计目标的位置，并在目标重新出现时，准确定位目标。

2、当视频中目标有较明显的形变同时目标的尺度也在发生变化时，本方法配合尺度估计，在目标发生尺度变化时，依旧可以准确跟踪目标。例如目标被行人和台阶遮挡，成功跟踪目标。

3、图1为本方法跟踪准确率图，从图中可以看出，取阈值为20时，跟踪准确率达到90％以上，在阈值为25时，跟踪准确率达100％。

需要说明的是，以上所述仅为本发明优选实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。

Claims (1)

1.一种在发生遮挡和尺度变化情况下行人跟踪方法，其特征在于：跟踪方法是：将核相关滤波作为卡尔曼滤波中的检测方法，根据上一帧中目标的运动趋势预测目标当前的运动状态，然后通过卡尔曼滤波在预测的位置进行目标检测，对检测结果进行遮挡判断，在未发生遮挡的情况下，通过卡尔曼滤波对检测结果进行校准；发生遮挡时，直接对预测结果进行校准；

具体步骤如下：

(1)选择要跟踪的视频序列，其中包括视频序列、groundfruth文本文件和frames文本文件；

(2)通过第一帧信息对相关滤波进行初始化，最小化损失函数求出α＝(K+λI)^-1y,其中I为单位矩阵，y表示训练样本的标签，K为核矩阵K_ij＝κ(x_i，x_j)，κ(*，*)为核函数，x为训练样本；

(3)从第二帧开始，通过卡尔曼滤波对目标位置进行预测：

①状态向量预测：

其中H(k)为第k帧的状态转移矩阵，初始化为[1,0,1,0；0,1,0,1；0,0,1,0；0,0,0,1]，

为上一帧矫正结果，初始化为[pos’；0；0]，pos为第一帧给定的目标位置；

②状态向量协方差预测：P(k+1|k)＝H(k)P(k|k)H^T(k)+Q(k)，其中P(k|k)为第k帧的状态向量，Q(k)为系统噪音，初始化为四维单位矩阵；

(4)通过核相关滤波计算新一帧的目标位置：

以预测得到的目标位置为初始位置，通过滑动窗口的方式根据尺度因子的设置从图像中提取大量样本，用线性插值的方式将样本调整为滤波器的尺寸，离散傅里叶转换结合相关滤波计算出所有样本的响应值

其中

z为输入的待检测样本，Pⁱ为循环矩阵P的第i行元素；

为傅里叶转换，

为傅里叶逆运算；响应值最大的位置作为核相关滤波器跟踪的结果；

(5)判断遮挡：

当最大响应值大于给定的阈值1同时与上一帧的最大响应值的差值小于给定的阈值2，则判定为未发生遮挡，核相关滤波器的跟踪结果有效，更新滤波器；否则，不保留核相关滤波的跟踪结果；

(6)卡尔曼校准：

①计算卡尔曼加权矩阵：

K(k+1)＝P(k+1|k)F^T(k+1)·(F(k+1)P(k+1|k)F^T(k+1)+Λ(k+1)^-1)

其中F为测量矩阵，F＝[1，0，0，0；0，1，0，0],Λ＝[36，0；0，36]；

②更新状态向量：

其中X＝pos’，表示第四步得到的目标位置构造的列向量；

③更新状态向量协方差：

P(k+1|k+1)＝(I-K(k+1)F(k+1))P(k+1，k)。

Images