CN108776974A - 一种适用于公共交通场景的实时目标跟踪方法 - Google Patents

Abstract

本发明公开了一种适用于公共交通场景的实时目标跟踪方法，该方法包含以下步骤：步骤1，由检测器获取被跟踪目标在当前第i帧上的初始位置P（i）；步骤2，用P（i）训练相关滤波跟踪器；步骤3，获取目标在第i+1帧的图像；步骤4，用相关滤波器和第i+1帧进行相关性计算，得出目标预测位置P′(i+1)；步骤5，评估尺度变化率，根据阈值判断是否需要目标预测值修正。步骤6，用卡尔曼滤波进行预测值修正，得到目标在第i+1帧的位置P(i+1)。该方法进行了尺寸变化率评估，提高了跟踪的准确率和实时性，同时通过卡尔曼滤波来对目标预测值进行修正，最小化尺度变化的影响。

Description

一种适用于公共交通场景的实时目标跟踪方法

技术领域

本发明涉及计算机视觉研究领域，具体涉及一种适用于公共交通场景的实时目标跟踪方法。

背景技术

目标跟踪是计算机视觉研究领域的热点之一，并得到广泛应用。相机的跟踪对焦、无人机的自动目标跟踪等都需要用到了目标跟踪技术。另外还有特定物体的跟踪，比如人体跟踪，交通监控系统中的车辆跟踪，人脸跟踪和智能交互系统中的手势跟踪等。简单来说，目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。

在运动的过程中，目标可能会呈现一些图像上的变化，比如姿态或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等。例如在公共交通场景下，受光照条件如晴天、阴天、雨天以及行车路线变化影响,可能使背景变化大,相对不稳定；中国人口稠密，行人上下车有时非常拥挤和混乱,极有可能出现乘客间的遮挡；行人上下车过程中，不仅是姿态变化大，其在图像中的尺度也会发生剧烈变化；另外，跟踪方法需要达到实时性要求。

过去几十年以来，目标跟踪的研究取得了长足的发展。从均值漂移、光流跟踪等经典跟踪方法，到基于检测的方法，再到最近几年来出现的深度学习相关方法。

（1）均值漂移方法

即Meanshift方法，采用目标的颜色直方图作为搜索特征，通过不断迭代meanshift向量使算法收敛于目标的真实位置,从而达到跟踪的目的，但是该算法不能解决目标遮挡问题且不能适应运动目标大小和形状变化。对其改进的算法有camshift算法，该算法虽然适应运动目标大小和形状发生变化，但当背景色和目标颜色接近时，容易跟踪错误, 其在公共交通场景下跟踪效果不理想。

（2）光流跟踪方法

光流计算基于2个假设：运动物体的灰度在很短的间隔时间内保持不变；

给定邻域内的速度向量场变化是缓慢的。这两个假设条件公共交通场景下不

一定很好的满足, 尤其是光照变化，另外,对于行人的快速移动容易跟踪失败。

（3）基于检测的跟踪方法

该方法将目标跟踪问题看成一个二分类问题，在跟踪过程中在线学习一个二值分类器来区分目标及其周围背景，用学习到的分类器在当前图像帧中对图像块进行分类，标注像素属于目标还是背景，找到分类器信度最大的区域即为目标位置，并使用跟踪结果作为样本更新分类器。在公共交通场景下，会出现目标尺度的剧烈变化，此时该类方法的跟踪结果偏差较大。

（4）基于深度学习的跟踪方法

该方法其主要问题在于训练数据的缺失，仅仅提供第一帧的bounding-box作为训练数据。另外，在公共交通场景下，受限于有限的计算能力，该类方法几乎很难达到实行性要求

综上所述，现有的跟踪算法不能同时解决一些技术问题:受环境影响小,对目标发生大小和形状变化不敏感,速度满足实时性,所以不能满足公共交通场景下的跟踪要求。

发明内容

本发明提供一种实时目标跟踪方法，该方法不仅可以适应复杂的公共交通场景,而且可以在低计算能力的条件下满足实时性要求。

为了解决上述技术问题，本发明所采用的技术方案为：

第一步，由检测器给出被跟踪目标在当前帧i上的初始位置;

跟踪目标在当前帧i上的初始位置已知, 由检测器给定一个矩形框来标定跟踪目标。

第二步，训练相关滤波跟踪器；

使用在位置P(i)周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamard(哈达玛)积

第三步，获取跟踪目标在第i+1帧的图像；

第四步, 进行相关性计算，得出目标预测位置；

优选的，在位置P(i)的区域进行特征提取，这些特征经过cosine窗函数之后，做FFT(快速傅里叶变换)变换，然后与相关滤波器相乘，将结果做IFFT(逆向快速傅里叶变换)之后，最大响应点所在的区域即为要追踪目标的新位置。

第五步，评估尺度变化率

本发明中为了评估尺度变化率，首先用LK光流法计算得出P(i)区域中心点A在第i+1帧上的可能中心点A′，A、A′与第四步中得出的目标新位置的中心点B构成三角形。可以根据夹角A′AB大小的来判断尺度变化率。此夹角的值越大，则尺度变化率越大。也可以通过计算此三角形的面积来判断尺度变化率。面积越大，则尺度变化越大。也可以统计计算A′与B的距离来判断尺度变化率。通过对夹角A′AB或三角形面积或距离A′B值设定阈值，从而判断目标位置预测值是否需要目标预测值修正。进一步，此夹角A′AB或三角形面积或距离A′B值的值越大，则尺度变化率越大，判断条件需要设置阈值，阈值可以通过统计实际数据的数据分布获得。若尺寸变化率大于设定的阈值，则进行目标预测值修正，若尺寸变化率小于设定的阈值，则不需要修正。阈值设定越小，尺寸变化率评估越严格，目标预测值修正的几率越大。

第六步，目标预测值修正

以P(i)为观测值，以P′(i+1)为预测值，用卡尔曼滤波进行预测值修正，得到目标在第i+1帧的位置P(i+1)。

有益效果：该方法进行了尺寸变化率评估，提高了跟踪的准确率和实时性，同时通过卡尔曼滤波来对目标预测值进行修正，最小化尺度变化的影响。

附图说明

图1 为本发明的目标跟踪算法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

附图1 为本发明的目标跟踪算法流程示意图，结合该图，该方法主要包括以下步骤：

第一步，由检测器给出被跟踪目标在当前帧i上的初始位置;

跟踪目标在当前帧i上的初始位置已知, 由检测器给定一个矩形框来标定跟踪目标。

第二步，训练相关滤波跟踪器；

使用在位置P(i)周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamard(哈达玛)积。

第三步，获取跟踪目标在第i+1帧的图像；

第四步, 进行相关性计算，得出目标预测位置；

在位置P(i)的区域进行特征提取，这些特征经过cosine窗函数之后，做FFT(快速傅里叶变换)变换，然后与相关滤波器相乘，将结果做IFFT(逆向快速傅里叶变换)之后，最大响应点所在的区域即为要追踪目标的新位置

第五步，评估尺度变化率

本发明中为了评估尺度变化率，首先用LK光流法计算得出P(i)区域中心点A在第i+1帧上的可能中心点A′，A、A′与第四步中得出的目标新位置的中心点B构成三角形。通过对夹角A′AB或三角形面积或距离A′B值设定阈值，夹角A′AB的阈值取10°，三角形A′AB面积的阈值取200 cm²，距离A′与B的阈值取10cm。当尺寸变化率大于阈值的时候，进入下一步的目标预测值修正，当尺寸变化率小于阈值的时候，不需要修正。

第六步，目标预测值修正

以P(i)为观测值，以P′(i+1)为预测值，用卡尔曼滤波进行预测值修正，得到目标在第i+1帧的位置P(i+1)。

Claims (4)

1.一种适用于公共交通场景的实时目标跟踪方法，其特征在于，包括如下具体步骤：

第一步，由检测算法给出被跟踪目标在当前第i帧上的初始位置P（i），跟踪目标在当前帧i上的初始位置已知, 由检测器给定一个矩形框来标定跟踪目标；

第二步，训练相关滤波跟踪器；使用在位置P(i)周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamard(哈达玛)积；

第三步，获取跟踪目标在第i+1帧的图像；

第四步, 进行相关性计算，得出目标预测位置P′(i+1)；

第五步，评估尺度变化率

首先用LK光流法计算得出P(i)区域中心点A在第i+1帧上的可能中心点A′，A、A′与第四步中得出的目标预测位置的中心点B构成三角形，通过对夹角

A′AB或三角形面积或距离A′B值设定阈值，从而判断目标位置预测值是否需要目标预测值修正；

第六步，目标预测值修正

以P(i)为观测值，以P′(i+1)为预测值，用卡尔曼滤波进行预测值修正，得到目标在第i+1帧的位置P(i+1)。

2.根据权利要求1所述的一种适用于公共交通场景的实时目标跟踪方法，其特征在于，所述第四步中的相关性计算包括在位置P(i)的区域进行特征提取，这些特征经过cosine窗函数之后，做FFT(快速傅里叶变换)变换，然后与相关滤波器相乘，将结果做IFFT(逆向快速傅里叶变换)之后，最大响应点所在的区域即为要追踪目标的新位置P′(i+1)。

3.根据权利要求1或2所述的一种适用于公共交通场景的实时目标跟踪方法，其特征在于，所述第五步中的阈值可以通过统计实际数据的数据分布获得，若尺寸变化率大于设定的阈值，则进行目标预测值修正，若尺寸变化率小于设定的阈值，则不需要修正。

4.根据权利要求1或2所述的一种适用于公共交通场景的实时目标跟踪方法，其特征在于，所述第五步中的夹角A′AB或三角形面积或距离A′B的值越大，尺度变化率越大。