CN108876809B

CN108876809B - 一种基于卡尔曼滤波的tld图像跟踪算法

Info

Publication number: CN108876809B
Application number: CN201810624935.5A
Authority: CN
Inventors: 董恩增; 邓孟涛; 佟吉钢; 于晓
Original assignee: Tianjin University of Technology
Current assignee: Tianjin University of Technology
Priority date: 2018-06-17
Filing date: 2018-06-17
Publication date: 2021-07-20
Anticipated expiration: 2038-06-17
Also published as: CN108876809A

Abstract

本发明属于图像处理技术领域，具体涉及一种基于卡尔曼滤波的TLD图像跟踪算法。本发明在经典TLD算法的基础上加入跟踪失败判断机制，并引入卡尔曼滤波器来提高传统TLD框架中的中值流跟踪器的性能，重新设计了跟踪模块的工作机制。且对原始的TLD算法中的综合模块的工作机制进行了改进，在综合模块加入重叠度阈值比较机制和归一化互相关系数检测机制，增强综合模块的容错能力，提高算法的跟踪精度。

Description

一种基于卡尔曼滤波的TLD图像跟踪算法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卡尔曼滤波的TLD图像跟踪算法。

背景技术

目标跟踪技术在智能交通、工业控制、军事安防等领域有着广泛的应用。实际的应用中，目标跟踪仍然面临着许多的挑战，比如形状变化、快速运动、尺度变化、背景遮挡或光照强度的变化等。因此国内外研究学者相继提出了各种各样的目标跟踪算法。目前取得良好的跟踪效果的算法有2011年SamHara等人提出的Struck算法，2012年Zhang等人提出的压缩感知跟踪算法(Compressive Tracking，CT)，2015年JF Henriques等人提出的相关核滤波算法(Kernelized Correlation Fileter，KCF)等。对于实际中的目标长时间跟踪，传统的跟踪算法依然无法有效地解决目标全遮挡或目标消失后再出现在视角中重新跟踪的难题。

2010年Kalal等人提出了TLD算法，该算法将跟踪器与检测器相结合，并引入半监督机器学习算法，实现了对单目标的长期跟踪，TLD算法解决了传统目标跟踪算法长时间跟踪的一个难题，即当目标被遮挡后重新出现在视野时系统能够重新检测目标到并持续地跟踪目标，受到了广大学者的关注。但对于复杂的运动背景下，当运动目标在某一时段内发生严重遮挡、形状变化或者目标所处环境发生剧烈的光照变化时，经典TLD算法的中值流跟踪器(基于一种改进的光流法)将会失去作用，导致在这一时段内跟踪目标失败。比如在军事领域中，当坦克在某一时段内被障碍物遮挡时，在这一时段内经典的TLD算法无法实现对坦克的精准轰炸。

发明内容

本发明所需要解决的技术问题是，克服复杂的运动背景下，当运动目标在某一时段内发生严重遮挡、形状变化或者目标所处环境发生剧烈的光照变化时，经典TLD算法的中值流跟踪器跟踪失效的难题。

为了解决上述问题，本发明提供了一种基于卡尔曼滤波的TLD图像跟踪算法，在算法跟踪模块中加入跟踪失败判断机制，并融合了卡尔曼滤波器，重新设计了跟踪器的工作机制，提高了跟踪器的跟踪准确性和鲁棒性；对综合模块的工作机制进行了改进，在综合模块加入重叠度阈值比较机制和归一化互相关系数检测机制，增强综合模块的容错能力，提高了算法的跟踪精度。

本发明采用如下技术方案：

一种基于卡尔曼滤波的TLD图像跟踪算法，包括检测模块、跟踪模块、学习模块和综合模块，它包括：

S1、获取视频中的第一帧图像，选择待跟踪目标，初始化目标框；

S2、所述检测模块的检测器检测跟踪目标，检测结果传输给综合模块，所述跟踪模块的跟踪器跟踪目标；

S3、所述跟踪模块读取视频图像，逐帧进行处理，判断是否跟踪成功，如果跟踪成功，将跟踪结果传输给综合模块后转到步骤S5，否则转到步骤S4；

S4、利用跟踪失败前一帧输出的目标框的位置和大小初始化卡尔曼滤波器，通过卡尔曼滤波器预测出跟踪目标在下一帧的位置，将预测目标位置传输给综合模块，转到步骤S5；

S5、综合模块将检测模块的检测结果和跟踪模块的跟踪结果进行处理，输出目标位置，综合模块的处理结果、跟踪模块和检测模块的输出结果输入到学习模块，通过学习模块更新检测器和跟踪器。

本技术方案进一步的优化，所述步骤S1中设定初始帧跟踪目标的位置和大小。

本技术方案进一步的优化，所述跟踪器采用光流法。本技术方案进一步的优化，

本技术方案进一步的优化，所述学习模块采用P-N Learning算法。

本技术方案进一步的优化，所述步骤S5综合模块首先分别计算跟踪模块的输出结果与样本之间的重叠度TO，检测模块的输出结果与样本之间的重叠度DO，TO不小于DO，以跟踪结果作为综合模块的输出结果，否则以检测结果作为综合模块的输出结果。

本技术方案更进一步的优化，所述当TO小于DO时，计算跟踪模块的输出结果与样本之间的归一化互相关系数NCC1，检测模块的输出结果与样本之间的归一化互相关系数NCC2，若TO小于0.6，且NCC1大于NCC2，则以检测结果作为综合模块的输出结果，否则以跟踪结果作为综合模块的输出结果。

本发明的基于卡尔曼滤波的TLD图像跟踪算法，通过融合经典的卡尔曼预测方法，重新设计了跟踪器的工作机制，使算法能够有效的适应跟踪过程中存在的目标遮挡、外界光照条件变化以及目标形变等情况，提高了算法的跟踪准确性和鲁棒性。

附图说明

图1是本发明的基于卡尔曼滤波的TLD图像跟踪算法框图；

图2是本发明融合卡尔曼滤波方法的跟踪器算法框图；

图3是本发明的综合处理模块的工作机原理图；

图4是本发明基于卡尔曼滤波的TLD图像跟踪算法和经典TLD算法中心位置误差对比图；

图5是本发明基于卡尔曼滤波的TLD图像跟踪算法和经典TLD算法目标重叠率对比图；

图6是本发明基于卡尔曼滤波的TLD图像跟踪算法和经典TLD算法跟踪效果对比图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

本发明提出一种基于卡尔曼滤波的TLD图像跟踪算法，包括检测模块、跟踪模块、学习模块和综合模块，它包括：

参阅图1所示，为本发明的基于卡尔曼滤波的TLD图像跟踪算法框图。改进的跟踪器中首先中值流跟踪器进行目标跟踪，并将跟踪结果传输给学习模块进行P-N学习，接着跟踪失败机制判断是否跟踪失败，如果跟踪成功，则将中值流跟踪器的跟踪结果直接输出给综合模块。如果跟踪失败，则初始化卡尔曼滤波器，使用卡尔曼滤波器预测目标位置，将预测结果传输给综合模块。综合模块分别计算检测模块检测器的检测结果与样本的重叠度DO，跟踪模块的跟踪结果与样本的重叠度TO，选择DO、TO中较大重叠度对应的结果作为综合模块的输出结果，输出目标位置。

本发明在经典TLD算法的基础上加入跟踪失败判断机制，并引入卡尔曼滤波器来提高传统TLD框架中的中值流跟踪器的性能，重新设计了跟踪模块的工作机制。且对原始的TLD算法中的综合模块的工作机制进行了改进，在综合模块加入重叠度阈值比较机制和归一化互相关系数检测机制，增强综合模块的容错能力，提高算法的跟踪精度，实验结果表明本发明的基于卡尔曼的TLD图像跟踪算法有效的提高了跟踪算法的鲁棒性和准确性。

经典TLD算法中，跟踪器采用了中值流跟踪算法(基于一种改进的光流法)，其跟踪性能容易受到光照变化、目标形状变化的影响，另跟踪器的性能与检测器的检测结果直接相关，当目标处在复杂运动背景下时，如在某一时段目标被遮挡或者背景模型出现漂移的情况下，检测器会失去作用，导致在这一时段内跟踪目标失败。本发明在原TLD算法框架的基础上，在跟踪模块加入跟踪失败判断机制，并融入卡尔曼滤波器，重新设计了跟踪模块的工作机制，有效的提高了算法的跟踪准确性和鲁棒性。

卡尔曼滤波算法是一种离散状态空间模型下的线性最小方差估计方法。卡尔曼滤波器的过程分为两个阶段：预测和更新。

预测阶段：

P_[k|k-1]＝AP_[k-1|k-1]A^T+Q (2)

式(1)表示系统的预测状态值，式(2)表示预测估计协方差矩阵。

更新阶段：

首先计算出以下三个变量：

表示测量余量，S_k表示测量余量协方差，K_k表示最优卡尔曼增益。然后利用这三个变量值来更新滤波器变量

和P_[k|k]：

I表示单位矩阵，

分别表示更新后的状态估计值和协方差估计值。

如图2所示，为本发明融合卡尔曼滤波方法的跟踪器算法框图。具体实施步骤如下：

1)读取视频图像数据，初始化目标框；

2)初始化中值流跟踪器，跟踪运动目标；

3)跟踪失败判断机制判断是否跟踪失败，如果跟踪失败，由失败前一帧的目标位置信息初始化卡尔曼滤波器，根据预测方程(1)和(2)预测出目标在下一帧的位置，然后把预测到的目标位置信息不断更新公式(3)、(4)中的状态参数，提高卡尔曼滤波器对目标中心的预测能力，最后把预测目标位置送至综合模块进行处理；

4)反之，如果跟踪成功，把中值流跟踪器的输出结果送至综合模块进行处理；

5)最后，由综合模块融合处理中值流跟踪器的输出结果和卡尔曼滤波器的预测结果，然后输出目标位置。

TLD算法的综合模块综合处理跟踪模块和检测模块的输出结果，判断二者输出结果的置信度，最后输出保守相似度最大的目标框作为跟踪结果。综合处理的结果再反馈至学习模块，学习模块分析后决定是否更新目标模型，并对跟跟踪器和检测器进行更新，决定跟踪模块和检测模块是否参与学习。总之，综合模块的处理情况主要分为四类，如表1所示，为原始TLD算法综合模块工作机制。

第一类：检测模块和跟踪模块都不参与学习；

第二类：只有检测模块参与学习；

第三类：只有跟踪模块参与学习；

第四类：检测模块和跟踪模块都参与学习。

表1原始TLD算法综合模块工作机制

原始TLD算法的综合模块的输出结果主要是以跟踪模块的输出结果为主，以检测模块的输出结果为辅。但是在跟踪过程中目标发生形状变化、快速运动以及光照变化时，会导致跟踪模块的跟踪结果较之检测模块的检测结果可信度偏低，此时若仍以跟踪模块的输出结果为主，则会降低算法的跟踪准确性。

针对这一问题，本发明提出了相应的改进方法，在综合模块加入重叠度阈值比较和归一化互相关系数(Normalized Cross Correlation，NCC)检测机制，首先计算跟踪模块和检测模块输出结果与模板样本之间的重叠度和归一化互相关系数，然后综合选取较高置信度的结果作为最终的输出结果。

表2 TLD算法综合模块改进工作机制

表2中TO(Tracker Overlap)、DO(Detector Overlap)分别表示跟踪模块结果和检测模块结果与样本之间的重叠度。

如表2所示，综合模块处理的情况主要分为三类：

1)跟踪结果的重叠度(TO)大于检测结果的重叠度(DO)，此时综合模块以跟踪模块的输出结果作为最终的输出目标框。因为视频中的目标具有帧与帧之间直接连续性，所以以跟踪模块的输出结果为最终的目标跟踪框比较可靠，学习模块更新目标模型，跟踪模块和检测模块都参与学习。

2)跟踪结果的重叠度(TO)约等于检测结果的重叠度(DO)(误差范围为±5％)，此时综合模块综合二者的输出结果，以跟踪模块的结果为主，参考检测模块的结果，学习模块更新目标模型，二者均参与学习。

3)跟踪结果的重叠度(TO)小于检测结果的重叠度(DO)，然后判断当TO小于预先设定的阈值0.6且跟踪结果与样本之间的互相关系数NCC1大于检测结果与样本之间的互相关系数NCC2时，此时综合模块以检测模块的检测结果作为最终的输出结果，此时跟踪模块学习检测模块的检测结果，学习模块更新目标模型，二者均参与学习。

性能分析

本发明采用中心位置误差和目标重叠率作为评价标准。

(1)中心距离误差

评价算法的跟踪准确性以距离目标中心坐标点的距离为标准，中心距离误差越小，说明算法的跟踪性能越好。

(2)目标框重叠率

目标框重叠率也是评价算法跟踪性能的重要评价标准。重叠率阈值范围属于[0,1]，重叠率越大，说明算法的跟踪准确度越高。

如图4、图5所示，其中实线表示经典TLD算法，虚线表示本发明提出的基于卡尔曼滤波的TLD目标跟踪算法，图4中图像的纵坐标表示中心距离误差(欧式距离)，横坐标为视频帧数；图5中图像的纵坐标表示目标重叠率，横坐标为视频帧数。图中黑色实线的间断部分表示目标在当前帧可能存在遮挡、形状变化及光照变化等挑战问题，即表明在当前帧中目标跟踪失败。

图4、图5中的(a)～(c)分别表示在测试视频jumping、car、car1的中心距离误差和目标框重叠率。在测试视频jumping中，由于目标在60帧到80帧左右出现运动模糊的情况，从图4(a)和图5(a)中可以看出基于卡尔曼滤波的TLD算法中心距离误差较小，且目标框重叠率较大，改进后的算法有较高的跟踪精度；测试视频car中，视频中的运动汽车在#500、#700、#800帧左右存在共3处被树木遮挡的情况，从图4(b)和图5(b)中可以看出，在运动汽车被遮挡的时段内，经典TLD算法跟踪失败；在测试视频car1中，场景中存在剧烈的光照变化，当汽车从光线强的地方运动至光线弱的区域，将会导致经典TLD算法中的中值流跟踪器失去作用，无法筛选出可靠的特征点，即跟踪失效。从图4(c)和图5(c)中可以看出，在#200到220帧左右，经典TLD算法跟踪目标失败，在220帧以后目标驶出光线黑暗的地方，又能持续跟踪。通过实验测试结果分析，从图4中心距离误差对比图和图5目标重叠率对比图可以看出，本发明提出的算法有效的解决了目标遮挡、光照条件剧烈变化等问题，提高了算法的跟踪准确性和鲁棒性。

跟踪效果对比图如图6所示，从图中可以看出，本发明提出的基于卡尔曼滤波的TLD跟踪方法在目标遮挡、形状变化及光照变化等情况下都有较高的跟踪鲁棒性。本发明采用TB-100数据库部分视频实验测试，从表4和表5可以看出改进后的TLD算法较之原始TLD算法分别有更小的中心距离误差和更高的目标框重叠率。通过上述实验结果表明，本发明提出的目标跟踪方法较之经典TLD算法有更好的跟踪准确性和鲁棒性。

表4跟踪结果的平均中心距离误差(pixel)

表5跟踪结果的平均目标框重叠率(％)

本发明提出的基于卡尔曼滤波的TLD跟踪算法，在经典TLD算法的跟踪模块引入跟踪失败判断机制，采用中值流跟踪器与卡尔曼滤波器相结合的原理，有效的提高了TLD算法的鲁棒性和可靠性；对综合模块工作机制做出的改进，在综合模块加入重叠度阈值比较和归一化互相关系数检测机制，提高了目标跟踪的准确性。通过实验测试了多组具有代表性的跟踪视频，实验测试结果表明提出的基于卡尔曼滤波的TLD算法具有更高的跟踪准确性和鲁棒性，而且能够有效的适应跟踪过程中存在的目标遮挡、外界光照条件变化以及目标形变等情况。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims

1.一种基于卡尔曼滤波的TLD图像跟踪算法，包括检测模块、跟踪模块、学习模块和综合模块，其特征在于：它包括：

S5、综合模块将检测模块的检测结果和跟踪模块的跟踪结果进行处理，输出目标位置，综合模块的处理结果、跟踪模块和检测模块的输出结果输入到学习模块，通过学习模块更新检测器和跟踪器；

所述步骤S5综合模块首先分别计算跟踪模块的输出结果与样本之间的重叠度TO，检测模块的输出结果与样本之间的重叠度DO，TO不小于DO，以跟踪结果作为综合模块的输出结果，否则以检测结果作为综合模块的输出结果。

2.如权利要求1所述的基于卡尔曼滤波的TLD图像跟踪算法，其特征在于：所述步骤S1中设定初始帧跟踪目标的位置和大小。

3.如权利要求1所述的基于卡尔曼滤波的TLD图像跟踪算法，其特征在于：所述跟踪器采用光流法。

4.如权利要求1所述的基于卡尔曼滤波的TLD图像跟踪算法，其特征在于：所述学习模块采用P-N Learning算法。

5.如权利要求1所述的基于卡尔曼滤波的TLD图像跟踪算法，其特征在于：还包括当TO小于DO时，计算跟踪模块的输出结果与样本之间的归一化互相关系数NCC1，检测模块的输出结果与样本之间的归一化互相关系数NCC2，若TO小于0.6，且NCC1大于NCC2，则以检测结果作为综合模块的输出结果，否则以跟踪结果作为综合模块的输出结果。