CN105279773A - 一种基于tld框架的改进型视频跟踪优化方法 - Google Patents

Abstract

本发明提出了一种基于TLD框架的改进型视频跟踪优化方法。本发明将TLD中的跟踪算法和粒子滤波算法相结合，充分结合了二者的优势，对基于TLD框架的视频跟踪优化方法的进一步优化和完善。通过对跟踪目标的稳定性阈值判断，选择粒子滤波介入对稳定跟踪目标的样本采集，从而达到对跟踪系统进行优化。由于对目标样本采集更具针对性，这样大大降低了跟踪系统中对硬件的要求（尤其是对存储模块），使跟踪也更加的流畅、稳定，抗遮挡性更突出。

Description

一种基于TLD框架的改进型视频跟踪优化方法

技术领域

本发明属于视频监控技术领域，涉及一种基于TLD（Tracking-Learning-Detection,以下简称TLD）框架下，将粒子滤波运用到视频跟踪领域的改进型视频跟踪优化方法。

背景技术

目标跟踪技术随着科技的发展已经日臻完善和成熟，一直以来都是计算机视觉、图像处理领域的热点，被广泛应用在智能监控、智能交通、视觉导航、人机交互、国防侦察等领域。虽然基于TLD框架下的视频跟踪方法已经很好的弥补了传统视频监控领域的大部分不足，但该系统在针对跟踪初始阶段目标模板获取不准确、目标在像面内运动规律的复杂性、目标观测特征的实时变化、目标所处背景的复杂干扰、遮挡等因素时，当前TLD框架下的跟踪模块只有进行大量的样本采集，才能保证跟踪的准确性。但在现有的硬件技术条件下，存储和处理大量的样本数据会影响跟踪系统的流畅性和稳定性，对硬件的性能匹配也是很大的考验，所以现有的视频跟踪技术仍不能完全满足军民领域的需求，鉴于此，仍需对其进行深入研究。

发明内容

本发明是对现有视频跟踪技术的优化和完善，提出了一种基于TLD框架的改进型视频跟踪优化方法，该方法使得跟踪系统在图像检测、样本采集方面保持数据精确，更具针对性。使跟踪更加快速、稳定，同时保持跟踪效率达到最优。

为了达到上述目的，本发明的技术方案是这样实现的：

步骤（1）跟踪开始，系统读入视频帧，用鼠标在第一帧图像上面划定跟踪目标框。

步骤（2）跟踪系统在TLD框架下启动跟踪器、检测器，跟踪器设定跟踪目标框中心点位最佳跟踪点，同时跟踪器对第一帧图像进行预处理，将第一帧图像的RGB颜色空间转化为HSV颜色空间并生成颜色直方图。

步骤（3）初始化粒子滤波器；粒子滤波器计算划定跟踪目标区域的颜色直方图，并将颜色直方图作为模板颜色直方图，粒子滤波器在跟踪目标框的最佳跟踪点周围生成初始化粒子，设置初始权重和尺度；同时，在TLD框架下，初始化跟踪器、检测器，将跟踪器对图像帧采集来的样本放入检测器中的样本盒子，并由检测器对样本盒子中的采样数据进行分类和处理。

步骤（4）跟踪系统将初始化数据放入学习器的样本集中，进行保存，并通过在线训练保持对跟踪器、学习器的更新。

步骤（5）载入下一帧图像，跟踪器对新图像帧进行颜色空间转换，生成新的颜色直方图。

步骤（6）粒子滤波器对新的颜色直方图进行计算，并预测每一个粒子在新图像帧中的尺度和位置，粒子滤波器由新的颜色直方图重新计算跟踪目标框的粒子，并对框图内粒子进行预测、权重评估、重采样，生成新的粒子，跟踪器将颜色直方图由HSV空间进行灰度图像空间转换，启动检测器中的最近邻分类器对粒子滤波器重采样后的粒子群重新分类并进行评估，最近邻分类器设定阈值空间；若在阈值空间，则生成粒子滤波跟踪预测框，否则进入步骤（5）；同时，在TLD框架下，跟踪器、检测器对新图像帧进行跟踪检测，并将跟踪、检测数据进行融合并进行判断，生成初步的TLD跟踪预测框，并进行置信度评估。

步骤（7）若TLD跟踪预测框大于置信度，则进步步骤（3）重新对粒子滤波器进行初始化操作，否则进入粒子滤波跟踪预测框。

步骤（8）粒子滤波跟踪预测框对输入数据进行优化整合，经P-N在线学习模块查漏、纠错、训练后进行图像输出，并显示输出结果。

步骤（9）跟踪器系统判断跟踪是否结束，若跟踪继续，则将上一帧的跟踪数据作为初始化数据放入步骤（4）进行更新；若跟踪结束，则进入（10）。

步骤（10）跟踪结束。

本发明将TLD中的跟踪算法和粒子滤波算法相结合，充分结合了二者的优势，对基于TLD框架的视频跟踪优化方法的进一步优化和完善。通过对跟踪目标的稳定性阈值判断，选择粒子滤波介入对稳定跟踪目标的样本采集，从而达到对跟踪系统进行优化。由于对目标样本采集更具针对性，这样大大降低了跟踪系统中对硬件的要求（尤其是对存储模块），新的优化方法使跟踪更加的流畅、稳定，抗遮挡性更突出。

附图说明

图1是结合粒子滤波基于TLD框架的跟踪视频目标跟踪优化方法的流程图。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明提出了一种基于TLD框架的改进型视频跟踪优化方法。TLD算法凭借其特有的优势已经在视频监控领域应用越来越成熟，该算法主要由跟踪器（Tracking）、检测器（Detection）、学习器（Learning）三个部分组成，其中跟踪器通过上一帧的目标框预测出目标在当前帧的位置，检测器在当前帧中检测出目标的位置，在经过检测器跟踪器的综合判断后，获得目标在当前帧中的位置。学习器通过P-N在线学习，持续训练出新的分类器，更新目标位置，从而提高目标的跟踪能力。尽管TLD算法已具备良好的检测和长时间学习能力，且已日臻完善，但在应对遮挡、形变等态势下，跟踪效果并不理想。粒子滤波算法是一种新兴算法技术，粒子滤波非常适合处理非线性运动问题，已经广泛应用于解决科学研究和工程实践中的优化问题。

本发明的核心思想是：在TLD跟踪系统框架下，跟踪系统用指定目标图像帧进行预处理，预处理后的图像数据对粒子滤波、TLD初始化之后，粒子滤波跟踪器和TLD同时对新图像帧进行跟踪。其中，粒子滤波跟踪器由初始图像帧预测出跟踪目标的新位置，由TLD检测模块的最近邻分类器对粒子滤波重采样后的样本集进行分类，并设定阈值区间，若在阈值区间，则生成粒子滤波预测框并输出跟踪结果，若不在阈值区间，则重新加载新图像进行操作。粒子滤波跟踪中创新性地加入最近邻分类器对采集的样本进行分类并设定阈值，这样客服了粒子滤波跟踪不具备判断的缺点，因此，当跟踪目标不在跟踪范围的场景下，避免了系统大量负样本进行存储，也减轻了跟踪系统的硬件负担，使跟踪更加有针对性，响应更快。在粒子滤波跟踪的同时，启动TLD算法模块同样对跟踪目标进行跟踪、检测，并将跟踪、检测后的数据进行数据融合生成TLD跟踪预测框，由此设定置信区间，若大于置信区间，则用TLD对新图像生成的样本集对粒子滤波器重新进行初始化操作，若小于置信区间，则经由粒子滤波预测框并进行输出，这样避免了粒子滤波不能始终对粒子进行更新的劣势，使跟踪粒子随着跟踪环境态势的变化时刻进行更新，进而使系统在长时间跟踪中始终保持者准确性。

如图1所示，本发明具体是：

步骤（1）跟踪开始，系统读入视频帧，用鼠标在第一帧图像上面划定跟踪目标框，跟踪模块设定跟踪目标框中心点位最佳跟踪点。

步骤（2）跟踪器对第一帧进行预处理，将视频帧RGB颜色空间转换为HSV空间并生成颜色直方图，计算划定跟踪目标区域的HSV颜色图像，并将颜色直方图作为模板颜色直方图。粒子滤波跟踪器在跟踪目标框的最佳跟踪点周围生成初始化粒子，并设置初始权重和尺度等。同时，跟踪系统启动TLD跟踪，由第一帧图像对TLD进行初始化。

步骤（3）跟踪系统将初始化数据对TLD样本集和粒子群进行更新并保存。

步骤（4）系统载入新图像帧，跟踪器对新图像帧进行颜色空间转换。

步骤（5）粒子滤波跟踪模块对新图像帧进行跟踪，并预测每一个粒子在新图像帧中的尺度和位置并得到新的颜色直方图，粒子跟踪器由新的颜色直方图重新计算跟踪目标框，并对框图内粒子进行预测、权重评估、重采样，TLD检测模块的最近邻分类器对粒子滤波器重采样后的样本集进行重新分类并进行评估，设定阈值空间。若在阈值空间则生成粒子滤波跟踪预测框，否则进入步骤（4）。同时，利用TLD算法的跟踪器跟踪结果和训练集、分类集以及分类结果融合并进行判断，生成初步的跟踪预测框。

步骤（6）若TLD生成的跟踪预测框大于置信度，则重新对粒子算法跟踪进行初始化操作，否则进入粒子滤波跟踪预测框。

步骤（7）粒子滤波跟踪预测框的数据经P-N在线学习模块查漏、纠错、训练后输出，并显示输出结果。

步骤（8）系统判断跟踪是否结束，若跟踪继续，则进入步骤（3）对样本集进行更新，若跟踪结束，则进入（9）。

步骤（9）跟踪结束。

总之，本发明旨在将TLD和粒子滤波的深度融合，充分利用粒子滤波的优越性，同时克服粒子滤波和TLD在二者融合中的不足，使该跟踪系统能使在跟踪目标稳定态势下对目标的跟踪样本采集更加有针对性，在目标不稳定态势下体现出更好的抗遮挡能力，能更好的对跟踪模块进行优化，大大降低了跟踪系统中对硬件的要求，使跟踪也更加的流畅，目标跟踪的速度也更加稳定、更加迅速。

应当说明的是，该发明是首次提出结合粒子滤波算法对TLD框架下的跟踪系统优化的方法，任何将TLD和粒子滤波算法结合的跟踪方法等都不能脱离本发明技术方案的范围和精神的。

Claims (1)

1.一种基于TLD框架的改进型视频跟踪优化方法，其特征方法包括以下步骤：

步骤（1）跟踪开始，系统读入视频帧，用鼠标在第一帧图像上面划定跟踪目标框；

步骤（2）跟踪系统在TLD框架下启动跟踪器、检测器，跟踪器设定跟踪目标框中心点位最佳跟踪点，同时跟踪器对第一帧图像进行预处理，将第一帧图像的RGB颜色空间转化为HSV颜色空间并生成颜色直方图；

步骤（3）初始化粒子滤波器；粒子滤波器计算划定跟踪目标区域的颜色直方图，并将颜色直方图作为模板颜色直方图，粒子滤波器在跟踪目标框的最佳跟踪点周围生成初始化粒子，设置初始权重和尺度；同时，在TLD框架下，初始化跟踪器、检测器，将跟踪器对图像帧采集来的样本放入检测器中的样本盒子，并由检测器对样本盒子中的采样数据进行分类和处理；

步骤（4）跟踪系统将初始化数据放入学习器的样本集中，进行保存，并通过在线训练保持对跟踪器、学习器的更新；

步骤（5）载入下一帧图像，跟踪器对新图像帧进行颜色空间转换，生成新的颜色直方图；

步骤（6）粒子滤波器对新的颜色直方图进行计算，并预测每一个粒子在新图像帧中的尺度和位置，粒子滤波器由新的颜色直方图重新计算跟踪目标框的粒子，并对框图内粒子进行预测、权重评估、重采样，生成新的粒子，跟踪器将颜色直方图由HSV空间进行灰度图像空间转换，启动检测器中的最近邻分类器对粒子滤波器重采样后的粒子群重新分类并进行评估，最近邻分类器设定阈值空间；若在阈值空间，则生成粒子滤波跟踪预测框，否则进入步骤（5）；同时，在TLD框架下，跟踪器、检测器对新图像帧进行跟踪检测，并将跟踪、检测数据进行融合并进行判断，生成初步的TLD跟踪预测框，并进行置信度评估；

步骤（7）若TLD跟踪预测框大于置信度，则进步步骤（3）重新对粒子滤波器进行初始化操作，否则进入粒子滤波跟踪预测框；

步骤（8）粒子滤波跟踪预测框对输入数据进行优化整合，经P-N在线学习模块查漏、纠错、训练后进行图像输出，并显示输出结果；

步骤（9）跟踪器系统判断跟踪是否结束，若跟踪继续，则将上一帧的跟踪数据作为初始化数据放入步骤（4）进行更新；若跟踪结束，则进入（10）；

步骤（10）跟踪结束。