CN108846850B - 一种基于tld算法的目标跟踪方法 - Google Patents

一种基于tld算法的目标跟踪方法 Download PDF

Info

Publication number
CN108846850B
CN108846850B CN201810506766.5A CN201810506766A CN108846850B CN 108846850 B CN108846850 B CN 108846850B CN 201810506766 A CN201810506766 A CN 201810506766A CN 108846850 B CN108846850 B CN 108846850B
Authority
CN
China
Prior art keywords
tracking
target
frame
positive
detection module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810506766.5A
Other languages
English (en)
Other versions
CN108846850A (zh
Inventor
吴润泽
魏宇星
徐智勇
张建林
王全宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201810506766.5A priority Critical patent/CN108846850B/zh
Publication of CN108846850A publication Critical patent/CN108846850A/zh
Application granted granted Critical
Publication of CN108846850B publication Critical patent/CN108846850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于TLD算法的目标跟踪方法，包括以下步骤：(1)在初始帧，由用户指定跟踪窗口生成正负样本初始化检测模块并形成目标模型。(2)在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器；跟踪模块采用带有失败检测机制的中值光流法预测当前帧目标位置；(3)整合模块综合检测模块和跟踪模块进行跟踪结果的输出；(4)在更新后的位置产生新的正负样本并利用当前跟踪结果置信度进行加权，利用加权后的正负样本更新检测模块。(5)循环(2)‑(3)直至跟踪结束。在公开数据集上进行的对比实验表明，该方法可以在一定程度上提高跟踪的鲁棒性和精度。

Description

一种基于TLD算法的目标跟踪方法
技术领域
本发明涉及一种基于TLD算法的目标跟踪方法，特点是利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。应用于计算机视觉、目标检测、目标跟踪等，属于计算机视觉中的目标跟踪领域。
背景技术
TLD跟踪算法是由Zdenka Kalal提出的一种单目标长时间跟踪算法。该算法由跟踪模块、检测模块、学习模块三个模块组成。单纯的跟踪算法很难校正跟踪的漂移误差并且会不断累积跟踪的误差，而且一旦目标从视野中消失，跟踪就不可避免地产生失败。单纯的检测算法需要大量的样本进行离线的监督训练，不能应用于未知目标的跟踪任务，并且由于目标模型是离线建立的，所以如果一旦目标出现较大变化，跟踪就很容易产生失败。TLD将检测算法和跟踪算法结合起来并且通过学习来实时更新目标模型。
TLD算法融合了检测模块、跟踪模块和学习模块，其中检测模块和跟踪模块通过学习模块来交流信息，不断更新目标模型，同时对检测模块进行更新。基于标签空间Y的取值，P-N学习所训练的分类器为二分类器。而在二分类过程中，因为涉及到的是非正即负的判断，阈值的设定十分关键，需要结合实际问题和场景来进行判断。经过大量实验与分析，TLD算法的默认阈值在跟踪场景下性能优良，因此本发明采用TLD算法的默认阈值。当被分类样本在阈值附近时，任何一点小的影响都有可能改变该样本的分类结果，特别是目标模型。
TLD算法中的目标模型会在跟踪的过程中通过P-N约束不断更新，而添加进目标模型中的正样本，TLD算法都认为是绝对正确的；添加进目标模型中的负样本，TLD算法都认为是绝对错误的。事实上这种目标模型是非常粗糙的。而目标模型越粗糙，P-N学习产生的错误就越会降低目标模型的表征能力。
发明内容
本发明要解决技术问题为：针对TLD算法目标模型粗糙的问题，提出使用跟踪结果置信度加权来获得更加精细化、更具有表征能力的目标模型，实现对目标的持续、稳定跟踪。
在公开视频数据集上进行的实验表明，该方法可以在一定程度上提高跟踪的鲁棒性和精度。
本发明解决上述技术问题采用的技术方案为：一种基于TLD算法的目标跟踪方法，在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置，产生新的正负样本，从而更新检测模块。
其中，在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。
其中，在跟踪过程中，检测模块对当前帧图像进行网格扫描获得图像块后，首先计算各图像块的方差，方差小于某个阈值的图像块被接受，进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值，大于某个阈值的图像块被接受，进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理，与目标模型中的图像块进行互相关归一化的相似度计算，如果相似度大于某个阈值，则判定当前图像块为目标区域，否则判定为背景。
其中，在跟踪过程中，利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。
其中，在跟踪过程中，跟踪模块和检测模块独立运行，并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置，产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。
与现有技术相比，本发明的有益效果是：
这种方法能够有效提高TLD算法的目标模型的表征能力，并对P-N学习产生的不可避免的误差有一定的纠正作用，在一定程度上提高了TLD算法的鲁棒性和精度，使其能够对目标进行持续、稳定的跟踪。
附图说明
图1为本发明基于TLD算法的目标跟踪方法框图；
图2为P-N学习算法框图；
图3为BlurFace数据集的中心误差(Distance Score)对比图；
图4为BlurFace数据集的成功率(Pascal Score)对比图。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
如图1所示，在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置，产生新的正负样本，从而更新检测模块。
其中，在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。
其中，在跟踪过程中，检测模块对当前帧图像进行网格扫描获得图像块后，首先计算各图像块的方差，方差小于某个阈值的图像块被接受，进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值，大于某个阈值的图像块被接受，进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理，与目标模型中的图像块进行互相关归一化的相似度计算，如果相似度大于某个阈值，则判定当前图像块为目标区域，否则判定为背景。
其中，在跟踪过程中，利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。
其中，在跟踪过程中，跟踪模块和检测模块独立运行，并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置，产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。
本发明使用TLD算法跟踪结果的置信度Conf对当前帧判定添加到的目标模型的正负样本进行加权后再添加到目标模型中。首先对每一帧经过P-N约束生成的待添加样本定性：即这一待添加样本是目标模型中的正样本还是负样本；然后对这些待添加样本定量：使用当前帧i跟踪结果的置信度Confi对其加权，Confi即为当前帧i中所有待添加样本的权重，这也就描述出了当前帧i的这些待添加样本有多大的可能性是正确分类样本；最后将这些经过加权的样本添加到目标模型中。
在TLD算法进行目标跟踪的过程中，第一帧的正样本至关重要，因为这是在由用户直接指定的唯一正确的跟踪目标框中生成的正样本。TLD算法初始化的正样本即是由这唯一一个绝对正确的跟踪目标框中选取并经过随机的仿射变换形成的。而后所有的跟踪目标框都有可能出现各种各样的错误。而每一帧的跟踪结果置信度可以很好地反映这一可能的错误程度。注意到Confi≤1，所以这种方法也在一定程度上加强了初始帧样本的在目标模型中的影响。这样，即使P-N学习训练的分类器出现了错误，即对样本进行了错分，经过当前帧的跟踪结果置信度加权，会在一定程度上纠正这种错误。图2为P-N学习算法框图。
基于上述认识，本发明对TLD算法的学习模块进行了改进，提出了一种基于TLD算法的目标跟踪方法，以期生成更具表征能力的目标模型。
本发明采用BlurFace数据集进行对比实验，其中包括了平面内旋转、快速运动、运动模糊等挑战。
图3清晰地展示了本发明提出的方法与TLD算法在BlurFace数据集中每一帧的中心位置误差，并给出了两种方法的平均中心误差。显然，本发明提出的方法在中心位置误差上比TLD算法有更加优秀的表现。
图4清晰地展示了本发明提出的方法与TLD算法在BlurFace数据集中每一帧的成功率，并给出了重叠度阈值为50％时的成功率。虽然本发明提出的方法和TLD算法在上述阈值下成功率均为100％，但是若把重叠度s阈值更改为65％，即在每一帧中跟踪结果框与数据集标定框的重叠度s>0.65才判定当前帧跟踪成功，那么TLD算法的成功率应该在50％左右，而本发明的方法仍然可以达到接近100％的成功率。图4非常清晰地展示了这一点。
本发明未详细阐述部分属于本领域技术人员的公知技术。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化、变型都将落在本发明权利要求书的范围内。

Claims (1)

1.一种基于TLD算法的目标跟踪方法，其特征是：在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练，在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器，并对通过这三个分类器的图像块进行聚类；跟踪模块采用中值光流法通过上一帧跟踪结果预测当前帧目标位置；整合模块综合检测模块和跟踪模块进行跟踪结果的输出；对当前更新后的目标位置，在更新后的位置产生新的正负样本并利用当前跟踪结果置信度进行加权，利用加权后的正负样本更新检测模块；
在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本；所获得的正负初始样本用来对检测模块进行初始化训练；
在跟踪过程中，检测模块对当前帧图像进行网格扫描获得图像块后，首先计算各图像块的方差，方差小于某个阈值的图像块被接受，进入合并分类器；通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值，大于某个阈值的图像块被接受，进入最近邻分类器；通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理，与目标模型中的图像块进行互相关归一化的相似度计算，如果相似度大于某个阈值，则判定当前图像块为目标区域，否则判定为背景；
在跟踪过程中，利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型；
在跟踪过程中，跟踪模块和检测模块独立运行，并将检测结果与跟踪结果融合输出目标跟踪结果；在每一帧中对当前更新后的目标位置，产生新的正负样本；在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权；
该方法使用TLD算法跟踪结果的置信度Conf对当前帧判定添加到的目标模型的正负样本进行加权后再添加到目标模型中，首先对每一帧经过P-N约束生成的待添加样本定性：即这一待添加样本是目标模型中的正样本还是负样本；然后对这些待添加样本定量：使用当前帧i跟踪结果的置信度Confi对其加权，Confi即为当前帧i中所有待添加样本的权重，这也就描述出了当前帧i的这些待添加样本有多大的可能性是正确分类样本；最后将这些经过加权的样本添加到目标模型中；
在TLD算法进行目标跟踪的过程中，第一帧的正样本至关重要，因为这是在由用户直接指定的唯一正确的跟踪目标框中生成的正样本，TLD算法初始化的正样本即是由这唯一一个绝对正确的跟踪目标框中选取并经过随机的仿射变换形成的，而后所有的跟踪目标框都有可能出现各种各样的错误，而每一帧的跟踪结果置信度可以很好地反映这一可能的错误程度； 注意到Confi≤1，所以这种方法也在一定程度上加强了初始帧样本的在目标模型中的影响，这样，即使P-N学习训练的分类器出现了错误，即对样本进行了错分，经过当前帧的跟踪结果置信度加权，会在一定程度上纠正这种错误。
CN201810506766.5A 2018-05-24 2018-05-24 一种基于tld算法的目标跟踪方法 Active CN108846850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810506766.5A CN108846850B (zh) 2018-05-24 2018-05-24 一种基于tld算法的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810506766.5A CN108846850B (zh) 2018-05-24 2018-05-24 一种基于tld算法的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108846850A CN108846850A (zh) 2018-11-20
CN108846850B true CN108846850B (zh) 2022-06-10

Family

ID=64213318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810506766.5A Active CN108846850B (zh) 2018-05-24 2018-05-24 一种基于tld算法的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108846850B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046659B (zh) * 2019-04-02 2023-04-07 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN110335293A (zh) * 2019-07-12 2019-10-15 东北大学 一种基于tld框架的长时间目标跟踪方法
CN112598698B (zh) * 2021-03-08 2021-05-18 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN115423844B (zh) * 2022-09-01 2023-04-11 北京理工大学 一种基于多模块联合的目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871081A (zh) * 2014-03-29 2014-06-18 湘潭大学 一种自适应鲁棒在线目标跟踪方法
CN106651909A (zh) * 2016-10-20 2017-05-10 北京信息科技大学 一种基于背景加权的尺度方向自适应均值漂移方法
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871081A (zh) * 2014-03-29 2014-06-18 湘潭大学 一种自适应鲁棒在线目标跟踪方法
CN106651909A (zh) * 2016-10-20 2017-05-10 北京信息科技大学 一种基于背景加权的尺度方向自适应均值漂移方法
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tracking-Learning-Detection;Zdenek Kalal 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20100131;第6卷(第1期);正文第2-5节 *

Also Published As

Publication number Publication date
CN108846850A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108846850B (zh) 一种基于tld算法的目标跟踪方法
CN108765455B (zh) 一种基于tld算法的目标稳定跟踪方法
CN111508002B (zh) 一种小型低飞目标视觉检测跟踪系统及其方法
CN109598684B (zh) 结合孪生网络的相关滤波跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN111144364A (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
JP2006209755A (ja) シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
WO2005083634A1 (en) Method and system for multi-modal component-based tracking of an object using robust information fusion
CN111160212B (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN112085765B (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN110008844B (zh) 一种融合slic算法的kcf长期手势跟踪方法
CN111274917B (zh) 一种基于深度检测的长时目标跟踪方法
CN111583294B (zh) 一种结合尺度自适应与模型更新的目标跟踪方法
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN115424177A (zh) 一种基于增量学习的孪生网络目标跟踪的方法
CN107657627B (zh) 基于人脑记忆机制的时空上下文目标跟踪方法
CN114332157B (zh) 一种双阈值控制的长时跟踪方法
CN114139631B (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN114973071A (zh) 基于长短期时序特征的无监督视频目标分割方法及系统
CN108280845B (zh) 一种针对复杂背景的尺度自适应目标跟踪方法
JP7444279B2 (ja) 物体追跡装置、物体追跡方法、及び、プログラム
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant