CN110335293A - 一种基于tld框架的长时间目标跟踪方法 - Google Patents

一种基于tld框架的长时间目标跟踪方法 Download PDF

Info

Publication number
CN110335293A
CN110335293A CN201910627607.5A CN201910627607A CN110335293A CN 110335293 A CN110335293 A CN 110335293A CN 201910627607 A CN201910627607 A CN 201910627607A CN 110335293 A CN110335293 A CN 110335293A
Authority
CN
China
Prior art keywords
target
tracking
frame
module
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910627607.5A
Other languages
English (en)
Inventor
房立金
米晓晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910627607.5A priority Critical patent/CN110335293A/zh
Publication of CN110335293A publication Critical patent/CN110335293A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，提供一种基于TLD框架的长时间目标跟踪方法，包括：首先在起始帧选定目标区域，初始化检测模块和跟踪模块；然后跟踪模块采用快速判别尺度空间算法根据前一帧目标所在的位置信息估计目标在当前帧的位置和大小，并设计跟踪失败检测机制判断跟踪是否成功；若跟踪失败，检测模块根据训练样本对当前帧进行检测，找出目标可能存在的位置；接着综合模块处理跟踪与检测结果，判断当前帧是否存在目标及目标位置，设计遮挡判别器并判断目标是否发生遮挡，更新遮挡判别器，学习模块对检测模块进行更新，重复上述步骤直到跟踪结束。本发明能够提高遮挡、离开视野、形变等复杂情况下长时间目标跟踪的鲁棒性、准确度和精度。

Description

一种基于TLD框架的长时间目标跟踪方法
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于TLD框架的长时间目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域的重要研究内容之一，在自动驾驶、智能看护、视频监控、人机交互、机器人定位与导航等领域有着广泛的应用。然而由于现实场景下的环境比较复杂，目标跟踪在实际应用中面临着许多挑战，如：遮挡、形变、尺度变换、背景复杂多变、光照变化、旋转、运动模糊、快速运动、超出视野等等，这使得在现实任意场景中进行长时间跟踪仍面临着很多困难。
TLD(Tracking-Learning-Detection)是英国萨里大学的博士生ZdenekKalal在攻读博士学位期间提出的一种新的单目标长时间跟踪算法。该算法与传统算法最大的区别是将跟踪算法与检测算法结合起来，从而解决目标跟踪过程中发生的形变和部分遮挡问题，并且通过一种改进的在线学习机制来不断学习并更新目标模型，从而增强算法的稳定性、鲁棒性及可靠性，实现长时间目标跟踪。
TLD算法主要由跟踪模块、检测模块和学习模块三部分组成，其整体框架如图1所示。该算法在跟踪的起始帧给出目标的位置和大小进行初始化设置，在后续的视频序列中每一帧都由跟踪模块根据上一帧目标的位置信息估计当前帧目标的位置和大小，由检测模块检测目标可能存在的位置信息，然后将跟踪模块和检测模块得到的信息输入到综合模块进行信息融合，对于当前帧的目标信息进行一个判别并将处理结果和检测及跟踪结果一起送到学习模块中学习，完成对跟踪模块和检测模块的更新。
然而经典TLD算法的跟踪模块采用光流法，光流法在目标发生快速运动、尺度变化和非刚性形变时很容易发生漂移且对于光照变化很敏感，无法进行有效跟踪，从而经常出现跟踪失败的情况。并且由学习模块的性能可知，当跟踪模块性能提高之后，当目标被遮挡仍能准确跟踪时，被遮挡的目标会作为正样本被学习并更新检测模块，而被遮挡尤其是遮挡严重的目标会失去很多作为正样本的特征甚至有很多背景特征被错误地学习并加入到样本库中，如此会使检测模块的误差增大从而影响检测器的性能，导致跟踪漂移甚至跟踪失败。
发明内容
针对现有技术存在的问题，本发明提供一种基于TLD框架的长时间目标跟踪方法，能够实现对目标在现实场景中的实时长时间跟踪，提高目标跟踪方法在遮挡、离开视野、形变等复杂情况下的鲁棒性、准确度和精度。
本发明的技术方案为：
一种基于TLD框架的长时间目标跟踪方法，其特征在于，包括下述步骤：
步骤1：在待跟踪视频的起始帧中选定目标形成目标区域，根据所选目标的信息生成图像子窗口，将图像子窗口作为初始目标候选窗口，形成正负样本对检测模块进行初始化训练，并对跟踪模块进行初始化；
步骤2：跟踪模块采用快速判别尺度空间算法根据前一帧目标所在的位置信息估计目标在当前帧的位置和大小，并设计跟踪失败检测机制，若跟踪成功则执行步骤4，若跟踪失败则执行步骤3；
步骤3：检测模块根据训练样本对当前帧进行检测，找出目标所有可能存在的位置；
步骤4：综合模块对跟踪模块与检测模块的结果进行处理，判断当前帧是否存在目标及目标所在的位置：若跟踪成功，则将跟踪结果作为目标在当前帧的位置；若跟踪失败、检测成功，则将检测模块的聚类结果作为目标在当前帧的位置；若跟踪失败、检测失败，则认为当前帧不存在目标，返回步骤3对下一帧进行处理；
步骤5：设计遮挡判别器并判断目标是否发生遮挡：若目标发生遮挡，则返回步骤2对下一帧进行处理；若目标没有发生遮挡，则该图像块可以作为正样本对检测模块进行更新：
步骤6：对遮挡判别器进行更新；
步骤7：学习模块通过P-N Learning根据在线目标模型对跟踪结果的可靠性评估对检测模块的训练样本进行更新；
步骤8：循环执行步骤2至步骤7，直到目标跟踪结束。
所述步骤1中，形成正负样本包括：学习模块在图像子窗口的扫描网格中选择距离初始目标框最近的m个方框，在每个方框内部进行m1次几何变换，共产生m×m1个仿射变换的方框作为正样本，选择初始目标框外方差大于阈值的图像块作为负样本。
所述步骤1中，对跟踪模块进行初始化包括：
步骤1.1：跟踪模块提取初始目标候选窗口的位置特征和尺度特征，生成目标位置回归矩阵和尺度回归矩阵；
步骤1.2：训练得到位置跟踪模板和尺度跟踪模板，初始化位置滤波器和尺度滤波器参数。
所述步骤2包括下述步骤：
步骤2.1：根据位置滤波器在上一帧训练得到的跟踪模块计算目标候选窗口的最大响应位置；
步骤2.2：在最大响应位置用尺度跟踪模板计算尺度乘子的最大响应，获得目标尺寸；
步骤2.3：设计跟踪失败检测机制：采用跟踪置信度指标psr判断跟踪模块是否跟踪成功，若跟踪成功则执行步骤4，否则执行步骤3。
所述步骤2.3中，跟踪置信度指标若psr大于等于阈值psrmin则认为跟踪成功，若psr小于阈值psrmin则认为跟踪失败；其中，gmax为高斯核响应的最大值，μsl、σsl分别是以gmax点为中心的矩形框之外的所有像素点的均值、标准差。
所述步骤3包括下述步骤：
步骤3.1：检测模块对当前帧进行扫描，生成图像块搜索框；
步骤3.2：方差分类器分别计算图像块搜索框与初始目标框的灰度值方差，将所有灰度值方差大于初始目标框的灰度值方差某个阈值的图像块搜索框去除，未被去除的图像块搜索框进入集合分类器；
步骤3.3：集合分类器包括若干个独立的基本分类器，每个基本分类器对图像块中的多个像素进行比较后得到一个二进制码x，每个二进制码x对应一个后验概率分布，对基本分类器的后验概率分布进行平均化处理，当平均后验概率分布大于某个阈值时，集合分类器认为该图像块可能是目标区域，进入最近邻分类器；
步骤3.4：最近邻分类器计算通过集合分类器的图像块与训练样本的相关相似度，若相关相似度大于某个阈值则判定该图像块是目标区域且检测成功，否则判定为背景；若通过集合分类器的所有图像块均被判定为背景则检测失败。
所述步骤5包括下述步骤：
步骤5.1：基于感知哈希算法初始化遮挡判别器的样本，形成编码过的样本；
步骤5.2：将综合模块输出的目标样本缩放为一定大小的图像块并转换为平均划分成4个区间的64级灰度图；
步骤5.3：遍历图像块，并对每一个像素的灰度值进行判断，将在第一、二、三、四个区间的像素分别标记为0、1、2、3，得到由0、1、2、3四个数字组成的图像块；
步骤5.4：将图像块与遮挡判别器中编码过的样本进行对比，在相同的位置，若编码相同则标记为0，不同则标记为1，生成由0、1组成的图像矩阵；
步骤5.5：用滑动窗口遍历图像矩阵，当滑动窗口中1出现的次数大于某个阈值时则认为出现遮挡；
步骤5.6：重复步骤5.4至步骤5.5，将图像块与遮挡判别器中所有编码过的样本进行对比，当被认为出现遮挡的数目与总样本数的比值大于某一阈值时则判定目标发生遮挡，返回步骤2对下一帧进行处理；当小于该阈值时则判定目标没有发生遮挡，该图像块可以作为正样本对检测模块进行更新。
所述步骤6中，对遮挡判别器进行更新，包括：将判定为正样本的图像块对应的由步骤5.4产生的图像矩阵存于样本库中，并将遮挡判别器中的样本维持在固定数量，超出固定数量时剔除最早生成的样本，完成遮挡判别器的更新。
本发明的有益效果为：
1、本发明采用快速判别尺度空间跟踪算法重新设计了跟踪模块，克服了现有技术在目标发生旋转、尺度变化、光照强度变化或快速运动时无法准确跟踪的问题，提高了目标跟踪的精度和准确度。
2、本发明将跟踪模块与检测模块更改为串行关系，并修改了综合模块的判决机制，只有在跟踪模块跟踪失败的情况下才启用检测模块，但在此期间一直保持检测样本的更新，在不影响整体算法跟踪精度的情况下大大提高了算法的运行速度。
3、本发明加入了遮挡判别器，当目标被遮挡时不再对检测模块进行更新，克服了现有技术中将遮挡目标作为正样本进行训练从而导致跟踪漂移的缺点，提高了跟踪方法在遮挡情况下的鲁棒性。
4、本发明在遮挡判别器中引用感知哈希算法思想，不仅简单快速，而且可以有效去除掺杂在正样本中的负样本，提高检测模块的性能，进而提高跟踪方法的整体性能。
附图说明
图1为经典TLD算法的框架结构图；
图2为本发明基于TLD框架的长时间目标跟踪方法的框架结构图；
图3为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法的集合分类器的效果图；
图4为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法在待跟踪视频的起始帧选定目标区域的效果图；
图5为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法在目标在普通情况下运动时的跟踪效果图；
图6为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法在目标在运动过程中发生遮挡时的跟踪效果图；
图7为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法在目标发生尺度变化时的跟踪效果图；
图8为具体实施方式中本发明基于TLD框架的长时间目标跟踪方法在目标在平面内旋转时的跟踪效果图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图2所示，为本发明基于TLD框架的长时间目标跟踪方法的框架结构图。本发明以TLD为框架，采用快速判别尺度空间跟踪(fast Discriminative Scale SpaceTracking，fDSST)算法重新设计跟踪模块，根据跟踪模块与检测模块的综合结果预测目标位置，并加入遮挡判别器，采用感知哈希算法判断目标是否发生遮挡，将未遮挡的目标作为正样本更新检测器模板，避免遮挡时发生漂移的情况。本发明的基于TLD框架的长时间目标跟踪方法，其特征在于，包括下述步骤：
步骤1：在待跟踪视频的起始帧中选定目标形成目标区域，根据所选目标的信息生成图像子窗口，将图像子窗口作为初始目标候选窗口，形成正负样本对检测模块进行初始化训练，并对跟踪模块进行初始化。
本实施例中，所述步骤1中，形成正负样本包括：学习模块在图像子窗口的扫描网格中选择距离初始目标框最近的m＝10个方框，在每个方框内部进行m1＝20次几何变换，共产生m×m1＝200个仿射变换的方框作为正样本，选择初始目标框外方差大于阈值的图像块作为负样本。
所述步骤1中，对跟踪模块进行初始化包括：
步骤1.1：跟踪模块提取初始目标候选窗口的位置特征和尺度特征，生成目标位置回归矩阵和尺度回归矩阵；
步骤1.2：训练得到位置跟踪模板和尺度跟踪模板，初始化位置滤波器和尺度滤波器参数，具体算法如下：
首先假设初始图像的目标矩形域中每一个位置都包含一个由d维的特征向量f(n)组成的目标样本f，而为了得到性能更好的相关滤波器h，可以使式(1)的代价函数值最小：
式(1)中，l表示特征的某一维度；*表示卷积；g为对应的高斯函数；λ为正则项系数，目的是为了化解零频分量的影响；
式(1)为最小二乘问题，可以将其通过离散傅里叶变换转换到复频域下进行有效求解得到式(2)：
式(2)中，大写字母表示相应小写变量的离散傅里叶变换；表示G的共轭转置；
由式(2)可求得给定目标的单个训练样本f的最优滤波器h，而在实际情况下，为了使滤波器具有鲁棒性，需要将不同时间的样本加入到滤波器进行训练，此时则需通过式(1)求出所有训练样本的相关误差，然后进行平均来实现。经过离散傅里叶变换之后，转换为通过求解N个d×d的线性系统来得到滤波器H，计算非常耗时，为了加快运算速度并得到鲁棒的近似结果，进行以下更新：
式中，Bt分别为Hl的分子和分母；Gt为复频域下t时刻的高斯函数；Ft为复频域下t时刻的样本；η为学习率；尺度滤波器的设计方法与位置滤波器相同。
步骤2：跟踪模块采用快速判别尺度空间算法根据前一帧目标所在的位置信息估计目标在当前帧的位置和大小，并设计跟踪失败检测机制，若跟踪成功则执行步骤4，若跟踪失败则执行步骤3。
所述步骤2包括下述步骤：
步骤2.1：根据位置滤波器在上一帧训练得到的跟踪模块计算目标候选窗口的最大响应位置，计算公式为：
式中，Z为候选样本。
步骤2.2：在最大响应位置用尺度跟踪模板计算尺度乘子的最大响应，获得目标尺寸；用于评估的目标样本尺度大小为anP×anR，其中，P和R分别为前一帧目标的宽和高，a为尺度系数，S为尺度滤波器的大小。
步骤2.3：设计跟踪失败检测机制：采用跟踪置信度指标psr判断跟踪模块是否跟踪成功，若跟踪成功则执行步骤4，否则执行步骤3。
所述步骤2.3中，跟踪置信度指标若psr大于等于阈值psrmin则认为跟踪成功，若psr小于阈值psrmin则认为跟踪失败；其中，gmax为高斯核响应的最大值，μsl、σsl分别是以gmax点为中心的矩形框之外的所有像素点的均值、标准差。本实施例中，若跟踪置信度指标psr(Peakto Sidelobe Ratio)大于等于阈值psrmin＝20则认为跟踪成功，低于20则认为跟踪失败。
步骤3：检测模块根据训练样本对当前帧进行检测，找出目标所有可能存在的位置。
所述步骤3包括下述步骤：
步骤3.1：检测模块对当前帧进行扫描，生成图像块搜索框；
步骤3.2：方差分类器分别计算图像块搜索框与初始目标框的灰度值方差，将所有灰度值方差大于初始目标框的灰度值方差某个阈值的图像块搜索框去除，未被去除的图像块搜索框进入集合分类器；方差计算公式为：
其中，yj表示图像中位置j处的像素值，N表示图像块的像素个数，μ表示图像块像素平均值，μ的计算公式为：
步骤3.3：集合分类器包括若干个独立的基本分类器，每个基本分类器对图像块中的多个像素进行比较后得到一个二进制码x，集合分类器的效果图如图3所示；每个二进制码x对应一个后验概率分布，对基本分类器的后验概率分布进行平均化处理，当平均后验概率分布大于某个阈值时，集合分类器认为该图像块可能是目标区域，进入最近邻分类器；其中，每个基本分类器i的后验概率分布表示为：
式中，#P和#N分别表示训练和更新过程中特征值x对应的正样本和负样本数量。
步骤3.4：最近邻分类器计算通过集合分类器的图像块与训练样本的相关相似度，若相关相似度大于某个阈值则判定该图像块是目标区域且检测成功，否则判定为背景；若通过集合分类器的所有图像块均被判定为背景则检测失败。计算相似度时首先将图像块与样本归一化为15×15的图像块Pj和Pi，则其相似度计算公式为：
S(Pi,Pj)＝0.5(NCC(Pi,Pj)+1)(8)
式中，NCC(Pi,Pj)表示图像块Pj和Pi之间的归一化互相关系数。
步骤4：综合模块对跟踪模块与检测模块的结果进行处理，判断当前帧是否存在目标及目标所在的位置：若跟踪成功，则将跟踪结果作为目标在当前帧的位置；若跟踪失败、检测成功，则将检测模块的聚类结果作为目标在当前帧的位置；若跟踪失败、检测失败，则认为当前帧不存在目标，返回步骤3对下一帧进行处理。
步骤5：设计遮挡判别器并判断目标是否发生遮挡：若目标发生遮挡，则返回步骤2对下一帧进行处理；若目标没有发生遮挡，则该图像块可以作为正样本对检测模块进行更新。
所述步骤5包括下述步骤：
步骤5.1：基于感知哈希算法初始化遮挡判别器的样本，形成编码过的样本；
步骤5.2：将综合模块输出的目标样本缩放为15×15大小的图像块并转换为平均划分成4个区间的64级灰度图；
步骤5.3：遍历图像块，并对每一个像素的灰度值进行判断，将在第一、二、三、四个区间的像素分别标记为0、1、2、3，得到由0、1、2、3四个数字组成的图像块；
步骤5.4：将图像块与遮挡判别器中编码过的样本进行对比，在相同的位置，若编码相同则标记为0，不同则标记为1，生成由0、1组成的15×15的图像矩阵；
步骤5.5：用滑动窗口遍历图像矩阵，当滑动窗口中1出现的次数大于某个阈值时则认为出现遮挡；本实施例中，滑动窗口的大小为4×4；
步骤5.6：重复步骤5.4至步骤5.5，将图像块与遮挡判别器中所有编码过的样本进行对比，当被认为出现遮挡的数目与总样本数的比值大于某一阈值时则判定目标发生遮挡，返回步骤2对下一帧进行处理；当小于该阈值时则判定目标没有发生遮挡，该图像块可以作为正样本对检测模块进行更新。
步骤6：对遮挡判别器进行更新。
所述步骤6中，对遮挡判别器进行更新，包括：将判定为正样本的图像块对应的由步骤5.4产生的图像矩阵存于样本库中，并将遮挡判别器中的样本维持在固定数量，超出固定数量时剔除最早生成的样本，完成遮挡判别器的更新。
步骤7：学习模块通过P-N Learning根据在线目标模型对跟踪结果的可靠性评估对检测模块的训练样本进行更新。
其中，在P-N Learning中，P约束用于识别被分为负样本而实际上却为正样本的样本，N约束用于识别被分为正样本而实际上却为负样本的样本；P-N Learning通过P约束和N约束形成新的已标签的有效训练样本集，用于更新检测模块的集合分类器，同时更新目标模型，更新算法如步骤1。
步骤8：循环执行步骤2至步骤7，直到目标跟踪结束。
本实施例中，本发明的跟踪效果如图4至图8所示。其中，在视频序列第一帧(图4)选定目标区域，进行检测模块与跟踪模块的初始化，后续序列中检测模块与跟踪模块并行运行，综合模块将跟踪结果与检测结果进行融合得到新一帧的目标状态估计，并将通过遮挡判别机制的样本传入学习模块进行模板更新，得到目标在普通情况下运动时的跟踪效果如图5所示，目标在运动过程中发生遮挡时的跟踪效果如图6所示，目标发生尺度变化时的跟踪效果如图7所示，目标在平面内旋转时的跟踪效果如图8所示。本实施例的跟踪结果表明，本发明可以应对跟踪过程中出现的多种问题，适用于长时间目标跟踪。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (8)

1.一种基于TLD框架的长时间目标跟踪方法，其特征在于，包括下述步骤：
步骤1：在待跟踪视频的起始帧中选定目标形成目标区域，根据所选目标的信息生成图像子窗口，将图像子窗口作为初始目标候选窗口，形成正负样本对检测模块进行初始化训练，并对跟踪模块进行初始化；
步骤2：跟踪模块采用快速判别尺度空间算法根据前一帧目标所在的位置信息估计目标在当前帧的位置和大小，并设计跟踪失败检测机制，若跟踪成功则执行步骤4，若跟踪失败则执行步骤3；
步骤3：检测模块根据训练样本对当前帧进行检测，找出目标所有可能存在的位置；
步骤4：综合模块对跟踪模块与检测模块的结果进行处理，判断当前帧是否存在目标及目标所在的位置：若跟踪成功，则将跟踪结果作为目标在当前帧的位置；若跟踪失败、检测成功，则将检测模块的聚类结果作为目标在当前帧的位置；若跟踪失败、检测失败，则认为当前帧不存在目标，返回步骤3对下一帧进行处理；
步骤5：设计遮挡判别器并判断目标是否发生遮挡：若目标发生遮挡，则返回步骤2对下一帧进行处理；若目标没有发生遮挡，则该图像块可以作为正样本对检测模块进行更新；
步骤6：对遮挡判别器进行更新；
步骤7：学习模块通过P-N Learning根据在线目标模型对跟踪结果的可靠性评估对检测模块的训练样本进行更新；
步骤8：循环执行步骤2至步骤7，直到目标跟踪结束。
2.根据权利要求1所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤1中，形成正负样本包括：学习模块在图像子窗口的扫描网格中选择距离初始目标框最近的m个方框，在每个方框内部进行m1次几何变换，共产生m×m1个仿射变换的方框作为正样本，选择初始目标框外方差大于阈值的图像块作为负样本。
3.根据权利要求2所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤1中，对跟踪模块进行初始化包括：
步骤1.1：跟踪模块提取初始目标候选窗口的位置特征和尺度特征，生成目标位置回归矩阵和尺度回归矩阵；
步骤1.2：训练得到位置跟踪模板和尺度跟踪模板，初始化位置滤波器和尺度滤波器参数。
4.根据权利要求3所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤2包括下述步骤：
步骤2.1：根据位置滤波器在上一帧训练得到的跟踪模块计算目标候选窗口的最大响应位置；
步骤2.2：在最大响应位置用尺度跟踪模板计算尺度乘子的最大响应，获得目标尺寸；
步骤2.3：设计跟踪失败检测机制：采用跟踪置信度指标psr判断跟踪模块是否跟踪成功，若跟踪成功则执行步骤4，否则执行步骤3。
5.根据权利要求4所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤2.3中，跟踪置信度指标若psr大于等于阈值psrmin则认为跟踪成功，若psr小于阈值psrmin则认为跟踪失败；其中，gmax为高斯核响应的最大值，μsl、σsl分别是以gmax点为中心的矩形框之外的所有像素点的均值、标准差。
6.根据权利要求4所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤3包括下述步骤：
步骤3.1：检测模块对当前帧进行扫描，生成图像块搜索框；
步骤3.2：方差分类器分别计算图像块搜索框与初始目标框的灰度值方差，将所有灰度值方差大于初始目标框的灰度值方差某个阈值的图像块搜索框去除，未被去除的图像块搜索框进入集合分类器；
步骤3.3：集合分类器包括若干个独立的基本分类器，每个基本分类器对图像块中的多个像素进行比较后得到一个二进制码x，每个二进制码x对应一个后验概率分布，对基本分类器的后验概率分布进行平均化处理，当平均后验概率分布大于某个阈值时，集合分类器认为该图像块可能是目标区域，进入最近邻分类器；
步骤3.4：最近邻分类器计算通过集合分类器的图像块与训练样本的相关相似度，若相关相似度大于某个阈值则判定该图像块是目标区域且检测成功，否则判定为背景；若通过集合分类器的所有图像块均被判定为背景则检测失败。
7.根据权利要求6所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤5包括下述步骤：
步骤5.1：基于感知哈希算法初始化遮挡判别器的样本，形成编码过的样本；
步骤5.2：将综合模块输出的目标样本缩放为一定大小的图像块并转换为平均划分成4个区间的64级灰度图；
步骤5.3：遍历图像块，并对每一个像素的灰度值进行判断，将在第一、二、三、四个区间的像素分别标记为0、1、2、3，得到由0、1、2、3四个数字组成的图像块；
步骤5.4：将图像块与遮挡判别器中编码过的样本进行对比，在相同的位置，若编码相同则标记为0，不同则标记为1，生成由0、1组成的图像矩阵；
步骤5.5：用滑动窗口遍历图像矩阵，当滑动窗口中1出现的次数大于某个阈值时则认为出现遮挡；
步骤5.6：重复步骤5.4至步骤5.5，将图像块与遮挡判别器中所有编码过的样本进行对比，当被认为出现遮挡的数目与总样本数的比值大于某一阈值时则判定目标发生遮挡，返回步骤2对下一帧进行处理；当小于该阈值时则判定目标没有发生遮挡，该图像块可以作为正样本对检测模块进行更新。
8.根据权利要求7所述的基于TLD框架的长时间目标跟踪方法，其特征在于，所述步骤6中，对遮挡判别器进行更新，包括：将判定为正样本的图像块对应的由步骤5.4产生的图像矩阵存于样本库中，并将遮挡判别器中的样本维持在固定数量，超出固定数量时剔除最早生成的样本，完成遮挡判别器的更新。
CN201910627607.5A 2019-07-12 2019-07-12 一种基于tld框架的长时间目标跟踪方法 Pending CN110335293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627607.5A CN110335293A (zh) 2019-07-12 2019-07-12 一种基于tld框架的长时间目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627607.5A CN110335293A (zh) 2019-07-12 2019-07-12 一种基于tld框架的长时间目标跟踪方法

Publications (1)

Publication Number Publication Date
CN110335293A true CN110335293A (zh) 2019-10-15

Family

ID=68146539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627607.5A Pending CN110335293A (zh) 2019-07-12 2019-07-12 一种基于tld框架的长时间目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110335293A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160212A (zh) * 2019-12-24 2020-05-15 浙江大学 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN111291630A (zh) * 2020-01-17 2020-06-16 天津大学 基于联合预测-检测-修正框架的长期目标跟踪算法
CN111784744A (zh) * 2020-07-06 2020-10-16 天津理工大学 一种基于视频监控的目标自动检测与跟踪方法
CN112381856A (zh) * 2020-10-14 2021-02-19 中国科学院西安光学精密机械研究所 一种适应城市复杂背景的低慢小目标跟踪装置及方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN113793307A (zh) * 2021-08-23 2021-12-14 上海派影医疗科技有限公司 一种适用于多类型病理图像的自动标注方法及系统
CN113867387A (zh) * 2021-09-27 2021-12-31 中国航空无线电电子研究所 一种无人机自主着降航向识别方法
CN114241008A (zh) * 2021-12-21 2022-03-25 北京航空航天大学 一种适应场景和目标变化的长时区域跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN108734722A (zh) * 2018-04-18 2018-11-02 南京邮电大学 一种基于psr的视觉跟踪错误修正方法
CN108846850A (zh) * 2018-05-24 2018-11-20 中国科学院光电技术研究所 一种基于tld算法的目标跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN108734722A (zh) * 2018-04-18 2018-11-02 南京邮电大学 一种基于psr的视觉跟踪错误修正方法
CN108846850A (zh) * 2018-05-24 2018-11-20 中国科学院光电技术研究所 一种基于tld算法的目标跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANELLJAN M,ET AL.: "Discriminative scale space tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
宗家辉: "基于TLD框架的目标跟踪算法的研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
李轶锟,等: "基于TLD和fDSST的长时间目标跟踪算法", 《电光与控制》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160212A (zh) * 2019-12-24 2020-05-15 浙江大学 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN111291630A (zh) * 2020-01-17 2020-06-16 天津大学 基于联合预测-检测-修正框架的长期目标跟踪算法
CN111784744A (zh) * 2020-07-06 2020-10-16 天津理工大学 一种基于视频监控的目标自动检测与跟踪方法
CN112381856A (zh) * 2020-10-14 2021-02-19 中国科学院西安光学精密机械研究所 一种适应城市复杂背景的低慢小目标跟踪装置及方法
CN112381856B (zh) * 2020-10-14 2023-09-05 中国科学院西安光学精密机械研究所 一种适应城市复杂背景的低慢小目标跟踪装置及方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN112598698B (zh) * 2021-03-08 2021-05-18 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN113793307A (zh) * 2021-08-23 2021-12-14 上海派影医疗科技有限公司 一种适用于多类型病理图像的自动标注方法及系统
CN113867387A (zh) * 2021-09-27 2021-12-31 中国航空无线电电子研究所 一种无人机自主着降航向识别方法
CN113867387B (zh) * 2021-09-27 2024-04-12 中国航空无线电电子研究所 一种无人机自主着降航向识别方法
CN114241008A (zh) * 2021-12-21 2022-03-25 北京航空航天大学 一种适应场景和目标变化的长时区域跟踪方法
CN114241008B (zh) * 2021-12-21 2023-03-07 北京航空航天大学 一种适应场景和目标变化的长时区域跟踪方法

Similar Documents

Publication Publication Date Title
CN110335293A (zh) 一种基于tld框架的长时间目标跟踪方法
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN106204651B (zh) 一种基于改进的判决与生成联合模型的目标跟踪方法
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN111259808A (zh) 一种基于改进ssd算法的交通标识的检测识别方法
CN111539987B (zh) 基于判别模型的遮挡检测系统及方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
Guo et al. Image classification based on SURF and KNN
Li et al. Moving target detection and tracking algorithm based on context information
CN108320301B (zh) 一种基于跟踪学习检测的目标跟踪优化方法
Ghadhban et al. Segments interpolation extractor for finding the best fit line in Arabic offline handwriting recognition words
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Kofler et al. Classifying defects in topography images of silicon wafers
CN112990368B (zh) 一种多边形结构引导的高光谱图像单样本识别方法及系统
CN108665479A (zh) 基于压缩域多尺度特征tld的红外目标跟踪方法
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment
Suheryadi et al. Spatio-temporal analysis for moving object detection under complex environment
Goyal et al. Moving Object Detection in Video Streaming Using Improved DNN Algorithm
Gizatullin et al. Automatic car license plate detection based on the image weight model
Sun et al. WOA-MLSVMs Dirty Degree Identification Method Based on Texture Features of Paper Currency Images [J]
Fan Evaluation of machine learning in recognizing images of reinforced concrete damage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191015

WD01 Invention patent application deemed withdrawn after publication