CN110363789B - 一种面向实际工程应用的长期视觉跟踪方法 - Google Patents

一种面向实际工程应用的长期视觉跟踪方法 Download PDF

Info

Publication number
CN110363789B
CN110363789B CN201910554974.7A CN201910554974A CN110363789B CN 110363789 B CN110363789 B CN 110363789B CN 201910554974 A CN201910554974 A CN 201910554974A CN 110363789 B CN110363789 B CN 110363789B
Authority
CN
China
Prior art keywords
tracking
scale
sample
frame
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910554974.7A
Other languages
English (en)
Other versions
CN110363789A (zh
Inventor
李�瑞
史莹晶
刘奇胜
蒋牧曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910554974.7A priority Critical patent/CN110363789B/zh
Publication of CN110363789A publication Critical patent/CN110363789A/zh
Application granted granted Critical
Publication of CN110363789B publication Critical patent/CN110363789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向实际工程应用的长期视觉跟踪方法，先选取跟踪目标并训练跟踪器，再根据跟踪目标框进行不同尺度系数的缩小和放大，生成一系列不同大小的采样尺度窗，然后结合采样尺度窗对跟踪目标实行正常跟踪，当跟踪目标离开视野后一段时间后，并以较大的尺度及位置变化回到视野时，能够有效的对跟踪目标进行重定位并继续跟踪，保证跟踪精确。

Description

一种面向实际工程应用的长期视觉跟踪方法
技术领域
本发明属于机器视觉技术领域，更为具体地讲，涉及一种面向实际工程应用的长期视觉跟踪方法。
背景技术
目标跟踪是机器视觉领域的一个重要研究课题，其研究的问题是：给定跟踪目标在视频流第一帧图像中的矩形框位置，要求在后续视频流中估计出目标新的矩形框位置。2013年发布的OTB50和OTB100使得目标跟踪领域有了一个统一权威的评价标准，同年开始的一年一度的视觉目标跟踪大赛VOT(Visual-Object-Tracking Challenge)则推动着这一领域产生着持续不断的创新与突破，涌现出KCF、DSST、FDSST等基于相关滤波技术的优秀视觉目标跟踪算法。
然而以上算法均为短期跟踪算法，无法处理跟踪目标消失在视野画面中随后又回到视野的情况，而这种长期跟踪能力对于实际工程应用至关重要。目前实际工程应用中使用最广泛的仍然是2010年出现的TLD，该算法计算量较大且位置及尺度跟踪精度较差，后续出现的LCT(Long-term Correlation Tracking)在位置跟踪精度上有了较大提升但算法计算量仍然较大，并且也仅具备局部的出视野后重新跟踪目标的能力，比如当跟踪目标从画面右侧消失而后出现在画面左侧并且尺度发生明显变化时，LCT无法正常进行跟踪，但这种情况在实际工程应用中是普遍存在的。
发明内容
本发明的目的在于克服现有技术的不足，提供一种面向实际工程应用的长期视觉跟踪方法，对于跟踪目标出视野后还具有很好的处理能力，实现长期视觉跟踪。
为实现上述发明目的，本发明一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：
(1)、选取跟踪目标
利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；
(2)、训练跟踪器
(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；
(2.2)、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；
(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在L个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；
(2.4)、提取在当前帧图像的FHOG特征；
(2.5)、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；
(3)、获取采样尺度窗
对跟踪目标框进行不同尺度系数kn的缩小和放大，k、n均为常数，生成一系列不同大小的采样尺度窗；
(4)、正常跟踪阶段
(4.1)、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤(2.1)所述方法提取位置滤波器样本；
(4.2)、计算步骤(2.1)(4.1)中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；
计算相关性响应图的平均峰值相关能量APCE，如果APCE小于预设阈值，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤(4.5)；如果不出界，则直接进入步骤(4.3)；
(4.3)、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤(2.3)所述方法提取尺度滤波器样本；
(4.4)、计算步骤(4.3)所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；
(4.5)、在当前帧图像上pt,temp处以尺度st为基准，按照步骤(2.2)所述方法提取外观滤波器样本；
(4.6)、先计算步骤(4.5)所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量APCE，如果APCE或相关性响应图中最大响应值Fmax小于重定位阈值Tr，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则，直接进入步骤(4.7)；
(4.7)、根据外观滤波器的相关性响应图中最大响应值Fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；
(4.8)、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的FHOG特征得到待分类样本；
(4.9)、将提取的SVM分类器样本输入至SVM分类器，然后计算SVM分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，那么将步骤(4.8)提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；若分类响应分数小于0，则直接进入步骤(4.10)；
(4.10)、在当前帧图像上pt处以尺度st为基准，用SVM分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率IOU低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；
(4.11)、若高质量正负训练样本计数值大于T，则触发一次SVM分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤(4.6)所得相关性响应图的APCE和相关性响应图中最大响应值Fmax是否都满足APCE,Fmax∈Tu，如果满足，则对外观滤波器和SVM分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；
(5)、重定位阶段
(5.1)、读取跟踪失败计数器的计数值，若计数值小于阈值M帧，则进行入步骤(5.2)，否则跳转至步骤(5.3)；
(5.2)、局部单尺度搜索重定位
在当前帧图像上以pt-1为中心，按尺度st-1计算SVM分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤(5.5)，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；
(5.3)、全帧全尺度概率滑窗搜索重定位a阶段
根据步骤(3)获取的一系列采样尺度窗的大小，以从大到小的顺序和某一指定的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用SVM分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤(5.4)，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；
(5.4)、全帧全尺度概率滑窗搜索重定位b阶段
在当前帧图像上以步骤(5.3)中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤(5.2)来得到一个分类响应最大的正样本与(5.3)中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤(5.3)所得样本的分类响应分数高出阈值ζ以上，则选择本次分类响应最大的正样本，进入步骤(5.5)，否则，使用步骤(5.3)中分类响应最大正样本，进入步骤(5.5)；
(5.5)、计算前一步骤中选定的正样本与外观滤波器之间的相关性响应图，然后再计算相关性响应图的平均峰值相关能量APCE；
如果相关性响应图的最大响应值Fmax和计算得到的APCE都大于相应的接受阈值Ta时，则重定位成功，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；否则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)。
本发明的发明目的是这样实现的：
本发明一种面向实际工程应用的长期视觉跟踪方法，先选取跟踪目标并训练跟踪器，再根据跟踪目标框进行不同尺度系数的缩小和放大，生成一系列不同大小的采样尺度窗，然后结合采样尺度窗对跟踪目标实行正常跟踪，当跟踪目标离开视野后一段时间后，并以较大的尺度及位置变化回到视野时，能够有效的对跟踪目标进行重定位并继续跟踪，保证跟踪精确。
同时，本发明一种面向实际工程应用的长期视觉跟踪方法还具有以下有益效果：
(1)、本发明能够做到跟踪目标离开视野后一段时间以较大的尺度及位置变化回到视野时仍然能有效进行重定位并继续跟踪。
(2)、本发明在正常跟踪阶段或是跟踪失败进入重定位阶段中，都只需要计算一次FHOG特征图，使得本发明算法能够高速运行。
(3)、本发明充分考虑和利用了实际工程应用中视频图像连续的特点，通过全帧全尺度概率滑窗搜索及局部单尺度搜索等策略既保证了跟踪算法的鲁棒性又能保证算力消耗在合理范围，从而保证算法运行的实时性。
附图说明
图1是本发明一种面向实际工程应用的长期视觉跟踪方法流程图；
图2是位置滤波器长期跟踪过程中位置漂移现象示例图；
图3是相邻两帧概率滑窗采样结果示例图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种面向实际工程应用的长期视觉跟踪方法流程图。
在本实施例中，如图1所示，本发明一种面向实际工程应用的长期视觉跟踪方法，包括以下步骤：
S1、选取跟踪目标
利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；
S2、训练跟踪器
S2.1、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽1.5倍大小区域(即采样引入背景图像的倍数padding值取0.5)的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；
S2.2、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；
S2.3、对跟踪目标框按1.03缩放比例进行处理，然后提取缩放后的目标框区域在33个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；
S2.4、提取在当前帧图像的FHOG特征；
S2.5、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；
S3、获取采样尺度窗
对跟踪目标框进行不同尺度系数1.5n的缩小和放大，生成一系列不同大小的采样尺度窗；缩小的极限是短边小于8个像素点，放大的极限则是长宽都不能超出图像大小；
S4、正常跟踪阶段
S4.1、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤S2.1所述方法提取位置滤波器样本；
S4.2、步骤S4.1中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；
计算相关性响应图的平均峰值相关能量APCE，如果APCE小于预设阈值7，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤S5.1；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤S4.5；如果不出界，则直接进入步骤S4.3；
其中，平均峰值相关能量APCE的计算公式为：
Figure BDA0002106607850000071
其中，Fmax、Fmin为相关性响应图中的最大值和最小值，Fw,h对应相关性响应图中每个像素位置(w,h)的响应值大小；
S4.3、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤S2.3所述方法提取尺度滤波器样本；
S4.4、计算步骤S4.3所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；
S4.5、在当前帧图像上pt,temp处以尺度st为基准，按照步骤S2.2所述方法提取外观滤波器样本；
S4.6、先计算步骤S4.5所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量APCE，如果APCE或相关性响应图中最大响应值Fmax小于设定的重定位阈值Tr(此处Tr设定为在成功跟踪期间所有帧的APCE与Fmax平均值的0.4倍)，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤S5.1；否则，直接进入步骤S4.7；
S4.7、根据外观滤波器的相关性响应图中最大响应值Fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；
S4.8、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的FHOG特征得到待分类样本；
S4.9、将提取的SVM分类器样本输入至SVM分类器，然后计算SVM分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，然后将步骤S4.8提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；若分类响应分数小于0，则直接进入步骤S4.10；
S4.10、在当前帧图像上pt处以尺度st为基准，用SVM分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率IOU低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；
S4.11、若高质量正负训练样本计数值大于20，则触发一次SVM分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤S4.6所得相关性响应图的APCE和相关性响应图中最大响应值Fmax是否都满足APCE,Fmax∈Tu(区间阈值Tu设定为在成功跟踪期间所有帧的APCE与Fmax平均值的0.8倍到1.0倍之间)，如果满足，则对外观滤波器和SVM分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤S4.1；
S5、重定位阶段
S5.1、读取跟踪失败计数器的计数值，若计数值小于阈值50帧，则进行入步骤S5.2，否则跳转至步骤S5.3；
S5.2、局部单尺度搜索重定位
在当前帧图像上以pt-1为中心，按尺度st-1计算SVM分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤S5.5，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤S5.1；
S5.3、全帧全尺度概率滑窗搜索重定位a阶段
根据步骤S3获取的一系列采样尺度窗的大小，以从大到小的顺序和0.3的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用SVM分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤S5.4，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤S5.1；
S5.4、全帧全尺度概率滑窗搜索重定位b阶段
在当前帧图像上以步骤S5.3中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤S5.2来得到一个分类响应最大的正样本与S5.3中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤S5.3所得样本的分类响应分数高出0.2以上，则选择本次分类响应最大的正样本，进入步骤S5.5，否则，使用步骤S5.3中分类响应最大正样本，进入步骤S5.5；
全帧全尺度概率滑窗搜索策略中，通过调整随机概率函数的概率阈值，即可很好的控制计算量，有效降低算法重定位过程中的算力消耗。
S5.5、计算前一步骤中选定的正样本与外观滤波器之间的相关性响应图，然后再计算相关性响应图的平均峰值相关能量APCE；
如果相关性响应图的最大响应值Fmax和计算得到的APCE都大于相应的接受阈值Ta(此处Ta设定为在成功跟踪期间所有帧的APCE与Fmax平均值的0.7倍)时，则重定位成功，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤S4.1；否则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤S5.1。
图2是位置滤波器长期跟踪过程中位置漂移现象示例图；
在本实施例中，类似算法(如FDSST和LCT)中位置跟踪器在使用过程中存在一种不易平衡的矛盾：当跟踪目标快速运动时，位置滤波器需要使用较大的padding值，但是padding值增大意味着引入更多背景信息，在进行较长时间的跟踪后跟踪框会逐渐漂移到背景上，如图2所示。本发明借助外观滤波器将跟踪过程分为粗跟踪与细跟踪两个阶段，在增大位置滤波器padding值的同时利用外观滤波器细跟踪来纠正过程中产生的缓慢漂移。
图3是相邻两帧概率滑窗采样结果示例图。
图3展示了本发明某一时刻以0.3的概率在相邻两帧上按某个相同尺度窗大小进行概率滑窗采样的结果。通过简单的计算即可知道，即使该概率阈值仅设为0.3，当目标出现在相机视野中并保持不动时，12帧内将其重定位成功的概率高达98.62％。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：
(1)、选取跟踪目标
利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；
(2)、训练跟踪器
(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；
(2.2)、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；
(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在L个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；
(2.4)、提取在当前帧图像的FHOG特征；
(2.5)、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；
(3)、获取采样尺度窗
对跟踪目标框进行不同尺度系数k、n的缩小和放大，k、n均为常数，生成一系列不同大小的采样尺度窗；
(4)、正常跟踪阶段
(4.1)、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤(2.1)所述方法提取位置滤波器样本；
(4.2)、计算步骤(4.1)中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；
计算相关性响应图的平均峰值相关能量APCE，如果APCE小于预设阈值，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤(4.5)；如果不出界，则直接进入步骤(4.3)；
(4.3)、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤(2.3)所述方法提取尺度滤波器样本；
(4.4)、计算步骤(4.3)所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；
(4.5)、在当前帧图像上pt,temp处以尺度st为基准，按照步骤(2.2)所述方法提取外观滤波器样本；
(4.6)、先计算步骤(4.5)所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量APCE，如果APCE或相关性响应图中最大响应值Fmax小于重定位阈值Tr，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则，直接进入步骤(4.7)；
(4.7)、根据外观滤波器的相关性响应图中最大响应值Fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；
(4.8)、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的FHOG特征得到待分类样本；
(4.9)、将提取的SVM分类器样本输入至SVM分类器，然后计算SVM分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，然后将步骤(4.8)提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；否则直接进入步骤(4.10)；
(4.10)、在当前帧图像上pt处以尺度st为基准，用SVM分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率IOU低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；
(4.11)、若高质量正负训练样本计数值大于T，则触发一次SVM分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤(4.6)所得相关性响应图的APCE和相关性响应图中最大响应值Fmax是否都满足APCE,Fmax∈Tu，如果满足，则对外观滤波器和SVM分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；
(5)、重定位阶段
(5.1)、读取跟踪失败计数器的计数值，若计数值小于阈值M帧，则进行入步骤(5.2)，否则跳转至步骤(5.3)；
(5.2)、局部单尺度搜索重定位
在当前帧图像上以pt-1为中心，按尺度st-1计算SVM分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤(5.5)，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；
(5.3)、全帧全尺度概率滑窗搜索重定位a阶段
根据步骤(3)获取的一系列采样尺度窗的大小，以从大到小的顺序和某一指定的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用SVM分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤(5.4)，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；
(5.4)、全帧全尺度概率滑窗搜索重定位b阶段
在当前帧图像上以步骤(5.3)中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤(5.2)来得到一个分类响应最大的正样本与(5.3)中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤(5.3)所得样本的分类响应分数高出阈值ζ以上，则选择本次分类响应最大的正样本，进入步骤(5.5)，否则，使用步骤(5.3)中分类响应最大正样本，进入步骤(5.5)；
(5.5)、计算前一步骤中选定的正样本与外观滤波器之间的相关性响应图，然后再计算相关性响应图的平均峰值相关能量APCE；
如果相关性响应图的最大响应值Fmax和计算得到的APCE都大于相应的接受阈值Ta时，则重定位成功，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；否则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)。
2.根据权利要求1所述的一种面向实际工程应用的长期视觉跟踪方法，其特征在于，所述步骤(3)中，跟踪目标框进行不同尺度系数k、n的缩小和放大必须满足：缩小的极限是短边不小于8个像素点，放大的极限是长宽都不能超出图像大小。
CN201910554974.7A 2019-06-25 2019-06-25 一种面向实际工程应用的长期视觉跟踪方法 Active CN110363789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910554974.7A CN110363789B (zh) 2019-06-25 2019-06-25 一种面向实际工程应用的长期视觉跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910554974.7A CN110363789B (zh) 2019-06-25 2019-06-25 一种面向实际工程应用的长期视觉跟踪方法

Publications (2)

Publication Number Publication Date
CN110363789A CN110363789A (zh) 2019-10-22
CN110363789B true CN110363789B (zh) 2022-03-25

Family

ID=68216942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910554974.7A Active CN110363789B (zh) 2019-06-25 2019-06-25 一种面向实际工程应用的长期视觉跟踪方法

Country Status (1)

Country Link
CN (1) CN110363789B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508002B (zh) * 2020-04-20 2020-12-25 北京理工大学 一种小型低飞目标视觉检测跟踪系统及其方法
CN111862155B (zh) * 2020-07-14 2022-11-22 中国电子科技集团公司第五十四研究所 一种针对目标遮挡的无人机单视觉目标跟踪方法
CN112396093B (zh) * 2020-10-29 2022-10-14 中国汽车技术研究中心有限公司 驾驶场景分类方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN104349874A (zh) * 2012-04-05 2015-02-11 睿信科机器人有限公司 目标跟踪的视觉指示
CN105761280A (zh) * 2016-03-11 2016-07-13 南京航空航天大学 一种基于l1-l2范数联合约束的视觉跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108776492A (zh) * 2018-06-27 2018-11-09 电子科技大学 一种基于双目相机的四轴飞行器自主避障与导航方法
CN109859246A (zh) * 2019-02-15 2019-06-07 哈尔滨工程大学 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437009B2 (en) * 2011-06-20 2016-09-06 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly context using supporters and distracters
CN108694724A (zh) * 2018-05-11 2018-10-23 西安天和防务技术股份有限公司 一种长时间目标跟踪方法
CN109816696A (zh) * 2019-02-01 2019-05-28 西安全志科技有限公司 一种机器人定位与建图方法、计算机装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN104349874A (zh) * 2012-04-05 2015-02-11 睿信科机器人有限公司 目标跟踪的视觉指示
CN105761280A (zh) * 2016-03-11 2016-07-13 南京航空航天大学 一种基于l1-l2范数联合约束的视觉跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108776492A (zh) * 2018-06-27 2018-11-09 电子科技大学 一种基于双目相机的四轴飞行器自主避障与导航方法
CN109859246A (zh) * 2019-02-15 2019-06-07 哈尔滨工程大学 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tracklet Association in Detect-Then-Track Paradigm for Long-Term Multi-person Tracking;Bing Wang 等;《2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;20140925;第716-717页 *
抑制背景下多重滤波目标跟踪;吴正平 等;《图学学报》;20170630;第38卷(第3期);第403-409页 *

Also Published As

Publication number Publication date
CN110363789A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363789B (zh) 一种面向实际工程应用的长期视觉跟踪方法
US11450146B2 (en) Gesture recognition method, apparatus, and device
EP2357614B1 (en) Method and terminal for detecting and tracking moving object using real-time camera motion estimation
KR100860988B1 (ko) 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
WO2014201971A1 (zh) 在线训练的目标检测方法及装置
WO2018068300A1 (zh) 图像处理方法和装置
CN109711332B (zh) 一种基于回归算法的人脸跟踪方法及应用
CN111353496B (zh) 一种红外弱小目标实时检测方法
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
CN104766079A (zh) 一种远距离红外弱小目标检测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN111062293A (zh) 一种基于深度学习的无人机森林火焰识别方法
CN110689555A (zh) 基于前景检测的kcf跟踪目标丢失检测方法及系统
CN107529071B (zh) 一种视频数据处理方法以及装置
CN110674886A (zh) 一种融合多层级特征的视频目标检测方法
CN110853077B (zh) 一种基于形态变化估计的自适应红外动态帧特征提取方法
TW201501080A (zh) 目標偵測與追蹤方法及系統
JP2016052013A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
Cricri et al. Salient event detection in basketball mobile videos
CN111145216B (zh) 一种视频图像目标的跟踪方法
JP4740755B2 (ja) 画像を用いた監視装置
WO2006101032A1 (ja) 画像動きベクトル検出装置
Wang Research and implementation of intrusion detection algorithm in video surveillance
WO2019242388A1 (zh) 一种基于深度图像的图书馆机器人障碍识别方法
Sun et al. Efficient compressive sensing tracking via mixed classifier decision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant