CN109299735A - 基于相关滤波的抗遮挡目标跟踪方法 - Google Patents

基于相关滤波的抗遮挡目标跟踪方法 Download PDF

Info

Publication number
CN109299735A
CN109299735A CN201811071458.0A CN201811071458A CN109299735A CN 109299735 A CN109299735 A CN 109299735A CN 201811071458 A CN201811071458 A CN 201811071458A CN 109299735 A CN109299735 A CN 109299735A
Authority
CN
China
Prior art keywords
target
frame
tracking
lct
correlation filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811071458.0A
Other languages
English (en)
Other versions
CN109299735B (zh
Inventor
肖刚
赵俊豪
张星辰
杜尔·普拉萨德·巴维瑞瑟特
张强
王彦然
刘艺博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811071458.0A priority Critical patent/CN109299735B/zh
Publication of CN109299735A publication Critical patent/CN109299735A/zh
Application granted granted Critical
Publication of CN109299735B publication Critical patent/CN109299735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于相关滤波的抗遮挡目标跟踪方法,在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果,并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。

Description

基于相关滤波的抗遮挡目标跟踪方法
技术领域
本发明涉及的是一种机器视觉领域的技术,具体是一种基于相关滤波的抗遮挡目标跟踪方法。
背景技术
目前,目标跟踪是机器视觉领域的热点,其主要分为生成性跟踪器和判别性跟踪器。前者是指对目标的外观建模,在接下来的帧中找到与目标外观相似程度最高的区域作为跟踪结果。这类跟踪器的模型在线构建,一般都能保证实时性(大于等于25fps),然而容易受到噪声影响并且没有利用背景信息,容易导致跟踪框漂移。后者把跟踪视作一个分类问题,这类跟踪器同时考虑目标和背景信息,通过提取特征和训练分类器,分离目标和背景,然后更新分类器以适应目标变化。然而,判别性跟踪器没有考虑到目标的运动信息和连续帧之间的关系。尽管目标跟踪技术正在不断进步,但至今没有一个完美的跟踪能够实现在所有情况下的鲁棒跟踪。就遮挡而言,生成性跟踪器和判别性跟踪器也不能完美处理目标的全遮挡或者消失。因此一个好的跟踪器必须兼顾生成性和判别性跟踪器的优点,并实时应用于任何情况。
发明内容
本发明针对现有基于相关滤波的跟踪器均没有很好地解决目标遮挡问题或者仅仅针对目标的部分遮挡(目标遮挡面积小于等于目标总面积50%)和短时全遮挡的缺陷和不足,提出一种针对目标长时间全遮挡情况的基于相关滤波的抗遮挡目标跟踪方法,在LCT(Long-term Correlation Tracking)跟踪器的基础上,加入了一个根据相关滤波响应值变化而设计的遮挡判据和一个重新检测器,本方法跟踪更具鲁棒性和精确性。
本发明是通过以下技术方案实现的:
本发明涉及一种基于相关滤波的抗遮挡目标跟踪方法,在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果,并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。
所述的LCT跟踪器是指:在第一帧手动选择目标后,在所选区域上训练相关滤波器来对目标外观建模,对于随后的帧,相关滤波器会在上一帧的位置附近对该帧的图像块卷积,卷积后的输出对应一个灰度响应图,该灰度反映了相关程度,灰度值越高,则相关程度越大,在响应图中拥有最大灰度的位置就是目标的新位置。
所述的丢失目标,包括:由于形变、亮度变化、快速运动和复杂背景导致跟踪丢失的目标以及由于全遮挡导致跟踪丢失的目标,其中:当当前帧目标外观相关滤波器响应值低于设定阈值,则启动在线分类器进行检测;当最近的连续5帧目标外观相关滤波器响应值满足目标遮挡判据时,则停止LCT跟踪器跟踪并换用重新检测器从后一帧开始进行目标检测,当未检测到目标时进入下一帧,否则将检测到的目标信息,即目标框宽、高和目标框中心位置再次输入LCT跟踪器进行跟踪,最终得到退出遮挡后的跟踪结果。
所述的相关滤波器的大小与选择的图像块大小相同,将输入的图像和相关滤波器进行快速傅里叶变换(Fast Fourier Transform,FFT)转到傅里叶域,在该域中相关操作变为点积,即G=F⊙H*,其中:F=F(fim)和H=F(h)表示为图像fim和滤波器h转至傅里叶域,⊙和*分别为点乘操作和共轭转置;随后使用FFT的逆变换F-1将G变回到空间域,得到响应图。整个过程的计算复杂度仅为O(PlogP),其中:P为跟踪窗口中的像素数。
所述的运动相关滤波器是指:当手动选择的目标框大小为M×N,首先利用循环移位来增加样本数量,得到样本xm,n,其中:(m,n)∈{0,1,...,M-1}×{0,1,...,N-1};通过岭回归最小化训练图像与回归目标之间的均方误差,得到运动相关滤波器w1∈RM×N其中:φ表示映射到核空间。根据移位量,给予训练图像高斯标签,当移位量越小,则标签值越接近1,否则接近0,λ为正则化参数。
所述的循环移位是指:对于一个n维列向量样本xn,1=[x1,x2,...,xn]T,P为对x做循环移位的置换矩阵,则移位后的样本为Plx,故获取训练分类器的样本集合{Plx|l=0,1,...,n-1},其中:置换矩阵:将n×1向量x的所有移位组合为循环矩阵其中:第一行是原列向量x,第二行是将x中的元素向右移动一位,其他行以此类推。
循环移位的目的是循环移位编码了向量的卷积。由于循环特性,每移位n次,可以周期性获得基准样本。同样,可以等效地看成循环矩阵X的前半部分对向量x元素沿正方向移位,后半部分则反向移位。
所述的目标的平移估计,通过以下方式得到:通过映射和离散傅里叶变换之后,运动相关滤波器w1的解表示成样本的线性组合,即:w1=∑m,na(m,n)φ(xm,n),其中:系数a满足a经离散傅里叶变换后为A,使用高斯核定义核映射φ为k(x,x')=φ(x)·φ(x'),当处理下一帧时,运动相关滤波器w1会在上一帧的目标位置附近和M×N大小的图像块z进行相关操作,通过离散傅里叶逆变换到空间域后会得到一幅响应图,即其中:表示学习的目标外观特征,取值范围为[0,1],0表示黑色,1表示白色,在中拥有最大值的位置就是所得到的目标在新一帧中的目标位置。
所述的外观相关滤波器是指:在目标框上提取K个尺度图像的HOG特征xhog(K),通过岭回归最小化训练图像与回归目标之间的均方误差,得到外观相关滤波器w2∈RM×N其中:y(K)为二值标签,目标框恰好包围目标的标签为1,其余为0。
所述的目标的尺度估计,通过以下方式得到:在新的一帧得到目标位置之后,使用外观相关滤波器w2对目标的尺度进行估计,即先将图像块分成K个尺度:每个尺度的图像块大小为sM×sN(s∈S);随后在每个尺度的图像块上提取HOG特征构建尺度金字塔,在对每一层进行外观相关滤波之后获得K个外观滤波响应图,选择拥有最大值的结果作为目标的最终尺度,即
所述的目标跟踪结果包括两个最大的响应值,即运动相关滤波器w1和外观相关滤波器w2的响应值。
优选地,所述的运动相关滤波器w1和目标外观特征采用以下方式进行更新:其中:α为更新率,t与t-1分别为当前帧与上一帧,分别为a在当前帧以及上一帧的离散傅里叶变换。
使用31bins的HOG特征,8bins的强度特征直方图,8bins亮度通道的非参数局部秩变换,总计拥有47通道特征的特征向量并设定阈值τa:当最大外观相关滤波响应值则w2的更新满足:除此之外,在目标外观特征提取后,使用余弦窗口进行加权,以消除响应图的边界效应。
所述的在线分类器采用在线支持向量机,即当LCT跟踪器由于形变、亮度变化、快速运动和复杂背景导致跟丢目标时,利用在线支持向量机的检测结果作为跟踪结果,恢复准确的目标跟踪。
所述的在线支持向量机由目标的颜色通道量化为四位特征进行训练,其中:0.5和0.1分别为正样本和负样本的IoU阈值,通过设定外观相关滤波器响应值的阈值τr,当时,激活该在线支持向量机。
所述的目标遮挡判据是指:在基于连续5帧f={ft-4,ft-3,ft-2,ft-1,ft}图像的最大响应值y={yt-4,yt-3,yt-2,yt-1,yt}上,将全遮挡响应值曲线特性与目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化响应值曲线特性对比,设定:
目标遮挡判定条件①为连续5帧响应值下降,即yt-4>yt-3>yt-2>yt-1>yt
目标遮挡判定条件②为相邻5帧中,第1帧响应值yt-4与第5帧响应值yt之差大于阈值τ1,即yt-4-yt≥τ1
目标遮挡判定条件③为相邻5帧内,小于阈值τ2的个数大于等于2个,即y'={y'|yt-4<τ2,yt-3<τ2,yt-2<τ2,yt-1<τ2,yt<τ2},|y'|≥2。
所述的换用重新检测器从后一帧开始进行目标检测是指:当最近连续5帧目标的外观相关滤波器响应值满足目标遮挡判据时LCT跟踪器停止工作并启动重新检测器,即边界框检测(Edge Boxes)直接根据目标的边缘生成目标的检测窗口,即物体边缘对应于物体轮廓,封闭的物体轮廓对应于一个物体。基于滑动窗口的框架,对于每一个滑动窗口计算分数,该分数代表着此滑动窗口对应区域包含物体的可能性,分值越大,则可能性越高。具体实现步骤为:
步骤i)使用结构边缘检测算子获得当前帧图像的初始边缘图;
步骤ii)设定滑动窗口的尺寸和滑动步长,并在滑动遍历完图像之后更新。
所述的滑动窗口的面积最小值σ=1000像素,最大值为整幅图像像素;长宽比1/3至3;步长由活动前与滑动后的窗口重叠率决定,取0.65。
步骤iii)对于当前滑动窗口,合并窗口内具有相同方向的相邻边缘像素形成组S;
步骤iv)对于两个边缘段si,sj∈S,基于各边缘段的形心位置xi,xj和方向θij计算相似度a(si,sj),然后将相似度高于相似度阈值的组连成长的轮廓,其中:θij是xi,xj之间的夹角,γ用于调节方向变化的敏感度,相似度阈值为0.05。
步骤v)对于当前滑动窗口,计算窗口内所有边缘组的边缘强度来对滑动窗口打分:检测分数反映了存在物体的可能性,其中:wb(si)∈[0,1]为si在窗口b中的置信度,mi为组si中所有边缘的强度大小之和,bw和bh分别为窗口b的宽度和高度,κ为补偿拥有更多边缘的大窗口的偏差系数,κ=1.5。
步骤vi)将当前滑动窗口的检测分数减去穿出该窗口的边缘组的强度分数:其中:窗口bin的宽和高是窗口b宽高的一半;
步骤vii)所有窗口滑动完毕后,得到的相应所有的检测分数从高到低排列
步骤viii)设定分数阈值,低于阈值的窗口舍弃。剩余的窗口即可能包含目标的检测框。
所述的再次输入LCT跟踪器进行跟踪是指,首先通过设定阈值k并仅接受k个按检测分数由高到低排列的检测框;然后加入约束条件以滤除不合理的检测框;最后采用LCT跟踪器中的运动相关滤波器和外观相关滤波器对目标进行平移及尺度估计,最终得到检测结果。
所述的加入约束条件以滤除不合理的检测框是指:为了剔除误检结果,结合目标在被遮挡前以及遮挡后的尺度变化情况,加入约束条件来滤除不合理的检测框,即:
其中:是focc-4中跟踪框的框宽以及框高,满足目标遮挡判据的5帧分别为f={focc-4,focc-3,focc-2,focc-1,focc},focc为当前帧。
所述的对目标进行平移及尺度估计是指:使用focc-4中的运动相关滤波器w1和外观相关滤波器w2对过滤后的所有检测框依次进行相关操作。当所有外观相关滤波器w2的响应值中的最高者大于阈值τ3,则将其采纳为最终的检测结果,否则进入下一帧进行检测。通过给予LCT检测框的中心位置和检测框的宽高,最终的检测结果将重新启动跟踪器继续工作。
本发明涉及一种实现上述方法的系统,包括:输入模块、LCT跟踪模块、重新检测模块以及输出模块,其中:输入模块与LCT跟踪模块相连并传输图像、目标框的位置和宽高信息,LCT跟踪模块与重新检测器相连并传输图像信息,LCT模块与输出模块相连并传输图像、目标框的位置和宽高信息,重新检测模块与输出模块相连并传输图像、目标框的位置和宽高信息,重新检测器模块与LCT跟踪模块相连并传输图像、目标框的位置和宽高信息。
附图说明
图1为本发明构建的基于相关滤波的抗遮挡目标跟踪方法的原理示意图;
图中:A为整体示意图;B和C为局部放大示意图;
图2为本发明涉及的目标完整情况下的LCT跟踪响应图;
图3为本发明涉及的目标被遮挡情况下的LCT跟踪响应图;
图4为本发明涉及的不同影响因素导致的相关滤波响应值曲线示意图;
图5为本发明涉及的重新检测结果以及目标检测框过滤结果示意图;
图6为本发明方法与其他12个鲁棒跟踪方法对遮挡目标的跟踪结果示意图;
图7为本发明与其他12个鲁棒跟踪方法在不同阈值条件下的精确度曲线示意图;
图8为本发明与其他12个鲁棒跟踪方法关于每帧的位置距离误差曲线示意图;
图9为本发明与其他12个鲁棒跟踪方法关于每帧的重叠率曲线示意图。
具体实施方式
如图1A~图1C所示,为本实施例涉及的一种基于相关滤波的抗遮挡目标跟踪方法,其具体步骤包括:
步骤1、手动选择跟踪目标;
步骤2、在目标框上训练运动相关滤波器w1和外观相关滤波器w2,进入下一帧,本实施例中λ=10-4,高斯核宽σ=0.1;
步骤3、建立新一帧目标搜索区域,与上一帧目标框位置相同,面积为目标框的1.8倍;
步骤4、提取目标的特征向量并由余弦窗口加权,使用得到运动相关滤波响应图。选择拥有最大的位置,作为目标的平移估计结果。
步骤5、在平移估计结果的位置上将图像分成K个尺度,每一个尺度提取HOG特征使用得到外观相关滤波响应图,选择拥有最大的尺度,作为目标的尺度估计结果。目标完整的情况下得到的响应图如图2所示。本实施例中K=21,a=1.08。
步骤6、更新w1。当则更新w2,均按公式本实施例中,α=0.01,τa=0.5。
步骤7、判断最近的连续5帧是否满足本实施例的遮挡判据,即:
1)yt-4>yt-3>yt-2>yt-1>yt
2)yt-4-yt≥τ1
3)y'={y'|yt-4<τ2,yt-3<τ2,yt-2<τ2,yt-1<τ2,yt<τ2},|y'|≥2
本实施例中,τ1以及τ2分别为第二帧响应值的四分之一与二分之一(第一帧为手动选择目标,无响应值)。
目标被遮挡后的响应图如图3所示。
目标在全遮挡、目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化情况下的响应值变化曲线如图4所示。
步骤8、若目标未被判定遮挡,且则启动SVM进行跟踪器校正。若SVM分类结果则采纳并输出相应目标框,否则输出尺度估计结果的目标框。本实施例中,τr=0.25,τt=0.5。
步骤9、若目标未被判定遮挡,且则输出尺度估计结果的目标框。
步骤10、若目标被为判定遮挡成立:首先对接下来的5帧不做任何处理,目的是:1.使目标完全进入遮挡状态;2.防止模板被进一步污染;3.提升实时性。
步骤11、使用Edge Boxes对每帧图像进行检测,本实施例选择前k=200个拥有高打分值的检测框作为目标检测的候选框。再使用滤除大部分不合理的检测框。对于保留的检测框,使用依次在上面进行相关滤波,当最终的最高者则输出该目标框,作为新的初始条件启动跟踪器;反之进入下一帧进行检测,直至检测到目标。最终检测结果、目标框过滤前以及目标框过滤后的图像,如图5所示。本实施例中,考虑到目标的外观变化,令τ3=0.8×yocc-4
步骤12、重复步骤2至步骤11,直至图像序列结束。
为验证本实施例的有效性,实验所使用的图像序列信息如表1所示。与本实施例比较的12个跟踪器分别为:CT,DCF,DSST,BIT,KCF,L1APG,LCT,MOSSE,MTT,SCT,Struck和TLD。由于本实施例是在LCT跟踪器上的改进,因此将其命名为ILCT(Improved LCT)。实验环境为Intel I7-6500U 2.5GHz CPU,8.00G内存,MATLAB 2016b。
表1
由于视频均存在目标遮挡的情况,为了公平比较,将目标被遮挡的帧去除,并命名去除之后的帧为New Frame。此外,对于目标存在于图像,但检测器没有检测到的情况,在本实施例中设定惩罚值来惩罚跟踪器,即令当前跟踪框的中心与实际目标的中心距离很大,并设定惩罚值为500像素。
所有跟踪器的跟踪结果如图6所示。
在Carchase1中,由于在场景中只存在目标车辆这一个物体,因此在目标发生遮挡之前,所有的跟踪器都能够稳定跟踪如图6(a1)所示。然而在目标被桥梁遮挡后,大部分跟踪器发散,本实施例ILCT和TLD由于存在遮挡判定机制和跟踪器停止机制,因此在遮挡发生后仅仅进行检测,如图6(a3)所示。在目标离开遮挡后,ILCT,SCT和TLD均能够跟踪到目标,其余跟踪器则漂移到四处。
在Road1当中,目标在行驶过程当中被标志牌遮挡。由于车速较快,且标志牌的面积较小,因此此次遮挡属于短暂遮挡,大部分跟踪器的跟踪效果都很准确,除了CT,MTT和MOSSE。
在Road2当中,大部分跟踪器在目标被树木遮挡之后发散,ILCT在此时停止跟踪而进行检测。但是受到车辆行驶方向改变的影响,检测器在目标脱离遮挡后没有立即检测到目标,如图6(c3)所示。在检测到目标后恢复了跟踪,并且只有ILCT跟踪上了目标。
Carchase2的情况与Carchase1的情况大致相同,然而在脱离遮挡之后只有ILCT和TLD恢复了跟踪,如图6(d4)所示。
在Group当中,人物穿过了小棚,被小棚遮挡了一段时间。当人物从小棚出来后,ILCT检测到了目标,恢复了跟踪,其余跟踪器丢失。
在Jogging当中,目标人物正在跑步且电线杆细长,受到了短时全遮挡。大部分跟踪器能保持精确跟踪,除了Struck,MTT,DSST,KCF,CT。
在Person当中,目标人物会在树下行走一段时间,在此之前,所有跟踪器都稳定精确跟踪。当目标在树下,ILCT停止跟踪进行检测,直至走出树荫。从图6(g3)中可以看到,ILCT恢复了跟踪,之后TLD也恢复到了目标身上。
在Motorcycle当中,摩托快速运动,在大片树木遮挡后,一些跟踪器发散。ILCT,DSST,BIT,LCT,MOSSE,SCT能够准确跟踪。
在Triumphal_Arch当中,人物从墙的背后走过,此时大部分跟踪器发散。直至目标从右侧出现后,TLD检测到了目标,ILCT没有检测到,如图6(i3)所示。但在随后帧中ILCT恢复了跟踪,且在目标转身行走时依旧能够稳定跟踪,如图6(i4)所示。
本实施例与其他12个跟踪器,关于跟踪结果的中心位置误差(Center LocationError,CLE)定量评价结果,如表2所示。CLE是指输出目标框的中心位置与目标实际中心位置的欧氏距离r(单位像素)小于某一阈值的帧数,占总帧数的百分比,在本实施例中取r=15。
表2
由于在所有的实验中ILCT没有出现跟踪丢失的情况,因此整体实验的结果较好,获得了6次最佳结果和2次次优结果。剩余的1次实验结果虽然没有达到最优,但也实现了0.9255的精度,与第一名的精度只差了0.04。从CLE的评价结果来看ILCT最优。
按照每组序列,绘制了所有跟踪器在不同阈值下的CLE精确度曲线,如图7所示。从图中可以看出,ILCT曲线都保持着高准确度,尤其在Road2,Group和Triumphal Arch序列中。
本实施例与其他12个跟踪器,关于跟踪结果的平均位置误差(Average LocationError,ALE)定量评价结果,如表3所示。ALE是指所有帧r的平均值。
表3
从图中可以看出,ILCT取得了5次最优和1次次优的结果,除了Carchase1,Road1和Motorcycle序列。原因是,在Road1和Motorcycle序列当中,目标运动速度快且受到的遮挡时间相对短暂,因此其余跟踪器并没有丢失目标且稳定跟踪,而ILCT因没有在第一时间检测出目标而受到了距离惩罚,从而提升了平均值。在Carchase1序列当中,与最优的TLD平均距离仅仅差了大约7个像素。平均值和最优次数反映了ILCT的性能是最佳的。
按照每组序列,绘制了所有跟踪器在New Frame下的中心位置距离误差曲线,如图8所示。如上所述,惩罚距离会在曲线中产生一个阶跃并且影响平均位置误差。对于不存在惩罚距离的帧,可以看到ILCT普遍具有很低的距离值。
本实施例与其他12个跟踪器,关于跟踪结果的平均重叠率(Average OverlapRate,AOR)定量评价结果,如表4所示。
表4
AOR是指输出目标框与实际目标框重叠部分的面积之比,计算公式如下:
Overlap Rate=Overlap Area/(Tracked Area+Groundtruth Area-OverlapArea),此处计算所有帧Overlap Rate的平均值。
以良好的跟踪精度为基础,ILCT实现了不错的平均重叠率,分别获得了5次最优和2次次优的结果。由于目标在运动过程当中可能会发生尺度变化,而重叠率对目标框十分敏感,于是自适应的尺度估计能够提高重叠率。在比较的跟踪器中,BIT,CT,DCF,KCF,MOSSE,MTT和SCT都没有对目标进行尺度估计,因此在具有尺度变化的序列Road2和Motorcycle和Triumphal Arch中,均没有获得最优或次优名次。平均值、最优次数和次优次数反映了ILCT的跟踪效果是最佳的。
按照每组序列,绘制了所有跟踪器在New Frame下的重叠率曲线,如图9所示。由于存在少量漏检的帧,会产生重叠率阶跃降低,如Carchase1。除此之外ILCT的重叠率在每组序列中都保持着较高的值。
本实施例与其他12个跟踪器,关于跟踪结果的PASCAL精确度定量评价结果,如表5所示。
表5
PASCAL精确度是指重叠率大于一定阈值的帧数占总帧数的百分比,本实施例中该阈值取0.5。
PASCAL精确度越高,表明跟踪器的目标框与实际目标框的重叠率越高。ILCT获得了4次最优和2次次优的结果。在其余的3组序列当中,ILCT分别获得了0.9149,0.9895和0.9858的精确度。尽管ILCT的排名既不是最优也不是次优,但与最佳精确度分别只差了大约0.03,0.01和0.02,差距很小。从平均值、最优次数和次优次数来看,ILCT获得了最佳跟踪效果。
上述具体实施可由本领域技术人员在不背离本实施例原理和宗旨的前提下以不同的方式对其进行局部调整,本实施例的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本实施例之约束。

Claims (16)

1.一种基于相关滤波的抗遮挡目标跟踪方法,其特征在于,在手动选择跟踪目标之后先使用LCT跟踪器中的运动相关滤波器和外观相关滤波器分别对目标的平移及目标的尺度进行估计并得到目标跟踪结果,并在丢失目标时分别采用在线分类器的检测结果作为跟踪结果以恢复准确目标跟踪或采用重新检测器和LCT跟踪器进行交替继续跟踪。
2.根据权利要求1所述的方法,其特征是,所述的丢失目标,包括:由于形变、亮度变化、快速运动和复杂背景导致跟踪丢失的目标以及由于全遮挡导致跟踪丢失的目标,其中:当当前帧目标外观相关滤波器响应值低于设定阈值,则启动在线分类器进行检测;当最近的连续5帧目标外观相关滤波器响应值满足目标遮挡判据时,则停止LCT跟踪器跟踪并换用重新检测器从后一帧开始进行目标检测,当未检测到目标时进入下一帧,否则将检测到的目标信息,即目标框宽、高和目标框中心位置再次输入LCT跟踪器进行跟踪,最终得到退出遮挡后的跟踪结果。
3.根据权利要求1所述的方法,其特征是,所述的运动相关滤波器是指:当手动选择的目标框大小为M×N,首先利用循环移位来增加样本数量,得到样本xm,n,其中:(m,n)∈{0,1,...,M-1}×{0,1,...,N-1};通过岭回归最小化训练图像与回归目标之间的均方误差,得到运动相关滤波器w1∈RM×N其中:φ表示映射到核空间。根据移位量,给予训练图像高斯标签,当移位量越小,则标签值越接近1,否则接近0,λ为正则化参数。
4.根据权利要求3所述的方法,其特征是,所述的循环移位是指:对于一个n维列向量样本xn,1=[x1,x2,...,xn]T,P为对x做循环移位的置换矩阵,则移位后的样本为Plx,故获取训练分类器的样本集合{Plx|l=0,1,...,n-1},其中:置换矩阵:将n×1向量x的所有移位组合为循环矩阵其中:第一行是原列向量x,第二行是将x中的元素向右移动一位,其他行以此类推。
5.根据权利要求1所述的方法,其特征是,所述的目标的平移,通过映射和离散傅里叶变换之后,运动相关滤波器w1的解表示成样本的线性组合,即:w1=∑m,na(m,n)φ(xm,n),其中:系数a满足a经离散傅里叶变换后为A,使用高斯核定义核映射φ为k(x,x')=φ(x)·φ(x'),当处理下一帧时,运动相关滤波器w1会在上一帧的目标位置附近和M×N大小的图像块z进行相关操作,通过离散傅里叶逆变换到空间域后会得到一幅响应图,即其中:表示学习的目标外观特征,取值范围为[0,1],0表示黑色,1表示白色,在中拥有最大值的位置就是所得到的目标在新一帧中的目标位置。
6.根据权利要求1所述的方法,其特征是,所述的外观相关滤波器是指:在目标框上提取K个尺度图像的HOG特征xhog(K),通过岭回归最小化训练图像与回归目标之间的均方误差,得到外观相关滤波器w2∈RM×N其中:y(K)为二值标签,目标框恰好包围目标的标签为1,其余为0。
7.根据权利要求1所述的方法,其特征是,所述的目标的尺度进行估计是指:在新的一帧得到目标位置之后,使用外观相关滤波器w2对目标的尺度进行估计,即先将图像块分成K个尺度:每个尺度的图像块大小为sM×sN(s∈S);随后在每个尺度的图像块上提取HOG特征构建尺度金字塔,在对每一层进行外观相关滤波之后获得K个外观滤波响应图,选择拥有最大值的结果作为目标的最终尺度,即
8.根据权利要求1所述的方法,其特征是,所述的运动相关滤波器w1和目标外观特征采用以下方式进行更新:其中:α为更新率,t与t-1分别为当前帧与上一帧,分别为a在当前帧以及上一帧的离散傅里叶变换。
9.根据权利要求1或2所述的方法,其特征是,所述的在线分类器采用在线支持向量机,即当LCT跟踪器由于形变、亮度变化、快速运动和复杂背景跟丢目标时,利用在线支持向量机的检测结果作为跟踪结果,恢复准确的目标跟踪。
10.根据权利要求2所述的方法,其特征是,所述的目标遮挡判据是指:在基于连续5帧f={ft-4,ft-3,ft-2,ft-1,ft}图像的最大响应值y={yt-4,yt-3,yt-2,yt-1,yt}上,将全遮挡响应值曲线特性与目标形变、部分遮挡、背景复杂、快速运动、光照变化和尺度变化响应值曲线特性对比,设定:
目标遮挡判定条件①为连续5帧响应值下降,即yt-4>yt-3>yt-2>yt-1>yt
目标遮挡判定条件②为相邻5帧中,第1帧响应值yt-4与第5帧响应值yt之差大于阈值τ1,即yt-4-yt≥τ1
目标遮挡判定条件③为相邻5帧内,小于阈值τ2的个数大于等于2个,即y'={y'|yt-4<τ2,yt-3<τ2,yt-2<τ2,yt-1<τ2,yt<τ2},|y'|≥2。
11.根据权利要求2所述的方法,其特征是,所述的换用重新检测器从后一帧开始进行目标检测是指:当最近连续5帧目标的外观相关滤波器响应值满足目标遮挡判据时LCT跟踪器停止工作并启动重新检测器,即边界框检测直接根据目标的边缘生成目标的检测窗口,即物体边缘对应于物体轮廓,封闭的物体轮廓对应于一个物体。基于滑动窗口的框架,对于每一个滑动窗口计算分数,该分数代表着此滑动窗口对应区域包含物体的可能性,分值越大,则可能性越高。
12.根据权利要求2或11所述的方法,其特征是,所述的目标检测具体步骤为:
步骤i)使用结构边缘检测算子获得当前帧图像的初始边缘图;
步骤ii)设定滑动窗口的尺寸和滑动步长,并在滑动遍历完图像之后更新;
步骤iii)对于当前滑动窗口,合并窗口内具有相同方向的相邻边缘像素形成组S;
步骤iv)对于两个边缘段si,sj∈S,基于各边缘段的形心位置xi,xj和方向θij计算相似度a(si,sj),然后将相似度高于相似度阈值的组连成长的轮廓,其中:a(si,sj)=|cos(θiij)cos(θjij)|γ,θij是xi,xj之间的夹角,γ用于调节方向变化的敏感度;
步骤v)对于当前滑动窗口,计算窗口内所有边缘组的边缘强度来对滑动窗口打分:检测分数反映了存在物体的可能性,其中:wb(si)∈[0,1]为si在窗口b中的置信度,mi为组si中所有边缘的强度大小之和,bw和bh分别为窗口b的宽度和高度,κ为补偿拥有更多边缘的大窗口的偏差系数;
步骤vi)将当前滑动窗口的检测分数减去穿出该窗口的边缘组的强度分数:其中:窗口bin的宽和高是窗口b宽高的一半;
步骤vii)所有窗口滑动完毕后,得到的相应所有的检测分数从高到低排列
步骤viii)设定分数阈值,低于阈值的窗口舍弃,剩余的窗口即可能包含目标的检测框。
13.根据权利要求2所述的方法,其特征是,所述的再次输入LCT跟踪器进行跟踪是指,首先通过设定阈值k并仅接受k个按检测分数由高到低排列的检测框;然后加入约束条件以滤除不合理的检测框;最后采用LCT跟踪器中的运动相关滤波器和外观相关滤波器对目标进行平移及尺度估计,最终得到检测结果。
14.根据权利要求13所述的方法,其特征是,所述的加入约束条件以滤除不合理的检测框是指:为了剔除误检结果,结合目标在被遮挡前以及遮挡后的尺度变化情况,加入约束条件来滤除不合理的检测框,即:
其中:是focc-4中跟踪框的框宽以及框高,满足目标遮挡判据的5帧分别为f={focc-4,focc-3,focc-2,focc-1,focc},focc为当前帧。
15.根据权利要求13所述的方法,其特征是,所述的对目标进行平移及尺度估计是指:使用focc-4中的运动相关滤波器w1和外观相关滤波器w2对过滤后的所有检测框依次进行相关操作。当所有外观相关滤波器w2的响应值中的最高者大于阈值τ3,则将其采纳为最终的检测结果,否则进入下一帧进行检测。通过给予LCT检测框的中心位置和检测框的宽高,最终的检测结果将重新启动跟踪器继续工作。
16.一种实现上述任一权利要求所述方法的系统,其特征在于,包括:输入模块、LCT跟踪模块、重新检测模块以及输出模块,其中:输入模块与LCT跟踪模块相连并传输图像、目标框的位置和宽高信息,LCT跟踪模块与重新检测器相连并传输图像信息,LCT模块与输出模块相连并传输图像、目标框的位置和宽高信息,重新检测模块与输出模块相连并传输图像、目标框的位置和宽高信息,重新检测器模块与LCT跟踪模块相连并传输图像、目标框的位置和宽高信息。
CN201811071458.0A 2018-09-14 2018-09-14 基于相关滤波的抗遮挡目标跟踪方法 Active CN109299735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811071458.0A CN109299735B (zh) 2018-09-14 2018-09-14 基于相关滤波的抗遮挡目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811071458.0A CN109299735B (zh) 2018-09-14 2018-09-14 基于相关滤波的抗遮挡目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109299735A true CN109299735A (zh) 2019-02-01
CN109299735B CN109299735B (zh) 2021-08-20

Family

ID=65166900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811071458.0A Active CN109299735B (zh) 2018-09-14 2018-09-14 基于相关滤波的抗遮挡目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109299735B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993777A (zh) * 2019-04-04 2019-07-09 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及系统
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN110189365A (zh) * 2019-05-24 2019-08-30 上海交通大学 抗遮挡相关滤波跟踪方法
CN110246155A (zh) * 2019-05-17 2019-09-17 华中科技大学 一种基于模型交替的抗遮挡目标跟踪方法及系统
CN110287993A (zh) * 2019-05-22 2019-09-27 广东精点数据科技股份有限公司 一种基于图像特征细化的数据预处理方法及系统
CN110335293A (zh) * 2019-07-12 2019-10-15 东北大学 一种基于tld框架的长时间目标跟踪方法
CN110458017A (zh) * 2019-07-08 2019-11-15 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110472577A (zh) * 2019-08-15 2019-11-19 江南大学 一种基于自适应相关滤波的长时视频跟踪方法
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN111191538A (zh) * 2019-12-20 2020-05-22 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111415370A (zh) * 2020-04-13 2020-07-14 中山大学 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
CN111476825A (zh) * 2020-03-10 2020-07-31 重庆邮电大学 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法
CN111476819A (zh) * 2020-03-19 2020-07-31 重庆邮电大学 一种基于多相关滤波模型的长时目标跟踪方法
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112561845A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于红外和可见光融合的长期跟踪方法
CN112561965A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于相关滤波的实时长期跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322534A1 (en) * 2009-06-09 2010-12-23 Colorado State University Research Foundation Optimized correlation filters for signal processing
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN108447078A (zh) * 2018-02-28 2018-08-24 长沙师范学院 基于视觉显著性的干扰感知跟踪算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322534A1 (en) * 2009-06-09 2010-12-23 Colorado State University Research Foundation Optimized correlation filters for signal processing
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN108447078A (zh) * 2018-02-28 2018-08-24 长沙师范学院 基于视觉显著性的干扰感知跟踪算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAO MA等: ""Learning a temporally invariant representation for visual tracking"", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/308812033》 *
JO~AO F. HENRIQUES等: ""High-Speed Tracking with Kernelized Correlation Filters"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
王艳川等: ""基于在线检测和尺度自适应的相关滤波跟踪"", 《光学学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046659A (zh) * 2019-04-02 2019-07-23 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN110046659B (zh) * 2019-04-02 2023-04-07 河北科技大学 一种基于tld的长时间单目标跟踪方法
CN109993777A (zh) * 2019-04-04 2019-07-09 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及系统
CN109993777B (zh) * 2019-04-04 2021-06-29 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及系统
CN110246155B (zh) * 2019-05-17 2021-05-18 华中科技大学 一种基于模型交替的抗遮挡目标跟踪方法及系统
CN110246155A (zh) * 2019-05-17 2019-09-17 华中科技大学 一种基于模型交替的抗遮挡目标跟踪方法及系统
CN110287993A (zh) * 2019-05-22 2019-09-27 广东精点数据科技股份有限公司 一种基于图像特征细化的数据预处理方法及系统
CN110189365A (zh) * 2019-05-24 2019-08-30 上海交通大学 抗遮挡相关滤波跟踪方法
CN110189365B (zh) * 2019-05-24 2023-04-07 上海交通大学 抗遮挡相关滤波跟踪方法
CN110458017A (zh) * 2019-07-08 2019-11-15 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110458017B (zh) * 2019-07-08 2022-02-18 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110335293A (zh) * 2019-07-12 2019-10-15 东北大学 一种基于tld框架的长时间目标跟踪方法
CN110533690B (zh) * 2019-08-08 2022-02-11 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN110533690A (zh) * 2019-08-08 2019-12-03 河海大学 特征融合与学习率优化的核相关滤波水下目标跟踪方法
CN110472577A (zh) * 2019-08-15 2019-11-19 江南大学 一种基于自适应相关滤波的长时视频跟踪方法
CN110599519B (zh) * 2019-08-27 2022-11-08 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN111191538A (zh) * 2019-12-20 2020-05-22 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111191538B (zh) * 2019-12-20 2022-11-18 北京中科慧眼科技有限公司 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111476825B (zh) * 2020-03-10 2022-08-26 重庆邮电大学 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法
CN111476825A (zh) * 2020-03-10 2020-07-31 重庆邮电大学 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法
CN111476819A (zh) * 2020-03-19 2020-07-31 重庆邮电大学 一种基于多相关滤波模型的长时目标跟踪方法
CN111415370A (zh) * 2020-04-13 2020-07-14 中山大学 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112561965A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于相关滤波的实时长期跟踪方法
CN112561845A (zh) * 2020-12-21 2021-03-26 阜阳强松航空科技有限公司 基于红外和可见光融合的长期跟踪方法

Also Published As

Publication number Publication date
CN109299735B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109299735A (zh) 基于相关滤波的抗遮挡目标跟踪方法
Wang et al. Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching
CN109285179B (zh) 一种基于多特征融合的运动目标跟踪方法
CN103366156B (zh) 道路结构检测和跟踪
CN111553397B (zh) 基于区域全卷积网络和自适应的跨域目标检测方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN108053419A (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN107403175A (zh) 一种运动背景下的视觉跟踪方法及视觉跟踪系统
CN106845385A (zh) 视频目标跟踪的方法和装置
CN105608429B (zh) 基于差分激励的鲁棒车道线检测方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN101739551A (zh) 运动目标识别方法及系统
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN109003290A (zh) 一种监控系统的视频跟踪方法
Asha et al. Robust infrared target tracking using discriminative and generative approaches
CN110175649A (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN105182350A (zh) 一种应用特征跟踪的多波束声呐目标探测方法
CN111476077A (zh) 一种基于深度学习的多视角步态识别方法
CN105930808A (zh) 一种基于vector boosting模板更新的运动目标跟踪方法
Gad et al. Real-time lane instance segmentation using segnet and image processing
CN106611147A (zh) 车辆追踪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant