CN110472577A - 一种基于自适应相关滤波的长时视频跟踪方法 - Google Patents

一种基于自适应相关滤波的长时视频跟踪方法 Download PDF

Info

Publication number
CN110472577A
CN110472577A CN201910755459.5A CN201910755459A CN110472577A CN 110472577 A CN110472577 A CN 110472577A CN 201910755459 A CN201910755459 A CN 201910755459A CN 110472577 A CN110472577 A CN 110472577A
Authority
CN
China
Prior art keywords
frame
target
feature
value
denoted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910755459.5A
Other languages
English (en)
Other versions
CN110472577B (zh
Inventor
葛洪伟
肖逸清
杨金龙
羊洁明
江明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910755459.5A priority Critical patent/CN110472577B/zh
Publication of CN110472577A publication Critical patent/CN110472577A/zh
Application granted granted Critical
Publication of CN110472577B publication Critical patent/CN110472577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应相关滤波的长时视频跟踪方法,属于视频跟踪技术领域。所述方法融合了HOG特征、CN特征和灰度特征,增强特征判别力的同时结合Edgebox生成检测建议,找到最优建议实现跟踪器尺度与纵横比的自适应;利用高置信度跟踪结果避免模板被破坏,将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率,并对每一帧目标框的尺度进行校正;在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置。本发明使相关滤波器具有更好的尺度和长宽比自适应性,尺度的校正与高置信度更新机制也使模板的稳定性更好,在背景杂乱、遮挡、目标发生快速移动等情况下表现优异,适合长时间跟踪。

Description

一种基于自适应相关滤波的长时视频跟踪方法
技术领域
本发明涉及一种基于自适应相关滤波的长时视频跟踪方法,属于视频跟踪技术领域。
背景技术
目标跟踪通常指在第一帧中给定目标的初始位置,在后续的视频序列中估计跟踪目标的位置、形状,得到目标的移动方向、运动轨迹等信息。现如今目标跟踪在计算机视觉中起着举足轻重的作用,在人机交互、国防安全、智能家居等领域有着非常广泛的应用。
目标跟踪按模型类别不同主要分为生成式方法和判别式方法。其中,判别式方法将目标作为正样本,背景区域作为负样本,将两者显著区分,以训练分类器的方法找到目标,较生成式方法而言更为鲁棒,因此在目标跟踪领域逐渐占据主导地位。判别式方法中的基于相关滤波的跟踪方法以速度快,效果好的优势逐渐脱颖而出,受到广大研究者的关注。2010年,Bolme提出了最小均方误差和滤波跟踪器MOSSE,将相关滤波的概念第一次引入目标跟踪领域。此后Henriques等提出的CSK融入循环移位和岭回归;核化相关滤波器KCF利用核函数丰富了目标特征,大大提升了算法的速度与准确性,奠定了当前相关滤波算法的主要框架。但是,传统相关滤波跟踪无法处理尺度变化、目标遮挡、运动模糊等一系列问题,针对这些,SAMF跟踪器通过引入尺度池的方法估计尺度变化;Danelljan等则提出空间判别尺度估计目标跟踪算法,增加额外的一维尺度相关滤波器,该方法可设置33个特征尺度池,但是这两种方法仅能实现目标尺度的自适应。为了处理目标纵横比变化,使尺度估计更精确,Huang D等将目标检测领域中广泛采用的类别不可知检测提议方法集成到相关滤波跟踪器(KCFDPT)中,以滑动窗口方式遍历整个图像,并根据完全封闭的轮廓数量对每个采样的边界框进行评分。Chao ma等在KCF基础上,引入基于SVM的目标检测算法,能够判断出目标是否发生遮挡,对长时跟踪来说更有优势。虽然上述方法在一定程度上解决了一些难点,但在目标快速移动或者严重遮挡的情况下,长时间跟踪容易引起模板漂移,致使跟踪失败,算法鲁棒性不高。
发明内容
为了解决目前存在的在目标快速移动或者严重遮挡,且长时间跟踪时容易引起模板漂移致使跟踪失败,算法鲁棒性不高的问题,本发明提供了一种基于自适应相关滤波的长时视频跟踪方法。
一种基于自适应相关滤波的长时视频跟踪方法,所述方法融合了HOG特征、CN特征和灰度特征,在增强特征判别力的同时,结合Edgebox生成检测建议,找到最优建议实现跟踪器尺度与纵横比的自适应,利用高置信度跟踪结果避免模板被破坏,将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率,对每一帧目标框的尺度进行校正。
可选的,所述方法在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置。
可选的,所述方法包括:
(1)获取目标第一帧,人工确定目标中心位置与边界框长宽(lx1,ly1,w1,g1),其中lx1为目标中心位置横坐标,ly1为目标中心位置纵坐标,w1为边界框宽度,g1为边界框高度;
(2)根据第一帧的目标中心位置以1个像素为步长进行密集采样,当样本与目标边界框重叠比大于0.9时为样本分配正标签,而小于0.5时为样本分配负标签,生成样本集训练支持向量机;
(3)根据第一帧的目标中心位置与边界框长宽(lx1,lyl,w1,g1)得到图像块,提取HOG特征、CN特征和灰度特征,训练相关滤波器目标外观与模型参数
(4)获取新的一帧,记为第t帧,根据该帧前一帧的目标中心位置与边界框长宽(lxt-1,lyt-1,wt-1,gt-1)得到图像块,应用Edgeboxes获得一组提案框(z1,...,zr)以及提案框里对应的边缘组个数;
(5)按式计算每个提案框的相关响应矩阵,其中表示傅里叶反变换,·表示元素点积运算,表示的互相关高斯核,^表示离散傅里叶变换;每个提案框响应矩阵中最大的元素值记为Fmax(zi),i=1,...,r,Fmax(zi),i=1,...,r中最大值所对应的矩阵为具有最大相关响应提案框的响应矩阵,记为F,其最大响应值记为Fmax,最大相关响应提案框对应的边缘组个数记为bst
(6)如果Fmax大于0.15则将具有最大相关响应的提案框作为目标位置,并计算相应的目标外观与模型参数继续执行步骤(7);
否则按下式
求解最优平面的参数w和b,其中mi是生成的特征向量的第i个样本,而ci∈(+1,-1)是二元标签,L表示合页损失函数,n表示样本个数;紧接着计算每个采样区域的得分scorei=wTmi+b,将最大的分数对应的采样区域作为目标位置,并计算相应的目标外观与模型参数
(7)计算第t帧的APCE值,记为APCEt,计算则置信度较高,继续步骤(8);否则跳转步骤(11),其中γ∈(0,1);
(8)确定模板自适应更新率θ;
(9)按照如下公式更新相关滤波器目标外观与模型参数
(10)根据当前目标中心位置以1个像素为步长密集采样,当样本与目标边界框重叠比大于0.9时分配正标签,而小于0.5时分配负标签,重新生成样本集并按照式
更新超平面,符号表示梯度,表示对w求梯度,(m,c)表示生成的训练集,τ表示控制更新率的超参数;
(11)如果当前帧为最后一帧,则目标跟踪结束,否则跳转步骤(4)。
可选的,所述(7)计算第t帧的APCE值,记为APCEt,采用下述计算公式进行计算:
其中,Fmax,Fmin,Fx,y分别表示输出响应矩阵F中最大的元素值和最小的元素值以及第x行第y列的元素值;
只将Fmax>0.15时的APCE值放入集合ZAPCE中,ZAPCE集合的历史平均值记为
N为集合ZAPCE中元素个数。
可选的,所述确定模板自适应更新率θ,包括:
(8.1)利用公式确定θ1的值,其中v表示目标运动速度;
(8.2)利用公式确定θ2的值,其中bst表示第t帧时计算得到的边缘组数,bs2表示第2帧时计算得到的边缘组数,ε∈(0,0.00001)防止分母为0;
(8.3)计算θ值:θ=β*θ1+(1-β)*θ2,β∈(0,1)表示权重系数。
可选的,所述HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子;首先将图像分成细胞单元,采集细胞单元中各像素点的梯度的或边缘的方向直方图,将方向直方图组合起来构成特征描述器。
可选的,所述CN特征即将现实世界中的图像的RGB值映射为11种预先定义的颜色,11种预先定义的颜色为黑色,蓝色,棕色,灰色,绿色,橙色,粉色,紫色,红色,白色和黄色。
可选的,所述方法的仿真实验采用Matlab R2015a和OpenCV3.1实现;
可选的,其中所述仿真实验中,参数β=0.4,γ=0.65,τ=1,k=1.4,ε=0.000001。
本发明的第二个目的在于提供上述方法在视频跟踪技术领域内的应用。
本发明有益效果是:
本发明融合了HOG特征、CN特征和灰度特征,在增强特征判别力的同时,结合Edgebox生成检测建议,找到最优建议实现跟踪器尺度与纵横比的自适应。然后利用高置信度跟踪结果来避免模板被破坏,将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率,并对每一帧目标框的尺度进行校正;最后,在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置。通过上述方法使相关滤波器具有更好的尺度和长宽比自适应性;同时在目标发生快速移动时具有更强的追踪能力,尺度的校正与高置信度更新机制也使模板的稳定性更好,在背景杂乱或是遮挡的情况下表现优异,目标的重定位环节也很好地解决了目标遮挡较严重时的问题,使得该方法更适合长时间跟踪。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的实现流程图。
图2是OTB100精确度率评估曲线。
图3是OTB100综合成功率评估曲线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为便于理解本发明,首先对所涉及的基础理论知识进行介绍如下:
1、核相关滤波
KCF(Kernel Correlation Filter)是一种目标检测方法,大部分基于检测的视频跟踪算法在选取充分样本以后,由于计算量过大都无法保证实时性。但是核相关滤波将岭回归和循环矩阵结合起来,不论是跟踪速度还是跟踪效果都有大幅度提升。岭回归函数增加一个正则项λ后回归系数更为符合实际,模型如下:
其中,xi为第i个训练样本,标签项为yi,w为分类超平面的系数;输入输出由函数f(xi)=wTxi来表示。
然而实际中线性可分的样本非常少,通过核函数可将线性岭回归映射到更高维的非线性空间,同时可以使用循环矩阵进行傅里叶空间对角化简化计算,使学习到的检测子更加鲁棒。
求得非线性最优解w=∑iαiφ(xi),其中核空间岭回归的解公式如下:
α=(K+λI)-1y
I为单位矩阵;K是所有训练样本的核相关矩阵,为了简化矩阵求逆运算,需要找到一个核函数使得样本x内部元素更换不影响核函数取值,则对应的核矩阵是循环矩阵。
KCF跟踪器所采用的是高斯核函数,利用循环卷积矩阵性质,则有:
式中·表示元素点积,可知KCF只用到点积运算、离散傅立叶变换及其反变换,时间复杂度为o(n log n),最终得到输出响应值:
式中,F(z)表示输出响应值,为目标外观,为模型参数。
2、特征介绍
HOG特征:方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。首先将图像分成小的连通区域,称为细胞单元;然后采集细胞单元中各像素点的梯度的或边缘的方向直方图;最后把这些直方图组合起来构成特征描述器。
CN特征:将现实世界中的图像的RGB值映射为11种预先定义的颜色(黑色,蓝色,棕色,灰色,绿色,橙色,粉色,紫色,红色,白色和黄色)。
3、EdgeBoxes
在第t帧通过参数stepsize使得不同长宽比、不同大小的滑动窗口分别滑动一个像素为步长后,两滑动窗口的IoU=stepsize,其中IoU表示两个相邻框的交集面积除以其并集面积,搜索中考虑的边界框纵横比范围在1/maxAspectRatio和maxAspectRatio之间,最小框区域由minBoxArea界定的方式获得一组提议边界框。
其中minBoxArea=0.3×wt-1×ht-1
首先使用结构化边缘检测器计算输入图像中每个像素的边缘幅度响应值m与相角响应值θ。使用一种简单的贪婪方法,在边缘点A周围八邻域寻找与边缘点A的方向角差值最小的边缘点B,将A与B连接,对边缘点B采用同样的方法直到它们的方向差值总和大于将这些边缘点连接起来形成一个边缘段。
当聚合完成后,边缘图像可以看成是边缘段的集合。边缘段的位置定义为边缘段的重心,边缘段的方向定义为组成边缘段的所有边缘点的加权平均方向。假设组成边缘段si的边缘点集合为P,边缘点p的边缘强度为mp,边缘方向为θp,位置为(xp,yp),则边缘段的位置(xsi,ysi)为:
边缘段的方向θsi为:
Edge Boxes认为在同一条直线或者在同一条曲率不大的曲线上的两边缘段具有高的相似性,相反,相隔较远或者在一条曲率很大的曲线上的两边缘段的相似性很低;因此给定一幅聚合后的边缘图像,即一个边缘段集合S,在集合S中任取两个边缘段,si与sj的相似性计算如下:
a(si,sj)=|cos(θiij)cos(θjij)|2
最后,给每一个边缘组一个权值,把权值均为1的边缘组归为检测框内轮廓上的一部分,把权值为0的边缘组归为检测框外或者与之重叠的一部分;评分公式如下:
当wb(si)=1时si则被滑动窗口b完全包含,找到完全包含在框内的bs个边缘组s。
边界框b的分数确定为:
其中像素的边缘响应幅度由m表示,并且每个i对应于边界框b内的像素。bw和bh是b的宽度和高度,而bin表示b的中心部分,其大小为bw/2×bh/2。di∈[0,1]是一个权重,当像素i所属的轮廓完全包含在b中di=1,反之则为0,K为惩罚项,按分数从大到小挑选出小于200个的一组提案框(z1,...,zr)。
实施例一:
本实施例提供一种基于自适应相关滤波的长时视频跟踪方法,参见图1,所述方法包括:
步骤1.获取目标第一帧,人工确定目标中心位置与边界框长宽(lx1,ly1,w1,g1),其中lx1为目标中心位置横坐标,ly1为目标中心位置纵坐标,w1为边界框宽度,g1为边界框高度;
步骤2.根据第一帧的目标中心位置,以1个像素为步长进行密集采样;当样本与目标边界框重叠比大于0.9时为样本分配正标签,而小于0.5时为样本分配负标签,生成样本集训练支持向量机;
需要进行说明的是,此处为了自动获取置信度高的正、负样本,重叠比大于0.9时为样本分配正标签,小于0.5时为样本分配负标签;而重叠比大于0.5而小于0.9的样本性质较为模糊,所以舍弃不用,不放入训练集。
步骤3.根据第一帧中心位置与边界框长宽(lx1,ly1,w1,g1)得到图像块,提取HOG特征、CN特征和灰度特征,训练相关滤波器目标外观与模型参数
步骤4.获取新的一帧,记为第t帧,根据前一帧的中心位置与边界框长宽(lxt-1,lyt-1,wt-1,gt-1)得到图像块,应用Edgeboxes获得一组提案框(z1,...,zr)以及提案框里对应的边缘组个数;
步骤5.按式计算每个提案框的相关响应矩阵,其中表示傅里叶反变换,·表示元素点积运算,表示的互相关高斯核,^表示离散傅里叶变换。每个提案框响应矩阵中最大的元素值记为Fmax(zi),i=1,...,r,Fmax(zi),i=1,...,r中最大值所对应的矩阵为具有最大相关响应提案框的响应矩阵记为F,其最大响应值记为Fmax,最大相关响应提案框对应的边缘组个数记为bst
步骤6.如果Fmax大于0.15则将具有最大相关响应的提案框作为目标位置,并计算相应的目标外观与模型参数继续执行步骤7,否则按式求解最优平面的参数w和b,其中mi是生成的特征向量的第i个样本,而ci∈(+1,-1)是二元标签,L表示合页损失函数,n表示样本个数。紧接着计算每个采样区域的得分scorei=wTmi+b,将最大的分数对应的采样区域作为目标位置,并计算相应的目标外观与模型参数
步骤7.计算第t帧的APCE值,记为APCEt,计算则置信度较高,继续下一步;否则跳转步骤11,其中γ∈(0,1)表示0到1之间的一个参数;
APCEt的计算公式如下:
其中Fmax,Fmin,Fx,y分别表示输出响应矩阵F中最大的元素值和最小的元素值以及第x行第y列的元素值;
只将Fmax>0.15时的APCE值放入集合ZAPCE中,ZAPCE集合的历史平均值记为 N为集合ZAPCE中元素个数;
步骤8..确定模板自适应更新率θ:
(8.1)利用公式确定θ1的值,其中v表示目标运动速度;
(8.2)利用公式确定θ2的值,其中bst表示第t帧时计算得到的边缘组数,bs2表示第2帧时计算得到的边缘组数,ε∈(0,0.00001)防止分母为0;
(8.3)计算θ值:θ=β*θ1+(1-β)*θ2,β∈(0,1)表示权重系数;
步骤9.按照如下公式更新相关滤波器目标外观与模型参数
步骤10.根据当前目标中心位置以1个像素为步长密集采样,当样本与目标边界框重叠比大于0.9时分配正标签,而小于0.5时分配负标签,重新生成样本集并按照式 更新超平面,符号表示梯度,(m,c)表示生成的训练集,τ表示控制更新率的超参数。
步骤11.如果当前帧为最后一帧,则目标跟踪结束,否则跳转步骤4。
本发明的效果可通过以下实验进一步说明。
1.仿真条件与参数
实验采用Matlab R2015a和OpenCV3.1实现。参数β=0.4,γ=0.65,τ=1,k=1.4,ε=0.000001。
2.仿真结果
仿真实验中,本发明选取近年来表现优秀的KCF,SAMF,DSST,KCFDPT,LCT,LMCF算法进行分析比较.
KCF【可参见文献Henriques J F,Rui C,Martins P,et al.High-speed trackingwith kernelized correlation filters[J].IEEE Transactions on Pattern Analysisand Machine Intelligence,2015,37(3):583-596】
SAMF【可参见文献Li Y,Zhu J.A Scale Adaptive Kernel Correlation FilterTracker with Feature Integration[C]//European Conference on ComputerVision.Springer,Cham,2014:254-265】
DSST【可参见文献Danelljan M,G,Khan F,et al.Accurate scaleestimation for robust visual tracking[C]//Proceedings of British MachineVision Conference.Guildford:BMVA Press,2014:65.1-65.11】
KCFDPT【可参见文献Huang D,Luo L,Chen Z,et al.Applying DetectionProposals to Visual Tracking for Scale and Aspect Ratio Adaptability[J].International Journal of Computer Vision,2017,122(3):524-541】
LCT【可参见文献Ma C,Huang J B,Yang X K,et al.Adaptive CorrelationFilters with Long-Term and Short-Term Memory for Object Tracking[J].International Journal of Computer Vision,2017,5388-5396】
LMCF【可参见文献Wang M,Liu Y,Huang Z.Large Margin Object Tracking withCirculant Feature Maps[J].In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition(CVPR),Honolulu,HI,USA,2017,21(16):4800-4808】
图2是OTB100精确度率评估曲线图,本发明跟踪精度为0.840(Pixels>20),较其他最优算法提高7.0%。
图3是OTB100综合成功率评估曲线,本发明跟踪成功率为0.757(IOU>0.5),较其他最优算法提高了5.5%。
如表1所示,具体描述了本发明与其他跟踪方法在OTB-100测试集的11个属性上取得的成功率。
表1不同属性上算法的成功率对比
注:最好和次好结果分别标为加粗和“_”。
本发明将HOG特征、CN特征和灰度特征进行融合,增强特征判别力的同时结合Edgebox生成检测建议,找到最优建议实现跟踪器尺度与纵横比的自适应;利用高置信度跟踪结果避免模板被破坏,将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率,并对每一帧目标框的尺度进行校正;在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置。本发明使相关滤波器具有更好的尺度和长宽比自适应性,尺度的校正与高置信度更新机制也使模板的稳定性更好,在背景杂乱、遮挡、目标发生快速移动等情况下表现优异,适合长时间跟踪。
本发明实施例中的部分步骤,可以利用软件实现,相应的软件程序可以存储在可读取的存储介质中,如光盘或硬盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自适应相关滤波的长时视频跟踪方法,其特征在于,所述方法融合了HOG特征、CN特征和灰度特征,在增强特征判别力的同时,结合Edgebox生成检测建议,找到最优建议实现跟踪器尺度与纵横比的自适应,利用高置信度跟踪结果避免模板被破坏,将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率,对每一帧目标框的尺度进行校正。
2.根据权利要求1所述的方法,其特征在于,所述方法在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置。
3.根据权利要求1所述的方法,其特征在于,所述方法包括:
(1)获取目标第一帧,人工确定目标中心位置与边界框长宽(lx1,ly1,w1,g1),其中lx1为目标中心位置横坐标,ly1为目标中心位置纵坐标,w1为边界框宽度,g1为边界框高度;
(2)根据第一帧的目标中心位置以1个像素为步长进行密集采样,当样本与目标边界框重叠比大于0.9时为样本分配正标签,而小于0.5时为样本分配负标签,生成样本集训练支持向量机;
(3)根据第一帧的目标中心位置与边界框长宽(lx1,ly1,w1,g1)得到图像块,提取HOG特征、CN特征和灰度特征,训练相关滤波器目标外观与模型参数
(4)获取新的一帧,记为第t帧,根据该帧前一帧的目标中心位置与边界框长宽(lxt-1,lyt-1,wt-1,gt-1)得到图像块,应用Edgeboxes获得一组提案框(z1,…,zr)以及提案框里对应的边缘组个数;
(5)按式计算每个提案框的相关响应矩阵,其中表示傅里叶反变换,·表示元素点积运算,表示的互相关高斯核,^表示离散傅里叶变换;每个提案框响应矩阵中最大的元素值记为Fmax(zi),i=1,…,r,Fmax(zi),i=1,…,r中最大值所对应的矩阵为具有最大相关响应提案框的响应矩阵,记为F,其最大响应值记为Fmax,最大相关响应提案框对应的边缘组个数记为bst
(6)如果Fmax大于0.15则将具有最大相关响应的提案框作为目标位置,并计算相应的目标外观与模型参数继续执行步骤(7);
否则按下式
求解最优平面的参数w和b,其中mi是生成的特征向量的第i个样本,而ci∈(+1,-1)是二元标签,L表示合页损失函数,n表示样本个数;紧接着计算每个采样区域的得分scorei=wTmi+b,将最大的分数对应的采样区域作为目标位置,并计算相应的目标外观与模型参数
(7)计算第t帧的APCE值,记为APCEt,计算则置信度较高,继续步骤(8);否则跳转步骤(11),其中γ∈(0,1);
(8)确定模板自适应更新率θ;
(9)按照如下公式更新相关滤波器目标外观与模型参数
(10)根据当前目标中心位置以1个像素为步长密集采样,当样本与目标边界框重叠比大于0.9时分配正标签,而小于0.5时分配负标签,重新生成样本集并按照式
更新超平面,符号表示梯度,表示对w求梯度,(m,c)表示生成的训练集,τ表示控制更新率的超参数;
(11)如果当前帧为最后一帧,则目标跟踪结束,否则跳转步骤(4)。
4.根据权利要求3所述的方法,其特征在于,所述(7)计算第t帧的APCE值,记为APCEt,采用下述计算公式进行计算:
其中,Fmax,Fmin,Fx,y分别表示输出响应矩阵F中最大的元素值和最小的元素值以及第x行第y列的元素值;
只将Fmax>0.15时的APCE值放入集合ZAPCE中,ZAPCE集合的历史平均值记为
N为集合ZAPCE中元素个数。
5.根据权利要求3所述的方法,其特征在于,所述确定模板自适应更新率θ,包括:
(8.1)利用公式确定θ1的值,其中v表示目标运动速度;
(8.2)利用公式确定θ2的值,其中bst表示第t帧时计算得到的边缘组数,bs2表示第2帧时计算得到的边缘组数,ε∈(0,0.00001)防止分母为0;
(8.3)计算θ值:θ=β*θ1+(1-β)*θ2,β∈(0,1)表示权重系数。
6.根据权利要求1所述的方法,其特征在于,所述HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子;首先将图像分成细胞单元,采集细胞单元中各像素点的梯度的或边缘的方向直方图,将方向直方图组合起来构成特征描述器。
7.根据权利要求1所述的方法,其特征在于,所述CN特征即将现实世界中的图像的RGB值映射为11种预先定义的颜色,11种预先定义的颜色为黑色,蓝色,棕色,灰色,绿色,橙色,粉色,紫色,红色,白色和黄色。
8.根据权利要求1-5任一所述的方法,其特征在于,所述方法的仿真实验采用MatlabR2015a和OpenCV3.1实现。
9.根据权利要求8所述的方法,其特征在于,其中所述仿真实验中,参数β=0.4,γ=0.65,τ=1,k=1.4,ε=0.000001。
10.权利要求1-9任一所述的方法在视频跟踪技术领域内的应用。
CN201910755459.5A 2019-08-15 2019-08-15 一种基于自适应相关滤波的长时视频跟踪方法 Active CN110472577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910755459.5A CN110472577B (zh) 2019-08-15 2019-08-15 一种基于自适应相关滤波的长时视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755459.5A CN110472577B (zh) 2019-08-15 2019-08-15 一种基于自适应相关滤波的长时视频跟踪方法

Publications (2)

Publication Number Publication Date
CN110472577A true CN110472577A (zh) 2019-11-19
CN110472577B CN110472577B (zh) 2022-02-15

Family

ID=68511447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755459.5A Active CN110472577B (zh) 2019-08-15 2019-08-15 一种基于自适应相关滤波的长时视频跟踪方法

Country Status (1)

Country Link
CN (1) CN110472577B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
CN112699718A (zh) * 2020-04-15 2021-04-23 南京工程学院 一种尺度和光照自适应的结构化多目标跟踪方法及其应用
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法
CN117392179A (zh) * 2023-12-11 2024-01-12 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654508A (zh) * 2015-12-24 2016-06-08 武汉大学 基于自适应背景分割的监控视频移动目标跟踪方法及系统
US20160239982A1 (en) * 2014-08-22 2016-08-18 Zhejiang Shenghui Lighting Co., Ltd High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108734139A (zh) * 2018-05-24 2018-11-02 辽宁工程技术大学 基于特征融合及svd自适应模型更新的相关滤波跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109949344A (zh) * 2019-03-18 2019-06-28 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239982A1 (en) * 2014-08-22 2016-08-18 Zhejiang Shenghui Lighting Co., Ltd High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN105654508A (zh) * 2015-12-24 2016-06-08 武汉大学 基于自适应背景分割的监控视频移动目标跟踪方法及系统
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108734139A (zh) * 2018-05-24 2018-11-02 辽宁工程技术大学 基于特征融合及svd自适应模型更新的相关滤波跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109949344A (zh) * 2019-03-18 2019-06-28 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONGWON CHOI: "Visual Tracking Using Attention-Modulated Disintegration and Integration", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
周士杰: "基于双重孪生网络与相关滤波器的目标跟踪算法", 《第二十二届计算机工程与工艺年会暨第八届微处理器技术论坛论文集》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN110942472B (zh) * 2019-11-28 2023-10-13 江苏砺行能源科技有限公司 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN112699718A (zh) * 2020-04-15 2021-04-23 南京工程学院 一种尺度和光照自适应的结构化多目标跟踪方法及其应用
CN112699718B (zh) * 2020-04-15 2024-05-28 南京工程学院 一种尺度和光照自适应的结构化多目标跟踪方法及其应用
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法
CN117392179A (zh) * 2023-12-11 2024-01-12 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法
CN117392179B (zh) * 2023-12-11 2024-02-27 四川迪晟新达类脑智能技术有限公司 一种基于相关滤波器和边缘框的目标跟踪方法

Also Published As

Publication number Publication date
CN110472577B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110472577A (zh) 一种基于自适应相关滤波的长时视频跟踪方法
Jiao et al. New generation deep learning for video object detection: A survey
Liu et al. Effective template update mechanism in visual tracking with background clutter
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN107748873B (zh) 一种融合背景信息的多峰目标跟踪方法
CN106557774B (zh) 多通道核相关滤波的实时跟踪方法
CN107481264A (zh) 一种自适应尺度的视频目标跟踪方法
CN110276785B (zh) 一种抗遮挡红外目标跟踪方法
CN107169994B (zh) 基于多特征融合的相关滤波跟踪方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN109858415A (zh) 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN105844665B (zh) 视频对象追踪方法及装置
CN102324025A (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
Premaratne et al. Centroid tracking based dynamic hand gesture recognition using discrete Hidden Markov Models
Yang et al. Visual tracking with long-short term based correlation filter
CN113592911A (zh) 表观增强深度目标跟踪方法
CN106952294A (zh) 一种基于rgb‑d数据的视频跟踪方法
CN110706252A (zh) 运动模型引导下的机器人核相关滤波跟踪算法
Xiao et al. MeMu: Metric correlation Siamese network and multi-class negative sampling for visual tracking
CN106651917A (zh) 基于神经网络的图像目标跟踪算法
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN108053425B (zh) 一种基于多通道特征的高速相关滤波目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant