CN110211157B - 一种基于相关滤波的目标长时跟踪方法 - Google Patents
一种基于相关滤波的目标长时跟踪方法 Download PDFInfo
- Publication number
- CN110211157B CN110211157B CN201910481190.6A CN201910481190A CN110211157B CN 110211157 B CN110211157 B CN 110211157B CN 201910481190 A CN201910481190 A CN 201910481190A CN 110211157 B CN110211157 B CN 110211157B
- Authority
- CN
- China
- Prior art keywords
- target
- scale
- feature
- correlation
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相关滤波的目标长时跟踪方法,属于计算机视觉技术的目标跟踪领域。首先在视频第一帧提取目标的梯度方向直方图特征和局部强度直方图特征作为目标的特征表示,并且用于训练平移相关滤波器和长时相关滤波器,利用梯度方向直方图特征训练一个尺度相关滤波器。然后,在跟踪过程中,利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断目标跟踪是否发生失败,若发生跟目标跟踪失败,激活在线检测器对目标重新定位;最后,更新在线检测器。同时,使用动态的学习率对目标特征模型和滤波器系数进行更新,以及检测阈值自适应更新。本发明用于运动目标跟踪能适应更加复杂的运动场景,可以明显提高目标跟踪的精确度和成功率。
Description
技术领域
本发明涉及计算机视觉领域以及目标跟踪领域,尤其涉及一种基于相关滤波的目标长时跟踪方法。
背景技术
目标跟踪是计算机视觉领域中的一项基本研究任务,在计算机视觉领域中应用广泛,如:行为识别、安全检测、人机交互等。在实际应用中,由于目标所处的周围环境不同,以及目标自身会发生形变、快速运动、平面外旋转、平面内旋转等情况,以及目标容易受光照、遮挡等影响,目标跟踪成为计算机视觉领域的难点和热点问题。
近年来,基于判别式的目标跟踪方法备受人们关注,尤其是基于相关滤波的目标跟踪方法。
一):基于相关滤波的目标跟踪方法。Blome首次在目标跟踪领域中应用相关滤波理论,提出一种最小均方误差相关滤波算法,提高了跟踪速度。详见文献“Bolme D S,Beveridge J R,Draper B A,et al.Visual object tracking using adaptivecorrelation filters[C]//The Twenty-Third IEEE Conference on Computer Visionand Pattern Recognition,CVPR 2010,San Francisco,CA,USA,13-18June2010.IEEE,2010.”Henriques首次将多通道方向梯度直方图(Histogram of Oriented Gradients,HOG)特征引入至相关滤波跟踪框架中,提出核化相关滤波跟踪算法,提高了跟踪精度,详见文献“Henriques J F,Caseiro R,Martins P,et al.High-Speed Tracking withKernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2015,37(3):583-596.”,Danelljan针对目标尺度变化,提出判别式多尺度相关滤波跟踪算法,详见文献“Danelljan M,Hager G,Khan F S,etal.Discriminative Scale Space Tracking[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2017,39(8):1561-1575.”,Ma提出一种具有目标长短时记忆的相关滤波跟踪算法,该算法在对目标进行表观建模的过程中考虑了目标上下文信息,增强了目标的特征表达,并且在跟踪过程中引入在线检测模型,在目标发生跟踪失败或漂移时,可以重新定位目标,进行持续跟踪。详见文献“Ma C,Huang J B,Yang X,etal.Adaptive Correlation Filters with Long-Term and Short-Term Memory forObject Tracking[J].International Journal of Computer Vision,2017(2):1-26.”
从这些方法中,可以得出模型学习率都采用固定的经验值,以及在判断目标是否发生跟踪失败的阈值设置为固定值。
发明内容
本发明的本发明旨在解决以上现有技术的问题。提出了一种跟踪更具有广适性、明显提高跟踪精度和成功率的基于相关滤波的目标长时跟踪方法。本发明动态调整模型学习率和采用自适应阈值。本发明用于目标跟踪可以提高目标跟踪的广适性,可以明显提高目标跟踪的精确度和成功率。
本发明的技术方案如下:一种基于相关滤波的目标长时跟踪方法,包括以下步骤:
输入数据集,包含所要跟踪目标的视频序列帧;
根据初始帧的目标,提取目标图像的特征;
为目标图像训练相关滤波器,包括平移相关滤波器,长时相关滤波器,尺度相关滤波器;
利用上一步训练获得的平移相关滤波器估计下一帧的目标位置;
利用长时相关滤波器对此次跟踪结果进行可靠性判断;
动态调整学习率η;
利用尺度相关滤波器对定位好的目标位置进行尺度估计;
模型更新与自适应阈值更新;
输出目标位置。
本发明的优点及有益效果如下:
(1)本发明在学习率设置阶段,采用动态的学习率调整方法,能够反映视频内容的特性。
(2)在判断是否发生跟踪失败的阈值设置阶段,使用自适应阈值来进行阈值的更新,提高了跟踪的广适性以及增强了总体跟踪结果的联系性。
附图说明
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细的描述。所描述的实施例仅仅是本发明的一部分实施例。
如图1所示,本发明的实现流程包括如下步骤:
步骤S1,输入数据集,包含所要跟踪目标的视频序列帧;
步骤S2,根据初始帧的目标,提取目标的特征;在视频第一帧提取目标的梯度方向直方图特征和局部强度直方图特征作为目标的特征表示,并且将梯度方向方向直方图和局部强度直方图特征进行融合,然后训练平移相关滤波器fT和长时相关滤波器fL,利用梯度方向直方图特征训练一个尺度相关滤波器fS,用于估计跟踪过程中目标的尺度变化。
步骤S3,采用同样的方式,训练平移相关滤波器fT,长时相关滤波器fL,尺度相关滤波器fS;
上述三种相关滤波器均采用以下步骤训练:
在大小为M×N的图像块p上训练的相关滤波器等价于岭回归模型,该岭回归模型将x的所有循环移位产生的图像作为训练样本,对于每一个训练样本xi,i∈{1,2,...,M}×{1,2,...,N},都有一个目标分数yi。M、N为图像块的高和宽,其中目标中心处的目标分数yi=1,(m,n)表示在水平方向和垂直方向上的移动的位置,当位置(m,n)远离目标中心时,yi从1逐渐衰减到0。训练相关滤波器的线性岭回归的目标函数为:其中f为分类器函数,λ为正则化参数,防止训练产生过拟合,xi和yi分别表示第i个训练样本和期望输出,w'表示权重矩阵。由于该目标函数的解是一个线性估计,即f(x)=wTx,因此,岭回归问题对于循环矩阵X具有近似解w。计算w的公式为w=(XTX+λI)-1XTy,I表示单位矩阵、y表示回归分数。由于在傅里叶域计算速度比较快,所以设/>为x的傅里叶变换,则/>所以得到傅里叶域上W的解为:其中W为w在傅里叶域的对应表示,/>为y的复共轭矩阵,χ表示为X在傅里叶域上的对应表示;/>表示χ的复共轭矩阵。为了提高相关滤波器的判别能力,利用核函数在核空间训练相关滤波器,核函数表示为:k(x,x')=<φ(x),φ(x')>,最后得出f(x)=wTφ(x)=∑iαik(xi,x'),f(x),φ(x),φ(x')其中f(x)为分类器函数,φ(x)和φ(x')分别为x和x'的傅里叶变换函数,αi为wi的对偶向量,αi的求解公式为:/> 为核相关矩阵k的傅里叶转换形式。其公式表示为:/>x=[x1,x2,...,xc]定义为目标对象的多特征通道,c表示特征通道的总数,x'为训练阶段x的另一种表示形式,σ为尺度参数,/>为傅里叶逆变换,χc为在特征通道上的特征,/>为训练阶段特征通道上的特征的复共轭矩阵表示。
步骤S4,利用平移相关滤波器进行目标位置估计;
本步骤的具体实现如下:
4.1以上一帧图像中的目标位置为中心,裁剪和图像块p大小相同的图像块z,
步骤S5,跟踪结果可靠性判断;
本步骤的具体实现如下:
步骤S6,动态调整学习率η;
本步骤的具体实现如下:
步骤S7,对目标位置进行尺度估计;
本步骤的具体实现如下:
7.1以目标位置为中心,设置不同的尺度池S以及目标的宽和高PM和PN,尺度池的大小设置为33。
7.2对于每一个尺度s',以目标为中心截取大小为s'PM×s'PN的图像块,然后将这些截取的图像块重新调整统一的大小为PM×PN,通过提取每一个样本块的HOG特征构建一个包含目标多尺度表示的特征金字塔。
步骤S8,模型更新与自适应阈值更新;
本步骤具体实现如下:
8.1更新目标的运动特征模型x和滤波器系数α,更新公式为:xt=(1-η)xt-1+ηxt,αt=(1-η)αt-1+ηαt,其中η为学习率,t为视频帧序号。
8.3自适应阈值更新的公式为T=1-δ+δ·Vmax,Tr=0.6·T,Vmax当前帧的最大响应值。δ表示阈值更新率。
步骤S9,输出目标位置。
将本发明在两个标准的视频数据集上进行测试:OTB-2013、OTB-2015。实验结果表明,本发明提出的技术方案相较于传统方案具有更高的跟踪精度和成功率,使目标跟踪更能适应复杂场景的变化和自身因素的变化。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (3)
1.一种基于相关滤波的目标长时跟踪方法,其特征在于,包括以下步骤:
输入数据集,包含所要跟踪目标的视频序列帧;
根据初始帧的目标,提取目标图像的特征;
为目标图像训练相关滤波器,包括平移相关滤波器fT,长时相关滤波器fL,尺度相关滤波器fS;
所述训练相关滤波器,在大小为M×N的图像块p上训练的相关滤波器等价于岭回归模型,训练相关滤波器的线性岭回归的目标函数为:其中f为分类函数,λ为正则化参数,防止训练产生过拟合,xi表示第i个训练样本,yi表示第i个期望输出,M表示图像块的高,N表示图像块的宽,w'表示权重矩阵;
利用上一步训练获得的平移相关滤波器估计下一帧的目标位置;
估计目标位置具体包括:在每一帧的跟踪过程中,以上一帧图像中的目标位置为中心,裁剪和图像块p大小相同的图像块z,利用之前在傅里叶域上学习的fT计算z的响应图,计算公式为通过搜索响应图中的最大值,估计目标的位置;
利用长时相关滤波器对此次跟踪结果进行可靠性判断;
所述跟踪结果可靠性判断具体包括:利用所述响应图的计算公式,计算相关滤波器的相关响应图比较/>中的最大值/>与检测阈值Tr的大小,若/>则此次跟踪结果可靠;反之,此次跟踪结果不可靠,则此时激活在线检测器重新检测,再次利用平移相关滤波器对目标进行重定位;
利用尺度相关滤波器对定位好的目标位置进行尺度估计,具体包括:以目标位置为中心,设置不同的尺度池S以及目标的宽PM和高PN,对于每一个尺度,以目标位置为中心截取大小为s'PM×s'PN的图像块,然后将这些截取的图像块重新调整统一的大小为PM×PN,通过提取每一个样本块的HOG特征构建一个包含目标多尺度表示的特征金字塔,对于每一个目标尺度目标特征xs',都有一个回归目标分数g,s'表示每一个尺度,σ1尺度控制参数,最优的尺度的求解公式为:/>s*表示最优尺度,xs表示在此尺度下的目标特征;
模型更新与自适应阈值更新,具体包括:
为了保持fL的判断准确性,使用运动特征模型更新公式更新目标外观特征模型和fL;
自适应阈值更新的公式为T=1-δ+δ·Vmax,Tr=0.6·T,Vmax表示当前帧的最大响应值;
输出目标位置。
3.根据权利要求2所述一种基于相关滤波的目标长时跟踪方法,其特征在于:进一步用核函数在核空间训练相关滤波器,核函数表示为:k(x,x')=<φ(x),φ(x')>,则f(x)=wTφ(x)=∑iαik(xi,x'),其中f(x)为分类器函数,φ(x)和φ(x')分别为x和x'的傅里叶变换函数,αi为wi的对偶向量,αi的求解公式为: 为核相关矩阵k的傅立叶转换形式,表示为:/>x=[x1,x2,...,xc]为目标对象的多特征通道,c表示特征通道的总数,x'为训练阶段x的另一种表示形式,σ为尺度参数,/>为傅里叶逆变换,χc为在特征通道上的特征,/>为训练阶段特征通道上的特征的复共轭矩阵表示。/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910481190.6A CN110211157B (zh) | 2019-06-04 | 2019-06-04 | 一种基于相关滤波的目标长时跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910481190.6A CN110211157B (zh) | 2019-06-04 | 2019-06-04 | 一种基于相关滤波的目标长时跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110211157A CN110211157A (zh) | 2019-09-06 |
CN110211157B true CN110211157B (zh) | 2023-05-26 |
Family
ID=67790559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910481190.6A Active CN110211157B (zh) | 2019-06-04 | 2019-06-04 | 一种基于相关滤波的目标长时跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110211157B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110728694B (zh) * | 2019-10-10 | 2023-11-24 | 北京工业大学 | 一种基于持续学习的长时视觉目标跟踪方法 |
CN110930430A (zh) * | 2019-11-15 | 2020-03-27 | 浙江大学 | 一种基于相关滤波的水下目标跟踪方法 |
CN111145216B (zh) * | 2019-12-26 | 2023-08-18 | 电子科技大学 | 一种视频图像目标的跟踪方法 |
CN111199230B (zh) * | 2020-01-03 | 2023-07-07 | 腾讯科技(深圳)有限公司 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
CN111476819A (zh) * | 2020-03-19 | 2020-07-31 | 重庆邮电大学 | 一种基于多相关滤波模型的长时目标跟踪方法 |
CN111583306A (zh) * | 2020-05-12 | 2020-08-25 | 重庆邮电大学 | 一种抗遮挡的视觉目标跟踪方法 |
CN112435280A (zh) * | 2020-11-13 | 2021-03-02 | 桂林电子科技大学 | 一种无人机视频的运动目标检测与跟踪方法 |
CN112750146B (zh) * | 2020-12-31 | 2023-09-12 | 浙江大华技术股份有限公司 | 目标对象跟踪方法和装置、存储介质及电子设备 |
CN112819856B (zh) * | 2021-01-22 | 2022-10-25 | 同济大学 | 一种应用于无人机的目标跟踪方法及自定位方法 |
CN113902773A (zh) * | 2021-09-24 | 2022-01-07 | 南京信息工程大学 | 一种使用双检测器的长期目标跟踪方法 |
CN114066935A (zh) * | 2021-10-30 | 2022-02-18 | 南宁桂电电子科技研究院有限公司 | 基于相关滤波的长时目标跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108647694A (zh) * | 2018-04-24 | 2018-10-12 | 武汉大学 | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 |
CN108776977A (zh) * | 2018-06-08 | 2018-11-09 | 常州工学院 | 相关滤波器组集成的目标跟踪方法 |
CN108830879A (zh) * | 2018-05-29 | 2018-11-16 | 上海大学 | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 |
CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9501701B2 (en) * | 2014-01-31 | 2016-11-22 | The Charles Stark Draper Technology, Inc. | Systems and methods for detecting and tracking objects in a video stream |
WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
CN107481257A (zh) * | 2017-07-07 | 2017-12-15 | 中国人民解放军国防科学技术大学 | 融合颜色与局部三进制相似模式特征的图像背景去除方法 |
CN109584271B (zh) * | 2018-11-15 | 2021-10-08 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
CN109544600A (zh) * | 2018-11-23 | 2019-03-29 | 南京邮电大学 | 一种基于上下文相关和判别相关滤波器的目标跟踪方法 |
-
2019
- 2019-06-04 CN CN201910481190.6A patent/CN110211157B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108647694A (zh) * | 2018-04-24 | 2018-10-12 | 武汉大学 | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 |
CN108830879A (zh) * | 2018-05-29 | 2018-11-16 | 上海大学 | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 |
CN108776977A (zh) * | 2018-06-08 | 2018-11-09 | 常州工学院 | 相关滤波器组集成的目标跟踪方法 |
CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
Also Published As
Publication number | Publication date |
---|---|
CN110211157A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110211157B (zh) | 一种基于相关滤波的目标长时跟踪方法 | |
US11854240B2 (en) | Vision based target tracking that distinguishes facial feature targets | |
US11195051B2 (en) | Method for person re-identification based on deep model with multi-loss fusion training strategy | |
Zhang et al. | Animal detection from highly cluttered natural scenes using spatiotemporal object region proposals and patch verification | |
CN112069896B (zh) | 一种基于孪生网络融合多模板特征的视频目标跟踪方法 | |
CN107748873B (zh) | 一种融合背景信息的多峰目标跟踪方法 | |
EP2905724B1 (en) | Object detection system and method | |
Li et al. | Visual tracking via dynamic graph learning | |
CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
CN109461172A (zh) | 人工与深度特征联合的相关滤波视频自适应跟踪方法 | |
KR20160096460A (ko) | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 | |
CN110889865B (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
JP2008506201A (ja) | 視覚追跡のための適応型判別生成モデル及び逐次的フィッシャー判別分析並びにアプリケーション | |
JP6756406B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN109509191A (zh) | 一种图像显著性目标检测方法及系统 | |
CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
JP2022082493A (ja) | ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法 | |
Ramesh et al. | Boosted kernelized correlation filters for event-based face detection | |
Xing et al. | Feature adaptation-based multipeak-redetection spatial-aware correlation filter for object tracking | |
Lin et al. | An object tracking method based on CNN and optical flow | |
Thangamani et al. | Image Retrieval System by Skin Colour and Edge Information | |
Zhang et al. | Robust visual tracking using discriminative stable regions and K-means clustering | |
CN111915647A (zh) | 一种对象标签引导的自适应视频目标跟踪方法 | |
Butt et al. | Comparisons of visual features extraction towards automatic lip reading | |
Kinasih et al. | Extending multi-object detection ability using correlative filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |