CN109087333B - 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 - Google Patents
基于相关性滤波跟踪算法的目标尺度估计方法及其装置 Download PDFInfo
- Publication number
- CN109087333B CN109087333B CN201810613735.XA CN201810613735A CN109087333B CN 109087333 B CN109087333 B CN 109087333B CN 201810613735 A CN201810613735 A CN 201810613735A CN 109087333 B CN109087333 B CN 109087333B
- Authority
- CN
- China
- Prior art keywords
- maximum value
- target
- maximum
- scale
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001914 filtration Methods 0.000 title claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000003321 amplification Effects 0.000 claims abstract description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 24
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008602 contraction Effects 0.000 claims description 9
- 230000000052 comparative effect Effects 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000195940 Bryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相关性滤波跟踪算法的目标尺度估计方法及其装置，包括以下步骤：步骤S200：根据初始化帧、位置和尺度，提取响应图的最大值、最大位置和最大尺度；步骤S300：根据最大位置与最大尺度，在最大位置附近对搜索框分别进行尺度因子的收缩和尺度因子的放大，采用训练滤波器进行检测得到收缩响应图和放大响应图，分别提取收缩响应图中的最大值和放大响应图中的最大值，确定最大值、最大值和最大值中的最大值；步骤S400：根据确定的最大值、比例l和比例r得到尺度因子；步骤S500：采用尺度因子按，得到目标尺度。该方法能有效解决相关滤波跟踪算法在处理变尺度目标跟踪时，容易跟丢目标或获取的目标图像不完整的尺度问题。
Description
技术领域
本发明涉及一种基于相关性滤波跟踪算法的目标尺度估计方法及其装置，属于信号处理与跟踪领域。
背景技术
相关滤波跟踪技术融合了图像处理、信号处理、目标跟踪等领域的先进技术，在智能交通、机器人、人机交互、无人驾驶等视觉场景中得到了广泛的应用。平方误差的最小输出和MOSSE第一次向世人展示了相关滤波应用于跟踪算法的巨大潜能，紧接着核检测跟踪的循环结构(CSK)、核相关滤波(KCF)和自适应颜色属性跟踪(CN)的提出更使相关滤波跟踪算法获得了越来越大的关注。
上述基于滤波器相关目标跟踪算法均未根据各帧图像中目标尺寸的改变调整选框尺寸，上述目标跟踪算法无论目标尺度是否变化，均按第一帧指定的目标尺寸进行框选，无法对目标尺度发生变化进行准确跟踪处理。
鲁棒视觉跟踪的精确尺度估计(DSST)和特征整合尺度自适应核相关滤波跟踪算法(SAMF)两大代表性跟踪算法为现有常用解决了目标尺度变化的跟踪算法，但是两者都是采用传统金字塔式尺度固定采样，对每一帧图像均进行同样数目的采样和检测评估，大量尺度因子数据严重影响跟踪算法的实时性。同时这两种算法中所用尺度因子均为固定值，受限于固定值，当目标发生大尺度变化时，尺度估计会失败比例较高。
对于每一帧都采用同样的尺度采样机制，不仅会降低目标跟踪算法的实时性，而且受限于尺度因子的固定性，当遇到尺度变化较大的情况下，根据固定尺度因子往往是很难准确估计目标在该帧图像中的尺度，从而降低了现有跟踪方法跟踪目标的准确性，常导致目标跟踪失败或仅获取目标局部图像，目标不完整的情况。
发明内容
根据本申请的一个方面，提供了一种基于滤波跟踪算法的目标尺度确定方法，该方法有效解决了现有基于滤波算法的目标跟踪方法，在应对目标尺度发生较大变化情况下，目标跟踪准确性低的问题，该方法能根据每一帧图像中目标在其中尺度变化的情况，确定框选对象，避免目标丢失、结果不准确和不完整。
所述基于滤波跟踪算法的目标尺度确定方法，包括以下步骤：
步骤S200：根据初始化帧It、位置Pt和尺度St-1，采用训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
步骤S300：根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
步骤S400：根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
步骤S500：采用所述尺度因子current_size得到估计尺度target_sz#＝target_sz*current_size。
可选的，所述步骤S200前还包括：步骤S100：指定含跟踪目标的第i帧图像作为初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练所述相关性滤波器，得到所述训练滤波器；
所述步骤S500中还包括根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数。
可选的，所述步骤S400包括以下步骤：若所述最大值c_max为最大值，则所述尺度因子current_size＝1。
可选的，所述步骤S400包括以下步骤：
步骤S410：若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S420：比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则重复步骤S410直至所述最大值l_max最大。
可选的，所述步骤S400包括以下步骤：
步骤S430：若所述最大值r_max为最大，设尺度变化梯度step＝j，依据floor((target_sz*(1+g))*(r+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S440：比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则重复步骤S430直至所述最大值r_max最大。
可选的，所述重复步骤S410的步骤重复次数为5次；所述重复步骤S430的步骤重复次数为5次。
可选的，所述l比例独立地选自0.97～1范围内；所述r比例独立地选自1～1.03范围内。
本发明的又一方面提供了一种基于相关性滤波跟踪算法的目标尺度估计装置，包括：
提取初始响应图模块，用于根据所述初始化帧It、所述位置Pt和所述尺度St-1，采用训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
缩放模块，用于根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
尺度因子模块，用于根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
更新尺度因子模块，用于采用所述尺度因子current_size得到估计尺度target_sz#＝target_sz*current_size。
可选的，还包括：
训练滤波器模块，用于指定含跟踪目标的第i帧图像作为初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练所述相关性滤波器，得到所述训练滤波器；
所述更新尺度因子模块还包括：填充模块，所述填充模块，用于根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数。
可选的，所述尺度因子模块包括：
第一更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
第一循环模块，用于比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则循环至所述第一更新响应模块直至所述最大值l_max最大。
可选的，所述尺度因子模块包括：
第二更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
第二循环模块，用于比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则循环至所述第二更新响应模块直至所述最大值r_max最大。
本发明的有益效果包括但不限于：
(1)本发明所提供的基于相关性滤波跟踪算法的目标尺度估计方法及其装置，采用非固定尺度因子数量的尺度，并根据跟踪所得目标大小进行填充采样来训练和检测并更新滤波器进行目标跟踪，能有效解决相关滤波跟踪算法在处理变尺度目标跟踪时，容易跟丢目标或获取的目标图像不完整的尺度问题。
(2)本发明所提供的基于相关性滤波跟踪算法的目标尺度估计方法及其装置，有效解决了跟踪过程中的变尺度问题，提高跟踪算法的鲁棒性。可以应用在任何相关滤波跟踪算法来处理尺度变化。也可以嵌入任何相关滤波跟踪算法当中。
附图说明
图1是本发明提供的基于相关性滤波跟踪算法的目标尺度估计方法的流程示意框图；
图2是本发明提供的基于相关性滤波跟踪算法的目标尺度估计方法比较过程流程示意图；
图3是本发明提供的基于相关性滤波跟踪算法的目标尺度估计装置的结构示意图；
图4是本发明优选实施例1和对比例1～3中所处理初始帧图像示意图，图中选框由人工指定，其中(a)为采用对比例1～3中方法跟踪车辆的初始帧，(b)为采用优选实施例1中方法跟踪玩具小狗头部的初始帧；
图5是本发明优选实施例1和对比例1～5中提供方法跟踪图4图像所得空间鲁棒性评估和时间鲁棒性评估结果示意图，其中，(a)为空间鲁棒性评估结果示意图，(b)为时间鲁棒性评估结果示意图；
图6是本发明优选实施例1和对比例1～3中提供方法跟踪图4图像所得跟踪结果示意图，其中(a)为采用对比例1～3中方法跟踪车辆第252帧跟踪结果，(b)为采用优选实施例1中方法跟踪第715帧跟踪结果。
具体实施方式
下面结合实施例详述本发明，但本发明并不局限于这些实施例。
参见图1，本发明提供的基于相关性滤波跟踪算法的目标尺度估计方法，包括以下步骤：
步骤S100：指定含跟踪目标的第i帧图像作为初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练所述相关性滤波器(Correlation Filter)，得到训练滤波器；此处的相关性滤波器(Correlation Filter)可以是CSK，KCF，CN等相关滤波跟踪算法。
步骤S200：根据所述初始化帧It、所述位置Pt和所述尺度St-1，采用所述训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
此步骤中响应图具体得到过程为：根据上一帧的位置和尺度信息，对第i+1帧图像进行填充后密集采样得到的采样集，对采样集中的每个样本计算回归值，回归值组成的矩阵即为响应图。此处的响应图最大值是指响应图矩阵中的最大数值。
步骤S300：根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
步骤S400：根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
步骤S500：采用所述尺度因子current_size的估计尺度target_sz#＝target_sz*current_size。
优选的，所述步骤S400包括以下步骤：若所述最大值c_max为最大值，则所述尺度因子current_size＝1。
参见图2，优选的，所述步骤S400包括以下步骤：
步骤S410：若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S420：比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则重复步骤S410直至所述最大值l_max最大。为防止死循环，优选的所述步骤S420中的循环次数为5次。
图2中的具体参数为具体实施例中所用参数。
本发明提供的方法通过不断的检测响应图中的最大值是否为缩放后的搜索框得到的目标，实现由粗到细的对搜索框进行调整，既保证的实施效率，由保证的对变尺度目标的准确追踪。
若最大值l_max为最大，说明更新搜索框框选位置即为响应图最大的位置，输出current_size＝l(具体实施例中l＝0.98)+step–j(具体实施例中l＝0.02)。
本文所有公式中floor表示向下取整。此情况下说明所述第i+1帧图像中目标尺度缩小。
优选的，所述步骤S400包括以下步骤：
步骤S430：若所述最大值r_max为最大，设尺度变化梯度step＝j，依据floor((target_sz*(1+g))*(r+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S440：比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则重复步骤S430直至所述最大值r_max最大。为防止死循环，优选的所述步骤S440中的循环次数为5次。
优选的，所述步骤S500中还包括根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数
在上述采样过程中按照变动后的目标尺度进行填充形成搜索框，采样所得图像按滤波器输入尺寸要求进行缩放处理，以提高输出结果的相关性。
该方法通过对相关性滤波器所得响应点进行由粗到细的快速尺度自适应调整，能在得到目标的最优位置后独立地评估目标尺度。从而避免在各帧图像之间目标尺度变化过大，导致目标丢失、目标不完整的情况发生。该方法可以嵌入到基于相关性滤波的跟踪方法中进行快速尺度评估。
初始化帧中的位置Pt和目标的尺度St-1可以为手动框出，训练相关性滤波器，在后续帧中根据初始帧得到的训练滤波器进行目标检测。
优选的，所述l比例独立地选自0.97～1范围内；所述r比例独立地选自1～1.03范围内。
优选的，所述步骤S300中，在分别进行l比例的收缩和r比例的放大后，提取样本集，缩放样本集中的样本至滤波器输入所需尺寸。
相关滤波跟踪算法一般分为：训练滤波器，快速检测，模型更新得到目标新的位置，在新的位置上对目标框进行尺度因子[0.98,1,1.02](此处为距离说明，便于描述)的填充采样后使用mexResize方法进行缩放到滤波器相同的大小，(也就是第一帧中根据目标大小base_target_sz进行填充base_target_sz*(1+padding)，padding＝1.5)；
对每个尺度所采的样本使用上一帧得到的滤波器进行检测得到各自的响应图，取三个尺度中的响应图最大值得那个作为目标尺度变化的方向，如果是中间的，尺度保持不变，假如是0.98，说明尺度是变小了，为了避免尺度因子数目固定化，通过在粗略的确定目标变化的方向后，在这方向上按梯度0.02(尺度变小就是-0.02)进行迭代求响应图的最大值进行比较，取最大响应图值的那个梯度，得到更新后的尺度因子。
根据这三个尺度因子采样确定尺度变化的方向后，如果中值尺度因子的最大，则无需继续采样，提高了算法速度。当跟踪序列尺度不变化，或变化很少时，跟踪效率高跟踪准确度好。
而且受限于固定的尺度因子数目，当目标发生大尺度的变化时，尺度估计会失败。针对大多数跟踪算法无法解决尺度变化问题和现有尺度解决方案存在冗余和固定的问题。论文中提出了一个基于相关滤波框架快速和新颖地解决尺度估计方法。
根据自适应的方式得到的尺度因子更新目标尺度和搜索框，在每次采样时都根据所得到的搜索框进行采样后使用mexResize缩放回初始化帧固定的搜索框生成的滤波器的大小，滤波器大小固定。对于滤波器的更新也是使用变动的目标尺度采样进行线性更新。
参见图3，本发明的又一方面还提供了一种基于相关性滤波跟踪算法的目标尺度估计装置，包括：
提取初始响应图模块200，用于根据所述初始化帧It、所述位置Pt和所述尺度St-1，采用训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
缩放模块300，用于根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
尺度因子模块400，用于根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
更新尺度因子模块500，用于采用所述尺度因子current_size得到估计尺度target_sz#＝target_sz*current_size。
优选的，还包括：
训练滤波器模块，用于指定含跟踪目标的第i帧图像作为初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练所述相关性滤波器，得到所述训练滤波器；
所述更新尺度因子模块500还包括：填充模块，所述填充模块，用于根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数。
优选的，所述尺度因子模块400包括：
第一更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数
第一循环模块，用于比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则循环至所述第一更新响应模块直至所述最大值l_max最大。
优选的，所述尺度因子模块400包括：
第二更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
第二循环模块，用于比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则循环至所述第二更新响应模块直至所述最大值r_max最大。
以下结合具体实施例1对本发明提供的方法进行详细说明：
本发明优选实施例以及对比例1～5中均按以下条件进行：使用了HOG特征，特征的单元大小为4×4，方向设置为9。目标填充为1.5，归一化参数为1e-4,期望输出标准差为0.1，高斯函核大小为0.5，学习率设置为0.02。
从OTB-100挑选出25个基准序列，其中16个基准序列包含尺度变化属性。如图4所示为跟踪序列的第一帧图示，红色框为跟踪目标的位置，如表1所示为序列属性。实验的软件平台为Matlab R2016b，硬件平台均为Intel(R)Core(TM)i7-4790 CPU@3.60GHZ,8GB内存的台式机上完成。
表1
| 视频序列 | 总拍摄帧数 | 序列属性 |
| 汽车尺度(如图4(a)) | 252 | SV,OCC,FM,IPR,OPR |
| 玩具狗(如图4(b)) | 1350 | SV,IPR,OPR |
注表1中：IV为光照变化、SV为尺度变化、OCC为遮挡、DEF为变形、MB为运动模糊、FM为快速运动、IPR为平面内旋转、OPR为平面外旋转、OV为视野外、BC为背景混乱、LR为低分辨率。
实施例1采用基于相关性滤波跟踪算法的目标尺度估计方法的目标跟踪方法
本发明提供方法与跟踪算法相结合对如图4中所示图像中的目标进行跟踪，作为实施例11，包括以下步骤：
算法1：基于相关性滤波跟踪算法的目标尺度估计方法：在时间t上进行尺度估计
输入：
初始帧It，目标的位置Pt和所述目标的尺度St-1，模型大小window_sz
模型参数
响应图最大值c_max
输出：
尺度因子Sfactor
1:根据Pt和St-1按尺度因子0.985,1.015分别提取尺度样本zscale和缩放到window_sz大小。
2:将zscale，
分别带入公式：
其中,
表示x的傅里叶变换，⊙表示点乘操作,
表示逆傅里叶变换,
为
的共轭，kxx'为在高维空间
的x与x'的互相关，||x'||2为x'各元素的平方和，δ为高斯核的宽度参数，f(z)为回归函数，
为傅里叶域x与z的核相关，可以称之为核互相关，
为傅里叶域滤波系数。Pt为响应图最大值的位置.
3:比较l_max，c_max，r_max的大小。
4:如果c_max最大，Sfactor＝1；
5:如果l_max最大，设置step＝-0.015求得尺度因子，执行步骤1和2求得响应图的最大值与l_max比较，如果l_max最大，循环终止，否则循环执行5，循环迭代次数设置最大为5，Sfactor＝0.985+step+0.015。
6:如果r_max最大，设置step＝0.015求得尺度因子，执行步骤1和2求得响应图的最大值与r_max比较，如果r_max最大，循环终止，否则循环执行6，循环迭代次数设置最大为5，Sfactor＝1.015+step-0.015。
算法2：快速尺度自适应目标跟踪算法：在时间t上进行尺度估计
输入：
图像It，位置Pt-1和尺度St-1，模型大小window_sz,Sfactor
模型参数
输出
位置Pt和尺度St，模型参数
和
位置评估：
1:根据Pt-1和St-1从It中提取样本z并缩放到window_sz大小。
将z，
带入公式：
和
中求得响应图，响应图最大值为c_max。
尺度评估：
1:嵌入算法1中所用尺度估计方法
2:St＝St-1*Sfactor
模型更新：
1:根据Pt和St从It中提取样本zscale和缩放到window_sz大小。
2:根据公式(10)：
(11)：
其中，η是学习率更新
对比例1为CSK跟踪算法，按现有文献中公开的方法对图4(a)中目标进行跟踪。
对比例2为CN跟踪算法。按现有文献中公开的方法对图4(a)中目标进行跟踪。
对比例3为KCF跟踪算法中的方法；按现有文献中公开的方法对图4(a)中目标进行跟踪。
对比例4为DSST跟踪算法中的方法；按现有文献中公开的方法对图4(a)中目标进行跟踪。
对比例5为SAMF跟踪算法中的方法；按现有文献中公开的方法对图4(a)中目标进行跟踪。
对比例1～5中均未对跟踪目标进行尺度调整。对实施例1和对比例1～5中所得结果分别进行一次通过的评估(OPE)，空间鲁棒性评估(SRE)和时间鲁棒性评估(TRE)，实施例1和对比例1～5处理所得空间鲁棒性评估和时间鲁棒性评估结果如图5所示。实施例1所得结果为FSAKCF与KCF相比，精度图上的OPE，SRE，TRE分别提高了8.9％，7.4％，6.8％，成功图上的OPE，SRE，TRE分别提高了6.6％，6.7％，5.8％。从精度图中可看出，实施例1的平均DP均超过DSST，SAMF，并且实施例1中方法的处理速度达到实时，是DSST的3倍，SAMF的6倍。对比例4对图4(a)的跟踪速度为50～75fps，对比例5对图4(a)的跟踪速度为125～250fps。
采用对比例1～3中的方法对图4中的(a)图中的汽车进行跟踪，跟踪至第252帧时，所得结果如图6(a)所示，所得框选出的目标不完整，而且对比图4(a)和图6(a)可知，相对初始帧，在地252帧中汽车尺度发生较大变化，采用对比例1～3中提供的方法均无法框选跟踪获取完整的目标。
采用本发明提供尺度确定方法的优选实施例1对图4中的(b)图中的玩具狗头部进行跟踪，跟踪至第715帧时，所得结果如图6中(b)所示，由图可见，图6(b)中玩具狗的尺度发生改变，但本发明优选实施例1仍然可较准确的框选追踪出狗的完整结构，框选准确且完整。
由图4和6可见，采用对比例1～3中的方法，当前后两帧图像中目标尺度变化较大时，无法跟踪得到准确、完整的目标。本发明提供方法所得跟踪结果如图5(b)所示，所得目标完整，准确。本发明提供的方法能根据目标在不同帧图像之间尺度的较大变化，及时进行调整，完整追踪得到相应目标。
本发明提供的方法与现有能处理尺度变化情况的跟踪方法相比，本发明提供方法跟踪结果中心位置精度得到了提升。实时性作为目标跟踪非常重要的衡量标准，同时本发明提供方法跟踪实时性优于对比例4～5，本发明提供方法的跟踪速度为25fps以上，跟踪速度分别是DSST、SAMF的2～3倍和5～10倍。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (10)
1.一种基于相关性滤波跟踪算法的目标尺度估计方法，其特征在于，包括以下步骤：
步骤S200：根据初始化帧It、位置Pt和尺度St-1，采用训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
步骤S300：根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
步骤S400：根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
步骤S500：采用所述尺度因子current_size得到估计尺度target_sz#＝target_sz*current_size。
2.根据权利要求1所述的基于相关性滤波跟踪算法的目标尺度估计方法，其特征在于，所述步骤S200前还包括：步骤S100：指定含跟踪目标的第i帧图像作为所述初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练相关性滤波器，得到所述训练滤波器；
所述步骤S500中还包括根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数。
3.根据权利要求1所述的基于相关性滤波跟踪算法的目标尺度估计方法，其特征在于，所述步骤S400包括以下步骤：若所述最大值c_max为最大值，则所述尺度因子current_size＝1。
4.根据权利要求1所述的基于相关性滤波跟踪算法的目标尺度估计方法，其特征在于，所述步骤S400包括以下步骤：
步骤S410：若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S420：比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则重复步骤S410直至所述最大值l_max最大。
5.根据权利要求1所述的基于相关性滤波跟踪算法的目标尺度估计方法，其特征在于，所述步骤S400包括以下步骤：
步骤S430：若所述最大值r_max为最大，设尺度变化梯度step＝j，依据floor((target_sz*(1+g))*(r+step))更新所述搜索框对所述第i+1帧图像按步骤S300进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
步骤S440：比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则重复步骤S430直至所述最大值r_max最大。
6.根据权利要求4或5所述的基于相关性滤波跟踪算法的目标尺度估计方法，所述l比例独立地选自0.97～1范围内；所述r比例独立地选自1～1.03范围内。
7.一种基于相关性滤波跟踪算法的目标尺度估计装置，其特征在于，包括：
提取初始响应图模块，用于根据所述初始化帧It、所述位置Pt和所述尺度St-1，采用训练滤波器对第i+1帧图像进行目标检测，得到响应图，提取所述响应图的最大值c_max、最大位置pos和最大尺度target_sz；
缩放模块，用于根据所述最大位置pos与所述最大尺度target_sz，在所述最大位置pos附近对搜索框分别进行比例l的收缩和比例r的放大，采用所述训练滤波器进行检测得到收缩响应图和放大响应图，分别提取所述收缩响应图中的最大值l_max和所述放大响应图中的最大值r_max，确定所述最大值l_max、所述最大值c_max和所述最大值r_max中的最大值；
尺度因子模块，用于根据确定的最大值、所述比例l和所述比例r得到尺度因子current_size；
更新尺度因子模块，用于采用所述尺度因子current_size得到估计尺度target_sz#＝target_sz*current_size。
8.根据权利要求7所述的基于相关性滤波跟踪算法的目标尺度估计装置，其特征在于，还包括：
训练滤波器模块，用于指定含跟踪目标的第i帧图像作为初始化帧It，确定所述初始帧It中所述目标的位置Pt和所述目标的尺度St-1，采用初始化帧It训练相关性滤波器，得到所述训练滤波器；
所述更新尺度因子模块还包括：填充模块，所述填充模块，用于根据所述估计尺度target_sz#、更新目标位置和所述尺度因子current_size得到目标，进行填充、采样后，更新所述训练滤波器参数。
9.根据权利要求7所述的基于相关性滤波跟踪算法的目标尺度估计装置，其特征在于，所述尺度因子模块包括：
第一更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
第一循环模块，用于比较所述更新最大值与所述最大值l_max，如果所述最大值l_max最大，输出current_size＝l+step–j，如果所述更新最大值最大，则循环至所述第一更新响应模块直至所述最大值l_max最大。
10.根据权利要求7所述的基于相关性滤波跟踪算法的目标尺度估计装置，其特征在于，所述尺度因子模块包括：
第二更新响应模块，用于若所述最大值l_max为最大，设尺度变化梯度step＝-j，依据floor((target_sz*(1+g))*(l+step))更新所述搜索框对所述第i+1帧图像按所述缩放模块进行采样、缩放、检测得到更新响应图并提取所述更新响应图中的更新最大值，其中，g为目标填充参数；
第二循环模块，用于比较所述更新最大值与所述最大值r_max，如果所述最大值r_max最大，输出current_size＝r+step+j，如果所述更新最大值为最大，则循环至所述第二更新响应模块直至所述最大值r_max最大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810613735.XA CN109087333B (zh) | 2018-06-14 | 2018-06-14 | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810613735.XA CN109087333B (zh) | 2018-06-14 | 2018-06-14 | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109087333A CN109087333A (zh) | 2018-12-25 |
| CN109087333B true CN109087333B (zh) | 2020-07-31 |
Family
ID=64839605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810613735.XA Active CN109087333B (zh) | 2018-06-14 | 2018-06-14 | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109087333B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978923B (zh) * | 2019-04-04 | 2020-12-08 | 杭州电子科技大学 | 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 |
| CN109993776B (zh) * | 2019-04-04 | 2020-12-11 | 杭州电子科技大学 | 一种基于多级模板的相关滤波目标跟踪方法及系统 |
| CN112489077A (zh) * | 2019-09-12 | 2021-03-12 | 阿里巴巴集团控股有限公司 | 目标跟踪方法、装置及计算机系统 |
| CN111210461B (zh) * | 2019-12-30 | 2023-06-02 | 成都慧视光电技术有限公司 | 一种自适应尺度变化的实时相关滤波跟踪算法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9401161B1 (en) * | 2015-03-11 | 2016-07-26 | Seagate Technology Llc | Magnetic read head with multiple read transducers each having different design characteristics |
| CN107452022A (zh) * | 2017-07-20 | 2017-12-08 | 西安电子科技大学 | 一种视频目标跟踪方法 |
| CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
| CN107644217A (zh) * | 2017-09-29 | 2018-01-30 | 中国科学技术大学 | 基于卷积神经网络和相关滤波器的目标跟踪方法 |
-
2018
- 2018-06-14 CN CN201810613735.XA patent/CN109087333B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9401161B1 (en) * | 2015-03-11 | 2016-07-26 | Seagate Technology Llc | Magnetic read head with multiple read transducers each having different design characteristics |
| CN107452022A (zh) * | 2017-07-20 | 2017-12-08 | 西安电子科技大学 | 一种视频目标跟踪方法 |
| CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
| CN107644217A (zh) * | 2017-09-29 | 2018-01-30 | 中国科学技术大学 | 基于卷积神经网络和相关滤波器的目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Discriminative Scale Space Tracking";Martin Danelljan等;《arXiv:1609.0614v1》;20160920;全文 * |
| "快速尺度估计的核相关滤波目标跟踪";丁建伟;《科学技术与工程》;20170531;第17卷(第15期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109087333A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087333B (zh) | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 | |
| CN107680119A (zh) | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 | |
| CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN106845374A (zh) | 基于深度学习的行人检测方法及检测装置 | |
| CN108734723A (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN111275749A (zh) | 图像配准及其神经网络训练方法及装置 | |
| WO2005111936A1 (ja) | パラメタ推定方法、パラメタ推定装置および照合方法 | |
| CN111354043A (zh) | 一种基于多传感器融合的三维姿态估计方法及装置 | |
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| WO2020114329A1 (zh) | 磁共振快速参数成像方法及装置 | |
| CN101271520A (zh) | 一种确定图像中的特征点位置的方法及装置 | |
| CN109410246B (zh) | 基于相关滤波的视觉跟踪的方法及装置 | |
| CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN111583300A (zh) | 一种基于富集目标形态变化更新模板的目标跟踪方法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| CN111429481B (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
| CN113379788A (zh) | 一种基于三元组网络的目标跟踪稳定性方法 | |
| CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
| CN107590820B (zh) | 一种基于相关滤波的视频对象追踪方法及其智能装置 | |
| CN113111850B (zh) | 基于感兴趣区域变换的人体关键点检测方法、装置与系统 | |
| CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN112348847B (zh) | 一种目标尺度自适应跟踪方法 | |
| CN114581340A (zh) | 一种图像校正方法及设备 | |
| CN114581549A (zh) | 一种基于二维超声图像的四维超声重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |