CN110246155A - 一种基于模型交替的抗遮挡目标跟踪方法及系统 - Google Patents
一种基于模型交替的抗遮挡目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN110246155A CN110246155A CN201910412999.3A CN201910412999A CN110246155A CN 110246155 A CN110246155 A CN 110246155A CN 201910412999 A CN201910412999 A CN 201910412999A CN 110246155 A CN110246155 A CN 110246155A
- Authority
- CN
- China
- Prior art keywords
- response
- current frame
- target
- model
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 claims abstract description 154
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 31
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract description 3
- 238000005314 correlation function Methods 0.000 abstract description 3
- 238000010606 normalization Methods 0.000 abstract 1
- 230000001568 sexual effect Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于模型交替的抗遮挡目标跟踪方法及系统，利用全局模型和分块模型交替使用的方法，在全局模型中使用多特征融合定位，在分块模型中使用多子块融合定位，最终实现抗遮挡的目标跟踪。本发明通过结合全局模型与分块模型的互补性优势以解决目标遮挡问题，跟踪准确率高，又可避免同时运行两个模型导致的耗时过长；通过对跟踪响应进行置信度评估，利用归一化峰值旁瓣比衡量响应分布的稳定性，利用相邻两帧的响应图的归一化互相关系数衡量跟踪状态的时域稳定性，结合两者准确地度量了跟踪响应的置信度，将所述置信度与预设阈值比较实现了模型交替条件的有效判断。
Description
技术领域
本发明属于图像目标跟踪技术领域，更具体地，涉及一种基于模型交替的抗遮挡目标跟踪方法及系统。
背景技术
目标跟踪技术在视觉制导、空中交通管制、无人机反制等众多应用范围内都发挥着重要作用，具有突出的科学研究意义和广泛的工程应用前景。尤其是随着应用场景的多样化，目标跟踪算法的准确性和鲁棒性需求也显得日益重要。
从特征表征范围考虑，目标跟踪模型可以分为全局模型和局部分块模型。全局模型通过提取目标的全局视觉特征，能有效应对目标快速运动、姿态变化以及相似背景干扰等情况。但全局模型对目标整体建模，难以处理目标遮挡问题。而局部分块模型通过将目标分为多个子块，能在发生遮挡时利用未被遮挡的子块实现抗遮挡跟踪。但局部分块模型只考虑了目标局部信息，未能有效利用目标整体信息，导致模型在目标快速运动或相似背景干扰等情况下容易产生跟踪漂移。
常用的目标跟踪方法通常仅使用全局模型或者局部分块模型。使用单模型的跟踪方法受限于模型的固有缺陷，而难以对不同干扰因素都具有鲁棒性。为了结合两种模型，部分跟踪方法在跟踪过程中先使用全局模型粗定位，再使用局部分块模型精定位。此类方法将两种模型串联使用，并不能充分挖掘模型之间的互补性优势，并且同时使用两种模型存在运算量大，耗时长的问题。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于模型交替的抗遮挡目标跟踪方法及系统，旨在解决现有单模型跟踪方法对跟踪干扰因素的适应性不足的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于模型交替的抗遮挡目标跟踪方法，包括以下步骤：
(1)获取待跟踪图像序列初始帧，通过标定确定初始目标区域；
(2)以目标区域作为样本区域，提取颜色名(CN，Color Name)特征、方向梯度直方图(HOG，Histograms of Oriented Gradients)特征、局部二值模式(LBP，Local BinaryPattern)特征得到训练样本，利用分配好标签的训练样本训练全局模型，得到模型参数；
(3)获取下一帧图像作为当前帧，提取当前帧图像样本区域的三种特征，利用全局模型计算当前帧在上一帧样本区域内各个位置处的响应值，形成响应图。将响应图中响应值最大的位置作为特征的响应峰值位置；
(4)根据响应图的归一化峰值旁瓣比NPSR和归一化互相关系数NCC得到当前帧响应峰值位置对应的响应置信度；
(5)若所有特征的响应置信度均小于第一阈值，则转入步骤(8)，否则利用响应置信度对响应峰值位置加权融合得到目标跟踪位置；
(6)以加权融合得到的目标跟踪位置为中心确定当前帧的目标区域，对当前帧的目标区域重复步骤(2)得到当前帧的模型参数，与上一帧的模型参数组合得到更新后的当前帧的模型参数；
(7)若当前图像帧数小于图像总帧数，则重复步骤(3)至(6)，否则结束跟踪；
(8)将上一帧作为初始帧，对目标区域进行分块得到N个子块；
(9)提取子块HOG特征得到各个子块的训练样本，训练N个分块模型得到模型参数，N为正整数；
(10)获取下一帧图像作为当前帧，提取当前帧图像子块区域的HOG特征，利用分块模型计算当前帧在上一帧各子块区域内所有位置处的响应值，形成各子块的响应图，将响应图中响应值最大的位置作为子块的响应峰值位置；
(11)根据响应图的归一化峰值旁瓣比和归一化互相关系数得到当前帧子块的响应峰值位置对应的响应置信度；
(12)若所有子块的响应置信度均大于第二阈值，则转入步骤(2)，否则利用响应置信度对N个子块的响应峰值位置加权融合得到目标跟踪位置；
(13)以子块响应峰值位置为中心确定当前帧的子块区域，对所述当前帧的子块区域重复步骤(9)得到当前帧的模型参数，与上一帧的模型参数组合得到更新后的当前帧的模型参数；
(14)若当前图像帧数小于图像总帧数，则重复步骤(10)至(13)，否则结束跟踪。
优选地，步骤(2)中利用分配好标签的训练样本训练全局模型，包括利用二维高斯函数为所述训练样本的目标中心位置坐标分配高斯函数值，作为核相关滤波器的训练样本标签。
优选地，步骤(4)中的响应置信度为归一化峰值旁瓣比NPSR和归一化互相关系数NCC取平均得到：
其中，PSR为峰值旁瓣比，NPSR为归一化峰值旁瓣比，NCC(Mt,Mt-1)为当前帧与上一帧响应图之间的归一化互相关系数，g为当前帧响应图的最大值，μ为当前帧响应图的均值，σ为当前帧响应图的标准差，Mt(x,y)和Mt-1(x,y)分别为当前帧和上一帧的响应图。
优选地，步骤(6)中所述得到当前帧的模型参数，与上一帧的模型参数组合包括线性插值组合模型参数，利用特征响应置信度的均值对插值系数加权，公式表达式为：
其中，α′、αt-1、αt分别表示当前帧的模型参数、上一帧的模型参数以及更新后的当前帧的模型参数，β表示插值系数，取固定值，表示响应置信度的均值。
优选地，步骤(12)中利用所述响应置信度对N个子块的响应峰值位置加权融合得到目标跟踪位置，包括设置第三阈值τ，降低响应置信度小于所述第三阈值的子块对融合结果的影响。
按照本发明的另一方面，提供了一种基于上述方法的抗遮挡目标跟踪系统，包括全局模块和分块模块；
全局模块包括：
第一标定单元，用于获取待跟踪图像序列，标定待跟踪目标给出目标位置所处的目标区域；
第一提取单元，用于将目标区域作为样本区域，提取特征得到训练好的模型参数；
第一目标检测单元，用于计算当前帧的响应图、响应峰值位置与响应置信度；
第一判断单元，用于判断当前帧的响应置信度是否小于第一阈值，若当前帧的响应置信度小于第一阈值，则认为跟踪结果正确，返回当前帧的目标跟踪位置，同时以当前帧的目标跟踪位置更新当前帧的模型参数，若当前帧的响应置信度大于等于第一阈值，则转入分块模块；
分块模块包括：
第二标定单元，用于对目标区域进行分块得到子块；
第二提取单元，用于提取子块特征得到训练好的模型参数；
第二目标检测单元，用于计算当前帧的子块的响应图、响应峰值位置与响应置信度；
第二判断单元，用于判断当前帧的响应置信度是否大于第二阈值，若当前帧的响应置信度大于第二阈值，则转入全局模块，若当前帧的响应置信度小于等于第二阈值，则认为跟踪结果正确，对所有子块的响应峰值位置融合返回当前帧的目标跟踪位置，同时以当前帧的目标跟踪位置更新当前帧的模型参数。
优选地，第一阈值、第二阈值和第三阈值均为预设值。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下
有益效果：
1、本发明提供的基于模型交替的抗遮挡目标跟踪方法利用模型交替的机制，当其中一个模型无法适应当前跟踪场景时，切换为另一个模型处理，既可通过结合全局模型与分块模型的互补性优势以解决目标遮挡问题，跟踪准确率高，又可避免同时运行两个模型导致的耗时过长；
2、本发明提供的基于模型交替的抗遮挡目标跟踪方法通过对跟踪响应进行置信度评估，利用归一化峰值旁瓣比衡量响应分布的稳定性，利用相邻两帧的响应图的归一化互相关系数衡量跟踪状态的时域稳定性，结合两者准确地度量了跟踪响应的置信度，将所述置信度与预设阈值比较实现了模型交替条件的有效判断；
3、本发明提供的基于模型交替的抗遮挡目标跟踪方法利用三种不同特征的跟踪响应获取全局模型的跟踪结果，增强了模型对不同跟踪环境的适应性，并在响应融合时使用响应的置信度加权，增强了跟踪结果的准确性与鲁棒性；
4、本发明提供的基于模型交替的抗遮挡目标跟踪方法利用平均置信度对模型更新的插值系数加权，以动态地调节模型更新速率，避免跟踪状态不稳定时模型更新过快而引入干扰信息。
附图说明
图1是本发明提供的基于模型交替的抗遮挡目标跟踪方法的流程示意图；
图2是本发明提供的抗遮挡目标跟踪方法获取全局模型参数的流程示意图；
图3是本发明提供的抗遮挡目标跟踪方法获取目标响应峰值位置的流程示意图；
图4是本发明提供的抗遮挡目标跟踪方法全局模型中模型交替的示意图；
图5是本发明提供的抗遮挡目标跟踪方法分块模型中模型交替的示意图；
图6是本发明提供的抗遮挡目标跟踪方法的效果示意图；
图7是本发明提供的抗遮挡目标跟踪方法与现有技术精确度对比图；
图8是本发明提供的抗遮挡目标跟踪方法与现有技术成功率对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1所示为本发明基于模型交替的抗遮挡目标跟踪方法的流程图，包括如下步骤：
(1)将序列图像初始帧中人为标定的区域作为初始目标区域。
(2)以目标区域作为样本区域，提取CN特征、HOG特征、LBP特征得到训练样本，其中，CN特征具有对目标尺度变化和目标形变不敏感的优点，HOG特征具有对阴影和光照变化不敏感的优点，LBP特征具有图像噪声不敏感的优点；利用分配好标签的三类训练样本训练全局模型，得到模型参数；
在此全局模型中，核相关滤波器使用二维高斯函数为训练样本的每个坐标位置添加标签以用于训练，如图2所示，二维高斯函数的中心与目标中心位置重合，偏离中心越远的位置处，其标签值越低。具体计算方式为：
其中，(x,y)表示样本区域内任意点的坐标，G(x,y)表示样本标签，γ是二维高斯函数的带宽因子。
训练核相关滤波器实质上是利用训练样本和样本标签求解一个带正则化的回归问题。其目的在于求解一个最优的模型参数h，使回归的损失函数最小。该最优化问题定义为：
其中，X表示训练样本；G表示样本标签；λ表示正则化因子，用于控制模型复杂程度。该问题可利用求导获取模型关于参数h的闭式解：
h＝(XTX+λI)-1XTG
其中，I表示单位矩阵。
利用该方法直接获取的模型是一种线性模型，而实际目标跟踪问题大多属于非线性问题，仅依赖这种线性模型难以适应实际复杂情况。针对该问题，通过引入非线性映射函数和核函数可在高维空间求解模型最优估计。
模型参数h可表示为输入样本非线性映射后的线性组合，即：
其中，组合系数α是未知量，可利用代入消元法将模型关于参数h的闭式解等效为模型关于参数α的闭式解，即：
利用离散傅立叶变换将复杂的矩阵求逆运算转换为频域的矩阵元素相除运算，得到参数α的频域解：
其中^表示离散傅立叶变换；表示利用样本X在频域获取的核函数。当使用高斯核函数时，的具体计算方式为：
其中，F-1表示离散逆傅立叶变换；表示矩阵元素点乘运算；σ表示核函数的带宽因子。
对取傅立叶逆变换即可获取模型参数α。在本发明中使用相同的方式为每一种特征的样本训练一个核相关滤波器，从而获取全局模型初始参数。
(3)获取下一帧图像作为当前帧，在上一帧的目标位置处提取当前帧图像区域的CN特征、HOG特征和LBP特征，形成三类测试样本，利用训练好的核相关滤波器预测测试样本的响应，如图3所示；
首先计算测试样本与训练样本在频域的核互相关函数：
其中，X表示模型训练时的训练样本；Z表示测试样本。
利用训练所得的模型参数α与核互相关函数可计算响应图M：
将响应图M中取值最大的位置作为响应峰值位置P。利用相同方法，可获取不同特征的响应图M与响应峰值位置P。
统计当前第t帧图像的刻响应图Mt的最大值g、均值μ与标准差σ，则响应图的峰值旁瓣比PSR的计算方式为：
PSR度量了响应图分布的稳定性，反映了跟踪状态的置信程度。跟踪环境稳定时，目标中心位置比周围位置的响应值大，响应图分布的单峰性强，响应的PSR值大。因而，当PSR值越大表示跟踪响应的置信程度越高。但PSR值可取任意正整数，其值域范围过大，不利于确定合适的置信度阈值。本发明将PSR值归一化至[0,1]范围，获取归一化峰值旁瓣比NPSR，即：
PSR与NPSR仅利用了当前帧图像的响应图的分布信息，本发明利用跟踪过程具有连续性的特点，挖掘相邻两帧图像的响应图之间存在的潜在联系，以实现更准确的置信度评估方式。本发明利用归一化互相关系数NCC衡量当前帧图像的响应图Mt与上一帧图像的响应图Mt-1的相似程度，计算方式为：
NCC的值域范围为[0,1]。其值越低表示相邻两帧的响应图相似程度低，跟踪状态发生变化的概率大，跟踪响应的置信度低。
将NPSR和NCC取平均可获取响应置信度R。利用相同方法可获取不同特征的响应置信度R。
(4)将不同特征的响应置信度与预设的第一阈值比较，以实现模型交替判断。当所有的响应置信度都小于第一阈值时，表示全局模型中所有特征均无法较好地处理当前干扰状况，转入步骤(8)切换至分块模型处理。否则，继续使用全局模型进行多特征融合定位跟踪，图4示出了本发明全局模型中模型交替的方式。
(5)利用不同特征的响应置信度对相应的响应峰值位置加权融合，获取融合后的目标位置，计算方式为：
其中，P表示融合后的目标跟踪位置；Pi和Ri分别表示各个特征的跟踪响应位置与置信度；N＝∑iRi表示归一化系数。
(6)以融合后的目标跟踪位置为中心重新确定当前帧的目标区域，对所述目标区域重复步骤(2)得到当前帧的模型参数，与上一帧的模型参数组合得到更新后的当前帧的模型参数。
现有的跟踪方法中使用固定插值系数组合模型参数，具体方式为：
αt＝(1-β)αt-1+βα′
其中，α′、αt-1、αt分别表示当前帧的模型参数、上一帧的模型参数以及更新后的当前帧的模型参数；β表示固定插值系数，用于控制模型更新速率；
采用固定的插值系数无法调节模型更新速率。当跟踪不稳定时，过大的更新速率容易使模型引入错误的干扰信息，进而导致后续跟踪漂移。本发明充分考虑跟踪状态的置信程度，使用响应置信度的均值对插值系数加权，实现模型更新速率的自适应调整。具体更新方式为：
其中，表示不同特征对应的响应置信度的平均值。
(7)对全局模型进行更新后，若当前图像帧数小于图像总帧数，则重复步骤(3)至(6)，否则结束跟踪。
(8)分块模型将上一帧图像中目标区域作为分块模型的初始目标区域。利用目标区域的宽高比将目标分为多个子块，对每个子块区域训练一个核相关滤波器。
具体应用中，当目标宽高比小于阈值T1时，使用垂直二分块方式；当目标宽高比大于阈值T2时，使用水平二分块方式；否则，使用四分块方式。
由整体目标区域可确定目标中心位置，由各子块区域可确定各子块中心位置。将目标中心位置减去子块中心位置得到子块中心相对目标中心的坐标偏移量Δ0。
(9)提取各个子块区域的HOG特征，作为各个子块的训练样本，为每个子块训练一个核相关滤波器，得到模型参数α。
(10)获取下一帧图像作为当前帧，利用训练好的核相关滤波器计算当前帧在上一帧各子块区域的响应图与响应峰值位置。
(11)根据响应图的归一化峰值旁瓣比NPSR和归一化互相关系数NCC得到当前帧子块的响应峰值位置对应的响应置信度。
(12)将不同子块的响应置信度与预设的第二阈值比较，以实现模型交替判断。当子块的响应置信度都大于第二阈值时，表示目标整体的跟踪状态已稳定，而全局模型能对目标整体进行更准确的跟踪，故此时转入步骤(2)，以切换至全局模型处理。否则继续使用分块模型对不同子块进行融合定位跟踪，图5示出了本发明分块模型中模型交替的方式。
(13)利用子块的响应置信度对子块响应峰值位置进行加权获取目标跟踪位置，并通过设置第三阈值，降低置信度较低的子块对融合结果的影响。子块融合权重ωi的确定方式为：
其中，Ri表示子块的响应置信度，τ表示预设的第三阈值。
目标跟踪位置的计算方式为：
其中，P表示融合后的目标跟踪位置，Pi和ωi分别表示各个子块的响应峰值位置与融合权重，Δi-1表示上一帧中子块中心相对目标中心的坐标偏移量，N＝∑iωi表示归一化系数。
(14)以子块响应峰值位置为中心确定当前帧的子块区域，对所述子块区域重复步骤(9)得到当前帧的模型参数α′，与上一帧的模型参数αt-1组合得到更新后的当前帧的模型参数αt。本发明使用子块的响应置信度R对插值系数β加权，实现模型更新速率的自适应调整。具体更新方式为：
αt＝(1-βR)αt-1+βRα′
当前帧的目标中心为融合后的目标跟踪位置P，当前帧的子块中心为子块的响应峰值位置Pi，由P减去Pi以更新当前帧中子块中心相对目标中心的坐标偏移量，即：
Δi＝P-Pi
(15)对分块模型进行更新后，若当前图像帧数小于图像总帧数，则重复步骤(10)至(14)，否则结束跟踪。
本发明在跟踪处理时利用模型交替机制，有效结合了全局模型与分块模型的互补性优势，具有鲁棒性强的特点。在全局模型中使用多特征融合定位，在分块模型中使用多子块融合定位，增强了跟踪准确性。利用置信度评估机制度量跟踪响应的置信程度。在融合定位以及模型参数更新时使用置信度加权，使模型更新速率能够动态调整，实现更准确的融合定位以及更稳定的模型更新。
KCF(Kernelized Correlation Filters)与DSST(Discriminative Scale SpaceTracking)是两种经典的单模型目标跟踪算法。图6所示为本发明与KCF和DSST算法的跟踪效果对比示意图。对照图6可以看出，本发明提出的基于模型交替的抗遮挡跟踪方法能更有效地处理目标遮挡问题。图7为本发明方法与KCF和DSST算法的精确度对比图。图8为本发明方法与KCF和DSST算法的成功率对比图。对照图7和图8可以看出，本发明方法相对于传统单模型跟踪方法具有更高的精确度与成功率。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于模型交替的抗遮挡目标跟踪方法，其特征在于，包括以下步骤：
(1)获取待跟踪图像序列初始帧，通过标定确定初始目标区域；
(2)以所述目标区域作为样本区域，提取特征得到训练样本，利用分配好标签的训练样本训练全局模型，得到模型参数；
(3)获取下一帧图像作为当前帧，利用所述全局模型计算当前帧在上一帧样本区域内各个位置处的响应值，形成响应图，将所述响应图中响应值最大的位置作为特征的响应峰值位置；
(4)根据所述响应图的归一化峰值旁瓣比和归一化互相关系数得到当前帧响应峰值位置对应的响应置信度；
(5)若所有特征的响应置信度均小于第一阈值，则转入步骤(8)，否则利用所述响应置信度对响应峰值位置加权融合得到目标跟踪位置；
(6)以所述加权融合得到的目标跟踪位置为中心确定当前帧的目标区域，对所述当前帧的目标区域重复步骤(2)得到当前帧的模型参数，与上一帧的模型参数组合得到更新后的当前帧的模型参数；
(7)若当前图像帧数小于图像总帧数，则重复步骤(3)至(6)，否则结束跟踪；
(8)将上一帧作为初始帧，对目标区域进行分块得到N个子块；
(9)以各个子块为样本区域，提取子块特征得到各个子块的训练样本，训练N个分块模型得到模型参数，N为正整数；
(10)获取下一帧图像作为当前帧，利用所述分块模型计算当前帧在上一帧各子块区域内各个位置处的响应值，形成各子块的响应图，将所述响应图中响应值最大的位置作为子块的响应峰值位置；
(11)根据所述响应图的归一化峰值旁瓣比和归一化互相关系数得到当前帧子块的响应峰值位置对应的响应置信度；
(12)若所有子块的响应置信度均大于第二阈值，则转入步骤(2)，否则利用所述响应置信度对N个子块的响应峰值位置加权融合得到目标跟踪位置；
(13)以所述子块响应峰值位置为中心确定当前帧的子块区域，对所述当前帧的子块区域重复步骤(9)得到当前帧的模型参数，与上一帧的模型参数组合得到更新后的当前帧的模型参数；
(14)若当前图像帧数小于图像总帧数，则重复步骤(10)至(13)，否则结束跟踪。
2.根据权利要求1所述的方法，其特征在于，所述步骤(2)中利用分配好标签的训练样本训练全局模型，包括利用二维高斯函数为所述训练样本的目标中心位置坐标分配高斯函数值，作为核相关滤波器的训练样本标签。
3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的响应图与响应峰值位置通过核相关滤波器计算得到。
4.根据权利要求1所述的方法，其特征在于，所述步骤(4)中的响应置信度为归一化峰值旁瓣比和归一化互相关系数取平均得到：
其中，PSR为峰值旁瓣比，NPSR为归一化峰值旁瓣比，NCC(Mt,Mt-1)为当前帧与上一帧响应图之间的归一化互相关系数，g为当前帧响应图的最大值，μ为当前帧响应图的均值，σ为当前帧响应图的标准差，Mt(x,y)和Mt-1(x,y)分别为当前帧和上一帧的响应图。
5.根据权利要求1所述的方法，其特征在于，所述步骤(6)中所述得到当前帧的模型参数，与上一帧的模型参数组合包括线性插值组合模型参数，利用响应置信度的均值对插值系数加权，公式表达式为：
其中，α′、αt-1、αt分别表示当前帧的模型参数、上一帧的模型参数以及更新后的当前帧的模型参数，β表示插值系数，取固定值，表示响应置信度的均值。
6.根据权利要求1所述的方法，其特征在于，所述步骤(12)中利用所述响应置信度对N个子块的响应峰值位置加权融合得到目标跟踪位置，包括设置第三阈值，降低响应置信度小于所述第三阈值的子块对融合结果的影响。
7.一种基于权利要求1至6任一所述的方法的抗遮挡目标跟踪系统，其特征在于，包括全局模块和分块模块；
所述全局模块包括：
第一标定单元，用于获取待跟踪图像序列，标定待跟踪目标给出目标位置所处的目标区域；
第一提取单元，用于将目标区域作为样本区域，提取特征得到训练好的模型参数；
第一目标检测单元，用于计算当前帧的响应图、响应峰值位置与响应置信度；
第一判断单元，用于判断当前帧的响应置信度是否小于第一阈值，若当前帧的响应置信度小于第一阈值，则认为跟踪结果正确，返回当前帧的目标跟踪位置，同时以当前帧的目标跟踪位置更新当前帧的模型参数，若当前帧的响应置信度大于等于第一阈值，则转入分块模块；
所述分块模块包括：
第二标定单元，用于对目标区域进行分块得到子块；
第二提取单元，用于提取子块特征得到训练好的模型参数；
第二目标检测单元，用于计算当前帧的子块的响应图、响应峰值位置与响应置信度；
第二判断单元，用于判断当前帧的响应置信度是否大于第二阈值，若当前帧的响应置信度大于第二阈值，则转入全局模块，若当前帧的响应置信度小于等于第二阈值，则认为跟踪结果正确，对所有子块的响应峰值位置融合返回当前帧的目标跟踪位置，同时以当前帧的目标跟踪位置更新当前帧的模型参数。
8.根据权利要求7所述的系统，其特征在于，所述第一阈值和第二阈值均为预设值。
9.根据权利要求7所述的系统，其特征在于，所述响应置信度根据所述响应图的归一化峰值旁瓣比和归一化互相关系数得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412999.3A CN110246155B (zh) | 2019-05-17 | 2019-05-17 | 一种基于模型交替的抗遮挡目标跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412999.3A CN110246155B (zh) | 2019-05-17 | 2019-05-17 | 一种基于模型交替的抗遮挡目标跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110246155A true CN110246155A (zh) | 2019-09-17 |
| CN110246155B CN110246155B (zh) | 2021-05-18 |
Family
ID=67884060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910412999.3A Active CN110246155B (zh) | 2019-05-17 | 2019-05-17 | 一种基于模型交替的抗遮挡目标跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246155B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942472A (zh) * | 2019-11-28 | 2020-03-31 | 广西师范大学 | 一种基于特征融合与自适应分块的核相关滤波跟踪方法 |
| CN111754548A (zh) * | 2020-06-29 | 2020-10-09 | 西安科技大学 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
| CN112257540A (zh) * | 2020-10-16 | 2021-01-22 | 齐鲁工业大学 | 一种自适应的抗遮挡动态目标实时跟踪方法及系统 |
| CN112489085A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
| CN113611387A (zh) * | 2021-07-30 | 2021-11-05 | 清华大学深圳国际研究生院 | 一种基于人体位姿估计的运动质量评估方法及终端设备 |
| CN113838087A (zh) * | 2021-09-08 | 2021-12-24 | 哈尔滨工业大学（威海） | 一种抗遮挡目标跟踪方法及系统 |
| CN114494352A (zh) * | 2022-02-14 | 2022-05-13 | 哈尔滨工程大学 | 一种适应前视声呐图像小目标尺寸突变的跟踪方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064837A (zh) * | 2007-05-29 | 2007-10-31 | 王海燕 | 视频图像中多目标的跟踪方法 |
| US20080291087A1 (en) * | 2006-06-09 | 2008-11-27 | Lockheed Martin Corporation | Split aperture array for increased short range target coverage |
| CN102087354A (zh) * | 2010-12-15 | 2011-06-08 | 哈尔滨工程大学 | 无源雷达分组ls-clean微弱目标检测方法 |
| CN106898015A (zh) * | 2017-01-17 | 2017-06-27 | 华中科技大学 | 一种基于自适应子块筛选的多线索视觉跟踪方法 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
| CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109299735A (zh) * | 2018-09-14 | 2019-02-01 | 上海交通大学 | 基于相关滤波的抗遮挡目标跟踪方法 |
| CN109543615A (zh) * | 2018-11-23 | 2019-03-29 | 长沙理工大学 | 一种基于多级特征的双学习模型目标跟踪方法 |
-
2019
- 2019-05-17 CN CN201910412999.3A patent/CN110246155B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080291087A1 (en) * | 2006-06-09 | 2008-11-27 | Lockheed Martin Corporation | Split aperture array for increased short range target coverage |
| CN101064837A (zh) * | 2007-05-29 | 2007-10-31 | 王海燕 | 视频图像中多目标的跟踪方法 |
| CN102087354A (zh) * | 2010-12-15 | 2011-06-08 | 哈尔滨工程大学 | 无源雷达分组ls-clean微弱目标检测方法 |
| CN106898015A (zh) * | 2017-01-17 | 2017-06-27 | 华中科技大学 | 一种基于自适应子块筛选的多线索视觉跟踪方法 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
| CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109299735A (zh) * | 2018-09-14 | 2019-02-01 | 上海交通大学 | 基于相关滤波的抗遮挡目标跟踪方法 |
| CN109543615A (zh) * | 2018-11-23 | 2019-03-29 | 长沙理工大学 | 一种基于多级特征的双学习模型目标跟踪方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942472A (zh) * | 2019-11-28 | 2020-03-31 | 广西师范大学 | 一种基于特征融合与自适应分块的核相关滤波跟踪方法 |
| CN110942472B (zh) * | 2019-11-28 | 2023-10-13 | 江苏砺行能源科技有限公司 | 一种基于特征融合与自适应分块的核相关滤波跟踪方法 |
| CN111754548A (zh) * | 2020-06-29 | 2020-10-09 | 西安科技大学 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
| CN111754548B (zh) * | 2020-06-29 | 2023-10-03 | 西安科技大学 | 一种基于响应判别的多尺度相关滤波目标跟踪方法和装置 |
| CN112257540A (zh) * | 2020-10-16 | 2021-01-22 | 齐鲁工业大学 | 一种自适应的抗遮挡动态目标实时跟踪方法及系统 |
| CN112489085A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
| CN113611387A (zh) * | 2021-07-30 | 2021-11-05 | 清华大学深圳国际研究生院 | 一种基于人体位姿估计的运动质量评估方法及终端设备 |
| CN113838087A (zh) * | 2021-09-08 | 2021-12-24 | 哈尔滨工业大学（威海） | 一种抗遮挡目标跟踪方法及系统 |
| CN114494352A (zh) * | 2022-02-14 | 2022-05-13 | 哈尔滨工程大学 | 一种适应前视声呐图像小目标尺寸突变的跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110246155B (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246155B (zh) | 一种基于模型交替的抗遮挡目标跟踪方法及系统 | |
| CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
| CN107424177B (zh) | 基于连续相关滤波器的定位修正长程跟踪方法 | |
| CN109242884B (zh) | 基于JCFNet网络的遥感视频目标跟踪方法 | |
| CN109146912B (zh) | 一种基于目标性分析的视觉目标跟踪方法 | |
| CN107564034A (zh) | 一种监控视频中多目标的行人检测与跟踪方法 | |
| CN108550161A (zh) | 一种尺度自适应核相关滤波快速目标跟踪方法 | |
| CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
| CN108876820B (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
| CN106952294B (zh) | 一种基于rgb-d数据的视频跟踪方法 | |
| CN109308713B (zh) | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 | |
| CN107301657B (zh) | 一种考虑目标运动信息的视频目标跟踪方法 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN109035287B (zh) | 前景图像提取方法和装置、运动车辆识别方法和装置 | |
| CN110910421A (zh) | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 | |
| CN112561881A (zh) | 基于评价模型的红外图像自适应数据增强方法 | |
| CN111161309A (zh) | 一种车载视频动态目标的搜索与定位方法 | |
| CN110717934A (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
| CN104616317B (zh) | 一种视频车辆跟踪有效性验证方法 | |
| Liu et al. | Correlation filter with motion detection for robust tracking of shape-deformed targets | |
| CN109325966A (zh) | 一种通过时空上下文进行视觉跟踪的方法 | |
| KR20100041172A (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
| CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| CN110660077A (zh) | 一种融合多个特征的多尺度目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |