CN110175649B - 一种关于重新检测的快速多尺度估计目标跟踪方法 - Google Patents

一种关于重新检测的快速多尺度估计目标跟踪方法 Download PDF

Info

Publication number
CN110175649B
CN110175649B CN201910451171.9A CN201910451171A CN110175649B CN 110175649 B CN110175649 B CN 110175649B CN 201910451171 A CN201910451171 A CN 201910451171A CN 110175649 B CN110175649 B CN 110175649B
Authority
CN
China
Prior art keywords
target
frame
candidate
detection
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910451171.9A
Other languages
English (en)
Other versions
CN110175649A (zh
Inventor
胡昭华
黄嘉净
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910451171.9A priority Critical patent/CN110175649B/zh
Publication of CN110175649A publication Critical patent/CN110175649A/zh
Application granted granted Critical
Publication of CN110175649B publication Critical patent/CN110175649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种关于深度特征与重新检测的快速多尺度估计目标跟踪算法。通过深度学习的方法来表示目标的特征，提高了目标的特征表达能力。在跟踪阶段，提取不同的尺度图像块的特征时，通过PCA降维，可以减少计算量，提高整体的计算速度。在峰值旁瓣比（PSR）和置信度平滑约束（SCCM）两个判别指标的基础上，提出一种新的检测指标，从而可以更加准确地度量当前帧的跟踪可靠度。若当前帧的可靠度较低，则通过Edgeboxes的方法产生一系列目标候选框从而进行重新检测。

Description

一种关于重新检测的快速多尺度估计目标跟踪方法
技术领域
本发明属于图像处理和计算机视觉领域，通过深度学习的方法学习目标特征，在目标出现漂移时通过重新检测的方法实现目标的精确跟踪。可应用于无人驾驶和视频监控等领域。
背景技术
目标跟踪是计算机视觉中的一个关键问题，在视频监控、行为识别、无人驾驶和医疗图像等各个领域都有着广泛的应用。目标跟踪的目的是在给定第一帧的目标初始位置，对后续的每一帧进行目标位置的估计。目前主要的计算机视觉跟踪的方法主要有基于相关滤波的跟踪方法和基于深度学习的跟踪方法。
基于相关滤波的目标跟踪算法自2010年开始迅速发展，其中Henriques等人(Henriques J F,Caseiro R,Martins P,et al.High-speed tracking with kernelizedcorrelation filters[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(3):583-596.)提出的核相关滤波(KCF)跟踪算法在实时性和准确度方面都有很好地表现。KCF算法首先通过循环移位在目标的周围区域对样本进行采集，然后通过脊回归的方法训练目标分类器。KCF算法通过核技巧，将原来线性空间的脊回归映射到非线性空间，在非线性空间求解一个对偶问题。同时，KCF算法使用方向梯度直方图(HOG)特征替代传统的灰度特征，可以更加准确地描述目标的特征。但是KCF算法对目标的尺度变化的适应性较差，若目标的尺度发生变化，则会很容易的发生目标丢失的情况。而且KCF算法对目标的快速形变不鲁棒，导致跟踪效果较差。
随着对相关滤波跟踪方法的研究，出现了越来越多的优秀算法。Ma C等人(Ma C,Yang X K,Zhang C Y,et al.Long-term correlation tracking[C]//Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA:IEEE,2015:5388-5396.)为了解决目标跟踪中的遮挡问题，提出了结合目标检测的长时跟踪算法(LCT)。LCT算法提出在同一帧图片上同时训练两个滤波器，即平移滤波器和尺度滤波器。在跟踪过程中，根据前一帧的位置在当前帧上选取检索范围并提取特征，使用平移滤波器计算当前帧的响应值，使用尺度滤波器计算不同尺度块的响应值并选取最佳尺度因子，从而得到当前帧的状态。若当前帧的平移滤波器所得到的最大响应值大于某一设定的阈值N1，则更新尺度滤波器，否则不会更改尺度滤波器。若平移滤波器所得到的最大响应值小于另一阈值N2，则通过KNN分类器进行重新检测。LCT算法虽然在一定程度上提高了目标遮挡情况下的鲁棒性，但是也存在一点问题，只通过最大响应值是否低于阈值来判断是否需要重新检测，这种判别方式会存在较大的误差。另外，因为需要对目标构建金字塔模型来估计目标的最佳尺度，这会使得整体的跟踪速率较慢。
发明内容
本发明提出一种关于重新检测的快速多尺度估计目标跟踪方法，重新恢复目标，提高整体的跟踪性能和准确率。
本发明关于重新检测的快速多尺度估计目标跟踪方法，具体步骤如下：
一种关于重新检测的快速多尺度估计目标跟踪方法，具体步骤如下：
步骤一，训练滤波模板：
对目标跟踪器进行初始化，标记目标的初始区域，采用VGG-19网络提取目标的深度特征，建立最初的目标模板和尺度模板；
其中，目标模板的建立主要包括以下过程：
1)分类器在大小为M×N的图像块上，以目标位置为中心进行循环移位采样，产生的样本集记为xi，其中i∈{0，…M-1}×{0，…N-1}。每个样本xi都有一个与其相对应的回归标签yi，yi由高斯函数得到；采用分类器f(x)找到最小权重系数w，使得样本xi及其回归标签yi有最小的平方误差，训练分类器的最小代价函数为
minw∑i[f(xi)-yi]2+λ||w||2 (1)
其中λ是正则化参数；
得到w的闭式解为
w＝(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本，Y是样本标签，XH表示复共轭转置矩阵，I是单位矩阵；
2)利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化，循环矩阵对角化为：
Figure BDA0002075189540000031
F为离散傅里叶矩阵，
Figure BDA0002075189540000032
表示对x进行离散傅里叶变换，diag表示向量对角化，因此可以优化得到：
Figure BDA0002075189540000033
其中
Figure BDA0002075189540000034
分别代表w、x、y的傅里叶变换，⊙表示元素点乘，*表示复共轭。
3)通过一个非线性映射函数
Figure BDA0002075189540000035
将样本映射到高维空间，并引入高斯核kxx＝k(x，x′)作为核函数，高斯核的计算公式为
Figure BDA0002075189540000036
F-1表示离散傅里叶反变换，σ表示高斯核函数的带宽，*表示复共轭；x表示外观模型；
利用核函数的循环性质和卷积理论，得到目标滤波模板α的计算公式为
Figure BDA0002075189540000037
其中，尺度滤波模板的计算方法如下：
首先初始化第一帧，提取目标区域图像特征xs，在定义的搜索区域内计算尺度样本标签ysi，ysi由高斯函数得到。
尺度滤波模板为：
Figure BDA0002075189540000038
其中，
Figure BDA0002075189540000039
分别是ysi和xs的傅里叶变换，⊙表示元素点乘，*表示复共轭，λ1＝0.0001是正则化参数；
步骤二，定位：
从第二帧开始，以前一帧的位置为中心，截取大小为M×N的图像块z，通过VGG-19网络提取目标的深度特征并与目标模板相卷积，得到目标的响应值以及估计的位置；使用公式(4)计算k(x，z)，计算相关响应f(z)
Figure BDA00020751895400000310
其中，x为外观模型，F-1是傅里叶反变换，⊙表示元素点乘，
Figure BDA00020751895400000311
是目标模板；
步骤三，检测：
1)基于峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个指标，重新构建一个新的检测指标Detection Criterion记为DC，即公式(8)：
Figure BDA0002075189540000041
其中PSR是峰值旁瓣比，其定义为：
Figure BDA0002075189540000042
其中Fmax表示目标的最大响应值，μ和σ表示响应的均值和标准差；
SCCM是置信度平滑约束，其定义为：
Figure BDA0002075189540000043
其中Ft表示当前帧的目标响应值，Ft-1表示前一帧的目标响应值，
Figure BDA0002075189540000044
表示移位操作，Δ表示相邻两帧最大响应值位置的相对位移；
2)判断当前检测的结果的可靠性，当前检测指标DC大于设定的阈值时，则检测的结果的可靠，通过公式(6)和公式(7)对目标进行尺度估计；
当新的检测指标DC小于设定的阈值7时，则检测的结果的不可靠，进入步骤四重新检测阶段；
其中，尺度估计的滤波器与目标位置估计的平移相关滤波器是相互独立的，定位阶段利用平移相关滤波器计算得到目标的预测位置，以预测的目标位置为中心，在目标周围截取多个不同尺度的候选区域，提取这些不同尺度图像块的特征并且通过PCA降维，利用尺度滤波器计算尺度响应，最大响应对应的尺度因子即为最佳尺度。
步骤四，重新检测：
当目标进入重新检测阶段时，通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合；从中选出最优的目标候选框，将重新检测的结果反馈至跟踪框架，通过公式(6)和公式(7)进行目标尺度的估计；
步骤五，模型更新：
当检测出当前帧的结果不可靠时，模型拒绝更新，仍采用上一帧的目标模板。所以，为了更好地适应目标的外观变化，当t＞1时，通过以下的更新策略对目标的外观模型x和滤波模板α进行更新，如公式(11a)和(11b)所示。
Figure BDA0002075189540000045
Figure BDA0002075189540000051
其中，η＝0.02表示模型的学习率，t是帧数。
其中，步骤一中，正则化参数λ＝0.0001，用来防止过拟合。
其中，步骤一中，高斯核函数的带宽σ＝0.5。
其中，步骤四中，当目标进入重新检测阶段时，通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合，首先，提取这些候选样本框的特征，并根据公式(7)计算当前帧生成的候选样本框集合的得分，当确定了得分后，对这些候选框的得分进行排序，选取得分较高的n＝200个候选框，即设置一个最低得分阈值，将低于阈值的候选框删除；其次，利用非极大值抑制(NMS)的方法过滤这些候选框，将候选框放入列表M，将与M中相对应的候选框得分放入列表N，选择具有最大得分的候选框X，将候选框X从M集合中移除并加入到最终检测结果Y列表中，计算M中剩余的候选框与X的重叠区域面积比例(IoU)，将IoU值大于阈值Nt的框从M中移除，重复这个过程，直到M为空；至此所有的候选框都过滤结束，并计算所筛选出的每个候选框与目标框之间的距离，选出距离最小的候选框即为最优的目标候选框。
本发明相比现有技术具有如下有益效果：
根据现有研究的不足，本发明提出了一种关于深度特征与重新检测的快速多尺度估计目标跟踪算法。通过深度学习的方法来表示目标的特征，提高了目标的特征表达能力。在跟踪阶段，提取不同的尺度图像块的特征时，通过PCA降维，可以减少计算量，提高整体的计算速度。在峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个判别指标的基础上，提出一种新的检测指标，从而可以更加准确地度量当前帧的跟踪可靠度。若当前帧的可靠度较低，则通过Edgeboxes的方法产生一系列目标候选框从而进行重新检测。
本发明在相关滤波的基础上使用VGG-19提取目标特征，使得目标的特征表达能力更强。本发明在平移相关滤波器的基础上添加了尺度相关滤波器，并通过主成分分析法(PCA)对特征进行降维，减少了整体的计算量，提高了算法的运算速率。
同时本发明引入了新的检测指标以及重新检测的方法，新的检测指标DC可以更加准确的度量当前帧的跟踪性能；若检测出当前帧的跟踪效果较差，则通过重新检测的方法重新寻回目标，继续跟踪，提高了算法的准确率以及成功率。最后本发明引入的自适应更新策略，则有效地避免了更新错误的情况。
本发明可解决快速运动、遮挡、运动模糊、平面内旋转等导致的目标丢失的情况。
附图说明
图1为本发明提供的关于重新检测的目标跟踪的系统流程框图；
图2为本发明的VGG-19网络框架图；
图3为本发明引入尺度估计后的效果图；
图4为本发明对6个不同视频序列的跟踪结果的抽样帧；
图5为本发明在OPE评估方式下8种不同算法的跟踪性能比较图；
图6为本发明在OPE评估方式下8种不同算法分别面对三种挑战因子时的跟踪性能比较图。
具体实施方式
为了使本发明的目的、内容和有点更加清楚，下面结合附图进一步阐述本发明。
实施例一：
关于重新检测的目标跟踪的系统流程框架图如图1所示，具体包括以下几个部分：训练滤波模板、定位、检测、重新检测以及模型更新。
(1)步骤一：训练滤波模板。首先对目标跟踪器进行初始化，标记目标的初始区域，采用VGG-19网络提取目标的深度特征，建立最初的目标模板和尺度模板，用于第二帧目标响应值的计算。
目标模板的建立主要分以下几个部分：
首先，分类器在大小为M×N的图像块上，以目标位置为中心进行循环移位采样，产生的样本集记为xi，其中i∈{0，…M-1}×{0，…N-1}。每个样本xi都有一个与其相对应的回归标签yi，yi由高斯函数得到。而分类器f(x)的目的就是找到最小权重系数w，使得样本xi及其回归标签yi有最小的平方误差，训练分类器的最小代价函数为
minw∑i[f(xi)-yi]2+λ||w||2 (1)
其中λ＝0.0001是正则化参数，用来防止过拟合。
得到w的闭式解为
w＝(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本，Y是样本标签，XH表示复共轭转置矩阵，I是单位矩阵。
利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化，循环矩阵对角化为：
Figure BDA0002075189540000071
F为离散傅里叶矩阵，
Figure BDA0002075189540000072
表示对x进行离散傅里叶变换，diag表示向量对角化，因此可以优化得到：
Figure BDA0002075189540000073
其中
Figure BDA0002075189540000074
分别代表w、x、y的傅里叶变换，⊙表示元素点乘。
同时，我们通过一个非线性映射函数
Figure BDA0002075189540000075
将样本映射到高维空间，并引入高斯核kxx＝k(x，x′)作为核函数，高斯核的计算公式为
Figure BDA0002075189540000076
F-1表示离散傅里叶反变换，σ＝0.5表示高斯核函数的带宽，*表示复共轭。
利用核函数的循环性质和卷积理论，得到目标模板α的计算公式为
Figure BDA0002075189540000077
尺度滤波模板的计算如下：
首先初始化第一帧，提取目标区域图像特征xs，在定义的搜索区域内计算尺度样本标签ysi，ysi由高斯函数得到。
尺度滤波模板为
Figure BDA0002075189540000078
其中，
Figure BDA0002075189540000079
分别是ysi和xs的傅里叶变换，⊙表示元素点乘，*表示复共轭，λ1＝0.0001是正则化参数。
(2)步骤二：定位。定位阶段主要是将提取的目标特征与目标模板相卷积，得到目标的响应值以及估计的位置。
本发明采用卷积神经网络来提取目标的特征，其中，VGG-19包含19层，包括五段卷积，每段卷积内都有2个至4个卷积层，同时每段卷积尾部都连接着一个最大池化层(maxpooling)，用来缩小图片。本发明使用的是VGG-19的第五段卷积的输出来表示目标特征。VGG-19网络框架图如图2所示，利用卷积神经网络训练网络模型，得到的卷积特征输出表达能力更强。
以前一帧的位置为中心，截取大小为M×N的图像块z，提取该图像块的深度特征，使用公式(4)计算k(x，z)，计算相关响应f(z)
Figure BDA0002075189540000081
其中，x是外观模型，F-1是傅里叶反变换，⊙表示元素点乘，
Figure BDA0002075189540000082
是目标模板。
(3)步骤三：检测。检测阶段是本发明的核心之一，根据新的检测指标检测当前帧的跟踪准确度，判断目标是否丢失，是否需要进入重新检测阶段。本发明提出一种新的检测指标，基于峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个指标，重新构建一个新的检测指标(Detection Criterion)为DC，即公式(8)，从而可以更好地度量当前帧的跟踪准确度。
Figure BDA0002075189540000083
其中PSR是峰值旁瓣比，其定义为：
Figure BDA0002075189540000084
其中Fmax表示目标的最大响应值，μ和σ表示响应的均值和标准差。
SCCM是置信度平滑约束，其定义为：
Figure BDA0002075189540000085
其中Ft表示当前帧的目标响应值，Ft-1表示前一帧的目标响应值，
Figure BDA0002075189540000086
表示移位操作，Δ表示相邻两帧最大响应值位置的相对位移。
一般在正常跟踪的情况下，当PSR值的范围在8至15之间时，表示目标有较强的峰值，而当PSR值在5左右时，当前帧的目标检测不太稳定。当SCCM值大于0.5时，说明该区域出现遮挡，所以当PSR值大于5，并且SCCM值小于0.5时，即可视为跟踪正确。所以本发明设定阈值为7，当检测指标DC小于7时，说明当前帧的跟踪效果较差，否则视为跟踪正确。
若当前检测的结果较为可靠，则对目标进行尺度估计。本发明采用了快速尺度自适应估计的方法，引入了尺度相关滤波器，。尺度估计算法的具体步骤如下：
首先，利用平移相关滤波器估计得到目标的位置(x，y)和目标的大小M×N，以估计的目标为中心，在目标的周围提取s个p×r的图像块，p和r满足以下条件，p＝anM，r＝anN，
Figure BDA0002075189540000091
a表示尺度因子；其次，提取的不同尺度图像块的特征并且通过PCA降维，降低计算量，提高整体的计算速度；最后，通过公式(6)和公式(7)计算目标的尺度响应，找出最大响应值对应的尺度因子，即为目标的最佳尺度。
本发明将尺度滤波器的个数设置为33个，尺度模型更新的学习速率为0.025，尺度因子为1.02。引入尺度相关滤波器的效果如图3所示，从图中可以看出，该算法可以根据目标大小的变化，自适应的调整跟踪窗口的大小。
(4)步骤四：重新检测。在检测阶段，本发明可以检测出当前帧的跟踪结果是否可靠，若检测出当前帧的跟踪效果较差，即满足DC＜7这个条件时，目标则进入重新检测阶段，重新恢复当前帧的目标。
当目标进入重新检测阶段时，通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合。然后通过一系列的优化操作，选出最优目标候选框。本发明将候选样本框的最大值设置为200，具体的步骤如下：
首先，提取这些框的HOG特征，并根据公式(7)计算当前帧生成的候选样本框集合的得分，当确定了得分后，对这些候选框的得分进行排序，选取得分较高的n个候选框，即设置一个最低得分阈值，将低于阈值的候选框删除。
其次，利用非极大值抑制(NMS)的方法过滤这些候选框，将候选框放入列表M，将与M中相对应的候选框得分放入列表N，选择具有最大得分的候选框X，将候选框X从M集合中移除并加入到最终检测结果Y列表中，计算M中剩余的候选框与X的重叠区域面积比例(IoU)，将IoU值大于阈值Nt的框从M中移除，重复这个过程，直到M为空。至此所有的候选框都过滤结束。
最后，计算所筛选出的每个候选框与目标框之间的距离，选出距离最小的候选框即为最优的目标候选框。
至此，重新检测部分全部结束，将重新检测的结果反馈至相关滤波继续跟踪。
(5)步骤五：模型更新。在目标跟踪的过程中，模型的更新方式和速率对跟踪的性能影响显著。在一般的跟踪算法中，都是对每一帧都进行更新；若是按照这种更新方式，一旦出现跟踪失败的情况，后面将会无法继续跟踪。所以为了避免错误，本发明提出自适应更新的方法，当检测出当前帧的跟踪效果较差时，模型拒绝更新，仍采用上一帧的模板。所以，为了更好地适应目标的外观变化，当t＞1时，通过以下的更新策略对目标的外观模型x和滤波模板α进行更新，如公式(11a)和(11b)所示。
Figure BDA0002075189540000101
Figure BDA0002075189540000102
其中，η＝0.02表示模型的学习率，t是帧数。
评估实例：
本发明通过OPE(one pass evaluation)评估标准来衡量跟踪算法的性能，同时从OTB100数据集中选取60个具有挑战性的视频序列进行分析，并与其它跟踪器(DeepKCF、SAMF、KCF、CSK、DFT、CT、CACF等7种跟踪器)在不同挑战因子(光照变化、目标形变、运动模糊、快速运动、平面内旋转、平面外旋转、目标出视野、背景杂乱、低分辨率等)下进行对比。
图4为本发明的跟踪方法(DRKCF)与其他七种跟踪器的跟踪结果的抽样帧，从图4中可以看出本发明提出的跟踪器与其他跟踪器相比可以更好地跟踪目标，即使发生目标丢失的情况，也可以寻回目标继续跟踪。
图5是本发明的跟踪方法(DRKCF)与其他方法在精确度和成功率方面的比较，从图5中可以看出，本发明提供的跟踪方法在精确度和成功率方面都优于其他几个算法。
图6是本发明的跟踪方法(DRKCF)和其他7种不同跟踪方法在OPE评估方式下，面对快速运动、运动模糊和平面内旋转三种挑战因子时的跟踪性能比较，从图6可以看出本发明在面对一些不同挑战因子时也有很好的表现。
由此可见，本发明提出的跟踪方法与一些已有跟踪方法相比，算法的精确度有明显的提高，跟踪结果也更加鲁棒。

Claims (4)

1.一种关于重新检测的快速多尺度估计目标跟踪方法，具体步骤如下：
步骤一，训练目标滤波模板：
对目标跟踪器进行初始化，标记目标的初始区域，采用VGG-19网络提取目标的深度特征，建立最初的目标滤波模板和尺度滤波模板；
其中，目标滤波模板的建立包括以下过程：
1)分类器在大小为M×N的图像块上，以目标位置为中心进行循环移位采样，产生的样本集记为xi，其中i∈{0,…M-1}×{0,…N-1}；每个样本xi都有一个与其相对应的回归标签yi，yi由高斯函数得到；采用分类器f(x)找到最小权重系数w，使得样本xi及其回归标签yi有最小的平方误差，训练分类器的最小代价函数为
Figure FDA0003600750130000011
其中λ是正则化参数；
得到w的闭式解为
w＝(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本，Y是样本标签，XH表示复共轭转置矩阵，I是单位矩阵；
2)利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化，循环矩阵对角化为：
Figure FDA0003600750130000012
F为离散傅里叶矩阵，
Figure FDA0003600750130000013
表示对x进行离散傅里叶变换，diag表示向量对角化，因此优化得到：
Figure FDA0003600750130000014
其中，⊙表示元素点乘，*表示复共轭；
3)通过一个非线性映射函数
Figure FDA0003600750130000015
将样本映射到高维空间，并引入高斯核kxx＝k(x,x')作为核函数，高斯核的计算公式为
Figure FDA0003600750130000016
F-1表示离散傅里叶反变换，b表示高斯核函数的带宽，*表示复共轭；
利用核函数的循环性质和卷积理论，训练得到目标滤波模板α的计算公式为
Figure FDA0003600750130000017
其中，尺度滤波模板的计算方法如下：
首先初始化第一帧，提取目标区域图像特征xs，在定义的搜索区域内计算尺度样本标签ysi，ysi由高斯函数得到；
尺度滤波模板为：
Figure FDA0003600750130000021
其中，
Figure FDA0003600750130000022
分别是ysi和xs的傅里叶变换，⊙表示元素点乘，*表示复共轭，λ1＝0.0001是正则化参数；
步骤二，定位：
从第二帧开始，以前一帧的位置为中心，截取大小为M×N的图像块z，通过VGG-19网络提取目标的深度特征并与目标滤波模板相卷积，得到目标的响应值以及估计的位置；使用公式(4)计算k(x,z)，计算相关响应f(z)
Figure FDA0003600750130000023
其中，F-1是傅里叶反变换，⊙表示元素点乘；
步骤三，检测：
1)基于峰值旁瓣比PSR和置信度平滑约束SCCM两个指标，重新构建一个新的检测指标Detection Criterion记为DC，即公式(8)：
Figure FDA0003600750130000024
其中PSR是峰值旁瓣比，其定义为：
Figure FDA0003600750130000025
其中Fmax表示目标的最大响应值，μ和σ表示响应的均值和标准差；
SCCM是置信度平滑约束，其定义为：
Figure FDA0003600750130000026
其中Ft表示当前帧的目标响应值，Ft-1表示前一帧的目标响应值，
Figure FDA0003600750130000027
表示移位操作，Δ表示相邻两帧最大响应值位置的相对位移；
2)判断当前检测的结果的可靠性，当前检测指标DC大于设定的阈值时，则检测的结果可靠，通过公式(6)和公式(7)对目标进行尺度估计；
当新的检测指标DC小于设定的阈值7时，则检测的结果的不可靠，进入步骤四重新检测阶段；
步骤四，重新检测：
当目标进入重新检测阶段时，通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合；从中选出最优的目标候选框，将重新检测的结果反馈至跟踪框架，通过公式(6)和公式(7)进行目标尺度的估计；
步骤五，模型更新：
当t>1时，通过以下的更新策略对目标的外观模型
Figure FDA0003600750130000033
和目标滤波模板
Figure FDA0003600750130000034
进行更新，如公式(11a)和(11b)所示：
Figure FDA0003600750130000031
Figure FDA0003600750130000032
其中，η＝0.02表示模型的学习率，t是帧数。
2.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法，其中，步骤一中，正则化参数λ＝0.0001，用来防止过拟合。
3.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法，其中，步骤一中，高斯核函数的带宽b＝0.5。
4.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法，其中，步骤四中，当目标进入重新检测阶段时，通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合，首先，提取这些候选样本框的特征，并根据公式(7)计算当前帧生成的候选样本框集合的得分，当确定了得分后，对这些候选框的得分进行排序，选取得分较高的n＝200个候选框，即设置一个最低得分阈值，将低于阈值的候选框删除；
其次，利用非极大值抑制NMS的方法过滤这些候选框，将候选框放入列表P，将与P中相对应的候选框得分放入列表Q，选择具有最大得分的候选框A，将候选框A从P集合中移除并加入到最终检测结果L列表中，计算P中剩余的候选框与A的重叠区域面积比例IoU，将IoU值大于阈值Nt的框从P中移除，重复这个过程，直到P为空；至此所有的候选框都过滤结束，并计算所筛选出的每个候选框与目标框之间的距离，选出距离最小的候选框即为最优的目标候选框。
CN201910451171.9A 2019-05-28 2019-05-28 一种关于重新检测的快速多尺度估计目标跟踪方法 Active CN110175649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910451171.9A CN110175649B (zh) 2019-05-28 2019-05-28 一种关于重新检测的快速多尺度估计目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910451171.9A CN110175649B (zh) 2019-05-28 2019-05-28 一种关于重新检测的快速多尺度估计目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110175649A CN110175649A (zh) 2019-08-27
CN110175649B true CN110175649B (zh) 2022-06-07

Family

ID=67696428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910451171.9A Active CN110175649B (zh) 2019-05-28 2019-05-28 一种关于重新检测的快速多尺度估计目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110175649B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852321B (zh) * 2019-11-11 2022-11-22 北京百度网讯科技有限公司 候选框过滤方法、装置以及电子设备
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111192294B (zh) * 2019-12-30 2022-04-22 华中科技大学 一种基于目标检测的目标跟踪方法及系统
CN111582062B (zh) * 2020-04-21 2022-10-14 电子科技大学 一种基于YOLOv3的目标跟踪中的重检测方法
CN112150509B (zh) * 2020-09-29 2024-05-03 中国人民解放军63875部队 基于多层深度特征的分块跟踪方法
CN112734809B (zh) * 2021-01-21 2024-07-05 高新兴科技集团股份有限公司 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN113344973B (zh) * 2021-06-09 2023-11-24 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN113808171B (zh) * 2021-09-27 2024-07-09 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法
CN115018885B (zh) * 2022-08-05 2022-11-11 四川迪晟新达类脑智能技术有限公司 一种适用于边缘设备的多尺度目标跟踪算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108961308A (zh) * 2018-06-01 2018-12-07 南京信息工程大学 一种漂移检测的残差深度特征目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026370A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. High-speed automatic multi-object tracking method and system with kernelized correlation filters
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108961308A (zh) * 2018-06-01 2018-12-07 南京信息工程大学 一种漂移检测的残差深度特征目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多层深度特征的目标跟踪算法研究;胡昭华 等;《现代电子技术》;20190101;第51-56页 *
改进的核相关滤波跟踪算法;曾照 等;《电子科技》;20190506;第1-8页 *

Also Published As

Publication number Publication date
CN110175649A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN109285179B (zh) 一种基于多特征融合的运动目标跟踪方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110135500B (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN106845478B (zh) 一种字符置信度的二次车牌识别方法及装置
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN107154024A (zh) 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN110097575B (zh) 一种基于局部特征及尺度池的目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN110909591A (zh) 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111091583B (zh) 长期目标跟踪方法
CN112734809A (zh) 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN111539985A (zh) 一种融合多特征的自适应运动目标跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN109448024B (zh) 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN110660077A (zh) 一种融合多个特征的多尺度目标跟踪方法
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN116777956A (zh) 基于多尺度航迹管理的运动目标筛选方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant