CN111476819A - 一种基于多相关滤波模型的长时目标跟踪方法 - Google Patents

一种基于多相关滤波模型的长时目标跟踪方法 Download PDF

Info

Publication number
CN111476819A
CN111476819A CN202010198193.1A CN202010198193A CN111476819A CN 111476819 A CN111476819 A CN 111476819A CN 202010198193 A CN202010198193 A CN 202010198193A CN 111476819 A CN111476819 A CN 111476819A
Authority
CN
China
Prior art keywords
target
filter
long
tracking
correlation filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010198193.1A
Other languages
English (en)
Inventor
甘玲
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010198193.1A priority Critical patent/CN111476819A/zh
Publication of CN111476819A publication Critical patent/CN111476819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多相关滤波模型的长时目标跟踪方法，属于计算机视觉领域。该方法包括：S1：提取视频图像的HOG和HOI特征，训练长时相关滤波器；S2：跟踪过程中，利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断目标跟踪是否发生失败，若目标跟踪成功，则采用MCCT算法中最优位移相关滤波器对目标的平移进行估计并得到目标的位置信息，若目标跟踪失败，激活在线检测器对目标重新定位并采用在线分类器SVM的检测结果作为目标的位置信息；S3：确定目标的平移位置后，再利用尺度相关滤波器确定该帧中目标的尺度；S4：最后在满足目标更新条件下对滤波器模型进行更新。本发明降低了时间开销，其性能具有优越性。

Description

一种基于多相关滤波模型的长时目标跟踪方法
技术领域
本发明属于计算机视觉领域，涉及一种基于多相关滤波模型的长时目标跟踪方法。
背景技术
目标跟踪是根据已知的感兴趣的目标位置预测确定下一帧目标位置，从而不断的跟踪实现对目标信息的更新。
早期的研究主要集中在生成式方法的学习，但是生成式的方法没有考虑背景因素，当面临一些复杂场景的因素干扰时跟踪会失败。之后研究人员通过判别分类的角度考虑到目标的背景信息，基于判别式的跟踪方法以其出色的表现得到了广泛的研究。其中基于相关滤波的跟踪，它兼具准确性和速度的双重优势，从而取得快速的发展。2010年，Bolme等人首次将相关滤波方法引入到目标跟踪领域，提出了MOSSE算法，利用自适应训练框架，MOSSE算法实现了高效鲁棒的跟踪。2012年，Henriques等人提出了CSK跟踪器，通过循环移位密集采样训练出了核化分类器，训练过程在傅里叶域中进行，大大的降低了计算量，提高了计算速度。2014年，Henriques等在CSK算法单一的灰度特征基础之上扩展成了多通道的HOG特征，提出了KCF算法，HOG特征的引入提升了滤波器的判别能力。前面的分析都是在灰度空间进行的，缺乏颜色信息，同年，Danelljan等在CSK算法基础上将灰度特征更替为CN特征，提升了前者的跟踪效果。
但是，当前目标跟踪技术主要存在的以下问题：
1)使用单一特征训练的滤波器对目标外观的辨别能力不强，使得滤波器在面对复杂的场景时无法准确跟踪目标。
2)传统的滤波器每帧都更新滤波器，而不考虑目标的遮挡。当目标发生遮挡时，继续更新滤波器，滤波模板就会被污染，最终就会导致目标完全丢失。
3)上述跟踪算法未对跟踪结果进行置信度检测，当跟踪结果的置信度过低时，说明目标可能丢失，这种未对跟踪结果进行置信度检测的跟踪方法只适合短时跟踪。
发明内容
有鉴于此，本发明的目的在于提供一种基于多相关滤波模型的长时目标跟踪方法，1)改进单一特征训练的外观模型跟踪效果不佳的问题，改进后训练模型提高了跟踪的准确性；2)改进传统滤波器的每帧都更新滤波器的问题，改进后的更新机制，当目标在遇到遮挡情况时避免了模型被污染；3)改进未对跟踪结果进行置信度检测仅能进行短时跟踪的问题，改进后跟踪算法能够进行长时目标跟踪，并且提高跟踪的精度和成功率。最终，本方法加入一个根据相关滤波响应值变化而设计的遮挡判断依据来控制模型更新问题和一个检测置信结果的长时相关滤波器，不仅时间开销小，其性能也有一定的优越性。
为达到上述目的，本发明提供如下技术方案：
一种基于多相关滤波模型的长时目标跟踪方法，具体包括以下步骤：
S1：对于某个视频序列中的每一帧图像，提取每一帧图像目标区域的梯度方向直方图特征(Histogram of Oriented Gradient,HOG)和局部强度直方图特征(Histogram ofIntensity,HOI)作为目标的特征表示，并且用于训练长时相关滤波器；
S2：在跟踪过程中，利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断目标跟踪是否发生失败，若目标跟踪成功，则继续采用MCCT(Multi-Cue CorrelationFilters for Robust Visual Tracking)算法中最优位移相关滤波器对目标的平移进行估计并得到目标的位置信息，若发生目标跟踪失败，激活在线检测器对目标重新定位并采用在线分类器SVM的检测结果作为目标的位置信息，以保证恢复到准确的跟踪；
S3：确定目标的平移位置后，再利用尺度相关滤波器确定该帧中目标的尺度；
S4：最后在满足目标更新条件下对滤波器模型进行更新。
进一步，所述步骤S1中，训练长时相关滤波器FL的线性岭回归的目标函数为：
Figure BDA0002418378110000021
其中，
Figure BDA0002418378110000022
表示映射到核空间，W3表示长时相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
进一步，所述步骤S2中，位移相关滤波器具体包括：第一帧中选择目标框大小为M×N，在跟踪过程中，由目标区域图像块循环移位得到训练样本来构造循环结构矩阵；每个样本Xm,n所对应的标签根据距离目标区域的远近来分别赋值[0,1]范围的值，离目标越近，值越趋近于1，离目标越远，值越趋近于0，其中：(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}；训练位移相关滤波器FT的线性岭回归的目标函数为：
Figure BDA0002418378110000023
其中，
Figure BDA0002418378110000024
表示映射到核空间，W1表示位移相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
进一步，所述步骤S3中，尺度相关滤波器具体包括：在目标框上提取尺度池中的S个尺度图像的HOG特征图Xhog(S)，训练尺度相关滤波器FS的线性岭回归的目标函数为：
Figure BDA0002418378110000031
其中，尺度池的定义为anw×anh，
Figure BDA0002418378110000032
w和h分别为前一帧目标的宽和高，a＝1.02为尺度因子，S＝33为尺度数；
Figure BDA0002418378110000033
表示映射到核空间，W2表示尺度相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
进一步，所述步骤S2中，最优位移相关滤波器具体包括：提取第一帧中的HOG1、HOG2、CN特征并进行特征融合，训练出不同特征组合所对应的位移相关滤波器，通过各个位移相关滤波器在相同时间内的成对评估和同一位移相关滤波器在不同时间内的自我评估筛选出具有最高鲁棒性的滤波器即最优位移相关滤波器作为当前跟踪的滤波器；在随后帧中，最优位移相关滤波器会在上一帧的位置附近对该帧的图像块进行卷积，得到一个响应图，该响应图中拥有最大响应值的位置就是目标位置。
更进一步，所述第t帧位移相关滤波器i的自我评估的得分计算公式为：
Figure BDA0002418378110000034
其中
Figure BDA0002418378110000035
表示位移相关滤波器i与其他滤波器之间的轨迹一致性的重叠率，而
Figure BDA0002418378110000036
这里Wτ表示在序列W里τ-t+Δt个元素，N是由公式N＝∑τWτ定义的归一化因子；
Figure BDA0002418378110000037
表示短期Δt内重叠率的波动程度，揭示了位移相关滤波器i和其他滤波器之间重叠评估的稳定性，
Figure BDA0002418378110000038
ξ表示一个常数，可避免分母为零时的无穷评估得分。
所述成对评估的得分计算公式为：
Figure BDA0002418378110000039
其中
Figure BDA00024183781100000310
表示平移滤波器i的轨迹波动程度，τ∈[t-Δt+1,t]；
最终通过自我评估和成对评估的线性表达
Figure BDA00024183781100000311
筛选出最优滤波器，其中μ表示成对评估和自我评估权重的权衡参数。
进一步，所述步骤S2中，判断目标跟踪失败具体包括：在目标跟踪过程中由于遮挡、光照变化、背景杂乱等因素的干扰，导致相关滤波器的学习不稳定，会导致目标跟踪失败。判断长时相关滤波器与目标响应最大值是否满足目标可靠性检测阈值条件，当小于阈值Th1即表示目标跟踪失败，则启动在线分类器进行再检测，重新确定目标位置。
进一步，所述步骤S2中，采用在线分类器具体包括：当目标出视野或者受到遮挡时，目标响应的置信度会很低，对跟踪结果进行置信度检测进而重新确定目标位置，重定位模块通过训练一个在线SVM分类器实现的。
进一步，所述步骤S4中，目标更新条件具体包括：当目标在运动过程中一旦发生遮挡，滤波器的响应值因目标区域的特征值受到干扰而大幅下降，如果此时继续更新滤波器，则会使得滤波器受污染。所以引入峰值旁瓣比(Peak-to-Sdelobe Ratio，PSR)衡量跟踪效果来决定是否更新滤波器；当PSR≥Th2时，说明跟踪效果较好，则更新滤波模板；当PSR＜Th2时，则说明目标被遮挡，此时继续更新滤波器会导致后续帧目标丢失，停止更新。
本发明的有益效果在于：
1)本发明在训练滤波器阶段，采用多种特征融合的方法，多种特征信息相互补充，充分描述了目标外观信息，提高的滤波模板的辨别能力，进而提升了目标跟踪的成功率和精确度。
2)在跟踪结果判定阶段，增加了重定位模块以对目标跟踪不可靠的结果进行重定位，从而实现对目标的长时跟踪。重定位模块具有较好的移植性，能够用于其他的跟踪算法，提高跟踪性能。
3)在更新阶段增加了遮挡判断模块，采用PSR指标衡量跟踪效果，判断当前目标是否被遮挡，从而决定是否更新滤波器，该模块的增加防止了遮挡情况下，继续更新滤波器而造成的滤波器污染。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的长时目标跟踪方法流程框架图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1，为一种基于多相关滤波模型的长时目标跟踪方法流程框架图，本方法的实施过程包括如下具体步骤：
步骤1：获取一个视频，视频中包括M帧图片，已知第1帧的目标位置。
步骤2：对第m(1≤m≤M，m初始值为1)帧图片目标搜索域区域分别提取HOG特征、CN特征、HOI特征作为目标的特征表示，并将HOG特征分割成HOG1、HOG2，并且将HOG1、HOG2和CN特征进行融合，然后训练出7个位移相关滤波器FT；利用HOG特征训练一个尺度相关滤波器FS，用于估计跟踪过程中目标的尺度变化情况；利用HOG特征、HOI特征训练一个长时相关滤波器FL。
步骤3：大小为M×N的图像块x上训练相关滤波器可以看成岭回归模型问题,由目标区域图像块x循环移位得到训练样本来构造循环结构矩阵.每个样本xi所对应的标签yi根据距离目标区域的远近来分别赋值[0,1]范围的值，离目标越近，值越趋近于1，离目标越远，值越趋近于0，其中：i∈{0,1,...,M-1}×{0,1,...,N-1}。训练相关滤波器的线性岭回归的目标函数为：
Figure BDA0002418378110000051
其中f为滤波器函数，xi和yi分别表示第i个训练样本和第i个训练样本所对应的期望输出，w表示回归系数，λ是控制训练样本过程过度拟合的正则化参数。通过对回归函数求导，使得导数等于0，得到w＝(XTX+λI)-1XTy，其中X表示样本矩阵，其中每一行为一个样本，y表示回归分数，I表示单位矩阵。对于回归参数w用样本x和对偶空间α的线性组合表示为：
Figure BDA0002418378110000052
利用岭回归训练目标分类器，目的是找到一个函数f(z)＝wTz，它能最小化样本xi及其回归目标yi的平方误差，所以回归问题就转化为
Figure BDA0002418378110000053
为了能够把一个线性问题映射到一个非线性核空间，将低维空间线性不可分的数据转换为高维线性可分的数据，引入了核函数：
Figure BDA0002418378110000054
可得到
Figure BDA0002418378110000055
其中σ是高斯带宽因子，*表示矩阵共扼，
Figure BDA0002418378110000056
表示矩阵点乘，x代表目标样本，z代表训练样本，kxz是x和z的核相关矩阵。由于在傅里叶域计算速度比较快，所以上式进行傅里叶变换可得出
Figure BDA0002418378110000061
α为分类器系数，^表示离散傅里叶变换。根据此公式对所有的训练样本进行回归检测，计算出所有训练样本在频域中的相应数值，再将
Figure BDA0002418378110000062
进行傅里叶逆变换转换回时域后，便可得到训练样本所有位置的函数响应值。
在w经过核化技巧处理后，求解w便转化成了求解分类器系数α：α＝(K+λI)-1y，其中K是样本的核化相关矩阵，并且是循环矩阵，对其进行傅里叶变换可得
Figure BDA0002418378110000063
其中，
Figure BDA0002418378110000064
是目标跟踪过程中的分类器，^表示傅里叶变换，X表示目标样本，Z表示训练样本，
Figure BDA0002418378110000065
是K的第一行向量所构成的循环矩阵的傅里叶转换。
步骤4：如表1所示的7个滤波模板即滤波器，通过7个滤波模板之间的自我评估得分和成对评估得分选取最可靠的滤波器，其中自我评估得分公式为：
Figure BDA0002418378110000066
成对评估得分的公式为：
Figure BDA0002418378110000067
最终通过自我评估和成对评估的线性表达
Figure BDA0002418378110000068
筛选出最优滤波器。
表1滤波器特征表
滤波模型 特征
滤波器1 HOG1
滤波器2 HOG2
滤波器3 ColorNames
滤波器4 HOG1、HOG2
滤波器5 ColorNames、HOG1
滤波器6 ColorNames、HOG2
滤波器7 ColorNames、HOG1、HOG2
步骤5，利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断当前目标跟踪是否可靠，当长时相关滤波器与目标所产生的最大响应值大于阈值Th1即目标跟踪成功，则继续采用MCCT算法中最优相关滤波器对目标的平移进行估计，根据
Figure BDA0002418378110000071
得到在频域上最优滤波器计算的目标响应，再将
Figure BDA0002418378110000072
进行傅里叶逆变换转换回时域后，便可得到训练样本所有位置的函数响应值，最大响应值处即为预测的目标最佳位置，再继续步骤6；当小于阈值Th1即发生跟目标跟踪失败，激活在线检测器对目标重新定位并采用在线分类器SVM的检测结果作为跟踪结果，再继续步骤6。
步骤6，对目标位置进行尺度估计。以目标位置为中心，构造不同的尺度所够造成的尺度池S以及目标的宽和高M和N,尺度池的大小设置为33。对于每一个尺度s'，以目标为中心截取大小为s'M×s'N的图像块，构建一个基于HOG特征的多个尺度表示的特征金字塔。对于每一个目标尺度目标特征xs'，都有一个回归目标分数g，计算公式为：
Figure BDA0002418378110000073
其中s'表示任一尺度，N为尺度池中尺度的个数，σ1表示尺度控制参数。选取响应分数中响应值最大的尺度来确定该帧目标位置的最优尺度。
步骤7，判断步骤5、6中平移相关滤波器、尺度相关滤波器、长时相关滤波器的最大响应值是否满足目标更新的条件，引入峰值旁瓣比PSR来衡量当前响应是否满足更新条件，PSR的计算公式为：
Figure BDA0002418378110000074
其中，gmax表示滤波响应的峰值，μ表示响应值的平均值，σ表示响应值的标准差。当PSR≥Th2时，即表示目标未被遮挡，则进行模型更新，即
Figure BDA0002418378110000075
其中η为学习率，t为视频帧序号；当PSR<Th2时，即表示目标被遮挡，则不进行模型更新，即
Figure BDA0002418378110000076
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于多相关滤波模型的长时目标跟踪方法，该方法具体包括以下步骤：
S1：对于某个视频序列中的每一帧图像，提取每一帧图像目标区域的梯度方向直方图特征(Histogram of Oriented Gradient,HOG)和局部强度直方图特征(Histogram ofIntensity,HOI)作为目标的特征表示，并且用于训练长时相关滤波器；
S2：在跟踪过程中，利用长时相关滤波器与目标产生的最大响应值与检测阈值来判断目标跟踪是否发生失败，若目标跟踪成功，则继续采用MCCT算法中最优位移相关滤波器对目标的平移进行估计并得到目标的位置信息，若发生目标跟踪失败，激活在线检测器对目标重新定位并采用在线分类器SVM的检测结果作为目标的位置信息，以保证恢复到准确的跟踪；
S3：确定目标的平移位置后，再利用尺度相关滤波器确定该帧中目标的尺度；
S4：最后在满足目标更新条件下对滤波器模型进行更新。
2.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S1中，训练长时相关滤波器FL的线性岭回归的目标函数为：
Figure FDA0002418378100000011
其中，
Figure FDA0002418378100000012
表示映射到核空间，W3表示长时相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
3.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S2中，位移相关滤波器具体包括：第一帧中选择目标框大小为M×N，在跟踪过程中，由目标区域图像块循环移位得到训练样本来构造循环结构矩阵；每个样本Xm,n所对应的标签根据距离目标区域的远近来分别赋值[0,1]范围的值，离目标越近，值越趋近于1，离目标越远，值越趋近于0，其中：(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}；训练位移相关滤波器FT的线性岭回归的目标函数为：
Figure FDA0002418378100000013
其中，
Figure FDA0002418378100000014
表示映射到核空间，W1表示位移相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
4.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S3中，尺度相关滤波器具体包括：在目标框上提取尺度池中的S个尺度图像的HOG特征图Xhog(S)，训练尺度相关滤波器FS的线性岭回归的目标函数为：
Figure FDA0002418378100000015
其中，尺度池的定义为anw×anh，
Figure FDA0002418378100000021
w和h分别为前一帧目标的宽和高，a为尺度因子，S为尺度数；
Figure FDA0002418378100000022
表示映射到核空间，W2表示尺度相关滤波器，y(·)表示回归目标，λ是控制训练样本过程过度拟合的正则化参数。
5.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S2中，最优位移相关滤波器具体包括：提取第一帧中的HOG1、HOG2、CN特征并进行特征融合，训练出不同特征组合所对应的位移相关滤波器，通过各个位移相关滤波器在相同时间内的成对评估和同一位移相关滤波器在不同时间内的自我评估筛选出具有最高鲁棒性的滤波器即最优位移相关滤波器作为当前跟踪的滤波器；在随后帧中，最优位移相关滤波器会在上一帧的位置附近对该帧的图像块进行卷积，得到一个响应图，该响应图中拥有最大响应值的位置就是目标位置。
6.根据权利要求5所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述自我评估的得分计算公式为：
Figure FDA0002418378100000023
其中
Figure FDA0002418378100000024
Figure FDA0002418378100000025
表示位移相关滤波器i与其他滤波器之间的轨迹一致性的重叠率，Wτ表示在序列W里τ-t+Δt个元素，N是由公式N＝∑τWτ定义的归一化因子；
Figure FDA0002418378100000026
Figure FDA0002418378100000027
表示短期Δt内重叠率的波动程度，揭示了位移相关滤波器i和其他滤波器之间重叠评估的稳定性；ξ表示一个常数，可避免分母为零时的无穷评估得分；
所述成对评估的得分计算公式为：
Figure FDA0002418378100000028
其中
Figure FDA0002418378100000029
表示位移相关滤波器i的轨迹波动程度，τ∈[t-Δt+1,t]；
最终通过自我评估和成对评估的线性表达
Figure FDA00024183781000000210
筛选出最优滤波器，其中μ表示成对评估和自我评估权重的权衡参数。
7.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S2中，判断目标跟踪失败具体包括：判断长时相关滤波器与目标响应最大值是否满足目标可靠性检测阈值条件，当小于阈值Th1即表示目标跟踪失败，则启动在线分类器进行再检测，重新确定目标位置。
8.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S2中，采用在线分类器具体包括：当目标出视野或者受到遮挡时，目标响应的置信度会很低，对跟踪结果进行置信度检测进而重新确定目标位置，重定位模块通过训练一个在线SVM分类器实现的。
9.根据权利要求1所述的一种基于多相关滤波模型的长时目标跟踪方法，其特征在于，所述步骤S4中，目标更新条件具体包括：当目标在运动过程中一旦发生遮挡，引入峰值旁瓣比(Peak-to-Sdelobe Ratio，PSR)衡量跟踪效果来决定是否更新滤波器；当PSR≥Th2时，说明跟踪效果较好，则更新滤波模板；当PSR＜Th2时，则说明目标被遮挡，此时继续更新滤波器会导致后续帧目标丢失，停止更新。
CN202010198193.1A 2020-03-19 2020-03-19 一种基于多相关滤波模型的长时目标跟踪方法 Pending CN111476819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198193.1A CN111476819A (zh) 2020-03-19 2020-03-19 一种基于多相关滤波模型的长时目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198193.1A CN111476819A (zh) 2020-03-19 2020-03-19 一种基于多相关滤波模型的长时目标跟踪方法

Publications (1)

Publication Number Publication Date
CN111476819A true CN111476819A (zh) 2020-07-31

Family

ID=71747641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198193.1A Pending CN111476819A (zh) 2020-03-19 2020-03-19 一种基于多相关滤波模型的长时目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111476819A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200829A (zh) * 2020-09-07 2021-01-08 慧视江山科技(北京)有限公司 基于相关滤波方法的目标跟踪方法及装置
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN112785622A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN114663977A (zh) * 2022-03-24 2022-06-24 龙港市添誉信息科技有限公司 长时间跨度视频图像行人监测精准追踪方法
CN116434124A (zh) * 2023-06-13 2023-07-14 江西云眼视界科技股份有限公司 一种基于时空滤波的视频运动增强检测方法
CN117635665A (zh) * 2024-01-25 2024-03-01 浙江航天润博测控技术有限公司 基于相关滤波的抗遮挡目标跟踪方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790076A (en) * 1995-08-28 1998-08-04 Sypniewski; Jozef Tracking sensor specially for computer applications
CN101832756A (zh) * 2009-03-10 2010-09-15 深圳迈瑞生物医疗电子股份有限公司 测量图像中目标位移以及应变与应变率成像的方法和装置
CN105974430A (zh) * 2016-05-04 2016-09-28 西安电子科技大学 基于随机介质表面散射光的运动目标跟踪系统及跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法
CN110827319A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于局部敏感直方图改进的Staple目标跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790076A (en) * 1995-08-28 1998-08-04 Sypniewski; Jozef Tracking sensor specially for computer applications
CN101832756A (zh) * 2009-03-10 2010-09-15 深圳迈瑞生物医疗电子股份有限公司 测量图像中目标位移以及应变与应变率成像的方法和装置
CN105974430A (zh) * 2016-05-04 2016-09-28 西安电子科技大学 基于随机介质表面散射光的运动目标跟踪系统及跟踪方法
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107358623A (zh) * 2017-07-12 2017-11-17 武汉大学 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统
CN110827319A (zh) * 2018-08-13 2020-02-21 中国科学院长春光学精密机械与物理研究所 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN110211157A (zh) * 2019-06-04 2019-09-06 重庆邮电大学 一种基于相关滤波的目标长时跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NING WANG等: "Multi-cue Correlation Filters for Robust Visual Tracking", 《IEEE》 *
尹宽等: "复杂情况下自适应特征更新目标跟踪算法", 《光学学报》 *
熊昌镇等: "基于多高斯相关滤波的实时跟踪算法", 《浙江大学学报(工学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200829A (zh) * 2020-09-07 2021-01-08 慧视江山科技(北京)有限公司 基于相关滤波方法的目标跟踪方法及装置
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN112785622A (zh) * 2020-12-30 2021-05-11 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN112785622B (zh) * 2020-12-30 2024-04-05 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN114663977A (zh) * 2022-03-24 2022-06-24 龙港市添誉信息科技有限公司 长时间跨度视频图像行人监测精准追踪方法
CN116434124A (zh) * 2023-06-13 2023-07-14 江西云眼视界科技股份有限公司 一种基于时空滤波的视频运动增强检测方法
CN116434124B (zh) * 2023-06-13 2023-09-05 江西云眼视界科技股份有限公司 一种基于时空滤波的视频运动增强检测方法
CN117635665A (zh) * 2024-01-25 2024-03-01 浙江航天润博测控技术有限公司 基于相关滤波的抗遮挡目标跟踪方法

Similar Documents

Publication Publication Date Title
CN111476819A (zh) 一种基于多相关滤波模型的长时目标跟踪方法
CN108346159B (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
CN109285179B (zh) 一种基于多特征融合的运动目标跟踪方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN110211157B (zh) 一种基于相关滤波的目标长时跟踪方法
CN109685073A (zh) 一种基于核相关滤波的尺度自适应目标跟踪算法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
CN107169994B (zh) 基于多特征融合的相关滤波跟踪方法
CN110728697A (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN109977971A (zh) 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统
CN109858415A (zh) 适用于移动机器人行人跟随的核相关滤波目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN109191488B (zh) 一种基于csk与tld融合算法的目标跟踪系统及方法
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN110175649A (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN113989331A (zh) 基于上下文多线索信息和自适应响应的长时目标跟踪方法
CN112836640A (zh) 一种单摄像头多目标行人跟踪方法
CN112785622A (zh) 一种水面无人船长时跟踪方法、装置及存储介质
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731