CN111340842B - 一种基于联合模型的相关滤波目标跟踪方法 - Google Patents

一种基于联合模型的相关滤波目标跟踪方法 Download PDF

Info

Publication number
CN111340842B
CN111340842B CN202010097370.7A CN202010097370A CN111340842B CN 111340842 B CN111340842 B CN 111340842B CN 202010097370 A CN202010097370 A CN 202010097370A CN 111340842 B CN111340842 B CN 111340842B
Authority
CN
China
Prior art keywords
frame
target
classifier
scale
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010097370.7A
Other languages
English (en)
Other versions
CN111340842A (zh
Inventor
孔军
丁毅涛
蒋敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010097370.7A priority Critical patent/CN111340842B/zh
Publication of CN111340842A publication Critical patent/CN111340842A/zh
Application granted granted Critical
Publication of CN111340842B publication Critical patent/CN111340842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合模型的相关滤波目标跟踪算法，属于机器视觉领域。与传统的相关滤波算法不同，本发明采用置信度权重来将KCF模型和CN模型融合，发挥各自模型的特点进行目标跟踪。为了应对跟踪过程中尺度变化的问题，本发明引入了一个单独的尺度滤波器对尺度进行估计。为了应对遮挡，本发明对图像进行分块并计算图像块之间的相似性，以相似性作为判断遮挡的依据。同时采用了分类器池的方法，进一步提高了算法的鲁棒性。

Description

一种基于联合模型的相关滤波目标跟踪方法
技术领域
本发明属于机器视觉领域，特别涉及一种基于联合模型的相关滤波目标跟踪方法。
背景技术
机器视觉是人工智能正在快速发展的一个分支，是一个非常具有潜力的研究方向。目标跟踪在机器视觉中是一个非常重要的研究课题。目标跟踪的目的是对视频序列中的特定目标状态进行持续的推断，并确定目标在连续视频序列中的位置以及在任何时刻都能提供完整的目标区域。另外还可以根据要求获取跟踪目标的速度，运动轨迹等，从而可以为更高一级的任务要求提供必要的信息。近些年来，国内外众多学者提出了许多新颖的算法，在该领域取得了十分明显的进展。但令人遗憾的是，目标跟踪的实现一直面临着诸多干扰。这些干扰主要在于视觉信息的各种内在变化和外在变化，通常包含尺度变化、部分遮挡、背景杂乱、光照变化、运动模糊等。除此之外，目标跟踪技术在准确率和处理速度上的矛盾也对其提出了极大挑战。
正是由于目标跟踪的广泛应用以及诸多挑战，目标跟踪技术吸引了众多国内外学者及研究机构对其进行不断的研究。基于判别式跟踪模型的相关滤波算法因其优秀的计算速度和定位性能，成为了近年来视觉跟踪领域的热门。但在光照变化、背景杂乱、目标形变等复杂情况下，传统的基于相关滤波的跟踪算法常常在跟踪过程中因为环境因素导致非目标像素的逐渐累积，最终跟踪结果发生漂移而失败。
因而，本发明针对实际的复杂场景下，在构建相关滤波模型的同时，引入分块和局部加权距离的方法来抑制遮挡问题，同时，为了应对光照变化和尺度变化引入了颜色模型和尺度计算方法。
发明内容
本发明的主要目的是提出一种基于联合模型的相关滤波目标跟踪方法，在目标形变，光照变换，目标遮挡等干扰影响下，准确定位目标区域。
为了实现上述目的，本发明提供如下技术方案：
步骤一、读入图像，确定跟踪目标：读入第一帧图像Image1，设定跟踪目标，并将跟踪目标所在区域作为第一帧的候选区域；
步骤二、基于KCF和CN模型构建训练样本集合，训练位置滤波器：针对位置滤波器，在相关滤波的框架下，围绕第一帧跟踪目标的中心点位置，基于核化相关滤波器(Kernelized Correlation Filters，KCF)跟踪模型得到位置滤波器训练样本集合X1p；针对颜色模型，围绕第一帧跟踪目标的中心点位置，基于自适应的颜色特征(Adaptive colorattributes，CN)模型得到颜色模型训练样本集合X1c；
步骤三、基于DSST模型训练初始尺度相关滤波器Fscale：针对尺度相关滤波器，在相关滤波框架下，围绕第一帧的候选区域，基于尺度空间判别跟踪(DiscriminativeScaleSpaceTracker，DSST)模型中的尺度相关滤波器计算尺度模型训练样本集合X1s，训练初始尺度相关滤波器Fscale；
步骤四、创建初始的分类器池：分类器池中包含CN，KCF，DSST和KCF-CN四个分类器模型，将每一个分类器与第一帧图像Image1中带有跟踪目标的候选区域分别组合放入分类器池，完成初始分类器池构建，并计算第一帧的遮挡阈值Th1。
步骤五、读入下一帧图像：读入下一帧图像Imaget(t＞1)，以第t-1帧确定的最优候选区域为第t帧候选区域。
步骤六、根据t-1帧确定的分类器，计算第t帧最优的目标中心位置FP：
步骤6-1、如果t-1帧确定的分类器为CN分类器模型，则使用CN分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-2、如果t-1帧确定的分类器为KCF分类器模型，则使用KCF分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-3、如果t-1帧确定的分类器为DSST分类器模型，则使用DSST分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-4、如果t-1帧确定的分类器为KCF-CN分类器模型，则使用KCF-CN分类器计算第t帧图像的最优的目标中心位置FP：围绕步骤五确定的候选区域的中心点位置，基于KCF和CN模型分别计算位置滤波器候选样本集合Xtp和颜色模型候选样本集合Xtc；计算KCF模型和CN模型的响应图R(KCF)和R(CN)，通过峰值旁瓣比加权融合得到候选样本置信度Rcv，选择置信度峰值最大的候选样本，该样本的中心位置即为目标的中心位置FP。
步骤七、基于尺度相关滤波器Fscale估计第t帧最优的尺度：以步骤六预测的中心位置FP为候选区域中心位置，依据第t-1帧最优矩形尺度确定候选区域，依据不同矩形尺度采样得到若干尺度样本并提取HOG特征，并对样本大小归一化；在傅里叶域，将每个尺度样本的特征与上一帧得到的尺度相关滤波器Fscale做点乘运算得到若干响应图，选择峰值最大的响应图所对应的尺度为当前帧目标的最优尺度值。
步骤八、判断目标是否被遮挡，更新遮挡阈值Th及分类器池：以步骤七预测得到的最优候选样本作为当前第t帧的目标图像块，以第t帧目标图像块的中心点位置和尺度作为基础按比例放大获得搜索框；将经过搜索框获得的图像分割成9个局部分块，计算中心块与其他周围块之间的最小相似性距离
Figure GDA0004091976920000031
计算第t帧的目标图像块与分类器池内当前使用分类器对应的所有目标图像块之间最小相似性距离
Figure GDA0004091976920000032
如果
Figure GDA0004091976920000033
其中η是调整参数，则判断当前帧图像被遮挡，否则默认为不遮挡；若遮挡，根据评价标准Q从分类器池中选择新的分类器重新预测第t帧时的目标位置；最后更新遮挡阈值Th及分类器池。
步骤九、若视频序列未结束，则转入步骤五。
与现有的技术相比，本发明具有以下有益效果：
1、通过融合KCF和CN模型，充分发挥了两个模型的各自优势，融合模型一方面充分利用了KCF模型的快速检测功能，多通道特征和较强的判别目标的能力，另一方面利用了CN模型对于形变和遮挡的较强抗干扰能力。
2、本发明通过建立分类器池及遮挡判断策略，在一定程度上缓解了跟踪中因遮挡引起的累积误差问题。
附图说明
图1为本发明的算法流程图；
图2为算法模型结构图；
图3为KCF-CN跟踪模型结构图；
图4为Basketball视频序列算法效果展示图；其中，(a)为第31帧时跟踪得到的目标，(b)为第107帧时跟踪得到的目标，(c)为第229帧时跟踪得到的目标位，(d)为第650帧时跟踪得到的目标，(e)为第662帧时跟踪得到的目标，(f)为第685帧跟踪得到的目标；
图5为Jogging2视频序列算法效果展示图；其中，(a)为第10帧时跟踪得到的目标，(b)为第15帧时跟踪得到的目标，(c)为第45帧时跟踪得到的目标，(d)为第54帧时跟踪得到的目标，(e)为第61帧时跟踪得到的目标，(f)为第67帧时跟踪得到的目标；
图6为Dragonbaby视频序列算法效果展示图；其中，(a)为第10帧时跟踪得到的目标，(b)为第21帧时跟踪得到的目标，(c)为第27帧时跟踪得到的目标，(d)为第77帧时跟踪得到的目标，(e)为第78帧时跟踪得到的目标，(f)为第98帧时跟踪得到的目标；
图7为Coke视频序列算法效果展示图；其中，(a)为第12帧时跟踪得到的目标，(b)为第36帧时跟踪得到的目标，(c)为第39帧时跟踪得到的目标，(d)为第48帧时跟踪得到的目标，(e)为第59帧时跟踪得到的目标，(f)为第172帧时跟踪得到的目标；
图8为CarScale视频序列算法效果展示图；其中，(a)为第12帧时跟踪得到的目标，(b)为第85帧时跟踪得到的目标，(c)为第156帧时跟踪得到的目标，(d)为第168帧时跟踪得到的目标，(e)为第176帧时跟踪得到的目标，(f)为第217帧时跟踪得到的目标。
具体实施方式
为了对本发明进行更好的说明，下面以公开的视频数据集OTB2015为例进行阐述。图1为本发明的算法流程图，图2为本发明的算法模型结构图。
上述技术方案中步骤二中采用KCF模型获得位置滤波器训练样本集合X1p的具体方法为：
围绕第一帧目标的中心点位置，基于核化相关滤波器(Kernelized CorrelationFilters，KCF)跟踪模型依据初始矩形尺度在候选区域内循环采样得到候选样本并对每一个候选样本提取方向梯度直方图(Histogram of Oriented Gradient，HOG)特征，得到训练样本集合X1p＝{xm，n|(m，n)∈{0…M-1}×{0…N-1}}，M和N表示初始矩形尺度大小，X1p中每个训练样本
Figure GDA0004091976920000041
d为特征维度；
上述技术方案中步骤二中采用CN方法获得颜色模型训练样本集合X1c的具体方法为：
围绕第一帧目标的中心点位置，在自适应的颜色特征(Adaptive colorattributes，CN)模型中依据初始矩形尺度在候选区域内循环采样得到若干候选样本并对每一个候选样本提取颜色特征，得到训练样本集合X1c＝{xm，n|(m，n)∈{0…M-1}×{0…N-1}}，M和N表示初始矩形尺度大小，X1c中每个训练样本
Figure GDA0004091976920000042
d为特征维度。
上述技术方案中步骤三中采用DSST方法训练初始尺度相关滤波器的具体方法为：
在相关滤波框架下，围绕第一帧的候选区域，基于尺度空间判别跟踪(DiscriminativeScaleSpaceTracker，DSST)模型中的尺度相关滤波器，依据不同矩形尺度采样得到候选样本并对每一个候选样本提取HOG特征，统一样本大小，得到训练样本集合X1s＝{xm|m∈{0…M-1}}，M表示在给定的上一帧目标位置处获取的大小不同的目标子块数量，X1s中每个训练样本
Figure GDA0004091976920000043
基于训练样本训练得到初始的尺度相关滤波器。
上述技术方案中步骤四中KCF模型使用岭回归的方法进行训练。为了解决训练样本少的问题，KCF模型使用了循环矩阵这一方法。同时，为了解决非线性问题，KCF模型使用了核函数这一方法。KCF模型的具体细节请参考文献[Henriques，J.F.，R.Caseiro，P.Martins，et a1.，High-Speed Tracking with Kernelized Correlation Filters.IEEETransactions on Pattern Analysis&Machine Intelligence，2015.37(3)：p.583-596.]。
上述技术方案中步骤四中CN模型使用循环矩阵的方法来解决训练样本少的问题。同时，CN模型使用了颜色特征来提升模型的效果。CN模型的具体细节请参考文献[Danelljan，M.，F.S.Khan，M.Felsberg，et a1.Adaptive Color Attributes for Real-Time Visual Tracking.in IEEE Conference on Computer Vision&PatternRecognition.2014.]。
上述技术方案中步骤四中DSST模型使用位置和尺度两个相关滤波器完成对目标的定位和尺度的判别。DSST模型的具体细节请参考文献[Danelljan，M.，F.S.Khan，M.Felsberg，et al.Adaptive Color Attributes for Real-Time Visual Tracking.inIEEE Conference on Computer Vision&Pattern Recognition.2014.]。
上述技术方案中步骤四中KCF-CN模型的具体细节详见步骤6-4。
上述技术方案中步骤四中第一帧的遮挡阈值Th1具体计算方法为：
Figure GDA0004091976920000051
其中v是调整值，本实例中取值为0.015，
Figure GDA0004091976920000052
表示第1帧利用搜索框获得的图像中心块与其他周围8个块之间的最小的相似性距离l。
上述技术方案中步骤四中，两个图像块的相似性距离l的计算方法如下：
Figure GDA0004091976920000053
其中V1、V2表示两个图像块的矩阵，Gtrace表示的是矩阵的计算，具体为：对V1-V2后获得的矩阵进行各元素的点乘计算并对每列进行求和，取均值。
上述技术方案中步骤五中以第t-1帧确定的最优候选区域为第t帧候选区域，针对第1帧，其最优候选区域即步骤一设定的候选区域。
上述技术方案中步骤6-1中CN方法为使用训练得到的颜色相关滤波器去计算候选样本的响应图，响应图中值最大的即是最优的目标中心位置。CN方法的具体细节请参考文献[Danelljan，M.，F.S.Khan，M.Felsberg，et al.Adaptive Color Attributes for Real-Time Visual Tracking.in IEEE Conference on Computer Vision&PatternRecognition.2014.]。
上述技术方案中步骤6-2中KCF方法为使用训练得到的位置相关滤波器去计算候选样本的响应图，响应图中值最大的即是最优的目标中心位置。KCF方法的具体细节请参考文献[Henriques，J.F.，R.Caseiro，P.Martins，et a1.，High-Speed Tracking withKernelized Correlation Filters.IEEE Transactions on Pattern Analysis&MachineIntelligence，2015.37(3)：p.583-596.]。
上述技术方案中步骤6-3中DSST方法为使用训练得到的尺度相关滤波器去计算候选样本的响应图，响应图中值最大的即是最优的目标中心位置。DSST方法的具体细节请参考文献[Danelljan，M.，F.S.Khan，M.Felsberg，et al.Adaptive Color Attributes forReal-Time Visual Tracking.in IEEE Conference on Computer Vision&PatternRecognition.2014.]。
上述技术方案中步骤6-4的算法模型结构图如图3所示。
上述技术方案中步骤6-4中基于KCF模型计算位置滤波器候选样本集合Xtp的具体方法与步骤二采用KCF模型计算位置滤波器训练样本集合X1p的具体方法相同，Xtp＝xm，n|(m，n)∈{0…Mt-1-1}×{0…Nt-1-1}，这里的Mt-1和Nt-1表示是第t-1帧最优矩形尺度大小，Xtp中每个候选样本
Figure GDA0004091976920000066
d为特征维度。
上述技术方案中步骤6-4中基于CN模型计算颜色模型候选样本集合Xtc的具体方法与步骤二采用CN模型计算颜色模型训练样本集合X1c的具体方法相同，Xtc＝{xm，n|(m，n)∈{0…Mt-1-1}×{0…Nt-1-1}}，这里的Mt-1和Nt-1表示是第t-1帧最优矩形尺度小大，Xtc中每个候选样本
Figure GDA0004091976920000061
d为特征维度。
上述技术方案中步骤6-4中提出的融合模型方法采用峰值旁瓣比的融合方式，具体为：
Figure GDA0004091976920000062
其中PSRCN和PSRKCF的计算方法为：
Figure GDA0004091976920000063
其中x表示CN或者KCF，R(CN)表示CN算法的候选样本响应图，R(KCF)表示KCF算法的测试样本响应图，μ是代表均值，σ是代表标准差，Rcv为加权融合得到候选样本置信度。
R(KCF)＝(Kz)Tz，其中K表示核矩阵，z表示候选样本，T表示矩阵的转置，Kz表示候选样本z在核空间的核矩阵。
Figure GDA0004091976920000064
其中F和F-1表示傅里叶变换与傅里叶反变换，a表示参数矩阵，z表示候选样本，
Figure GDA0004091976920000065
表示训练样本特征，φ表示映射，符号·表示乘积运算。
具体R(CN)和R(KCF)的计算方法可参考文献[Henriques，J.F.，R.Caseiro，P.Martins，et al.，High-Speed Tracking with Kernelized Correlation Filters.IEEETransactions on Pattern Analysis&Machine Intelligence，2015.37(3)：p.583-596.]和[Danelljan，M.，F.S.Khan，M.Felsberg，et al.Adaptive Color Attributes for Real-Time Visual Tracking.in IEEE Conference on Computer Vision&PatternRecognition.2014.]。
上述技术方案中步骤八中，搜索框的构建方法为：以第t帧目标图像块的位置和尺度作为基础按比例放大而获得的，选取的放大比例推荐为第t帧目标图像块尺度的2.5倍；目标图像块的中心位置即是搜索框的中心位置；如果目标图像块靠近原始图像的边界导致搜索框的部分范围超出了原始图像，那么就将原始图像边界处的像素值赋予搜索框超出的部分。
上述技术方案中步骤八中，中心块与其他周围块之间的最小相似性距离
Figure GDA0004091976920000071
及第t帧的目标图像块与分类器池内当前使用分类器对应的所有目标图像块之间最小相似性距离的计算中两个图像块的相似性距离的计算方法与步骤四中相似性距离l的求解方法相同。
上述技术方案中步骤八中，评价标准Q使用最大似然估计和熵正则化项挑选出新的分类器。其具体细节参见文献[Xingping Dong，J.S.，Occlusion-Aware Real-TimeObject Tracking.IEEE Transactions on Multimedia，2017.19(4)：p.763-771.]。
上述技术方案中步骤八中，判断遮挡的阈值Th的更新方法如下：
Figure GDA0004091976920000072
其中
Figure GDA0004091976920000073
表示在第t帧利用搜索框获得的图像中心块与其他周围8个块之间的最小的相似性距离。
Figure GDA0004091976920000074
表示当前使用的分类器第t帧前保存的10帧中的预测的目标位置与第t帧预测的目标位置之间的最小相似性距离。如果
Figure GDA0004091976920000075
那么判断为严重遮挡，否则默认为不遮挡，v和η都是调整参数，本实例中取值分别为0.015和0.5。
上述技术方案中步骤八中，分类器池的具体更新方法如下：
分类器池中保存每个分类器对应的数量为10帧的目标图像块；在分类器池内某个分类器对应的图像块数量小于等于10时且第t帧无遮挡情况下，则直接将当前第t帧分类器对应的目标图像块添加进分类器池；在分类池内某个分类器对应的图像块数量大于10时且第t帧无遮挡情况下，则删除分类器池内该分类器对应的最远时间帧目标图像块，并将该分类器第t帧的目标图像块加入分类器池；在第t帧判断为遮挡的情况下，则不更新分类器池。
为了验证本发明的准确性和鲁棒性，本发明在著名的OTB2105视频数据集上进行了实验。该数据集在2015年被扩充到了100个，为了直观的体现出本发明的跟踪效果，我们从OTB2015库中选取了五个具有各种干扰因素的视频序列进行算法效果的展示，这五个视频序列包含的干扰因素如表1所示。OTB2015中的评价标准是中心位置偏差，即跟踪算法计算得到的目标位置中心与目标的真实值的中心位置之间的欧式距离，当中心位置小于某一阈值时就认定为该帧跟踪成功，在本实例中阈值设为20。
表1:视频序列说明
视频序列 干扰因素
Basketball 光照变化、遮挡、形变、旋转、背景混杂
Jogging2 遮挡、形变、旋转
Dragonbaby 快速运动、遮挡
Coke 光照变化、遮挡、快速运动、旋转、背景混杂
CarScale 尺度变化、遮挡、快速运动、旋转
上面结合附图对本发明的具体实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于联合模型的相关滤波目标跟踪方法，其特征在于，步骤如下：
步骤一、读入图像，确定跟踪目标：读入第一帧图像Image1，设定跟踪目标，并将跟踪目标所在区域作为第一帧的候选区域；
步骤二、基于核化相关滤波器KCF和自适应的颜色特征CN模型构建训练样本集合，训练位置滤波器：针对位置滤波器，在相关滤波的框架下，围绕第一帧跟踪目标的中心点位置，基于KCF跟踪模型得到位置滤波器训练样本集合X1p；针对颜色模型，围绕第一帧跟踪目标的中心点位置，基于CN模型得到颜色模型训练样本集合X1c；
步骤三、基于DSST模型训练初始尺度相关滤波器Fscale：针对尺度相关滤波器，在相关滤波框架下，围绕第一帧的候选区域，基于尺度空间判别跟踪DSST模型中的尺度相关滤波器计算尺度模型训练样本集合X1s，训练初始尺度相关滤波器Fscale；
步骤四、创建初始的分类器池：分类器池中包含CN、KCF、DSST和KCF-CN四个分类器模型，将每一个分类器与第一帧图像Image1中带有跟踪目标的候选区域分别组合放入分类器池，完成初始分类器池构建，并计算第一帧的遮挡阈值Th1；
步骤五、读入下一帧图像：读入下一帧图像Imaget，t>1，以第t-1帧确定的最优候选区域为第t帧候选区域；
步骤六、根据t-1帧确定的分类器，计算第t帧最优的目标中心位置FP：
步骤6-1、当t-1帧确定的分类器为CN分类器模型时，则使用CN分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-2、当t-1帧确定的分类器为KCF分类器模型时，则使用KCF分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-3、当t-1帧确定的分类器为DSST分类器模型时，则使用DSST分类器计算第t帧图像的最优的目标中心位置FP；
步骤6-4、当t-1帧确定的分类器为KCF-CN分类器模型时，则使用KCF-CN分类器计算第t帧图像的最优的目标中心位置FP：围绕步骤五确定的候选区域的中心点位置，基于KCF和CN模型分别计算位置滤波器候选样本集合Xtp和颜色模型候选样本集合Xtc；计算KCF模型和CN模型的响应图R(KCF)和R(CN)，通过峰值旁瓣比加权融合得到候选样本置信度Rcv，选择置信度峰值最大的候选样本，该样本的中心位置即为目标的中心位置FP；
步骤七、基于尺度相关滤波器Fscale估计第t帧最优的尺度：以步骤六预测的中心位置FP为候选区域中心位置，依据第t-1帧最优矩形尺度确定候选区域，依据不同矩形尺度采样得到若干尺度样本并提取HOG特征，并对样本大小归一化；在傅里叶域，将每个尺度样本的特征与上一帧得到的尺度相关滤波器Fscale做点乘运算得到若干响应图，选择峰值最大的响应图所对应的尺度为当前帧目标的最优尺度值；
步骤八、判断目标是否被遮挡，更新遮挡阈值Th及分类器池：以步骤七预测得到的最优候选样本作为当前第t帧的目标图像块，以第t帧目标图像块的中心点位置和尺度作为基础按比例放大获得搜索框；将经过搜索框获得的图像分割成9个局部分块，计算中心块与其他周围块之间的最小相似性距离
Figure FDA0004017118670000021
计算第t帧的目标图像块与分类器池内当前使用分类器对应的所有目标图像块之间最小相似性距离
Figure FDA0004017118670000022
当
Figure FDA0004017118670000023
时，其中η是调整参数，则判断当前帧图像被遮挡，否则默认为不遮挡；当判断为遮挡时，根据评价标准Q从分类器池中选择新的分类器重新预测第t帧时的目标位置；最后更新遮挡阈值Th及分类器池；
步骤九、判断视频序列是否结束，未结束，则转入步骤五。
2.根据权利要求1所述的一种基于联合模型的相关滤波目标跟踪方法，其特征在于，所述步骤四中，第一帧的遮挡阈值Th1具体计算方法为：
Figure FDA0004017118670000024
其中v是调整值，
Figure FDA0004017118670000025
表示第1帧利用搜索框获得的图像中心块与其他周围8个块之间的最小的相似性距离l。
3.根据权利要求1所述的一种基于联合模型的相关滤波目标跟踪方法，其特征在于，所述步骤6-4中提出峰值旁瓣比的融合方式，具体为：
Figure FDA0004017118670000026
其中PSRCN和PSRKCF的计算方法为：
Figure FDA0004017118670000027
其中，x表示CN或者KCF,R(CN)表示CN算法的候选样本响应图，R(KCF)表示KCF算法的测试样本响应图，μ是代表均值，σ是代表标准差，Rcv为加权融合得到候选样本置信度。
4.根据权利要求1所述的一种基于联合模型的相关滤波目标跟踪方法，其特征在于，所述步骤八中，搜索框的构建方法为：以第t帧目标图像块的位置和尺度作为基础按比例放大而获得的，选取的放大比例推荐为第t帧目标图像块尺度的2.5倍；目标图像块的中心位置即是搜索框的中心位置；如果目标图像块靠近原始图像的边界导致搜索框的部分范围超出了原始图像，那么就将原始图像边界处的像素值赋予搜索框超出的部分。
5.根据权利要求2所述的一种基于联合模型的相关滤波目标跟踪方法，其特征在于，所述步骤八中，判断遮挡的阈值Th的更新方法如下：
Figure FDA0004017118670000031
CN202010097370.7A 2020-02-17 2020-02-17 一种基于联合模型的相关滤波目标跟踪方法 Active CN111340842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010097370.7A CN111340842B (zh) 2020-02-17 2020-02-17 一种基于联合模型的相关滤波目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010097370.7A CN111340842B (zh) 2020-02-17 2020-02-17 一种基于联合模型的相关滤波目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111340842A CN111340842A (zh) 2020-06-26
CN111340842B true CN111340842B (zh) 2023-04-18

Family

ID=71183493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010097370.7A Active CN111340842B (zh) 2020-02-17 2020-02-17 一种基于联合模型的相关滤波目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111340842B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785622B (zh) * 2020-12-30 2024-04-05 大连海事大学 一种水面无人船长时跟踪方法、装置及存储介质
CN112991390B (zh) * 2021-03-31 2023-08-18 江苏理工学院 一种基于背景感知的多跟踪器融合目标跟踪方法
CN116993785B (zh) * 2023-08-31 2024-02-02 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质
CN117522925B (zh) * 2024-01-05 2024-04-16 成都合能创越软件有限公司 注意力机制下移动相机中判断物体运动状态方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481264A (zh) * 2017-08-11 2017-12-15 江南大学 一种自适应尺度的视频目标跟踪方法
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN108647694A (zh) * 2018-04-24 2018-10-12 武汉大学 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481264A (zh) * 2017-08-11 2017-12-15 江南大学 一种自适应尺度的视频目标跟踪方法
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN108647694A (zh) * 2018-04-24 2018-10-12 武汉大学 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN108776975A (zh) * 2018-05-29 2018-11-09 安徽大学 一种基于半监督特征和滤波器联合学习的视觉跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王任华等.基于自适应多模型联合的目标跟踪算法.计算机工程.2019,第45卷(第45期),正文全文. *

Also Published As

Publication number Publication date
CN111340842A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN109816689B (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN109785366B (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN110531618B (zh) 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN115375737B (zh) 基于自适应时间与序列化时空特征的目标跟踪方法与系统
CN111968153A (zh) 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法
CN110276782B (zh) 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
CN110660077A (zh) 一种融合多个特征的多尺度目标跟踪方法
CN110472607A (zh) 一种船舶跟踪方法及系统
CN111091583B (zh) 长期目标跟踪方法
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN116777956A (zh) 基于多尺度航迹管理的运动目标筛选方法
CN111539985A (zh) 一种融合多特征的自适应运动目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant