CN109461172A - 人工与深度特征联合的相关滤波视频自适应跟踪方法 - Google Patents

人工与深度特征联合的相关滤波视频自适应跟踪方法 Download PDF

Info

Publication number
CN109461172A
CN109461172A CN201811246254.6A CN201811246254A CN109461172A CN 109461172 A CN109461172 A CN 109461172A CN 201811246254 A CN201811246254 A CN 201811246254A CN 109461172 A CN109461172 A CN 109461172A
Authority
CN
China
Prior art keywords
scale
target
filter
feature
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811246254.6A
Other languages
English (en)
Inventor
肖亮
张乐意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811246254.6A priority Critical patent/CN109461172A/zh
Publication of CN109461172A publication Critical patent/CN109461172A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人工与深度特征联合的相关滤波视频自适应跟踪方法，包括如下步骤：深度神经网络预训练；深度卷积特征提取；手工特征提取；多特征融合计算；尺度自适应目标检测与响应计算；相关滤波器模型更新；输出当前帧跟踪结果。本发明采用深度卷积特征、梯度方向直方图和颜色名称特征的融合建模目标外观，利用目标的空间上下文信息抑制背景响应，采用自适应尺度估计方法，增强了模型的判别能力，利用快速傅立叶变换，在频域中进行计算处理，降低了计算复杂度；本发明提高了复杂场景下跟踪的鲁棒性，可广泛应用于视频监控、人机交互、机器人技术和道路场景理解等领域。

Description

人工与深度特征联合的相关滤波视频自适应跟踪方法
技术领域
本发明涉及计算机视觉领域，特别是一种人工与深度特征联合的相关滤波视频自适应跟踪方法。
背景技术
目标跟踪是计算机视觉领域中的重要研究内容，目标追跟踪主要是根据目标在视频中第一帧或者前几帧的位置，估计后序序列目标出现的位置轨迹。目前，目标跟踪技领域方法主要分为两大类：
(1)生成式方法：该方法主要是运用生成模型描述目标的表观特征，在后序序列中找到与目标外观最相似的区域，也就是说，通过搜索候选目标来最小化重构误差。比较有代表性的算法有稀疏编码、卡尔曼滤波、粒子滤波和主成分分析(PCA)等。生成式方法仅着眼于对目标外观的刻画，而不关注背景信息，因此在目标外观变化剧烈或者被遮挡时容易产生漂移，导致跟踪失败。
(2)判别式方法：该方法主要是运用在线机器学习技术，在当前帧以目标区域为正样本，背景区域为负样本来训练一个二分类器，然后在后续的视频图像序列中运用该分类器进行目标检测，找到最优区域，完成目标跟踪。与生成类方法最大的区别是，分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类方法表现更鲁棒。近年来，各种机器学习算法被应用在判别式方法上，其中比较有代表性的有多实例学习方法、Struck和结构化SVM等。目前大部分深度学习目标跟踪方法也归属于判别式框架。
但是，传统的判别式方法有一个重要的缺陷，即为了增强判别能力，往往需要大量的训练样本，同时也加重了计算负担，使得这些判别式方法在跟踪的实时性很差。近年来，基于相关滤波的跟踪方法因为使用了样本的循环移位来取代负样本，因而速度非常快，吸引了众多研究者的目光。
发明内容
本发明的目的在于提供一种人工与深度特征联合的相关滤波视频自适应跟踪方法。
实现本发明目的的技术解决方案为：一种人工与深度特征联合的相关滤波视频自适应跟踪方法，包括以下步骤：
步骤1，深度神经网络预训练；
步骤2，深度卷积特征提取和手工特征提取；
步骤3，多特征融合计算；
步骤4，尺度自适应目标检测与响应计算；
步骤5，滤波器模型更新；
步骤6，输出当前帧跟踪结果。
本发明与现有技术相比，其显著优点为：(1)本发明使用了深度卷积特征、梯度方向直方图和颜色名称特征的融合特征，其中高层卷积特征语义信息丰富，低层卷积特征具有详细的局部信息，梯度方向直方图特征反映了目标的结构信息，而颜色特征关注于目标的外观信息，这些特征相互融合，有效地增强了目标外观的表示能力和模型的判别能力，提高了跟踪的稳定性；(2)本发明采用自适应尺度估计方法，该方法实现快速，尺度估计准确，可以结合到任何判别式跟踪算法框架中；(3)本发明有效利用了空间上下文信息，增加了跟踪过程中可以使用的背景信息，通过抑制背景响应，使目标定位更加准确。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的目标跟踪方法的流程图。
图2为多特征融合示意图。
图3为空间上下文信息使用示意图。
图4为目标位置估计方法示意图。
图5为自适应尺度估计方法示意图。
图6为本发明在标准视觉跟踪数据集OTB2013上评测结果图。
图7为本发明在标准视觉跟踪数据集OTB2015上评测结果图。
图8为本发明实际视频目标跟踪结果图。
具体实施方式
如图1所示，一种人工与深度特征联合的相关滤波视频自适应跟踪方法，包括以下步骤：
步骤1，深度神经网络预训练；
步骤2，深度卷积特征提取和手工特征提取；
步骤3，多特征融合计算；
步骤4，尺度自适应目标检测与响应计算；
步骤5，滤波器模型更新；
步骤6，输出当前帧跟踪结果。
进一步的，步骤1中的深度神经网络是在带有类别标签的数据集ImageNet上进行预训练的。
进一步的，步骤2中深度卷积特征提取具体为：
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)将候选块zt输入到步骤1中预训练的深度神经网络中进行前向计算，分别提取Conv3层，Conv4层和Conv5层的卷积特征；
手工特征提取具体为：
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)目标候选块zt提取梯度方向直方图，将候选块分成若干个4×4像素的细胞单元，使用9个梯度方向，统计直方图，使用主成分分析降维，得到m维的梯度方向直方图特征图谱；
(3)将目标候选块zt缩放至1/4大小，提取n维的颜色名称特征；
进一步的，步骤3中多特征融合计算具体为：
(1)将人工特征提取得到的m维的梯度方向直方图与n维的颜色名称特征融合，得到(m+n)维的特征图谱；
(2)将深度卷积特征提取得到的三层卷积层特征图谱缩放到与手工特征图谱大小一致，对所有特征图谱进行快速傅里叶变换，得到融合特征图谱^表示离散傅立叶变换；
进一步的，步骤4中尺度自适应目标检测与响应计算具体为：
(1)根据上一帧跟踪的目标位置pt－1和尺度st-1，根据步骤2、步骤3，从目标位置估计的候选区域zt,trans提取多特征并融合，得到候选区域特征图谱采用如下公式计算位置滤波器的相关输出响应图ft,trans：
其中，ft表示位置滤波器的相关输出响应图谱，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘。
(2)找到位置滤波器相关输出响应图ft，trans的最大值对应的位置，此位置即是当前帧检测到的目标位置pt；
(3)根据(2)检测到的目标位置pt和上一帧检测到的目标尺度st-1＝Wt-1×Ht-1，提取以pt为中心的尺度候选区域构造尺度金字塔，其中，a为一个超参数，an是每一层金字塔的尺度因子，o是尺度数目；根据步骤3，将目标尺度候选区域金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱a取值范围为[1.001，1.1]；
(4)与步骤(1)类似，计算尺度滤波器相关输出响应图谱ft，sacle；
(5)找到尺度滤波器相关输出响应图ft，scale的最大值对应的尺度，此尺度即是当前帧检测到的目标尺度st。
进一步的，步骤5中相关滤波器更新模型具体为：
(1)根据步骤4检测到的当前帧的目标位置pt和尺度st，得到目标区域以及目标区域的k个上下文i＝1，2，...，k，根据步骤2、步骤3，得到目标区域xt和空间上下文的融合特征图谱
(2)利用如下公式训练位置滤波器模型：
其中，表示求得的位置滤波器模型，是期望的相关输出，设置为峰值位于目标中心位置pt处的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ1和λ2是正则化参数，λ1防止训练的模型过拟合，λ2用于抑制背景响应；λ1和λ2取值范围分别为[0.00001，0.001]和[0.1，0.6]，η取值范围为[0.001，0.05]。
(3)根据步骤4检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，提取以pt为中心的目标区域构造尺度金字塔。根据步骤2，将目标尺度金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱
(4)利用如下公式训练尺度滤波器模型：
其中，表示求得的尺度滤波器模型，是期望的相关输出，设置为峰值位于目标尺度金字塔中心的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ是正则化参数，防止训练的模型过拟合，在本发明中λ取值范围为[0.00001，0.001]；
(5)使用线性插值方法更新位置滤波器和尺度滤波器
其中，和分别表示前一帧的位置滤波器和尺度滤波器，η为学习率，η越大则模型更新越快。
进一步的，步骤6中输出当前帧跟踪结果具体为：
根据步骤4检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，以pt为跟踪边界框的中心点，Wt和Ht分别为边界框的宽度和高度，在当前帧图像上画出边界框，并将图像显示出来。
本发明的创新性在于：1)采用深度卷积特征、梯度方向直方图和颜色名称特征三种特征的融合特征，增强了目标外观的表示能力；2)使用自适应尺度估计方法，解决了以前的跟踪器无法估计目标尺度变化的弊端；3)引入空间上下文信息，增强了模型的判别能力，提高了目标在复杂场景和外观变化中的目标跟踪的鲁棒性；4)采用快速傅立叶变换，在频域中处理，降低了计算复杂度，极大提升了跟踪算法的速度。
下面结合附图和实施例详细说明本发明的实施过程。
实施例
如图1所示，一种人工与深度特征联合的相关滤波视频自适应跟踪方法，包括以下步骤：
步骤1：深度神经网络预训练
在带有类别标签的大规模数据集ImageNet上进行深度神经网络的预训练。
步骤2：深度卷积特征提取
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)将候选块zt输入到步骤1中预训练的深度神经网络中进行前向计算，分别提取Conv3层，Conv4层和Conv5层的卷积特征。
步骤3：手工特征提取
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)目标候选块zt提取梯度方向直方图，将候选块分成若干个4×4像素的细胞单元，使用9个梯度方向，统计直方图，使用主成分分析降维，得到m维的梯度方向直方图特征图谱。本发明中m取值设置为31；
(3)将目标候选块zt缩放至1/4大小，提取n维的颜色名称特征，本发明中n取值设置为11。
步骤4：多特征融合计算
(1)将步骤3中得到的31维的梯度方向直方图与11维的颜色名称特征融合，得到42维的特征图谱；
(2)将步骤2中得到的三层卷积层特征图谱缩放到与手工特征图谱大小一致，对所有特征图谱进行快速傅里叶变换，得到融合特征图谱^表示离散傅立叶变换。
深度卷积特征、梯度方向直方图和颜色名称特征的融合计算过程如图2所示。
步骤5：尺度自适应目标检测与响应计算
(1)如图4所示，根据上一帧跟踪的目标位置pt-1和尺度st-1，根据步骤2、步骤3和步骤4，从目标位置估计的候选区域zt，trans提取多特征并融合，得到候选区域特征图谱采用如下公式计算位置滤波器的相关输出响应图ft，trans：
其中，ft表示位置滤波器的相关输出响应图谱，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘。
(2)找到位置滤波器相关输出响应图ft，trans的最大值对应的位置，此位置即是当前帧检测到的目标位置pt；
(3)如图5所示，根据(2)检测到的目标位置pt和上一帧检测到的目标尺度st-1＝Wt-1×Ht-1，提取以pt为中心的尺度候选区域 构造尺度金字塔，其中，a为一个超参数，an是每一层金字塔的尺度因子，o是尺度数目。根据步骤3，将目标尺度候选区域金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱本发明中，a取值设置为1.02，o取值设置为33，m取值设置为31；
(4)与(1)中类似，计算尺度滤波器相关输出响应图谱ft，sacle；
(5)找到尺度滤波器相关输出响应图ft，scale的最大值对应的尺度，此尺度即是当前帧检测到的目标尺度st。
步骤6：相关滤波器模型更新
(1)空间上下文信息的提取如图3所示。根据步骤5检测到的当前帧的目标位置pt和尺度st，得到目标区域以及目标区域的k个上下文本发明中，我们采用k＝4，根据步骤2、步骤3和步骤4，得到目标区域xt和空间上下文的融合特征图谱
(2)利用如下公式训练位置滤波器模型：
其中，表示求得的位置滤波器模型，是期望的相关输出，设置为峰值位于目标中心位置pt处的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ1和λ2是正则化参数，λ1防止训练的模型过拟合，λ2用于抑制背景响应，在本发明中λ1和λ2取值分别设置为0.0001和0.4。
(3)根据步骤5检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，提取以pt为中心的目标区域构造尺度金字塔，其中， 根据步骤3，将目标尺度金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱m取31；
(4)利用如下公式训练尺度滤波器模型：
其中，表示求得的尺度滤波器模型，是期望的相关输出，设置为峰值位于目标尺度金字塔中心的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ是正则化参数，防止训练的模型过拟合，本发明中，λ取值设置为0.0001；
(5)使用线性插值方法更新位置滤波器和尺度滤波器
其中，和分别表示前一帧的位置滤波器和尺度滤波器，η为学习率，η越大则模型更新越快，在本发明中η取值设置为0.01。
步骤7：输出当前帧跟踪结果
根据步骤5检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，以pt为跟踪边界框的中心点，Wt和Ht分别为边界框的宽度和高度，在当前帧图像上画出目标边界框，并将图像显示出来。
本发明的效果可通过以下实验进一步说明：
实验设置
本实施例在两个标准视觉跟踪数据集OTB2013和OTB2015上进行实验：OTB2013有50个视频序列，总共拥有29000帧，而OTB2015拥有100个视频序列，总共拥有58897帧，它们每帧都有目标的标记。我们采用在大规模数据集ImageNet上进行预训练的VGG-Net-19进行深度特征的提取，提取的每层深度特征使用线性插值法放缩到目标大小的1/4。通过实验发现，本发明中参数设置为如表1所示的值时，实验取得很好的结果。
表1本实施例中采用的参数值
参数 m n λ<sub>1</sub> λ<sub>2</sub> λ a o η
取值 31 11 0.0001 0.4 0.0001 1.02 33 0.01
实验均在Window7操作系统下采用MATLAB R2016a完成。
实验结果：
如图6和图7所示，分别展示了本发明在标准视觉跟踪数据集OTB2013和OTB2015上与近年来出色的13个跟踪器比较的评测结果图。这13个跟踪器可以分为以下3类：
1)基于深度学习的跟踪器：全卷积网络跟踪算法FCNT、基于深度压缩图像表示的视觉跟踪算法DLT和分层卷积特征跟踪算法HCFT；
2)基于相关滤波的跟踪器：空间正则化相关滤波算法SRDCF、多存储跟踪算法MUSTer、长期相关滤波跟踪算法LCT、判别式尺度空间跟踪算法DSST、尺度自适应核相关滤波跟踪算法SAMF、核相关滤波跟踪算法KCF和循环结构跟踪算法CSK；
3)使用一个或多个在线分类器的跟踪器：熵最小化多专家跟踪算法MEEM、Tracking-Learning-Detection算法TLD、结构化输出跟踪算法Struck。
在实验中，评测指标主要有两种：准确率和重叠成功率。准确率定义为算法检测位置与目标标定位置之间的距离不超过20像素的帧数占总的帧数的百分比，而重叠成功率指的是算法检测目标边界框与目标标定边界框之间重叠部分的面积(交运算)占总面积(并运算)的百分比。两幅图中，每幅图的第一列是准确图(Precision Plots)，第二列是成功图(Success Plots)。整理各跟踪算法的评测结果数据，如表2所示。
表2本发明与近几年出色的跟踪算法在OTB2013与OTB2015数据集上的评测结果比较
从图6和图7及表2可以看出，本发明在两项评测指标下均取得了较好的结果。
如图8所示，显示了本发明与其它4个出色的跟踪算法在真实视频序列中的跟踪结果。从图中可以看出，本发明在目标发生平面外旋转、遮挡、变形、尺度变化以及快速运动等情况的复杂场景下仍然表现出很好的跟踪结果。

Claims (10)

1.一种人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，包括以下步骤：
步骤1，深度神经网络预训练；
步骤2，深度卷积特征提取和手工特征提取；
步骤3，多特征融合计算；
步骤4，尺度自适应目标检测与响应计算；
步骤5，滤波器模型更新；
步骤6，输出当前帧跟踪结果。
2.根据权利要求1所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤1中的深度神经网络是在带有类别标签的数据集ImageNet上进行预训练的。
3.根据权利要求1所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤2中深度卷积特征提取具体为：
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)将候选块zt输入到步骤1中预训练的深度神经网络中进行前向计算，分别提取Conv3层，Conv4层和Conv5层的卷积特征。
4.根据权利要求3所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤2中手工特征提取具体为：
(1)在第t帧图像处，根据目标位置和尺度大小，以位置为候选区域中心，尺度为候选区域大小，裁剪图像获得目标候选块zt；
(2)目标候选块zt提取梯度方向直方图，将候选块分成若干个4×4像素的细胞单元，使用9个梯度方向，统计直方图，使用主成分分析降维，得到m维的梯度方向直方图特征图谱；
(3)将目标候选块zt缩放至1/4大小，提取n维的颜色名称特征。
5.根据权利要求4所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤3中多特征融合计算具体为：
(1)将步骤2中得到的m维的梯度方向直方图与n维的颜色名称特征融合，得到(m+n)维的特征图谱；
(2)将步骤2中得到的三层卷积层特征图谱缩放到与手工特征图谱大小一致，对所有特征图谱进行快速傅里叶变换，得到融合特征图谱^表示离散傅立叶变换。
6.根据权利要求5所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤4中尺度自适应目标检测与响应计算具体为：
(1)根据上一帧跟踪的目标位置pt-1和尺度st-1，根据步骤2、步骤3，从目标位置估计的候选区域zt,trans提取多特征并融合，得到候选区域特征图谱采用如下公式计算位置滤波器的相关输出响应图ft,trans：
其中，ft表示位置滤波器的相关输出响应图谱，是前一帧训练得到的并且更新过的位置滤波器，表示离散傅立叶变换的逆变换，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘。
(2)找到位置滤波器相关输出响应图ft,trans的最大值对应的位置，此位置即是当前帧检测到的目标位置pt；
(3)根据步骤(2)检测到的目标位置pt和上一帧检测到的目标尺度st-1＝Wt-1×Ht-1，提取以pt为中心的尺度候选区域构造尺度金字塔，其中，a为一个超参数，an是每一层金字塔的尺度因子，o是尺度数目；根据步骤3，将目标尺度候选区域金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱
(4)与步骤(1)类似，计算尺度滤波器相关输出响应图谱ft,sacle；
(5)找到尺度滤波器相关输出响应图ft,scale的最大值对应的尺度，此尺度即是当前帧检测到的目标尺度st。
7.根据权利要求6所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，a取值范围为[1.001，1.1]。
8.根据权利要求6所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤5中相关滤波器更新模型具体为：
(1)根据步骤4检测到的当前帧的目标位置pt和尺度st，得到目标区域以及目标区域的k个上下文根据步骤2、步骤3，得到目标区域xt和空间上下文的融合特征图谱
(2)利用如下公式训练位置滤波器模型：
其中，表示求得的位置滤波器模型，是期望的相关输出，设置为峰值位于目标中心位置pt处的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ1和λ2是正则化参数，λ1防止训练的模型过拟合，λ2用于抑制背景响应；
(3)根据步骤4检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，提取以pt为中心的目标区域构造尺度金字塔；根据步骤2，将目标尺度金字塔中每一层缩放到W×H大小，提取m维的梯度方向直方图特征图谱
(4)利用如下公式训练尺度滤波器模型：
其中，表示求得的尺度滤波器模型，是期望的相关输出，设置为峰值位于目标尺度金字塔中心的高斯函数，^表示离散傅立叶变换，*表示复共轭，⊙表示两个矩阵对应元素相乘，λ是正则化参数；
(5)使用线性插值方法更新位置滤波器和尺度滤波器
其中，和分别表示前一帧的位置滤波器和尺度滤波器，η为学习率，η越大则模型更新越快。
9.根据权利要求8所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，λ1和λ2取值范围分别为[0.00001,0.001]和[0.1,0.6]，λ取值范围为[0.00001,0.001]，η取值范围为[0.001,0.05]。
10.根据权利要求8所述的人工与深度特征联合的相关滤波视频自适应跟踪方法，其特征在于，步骤6中输出当前帧跟踪结果具体为：
根据步骤4检测到的当前帧的目标位置pt和尺度st＝Wt×Ht，以pt为跟踪边界框的中心点，Wt和Ht分别为边界框的宽度和高度，在当前帧图像上画出边界框，并将图像显示出来。
CN201811246254.6A 2018-10-25 2018-10-25 人工与深度特征联合的相关滤波视频自适应跟踪方法 Pending CN109461172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246254.6A CN109461172A (zh) 2018-10-25 2018-10-25 人工与深度特征联合的相关滤波视频自适应跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246254.6A CN109461172A (zh) 2018-10-25 2018-10-25 人工与深度特征联合的相关滤波视频自适应跟踪方法

Publications (1)

Publication Number Publication Date
CN109461172A true CN109461172A (zh) 2019-03-12

Family

ID=65608320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246254.6A Pending CN109461172A (zh) 2018-10-25 2018-10-25 人工与深度特征联合的相关滤波视频自适应跟踪方法

Country Status (1)

Country Link
CN (1) CN109461172A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070563A (zh) * 2019-04-30 2019-07-30 山东大学 基于联合感知的相关性滤波器目标跟踪方法及系统
CN110348492A (zh) * 2019-06-24 2019-10-18 昆明理工大学 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
CN110427833A (zh) * 2019-07-10 2019-11-08 广州市讯码通讯科技有限公司 一种手势跟踪方法、系统和存储介质
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学（武汉） 一种自适应选择特征的相关滤波跟踪方法
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN111123266A (zh) * 2019-11-22 2020-05-08 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111311647A (zh) * 2020-01-17 2020-06-19 长沙理工大学 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN111915653A (zh) * 2020-08-17 2020-11-10 沈阳飞机工业（集团）有限公司 双站视觉目标跟踪的方法
CN112132862A (zh) * 2020-09-11 2020-12-25 桂林电子科技大学 一种基于无人机的自适应尺度估计目标跟踪算法
CN112669320A (zh) * 2021-03-22 2021-04-16 四川大学 一种基于深度神经网络的spect甲状腺显像智能识别方法
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法
CN113269809A (zh) * 2021-05-07 2021-08-17 桂林电子科技大学 一种多特征融合相关滤波目标跟踪方法及计算机设备
CN113298851A (zh) * 2021-07-07 2021-08-24 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN113379804A (zh) * 2021-07-12 2021-09-10 闽南师范大学 一种无人机目标跟踪方法、终端设备及存储介质
CN113838093A (zh) * 2021-09-24 2021-12-24 重庆邮电大学 基于空间正则化相关滤波器的自适应多特征融合跟踪方法
CN113989328A (zh) * 2021-10-27 2022-01-28 中国人民解放军陆军工程大学 融合多层深度特征的判别式相关滤波跟踪方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070563A (zh) * 2019-04-30 2019-07-30 山东大学 基于联合感知的相关性滤波器目标跟踪方法及系统
CN110348492A (zh) * 2019-06-24 2019-10-18 昆明理工大学 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
CN110427833A (zh) * 2019-07-10 2019-11-08 广州市讯码通讯科技有限公司 一种手势跟踪方法、系统和存储介质
CN110544267B (zh) * 2019-07-24 2022-03-15 中国地质大学（武汉） 一种自适应选择特征的相关滤波跟踪方法
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学（武汉） 一种自适应选择特征的相关滤波跟踪方法
CN110781980A (zh) * 2019-11-08 2020-02-11 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN110781980B (zh) * 2019-11-08 2022-04-12 北京金山云网络技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN111123266A (zh) * 2019-11-22 2020-05-08 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111123266B (zh) * 2019-11-22 2023-05-16 中国电子科技集团公司第四十一研究所 一种太赫兹波大面积均匀照明装置及成像方法
CN111311647A (zh) * 2020-01-17 2020-06-19 长沙理工大学 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN111915653A (zh) * 2020-08-17 2020-11-10 沈阳飞机工业（集团）有限公司 双站视觉目标跟踪的方法
CN112132862A (zh) * 2020-09-11 2020-12-25 桂林电子科技大学 一种基于无人机的自适应尺度估计目标跟踪算法
CN112132862B (zh) * 2020-09-11 2023-08-15 桂林电子科技大学 一种基于无人机的自适应尺度估计目标跟踪算法
CN112669320B (zh) * 2021-03-22 2021-08-13 四川大学 一种基于深度神经网络的spect甲状腺显像智能识别方法
CN112669320A (zh) * 2021-03-22 2021-04-16 四川大学 一种基于深度神经网络的spect甲状腺显像智能识别方法
CN113269809A (zh) * 2021-05-07 2021-08-17 桂林电子科技大学 一种多特征融合相关滤波目标跟踪方法及计算机设备
CN113269809B (zh) * 2021-05-07 2022-06-21 桂林电子科技大学 一种多特征融合相关滤波目标跟踪方法及计算机设备
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法
CN113298851A (zh) * 2021-07-07 2021-08-24 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN113298851B (zh) * 2021-07-07 2023-09-26 沈阳航空航天大学 一种基于多尺度多特征的目标图像跟踪方法
CN113379804B (zh) * 2021-07-12 2023-05-09 闽南师范大学 一种无人机目标跟踪方法、终端设备及存储介质
CN113379804A (zh) * 2021-07-12 2021-09-10 闽南师范大学 一种无人机目标跟踪方法、终端设备及存储介质
CN113838093A (zh) * 2021-09-24 2021-12-24 重庆邮电大学 基于空间正则化相关滤波器的自适应多特征融合跟踪方法
CN113838093B (zh) * 2021-09-24 2024-03-19 重庆邮电大学 基于空间正则化相关滤波器的自适应多特征融合跟踪方法
CN113989328A (zh) * 2021-10-27 2022-01-28 中国人民解放军陆军工程大学 融合多层深度特征的判别式相关滤波跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN109461172A (zh) 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107316316A (zh) 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN108062531B (zh) 一种基于级联回归卷积神经网络的视频目标检测方法
CN104574445B (zh) 一种目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN107748873B (zh) 一种融合背景信息的多峰目标跟踪方法
US8989442B2 (en) Robust feature fusion for multi-view object tracking
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN110211157B (zh) 一种基于相关滤波的目标长时跟踪方法
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN108256562A (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN108734151A (zh) 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN107918772B (zh) 基于压缩感知理论和gcForest的目标跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN103886585A (zh) 一种基于排序学习的视频跟踪方法
CN109740552A (zh) 一种基于平行特征金字塔神经网络的目标跟踪方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN111539985A (zh) 一种融合多特征的自适应运动目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312