CN109325968A - 一种基于谱滤波的目标跟踪方法 - Google Patents

一种基于谱滤波的目标跟踪方法 Download PDF

Info

Publication number
CN109325968A
CN109325968A CN201811136760.XA CN201811136760A CN109325968A CN 109325968 A CN109325968 A CN 109325968A CN 201811136760 A CN201811136760 A CN 201811136760A CN 109325968 A CN109325968 A CN 109325968A
Authority
CN
China
Prior art keywords
spectral filter
target
tracking
building
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811136760.XA
Other languages
English (en)
Inventor
郑文明
蔡友谊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811136760.XA priority Critical patent/CN109325968A/zh
Publication of CN109325968A publication Critical patent/CN109325968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于谱滤波的目标跟踪方法。该方法包括如下步骤：(1)对要跟踪的目标候选区域进行图的构建，得到目标区域的图模型表示；(2)对图模型表示的目标进行局部谱滤波器的构建；(3)对要跟踪的目标候选区域提取多通道的特征；(4)用谱滤波器在候选区域的多通道的特征图上进行滤波；(5)训练跟踪的模型以及对要跟踪目标位置的预测本发明利用图的旋转不变性和移动不变性这两个重要性质实现鲁棒的目标跟踪，能有效避免背景的引入从而得到准确的目标位置的估计。

Description

一种基于谱滤波的目标跟踪方法
技术领域：
本发明涉及一种基于谱滤波的目标跟踪方法，属于目标跟踪技术领域。
背景技术：
视觉目标跟踪是计算机视觉中极具挑战性的一项任务，它在现实世界中的视频监控，交通监控，人脸识别，增强现实等方面都具有广泛的应用。当前目标追踪方法仍存在以下问题：目标不可预知的外观变化，包括部分遮挡，几何变形，光照变化，背景混乱，快速运动等问题让这项任务仍然具有挑战性。
典型的视觉追踪是先给定目标在第一帧中初始框的位置，然后预测目标在下一帧中的位置。在基于局部的方法中，拓扑结构(例如树或图)通常对分割的多个部分的关系之间进行特征化，然后通过一些投票或匹配策略来发现可靠有用的部分，但在实际情况中对局部进行有效准确的切割很困难。基于整体的相关滤波的方法试图学习一组具有判别性的相关滤波器可以在目标中心产生相关滤波的峰值响应，但是基于整体的相关滤波方法在抵制目标外观变化上还不像那些基于局部的方法灵活。
发明内容
本发明的目的是提供一种基于谱滤波的目标跟踪方法，通过在目标候选图像区域上构造了一个基于像素点的网格图，避免了基于部分的方法中对候选区分割中的分割操作，通过构建基于图表示的跟踪模型和滤波器，在每个顶点的多尺度局部感知野上进行回归分析来有效估计下一帧中跟踪目标的中心坐标。
上述的目的通过以下技术方案实现：
一种基于谱滤波的目标跟踪方法，该方法包括如下步骤：
(1)对要跟踪的目标候选区域进行图的构建，得到目标区域的图模型表示；
(2)对图模型表示的目标进行局部谱滤波器的构建；
(3)对要跟踪的目标候选区域提取多通道的特征；
(4)用谱滤波器在候选区域的多通道的特征图上进行滤波；
(5)训练跟踪的模型以及对要跟踪目标位置的预测。
进一步，步骤(1)中所述的对要跟踪的目标候选区域进行图的构建是基于候选框中空间像素点的位置布局来定义邻接关系，候选框的每一个像素点相当于图的一个顶点，用欧几里得距离来定义每个顶点的空间最近邻接点的连接方式，选择邻接的方式之后，分配{0,1}权重给那些连接的边。
进一步，步骤(2)中所述的局部谱滤波器的构建是基于图的傅里叶变换性质，通过对输入的空域信号的频域滤波表示，使用切比雪夫的K阶展开式来近似K阶谱滤波器，从而构建局部谱滤波器。
进一步，步骤(3)中所述的对多通道特征的提取是从图像上裁剪目标候选框扩充一定倍数后的一块区域作为搜索区域，输入到VGG_Net网络中，并提取VGG_Net中六个卷积层的输出作为多通道的特征。
进一步，步骤(4)中所述的多通道特征图上进行的谱滤波响应是基于切比雪夫多项式近似构建的谱滤波器在候选区域得到的。
进一步，步骤(5)中所述的谱滤波器的模型参数通过一个简单的最小二乘回归模型进行训练学习，并且利用梯度下降法迭代求解，目标位置的预测通过计算候选区域的K阶谱滤波响应特征，然后计算检测的得分，最大得分的位置即新目标的中心坐标，并同时更新跟踪模型。
有益效果：
本发明方法与现有技术相比，具有以下的优点：
(1)用图对目标的候选区域进行建模，构建的局部谱滤波器可以在候选图像区域进行局部滤波，既能高效地提取有用的特征，也能避免背景的引入从而能够得到准确的目标位置的响应；
(2)将谱滤波器用切比雪夫多项式的一组基来近似，多项式的每一项相当于在图的局部区域上进行滤波的一个滤波器，通过多项式的近似能有效地避免拉普拉斯矩阵的特征值分解带来的庞大计算量；
(3)将滤波器的参数和特征映射参数一起整合入一个简单的最小二乘回归模型中进行学习，利用梯度下降法迭代求解模型权重参数，它避免了计算过程中不必要的矩阵存储和求矩阵的逆的缺点，一定程度上对跟踪进行了加速。
(4)本发明的实现是简单有效的，容易实现，但可以在标准目标跟踪数据集OTB-100上能取得和当前性能最优秀的跟踪器可比的结果，是一个鲁棒的跟踪器。
附图说明
图1为本发明谱滤波器跟踪器(SFT)的方法流程示意图。
图2为本发明的四种不同的邻接顶点的连接方式示意图。
图3为本发明的选择不同的邻接方式的跟踪性能(无尺度估计)的示意图。
图4为本发明和几种经典的基于相关滤波的跟踪器(VGG_CF跟踪器、KCF跟踪器、CSK跟踪器)在OTB-100库上性能比较(无尺度估计)的示意图。
图5为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上性能比较的示意图。
图6为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上低分辨率和光照变化两个属性的性能比较示意图。
图7为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上背景杂乱和尺度变化两个属性的性能比较示意图。
图8为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上形变和平面外旋转两个属性的性能比较示意图。
图9为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上平面内旋转和不在视野中两个属性的性能比较示意图。
图10为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上快速移动和遮挡两个属性的性能比较示意图。
图11为本发明和当前最好性能的多种跟踪器(VGG_CF_S跟踪器、HDT跟踪器、MEEM跟踪器、KCF跟踪器、Struck跟踪器)在OTB-100库上运动模糊属性的性能比较示意图。
具体实施方式
本发明的主体流程图如图1所示，一种基于谱滤波的目标跟踪方法，包括如下步骤：
(1)对要跟踪的目标候选区域进行图的构建；
基于空间像素点位置布局来定义邻接关系，把候选框区域的每一个像素点都作为图的一个顶点，使用欧几里得距离来定义顶点之间的距离。谱滤波器的基是一个局部感知野大小为k的滤波器，因此只需要定义每个参考点的空间最近邻接点的连接方式，像图2所示的前两种情况下。考虑到相邻像素中的图像纹理有很高的相似性，可以跳过一些像素来连接边，如图2最后两种情况所示。因此，当在相同大小的感知野进行滤波时，跳跃的模式需要更少的滤波器，本发明默认的邻接关系是使用如图2所示的第三种情况。选择邻接的方式之后，可以分配高斯权重或{0,1}权重给那些连接的边。为了简化加权的步骤，这里使用{0,1}的加权策略，即加权图的邻接矩阵定义如下：
图3为选择不同的邻接方式的跟踪准确率(无尺度估计)的示意图，对于邻接顶点的选择，只需要连接那些最近的邻接点，因为谱滤波器可以覆盖距离较远的顶点的邻接关系，这里测试了图2中的四种情况，其结果在图3中报告，可以看到，(1)更多的邻接点(案例2)性能略微降低了，可能归因于在计算时，平均邻接点特征后的特征混淆；(2)相隔一个像素(如案例3)的跳跃模式达到最佳的实验性能。跳跃的策略可以理解为在特征图上进行下采样。跳跃步数的增加(如案例4)会降低性能，因为一些有用的信息不能在滤波的过程中进行编码。这里使用第三种案例作为本发明的后续实验的默认设置。
(2)局部谱滤波器的构建；
拉普拉斯矩阵可以分解成类似于经典的傅里叶变换，一个空间域的信号x的图的傅里叶正变换可以定义为：是变化后的傅里叶信号。对应的图的傅里叶反变换是：
g(·)是关于图的滤波函数，定义在输入信号x上的频域滤波为：即：
给定输入x和输出z，需要在上式中求解滤波器函数g(·)，这样需要特征值分解。为了降低计算成本，可以用低阶多项式在傅里叶域近似g(·)，因此本发明中使用切比雪夫的K阶展开式来近似，切比雪夫多项式是一个递推关系式，Tk(x)＝2xTk-1(x)-Tk-2(x),其中T0＝1,T1＝x。为了使拉普拉斯特征值{λl}在[-1,1]之间，把特征值进行尺度和平移变换变成： 然后在上使用切比雪夫多项式。则K阶的谱滤波器可以用下面的多项式来表示：
输出z可以进一步表示为：
K阶切比雪夫多项式相当于拉普拉斯图上的K阶局部滤波器。为了获得图上的局部滤波的响应z，因此只需要计算拉普拉斯矩阵换句话说，多项式的每一项都可以看作是滤波器的基，而θ是要求解的参数。
(3)对要跟踪的目标候选区域提取多通道的特征；
首先从图像上裁剪目标候选框的2.4倍的一块区域作为目标区域，然后将其调整到224×224像素大小，输入到具有19层的VGG-Net的网络中，本发明使用来自六个卷积层，分别为第{10,11,12,14,15,16}层的输出作为输出的多通道特征图。所有特征图都重新调整为57×57像素大小。由于每个图层中的特征图数量为512，将所有特征图都串接起来(512×6＝3072维)。每一个卷积层的特征图都训练一个跟踪器。
(4)用谱滤波器在候选区域的多通道的特征图上进行滤波；
用步骤(2)中切比雪夫多项式近似构建的谱滤波器在步骤(3)中提取的候选区域的多通道特征图上进行谱滤波计算滤波响应特征。
定义从步骤(2)中得到的滤波器基为：给定一个输入的多通道特征图信号X，如果对K个滤波器的基采用线性组合方法可以得到局部滤波的响应z。令表示对K个滤波器基在输入特征图X上的响应输出的串接，即为经过K阶谱滤波后的滤波响应特征。
(5)训练跟踪的模型以及对要跟踪目标位置的预测；
在目标追踪中，最终需要预测跟踪目标的中心位置。本发明从多通道特征回归一个峰值图其中y是满足高斯分布的特征图，N是候选区域内像素的数量(即顶点)，X的每一行对应每个顶点的信号，给定一个输入信号X和滤波器参数θ＝[θ0,θ1,…,θK-1]，如果对K个滤波器的基采用线性组合的方法可以得到局部滤波的响应z。样本训练过程实际上是一个岭回归问题，或者叫做正则化最小二乘问题，使用K个滤波器的基来对图进行滤波，然后同时把学习滤波器的参数和特征映射函数的参数融合到最小二乘回归模型中，即
其中表示串接K个滤波器基在输入特征图X上的响应输出，γ是正则化参数。
训练的最终目的就是为寻找一组权值w。因此可以较容易计算得到跟踪模型的解：
利用梯度下降法进行迭代求解计算模型权重w，它避免了计算过程中不必要的矩阵存储和求矩阵的逆的缺点。第一帧中的初始权重后面每次使用上一帧中计算出的权重w来初始化，然后用迭代方法求权重，第t帧中迭代的初始值设置为t-1帧中计算好的权重：GD表示梯度下降，实验中只需要少许的迭代次数就能收敛。
算法的主要流程：
根据第一帧的已知信息，在目标中心位置上提取多通道特征X，计算K阶的响应特征得到第一帧的目标跟踪模型。
对于后面的每一帧，从上一帧中心位置处取出一块候选框区域，并且提取多通道特征X，计算K阶的响应特征计算检测的得分找到中最大得分的位置即新目标的中心坐标。同时在得到的新位置上提取多通道特X，计算K阶的响应特征计算新位置上的回归模型，并同时更新跟踪模型w，其中α是模型更新的学习率α＝0.075。如此循环，直至遍历完视频中的每一帧。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于谱滤波的目标跟踪方法，其特征在于，该方法包括如下步骤：
(1)对要跟踪的目标候选区域进行图的构建，得到目标区域的图模型表示；
(2)对图模型表示的目标进行局部谱滤波器的构建；
(3)对要跟踪的目标候选区域提取多通道的特征；
(4)用谱滤波器在候选区域的多通道的特征图上进行滤波；
(5)训练跟踪的模型以及对要跟踪目标位置的预测。
2.如权利要求1所述的基于谱滤波的目标跟踪方法，其特征在于，步骤(1)中所述的对要跟踪的目标候选区域进行图的构建是基于候选框中空间像素点的位置布局来定义邻接关系，候选框的每一个像素点相当于图的一个顶点，用欧几里得距离来定义每个顶点的空间最近邻接点的连接方式，选择邻接的方式之后，分配{0,1}权重给那些连接的边。
3.如权利要求1所述的基于谱滤波的目标跟踪方法，其特征在于，步骤(2)中所述的局部谱滤波器的构建是基于图的傅里叶变换性质，通过对输入的空域信号的频域滤波表示，使用切比雪夫的K阶展开式来近似K阶谱滤波器，从而构建局部谱滤波器。
4.如权利要求1所述的基于谱滤波的目标跟踪方法，其特征在于，步骤(3)中所述的对多通道特征的提取是从图像上裁剪目标候选框扩充一定倍数后的一块区域作为搜索区域，输入到VGG_Net网络中，并提取VGG_Net中六个卷积层的输出作为多通道的特征。
5.如权利要求1所述的基于谱滤波的目标跟踪方法，其特征在于，步骤(4)中所述的多通道特征图上进行的谱滤波响应是基于切比雪夫多项式近似构建的谱滤波器在候选区域得到的。
6.如权利要求1所述的基于谱滤波的目标跟踪方法，其特征在于，步骤(5)中所述的谱滤波器的模型参数通过一个简单的最小二乘回归模型进行训练学习，并且利用梯度下降法迭代求解，目标位置的预测通过计算候选区域的K阶谱滤波响应特征，然后计算检测的得分，最大得分的位置即新目标的中心坐标，并同时更新跟踪模型。
CN201811136760.XA 2018-09-27 2018-09-27 一种基于谱滤波的目标跟踪方法 Pending CN109325968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811136760.XA CN109325968A (zh) 2018-09-27 2018-09-27 一种基于谱滤波的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811136760.XA CN109325968A (zh) 2018-09-27 2018-09-27 一种基于谱滤波的目标跟踪方法

Publications (1)

Publication Number Publication Date
CN109325968A true CN109325968A (zh) 2019-02-12

Family

ID=65265117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811136760.XA Pending CN109325968A (zh) 2018-09-27 2018-09-27 一种基于谱滤波的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109325968A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
US20130322681A1 (en) * 2012-05-30 2013-12-05 Massachusetts Institute Of Technology Generating a forecast by field coalescence
BR102014008197A2 (pt) * 2013-04-19 2015-12-22 Ge Aviat Systems Ltd método e rastreamento de movimento
CN105989367A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 目标获取方法及设备
CN107767406A (zh) * 2017-11-13 2018-03-06 西北工业大学 一种基于ds证据理论的多光谱图像弱小目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
US20130322681A1 (en) * 2012-05-30 2013-12-05 Massachusetts Institute Of Technology Generating a forecast by field coalescence
BR102014008197A2 (pt) * 2013-04-19 2015-12-22 Ge Aviat Systems Ltd método e rastreamento de movimento
CN105989367A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 目标获取方法及设备
CN107767406A (zh) * 2017-11-13 2018-03-06 西北工业大学 一种基于ds证据理论的多光谱图像弱小目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHEN CUI等: "Spectral Filter Tracking", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Similar Documents

Publication Publication Date Title
Kaiser et al. Learning aerial image segmentation from online maps
CN108241849B (zh) 基于视频的人体交互动作识别方法
Kwon et al. Highly nonrigid object tracking via patch-based dynamic appearance modeling
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
Karavasilis et al. Visual tracking using the Earth Mover's Distance between Gaussian mixtures and Kalman filtering
Pons-Moll et al. Metric regression forests for correspondence estimation
CN111191627B (zh) 一种多视点下提高动态手势动作识别准确率的方法
Wang et al. Fully contextual network for hyperspectral scene parsing
CN107316005B (zh) 基于稠密轨迹核协方差描述子的行为识别方法
Cao et al. EFFNet: Enhanced feature foreground network for video smoke source prediction and detection
CN109255304A (zh) 基于分布场特征的目标跟踪方法
CN109829353A (zh) 一种基于空间约束的人脸图像风格化方法
CN108960276B (zh) 提升光谱图像监督分类性能的样本扩充与一致性判别方法
Fu et al. Robust multi-kernelized correlators for UAV tracking with adaptive context analysis and dynamic weighted filters
Son et al. Partial convolutional LSTM for spatiotemporal prediction of incomplete data
Guo et al. An adaptive kernelized correlation filters with multiple features in the tracking application
CN109325968A (zh) 一种基于谱滤波的目标跟踪方法
CN110570450A (zh) 一种基于级联的上下文感知框架的目标跟踪方法
CN108009486B (zh) 基于深度学习训练重构图的视频识别方法及系统
Xiao et al. A global and local consistent ranking model for image saliency computation
Oh et al. Local selective vision transformer for depth estimation using a compound eye camera
Wang et al. Multi-modal Human pose estimation based on probability distribution perception on a depth convolution neural network
Wang et al. A method of spatial mapping and reclassification for high-spatial-resolution remote sensing image classification
Zhu et al. Real-time image recognition using weighted spatial pyramid networks
Wang et al. Robust object tracking via online principal component–canonical correlation analysis (P3CA)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212

RJ01 Rejection of invention patent application after publication