CN110889864B - 一种基于双层深度特征感知的目标跟踪方法 - Google Patents

一种基于双层深度特征感知的目标跟踪方法 Download PDF

Info

Publication number
CN110889864B
CN110889864B CN201910825052.5A CN201910825052A CN110889864B CN 110889864 B CN110889864 B CN 110889864B CN 201910825052 A CN201910825052 A CN 201910825052A CN 110889864 B CN110889864 B CN 110889864B
Authority
CN
China
Prior art keywords
perception
layer
feature
depth
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910825052.5A
Other languages
English (en)
Other versions
CN110889864A (zh
Inventor
赵运基
周梦林
刘晓光
钱伟
魏胜强
孔军伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201910825052.5A priority Critical patent/CN110889864B/zh
Publication of CN110889864A publication Critical patent/CN110889864A/zh
Application granted granted Critical
Publication of CN110889864B publication Critical patent/CN110889864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双层深度特征感知的目标跟踪方法，其包括以下步骤：步骤1、确定跟踪目标及Padding窗；步骤2、提取目标区域深度特征并加窗处理，进行第一层特征感知；步骤3、依据第一层感知特征创建特征感知相关滤波器；步骤4、计算特征感知相关滤波器的梯度图均值，选择L个较大值通道特征，完成第二层特征感知；步骤5、依据上一帧目标位置确定搜索区域尺度图像集合，提取第二层感知特征；步骤6、应用相关滤波确定目标位置及尺度；步骤7、应用跟踪结果的第一层感知特征更新特征感知相关滤波器；步骤8、循环执行步骤4、5、6、7。本发明可以解决基于像素点误差的目标感知效率较低的问题。

Description

一种基于双层深度特征感知的目标跟踪方法
技术领域
本发明涉及一种基于双层深度特征感知的目标跟踪方法，尤其涉及多通道深度特征的自动感知，基于判别相关滤波的目标跟踪方法。
背景技术
基于视觉的目标跟踪是计算机视觉领域内的研究热点之一。近年来，随着深度学习相关理论及应用研究的逐步深入，在模式识别领域涌现了大量的高效的应用算法。在目标跟踪领域尤其如此。基于深度学习的目标跟踪算法在目标跟踪领域占据主导地位。基于深度学习的特征提取方法由于需要用到相关的深度网络，因此需要事先对相关的深度特征提取网络进行训练，训练深度网络不可避免需要大量的样本数据，虽然目标跟踪领域中存在大量的助于OTB50，OTB100，以及VOT(Visual Object Tracking)竞赛相关的数据集等，但是对于深度特征网络的训练显得杯水车薪。尤其是在VOT竞赛中，竞赛组织不仅仅提供公开序列的视频，还提供隐藏序列的视频，因此在跟踪过程中，即使拥有足够的样本对深度网络进行有效的训练，获得了最优的深度网络模型，应用此模型对隐藏序列的视频跟踪目标进行多层的特征提取也会存在通道信息冗余。目标跟踪领域中，鉴于相关滤波算法的速度优势，以及深度特征提取网络提取到的深度特征的鲁棒性描述能力，在相关滤波框架下基于深度特征的目标跟踪算法大量涌现，性能方面遥遥领先与其他相关算法，例如SiamFC、SiamRPN、DaSiam、DCFNet和TADT(Target Aware Deep Tracking)等。TADT中指出，应用分类网络对跟踪目标进行深度特征提取，提取结果为多通道的深度特征，针对不同的跟踪目标，多通道的深度特征对跟踪目标描述的贡献度必然不尽相同，因此，TADT方法给出了一种目标感知方法。通过循环迭代的方法构建跟踪目标的最优逼近，通过最优逼近与跟踪目标的高斯标签之间求解逐像素点之间的误差，然后应用GAP(General Average Pooling)确定各个通道的权重，最终完成多通道深度特征的有效选择，最终实现目标感知的过程，整个跟踪算法在DCF框架下实现。由于目标感知需要在初始时计算每个通道的深度特征所对应的权重矩阵，权重矩阵的求解通过循环迭代的方式实现，同时需要求解逐像素点误差，过程耗时，无法进行在线的通道选择更新；同时该算法获得的通道的权重与跟踪目标的背景存在关联，不同的背景将导致部分权重出现较大的变化，因此，该算法中固定的权重不能有效的应对跟踪目标背景的变化。
发明内容
为了克服TADT算法中存在的缺陷，本发明的目的在于提供一种基于双层深度特征感知的目标跟踪方法，其在于通过初始VGGNet-16提取跟踪目标区域的深度特征，通过循环迭代的方式确定拟合矩阵，然后进行逐像素点求损失，以此损失确定通道的权重，最终实现通道的选择，也即是第一层的目标感知；应用第一层的目标感知特征创建相关滤波器，求解滤波器的GAP并排序，选择GAP较大值对应的通道特征作为第二层目标感知的特征，完成深度目标特征的二次选择；将跟踪目标的第二层感知特征与候选目标区域集合的第二层感知特征在DCF框架下进行运算，最终获得跟踪目标的位置和对应的尺度；应用跟踪结果目标的第一层感知特征对相关滤波器进行在线更新，最终完成第二层感知特征对应滤波器的在线更新机制。
为实现上述目的，本发明提供如下技术方案：
一种基于双层深度特征感知的目标跟踪方法，包括以下步骤：
步骤1、确定跟踪目标区域，创建初始跟踪窗口及Padding窗；
步骤2、提取目标区域深度特征并加窗处理，进行第一层特征感知，得到第一层感知特征；
步骤3、依据第一层感知特征创建特征感知相关滤波器；
步骤4、计算特征感知相关滤波器的梯度图均值，在梯度图均值中选择L个较大值通道特征，完成第二层特征感知，L为正整数；
步骤5、依据上一帧目标位置确定搜索区域尺度图像集合，提取第二层感知特征；
步骤6、应用相关滤波确定目标位置及尺度；
步骤7、应用跟踪结果的第一层感知特征更新第二层特征感知相关滤波器；
步骤8、循环执行步骤4、5、6、7，实现对跟踪目标的连续跟踪。
进一步地，步骤1中，确定跟踪目标区域，创建初始跟踪窗口及Padding窗，包括：
依据标准的跟踪视频库中groundtruth_rect.txt中相关的信息确定跟踪目标的位置和大小，为了能够有效的实现深度网络的特征提取，依据跟踪目标的大小对跟踪目标进行强制转换，同时对跟踪图像做相应的尺度变换，并构建Padding窗。
进一步地，步骤2中，提取目标区域深度特征并加窗处理，进行第一层特征感知，包括：
提取Padding区域图像，并将提取结果图像输入VGGNet-16深度网络模型，提取卷积层4-1和卷积层4-3的深度特征，依据跟踪目标的深度特征和Padding区域图像的深度特征构建高斯标签，如式(1)所示，其中，i，j表示像素点位置相对于目标中点的偏移量；卷积层4-1的深度特征用作尺度敏感的计算，卷积层4-3的深度特征用作目标位置的确定计算；二维的脊回归损失计算如式(2)所示，其中，*表示相关运算；根据式(2)采用循环迭代的方式求解的最小值Lreg来最终确定W的值；
Figure BDA0002188818650000041
Lreg＝||Y-W*X||2+λ||W||2 (2)
针对通过VGGNet-16网络获得的深度特征χ；通过特征感知确定深度特征的子集
Figure BDA0002188818650000042
为最终的感知特征，其中，
Figure BDA0002188818650000043
为通道的选择函数，第d个通道的权重系数Δd通过公式(3)进行计算,GAP为全局均值池化，zd表示第d个通道的滤波输出的深度特征；
Figure BDA0002188818650000044
由公式(4)计算获得，其中，Xin为深度特征，Xo(i,j)为滤波器最终拟合的特征，W为对应通道的滤波器，Y(i,j)为样本的高斯标签；通过对公式(2)进行迭代获得W，进而获得通过滤波后的输出结果Xo(i,j)，通过公式(3)和公式(4)的运算最终获得通道d所确定的权重：
Figure BDA0002188818650000045
Figure BDA0002188818650000046
通过对权重矩阵的平均值池化最终获得对应通道权重，完成底层的特征感知。
进一步地，步骤3中，依据第一层感知特征创建特征感知相关滤波器，包括：
将通过第一层特征感知获得的深度特征X′构建相关滤波器；其中wk表示与第k个通道对应的相关滤波器,X′k表示X′中第k个通道的深度特征；经过第一层深度特征感知，将原始深度特征由X降维为X′，D个通道的深度特征将用于第二层深度特征感知的相关滤波器的构建，如式(5)所示，其中，wk为第一层深度感知获得的第k个通道对应的滤波器，Y为目标区域的高斯标签，X′k为第k个通道对应的深度特征，★表示循环卷积，通过公式(5)获得最终的相关滤波器w；依据循环卷积等价于通过构建循环矩阵，然后进行相关运算，循环矩阵能够在傅里叶空间中使用离散傅里叶矩阵进行对角化以及二维脊回归理论，最终获得相关滤波器，最终的求解结果如式(6)所示：
Figure BDA0002188818650000051
Figure BDA0002188818650000052
其中，
Figure BDA0002188818650000053
为X′k的傅里叶变换形式，⊙表示矩阵的相关运算，
Figure BDA0002188818650000054
表示
Figure BDA0002188818650000055
的复数共轭矩阵，
Figure BDA0002188818650000056
为高斯标签的傅里叶变换形式；最终获得的相关滤波器
Figure BDA0002188818650000057
为傅里叶变换的形式，因此，需要将
Figure BDA0002188818650000058
进行傅里叶逆变换，并求取傅里叶逆变换结果的实部，以此作为通道的权重描述矩阵；最终获得实型相关滤波器w。
进一步地，步骤4中，计算特征感知相关滤波器的梯度图均值，在梯度图均值中选择L个较大值通道特征，完成第二层特征感知，包括：
针对相关滤波器w，通过全局均值池化的方式进行处理，并依照处理的结果选择均值池化结果最大的L个滤波器；与L个滤波器所对应的通道的深度特征即为第二层特征感知的结果。
进一步地，步骤5中，依据上一帧目标位置确定搜索区域尺度图像集合，提取第二层感知特征，包括：
针对上一帧中确定的目标位置和大小，为了适应跟踪目标的尺度变化，通过设定尺度变换因子确定跟踪目标候选尺度图像的大小，进而确定跟踪目标的搜索区域集合；针对不同的搜索区域，通过深度网络VGGNet-16提取卷积层4-1和卷积层4-3的深度特征，通过第一层的特征感知最终获得D个通道的深度特征，经过第二层的特征感知最终由D个通道的深度特征中提取出其中的全局均值池化值最大的L个通道特征，最终构建出双层感知的深度特征。
进一步地，步骤5中，依据上一帧目标位置确定搜索区域尺度图像集合，提取第二层感知特征，包括：
针对上一帧中确定的目标位置和大小，为了适应跟踪目标的尺度变化，通过设定尺度变换因子确定跟踪目标候选尺度图像的大小，进而确定跟踪目标的搜索区域集合；针对不同的搜索区域，通过深度网络VGGNet-16提取卷积层4-1和卷积层4-3的深度特征，通过第一层的特征感知最终获得D个通道的深度特征，经过第二层的特征感知最终由D个通道的深度特征中提取出其中的全局均值池化值最大的L个通道特征，最终构建出双层感知的深度特征。
进一步地，步骤6中，应用相关滤波确定目标位置及尺度，包括：
在获得了跟踪目标的第二层感知深度特征，候选目标区域的多尺度集合图像的第二层感知深度特征后，在DCF框架下确定尺度候选目标区域多尺度图像集合对应的响应图像；在响应图像集合中确定最大响应值的位置和最大响应值对应的尺度，最大响应值对应的位置即为候选区域中的跟踪目标相对于上一帧中的跟踪目标的中心点位置偏移，最大响应值所在的尺度图像即为最终跟踪目标对应的尺度。
8.根据权利要求7所述的一种基于双层特征感知的目标跟踪方法，其特征在于，步骤7中，应用跟踪结果的第一层感知特征更新第二层特征感知相关滤波器，包括：
当确定了跟踪目标的位置和尺度后，选择与跟踪结果对应的第一层获得的深度感知特征，依据公式(7)对第二层感知特征提取的相关滤波器进行更新：
Figure BDA0002188818650000061
βt为第t帧中跟踪结果对应的第一层感知特征所对应的权重，将傅里叶空间中的
Figure BDA0002188818650000062
进行傅里叶逆变换，然后提取变换结果的实部，最终获得更新后的第二层特征感知相关滤波器。
本发明还可以将相关滤波的基本概念引入到目标感知中，通过构建基于深度特征的相关滤波器，最终确定各个深度通道对应的相关滤波器，在相关滤波过程中，滤波器的GAP值能够反映出滤波器对构建目标区域的高斯标签的贡献能力，因此，通过计算相关滤波器中各个通道对应的滤波器的GAP值，最终确定GAP值较大的通道即为最终选择的通道；由于跟踪过程中，目标背景的变换造成通道权重的变化，因此通过在线更新相关滤波权重的方法实现通道选择的在线更新。通过实验证明该方法能够有效的完成通道的感知和通道选择的在线更新。
具体地，步骤2中，还包括构建迭代网络确定拟合的权重：
为了实现公式2中的最终误差最小，因此通过迭代的过程确定最终的权重W，在不降低准确度的前提下，为了提高计算效率，将迭代网络设置为两层，输入为通过网络提取4-1层和4-3层的深度特征，4-1层提取的深度特征用于确定对目标尺度较为敏感的通道，也即是完成尺度感知的过程。4-3层输出的深度特征通过拟合结果与高斯标签之间的像素点误差实现目标特征通道的感知，完成跟踪目标深度特征稳定通道的确定；通过尺度感知和目标稳定特征通道的感知最终实现目标的第一层感知，确定4-1层和4-3层最终筛选出的深度通道特征即为第一层的目标感知，最终确定的深度特征的维度为D维。
进一步地，步骤7中，还包括第二层特征感知相关滤波器的在线更新：
在当前帧中确定了跟踪目标后，通过深度网络进行特征提取获得4-1层和4-3层的深度特征，通过第一层的深度感知获得D个通道的深度特征。通过D个通道的深度特征以及对应的跟踪目标的高斯标签创建相关滤波器，在获得相关滤波器对应的参数矩阵后，将之前的n-1个滤波器依据当前滤波器的尺度进行尺度变换，变换为统一尺度，然后依据滤波器更新公式对滤波器进行更新。更新滤波器的结果作为第二层感知的参考矩阵。
附图说明
图1为本发明实施例一种基于双层深度特征感知的目标跟踪方法流程图；
图2为双层深度特征感知的目标跟踪方法示意图。
具体实施方式
下面，结合附图以及具体实施的方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
为了克服传统的TADT算法中通道感知效率较低，在线更新影响跟踪算法效率的问题，本发明提供一种双层深度特征感知的目标跟踪方法，其通过在DCF框架下，通道逐像素点求损失的方法实现对稳定通道特征的感知，通过构建尺度变化样本组合的方式确定深度特征的尺度敏感通道，最终构建出对跟踪目标进行完备描述的深度特征，也即是第一层深度特征感知；依据第一层深度特征感知的结果特征构建相关滤波器，依据相关滤波器的GAP值进第二层深度特征感知；在DCF框架下，依据双层深度特征感知的特征提取方法进行跟踪目标位置的确定，尺度的确定。确定跟踪目标后，提取跟踪结果的第一层深度特征感知结果特征，依据此特征构建相关滤波器，依据线性求和的方式进行滤波器的在线更新，最终完成第二层深度特征感知的在线更新。系统整体流程如图1所示，包括以下步骤：
110、确定跟踪目标区域，创建初始跟踪窗口及Padding窗，依据跟踪目标尺寸和Padding窗构建高斯窗，构建跟踪目标区域的高斯标签；
依据标准的跟踪视频库中groundtruth_rect.txt中相关的信息确定跟踪目标的位置和大小，为了确保跟踪目标在深度网络进行特征提取过程中的有效性，对跟踪目标的大小进行强制的转换，将跟踪目标的宽、高强制转换至45～60个像素之间，原始图像帧的大小依据相同的尺度进行转换。Padding窗大小设置为180*180。
120、提取目标区域深度特征并加窗处理，进行第一层特征感知；
请参照图2所示，在经过处理的图像中，依据Padding窗的大小提取搜素区域图像，将此图像区域输入VGGNet-16网络，提取4-1层和4-3层的深度网络特征；依据目标的尺度在搜素区域的深度特征中提取跟踪目标对应的深度特征；依据搜素区域深度特征的尺度和跟踪目标的尺度创建高斯标签，如式1所示，其中，i，j表示像素点位置相对于目标中点的偏移量；创建深度迭代网络，寻求最优的W，使得式2最终的误差最小，其中，*表示相关运算，Y为高斯标签，X为深度网络获得的4-3层深度特征；确定最优的W后，依据式3、4确定各通道的全局均值池化值，也即是Δd，式3和式4中，Xin为深度特征，Xo(i,j)为滤波器最终拟合的特征，W为对应通道的拟合结果系数矩阵，Y(i,j)为样本的高斯标签，，通过特征感知可以确定深度特征的子集
Figure BDA0002188818650000091
为最终的感知特征，其中，
Figure BDA0002188818650000092
为通道选择的阈值处理函数。最终在深度网络获得的4-3层的512个通道中选择出300个通道的深度特征。
Figure BDA0002188818650000093
Lreg＝||Y-W*X||2+λ||W||2 (2)
Figure BDA0002188818650000094
Figure BDA0002188818650000095
针对4-1层512个通道的深度特征，从其中提取出对尺度最为敏感的特征，整个提取过程通过构建循环迭代的网络实现。为了计算尺度敏感的通道特征，首先构建训练样本对。依据原始跟踪目标的大小进行尺度为0.5～1.5之间进行变换，在搜索区域的深度图像中提取对应尺度的深度特征，最终构建出样本，样本的标签为对应样本与跟踪目标区域的重叠率。依据样本数目和样本尺度的数目构建训练样本对，同时构建训练样本标签对。样本标签的计算如式5所示，其中，Oi表示第i个样本图像区域与原始搜索区域的重叠率。定义排序损失函数如式6所示，其中，Ω表示训练样本对的集合，xi和xj表示样本对，样本对之间的尺度变化较小，f(xi,ω)表示预测模型。f(x)对排序损失造成的影响可以通过公式7计算获得，其中，Δzi,j＝zi-zj，zi表示样本i对应的位置1其余位置为零的向量。通过反向传播，基于梯度下降法的排序损失可以通过式8计算获得，其中，ω为迭代网络中的卷积层的滤波权重。通过对公式8的最终结果求取全局均值池化对应的值，通过对各个通道的权值均值池化结果排序，选择对跟踪目标尺度变化敏感的通道作为最终的尺度敏感通道。
Ti＝1-(Oi-1)2 (5)
Figure BDA0002188818650000101
Figure BDA0002188818650000102
Figure BDA0002188818650000103
通过以上处理，最终完成深度特征的提取，加窗处理，完成第一层特征感知，在4-1层和4-3层中最终提取出80+300个通道的深度特征。
130、构建特征感知相关滤波器；
通过第一层特征感知获得的380个通道的深度特征X′构建相关滤波器；其中，wk表示与第k个通道对应的相关滤波器，X′k表示X′中第k个通道的深度特征；经过第一层深度特征感知，将原始深度特征由X降维为X′，D个通道的深度特征将用于第二层深度特征感知的相关滤波器的构建，如式9所示，其中，wk为第一层深度感知获得的第k个通道对应的滤波器，Y为目标区域的高斯标签，X′k为第k个通道对应的深度特征，★表示循环卷积，通过最小化公式9获得最终的相关滤波器w；依据循环卷积等价于通过构建循环矩阵，然后进行相关运算，循环矩阵能够在傅里叶空间中使用离散傅里叶矩阵进行对角化以及二维脊回归理论，最终获得相关滤波器，最终的求解结果如式10所示，其中，
Figure BDA0002188818650000111
为X′k的傅里叶变换形式，⊙表示矩阵的相关运算，
Figure BDA0002188818650000112
表示
Figure BDA0002188818650000113
的复数共轭矩阵，
Figure BDA0002188818650000114
为高斯标签的傅里叶变换形式；最终获得的相关滤波器
Figure BDA0002188818650000115
为傅里叶变换的形式，因此，需要将
Figure BDA0002188818650000116
进行傅里叶逆变换，并求取傅里叶逆变换结果的实部，以此作为通道的权重描述矩阵；最终获得实型相关滤波器w。
Figure BDA0002188818650000117
Figure BDA0002188818650000118
140、计算滤波器全局均值，实现第二层特征感知；
针对相关滤波器中的380个通道对应的滤波器w，通过全局均值池化的方式进行处理，并依照处理的结果选择均值池化结果最大的L个滤波器(L可选择为150+50，也可以根据最终结果进行调整)；与L个滤波器所对应的通道的深度特征即为第二层特征感知的结果，最终实现第二层特征感知。
150、确定搜索区域集合，二层感知特征提取；
针对上一帧中确定的目标位置和大小，为了适应跟踪目标的尺度变化，通过设定尺度变换因子确定跟踪目标候选尺度图像的大小，进而确定跟踪目标的搜索区域集合；针对不同的搜索区域，通过深度网络VGGNet-16提取卷积层4-1和卷积层4-3的深度特征，通过第一层的特征感知最终获得D个通道的深度特征(D＝380)，经过第二层的特征感知最终由D个通道的深度特征中提取出其中的全局均值池化值最大的L个通道特征(L＝200)，最获得双层感知的深度特征。
160、相关滤波确定跟踪目标位置、尺度；
在获得了跟踪目标的第二层感知深度特征，候选目标区域的多尺度集合图像的第二层感知深度特征后，在DCF框架下确定尺度候选目标区域多尺度图像集合对应的响应图像；在响应图像集合中确定最大响应值的位置和最大响应值对应的尺度，最大响应值对应的位置即为候选区域中的跟踪目标相对于上一帧中的跟踪目标的中心点位置偏移，最大响应值所在的尺度图像即为最终跟踪目标对应的尺度。
170、提取第一层感知特征，更新特征感知相关滤波器；
当确定了跟踪目标的位置和大小后，选择与跟踪结果对应的第一层获得的深度感知特征，依据公式11对第二层感知特征提取的相关滤波器进行更新，βt为第t帧中跟踪结果对应的第一层感知特征所对应的权重，将傅里叶空间中的
Figure BDA0002188818650000121
进行傅里叶逆变换，然后提取变换结果的实部，最终获得更新后的第二层特征感知相关滤波器。
Figure BDA0002188818650000122
最后、循环执行140～170，最终实现自适应尺度调整的目标跟踪。
本发明提出的目标跟踪方法，经过视频跟踪实验，在不影响跟踪精度的前提下，可以提高跟踪方法的跟踪帧率。
上述的实施方式仅为本发明的优选实施方式，不能以此限定本发明的保护范围，本领域的相关技术人员在本发明的基础上所做的非实质性的变换及替换均属于本发明所要求的保护范围。

Claims (4)

1.一种基于双层特征感知的目标跟踪方法，其特征在于，包括以下步骤：
步骤1、确定跟踪目标区域，创建初始跟踪窗口及Padding窗；
步骤2、提取目标区域深度特征并加窗处理，进行第一层特征感知，得到第一层感知特征；
步骤3、依据第一层感知特征创建特征感知相关滤波器，最终获得实型相关滤波器w；
步骤4、计算特征感知相关滤波器的梯度图均值，在梯度图均值中选择L个较大值通道特征，完成第二层特征感知，L为正整数；其具体包括：针对相关滤波器w，通过全局均值池化的方式进行处理，并依照处理的结果选择均值池化结果最大的L个滤波器；与L个滤波器所对应的通道的深度特征即为第二层特征感知的结果；
步骤5、依据上一帧目标位置确定搜索区域尺度图像集合，提取第二层感知特征；其具体包括：针对上一帧中确定的目标位置和大小，为了适应跟踪目标的尺度变化，通过设定尺度变换因子确定跟踪目标候选尺度图像的大小，进而确定跟踪目标的搜索区域集合；针对不同的搜索区域，通过深度网络VGGNet-16提取卷积层4-1和卷积层4-3的深度特征，通过第一层的特征感知最终获得D个通道的深度特征，经过第二层的特征感知最终由D个通道的深度特征中提取出其中的全局均值池化值最大的L个通道特征，最终构建出双层感知的深度特征；
步骤6、应用相关滤波确定目标位置及尺度；其具体包括：在获得了跟踪目标的第二层感知深度特征，候选目标区域的多尺度集合图像的第二层感知深度特征后，在DCF(Discriminant Correlation Filters)框架下确定尺度候选目标区域多尺度图像集合对应的响应图像；在响应图像集合中确定最大响应值的位置和最大响应值对应的尺度，最大响应值对应的位置即为候选区域中的跟踪目标相对于上一帧中的跟踪目标的中心点位置偏移，最大响应值所在的尺度图像即为最终跟踪目标对应的尺度；
步骤7、应用跟踪结果的第一层感知特征更新第二层特征感知相关滤波器；其具体包括：当确定了跟踪目标的位置和尺度后，选择与跟踪结果对应的第一层获得的深度感知特征，依据公式(7)对第二层感知特征提取的相关滤波器进行更新：
Figure FDA0004046260060000021
βt为第t帧中跟踪结果对应的第一层感知特征所对应的权重，将傅里叶空间中的
Figure FDA0004046260060000022
进行傅里叶逆变换，然后提取变换结果的实部，最终获得更新后的第二层特征感知相关滤波器；
步骤8、循环执行步骤4、5、6、7，实现对跟踪目标的连续跟踪。
2.根据权利要求1所述的一种基于双层特征感知的目标跟踪方法，其特征在于，步骤1中，确定跟踪目标区域，创建初始跟踪窗口及Padding窗，包括：
依据标准的跟踪视频库中groundtruth_rect.txt中相关的信息确定跟踪目标的位置和大小，为了能够有效的实现深度网络的特征提取，依据跟踪目标的大小对跟踪目标进行强制转换，同时对跟踪图像做相应的尺度变换，并构建Padding窗。
3.根据权利要求1所述的一种基于双层特征感知的目标跟踪方法，其特征在于，步骤2中，提取目标区域深度特征并加窗处理，进行第一层特征感知，包括：
提取Padding区域图像，并将提取结果图像输入VGGNet-16深度网络模型，提取卷积层4-1和卷积层4-3的深度特征，依据跟踪目标的深度特征和Padding区域图像的深度特征构建高斯标签，如式(1)所示，其中，i，j表示像素点位置相对于目标中点的偏移量；卷积层4-1的深度特征用作尺度敏感的计算，卷积层4-3的深度特征用作目标位置的确定计算；二维的脊回归损失计算如式(2)所示，其中，*表示相关运算；根据式(2)采用循环迭代的方式求解的最小值Lreg来最终确定W的值；
Figure FDA0004046260060000031
Lreg＝||Y-W*X||2+λ||W||2 (2)
针对通过VGGNet-16网络获得的深度特征χ；通过特征感知确定深度特征的子集
Figure FDA0004046260060000032
为最终的感知特征，其中，
Figure FDA0004046260060000033
为通道的选择函数，第i个通道的权重系数Δd通过公式(3)进行计算,GAP为全局均值池化，zd表示第d个通道的滤波输出的深度特征；
Figure FDA0004046260060000034
由公式(4)计算获得，其中，Xin为深度特征，Xo(i,j)为滤波器最终拟合的特征，W为对应通道的滤波器，Y(i,j)为样本的高斯标签；通过对公式(2)进行迭代获得W，进而获得通过滤波后的输出结果Xo(i,j)，通过公式(3)和公式(4)的运算最终获得通道d所确定的权重：
Figure FDA0004046260060000035
Figure FDA0004046260060000036
通过对权重矩阵的平均值池化最终获得对应通道权重，完成底层的特征感知。
4.根据权利要求3所述的一种基于双层特征感知的目标跟踪方法，其特征在于，步骤3中，依据第一层感知特征创建特征感知相关滤波器，包括：
将通过第一层特征感知获得的深度特征X′构建相关滤波器；其中wk表示与第k个通道对应的相关滤波器,Xk′表示X′中第k个通道的深度特征；经过第一层深度特征感知，将原始深度特征由X降维为X′，D个通道的深度特征将用于第二层深度特征感知的相关滤波器的构建，如式(5)所示，其中，wk为第一层深度感知获得的第k个通道对应的滤波器，Y为目标区域的高斯标签，X′k为第k个通道对应的深度特征，★表示循环卷积，通过公式(5)获得最终的相关滤波器w；依据循环卷积等价于通过构建循环矩阵，然后进行相关运算，循环矩阵能够在傅里叶空间中使用离散傅里叶矩阵进行对角化以及二维脊回归理论，最终获得相关滤波器，最终的求解结果如式(6)所示：
Figure FDA0004046260060000041
Figure FDA0004046260060000042
其中，
Figure FDA0004046260060000043
为X′k的傅里叶变换形式，⊙表示矩阵的相关运算，
Figure FDA0004046260060000044
表示
Figure FDA0004046260060000045
的复数共轭矩阵，
Figure FDA0004046260060000046
为高斯标签的傅里叶变换形式；最终获得的相关滤波器
Figure FDA0004046260060000047
为傅里叶变换的形式，因此，需要将
Figure FDA0004046260060000048
进行傅里叶逆变换，并求取傅里叶逆变换结果的实部，以此作为通道的权重描述矩阵；最终获得实型相关滤波器w。
CN201910825052.5A 2019-09-03 2019-09-03 一种基于双层深度特征感知的目标跟踪方法 Active CN110889864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825052.5A CN110889864B (zh) 2019-09-03 2019-09-03 一种基于双层深度特征感知的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825052.5A CN110889864B (zh) 2019-09-03 2019-09-03 一种基于双层深度特征感知的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110889864A CN110889864A (zh) 2020-03-17
CN110889864B true CN110889864B (zh) 2023-04-18

Family

ID=69745881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825052.5A Active CN110889864B (zh) 2019-09-03 2019-09-03 一种基于双层深度特征感知的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110889864B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700476A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种基于卷积神经网络的红外船视频跟踪方法
CN113744314B (zh) * 2021-09-06 2023-09-22 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法
CN113947616B (zh) * 2021-09-23 2022-08-30 北京航空航天大学 一种基于层级化感知机的智能目标跟踪及丢失重检方法
CN113888591A (zh) * 2021-09-24 2022-01-04 天津大学 一种分布式边缘计算和机器学习的目标追踪系统及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008046A1 (en) * 2006-07-11 2008-01-17 Agency For Science, Technology And Research Method and system for multi-object tracking
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN107976685A (zh) * 2017-11-20 2018-05-01 北京航空航天大学 一种基于物联网的红外传感器室内人体目标跟踪系统
CN108447078A (zh) * 2018-02-28 2018-08-24 长沙师范学院 基于视觉显著性的干扰感知跟踪算法
CN109801311A (zh) * 2019-01-31 2019-05-24 长安大学 一种基于深度残差网络特征的视觉目标跟踪方法
CN109816691A (zh) * 2019-01-10 2019-05-28 常州工学院 背景感知的大分类间隔相关滤波目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008046A1 (en) * 2006-07-11 2008-01-17 Agency For Science, Technology And Research Method and system for multi-object tracking
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN107976685A (zh) * 2017-11-20 2018-05-01 北京航空航天大学 一种基于物联网的红外传感器室内人体目标跟踪系统
CN108447078A (zh) * 2018-02-28 2018-08-24 长沙师范学院 基于视觉显著性的干扰感知跟踪算法
CN109816691A (zh) * 2019-01-10 2019-05-28 常州工学院 背景感知的大分类间隔相关滤波目标跟踪方法
CN109801311A (zh) * 2019-01-31 2019-05-24 长安大学 一种基于深度残差网络特征的视觉目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张博 ; 江沸菠 ; 刘刚 ; .利用视觉显著性和扰动模型的上下文感知跟踪.光学精密工程.2018,(08),全文. *
李远状 ; 韩彦芳 ; 于书盼 ; .一种核相关滤波器的多尺度目标跟踪方法.电子科技.2018,(10),全文. *

Also Published As

Publication number Publication date
CN110889864A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110889864B (zh) 一种基于双层深度特征感知的目标跟踪方法
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN110675623A (zh) 基于混合深度学习的短时交通流量预测方法、系统、装置
CN108805064A (zh) 一种基于深度学习的鱼类定位检测和识别方法及系统
CN110889863A (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN110633421B (zh) 特征提取、推荐以及预测方法、装置、介质和设备
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN111340842A (zh) 一种基于联合模型的相关滤波目标跟踪算法
CN111191555B (zh) 一种结合高低空间频率特征的目标跟踪方法、介质及系统
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN111222546A (zh) 一种多尺度融合的食品图像分类模型训练及图像分类方法
Wang et al. Convolution operators for visual tracking based on spatial–temporal regularization
CN112712526B (zh) 基于非对称卷积神经网络双通道的视网膜血管分割方法
CN110991247A (zh) 一种基于深度学习与nca融合的电子元器件识别方法
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN115908907A (zh) 一种高光谱遥感图像分类方法及系统
CN112348847B (zh) 一种目标尺度自适应跟踪方法
CN109558819A (zh) 一种用于遥感图像目标检测的深度网络轻量化方法
CN111899284B (zh) 一种基于参数化esm网络的平面目标跟踪方法
CN115035164A (zh) 一种运动目标识别方法及装置
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN110660079A (zh) 一种基于时空上下文的单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant