CN108898619B - 一种基于pvanet神经网络的目标跟踪方法 - Google Patents

一种基于pvanet神经网络的目标跟踪方法 Download PDF

Info

Publication number
CN108898619B
CN108898619B CN201810584860.2A CN201810584860A CN108898619B CN 108898619 B CN108898619 B CN 108898619B CN 201810584860 A CN201810584860 A CN 201810584860A CN 108898619 B CN108898619 B CN 108898619B
Authority
CN
China
Prior art keywords
tracking
target
neural network
pvanet
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810584860.2A
Other languages
English (en)
Other versions
CN108898619A (zh
Inventor
罗均
高建焘
李小毛
谢少荣
彭艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810584860.2A priority Critical patent/CN108898619B/zh
Publication of CN108898619A publication Critical patent/CN108898619A/zh
Application granted granted Critical
Publication of CN108898619B publication Critical patent/CN108898619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于PVANET神经网络的目标跟踪方法。该方法不再使用Edgeboxes算法进行不同尺度的候选样本的提取，而是改用PVANET神经网络进行深度特征提取，并将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，利用PVANET神经网络中的RPN层进行不同尺度的候选样本的提取，并同时输出候选样本所对应的融合后的深度特征。该方法在利用神经网络中具有强大表征能力的深度特征的基础上，进行特征融合和不同尺度的候选样本的提取，从而提高目标跟踪精度。该方法是一种鲁棒性的跟踪算法，能在不同的跟踪场景中取得不错的效果。

Description

一种基于PVANET神经网络的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于PVANET神经网络的目标跟踪方法。
背景技术
目标跟踪由于其在行为分析、车辆导航、人机交互、医学成像、视频监控等众多领域都有着广阔的应用，从而成为计算机视觉技术最活跃的研究之一。目标跟踪是指在给定视频第一帧中的目标位置，对之后的每一帧进行目标定位。目标跟踪的核心问题紧跟随着时间不断变化的目标。尽管近年来在国内外学者的不断研究下，目标跟踪算法得到了迅速发展，但在光照变化剧烈、目标快速运动、部分遮挡等情况下仍然无法取得很好效果。
近年来，国内外学者提出了多种跟踪算法，主要可以分成两类：一类是基于对于目标本身进行描述和刻画的生成式模型；另一类旨在将目标和背景分离开的判别式模型。生成式模型重点在于建立目标外观模型的表征，虽然构建有效的外观模型以处理跟踪中的各种具有挑战性的情况至关重要，但是与此同时，也会增加很大的计算复杂度，并且还会丢弃了可用于更好地将对象与背景分离的目标区域周围的有用信息，例如词典学习算法、稀疏编码算法、PCA等；判别式模型将跟踪问题转换为目标和背景的二分类问题，即把跟踪的目标作为前景，利用在线学习或离线训练的判断器来区分前景目标和背景，从而得到前景目标的位置。在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但是这也会导致有大量的候选样本需要进行特征提取，使得难以达到实时性，例如Struck、MIL等算法。生成式模型着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。判别式模型通过训练分类器来区分目标和背景(即从背景中区分目标)。判别式方法因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。
但是，对于跟踪算法而言，最重要的两个指标是实时性与精确度。由于传统判别式跟踪算法在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但也会导致有大量的候选样本需要进行特征提取，从而很难达到实时性。
为了解决这一问题，2010年MOSSE算法将相关滤波引入到目标跟踪中，从而使得跟踪算法速度达到高速状态。相关滤波是一种传统的信号处理方法，其描述了两个样本之间的相似程度。但是由于MOSSE算法采用的是随机采样，从而导致正负训练数目不足而使得精度较低。2012年CSK算法基于MOSSE算法通过建立循环位移的结构将目标进行稠密采样，以此增加正负样本的数目，以此解决目标跟踪之中训练样本不足的问题。除此之外，通过对于这些样本进行循环位移的处理，将对目标样本的计算转化到频率域中的求解，通过使用快速傅里叶变换的方法，大大地提高目标跟踪的效率。然而CSK算法采用的是单通道灰度特征，在特征表征上不够鲁棒。针对以上问题，2015年CN算法改用多通道的颜色特征，KCF算法改用多通道HOG特征，使得精度得到提高。
但是无论是CN算法、KCF算法在卷积求解中使用的固定大小的模板，从而导致模型没有尺度自适应的功能，从而难以应对目标尺度变化的情况。SAMF算法通过多尺度采样获取7种尺度候选样本来使得模型具有尺度适应性。DSST算法在原本的位置滤波器基础上增加了一个尺度滤波器，通过多尺度采样获取31种尺度训练样本来训练尺度滤波器。FDSST算法在DSST算法的基础上进行改进增加其跟踪速度。SKCF算法在KCF算法的基础上，引入稀疏光流法用于尺度变化应对。IBCCF算法在KCF算法的基础上，增加4个边界相关滤波器以用于目标的4个边界。KCFDP算法在KCF算法对中心位置定位的基础，引入Edgeboxes算法进行不同尺度的候选样本的提取，从而来应对目标尺度变化的情况。
但是SAMF算法、DSST算法多尺度采样所得的候选样本都是固定长宽比的；SKCF算法在利用稀疏光流法处理尺度变化时，其假定了目标的长宽比是不变；因而，SAMF算法、DSST算法、SKCF算法难以处理长宽比变化的目标尺度变化问题。IBCCF算法、KCFDP算法虽然能处理长宽比变化的目标尺度变化问题，但是其采用的都是手工特征，对目标的表征能力存在一定局限性，因而目标跟踪效果并不是很优异。
在现有的跟踪技术方案当中，基于相关滤波器跟踪方法利用目标样本进行循环位移以及频域运算等处理，从而大大地提高了其跟踪效率。但是，目前跟踪算法目标跟踪算法并不能很好地应对长宽比变化的目标尺度变化的情况，这一局限极大地限制了其原本具有的潜力。针对目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的情况，需要设计一种跟踪算法，使其能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而使得跟踪精度得到提高。
发明内容
有鉴于此，本发明提出了一种基于PVANET神经网络的目标跟踪方法。该方法不再使用Edgeboxes算法进行不同尺度的候选样本的提取，而是改用PVANET神经网络进行深度特征提取，并将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，利用PVANET神经网络中的RPN层进行不同尺度的候选样本的提取，并同时输出候选样本所对应的融合后的深度特征。该方法在利用神经网络中具有强大表征能力的深度特征的基础上，进行特征融合和不同尺度的候选样本的提取，从而提高目标跟踪精度。该方法能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。
一种基于PVANET神经网络的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到PVANET神经网络中，提取出PVANET神经网络中的Convf层输出的分类特征
Figure BDA0001689242480000031
其中ZT表示PVANET神经网络中通道数为512的Convf层输出的分类特征，
Figure BDA0001689242480000032
表示PVANET神经网络中的Convf层输出的分类特征ZT中第n维特征；
步骤三、将训练样本T经过PVANET神经网络后提取得到的Convf层输出的分类特征
Figure BDA0001689242480000033
用于相关滤波器参数的计算；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；
步骤五、对于采样得到的候选区域样本P，将其输入到PVANET神经网络中，提取出PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选框，并对这五个候选框依据步骤一中的扩大比率α进行背景信息的添加，而后进行采样并变形至步骤一中的跟踪目标区域大小(lp,t,hp,t)，从而构成的候选样本集X＝(X1 X2…X5)，以及这5个候选样本构成的候选样本集X所对应的Convf层输出的分类特征
Figure BDA0001689242480000041
其中
Figure BDA0001689242480000042
表示第一个候选样本X1对应PVANET神经网络中的Convf层中输出的通道数为512的分类特征，即
Figure BDA0001689242480000043
步骤六、将候选样本集每个候选样本所对应的
Figure BDA00016892424800000419
层输出的分类特征
Figure BDA0001689242480000044
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)；
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
所述步骤三中的相关滤波器参数的计算，具体为：
首先，对Convf层输出的分类特征
Figure BDA0001689242480000045
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001689242480000046
得到
Figure BDA0001689242480000047
其次，对于每个特征通道
Figure BDA0001689242480000048
将其向量化后进行再构造成对角矩阵，即
Figure BDA0001689242480000049
将特征中所有通道构造成的对角矩阵
Figure BDA00016892424800000410
重新组合构造成一个对角矩阵，即
Figure BDA00016892424800000411
利用这个对角矩阵Dt进行计算得到At和
Figure BDA00016892424800000412
其中，
Figure BDA00016892424800000413
Figure BDA00016892424800000414
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA00016892424800000415
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure BDA00016892424800000416
和
Figure BDA00016892424800000417
计算得到经过快速傅立叶变换的相关滤波参数
Figure BDA00016892424800000418
所述计算得到相关滤波参数
Figure BDA0001689242480000051
具体方法如下：先将矩阵At分解为上三角矩阵Lt和下三角矩阵Ut，即At＝Lt+Ut；而后进行高斯-赛德尔迭代，得到经过快速傅立叶变换和实数化的相关滤波器参数
Figure BDA0001689242480000052
最后通过计算
Figure BDA0001689242480000053
得到经过快速傅立叶变换的相关滤波器参数
Figure BDA0001689242480000054
其中B为标准正交基组成的酉矩阵，其作用是将经过快速傅立叶变换的相关滤波器参数
Figure BDA0001689242480000055
实数化。
所述步骤六具体方法如下：
首先，将PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选样本构成的候选样本集X＝(X1 X2 …X5)中每个候选样本Xk,k＝1,2,…5以及其所对应的Convf层输出的分类特征
Figure BDA0001689242480000056
进行快速傅立叶变换，得到频域特征
Figure BDA0001689242480000057
其中
Figure BDA0001689242480000058
为第k个候选样本对应的Convf层输出的分类特征
Figure BDA0001689242480000059
经过快速傅立叶变换，得到的频域特征
Figure BDA00016892424800000510
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure BDA00016892424800000511
将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA00016892424800000512
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure BDA00016892424800000513
即
Figure BDA00016892424800000514
其中
Figure BDA00016892424800000515
为第k个候选样本Xk,k＝1,2…5的相应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure BDA00016892424800000516
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选框的大小即为扩大后的跟踪目标区域大小(lt+1,ht+1)。
与现有技术相比，本发明方法具有如下的突出的优点：
本方法能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。本方法不再使用Edgeboxes算法进行不同尺度的候选样本的提取，而是改用PVANET神经网络进行深度特征提取，并将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，利用PVANET神经网络中的RPN层进行不同尺度的候选样本的提取，并同时输出候选样本所对应的融合后的深度特征。该方法在利用神经网络中具有强大表征能力的深度特征的基础上，进行特征融合和不同尺度的候选样本的提取，从而提高目标跟踪精度。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图，对本发明的具体实施例做进一步的说明。
如图1所示，一种基于PVANET神经网络的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度。
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到PVANET神经网络中，提取出PVANET神经网络中的Convf层输出的分类特征
Figure BDA0001689242480000061
其中T表示训练样本，ZT表示PVANET神经网络中通道数为512的Convf层输出的分类特征，
Figure BDA0001689242480000062
表示PVANET神经网络中的Convf层输出的分类特征ZT中第n维特征。
步骤三、将训练样本T经过PVANET神经网络后提取得到的Convf层输出的分类特征
Figure BDA0001689242480000063
用于相关滤波器参数的计算；
首先，对Convf层输出的分类特征
Figure BDA0001689242480000064
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001689242480000065
得到
Figure BDA0001689242480000066
其次，对于每个特征通道
Figure BDA0001689242480000067
将其向量化后进行再构造成对角矩阵，即
Figure BDA0001689242480000071
将特征中所有通道构造成的对角矩阵
Figure BDA0001689242480000072
重新组合构造成一个对角矩阵，即
Figure BDA0001689242480000073
利用这个对角矩阵Dt进行计算得到At和
Figure BDA0001689242480000074
其中，
Figure BDA0001689242480000075
Figure BDA0001689242480000076
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA0001689242480000077
为高斯标签经过快速傅立叶变换和实数化后得到的标签，
最后，根据公式
Figure BDA0001689242480000078
和
Figure BDA0001689242480000079
计算得到经过快速傅立叶变换的相关滤波参数
Figure BDA00016892424800000710
具体方法如下，先将矩阵A1分解为上三角矩阵L1和下三角矩阵U1，即A1＝L1+U1。而后进行高斯-赛德尔迭代可得到实数化后的相关滤波器参数
Figure BDA00016892424800000711
最后通过计算
Figure BDA00016892424800000712
可得到相关滤波器参数
Figure BDA00016892424800000713
其中B为标准正交基组成的酉矩阵，其作用是将相关滤波器参数
Figure BDA00016892424800000714
实数化。
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P。
步骤五、对于采样得到的候选区域样本P，将其输入到PVANET神经网络中，提取出PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选框，并对这五个候选框依据步骤一中的扩大比率α进行背景信息的添加，而后进行采样并变形至步骤一中的跟踪目标区域大小(lp,t,hp,t)，从而构成的候选样本集X＝(X1 X2…X5)，以及这5个候选样本构成的候选样本集X所对应的Convf层输出的分类特征
Figure BDA00016892424800000715
其中
Figure BDA00016892424800000716
表示第一个候选样本X1对应PVANET神经网络中的Convf层中输出的通道数为512的分类特征，即
Figure BDA00016892424800000717
步骤六、将候选样本集每个候选样本所对应的Convf层输出的分类特征
Figure BDA0001689242480000081
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)，具体方法如下：
首先，将PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选样本构成的候选样本集X＝(X1 X2…X5)中每个候选样本Xk,k＝1,2,…5以及其所对应的Convf层输出的分类特征
Figure BDA0001689242480000082
进行快速傅立叶变换，得到频域特征
Figure BDA0001689242480000083
其中
Figure BDA0001689242480000084
为第k个候选样本对应的Convf层输出的分类特征
Figure BDA0001689242480000085
经过快速傅立叶变换，得到的频域特征
Figure BDA0001689242480000086
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure BDA0001689242480000087
将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA0001689242480000088
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure BDA0001689242480000089
即
Figure BDA00016892424800000810
其中
Figure BDA00016892424800000811
为第k个候选样本Xk,k＝1,2…5的相应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure BDA00016892424800000812
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选框的大小即为扩大后的跟踪目标区域大小(lt+1,ht+1)。
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。

Claims (4)

1.一种基于PVANET神经网络的目标跟踪方法，其特征在于，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到PVANET神经网络中，提取出PVANET神经网络中的Convf层输出的分类特征
Figure FDA0002758077120000011
其中ZT表示PVANET神经网络中通道数为512的Convf层输出的分类特征，
Figure FDA0002758077120000012
表示PVANET神经网络中的Convf层输出的分类特征ZT中第n维特征；
步骤三、将训练样本T经过PVANET神经网络后提取得到的Convf层输出的分类特征
Figure FDA0002758077120000013
用于相关滤波器参数的计算；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；
步骤五、对于采样得到的候选区域样本P，将其输入到PVANET神经网络中，提取出PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选框，并对这五个候选框依据步骤一中的扩大比率α进行背景信息的添加，而后进行采样并变形至步骤一中的跟踪目标区域大小(lp,t,hp,t)，从而构成的候选样本集X＝(X1 X2…X5)，以及这5个候选样本构成的候选样本集X所对应的Convf层输出的分类特征
Figure FDA0002758077120000014
其中
Figure FDA0002758077120000015
表示第一个候选样本X1对应PVANET神经网络中的Convf层中输出的通道数为512的分类特征，即
Figure FDA0002758077120000016
步骤六、将候选样本集每个候选样本所对应的Convf层输出的分类特征
Figure FDA0002758077120000021
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)和跟踪目标区域大小(lt+1,ht+1)；
步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
2.根据权利要求1所述的基于PVANET神经网络的目标跟踪方法，其特征在于，所述步骤三中的相关滤波器参数的计算，具体为：
首先，对Convf层输出的分类特征
Figure FDA0002758077120000022
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure FDA0002758077120000023
得到
Figure FDA0002758077120000024
其次，对于每个特征通道
Figure FDA0002758077120000025
将其向量化后进行再构造成对角矩阵，即
Figure FDA0002758077120000026
将特征中所有通道构造成的对角矩阵
Figure FDA0002758077120000027
重新组合构造成一个对角矩阵，即
Figure FDA0002758077120000028
利用这个对角矩阵Dt进行计算得到At和
Figure FDA0002758077120000029
其中，
Figure FDA00027580771200000210
Figure FDA00027580771200000211
其中，W为空间正则化系数构造成的正则化矩阵；
Figure FDA00027580771200000212
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure FDA00027580771200000213
和
Figure FDA00027580771200000214
计算得到经过快速傅立叶变换的相关滤波参数
Figure FDA00027580771200000215
其中
Figure FDA00027580771200000216
为经过快速傅立叶变换和实数化后的相关滤波参数，BH为反实数化矩阵。
3.根据权利要求2所述的基于PVANET神经网络的目标跟踪方法，其特征在于，所述计算得到相关滤波参数
Figure FDA00027580771200000217
具体方法如下：先将矩阵At分解为上三角矩阵Lt和下三角矩阵Ut，即At＝Lt+Ut；而后进行高斯-赛德尔迭代，得到经过快速傅立叶变换和实数化的相关滤波器参数
Figure FDA00027580771200000218
最后通过计算
Figure FDA00027580771200000219
得到经过快速傅立叶变换的相关滤波器参数
Figure FDA00027580771200000220
其中B为标准正交基组成的酉矩阵，其作用是将经过快速傅立叶变换的相关滤波器参数
Figure FDA00027580771200000221
实数化。
4.根据权利要求1所述的基于PVANET神经网络的目标跟踪方法，其特征在于，所述步骤六具体方法如下：
首先，将PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(xt,yt)最近的5个候选样本构成的候选样本集X＝(X1 X2…X5)中每个候选样本Xk,k＝1,2,…5以及其所对应的Convf层输出的分类特征
Figure FDA0002758077120000031
进行快速傅立叶变换，得到频域特征
Figure FDA0002758077120000032
其中
Figure FDA0002758077120000033
为第k个候选样本对应的Convf层输出的分类特征
Figure FDA0002758077120000034
经过快速傅立叶变换，得到的频域特征
Figure FDA0002758077120000035
而后，对于候选样本集中每个候选样本经过快速傅立叶变化的特征
Figure FDA0002758077120000036
将其与经过快速傅立叶变换的相关滤波器参数
Figure FDA0002758077120000037
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图
Figure FDA0002758077120000038
即
Figure FDA0002758077120000039
其中
Figure FDA00027580771200000310
为第k个候选样本Xk,k＝1,2…5的响应图，F-1为反傅里叶变换；
最后，对于候选样本集中所有候选样本对应的响应图
Figure FDA00027580771200000311
找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置，该点对应的候选框的大小即为扩大后的跟踪目标区域大小(lt+1,ht+1)。
CN201810584860.2A 2018-06-08 2018-06-08 一种基于pvanet神经网络的目标跟踪方法 Active CN108898619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810584860.2A CN108898619B (zh) 2018-06-08 2018-06-08 一种基于pvanet神经网络的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810584860.2A CN108898619B (zh) 2018-06-08 2018-06-08 一种基于pvanet神经网络的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108898619A CN108898619A (zh) 2018-11-27
CN108898619B true CN108898619B (zh) 2021-02-23

Family

ID=64344310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810584860.2A Active CN108898619B (zh) 2018-06-08 2018-06-08 一种基于pvanet神经网络的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108898619B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598744B (zh) * 2018-11-29 2020-12-08 广州市百果园信息技术有限公司 一种视频跟踪的方法、装置、设备和存储介质
CN109767456A (zh) * 2019-01-09 2019-05-17 上海大学 一种基于SiameseFC框架和PFP神经网络的目标跟踪方法
CN110570458B (zh) * 2019-08-12 2022-02-01 武汉大学 一种基于内部裁剪和多层特征信息融合的目标跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741316A (zh) * 2016-01-20 2016-07-06 西北工业大学 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106651917A (zh) * 2016-12-30 2017-05-10 天津大学 基于神经网络的图像目标跟踪算法
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别系统及其实现方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741316A (zh) * 2016-01-20 2016-07-06 西北工业大学 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106651917A (zh) * 2016-12-30 2017-05-10 天津大学 基于神经网络的图像目标跟踪算法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别系统及其实现方法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fast Fourier Transform Networks for Object Tracking Based on Correlation Filter;ZHANGPING HE et al.;《IEEE》;20180108;第6594-6601页 *
PVANet Optimization for Person Detection;Corneliu Zaharia et al.;《IEEE》;20171231;第959-964页 *
PVANet: Lightweight Deep Neural Networks for Real-time Object Detection;Kye-Hyeon Kim et al.;《arXiv》;20160930;第1-7页 *

Also Published As

Publication number Publication date
CN108898619A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108734151B (zh) 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN109191493B (zh) 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN108898619B (zh) 一种基于pvanet神经网络的目标跟踪方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN107452022A (zh) 一种视频目标跟踪方法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
CN112183675B (zh) 一种基于孪生网络的针对低分辨率目标的跟踪方法
CN108830878B (zh) 一种基于fpn神经网络的目标跟踪方法
CN109410249B (zh) 一种结合深度特征与手绘特征自适应的目标追踪方法
CN111583300A (zh) 一种基于富集目标形态变化更新模板的目标跟踪方法
CN110111369A (zh) 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN110458235A (zh) 一种视频中运动姿势相似度比对方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN107590820B (zh) 一种基于相关滤波的视频对象追踪方法及其智能装置
CN110689559B (zh) 一种基于密集卷积网络特征的视觉目标跟踪方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant