CN109191493B - 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 - Google Patents

一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 Download PDF

Info

Publication number
CN109191493B
CN109191493B CN201810768173.6A CN201810768173A CN109191493B CN 109191493 B CN109191493 B CN 109191493B CN 201810768173 A CN201810768173 A CN 201810768173A CN 109191493 B CN109191493 B CN 109191493B
Authority
CN
China
Prior art keywords
target
optical flow
tracking
neural network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810768173.6A
Other languages
English (en)
Other versions
CN109191493A (zh
Inventor
罗均
高建焘
李小毛
谢少荣
彭艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810768173.6A priority Critical patent/CN109191493B/zh
Publication of CN109191493A publication Critical patent/CN109191493A/zh
Application granted granted Critical
Publication of CN109191493B publication Critical patent/CN109191493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。该方法不再使用手工特征，或浅层网络输出具有的空间信息的深度特征，亦或深层网络输出具有强判别能力的深度特征，而是改用RefineNet神经网络进行深度特征提取，将浅层网络输出具有的空间信息的深度特征和深层网络输出具有强判别能力的深度特征进行融合，在融合后的深度特征的基础上，进行跟踪目标中心位置的跟踪。而对于目标区域的变化，该方法利用稀疏光流对跟踪目标区域长和宽不同的变化分别进行处理，使得该方法能够应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化问题。该方法是一种鲁棒性跟踪算法，能在不同跟踪场景中取得不错的效果。

Description

一种基于RefineNet神经网络和稀疏光流的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。
背景技术
目标跟踪由于其在行为分析、车辆导航、人机交互、医学成像、视频监控等众多领域都有着广阔的应用，从而成为计算机视觉技术最活跃的研究之一。目标跟踪是指在给定视频第一帧中的目标位置，对之后的每一帧进行目标定位。目标跟踪的核心问题紧跟随着时间不断变化的目标。尽管近年来在国内外学者的不断研究下，目标跟踪算法得到了迅速发展，但在光照变化剧烈、目标快速运动、部分遮挡等情况下仍然无法取得很好效果。
近年来，国内外学者提出了多种跟踪算法，主要可以分成两类：一类是基于对于目标本身进行描述和刻画的生成式模型；另一类旨在将目标和背景分离开的判别式模型。生成式模型重点在于建立目标外观模型的表征，虽然构建有效的外观模型以处理跟踪中的各种具有挑战性的情况至关重要，但是与此同时，也会增加很大的计算复杂度，并且还会丢弃了可用于更好地将对象与背景分离的目标区域周围的有用信息，例如词典学习算法、稀疏编码算法、PCA等；判别式模型将跟踪问题转换为目标和背景的二分类问题，即把跟踪的目标作为前景，利用在线学习或离线训练的判断器来区分前景目标和背景，从而得到前景目标的位置。在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但是这也会导致有大量的候选样本需要进行特征提取，使得难以达到实时性，例如Struck、MIL等算法。生成式模型着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。判别式模型通过训练分类器来区分目标和背景(即从背景中区分目标)。判别式方法因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。
但是，对于跟踪算法而言，最重要的两个指标是实时性与精确度。由于传统判别式跟踪算法在进行判断前往往会进行特征提取，以作为判断依据提高判断的精确度，但也会导致有大量的候选样本需要进行特征提取，从而很难达到实时性。
为了解决这一问题，2010年MOSSE算法将相关滤波引入到目标跟踪中，从而使得跟踪算法速度达到高速状态。相关滤波是一种传统的信号处理方法，其描述了两个样本之间的相似程度。但是由于MOSSE算法采用的是随机采样，从而导致正负训练数目不足而使得精度较低。2012年CSK算法基于MOSSE算法通过建立循环位移的结构将目标进行稠密采样，以此增加正负样本的数目，以此解决目标跟踪之中训练样本不足的问题。除此之外，通过对于这些样本进行循环位移的处理，将对目标样本的计算转化到频率域中的求解，通过使用快速傅里叶变换的方法，大大地提高目标跟踪的效率。然而CSK算法采用的是单通道灰度特征，在特征表征上不够鲁棒。针对以上问题，2015年CN算法改用多通道的颜色特征，KCF算法改用多通道HOG特征，使得精度得到提高。
但是无论是CN算法、KCF算法在卷积求解中使用的固定大小的模板，从而导致模型没有尺度自适应的功能，从而难以应对目标尺度变化的情况。SAMF算法通过多尺度采样获取7种尺度候选样本来使得模型具有尺度适应性。DSST算法在原本的位置滤波器基础上增加了一个尺度滤波器，通过多尺度采样获取31种尺度训练样本来训练尺度滤波器。FDSST算法在DSST算法的基础上进行改进增加其跟踪速度。SKCF算法在KCF算法的基础上，引入稀疏光流法用于尺度变化应对。IBCCF算法在KCF算法的基础上，增加4个边界相关滤波器以用于目标的4个边界。KCFDP算法在KCF算法对中心位置定位的基础，引入Edgeboxes算法进行不同尺度的候选样本的提取，从而来应对目标尺度变化的情况。
但是SAMF算法、DSST算法多尺度采样所得的候选样本都是固定长宽比的；SKCF算法在利用稀疏光流法处理尺度变化时，其假定了目标的长宽比是不变；因而，SAMF算法、DSST算法、SKCF算法难以处理长宽比变化的目标尺度变化问题。IBCCF算法、KCFDP算法虽然能处理长宽比变化的目标尺度变化问题，但是其采用的都是手工特征，对目标的表征能力存在一定局限性，因而目标跟踪效果并不是很优异。
在现有的跟踪技术方案当中，基于相关滤波器跟踪方法利用目标样本进行循环位移以及频域运算等处理，从而大大地提高了其跟踪效率。但是，目前跟踪算法目标跟踪算法并不能很好地应对长宽比变化的目标尺度变化的情况，这一局限极大地限制了其原本具有的潜力。针对目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的情况，需要设计一种跟踪算法，使其能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而使得跟踪精度得到提高。
发明内容
有鉴于此，本发明提出了一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。该方法不再使用手工特征，或浅层网络输出具有的空间信息的深度特征，亦或是深层网络输出的具有的判别能力的深度特征，而是改用RefineNet神经网络进行深度特征提取，将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，进行跟踪目标中心位置的跟踪。而对于目标区域的变化，该方法利用稀疏光流法处理尺度变化时，并不再假定目标的长宽比是不变，而是对于跟踪目标区域长和宽不同的变化分别进行处理，从而使得该方法能够长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。该方法在利用神经网络具有强大表征能力的深度特征的基础上，进行特征融合而后进行跟踪目标中心位置的跟踪，并利用稀疏光流法对于跟踪目标区域的长和宽不同的变化分别进行处理，以应对长宽比变化的目标尺度变化，从而提高目标跟踪精度。该方法能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。
为达到上述目的，本发明采用如下技术方案：
一种基于RefineNet神经网络和稀疏光流的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000031
其中ZT表示RefineNet神经网络中通道数为512的rmflow_convf_g4_b3_joint_varout层输出的分类特征，
Figure BDA0001729560970000032
表示RefineNet神经网络中的Convf层输出的分类特征ZT中第n维特征；
步骤三、将训练样本T经过RefineNet神经网络后提取得到的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000033
用于相关滤波器参数的计算，其中
Figure BDA0001729560970000034
表示训练样本T输入到RefineNet神经网络后Convf层输出的分类特征中第i个通道的特征图；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；
步骤五、对于采样得到的候选区域样本P，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000041
其中
Figure BDA0001729560970000042
表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；
步骤六、将候选区域样本P所对应RefineNet神经网络的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000043
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)；
步骤七、对训练样本T提取稀疏光流特征点
Figure BDA0001729560970000044
其中
Figure BDA0001729560970000045
表示训练样本中所提取到的第i个稀疏光流特征点，
Figure BDA0001729560970000046
表示训练样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure BDA0001729560970000047
表示训练样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤八、对候选区域样本P提取稀疏光流特征点
Figure BDA0001729560970000048
其中
Figure BDA0001729560970000049
表示候选区域样本中所提取到的第i个稀疏光流特征点，
Figure BDA00017295609700000410
表示候选区域样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure BDA00017295609700000411
表示候选区域样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤九、利用训练样本T的稀疏光流特征点
Figure BDA00017295609700000412
和候选区域样本P提取稀疏光流特征点
Figure BDA00017295609700000413
计算得到目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx和y方向上的缩放因子σy，从而计算得到目标区域大小(lt+1,ht+1)；
步骤十、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤九，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
所述步骤三中的相关滤波器参数的计算，具体为：
首先，对rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA00017295609700000414
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001729560970000051
得到
Figure BDA0001729560970000052
其次，对于每个特征通道
Figure BDA0001729560970000053
将其向量化后进行再构造成对角矩阵，即
Figure BDA0001729560970000054
将特征中所有通道构造成的对角矩阵
Figure BDA0001729560970000055
重新组合构造成一个对角矩阵，即
Figure BDA0001729560970000056
利用这个对角矩阵Dt进行计算得到At和
Figure BDA0001729560970000057
其中，
Figure BDA0001729560970000058
Figure BDA0001729560970000059
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA00017295609700000510
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure BDA00017295609700000511
和
Figure BDA00017295609700000512
计算得到经过快速傅立叶变换的相关滤波参数
Figure BDA00017295609700000513
所述计算得到相关滤波参数
Figure BDA00017295609700000514
具体方法如下：先将矩阵At分解为上三角矩阵Lt和下三角矩阵Ut，即At＝Lt+Ut；而后进行高斯-赛德尔迭代，得到经过快速傅立叶变换和实数化的相关滤波器参数
Figure BDA00017295609700000515
最后通过计算
Figure BDA00017295609700000516
得到经过快速傅立叶变换的相关滤波器参数
Figure BDA00017295609700000517
其中B为标准正交基组成的酉矩阵，其作用是将经过快速傅立叶变换的相关滤波器参数
Figure BDA00017295609700000518
实数化。
所述步骤六候选区域样本P的响应图的计算，并最终确定该帧跟踪目标的中心位置(xt+1，yt+1)具体方法如下：
首先，将候选区域样本P所对应的RefineNet神经网络中rmfflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA00017295609700000519
进行快速傅立叶变换，得到频域特征
Figure BDA00017295609700000520
其中
Figure BDA00017295609700000521
表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道经过快速傅里叶变换的特征图；
而后，对于候选区域样本P经过快速傅立叶变化的特征
Figure BDA0001729560970000061
将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA0001729560970000062
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图RP，即
Figure BDA0001729560970000063
其中RP为候选区域样本P的响应图，F-1为反傅里叶变换；
最后，对于候选区域样本P的响应图RP，找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置。
所述步骤九中目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx和y方向上的缩放因子σy的计算，以及目标区域大小(lt+1ht+1)的计算，具体为：
目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx的计算，如下：
Figure BDA0001729560970000064
其中，
Figure BDA0001729560970000065
和
Figure BDA0001729560970000066
表示候选区域样本P的稀疏光流特征点
Figure BDA0001729560970000067
中两个特征点
Figure BDA0001729560970000068
和
Figure BDA0001729560970000069
的x坐标，
Figure BDA00017295609700000610
和
Figure BDA00017295609700000611
表示训练样本T的稀疏光流特征点
Figure BDA00017295609700000612
中对应于候选区域样本P的稀疏光流特征点
Figure BDA00017295609700000613
中
Figure BDA00017295609700000614
和
Figure BDA00017295609700000615
这两个特征点的两个特征点
Figure BDA00017295609700000616
和
Figure BDA00017295609700000617
的x坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700000618
中两个特征点
Figure BDA00017295609700000619
和
Figure BDA00017295609700000620
对应于候选区域样本P对应的响应图RP的响应值；
目标区域相对于上一帧目标区域(lt,ht)的y方向的缩放因子σy的计算，如下：
Figure BDA00017295609700000621
其中，
Figure BDA00017295609700000622
和
Figure BDA00017295609700000623
表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700000624
中两个特征点
Figure BDA0001729560970000071
和
Figure BDA0001729560970000072
的y坐标，
Figure BDA0001729560970000073
和
Figure BDA0001729560970000074
表示训练样本T的稀疏光流特征点
Figure BDA0001729560970000075
中对应于候选区域样本P的稀疏光流特征点
Figure BDA0001729560970000076
中
Figure BDA0001729560970000077
和
Figure BDA0001729560970000078
这两个特征点的两个特征点
Figure BDA0001729560970000079
和
Figure BDA00017295609700000710
的y坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700000711
中两个特征点
Figure BDA00017295609700000712
和
Figure BDA00017295609700000713
对应于候选区域样本P对应的响应图RP的响应值；
目标区域大小(lt+1ht+1)的计算，如下：
(lt+1ht+1)＝(lt×σx ht×σy)
与现有技术相比，本发明方法具有如下的突出的优点：
本方法能在利用神经网络中具有强大表征能力的深度特征的基础上，很好应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。本方法不再使用手工特征，或浅层网络输出具有的空间信息的深度特征，亦或是深层网络输出的具有的判别能力的深度特征，而是改用RefineNet神经网络进行深度特征提取，将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，进行跟踪目标中心位置的跟踪。而对于目标区域的变化，该方法利用稀疏光流法处理尺度变化时，并不再假定目标的长宽比是不变，而是对于跟踪目标区域长和宽不同的变化分别进行处理，从而使得该方法能够长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化的问题。本方法在利用神经网络具有强大表征能力的深度特征的基础上，进行特征融合而后进行跟踪目标中心位置的跟踪，并利用稀疏光流法对于跟踪目标区域的长和宽不同的变化分别进行处理，以应对长宽比变化的目标尺度变化，从而提高目标跟踪精度。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图，对本发明的具体实施例做进一步的说明。
如图1所示，一种基于RefineNet神经网络和稀疏光流的目标跟踪方法，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000081
其中ZT表示RefineNet神经网络中通道数为256的rmflow_convf_g4_b3_joint_varout层输出的分类特征，
Figure BDA0001729560970000082
表示RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征ZT中第n维特征；
步骤三、将训练样本T经过RefineNet神经网络后提取得到的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000083
用于相关滤波器参数的计算，其中
Figure BDA0001729560970000084
表示训练样本T输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；
首先，对rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA0001729560970000085
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure BDA0001729560970000086
得到
Figure BDA0001729560970000087
其次，对于每个特征通道
Figure BDA0001729560970000088
将其向量化后进行再构造成对角矩阵，即
Figure BDA0001729560970000089
将特征中所有通道构造成的对角矩阵
Figure BDA00017295609700000810
重新组合构造成一个对角矩阵，即
Figure BDA00017295609700000811
利用这个对角矩阵Dt进行计算得到At和
Figure BDA00017295609700000812
其中，
Figure BDA00017295609700000813
Figure BDA00017295609700000814
其中，W为空间正则化系数构造成的正则化矩阵；
Figure BDA00017295609700000815
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure BDA0001729560970000091
和
Figure BDA0001729560970000092
计算得到经过快速傅立叶变换的相关滤波参数
Figure BDA0001729560970000093
具体方法如下，先将矩阵A1分解为上三角矩阵L1和下三角矩阵U1，即A1＝L1+U1。而后进行高斯-赛德尔迭代可得到实数化后的相关滤波器参数
Figure BDA0001729560970000094
最后通过计算
Figure BDA0001729560970000095
可得到相关滤波器参数
Figure BDA0001729560970000096
其中B为标准正交基组成的酉矩阵，其作用是将相关滤波器参数
Figure BDA0001729560970000097
实数化。
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；
步骤五、对于采样得到的候选区域样本P，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的Convf层输出的分类特征
Figure BDA0001729560970000098
其中
Figure BDA0001729560970000099
表示候选区域样本P输入到RefineNet神经网络后Convf层输出的分类特征中第i个通道的特征图；
步骤六、将候选区域样本P所对应RefineNet神经网络的Convf层输出的分类特征
Figure BDA00017295609700000910
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)；
首先，将候选区域样本P所对应的RefineNet神经网络中rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure BDA00017295609700000911
进行快速傅立叶变换，得到频域特征
Figure BDA00017295609700000912
其中
Figure BDA00017295609700000913
表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道经过快速傅里叶变换的特征图；
而后，对于候选区域样本P经过快速傅立叶变化的特征
Figure BDA00017295609700000914
将其与经过快速傅立叶变换的相关滤波器参数
Figure BDA00017295609700000915
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图RP，即
Figure BDA00017295609700000916
其中RP为候选区域样本P的响应图，F-1为反傅里叶变换；
最后，对于候选区域样本P的响应图RP，找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置。
步骤七、对训练样本T提取稀疏光流特征点
Figure BDA0001729560970000101
其中
Figure BDA0001729560970000102
表示训练样本中所提取到的第i个稀疏光流特征点，
Figure BDA0001729560970000103
表示训练样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure BDA0001729560970000104
表示训练样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤八、对候选区域样本P提取稀疏光流特征点
Figure BDA0001729560970000105
其中
Figure BDA0001729560970000106
表示候选区域样本中所提取到的第i个稀疏光流特征点，
Figure BDA0001729560970000107
表示候选区域样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure BDA0001729560970000108
表示候选区域样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤九、利用训练样本T的稀疏光流特征点
Figure BDA0001729560970000109
和候选区域样本P提取稀疏光流特征点
Figure BDA00017295609700001010
计算得到目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx和y方向上的缩放因子σy，从而计算得到目标区域大小(lt+1,ht+1)；
目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx的计算，如下：
Figure BDA00017295609700001011
其中，
Figure BDA00017295609700001012
和
Figure BDA00017295609700001013
表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700001014
中两个特征点
Figure BDA00017295609700001015
和
Figure BDA00017295609700001016
的x坐标，
Figure BDA00017295609700001017
和
Figure BDA00017295609700001018
表示训练样本T的稀疏光流特征点
Figure BDA00017295609700001019
中对应于候选区域样本P的稀疏光流特征点
Figure BDA00017295609700001020
中
Figure BDA00017295609700001021
和
Figure BDA00017295609700001022
这两个特征点的两个特征点
Figure BDA00017295609700001023
和
Figure BDA00017295609700001024
的x坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700001025
中两个特征点
Figure BDA00017295609700001026
和
Figure BDA00017295609700001027
对应于候选区域样本P对应的响应图RP的响应值；
目标区域相对于上一帧目标区域(lt,ht)的y方向的缩放因子σy的计算，如下：
Figure BDA0001729560970000111
其中，
Figure BDA0001729560970000112
和
Figure BDA0001729560970000113
表示候选区域样本P的稀疏光流特征点
Figure BDA0001729560970000114
中两个特征点
Figure BDA0001729560970000115
和
Figure BDA0001729560970000116
的y坐标，
Figure BDA0001729560970000117
和
Figure BDA0001729560970000118
表示训练样本T的稀疏光流特征点
Figure BDA0001729560970000119
中对应于候选区域样本P的稀疏光流特征点
Figure BDA00017295609700001110
中
Figure BDA00017295609700001111
和
Figure BDA00017295609700001112
这两个特征点的两个特征点
Figure BDA00017295609700001113
和
Figure BDA00017295609700001114
的y坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure BDA00017295609700001115
中两个特征点
Figure BDA00017295609700001116
和
Figure BDA00017295609700001117
对应于候选区域样本P对应的响应图RP的响应值；
目标区域大小(lt+1ht+1)的计算，如下：
(lt+1ht+1)＝(lt×σx ht×σy)
步骤十、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤九，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。

Claims (5)

1.一种基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，具体步骤包括：
步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；
步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA0002959395720000011
其中ZT表示RefineNet神经网络中通道数为256的rmflow_convf_g4_b3_joint_varout层输出的分类特征，
Figure FDA0002959395720000012
表示RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征ZT中第n维特征；
步骤三、将训练样本T经过RefineNet神经网络后提取得到的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA0002959395720000013
用于相关滤波器参数的计算，其中
Figure FDA0002959395720000014
表示训练样本T输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；
步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；
步骤五、对于采样得到的候选区域样本P，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA0002959395720000015
其中
Figure FDA0002959395720000016
表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；
步骤六、将候选区域样本P所对应RefineNet神经网络的rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA0002959395720000017
用于响应图的计算，最终确定该帧跟踪目标的中心位置(xt+1,yt+1)；
步骤七、对训练样本T提取稀疏光流特征点
Figure FDA0002959395720000021
其中
Figure FDA0002959395720000022
表示训练样本中所提取到的第i个稀疏光流特征点，
Figure FDA0002959395720000023
表示训练样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure FDA0002959395720000024
表示训练样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤八、对候选区域样本P提取稀疏光流特征点
Figure FDA0002959395720000025
其中
Figure FDA0002959395720000026
表示候选区域样本中所提取到的第i个稀疏光流特征点，
Figure FDA0002959395720000027
表示候选区域样本中所提取到的第i个稀疏光流特征点的x坐标，
Figure FDA0002959395720000028
表示候选区域样本中所提取到的第i个稀疏光流特征点的y坐标；
步骤九、利用训练样本T的稀疏光流特征点
Figure FDA0002959395720000029
和候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000210
计算得到目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx和y方向上的缩放因子σy，从而计算得到目标区域大小(lt+1,ht+1)；
步骤十、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤九，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。
2.根据权利要求1所述的基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，所述步骤三中的相关滤波器参数的计算，具体为：
首先，对rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA00029593957200000211
进行快速傅立叶变换，从而将其从时域变换到频域特征
Figure FDA00029593957200000212
得到
Figure FDA00029593957200000213
其次，对于每个特征通道
Figure FDA00029593957200000214
k＝1,2,…256，将其向量化后进行再构造成对角矩阵，即
Figure FDA00029593957200000215
将特征中所有通道构造成的对角矩阵
Figure FDA00029593957200000216
重新组合构造成一个对角矩阵，即
Figure FDA00029593957200000217
利用这个对角矩阵Dt进行计算得到At和
Figure FDA00029593957200000218
其中，
Figure FDA00029593957200000219
Figure FDA0002959395720000031
其中，W为空间正则化系数构造成的正则化矩阵；
Figure FDA0002959395720000032
为高斯标签经过快速傅立叶变换和实数化后得到的标签；
最后，根据公式
Figure FDA0002959395720000033
和
Figure FDA0002959395720000034
计算得到经过快速傅立叶变换的相关滤波参数
Figure FDA0002959395720000035
其中
Figure FDA0002959395720000036
为经过快速傅立叶变换和实数化后的相关滤波参数，BH为反实数化矩阵。
3.根据权利要求2所述的基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，所述计算得到相关滤波参数
Figure FDA0002959395720000037
具体方法如下：先将矩阵At分解为上三角矩阵Lt和下三角矩阵Ut，即At＝Lt+Ut；而后进行高斯-赛德尔迭代，得到经过快速傅立叶变换和实数化的相关滤波器参数
Figure FDA0002959395720000038
最后通过计算
Figure FDA0002959395720000039
得到经过快速傅立叶变换的相关滤波器参数
Figure FDA00029593957200000310
其中B为标准正交基组成的酉矩阵，其作用是将经过快速傅立叶变换的相关滤波器参数
Figure FDA00029593957200000311
实数化。
4.根据权利要求1所述的基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，所述步骤六具体方法如下：
首先，将候选区域样本P所对应的RefineNet神经网络中rmflow_convf_g4_b3_joint_varout层输出的分类特征
Figure FDA00029593957200000312
进行快速傅立叶变换，得到频域特征
Figure FDA00029593957200000313
其中
Figure FDA00029593957200000314
表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道经过快速傅里叶变换的特征图；
而后，对于候选区域样本P经过快速傅立叶变化的特征
Figure FDA00029593957200000315
将其与经过快速傅立叶变换的相关滤波器参数
Figure FDA00029593957200000316
进行点乘，而后进行反傅里叶变换，得到该候选样本对应的响应图RP，即
Figure FDA00029593957200000317
其中RP为候选区域样本P的响应图，F-1为反傅里叶变换；
最后，对于候选区域样本P的响应图RP，找出响应值最大的点(xt+1,yt+1)，该点对应的位置即为该帧跟踪目标位置。
5.根据权利要求1所述的基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，所述步骤九中目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx和y方向上的缩放因子σy的计算，以及目标区域大小(lt+1,ht+1)的计算，具体为：
目标区域相对于上一帧目标区域(lt,ht)的x方向的缩放因子σx的计算，如下：
Figure FDA0002959395720000041
其中，
Figure FDA0002959395720000042
和
Figure FDA0002959395720000043
表示候选区域样本P的稀疏光流特征点
Figure FDA0002959395720000044
中两个特征点
Figure FDA0002959395720000045
和
Figure FDA0002959395720000046
的x坐标，
Figure FDA0002959395720000047
和
Figure FDA0002959395720000048
表示训练样本T的稀疏光流特征点
Figure FDA0002959395720000049
中对应于候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000410
中
Figure FDA00029593957200000411
和
Figure FDA00029593957200000412
这两个特征点的两个特征点
Figure FDA00029593957200000413
和
Figure FDA00029593957200000414
的x坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000415
中两个特征点
Figure FDA00029593957200000416
和
Figure FDA00029593957200000417
对应于候选区域样本P对应的响应图RP的响应值；
目标区域相对于上一帧目标区域(lt,ht)的y方向的缩放因子σy的计算，如下：
Figure FDA00029593957200000418
其中，
Figure FDA00029593957200000419
和
Figure FDA00029593957200000420
表示候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000421
中两个特征点
Figure FDA00029593957200000422
和
Figure FDA00029593957200000423
的y坐标，
Figure FDA00029593957200000424
和
Figure FDA00029593957200000425
表示训练样本T的稀疏光流特征点
Figure FDA00029593957200000426
中对应于候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000427
中
Figure FDA00029593957200000428
和
Figure FDA00029593957200000429
这两个特征点的两个特征点
Figure FDA00029593957200000430
和
Figure FDA00029593957200000431
的y坐标，ωi和ωj表示候选区域样本P的稀疏光流特征点
Figure FDA00029593957200000432
中两个特征点
Figure FDA00029593957200000433
和
Figure FDA00029593957200000434
对应于候选区域样本P对应的响应图RP的响应值；
目标区域大小(lt+1,ht+1)的计算，如下：
(lt+1，ht+1 )＝(lt×σx,ht×σy)。
CN201810768173.6A 2018-07-13 2018-07-13 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 Active CN109191493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810768173.6A CN109191493B (zh) 2018-07-13 2018-07-13 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810768173.6A CN109191493B (zh) 2018-07-13 2018-07-13 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109191493A CN109191493A (zh) 2019-01-11
CN109191493B true CN109191493B (zh) 2021-06-04

Family

ID=64936174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810768173.6A Active CN109191493B (zh) 2018-07-13 2018-07-13 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109191493B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111369A (zh) * 2019-05-08 2019-08-09 上海大学 一种基于边缘检测的尺度自适应海面目标跟踪方法
CN111179306A (zh) * 2019-11-19 2020-05-19 浙江省北大信息技术高等研究院 目标跟踪方法及装置
CN114972991B (zh) * 2022-05-27 2023-04-07 长江水利委员会长江科学院 一种崩岗的自动识别方法及系统
CN115100565B (zh) * 2022-06-16 2023-06-09 北京邮电大学 一种基于空间相关性与光流配准的多目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统
CN107833193A (zh) * 2017-11-20 2018-03-23 长沙全度影像科技有限公司 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN107369166A (zh) * 2017-07-13 2017-11-21 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN107833193A (zh) * 2017-11-20 2018-03-23 长沙全度影像科技有限公司 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning Background-Aware Correlation Filters for Visual Tracking;Hamed Kiani Galoogahi et al.;《arXiv》;20170321;第1-10页 *
RefineNet Multi-Path Refinement Networks for High-Resolution Semantic Segmentation;Guosheng Lin et al.;《arXiv》;20161125;第1-11页 *
RefineNet: Iterative Refinement for Accurate Object Localization;Rakesh N. Rajaram et al.;《2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)》;20161104;第1528-1533页 *
Single-Shot Refinement Neural Network for Object Detection;Shifeng Zhang et al.;《arXiv》;20180103;第1-14页 *

Also Published As

Publication number Publication date
CN109191493A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109191493B (zh) 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法
CN108734151B (zh) 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
Zhao et al. An insulator in transmission lines recognition and fault detection model based on improved faster RCNN
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN110991272B (zh) 一种基于视频跟踪的多目标车辆轨迹识别方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN108573225B (zh) 一种局部放电信号模式识别方法及系统
CN108898620B (zh) 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN111028292B (zh) 一种亚像素级图像匹配导航定位方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
Julca-Aguilar et al. Symbol detection in online handwritten graphics using faster R-CNN
CN108898619B (zh) 一种基于pvanet神经网络的目标跟踪方法
CN107452022A (zh) 一种视频目标跟踪方法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
CN111898627B (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN108830878B (zh) 一种基于fpn神经网络的目标跟踪方法
CN109410249B (zh) 一种结合深度特征与手绘特征自适应的目标追踪方法
CN110598613A (zh) 一种高速公路团雾监测方法
CN110458235A (zh) 一种视频中运动姿势相似度比对方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant