CN110097009A - 基于双相关滤波和隶属度加权决策的深度目标跟踪方法 - Google Patents
基于双相关滤波和隶属度加权决策的深度目标跟踪方法 Download PDFInfo
- Publication number
- CN110097009A CN110097009A CN201910368524.9A CN201910368524A CN110097009A CN 110097009 A CN110097009 A CN 110097009A CN 201910368524 A CN201910368524 A CN 201910368524A CN 110097009 A CN110097009 A CN 110097009A
- Authority
- CN
- China
- Prior art keywords
- target
- correlation filter
- tracked
- convolutional layer
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法,用于解决现有技术中存在的目标定位准确率较低的技术问题,并提高跟踪速度,实现步骤为:(1)构建多个基于双相关的相关滤波器模型;(2)设定包含待跟踪目标的图像序列参数;(3)对每个相关滤波器的隶属度进行初始化;(4)获取n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值;(5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值;(6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1);(7)获取深度目标跟踪结果;(8)计算每个相关滤波器的隶属度并执行步骤(4)。
Description
技术领域
本发明属于计算机技术领域,涉及一种深度目标跟踪方法,具体涉及一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法,可用于对视频监控、机器人导航和定位、无人驾驶机获取的视频图像序列中的运动目标进行跟踪。
背景技术
目标跟踪的主要任务是,从连续的视频图像序列中检测出运动目标,即在每一帧图像中确定出运动目标的位置。对目标跟踪结果的评价主要基于两点,一是对跟踪目标定位的准确性,二是目标跟踪的速度。对跟踪目标定位的准确性主要受描述目标的特征的影响,此外,由于计算机程序运行时间通常与其计算量成正比,目标跟踪方法的速度主要取决于其计算效率。
根据描述目标时用到的特征不同,目标跟踪可分为基于手动设计的特征的传统目标跟踪方法和基于深层卷积特征的深度目标跟踪方法。由于深层卷积特征比手动设计的特征能更好地对目标进行描述,因此深度目标跟踪方法相比于传统目标跟踪方法有更高的跟踪准确度。由于不同层的卷积特征从不同角度描述了目标的特性,深层卷积特征包含目标语义信息,浅层卷积特征包含更多空间细节信息,在不同的场景中不同层的卷积特征取得的跟踪效果不同,如何更好的将基于不同层卷积特征的跟踪结果进行融合成为提升对跟踪目标定位准确度的关键。
很多学者将深层卷积网络,如VGG网络,中的卷积特征输入相关滤波器模型,提升了对跟踪目标定位的准确性。相关滤波器模型是目标跟踪领域常用的一种模型,设相关滤波器W的输入为x,x∈RL×H×D,模板参数为w,w∈RL×H×D,高斯形类标矩阵为y,y∈RL×H,R表示实数域,,L表示x、w和y的长,H表示x、w和y的高,D表示x和w第三维通道的数量,计算x、w和y在频域的值的计算公式分别为:
X=F(x)
W=F(w)
Y=F(y)
其中F(·)表示傅里叶变换,基于此可通过X,W,Y构建相关滤波器模型W,其中W可建模为以下优化问题为:
其中,表示最小化算法,X·W为X和W的相关,最终得到W的计算公式为:
申请公开号为CN107016689A,名称为“一种尺度自适应的相关滤波对冲目标跟踪方法”的专利申请,公开了一种尺度自适应的相关滤波对冲目标跟踪方法。该方法实现的具体步骤是,(1)确定视频帧中的待跟踪目标的初始位置和初始尺度,以初始位置为中心,利用深度卷积神经网络分别提取不同层的卷积特征;(2)对每一层提取的卷积特征,利用相关滤波跟踪方法进行跟踪得到跟踪结果;(3)利用自适应对冲算法将所有的跟踪结果组合得到一个最终跟踪结果,作为待跟踪目标的最终位置,以定位视频帧中待跟踪目标;(4)获得待跟踪目标的最终位置后,利用尺度金字塔策略估计待跟踪目标的最终尺度;(5)得到的待跟踪目标的最终位置和最终尺度后,以最终位置为中心,根据最终尺度提取所述待跟踪目标图像块,来重新训练每个核相关滤波跟踪方法,以更新系数和模板。该发明将尺度金字塔模型与深度对冲跟踪方法相结合,提高了跟踪的准确度。但其存在的不足之处是,第一,该发明利用自适应对冲算法将所有的跟踪结果组合得到一个最终跟踪结果,未充分考虑到各个基于不同层卷积特征的相关滤波器对目标进行定位的能力强弱不同,导致目标定位的准确性仍然较低,第二,该发明采用的相关滤波器模型仅能实现输入与模板参数的相关,计算量较大,影响了目标跟踪速度的提升。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法,用于解决现有技术中存在的目标定位准确度较低的技术问题,并提高跟踪速度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建多个基于双相关的相关滤波器模型:
(1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n,2≤n≤16,第k个相关滤波器Wk的输入为xk,xk∈RL×H×D,模板参数为wk,wk∈RL×H×D,高斯形类标矩阵为yk,yk∈RL×H,R表示实数域,k=1,2...n,L表示xk、wk和yk的长,H表示xk、wk和yk的高,D表示xk和wk第三维通道的数量,计算xk、wk和yk在频域的值的计算公式分别为:
Xk=F(xk)
Wk=F(wk)
Yk=F(yk)
其中,F(·)表示傅里叶变换;
(1b)通过Xk,Wk,Yk构建基于双相关的相关滤波器模型Wk,得到n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn,其中Wk可建模为下面的优化问题:
其中,表示最小化算法,λ为正则化系数,λ=0.01,表示傅里叶域内的平方计算,⊙表示矩阵之间对应元素相乘,∑(·)表示求和操作,Xk·Wk为Xk和Wk的相关,Yk·(Xk·Wk)为Yk和Xk·Wk的相关;
(2)设定包含待跟踪目标的图像序列参数:
设定包含待跟踪目标的图像序列中的图像帧数为tmax,第t帧图像中待跟踪目标中心的坐标位置为(xt,yt),并初始化t=1;
(3)对每个相关滤波器的隶属度进行初始化:
对第k个相关滤波器Wk的隶属度进行初始化的计算公式为:
(4)获取n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值:
(4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(xt,yt)对正,对该第t帧图像中待跟踪目标的所在区域进行框定,得到第t帧图像中的待跟踪目标区域It;
(4b)将It输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征j1,j2,...jk...,jn;
(4c)对每层卷积特征jk进行傅里叶变换,得到j1,j2,...jk...,jn在频域的值J1,J2,...Jk...,Jn:
Jk=F(jk);
(4d)计算n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值,Wk的计算公式为:
其中Yk为yk在频域的值,yk中坐标为(u,v)的元素的值为
(5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值:
(5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(xt,yt)的像素点对正,对第t+1帧图像中待搜索区域进行框定,得到第t+1帧图像中的待搜索区域Ot+1;
(5b)将Ot+1输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征T1,T2,...Tk...,Tn;
(5c)计算n个相关滤波器W1,W2,...Wk...,Wn的时域响应S1(x,y),...Sk(x,y)...,Sn(x,y),其中,第k个相关滤波器Wk的时域响应Sk(x,y)的计算公式为:
Sk(x,y)=F-1(τk·Wk)
其中,τk为Tk在频域的值,τk=F(Tk),F-1(·)代表F(·)的反变换;
(5d)计算每个时域响应Sk(x,y)中元素的最大值的位置并将作为第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值,得到n个相关滤波器W1,W2,...Wk...,Wn在t+1帧图像中对待跟踪目标的中心位置的估计值其中,第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值的计算公式为:
其中,为最大化函数;
(6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
(6a)计算每个相关滤波器的权值,得到n个相关滤波器W1,W2,...Wk...,Wn的权值w1,...wk...,wn,其中第k个相关滤波器Wk的权值wk的计算公式为:
其中,(·)b代表(·)的b次方,b>1;
(6b)计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
(7)获取深度目标跟踪结果:
判断t=tmax是否成立,若是,输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置,否则,t=t+1,并执行步骤(8);
(8)计算每个相关滤波器的隶属度:
计算每个相关滤波器的隶属度,得到n个相关滤波器W1,W2,...Wk...,Wn的隶属度并执行步骤(4),其中第k个相关滤波器Wk的隶属度的计算公式为:
其中,dk为第k个相关滤波器Wk在t-1帧图像中对待跟踪目标的中心位置的估计值与(xt-1,yt-1)的欧氏距离为||·||代表欧氏距离。
本发明与现有技术相比,具有以下优点:
(1)本发明利用基于隶属度的加权决策算法,根据隶属度计算公式,定位更准确的滤波器将得到更大的隶属度和权值,更好地将基于不同层卷积特征的跟踪结果进行融合,因此提升了对待跟踪目标定位的准确度。
(2)为了使得滤波器的计算公式更为简洁,计算效率更高,从而提升跟踪速度,本发明在滤波器构建中首先得到滤波器输入与滤波器模板的相关,然后得到第一次相关结果与高斯形类标矩阵的相关,由此得到的相关滤波器的计算公式更为简洁,计算效率更高,跟踪速度更快;
附图说明
图1为本发明的实现流程图;
图2中的图2(a)、图2(b)、图2(c)、图2(d)分别为本发明在DragonBaby视频图像序列中第11帧、第50帧、第94帧、第108帧图像的跟踪准确度结果;
图3中的图3(a)、图3(b)、图3(c)、图3(d)分别为现有技术在DragonBaby视频图像序列中第11帧、第50帧、第94帧、第108帧图像上的跟踪准确度结果;
图4为本发明和现有技术的精度-定位误差阈值仿真结果图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步的详细描述。
参照图1、一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法,包括如下步骤:
步骤1)构建多个基于双相关的相关滤波器模型:
步骤1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n,2≤n≤16,第k个相关滤波器Wk的输入为xk,xk∈RL×H×D,模板参数为wk,wk∈RL×H×D,高斯形类标矩阵为yk,yk∈RL×H,R表示实数域,k=1,2...n,L表示xk、wk和yk的长,H表示xk、wk和yk的高,D表示xk和wk第三维通道的数量,计算xk、wk和yk在频域的值的计算公式分别为:
Xk=F(xk)
Wk=F(wk)
Yk=F(yk)
其中,F(·)表示傅里叶变换;
在本发明实施例中,相关滤波器模型的数量为n=6,L和H为视频序列中待跟踪目标区域实际的长和高;
步骤1b)通过Xk,Wk,Yk构建基于双相关的相关滤波器模型Wk,得到n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn,其中Wk可建模为以下优化问题:
其中,表示最小化算法,λ为正则化系数,λ=0.01,表示傅里叶域内的平方计算,⊙表示矩阵之间对应元素相乘,∑(·)表示求和操作,Xk·Wk为Xk和Wk的相关,Yk·(Xk·Wk)为Yk和Xk·Wk的相关;
步骤2)设定包含待跟踪目标的图像序列参数:
设定包含待跟踪目标的图像序列中的图像帧数为tmax,第t帧图像中待跟踪目标中心的坐标位置为(xt,yt),并初始化t=1;
步骤3)对每个相关滤波器的隶属度进行初始化:
对第k个相关滤波器Wk的隶属度进行初始化的计算公式为:
在本发明实施例中,相关滤波器模型的数量为n=6,因此每个相关滤波器的初始隶属度均为1/6;
步骤4)获取n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值:
步骤4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(xt,yt)对正,对该第t帧图像中待跟踪目标的所在区域进行框定,得到第t帧图像中的待跟踪目标区域It;
步骤4b)将It输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征j1,j2,...jk...,jn;
预训练后的VGG网络,其网络结构和参数设置分别为:
网络结构为:输入层-第1卷积层-第2卷积层-第1池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-输出层;
网络参数设置为:所有池化层中池化操作的步长均为2,所有卷积层中的卷积核的大小均为3×3,第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512,第1全连接层到第3全连接层中的节点个数依次为4096、4096、1000;
在本发明实施例中,选择第10卷积层、第11卷积层、第12卷积层、第14卷积层、第15卷积层和第16卷积层共6层卷积层的卷积特征;
步骤4c)对每层卷积特征jk进行傅里叶变换,得到j1,j2,...jk...,jn在频域的值J1,J2,...Jk...,Jn:
Jk=F(jk);
步骤4d)计算n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值,Wk的计算公式为:
其中Yk为yk在频域的值,yk中坐标为(u,v)的元素的值为
在本发明实施例中,为了使得滤波器的计算公式更为简洁,计算效率更高,从而提升跟踪速度,因此在本发明在滤波器构建中首先得到滤波器输入与滤波器模板的相关,然后得到第一次相关结果与高斯形类标矩阵的相关,由此得到用于求解相关滤波器的计算公式的优化问题,基于高等数学中的求导法即可求得该优化问题的闭合解,从而得到了更为简洁的滤波器的计算公式,为计算效率的提高提供了数学上的保证,从而保证了更快的跟踪速度;
步骤5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值:
步骤5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(xt,yt)的像素点对正,对第t+1帧图像中待搜索区域进行框定,得到第t+1帧图像中的待搜索区域Ot+1;
在本发明实施例中,M=2L,N=2H;
步骤5b)将Ot+1输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征T1,T2,...Tk...,Tn;
预训练后的VGG网络,其网络结构和参数设置分别为:
网络结构为:输入层-第1卷积层-第2卷积层-第1池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-输出层;
网络参数设置为:所有池化层中池化操作的步长均为2,所有卷积层中的卷积核的大小均为,第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512,第1全连接层到第3全连接层中的节点个数依次为4096、4096、1000;
在本发明实施例中,选择第10卷积层、第11卷积层、第12卷积层、第14卷积层、第15卷积层和第16卷积层共6层卷积层的卷积特征;
步骤5c)计算n个相关滤波器W1,W2,...Wk...,Wn的时域响应S1(x,y),...Sk(x,y)...,Sn(x,y),其中,第k个相关滤波器Wk的时域响应Sk(x,y)的计算公式为:
Sk(x,y)=F-1(τk·Wk)
其中,τk为Tk在频域的值,τk=F(Tk),F-1(·)代表F(·)的反变换;
步骤5d)计算每个时域响应Sk(x,y)中元素的最大值的位置并将作为第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值,得到n个相关滤波器W1,W2,...Wk...,Wn在t+1帧图像中对待跟踪目标的中心位置的估计值其中,第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值的计算公式为:
其中,为最大化函数;
步骤6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
步骤6a)计算每个相关滤波器的权值,得到n个相关滤波器W1,W2,...Wk...,Wn的权值w1,...wk...,wn,其中第k个相关滤波器Wk的权值wk的计算公式为:
其中,(·)b代表(·)的b次方,b>1;
在本发明实施例中,b=2,按照上式计算wk,则每个滤波器的权值与其隶属度的值成正比,权值越大则在步骤6b)中计算待跟踪目标的中心位置时起的作用越大;
步骤6b)计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
步骤7)获取深度目标跟踪结果:
判断t=tmax是否成立,若是,输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置,否则,t=t+1,并执行步骤(8);
步骤8)计算每个相关滤波器的隶属度:
计算每个相关滤波器的隶属度,得到n个相关滤波器W1,W2,...Wk...,Wn的隶属度并执行步骤(4),其中第k个相关滤波器Wk的隶属度的计算公式为:
其中,dk为第k个相关滤波器Wk在t-1帧图像中对待跟踪目标的中心位置的估计值与(xt-1,yt-1)的欧氏距离为||·||代表欧氏距离,当dk越小时,说明滤波器Wk的对目标的定位越准确;
在本发明实施例中,将每个相关滤波器的隶属度与该滤波器对目标中心位置的估计值的关系可建模为下面的优化问题:
其中,zk=(xk,yk)为第k个相关滤波器Wk对目标中心位置的估计值,z=(x,y)代表目标中心位置的最终结果,μk为第k个相关滤波器的隶属度,且∑kμk=1;
利用拉格朗日乘子法解这个约束优化问题,可求得问题的闭合解:
根据该优化问题的闭合解得到本发明的隶属度计算公式,从而保证了对目标定位越准确的相关滤波器,其隶属度的值就越大,在加权决策时得到权值也就越大,从而进一步提升了本发明对目标精确定位的能力。
以下结合仿真试验,对本发明的技术效果作进一步说明:
1.仿真实验条件:
本发明仿真实验的硬件平台是:处理器为CPU intel Core i5-6500,主频为3.2GHz,内存为4GB,显卡为NVIDIA Quadro M 2000M;软件平台为:Windows 7旗舰版,64位操作系统,MATLAB R2018a。
2、仿真内容与结果:
对本发明和现有技术在DargonBaby视频图像序列中的目标进行目标跟踪准确度和速度进行对比仿真,其中,跟踪精度的仿真结果如图2、图3、图4所示,跟踪速度的仿真结果如得到如表1所示。
参照图2,其中,图2(a)、图2(b)、图2(c)、图2(d)分别为本发明在视频图像序列第11帧、第50帧、第94帧、第108帧图像的跟踪准确度结果;
参照图3,其中,图3(a)、图3(b)、图3(c)、图3(d)分别为尺度自适应的相关滤波对冲目标跟踪方法在视频图像序列的第11帧、第50帧、第94帧、第108帧上的跟踪准确度结果;
从图3可以看出,现有技术对目标的定位不够准确,尤其是图3(b)中图像序列的第50帧中目标发生重大外观变化时,从图2(a)与图3(a)、图2(b)与图3(b)、图2(c)与图3(c)、图2(d)与图3(d)的对比可以看出,本发明对目标定位的准确度比现有技术更高。
参照图4,为本发明和现有技术的精度-定位误差阈值曲线图,其中横轴代表定位误差阈值,横轴代表精度,精度的计算方法是目标跟踪方法预测的目标的位置与真实位置的偏差小于某个阈值的帧数占总帧数的百分比。阈值为20个像素点时,现有技术的精度为72.2%,本发明的精度为82.9%,从图4可以看出来本发明在每个定位误差阈值上都要优于对比方法。
表1
FPS | |
现有技术 | 7 |
本发明 | 10 |
表1中,FPS表示跟踪算法的每秒帧率。可以看出,现有技术的帧率为7,本发明的帧率为10,由此可以看出本发明的跟踪速度快于现有技术。
Claims (2)
1.一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法,其特征在于,包括如下步骤:
(1)构建多个基于双相关的相关滤波器模型:
(1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n,2≤n≤16,第k个相关滤波器Wk的输入为xk,xk∈RL×H×D,模板参数为wk,wk∈RL×H×D,高斯形类标矩阵为yk,yk∈RL ×H,R表示实数域,k=1,2...n,L表示xk、wk和yk的长,H表示xk、wk和yk的高,D表示xk和wk第三维通道的数量,计算xk、wk和yk在频域的值的计算公式分别为:
Xk=F(xk)
Wk=F(wk)
Yk=F(yk)
其中,F(·)表示傅里叶变换;
(1b)通过Xk,Wk,Yk构建基于双相关的相关滤波器模型Wk,得到n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn,其中Wk可建模为下面的优化问题:
其中,表示最小化算法,λ为正则化系数,λ=0.01,表示傅里叶域内的平方计算,⊙表示矩阵之间对应元素相乘,∑(·)表示求和操作,Xk·Wk为Xk和Wk的相关,Yk·(Xk·Wk)为Yk和Xk·Wk的相关;
(2)设定包含待跟踪目标的图像序列参数:
设定包含待跟踪目标的图像序列中的图像帧数为tmax,第t帧图像中待跟踪目标中心的坐标位置为(xt,yt),并初始化t=1;
(3)对每个相关滤波器的隶属度进行初始化:
对第k个相关滤波器Wk的隶属度进行初始化的计算公式为:
(4)获取n个实现双相关功能的相关滤波器模型W1,W2,...Wk...,Wn的值:
(4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(xt,yt)对正,对该第t帧图像中待跟踪目标的所在区域进行框定,得到第t帧图像中的待跟踪目标区域It;
(4b)将It输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征j1,j2,...jk...,jn;
(4c)对每层卷积特征jk进行傅里叶变换,得到j1,j2,...jk...,jn在频域的值J1,J2,...Jk...,Jn:
Jk=F(jk);
(4d)计算n个实现双相关功能的相关滤波器模型W1,W2,...Wk...,Wn的值,Wk的计算公式为:
其中Yk为yk在频域的值,yk中坐标为(u,v)的元素的值为
(5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值:
(5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(xt,yt)的像素点对正,对第t+1帧图像中待搜索区域进行框定,得到第t+1帧图像中的待搜索区域Ot+1;
(5b)将Ot+1输入至预训练后的VGG网络中,得到VGG网络输出的16层卷积特征,并选取其中的n层卷积特征T1,T2,...Tk...,Tn;
(5c)计算n个相关滤波器W1,W2,...Wk...,Wn的时域响应S1(x,y),...Sk(x,y)...,Sn(x,y),其中,第k个相关滤波器Wk的时域响应Sk(x,y)的计算公式为:
Sk(x,y)=F-1(τk·Wk)
其中,τk为Tk在频域的值,τk=F(Tk),F-1(·)代表F(·)的反变换;
(5d)计算每个时域响应Sk(x,y)中元素的最大值的位置并将作为第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值,得到n个相关滤波器W1,W2,...Wk...,Wn在t+1帧图像中对待跟踪目标的中心位置的估计值其中,第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值的计算公式为:
其中,为最大化函数;
(6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
(6a)计算每个相关滤波器的权值,得到n个相关滤波器W1,W2,...Wk...,Wn的权值w1,...wk...,wn,其中第k个相关滤波器Wk的权值wk的计算公式为:
其中,(·)b代表(·)的b次方,b>1;
(6b)计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1):
(7)获取深度目标跟踪结果:
判断t=tmax是否成立,若是,输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置,否则,t=t+1,并执行步骤(8);
(8)计算每个相关滤波器的隶属度:
计算每个相关滤波器的隶属度,得到n个相关滤波器W1,W2,...Wk...,Wn的隶属度并执行步骤(4),其中第k个相关滤波器Wk的隶属度的计算公式为:
其中,dk为第k个相关滤波器Wk在t-1帧图像中对待跟踪目标的中心位置的估计值与(xt-1,yt-1)的欧氏距离,||·||代表欧氏距离。
2.根据权利要求1所述的基于双相关滤波和隶属度加权决策的深度目标跟踪方法,其特征在于:步骤(4)中所述的预训练后的VGG网络,其网络结构和参数设置分别为:
网络结构为:输入层-第1卷积层-第2卷积层-第1池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-输出层;
网络参数设置为:所有池化层中池化操作的步长均为2,所有卷积层中的卷积核的大小均为3×3,第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512,第1全连接层到第3全连接层中的节点个数依次为4096、4096、1000。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368524.9A CN110097009B (zh) | 2019-05-05 | 2019-05-05 | 基于双相关滤波和隶属度加权决策的深度目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368524.9A CN110097009B (zh) | 2019-05-05 | 2019-05-05 | 基于双相关滤波和隶属度加权决策的深度目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097009A true CN110097009A (zh) | 2019-08-06 |
CN110097009B CN110097009B (zh) | 2021-07-06 |
Family
ID=67446813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910368524.9A Active CN110097009B (zh) | 2019-05-05 | 2019-05-05 | 基于双相关滤波和隶属度加权决策的深度目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097009B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
US20170147620A1 (en) * | 2014-12-22 | 2017-05-25 | Blackberry Limited | Methods and devices for efficient feature matching |
CN106846361A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于直觉模糊随机森林的目标跟踪方法及装置 |
CN109002835A (zh) * | 2018-06-19 | 2018-12-14 | 西安电子科技大学 | 一种基于最大熵模糊聚类的粒子滤波数据关联方法 |
-
2019
- 2019-05-05 CN CN201910368524.9A patent/CN110097009B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170147620A1 (en) * | 2014-12-22 | 2017-05-25 | Blackberry Limited | Methods and devices for efficient feature matching |
CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
CN106846361A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于直觉模糊随机森林的目标跟踪方法及装置 |
CN109002835A (zh) * | 2018-06-19 | 2018-12-14 | 西安电子科技大学 | 一种基于最大熵模糊聚类的粒子滤波数据关联方法 |
Non-Patent Citations (4)
Title |
---|
TIWARI A K: ""Fast Robust Tracking Via Double Correlation Filter Formulation"", 《ICASSP 2018》 * |
ZHANG J: ""Dual Model Learning Combined with Multiple Feature Selection for Accurate Visual Tracking"", 《IEEE ACCESS》 * |
侯建华: ""基于深度特征和相关滤波器的视觉目标跟踪"", 《中南民族大学学报(自然科学版)》 * |
陈晨: ""TSK模糊逻辑系统相关滤波器跟踪算法"", 《计算机科学与探索》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110097009B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107480730A (zh) | 电力设备识别模型构建方法和系统、电力设备的识别方法 | |
CN106446930A (zh) | 基于深层卷积神经网络的机器人工作场景识别方法 | |
CN107330357A (zh) | 基于深度神经网络的视觉slam闭环检测方法 | |
CN110210551A (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
CN109191491A (zh) | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 | |
CN109934115A (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
CN110263833A (zh) | 基于编码-解码结构的图像语义分割方法 | |
CN107292912A (zh) | 一种基于多尺度对应结构化学习的光流估计方法 | |
CN108510194A (zh) | 风控模型训练方法、风险识别方法、装置、设备及介质 | |
CN107529650A (zh) | 网络模型的构建和闭环检测方法、相应装置及计算机设备 | |
CN106897714A (zh) | 一种基于卷积神经网络的视频动作检测方法 | |
CN112233147B (zh) | 一种基于双路孪生网络的视频运动目标跟踪方法及装置 | |
CN107644430A (zh) | 基于自适应特征融合的目标跟踪 | |
CN107392097A (zh) | 一种单目彩色视频的三维人体关节点定位方法 | |
CN110223323A (zh) | 基于深度特征自适应相关滤波的目标跟踪方法 | |
CN110210621A (zh) | 一种基于残差网络改进的目标检测方法 | |
CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
CN107369166A (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
CN110110599B (zh) | 一种基于多尺度特征融合的遥感图像目标检测方法 | |
CN103605952B (zh) | 基于拉普拉斯正则组稀疏的人体行为识别方法 | |
CN106599805A (zh) | 一种基于有监督数据驱动的单目视频深度估计方法 | |
CN112348849A (zh) | 一种孪生网络视频目标跟踪方法及装置 | |
CN103106667A (zh) | 一种面向遮挡和场景变换的运动对象追踪方法 | |
CN107424161A (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |