CN111951298B - 一种融合时间序列信息的目标跟踪方法 - Google Patents
一种融合时间序列信息的目标跟踪方法 Download PDFInfo
- Publication number
- CN111951298B CN111951298B CN202010594455.6A CN202010594455A CN111951298B CN 111951298 B CN111951298 B CN 111951298B CN 202010594455 A CN202010594455 A CN 202010594455A CN 111951298 B CN111951298 B CN 111951298B
- Authority
- CN
- China
- Prior art keywords
- representing
- target
- parameter
- frame
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004044 response Effects 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 12
- 230000006872 improvement Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005251 gamma ray Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合时间序列信息的目标跟踪方法,包括以下步骤:步骤1,输入图像序列,根据第t‑1帧图像中的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征;步骤2,将目标特征与余弦窗口进行点乘,然后进行傅里叶变换得到目标特征;步骤3,用第t‑1帧的响应图计算响应变量Π、参数及参数步骤4,将第1帧到第t‑1帧相关滤波器进行时序建模;步骤5,用最小二乘法求出相关滤波器时序模型的自回归参数步骤6,求解目标函数计算出相关滤波ft、参数θt及λt;步骤7,在第t帧中的候选区域进行特征提取和预处理,并与相关滤波器进行点乘运算作得到响应图,通响应图确定当前帧的目标位置和尺度,该方法可以有效提高目标跟踪的精度和准确率。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种融合时间序列信息的目标跟踪方法。
背景技术
计算机视觉是人工智能的主要分支,其主要任务是研究如何让机器可以像人一样理解及感知我们所处的物理世界,进而让机器人可以像人一样对物理世界的变化作出反应。随着诸如高性能图形处理器(GPU)及张量处理器的等硬件设备和并行计算等软件技术的出现,计算机视觉也得到了快速的发展。计算机视觉算法在很多任务上(如目标跟踪、检测)都达到了与人类相当的能力。视觉跟踪技术是计算机视觉领域中一项基础而关键的技术。在智能安防、交通监控、无人驾驶、人机交互及现代化军事等诸多实际问题中都有着广泛而重要的应用。
视觉目标跟踪技术的方法主要有三大类:第一类是基于生成模型的视觉跟踪方法。这种方法的主要思想是提取正样本特征构建表观模型,在图中搜索与模型最匹配的区域作为跟踪的结果。但是这种方法主要利用了目标的信息,没有使用到背景信息,因此在处理图像中出现与目标相似的物体时,效果很差。第二类是基于判别模型的视觉跟踪算法。与生成式模型不同的是,判别式模型同时考虑了目标和背景信息,它利用提取的目标和背景信息来训练分类器,在检测时,将分类器与候选样本进行操作得到响应图,将响应图中的最大值作为目标的位置,当确定新的目标位置时,采集新的样本,对分类器进行跟新。第三类是基于深度学习的目标跟踪方法主要是利用深度特征强大的表征能力来进行跟踪。按照利用深度特征的方式可分为基于预训练深度特征的跟踪和基于离线训练特征的跟踪。基于深度特征的视觉跟踪算法在精度上有很大的提升,但算法的实时性仍然有待提高。
现有的视觉跟踪技术虽然在跟踪的准确性和高效性都有很大的提高,但仍然存在许多具有挑战性的问题没有解决。这些问题包括如何利用视频序列在时间域的连续性提升表观模型的性能,如何更有效的利用正则项进行空间约束等。因此,针对以上这些问题,亟需提供一种准确性高,速度快的视觉目标跟踪方法。
名词解释:
HOG特征:是用于目标检测的特征描述器,它是用来计算局部图像梯度方向的统计值。
CN颜色特征:是将RGB颜色空间映射到11维颜色属性空间上得到的视觉特征。
ADMM算法:交替方向乘子法(ADMM)是一种解决可分解凸优化问题的简单方法,尤其在解决大规模问题上,利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题,然后并行求解每一个子问题,最后协调子问题的解就得到原问题的全局解。
发明内容
本发明的目的在于针对现有视觉跟踪技术的缺陷,提出了一种基于自回归建模和自适应空间约束的视觉跟踪方法,该方法在跟踪的精度和成功率上都有明显的提高。
本发明的目的通过以下技术方案实现:
提供了一种融合时间序列信息的目标跟踪方法,包括以下步骤:
步骤1,输入图像序列,根据第t-1帧图像中的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征,将特征进行融合得到目标特征x;
步骤2,将目标特征x与余弦窗进行点乘然后进行傅里叶变换;
步骤3,用第t-1帧图像的的响应图计算局部响应变量Π、参数 及参数/>
步骤4,将第1帧到第t-1帧相关滤波器进行时序建模得到相关滤波器时序模型;
步骤5,用最小二乘法求出相关滤波器时序模型的自回归参数;
步骤6,求解目标函数计算出相关滤波ft、参数θt及λt;
步骤7,在第t帧中的候选区域进行特征提取和预处理得到目标特征x,然后与相关滤波器ft在傅里叶域进行点乘运算操作,得到响应图,通过响应图确定当前帧的目标位置和尺度。
进一步的改进,所述步骤1的具体步骤为:
输入图像序列,根据t-1帧图像中的目标的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征;
其中:提取HOG特征的具体方法是:首先将图像分成大小相等的图像块即细胞单元;然后计算细胞单元中各个像素的梯度,进行归一化,得到梯度直方图,将这些梯度直方图联合构成HOG特征;提取CN颜色特征的具体步骤是:将RGB颜色空间映射到11维颜色属性空间上即得到CN颜色特征,然后将HOG特征和颜色特征CN进行融合得到目标特征x。
进一步的改进,所述步骤2的具体步骤为:
将目标特征与余弦窗进行点乘然后进行傅里叶变换
其中余弦窗的公式为:
其中,xij为原图像片中的像素值;i表示图片中的横坐标,j表示图片中的纵坐标,n表示图片中有多少个像素,π为圆周率。
进一步的改进,所述步骤3的具体步骤为:
采用以下公式计算局部变化向量Π、参数及/>
局部变化向量Π=[|Π1|,|Π2|,…,|ΠT],向量Π的第i个元素定义为:
式中[ψΔ]代表移位运算,Ri t-2表示第t-2帧响应图Rt-2中的第i个元素;t-1表示图像序列为第t-1帧的时刻;Rt-1表示第t-1帧的响应图;T表示向量Π的个数;
参数
式中用来裁剪响应图的中心部分,u表示为空间正则化矩阵,δ=0.2;T表示矩阵的行和列;/>表示T行T列的矩阵,t表示矩阵的行和列,Pt表示t行t列的矩阵;t≤T;
参数
式中和υ代表的是超参数,设置为/>域值θ为0.3;当全局响应的变化高于域值θ时,代表响应图中出现异常,如果低于域值θ,相关滤波器的时间约束变松弛;||Π||2表示向量Π的2范数;
参数
式中Rt-1代表第t-1帧的响应图,max表示取响应图的最大值。
进一步的改进,所述步骤4的具体步骤为:
在第1帧到第t-1帧利用相关滤波器建立时间序列{f1,f2.f3,…ft-1},序列数据ft-1大小是M×N×C;ft-1表示第t-1帧的滤波器,M表示滤波器的长度,N表示滤波器的宽度,C表示滤波器的通道数;
将相关滤波器进行自回归建模得到:
ft=φft-1+εt
式中εt是零均值独立同分布白噪声序列,方差为σ2,且εt与f1,f2,…,ft-1独立;φ表示自回归参数。
进一步的改进,所述步骤5的具体步骤为:
用最小二乘法,求解ft=φft-1+εt中的自回归参数
模型ft=φft-1+εt写成
S(φ)=(ft-ft-1φ)T(ft-ft-1φ)=ft Tft-2ft Tft-1φ+φTft-1 Tft-1φ
对上式进行求导,可得
因此,参数φ的最小二乘估计为:
φ=(ft-1 Tft-1)-1ft-1 Tft
其中,S(φ)表示目标函数,T表示矩阵的转置。
进一步的改进,所述步骤6的具体步骤为:
求解目标函数计算出相关滤波ft、优化求解的时间正则项参数θt及参数λt的步骤如下:
目标函数为:
式中ft-1表示t-1时刻的相关滤波器大小是M×N×C,φ表示当前时刻和前一时刻滤波器的自相关参数大小是m×n×c,m表示自相关参数的长度,n表示自相关参数的宽,c表示自相关参数的维数,为参数,θt代表优化求解的时间正则项参数,/>为常量,d表示相关滤波器通道的维数,/>表示维数为d的样本特征,/>表示维数为d的相关滤波器,y表示高斯标签函数,D表示总的通道数;
目标函数是凸函数,通过ADMM算法进行全局最小化求解,通过引入辅助变量其中F∈CT×T代表正交矩阵,∧代表离散傅里叶变化;T表示矩阵的行和列,K表示辅助变量的个数,/>表示第K个辅助变量;
目标函数的增广拉格朗日形式写成:
其中,表示拉格朗日乘法子的傅里叶变换;/>表示通道为d的辅助变量/>表示通道为d目标特征,λ表示正则化参数;γ表示正则化参数步长的大小;/>表示通道数为d的相关滤波器;
引入变量目标函数写成:
表示第k个辅助变量V,/>表示第k个辅助变量m,/>表示通道数为d的相关滤波器;
通过ADMM求解下列子问题
其中,通道数为d的目标特征,/>表示通道数为d的辅助变量g;γi表示正则化参数的步长,/>表示第i+1步的变量G,/>表示第i+1步的变量H;
进一步的改进,所述步骤7的具体步骤为:
在当前帧的目标区域提取目标特征xt,与步骤6求出的相关滤波器进行点乘运算得到目标的响应图;
计算的公式为:
式中xt表示目标特征,ft表示步骤6求得相关滤波器,表示点乘运算操作;
在响应图R中的最大值所在的位置就是目标在当前帧的位置。
本发明的有益效果在于:
本发明是基于自回归建模的视觉跟踪方法,利用视频序列时域上的连续性,将相关滤波器进行自回归建模,同时还利用响应图来自适应调整时间正则项和空间正则项的参数,该方法在跟踪的精度和成功率上都有明显的提升,可以广泛的应用域智能视频监控、无人驾驶等领域。
附图说明
利用附图对本发明做进一步说明,但附图中的内容不构成对本发明的任何限制。
图1为本发明的基于自回归建模的视觉跟踪方法的流程示意图。
图2为步骤4中将第1帧到第t-1帧的相关滤波其进行时序建模的方法图示。
图3(a)是目标在目标形变下跟踪的结果图。
图3(b)是目标在快速运动下跟踪的结果图。
图3(c)是目标在光照变化下跟踪的结果图。
图3(d)是目标在运动模糊下跟踪的结果图。
具体实施方式
为了使发明的目的、技术方案及优点更加清楚明白,以下结合附图及实例,对本发明进行进一步的详细说明。
具体实施方式
本发明是一种融合时间序列信息的目标跟踪方法,如图所示,包括如下步骤:
步骤1,输入图像序列,根据t-1帧图像中的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征。
其中:HOG特征是用于目标检测的特征描述器,它是用来计算局部图像梯度方向的统计值。提取HOG特征的具体方法是:首先将图像分成大小相等的图像块,这些组成的图像块也叫细胞单元。然后在这些细胞单元中计算各个像素的梯度,进行归一化,得到梯度直方图,最后将这些梯度直方图联合就构成了特征描述器。CN颜色特征具有丰富的表现力和较高的辨识度。提取CN颜色特征的具体步骤是将RGB颜色空间映射到11维颜色属性空间上。
步骤2,将目标特征与余弦窗进行点乘然后进行傅里叶变换。
其中余弦窗的公式为:
其中,xij为原图像片中的像素值i表示图片中的横坐标,j表示图片中的纵坐标,n表示图片中有多少个像素,π为圆周率。
步骤3,采用以下公式计算局部变量Π、参数及/>
局部变化向量Π=[|Π1|,|Π2|,…,|ΠT|],向量Π的第i个元素定义为:
式中[ψΔ]代表移位运算,表示第响应图Rt-1中的第i个元素;t-1表示图像序列为第t-1帧的时刻;Rt-1表示第t-1帧的响应图,Rt-2表示第t-2帧的响应图。
参数
式中用来裁剪响应图的中心部分,Π表示为局部变量,u为空间正则化矩阵,δ=0.2,T表示矩阵的行和列;/>表示T行T列的矩阵,t表示矩阵的行和列,Pt表示t行t列的矩阵。
参数
式中和υ代表的是超参数,设置为/>域值θ为0.3;当全局响应的变化高于域值θ时,代表响应图中出现异常,如果低于域值θ,相关滤波器的时间约束变松弛。
参数
式中Rt-1代表第t-1帧的响应图,max表示取响应图的最大值。
步骤4,在第1帧到第t-1帧利用相关滤波器建立时间序列{f1,f2.f3,…ft-1},序列数据ft-1大小是M×N×C;ft-1表示第t-1帧的滤波器,M表示滤波器的长度,N表示滤波器的宽度,C表示滤波器的通道数。
将相关滤波器进行自回归建模得到:
ft=φft-1+εt
式中εt是零均值独立同分布白噪声序列,方差为σ2,且εt与f1,f2,…,ft-1独立;φ表示自回归参数。
步骤5,用最小二乘法,求解ft=φft-1+εt中的自回归参数模型ft=φft-1+εt写成
S(φ)=(ft-ft-1φ)T(ft-ft-1φ)=ft Tft-2ft Tft-1φ+φTft-1 Tft-1φ
对上式进行求导,可得
因此,参数φ的最小二乘估计为:
φ=(ft-1 Tft-1)-1ft-1 Tft
其中,S(φ)表示目标函数,T表示矩阵的转置。
步骤6,求解目标函数计算出相关滤波ft、参数θt及参数λt。
目标函数为:
式中ft-1表示t-1时刻的相关滤波器大小是M×N×C,M表示滤波器的长度,N表示滤波器的宽度,C表示滤波器的通道数,φ表示当前时刻和前一时刻滤波器的自相关参数大小是m×n×c,m表示自相关参数的长度,n表示自相关参数的宽,C表示自相关参数的维数,为参数,θt代表优化求解的时间正则项参数,/>为常量,d表示相关滤波器通道的维数,/>表示维数为d的样本特征,/>表示维数为d的相关滤波器,y表示标签函数,D表示总的通道数。
目标函数是凸函数,通过ADMM算法进行全局最小化求解,通过引入辅助变量其中F∈CT×T代表正交矩阵,∧代表离散傅里叶变化;T表示矩阵的行和列,K表示辅助变量的个数,/>表示第K个辅助变量;
目标函数的增广拉格朗日形式写成:
其中,表示拉格朗日乘法子的傅里叶变换;/>表示通道为d的辅助变量,/>表示通道为d目标特征,λ表示正则化参数;γ表示正则化参数步长的大小;/>表示通道数为d的相关滤波器;
引入变量目标函数写成:
表示第k个辅助变量V,/>表示第k个辅助变量m,/>表示通道数为d的相关滤波器;
通过ADMM求解下列子问题
其中,通道数为d的目标特征,/>表示通道数为d的辅助变量g;γi表示正则化参数的步长,/>表示第i+1步的变量G,/>表示第i+1步的变量H。
步骤7,在当前帧的目标区域提取目标特征xt,与步骤6求出的相关滤波器进行点乘运算得到目标的响应图。
计算的公式为:
式中xt表示目标特征,ft表示相关滤波器,表示点乘运算操作;
在响应图R中的最大值所在的位置就是目标在当前帧的位置。
自回归模型是统计上一种处理时间序列的方法,用同一变数xt的之前各期来预测本期的表现,能够有效利用视频序列的连续性来提高预测的精度。本发明将视频跟踪的相关滤波器进行自回归建模(步骤4),然后利用最小二乘法求出自相关参数(步骤),能够有效使用跟踪过程中的历史样本信息来解决目标出现外观变化,剧烈形变的问题。同时,本发明利用响应图来自适应调整时间正则项和空间正则项的参数(步骤3),使得跟踪的结果在精度和成功率上都有所提高。最后,本发明使用交替方向乘子法(步骤6)进行优化求解目标函数,有效的降低了计算的复杂度,从而使该方法能够满足实时性的应用要求。
具体的实验与结果分析
为了说明本发明的有效性,我们将本发明方法与其他7种视觉跟踪方法在OTB2013数据集上进行性能比较,跟踪精度和成功率的结果见表1。ECO_HC跟踪方法采用的是手工设计的HOG特征和CN颜色特征,并使用卷积操作进行因式分解,使得该算法在速度和精度上较高。SAMF跟踪方法是相关滤波类方法,该方法主要解决了跟踪过程中目标的尺度估计问题,DSST目标跟踪方法是将目标位置和尺度估计看成两个最优化问题,先对目标进行位置估计,然后对目标进行尺度估计,而SAMF方法是将目标位置和尺度估计看成一个问题,同时求出目标的位置和尺度。STAPLE方法是在DSST方法上引入了颜色直方图,将相关滤波响应和颜色直方图响应进行融合,从而得到最终的响应图。
表1:8种视觉跟踪方法的实验统计结果
本发明方法 | STRCF | ECO_HC | SAMF_AT | lct2 | STAPLE | MOSSE_CA | CSK | |
精度 | 0.892 | 0.889 | 0.880 | 0.833 | 0.821 | 0.782 | 0.610 | 0.545 |
成功率 | 0.687 | 0.678 | 0.654 | 0.615 | 0.593 | 0.573 | 0.451 | 0.398 |
表1中的实验统计结果显示:无论是在精度上还是成功率上本发明的方法都比其他方法的结果要好。在精度上本发明的方法相比于ECO_HC和SAMF_AT算法在精度上分别提高了1.4%和7.1%。在成功率上,本发明方法比ECO_HC和SAMF_AT算法在成功率上分别提高了5%和11%,因此本发明的方法在成功率上也取得了良好的效果。
综上所述,本发明利用视频序列在时域上的连续性,将相关滤波器进行自回归建模,然后用最小二乘法求出自相关参数,能有效解决目标出现外观变化,剧烈形变的问题。同时,本发明利用响应图来自适应调整时间正则项和空间正则项的参数,优化求解出更有鲁棒性的相关滤波器,使得本发明的方法在精度和成功率上都有显著的提升,可以广泛的应用与智能视频监控、无人驾驶等实际应用中。
最后应当说明的是,以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细说明,本领域的普通技术人员应当了解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (2)
1.一种融合时间序列信息的目标跟踪方法,其特征在于,包括以下步骤:
步骤1,输入图像序列,根据第t-1帧图像中的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征,将特征进行融合得到目标特征x;输入图像序列,根据t-1帧图像中的目标的初始位置pt和尺度st,提取目标的HOG特征和CN颜色特征;
其中:提取HOG特征的具体方法是:首先将图像分成大小相等的图像块即细胞单元;然后计算细胞单元中各个像素的梯度,进行归一化,得到梯度直方图,将这些梯度直方图联合构成HOG特征;提取CN颜色特征的具体步骤是:将RGB颜色空间映射到11维颜色属性空间上即得到CN颜色特征,然后将HOG特征和颜色特征CN进行融合得到目标特征x;
步骤2,将目标特征x与余弦窗进行点乘然后进行傅里叶变换;将目标特征与余弦窗进行点乘然后进行傅里叶变换
其中余弦窗的公式为:
其中,xij为原图像片中的像素值;i表示图片中的横坐标,j表示图片中的纵坐标,n表示图片中有多少个像素,π为圆周率;
步骤3,用第t-1帧图像的的响应图计算局部响应变量Π、参数 及参数/>采用以下公式计算局部变化向量Π、参数/>及/>
局部变化向量Π=[|Π1|,|Π2|,…,|ΠT|],向量Π的第i个元素定义为:
式中[ψΔ]代表移位运算,Ri t-2表示第t-2帧响应图Rt-2中的第i个元素;t-1表示图像序列为第t-1帧的时刻;Rt-1表示第t-1帧的响应图;T表示向量Π的个数;
参数
式中用来裁剪响应图的中心部分,u表示为空间正则化矩阵,δ=0.2;T表示矩阵的行和列;/>表示T行T列的矩阵,t表示矩阵的行和列,Pt表示t行t列的矩阵;t≤T;
参数
式中和υ代表的是超参数,设置为/>υ=2×10-5,域值θ为0.3;当全局响应的变化高于域值θ时,代表响应图中出现异常,如果低于域值θ,相关滤波器的时间约束变松弛;||Π||2表示向量Π的2范数;
参数
式中Rt-1代表第t-1帧的响应图,max表示取响应图的最大值;
步骤4,将第1帧到第t-1帧相关滤波器进行时序建模得到相关滤波器时序模型;在第1帧到第t-1帧利用相关滤波器建立时间序列{f1,f2.f3,…ft-1},序列数据ft-1大小是M×N×C;ft-1表示第t-1帧的滤波器,M表示滤波器的长度,N表示滤波器的宽度,C表示滤波器的通道数;
将相关滤波器进行自回归建模得到:
ft=φft-1+εt
式中εt是零均值独立同分布白噪声序列,方差为σ2,且εt与f1,f2,…,ft-1独立;φ表示自回归参数;
步骤5,用最小二乘法求出相关滤波器时序模型的自回归参数
用最小二乘法,求解ft=φft-1+εt中的自回归参数模型ft=φft-1+εt写成
S(φ)=(ft-ft-1φ)T(ft-ft-1φ)=ft Tft-2ft Tft-1φ+φTft-1 Tft-1φ
对上式进行求导,可得
因此,参数φ的最小二乘估计为:
φ=(ft-1 Tft-1)-1ft-1 Tft
其中,S(φ)表示目标函数,T表示矩阵的转置;
步骤6,求解目标函数计算出相关滤波ft、参数θt及λt;
求解目标函数计算出相关滤波ft、优化求解的时间正则项参数θt及参数λt的步骤如下:
目标函数为:
式中ft-1表示t-1时刻的相关滤波器大小是M×N×C,φ表示当前时刻和前一时刻滤波器的自相关参数大小是m×n×c,m表示自相关参数的长度,n表示自相关参数的宽,c表示自相关参数的维数,为参数,θt代表优化求解的时间正则项参数,/>为常量,d表示相关滤波器通道的维数,/>表示维数为d的样本特征,/>表示维数为d的相关滤波器,y表示高斯标签函数,D表示总的通道数;
目标函数是凸函数,通过ADMM算法进行全局最小化求解,通过引入辅助变量其中F∈CT×T代表正交矩阵,^代表离散傅里叶变化;T表示矩阵的行和列,K表示辅助变量的个数,/>表示第K个辅助变量;
目标函数的增广拉格朗日形式写成:
其中,表示拉格朗日乘法子的傅里叶变换;/>表示通道为d的辅助变量,/>表示通道为d目标特征,λ表示正则化参数;γ表示正则化参数步长的大小;/>表示通道数为d的相关滤波器;
引入变量目标函数写成:
表示第k个辅助变量V,/>表示第k个辅助变量m,ft d表示通道数为d的相关滤波器;
通过ADMM求解下列子问题
其中,/>通道数为d的目标特征,/>表示通道数为d的辅助变量g;
γi表示正则化参数的步长,表示第i+1步的变量G,/>表示第i+1步的变量H;
步骤7,在第t帧中的候选区域进行特征提取和预处理得到目标特征x,然后与相关滤波器ft在傅里叶域进行点乘运算操作,得到响应图,通过响应图确定当前帧的目标位置和尺度。
2.根据权利要求1所述的一种融合时间序列信息的目标跟踪方法,其特征在于,所述步骤7的具体步骤为:
在当前帧的目标区域提取目标特征xt,与步骤6求出的相关滤波器进行点乘运算得到目标的响应图;
计算的公式为:
式中xt表示目标特征,ft表示步骤6求得相关滤波器,表示点乘运算操作;
在响应图R中的最大值所在的位置就是目标在当前帧的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594455.6A CN111951298B (zh) | 2020-06-25 | 2020-06-25 | 一种融合时间序列信息的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594455.6A CN111951298B (zh) | 2020-06-25 | 2020-06-25 | 一种融合时间序列信息的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111951298A CN111951298A (zh) | 2020-11-17 |
CN111951298B true CN111951298B (zh) | 2024-03-08 |
Family
ID=73337756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010594455.6A Active CN111951298B (zh) | 2020-06-25 | 2020-06-25 | 一种融合时间序列信息的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951298B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819856B (zh) * | 2021-01-22 | 2022-10-25 | 同济大学 | 一种应用于无人机的目标跟踪方法及自定位方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107993250A (zh) * | 2017-09-12 | 2018-05-04 | 北京飞搜科技有限公司 | 一种快速多目标行人追踪和分析方法及其智能装置 |
KR20180105876A (ko) * | 2017-03-16 | 2018-10-01 | 한국전자통신연구원 | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 |
KR101980653B1 (ko) * | 2018-07-19 | 2019-05-21 | 한화시스템 주식회사 | 표적 탐지 및 추적 방법 |
CN111260691A (zh) * | 2020-01-18 | 2020-06-09 | 温州大学 | 一种基于上下文感知回归时空正则相关滤波跟踪方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10735298B2 (en) * | 2012-12-05 | 2020-08-04 | Origin Wireless, Inc. | Method, apparatus, server and system for vital sign detection and monitoring |
CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
US10782095B2 (en) * | 2017-11-24 | 2020-09-22 | Huntercraft Limited | Automatic target point tracing method for electro-optical sighting system |
US11657322B2 (en) * | 2018-08-30 | 2023-05-23 | Nec Corporation | Method and system for scalable multi-task learning with convex clustering |
-
2020
- 2020-06-25 CN CN202010594455.6A patent/CN111951298B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180105876A (ko) * | 2017-03-16 | 2018-10-01 | 한국전자통신연구원 | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 |
CN107993250A (zh) * | 2017-09-12 | 2018-05-04 | 北京飞搜科技有限公司 | 一种快速多目标行人追踪和分析方法及其智能装置 |
KR101980653B1 (ko) * | 2018-07-19 | 2019-05-21 | 한화시스템 주식회사 | 표적 탐지 및 추적 방법 |
CN111260691A (zh) * | 2020-01-18 | 2020-06-09 | 温州大学 | 一种基于上下文感知回归时空正则相关滤波跟踪方法 |
Non-Patent Citations (2)
Title |
---|
结合自适应空间权重的改进型时空正则项跟踪算法;王鹏;孙梦宇;王海燕;李晓艳;吕志刚;;西安交通大学学报(第05期);全文 * |
自适应尺度突变目标跟踪;任俊丽;郭浩;董亚飞;刘茹;安居白;王妍;;中国图象图形学报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111951298A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
Cui et al. | Recurrently target-attending tracking | |
CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN111340824B (zh) | 一种基于数据挖掘的图像特征分割方法 | |
Souly et al. | Visual saliency detection using group lasso regularization in videos of natural scenes | |
Li et al. | Robust scale adaptive kernel correlation filter tracker with hierarchical convolutional features | |
CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
CN108021869A (zh) | 一种结合高斯核函数的卷积神经网络跟踪方法 | |
Milyaev et al. | Towards reliable object detection in noisy images | |
CN115527269B (zh) | 一种人体姿态图像智能识别方法及系统 | |
Tripathi et al. | Detecting temporally consistent objects in videos through object class label propagation | |
CN111489330A (zh) | 基于多源信息融合的弱小目标检测方法 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN111951298B (zh) | 一种融合时间序列信息的目标跟踪方法 | |
CN111191680A (zh) | 一种基于非凸运动辅助的目标检测方法 | |
CN108830878B (zh) | 一种基于fpn神经网络的目标跟踪方法 | |
Chen et al. | Single-object tracking algorithm based on two-step spatiotemporal deep feature fusion in a complex surveillance scenario | |
CN111127407A (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
Jose et al. | Genus and species-level classification of wrasse fishes using multidomain features and extreme learning machine classifier | |
CN113470074B (zh) | 一种基于分块判别的自适应时空正则化目标跟踪方法 | |
Scharfenberger et al. | Image saliency detection via multi-scale statistical non-redundancy modeling | |
Sun et al. | Pig target tracking algorithm based on multi-channel color feature fusion | |
CN109492530A (zh) | 基于深度多尺度时空特征的健壮性视觉物体跟踪算法 | |
Xia et al. | Lazy texture selection based on active learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |