CN111724411B - 一种基于对冲算法的多特征融合跟踪方法 - Google Patents
一种基于对冲算法的多特征融合跟踪方法 Download PDFInfo
- Publication number
- CN111724411B CN111724411B CN202010453146.7A CN202010453146A CN111724411B CN 111724411 B CN111724411 B CN 111724411B CN 202010453146 A CN202010453146 A CN 202010453146A CN 111724411 B CN111724411 B CN 111724411B
- Authority
- CN
- China
- Prior art keywords
- tracking
- results
- target
- hist
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011549 displacement method Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于对冲算法的多特征融合目标跟踪方法,包括以下步骤:S1用空间正则化矩阵代替等权正则化来生成更精细的相关滤波器;S2在跟踪帧中提取特征生成三张空间置信图:2.1)利用颜色直方图模型生成颜色可置信图;2.2)利用从预训练VGG19中获得特征生成两种深度可置信图;S3获得三个跟踪结果;3.1)用三张空间置信图分别增强被跟踪样本的HOG特征;3.2)对三个增强后HOG分别进行相关滤波;S4利用标准对冲算法对三个滤波结果进行融合,得到最终结果;S5用更新机制对模型进行更新。本发明能够在复杂环境下对视频指定目标进行跟踪标注,并具有良好的跟踪效果。
Description
技术领域
本发明属于图像处理领域,是一种给定第一帧目标位置的情况下由算法在后续实现跟踪定位的方法。
背景技术
目标跟踪是计算机视觉领域的重要研究方向之一,在机器人、人机交互、军事侦查、智能交通、虚拟现实等军事、民用领域都有广泛的应用。近年来,许多学者在目标跟踪方面开展了大量工作,并取得了一定的进展。但是,在复杂环境中仍存在目标外观变形(目标纹理、形状、姿态变化等)、光照变化、快速运动和运动模糊、背景相似干扰、平面内外旋转、尺度变化、遮挡和出视野等难题,使得复杂环境下稳定实时的目标跟踪仍然是一个具有挑战性的问题。一般的视觉目标跟踪系统主要包括输入图像(视频)、运动模型(均值漂移、滑动窗口、粒子滤波)、特征提取、目标外观模型以及模型更新等几个部分,其中特征的提取与表达对目标跟踪算法的性能起决定性作用。
2006年,Hinton等提出了具有深层次特征表达能力的深度学习算法。深度学习模拟人脑的视觉处理机理,可以从大量的数据中主动学习特征,并成功应用于图像分类、物体检测等领域。深度学习能够主动学习提取底层到高层结构性的特征,具有强大的分类功能,使得将深度学习引入到目标跟踪算法的研究具备了可行性。在2017年之前,大量的跟踪都是在相关滤波算法的基础上做出改进的,经典的算法包括KCF、DSST等.随着深度学习技术的兴起,跟踪领域中的学者们也开始去尝试着将深度神经网络应用该领域中,前期大家更多的是关注预训练的神经网络的使用;而从2017之后,以SINT和Siamese fc为代表的孪生网络跟踪器受到了研究者们的关注,主要的原因还是Siamese fc算法给大家展现了一个超快的跟踪速度,而且跟踪精度也不差.当前,跟踪领域主要分为两条主线,即基于相关滤波和基于孪生网络的跟踪器。
发明内容
为了克服现有目标跟踪方法对相似物体容易误判以及遮挡情况下的跟踪失败,本发明提出了一种基于对冲算法的多特征融合跟踪方法,首先,通过将引入空间正则化分量的方法训练一个判别能力更强的空间正则化核相关滤波器。其次,用颜色直方图和卷积神经网络构建三个具有目标轮廓的空间置信图。然后在当前帧搜索区域提取方向梯度直方图特征,并通过空间可信度图来增强目标特征与相似目标特征之间的差异来增强模型的表达能力,并生成三个子CF跟踪器。最后,用标准对冲算法自适应分配权重,对三个子CF跟踪器的融合,并用模型更新机制更新模型。
本发明解决其技术问题所采用的技术方案是:
一种基于对冲算法的多特征融合目标跟踪方法,所述方法包括以下步骤:
S1.相关滤波器的训练
在图像上裁下一个宽高分别为W和H的图片块,用循环位移的方法来合成许多新的训练样本xh,w(h,w),其中,训练的过程就是通过解决岭回归问题来训练相关滤波器f:
f=minf∑H,W|fTxh,w-y(h,w)|+‖r⊙f‖2 (1)
其中⊙为内积标志,r和f分别为空间正则矩阵和相关滤波器,y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵,标签y的生成公式为:
由于该过程的计算通过傅里叶变换转化到傅里叶空间减少计算,最终学习器L通过下面公式获得:
其中,L表示l的傅里叶变换,是x与自身的核相关,选择高斯核作为核函数,同时综合了47个通道的多通道特征来训练相关滤波器,所以核相关公式表示为:
其中,表示傅里叶变换的逆操作,/>和/>分别表示x的傅里叶变换和/>的复共轭,c表示通道层级;
S2.空间置信图的获得,过程如下:
S2.1颜色空间置信图
需要先训练一个颜色直方图模型,同时用正像素样本和负像素样本训练分类器,正像素样本为目标区域F,负像素样本为背景区域B,设像素p的特征φ(p)是矢量eg[p],仅在其g[p]=i,其他位置为0,首先,从帧t裁剪目标位置的图形补丁I;然后,将图像分别分割为目标区域F和背景区域B,最后,将这两个区域的像素信息放入颜色直方图学习器中进行训练,使用以下公式:
另外由于向量的内积计算可以由βTφ(p)=βi来得到,所以公式简化为:
其中,Φi(Α)=|p∈A∶g[p]=i|表示在区域A中索引特征i不为0的像素个数|A|表示区域A中的像素总数,为了简化公式,设表示索引特征i像素在区域A中的比例,所以公式变形为:
其中,β是权重系数图,它逐像素描述了图像中每个位置的可信度,ε是一个无穷小常数;
S2.2深度空间置信图
将搜索区域的图片块I输入预先训练好的卷积神经网络VGG19模型中获得特征张量,然后通过将张量按通道进加权平均就获得合适的深度空间置信图:
其中,表示在VGG19中第d层深度获得的特征张量,提取了深度分别为37和28两个深度特征,并生成了两个空间置信图d37和d28;
S3.获得三个跟踪结果
S3.1空间置信图增强被检测样本
在跟踪帧裁切一张适合大小的图片块,裁切的位置和大小根据上一帧目标状态计算获得,通过传统手工方法获得该图片块的方向梯度直方图特征x,然后将之前获得的三张空间置信图分别用内积的方式来增强特征x,并由此获得三个不同特征:
xhist=βhist⊙x,xd28=βd28⊙x,xd37=βd37⊙x (9)
S3.2相关滤波分别获得结果
用之前训练好的相关滤波器L,与之前获得的三个不同特征进行滤波计算:
获得三个结果响应图ghist(x)、gd28(x)、gd37(x);
S4.对冲算法融合结果
首先,计算每个子跟踪器的损失l:
设xp为融合后响应图中的最大值位置,然后算法引入粒子在时刻t的烦恼值:
值得注意的是这时粒子群的总代价为基于此概念,粒子群的烦恼度定义为:
Rt=(1-η)Rt+ηζt (13)
其中,η是一个动态参数,由历史信息计算得出,设跟踪器在t帧的稳定性为st并由此计算得到η:
η=min(σ,exp(-ρst)) (14b)
其中,mt和δt分别为均值和方差,ρ是一个预设参数,σ是预设最大更新率,最终权重w更新为:
其中r是尺度参数,定义为:
在得到w后通过下面公式对三个结果进行融合
F(x)=(γhist+whist)ghist(x)+(γd28+wd28)gd28(x)+(γd37+wd37)gd37(x) (17)
其中γ表示预设的权重参数,在获得最终的结果响应图后,只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息;
S4.模型更新
计算获得跟踪目标边界框γt与上一帧之间的欧式距离Dt=‖P(γt)-P(γt-1)‖,这里P(γt)表示边界框γt的定位,同时计算跟踪轨迹的平滑度:
这里σ是根据边界框的平均高度和宽度计算得到的,然后需要计算PSR值P:
P=(Rmax-m)/τ (19)
其中,Rmax是响应图R中的最大值,m和τ分别表示均值和标准差,同时还需要计算一个评分Gt=St×Pt来确定跟踪结果的好坏,值得注意的是还需要每Δt=5帧计算一次评分的平均值:
这里v∈[t-Δt+1,t]且ωv=θv/(∑vθv),θν是序列{θ0,θ1,…,θΔt-1}(θ>1)中的第(ν-t+Δt)个元素;
然后利用上面获得结果可以用下面的公式动态调整学习速率η:
其中,ηinit是初始模型学习速率。μ和α分别表示阈值常数和幂指数。
在更新模型学习速率后,分别用下列公式更新模型:
Lt=(1-ηcf)Lt-1+ηcfL (22b)
模型更新完成后如果还有下一帧就将会到S2不断循环直至结束。
本发明的有益效果为:能够在复杂环境下对视频指定目标进行跟踪标注,并具有良好的跟踪效果。
附图说明
图1是上一帧裁切的图片块。
图2是当前帧裁切的图片块。
图3是三张空间置信图,其中,(a)是hist空间置信图,(b)是d28空间置信图,(c)是d37空间置信图。
图4是三张跟踪结果响应图,其中,(a)是ghist结果响应图,(b)是gd28结果响应图,(c)是gd37结果响应图。
图5是融合后的结果响应图。
图6是一种基于对冲算法的多特征融合跟踪方法的跟踪流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图6,一种基于对冲算法的多特征融合跟踪方法,包括以下步骤:
S1.相关滤波器的训练
参照图1,在图像上裁下一个宽高分别为W和H的图片块,用循环位移的方法来合成许多新的训练样本xh,w(h,w),其中,训练的过程就是通过解决岭回归问题来训练相关滤波器f:
f=minf∑H,W|fTxh,w-y(h,w)|+‖r⊙f‖2 (1)
其中⊙为内积标志,r和f分别为空间正则矩阵和相关滤波器,y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵,标签y的生成公式为:
由于该过程的计算通过傅里叶变换转化到傅里叶空间减少计算,最终学习器L通过下面公式获得:
其中,L表示l的傅里叶变换,是x与自身的核相关,选择高斯核作为核函数,同时综合了47个通道的多通道特征来训练相关滤波器,所以核相关公式表示为:
其中,表示傅里叶变换的逆操作,/>和/>分别表示x的傅里叶变换和/>的复共轭,c表示通道层级;
S2.空间置信图的获得,过程如下:
S2.1颜色空间置信图
需要先训练一个颜色直方图模型,同时用正像素样本和负像素样本训练分类器,正像素样本为目标区域F,负像素样本为背景区域B,设像素p的特征φ(p)是矢量eg[p],仅在其g[p]=i,其他位置为0,首先,从帧t裁剪目标位置的图形补丁I,如图2所示;然后,将图像分别分割为目标区域F和背景区域B,最后,将这两个区域的像素信息放入颜色直方图学习器中进行训练,使用以下公式:
另外由于向量的内积计算可以由βTφ(p)=βi来得到,所以公式简化为:
其中,Φi(Α)=|p∈A∶g[p]=i|表示在区域A中索引特征i不为0的像素个数|A|表示区域A中的像素总数。为了简化公式,设表示索引特征i像素在区域A中的比例。所以公式变形为:
其中,β是权重系数图,这里获得的图可以在图3的(a)中看到,它逐像素描述了图像中每个位置的可信度,ε是一个无穷小常数;
S2.2深度空间置信图
将搜索区域的图片块I(图2)输入预先训练好的卷积神经网络VGG19模型中获得特征张量,然后通过将张量按通道进加权平均就获得合适的深度空间置信图:
其中,表示在VGG19中第d层深度获得的特征张量,提取了深度分别为37和28两个深度特征,并生成了两个空间置信图d37和d28,获得的图像如图3中的(b)和(c);
S3.获得三个跟踪结果
S3.1空间置信图增强被检测样本
在跟踪帧裁切一张适合大小的图片块,如图3所示,裁切的位置和大小根据上一帧目标状态计算获得,通过传统手工方法获得该图片块的方向梯度直方图特征x,然后将之前获得的三张空间置信图分别用内积的方式来增强特征x,并由此获得三个不同特征:
xhist=βhist⊙x,xd28=βd28⊙x,xd37=βd37⊙x (9)
S3.2相关滤波分别获得结果
用之前训练好的相关滤波器L,与之前获得的三个不同特征进行滤波计算:
获得三个结果响应图ghist(x)、gd28(x)、gd37(x),这里的结果响应图分别为图4中的(a)、(b)、(c);
S4.对冲算法融合结果
首先,计算每个子跟踪器的损失l:
设xp为融合后响应图中的最大值位置,然后算法引入粒子在时刻t的烦恼值:
值得注意的是这时粒子群的总代价为基于此概念,粒子群的烦恼度定义为:
Rt=(1-η)Rt+ηζt (13)
其中,η是一个动态参数,由历史信息计算得出,设跟踪器在t帧的稳定性为st并由此计算得到η:
η=min(σ,exp(-ρst)) (14b)
其中,mt和δt分别为均值和方差,ρ是一个预设参数,σ是预设最大更新率,最终权重w更新为:
其中r是尺度参数,定义为:
在得到w后通过下面公式对三个结果进行融合
F(x)=(γhist+whist)ghist(x)+(γd28+wd28)gd28(x)+(γd37+wd37)gd37(x) (17)
其中γ表示预设的权重参数,在获得最终的结果响应图5后,只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息;
S4.模型更新
计算获得跟踪目标边界框γt与上一帧之间的欧式距离Dt=‖P(γt)-P(γt-1)‖,这里P(γt)表示边界框γt的定位,同时计算跟踪轨迹的平滑度:
这里σ是根据边界框的平均高度和宽度计算得到的,然后需要计算PSR值P:
P=(Rmax-m)/τ (19)
其中,Rmax是响应图R中的最大值,m和τ分别表示均值和标准差,同时还需要计算一个评分Gt=St×Pt来确定跟踪结果的好坏,值得注意的是还需要每Δt=5帧计算一次评分的平均值:
这里v∈[t-Δt+1,t]且ωv=θv/(∑vθv),θv是序列{θ0,θ1,…,θΔt-1}(θ>1)中的第(ν-t+Δt)个元素;
然后利用上面获得结果可以用下面的公式动态调整学习速率η:
其中,ηinit是初始模型学习速率。μ和α分别表示阈值常数和幂指数。
在更新模型学习速率后,分别用下列公式更新模型:
Lt=(1-ηcf)Lt-1+ηcfL(22b)
Claims (1)
1.一种基于对冲算法的多特征融合跟踪方法,其特征在于,所述方法包括以下步骤:
S1.相关滤波器的训练
在图像上裁下一个宽高分别为W和H的图片块,用循环位移的方法来合成许多新的训练样本xh,w(h,w),其中,训练的过程就是通过解决岭回归问题来训练相关滤波器f:
f=minf∑H,W|fTxh,w-y(h,w)|+||r⊙f||2 (1)
其中⊙为内积标志,r和f分别为空间正则矩阵和相关滤波器,y(h,w)是用高斯函数来生成宽高分别为W和H的矩阵,y(h,w)的生成公式为:
由于该过程的计算可以通过傅里叶变换转化到傅里叶空间减少计算,最终学习器L通过下面公式获得:
其中,L表示l′的傅里叶变换,是x与自身的核相关,选择高斯核作为核函数,同时综合了47个通道的多通道特征来训练相关滤波器,所以核相关公式表示为:
其中,表示傅里叶变换的逆操作,/>和/>分别表示x的傅里叶变换和/>的复共轭,c表示通道层级;
S2.空间置信图的获得,过程如下:
S2.1颜色空间置信图
训练一个颜色直方图模型,同时用正像素样本和负像素样本训练分类器,正像素样本为目标区域F,负像素样本为背景区域B,设像素p的特征φ(p)是矢量eg[p],仅在其g[p]=i,其它位置为0,首先,从第t帧裁剪目标位置的图形补丁;然后,将图像分别分割为目标区域F和背景区域B,最后,将这两个区域的像素信息放入颜色直方图学习器中进行训练,使用以下公式:
另外由于向量的内积计算由βTφ(p)=βi来得到,所以公式简化为:
其中,Φi(Α)=|p∈A:g[p]=i|表示在区域A中索引特征i不为0的像素个数,|A|表示区域A中的像素总数,为了简化公式,设表示索引特征i像素在区域A中的比例,所以公式变形为:
获得颜色空间置信图;
S2.2深度空间置信图
将搜索区域的图片块I输入预先训练好的卷积神经网络VGG19模型中获得特征张量,然后通过将特征张量按通道进行加权平均就获得合适的深度空间置信图:
其中,表示在VGG19中第d层深度获得的特征张量,提取了深度分别为37和28两个深度特征,并生成了两个深度空间置信图d37和d28;
S3.获得三个跟踪结果
S3.1空间置信图增强被检测样本
在跟踪帧裁切一张适合大小的图片块,裁切的位置和大小根据上一帧目标状态计算获得,通过传统手工方法获得该图片块的方向梯度直方图特征n1,然后将之前获得的三张空间置信图分别用内积的方式来增强上述特征n1,并由此获得三个不同特征:
Nhist=βhist⊙n1,Nd28=βd28⊙n1,Nd37=βd37⊙n1 (9)
S3.2相关滤波分别获得结果
用之前训练好的学习器L,与之前获得的三个不同特征进行滤波计算:
获得三个结果响应图ghist(n2)、gd28(n2)、gd37(n2);
S4.对冲算法融合结果
首先,计算每个子跟踪器的损失l:
设xp为融合后响应图中的最大值位置,然后算法引入粒子在时刻t的烦恼值:
值得注意的是这时粒子群的总代价为基于此概念,粒子群的烦恼度定义为:
其中,η是一个动态参数,由历史信息计算得出,设跟踪器在t帧的稳定性为st并由此计算得到η:
η=min(τ1,exp(-ρst)) (14b)
其中,mt和δt分别为均值和方差,ρ是一个预设参数,τ1是预设最大更新率,最终权重w更新为:
其中j是尺度参数,定义为:
在得到w后通过下面公式对三个结果进行融合:
F(n2)=(γhist+whist)ghist(n2)+(γd28+wd28)gd28(n2)+(γd37+wd37)gd37(n2) (17)
其中γ表示预设的权重参数,在获得最终的结果响应图后,只需要找到图中响应度最大的点就可以确定跟踪目标的位置和尺度信息;
S5.模型更新
计算获得跟踪目标边界框γt与上一帧之间的欧式距离Dt=||P(γt)-P(γt-1)||,这里P(γt)表示边界框γt的定位,同时计算跟踪轨迹的平滑度:
这里σ1是根据边界框的平均高度和宽度计算得到的,然后需要计算PSR值P:
P=(Rmax-m)/τ2 (19)
其中,Rmax是响应图R中的最大值,m和τ2分别表示均值和标准差,同时还需要计算一个评分Gt=St×Pt来确定跟踪结果的好坏,值得注意的是还需要每Δt=5帧计算一次评分的平均值:
这里v∈[t-Δt+1,t]且ωv=θv/(∑νθv),θv是序列{θ0,θ1,…,θΔt-1},θ>1中的第(ν-t+Δt)个元素;
然后利用上面获得结果用公式(21)动态调整学习速率η:
其中,ηinit是初始模型学习速率,μ和α分别表示阈值常数和幂指数;
在更新模型学习速率后,分别用下列公式更新模型:
Lt=(1-ηcf)Lt-1+ηcfL (22b)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010453146.7A CN111724411B (zh) | 2020-05-26 | 2020-05-26 | 一种基于对冲算法的多特征融合跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010453146.7A CN111724411B (zh) | 2020-05-26 | 2020-05-26 | 一种基于对冲算法的多特征融合跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724411A CN111724411A (zh) | 2020-09-29 |
CN111724411B true CN111724411B (zh) | 2023-07-28 |
Family
ID=72565076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010453146.7A Active CN111724411B (zh) | 2020-05-26 | 2020-05-26 | 一种基于对冲算法的多特征融合跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724411B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112762841A (zh) * | 2020-12-30 | 2021-05-07 | 天津大学 | 一种基于多分辨率深度特征的桥梁动位移监测系统及方法 |
CN112766102B (zh) * | 2021-01-07 | 2024-04-26 | 武汉大学 | 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法 |
CN113240716B (zh) * | 2021-05-31 | 2023-04-18 | 西安电子科技大学 | 一种多特征融合的孪生网络目标跟踪方法及系统 |
CN114529583B (zh) * | 2022-02-10 | 2024-03-19 | 国网河南省电力公司电力科学研究院 | 基于残差回归网络的电力设备跟踪方法及跟踪系统 |
CN115205011B (zh) * | 2022-06-15 | 2023-08-08 | 海南大学 | 基于lsf-fc算法的银行用户画像模型生成方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3381016A4 (en) * | 2015-11-26 | 2019-06-12 | Sportlogiq Inc. | SYSTEMS AND METHODS FOR OBJECT TRACKING AND LOCATION IN VIDEOS WITH ADAPTIVE IMAGE REPRESENTATION |
CN106355604B (zh) * | 2016-08-22 | 2019-10-18 | 杭州保新科技有限公司 | 图像目标跟踪方法与系统 |
CN106570486B (zh) * | 2016-11-09 | 2019-05-14 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN109255800B (zh) * | 2018-08-03 | 2021-08-03 | 浙江工业大学 | 一种震动检测和参数自适应的对冲方法 |
CN109255304B (zh) * | 2018-08-17 | 2021-07-27 | 西安电子科技大学 | 基于分布场特征的目标跟踪方法 |
CN110223323B (zh) * | 2019-06-02 | 2022-03-04 | 西安电子科技大学 | 基于深度特征自适应相关滤波的目标跟踪方法 |
-
2020
- 2020-05-26 CN CN202010453146.7A patent/CN111724411B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111724411A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111724411B (zh) | 一种基于对冲算法的多特征融合跟踪方法 | |
CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
Zhang et al. | An object tracking framework with recapture based on correlation filters and Siamese networks | |
CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
Li et al. | Robust visual tracking based on convolutional features with illumination and occlusion handing | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN112686928B (zh) | 一种基于多源信息融合的运动目标视觉跟踪方法 | |
CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN109858415A (zh) | 适用于移动机器人行人跟随的核相关滤波目标跟踪方法 | |
CN106338733A (zh) | 基于蛙眼视觉特性的前视声呐目标跟踪方法 | |
CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
CN116758117B (zh) | 可见光与红外图像下的目标跟踪方法及系统 | |
Yan et al. | Learning spatio-temporal correlation filter for visual tracking | |
CN112396655B (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
Wang et al. | A feature-supervised generative adversarial network for environmental monitoring during hazy days | |
CN112686952A (zh) | 一种图像光流计算系统、方法及应用 | |
CN113298850A (zh) | 一种基于注意力机制与特征融合的目标跟踪方法及系统 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN112819865B (zh) | 基于自适应正则特征联合时间关联的相关滤波跟踪方法 | |
Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
CN108846344B (zh) | 一种融合深度学习的行人姿势多特征智能辨识方法 | |
CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN118071932A (zh) | 一种三维静态场景图像重建方法及系统 | |
CN111951298B (zh) | 一种融合时间序列信息的目标跟踪方法 | |
CN111611869B (zh) | 一种基于串行深度神经网络的端到端单目视觉避障方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |