CN113344973A - 一种基于时空正则化和特征可靠性评估的目标跟踪方法 - Google Patents
一种基于时空正则化和特征可靠性评估的目标跟踪方法 Download PDFInfo
- Publication number
- CN113344973A CN113344973A CN202110641752.6A CN202110641752A CN113344973A CN 113344973 A CN113344973 A CN 113344973A CN 202110641752 A CN202110641752 A CN 202110641752A CN 113344973 A CN113344973 A CN 113344973A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- formula
- regularization
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000011156 evaluation Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims abstract description 27
- 230000004807 localization Effects 0.000 claims abstract 2
- 230000004044 response Effects 0.000 claims description 62
- 238000004422 calculation algorithm Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000010410 layer Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 claims description 5
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001413 cellular effect Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 241000153282 Theope Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- MDEHFNXAMDVESV-UHFFFAOYSA-N 3-methyl-5-(4-phenylphenyl)pentanoic acid Chemical compound C1=CC(CCC(C)CC(O)=O)=CC=C1C1=CC=CC=C1 MDEHFNXAMDVESV-UHFFFAOYSA-N 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空正则化和特征可靠性评估的目标跟踪方法。属于图像处理和计算机视觉领域，操作步骤：初始化空间正则化权重；提取目标特征；求解自适应空间正则化权重；求解滤波器；特征可靠性评估；特征自适应融合与目标定位。本发明不仅对非目标区域进行更为准确的惩罚，有效缓解边界效应，还防止滤波器发生突变，缓解了模型退化问题；另外，在三种传统特征的基础上使用VGG‑16网络提取目标的深度特征，增强了模型对目标的表达能力；最后，还引入自适应特征融合机制，利用新的特征可靠性评估方式对不同特征进行可靠性的评估，进而在跟踪决策时动态地分配不同特征的贡献占比，提高了多种特征的利用效率，进一步提升了跟踪性能。
Description
技术领域
本发明属于图像处理和计算机视觉领域，具体地，涉及一种基于时空正则化和特征可靠性评估的目标跟踪方法；通过在目标函数中同时加入时间正则化和自适应空间正则化约束的方法来增强跟踪模型的鲁棒性，在跟踪决策阶段通过特征可靠性评估的方法来自适应融合特征响应，以实现目标的准确跟踪。
背景技术
目标跟踪结合模式识别、图像处理以及高等数学等众多领域核心思想，是计算机视觉中一个具有重要研究意义的子方向，在无人驾驶、视频监控、人机交互和国防等领域有着广泛应用。目标跟踪主要目的是利用第一帧给定的目标信息对后续帧中的目标进行位置估计和尺度估计。目前主流的跟踪方法主要可以分为基于相关滤波的跟踪方法和基于深度学习的跟踪方法。
基于相关滤波的跟踪算法研究始于2010年，其中Danelljan等人(Danelljan M,Hager G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]//BritishMachine Vision Conference,Nottingham,September1-5,2014.BMVAPress,2014:127-141.)提出的空间正则化相关滤波跟踪算法(SRDCF)相比之前的相关滤波跟踪算法，在跟踪准确性方面的表现较好。SRDCF算法通过在目标函数中加入显式的空间正则化项来抑制背景干扰，缓解了边界效应带来的影响。但是SRDCF算法的目标函数不符合相关滤波闭式解结构，之后采用高斯-赛德尔迭代法进行滤波器的求解，使得跟踪速度较慢。并且加入的空间正则化项在初始帧中就计算好，在之后的跟踪过程中不进行更新，当目标发生较大变化时，空间正则化项就不能较好地抑制背景干扰。此外，SRDCF算法没有利用滤波器的时序信息，当目标发生遮挡或较大形变时容易发生跟踪漂移现象。随着研究者们对相关滤波跟踪算法的不断研究，涌现出大量优秀的优秀工作。针对SRDCF算法中存在的问题，Li等人(Li F,Tian C,Zuo W,et al.Learning spatial-temporal regularizedcorrelation filters for visual tracking[C]//Proceedings ofthe IEEE Conferenceon Computer Vision and Pattern Recognition.2018:4904-4913.)提出了时空正则化相关滤波跟踪算法(STRCF)，在SRDCF算法的目标函数中又加入时间正则化项约束，建立起了相邻滤波器之间的联系，并且对滤波器的求解也采用了交叉方向乘子法，具备了较快的跟踪速度。STRCF算法的跟踪性能相比SRDCF算法有了较大提升，但也存在一些问题。第一个问题是空间正则化项仍然是固定参数在第一帧中就计算好并且不更新，在目标变化较大时会使得滤波器不能较好地关注目标区域；第二个问题是在跟踪决策阶段同等看待不同特征对跟踪结果的贡献程度，对不同特征跟踪响应进行直接叠加求出用于目标定位的跟踪响应图，这会使得跟踪响应图具有较多噪声，从而会影响滤波器对目标的定位。
根据上述一些研究存在的不足，本发明提出一种基于时空正则化和特征可靠性评估的目标跟踪方法。先通过同时加入时间正则化项和自适应空间正则化项约束来求解滤波器，提高了跟踪模型的鲁棒性。然后结合峰值旁瓣比和平均峰值相关能量两个跟踪质量评估指标提出一种特征可靠性评估方式，根据此方式计算出可靠性来调整不同特征对跟踪结果的贡献度，进一步提高了跟踪模型的准确性。
发明内容
发明目的：为了使跟踪器在目标形变、旋转、快速运动、背景杂乱、运动模糊等场景下具有较好的跟踪表现，本发明提出了一种基于时空正则化和特征可靠性评估的目标跟踪方法，具有较好地跟踪性能；其先在目标函数中同时加入时间正则化项和自适应空间正则化项求解出滤波器，然后在跟踪决策阶段提出特征可靠性评估方法来评估每个特征的可靠性，并据此来调整每个特征的跟踪响应对跟踪结果的贡献度，是一种鲁棒的跟踪方法。
技术方案：本发明所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，具体操作步骤如下：
(1.1)、初始化空间正则化权重；采用图像显著性检测算法获取目标区域的显著性图，结合传统空间正则化系数，得到具有目标内容信息的空间正则化权重；
(1.2)、提取目标特征；提取HOG特征、灰度特征和颜色特征这三种传统特征，以及VGG-16网络的Conv4-3层卷积特征；
(1.3)、求解自适应空间正则化权重；采用交叉方向乘子法求解目标函数；
(1.4)、求解滤波器；利用样本稀疏性这一性质和采用交叉方向乘子法降低求解滤波器时的时间复杂度；
(1.5)、特征可靠性评估；根据不同特征在一段时间内的跟踪质量评估出每个特征的可靠性；
(1.6)、特征自适应融合与目标定位；根据每个特征的可靠性进行跟踪响应的自适应加权，最后获取到噪声更少的跟踪响应图，并使用此图进行目标的定位。
进一步的，在步骤(1.1)中，所述初始化空间正则化权重的具体操作步骤如下：在第一帧使用图像显著性检测算法对目标区域进行操作，获取目标区域的显著性图，然后与原空间正则化系数相结合，得到带有目标内容信息的空间正则化权重，结合方式如下：
式(1)中，Smap表示通过单层元胞自动机优化后得出的带有目标内容信息的显著性图；φ表示固定参数；wo表示原空间正则化权重，其矩阵元wo(x，y)表达式为：
式(2)中，xo和yo分别表示第一帧中目标中心的横坐标和纵坐标；W和H分别表示目标的宽和高；ψ和κ都为固定参数。
进一步的，在步骤(1.2)中，所述提取目标特征是提取三种传统特征和一层深度特征，从而对目标进行外观建模；
其中，所述的三种传统特征是HOG特征、灰度特征和颜色特征，用以提取目标的空间信息；所述的一层深度特征使用经过预训练后的VGG-16网络提取的，用以提取目标的语义信息。
进一步的，在步骤(1.3)中，所述求解自适应空间正则化权重的具体过程是：采用交叉方向乘子法对自适应空间正则化权重迭代求解，使空间正则化系数对背景区域进行空间惩罚，从而使得跟踪模型适应目标变化；其中，求解自适应空间正则化权重目标函数如下式所示：
式(3)中，
w1表示向量化后的w，w1r表示向量化后的wr；λ1表示自适应空间正则化项超参数；
利用交叉方向乘子法对上式(3)进行求解；
首先，加入步长参数η，然后，加入辅助变量t构造出限制等式w1＝t，最后，得到增广拉格朗日函数，具体如式所示：
其中，子问题1：求解w1；假设变量t和ζ均为已知变量，可得出下式：
子问题2：求解t；假设变量w1和ζ均为已知变量，可得出下式：
子问题3：求解ζ；拉格朗日乘子ε的更新方案如下式所示：
另外，步长参数η的选择方案如下式所示：
ηi+1＝min[ηmax，δηi] (8)
式(8)中，δ表示尺度因子。
进一步的，在步骤(1.4)中，所述求解滤波器的具体操作过程是：采用交叉方向乘子法对滤波器进行迭代求解，利用前一帧学习到的滤波器对当前帧滤波器进行训练，从而降低滤波器在相邻帧发生的突变；此外，采用更新后的正则化权重对背景区域进行抑制，从而提高跟踪的稳定性；其中，求解滤波器的目标函数如下式所示：
式(9)中，*表示相关操作；⊙表示哈达玛积，即矩阵对位相乘操作；K表示总的特征通道数；xk表示第k个通道的训练样本特征；hk表示第k个通道的滤波器；y表示期望输出，设定为以目标为中心的二维高斯分布函数；wr表示带有目标内容信息的空间正则化先验指导权重；h(t-1)表示前一时刻学习到的滤波器；λ1是自适应空间正则化项超参数；μ是时间正则化项超参数；
利用交叉方向乘子法对式(9)进行求解；其具体是：
首先，引入步长参数β；
其次，加入辅助变量g构造限制等式，即h＝g；
最后，得出的增广拉格朗日函数为：
子问题1：求解h；首先，假设变量g、z及h(t-1)均为已知变量，则该子问题目标函数则如下式所示：
利用傅里叶变换把目标函数转到频域中去，结果如下式所示：
接着，把公式(12)分解成多子问题进行求解，每个子问题的目标函数则如下式所示：
令
得到如下解：
式(14)中，
再结合Sherman-Morrison定理对逆矩阵进行求解，公式(14)又可改写为：
最终，子问题1的解h可由
经过傅里叶逆变换得到；
子问题2：求解g；假设变量w、h及z均为已知变量，则该子问题目标函数则如下式所示：
式(16)的求解是先把第一项变成矩阵化运算，然后直接在实数域中进行算，其解如下式所示：
g＝(WTW+βI)-1(βh+βz) (17)
子问题3：求解
所述拉格朗日乘子
的更新方案如下式所示：
另外；步长参数的选择方案如下式所示：
βi+1＝min[βmax，ρβi] (19)
式(19)中，ρ为尺度因子。
进一步的，在步骤(1.5)中，所述特征可靠性评估具体是指：联合峰值旁瓣比和平均峰值相关能量两个指标对特征进行可靠性评估，在跟踪决策阶段根据计算出的可靠性系数对不同特征的跟踪响应进行加权融合，获得用于目标定位的跟踪响应图；下面是自适应融合特征时需要的具体公式；
首先，给出在第t帧计算一段时间内跟踪响应APCE均值的公式，如下式所示：
式(20)中，Rτ表示第τ帧的跟踪响应；Δt表示调节时间段长度的超参数；然后，给出在第t帧计算一段时间内跟踪响应PSR标准差的公式，如下式所示：
式(21)中，
表示Δt时间段内跟踪响应的PSR均值，定义如下：
最后，给出所述计算特征在第t帧时的可靠性系数的定义式：
式(23)中，υ表示控制PSR标准差影响力的超参数。
进一步的，在步骤(1.6)中，所述特征自适应融合与目标定位具体是指：根据预测目标的尺度变化，引用尺度池，以前一帧滤波器计算得到的目标预测位置为中心，在周围截取多个尺度的候选区域作为当前帧的输入，然后取跟踪响应最大值所对应的目标尺度因子作为当前帧对目标的最佳尺度估计；其中，每个特征的目标响应结果图计算公式如下式所示：
采用尺度池策略来估算目标尺度大小，即以前一帧预测的目标位置为中心，以αr为尺度提取出多个样本图像进行跟踪响应计算，其中α为尺度增量因子，
在跟踪第t+1帧目标时，使用不同特征的可靠性系数和跟踪响应进行加权融合获取最终的响应结果，其中，所述的融合方式具体如下式所示：
式(25)中，Rt+1，final表示第t+1帧中经过特征自适应融合后的最终跟踪响应；Rt+1，feature表示第t+1帧中不同特征的跟踪响应；Ut，feature表示第t帧中经过归一化后的特征可靠性系数，归一化方式如下式所示：
最后，取这S个响应结果中最大响应值所对应的目标尺度和目标位置作为当前第t帧最终的跟踪结果。
有益效果：本发明与现有技术相比，本发明基于相关滤波框架基础，在目标函数中加入时间正则化项和自适应空间正则化项，在跟踪过程中不仅可以对非目标区域进行更为准确的惩罚，有效缓解了边界效应，还防止滤波器发生突变，有效缓解了模型退化问题。同时本发明在三种传统特征的基础上又使用VGG-16网络提取目标的深度特征，增强了模型对目标的表达能力。最后本发明还引入自适应特征融合机制，利用新的特征可靠性评估方式对不同特征进行可靠性的评估，进而在跟踪决策时动态地分配不同特征的贡献占比，提高了多种特征的利用效率，进一步提升了跟踪性能。
附图说明
图1是本发明的操作流程图；
图2是本发明在OPE评估方式下与三种不同算法的跟踪性能对比图；
图3是本发明在OPE评估方式下与三种不同算法分别面对五种挑战因子时的跟踪性能对比图；
图4是本发明与三种不同跟踪方法在四个不同视频序列部分帧上的跟踪结果对比图。
具体实施方式
以下结合附图和具体实施例，对本发明做出进一步说明；在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施的限制。
本发明所述的本发明所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，关于时间正则化和自适应空间正则化的目标跟踪的系统流程框图如图1所示，主要包括图像显著性检测、空间正则化初始权重初始化、空间正则化初始权重更新、滤波器更新和目标定位五个部分；具体操作步骤如下：
(1)、图像显著性检测：采用的是单层元胞自动机优化方式，用来提取初始帧目标的显著性图，使得空间正则化权重带上目标内容信息。
(2)、初始化空间正则化初始权重：本发明在第一帧使用图像显著性检测算法对目标区域进行操作，获取目标区域的显著性图，然后与原空间正则化系数相结合，得到带有目标内容信息的空间正则化权重，利用图像显著性检测得到的带有目标内容信息的显著性图与SRDCF算法中的空间正则化权重相结合，结合方式如下：
式(1)中，Smap表示通过单层元胞自动机优化后得出的带有目标内容信息的显著性图，取值范围为[0,1]；φ表示固定参数；以公式(1)这种初始化方式使得原本SRDCF算法中的空间正则化权重wo带上了目标的内容信息，可以更好地突出目标区域，并对背景区域进行更准确地惩罚；wo表示原空间正则化权重，其矩阵元wo(x，y)表达式为：
式(2)中，xo和yo分别表示第一帧中目标中心的横坐标和纵坐标；W和H分别表示目标的宽和高；ψ和κ都为固定参数；wr初始化完之后，经过向量化操作对目标函数进行优化求解。
进一步的，所述提取目标特征提取三种传统特征和一层深度特征对目标进行外观建模；其中传统特征是HOG特征、灰度特征和颜色特征，可以较好地提取目标的空间信息；深度特征是使用经过预训练后的VGG-16网络提取的，可以较好地提取目标的语义信息。
(3)、求解自适应空间正则化权重(空间正则化初始权重更新)：为了减少计算量和较好地收敛效果，本发明采用交叉方向乘子法对自适应空间正则化权重迭代求解，可以使空间正则化系数对背景区域进行更准确的空间惩罚，从而使得跟踪模型适应目标变化；在使用上一帧中的空间正则化初始权重求解出当前帧的滤波器之后，对空间正则化权重进行自适应更新；
其中，求解自适应空间正则化权重目标函数如下式所示：
式(3)中，
w1表示向量化后的w，w1r表示向量化后的wr；λ1表示自适应空间正则化项超参数；
本发明利用交叉方向乘子法对上式(3)进行求解；本发明利用交叉方向乘子法对上式进行求解；
首先，加入步长参数η，然后，加入辅助变量t构造出限制等式w1＝t，最后，得到增广拉格朗日函数，具体如式所示：
其中，子问题1：求解w1；假设变量t和ζ均为已知变量，可得出下式：
子问题2：求解t；假设变量w1和ζ均为已知变量，可得出下式：
子问题3：求解ζ；拉格朗日乘子ζ的更新方案如下式所示：
另外，步长参数η的选择方案如下式所示：
ηi+1＝min[ηmax，δηi] (8)
式(8)中，δ表示尺度因子。
(4)、求解滤波器更新：为了减少计算量，本发明采用交叉方向乘子法对滤波器进行迭代求解，利用前一帧学习到的滤波器对当前帧滤波器进行训练，从而降低滤波器在相邻帧发生突变的可能；此外，还采用更新后的正则化权重对背景区域进行抑制，从而提高跟踪的稳定性；
在求解出当前帧的空间正则化系数后，对滤波器进行更新，求解滤波器的目标函数如下式所示：
式(9)中，*表示相关操作；⊙表示哈达玛积，即矩阵对位相乘操作；K表示总的特征通道数；xk表示第k个通道的训练样本特征；hk表示第k个通道的滤波器；y表示期望输出，设定为以目标为中心的二维高斯分布函数；wr表示带有目标内容信息的空间正则化先验指导权重；h(t-1)表示前一时刻学习到的滤波器；λ1表示自适应空间正则化项超参数；μ表示时间正则化项超参数；
本发明利用交叉方向乘子法对式(9)进行求解；其具体是：
首先，引入步长参数β；
其次，加入辅助变量g构造限制等式，即h＝g；
最后，得出的增广拉格朗日函数为：
子问题1：求解h；首先，假设变量g、z及h(t-1)均为已知变量，则该子问题目标函数则如下式所示：
利用傅里叶变换把目标函数转到频域中去，结果如下式所示：
接着，把公式(12)分解成多子问题进行求解，每个子问题的目标函数则如下式所示：
令
得到如下解：
式(14)中，
由于
是秩为1的矩阵，本发明再结合Sherman-Morrison定理对逆矩阵进行求解，所以公式(14)又可改写为：
最终，子问题1的解h可由
经过傅里叶逆变换得到；
子问题2：求解g；假设变量w、h及z均为已知变量，则该子问题目标函数则如下式所示：
式(16)的求解是先把第一项变成矩阵化运算，然后直接在实数域中进行算，其解如下式所示：
g＝(WTW+βI)-1(βh+βz) (17)
子问题3：求解
所述拉格朗日乘子
的更新方案如下式所示：
另外；步长参数的选择方案如下式所示：
βi+1＝min[βmax，ρβi] (19)
式(19)中；ρ表示尺度因子；
求出滤波器之后，根据不同特征在一段时间内的跟踪质量进行可靠性评估，
然后根据融合后的跟踪响应图对目标进行定位，主要包括特征提取和跟踪响应融合两个部分；
一、本发明主要提取了灰度特征、颜色特征、HOG特征和VGG-16的Conv4-3层卷积特征对目标进行外观建模；在提取卷积特征后，先通过双三次插值将尺寸大小调整到与三种传统特征一致，接着进行PCA降维来降低特征通道数，减少提取特征时的计算量，并且得到的卷积特征在某些场景下对目标的表达能力更强，可以与三种传统特征进行较好地互补。
二、跟踪响应融合。本发明联合峰值旁瓣比和平均峰值相关能量两个常见的跟踪质量评估指标提出一种特征可靠性评估方式，根据不同特征在一段时间内的跟踪质量评估出在当前帧的可靠性系数，然后在跟踪决策阶段根据可靠性系数对不同特征的跟踪响应进行加权融合，获取噪声更少的跟踪响应图，最后根据此响应图对目标进行定位。
(5)、特征可靠性评估：为了更加合理的评估不同特征的跟踪质量，本发明联合峰值旁瓣比和平均峰值相关能量两个指标对特征进行可靠性评估，在跟踪决策阶段根据计算出的可靠性系数对不同特征的跟踪响应进行加权融合，获得用于目标定位的跟踪响应图；下面是自适应融合特征时需要的具体公式；
首先，给出在第t帧计算一段时间内跟踪响应APCE均值的公式，如下式所示：
式(20)中，Rτ表示第τ帧的跟踪响应；Δt表示调节时间段长度的超参数；然后，给出在第t帧计算一段时间内跟踪响应PSR标准差的公式，如下式所示：
式(21)中，
表示Δt时间段内跟踪响应的PSR均值，定义如下：
最后，给出本章所提的计算特征在第t帧时的可靠性系数的定义式：
式(23)中，υ表示控制PSR标准差影响力的超参数；当
值越大且
值越小时，即跟踪响应一段时间内的APCE均值越大且PSR标准差值越小时，V就越大，说明当前特征训练出的滤波器跟踪质量较为稳定，即此特征对目标的表达能力越好，在下一帧的跟踪响应融合中应给此特征分配较大的先验权值；反之，则说明此特征效果不佳，在下一帧的跟踪中应分配较小的先验权值；在刚开始跟踪的Δt帧内，由于帧数较少且目标变化较小，PSR标准差在这段时间内的变化不明显，因此，为了减少误差，本发明在初始的Δt帧内只使用APCE均值来计算特征可靠性系数。
(6)、特征自适应融合与目标定位：为了更好地预测目标的尺度变化，本发明引用了尺度池，以前一帧滤波器计算得到的目标预测位置为中心，在周围截取多个尺度的候选区域作为当前帧的输入，然后取跟踪响应最大值所对应的目标尺度因子作为当前帧对目标的最佳尺度估计；其中，每个特征的目标响应结果图计算公式如下式所示：
本发明采用尺度池策略来估算目标尺度大小，即以前一帧预测的目标位置为中心，以αr为尺度提取出多个样本图像进行跟踪响应计算，其中α为尺度增量因子，
在跟踪第t+1帧目标时，使用不同特征的可靠性系数和跟踪响应进行加权融合获取最终的响应结果，其中，所述的融合方式具体如下式所示：
式(25)中，Rt+1，final表示第t+1帧中经过特征自适应融合后的最终跟踪响应；Rt+1，feature表示第t+1帧中不同特征的跟踪响应；Ut，feature表示第t帧中经过归一化后的特征可靠性系数，归一化方式如下式所示：
取这S个响应结果中最大响应值所对应的目标尺度和目标位置作为当前第t帧最终的跟踪结果；
最后，根据公式(26)计算出的融合响应图对目标进行定位，即取最大响应值所对应的位置作为预测结果。
评估标准：本发明通过OPE(one pass evaluation)评估标准来衡量跟踪算法的性能，同时从OTB100数据集中选取80个具有挑战性的视频序列进行分析，并与其它跟踪器(DeepSTRCF、HDT、DeepSRDCF等三种跟踪器)在不同挑战因子(目标遮挡、尺度变化、光照变化、目标形变、运动模糊、快速运动、平面内旋转、平面外旋转、超出视野、背景杂乱、低分辨率等)下进行对比，本发明简称为DeepTAASRCF_AFF。
图2是本发明提出的跟踪方法与其他三种不同跟踪方法在跟踪精确度和跟踪成功率方面的比较，从图中可以看出，本发明提供的跟踪方法在跟踪精确度和跟踪成功率方面都有很好的结果；
本发明DeepTAASRCF_AFF算法的跟踪精确度和跟踪成功率在所有对比算法中均为第一名，其中跟踪精确度达到93.0％，跟踪成功率达到71.4％；首先与两个同类型基础算法对比，本章算法与DeepSRDCF算法相比，跟踪精确度和跟踪成功率分别提升了5.6个百分点和5个百分点；与DeepSTRCF算法(加入深度特征后的STRCF算法)相比，跟踪精确度提升了2个百分点，跟踪成功率提升了1个百分点；其次与使用多层深度特征融合的跟踪算法相比，与自适应融合多层卷积层特征的HDT算法相比，两个指标分别提升了6个百分点和13.3个百分点；所以，以上实验结果表明，本发明所提算法DeepTAASRCF_AFF在所选数据集上与对比算法相比具有更好的跟踪效果。
图3是本发明提出的跟踪方法和其他三种不同跟踪方法在OPE评估方式下，面对背景杂乱、运动模糊、平面内旋转、平面外旋转和快速运动五种挑战场景时的跟踪性能比较，从图中可以看出，本发明在面对这些不同挑战因子时有较好的表现；
本发明与对比算法在不同挑战属性下的跟踪性能，本实验选取了五种挑战场景并通过绘制精确度曲线和成功率曲线图来显示不同算法的跟踪性能；可以看出，在背景杂乱、平面外旋转、平面内旋转、快速运动和运动模糊这五种视频属性下，本发明DeepTAASRCF_AFF算法的跟踪精确度和跟踪成功率均排名第一，其中跟踪精确度分别达到93.1％、92.7％、90.5％、89.8％、89.0％，跟踪成功率分别达到71.3％、69.0％、67.4％、70.0％、69.8％；与DeepSRDCF算法相比，本章算法在这五种挑战下的跟踪性能均有一定幅度的优势，其中在平面外旋转挑战下，跟踪精确度和跟踪成功率两个指标分别提升了6.7个百分点和5.8个百分点；在快速运动挑战下两个指标分别提升了5.6个百分点和4.6个百分点。与DeepSTRCF算法相比，在背景杂乱挑战下，跟踪精确度和跟踪成功率分别提高6.1个百分点和4.8个百分点；在平面内旋转挑战下，两个指标分别提高2.5个百分点和2个百分点，本章算法仍有较为明显的优势；与HDT算法相比，本发明在以上五种挑战中均有较大幅度的优势；由以上对比可知，本发明可以在多种复杂场景挑战下进行较为鲁棒地跟踪。
图4为本发明与三种不同跟踪方法在六个不同视频序列部分帧上的跟踪结果对比，从图中可以看出，本发明提出的跟踪方法与其他跟踪方法相比可以更好地跟踪目标，即使发生目标发生较大的形变，也可以继续跟踪目标。由此可见，本发明提出的跟踪方法与一些已有跟踪方法相比，跟踪性能有明显的提高，跟踪结果也更加鲁棒；
本实验选取了3个对比算法，并且在所选数据集中挑选了4个包含了不同挑战属性的视频序列进行跟踪效果的对比展示，分别是(a)CarScale、(b)Doll、(c)Freeman4、(d)Skating2-2等；图4是不同跟踪算法在序列部分帧上的跟踪结果对比；
从图4(a)CarScale序列中可以看出，当目标经历部分遮挡和尺度变化后，到204帧时HDT出现尺寸估计不准确的问题，只跟踪到局部目标，经过运动模糊和进一步尺度变化后，到239帧时，DeepSTRCF可以跟踪到目标但是包含了部分背景区域，而本章算法仍能较为准确地跟踪目标中心区域；在图4(b)Doll序列中的第3378帧上，HDT可以跟踪到目标但是包含了部分背景区域，除了本发明和DeepSTRCF算法外，其余算法均出现尺度估计不准确的问题，之后目标在经过尺度变化、旋转和运动模糊后，本发明法仍能进行较为准确地跟踪；在图4(d)Skating2-2序列中，包含了目标遮挡、目标形变、尺度变化和旋转等挑战，男性运动员是要跟踪的目标，从137帧开始，已经有部分算法跟踪结果包含较多背景区域，在205帧以后，只有本发明可以对目标进行准确地定位和尺度估计；在图4(c)Freeman4序列中，目标主要经历了尺度变化、遮挡和旋转，在243帧时，DeepSTRCF算法出现跟踪漂移现象，HDT算法出现尺度估计不准确现象，只跟踪到目标的局部，而本发明可以较准确地跟踪到目标；从这些视频序列的跟踪结果对比可以看出，本发明具有较好的跟踪准确性和跟踪鲁棒性。
Claims (7)
1.一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，具体操作步骤如下：
(1.1)、初始化空间正则化权重；
(1.2)、提取目标特征；
(1.3)、求解自适应空间正则化权重；
(1.4)、求解滤波器；
(1.5)、特征可靠性评估；
(1.6)、特征自适应融合与目标定位。
2.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，
在步骤(1.1)中，所述初始化空间正则化权重的具体操作步骤如下：在第一帧使用图像显著性检测算法对目标区域进行操作，获取目标区域的显著性图，然后与原空间正则化系数相结合，得到带有目标内容信息的空间正则化权重，结合方式如下：
式(1)中，Smap表示通过单层元胞自动机优化后得出的带有目标内容信息的显著性图；φ表示固定参数；wo表示原空间正则化权重，其矩阵元wo(x，y)表达式为：
式(2)中，xo和yo分别表示第一帧中目标中心的横坐标和纵坐标；W和H分别表示目标的宽和高；ψ和κ都为固定参数。
3.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，
在步骤(1.2)中，所述提取目标特征是提取三种传统特征和一层深度特征，从而对目标进行外观建模；
其中，所述的三种传统特征是HOG特征、灰度特征和颜色特征，用以提取目标的空间信息；所述的一层深度特征使用经过预训练后的VGG-16网络提取的，用以提取目标的语义信息。
4.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，
在步骤(1.3)中，所述求解自适应空间正则化权重的具体过程是：采用交叉方向乘子法对自适应空间正则化权重迭代求解，使空间正则化系数对背景区域进行空间惩罚，从而使得跟踪模型适应目标变化；其中，求解自适应空间正则化权重目标函数如下式所示：
式(3)中，
w1表示向量化后的w，w1r表示向量化后的wr；λ1表示自适应空间正则化项超参数；
利用交叉方向乘子法对上式(3)进行求解；
首先，加入步长参数η，然后，加入辅助变量t构造出限制等式w1＝t，最后，得到增广拉格朗日函数，具体如式所示：
其中，子问题1：求解w1；假设变量t和ζ均为已知变量，可得出下式：
子问题2：求解t；假设变量w1和ζ均为已知变量，可得出下式：
子问题3：求解ζ；拉格朗日乘子ζ的更新方案如下式所示：
另外，步长参数η的选择方案如下式所示：
ηi+1＝min[ηmax，δηi] (8)
式(8)中，δ表示尺度因子。
5.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，
在步骤(1.4)中，所述求解滤波器的具体操作过程是：采用交叉方向乘子法对滤波器进行迭代求解，利用前一帧学习到的滤波器对当前帧滤波器进行训练，从而降低滤波器在相邻帧发生的突变；此外，采用更新后的正则化权重对背景区域进行抑制，从而提高跟踪的稳定性；其中，求解滤波器的目标函数如下式所示：
式(9)中，*表示相关操作；⊙表示哈达玛积，即矩阵对位相乘操作；K表示总的特征通道数；xk表示第k个通道的训练样本特征；hk表示第k个通道的滤波器；y表示期望输出，设定为以目标为中心的二维高斯分布函数；wr表示带有目标内容信息的空间正则化先验指导权重；h(t-1)表示前一时刻学习到的滤波器；λ1表示自适应空间正则化项超参数；μ表示时间正则化项超参数；
利用交叉方向乘子法对式(9)进行求解；其具体是：
首先，引入步长参数β；
其次，加入辅助变量g构造限制等式，即h＝g；
最后，得出的增广拉格朗日函数为：
子问题1：求解h；首先，假设变量g、z及h(t-1)均为已知变量，则该子问题目标函数则如下式所示：
利用傅里叶变换把目标函数转到频域中去，结果如下式所示：
接着，把公式(12)分解成多子问题进行求解，每个子问题的目标函数则如下式所示：
令
得到如下解：
式(14)中，
再结合Sherman-Morrison定理对逆矩阵进行求解，公式(14)又可改写为：
最终，子问题1的解h可由
经过傅里叶逆变换得到；
子问题2：求解g；假设变量w、h及z均为已知变量，则该子问题目标函数则如下式所示：
式(16)的求解是先把第一项变成矩阵化运算，然后直接在实数域中进行算，其解如下式所示：
g＝(WTW+βI)-1(βh+βz) (17)
子问题3：求解
所述拉格朗日乘子
的更新方案如下式所示：
另外；步长参数的选择方案如下式所示：
βi+1＝min[βmax，ρβi] (19)
式(19)中，ρ为尺度因子。
6.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，
在步骤(1.5)中，所述特征可靠性评估具体是指：联合峰值旁瓣比和平均峰值相关能量两个指标对特征进行可靠性评估，在跟踪决策阶段根据计算出的可靠性系数对不同特征的跟踪响应进行加权融合，获得用于目标定位的跟踪响应图；下面是自适应融合特征时需要的具体公式；
首先，给出在第t帧计算一段时间内跟踪响应APCE均值的公式，如下式所示：
式(20)中，Rτ表示第τ帧的跟踪响应；Δt表示调节时间段长度的超参数；
然后，给出在第t帧计算一段时间内跟踪响应PSR标准差的公式，如下式所示：
式(21)中，
表示Δt时间段内跟踪响应的PSR均值，定义如下：
最后，给出所述计算特征在第t帧时的可靠性系数的定义式：
式(23)中，υ表示控制PSR标准差影响力的超参数。
7.根据权利要求1所述的一种基于时空正则化和特征可靠性评估的目标跟踪方法，其特征在于，在步骤(1.6)中，所述特征自适应融合与目标定位具体是指：根据预测目标的尺度变化，引用尺度池，以前一帧滤波器计算得到的目标预测位置为中心，在周围截取多个尺度的候选区域作为当前帧的输入，然后取跟踪响应最大值所对应的目标尺度因子作为当前帧对目标的最佳尺度估计；其中，每个特征的目标响应结果图计算公式如下式所示：
采用尺度池策略来估算目标尺度大小，即以前一帧预测的目标位置为中心，以αr为尺度提取出多个样本图像进行跟踪响应计算，其中α为尺度增量因子，
在跟踪第t+1帧目标时，使用不同特征的可靠性系数和跟踪响应进行加权融合获取最终的响应结果，其中，所述的融合方式具体如下式所示：
式(25)中，Rt+1，final表示第t+1帧中经过特征自适应融合后的最终跟踪响应；Rt+1，feature表示第t+1帧中不同特征的跟踪响应；Ut，feature表示第t帧中经过归一化后的特征可靠性系数，归一化方式如下式所示：
最后，取这S个响应结果中最大响应值所对应的目标尺度和目标位置作为当前第t帧最终的跟踪结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110641752.6A CN113344973B (zh) | 2021-06-09 | 2021-06-09 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110641752.6A CN113344973B (zh) | 2021-06-09 | 2021-06-09 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344973A true CN113344973A (zh) | 2021-09-03 |
| CN113344973B CN113344973B (zh) | 2023-11-24 |
Family
ID=77475950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110641752.6A Active CN113344973B (zh) | 2021-06-09 | 2021-06-09 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344973B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838093A (zh) * | 2021-09-24 | 2021-12-24 | 重庆邮电大学 | 基于空间正则化相关滤波器的自适应多特征融合跟踪方法 |
| CN114125471A (zh) * | 2021-11-27 | 2022-03-01 | 北京工业大学 | 一种视频编码前置滤波方法 |
| CN115239760A (zh) * | 2022-06-17 | 2022-10-25 | 湖北大学 | 一种目标跟踪方法、系统、设备及存储介质 |
| US11821986B1 (en) | 2023-06-16 | 2023-11-21 | Hubei University | Target tracking method, system, device and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135500A (zh) * | 2019-05-17 | 2019-08-16 | 南京大学 | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 |
| CN110175649A (zh) * | 2019-05-28 | 2019-08-27 | 南京信息工程大学 | 一种关于重新检测的快速多尺度估计目标跟踪方法 |
| CN111145121A (zh) * | 2019-12-27 | 2020-05-12 | 安徽工业大学 | 一种强化多特征融合的置信项滤波器目标跟踪方法 |
| CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
| CN111539985A (zh) * | 2019-12-31 | 2020-08-14 | 昆明理工大学 | 一种融合多特征的自适应运动目标跟踪方法 |
| WO2020228522A1 (zh) * | 2019-05-10 | 2020-11-19 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN112330716A (zh) * | 2020-11-11 | 2021-02-05 | 南京邮电大学 | 一种基于可抑制异常的时空通道约束相关滤波跟踪方法 |
-
2021
- 2021-06-09 CN CN202110641752.6A patent/CN113344973B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020228522A1 (zh) * | 2019-05-10 | 2020-11-19 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN110135500A (zh) * | 2019-05-17 | 2019-08-16 | 南京大学 | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 |
| CN110175649A (zh) * | 2019-05-28 | 2019-08-27 | 南京信息工程大学 | 一种关于重新检测的快速多尺度估计目标跟踪方法 |
| CN111145121A (zh) * | 2019-12-27 | 2020-05-12 | 安徽工业大学 | 一种强化多特征融合的置信项滤波器目标跟踪方法 |
| CN111539985A (zh) * | 2019-12-31 | 2020-08-14 | 昆明理工大学 | 一种融合多特征的自适应运动目标跟踪方法 |
| CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
| CN112330716A (zh) * | 2020-11-11 | 2021-02-05 | 南京邮电大学 | 一种基于可抑制异常的时空通道约束相关滤波跟踪方法 |
Non-Patent Citations (6)
| Title |
|---|
| MARTIN DANELLJAN 等: "Learning Spatially Regularized Correlation Filters for Visual Tracking", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 4310 - 4318 * |
| MENGMENG WANG 等: "Large Margin Object Tracking with Circulant Feature Maps", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 4800 - 4808 * |
| 何冉 等: "特征融合与尺度自适应的核相关滤波目标跟踪", 《计算机工程与设计》, no. 06, pages 1706 - 1712 * |
| 陈法领 等: "自适应特征融合的多尺度核相关滤波目标跟踪", 《光学学报》, no. 2020, pages 1 - 12 * |
| 韩庆 等: "基于时间感知和自适应空间正则化的相关滤波跟踪算法", 光学学报, no. 2020, pages 2 - 4 * |
| 韩庆: "时空正则化与特征可靠性评估的相关滤波跟踪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2022, pages 135 - 821 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838093A (zh) * | 2021-09-24 | 2021-12-24 | 重庆邮电大学 | 基于空间正则化相关滤波器的自适应多特征融合跟踪方法 |
| CN113838093B (zh) * | 2021-09-24 | 2024-03-19 | 重庆邮电大学 | 基于空间正则化相关滤波器的自适应多特征融合跟踪方法 |
| CN114125471A (zh) * | 2021-11-27 | 2022-03-01 | 北京工业大学 | 一种视频编码前置滤波方法 |
| CN115239760A (zh) * | 2022-06-17 | 2022-10-25 | 湖北大学 | 一种目标跟踪方法、系统、设备及存储介质 |
| US11821986B1 (en) | 2023-06-16 | 2023-11-21 | Hubei University | Target tracking method, system, device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344973B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113344973B (zh) | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 | |
| CN109816689B (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
| CN107341820B (zh) | 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法 | |
| CN110135500B (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
| CN109741366B (zh) | 一种融合多层卷积特征的相关滤波目标跟踪方法 | |
| CN111563915B (zh) | 一种融合运动信息检测和Radon变换的KCF目标跟踪方法 | |
| CN112233147B (zh) | 一种基于双路孪生网络的视频运动目标跟踪方法及装置 | |
| CN112651998B (zh) | 基于注意力机制和双流多域卷积神经网络的人体跟踪算法 | |
| CN107833239B (zh) | 一种基于加权模型约束的寻优匹配目标跟踪方法 | |
| CN112348849A (zh) | 一种孪生网络视频目标跟踪方法及装置 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN111080675A (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
| CN112330716B (zh) | 一种基于可抑制异常的时空通道约束相关滤波跟踪方法 | |
| CN111583294B (zh) | 一种结合尺度自适应与模型更新的目标跟踪方法 | |
| CN111340842B (zh) | 一种基于联合模型的相关滤波目标跟踪方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN110942472A (zh) | 一种基于特征融合与自适应分块的核相关滤波跟踪方法 | |
| CN112614163A (zh) | 一种融合贝叶斯轨迹推理的目标跟踪方法及系统 | |
| CN112598711B (zh) | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 | |
| CN112116627A (zh) | 一种基于近似主成分分析的红外目标跟踪方法 | |
| CN116543021A (zh) | 一种基于特征融合的Siamese网络视频单目标跟踪方法 | |
| CN109492530A (zh) | 基于深度多尺度时空特征的健壮性视觉物体跟踪算法 | |
| Zhang et al. | Peakconv: Learning peak receptive field for radar semantic segmentation | |
| Tian et al. | Lightweight dual-task networks for crowd counting in aerial images | |
| CN110660079A (zh) | 一种基于时空上下文的单目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |