CN112614158B - 一种采样框自适应的多特征融合在线目标跟踪方法 - Google Patents
一种采样框自适应的多特征融合在线目标跟踪方法 Download PDFInfo
- Publication number
- CN112614158B CN112614158B CN202011500416.1A CN202011500416A CN112614158B CN 112614158 B CN112614158 B CN 112614158B CN 202011500416 A CN202011500416 A CN 202011500416A CN 112614158 B CN112614158 B CN 112614158B
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- sampling frame
- classifier
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种采样框自适应的多特征融合在线目标跟踪方法,能够使用多种特征的不同信息进行稳定跟踪,并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。本发明的采样框自适应的多特征融合的在线目标跟踪方法,采用跟踪特征融合和跟踪质量预测策略,与传统的核化相关滤波器相比,能够使用多种特征的不同信息进行稳定跟踪,并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。
Description
技术领域
本发明属于单目标在线跟踪技术领域,涉及一种采样框自适应的多特征融合在线目标跟踪方法。
背景技术
为了开发并提高计算机视觉智能,首先,计算机需要加装感光元件以得到基本的图片信号。然后,计算机利用自身的硬件资源和软件资源对图像信号进行处理,来得到对图像信号的“理解”,比如目标种类、目标位置等高级信息。进而,设计者可以把这种智能嵌入到复杂系统中使得系统可以完成控制或者监控任务。包括机器人和自动驾驶车辆的控制、运动和生物医药的视觉测量、人机交互、视频内容信息分析和检索、动作捕捉、影视制作、增强现实等任务,其中,种种任务中关键的一环就是目标跟踪技术。
在目标跟踪技术中,生成式目标跟踪学习的是目标的特征,难以区分背景中与目标相似的部分,故使用判别式目标跟踪对目标与周围背景做区分,得到更准确的跟踪结果。在线判别式跟踪的思想是在线训练一个区分目标与背景的二分类器,并在跟踪过程中不断更新分类器使之对外观变化的目标和背景保持分类的能力。但是,目前通常使用的经典相关滤波在线跟踪方法,不能有效利用多种特征区分目标与背景,不能有效克服初始给定目标矩形采样框对训练过程的影响,将会导致跟踪效果变差。可见,现有的在线目标跟踪方法只能利用单一特征实现目标与背景区分,区分结果误差出现率较高,另外采样框也不能自适应调整。
发明内容
有鉴于此,本发明提出了一种采样框自适应的多特征融合在线目标跟踪方法,能够使用多种特征的不同信息进行稳定跟踪,并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。
为实现上述目的,本发明技术方案如下:
本发明的一种采样框自适应的多特征融合在线目标跟踪方法,包括如下步骤:
步骤1、输入目标初始中心位置x1=[x1,x2]、目标初始尺寸s1=[s1,s2]以及超参数;
其中,上标1指代视频中图片平面直角坐标系的第一条坐标轴,称为长,上标2指代视频中图片平面直角坐标系的第二条坐标轴,称为宽;
所述超参数包括基础扩充倍数pbase、跟踪特征种类数NF、核函数fker、核函数决定的核空间变化函数高斯函数方差系数γσ、均值为0方差为σ的标签高斯函数fgau、正则项系数λ1,λ2、显著值点系数γlar、模型更新率θupdate、模型更新阈值系数γupdate、最优采样框选择时刻kcho、背景采样偏移池自适应采样框池以及尺度金字塔比例系数集合,其中x1和s1是二维向量,pbase、NF、σ、γlar、θupdate和γupdate是标量,kcho是正整数,fker、和fgau是函数,向量集合中向量的两个元素分别为以x1为中心的采样框的长和宽,为基础扩充采样框的长和宽;
步骤2、对当前时刻k,此时k=1,根据目标当前中心位置xk和目标当前尺寸sk,训练跟踪分类器,然后将k+1赋值给k;
步骤4、对当前时刻k,分析各采样框的总响应图,得到各采样框的目标跟踪结果,对跟踪分类器训练过程产生的数据做进一步处理,为计算跟踪质量预测特征做准备;
步骤5、对当前时刻k,利用各采样框的目标跟踪结果训练该时刻的跟踪分类器,并更新跟踪分类器和目标特征模板;
步骤7,将k+1赋值给k,判断当前时刻k与kcho是否相等;
若相等,即到达设定的选择自适应采样框时刻kcho,使用各采样框的跟踪过程中的数据,计算采样框的跟踪质量预测特征向量,预测采样框的跟踪质量,选择最优的采样框;
若不相等,则判断当前时刻k下,是否有待处理图像;若有,返回执行步骤3;若无,算法结束,得到当前时刻k的目标当前中心位置xk与目标当前尺寸sk。
其中,所述步骤2中,训练跟踪分类器的具体方法如下:
nS=0,1,…,NS,nM=1,…,NM
所述脊回归优化问题可在频域进行求解,求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
其中,所述步骤3中,利用各采样框的跟踪分类器得到跟踪响应图的具体方法如下:
利用上一时刻自适应采样框池以xk-1为中心,中向量乘以尺度金字塔比例系数得到形状参数,截取得到各采样框内的图片,缩放到自适应采样框池中对应尺寸,得到图片提取为NM种特征的待跟踪模板,利用跟踪分类器计算响应图,计算公式如下:
计算各响应图的评价指标,公式如下:
利用此评价指标进行加权融合得到各采样框的总响应图,公式如下:
其中,所述步骤4中,得到各采样框的目标跟踪结果的具体方法如下:
其中,所述步骤4中,对跟踪分类器训练过程产生的数据做进一步处理的具体方法为:
对跟踪分类器,提取其中心区域极大值点的数量和比例显著值点的数量和比例跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域,极大值点设置为大于或等于周围11×11个元素的点,显著值点设置为大于或等于的点,统计落入中心区域的极大值点和显著值点的数量统计全部极大值点和显著值点的数量并计算比例:
其中,所述步骤5中,训练k时刻的跟踪分类器,并更新跟踪分类器和目标特征模板的具体方法如下:
计算k时刻自适应采样框以为中心,中向量为形状参数,截取得到各采样框及偏移采样框内的图片,缩放到自适应采样框池中对应尺寸得到提取各缩放后图片的NM种特征作为目标特征模板和背景特征模板,计算得到高斯标签建立脊回归优化问题,训练NS+1种采样框M种特征的跟踪分类器
nS=0,1,…,NS,nM=1,…,NM
所述脊回归优化问题可在频域进行求解,注意求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
对各采样框,当响应值最大值大于设定阈值时,对跟踪分类器和特征模板进行更新,否则不更新,公式如下:
其中,选择最优的采样框的具体方法如下:
计算基于响应图的质量预测特征,公式如下:
计算基于特征模板的质量预测特征,目标特征模板和待跟踪特征模板之差,公式如下:
在k时刻,跟踪分类器根据待跟踪特征模板得到目标位置,进一步得到目标特征模板,两者之差能够表示目标移动导致的特征模板变化,即目标移动带来的跟踪复杂性,其累和与此次目标跟踪的复杂程度成正比;
目标特征模板在投影方向的缩减,公式如下:
其中,是初始目标特征模板到当前目标特征模板的向量即投影方向,是待跟踪目标特征模板到当前目标特征模板的向量即缩减向量;规定到的方向为投影方向,计算k时刻跟踪器使沿投影方向的缩减,与k时刻跟踪分类器的有效性成正比;
目标特征模板的复杂度,公式如下:
选择质量预测值最大的自适应采样框作为最优采样框,其编号为:
自适应采样框池中仅保留最优采样框,公式如下:
有益效果:
本发明的采样框自适应的多特征融合的在线目标跟踪方法,采用跟踪特征融合和跟踪质量预测策略,与传统的核化相关滤波器相比,能够使用多种特征的不同信息进行稳定跟踪,并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。分类器训练中使用理想的分类结果作为标签,利用标签的设计原则对真实分类结果进行评价,可以评判分类结果的有效性。跟踪过程是一个不断更新分类器并使用分类器区分目标的过程,利用历史跟踪数据,对不同变形的目标矩形框进行跟踪过程的质量预测选择最优的自适应目标采样矩形框,可以提高分类器的准确性。在给定目标矩形框不准确或不适用于目标跟踪器训练的情况下,本发明能够进行更为准确稳定的跟踪。
附图说明
图1为本发明所述采样框自适应的多特征融合在线目标跟踪方法的计算机流程框图。
图2为本发明具体仿真实验所用数据集初始时刻目标及目标矩形框示意图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
在线目标跟踪问题描述为,在时刻k(k=1,2,…)给出对应时刻的图片,系统无法获得之后时刻的图片,仅在时刻k=1,给定目标中心位置x1和目标尺寸s1,要求在时刻k(k=1,2,…)给出目标当前中心位置xk和目标当前尺寸sk。
硬件环境:计算机;相关器
软件配置:Windows 7/10;MATLAB或C语言或C++等任何一种语言环境软件。
本发明采样框自适应的多特征融合在线目标跟踪方法的方框图如图1所示,包括如下步骤:
步骤1、输入目标初始中心位置x1=[x1,x2]、目标初始尺寸s1=[s1,s2]以及超参数;
其中,上标1和2分别指代视频中图片平面直角坐标系的第一条坐标轴(称为长)和第二条坐标轴(称为宽);
所述超参数包括基础扩充倍数pbase、跟踪特征种类数NF、核函数fker、核函数决定的核空间变化函数高斯函数方差系数γσ、均值为0方差为σ的标签高斯函数fgau、正则项系数λ1,λ2、显著值点系数γlar、模型更新率θupdate、模型更新阈值系数γupdate、最优采样框选择时刻kcho、背景采样偏移池自适应采样框池以及尺度金字塔比例系数集合其中x1和s1是二维向量,pbase、NF、σ、γlar、θupdate和γupdate是标量,kcho是正整数,fker、和fgau是函数,向量集合中向量的两个元素分别为以x1为中心的采样框的长和宽,为基础扩充采样框的长和宽。
步骤2、对时刻k=1,根据目标当前中心位置xk和目标当前尺寸sk,训练跟踪分类器。具体方法如下:
计算S0,1=S1以及自适应采样框池中的其他向量,记作以xk为中心,中向量为形状参数,截取得到各采样框内的图片以及各采样框进行偏移后对背景采样的图片提取各图片的NM种特征作为目标特征模板和背景特征模板,计算得到高斯标签建立脊回归优化问题,训练NS+1种采样框M种特征的跟踪分类器建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量
nS=0,1,…,NS,nM=1,…,NM
该脊回归优化问题可在频域进行快速求解,注意求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
然后将k+1赋值给k,执行步骤3;
利用上一时刻自适应采样框池以xk-1为中心,中向量乘以尺度金字塔比例系数得到形状参数,截取得到各采样框内的图片,缩放到自适应采样框池中对应尺寸,得到图片提取为NM种特征的待跟踪模板,利用跟踪分类器计算响应图,计算公式如下:
利用此评价指标进行加权融合得到各采样框的总响应图,公式如下:
步骤4、对时刻k(k=2,3,…),分析各采样框的总响应图,得到各采样框的目标跟踪结果,即各采样框的目标当前中心位置和目标当前尺寸对跟踪分类器训练过程产生的数据做进一步处理,为计算跟踪质量预测特征做准备。
具体方法如下:
对各采样框,寻找总响应图的最大的响应值,该响应值位置l与两个时刻之间目标的位移l*有关,该响应值对应的下标nK表示两个时刻之间目标尺度变化系数,公式如下:
对跟踪分类器,提取其中心区域极大值点的数量和比例显著值点的数量和比例跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域,极大值点设置为大于或等于周围11×11个元素的点,显著值点设置为大于或等于的点,统计落入中心区域的极大值点和显著值点的数量统计全部极大值点和显著值点的数量并计算比例:
步骤5、对时刻k(k=2,3,…),利用各采样框的目标跟踪结果训练该时刻的跟踪分类器,并更新跟踪分类器和目标特征模板。具体方法如下:
计算k时刻自适应采样框以为中心,中向量为形状参数,截取得到各采样框及偏移采样框内的图片,缩放到自适应采样框池中对应尺寸得到提取各缩放后图片的NM种特征作为目标特征模板和背景特征模板,计算得到高斯标签建立脊回归优化问题,训练NS+1种采样框M种特征的跟踪分类器其中,建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量ytrack,
nS=0,1,…,NS,nM=1,…,NM
所述脊回归优化问题可在频域进行快速求解,注意求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
对各采样框,当响应值最大值大于设定阈值时,对跟踪分类器和特征模板进行更新,否则不更新,公式如下:
步骤7、将k+1赋值给k,判断当前时刻k与kcho是否相等;
若相等,对时刻k=kcho,即到达设定的选择自适应采样框时刻kcho,使用各采样框的跟踪过程中的数据,计算采样框的跟踪质量预测特征向量,预测采样框的跟踪质量,选择最优的采样框。具体方法如下:
计算基于响应图的质量预测特征,公式如下:
其中为响应图的最大值,为响应图的峰值旁瓣比,为响应图的Q指标。最大值的位置是目标在两帧之间发生的位移,而最大值的值代表跟踪结果与目标的相似程度正相关,常用于当前时刻跟踪结果好坏的判断;峰值旁瓣比的意义是响应图主峰较于第二峰值的显著程度,由经验可知,若该值在4~7之间,跟踪结果不可靠,若该值大于15,该值常用于当前时刻的遮挡检测;Q指标代表了实际响应图与理想响应图的差距,曾用于相关滤波器网络中的跟踪效果判断。
计算基于响应图的质量预测特征,公式如下:
这四个特征利用了中心区域极大值点的数量和比例显著值点的数量和比例跟踪分类器在目标函数下训练得出,由于相关滤波算法理论上存在边界效应,只有分类器中心区域的参数是由真实样本训练得出的,而其余部分的参数训练或多或少地使用了一些虚构的样本。分类器与特征模板做相关操作,使得分类器某一位置的参数越大,其对最终跟踪结果的影响越大。而且在二范数正则项的作用下,分类器参数的三维图像为分散分布的若干个凸起。因此,本发明设计中心区域极大值点的数量用来描述凸起的个数,其占所有极值点的比例代表了对应采样框下分类器对真实样本的注意力,中心区域显著值点用来描述凸起的程度,其占所有显著值点的比例也代表了对应采样框下分类器对真实样本的注意力。
计算基于特征模板的质量预测特征,目标特征模板和待跟踪特征模板之差,公式如下:
在k时刻,跟踪分类器根据待跟踪特征模板得到目标位置,进一步得到目标特征模板,两者之差能够表示目标移动导致的特征模板变化,即目标移动带来的跟踪复杂性,其累和与此次目标跟踪的复杂程度成正比。
目标特征模板在投影方向的缩减,公式如下:
其中,是初始目标特征模板到当前目标特征模板的向量即投影方向,是待跟踪目标特征模板到当前目标特征模板的向量即缩减向量。理想情况下,跟踪器应使得待跟踪目标特征模板回归到初始目标特征模板实际情况是仅仅回归到当前目标特征模板规定到的方向为投影方向,计算k时刻跟踪器使沿投影方向的缩减,与k时刻跟踪分类器的有效性成正比。
目标特征模板的复杂度,公式如下:
该特征主要关注各帧目标特征模板与初始帧的差别,先将前kcho-1帧目标特征模板与初始帧的的目标特征模板差向量归一化为单位向量,然后计算向量两两之间的内积作为两两的相似性,减去向量与自身的内积后作和得到该特征,其反映了各帧目标特征模板以初始帧目标特征模板为中心,在特征空间分布的散乱程度,反映了目标的外观变化,其与此次目标跟踪的准确度成反比,与目标外观变化有关。
选择质量预测值最大的自适应采样框作为最优采样框,其编号为:
自适应采样框池中仅保留最优采样框,公式如下:
若不相等,则判断k是否有待处理图像;若有,返回执行步骤3;若无,算法结束,得到当前时刻k的目标当前中心位置xk与目标当前尺寸sk。
综上,本发明采用跟踪特征融合策略,与直接使用多个特征跟踪相比,在某个或某些特征不适合跟踪时,不会受到恶劣特征的严重影响,对稳定特征赋予更高的置信度,提高目标跟踪的稳定性,抗噪、抗干扰能力强,能够提高系统的目标跟踪精度,即使在梯度特征因为镜头抖动而失效的情况下,采用特征融合技术融合利用多个特征的信息将对稳定的特征的跟踪结果赋予高置信度,使得融合跟踪结果要比使用单一特征或无区分地使用多特征的目标跟踪更为稳定;采用跟踪质量预测策略,在一组自适应采样框中选取最优的采样框,提高分类器的有效性,即训练所得基于相关滤波的跟踪分类器对目标与背景分类器准确性更高,克服了对目标矩形框和基础扩充参数的严格要求,使得参数调整变得简单,整体跟踪方法更为稳定。能够提高系统的可靠性。以道路监控中目标跟踪为背景,如果只有一种扩充采样系数,则难以同时保证对车辆和行人等形态差异大的不同类别目标的跟踪鲁棒性,而自适应采样框池的设置使得系统可以选取适合某类目标的扩充采样框进行跟踪,因此质量预测的自适应采样框无疑将提高系统的可靠性。可直接用于给定简单矩形框后的目标跟踪,并且方法实施简单,易于推广,在目标跟踪、视频压缩、人机交互、影视制作、视频监控等许多应用领域都有潜在价值。
下面将通过仿真实验测试本发明方法的有效性。
使用公开的大型目标跟踪数据集OTB 2015中的图片序列进行跟踪实验,在时刻k(k=1,2,3,…)仅输入系统当前时刻的图片,在时刻k=1将数据集给出的目标位置和目标尺寸输入系统中。图2给出若干图片序列初始时刻图片和目标矩形框的示意图。
本发明提出的在线目标跟踪算法与其他算法的比较,使用两个评价指标,精确度和成功率。精确度是指中心定位误差(Center Location Error,CLE)比某一范围更小的帧数与所有帧数的比值。CLE是目标中心位置与实际目标中心位置之间的欧氏距离的具体表现。成功率是指重叠率(Overlap Rate,OR)比某一范围更大的帧数与总帧数的比值。OR表示目标矩形框与目标实际矩形框的重叠程度。
实验一验证本发明的七种跟踪质量特征的有效性。实验使用的基础算法为背景感知的自适应尺度的多特征算法(sale adaptive tracker with multiple features andcontext-aware method,SAMF_CA),基础算法在每帧跟踪完成时都会对跟踪器进行训练和更新,为验证跟踪质量特征的有效性,在此基础上,使用跟踪质量特征对跟踪过程中的结果进行评价,在跟踪结果准确的时刻进行跟踪器的训练和更新,将此算法简记为“特征i评价”(i为前文特征序号),理论上去除定位不准确、遮挡等情形下的训练样本,将提高训练样本集的准确程度和跟踪准确性,本实验比较基础算法SAMF_CA和七种改进算法“特征i评价”在OTB 2015上的跟踪准确性。实验使用的超参数除跟踪器更新速度θupdate不同外所有参数相同,SAMF_CA的θupdate设置为0.005,考虑到“特征i评价”算法不在每一时刻进行更新,θupdate统一设置为0.015,并设计了单阈值或双阈值的跟踪质量评价方法,当跟踪质量特征大于设定阈值或处于设定的两个阈值之间时进行跟踪器更新,这些阈值的设置在所有测试视频中不做调整。
使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪,统计每张图片目标跟踪结果,与真实目标矩形框比较并观察所提算法的有效性。仿真结果如表1所示。
表1
从表1可以看出,除使用特征7作为质量预测模型的特征时,各个跟踪质量特征的改进算法在CLE和OR指标上都优于基础算法,验证了所提跟踪质量特征确实能够反映当前时刻的跟踪质量,有助于跟踪结果的评价和跟踪算法的改进。
实验二为多特征跟踪质量预测用于自适应采样框目标跟踪,实验使用多种比较算法,验证设计的跟踪质量特征及自适应采样的有效性。实验使用的超参数如下:基础扩充倍数pbase=2,跟踪特征种类数NF=3,三类特征分别为方向梯度直方图、颜色命名特征、局部灰度直方图,核函数fker为线性核函数,即核函数决定的核空间变化函数存在且计算过程中不需显式给出,高斯函数方差系数kσ=0.1,正则项系数λ1=0.0001,λ2=20,显著值点系数klar=0.4,模型更新率θupdate设置为0.005(彩色图片)和0.015(灰度图片),模型更新阈值系数kupdate设置为0.1(彩色图片)和0.4(灰度图片),最优采样框选择时刻kcho=10。
背景采样偏移池、自适应采样框池、尺度金字塔比例系数集合给定如下:
使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪,统计每张图片目标跟踪结果,与真实目标矩形框比较并观察所提算法的有效性。仿真结果如表2—表5所示。部分所提算法只使用了提出的特征融合跟踪策略,整体跟踪算法使用了特征融合跟踪和跟踪质量预测策略。
表2
表2表示各算法在OTB 2015所有图片序列中的精确度和成功率。从表2可以看出,部分所提算法已经优于其他对比算法,整体所提算法则进一步提高了精确度和成功率。这说明,本发明的两种改进策略可以共同提高在线目标跟踪的鲁棒性和精确性。
表3
表3表示各算法在OTB 2015具有背景杂波特性的图片序列中的精确度和成功率。从表3可以看出,部分所提算法已经优于其他对比算法,整体所提算法则进一步提高了精确度和成功率。这说明,本发明的两种改进策略使得在线目标跟踪算法可以更好地区分目标和背景中与目标相似的部分。
表4
表4表示各算法在OTB 2015具有离面运动特性的图片序列中的精确度和成功率。从表4可以看出,部分所提算法已经优于几乎所有其他对比算法,整体所提算法则优于其他对比算法。这说明,本发明的两种改进策略使得在线目标跟踪算法可以更好地跟踪在相机感光面上做非平移运动的目标,而且基于质量预测的自适应采样框策略在提高跟踪成功率有重要作用。
表5
表5表示各算法在OTB 2015具有变形特性的图片序列中的精确度和成功率。从表5可以看出,部分所提算法已经优于其他对比算法,整体所提算法进一步提高了精确度和成功率。这说明,本发明的两种改进策略使得在线目标跟踪算法可以更好地跟踪在发生变形的目标,而且部分所提算法贡献了大部分的评价指标提升。这是因为变形使得目标梯度特征不可靠,而其余两种特征仍是可靠的,特征融合跟踪策略赋予可靠特征更高的置信度,使得在线目标跟踪更鲁棒。
总之,从本部分的仿真可以看出,本发明提出的采样框自适应的多特征融合在线目标跟踪算法有很好的仿真效果,且特征融合跟踪和跟踪质量预测策略在不同情况下保证了整体算法的优越性。
实验三为实验二的延续,实验使用不同种跟踪质量特征的质量预测对跟踪结果的影响,验证设计的跟踪质量特征都在跟踪准确性的提高中有不同的影响,以及所有跟踪特征质量预测的优越性。实验首先使用数量从少到多的特征进行跟踪实验,然后使用所有特征及只去除一种特征的情形下进行跟踪实验。实验使用的超参数如下和实验二相同。
实验使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪,统计每张图片目标跟踪结果,与真实目标矩形框比较并观察所提算法的有效性。实验所用的跟踪算法都使用了质量预测进行采样框自适应,各算法使用的质量预测特征的种类和数目不同,与不使用采样框自适应的算法作比较,结果如表6所示。
表6
其中特征1,2,3是经典评价指标,特征4,5,6,7是关于分类器参数分布的特征,特征8,9,10是关于用于训练的跟踪特征的质量预测特征,可以看出前两种特征整体上进行判断可以得到优于基础算法,使用三种特征能够进一步提高质量预测的效果。
实验还选择不使用各个特征在全数据集上进行,各算法结果如下表7所示。
表7
表7中数据说明,某种特征的不使用都会引起精确度不同程度的下降。
实验三验证了每个特征均贡献了跟踪质量预测的准确程度,使用全部特征的精确度能够使跟踪效果达到最优。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种采样框自适应的多特征融合在线目标跟踪方法,其特征在于,包括如下步骤:
步骤1、输入目标初始中心位置x1=[x1,x2]、目标初始尺寸s1=[s1,s2]以及超参数;
其中,上标1指代视频中图片平面直角坐标系的第一条坐标轴,称为长,上标2指代视频中图片平面直角坐标系的第二条坐标轴,称为宽;
所述超参数包括基础扩充倍数pbase、跟踪特征种类数NF、核函数fker、核函数决定的核空间变化函数高斯函数方差系数γσ、均值为0方差为σ的标签高斯函数fgau、正则项系数λ1,λ2、显著值点系数γlar、模型更新率θupdate、模型更新阈值系数γupdate、最优采样框选择时刻kcho、背景采样偏移池自适应采样框池以及尺度金字塔比例系数集合,其中x1和s1是二维向量,pbase、NF、σ、γlar、θupdate和γupdate是标量,kcho是正整数,fker、和fgau是函数,向量集合中向量的两个元素分别为以x1为中心的采样框的长和宽,为基础扩充采样框的长和宽;
步骤4、对当前时刻k,分析各采样框的总响应图,得到各采样框的目标跟踪结果,对跟踪分类器训练过程产生的数据做进一步处理,为计算跟踪质量预测特征做准备;
步骤5、对当前时刻k,利用各采样框的目标跟踪结果训练该时刻的跟踪分类器,并更新跟踪分类器和目标特征模板;
步骤7,将k+1赋值给k,判断当前时刻k与kcho是否相等;
若相等,即到达设定的选择自适应采样框时刻kcho,使用各采样框的跟踪过程中的数据,计算采样框的跟踪质量预测特征向量,预测采样框的跟踪质量,选择最优的采样框;
其中,选择最优的采样框的具体方法如下:
计算基于响应图的质量预测特征,公式如下:
计算基于特征模板的质量预测特征,目标特征模板和待跟踪特征模板之差,公式如下:
在k时刻,跟踪分类器根据待跟踪特征模板得到目标位置,进一步得到目标特征模板,两者之差能够表示目标移动导致的特征模板变化,即目标移动带来的跟踪复杂性,其累和与此次目标跟踪的复杂程度成正比;
目标特征模板在投影方向的缩减,公式如下:
其中,是初始目标特征模板到当前目标特征模板的向量即投影方向,是待跟踪目标特征模板到当前目标特征模板的向量即缩减向量;规定到的方向为投影方向,计算k时刻跟踪器使沿投影方向的缩减,与k时刻跟踪分类器的有效性成正比;
目标特征模板的复杂度,公式如下:
选择质量预测值最大的自适应采样框作为最优采样框,其编号为:
自适应采样框池中仅保留最优采样框,公式如下:
若不相等,则判断当前时刻k下,是否有待处理图像;若有,返回执行步骤3;若无,算法结束,得到当前时刻k的目标当前中心位置xk与目标当前尺寸sk。
2.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法,其特征在于,所述步骤2中,训练跟踪分类器的具体方法如下:
所述脊回归优化问题可在频域进行求解,求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
其中^表示对矩阵做二维离散傅里叶变换,(·)*表示对矩阵取共轭,⊙是矩阵元素级乘法,分数线是矩阵元素及除法,核函数fker(·)对两个矩阵相同位置的元素进行核函数计算并按顺序排列为矩阵。
6.如权利要求5所述的采样框自适应的多特征融合在线目标跟踪方法,其特征在于,所述步骤4中,对跟踪分类器训练过程产生的数据做进一步处理的具体方法为:
对跟踪分类器,提取其中心区域极大值点的数量和比例显著值点的数量和比例跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域,极大值点设置为大于或等于周围11×11个元素的点,显著值点设置为大于或等于的点,统计落入中心区域的极大值点和显著值点的数量统计全部极大值点和显著值点的数量并计算比例:
7.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法,其特征在于,所述步骤5中,训练k时刻的跟踪分类器,并更新跟踪分类器和目标特征模板的具体方法如下:
计算k时刻自适应采样框以为中心,中向量为形状参数,截取得到各采样框及偏移采样框内的图片,缩放到自适应采样框池中对应尺寸得到提取各缩放后图片的NM种特征作为目标特征模板和背景特征模板,计算得到高斯标签建立脊回归优化问题,训练NS+1种采样框M种特征的跟踪分类器
所述脊回归优化问题可在频域进行求解,注意求解使用的是特征与跟踪分类器的矩阵形式,公式如下:
其中^表示对矩阵做二维离散傅里叶变换,(·)*表示对矩阵取共轭,⊙是矩阵元素级乘法,分数线是矩阵元素及除法,核函数fker(·)对两个矩阵的相同位置元素进行核函数计算并按顺序排列为矩阵;
对各采样框,当响应值最大值大于设定阈值时,对跟踪分类器和特征模板进行更新,否则不更新,公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011500416.1A CN112614158B (zh) | 2020-12-18 | 2020-12-18 | 一种采样框自适应的多特征融合在线目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011500416.1A CN112614158B (zh) | 2020-12-18 | 2020-12-18 | 一种采样框自适应的多特征融合在线目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614158A CN112614158A (zh) | 2021-04-06 |
CN112614158B true CN112614158B (zh) | 2022-08-26 |
Family
ID=75240366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011500416.1A Active CN112614158B (zh) | 2020-12-18 | 2020-12-18 | 一种采样框自适应的多特征融合在线目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614158B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115357645B (zh) * | 2022-09-05 | 2023-09-01 | 杭州思拓瑞吉科技有限公司 | 基于金字塔加权的能量管理系统时序数据在线采样方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413312B (zh) * | 2013-08-19 | 2016-01-20 | 华北电力大学 | 基于邻里成分分析和尺度空间理论的视频目标跟踪方法 |
CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
CN107748873B (zh) * | 2017-10-31 | 2019-11-26 | 河北工业大学 | 一种融合背景信息的多峰目标跟踪方法 |
CN109858415A (zh) * | 2019-01-21 | 2019-06-07 | 东南大学 | 适用于移动机器人行人跟随的核相关滤波目标跟踪方法 |
CN110569723A (zh) * | 2019-08-02 | 2019-12-13 | 西安工业大学 | 一种结合特征融合与模型更新的目标跟踪方法 |
CN110942472B (zh) * | 2019-11-28 | 2023-10-13 | 江苏砺行能源科技有限公司 | 一种基于特征融合与自适应分块的核相关滤波跟踪方法 |
-
2020
- 2020-12-18 CN CN202011500416.1A patent/CN112614158B/zh active Active
Non-Patent Citations (1)
Title |
---|
Part-Based Online Tracking With Geometry Constraint and Attention Selection;Jianwu Fang, etc.;《IEEE Transactions on Circuits and Systems for Video Technology》;20130926;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112614158A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012203B (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN111914664A (zh) | 基于重识别的车辆多目标检测和轨迹跟踪方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN111476817A (zh) | 一种基于yolov3的多目标行人检测跟踪方法 | |
CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
CN111915644B (zh) | 孪生导向锚框rpn网络的实时目标跟踪方法 | |
CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
CN114627447A (zh) | 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 | |
Yang et al. | Visual tracking with long-short term based correlation filter | |
CN116402850A (zh) | 一种面向智能驾驶的多目标跟踪方法 | |
CN111738319B (zh) | 一种基于大规模样本的聚类结果评价方法及装置 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN112036381A (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
Zhan et al. | Salient superpixel visual tracking with graph model and iterative segmentation | |
Wang et al. | Small vehicle classification in the wild using generative adversarial network | |
CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN110472607A (zh) | 一种船舶跟踪方法及系统 | |
CN117576380A (zh) | 一种目标自主检测跟踪方法及系统 | |
Moridvaisi et al. | An extended KCF tracking algorithm based on TLD structure in low frame rate videos | |
CN112991394A (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
Firouznia et al. | Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking | |
Huang et al. | EST-YOLOv5s: SAR image aircraft target detection model based on improved YOLOv5s |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |