CN112614158A - 一种采样框自适应的多特征融合在线目标跟踪方法 - Google Patents

Abstract

本发明提出了一种采样框自适应的多特征融合在线目标跟踪方法，能够使用多种特征的不同信息进行稳定跟踪，并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。本发明的采样框自适应的多特征融合的在线目标跟踪方法，采用跟踪特征融合和跟踪质量预测策略，与传统的核化相关滤波器相比，能够使用多种特征的不同信息进行稳定跟踪，并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。

Description

一种采样框自适应的多特征融合在线目标跟踪方法

技术领域

本发明属于单目标在线跟踪技术领域，涉及一种采样框自适应的多特征融合在线目标跟踪方法。

背景技术

为了开发并提高计算机视觉智能，首先，计算机需要加装感光元件以得到基本的图片信号。然后，计算机利用自身的硬件资源和软件资源对图像信号进行处理，来得到对图像信号的“理解”，比如目标种类、目标位置等高级信息。进而，设计者可以把这种智能嵌入到复杂系统中使得系统可以完成控制或者监控任务。包括机器人和自动驾驶车辆的控制、运动和生物医药的视觉测量、人机交互、视频内容信息分析和检索、动作捕捉、影视制作、增强现实等任务，其中，种种任务中关键的一环就是目标跟踪技术。

在目标跟踪技术中，生成式目标跟踪学习的是目标的特征，难以区分背景中与目标相似的部分，故使用判别式目标跟踪对目标与周围背景做区分，得到更准确的跟踪结果。在线判别式跟踪的思想是在线训练一个区分目标与背景的二分类器，并在跟踪过程中不断更新分类器使之对外观变化的目标和背景保持分类的能力。但是，目前通常使用的经典相关滤波在线跟踪方法，不能有效利用多种特征区分目标与背景，不能有效克服初始给定目标矩形采样框对训练过程的影响，将会导致跟踪效果变差。可见，现有的在线目标跟踪方法只能利用单一特征实现目标与背景区分，区分结果误差出现率较高，另外采样框也不能自适应调整。

发明内容

有鉴于此，本发明提出了一种采样框自适应的多特征融合在线目标跟踪方法，能够使用多种特征的不同信息进行稳定跟踪，并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。

为实现上述目的，本发明技术方案如下：

本发明的一种采样框自适应的多特征融合在线目标跟踪方法，包括如下步骤：

步骤1、输入目标初始中心位置x₁＝[x¹,x²]、目标初始尺寸s₁＝[s¹,s²]以及超参数；

其中，上标1指代视频中图片平面直角坐标系的第一条坐标轴，称为长，上标2指代视频中图片平面直角坐标系的第二条坐标轴，称为宽；

所述超参数包括基础扩充倍数p_base、跟踪特征种类数N_F、核函数f_ker、核函数决定的核空间变化函数

高斯函数方差系数γ_σ、均值为0方差为σ的标签高斯函数f_gau、正则项系数λ₁,λ₂、显著值点系数γ_lar、模型更新率θ_update、模型更新阈值系数γ_update、最优采样框选择时刻k^cho、背景采样偏移池

自适应采样框池

以及尺度金字塔比例系数集合，其中x₁和s₁是二维向量，p_base、N_F、σ、γ_lar、θ_update和γ_update是标量，k^cho是正整数，f_ker、

和f_gau是函数，向量集合

中向量

的两个元素分别为以x₁为中心的采样框的长和宽，

为基础扩充采样框的长和宽；

步骤2、对当前时刻k，此时k＝1，根据目标当前中心位置x_k和目标当前尺寸s_k，训练跟踪分类器，然后将k+1赋值给k；

步骤3、对当前时刻k，基于目标上一时刻中心位置x_k-1，目标上一时刻尺寸s_k-1，尺度金字塔比例系数集合

利用各采样框的跟踪分类器得到跟踪响应图；

步骤4、对当前时刻k，分析各采样框的总响应图，得到各采样框的目标跟踪结果，对跟踪分类器训练过程产生的数据做进一步处理，为计算跟踪质量预测特征做准备；

步骤5、对当前时刻k，利用各采样框的目标跟踪结果训练该时刻的跟踪分类器，并更新跟踪分类器和目标特征模板；

步骤6、对当前时刻k，根据各采样框的目标跟踪结果

输出整体算法的目标跟踪结果；

步骤7，将k+1赋值给k，判断当前时刻k与k^cho是否相等；

若相等，即到达设定的选择自适应采样框时刻k^cho，使用各采样框的跟踪过程中的数据，计算采样框的跟踪质量预测特征向量，预测采样框的跟踪质量，选择最优的采样框；

若不相等，则判断当前时刻k下，是否有待处理图像；若有，返回执行步骤3；若无，算法结束，得到当前时刻k的目标当前中心位置x_k与目标当前尺寸s_k。

其中，所述步骤2中，训练跟踪分类器的具体方法如下：

计算S₀₁＝S₁以及自适应采样框池

中的其他向量，记作

以x_k为中心，

中向量为形状参数，截取得到各采样框内的图片

以及各采样框进行偏移后对背景采样的图片

提取各图片的N_M种特征

作为目标特征模板和背景特征模板；

计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

其中，建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量y^track,

n_S＝0,1,…,N_S,n_M＝1,…,N_M

所述脊回归优化问题可在频域进行求解，求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，

是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵相同位置的元素进行核函数计算并按顺序排列为矩阵。

其中，所述步骤3中，利用各采样框的跟踪分类器得到跟踪响应图的具体方法如下：

利用上一时刻自适应采样框池

以x_k-1为中心，

中向量乘以尺度金字塔比例系数得到形状参数，截取得到各采样框内的图片，缩放到自适应采样框池

中对应尺寸，得到图片

提取

为N_M种特征的待跟踪模板，利用跟踪分类器

计算响应图，计算公式如下：

已知提取所得跟踪特征共N_F类，各类特征的响应图直接相加得到N_F类特征的响应图

计算各响应图的评价指标，公式如下：

利用此评价指标进行加权融合得到各采样框的总响应图，公式如下：

其中，所述步骤4中，所述各采样框的目标跟踪结果为各采样框的目标当前中心位置

和目标当前尺寸

其中，所述步骤4中，得到各采样框的目标跟踪结果的具体方法如下：

对各采样框，寻找总响应图的最大的响应值，该响应值位置l与两个时刻之间目标的位移

有关，该响应值对应的下标n_K表示两个时刻之间目标尺度变化系数，公式如下：

其中

表示取矩阵

第l¹列第l²行的元素，两个时刻之间目标的位移为

各采样框的目标跟踪结果为：

其中下标

为

的简记。

其中，所述步骤4中，对跟踪分类器训练过程产生的数据做进一步处理的具体方法为：

对时刻k＝2,3,…,k^cho，进行跟踪分类器训练过程产生的数据的处理，对各采样框，处理其总响应图

跟踪分类器

目标特征模板

对总响应图，提取其最大值

峰值旁瓣比

Q指标

公式如下：

其中μ_sl,σ_sl为旁瓣区域的均值和方差，旁瓣区域为响应图矩阵

中除去峰值周围11×11个元素的部分，

为以

为中心的均值为0方差为σ的高斯函数生成的响应图矩阵，作为理想响应图；

对跟踪分类器，提取其中心区域极大值点的数量

和比例

显著值点的数量

和比例

跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域，极大值点设置为大于或等于周围11×11个元素的点，显著值点设置为大于或等于

的点，统计落入中心区域的极大值点和显著值点的数量

统计全部极大值点和显著值点的数量

并计算比例：

对目标特征模板，其提取过程需要多个时刻的目标特征模板

和待跟踪模板

其中，所述步骤5中，训练k时刻的跟踪分类器，并更新跟踪分类器和目标特征模板的具体方法如下：

计算k时刻

自适应采样框

以

为中心，

中向量为形状参数，截取得到各采样框及偏移采样框内的图片，缩放到自适应采样框池

中对应尺寸得到

提取各缩放后图片的N_M种特征

作为目标特征模板和背景特征模板，计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

其中，建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量y^track,

n_S＝0,1,…,N_S,n_M＝1,…,N_M

所述脊回归优化问题可在频域进行求解，注意求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，

是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵的相同位置元素进行核函数计算并按顺序排列为矩阵；

对各采样框，当响应值最大值大于设定阈值时，对跟踪分类器和特征模板进行更新，否则不更新，公式如下：

其中，所述步骤6中，根据各采样框的目标跟踪结果

输出整体算法的目标跟踪结果的具体方法如下：

若采样框池

中向量个数大于1个，输出基础扩充采样框所得的目标跟踪结果，否则输出唯一的目标跟踪结果，公式如下：

其中，选择最优的采样框的具体方法如下：

计算基于响应图的质量预测特征，公式如下：

其中

为响应图的最大值，

为响应图的峰值旁瓣比，

为响应图的Q指标；

利用中心区域极大值点的数量

和比例

以及显著值点的数量

和比例

计算基于响应图的质量预测特征，公式如下：

计算基于特征模板的质量预测特征，目标特征模板和待跟踪特征模板之差，公式如下：

在k时刻，跟踪分类器根据待跟踪特征模板得到目标位置，进一步得到目标特征模板，两者之差能够表示目标移动导致的特征模板变化，即目标移动带来的跟踪复杂性，其累和与此次目标跟踪的复杂程度成正比；

目标特征模板在投影方向的缩减，公式如下：

其中，

是初始目标特征模板

到当前目标特征模板

的向量即投影方向，

是待跟踪目标特征模板

到当前目标特征模板

的向量即缩减向量；规定

到

的方向为投影方向，计算k时刻跟踪器使

沿投影方向的缩减，与k时刻跟踪分类器的有效性成正比；

目标特征模板的复杂度，公式如下：

将上述特征转化为质量

预测特征向量，记作

利用使用历史跟踪过程数据训练所得的跟踪质量预测分类器f^pred(·)，把质量预测特征向量转化为质量预测值，公式如下：

选择质量预测值最大的自适应采样框作为最优采样框，其编号为：

自适应采样框池中仅保留最优采样框，公式如下：

有益效果：

本发明的采样框自适应的多特征融合的在线目标跟踪方法，采用跟踪特征融合和跟踪质量预测策略，与传统的核化相关滤波器相比，能够使用多种特征的不同信息进行稳定跟踪，并对给定目标矩形框自适应变形提高相关滤波器的分类准确性。分类器训练中使用理想的分类结果作为标签，利用标签的设计原则对真实分类结果进行评价，可以评判分类结果的有效性。跟踪过程是一个不断更新分类器并使用分类器区分目标的过程，利用历史跟踪数据，对不同变形的目标矩形框进行跟踪过程的质量预测选择最优的自适应目标采样矩形框，可以提高分类器的准确性。在给定目标矩形框不准确或不适用于目标跟踪器训练的情况下，本发明能够进行更为准确稳定的跟踪。

附图说明

图1为本发明所述采样框自适应的多特征融合在线目标跟踪方法的计算机流程框图。

图2为本发明具体仿真实验所用数据集初始时刻目标及目标矩形框示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

在线目标跟踪问题描述为，在时刻k(k＝1,2,…)给出对应时刻的图片，系统无法获得之后时刻的图片，仅在时刻k＝1，给定目标中心位置x₁和目标尺寸s₁，要求在时刻k(k＝1,2,…)给出目标当前中心位置x_k和目标当前尺寸s_k。

硬件环境：计算机；相关器

软件配置：Windows 7/10；MATLAB或C语言或C++等任何一种语言环境软件。

本发明采样框自适应的多特征融合在线目标跟踪方法的方框图如图1所示，包括如下步骤：

步骤1、输入目标初始中心位置x₁＝[x¹,x²]、目标初始尺寸s₁＝[s¹,s²]以及超参数；

其中，上标1和2分别指代视频中图片平面直角坐标系的第一条坐标轴(称为长)和第二条坐标轴(称为宽)；

所述超参数包括基础扩充倍数p_base、跟踪特征种类数N_F、核函数f_ker、核函数决定的核空间变化函数

高斯函数方差系数γ_σ、均值为0方差为σ的标签高斯函数f_gau、正则项系数λ₁,λ₂、显著值点系数γ_lar、模型更新率θ_update、模型更新阈值系数γ_update、最优采样框选择时刻k^cho、背景采样偏移池

自适应采样框池

以及尺度金字塔比例系数集合

其中x₁和s₁是二维向量，p_base、N_F、σ、γ_lar、θ_update和γ_update是标量，k^cho是正整数，f_ker、

和f_gau是函数，向量集合

中向量

的两个元素分别为以x₁为中心的采样框的长和宽，

为基础扩充采样框的长和宽。

步骤2、对时刻k＝1，根据目标当前中心位置x_k和目标当前尺寸s_k，训练跟踪分类器。具体方法如下：

计算S_0,1＝S₁以及自适应采样框池

中的其他向量，记作

以x_k为中心，

中向量为形状参数，截取得到各采样框内的图片

以及各采样框进行偏移后对背景采样的图片

提取各图片的N_M种特征

作为目标特征模板和背景特征模板，计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量

n_S＝0,1,…,N_S,n_M＝1,…,N_M

该脊回归优化问题可在频域进行快速求解，注意求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，

是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵相同位置的元素进行核函数计算并按顺序排列为矩阵。

然后将k+1赋值给k，执行步骤3；

步骤3、对时刻k(k＝2,3,…)，基于目标上一时刻中心位置x_k-1，目标上一时刻尺寸s_k-1，尺度金字塔比例系数集合

利用各采样框的跟踪分类器得到跟踪响应图。具体方法如下：

利用上一时刻自适应采样框池

以x_k-1为中心，

中向量乘以尺度金字塔比例系数得到形状参数，截取得到各采样框内的图片，缩放到自适应采样框池

中对应尺寸，得到图片

提取

为N_M种特征的待跟踪模板，利用跟踪分类器

计算响应图，计算公式如下：

已知提取所得跟踪特征共N_F类，各类特征的响应图直接相加得到N_F类特征的响应图

计算各响应图的评价指标，公式如下：

利用此评价指标进行加权融合得到各采样框的总响应图，公式如下：

步骤4、对时刻k(k＝2,3,…)，分析各采样框的总响应图，得到各采样框的目标跟踪结果，即各采样框的目标当前中心位置

和目标当前尺寸

对跟踪分类器训练过程产生的数据做进一步处理，为计算跟踪质量预测特征做准备。

具体方法如下：

对各采样框，寻找总响应图的最大的响应值，该响应值位置l与两个时刻之间目标的位移l^＊有关，该响应值对应的下标n_K表示两个时刻之间目标尺度变化系数，公式如下：

其中

表示取矩阵

第l¹列第l²行的元素，两个时刻之间目标的位移为

那么，各采样框的目标跟踪结果为：

其中下标

为

的简记。

对时刻k(k＝2,3,…,k^cho)，进行跟踪分类器训练过程产生的数据的处理，对各采样框，处理其总响应图

跟踪分类器

目标特征模板

对总响应图，提取其最大值

峰值旁瓣比

Q指标

公式如下：

其中μ_sl,σ_sl为旁瓣区域的均值和方差，旁瓣区域为响应图矩阵

中除去峰值周围11×11个元素的部分，

为以

为中心的均值为0方差为σ的高斯函数生成的响应图矩阵，作为理想响应图。

对跟踪分类器，提取其中心区域极大值点的数量

和比例

显著值点的数量

和比例

跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域，极大值点设置为大于或等于周围11×11个元素的点，显著值点设置为大于或等于

的点，统计落入中心区域的极大值点和显著值点的数量

统计全部极大值点和显著值点的数量

并计算比例：

对目标特征模板，其提取过程需要多个时刻的目标特征模板

和待跟踪模板

在步骤7中给出具体过程。

步骤5、对时刻k(k＝2,3,…)，利用各采样框的目标跟踪结果训练该时刻的跟踪分类器，并更新跟踪分类器和目标特征模板。具体方法如下：

计算k时刻

自适应采样框

以

为中心，

中向量为形状参数，截取得到各采样框及偏移采样框内的图片，缩放到自适应采样框池

中对应尺寸得到

提取各缩放后图片的N_M种特征

作为目标特征模板和背景特征模板，计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

其中，建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量y^track,

n_S＝0,1,…,N_S,n_M＝1,…,N_M

所述脊回归优化问题可在频域进行快速求解，注意求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，

是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵的相同位置元素进行核函数计算并按顺序排列为矩阵。

对各采样框，当响应值最大值大于设定阈值时，对跟踪分类器和特征模板进行更新，否则不更新，公式如下：

步骤6、对时刻k(k＝2,3,…)，根据各采样框的目标跟踪结果

输出整体算法的目标跟踪结果，即各采样框的目标当前中心位置x_k，目标当前尺寸s_k。具体方法如下：

若采样框池

中向量个数大于1个，输出基础扩充采样框所得的目标跟踪结果，否则输出唯一的目标跟踪结果，公式如下：

步骤7、将k+1赋值给k，判断当前时刻k与k^cho是否相等；

若相等，对时刻k＝k^cho，即到达设定的选择自适应采样框时刻k^cho，使用各采样框的跟踪过程中的数据，计算采样框的跟踪质量预测特征向量，预测采样框的跟踪质量，选择最优的采样框。具体方法如下：

计算基于响应图的质量预测特征，公式如下：

其中

为响应图的最大值，

为响应图的峰值旁瓣比，

为响应图的Q指标。最大值的位置是目标在两帧之间发生的位移，而最大值的值代表跟踪结果与目标的相似程度正相关，常用于当前时刻跟踪结果好坏的判断；峰值旁瓣比的意义是响应图主峰较于第二峰值的显著程度，由经验可知，若该值在4～7之间，跟踪结果不可靠，若该值大于15，该值常用于当前时刻的遮挡检测；Q指标代表了实际响应图与理想响应图的差距，曾用于相关滤波器网络中的跟踪效果判断。

计算基于响应图的质量预测特征，公式如下：

这四个特征利用了中心区域极大值点的数量

和比例

显著值点的数量

和比例

跟踪分类器在目标函数下训练得出，由于相关滤波算法理论上存在边界效应，只有分类器中心区域的参数是由真实样本训练得出的，而其余部分的参数训练或多或少地使用了一些虚构的样本。分类器与特征模板做相关操作，使得分类器某一位置的参数越大，其对最终跟踪结果的影响越大。而且在二范数正则项

的作用下，分类器参数的三维图像为分散分布的若干个凸起。因此，本发明设计中心区域极大值点的数量用来描述凸起的个数，其占所有极值点的比例代表了对应采样框下分类器对真实样本的注意力，中心区域显著值点用来描述凸起的程度，其占所有显著值点的比例也代表了对应采样框下分类器对真实样本的注意力。

计算基于特征模板的质量预测特征，目标特征模板和待跟踪特征模板之差，公式如下：

在k时刻，跟踪分类器根据待跟踪特征模板得到目标位置，进一步得到目标特征模板，两者之差能够表示目标移动导致的特征模板变化，即目标移动带来的跟踪复杂性，其累和与此次目标跟踪的复杂程度成正比。

目标特征模板在投影方向的缩减，公式如下：

其中，

是初始目标特征模板

到当前目标特征模板

的向量即投影方向，

是待跟踪目标特征模板

到当前目标特征模板

的向量即缩减向量。理想情况下，跟踪器应使得待跟踪目标特征模板

回归到初始目标特征模板

实际情况是仅仅回归到当前目标特征模板

规定

到

的方向为投影方向，计算k时刻跟踪器使

沿投影方向的缩减，与k时刻跟踪分类器的有效性成正比。

目标特征模板的复杂度，公式如下：

该特征主要关注各帧目标特征模板与初始帧的差别，先将前k^cho-1帧目标特征模板与初始帧的的目标特征模板差向量归一化为单位向量，然后计算向量两两之间的内积作为两两的相似性，减去向量与自身的内积后作和得到该特征，其反映了各帧目标特征模板以初始帧目标特征模板为中心，在特征空间分布的散乱程度，反映了目标的外观变化，其与此次目标跟踪的准确度成反比，与目标外观变化有关。

将上述特征转化为质量

预测特征向量，记作

利用使用历史跟踪过程数据训练所得的跟踪质量预测分类器f^pred(·)，把质量预测特征向量转化为质量预测值，公式如下：

选择质量预测值最大的自适应采样框作为最优采样框，其编号为：

自适应采样框池中仅保留最优采样框，公式如下：

若不相等，则判断k是否有待处理图像；若有，返回执行步骤3；若无，算法结束，得到当前时刻k的目标当前中心位置x_k与目标当前尺寸s_k。

综上，本发明采用跟踪特征融合策略，与直接使用多个特征跟踪相比，在某个或某些特征不适合跟踪时，不会受到恶劣特征的严重影响，对稳定特征赋予更高的置信度，提高目标跟踪的稳定性，抗噪、抗干扰能力强，能够提高系统的目标跟踪精度，即使在梯度特征因为镜头抖动而失效的情况下，采用特征融合技术融合利用多个特征的信息将对稳定的特征的跟踪结果赋予高置信度，使得融合跟踪结果要比使用单一特征或无区分地使用多特征的目标跟踪更为稳定；采用跟踪质量预测策略，在一组自适应采样框中选取最优的采样框，提高分类器的有效性，即训练所得基于相关滤波的跟踪分类器对目标与背景分类器准确性更高，克服了对目标矩形框和基础扩充参数的严格要求，使得参数调整变得简单，整体跟踪方法更为稳定。能够提高系统的可靠性。以道路监控中目标跟踪为背景，如果只有一种扩充采样系数，则难以同时保证对车辆和行人等形态差异大的不同类别目标的跟踪鲁棒性，而自适应采样框池的设置使得系统可以选取适合某类目标的扩充采样框进行跟踪，因此质量预测的自适应采样框无疑将提高系统的可靠性。可直接用于给定简单矩形框后的目标跟踪，并且方法实施简单，易于推广，在目标跟踪、视频压缩、人机交互、影视制作、视频监控等许多应用领域都有潜在价值。

下面将通过仿真实验测试本发明方法的有效性。

使用公开的大型目标跟踪数据集OTB 2015中的图片序列进行跟踪实验，在时刻k(k＝1,2,3,…)仅输入系统当前时刻的图片，在时刻k＝1将数据集给出的目标位置和目标尺寸输入系统中。图2给出若干图片序列初始时刻图片和目标矩形框的示意图。

本发明提出的在线目标跟踪算法与其他算法的比较，使用两个评价指标，精确度和成功率。精确度是指中心定位误差(Center Location Error，CLE)比某一范围更小的帧数与所有帧数的比值。CLE是目标中心位置与实际目标中心位置之间的欧氏距离的具体表现。成功率是指重叠率(Overlap Rate，OR)比某一范围更大的帧数与总帧数的比值。OR表示目标矩形框与目标实际矩形框的重叠程度。

其中，Rec_k和

分别是跟踪所得目标矩形框内和真实目标矩形框内的点的集合，area(·)指的是点的集合所占面积。

实验一验证本发明的七种跟踪质量特征的有效性。实验使用的基础算法为背景感知的自适应尺度的多特征算法(sale adaptive tracker with multiple features andcontext-aware method，SAMF_CA)，基础算法在每帧跟踪完成时都会对跟踪器进行训练和更新，为验证跟踪质量特征的有效性，在此基础上，使用跟踪质量特征对跟踪过程中的结果进行评价，在跟踪结果准确的时刻进行跟踪器的训练和更新，将此算法简记为“特征i评价”(i为前文特征序号)，理论上去除定位不准确、遮挡等情形下的训练样本，将提高训练样本集的准确程度和跟踪准确性，本实验比较基础算法SAMF_CA和七种改进算法“特征i评价”在OTB 2015上的跟踪准确性。实验使用的超参数除跟踪器更新速度θ_update不同外所有参数相同，SAMF_CA的θ_update设置为0.005，考虑到“特征i评价”算法不在每一时刻进行更新，θ_update统一设置为0.015，并设计了单阈值或双阈值的跟踪质量评价方法，当跟踪质量特征

大于设定阈值或处于设定的两个阈值之间时进行跟踪器更新，这些阈值的设置在所有测试视频中不做调整。

使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪，统计每张图片目标跟踪结果，与真实目标矩形框比较并观察所提算法的有效性。仿真结果如表1所示。

表1

从表1可以看出，除使用特征7作为质量预测模型的特征时，各个跟踪质量特征的改进算法在CLE和OR指标上都优于基础算法，验证了所提跟踪质量特征确实能够反映当前时刻的跟踪质量，有助于跟踪结果的评价和跟踪算法的改进。

实验二为多特征跟踪质量预测用于自适应采样框目标跟踪，实验使用多种比较算法，验证设计的跟踪质量特征及自适应采样的有效性。实验使用的超参数如下：基础扩充倍数p_base＝2，跟踪特征种类数N_F＝3，三类特征分别为方向梯度直方图、颜色命名特征、局部灰度直方图，核函数f_ker为线性核函数，即

核函数决定的核空间变化函数

存在且计算过程中不需显式给出，高斯函数方差系数k_σ＝0.1，正则项系数λ₁＝0.0001,λ₂＝20，显著值点系数k_lar＝0.4，模型更新率θ_update设置为0.005(彩色图片)和0.015(灰度图片)，模型更新阈值系数k_update设置为0.1(彩色图片)和0.4(灰度图片)，最优采样框选择时刻k^cho＝10。

背景采样偏移池、自适应采样框池、尺度金字塔比例系数集合给定如下：

使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪，统计每张图片目标跟踪结果，与真实目标矩形框比较并观察所提算法的有效性。仿真结果如表2—表5所示。部分所提算法只使用了提出的特征融合跟踪策略，整体跟踪算法使用了特征融合跟踪和跟踪质量预测策略。

表2

表2表示各算法在OTB 2015所有图片序列中的精确度和成功率。从表2可以看出，部分所提算法已经优于其他对比算法，整体所提算法则进一步提高了精确度和成功率。这说明，本发明的两种改进策略可以共同提高在线目标跟踪的鲁棒性和精确性。

表3

表3表示各算法在OTB 2015具有背景杂波特性的图片序列中的精确度和成功率。从表3可以看出，部分所提算法已经优于其他对比算法，整体所提算法则进一步提高了精确度和成功率。这说明，本发明的两种改进策略使得在线目标跟踪算法可以更好地区分目标和背景中与目标相似的部分。

表4

表4表示各算法在OTB 2015具有离面运动特性的图片序列中的精确度和成功率。从表4可以看出，部分所提算法已经优于几乎所有其他对比算法，整体所提算法则优于其他对比算法。这说明，本发明的两种改进策略使得在线目标跟踪算法可以更好地跟踪在相机感光面上做非平移运动的目标，而且基于质量预测的自适应采样框策略在提高跟踪成功率有重要作用。

表5

表5表示各算法在OTB 2015具有变形特性的图片序列中的精确度和成功率。从表5可以看出，部分所提算法已经优于其他对比算法，整体所提算法进一步提高了精确度和成功率。这说明，本发明的两种改进策略使得在线目标跟踪算法可以更好地跟踪在发生变形的目标，而且部分所提算法贡献了大部分的评价指标提升。这是因为变形使得目标梯度特征不可靠，而其余两种特征仍是可靠的，特征融合跟踪策略赋予可靠特征更高的置信度，使得在线目标跟踪更鲁棒。

总之，从本部分的仿真可以看出，本发明提出的采样框自适应的多特征融合在线目标跟踪算法有很好的仿真效果，且特征融合跟踪和跟踪质量预测策略在不同情况下保证了整体算法的优越性。

实验三为实验二的延续，实验使用不同种跟踪质量特征的质量预测对跟踪结果的影响，验证设计的跟踪质量特征都在跟踪准确性的提高中有不同的影响，以及所有跟踪特征质量预测的优越性。实验首先使用数量从少到多的特征进行跟踪实验，然后使用所有特征及只去除一种特征的情形下进行跟踪实验。实验使用的超参数如下和实验二相同。

实验使用OTB 2015中所有100个目标各异的图片序列进行在线跟踪，统计每张图片目标跟踪结果，与真实目标矩形框比较并观察所提算法的有效性。实验所用的跟踪算法都使用了质量预测进行采样框自适应，各算法使用的质量预测特征的种类和数目不同，与不使用采样框自适应的算法作比较，结果如表6所示。

表6

其中特征1，2，3是经典评价指标，特征4，5，6，7是关于分类器参数分布的特征，特征8，9，10是关于用于训练的跟踪特征的质量预测特征，可以看出前两种特征整体上进行判断可以得到优于基础算法，使用三种特征能够进一步提高质量预测的效果。

实验还选择不使用各个特征在全数据集上进行，各算法结果如下表7所示。

表7

表7中数据说明，某种特征的不使用都会引起精确度不同程度的下降。

实验三验证了每个特征均贡献了跟踪质量预测的准确程度，使用全部特征的精确度能够使跟踪效果达到最优。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种采样框自适应的多特征融合在线目标跟踪方法，其特征在于，包括如下步骤：

步骤1、输入目标初始中心位置x₁＝[x¹,x²]、目标初始尺寸s₁＝[s¹,s²]以及超参数；

其中，上标1指代视频中图片平面直角坐标系的第一条坐标轴，称为长，上标2指代视频中图片平面直角坐标系的第二条坐标轴，称为宽；

所述超参数包括基础扩充倍数p_base、跟踪特征种类数N_F、核函数f_ker、核函数决定的核空间变化函数

高斯函数方差系数γ_σ、均值为0方差为σ的标签高斯函数f_gau、正则项系数λ₁,λ₂、显著值点系数γ_lar、模型更新率θ_update、模型更新阈值系数γ_update、最优采样框选择时刻k^cho、背景采样偏移池

自适应采样框池

以及尺度金字塔比例系数集合，其中x₁和s₁是二维向量，p_base、N_F、σ、γ_lar、θ_update和γ_update是标量，k^cho是正整数，f_ker、

和f_gau是函数，向量集合

中向量

的两个元素分别为以x₁为中心的采样框的长和宽，

为基础扩充采样框的长和宽；

步骤2、对当前时刻k，此时k＝＝1，根据目标当前中心位置x_k和目标当前尺寸s_k，训练跟踪分类器，然后将k+1赋值给k；

步骤3、对当前时刻k，基于目标上一时刻中心位置x_k-1，目标上一时刻尺寸s_k-1，尺度金字塔比例系数集合

利用各采样框的跟踪分类器得到跟踪响应图；

步骤4、对当前时刻k，分析各采样框的总响应图，得到各采样框的目标跟踪结果，对跟踪分类器训练过程产生的数据做进一步处理，为计算跟踪质量预测特征做准备；

步骤5、对当前时刻k，利用各采样框的目标跟踪结果训练该时刻的跟踪分类器，并更新跟踪分类器和目标特征模板；

步骤6、对当前时刻k，根据各采样框的目标跟踪结果

输出整体算法的目标跟踪结果；

步骤7，将k+1赋值给k，判断当前时刻k与k^cho是否相等；

若相等，即到达设定的选择自适应采样框时刻k^cho，使用各采样框的跟踪过程中的数据，计算采样框的跟踪质量预测特征向量，预测采样框的跟踪质量，选择最优的采样框；

若不相等，则判断当前时刻k下，是否有待处理图像；若有，返回执行步骤3；若无，算法结束，得到当前时刻k的目标当前中心位置x_k与目标当前尺寸s_k。

2.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤2中，训练跟踪分类器的具体方法如下：

计算S_0,1＝S₁以及自适应采样框池

中的其他向量，记作

以x_k为中心，

中向量为形状参数，截取得到各采样框内的图片

以及各采样框进行偏移后对背景采样的图片

提取各图片的N_M种特征

作为目标特征模板和背景特征模板；

计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

其中，建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量y^track,

所述脊回归优化问题可在频域进行求解，求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，⊙是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵相同位置的元素进行核函数计算并按顺序排列为矩阵。

3.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤3中，利用各采样框的跟踪分类器得到跟踪响应图的具体方法如下：

利用上一时刻自适应采样框池

以x_k-1为中心，

中向量乘以尺度金字塔比例系数得到形状参数，截取得到各采样框内的图片，缩放到自适应采样框池

中对应尺寸，得到图片

提取

为N_M种特征的待跟踪模板，利用跟踪分类器

计算响应图，计算公式如下：

已知提取所得跟踪特征共N_F类，各类特征的响应图直接相加得到N_F类特征的响应图

计算各响应图的评价指标，公式如下：

利用此评价指标进行加权融合得到各采样框的总响应图，公式如下：

4.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤4中，所述各采样框的目标跟踪结果为各采样框的目标当前中心位置

和目标当前尺寸

5.如权利要求4所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤4中，得到各采样框的目标跟踪结果的具体方法如下：

对各采样框，寻找总响应图的最大的响应值，该响应值位置l与两个时刻之间目标的位移l^*有关，该响应值对应的下标n_K表示两个时刻之间目标尺度变化系数，公式如下：

其中

表示取矩阵

第l¹列第l²行的元素，两个时刻之间目标的位移为

各采样框的目标跟踪结果为：

其中下标

为

的简记。

6.如权利要求5所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤4中，对跟踪分类器训练过程产生的数据做进一步处理的具体方法为：

对时刻k＝2,3,…,k^cho，进行跟踪分类器训练过程产生的数据的处理，对各采样框，处理其总响应图

跟踪分类器

目标特征模板

对总响应图，提取其最大值

峰值旁瓣比

Q指标

公式如下：

其中μ_sl,σ_sl为旁瓣区域的均值和方差，旁瓣区域为响应图矩阵

中除去峰值周围11×11个元素的部分，

为以

为中心的均值为0方差为σ的高斯函数生成的响应图矩阵，作为理想响应图；

对跟踪分类器，提取其中心区域极大值点的数量

和比例

显著值点的数量

和比例

跟踪分类器的中心区域为未扩充采样框所得分类器大小的区域，极大值点设置为大于或等于周围11×11个元素的点，显著值点设置为大于或等于

的点，统计落入中心区域的极大值点和显著值点的数量

统计全部极大值点和显著值点的数量

并计算比例：

对目标特征模板，其提取过程需要多个时刻的目标特征模板

和待跟踪模板

7.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤5中，训练k时刻的跟踪分类器，并更新跟踪分类器和目标特征模板的具体方法如下：

计算k时刻

自适应采样框

以

为中心，

中向量为形状参数，截取得到各采样框及偏移采样框内的图片，缩放到自适应采样框池

中对应尺寸得到

提取各缩放后图片的N_M种特征

作为目标特征模板和背景特征模板，计算得到高斯标签

建立脊回归优化问题，训练N_S+1种采样框M种特征的跟踪分类器

其中，建立脊回归优化问题前要将标签、特征与跟踪分类器化为列向量y^track,

所述脊回归优化问题可在频域进行求解，注意求解使用的是特征与跟踪分类器的矩阵形式，公式如下：

其中^表示对矩阵做二维离散傅里叶变换，(·)^*表示对矩阵取共轭，⊙是矩阵元素级乘法，分数线是矩阵元素及除法，核函数f_ker(·)对两个矩阵的相同位置元素进行核函数计算并按顺序排列为矩阵；

对各采样框，当响应值最大值大于设定阈值时，对跟踪分类器和特征模板进行更新，否则不更新，公式如下：

8.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，所述步骤6中，根据各采样框的目标跟踪结果

输出整体算法的目标跟踪结果的具体方法如下：

若采样框池

中向量个数大于1个，输出基础扩充采样框所得的目标跟踪结果，否则输出唯一的目标跟踪结果，公式如下：

9.如权利要求1所述的采样框自适应的多特征融合在线目标跟踪方法，其特征在于，选择最优的采样框的具体方法如下：

计算基于响应图的质量预测特征，公式如下：

其中

为响应图的最大值，

为响应图的峰值旁瓣比，

为响应图的Q指标；

利用中心区域极大值点的数量

和比例

以及显著值点的数量

和比例

计算基于响应图的质量预测特征，公式如下：

计算基于特征模板的质量预测特征，目标特征模板和待跟踪特征模板之差，公式如下：

在k时刻，跟踪分类器根据待跟踪特征模板得到目标位置，进一步得到目标特征模板，两者之差能够表示目标移动导致的特征模板变化，即目标移动带来的跟踪复杂性，其累和与此次目标跟踪的复杂程度成正比；

目标特征模板在投影方向的缩减，公式如下：

其中，

是初始目标特征模板

到当前目标特征模板

的向量即投影方向，

是待跟踪目标特征模板

到当前目标特征模板

的向量即缩减向量；规定

到

的方向为投影方向，计算k时刻跟踪器使

沿投影方向的缩减，与k时刻跟踪分类器的有效性成正比；

目标特征模板的复杂度，公式如下：

将上述特征转化为质量

预测特征向量，记作

利用使用历史跟踪过程数据训练所得的跟踪质量预测分类器f^pred(·)，把质量预测特征向量转化为质量预测值，公式如下：

选择质量预测值最大的自适应采样框作为最优采样框，其编号为：

自适应采样框池中仅保留最优采样框，公式如下：

Images