CN113674323A - 基于多维置信度评估学习的视觉目标跟踪算法 - Google Patents

Abstract

本发明公开了基于多维置信度评估学习的视觉目标跟踪算法，解决复杂环境下目标跟踪精度低和跟踪丢失重检测的问题。该方法依据多维度置信度评估建立与滤波器自适应学习参数之间的映射关系，采用高斯混合模型GMM构建和管理高置信度样本集，本发明在跟踪过程中根据置信度评估分数自适应调节滤波器的学习步长，抑制跟踪结果不可靠的样本对滤波器参数训练的不利影响，从而避免发生滤波器漂移、降低跟踪性能，提高复杂环境视觉目标跟踪的准确率和鲁棒性。

Description

基于多维置信度评估学习的视觉目标跟踪算法

技术领域

本发明属于视觉目标跟踪技术领域，具体涉及基于多维置信度评估学习的视觉目标跟踪算法。

背景技术

随着智能视频监控、人机交互及精确导航等相关领域应用需求的不断增长，人们对目标跟踪的实时性、准确性、鲁棒性提出了更高的要求。基于相关滤波的目标跟踪算法是一种高效、可靠的视觉目标跟踪方法。然而，实际环境中诸多干扰因素(如形变、遮挡、快速运动等)会降低滤波器训练性能从而导致目标跟踪失败。

现有相关滤波跟踪算法中置信度评估策略过于单一，仅适用于特定简单场景。基于置信图的核相关滤波器(Kernel Correlation Filter，KCF)算法采用峰值旁瓣比(Peskto Sidelobe Ratio,PSR)对目标跟踪的置信度进行评估，然而其跟踪结果过度依赖PSR；基于迁移学习的高斯回归跟踪算法采用汉明距离衡量新、旧样本的相似度从而评估跟踪置信度，不适用于目标外观变化较大的场景。因此，基于单一类型指标的置信度评估结果难以满足复杂场景中目标跟踪的鲁棒性和准确率。

发明内容

本发明的目的在于提供基于多维置信度评估学习的视觉目标跟踪算法，解决复杂环境下目标跟踪精度低和跟踪丢失重检测的问题。该方法依据多维度置信度评估建立与滤波器自适应学习参数之间的映射关系，采用高斯混合模型(Gaussian Mixed Model，GMM)构建和管理高置信度样本集，采用所提出的多维置信度评估学习方法建立滤波器失效判别机制和滤波器模板恢复机制，提高复杂环境视觉目标跟踪的准确率和鲁棒性。

本发明所采用的技术方案是：基于多维置信度评估学习的视觉目标跟踪算法，具体操作步骤如下：

步骤1，跟踪开始前，设置多维置信度评估阈值及融合系数；设置模板失效阈值；连续采样帧数m；滤波器模板和学习率初始化；设置GMM样本空间大小N和设置每帧权值底数a；

步骤2，在第t帧时，对目标区域提取图像特征，利用t-1帧的模板

获得滤波器响应图，完成当前帧t的目标跟踪，跟踪结果记为R^t；

步骤3，对跟踪结果R^t分别采用平滑度、重合度以及相似性进行评估，融合三个评估值得到当前帧t跟踪置信度评估分数C^t；

步骤4，若跟踪置信度评估分数C^t大于设定的置信度评估阈值η₃，则将当前帧t存入GMM样本空间中并对GMM样本空间更新得到

反之，GMM样本空间保持不变；

步骤5，结合t-1帧及以前帧的跟踪置信度评估分数，计算当前帧t跟踪置信度评估分数C^t的标准差

根据

和C^t判断跟踪模板是否失效；

步骤6，依据步骤5的判定结果对跟踪模板更新，获得更新后的滤波器模板

步骤7，对于第t+1帧，重复步骤2至步骤6。

本发明的特点还在于，

步骤1中多维置信度评估阈值包括重合度评估阈值η₀、相似度评估阈值η₁，置信度评估融合系数包含重合度、相似度以及平滑度融合系数(ξ_o，ξ_p，ξ_s)。为提高置信度评估准确性，对连续m帧采样建立权重系数λ，其每帧的权重变化如下所示：

其中，a表示每帧的权重变化程度。

步骤3具体为：

步骤3.1，对连续m帧的跟踪结果进行平滑度采样计算获得平滑度集合s_t＝[s_t-m,s_t-m+1…,s_t]，其平滑度计算公式为：

其中，k＝2(w+h)^-2，w和h为初始时刻在像素坐标系下目标外观的宽度和高度；d_(i,j)为目标中心点从第i帧移动到第j帧的欧式距离；

步骤3.2，依据每帧权重系数λ来融合不同时刻平滑度，采用非线性高斯函数对融合结果进行评估，其平滑度评估函数

表示为：

步骤3.3，对连续m帧的跟踪结果进行重合度采样计算获得重合度集合o_t＝[o_t-m,o_t-m+1…,o_t]，其重合度计算公式表示为：

其中，b_i为不同帧目标跟踪结果的矩形框大小；

步骤3.4，依据每帧权重系数λ来融合不同时刻重合度，考虑到重合度与跟踪置信度是非线性关系，其重合度评估函数

表示为：

其中，η₀为重合度评估阈值；

步骤3.5，对连续m帧采样并计算约束后的PSR值，获得PSR集合p_t＝[p_t-m,p_t-m+1…,p_t]。PSR的计算公式表示为：

其中，g_max、g_min和g_(x,y)分别为响应图G中最大、最小和坐标为(x,y)的响应值，N为响应图G中元素数量。PSR的波动范围位于[0,1]区间，其约束表达式表示为：

其中，p_t为第t帧的PSR值，p₀为PSR限制因子。考虑到PSR值与跟踪准确度的非线性关系，相似度评估函数

表示为：

其中，η₁为相似性评估函数阈值。

步骤3.6，对平滑度、重合度以及相似度的评估值进行融合，融合公式表示为：

C(C^s,C^o,C^p)＝ξ_sC^s+ξ_oC^o+ξ_pC^p (10)

其中，C为跟踪置信度；ξ_s、ξ_o和ξ_p分别为平滑度评估、重合度评估以及相似度评估的权重系数，满足ξ_s+ξ_o+ξ_p＝1，评估函数权重系数的设立原则为：ξ_p≤0.5且ξ_o>ξ_s。

步骤5中模板失效判定表达式表示为：

其中，C_t＝[C_t-m,C_t-m+1…,C_t]为连续m帧跟踪置信度集合；

为总体标准差；δ₀、η₂为设置的阈值，当

且C_t<η₂时，判定模板失效。

步骤6模板更新的具体过程为：

步骤6.1：滤波器模板更新的目标函数表示为：

其中，第一项是脊回归项，目的是拟合高斯分布的理想标签；第二项是在滤波器H上引入自适应空间正则化项，对空间权重w进行优化；

第三项引入了参考权重w^r，防止模型发生退化；K表示滤波器通道数。优化时利用拉格朗日乘数法得到最优滤波器H^*和权重w^*；

步骤6.2：针对滤波器模板未失效情况，样本模板和滤波器模板更新表达式表示为：

其中，

为新样本模板；

为旧样本模板；

为当前帧样本模板；

为新滤波器模板；l为自适应学习率，学习率的自适应调整策略描述为：当目标发生变化时，置信度评估得分高则学习率变化较慢，避免新样本过拟合；置信度评估得分低则学习率应尽可能的小，防止滤波器模板被污染，自适应学习率表达式表示为：

其中，η₂为置信度评估阈值；ζ₁和ζ₂分别为学习率取值区间的上下限；k₁＝(ζ₂-ζ₁)/(1-η₂)；b₁＝(ζ₁-ζ₂η₂)/(1-η₂)；k₂＝1/η₂，b₂为常数项；k₃＝(ζ₁-b₂)/log(2)。

针对模板失效的情况，模板更新表示为：

其中，

为GMM样本空间经过融合的样本模板，

为GMM样本空间的样本对应的高斯函数，π_n为每个高斯函数的权重值。

本发明的有益效果是：

本发明将目标跟踪结果的置信度评估作为跟踪算法的重要环节，准确评估了实际环境中诸多干扰因素(如形变，遮挡和背景杂波等)对于目标跟踪结果的影响程度，提高了复杂场景下视觉目标跟踪的准确性和鲁棒性。

本发明在跟踪过程中根据置信度评估分数自适应调节滤波器的学习步长，抑制跟踪结果不可靠的样本对滤波器参数训练的不利影响，从而避免发生滤波器漂移、降低跟踪性能。

本发明同时提出了滤波器失效判定机制，在滤波器模板失效丢失跟踪目标后，能够利用样本空间中可靠样本信息快速恢复滤波器模板。

本发明的置信度评估学习机制能够较好评估跟踪结果的可靠性，及时调整滤波器的学习步长以及开启滤波器模板恢复机制，提升复杂场景中目标跟踪的准确性。

附图说明

图1是本发明基于多维置信度评估学习的视觉目标跟踪算法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是基于多维置信度评估学习的视觉目标跟踪算法流程如图1所示，具体方法为：

步骤1，跟踪开始前，设置多维度评估相应阈值及融合系数，多维度评估阈值包括重合度评估阈值η₀、相似度评估阈值η₁。置信度评估融合系数包含重合度、相似度以及平滑度融合系数(ξ_o，ξ_p，ξ_s)；设置模板失效阈值；连续采样帧数m；滤波器模板和学习率初始化；设置GMM样本空间大小N和设置每帧权值底数a。为提高置信度评估准确性，本文对连续m帧采样，并基于采样时间建立权重系数λ，其每帧权重变化表示为：

其中，a的下标为对应帧，上标为a的指数；m为连续的前m帧；λ为每帧权重。

步骤2，在第t帧时，对目标区域提取图像特征，利用t-1帧的模板

获得滤波器响应图，完成当前帧t的目标跟踪，跟踪结果记为R^t。

滤波器响应图为当前帧提取的特征图与上一帧滤波器的循环卷积结果，响应图为二维矩阵。其计算过程表示为：

其中，

为频域第i通道的滤波器；d为总通道数；

为频域输入特征图；G为输出响应图。

步骤3，对跟踪结果R^t分别采用平滑度、重合度以及相似性评估，融合三个评估值得到当前帧t最终的跟踪置信度评估分数C^t。其具体实现步骤为：

步骤3.1，平滑度用来衡量两帧之间运动的快慢。对连续m帧的跟踪结果进行平滑度采样，计算获得平滑度集合s_t＝[s_t-m,s_t-m+1…,s_t]，平滑度的计算公式表示为：

其中，k＝2(w+h)^-2，w和h为初始时刻在像素坐标系下目标外观的宽度和高度；d_(i,j)为目标中心点从第i帧移动到第j帧的欧式距离。

步骤3.2，依据每帧的权重系数λ来融合不同时刻平滑度，采用非线性高斯函数对融合结果进行评估。平滑度评估函数

表示为：

步骤3.3，连续m帧的跟踪结果进行重合度采样，重合度集合o_t＝[o_t-m,o_t-m+1…,o_t]的计算公式表示为：

其中，b_i为不同帧的目标跟踪结果的矩形框大小。

步骤3.4，依据每帧权重系数λ融合不同时刻重合度，重合度评估函数

表示为：

其中，η₀为重合度评估阈值，当满足

时，重合度越低，跟踪结果越不可靠，置信度评估分数下降速率越高；当满足

时，重合度变化慢，置信度评估分数变化较慢。

步骤3.5，样本之间的相似度采用PSR进行评估。PSR的计算公式表示为：

其中，g_max、g_min和g_(x,y)分别为响应图G中最大、最小和坐标为(x,y)的响应值,N为响应图G中元素数量。PSR越小，响应图震荡程度越剧烈，目标变化越剧烈；反之PSR越大，目标变化就越小。PSR值的变化范围通常在0到3000之间，将PSR的波动范围位于[0,1]区间，其约束表达式表示为：

其中，p_t为第t帧的原PSR值，p₀为PSR限制因子。与重合度评估类似，对连续m帧采样并计算约束后的PSR值，获得PSR集合p_t＝[p_t-m,p_t-m+1…,p_t]。相似度评估函数

表示为：

其中，η₁为相似性评估函数阈值，当

时，认为目标变化程度低，置信度评估分数变化小；当

时，认为目标变化程度快，置信度评估分数变化大。

步骤3.6，对平滑度、重合度以及相似度评估函数融合，融合公式表示为：

C(C^s,C^o,C^p)＝ξ_sC^s+ξ_oC^o+ξ_pC^p (10)

其中，C为跟踪置信度；ξ_s、ξ_o和ξ_p分别为平滑度评估、重合度评估以及相似度评估的权重系数，满足ξ_s+ξ_o+ξ_p＝1。

权重系数的设定需要考虑两种情况：一种情况是当平滑度或重合度的置信度评估得分很高而相似度得分很低时，可能由于目标自身形变造成，也有可能由于遮挡等因素造成，对于前者置信度很高，对于后者需要降低置信度。另一种情况是平滑度或重合度的置信度评估得分很低而相似度得分却很高，可能是背景杂波干扰或者快速运动造成的。这里，评估函数权重系数设定为ξ_p≤0.5且ξ_o>ξ_s。

步骤4，若置信度评估C_t大于设定的置信度评估阈值η₃，则将当前帧t存入GMM样本空间中并对GMM样本空间更新得到

反之GMM样本空间保持不变。

步骤5，结合t-1帧及以前帧的跟踪置信度评估分数，计算当前帧t跟踪置信度评估分数C^t的标准差

根据

和C^t判断跟踪模板是否失效。模板失效判定表达式表示为：

其中，C_t＝[C_t-m,C_t-m+1…,C_t]为连续m帧置信度评估集合；

为总体标准差；

η₂为设置的阈值，当

且C_t<η₂时，判定模板失效。

步骤6，依据步骤5的判定结果对跟踪模板更新，获得更新后的滤波器模板

步骤6.1，本文滤波器模板更新的目标函数表示为：

其中，第一项为脊回归项，目的是拟合高斯分布的理想标签；第二项是在滤波器H上引入自适应空间正则化项，对空间权重w进行优化；第三项引入了参考权重w^r，防止模型发生退化；K表示滤波器的通道数。优化时利用拉格朗日乘数法得到最优的滤波器H^*和权重w^*。

步骤6.2：针对模板未失效情况，其模板更新表达式表示为：

其中，

为新样本模板；

为旧样本模板；

为当前帧样本模板；

为新滤波器模板；；l为学习率。为应对目标不断变化的情形，本文自适应学习率调整策略为：置信度评估得分高则学习率变化较慢，避免新样本过拟合；置信度评估得分低则学习率应尽可能的小，防止滤波器模板被污染。自适应学习率表示为：

其中，η₂为置信度评估阈值；ζ₁和ζ₂分别为学习率取值区间的上下限；k₁＝(ζ₂-ζ₁)/(1-η₂)；b₁＝(ζ₁-ζ₂η₂)/(1-η₂)；k₂＝1/η₂，b₂为常数项；k₃＝(ζ₁-b₂)/log(2)。

步骤6.3，针对模板失效的情况，利用样本空间中每个高斯函数的权重融合所有的样本，用于重新训练滤波器模板，从而使滤波器模板复原。模板的更新如下所示：

其中，

为GMM样本空间经过融合的样本模板，

为GMM样本空间的样本对应的高斯函数，π_n为每个高斯函数的权重值。

步骤7，进入t+1帧，重复步骤2至步骤6。

Claims (6)

1.基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，具体操作步骤如下：

步骤1，跟踪开始前，设置多维置信度评估阈值及融合系数；设置模板失效阈值；连续采样帧数m；滤波器模板和学习率初始化；设置GMM样本空间大小N和设置每帧权值底数a；

步骤2，在第t帧时，对目标区域提取图像特征，利用t-1帧的模板

获得滤波器响应图，完成当前帧t的目标跟踪，跟踪结果记为R^t；

步骤3，对跟踪结果R^t分别采用平滑度、重合度以及相似性进行评估，融合三个评估值得到当前帧t跟踪置信度评估分数C^t；

步骤4，若跟踪置信度评估分数C^t大于设定的置信度评估阈值η₃，则将当前帧t存入GMM样本空间中并对GMM样本空间更新得到

反之，GMM样本空间保持不变；

步骤5，结合t-1帧及以前帧的跟踪置信度评估分数，计算当前帧t跟踪置信度评估分数C^t的标准差

根据

和C^t判断跟踪模板是否失效；

步骤6，依据步骤5的判定结果对跟踪模板更新，获得更新后的滤波器模板

步骤7，对于第t+1帧，重复步骤2至步骤6。

2.根据权利要求1所述的基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，步骤1中多维置信度评估阈值包括重合度评估阈值η₀、相似度评估阈值η₁，置信度评估融合系数包含重合度、相似度以及平滑度融合系数(ξ_o，ξ_p，ξ_s)；为提高置信度评估准确性，对连续m帧采样建立权重系数λ，其每帧的权重变化如下所示：

其中，a表示每帧的权重变化程度。

3.根据权利要求1所述的基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，步骤3具体为：

步骤3.1，对连续m帧的跟踪结果进行平滑度采样计算获得平滑度集合s_t＝[s_t-m,s_t-m+1…,s_t]，其平滑度计算公式为：

其中，k＝2(w+h)^-2，w和h为初始时刻在像素坐标系下目标外观的宽度和高度；d_(i,j)为目标中心点从第i帧移动到第j帧的欧式距离；

步骤3.2，依据每帧权重系数λ来融合不同时刻平滑度，采用非线性高斯函数对融合结果进行评估，其平滑度评估函数

表示为：

步骤3.3，对连续m帧的跟踪结果进行重合度采样计算获得重合度集合o_t＝[o_t-m,o_t-m+1…,o_t]，其重合度计算公式表示为：

其中，b_i为不同帧目标跟踪结果的矩形框大小；

步骤3.4，依据每帧权重系数λ来融合不同时刻重合度，考虑到重合度与跟踪置信度是非线性关系，其重合度评估函数

表示为：

其中，η₀为重合度评估阈值；

步骤3.5，对连续m帧采样并计算约束后的PSR值，获得PSR集合p_t＝[p_t-m,p_t-m+1…,p_t]；PSR的计算公式表示为：

其中，g_max、g_min和g_(x,y)分别为响应图G中最大、最小和坐标为(x,y)的响应值，N为响应图G中元素数量，PSR的波动范围位于[0,1]区间，其约束表达式表示为：

其中，p_t为第t帧的PSR值，p₀为PSR限制因子，考虑到PSR值与跟踪准确度的非线性关系，相似度评估函数

表示为：

其中，η₁为相似性评估函数阈值；

步骤3.6，对平滑度、重合度以及相似度的评估值进行融合，融合公式表示为：

C(C^s,C^o,C^p)＝ξ_sC^s+ξ_oC^o+ξ_pC^p (10)

其中，C为跟踪置信度；ξ_s、ξ_o和ξ_p分别为平滑度评估、重合度评估以及相似度评估的权重系数，满足ξ_s+ξ_o+ξ_p＝1，评估函数权重系数的设立原则为：ξ_p≤0.5且ξ_o>ξ_s。

4.根据权利要求1所述的基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，步骤5中模板失效判定表达式表示为：

其中，C_t＝[C_t-m,C_t-m+1…,C_t]为连续m帧跟踪置信度集合；

为总体标准差；δ₀、η₂为设置的阈值，当

且C_t<η₂时，判定模板失效。

5.根据权利要求1所述的基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，步骤6模板更新的具体过程为：

步骤6.1：滤波器模板更新的目标函数表示为：

其中，第一项是脊回归项，目的是拟合高斯分布的理想标签；第二项是在滤波器H上引入自适应空间正则化项，对空间权重w进行优化；

第三项引入了参考权重w^r，防止模型发生退化；K表示滤波器通道数；优化时利用拉格朗日乘数法得到最优滤波器H^*和权重w^*；

步骤6.2：针对滤波器模板未失效情况，样本模板和滤波器模板更新表达式表示为：

其中，

为新样本模板；

为旧样本模板；

为当前帧样本模板；

为新滤波器模板；l为自适应学习率，学习率的自适应调整策略描述为：当目标发生变化时，置信度评估得分高则学习率变化较慢，避免新样本过拟合；置信度评估得分低则学习率应尽可能的小，防止滤波器模板被污染，自适应学习率表达式表示为：

其中，η₂为置信度评估阈值；ζ₁和ζ₂分别为学习率取值区间的上下限；k₁＝(ζ₂-ζ₁)/(1-η₂)；b₁＝(ζ₁-ζ₂η₂)/(1-η₂)；k₂＝1/η₂，b₂为常数项；k₃＝(ζ₁-b₂)/log(2)。

6.根据权利要求4所述的基于多维置信度评估学习的视觉目标跟踪算法，其特征在于，针对模板失效的情况，模板更新表示为：

其中，

为GMM样本空间经过融合的样本模板，

为GMM样本空间的样本对应的高斯函数，π_n为每个高斯函数的权重值。

Images