CN116342653A - 一种基于相关滤波器的目标跟踪方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种基于相关滤波器的目标跟踪方法、系统、设备及介质，所述目标跟踪方法包括以下步骤：获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果。本发明的技术方案中，基于结合多特征融合与在线重检测的相关滤波器进行目标跟踪，能够实现更为鲁棒、稳定的目标跟踪。

Description

一种基于相关滤波器的目标跟踪方法、系统、设备及介质

技术领域

本发明属于视频图像处理技术领域，涉及目标跟踪领域，特别涉及一种基于相关滤波器的目标跟踪方法、系统、设备及介质。

背景技术

目标跟踪是视频图像处理领域的研究热点之一，其广泛地应用于航空航天、安防、交通、军事等领域中。目标跟踪是根据第一帧中所关注的目标信息，在后续连续地估计所选定目标的相关信息。由于目标本身的运动变化以及目标所处环境等诸多因素，目标跟踪一直以来是一个具有挑战性的问题，所面对的主要挑战有视野消失、遮挡、变形等。

随着跟踪算法的不断推陈出新，基于相关滤波的判别式目标跟踪器凭借其较为精确的跟踪结果以及出色的跟踪效率得到了学者的广泛关注，它将跟踪问题视为一项分类任务，对目标与目标周围的背景进行区分。

近些年来，对于基于相关滤波的判别式目标跟踪算法的研究取得了重大进展；其中，D.S.Blome等提出的最小输出误差平方和(Minimum Output Sum of Squared Error，MOSSE)滤波器，其作为相关滤波类跟踪算法的开山之作为后续此类算法的发展奠定了基础；由于MOSSE通过仿射变化得到的一组样本对滤波器进行初始化造成了样本冗余的问题，J.F.Henriques等提出了基于核循环结构的相关滤波跟踪器(Exploiting the CirculantStructure of Tracking-by-Detection with Kernels，CSK)其中主要包含基于循环移位的近似密集采样方法、岭回归以及核方法，充分利用了循环矩阵以及核方法，转换到频域中进行计算，不仅实现了密集采样并且降低了时间复杂度。

然而，上述的MOSSE与CSK均只采用了单通道的图像灰度特征，M.Danelljan等在CSK基础上加入了颜色特征，从而得到了自适应颜色特征目标跟踪器(Adaptive ColorAttributes for Real-Time Visual Tracking，CN)；而高速核相关滤波(High-SpeedTracking with Kernelized Correlation Filters，KCF)采用了多通道的方向方向梯度直方图特征(Histograms of Oriented Gradients，HOG)，提升了对目标外观的表述能力从而取得了更优异的跟踪性能。

在上述研究的基础上，由于单一特征的局限性，不能充分地对目标外观进行描述，导致不能准确的估计跟踪结果，因此许多学者对多特征融合展开了研究，以达到取长补短的目的；其中，L.Bertinett等提出的用于实时跟踪的互补学习器(Sum of Template AndPixel-wise Learners，Staple)联合HOG特征与颜色直方图特征，取得了不错的综合跟踪结果；但是，其采用固定权值加权的方式对两种特征进行融合，无法实现跟踪器的自适应跟踪，在多种跟踪场景下鲁棒性较差。

另外，核相关滤波器通过循环采样获取训练样本的方式产生的边界效应问题抑制了跟踪器的性能，学者们针对此问题进行了许多研究；其中，H.K.Galoogahi等提出了背景感知的相关滤波器(Background-Aware Correlation Filters，BACF)通过对空间进行约束提高真实样本的比例，从而弱化了边界效应的影响，然而其仅采用HOG特征，在运动模糊、快速运动等较为复杂的跟踪场景中表现不佳，跟踪器易漂移，鲁棒性较差。现有的目标跟踪的过程中，通常会进行在线的模型更新，上述跟踪器均为利用当前帧与先前帧的信息加权更新模型，并未对跟踪器所估计结果进行判断，若当前帧跟踪失败跟踪器将会对错误的目标样本进行学习，从而造成模型的快速漂移，后续将无法对目标完成跟踪即跟踪失败。

发明内容

本发明的目的在于提供一种基于相关滤波器的目标跟踪方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明的技术方案中，基于结合多特征融合与在线重检测的相关滤波器进行目标跟踪，能够实现更为鲁棒、稳定的目标跟踪。

为达到上述目的，本发明采用以下技术方案：

本发明第一方面提供的一种基于相关滤波器的目标跟踪方法，包括以下步骤：

获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；

基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果；

其中，对相关滤波器进行初始化的步骤包括：

基于获取的第一帧图像以及待跟踪目标相关信息，获取包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像；基于第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像，最小化求解实时滤波器的目标函数，获取初始化的实时滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取仅包含待跟踪目标的原始图像数据，基于仅包含待跟踪目标的原始图像数据，最小化求解模板滤波器的目标函数，获取初始化的模板滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取与待跟踪目标尺度大小相同的正负目标样本，通过最小化求解目标样本分类器的目标函数，获得初始化的目标样本分类器；至此，完成相关滤波器的初始化。

本发明方法的进一步改进在于，基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果的步骤中，获取第A帧图像进行目标跟踪以及相关滤波器更新的步骤包括：

获取待目标跟踪的第A帧图像；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的实时滤波器分别进行相关操作，得到各特征响应；基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中仅包含待跟踪目标的原始图像数据并进行特征提取，获得第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的模板滤波器进行相关操作，获得第一一致性参数；根据第一一致性参数判断是否进行在线重检测，若进行在线重检测则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果；

根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，若更新则采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的模板滤波器和样本分类器；若不更新则第A帧图像的模板滤波器和样本分类器为第A-1帧图像的模板滤波器和样本分类器；采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器。

本发明方法的进一步改进在于，所述实时滤波器和所述模板滤波器的目标函数的表达式均为，

式中，

是一个二值化的掩膜矩阵，是用于从/>

中裁剪大小为M×1的样本，N＞＞M；[Δτ_j]是循环移位算子，Px_d[Δτ_j]表示从x_d的所有移位样本中裁剪得到大小为M×1的样本；滤波器/>

的上标T表示复向量或矩阵的共轭转置，y是理想响应；N是x的长度，D为特征通道数，λ为正则化参数；j＝[1,…,N]，d＝[1,…,D]；E(·)表示目标函数；

目标函数训练求解时，将式(1)根据帕斯瓦尔定理转换为如下的频域表达式，

式中，

I_D是大小为D×D的单位矩阵；/>

表示克罗内克积；/>

表示对g进行离散傅里叶变换，

是用于将样本转换到频域的正交矩阵；

采用增广拉格朗日方法求解式(2)，其拉格朗日表达式为，

式中，μ是惩罚系数；

是在频域中定义的拉格朗日向量；

式(3)通过交替方向乘子法进行迭代求解，将问题转换为具有解析解的子问题

在求解子问题/>

时，将其分解为多个独立目标求解，求解结果为，

式中，

复杂度为/>

D为通道的数量，Nlog(N)为傅里叶逆变换的计算开销；

式中，

b是一个标量大小为

分别是/>

中的元素，n＝[1,…,N]；

拉格朗日向量的更新策略为：

式中，

上标(k+1)表示ADMM算法的第k+1次迭代；惩罚系数μ的取值策略为μ^(k+1)＝min(μ_max,χμ^(k))，μ_max为惩罚系数最大值，χ为常量系数，min(·)为取最小值。

本发明方法的进一步改进在于，所述目标样本分类器的目标函数的表达式为，

式中，<h,q>代表h和q之间的内积；{(q_f,b_f)|f＝1,2,…,F}为训练集，q_f是第f个样本生成的HOG与CN特征向量，b_f∈{+1,-1}是标签，F为样本总数；max{·}为取最大值。

本发明方法的进一步改进在于，所述基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果的步骤中，

采用峰值旁瓣比、平均峰值相关能、主峰显著性三种评价指标进行特征响应评价；其中，

式中，下标{1,2,…,i}为将所有响应峰按照响应值降序排列的序号；O表示主峰坐标与其余峰坐标之间的欧氏距离，S表示各峰的最大响应值，σ为标准差，λ_SOMP为规范化常量系数；

获得的特征响应权重矩阵为，

对特征响应按照权重矩阵所得到的自适应权重加权求和，得到多特征融合响应结果及目标初始估计结果，表达式为，

R_fusion＝wH*R_HOG+wC*R_CN+wG*R_Gray；

式中，R_fusion为多特征自适应融合响应，R_HOG为HOG特征响应，R_CN为CN特征响应，R_Gray灰度特征响应；wH为方向梯度直方图特征响应权重，wC为颜色命名特征响应权重，wG为灰度特征响应权重。

本发明方法的进一步改进在于，获得第一一致性参数和第二一致性参数的步骤中，一致性参数的计算表达式为，

式中，max(·)表示响应的最大值，

代表第A帧的一致性响应，mean(·)为求均值，A为当前帧数，a为2至A-1之间的任一常量整数。

本发明方法的进一步改进在于，所述根据第一一致性参数判断是否进行在线重检测，若进行在线重检测则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果的步骤包括：

当第一一致性参数小于阈值T_rd时，进行在线重检测操作；若进行在线重检测操作则将基于第A-1帧图像获得的样本分类器所得到的高分目标样本，选取前L个样本通过模板滤波器再次判定，若重检测高分正样本的第二一致性参数大于T_rp则利用高分正样本更新初始估计目标信息；

根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，以及基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器的步骤中，

当第一一致性参数或第二一致性参数大于T_up时，对模板滤波器以及样本分类器进行更新；

实时滤波器与模板滤波器的更新策略为，

式中，

为第A帧更新后得到的模型，/>

为根据第A帧最终目标估计信息所训练得到的模型，η为更新学习速率；

样本分类器进行更新，其超平面h更新策略为，

式中，

为损失函数关于超平面的梯度，γ是学习速率参数。

本发明第二方面提供的一种基于相关滤波器的目标跟踪系统，包括：

数据获取模块，用于获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；

初始化模块，用于基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

跟踪及更新模块，用于基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果。

本发明第三方面提供的一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面任一项所述的基于相关滤波器的目标跟踪方法。

本发明第四方面提供的一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述的基于相关滤波器的目标跟踪方法。

与现有技术相比，本发明具有以下有益效果：

本发明的技术方案中，基于结合多特征融合与在线重检测的相关滤波器进行目标跟踪，能够实现更为鲁棒、稳定的目标跟踪。具体的，针对采用单一HOG特征在部分跟踪挑战下对目标外观描述的局限性从而造成跟踪失败风险极大增加的问题，本发明方案中采用了联合多种特征增强跟踪器对目标外观的描述能力与鉴别能力的技术手段，这种手段具有能够充分挖掘目标信息，充分发挥不同特征的内在特性的特点，用来解决上述问题能够有效的提高跟踪器在不同跟踪场景下的稳定性与鲁棒性。针对目标受到遮挡、视野消失等挑战以及跟踪误差积累造成的目标跟踪失败，以及无法重新恢复对目标进行持续跟踪的问题，本发明技术方案采用了对跟踪目标进行在线重检测的技术手段，这种手段具有自适应判断目标跟踪状态、在线重检测目标相关位置与尺度信息的特点，用来解决上述问题能够提高跟踪器在跟踪过程中的稳定性，降低跟踪器漂移的风险，提升综合跟踪表现。

针对多特征响应融合采用线性加权融合效果不佳，无法充分发挥多特征属性互补的问题，本发明方案中设计了一种新颖的特征响应评价指标SOMP，针对响应图的几何特性以及响应图的峰值信息进行描述，更加关注响应的鲁棒性，通过几种已有的评价指标用来解决上述问题能够有效地提高跟踪器对多种特征响应判别与融合的准确性，实现更为精确的目标跟踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于相关滤波器的目标跟踪方法的流程示意图；

图2是本发明实施例中，相关滤波器的整体结构示意图；

图3是本发明实施例中，SOMP响应评价指标示意图；

图4是本发明实施例中，重检测模块的主要结构示意图；

图5是本发明实施例中，决策模块的判定流程示意图；

图6是本发明实施例中，相关滤波器的准确率曲线与成功率曲线示意图；其中，图6中(a)为综合跟踪准确率曲线示意图，图6中(b)为综合跟踪成功率曲线示意图；

图7是本发明实施例中，代表性跟踪挑战下的实验结果示意图；其中，图7中(a)为变形挑战下的跟踪准确率曲线示意图，图7中(b)为变形挑战下的跟踪成功率曲线示意图，图7中(c)为视野消失挑战下的跟踪准确率曲线示意图，图7中(d)为视野消失挑战下的跟踪成功率曲线示意图，图7中(e)为遮挡挑战下的跟踪准确率曲线示意图，图7中(f)为遮挡挑战下的跟踪成功率曲线示意图；

图8是本发明实施例中，相关滤波器的跟踪示意图；其中，其中，图8中(a)为视频序列ball_ce2的跟踪结果示意图，图8中(b)为视频序列Lemming的跟踪结果示意图，图8中(c)为视频序列Woman的跟踪结果示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

请参阅图1，本发明实施例提供的一种基于相关滤波器的目标跟踪方法，具体包括以下步骤：

步骤1，获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体可包括待跟踪目标的位置信息和尺度信息；

步骤2，基于步骤1获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

步骤3，基于步骤2获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪，获得目标跟踪结果；

其中，步骤2中，对相关滤波器进行初始化的步骤具体包括：

步骤2.1，基于获取的第一帧图像以及待跟踪目标相关信息，获取包含有待跟踪目标与部分背景信息的原始图像数据；基于包含有待跟踪目标与部分背景信息的原始图像数据，提取获得第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像；示例性的，根据第一帧图像中待跟踪目标相关信息对第一帧图像进行裁剪，获得包含有待跟踪目标与部分背景信息的原始图像数据；

步骤2.2，基于第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像，最小化求解实时滤波器的目标函数，获取初始化的实时滤波器；

步骤2.3，基于获取的第一帧图像以及待跟踪目标相关信息，获取仅包含待跟踪目标的原始图像数据；基于仅包含待跟踪目标的原始图像数据，最小化求解模板滤波器的目标函数，获取初始化的模板滤波器；

步骤2.4，基于获取的第一帧图像以及待跟踪目标相关信息，获取与待跟踪目标尺度大小相同的正负目标样本，通过最小化求解目标样本分类器的目标函数，获得初始化的目标样本分类器；最终完成相关滤波器初始化。

其中，步骤3中，逐帧获取图像并进行目标跟踪的步骤中，第二帧图像至第Z帧图像中的第A帧图像进行目标跟踪的步骤包括：

步骤3.1，获取待目标跟踪的第A帧图像；

步骤3.2，根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中包含有目标与部分背景信息的原始图像数据；基于第A帧图像中包含有目标与部分背景信息的原始图像数据，提取第A帧图像中包含有目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中包含有目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的实时滤波器分别进行相关操作得到各特征响应；基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果；

步骤3.3，根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中仅包含目标的原始图像数据；基于第A帧图像中仅包含目标的原始图像数据，提取第A帧图像中仅包含目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中仅包含目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的模板滤波器进行相关操作，获得第一一致性参数；根据第一一致性参数判断是否进行在线重检测；若需要在线重检测，则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果；

步骤3.4，根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，若更新则采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的模板滤波器和样本分类器；若不更新则第A帧图像的模板滤波器和样本分类器为第A-1帧图像的模板滤波器和样本分类器；采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器。

本发明实施例上述的目标跟踪方法中，基于结合多特征融合与在线重检测的相关滤波器进行目标跟踪，能够实现更为鲁棒、稳定的目标跟踪。

本发明实施例提供的一种基于相关滤波器的目标跟踪方法，具体包括以下步骤：

步骤一、通过可见光图像采集装置获取目标的第一帧高分辨率图像，并在初始第一帧中框选定所需要被跟踪的目标；

步骤二、根据第一帧目标的相关信息对第一帧图像进行裁剪，获取包含有目标与部分背景信息的图像原始数据，提取方向梯度直方图、颜色命名、灰度三种特征图像；

步骤三、初始化实时滤波器；其中，根据包含有目标与背景的特征图像设置高斯目标响应标签，在频域中实现对所获取的特征图像的循环采样，通过交替方向乘子法对目标函数进行优化求解，得到实时滤波器相关参数信息，实现对实时滤波器的在线训练，完成对实时滤波器的初始化；

步骤四、初始化模板滤波器；其中，根据目标相关信息裁剪特征图像，获取仅包含目标的特征图像，同步骤三完成对模板滤波器的初始化；

步骤五、初始化目标样本分类器；其中，根据目标相关信息裁剪特征图像，获取同目标尺度大小的正负目标样本，通过小化求解分类器目标函数，得到分类器超平面的相关参数信息，完成对目标样本分类器的初始化；

步骤六、通过可将光图像采集装置获取新一帧的高分辨率图像，根据前一帧的最终目标相关信息对图像进行同步骤二的操作，得到相关特征图像；

步骤七、对特征图像与实时滤波器进行相关操作得到各特征响应，进行特征响应评价得到特征响应权重矩阵，从而获得特征响应自适应权重，完成对多特征自适应融合，根据融合响应获得目标初始估计结果；

步骤八、利用模板滤波器与根据目标初始估计结果裁剪仅包含目标的特征图像进行相关操作，获得一致性参数，根据一致性参数判断是否进行在线重检测；

步骤九、若需要在线重检测，对当前帧特征图像通过滑动窗口进行样本采集，通过样本分类器获取高分目标正样本，利用模板滤波器对高分正样本进行目标一致性检验，获取一致性参数，判断是否更新目标初始估计结果作为当前帧目标最终估计结果；

步骤十、根据一致性参数判断是否对模板滤波器以及样本分类器进行更新，若更新，同步骤四和步骤五完成在线训练与更新学习，并且根据目标估计结果同步骤三完成对实时滤波器的在线训练与更新学习；

步骤十一、后续循环步骤六至步骤十进行目标持续跟踪。

请参阅图2，图2为本发明实施例公开的相关滤波器整体结构逻辑图，其主要包括三部分：多特征响应分析模块、多特征自适应融合模块和在线重检测模块；

其中，工作流程为首先对输入图像提取目标多种特征，通过实时相关滤波器得到多种特征响应，接下来利用多特征自适应融合模块分配自适应权重得到融合响应以及目标初始估计信息，最终通过在线重检测模块对目标初始估计信息进行分析并判定是否需要进行重检测以及模型更新操作；后续视频帧中重复上述步骤。

本发明实施例中，多特征响应分析模块中：

特征是对于目标外观的描述工具，各种特征均拥有不同特性，在其所适应的跟踪场景下将会得到更加精确的外观信息。基于背景感知的相关滤波器能够有效的处理基于相关滤波类目标跟踪器中的边界效应问题，但其中仅采用了单一的HOG特征对目标进行描述，由于特征自身的局限性，在部分跟踪挑战下如运动模糊、快速运动等，跟踪失败的风险将大大增加；通过联合多种特征，实现在不同跟踪场景下对目标外观的准确描述，增强跟踪器的鲁棒性，提升跟踪综合表现。

HOG特征可以捕获局部形状的边缘或梯度结构，在目标平移或旋转小于局部区域的尺寸时，其特征描述的变化很小，稳定性优异，但对运快速运动与变形非常敏感。表示颜色视觉信息的颜色命名(Color Names，CN)特征对外观变化和快速运动具有鲁棒性，但对光照变化和背景杂乱敏感。由于HOG特征与CN特征各自的内在性质可以很好的相互补充，而灰度(Gray)特征对于尺度变化不敏感，具有较好的鲁棒性。因此，为了增强跟踪器对目标的鉴别能力，对目标外观描述进行优化，通过对目标进行多特征分析，从而实现更为鲁棒的目标跟踪。

为了实现持续的目标跟踪过程，其中训练实时相关滤波器非常关键，通过其与当前帧不同的特征图像进行相关操作即可得到不同特征所对应的特征响应图，从而进行跟踪中的后续操作。为了应对边界效应问题，提升跟踪表现，本发明中的实时相关滤波器通过最小化式(1)所示的目标函数得来：

式中，

是一个二值化的掩膜矩阵，其可以从/>

中裁剪大小为M×1的样本，N＞＞M；[Δτ_j]是循环移位算子，Px_d[Δτ_j]表示从x_d的所有移位样本中裁剪得到大小为M×1的样本；滤波器/>

的上标T表示复向量或矩阵的共轭转置，y是理想响应。

为了提高计算效率，相关滤波器通常在频域中进行训练，式(1)可以根据帕斯瓦尔定理转换为如下的频域表达式：

式中，

I_D是大小为D×D的单位矩阵；/>

表示克罗内克积；/>

表示对g进行离散傅里叶变换，具体形式为

其中/>

是用于将样本转换到频域的正交矩阵。

采用增广拉格朗日方法(ALM)来求解式(2)，其拉格朗日表达式如下：

式中，μ是惩罚系数；

是在频域中定义的拉格朗日向量。

式(3)可以通过交替方向乘子法(ADMM)进行迭代求解，可以将该问题转换为具有解析解的多个子问题

在求解子问题/>

时，将其分解为多个独立目标求解，求解结果为：

子问题w^*：

式中，

复杂度为/>

其中D为通道的数量，Nlog(N)为傅里叶逆变换的计算开销；

子问题

式中，

b是一个标量大小为/>

其中/>

分别是/>

中的元素，n＝[1,…N]。

拉格朗日向量的更新策略为：

式中，

上标(k+1)表示ADMM算法的第k+1次迭代；惩罚系数μ的取值策略为μ^(k+1)＝min(μ_max,χμ^(k))。

本发明实施例中，通过所训练得到的实时相关滤波器分别与当前帧不同特征图像进行相关操作即可得到所对应的特征响应图，以便于通过多特征融合模块进行分析实现自适应的多特征融合操作，得到能够充分发挥不同特征内在优势的融合响应图。

本发明实施例的多特征自适应融合模块：

在不同的跟踪场景下，根据三种特征响应图所得到的估计目标位移向量有所差异，对响应图进行固定值的加权操作无法充分发挥多特征互补的效果；本发明在该部分通过设计更为准确的响应评价指标主峰显著性(Significance Of Main Peak，SOMP)，联合其余几种已有的评价指标，通过构建特征响应权重矩阵实现两种特征响应的自适应融合，进而提升跟踪性能。

特征响应评价指标是多特征响应融合的关键，当前主要有峰值旁瓣比(Peak toSidelobe Ratio，PSR)、平均峰值相关能(Average Peak-to-Correlation Energy，APCE)两种评价指标。

上述两种评价指标都在一定程度上反映了响应的质量，但是都存在一定的缺陷，理想的模板类特征响应为单峰形式的三维形状，PSR与APCE均仅从响应值出发，没有对响应图的几何特性进行评价。

本发明实施例中，具体公开了一种新型的响应评价指标SOMP进行补充，主要针对响应图的几何特性以及响应图的峰值信息进行描述，相比PSR与APCE更加关注响应的鲁棒性，对响应图进行了更为严格的评判，其表达式为：

式中，下标{1,2,…,i}为将所有响应峰按照响应值降序排列的序号；O表示主峰坐标与其余峰坐标之间的欧氏距离，S表示各峰的最大响应值，σ为标准差，λ_SOMP为规范化常量系数。

请参阅图3，遮挡是一种常见的跟踪挑战，目标被不同程度的遮挡将产生不同质量的响应图；如图3所示，当目标没有受到过多的干扰即所对应的响应质量越优时，SOMP值越大，当目标受到如遮挡等因素干扰时，响应图的形状将产生变化，SOMP值也将显著降低；通过利用多种响应评价指标构建多特征响应权重矩阵，实现跟踪器在不同跟踪场景下对三种特征响应图进行自适应的分配权重，有效地利用不同特征响应信息，规避跟踪失败的风险；权重矩阵如表1所示。

表1.特征响应权重矩阵

特征响应权重矩阵通过对每一种特征分别采用三种评价指标进行评价，得到所对应的指标特征权重wSH、wAH、wPH、wSC、wAC、wPC、wSG、wAG、wPG，将同一特征的指标特征权重相加得到其所对应的自适应权重wH、wC、wG。最终通过式(8)对特征响应按照权重矩阵所得到的自适应权重加权求和即可得到多特征融合响应结果及目标初始估计结果。

R_fusion＝wH*R_HOG+wC*R_CN+wG*R_Gray(8)

式中，R_fusion,R_HOG,R_CN,R_Gray分别为融合响应，HOG特征响应，CN特征响应以及灰度特征响应。

本发明实施例中，通过对多特征的自适应融合可以在一定程度上增强滤波器的鲁棒性，提高在不同跟踪场景下的稳定性，所得到的初始估计结果并非十分准确的，若采用初始估计结果对滤波器模型进行更新将极大的增加模型快速漂移的风险，因此设计在线重检测模块来降低此问题发生的概率是非常有必要的。

本发明实施例的在线重检测模块中：

在得到目标初始估计结果后，若直接采用其对实时滤波器进行更新并进行持续跟踪，跟踪器漂移的风险将大大增加并可能会快速跟踪失败，因此构建一个在线重检测模块来降低此类问题发生的风险，增加跟踪器的稳定性。

请参阅图4和图5，在线重检测模块的主要结构如图4所示，其中主要包括三部分：模板滤波器、决策模块、SVM样本分类；其中，模板滤波器通过如式(1)所示的目标函数训练得来，主要关注于图像目标区域，通过将初始估计结果送入模板滤波器，可得到一致性响应，可通过式(9)得到一致性：

式中，max(·)表示响应的最大值，

代表第A帧的一致性响应，mean(·)为求均值。

一致性参数反映了当前帧初始估计结果的可靠性，因此可根据其做出一系列决策，其中决策模块的判定流程如图5所示，其中根据一致性参数做出了重检测、更新等判定。其中当一致性参数C小于阈值T_rd时，将进行重检测操作,若进行重检测操作将得到由支持向量机(support vector machine,SVM)分类所得到的高分目标样本，选取前L个样本通过模板滤波器再次判定，若重检测高分正样本的一致性参数大于T_rp则利用高分正样本更新初始估计目标信息。为了保证模板滤波器与SVM分类器的稳定性，当一致性参数C大于T_up时对两者进行更新。其中实时滤波器在每一帧将进行更新，实时滤波器与模板滤波器的更新策略为：

式中，

为第t帧更新后得到的模型，/>

为根据第t帧最终目标估计信息所训练得到的模型，η为更新学习速率。

当目标初始估计结果的一致性参数较低需要进行重检测时，需要通过SVM分类器对重检测样本进行分类，因此需要在第一帧中训练一个SVM分类器。分类器的训练需要大量的正负样本，将与真实目标框的交并比大于0.9设置为正样本，小于0.1设置为负样本，因此可以得到具有F个样本的训练集{(p_f,b_f)|f＝1,2,…,F}；其中，p_f是第f个样本生成的HOG与CN特征向量，b_f∈{+1,-1}是标签，通过最小化如下式所示的目标函数即可得到SVM分类器超平面h：

式中，<h,q>代表h和q之间的内积。

当一致性参数大于T_up时，将对SVM分类器模型进行更新，其超平面h更新策略为：

式中，

为损失函数关于超平面的梯度，γ是学习速率参数。

在当需要对目标进行重检测时，在初始估计目标位置周围的图像区域进行滑动窗口采样并提取特征信息构成重检测样本；通过SVM分类器选取高分正样本再次通过模板滤波器进行判定，根据其一致性参数通过决策模块进一步操作，若大于T_rp则利用重检测的目标信息替代初始跟踪结果，若大于T_up则跟踪当前目标信息对分类器进行在线更新，实现重检测过程。

本发明实施例中，通过重检测模块可对滤波器的初始估计结果进一步的判定与即时纠正，能够大大降低跟踪失败的风险，提升跟踪的稳定性，实现更高效、更长久、更稳定的目标跟踪。

本发明的具体实施例中，实验操作系统为Windows10，编程环境为MATLAB2016，均在CPU(3.7GHz)运行，实验主要参数如表2所示：

表2.实验主要参数

在TC128数据集上进行实验测评，该数据集共存在11种跟踪挑战，分别为快速运动、背景杂乱、运动模糊、变形、光照变化、平面内旋转、低分辨率、遮挡、平面外旋转、视野消失、尺度变化。数据集工具箱主要通过准确率和成功率两个指标对跟踪器进行综合评测，统计估计目标位置与真实位置的距离小于给定阈值的视频帧数，其所占总视频帧数的百分比作为该阈值所对应的准确率值，根据不同的阈值可绘制出准确率曲线；成功率则是跟踪成功的帧数占所有视频帧数的百分率，当算法的估计目标框a与真实目标框b的重合率大于一定阈值时定义为跟踪成功，其中重合率定义为OS＝|a∩b|/|a∪b|，|·|表示区域内的像素数量，同样可根据不同的阈值绘制出成功率曲线。

请参阅图6，与多个跟踪器进行实验对比，通过数据集工具箱输出实验评测结果，所得到的准确率曲线图与成功率曲线图如图6所示。本发明实施例所涉及的跟踪器(ORMCF)相较于其余所列跟踪器均有较大幅度的提升，相比于基准BACF跟踪器在准确率与成功率上分别提升11.2％和7.1％。在不同挑战下的准确率和成功率结果如表3与表4所示。

表3.TC128不同跟踪挑战下准确率

表4.OTB2015不同跟踪挑战下算法成功率

请参阅图7和图8，由表3与表4可以看到，本发明实施例所涉及跟踪器在该数据集所有挑战下均有着优异的表现，其中代表性挑战下的实验结果如图7所示；其中，主要在视野消失、遮挡等挑战下均有显著提升，如对于视野消失挑战准确率与成功率相比于BACF分别提升15.2％和9.5％，对于遮挡挑战分别提升12.5％和8.9％。该发明所涉及的跟踪器在部分视频序列的跟踪示例图如图8所示。通过综合实验，本发明实施例涉及跟踪器可以26fps的速度对目标进行实时跟踪，并且有良好的跟踪精度，是一种高效、稳定、精确的实时目标跟踪器。

综上所述，本发明实施例公开了一种结合多特征融合与在线重检测的相关滤波器，能够有效解决传统跟踪器在部分复杂跟踪场景下表现不佳的问题。设计了一种主峰显著性特征响应评价指标，提高对多特征判别与融合的准确性；构建了一种多特征自适应融合策略，增强跟踪器对目标的鉴别能力，提高跟踪器在不同跟踪场景下的鲁棒性；构造了一个在线重检测模块，增强跟踪器在跟踪过程中的稳定性，降低跟踪器漂移的风险，提升综合跟踪表现。通过在TC128数据集进行实验测评，实验结果表明该跟踪器有良好的综合性能，可以实现较为精确的实时目标跟踪。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。

本发明实施例提供的一种基于相关滤波器的目标跟踪系统，包括：

数据获取模块，用于获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；

初始化模块，用于基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

跟踪及更新模块，用于基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于相关滤波器的目标跟踪方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于相关滤波器的目标跟踪方法的相应步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于相关滤波器的目标跟踪方法，其特征在于，包括以下步骤：

获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；

基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果；

其中，对相关滤波器进行初始化的步骤包括：

基于获取的第一帧图像以及待跟踪目标相关信息，获取包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像；基于第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像，最小化求解实时滤波器的目标函数，获取初始化的实时滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取仅包含待跟踪目标的原始图像数据，基于仅包含待跟踪目标的原始图像数据，最小化求解模板滤波器的目标函数，获取初始化的模板滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取与待跟踪目标尺度大小相同的正负目标样本，通过最小化求解目标样本分类器的目标函数，获得初始化的目标样本分类器；至此，完成相关滤波器的初始化。

2.根据权利要求1所述的一种基于相关滤波器的目标跟踪方法，其特征在于，基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果的步骤中，获取第A帧图像进行目标跟踪以及相关滤波器更新的步骤包括：

获取待目标跟踪的第A帧图像；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的实时滤波器分别进行相关操作，得到各特征响应；基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中仅包含待跟踪目标的原始图像数据并进行特征提取，获得第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的模板滤波器进行相关操作，获得第一一致性参数；根据第一一致性参数判断是否进行在线重检测，若进行在线重检测则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果；

根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，若更新则采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的模板滤波器和样本分类器；若不更新则第A帧图像的模板滤波器和样本分类器为第A-1帧图像的模板滤波器和样本分类器；采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器。

3.根据权利要求2所述的一种基于相关滤波器的目标跟踪方法，其特征在于，所述实时滤波器和所述模板滤波器的目标函数的表达式均为，

式中，

是一个二值化的掩膜矩阵，是用于从/>

中裁剪大小为M×1的样本，N＞＞M；[Δτ_j]是循环移位算子，Px_d[Δτ_j]表示从x_d的所有移位样本中裁剪得到大小为M×1的样本；滤波器/>

的上标T表示复向量或矩阵的共轭转置，y是理想响应；N是x的长度，D为特征通道数，λ为正则化参数；j＝[1,…,N]，d＝[1,…,D]；E(·)表示目标函数；

目标函数训练求解时，将式(1)根据帕斯瓦尔定理转换为如下的频域表达式，

式中，

I_D是大小为D×D的单位矩阵；/>

表示克罗内克积；/>

表示对g进行离散傅里叶变换，/>

是用于将样本转换到频域的正交矩阵；

采用增广拉格朗日方法求解式(2)，其拉格朗日表达式为，

式中，μ是惩罚系数；

是在频域中定义的拉格朗日向量；

式(3)通过交替方向乘子法进行迭代求解，将问题转换为具有解析解的子问题

在求解子问题/>

时，将其分解为多个独立目标求解，求解结果为，

式中，

复杂度为/>

D为通道的数量，Nlog(N)为傅里叶逆变换的计算开销；

式中，

b是一个标量大小为/>

分别是/>

中的元素，n＝[1,…,N]；

拉格朗日向量的更新策略为：

式中，

上标(k+1)表示ADMM算法的第k+1次迭代；惩罚系数μ的取值策略为μ^(k+1)＝min(μ_max,χμ^(k))，μ_max为惩罚系数最大值，χ为常量系数，min(·)为取最小值。

4.根据权利要求3所述的一种基于相关滤波器的目标跟踪方法，其特征在于，所述目标样本分类器的目标函数的表达式为，

式中，<h,q>代表h和q之间的内积；{(q_f,b_f)|f＝1,2,…,F}为训练集，q_f是第f个样本生成的HOG与CN特征向量，b_f∈{+1,-1}是标签，F为样本总数；max{·}为取最大值。

5.根据权利要求4所述的一种基于相关滤波器的目标跟踪方法，其特征在于，所述基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果的步骤中，

采用峰值旁瓣比、平均峰值相关能、主峰显著性三种评价指标进行特征响应评价；其中，

式中，下标{1,2,…,i}为将所有响应峰按照响应值降序排列的序号；O表示主峰坐标与其余峰坐标之间的欧氏距离，S表示各峰的最大响应值，σ为标准差，λ_SOMP为规范化常量系数；

获得的特征响应权重矩阵为，

对特征响应按照权重矩阵所得到的自适应权重加权求和，得到多特征融合响应结果及目标初始估计结果，表达式为，

R_fusion＝wH*R_HOG+wC*R_CN+wG*R_Gray；

式中，R_fusion为多特征自适应融合响应，R_HOG为HOG特征响应，R_CN为CN特征响应，R_Gray灰度特征响应；wH为方向梯度直方图特征响应权重，wC为颜色命名特征响应权重，wG为灰度特征响应权重。

6.根据权利要求5所述的一种基于相关滤波器的目标跟踪方法，其特征在于，获得第一一致性参数和第二一致性参数的步骤中，一致性参数的计算表达式为，

式中，max(·)表示响应的最大值，

代表第A帧的一致性响应，mean(·)为求均值，A为当前帧数，a为2至A-1之间的任一常量整数；

所述根据第一一致性参数判断是否进行在线重检测，若进行在线重检测则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果的步骤包括：

当第一一致性参数小于阈值T_rd时，进行在线重检测操作；若进行在线重检测操作则将基于第A-1帧图像获得的样本分类器所得到的高分目标样本，选取前L个样本通过模板滤波器再次判定，若重检测高分正样本的第二一致性参数大于T_rp则利用高分正样本更新初始估计目标信息。

7.根据权利要求6所述的一种基于相关滤波器的目标跟踪方法，其特征在于，根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，以及基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器的步骤中，

当第一一致性参数或第二一致性参数大于T_up时，对模板滤波器以及样本分类器进行更新；

实时滤波器与模板滤波器的更新策略为，

式中，

为第A帧更新后得到的模型，/>

为根据第A帧最终目标估计信息所训练得到的模型，η为更新学习速率；

样本分类器进行更新，其超平面h更新策略为，

式中，

为损失函数关于超平面的梯度，γ是学习速率参数。

8.一种基于相关滤波器的目标跟踪系统，其特征在于，包括：

数据获取模块，用于获取第一帧图像以及待跟踪目标相关信息；其中，所述待跟踪目标相关信息具体至少包括待跟踪目标的位置信息和尺度信息；

初始化模块，用于基于获取的第一帧图像以及待跟踪目标相关信息，对相关滤波器进行初始化，获得初始化的相关滤波器；

跟踪及更新模块，用于基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果；

其中，对相关滤波器进行初始化的步骤包括：

基于获取的第一帧图像以及待跟踪目标相关信息，获取包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像；基于第一帧图像的方向梯度直方图、颜色命名、灰度三种特征图像，最小化求解实时滤波器的目标函数，获取初始化的实时滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取仅包含待跟踪目标的原始图像数据，基于仅包含待跟踪目标的原始图像数据，最小化求解模板滤波器的目标函数，获取初始化的模板滤波器；基于获取的第一帧图像以及待跟踪目标相关信息，获取与待跟踪目标尺度大小相同的正负目标样本，通过最小化求解目标样本分类器的目标函数，获得初始化的目标样本分类器；至此，完成相关滤波器的初始化；

其中，基于获得的初始化的相关滤波器，逐帧获取图像并进行目标跟踪以及相关滤波器更新，最终获得目标跟踪结果的步骤中，获取第A帧图像进行目标跟踪以及相关滤波器更新的步骤包括：

获取待目标跟踪的第A帧图像；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据并进行特征提取，获得第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中包含有待跟踪目标与部分背景信息的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的实时滤波器分别进行相关操作，得到各特征响应；基于得到的各特征响应，进行特征响应评价得到特征响应权重矩阵；基于特征响应权重矩阵，获得特征响应自适应权重；基于特征响应自适应权重，将各特征响应进行自适应融合，获得多特征自适应融合响应；根据多特征自适应融合响应，获得第A帧图像的目标初始估计结果；

根据第A帧图像、第A-1帧图像的待跟踪目标相关信息，获取第A帧图像中仅包含待跟踪目标的原始图像数据并进行特征提取，获得第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像；将第A帧图像中仅包含待跟踪目标的原始图像数据对应的方向梯度直方图、颜色命名、灰度三种特征图像与基于第A-1帧图像获得的模板滤波器进行相关操作，获得第一一致性参数；根据第一一致性参数判断是否进行在线重检测，若进行在线重检测则对第A帧图像通过滑动窗口进行样本采集，获得待分类目标样本；将待分类目标样本，通过基于第A-1帧图像获得的样本分类器获取高分目标正样本，利用基于第A-1帧图像获得的模板滤波器对高分正样本进行目标一致性检验，获取第二一致性参数，基于第二一致性参数判断是否更新第A帧图像的目标初始估计结果作为第A帧图像的目标最终估计结果；

根据第一一致性参数或第二一致性参数判断是否对模板滤波器以及样本分类器进行更新，若更新则采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的模板滤波器和样本分类器；若不更新则第A帧图像的模板滤波器和样本分类器为第A-1帧图像的模板滤波器和样本分类器；采用与初始化相同的步骤，基于第A帧图像以及第A帧图像的目标最终估计结果完成在线训练与更新学习，获得第A帧图像的实时滤波器。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于相关滤波器的目标跟踪方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于相关滤波器的目标跟踪方法。

Images