CN108734139B - 基于特征融合及svd自适应模型更新的相关滤波跟踪方法 - Google Patents

Abstract

本发明提供一种基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，涉及目标跟踪技术领域。基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，在特征提取阶段将边缘特征及HOG特征加权融合作为目标特征，加强对边缘特征的学习；在模型更新阶段，首先计算预测区域与真实区域的奇异值特征向量，进而通过计算奇异值特征向量的相似度，并结合设定的阈值判断是否需要进行模型更新。本发明提供的基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，加强了对边缘特征的学习，避免了每一帧都更新模型造成的计算频繁，降低了错误更新的概率，更好的适应了背景干扰及目标遮挡等问题。

Description

基于特征融合及SVD自适应模型更新的相关滤波跟踪方法

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种基于特征融合及SVD自适应模型更新的相关滤波跟踪方法。

背景技术

人类可以通过视觉、听觉语言与外部世界交换信息，自从1946年电子计算机的诞生以来，人类一直在思考机器是否能有类似于人一样的智能。随着信息时代的高速迅猛发展，越来越多的智能问题，如无人驾驶汽车、医学影像的识别和理解、视频理解等，相继被解决，主要依靠的是视频、影音、语义等大量非结构化、多维度甚至非常完备的大数据的使用。如何利用机器学习、人工智能等新技术手段及时发掘其潜在隐藏信息并有效指导工业生产、实时监控等现实问题均具有重要的现实意义与实用价值。

计算机视觉通过计算机及相关设备对生物视觉进行模拟，视觉感官由各种成像系统代替，并作为输入手段，大脑则由计算机代替完成处理和解释。计算机视觉是一门融合了模式识别、信号处理、统计学等学科领域的研究方法与成果的综合性学科，同时也是各个领域中不可分割的一部分，如辅助医疗、制造业、文档分析和军事等领域。目标跟踪(ObjectTracking)是计算机视觉领域重要的研究方向，综合了图像分析与处理、自动化控制、模式识别与人工智能、计算机辅助等跨学科多专业的交叉研究领域。其主要目的是模仿生理视觉系统的运动感知功能，通过对摄像头捕捉到的图像序列进行分析，构建视频帧间动态运动目标的轨迹模型以实现动态目标的实时监测与跟踪，随着硬件处理器的处理速度不断提升，以及计算机视觉理论的迅猛发展，目标跟踪技术这几年在智能交通、视觉导航、机器人、视频监控等方面有极为广泛应用。

首次将相关滤波用在了目标跟踪领域的是MOSSE算法，是David S.Bolme于2010年提出，MOSSE滤波器根据卷积定理，将两个图像块的空间卷积操作(在不同的平移图像块间则是点积)变换成傅立叶域中相应变换的乘积，大大降低了目标跟踪算法的计算量。基于MOSSE滤波器的目标跟踪算法，利用快速傅立叶变换(Fast Fourier Transform,FFT)将图像从空间域变换到频率域，采用自适应相关滤波器对目标的表观进行建模，并通过卷积来实现对目标的跟踪。在训练过程中，该方法对第一帧图像中初始化的目标区域进行仿射变换得到8张图像作为训练集，并在此训练集上进行滤波器的训练。在滤波器求解过程中，该方法通过最小化误差平方和来求解得到初始滤波器。在目标跟踪过程中，该方法利用已有的跟踪结果和滤波器，采用加权平均策略对滤波器进行实时更新，从而实现滤波器的自适应。基于MOSSE滤波的目标跟踪对光照、目标尺度、目标姿态的变化以及目标的非刚体形变等都有较好的鲁棒性。对于遮挡问题，该方法采用基于峰值旁瓣比(Peak-to-SidelobeRatio，PRS)的方法进行遮挡检测，当因遮挡而导致目标跟踪失败时则暂停跟踪，而目标再次出现时，则在跟踪暂停的位置继续目标跟踪任务。该方法采用单一的灰度特征，速度达到669fps，远远高于其他算法，但准确度一般。之后在MOSSE算法基础上，针对目标跟踪面对的问题，如遮挡、目标形变、尺度变化、模型更新、模型偏移，提出了不同的改进方法。根据不同方法的特点，基于相关滤波的目标跟踪分为基于模型改进的方法、基于分块模型的方法、基于集成的跟踪方法。

从目前国内外研究成果来看，目标跟踪算法主要针对特定环境提出的特定方案，绝大多数跟踪算法不能适应复杂场景。并且在视频目标跟踪中存在着许多复杂干扰，如目标遮挡、光照、背景干扰、尺度变化等。在存在严重背景干扰及目标遮挡等情况下，目标跟踪容易发生跟踪失败的情况。因此如何实现一个具有准确性、实时性、鲁棒性的视频目标跟踪算法仍是视觉跟踪技术的主要研究方向。

发明内容

针对现有技术的缺陷，本发明提供一种基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，实现对视频图像的目标跟踪。

基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，包括以下步骤：

步骤1、根据给定的视频第一帧图像的目标位置，提取图像的边缘特征F_edge和HOG特征F_HOG；

步骤2、根据视频内容设定特征融合参数δ，计算得到融合后的特征值，如下公式所示：

F＝δ*F_edge+(1-δ)*F_HOG

其中，δ∈[0,1]，当δ＝0时，表示目标跟踪只使用HOG特征；当δ＝1时，表示目标跟踪只使用边缘特征；

步骤3、利用步骤2得到的融合后的特征值，训练学习相关滤波器；

步骤4、提取视频下一帧图像的目标位置特征，并采用相关滤波器对下一帧图像进行相关滤波操作，得到下一帧图像的目标预测区域；

步骤5、计算下一帧图像的目标预测区域与真实区域的奇异值特征向量的相似度，具体方法为：

步骤5.1、分别对下一帧图像的目标预测区域与真实区域矩阵进行奇异值分解，得到下一帧图像的目标预测区域与真实区域的奇异值特征向量M₁和M₂；

步骤5.2、利用余弦距离计算奇异值特征向量M₁和M₂的相似度λ，如下公式所示：

步骤6：根据预测区域与真实区域的奇异值特征向量的相似度与所设定阈值的关系，判断是否更新相关滤波器；若相似度大于所设定的阈值，则更新相关滤波器，同时设置较低的学习率l＝0.025，以保持良好的跟踪；若相似度小于所设定的阈值，则认为预测区域与真实区域相差很大，不更新相关滤波器，同时设置较大的学习率l＝1；

步骤7：重复Step4-Step6对视频图像中所有帧图像进行目标跟踪，直至完成最后一帧图像的目标跟踪。

由上述技术方案可知，本发明的有益效果在于：本发明提供的基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，通过选择边缘特征和HOG特征的线性加权融合结果作为目标特征，加强了对边缘特征的学习；采用基于奇异值特征向量相似度的自适应模型更新策略，避免了每一帧都更新模型造成的计算频繁，降低了错误更新的概率，更好的适应了背景干扰及目标遮挡等问题。

附图说明

图1为本发明实施例提供的基于特征融合及SVD自适应模型更新的相关滤波跟踪方法的流程图；

图2为本发明实施例提供的区域重叠率示意图；

图3为本发明实施例提供的跟踪长度示意图；

图4为本发明实施例提供的采用三种不同算法对三组视频Basketball、David3和Liquor进行跟踪的重叠阈值与重叠面积精度之间的关系图，其中，(a)为三种算法在视频Basketball上进行跟踪的重叠阈值与重叠面积精度之间的关系，(b)为三种算法在视频David3上进行跟踪的重叠阈值与重叠面积精度之间的关系，(c)为三种算法在视频Liquor上进行跟踪的重叠阈值与重叠面积精度之间的关系；

图5为本发明实施例提供的采用三种不同算法对三组视频Basketball、David3和Liquor进行跟踪的误差像素与中心距离精度之间的关系图，其中，(a)为三种算法在视频Basketball上进行跟踪的误差像素与中心距离精度之间的关系，(b)为三种算法在视频David3上进行跟踪的误差像素与中心距离精度之间的关系，(c)为三种算法在视频Liquor上进行跟踪的误差像素与中心距离精度之间的关系；

图6为本发明实施例提供的采用三种不同算法对三组视频Basketball、David3和Liquor进行跟踪的误差像素与跟踪长度之间的关系图，其中，(a)为三种算法在视频Basketball上进行跟踪的误差像素与跟踪长度之间的关系，(b)为三种算法在视频David3上进行跟踪的误差像素与跟踪长度之间的关系，(c)为三种算法在视频Liquor上进行跟踪的误差像素与跟踪长度之间的关系；

图7为本发明实施例提供的在发生严重背景干扰及目标遮挡情况下，采用三种不同算法对三组视频Basketball、David3和Liquor进行跟踪的示意图，其中，(a)为三种算法在视频Basketball上进行跟踪的示意图，(b)为三种算法在视频David3上进行跟踪的示意图，(c)为三种算法在视频Liquor上进行跟踪的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例以视频跟踪标准数据集OTB-50和OTB-100中存在背景干扰问题的18组视频序列为例，使用本发明的基于特征融合及SVD自适应模型更新的相关滤波跟踪方法进行目标跟踪。

基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，如图1所示，包括以下步骤：

基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，包括以下步骤：

步骤1、根据给定的视频第一帧图像的目标位置，提取图像的边缘特征F_edge和HOG特征F_HOG；

步骤2、根据视频内容设定特征融合参数δ，计算得到融合后的特征值，如下公式所示：

F＝δ*F_edge+(1-δ)*F_HOG

其中，δ∈[0,1]，当δ＝0时，表示目标跟踪只使用HOG特征；当δ＝1时，表示目标跟踪只使用边缘特征；

步骤3、利用步骤2得到的融合后的特征值，训练出相关滤波器，具体方法为：

步骤3.1：设相关滤波器为h，根据卷积定理，空间域的卷积等价于频域中元素间的乘法运算，得到融合后的特征值F和相关滤波器h的期望的相关输出，如下公式所示：

步骤3.2：定义相关滤波器h的期望的相关输出为y，对于目标的新样本F′，相关滤波器h满足如下条件：

步骤3.3：进而得到滤波器

其中，

是y的离散傅里叶变换，

表示元素间的除法运算；

步骤4、提取视频下一帧图像的目标位置特征，并采用相关滤波器对下一帧图像进行相关滤波操作，得到下一帧图像的目标预测区域；

步骤5、计算下一帧图像的目标预测区域与真实区域的奇异值特征向量的相似度，具体方法为：

步骤5.1、分别对下一帧图像的目标预测区域与真实区域矩阵进行奇异值分解，得到下一帧图像的目标预测区域与真实区域的奇异值特征向量M₁和M₂；

步骤5.2、利用余弦距离计算奇异值特征向量M₁和M₂的相似度λ，如下公式所示：

步骤6：根据预测区域与真实区域的奇异值特征向量的相似度与所设定阈值的关系，判断是否更新相关滤波器；若相似度大于所设定的阈值，则更新相关滤波器，同时设置较低的学习率l＝0.025，以保持良好的跟踪；若相似度小于所设定的阈值，则认为预测区域与真实区域相差很大，不更新相关滤波器，同时设置较大的学习率l＝1；

步骤7：重复Step4-Step6对视频图像中所有帧图像进行目标跟踪，直至完成最后一帧图像的目标跟踪。

本实施例中，选取视频跟踪标准数据集OTB-50和OTB-100中存在背景干扰问题的18组视频序列进行目标跟踪，各组视频序列的帧数、目标大小以及存在的问题信息如表1所示。

表1测试视频信息

表1中，OCC表示遮挡，BC表示背景干扰，SV表示尺度变化，IV表示照明变化，MB表示运动模糊。

本实施例中，为了评估本发明方法的性能，采用中心位置误差(center locationerror，即CLE)、区域重叠准确率(region overlap precision，即OP)、距离精度(distanceprecision，即DP)、跟踪速度跟踪速度(frames per second，即FPS)和跟踪长度(trackinglength，即TL)为评价指标；评价指标CLE的值越小，OP、DP、FPS、TL的值越大，说明跟踪效果越好。

各评价指标的定义分别为：

(1)中心误差(center location error，CLE)

中心误差CLE为检测到的目标中心与真实目标中心间的平均欧式距离。

(2)区域重叠准确率(region overlap precision，OP)

区域重叠准确率OP如图2所示，为预测区域与真实区域重叠面积超过一定阈值的视频帧数占视频总帧数的百分比。区域重叠率计算公式如下：

其中，R_t ^G为目标预测区域面积，R_t ^T为真实区域面积。

(3)跟踪长度(tracking length，TL)

跟踪长度TL如图3所示，是基于中心误差计算的，定义为从跟踪开始到中心位置误差下降到一定阈值以下的(帧数)长度,。

(4)距离精度(distance precision,DP)

距离精度DP是基于中心位置误差确定的，定义为中心位置误差小于一定阈值的视频帧数占总帧数的百分比。

(5)跟踪速度(frames per second,FPS)

跟踪速度FPS为每秒处理的视频帧数。

本实施例中，共设计三组实验，第一组实验在18组测试视频上对现有的两种算法(基于多维特征的DSST算法、基于HOG特征的SRDCF算法)和本发明方法的跟踪效果进行对比；第二组实验重点测试三种跟踪算法在同时具有背景干扰及目标遮挡问题的视频序列上的跟踪效果；第三组实验对比三种跟踪算法的跟踪速度。

一、跟踪效果对比实验

对18组存在背景干扰的视频进行实验，验证本发明方法和现有的两种相关滤波跟踪算法的跟踪效果。实验中，三种算法均采用固定学习率γ＝0.025，均采用同DSST相同的尺度估计，同时，除本发明方法采用自适应模型更新策略外，其他算法均采用每帧更新策略。实验结果如表1所示。从表中可以看出，本发明方法对18个视频的CLE，DP和OP指标均表现良好，跟踪长度也略优于其他对比算法。本发明方法得到的18组视频的平均中心位置误差CLE为8.91，平均中心距离精度DP为92.92％，平均重叠面积精度OP为81.65％，同其他两种算法表现最优的结果相比，本发明方法的平均中心位置误差CLE减少9.05，平均中心距离精度DP增加12.2％，平均重叠面积精度OP增加4.53％。

表1三种算法在18组视频序列上的跟踪效果

二、背景干扰及目标遮挡下的跟踪实验

对存在严重背景干扰及目标遮挡的三组视频Basketball、David3和Liquor序列进行实验，三组视频的跟踪曲线如图4-图6所示，从图中可以看出，同其他两种算法相比，本发明方法的跟踪效果更好。

对应图4-图6的三组视频的跟踪实验数据如表2所示，从中可以看出，对比的两种算法中SRDCF的效果最好，与SRDCF相比，本发明方法的平均中心误差CLE降低5.79，平均中心距离精度DP提高15.27％，平均重叠面积精度OP提高3.04％。

表2三种算法在3组背景干扰及目标遮挡下的视频上的跟踪结果

遇到严重背景干扰及目标遮挡到遮挡结束时的跟踪结果如图7(a)-(c)所示，从中可以看出，视频Basketball、David3、Liquor分别在第16帧、第80帧、第722帧发生严重遮挡，分别在第32帧、第90帧、第736帧遮挡结束，在遮挡结束时本发明方法和SRDCF都可以准确的继续跟踪目标，DSST发生跟丢或偏移。结果表明，在发生严重背景干扰及目标遮挡情况下本发明方法的跟踪性能更好。

三、跟踪速度对比实验

视频跟踪算法在保证跟踪性能的前提下，同样要考虑跟踪速度的问题，本发明方法同其他为两种对比算法在18组视频序列上的跟踪速度结果如表3所示，从中可以看出，本发明方法相比于DSST算法，特征提取阶段加入边缘特征的融合，模型更新阶段加入区域相似性计算，加大了计算量，速度上有一定下降，但相比于DSST算法的另一个改进算法SRDCF算法，速度提高了一倍；同时相比于两种算法准确率及跟踪的鲁棒性有所提高，因此本发明方法的跟踪速度是可以接受的。

表3三种算法在18组视频上的跟踪速度

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，其特征在于：包括以下步骤：

步骤1、根据给定的视频第一帧图像的目标位置，提取图像的边缘特征F_edge和HOG特征F_HOG；

步骤2、根据视频内容设定特征融合参数δ，计算得到融合后的特征值，如下公式所示：

F＝δ*F_edge+(1-δ)*F_HOG

其中，δ∈[0，1]，当δ＝0时，表示目标跟踪只使用HOG特征；当δ＝1时，表示目标跟踪只使用边缘特征；

步骤3、利用步骤2得到的融合后的特征值，训练学习相关滤波器；

步骤4、提取视频下一帧图像的目标位置特征，并采用相关滤波器对下一帧图像进行相关滤波操作，得到下一帧图像的目标预测区域；

步骤5、计算下一帧图像的目标预测区域与真实区域的奇异值特征向量的相似度；

步骤6：根据预测区域与真实区域的奇异值特征向量的相似度与所设定阈值的关系，判断是否更新相关滤波器；若相似度大于所设定的阈值，则更新相关滤波器，同时设置较低的学习率l＝0.025，以保持良好的跟踪；若相似度小于所设定的阈值，则认为预测区域与真实区域相差很大，不更新相关滤波器，同时设置较大的学习率l＝1；

步骤7：重复Step4-Step6对视频图像中所有帧图像进行目标跟踪，直至完成最后一帧图像的目标跟踪。

2.根据权利要求1所述的基于特征融合及SVD自适应模型更新的相关滤波跟踪方法，其特征在于：所述步骤5的具体方法为：

步骤5.1、分别对下一帧图像的目标预测区域与真实区域矩阵进行奇异值分解，得到下一帧图像的目标预测区域与真实区域的奇异值特征向量M₁和M₂；

步骤5.2、利用余弦距离计算奇异值特征向量M₁和M₂的相似度λ，如下公式所示：

Images