CN110322479A - 一种基于时空显著性的双核kcf目标跟踪方法 - Google Patents

Abstract

本发明提供了一种基于时空显著性的双核KCF目标跟踪方法，包括如下步骤：S1、提取目标区域，利用视觉显著性模型提取显著区域；S2、分别提取目标框和显著框的HOG特征来训练滤波器的参数；S3、基于岭回归分类器的分类分别计算目标框和显著框的滤波器的响应分布图y^k和y^s，其中max(y^k)和max(y^s)对应的坐标位置即为目标框的位置和显著框的位置S4、基于当前帧与前一帧的位置坐标计算出目标框和显著框的偏移量对其进行加权平均数得到新的偏移量值作为目标框的矫正偏移量；S5、通过前一帧的位置和目标框的矫正偏移量，得到当前帧矫正后的目标位置

Description

一种基于时空显著性的双核KCF目标跟踪方法

技术领域

本发明涉及目标跟踪领域，尤其涉及一种基于时空显著性的双核KCF目标跟踪方法。

背景技术

目标跟踪是计算机视觉中最活跃的研究领域之一，它被广泛用于运动分析、行为识别、监控及人机交互等方面。当前目标跟踪技术的研究取得了很大进步,涌现出了诸多跟踪算法。目前主流的跟踪算法主要分为两类：

一类是基于深度学习的跟踪算法，该类算法主要基于深度神经网络框架进行学习。深度神经网络由于其在图像特征提取方面具有强大的学习功能，因此被应用于目标跟踪中。例如基于全卷积神经网络的目标跟踪方法，不仅将CNN作为特征提取的工具，而且离线预先训练大量图像数据，等等。但是目前深度学习的跟踪算法因为具有庞大的网络规模和训练数据的缺乏，计算速度跟不上，从而导致它在实时性方面表现不佳。

另一类是基于相关滤波的跟踪算法，该算法通过对初始帧进行训练获得相关滤波器对目标外观进行建模,并通过傅里叶变换在频域寻找相邻帧目标的最大相关性,从而实现目标的有效跟踪。当目标和背景颜色相近、目标几何尺度变化较大时,相关滤波算法具有较好的目标跟踪鲁棒性。但是相关滤波算法运算量大,对长视频目标跟踪计算效率低。

为此,Henriques等人提出一种核相关滤波器跟踪算法(KCF),将相关滤波由单通道扩展到多通道,提升了跟踪的性能，很好的解决了深度学习计算速度跟不上的问题，就现阶段而言，在众多的跟踪算法中速度和准确性都比较好。然而，KCF算法采用线性插值方式对目标模型进行更新,造成跟踪过程中产生的目标表观信息偏差不断积累,产生目标漂移,从而易导致后续帧目标跟踪精度下降。另外,KCF算法采用单一的HOG特征,虽然能较好的捕捉目标的轮廓,但在目标被遮挡情况下,易导致目标漂移跟踪失效。

发明内容

本发明基于现阶段速度和准确性都比较好的KCF算法原理，针对目标跟踪漂移问题，提出了一种基于时空显著性的双核KCF目标跟踪方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于时空显著性的双核KCF目标跟踪方法，包括如下步骤：

S1、提取目标区域，利用视觉显著性模型提取显著区域；

S2、分别提取目标框和显著框的HOG特征来训练滤波器的参数；

S3、基于岭回归分类器的分类分别计算目标框和显著框的滤波器的响应分布图y^k和y^s，其中max(y^k)和max(y^s)对应的坐标位置即为目标框的位置和显著框的位置

S4、基于当前帧与前一帧的位置坐标计算出目标框和显著框的偏移量对其进行加权平均数得到新的偏移量值作为目标框的矫正偏移量；

S5、通过前一帧的位置和目标框的矫正偏移量，得到当前帧矫正后的目标位置

进一步的，步骤S1具体包括：

S11、在实时视频中，依次提取间隔为n(1≤n≤10，优选的n＝10)的三帧图像，分别转换为三帧灰度图像，并将该3张灰度图片进行融合得到一张RGB图像，实现目标图像的时间显著性估计；

S12、将上述根据时间显著性估计得到的目标图像作为视觉显著性模型的输入图像，采用基于图形的多尺度分割方法来提取不同尺度的超像素，得到多个特征通道；

S13、使用对立颜色空间来研究不同的颜色空间和纹理空间；

S14、使用内部属性、局部对比度和边界先验3种类型的超像素级显著特征来提供信息性地表示每个超级像素；

S15、基于随机森林回归模型，通过训练的随机森林回归量预测目标图像的显著性对象，通过轮廓检测提取显著区域，画出显著框，并确定其在目标框中的相对位置(xr,yr,wr,hr)。

本发明的有益效果：

本发明针对目标跟踪过程中，由于忽视目标的运动信息和背景建模复杂导致的跟踪失败，提出了基于时空的显著框提取方法，利用时空显著性和空间显著性相结合的方法提取显著框；同时，针对目标跟踪过程中由于短暂的遮挡而出现的目标丢失现象，提出了长期目标跟踪和短期显著框跟踪结合的双核KCF跟踪机制，从而有效解决了跟踪漂移问题，实现了对目标准确而高效的跟踪。

附图说明

图1为KCF跟踪算法的原理框图。

图2为本发明的目标跟踪方法实施例的流程框图。

图3为本发明实施例中时间显著性估计的过程示意图。

图4为本发明实施例中视觉显著性模型流程示意图。

图5为本发明实施例中目标显著区域的提取示意图。

图6为本发明实施例中目标跟踪矫正过程示意图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

首先对KCF的基本原理进行说明。

核化相关滤波器的高速跟踪(high-speed tracking with kernelizedcorrelation filters,KCF)算法是一种判别式跟踪方法,它是近来比较高效的跟踪算法之一。跟大多数跟踪算法相似,都是先进行目标检测再进行滤波器模型训练。KCF算法主要是首先训练一个目标初始位置模型,然后检测下一帧预测区域是否有目标，若是存在，使用高斯核计算相邻两帧之间的相关性，通过计算其响应的最大值来确定目标位置,最后根据目标的新位置训练目标新模型。具体过程如附图1所示。

基于上述KCF算法，本发明提供了一种基于时空显著性的双核KCF目标跟踪方法，其主要包括如下两部分内容：

首先，本发明提出了一种基于时空的显著框提取方法。

视觉显著性是指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，现在主流的视觉显着性分析算法主要有两类：一类是自底而上的计算模型，基于自然场景图像的低层视觉特征，即没有先验知识，自动捕获人眼可能关注的区域，例如ITTI模型和GBVS算法等等；一类是自顶而下计算模型，自顶而下的计算模型是基于高级视觉特征，即由先验知识的学习和任务决定视觉注意区域，对图像的特定特征来计算图像区域的显著性。

随着视觉显著性检测技术的发展，图像显著性经常出现在许多计算机视觉应用中，如跟踪人体等。而本发明主要是提出一种基于时空的显著框提取，通常在进行目标跟踪时，采用的是图片序列进行测试，而图片序列中目标显著性区域通常保持连续且稳定的运动，而且其运动的方向具有一致性。依据运动的方向一致性，能够突出连续运动的区域，从而实现鲁棒的时间显著性估计。

通过时间显著性得到的图像，首先采用基于图形的多尺度分割方法来提取不同尺度的超像素，可以得到多个特征通道，使用对立颜色空间来研究不同的颜色空间和纹理空间，接着使用内部属性(Inner Attributes)、局部对比度(Local Contrast)和边界先验(Boundary Prior)这3种类型的超像素级显着特征来提供信息性地表示每个超级像素。最后，使用随机森林回归(Random Forest Regress)，通过训练的随机森林回归量来预测图像的显着性对象(Saliency map)。

进而，本发明提出了一种长期目标跟踪和短期显著框跟踪结合的双核KCF跟踪算法。

本发明通过在KCF算法基础上进行改进，提出一种长期目标跟踪和短期显著框跟踪结合的双核KCF跟踪机制(KCFSS)。根据视觉显著性模型分析可以提取目标显著框位置，确定新的目标框后，根据之前提取的显著区域在目标框中的相对位置(xr,yr,wr,hr)，找到新的显著框的位置。其中，xr,wr的比例是相对于目标框的宽，yr,hr的比例是相对于目标框的宽。利用短期显著框跟踪来矫正长期的目标跟踪，从而实现双核KCF跟踪操作，具体操作流程如图2所示。

在本发明的一个实施例中，该基于时空显著性的双核KCF目标跟踪方法包括如下步骤：

提取目标区域，利用视觉显著性模型提取显著区域。

分别提取目标框和显著框的HOG特征来训练滤波器的参数。

利用岭回归分类器的分类分别计算目标框和显著框的滤波器的响应分布图y^k和y^s，其中max(y^k)和max(y^s)对应的坐标位置即为目标框的位置和显著框的位置

利用当前帧与前一帧的位置坐标计算出目标框和显著框的偏移量对其进行加权平均数得到新的偏移量值就是目标框的矫正偏移量。

通过前一帧的位置和目标框的矫正偏移量，得到当前帧矫正后的目标位置

下面通过具体实施例对上述方法作进一步详细说明。

本实施例中采用OTB(Object Tracking Benchmark)2015Benchmark提供的100个数据集进行试验验证。该数据集中视频序列包含了跟踪视频中常见的场景，包括尺度变换(DEF)、光照变换(IV)、遮挡(OCC)、运动模糊(MB)、旋转(PR)和背景杂波(BC)等各种情况。现在以数据集中的David3的数据为例具体实施步骤如下：

1)基于时空的显著框提取

假设提取3帧的目标图像，分别是t,t+n,t+2n，对其做灰度处理gray＝0.299R+0.587G+0.114B，得到三张灰度图片，分别是：gray1，gray2，gray3，然后对这三张灰度图进行融合merge([gray1,gray3,gray2])得到一张RGB图像，从而是实现时间显著性的估计。具体过程如附图3所示(涉及的图像原图为彩色图，已做去色处理，后续步骤类似，不作单独说明)。

将根据时间显著性估计得到目标图像作为视觉显著性模型的输入图像，这样就有机的将时空信息融合在一起，确保在不同背景情况下，目标图像的特征信息不容易丢失，具体过程如图4所示。

根据取出的目标图像利用视觉显著性模型确定显著图，在通过轮廓检测提取显著区域，确定其在目标框中的相对位置(xr,yr,wr,hr)。目标显著区域提取过程如图5所示。

2)双核KCF跟踪过程

通过目标跟踪确定某t帧时目标的位置和目标显著框的位置通过上面可知，显著框相对于目标框的位置(xr,yr,wr,hr)为(0.028571429,0.08396947,0.9142857,0.5954198)。

假设t为第100帧，那么，目标框的位置显著框的位置根据欧氏距离(Euclidean Distance)公式确定两者的中心位置：

因此，可以知道t为第100帧时，目标框的中心位置(cx^k,cy^k)₁₀₀＝(373.5，267.5)，目标框的中心位置(cx^s,cy^s)₁₀₀＝(373，251.5)。

由此可以求出目标当前帧与前一帧的目标偏移量：

同理可以求得目标显著框的偏移量：

然后对两者的偏移量进行加权平均数，w可取0.9，就可以得到当前帧目标框矫正量：

根据前一帧目标跟踪的真实位置和当前帧目标框矫正量，来确定当前帧目标跟踪的真实跟踪位置：

根据视觉显著性模型确定提取的显著区域在目标框中的相对位置(xr,yr,wr,hr)计算出目标真实跟踪位置的显著位置：

目标跟踪矫正过程如图6所示，可以看出经矫正后取得了较好的跟踪效果。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (2)

1.一种基于时空显著性的双核KCF目标跟踪方法，其特征在于，包括如下步骤：

S1、提取目标区域，利用视觉显著性模型提取显著区域；

S2、分别提取目标框和显著框的HOG特征来训练滤波器的参数；

S3、基于岭回归分类器的分类分别计算目标框和显著框的滤波器的响应分布图y^k和y^s，其中max(y^k)和max(y^s)对应的坐标位置即为目标框的位置和显著框的位置

S4、基于当前帧与前一帧的位置坐标计算出目标框和显著框的偏移量对其进行加权平均数得到新的偏移量值作为目标框的矫正偏移量；

S5、通过前一帧的位置和目标框的矫正偏移量，得到当前帧矫正后的目标位置

2.如权利要求1所述的基于时空显著性的双核KCF目标跟踪方法，其特征在于，步骤S1具体包括：

S11、在实时视频中，依次提取间隔为n的三帧图像，分别转换为三帧灰度图像，并将该3张灰度图片进行融合得到一张RGB图像，实现目标图像的时间显著性估计；

S12、将上述根据时间显著性估计得到的目标图像作为视觉显著性模型的输入图像，采用基于图形的多尺度分割方法来提取不同尺度的超像素，得到多个特征通道；

S13、使用对立颜色空间来研究不同的颜色空间和纹理空间；

S14、使用内部属性、局部对比度和边界先验3种类型的超像素级显著特征来提供信息性地表示每个超级像素；

S15、基于随机森林回归模型，通过训练的随机森林回归量预测目标图像的显著性对象，通过轮廓检测提取显著区域，画出显著框，并确定其在目标框中的相对位置(xr,yr,wr,hr)。