CN112184764A - 一种基于傅里叶-梅林变换的目标跟踪方法 - Google Patents

Abstract

本发明提出一种基于傅里叶‑梅林变换的目标跟踪方法，属于计算机视觉与数字图像处理领域；解决目标跟踪技术中所跟踪的目标发生旋转和尺度变化的问题；具体步骤为：读入待跟踪视频帧序列，在第一帧标记选择要跟踪的目标，对搜索区域进行特征提取，搜索检测区域由笛卡尔坐标系转化到对数极坐标系，目标在笛卡尔坐标系下旋转和尺度变换，进而转换为对数极坐标系下平移变换，利用傅里叶‑梅林变换获得跟踪目标旋转角度和尺度变换大小；对所跟踪的目标模版进行插值更新；本发明可以实现高鲁棒性和长时间实时跟踪，当目标发生旋转或者尺度变化时，能够及时跟踪目标。

Description

一种基于傅里叶-梅林变换的目标跟踪方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体为一种基于傅里叶-梅林变换的目标跟踪方法。

背景技术

目标跟踪技术是计算机视觉的一个重要分支，在人机交互，视频监控，无人机侦查等领域有广泛的应用，随着计算机视觉和人工智能的发展，目标检测跟踪被予以越来越多的关注。但是由于所跟踪对象可能所处于复杂环境下，在应用中存在光照变化、刚性形变、快速运动、部分遮挡、背景繁杂等多种因素，寻求快速稳定、适合对象变化的跟踪方法始终是一个挑战。

最近，已经提出了多种跟踪方法，这些方法可以分为两大类：一种是生成方法，另一种是判别方法。生成跟踪算法通常构造一个外观模型来描述目标并寻找具有最佳匹配分数的对象区域。与生成模型不同，判别模型训练可有效区分对象和背景的分类器。近年来，相关过滤器作为判别方法在对象跟踪领域取得了巨大的成功，这是因为其计算速度快且跟踪性能强。2010年，Blome等人提出了MOSSE(Minimum Output Sum of Squared ErrorFilter)算法，该算法首次将相关滤波引入目标跟踪领域，并在计算目标和待测样本集之间相关性时，运用了傅立叶变换，将运算直接转到频域中，大大降低了运算量。随后，Henriques等人在MOSSE的基础上提出了采用循环矩阵结构和核空间映射的CSK(Exploiting the Crculant Structure of Tracking-by-detection with Kernels)方法。这种方法只需要在目标位置提取一次待测样本，然后对该样本进行循环偏移，构成循坏矩阵。2014年，Henriques等人在CSK的基础上引入核方法，并采用HOG(Histogram ofOriented Gradients)多维特征对目标外观进行描述(KCF)，该方法极大地提高了相关滤波目标跟踪的鲁棒性。

对于核相关滤波器跟踪算法，上述跟踪器(以下皆以KCF为例)在模型更新时采用的是每帧都更新，这样做虽然简单，但对目标出现快速运动、部分遮挡及背景杂乱等复杂情况难以适应。在跟踪过程中，目标物体出现比例尺和旋转变化是一种常见情况。在过去的研究中，更多地考虑了尺度变化的估计，而很少分析目标的旋转运动。因此，当目标旋转时如何实现鲁棒的目标跟踪仍然是一个具有挑战性的研究问题。本发明针对目标跟踪视频中存在的部分或完全遮挡、尺寸变换等问题，提出一种基于傅里叶-梅林变换的目标跟踪方法。这一方法提高目标跟踪算法的性能和计算速度，并可以实现长时间稳定跟踪目标，有效克服一些环境因素的干扰，具有广泛的实际工程应用价值。

发明内容

本发明克服现有技术存在的不足，在基于图像处理的基础上，一种基于傅里叶-梅林变换的目标跟踪方法，目的是为了解决所跟踪的目标发生旋转和尺度变化等问题。

本发明是通过如下技术方案实现的。

一种基于傅里叶-梅林变换的目标跟踪方法，具体包括以下步骤：

1)读入待跟踪视频帧序列，在第一帧标记选择要跟踪的目标，初始化跟踪器；

步骤1.1：在给定初始目标框，确定所跟踪目标的中心位置。目标中心候选区域大小为初始目标外接矩形的1.5倍，初始外接矩形随所选跟踪目标的大小变化而变化。

步骤1.2：提取第一帧目标中心候选区域HOG特征。将得到的特征与汉宁窗相乘得到目标模版，根据得到的模版计算高斯矩阵图。

2)对新一帧目标搜索区域进行特征提取，利用核相关滤波方法得到相关滤波响应图，响应图峰值位置可能为新一帧目标可能位置；

步骤2.1：对搜索区域(patch)进行特征提取，然后进行傅里叶变换，得到所跟踪目标的特征，具体计算表达式为，

步骤2.2：对下一帧待检测区域进行处理提取特征并对其进行汉宁窗处理，具体计算表达式为，

步骤2.3：根据所提取的体征计算响应图峰值位置F_max＝max f(z)＝max(response)。

3)搜索检测区域由笛卡尔坐标系转化到对数极坐标系，目标在笛卡尔坐标系下旋转和尺度变换转换为对数极坐标系下平移变换，利用傅里叶-梅林变换获得跟踪目标旋转角度和尺度变换大小。

步骤3.1：对搜索区域(patch)由笛卡尔坐标系转换到对极数坐标系，提取搜素区域的特征。

步骤3.2：根据搜索区域特征与本算法的模板进行相位相关运算获得跟踪目标的旋转角度与变换尺度，具体变换内容为：

设搜索区域与目标模板为f₁(x,y)与f₂(x,y)。对应的Fourier变换为F₁(u,v),F₂(u,v)。则两者存在关系为

互功率谱可表示为

互功率谱的相位等价于图像间的相位差。

通过对互功率谱做傅里叶反变换，可求得脉冲峰值位置即为两者之间的相对偏移量。根据偏移量可的跟踪目标的尺度变换s与角度变换θ。

4)根据检测器得到的位置计算新一帧得到的模版x_t-1和参数α_t-1，旋转与尺度变换模板m_t-1。对当前帧的参数进行插值更新,使滤波器能适应目标的变化并提高跟踪器的鲁棒性。具体计算公式为：

5)进行下一帧图像处理，重复步骤2，直至视频结束。

本发明相对于现有技术所产生的有益效果为。

本发明提出了一种基于傅里叶-梅林变换的目标跟踪方法，利用当目标发生旋转或者尺度变化时，利用傅里叶-梅林变换对目标进行鲁棒性跟踪。在跟踪过程中，基于核相关滤波的框架下对目标可能所在位置进行快速定位；对目标区域进行对极数坐标变换，把原始图像由笛卡尔坐标系转换到对极数坐标系并进行特征提取，获得目标特征。利用傅里叶-梅林变换的平移特性，计算得到模板与检测区域互相关能量谱的相位差。通过对互能量谱进行傅里叶反变换得到目标的水平和垂直偏移量。两者之间偏移量的大小为所求得目标的旋转与尺度变换大小。通过以上步骤，本发明可以实现高鲁棒性和长时间实时跟踪，当目标发生旋转或者尺度变化时，能够及时跟踪目标。

附图说明

图1是本发明一种基于傅里叶-梅林变换的目标跟踪方法跟踪流程图；

图2是本发明算法效果图；

图3是本发明算法“Ours”与其他算法对比一次通过成功图；图表标题“Successplots of OPE”为一次通过评估成功率，图表横坐标“Overlap threshold”为不同的阈值，图表纵坐标“Success rates”为成功率值；图表标签“Ours”为本发明方法，“TLD”“Struck”“DSST”“KCF”“MIL”为目前比较流行的几种其他跟踪算法，下同。

图4是本发明算法“Ours”与其他算法对比一次通过精确图；图表标题“Precisionplots of OPE”为一次通过评估精确率，图表横坐标“Location error threshold”为局部错误阈值，图表纵坐标“Precision”为精确率值。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案，但保护范围不被此限制。

如图1所示，本发明一种结合高置信度更新策略与SVM再检测技术的目标跟踪方法，主要包括以下步骤为：

步骤1读入待跟踪视频帧序列，在第一帧标记选择要跟踪的目标，初始化跟踪器；

步骤1.1：在给定初始目标框，确定所跟踪目标的中心位置。目标中心候选区域大小为初始目标外接矩形的1.5倍。

步骤1.2：提取第一帧目标中心候选区域HOG特征。将得到的特征与汉宁窗相乘得到目标模版，根据得到的模版计算高斯矩阵图。

步骤2对新一帧目标搜索区域进行特征提取，利用核相关滤波方法得到相关滤波响应图，响应图峰值位置可能为新一帧目标可能位置；

步骤2.1：对搜索区域(patch)进行特征提取，然后进行傅里叶变换，得到所跟踪目标的特征，具体计算表达式为，

步骤2.2：对下一帧待检测区域进行处理提取特征并对其进行汉宁窗处理，具体计算表达式为，

步骤2.3：根据所提取的体征计算响应图峰值位置F_max＝max f(z)＝max(response)。

步骤3搜索检测区域由笛卡尔坐标系转化到对数极坐标系，目标在笛卡尔坐标系下旋转和尺度变换转换为对数极坐标系下平移变换，利用傅里叶-梅林变换获得跟踪目标旋转角度和尺度变换大小。

步骤3.1：对搜索区域(patch)由笛卡尔坐标系转换到对极数坐标系，提取搜素区域的特征。

步骤3.2：根据搜索区域特征与本算法的模板进行相位相关运算获得跟踪目标的旋转角度与变换尺度，具体变换内容为：

设搜索区域与目标模板为f₁(x,y)与f₂(x,y)。对应的Fourier变换为F₁(u,v),F₂(u,v)。则两者存在关系为

互功率谱可表示为

互功率谱的相位等价于图像间的相位差。

通过对互功率谱做傅里叶反变换，可求得脉冲峰值位置即为两者之间的相对偏移量。根据偏移量可的跟踪目标的尺度变换s与角度变换θ。

步骤4根据检测器得到的位置计算新一帧得到的模版x_t-1和参数α_t-1，旋转与尺度变换模板m_t-1。对当前帧的参数进行插值更新,使滤波器能适应目标的变化并提高跟踪器的鲁棒性。具体计算公式为：

步骤5进行下一帧图像处理，重复步骤2，直至视频结束。

如图2所示，本发明所提算法效果图。在初始目标确定时，随着跟踪目标发生旋转和尺度变换，本算法能准确跟踪目标。

如图3所示，本发明所提算法在一次通过评估成功率的标准下，本发明“Ours”的成功率为72.7％，远高于第二名算法“DSST”66.8％,近6个百分点，其他算法的成功率分别为：“KCF”61.9％，“Struck”54.6％，“TLD”52.4％,“MIL”35.6％。说明本发明相比与其他跟踪算法有很好的跟踪性能。

如图4所示，本发明所提算法在一次通过评估精确率的标准下，本发明“Ours”的精确率为84.7％，远高于第二名算法“KCF”74.7％,近10个百分点，其他算法的成功率分别为：“DSST”74.4％，“Struck”65.6％，“TLD”61.6％,“MIL”47.5％。说明本发明相比与其他跟踪算法精确度有很大提高，在目标被遮挡的情况下能精确定位所跟踪目标。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于傅里叶-梅林变换的目标跟踪方法，其特征在于，通过傅里叶-梅林变换对连续空间的目标尺度和旋转参数进行估计，对目标进行鲁棒性跟踪；具体包括以下步骤：

1)读入待跟踪视频帧序列，在第一帧标记选择要跟踪的目标，初始化跟踪器；

2)对搜索区域进行特征提取，利用核相关滤波方法得到相关滤波响应图，响应图峰值位置为新一帧目标可能位置；

3)搜索检测区域由笛卡尔坐标系转化到对数极坐标系，所述目标在笛卡尔坐标系下旋转和尺度变换，进而转换为对数极坐标系下平移变换，利用傅里叶-梅林变换获得跟踪目标旋转角度和尺度变换大小；

4)根据检测得到的目标平移，旋转和尺度变换得到滤波器模版，对所跟踪的目标模版进行插值更新。

2.根据权利要求1所述一种基于傅里叶-梅林变换的目标跟踪方法，其特征在于，所述步骤1为：

步骤1.1：所述目标的中心所搜区域大小为初始目标外接矩形的1.5倍；步骤1.2：提取第一帧目标中心候选区域HOG特征；将得到的特征与汉宁窗相乘得到目标模版，根据得到的模版计算高斯矩阵图。

3.根据权利要求2所述一种基于傅里叶-梅林变换的目标跟踪方法，其特征在于，所述步骤2为：

步骤2.1：对搜索区域patch进行特征提取，然后进行傅里叶变换，得到所跟踪目标的特征，具体计算表达式为：

步骤2.2：对下一帧待检测区域进行处理提取特征并对其进行汉宁窗处理，具体计算表达式为：

步骤2.3：根据所提取的体征计算响应图峰值位置F_max＝maxf(z)＝max(response)。

4.根据权利要求1所述一种基于傅里叶-梅林变换的目标跟踪方法，其特征在于，步骤3为：

步骤3.1：对搜索区域patch由笛卡尔坐标系转换到对极数坐标系，提取搜素区域的特征；

步骤3.2：根据搜索区域特征与本专利所提的基于傅里叶-梅林变换的目标跟踪方法模板进行相位相关运算获得跟踪目标的旋转角度与变换尺度，具体变换内容为：

设搜索区域与目标模板为f₁(x,y)与f₂(x,y)；对应的Fourier变换为F₁(u,v),F₂(u,v)。则两者存在关系为

互功率谱可表示为

互功率谱的相位等价于图像间的相位差；

通过对互功率谱做傅里叶反变换，求得脉冲峰值位置即为两者之间的相对偏移量；根据偏移量可的跟踪目标的尺度变换s与角度变换θ。

5.根据权利要求1所述一种基于傅里叶-梅林变换的目标跟踪方法，其特征在于，步骤4为：

根据检测器得到的位置计算新一帧得到的模版x_t-1和参数α_t-1；对当前帧的参数进行插值更新，使滤波器能适应目标的变化并提高跟踪器的鲁棒性，具体计算公式为：

Images