CN104036524A - 一种改进sift算法的快速目标跟踪方法 - Google Patents

Abstract

本发明属于目标跟踪领域，具体涉及一种改进SIFT算法的快速目标跟踪方法。本发明包括：采集装置获取动态视频；从动态视频中获取一张目标图像；提取目标图像的SIFT特征并保存到数据库中；目标的SIFT特征与动态视频中的每帧图像的SIFT特征进行匹配，检测到目标后，确定目标在图像中的位置；根据目标位置区域初始化Mean Shift模板；Mean Shift对动态视频中之后每一帧图像进行迭代跟踪；根据跟踪目标确定模板更新频率。本发明的方法为快速跟踪物体提供了一条非常有效的途径，可广泛应用于视频监控，运动分析等领域。与传统的SIFT跟踪方法相比，速度得到很大的提升，完全可以满足实时性。

Description

一种改进SIFT算法的快速目标跟踪方法

技术领域

本发明属于目标跟踪领域，具体涉及一种改进SIFT算法的快速目标跟踪方法。

背景技术

目标跟踪是指在一序列图像的每幅图像中找到所感兴趣的运动目标所处的位置,它是计算机视觉领域的一个重要研究方向,经常应用于视频监控、人工智能、人机交互等方面。目标跟踪可以提供被监控目标的运动轨迹,也为目标的运动分析提供了可靠的数据信息。目标视频目标跟踪算法主要有基于对比度分析的方法，基于特征匹配的方法，核方法，运动检测(光流法)等等。

运动目标跟踪在智能监控、人机界面、虚拟现实、运动分析等许多领域有着广泛的应用前景，在科学和工程中有着重要的研究价值，吸引了国内外越来越多研究者的兴趣。视频跟踪技术近年来引起越来越多的研究者们关注,这主要由于两方面原因:一方面,计算和存储成本的大幅度下跌使得以视频速率或近似视频速率采集存储图像序列成为可能；另一方面,视频跟踪技术的极为广阔的市场应用前景也是推动此研究的主要动力。目前，目标跟踪技术已经被广泛应用于众多生活和工作领域。

2002年Dorin Comaniciu将Mean Shift算法引入到了目标跟踪领域，极大减少了跟踪算法的计算量，Mean Shift算法是一种基于无参密度估计的目标跟踪方法，以核密度直方图作为描述目标模型和候选模型的特征，Mean Shift跟踪方法计算量不大,在目标区域已知的情况下完全可以做到实时跟踪。其次,作为一个无参数密度估计算法,很容易作为一个模块和别的算法集成。另外,采用核函数直方图建模,对边缘遮挡、目标旋转、变形和背景运动不敏感，但是跟踪过程中窗宽的大小保持不变，同时不能对目标模板进行实时更新,在目标的运动中,目标的姿态、环境的光线等会发生变化,用场景图像中已经变化了的目标的候选模板去匹配初始模板,会导致跟踪失败。David Lowe在1999年提出了SIFT算法，并于2004年进行了更深入的发展和完善，自从SIFT提出后就引起了许多学者的关注，因为SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力，随着SIFT算法的不断发展，目前这种方法被广泛应用于工件识别，医学图像配准，移动机器人定位与地图创建，图像拼接，人脸识别，3D目标检索跟踪、目标识别、纹理识别、宽基线图像匹配和图像特征匹配中，但是SIFT算法匹配速度较慢，实时性较差。基于Mean Shift跟踪方法的实时性，本发明提出了一种改进SIFT算法的快速目标跟踪方法。

发明内容

本发明的目的在于克服SIFT特征目标跟踪方法已有技术的不足，提供一种解决了基于SIFT特征的目标跟踪方法实时性较慢的缺点的改进SIFT算法的快速目标跟踪方法。

本发明的目的是这样实现的：

(1)采集装置获取动态视频；

(2)从动态视频中获取一张目标图像；

(3)提取目标图像的SIFT特征并保存到数据库中；

(3.1)尺度空间极值检测，初步确定关键点位置和所在尺度：

对目标图像通过与不同核值的高斯函数进行卷积运算构成高斯尺度空间，通过对高斯尺度空间进行采样，建立高斯金字塔；将高斯金字塔的相邻层相减，得到DOG金字塔，以处于中间层的像素点为中心的3*3*3的三维空间内进行极值检测，如果像素点在DOG金字塔尺度空间本层以及上下两层的26个邻域中是最大或者最小值，则将该像素点标记为局部极值点，该像素点是图像在该尺度下的一个候选特征点；

(3.2)精确确定关键点的位置和尺度：

通过对步骤(1)得到的候选特征点进行三维二次函数拟合以获得亚像素级的精确定位，去除低于对比度γ的特征点以及不稳定的边缘响应点；

(3.3)利用特征点邻域像素的梯度方向统计特性为指定方向参数，使特征点具有旋转不变性。

(3.4)SIFT特征向量生成：

将坐标轴旋转为关键点的方向，以关键点为中心取8*8的窗口，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成种子点，关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；

(4)目标的SIFT特征与动态视频中的每帧图像的SIFT特征进行匹配，检测到目标后，确定目标在图像中的位置：

目标图像和待匹配图像的SIFT特征点进行匹配确定目标在图像中位置，SIFT特征匹配采用关键点特征向量的欧式距离作为相似性度量，取参考图像中的关键点，找出待匹配图像中欧式距离最近的2个关键点，在这2个关键点中，如果最近的距离除以次近的距离小于某个阈值，则接受这一对匹配点；

(5)根据目标位置区域初始化Mean Shift模板：

目标图像和待匹配图像的特征点匹配后，确定待跟踪目标在图像中的位置区域，待跟踪目标在图像中的位置区域是Mean Shift核函数作用的区域，区域的大小等于核函数的尺度，对初始目标区域内所有的像素点，计算特征空间中每个特征值的概率，即目标模型的描述；

(6)Mean Shift对动态视频中之后每一帧图像进行迭代跟踪：

以后的每帧图像中可能存在目标候选区域中对特征空间每个特征值的计算成为待候选模型描述。利用相似性函数最大得到关于目标的Mean Shift向量，这个向量即是目标从初始位置向正确位置转移的向量，基于Mean Shift跟踪算法的收敛性,不断迭代计算Mean Shift向量，在当前帧中目标最终会收敛于一个位置,从而确定跟踪目标区域。

(7)根据跟踪目标确定模板更新频率，当达到更新条件时返回步骤(4)。

本发明的有益效果在于：

本发明的方法具有较好的实时性和快速性。本发明的方法为快速跟踪物体提供了一条非常有效的途径，可广泛应用于视频监控，运动分析等领域。与传统的SIFT跟踪方法相比，速度得到很大的提升，完全可以满足实时性。

附图说明

图1SIFT局部极值点示意图；

图2SIFT梯度图像和关键点示意图；

图3改进SIFT算法的快速目标跟踪方法程序流程图；

图4实验结果示意图；

图5实验结果示意图；

图6实验结果示意图；

图7实验结果示意图；

图8实验结果示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

1、一种改进SIFT算法的快速目标跟踪方法，其特征在于该方法具体包括如下步骤：

步骤一：通过视频采集装置获取动态视频。

步骤二：通过图像采集软件从动态视频中获取一张目标的图像。

步骤三：提取目标图像的SIFT特征并保存到数据库中。

(1)尺度空间极值检测，初步确定关键点位置和所在尺度。

对目标图像通过与不同核值的高斯函数进行卷积运算构成高斯尺度空间，通过对高斯尺度空间进行采样，建立高斯金字塔；然后将高斯金字塔的相邻层相减，得到DOG(高斯偏差)金字塔，将处于中间层的像素点在以其自身为中心的3*3*3的三维空间内进行极值检测，如果某像素点在DOG尺度空间本层以及上下两层的26个邻域中是最大或者最小值时，则将该点标记为局部极值点，认为该点是图像在该尺度下的一个候选特征点。

(2)精确确定关键点的位置和尺度。

通过对步骤一得到的候选特征点进行三维二次函数拟合以获得亚像素级的精确定位，并去除低对比度的特征点以及不稳定的边缘响应点。

(3)利用特征点邻域像素的梯度方向统计特性为其指定方向参数，使其具有旋转不变性。

(4)SIFT特征向量生成。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取8*8的窗口。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

步骤四：目标的SIFT特征与动态视频中的每帧图像的SIFT特征进行匹配，当检测到目标后，确定目标在图像中的位置。

目标图像和待匹配图像的SIFT特征点进行匹配确定目标在图像中位置，SIFT特征匹配采用关键点特征向量的欧式距离作为相似性度量，即取参考图像中的某个关键点，找出待匹配图像中欧式距离最近的2个关键点，在这2个关键点中，如果最近的距离除以次近的距离小于某个阈值，则接受这一对匹配点。

步骤五：根据目标位置区域初始化Mean Shift模板。

目标图像和待匹配图像的特征点匹配后，确定待跟踪目标在图像中的位置区域，

这个目标区域就是Mean Shift核函数作用的区域,区域的大小等于核函数的尺度,假定我们是在彩色的视频序列图像中跟踪目标，因此，图像像素的值域为RGB颜色空间。按照直方图的方式将RGB颜色空间中的每个子空间R、G和B空间分成个相等的区间，每个区间成为一格bin,构成特征空间。对初始目标区域内所有的像素点,计算特征空间中每个特征值的概率,称为目标模型的描述。

步骤六：Mean Shift对动态视频中之后每一帧图像进行迭代跟踪。

以后的每帧图像中可能存在目标候选区域中对特征空间每个特征值的计算成为待候选模型描述。利用相似性函数最大得到关于目标的Mean Shift向量，这个向量即是目标从初始位置向正确位置转移的向量，基于Mean Shift跟踪算法的收敛性,不断迭代计算Mean Shift向量，在当前帧中目标最终会收敛于一个位置,从而确定跟踪目标区域。

步骤七：根据实际跟踪目标确定模板更新频率，当达到更新条件时返回步骤四。

图中标号及符号说明如下：

图1中：上中下三个分别为三个尺度层图像，矩形小区域中的圆形代表像素点，标记‘x’的像素点的特征值若大于周围像素则可确定该点为该区域的特征点。

图2中：图左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，圆圈代表高斯加权的范围，图右部分为4个种子点，箭头代表种子点的8个方向向量。

下面通过一个具体实例来验证本发明所提出的一种改进SIFT算法的快速目标跟踪方法的性能。实验环境为3.00Ghz，4G内存，Visual C++6.0。

一种改进SIFT算法的快速目标跟踪方法，其具体实现步骤如下：

步骤一：通过视频采集装置获取动态视频。

步骤二：通过图像采集软件从动态视频中获取一张目标的图像。

步骤三：提取目标图像的SIFT特征并保存到数据库中。

(1)尺度空间极值检测，初步确定关键点位置和所在尺度。

对目标图像通过与不同核值的高斯函数进行卷积运算构成高斯尺度空间，通过对高斯尺度空间进行采样，建立高斯金字塔；然后将高斯金字塔的相邻层相减，得到DOG(高斯偏差)金字塔，将处于中间层的像素点在以其自身为中心的3*3*3的三维空间内进行极值检测，如果某像素点在DOG尺度空间本层以及上下两层的26个邻域中是最大或者最小值时，则将该点标记为局部极值点，认为该点是图像在该尺度下的一个候选特征点，参考图1。

(2)精确确定关键点的位置和尺度。

通过对步骤一得到的候选特征点进行三维二次函数拟合以获得亚像素级的精确定位，并去除低对比度的特征点以及不稳定的边缘响应点。

(3)利用特征点邻域像素的梯度方向统计特性为其指定方向参数，使其具有旋转不变性。

(4)SIFT特征向量生成。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取8*8的窗口。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性，参考图2。

步骤四：目标的SIFT特征与动态视频中的每帧图像的SIFT特征进行匹配，当检测到目标后，确定目标在图像中的位置。

目标图像和待匹配图像的SIFT特征点进行匹配确定目标在图像中位置，SIFT特征匹配采用关键点特征向量的欧式距离作为相似性度量，即取参考图像中的某个关键点，找出待匹配图像中欧式距离最近的2个关键点，在这2个关键点中，如果最近的距离除以次近的距离小于0.9，则接受这一对匹配点。

步骤五：根据目标位置区域初始化Mean Shift模板。

目标图像和待匹配图像的特征点匹配后，确定待跟踪目标在图像中的位置区域，

这个目标区域就是Mean Shift核函数作用的区域,区域的大小等于核函数的尺度,假定我们是在彩色的视频序列图像中跟踪目标，因此，图像像素的值域为RGB颜色空间。按照直方图的方式将RGB颜色空间中的每个子空间R、G和B空间分成个相等的区间，每个区间成为一格bin,构成特征空间。对初始目标区域内所有的像素点,计算特征空间中每个特征值的概率,称为目标模型的描述。

步骤六：Mean Shift对动态视频中之后每一帧图像进行迭代跟踪。

以后的每帧图像中可能存在目标候选区域中对特征空间每个特征值的计算成为待候选模型描述。利用相似性函数最大得到关于目标的Mean Shift向量，这个向量即是目标从初始位置向正确位置转移的向量，基于Mean Shift跟踪算法的收敛性,不断迭代计算Mean Shift向量，在当前帧中目标最终会收敛于一个位置,从而确定跟踪目标区域。

步骤七：当获取到的视频帧总数为10的倍数时，返回步骤四。

实验结果表明发明方法与原有的SIFT跟踪方法相比具有很好的实时性和鲁棒性,第一次实验主要对比两种方法的实时性，由于SIFT跟踪方法实时性较差，每秒只能处理两到四帧图像，而改进后的SIFT跟踪方法可以实时处理每帧图像，参考表1；第二次实验为该发明方法的跟踪结果,图4至图8为实验运行结果。

表1两种跟踪方法实时性对比

	视频总帧数	跟踪帧数	丢失帧数
				SIFT跟踪方法	150	18	132
改进后SIFT	150	142	8

Claims (1)

1.一种改进SIFT算法的快速目标跟踪方法，其特征在于：

(1)采集装置获取动态视频；

(2)从动态视频中获取一张目标图像；

(3)提取目标图像的SIFT特征并保存到数据库中；

(3.1)尺度空间极值检测，初步确定关键点位置和所在尺度：

对目标图像通过与不同核值的高斯函数进行卷积运算构成高斯尺度空间，通过对高斯尺度空间进行采样，建立高斯金字塔；将高斯金字塔的相邻层相减，得到DOG金字塔，以处于中间层的像素点为中心的3*3*3的三维空间内进行极值检测，如果像素点在DOG金字塔尺度空间本层以及上下两层的26个邻域中是最大或者最小值，则将该像素点标记为局部极值点，该像素点是图像在该尺度下的一个候选特征点；

(3.2)精确确定关键点的位置和尺度：

通过对步骤(1)得到的候选特征点进行三维二次函数拟合以获得亚像素级的精确定位，去除低于对比度γ的特征点以及不稳定的边缘响应点；

(3.3)利用特征点邻域像素的梯度方向统计特性为指定方向参数，使特征点具有旋转不变性。

(3.4)SIFT特征向量生成：

将坐标轴旋转为关键点的方向，以关键点为中心取8*8的窗口，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成种子点，关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；

(4)目标的SIFT特征与动态视频中的每帧图像的SIFT特征进行匹配，检测到目标后，确定目标在图像中的位置：

目标图像和待匹配图像的SIFT特征点进行匹配确定目标在图像中位置，SIFT特征匹配采用关键点特征向量的欧式距离作为相似性度量，取参考图像中的关键点，找出待匹配图像中欧式距离最近的2个关键点，在这2个关键点中，如果最近的距离除以次近的距离小于某个阈值，则接受这一对匹配点；

(5)根据目标位置区域初始化Mean Shift模板：

目标图像和待匹配图像的特征点匹配后，确定待跟踪目标在图像中的位置区域，待跟踪目标在图像中的位置区域是Mean Shift核函数作用的区域，区域的大小等于核函数的尺度，对初始目标区域内所有的像素点，计算特征空间中每个特征值的概率，即目标模型的描述；

(6)Mean Shift对动态视频中之后每一帧图像进行迭代跟踪：

以后的每帧图像中可能存在目标候选区域中对特征空间每个特征值的计算成为待候选模型描述。利用相似性函数最大得到关于目标的Mean Shift向量，这个向量即是目标从初始位置向正确位置转移的向量，基于Mean Shift跟踪算法的收敛性,不断迭代计算Mean Shift向量，在当前帧中目标最终会收敛于一个位置,从而确定跟踪目标区域。

(7)根据跟踪目标确定模板更新频率，当达到更新条件时返回步骤(4)。