CN109949340A - 基于OpenCV的目标尺度自适应跟踪方法 - Google Patents

Abstract

本发明公开了一种基于OpenCV的目标尺度自适应跟踪方法，该方法先利用均值漂移算法对目标进行定位跟踪，每隔6帧运用SIFT变换提取目标特征，将模板图像与跟踪实时图像进行特征匹配，通过仿射变换确立匹配点之间的映射关系，得到尺度变换因子，从而更新实时图像中候选区域目标模板的尺寸，解决运动目标尺度不断增大导致容易丢失跟踪或误跟踪的问题。

Description

基于OpenCV的目标尺度自适应跟踪方法

技术领域

本发明计算机视觉技术领域，具体地指一种基于OpenCV的目标尺度自适应跟踪方法。

背景技术

运动目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动导航、空间遥感、红外医疗图像病理分析、城市红外污染分析、森林防火和海面人员搜救等领域有广泛的应用前景。

目标跟踪方法主要包括两类：1)基于状态估计的跟踪方法；2)基于匹配的跟踪方法。基于状态估计的方法主要有Kalman滤波和粒子滤波，基于匹配的跟踪方法主要有均值漂移，SIFT(Scale Invariant Feature Transform)等。均值漂移跟踪方法是一种基于核密度估计的无参快速模式匹配方法，通过迭代运算找到目标位置，在目标跟踪领域应用广泛。均值漂移算法在颜色空间对目标进行跟踪，对于颜色和纹理特征较为丰富的可见光目标，显示了良好的跟踪性能，适合实时目标跟踪。但跟踪的目标前后两帧图像之间发生较大的平移、旋转和尺度缩放等变换时，会极大的增加对目标稳定跟踪的难度。

SIFT点特征是David G.Lowe 1999年提出、2004年完善总结的局部特征描述子，是基于高斯尺度空间的，对尺度缩放、平移和旋转具有不变性的尺度不变特征变换，在图像匹配领域取得了较好的效果。但是，SIFT算法非常依赖图像的内容和质量，而红外图像视觉效果模糊、分辨率低、噪声多，很难提取到足够的特征点。导致跟踪算法不能继续进行，且算法实现复杂、计算量大，阻碍了目标的实时跟踪。

至今，有不少学者对均值漂移算法做了改进，如采用正负10％的增量对核窗宽进行修正，但当目标逐渐增大时，特别是当目标大小超出核窗宽大小时，核窗宽很难扩大，反而经常会变小。现有技术存在的问题是：仅靠单一或较少的信息量作为跟踪的标准不够准确，在目标尺度不断增大的情况下较容易丢失跟踪或误跟踪。

发明内容

本发明的目的就是要提供一种基于OpenCV的目标尺度自适应跟踪方法，该方法先利用均值漂移算法对目标进行定位跟踪，每隔6帧运用SIFT变换提取目标特征，将模板图像与跟踪实时图像进行特征匹配，通过仿射变换确立匹配点之间的映射关系，得到尺度变换因子，从而更新实时图像中候选区域目标模板的尺寸，解决运动目标尺度不断增大导致容易丢失跟踪或误跟踪的问题。

为实现此目的，本发明所设计的基于OpenCV的目标尺度自适应跟踪方法，其特征在于，它包括如下步骤：

步骤1：获取运动目标的视频帧图像序列，在视频帧图像序列的任意帧中设定初始搜索窗口，在初始搜索窗口中选定要跟踪的目标，使初始搜索窗口中选定的目标恰好包含整个实际的目标，并使用鼠标响应函数获取初始搜索窗口的宽度a和高度b；

对运动目标的视频帧图像进行计数，保存当前帧的图像为I₁，保存之后第A帧的图像为I₂，此后每隔A帧将图像交替保存为I₁和I₂，依次循环，将初始搜索窗口区域从RGB颜色空间转换为HSV颜色空间，建立均值漂移模型，统计搜索窗内所有像素点的颜色值，建立直方图并归一化，得到目标区域的模型描述，即得到了目标区域的密度概率函数；

步骤2：根据目标的归一化直方图，在序列图像中通过相似度度量寻找与目标最为相似的候选区域，将前一帧的中心位置作为搜索窗口的中心，应用均值漂移迭代算法求解当前帧目标的新位置坐标，实现目标中心位置由前一帧位置到当前帧位置的跟踪；

步骤3：用SIFT算法构建尺度空间，分别对图像I₁和I₂进行不同尺度的高斯核函数滤波，获得图像多尺度下的尺度空间表示序列，在尺度空间中，求其局部极值，对特征点进行定位，基于图像局部的梯度方向，确定特征点的方向，在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，用特征点特征向量的欧式距离来作为图像I₁和I₂中特征点的相似性判断度量；

步骤4：采用仿射变换模型拟合模板图像和跟踪实时图像之间匹配点的映射关系，从图像I₁和I₂的所有SIFT特征点匹配对中随机选取四对，根据这四对SIFT特征点的坐标确定图像I₁和I₂的仿射变换矩阵H，得到尺度变化因子，对当前帧图像I₂跟踪窗口的大小进行修正，得到更新的候选区域目标；

步骤5：判断是否是最后一帧，若是，则算法结束；否则，返回步骤2继续计算。

本发明的技术特点及效果：

运动目标尺寸不断增大时，均值漂移算法较容易丢失跟踪或误跟踪。本发明将均值漂移算法和SIFT点特征进行结合的方法，是一种用均值漂移算法准确定位目标，同时用SIFT算法更新候选区域的目标尺度自适应跟踪方法。首先采用均值漂移算法确定目标在当前帧中所在的位置，达到一定的帧数后基于SIFT点特征的匹配结果求解目标缩放系数，进行一次目标模型的更新。本发明提出的方法保证了跟踪的实时性和目标的缩放问题，解决了目标尺度不断增大导致无法准确跟踪的问题。为了保证算法的实时性，选择每隔一定的帧数对输入图像进行点特征匹配，极大的减少了SIFT算法的计算时间。在目标模板的更新过程中，采用SIFT算法进行特征点的提取和匹配，用仿射变换模型求解目标的缩放系数，从而实现对目标跟踪窗口的更新，很好的解决了目标的缩放问题。

附图说明

图1为本发明的算法实现流程图；

图2为本发明中均值漂移算法流程图；

图3为本发明中SIFT算法流程图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细说明：

本发明所设计的一种基于OpenCV的目标尺度自适应跟踪方法，它包括如下步骤：

步骤1：在Visual Studio 2012环境下创建一个OpenCV工程，调用适当的API对不断驶近的车辆图像序列进行跟踪测试，获取运动目标的视频帧图像序列，在视频帧图像序列的任意帧中手动设定初始搜索窗口，在初始搜索窗口中选定要跟踪的目标，使初始搜索窗口中选定的目标恰好包含整个实际的目标，并使用鼠标响应函数获取初始搜索窗口的宽度a和高度b；

对运动目标的视频帧图像进行计数，保存当前帧的图像为I₁，保存之后第6帧的图像为I₂，此后每隔6帧将图像交替保存为I₁和I₂，依次循环(即，第1帧的图像为I₁(假设当前为第一帧)，第6帧的图像为I₂，第12帧的图像为I₂，第18帧的图像为I₁，第24帧的图像为I2依次循环)，将初始搜索窗口区域从RGB颜色空间转换为HSV颜色空间，建立均值漂移模型，统计搜索窗内所有像素点的颜色值，建立直方图并归一化，得到目标区域的模型描述，即得到了目标区域的密度概率函数；

步骤2：根据目标的归一化直方图，在序列图像中通过相似度度量寻找与目标最为相似的候选区域，将前一帧的中心位置作为搜索窗口的中心，应用均值漂移迭代算法求解当前帧目标的新位置坐标，实现目标中心位置由前一帧位置到当前帧位置的跟踪；

步骤3：用SIFT算法构建尺度空间，分别对图像I₁和I₂进行不同尺度的高斯核函数滤波，获得图像多尺度下的尺度空间表示序列，在尺度空间中，求其局部极值，对特征点进行定位，基于图像局部的梯度方向，确定特征点的方向，在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，用特征点特征向量的欧式距离来作为图像I₁和I₂中特征点的相似性判断度量；

步骤4：采用仿射变换模型拟合模板图像和跟踪实时图像之间匹配点的映射关系，从图像I₁和I₂的所有SIFT特征点匹配对中随机选取四对，根据这四对SIFT特征点的坐标确定图像I₁和I₂的仿射变换矩阵H，得到尺度变化因子，对当前帧图像I₂跟踪窗口的大小进行修正，得到更新的候选区域目标，解决运动目标尺度不断增大导致容易丢失跟踪或误跟踪的问题；

步骤5：判断是否是最后一帧，若是，则算法结束；否则，返回步骤2继续计算，每隔6帧计算SIFT特征点，对特征点进行匹配，更新候选区域的尺寸。

所述步骤1中，得到了目标区域的密度概率函数的方法为，设目标区域像素的中心为x₀，x_i(i＝1,2,...,n)表示区域内各像素的坐标位置，使用色度H通道的值建立颜色直方图，得到m个由统计颜色得到的特征值，，m通常取值8、16或32，目标模型的概率密度q_u(u＝1,...,m)计算方法如下：

上式中C是归一化系数，n为像素点的个数，K是Epannechnikov核函数的函数轮廓，b(x_i)表示x_i处像素属于哪个直方图区间，u表示直方图的颜色索引，δ[b(x_i)-u]函数的作用是判断目标区域中像素x_i处的灰度值是否属于直方图中第u个单元，等于为1，否则为0，h为核函数Epannechnikov的带宽，决定着权重分布，h＝(a/2)²+(b/2)²；

第t帧时，设候选目标区域中心为y₀，该区域与第t-1帧像素x_i(i＝1,2,...,n)对应的像素用y_i(i＝1,2,...,n)表示，与目标模板的概率密度函数计算方式相同，得到候选模型的概率密度为：

其中，p_u(y₀)表示候选目标模型的概率密度；h表示跟踪的带宽，δ[b(y_i)-u]函数的作用是判断目标区域中像素y_i处的灰度值是否属于直方图中第u个单元。

上述技术方案的步骤2的具体方法为在视频帧图像序列中通过迭代寻找与目标最为相似的候选区域，先使用相似性函数描述目标模型和候选目标之间的相似程度，采用Bhattacharyya系数作为相似性函数，其定义为：

式中，ρ(p,q)表示候选目标模型和目标模型之间的相似度，该相似函数的值在(0，1)之间，系数越大则两个模型越相似，将前一帧中目标的中心位置x₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即为在本帧中心目标的位置；

为使相似函数最大，对上式进行泰勒展开，得到Bhattacharyya系数的近似表达：

其中p_u(x₀)表示目标区域中心为x₀的目标模板概率密度函数，w_i为权重函数，表示候选区域中的像素点对整个候选模型与目标模型之间相似度的不同贡献，公式(4)和(5)中只有公式(5)随y₀变化，其极大化过程就可以通过候选区域中心向真实区域中心的均值漂移迭代方程完成，m表示由统计颜色得到的特征值的个数，δ[b(y_i)-u]函数的作用是判断目标区域中像素y_i处的灰度值是否属于直方图中第u个单元：

其中，y_k为原目标中心，y_k+1为经均值漂移计算后的结果中心点，g表示核函数K导数的负数，均值漂移方法就是从y_k起向两个模型相比颜色变化最大的方向不断移动，直到最后移动距离小于某一阈值或者迭代次数达到最大值(本发明中阈值设为1，迭代次数为8次)，即可认定移动后位置为当前帧的目标最优位置，并以此作为下一帧的起始搜索窗口中心，如此重复；

目标的新位置：

上述技术方案的步骤3的具体方法为使用SIFT算法在不同的尺度空间上查找特征点，并计算特征点的方向，尺度空间的获取使用高斯模糊来实现，首先对输入的图像I₁和I₂进行不同尺度的高斯核函数滤波，形成高斯金字塔模型，然后将相邻尺度的两个高斯图像相减，得到高斯金字塔的多尺度空间表示，在尺度空间中，求其局部极值，得到图像的SIFT特征点；

建立图像尺度空间的目的是获取图像数据的多尺度特征，一个图像的尺度空间L(x,y,δ)，定义为输入图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,δ)的卷积运算：

上式中，(x,y)是像素的空间坐标， 是卷积运算符，δ称为尺度因子，其值越小则表征该图像被平滑得越少，相应的尺度也就越小；

尺度空间在实现时使用高斯金字塔表示，图像的高斯金字塔模型是指将原始图像不断降采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型；

所有特征点的检测都是基于尺度不变的特性，尺度规范化的LoG(Laplacion ofGaussian)算子具有真正的尺度不变性，直接采用LoG算子计算较为复杂，为了有效地在尺度空间检测稳定的特征点，引入了高斯差分算子DoG(Difference of Gaussians)，通过高斯尺度空间相邻尺度图像的差分求得原图像的高斯差分尺度函数为：

其中，k为相邻两个尺度空间倍数的常数，D(x,y,δ)表示高斯差分尺度函数，I(x,y)表示输入的图像，是卷积运算符，G(x,y,σ)表示高斯核，G(x,y,kσ)表示尺度变化后的高斯核，L(x,y,σ)表示高斯核同图像卷积后产生的图像尺度空间的函数，L(x,y,kσ)表示尺度变化后的高斯核同图像卷积后产生的图像尺度空间的函数；

为了确定特征点的位置，使特征描述符具有尺度不变性，需要在多个尺度空间检测极值点，每一个采样点要与自己周围的8邻域，以及尺度空间中上下两层中相邻的18个点相比较，如果是局部最大值，它就可能是一个特征点；

使用尺度空间的泰勒展开来获得极值的准确位置，极值点的灰度小于阈值(阈值默认为0.03，本发明采用0.09)，就会被忽略掉，过滤较差的特征点，为了使特征描述符具备旋转不变性，需要给每个特征点定义一个主方向，高斯差分算法对边界很敏感，需要把边界去除，使用2×2的Hessian矩阵计算主曲率，如果Hessian矩阵中X方向的梯度与Y方向的梯度的比值高于边界阈值(边界阈值默认为10，本发明采用12)，则忽略这个特征点；

获取特征点的邻域，计算这个区域的梯度级和方向，根据计算的结果创建一个含有36个bins的方向直方图(梯度直方图将0～360度的方向范围分为36个柱(bins)，其中每柱10度)，直方图中的峰值为主方向参数，如果其它的任何柱子的高度高于峰值的80％被认为是辅方向，特征点邻域像素(x,y)的梯度模值m(x,y)和方向θ(x,y)计算如下式：

公式(10)、(11)中，m(x,y)表示在像素点(x,y)处的梯度幅值，θ(x,y)表示在点(x,y)处的梯度方向，L代表二维图像的尺度空间，L所用的尺度为每个特征点各自所在的尺度，(x+1,y)表示原像素点(x,y)在x方向上增加一个单位，(x-1,y)表示原像素点(x,y)在x方向上减少一个单位，(x,y+1)表示原像素点(x,y)在y方向上增加一个单位，(x,y-1)表示原像素点(x,y)在y方向上减少一个单位；

特征点描述是在特征点计算后，用一组向量将这个特征点描述出来，这个描述子不但包括特征点，也包括特征点周围对其有贡献的像素点，用来作为目标匹配的依据，使特征点具有更多的不变特性，包括光照变化、3D视点变化，特征点描述分为a到c，3个步骤：

a)旋转主方向：将坐标轴旋转为特征点的方向，以确保旋转不变性；

b)生成描述子：对于一个特征点产生128个数据，即最终形成128维的SIFT特征向量；

c)归一化处理：将特征向量的长度归一化，则进一步去除光照变化的影响；

采用特征点特征向量的欧式距离来作为两幅图像中特征点的相似性判断度量，取图像I₁的某个特征点，通过遍历找到图像I₂中的距离最近的那个特征点，计算最近距离与第二近距离的比值，如果比值大于0.8，就忽略掉，能去除90％的错误匹配。

上述技术方案的步骤4的具体方法为，为了获得尺度变化因子，采用仿射变换模型拟合模板图像和跟踪实时图像之间匹配点的映射关系，从图像I₁和I₂的所有SIFT特征点匹配对中随机选取四对，计算当前帧I₂的候选目标搜索区域与图像I₁的目标区域模型之间的变换参数，变换参数包括初始尺度参数和旋转参数，根据这四对SIFT特征点的坐标确定图像I₁和I₂的仿射变换矩阵H：

目标区域与候选区域间的坐标变换关系为：

其中：[x_s,y_s]^T和[x'_s,y'_s]^T分别表示图像I₁匹配点和图像I₂匹配点的坐标，H0表示尺度参数和旋转角度余弦的乘积，H1表示尺度参数和旋转角度正弦乘积的负数，H3表示尺度参数和旋转角度正弦的乘积，H4表示尺度参数和旋转角度余弦的乘积，H₂和H₅分别为图像I₂相对于图像I₁在水平方向和垂直方向上的偏移量，即

H₀、H₁、H₃和H₄分别是s*cosθ、-s*sinθ、s*sinθ、s*cosθ，其中s为所求的尺度变化系数，利用目标区域和候选目标区域间的点坐标关系计算当前帧目标相对于前一帧目标的尺度变化因子s和旋转参数，根据尺度变化因子s计算新的模板图像的尺寸分别为s*a、s*b，用矩形轮廓函数画一个宽度为s*a、高度为s*b的矩形，作为新的目标跟踪窗口，即得到更新的候选区域目标。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于OpenCV的目标尺度自适应跟踪方法，其特征在于，它包括如下步骤：

步骤1：获取运动目标的视频帧图像序列，在视频帧图像序列的任意帧中设定初始搜索窗口，在初始搜索窗口中选定要跟踪的目标，使初始搜索窗口中选定的目标恰好包含整个实际的目标，并使用鼠标响应函数获取初始搜索窗口的宽度a和高度b；

对运动目标的视频帧图像进行计数，保存当前帧的图像为I₁，保存之后第A帧的图像为I₂，此后每隔A帧将图像交替保存为I₁和I₂，依次循环，将初始搜索窗口区域从RGB颜色空间转换为HSV颜色空间，建立均值漂移模型，统计搜索窗内所有像素点的颜色值，建立直方图并归一化，得到目标区域的模型描述，即得到了目标区域的密度概率函数；

步骤2：根据目标的归一化直方图，在序列图像中通过相似度度量寻找与目标最为相似的候选区域，将前一帧的中心位置作为搜索窗口的中心，应用均值漂移迭代算法求解当前帧目标的新位置坐标，实现目标中心位置由前一帧位置到当前帧位置的跟踪；

步骤3：用SIFT算法构建尺度空间，分别对图像I₁和I₂进行不同尺度的高斯核函数滤波，获得图像多尺度下的尺度空间表示序列，在尺度空间中，求其局部极值，对特征点进行定位，基于图像局部的梯度方向，确定特征点的方向，在特征点周围的邻域内，测量图像局部的梯度，提取特征点描述子，用特征点特征向量的欧式距离来作为图像I₁和I₂中特征点的相似性判断度量；

步骤4：采用仿射变换模型拟合模板图像和跟踪实时图像之间匹配点的映射关系，从图像I₁和I₂的所有SIFT特征点匹配对中随机选取四对，根据这四对SIFT特征点的坐标确定图像I₁和I₂的仿射变换矩阵H，得到尺度变化因子，对当前帧图像I₂跟踪窗口的大小进行修正，得到更新的候选区域目标；

步骤5：判断是否是最后一帧，若是，则算法结束；否则，返回步骤2继续计算。

2.根据权利要求1所述的基于OpenCV的目标尺度自适应跟踪方法，其特征在于：所述步骤1中，得到了目标区域的密度概率函数的方法为，设目标区域像素的中心为x₀，x_i(i＝1,2,...,n)表示区域内各像素的坐标位置，使用色度H通道的值建立颜色直方图，得到m个由统计颜色得到的特征值，目标模型的概率密度q_u(u＝1,...,m)计算方法如下：

上式中C是归一化系数，n为像素点的个数，K是Epannechnikov核函数的函数轮廓，b(x_i)表示x_i处像素属于哪个直方图区间，u表示直方图的颜色索引，δ[b(x_i)-u]函数的作用是判断目标区域中像素x_i处的灰度值是否属于直方图中第u个单元，h为核函数Epannechnikov的带宽，决定着权重分布；

第t帧时，设候选目标区域中心为y₀，该区域与第t-1帧像素x_i(i＝1,2,...,n)对应的像素用y_i(i＝1,2,...,n)表示，与目标模板的概率密度函数计算方式相同，得到候选模型的概率密度为：

其中，p_u(y₀)表示候选目标模型的概率密度；h表示跟踪的带宽，δ[b(y_i)-u]函数的作用是判断目标区域中像素y_i处的灰度值是否属于直方图中第u个单元。

3.根据权利要求2所述的基于OpenCV的目标尺度自适应跟踪方法，其特征在于：所述步骤2的具体方法为在视频帧图像序列中通过迭代寻找与目标最为相似的候选区域，先使用相似性函数描述目标模型和候选目标之间的相似程度，采用Bhattacharyya系数作为相似性函数，其定义为：

式中，ρ(p,q)表示候选目标模型和目标模型之间的相似度，将前一帧中目标的中心位置x₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即为在本帧中心目标的位置；

为使相似函数最大，对上式进行泰勒展开，得到Bhattacharyya系数的近似表达：

其中p_u(x₀)表示目标区域中心为x₀的目标模板概率密度函数，w_i为权重函数，表示候选区域中的像素点对整个候选模型与目标模型之间相似度的不同贡献，公式(4)和(5)中只有公式(5)随y₀变化，其极大化过程就可以通过候选区域中心向真实区域中心的均值漂移迭代方程完成，m表示由统计颜色得到的特征值的个数，δ[b(y_i)-u]函数的作用是判断目标区域中像素y_i处的灰度值是否属于直方图中第u个单元：

其中，y_k为原目标中心，y_k+1为经均值漂移计算后的结果中心点，g表示核函数K导数的负数，均值漂移方法就是从y_k起向两个模型相比颜色变化最大的方向不断移动，直到最后移动距离小于某一阈值或者迭代次数达到最大值，即可认定移动后位置为当前帧的目标最优位置，并以此作为下一帧的起始搜索窗口中心，如此重复；

目标的新位置：

4.根据权利要求3所述的基于OpenCV的目标尺度自适应跟踪方法，其特征在于：所述步骤3的具体方法为使用SIFT算法在不同的尺度空间上查找特征点，并计算特征点的方向，尺度空间的获取使用高斯模糊来实现，首先对输入的图像I₁和I₂进行不同尺度的高斯核函数滤波，形成高斯金字塔模型，然后将相邻尺度的两个高斯图像相减，得到高斯金字塔的多尺度空间表示，在尺度空间中，求其局部极值，得到图像的SIFT特征点；

建立图像尺度空间的目的是获取图像数据的多尺度特征，一个图像的尺度空间L(x,y,δ)，定义为输入图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,δ)的卷积运算：

上式中，(x,y)是像素的空间坐标， 是卷积运算符，δ称为尺度因子；

尺度空间在实现时使用高斯金字塔表示，图像的高斯金字塔模型是指将原始图像不断降采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型；

所有特征点的检测都是基于尺度不变的特性，尺度规范化的LoG算子具有真正的尺度不变性，为了有效地在尺度空间检测稳定的特征点，引入了高斯差分算子DoG，通过高斯尺度空间相邻尺度图像的差分求得原图像的高斯差分尺度函数为：

其中，k为相邻两个尺度空间倍数的常数，D(x,y,δ)表示高斯差分尺度函数，I(x,y)表示输入的图像，是卷积运算符，G(x,y,σ)表示高斯核，G(x,y,kσ)表示尺度变化后的高斯核，L(x,y,σ)表示高斯核同图像卷积后产生的图像尺度空间的函数，L(x,y,kσ)表示尺度变化后的高斯核同图像卷积后产生的图像尺度空间的函数；

为了确定特征点的位置，使特征描述符具有尺度不变性，需要在多个尺度空间检测极值点，每一个采样点要与自己周围的8邻域，以及尺度空间中上下两层中相邻的18个点相比较，如果是局部最大值，它就可能是一个特征点；

使用尺度空间的泰勒展开来获得极值的准确位置，极值点的灰度小于阈值，就会被忽略掉，过滤较差的特征点，为了使特征描述符具备旋转不变性，需要给每个特征点定义一个主方向，高斯差分算法对边界很敏感，需要把边界去除，使用2×2的Hessian矩阵计算主曲率，如果Hessian矩阵中X方向的梯度与Y方向的梯度的比值高于边界阈值，则忽略这个特征点；

获取特征点的邻域，计算这个区域的梯度级和方向，根据计算的结果创建一个含有36个bins的方向直方图，直方图中的峰值为主方向参数，如果其它的任何柱子的高度高于峰值的80％被认为是辅方向，特征点邻域像素(x,y)的梯度模值m(x,y)和方向θ(x,y)计算如下式：

公式(10)、(11)中，m(x,y)表示在像素点(x,y)处的梯度幅值，θ(x,y)表示在点(x,y)处的梯度方向，L代表二维图像的尺度空间，L所用的尺度为每个特征点各自所在的尺度，(x+1,y)表示原像素点(x,y)在x方向上增加一个单位，(x-1,y)表示原像素点(x,y)在x方向上减少一个单位，(x,y+1)表示原像素点(x,y)在y方向上增加一个单位，(x,y-1)表示原像素点(x,y)在y方向上减少一个单位；

特征点描述是在特征点计算后，用一组向量将这个特征点描述出来，这个描述子不但包括特征点，也包括特征点周围对其有贡献的像素点，用来作为目标匹配的依据，使特征点具有更多的不变特性，包括光照变化、3D视点变化，特征点描述分为a到c，3个步骤：

a)旋转主方向：将坐标轴旋转为特征点的方向，以确保旋转不变性；

b)生成描述子：对于一个特征点产生128个数据，即最终形成128维的SIFT特征向量；

c)归一化处理：将特征向量的长度归一化，则进一步去除光照变化的影响；

采用特征点特征向量的欧式距离来作为两幅图像中特征点的相似性判断度量，取图像I₁的某个特征点，通过遍历找到图像I₂中的距离最近的那个特征点，计算最近距离与第二近距离的比值，如果比值大于0.8，就忽略掉，能去除90％的错误匹配。

5.根据权利要求4所述的基于OpenCV的目标尺度自适应跟踪方法，其特征在于：所述步骤4的具体方法为，为了获得尺度变化因子，采用仿射变换模型拟合模板图像和跟踪实时图像之间匹配点的映射关系，从图像I₁和I₂的所有SIFT特征点匹配对中随机选取四对，计算当前帧I₂的候选目标搜索区域与图像I₁的目标区域模型之间的变换参数，变换参数包括初始尺度参数和旋转参数，根据这四对SIFT特征点的坐标确定图像I₁和I₂的仿射变换矩阵H：

目标区域与候选区域间的坐标变换关系为：

其中：[x_s,y_s]^T和[x'_s,y'_s]^T分别表示图像I₁匹配点和图像I₂匹配点的坐标，H0表示尺度参数和旋转角度余弦的乘积，H1表示尺度参数和旋转角度正弦乘积的负数，H3表示尺度参数和旋转角度正弦的乘积，H4表示尺度参数和旋转角度余弦的乘积，H₂和H₅分别为图像I₂相对于图像I₁在水平方向和垂直方向上的偏移量，即

H₀、H₁、H₃和H₄分别是s*cosθ、-s*sinθ、s*sinθ、s*cosθ，其中s为所求的尺度变化系数，利用目标区域和候选目标区域间的点坐标关系计算当前帧目标相对于前一帧目标的尺度变化因子s和旋转参数，根据尺度变化因子s计算新的模板图像的尺寸分别为s*a、s*b，用矩形轮廓函数画一个宽度为s*a、高度为s*b的矩形，作为新的目标跟踪窗口，即得到更新的候选区域目标。