CN103985136A - 一种基于局部特征点特征流型的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于局部特征点特征流型的目标跟踪方法，包括以下步骤：指定第一帧图像中的目标，提取特征点；对局部区域图像进行变换；对每个变换后图像的特征点提取尺度不变特征描述向量，构成特征向量集；采用线性子空间逼近特征向量集；在下一帧中提取目标临近区域特征点尺度不变特征描述；将下一帧中提取的特征点与当前帧的特征流型集合以及候选特征点集合中的元素进行匹配，生成匹配关系；根据匹配关系计算连续两帧匹配点之间的单应变换矩阵；对目标区域顶点坐标进行单应变换，计算出目标的位移；更新并记录目标位置，更新特征流型集合及候选特征点集合；若下一帧非最后一帧，移动至下一帧；否则，结束。

Description

一种基于局部特征点特征流型的目标跟踪方法

技术领域

本发明涉及计算机图像的处理方法，特别是一种基于较强描述性和区分力的图像局部特征描述的视频目标物体跟踪方法。 

背景技术

视频目标物体跟踪的目的是在视频的每一帧中确定目标物体的位置，在安全监控、人机交互、数字娱乐等方面具有重要的应用价值，近些年，基于局部特征的视频目标物体跟踪方法取得了一定的跟踪效果，这类方法提取目标物体上的特征点，以这些特征点的描述作为目标物体的表示，通过与下一帧特征点的匹配来确定目标物体在下一帧中的问题。然而近年来的研究表明，传统局部特征描述针对实际情况中图像拍摄视点仿射变换的不变性范围相当有限，这使得现有的视频目标物体跟踪方法在鲁棒性和跟踪效果方面十分有限。因此，提出一种基于较强描述性和区分力的图像局部特征描述的视频目标物体跟踪方法具有广泛的实际应用价值。 

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种新颖的基于图像的局部特征描述的视频跟踪方法。 

为了解决上述技术问题，本发明公开了一种基于图像的局部特征流形的视频目标物体跟踪方法，包括以下步骤： 

步骤1，指定第一帧图像中的目标，使用特征点检测方法提取第一帧图像目标区域的特征点，并获取每个特征点周围的局部区域图像；一般情况下，局部区域取为以每个特征点为中心，是固定宽和高的正方形图像区域； 

步骤2，对局部图像进行一系列复合变换，复合变换由三种基础变换依次组合而成，三种基础变换是缩放变换、旋转变换和错切变换，改变各变换的参数，构造一系列变换图像； 

步骤3，对每个变换图像的特征点提取尺度不变特征描述；形成特征向量集：将针对每个变换图像的特征点提取的特征描述向量排列在一起，构成特征向量集； 

步骤4，采用线性子空间逼近特征向量集：针对该特征向量集，运用主元分析提取特征向量集的特征主元向量；生成特征描述符：将特征主元向量联结在一起，构成初 始特征流型集合。同时生成初始候选特征点集合；在预处理时，初始候选特征点集合为空集，而在跟踪时候，新添加的候选特征点为新检测到的且没有用于生成特征流型的特征点。 

步骤5，在下一帧中提取目标临近区域包含的特征点的尺度不变特征描述； 

步骤6，将下一帧中提取的特征点与当前帧特征流型集合以及候选特征点集合中的元素进行匹配，生成匹配关系； 

步骤7，根据匹配关系计算连续两帧匹配点之间的单应(Homography)变换矩阵； 

步骤8，对目标区域顶点坐标应用单应(Homography)变换，计算出目标的位移； 

步骤9，更新并记录目标位置，更新特征流型集合及候选特征点集合。 

步骤10，若下一帧非最后一帧，移动至下一帧，并循环至步骤5；否则，程序结束。 

本发明中，所述步骤1以特征点为中心，提取一个高和宽分别为50像素×50像素的正方形局部图像区域；可以根据图像的大小以及特征点在图像中的位置，适当调整特征点周围局部图像区域的大小。 

本发明中，所述步骤2包括以下步骤： 

步骤21，首先对局部图像区域进行缩放变换，得到三张缩放图像，其宽和高分别为原局部图像的1半，1倍和2倍；如果原始局部图像区域分辨率为50×50，则三张缩放图像分别为25×25,50×50和100×100； 

步骤22，其次对三张缩放图像分别进行旋转变换，旋转的角度为顺时针30、60、90、120、150、180、210、240、270、300和330度，得到包括未旋转照片的共36张图像； 

步骤23，再次对旋转图像分别进行错切变换，错切变换涉及到对图像横和纵坐标的缩放，缩放参数取值范围均是{-1,0,1}，改变横向和纵向缩放的参数共产生9种错切变换。 

本发明中，所述步骤3使用SIFT(Scale Invariant Feature Transformation)算法对每张变换图像的中心点提取其一个128维的尺度不变特征描述向量，该向量包括所描述区域的尺度、所描述区域的主梯度方向和描述子矢量。SIFT算法的具体内容可参见作者David G.Lowe的原论文“D.G.Lowe,Distinctive image features from scale-invariant  keypoints,International Journal of Computer Vision60(2)(2004)91–110”。每张变换图像的中心点均有一个128维的尺度不变的特征描述向量，将这些特征向量按照行序排列，即构成一个完整的特征向量集合。 

本发明中，所述步骤4使用PCA主元分析方法对特征向量集合进行降维，可以人为设定降维的维度，假设降维的维度为N，则提取出N个特征主元向量，一般N的取值为5。主元分析PCA(Principal component analysis)是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化,可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后简单且重要的结构，关于其算法的具体内容可参见论文“主元分析与偏最小二乘法.王桂增，叶昊编著,清华大学出版社，出版时间2012-8-1，ISBN9787302279426”中关于主元分析的阐述。将提取到的N个特征主元向量作为原始局部特征点的特征流形表示。 

本发明中，所述步骤5中，对于当前帧，在下一帧目标临近区域，提取每个特征点生成一个128维的尺度不变的特征描述向量，且下一帧目标临近区域的中心与上一帧图像目标区域的中心一致，长宽和宽度为上一帧图像目标区域的2倍。 

本发明中，所述步骤6含有两种匹配类型，一种是提取的特征点与特征流型之间的匹配，另一种是提取出的特征点与候选特征点之间的匹配。 

本发明中，所述步骤7依据匹配关系可生成一个3x3的单应(Homography)变换矩阵，该矩阵常用于图像的变换中。关于其具体信息可参见“计算机视觉：一种现代方法(第二版)，福赛斯,电子工业出版社，2012年5月1日出版，ISBN:9787121168307”的阐述。 

本发明中，所述步骤8是用前一帧中四个顶点的坐标分别与Homography变换矩阵相乘，得到四个新的坐标即为目标在下一帧中的估计位置。 

本发明中，所述步骤9是输出被跟踪目标在下一帧中的估计位置。所述步骤9为更新记录跟踪目标的位置，对找到匹配的特征流型进行更新，对在候选特征点集合中出现一定次数以上的特征点，生成对应特征流型并加入特征流型集合，删除特征流型集合中k次未能匹配超过t次数的特征流型，k＝[1,10]t＝[1,k]。同时，使用增量式主元分析IPCA(Incremental Principal component analysis)做特征流型的更新，其中IPCA方法的目的是当新增数据到来时候，可在原有数据的基础上进行迭代处理，从而节约计 算量。关于其具体信息可以参见论文“D.Skocaj,A.Leonardis,Weighted and robust incremental method for subspace learning,in:Proc.ICCV,2003,pp.1494–1501”。另外，在特征流型集合中添加新的稳定特征流型，删除过期的特征流型，此更新操作保证了在特征流型集合中的特征流型都是稳定的。 

本发明中，所述步骤10是判断是否处理到视频的结尾，若是则算法结束，否则至步骤5，循环执行程序。 

有益效果：本发明的显著优点是：本发明公开了一种基于特征流型的视频目标跟踪方法，针对视频中的目标物体采用特征流形进行表示，特征流形对更符合实际视频拍摄情况的视角变换适应性要明显好于传统的局部特征点，进而在视频相邻帧匹配跟踪目标时准确率更高。本发明提出了特征流形来扩大局部特征点对视角变换的适应范围，特征流形通过构造适当个数的多个视角下特征点的描述，从而获得了该特征点的全视角完备描述；相对于其它的视频跟踪方法，采用本发明提出的特征流形来表示局部特征，在进行图像匹配时，图像的匹配准确性会更高，这极大地提高了图像的特征匹配率，从而提高了目标物体跟踪的鲁棒性和跟踪效果。另外在跟踪算法中，我们采用PCA进行了降维，并用IPCA对特征流型模型做更新，低维的版本既节省了内存空间，又能方便地应用到跟踪过程之中。 

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。 

图1为本发明方法的基本流程图。 

图2为一个特征点的局部图像区域。 

图3为经过变换后生成的部分结果图像。 

图4为所得到的特征描述集合中的部分特征向量。 

图5a和图5b为牛津大学的一个研究小组公开发布的两幅视角变化的图像。 

图6为采用基于特征流行的特征匹配算法与采用基于原始尺度不变特征SIFT的特征匹配算法在图5的亮度图像上进行实验，所得到的匹配精确度和召回率曲线图。 

图7为本发明中对比实验所使用的测试视频信息。 

图8为跟踪成功率对照表格，其中对比了不同跟踪算法在不同视频数据上的成功 率。 

图9为平均中心误差对照表格。其中对比了不同跟踪算法在不同视频数据上的平均中心误差。 

图10为15个测试视频的具体信息表。 

图11为对比了各个算法在不同视频序列上的成功率的数据表。 

图12为对比了各个算法在不同视频序列上的平均中心误差的数据表。 

具体实施方式

具体地说，如图1所示，本发明公开了一种基于局部特征点特征流型的视频目标物体跟踪方法，包括以下步骤： 

步骤1，利用特征点检测方法提第一帧目标初始区域所包含的特征点并获取每个特征点周围的局部区域图像：一般情况下，局部区域取为以每个特征点为中心，固定宽和高的正方形图像区域。 

步骤2，对局部图像进行一系列复合变换：复合变换由缩放变换、旋转变换和错切变换三种基础变换依次组合而成，首先施加缩放变换，然后是旋转变换，最后施加错切变换。改变各变换的参数，构造一系列变换图像； 

步骤3，采用SIFT特征描述方法，对每个变换图像的特征点提取尺度不变特征描述；然后形成特征向量集：将针对每个变换图像的特征点提取的特征描述向量排列在一起，构成特征点的特征向量集； 

步骤4，采用线性子空间逼近特征向量集：针对该特征向量集，运用主元分析提取特征向量集的特征主元向量；生成特征描述符：将特征主元向量联结在一起，构成特征描述符即初始特征流型集合MS及候选特征点集合CF。 

步骤5，提取下一帧目标邻近区域的局部特征点。 

步骤6，将提取的特征点与当前帧特征流型集合以及候选特征点集合中的元素进行匹配。 

步骤7，利用与特征流型中元素的匹配信息拟合物体单应(Homography)变换矩阵。 

步骤8，利用变换矩阵计算出目标的位移。 

步骤9，更新并记录目标新位置，同时更新特征流型集合以及候选特征点集合。 

步骤10，若下一帧非最后一帧，则移动至下一帧，并循环至步骤5；否则，程序结束。 

所述步骤1包括以下步骤：采用SIFT算法提取输入图像目标物体区域的特征点，对每一个特征点，以该特征点为中心，提取一个高和宽分别为50×50的正方形局部图像区域；可以根据图像的大小以及特征点在图像中的位置，适当调整特征点周围局部图像区域的大小。SIFT算法的具体内容可参见David G.Lowe的原论文David G.Lowe,"Distinctive Image Features from Scale‐Invariant Keypoints"(International Journal of Computer Vision2004,60:91‐110)。 

所述步骤2包括以下步骤： 

步骤21，首先对原始特征点的局部区域图像进行缩放变换：缩放变换将每一点的横和纵坐标缩小或放大至s倍，变换矩阵为： 

$\left[\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right],$

参数s取值范围是{1/2,1,2}。经过缩放变换后，得到三张结果图像，其分辨率的横和宽分别为原局部区域图像的一半25×25、，一倍50×50和两倍100×100； 

步骤22，进而对三张经过缩放变换的结果图像施加旋转变换：假设原始图像特征点的坐标是(x,y),绕其为轴心顺时针旋转θ弧度，变换矩阵为： 

$\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & x-x^{*}\cos \mathrm{\θ}+y^{*}\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& y-x^{*}\sin \mathrm{\θ}-y^{*}\cos \mathrm{\θ}\\ 0& 0& 1\end{array}\right],$

这里参数θ取值范围是{0、30、60、90、120、150、180、210、240、270、300和330}度。对经过缩放变换得到的三张结果图像分别进行旋转变换，会得到一组36张旋转后的结果图像； 

步骤23，再次对旋转后得到的一系列结果图像进行错切变换：错切变换分别对图像区域在横和纵坐标上实行不同程度的错切，使图像呈现不同程度扭曲，变换矩阵为： 

$\left[\begin{array}{ccc}1& {\mathrm{sh}}_x& 0\\ {\mathrm{sh}}_y& 1& 0\\ 0& 0& 1\end{array}\right],$

参数sh_x,sh_y取值范围均是{-1,0,1}。通过改变这两个参数的取值，对旋转后得到的一系列结果图像各施加9个错切变化，从而生成一组324(36×9个)错切图像。 

所述步骤3包括以下步骤：使用SIFT特征描述算法对每张变换图像的中心点提取一个128维的尺度不变特征描述向量，该向量包括所描述区域的中心坐标点、尺度、所描述区域的主梯度方向和描述子矢量。每张变换图像的中心点均有一个128维的尺度不变的特征描述向量。然而部分特征描述可能不够精确，具体表现是与从原始图像中提取的SIFT特征描述向量差距过大，这样的特征描述向量不符合要求，需要将其过滤掉。在此，计算每一个128维的特征描述向量与原128维的特征向量的欧式距离，当该距离大于设定阈值时，舍弃该特征描述向量，根据不同图像的特点，阈值取值范围介于300-500间。在对这些特征向量进行过滤后，将剩余的特征向量按照行序排列，即构成一个完整的特征向量集合。 

所述步骤4包括以下步骤：使用PCA主元分析方法对特征向量集合进行降维，可以人为设定降维的维度，假设降维的维度为N，则提取出N个128维的特征主元向量，一般N的取值为5，PCA算法的具体内容可参见论文“主元分析与偏最小二乘法.王桂增，叶昊编著,清华大学出版社，出版时间2012-8-1，ISBN9787302279426”。将提取到的N个特征主元向量作为原始局部特征点的特征流形表示；同时也生成初始候选特征点集合。在预处理时，初始候选特征点集合为空集，而在跟踪时候，新添加的候选特征点为新检测到的且没有用于生成特征流型的特征点。 

所述步骤5包括以下步骤：提取视频下一帧目标物体临近区域的局部特征点。这里临近区域定义为中心与上一帧目标物体的区域中心重合，且长和宽分别是上一阵目标区域长宽的2倍。 

所述步骤6包括以下步骤：将下一帧提取得到的特征点与之前生成的特征流型集合(即MS)和候选特征点集合(CF)中的元素进行匹配，生成配对关系。这里包含两种匹配，一种是特征点与特征流型的匹配，在跟踪的过程中，我们一直存储着每个特征流型的低维版本，而这个版本是通过主成分分析降维得到的，求解公式为: 

$d(M_i,f_l^{\′})=\underset{j}{\min }d(C^{\mathrm{ij}},f_l^{\′}),$

其中M_i为特征流型，f′_l是待匹配特征点，C^ij为线性子空间；d(,)定义为欧式距离。另一种匹配是下一帧提取出的特征点与候选特征点集中的特征点之间的匹配。 

所述步骤7包括以下步骤，利用匹配的信息去拟合计算所有匹配的特征之间的单应(Homography)变换矩阵。该矩阵是3x3的矩阵，常用于图像变换中，具体信息可以参阅“计算机视觉：一种现代方法(第二版),福赛斯,电子工业出版社，2012年5月1日出版，ISBN:9787121168307”的阐述。 

所述步骤8包括以下步骤，依据步骤7中获得的单应变换矩阵，对于当前帧目标物体最小包围盒的四个顶点，分别作用单应变换矩阵，即可得到这四个顶点在下一帧中的估计位置，再求取这四个顶点的外接矩形，作为目标物体在下一帧中的新位置。 

所述步骤9包括以下步骤，记录目标物体在视频下一帧的位置；执行特征流型更新操作：对于找到匹配的特征流形，采用增量式主成分分析更新该特征流形表示，关于增量式主成分分析的具体内容可以参见论文“D.Skocaj,A.Leonardis,Weighted and robust incremental method for subspace learning,IEEE ICCV2003,pp.1494–1501”；同时对于连续数帧中找到匹配次数低于一定阈值的特征流形，将它从特征流形集合中删除，而对于连续数帧中找到匹配次数高于一定阈值的候选特征点，生成对应的特征流形，并添加到特征流型集合中；对于下一帧中位于目标物体范围内新检测的特征点，将其添加到候选特征集合。在具体实现中，我们使用时间窗口法来实现判定特征流型的添加、删除。将时间窗口的宽度定义为k帧，这里时间窗口包含从视频下一帧往前的k帧，并且定义时间阈值t，设每个特征流型在时间窗口k帧内找到匹配的帧数为l，那么在备选的特征点集合中，对于在时间窗口内找到匹配的帧数l大于或等于t的特征点，算法为其生成特征流型，并将其添加到表示物体的特征流型集合中；在表示物体的特征流型集合中，对于在时间窗口内找到匹配的帧数l小于t的特征点被认定为过时的特征流型，继而将其从特征流型集合中删除；具体实现中设定k等于5，设定t等于4。以上操作保证了在特征流型集合中的特征流型都是稳定的，且能表示目标物体的最新状态。 

所述步骤10包括以下步骤，其实质是判定追踪程序是否运行到最后一帧，若否，循环至第步骤5；否则终止程序并退出。 

实施例1 

图2给出了一张图像的局部特征点，以圆点代表，图2下面的小图给出了其中一个特征点周围的局部图像区域。 

采用本实施例给出的变换对该局部图像区域进行几何变换，得到一系列的变换图像，图3给出了其中的部分变换图像。 

图4给出了针对每张变换图像提取尺度不变特征描述向量并过滤掉部分欠精确特征向量后得到的特征向量集合中的部分特征向量。 

本实施例提出了特征流形来扩大局部特征点的特征描述向量对视角变换的适应范围从而将其应用于目标追踪。传统的局部特征点描述虽然能很好地适应平移、旋转和尺度变换，但是对视角变换的适应性并不好，局部特征点描述只能保证在一定小范围内的图像变换稳定性；而现实世界我们对相似的物体拍摄照片时，所获取的图像间往往具有较大的视角差异。本实施例中的特征流形表示是建立在局部特征点之上，通过构造适当个数的多个视角下该特征点的描述，从而获得了由一系列特征向量集合构成的该特征点的全视角描述，然后，本实施例采用主元分析方法对该特征向量集合进行降维，从而得到了由少量几个特征主元向量表示的特征流形。本实施例提出的基于特征流形的视频目标物体跟踪方法在进行目标物体的特征流星表示与跟踪帧特征匹配时，匹配的鲁棒性和效果都较好，从而保证了视频目标物体跟踪的鲁棒性和跟踪效果。 

实施例2 

图5a和图5b给出了同一物体在两张不同视角下拍摄的照片图像，该组图像是牛津大学的一个研究小组公开发布的，同时发布的还有每幅图像的特征点及正确的匹配点对，这组图像及匹配数据用以验证视角变换下特征匹配算法的效果，该组图像可以在网址http://www.robots.ox.ac.uk/～vgg/research/affine/index.html免费下载并应用。 

图6比较了采用本实施例方法进行图像匹配与采用传统方法进行图像匹配的效果，从精确度和召回率两方面关系给出对比曲线，采用本实施例方法的匹配即基于特征流行的特征匹配算法(图中上方点曲线)，采用传统方法即基于原始尺度不变特征SIFT的特征匹配算法(图中下方实曲线)。采用尺度不变特征SIFT进行图像间特征匹配的步骤为：采用SIFT算法检测两幅图像的特征点；对两幅图像A,B中的特征点进行特征匹配，即计算两幅图像特征点间SIFT特征描述的两两欧式距离，假设图像A中的特征 点p的SIFT描述与图像B中的特征点q的SIFT描述的距离小于其与图像B中其它所有特征点SIFT描述距离，且小于某一给定阈值，则认为p与q匹配。采用基于特征流型的特征匹配算法进行图像间特征匹配的步骤为：采用SIFT算法检测两幅图像的特征点；对图像B中的每个特征点，构造其特征流行表示，计算图像A中的每个特征点SIFT特征描述到B中每个特征点的特征流行距离，该距离取做与该特征流行的多个主元向量距离的最小值；假设图像A中的特征点p的SIFT描述与图像B中的特征点q的特征流行距离小于其与图像B中其它所有特征点的特征流行距离，且小于某一给定阈值，则认为p与q匹配。匹配的精确度和召回率分别用precision和recall表示，通过如下公式计算： 

从图6可以看出，相对于传统方法，采用基于特征流型的特征匹配算法在实验的精确度和召回率方面更高，因而具有更好的匹配效果。 

实施例3 

图7给出了采用本实施例的视频目标物体跟踪方法在一段监控视频上的跟踪结果，这里给出了5帧的跟踪结果，矩形框是采用本实施例的方法得到的目标人物的跟踪结果。 

图8给出了采用本实施例的视频目标物体跟踪方法在另一段监控视频上的跟踪结果，这里给出了5帧的跟踪结果，矩形框是采用本实施例的方法得到的目标人物的跟踪结果。 

实施例4 

图9给出了采用本实施例的视频目标物体跟踪方法在一段人脸视频上的跟踪结果，这里给出了10帧的跟踪结果，矩形框是采用本实施例的方法得到的人脸跟踪结果。 

为了直观的测试本实施例的效果，我们实现了6种国际主流或最新发表的跟踪方法并在多达15组测试视频上进行了对比测试，其中另外6种目标跟踪方法分别为: 

1)Meanshift跟踪算法，原论文可参考“Comaniciu D,Ramesh V,Meer P."Real-time tracking of non-rigid objects using mean shift[C]."Computer Vision and Pattern Recognition, 2000.Proceedings.IEEE Conference on.IEEE,2000,2:142-149.” 

2)IVT跟踪算法，原文请参考“D.Ross,J.Lim,R.-S.Lin,M.-H.Yang,Incremental learning for robust visual tracking,International Journal of Computer Vision77(1-3)(2008)125–141.” 

3)TLD跟踪算法，原文可参考“Kalal Z,Mikolajczyk K,Matas J."Tracking-learning-detection[J]."Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(7):1409-1422.” 

4)Hough跟踪算法，原文可参考“M.Godec,P.M.Roth,H.Bischof,Hough-based tracking of non-rigid objects,Computer Vision and Image Understanding(2012).” 

5)L1-APG跟踪算法，原文可参考“C.Bao,Y.Wu,H.Ling,H.Ji,Real time robust l1tracker using accelerated proximal gradient approach,in:IEEE CVPR2012,pp.1830–1837.” 

6)Superpixel跟踪算法，原文可参考“S.Wang,H.Lu,F.Yang,M.-H.Yang,Superpixel tracking,in:IEEE ICCV2011,pp.1323–1330.” 

图10中说明了15个测试视频的具体信息，包括视频名称，分辨率，帧数和使用本实施例方法是否成功追踪等信息。 

图11中的表格对比了各个算法在不同视频序列上的成功率，其中对于某一帧是否跟踪成功的定义如下：如果则认为算法在该帧上追踪成功。其中R_T代表算法在这一帧输出的实际跟踪位置的矩形框，R_G代表目标在这一帧的真实位置的矩形框。对于某种算法，在某一视频序列的成功率等于所有成功追踪的帧数占总帧数的百分比，为了便于阅读，表中每个例子最优方法对应的结果用下划线标出。 

图12中的表格对比了各个算法在不同视频序列上的平均中心误差(单位为像素)。其定义为该算法在每一帧上追踪的中心误差之和除以总帧数，同样的，为了便于阅读，表中每个例子最优方法对应的结果用下划线标出。 

可以看到，本实施例提出的算法不仅是在成功率方面还是在平均中心误差方面均优于其他算法。 

本发明提供了一种基于图像局部特征点特征流型来进行视频目标追踪的思路及方 法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。 

Claims (10)

1.一种基于局部特征点特征流型的目标跟踪方法，其特征在于，包括以下步骤：

步骤1，指定第一帧图像中的目标，使用特征点检测方法提取第一帧图像目标区域的特征点，并获取每个特征点周围的局部区域图像；

步骤2，对局部区域图像进行变换：所述变换包括缩放变换、旋转变换和错切变换，构造变换后的图像；

步骤3，对每个变换后图像的特征点提取尺度不变特征描述向量，将每个尺度不变特征描述向量排列在一起，构成特征向量集；

步骤4，采用线性子空间逼近特征向量集：针对该特征向量集，提取特征向量集的特征主元向量；生成特征描述符：将特征主元向量联结在一起，构成初始特征流型集合，同时生成初始候选特征点集合；

步骤5，在下一帧中提取目标临近区域特征点尺度不变特征描述；

步骤6，将下一帧中提取的特征点与当前帧的特征流型集合以及候选特征点集合中的元素进行匹配，生成匹配关系；

步骤7，根据匹配关系计算连续两帧匹配点之间的单应变换矩阵；

步骤8，对目标区域顶点坐标进行单应变换，计算出目标的位移；

步骤9，更新并记录目标位置，更新特征流型集合及候选特征点集合；

步骤10，若下一帧非最后一帧，移动至下一帧，并返回至步骤5；否则，结束。

2.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤1中提取特征点的局部区域图像的范围，是以该特征点为中心，提取宽和高为分别为50像素×50像素的正方形图像区域。

3.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤2包括以下步骤：

步骤21，对局部图像区域进行缩放变换，得到三张缩放图像，三张缩放图像的分辨率的横和宽分别为原局部区域图像的一半，一倍和两倍；

步骤22，对三张缩放图像分别进行旋转变换，旋转的角度为顺时针30度、60度、90度、120度、150度、180度、210度、240度、270度、300度和330度，得到包括未旋转照片的共36张图像；

步骤23，对旋转后的图像分别进行错切变换，所述错切变换为对图像横坐标和纵坐标的缩放，缩放参数取值范围均是{-1,0,1}。

4.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤3为对每张变换图像的中心点提取其一个128维的尺度不变的特征描述向量，该向量包括所描述区域的尺度、所描述区域的主梯度方向和描述子矢量，将所述特征向量按照行序排列，即构成特征向量集合。

5.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤4为使用主元分析方法对特征向量集合进行降维，提取两个以上特征主元向量，将提取到的每个特征主元向量作为特征流形表示。

6.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤5为在下一帧目标临近区域，提取每个特征点生成一个128维的尺度不变的特征描述向量，且下一帧目标临近区域的中心与上一帧图像目标区域的中心一致，长宽和宽度为上一帧图像目标区域的2倍。

7.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤6中包含两种匹配，一种是提取的特征点与当前帧的特征流型进行匹配；另一种是将提取的特征点与当前帧的候选特征点进行匹配。

8.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤7为根据连续两帧的匹配特征点拟合出一个3x3的单应变换矩阵。

9.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤8包括对前一帧为目标顶点所在位置进行单应变换，得到下一帧中目标所在的估计位置。

10.根据权利要求1所述的一种基于局部特征点特征流型的目标跟踪方法，其特征在于，所述步骤9为更新记录跟踪目标的位置，对找到匹配的特征流型进行更新，对在候选特征点集合中出现一定次数以上的特征点，生成对应特征流型并加入特征流型集合，删除特征流型集合中一定次数未能匹配超过一定次数的特征流型。