CN102819845A - 一种混合特征的跟踪方法和装置 - Google Patents

Abstract

本发明公开了一种混合特征的跟踪方法，根据SIFT算法对关键帧图像进行特征点提取并保存；KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪；本发明同时还公开了一种混合特征的跟踪装置，通过本发明的方案，可以实现实时稳定的跟踪，能够用于虚拟演播室，虚拟体育等摄像机跟踪领域。

Description

一种混合特征的跟踪方法和装置

技术领域

本发明涉及计算机视觉技术，尤其涉及一种混合特征的跟踪方法和装置。

背景技术

计算机视觉技术中，摄像机跟踪的稳定性和实时性是最具挑战性的问题。一般来说整个跟踪系统可以分为匹配式和跟踪式两类。匹配式的跟踪流程包括：特征点提取、特征点匹配以及摄像机姿态计算三个部分；跟踪式的的跟踪流程则包括：特征点提取、特征点跟踪及摄像机姿态计算三部分。

匹配式方案中David Lowe于2004年提出的尺度不变特征变换(SIFT)算法为典型代表。SIFT算法要求首先拍摄一幅图像作为关键帧，利用DoG算法从关键帧上提取一定数量的特征点，然后以Lowe提出的一种制作描述符的方法(称为SIFT描述符)为每个特征点都制作描述符，同时保存这些特征点以及对应的描述符在后续的匹配中使用。当摄像机运动后采集到当前帧图像，在当前帧图像上利用DoG算法提取特征点，同样计算SIFT描述符。随后将这些特征点的描述符与保存的关键帧的特征点描述符进行比较，完成匹配工作。匹配完成后利用随机抽样一致性(RANSAC，RANdom SAmple Consensus)方法剔除误匹配的特征点，利用剩下的正确匹配的特征点计算单应矩阵，从而恢复摄像机姿态。

跟踪式方案以基于光流计算的KLT(Kanade-Lucas-Tomasi Feature Tracker)跟踪算法为代表。首先，与匹配式方案相同，需要拍摄一幅图像作为关键帧，并从关键帧上提取一定数量的特征点，但不需要建立特征点的描述符。当摄像机运动后采集到当前帧图像，KLT跟踪算法计算关键帧上的特征点在当前帧图像上的位置。随后利用RANSAC方法剔除计算失败的点。利用特征点在关键帧和当前帧的坐标计算单应矩阵，恢复摄像机三维姿态，同时保存当前帧图像上特征点的位置，作为下一帧图像的输入。

上述SIFT算法能够得到稳定的匹配点，然而运行效率较低，难以在实时系统中应用，而KLT跟踪算法虽然能够快速运算，但是稳定性不能保证，特别是在跟踪丢失时，无法自动找回特征点，在自然场景中无法保证跟踪的稳定性。

发明内容

有鉴于此，本发明的主要目的在于提供一种混合特征的跟踪方法和装置，在保持跟踪稳定性的同时，显著提高跟踪的效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供的一种混合特征的跟踪方法，该跟踪方法包括：

根据SIFT算法对关键帧图像进行特征点提取并保存；

KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；

SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；

KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪。

上述方案中，所述通知SIFT算法线程为：将单应矩阵通过全局变量传递给SIFT算法线程，并通过修改预先设置的SIFT算法线程的启动标志位，通知SIFT算法线程进行特征点提取和匹配。

上述方案中，该方法进一步包括：在获得当前帧图像的特征点之后，所述当前帧图像的特征点与保存的关键帧图像的特征点为匹配点对，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点；

所述改进的误匹配点剔除方法为：将随机选择匹配点替换为根据匹配点对的匹配分数由高到低选择匹配点对的传统RANSAC方法。

上述方案中，所述检测当前帧图像的特征点数量是否足够用于下一次跟踪为：检测当前帧图像的特征点数量是否小于设置的阈值，所述阈值是根据下一次计算单应矩阵时所需的最少特征点个数进行设置的。

上述方案中，该方法进一步包括：所述KLT跟踪算法线程对当前帧图像的特征点进行卡尔曼滤波。

上述方案中，该方法进一步包括：在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程。

上述方案中，SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程，为：SIFT算法线程检查启动标志位是否被KLT跟踪算法线程修改，在被KLT跟踪算法线程修改时，接收KLT跟踪算法线程发送的单应矩阵；SIFT算法线程读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪算法线程，将接收到的单应矩阵也回传给KLT跟踪算法线程。

上述方案中，该方法进一步包括：在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点。

本发明提供的一种混合特征的跟踪装置，该装置包括：关键帧图像特征点提取单元、KLT跟踪算法线程单元、SIFT算法线程单元；其中，

所述关键帧图像特征点提取单元，用于根据SIFT算法对关键帧图像进行特征点提取并保存；

所述KLT跟踪算法线程单元，用于根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程单元；还用于将收到的SIFT算法线程单元返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪；

所述SIFT算法线程单元，用于根据KLT跟踪算法线程单元的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程单元。

上述方案中，所述KLT跟踪算法线程单元，进一步用于在获得当前帧图像的特征点之后，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点。

上述方案中，所述KLT跟踪算法线程单元，还用于对当前帧图像的特征点进行卡尔曼滤波。

上述方案中，所述KLT跟踪算法线程单元，还用于在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程单元。

上述方案中，所述SIFT算法线程单元，具体用于检查启动标志位是否被修改，在被修改时，接收KLT跟踪算法线程单元发送的单应矩阵；读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪线程单元，将接收到的单应矩阵也回传给KLT跟踪算法线程单元。

上述方案中，所述SIFT算法线程单元，进一步用于在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点。

本发明提供了一种混合特征的跟踪方法和装置，根据SIFT算法对关键帧图像进行特征点提取并保存；KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪；如此，结合了SIFT算法匹配准确方面的优势以及KLT跟踪算法运行速度快的优点，进一步提高了数据融合和跟踪的效率，可以实现实时稳定的跟踪，能够用于虚拟演播室，虚拟体育等摄像机跟踪领域。

附图说明

图1为本发明实现一种混合特征的跟踪方法的流程示意图；

图2为本发明实现一种混合特征的跟踪装置的结构示意图。

具体实施方式

本发明的基本思想是：根据SIFT算法对关键帧图像进行特征点提取并保存；KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪。

下面通过附图及具体实施例对本发明做进一步的详细说明。

本发明实现一种混合特征的跟踪方法，如图1所示，该方法包括以下几个步骤：

步骤101：根据SIFT算法对关键帧图像进行特征点提取并保存；

具体的，拍摄自然场景的一幅图像，作为关键帧图像并保存，根据SIFT算法对所述关键帧图像进行特征点提取，将提取到的关键帧特征点进行保存。

步骤102：KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；

具体的，至少启动两个线程分别执行SIFT算法以及KLT跟踪算法，在开始跟踪时，SIFT算法线程按照SIFT算法提取第一帧图像的特征点，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的所有特征点保存并传送给KLT跟踪线程，SIFT算法线程进入空闲状态；从第二帧图像开始，KLT跟踪算法线程根据KLT跟踪算法计算收到的特征点在当前帧图像上的位置，获得当前帧图像的特征点，所述KLT跟踪算法线程利用当前帧图像的特征点计算当前帧图像相对于关键帧图像之间的单应矩阵H_n，计算摄像机姿态R_n和T_n，在单应矩阵H_n计算成功时，检测当前帧图像的特征点数量是否小于预先设置的阈值，当小于时，通知SIFT算法线程。

本步骤还包括：在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点，得到正确匹配的特征点，将正确匹配的特征点保存并传送给KLT跟踪线程。

本步骤进一步包括：在获得当前帧图像的特征点之后，所述当前帧图像的特征点与保存的关键帧图像的特征点为匹配点对，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点，所述KLT跟踪算法线程利用剩下的特征点计算当前帧图像相对于关键帧图像之间的单应矩阵H_n。

本步骤中所述预先设置的阈值是根据下一次计算单应矩阵H_n时所需的最少特征点个数进行设置的，本实施例中取40。

所述通知SIFT算法线程一般是将单应矩阵H_n通过全局变量传递给SIFT算法线程，并通过修改预先设置的SIFT算法线程的启动标志位，通知SIFT算法线程进行特征点提取和匹配。

本步骤进一步包括：所述KLT跟踪算法线程对当前帧图像的特征点进行卡尔曼滤波，即：假设当前帧图像的特征点有n个，用(u_i，v_i)表示每个特征点在当前帧图像上的坐标，下面以一个特征点为例，因此去掉上面的下标i。定义状态变量x如式(1)所示：

x＝(u  v  v_u  v_v )^T(1)

其中，u，v分别表示该特征点在当前帧图像上的坐标；v_u，v_v分别表示沿u和v方向该特征点的速度；所述u、v的初始化值由SIFT算法进行特征点提取提供，v_u、v_v的初始化值为0，令状态转移矩阵A如式(2)所示：

$A=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]---\left(2\right)$

初始化P为4*4的单位矩阵，过程噪声协方差矩阵Q和观测噪声协方差矩阵R分别如式(3)、(4)所示：

$Q=\left[\begin{array}{cccc}0.5& & & \\ & 0.5& & \\ & & 0.1& \\ & & & 0.1\end{array}\right]---\left(3\right)$

$R=\left[\begin{array}{cc}0.1& \\ & 0.1\end{array}\right]---\left(4\right)$

设置观察矩阵H为2*2的单位矩阵，利用上述(1)、(2)、(3)、(4)式，进入卡尔曼滤波预测阶段，如式(5)所示：

x＝A·x

P＝A·P·A^T+Q    (5)

之后进入卡尔曼滤波更新阶段，如式(6)所示：

K＝P·H^T·(H·P·H^T+R)^-1

x＝x+K·(z-H·x)

P＝(I-K·H)·P    (6)

其中z为经卡尔曼滤波后的当前帧图像的特征点坐标；在预测更新结束后，开始下一次的卡尔曼滤波。

本步骤进一步包括：在单应矩阵计算失败时，将单应矩阵H_n置为单位矩阵，并通知SIFT算法线程。

步骤103：SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；

具体的，SIFT算法线程检查启动标志位是否被KLT跟踪算法线程修改，在被KLT跟踪算法线程修改时，接收KLT跟踪算法线程发送的单应矩阵H_n，赋值为H_t，该单应矩阵H_t用于回传给KLT跟踪线程以投影特征点；SIFT算法线程读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪算法线程，将接收到的单应矩阵H_t也回传给KLT跟踪算法线程，完成上述操作后，向KLT跟踪线程发送完成通知，复原SIFT算法线程的标志位，等待下一次KLT跟踪算法线程的通知。

本步骤进一步包括：在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点，得到正确匹配的特征点，将正确匹配的特征点保存并传送给KLT跟踪算法线程。

这里，所述当前帧图像的采集由KLT跟踪算法线程完成，为了使SIFT算法的线程可以读取采集的图像帧，KLT跟踪算法线程将存储采集的当前帧图像的数组设置为全局变量，使SIFT算法的线程可以读取。

步骤104：KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪。

具体的，KLT跟踪算法线程检查是否有从SIFT算法线程返回的特征点、单应矩阵H_t及发送完成通知，若有，由式(7)合成新的单应矩阵H，并将H作用于SIFT算法线程返回的特征点(u_i v_i 1)^T，如式(8)所示，获得所有特征点(u_i v_i 1)^T在当前帧图像所处的位置(u′_iv′_i1)^T。

$H=H_n\·H_t^{-1}---\left(7\right)$

$\left(\begin{array}{c}{u^{\′}}_i\\ {v^{\′}}_i\\ 1\end{array}\right)=H\·\left(\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right)---\left(8\right)$

KLT跟踪算法线程将获得的SIFT算法线程返回的所有特征点在当前帧图像所处的位置(u′_iv′_i1)^T，与自身在当前帧图像跟踪的特征点融合，作为下一轮跟踪的特征点，重新回到步骤102，开始下一轮跟踪。

所述与自身在当前帧图像跟踪的特征点融合，一般是：在SIFT算法线程返回的所有特征点与自身在当前帧图像跟踪的特征点中，查找与关键帧图像同一特征点匹配的所有特征点，计算与关键帧图像同一特征点匹配的所有特征点的坐标的平均值，将所述坐标的平均值作为当前帧图像与关键帧图像特征点匹配的特征点坐标。

上述方案中，所述改进的误匹配点剔除方法是在传统的RANSAC方法基础上进行改进的，传统的RANSAC方法中，由于是随机选择匹配点对，收敛到最优值的时间无法控制，影响跟踪的效率，本发明方法中的改进的误匹配点剔除方法是根据匹配点对的匹配分数选择匹配点对，匹配分数高的匹配点对匹配正确的可能性大，因此可以提高达到最优值的效率。

所述传统的RANSAC方法包括：

A1、在所有匹配点对中随机选择一组匹配点对，如选择大于等于5个匹配点对，计算单应矩阵；

A2、利用所述单应矩阵将剩余的匹配点对投影到当前帧图像；

A3、在当前帧图像上统计在一定范围内的特征点的个数m，所述一定范围可以取1.5个像素；

A4、若特征点的个数m小于设定的阈值，说明随机选择的一组特征点有错误；重新执行步骤A1；否则，记录步骤A1中选择的一组匹配点对及特征点的个数m，执行A5；这里，所述设定的阈值可以设定为所有匹配点对中特征点数的30％；

A5、按照设定的次数重复步骤A1到A4，选择对应m值最大的一组匹配点对作为最优值保留，即正确匹配的特征点，其余为误匹配的特征点。

所述改进的误匹配点剔除方法包括：

B1、统计所有匹配点对的匹配分数，按照匹配分数从高到低的顺序选择一组匹配点对，如选择大于等于5个匹配点对，计算单应矩阵；

所述匹配分数的获得为SIFT算法中将提取到的特征点与保存的关键帧图像的特征点进行匹配得到的匹配程度值；

B2、利用所述单应矩阵将剩余的匹配点对投影到当前帧图像；

B3、在当前帧图像上统计在一定范围内的特征点的个数m，所述一定范围可以取1.5个像素；

B4、若特征点的个数m小于设定的阈值，说明选择的一组匹配点对有错误，重新回到步骤B1；否则，记录下选择的一组匹配点对及特征点的个数m，执行步骤B5，这里，所述设定的阈值可以设定为所有匹配点对中特征点数的30％；

B5、按照设定的次数重复步骤B1到B4，选择对应m值最大的一组匹配点对作为最优值保留，即正确匹配的特征点，其余为误匹配的特征点。

为了实现上述方法，本发明还提供一种混合特征的跟踪装置，如图2所示，该装置包括：关键帧图像特征点提取单元21、KLT跟踪算法线程单元22、SIFT算法线程单元23；其中，

所述关键帧图像特征点提取单元21，用于根据SIFT算法对关键帧图像进行特征点提取并保存；

所述KLT跟踪算法线程单元22，用于根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程单元23；还用于将收到的SIFT算法线程单元23返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪；

所述SIFT算法线程单元23，用于根据KLT跟踪算法线程单元22的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程单元22。

所述KLT跟踪算法线程单元22，进一步用于在获得当前帧图像的特征点之后，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点。

所述KLT跟踪算法线程单元22，还用于对当前帧图像的特征点进行卡尔曼滤波。

所述KLT跟踪算法线程单元22，还用于在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程单元23。

所述SIFT算法线程单元23，具体用于检查启动标志位是否被修改，在被修改时，接收KLT跟踪算法线程单元22发送的单应矩阵；读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪算法线程单元22，将接收到的单应矩阵也回传给KLT跟踪算法线程单元22。

所述SIFT算法线程单元23，进一步用于在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种混合特征的跟踪方法，其特征在于，该跟踪方法包括：

根据尺度不变特征变换(SIFT)算法对关键帧图像进行特征点提取并保存；

KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；

SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；

KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪。

2.根据权利要求1所述的跟踪方法，其特征在于，所述通知SIFT算法线程为：将单应矩阵通过全局变量传递给SIFT算法线程，并通过修改预先设置的SIFT算法线程的启动标志位，通知SIFT算法线程进行特征点提取和匹配。

3.根据权利要求1所述的跟踪方法，其特征在于，该方法进一步包括：在获得当前帧图像的特征点之后，所述当前帧图像的特征点与保存的关键帧图像的特征点为匹配点对，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点；

所述改进的误匹配点剔除方法为：将随机选择匹配点替换为根据匹配点对的匹配分数由高到低选择匹配点对的传统随机抽样一致性(RANSAC)方法。

4.根据权利要求1所述的跟踪方法，其特征在于，所述检测当前帧图像的特征点数量是否足够用于下一次跟踪为：检测当前帧图像的特征点数量是否小于设置的阈值，所述阈值是根据下一次计算单应矩阵时所需的最少特征点个数进行设置的。

5.根据权利要求1所述的跟踪方法，其特征在于，该方法进一步包括：所述KLT跟踪算法线程对当前帧图像的特征点进行卡尔曼滤波。

6.根据权利要求1所述的跟踪方法，其特征在于，该方法进一步包括：在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程。

7.根据权利要求2至6任一项所述的跟踪方法，其特征在于，SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程，为：SIFT算法线程检查启动标志位是否被KLT跟踪算法线程修改，在被KLT跟踪算法线程修改时，接收KLT跟踪算法线程发送的单应矩阵；SIFT算法线程读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪算法线程，将接收到的单应矩阵也回传给KLT跟踪算法线程。

8.根据权利要求7所述的跟踪方法，其特征在于，该方法进一步包括：在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点。

9.一种混合特征的跟踪装置，其特征在于，该装置包括：关键帧图像特征点提取单元、KLT跟踪算法线程单元、SIFT算法线程单元；其中，

所述关键帧图像特征点提取单元，用于根据SIFT算法对关键帧图像进行特征点提取并保存；

所述KLT跟踪算法线程单元，用于根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程单元；还用于将收到的SIFT算法线程单元返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪；

所述SIFT算法线程单元，用于根据KLT跟踪算法线程单元的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程单元。

10.根据权利要求9所述的跟踪装置，其特征在于，所述KLT跟踪算法线程单元，进一步用于在获得当前帧图像的特征点之后，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点。

11.根据权利要求9所述的跟踪装置，其特征在于，所述KLT跟踪算法线程单元，还用于对当前帧图像的特征点进行卡尔曼滤波。

12.根据权利要求9所述的跟踪装置，其特征在于，所述KLT跟踪算法线程单元，还用于在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程单元。

13.根据权利要求9至12任一项所述的跟踪装置，其特征在于，所述SIFT算法线程单元，具体用于检查启动标志位是否被修改，在被修改时，接收KLT跟踪算法线程单元发送的单应矩阵；读取当前帧图像，对当前帧图像用SIFT算法进行特征点提取，对所有提取到的特征点建立SIFT描述符，并与保存的关键帧图像的特征点进行匹配，得到所有匹配点对，将匹配后的特征点保存并回传给KLT跟踪线程单元，将接收到的单应矩阵也回传给KLT跟踪算法线程单元。

14.根据权利要求13所述的跟踪装置，其特征在于，所述SIFT算法线程单元，进一步用于在得到所有匹配点对之后，对所有匹配点对采用改进的误匹配点剔除方法去除误匹配的特征点。

Images