CN104574384A - 一种基于mser和surf特征点匹配的目标丢失再捕获方法 - Google Patents

Abstract

一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，首先在目标图像中确定一个波门，在该波门区域内提取MSER特征区域和SURF特征点；进一步确定特征区域模板和特征点模板；然后利用提取的跟踪目标图像的MSER特征区域和SURF特征点以及特征区域模板和特征点模板判断目标是否跟踪正常，并在跟踪过程中对特征区域模板和特征点模板进行筛选；最后判断目标是否丢失；本方法可以准确判断吊舱目标跟踪过程中因为遮挡造成的目标丢失，并且与合适的预测算法相结合，可以实现目标丢失后的自动捕获。

Description

一种基于MSER和SURF特征点匹配的目标丢失再捕获方法

技术领域

本发明涉及一种目标丢失再捕获方法，特别是一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，在目标跟踪过程中能够准确判断是否正确跟踪，并在跟踪错误时及时退出，同时在目标重新出现后进行自动捕获，属于目标跟踪领域。

背景技术

目标跟踪是光电吊舱的关键功能之一，在目标稳定跟踪前提下，操作人员才能够稳定的观察目标，同时光电吊舱才能够对目标进行激光测距和定位。如果目标跟踪算法在目标丢失后不能准确判断并及时退出，则会输出错误脱靶量，由于通信延迟，错误脱靶量会导致吊舱进入短时不可控状态，不仅会让操作人员再次捕获目标变得困难，严重时会造成激光测距等关键设备损坏，因此，目标跟踪算法能够准确判断目标跟踪准确性，在错误跟踪时及时主动退出，在目标出现时自动捕获，会极大提高光电吊舱操作便利性，并提高系统使用的安全性。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，在跟踪错误时能够及时退出跟踪状态，保持光电吊舱稳定不飞转，在丢失的目标再次出现后，自动捕获目标，减轻操作人员工作量，提高光电吊舱设备的自动化程度。

本发明的技术解决方案是：一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，步骤如下：

(1)锁定目标后，在目标图像中提取用于目标跟踪的跟踪特征，并确定一个波门，在该波门区域内提取极大稳定区域，即MSER特征区域和SURF特征点；

(2)连续跟踪目标N帧，提取N组MSER特征区域和SURF特征点，并将每一组的MSER特征区域和SURF特征点与步骤(1)中的MSER特征区域模板和SURF特征点模板进行匹配，若MSER特征区域模板中的某一个特征区域或SURF特征点模板中的某一个特征点与N组MSER特征区域中对应的特征区域或N组SURF特征点中对应的特征点匹配成功次数大于等于a×N，则该特征区域为特征区域模板，该特征点为特征点模板；否则该特征区域为无效特征区域，该特征点为无效特征点；所述a的取值范围为：0.4≤a≤0.8；所述N的取值范围为：N>＝30；

(3)确定特征区域模板和特征点模板后，每完成一帧跟踪，提取该次跟踪目标图像的MSER特征区域和SURF特征点，并将提取的MSER特征区域和SURF特征点与步骤(2)获取的特征区域模板和特征点模板进行匹配，若成功匹配的特征区域数量和特征点数量之和连续M帧减少，则丢失目标，退出跟踪模式，重新进行搜索，进入步骤(4)；否则，目标跟踪正常，继续进行跟踪，并在跟踪过程中对特征区域模板和特征点模板进行筛选；所述M大于等于5；

(4)连续进行N2帧的预测和搜索，提取每一帧预测位置的MSER特征区域和SURF特征点，并与特征区域模板和特征点模板进行匹配，若N2帧中任意一帧成功匹配，则目标重新出现，自动锁定目标并转入捕获跟踪阶段；否则，搜索失败，所述N2大于等于5。

所述步骤(2)中MSER特征区域匹配成功具体为：若MSER特征区域匹配参数大于等于预设值，则MSER特征区域匹配成功，否则MSER特征区域匹配失败；

所述MSER特征区域匹配参数具体由公式：

$k(M_i,M_j)={\mathrm{\λ}}_1\·\frac{|F_i-F_j|}{F_i}+{\mathrm{\λ}}_2\·\frac{|{\mathrm{NMI}}_i-{\mathrm{NMI}}_j|}{{\mathrm{NMI}}_i}+{\mathrm{\λ}}_3\·\frac{|V_i-V_j|}{V_i}+{\mathrm{\λ}}_4\·|P_i+P_j|$

给出，其中M_i和M_j为两个MSER特征区域的灰度平均值，F_i和F_j为两个MSER特征区域的平均灰度，NMI_i和NMI_j为两个MSER特征区域的归一化转动惯量，V_i和V_j为两个MSER特征区域的像素灰度均方差，P_i和P_j为两个MSER特征区域与波门内图像灰度平均值的关系，所述关系为：若MSER区域大于波门内图像平均灰度，则P＝1，否则P＝-1，λ₁、λ₂、λ₃和λ₄均为系数，且均根据实际成像载荷的不同和使用条件来确定大小。

所述步骤(2)中SURF特征点匹配成功具体为：SURF特征点符合匹配成功判断准则，所述匹配成功判断准则具体由公式：

$0.6\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{2x}\left|\right)\≥\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{3x}\left|\right)$

其中T_1x表示SURF特征点模板的特征向量元素，T_2x为当前帧中与SURF模板特征点最接近SURF特征点的特征向量元素，T_3x为当前帧中与SURF模板特征点次接近SURF特征点的特征向量元素。

所述步骤(3)中在跟踪过程中对特征区域模板和特征点模板进行筛选，包括特征区域模板和特征点模板的增加和删除，

所述特征区域模板和特征点模板的删除具体为：

若连续跟踪N3帧后，某一个特征区域模板和特征点模板成功匹配的次数为0，则删除该特征区域模板和特征点模板；所述N3大于等于3；

所述特征区域模板和特征点模板的增加具体为：

若跟踪过程中，提取的MSER特征区域和SURF特征点不在步骤(1)中MSER特征区域模板和SURF特征点模板中，则利用步骤(2)中的方法对新增的MSER特征区域或SURF特征点进行判断。

所述步骤(4)中每一帧预测位置的MSER特征区域和SURF特征点，与特征区域模板和特征点模板进行匹配的匹配方法具体为：

若SURF特征点匹配成功超过4对，则在匹配成功的SURF特征点中任意选取三对计算预测位置SURF特征点与特征点模板之间的仿射变换关系，并将计算得到的仿射变换关系进行聚类分析，剔除错误的仿射变换关系，求取正确仿射变换关系变换系数的平均值，从而得到准确的仿射变换关系，利用该仿射变换关系对MSER特征模板进行仿射变换，并与预测位置匹配成功的MSER特征区域进行像素灰度相减取绝对值和运算，再对绝对值和进行求平均，若该绝对值小于等于1.2倍的区域内像素平均值的差值绝对值，则预测位置的该MSER特征区域为目标区域，重新捕获目标并提取目标模板时选取目标区域内的MSER特征区域；

若SURF特征点匹配成功小于4对，或所有匹配成功的MSER特征区域对均不符合利用SURF特征点对计算得到的仿射变换关系，则判断匹配成功的SURF特征点与匹配成功的MSER特征区域的位置关系，若预测位置的SURF特征点均包含在MSER特征区域中，则预测位置的该MSER特征区域为目标区域，重新捕获目标并提取目标模板时选取目标区域内的MSER特征区域。

本发明与现有技术相比的有益效果是：

(1)本发明利用了MSER特征区域和SURF特征点特征用于跟踪准确度的判断，两种特征均与跟踪特征不相关，可实现目标丢失准确判断，并可以实现目标丢失后再捕获，有利于提高光电跟踪系统的自动化程度，提高系统的工作效率；

(2)本发明中的MSER特征区域模板和SURF特征点模板具有实时更新的功能，可以在进行跟踪和捕获时实时剔除不符合的特征并加入有用的特征，保证了MSER特征区域模板和SURF特征点模板的动态调整，更能准确地反应目标特征，提高了匹配的精度，进一步提高了跟踪和捕获的准确性；

(3)本发明利用MSER特征区域和SURF特征点给出了跟踪退出机制和跟踪再捕获机制，这两种机制更加符合实际应用，具有很高的准确性。

附图说明

图1为本发明完整流程图。

具体实施方式

下面结合附图，通过具体实施例，对本发明的实施方式进行进一步的详细说明。

如图1所示为本发明的流程图，从图1可知，本发明提供的一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，具体步骤如下：

(1)锁定目标后，在目标图像中提取用于目标跟踪的跟踪特征，并确定一个波门，在该波门区域内提取极大稳定区域，即MSER特征区域和SURF特征点，所述MSER特征区域详见“Herbert Bay，Tinne Tuytelaars and Luc VanGool，《SURF：Speeded up robust features》.In ECCV，2006”，SURF特征点详见“Matas J.，Chum O.，Urban M.,et.al.，《Robust wide baseline stereofrom maximally stable extremal regions》.BMVC，2006”；即为备选的MSER特征区域模板和SURF特征点模板；

(2)连续跟踪目标N帧，提取N组MSER特征区域和SURF特征点，并将每一组的MSER特征区域和SURF特征点与步骤(1)中的MSER特征区域模板和SURF特征点模板进行匹配，若MSER特征区域模板中的某一个特征区域或SURF特征点模板中的某一个特征点与N组MSER特征区域中对应的特征区域或N组SURF特征点中对应的特征点匹配成功次数大于等于a×N，则该特征区域为特征区域模板，该特征点为特征点模板；否则该特征区域为无效特征区域，该特征点为无效特征点；所述a的取值范围为：0.4≤a≤0.8；所述N的取值范围为：N>＝30；

所述MSER特征区域匹配成功具体为：若MSER特征区域匹配参数大于等于预设值，则MSER特征区域匹配成功，否则MSER特征区域匹配失败；

所述MSER特征区域匹配参数具体由公式：

$k(M_i,M_j)={\mathrm{\λ}}_1\·\frac{|F_i-F_j|}{F_i}+{\mathrm{\λ}}_2\·\frac{|{\mathrm{NMI}}_i-{\mathrm{NMI}}_j|}{{\mathrm{NMI}}_i}+{\mathrm{\λ}}_3\·\frac{|V_i-V_j|}{V_i}+{\mathrm{\λ}}_4\·|P_i+P_j|$

给出，其中M_i和M_j为两个MSER特征区域的灰度平均值，F_i和F_j为两个MSER特征区域的平均灰度，NMI_i和NMI_j为两个MSER特征区域的归一化转动惯量，V_i和V_j为两个MSER特征区域的像素灰度均方差，P_i和P_j为两个MSER特征区域与波门内图像灰度平均值的关系，所述关系为：若MSER区域大于波门内图像平均灰度，则P＝1，否则P＝-1，λ₁、λ₂、λ₃和λ₄均为系数，且均根据实际成像载荷的不同和使用条件来确定大小。

所述SURF特征点匹配成功具体为：SURF特征点符合匹配成功判断准则，所述匹配成功判断准则具体由公式：

$0.6\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{2x}\left|\right)\≥\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{3x}\left|\right)$

其中T_1x表示SURF特征点模板的特征向量元素，T_2x为当前帧中与SURF模板特征点最接近SURF特征点的特征向量元素，T_3x为当前帧中与SURF模板特征点次接近SURF特征点的特征向量元素，所述两个特征向量点接近程度由两个特征向量差的绝对值决定，绝对值越小，两个特征向量点越接近，绝对值越大，两个特征向量点越不接近。

(3)确定特征区域模板和特征点模板后，每完成一帧跟踪，提取该次跟踪的MSER特征区域和SURF特征点，并将提取的MSER模板和SURF特征点模板与目标的特征区域模板和特征点模板进行匹配，若成功匹配的特征区域数量和特征点数量之和连续M帧减少，则丢失目标，退出跟踪模式，进入预测模式；否则，目标跟踪正常，继续进行跟踪，并在跟踪过程中对有效特征区域和有效特征点进行筛选；所述M大于等于5；

(4)进入预测模式后，连续进行N2帧的预测和搜索，提取每一帧预测位置的MSER特征区域和SURF特征点，并与特征区域模板和特征点模板进行匹配，若N2帧中任意一帧特征区域和特征点与特征区域模板和特征点模板匹配成功，则目标重新出现，自动锁定目标并转入跟踪阶段；否则，搜索失败，转入人工搜索，所述N2大于等于5。

预测模式中连续进行N2帧的预测和搜索，N2帧中任意一帧特征区域和特征点与特征区域模板和特征点模板匹配成功的判断方法为，如果SURF特征点匹配成功超过4对，则任意选取三对计算预测位置SURF特征点与特征点模板之间的仿射变换关系，至少计算出三个仿射变化关系，并将三种以上仿射变换关系进行聚类分析，剔除错误的仿射变换关系，求取其他仿射变换关系变换系数的平均值，可以得到准确的仿射变换关系。仿射变换关系定义如下：

若某SURF特征模板中的点坐标为(x₁，y₁)，当前帧中与模板中的SURF特征点匹配成功的点坐标为(x，y)，则由仿射变化知其坐标满足如下关系：

$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中a，e为仿射变换的六参数分别代表该点在水平分量和垂直分量上的缩放特征，b，d分别代表该点在水平和垂直方向的旋转特征，c，f分别代表该点在水平和垂直方向的平移特征。

利用该仿射变换关系对MSER特征模板进行仿射变换，并与预测位置匹配成功的MSER特征区域进行像素灰度相减取绝对值和运算，并对绝对值和进行求平均，如果该差值小于等于1.2倍的区域内像素平均值的差值绝对值，则认为预测位置的该MSER特征区域为目标区域，在重新捕获目标并提取目标模板时应包含尽量多的目标内MSER特征区域。

如果没有匹配成功的MSER特征区域对符合由SURF特征点对计算得到的仿射变换关系，或SURF特征点匹配成功小于4对，则判断匹配成功的SURF特征点与匹配成功的MSER特征区域的位置关系，如果预测位置的SURF特征点与包含在MSER特征区域中，则认为该特征点和特征区域匹配成功，并且为目标内区域，在重新捕获目标并提取模板时，应包含尽量多的MSER区域。

利用本发明中的算法进行地面测试，分别模拟无干扰情况下稳定跟踪目标的情况、受到干扰条件下跟踪目标的情况、受到干扰后目标丢失，波门框不再随目标移动的情况和目标重新出现后被自动捕获到，波门框重新锁定目标丢失前的位置，继续跟踪的情况。

同时利用本发明中的算法随无人机飞行过程中目标丢失再捕获得测试过程，分别模拟无干扰情况下目标稳定跟踪的情况，干扰目标出现，导致跟踪错误的情况和算法判断出跟踪错误，自动搜索正确目标，并重新锁定的情况。

从地面测试仿真结果和实际飞行效果看，本算法在目标因为遮挡、外部相似目标干扰所导致的目标跟踪丢失后，能够准确判断目标丢失的情况，并且自动开展目标搜索，在目标重新出现后能够自动捕获目标。在实际飞行试验中，本算法的良好性能有效降低了操作人员的操作难度，提高了设备的智能化程度，提高了观测效率。

Claims (5)

1.一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，其特征在于步骤如下：

(1)锁定目标后，在目标图像中提取用于目标跟踪的跟踪特征，并确定一个波门，在该波门区域内提取极大稳定区域，即MSER特征区域和SURF特征点；

(2)连续跟踪目标N帧，提取N组MSER特征区域和SURF特征点，并将每一组的MSER特征区域和SURF特征点与步骤(1)中的MSER特征区域模板和SURF特征点模板进行匹配，若MSER特征区域模板中的某一个特征区域或SURF特征点模板中的某一个特征点与N组MSER特征区域中对应的特征区域或N组SURF特征点中对应的特征点匹配成功次数大于等于a×N，则该特征区域为特征区域模板，该特征点为特征点模板；否则该特征区域为无效特征区域，该特征点为无效特征点；所述a的取值范围为：0.4≤a≤0.8；所述N的取值范围为：N>＝30；

(3)确定特征区域模板和特征点模板后，每完成一帧跟踪，提取该次跟踪目标图像的MSER特征区域和SURF特征点，并将提取的MSER特征区域和SURF特征点与步骤(2)获取的特征区域模板和特征点模板进行匹配，若成功匹配的特征区域数量和特征点数量之和连续M帧减少，则丢失目标，退出跟踪模式，重新进行搜索，进入步骤(4)；否则，目标跟踪正常，继续进行跟踪，并在跟踪过程中对特征区域模板和特征点模板进行筛选；所述M大于等于5；

(4)连续进行N2帧的预测和搜索，提取每一帧预测位置的MSER特征区域和SURF特征点，并与特征区域模板和特征点模板进行匹配，若N2帧中任意一帧成功匹配，则目标重新出现，自动锁定目标并转入捕获跟踪阶段；否则，搜索失败，所述N2大于等于5。

2.根据权利要求1所述的一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，其特征在于：所述步骤(2)中MSER特征区域匹配成功具体为：若MSER特征区域匹配参数大于等于预设值，则MSER特征区域匹配成功，否则MSER特征区域匹配失败；

所述MSER特征区域匹配参数具体由公式：

$k(M_i,M_j)={\mathrm{\λ}}_1\·\frac{|F_i-F_j|}{F_i}+{\mathrm{\λ}}_2\·\frac{|{\mathrm{NMI}}_i-{\mathrm{NMI}}_j|}{{\mathrm{NMI}}_i}+{\mathrm{\λ}}_3\·\frac{|V_i-V_j|}{V_i}+{\mathrm{\λ}}_4\·|P_i+P_j|$

给出，其中M_i和M_j为两个MSER特征区域的灰度平均值，F_i和F_j为两个MSER特征区域的平均灰度，NMI_i和NMI_j为两个MSER特征区域的归一化转动惯量，V_i和V_j为两个MSER特征区域的像素灰度均方差，P_i和P_j为两个MSER特征区域与波门内图像灰度平均值的关系，所述关系为：若MSER区域大于波门内图像平均灰度，则P＝1，否则P＝-1，λ₁、λ₂、λ₃和λ₄均为系数，且均根据实际成像载荷的不同和使用条件来确定大小。

3.根据权利要求1所述的一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，其特征在于：所述步骤(2)中SURF特征点匹配成功具体为：SURF特征点符合匹配成功判断准则，所述匹配成功判断准则具体由公式：

$0.6\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{2x}\left|\right)\≥\underset{x=1}{\overset{128}{\mathrm{\Σ}}}\left(\right|T_{1x}-T_{3x}\left|\right)$

其中T_1x表示SURF特征点模板的特征向量元素，T_2x为当前帧中与SURF模板特征点最接近SURF特征点的特征向量元素，T_3x为当前帧中与SURF模板特征点次接近SURF特征点的特征向量元素。

4.根据权利要求1所述的一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，其特征在于：所述步骤(3)中在跟踪过程中对特征区域模板和特征点模板进行筛选，包括特征区域模板和特征点模板的增加和删除，

所述特征区域模板和特征点模板的删除具体为：

若连续跟踪N3帧后，某一个特征区域模板和特征点模板成功匹配的次数为0，则删除该特征区域模板和特征点模板；所述N3大于等于3；

所述特征区域模板和特征点模板的增加具体为：

若跟踪过程中，提取的MSER特征区域和SURF特征点不在步骤(1)中MSER特征区域模板和SURF特征点模板中，则利用步骤(2)中的方法对新增的MSER特征区域或SURF特征点进行判断。

5.所述权利要求1所述的一种基于MSER和SURF特征点匹配的目标丢失再捕获方法，其特征在于：所述步骤(4)中每一帧预测位置的MSER特征区域和SURF特征点，与特征区域模板和特征点模板进行匹配的匹配方法具体为：

若SURF特征点匹配成功超过4对，则在匹配成功的SURF特征点中任意选取三对计算预测位置SURF特征点与特征点模板之间的仿射变换关系，并将计算得到的仿射变换关系进行聚类分析，剔除错误的仿射变换关系，求取正确仿射变换关系变换系数的平均值，从而得到准确的仿射变换关系，利用该仿射变换关系对MSER特征模板进行仿射变换，并与预测位置匹配成功的MSER特征区域进行像素灰度相减取绝对值和运算，再对绝对值和进行求平均，若该绝对值小于等于1.2倍的区域内像素平均值的差值绝对值，则预测位置的该MSER特征区域为目标区域，重新捕获目标并提取目标模板时选取目标区域内的MSER特征区域；

若SURF特征点匹配成功小于4对，或所有匹配成功的MSER特征区域对均不符合利用SURF特征点对计算得到的仿射变换关系，则判断匹配成功的SURF特征点与匹配成功的MSER特征区域的位置关系，若预测位置的SURF特征点均包含在MSER特征区域中，则预测位置的该MSER特征区域为目标区域，重新捕获目标并提取目标模板时选取目标区域内的MSER特征区域。