CN103150737A - 一种适用于空间绳系机器人的实时空间目标特征点跟踪方法 - Google Patents

Abstract

本发明涉及一种适用于空间绳系机器人的实时空间目标特征点跟踪方法，主要由特征点提取算法、特征点匹配算法、消除离散点、精确定位和自适应策略五部分组成。本发明采用改进后的SURF算法提取的特征点更具鲁棒性、稳定性，使得特征点匹配精度高，目标定位精确度高；适用于多尺度图像序列中位置、姿态发生快速变化且结构简单目标的稳定跟踪；对多种挑战性情境具有鲁棒性，跟踪过程中具备短时抗遮挡能力；可实现对多个多类目标的实时检测、跟踪。本发明能适用于多尺度图像序列中位置、姿态发生快速变化、结构简单的空间目标实时鲁棒跟踪方法。

Description

一种适用于空间绳系机器人的实时空间目标特征点跟踪方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，涉及一种适用于空间绳系机器人的实时空间目标特征点跟踪方法。

背景技术

由于视觉传感器具有低成本、被动探测、鲁棒性强等特点，其在运动目标的跟踪方面受到愈来愈多的重视，例如空间绳系机器人利用双目视觉跟踪空间目标，导弹等飞行器利用视觉传感器跟踪空中目标等。

但在视频序列中对空间目标的跟踪是十分复杂的任务，存在着很多挑战，如序列中包含目标旋转、尺度变化、运动模糊以及存在其他相关物体等情况。而且空间目标通常还具有如下特征：结构、纹理特征简单，灰度特征单一，尺度变化较大，快速多自由度运动。

这些已成为计算机视觉研究中的热点问题，而其中的关键是特征点的提取与跟踪技术。常用的跟踪方法大致有相关法和光流法，目前相关跟踪应用较多。它根据实时图像与参考图像之间的相关度函数来计算目标的位置变化，将两幅图像能达到最佳匹配的位置即相关函数的峰值作为跟踪点。该算法对图像质量要求不高，可在低信噪比条件下稳定工作，能适应较复杂的场景结构。针对其运算量大的不足，出现了许多改进算法，如基于塔型结构的匹配跟踪、多子模板匹配、Kalman滤波器跟踪等。

而光流跟踪法是运用目标的运动信息，避免了灰度变化对目标跟踪的影响，因而具有较好的抗噪能力。光流分析可以分为连续光流法和特征光流法。全局光流的计算方法有Horn-Schunck算法、Nagel算法等，得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，从而达到跟踪的目的。特征光流法是通过特征匹配求得特征点处的光流，估计运动目标的位移并进行跟踪。

在摄像机平台不固定的情况或所跟踪目标位姿、大小经常变化的情境下，对指定的目标上提取的特征点进行跟踪基于相邻帧连续信息的特征光流法更加快速有效。待跟踪的特征点可以是由人工标定的，或是算法自动识别、提取视频中感兴趣的运动物体区域后在其表面提取的。

KLT跟踪算法最初由Lucas-Kanade提出，随后Tomasi-Kanade进行了改进，近年来得到了广泛应用。Ajmal S.Mian利用改进的KLT算法对空中运动的飞机进行跟踪；Ben Benfold和Ian Reid结合KLT算法实现了监控视频中对多个运动目标的实时跟踪；国内龚建、刘富强等利用KLT算法计算相邻帧之间匹配点的运动矢量，实现运动车辆检测；刘玉、王敬东等人提出了一种改进的SIFT与KLT相结合的特征点跟踪算法，具有更高的鲁棒性和定位精度。

针对空间目标的跟踪问题，上述KLT算法具有特征点检测精度不高，目标快速运动时匹配精度差导致的跟踪不准确问题以及刘玉、王敬东方法中SIFT算法的检测时间长，缺少特征点自适应更新策略。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种适用于空间绳系机器人的实时空间目标特征点跟踪方法，是提供一种能适用于多尺度图像序列中位置、姿态发生快速变化、结构简单的空间目标实时鲁棒跟踪方法。

技术方案

一种适用于空间绳系机器人的实时空间目标特征点跟踪方法，其特征在于步骤如下：

步骤1：对视频第一帧图像I₁中待跟踪目标T用矩形区域标记，四个顶点分别表示为(x_ul,y_ul），(x_ur,y_ur），(x_dl,y_dl），(x_dr,y_dr）；应用SURF算法对矩形内待跟踪目标进行特征点提取，提取出的特征点簇表示为I_1,I_2,…_,I_n,，其坐标位置分别表示为(x₁,y₁),(x₂,y₂)，…,(x_n,y_n)，随后进行离散点消除；

所述离散点消除方法：对于I_1,I_2,…_,I_n中的每n-1个点计算其中的每个点到其几何中心(x_a,y_a)距离的平均值d_a；求取剩余一点(x_r,y_r)到(x_a,y_a)的距离d_r；并进行如下判断，如果d_l>R*d_a，则令(x_r,y_r)=(x_a,y_a)，否则不做处理；R为距离判定阈值；

步骤2：求取离散点消除后I_1,I_2,…_,I_n各点中x坐标最大和最小的两个x_max,x_min，然后求得各点中y坐标最大和最小的两个y_max,y_min；以(x_max,y_max),(x_max,y_min),(x_min,y_max)和(x_min,y_min)四点作为初始迭代轮廓点代入Greedy Snake算法，从而得到提取出的目标轮廓点簇C_1,C_2,…_,C_n；然后按照步骤1中的离散点消除方法对C_1,C_2,…_,C_n进行离散点消除，随后求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R作为目标的精确模型；

步骤3：对进行过离散点消除后的C_1,C_2,…_,C_n，各点采用金字塔KLT特征点跟踪算法在后续帧中进行跟踪，获取新的特征点C_1n,C_2n，…_,C_nn；然后按照步骤1中的离散点消除方法对C_1,C_2,…_,C_n进行离散点消除，随后求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R_n作为目标的下一个精确模型；跟踪过程中记录当前帧数F_num，每一帧都计算出R_n的面积R_a，中心点坐标(x_c，y_c)距离图像左上角(0,0)的欧氏距离d_c；

步骤4：对于采用金字塔KLT特征点跟踪算法的后续帧中进行自适应策略判断，如果不符合更新要求，则转入步骤1，如果更新生效则自动确定新的目标大致区域，转入步骤1；

所述自适应策略判断步骤如下：

步骤（1）：根据帧数计数器，判断当前帧帧数是否为10的倍数，若是则主动更新策略生效转至步骤（5）执行，若不满足则转至步骤（2）；

步骤（2）：计算每帧中跟踪目标在图像中的轮廓区域面积，若相邻帧之间由特征点簇计算出的目标区域面积变化达到15％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤（3）；

步骤（3）：计算每帧中由特征点簇计算出的目标质心坐标与图像左上角（0,0）坐标之间的欧式距离，若相邻帧之间该距离变化达到10％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤（4）；

步骤（4）：计算每帧中目标上特征点数目，若相邻帧之间该数目变化达到30％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤3；

步骤（5）：以上一帧中精确定位后的目标轮廓为基准，求其上、下、左、右四点形成的矩形，并延该矩形每边中点向左右延伸直至各边长为原边长的1.5倍；获得面积为原矩形面积2.25倍后的新矩形区域，转至步骤1。

所述R=2。

有益效果

本发明提出的一种适用于空间绳系机器人的实时空间目标特征点跟踪方法，主要由特征点提取算法、特征点匹配算法、消除离散点、精确定位和自适应策略五部分组成。与现有技术相比，本发明具有如下有益效果：

1、采用改进后的SURF算法提取的特征点更具鲁棒性、稳定性，使得特征点匹配精度高，目标定位精确度高；

2、适用于多尺度图像序列中位置、姿态发生快速变化且结构简单目标的稳定跟踪；

3、对多种挑战性情境具有鲁棒性，跟踪过程中具备短时抗遮挡能力；

4、可实现对多个多类目标的实时检测、跟踪。

本发明的方法易于实现和应用，主要可以应用于以下几个方面：

1、商业方面可用于视频监控、人体跟踪，图像匹配拼接等；

2、军事上可用于运动目标的自动瞄准，导弹寻的制导时的目标识别等；

3、航空航天中可用于目标跟踪锁定，非合作目标的相对导航，机器人视觉伺服控制等。

附图说明

图1为本发明的算法总流程框图；

图2为本发明多帧跟踪单目标结果示意图：7幅图分别为第8、18、28、38、48、58和68帧；

图3为本发明跟踪目标短时抗遮挡结果示意图；7幅图分别为第490、493、496、499、502、505和508帧；

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明实施例由特征点提取算法、特征点匹配算法、消除离散点、精确定位和自适应策略五部分组成，总流程框图如图1所示。

本发明的方法需要的硬件配置为一般家用电脑配置即可，在此配置水平的硬件上，采用C++语言编程实现本方法。下面对本发明的方法涉及的关键步骤进行逐一详细描述，本发明的方法中的基本步骤相同，具体形式如下所述：

第一步：

视频第一帧图像I₁中待跟踪目标T用矩形区域标记，四个顶点分别表示为(x_ul,y_ul），(x_ur，y_ur），(x_dl,y_dl），(x_dr,y_dr）。应用SURF算法对矩形内待跟踪目标进行特征点提取，提取出的特征点簇表示为I_1,I_2,…_,I_n,，其坐标位置分别表示为(x₁,y₁),(x₂,y₂)，…,(x_n,y_n)，随后进行离散点消除，具体算啊如下：对于I_1,I_2,…_,I_n中的每n-1个点计算其中的每个点到其几何中心(x_a,y_a)距离的平均值d_a；求取剩余一点(x_r,y_r)到(x_a,y_a)的距离d_r；并进行如下判断，如果d_r>R*d_a（R为距离判定阈值，取R2），则令(x_r,y_r)=(x_a,y_a)，否则不做处理。

其中如何对利用SURF算法提取特征点，为本领域公知技术，可参考文献1“BayH,Tuytelaars T,and Gool L V. SURF:Speeded Up Robust Features.The9th EuropeanConference on Computer Vision,Austria,May2006.”和文献2“王永明，王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社，2010。”135-142页，此处不再赘述。

第二步：

求取离散点消除后I_1,I_2,…_,I_n中首先求得各点中x坐标最大和最小的两个x_max,x_min，然后求得各点中y坐标最大和最小的两个y_max,y_min。定义如下四点(x_max,y_max),(x_max,y_min),(x_min,y_max),(x_min,y_min)。以此四点作为初始迭代轮廓点代入Greedy Snake算法，从而得到提取出的目标轮廓点簇C_1,C_2,…_,C_n。然后按照第一步的方法对C_1,C_2,…,C_n进行离散点消除。随后同样地求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R作为目标的精确模型。

其中如何对利用Greedy Snake算法提取目标轮廓点簇，为本领域公知技术，可参考文献3“Williams,D J.,Shah,M.(1992).“A fast algorithm for active contours andcurvature estimation.”Computer Vision，Graphics and Image Processing，January1992，55(1):14－26.”，此处不再赘述。

第三步：

对进行过离散点消除后的C_1,C_2,…_,C_n，各点采用金字塔KLT特征点跟踪算法在后续帧中进行跟踪，获取新的特征点C_1n,C_2n，…_,C_nn。然后同样地按照第一步的方法对C_1,C_2,…_,C_n进行离散点消除。随后同样地求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R_n作为目标的精确模型。跟踪过程中记录当前帧数F_num，每一帧都计算出R_n的面积R_a，中心点坐标(x_c，y_c)距离图像左上角(0,0)的欧氏距离d_c。

其中如何对利用金字塔KLT算法进行特征点跟踪，为本领域公知技术，可参考文献4“Tomasi,C.,Kanade,T.(1991).“Detection and tracking of pointfeatures.”Carnegie Mellon University Technical Report CMU-CS-91-132,April1991.”和文献5“Gary Bradski，Adrian Kaebler著，于仕琪,刘瑞祯译。学习OpenCV中文版。北京：清华大学出版社，2009:362-363。”，此处不再赘述。

第四步：

在采用金字塔KLT特征点跟踪算法的后续帧中进行自适应策略判断，如果不符合更新要求，则转入第三步，如果更新生效则自动确定新的目标大致区域，转入第一步。

其中所述的自适应策略方法具体步骤如下：

步骤1：根据帧数计数器，判断当前帧帧数是否为10的倍数，若是则主动更新策略生效转至步骤5执行，若不满足则转至步骤2；

步骤2：计算每帧中跟踪目标在图像中的轮廓区域面积。若相邻帧之间由特征点簇计算出的目标区域面积变化达到15％，则被动更新策略生效转至步骤5执行，若不满足则转至步骤3；

步骤3：计算每帧中由特征点簇计算出的目标质心坐标与图像左上角（0,0）坐标之间的欧式距离，若相邻帧之间该距离变化达到10％，则被动更新策略生效转至步骤5执行，若不满足则转至步骤4；

步骤4：计算每帧中目标上特征点数目，若相邻帧之间该数目变化达到30％，则被动更新策略生效转至步骤5执行，若不满足则转至第三步；

步骤5：以上一帧中精确定位后的目标轮廓为基准，求其上、下、左、右四点形成的矩形，并延该矩形每边中点向左右延伸直至各边长为原边长的1.5倍。获得面积为原矩形面积2.25倍后的新矩形区域，转至第一步。

利用飞行视频数据库进行大量的仿真实验结果表明：该算法适用于多尺度图像序列中位置、姿态发生快速变化且结构简单飞行器的稳定跟踪。图2示意了算法用于连续多帧跟踪时的目标定位结果。图3示意了连续多帧跟踪过程中跟踪目标受到云层短时干扰时的目标定位结果。

Claims (2)

1.一种适用于空间绳系机器人的实时空间目标特征点跟踪方法，其特征在于步骤如下：

步骤1：对视频第一帧图像I₁中待跟踪目标T用矩形区域标记，四个顶点分别表示为(x_ul,y_ul），(x_ur,y_ur），(x_dl,y_dl），(x_dr,y_dr）；应用SURF算法对矩形内待跟踪目标进行特征点提取，提取出的特征点簇表示为I_1,I_2,…_,I_n,，其坐标位置分别表示为(x₁,y₁),(x₂,y₂)，…,(x_n,y_n)，随后进行离散点消除；

所述离散点消除方法：对于I_1,I_2,…_,I_n中的每n-1个点计算其中的每个点到其几何中心(x_a,y_a)距离的平均值d_a；求取剩余一点(x_r,y_r)到(x_a,y_a)的距离d_r；并进行如下判断，如果d_l>R*d_a，则令(x_r,y_r)=(x_a,y_a)，否则不做处理；R为距离判定阈值；

步骤2：求取离散点消除后I_1,I_2,…_,I_n各点中x坐标最大和最小的两个x_max,x_min，然后求得各点中y坐标最大和最小的两个y_max,y_min；以(x_max,y_max),(x_max,y_min),(x_min,y_max)和(x_min,y_min)四点作为初始迭代轮廓点代入Greedy Snake算法，从而得到提取出的目标轮廓点簇C_1,C_2,…_,C_n；然后按照步骤1中的离散点消除方法对C_1,C_2,…_,C_n进行离散点消除，随后求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R作为目标的精确模型；

步骤3：对进行过离散点消除后的C_1,C_2,…_,C_n，各点采用金字塔KLT特征点跟踪算法在后续帧中进行跟踪，获取新的特征点C_1n,C_2n，…_,C_nn；然后按照步骤1中的离散点消除方法对C_1,C_2,…_,C_n进行离散点消除，随后求取x，y坐标分别为最大、最小时的四个顶点，其形成的矩形R_n作为目标的下一个精确模型；跟踪过程中记录当前帧数F_num，每一帧都计算出R_n的面积R_a，中心点坐标(x_c，y_c)距离图像左上角(0,0)的欧氏距离d_c；

步骤4：对于采用金字塔KLT特征点跟踪算法的后续帧中进行自适应策略判断，如果不符合更新要求，则转入步骤1，如果更新生效则自动确定新的目标大致区域，转入步骤1；

所述自适应策略判断步骤如下：

步骤（1）：根据帧数计数器，判断当前帧帧数是否为10的倍数，若是则主动更新策略生效转至步骤（5）执行，若不满足则转至步骤（2）；

步骤（2）：计算每帧中跟踪目标在图像中的轮廓区域面积，若相邻帧之间由特征点簇计算出的目标区域面积变化达到15％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤（3）；

步骤（3）：计算每帧中由特征点簇计算出的目标质心坐标与图像左上角（0,0）坐标之间的欧式距离，若相邻帧之间该距离变化达到10％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤（4）；

步骤（4）：计算每帧中目标上特征点数目，若相邻帧之间该数目变化达到30％，则被动更新策略生效转至步骤（5）执行，若不满足则转至步骤3；

步骤（5）：以上一帧中精确定位后的目标轮廓为基准，求其上、下、左、右四点形成的矩形，并延该矩形每边中点向左右延伸直至各边长为原边长的1.5倍；获得面积为原矩形面积2.25倍后的新矩形区域，转至步骤1。

2.根据权利要求1所述适用于空间绳系机器人的实时空间目标特征点跟踪方法，其特征在于：所述R=2。

Images