CN108257155A - 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 - Google Patents

Abstract

本发明公开了一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法。首先对待处理图像进行去噪、增强等预处理；然后用GMS算法对相邻两帧图像进行特征点匹配，进一步对这些匹配特征点进行广义Hough变换，求出对累加器峰值点有贡献的特征点作为基础特征点；利用这些基础特征点求出相邻两帧特征点的单应性映射矩阵，最后利用单应性映射矩阵计算前一帧跟踪点映射到当前帧的一个亚像素精度的特征点作为跟踪点。本发明求取的跟踪点是利用目标上的多个局部匹配特征点映射出的一个虚拟的全局特征点，不要求目标一直存在稳定、明显的特征，对目标的平移、尺度、光照、模糊、姿态、自遮挡、甚至目标部分区域离开视场等变化都具有较高的鲁棒性。

Description

一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法

技术领域

本发明属于图像处理、计算机视觉和目标跟踪领域，特别涉及一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法，其为结合GMS算法和广义Hough变换及单应性矩阵映射的局部与全局耦合的扩展目标稳定跟踪点提取方法。

背景技术

在成像跟踪系统中，为了提高目标跟踪的稳定性与精度，一般采用较小的视场，导致目标在视场中所占面积达到1/3以上，甚至可能出现超出视场的扩展形态。扩展目标在运动过程中具有姿态变化明显以及部分区域离开视场的情况。同时，大气湍流、系统抖动会造成目标出现平移、模糊问题，此外，由于姿态变化引起的局部遮挡也会影响跟踪的稳定性。选取鲁棒的特征以提取扩展目标的稳定跟踪点，是这类目标跟踪面临的一个难点。

由于扩展目标含有丰富的特征，现有的方法大都是基于特征的跟踪。如：基于点特征的跟踪([1]樊志华,王春鸿,吴明军.基于几何特征点的扩展目标跟踪方法[J].光电工程,2009,36(10):12-15.)、基于直线边缘特征的跟踪([2]钟权,周进,吴钦章,et al.基于Hough变换和边缘灰度直方图的直线跟踪算法[J].光电工程,2014,41(3):89-94.)、基于区域特征的跟踪([3]张建伟.基于区域特征匹配的扩展目标高精度跟踪[J].激光与光电子学进展,2015,52(5):79-86.)等。这些方法在目标一直存在明显且不变的特征时，可以达到稳定跟踪的效果，但是当目标发生局部遮挡、部分区域离开视场或因姿态变化引起严重旋转而导致所选取的特征不再明显甚至不可见时，会出现抖动和漂移甚至跟踪失效的情况。同时，光照变化、尺度变化、模糊等也有可能引起原有的跟踪特征点失效。针对这些情况，有研究者提出了采用广义Hough变换([4]Ballard D H.Generalizing the Hough transformto detect arbitrary shapes[J].Pattern Recognition,1981,13(2):111-122.)提取特征点跟踪扩展目标([5]Hu J,Peng X.High precision localization for profiledextended object based on GHT[J].Optik-International Journal for Light andElectron Optics,2014,125(3):1297-1302.)，在目标部分区域离开视场时，该方法依然可以锁定原跟踪点的位置，但是当目标发生尺度和姿态变化、以及外部轮廓变化大时，跟踪点会发生漂移。因此，迫切需要研究新的方法以适应扩展目标跟踪的工程应用需求。

发明内容

本发明为了克服现有技术的不足，提供了一种基于GMS算法([6]Bian J W,Lin WY,Matsushita Y,et al.Gms:Grid-based motion statistics for fast,ultra-robustfeature correspondence[C]//2017IEEE Conference on Computer Vision and PatternRecognition(CVPR).IEEE,2017:2828-2837.)和广义Hough变换的扩展目标的稳定跟踪点提取方法，实现了同时对光照变化、尺度变化、模糊、平面旋转、一定程度的三维旋转、局部遮挡、目标部分区域离开视场条件下的扩展目标的稳定跟踪。

为了实现上述目的，本发明提供一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法，包括以下步骤：

步骤一：图像预处理，采用高斯平滑滤波去噪，并进行对比度增强，得到滤波后的增强图像；

步骤二：对步骤一中得到的相邻两帧图像利用GMS算法进行处理，得到匹配特征点集合；

步骤三：对步骤二中得到的匹配特征点进行广义Hough变换，求出累加器的峰值点坐标；

步骤四：求出对步骤三中得到的累加器峰值点有贡献的匹配特征

点集合；

步骤五：利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵，求出前一帧跟踪点映射到当前帧的亚像素精度的特征点，该特征点为当前帧的跟踪点。

步骤二中利用GMS算法求取匹配特征点集合具体包括如下步骤：

步骤21：输入第t-1和第t两帧相邻图像，利用ORB特征匹配算法对图像进行初始特征匹配；

步骤22：对图像进行网格的分块，分成G＝20×20部分；

步骤23：从第t-1帧图像的第一个网格开始，分别与第t帧图像的每个网格进行比较，计算匹配的特征点数目，找出匹配特征点数目最多的网格对，根据式(11)和(12)，分别计算这个单元对的匹配分数S_ij和阈值T_i：

其中，是单元对{i^k,j^k}的匹配特征点数目，K＝9表示单元对周围的9单元网格，α＝6是由实验测出的经验值，n_i是图像总的特征点数目；

步骤24：比较S_ij和T_i，若S_ij>T_i，则该网格对中的匹配为正确的特征点匹配；

步骤25：将网格沿x和y方向移动半格，重复步骤23-24，继续进行正确特征点匹配的筛选。

步骤三中对匹配的特征点进行广义Hough变换，求取累加器的峰值点具体包括如下步骤：

步骤31：利用GMS算法提取出的第t-1帧图像特征点与参考点建立参考表R-table，矢量关系根据公式(13)计算，参考点(a,b)为第t-1帧图像提取出来的跟踪点，若第t-1帧图像为第一帧，

参考点为自动选择或鼠标手动选择的点；

其中，点(x₁,y₁)为所述第t-1帧图像的匹配特征点，点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系，匹配特征点对的个数对应R-table的行数；

步骤32：利用第t帧图像的匹配特征点搜索所述步骤31建立的R-table中对应的矢量关系，根据公式(14)计算出候选点的位置；

其中，点(x₂,y₂)为所述第t帧图像的匹配特征点，点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系，点(a_r,b_r)为所述累加器的候选参考点位置；

步骤33：以候选参考点位置坐标建立累加器，在所述步骤32得到的候选参考点位置处的累加器加1，求出累加器的峰值(ar,br)。

步骤四中求出对所述步骤三中的累加器峰值点有贡献的匹配特征点集合的具体步骤如下：

步骤41：利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤31建立的R-table对应的矢量关系，计算候选点的位置(a_r,b_r)，若(a_r,b_r)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5，则保留该匹配特征点对；

步骤42：重复所述步骤41，得出最终的对累加器峰值有贡献的匹配特征点集合。

步骤五中对所述步骤四求出的匹配特征点集合计算相邻两帧图像匹配特征点的单应性映射矩阵的具体步骤如下：

步骤51：对于相邻两帧每组对应的匹配特征点的齐次坐标形式p＝(x,y,1)^T和q＝(u,v,1)^T，代入公式(15)，可得到公式(16)所示的方程：

其中，H为单应性映射矩阵；

步骤52：对所有的匹配特征点，都可以得到所述公式(16)所示的方程，合并所有方程可得到方程：

其中：

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ h₃₃] (19)

步骤53：对矩阵A^TA进行SVD分解，求出的最小特征值对应的特征向量h，利用h₃₃对h进行归一化处理，得到最终的单应性映射矩阵H；

步骤54：利用公式(20)计算下一帧的跟踪点坐标：

x'＝Hx (20)

其中，x＝(x₁,y₁,1)^T为第t-1帧图像的跟踪点坐标的齐次坐标形式，若第t-1帧图像为第一帧，则x为所述步骤三中选取的参考点O(a,b)，H为单应性映射矩阵，x′＝(x₂,y₂,1)^T为第t帧图像跟踪点的齐次坐标形式，特征点(x₂,y₂)即为第t帧的亚像素精度跟踪点。

本发明与现有技术相比的优点在于：

(1)本发明提取出来的跟踪点是由目标上多个匹配特征点映射出来的一个特征点，对目标的形状没有任何的限制，不需要一直存在明显且不变的特征，提高了适应性；

(2)本发明利用目标上大量的特征点进行全局映射，解决了局部光照变化、模糊、遮挡等带来的传统局部跟踪方法容易失效的问题。

(3)本发明在目标的部分区域离开视场时依然能保持跟踪点的相对位置固定；

(4)本发明利用GMS算法的旋转和尺度不变性，将其应用于扩展目标的跟踪中，解决了扩展目标跟踪过程中存在的旋转和尺度变化问题，保证了跟踪精度；

(5)本发明通过GMS算法和单应性矩阵的结合，解决了扩展目标跟踪过程中存在的姿态变化问题，能够一直锁定目标上的相应跟踪点，不受目标三维姿态变化的影响，并且得到了亚像素精度的跟踪点，进一步提高了跟踪精度，减小了跟踪漂移和抖动带来的误差。

附图说明

图1为本发明方法实现流程图；

图2为本发明对两帧图像利用ORB特征匹配处理的效果图；

图3为本发明对两帧图像利用GMS算法处理的效果图；

图4为本发明所用序列的第1帧图像进行跟踪定位的结果；

图5为本发明所用序列的第105帧图像进行跟踪定位的结果；

图6为本发明所用序列的第295帧图像进行跟踪定位的结果；

图7为本发明所用序列的第350帧图像进行跟踪定位的结果；

图8为本发明对350帧的图像序列进行跟踪定位得到的X方向跟踪定位结果与真值的对比；

图9为本发明对350帧的图像序列进行跟踪定位得到的Y方向跟踪定位结果与真值的对比；

图10为本发明对350帧的图像序列进行跟踪定位得到的X方向误差曲线；

图11为本发明对350帧的图像序列进行跟踪定位得到的Y方向误差曲线；

图12为本发明对一组存在自遮挡的图像序列跟踪过程中发生自遮挡前后6帧的跟踪定位结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供的基于GMS算法和广义Hough变换及单应性映射矩阵的扩展目标稳定跟踪点提取方法适用于成像设备对视场中的扩展目标进行跟踪，尤其是对存在目标部分区域离开视场和发生尺度、姿态变化的扩展目标进行跟踪。

如图1所示，本发明提供一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法的具体步骤包括：

步骤一：图像预处理，采用高斯平滑滤波去噪，并进行对比度增强，得到滤波后的增强图像。

步骤二：对步骤一中得到的相邻两帧图像利用GMS算法进行处理，得到匹配特征点集合。

实验发现，经典的特征点匹配算法如SIFT、SURF和ORB的匹配结果存在大量的误匹配，难以得到匹配正确率高的匹配结果，这不利于后续的单应性映射矩阵求解。GMS算法是一种新提出的特征匹配算法，它可以实现高效率、高数目的特征匹配，本发明的GMS算法处理过程如下：

(1)输入第t-1和第t两帧相邻图像，利用ORB特征匹配算法对图像进行初始特征匹配；

(2)对图像进行网格的分块，分成G＝20×20个部分；

(3)从第t-1帧图像的第一个网格开始，分别与第t帧图像的每个网格进行比较，计算匹配的特征点数目，找出匹配特征点数目最多的网格对，根据公式(21)和(22)，分别计算这个单元对的匹配分数S_ij和阈值T_i：

其中，是单元对{i^k,j^k}的匹配特征点数目，K＝9表示单元对周围的9单元网格，α＝6是由实验测出的经验值，n_i是图像总的特征点数目；

(4)比较S_ij和T_i，若S_ij>T_i，则该网格对中的匹配为正确的特征点匹配；

(5)将网格沿x和y方向移动半格，重复步骤(3)-(4)，继续进行正确特征点匹配的筛选。

图2和图3给出了ORB特征匹配算法和GMS算法处理效果图，可以看出，相对于传统的特征匹配算法，GMS算法的匹配质量大大提高。

步骤三：对所述步骤二中得到的匹配特征点进行广义Hough变换，求出累加器的峰值点坐标。本发明进行的广义Hough变换求取累加器峰值点的具体过程如下：

(1)选择初始参考点的位置O(a,b)；

(2)利用目标的第t-1帧图像的匹配特征点集合X₁与参考点O建立参考表R-table，矢量关系式由公式(23)计算，R-table中矢量关系的个数等于所有匹配特征点对的数目，本发明建立的R-table如表1所示；

表1本发明建立的R-table

(3)将第t帧图像中的匹配特征点集合X₂在R-table的对应索引下搜索存放的r，通过式(24)进行计算，得到每一个特征点对应的跟踪点的位置(a_r,b_r)，并根据公式(25)在参数空间累加器Acc的对应坐标下进行累计投票；

Acc(a_r,b_r)＝Acc(a_r,b_r)+1 (25)

(4)求出累加器Acc中峰值点对应的坐标(ar,br)。

虽然GMS算法的匹配正确率大大提高，但是依然存在错误的匹配，会对后续的单应性映射矩阵求解带来误差，本发明利用广义Hough变换对经GMS算法处理后得到的匹配特征点进行再一次的筛选，提取出匹配正确率更高的匹配特征点集合。

步骤四：求出对所述步骤三中得到的累加器峰值点有贡献的匹配特征点集合。利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤三中建立的R-table对应的矢量关系，计算候选点的位置(a_r,b_r)，若(a_r,b_r)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5，则保留该匹配特征点对，重复上述步骤，得出最终的对累加器峰值有贡献的匹配特征点集合。

步骤五：利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵，求出前一帧跟踪点映射到当前帧的亚像素精度的特征点，该特征点为当前帧的跟踪点。本发明的计算单应性矩阵具体过程如下：

(1)对于匹配特征点集合X和X′中的每组对应的匹配特征点的齐次坐标形式p＝(x,y,1)^T和q＝(u,v,1)^T，代入公式(26)，可得到公式(27)所示的方程：

其中，H为单应性映射矩阵；

(2)对所有的匹配特征点，都可以得到所述公式(27)所示的方程，合并所有方程得可到方程：

其中：

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ h₃₃] (30)

(3)对矩阵A^TA进行SVD分解，求出的最小特征值对应的特征向量h，利用h₃₃对h进行归一化处理，得到最终的单应性矩阵H；

(4)利用公式(31)计算下一帧的跟踪点坐标：

x'＝Hx (31)

其中，x＝(x₁,y₁,1)^T为第t-1帧图像的跟踪点坐标的齐次坐标形式，若第t-1帧图像为第一帧，则x为所述步骤三中选取的参

考点O(a,b)，H为单应性映射矩阵，x′＝(x₂,y₂,1)^T为第t帧图像跟踪点的齐次坐标形式，特征点(x₂,y₂)即为第t帧的亚像素精度跟踪点。

为了验证本发明的鲁棒性，实验采用一组扩展目标序列，图4、5、6、7分别给出了第1帧、第105帧、第295帧和第350帧的跟踪结果，白色十字丝的位置代表了跟踪点的位置。可以看出，当目标发生尺度变化(图5)、姿态变化(图5、图6、图7)、部分区域离开视场(图5)和部分区域进入视场(图7)时，利用本发明提出的方法可以获得准确的跟踪点，保持了跟踪点的相对位置固定。

为了验证本发明方法的稳定性，即较小的漂移与抖动，本发明对上述扩展目标序列的跟踪结果与真值坐标的轨迹对比分别如图8和图9所示，可以发现，本发明的跟踪轨迹与真值坐标基本重合，保持了跟踪点的相对位置固定。本发明对上述扩展目标序列的跟踪结果与原始坐标在X方向和Y方向的误差曲线分别如图10和图11所示。经过计算得出，本发明在X方向和Y方向的均方根误差分别为0.7665和0.5471，实现了对存在抖动、尺度变化、姿态变化和目标部分区域离开和进入视场的扩展目标的稳定跟踪。

为了验证本发明方法对扩展目标存在自遮挡、光照、尺度、模糊、姿态变化所引起的旋转等多种情况下的的跟踪鲁棒性，图12给出了一组序列中自遮挡前后6帧的跟踪结果，其中，黑色十字丝的位置代表跟踪点的位置。可以发现，在发生上述情况甚至自遮挡时，本发明方法具有较高的鲁棒性，依然保持了跟踪点的相对位置固定，从而消除了跟踪过程中因为自遮挡所导致跟踪点不可见，进而引起剧烈跟踪抖动甚至跟踪失效的问题。

本发明未详细阐述部分属于本领域技术人员的公知技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，对上述实施例的变化或替换，都应涵盖在本发明的包含范围之内。

Claims (5)

1.一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法，其特征在于：包括如下步骤：

步骤一：图像预处理，采用高斯平滑滤波去噪，并进行线性对比度增强，得到滤波后的对比度增强图像；

步骤二：对步骤一中得到的相邻两帧图像利用GMS算法进行处理，得到匹配特征点集合；

步骤三：对步骤二中得到的匹配特征点进行广义Hough变换，求出累加器的峰值点坐标；

步骤四：求出对步骤三中得到的累加器峰值点有贡献的匹配特征点集合；

步骤五：利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵，求出前一帧跟踪点映射到当前帧的亚像素精度的特征点，该特征点为当前帧的跟踪点。

2.根据权利要求1所述的扩展目标稳定跟踪点提取方法，其特征在于：利用GMS算法求取匹配特征点集合具体包括如下步骤：

步骤21：输入第t-1和第t两帧相邻图像，利用ORB特征匹配算法对图像进行初始特征匹配；

步骤22：对图像进行网格的分块，分成G＝20×20个部分；

步骤23：从第t-1帧图像的第一个网格开始，分别与第t帧图像的每个网格进行比较，计算匹配的特征点数目，找出匹配特征点数目最多的网格对，根据式(1)和(2)，求出匹配分数S_ij和阈值T_i：

其中，是网格单元对{i^k,j^k}的匹配特征点数目，K＝9表示单元对周围的9单元网格，α＝6是由实验测出的经验值，n_i是图像总的特征点数目；

步骤24：比较S_ij和T_i，若S_ij>T_i，则该网格对中的匹配为正确的特征点匹配；

步骤25：将网格沿x和y方向移动半格，重复步骤23-24，继续进行正确特征点匹配的筛选。

3.根据权利要求1所述的扩展目标稳定跟踪点提取方法，其特征在于：对匹配的特征点进行广义Hough变换，求取累加器的峰值点具体包括如下步骤：

步骤31：利用GMS算法提取出的第t-1帧图像特征点与参考点建立参考表R-table，矢量关系根据公式(3)计算，参考点(a,b)为第t-1帧图像提取出来的跟踪点，若第t-1帧图像为第一帧，参考点为自动选择或鼠标手动选择的点；

其中，点(x₁,y₁)为所述第t-1帧图像的匹配特征点，点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系，匹配特征点对的个数对应R-table的行数；

步骤32：利用第t帧图像的匹配特征点搜索所述步骤31建立的R-table中对应的矢量关系，根据公式(4)计算出候选点的位置；

其中，点(x₂,y₂)为所述第t帧图像的匹配特征点，点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系，点(a_r,b_r)为所述累加器的候选参考点位置；

步骤33：以候选参考点位置坐标建立累加器，在所述步骤32得到的候选参考点位置处的累加器加1，求出累加器的峰值(ar,br)。

4.根据权利要求3所述的扩展目标稳定跟踪点提取方法，其特征在于：求出对所述步骤三中的累加器峰值点有贡献的匹配特征点集合的具体步骤如下：

步骤41：利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤31建立的R-table对应的矢量关系，计算候选点的位置(a_r,b_r)，若(a_r,b_r)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5，则保留该匹配特征点对；

步骤42：重复所述步骤41，得出最终的对累加器峰值有贡献的匹配特征点集合。

5.根据权利要求1所述的扩展目标稳定跟踪点提取方法，其特征在于：对所述步骤四求出的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵的具体步骤如下：

步骤51：对于相邻两帧每组对应的匹配特征的特征点的齐次坐标形式p＝(x,y,1)^T和q＝(u,v,1)^T，代入公式(5)，可得到如公式(6)所示的方程：

其中，H为单应性映射矩阵；

步骤52：对所有的匹配特征点，都可以得到所述公式(6)所示的方程，合并所有方程可得到方程：

其中：

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ h₃₃] (9)

步骤53：对矩阵A^TA进行SVD分解，求出的最小特征值对应的特征向量h，利用h₃₃对h进行归一化处理，得到最终的单应性映射矩阵H；

步骤54：利用公式(10)计算下一帧的跟踪点坐标：

x'＝Hx (10)

其中，x＝(x₁,y₁,1)^T为第t-1帧图像的跟踪点坐标的齐次坐标形式，若第t-1帧图像为第一帧，则x为所述步骤三中选取的参考点O(a,b)，H为单应性映射矩阵，x′＝(x₂,y₂,1)^T为第t帧图像跟踪点的齐次坐标形式，特征点(x₂,y₂)即为第t帧的亚像素精度跟踪点。