CN108257155A - 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 - Google Patents
一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 Download PDFInfo
- Publication number
- CN108257155A CN108257155A CN201810045941.5A CN201810045941A CN108257155A CN 108257155 A CN108257155 A CN 108257155A CN 201810045941 A CN201810045941 A CN 201810045941A CN 108257155 A CN108257155 A CN 108257155A
- Authority
- CN
- China
- Prior art keywords
- point
- matching characteristic
- frame
- characteristic point
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010168 coupling process Methods 0.000 title claims abstract description 8
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 8
- 238000000605 extraction Methods 0.000 title abstract description 4
- 230000008878 coupling Effects 0.000 title abstract description 3
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000013519 translation Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract 1
- 230000004807 localization Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法。首先对待处理图像进行去噪、增强等预处理;然后用GMS算法对相邻两帧图像进行特征点匹配,进一步对这些匹配特征点进行广义Hough变换,求出对累加器峰值点有贡献的特征点作为基础特征点;利用这些基础特征点求出相邻两帧特征点的单应性映射矩阵,最后利用单应性映射矩阵计算前一帧跟踪点映射到当前帧的一个亚像素精度的特征点作为跟踪点。本发明求取的跟踪点是利用目标上的多个局部匹配特征点映射出的一个虚拟的全局特征点,不要求目标一直存在稳定、明显的特征,对目标的平移、尺度、光照、模糊、姿态、自遮挡、甚至目标部分区域离开视场等变化都具有较高的鲁棒性。
Description
技术领域
本发明属于图像处理、计算机视觉和目标跟踪领域,特别涉及一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法,其为结合GMS算法和广义Hough变换及单应性矩阵映射的局部与全局耦合的扩展目标稳定跟踪点提取方法。
背景技术
在成像跟踪系统中,为了提高目标跟踪的稳定性与精度,一般采用较小的视场,导致目标在视场中所占面积达到1/3以上,甚至可能出现超出视场的扩展形态。扩展目标在运动过程中具有姿态变化明显以及部分区域离开视场的情况。同时,大气湍流、系统抖动会造成目标出现平移、模糊问题,此外,由于姿态变化引起的局部遮挡也会影响跟踪的稳定性。选取鲁棒的特征以提取扩展目标的稳定跟踪点,是这类目标跟踪面临的一个难点。
由于扩展目标含有丰富的特征,现有的方法大都是基于特征的跟踪。如:基于点特征的跟踪([1]樊志华,王春鸿,吴明军.基于几何特征点的扩展目标跟踪方法[J].光电工程,2009,36(10):12-15.)、基于直线边缘特征的跟踪([2]钟权,周进,吴钦章,et al.基于Hough变换和边缘灰度直方图的直线跟踪算法[J].光电工程,2014,41(3):89-94.)、基于区域特征的跟踪([3]张建伟.基于区域特征匹配的扩展目标高精度跟踪[J].激光与光电子学进展,2015,52(5):79-86.)等。这些方法在目标一直存在明显且不变的特征时,可以达到稳定跟踪的效果,但是当目标发生局部遮挡、部分区域离开视场或因姿态变化引起严重旋转而导致所选取的特征不再明显甚至不可见时,会出现抖动和漂移甚至跟踪失效的情况。同时,光照变化、尺度变化、模糊等也有可能引起原有的跟踪特征点失效。针对这些情况,有研究者提出了采用广义Hough变换([4]Ballard D H.Generalizing the Hough transformto detect arbitrary shapes[J].Pattern Recognition,1981,13(2):111-122.)提取特征点跟踪扩展目标([5]Hu J,Peng X.High precision localization for profiledextended object based on GHT[J].Optik-International Journal for Light andElectron Optics,2014,125(3):1297-1302.),在目标部分区域离开视场时,该方法依然可以锁定原跟踪点的位置,但是当目标发生尺度和姿态变化、以及外部轮廓变化大时,跟踪点会发生漂移。因此,迫切需要研究新的方法以适应扩展目标跟踪的工程应用需求。
发明内容
本发明为了克服现有技术的不足,提供了一种基于GMS算法([6]Bian J W,Lin WY,Matsushita Y,et al.Gms:Grid-based motion statistics for fast,ultra-robustfeature correspondence[C]//2017IEEE Conference on Computer Vision and PatternRecognition(CVPR).IEEE,2017:2828-2837.)和广义Hough变换的扩展目标的稳定跟踪点提取方法,实现了同时对光照变化、尺度变化、模糊、平面旋转、一定程度的三维旋转、局部遮挡、目标部分区域离开视场条件下的扩展目标的稳定跟踪。
为了实现上述目的,本发明提供一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法,包括以下步骤:
步骤一:图像预处理,采用高斯平滑滤波去噪,并进行对比度增强,得到滤波后的增强图像;
步骤二:对步骤一中得到的相邻两帧图像利用GMS算法进行处理,得到匹配特征点集合;
步骤三:对步骤二中得到的匹配特征点进行广义Hough变换,求出累加器的峰值点坐标;
步骤四:求出对步骤三中得到的累加器峰值点有贡献的匹配特征
点集合;
步骤五:利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵,求出前一帧跟踪点映射到当前帧的亚像素精度的特征点,该特征点为当前帧的跟踪点。
步骤二中利用GMS算法求取匹配特征点集合具体包括如下步骤:
步骤21:输入第t-1和第t两帧相邻图像,利用ORB特征匹配算法对图像进行初始特征匹配;
步骤22:对图像进行网格的分块,分成G=20×20部分;
步骤23:从第t-1帧图像的第一个网格开始,分别与第t帧图像的每个网格进行比较,计算匹配的特征点数目,找出匹配特征点数目最多的网格对,根据式(11)和(12),分别计算这个单元对的匹配分数Sij和阈值Ti:
其中,是单元对{ik,jk}的匹配特征点数目,K=9表示单元对周围的9单元网格,α=6是由实验测出的经验值,ni是图像总的特征点数目;
步骤24:比较Sij和Ti,若Sij>Ti,则该网格对中的匹配为正确的特征点匹配;
步骤25:将网格沿x和y方向移动半格,重复步骤23-24,继续进行正确特征点匹配的筛选。
步骤三中对匹配的特征点进行广义Hough变换,求取累加器的峰值点具体包括如下步骤:
步骤31:利用GMS算法提取出的第t-1帧图像特征点与参考点建立参考表R-table,矢量关系根据公式(13)计算,参考点(a,b)为第t-1帧图像提取出来的跟踪点,若第t-1帧图像为第一帧,
参考点为自动选择或鼠标手动选择的点;
其中,点(x1,y1)为所述第t-1帧图像的匹配特征点,点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系,匹配特征点对的个数对应R-table的行数;
步骤32:利用第t帧图像的匹配特征点搜索所述步骤31建立的R-table中对应的矢量关系,根据公式(14)计算出候选点的位置;
其中,点(x2,y2)为所述第t帧图像的匹配特征点,点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系,点(ar,br)为所述累加器的候选参考点位置;
步骤33:以候选参考点位置坐标建立累加器,在所述步骤32得到的候选参考点位置处的累加器加1,求出累加器的峰值(ar,br)。
步骤四中求出对所述步骤三中的累加器峰值点有贡献的匹配特征点集合的具体步骤如下:
步骤41:利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤31建立的R-table对应的矢量关系,计算候选点的位置(ar,br),若(ar,br)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5,则保留该匹配特征点对;
步骤42:重复所述步骤41,得出最终的对累加器峰值有贡献的匹配特征点集合。
步骤五中对所述步骤四求出的匹配特征点集合计算相邻两帧图像匹配特征点的单应性映射矩阵的具体步骤如下:
步骤51:对于相邻两帧每组对应的匹配特征点的齐次坐标形式p=(x,y,1)T和q=(u,v,1)T,代入公式(15),可得到公式(16)所示的方程:
其中,H为单应性映射矩阵;
步骤52:对所有的匹配特征点,都可以得到所述公式(16)所示的方程,合并所有方程可得到方程:
其中:
h=[h11 h12 h13 h21 h22 h23 h31 h32 h33] (19)
步骤53:对矩阵ATA进行SVD分解,求出的最小特征值对应的特征向量h,利用h33对h进行归一化处理,得到最终的单应性映射矩阵H;
步骤54:利用公式(20)计算下一帧的跟踪点坐标:
x'=Hx (20)
其中,x=(x1,y1,1)T为第t-1帧图像的跟踪点坐标的齐次坐标形式,若第t-1帧图像为第一帧,则x为所述步骤三中选取的参考点O(a,b),H为单应性映射矩阵,x′=(x2,y2,1)T为第t帧图像跟踪点的齐次坐标形式,特征点(x2,y2)即为第t帧的亚像素精度跟踪点。
本发明与现有技术相比的优点在于:
(1)本发明提取出来的跟踪点是由目标上多个匹配特征点映射出来的一个特征点,对目标的形状没有任何的限制,不需要一直存在明显且不变的特征,提高了适应性;
(2)本发明利用目标上大量的特征点进行全局映射,解决了局部光照变化、模糊、遮挡等带来的传统局部跟踪方法容易失效的问题。
(3)本发明在目标的部分区域离开视场时依然能保持跟踪点的相对位置固定;
(4)本发明利用GMS算法的旋转和尺度不变性,将其应用于扩展目标的跟踪中,解决了扩展目标跟踪过程中存在的旋转和尺度变化问题,保证了跟踪精度;
(5)本发明通过GMS算法和单应性矩阵的结合,解决了扩展目标跟踪过程中存在的姿态变化问题,能够一直锁定目标上的相应跟踪点,不受目标三维姿态变化的影响,并且得到了亚像素精度的跟踪点,进一步提高了跟踪精度,减小了跟踪漂移和抖动带来的误差。
附图说明
图1为本发明方法实现流程图;
图2为本发明对两帧图像利用ORB特征匹配处理的效果图;
图3为本发明对两帧图像利用GMS算法处理的效果图;
图4为本发明所用序列的第1帧图像进行跟踪定位的结果;
图5为本发明所用序列的第105帧图像进行跟踪定位的结果;
图6为本发明所用序列的第295帧图像进行跟踪定位的结果;
图7为本发明所用序列的第350帧图像进行跟踪定位的结果;
图8为本发明对350帧的图像序列进行跟踪定位得到的X方向跟踪定位结果与真值的对比;
图9为本发明对350帧的图像序列进行跟踪定位得到的Y方向跟踪定位结果与真值的对比;
图10为本发明对350帧的图像序列进行跟踪定位得到的X方向误差曲线;
图11为本发明对350帧的图像序列进行跟踪定位得到的Y方向误差曲线;
图12为本发明对一组存在自遮挡的图像序列跟踪过程中发生自遮挡前后6帧的跟踪定位结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提供的基于GMS算法和广义Hough变换及单应性映射矩阵的扩展目标稳定跟踪点提取方法适用于成像设备对视场中的扩展目标进行跟踪,尤其是对存在目标部分区域离开视场和发生尺度、姿态变化的扩展目标进行跟踪。
如图1所示,本发明提供一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法的具体步骤包括:
步骤一:图像预处理,采用高斯平滑滤波去噪,并进行对比度增强,得到滤波后的增强图像。
步骤二:对步骤一中得到的相邻两帧图像利用GMS算法进行处理,得到匹配特征点集合。
实验发现,经典的特征点匹配算法如SIFT、SURF和ORB的匹配结果存在大量的误匹配,难以得到匹配正确率高的匹配结果,这不利于后续的单应性映射矩阵求解。GMS算法是一种新提出的特征匹配算法,它可以实现高效率、高数目的特征匹配,本发明的GMS算法处理过程如下:
(1)输入第t-1和第t两帧相邻图像,利用ORB特征匹配算法对图像进行初始特征匹配;
(2)对图像进行网格的分块,分成G=20×20个部分;
(3)从第t-1帧图像的第一个网格开始,分别与第t帧图像的每个网格进行比较,计算匹配的特征点数目,找出匹配特征点数目最多的网格对,根据公式(21)和(22),分别计算这个单元对的匹配分数Sij和阈值Ti:
其中,是单元对{ik,jk}的匹配特征点数目,K=9表示单元对周围的9单元网格,α=6是由实验测出的经验值,ni是图像总的特征点数目;
(4)比较Sij和Ti,若Sij>Ti,则该网格对中的匹配为正确的特征点匹配;
(5)将网格沿x和y方向移动半格,重复步骤(3)-(4),继续进行正确特征点匹配的筛选。
图2和图3给出了ORB特征匹配算法和GMS算法处理效果图,可以看出,相对于传统的特征匹配算法,GMS算法的匹配质量大大提高。
步骤三:对所述步骤二中得到的匹配特征点进行广义Hough变换,求出累加器的峰值点坐标。本发明进行的广义Hough变换求取累加器峰值点的具体过程如下:
(1)选择初始参考点的位置O(a,b);
(2)利用目标的第t-1帧图像的匹配特征点集合X1与参考点O建立参考表R-table,矢量关系式由公式(23)计算,R-table中矢量关系的个数等于所有匹配特征点对的数目,本发明建立的R-table如表1所示;
表1本发明建立的R-table
(3)将第t帧图像中的匹配特征点集合X2在R-table的对应索引下搜索存放的r,通过式(24)进行计算,得到每一个特征点对应的跟踪点的位置(ar,br),并根据公式(25)在参数空间累加器Acc的对应坐标下进行累计投票;
Acc(ar,br)=Acc(ar,br)+1 (25)
(4)求出累加器Acc中峰值点对应的坐标(ar,br)。
虽然GMS算法的匹配正确率大大提高,但是依然存在错误的匹配,会对后续的单应性映射矩阵求解带来误差,本发明利用广义Hough变换对经GMS算法处理后得到的匹配特征点进行再一次的筛选,提取出匹配正确率更高的匹配特征点集合。
步骤四:求出对所述步骤三中得到的累加器峰值点有贡献的匹配特征点集合。利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤三中建立的R-table对应的矢量关系,计算候选点的位置(ar,br),若(ar,br)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5,则保留该匹配特征点对,重复上述步骤,得出最终的对累加器峰值有贡献的匹配特征点集合。
步骤五:利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵,求出前一帧跟踪点映射到当前帧的亚像素精度的特征点,该特征点为当前帧的跟踪点。本发明的计算单应性矩阵具体过程如下:
(1)对于匹配特征点集合X和X′中的每组对应的匹配特征点的齐次坐标形式p=(x,y,1)T和q=(u,v,1)T,代入公式(26),可得到公式(27)所示的方程:
其中,H为单应性映射矩阵;
(2)对所有的匹配特征点,都可以得到所述公式(27)所示的方程,合并所有方程得可到方程:
其中:
h=[h11 h12 h13 h21 h22 h23 h31 h32 h33] (30)
(3)对矩阵ATA进行SVD分解,求出的最小特征值对应的特征向量h,利用h33对h进行归一化处理,得到最终的单应性矩阵H;
(4)利用公式(31)计算下一帧的跟踪点坐标:
x'=Hx (31)
其中,x=(x1,y1,1)T为第t-1帧图像的跟踪点坐标的齐次坐标形式,若第t-1帧图像为第一帧,则x为所述步骤三中选取的参
考点O(a,b),H为单应性映射矩阵,x′=(x2,y2,1)T为第t帧图像跟踪点的齐次坐标形式,特征点(x2,y2)即为第t帧的亚像素精度跟踪点。
为了验证本发明的鲁棒性,实验采用一组扩展目标序列,图4、5、6、7分别给出了第1帧、第105帧、第295帧和第350帧的跟踪结果,白色十字丝的位置代表了跟踪点的位置。可以看出,当目标发生尺度变化(图5)、姿态变化(图5、图6、图7)、部分区域离开视场(图5)和部分区域进入视场(图7)时,利用本发明提出的方法可以获得准确的跟踪点,保持了跟踪点的相对位置固定。
为了验证本发明方法的稳定性,即较小的漂移与抖动,本发明对上述扩展目标序列的跟踪结果与真值坐标的轨迹对比分别如图8和图9所示,可以发现,本发明的跟踪轨迹与真值坐标基本重合,保持了跟踪点的相对位置固定。本发明对上述扩展目标序列的跟踪结果与原始坐标在X方向和Y方向的误差曲线分别如图10和图11所示。经过计算得出,本发明在X方向和Y方向的均方根误差分别为0.7665和0.5471,实现了对存在抖动、尺度变化、姿态变化和目标部分区域离开和进入视场的扩展目标的稳定跟踪。
为了验证本发明方法对扩展目标存在自遮挡、光照、尺度、模糊、姿态变化所引起的旋转等多种情况下的的跟踪鲁棒性,图12给出了一组序列中自遮挡前后6帧的跟踪结果,其中,黑色十字丝的位置代表跟踪点的位置。可以发现,在发生上述情况甚至自遮挡时,本发明方法具有较高的鲁棒性,依然保持了跟踪点的相对位置固定,从而消除了跟踪过程中因为自遮挡所导致跟踪点不可见,进而引起剧烈跟踪抖动甚至跟踪失效的问题。
本发明未详细阐述部分属于本领域技术人员的公知技术。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,对上述实施例的变化或替换,都应涵盖在本发明的包含范围之内。
Claims (5)
1.一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法,其特征在于:包括如下步骤:
步骤一:图像预处理,采用高斯平滑滤波去噪,并进行线性对比度增强,得到滤波后的对比度增强图像;
步骤二:对步骤一中得到的相邻两帧图像利用GMS算法进行处理,得到匹配特征点集合;
步骤三:对步骤二中得到的匹配特征点进行广义Hough变换,求出累加器的峰值点坐标;
步骤四:求出对步骤三中得到的累加器峰值点有贡献的匹配特征点集合;
步骤五:利用步骤四中得到的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵,求出前一帧跟踪点映射到当前帧的亚像素精度的特征点,该特征点为当前帧的跟踪点。
2.根据权利要求1所述的扩展目标稳定跟踪点提取方法,其特征在于:利用GMS算法求取匹配特征点集合具体包括如下步骤:
步骤21:输入第t-1和第t两帧相邻图像,利用ORB特征匹配算法对图像进行初始特征匹配;
步骤22:对图像进行网格的分块,分成G=20×20个部分;
步骤23:从第t-1帧图像的第一个网格开始,分别与第t帧图像的每个网格进行比较,计算匹配的特征点数目,找出匹配特征点数目最多的网格对,根据式(1)和(2),求出匹配分数Sij和阈值Ti:
其中,是网格单元对{ik,jk}的匹配特征点数目,K=9表示单元对周围的9单元网格,α=6是由实验测出的经验值,ni是图像总的特征点数目;
步骤24:比较Sij和Ti,若Sij>Ti,则该网格对中的匹配为正确的特征点匹配;
步骤25:将网格沿x和y方向移动半格,重复步骤23-24,继续进行正确特征点匹配的筛选。
3.根据权利要求1所述的扩展目标稳定跟踪点提取方法,其特征在于:对匹配的特征点进行广义Hough变换,求取累加器的峰值点具体包括如下步骤:
步骤31:利用GMS算法提取出的第t-1帧图像特征点与参考点建立参考表R-table,矢量关系根据公式(3)计算,参考点(a,b)为第t-1帧图像提取出来的跟踪点,若第t-1帧图像为第一帧,参考点为自动选择或鼠标手动选择的点;
其中,点(x1,y1)为所述第t-1帧图像的匹配特征点,点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系,匹配特征点对的个数对应R-table的行数;
步骤32:利用第t帧图像的匹配特征点搜索所述步骤31建立的R-table中对应的矢量关系,根据公式(4)计算出候选点的位置;
其中,点(x2,y2)为所述第t帧图像的匹配特征点,点(r(x),r(y))为所述第t-1帧图像的匹配特征点与参考点的矢量关系,点(ar,br)为所述累加器的候选参考点位置;
步骤33:以候选参考点位置坐标建立累加器,在所述步骤32得到的候选参考点位置处的累加器加1,求出累加器的峰值(ar,br)。
4.根据权利要求3所述的扩展目标稳定跟踪点提取方法,其特征在于:求出对所述步骤三中的累加器峰值点有贡献的匹配特征点集合的具体步骤如下:
步骤41:利用所述步骤二中得到的第t帧图像匹配特征点搜索所述步骤31建立的R-table对应的矢量关系,计算候选点的位置(ar,br),若(ar,br)与累加器峰值(ar,br)在x和y方向上的差值小于阈值0.5,则保留该匹配特征点对;
步骤42:重复所述步骤41,得出最终的对累加器峰值有贡献的匹配特征点集合。
5.根据权利要求1所述的扩展目标稳定跟踪点提取方法,其特征在于:对所述步骤四求出的匹配特征点集合计算相邻两帧匹配特征点的单应性映射矩阵的具体步骤如下:
步骤51:对于相邻两帧每组对应的匹配特征的特征点的齐次坐标形式p=(x,y,1)T和q=(u,v,1)T,代入公式(5),可得到如公式(6)所示的方程:
其中,H为单应性映射矩阵;
步骤52:对所有的匹配特征点,都可以得到所述公式(6)所示的方程,合并所有方程可得到方程:
其中:
h=[h11 h12 h13 h21 h22 h23 h31 h32 h33] (9)
步骤53:对矩阵ATA进行SVD分解,求出的最小特征值对应的特征向量h,利用h33对h进行归一化处理,得到最终的单应性映射矩阵H;
步骤54:利用公式(10)计算下一帧的跟踪点坐标:
x'=Hx (10)
其中,x=(x1,y1,1)T为第t-1帧图像的跟踪点坐标的齐次坐标形式,若第t-1帧图像为第一帧,则x为所述步骤三中选取的参考点O(a,b),H为单应性映射矩阵,x′=(x2,y2,1)T为第t帧图像跟踪点的齐次坐标形式,特征点(x2,y2)即为第t帧的亚像素精度跟踪点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045941.5A CN108257155B (zh) | 2018-01-17 | 2018-01-17 | 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045941.5A CN108257155B (zh) | 2018-01-17 | 2018-01-17 | 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108257155A true CN108257155A (zh) | 2018-07-06 |
CN108257155B CN108257155B (zh) | 2022-03-25 |
Family
ID=62741337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810045941.5A Active CN108257155B (zh) | 2018-01-17 | 2018-01-17 | 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108257155B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163894A (zh) * | 2019-05-14 | 2019-08-23 | 中国科学院半导体研究所 | 基于特征匹配的亚像素级目标跟踪方法 |
CN110728635A (zh) * | 2019-09-10 | 2020-01-24 | 中国科学院上海技术物理研究所 | 一种暗弱目标的对比度增强方法 |
CN110874850A (zh) * | 2018-09-04 | 2020-03-10 | 湖北智视科技有限公司 | 一种面向目标定位的实时单边网格特征配准方法 |
CN110880160A (zh) * | 2019-11-14 | 2020-03-13 | Oppo广东移动通信有限公司 | 图片帧超分方法、装置、终端设备及计算机可读存储介质 |
CN113643217A (zh) * | 2021-10-15 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 视频去运动模糊方法、装置、终端设备及可读存储介质 |
WO2022141178A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050271248A1 (en) * | 2004-06-02 | 2005-12-08 | Raytheon Company | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance |
CN101650778A (zh) * | 2009-07-28 | 2010-02-17 | 复旦大学 | 一种基于特征点与单应性匹配的不变性识别方法 |
US8229222B1 (en) * | 1998-07-13 | 2012-07-24 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
CN103136525A (zh) * | 2013-02-28 | 2013-06-05 | 中国科学院光电技术研究所 | 一种利用广义Hough变换的异型扩展目标高精度定位方法 |
CN103632381A (zh) * | 2013-12-08 | 2014-03-12 | 中国科学院光电技术研究所 | 一种利用骨架提取特征点的扩展目标跟踪方法 |
CN103854290A (zh) * | 2014-03-25 | 2014-06-11 | 中国科学院光电技术研究所 | 一种结合骨架特征点和分布场描述子的扩展目标跟踪方法 |
CN105049678A (zh) * | 2015-08-17 | 2015-11-11 | 成都鹰眼视觉科技有限公司 | 一种基于绕环自适应相机路径优化的视频防抖方法 |
CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
-
2018
- 2018-01-17 CN CN201810045941.5A patent/CN108257155B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229222B1 (en) * | 1998-07-13 | 2012-07-24 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
US20050271248A1 (en) * | 2004-06-02 | 2005-12-08 | Raytheon Company | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance |
CN101650778A (zh) * | 2009-07-28 | 2010-02-17 | 复旦大学 | 一种基于特征点与单应性匹配的不变性识别方法 |
CN103136525A (zh) * | 2013-02-28 | 2013-06-05 | 中国科学院光电技术研究所 | 一种利用广义Hough变换的异型扩展目标高精度定位方法 |
CN103632381A (zh) * | 2013-12-08 | 2014-03-12 | 中国科学院光电技术研究所 | 一种利用骨架提取特征点的扩展目标跟踪方法 |
CN103854290A (zh) * | 2014-03-25 | 2014-06-11 | 中国科学院光电技术研究所 | 一种结合骨架特征点和分布场描述子的扩展目标跟踪方法 |
CN105049678A (zh) * | 2015-08-17 | 2015-11-11 | 成都鹰眼视觉科技有限公司 | 一种基于绕环自适应相机路径优化的视频防抖方法 |
CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
Non-Patent Citations (4)
Title |
---|
JIAWANG BIAN 等: "GMS: Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
JINLONG HUA 等: "High precision localization for profiled extended object based on GHT", 《OPTIK》 * |
胡正平 等: "基于关键特征点决策的广义Hough变换目标定位快速算法", 《信号处理》 * |
胡正平 等: "基于关键角点引导约束的广义Hough变换两层目标定位算法", 《燕山大学学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110874850A (zh) * | 2018-09-04 | 2020-03-10 | 湖北智视科技有限公司 | 一种面向目标定位的实时单边网格特征配准方法 |
CN110163894A (zh) * | 2019-05-14 | 2019-08-23 | 中国科学院半导体研究所 | 基于特征匹配的亚像素级目标跟踪方法 |
CN110728635A (zh) * | 2019-09-10 | 2020-01-24 | 中国科学院上海技术物理研究所 | 一种暗弱目标的对比度增强方法 |
CN110728635B (zh) * | 2019-09-10 | 2023-07-07 | 中国科学院上海技术物理研究所 | 一种暗弱目标的对比度增强方法 |
CN110880160A (zh) * | 2019-11-14 | 2020-03-13 | Oppo广东移动通信有限公司 | 图片帧超分方法、装置、终端设备及计算机可读存储介质 |
CN110880160B (zh) * | 2019-11-14 | 2023-04-18 | Oppo广东移动通信有限公司 | 图片帧超分方法、装置、终端设备及计算机可读存储介质 |
WO2022141178A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
CN113643217A (zh) * | 2021-10-15 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 视频去运动模糊方法、装置、终端设备及可读存储介质 |
CN113643217B (zh) * | 2021-10-15 | 2022-03-29 | 广州市玄武无线科技股份有限公司 | 视频去运动模糊方法、装置、终端设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108257155B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108257155A (zh) | 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 | |
CN110147721B (zh) | 一种三维人脸识别方法、模型训练方法和装置 | |
CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
CN108717531B (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
US7623683B2 (en) | Combining multiple exposure images to increase dynamic range | |
CN105096269B (zh) | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 | |
CN103577815B (zh) | 一种人脸对齐方法和系统 | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
WO2018171008A1 (zh) | 一种基于光场图像的高光区域修复方法 | |
CN104376575B (zh) | 一种基于多摄像头监控的行人计数方法和装置 | |
CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
CN111797813B (zh) | 基于可见感知纹理语义对齐的部分行人重识别方法 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN115239882A (zh) | 一种基于弱光图像增强的农作物三维重建方法 | |
CN110930411A (zh) | 一种基于深度相机的人体分割方法及系统 | |
CN108320310B (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
Wang et al. | Depth map recovery based on a unified depth boundary distortion model | |
CN104978558B (zh) | 目标的识别方法及装置 | |
CN117541652A (zh) | 一种基于深度lk光流法与d-prosac采样策略的动态slam方法 | |
CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
CN109741370B (zh) | 一种目标跟踪方法和装置 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
CN116563306A (zh) | 自适应火灾痕迹光谱图像分割方法及系统 | |
CN113592947B (zh) | 一种半直接法的视觉里程计实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |