CN104050675B - 基于三角形描述的特征点匹配方法 - Google Patents
基于三角形描述的特征点匹配方法 Download PDFInfo
- Publication number
- CN104050675B CN104050675B CN201410303630.6A CN201410303630A CN104050675B CN 104050675 B CN104050675 B CN 104050675B CN 201410303630 A CN201410303630 A CN 201410303630A CN 104050675 B CN104050675 B CN 104050675B
- Authority
- CN
- China
- Prior art keywords
- triangle
- des
- point matching
- stack features
- description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 36
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000003780 keratinization Effects 0.000 claims 1
- 239000004576 sand Substances 0.000 claims 1
- 230000008878 coupling Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于三角形描述的特征点匹配方法，包括步骤：采集图像并输入计算机，利用已有特征点检测算子提取图像特征点，将图像中的特征点组合成三角形，确定三角形的支撑区域，对支撑区域进行子区域划分并计算描述子，计算三角形之间的相似性距离，建立三角形匹配，由三角形匹配确立特征点匹配。相比于已有基于单个特征点构造描述子的方法，本发明提供的方法构造的匹配描述子能够克服尺度误差及方向误差且在纹理简单或重复时稳定性更好，因而比已有方法具有更优的匹配性能。
Description
技术领域
本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中特征点的自动匹配方法。
背景技术
特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用，目前已有图像特征点匹配方法主要有以下两类：
第一类是基于局部纹理信息构造匹配描述子的方法，主要代表有SIFT、SURF、GLOH等基于梯度特征匹配描述子（详见文献K. Mikolajczyk and C. Schmid, A performanceevaluation of local descriptors. IEEE Transaction on Pattern Analysis andMachine Intelligence, 2005, 27(10): 1615–1630）与基于局部灰度序特征的描述方法（Fan B, Wu F and Hu Z. Rotationally invariant descriptors using intensityorder pooling. IEEE Transaction on Pattern Analysis and Machine Intelligence,2012, 34(10): 2031-2045），该类方法主要利用特征局部纹理信息进行特征匹配，首先为特征确定支撑区域，然后将支撑区域划分为一系列子区域，最后将每个子区域内包含的图像纹理信息表示为向量并组成匹配描述子。在图像形变存在时，该类方法构造的匹配描述子分辨力下降较大，获得的匹配数量较少。
第二类是基于几何一致性优化的匹配方法（如文献J.H. Lee and C.H. Won.Topology Preserving Relaxation Labeling for Non-rigid Point Matching. IEEETransactions on Pattern Analysis and Machine Intelligence. 2011, 33(2): 427–432.），这类方法利用特征点之间的几何约束整体构造匹配目标优化函数，从而将匹配问题转化为一个目标函数优化问题。该类方法利用的特征之间的几何约束信息比第一类方法在图像形变下更为稳定。但该类方法需要解决的几何优化问题运算一般非常复杂，且运算量随着特征点数量增加呈几何级数增长，导致该类方法运算效率很低。
第一类方法由于简单且易于实现，在实际应用中使用较多。但该类法存在如下误差问题：（1）为实现尺度不变性而进行尺度选择导致存在尺度误差；（2）为实现旋转不变性而基于局部梯度直方图进行主方向估计产生方向误差；尺度误差与方向误差的存在影响了描述子的分辨能力；另外，在图像纹理比较简单或者重复纹理较多时，基于单个特征点描述的方法不太稳定而效果较差。
发明内容
本发明针对第一类特征点匹配方法存在的尺度误差与方向误差问题，提供一种不需要进行尺度选择与方向估计的具有更优性能的特征点匹配方法。为了实现本目的，本发明提供的基于三角组合描述的特征点匹配方法包括以下步骤：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；
步骤S2：利用已有特征点检测算子提取图像中特征点，如使用Harris算子；
步骤S3：利用Delaunay三角化技术将图像中的特征点组合成三角形；
步骤S4：通过计算外接圆确定每个三角形的支撑区域；
步骤S5：分别以圆心与三个顶点确定的矢量为主方向对支撑区域进行子区域划分并计算描述子；
步骤S51: 对支撑区域进行子区域划分；
步骤S52: 计算旋转不变特征向量；
步骤S53: 构造三角形描述子；
步骤S6：通过计算描述子之间的欧式距离计算三角形之间的相似性距离；
步骤S7：基于双向匹配准则进行三角形匹配；
步骤S8：由三角形匹配确立特征点匹配。
本发明提出的方法将单个特征点组合为三角形代替单个特征点作为基本匹配单位，相比于传统基于单个特征点构造描述子的方法，本发明提供的方法具有如下优势：（1）直接根据三角形的外接圆确定支撑区域可避免传统尺度选择环节引入的尺度误差；（2）直接利用圆心与顶点确定主方向可避免传统进行主方向估计引入的方向误差；（3）图像纹理比较简单或者重复较多时，基于单个特征点描述的方法不太稳定，本发明将单个特征点组合成三角形后更加稳定。
附图说明
图1所示为本发明基于三角形描述的特征点匹配方法流程图。
图2所示为确定三角形支撑区域示意图。
图3所示为计算三角形的3个描述子示意图。
具体实施方式
如图1所示为本发明基于三角形描述的特征点匹配方法流程图，包括：采集图像并输入计算机，利用已有特征点检测算子提取图像特征点，将图像中的特征点组合成三角形，确定三角形的支撑区域，对支撑区域进行子区域划分并计算三角形的描述子，计算三角形之间的相似性距离，建立三角形匹配，由三角形匹配确立特征点匹配。各步骤的具体实施细节如下：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；
步骤S2：利用已有技术进行特征点检测，如使用Harris算子；
步骤S3：利用Delaunay三角化技术将图像中的特征点组合成三角形，具体方式为，记步骤S2获得的第1幅图像中特征点集合为，第2幅图像中的特征点集合为，其中为图像中特征点个数，利用Delaunay三角化技术将进行三角化获得个三角形，将进行三角化获得个三角形；
步骤S4：通过计算外接圆确定每个三角形的支撑区域，具体方式为，如图2所示，对于步骤S3获得的三角形，其中，利用如下公式计算其外接圆圆心和半径：
，
，
,,，
，
定义所述外接圆覆盖的图像区域为三角形的支撑区域，记为；
步骤S5：分别以圆心与三个顶点确定的矢量为主方向对支撑区域进行子区域划分并计算描述子，具体方式为，
步骤S51：对支撑区域进行子区域划分,具体方式为,如图3所示，对于步骤S4确定三角形的支撑区域，以圆心与顶点的连线向量为主方向将支撑区域在角度方向上等分为8个方向，然后再沿着径向方向将支撑区域等分为2部分，共计获得16个子区域；
步骤S52：计算旋转不变特征向量,具体方式为,记向量及其顺时针旋转90度方向对应的单位向量分别为与，记支撑区域内任一点的高斯梯度，将分别投影到、方向上获得点的旋转不变特征向量，其中、 ；
步骤S53：构造三角形描述子,具体方式为,对于三角形任一子区域，记内有个像素点及它们对应特征向量，通过计算特征向量的均值与标准差获得子区域的2维均值描述向量与2维标准差描述向量；将16个子区域对应的均值描述向量与标准差描述向量分别组成一个向量，可获得支撑区域的32维均值描述向量与32维标准差描述向量，分别进行归一化后获得区域的64维均值标准差描述向量，最后再进行归一化处理获得支撑区域的64维描述子；
记以向量代替重复执行步骤S51、S52、S53获得的描述子为；记以向量代替重复执行步骤S51、S52、S53获得的描述子为；最终每个三角形获得三个描述子；
步骤S6：通过计算描述子之间的欧式距离确定三角形之间的相似性距离，具体方式为，记第1幅图像中三角形经过步骤S5获得的3个描述子分别为,第2幅图像中三角形经过步骤S5获得的3个描述子分别为，则三角形与的相似性距离定义为；
步骤S7：基于双向匹配准则进行三角形匹配,具体方式为，对于第1幅图像中待匹配三角形和第2幅图像中的待匹配三角形，记中与相似性距离最小的三角形为,如果同时也是中与相似性距离最小的三角形，则 为一组三角形匹配；
步骤S8：由三角形匹配确立特征点匹配，具体方式为，对于步骤S7获得的描述子分别为与匹配三角形与，假设两个三角形的描述子之间的欧式距离最小,则可首先确立第1组特征点匹配，然后保持次序方式依次确立另两组特征点匹配，具体方式为，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,，
如第1组特征点匹配为则剩下两组特征点匹配分别为,。
本发明提出的方法将单个特征点组合为三角形代替单个特征点作为基本匹配单位，相比于传统基于单个特征点构造描述子的方法，本发明提供的方法具有如下优势：（1）直接根据三角形的外接圆确定支撑区域可避免传统尺度选择环节引入的尺度误差；（2）直接利用圆心与顶点确定主方向可避免传统进行主方向估计引入的方向误差；（3）图像纹理比较简单或者重复较多时，基于单个特征点描述的方法不太稳定，本发明将单个特征点组合成三角形后更加稳定。
Claims (1)
1.一种数字图像中基于三角形描述的特征点匹配方法，其特征在于，包括步骤：
步骤S1：从不同角度拍摄同一场景两幅不同图像并输入计算机；
步骤S2：利用Harris算子进行特征点检测；
步骤S3：利用Delaunay三角化技术将图像中的特征点组合成三角形，具体方式为，记步骤S2获得的第1幅图像中特征点集合为{Pi,i＝1,2,...,m}，第2幅图像中的特征点集合为{P′j,j＝1,2,...,n}，其中m,n为图像中特征点个数，利用Delaunay三角化技术将{Pi，i＝1，2，...，m}进行三角化获得M个三角形ΔTa，a＝1,2,3,...,M，将{P′j,j＝1,2,...,n}进行三角化获得N个三角形ΔT′b,b＝1,2,3,...,N；
步骤S4：通过计算外接圆确定每个三角形的支撑区域，具体方式为，对于步骤S3获得的三角形ΔT，记(x1,y1),(x2,y2),(x3,y3)为组成三角形ΔT的三个特征点的坐标，利用如下公式计算其外接圆圆心O(xo,yo)和半径R：
定义所述外接圆覆盖的图像区域为三角形ΔT的支撑区域，记为G(T)；
步骤S5：分别以圆心与三个顶点确定的矢量为主方向对支撑区域进行子区域划分并计算描述子，具体方式为，
步骤S51：对支撑区域进行子区域划分,具体方式为，对于步骤S4确定三角形ΔT的支撑区域G(T)，以圆心O与顶点P1的连线向量为主方向将支撑区域G(T)在角度方向上等分为8个方向，然后再沿着径向方向将支撑区域G(T)等分 为2部分，共计获得16个子区域G1,G2,...,G16；
步骤S52：计算旋转不变特征向量,具体方式为,记向量及其顺时针旋转90度方向对应的单位向量分别为d＝[d1,d2]与d⊥＝[d⊥1,d⊥2]，记支撑区域G(T)内任一点X的高斯梯度将分别投影到d、d⊥方向上获得点X的旋转不变特征向量V(X)＝[V1(X),V2(X)]，其中V1(X)＝fx(X)·d1+fy(X)·d2、V2(X)＝fx(X)·d⊥1+fy(X)·d⊥2；
步骤S53：构造三角形描述子,具体方式为,对于三角形任一子区域Gl，l＝1，2，...，16，记Gl内有s个像素点X1,X2,...,Xs及它们对应特征向量V(X1),V(X2),...,V(Xs)，通过计算特征向量的均值与标准差获得子区域Gl的2维均值描述向量Ml＝Mean{V(X1),V(X2),...,V(Xs)}与2维标准差描述向量Sl＝Std{V(X1),V(X2),...,V(Xs)}；将16个子区域对应的均值描述向量与标准差描述向量分别组成一个向量，可获得支撑区域G(T)的32维均值描述向量M＝[M1,M2,...,M16]与32维标准差描述向量S＝[S1,S2,...,S16]，分别进行归一化后获得区域G(T)的64维均值标准差描述向量MS＝[M/||M||,S/||S||]，最后再进行归一化处理获得支撑区域的64维描述子Des1＝MS/||MS||；
记以向量代替重复执行步骤S51、S52、S53获得的描述子为Des2；记以向量代替重复执行步骤S51、S52、S53获得的描述子为Des3；最终每个三角形ΔT获得三个描述子Des1,Des2,Des3；
步骤S6：通过计算描述子之间的欧式距离确定三角形之间的相似性距离，具体方式为，记第1幅图像中三角形ΔT经过步骤S5获得的3个描述子分别为Des1,Des2,Des3,第2幅图像中三角形ΔT′经过步骤S5获得的3个描述子分别为Des′1,Des′2,Des′3，则三角形ΔT与ΔT′的相似性距离定义为Dissimilarity(ΔT，ΔT′)＝min(||Desii-Des′jj||)，ii，jj＝1，2，3；
步骤S7：基于双向匹配准则进行三角形匹配,具体方式为，对于第1幅图像中待匹配三角形ΔT1,ΔT2,...,ΔTM和第2幅图像中的待匹配三角形ΔT′1,ΔT′2,...,ΔT′N，记ΔT′1,ΔT′2,...,ΔT′N中与ΔTa相似性距离最小的三角形为ΔT′b,如果同时ΔTa也是ΔT1，ΔT2，...，ΔTM中与ΔT′b相似性距离最小的三角形，则ΔTa、ΔT′b为一组三角形匹配；
步骤S8：由三角形匹配确立特征点匹配，具体方式为，对于步骤S7获得的描述子分别为Des1,Des2,Des3与Des′1,Des′2,Des′3的匹配三角形ΔTa与ΔT′b，假设两个三角形的描述子之间Desii,Des′jj的欧式距离最小,则可首先确立第1组特征点匹配(Pii,P′jj)，然后保持次序方式依次确立另两组特征点匹配，具体方式为，
如第1组特征点匹配为(P1,P′1)，则剩下两组特征点匹配分别为(P2,P′2),(P3,P′3)，
如第1组特征点匹配为(P1,P′2)，则剩下两组特征点匹配分别为(P2,P′3),(P3,P′1)，
如第1组特征点匹配为(P1,P′3)，则剩下两组特征点匹配分别为(P2,P′1),(P3,P′2)，
如第1组特征点匹配为(P2,P′1)，则剩下两组特征点匹配分别为(P3,P′2),(P1,P′3)，
如第1组特征点匹配为(P2,P′2)，则剩下两组特征点匹配分别为(P3,P′3),(P1,P′1)，
如第1组特征点匹配为(P2,P′3)，则剩下两组特征点匹配分别为(P3,P′1),(P1,P′2)，
如第1组特征点匹配为(P3,P′1)，则剩下两组特征点匹配分别为(P1,P′2),(P2,P′3)，
如第1组特征点匹配为(P3,P′2)，则剩下两组特征点匹配分别为(P1,P′3),(P2,P′1)，
如第1组特征点匹配为(P3,P′3)，则剩下两组特征点匹配分别为(P1,P′1),(P2,P′2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410303630.6A CN104050675B (zh) | 2014-06-30 | 2014-06-30 | 基于三角形描述的特征点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410303630.6A CN104050675B (zh) | 2014-06-30 | 2014-06-30 | 基于三角形描述的特征点匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104050675A CN104050675A (zh) | 2014-09-17 |
| CN104050675B true CN104050675B (zh) | 2017-02-08 |
Family
ID=51503458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410303630.6A Expired - Fee Related CN104050675B (zh) | 2014-06-30 | 2014-06-30 | 基于三角形描述的特征点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104050675B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184786B (zh) * | 2015-08-28 | 2017-10-17 | 大连理工大学 | 一种浮点型三角形特征描述方法 |
| CN105678814B (zh) * | 2016-01-05 | 2018-03-13 | 武汉大学 | 一种结合相位相关分析的建筑物立面影像重复纹理检测方法 |
| CN106355577B (zh) * | 2016-09-08 | 2019-02-12 | 武汉科技大学 | 基于特征状态与全局一致性的快速图像匹配方法及系统 |
| CN106485264B (zh) * | 2016-09-20 | 2019-03-15 | 河南理工大学 | 基于梯度序划分及映射策略的曲线描述及匹配方法 |
| CN108537287A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 基于图模型的图像闭环检测方法及装置 |
| CN109263811B (zh) * | 2018-09-29 | 2024-03-08 | 国家海洋局南海调查技术中心 | 具有无磁低功耗的方向识别与定位功能的浮标及方法 |
| CN109636790B (zh) * | 2018-12-13 | 2021-07-27 | 北京理工大学 | 一种管路结构的识别方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208003A (zh) * | 2013-04-12 | 2013-07-17 | 大连理工大学 | 一种基于几何图形特征点形状描述子的方法 |
| CN103473766A (zh) * | 2013-09-03 | 2013-12-25 | 浙江工商大学 | 一种基于视觉感知的二维形状特征点匹配方法 |
-
2014
- 2014-06-30 CN CN201410303630.6A patent/CN104050675B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208003A (zh) * | 2013-04-12 | 2013-07-17 | 大连理工大学 | 一种基于几何图形特征点形状描述子的方法 |
| CN103473766A (zh) * | 2013-09-03 | 2013-12-25 | 浙江工商大学 | 一种基于视觉感知的二维形状特征点匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| Delaunay三角形剖分约束下的图像配准算法;张东兴 等;《信号处理》;20131231;第29卷(第12期);第1644-1649页 * |
| 三角形约束下的图像特征点匹配方法;吴飞 等;《计算机辅助设计与图形学学报》;20100331;第22卷(第3期);第503-510页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104050675A (zh) | 2014-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104050675B (zh) | 基于三角形描述的特征点匹配方法 | |
| Zhao et al. | SPHORB: A fast and robust binary feature on the sphere | |
| Li et al. | Robust feature matching via support-line voting and affine-invariant ratios | |
| Fan et al. | Line matching leveraged by point correspondences | |
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| CN108921895B (zh) | 一种传感器相对位姿估计方法 | |
| CN102968777A (zh) | 一种基于重叠区域sift特征点的图像拼接方法 | |
| CN108305277B (zh) | 一种基于直线段的异源图像匹配方法 | |
| CN104766084A (zh) | 一种多目标匹配的近复制图像检测方法 | |
| CN109711321B (zh) | 一种结构自适应的宽基线影像视角不变直线特征匹配方法 | |
| CN106991695A (zh) | 一种图像配准方法及装置 | |
| CN102122359B (zh) | 一种图像配准方法及装置 | |
| Zhang et al. | Line matching using appearance similarities and geometric constraints | |
| CN102592281B (zh) | 图像匹配方法 | |
| CN104240231A (zh) | 基于局部结构二进制模式的多源图像配准 | |
| Qu et al. | Evaluation of SIFT and SURF for vision based localization | |
| CN102663733B (zh) | 基于特征组对的特征点匹配方法 | |
| CN107180436A (zh) | 一种改进的kaze图像匹配算法 | |
| Li et al. | 4FP-structure: A robust local region feature descriptor | |
| CN104520878A (zh) | 提供用于描述对象表示的至少一个特征的特征描述符的方法 | |
| Choi et al. | Learning descriptor, confidence, and depth estimation in multi-view stereo | |
| CN106295710A (zh) | 基于非几何约束的图像局部特征匹配方法、装置及终端 | |
| Cao et al. | Fast and robust local feature extraction for 3D reconstruction | |
| CN105631860A (zh) | 基于局部排序方向直方图描述子的图像同名点提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 |