CN112434705A - 一种基于高斯金字塔分组的实时sift图像匹配方法 - Google Patents
一种基于高斯金字塔分组的实时sift图像匹配方法 Download PDFInfo
- Publication number
- CN112434705A CN112434705A CN202011238316.6A CN202011238316A CN112434705A CN 112434705 A CN112434705 A CN 112434705A CN 202011238316 A CN202011238316 A CN 202011238316A CN 112434705 A CN112434705 A CN 112434705A
- Authority
- CN
- China
- Prior art keywords
- matching
- pairs
- mismatching
- image
- sift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000007689 inspection Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于高斯金字塔分组的实时SIFT图像匹配方法，通过算法改进，改善实际应用中的实时性问题，针对SIFT的耗时问题，在保证原有匹配精度的同时，通过粗细匹配结合，并基于RANASC、GMS、最小二乘等改进去误匹配过程的方法降低耗时。本发明匹配速度较传统SIFT提高1倍以上；匹配精度与传统SIFT接近，优于SURF，在保证匹配精度的同时大幅度提高了SIFT算法的实时性，提高了SIFT在工程应用中的可实现性和可行性。
Description
技术领域
本发明涉及图像拼接、运动目标检测、图像导航、电子稳像等领域，尤其是一种实时图像匹配方法。
背景技术
SIFT算法因其优良的匹配性能受到广泛研究，该算法具有对尺度变化、视角旋转、照度变换的不变特性以及良好的仿射不变性，而且可以在一定程度上减小图像噪声、背景物体遮挡等对匹配性能的影响。
在军事领域的目标跟踪场景中，如战机在高空下视敌机时，敌机所处环境往往会包括水体、植被、土地、山地等，跟踪环境复杂多变；此外，物体遮挡、图像采集和信道传输噪声等也会导致目标信息提取的困难程度提高。基于SIFT算法进行帧间图像匹配，从而提取出运动目标的方法经验证可以有效提高检出效率，减少误匹配。因此，将SIFT算法应用到目标跟踪检测中，对于检出精度和环境适应性的提升具有重要意义。
然而，随着图像传感器、摄像机、照相机等图像采集设备的发展，图像分辨率不断提高，提取到的的图像特征数量也不断增多，使得基于SIFT的图像匹配实时性大大降低。因此，能否在保证匹配性能的前提下，减小SIFT算法的计算耗时，提高实时性，是能否将其应用到军事领域目标跟踪搜索的图像匹配过程的关键所在。
发明内容
为了克服现有技术的不足，本发明提供一种基于高斯金字塔分组的实时SIFT图像匹配方法，通过算法改进，改善实际应用中的实时性问题。针对SIFT的耗时问题，本发明进行算法改进，在保证原有匹配精度的同时，通过粗细匹配结合，并基于RANASC、GMS、最小二乘等改进去误匹配过程的方法降低耗时。
本发明解决其技术问题所采用的技术方案的具体步骤如下：
步骤1：输入原图和目标图后，进行SIFT特征提取；
步骤2：选取第二组高斯金字塔上的特征点基于欧式距离进行粗匹配，得到粗匹配对；
步骤3：通过基于GMS预检验的RANSAC算法得到去误匹配对，并得到仿射变换矩阵H1；
步骤4：基于仿射矩阵H1，计算原图和目标图的匹配区域area1，area2；
步骤5：通过area1，area2分别检验原图和目标图中的剩余特征点，保留位于area1，area2区域内的点；
步骤6：对通过步骤5)得到的特征点进行特征匹配，即细匹配；
步骤7：根据基于预检验的最小二乘去误匹配方法得到去误匹配对；
步骤8：根据步骤3)和步骤7)得到的去误匹配对，再次计算仿射变换矩阵H，并由仿射变换矩阵H再次检验去误匹配对，保留满足精度要求的匹配对，得到最终匹配结果。
所述精度要求为均方根误差小于1。
所述粗匹配采用基于GMS预检验的RANSAC去误匹配方法，具体步骤为：
1)根据预先设定的网格数目对匹配图和原图均匀划分网格区域；
2)统计各网格区域内的特征点和匹配对数量，保留特征点和匹配对数目均不为零的网格(即非空网格)；
3)通过GMS预检验匹配对，初步得到去误匹配结果；
4)用RANSAC算法进一步去除误匹配对并得到仿射矩阵H1；
5)根据步骤4)得到的仿射矩阵再次验证所有匹配对，保留均方根误差小于1的点对做为最终的去误匹配对。
所述细匹配采用基于预检验的最小二乘去误匹配方法，具体步骤为：
1)根据H1对细匹配过程中特征匹配得到的点对进行预检验，保留均方根误差小于1的匹配对；
2)对经过步骤1)筛选得到的匹配对，基于最小二乘法去除误匹配，并得到仿射变换阵H2；
3)用H2再次检验细匹配中的特征匹配对，保留其中满足精度要求的点对。
本发明的有益效果在于基于MATLAB对本发明进行实现，并与传统SIFT和SURF算法进行仿真对比，结果表明：本发明的匹配速度较传统SIFT提高1倍以上；匹配精度与传统SIFT接近，优于SURF。本发明在保证匹配精度的同时大幅度提高了SIFT算法的实时性，提高了SIFT在工程应用中的可实现性和可行性。
附图说明
图1是本发明的SIFT特征点在高斯金字塔上的分布示意图。
图2是本发明基于高斯金字塔分组的实时SIFT图像匹配流程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
根据图1所示，结合SIFT的特征提取原理可知，SIFT特征具有以下特点：
在不同组高斯差分金字塔上提取到的SIFT特征点坐标即使相同，但包含的描述子信息也不会完全相同，即不会存在完全相同的特征点；高斯差分金字塔上的特征点分布在图像各个位置，组数越大，则高斯差分金字塔的尺度因子取值越大，特征点数目越少。
分析可知：对于原图和目标图中同组的高斯差分金字塔，将其上的特征点进行特征匹配并去除误匹配，得到的匹配结果精度虽然不如使用全部特征点，但也应当具有一定精度。
根据以上分析，本发明通过大量图像进行仿真测试，对比使用各组高斯差分金字塔上的点得到的匹配结果中特征匹配对个数、去误匹配对个数、算法耗时等各项指标，最终确定使用第2组金字塔上的点进行粗匹配，既可以保证粗匹配结果具有较高精度，也能减小粗匹配耗时对整体的影响。
首先对高斯尺度空间进行分析，并分别用原图和匹配图各组高斯金字塔上的特征点进行特征匹配，对比匹配精度和匹配耗时发现，使用第2组高斯金字塔上的特征点匹配得到的结果具有较好的匹配精度，且匹配耗时较小。因此，本发明使用第2组高斯金字塔上的特征点进行粗匹配，其余组高斯金字塔上的特征点用于细匹配。粗/细匹配介绍如下：
粗匹配是指通过第2组高斯金字塔上的特征点粗略确定原图和目标图间的匹配区域，并以此减小后续细匹配中需要处理的特征点数目，降低计算量；细匹配是指利用粗匹配初步确定的匹配区域对其他组高斯金字塔上的特征点进行筛选(根据坐标)，然后用筛选剩下的特征点再次进行特征匹配，最终得到匹配区域。
本发明的算法流程如图2所示，流程介绍如下：
步骤1：输入原图和目标图后，进行SIFT特征提取；
步骤2：选取第二组高斯金字塔上的特征点基于欧式距离进行粗匹配，得到粗匹配对；
步骤3：通过基于GMS预检验的RANSAC算法得到去误匹配对，并得到仿射变换矩阵H1；
步骤4：基于仿射矩阵H1，计算原图和目标图的匹配区域area1，area2；
步骤5：通过area1，area2分别检验原图和目标图中的剩余特征点，保留位于area1，area2区域内的点；
步骤6：对通过步骤5)得到的特征点进行特征匹配，即细匹配；
步骤7：根据基于预检验的最小二乘去误匹配方法得到去误匹配对；
步骤8：根据步骤3)和步骤7)得到的去误匹配对，再次计算仿射变换矩阵H，并由仿射变换矩阵H再次检验去误匹配对，保留满足精度要求的匹配对，得到最终匹配结果。
去误匹配算法改进中，本发明提出了基于GMS预检验的RANSAC去误匹配和基于预检验的最小二乘去误匹配方法两种。其中，基于GMS预检验的RANSAC去误匹配方法用于粗匹配过程，保证匹配结果精度；基于预检验的最小二乘去误匹配方法用于细匹配过程，在保证精度的同时具有计算简便快速的优点
基于GMS预检验的RANSAC去误匹配方法原理为：
1)根据预先设定的网格数目对匹配图和原图均匀划分网格区域；
2)统计各网格区域内的特征点和匹配对数量，保留特征点和匹配对数目均不为零的网格(即非空网格)；
3)通过GMS预检验匹配对，初步得到去误匹配结果；
4)用RANSAC算法进一步去除误匹配对并得到仿射矩阵H1；
5)根据步骤4)得到的仿射矩阵再次验证所有匹配对，保留均方根误差小于1的点对做为最终的去误匹配对。
基于预检验的最小二乘去误匹配方法原理为：
1)H1对细匹配过程中特征匹配得到的点对进行预检验，保留均方根误差小于1的匹配对；
2)对经过步骤1)筛选得到的匹配对，基于最小二乘法去除误匹配，并得到仿射变换阵H2；
3)用H2再次检验细匹配中的特征匹配对，保留其中满足精度要求的点对。
Claims (4)
1.一种基于高斯金字塔分组的实时SIFT图像匹配方法，其特征在于包括下述步骤：
步骤1：输入原图和目标图后，进行SIFT特征提取；
步骤2：选取第二组高斯金字塔上的特征点基于欧式距离进行粗匹配，得到粗匹配对；
步骤3：通过基于GMS预检验的RANSAC算法得到去误匹配对，并得到仿射变换矩阵H1；
步骤4：基于仿射矩阵H1，计算原图和目标图的匹配区域area1，area2；
步骤5：通过area1，area2分别检验原图和目标图中的剩余特征点，保留位于area1，area2区域内的点；
步骤6：对通过步骤5)得到的特征点进行特征匹配，即细匹配；
步骤7：根据基于预检验的最小二乘去误匹配方法得到去误匹配对；
步骤8：根据步骤3)和步骤7)得到的去误匹配对，再次计算仿射变换矩阵H，并由仿射变换矩阵H再次检验去误匹配对，保留满足精度要求的匹配对，得到最终匹配结果。
2.根据权利要求1所述的一种基于高斯金字塔分组的实时SIFT图像匹配方法，其特征在于：
所述精度要求为均方根误差小于1。
3.根据权利要求1所述的一种基于高斯金字塔分组的实时SIFT图像匹配方法，其特征在于：
所述粗匹配采用基于GMS预检验的RANSAC去误匹配方法，具体步骤为：
1)根据预先设定的网格数目对匹配图和原图均匀划分网格区域；
2)统计各网格区域内的特征点和匹配对数量，保留特征点和匹配对数目均不为零的网格，即非空网格；
3)通过GMS预检验匹配对，初步得到去误匹配结果；
4)用RANSAC算法进一步去除误匹配对并得到仿射矩阵H1；
5)根据步骤4)得到的仿射矩阵再次验证所有匹配对，保留均方根误差小于1的点对做为最终的去误匹配对。
4.根据权利要求1所述的一种基于高斯金字塔分组的实时SIFT图像匹配方法，其特征在于：
所述细匹配采用基于预检验的最小二乘去误匹配方法，具体步骤为：
1)根据H1对细匹配过程中特征匹配得到的点对进行预检验，保留均方根误差小于1的匹配对；
2)对经过步骤1)筛选得到的匹配对，基于最小二乘法去除误匹配，并得到仿射变换阵H2；
3)用H2再次检验细匹配中的特征匹配对，保留其中满足精度要求的点对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238316.6A CN112434705A (zh) | 2020-11-09 | 2020-11-09 | 一种基于高斯金字塔分组的实时sift图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238316.6A CN112434705A (zh) | 2020-11-09 | 2020-11-09 | 一种基于高斯金字塔分组的实时sift图像匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434705A true CN112434705A (zh) | 2021-03-02 |
Family
ID=74699546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011238316.6A Pending CN112434705A (zh) | 2020-11-09 | 2020-11-09 | 一种基于高斯金字塔分组的实时sift图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434705A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926659A (zh) * | 2022-05-16 | 2022-08-19 | 上海贝特威自动化科技有限公司 | 一种基于sift和cm的变形目标定位算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834931A (zh) * | 2015-03-13 | 2015-08-12 | 江南大学 | 一种基于小波变换的改进的尺度不变特征匹配算法 |
| WO2016062159A1 (zh) * | 2014-10-20 | 2016-04-28 | 网易（杭州）网络有限公司 | 图像匹配方法及手机应用测试平台 |
| CN108647580A (zh) * | 2018-04-18 | 2018-10-12 | 中国人民解放军国防科技大学 | 基于改进sift引导isar图像特征点提取匹配方法 |
-
2020
- 2020-11-09 CN CN202011238316.6A patent/CN112434705A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016062159A1 (zh) * | 2014-10-20 | 2016-04-28 | 网易（杭州）网络有限公司 | 图像匹配方法及手机应用测试平台 |
| CN104834931A (zh) * | 2015-03-13 | 2015-08-12 | 江南大学 | 一种基于小波变换的改进的尺度不变特征匹配算法 |
| CN108647580A (zh) * | 2018-04-18 | 2018-10-12 | 中国人民解放军国防科技大学 | 基于改进sift引导isar图像特征点提取匹配方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董锦涛等: "基于SIFT的图像匹配实时性改进", 《电光与控制》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926659A (zh) * | 2022-05-16 | 2022-08-19 | 上海贝特威自动化科技有限公司 | 一种基于sift和cm的变形目标定位算法 |
| CN114926659B (zh) * | 2022-05-16 | 2023-08-08 | 上海贝特威自动化科技有限公司 | 一种基于sift和cm的变形目标定位算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097093B (zh) | 一种异源图像精确匹配方法 | |
| CN108446634B (zh) | 基于视频分析和定位信息结合的航空器持续跟踪方法 | |
| WO2021017588A1 (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN102865859A (zh) | 一种基于surf特征的航空序列图像位置估计方法 | |
| CN112016478B (zh) | 一种基于多光谱图像融合的复杂场景识别方法及系统 | |
| CN102938147A (zh) | 一种基于快速鲁棒特征的低空无人机视觉定位方法 | |
| CN111830504B (zh) | 基于序贯融合因式分解的序列isar三维成像方法 | |
| CN109544608B (zh) | 一种无人机图像采集特征配准方法 | |
| CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
| CN112434705A (zh) | 一种基于高斯金字塔分组的实时sift图像匹配方法 | |
| CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
| Yin et al. | A method for automatic target recognition using shadow contour of SAR image | |
| CN113658329A (zh) | 一种建筑物体框模型精细三维建模方法及系统 | |
| CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
| CN117173556A (zh) | 一种基于孪生神经网络的小样本sar目标识别方法 | |
| Ren et al. | SAR image matching method based on improved SIFT for navigation system | |
| Su et al. | High-precision matching algorithm for multi-image segmentation of micro animation videos in mobile network environment | |
| Tang et al. | UAV Visual Localization Technology Based on Heterogenous Remote Sensing Image Matching | |
| CN110070110A (zh) | 一种自适应阈值图像匹配方法 | |
| CN111626325A (zh) | 一种基于特征的图像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210302 |
|
| WD01 | Invention patent application deemed withdrawn after publication |