CN109903343A - 一种基于惯性姿态约束的特征匹配方法 - Google Patents
一种基于惯性姿态约束的特征匹配方法 Download PDFInfo
- Publication number
- CN109903343A CN109903343A CN201910149805.5A CN201910149805A CN109903343A CN 109903343 A CN109903343 A CN 109903343A CN 201910149805 A CN201910149805 A CN 201910149805A CN 109903343 A CN109903343 A CN 109903343A
- Authority
- CN
- China
- Prior art keywords
- grid
- image
- matching
- feature
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于惯性姿态约束的特征匹配方法。首先将待匹配的两幅图像进行栅格化处理并检测ORB特征点，并选出含有较多特征点的栅格，并将惯性测量单元输出的姿态信息作为特征匹配的约束条件；其次，按照汉明距离进行排序和粗匹配，选取汉明距离不大于最小距离一定倍数的特征点对作为正确匹配点对，并将汉明距离介于一定距离的特征点对作为待定匹配点对；最后利用g2o非线性优化方法求解本质矩阵，利用本质矩阵恢复图像的位姿信息，对待定匹配点对使用对极约束条件，将满足自适应阈值条件的待定特征点对加入正确匹配点对，从而提高图像的匹配准确度。基于惯性姿态约束的ORB特征匹配方法误匹配点数减少，鲁棒性更高。
Description
技术领域：
本发明涉及一种基于惯性姿态约束的特征匹配方法，属于同时定位与建图的前端技术领域。
背景技术：
近年来，涌现出了许多与SLAM(Simultaneous Localization and Mapping,同时定位与建图，简写SLAM)相关的应用场景，如室内扫地机器人，自动驾驶汽车和无人机等。视觉SLAM是以图像为主要环境感知信息源的SLAM系统，主要分为视觉前端和优化后端。前端也称为视觉里程计，主要作用是根据相邻图像的信息粗略估计出相机运动，给后端提供较好的初始值。前端按照是否需要提取特征分为特征点法和直接法。基于特征点法的前端运行稳定，对光照和动态物体不敏感，是目前比较成熟的解决方案。其中，ORB(Oriented FASTand Rotated BRIEF)特征是目前具有代表性的实时图像特征，它改进了FAST(Featuresfrom Accelerated Segment Test)角点不具有方向性的问题，并采用速度极快的二进制描述子BRIEF(Binary Robust Independent Elementary Feature),减少了图像特征提取的时间。
剔除误匹配点是特征匹配技术的一个重要环节，对提高视觉SLAM姿态估计精度有重要意义。当相机运动过快时图像会出现模糊，使得误匹配点数增多，从而降低匹配质量。利用惯性测量单元的输出信息，可以为待匹配图像提供一个比较准确的姿态信息。基于此，采用基于惯性姿态约束的ORB特征匹配技术进行图像特征匹配时，可以有效解决匹配点对分布集中、误匹配数目较多和匹配效率低等问题。
发明内容
本发明的目的是提供一种基于惯性姿态约束的特征匹配方法，可以有效解决匹配点对分布集中、误匹配数目较多和匹配效率低等问题。
上述的目的通过以下技术方案实现：
一种基于惯性姿态约束的特征匹配方法，该方法包括如下步骤：
(1)将待匹配的两幅图像栅格化，栅格边长为a，并将每个栅格进行编号：第一幅图像的栅格编号记为Apq，表示该栅格位于第一幅图像栅格阵列的第p行和第q列；第二幅图像的栅格编号记为Bpq，表示该栅格位于第二幅图像栅格阵列的第p行和第q列；
2)对两幅图像进行ORB特征检测，并统计第一幅图像每个栅格内的特征点个数f(Apq)和第二幅图像每个栅格内的特征点个数f(Bpq)；
3)将第一幅图像中各栅格的特征点数进行降序排列，分别选出特征点数较多的前N个栅格，第一幅图像选出的栅格加入栅格集合A，第二幅图像选出的栅格加入栅格集合B，栅格集合A中的每个栅格记为Ai，栅格集合B中的每个栅格记为Bi，并计算出各栅格内的中心点像素坐标和
4)对惯性测量单元的输出值进行解算得到惯性测量单元的姿态信息，利用惯性测量单元的姿态信息对步骤(3)中各栅格内的中心点对进行匹配，计算栅格Ai与集合B中所匹配栅格Bi′的中心点坐标之间的距离di；
5)采用基于汉明距离的方法对两幅图像上的特征点进行粗匹配，并按照汉明距离进行排序，选取汉明距离不大于最小距离一定倍数的特征点对作为正确匹配点对，并将介于特定距离区间的特征点对作为待定匹配点对；
6)利用g2o非线性优化库建立超图，求解本质矩阵E，使得重投影误差最小；
7)利用本质矩阵E恢复出图像的姿态信息，设置自适应阈值函数，使用对极约束条件将待定匹配点对进行筛选，若满足相应阈值条件则将该待定匹配点对加入正确匹配点对。
进一步的，本发明方法中，步骤(3)中所述两幅图像中各栅格内中心点像素坐标和的计算公式分别为：
其中，在第一幅图像中，mi为栅格Ai的特征点数，(xik,yik,1)为栅格Ai中第k个特征点的像素坐标；在第二幅图像中，ni为栅格Bi的特征点数，(uik,vik,1)为栅格Bi中第k个特征点的像素坐标。
进一步的，本发明方法中，所述步骤(4)中加入了惯性姿态约束,利用惯性测量单元的姿态信息对步骤(3)中选出的N个栅格内每个栅格的中心点对进行匹配，并计算栅格Ai与集合B中所匹配栅格Bi′的中心点坐标之间的距离di，计算公式为：
其中，为栅格Ai的中心点像素坐标，为集合B中与栅格Ai相匹配的栅格Bi′的中心点像素坐标，Rimu为惯性测量单元的姿态矩阵，K为相机内参矩阵，di的极小值记为dmin。
进一步的，本发明方法中，步骤(5)所述中按照汉明距离进行排序后，选取汉明距离不大于最小距离一定倍数的特征点对作为正确匹配点对，所述最小距离一定倍数选取最小距离的2-5倍，并将介于一定距离的特征点对作为待定匹配点对，所述介于一定距离的特征点选取介于最小距离的2-5倍与最大距离的0.5-0.7倍之间的特征点。
进一步的，本发明方法中，所述步骤(6)中使用g2o优化方法求解本质矩阵E以最小化重投影误差，重投影误差函数为：
其中，pα1和pα2分别表示第α个正确匹配点对在第一幅图像和第二幅图像的像素坐标，K为相机内参矩阵。
进一步的，本发明方法中，所述步骤(7)中的对极约束条件为：自适应阈值函数为：ti＝d0d′i′，
其中，pβ1和pβ2分别表示第β个待定匹配点对在第一幅图像和第二幅图像的像素坐标；d0为初始化阈值，d′i为阈值系数，当pβ1属于栅格Ai时，d′i为di/dmin,当pβ1不属于栅格集合A时,d′i为1。
有益效果：
本发明提供的基于惯性姿态约束的ORB特征匹配方法，相对于现有技术具有如下优势：1.引入惯性测量单元输出的姿态信息,增强了特征匹配的可靠性；2.采用自适应阈值函数，可减少误匹配点数。
附图说明
图1为本发明的基于惯性姿态约束的ORB特征匹配方法的流程框图；
图2为第一幅图像的特征点分布图；
图3为未筛选误匹配点对的特征匹配结果图。
图4为剔除误匹配点对后的特征匹配结果图。
具体实施方式
如图1所示，本发明的基于惯性姿态约束的ORB特征匹配方法，具体步骤如下：
1)将待匹配的两幅图像栅格化，栅格边长为a，本实施例中a取40，并将每个栅格进行编号：第一幅图像的栅格编号为Apq，表示该栅格位于第一幅图像栅格阵列的第p行和第q列；第二幅图像的栅格编号为Bpq，表示该栅格位于第二幅图像栅格阵列的第p行和第q列；
2)对两幅图像进行ORB特征检测，并统计第一幅图像每个栅格内的特征点个数f(Apq)和第二幅图像每个栅格内的特征点个数f(Bpq)；
3)将两幅图像中各栅格的特征点数进行降序排列，分别选出特征点数较多的前N个栅格，本实施例中N取3，第一幅图像选出的栅格加入栅格集合A，第二幅图像选出的栅格加入栅格集合B，栅格集合A中的每个栅格记为Ai，栅格集合B中的每个栅格记为Bi，并计算出各栅格内的中心点像素坐标和
计算公式分别为：
其中，在第一幅图像中，mi为栅格Ai的特征点数，(xik,yik,1)为栅格Ai中第k个特征点的像素坐标；在第二幅图像中，ni为栅格Bi的特征点数，(uik,vik,1)为栅格Bi中第k个特征点的像素坐标。
4)对惯性测量单元的输出值进行解算得到惯性测量单元的姿态信息，利用惯性测量单元的姿态信息对步骤3)中3个中心点对进行匹配，并计算栅格Ai与集合B中所匹配栅格Bi′的中心点坐标之间的距离di，计算公式为：
其中，为栅格Ai的中心点像素坐标，为集合B中与栅格Ai相匹配的栅格Bi′的中心点像素坐标，Rimu为惯性测量单元的姿态矩阵，K为相机内参矩阵，di的极小值记为dmin
5)采用基于汉明距离的方法对两幅图像上的特征点进行粗匹配，并按照汉明距离进行排序，选取汉明距离不大于两倍最小距离的特征点对作为正确匹配点对，并将汉明距离介于两倍最小距离与最大距离0.5倍的特征点对作为待定匹配点对；当两倍最小距离不大于30时，选取汉明距离不大于30的特征点对作为正确匹配点对。
6)利用g2o非线性优化库建立超图，求解本质矩阵E，使得重投影误差最小，重投影误差函数为：
其中，pα1和pα2分别表示第α个正确匹配点对在第一幅图像和第二幅图像的像素坐标，K为相机内参矩阵；
7)利用本质矩阵E恢复出图像的姿态信息，设置自适应阈值函数，使用对极约束条件将待定匹配点对进行筛选，若满足相应阈值条件则将该待定匹配点对加入正确匹配点对；
对极约束条件为：自适应阈值函数为：ti＝d0d′i
其中，pβ1和pβ2分别表示第β个待定匹配点对在第一幅图像和第二幅图像的像素坐标；初始化阈值为d0，本实施例中d0取为0.003，d′i为阈值系数，当pβ1属于栅格Aj时，d′i为di/dmin,当pβ1不属于栅格集合A时,d′i为1。
具体实例：
为了验证本发明算法的有效性，选取数据集EuRoC中V2_01_easy的两幅图像作为待匹配图像，该图像的分辨率为752×480，图2为第一幅图像的特征点分布图，图3为未筛选误匹配点对的特征匹配结果图，共检测了500组特征点对，其中汉明距离最小值为1，最大值为88，可以看出图中包含大量的交叉匹配线，误匹配点较多；图4为剔除误匹配点对后的特征匹配结果图，首先根据特征点对的汉明距离找到67组特征点对作为正确匹配点对，354组特征点对作为待定匹配点对，最终通过对极约束筛选出398组正确匹配点对，剔除掉102组误匹配点对。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
Claims (6)
1.一种基于惯性姿态约束的特征匹配方法，其特征在于，该方法包括如下步骤：
(1)将待匹配的两幅图像栅格化，栅格边长为a，并将每个栅格进行编号：第一幅图像的栅格编号记为Apq，表示该栅格位于第一幅图像栅格阵列的第p行和第q列；第二幅图像的栅格编号记为Bpq，表示该栅格位于第二幅图像栅格阵列的第p行和第q列；
(2)对两幅图像进行ORB特征检测，并统计第一幅图像每个栅格内的特征点个数f(Apq)和第二幅图像每个栅格内的特征点个数f(Bpq)；
(3)将第一幅图像中各栅格的特征点数进行降序排列，分别选出特征点数较多的前N个栅格，第一幅图像选出的栅格加入栅格集合A，第二幅图像选出的栅格加入栅格集合B，栅格集合A中的每个栅格记为Ai，栅格集合B中的每个栅格记为Bi，并计算出各栅格内的中心点像素坐标和
(4)对惯性测量单元的输出值进行解算得到惯性测量单元的姿态信息，利用惯性测量单元的姿态信息对步骤(3)中各栅格内的中心点对进行匹配，计算栅格Ai与集合B中所匹配栅格Bi′的中心点坐标之间的距离di；
(5)采用基于汉明距离的方法对两幅图像上的特征点进行粗匹配，并按照汉明距离进行排序，选取汉明距离不大于最小距离一定倍数的特征点对作为正确匹配点对，并将介于特定距离区间的特征点对作为待定匹配点对；
(6)利用g2o非线性优化库建立超图，求解本质矩阵E，使得重投影误差最小；
(7)利用本质矩阵E恢复出图像的姿态信息，设置自适应阈值函数，使用对极约束条件将待定匹配点对进行筛选，若满足相应阈值条件则将该待定匹配点对加入正确匹配点对。
2.根据权利要求1所述的基于惯性姿态约束的特征匹配方法，其特征在于，步骤(3)中所述两幅图像中各栅格内中心点像素坐标和的计算公式分别为：
其中，在第一幅图像中，mi为栅格Ai的特征点数，(xik,yik,1)为栅格Ai中第k个特征点的像素坐标；在第二幅图像中，ni为栅格Bi的特征点数，(uik,vik,1)为栅格Bi中第k个特征点的像素坐标。
3.根据权利要求1所述的基于惯性姿态约束的特征匹配方法，其特征在于，所述步骤(4)中加入了惯性姿态约束,利用惯性测量单元的姿态信息对步骤(3)中选出的N个栅格内每个栅格的中心点对进行匹配，并计算栅格Ai与集合B中所匹配栅格Bi′的中心点坐标之间的距离di，计算公式为：
其中，为栅格Ai的中心点像素坐标，为集合B中与栅格Ai相匹配的栅格Bi′的中心点像素坐标，Rimu为惯性测量单元的姿态矩阵，K为相机内参矩阵，di的极小值记为dmin。
4.根据权利要求1所述的基于惯性姿态约束的特征匹配方法，其特征在于，步骤(5)所述中按照汉明距离进行排序后，选取汉明距离不大于最小距离一定倍数的特征点对作为正确匹配点对，所述最小距离一定倍数选取最小距离的2-5倍，并将介于一定距离的特征点对作为待定匹配点对，所述介于一定距离的特征点选取介于最小距离的2-5倍与最大距离的0.5-0.7倍之间的特征点。
5.根据权利要求1所述的基于惯性姿态约束的特征匹配方法，其特征在于，所述步骤(6)中使用g2o优化方法求解本质矩阵E以最小化重投影误差，重投影误差函数为：
其中，pα1和pα2分别表示第α个正确匹配点对在第一幅图像和第二幅图像的像素坐标，K为相机内参矩阵。
6.根据权利要求1所述的基于惯性姿态约束的特征匹配方法，其特征在于，所述步骤(7)中的对极约束条件为：自适应阈值函数为：ti＝d0d′i，
其中，pβ1和pβ2分别表示第β个待定匹配点对在第一幅图像和第二幅图像的像素坐标；d0为初始化阈值，d′i为阈值系数，当pβ1属于栅格Ai时，d′i为di/dmin,当pβ1不属于栅格集合A时,d′i为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910149805.5A CN109903343B (zh) | 2019-02-28 | 2019-02-28 | 一种基于惯性姿态约束的特征匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910149805.5A CN109903343B (zh) | 2019-02-28 | 2019-02-28 | 一种基于惯性姿态约束的特征匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109903343A true CN109903343A (zh) | 2019-06-18 |
| CN109903343B CN109903343B (zh) | 2023-05-23 |
Family
ID=66945859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910149805.5A Active CN109903343B (zh) | 2019-02-28 | 2019-02-28 | 一种基于惯性姿态约束的特征匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903343B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967485A (zh) * | 2020-04-26 | 2020-11-20 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100296736A1 (en) * | 2009-05-25 | 2010-11-25 | Canon Kabushiki Kaisha | Image search apparatus and method thereof |
| CN108615248A (zh) * | 2018-04-27 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| US20180284802A1 (en) * | 2016-08-29 | 2018-10-04 | PerceptIn, Inc. | Fault Tolerance to Provide Robust Tracking for Autonomous Positional Awareness |
| CN109086795A (zh) * | 2018-06-27 | 2018-12-25 | 上海理工大学 | 一种图像误匹配精确剔除方法 |
-
2019
- 2019-02-28 CN CN201910149805.5A patent/CN109903343B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100296736A1 (en) * | 2009-05-25 | 2010-11-25 | Canon Kabushiki Kaisha | Image search apparatus and method thereof |
| US20180284802A1 (en) * | 2016-08-29 | 2018-10-04 | PerceptIn, Inc. | Fault Tolerance to Provide Robust Tracking for Autonomous Positional Awareness |
| CN108615248A (zh) * | 2018-04-27 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN109086795A (zh) * | 2018-06-27 | 2018-12-25 | 上海理工大学 | 一种图像误匹配精确剔除方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967485A (zh) * | 2020-04-26 | 2020-11-20 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
| CN111967485B (zh) * | 2020-04-26 | 2024-01-05 | 中国人民解放军火箭军工程大学 | 一种基于概率超图学习的空地红外目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903343B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5759161B2 (ja) | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム | |
| CN103913131B (zh) | 一种基于双目视觉的自由曲面法矢量测量方法 | |
| KR102543952B1 (ko) | 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램 | |
| JP7097641B2 (ja) | 畳み込み知覚ハッシュアルゴリズムに基づくループ検出方法 | |
| CN110866934B (zh) | 基于规范性编码的复杂点云分割方法及系统 | |
| CN110555901A (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| CN114879695B (zh) | 轨迹匹配方法、装置、设备和介质 | |
| CN112050821B (zh) | 一种车道线聚合方法 | |
| CN107563446A (zh) | 一种微操作系统目标检测方法 | |
| US11687761B2 (en) | Improper neural network input detection and handling | |
| CN112233179B (zh) | 一种视觉里程计测量方法 | |
| CN110598590A (zh) | 基于多视角相机的紧密交互人体姿态估计方法及装置 | |
| CN111612841A (zh) | 目标定位方法及装置、移动机器人及可读存储介质 | |
| CN107403451B (zh) | 自适应二值特征单目视觉里程计方法及计算机、机器人 | |
| CN109145860A (zh) | 车道线跟踪方法和装置 | |
| CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN112085675B (zh) | 深度图像去噪方法、前景分割方法及人体运动监测方法 | |
| CN109740609A (zh) | 一种轨距检测方法及装置 | |
| CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN115187879A (zh) | 一种基于YOLOv5的楼栋检测与楼层定位方法及装置 | |
| CN109903343B (zh) | 一种基于惯性姿态约束的特征匹配方法 | |
| CN113095232A (zh) | 一种目标实时跟踪方法 | |
| CN116862984A (zh) | 一种相机的空间位姿估计方法 | |
| CN110570473A (zh) | 一种基于点线融合的权重自适应位姿估计方法 | |
| Lin et al. | Matching cost filtering for dense stereo correspondence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |