CN110097016A - 一种应用于vslam回环验证的路标特征点匹配方法 - Google Patents
一种应用于vslam回环验证的路标特征点匹配方法 Download PDFInfo
- Publication number
- CN110097016A CN110097016A CN201910380557.5A CN201910380557A CN110097016A CN 110097016 A CN110097016 A CN 110097016A CN 201910380557 A CN201910380557 A CN 201910380557A CN 110097016 A CN110097016 A CN 110097016A
- Authority
- CN
- China
- Prior art keywords
- road sign
- winding
- vslam
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种应用于VSLAM回环验证的路标特征点匹配方法，包括以下步骤：对VSLAM运行过程中的潜在回环对图像进行路标的提取；将潜在回环对图像的路标调整为相同大小；将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征；利用路标的卷积特征进行路标的匹配，确认相匹配的路标；在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配；将路标上匹配的特征点还原到原图中，并在原图中通过RANSAC进行外点的剔除和重复匹配特征点的剔除以得到内点；通过内点的数量来进行潜在回环对的筛选；可以提高VSLAM中回环验证的精度，改善视觉定位的鲁棒性。
Description
技术领域
本发明属于计算机视觉应用技术领域，尤其涉及一种应用于VSLAM回环验证的路标特征点匹配方法。
背景技术
使用单目视觉传感器进行环境建模，是一个低成本的、具有巨大应用前景的计算机视觉应用领域，一般而言，在机器人领域常将其归类为VSLAM(Visual SimultaneousLocalization and Mapping)问题。该技术领域的系统实现，一般通过利用关键帧图像之间的数据关联实现对周围环境的重构，通常特征点匹配在数据关联中起至关重要的地步，直接影响了VSLAM中的关键帧跟踪、回环验证等环节的精度。
发明内容
本发明关注于VSLAM问题中数据关联的特征点匹配环节，目的在于提供一种应用于VSLAM回环验证的路标特征点匹配方法，区别于已有的基于全图像的特征点匹配策略，基于路标的特征点匹配方法有利于提高特征点匹配的有效性，从而提高VSLAM系统的精度以及鲁棒性。
为达此目的，本发明采用以下技术方案：
一种应用于VSLAM回环验证的路标特征点匹配方法，包括以下步骤：
对VSLAM运行过程中的潜在回环对图像进行路标的提取；
将潜在回环对图像的路标调整为相同大小；
将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征；
利用路标的卷积特征进行路标的匹配，确认相匹配的路标；
在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配；
将路标上匹配的特征点还原到原图中，并在原图中通过RANSAC进行外点的剔除和重复匹配特征点的剔除以得到内点；
通过内点的数量来进行潜在回环对的筛选。
可选的，所述对VSLAM运行过程中的潜在回环对图像进行路标的提取的步骤包括：
采用BING路标提取算法从潜在回环对图像中提取路标。
可选的，所述潜在回环对图像的获取方法为：
在相机视角变化大的条件下通过VSLAM中的回环检测算法，得到潜在回环对图像。
可选的，所述潜在回环对图像的获取方法为：
在环境光照变化大的条件下通过VSLAM中的回环检测算法，得到潜在回环对图像。
可选的，所述潜在回环对图像的获取方法为：
在环境光照变化大和相机视角变化大的条件下，通过VSLAM中的回环检测算法，得到潜在回环对图像。
可选的，所述将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征的步骤包括：
将相同大小的路标的作为预训练神经网络模型AlexNet的输入；
提取预训练神经网络模型AlexNet第三层的高维张量作为每个路标的描述符；
将该描述符作为提取的路标的卷积特征。
可选的，所述利用路标的卷积特征进行路标的匹配，确认相匹配的路标的步骤包括：
利用卷积特征的余弦距离和提取的路标的大小进行路标的匹配，所述余弦距离计算如下，
其中，和分别为来自图像Ia和Ib的路标，Ia和Ib分别为潜在回环对中对应的图像；
将符合以下标准的预匹配路标视为真实匹配，
其中，和为预匹配的路标的大小，r为大于1的常数。
可选的，所述在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配的步骤包括：
将符合以下标准的进行特征点匹配，
其中wa和ha为图像Ia的宽和高，S为小于1的常数。
与现有技术相比，本发明实施例具有以下有益效果：
本实施例提供的一种应用于VSLAM回环验证的路标特征点匹配方法，在VSLAM的回环验证中，在潜在回环对中提取相应的路标进行匹配，在匹配的路标上进行特征点的匹配，将匹配的特征点还原到原图中，并通过RANSAC算法剔除外点和重复点的剔除得到内点，利用内点数量进行回环验证；通过提取AlexNet预训练网络第三层网络的高维特征作为描述符来代表提取的路标的特征，通过余弦距离和提取的路标的大小进行路标的匹配：最终保证提取有足够多的且准确的内点，以提高VSLAM中回环验证的精度，改善视觉定位的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种应用于VSLAM回环验证的路标特征点匹配方法的流程示意图。
图2为本发明实施例提供的一种应用于VSLAM回环验证的路标特征点匹配方法的方法流程图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1和图2所示，本实施例提出了一种应用于VSLAM系统的基于路标的特征点匹配策略，具体为一种应用于VSLAM回环验证的路标特征点匹配方法，以优化改进VSLAM系统中常见的基于整图像的特征点匹配策略。区别于已有的特征点匹配策略，本实施例基于路标的特征点匹配方法利用路标提取算法对VSLAM运行过程中的潜在回环对图像进行路标的提取，将路标作为预训练的神经网络的输入，生成提取的路标的卷积特征，利用路标的卷积特征进行路标的匹配，通过相匹配的路标来辅助特征点匹配。其中，将VSLAM运行过程中，经过多视图几何和RANSAC算法处理后剩下的匹配的特征点简称为内点(inliers)。
通过该应用于VSLAM回环验证的路标特征点匹配方法，得到有利于提高VSLAM系统中回环验证精度、改善视觉定位的鲁棒性。
具体的，本实施例提出一种应用于VSLAM回环验证的路标特征点匹配方法，包括以下步骤：
步骤S1，对VSLAM运行过程中的潜在回环对图像进行路标的提取；
步骤S2，将潜在回环对图像的路标调整为相同大小；
步骤S3，将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征；
步骤S4，利用路标的卷积特征进行路标的匹配，确认相匹配的路标；
步骤S5，在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式(如最近邻匹配，交叉验证匹配、距离比匹配等)进行特征点的匹配；
步骤S6，将路标匹配上的特征点还原到原图中，并在原图中通过RANSAC进行外点的剔除和重复匹配特征点的剔除以得到内点；
步骤S7，通过内点的数量来进行潜在回环对的筛选。
该路标特征点匹配方法区别于已有在全图进行特征点匹配的策略，而是利用卷积特征在光照和视角变化大的情况下依旧具有很好的不变性的性质，有利于在光照和视角变化大的环境下，通过多视图几何和RANSAC算法处理后，保证提取有足够多的且准确的内点，以提高VSLAM中回环验证的精度。由于VSLAM回环验证的准确率正比于内点的数量和匹配准确率，通过改善特征点匹配策略，进而提高VSLAM系统的回环验证精度。
具体的，在步骤S1中，潜在回环对图像的获取方法有三种形式：
第一种形式、在相机视角变化大的条件下通过VSLAM中的回环检测算法，得到潜在回环对图像。
第二种形式、在环境光照变化大的条件下通过VSLAM中的回环检测算法，得到潜在回环对图像。
第三种形式、在环境光照变化大和相机视角变化大的条件下，通过VSLAM中的回环检测算法，得到潜在回环对图像。
请参照图1所示，本实施例以第一种形式获取潜在回环对图像，是以多个不同视角拍摄同一事物获得的多个图像，如图1中的1和1’、5和5’等。
具体的，在步骤S1中，提取方法为采用BING路标提取算法从潜在回环对图像中提取路标。
具体的，在步骤S3中，所述将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征的步骤包括：
将相同大小的路标的作为预训练神经网络模型AlexNet的输入，其中，相同大小可以调整成224*224*3(宽*高*通道数)；
提取预训练神经网络模型AlexNet第三层的高维张量作为每个路标的描述符；
将该描述符作为提取的路标的卷积特征。
进一步的，在步骤S4中，所述利用路标的卷积特征进行路标的匹配，确认相匹配的路标的步骤包括：
利用卷积特征的余弦距离和提取的路标的大小进行路标的匹配，所述余弦距离计算如下，
其中，和分别为来自图像Ia和Ib的路标，Ia和Ib分别为潜在回环对中对应的图像；而余弦距离越小则两个路标越相似，使用交叉验证来进行初步路标的匹配。
由于预匹配路标大小相似性在一定程度上影响匹配的准确度，通过路标大小筛选匹配的路标，因此，将符合以下标准的预匹配路标视为真实匹配，
其中，和为预匹配的路标的大小，r为大于1的常数。
更进一步的，在步骤S5中，所述在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配的步骤包括：
由于匹配的路标大小会影响特征点匹配，因此，对于匹配的路标，将符合以下标准的进行特征点匹配，其中wa和ha为图像Ia的宽和高，S为小于1的常数。
在匹配的路标上，提取特征点并通过特征点匹配方式进行特征点的匹配后，将路标上匹配的特征点还原到原图中，并在原图中通过RANSAC进行外点的剔除和匹配重复特征点的剔除得到内点，通过内点的数量来进行潜在回环对的筛选，起到回环验证的效果。
综上所述，本实施例提供的一种应用于VSLAM回环验证的路标特征点匹配方法，在VSLAM的回环验证中，在潜在回环对中提取相应的路标进行匹配，在匹配的路标上进行特征点的匹配，将匹配的特征点还原到原图中，并通过RANSAC算法剔除外点和重复点的剔除得到内点，利用内点数量进行回环验证；通过提取AlexNet预训练网络第三层网络的高维特征作为描述符来代表提取的路标的特征，通过余弦距离和提取的路标的大小进行路标的匹配：最终保证提取有足够多的且准确的内点，以提高VSLAM中回环验证的精度，改善视觉定位鲁棒性的匹配特征点的集合。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，包括以下步骤：
对VSLAM运行过程中的潜在回环对图像进行路标的提取；
将潜在回环对图像的路标调整为相同大小；
将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征；
利用路标的卷积特征进行路标的匹配，确认相匹配的路标；
在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配；
将路标上匹配的特征点还原到原图中，并在原图中通过RANSAC进行外点的剔除和重复匹配特征点的剔除以得到内点；
通过内点的数量来进行潜在回环对的筛选。
2.根据权利要求1所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述对VSLAM运行过程中的潜在回环对图像进行路标的提取的步骤包括：
采用BING路标提取算法从潜在回环对图像中提取路标。
3.根据权利要求2所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述潜在回环对图像的获取方法为：
在相机视角变化大的条件下通过VSLAM中的回环检测算法，得到潜在回环对图像。
4.根据权利要求2所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述潜在回环对图像的获取方法为：
在环境光照变化大的条件下，通过VSLAM中的回环检测算法，得到潜在回环对图像。
5.根据权利要求2所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述潜在回环对图像的获取方法为：
在环境光照变化大和相机视角变化大的条件下，通过VSLAM中的回环检测算法，得到潜在回环对图像。
6.根据权利要求1所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述将相同大小的路标作为预训练的神经网络的输入，生成提取的路标的卷积特征的步骤包括：
将相同大小的路标的作为预训练神经网络模型AlexNet的输入；
提取预训练神经网络模型AlexNet第三层的高维张量作为每个路标的描述符；
将该描述符作为提取的路标的卷积特征。
7.根据权利要求6所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述利用路标的卷积特征进行路标的匹配，确认相匹配的路标的步骤包括：
利用卷积特征的余弦距离和提取的路标的大小进行路标的匹配，所述余弦距离计算如下，
其中，和分别为来自图像Ia和Ib的路标，Ia和Ib分别为潜在回环对中对应的图像；
将符合以下标准的预匹配路标视为真实匹配，
其中，和为预匹配的路标的大小，r为大于1的常数。
8.根据权利要求7所述的一种应用于VSLAM回环验证的路标特征点匹配方法，其特征在于，所述在确认相匹配的路标上进行特征点提取，并通过特征点匹配方式进行特征点的匹配的步骤包括：
将符合以下标准的进行特征点匹配，
其中wa和ha为图像Ia的宽和高，S为小于1的常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380557.5A CN110097016A (zh) | 2019-05-08 | 2019-05-08 | 一种应用于vslam回环验证的路标特征点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380557.5A CN110097016A (zh) | 2019-05-08 | 2019-05-08 | 一种应用于vslam回环验证的路标特征点匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110097016A true CN110097016A (zh) | 2019-08-06 |
Family
ID=67447384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910380557.5A Pending CN110097016A (zh) | 2019-05-08 | 2019-05-08 | 一种应用于vslam回环验证的路标特征点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097016A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
| CN107610175A (zh) * | 2017-08-04 | 2018-01-19 | 华南理工大学 | 基于半直接法和滑动窗口优化的单目视觉slam算法 |
| CN108108764A (zh) * | 2017-12-26 | 2018-06-01 | 东南大学 | 一种基于随机森林的视觉slam回环检测方法 |
| CN109460267A (zh) * | 2018-11-05 | 2019-03-12 | 贵州大学 | 移动机器人离线地图保存与实时重定位方法 |
-
2019
- 2019-05-08 CN CN201910380557.5A patent/CN110097016A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
| CN107610175A (zh) * | 2017-08-04 | 2018-01-19 | 华南理工大学 | 基于半直接法和滑动窗口优化的单目视觉slam算法 |
| CN108108764A (zh) * | 2017-12-26 | 2018-06-01 | 东南大学 | 一种基于随机森林的视觉slam回环检测方法 |
| CN109460267A (zh) * | 2018-11-05 | 2019-03-12 | 贵州大学 | 移动机器人离线地图保存与实时重定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| NIKO SUNDERHAUF ET AL: "Place Recognition with ConvNet Landmarks:Viewpoint-Robust, Condition-Robust, Training-Free", 《PROCEEDINGS OF ROBOTICS：SCIENCE AND SYSTEMS》 * |
| YANG LIU ET AL: "Keypoint Matching by Outlier Pruning with Consensus Constraint", 《2015 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| YI HOU ET AL: "BoCNF: efficient image matching with Bag of ConvNet features for scalable and robust visual place recognition", 《AUTONOMOUS ROBOT》 * |
| 胡春梅和王宴民: "《地面激光雷达与近景摄影测量技术集成》", 31 May 2017 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510530B (zh) | 一种三维点云匹配方法及其系统 | |
| CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
| CN103839277B (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| He et al. | Sparse template-based 6-D pose estimation of metal parts using a monocular camera | |
| CN103400384B (zh) | 结合区域匹配和点匹配的大视角图像匹配方法 | |
| Tang et al. | ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans | |
| CN107292965A (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
| CN104751465A (zh) | 一种基于lk光流约束的orb图像特征配准方法 | |
| CN105427333B (zh) | 视频序列图像的实时配准方法、系统及拍摄终端 | |
| CN108154066B (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
| CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
| CN109325995B (zh) | 基于人手参数模型的低分辨率多视角手部重建方法 | |
| CN105550994B (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
| CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN110544202B (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 | |
| CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
| CN112163622A (zh) | 全局与局部融合约束的航空宽基线立体像对线段特征匹配方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN103839253A (zh) | 一种基于局部仿射变换的任意点匹配方法 | |
| CN105787464A (zh) | 一种大量图片在三维场景中的视点标定方法 | |
| WO2022227462A1 (zh) | 定位方法、装置、电子设备及存储介质 | |
| CN104104911B (zh) | 全景图像生成过程中的时间戳消除和重置方法及系统 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210825 Address after: 528253 room 3, 803, floor 8, block 3, Tian'an center, No. 31, Jihua East Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Applicant after: Jiutian innovation (Guangdong) Intelligent Technology Co.,Ltd. Address before: No.729, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060 Applicant before: GUANGDONG University OF TECHNOLOGY |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190806 |
|
| RJ01 | Rejection of invention patent application after publication |