CN110702078B - 一种基于视觉的室内外一体化地图构建方法 - Google Patents

一种基于视觉的室内外一体化地图构建方法 Download PDF

Info

Publication number
CN110702078B
CN110702078B CN201911023772.6A CN201911023772A CN110702078B CN 110702078 B CN110702078 B CN 110702078B CN 201911023772 A CN201911023772 A CN 201911023772A CN 110702078 B CN110702078 B CN 110702078B
Authority
CN
China
Prior art keywords
indoor
outdoor
map
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911023772.6A
Other languages
English (en)
Other versions
CN110702078A (zh
Inventor
陈龙
张亚琛
谢玉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911023772.6A priority Critical patent/CN110702078B/zh
Publication of CN110702078A publication Critical patent/CN110702078A/zh
Application granted granted Critical
Publication of CN110702078B publication Critical patent/CN110702078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于地图构建技术领域，更具体地，涉及一种基于视觉的室内外一体化地图构建系统及其构建方法。地图构建系统包括基准制定模块，数据处理模块，特征提取模块，特征对齐模块和地图融合模块；本发明通过制定统一的室内外的地图基准，对室内地图和室外地图进行语义信息和图像特征提取，匹配与对齐，实现室内外一体化地图构建，提升了地图构建的效率和精度。

Description

一种基于视觉的室内外一体化地图构建方法
技术领域
本发明属于地图构建技术领域，更具体地，涉及一种基于视觉的室内外一体化地图构建方法。
背景技术
随着我国经济水平和人们生活水平的提高以及科学技术的发展，机器人也被逐渐应用到了人们的生活之中，如巡检机器人和扫地机器人等。这些机器人都可以极大程度的提高工作效率和生活水平。不论是什么机器人，要想正常工作都需要提前构建好对应场景的地图。
机器人在场景的划分中一般分为两类：室内场景和室外场景。根据场景的划分，机器人可以构建室内地图和室外地图。但是，由于现有的三维重建算法很难兼顾室内和室外场景，所以，目前的机器人基本都是分场景工作的。但是，很多情况下，机器人是需要在同一场景的室内和室外场景下工作，为了提升机器人的工作效率，需要构建出复杂场景下的室内外一体化地图。
发明内容
本发明为克服上述现有技术中的缺陷，提供一种基于视觉的室内外一体化地图构建方法，实现室内外一体化地图构建，提升了地图构建的效率和精度。
为解决上述技术问题，本发明采用的技术方案是：一种基于视觉的室内外一体化地图构建系统，包括：
基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；
数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；
特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；
特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；
地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。
进一步的，所述数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。
作为优选的，所述基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量。
作为优选的，所述视觉传感器为多颗单目相机或多目相机组成的组合相机。
本发明还提供一种基于视觉的室内外一体化地图构建方法，包括以下步骤：
S1.使用基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；
S2.使用数据处理模块的视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；
S3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；
S4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；
S5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；
S6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于RANSAC的图像匹配算法，匹配提取的室内和室外图像特征信息
S7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；
S8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。
与现有技术相比，有益效果是：
1.本发明通过制定统一的室内外的地图基准，对室内地图和室外地图进行语义信息和图像特征提取，匹配与对齐，实现室内外一体化地图构建，提升了地图构建的效率和精度；
2.本发明的组合相机相比于单目相机获取深度信息，相比于激光雷达成本节省很多，可以获取图像色彩信息，便于直观的对数据进行可视化操作；
3.本发明操作流程简单，成本低，适用范围广，各种复杂室内外场景均可使用。
附图说明
图1是本发明地图构建系统示意图。
图2是本发明地图构建方法流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
实施例1：
如图1所示，一种基于视觉的室内外一体化地图构建系统，包括：
基准制定模块：用于设定三维地图的三轴单位向量(东北天/北东地等)，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；
数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；
特征提取模块：用于对室内和室外场景三维地图进行诸如门，窗等室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；
特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；
地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建。
本发明应用场景为在相同环境下室内和室外场景需包含共有的语义部件和特征信息。
实施例2
如图2所示，一种基于视觉的室内外一体化地图构建方法，包括以下步骤：
步骤1.基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；
步骤2.数据处理模块包括视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；
步骤3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；
步骤4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；
步骤5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；
步骤6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于RANSAC的图像匹配算法，匹配提取的室内和室外图像特征信息；
步骤7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；
步骤8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。
其中，基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量；数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。
在本实施例中，数据处理模块使用的视觉传感器为多颗单目相机或多目相机组成的组合相机。
在本实施例中，数据处理模块使用的三维重建方案可根据室内和室外场景选取不同的方法，构建同一地图基准下室内和室外地图。特征提取模块对室内和室外三维地图的共有语义部件和图像特征。
另外，特征对齐模块基于共有部件语义和特征一致性进行语义匹配和图像匹配，得到室内地图和室外地图的姿态变换矩阵。
其中，所述地图融合模块根据姿态变换矩阵对室内三维地图和室外三维地图进行图像变换，实现室内外地图融合，构建室内外一体化地图。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于视觉的室内外一体化地图构建方法，其特征在于，使用室内外一体化地图构建系统进行室内外一体化地图构建，所述的地图构建系统包括：
基准制定模块：用于设定三维地图的三轴单位向量，制定统一的室内外通用的地图规则，使得构建的室内和室外场景的三维地图处于同一个地图基准中，并将该基准输入数据处理模块；
数据处理模块：用于基于制定的室内外一体化基准，对同一环境下的室内场景和室外场景进行视觉传感器数据采集，构建同一基准下的室内地图和室外地图，并将室内和室外地图输入特征提取模块；
特征提取模块：用于对室内和室外场景三维地图进行室内外共有部件的语义信息和图像纹理的提取，得到室内外场景共有的语义信息和图像特征，并将语义信息和图像特征输入特征对齐模块；
特征对齐模块：用于根据提取的语义信息和图像特征，结合共有部件语义和特征一致性的原理，对语义信息进行部件最大化对齐，对图像特征使用图像匹配算法，实现语义信息和图像特征的对齐，得到室内和室外地图的姿态变换关系，并将该姿态变换矩阵输入地图融合模块；
地图融合模块：用于基于室内和室外地图的姿态变换关系，对室内场景和室外场景三维地图进行图像变换，融合为一个完整的三维地图，实现室内外一体化地图构建；
室内外一体化地图构建方法具体包括以下步骤：
S1.使用基准制定模块设定三维场景地图的三轴单位向量，制定统一的室内和室外地图规则；
S2.使用数据处理模块的视觉传感器，对多颗单目相机或多目相机组成的组合相机进行标定，获取摄像头的内外参数，对组合相机采集到的图像进行校正；
S3.数据处理模块根据制定的地图标准，采集室内和室外数据，并使用基于视觉的三维重建方法，构建室内和室外三维地图；
S4.特征提取模块基于室内和室外三维地图，提取室内外共有的语义部件信息和图像特征，以便计算室内和室外三维地图间的姿态变换矩阵；
S5.特征提取模块基于共有部件语义一致性的原理，使用语义匹配算法，匹配室内和室外三维地图的语义信息；
S6.特征提取模块根据室内外共有场景特征一致性的原理，使用基于RANSAC的图像匹配算法，匹配提取的室内和室外图像特征信息
S7.特征对齐模块根据语义部件信息和图像特征信息匹配的结果，进行语义部件最大化对齐和图像像素点对齐，实现室内和室外特征信息的对齐，得到姿态变换矩阵，并输入到地图融合模块；
S8.地图融合模块根据提取的室内外三维地图的姿态变换矩阵，对基于同一地图基准的室内和室外地图进行三维像素点变换，最终构建出基于视觉的室内外一体化地图。
2.根据权利要求1所述的基于视觉的室内外一体化地图构建方法，其特征在于，所述的基准制定模块制定的基准需符合实际的室内外场景，设定相同的三维地图的单位向量。
3.根据权利要求1所述的基于视觉的室内外一体化地图构建方法，其特征在于，所述的数据处理模块使用视觉传感器根据制定的地图基准，进行室内和室外数据的采集。
4.根据权利要求1所述的基于视觉的室内外一体化地图构建方法，其特征在于，所述的视觉传感器为多颗单目相机或多目相机组成的组合相机。
CN201911023772.6A 2019-10-25 2019-10-25 一种基于视觉的室内外一体化地图构建方法 Active CN110702078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023772.6A CN110702078B (zh) 2019-10-25 2019-10-25 一种基于视觉的室内外一体化地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023772.6A CN110702078B (zh) 2019-10-25 2019-10-25 一种基于视觉的室内外一体化地图构建方法

Publications (2)

Publication Number Publication Date
CN110702078A CN110702078A (zh) 2020-01-17
CN110702078B true CN110702078B (zh) 2021-04-09

Family

ID=69203510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023772.6A Active CN110702078B (zh) 2019-10-25 2019-10-25 一种基于视觉的室内外一体化地图构建方法

Country Status (1)

Country Link
CN (1) CN110702078B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066112B (zh) * 2021-03-25 2021-10-22 泰瑞数创科技(北京)有限公司 一种基于三维模型数据的室内外融合方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111072A1 (es) * 2016-12-16 2018-06-21 Rodarte Leyva Eduardo Método de captura dinámica de imágenes aéreas para incrementar la resolución
CN109443345A (zh) * 2018-10-29 2019-03-08 温州大学 用于监控导航的定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751731B1 (ko) * 2015-08-10 2017-06-29 숭실대학교산학협력단 위치 추적 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111072A1 (es) * 2016-12-16 2018-06-21 Rodarte Leyva Eduardo Método de captura dinámica de imágenes aéreas para incrementar la resolución
CN109443345A (zh) * 2018-10-29 2019-03-08 温州大学 用于监控导航的定位方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于三维线结构的建筑物室内建模;侯士伟;《工程科技Ⅱ辑》;20190731;第2019卷(第07期);论文正文，附图 *
基于视觉的移动机器人室内实时定位与制图技术研究;刘康;《信息科技辑》;20181031;第2018卷(第10期);全文 *
移动机器人适应搜救环境的同时定位和地图构建（SLAM）方法研究;王洪玲;《信息科技辑》;20190228;第2019卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110702078A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN109615652B (zh) 一种深度信息获取方法及装置
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN108053449A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
CN110264563A (zh) 一种基于orbslam2的八叉树建图方法
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN113393522A (zh) 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN110458025B (zh) 一种基于双目摄像头的目标识别与定位方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN109443200B (zh) 一种全局视觉坐标系和机械臂坐标系的映射方法及装置
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN112556719A (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN114494276A (zh) 一种两阶段多模态三维实例分割方法
CN110702078B (zh) 一种基于视觉的室内外一体化地图构建方法
CN112102403A (zh) 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质
CN114812558A (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN112348941A (zh) 一种基于点云与图像数据的实时融合方法及装置
CN112329649A (zh) 一种城市植被种类识别方法、系统、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant