CN114543787A - 基于条纹投影轮廓术的毫米级室内建图定位方法 - Google Patents
基于条纹投影轮廓术的毫米级室内建图定位方法 Download PDFInfo
- Publication number
- CN114543787A CN114543787A CN202210418709.8A CN202210418709A CN114543787A CN 114543787 A CN114543787 A CN 114543787A CN 202210418709 A CN202210418709 A CN 202210418709A CN 114543787 A CN114543787 A CN 114543787A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- map
- camera
- matrix
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
Abstract
本发明涉及一种基于条纹投影轮廓术的毫米级室内建图定位方法,包括如下步骤:采集当前视角的三维彩色点云数据,基于二维纹理到三维点云数据中描述符的由粗到精,使用配准算法将误差进行最小化处理,生成局部地图。第一视角局部地图和第二视角局部地图融合作为全局地图。将下一视角融合至全局地图中,直至所有视角下的局部地图均融合至全局地图中得到粗全局地图。根据粗全局地图坐标映射关系来确定相机位姿。利用光束平差法和图优化的方法来优化位姿,更新的变化矩阵用来重新优化粗全局地图,得到优化后的全局地图。用户或机器人可以拿起并移动设备,生成准确的室内地图,并在扫描过程中获得即时反馈。
Description
技术领域
本发明涉及一种基于条纹投影轮廓术的毫米级室内建图定位方法,属于计算机视觉和机器人应用技术领域。
背景技术
同步定位和建图技术(SLAM)在计算机视觉和机器人社区中变得越来越重要,它构建未知场景的2-D/3-D地图并同时在地图中定位传感器。传统的SLAM选择分辨率和精度相对较低的 2-D/3-D数据传感器,例如,3-D精度和分辨率均为厘米(cm)甚至分米(dm)级。因此,SLAM 经常用于户外对准确性的要求不高的应用,例如大场景中的自动驾驶和无人机探索工作。对于室内应用,需要毫米(mm)级高分辨率和高精度的需求,以确保成功执行任务。一个例子是室内服务机器人,机器人系统需要在未知的狭窄场景中探索和规划自己的路线。又如增强和虚拟现实(AR/VR),需要高精度的映射和定位结果,实现虚拟信息与真实环境的无缝融合,进而获得沉浸式虚拟交互。
传统的SLAM技术通过使用激光雷达或视觉传感器来感知周围的3D场景。激光雷达由于具有工作距离大、鲁棒性高等优点,被广泛应用于户外SLAM的自动驾驶。然而,由于获得的3D数据的稀疏性和计算复杂性,使用LiDAR的室内SLAM是一项具有挑战性的任务,难以为室内服务机器人提供实时密集地图。基于视觉的技术通过使用被动立体视觉或主动飞行时间 (ToF)来感知 3D 场景。对于单调和无纹理的场景(例如墙壁、橱柜),立体视觉很难重建。由于成像原理的限制,ToF 的测量分辨率较低,近距离时精度会受到影响。由于室内空间狭小,分布物体小而分散,需要进行小面积、密集、高精度、高清的扫描。如前所述,SLAM中使用的3D传感技术不能满足室内SLAM的精度和速度要求。因此,它们不足以准确定位传感器以及与室内场景的交互。如何更准确、更有效地感知周围场景对于拓宽室内SLAM的应用至关重要。
典型的基于结构光的3D传感技术有条纹投影轮廓测量(FPP),具有灵活、高分辨率(亚毫米级3D 点间距)、高精度(毫米到微米)和高速的属性(每秒数千帧)这些特点。利用FPP传感器实现高分辨率与室内SLAM的高精度结合则可以满足更多的需求。而据悉,FPP尚未应用于SLAM,这是基于FPP的SLAM存在几个挑战。首先,FPP被广泛应用于小型物体的扫描应用。然而,室内SLAM通常需要能够进行高效大视场的3D扫描传感器。其次,对于FPP技术,将单视图扫描的3D点云快速准确地集成到全局地图中仍然存在问题。最后,基于FPP坐标系的相机定位估计及后续的定位优化仍处于空白。虽然室内SLAM与FPP技术结合的机会是显而易见的,但上述问题阻碍了我们将FPP应用于室内建图和定位。
发明内容
发明目的:针对上述现有存在的问题和不足,本发明的目的是提供一种基于条纹投影轮廓术的毫米级室内建图定位方法,用户或机器人可以拿起并移动FPP传感器,通过多视角的数据生成准确的室内地图,并在扫描后得到优化地图。
技术方案:为实现上述发明目的,本发明采用以下技术方案:
一种基于条纹投影轮廓术的毫米级室内建图定位方法,包括如下步骤:
步骤1:使用FPP传感器采集当前视角的三维彩色点云数据,包括此视角下的二维纹理和三维点云数据;
步骤2:基于步骤1得到的当前视角三维彩色点云数据中的二维纹理到三维点云数据中描述符的由粗到精,执行局部建图模块,使用配准算法来将计算前后帧点云与三维点云数据之间的误差进行最小化处理,生成当前视角局部地图;
步骤3:对第一视角和第二视角进行步骤1~2,得到第一视角局部地图和第二视角局部地图,将两局部地图执行精配准后融合作为初全局地图;
步骤4:开始全局建图,对下一视角重复步骤1~2,得到下一视角局部地图,将下一视角局部地图执行精配准后融合至步骤3得到的初全局地图中,直至所有视角下的局部地图均融合至初全局地图中,得到粗全局地图;
步骤5:根据步骤4得到的粗全局地图和FPP中的坐标映射关系来确定相机的6D位姿,所述6D位姿包括位置和朝向;
步骤6:利用光束平差法和图优化的方法来优化步骤5中的相机的6D位姿,得到全局一致的轨迹的优化后相机6D位姿;
步骤7:步骤6得到的优化后相机6D位姿中更新的变化矩阵用来重新优化粗全局地图,得到优化后的全局地图。
进一步的,步骤2中的具体步骤如下:
步骤2.1:对得到的二维纹理利用SURF算法提取二维匹配点,得到二维变换矩阵;
步骤2.2:根据坐标变换将步骤2.1中得到的二维变换矩阵转换成三维变换矩阵,作为初始配准先验;
步骤2.3:根据步骤2.1的二维匹配点提取对应的三维特征点;
步骤2.4:对步骤2.3得到的三维点进行ICP点云精配准,结合步骤2.2得到的初始配准先验得到点云间的变换矩阵;
步骤2.5:应用步骤2.4得到的点云间的变换矩阵对三维点云数据进行配准,生成局部地图。
进一步的,步骤5中的具体步骤如下:
步骤5.4:步骤5.3中的透视投影模型写成方程组的形式为:
其中,每组三维特征点和二维匹配点匹配点对应两个方程,一共有12个未知数,需要至少6组匹配点进行求解;
步骤5.5:假设有N组匹配点,则,
当N=6时,直接求解线性方程组,
步骤5.7:旋转矩阵和平移矩阵求解完成后,根据步骤5.2得到当前摄像机的位置和位姿,对当前点云数据进行实时摄像机定位。
有益效果:与现有技术相比,本发明具有以下优点:用户或机器人可以拿起并移动FPP传感器,通过多视角扫描后的数据生成准确的室内地图,并通过计算得到摄像机位姿进而得到优化地图。
附图说明
图1是本发明的步骤流程图;
图2是本发明的实施例的局部建图流程图;
图3是本发明的FPP传感器确定6D位姿流程图;
图4是本发明的实施例的FPP传感器装置外观示意图;
图5是本发明的实施例的FPP传感器装置内部结构图,
图中,1—相机,2—接口扩展板,3—DLP投影仪;
图6是本发明的实施例中设备相对位置示意图,
图中,4—电脑,5—FPP传感器,6—电池,7—移动手推车;
图7是本发明的实施例的全局建图视角位置示意图;
图8是本发明的实施例的全局建图结果示意图;
图9是图8中局部细节的放大示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例
对南京理工大学电子工程与光电技术学院走廊进行实验,根据如图1所示的本发明方法,以及如图5的整体装置来进行本发明的方法计算。
一种基于条纹投影轮廓术的毫米级室内建图定位方法,包括如下步骤:
步骤1:使用如图4~6中设备的FPP传感器5通过相机1采集当前视角的三维彩色点云数据储存于接口扩展板2,包括此视角下的二维纹理和三维点云数据。
步骤2:在电脑4中基于步骤1得到的当前视角三维彩色点云数据中的二维纹理到三维点云数据中描述符的由粗到精,按照如图2所示的流程图通过DLP投影仪3进行局部建图,执行局部建图模块,使用配准算法来将计算前后帧点云与三维点云数据之间的误差进行最小化处理,生成当前视角局部地图。具体步骤如下:
步骤2.1:对得到的二维纹理利用SURF算法提取二维匹配点,得到二维变换矩阵。
步骤2.2:根据坐标变换将步骤2.1中得到的二维变换矩阵转换成三维变换矩阵,作为初始配准先验。
步骤2.3:根据步骤2.1的二维匹配点提取对应的三维特征点。
步骤2.4:对步骤2.3得到的三维点进行ICP点云精配准,结合步骤2.2得到的初始配准先验得到点云间的变换矩阵。
步骤2.5:应用步骤2.4得到的点云间的变换矩阵对三维点云数据进行配准,生成局部地图。
步骤3:第一视角之后推动移动手推车7至第二视角,移动手推车7上设置有电池6,为整个设备提供的电源,对第一视角和第二视角进行步骤1~2,得到第一视角局部地图和第二视角局部地图,将两局部地图执行精配准后融合作为初全局地图。
步骤4:开始全局建图,对下一视角重复步骤1~2,得到下一视角局部地图,将下一视角局部地图执行精配准后融合至步骤3得到的初全局地图中,不断改变FPP传感器的位置来采集如图7的61个视角下的点云数据,直至所有视角下的局部地图均融合至初全局地图中,得到粗全局地图。
步骤5:按照如图3所示的流程来确定6D位姿。根据步骤4得到的粗全局地图和FPP中的坐标映射关系来确定相机的6D位姿,所述6D位姿包括位置和朝向。具体步骤如下:
步骤5.4:步骤5.3中的透视投影模型写成方程组的形式为:
其中,每组三维特征点和二维匹配点匹配点对应两个方程,一共有12个未知数,需要至少6组匹配点进行求解;
步骤5.5:假设有N组匹配点,则,
当N=6时,直接求解线性方程组,
步骤5.7:旋转矩阵和平移矩阵求解完成后,根据步骤5.2得到当前摄像机的位置和位姿,对当前点云数据进行实时摄像机定位。
步骤6:利用光束平差法和图优化的方法来优化步骤5中的相机的6D位姿,得到全局一致的轨迹的优化后相机6D位姿。
步骤7:步骤6得到的优化后相机6D位姿中更新的变化矩阵用来重新优化粗全局地图,得到优化后的全局地图。即最终通过本发明的方法得到图8所示的走廊的全局场景地图。图9为图8中框图部分的局部细节放大图。
Claims (3)
1.一种基于条纹投影轮廓术的毫米级室内建图定位方法,其特征在于:包括如下步骤:
步骤1:使用FPP传感器采集当前视角的三维彩色点云数据,包括此视角下的二维纹理和三维点云数据;
步骤2:基于步骤1得到的当前视角三维彩色点云数据中的二维纹理到三维点云数据中描述符的由粗到精,执行局部建图模块,使用配准算法来将计算前后帧点云与三维点云数据之间的误差进行最小化处理,生成当前视角局部地图;
步骤3:对第一视角和第二视角进行步骤1~2,得到第一视角局部地图和第二视角局部地图,将两局部地图执行精配准后融合作为初全局地图;
步骤4:开始全局建图,对下一视角重复步骤1~2,得到下一视角局部地图,将下一视角局部地图执行精配准后融合至步骤3得到的初全局地图中,直至所有视角下的局部地图均融合至初全局地图中,得到粗全局地图;
步骤5:根据步骤4得到的粗全局地图和FPP中的坐标映射关系来确定相机的6D位姿,所述6D位姿包括位置和朝向;
步骤6:利用光束平差法和图优化的方法来优化步骤5中的相机的6D位姿,得到全局一致的轨迹的优化后相机6D位姿;
步骤7:步骤6得到的优化后相机6D位姿中更新的变化矩阵用来重新优化粗全局地图,得到优化后的全局地图。
2.根据权利要求1所述的基于条纹投影轮廓术的毫米级室内建图定位方法,其特征在于:步骤2中的具体步骤如下:
步骤2.1:对得到的二维纹理利用SURF算法提取二维匹配点,得到二维变换矩阵;
步骤2.2:根据坐标变换将步骤2.1中得到的二维变换矩阵转换成三维变换矩阵,作为初始配准先验;
步骤2.3:根据步骤2.1的二维匹配点提取对应的三维特征点;
步骤2.4:对步骤2.3得到的三维点进行ICP点云精配准,结合步骤2.2得到的初始配准先验得到点云间的变换矩阵;
步骤2.5:应用步骤2.4得到的点云间的变换矩阵对三维点云数据进行配准,生成局部地图。
3.根据权利要求2所述的基于条纹投影轮廓术的毫米级室内建图定位方法,其特征在于:步骤5中的具体步骤如下:
步骤5.4:步骤5.3中的透视投影模型写成方程组的形式为:
其中,每组三维特征点和二维匹配点匹配点对应两个方程,一共有12个未知数,需要至少6组匹配点进行求解;
步骤5.5:假设有N组匹配点,则,
当N=6时,直接求解线性方程组,
步骤5.7:旋转矩阵和平移矩阵求解完成后,根据步骤5.2得到当前摄像机的位置和位姿,对当前点云数据进行实时摄像机定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418709.8A CN114543787B (zh) | 2022-04-21 | 2022-04-21 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418709.8A CN114543787B (zh) | 2022-04-21 | 2022-04-21 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114543787A true CN114543787A (zh) | 2022-05-27 |
CN114543787B CN114543787B (zh) | 2022-09-13 |
Family
ID=81667608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210418709.8A Active CN114543787B (zh) | 2022-04-21 | 2022-04-21 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114543787B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423934A (zh) * | 2022-08-12 | 2022-12-02 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及存储介质 |
CN117475170A (zh) * | 2023-12-22 | 2024-01-30 | 南京理工大学 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
CN110782494A (zh) * | 2019-10-16 | 2020-02-11 | 北京工业大学 | 一种基于点线融合的视觉slam方法 |
CN112785643A (zh) * | 2021-02-02 | 2021-05-11 | 武汉科技大学 | 一种基于机器人平台的室内墙角二维语义地图构建方法 |
CN113138395A (zh) * | 2021-04-25 | 2021-07-20 | 南京鹏畅科技实业有限公司 | 一种基于全站仪的激光雷达数据融合的点云地图构建方法 |
WO2021233029A1 (en) * | 2020-05-18 | 2021-11-25 | Shenzhen Intelligence Ally Technology Co., Ltd. | Simultaneous localization and mapping method, device, system and storage medium |
-
2022
- 2022-04-21 CN CN202210418709.8A patent/CN114543787B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
CN110782494A (zh) * | 2019-10-16 | 2020-02-11 | 北京工业大学 | 一种基于点线融合的视觉slam方法 |
WO2021233029A1 (en) * | 2020-05-18 | 2021-11-25 | Shenzhen Intelligence Ally Technology Co., Ltd. | Simultaneous localization and mapping method, device, system and storage medium |
CN112785643A (zh) * | 2021-02-02 | 2021-05-11 | 武汉科技大学 | 一种基于机器人平台的室内墙角二维语义地图构建方法 |
CN113138395A (zh) * | 2021-04-25 | 2021-07-20 | 南京鹏畅科技实业有限公司 | 一种基于全站仪的激光雷达数据融合的点云地图构建方法 |
Non-Patent Citations (3)
Title |
---|
YANG ZHAO 等: "Indoor simultaneous localization and mapping based on fringe projection profilometry", 《ARXIV》 * |
张凯: "无人驾驶电动方程式赛车环境感知算法研究", 《中国优秀硕士学位论文全文数据库》 * |
闫铭: "动态场景下的视觉里程计优化方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423934A (zh) * | 2022-08-12 | 2022-12-02 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及存储介质 |
CN115423934B (zh) * | 2022-08-12 | 2024-03-08 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及存储介质 |
CN117475170A (zh) * | 2023-12-22 | 2024-01-30 | 南京理工大学 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
CN117475170B (zh) * | 2023-12-22 | 2024-03-22 | 南京理工大学 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114543787B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN114543787B (zh) | 基于条纹投影轮廓术的毫米级室内建图定位方法 | |
US9322646B2 (en) | Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning | |
CN103196370B (zh) | 一种导管接头空间位姿参数的测量方法和装置 | |
CN112927360A (zh) | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 | |
CN105160702A (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
Heng et al. | Real-time photo-realistic 3d mapping for micro aerial vehicles | |
CN111640156A (zh) | 针对室外弱纹理目标的三维重建方法、设备及存储设备 | |
Ye et al. | An accurate 3D point cloud registration approach for the turntable-based 3D scanning system | |
JP2016217941A (ja) | 3次元データ評価装置、3次元データ測定システム、および3次元計測方法 | |
Jin et al. | An indoor location-based positioning system using stereo vision with the drone camera | |
Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
Yang et al. | Vision system of mobile robot combining binocular and depth cameras | |
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
Chen et al. | Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras | |
CN112525106A (zh) | 基于三相机协同激光的3d探测方法及装置 | |
Huang et al. | A joint calibration method for the 3D sensing system composed with ToF and stereo camera | |
CN116704112A (zh) | 一种用于对象重建的3d扫描系统 | |
CN116128966A (zh) | 一种基于环境物体的语义定位方法 | |
Tu et al. | Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera | |
CN114782357A (zh) | 一种用于变电站场景的自适应分割系统及方法 | |
CN116136408A (zh) | 室内导航方法、服务器、装置和终端 | |
CN112648936A (zh) | 基于差分投影的立体视觉检测方法及检测装置 | |
Zhao et al. | The construction method of the digital operation environment for bridge cranes | |
Hirzinger et al. | Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |