CN117351140B - 融合全景相机和激光雷达的三维重建方法、装置及设备 - Google Patents

融合全景相机和激光雷达的三维重建方法、装置及设备 Download PDF

Info

Publication number
CN117351140B
CN117351140B CN202311199690.3A CN202311199690A CN117351140B CN 117351140 B CN117351140 B CN 117351140B CN 202311199690 A CN202311199690 A CN 202311199690A CN 117351140 B CN117351140 B CN 117351140B
Authority
CN
China
Prior art keywords
pose
laser radar
point cloud
camera
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311199690.3A
Other languages
English (en)
Other versions
CN117351140A (zh
Inventor
屠殿韬
申抒含
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311199690.3A priority Critical patent/CN117351140B/zh
Publication of CN117351140A publication Critical patent/CN117351140A/zh
Application granted granted Critical
Publication of CN117351140B publication Critical patent/CN117351140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种融合全景相机和激光雷达的三维重建方法、装置及设备，其中方法包括：对全景图像进行初始相机位姿估计，得到初始相机位姿和稀疏三维点云；基于激光雷达位姿对雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对激光雷达点云进行位姿优化，对激光雷达点云进行去畸变得到激光雷达位姿；在激光雷达位姿不收敛的情况下，基于激光雷达位姿迭代执行对雷达点云特征进行特征匹配，对激光雷达点云进行去畸变，直至激光雷达位姿收敛；对初始相机位姿、稀疏三维点云和收敛的激光雷达位姿进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云，不需要额外传感器，降低设备复杂性，成本更低。

Description

融合全景相机和激光雷达的三维重建方法、装置及设备
技术领域
本发明涉及三维重建技术领域，尤其涉及一种融合全景相机和激光雷达的三维重建方法、装置及设备。
背景技术
摄像头和激光雷达(Light Detection and Ranging，LiDAR)是目前常用于三维重建的两种传感器类型。
现有技术中，主要有基于视觉、基于激光雷达和基于融合的三维重建方法。
然而，基于视觉的方法容易受到无纹理区域和光照的影响，而基于激光雷达的方法在缺乏显著结构特征的场景中容易退化。目前大部分基于融合的方法要求摄像头和激光雷达之间严格的同步，还需要辅助传感器，如惯性测量单元(Inertial Measurement Unit，IMU)，所有这些因素导致了设备成本和复杂性的增加。
发明内容
本发明提供一种融合全景相机和激光雷达的三维重建方法、装置及设备，用以解决现有技术中基于视觉、基于激光雷达和基于融合的三维重建方法的缺陷。
本发明提供一种融合全景相机和激光雷达的三维重建方法，包括：
获取全景图像和激光雷达点云；
对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；
对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；
对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云，包括：
确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差；
基于所述第一残差、所述第二残差和所述第三残差，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到所述目标相机位姿、所述目标激光雷达位姿和所述目标稀疏三维点云。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差，包括：
对所述全景图像进行直线检测，得到多条初始线段；
基于所述多条初始线段之间的角度，对所述多条初始线段进行融合，得到所述全景图像的直线检测结果；
基于所述直线检测结果和所述激光雷达点云，进行所述全景相机和所述激光雷达之间的直线匹配，得到直线匹配结果；
基于所述直线匹配结果，确定所述全景相机和所述激光雷达之间的第二残差；
对每两张全景图像之间进行特征点匹配，得到所述全景相机和所述全景相机之间的第一残差；
对每两个激光雷达点云之间进行特征匹配，得到所述激光雷达和所述激光雷达之间的第三残差。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云，包括：
对所述全景图像进行特征提取，得到全景图像特征，并基于所述全景图像特征，获取所述全景图像的相似全景图像，并基于所述全景图像和所述相似全景图像确定初始图像对；
对所述初始图像对中所述全景图像和所述相似全景图像的特征点进行匹配，基于匹配后的初始图像对进行相对位姿估计，得到所述全景图像与所述相似全景图像之间的相对位姿，并基于所述相对位姿，确定位姿图；
对所述初始图像对中匹配成功的特征点进行特征三角化，得到所述特征点对应的初始三维点云；
对所述位姿图进行全局位姿估计，得到初始位姿；
基于所述初始位姿和所述初始三维点云，进行捆绑调整，得到所述初始相机位姿和所述稀疏三维点云。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述对所述激光雷达点云进行特征点提取，得到各雷达点云特征，包括：
计算所述激光雷达点云中各点的曲率，并基于所述各点的曲率，提取所述激光雷达点云的边缘特征点；
对所述边缘特征点进行融合，得到雷达点云直线特征。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述各点的曲率是基于所述各点和所述各点的邻居点集合确定的。
根据本发明提供的一种融合全景相机和激光雷达的三维重建方法，所述基于所述各点的曲率，提取所述激光雷达点云的边缘特征点，包括：
对所述激光雷达点云进行分割，得到所述激光雷达点云中的地面点和非地面点；
在所述各点不属于所述非地面点的情况下，基于所述各点的曲率，提取所述激光雷达点云的边缘特征点。
本发明还提供一种融合全景相机和激光雷达的三维重建装置，包括：
获取单元，用于获取全景图像和激光雷达点云；
相机位姿估计单元，用于对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；
确定激光雷达位姿单元，用于对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
优化单元，用于在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；
联合位姿优化单元，用于对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融合全景相机和激光雷达的三维重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合全景相机和激光雷达的三维重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述融合全景相机和激光雷达的三维重建方法。
本发明提供的融合全景相机和激光雷达的三维重建方法、装置及设备，首先，放宽了全景相机和激光雷达两种传感器的数据严格同步的要求，因此数据采集设备中不需要硬件同步模块；其次，采用全景相机作为视觉传感器，提高了视觉部分的稳健性，并充分利用了激光雷达信息；最后，由于不需要额外的传感器，例如IMU、轮式测距仪和GNSS(GlobalNavigation Satellite System，全球导航卫星系统)，从而降低了设备的复杂性，且成本更低。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的融合全景相机和激光雷达的三维重建方法的流程示意图之一；
图2是本发明提供的融合全景相机和激光雷达的三维重建方法的流程示意图之二；
图3是本发明提供的数据同步过程的示意图；
图4是本发明提供的初始位姿估计的流程示意图；
图5是本发明提供的联合位姿优化的流程示意图；
图6是本发明提供的基于角度的点到线距离和点到面距离表示的示意图；
图7是本发明提供的激光雷达点云中提取伪边缘的示意图；
图8是本发明提供的融合全景相机和激光雷达的三维重建装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”、“第三”等所区分的对象通常为一类。
相关技术中，场景的稠密三维重建一直是一个热门的研究领域，目前主要使用两种类型的传感器，即相机和激光雷达。
在过去几十年中，由于其成本效益、高分辨率和捕捉丰富语义信息的能力，相机已经成为最常用于三维重建的传感器。
在传统的基于视觉的三维重建过程中，通常使用从运动恢复结构(Structure-from-Motion，SfM)或者同时定位与地图构建(Simultaneous Localization and Mapping，SLAM)来计算相机位姿并进行稀疏重建。随后，多视图立体匹配(Multi-View Stereo，MVS)用于进行稠密重建。然而，由于摄像头传感器的限制，纯视觉方法存在一系列困难。首先，缺乏深度信息导致从图像重建的模型与实际模型以及相机运动之间存在尺度差异。此外，基于视觉的方法需要图像之间足够的重叠区域才能准确恢复相机运动，这对于视野较小的摄像头来说是一个挑战。最后，被重建的环境需要具有丰富的纹理和众多视觉特征，这样图像之间才能进行比较可靠的特征匹配。以上这些限制使得在一些复杂场景中，使用基于视觉的三维重建具有挑战性。
另一种常用于三维重建的传感器是激光雷达，它可以通过发射激光束并计算激光飞行时间来捕捉精确的深度信息，因此几乎不受光照或环境的影响。激光雷达里程计与地图构建(LiDAR Odometry and Mapping，LOAM)，以及一系列改进算法(LeGO-LOAM，F-LOAM)，是目前基于激光雷达的三维重建中应用最广泛的方法。由于激光雷达可以在三维空间中检测物体，LOAM解决了尺度奇异性问题。此外，LOAM将空间结构用作特征，所以在无纹理场景中仍然能进行三维重建。然而，这种方法在某些缺乏明显结构特征的环境中(如长走廊或操场)的表现较差。此外，激光雷达点在空间中稀疏且不均匀分布(距离雷达越远，空间点越少)，这导致判断两个激光雷达点云之间的相似性很困难。因此，LOAM在闭环检测方面存在局限性，并容易受累积误差影响。
因此，将激光雷达和相机结合用于三维重建是一个直观的想法，可以弥补它们各自的缺点，并获得更好的重建结果。大多数现有的基于融合的重建方法都非常依赖于多模态数据的严格同步，其中一些方法还需要额外的辅助传感器，如惯性测量单元(IMU)和全球导航卫星系统(Global Navigation Satellite System，GNSS)。
然而，由于采集速率和成像原理等因素，实现两个传感器之间的精确同步是具有挑战性的。即使是使用硬件级别的同步，由于相机曝光时间和激光雷达机械旋转等物理约束，仍然存在一定程度的非严格同步。
基于上述问题，本发明提供一种融合全景相机和激光雷达的三维重建方法(Panoramic Vision and LiDAR Fused Mapping，PanoVLM)，图1是本发明提供的融合全景相机和激光雷达的三维重建方法的流程示意图之一，图2是本发明提供的融合全景相机和激光雷达的三维重建方法的流程示意图之二，如图1、图2所示，该方法包括：
步骤110，获取全景图像和激光雷达点云。
具体地，可以获取全景图像和激光雷达点云，此处，全景图像即全景相机拍摄得到的图像，本发明实施例中使用全景相机的原因如下：
1.普通的相机视野较小，因此在快速旋转以及较大的遮挡物的情况下，很容易产生错误匹配，导致相机位姿计算错误。相比之下，全景相机具有全方位的视野，可以在图像之间提供更完整和可靠的匹配关系，从而显著提高相机位姿估计的准确性和稳定性。
2.全景相机和激光雷达在水平方向上均具有360度的视野，便于图像和激光特征之间的关联。
3.目前，一些基于双鱼眼相机的全景相机，这些设备具有低成本、高分辨率和高帧率的特点，非常适合三维重建。
4.上述全景相机的两颗CMOS是背对背的，这种配置方式生成的全景图像与理论上全景相机的球型成像模型是非常一致的。而使用球形成像模型可以减少相机内参数量，从而实现更准确和高效的优化过程。
此处，激光雷达点云即激光雷达采集得到的点云数据。
此外，本发明实施例中完全放松了对数据同步的要求。由于采集速率和成像原理等原因，全景相机和激光雷达两个传感器之间的严格同步是具有挑战性的。即使在严格的硬件级别同步下，由于全景相机曝光时间和激光雷达的机械旋转等物理限制，仍然存在一定程度的非严格同步。此外，引入硬件同步模块会增加设备的复杂性和成本。因此，本发明实施例中全景相机和激光雷达之间采用非严格同步。
此外，本发明实施例中的数据采集设备除了全景相机和激光雷达外，还有一款基于ARM(Advanced RISC Machine)的低成本嵌入式板和电池，其中，低成本嵌入式板用于启动/停止全景相机的摄像头和激光雷达，并存储激光雷达点云数据。全景相机拍摄的视频保存在全景相机的内置存储卡上，其中，电池用于为所有设备提供能量。
由于信号传输延迟和传感器响应延迟，即使使用程序控制全景相机和激光雷达同时启动，两个传感器之间实际也会存在很大延迟，导致数据之间完全不同步。所以，本发明实施例使用屏幕上的时间戳来粗略地对它们进行同步。
每个完整的激光雷达扫描(每个扫描需要0.1秒)被分成多个pcap数据包发送。每个pcap数据包都有自己的时间戳，并会在屏幕上显示。但由于激光雷达发送pcap数据包的速度过快且数量过多，屏幕设定为每500毫秒刷新一次。
此外，这两个传感器的内置定时器不同，这导致即使它们在开始时同步，也不能在结束时同步。例如，如果数据采集了500秒，激光雷达定时器可能记录为500.2秒，而摄像头定时器可能记录为499.7秒。由于这个不同的定时器造成的延迟也是不可避免的。为了粗略地同步这两种类型的数据，从全景视频的开始，可以手动选择一个屏幕内容刚刚刷新的图像帧，将这个图像帧和相应的pcap数据包视为同步。在视频结束时，也重复相同的步骤以获取粗略同步的数据。对于粗略同步的数据，可以在中间部分进行等间隔的均匀采样，即以每秒10帧的频率采样图像。对于pcap数据包，可以将它们每100毫秒聚合成一个完整的激光雷达数据帧。
图3是本发明提供的数据同步过程的示意图，如图3所示，这种“软”同步相当粗略。由于摄像头帧率、屏幕刷新延迟和数据传输延迟等无法控制的因素，两个传感器之间的总延迟约为100-200毫秒。
由于轻量级的设计，本发明实施例中的设备可以方便地用于手持式和车载式数据采集。对于室内场景，可以以手持方式收集数据；对于室外场景，可以将设备放置在车顶进行数据收集。
步骤120，对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云。
具体地，图4是本发明提供的初始位姿估计的流程示意图，如图4所示，初始位姿估计包括初始相机位姿估计和激光雷达位姿估计。
即，在得到全景图像之后，可以对全景图像进行初始相机位姿估计，得到全景图像的初始相机位姿和稀疏三维点云。
相机位姿估计主要有三种方法：视觉SLAM(Simultaneous Localization andMapping)、增量式SfM(Structure from Motion，运动恢复结构)和全局式SfM。视觉SLAM通常需要地图初始化，这在某些场景下会具有挑战性，进而导致许多相机位姿缺失。此外，在复杂场景中，视觉SLAM很容易失去跟踪。增量式SfM通常从两个或三个“种子”视图开始，一点点增加额外的图像，因此位姿估计结果很容易受到这些初始视图的选择的影响。增量式SfM的另一个限制是计算效率。由于每次添加新图像时都需要执行捆绑调整(BundleAdjustment，BA)，随着图像数量的增加，处理时间也会增加，最终影响整体效率。
因此，本发明实施例选择使用全局式SfM进行相机位姿估计。然而，这种方法也存在一些缺陷。首先，在无纹理区域可能很难找到足够的匹配特征，从而在相对位姿估计中产生误差。其次，它仅能计算相对平移的方向，尺度未知，可能降低在直线运动场景中的位姿估计的准确性。由于本发明实施例中使用的是全景相机和激光雷达，上述两个问题可以在很大程度上得到缓解。全景相机具有全方向的视野，更有可能观察到纹理丰富的区域，可以提升相对位姿估计的准确性。此外，激光雷达信息包含周围场景的绝对深度，可以帮助计算相对平移的尺度。
综上，本发明实施例采用全局式SfM算法恢复相机位姿，并将其作为后续步骤的初始相机位姿。
步骤130，对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
步骤140，在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛。
具体地，在获取到激光雷达点云之后，可以对激光雷达点云进行特征点提取，得到各雷达点云特征，此处，对激光雷达点云进行特征点提取，可以使用一种基于点的曲率提取特征点的方法。
现有的基于点的曲率提取特征点的方法1)更适用于室外场景，而本发明实施例中对激光雷达点云进行特征点提取方法可以用于各种场景。2)现有的基于点的曲率提取特征点的方法从激光雷达点云中提取的边缘特征点常常带有噪声，本发明实施例进一步对其进行过滤，并将边缘特征点聚合成线特征，将线特征作为雷达点云特征。
在得到雷达点云特征之后，可以基于初始激光雷达位姿对激光雷达点云对应的雷达点云特征和激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于候选激光雷达位姿对激光雷达点云进行去畸变，得到激光雷达位姿。
在进行特征匹配之前，所有的激光雷达点都会通过初始激光雷达位姿转换到世界坐标系下。在特征匹配过程中，针对两个雷达点云特征Li和Lj，会建立线和线以及点和平面之间的关联。此处，预设数量个可以为5个、6个等，本发明实施例对此不作具体限定。对于Li中的每个直线点p∈εi，可以在εj中找到其最近的5个近邻点。如果这些近邻点都属于同一条线段/>并且p到该直线的距离小于30厘米，那么就建立点到直线的对应关系。可以使用来表示点到直线的距离，其中，/>和/>分别是Li和Lj的位姿。线到线匹配是点到线的扩展，对于一条之线特征/>如果其中超过70％的点都与/>相关联，那么认为这两个线段是匹配的。这两条线段之间的距离可以表示为：
对于中的每个点p，可以在/>中找到它的10个最近邻点。如果p和它的最近邻点都是同一类型的(地面点或非地面点)，而且这些近邻点能形成一个平面，那么就可以建立点到平面的对应关系。可以使用/>表示点到平面的距离。
通过初始激光雷达位姿每个激光雷达点云都能和它最近邻的5个其它点云形成线到线以及点到面的匹配，最终的优化问题可以写为：
其中，是激光雷达点云Li和Lj之间所有的线到线距离之和，/>是点到面距离之和。
由此，通过求解以上优化问题，可以得到更准确的激光雷达位姿。
考虑到在激光雷达点云数据采集过程中，传感器本身也在移动，导致激光雷达点云中的每个点实际处于不同的坐标系中。然而，由于雷达每0.1秒输出一次激光雷达点云，这段时间内传感器本身的运动被忽略了，从而产生了运动畸变。
为了补偿Li中的传感器运动，可以定义第一个点和最后一个点之间的变换为然后，对于Li中的每个点pj，它到第一个点的变换可以通过球面线性插值ΔT来计算，然后将pj转换到第一个点所在的坐标系中。
然后，可以基于激光雷达位姿和初始激光雷达位姿确定激光雷达位姿是否收敛。
在激光雷达位姿不收敛的情况下，基于激光雷达位姿迭代执行对激光雷达点云对应的雷达点云特征和激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对激光雷达点云进行去畸变的步骤，直至激光雷达位姿收敛。
步骤150，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
具体地，考虑到在初始位姿估计之后，所有传感器的位姿都不够准确，因为全景相机和激光雷达的位姿是互相独立估计的，而且它们之间的信息融合不充分。
因此，在得到初始相机位姿、稀疏三维点云和激光雷达位姿之后，可以对初始相机位姿、稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
本发明实施例提供的方法，首先，放宽了全景相机和激光雷达两种传感器的数据严格同步的要求，因此数据采集设备中不需要硬件同步模块；其次，采用全景相机作为视觉传感器，提高了视觉部分的稳健性，并充分利用了激光雷达信息；最后，由于不需要额外的传感器，例如IMU、轮式测距仪和GNSS，从而降低了设备的复杂性，且成本更低。
基于上述实施例，图5是本发明提供的联合位姿优化的流程示意图，如图5所示，步骤150包括：
步骤151，确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差；
步骤152，基于所述第一残差、所述第二残差和所述第三残差，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到所述目标相机位姿、所述目标激光雷达位姿和所述目标稀疏三维点云。
具体地，全景相机与全景相机之间的第一残差是所有稀疏三维点的基于角度的重投影误差，全景相机与激光雷达之间的第二残差是基于全景图像和激光雷达点云之间的直线匹配的，激光雷达与激光雷达之间的第三残差是不同激光雷达点云之间的线到线和点到平面距离。
为了保持这三种残差的量纲统一，确保无偏的优化，避免复杂的去权重系数，本发明实施例中提出了基于角度表示的全景相机与激光雷达的残差和激光雷达与激光雷达的残差。
对于一个三维空间点p，以及它在全景图像Ii上对应的特征点x，基于角度的全景相机和全景相机之间的第一残差(投影误差)可以表示为：
rc(Ri,ti,p)＝Ang(Rip+ti,π(x))
其中，Ri和ti表示全景图像Ii的位姿，π(x)表示把一个二维点投影到单位球的表面上，Ang(a,b)表示a和b两个向量之间的夹角。
对于所有的三维空间点，第一残差可以写为：
其中，代表所有的三维空间点，/>代表当前三维点对应的二维特征点所在的全景图像的集合。
对于每条线段，将其两个端点变换到单位球面上，这两个端点和球心形成了一个平面，将其称为“衍生平面”，用于指代由线段和球心形成的平面。全景图像上两条线段之间的角度等于它们的“衍生平面”之间的角度。
假设有一对匹配的直线与/>其中/>来自于全景图像Ii，/>来自于激光雷达Lj，它们之间包含两个残差。第一个残差是两条直线之间的夹角，也就是它们的“衍生平面”之间的夹角，可以用/>来表示。
然而，角度误差只能约束两条直线位于同一平面上，不能约束雷达直线的投影是靠近图像直线的。例如这两条直线分别位于全景相机光心的两侧，那么它们之间的角度误差是0，但互相距离很远。为了解决这个问题，需要加入第二个残差。可以用pl代表的中点投影到/>的“衍生平面”上的投影点，pc,ps,pe分别代表/>的中点和两个端点。那么，第二个残差可以写为：
其中，α＝Ang(pl,pc),β＝Ang(ps,pe)/2。这个残差约束了至少一半的是位于/>范围内的。最终，全景相机和激光雷达之间的第二残差/>可以写为：
由于全景相机与全景相机、全景相机与激光雷达的残差都是基于角度的，但激光雷达到激光雷达的残差基于米。为了统一残差的度量，提出了一种基于角度的激光雷达到激光雷达残差，图6是本发明提供的基于角度的点到线距离和点到面距离表示的示意图，如图6(a)，图6(b)所示，对于点到线的距离，将p投影到该线上，投影点为p′。o是激光雷达中心，θ＝Ang(op,op′)表示基于角度的点到线距离。类似地，点到平面的距离与点到线的距离有相同的表示方式。
然而，基于角度的残差会天然地为每个点到线/点到面分配不同的权重，让优化过程更加关注靠近激光雷达中心的匹配关系。举例来说，存在两个点到线的匹配，它们的点到线的距离相等(以米为单位)。第一个匹配与o相距1米，第二个匹配与o相距5米，这使得第一个匹配对应的θ更大，在优化中获得更大的权重。为了缓解这个问题，本发明实施例使用了归一化的点到线/面距离(如图6(c)和图6(d)所示)。本发明实施例中不再使用θ，而是使用θ′＝Ang(o′p,o′p′)，其中||o′p||＝1。使用归一化的基于角度的表示方法后，整体的激光雷达到激光雷达之间的第三残差可以表示为：
其中，是所有的基于角度的线到线距离之和，/>是所有的基于角度的点到面距离之和。
在得到第一残差、第二残差和第三残差之后，可以基于第一残差、第二残差和第三残差，对初始相机位姿、稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
例如，联合位姿优化的公式如下：
其中，表示第一残差，/>表示第三残差，/>表示第二残差，两个权重α和β用于平衡三种残差(α＝0.7和β＝2.5)。为了处理异常值，残差项被包裹在Huber损失函数中。然后，可以使用Ceres Solver来求解优化问题
在联合优化之后，相机和激光雷达的位姿(和/>)，以及稀疏点云/>都会被细化，得到更好的结果。这个过程会重复多次，直到传感器的位姿不再改变或达到最大迭代次数。在本发明实施例的实验中，通常3-4次迭代就足以获得稳定的结果。
基于上述实施例，步骤151包括：
步骤1511，对所述全景图像进行直线检测，得到多条初始线段；
步骤1512，基于所述多条初始线段之间的角度，对所述多条初始线段进行融合，得到所述全景图像的直线检测结果；
步骤1513，基于所述直线检测结果和所述激光雷达点云，进行所述全景相机和所述激光雷达之间的直线匹配，得到直线匹配结果；
步骤1514，基于所述直线匹配结果，确定所述全景相机和所述激光雷达之间的第二残差；
步骤1515，对每两张全景图像之间进行特征点匹配，得到所述全景相机和所述全景相机之间的第一残差；
步骤1516，对每两个激光雷达点云之间进行特征匹配，得到所述激光雷达和所述激光雷达之间的第三残差。
具体地，考虑到LSD(Line Segment Detector)是一个常用的线特征检测器，但不适用于全景图像。直接在全景图像上应用LSD会导致两个问题，首先，由于严重的畸变，全景图像中的直线呈现弯曲形态，而LSD只能检测真正的“直”线，所以LSD会将一条长线段断裂成几个短线段。其次，在某些较薄的区域的边缘上，LSD会提取多个位置非常接近的平行线。
因此，可以对全景图像进行直线检测，得到多条初始线段，对于每条初始线段，可以将其两个端点变换到单位球面上，这两个端点和球心形成了一个平面。将其称为“衍生平面”，用于指代由线段和球心形成的平面。全景图像上两条线段之间的角度等于它们的“衍生平面”之间的角度。在获得LSD的初始线段后，如果初始线段满足以下条件，可以进一步将它们融合在一起：
1)它们相邻；
2)它们的角度差小于2度；
3)两个线段的4个端点之间的最小的归一化互相关值(Normalized CrossCorrelation，NCC)大于0。
即基于多条初始线段之间的角度，对多条初始线段进行融合，得到全景图像的直线检测结果。
其中，融合步骤很简单，可以在四个顶点中搜索彼此距离最远的两个端点，并将它们连接起来形成一条新的线段。融合会一直进行，直到不能再合并更多线段为止。最后，本发明实施例中还会过滤长度小于tlength的初始线段，这里tlength设为全景图像高度的1/20。
在得到直线检测结果之后，可以基于直线检测结果和激光雷达点云，进行全景相机和激光雷达之间的直线匹配，得到直线匹配结果。
在现实世界中物体是相互遮挡的，因此激光雷达扫描出的点云也会展现出相互遮挡的物体。图7是本发明提供的激光雷达点云中提取伪边缘的示意图，如图7所示，其中(Point1，Point2)是错误的边缘特征，除(Point1，Point2)之外的点是正确的特征。
在遮挡区域的边界处，可能会提取出一些“伪边缘”，例如图7中的Point1，这类点并不对应于一条实际存在的物理直线。
此外，计算激光雷达点的曲率时仅使用了当前点附近的一些点，这是一种比较“局部”的计算方法。这会导致距离传感器较近的平面上的点也会有较大的曲率，进而被识别为边缘特征(图7中的Point2)。
这些错误的边缘特征在初始激光雷达位姿估计中影响不大，因为“伪边缘”会随着激光雷达的移动而移动，那么Li中的“伪边缘”无法在Lj中找到对应的直线，进而无法形成线到线的匹配。然而，这些“伪边缘”对于全景相机-激光雷达的直线匹配影响很大，因为许多图像直线会匹配到虚假的雷达直线上。
为了过滤这些错误提取的激光雷达直线段，可以将所有的激光雷达边缘特征点变换到世界坐标系下，那么位于世界坐标系下相同位置的线段可以形成轨迹。可以仅保留由两个及以上线段组成的轨迹并且要求组成轨迹的线段分别来自不同的激光雷达点云，这样确保每个轨迹代表物理世界中的一条真实边缘直线。在后续的关联过程中，只使用能组成轨迹的激光雷达直线。
对于每个全景图像Ii，可以找到其最近的激光雷达点云Lj，并将εj投影到全景图像上。如果激光雷达线段中有超过70％的点位于全景图像直线/>附近，并且/>与/>之间的角度小于2度，那么这两条线是匹配的。然而，在有许多平行结构的环境中，直接使用点投影进行线关联的性能较差。由于全景图像和激光雷达点云中有大量平行线，微小的角度误差可能导致所有线匹配错误。因此，提出了一种基于“扰动相机-激光雷达相对位姿”的线关联策略。
是Ii和Lj之间的初始相对位姿。可以沿着所有三个轴(x轴，y轴，z轴)对旋转扰动tcoarse，对平移扰动tcoarse，就得到了36＝729种不同的相对位姿(其中之一是初始的T自身)。
这里可以设置rcoarse＝1°,tcoarse＝5cm。然后可以选择最多的直线匹配对应的相对位姿作为更新后的T，然后重复扰动，直到扰动不再增加直线关联数量时结束。接着，可以将扰动步长减小到rfine＝0.5°和tfine＝2cm并重复上述过程，直到结束。
在最终的T下，可以建立Ii和Lj之间的直线关联。值得注意的是，只有Ii和Lj的相对位姿被扰动，而Ii和Lj本身的位姿保持不变。
最后，在得到直线匹配结果之后，可以基于直线匹配结果，确定全景相机和激光雷达之间的第二残差。
然后，对每两张全景图像之间进行特征点匹配，得到全景相机和全景相机之间的第一残差。
对每两个激光雷达点云之间进行特征匹配，得到激光雷达和激光雷达之间的第三残差。
基于上述实施例，步骤120包括：
步骤121，对所述全景图像进行特征提取，得到全景图像特征，并基于所述全景图像特征，获取所述全景图像的相似全景图像，并基于所述全景图像和所述相似全景图像确定初始图像对；
步骤122，对所述初始图像对中所述全景图像和所述相似全景图像的特征点进行匹配，基于匹配后的初始图像对进行相对位姿估计，得到所述全景图像与所述相似全景图像之间的相对位姿，并基于所述相对位姿，确定位姿图；步骤123，对所述初始图像对中匹配成功的特征点进行特征三角化，得到所述特征点对应的初始三维点云；
步骤124，对所述位姿图进行全局位姿估计，得到初始位姿；
步骤125，基于所述初始位姿和所述初始三维点云，进行捆绑调整，得到所述初始相机位姿和所述稀疏三维点云。
具体地，可以对全景图像进行特征提取，得到全景图像特征，例如，可以在每张全景图像上提取RootSIFT特征作为全景图像特征。
在得到全景图像特征之后，可以基于全景图像特征，获取全景图像的相似全景图像，并基于全景图像和相似全景图像确定初始图像对。
例如，可以使用VLAD(Vector of Locally Aggregated Descriptors)算法计算每张全景图像的最相似的40张图像作为相似全景图像，然后，基于全景图像和相似全景图像确定初始图像对。
在大多数情况下，这些全景图像是从视频中采样得到的，因此还可以基于时间序列为每张全景图像找到20个最近邻图像，并将它们添加到初始图像对中。
随后，可以对每对初始图像对中全景图像和相似全景图像执行SIFT(ScaleInvariant Feature Transform，尺度不变特征变换)特征点匹配，并过滤掉特征匹配点数量少于35的初始图像对。然后，基于匹配后的初始图像对进行相对位姿估计，得到全景图像与相似全景图像之间的相对位姿，并基于相对位姿，确定位姿图。
即，对于RootSIFT匹配点数量足够的图像对，可以使用AC-RANSAC方法估计本质矩阵，并将其分解为相对位姿(Rij,tij)，其中Rij是相对旋转，tij是从第i张图像到第j张图像的相对平移。值得注意的是，tij的尺度是未知的，即tij是一个单位向量。这就说明只能确定相对平移的方向，但不能确定相对平移的距离，即尺度歧义，这是全局式SfM的主要难点。
为了减轻尺度歧义，可以把图像对中所有匹配的特征点进行三角化，得到特征点对应的初始三维点云，并使用x和d分别表示全景图像Ii中的特征点和其深度。通过全景相机-激光雷达的相对位姿Tcl(该位姿不需要特别精确，可以通过机械装配图或手动测量获得)，与Ii粗略同步的激光雷达点云可以投影到图像上得到稀疏深度图。然后，可以使用深度补全算法获得稠密深度图。d′表示从密集深度图中得到的x的深度，s＝d′/d就是相对平移的绝对尺度。对于有n个匹配特征点的图像对，可以计算出2n个尺度，最终的尺度设置为所有尺度的中位数。一旦确定了相对平移的尺度，就可以建立一个位姿图，其中节点和边分别表示全景图像和相对位姿。
值得注意的是，由于Tcl不准确并且数据间缺乏严格的同步，这种方法得到的相对平移尺度存在误差。这些尺度呈现相同的变化趋势，在大多数情况下它们之间的差异并不大。尽管这些尺度不是非常精确，但在全局式SfM中，把它们用作初始值，通过优化可以获得更好的尺度。
然后，可以对位姿图进行全局位姿估计，得到初始位姿。再基于初始位姿和初始三维点云，进行捆绑调整，得到初始相机位姿和稀疏三维点云。
其中，全局位姿估计涉及两个步骤：旋转平均和平移平均。
旋转平均通过最小化全局旋转与相对旋转之间的差异来计算全局旋转。由于Rij的估计可能有噪声和错误，可以使用循环一致性在位姿图中识别异常的相对旋转，即剔除位姿图中一部分边。在无噪声和理想情况下，由三个图像Ii,Ij,Ik构成的图像三元组应满足等于单位矩阵。因此，可以检测位姿图中的所有三元组，并删除与单位矩阵差异大于5°的三元组。在三元组过滤之后，可以进行全局旋转估计。
接下来是平移平均，由于LiDAR数据显著减轻了尺度歧义，可以采用了一种简单而有效的方法进行平移平均。通过在L2范数下使用迭代加权最小二乘(IterativelyReweighted Least Squares，IRLS)方法来求解平移平均问题，这个问题的建模如下：
s.t. 0.5sij≤λij≤1.5sij
t1＝(0,0,0)T
其中，是位姿中边的集合，ti是从世界坐标系到Ii的平移向量，λij是相对平移的尺度，sij是从激光雷达得到的初始尺度。由于相机和激光雷达大致同步，且相机-激光雷达相对位姿不准确，初始尺度存在误差。因此，在第一个约束中，可以允许λij在一定范围内波动。第二个约束用于消除平移歧义。/>是每个边的权重，δ＝0.01。整个优化过程在收敛之前会迭代2-3次，在第一次迭代中，可以把所有的权重wij都设置为1。
在得到所有图像的初始位姿后，可以把所有相匹配的特征点连成一条轨迹，然后三角化得到初始三维点云。由于全景图像的畸变很严重，传统的基于像素距离的投影误差不再适合作为优化目标。所以提出了基于角度的残差表示。对于初始三维点云中的一个点p，以及它在图像Ii上对应的特征点x，基于角度的投影误差可以表示为：
rc(Ri,ti,p)＝Ang(Rip+ti,π(x))
其中，Ri和ti表示图像Ii的位姿，π(x)表示把一个二维点投影到单位球的表面上。Ang(a,b)表示两个a和b向量之间的夹角。对于所有的三维空间点，投影误差可以写为：
其中，代表所有的初始三维点云，/>代表当前三维点对应的二维特征点所在的图像的集合。最终捆绑调整(Bundle Adjustment，BA)的问题可以写为：
其中，代表所有图像的初始位姿。整个BA流程会进行两次。在第一次BA后，可以重新对所有轨迹进行三角化，得到更准确的三维点，然后再进行第二次BA流程。
基于上述实施例，步骤130中所述对所述激光雷达点云进行特征点提取，得到各雷达点云特征，包括：
步骤131，计算所述激光雷达点云中各点的曲率，并基于所述各点的曲率，提取所述激光雷达点云的边缘特征点；
步骤132，对所述边缘特征点进行融合，得到所述雷达点云直线特征。
具体地，计算激光雷达点云中各点p的曲率，各点的曲率是基于各点和各点的邻居点集合确定的。
其中，曲率c的计算公式如下：
其中，表示p的邻居点的集合，满足以下条件：
1)所有点都是与p位于相同扫描线上的连续的点，它们位于p的两侧；
2)每侧至少有5个点与p相邻；
3)每侧与p最远的点至少距离10厘米。
在计算得到各点的曲率之后，可以基于各点的曲率，提取激光雷达点云的边缘特征点。
最后，可以对边缘特征点进行融合，得到雷达点云直线特征。
基于上述实施例，步骤131中所述基于所述各点的曲率，提取所述激光雷达点云的边缘特征点，包括：
步骤1311，对所述激光雷达点云进行分割，得到所述激光雷达点云中的地面点和非地面点；
步骤1312，在所述各点不属于所述非地面点的情况下，基于所述各点的曲率，提取所述激光雷达点云的边缘特征点。
具体地，可以对激光雷达点云进行分割，得到激光雷达点云中的地面点和非地面点，从而提高特征提取的准确性和鲁棒性。
所有点的曲率都计算完毕后，为了均匀地提取特征，可以把每个扫描线分成六个长度相同的子扫描线，每个子扫描中的点按照其曲率进行排序。在每个子扫描线中，可以基于以下策略提取边缘特征点：
1)最多有30个边缘点；
2)p的曲率大于阈值0.05；
3)p不是地面点。
提取完毕后，所有边缘点的集合为ε。然而，ε经常包含噪声和异常值，可能导致形成错误的点到线的匹配。为了解决这个问题，可以对ε进行进一步过滤，并使用基于区域增长的算法将它们融合成线特征。以下为过滤和融合算法的详细步骤。
从一个随机点开始，可以检查这个点及其两个最近邻是否形成一条直线。如果是的话，可以向外扩展该线，并找到其他仍然可以形成一条线的点。可以重复这个过程，直到没有其他点可以加入当前线，那么这些点形成一个线段特征。然后，选择另一个点作为新线特征的“起点”，并重复区域增长过程。这个迭代过程会持续进行，直到所有点都被遍历完毕。接着，可以删去少于5个点的线段。最后，相互距离很近的线段会被合并，并使用RANSAC(RANdom SAmple Consensus，随机抽样一致)形成一个新的线段。
此外，基于各点云的曲率可以提取激光雷达点云的边缘特征点，还可以提取平面特征点，平面特征点则直接用于激光雷达间的点到面匹配。
步骤1313，在平面特征提取中，本发明实施例在每个子扫描中提取具有最小曲率值的5个特征点，并使用表示所有平面特征点的集合。同时，使用/>表示所有曲率低于0.05的非地面点，然后进行降采样以减少内存压力并提高效率。接着，所有的地面点也会被添加到/>中。
下面对本发明提供的融合全景相机和激光雷达的三维重建装置进行描述，下文描述的融合全景相机和激光雷达的三维重建装置与上文描述的融合全景相机和激光雷达的三维重建方法可相互对应参照。
基于上述任一实施例，本发明提供一种融合全景相机和激光雷达的三维重建装置，图8是本发明提供的融合全景相机和激光雷达的三维重建装置的结构示意图，如图8所示，该装置包括：
获取单元810，用于获取全景图像和激光雷达点云；
相机位姿估计单元820，用于对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；
确定激光雷达位姿单元830，用于对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
优化单元840，用于在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；
联合位姿优化单元850，用于对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
本发明实施例提供的装置，首先，放宽了全景相机和激光雷达两种传感器的数据严格同步的要求，因此数据采集设备中不需要硬件同步模块；其次，采用全景相机作为视觉传感器，提高了视觉部分的稳健性，并充分利用了激光雷达信息；最后，由于不需要额外的传感器，例如IMU、轮式测距仪和GNSS，从而降低了设备的复杂性，且成本更低。
基于上述任一实施例，联合位姿优化单元850具体包括：
确定残差单元，用于确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差；
位姿优化单元，用于基于所述第一残差、所述第二残差和所述第三残差，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到所述目标相机位姿、所述目标激光雷达位姿和所述目标稀疏三维点云。
基于上述任一实施例，位姿优化单元具体用于：
对所述全景图像进行直线检测，得到多条初始线段；
基于所述多条初始线段之间的角度，对所述多条初始线段进行融合，得到所述全景图像的直线检测结果；
基于所述直线检测结果和所述激光雷达点云，进行所述全景相机和所述激光雷达之间的直线匹配，得到直线匹配结果；
基于所述直线匹配结果，确定所述全景相机和所述激光雷达之间的第二残差；
对每两张全景图像之间进行特征点匹配，得到所述全景相机和所述全景相机之间的第一残差；
对每两个激光雷达点云之间进行特征匹配，得到所述激光雷达和所述激光雷达之间的第三残差。
基于上述任一实施例，相机位姿估计单元820具体用于：
对所述全景图像进行特征提取，得到全景图像特征，并基于所述全景图像特征，获取所述全景图像的相似全景图像，并基于所述全景图像和所述相似全景图像确定初始图像对；
对所述初始图像对中所述全景图像和所述相似全景图像的特征点进行匹配，基于匹配后的初始图像对进行相对位姿估计，得到所述全景图像与所述相似全景图像之间的相对位姿，并基于所述相对位姿，确定位姿图；对所述初始图像对中匹配成功的特征点进行特征三角化，得到所述特征点对应的初始三维点云；
对所述位姿图进行全局位姿估计，得到初始位姿；
基于所述初始位姿和所述初始三维点云，进行捆绑调整，得到所述初始相机位姿和所述稀疏三维点云。
基于上述任一实施例，确定激光雷达位姿单元830具体包括：
提取边缘特征点单元，用于计算所述激光雷达点云中各点的曲率，并基于所述各点的曲率，提取所述激光雷达点云的边缘特征点；
融合单元，用于对所述边缘特征点进行融合，得到雷达点云直线特征。
基于上述任一实施例，所述各点云的曲率是基于所述各点和所述各点的邻居点集合确定的。
基于上述任一实施例，提取边缘特征点单元具体用于：
对所述激光雷达点云进行分割，得到所述激光雷达点云中的地面点和非地面点；
在所述各点不属于所述非地面点的情况下，基于所述各点的曲率，提取所述激光雷达点云的边缘特征点。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行融合全景相机和激光雷达的三维重建方法，该方法包括：获取全景图像和激光雷达点云；对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的融合全景相机和激光雷达的三维重建方法，该方法包括：获取全景图像和激光雷达点云；对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的融合全景相机和激光雷达的三维重建方法，该方法包括：获取全景图像和激光雷达点云；对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种融合全景相机和激光雷达的三维重建方法，其特征在于，包括：
获取全景图像和激光雷达点云；
对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；
对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；
对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云；
所述对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云，包括：
确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差；
基于所述第一残差、所述第二残差和所述第三残差，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到所述目标相机位姿、所述目标激光雷达位姿和所述目标稀疏三维点云；
所述确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差，包括：
对所述全景图像进行直线检测，得到多条初始线段；
基于所述多条初始线段之间的角度，对所述多条初始线段进行融合，得到所述全景图像的直线检测结果；
基于所述直线检测结果和所述激光雷达点云，进行所述全景相机和所述激光雷达之间的直线匹配，得到直线匹配结果；
基于所述直线匹配结果，确定所述全景相机和所述激光雷达之间的第二残差；
对每两张全景图像之间进行特征点匹配，得到所述全景相机和所述全景相机之间的第一残差；
对每两个激光雷达点云之间进行特征匹配，得到所述激光雷达和所述激光雷达之间的第三残差。
2.根据权利要求1所述的融合全景相机和激光雷达的三维重建方法，其特征在于，所述对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云，包括：
对所述全景图像进行特征提取，得到全景图像特征，并基于所述全景图像特征，获取所述全景图像的相似全景图像，并基于所述全景图像和所述相似全景图像确定初始图像对；
对所述初始图像对中所述全景图像和所述相似全景图像的特征点进行匹配，基于匹配后的初始图像对进行相对位姿估计，得到所述全景图像与所述相似全景图像之间的相对位姿，并基于所述相对位姿，确定位姿图；
对所述初始图像对中匹配成功的特征点进行特征三角化，得到所述特征点对应的初始三维点云；
对所述位姿图进行全局位姿估计，得到初始位姿；
基于所述初始位姿和所述初始三维点云，进行捆绑调整，得到所述初始相机位姿和所述稀疏三维点云。
3.根据权利要求1所述的融合全景相机和激光雷达的三维重建方法，其特征在于，所述对所述激光雷达点云进行特征点提取，得到各雷达点云特征，包括：
计算所述激光雷达点云中各点的曲率，并基于所述各点的曲率，提取所述激光雷达点云的边缘特征点；
对所述边缘特征点进行融合，得到雷达点云直线特征。
4.根据权利要求3所述的融合全景相机和激光雷达的三维重建方法，其特征在于，所述各点的曲率是基于所述各点和所述各点的邻居点集合确定的。
5.根据权利要求3所述的融合全景相机和激光雷达的三维重建方法，其特征在于，所述基于所述各点的曲率，提取所述激光雷达点云的边缘特征点，包括：
对所述激光雷达点云进行分割，得到所述激光雷达点云中的地面点和非地面点；
在所述各点不属于所述非地面点的情况下，基于所述各点的曲率，提取所述激光雷达点云的边缘特征点。
6.一种融合全景相机和激光雷达的三维重建装置，其特征在于，包括：
获取单元，用于获取全景图像和激光雷达点云；
相机位姿估计单元，用于对所述全景图像进行初始相机位姿估计，得到所述全景图像的初始相机位姿和稀疏三维点云；
确定激光雷达位姿单元，用于对所述激光雷达点云进行特征点提取，得到各雷达点云特征，基于初始激光雷达位姿对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，得到候选激光雷达位姿，基于所述候选激光雷达位姿对所述激光雷达点云进行去畸变，得到激光雷达位姿；基于所述激光雷达位姿和所述初始激光雷达位姿确定所述激光雷达位姿是否收敛；
优化单元，用于在所述激光雷达位姿不收敛的情况下，基于所述激光雷达位姿迭代执行对所述激光雷达点云对应的雷达点云特征和所述激光雷达点云邻近的预设数量个激光雷达点云对应的雷达点云特征进行特征匹配，并通过最小化特征匹配的雷达点云特征之间的距离对所述激光雷达点云进行位姿优化，基于位姿优化后的激光雷达位姿对所述激光雷达点云进行去畸变的步骤，直至所述激光雷达位姿收敛；
联合位姿优化单元，用于对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云；
所述对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到目标相机位姿、目标激光雷达位姿和目标稀疏三维点云，包括：
确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差；
基于所述第一残差、所述第二残差和所述第三残差，对所述初始相机位姿、所述稀疏三维点云和收敛的激光雷达位姿，进行联合位姿优化，得到所述目标相机位姿、所述目标激光雷达位姿和所述目标稀疏三维点云；
所述确定所述全景相机和所述全景相机之间的第一残差、所述全景相机和所述激光雷达之间的第二残差，以及所述激光雷达和所述激光雷达之间的第三残差，包括：
对所述全景图像进行直线检测，得到多条初始线段；
基于所述多条初始线段之间的角度，对所述多条初始线段进行融合，得到所述全景图像的直线检测结果；
基于所述直线检测结果和所述激光雷达点云，进行所述全景相机和所述激光雷达之间的直线匹配，得到直线匹配结果；
基于所述直线匹配结果，确定所述全景相机和所述激光雷达之间的第二残差；
对每两张全景图像之间进行特征点匹配，得到所述全景相机和所述全景相机之间的第一残差；
对每两个激光雷达点云之间进行特征匹配，得到所述激光雷达和所述激光雷达之间的第三残差。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述融合全景相机和激光雷达的三维重建方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述融合全景相机和激光雷达的三维重建方法。
CN202311199690.3A 2023-09-15 2023-09-15 融合全景相机和激光雷达的三维重建方法、装置及设备 Active CN117351140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311199690.3A CN117351140B (zh) 2023-09-15 2023-09-15 融合全景相机和激光雷达的三维重建方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311199690.3A CN117351140B (zh) 2023-09-15 2023-09-15 融合全景相机和激光雷达的三维重建方法、装置及设备

Publications (2)

Publication Number Publication Date
CN117351140A CN117351140A (zh) 2024-01-05
CN117351140B true CN117351140B (zh) 2024-04-05

Family

ID=89370128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311199690.3A Active CN117351140B (zh) 2023-09-15 2023-09-15 融合全景相机和激光雷达的三维重建方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117351140B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111337037A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 移动激光雷达slam制图装置及数据处理方法
CN112987065A (zh) * 2021-02-04 2021-06-18 东南大学 一种融合多传感器的手持式slam装置及其控制方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
WO2022127572A1 (zh) * 2020-12-14 2022-06-23 北京石头创新科技有限公司 机器人三维地图位姿显示方法、装置、设备及存储介质
CN116205961A (zh) * 2023-03-02 2023-06-02 中国科学院宁波材料技术与工程研究所 多镜头组合影像和激光雷达点云的自动配准方法及其系统
CN116309813A (zh) * 2022-11-28 2023-06-23 北京航空航天大学 一种固态激光雷达-相机紧耦合位姿估计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN111009002A (zh) * 2019-10-16 2020-04-14 贝壳技术有限公司 点云配准检测方法、装置以及电子设备、存储介质
CN111337037A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 移动激光雷达slam制图装置及数据处理方法
WO2022127572A1 (zh) * 2020-12-14 2022-06-23 北京石头创新科技有限公司 机器人三维地图位姿显示方法、装置、设备及存储介质
CN112987065A (zh) * 2021-02-04 2021-06-18 东南大学 一种融合多传感器的手持式slam装置及其控制方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN116309813A (zh) * 2022-11-28 2023-06-23 北京航空航天大学 一种固态激光雷达-相机紧耦合位姿估计方法
CN116205961A (zh) * 2023-03-02 2023-06-02 中国科学院宁波材料技术与工程研究所 多镜头组合影像和激光雷达点云的自动配准方法及其系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-Camera-LiDAR Auto-Calibration by Joint Structure-from-Motion;Diantao Tu et al.;《2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20221226;第2243-2248页 *
PVL-Cartographer: Panoramic Vision-Aided LiDAR Cartographer-Based SLAM for Maverick Mobile Mapping System;Yujia Zhang et al.;《Remote Sensing》;20230703;第15卷(第13期);第6-18页 *
全景视觉与激光雷达融合的SLAM技术;黄飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230815(第8期);第I136-191页 *
基于激光雷达里程计的高速公路三维建模方法;黄炎等;《华南理工大学学报(自然科学版)》;20230715;第51卷(第7期);第130-137页 *

Also Published As

Publication number Publication date
CN117351140A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN111561923B (zh) 基于多传感器融合的slam制图方法、系统
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN110349213B (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
Zhu et al. Camvox: A low-cost and accurate lidar-assisted visual slam system
Abayowa et al. Automatic registration of optical aerial imagery to a LiDAR point cloud for generation of city models
US10109104B2 (en) Generation of 3D models of an environment
Fathi et al. Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features
JP2018520425A (ja) 三次元空間のモデリング
JP6174104B2 (ja) 室内２ｄ平面図の生成方法、装置及びシステム
Knorr et al. Online extrinsic multi-camera calibration using ground plane induced homographies
CN113658337B (zh) 一种基于车辙线的多模态里程计方法
Kunz et al. Map building fusing acoustic and visual information using autonomous underwater vehicles
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
Repko et al. 3D models from extended uncalibrated video sequences: Addressing key-frame selection and projective drift
d'Angelo et al. Dense multi-view stereo from satellite imagery
CN112802096A (zh) 实时定位和建图的实现装置和方法
CN112085790A (zh) 点线结合的多相机视觉slam方法、设备及存储介质
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
EP1512289A1 (en) Method and apparatus for video georegistration
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
Cao et al. Tightly-Coupled LiDAR-Visual SLAM Based on Geometric Features for Mobile Agents
CN117351140B (zh) 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117036462A (zh) 基于事件相机的视觉定位方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant