CN113625288A - 基于点云配准的相机与激光雷达位姿标定方法和装置 - Google Patents

基于点云配准的相机与激光雷达位姿标定方法和装置 Download PDF

Info

Publication number
CN113625288A
CN113625288A CN202110661361.0A CN202110661361A CN113625288A CN 113625288 A CN113625288 A CN 113625288A CN 202110661361 A CN202110661361 A CN 202110661361A CN 113625288 A CN113625288 A CN 113625288A
Authority
CN
China
Prior art keywords
point cloud
camera
cameras
pose
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110661361.0A
Other languages
English (en)
Inventor
申抒含
王宝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110661361.0A priority Critical patent/CN113625288A/zh
Publication of CN113625288A publication Critical patent/CN113625288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于点云配准的相机与激光雷达位姿标定方法和装置，其中方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。本发明可以得到更高精度的相机‑激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。

Description

基于点云配准的相机与激光雷达位姿标定方法和装置
技术领域
本发明涉及传感器标定技术领域，尤其涉及一种基于点云配准的相机与激光雷达位姿标定方法和装置。
背景技术
近年来，无人驾驶技术越来越受到关注。在无人驾驶技术中传感器发挥着重要的作用，目前较为广泛使用的传感器有相机、激光雷达、GPS和IMU等。多传感器的融合可以发挥各自传感器的优势，其中重要的两个传感器：相机与激光雷达，具有很好优势的互补性。
进行多传感器融合时，通常需要进行位姿标定。然而，目前的相机与激光雷达的标定方法需要提前在特定的环境中放置标定物，而标定物的放置角度、距离会影响标定的结果，并且多传感器触发存在时差，在该时差内传感器之间的相对位姿会发生变换，导致标定准确性欠佳，且多传感器的标定误差还存在内外参数耦合误差。
发明内容
本发明提供一种基于点云配准的相机与激光雷达位姿标定方法和装置，用以解决现有技术中标定准确性欠佳的缺陷。
本发明提供一种基于点云配准的相机与激光雷达位姿标定方法，包括：
基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；
基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；
将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
根据本发明提供一种的基于点云配准的相机与激光雷达位姿标定方法，所述基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据，具体包括：
车辆在所述预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到所述图像序列和所述激光点云数据；
其中，所述多个相机和所述激光雷达固定于所述车辆上。
根据本发明提供的一种基于点云配准的相机与激光雷达位姿标定方法，所述将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，具体包括：
基于所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，确定所述激光雷达与所述参考相机间的位姿标定信息；
其中，所述激光雷达与所述参考相机在任一停车时刻的单次位姿标定信息是将所述激光雷达在所述任一停车时刻采集的激光点云数据与所述稀疏三维点云数据进行配准得到的。
根据本发明提供的一种基于点云配准的相机与激光雷达位姿标定方法，所述基于所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，确定所述激光雷达与所述参考相机间的位姿标定信息，具体包括：
将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；
所述位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。
根据本发明提供的一种基于点云配准的相机与激光雷达位姿标定方法，所述激光雷达与所述参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：
基于所述任一停车时刻采集的激光点云数据中的各个激光三维点，确定所述稀疏三维点云数据中与所述任一停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；
基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到所述任一停车时刻的单次位姿标定信息。
根据本发明提供的一种基于点云配准的相机与激光雷达位姿标定方法，所述基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据，具体包括：
分别对所述图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；
基于每两个图像之间的匹配点对构造匹配点轨迹，对所述匹配点轨迹进行三角化处理，并进行捆绑调整，重建所述稀疏三维点云数据。
根据本发明提供的一种基于点云配准的相机与激光雷达位姿标定方法，所述捆绑调整过程中采用的重投影误差函数为：
E1＝E1,1+E1,2
其中，E1,1为所述参考相机Ci1的重投影误差函数，E1,2为其他相机Cij，j＝2,3,4的重投影误差函数；
Figure BDA0003115472250000031
Figure BDA0003115472250000041
其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，xj,k为图像特征点，Kj为相机内参，Rj和tj空间中图像三维点到参考相机的变换矩阵，
Figure BDA0003115472250000042
和
Figure BDA0003115472250000043
为参考相机到其他相机的变换矩阵，Xk为图像三维点，r表示投影过程。
本发明还提供一种基于点云配准的相机与激光雷达位姿标定装置，包括：
数据采集单元，用于基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；
稀疏重建单元，用于基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；
点云配准单元，用于将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于点云配准的相机与激光雷达位姿标定方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于点云配准的相机与激光雷达位姿标定方法的步骤。
本发明提供的基于点云配准的相机与激光雷达位姿标定方法和装置，通过对多个相机采集的图像序列进行稀疏重建，得到稀疏三维点云数据，并将激光点云数据与稀疏三维点云数据进行点云配准，得到激光雷达与相机之间的位姿标定信息，可以得到更高精度的相机-激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于点云配准的相机与激光雷达位姿标定方法的流程示意图；
图2为本发明提供的广义相机模型的示意图；
图3为本发明提供的8字环绕运动的示意图；
图4为本发明提供的相机与激光雷达位姿标定方法的示意图；
图5为本发明提供的基于点云配准的相机与激光雷达位姿标定装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于点云配准的相机与激光雷达位姿标定方法的流程示意图，如图1所示，该方法包括：
步骤110，基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，多个相机之间刚性固定；
步骤120，基于图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据；
步骤130，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，并基于多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。
具体地，利用多个相机以及激光雷达进行数据采集，其中多个相机用于采集预设场景的图像序列，激光雷达用于采集预设场景的激光点云数据。此处，为何提高标定方法的准确性，可以选择具有较丰富的纹理和几何结构的场景进行数据采集，例如路口，从而提供丰富的场景结构，可以为图像的特征提取提供丰富的纹理信息。
需要说明的是，多个相机之间刚性固定。此处，本发明实施例使用广义相机模型。其中，广义相机模型是指相机与相机之间刚性固定，因此相机之间的相对位姿不发生改变。图2为本发明实施例提供的广义相机模型的示意图，如图2所示，从多个相机中选取某个相机为参考相机，如图2中的Ci1为参考相机，其他相机为Cij，j＝2,3,4表示相机序号。误差函数采用重投影误差函数，相机Cij的位姿可以通过参考相机Ci1的位姿和两者之间的相对位姿参数得到。上述优化模型设置可以确保在后续稀疏重建的优化过程中相机之间的相对位姿不变，符合客观物理模型。
数据采集完毕后，可以基于多个相机采集的图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据。其中，可以采用增量式稀疏重建方式进行稀疏重建，若存在较好的全局初始位姿，也可以选择全局式稀疏重建方式。
随后，将激光点云数据与稀疏三维点云数据进行配准，获得激光雷达在稀疏三维点云数据中的位姿，并据此计算多个相机中的参考相机和激光雷达之间的相对位姿，得到激光雷达与多个相机中的参考相机间的位姿标定信息。由于多个相机之间的相对位姿固定不变，因此可以基于激光雷达与多个相机中的参考相机间的位姿标定信息，以及多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。其中，激光雷达与任一相机的位姿标定信息中包含激光雷达与该相机的位姿之间的相对关系。
本发明实施例提供的方法，通过对多个相机采集的图像序列进行稀疏重建，得到稀疏三维点云数据，并将激光点云数据与稀疏三维点云数据进行点云配准，得到激光雷达与相机之间的位姿标定信息，可以得到更高精度的相机-激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。
基于上述实施例，步骤110具体包括：
车辆在预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据；
其中，多个相机和激光雷达固定于车辆上。
具体地，由于多相机系统中每个相机的朝向不同，在数据采集过程中多相机的视角之间没有重叠区域。为了提高稀疏重建的准确性，本发明实施例将多相机采集设备和激光雷达安装于车辆，例如无人车上，并设置车辆按照“8”字环绕方式在预设场景中采集数据，使得多相机的视角之间存在重叠区域，从而在优化时增加不同相机之间的约束，将多个相机捆绑到一起优化，进而获取更加稳定准确的相机参数。
图3为本发明实施例提供的8字环绕运动的示意图，如图3所示，车辆携带多相机采集设备从开始位置处出发，此时相机1可以采集到右侧“+”区域，随着多相机统采集设备位置的变化，相机2采集“+”区域，陆续采集的过程中相机3和相机4也将采集到“+”区域的数据。因此，当车辆携带多相机系统按照绕“8”的方式进行数据采集，可以获得多相机的重叠区域，提高稀疏重建的准确性。
其次，车辆在采集数据过程中可以间隔停车，在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据。间隔停车的方式可以确保不同传感器采集数据时空间位姿不发生改变，不会因非同步触发存在多传感器之间位姿改变，此时多传感器之间为固定(刚性)的相位位置关系。
此外，由于绕“8”字也是惯导设备进行校准时常用的车辆行驶方式，因此一次数据采集可以同时实现多种传感器的标定，不会额外增加过多数据采集工作量，且数据采集在较小的场景下进行，数据量少的同时减少了稀疏重建的计算量。
基于上述任一实施例，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，具体包括：
基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息；
其中，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准得到的。
具体地，数据采集过程中，车辆会间隔停车，并在每一个停车时刻多传感器进行数据采集。因此，针对任一停车时刻，可以将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与参考相机在该停车时刻的单次位姿标定信息。其中，单次位姿标定信息包括激光雷达与对应相机之间的相对位姿，包括旋转矩阵和平移向量。配准时，可以根据最近邻得到激光点云数据p与稀疏三维点云数据p’之间初始点对的对应关系，假设此时激光点云数据p的第i点pi，在稀疏三维点云数据p’中对应的点为pi’。则两组点云之间的变换关系，即单次位姿标定信息，可以通过最小化以下公式求解：
Figure BDA0003115472250000091
其中，(R,t)为单次位姿标定信息，R为旋转矩阵，t为平移向量。
利用同样的配准方式，可以得到每一停车时刻对应的单次位姿标定信息。由于不同停车时刻计算出的单次位姿标定信息不会严格相等，并且由于匹配误差等因素影响，某些停车时刻的单次位姿标定信息可能包含较大偏差。因此，为了获取稳定一致的标定结果，可以对每一停车时刻对应的单次位姿标定信息求平均值，将平均值作为激光雷达与参考相机间的位姿标定信息。
基于上述任一实施例，基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息，具体包括：
将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；
位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。
具体地，在存在较大配准误差时(比如初始激光雷达位置误差较大等)，每一停车时刻的单次位姿标定信息之间的波动会比较大，因此可以利用每一停车时刻的单次位姿标定信息的方差衡量当前解的稳定程度。若上一轮次每一停车时刻的单次位姿标定信息的方差较大，可以将上一轮次计算的位姿标定平均值作为初始值更新所有激光雷达位姿，并迭代确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，以及计算当前轮次的位姿标定平均值，直到当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值(例如10-6)或达到最大迭代次数，通常3-5次即可收敛。
其中，位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。由于单次位姿标定信息包括旋转矩阵和平移向量，因此可以分别求取旋转矩阵的平均值和平移向量的平均值。为了对旋转矩阵R求平均值，可以将旋转矩阵转换为轴-角形式，之后再对所有旋转矩阵的轴-角表示求平均值。得到轴-角形式的均值之后，再将其通过罗格里格斯公式转换成旋转矩阵形式，得到旋转矩阵的平均值。对于平移向量t，则可以直接对所有的平移向量求平均值。
基于上述任一实施例，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：
基于该停车时刻采集的激光点云数据中的各个激光三维点，确定稀疏三维点云数据中与该停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；
基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。
具体地，可以利用迭代最近点算法(Iterative Closest Point，ICP)进行点云配准。具体而言，对于该停车时刻采集的激光点云数据中的某一激光三维点，计算其与稀疏三维点云数据中所有图像三维点之间的欧氏距离，取欧式距离最近的图像三维点作为该激光三维点的匹配点。重复上述步骤，得到稀疏三维点云数据中与该激光点云数据中各个激光三维点相匹配的图像三维点，形成两组匹配点云。
基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。其中，相对位姿估计方法可以采用基于RANSAC的相对位姿估计方法。利用RANSAC算法求解该停车时刻激光雷达与参考相机位姿之间的旋转矩阵R和平移向量t，进行激光点空间位姿变换，并重建计算两组点云的误差。
如果相对于上一次迭代误差减少较大或者超过最大迭代次数，则结束迭代，否则以本次迭代的计算结果为初值继续迭代执行上述三维点匹配和相对位姿估计步骤。
基于上述任一实施例，步骤120具体包括：
分别对图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；
基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。
具体地，可以采用SfM(Structured From Motion)算法进行稀疏重建。具体而言，可以对图像序列中的每个图像进行特征提取，寻找图像中具有稳定性质的关键点作为特征点，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对。随后，基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。
基于上述任一实施例，捆绑调整过程中采用的重投影误差函数为：
E1＝E1,1+E1,2
其中，E1,1为参考相机Ci1的重投影误差函数，E1,2为其他相机Cij，j＝2,3,4的重投影误差函数；
Figure BDA0003115472250000111
Figure BDA0003115472250000112
其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，xj,k为图像特征点，Kj为相机内参，Rj和tj空间中图像三维点到参考相机的变换矩阵，
Figure BDA0003115472250000113
和
Figure BDA0003115472250000114
为参考相机到其他相机的变换矩阵，Xk为图像三维点，r表示投影过程。
基于上述任一实施例，图4为本发明实施例提供的相机与激光雷达位姿标定方法的示意图，如图4所示，该方法包括：SfM稀疏重建步骤和ICP配准步骤。其中，SfM稀疏重建步骤包括特征提取、特征匹配、匹配点轨迹三角化和捆绑调整步骤，从而得到多相机系统中各个相机的内参和位姿，以及重建的三维点云。ICP配准步骤包括针对各个停车时刻的图像与激光点云ICP，即将各个停车时刻的激光点云与重建的三维点云进行ICP配准，得到各个停车时刻对应的外参标定结果，外参标定结果即对应时刻激光雷达与参考相机间的位姿标定信息，以及多个外参标定结果求均值，并进行迭代求解直至收敛。
基于上述任一实施例，图5为本发明实施例提供的基于点云配准的相机与激光雷达位姿标定装置的结构示意图，如图5所示，该装置包括：数据采集单元510、稀疏重建单元520和点云配准单元530。
其中，数据采集单元510用于基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，多个相机之间刚性固定；
稀疏重建单元520用于基于图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据；
点云配准单元530用于将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，并基于多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。
本发明实施例提供的装置，通过对多个相机采集的图像序列进行稀疏重建，得到稀疏三维点云数据，并将激光点云数据与稀疏三维点云数据进行点云配准，得到激光雷达与相机之间的位姿标定信息，可以得到更高精度的相机-激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。
基于上述任一实施例，数据采集单元510具体用于：
车辆在预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据；
其中，多个相机和激光雷达固定于车辆上。
基于上述任一实施例，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，具体包括：
基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息；
其中，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准得到的。
基于上述任一实施例，基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息，具体包括：
将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；
位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。
基于上述任一实施例，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：
基于该停车时刻采集的激光点云数据中的各个激光三维点，确定稀疏三维点云数据中与该停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；
基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。
基于上述任一实施例，稀疏重建单元520具体用于：
分别对图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；
基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。
基于上述任一实施例，捆绑调整过程中采用的重投影误差函数为：
E1＝E1,1+E1,2
其中，E1,1为参考相机Ci1的重投影误差函数，E1,2为其他相机Cij，j＝2,3,4的重投影误差函数；
Figure BDA0003115472250000141
Figure BDA0003115472250000142
其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，xj,k为图像特征点，Kj为相机内参，Rj和tj空间中图像三维点到参考相机的变换矩阵，
Figure BDA0003115472250000143
和
Figure BDA0003115472250000144
为参考相机到其他相机的变换矩阵，Xk为图像三维点，r表示投影过程。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于点云配准的相机与激光雷达位姿标定方法，其特征在于，包括：
基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；
基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；
将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
2.根据权利要求1所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据，具体包括：
车辆在所述预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到所述图像序列和所述激光点云数据；
其中，所述多个相机和所述激光雷达固定于所述车辆上。
3.根据权利要求2所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，具体包括：
基于所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，确定所述激光雷达与所述参考相机间的位姿标定信息；
其中，所述激光雷达与所述参考相机在任一停车时刻的单次位姿标定信息是将所述激光雷达在所述任一停车时刻采集的激光点云数据与所述稀疏三维点云数据进行配准得到的。
4.根据权利要求3所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述基于所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，确定所述激光雷达与所述参考相机间的位姿标定信息，具体包括：
将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次所述激光雷达与所述参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；
所述位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。
5.根据权利要求3所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述激光雷达与所述参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：
基于所述任一停车时刻采集的激光点云数据中的各个激光三维点，确定所述稀疏三维点云数据中与所述任一停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；
基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到所述任一停车时刻的单次位姿标定信息。
6.根据权利要求1所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据，具体包括：
分别对所述图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；
基于每两个图像之间的匹配点对构造匹配点轨迹，对所述匹配点轨迹进行三角化处理，并进行捆绑调整，重建所述稀疏三维点云数据。
7.根据权利要求6所述的基于点云配准的相机与激光雷达位姿标定方法，其特征在于，所述捆绑调整过程中采用的重投影误差函数为：
E1＝E1,1+E1,2
其中，E1,1为所述参考相机Ci1的重投影误差函数，E1,2为其他相机Cij，j＝2,3,4的重投影误差函数；
Figure FDA0003115472240000031
Figure FDA0003115472240000032
其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，xj,k为图像特征点，Kj为相机内参，Rj和tj空间中图像三维点到参考相机的变换矩阵，
Figure FDA0003115472240000033
和
Figure FDA0003115472240000034
为参考相机到其他相机的变换矩阵，Xk为图像三维点，r表示投影过程。
8.一种基于点云配准的相机与激光雷达位姿标定装置，其特征在于，包括：
数据采集单元，用于基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；
稀疏重建单元，用于基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；
点云配准单元，用于将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于点云配准的相机与激光雷达位姿标定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于点云配准的相机与激光雷达位姿标定方法的步骤。
CN202110661361.0A 2021-06-15 2021-06-15 基于点云配准的相机与激光雷达位姿标定方法和装置 Pending CN113625288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661361.0A CN113625288A (zh) 2021-06-15 2021-06-15 基于点云配准的相机与激光雷达位姿标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661361.0A CN113625288A (zh) 2021-06-15 2021-06-15 基于点云配准的相机与激光雷达位姿标定方法和装置

Publications (1)

Publication Number Publication Date
CN113625288A true CN113625288A (zh) 2021-11-09

Family

ID=78378104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661361.0A Pending CN113625288A (zh) 2021-06-15 2021-06-15 基于点云配准的相机与激光雷达位姿标定方法和装置

Country Status (1)

Country Link
CN (1) CN113625288A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419564A (zh) * 2021-12-24 2022-04-29 北京百度网讯科技有限公司 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN114646932A (zh) * 2022-05-23 2022-06-21 深圳元戎启行科技有限公司 基于外置雷达的雷达外参标定方法、装置和计算机设备
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117557623A (zh) * 2023-11-14 2024-02-13 上海月新生科信息科技有限公司 一种冷冻电镜图像序列的精准快速对齐方法

Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN108447116A (zh) * 2018-02-13 2018-08-24 中国传媒大学 基于视觉slam的三维场景重建方法和装置
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
WO2018223950A1 (zh) * 2017-06-05 2018-12-13 中国测绘科学研究院 卫星激光测高数据辅助提取高程控制点方法
US20180356824A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition method for ground truth static scene sparse flow generation
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation
CN109741399A (zh) * 2018-12-07 2019-05-10 苏州中科广视文化科技有限公司 基于旋转拍摄的预计算相机标定方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110006408A (zh) * 2019-04-17 2019-07-12 武汉大学 LiDAR数据“云控制”航空影像摄影测量方法
CN110223389A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合图像与激光数据的场景建模方法、系统、装置
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110288712A (zh) * 2019-03-30 2019-09-27 天津大学 室内场景的稀疏多视角三维重建方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN111028285A (zh) * 2019-12-03 2020-04-17 浙江大学 基于双目视觉和激光雷达融合的深度估计方法
CN111047652A (zh) * 2020-03-13 2020-04-21 杭州蓝芯科技有限公司 一种快速的多tof相机外参标定方法和装置
US20200174107A1 (en) * 2018-11-30 2020-06-04 Lyft, Inc. Lidar and camera rotational position calibration using multiple point cloud comparisons
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN111709995A (zh) * 2020-05-09 2020-09-25 西安电子科技大学 一种激光雷达与摄像头之间的位置标定方法
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN112105890A (zh) * 2019-01-30 2020-12-18 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112184768A (zh) * 2020-09-24 2021-01-05 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112288813A (zh) * 2020-11-03 2021-01-29 浙江大学 基于多目视觉测量与激光点云地图匹配的位姿估计方法
CN112465849A (zh) * 2020-11-27 2021-03-09 武汉大学 一种无人机激光点云与序列影像的配准方法
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223950A1 (zh) * 2017-06-05 2018-12-13 中国测绘科学研究院 卫星激光测高数据辅助提取高程控制点方法
US20180356824A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition method for ground truth static scene sparse flow generation
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN108447116A (zh) * 2018-02-13 2018-08-24 中国传媒大学 基于视觉slam的三维场景重建方法和装置
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
US20200174107A1 (en) * 2018-11-30 2020-06-04 Lyft, Inc. Lidar and camera rotational position calibration using multiple point cloud comparisons
CN109741399A (zh) * 2018-12-07 2019-05-10 苏州中科广视文化科技有限公司 基于旋转拍摄的预计算相机标定方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN112105890A (zh) * 2019-01-30 2020-12-18 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110288712A (zh) * 2019-03-30 2019-09-27 天津大学 室内场景的稀疏多视角三维重建方法
CN110006408A (zh) * 2019-04-17 2019-07-12 武汉大学 LiDAR数据“云控制”航空影像摄影测量方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN110223389A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合图像与激光数据的场景建模方法、系统、装置
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN111028285A (zh) * 2019-12-03 2020-04-17 浙江大学 基于双目视觉和激光雷达融合的深度估计方法
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111047652A (zh) * 2020-03-13 2020-04-21 杭州蓝芯科技有限公司 一种快速的多tof相机外参标定方法和装置
CN111709995A (zh) * 2020-05-09 2020-09-25 西安电子科技大学 一种激光雷达与摄像头之间的位置标定方法
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN112184768A (zh) * 2020-09-24 2021-01-05 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112288813A (zh) * 2020-11-03 2021-01-29 浙江大学 基于多目视觉测量与激光点云地图匹配的位姿估计方法
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112465849A (zh) * 2020-11-27 2021-03-09 武汉大学 一种无人机激光点云与序列影像的配准方法
CN112223302A (zh) * 2020-12-17 2021-01-15 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
HAINAN CUI等: "Global fusion of generalized camera model for efficient large-scale structure from motion", 《SCIENCE CHINA INFORMATION SCIENCES》, no. 3, 31 March 2017 (2017-03-31), pages 1 - 3, XP036099532, DOI: 10.1007/s11432-015-0792-1 *
RADHIKA RAVI等: "Simultaneous System Calibration of a Multi-LiDAR Multicamera Mobile Mapping Platform", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 11, no. 5, 31 May 2018 (2018-05-31), pages 1694 - 1714, XP011682546, DOI: 10.1109/JSTARS.2018.2812796 *
WEIMINWANG等: "Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR and Panoramic Camera Using a Printed Chessboard", 《REMOTE SENS》, no. 9, 16 August 2017 (2017-08-16), pages 1 - 24 *
YONGJUN ZHANG等: "AUTOMATIC PROCESSING OF CHINESE GF-1 WIDE FIELD OF VIEW IMAGES", 《REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, 》, no. 36, 15 May 2015 (2015-05-15), pages 728 - 734 *
刘锴: "面向无人驾驶的多激光雷达与相机的融合技术研究", 《中国优秀硕士学位论文全文数据库》, no. 1, 15 January 2021 (2021-01-15), pages 035 - 411 *
司译文: "基于点云的非合作目标提取与位姿解算", 《中国优秀硕士学位论文全文数据库》, no. 2, 15 February 2018 (2018-02-15), pages 136 - 1534 *
吴赞文: "大场景下基于多线激光与单目相机融合的定位与建图技术研究", 《中国优秀硕士学位论文全文数据库》, no. 2, 15 February 2021 (2021-02-15), pages 140 - 919 *
王瑞岩: "计算机视觉中相机标定及点云配准技术研究", 《中国博士学位论文全文数据库》, no. 2, 15 February 2017 (2017-02-15), pages 138 - 95 *
申抒含: "机器人辅助膝关节手术系统设计与术后评价算法研究", 《中国博士学位论文全文数据库》, no. 10, 15 October 2010 (2010-10-15), pages 140 - 41 *
谢小伟: "机载LiDAR点云辅助的光学影像同名点提取技术研究", 《中国优秀硕士学位论文全文数据库》, no. 3, 15 March 2017 (2017-03-15), pages 008 - 197 *
黄志清: "二维激光雷达与可见光相机外参标定方法研究", 《仪器仪表学报》, vol. 41, no. 9, 30 September 2020 (2020-09-30), pages 121 - 129 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419564A (zh) * 2021-12-24 2022-04-29 北京百度网讯科技有限公司 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN114419564B (zh) * 2021-12-24 2023-09-01 北京百度网讯科技有限公司 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN114646932A (zh) * 2022-05-23 2022-06-21 深圳元戎启行科技有限公司 基于外置雷达的雷达外参标定方法、装置和计算机设备
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116152333B (zh) * 2023-04-17 2023-09-01 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117351140B (zh) * 2023-09-15 2024-04-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117557623A (zh) * 2023-11-14 2024-02-13 上海月新生科信息科技有限公司 一种冷冻电镜图像序列的精准快速对齐方法
CN117557623B (zh) * 2023-11-14 2024-05-14 上海月新生科信息科技有限公司 一种冷冻电镜图像序列的精准快速对齐方法

Similar Documents

Publication Publication Date Title
CN113625288A (zh) 基于点云配准的相机与激光雷达位姿标定方法和装置
CN109920011B (zh) 激光雷达与双目摄像头的外参标定方法、装置及设备
CN109887032B (zh) 一种基于单目视觉slam的车辆定位方法及系统
US9269188B2 (en) Densifying and colorizing point cloud representation of physical surface using image data
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN112102458A (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN110570449B (zh) 一种基于毫米波雷达与视觉slam的定位与建图方法
CN111160298B (zh) 一种机器人及其位姿估计方法和装置
KR101544021B1 (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111982132B (zh) 数据处理方法、装置和存储介质
CN110310243B (zh) 一种无人机摄影测量的图像校正方法、系统和存储介质
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN110796604A (zh) 一种图像校正方法及装置
CN114812601A (zh) 视觉惯性里程计的状态估计方法、装置、电子设备
KR102265081B1 (ko) 벡터내적과 3차원 좌표변환을 이용한 카메라의 위치 및 자세를 결정하는 시스템
CN112233149A (zh) 场景流的确定方法及装置、存储介质、电子装置
CN115908551A (zh) 车辆测距方法、装置、电子设备及存储介质
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN111739102B (zh) 电子设备的内外参标定方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination