CN116128978A - 一种激光雷达-相机外参自标定方法及装置 - Google Patents

一种激光雷达-相机外参自标定方法及装置 Download PDF

Info

Publication number
CN116128978A
CN116128978A CN202310150997.8A CN202310150997A CN116128978A CN 116128978 A CN116128978 A CN 116128978A CN 202310150997 A CN202310150997 A CN 202310150997A CN 116128978 A CN116128978 A CN 116128978A
Authority
CN
China
Prior art keywords
image
vertex
visible
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310150997.8A
Other languages
English (en)
Inventor
赵政然
付兴银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aibee Beijing Intelligent Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202310150997.8A priority Critical patent/CN116128978A/zh
Publication of CN116128978A publication Critical patent/CN116128978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种激光雷达‑相机外参自标定方法及装置，方法包括：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；根据场景位姿数据获得网格Mesh模型；对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像；根据Mesh模型和矫正图像，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，顶点可见图像集合中存有每个顶点与矫正图像之间的可见关系，在与顶点存在可见关系的矫正图像中，顶点是可见的；根据顶点可见图像集合，对每个矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用优化结果调整矫正图像对应的相机外参。本申请在没有标志物的标定场景下，提高了图片拼接的准确性。

Description

一种激光雷达-相机外参自标定方法及装置
技术领域
本申请涉及相机标定领域，具体涉及一种激光雷达-相机外参自标定方法及装置。
背景技术
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与该点在相机图像中位置之间的关系，须建立相机成像的几何模型，这些几何模型的参数就是相机参数，求解相机参数的过程称为相机标定。相机标定的目的是获取相机的内参和外参，并将内参和外参用于相机图像的矫正。
在相关技术中，相机标定往往需要在本地使用标志物，通过建立标志物上坐标已知的点与相机图像点之间的对应，获得相机模型的内外参数，实现本地标定。但对于一些异地场景的数据采集需求，需要将数据采集设备在使用标志物进行本地标定后，拆分为多个组件运输至目的地，由于重组后数据采集设备的外参与本地标定时获得的外参结果并不相同，而基于标志物的标定工作在异地难以实施，因此在目的地重新组装后进行数据采集工作获得的图片拼接效果较差。
发明内容
有鉴于此，本申请第一方面提供了一种激光雷达-相机外参自标定方法，所述方法包括：
通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；
根据所述场景位姿数据获得网格Mesh模型；
对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；
根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；
根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
优选地，所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行迭代优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
针对每个所述矫正图像，根据所述顶点可见图像集合，确定所述矫正图像中的可见顶点；所述可见顶点为所述Mesh模型中与所述矫正图像具有所述可见关系的顶点；
针对每个所述可见顶点，根据所述顶点可见图像集合，确定与所述可见顶点具有所述可见关系的所述矫正图像，作为所述矫正图像对应的参考矫正图像；
对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，计算所述参考外参矩阵对应的损失函数；
将符合优化条件的所述损失函数对应的所述参考外参矩阵作为所述优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
优选地，所述对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，确定所述参考外参矩阵对应的损失函数包括：
针对每个所述可见顶点，根据所述可见顶点在所述第k个参考矫正图像中的灰度值与所述可见顶点的标准值，确定所述可见顶点的第k个灰度误差；其中，所述第k个灰度误差与所述第k个参考矫正图像对应，k为大于等于1的整数；
根据所述矫正图像中所有可见顶点的所述第k个灰度误差，获得所述第k个参考矫正图像对应的第k个损失函数。
优选地，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
根据所述图像深度信息，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。
优选地，所述对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像包括：
根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵；其中，所述相机坐标系是所述鱼眼图像对应的坐标系；
根据所述Mesh模型中顶点的位置，获得世界坐标系与所述IMU坐标系之间的第二变换矩阵；其中，所述世界坐标系是所述Mesh模型对应的坐标系；
根据所述第一变换矩阵和所述第二变换矩阵，获得所述世界坐标系与所述相机坐标系之间的第三变换矩阵；
根据所述第三变换矩阵对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像。
优选地，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
根据所述图像深度信息生成深度边界图；
根据所述第三变换矩阵，将所述Mesh模型中的顶点坐标变换为所述相机坐标系中的顶点相机坐标；
根据相机内参信息和针孔模型，获得所述顶点相机坐标在图像平面上像素坐标系中的顶点像素坐标；
根据所述深度边界图和所述顶点像素坐标，对第i个顶点和所述矫正图像进行可见性分析，获得第i个顶点对应的可见图像集合；其中，所述第i个顶点对应的可见图像集合中包括所有对于所述第i个顶点可见的所述矫正图像，i为大于等于1的整数；
根据所述Mesh模型中每个顶点各自对应的可见图像集合，生成顶点可见图像集合。
优选地，所述根据所述图像深度信息生成深度边界图包括：
将所述图像深度信息绘制成深度图；
对所述深度图进行高斯滤波后计算所述深度图中像素点的梯度值；
针对所述深度图中的每个像素点，若所述像素点的梯度值大于梯度阈值，则将所述像素点的像素值设置为第一像素值，若所述像素点的梯度值不大于所述梯度阈值，则将所述像素点的像素值设置为第二像素值；所述第一像素值不等于所述第二像素值；
根据对所述深度图中每个像素点设置后的像素值，绘制深度边界图。
优选地，所述方法进一步包括：
通过线性插值方法，对所述矫正图像进行上采样操作，获得与所述矫正图像所对应的n层图像；其中，所述n层图像中，第1层图像为所述矫正图像，第j+1层图像由所述第j层图像经过所述上采样操作后获得，n为大于1的整数，j为大于等于1的整数；
所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
根据所述顶点可见图像集合，将每个所述矫正图像对应的所述n层图像按照降序，对所述n层图像各自对应的外参矩阵分别进行优化，获得所述n层图像各自对应的分层优化结果；
将符合优化条件的所述分层优化结果作为所述矫正图像的优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
优选地，在所述根据所述优化矩阵，优化所述矫正图像对应的相机外参之后，所述方法进一步包括：
通过纹理重建的方式，将纹理图渲染至所述Mesh模型，可视化输出优化后的图片拼接效果。
本申请第二方面提供了一种激光雷达-相机外参自标定装置，所述装置包括：
数据采集单元，用于：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；其中，所述场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；
数据处理单元，用于：根据所述场景位姿数据获得网格Mesh模型；
图像矫正单元，用于：对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；
图像分析单元，用于：根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；
外参优化单元，用于：根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
从以上技术方案可以看出，本申请具有以下优点：本申请通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；其中，场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；根据场景位姿数据获得网格Mesh模型；通过数据采集设备获得的场景位姿数据和鱼眼图像来进行相机标定，降低了相机标定的操作难度；对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像；根据Mesh模型和矫正图像，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，顶点可见图像集合中存有每个顶点与矫正图像之间的可见关系，在与顶点存在可见关系的矫正图像中，所述顶点是可见的；根据顶点可见图像集合，对每个矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用优化结果调整矫正图像对应的相机外参；将二维图像与三维空间通过图像深度信息联系起来，并对Mesh模型中的顶点坐标及矫正图像进行可见性分析，实现无需标志物的相机外参自标定，简化了相机外参标定的流程，提高了相机外参标定的便捷性，在没有标志物的标定场景下，提高了图片拼接的准确性。
附图说明
图1为本申请实施例提供的一种激光雷达-相机外参自标定方法流程图；
图2为本申请场景实施例提供的一种激光雷达-相机外参自标定方法流程图；
图3为本申请场景实施例提供的数据预处理流程示意图；
图4为本申请场景实施例提供的外参优化预处理流程示意图；
图5为本申请场景实施例提供的图像金字塔示意图；
图6为本申请场景实施例提供的获取图像深度信息流程示意图；
图7为本申请场景实施例提供的深度图边界分割流程示意图；
图8为本申请场景实施例提供的顶点与图像的可见性分析流程示意图；
图9为本申请场景实施例提供的图片拼接效果对比图；
图10为本申请实施例提供的一种激光雷达-相机外参自标定装置示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
激光雷达-相机是装有激光雷达和相机的数据采集设备，其中，激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号，然后将接收到的从目标反射回来的信号与发射信号进行比较，经过适当处理后，即可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别。相机是用于采集不同视角鱼眼图像的全景相机，激光雷达作为一个传感器，能帮助相机在成像过程中实现定位，构建高精度平面地图，与其他光学传感器配套使用，实现虚拟图像的生成。
参见图1所示，本申请实施例提供的一种激光雷达-相机外参自标定方法包括如下步骤：
步骤101：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像。
其中，场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；数据采集设备中，包括惯性测量单元(Inertial Measurement Unit，IMU)、激光雷达和全景相机，通过IMU模块可以获得陀螺仪数据和加速度计数据，来测量物体在三维空间中的角速度和加速度，并以此解算出物体的位姿；通过激光雷达对空间场景进行扫描，获得点云数据；通过全景相机获得不同视角的多个鱼眼图像。需要说明的是，数据采集设备可以是激光雷达-相机。
步骤102：根据场景位姿数据获得网格Mesh模型。
其中，Mesh是指模型的网格，3D模型是由多边形拼接而成，而多边形又是由多个三角形拼接而成，即一个3D模型的表面其实是由多个彼此相连的三角面构成。在三维空间中，构成这些三角形的点和边的集合就是Mesh。利用数据采集设备获得的场景位姿数据运行即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)流程，可以获得3D点云、轨迹、地图等数据，再通过重现3D点云即可获得Mesh模型。
步骤103：对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像。
在对鱼眼图像进行畸变矫正时，通过世界坐标系与相机坐标系之间的坐标转换关系，将鱼眼图像矫正为平面图像。鱼眼图像是通过鱼眼镜头拍摄的图像，鱼眼镜头中的画面与真实世界的景象存在很大的差别，在实际生活中所见的景物有规则的固定形态，而通过鱼眼镜头获得的画面，除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了畸变；而在矫正后的平面图像中，物体形态与实际画面保持一致，还原了人们视角中的真实景象。
在一种可能的实现方式中，步骤103可以通过如下方式实现，具体包括：
步骤1031：根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵。
其中，IMU坐标系的坐标原点在陀螺仪和加速度计的坐标原点，xyz三个轴方向，分别与陀螺仪和加速度计的对应轴向平行，IMU坐标系中的坐标用于表示数据采集设备在点云数据中的位姿；相机坐标系是所述鱼眼图像对应的π坐标系；通过对激光雷达-相机的进行本地标定时得到的本地标定结果，可以获得IMU坐标系与相机坐标系之间的坐标变换矩阵，即为第一变换矩阵。
需要说明的是，不同视角的鱼眼图像所对应的相机坐标系之间有偏差，根据本地标定结果可以获得不同视角的鱼眼图像各自对应的第一变换矩阵。
步骤1032：根据Mesh模型中顶点的位置，获得世界坐标系与IMU坐标系之间的第二变换矩阵。
其中，所述世界坐标系是所述Mesh模型对应的三维坐标系；通过Mesh模型中顶点的位置，获得每个顶点IMU坐标系与世界坐标系之间的坐标变换矩阵，即为第二变换矩阵。
步骤1033：根据第一变换矩阵和第二变换矩阵，获得世界坐标系与相机坐标系之间的第三变换矩阵。
根据相机坐标系与IMU坐标系之间的坐标转换矩阵、IMU坐标系与世界坐标系之间的坐标转换矩阵，获得相机坐标系与世界坐标系中的坐标转换矩阵，即为第三变换矩阵。
步骤1034：根据第三变换矩阵对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像。
使用第三变换矩阵将相机坐标系中的坐标变换为世界坐标系中的坐标，将鱼眼图像变换为普通图像，实现对鱼眼图像的畸变矫正，以获得不同视角的鱼眼图像各自对应的矫正图像。
通过不同坐标系之间的变换关系，对鱼眼图像进行畸变矫正，获得矫正图像，提高了图像的视觉效果。
步骤104：根据Mesh模型和矫正图像，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。
顶点可见图像集合中存有每个顶点与矫正图像之间的可见关系，在与顶点存在可见关系的矫正图像中，顶点是可见的。在对Mesh模型中每个顶点进行可见性分析时，可以先根据Mesh模型和矫正图像获得图像深度信息，再根据所述图像深度信息，对Mesh模型中的每个顶点进行可见性分析，并获得顶点可见图像集合。其中，图像深度信息中包括Mesh模型中的每个顶点与采集鱼眼图像的相机之间的距离，可以用于分析三维空间与二维图像中点位的对应关系。
具体地，步骤104可以通过如下方式实现，包括：
步骤1041：根据Mesh模型和矫正图像，获得图像深度信息。
在Mesh模型中的各个顶点和矫正图像之间进行投影解算，将Mesh模型中的每个顶点投影到矫正图像中对应的像素点，并将顶点在Mesh模型中的坐标与矫正图像中的坐标对应，根据坐标对应关系得到矫正图像中每个像素对应的深度信息，保存为图像深度信息。
步骤1042：根据图像深度信息生成深度边界图。
其中，深度边界图是根据图像深度信息提取出的物体边界来绘制的、描述了图像中物体边界的图像。
具体地，本申请实施例提供的一种生成深度边界图的方法包括如下步骤：
步骤S1：将图像深度信息绘制成深度图。
在深度图中，各个像素点的灰度值用于表示视点与场景对象之间的距离；而在本申请实施例中，视点为采集鱼眼图像的相机，场景对象为Mesh模型，灰度值用于表示Mesh模型中每个顶点与采集鱼眼图像的相机之间的距离。
步骤S2：对深度图进行高斯滤波后计算深度图中像素点的梯度值。
对深度图进行滤波，并计算深度图中每个像素点的梯度值。其中，可以在深度图中建立二维坐标系x-o-y，对深度图中的像素点进行一阶梯度求解，获得每个像素点x方向和y方向的深度一阶梯度信息，并根据x方向的深度一阶梯度信息和y方向的深度一阶梯度信息求得像素点的梯度值。
步骤S3：针对深度图中的每个像素点，若像素点的梯度值大于梯度阈值，则将像素点的像素值设置为第一像素值，若像素点的梯度值不大于梯度阈值，则将像素点的像素值设置为第二像素值。
当像素点的梯度值大于梯度阈值时，该像素点对应的距离变化率较大，认为该像素点为边界点，并用第一像素值绘制边界点；当像素点的梯度值不大于梯度阈值时，该像素点对应的距离变化率较小，认为该像素点为非边界点，并用第二像素值绘制非边界点。其中，第一像素值不等于第二像素值，例如，可以将第一像素值设置为255，对应的颜色为白色，将第二像素值设置为0，对应的颜色为黑色。
步骤S4：根据对深度图中每个像素点设置后的像素值，绘制深度边界图。
在对深度边界图进行处理时，可以对深度边界图进行膨胀操作来扩张深度边界图中的边界线，边界线被扩张后会使物体边界更清晰、更流畅，进而使深度边界图更加接近真实场景。
将生成的深度边界图，结合Mesh模型和矫正图像用于分析Mesh模型中每个顶点与矫正图像之间的可见性，提高了分析效率。
步骤1043：根据第三变换矩阵，将Mesh模型中的顶点坐标变换为相机坐标系中的顶点相机坐标。
根据描述世界坐标系与相机坐标系之间变换关系的第三变换矩阵，将Mesh模型中顶点在世界坐标系中的坐标值，转换为顶点在相机坐标系中对应的坐标值，即顶点相机坐标。
步骤1044：根据相机内参信息和针孔模型，获得顶点相机坐标在图像平面上像素坐标系中的顶点像素坐标。
相机内参信息是与相机自身特性相关的参数，比如相机焦距、像素大小等。根据顶点相机坐标(即相机光心在世界坐标系中的光心坐标)，通过相机成像的针孔模型，可以将顶点相机坐标变换为其在相机成像时，图像平面上像素坐标系中对应的顶点像素坐标。其中，像素坐标系是在图像平面上的u-o-v二维直角坐标系。
步骤1045：根据深度边界图和顶点像素坐标，对第i个顶点和矫正图像进行可见性分析，获得第i个顶点对应的可见图像集合。
其中，第i个顶点对应的可见图像集合中包括所有对于第i个顶点可见的矫正图像，即在前述矫正图像中，第i个顶点是可见的，i为大于等于1的整数。
通过顶点坐标、光心坐标和针孔模型，可以计算各个顶点到图像平面的距离d，在对某个顶点和某个矫正图像进行可见性分析时，当d小于0，或d大于可见阈值，或所述顶点的顶点像素坐标位于所述矫正图像对应深度边界图的边界，或所述顶点超出了所述矫正图像的分辨率时，所述顶点与所述矫正图像之间不可见；否则，所述顶点与所述矫正图像之间可见。
其中，当d小于0时，认为所述顶点在拍摄所述矫正图像的相机后方，因此所述顶点与所述矫正图像之间不可见；当d大于可见阈值时，认为d超出了拍摄所述矫正图像的相机的可见距离，因此所述顶点与所述矫正图像之间不可见；当所述顶点的顶点像素坐标位于所述矫正图像对应深度边界图的边界时，认为所述顶点与所述矫正图像之间不可见；当所述顶点超出了所述矫正图像的分辨率时，所述顶点在拍摄所述矫正图像的相机的可见范围之外，因此所述顶点与所述矫正图像之间不可见。
步骤1046：根据Mesh模型中每个顶点各自对应的可见图像集合，生成顶点可见图像集合。
通过对每个顶点和矫正图像进行可见性分析，获得了Mesh模型中每个顶点及其对应的可见图像集合，进而可以由每个顶点及其对应的可见图像集合生成包含所有顶点及其可见图像的顶点可见图像集合。在顶点可见图像集合中，存有每个顶点与矫正图像之间的可见关系，存在可见关系的顶点和矫正图像之间是可见的。
通过对Mesh模型中的顶点和矫正图像之间进行可见性分析，获得顶点可见图像集合，将Mesh模型与矫正图像之间进行对应，以便后续对矫正图像对应的外参矩阵进行优化。
步骤105：根据顶点可见图像集合，对每个矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用优化结果调整矫正图像对应的相机外参。
其中，相机的外参矩阵描述的是世界坐标系中相机的位置，相机外参是相机在世界坐标系中的相机位姿，比如相机的位置、旋转方向等，相比于不变的内参，外参会随着相机运动发生改变。在相机标定工作中，通过优化相机外参可以提高相机工作产生结果的准确性，例如使用多个相机采集不同视角图片并需要将不同视角图片进行拼接获得完整图像时，可以通过优化相机外参提高图像的拼接效果。
在一种可能的实现方式中，步骤105可以通过如下步骤实现：
步骤1051：针对每个矫正图像，根据顶点可见图像集合，确定矫正图像中的可见顶点。
其中，可见顶点为Mesh模型中与矫正图像具有可见关系的顶点。在对每个矫正图像对应的外参矩阵进行分析时，根据顶点可见图像集合，确定当前矫正图像中的可见顶点。
步骤1052：针对每个可见顶点，根据顶点可见图像集合，确定与可见顶点具有可见关系的矫正图像，作为矫正图像对应的参考矫正图像。
根据顶点可见图像集合，可以获得顶点与矫正图像之间的可见关系，对于当前矫正图像中的每个可见顶点，确定每个可见顶点的可见图像，即与可见顶点具有可见关系的矫正图像，并将前述矫正图像确定为对当前矫正图像对应的外参矩阵进行分析时的所使用的参考矫正图像。
步骤1053：对每个参考矫正图像对应的参考外参矩阵进行迭代优化，计算参考外参矩阵对应的损失函数。
不同的矫正图像对应不同的外参矩阵，而不同的外参矩阵对应不同的相机位姿，因此对当前矫正图像进行分析的过程，即为从参考矫正图像对应的相机位姿中，选择最优的相机位姿来调整当前矫正图像对应的相机位姿，使可见顶点在当前矫正图像中的灰度值最接近真实值。
具体地，在对可见顶点对应的第k个参考矫正图像进行迭代优化时，具体包括如下步骤：
步骤M1：针对每个可见顶点，根据可见顶点在第k个参考矫正图像中的灰度值与可见顶点的标准值，确定可见顶点的第k个灰度误差。
其中，第k个灰度误差与第k个参考矫正图像对应，k为大于等于1的整数。标准值为可见顶点在其对应的所有矫正图像中灰度值的平均值，在本申请实施例中用于表示可见顶点的真实灰度值，通过计算可见顶点在第k个参考矫正图像中的灰度值与可见顶点的标准值之间的误差，获得可见顶点与第k个参考矫正图像间的第k个灰度误差。
步骤M2：根据矫正图像中所有可见顶点的第k个灰度误差，获得第k个参考矫正图像对应的第k个损失函数。
针对第k个参考矫正图像，将与所有对其可见的顶点之间的第k个灰度误差求和后，获得第k个参考矫正图像对应的损失函数，即第k个损失函数。
步骤1054：将符合优化条件的损失函数对应的参考外参矩阵作为优化结果，并使用优化结果调整矫正图像对应的相机外参。
其中，优化条件为损失函数最小，即将损失函数最小时对应的参考外参矩阵作为优化结果。对当前矫正图像中所有顶点对应的参考矫正图像的参考外参矩阵进行迭代优化后，获得使当前矫正图像中的可见顶点的灰度值与可见顶点的标准值之间的误差最小，即损失函数最小时对应的参考矫正图像，并根据前述参考矫正图像对应的参考外参矩阵调整相机位姿。
针对每个矫正图像，根据顶点可见图像集合，确定矫正图像中的可见顶点，针对每个可见顶点及其对应的每个参考矫正图像的参考外参矩阵进行迭代优化，计算参考外参矩阵对应的损失函数，并将损失函数最小时对应的参考外参矩阵作为优化结果，提高了优化结果的准确性，进而提高了图片拼接的准确性。
进一步地，可以通过线性插值方法，对矫正图像进行上采样操作，获得与矫正图像所对应的n层图像。
其中，n层图像中，第1层图像为矫正图像，第j+1层图像由第j层图像经过上采样操作后获得，n为大于1的整数，j为大于等于1的整数。
那么步骤105可以通过如下方式实现：
根据顶点可见图像集合，将每个矫正图像对应的n层图像按照降序，对n层图像各自对应的外参矩阵分别进行优化，获得n层图像各自对应的分层优化结果；将符合优化条件的分层优化结果作为矫正图像的优化结果，并使用优化结果调整矫正图像对应的相机外参。
将n层图像按照降序，从第n层开始至第1层为止，对每层图像各自对应的外参矩阵分别进行优化，其中，对每层图像进行优化的过程可以参照步骤1051至步骤1054。
在获得n层图像各自对应的分层优化结果后，选择损失函数最小的分层优化结果对应的外参矩阵作为n层图像所对应矫正图像的优化结果，并使用前述外参矩阵调整矫正图像对应的相机外参。
通过对矫正图像进行上采样，获得所述矫正图像对应的多层分辨率不同的图像，增加了相机外参优化时的数据输入，使得获得的优化结果更准确。
进一步地，在图1所示的方法中，步骤105之后还可以包括：
步骤106：通过纹理重建的方式，将纹理图渲染至Mesh模型，可视化输出优化后的图片拼接效果。
纹理重建是利用纹理技术将图像等映射到目标的三维几何表面，形成物体的色彩信息。通过将二维图像渲染至三维模型，可视化输出相机外参优化后的图片拼接效果，直观地评价优化结果，提高优化结果的可识别性。
本申请实施例通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；其中，场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；根据场景位姿数据获得网格Mesh模型；通过数据采集设备获得的场景位姿数据和鱼眼图像来进行相机标定，降低了相机标定的操作难度；对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像；根据Mesh模型和矫正图像，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，顶点可见图像集合中存有每个顶点与矫正图像之间的可见关系，在与顶点存在可见关系的矫正图像中，所述顶点是可见的；根据顶点可见图像集合，对每个矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用优化结果调整矫正图像对应的相机外参；将二维图像与三维空间通过图像深度信息联系起来，并对Mesh模型中的顶点坐标及矫正图像进行可见性分析，实现无需标志物的相机外参自标定，简化了相机外参标定的流程，提高了相机外参标定的便捷性，在没有标志物的标定场景下，提高了图片拼接的准确性。
参见图2所示，本申请提供的场景实施例包括如下步骤：
步骤201：数据预处理。
如图3所示，通过终端控制设备遥控硬件采集设备进行数据采集，获得本地标定时的相机内外参标定信息，通过IMU硬件惯导模块获得陀螺仪数据、加速度计数据，通过激光雷达3D模块获得激光扫描数据，通过全景相机视觉模块获得4个方向的鱼眼图像信息；并将获得的数据输入SLAM流程，运行后获得点云数据、轨迹、地图，对点云数据进行泊松重建获得Mesh模型。
步骤202：外参优化预处理：
如图4所示，根据本地标定时获得的联合标定产物，获得IMU坐标系与4个鱼眼图像对应的π坐标系的第一变换矩阵T_imu_pi。
根据Mesh模型中顶点的位置，获得世界坐标系与IMU坐标系之间的第二变换矩阵T_imu_world。
根据T_imu_pi和T_imu_world，通过矩阵运算获得世界坐标系与相机坐标系之间的第三变换矩阵T_world_pi。
使用T_world_pi对4个鱼眼图像分别进行畸变矫正后调整图像分辨率，获得4个鱼眼图像各自对应的分辨率为1140×1140的矫正图像，并保存矫正图像对应的相机内参。
步骤203：构建图像金字塔。
通过线性插值的方式，对矫正图像中的每个图像进行采样因子为1.2的上采样操作，获得8层图像金字塔，如图5所示，顶层为原始的矫正图像。同时将各层图像对应的相机内参进行保存。
步骤204：获取图像深度信息。
如图6所示，通过T_world_pi对Mesh模型和矫正图像进行投影解算，最终获得所有矫正图像中每个像素点对应的深度信息，保存为图像深度信息。
步骤205：深度图边界分割。
如图7所示，根据图像深度信息获取深度图，对深度图进行高斯滤波后，计算深度图中每个像素点x方向和y方向的梯度信息，进而求得每个像素点的总梯度，根据所有像素点的总梯度进行边界分割，将总梯度大于梯度阈值的像素点设置为白色，总梯度不大于梯度阈值的像素点设置为黑色，经过膨胀操作后获得深度边界图。其中，梯度阈值设置为0.1米。
步骤206：顶点与图像的可见性分析。
如图8所示，利用相机内参信息中的光心坐标和Mesh模型中的顶点坐标，将顶点坐标变换到相机坐标系中，并计算Mesh模型中每个顶点在像素坐标系中的顶点投影坐标(u，v)；根据顶点投影坐标和深度边界图，对顶点和矫正图像进行可见性分析，分别获得顶点可见的图像集合和图像可见的顶点集合。其中，顶点可见的图像集合根据不同的顶点进行分组，分组里包括该顶点可见的矫正图像；图像可见的顶点集合根据不同的矫正图像进行分组，分组里包括该矫正图像中可见的顶点。
步骤207：优化问题求解。
对每个矫正图像所对应的外参矩阵进行优化时，所使用的公式如下式所示：
Figure BDA0004093087920000151
ri,p＝C(p)-Γi(p,Ti)
其中，f(Ti)是第i个矫正图像的损失函数，C(p)是顶点p的标准值；Pi是第i个图像的可见顶点集合；Ti是第i个矫正图像对应的外参矩阵，可用(T_world_imu·T_imu_pi)T来表示；ri,p是残差项，用来表示顶点p的标准值与灰度值之间的灰度误差；Γi(p,Ti)是顶点p在第i个矫正图像中的灰度值。
其中，Γi(p,Ti)等价于一个复合函数，如下式所示：
Figure BDA0004093087920000161
g(p,Ti)为顶点p在三维坐标系下的坐标，计算公式如下式所示：
g(p,Ti)＝Ti·p＝(gx,gy,gz,gw)T
其中，gx,gy,gz为分别为顶点p在三维坐标系中的x轴、y轴、z轴上的坐标值，gw为顶点p在三维坐标系中的角度值。
由三维坐标系到像素坐标系的变换公式如下式所示：
Figure BDA0004093087920000162
其中，fx,fy为顶点p在像素坐标系中的坐标值，cx,cy为像素坐标系中原点的坐标值。
利用相机位姿将顶点p变换到相机坐标系下，再根据相机内参将顶点p变换到像素坐标系下得到顶点p在像素坐标系中投影点处的灰度值，利用高斯牛顿法对f(Ti)进行优化求解。
将8层图像金字塔自下而上进行迭代优化后，得到f(Ti)最小时对应的一组IMU-相机的外参矩阵T_imu_pi，激光雷达-IMU的外参矩阵T_master_imu可视为固定，则可得到激光雷达-相机的外参矩阵，如下式所示：
T_master_pi＝T_master_imu·T_imu_pi
使用上式外参矩阵来调整激光雷达-相机的外参，优化图片拼接效果，如图9所示，图9(a)和图9(b)为未使用本申请提供的一种激光雷达-相机外参自标定方法时获得的图片拼接效果；图9(c)和图9(d)为使用了本申请提供的一种激光雷达-相机外参自标定方法之后获得的图片拼接效果，其中，图9(c)与图9(a)对应，图9(d)与图9(b)对应，由此可见，本申请提供的一种激光雷达-相机外参自标定方法提高了图片拼接的准确率，优化了图片拼接效果。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
参见图10所示，本申请提供的一种激光雷达-相机外参自标定装置包括：数据采集单元1001，数据处理单元1002，图像矫正单元1003，图像分析单元1004，外参优化单元1005。
数据采集单元1001，用于：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；其中，场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；
数据处理单元1002，用于：根据场景位姿数据获得网格Mesh模型。
图像矫正单元1003，用于：对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像。
图像分析单元1004，用于：根据Mesh模型和矫正图像，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，顶点可见图像集合中存有每个顶点与矫正图像之间的可见关系，在与顶点存在可见关系的矫正图像中，顶点是可见的。
外参优化单元1005，用于：根据顶点可见图像集合，对每个矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用优化结果调整矫正图像对应的相机外参。
进一步地，外参优化单元1005具体用于：
针对每个矫正图像，根据顶点可见图像集合，确定矫正图像中的可见顶点；可见顶点为Mesh模型中与矫正图像具有可见关系的顶点；
针对每个可见顶点，根据顶点可见图像集合，确定与可见顶点具有可见关系的矫正图像，作为矫正图像对应的参考矫正图像；
对每个参考矫正图像对应的参考外参矩阵进行迭代优化，计算参考外参矩阵对应的损失函数；
将符合优化条件的损失函数对应的参考外参矩阵作为优化结果，并使用优化结果调整矫正图像对应的相机外参。
进一步地，外参优化单元1005具体用于：
针对每个可见顶点，根据可见顶点在第k个参考矫正图像中的灰度值与可见顶点的标准值，确定可见顶点的第k个灰度误差；其中，第k个灰度误差与第k个参考矫正图像对应，k为大于等于1的整数；
根据矫正图像中所有可见顶点的第k个灰度误差，获得第k个参考矫正图像对应的第k个损失函数。
进一步地，图像分析单元1004具体用于：
根据Mesh模型和矫正图像，获得图像深度信息；其中，图像深度信息中包括Mesh模型中的每个顶点与采集鱼眼图像的相机之间的距离；
根据图像深度信息，对Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。
进一步地，图像矫正单元1003具体用于：
根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵；其中，相机坐标系是鱼眼图像对应的坐标系；
根据Mesh模型中顶点的位置，获得世界坐标系与IMU坐标系之间的第二变换矩阵；其中，世界坐标系是Mesh模型对应的坐标系；
根据第一变换矩阵和第二变换矩阵，获得世界坐标系与相机坐标系之间的第三变换矩阵；
根据第三变换矩阵对多个鱼眼图像分别进行畸变矫正，获得多个鱼眼图像各自对应的矫正图像。
进一步地，图像分析单元1004具体用于：
根据Mesh模型和矫正图像，获得图像深度信息；其中，图像深度信息中包括Mesh模型中的每个顶点与采集鱼眼图像的相机之间的距离；
根据图像深度信息生成深度边界图；
根据第三变换矩阵，将Mesh模型中的顶点坐标变换为相机坐标系中的顶点相机坐标；
根据相机内参信息和针孔模型，获得顶点相机坐标在图像平面上像素坐标系中的顶点像素坐标；
根据深度边界图和顶点像素坐标，对第i个顶点和矫正图像进行可见性分析，获得第i个顶点对应的可见图像集合；其中，第i个顶点对应的可见图像集合中包括所有对于第i个顶点可见的矫正图像，i为大于等于1的整数；
根据Mesh模型中每个顶点各自对应的可见图像集合，生成顶点可见图像集合。
进一步地，图像分析单元1004具体用于：
将图像深度信息绘制成深度图；
对深度图进行高斯滤波后计算深度图中像素点的梯度值；
针对深度图中的每个像素点，若像素点的梯度值大于梯度阈值，则将像素点的像素值设置为第一像素值，若像素点的梯度值不大于梯度阈值，则将像素点的像素值设置为第二像素值；第一像素值不等于第二像素值；
根据对深度图中每个像素点设置后的像素值，绘制深度边界图。
进一步地，图10所示的装置进一步包括图像采样单元，用于：
通过线性插值方法，对矫正图像进行上采样操作，获得与矫正图像所对应的n层图像；其中，n层图像中，第1层图像为矫正图像，第j+1层图像由第j层图像经过上采样操作后获得，n为大于1的整数，j为大于等于1的整数；
外参优化单元1005具体用于：
根据顶点可见图像集合，将每个矫正图像对应的n层图像按照降序，对n层图像各自对应的外参矩阵分别进行优化，获得n层图像各自对应的分层优化结果；
将符合优化条件的分层优化结果作为矫正图像的优化结果，并使用优化结果调整矫正图像对应的相机外参。
进一步地，图10所示的装置进一步包括可视化输出单元，用于：通过纹理重建的方式，将纹理图渲染至Mesh模型，可视化输出优化后的图片拼接效果。
本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达-相机外参自标定方法，其特征在于，所述方法包括：
通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；
根据所述场景位姿数据获得网格Mesh模型；
对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；
根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；
根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
2.根据权利要求1所述的方法，其特征在于，所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行迭代优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
针对每个所述矫正图像，根据所述顶点可见图像集合，确定所述矫正图像中的可见顶点；所述可见顶点为所述Mesh模型中与所述矫正图像具有所述可见关系的顶点；
针对每个所述可见顶点，根据所述顶点可见图像集合，确定与所述可见顶点具有所述可见关系的所述矫正图像，作为所述矫正图像对应的参考矫正图像；
对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，计算所述参考外参矩阵对应的损失函数；
将符合优化条件的所述损失函数对应的所述参考外参矩阵作为所述优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
3.根据权利要求2所述的方法，其特征在于，所述对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，确定所述参考外参矩阵对应的损失函数包括：
针对每个所述可见顶点，根据所述可见顶点在所述第k个参考矫正图像中的灰度值与所述可见顶点的标准值，确定所述可见顶点的第k个灰度误差；其中，所述第k个灰度误差与所述第k个参考矫正图像对应，k为大于等于1的整数；
根据所述矫正图像中所有可见顶点的所述第k个灰度误差，获得所述第k个参考矫正图像对应的第k个损失函数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
根据所述图像深度信息，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。
5.根据权利要求1所述的方法，其特征在于，所述对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像包括：
根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵；其中，所述相机坐标系是所述鱼眼图像对应的坐标系；
根据所述Mesh模型中顶点的位置，获得世界坐标系与所述IMU坐标系之间的第二变换矩阵；其中，所述世界坐标系是所述Mesh模型对应的坐标系；
根据所述第一变换矩阵和所述第二变换矩阵，获得所述世界坐标系与所述相机坐标系之间的第三变换矩阵；
根据所述第三变换矩阵对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
根据所述图像深度信息生成深度边界图；
根据所述第三变换矩阵，将所述Mesh模型中的顶点坐标变换为所述相机坐标系中的顶点相机坐标；
根据相机内参信息和针孔模型，获得所述顶点相机坐标在图像平面上像素坐标系中的顶点像素坐标；
根据所述深度边界图和所述顶点像素坐标，对第i个顶点和所述矫正图像进行可见性分析，获得第i个顶点对应的可见图像集合；其中，所述第i个顶点对应的可见图像集合中包括所有对于所述第i个顶点可见的所述矫正图像，i为大于等于1的整数；
根据所述Mesh模型中每个顶点各自对应的可见图像集合，生成顶点可见图像集合。
7.根据权利要求6所述的方法，其特征在于，所述根据所述图像深度信息生成深度边界图包括：
将所述图像深度信息绘制成深度图；
对所述深度图进行高斯滤波后计算所述深度图中像素点的梯度值；
针对所述深度图中的每个像素点，若所述像素点的梯度值大于梯度阈值，则将所述像素点的像素值设置为第一像素值，若所述像素点的梯度值不大于所述梯度阈值，则将所述像素点的像素值设置为第二像素值；所述第一像素值不等于所述第二像素值；
根据对所述深度图中每个像素点设置后的像素值，绘制深度边界图。
8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
通过线性插值方法，对所述矫正图像进行上采样操作，获得与所述矫正图像所对应的n层图像；其中，所述n层图像中，第1层图像为所述矫正图像，第j+1层图像由所述第j层图像经过所述上采样操作后获得，n为大于1的整数，j为大于等于1的整数；
所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
根据所述顶点可见图像集合，将每个所述矫正图像对应的所述n层图像按照降序，对所述n层图像各自对应的外参矩阵分别进行优化，获得所述n层图像各自对应的分层优化结果；
将符合优化条件的所述分层优化结果作为所述矫正图像的优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
9.根据权利要求1所述的方法，其特征在于，在所述根据所述优化矩阵，优化所述矫正图像对应的相机外参之后，所述方法进一步包括：
通过纹理重建的方式，将纹理图渲染至所述Mesh模型，可视化输出优化后的图片拼接效果。
10.一种激光雷达-相机外参自标定装置，其特征在于，所述装置包括：
数据采集单元，用于：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；其中，所述场景位姿数据中至少包括：陀螺仪数据、加速度计数据、点云数据；
数据处理单元，用于：根据所述场景位姿数据获得网格Mesh模型；
图像矫正单元，用于：对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；
图像分析单元，用于：根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；
外参优化单元，用于：根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
CN202310150997.8A 2023-02-13 2023-02-13 一种激光雷达-相机外参自标定方法及装置 Pending CN116128978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310150997.8A CN116128978A (zh) 2023-02-13 2023-02-13 一种激光雷达-相机外参自标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310150997.8A CN116128978A (zh) 2023-02-13 2023-02-13 一种激光雷达-相机外参自标定方法及装置

Publications (1)

Publication Number Publication Date
CN116128978A true CN116128978A (zh) 2023-05-16

Family

ID=86295512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310150997.8A Pending CN116128978A (zh) 2023-02-13 2023-02-13 一种激光雷达-相机外参自标定方法及装置

Country Status (1)

Country Link
CN (1) CN116128978A (zh)

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN110490916B (zh) 三维对象建模方法与设备、图像处理装置及介质
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
EP1242966B1 (en) Spherical rectification of image pairs
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
JP7502440B2 (ja) 環境のトポグラフィを測定するための方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
KR20130138247A (ko) 신속 3ｄ 모델링
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN112465849A (zh) 一种无人机激光点云与序列影像的配准方法
WO2022064242A1 (en) The method of automatic 3d designing of constructions and colonies in an smart system using a combination of machine scanning and imaging and machine learning and reconstruction of 3d model through deep learning and with the help of machine learning methods
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
GB2569609A (en) Method and device for digital 3D reconstruction
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
US20220276046A1 (en) System and method for providing improved geocoded reference data to a 3d map representation
CN116128978A (zh) 一种激光雷达-相机外参自标定方法及装置
Wang Towards real-time 3d reconstruction using consumer uavs
Hirzinger et al. Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage
Scheibe et al. Multi-scale 3d-modeling
Oh et al. Hue-saturation-depth Guided Image-based Lidar Upsampling Technique for Ultra-high-resolution and Omnidirectional 3D Scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231009

Address after: Room 1201, 12 / F, building 1, zone 2, No. 81, Beiqing Road, Haidian District, Beijing 100094

Applicant after: AIBEE (BEIJING) INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 100094 room 1202, 12 / F, 13 / F, building 1, zone 2, 81 Beiqing Road, Haidian District, Beijing

Applicant before: Beijing Aibi Technology Co.,Ltd.

TA01 Transfer of patent application right