CN117388831A - 相机和激光雷达联合标定方法、装置、电子设备及介质 - Google Patents

相机和激光雷达联合标定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN117388831A
CN117388831A CN202311708576.9A CN202311708576A CN117388831A CN 117388831 A CN117388831 A CN 117388831A CN 202311708576 A CN202311708576 A CN 202311708576A CN 117388831 A CN117388831 A CN 117388831A
Authority
CN
China
Prior art keywords
image
dimensional
camera
coordinates
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311708576.9A
Other languages
English (en)
Other versions
CN117388831B (zh
Inventor
刘权
赵朝阳
王金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objecteye Beijing Technology Co Ltd
Original Assignee
Objecteye Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Objecteye Beijing Technology Co Ltd filed Critical Objecteye Beijing Technology Co Ltd
Priority to CN202311708576.9A priority Critical patent/CN117388831B/zh
Publication of CN117388831A publication Critical patent/CN117388831A/zh
Application granted granted Critical
Publication of CN117388831B publication Critical patent/CN117388831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种相机和激光雷达联合标定方法、装置、电子设备及介质，涉及计算机视觉技术领域，方法包括：调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；确定二维图像对应的去畸变图像及去畸变图像的内参矩阵；点对获取步骤：响应于第一操作，在去畸变图像上抓取第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各三维点云数据，确定目标角点的三维空间坐标；重复执行点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；根据各目标角点的二维图像坐标和三维空间坐标及内参矩阵，确定变换矩阵。本发明提供的相机和激光雷达的联合标定方案简约便捷，能够提高标定精度和标定效率。

Description

相机和激光雷达联合标定方法、装置、电子设备及介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种相机和激光雷达联合标定方法、装置、电子设备及介质。
背景技术
目前，相机与激光雷达已被广泛应用于无人驾驶、智能机器人及安全监管等领域。然而，单一传感器存在一定的局限性。相机对目标的颜色和纹理比较敏感，可以完成目标分类、检测、分割及识别等任务，但是不能得到精确的探测距离，而且易受光照、天气条件的影响。而激光雷达（Laser Radar，LiDAR）可以获得目标的精确三维（3D）信息，检测范围也较大，对光照不敏感，晚上也可以正常工作，但是无法获取彩色信息。
为了提高系统的稳健性，通常采取多传感器融合的方案，将相机与激光雷达结合使用，通过扬长避短和冗余设计，提高整个检测系统的性能和稳定性。多传感器融合系统所实现的功能要远超这些独立系统能够实现的功能总和。相机与激光雷达融合应用的前提是对两者进行联合标定。
现有技术中，通常借助矩形标定板（也称靶标），反复移动标定板在相机和激光雷达公共视野内的位置，采集多组数据，才能得到比较准确的标定结果，操作繁琐，容易产生操作错误，标定结果精度较低，标定效率较低。
发明内容
针对现有技术存在的问题，本发明提供一种相机和激光雷达联合标定方法、装置、电子设备及介质。
本发明提供一种相机和激光雷达联合标定方法，包括：
调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
根据本发明提供的相机和激光雷达联合标定方法，所述确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵，包括：
对所述二维图像进行矫正处理得到矫正后的图像；
在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标；所述内接矩形区域的四周不存在黑边像素；
根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵。
根据本发明提供的相机和激光雷达联合标定方法，所述在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标，包括：
对所述矫正后的图像进行二值化处理，得到二值化图像；
对所述二值化图像逐行进行像素差分处理，获取所述内接矩形区域的左边界和右边界；
对所述二值化图像逐列进行像素差分处理，获取所述内接矩形区域的上边界和下边界；
根据所述内接矩形区域的左边界和右边界，及所述内接矩形区域的上边界和下边界，确定所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标。
根据本发明提供的相机和激光雷达联合标定方法，所述根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵，包括：
采用公式（1）计算所述去畸变图像的内参矩阵；
(1)
其中，为所述去畸变图像的内参矩阵；f u和f v分别为所述相机的横向和纵向的等效像素焦距；u 0和v 0分别为所述相机的光轴在所述相机坐标系的X轴和Y轴上的偏移量；
(2)
(3)
(4)
(5)
f ou，f ov，u，v分别为所述相机的原始内参；l in和r in分别为所述内接矩形区域的左边界和右边界；t in和b in分别为所述内接矩形区域的上边界和下边界；w和h为所述去畸变图像的宽和高。
根据本发明提供的相机和激光雷达联合标定方法，所述响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标，包括：
响应于第二操作，在各所述三维点云数据中定位所述目标角点的参考空间位置；
在各所述三维点云数据中，选取以所述参考空间位置为球心的球体范围内的点云数据；
在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标。
根据本发明提供的相机和激光雷达联合标定方法，所述在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标，包括：
将所述球体范围的球体空间网格化，得到多个网格立方体；
对每个网格立方体建立局部坐标系；
利用最小二乘法对所述网格立方体内的点云数据，拟合得到一个二次曲面，获取所述二次曲面的多个常数项；
基于各所述常数项和所述网格立方体的半径，构建角点响应函数；
求解所述角点响应函数，将大于预设阈值的极大值点的三维空间坐标作为所述目标角点的三维空间坐标。
根据本发明提供的相机和激光雷达联合标定方法，所述二次曲面表示为公式（6）；
(6)
所述基于各所述常数项和所述网格立方体的半径，构建角点响应函数，包括：
基于各所述常数项，确定相关矩阵M；
；
(7)
基于所述相关矩阵M和所述网格立方体的半径k，构建角点响应函数；
；
其中，角点响应函数Res用于计算目标角点；表示所述相关矩阵M对应的行列式；tr(M)表示所述相关矩阵M的迹；/>为常数项。
本发明还提供一种相机和激光雷达联合标定装置，包括：
第一获取模块，用于调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
第一确定模块，用于确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
第二获取模块，用于执行点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
所述第二获取模块，还用于重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
第二确定模块，用于根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述相机和激光雷达联合标定方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述相机和激光雷达联合标定方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述相机和激光雷达联合标定方法。
本发明提供的相机和激光雷达联合标定方法、装置、电子设备及介质，通过调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据，及确定二维图像对应的去畸变图像；然后，响应于第一操作，在去畸变图像上抓取目标角点的二维图像坐标，响应于第二操作，在各三维点云数据中确定目标角点的三维空间坐标；经过多次选点后获取到多个目标角点的三维空间坐标，最终，利用这些目标角点的二维图像坐标和三维空间坐标，确定雷达坐标系到相机坐标系的变换矩阵。可见，本发明通过简洁的人机交互，对仅通过一次采集的图像和点云进行自动处理分析，完成对相机和激光雷达的联合标定，大大加快了标定的速度，相比于现有技术依赖于矩形标定板并需要多次移动标定板重复采样的过程，本发明中相机和激光雷达的联合标定方案简约便捷，能够提高标定精度和标定效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的相机和激光雷达联合标定方法的流程示意图之一；
图2是本发明提供的相机和激光雷达联合标定方法的流程示意图之二；
图3为本发明提供的相机和激光雷达联合标定装置的结构示意图；
图4是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图描述本发明提供的相机和激光雷达联合标定方法、装置、电子设备及介质。
图1是本发明提供的相机和激光雷达联合标定方法的流程示意图之一，如图1所示，该方法包括步骤101-步骤105，其中：
步骤101，调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的。
需要说明的是，本发明提供的相机和激光雷达联合标定方法可适用于需要进行相机和激光雷达联合标定的场景中。该方法的执行主体可以为相机和激光雷达联合标定装置或标定引擎，例如电子设备、服务器或者该装置中的用于执行本发明提供的相机和激光雷达联合标定方法的控制模块。
可选地，固定相机和激光雷达的相对位置，应使两者尽可能的贴近，以最大化两者的重叠视野。固定相机和激光雷达的相对位置后，将设备（即相机和激光雷达）对准日常办公场景拍摄数秒，视野内尽可能多地包含角点目标，如：显示器、箱体、柜子、门框及墙角等。拍摄数秒的意义在于累积点云数量，提升点云覆盖率，便于后续点云角点提取。通常累计3秒的点云数据量即可达到90%以上的视野覆盖率，可以满足点云覆盖率要求。
通过步骤101获取当前时刻的一帧二维（2D）图像数据，同时获取截至当前时刻3秒内的累积三维（3D）点云数据。
步骤102，确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵。
可选地，对于二维图像进行矫正处理，获取无畸变图像，提升标定精度。
步骤103，点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标。
可选地，步骤103中的点对获取步骤，可以基于相机和激光雷达联合标定装置的图形交互界面，针对一次操作采集的数据，通过少量的人工操作，即可完成准确的联合标定。
可选地，在去畸变图像上抓取目标角点的二维图像坐标，并在三维点云数据中，定位该目标角点的大致空间位置，自动框出该目标角点附近位置点云，并自动检测目标角点的3D坐标。至此获取出一个目标角点的二维图像坐标和三维空间坐标的点对。
步骤104，重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标。
可选地，重复执行步骤103中所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标。这就实现在所述去畸变图像上和各所述三维点云数据中，选取现实世界中预设数量的目标角点对应的二维图像坐标和三维空间坐标/>的点对/>；其中，/>分别为图像像素横纵坐标，P为所有选取角点的二维坐标集合；/>为雷达坐标系下角点的三维坐标，O为所有选取角点的三维坐标集合。
通过多次重复步骤103中的点对获取步骤，获取到多个目标角点的二维图像坐标和三维空间坐标的点对。点对选取越多，标定效果越好。本发明方法面向日常办公场景，无需特殊标定板，只需人工选定角点的大致位置，无需变换标定板位置采集数据，无需在稠密的点云中手动选取精确的3D坐标，大大加快了标定的速度。
步骤105，根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
可选地，根据内参矩阵和所有选取角点的二维坐标和三维坐标点对可求解雷达坐标系到相机坐标系的变换矩阵，即旋转矩阵R和评议矩阵t。此问题的求解，是典型的透视三点算法（Perspective-n-Point，PnP）问题，本发明采用基于列文伯格马夸尔特（Levenberg-Marquardt）算法的迭代法进行求解。
可选地，步骤105利用所有选取的目标角点的二维图像坐标和三维空间坐标，计算相机和激光雷达进行联合标定所需的变换矩阵。与现有技术相比，本发明实施方便，效率高，标定结果精度高。
本发明提供的相机和激光雷达联合标定方法，通过调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据，及确定二维图像对应的去畸变图像；然后，响应于第一操作，在去畸变图像上抓取目标角点的二维图像坐标，响应于第二操作，在各三维点云数据中确定目标角点的三维空间坐标；经过多次选点后获取到多个目标角点的三维空间坐标，最终，利用这些目标角点的二维图像坐标和三维空间坐标，确定雷达坐标系到相机坐标系的变换矩阵。可见，本发明通过简洁的人机交互，对仅通过一次采集的图像和点云进行自动处理分析，完成对相机和激光雷达的联合标定，大大加快了标定的速度，相比于现有技术依赖于矩形标定板并需要多次移动标定板重复采样的过程，本发明中相机和激光雷达的联合标定方案简约便捷，能够提高标定精度和标定效率。
可选地，步骤102中所述确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵的实现方式可以包括：
步骤102-1、对所述二维图像进行矫正处理得到矫正后的图像。
步骤102-2、在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标；所述内接矩形区域的四周不存在黑边像素。
可选地，所述矫正后的图像的四周会存在黑色区域，与镜头成像失真有关，畸变越大，黑色区域越大。本发明截取非黑像素的内接矩形区域作为所述二维图像对应的去畸变图像。所述内接矩形区域的四周不存在黑边像素。
可选地，步骤102-2在矫正后的图像中截取内接矩形区域，得到二维图像对应的去畸变图像及去畸变图像的定位坐标的实现方式可以包括：
步骤（1）、对所述矫正后的图像进行二值化处理，得到二值化图像。例如，二值化正值为255；二值化图像是有效像素的前景掩膜。
步骤（2）、对所述二值化图像逐行进行像素差分处理，获取所述内接矩形区域的左边界和右边界。
可选地，所述二值化图像的宽为w，高为h；所述二值化图像的第i行(0<i≤h)的像素值为，右像素减左像素，得到一维差分数组/>，对此一维差分数组，计算最大值和最小值所在位置，可得到第i行图像有效区域的左右边界，最大值位置对应左边界，记为li，最小值位置对应左边界，记为ri。
将所有行的左边界的最大值，作为内接矩形区域的左边界lin，将所有行的右边界/>的最小值，作为内接矩形区域的右边界rin。
步骤（3）、对所述二值化图像逐列进行像素差分处理，获取所述内接矩形区域的上边界和下边界。
可选地，对所述二值化图像逐列作像素差分处理，获取内接矩形区域的上边界tin和下边界bin。
步骤（4）、根据所述内接矩形区域的左边界和右边界，及所述内接矩形区域的上边界和下边界，确定所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标。
可选地，根据内接矩形区域的左边界lin、右边界rin、上边界tin和下边界bin，确定二维图像对应的去畸变图像；去畸变图像的定位坐标为。
步骤102-3、根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵。
可选地，步骤102-3根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵的实现方式可以包括：
采用公式（1）计算所述去畸变图像的内参矩阵；
(1)
其中，为所述去畸变图像的内参矩阵；f u和f v分别为所述相机的横向和纵向的等效像素焦距；u 0和v 0分别为所述相机的光轴在所述相机坐标系的X轴和Y轴上的偏移量；
(2)
(3)
(4)
(5)
f ou，f ov，u，v分别为所述相机的原始内参；l in和r in分别为所述内接矩形区域的左边界和右边界；t in和b in分别为所述内接矩形区域的上边界和下边界；w和h为所述去畸变图像的宽和高。需要说明的是，矫正图像的原始内参由张式标定法得到。
本发明在矫正后的图像中截取内接矩形区域，得到二维图像对应的去畸变图像及去畸变图像的定位坐标，提高标定结果的准确性。
可选地，步骤103中所述响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标的实现方式可以包括：
步骤103-1、响应于第二操作，在各所述三维点云数据中定位所述目标角点的参考空间位置。
可选地，接收到用户的第二操作后，响应于第二操作，获取第二操作对应的位置，作为目标角点的参考空间位置，从而实现人工选定目标角点的大致位置。
步骤103-2、在各所述三维点云数据中，选取以所述参考空间位置为球心的球体范围内的点云数据。
可选地，本发明在各所述三维点云数据中，自动圈取以所述参考空间位置为球心半径为R（R为预定义或预先设置的）的球体范围内的点云，然后在圈取的点云数据上进行三维角点检测，自动获取目标角点的三维空间坐标。
步骤103-3、在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标。
可选地，步骤103-3的实现方式可以包括步骤a至步骤e：
步骤a、将所述球体范围的球体空间网格化，得到多个网格立方体。网格立方体的半径为k。
步骤b、对每个网格立方体建立局部坐标系。其中，Z方向为法向量方向，X轴和Y轴与Z轴垂直。
步骤c、利用最小二乘法对所述网格立方体内的点云数据，拟合得到一个二次曲面，获取所述二次曲面的多个常数项。
例如，所述二次曲面可以表示为公式（6）；
(6)
步骤d、基于各所述常数项和所述网格立方体的半径，构建角点响应函数。
可选地，基于各所述常数项，确定相关矩阵M；
；
(7)
基于所述相关矩阵M和所述网格立方体的半径k，构建角点响应函数；
；
其中，角点响应函数Res用于计算目标角点；表示所述相关矩阵M对应的行列式；tr(M)表示所述相关矩阵M的迹；/>为常数项。
步骤e、求解所述角点响应函数，将大于预设阈值的极大值点的三维空间坐标作为所述目标角点的三维空间坐标。
图2是本发明提供的相机和激光雷达联合标定方法的流程示意图之二，如图2所示，该方法包括步骤201-步骤210，其中：
步骤201，固定相机和激光雷达的相对位置。
步骤202，将设备对准日常场景拍摄，使设备的视野内包含较多的角点。
步骤203，采集一帧二维图像。
步骤204，对二维图像进行矫正处理，获取去畸变图像及去畸变图像的内参矩阵。
步骤205，在去畸变图像上抓取目标角点的二维图像坐标。
步骤206，采集3秒以上点云。
步骤207，粗略定位目标角点的空间位置。
步骤208，自动检测目标角点的三维空间坐标。
步骤209，重复执行步骤205、步骤207及步骤208，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标。
步骤210，计算雷达坐标系到相机坐标系的变换矩阵。
本发明通过合理地搭建硬件平台后，使用彩色相机和激光雷达采集数据，通过简洁的人机交互，对采集的图像和点云进行自动处理分析，完成对相机和激光雷达的联合标定。本发明适用于计算机视觉，多传感器融合处理领域。
本发明提供的相机和激光雷达联合标定方法，是一种简约便捷的联合标定方法，只需一次采集数据，少量的人工介入，即可完成准确的联合标定。本发明能够摆脱现有技术中常见标定方法对矩形标定板的依赖，避免了多次移动标定板重复采样的过程，使得相机和激光雷达的联合标定更加简便快速。固定相机和激光雷达的相对位置后，将设备对准日常办公场景拍摄数秒，视野内尽可能多地包含角点目标，如：显示器、箱体、柜子、门框、墙角等。获取一帧2D图像数据和累积点云数据，对2D图像进行矫正处理，在矫正后的图像上抓取角点坐标，并在三维点云中，定位该角点的大致空间位置，方法自动框出该角点附近位置点云，并自动检测角点的3D坐标，至此获取出一组二维和三维坐标点对，多次重复此选点过程，点对选取越多，标定效果越好。最终，利用这些点对坐标，计算联合标定所需的变换矩阵。与传统方法相比，此方法实施方便，效率高，标定结果精度高。
下面对本发明提供的相机和激光雷达联合标定装置进行描述，下文描述的相机和激光雷达联合标定装置与上文描述的相机和激光雷达联合标定方法可相互对应参照。
图3为本发明提供的相机和激光雷达联合标定装置的结构示意图，如图3所示，该相机和激光雷达联合标定装置300包括：包括：第一获取模块301、第一确定模块302、第二获取模块303及第二确定模块304；其中：
第一获取模块301，用于调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
第一确定模块302，用于确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
第二获取模块303，用于执行点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
所述第二获取模块303，还用于重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
第二确定模块304，用于根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
本发明提供的相机和激光雷达联合标定装置，通过调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据，及确定二维图像对应的去畸变图像；然后，响应于第一操作，在去畸变图像上抓取目标角点的二维图像坐标，响应于第二操作，在各三维点云数据中确定目标角点的三维空间坐标；经过多次选点后获取到多个目标角点的三维空间坐标，最终，利用这些目标角点的二维图像坐标和三维空间坐标，确定雷达坐标系到相机坐标系的变换矩阵。可见，本发明通过简洁的人机交互，对仅通过一次采集的图像和点云进行自动处理分析，完成对相机和激光雷达的联合标定，大大加快了标定的速度，相比于现有技术依赖于矩形标定板并需要多次移动标定板重复采样的过程，本发明中相机和激光雷达的联合标定方案简约便捷，能够提高标定精度和标定效率。
可选地，所述第一确定模块302，具体用于：
对所述二维图像进行矫正处理得到矫正后的图像；
在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标；所述内接矩形区域的四周不存在黑边像素；
根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵。
可选地，所述第一确定模块302，具体用于：
对所述矫正后的图像进行二值化处理，得到二值化图像；
对所述二值化图像逐行进行像素差分处理，获取所述内接矩形区域的左边界和右边界；
对所述二值化图像逐列进行像素差分处理，获取所述内接矩形区域的上边界和下边界；
根据所述内接矩形区域的左边界和右边界，及所述内接矩形区域的上边界和下边界，确定所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标。
可选地，所述第一确定模块302，具体用于：
采用公式（1）计算所述去畸变图像的内参矩阵；
(1)
其中，为所述去畸变图像的内参矩阵；f u和f v分别为所述相机的横向和纵向的等效像素焦距；u 0和v 0分别为所述相机的光轴在所述相机坐标系的X轴和Y轴上的偏移量；
(2)
(3)
(4)
(5)
f ou，f ov，u，v分别为所述相机的原始内参；l in和r in分别为所述内接矩形区域的左边界和右边界；t in和b in分别为所述内接矩形区域的上边界和下边界；w和h为所述去畸变图像的宽和高。
可选地，所述第二获取模块303，具体用于：
响应于第二操作，在各所述三维点云数据中定位所述目标角点的参考空间位置；
在各所述三维点云数据中，选取以所述参考空间位置为球心的球体范围内的点云数据；
在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标。
可选地，所述第二获取模块303，具体用于：
将所述球体范围的球体空间网格化，得到多个网格立方体；
对每个网格立方体建立局部坐标系；
利用最小二乘法对所述网格立方体内的点云数据，拟合得到一个二次曲面，获取所述二次曲面的多个常数项；
基于各所述常数项和所述网格立方体的半径，构建角点响应函数；
求解所述角点响应函数，将大于预设阈值的极大值点的三维空间坐标作为所述目标角点的三维空间坐标。
根据本发明提供的相机和激光雷达联合标定方法，所述二次曲面表示为公式（6）；
(6)
可选地，所述第二获取模块303，具体用于：
基于各所述常数项，确定相关矩阵M；
；
(7)
基于所述相关矩阵M和所述网格立方体的半径k，构建角点响应函数；
；
其中，角点响应函数Res用于计算目标角点；表示所述相关矩阵M对应的行列式；tr(M)表示所述相关矩阵M的迹；/>为常数项。
图4是本发明提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（Communications Interface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行相机和激光雷达联合标定方法，所述方法包括：
调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的相机和激光雷达联合标定方法，所述方法包括：
调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的相机和激光雷达联合标定方法，所述方法包括：
调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种相机和激光雷达联合标定方法，其特征在于，包括：
调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
2.根据权利要求1所述的相机和激光雷达联合标定方法，其特征在于，所述确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵，包括：
对所述二维图像进行矫正处理得到矫正后的图像；
在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标；所述内接矩形区域的四周不存在黑边像素；
根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵。
3.根据权利要求2所述的相机和激光雷达联合标定方法，其特征在于，所述在所述矫正后的图像中截取内接矩形区域，得到所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标，包括：
对所述矫正后的图像进行二值化处理，得到二值化图像；
对所述二值化图像逐行进行像素差分处理，获取所述内接矩形区域的左边界和右边界；
对所述二值化图像逐列进行像素差分处理，获取所述内接矩形区域的上边界和下边界；
根据所述内接矩形区域的左边界和右边界，及所述内接矩形区域的上边界和下边界，确定所述二维图像对应的去畸变图像及所述去畸变图像的定位坐标。
4.根据权利要求2所述的相机和激光雷达联合标定方法，其特征在于，所述根据所述去畸变图像的定位坐标，确定所述去畸变图像的内参矩阵，包括：
采用公式（1）计算所述去畸变图像的内参矩阵；
(1)
其中，为所述去畸变图像的内参矩阵；f u和f v分别为所述相机的横向和纵向的等效像素焦距；u 0和v 0分别为所述相机的光轴在所述相机坐标系的X轴和Y轴上的偏移量；
(2)
(3)
(4)
(5)
f ou，f ov，u，v分别为所述相机的原始内参；l in和r in分别为所述内接矩形区域的左边界和右边界；t in和b in分别为所述内接矩形区域的上边界和下边界；w和h为所述去畸变图像的宽和高。
5.根据权利要求1所述的相机和激光雷达联合标定方法，其特征在于，所述响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标，包括：
响应于第二操作，在各所述三维点云数据中定位所述目标角点的参考空间位置；
在各所述三维点云数据中，选取以所述参考空间位置为球心的球体范围内的点云数据；
在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标。
6.根据权利要求5所述的相机和激光雷达联合标定方法，其特征在于，所述在所述球体范围内的点云数据上进行三维角点检测，获取所述目标角点的三维空间坐标，包括：
将所述球体范围的球体空间网格化，得到多个网格立方体；
对每个网格立方体建立局部坐标系；
利用最小二乘法对所述网格立方体内的点云数据，拟合得到一个二次曲面，获取所述二次曲面的多个常数项；
基于各所述常数项和所述网格立方体的半径，构建角点响应函数；
求解所述角点响应函数，将大于预设阈值的极大值点的三维空间坐标作为所述目标角点的三维空间坐标。
7.根据权利要求6所述的相机和激光雷达联合标定方法，其特征在于，所述二次曲面表示为公式（6）；
(6)
所述基于各所述常数项和所述网格立方体的半径，构建角点响应函数，包括：
基于各所述常数项，确定相关矩阵M；
；
(7)
基于所述相关矩阵M和所述网格立方体的半径k，构建角点响应函数；
；
其中，角点响应函数Res用于计算目标角点；表示所述相关矩阵M对应的行列式；tr(M)表示所述相关矩阵M的迹；/>为常数项。
8.一种相机和激光雷达联合标定装置，其特征在于，包括：
第一获取模块，用于调用相机和激光雷达分别获取目标场景的一帧二维图像和多个三维点云数据；所述相机和所述激光雷达的相对位置是固定的；
第一确定模块，用于确定所述二维图像对应的去畸变图像及所述去畸变图像的内参矩阵；
第二获取模块，用于执行点对获取步骤：响应于第一操作，在所述去畸变图像上抓取所述第一操作对应的目标角点的二维图像坐标；响应于第二操作，根据各所述三维点云数据，确定所述目标角点的三维空间坐标；
所述第二获取模块，还用于重复执行所述点对获取步骤，直到获取到预设数量的目标角点的二维图像坐标和三维空间坐标；
第二确定模块，用于根据各所述目标角点的二维图像坐标和三维空间坐标，及所述去畸变图像的内参矩阵，确定雷达坐标系到相机坐标系的变换矩阵；所述变换矩阵用于对所述相机和所述激光雷达进行联合标定。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述相机和激光雷达联合标定方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述相机和激光雷达联合标定方法。
CN202311708576.9A 2023-12-13 2023-12-13 相机和激光雷达联合标定方法、装置、电子设备及介质 Active CN117388831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311708576.9A CN117388831B (zh) 2023-12-13 2023-12-13 相机和激光雷达联合标定方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311708576.9A CN117388831B (zh) 2023-12-13 2023-12-13 相机和激光雷达联合标定方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN117388831A true CN117388831A (zh) 2024-01-12
CN117388831B CN117388831B (zh) 2024-03-15

Family

ID=89470680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311708576.9A Active CN117388831B (zh) 2023-12-13 2023-12-13 相机和激光雷达联合标定方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117388831B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678783A (zh) * 2016-01-25 2016-06-15 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
CN110910463A (zh) * 2019-10-14 2020-03-24 中国科学院自动化研究所 全视角点云数据定长有序化编码方法、设备及存储介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN111754578A (zh) * 2019-03-26 2020-10-09 舜宇光学（浙江）研究院有限公司 一种用于激光雷达和相机的联合标定方法及其系统和电子设备
WO2021017352A1 (zh) * 2019-07-31 2021-02-04 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
CN112669393A (zh) * 2020-12-31 2021-04-16 中国矿业大学 一种激光雷达与相机联合标定方法
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
CN116243329A (zh) * 2023-02-22 2023-06-09 陕西重型汽车有限公司 基于激光雷达和相机融合的高精度多目标无接触测距方法
CN116469095A (zh) * 2023-04-21 2023-07-21 南京邮电大学 雷视传感融合的天时场景自适应三维目标检测方法
CN117078767A (zh) * 2023-07-26 2023-11-17 成都市卡蛙科技有限公司 激光雷达与相机标定方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678783A (zh) * 2016-01-25 2016-06-15 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
CN111754578A (zh) * 2019-03-26 2020-10-09 舜宇光学（浙江）研究院有限公司 一种用于激光雷达和相机的联合标定方法及其系统和电子设备
WO2021017352A1 (zh) * 2019-07-31 2021-02-04 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
CN110910463A (zh) * 2019-10-14 2020-03-24 中国科学院自动化研究所 全视角点云数据定长有序化编码方法、设备及存储介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN112669393A (zh) * 2020-12-31 2021-04-16 中国矿业大学 一种激光雷达与相机联合标定方法
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
CN116243329A (zh) * 2023-02-22 2023-06-09 陕西重型汽车有限公司 基于激光雷达和相机融合的高精度多目标无接触测距方法
CN116469095A (zh) * 2023-04-21 2023-07-21 南京邮电大学 雷视传感融合的天时场景自适应三维目标检测方法
CN117078767A (zh) * 2023-07-26 2023-11-17 成都市卡蛙科技有限公司 激光雷达与相机标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117388831B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN114004901B (zh) 多相机标定方法、装置、终端设备及可读存储介质
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN112837207B (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN114022560A (zh) 标定方法及相关装置、设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN108444452B (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN113589263A (zh) 一种多个同源传感器联合标定方法及系统
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
CN117388831B (zh) 相机和激光雷达联合标定方法、装置、电子设备及介质
CN116929290A (zh) 一种双目视角差立体深度测量方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant