CN109300162B - 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 - Google Patents

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 Download PDF

Info

Publication number
CN109300162B
CN109300162B CN201810939185.0A CN201810939185A CN109300162B CN 109300162 B CN109300162 B CN 109300162B CN 201810939185 A CN201810939185 A CN 201810939185A CN 109300162 B CN109300162 B CN 109300162B
Authority
CN
China
Prior art keywords
point
edge
calibration
laser radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810939185.0A
Other languages
English (en)
Other versions
CN109300162A (zh
Inventor
张剑华
冯宇婷
王曾媛
吴佳鑫
林瑞豪
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810939185.0A priority Critical patent/CN109300162B/zh
Publication of CN109300162A publication Critical patent/CN109300162A/zh
Application granted granted Critical
Publication of CN109300162B publication Critical patent/CN109300162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，主要涉及机器人视觉、多传感器融合等技术领域。由于激光雷达分辨率的影响，往往提取的扫描边缘点都不够精准，导致标定结果也不够准确。本发明根据激光雷达点在边缘处距离突变的特性，多次寻找比较，取更靠近边缘的点作为标定点。通过对相机图像和雷达边缘点中的圆的检测，根据针孔相机模型计算相机和激光雷达间的平移。在得到的平移向量的邻域空间内搜索标定参数C，以找到使投影误差最小化的标定结果。本发明能够高精度地提取激光雷达扫在物体边缘的点，避免了由于激光雷达分辨率低导致的精度不够问题，从而提高了标定精度。

Description

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合 标定方法
技术领域
本发明涉及机器人视觉、多传感器融合等技术领域，具体涉及一种面向点云边缘细化的多线激光雷达和相机联合标定方法。
背景技术
激光雷达和相机的融合被广泛应用于机器人视觉中的三维重建、自主导航和定位以及无人机等领域。单个传感器具有局限性，如相机易受光照、模糊外界环境影响，激光雷达数据点稀疏，而二者的融合可以弥补各自缺陷。
为了融合激光雷达和相机获取的信息，进行两者之间的联合标定是必不可少的。通过标定确定两个传感器空间坐标系之间的相互转换关系，从而使不同传感器获得的信息融合到统一坐标系下。目前多线激光雷达和相机间联合标定的方法大多使用一些具有空间几何特征的标定物，利用激光雷达在边缘处点的深度不连续性，提取距离突变的点作为边缘点，以用作标定的特征点，并和图像中提取的边缘信息进行配准。但由于激光雷达分辨率的影响，距离突变的点不是刚好准确位于物体边缘的点，因此获取的标定边缘点并不准确，从而影响标定结果的准确性。
因此，如何设计一种激光雷达和相机的联合标定方法，使激光雷达能过获取准确的边缘点用作标定，是实现激光雷达和相机精细标定需要解决的问题。
发明内容
为了解决现有激光雷达获取边缘标定点不准确的不足，本发明提供一种提高获取边缘标定点准确性的基于精细化雷达扫描边缘点的激光雷达和相机联合标定的方法，
为了解决上述技术问题，本发明提供如下的技术方案：
一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，包括以下步骤：
1)对相机进行内参标定得到相机的内参矩阵
Figure BDA0001768617970000021
其中f为相机焦距，[Ox，Oy]为主光轴点；
设计具有空间几何特征的标定物，上面有四个半径相同、圆心距离相同的镂空的圆，将其放置在相机和激光雷达能够同时获取到的位置；
2)第n帧获取的3D激光雷达点云Pn中，第i个点
Figure BDA00017686179700000218
与同一扫描线上相邻两点
Figure BDA0001768617970000022
到激光雷达距离差的最大值表示为
Figure BDA0001768617970000023
其中
Figure BDA0001768617970000024
表示第n帧3D点云中第i个点
Figure BDA00017686179700000219
到激光雷达的距离；提取距离差Xi值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d；得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标定点板边缘的前景边缘点；保留背景部分的边缘点Bn，前景标定板上的边缘点为Fn；
3)获取新的一帧点云，寻找最靠近边缘的距离突变的点为前景边缘点，即获取第n+1帧激光雷达点云Pn+1，遍历参考帧中的每个点
Figure BDA0001768617970000025
计算n+1帧中与
Figure BDA0001768617970000026
同一扫描线上的点
Figure BDA0001768617970000027
和
Figure BDA0001768617970000028
的距离差RangeDiff
Figure BDA0001768617970000029
若距离差RangeDiff大于阈值R，则将点
Figure BDA00017686179700000210
存入点云Kn+1中，即位于标定板上的前景点，对前景点Kn+1中的每个点
Figure BDA00017686179700000211
计算
Figure BDA00017686179700000212
与
Figure BDA00017686179700000214
的水平角度差，选择水平角度差最小的点，作为相对点
Figure BDA00017686179700000215
选定的前景边缘点Si；
若对于背景边缘点
Figure BDA00017686179700000216
第n+1帧不存在RangeDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点
Figure BDA00017686179700000217
为得到的精确边缘点Si；
4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点；
即获取第n+2帧激光雷达点云Pn+2，重复步骤3)得到n+2帧中与
Figure BDA0001768617970000031
同一扫描线上的点
Figure BDA0001768617970000032
和
Figure BDA0001768617970000033
的距离差RangeDiff，并选取与
Figure BDA0001768617970000034
水平角度差最小的点作为新一次找到的边缘点S′i，比较Si与
Figure BDA0001768617970000035
的水平角度差，以及S′i与
Figure BDA0001768617970000036
的水平角度差，选取水平角度差较小的点，即和
Figure BDA0001768617970000037
最邻近的前景边缘点，作为新的前景边缘点Si；
5)继续获取第n+3，n+4，n+5，···帧，重复步骤4)，直到第n+k帧，k为找精确点的循环次数，得到最终的精确边缘点Si，获取该帧的时刻记为ti；
6)对ti时刻得到的精准边缘点用RANSAC算法去除直线，并拟合圆，计算出圆的半径r3d和圆心坐标[X，Y，z]，同时对ti时刻获取的图像利用Hough变换检测圆，求出圆的半径r2a和圆心坐标[u，v]，利用相机模型计算相机和激光雷达坐标系之间的平移变换；
Figure BDA0001768617970000038
Figure BDA0001768617970000039
Figure BDA00017686179700000310
其中[x，y，w]T表示相机坐标系下点的坐标，[X，Y，z，1]T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵，这里只考虑平移变换，令
Figure BDA00017686179700000311
其中[tx，ty，tz]表示平移向量，假设标定物平面是竖直的，通过针孔相机模型得到传感器之间的深度差tz：
Figure BDA00017686179700000312
其中z是圆心的深度坐标，根据公式(6.1)、(6.4)得ty，tz：
Figure BDA00017686179700000313
Figure BDA00017686179700000314
对四个圆分别计算的平移结果求平均，得到最终的平移向量[tx，ty，tz]；
7)用步骤6)中得到的平移量初始化标定参数C[tx，ty，tz，0，0，0]，这里用0初始化旋转参数rx，ry，rz，根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景，使用标定参数C和内参矩阵P将ti时刻的激光雷达点云投影到图像平面，投影误差PE的值用错误投影点E的数量(即投影在背景段上的前景点，反之亦然)除以点云中的点的总数P来计算：
Figure BDA0001768617970000041
密集搜索标定参数C的邻域空间，选择使投影误差PE最小的标定参数C作为最终结果。
本发明的技术构思为：对激光雷达提取点云进行边缘检测，提取背景部分边缘点，通过激光雷达点的深度差寻找每个背景边缘点对应的前景边缘点，通过多次寻找比较得到更接近边缘的前景边缘点。分别提取激光雷达边缘点云和同一时刻相机获取边缘图像中的圆的圆心和半径，通过针孔相机模型计算相机和激光雷达间的平移。在得到的平移向量的邻域空间内搜索标定参数C，以找到使投影误差最小化的标定结果。
本发明的有益效果主要表现在：能够高精度地提取激光雷达扫在物体边缘的点，避免了由于激光雷达分辨率低导致的精度不够问题。通过得到的精确边缘点，能够得到更准确的标定结果。
附图说明
图1是具有空间几何特征的标定物示例图。
图2是多线激光雷达和相机联合标定实例图。
图3是激光雷达扫描到边缘时的示意图。
图4是基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图4，一种精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，包括如下步骤：
1)对相机进行内参标定得到相机的内参矩阵
Figure BDA0001768617970000051
其中f为相机焦距，[Ox，Oy]为主光轴点，如图1所示，设计具有空间几何特征的标定物，上面有四个半径r相同、圆心距离l相同的镂空的圆。将其放置在相机和激光雷达能够同时获取到的位置，如图2所示，激光雷达和相机的位置相对固定，标定板到激光雷达的距离为L，背景墙与标定板之间距离为d。
2)第n帧获取的3D激光雷达点云Pn中，第i个点
Figure BDA0001768617970000052
与同一扫描线上相邻两点
Figure BDA0001768617970000053
到激光雷达距离差的最大值表示为
Figure BDA0001768617970000054
其中
Figure BDA0001768617970000055
表示第n帧3D点云中第i个点
Figure BDA0001768617970000056
到激光雷达的距离。提取距离差Xi值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d。得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标点板边缘的前景边缘点。保留背景部分的边缘点Bn，前景标定板上的边缘点为Fn。
如图3所示，l2表示俯视角度下的标定板平面，l1表示背景墙，由于激光雷达的分辨率有限，同一扫描线上相邻两点P1和P2间存在一定的角度限制，导致前景部分提取到的边缘点P2不一定刚好扫描到标定板的边缘，由此给边缘提取带来误差。为了提取更精准的标定板边缘点，本发明将Bn作为参考帧，以寻找更靠近标定板边缘的前景边缘点。
3)获取新的一帧点云，寻找其中最靠近边缘的距离突变的点为前景边缘点，由于激光雷达扫描精度不稳定，同一扫描线上相邻两点间的水平角度差不是完全一样的，因此可能存在图3所示情况，P1和P2为第n次扫描分别提取的背景边缘点和前景边缘点，在n+1次扫描中，在P1和P2之间可能有多个扫描点Q1，Q2，Q3。因此需对每个距离突变的点比较其与背景点的水平角度差，取最靠近边缘的点。
即对第n+1帧激光雷达点云Pn+1，遍历参考帧中的每个点
Figure BDA0001768617970000061
计算n+1帧中与
Figure BDA0001768617970000062
同一扫描线上的点
Figure BDA0001768617970000063
和
Figure BDA0001768617970000064
的距离差RangeDiff
Figure BDA0001768617970000065
若距离差RangeDiff大于阈值R，则将点
Figure BDA0001768617970000066
存入点云Kn+1中，即位于标定板上的前景点。对前景点Kn+1中的每个点
Figure BDA0001768617970000067
计算
Figure BDA0001768617970000068
与
Figure BDA0001768617970000069
的水平角度差
Figure BDA00017686179700000610
其中
Figure BDA00017686179700000611
表示点
Figure BDA00017686179700000612
的水平角度。选择水平角度差angleDiff最小的点，作为相对点
Figure BDA00017686179700000613
选定的前景边缘点Si。
若对于背景边缘点
Figure BDA00017686179700000614
第n+1帧不存在angleDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点
Figure BDA00017686179700000615
为得到的精确边缘点Si。
4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点。
即获取第n+2帧激光雷达点云Pn+2，重复步骤3)得到n+2帧中与
Figure BDA00017686179700000616
同一扫描线上的点
Figure BDA00017686179700000617
和
Figure BDA00017686179700000618
的距离差RangeDiff，并选取与
Figure BDA00017686179700000619
水平角度差最小的点作为新一次找到的边缘点S′i。比较Si与
Figure BDA00017686179700000620
的水平角度差，以及S′i与
Figure BDA00017686179700000621
的水平角度差，选取水平角度差较小的点，即和
Figure BDA00017686179700000622
最邻近的前景边缘点，作为新的前景边缘点Si。
5)继续获取第n+3，n+4，n+5，···帧，重复步骤4)，直到第n+k帧(k为精确找点循环次数)，得到最终的精确边缘点Si，获取该帧的时刻记为ti。
6)对ti时刻得到的精准边缘点用RANSAC算法去除直线，即标定板两边的直线边缘。通过RANSAC算法求得点云中标定平面和球的交点即圆，得到圆的半径r3a和圆心坐标[X，Y，z]。同时对ti时刻获取的图像利用Hough变换检测圆，求出圆的半径r2d和圆心坐标[u，v]。利用相机模型计算相机和激光雷达坐标系之间的平移变换。
Figure BDA00017686179700000623
Figure BDA0001768617970000071
Figure BDA0001768617970000072
其中[x，y，w]T表示相机坐标系下点的坐标，[X，Y，z，1]T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵。这里只考虑平移变换，令
Figure BDA0001768617970000073
其中[tx，ty，tz]表示平移向量。假设标定物平面是竖直的，通过针孔相机模型可以得到z方向的平移
Figure BDA0001768617970000074
根据公式(11.1)(11.4)可得ty，tz
Figure BDA0001768617970000075
Figure BDA0001768617970000076
对四个圆计算的平移结果求平均，得到最终的平移向量[tx，ty，tz]。
7)用步骤6)得到的平移量初始化标定参数C[tx，ty，tz，0，0，0]。这里用0初始化旋转参数rx，ry，rz。根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景。使用标定参数C和内参矩阵P将ti时刻的激光雷达点云投影到图像平面。投影误差PE的值用错误投影点E的数量(即投影在背景段上的前景点，反之亦然)除以点云中的点的总数P来计算：
Figure BDA0001768617970000077
密集搜索标定参数C的邻域空间，选择使投影误差PE最小的标定参数C作为最终结果。

Claims (1)

1.一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，其特征在于，所述方法包括以下步骤：
1)对相机进行内参标定得到相机的内参矩阵
Figure FDA0003029454810000011
其中f为相机焦距，[Ox,Oy]为主光轴点；
设计具有空间几何特征的标定物，上面有四个半径相同、圆心距离相同的镂空的圆，将其放置在相机和激光雷达能够同时获取到的位置；
2)第n帧获取的3D激光雷达点云Pn中，第i个点
Figure FDA0003029454810000012
与同一扫描线上相邻两点
Figure FDA0003029454810000013
到激光雷达距离差的最大值表示为
Figure FDA0003029454810000014
其中
Figure FDA0003029454810000015
表示第n帧3D点云中第i个点
Figure FDA0003029454810000016
到激光雷达的距离；提取距离差Xi值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d；得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标定点板边缘的前景边缘点；保留背景部分的边缘点Bn，前景标定板上的边缘点为Fn；
3)获取新的一帧点云，寻找最靠近边缘的距离突变的点为前景边缘点，即获取第n+1帧激光雷达点云Pn+1，遍历参考帧中的每个点
Figure FDA0003029454810000017
计算n+1帧中与
Figure FDA0003029454810000018
同一扫描线上的点
Figure FDA0003029454810000019
和
Figure FDA00030294548100000110
的距离差RangeDiff
Figure FDA00030294548100000111
若距离差RangeDiff大于阈值R，则将点
Figure FDA00030294548100000112
存入点云Kn+1中，即位于标定板上的前景点，对前景点Kn+1中的每个点
Figure FDA00030294548100000113
计算
Figure FDA00030294548100000114
与
Figure FDA00030294548100000115
的水平角度差，选择水平角度差最小的点，作为相对点
Figure FDA00030294548100000116
选定的前景边缘点
Figure FDA00030294548100000117
若对于背景边缘点
Figure FDA00030294548100000118
第n+1帧不存在RangeDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点
Figure FDA00030294548100000119
为得到的前景边缘点
Figure FDA00030294548100000120
4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点；
即获取第n+2帧激光雷达点云Pn+2，重复步骤3)得到n+2帧中与
Figure FDA0003029454810000021
同一扫描线上的点
Figure FDA0003029454810000022
和
Figure FDA0003029454810000023
的距离差RangeDiff，并选取与
Figure FDA0003029454810000024
水平角度差最小的点作为新一次找到的边缘点S′i，比较Si与
Figure FDA0003029454810000025
的水平角度差，以及S′i与
Figure FDA0003029454810000026
的水平角度差，选取水平角度差较小的点，即和
Figure FDA0003029454810000027
最邻近的前景边缘点，作为新的前景边缘点
Figure FDA0003029454810000028
5)继续获取第n+3，n+4，n+5,···帧，重复步骤4)，直到第n+k帧，k为找精确点的循环次数，得到最终的精确边缘点
Figure FDA0003029454810000029
获取该帧的时刻记为ti；
6)对ti时刻得到的精准边缘点用RANSAC算法去除直线，并拟合圆，计算出圆的半径r3d和圆心坐标[X,Y,Z]，同时对ti时刻获取的图像利用Hough变换检测圆，求出圆的半径r2d和圆心坐标[u,v]，利用相机模型计算相机和激光雷达坐标系之间的平移变换；
Figure FDA00030294548100000210
Figure FDA00030294548100000211
Figure FDA00030294548100000212
其中[x,y,w]T表示相机坐标系下点的坐标，[X,Y,Z,1]T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵，这里只考虑平移变换，令
Figure FDA00030294548100000213
其中[tx,ty,tz]表示平移向量，假设标定物平面是竖直的，通过针孔相机模型得到传感器之间的深度差tz：
Figure FDA00030294548100000214
其中Z是圆心的深度坐标，根据公式(6.6)、(6.7)得tx,ty：
Figure FDA00030294548100000215
Figure FDA0003029454810000031
对四个圆分别计算的平移结果求平均，得到最终的平移向量[tx,ty,tz]；
7)用步骤6)中得到的平移量初始化标定参数C[tx,ty,tz,0,0,0]，这里用0初始化旋转参数rx,ry,rz，根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景，使用标定参数C和内参矩阵P将ti时刻的激光雷达点云投影到图像平面，投影误差PE的值用错误投影点E除以点云中的点的总数P来计算：
Figure FDA0003029454810000032
密集搜索标定参数C的邻域空间，选择使投影误差PE最小的标定参数C作为最终结果。
CN201810939185.0A 2018-08-17 2018-08-17 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 Active CN109300162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810939185.0A CN109300162B (zh) 2018-08-17 2018-08-17 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810939185.0A CN109300162B (zh) 2018-08-17 2018-08-17 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Publications (2)

Publication Number Publication Date
CN109300162A CN109300162A (zh) 2019-02-01
CN109300162B true CN109300162B (zh) 2021-08-03

Family

ID=65165155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810939185.0A Active CN109300162B (zh) 2018-08-17 2018-08-17 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法

Country Status (1)

Country Link
CN (1) CN109300162B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123242B (zh) * 2018-10-31 2022-03-15 北京亚兴智数科技有限公司 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN111754578B (zh) * 2019-03-26 2023-09-19 舜宇光学（浙江）研究院有限公司 用于激光雷达和相机的联合标定方法及其系统和电子设备
CN110006408B (zh) * 2019-04-17 2020-04-24 武汉大学 LiDAR数据“云控制”航空影像摄影测量方法
CN109932706B (zh) * 2019-04-19 2022-11-29 青岛中科慧畅信息科技有限公司 一种无人装卸物流装备系统激光雷达标定系统及标定方法
CN110148180B (zh) * 2019-04-22 2021-06-08 河海大学 一种激光雷达与相机融合装置与标定方法
CN111913169B (zh) * 2019-05-10 2023-08-22 北京四维图新科技股份有限公司 激光雷达内参、点云数据的修正方法、设备及存储介质
CN110298891A (zh) * 2019-06-25 2019-10-01 北京智行者科技有限公司 相机外参精度自动评估的方法及装置
CN110322519B (zh) * 2019-07-18 2023-03-31 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110244284B (zh) * 2019-07-29 2023-05-05 南通润邦重机有限公司 一种用于多线激光雷达和gps\ins标定的标定板及其方法
WO2021016854A1 (zh) * 2019-07-30 2021-02-04 深圳市大疆创新科技有限公司 一种标定方法、设备、可移动平台及存储介质
CN110361717B (zh) * 2019-07-31 2021-03-12 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
CN112433198B (zh) * 2019-08-24 2022-04-12 苏州寻迹智行机器人技术有限公司 一种从激光雷达的三维点云数据中提取平面的方法
CN111077512B (zh) * 2019-11-26 2023-12-26 歌尔光学科技有限公司 Tof模组标定方法及系统
CN111077506B (zh) * 2019-12-12 2022-04-19 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
GB2594111B (en) 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
CN113128516B (zh) * 2020-01-14 2024-04-05 北京京东乾石科技有限公司 边缘提取的方法和装置
CN111429521B (zh) * 2020-03-05 2021-12-21 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
CN111708022B (zh) * 2020-07-15 2022-02-08 四川长虹电器股份有限公司 毫米波雷达的扫描区域边界的计算方法及装置
CN112017251B (zh) * 2020-10-19 2021-02-26 杭州飞步科技有限公司 标定方法、装置、路侧设备和计算机可读存储介质
CN112305557B (zh) * 2020-10-20 2023-10-20 深圳市诺达通信技术有限公司 一种全景相机与多线激光雷达外参标定系统
CN112505663B (zh) * 2020-11-25 2022-09-13 上海交通大学 用于多线激光雷达与相机联合标定的标定方法
CN112683166B (zh) * 2020-12-11 2022-05-31 杭州优视泰信息技术有限公司 一种模切产品尺寸检测方法
CN112446927A (zh) * 2020-12-18 2021-03-05 广东电网有限责任公司 激光雷达和相机的联合标定方法、装置、设备及存储介质
CN112697112B (zh) * 2020-12-29 2022-10-14 东南大学 一种相机水平面倾斜角的测量方法及装置
CN113138375B (zh) * 2021-04-27 2022-11-29 北京理工大学 一种联合标定方法
CN113534110B (zh) * 2021-06-24 2023-11-24 香港理工大学深圳研究院 一种多激光雷达系统静态标定方法
CN113808217B (zh) * 2021-09-13 2023-07-21 北京航空航天大学 一种实时的激光雷达和摄像头标定误差自修正方法及系统
CN114578328B (zh) * 2022-02-24 2023-03-17 苏州驾驶宝智能科技有限公司 一种多激光雷达和多相机传感器空间位置自动标定方法
CN116839499B (zh) * 2022-11-03 2024-04-30 上海点莘技术有限公司 一种大视野微尺寸2d及3d测量标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法

Also Published As

Publication number Publication date
CN109300162A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109300162B (zh) 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
WO2021098608A1 (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN104040590B (zh) 用于估计物体的姿态的方法
CN111563921B (zh) 一种基于双目相机的水下点云获取方法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN110942449A (zh) 一种基于激光与视觉融合的车辆检测方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN112614188B (zh) 一种基于交比不变性的点阵式标定板及其识别方法
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
Konrad et al. Localization in digital maps for road course estimation using grid maps
CN112464812A (zh) 一种基于车辆的凹陷类障碍物检测方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
Khurana et al. Extrinsic calibration methods for laser range finder and camera: A systematic review
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN112270694A (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation
CN109785388B (zh) 一种基于双目摄像头的短距离精确相对定位方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant