CN111709995A - 一种激光雷达与摄像头之间的位置标定方法 - Google Patents

一种激光雷达与摄像头之间的位置标定方法 Download PDF

Info

Publication number
CN111709995A
CN111709995A CN202010388033.3A CN202010388033A CN111709995A CN 111709995 A CN111709995 A CN 111709995A CN 202010388033 A CN202010388033 A CN 202010388033A CN 111709995 A CN111709995 A CN 111709995A
Authority
CN
China
Prior art keywords
camera
radar
image
points
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010388033.3A
Other languages
English (en)
Other versions
CN111709995B (zh
Inventor
姜光
徐艾玲
白子轩
贾静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010388033.3A priority Critical patent/CN111709995B/zh
Publication of CN111709995A publication Critical patent/CN111709995A/zh
Application granted granted Critical
Publication of CN111709995B publication Critical patent/CN111709995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的激光雷达与摄像头之间的位置标定方法，涉及图像处理及计算机视觉技术领域，通过使用雷达坐标系下指向不同无穷远点的三个单位向量及相机坐标系下对应的三个单位向量，解得激光雷达和摄像头之间的旋转矩阵，再根据成像原理，利用雷达数据点和像点之间的对应关系，解得激光雷达和摄像头之间的平移向量，得到二者完整的位置对应关系，根据两张RGB图像和对应的雷达数据就可得出标定结果，所需数据量小，简化了操作流程，提高了标定结果的准确性，适用于多种场景。

Description

一种激光雷达与摄像头之间的位置标定方法
技术领域
本发明涉及图像处理及计算机视觉技术领域，具体涉及一种激光雷达与摄像头之间的位置标定方法。
背景技术
激光雷达与摄像头之间的信息融合目前被广泛应用于自动驾驶和机器人感知与自动导航系统，而激光雷达与摄像头之间的位置标定是二者信息融合的基础。
激光雷达是以发射激光束来探测目标的位置、速度等特征量的雷达系统。激光雷达通过向周围环境发射激光，经目标反射后被接收系统收集处理，可得到周围环境精准的三维立体图像。摄像头获取的图像可以提供色彩和纹理信息。
根据雷达数据与图像点的对应关系可以对激光雷达和摄像头进行位置标定。在进行了位置标定后，将二者信息融合可以得到更具真实性的三维场景。
河海大学在其申请的一项名称为“一种激光雷达与相机融合装置与标定方法”(申请日：2019年04月22日，申请号：201910323937.5，公开号：CN110148180A)的专利申请中公开了一种基于四边形标定板的标定方法。该方法使用激光雷达和相机分别对标定板进行检测和拍摄，通过拟合雷达数据中标定板的边界直线进而得到标定板的端点。将相机图片上端点所在位置的像素点与端点对应便可以得到相机和雷达的位姿关系表达式。该方法的缺点在于操作复杂且求解得到的外参矩阵精度低，确定的位置关系不准确，影响信息融合效果。
西安电子科技大学在其申请的一项名称为“激光雷达与摄像头之间的位置标定方法”(申请日：2019年10月15日，申请号：201910978432.2，公开号：CN110703230A)的专利申请中公开了一种使用截面为L形的长杆作为标定物的标定方法。该方法通过多次变更长杆位姿，使用雷达和摄像头获取多组标定数据。根据标定数据所得的多组无穷远点与灭点之间的对应关系求解旋转矩阵R，再根据约束条件求解平移向量t。将激光雷达所在的坐标系按求得的旋转矩阵和平移向量进行旋转和平移，使其与摄像机所在的坐标系重合，完成位置标定。该方法的缺点在于需要特定的标定物，且需要人为多次调整标定物位姿获取数据，操作复杂。
发明内容
为解决现有技术的不足，本发明实施例提供了一种激光雷达与摄像头之间的位置标定方法，该方法包括以下步骤：
(1)将激光雷达和一个已去畸变且内参矩阵已知的摄像头安装在移动平台上且二者之间的相对位置固定。
(2)利用激光雷达和摄像头对建筑物的一角进行拍摄，获取标定所需数据：
(21)在室外场景中，利用激光雷达和摄像头对建筑物的一角进行一次拍摄，得到雷达点云数据D1和图像I1，其中，雷达点云数据D1和图像I1包括建筑物一角相交的左墙WL、右墙WR和地面WG，其中，WL和WR、WR和WG、WL和WG的交线分别为L1、L2和L3，左墙WL、右墙WR上均具有窗户；
(22)平移移动平台，利用激光雷达和摄像头对建筑物的一角进行第二次拍摄，得到雷达点云数据D2和图像I2包括建筑物一角相交的墙壁与地面，其中，各个墙壁上均具有窗户；
(3)对雷达点云数据D1进行处理，获得雷达坐标系下指向不同无穷远点的三个单位向量：
(31)对雷达点云数据D1进行分割处理，获得WL、WR和WG对应的点云平面，使用平面拟合算法对获得的三个平面点云进行拟合，得到雷达坐标系下三个平面的平面方程，分别为：
WL:A1X+B1Y+C1Z+D1＝0、WR:A2X+B2Y+C2Z+D2＝0及WG:A3X+B3Y+C3Z+D3＝0，同时获得WL、WR和WG对应的点云平面的法向量
Figure BDA0002484809990000031
(32)根据两平面法向量的叉乘结果为两平面交线的方向向量的性质，对步骤(31)中得到的三个法向量nL、nR、nG，进行两两叉乘，得到三个指向不同无穷远点的方向向量d1＝nL×nR、d2＝nR×nG、d3＝nL×nG；
(33)根据公式
Figure BDA0002484809990000032
分别对d1、d2和d3进行单位化，得到所需的三个指向不同无穷远点单位向量w1、w2和w3；
(4)对图像I1进行处理，得到与w1、w2和w3对应的相机坐标系下的三个单位向量：
(41)使用直线检测算法对图像I1进行检测，得到步骤(21)中交线L1、L2和L3的对应三条像平面直线l1、l2、l3、空间中与三条交线相平行的直线对应的像平面直线和像平面直线方程；
(42)在步骤(41)得到的直线中，分别选择任意两条在空间中与L1、L2和L3平行的直线投影所得的像平面直线并分别获得它们的交点
Figure BDA0002484809990000041
这些交点为空间无穷远点的像点，其中，i＝1、2、3；
(43)根据成像原理，可得相机坐标系下指向
Figure BDA0002484809990000042
的方向向量ci，其中，
Figure BDA0002484809990000043
其中K为摄像头的内参矩阵；
(44)分别对c1、c2和c3进行归一化，得到所需的单位向量f1、f2和f3；
(5)通过单位向量之间的对应关系解得旋转矩阵R＝[f1,f2,f3][w1,w2,w3]-1；
(6)根据成像原理，利用两对对应点，计算平移向量
Figure BDA0002484809990000044
(61)根据步骤(31)中得到的平面WL、WR和WG，解得平面WL、WR和WG的交点
Figure BDA0002484809990000045
其中，X1、Y1、Z1、1分别为交点Q1的三维齐次坐标分量且交点Q1的像点为l1、l2、l3的交点
Figure BDA0002484809990000046
(62)根据步骤(31)及步骤(61)，对雷达点云数据D2和图像I2进行处理，可得交点Q2及像点q2；
(63)根据成像原理
Figure BDA0002484809990000051
令
Figure BDA0002484809990000052
得到
Figure BDA0002484809990000053
其中，
Figure BDA0002484809990000054
为相机内参矩阵，由于一对点提供两组约束，将Q1、q1和Q2、q2分别代入式中可得四组约束条件，再利用最小二乘法可解得平移向量t；
(7)将激光雷达所在坐标系根据旋转矩阵R和平移向量t进行旋转和平移，使其与相机坐标系重合，完成激光雷达与摄像头之间的位置标定。
优选地，步骤(2)中的建筑物为常规建筑物，即建筑物一角由垂直于地面的两个相交平面构成且平面上需有窗户等建筑特征。
优选地，步骤(41)中得到像平面直线方程，是根据使用统计概率霍夫变换算法进行直线检测时得到的各条直线上两个点的坐标，再根据两点确定一条直线的方法获得直线方程。
优选地，步骤(41)中三条交线平行直线对应的像平面直线，是根据建筑物中窗户等特征的边缘线平行于墙面与地面交线的特点得到的。
优选地，步骤(42)中得到交点
Figure BDA0002484809990000055
是根据联立两条直线的直线方程得到的。
优选地，步骤(61)中WL、WR和WG的交点Q1，l1、l2、l3的交点q1是根据联立方程组的方法得到的。
本发明实施例提供的激光雷达与摄像头之间的位置标定方法，具有以下有益效果：
使用雷达坐标系下指向不同无穷远点的三个单位向量及相机坐标系下对应的三个单位向量，解得激光雷达和摄像头之间的旋转矩阵。再根据成像原理，利用雷达数据点和像点之间的对应关系，解得激光雷达和摄像头之间的平移向量，得到二者完整的位置对应关系，根据两张RGB图像和对应的雷达数据就可得出标定结果，所需数据量小，流程简单、易操作且标定结果准确性高，适用于多种场景。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明实施例提供的激光雷达与摄像头之间的位置标定方法，包括以下步骤：
(1)将激光雷达和一个已去畸变且内参矩阵已知的摄像头安装在移动平台上且二者之间的相对位置固定。
作为一个具体的实施例，激光雷达为旋转式多线激光雷达，是指同时发射及接收多束激光的激光旋转测距雷达；摄像头为已去畸变且内参矩阵已知的摄像头，可根据视场角需要选用鱼眼镜头或标准镜头；移动平台指汽车或机械臂等可以搭载激光雷达和摄像头的平台；固定方式可采用但不仅限于螺丝和焊接的方式，经过固定后激光雷达和摄像头之间的距离和相对位置不再发生改变。
(2)利用激光雷达和摄像头对建筑物的一角进行拍摄，获取标定所需数据：
(21)在室外场景中，利用激光雷达和摄像头对建筑物的一角进行一次拍摄，得到雷达点云数据D1和图像I1，其中，雷达点云数据D1和图像I1包括建筑物一角相交的左墙WL、右墙WR和地面WG，其中，WL和WR、WR和WG、WL和WG的交线分别为L1、L2和L3，左墙WL、右墙WR上均具有窗户；
(22)平移移动平台，利用激光雷达和摄像头对建筑物的一角进行第二次拍摄，得到雷达点云数据D2和图像I2包括建筑物一角相交的墙壁与地面，各个墙壁上均具有窗户；
(3)对雷达点云数据D1进行处理，获得雷达坐标系下指向不同无穷远点的三个单位向量：
(31)对雷达点云数据D1进行分割处理，获得WL、WR和WG对应的点云平面，使用平面拟合算法对获得的三个平面点云进行拟合，得到雷达坐标系下三个平面的平面方程，分别为：
WL:A1X+B1Y+C1Z+D1＝0、WR:A2X+B2Y+C2Z+D2＝0及WG:A3X+B3Y+C3Z+D3＝0，同时获得WL、WR和WG对应的点云平面的法向量
Figure BDA0002484809990000071
作为一个具体的实施例，使用随机抽样一致性算法，获得WL、WR和WG对应的点云平面；
(32)根据两平面法向量的叉乘结果为两平面交线的方向向量的性质，对步骤(31)中得到的三个法向量nL、nR、nG，进行两两叉乘，得到三个指向不同无穷远点的方向向量d1＝nL×nR、d2＝nR×nG、d3＝nL×nG；
(33)根据公式
Figure BDA0002484809990000081
分别对d1、d2和d3进行单位化，得到所需的三个指向不同无穷远点单位向量w1、w2和w3；
(4)对图像I1进行处理，得到与w1、w2和w3对应的相机坐标系下的三个单位向量：
(41)使用直线检测算法对图像I1进行检测，得到步骤(21)中交线L1、L2和L3的对应三条像平面直线l1、l2、l3、空间中与三条交线相平行的直线对应的像平面直线和像平面直线方程；
(42)在步骤(41)得到的直线中，分别选择任意两条在空间中与L1、L2和L3平行的直线投影所得的像平面直线并分别获得它们的交点
Figure BDA0002484809990000082
这些交点为空间无穷远点的像点，其中，i＝1、2、3，L1、L2和L3为空间中不同方向上的三条直线，即左墙WL、右墙WR和地面WG两两之间的交线。在步骤(41)中得到的空间中与三条交线相平行的直线对应的像平面直线，在这些直线中任意选择两条直线，这两条是在空间中与L1或L2或L3平行的直线的像直线。比如，L1是左墙和右墙的交线，那么墙面上一个正方形的窗户边缘的竖直的两根线按一般情况都会平行于L1，那么就选图像中的窗户边缘的竖直的两条直线，然后求得这两条直线的交点p1。对于L2、L3同理，所以总共需要选择6条直线，共获得三个交点，由于窗户边缘的竖直的两条线空间中为平行线，但是在图像中，他们一般变得不再平行了，所以会产生交点。
(43)根据成像原理，可得相机坐标系下指向
Figure BDA0002484809990000091
的方向向量ci，其中，其中K为摄像头的内参矩阵；
(44)分别对c1、c2和c3进行归一化，得到所需的单位向量f1、f2和f3；
(5)通过单位向量之间的对应关系解得旋转矩阵R＝[f1,f2,f3][w1,w2,w3]-1；
(6)根据成像原理，利用两对对应点，计算平移向量
Figure BDA0002484809990000093
(61)根据步骤(31)中得到的平面WL、WR和WG，解得平面WL、WR和WG的交点
Figure BDA0002484809990000094
其中，X1、Y1、Z1、1分别为交点Q1的三维齐次坐标分量且交点Q1的像点为l1、l2、l3的交点
Figure BDA0002484809990000095
(62)根据步骤(31)及步骤(61)，对雷达点云数据D2和图像I2进行处理，可得交点Q2及像点q2；
(63)根据成像原理
Figure BDA0002484809990000096
令
Figure BDA0002484809990000097
得到
Figure BDA0002484809990000098
其中，
Figure BDA0002484809990000099
为相机内参矩阵，由于一对点提供两组约束，将Q1、q1和Q2、q2分别代入式中可得四组约束条件，再利用最小二乘法可解得平移向量t；
(7)将激光雷达所在坐标系根据旋转矩阵R和平移向量t进行旋转和平移，使其与相机坐标系重合，完成激光雷达与摄像头之间的位置标定。
可选地，步骤(2)中的建筑物为常规建筑物，即建筑物一角由垂直于地面的两个相交平面构成且平面上需有窗户等建筑特征。
可选地，步骤(41)中得到像平面直线方程，是根据使用统计概率霍夫变换算法进行直线检测时得到的各条直线上两个点的坐标，再根据两点确定一条直线的方法获得直线方程。
可选地，步骤(41)中三条交线平行直线对应的像平面直线，是根据建筑物中窗户等特征的边缘线平行于墙面与地面交线的特点得到的。
可选地，步骤(42)中得到交点
Figure BDA0002484809990000101
是根据联立两条直线的直线方程得到的。
可选地，步骤(61)中WL、WR和WG的交点Q1，l1、l2、l3的交点q1是根据联立方程组的方法得到的。
本发明实施例提供的激光雷达与摄像头之间的位置标定方法，通过使用雷达坐标系下指向不同无穷远点的三个单位向量及相机坐标系下对应的三个单位向量，解得激光雷达和摄像头之间的旋转矩阵，再根据成像原理，利用雷达数据点和像点之间的对应关系，解得激光雷达和摄像头之间的平移向量，得到二者完整的位置对应关系，根据两张RGB图像和对应的雷达数据就可得出标定结果，所需数据量小，简化了操作流程，提高了标定结果的准确性，适用于多种场景。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种激光雷达与摄像头之间的位置标定方法，其特征在于，包括如下步骤：
(1)将激光雷达和一个已去畸变且内参矩阵已知的摄像头安装在移动平台上且二者之间的相对位置固定；
(2)利用激光雷达和摄像头对建筑物的一角进行拍摄，获取标定所需数据：
(21)在室外场景中，利用激光雷达和摄像头对建筑物的一角进行一次拍摄，得到雷达点云数据D1和图像I1，其中，雷达点云数据D1和图像I1包括建筑物一角相交的左墙WL、右墙WR和地面WG，其中，WL和WR、WR和WG、WL和WG的交线分别为L1、L2和L3，左墙WL、右墙WR上均具有窗户；
(22)平移移动平台，利用激光雷达和摄像头对建筑物的一角进行第二次拍摄，得到雷达点云数据D2和图像I2包括建筑物一角相交的墙壁与地面，其中，各个墙壁上均具有窗户；
(3)对雷达点云数据D1进行处理，获得雷达坐标系下指向不同无穷远点的三个单位向量：
(31)对雷达点云数据D1进行分割处理，获得WL、WR和WG对应的点云平面，使用平面拟合算法对获得的三个平面点云进行拟合，得到雷达坐标系下三个平面的平面方程，分别为：
WL:A1X+B1Y+C1Z+D1＝0、WR:A2X+B2Y+C2Z+D2＝0及WG:A3X+B3Y+C3Z+D3＝0，同时获得WL、WR和WG对应的点云平面的法向量
Figure FDA0002484809980000021
(32)根据两平面法向量的叉乘结果为两平面交线的方向向量的性质，对步骤(31)中得到的三个法向量nL、nR、nG，进行两两叉乘，得到三个指向不同无穷远点的方向向量d1＝nL×nR、d2＝nR×nG、d3＝nL×nG；
(33)根据公式
Figure FDA0002484809980000022
分别对d1、d2和d3进行单位化，得到所需的三个指向不同无穷远点单位向量w1、w2和w3；
(4)对图像I1进行处理，得到与w1、w2和w3对应的相机坐标系下的三个单位向量：
(41)使用直线检测算法对图像I1进行检测，得到步骤(21)中交线L1、L2和L3的对应三条像平面直线l1、l2、l3、空间中与三条交线相平行的直线对应的像平面直线和像平面直线方程；
(42)在步骤(41)得到的直线中，分别选择任意两条在空间中与L1、L2和L3平行的直线投影所得的像平面直线并分别获得它们的交点
Figure FDA0002484809980000023
这些交点为空间无穷远点的像点，其中，i＝1、2、3；
(43)根据成像原理，可得相机坐标系下指向
Figure FDA0002484809980000024
的方向向量ci，其中，
Figure FDA0002484809980000025
其中K为摄像头的内参矩阵；
(44)分别对c1、c2和c3进行归一化，得到所需的单位向量f1、f2和f3；
(5)通过单位向量之间的对应关系解得旋转矩阵R＝[f1,f2,f3][w1,w2,w3]-1；
(6)根据成像原理，利用两对对应点，计算平移向量
Figure FDA0002484809980000031
(61)根据步骤(31)中得到的平面WL、WR和WG，解得平面WL、WR和WG的交点
Figure FDA0002484809980000032
其中，X1、Y1、Z1、1分别为交点Q1的三维齐次坐标分量且交点Q1的像点为l1、l2、l3的交点
Figure FDA0002484809980000033
(62)根据步骤(31)及步骤(61)，对雷达点云数据D2和图像I2进行处理，可得交点Q2及像点q2；
(63)根据成像原理
Figure FDA0002484809980000034
令
Figure FDA0002484809980000035
得到
Figure FDA0002484809980000036
其中，
Figure FDA0002484809980000037
为相机内参矩阵，由于一对点提供两组约束，将Q1、q1和Q2、q2分别代入式中可得四组约束条件，再利用最小二乘法可解得平移向量t；
(7)将激光雷达所在坐标系根据旋转矩阵R和平移向量t进行旋转和平移，使其与相机坐标系重合，完成激光雷达与摄像头之间的位置标定。
2.根据权利要求1所述的激光雷达与摄像头之间的位置标定方法，其特征在于，步骤(2)中的建筑物为常规建筑物，即建筑物一角由垂直于地面的两个相交平面构成且平面上需有窗户。
3.根据权利要求1所述的激光雷达与摄像头之间的位置标定方法，其特征在于，步骤(41)中得到像平面直线方程，是根据使用统计概率霍夫变换算法进行直线检测时得到的各条直线上两个点的坐标，再根据两点确定一条直线的方法获得直线方程。
4.根据权利要求1所述的激光雷达与摄像头之间的位置标定方法，其特征在于，步骤(41)中三条交线平行直线对应的像平面直线，是根据建筑物中窗户的边缘线平行于墙面与地面交线的特点得到的。
5.根据权利要求1所述的激光雷达与摄像头之间的位置标定方法，其特征在于，步骤(42)中得到交点
Figure FDA0002484809980000041
是根据联立两条直线的直线方程得到的。
6.根据权利要求1所述的激光雷达与摄像头之间的位置标定方法，其特征在于，步骤(61)中WL、WR和WG的交点Q1，l1、l2、l3的交点q1是根据联立方程组的方法得到的。
CN202010388033.3A 2020-05-09 2020-05-09 一种激光雷达与摄像头之间的位置标定方法 Active CN111709995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010388033.3A CN111709995B (zh) 2020-05-09 2020-05-09 一种激光雷达与摄像头之间的位置标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010388033.3A CN111709995B (zh) 2020-05-09 2020-05-09 一种激光雷达与摄像头之间的位置标定方法

Publications (2)

Publication Number Publication Date
CN111709995A true CN111709995A (zh) 2020-09-25
CN111709995B CN111709995B (zh) 2022-09-23

Family

ID=72536928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010388033.3A Active CN111709995B (zh) 2020-05-09 2020-05-09 一种激光雷达与摄像头之间的位置标定方法

Country Status (1)

Country Link
CN (1) CN111709995B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365545A (zh) * 2020-10-15 2021-02-12 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112379352A (zh) * 2020-11-04 2021-02-19 广州文远知行科技有限公司 一种激光雷达标定方法、装置、设备及存储介质
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN105445721A (zh) * 2015-12-15 2016-03-30 中国北方车辆研究所 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
US20180174327A1 (en) * 2016-12-19 2018-06-21 Magna Electronics Inc. Vehicle camera calibration system
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN110703230A (zh) * 2019-10-15 2020-01-17 西安电子科技大学 激光雷达与摄像头之间的位置标定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN105445721A (zh) * 2015-12-15 2016-03-30 中国北方车辆研究所 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
US20180174327A1 (en) * 2016-12-19 2018-06-21 Magna Electronics Inc. Vehicle camera calibration system
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN110703230A (zh) * 2019-10-15 2020-01-17 西安电子科技大学 激光雷达与摄像头之间的位置标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. SCHÖLLE人等: "Targetless Rotational Auto-Calibration of Radar and Camera for Intelligent Transportation Systems", 《2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE (ITSC)》 *
罗逍等: "一种毫米波雷达和摄像头联合标定方法", 《清华大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365545A (zh) * 2020-10-15 2021-02-12 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112365545B (zh) * 2020-10-15 2023-02-24 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112379352A (zh) * 2020-11-04 2021-02-19 广州文远知行科技有限公司 一种激光雷达标定方法、装置、设备及存储介质
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置

Also Published As

Publication number Publication date
CN111709995B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN111709995B (zh) 一种激光雷达与摄像头之间的位置标定方法
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
CN111383279B (zh) 外参标定方法、装置及电子设备
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN110703230B (zh) 激光雷达与摄像头之间的位置标定方法
CN105758426A (zh) 移动机器人的多传感器的联合标定方法
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN111750820A (zh) 影像定位方法及其系统
CN111815716A (zh) 一种参数标定方法及相关装置
Strelow et al. Precise omnidirectional camera calibration
CN108734738B (zh) 相机标定方法及装置
CN113256740A (zh) 一种雷达与相机的标定方法、电子设备及存储介质
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
Sahin Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
CN114140534A (zh) 一种用于激光雷达与相机的联合标定方法
Li et al. Triangulation-based edge measurement using polyview optics
CN112365600B (zh) 一种三维物体检测方法
CN115409693A (zh) 一种基于三维图像中管道异物的二维定位方法
CN115409897A (zh) 基于背景点云精细化处理的激光雷达与相机联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Jiang Guang

Inventor after: Xu Ailing

Inventor after: Liu Jianhui

Inventor after: Bai Zixuan

Inventor after: Jia Jing

Inventor before: Jiang Guang

Inventor before: Xu Ailing

Inventor before: Bai Zixuan

Inventor before: Jia Jing

CB03 Change of inventor or designer information