CN112802117B - 一种激光雷达和摄像头标定参数盲复原方法 - Google Patents

一种激光雷达和摄像头标定参数盲复原方法 Download PDF

Info

Publication number
CN112802117B
CN112802117B CN202011613068.9A CN202011613068A CN112802117B CN 112802117 B CN112802117 B CN 112802117B CN 202011613068 A CN202011613068 A CN 202011613068A CN 112802117 B CN112802117 B CN 112802117B
Authority
CN
China
Prior art keywords
angle
point
image
laser radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011613068.9A
Other languages
English (en)
Other versions
CN112802117A (zh
Inventor
孙辉
陈小琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Suzhou Automotive Research Institute of Tsinghua University filed Critical Tsinghua University
Priority to CN202011613068.9A priority Critical patent/CN112802117B/zh
Publication of CN112802117A publication Critical patent/CN112802117A/zh
Application granted granted Critical
Publication of CN112802117B publication Critical patent/CN112802117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种激光雷达和摄像头标定参数盲复原方法，其涉及自动驾驶技术领域。其技术方案要点是在没有标定文件或标定文件不准确的情况下，构建摄像头虚拟平面成像模型，并根据数据本身特征迭代求取模型参数，在缺少内参的情况下之间建立激光雷达点云到摄像头图像的投影关系，为后续数据标注、算法训练等工作提供基础支撑。

Description

一种激光雷达和摄像头标定参数盲复原方法
技术领域
本发明涉及自动驾驶技术领域，更具体地说，它涉及一种激光雷达和摄像头标定参数盲复原方法。
背景技术
自动驾驶作为智能网联汽车的终极形态，逐渐进入人们的视野，引起了高度关注。自动驾驶汽车利用车载感知系统来感知车辆周围环境，并能根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
自动驾驶的整个系统，一般来说由三个层级组成：感知层、规划决策层和控制执行层。自动驾驶感知层的传感器主要包括：高精度卫星定位系统、激光雷达、摄像头、微波雷达、超声波雷达等，多传感器构成了整个车辆的感知系统，多种传感器从不同维度对驾驶环境进行感知，产生出大量的原始数据。
激光雷达可以提供准确的三维点云信息，但不具备空间稠密性，摄像头可获取二维稠密彩色信息，却难以反映空间结构。融合摄像头与激光雷达信息，可兼顾二者之长，提高信息完备度，在自动驾驶、自动标注等场景中得到越来越多的应用。
然而如何对摄像头和激光雷达进行准确匹配，是业界研究的主要难点。激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵。
一种方法是采用特殊标定板，同时对摄像头和雷达进行标定。这个过程通常包括两个步骤，内参标定和外参标定。当同时标定时，由于点云的稀疏特性，需要在点云图像中拟合提取标定板边界，求其交点，建立和图像交点之间的映射，标定板不同角度的放置将有益于整体结果的提升。
但是实际上，由于标定方式、技术能力的差异，有些数据集不能够给出较准确的标定文件，给后续场景筛选、数据标注、算法训练等工作带来很大困难。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种激光雷达和摄像头标定参数盲复原方法，其在没有标定文件或标定文件不准确的情况下，构建摄像头虚拟平面成像模型，并根据数据本身特征迭代求取模型参数，在缺少内参的情况下之间建立激光雷达点云到摄像头图像的投影关系，为后续数据标注、算法训练等工作提供基础支撑。
为实现上述目的，本发明提供了如下技术方案：
一种激光雷达和摄像头标定参数盲复原方法，包括以下步骤：
S01、定义激光雷达坐标系Al和摄像头坐标系Ac之间的高度差为H，根据坐标系平移方法，将激光雷达坐标系移动至摄像头坐标系位置；
S02、根据图像大小得到图像宽度w和图像高度h，因摄像头内参未知，无法使用常规摄像头成像模型；重新构造摄像头曲面成像模型，在激光雷达前方构建摄像头虚拟成像曲面；其中，曲面在水平方向张角设为angle_w，张角的起始角度为angle_w0，曲面在竖直方向张角设为angle_h，张角的起始位置为angle_h0，且angle_w在水平方向上w份等分，angle_h在竖直方向上h等分；
S03、综合水平方向和竖直方向，锥形区域空间内的点云映射为投影曲面上的一个点；在每一个锥形区域内，均只取离激光雷达原点最近的点的值作为曲面上投影点的像素值；
S04、激光雷达点云中一点point到图像上一个像素（pixel_h,pixel_w）的投影方程可认为在水平和竖直方向上呈线性变换关系；
S05、激光雷达为360°环视雷达，故水平方向上视场角一定大于摄像头视场角，则通过最左侧图像中物体的特征点和点云中的特征点、最右侧图像中的特征点和点云中的特征点对照可得出angle_w0和angle_w，在水平方向w等分，即可得出水平方向上的投影方式；故在水平方向上激光雷达点云中一点point（点的水平角度为point_angle_w）到图像上一个像素（pixel_w）的投影方程简化为pixel_w=（point_angle_w-angle_w0）/angle_w*w；
S06、在竖直方向上，采用搜索迭代法求取H、angle_h以及angle_h0这三个变量；
S07、迭代时，对照在点云（3D框）和图像（2D框）上同一个物体，在该物体的点云中一点point（点的竖直角度为point_angle_h）到图像上一个像素（pixel_h）的投影方程可简化为pixel_h=（point_angle_h-angle_h0）/angle_h*h；误差损失函数设为pixel_h离图像2D框中心点的距离，距离越大，说明误差越大；
S08、选取若干点云和图像对应的点集，按步骤S07方法迭代，误差值最小时的H、angle_h和angle_h0即为要求取的值。
进一步地，在步骤S06中，高度差H在-3m到3m之间，以0.01mm为步长迭代，angle_h0和angle_h在0～180°之间，以1°为步长迭代。
进一步地，在步骤S01中，激光雷达点云可按如下公式变换，points_lidar =points_lidar+H。
综上所述，本发明具有以下有益效果：
1、本发明重新构造的摄像头曲面成像模型无需摄像头内参，且不同于小孔成像，是在激光雷达原点前方假定一个虚成像平面，对空间点云进行曲面投影，构造简单，具有很强的可实施性，且符合相机成像的基本逻辑；
2、将空间点云投影至曲面上的一点，并将曲面展开得到宽w、高h的图像，投影策略采取距离最近的点云作为像素值，考虑了物体的空间遮挡特性，点云代表了物体在空间的真实分布，是一种方便的3D到2D 转化的策略；
3、采取迭代策略，在求取竖直方向参数时，采用了批量点云向图像中映射的方式，避免了少量特征点映射带来的测量误差等问题，大幅增加了可靠性；同时，激光雷达采集时和摄像头因帧率、扫描方式的差异，无法完全同步，批量映射属于多样本均衡，可缓解这些差异带来的结果误差；
4、采用中心点距离误差评价函数，主要是因为激光雷达和图像中的特征点较难一一对应，采用中心点距离类似聚类的方式，能够准确评价投影结果的好坏。
附图说明
图1为本发明实施例中激光雷达和摄像头标定参数盲复原方法的摄像头图像和激光雷达点云对照示意图；
图2为本发明实施例中激光雷达和摄像头标定参数盲复原方法的摄像头和激光雷达安装位置及坐标系示意图；
图3为本发明实施例中激光雷达和摄像头标定参数盲复原方法的竖直方向上相机虚拟成像平面及空间投影示意图；
图4为本发明实施例中激光雷达和摄像头标定参数盲复原方法的等分投影至图像示意图；
图5为本发明实施例中激光雷达和摄像头标定参数盲复原方法的锥形空间投影示意图；
图6为本发明实施例中激光雷达和摄像头标定参数盲复原方法的同一物体点云3D框和图像矩形框对应图；
图7为本发明实施例中激光雷达和摄像头标定参数盲复原方法的投影样例示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
实施例：
一种激光雷达和摄像头标定参数盲复原方法，包括以下步骤：
S01、参照图2，定义激光雷达坐标系Al和摄像头坐标系Ac之间的高度差为H，根据坐标系平移方法，将激光雷达坐标系移动至摄像头坐标系位置，则激光雷达点云可按如下公式变换，points_lidar =points_lidar+H。
S02、参照图1，根据图像大小得到图像宽度w和图像高度h，因摄像头内参未知，无法使用常规摄像头成像模型；重新构造摄像头曲面成像模型，在激光雷达前方构建摄像头虚拟成像曲面；其中，参照图4，曲面在水平方向张角设为angle_w，张角的起始角度为angle_w0，曲面在竖直方向张角设为angle_h，张角的起始位置为angle_h0，且angle_w在水平方向上w份等分，angle_h在竖直方向上h等分。
S03、综合水平方向和竖直方向，参照图5，锥形区域空间内的点云映射为投影曲面上的一个点；在每一个锥形区域内，均只取离激光雷达原点最近的点的值作为曲面上投影点的像素值；具体地，参照图3，以竖直方向为例，方格填充扇形区域内的覆盖的点云会映射为成像曲面上的一个点，考虑到遮挡，只取离激光雷达原点最近的点的值作为曲面上投影点的像素值，而水平方向上按照相同方法处理。
S04、激光雷达点云中一点point到图像上一个像素（pixel_h,pixel_w）的投影方程可认为在水平和竖直方向上呈线性变换关系。
S05、激光雷达为360°环视雷达，故水平方向上视场角一定大于摄像头视场角，则通过最左侧图像中物体的特征点和点云中的特征点、最右侧图像中的特征点和点云中的特征点对照可得出angle_w0和angle_w，在水平方向w等分，即可得出水平方向上的投影方式；故在水平方向上激光雷达点云中一点point（点的水平角度为point_angle_w）到图像上一个像素（pixel_w）的投影方程简化为pixel_w=（point_angle_w-angle_w0）/angle_w*w。
S06、在竖直方向上，采用搜索迭代法求取H、angle h以及angle_h0这三个变量；具体地，在竖直方向上，摄像头的视场和激光雷达的视场不存在包含或完全重合的关系，变量为激光雷达坐标系Al和摄像头坐标系Ac之间的高度差H，成像曲面在竖直方向张角angle_h，张角的起始位置angle_h0；为求取这3个变量，采用搜索迭代法；高度H在-3m到3m之间，以0.01mm为步长迭代，angle_h0和angle_h在0～180°之间，以1°为步长迭代。
S07、迭代时，对照在点云（3D框）和图像（2D框）上同一个物体，在该物体的点云中一点point（点的竖直角度为point_angle_h）到图像上一个像素（pixel_h）的投影方程可简化为pixel_h=（point_angle_h-angle_h0）/angle_h*h；参照图6，误差损失函数设为pixel_h离图像2D框中心点的距离，距离越大，说明误差越大。
S08、参照图6，选取若干点云和图像对应的点集，按步骤S07方法迭代，误差值最小时的H、angle_h和angle_h0即为要求取的值。
工作原理如下：
1、选取数据集中激光雷达点云与图像文件，根据采集时间一一做最近邻匹配。
2、查询图像文件，得到图像的宽度和高度。
3、在图像中选择典型物体，当物体刚好处于图像左侧边缘时，寻找该物体的最左侧特征点，并与点云中最左侧特征点对应；可以重复选择多个典型物体，求平均值。
4、在图像中选择典型物体，当物体刚好处于图像右边缘时，寻找该物体的最右侧特征点，并与点云中最右侧特征点对应；可以重复选择多个典型物体，求平均值。
5、按照步骤S05求取水平方向上参数。
6、选择典型物体，分别在三维点云和二维图像上进行外接立方体和外接矩形框标注，并建立点云点集合外接立方体的索引关系。
7、按照步骤S06、S07、S08求取竖直方向上参数。
8、参数求取后，参照图4所示的方式，进行点云到图像的投影，可得到如图7所示的投影结果，点云可映射到图像空间，并且和图像中的物体一一对应。

Claims (3)

1.一种激光雷达和摄像头标定参数盲复原方法，其特征在于，包括以下步骤：
S01、定义激光雷达坐标系Al和摄像头坐标系Ac之间的高度差为H，根据坐标系平移方法，将激光雷达坐标系移动至摄像头坐标系位置；
S02、根据图像大小得到图像宽度w和图像高度h，因摄像头内参未知，无法使用常规摄像头成像模型；重新构造摄像头曲面成像模型，在激光雷达前方构建摄像头虚拟成像曲面；其中，曲面在水平方向张角设为angle_w，张角的起始角度为angle_w0，曲面在竖直方向张角设为angle_h，张角的起始位置为angle_h0，且angle_w在水平方向上w份等分，angle_h在竖直方向上h等分；
S03、综合水平方向和竖直方向，锥形区域空间内的点云映射为投影曲面上的一个点；在每一个锥形区域内，均只取离激光雷达原点最近的点的值作为曲面上投影点的像素值；
S04、激光雷达点云中一点point到图像上一个像素（pixel_h,pixel_w）的投影方程可认为在水平和竖直方向上呈线性变换关系；
S05、激光雷达为360°环视雷达，故水平方向上视场角一定大于摄像头视场角，则通过最左侧图像中物体的特征点和点云中的特征点、最右侧图像中的特征点和点云中的特征点对照可得出angle_w0和angle_w，在水平方向w等分，即可得出水平方向上的投影方式；故在水平方向上激光雷达点云中一点point（点的水平角度为point_angle_w）到图像上一个像素（pixel_w）的投影方程简化为pixel_w=（point_angle_w-angle_w0）/angle_w*w；
S06、在竖直方向上，采用搜索迭代法求取H、angle_h以及angle_h0这三个变量；
S07、迭代时，对照在点云（3D框）和图像（2D框）上同一个物体，在该物体的点云中一点point（点的竖直角度为point_angle_h）到图像上一个像素（pixel_h）的投影方程可简化为pixel_h=（point_angle_h-angle_h0）/angle_h*h；误差损失函数设为pixel_h离图像2D框中心点的距离，距离越大，说明误差越大；
S08、选取若干点云和图像对应的点集，按步骤S07方法迭代，误差值最小时的H、angle_h和angle_h0即为要求取的值。
2.根据权利要求1所述的激光雷达和摄像头标定参数盲复原方法，其特征在于：在步骤S06中，高度差H在-3m到3m之间，以0.01mm为步长迭代，angle_h0和angle_h在0～180°之间，以1°为步长迭代。
3.根据权利要求1所述的激光雷达和摄像头标定参数盲复原方法，其特征在于：在步骤S01中，激光雷达点云可按如下公式变换，points_lidar =points_lidar+H。
CN202011613068.9A 2020-12-31 2020-12-31 一种激光雷达和摄像头标定参数盲复原方法 Active CN112802117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011613068.9A CN112802117B (zh) 2020-12-31 2020-12-31 一种激光雷达和摄像头标定参数盲复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011613068.9A CN112802117B (zh) 2020-12-31 2020-12-31 一种激光雷达和摄像头标定参数盲复原方法

Publications (2)

Publication Number Publication Date
CN112802117A CN112802117A (zh) 2021-05-14
CN112802117B true CN112802117B (zh) 2022-04-08

Family

ID=75805797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011613068.9A Active CN112802117B (zh) 2020-12-31 2020-12-31 一种激光雷达和摄像头标定参数盲复原方法

Country Status (1)

Country Link
CN (1) CN112802117B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004060828A1 (de) * 2004-12-17 2006-06-29 Groß, Ingo, Dipl.-Ing. Verfahren und Vorrichtung zur Gewinnung dreidimensionaler Informationen aus zwei oder mehr Röntgenbildern
CN108492336A (zh) * 2018-03-27 2018-09-04 南京大学 一种构建虚拟标定参照物的摄像头标定方法
CN110390695A (zh) * 2019-06-28 2019-10-29 东南大学 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
DE102019201490A1 (de) * 2019-02-06 2020-08-06 Robert Bosch Gmbh Kalibriereinrichtung für eine Überwachungsvorrichtung, Überwachungsvorrichtung zur Man-Overboard-Überwachung sowie Verfahren zur Kalibrierung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004060828A1 (de) * 2004-12-17 2006-06-29 Groß, Ingo, Dipl.-Ing. Verfahren und Vorrichtung zur Gewinnung dreidimensionaler Informationen aus zwei oder mehr Röntgenbildern
CN108492336A (zh) * 2018-03-27 2018-09-04 南京大学 一种构建虚拟标定参照物的摄像头标定方法
DE102019201490A1 (de) * 2019-02-06 2020-08-06 Robert Bosch Gmbh Kalibriereinrichtung für eine Überwachungsvorrichtung, Überwachungsvorrichtung zur Man-Overboard-Überwachung sowie Verfahren zur Kalibrierung
CN110390695A (zh) * 2019-06-28 2019-10-29 东南大学 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法

Also Published As

Publication number Publication date
CN112802117A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN111383279B (zh) 外参标定方法、装置及电子设备
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN104574406A (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
CN111638185B (zh) 基于无人机平台的遥感探测方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN116012428A (zh) 一种雷视联合定位方法、装置及存储介质
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN113625271B (zh) 基于毫米波雷达和双目相机的同时定位与建图方法
CN114494466A (zh) 外参标定方法、装置及设备、存储介质
CN114519681A (zh) 自动标定方法及装置、计算机可读存储介质、终端
CN114549779A (zh) 场景模型重建方法、装置、电子设备和存储介质
CN117590362A (zh) 一种多激光雷达外参标定方法、装置和设备
CN113219472A (zh) 一种测距系统和方法
CN116883664A (zh) 遥感影像分割方法、装置、设备和计算机可读存储介质
CN112802117B (zh) 一种激光雷达和摄像头标定参数盲复原方法
CN110969650A (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant