CN112308927B - 一种全景相机与激光雷达的融合装置及其标定方法 - Google Patents

一种全景相机与激光雷达的融合装置及其标定方法 Download PDF

Info

Publication number
CN112308927B
CN112308927B CN202011153660.5A CN202011153660A CN112308927B CN 112308927 B CN112308927 B CN 112308927B CN 202011153660 A CN202011153660 A CN 202011153660A CN 112308927 B CN112308927 B CN 112308927B
Authority
CN
China
Prior art keywords
laser radar
camera
calibration
fisheye
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011153660.5A
Other languages
English (en)
Other versions
CN112308927A (zh
Inventor
邓振文
熊璐
罗永昌
舒强
牛志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Intelligent New Energy Vehicle Research Institute
Original Assignee
Nanchang Intelligent New Energy Vehicle Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Intelligent New Energy Vehicle Research Institute filed Critical Nanchang Intelligent New Energy Vehicle Research Institute
Priority to CN202011153660.5A priority Critical patent/CN112308927B/zh
Publication of CN112308927A publication Critical patent/CN112308927A/zh
Application granted granted Critical
Publication of CN112308927B publication Critical patent/CN112308927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种全景相机与激光雷达的融合装置及其标定方法，一种全景相机与激光雷达的融合装置包括鱼眼摄像头（1）、相机支架（2）、环扫式激光雷达（3）、托架（4）、透明外壳（5）、紧固螺栓（6）和基座（7）。本发明还公开了一种全景相机与激光雷达的融合装置的标定方法，两个鱼眼摄像头（1）拼接而成的全景相机能够覆盖空间中任意方向而形成360度×180度的球面全景图像。环扫式激光雷达的水平视场角为360度，且固定于全景相机下方从而形成图像与环扫式激光雷达的全景环境感知系统，标定方法可同时完成所有鱼眼摄像头（1）和环扫式激光雷达（3）的外参标定，提高标定效率同时保证标定结果的准确性。

Description

一种全景相机与激光雷达的融合装置及其标定方法
技术领域
本发明涉及一种全景相机与激光雷达的融合装置及其标定方法，尤其是涉及一种用于智能驾驶汽车环境感知系统的全景相机与激光雷达融合装置，并涉及该融合装置的标定方法。
背景技术
智能驾驶技术在预防及避免交通事故方面发挥重要作用。为了代替人类驾驶员完成周围环境感知和认知，智能驾驶车辆通常配备有环境感知传感器，如相机、激光雷达和毫米波雷达等。但是，基于单一传感器的环境感知技术存在不足，例如，图像虽提供丰富的彩色语义信息，但由于成像原理，各像素未提供深度信息；激光雷达能够提供空间三维点云信息，但点云通常比较稀疏导致小物体容易出现漏检情况；毫米波雷达抗环境干扰能力强，但精度较低且常出现杂波。针对单一传感器的不足，传感器融合逐渐受到广泛的重视。
智能汽车通常配备多个传感器形成准确且冗余的感知系统，且对于智能汽车的特定问题，近年已经提出多种融合系统，如激光雷达与相机、相机与相机、激光雷达与激光雷达、相机与IMU、激光雷达与IMU、环视相机与超声波等，尤其是激光雷达与相机的融合，极大提高环境目标检测的准确率。但当前大部分图像与激光点云的数据融合主要使用平面相机与激光雷达的融合方案或者全景相机由2个以上的相机构成。另外，多传感器融合的前提条件是各传感器数据之间能够形成空间对准，数据对准的精度直接将决定融合结果。目前多传感器融合装置及标定方法主要存在如下不足：
(1)基于多个相机组装而成的全景相机通过朝向不同的平面相机进行图像拼接技术，从而获得全景图像，但由于各相机的光心偏离较大，拼接图像容易出现严重的纹理不均匀现象。即使是采用最小二乘等图像变换算法，只有部分纹理能够对齐，但由于像素移动较大，造成部分物体失真或像素的空间位置不准确。
(2)当前存在部分融合装置将激光雷达放在全景相机上方。该方式虽能够保证所有激光雷达点云的数据不受支架的遮挡，但全景相机的上方区域将受到激光雷达的底面遮挡，导致融合装置上方较大区域将不被传感器覆盖。
(3)传感器之间的外参主要用于获取两个传感器坐标系之间的数据转换关系，若直接用于多传感器之间的数据转换将产生累计误差。目前没有合适的标定方法能够同时标定两个鱼眼摄像头和一个激光雷达组成的融合装置。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种全景相机与激光雷达的融合装置及其标定方法。
本发明的目的通过以下技术方案来实现：一种全景相机与激光雷达的融合装置，包括鱼眼摄像头(1)、相机支架(2)、环扫式激光雷达(3)、托架(4)、透明外壳(5)、紧固螺栓(6)和基座(7)；两个所述鱼眼摄像头(1)背靠背紧固于所述相机支架(2)中，从而构造一个全景相机；所述环扫式激光雷达(3)固定于所述托架(4)上，所述托架(4)的侧边与所述相机支架(2)连接，所述相机支架(2)采用所述紧固螺栓(6)固定在所述基座(7)上；所述环扫式激光雷达(3)固定于全景相机下方，使全景相机上方的整个区域不受遮挡。
进一步地，鱼眼摄像头(1)的视场角大于185度。
进一步地，鱼眼摄像头(1)和一个所述环扫式激光雷达(3)之间的外参标定环境是在四面粘贴有圆形黑点的室内标定环境，在室内标定环境中同步采集标定数据并计算获得鱼眼摄像头(1)和一个所述环扫式激光雷达(3)之间的外参。
进一步地，室内标定环境内部形状为长方体，四周颜色与黑色明显区分，且将地面某一个角落设置为环境坐标系的原点，与原点相连的三条墙面与地面之间的交线作为环境坐标系三个方向；所粘贴的圆形黑点在墙面上布置均匀，且每个黑点在环境坐标系下的三维位置已知。
作为一种改进，融合装置设置透明外壳(5)，透明外壳(5)采用透明材料制作而成，所述透明材料将不影响激光雷达的激光束的收发和全景相机的感光，所述透明外壳(5)顶部为半球形，半球中心与球面全景相机中心重合，减少对全景相机成像的畸变。
本发明还公开了一种全景相机与激光雷达的融合装置的标定方法，包括以下步骤：
S1：通过棋盘格标定鱼眼摄像头(1)的内参：采用黑白棋盘格标定板和张正友相机标定法完成两个鱼眼摄像头(1)标定，而所述环扫式激光雷达(3)在出厂前将进行数据校准，并提供相应的鱼眼摄像头(1)内参，如提供内参具备足够的精度，则不进行内参标定；
S2：搭建长方形标定环境，并在标定环境墙面上有规律地粘贴黑色圆点，测量各黑点在环境坐标系的三维坐标；标定环境由地面和墙面构成：墙面上粘贴有大量的黑点，且黑点在标定环境坐标系下的坐标均已知，为了使黑点在图像中比较明显，墙面的颜色应与黑点颜色区分；
S3：将融合装置放置在标定环境靠中间的位置，并使环扫式激光雷达(3)的正前方尽量偏向于角落；采集标定数据时，将融合装置放在在标定环境靠近中间区域，并使环扫式激光雷达(3)正前方偏向于某角落；
S4：采集鱼眼摄像头(1)的当前图像数据，测量图像各黑点的像素坐标和对应环境坐标系三维坐标，通过最小化目标损失函数获取标定环境坐标系至两个鱼眼摄像头(1)之间的外参Tg2c1和Tg2c2；
S5：根据环扫式激光雷达(3)的数据点云拟合标定环境的墙面和地面，并获取所述环扫式激光雷达(3)坐标系至标定环境坐标系的转换关系Tl2g；
S6：根据获取的外参转换关系Tl2g、Tg2c1和Tg2c2，计算得到整个融合装置中的两个所述鱼眼摄像头(1)和所述环扫式激光雷达(3)三个传感器之间的外参转换关系Tl2c1和Tc22c1。
进一步地，分别获取标定环境坐标系与环扫式激光雷达(3)外参转换矩阵Tl2g、两个鱼眼摄像头(1)的外参转换矩阵Tg2c1和Tg2c2后，再按照步骤S6获取环扫式激光雷达(3)、两个鱼眼摄像头(1)之间的外参Tl2c1和Tc22c1，所述环扫式激光雷达(3)的激光点云(xl,yl,zl)投影至所述鱼眼摄像头(1)的鱼眼图像的像素坐标(uc,vc)公式如下：
其中，激光点云先转换至鱼眼相机坐标系坐标(xc,yc,zc)，fK为鱼眼摄像头(1)坐标系下的三维点投影至图像平面的转换公式，如下：
fK：
θdist＝θ(1+p1·θ2+p2·θ4+p3·θ6+p4·θ8)
其中，fx，fy，u0，v0，p1，p2，p3，p4为鱼眼摄像头(1)内参，由内参标定方法获取。
所述鱼眼摄像头(1)的外参转换矩阵Tg2c1和Tg2c2，目标损失函数计算公式如下：
其中，Rg2c和tg2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，pc表示对应的黑点在图像上的像素坐标，K表示鱼眼摄像头(1)的内参。
与现有技术相比，本发明具有以下优点：
(1)本发明采用两个视场角大于185度的鱼眼摄像头(1)背靠背安装形成一套全景相机，感知范围能够覆盖360度×180度球面全景区域。本发明所采用的鱼眼摄像头1尺寸较小，安装后鱼眼摄像头1的光心距离较近，充分减少所拼接的全景图像在过渡区域的纹理不均匀。
(2)全景相机置于激光雷达上方，并使全景相机的过渡区域指向车辆的两侧，而自车前后重点区域的部分具有较高的像素质量。同时，全景相机的上方所有区域将不受任何遮挡，有利于识别信号灯或指路牌等交通标志。
(3)融合装置在所构造的标定环境中同步完成所有传感器之间的外参标定，该标定环境容易建造且标定步骤简洁；由于采用墙面和墙面上的黑点作为几何约束，并综合考虑所有传感器两两对齐，非线性优化后的外参参数将更加准确。
附图说明
图1为本发明一种全景相机与激光雷达的融合装置的结构示意图；
图2为本发明一种全景相机与激光雷达的融合装置的标定方法流程图；
图3为本发明一种全景相机与激光雷达的融合装置各传感器数据转换图；
图4为一种全景相机与激光雷达的融合装置的标定环境示意图。
附图标记：1、鱼眼摄像头；2、相机支架；3、环扫式激光雷达；4、托架；5、透明外壳；6、紧固螺栓；7、基座。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1所示，按照一种全景相机与激光雷达的融合装置的结构完成融合装置的组装，主要包含步骤如下：首先，将两个所述鱼眼摄像头1背靠背紧固于所述相机支架2，同时，将所述环扫式激光雷达3紧固于所述托架4；其次，环扫式激光雷达3固定于所述托架4上，所述托架4的侧边与所述相机支架2连接，所述相机支架2采用所述紧固螺栓6固定在所述基座7上；最后，将鱼眼摄像头1和激光雷达数据线沿着相机支架侧面固定，避免线束干扰激光雷达的点云。
作为一种改进，融合装置设置透明外壳5，透明外壳5采用透明材料制作而成，所述透明材料将不影响激光雷达的激光束的收发和全景相机的感光，所述透明外壳5顶部为半球形，半球中心与球面全景相机中心重合，减少对全景相机成像的畸变。
在融合装置的使用过程中，只需要将数据线连接至计算单元对应的端口，并在计算单元集成时空对准、数据融合和应用算法等程序。
时空对准主要包括时间同步和空间同步。空间同步主要求取数据之间相互对齐的转换矩阵T，后面将详细描述融合装置内多传感器之间的数据转换矩阵。时间同步方面，对于两个型号相同的所述鱼眼摄像头1，由于帧率相同，只需要设置相同图像捕获时间，并启动多线程即可同步获取两个所述鱼眼摄像头1的图像。对于所述环扫激光雷达3与所述鱼眼摄像头1之间的异构传感器时间同步，由于帧率不同，将帧率较低的所述环扫激光雷达3的帧率作为融合装置的数据更新帧率，并激光点云数据输出时，将当前所述鱼眼摄像头1的图像输出，形成时间同步。
对于相机与激光雷达的异构传感器目标级数据融合，时间同步问题可以不用考虑，此时在融合过程中通过sensor-to-globalKalmanfilter的方式，将各传感器的观测数据z(t)与全局系统的预测数据相融合，融合后的数据为/>为。
其中，K为卡尔曼增益，H为空间转换矩阵，F为状态转移矩阵，上时刻系统数据。
融合装置所采用的数据融合方法主要侧重于全景图像与全景激光点云的融合，分为像素级融合、特征级融合和目标级融合，融合公式为：
像素级融合：
特征级融合：
目标级融合：
其中，xc为相机图像的原始图像，xl为激光雷达的原始点云，ConvE代表在像素级融合的深度卷积神经网络，ConvM为特征及级融合的深度卷积神经网络，Convc和Convl分别表示相机图像和激光雷达的处理的神经网络。
应用算法除了障碍物检测，还包括可通行区域的检测、交通标志检测、全景图像定位、车道线检测等应用。
在融合装置使用前，需要完成融合装置内各传感器之间的外参标定，从而能够完成数据空间对准，实现各数据融合的可行性。装置选用前视的鱼眼摄像头1坐标系作为融合装置的坐标系，则需要计算出后视的鱼眼摄像头1、环扫式激光雷达3分别与前视的鱼眼摄像头1坐标转换矩阵Tl2c1和Tc22c1，融合装置数据转换图如图3所示。
一种全景相机与激光雷达的融合装置的标定方法，如图2所示，包括以下步骤：
S1：通过棋盘格标定鱼眼摄像头1的内参：采用黑白棋盘格标定板和张正友相机标定法完成两个鱼眼摄像头1标定，而所述环扫式激光雷达3在出厂前将进行数据校准，并提供相应的鱼眼摄像头1内参，如提供内参具备足够的精度，则不进行内参标定；
S2：搭建长方形标定环境，并在标定环境墙面上有规律地粘贴黑色圆点，测量各黑点在环境坐标系的三维坐标；标定环境由地面和墙面构成：墙面上粘贴有大量的黑点，且黑点在标定环境坐标系下的坐标均已知，为了使黑点在图像中比较明显，墙面的颜色应与黑点颜色区分；
S3：将融合装置放置在标定环境靠中间的位置，并使环扫式激光雷达3的正前方尽量偏向于角落；采集标定数据时，将融合装置放在在标定环境靠近中间区域，并使环扫式激光雷达3正前方偏向于某角落，如图4所示；
S4：采集鱼眼摄像头1的当前图像数据，测量图像各黑点的像素坐标和对应环境坐标系三维坐标，通过最小化目标损失函数获取标定环境坐标系至两个鱼眼摄像头1之间的外参Tg2c1和Tg2c2；
S5：根据环扫式激光雷达3的数据点云拟合标定环境的墙面和地面，并获取所述环扫式激光雷达3坐标系至标定环境坐标系的转换关系Tl2g；
S6：根据获取的外参转换关系Tl2g、Tg2c1和Tg2c2，计算得到整个融合装置中的两个所述鱼眼摄像头1和所述环扫式激光雷达3三个传感器之间的外参转换关系Tl2c1和Tc22c1。
同时，两个鱼眼摄像头1所获取的两张鱼眼图像，可获取鱼眼图像内各黑点的像素位置，同时各黑点在环境坐标系的三维位置也可知，则通过非线性优化方法，求取重投影误差的目标损失函数最小，即可求出环境坐标系与两个所述鱼眼摄像头1的外参转换矩阵Tg2c1和Tg2c2，目标损失函数如下：
其中，Rg2c和tg2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，pc表示对应的黑点在图像上的像素坐标，K表示鱼眼相机的内参。
分别获取标定环境坐标系与环扫式激光雷达3、两个鱼眼摄像头1的外参转换矩阵Tl2g，Tg2c1和Tg2c2后，再获取融合装置各传感器之间的外参Tl2c1和Tc22c1，，所述环扫式激光雷达3的激光点云(xl,yl,zl)投影至所述鱼眼摄像头1的鱼眼图像的像素坐标(uc,vc)公式如下：
其中，激光点云先转换至鱼眼相机坐标系坐标(xc,yc,zc)，fK为鱼眼相机坐标系下的三维点投影至图像平面的转换公式，如下：
fK：
θdist＝θ(1+p1·θ2+p2·θ4+p3·θ6+p4·θ8)
其中，fx，fy，u0，v0，p1，p2，p3，p4为鱼眼相机内参，由内参标定方法获取。
而两个所述鱼眼摄像头1可进行全景图像拼接，从而构成全景相机的功能。首先需要根据两个所述鱼眼摄像头1之间的数据转换矩阵，将后视的所述鱼眼摄像头1的图像投影到前视的鱼眼摄像头1，从而形成球面全景视图。首先将后视的鱼眼摄像头1的图像投影到半径为1的球面上，再通过旋转球面上的像素点，将像素点与前视的鱼眼摄像头1的坐标系重合，转换矩阵为：
其中，R-1 g2c2为Rg2c2的逆矩阵。
转换好的像素点按照fK投影公式，投影至球面鱼眼图像，从而形成全景图像。
两个鱼眼摄像头1在全景展开后像素重合的区域采用alpha混合算法进行融合，融合后的全景图在过渡部分的图像纹理和亮度更加连续且均匀过渡，从而构造成全景相机而形成全景图像。
总之，本发明通过两个鱼眼摄像头构造的全景相机能够形成360度区域的感知，且置于激光雷达的上面，使得融合装置上方所有区域无任何遮挡。同时，将融合装置安装在智能汽车顶部后，前后方重要区域能够同时被相机和激光雷达覆盖。另外，本发明提供的标定方法能够同时标定融合装置各传感器的外参，标定方法更加稳定可靠。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (1)

1.一种全景相机与激光雷达的融合装置的标定方法，使用一种全景相机与激光雷达的融合装置，两个鱼眼摄像头(1)背靠背紧固于相机支架(2)中，从而构造一个全景相机；环扫式激光雷达(3)固定于托架(4)上；所述环扫式激光雷达(3)固定于全景相机下方，使全景相机上方的整个区域不受遮挡；其特征在于，包括以下步骤：
S1：通过棋盘格标定鱼眼摄像头(1)的内参：采用黑白棋盘格标定板和张正友相机标定法完成两个鱼眼摄像头(1)标定，而环扫式激光雷达(3)在出厂前将进行数据校准，并提供相应的鱼眼摄像头(1)内参；
S2：搭建长方形标定环境，并在标定环境墙面上有规律地粘贴黑色圆点，测量各黑点在环境坐标系的三维坐标；标定环境由地面和墙面构成：墙面上粘贴有大量的黑点，且黑点在标定环境坐标系下的坐标均已知，为了使黑点在图像中比较明显，墙面的颜色应与黑点颜色区分；
S3：将融合装置放置在标定环境靠中间的位置，并使环扫式激光雷达(3)的正前方尽量偏向于角落；采集标定数据时，将融合装置放在在标定环境靠近中间区域，并使环扫式激光雷达(3)正前方偏向于某角落；
S4：采集鱼眼摄像头(1)的当前图像数据，测量图像各黑点的像素坐标和对应环境坐标系三维坐标，通过最小化目标损失函数获取标定环境坐标系至两个鱼眼摄像头(1)之间的外参Tg2c1和Tg2c2；
S5：根据环扫式激光雷达(3)的数据点云拟合标定环境的墙面和地面，并获取所述环扫式激光雷达(3)坐标系至标定环境坐标系的转换关系Tl2g；
S6：根据获取的外参转换关系Tl2g、Tg2c1和Tg2c2，计算得到整个融合装置中的两个所述鱼眼摄像头(1)和所述环扫式激光雷达(3)三个传感器之间的外参转换关系Tl2c1和Tc22c1：
两个鱼眼摄像头1所获取的两张鱼眼图像，可获取鱼眼图像内各黑点的像素位置，同时各黑点在环境坐标系的三维位置也可知，则通过非线性优化方法，求取重投影误差的目标损失函数最小，即可求出环境坐标系与两个所述鱼眼摄像头1的外参转换矩阵Tg2c1和Tg2c2，目标损失函数如下：
其中，Rg2c和tg2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，pc表示对应的黑点在图像上的像素坐标，K表示鱼眼相机的内参；
所述环扫式激光雷达(3)的激光数据点云(xl,yl,zl)投影至所述鱼眼摄像头(1)的鱼眼图像的像素坐标(uc,vc)公式如下：
其中，激光数据点云先转换至鱼眼相机坐标系坐标(xc,yc,zc)，fK为鱼眼摄像头(1)坐标系下的三维点投影至图像平面的转换公式，如下：
fK：
θdist＝θ(1+p1·θ2+p2·θ4+p3·θ6+p4·θ8)
其中，fx，fy，u0，v0，p1，p2，p3，p4为鱼眼摄像头(1)内参，由内参标定方法获取；
所述鱼眼摄像头(1)的外参转换矩阵Tg2c1和Tg2c2，目标损失函数计算公式如下：
其中，Rg2c和tg2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，pc表示对应的黑点在图像上的像素坐标，K表示鱼眼摄像头(1)的内参。
CN202011153660.5A 2020-10-26 2020-10-26 一种全景相机与激光雷达的融合装置及其标定方法 Active CN112308927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153660.5A CN112308927B (zh) 2020-10-26 2020-10-26 一种全景相机与激光雷达的融合装置及其标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153660.5A CN112308927B (zh) 2020-10-26 2020-10-26 一种全景相机与激光雷达的融合装置及其标定方法

Publications (2)

Publication Number Publication Date
CN112308927A CN112308927A (zh) 2021-02-02
CN112308927B true CN112308927B (zh) 2024-05-17

Family

ID=74331183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153660.5A Active CN112308927B (zh) 2020-10-26 2020-10-26 一种全景相机与激光雷达的融合装置及其标定方法

Country Status (1)

Country Link
CN (1) CN112308927B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075683B (zh) * 2021-03-05 2022-08-23 上海交通大学 一种环境三维重构方法、装置及系统
CN113034615B (zh) * 2021-03-30 2023-05-23 南方电网电力科技股份有限公司 一种用于多源数据融合的设备标定方法及相关装置
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制系统的摄像头和激光雷达同步方法及系统
CN113298878A (zh) * 2021-05-19 2021-08-24 的卢技术有限公司 车载环视摄像头的标定方法、装置、电子设备及可读存储介质
CN117406185B (zh) * 2023-12-14 2024-02-23 深圳市其域创新科技有限公司 雷达与相机间的外参标定方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN202782968U (zh) * 2012-09-21 2013-03-13 纵横皆景（武汉）信息技术有限公司 基于激光扫描与全景影像的车载测量集成系统
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘系统
CN107274336A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种针对车载环境的全景图像拼接方法
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016116859A1 (de) * 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN202782968U (zh) * 2012-09-21 2013-03-13 纵横皆景（武汉）信息技术有限公司 基于激光扫描与全景影像的车载测量集成系统
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘系统
CN107274336A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种针对车载环境的全景图像拼接方法
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Coal Mine Rescue Robots Based on Binocular Vision: A Review of the State of the Art;Guodong Zhai;《IEEE》;20200715;全文 *
全向视觉传感器标定;林颖;《中国博士学位论文全文数据库》;20140630;全文 *
基于信息融合的智能车障碍物检测方法;陆峰;徐友春;李永乐;王德宇;谢德胜;;计算机应用;20171220(S2);全文 *
基于梯形棋盘格的摄像机和激光雷达标定方法;贾子永;任国全;李冬伟;程子阳;;计算机应用;20170710(07);全文 *
激光雷达和相机的联合标定（Camera-LiDAR Calibration）之Autoware;W_Tortoise;《https://blog.csdn.net/learning_tortosie/article/details/82347694》;20180903;全文 *

Also Published As

Publication number Publication date
CN112308927A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112308927B (zh) 一种全景相机与激光雷达的融合装置及其标定方法
CN112233188B (zh) 一种激光雷达和全景相机的数据融合系统的标定方法
CN110264520B (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
WO2021098608A1 (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10852418B2 (en) Vehicle sensor with integrated radar and image sensors
WO2021098448A1 (zh) 传感器标定方法及装置、存储介质、标定系统和程序产品
US20220276360A1 (en) Calibration method and apparatus for sensor, and calibration system
US11977167B2 (en) Efficient algorithm for projecting world points to a rolling shutter image
CN112655024A (zh) 一种图像标定方法及装置
CN114445592B (zh) 一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法
CN110865388A (zh) 摄像机与激光雷达的联合标定方法、装置及存储介质
CN111559314A (zh) 深度与图像信息融合的3d增强全景环视系统及实现方法
EP3206184A1 (en) Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN111260539A (zh) 鱼眼图目标识别方法及其系统
US11648888B2 (en) Surround view monitoring system and providing method of the same
WO2021172264A1 (ja) 検出器の姿勢・位置検出装置
CN113492829B (zh) 数据处理的方法和装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
CN115936995A (zh) 一种车辆四路鱼眼摄像头全景拼接方法
JP2001091649A (ja) 合成開口レーダ画像精密幾何補正用地上基準点装置
KR101816068B1 (ko) 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant