CN110161485B - 一种激光雷达与视觉相机的外参标定装置 - Google Patents

一种激光雷达与视觉相机的外参标定装置 Download PDF

Info

Publication number
CN110161485B
CN110161485B CN201910511493.8A CN201910511493A CN110161485B CN 110161485 B CN110161485 B CN 110161485B CN 201910511493 A CN201910511493 A CN 201910511493A CN 110161485 B CN110161485 B CN 110161485B
Authority
CN
China
Prior art keywords
calibration plate
calibration
laser radar
point
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910511493.8A
Other languages
English (en)
Other versions
CN110161485A (zh
Inventor
熊璐
邓振文
张绍明
黄禹尧
王泽寒
尹栋
刘正发
石立彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201910511493.8A priority Critical patent/CN110161485B/zh
Publication of CN110161485A publication Critical patent/CN110161485A/zh
Application granted granted Critical
Publication of CN110161485B publication Critical patent/CN110161485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

本发明涉及一种激光雷达与视觉相机的外参标定装置,该装置包括依次设置的带有万向轮的支座、伸缩套筒、插入伸缩套筒上端内部且通过伸缩杆固定螺母固定位置的伸缩杆、固定在伸缩杆上端的球头座、球头座连接的球头支架以及与球头支架连接的标定板,所述的标定板为一表面平整的圆形黑色塑料板,在近边缘位置设置一个圆孔,且标定板表面按照棋盘格铣削方形凹槽,并在凹槽内嵌设白色方形的铝合金薄片,使铝合金薄片与标定板形成表面平整的矩形黑白棋盘格形式。与现有技术相比,本发明具有实用简便、通用性强等优点。

Description

一种激光雷达与视觉相机的外参标定装置
技术领域
本发明涉及传感器间的标定技术,尤其是涉及一种激光雷达与视觉相机的外参标定装置。
背景技术
近年来人工智能技术不断提升,部分功能算法逐渐应用于无人驾驶汽车技术领域。尤其是计算机视觉技术,深度卷积神经网络为很多无法建立模型的难题带来了解决方案。神经网络可以通过处理大量采集的实验数据,采用监督学习完成映射函数的拟合。但是,由于神经网络需基于大数据的支持且对硬件配置要求较高,目前智能驾驶系统暂时无法通过纯视觉的方案代替人类在复杂交通环境下行驶。同时,视觉摄像头在曝光的环境下是无法工作的,且在与训练样本差距较大的场景中,系统出错率较高。在目标检测研究中,激光与视觉的融合感知的检测率比视觉或激光雷达单独检测更高。为了弥补视觉传感器的不足,需要搭载其他感知传感器作为信息冗余。而环境感知技术的多传感器信息融合首先需要解决多传感器之间的外参数标定问题。
传感器之间外参标定技术逐渐受到大量科研人员的重视,良好的标定结果能够为后期信息融合得到更稳定的融合结果,进而提高环境感知的可靠性。多传感器之间的联合标定通常选定一个坐标系为基准,将所有传感器的空间坐标转换至该基准坐标系。通过建立各传感器之间的误差函数,并采集标定所需要的数据后,联立方程使误差函数最小化,进而得到各传感器到基准坐标系的外参数旋转矩阵和平移矩阵。传感器的外参数标定方法主要分为基于特殊标定装置的方法和基于普通自然环境的方法。其中,基于特殊标定装置的方法需要设计专门的标定装置,所有的传感器均能从该标定装置中提取相互关联的特征点作为相互约束关联,进而可求解彼此之间的坐标转换参数;基于普通自然环境的方法无需任何标定装置,只需要将多传感器平台置于普通自然环境下行驶一段时间,通过各传感器获取的原始数据寻找关联信息,并通过最大化交互关联信息作为优化函数,得到坐标转换关系。目前的标定方法主要表现为:
第一、单线激光雷达的标定装置过于复杂,在加工过程中难以保证结构的精度,且在使用过程中容易发生变形。同时,暂时还没有使用同一个标定装置满足同时标定单线激光雷达、多线激光雷达和视觉相机的外参数。
第二、基于自然环境下的标定方法很大程度受到不确定的环境影响,尤其是在白天光照强度较大环境下,树荫和建筑物阳阴面容易给参数造成不收敛的情况。需要大量的采集数据进行迭代,从而增加工作量和计算量。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种激光雷达与视觉相机的外参标定装置。
本发明的目的可以通过以下技术方案来实现:
一种激光雷达与视觉相机的外参标定装置,设置在传感器融合系统前方该装置包括依次设置的带有万向轮的支座、伸缩套筒、插入伸缩套筒上端内部且通过伸缩杆固定螺母固定位置的伸缩杆、固定在伸缩杆上端的球头座、球头座连接的球头支架以及与球头支架连接的标定板,所述的标定板为一表面平整的圆形黑色塑料板,在近边缘位置设置一个圆孔,且标定板表面按照棋盘格铣削方形凹槽,并在凹槽内嵌设白色方形的铝合金薄片,使铝合金薄片与标定板形成表面平整的矩形黑白棋盘格形式。
所述的球头支架包括一体成型的连接部和球头部,所述的连接部与标定板连接,所述的球头部嵌设在球头座内形成球头连接,用以实现标定板调节旋转至任意方向和位置并通过球头紧固螺栓固定。
所述的伸缩套筒上端内部设有螺纹和纵向槽,所述的伸缩杆固定螺母插入伸缩套筒内部的固定端呈楔形。
所述的万向轮设有4个,其内设有减震弹簧和刹车锁紧机构。
一种激光雷达与视觉相机的外参标定方法,包括以下步骤:
1)将外参标定装置设置在传感器融合系统前方;
2)调节标定板上棋盘格的方向、高度以及与传感器融合系统间的距离,并分别获取多组不同方向、高度及距离条件下的激光点云和视觉相机图像数据对;
3)进行数据处理,获得激光雷达与视觉相机的外参转换矩阵T,完成标定。
所述的步骤1)中,在单线激光雷达和视觉相机的外参标定过程中,使得单线激光雷达的扫描线通过标定板圆孔,并且使得所有棋盘格角点在视觉相机拍摄范围内,在多线激光雷达和视觉相机的外参标定过程中,多线激光雷达的多条激光扫描线扫描在标定板上,使得其中一条扫描线穿过标定板上的圆孔。
所述的步骤3)具体包括以下步骤:
在单线激光雷达数据处理中:
301)在单线激光雷达的激光点云中根据标定板的范围进行初步筛选,并通过点云的连续性和直线度提取标定板上的点云,确定最终的标定板点云;
302)在最终的标定板点云中,获取激光扫描线分别与标定板边缘和圆孔边缘相交的四个交点A、B、C、D分别在激光雷达坐标系L下的坐标和在标定板坐标系W下的坐标;
303)经过数据处理,获取四个交点A、B、C、D在激光雷达坐标下的三维点坐标与在相机坐标下的二维点坐标对应形成3D-2D的匹配关联点,采用EPnP方法获取外参的初始值,将所有关联点构造优化方程,通过迭代优化使外参收敛,收敛后的值即为单线激光雷达与视觉相机的外参转换矩阵T;
在多线激光雷达数据处理中:
311)在多线激光雷达的激光点云中根据标定板的范围、平面度和点云数量确定最终的标定板点云;
312)对标定板点云采用奇异值分解SVD进行平面拟合,得到拟合平面的单位法向量;
313)获取标定板点云中标定板轮廓的边缘点和圆孔的边缘点,将所有边缘点投影到拟合平面上得到投影点的二维坐标,并根据标定板的形状,获得标定板圆心M在拟合平面上的二维坐标;
314)将标定板圆心M的二维坐标反向投影到激光雷达坐标系下,获取M点在激光雷达坐标系下的三维坐标,而M点在相机图像的二维坐标即为棋盘格中心角点的像素坐标,从而以标定板圆心M建立3D-2D的匹配关联点,并以此获得多线激光雷达与视觉相机的外参转换矩阵T。
在多线激光雷达数据处理中,当激光雷达的激光扫描线大于32线时,由于激光扫描线较为密集,则有:
321)在采集激光雷达点云时,使矩形棋盘格长边与水平面成30°-40°夹角,用以保证棋盘格方格内有尽可能多的扫描线通过,并且获取激光雷达点云的反射率数据;
322)在激光雷达的激光点云中根据标定板的范围、平面度和点云数量确定最终的标定板点云,并且对标定板点云采用奇异值分解SVD进行平面拟合,得到拟合平面的单位法向量;
323)将激光点云投影到拟合平面后,将标定板的白色方格与拟合平面上的反射率较高的点云进行拟合,拟合后标定板的角点即为激光点云的角点,然后将标定板的角点的二维坐标反向投影到激光雷达坐标系下,获取各角点在激光雷达在激光雷达下的三维坐标,并且获取各角点在相机图像的像素坐标,建立3D-2D的匹配关联点后获得多线激光雷达与视觉相机的外参转换矩阵T。
在步骤302)中,交点A、B、C、D分别激光雷达坐标系L下的坐标Pi L和在标定板坐标系W下的坐标Pi W为:
Figure GDA0002733012630000041
Figure GDA0002733012630000042
Figure GDA0002733012630000043
Figure GDA0002733012630000044
Figure GDA0002733012630000045
其中,ρi为激光与原点的距离,θi为激光束与x轴的夹角;E、F分别为空间线段AD和BC的中点,M、N分别为标定板圆心和圆孔圆心,θ为∠EMN,上划线表示两点之间的距离。
在步骤313)中,标定板圆心M在拟合平面下的二维坐标通过以下优化函数求取:
Figure GDA0002733012630000051
Figure GDA0002733012630000052
其中,(xi,yi)为所有边缘点投影在拟合平面上的二维坐标,n为边缘点总数,b和A为已知参数组成的过渡矩阵,c为待求解参数组成的过渡矩阵,r为拟合圆的半径,(xM,yM)为拟合圆的圆心坐标。
与现有技术相比,本发明具有以下优点:
(1)本发明标定板采用黑色塑料板和白色方形的铝合金薄片组成,具有一定的结构强度,不宜损坏,且可在室外完成标定工作,不受雨水等影响,易于存放。
(2)本发明标定板适用于单个视觉相机的内参标定、单线或者多线激光雷达与视觉相机的外参标定,同时也适用多个激光雷达与多个视觉相机之间的联合标定,适用范围比较广泛。
(3)本发明标定板上固定有球头支架,球头支架的球头部分嵌入至球头座内部形成球头连接,可以方便标定板调整方向。调整标定板位姿后,通过球头紧固螺栓固定标定板的方向,从而提高标定效率。
(4)本发明标定装置设有伸缩杆与伸缩套筒组成高度可调部件,伸缩杆可以在伸缩套筒内滑动,从而调整标定板的高度,伸缩杆与伸缩套筒通过伸缩杆固定螺母内部楔形结构进行锁紧,与该结构加工简单且易于操作。
(5)本发明标定装置底部设有带减震弹簧的万向轮,能够解决由于地面不平整而造成标定装置摇晃的问题,且万向轮设有刹车锁紧机构,使标定装置能够放置在微小坡度的路面。从而标定装置的对环境实用性较强。
(6)本发明中的标定方法均基于几何约束关系,算法比较容易通过编程实现。在标定过程中,只需将激光雷达采集的三维点云文件与视觉相机采集的图像文件按照文件名相互对应,程序可自动读取全部数据,并给出外参的旋转矩阵和平移矩阵。
附图说明
图1为本发明标定装置的结构原理图。
图2为本发明标定板平面图。
图3为本发明标定板局部剖面图。
图4为本发明单线激光雷达与相机标定示意图。
图5为本发明多线激光雷达与相机标定示意图。
图6为本发明线束不少于32线激光雷达与相机标定示意图;
图中,1、标定板,2、球头支架,3、球头紧固螺栓,4、球头座,5、伸缩杆,6、伸缩杆固定螺母,7、伸缩套筒,8、支座,9、万向轮。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
两个传感器之间的外参标定通常是求解传感器之间的旋转矩阵和平移矩阵。随着SLAM技术在国内外的研究逐渐成熟,可以将激光雷达与视觉相机的标定转换成为3D-2D的匹配问题,并获得较好的标定结果。但目前还没有一种比较完善的标定装置能够同时解决单线、多线激光雷达与视觉相机的外参标定问题和相机内参标定问题。本发明提出一种激光雷达与视觉相机的外参标定装置及标定方法,可同时应用于不同线束的激光雷达传感器与视觉相机传感器之间的外参数标定。
将标定装置按照如图1所示的结构进行加工并组装,其中标定板采用黑色塑料板加工,在正下方开设较大的圆孔,并在标定板表面按照棋盘格模板铣削方形凹槽,在凹槽中嵌入相应尺寸的白色方形铝合金板,如图2所示。铝合金板粘固在凹槽内部,表面与标定板表面平齐,如图3所示。将标定装置放置在传感器融合系统前方,通过调整标定板的方向,并使用球头固定螺栓锁紧球头关节;通过调整标定板的高度,并使用伸缩杆固定螺母固定伸缩杆与伸缩套筒的相对位置;通过移动标定装置,调整标定装置与融合系统的距离,从而能够采集到标定板不同位姿的数据。当标定装置需要在斜坡上采集数据时,可打开万向轮的刹车锁紧机构,使标定装置能够在斜坡固定。
在单线激光雷达与视觉相机的外参标定过程中,将标定装置尽量靠近融合系统,同时保证单线激光雷达的线束能够尽量通过标定板圆孔中心,且视觉相机能够识别所有棋盘格角点,如图4所示。同步保存该时刻下的激光点云和视觉相机图像,并按照指定规律命名该组数据的两个文件,使程序能够读取数据。再分别调整棋盘格的方向、高度和与融合系统的距离,采集其他若干组数据。
在数据处理中,根据大概棋盘格的范围筛选单线激光采集的点云,再进行点云聚类将连续的点组成点云块,在点云块中使用PCA算法检测是否满足直线要求,再根据点的数量,提取最终标定板上的点云块。此时激光线束与标定板、圆孔边缘的交点A、B、C、D在激光雷达坐标系下可表示为:
Figure GDA0002733012630000071
其中,ρi为i点与雷达坐标原点的距离;θi为i点激光线束与坐标轴x的角度。
若能够得到A、B、C、D在图像坐标系下的像素坐标,则外参的标定即可转换为3D-2D的匹配问题,可通过PnP算法求得初始值,再通过迭代优化算法进行微调参数,寻找最优外参矩阵。
从图像的角点检测算法中可以得到相机坐标系与标定板坐标系的转换关系。根据标定板的几何关系,A、B、C、D在标定板坐标系下坐标可表示为:
Figure GDA0002733012630000072
Figure GDA0002733012630000073
Figure GDA0002733012630000081
Figure GDA0002733012630000082
其中,ρi为激光与原点的距离,θi为激光束与x轴的夹角;E、F分别为空间线段AD和BC的中点,M、N分别为标定板圆心和大孔圆心,θ为∠EMN,
Figure GDA0002733012630000085
为M与E的距离。
通过比较ME的长度与MN竖直方向的长度比较,得到BC位于N点的上侧还是下侧,然后通过对应的公式求解B、C的坐标。将A、B、C、D在标定板上的坐标通过之前的转换关系转换到相机坐标系中并得到4个点的像素二维坐标。
在多线激光雷达与视觉相机的外参标定过程中,采用相同的方式采集不同方向、高度和距离的若干组数据。在激光雷达数据处理中,通过大致范围、平面度、点云数量提取标定板上的点云。将标定板上的点云使用奇异值分解SVD进行拟合平面,可得到拟合平面的单位法向量n。提取点云中标定板轮廓的边缘点和圆孔的边缘点,并将所有边缘点投影到所拟合的平面得到投影点的二维坐标为Pproj。根据标定板的形状,标定板的圆心在拟合平面下的二维坐标可以通过优化函数求得:
Figure GDA0002733012630000083
其中,
Figure GDA0002733012630000084
(xi,yi)为所有边缘点投影在拟合平面上的二维坐标,b和A为已知参数组成的过渡矩阵,c为待求解参数组成的过渡矩阵,r为拟合圆的半径,(xM,yM)为拟合圆的圆心坐标。
将圆心M点的二维坐标反向投影到激光雷达坐标系下,可得M点在激光雷达坐标系下的三维坐标。而M点在图像的二维坐标即为棋盘格中心角点的像素坐标。从而建立3D-2D的匹配点对。
另外,在线束不少于32线激光雷达与视觉相机的外参标定过程中,由于线束比较密集,可以通过点云的反射率提取激光点云的角点并将该角点作为匹配点。同样使用奇异值分解SVD得到拟合平面的单位法向量n。将点云投影到拟合平面后,通过现有方法将标定板模板的白色方格与拟合平面上的反射率高的点云进行对齐。对齐后,棋盘格模板的角点即为投影点云的角点,角点的二维坐标反向投影到激光雷达坐标系下,可得各角点在激光雷达在激光雷达下的三维坐标。而对应的角点在图像的像素坐标可以通过图像棋盘格角点检测算法获取。同样构造3D-2D的匹配问题。
由于标定数据的采集生成大量的匹配点,在计算匹配的过程中,一定要确保3D点与2D点形成对应关系,否则无法得到正确的结果。在解决3D-2D的匹配问题中,将调用openCV函数库中的EPnP算法进行求得外参矩阵的初始值。
传感器在测量数据过程中通常受到噪声影响。使用EPnP求解外参的初始值将会存在较大的偏差,故需构造误差函数,适用迭代优化函数进行迭代计算,使得重投影误差最小化,重投影误差函数为:
Figure GDA0002733012630000091
本发明主要面向智能驾驶技术多传感器外参标定,开发设计一种激光雷达与视觉相机的外参标定装置,如图1所示。标定板采用黑色塑料板和白色方形的铝合金薄片组成,具有一定的结构强度,不宜损坏,且可在室内、室外完成标定工作,不受雨水等影响,易于存放;标定板上固定有球头支架,球头支架的球头部分嵌入至球头座内部形成球头连接,可以方便标定板调整方向。调整标定板位姿后,通过球头紧固螺栓固定标定板的方向,从而提高标定效率;标定装置设有伸缩杆与伸缩套筒组成高度可调部件,伸缩杆可以在伸缩套筒内滑动,从而调整标定板的高度。伸缩套筒上端设有螺纹和纵向槽,且设有的伸缩杆固定螺母内部靠近上端为楔形,当标定板调整好高度后,将伸缩杆固定螺母拧紧,内部楔形使伸缩套筒上端变形并挤压伸缩杆表面,使用摩擦力固定伸缩杆与伸缩套筒的相对位置。该结构加工简单且易于操作;本发明标定装置底部设有带减震弹簧的万向轮,能够解决由于地面不平整而造成标定装置摇晃的问题,且万向轮设有刹车锁紧机构,使标定装置能够应用于微小坡度的路面。从而标定装置的对环境实用性较强;本发明中的标定方法均基于几何约束关系,算法比较容易通过编程实现。在标定过程中,只需将激光雷达采集的三维点云文件与视觉相机采集的图像文件按照文件名格式保存,程序可自动读取全部数据,并计算得到外参的旋转矩阵和平移矩阵,标定流程比较简单。
总之,本发明提供一种激光雷达与视觉相机的外参标定装置及标定方法,可同时满足单线、多线激光雷达与视觉相机的外参标定,以及视觉相机的内参标定,适用于智能驾驶车辆的多传感器联合外参数标定。标定装置各调节结构加工简单,调节容易,能够提高标定过程中数据的采集,提高标定效率。为此,激光雷达与视觉相机的外参标定研究具有重要实际应用价值。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种激光雷达与视觉相机的外参标定装置,设置在传感器融合系统前方,其特征在于,该装置包括依次设置的带有万向轮(9)的支座(8)、伸缩套筒(7)、插入伸缩套筒(7)上端内部且通过伸缩杆固定螺母(6)固定位置的伸缩杆(5)、固定在伸缩杆(5)上端的球头座(4)、球头座(4)连接的球头支架(2)以及与球头支架(2)连接的标定板(1),所述的标定板(1)为一表面平整的圆形黑色塑料板,在近边缘位置设置一个圆孔,且标定板表面按照棋盘格铣削方形凹槽,并在凹槽内嵌设白色方形的铝合金薄片,使铝合金薄片与标定板形成表面平整的矩形黑白棋盘格形式;
应用激光雷达与视觉相机的外参标定装置的标定方法,包括以下步骤:
1)将外参标定装置设置在传感器融合系统前方,在单线激光雷达和视觉相机的外参标定过程中,使得单线激光雷达的扫描线通过标定板圆孔,并且使得所有棋盘格角点在视觉相机拍摄范围内,在多线激光雷达和视觉相机的外参标定过程中,多线激光雷达的多条激光扫描线扫描在标定板上,使得其中一条扫描线穿过标定板上的圆孔;
2)调节标定板上棋盘格的方向、高度以及与传感器融合系统间的距离,并分别获取多组不同方向、高度及距离条件下的激光点云和视觉相机图像数据对;
3)进行数据处理,获得激光雷达与视觉相机的外参转换矩阵T,完成标定,具体包括以下步骤:
在单线激光雷达数据处理中:
301)在单线激光雷达的激光点云中根据标定板的范围进行初步筛选,并通过点云的连续性和直线度提取标定板上的点云,确定最终的标定板点云;
302)在最终的标定板点云中,获取激光扫描线分别与标定板边缘和圆孔边缘相交的四个交点A、B、C、D分别在激光雷达坐标系L下的坐标和在标定板坐标系W下的坐标;
303)经过数据处理,获取四个交点A、B、C、D在激光雷达坐标下的三维点坐标与在相机坐标下的二维点坐标对应形成3D-2D的匹配关联点,采用EPnP方法获取外参的初始值,将所有关联点构造优化方程,通过迭代优化使外参收敛,收敛后的值即为单线激光雷达与视觉相机的外参转换矩阵T;
在多线激光雷达数据处理中:
311)在多线激光雷达的激光点云中根据标定板的范围、平面度和点云数量确定最终的标定板点云;
312)对标定板点云采用奇异值分解SVD进行平面拟合,得到拟合平面的单位法向量;
313)获取标定板点云中标定板轮廓的边缘点和圆孔的边缘点,将所有边缘点投影到拟合平面上得到投影点的二维坐标,并根据标定板的形状,获得标定板圆心M在拟合平面上的二维坐标;
314)将标定板圆心M的二维坐标反向投影到激光雷达坐标系下,获取M点在激光雷达坐标系下的三维坐标,而M点在相机图像的二维坐标即为棋盘格中心角点的像素坐标,从而以标定板圆心M建立3D-2D的匹配关联点,并以此获得多线激光雷达与视觉相机的外参转换矩阵T。
2.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,所述的球头支架(2)包括一体成型的连接部和球头部,所述的连接部与标定板(1)连接,所述的球头部嵌设在球头座(4)内形成球头连接,用以实现标定板(1)调节旋转至任意方向和位置并通过球头紧固螺栓(3)固定。
3.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,所述的伸缩套筒(7)上端内部设有螺纹和纵向槽,所述的伸缩杆固定螺母(6)插入伸缩套筒(7)内部的固定端呈楔形。
4.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,所述的万向轮(9)设有4个,其内设有减震弹簧和刹车锁紧机构。
5.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,在多线激光雷达数据处理中,当激光雷达的激光扫描线大于32线时,由于激光扫描线较为密集,则有:
321)在采集激光雷达点云时,使矩形棋盘格长边与水平面成30°-40°夹角,用以保证棋盘格方格内有尽可能多的扫描线通过,并且获取激光雷达点云的反射率数据;
322)在激光雷达的激光点云中根据标定板的范围、平面度和点云数量确定最终的标定板点云,并且对标定板点云采用奇异值分解SVD进行平面拟合,得到拟合平面的单位法向量;
323)将激光点云投影到拟合平面后,将标定板的白色方格与拟合平面上的反射率较高的点云进行拟合,拟合后标定板的角点即为激光点云的角点,然后将标定板的角点的二维坐标反向投影到激光雷达坐标系下,获取各角点在激光雷达在激光雷达下的三维坐标,并且获取各角点在相机图像的像素坐标,建立3D-2D的匹配关联点后获得多线激光雷达与视觉相机的外参转换矩阵T。
6.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,在步骤302)中,交点A、B、C、D分别激光雷达坐标系L下的坐标Pi L和在标定板坐标系W下的坐标Pi W为:
Figure FDA0002733012620000031
Figure FDA0002733012620000032
Figure FDA0002733012620000033
Figure FDA0002733012620000034
Figure FDA0002733012620000035
其中,ρi为激光与原点的距离,θi为激光束与x轴的夹角;E、F分别为空间线段AD和BC的中点,M、N分别为标定板圆心和圆孔圆心,θ为∠EMN,上划线表示两点之间的距离。
7.根据权利要求1所述的一种激光雷达与视觉相机的外参标定装置,其特征在于,在步骤313)中,标定板圆心M在拟合平面下的二维坐标通过以下优化函数求取:
Figure FDA0002733012620000041
Figure FDA0002733012620000042
其中,(xi,yi)为所有边缘点投影在拟合平面上的二维坐标,n为边缘点总数,b和A为已知参数组成的过渡矩阵,c为待求解参数组成的过渡矩阵,r为拟合圆的半径,(xM,yM)为拟合圆的圆心坐标。
CN201910511493.8A 2019-06-13 2019-06-13 一种激光雷达与视觉相机的外参标定装置 Active CN110161485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511493.8A CN110161485B (zh) 2019-06-13 2019-06-13 一种激光雷达与视觉相机的外参标定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511493.8A CN110161485B (zh) 2019-06-13 2019-06-13 一种激光雷达与视觉相机的外参标定装置

Publications (2)

Publication Number Publication Date
CN110161485A CN110161485A (zh) 2019-08-23
CN110161485B true CN110161485B (zh) 2021-03-26

Family

ID=67628724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511493.8A Active CN110161485B (zh) 2019-06-13 2019-06-13 一种激光雷达与视觉相机的外参标定装置

Country Status (1)

Country Link
CN (1) CN110161485B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819896B (zh) * 2019-11-18 2024-03-08 商汤集团有限公司 传感器的标定方法及装置、存储介质和标定系统
CN112904314B (zh) * 2019-11-19 2023-11-17 宇通客车股份有限公司 一种激光雷达标定系统及标定板
JP2021085679A (ja) * 2019-11-25 2021-06-03 トヨタ自動車株式会社 センサ軸調整用ターゲット装置
CN110942485B (zh) * 2019-11-27 2021-03-19 腾讯科技(深圳)有限公司 基于人工智能的场景感知方法、装置及电子设备
CN111077506B (zh) * 2019-12-12 2022-04-19 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统
CN111208493B (zh) * 2020-01-08 2023-04-28 同济大学 一种车载激光雷达在整车坐标系下的快速标定方法
CN111257853B (zh) * 2020-01-10 2022-04-01 清华大学 一种基于imu预积分的自动驾驶系统激光雷达在线标定方法
CN111142091B (zh) * 2020-01-10 2021-12-24 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN111260735B (zh) * 2020-01-13 2022-07-01 福州大学 一种单次拍摄的lidar与全景相机的外参数标定方法
CN111207774B (zh) * 2020-01-17 2021-12-03 山东大学 一种用于激光-imu外参标定的方法及系统
CN111207671B (zh) * 2020-03-03 2022-04-05 合肥御微半导体技术有限公司 位置标定方法和位置标定装置
CN111366912B (zh) * 2020-03-10 2021-03-16 上海西井信息科技有限公司 激光传感器与摄像头标定方法、系统、设备及存储介质
CN111047652B (zh) * 2020-03-13 2020-06-30 杭州蓝芯科技有限公司 一种快速的多tof相机外参标定方法和装置
CN111192331B (zh) * 2020-04-09 2020-09-25 浙江欣奕华智能科技有限公司 一种激光雷达和相机的外参标定方法及装置
CN111578858B (zh) * 2020-05-26 2021-05-04 山东大学 一种自动监测大型支挡构筑物裂缝变形的装置及方法
CN111693969A (zh) * 2020-06-16 2020-09-22 长沙行深智能科技有限公司 一种激光雷达与相机的联合标定装置及方法
CN111965624B (zh) * 2020-08-06 2024-04-09 阿波罗智联(北京)科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN111947939A (zh) * 2020-08-07 2020-11-17 深圳市道通科技股份有限公司 标定设备、标定方法以及标定设备的校正方法
CN111879528A (zh) * 2020-08-07 2020-11-03 深圳市道通科技股份有限公司 标定设备及标定方法
CN111739107B (zh) * 2020-08-26 2020-11-13 杭州利珀科技有限公司 标定辅助装置、标定系统及标定方法
CN111735390B (zh) * 2020-08-28 2020-12-11 中国计量大学 一种用于线激光传感器的标定块及手眼标定方法
CN112233187B (zh) * 2020-10-20 2022-06-03 深圳无境智能机器人有限公司 一种方便稳定的rgbd相机外参数标定方法
CN112596070B (zh) * 2020-12-29 2024-04-19 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN112995639B (zh) * 2021-02-05 2022-04-15 中国科学院沈阳自动化研究所 一种水下目标精细三维感知方法
CN112927302B (zh) * 2021-02-22 2023-08-15 山东大学 一种多线激光雷达与相机联合标定的标定板及标定方法
CN113160330B (zh) * 2021-04-16 2023-04-07 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113538591B (zh) * 2021-06-18 2024-03-12 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113610929B (zh) * 2021-08-09 2023-08-18 西安外事学院 一种相机与多线激光的联合标定方法
WO2023150961A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种标定方法及装置
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN117310666A (zh) * 2023-10-27 2023-12-29 宁波博登智能科技有限公司 一种车辆下线检测adas激光雷达自动标定装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9279882B2 (en) * 2008-09-19 2016-03-08 Caterpillar Inc. Machine sensor calibration system
CN101882313B (zh) * 2010-07-14 2011-12-21 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN103149227B (zh) * 2013-03-15 2015-04-15 中国工程物理研究院机械制造工艺研究所 一种用于高分辨中子粉末衍射谱仪的精密主体运动装置
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN204340875U (zh) * 2014-12-24 2015-05-20 安徽天堂唯高塑业科技有限公司 一种汽车或叉车后视镜底壳结构
CN104875686B (zh) * 2015-05-26 2017-08-04 奇瑞汽车股份有限公司 一种毫米波雷达的安装角度调节装置
CN106595700A (zh) * 2015-10-15 2017-04-26 南京理工大学 基于三点坐标测量的靶道空间基准标定方法
CN105447877A (zh) * 2015-12-13 2016-03-30 大巨龙立体科技有限公司 一种平行双摄像头立体标定的方法
CN205374289U (zh) * 2015-12-18 2016-07-06 北京农业信息技术研究中心 一种植物叶片漫反射颜色无损采集装置
CN105488810B (zh) * 2016-01-20 2018-06-29 东南大学 一种聚焦光场相机内外参数标定方法
CN106408556B (zh) * 2016-05-23 2019-12-03 东南大学 一种基于一般成像模型的微小物体测量系统标定方法
CN105953672A (zh) * 2016-06-23 2016-09-21 北京普凡防护科技有限公司 一种抽屉式防爆箱
CN106670196A (zh) * 2017-02-28 2017-05-17 茹朝贵 一种杯具清洗装置
DE102017003634A1 (de) * 2017-04-13 2017-10-19 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren
CN106944960A (zh) * 2017-05-02 2017-07-14 北京汽车股份有限公司 汽车摆臂球头拆卸工具
CN107160910A (zh) * 2017-05-06 2017-09-15 诸暨市宏光机械配件厂 一种可优化环境空气的移动式教学辅助装置
CN109212510B (zh) * 2017-07-04 2021-04-23 百度在线网络技术(北京)有限公司 用于测量多线激光雷达的角分辨率的方法和装置
CN107230507A (zh) * 2017-08-11 2017-10-03 杨宁 一种放射源转移装置
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定系统和方法
CN208110929U (zh) * 2018-05-14 2018-11-16 哈尔滨职业技术学院 一种旅游英语用讲解宣传架
CN109631896B (zh) * 2018-07-23 2020-07-28 同济大学 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN109633612B (zh) * 2018-10-18 2020-06-16 浙江大学 一种无共同观测的单线激光雷达与相机外参标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置

Also Published As

Publication number Publication date
CN110161485A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110161485B (zh) 一种激光雷达与视觉相机的外参标定装置
CN108868268B (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN105006021B (zh) 一种适用于快速点云三维重建的颜色映射方法及装置
US20030014224A1 (en) Method and apparatus for automatically generating a site model
CN107167788A (zh) 获取激光雷达校准参数、激光雷达校准的方法及系统
CN105046746A (zh) 一种数字散斑人体三维快速扫描方法
CA2707176A1 (en) Method and apparatus for rapid three-dimensional restoration
CN109191533B (zh) 基于装配式建筑的塔吊高空施工方法
CN109816708A (zh) 基于倾斜航空影像的建筑物纹理提取方法
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
US20230351625A1 (en) A method for measuring the topography of an environment
CN109883433A (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN111046846A (zh) 一种机器人前方障碍通过性判断的方法
US20030063774A1 (en) Image synthesizing device and method
CN108986204A (zh) 一种基于双重校准的全自动快速室内场景三维重建装置
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
Von Hansen et al. Line-based registration of terrestrial and airborne LIDAR data
CN112001277B (zh) 无人机填图方法、填图装置及填图系统
Gu et al. An intensity-independent stereo registration method of push-broom hyperspectral scanner and LiDAR on UAV platforms
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
CN112884845B (zh) 一种基于单摄像机室内机器人障碍物定位的方法
Biber et al. First experiences with a mobile platform for flexible 3d model acquisition in indoor and outdoor environments–the waegele

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant