CN110322519A - 一种用于激光雷达与相机联合标定的标定装置及标定方法 - Google Patents

一种用于激光雷达与相机联合标定的标定装置及标定方法 Download PDF

Info

Publication number
CN110322519A
CN110322519A CN201910649299.6A CN201910649299A CN110322519A CN 110322519 A CN110322519 A CN 110322519A CN 201910649299 A CN201910649299 A CN 201910649299A CN 110322519 A CN110322519 A CN 110322519A
Authority
CN
China
Prior art keywords
scaling board
coordinate
laser radar
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910649299.6A
Other languages
English (en)
Other versions
CN110322519B (zh
Inventor
蔡怀宇
庞伟凇
陈晓冬
汪毅
卓励然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910649299.6A priority Critical patent/CN110322519B/zh
Publication of CN110322519A publication Critical patent/CN110322519A/zh
Application granted granted Critical
Publication of CN110322519B publication Critical patent/CN110322519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开一种用于激光雷达与相机联合标定的标定装置及标定方法;标定装置由标定板、空心四面体挡板、支架构成。标定板为几何中心设有十字标志且高宽比为1:2的矩形板,以十字为中心生成边长L的正方形并以之为对称中心拓展生成9×17个黑白相间正方形格,在特定位置设置4个等腰直角三角形并将其挖空,空洞后面特定的空心四面体挡板,四面体的底与空洞吻合使正视标定板无空洞出现,标定板两侧有L/2宽度空余通过特定支架固定。标定方法:使用激光雷达探测、相机拍摄标定装置,根据本发明提出的“拟合插值法”计算特征点在激光雷达坐标系坐标以及相机像素坐标系坐标,获取足够多特征点对后带入坐标转换公式即可得到两个坐标系相对位置关系。

Description

一种用于激光雷达与相机联合标定的标定装置及标定方法
技术领域
本发明涉及激光雷达数据处理、图像数据处理以及多传感器数据融合领域,具体涉及一种用于激光雷达与相机联合标定的标定装置及其标定方法。
背景技术
目前对于激光雷达与相机的联合应用愈加广泛,二者进行数据融合的前提是进行联合标定,即获取激光雷达坐标系与相机像素坐标系之间的关系。特征点法是最常用且简单的标定方法,其标定误差主要来源于特征点对分别在激光雷达坐标系与图像像素坐标系下特征点坐标的确定,主要与标定板的设计及相应标定方法有关,因此标定板的结构设计及其对应的标定方法至关重要,是保证后期数据处理准确性的前提。
用于激光雷达与相机联合标定的标定板设计形态各异,没有统一的标定板形状与标定方法。对于相机标定,多采用黑白棋盘格作为标定板,利用其较易检测到的角点进行标定与畸变校准;但是激光雷达只对深度信息敏感,黑白棋盘格不具有深度信息,所以无法利用其进行激光雷达标定。另外由于激光扫描线的不可见性无法在相机采集的图像中准确获得对应特征点的位置及坐标,因此以往的各种标定方法都存在很大的人工误差。
发明内容
本发明的目的是为了克服现有技术中的不足,提供一种用于激光雷达与相机联合标定的标定装置及其标定方法,解决目前标定装置及标定方法不统一、适应性差、标定装置无法同时满足激光雷达与相机的标定需求且误差较大的问题。
本发明的目的是通过以下技术方案实现的:
一种用于激光雷达与相机联合标定的标定装置包括标定板、空心四面体挡板和支架,其中标定板上设置有深度信息和角点信息;
所述标定板由高宽比为1:2的矩形板构成,标定板的正面绘制有9×17个黑白相间的正方形格子,所述正方形格子的边长为L,标定板的中心设置有十字标志;标定板的左右两侧分别设置有宽度为L/2的标定板固定处,以最左下方的正方形格子的左下顶点为原点O,向右为X轴正方向,向上为Y轴正方向,建立标定板坐标系,坐标系单位长度为L,则各正方形格子的顶点坐标从左到右,从下到上依次表示为:(0,0),(0,1),(0,2)......(0,17);(1,0),(1,1),(1,2)......(1,17),···(9,0),(9,1),(9,2)......(9,17);所述标定板中设置有四个等腰直角三角形Ti(i=1,2,3,4),且四个等腰直角三角形位置打通形成三角形空洞,位于标定板正面的三角形空洞的顶点坐标分别为:(1,5)(4,8)(7,5)、(10,5)(13,8)(16,5)、(2,1)(5,4)(8,1)及(9,1)(12,4)(15,1),各三角形空洞均满足腰长为底边长为6L;
所述空心四面体挡板由两个边长为的正三角形板构成,空心四面体挡板分别安装于各三角形空洞背面,空心四面体挡板的底面与三角形空洞等大,即直角边长为斜边长为6L;
所述支架相对称的设置于所述标定板的两侧用于固定标定板,支架的宽为L/2,支架的底部设置有底座,支架上设置有固定凹槽,所述固定凹槽的宽度与标定板的厚度相匹配,所述支架从上到下等间距的设置有前后贯通的通孔,所述通孔下方设置有位置标记,通过在不同高度的通孔内插入阻隔棒以调整标定板的高度。
其中,所述底座为棱台形结构,所述底座和支架通过螺钉连接固定;所述阻隔棒上设有螺纹,插入通孔后可通过对侧使用螺母进行固定。
其中,空心四面体挡板采用以下方式制作安装:
所述空心四面体挡板由长为宽为的长方形板裁切弯压而成,裁切部分分别为直角边为的长方形左下角与右下角以及直角边为的长方形左上角与右上角;弯压后产生的空心四面体挡板分为突起部分与非突起部分,突起部分与标定板构成四面体状,即空心四面体挡板突起部分非公共的两条边与三角形空洞的两条直角边完全贴合,将空心四面体挡板固定在三角形空洞后,正视标定板无空洞出现;空心四面体挡板突起部分两侧各有一个非突起部分,各非突起部分设有两个通孔,在标定板对应位置打上通孔后可利用螺丝与螺母可将空心四面体挡板固定在标定板上;
一种用于激光雷达与相机联合标定的标定方法,基于上述标定装置,可通过“拟合插值法”寻找特征点对进行激光雷达与相机进行联合标定,具体包括以下步骤:
步骤S1:调整标定板的位置和高度,使标定板与激光雷达、相机的视场角及分辨率相匹配,标定板高度设置应保证标定板主体中心十字标志与激光雷达中心高度一致;
步骤S2:使用激光雷达扫描标定板正面,同时使用相机拍照;
步骤S3:根据标定板结构,激光雷达一条扫描线将会存在6个距离的突变点,上述6个突变点在激光雷达坐标系下的坐标可通过点云直线拟合后求交点得知,选取扫描线与标定板上直角三角形直角边相交的4个距离突变点作为特征点,从左至右依次标记为M1、M2、M3、M4
步骤S4:根据步骤S3中直线拟合求得的交点坐标可计算得到|M1M2|、|M2M3|、|M3M4|,根据上述距离值组合判断扫描线的位置区域;
步骤S5:根据标定板坐标系,每个等腰直角三角形的边都有对应的直线方程,对于M1点假设其X坐标为xm1,根据直线方程及M1点所在行数,即当前扫描线所在行数,求得其Y坐标ym1=f(xm1);同理应用于M2、M3、M4点,将每个点坐标统一至只存在单未知数;
步骤S6:根据上述4点坐标、距离值及共线条件,求解出以上4点在直角坐标系中的坐标,具体求解方式如下:
设各点坐标为M1(xm1,ym1)、M2(xm2,ym2)、M3(xm3,ym3)、M4(xm4,ym4),|M1M2|=l1、|M3M4|=l2,则有
步骤S7:通过处理相机拍摄的图像获得标定板各个角点在像素坐标系下的坐标,最后结合M1、M2、M3、M4 4点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系,求解得到M1、M2、M3、M44点的像素坐标,具体求解如下:
设在标定板坐标系中M1点所在斜边对应的角点M1’、M1”及M1点的坐标分别为(x'm1,y'm1)(x”m1,y”m1)(xm1,ym1),像素坐标系中上述3点坐标分别为(u1,v1)(u2,v2)(u,v),则有
步骤S8:通过上述步骤获得4组特征点分别在激光雷达坐标系下的坐标与对应像素坐标系下的坐标,对于多线激光雷达假设雷达线数为n(n≥2),将获得4n组特征点(4n≥5),将特征点坐标代入坐标系转换方程求得激光雷达坐标系与相机坐标系之间的转换关系;对于单线激光雷达逐次调整标定板高度,分时获取更多特征点对信息,最终完成标定。
其中,步骤S4中的具体判断方法如下:
a)|M1M2|≤2L且7L<|M2M3|≤9L,表明扫描线在从上往下数第二行格子;
b)2L<|M1M2|≤4L且5L<|M2M3|≤7L,表明扫描线在从上往下数第三行;
c)4L<|M1M2|≤6L且3L<|M2M3|≤5L,表明扫描线在从上往下数第四行;
d)|M1M2|≤2L且5L<|M2M3|≤7L,表明扫描线在从上往下数第六行;
e)2L<|M1M2|≤4L且3L<|M2M3|≤5L,表明扫描线在从上往下数第七行;
f)4L<|M1M2|≤6L且L<|M2M3|≤3L,表明扫描线在从上往下数第八行。
其中,步骤S7中M1、M2、M3、M4 4点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系包括共线关系以及各点在斜边两个临近角点间的距离分隔比。
与现有技术相比,本发明的技术方案所带来的有益效果是:
1.本发明通过在黑白棋盘格上建立具有深度信息的结构设计了一种可应用于激光雷达与相机联合标定的标定装置,相比于现在存在的各种标定板,综合考虑了图像处理过程中对于角点的高敏感度以及激光雷达数据处理时对于深度信息的高敏感度,可以快速实现激光雷达坐标系与相机坐标系之间的统一。
2.本发明提出了针对本标定装置的标定方法,通过直线拟合求解突变点在激光雷达坐标系下坐标,利用角点坐标与突变点坐标的共线、比例关系求解突变点在像素坐标系下的坐标,降低人工误差与随机误差,提高标定结果的准确性。
3.本发明实用性强、适用性广且安装简单,主要体现在:既可应用于单线激光雷达与相机的联合标定又可应用于多线激光雷达与相机的联合标定,又因本标定装置保留了黑白棋盘格的布局,也可用于单目相机与双目相机的标定;采用可调高度的支架固定的方式,方便应用于不同高度的标定情况;利用三角形形状进行特征点确定,三角形从上到下由小变大的结构使标定板适用于不同分辨率的激光雷达及相机;本标定装置结构简单,各部分均可通过现有板材通过喷涂、裁剪、弯压等操作快速成型,且各部分之间通过螺钉螺母连接,组装拆卸方便快捷,便于存放。
附图说明
图1是本发明标定装置中的标定板部分及标定板坐标系建立示意图;
图2是本发明标定装置中的空心四面体挡板裁切图与立体结构图;
图3是本发明标定装置中标定板与空心四面体挡板连接后侧视示意图;
图4是本发明标定装置中的支架结构示意图;
图5是本发明标定装置中的支架侧视示意图;
图6是本发明标定装置组装后的立体效果示意图;
图7是本发明标定方法中激光雷达扫描数据模拟图(以单扫描线为例);
图8是本发明标定方法中特征点直角坐标系坐标计算模拟图(以单扫描线为例);
图9是本发明标定方法中特征点图像像素坐标计算模拟图(以单扫描线为例)。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明是一种用于激光雷达与相机联合标定的标定装置及其标定方法,其标定装置包括同时存在深度信息以及角点信息的标定板、空心四面体挡板以及支架,标定方法即利用“拟合插值法”寻找特征点对进行激光雷达与相机联合标定的标定方法。
其中,标定装置中标定板为高宽比为1:2的矩形板,如图1所示,标定板中心设有十字标志,以十字标志为中心生成边长为L的正方形,以该正方形为对称中心拓展生成为9×17个黑白相间的正方形格子部分100,标定板左右两侧各有宽度为L/2的标定板固定处101,以最左下方的正方形的左下顶点为原点O,向右为X轴正方向,向上为Y轴正方向,建立标定板坐标系,坐标系单位长度为L,则各正方形格子的顶点从左到右,从下到上依次可表示为:(0,0),(0,1),(0,2)......(0,17);(1,0),(1,1),(1,2)......(1,17),···(9,0),(9,1),(9,2)......(9,17)。其中,标定板上设置4个等腰直角三角形Ti(i=1,2,3,4)并将上述等腰三角形位置打通形成三角形空洞,三角形空洞的顶点坐标分别为:A1(4,8)、B1(1,5)、C1(7,5),A2(13,8)、B2(10,5)、C2(16,5),A3(5,4)、B3(2,1)、C3(8,1),A4(12,4)、B4(9,1)、C4(15,1),各等腰直角三角形直角腰长为底边长为6L;
具体特殊设计的空心四面体挡板连接在上述的三角形空洞后面,即向后突起,空心四面体挡板的底面与三角形空洞等大(即直角边长为斜边长为6L),其中两个侧面均为正三角形(边长为);
具体的空心四面体挡板采用如下方式制作安装:该空心四面体挡板可由长为宽为的长方形板裁切弯压而成,裁切部分分别为以BD和CD为斜边、直角边为的长方形左下角与右下角以及以EF和GI为斜边、直角边为的长方形左上角与右上角;沿AB、AD、AC进行板材弯压,弯压后的挡板分可为突起部分102与非突起部分103(如图2右侧示图),突起部分与标定板构成四面体状,即空心四面体挡板突起部分非公共的两条边(即图2右侧视图中的AB、AC)与三角形空洞的两条直角边(即图1中的AiBi、AiCi,其中i=1,2,3,4)完全贴合,此时,固定该挡板后,正视该标定板无空洞出现;空心四面体挡板突起部分两侧各有一个非突起部分,各非突起部分打有两个通孔即H1、H2、H3、H4,在标定板对应位置打上通孔后可利用螺丝104与螺母105可将空心四面体挡板固定在标定板上,固定后侧视图如图3所示,其中右侧为正面,左侧为背面;
标定板采用左右两个宽为L/2的支架108固定,如图4所示,支架均采用棱台106作为底座,支架108上设置有固定凹槽,固定凹槽的宽度与标定板厚度相匹配,支架从上到下等间距的设置有前后贯通的通孔107,通孔107下方标有相对位置标记,棱台与支架通过螺钉连接固定,侧视图如图5所示,使用时应将标定板插在左右支架的凹槽内,通过在不同高度的通孔处插入阻隔棒(如图4中109)可以调整标定板的高度,阻隔棒上打有螺纹,插入后可在对侧使用螺母(如图4中110)固定,整体组装效果图如图6所示;
对应上述标定板,利用“拟合插值法”寻找特征点对进行激光雷达与相机联合标定的标定方法,具体如下:
步骤S1:调整标定板的位置和高度,使之与激光雷达、相机的视场角及分辨率相匹配,标定板主体高度应保证标定板主体中心十字标志与激光雷达中心高度大体相当;
步骤S2:使用激光雷达扫描该标定板,同时使用相机拍照;
步骤S3:根据标定板结构,激光雷达一条扫描线将会存在6个距离的突变点,如图7所示,该6个点在激光雷达坐标系下的坐标可以通过点云直线拟合后求交点得知,选取扫描线与标定板上直角三角形直角边相交的的4个距离突变点作为特征点,从左至右依次记为M1、M2、M3、M4,如图8所示;
步骤S4:根据步骤S3中直线拟合后求得的交点坐标可以得到|M1M2|、|M2M3|、|M3M4|,根据其距离值组合可判断扫描线的位置区域,具体判断方法如下:
a)|M1M2|≤2L且7L<|M2M3|≤9L,表明扫描线在从上往下数第二行格子;
b)2L<|M1M2|≤4L且5L<|M2M3|≤7L,表明扫描线在从上往下数第三行;
c)4L<|M1M2|≤6L且3L<|M2M3|≤5L,表明扫描线在从上往下数第四行;
d)|M1M2|≤2L且5L<|M2M3|≤7L,表明扫描线在从上往下数第六行;
e)2L<|M1M2|≤4L且3L<|M2M3|≤5L,表明扫描线在从上往下数第七行;
f)4L<|M1M2|≤6L且L<|M2M3|≤3L,表明扫描线在从上往下数第八行;
步骤S5:根据上文所述的标定板坐标系,每个等腰直角三角形的边都有其对应的直线方程,那么对于M1点假设其X坐标为xm1,根据直线方程及M1点所在行数(即当前扫描线所在行数)即可求得其Y坐标ym1=f(xm1)具体如下:
假设根据步骤S4得出,2L<|M1M2|≤4L且3L<|M2M3|≤5L,即扫描线扫描到第七行,则M1点所在直线为y=x-L,则M1点的坐标为(xm1,xm1-L);同理M2点坐标为(xm2,-xm2+9L),M3点坐标为(xm3,xm3-8L),M4点坐标为(xm4,-xm4+16L);
步骤S6:根据上述4点坐标、距离值及共线条件,即可求解出以上四点在直角坐标系中的坐标,具体求解方式如下:
设|M1M2|=l1、|M3M4|=l2,则有
步骤S7:通过处理相机拍摄的图像获得标定板各个角点在像素坐标系下的坐标,最后结合M1、M2、M3、M44点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系(共线关系以及各点在斜边两个临近角点间的距离分隔比)即可求解得到M1、M2、M3、M44点的像素坐标,具体求解如下:
如图9所示,设在标定板坐标系中M1点所在斜边对应的角点M1’、M1”及M1点的坐标分别为(x'm1,y'm1)(x”m1,y”m1)(xm1,ym1),像素坐标系中上述3点坐标分别为(u1,v1)(u2,v2)(u,v),则有
步骤S8:通过上述步骤可以获得4组特征点分别在激光雷达坐标系下的坐标与对应的图像像素坐标系下的坐标,对于多线激光雷达假设雷达线数为n(n≥2),将获得4n组特征点(4n≥5),将各特征点坐标带入坐标系转换方程(3)即可求得激光雷达坐标系与相机坐标系之间的转换关系(即求解转换矩阵);对于单线激光雷达由于一次扫描无法获得足够多特征点对的情况,可逐次调整标定板高度量,分时获取足够的特征点对信息。
式(3)中,(Xn,Yn,Zn)为特征点在激光雷达坐标系下的坐标,(un,vn)为特征点在对应的图像像素坐标系下的坐标,n为获取的特征点个数,参数m构成的3×4矩阵为转换矩阵。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案,上述的具体实施方式仅仅是示意性的,并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下,本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换,这些均属于本发明的保护范围之内。

Claims (6)

1.一种用于激光雷达与相机联合标定的标定装置,其特征在于,所述标定装置包括标定板、空心四面体挡板和支架,所述标定板上设置有深度信息和角点信息;
所述标定板由高宽比为1:2的矩形板构成,标定板的正面绘制有9×17个黑白相间的正方形格子,所述正方形格子的边长为L,标定板的中心设置有十字标志;标定板的左右两侧分别设置有宽度为L/2的标定板固定处,以最左下方的正方形格子的左下顶点为原点O,向右为X轴正方向,向上为Y轴正方向,建立标定板坐标系,坐标系单位长度为L,则各正方形格子的顶点坐标从左到右,从下到上依次表示为:(0,0),(0,1),(0,2)......(0,17);(1,0),(1,1),(1,2)......(1,17),···(9,0),(9,1),(9,2)......(9,17);所述标定板中设置有四个等腰直角三角形Ti(i=1,2,3,4),且四个等腰直角三角形位置打通形成有三角形空洞,位于标定板正面的三角形空洞的顶点坐标分别为:(1,5)(4,8)(7,5)、(10,5)(13,8)(16,5)、(2,1)(5,4)(8,1)及(9,1)(12,4)(15,1),各三角形空洞均满足腰长为底边长为6L;
所述空心四面体挡板由两个边长为的正三角形板构成,空心四面体挡板分别安装于各三角形空洞背面,空心四面体挡板的底面与三角形空洞等大,即直角边长为斜边长为6L;
所述支架相对称的设置于所述标定板的两侧用于固定标定板,支架的宽为L/2,支架的底部设置有底座,支架上设置有固定凹槽,所述固定凹槽的宽度与标定板的厚度相匹配,所述支架从上到下等间距的设置有前后贯通的通孔,所述通孔下方设置有位置标记,通过在不同高度的通孔内插入阻隔棒以调整标定板的高度。
2.根据权利要求1所述一种用于激光雷达与相机联合标定的标定装置,其特征在于,所述底座为棱台形结构,所述底座和支架通过螺钉连接固定;所述阻隔棒上设有螺纹,插入通孔后可通过对侧使用螺母进行固定。
3.根据权利要求1所述一种用于激光雷达与相机联合标定的标定装置,其特征在于,空心四面体挡板采用以下方式制作安装:
所述空心四面体挡板由长为宽为的长方形板裁切弯压而成,裁切部分分别为直角边为的长方形左下角与右下角以及直角边为的长方形左上角与右上角;弯压后产生的空心四面体挡板分为突起部分与非突起部分,突起部分与标定板构成四面体状,即空心四面体挡板突起部分非公共的两条边与三角形空洞的两条直角边完全贴合,将空心四面体挡板固定在三角形空洞后,正视标定板无空洞出现;空心四面体挡板突起部分两侧各有一个非突起部分,各非突起部分设有两个通孔,在标定板对应位置打上通孔后可利用螺丝与螺母可将空心四面体挡板固定在标定板上。
4.一种用于激光雷达与相机联合标定的标定方法,基于权利要求1所述的标定装置,其特征在于,该方法通过“拟合插值法”寻找特征点对进行激光雷达与相机联合标定,具体包括以下步骤:
步骤S1:调整标定板的位置和高度,使标定板与激光雷达、相机的视场角及分辨率相匹配,标定板高度设置应保证标定板主体中心十字标志与激光雷达中心高度一致;
步骤S2:使用激光雷达扫描标定板正面,同时使用相机拍照;
步骤S3:根据标定板结构,激光雷达一条扫描线将会存在6个距离的突变点,通过点云直线拟合求得上述6个突变点在激光雷达坐标系下的交点坐标,选取扫描线与标定板上直角三角形直角边相交的4个距离突变点作为特征点,从左至右依次标记为M1、M2、M3、M4
步骤S4:根据步骤S3中直线拟合求得的交点坐标可计算得到|M1M2|、|M2M3|、|M3M4|,根据上述距离值组合判断扫描线的位置区域;
步骤S5:根据标定板坐标系,每个等腰直角三角形的边都有对应的直线方程,对于M1点假设其X坐标为xm1,根据直线方程及M1点所在行数,即当前扫描线所在行数,求得其Y坐标ym1=f(xm1);同理应用于M2、M3、M4点,将每个点坐标统一至只存在单未知数;
步骤S6:根据上述4点坐标、距离值及共线条件,求解出以上4点在直角坐标系中的坐标,具体求解方式如下:
设各点坐标为M1(xm1,ym1)、M2(xm2,ym2)、M3(xm3,ym3)、M4(xm4,ym4),|M1M2|=l1、|M3M4|=l2,则有
步骤S7:通过处理相机拍摄的图像获得标定板各个角点在像素坐标系下的坐标,最后结合M1、M2、M3、M4 4点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系,求解得到M1、M2、M3、M44点的像素坐标,具体求解如下:
设在标定板坐标系中M1点所在斜边对应的角点M1’、M1”及M1点的坐标分别为(x'm1,y'm1)(x”m1,y”m1)(xm1,ym1),像素坐标系中上述3点坐标分别为(u1,v1)(u2,v2)(u,v),则有
步骤S8:通过上述步骤获得4组特征点分别在激光雷达坐标系下的坐标与对应像素坐标系下的坐标,对于多线激光雷达假设雷达线数为n(n≥2),将获得4n组特征点(4n≥5),将特征点坐标代入坐标系转换方程求得激光雷达坐标系与相机坐标系之间的转换关系;对于单线激光雷达逐次调整标定板高度,分时获取更多特征点对信息,最终完成标定。
5.根据权利要求4所述一种用于激光雷达与相机联合标定的标定方法,其特征在于,步骤S4中的具体判断方法如下:
a)|M1M2|≤2L且7L<|M2M3|≤9L,表明扫描线在从上往下数第二行格子;
b)2L<|M1M2|≤4L且5L<|M2M3|≤7L,表明扫描线在从上往下数第三行;
c)4L<|M1M2|≤6L且3L<|M2M3|≤5L,表明扫描线在从上往下数第四行;
d)|M1M2|≤2L且5L<|M2M3|≤7L,表明扫描线在从上往下数第六行;
e)2L<|M1M2|≤4L且3L<|M2M3|≤5L,表明扫描线在从上往下数第七行;
f)4L<|M1M2|≤6L且L<|M2M3|≤3L,表明扫描线在从上往下数第八行。
6.根据权利要求4所述一种用于激光雷达与相机联合标定的标定方法,其特征在于,步骤S7中M1、M2、M3、M4 4点以及以上4点所在斜边对应的角点在直角坐标系中的坐标的对应关系包括共线关系以及各点在斜边两个临近角点间的距离分隔比。
CN201910649299.6A 2019-07-18 2019-07-18 一种用于激光雷达与相机联合标定的标定装置及标定方法 Active CN110322519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910649299.6A CN110322519B (zh) 2019-07-18 2019-07-18 一种用于激光雷达与相机联合标定的标定装置及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910649299.6A CN110322519B (zh) 2019-07-18 2019-07-18 一种用于激光雷达与相机联合标定的标定装置及标定方法

Publications (2)

Publication Number Publication Date
CN110322519A true CN110322519A (zh) 2019-10-11
CN110322519B CN110322519B (zh) 2023-03-31

Family

ID=68123861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910649299.6A Active CN110322519B (zh) 2019-07-18 2019-07-18 一种用于激光雷达与相机联合标定的标定装置及标定方法

Country Status (1)

Country Link
CN (1) CN110322519B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN111060132A (zh) * 2019-11-29 2020-04-24 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111207671A (zh) * 2020-03-03 2020-05-29 上海御微半导体技术有限公司 位置标定方法和位置标定装置
CN111366912A (zh) * 2020-03-10 2020-07-03 上海西井信息科技有限公司 激光传感器与摄像头标定方法、系统、设备及存储介质
CN112859022A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN113446933A (zh) * 2021-05-19 2021-09-28 浙江大华技术股份有限公司 用于多三维传感器的外参标定方法、装置和系统
WO2021226774A1 (zh) * 2020-05-11 2021-11-18 深圳中科飞测科技有限公司 转换关系的获取方法、检测设备及检测方法
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
CN114777668A (zh) * 2022-04-12 2022-07-22 新拓三维技术(深圳)有限公司 一种桌面式弯管测量方法及装置
CN116883515A (zh) * 2023-09-06 2023-10-13 菲特(天津)检测技术有限公司 光学环境调整方法及光学标定装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN105445721A (zh) * 2015-12-15 2016-03-30 中国北方车辆研究所 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
US20160140713A1 (en) * 2013-07-02 2016-05-19 Guy Martin System and method for imaging device modelling and calibration
WO2017056473A1 (ja) * 2015-09-29 2017-04-06 日本電気株式会社 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
CN108596979A (zh) * 2018-03-27 2018-09-28 深圳市智能机器人研究院 一种用于激光雷达和深度相机的标定装置和方法
WO2018182538A1 (en) * 2017-03-31 2018-10-04 Agency For Science, Technology And Research Systems and methods that improve alignment of a robotic arm to an object
US20180315214A1 (en) * 2017-04-27 2018-11-01 Sick Ag Method of calibrating a camera and a laser scanner
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院(吴江) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109061610A (zh) * 2018-09-11 2018-12-21 杭州电子科技大学 一种摄像头与雷达的联合标定方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
US20190011542A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for measuring angular resolution of multi-beam lidar
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN109919893A (zh) * 2019-03-20 2019-06-21 湖北亿咖通科技有限公司 点云修正方法、装置和可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140713A1 (en) * 2013-07-02 2016-05-19 Guy Martin System and method for imaging device modelling and calibration
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
WO2017056473A1 (ja) * 2015-09-29 2017-04-06 日本電気株式会社 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
CN105445721A (zh) * 2015-12-15 2016-03-30 中国北方车辆研究所 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
WO2018182538A1 (en) * 2017-03-31 2018-10-04 Agency For Science, Technology And Research Systems and methods that improve alignment of a robotic arm to an object
US20180315214A1 (en) * 2017-04-27 2018-11-01 Sick Ag Method of calibrating a camera and a laser scanner
US20190011542A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for measuring angular resolution of multi-beam lidar
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN108596979A (zh) * 2018-03-27 2018-09-28 深圳市智能机器人研究院 一种用于激光雷达和深度相机的标定装置和方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院(吴江) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN109061610A (zh) * 2018-09-11 2018-12-21 杭州电子科技大学 一种摄像头与雷达的联合标定方法
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109919893A (zh) * 2019-03-20 2019-06-21 湖北亿咖通科技有限公司 点云修正方法、装置和可读存储介质
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
QILONG ZHANG: "《Extrinsic calibration of a camera and laser range finder(improves camera calibration)》", 《PROCEEDING OF 2004 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
刘大学等: "一种单线激光雷达和可见光摄像机的标定方法", 《华中科技大学学报(自然科学版)》 *
杨力,刘俊毅,王延长,刘济林: "《基于全景相机和全向激光雷达的致密三维重建》", 《浙江大学学报(工学版)》 *
程金龙等: "车载激光雷达外参数的标定方法", 《光电工程》 *
董方新,蔡军,解杨敏: "《立体视觉和三维激光系统的联合标定方法》", 《仪器仪表学报》 *
贾子永等: "基于梯形棋盘格的摄像机和激光雷达标定方法", 《计算机应用》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN111060132A (zh) * 2019-11-29 2020-04-24 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111207671A (zh) * 2020-03-03 2020-05-29 上海御微半导体技术有限公司 位置标定方法和位置标定装置
CN111207671B (zh) * 2020-03-03 2022-04-05 合肥御微半导体技术有限公司 位置标定方法和位置标定装置
CN111366912A (zh) * 2020-03-10 2020-07-03 上海西井信息科技有限公司 激光传感器与摄像头标定方法、系统、设备及存储介质
WO2021226774A1 (zh) * 2020-05-11 2021-11-18 深圳中科飞测科技有限公司 转换关系的获取方法、检测设备及检测方法
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
JP7072759B2 (ja) 2020-08-28 2022-05-23 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
CN112859022A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN112859022B (zh) * 2021-01-22 2023-08-18 上海西井科技股份有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN113446933A (zh) * 2021-05-19 2021-09-28 浙江大华技术股份有限公司 用于多三维传感器的外参标定方法、装置和系统
CN114777668A (zh) * 2022-04-12 2022-07-22 新拓三维技术(深圳)有限公司 一种桌面式弯管测量方法及装置
CN114777668B (zh) * 2022-04-12 2024-01-16 新拓三维技术(深圳)有限公司 一种桌面式弯管测量方法及装置
CN116883515A (zh) * 2023-09-06 2023-10-13 菲特(天津)检测技术有限公司 光学环境调整方法及光学标定装置
CN116883515B (zh) * 2023-09-06 2024-01-16 菲特(天津)检测技术有限公司 光学环境调整方法及光学标定装置

Also Published As

Publication number Publication date
CN110322519B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN110322519A (zh) 一种用于激光雷达与相机联合标定的标定装置及标定方法
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN107886547B (zh) 一种鱼眼相机标定方法及系统
CN110008779B (zh) 一种立体二维码处理方法及装置
JP2005308553A (ja) 三次元画像計測装置及び方法
JP2000516360A (ja) 三次元物体モデル化装置及び方法
CN109029299A (zh) 舱段销孔对接转角的双相机测量装置及测量方法
JP2009042162A (ja) キャリブレーション装置及びその方法
CN110163918A (zh) 一种基于射影几何的线结构光标定方法
CN108759669A (zh) 一种室内自定位三维扫描方法及系统
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN112927302A (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN108830921A (zh) 基于入射角度的激光点云反射强度纠正方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN109360144A (zh) 一种基于手机平台的图像实时校正改进方法
CN116051659A (zh) 一种线阵相机与2d激光扫描仪联合标定方法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN107958489B (zh) 一种曲面重建方法及装置
CN111145246B (zh) 一种足型扫描的方法和系统
CN103876706B (zh) 检眼镜中的改进以及与检眼镜相关的改进
CN115239801B (zh) 一种对象定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant