CN110823252B - 一种多线激光雷达和单目视觉的自动标定方法 - Google Patents

一种多线激光雷达和单目视觉的自动标定方法 Download PDF

Info

Publication number
CN110823252B
CN110823252B CN201911076157.1A CN201911076157A CN110823252B CN 110823252 B CN110823252 B CN 110823252B CN 201911076157 A CN201911076157 A CN 201911076157A CN 110823252 B CN110823252 B CN 110823252B
Authority
CN
China
Prior art keywords
laser
calibration plate
calibration
data
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911076157.1A
Other languages
English (en)
Other versions
CN110823252A (zh
Inventor
庄严
郭欣桐
闫飞
何国健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911076157.1A priority Critical patent/CN110823252B/zh
Publication of CN110823252A publication Critical patent/CN110823252A/zh
Application granted granted Critical
Publication of CN110823252B publication Critical patent/CN110823252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种多线激光雷达和单目视觉的自动标定方法，属于无人系统及自主机器人的多传感器环境感知技术领域。本发明设计了一种正六边形标定板，标定板相邻边界成固定角度与其内部六个角内嵌的6个黑色的小正六边形保证了激光和视觉角点的准确提取。标定时首先构建正六边形标定板并采集标定数据；然后提取标定板的多线激光雷达角点信息；之后提取正六边形标定板的图像角点信息，从而与标定板多线激光角点形成6组匹配对；最后迭代计算多线激光雷达数据到二维视觉图像数据间的变换关系，完成外参信息完成标定。该标定方法实现了稀疏激光数据与图像数据特征角点提取与匹配的自动化和一体化，从而为多传感器数据融合奠定基础。

Description

一种多线激光雷达和单目视觉的自动标定方法
技术领域
本发明属于无人系统及自主机器人的多传感器环境感知技术领域，涉及一种 多线激光雷达和单目视觉的自动标定的方法。
背景技术
随着无人系统及自主机器人技术的快速发展，单纯的依靠三维激光雷达或者 单目视觉等单一传感器已经无法完成无人系统及自主机器人在复杂环境中的自 主感知与场景理解工作，更无法完成高精度的同时定位与地图构建，因此三维激 光雷达与视觉传感器之间的有效数据融合是提高其自主感知与场景理解能力的 前提。在实际应用中，通常三维激光雷达与单目视觉之间的空间位置已经固定， 对两种传感器进行自动标定就是获取两者之间的精确坐标关系。
文献(Zhuang,Yan,Yan,Fei,Hu,Huosheng.Automatic Extrinsic Self-Calibration for Fusing Data from Monocular Vision and 3-D Laser Scanner[J],IEEE TransactionsonInstrumentationandMeasurement, 2014,63(7):1874-1876)提出了一种三维激光系统与单目视觉之间的标定方法。该 标定方法所采集的激光点云数据是由二维激光雷达高精度旋转所生成的稠密三 维点云数据，稠密的激光数据可以很方便的找到标定板中镂空圆孔的中心进而可 计算出标定板角点。该方法无法应用到由多线激光雷达和单目视觉之间的联合标 定，这是因为多线激光雷达的点云数据稀疏，无法准确获得足够多的点云数据来 确定标定板镂空圆孔中心。
文献(Guindel C,Beltrán J,Martín D,et al.Automatic extrinsiccalibration for lidar-stereo vehicle sensor setups[C]//2017IEEE 20thInternational Conference on Intelligent Transportation Systems(ITSC).IEEE,2017:674–679.)提出了一种多线 激光雷达与双目视觉的标定方法，该方法所采用的标定版是一个含有四个圆孔的 标定板。双目视觉采集的双目图像生成了基于视差的点云数据，将其与激光采集 的点云数据进行匹配进而获得相对位置关系。但是该方法使用的是双目摄像头， 而单目摄像头无法生成基于视差的点云数据，因此该方法无法完成多线激光雷达与单目摄像头的标定工作。
文献(Unnikrishnan R,Hebert M.Fast extrinsic calibration of a laserrangefinder to a camera[J].Robotics Institute,Pittsburgh,PA,Tech.Rep.CMU-RI-TR-05-09, 2005)提出了一种稠密激光点云数据与单目视觉的标定方法。在处理激光点云数 据时，由于平面特征的提取有很大的不确定性，所以需要手动选出激光点云数据 中的标定平面。但是手动选择平面使得标定过程无法自动完成，且每次标定都需 要人为辅助，降低了实际应用中三维激光雷达与单目视觉联合标定方法的易用性。
发明内容
为了实现多线激光雷达获取的稀疏点云数据与单目视觉图像之间的自动化 联合标定，本发明提出了基于正六边形标定板的多线激光雷达和单目视觉之间的 自动标定方法。由于激光扫描到正六边形标定板边缘会产生测距突变，因此利用 算法可自动提取投射到标定板上的三维点云数据。通过对标定板上三维点云数据 的处理，并利用正六边形相邻边界直线呈固定角度相交的特性，可以计算出正六 边形标定板的六条边界线，进而拟合出完整的正六边形，得到六边形标定板六个 角点的三维空间坐标。再利用图像特征提取出单目视觉图像中标定板六个角点的 像素二维坐标点，从而获取由标定板角点三维空间坐标与对应二维图像像素坐标 组成的6组匹配对，然后通过求解匹配对之间的变换关系，进而完成自动标定工 作。
本发明的技术方案：
一种多线激光雷达和单目视觉的自动标定方法，利用正六边形相邻边界直线 成固定角度相交和激光扫描到标定板边界产生测距突变的特性，通过多线激光雷 达数据与图像数据的匹配关系求出其坐标系之间的变换关系，其具体步骤如下：
步骤一、正六边形标定板构建及标定数据采集
(1.1)物理正六边形标定板的构建
构造边长为a的白色正六边形高反射率标定板，在标定板的六个角构分别构 造边长为a/4的黑色正六边形用来提取单目摄像头所采集图像的角点特征，制作 好的标定板如图1所示。
(1.2)多线激光雷达点云数据和单目视觉图像数据的采集
选取一个开阔且光线良好的环境，使用由多线激光雷达与单目摄像头所组成 的环境数据采集设备，同时完成激光点云与视觉图像数据的采集。多线激光雷达 的前向为X轴、左向为Y轴、垂直向上为Z轴；单目摄像头的右向为X轴、垂直 向下为Y轴、前向为Z轴。环境数据采集设备获得不同视角下的多组数据，采集 环境数据时要确保落在标定板上半部分和下半部分的激光线条数分别为4条以上， 并且标定板需要完整的呈现在图像内。
步骤二、提取标定板的多线激光雷达角点信息
(2.1)首先根据标定板在激光数据中的位置阈值，将标定板的激光数据从整 幅数据中单独提取出。然后利用平面拟合算法拟合出标定板平面，使用随机抽样 一致算法RANSAC剔除标定板激光数据的局外点，并拟合出标定板所在平面的 平面方程，平面方程如公式(1)所示，其中A，B，C，D为平面参数。
Ax+By+Cz+D＝0 (1)
(2.2)标定板平面多线激光雷达数据预处理
对(2.1)得到的平面信息，将标定板平面内点投影到公式(1)所表示的标 定板平面上，设标定板平面一个内点P0的坐标为(x0,y0,z0)，投影到平面后的点Pp坐 标为(xp,yp,zp)，根据直线PpP0与平面Ax+By+Cz+D＝0垂直，可得投影点Pp坐标的 计算公式如下：
Figure BDA0002262511440000041
将所有的标定板平面内点都投影到公式(1)所表示的标定板拟合平面后，将激 光点按其Z轴数值的大小从小到大进行排序。排序后按照Z轴数值的变化率将激 光线分成多条激光线，并根据每条激光线上激光点数目的多少剔除激光点数目少 于w的错误激光线。遍历正确的激光线，设一条激光线上第n个点的X,Z轴坐标 分别为xn,zn，根据公式(3)剔除明显错误的激光点，剔除后将第j条激光线的第 i个激光点的z轴数值zi,j按公式(4)取平均值后作为第j条激光线所有激光点的Z 轴坐标数值，最后得到预处理后的激光线line{j},j＝1,2,…m，m为激光线条数。
Figure BDA0002262511440000042
Figure BDA0002262511440000043
(2.3)拟合落在标定平面上的激光线
对(2.1)预处理后得到的每条激光线line{j},j＝1,2,…,m做最小二乘拟合，求出每条拟合直线的方向向量
Figure BDA0002262511440000051
由于多线激光雷达扫描到的激光线都是 互相平行的，故按公式(5)对拟合后的所有的激光线的方向向量求均值，将所 有激光线的方向向量统一到公式(5)所求得的方向向量，统一激光线的方向向 量后根据每条激光线的X轴左右边界(xmin,xmax)拟合出每条激光线的方程如公式(6) 所示，其中Q，W，E为直线参数，其中hj为当前激光线的高度，拟合后的结果 如图3所示。通过拟合好的直线可以求出该直线的左右边界点Pleft,j,Pright,j，并根据 求出该直线的长度Lj＝|Pleft,jPright,j|。根据正六边形的性质，已知直线长度，通过公 式(7)可以求出该直线到正六边形中心点的距离Hj，根据激光线到正六边形中 心点的距离Hj和激光线之间的间距ΔH，进一步判断出该激光线在正六边形的上 半部分还是下半部分。
Figure BDA0002262511440000052
Qjx+Wjy+Ejz＝0,xmin＜x＜xmax,z＝hj (6)
Figure BDA0002262511440000053
(2.4)拟合激光数据的正六边形标定板边界线
对(2.3)得到的具体的激光线信息，可以求出落在标定板左上、右上、右下、 左下四条边(顺时针方向)的边界点，设这四条直线分别为L1,L2,L3,L4，根据正六 边形性质，其六条边满足条件：L1,L2夹角为60度，L1,L3平行，L1,L4夹角为120 度。设第k条直线的方程为Lk:Mkx+Nky+Pkz＝0，则四条直线满足条件如公式(8) 所示，其中cos＜L1,L2＞，cos＜L1,L3＞，cos＜L1,L4＞分别为直线L1,L2，L1,L3，L1,L4夹 角的余弦值。
Figure BDA0002262511440000061
在满足公式(8)条件下，根据落在标定板上的每条激光线的左右边界点Pleft,j,Pright,j使用最小二乘拟合出四条直线。拟合出L1,L2,L3,L4四条直线后，根据L1,L4交点和 L2,L3交点求出正六边形的左右边界点P6,P3，并根据L1,L2,L3,L4与正六边形边长a求 出正六边形的六个点P1,P2,P3,P4,P5,P6的坐标(从左上角开始顺时针排列)，即获得 标定板的多线激光雷达角点坐标数据Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6，多线激光雷达 数据角点提取结果如图3所示。
步骤三、提取正六边形标定板的图像角点信息
(3.1)单目摄像机标定及图像预处理
首先使用张正友标定法对相机进行内参数及畸变参数的标定，获得相机的内 参数fx,fy,cx,cy及畸变参数k,p1,p2。设[x,y]T为归一化平面点的坐标，[x′,y′]T为畸变 后点的坐标，[x′,y′]T可以由公式(9)求出。设r为点与坐标系原点的距离，则去 畸变后的点在图像上的正确位置(u,v)如公式(10)所示。
Figure BDA0002262511440000062
Figure BDA0002262511440000063
(3.2)标定板图像数据处理
对步骤(3.1)得到的标定板预处理后的图像数据进行色彩空间转换处理，即 将标定板图的色彩空间由RGB转成HSV色彩空间。RGB色彩空间的R为红色，G为绿色，B为蓝色；HSV颜色空间的H为色调，S为饱和度，V为明度。首先 按公式(11)中的方法将标定板图像转为HSV颜色空间。
Figure BDA0002262511440000071
然后按照公式(12)确定标定板所在的区域，其中α、β、γ为颜色阈值，将图像 进行二值化处理，符合条件的区域置为255，其余区域置为0。
Figure BDA0002262511440000072
确定标定板所在区域后，接着删除面积小于阈值S的明显错误的区域进一步 提高区域精度。然后按照公式(13)确定标定板所在的高精度图像区域，其中 mid_row、mid_col为标定板中心所在的行和列，rowmin、rowmax为确定的图像行范 围，colmin、colmax为确定的图像列范围，round()表示将括号内的数值进行四舍五入， τ1,τ2为确定图像区域的阈值，然后将标定板区域从原图像中提取出来，提取后标 定板所在区域的二值化图像如图4所示。
Figure BDA0002262511440000073
(3.4)获得标定板顶点像素坐标
对处理好的图像提取Harris角点，并按照位置进行排序，得到六边形的顶点 像素坐标xi＝(ui,vi,1)T,i＝1,2,3,4,5,6。
步骤四、多线激光雷达数据到二维视觉图像数据间变换关系的迭代计算
对步骤二得到的标定板多线激光雷达角点Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6和步骤 三得到的对应的图像点xi＝(ui,vi,1)T,i＝1,2,3,4,5进行处理，获得其对应的点对(Pi,xi)。通过对采集的多组数据进行处理，可以获得N个点对(Pi,xi),i＝1,2,…,N， 然后求解3D点到2D点的变换。
定义旋转平移矩阵
Figure BDA0002262511440000081
则Pi,xi满足公式(14)。
Figure BDA0002262511440000086
利用公式(14)消去参数s，可以得到公式(15)
Figure BDA0002262511440000083
设(R|t)的行向量t1＝(t1,t2,t3,t4)T,t2＝(t5,t6,t7,t8)T,t3＝(t9,t10,t11,t12)T，则有
Figure BDA0002262511440000084
对于N组对应的3D-2D配对点数据，则可以列出如下线性方程组，其中
Figure BDA0002262511440000085
为空间中的N个激光点。
Figure BDA0002262511440000091
求得方程(17)的最小二乘解即可求得多线激光雷达数据到二维视觉图像数 据间的变换关系即完成外参信息完成标定。
本发明的有益效果：本发明提出了一种多线激光雷达和单目视觉的自动标定 方法，该方法采用了正六边形标定板进行标定。标定板相邻边界成固定角度保证 了激光点云角点的准确提取，标定板内部的六个角分别内嵌了6个黑色的小正六 边形保证了视觉角点的准确提取。该标定方法实现了稀疏激光数据与图像数据特 征角点提取与匹配的自动化和一体化，从而为多传感器数据融合奠定基础。
附图说明
图1为制作好的标定板。
图2为标定板激光线拟合结果。
图3为激光角点提取结果。
图4为确定的二值化标定板所在区域。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
本方案选择分辨率为1280*1024的美国PointGrey公司生产的FlyCapture CM3-U3-13Y3M单目摄像头作为图像传感器。选择美国Velodyne公司生产的测 距范围为100m的三维16线激光雷达VLP-16作为激光测距传感器。该激光的三 维水平扫描角度范围为360°，水平方向具有0.1°～0.4°的角度分辨率；垂直方向测 量角度范围为30°(±15°)，垂直方向最多有16条激光线。每一帧激光数据最多 有30000个激光点，激光数据的频率为10赫兹。
一种三维多线和单目视觉的自动标定的方法，其步骤如下：
步骤一、正六边形标定板构建及标定数据采集
(1.1)物理正六边形标定板的构建
构造边长为44cm的白色正六边形高反射率标定板，在标定板的六个角构分 别构造边长为11cm的黑色正六边形用来提取单目摄像头所采集图像的角点特征， 制作好的标定板如图1所示。
(1.2)多线激光雷达点云数据和单目视觉图像数据的采集
选取一个开阔且光线良好的环境，使用环境数据采集设备，同时完成激光点 云与视觉图像数据的采集。多线激光雷达的前向为X轴、左向为Y轴、垂直向上 为Z轴；单目摄像头的右向为X轴、垂直向下为Y轴、前向为Z轴。环境数据采 集设备获得不同视角下的多组数据，采集环境数据时要确保落在标定板上半部分 和下半部分的激光线条数分别为4条以上，并且标定板需要完整的呈现在图像内。
所述的环境数据采集设备是由多线激光雷达、单目摄像头、微型计算机、供 电模组所组成的
步骤二、提取标定板的多线激光雷达角点信息
(2.1)首先根据标定板在激光数据中的位置阈值，将标定板的激光数据从整 幅数据中单独提取出。然后利用平面拟合算法拟合出标定板平面，使用随机抽样 一致算法RANSAC剔除标定板激光数据的局外点，并拟合出标定板所在平面的 平面方程，平面方程如公式(1)所示，其中A，B，C，D为平面参数。
Ax+By+Cz+D＝0 (1)
(2.2)标定板平面多线激光雷达数据预处理
对(2.1)得到的平面信息，将标定板平面内点投影到公式(1)所表示的标 定板平面上，设标定板平面一个内点P0的坐标为(x0,y0,z0)，投影到平面后的点Pp坐 标为(xp,yp,zp)，根据直线PpP0与平面Ax+By+Cz+D＝0垂直，可得投影点Pp坐标的 计算公式如下：
Figure BDA0002262511440000111
将所有的标定板平面内点都投影到公式(1)所表示的标定板拟合平面后，将激 光点按其Z轴数值的大小从小到大进行排序。排序后按照Z轴数值的变化率将激 光线分成多条激光线，并根据每条激光线上激光点数目的多少剔除激光点数目少 于20的错误激光线。遍历正确的激光线，假设一条激光线上第n个点的X,Z轴坐 标分别为xn,zn，根据公式(3)剔除明显错误的激光点，剔除后将第j条激光线的 第i个激光点的z轴数值zi,j按公式(4)取平均值后作为第j条激光线所有激光点 的Z轴坐标数值，最后得到预处理后的激光线line{j},j＝1,2,…m，m为激光线条数。
Figure BDA0002262511440000112
Figure BDA0002262511440000113
(2.3)拟合落在标定平面上的激光线
对(2.1)预处理后得到的每条激光线line{j},j＝1,2,…,m做最小二乘拟合，求出每条拟合直线的方向向量
Figure BDA0002262511440000114
由于多线激光雷达扫描到的激光线都是 互相平行的，故按公式(5)对拟合后的所有的激光线的方向向量求均值，将所 有激光线的方向向量统一到公式(5)所求得的方向向量，统一激光线的方向向 量后根据每条激光线的X轴左右边界(xmin,xmax)拟合出每条激光线的方程如公式(6) 所示，其中Q，W，E为直线参数，其中hj为当前激光线的高度，拟合后的结果 如图2所示。通过拟合好的直线可以求出该直线的左右边界点Pleft,j,Pright,j，并根据 求出该直线的长度Lj＝|Pleft,jPright,j|。根据正六边形的性质，已知直线长度，通过公 式(7)可以求出该直线到正六边形中心点的距离Hj，根据激光线到正六边形中 心点的距离Hj和激光线之间的间距ΔH，进一步判断出该激光线在正六边形的上 半部分还是下半部分。
Figure BDA0002262511440000121
Qjx+Wjy+Ejz＝0,xmin＜x＜xmax,z＝hj (6)
Figure BDA0002262511440000122
(2.4)拟合激光数据的正六边形标定板边界线
对(2.3)得到的具体的激光线信息，可以求出落在标定板左上、右上、右下、 左下四条边(顺时针方向)的边界点，假设这四条直线分别为L1,L2,L3,L4，根据正 六边形性质，其六条边满足条件：L1,L2夹角为60度，L1,L3平行，L1,L4夹角为120 度。设第k条直线的方程为Lk:Mkx+Nky+Pkz＝0，则四条直线满足条件如公式(8) 所示，其中cos＜L1,L2＞，cos＜L1,L3＞，cos＜L1,L4＞分别为直线L1,L2，L1,L3，L1,L4夹 角的余弦值。
Figure BDA0002262511440000131
在满足公式(8)条件下，根据落在标定板上的每条激光线的左右边界点Pleft,j,Pright,j使用最小二乘拟合出四条直线。拟合出L1,L2,L3,L4四条直线后，根据L1,L4交点和 L2,L3交点求出正六边形的左右边界点P6,P3，并根据L1,L2,L3,L4与正六边形边长 44cm求出正六边形的六个点P1,P2,P3,P4,P5,P6的坐标(从左上角开始顺时针排列)， 即获得标定板的多线激光雷达角点坐标数据Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6，多线激 光雷达数据角点提取结果如图3所示。
步骤三、提取正六边形标定板的图像角点信息
(3.1)单目摄像机标定及图像预处理
首先使用张正友标定法对相机进行内参数及畸变参数的标定，获得相机的内 参fx＝863.3370，fy＝864.1526，cx＝489.5333，cy＝243.3120，k＝-0.0902，p1＝0.0842， p2＝0.0037。设[x,y]T为归一化平面点的坐标，[x′,y′]T为畸变后点的坐标，[x′,y′]T可 以由公式(9)求出。设r为点与坐标系原点的距离，则去畸变后的点在图像上的 正确位置(u,v)如公式(10)所示。
Figure BDA0002262511440000132
Figure BDA0002262511440000133
(3.2)标定板图像数据处理
对步骤(3.1)得到的标定板预处理后的图像数据进行色彩空间转换处理，即 将标定板图的色彩空间由RGB转成HSV色彩空间。RGB色彩空间的R为红色， G为绿色，B为蓝色；HSV颜色空间的H为色调，S为饱和度，V为明度。首先 按公式(11)中的方法将标定板图像转为HSV颜色空间。
Figure BDA0002262511440000141
然后按照公式(12)大致确定标定板所在的区域，将图像进行二值化处理，符合 条件的区域置为255，其余区域置为0。
Figure BDA0002262511440000142
大致确定标定板所在区域后，接着删除面积小于阈值S的明显错误的区域进 一步提高区域精度。然后按照公式(13)确定标定板所在的高精度图像区域，其 中mid_row、mid_col为标定板中心所在的行和列，rowmin、rowmax为确定的图像行 范围，colmin、colmax为确定的图像列范围，round()表示将括号内的数值进行四舍五 入，τ1,τ2为确定图像区域的阈值，然后将标定板区域从原图像中提取出来，提取 后标定板所在区域的二值化图像如图4所示。
Figure BDA0002262511440000143
(3.4)获得标定板顶点像素坐标
对处理好的图像提取Harris角点，并按照位置进行排序，得到六边形的顶点 像素坐标xi′,i＝1,2,3,4,5,6。
步骤四、多线激光雷达数据到二维视觉图像数据间变换关系的迭代计算
对步骤二得到的标定板多线激光雷达角点Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6和步骤 三得到的对应的图像点xi＝(ui,vi,1)T,i＝1,2,3,4,5进行处理，获得其对应的点对(Pi,xi)。通过对采集的多组数据进行处理，可以获得N个点对(Pi,xi),i＝1,2,…,N， 然后求解3D点到2D点的变换。
定义旋转平移矩阵
Figure BDA0002262511440000151
则Pi,xi满足公式(14)。
Figure BDA0002262511440000152
利用公式(14)消去s，可以得到公式(15)
Figure BDA0002262511440000153
设(R|t)的行向量t1＝(t1,t2,t3,t4)T,t2＝(t5,t6,t7,t8)T,t3＝(t9,t10,t11,t12)T，则有
Figure BDA0002262511440000154
对于N组对应的3D-2D配对点数据，则可以列出如下线性方程组，其中
Figure BDA0002262511440000155
为空间中的N个激光点。
Figure BDA0002262511440000161
求得方程(17)的最小二乘解即可求得多线激光雷达数据到二维视觉图像数 据间的变换关系如公式(18)所示，即完成外参信息完成标定。
Figure BDA0002262511440000162
本发明的有益效果：本发明提出了一种多线激光雷达和单目视觉的自动标定 方法，该方法采用了正六边形标定板进行标定。标定板相邻边界成固定角度保证 了激光点云角点的准确提取，标定板内部的六个角分别内嵌了6个黑色的小正六 边形保证了视觉角点的准确提取。该标定方法实现了稀疏激光数据与图像数据特 征角点提取与匹配的自动化和一体化，从而为多传感器数据融合奠定基础。

Claims (4)

1.一种多线激光雷达和单目视觉的自动标定方法，其特征在于，步骤如下：
步骤一、构建正六边形标定板并采集标定数据；
步骤二、提取标定板的多线激光雷达角点信息；具体如下：
(2.1)首先根据标定板在激光数据中的位置阈值，将标定板的激光数据从整幅数据中单独提取出；然后利用平面拟合算法拟合出标定板平面，使用随机抽样一致算法RANSAC剔除标定板激光数据的局外点，并拟合出标定板所在平面的平面方程，平面方程如公式(1)所示，其中A，B，C，D为平面参数；
Ax+By+Cz+D＝0 (1)
(2.2)标定板平面多线激光雷达数据预处理
对(2.1)得到的平面信息，将标定板平面内点投影到公式(1)所表示的标定板平面上，设标定板平面一个内点P0的坐标为(x0,y0,z0)，投影到平面后的点Pp坐标为(xp,yp,zp)，根据直线PpP0与平面Ax+By+Cz+D＝0垂直，得到投影点Pp坐标的计算公式如下：
Figure FDA0003777229640000011
将所有的标定板平面内点都投影到公式(1)所表示的标定板拟合平面后，将激光点按其Z轴数值的大小从小到大进行排序；排序后按照Z轴数值的变化率将激光线分成多条激光线，并根据每条激光线上激光点数目的多少剔除激光点数目少于w的错误激光线；遍历正确的激光线，设一条激光线上第n个点的X,Z轴坐标分别为xn,zn，根据公式(3)剔除明显错误的激光点，剔除后将第j条激光线的第i个激光点的z轴数值zi,j按公式(4)取平均值后作为第j条激光线所有激光点的Z轴坐标数值，最后得到预处理后的激光线line{j},j＝1,2,…m，m为激光线条数；
Figure FDA0003777229640000021
Figure FDA0003777229640000022
(2.3)拟合落在标定平面上的激光线
对(2.1)预处理后得到的每条激光线line{j},j＝1,2,…,m做最小二乘拟合，求出每条拟合直线的方向向量
Figure FDA0003777229640000023
由于多线激光雷达扫描到的激光线都是互相平行的，故按公式(5)对拟合后的所有的激光线的方向向量求均值，将所有激光线的方向向量统一到公式(5)所求得的方向向量，统一激光线的方向向量后根据每条激光线的X轴左右边界(xmin,xmax)拟合出每条激光线的方程如公式(6)所示，其中Q，W，E为直线参数，其中hj为当前激光线的高度；通过拟合好的直线求出该直线的左右边界点Pleft,j,Pright,j，并根据求出该直线的长度Lj＝|Pleft,jPright,j|；根据正六边形的性质，已知直线长度，通过公式(7)求出该直线到正六边形中心点的距离Hj，根据激光线到正六边形中心点的距离Hj和激光线之间的间距ΔH，进一步判断出该激光线在正六边形的上半部分还是下半部分；
Figure FDA0003777229640000024
Qjx+Wjy+Ejz＝0,xmin＜x＜xmax,z＝hj (6)
Figure FDA0003777229640000025
(2.4)拟合激光数据的正六边形标定板边界线
对(2.3)得到的具体的激光线信息，求出落在标定板左上、右上、右下、左下四条边的边界点，设这四条直线分别为L1,L2,L3,L4，根据正六边形性质，其六条边满足条件：L1,L2夹角为60度，L1,L3平行，L1,L4夹角为120度；设第k条直线的方程为Lk:Mkx+Nky+Pkz＝0，则四条直线满足条件如公式(8)所示，其中cos＜L1,L2＞，cos＜L1,L3＞，cos＜L1,L4＞分别为直线L1,L2，L1,L3，L1,L4夹角的余弦值；
Figure FDA0003777229640000031
在满足公式(8)条件下，根据落在标定板上的每条激光线的左右边界点Pleft,j,Pright,j使用最小二乘拟合出四条直线；拟合出L1,L2,L3,L4四条直线后，根据L1,L4交点和L2,L3交点求出正六边形的左右边界点P6,P3，并根据L1,L2,L3,L4与正六边形边长a求出正六边形的六个点P1,P2,P3,P4,P5,P6的坐标，P1至P6的编号是从左上角开始顺时针排列，即获得标定板的多线激光雷达角点坐标数据Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6；
步骤三、提取正六边形标定板的图像角点信息；
步骤四、迭代计算多线激光雷达数据到二维视觉图像数据间的变换关系。
2.根据权利要求1所述的一种多线激光雷达和单目视觉的自动标定方法，其特征在于，所述步骤一具体如下：
(1.1)物理正六边形标定板的构建
构造边长为a的白色正六边形高反射率标定板，在标定板的六个角构分别构造边长为a/4的黑色正六边形用来提取单目摄像头所采集图像的角点特征；
(1.2)多线激光雷达点云数据和单目视觉图像数据的采集
选取一个开阔且光线良好的环境，使用环境数据采集设备，同时完成激光点云与视觉图像数据的采集；多线激光雷达的前向为X轴、左向为Y轴、垂直向上为Z轴；单目摄像头的右向为X轴、垂直向下为Y轴、前向为Z轴；环境数据采集设备获得不同视角下的多组数据，采集环境数据时要确保落在标定板上半部分和下半部分的激光线条数分别为4条以上，并且标定板需要完整的呈现在图像内。
3.根据权利要求1所述的一种多线激光雷达和单目视觉的自动标定方法，其特征在于，所述步骤三具体如下：
(3.1)单目摄像机标定及图像预处理
首先使用张正友标定法对相机进行内参数及畸变参数的标定，获得相机的内参数fx,fy,cx,cy及畸变参数k,p1,p2；设[x,y]T为归一化平面点的坐标，[x′,y′]T为畸变后点的坐标，[x′,y′]T由公式(9)求出；设r为点与坐标系原点的距离，则去畸变后的点在图像上的正确位置(u,v)如公式(10)所示；
Figure FDA0003777229640000041
Figure FDA0003777229640000042
(3.2)标定板图像数据处理
对步骤(3.1)得到的标定板预处理后的图像数据进行色彩空间转换处理，即将标定板图的色彩空间由RGB转成HSV色彩空间；RGB色彩空间的R为红色，G为绿色，B为蓝色；HSV颜色空间的H为色调，S为饱和度，V为明度；首先按公式(11)中的方法将标定板图像转为HSV颜色空间；
V＝max(R,G,B),
Figure FDA0003777229640000051
然后按照公式(12)确定标定板所在的区域，其中α、β、γ为颜色阈值，将图像进行二值化处理，符合条件的区域置为255，其余区域置为0；
Figure FDA0003777229640000052
确定标定板所在区域后，接着删除面积小于阈值S的明显错误的区域进一步提高区域精度；然后按照公式(13)确定标定板所在的高精度图像区域，其中mid_row、mid_col为标定板中心所在的行和列，rowmin、rowmax为确定的图像行范围，colmin、colmax为确定的图像列范围，round()表示将括号内的数值进行四舍五入，τ1,τ2为确定图像区域的阈值，然后将标定板区域从原图像中提取出来；
Figure FDA0003777229640000053
(3.4)获得标定板顶点像素坐标
对处理好的图像提取Harris角点，并按照位置进行排序，得到六边形的顶点像素坐标xi＝(ui,vi,1)T,i＝1,2,3,4,5,6。
4.根据权利要求1所述的一种多线激光雷达和单目视觉的自动标定方法，其特征在于，所述步骤四具体如下：
对步骤二得到的标定板多线激光雷达角点Pi＝(Xi,Yi,Zi,1)T,i＝1,2,3,4,5,6和步骤三得到的对应的图像点xi＝(ui,vi,1)T,i＝1,2,3,4,5,6进行处理，获得其对应的点对(Pi,xi)；通过对采集的多组数据进行处理，获得N个点对(Pi,xi),i＝1,2,…,N，然后求解3D点到2D点的变换；
定义旋转平移矩阵
Figure FDA0003777229640000061
则Pi,xi满足公式(14)；
Figure FDA0003777229640000062
利用公式(14)消去参数s，得到公式(15)
Figure FDA0003777229640000063
设(R|t)的行向量
Figure FDA0003777229640000067
Figure FDA0003777229640000068
Figure FDA0003777229640000069
则有
Figure FDA0003777229640000064
对于N组对应的3D-2D配对点数据，则列出如下线性方程组，其中
Figure FDA0003777229640000065
为空间中的N个激光点；
Figure FDA0003777229640000066
求得方程(17)的最小二乘解即可求得多线激光雷达数据到二维视觉图像数据间的变换关系即完成外参信息完成标定。
CN201911076157.1A 2019-11-06 2019-11-06 一种多线激光雷达和单目视觉的自动标定方法 Active CN110823252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076157.1A CN110823252B (zh) 2019-11-06 2019-11-06 一种多线激光雷达和单目视觉的自动标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076157.1A CN110823252B (zh) 2019-11-06 2019-11-06 一种多线激光雷达和单目视觉的自动标定方法

Publications (2)

Publication Number Publication Date
CN110823252A CN110823252A (zh) 2020-02-21
CN110823252B true CN110823252B (zh) 2022-11-18

Family

ID=69552996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076157.1A Active CN110823252B (zh) 2019-11-06 2019-11-06 一种多线激光雷达和单目视觉的自动标定方法

Country Status (1)

Country Link
CN (1) CN110823252B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111457940B (zh) * 2020-03-31 2021-03-16 上海北斗导航创新研究院 一种车载多波段立体视觉传感器测距性能测试方法及系统
CN114080545A (zh) * 2020-06-19 2022-02-22 深圳市大疆创新科技有限公司 数据处理方法、装置、激光雷达和存储介质
CN111856436A (zh) * 2020-07-02 2020-10-30 大连理工大学 一种多线激光雷达和红外相机的联合标定装置及标定方法
CN113759346A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种激光雷达标定方法、装置、电子设备及存储介质
CN112505663B (zh) * 2020-11-25 2022-09-13 上海交通大学 用于多线激光雷达与相机联合标定的标定方法
CN113436274B (zh) * 2021-06-28 2022-08-23 兰剑智能科技股份有限公司 一种移动机器人的校准方法、装置及设备
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
CN104574406A (zh) * 2015-01-16 2015-04-29 大连理工大学 一种360度全景激光与多个视觉系统间的联合标定方法
CN105741268A (zh) * 2016-01-22 2016-07-06 江苏科技大学 一种基于彩色图块及其拓扑关系的视觉定位方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN206292868U (zh) * 2016-08-22 2017-06-30 天津芯硕精密机械有限公司 用于ldi对位相机的标定装置
CN108387240A (zh) * 2018-01-15 2018-08-10 大连理工大学 一种多层次六边形网格地图的构建方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109903341A (zh) * 2019-01-25 2019-06-18 东南大学 一种车载摄像机外参动态自标定方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7458763B2 (en) * 2003-11-10 2008-12-02 Blueshift Technologies, Inc. Mid-entry load lock for semiconductor handling system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
CN104574406A (zh) * 2015-01-16 2015-04-29 大连理工大学 一种360度全景激光与多个视觉系统间的联合标定方法
CN105741268A (zh) * 2016-01-22 2016-07-06 江苏科技大学 一种基于彩色图块及其拓扑关系的视觉定位方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN206292868U (zh) * 2016-08-22 2017-06-30 天津芯硕精密机械有限公司 用于ldi对位相机的标定装置
CN108387240A (zh) * 2018-01-15 2018-08-10 大连理工大学 一种多层次六边形网格地图的构建方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109903341A (zh) * 2019-01-25 2019-06-18 东南大学 一种车载摄像机外参动态自标定方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
机器人视觉系统的自标定新算法;毛剑飞等;《浙江大学学报(工学版)》;20030625(第03期);全文 *
视觉与激光雷达信息融合的目标领航车识别方法;贾子永等;《火力与指挥控制》;20180615(第06期);全文 *

Also Published As

Publication number Publication date
CN110823252A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110823252B (zh) 一种多线激光雷达和单目视觉的自动标定方法
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN110118528B (zh) 一种基于棋盘靶标的线结构光标定方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN108389233B (zh) 基于边界约束和均值逼近的激光扫描仪与相机标定方法
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
EP3510562A1 (en) Method and system for calibrating multiple cameras
CN109443209A (zh) 一种基于单应性矩阵的线结构光系统标定方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN104616292A (zh) 基于全局单应矩阵的单目视觉测量方法
CN111856436A (zh) 一种多线激光雷达和红外相机的联合标定装置及标定方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
An et al. Building an omnidirectional 3-D color laser ranging system through a novel calibration method
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN110763204A (zh) 一种平面编码靶标及其位姿测量方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112365545A (zh) 基于大平面复合靶标的激光雷达与可见光相机的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant