CN110148180A - 一种激光雷达与相机融合装置与标定方法 - Google Patents
一种激光雷达与相机融合装置与标定方法 Download PDFInfo
- Publication number
- CN110148180A CN110148180A CN201910323937.5A CN201910323937A CN110148180A CN 110148180 A CN110148180 A CN 110148180A CN 201910323937 A CN201910323937 A CN 201910323937A CN 110148180 A CN110148180 A CN 110148180A
- Authority
- CN
- China
- Prior art keywords
- camera
- laser radar
- scaling board
- point
- scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种激光雷达与相机融合装置与标定方法,包括竖直升降台和标定板支架;所述竖直升降台上的工作导轨上设有工作台,所述工作台上固定安装有相机和激光雷达;所述标定板支架上固定安装有标定板;所述激光雷达在所述标定板上扫描得到一条水平直线,找到此直线在标定板边界上的左右端点,然后多次移动相同间隔,便可以得到左右边线上的多组端点,拟合便可近似得到左右边界的直线方程进而得到标定板的端点;将相机图片上端点所在位置的像素点与端点对应便可以得到相机和雷达的位姿关系表达式;运用本激光雷达与相机融合标定方法能够获取雷达点云稀疏的场景下的特征,并能够解得内外参的联合表达式,不需要提前测得相机内参。
Description
技术领域
本发明涉及到融合及标定技术领域,具体涉及到一种激光雷达与相机融合装置与标定方法。
背景技术
随着计算机技术的兴起,三维重建逐渐成为一个热门的话题,常用的三维重建传感器一般是用双目相机或者是激光雷达来完成物体的重建。对于双目相机来说,虽然具有了颜色信息,但是由于它比较复杂的图像之间的匹配会对整个系统带来计算上的复杂度而且只能够进稀疏点云三维重建。对于激光雷达来说,其结果精确可靠但是由于它没有彩色信息的获取所以对于三维重建的结果无法直观意义上的感受。
所以单一传感器不可避免的存在局限性,为了提高系统的稳健性,且在保证精度的情况下融合彩色信息,多采取多传感器融合的方案,融合又包含不同传感器的时间同步和空间同步。激光雷达和相机的联合标定就属于空间同步范畴。
现在用深度学习处理点云成为热点,在标注点云时,由于点云的稀疏性,单靠点云,很难判断目标和类别,如果有时间同步的图像,就可以判断出来,但是为了精确标注,还需要将点云投影到图像,观察是否重合,这里就需要做激光雷达和相机的联合标定。
激光雷达和相机的联合标定可以用来实时重建物体的表面且获取具有彩色信息的纹理表面,通过联合标定将激光雷达的点云和相机像素的信息统一起来,是多传感器融合的重要组成。
发明内容
本发明的目的是针对现有技术存在的问题,提供一种激光雷达与相机融合装置与标定方法。
为实现上述目的,本发明采用的技术方案是:
一种激光雷达与相机融合装置,包括竖直升降台和标定板支架;所述竖直升降台上设有平行的工作导轨,所述工作导轨之间设有工作台,所述工作台上固定安装有相机和激光雷达,所述激光雷达两侧设置有“T”形安装板,所述“T”形安装板上安装所述相机;所述标定板支架上固定安装有标定板,所述标定板位于所述相机视角及激光雷达扫描区域内。
本激光雷达与相机融合装置能够确保激光雷达和相机同步上下移动,结构简单,精度高,相机与激光雷达位姿相对固定;所述标定板始终位于相机视角及二维激光雷达扫描区域内,保证能够获取全面的雷达点云和像素点。
优选的,所述工作导轨之间设有滚珠丝杠,在所述滚珠丝杠上部设置所述工作台;所述滚珠丝杠端部连接有步进电机。通过步进电机配合滚珠丝杠能够精确控制工作台上升或下降的位移量,有利于提高激光雷达与相机的融合标定计算的准确性。
优选的,所述标定板为三角形标定板或方形标定板。
优选的,所述工作台上升一个行程的距离为4.82毫米,误差为10微米。此设置以确保融合和标定过程中高精度的要求。
一种使用上述融合装置的激光雷达与相机融合标定方法,包括以下步骤:
S1:将所述激光雷达与所述相机以固定位姿固定在竖直升降台的工作台上,确保所述竖直升降台竖直移动过程中,所述激光雷达与所述相机的相对位置固定;
S2:将标定板设置在所述激光雷达及所述相机能够同时获取到的位置;
S3:打开所述激光雷达,所述激光雷达在所述标定板上扫描得到一条水平直线,找到此直线在标定板边界上的左右端点,然后多次移动相同间隔,便可以得到所述标定板左右边线上的多组端点,拟合多组端点得到左右边界的直线方程,进而得到激光雷达扫描的标定板的角点;
S4:将所述相机图片上标定板的角点所在位置的像素点与所述S3中得到的标定板的角点对应便得到所述相机和所述激光雷达的位姿关系表达式;
S5:将标定板进行不同位姿的摆放可以得到多组点,进而连立方程可得到所述相机与所述激光雷达的位姿变化;
所述激光雷达扫描的角点确定步骤具体如下:
1)移动工作台,激光雷达扫描得到不同高度的扫描线段,基于RANSAC线性特征提取,获得不同点的雷达数据及多条扫描线段;
假设螺旋升降仪上升高度为z,扫描的某点的雷达数据为r,θ,则扫描点在主坐标系下可表示为:(r cosθ,r sinθ,z)。对于每一组固定位姿的标定板,通过移动固定行程的工作台来对标定板形成高度不一的扫描线。且这些扫描线的竖直方向即z方向已知,即为工作台移动的行程。对于每一次扫描得到的线端,得到每一个点均可用上述的公式表达,记第i次测量得到的第j个点的雷达数据为rj,θj,螺旋仪的行程为zi,可以得到此点的三维坐标系表达式为(rjcosθj,rjsinθj,zi)。对于第i次扫描,假设已经扫描到了n个点,其中j∈(1,n),可以利用RANSAC剔除噪声的雷达数据点,并且通过最小二乘进行拟合具体做法如下:
对于第i次扫描,可以得到雷达数据的三维坐标点(rjcosθj,rjsinθj,zi),其中j∈(1,n),n为扫描得到的点的个数。每次选取任意的两点(racosθa,rasinθa,zi),(rbcosθb,rbsinθb,zi),可以得到直线方程如下:
由于每一次扫描zi值相同,便可以舍弃zi,将直线变为二维坐标系下的点,简单记两点所产生的直线为y=ax+b。由于舍弃了zi值,对于任意一点(rccosθc,rcsinθc),可以求点到直线的距离:
由雷达固定参数可得其精度误差为σ,若d≤σ,则此点为该次扫描的内点。从而得到此次内点的集合S1。
重复上述过程,任意选取两点,重复上述过程次,便可以得到所有的内点集合,选取内点最大的集合为S。
对每次扫描的内点进行最小二乘拟合得到一条具有两个端点的线段。
其中最小二乘的拟合方法如下:对于直线y=ax+b,对于每i个点存在误差:
ei=yi-axi-b (3)
定义一个损失函数:
调整a和b,使得Q达到最小,那么曲线拟合的误差也会最小。这里,Q是a,b的函数。Q的最小值点必然是其导数为0的点。令
求解上述方程组,则可以解得a和b的值。即可得到一条具有两个端点的线段。
对于每一次固定位姿的标定板,对于每一次行程扫描,重复上述过程,便可以得到对于一次固定位姿标定板的标定,得到一组平行的线段,且每一条线段端点均已知。
2)利用RANSAC算法剔除得到的雷达数据中噪声数据点,通过最小二乘法进行曲面拟合得到一个拟合平面;
对于得到的雷达数据点去除噪声点后,设有n个数据点Pi=(xi,yi,zi)i∈(1,2,...,n).定义拟合平面方程为:
AX+BY+CZ+D=0 (6)
其中A、B、C、D为待定系数,A、B、C、不同时为0;
数据点Pi到拟合平面AX+BY+CZ+D=0的距离设为di,则:
di 2=(AXi+BYi+CZi+D)2/(A2+B2+C2) (7)
设误差项L为
欲使L最小.L是关于(A、B、C、D)的函数,其中(Xi、Yi、Zi均已知),当L取最小值时,可知:
将公式(7)和(8)代入公式(9)中联立可得到四个等式,四个未知数的方程,利用线性代数联立即可求解得到最小二乘拟合得到的拟合平面方程。
3)再将步骤1)中扫描线段的左右端点投影到所述拟合平面上;
找到拟合的平面AX+BY+CZ+D=0后,在此标定角度下,对于步骤1)中拟合得到的线段,令其端点为pk=(Xk,Yk,Zk)k∈(1,2,...,n),由于每次测量竖直工作台的量程都比较精确且每个数据点的z坐标就是工作台的行程高度,所以不优化z的数据,使得pk到拟合平面AX+BY+CZ+D=0的距离最短,即将拟合得到的扫描线段的左右端点投影到拟合平面上。由于z坐标不变,只要将端点水平投影到平面,我们假设pk对应于平面上的点是
Pkr=(Xkr,Ykr,Zk)k∈(1,2,...,n)。对于任意一点,可得下面关系式:
min((Xk-Xkr)2+(Yk-Ykr)2),AXkr+BYkr+CZk+D=0 (10)
将上式带入已知数据求导即可得到pk对应于拟合平面上的点pkr,即完成了扫描线段的左右端点投影到所述拟合平面上的步骤。
4)利用PCA算法,将3)中投影到拟合平面上的左右端点拟合直线,得到的拟合直线的交点为雷达扫描的标定板的角点。
按此方式选取不同的扫描线,便可以在同一张标定板中找到若干个交点,既可以确定出雷达扫描的标定板的每个角点,因此利用雷达数据点可测得标定板的三维空间坐标点(角点的坐标),定义二维激光雷达坐标为(x,y,z)。
所述相机像素角点的确定步骤如下:
1)对相机获取的标定板图像进行高斯滤波,使其平滑,去除噪声点;
2)再对图像进行霍夫变换,进行直线检测,检测到相邻的两边的直线方程;
3)通过求解直线方程得到标定板的角点的像素坐标。
按此方法,便可以将所有图片上面的标定板的像素角点给检测出来,定义相机的像素角点坐标为(u,v)。
对于在不同视角下的标定板的三维空间点和对应的像素坐标点,它们存在一个转换关系:
式中:fu和fv分别为水平与垂直方向上的有效焦距长度;u0和v0为图像中心点位置坐标,这四个参数为相机内参;而R与T分别为相机与三维激光雷达间的旋转矩阵和平移矩阵,是外参数;mij为内外参数联合变换矩阵。
其中有12个未知参数,为获得其12个参数,至少需要获取6组方程解算未知数。
通过至少六组点便可以得到相机像素点和雷达三维点之间的转换关系,对于超过六组点,可以通过奇异值分解来得到一个最小二乘解。通常为了追求数据的优化,一般会采用超过六组点来解此内外参的联合表达式。而相机的内参并不需要提前测得。至此求得了相机以及雷达之间的数据转换关系。
优选的,还包括确定所述竖直升降台移动精度的过程。
首先利用夹具在工作台上装夹一个物体,固定工作台不动,在一端设有激光测距仪来测量激光测距仪与物体的距离l1,然后开动电机使得螺旋仪上升一个行程,可以得到此时激光测距仪与物体的距离l2,由此可以得到上升一个行程的距离经过多次试验数据测量分析,得到竖直升降台行程从下到上比从上到下精度要来的高。并且对于激光测距仪得到的数据,进行卡尔曼滤波可将精度误差从器械本身的30微米下降到10微米。
与现有技术相比,本发明的有益效果是:1、运用本激光雷达与相机融合标定方法能够获取雷达点云稀疏的场景下的特征;2、通过本方法可以解得内外参的联合表达式,不需要提前测得相机内参;3、本激光雷达与相机融合装置结构简单,精度高,相机与激光雷达位姿相对固定;4、装置成本低廉,不需要昂贵的三维雷达,只需要二维雷达和普通彩色相机便可以重建出三维轮廓;5、建图效果具有直观性,在原有的没有色彩信息的雷达点云中通过外参转换将相机的彩色信息融合到了点云中,使得重建后的物体更加具有辨识度。
附图说明
图1为本发明激光雷达与相机融合装置及标定示意图;
图2为本发明扫描提取特征示意图;
图中:1、竖直升降台;2、标定板支架;3、工作导轨;4、工作台;401、雷达安装座;402、“T”形安装板;5、相机;6、雷达;7、标定板;8、滚珠丝杠;9、步进电机;10、雷达扫描点;11、相机视角;12、扫描线;13、行程。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本发明保护的范围。
一种激光雷达与相机融合装置,包括竖直升降台1和标定板支架2;所述竖直升降台1上设有平行的工作导轨3,所述工作导轨3上设有工作台4,所述工作台4上固定安装有相机5和二维激光雷达6;所述标定板支架2上固定安装有标定板7,所述标定板7位于所述相机视角及二维激光雷达扫描区域内。
具体的,所述工作台4上设有弧形的雷达安装座401,所述雷达安装座401的弧形槽内上安装所述激光雷达6,所述雷达安装座401两侧固定安装有“T”形安装板402,所述“T”形安装板402上安装所述相机5。
优选的,所述工作导轨3之间设有滚珠丝杠8,在所述滚珠丝杠8上部设置所述工作台4;所述滚珠丝杠8端部连接有步进电机9。
优选的,所述标定板7为三角形标定板或方形标定板。
优选的,所述工作台4上升一个行程的距离为4.82毫米,误差为10微米。
一种使用上述融合装置的激光雷达与相机融合标定方法,包括以下步骤:
S1:将所述激光雷达6与所述相机5以固定位姿固定在竖直升降台的工作台5上,确保所述工作台5竖直移动过程中,所述激光雷达6与所述相机5的相对位置固定;
S2:将标定板7设置在所述激光雷达6及所述相机5能够同时获取到的位置;
S3:打开所述激光雷达6,所述激光雷达6在所述标定板7上扫描得到一条水平直线,找到此直线在标定板边界上的左右端点,然后多次移动相同间隔,便可以得到所述标定板左右边线上的多组端点,拟合多组端点得到左右边界的直线方程,进而得到激光雷达扫描的标定板的角点;
S4:将所述相机5图片上标定板的角点所在位置的像素点与所述S3中得到的标定板的角点对应便得到所述相机和所述激光雷达的位姿关系表达式;
S5:将标定板进行不同位姿的摆放可以得到多组点,进而连立方程可得到所述相机与所述激光雷达的位姿变化;
所述激光雷达扫描的角点确定步骤具体如下:
1)移动工作台4,激光雷达6扫描得到不同高度的扫描线段,基于RANSAC线性特征提取,获得不同点的雷达数据及多条扫描线段;
假设螺旋升降仪上升高度为z,扫描的某点的雷达数据为r,θ,则扫描点在主坐标系下可表示为:(r cosθ,r sinθ,z)。对于每一组固定位姿的标定板,通过移动固定行程的工作台来对标定板形成高度不一的扫描线。且这些扫描线的竖直方向即z方向已知,即为工作台移动的行程。对于每一次扫描得到的线端,得到每一个点均可用上述的公式表达,记第i次测量得到的第j个点的雷达数据为rj,θj,螺旋仪的行程为zi,可以得到此点的三维坐标系表达式为(rjcosθj,rjsinθj,zi)。对于第i次扫描,假设已经扫描到了n个点,其中j∈(1,n),可以利用RANSAC剔除噪声的雷达数据点,并且通过最小二乘进行拟合具体做法如下:
对于第i次扫描,可以得到雷达数据的三维坐标点(rjcosθj,rjsinθj,zi),其中j∈(1,n),n为扫描得到的点的个数。每次选取任意的两点(racosθa,rasinθa,zi),(rbcosθb,rbsinθb,zi),可以得到直线方程如下:
由于每一次扫描zi值相同,便可以舍弃zi,将直线变为二维坐标系下的点,简单记两点所产生的直线为y=ax+b。由于舍弃了zi值,对于任意一点(rccosθc,rcsinθc),可以求点到直线的距离:
由雷达固定参数可得其精度误差为σ,若d≤σ,则此点为该次扫描的内点。从而得到此次内点的集合S1。
重复上述过程,任意选取两点,重复上述过程次,便可以得到所有的内点集合,选取内点最大的集合为S。
对每次扫描的内点进行最小二乘拟合得到一条具有两个端点的线段。
其中最小二乘的拟合方法如下:对于直线y=ax+b,对于每i个点存在误差:
ei=yi-axi-b (3)
定义一个损失函数:
调整a和b,使得Q达到最小,那么曲线拟合的误差也会最小。这里,Q是a,b的函数。Q的最小值点必然是其导数为0的点。令
求解上述方程组,则可以解得a和b的值。即可得到一条具有两个端点的线段。
对于每一次固定位姿的标定板,对于每一次行程扫描,重复上述过程,便可以得到对于一次固定位姿标定板的标定,得到一组平行的线段,且每一条线段端点均已知。
2)利用RANSAC算法剔除得到的雷达数据中噪声数据点,通过最小二乘法进行曲面拟合得到一个拟合平面;
对于得到的雷达数据点去除噪声点后,设有n个数据点Pi=(xi,yi,zi)i∈(1,2,...,n).定义拟合平面方程为:
AX+BY+CZ+D=0 (6)
其中A、B、C、D为待定系数,A、B、C、不同时为0;
数据点Pi到拟合平面AX+BY+CZ+D=0的距离设为di,则:
di 2=(AXi+BYi+CZi+D)2/(A2+B2+C2) (7)
设误差项L为
欲使L最小.L是关于(A、B、C、D)的函数,其中(Xi、Yi、Zi均已知),当L取最小值时,可知:
将公式(7)和(8)代入公式(9)中联立可得到四个等式,四个未知数的方程,利用线性代数联立即可求解得到最小二乘拟合得到的拟合平面方程。
3)再将步骤1)中扫描线段的左右端点投影到所述拟合平面上;
找到拟合的平面AX+BY+CZ+D=0后,在此标定角度下,对于步骤1)中拟合得到的线段,令其端点为pk=(Xk,Yk,Zk)k∈(1,2,...,n),由于每次测量竖直工作台的量程都比较精确且每个数据点的z坐标就是工作台的行程高度,所以不优化z的数据,使得pk到平面AX+BY+CZ+D=0的距离最短,即将拟合得到的扫描线段的左右端点投影到拟合平面上。由于z坐标不变,只要将端点水平投影到平面,我们假设pk对应于平面上的点是pkr=(Xkr,Ykr,Zk)k∈(1,2,...,n)。对于任意一点,可得下面关系式:
min((Xk-Xkr)2+(Yk-Ykr)2),AXkr+BYkr+CZk+D=0 (10)
将上式带入已知数据求导即可得到pk对应于平面上的点pkr,即完成了扫描线段的左右端点投影到所述拟合平面上的步骤。
4)利用PCA算法,将3)中投影到拟合平面上的左右端点拟合直线,得到的拟合直线的交点为雷达扫描的标定板的角点。
按此方式选取不同的扫描线,便可以在同一张标定板中找到若干个交点,既可以确定出雷达扫描的标定板的每个角点,因此利用雷达数据点可测得标定板的三维空间坐标点(角点的坐标),定义二维激光雷达坐标为(x,y,z)。
所述相机5像素角点的确定步骤如下:
1)对相机获取的标定板图像进行高斯滤波,使其平滑,去除噪声点;
2)再对图像进行霍夫变换,进行直线检测,检测到相邻的两边的直线方程;
3)通过求解直线方程得到标定板的角点的像素坐标。
按此方法,便可以将所有图片上面的标定板的像素角点给检测出来,定义相机的像素角点坐标为(u,v)。
对于在不同视角下的标定板的三维空间点和对应的像素坐标点,它们存在一个转换关系:
式中:fu和fv分别为水平与垂直方向上的有效焦距长度;u0和v0为图像中心点位置坐标,这四个参数为相机内参;而R与T分别为相机与三维激光雷达间的旋转矩阵和平移矩阵,是外参数;mij为内外参数联合变换矩阵。
其中有12个未知参数,为获得其12个参数,至少需要获取6组方程解算未知数。
通过至少六组点便可以得到相机像素点和雷达三维点之间的转换关系,对于超过六组点,可以通过奇异值分解来得到一个最小二乘解。通常为了追求数据的优化,一般会采用超过六组点来解此内外参的联合表达式。而相机的内参并不需要提前测得。至此求得了相机以及雷达之间的数据转换关系,对于后续的平台实际运用提供了数据转换的支持。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种激光雷达与相机融合装置,其特征在于,包括竖直升降台和标定板支架;所述竖直升降台上设有一对平行的竖直工作导轨,一对所述工作导轨之间设有工作台,所述工作台上固定安装有相机和激光雷达,所述激光雷达两侧设置有“T”形安装板,所述“T”形安装板上安装所述相机;所述标定板支架上固定安装有标定板,所述标定板位于所述相机视角及激光雷达扫描区域内。
2.根据权利要求1所述的激光雷达与相机融合装置,其特征在于,所述工作导轨之间设有滚珠丝杠,在所述滚珠丝杠上部设置所述工作台;所述滚珠丝杠端部连接有步进电机。
3.根据权利要求1所述的激光雷达与相机融合装置,其特征在于,所述标定板为三角形标定板或方形标定板。
4.根据权利要求1所述的激光雷达与相机融合装置,其特征在于,所述工作台上升一个行程的距离为4.82毫米,误差为10微米。
5.根据权利要求1所述的激光雷达与相机融合装置的激光雷达与相机融合标定方法,其特征在于,包括以下步骤:
S1:将所述激光雷达与所述相机以固定位姿固定在竖直升降台的工作台上,确保所述工作台竖直移动过程中,所述激光雷达与所述相机的相对位置固定;
S2:将标定板设置在所述激光雷达及所述相机能够同时获取到的位置;
S3:打开所述激光雷达,所述激光雷达在所述标定板上扫描得到一条水平直线,找到此直线在标定板边界上的左右端点,然后多次移动相同间隔,便可以得到所述标定板左右边线上的多组端点,拟合多组端点得到左右边界的直线方程,进而得到激光雷达扫描的标定板的角点;
S4:将所述相机图片上标定板的角点所在位置的像素点与所述S3中得到的标定板的角点对应便得到所述相机和所述激光雷达的位姿关系表达式;
S5:将标定板进行不同位姿的摆放可以得到多组点,进而连立方程可得到所述相机与所述激光雷达的位姿变化。
6.根据权利要求5所述的激光雷达与相机融合装置的激光雷达与相机融合标定方法,其特征在于,所述激光雷达扫描的角点确定步骤具体如下:
步骤1:移动工作台,激光雷达扫描得到不同高度的扫描线段,基于RANSAC线性特征提取,获得不同点的雷达数据及多条扫描线段;
步骤2:利用RANSAC算法剔除得到的雷达数据中噪声数据点,通过最小二乘法进行曲面拟合得到一个拟合平面;
步骤3:再将步骤1中扫描线段的左右端点投影到所述拟合平面上;
步骤4:利用PCA算法,将步骤3中投影到拟合平面上的左右端点拟合直线,得到的拟合直线的交点为雷达扫描的标定板的角点。
7.根据权利要求5所述的激光雷达与相机融合装置的激光雷达与相机融合标定方法,其特征在于,所述相机像素角点的确定步骤如下:
步骤5:对相机获取的标定板图像进行高斯滤波,使其平滑,去除噪声点;
步骤6:再对图像进行霍夫变换,进行直线检测,检测到相邻的两边的直线方程;
步骤7:通过求解直线方程得到标定板的角点的像素坐标。
8.根据权利要求4所述的激光雷达与相机融合装置的激光雷达与相机融合标定方法,其特征在于,还包括确定所述竖直升降台移动精度的过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323937.5A CN110148180B (zh) | 2019-04-22 | 2019-04-22 | 一种激光雷达与相机融合装置与标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323937.5A CN110148180B (zh) | 2019-04-22 | 2019-04-22 | 一种激光雷达与相机融合装置与标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110148180A true CN110148180A (zh) | 2019-08-20 |
CN110148180B CN110148180B (zh) | 2021-06-08 |
Family
ID=67593814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910323937.5A Active CN110148180B (zh) | 2019-04-22 | 2019-04-22 | 一种激光雷达与相机融合装置与标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110148180B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110645916A (zh) * | 2019-11-14 | 2020-01-03 | 北京航空航天大学 | 基于基准标定板校正位姿的自由曲面测量方法与装置 |
CN110687521A (zh) * | 2019-10-15 | 2020-01-14 | 深圳数翔科技有限公司 | 一种车载激光雷达标定的方法 |
CN110766758A (zh) * | 2019-09-12 | 2020-02-07 | 浙江大华技术股份有限公司 | 标定方法、装置、系统及存储装置 |
CN110940358A (zh) * | 2019-12-31 | 2020-03-31 | 徐州治鼎环境科技有限公司 | 一种激光雷达和惯导联合标定的装置及标定方法 |
CN111239711A (zh) * | 2019-12-10 | 2020-06-05 | 西南技术物理研究所 | 一种激光三维成像雷达自动化标定系统 |
CN111257909A (zh) * | 2020-03-05 | 2020-06-09 | 安徽意欧斯物流机器人有限公司 | 一种多2d激光雷达融合建图与定位方法及系统 |
CN111650605A (zh) * | 2020-07-08 | 2020-09-11 | 上海振华重工电气有限公司 | 一种角度、高度可调式激光雷达和相机联合安装的装置 |
CN111842197A (zh) * | 2020-07-20 | 2020-10-30 | 河海大学常州校区 | 一种工件自动排序分拣系统 |
CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
CN112308927A (zh) * | 2020-10-26 | 2021-02-02 | 南昌智能新能源汽车研究院 | 一种全景相机与激光雷达的融合装置及其标定方法 |
CN112449176A (zh) * | 2019-09-03 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 升降式摄像装置的测试方法及其测试系统 |
CN112505663A (zh) * | 2020-11-25 | 2021-03-16 | 上海交通大学 | 用于多线激光雷达与相机联合标定的标定方法 |
WO2021057612A1 (zh) * | 2019-09-25 | 2021-04-01 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN112785651A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 用于确定相对位姿参数的方法和装置 |
CN112835450A (zh) * | 2021-02-05 | 2021-05-25 | 厦门元馨智能科技有限公司 | 一种体感操作一体的智能眼镜系统 |
CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
CN113759348A (zh) * | 2021-01-20 | 2021-12-07 | 京东鲲鹏(江苏)科技有限公司 | 一种雷达标定方法、装置、设备及存储介质 |
CN113759385A (zh) * | 2021-08-12 | 2021-12-07 | 江苏徐工工程机械研究院有限公司 | 一种激光雷达和相机融合测距方法及系统 |
CN114161384A (zh) * | 2021-10-28 | 2022-03-11 | 湖南海森格诺信息技术有限公司 | 一种用于光伏组件清扫装置的对准机构 |
CN114509776A (zh) * | 2022-04-08 | 2022-05-17 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN115984512A (zh) * | 2023-03-22 | 2023-04-18 | 成都量芯集成科技有限公司 | 一种平面场景三维重建装置及方法 |
CN116109781A (zh) * | 2023-04-12 | 2023-05-12 | 深圳市其域创新科技有限公司 | 一种三维重建方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882313A (zh) * | 2010-07-14 | 2010-11-10 | 中国人民解放军国防科学技术大学 | 单线激光雷达与ccd相机之间相互关系的标定方法 |
CN101901501A (zh) * | 2010-07-22 | 2010-12-01 | 首都师范大学 | 一种生成激光彩色云图的方法 |
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN104897060A (zh) * | 2015-06-17 | 2015-09-09 | 大连理工大学 | 采用坐标跟踪控制板的大视场全局测量方法 |
CN105043288A (zh) * | 2015-05-04 | 2015-11-11 | 天津科技大学 | 一种基于机器视觉引导的激光齿轮倒角轮廓测量仪及其测量方法 |
CN106066185A (zh) * | 2016-05-24 | 2016-11-02 | 华南理工大学 | 一种面向焊缝跟踪的线激光传感器自动标定装置及方法 |
CN107976668A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的方法 |
US20180357503A1 (en) * | 2017-06-13 | 2018-12-13 | TuSimple | Sensor calibration and time system for ground truth static scene sparse flow generation |
US20190004533A1 (en) * | 2017-07-03 | 2019-01-03 | Baidu Usa Llc | High resolution 3d point clouds generation from downsampled low resolution lidar 3d point clouds and camera images |
CN109300162A (zh) * | 2018-08-17 | 2019-02-01 | 浙江工业大学 | 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 |
-
2019
- 2019-04-22 CN CN201910323937.5A patent/CN110148180B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882313A (zh) * | 2010-07-14 | 2010-11-10 | 中国人民解放军国防科学技术大学 | 单线激光雷达与ccd相机之间相互关系的标定方法 |
CN101901501A (zh) * | 2010-07-22 | 2010-12-01 | 首都师范大学 | 一种生成激光彩色云图的方法 |
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN105043288A (zh) * | 2015-05-04 | 2015-11-11 | 天津科技大学 | 一种基于机器视觉引导的激光齿轮倒角轮廓测量仪及其测量方法 |
CN104897060A (zh) * | 2015-06-17 | 2015-09-09 | 大连理工大学 | 采用坐标跟踪控制板的大视场全局测量方法 |
CN106066185A (zh) * | 2016-05-24 | 2016-11-02 | 华南理工大学 | 一种面向焊缝跟踪的线激光传感器自动标定装置及方法 |
CN107976668A (zh) * | 2016-10-21 | 2018-05-01 | 法乐第(北京)网络科技有限公司 | 一种确定相机与激光雷达之间的外参数的方法 |
US20180357503A1 (en) * | 2017-06-13 | 2018-12-13 | TuSimple | Sensor calibration and time system for ground truth static scene sparse flow generation |
US20190004533A1 (en) * | 2017-07-03 | 2019-01-03 | Baidu Usa Llc | High resolution 3d point clouds generation from downsampled low resolution lidar 3d point clouds and camera images |
CN109300162A (zh) * | 2018-08-17 | 2019-02-01 | 浙江工业大学 | 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 |
Non-Patent Citations (5)
Title |
---|
YOONSU PARK ET AL: "Calibration between Color Camera and 3D LIDAR Instruments with a polygonal planar board", 《SENSORS》 * |
何守印: "基于多传感器融合的无人机自主避障研究", 《中国博士学位论文全文数据库 工程科技II辑》 * |
张双喜: "基于雷达与相机的无人驾驶智能车障碍物检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
桑瑞娟: "一种新的CCD相机与激光相机的标定方法", 《西南科技大学学报》 * |
肖宇峰: "Kinect与二维激光雷达结合的机器人障碍检测", 《电子科技大学学报》 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112449176A (zh) * | 2019-09-03 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 升降式摄像装置的测试方法及其测试系统 |
CN110766758A (zh) * | 2019-09-12 | 2020-02-07 | 浙江大华技术股份有限公司 | 标定方法、装置、系统及存储装置 |
CN110766758B (zh) * | 2019-09-12 | 2022-08-09 | 浙江大华技术股份有限公司 | 标定方法、装置、系统及存储装置 |
WO2021057612A1 (zh) * | 2019-09-25 | 2021-04-01 | 华为技术有限公司 | 传感器的标定方法和装置 |
CN110687521A (zh) * | 2019-10-15 | 2020-01-14 | 深圳数翔科技有限公司 | 一种车载激光雷达标定的方法 |
CN112785651A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 用于确定相对位姿参数的方法和装置 |
CN112785651B (zh) * | 2019-11-11 | 2024-03-01 | 北京京邦达贸易有限公司 | 用于确定相对位姿参数的方法和装置 |
CN110645916A (zh) * | 2019-11-14 | 2020-01-03 | 北京航空航天大学 | 基于基准标定板校正位姿的自由曲面测量方法与装置 |
CN111239711A (zh) * | 2019-12-10 | 2020-06-05 | 西南技术物理研究所 | 一种激光三维成像雷达自动化标定系统 |
CN110940358B (zh) * | 2019-12-31 | 2023-07-25 | 徐州治鼎环境科技有限公司 | 一种激光雷达和惯导联合标定的装置及标定方法 |
CN110940358A (zh) * | 2019-12-31 | 2020-03-31 | 徐州治鼎环境科技有限公司 | 一种激光雷达和惯导联合标定的装置及标定方法 |
CN111257909B (zh) * | 2020-03-05 | 2021-12-07 | 安徽意欧斯物流机器人有限公司 | 一种多2d激光雷达融合建图与定位方法及系统 |
CN111257909A (zh) * | 2020-03-05 | 2020-06-09 | 安徽意欧斯物流机器人有限公司 | 一种多2d激光雷达融合建图与定位方法及系统 |
CN111650605A (zh) * | 2020-07-08 | 2020-09-11 | 上海振华重工电气有限公司 | 一种角度、高度可调式激光雷达和相机联合安装的装置 |
CN111842197A (zh) * | 2020-07-20 | 2020-10-30 | 河海大学常州校区 | 一种工件自动排序分拣系统 |
CN111951305B (zh) * | 2020-08-20 | 2022-08-23 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
CN112308927A (zh) * | 2020-10-26 | 2021-02-02 | 南昌智能新能源汽车研究院 | 一种全景相机与激光雷达的融合装置及其标定方法 |
CN112308927B (zh) * | 2020-10-26 | 2024-05-17 | 南昌智能新能源汽车研究院 | 一种全景相机与激光雷达的融合装置及其标定方法 |
CN112505663A (zh) * | 2020-11-25 | 2021-03-16 | 上海交通大学 | 用于多线激光雷达与相机联合标定的标定方法 |
CN113759348B (zh) * | 2021-01-20 | 2024-05-17 | 京东鲲鹏(江苏)科技有限公司 | 一种雷达标定方法、装置、设备及存储介质 |
CN113759348A (zh) * | 2021-01-20 | 2021-12-07 | 京东鲲鹏(江苏)科技有限公司 | 一种雷达标定方法、装置、设备及存储介质 |
CN112835450A (zh) * | 2021-02-05 | 2021-05-25 | 厦门元馨智能科技有限公司 | 一种体感操作一体的智能眼镜系统 |
CN113538591B (zh) * | 2021-06-18 | 2024-03-12 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
CN113759385A (zh) * | 2021-08-12 | 2021-12-07 | 江苏徐工工程机械研究院有限公司 | 一种激光雷达和相机融合测距方法及系统 |
CN114161384A (zh) * | 2021-10-28 | 2022-03-11 | 湖南海森格诺信息技术有限公司 | 一种用于光伏组件清扫装置的对准机构 |
CN114509776B (zh) * | 2022-04-08 | 2022-07-29 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN114509776A (zh) * | 2022-04-08 | 2022-05-17 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN115984512A (zh) * | 2023-03-22 | 2023-04-18 | 成都量芯集成科技有限公司 | 一种平面场景三维重建装置及方法 |
CN116109781A (zh) * | 2023-04-12 | 2023-05-12 | 深圳市其域创新科技有限公司 | 一种三维重建方法及系统 |
CN116109781B (zh) * | 2023-04-12 | 2023-06-23 | 深圳市其域创新科技有限公司 | 一种三维重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110148180B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110148180A (zh) | 一种激光雷达与相机融合装置与标定方法 | |
US7456842B2 (en) | Color edge based system and method for determination of 3D surface topology | |
CN103615980B (zh) | 一种板件上圆孔参数的测量方法及系统 | |
CN101526336B (zh) | 基于量块的线结构光三维视觉传感器标定方法 | |
CN102980542B (zh) | 一种多传感器联合标定方法 | |
CN109300162A (zh) | 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 | |
CN109596059A (zh) | 一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法 | |
Mi et al. | A vision-based displacement measurement system for foundation pit | |
CN101458072A (zh) | 一种基于多传感器的三维轮廓测量装置及其测量方法 | |
CN103759669A (zh) | 一种大型零件的单目视觉测量方法 | |
CN102376089A (zh) | 一种标靶校正方法及系统 | |
CN103292695A (zh) | 一种单目立体视觉测量方法 | |
CN109443209A (zh) | 一种基于单应性矩阵的线结构光系统标定方法 | |
CN207649542U (zh) | 一种多量程大尺寸高精度视觉测量机构 | |
CN107816942A (zh) | 一种基于十字结构光视觉系统的平面二维尺寸测量方法 | |
CN110415300A (zh) | 一种基于三靶标建面的立体视觉结构动态位移测量方法 | |
CN111707187B (zh) | 一种大型零件的测量方法及系统 | |
CN106403838A (zh) | 一种手持式线结构光视觉三维扫描仪的现场标定方法 | |
CN106441234B (zh) | 一种3d机器视觉空间检测标定方法 | |
CN106289086A (zh) | 一种用于光学标识点间距离精确标定的双相机测量方法 | |
CN103697811A (zh) | 一种相机与结构光源结合获取物体轮廓三维坐标的方法 | |
CN113884510B (zh) | 一种3d玻璃盖板外观图像的采集方法 | |
Zheng et al. | Calibration of linear structured light system by planar checkerboard | |
CN104034259A (zh) | 一种影像测量仪校正方法 | |
CN101936716A (zh) | 轮廓测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |