CN108389233B - 基于边界约束和均值逼近的激光扫描仪与相机标定方法 - Google Patents
基于边界约束和均值逼近的激光扫描仪与相机标定方法 Download PDFInfo
- Publication number
- CN108389233B CN108389233B CN201810154520.6A CN201810154520A CN108389233B CN 108389233 B CN108389233 B CN 108389233B CN 201810154520 A CN201810154520 A CN 201810154520A CN 108389233 B CN108389233 B CN 108389233B
- Authority
- CN
- China
- Prior art keywords
- vertical hole
- center
- point
- calibration plate
- laser scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明涉及三维点云数据处理与三维场景重建技术领域,一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,包括以下步骤:(1)制作黑白栅格竖孔标定板,(2)采集点云和图像,(3)在激光坐标系中利用边界约束计算区间中心,(4)在激光坐标系中利用均值逼近计算平均中心,(5)在激光坐标系中利用最优逼近计算竖孔中心,(6)在图像坐标系中利用均值逼近计算竖孔中心,(7)计算点云与图像的几何映射关系。本发明利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心,来求解几何映射关系,计算过程简单,利用边界约束和均值逼近两种思想,计算激光坐标系中的竖孔中心,提高了激光坐标系中的竖孔中心的计算精度,使二维激光扫描仪与相机标定更加准确可靠。
Description
技术领域
本发明涉及一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,属于三维点云数据处理与三维场景重建技术领域。
背景技术
在数字化现实世界的过程中,三维点云数据记录了物体表面的几何属性和位置信息,二维图像记录了物体表面的颜色信息和纹理信息,二者的深度融合,将形成一种新兴的数字媒体,即三维彩色点云数据,三维彩色点云数据是三维点云数据的进一步发展,可以更加精确地表述现实世界。在三维激光点云与二维图像融合过程中,激光扫描仪与相机的标定是决定融合精度的一项最为关键的技术,具有较强的理论意义和应用价值,目前已在工业检测、环境感知、自主导航等领域有了越来越多的应用。
二维激光扫描仪的工作方式为线扫描。每次扫描可以获取一条由一系列离散点顺序组成的离散曲线,又称为线点云。该线点云位于实际场景与激光扫描平面的交线上。二维激光扫描仪与相机的标定主要是指:利用二维激光扫描仪和相机扫描拍摄三维场景,分别获取场景的点云和图像,确定激光坐标系中点云与图像坐标系中图像之间的几何映射关系,以获取每一个激光扫描点所对应的像素点。
目前,激光扫描仪与相机的标定方法主要有以下三种:1)利用激光扫描仪与相机的安装结构实现标定,该方法主要使用固定装置将激光扫描仪与相机进行固定安装,并在实验环境下通过标定得到激光扫描仪与相机的结构关系,从而完成激光扫描仪与相机的标定;2)利用三维激光点云与二维图像中的直线或平面特征实现标定,该方法主要是对三维点云与二维图像中的直线特征进行提取,利用相机光心与直线特征构造平面,通过求取点云中对应直线端点到达该平面的最小距离来求解相机的内部参数和外部参数,进而实现激光扫描仪与相机的标定;3)利用激光角点的回波反射图与图像相似性实现标定,该方法利用激光角点的回波反射强度将点云制成反射图,并根据反射图与纹理图像之间的相似性求解几何映射关系,从而实现激光扫描仪与相机的标定。
与本发明相近的标定方法为发明人前期研发的一种三维激光点云与二维图像的融合方法,已申请发明专利,专利申请号为201610420484.4。本发明与之不同之处在于:1)在激光坐标系中,同时利用竖孔的上边界和下边界,来构建竖孔中心的位置约束区间矩阵,并计算区间中心,区间中心是竖孔中心的一个逼近;2)在激光坐标系中,利用均值逼近方法,计算平均中心,平均中心是竖孔中心的另一个逼近;3)在激光坐标系中,利用区间中心和平均中心,通过最优逼近方法,计算竖孔中心。因此,本发明在标定方法上有了很大的改进,提升了激光坐标系下竖孔中心计算的准确度,使二维激光扫描仪与相机的标定更加精确可靠。
发明内容
为了进一步提高二维激光扫描仪与相机标定的精度,本发明目的是提供一种基于边界约束和均值逼近的激光扫描仪与相机标定方法。本发明是在利用二维激光扫描仪和相机扫描拍摄三维场景时,为二维激光扫描仪和相机提供一种标定方法,以求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系,从而实现激光扫描仪点云与相机图像之间的准确融合,实时获取场景的三维彩色点云数据。
为了实现上述发明目的,解决已有技术中存在的向题,本发明采取的技术方案是:一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,包含以下步骤:
步骤1、制作黑白栅格竖孔标定板,标定板尺寸为180cm×72cm,其上均匀分布着边长为12cm的黑白栅格,沿着标定板中心线lc均匀排列着14个竖孔B={hj|1≤j≤14},其中,hj为第j个竖孔,竖孔长6cm,宽为2cm,每一个竖孔中心cj均位于黑白栅格的角点;
步骤2、采集点云和图像,固定二维激光扫描仪和相机,将标定板垂直面向二维激光扫描仪和相机,利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑,来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心;在此位置下,利用二维激光扫描仪扫描标定板,获取标定板的点云P={pi=(xi,yi,zi)|1≤i≤n},其中,pi=(xi,yi,zi)为第i个激光扫描点,n为激光扫描点的个数,激光坐标系[OL;x,y,z]的原点OL位于激光光心,xz平面位于激光扫描平面;同时,利用相机拍摄标定板,获取标定板的图像I={qi=(ui,vi)|1≤i≤m},其中,qi=(ui,vi)为第i个像素点,m为像素点的个数,图像坐标系[OC;u,v]的原点OC位于像平面左上角顶点,uv平面位于图像传感器平面;
步骤3、在激光坐标系中利用边界约束计算区间中心,分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点,利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线,连接二维激光扫描仪光心与激光扫描点获得激光扫描线,求解激光扫描线与拟合直线的交点,并利用边界约束构建区间矩阵,计算区间中心,具体包括以下子步骤:
(a)在利用二维激光扫描仪扫描标定板时,由于激光扫描平面穿过所有竖孔中心,所以一部分激光扫描线探测到标定板,所获得的激光扫描点称为标定板上的激光扫描点,而另一部分激光扫描线穿过竖孔探测到标定板后面的物体,所获得的激光扫描点称为从竖孔中穿过的激光扫描点;因此,可以根据位置远近,在激光坐标系[OL;x,y,z]下从点云P中提取标定板上的激光扫描点Pa={pai|1≤i≤na}和从竖孔中穿过的激光扫描点Pb={pbi|1≤i≤nb},其中,pai为第i个标定板上的激光扫描点,na为标定板上的激光扫描点的个数,pbi为第i个从竖孔中穿过的激光扫描点,nb为从竖孔中穿过的激光扫描点的个数;
(b)利用最小二乘法对位于标定板上的激光扫描点Pa进行线性拟合,获取拟合直线lf,其为中心线lc的逼近;
(c)依次连接激光扫描仪光心OL和激光扫描点Pa与Pb,获取标定板上的激光扫描线La={Lai|1≤i≤na}和从竖孔中穿过的激光扫描线Lb={Lbi|1≤i≤nb},其中,Lai为第i条标定板上的激光扫描线,na为标定板上的激光扫描线的条数,Lbi为第i条从竖孔中穿过的激光扫描线,nb为从竖孔中穿过的激光扫描线的条数;
(e)由于竖孔的间隔,标定板上的交点可分为15个部分,即 其中,为第j个部分标定板上的交点,为第j个部分中第i个标定板上的交点,naj为第j个部分标定板上的交点的个数,且有由于竖孔的间隔,竖孔上的交点可分为14个部分,即 其中,为第j个部分竖孔上的交点,为第j个部分中第i个竖孔上的交点,nbj第j个部分竖孔上的交点的个数,且有
(f)第j个竖孔hj的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线,是第j个部分标定板上的交点中最下面一个点,是第j个部分竖孔上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线lf向下移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的上边
(g)第j个竖孔hj的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线,是第j个部分竖孔上的交点中最下面一个点,是第j+1个部分标定板上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线lf向上移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的下边
步骤4、在激光坐标系中利用均值逼近计算平均中心,每一部分竖孔上的交点都是对应竖孔的真实描述,因此,可用竖孔上的交点的平均值来逼近竖孔中心,计算平均中心,具体包括以下子步骤:
步骤6、在图像坐标系中利用均值逼近计算竖孔中心,利用黑白栅格角点提取方法,在图像坐标系[OC;u,v]中,获取与每一个竖孔hj的中心ej直接相邻的6个角点其中,为与竖孔中心ej直接相邻的第i个角点,则每一个竖孔hj的中心ej计算为
步骤7、计算点云与图像的几何映射关系,利用相机针孔模型构建超定方程组,计算点云与图像的几何映射关系,完成二维激光扫描仪与相机的标定,具体包括以下子步骤:
(a)根据相机针孔模型、空间旋转矩阵和空间平移向量,构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型,按公式(1)进行描述,
[R T]=[r1 r2 r3 t]
其中,s为相机放大系数,e=(u,v)为图像坐标系竖孔中心,A为相机内参矩阵,[RT]为外参矩阵,R为3×3旋转矩阵,T为3×1平移向量,r1、r2、r3和t为外参矩阵的列向量,c=(x,y,z)为激光坐标系竖孔中心,由于xz平面为二维激光扫描仪的扫描平面,所以y=0;
(b)由于y=0,对公式(1)进行矩阵计算,可得到公式(2);
(c)继续进行计算,
其中,T为向量转置符号,由公式(2)可计算得到公式(3);
(d)根据矩阵相等原则,由公式(3)可计算得到公式(4);
(e)利用公式(4),构建方程组,其表达形式按公式(5)进行描述;
(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心,以及公式(5),构建超定方程组,其表达形式按公式(6)进行描述,
其中,F为28×9矩阵,构成了超定方程组的系数矩阵,利用最小二乘法求解该超定方程组,即可得到几何映射关系H,完成二维激光扫描仪与相机的标定。
本发明有益效果是:一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,包括以下步骤:(1)制作黑白栅格竖孔标定板,(2)采集点云和图像,(3)在激光坐标系中利用边界约束计算区间中心,(4)在激光坐标系中利用均值逼近计算平均中心,(5)在激光坐标系中利用最优逼近计算竖孔中心,(6)在图像坐标系中利用均值逼近计算竖孔中心,(7)计算点云与图像的几何映射关系。与已有技术相比,本发明具有以下优点:一是,本发明直接利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心,来求解几何映射关系,计算量小,计算过程简单,计算效率高;二是,本发明同时利用边界约束和均值逼近两种思想,来计算激光坐标系中的竖孔中心,极大地提高了激光坐标系中的竖孔中心的计算精度,从而使二维激光扫描仪与相机的标定更加准确可靠。
附图说明
图1是本发明方法步骤流程图。
图2是黑白栅格竖孔标定板示意图。
图3是点云与图像采集示意图。
图4是点云P采集结果图。
图5是标定板上的激光扫描点Pa和从竖孔中穿过的激光扫描点Pb提取结果图。
图6是直线lf拟合和激光扫描线La与Lb获取结果图。
图12是图像坐标系中竖孔中心ej计算示意图。
图13是点云和图像融合结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,包括以下步骤:
步骤1、制作黑白栅格竖孔标定板,标定板尺寸为180cm×72cm,其上均匀分布着边长为12cm的黑白栅格,沿着标定板中心线lc均匀排列着14个竖孔B={hj|1≤j≤14},其中,hj为第j个竖孔,竖孔长6cm,宽为2cm,每一个竖孔中心cj均位于黑白栅格的角点,如图2所示;
步骤2、采集点云和图像,固定二维激光扫描仪和相机,将标定板垂直面向二维激光扫描仪和相机,利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑,来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心;在此位置下,利用二维激光扫描仪扫描标定板,获取标定板的点云P={pi=(xi,yi,zi)|1≤i≤n},其中,pi=(xi,yi,zi)为第i个激光扫描点,n为激光扫描点的个数,激光坐标系[OL;x,y,z]的原点OL位于激光光心,xz平面位于激光扫描平面;同时,利用相机拍摄标定板,获取标定板的图像I={qi=(ui,vi)|1≤i≤m},其中,qi=(ui,vi)为第i个像素点,m为像素点的个数,图像坐标系[OC;u,v]的原点OC位于像平面左上角顶点,uv平面位于图像传感器平面,如图3所示;
步骤3、在激光坐标系中利用边界约束计算区间中心,分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点,利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线,连接二维激光扫描仪光心与激光扫描点获得激光扫描线,求解激光扫描线与拟合直线的交点,并利用边界约束构建区间矩阵,计算区间中心,具体包括以下子步骤:
(a)在利用二维激光扫描仪扫描标定板时,由于激光扫描平面穿过所有竖孔中心,所以一部分激光扫描线探测到标定板,所获得的激光扫描点称为标定板上的激光扫描点,而另一部分激光扫描线穿过竖孔探测到标定板后面的物体,所获得的激光扫描点称为从竖孔中穿过的激光扫描点;因此,可以根据位置远近,在激光坐标系[OL;x,y,z]下从点云P中提取标定板上的激光扫描点Pa={pai|1≤i≤na}和从竖孔中穿过的激光扫描点Pb={pbi|1≤i≤nb},其中,pai为第i个标定板上的激光扫描点,na为标定板上的激光扫描点的个数,pbi为第i个从竖孔中穿过的激光扫描点,nb为从竖孔中穿过的激光扫描点的个数,如图4和图5所示;
(b)利用最小二乘法对位于标定板上的激光扫描点Pa进行线性拟合,获取拟合直线lf,其为中心线lc的逼近,如图6所示;
(c)依次连接激光扫描仪光心OL和激光扫描点Pa与Pb,获取标定板上的激光扫描线La={Lai|1≤i≤na}和从竖孔中穿过的激光扫描线Lb={Lbi|1≤i≤nb},其中,Lai为第i条标定板上的激光扫描线,na为标定板上的激光扫描线的条数,Lbi为第i条从竖孔中穿过的激光扫描线,nb为从竖孔中穿过的激光扫描线的条数,如图6所示;
(d)分别求解激光扫描线La和Lb与拟合直线lf的交点,获取标定板上的交点和竖孔上的交点其中,为第i个标定板上的交点,na为标定板上的交点的个数,为第i个竖孔上的交点,nb为竖孔上的交点的个数,如图7所示;
(e)由于竖孔的间隔,标定板上的交点可分为15个部分,即 其中,为第j个部分标定板上的交点,为第j个部分中第i个标定板上的交点,naj为第j个部分标定板上的交点的个数,且有由于竖孔的间隔,竖孔上的交点可分为14个部分,即 其中,为第j个部分竖孔上的交点,为第j个部分中第i个竖孔上的交点,nbj第j个部分竖孔上的交点的个数,且有如图8所示;
(f)第j个竖孔hj的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线,是第j个部分标定板上的交点中最下面一个点,是第j个部分竖孔上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线lf向下移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj,如图9所示;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的上边如图10所示;
(g)第j个竖孔hj的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线,是第j个部分竖孔上的交点中最下面一个点,是第j+1个部分标定板上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线lf向上移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj,如图9所示;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的下边如图10所示;
步骤4、在激光坐标系中利用均值逼近计算平均中心,每一部分竖孔上的交点都是对应竖孔的真实描述,因此,可用竖孔上的交点的平均值来逼近竖孔中心,计算平均中心,具体包括以下子步骤:
步骤6、在图像坐标系中利用均值逼近计算竖孔中心,利用黑白栅格角点提取方法,在图像坐标系[OC;u,v]中,获取与每一个竖孔hj的中心ej直接相邻的6个角点其中,为与竖孔中心ej直接相邻的第i个角点,如图12所示,则每一个竖孔hj的中心ej计算为
步骤7、计算点云与图像的几何映射关系,利用相机针孔模型构建超定方程组,计算点云与图像的几何映射关系,完成二维激光扫描仪与相机的标定,具体包括以下子步骤:
(a)根据相机针孔模型、空间旋转矩阵和空间平移向量,构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型,按公式(1)进行描述,
[R T]=[r1 r2 r3 t]
其中,s为相机放大系数,e=(u,v)为图像坐标系竖孔中心,A为相机内参矩阵,[RT]为外参矩阵,R为3×3旋转矩阵,T为3×1平移向量,r1、r2、r3和t为外参矩阵的列向量,c=(x,y,z)为激光坐标系竖孔中心,由于xz平面为二维激光扫描仪的扫描平面,所以y=0;
(b)由于y=0,对公式(1)进行矩阵计算,可得到公式(2);
(c)继续进行计算,
其中,T为向量转置符号,由公式(2)可计算得到公式(3);
(d)根据矩阵相等原则,由公式(3)可计算得到公式(4);
(e)利用公式(4),构建方程组,其表达形式按公式(5)进行描述;
(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心,以及公式(5),构建超定方程组,其表达形式按公式(6)进行描述,
其中,F为28×9矩阵,构成了超定方程组的系数矩阵,利用最小二乘法求解该超定方程组,即可得到几何映射关系H,完成二维激光扫描仪与相机的标定。在实时扫描拍摄场景时,利用几何映射关系即可实时融合点云和图像,获取场景的三维彩色点云,如图13所示。
本发明优点在于:一是,本发明直接利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心,来求解几何映射关系,计算量小,计算过程简单,计算效率高;二是,本发明同时利用边界约束和均值逼近两种思想,来计算激光坐标系中的竖孔中心,极大地提高了激光坐标系中的竖孔中心的计算精度,从而使二维激光扫描仪与相机的标定更加准确可靠。
Claims (1)
1.一种基于边界约束和均值逼近的激光扫描仪与相机标定方法,其特征在于包含以下步骤:
步骤1、制作黑白栅格竖孔标定板,标定板尺寸为180cm×72cm,其上均匀分布着边长为12cm的黑白栅格,沿着标定板中心线lc均匀排列着14个竖孔B={hj|1≤j≤14},其中,hj为第j个竖孔,竖孔长6cm,宽为2cm,每一个竖孔中心cj均位于黑白栅格的角点;
步骤2、采集点云和图像,固定二维激光扫描仪和相机,将标定板垂直面向二维激光扫描仪和相机,利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑,来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心;在此位置下,利用二维激光扫描仪扫描标定板,获取标定板的点云P={pi=(xi,yi,zi)|1≤i≤n},其中,pi=(xi,yi,zi)为第i个激光扫描点,n为激光扫描点的个数,激光坐标系[OL;x,y,z]的原点OL位于激光光心,xz平面位于激光扫描平面;同时,利用相机拍摄标定板,获取标定板的图像I={qi=(ui,vi)|1≤i≤m},其中,qi=(ui,vi)为第i个像素点,m为像素点的个数,图像坐标系[OC;u,v]的原点OC位于像平面左上角顶点,uv平面位于图像传感器平面;
步骤3、在激光坐标系中利用边界约束计算区间中心,分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点,利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线,连接二维激光扫描仪光心与激光扫描点获得激光扫描线,求解激光扫描线与拟合直线的交点,并利用边界约束构建区间矩阵,计算区间中心,具体包括以下子步骤:
(a)在利用二维激光扫描仪扫描标定板时,由于激光扫描平面穿过所有竖孔中心,所以一部分激光扫描线探测到标定板,所获得的激光扫描点称为标定板上的激光扫描点,而另一部分激光扫描线穿过竖孔探测到标定板后面的物体,所获得的激光扫描点称为从竖孔中穿过的激光扫描点;因此,可以根据位置远近,在激光坐标系[OL;x,y,z]下从点云P中提取标定板上的激光扫描点Pa={pai|1≤i≤na}和从竖孔中穿过的激光扫描点Pb={pbi|1≤i≤nb},其中,pai为第i个标定板上的激光扫描点,na为标定板上的激光扫描点的个数,pbi为第i个从竖孔中穿过的激光扫描点,nb为从竖孔中穿过的激光扫描点的个数;
(b)利用最小二乘法对位于标定板上的激光扫描点Pa进行线性拟合,获取拟合直线lf,其为中心线lc的逼近;
(c)依次连接激光扫描仪光心OL和激光扫描点Pa与Pb,获取标定板上的激光扫描线La={Lai|1≤i≤na}和从竖孔中穿过的激光扫描线Lb={Lbi|1≤i≤nb},其中,Lai为第i条标定板上的激光扫描线,na为标定板上的激光扫描线的条数,Lbi为第i条从竖孔中穿过的激光扫描线,nb为从竖孔中穿过的激光扫描线的条数;
(e)由于竖孔的间隔,标定板上的交点可分为15个部分,即 其中,为第j个部分标定板上的交点,为第j个部分中第i个标定板上的交点,naj为第j个部分标定板上的交点的个数,且有由于竖孔的间隔,竖孔上的交点可分为14个部分,即 其中,为第j个部分竖孔上的交点,为第j个部分中第i个竖孔上的交点,nbj第j个部分竖孔上的交点的个数,且有
(f)第j个竖孔hj的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线,是第j个部分标定板上的交点中最下面一个点,是第j个部分竖孔上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线lf向下移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的上边
(g)第j个竖孔hj的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线,是第j个部分竖孔上的交点中最下面一个点,是第j+1个部分标定板上的交点中最上面一个点,与之间在拟合直线lf上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线lf向上移动0.5倍竖孔长即3cm,就可获得一个新的区间该区间包含了第j个竖孔hj的中心cj;由于竖孔间隔固定,相邻竖孔中心之间的距离为黑白栅格边长12cm,因此,将区间沿拟合直线lf向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时),就可获得一个新的区间该区间包含了第k个竖孔hk的中心ck,该区间是竖孔中心ck的一个位置约束,此位置约束来自于第j个竖孔hj的下边
步骤4、在激光坐标系中利用均值逼近计算平均中心,每一部分竖孔上的交点都是对应竖孔的真实描述,因此,可用竖孔上的交点的平均值来逼近竖孔中心,计算平均中心,具体包括以下子步骤:
步骤6、在图像坐标系中利用均值逼近计算竖孔中心,利用黑白栅格角点提取方法,在图像坐标系[OC;u,v]中,获取与每一个竖孔hj的中心ej直接相邻的6个角点其中,为与竖孔中心ej直接相邻的第i个角点,则每一个竖孔hj的中心ej计算为
步骤7、计算点云与图像的几何映射关系,利用相机针孔模型构建超定方程组,计算点云与图像的几何映射关系,完成二维激光扫描仪与相机的标定,具体包括以下子步骤:
(a)根据相机针孔模型、空间旋转矩阵和空间平移向量,构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型,按公式(1)进行描述,
[R T]=[r1 r2 r3 t]
其中,s为相机放大系数,e=(u,v)为图像坐标系竖孔中心,A为相机内参矩阵,[R T]为外参矩阵,R为3×3旋转矩阵,T为3×1平移向量,r1、r2、r3和t为外参矩阵的列向量,c=(x,y,z)为激光坐标系竖孔中心,由于xz平面为二维激光扫描仪的扫描平面,所以y=0;
(b)由于y=0,对公式(1)进行矩阵计算,可得到公式(2);
(c)继续进行计算,
其中,T为向量转置符号,由公式(2)可计算得到公式(3);
(d)根据矩阵相等原则,由公式(3)可计算得到公式(4);
(e)利用公式(4),构建方程组,其表达形式按公式(5)进行描述;
(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心,以及公式(5),构建超定方程组,其表达形式按公式(6)进行描述,
其中,F为28×9矩阵,构成了超定方程组的系数矩阵,利用最小二乘法求解该超定方程组,即可得到几何映射关系H,完成二维激光扫描仪与相机的标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810154520.6A CN108389233B (zh) | 2018-02-23 | 2018-02-23 | 基于边界约束和均值逼近的激光扫描仪与相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810154520.6A CN108389233B (zh) | 2018-02-23 | 2018-02-23 | 基于边界约束和均值逼近的激光扫描仪与相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108389233A CN108389233A (zh) | 2018-08-10 |
CN108389233B true CN108389233B (zh) | 2020-04-14 |
Family
ID=63069026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810154520.6A Active CN108389233B (zh) | 2018-02-23 | 2018-02-23 | 基于边界约束和均值逼近的激光扫描仪与相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108389233B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658457B (zh) * | 2018-11-02 | 2021-09-17 | 浙江大学 | 一种激光与相机任意相对位姿关系的标定方法 |
CN111862224B (zh) * | 2019-04-17 | 2023-09-19 | 杭州海康威视数字技术股份有限公司 | 确定相机与激光雷达之间外参的方法和装置 |
CN110246191B (zh) * | 2019-06-13 | 2021-03-16 | 易思维(杭州)科技有限公司 | 相机非参数模型标定方法及标定精度评估方法 |
CN110361717B (zh) * | 2019-07-31 | 2021-03-12 | 苏州玖物互通智能科技有限公司 | 激光雷达-摄像机联合标定靶和联合标定方法 |
CN110617876B (zh) * | 2019-11-01 | 2021-10-22 | 云南电网有限责任公司电力科学研究院 | 电力设备异响定位方法 |
CN111179358B (zh) * | 2019-12-30 | 2024-01-05 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
CN111307732B (zh) * | 2020-02-21 | 2022-09-20 | 黎明职业大学 | 一种图像扫描检测碳纤维板方法 |
CN111612844B (zh) * | 2020-04-08 | 2022-10-21 | 大连理工大学 | 基于扇形特征的三维激光扫描仪与相机标定方法 |
CN111709995B (zh) * | 2020-05-09 | 2022-09-23 | 西安电子科技大学 | 一种激光雷达与摄像头之间的位置标定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150042757A1 (en) * | 2013-08-09 | 2015-02-12 | Makerbot Industries, Llc | Laser scanning systems and methods |
CN106097348B (zh) * | 2016-06-13 | 2019-03-05 | 大连理工大学 | 一种三维激光点云与二维图像的融合方法 |
CN106451568B (zh) * | 2016-11-19 | 2019-04-26 | 大连理工大学 | 一种特高压交直流混联电网中短期协调调度方法 |
CN107014312B (zh) * | 2017-04-25 | 2019-05-24 | 西安交通大学 | 一种振镜式线激光扫描三维测量系统的整体标定方法 |
CN107392845A (zh) * | 2017-07-31 | 2017-11-24 | 芜湖微云机器人有限公司 | 一种3d点云成像及定位的方法 |
-
2018
- 2018-02-23 CN CN201810154520.6A patent/CN108389233B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108389233A (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108389233B (zh) | 基于边界约束和均值逼近的激光扫描仪与相机标定方法 | |
CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
CN106097348B (zh) | 一种三维激光点云与二维图像的融合方法 | |
CN109029284B (zh) | 一种基于几何约束的三维激光扫描仪与相机标定方法 | |
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN110363158B (zh) | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 | |
CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
CN107192350B (zh) | 一种三维激光扫描仪内参数标定方法及装置 | |
CN110823252B (zh) | 一种多线激光雷达和单目视觉的自动标定方法 | |
CN107167788A (zh) | 获取激光雷达校准参数、激光雷达校准的方法及系统 | |
CN109658444B (zh) | 一种基于多模态特征的规则三维彩色点云配准方法 | |
CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
CN103177442A (zh) | 一种无重叠视场的相机与二维激光的标定方法 | |
CN111325801A (zh) | 一种激光雷达和相机的联合标定方法 | |
CN105627948A (zh) | 一种大型复杂曲面测量系统及其应用 | |
CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
CN106323286B (zh) | 一种机器人坐标系与三维测量坐标系的变换方法 | |
CN111856436A (zh) | 一种多线激光雷达和红外相机的联合标定装置及标定方法 | |
CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
CN112365545B (zh) | 基于大平面复合靶标的激光雷达与可见光相机的标定方法 | |
CN113446957B (zh) | 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置 | |
CN112305557B (zh) | 一种全景相机与多线激光雷达外参标定系统 | |
CN108917640A (zh) | 一种激光盲孔深度检测方法及其系统 | |
CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
CN114998545A (zh) | 一种基于深度学习的三维建模阴影识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |