CN112665517A - 一种多相机大视场表面形状测量标定方法 - Google Patents

一种多相机大视场表面形状测量标定方法 Download PDF

Info

Publication number
CN112665517A
CN112665517A CN202011490117.4A CN202011490117A CN112665517A CN 112665517 A CN112665517 A CN 112665517A CN 202011490117 A CN202011490117 A CN 202011490117A CN 112665517 A CN112665517 A CN 112665517A
Authority
CN
China
Prior art keywords
camera
plane
laser
coordinate system
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011490117.4A
Other languages
English (en)
Other versions
CN112665517B (zh
Inventor
李子良
马立峰
黄庆学
王涛
江连运
胡鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202011490117.4A priority Critical patent/CN112665517B/zh
Publication of CN112665517A publication Critical patent/CN112665517A/zh
Application granted granted Critical
Publication of CN112665517B publication Critical patent/CN112665517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明属于多相机标定测量领域,具体涉及一种多相机大视场表面形状测量标定方法,本方法主要利用激光线条的特征线、特征面分别对单相机结构光测量系统进行标定,之后根据光平面的唯一性对标定相机坐标系进行旋转平移,使得多相机系统姿态统一到标准坐标系姿态下,通过计算相邻相机相同视野中的同一特征点的坐标值,获取相邻相机之间的坐标平移关系,将多相机系统映射到基准坐标下,从而实现了宽范围、大视场的三维形貌测量,本发明主要解决了多相机结构光测量系统由于安装误差等带来的更多标定问题。

Description

一种多相机大视场表面形状测量标定方法
技术领域
本发明属于多相机标定测量领域,特别是涉及一种多相机大视场表面形状测量标定方法。
背景技术
随着现代科技的发展,机器视觉的应用也越来越广泛,并逐步发展为智能装备中不可或缺的检测手段。其中视觉和激光器组成的线结构光测量系统,以结构简单、效率高、非接触式测量等主要特点,在三维重建、三维表面形状测量等领域具有广泛的应用前景。线结构光测量系统一般由相机、线激光器、工控机及相关的算法组成。其测量原理主要通过相机采集打到物体表面的激光线的形变数据,进行坐标转换和计算得到被测物体的表面三维点云数据。在线结构光测量系统中,测量的精度取决于系统标定的精度。
当前结构光标定的方法多是针对单目相机进行的标定,对同一个单目结构光测量系统来说测量的工件面积、体积越大,测量精度就越低,当对超大工件进行三维形貌重建时,单相机系统必定受限,因此文中提供一种多相机大视野三维形貌测量方法及相关的标定方法,该方法解决了大视场三维测量问题,如宽厚板板形测量问题、宽厚板剪切质量测量问题等。该线结构光测量系统主要由多个工业相机、一个线激光器和工控机及相关软件组成,多个相机结合可以扩大整个视场范围,满足既扩大了测量范围又不损失精度的要求。但这种多相机系统由于安装误差等带来了更多的标定问题。
发明内容
为解决上述技术问题,本发明提出了一种多相机大视场表面形状测量标定方法。主要利用激光线条的特征线、特征面分别对单相机结构光测量系统进行标定,之后根据光平面的唯一性对标定相机坐标系进行旋转平移,使得多相机系统姿态统一到标准坐标系姿态下,通过计算相邻相机相同视野中的同一特征点的坐标值,获取相邻相机之间的坐标平移关系,将多相机系统统一到基准坐标下,从而实现了宽范围、大视场的三维形貌测量系统。
本发明保护的技术方案为:一种多相机大视场表面形状测量标定方法,按照以下步骤进行:
步骤1)多相机内外参数进行标定,在标定过程中标定图像必须带有激光条,利用现有的张正友标定方法计算得到相机的内参数矩阵A及相机的外部参数[Rt],
Figure BDA0002840447570000011
其中fx、fy是焦距的参数,u0、v0是相机光轴在图像坐标系中的偏移量,R是旋转矩阵,t是平移向量;
步骤2)对标定图像进行二值化,取出激光线条部分并细化,用RANSAC直线拟合方法,保留在同一直线上的激光条直线上的点;
步骤3)验证所有提取的激光线直线上的点是否正确;
步骤4)计算出激光线条上每一个点在相机坐标下的坐标;
利用内参矩阵得出图像像素齐次坐标[u,v,1]T点对应的相机坐标[XC,YC,ZC]T,如式子(2)
Figure BDA0002840447570000021
步骤5)计算激光线条与相机坐标原点组成的平面方程;
有了激光线条的像素坐标,即可由式子(2)计算得到相应点的相机坐标值[X′C,YC′,Z′C]T,而OC点的坐标值为[0,0,0]T,则激光线条上每一点与OC组成的直线方程可表示为式子(3),其中[xc,yc,zc]T为直线上任意一点的坐标,每幅标定图像上的激光线条对应的像素点均可用式(3)计算得到一条过相机坐标原点的直线,由于误差因素的存在,采用RANSAC拟合方法将得到的多条直线拟合成一个平面,也即找到了相机坐标系下的特征平面方程,设为特征平面的系数为[ac,bc,cc,dc],则特征平面方程可表示为式子(4)
Figure BDA0002840447570000022
acxc+bcyc+cczc+dc=0 (4)
步骤6)计算棋盘格标定平面在相机坐标系下的平面方程:
由张正友标定方法可知,世界坐标系是建立在棋盘格标定板平面上的,因此在世界坐标系下,棋盘格标定板平面可用式子(5)表示;相机坐标系OCXCYCZC和世界坐标系OWXWYWZW的关系可由式子(6)表示;
Zw=0 (5)
Figure BDA0002840447570000023
结合式子(5)和(6)可得相机坐标系下的棋盘格平面方程为式子(7)
Figure BDA0002840447570000031
步骤7)计算激光平面在相机坐标系下的方程:
联立特征面平面方程4和棋盘格标定板平面方程7求解,即得两个平面的相交线直线方程,该直线方程也即为相机坐标系下的线激光平面与标定板平面的交线方程,计算得到两条不重合交线就能拟合出来激光平面方程,但在实际操作过程,特别是激光平面角度较大时,标定图像只能在有效的小范围内获取,因此为了更准确的获取激光平面方程,一般采集20张以上不同姿态的带有激光线条的标定图像,计算出多条交线,并用RANSAC拟合得到激光平面方程,激光平面方程用式子8表示
a1xc+b1yc+c1zc+d1=0 (8)
步骤8)以左侧第一个相机的相机坐标系为基准坐标系,依次对第二个、第三个.....、第n个相机进行以激光平面为基准的旋转平移,使得每个相机坐标下的激光平面均重合,完成了多相机坐标系姿态与基准坐标系姿态的对准;
步骤9)以左侧第一个相机的相机坐标系为基准坐标系,计算相邻相机中相同特征点在两个坐标系的坐标值,得到两个坐标系之间的平移关系,根据平移关系计算两个相机的相对位置,并求得两个相邻相机之间的距离;
步骤10)记录每个相机相对标准相机的旋转平移量,对计算得到的三维坐标进行校正,最终得到大视场下的表面形状数据。
进一步的,所述步骤8)中建立基准坐标系的具体过程为:设平面1的法向量为(Pa1,Pb1,Pc1),设平面2的法向量为(Pa2,Pb2,Pc2),则平面1和平面2的夹角Theta可用式子9求取,利用式子9求取拟合的激光平面与yoz平面的夹角Thetax1,其中激光平面的法向量为(a1,b1,c1),yoz平面的法向量为(1,0,0),若Thetax1为90度,则不作任何操作,若不等于90度,则以式子10分别绕Z轴旋转±(90-Thetax1),并计算哪个旋转方向拟合得到的平面与yoz平面的夹角更接近于90度,此时求解坐标原点绕旋Z轴旋转的度数,即将激光平面坐标系旋转了一定角度后,形成了新的坐标系,以新坐标系基准建立基准坐标系;
Figure BDA0002840447570000032
Figure BDA0002840447570000041
进一步的,步骤8)中第n个相机与基准相机坐标系对齐的具体步骤如下,以第二相机为例,说明如何将第二相机的相机坐标系映射到基准相机坐标系下:
联立两个相机坐标下得到的激光平面方程,如式子11,即得到了两个平面的交线的,在交线上任取两个不同的点P1(P1x,P1y,P1z)和P2(P2x,P2y,P2z),
Figure BDA0002840447570000042
8.1平移激光平面:
为了使第二个相机坐标下的激光平面方程与基准相机坐标下的激光平面重合,首先保持基准坐标系不变,将两个激光平面和第二相机坐标系通过平移矩阵式子12进行平移,即将P1点移至基准坐标原点得到P1′点,P2移至P2′点,两平面交线P1′P2′在xoy平面的投影线为P1′Pp,计算直线P1′Pp与Y轴的夹角ThetazILPy;
Figure BDA0002840447570000043
8.2激光平面绕Z轴旋转:
为了使两个平面的交线与Y轴重合,要使交线P1′P2′先绕Z轴用公式13旋转ThetazILP,但由于旋转方向有两个,因此为了确定旋转方向,计算直线P1′Pp与X轴的夹角ThetazILPx,当ThetazILPx<90°时,ThetazILP=ThetazILPy,否则ThetazILP=-ThetazILPy,将两平面交线P1′P2′旋转至P1″P2″,P1′Pp旋转至P1″Pp′;
Figure BDA0002840447570000044
8.3激光平面绕X轴旋转:
当激光平面绕Z轴旋转之后,两激光平面的交线P1″P2″在xoy面上的投影P1″Pp′正好位于Y轴上,此时绕X轴用公式14旋转ThetaxILP,但由于旋转方向也有两个,计算向量
Figure BDA0002840447570000045
与Z轴的夹角ThetaxILPz,向量
Figure BDA0002840447570000046
与Y轴的夹角为ThetaxILPy,当ThetaxILPz>90°时,旋转角ThetaxILP=ThetaxILPy,否则ThetaxILP=-ThetaxILPy,此时两个平面的交线P1″′P2″′完全与Y轴重合;
Figure BDA0002840447570000051
8.4第二激光平面绕Y轴旋转:
此时两个平面的交线已与Y轴完全重合,要使得两个激光平面重合,基准激光面不动,第二激光平面绕Y轴用公式15旋转ThetayILP,ThetayILP角是第二激光面与基准激光面之间的夹角,绕Y旋转也是两个方向,分别朝两个方向旋转,旋转后,分别计算两个旋转平面与基准平面的夹角,取夹角为零的旋转方向;
Figure BDA0002840447570000052
8.5激光平面的逆旋转:
第二激光面已经与基准激光面重合到同一平面上了,将整个平面还原至基准坐标系下,这个过程是上述平移旋转的逆过程,可用逆平移旋转矩阵式子16来表示,即分别绕X、Z轴做逆旋转、并做逆平移得到第二相机坐标系相对于基准坐标系的平移旋转关系;
Rn=Tnpy*Rnz*Rnx (16)
其中,
Figure BDA0002840447570000053
Figure BDA0002840447570000054
进一步的,步骤9)两相邻相机之间的距离的具体计算过程如下:
取两个相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[XC1,YC1,ZC1,1]、[XC2,YC2,ZC2,1],设第二激光平面相对基准坐标系的旋转平移矩阵为RT12,取2、3相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[X′C2,Y′C2,Z′C2,1]、[XC3,YC3,ZC3,1],设第三激光平面相对基准坐标系的旋转平移矩阵为RT13,式子18、19、20分别是用标定得到的旋转平移矩阵将相同视野相同特征点的坐标进行了旋转平移,得到了相邻相机之间的位置关系,根据该位置关系及旋转矩阵可将多相机坐标系映射到基准坐标系下。基准相机与第二相机之间的距离可用式子21得到,第二相机与第三相机之间的距离可用式子22得到,其他相机以此类推。
[XC12,YC12,ZC12,1]T=RT12*[XC2,YC2,ZC2,1]T (18)
[X′C12,Y′C12,Z′C12,1]T=RT12*[X′C2,Y′C2,Z′C2,1]T (19)
[XC13,YC13,ZC13,1]T=RT13*[XC3,YC3,ZC3,1]T (20)
d12=XC12-XC1 (21)
d23=XC13-X′C12 (22)
本发明的标定方法解决了多相机系统由于安装误差等带来了更多的标定问题,主要利用激光线条的特征线、特征面分别进行单相机结构光测量系统进行标定,之后根据光平面的唯一性对标定相机坐标系进行旋转平移,使得多相机系统姿态统一到标准坐标系姿态下,通过计算相邻相机相同视野中的同一特征点的坐标值,获取相邻相机之间的坐标平移关系,将多相机系统映射到基准坐标下,从而实现了宽范围、大视场的三维形貌测量系统。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1为宽厚板板形测量装置示意图。
图2为RANSAC拟合特征平面方程。
图3为第一相机与第二相机坐标系下的激光平面方程。
图4为平移后的激光平面。
图5为绕Z轴旋转后的激光平面。
图6为绕X轴旋转后的激光平面。
图7为第二激光平面绕Y轴旋转后的激光平面。
图8为第二相机坐标系与基准坐标系激光平面对齐结果。
图9为三个相机均采用该部分方法与基准相机进行对齐。
具体实施方式
为使本发明的目的、特征和优点能够明显易懂,下面结合附图对本发明的具体实施方式做详细说明。
如图1所示,该线结构光测量系统主要由4个工业相机、一个线激光器、被测钢板、钢板传送辊道和工控机及相关软件组成。以图1的线结构光测量系统来具体描述本发明的一种多相机大视场表面形状测量标定方法;
符号说明:
Figure BDA0002840447570000073
表示像素齐次坐标,A表示相机的内参数矩阵,[R t]表示相机外部参数,
Figure BDA0002840447570000074
为世界坐标的齐次坐标,
Figure BDA0002840447570000075
为相机坐标系坐标,OC为相机坐标原点。具体按照以下步骤进行:
步骤1)多相机内外参数进行标定,在标定过程中标定图像必须带有激光线条,利用现有的张正友标定方法计算得到相机的内参数矩阵A及相机的外部参数[R t],
Figure BDA0002840447570000071
其中fx、fy是焦距的参数,u0、v0是相机光轴在图像坐标系中的偏移量,R是旋转矩阵,t是平移向量;
步骤2)对标定图像进行二值化,取出激光线条部分并细化,用RANSAC直线拟合方法,保留在同一直线上的激光条直线上的点;
步骤3)验证所有提取的激光线直线上的点是否正确;
步骤4)计算出激光线条上每一个点在相机坐标下的坐标;
利用内参矩阵得出图像像素齐次坐标[u,v,1]T点对应的相机坐标[XC,YC,ZC]T,如式子2
Figure BDA0002840447570000072
步骤5)计算激光线条与相机坐标原点组成的平面方程;
有了激光线条的像素坐标,即可由式子(2)计算得到相应点的相机坐标值[X′C,Y′C,Z′C]T,而OC点的坐标值为[0,0,0]T,则激光线条上每一点与OC组成的直线方程可表示为式(3),其中[xc,yc,zc]T为直线上任意一点的坐标,每幅标定图像上的激光线条对应的像素点均可用式(3)计算得到一条过相机坐标原点的直线,由于误差因素的存在,如图2所示,采用RANSAC拟合方法将得到的多条直线拟合成一个平面,也即找到了相机坐标系下的特征平面方程,设为特征平面的系数为[ac,bc,cc,dc],则特征平面方程可表示为式子(4)
Figure BDA0002840447570000081
acxc+bcyc+cczc+dc=0 (4)
步骤6)计算棋盘格标定平面在相机坐标系下的平面方程:
由张正友标定方法可知,世界坐标系是建立在棋盘格标定板平面上的,因此在世界坐标系下,棋盘格标定板平面可用式(5)表示;相机坐标系OCXCYCZC和世界坐标系OWXWYWZW的关系可由式子(6)表示;
Zw=0 (5)
Figure BDA0002840447570000082
结合式子(5)和(6)可得相机坐标系下的棋盘格平面方程为式子(7)
Figure BDA0002840447570000083
步骤7)计算激光平面在相机坐标系下的方程:
联立特征面平面方程4和棋盘格标定板平面方程7求解,即得两个平面的相交线直线方程,该直线方程也即为相机坐标系下的线激光平面与标定板平面的交线方程,计算得到两条不重合交线就能拟合出来激光平面方程,理论上计算得到两条不重合交线就能拟合出来激光平面方程,但在实际操作过程,特别是激光平面角度较大时,标定图像只能在有效的小范围内获取,因此为了更准确的获取激光平面方程,一般采集20张以上不同姿态的带有激光线条的标定图像,计算出多条交线,并用RANSAC拟合得到激光平面方程,激光平面方程用式子8表示
a1xc+b1yc+c1zc+d1=0 (8)
步骤8)以左侧第一个相机的相机坐标系为基准坐标系,依次对第二个、第三个.....、第n个相机进行以激光平面为基准的旋转平移,使得每个相机坐标下的激光平面均重合,完成了多相机坐标系的姿态与基准坐标系姿态的对准。
多相机系统扩大测量视野范围,首先要建立基准坐标系。一般以左侧第一个相机为基准,称该相机为基准相机,但基准相机安装时也存在偏斜问题,导致拟合出来的平面方程的x的系数不为零,或不接近于零,如果x的系数不为零,在做三维数据计算时会有一个上升趋势,使得测量结果出现极大误差,因此对基准相机先做矫正,使得基准相机坐标系下的激光面方程的接近理想化。
设平面1的法向量为(Pa1,Pb1,Pc1),设平面2的法向量为(Pa2,Pb2,Pc2),则平面1和平面2的夹角Theta可用式子9求取,利用式子9求取拟合的激光平面与yoz平面的夹角Thetax1,其中激光平面的法向量为(a1,b1,c1),yoz平面的法向量为(1,0,0),若Thetax1为90度,则不作任何操作,若不等于90度,则以式子10分别绕Z轴旋转±(90-Thetax1),并计算哪个旋转方向拟合得到的平面与yoz平面的夹角更接近于90度,此时求解坐标原点绕旋Z轴旋转的度数,即将激光平面坐标系旋转了一定角度后,形成了新的坐标系,以新坐标系基准建立基准坐标系;
Figure BDA0002840447570000091
Figure BDA0002840447570000092
当基准坐标系确定后,为了使三维重建扩大视野,以第二相机为例,说明如何将第二相机的相机坐标系映射到基准相机坐标系下。由前文可知,每个参与三维数据扫描的相机均可计算出来当前相机坐标下的激光平面方程,虽然由于相机制造工艺和实际安装的误差会造成每个相机坐标下的激光平面方程有不同程度的误差,而实际上所有的激光平面都是同一个激光平面,利用这一特点可以将不同相机坐标系下的激光平面方程通过旋转平移的方式激光平面方程完全一致。
针对当前实验装置,基准相机和第二相机计算得到的激光平面如图,颜色较深的部分是基准相机得到的激光平面,较浅的部分是第二相机得到的激光平面,明显二者并未在同一平面上,下一步工作即把第二个相机坐标系转到基准坐标系下。
联立两个相机坐标下得到的激光平面方程。如式子11,即得到了两个平面的交线的,在交线上任取两个不同的点P1(P1x,P1y,P1z)和P2(P2x,P2y,P2z),
Figure BDA0002840447570000093
8.1平移激光平面:
如图4所示,为了使第二个相机坐标下的激光平面方程与基准相机坐标下的激光平面重合,首先保持基准坐标系不变,将两个激光平面和第二相机坐标系通过平移矩阵式子12进行平移,即将P1点移至基准坐标原点得到P1′点,P2移至P2′点,两平面交线P1′P2′在xoy平面的投影线为P1′Pp,计算直线P1′Pp与Y轴的夹角ThetazILPy;
Figure BDA0002840447570000101
8.2激光平面绕Z轴旋转:
为了使两个平面的交线与Y轴重合,要使交线P1′P2′先绕Z轴用公式13旋转ThetazILP,但由于旋转方向有两个,因此为了确定旋转方向,计算直线P1′Pp与X轴的夹角ThetazILPx,当ThetazILPx<90°时,ThetazILP=ThetazILPy,否则ThetazILP=-ThetazILPy,经过本部分操作后得到图5,将两平面交线P1′P2′旋转至P1″P2″,P1′Pp旋转至P1″Pp′;
Figure BDA0002840447570000102
8.3激光平面绕X轴旋转:
当激光平面绕Z轴旋转之后,两激光平面的交线P1″P2″在xoy面上的投影P1″Pp′正好位于Y轴上,此时绕X轴用公式14旋转ThetaxILP,但由于旋转方向也有两个,计算向量
Figure BDA0002840447570000103
与Z轴的夹角ThetaxILPz,向量
Figure BDA0002840447570000104
与Y轴的夹角为ThetaxILPy,当ThetaxILPz>90°时,旋转角ThetaxILP=ThetaxILPy,否则ThetaxILP=-ThetaxILPy,此时两个平面的交线P1″′P2″′完全与Y轴重合,如图6所示;
Figure BDA0002840447570000105
8.4第二激光平面绕Y轴旋转:
此时两个平面的交线已与Y轴完全重合,要使得两个激光平面重合,基准激光面不动,第二激光平面绕Y轴用公式15旋转ThetayILP,ThetayILP角是第二激光面与基准激光面之间的夹角,绕Y旋转也是两个方向,分别朝两个方向旋转,旋转后,分别计算两个旋转平面与基准平面的夹角,取夹角为零的旋转方向,如图7所示;
Figure BDA0002840447570000111
8.5激光平面的逆旋转:
第二激光面已经与基准激光面重合到同一平面上了,将整个平面还原至基准坐标系下,这个过程是上述平移旋转的逆过程,可用逆平移旋转矩阵式子16来表示,即分别绕X、Z轴做逆旋转、并做逆平移得到第二相机坐标系相对于基准坐标系的平移旋转关系,如图8所示;
Rn=Tnpy*Rnz*Rnx (16)
其中,
Figure BDA0002840447570000112
Figure BDA0002840447570000113
由第二个平面的平移旋转对其过程可知,总的旋转矩阵可用式子(17)表示,RT即为总的旋转平移矩阵,具体的平移及相应的旋转量可按前述方法计算得到,最终的仿真结果如图9,图中基准面是中间色部分,第二激光面为颜色最浅部分,第三激光面为颜色最深部分,通过式子(17)旋转平移以后,三个不同相机坐标系下的平面已经完全重合,第二、第三相机坐标系的原点也有相应的平移旋转,这也代表了第二、第三相机的旋转平移状态。
RT=Rn*Ry*Rx*Rz*Tpy=Tnpy*Rnz*Rnx*Ry*Rx*Rz*Tpy (17)。
步骤9)以左侧第一个相机的相机坐标系为基准坐标系,计算相邻相机中相同特征点在两个坐标系的坐标值,得到两个坐标系之间的平移关系,根据平移关系计算两个相机的相对位置,并求得两个相邻相机之间的距离;
步骤10)记录每个相机相对标准相机的旋转平移量,对计算得到的三维坐标进行校正,最终得到大视场下的表面形状数据。两两相机之间的距离的具体计算过程如下:
取两个相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[XC1,YC1,ZC1,1]、[XC2,YC2,ZC2,1],设第二激光平面相对基准坐标系的旋转平移矩阵为RT12,取2、3相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[X′C2,Y′C2,Z′C2,1]、[XC3,YC3,ZC3,1],设第三激光平面相对基准坐标系的旋转平移矩阵为RT13,式子18、19、20分别是用标定得到的旋转平移矩阵将相同视野相同特征点的坐标进行了旋转平移,得到了相邻相机之间的位置关系,根据该位置关系及旋转矩阵可将多相机坐标系映射到基准坐标系下。基准相机与第二相机之间的距离可用式子21得到,第二相机与第三相机之间的距离可用式子22得到,其他相机以此类推。
[XC12,YC12,ZC12,1]T=RT12*[XC2,YC2,ZC2,1]T (18)
[X′C12,Y′C12,Z′C12,1]T=RT12*[X′C2,Y′C2,Z′C2,1]T (19)
[XC13,YC13,ZC13,1]T=RT13*[XC3,YC3,ZC3,1]T (20)
d12=XC12-XC1 (21)
d23=XC13-X′C12 (22)
至此得到了,第二、第三相机相对于与基准坐标系的平移旋转参数,把三个相机统一到了同一坐标系下,更多相机的联合测量可采用相似方法进行标定,这为大视场的三维重建测量奠定了基础。
上面结合附图对本发明方案的实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种多相机大视场表面形状测量标定方法,其特征在于,按照以下步骤进行:
步骤1)多相机内外参数进行标定,在标定过程中标定图像必须带有激光条,利用现有的张正友标定方法计算得到相机的内参数矩阵A及相机的外部参数[R t],
Figure FDA0002840447560000011
其中fx、fy是焦距的参数,u0、v0是相机光轴在图像坐标系中的偏移量,R是旋转矩阵,t是平移向量;
步骤2)对标定图像进行二值化,取出激光线条部分并细化,用RANSAC直线拟合方法,保留在同一直线上的激光条直线上的点;
步骤3)验证所有提取的激光线直线上的点是否正确;
步骤4)计算出激光线条上每一个点在相机坐标下的坐标;
利用内参矩阵得出图像像素齐次坐标[u,v,1]T点对应的相机坐标[XC,YC,ZC]T,如式子2
Figure FDA0002840447560000012
步骤5)计算激光线条与相机坐标原点组成的平面方程;
有了激光线条的像素坐标,即可由式子2计算得到相应点的相机坐标值[X′C,Y′C,Z′C]T,而OC点的坐标值为[0,0,0]T,则激光线条上每一点与OC组成的直线方程可表示为式子3,其中[xc,yc,zc]T为直线上任意一点的坐标,每幅标定图像上的激光线条对应的像素点均可用式子3计算得到一条过相机坐标原点的直线,由于误差因素的存在,采用RANSAC拟合方法将得到的多条直线拟合成一个平面,也即找到了相机坐标系下的特征平面方程,设特征平面的系数为[ac,bc,cc,dc],则特征平面方程可表示为式子4;
Figure FDA0002840447560000013
acxc+bcyc+cczc+dc=0 (4)
步骤6)计算棋盘格标定平面在相机坐标系下的平面方程:
由张正友标定方法可知,世界坐标系是建立在棋盘格标定板平面上的,因此在世界坐标系下,棋盘格标定板平面可用式子5表示;相机坐标系OCXCYCZC和世界坐标系OWXWYWZW的关系可由式子6表示;
Zw=0 (5)
Figure FDA0002840447560000021
结合式子5和式子6可得相机坐标系下的棋盘格平面方程为式子7:
Figure FDA0002840447560000022
步骤7)计算激光平面在相机坐标系下的方程:
联立特征面平面方程4和棋盘格标定板平面方程7求解,即得两个平面的相交线直线方程,该直线方程也即为相机坐标系下的线激光平面与标定板平面的交线方程,计算得到两条不重合交线就能拟合出来激光平面方程,但在实际操作过程,特别是激光平面角度较大时,标定图像只能在有效的小范围内获取,因此为了更准确的获取激光平面方程,一般采集20张以上不同姿态的带有激光线条的标定图像,计算出多条交线,并用RANSAC拟合得到激光平面方程,激光平面方程用式子8表示
a1xc+b1yc+c1zc+d1=0 (8)
步骤8)以左侧第一个相机的相机坐标系为基准坐标系,依次对第二个、第三个.....、第n个相机进行以激光平面为基准的旋转平移,使得每个相机坐标下的激光平面均重合,完成了多相机坐标系姿态与基准坐标系姿态的对准;
步骤9)以左侧第一个相机的相机坐标系为基准坐标系,计算相邻相机中相同特征点在两个坐标系的坐标值,得到两个坐标系之间的平移关系,根据平移关系计算两个相机的相对位置,并求得两个相邻相机之间的距离;
步骤10)记录每个相机相对标准相机的旋转平移量,对计算得到的三维坐标进行校正,最终得到大视场下的表面形状数据。
2.根据权利要求1所述的一种多相机大视场表面形状测量标定方法,其特征在于:所述步骤8)中建立基准坐标系的具体过程为:设平面1的法向量为(Pa1,Pb1,Pc1),设平面2的法向量为(Pa2,Pb2,Pc2),则平面1和平面2的夹角Theta可用式子9求取,利用式子9求取拟合的激光平面与yoz平面的夹角Thetax1,其中激光平面的法向量为(a1,b1,c1),yoz平面的法向量为(1,0,0),若Thetax1为90度,则不作任何操作,若不等于90度,则以式子10分别绕Z轴旋转±(90-Thetax1),并计算哪个旋转方向拟合得到的平面与yoz平面的夹角更接近于90度,此时求解坐标原点绕旋Z轴旋转的度数,即将激光平面坐标系旋转了一定角度后,形成了新的坐标系,以新坐标系基准建立基准坐标系;
Figure FDA0002840447560000031
Figure FDA0002840447560000032
3.根据权利要求1所述的一种多相机大视场表面形状测量标定方法,其特征在于:步骤8)中第n个相机与基准相机坐标系对齐的具体步骤如下,以第二相机为例,说明如何将第二相机的相机坐标系映射到基准相机坐标系下:
联立两个相机坐标下得到的激光平面方程,如式子11,即得到了两个平面的交线,在交线上任取两个不同的点P1(P1x,P1y,P1z)和P2(P2x,P2y,P2z);
Figure FDA0002840447560000033
8.1平移激光平面:
为了使第二个相机坐标下的激光平面方程与基准相机坐标下的激光平面重合,首先保持基准坐标系不变,将两个激光平面和第二相机坐标系通过平移矩阵式子12进行平移,即将P1点移至基准坐标原点得到P1′点,P2移至P2′点,两平面交线P1′P2′在xoy平面的投影线为P1′Pp,计算直线P1′Pp与Y轴的夹角ThetazILPy;
Figure FDA0002840447560000034
8.2激光平面绕Z轴旋转:
为了使两个平面的交线与Y轴重合,要使交线P1′P2′先绕Z轴用公式13旋转ThetazILP,但由于旋转方向有两个,因此为了确定旋转方向,计算直线P1′Pp与X轴的夹角ThetazILPx,当ThetazILPx<90°时,ThetazILP=ThetazILPy,否则ThetazILP=-ThetazILPy,将两平面交线P1′P2′旋转至P1″P2″,P1′Pp旋转至P1″Pp′;
Figure FDA0002840447560000041
8.3激光平面绕X轴旋转:
当激光平面绕Z轴旋转之后,两激光平面的交线P1″P2″在xoy面上的投影P1″Pp′正好位于Y轴上,此时绕X轴用公式14旋转ThetaxILP,但由于旋转方向也有两个,计算向量
Figure FDA0002840447560000042
与Z轴的夹角ThetaxILPz和向量
Figure FDA0002840447560000043
与Y轴的夹角为ThetaxILPy,当ThetaxILPz>90°时,旋转角ThetaxILP=ThetaxILPy,否则ThetaxILP=-ThetaxILPy,此时两个平面的交线P1″′P2″′完全与Y轴重合;
Figure FDA0002840447560000044
8.4第二激光平面绕Y轴旋转:
此时两个平面的交线已与Y轴完全重合,要使得两个激光平面重合,基准激光面不动,第二激光平面绕Y轴用公式15旋转ThetayILP,ThetayILP角是第二激光面与基准激光面之间的夹角,绕Y旋转也是两个方向,分别朝两个方向旋转,旋转后,分别计算两个旋转平面与基准平面的夹角,取夹角为零的旋转方向;
Figure FDA0002840447560000045
8.5激光平面的逆旋转:
第二激光面已经与基准激光面重合到同一平面上了,将整个平面还原至基准坐标系下,这个过程是上述平移旋转的逆过程,可用逆平移旋转矩阵式子16来表示,即分别绕X、Z轴做逆旋转、并做逆平移得到第二相机坐标系相对于基准坐标系的姿态平移旋转关系;
Rn=Tnpy*Rnz*Rnx (16)
其中,
Figure FDA0002840447560000046
Figure FDA0002840447560000051
4.根据权利要求1所述的一种多相机大视场表面形状测量标定方法,其特征在于:步骤9)中两个相邻相机之间的相对位置及距离的具体计算过程如下:
取两个相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[XC1,YC1,ZC1,1]、[XC2,YC2,ZC2,1],设第二激光平面相对基准坐标系的旋转平移矩阵为RT12,取2、3相机相同视野的某个特征点,分别计算该特征点在两个相机坐标系的相机坐标,其齐次坐标分别设为[X′C2,Y′C2,Z′C2,1]、[XC3,YC3,ZC3,1],设第三激光平面相对基准坐标系的旋转平移矩阵为RT13,式子18、19、20分别是用标定得到的旋转平移矩阵将相同视野相同特征点的坐标进行了旋转平移,得到了相邻相机之间的位置关系,根据该位置关系及旋转矩阵可将多相机坐标系映射到基准坐标系下,基准相机与第二相机之间的距离可用式子21得到,第二相机与第三相机之间的距离可用式子22得到,其他相机以此类推;
[XC12,YC12,ZC12,1]T=RT12*[XC2,YC2,ZC2,1]T (18)
[X′C12,Y′C12,Z′C12,1]T=RT12*[X′C2,Y′C2,Z′C2,1]T (19)
[XC13,YC13,ZC13,1]T=RT13*[XC3,YC3,ZC3,1]T (20)
d12=XC12-XC1 (21)
d23=XC13-X′C12 (22)。
CN202011490117.4A 2020-12-17 2020-12-17 一种多相机大视场表面形状测量标定方法 Active CN112665517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011490117.4A CN112665517B (zh) 2020-12-17 2020-12-17 一种多相机大视场表面形状测量标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011490117.4A CN112665517B (zh) 2020-12-17 2020-12-17 一种多相机大视场表面形状测量标定方法

Publications (2)

Publication Number Publication Date
CN112665517A true CN112665517A (zh) 2021-04-16
CN112665517B CN112665517B (zh) 2022-06-14

Family

ID=75405957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011490117.4A Active CN112665517B (zh) 2020-12-17 2020-12-17 一种多相机大视场表面形状测量标定方法

Country Status (1)

Country Link
CN (1) CN112665517B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702384A (zh) * 2021-07-19 2021-11-26 南京工程学院 一种回转构件表面缺陷检测装置、检测方法及标定方法
CN114331924A (zh) * 2022-03-15 2022-04-12 四川焱飞科技有限公司 大工件多相机视觉测量方法

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524494A1 (en) * 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
DE102007024638A1 (de) * 2007-05-24 2008-01-10 Daimlerchrysler Ag Verfahren und Vorrichtung zur Kalibrierung eines Multikamerasystems
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
KR20090082816A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 평행한 레이저 빔을 이용한 다중 카메라 교정 방법 및시스템
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN102034236A (zh) * 2010-12-01 2011-04-27 北京航空航天大学 基于一维物体的多相机分层标定方法
CN102982548A (zh) * 2012-12-11 2013-03-20 清华大学 多目立体视频采集系统及其相机参数标定方法
CN102980542A (zh) * 2012-10-31 2013-03-20 天津大学 一种多传感器联合标定方法
CN103632364A (zh) * 2013-11-06 2014-03-12 同济大学 一种多相机摄影测量系统中相机空间位置关系标定装置
CN104463833A (zh) * 2013-09-22 2015-03-25 大族激光科技产业集团股份有限公司 一种标定一维面阵相机组相机参数的方法和系统
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和系统
CN105091866A (zh) * 2015-09-11 2015-11-25 天津大学 零件位姿识别视觉系统及其标定方法
GB201603350D0 (en) * 2016-02-26 2016-04-13 Nokia Technologies Oy A multi-camera device and calibration method
CN106127722A (zh) * 2016-05-03 2016-11-16 深圳视觉龙智能传感器有限公司 多相机的标定及对位贴合方法
CN106296718A (zh) * 2016-09-22 2017-01-04 西北工业大学 基于立体视觉导航系统的相机阵列快速标定方法
CN106780624A (zh) * 2016-12-14 2017-05-31 广东工业大学 一种基于参照物的多相机标定方法及装置
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
CN107687821A (zh) * 2017-08-24 2018-02-13 南京理工大学 用于深孔洞旋转件形貌测量的多相机光刀系统标定方法
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
US20200132451A1 (en) * 2017-06-12 2020-04-30 Beihang University Structural Light Parameter Calibration Device and Method Based on Front-Coating Plane Mirror
CN111174698A (zh) * 2019-12-31 2020-05-19 吉林大学 基于面光场的汽车检测无共视场相机全局标定系统与方法
US20200320740A1 (en) * 2016-05-12 2020-10-08 Cognex Corporation Calibration for vision system
CN111811483A (zh) * 2020-06-28 2020-10-23 南京航空航天大学 一种用于飞机数字化装配的多相机组网定位标定方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524494A1 (en) * 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
DE102007024638A1 (de) * 2007-05-24 2008-01-10 Daimlerchrysler Ag Verfahren und Vorrichtung zur Kalibrierung eines Multikamerasystems
KR20090082816A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 평행한 레이저 빔을 이용한 다중 카메라 교정 방법 및시스템
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN102034236A (zh) * 2010-12-01 2011-04-27 北京航空航天大学 基于一维物体的多相机分层标定方法
CN102980542A (zh) * 2012-10-31 2013-03-20 天津大学 一种多传感器联合标定方法
CN102982548A (zh) * 2012-12-11 2013-03-20 清华大学 多目立体视频采集系统及其相机参数标定方法
CN104463833A (zh) * 2013-09-22 2015-03-25 大族激光科技产业集团股份有限公司 一种标定一维面阵相机组相机参数的方法和系统
CN103632364A (zh) * 2013-11-06 2014-03-12 同济大学 一种多相机摄影测量系统中相机空间位置关系标定装置
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和系统
CN105091866A (zh) * 2015-09-11 2015-11-25 天津大学 零件位姿识别视觉系统及其标定方法
GB201603350D0 (en) * 2016-02-26 2016-04-13 Nokia Technologies Oy A multi-camera device and calibration method
CN106127722A (zh) * 2016-05-03 2016-11-16 深圳视觉龙智能传感器有限公司 多相机的标定及对位贴合方法
US20200320740A1 (en) * 2016-05-12 2020-10-08 Cognex Corporation Calibration for vision system
CN106296718A (zh) * 2016-09-22 2017-01-04 西北工业大学 基于立体视觉导航系统的相机阵列快速标定方法
CN106780624A (zh) * 2016-12-14 2017-05-31 广东工业大学 一种基于参照物的多相机标定方法及装置
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
US20200132451A1 (en) * 2017-06-12 2020-04-30 Beihang University Structural Light Parameter Calibration Device and Method Based on Front-Coating Plane Mirror
CN107687821A (zh) * 2017-08-24 2018-02-13 南京理工大学 用于深孔洞旋转件形貌测量的多相机光刀系统标定方法
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
CN111174698A (zh) * 2019-12-31 2020-05-19 吉林大学 基于面光场的汽车检测无共视场相机全局标定系统与方法
CN111811483A (zh) * 2020-06-28 2020-10-23 南京航空航天大学 一种用于飞机数字化装配的多相机组网定位标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI ZHENZHONG等: "Extrinsic parameters calibration of multi-camera with non-overlapping fields of view using laser scanning", 《OPTICS EXPRESS》 *
XU XIAOBIN等: "Improved calibration method based on the RANSAC approach and an improved gray centroid method for a laser-line-based structured light system", 《APPLIED OPTICS》 *
康国华等: "基于点云中心的激光雷达与相机联合标定方法研究", 《仪器仪表学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702384A (zh) * 2021-07-19 2021-11-26 南京工程学院 一种回转构件表面缺陷检测装置、检测方法及标定方法
CN114331924A (zh) * 2022-03-15 2022-04-12 四川焱飞科技有限公司 大工件多相机视觉测量方法

Also Published As

Publication number Publication date
CN112665517B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN108053450B (zh) 一种基于多约束的高精度双目相机标定方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN107256568B (zh) 一种高精度机械臂手眼相机标定方法及标定系统
CN111415391B (zh) 一种采用互拍法的多目相机外部方位参数标定方法
CN112665517B (zh) 一种多相机大视场表面形状测量标定方法
CN111862238B (zh) 一种全空间单目光笔式视觉测量方法
CN109870111B (zh) 基于机器视觉的渐开线圆柱齿轮齿距累积误差测量方法
CN105118021A (zh) 基于特征点的图像配准方法及系统
Hirschmuller et al. Stereo matching in the presence of sub-pixel calibration errors
CN105931261B (zh) 一种双目立体相机外参数修正方法及装置
CN111311682A (zh) 一种led屏校正过程中的位姿估计方法、装置及电子设备
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
Gai et al. A flexible multi-view calibration and 3D measurement method based on digital fringe projection
CN111080714A (zh) 一种基于三维重建的平行式双目相机标定方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
CN101425185B (zh) 一种基于复合型平面靶标的小尺寸视觉测量的摄像机标定方法
Yang et al. Precision calibration method for binocular vision measurement systems based on arbitrary translations and 3D-connection information
CN113658266A (zh) 一种基于固定相机和单靶标的动轴旋转角视觉测量方法
CN111462245A (zh) 一种基于矩形结构的变焦相机姿态标定方法和系统
CN110766759A (zh) 一种无重叠视场的多相机标定方法及装置
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN112562010B (zh) 一种双远心镜头的简化成像模型及其标定方法
CN112284360B (zh) 基于双目视觉系统的双护盾六自由度测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant