CN117173256B - 一种双振镜的线动态激光系统的标定方法、设备 - Google Patents
一种双振镜的线动态激光系统的标定方法、设备 Download PDFInfo
- Publication number
- CN117173256B CN117173256B CN202311413835.5A CN202311413835A CN117173256B CN 117173256 B CN117173256 B CN 117173256B CN 202311413835 A CN202311413835 A CN 202311413835A CN 117173256 B CN117173256 B CN 117173256B
- Authority
- CN
- China
- Prior art keywords
- laser
- calibration
- galvanometer
- mirror
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 44
- 230000009977 dual effect Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013178 mathematical model Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010330 laser marking Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于计算机视觉、三维重建、视觉测量领域,具体涉及一种双振镜的线动态激光系统的标定方法、设备,旨在解决现有基于双振镜的线动态激光系统的标定方法鲁棒性较差的问题。本方法包括:通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;拟合振镜2在不同电压下对应的激光平面方程,计算激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解振镜2对应的激光旋转轴,完成动态激光标定;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定。本发明提升了现有基于双振镜的线动态激光系统的标定方法鲁棒性。
Description
技术领域
本发明属于计算机视觉、三维重建、视觉测量领域,具体涉及一种双振镜的线动态激光系统的标定方法、设备。
背景技术
传统的线激光扫描仪主要依赖于机械驱动轴来驱动激光或者相机完成目标扫描,这些设备体积大、结构复杂且速度慢。近年来,振镜系统被用于作为激光的扫描机构,振镜包括一个基于振镜的扫描电机,配有光学镜和一个可以向系统发送反馈信号的探测器。它体积小,运动速度快,控制精度高,因此它可以为测量精度提供保证,很好的替代了原有的激光扫描机构。同时,振镜也可以用来作为相机视野的扫描机构,从而扩大测量范围。因此有学者提出了基于双振镜的激光扫描系统,包含基于振镜的动态激光系统和基于振镜的动态相机系统。要达到高精度的测量,对该系统的标定是关键,包括对基于振镜的动态激光系统标定、基于振镜的动态相机的标定和两者的联合标定。
对于基于振镜的动态激光系统,学者Eisert提出了基于数学模型的标定流程,但模型复杂优化困难,因此标定精度低。学者Yu提出了基于单轴振镜的扫描系统和它的标定方法,但是标定流程非常复杂。学者Yang提出了基于高精度线性平台的标定方法,标定精度高,但是缺乏灵活性。
对于基于振镜的动态相机的标定方法,可以分为四类。第一种是自标定方法,该方法理论复杂且难以实施。第二种是查表法,但是需要很复杂的预标定。第三种是基于特征的标定方法,这类方法耗时且精度低。第四种是基于神经网络的方法,使用端到端的单隐藏层前馈神经网络模型,但这种方法在计算上很复杂。
综上现有的标定方法只专注于标定动态激光或动态相机,并且如上所述仍存在一些不足之处,且缺乏两者的联合标定。基于此,本发明提出了一种双振镜的线动态激光系统的标定方法。
发明内容
为了解决现有技术中的上述问题,即为了解决现有基于双振镜的线动态激光系统的标定方法鲁棒性较差的问题,本发明提供了一种双振镜的线动态激光系统的标定方法,应用于包括动态相机系统和动态激光系统的双振镜的线动态激光系统;所述动态相机系统包括相机与振镜1;所述动态激光系统包括激光器与振镜2;所述振镜1、所述振镜2均包括pan镜面、tilt镜面,该方法包括:
步骤S100,对所述相机进行内参数标定,标定后扫描标定板,获取不同振镜偏转角度下的标定板图像,得到所述振镜1对应的振镜坐标系与世界坐标系的转换矩阵、虚拟相机坐标系与所述世界坐标系的转换矩阵,进而得到多组观测值;所述观测值为旋转后每个虚拟相机坐标系与初始的虚拟相机坐标系之间的转换矩阵;
利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;所述待标定的参数包括所述振镜1的pan镜面到所述振镜1的tilt镜面的距离、所述相机到所述振镜1的pan镜面的距离;
步骤S200,保持所述振镜1不动,将所述标定板放置在所述相机的视野内,拟合所述振镜2在不同电压下对应的激光平面方程,计算各激光平面方程对应的激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解所述振镜2对应的激光旋转轴,完成动态激光标定;
步骤S300,控制所述振镜2使激光条纹透射到所述标定板上,并保持所述振镜2固定不动;控制所述振镜1使所述相机拍摄不同视角下的激光条纹图像并进行3D重建;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定。
在一些优选的实施方式中,利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定,其方法为:
获取第一约束关系与第二约束关系之间的变换矩阵,作为第一矩阵;所述第一约束关系为在所述振镜1的pan镜面、tilt镜面的初始角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系;所述第二约束关系为采集所述标定板第n张图像时,在所述振镜1的pan镜面、tilt镜面的角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系;
基于所述第一约束关系,结合所述第一矩阵,得到所述第二约束关系,作为观测约束关系;
计算各所述观测约束关系与其对应的振镜模型计算的第二约束关系之间的误差,进而基于所述误差构建第一目标函数;
结合所述第一约束关系、所述观测约束关系,通过最小二乘法对所述第一目标函数进行求解,得到所述相机到所述振镜1的pan镜面的距离、所述振镜1的pan镜面到所述振镜1的tilt镜面的距离,进而进行动态相机标定。
在一些优选的实施方式中,所述第一约束关系与所述第二约束关系之间的变化矩阵为:
其中,表示{V0}和{Vn}的变化矩阵,{V0}表示第一约束关系,{Vn}表示第二约束关系,/>表示第n个变化矩阵中第i行第j列的元素,/>表示采集的标定板图像的数量。
在一些优选的实施方式中,所述观测约束关系为:
其中,、/>分别表示振镜1的pan镜面、tilt镜面的初始角度,/>、/>表示相机到振镜1的pan镜面的距离、振镜1的pan镜面到振镜1的tilt镜面的距离,/>表示第一约束关系对应的约束函数,/>表示观测约束关系对应的约束函数。
在一些优选的实施方式中,所述振镜模型计算的第二约束关系为:
其中,{V}表示振镜模型计算的第二约束关系,{G}表示基坐标系,表示{V}和{G}之间的旋转矩阵,/>、/>表示振镜1的pan镜面和tilt镜面的旋转角。
在一些优选的实施方式中,所述第一目标函数为:
其中,,/>表示第一目标函数,即待标定的参数/>、/>,/>表示振镜模型计算的第二约束关系对应的约束函数,/>、/>分别表示振镜1采集第n张标定板图像时的pan镜面、tilt镜面的角度。
在一些优选的实施方式中,所述第二目标函数为:
其中,表示第二目标函数,即待标定振镜2对应的激光旋转轴,n=(nx,ny,nz),n表示激光旋转轴的方向向量,nx,ny,nz分别表示激光旋转轴的x、y、z方向向量,/>、/>、分别表示第i个激光平面的x、y、z方向向量的值,ni表示激光平面的单位法向量,/>表示激光平面的数量。
在一些优选的实施方式中,将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定,其方法为:
使用ICP点云拼接算法,完成每一条激光点云的拼接,获取点云拼接转换矩阵,进而根据所述点云拼接转换矩阵,完成误差校正联合标定。
本发明的第二方面,提出了一种双振镜的线动态激光系统的标定设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的一种双振镜的线动态激光系统的标定方法。
本发明的有益效果:
本发明提升了现有基于双振镜的线动态激光系统的标定方法的鲁棒性。
本发明实现动态相机标定、动态激光标定和误差校正联合标定的全面标定,简单灵活,且取得了很高的标定精度。此外,本发明方法可推广用于单振镜的动态激光系统或者单振镜的动态相机系统的标定。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一种实施例的双振镜的线动态激光系统的标定方法的流程示意图;
图2是本发明一种实施例的双振镜的线动态激光系统的系统结构示意图;
图3是本发明一种实施例的动态相机标定的示意图;
图4是本发明一种实施例的动态激光标定的示意图;
图5是本发明一种实施例的误差校正联合标定的示意图;
图6是本发明一种实施例的动态相机标定误差曲线的示意图;
图7是本发明一种实施例的激光平面与旋转轴的示意图;
图8是本发明一种实施例的标定球三维点云的示意图;
图9是本发明一种实施例的校正前后重建误差曲线图的示意图;
图10是本发明一种实施例的大尺寸平面板的示意图;
图11是本发明一种实施例的三维点云的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种双振镜的线动态激光系统的标定方法,应用于包括动态相机系统和动态激光系统的双振镜的线动态激光系统;所述动态相机系统包括相机与振镜1;所述动态激光系统包括激光器与振镜2;所述振镜1、所述振镜2均包括pan镜面、tilt镜面,如图1所示,包括以下步骤:
步骤S100,对所述相机进行内参数标定,标定后扫描标定板,获取不同振镜偏转角度下的标定板图像,得到所述振镜1对应的振镜坐标系与世界坐标系的转换矩阵、虚拟相机坐标系与所述世界坐标系的转换矩阵,进而得到多组观测值;所述观测值为旋转后每个虚拟相机坐标系与初始的虚拟相机坐标系之间的转换矩阵;
利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;所述待标定的参数包括所述振镜1的pan镜面到所述振镜1的tilt镜面的距离、所述相机到所述振镜1的pan镜面的距离;
步骤S200,保持所述振镜1不动,将所述标定板放置在所述相机的视野内,拟合所述振镜2在不同电压下对应的激光平面方程,计算各激光平面方程对应的激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解所述振镜2对应的激光旋转轴,完成动态激光标定;
步骤S300,控制所述振镜2使激光条纹透射到所述标定板上,并保持所述振镜2固定不动;控制所述振镜1使所述相机拍摄不同视角下的激光条纹图像并进行3D重建;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定。
为了更清晰地对本发明双振镜的线动态激光系统的标定方法进行说明,下面结合附图对本发明方法实施例中各步骤展开详述。
在下述实施例中,先对双振镜的线动态激光系统进行详述,再对通过双振镜的线动态激光系统的标定方法对双振镜的线动态激光系统进行标定的过程进行详述。
1、双振镜的线动态激光系统
双振镜的线动态激光系统,如图2所示,其由两个部分组成,动态相机系统和动态激光系统,动态相机系统包括相机与振镜1,动态激光系统包括激光器与振镜2;振镜1、振镜2均包括pan镜面、tilt镜面。在本实施例中,相机优选为CMOS相机,激光器优选为线激光器,振镜1、振镜2为两个双周振镜系统。基于双振镜的线动态激光系统的数学模型以及预先的标定,可以从捕获的激光图像和两个振镜系统的电压值中计算出目标的3D信息。
2、双振镜的线动态激光系统的标定方法
本发明方法可以分为三个部分:动态相机标定、动态激光标定和联合误差校正标定。
1)动态相机标定
对所述相机进行内参数标定,标定后扫描标定板,获取不同振镜偏转角度下的标定板图像,得到所述振镜1对应的振镜坐标系与世界坐标系的转换矩阵、虚拟相机坐标系与所述世界坐标系的转换矩阵,进而得到多组观测值;利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;具体如下:
先对相机进行内参数标定,本发明优选采用张正友标定法,获得内参数fx,fy,u0,v0。
动态相机标定就是要获取虚拟相机坐标系与振镜坐标系(即振镜1对应的坐标系)之间的约束关系,如公式(1)所示,也就是要得到该公式中的l和d。使用一块大的标定板(在其他实施例中也可以是其他的标定物,例如标定球),如图3所示。通过改变振镜的电压,控制虚拟相机坐标系的变化,来扫描标定板,获取大量不同振镜偏转角下的标定板图像,记采集的图像数为n。世界坐标和振镜坐标的映射关系可以通过处理这些图像来获得。根据这些图像可以计算出他们之间的外参数。以该大标定板建立世界坐标系,由于这些图像中的标定点之间的相对位置已知,可以使用上述的相机标定方式获取每副图像对应的虚拟坐标系(即虚拟相机坐标系)与世界坐标系的转换矩阵V0TW,V1TW,V2TW…VnTW,然后即可计算出V1TV0,V2TV0…VnTV0,做为观测值,即旋转后每个虚拟坐标系和初始的虚拟坐标系之间的转换矩阵。利用多组观测值来求解待标定的参数。设θ1 (0)为振镜1的pan镜面的初始角度,θ2 (0)为振镜1的tilt镜面的初始角度,即坐标系{V0}对应的振镜旋转角。设θ1 (n)和θ2 (n)为振镜1采集第n张图像时的pan镜面和tilt镜面的角度。则{V0}和{Vn}可以记做:
(1)
(2)
其中,、/>表示相机到振镜1的pan镜面的距离、振镜1的pan镜面到振镜1的tilt镜面的距离,{V0}表示第一约束关系,即在所述振镜1的pan镜面、tilt镜面的初始角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系,{Vn}表示第二约束关系采集所述标定板第n张图像时,在所述振镜1的pan镜面、tilt镜面的角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系,/>表示第一约束关系对应的约束函数,/>表示振镜模型计算的第二约束关系对应的约束函数,详见下述内容。
{V0}到{Vn}的变化矩阵是4×4的矩阵,根据以上分析,该矩阵可以通过外参数标定得到,记该矩阵为:
(3)
而{Vn}可以由公式(1)和(3)计算得到:
(4)
为了方便表达,将公式(4)记做:
(5)
其中,表示观测约束关系对应的约束函数。
{G}是基坐标系,可以获得:
(6)
其中,{V}表示振镜模型计算的第二约束关系,表示{V}和{G}之间的旋转矩阵,/>、/>表示振镜1的pan镜面和tilt镜面的旋转角。公式(5)为坐标系{Vn}由多次观测,得到的结果,即观测约束关系,公式(6)为数学振镜模型计算的结果,便于进行区分,因此记为{V}。因此误差模型(即计算各观测约束关系与其对应的振镜模型计算的第二约束关系之间的误差,此处/>)为:
(7)
对于所有测量到的坐标系{V},目标函数(即第一目标函数)可以被定义为:
(8)
由公式(6)可知,参数l和d只存在于平移向量中,所以根据公式(1)(3)(5),可以得到:
(9)
(10)
(11)
根据第一目标函数可以得到:
(12)
最后利用最小二乘法求解l和d,动态相机的标定就完成了,即结合第一约束关系、观测约束关系,通过最小二乘法对第一目标函数进行求解,得到l、d,进而进行动态相机标定。
2)动态激光标定
保持所述振镜1不动,将所述标定板放置在所述相机的视野内,拟合所述振镜2在不同电压下对应的激光平面方程,计算各激光平面方程对应的激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解所述振镜2对应的激光旋转轴,完成动态激光标定,如图4所示。具体如下:
根据下述对动态激光的数学建模可知,需要标定当振镜1和振镜2都处于初始位置时的激光平面方程plane0和激光运动时的转轴n=(nx,ny,nz)。当振镜2在同一个电压下,改变标定板的位置,用多条激光线拟合激光平面,可以获取plane0的方程为:Ax+By+Cz+D=0。改变振镜2的电压U=U1,U2…Um,获取多个激光平面,用同样的方法标定这些激光平面的方程,记做Plane1,plane2…palne-m.计算这些平面的单位法向量n0(nx0,ny0,nz0), n1(nx1,ny1,nz1), n2(nx2,ny2,nz2),…, nm(nxm,nym,nzm)。
理想情况下,这些激光平面将相交于同一条直线,即需要标定的激光旋转轴,也是振镜2中mirror的转轴。设这条轴为n=(nx,ny,nz),则对于任意激光平面的法向量:n·ni=0(i=0,1,2…m)。实际上,由于一些因素的影响,如安装误差等,n·ni不完全等于0,因此,对于所有的激光平面,目标函数(即第二目标函数)可以被定义为:
(13)
其中,表示第二目标函数,即待标定振镜2对应的激光旋转轴,n=(nx,ny,nz),n表示激光旋转轴的方向向量,nx,ny,nz分别表示激光旋转轴的x、y、z方向向量,/>、/>、分别表示第i个激光平面的x、y、z方向向量的值,ni表示激光平面的单位法向量,/>表示激光平面的数量。
旋转轴的方向向量n=(nx,ny,nz)可以通过最小化目标函数获得。记P=(x0,y0,z0)是旋转轴上的一点,该点在所有的激光平面上,可以用最小二乘计算得到。这样就完成了激光标定。
当动态相机和动态激光标定都完成,系统就可以实现三维重建了。
3)误差校正联合标定
控制所述振镜2使激光条纹透射到所述标定板上,并保持所述振镜2固定不动;控制所述振镜1使所述相机拍摄不同视角下的激光条纹图像并进行3D重建;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定。具体如下:
对于一个标定好的动态3D测量系统,误差的来源可以分为两部分,来自动态相机和来自动态激光的。对于动态相机部分,误差来源有,第一,控制振镜1的旋转角度误差。理论上振镜1的旋转角度与电压是线性的,线性参数可以通过计算电压的阈值和振镜旋转角阈值的比例来获得。但实际上会存在一些偏差。第二,动态相机系统参数l和d的标定误差,该误差已经通过建立误差模型和目标函数完成优化。第三,相机内参数标定误差,该环节采用的了张氏标定法优化了非线性误差。第四,系统几何模型的误差,动态相机几何模型中的镜面反射采用了近似模型,忽略了偏移量。
对于动态激光部分,误差的来源有,第一,控制振镜2的旋转角度误差,和动态相机的第一种误差相同。第二,激光线提取误差,第三,旋转轴标定误差,如标定方法部分介绍,构建了目标函数进行优化,保证了标定精度。第四,数学模型误差,该模型在精密的机械安装情况下,是理想模型。
因此需要校误差,本发明提出了一种基于动态激光和动态相机联合标定的误差校正方法,在完成了上部分所介绍的动态相机和动态激光的标定后,基于重建的结果进行误差校正。当振镜1运动扫描,振镜2静止时,理论上重建出来的激光点云,会完全重合。但是如误差来源中所阐述的因素,由于误差的存在,振镜2扫描时得到的多个点云之间会有一定偏差。通过对这些点云进行拼接,计算拼接后的转换矩阵(具体为:使用ICP点云拼接算法,完成每一条激光点云的拼接,获取点云拼接转换矩阵,进而根据点云拼接转换矩阵),来校正标定的误差。根据这个原理来设计校正流程如图5所示。
为了更清楚说明本发明方法,对上述的处理过程进行举例说明。
1)动态相机标定
首先,在振镜1的电压为0时,使用OoenCV中的张正友标定法完成相机的内参数标定,内参为fx= 7801.38,fy= 7798.24,u0= 359.51,v0= 269.54。再根据本发明提出的方法完成动态相机标定,得到动态相机参数l= 83.45 mm,d= 22.14 mm。基于这些标定结果,可以使用数学模型来计算振镜1的pan-tilt镜片在不同角度下的理论转移矩阵。再使用标定板直接测量了这些角度下对应的转移矩阵。计算理论和测量的转移矩阵的矩阵2-范数,以验证标定的准确性。振镜1的电压从- 10V变化到10V,即、/>,间隔为4V。测量了36个位置。获得了理论和测量转移矩阵之间的误差,误差曲线如图6所示。结果显示,理论值和测量值之间的平均误差为1.07 mm,标准差为0.50 mm。
这证实了动态相机标定的准确性。误差来源为动态相机的模型误差和标定误差,此外用标定板测量虚拟相机的转移矩阵本身存在误差。因此该结果可以作为动态相机标定正确性的验证,不能完全用于动态相机标定精度的验证。具体的精度验证,可以基于三维重建的结果来分析。
2) 动态激光标定
保持振镜1不动,将标定板放置在虚拟相机的视野内,控制振镜2连续旋转30个角度扫描标定板。任意改变5次标定板的位置(保证标定板可以在虚拟相机中清晰成像),重复同样的30次扫描。这样我们就可以解算出30个激光平面,求解的激光旋转轴为: (N,P)=[0.998,0.021,-0.0004], [-18310.3, -195.934,257.969];
激光平面和旋转轴可视化如图7所示。从图中可以看出标定出的旋转轴位置在激光平面的交汇处,证明了动态激光标定的正确性.
3) 误差校正联合标定
这里选用标定球作为误差校正的重建目标。控制振镜2,使激光条纹投射到球面上,并保持振镜2固定不动。控制振镜1使虚拟相机运动,在不同的视角下拍摄这个激光条纹。根据动态3D系统的标定结果和数学模型,完成这些激光条纹图像的3D重建。重建的点云如图8中的白色点云所示。可以看出,由于误差的存在,这些白色的点云没有重合在一起。使用第三部分中提出的校正方法,对这些白色点云进行点云匹配,匹配后的结果如图8中的彩色点云所示。计算校正前和校正后的点云之间的距离来评价误差,计算公式如(14)所示:
(14)
其中,ps是第一个虚拟相机视角下的激光条纹重建的点云结果,pt是不同视角下激光条纹重建的点云结果。以最近邻搜索的方式寻找匹配点计算他们之间的误差为Error1。点云匹配后计算他们之间的误差为Error2。以点云匹配的结果的匹配点计算校正前的误差为Error3. 误差曲线如图9所示。计算校正前的两种计算方式的误差的RMSE为4.928mm和5.475mm。计算校正后的误差RMSE为0.197mm。从结果可以看出,经过误差校正,精度有了很大的提升。
另外,为了测试所提出的3D动态系统的整体重建精度,这里使用一个高精度加工的大尺寸的平面板,如图10所示。利用3D动态系统大范围扫描被重建的目标。扫描的距离与上个实验一致,目标的尺寸为700mm*700mm。在景深范围内,变换标定板的位置和旋转标定板,重复三次扫描重建,得到目标点云如图11所示。对于重建得到的点云使用RANSAC算法对数据进行平面方程拟合。计算所有点与拟合平面之间的距离,这些距离的平均值被视为动态3D系统重建的误差。三次测量的均方根误差(RMSE)为0.2804毫米,标准偏差为0.0293毫米。这些结果表明,所提议的系统在3D重建测量中达到了很高的准确性。
本发明第二实施例的一种双振镜的线动态激光系统的标定系统,包括:
动态相机标定模块,配置为对所述相机进行内参数标定,标定后扫描标定板,获取不同振镜偏转角度下的标定板图像,得到所述振镜1对应的振镜坐标系与世界坐标系的转换矩阵、虚拟相机坐标系与所述世界坐标系的转换矩阵,进而得到多组观测值;所述观测值为旋转后每个虚拟相机坐标系与初始的虚拟相机坐标系之间的转换矩阵;
利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;所述待标定的参数包括所述振镜1的pan镜面到所述振镜1的tilt镜面的距离、所述相机到所述振镜1的pan镜面的距离;
动态激光标定模块,配置为保持所述振镜1不动,将所述标定板放置在所述相机的视野内,拟合所述振镜2在不同电压下对应的激光平面方程,计算各激光平面方程对应的激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解所述振镜2对应的激光旋转轴,完成动态激光标定;
误差校正联合标定模块,配置为控制所述振镜2使激光条纹透射到所述标定板上,并保持所述振镜2固定不动;控制所述振镜1使所述相机拍摄不同视角下的激光条纹图像并进行3D重建;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的一种双振镜的线动态激光系统的标定系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种双振镜的线动态激光系统的标定设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的一种双振镜的线动态激光系统的标定方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的一种双振镜的线动态激光系统的标定方法。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的一种双振镜的线动态激光系统的标定设备、计算机可读存储介质的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (3)
1.一种双振镜的线动态激光系统的标定方法,应用于包括动态相机系统和动态激光系统的双振镜的线动态激光系统;所述动态相机系统包括相机与振镜1;所述动态激光系统包括激光器与振镜2;所述振镜1、所述振镜2均包括pan镜面、tilt镜面;其特征在于,该方法包括以下步骤:
步骤S100,对所述相机进行内参数标定,标定后扫描标定板,获取不同振镜偏转角度下的标定板图像,得到所述振镜1对应的振镜坐标系与世界坐标系的转换矩阵、虚拟相机坐标系与所述世界坐标系的转换矩阵,进而得到多组观测值;所述观测值为旋转后每个虚拟相机坐标系与初始的虚拟相机坐标系之间的转换矩阵;
利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定;所述待标定的参数包括所述振镜1的pan镜面到所述振镜1的tilt镜面的距离、所述相机到所述振镜1的pan镜面的距离;
步骤S200,保持所述振镜1不动,将所述标定板放置在所述相机的视野内,拟合所述振镜2在不同电压下对应的激光平面方程,计算各激光平面方程对应的激光平面的单位法向量;基于各单位法向量,通过预构建的第二目标函数,求解所述振镜2对应的激光旋转轴,完成动态激光标定;
步骤S300,控制所述振镜2使激光条纹透射到所述标定板上,并保持所述振镜2固定不动;控制所述振镜1使所述相机拍摄不同视角下的激光条纹图像并进行3D重建;将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定;
利用多组观测值,通过预构建的第一目标函数求解待标定的参数,进而完成动态相机标定,其方法为:
获取第一约束关系与第二约束关系之间的变换矩阵,作为第一矩阵;所述第一约束关系为在所述振镜1的pan镜面、tilt镜面的初始角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系;所述第二约束关系为采集所述标定板第n张图像时,在所述振镜1的pan镜面、tilt镜面的角度下,所述虚拟相机坐标系与所述振镜1对应的振镜坐标系之间的约束关系;
基于所述第一约束关系,结合所述第一矩阵,得到所述第二约束关系,作为观测约束关系;
计算各所述观测约束关系与其对应的振镜模型计算的第二约束关系之间的误差,进而基于所述误差构建第一目标函数;
结合所述第一约束关系、所述观测约束关系,通过最小二乘法对所述第一目标函数进行求解,得到所述相机到所述振镜1的pan镜面的距离、所述振镜1的pan镜面到所述振镜1的tilt镜面的距离,进而进行动态相机标定;
所述第一约束关系与所述第二约束关系之间的变化矩阵为:
;
其中,表示{V0}和{Vn}的变化矩阵,{V0}表示第一约束关系,{Vn}表示第二约束关系,/>表示第n个变化矩阵中第i行第j列的元素,/>表示采集的标定板图像的数量;
所述观测约束关系为:
;
其中,、/>分别表示振镜1的pan镜面、tilt镜面的初始角度,/>、/>表示相机到振镜1的pan镜面的距离、振镜1的pan镜面到振镜1的tilt镜面的距离,/>表示第一约束关系对应的约束函数,/>表示观测约束关系对应的约束函数;
所述振镜模型计算的第二约束关系为:
;
其中,{V}表示振镜模型计算的第二约束关系,{G}表示基坐标系,表示{V}和{G}之间的旋转矩阵,/>、/>表示振镜1的pan镜面和tilt镜面的旋转角;
所述第一目标函数为:
;
;
其中,,/>表示第一目标函数,即待标定的参数/>、/>,/>表示振镜模型计算的第二约束关系对应的约束函数,/>、/>分别表示振镜1采集第n张标定板图像时的pan镜面、tilt镜面的角度;
所述第二目标函数为:
;
其中,表示第二目标函数,即待标定振镜2对应的激光旋转轴,n=(nx,ny,nz),n表示激光旋转轴的方向向量,nx,ny,nz分别表示激光旋转轴的x、y、z方向向量,/>、/>、/>分别表示第i个激光平面的x、y、z方向向量的值,ni表示激光平面的单位法向量,/>表示激光平面的数量。
2.根据权利要求1所述的一种双振镜的线动态激光系统的标定方法,其特征在于,将3D重建后的激光条纹图像中未重合的点云进行拼接并构建点云拼接转换矩阵,进而完成误差校正联合标定,其方法为:
使用ICP点云拼接算法,完成每一条激光点云的拼接,获取点云拼接转换矩阵,进而根据所述点云拼接转换矩阵,完成误差校正联合标定。
3.一种双振镜的线动态激光系统的标定设备,其特征在于,包括:
至少一个处理器;以及与至少一个所述处理器通信连接的存储器;
其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1-2任一项所述的一种双振镜的线动态激光系统的标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311413835.5A CN117173256B (zh) | 2023-10-30 | 2023-10-30 | 一种双振镜的线动态激光系统的标定方法、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311413835.5A CN117173256B (zh) | 2023-10-30 | 2023-10-30 | 一种双振镜的线动态激光系统的标定方法、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117173256A CN117173256A (zh) | 2023-12-05 |
CN117173256B true CN117173256B (zh) | 2024-01-16 |
Family
ID=88943453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311413835.5A Active CN117173256B (zh) | 2023-10-30 | 2023-10-30 | 一种双振镜的线动态激光系统的标定方法、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173256B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104546151A (zh) * | 2013-10-09 | 2015-04-29 | 北京大学口腔医学院 | 数控激光自动化牙体预备方法及装备 |
WO2018103694A1 (zh) * | 2016-12-07 | 2018-06-14 | 苏州笛卡测试技术有限公司 | 一种机器人三维扫描装置及方法 |
CN114067000A (zh) * | 2022-01-05 | 2022-02-18 | 中国科学院自动化研究所 | 基于全景相机和振镜相机的多目标监测方法和系统 |
CN114266836A (zh) * | 2022-03-01 | 2022-04-01 | 中国科学院自动化研究所 | 基于振镜相机的主动视觉三维标定方法、系统和设备 |
-
2023
- 2023-10-30 CN CN202311413835.5A patent/CN117173256B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104546151A (zh) * | 2013-10-09 | 2015-04-29 | 北京大学口腔医学院 | 数控激光自动化牙体预备方法及装备 |
WO2018103694A1 (zh) * | 2016-12-07 | 2018-06-14 | 苏州笛卡测试技术有限公司 | 一种机器人三维扫描装置及方法 |
CN114067000A (zh) * | 2022-01-05 | 2022-02-18 | 中国科学院自动化研究所 | 基于全景相机和振镜相机的多目标监测方法和系统 |
CN114266836A (zh) * | 2022-03-01 | 2022-04-01 | 中国科学院自动化研究所 | 基于振镜相机的主动视觉三维标定方法、系统和设备 |
Non-Patent Citations (5)
Title |
---|
三维振镜激光扫描仪的数学模型构建;闫俊娜;谢凤艳;刘倩;;现代电子技术(第15期);全文 * |
双振镜点扫描三维形貌测量系统;李旭东;崔磊;赵慧洁;姜宏志;;光学精密工程(第07期);全文 * |
基于共面法的结构光自扫描测量系统参数标定方法;解则晓;迟书凯;王晓敏;潘成成;魏征;;中国激光(第03期);全文 * |
振镜式激光扫描误差分析及几何校正算法;贾和平;史玉升;谢军;;光电工程(第08期);全文 * |
激光加工系统回转轴系误差建模与分析技术研究;王闪闪;《 CNKI优秀硕士学位论文全文库》(第第04期期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117173256A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
CN110021046B (zh) | 相机与激光雷达组合传感器的外参数标定方法及系统 | |
CN111536902B (zh) | 一种基于双棋盘格的振镜扫描系统标定方法 | |
WO2019205299A1 (zh) | 视觉测量系统结构参数标定和仿射坐标系构建方法与系统 | |
Zhang et al. | A universal and flexible theodolite-camera system for making accurate measurements over large volumes | |
CN111486864B (zh) | 基于立体正八边结构的多源传感器联合标定方法 | |
CN114266836B (zh) | 基于振镜相机的主动视觉三维标定方法、系统和设备 | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
CN108253939A (zh) | 可变视轴单目立体视觉测量方法 | |
CN114066983A (zh) | 一种基于两轴转台的智能补扫方法和计算机可读存储介质 | |
CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
CN116051659B (zh) | 一种线阵相机与2d激光扫描仪联合标定方法 | |
CN111915685B (zh) | 一种变焦摄像机标定方法 | |
CN113724337A (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN110766757A (zh) | 一种具有二维指向镜的面阵相机几何成像模型标定方法 | |
CN110910506B (zh) | 基于法线检测的三维重建方法、装置、检测装置及系统 | |
CN110827359A (zh) | 基于棋盘格三面体的相机与激光器外参检校方法及装置 | |
JP2006098065A (ja) | キャリブレーション装置および方法、ならびにそれらを利用可能な3次元モデリング装置および3次元モデリングシステム | |
CN117173256B (zh) | 一种双振镜的线动态激光系统的标定方法、设备 | |
CN111754584A (zh) | 一种远距离大视场相机参数标定系统和方法 | |
CN116147534A (zh) | 一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法 | |
Oniga et al. | Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results. | |
Elnashef et al. | Geometry, calibration, and robust centering procedures for refractive dome-port based imaging systems | |
CN115290008A (zh) | 一种影像测量平行光管的角度标定算法 | |
Liu et al. | A novel method to calibrate the rotation axis of a line-structured light 3-dimensional measurement system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |