CN115854921A - 基于结构光测量物体表面形状的方法及其测量装置 - Google Patents

基于结构光测量物体表面形状的方法及其测量装置 Download PDF

Info

Publication number
CN115854921A
CN115854921A CN202211584304.8A CN202211584304A CN115854921A CN 115854921 A CN115854921 A CN 115854921A CN 202211584304 A CN202211584304 A CN 202211584304A CN 115854921 A CN115854921 A CN 115854921A
Authority
CN
China
Prior art keywords
light
structured light
plane
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211584304.8A
Other languages
English (en)
Inventor
李艳文
刘建鑫
霍伟豪
王雨山
祝义浩
刘晓钰
陈子明
庚士涵
栗智民
彭宏鑫
杨毅
王登奎
王华玮
程凯
罗子茂
姜森威
刘子轩
陈念龙
张政
徐宗国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202211584304.8A priority Critical patent/CN115854921A/zh
Publication of CN115854921A publication Critical patent/CN115854921A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于结构光测量物体表面形状的方法,其包括以下步骤,步骤1:搭建用于物体表面形状三维测量的测量装置;步骤2:确定测量装置中单线结构光发射器的光轴设定角;步骤3:对测量装置进行标定,使用测量装置获取物体表面激光条纹图像;步骤4:提取图像中的激光条纹中心点,通过坐标变换获待测物表面的三维点云数据。本发明使用多线结构光辅助标定单线结构光的光平面参数,避免单线结构光的多次标定,相较于使用位移传感器对单线结构光进行定位,本发明提升了点云稠密程度和测量精度;通过距离矩阵将空间点匹配至空间平面的方法,降低算法复杂度,提升测量速度;本发明测量装置方便安装于机械臂末端对大型构件进行表面形状三维测量。

Description

基于结构光测量物体表面形状的方法及其测量装置
技术领域
本申请涉及三维测量领域,具体地涉及一种基于结构光测量物体表面形状的方法及其测量装置。
背景技术
线结构光检测技术是测量物体几何参数,实现三维重建最普遍的方法之一。因其具有非接触、大量程、速度快、精度高、算法稳定、结构简单等特点,在工业检测中得到了广泛的应用。
常用的线结构光三维测量系统的结构光发射器和相机的相对位姿固定。在相机采集到的图像中,通过提取结构光与待测件相交表面的激光条纹中心点,结合相机的内参和结构光的光平面方程,从而求出相交表面形状在相机坐标系下的三维坐标。相机的标定已经有了一套成熟的方案。因此,整套三维测量系统标定的核心问题是在相机坐标系中确认线结构光的光平面方程。
传统的线结构光三维测量系统中,结构光发射器在相机坐标系下的位置固定,而对于线结构光发射器可以有单线,三线或者多线等结构。但无论哪种结构因为结构光发射器相对相机是固定的,在相机坐标系相对世界坐标系不同的情况下,只能完成对待测物表面进行单行或者有限多行的三维数据测量,得到的表面形状较为稀疏。为了能完成更稠密的测量,传感器和待测物间至少需要有一个在相对运动。
线结构光三维测量系统采用待测物固定、传感器作相对运动时,通过调整结构光发射器在相机坐标系下的相对位姿,实现对待测件表面的测量。在实际测量过程中均需要通过高精度编码器、固定靶标或者待测件本身的特征得到结构的运动参数才能通过已知变换关系求出对应的变换矩阵,完成整个测量过程。
发明内容
为了克服现有技术的不足,本发明涉及到的测量方法使用了多线结构光辅助标定单线结构光的光平面参数,提升了点云稠密程度和测量精度;使用了一种通过距离矩阵将空间点匹配至空间平面的方法,降低算法复杂度,提升了实际使用过程中的测量速度。本发明涉及到的测量装置实现待测物表面形状测量时,能够适用于大型构件的表面形状测量,方便安装于机械臂末端对大型构件进行表面形状测量。
为实现上述目的,本发明所采用的解决方案为:一种基于结构光测量物体表面形状的方法,使用多线结构光辅助确定单线结构光的光平面参数,并且对测量装置的参数进行了优化,从两个方面提升了测量精度,其包括以下步骤:
步骤1:搭建用于物体表面形状三维测量的测量装置;
所述测量装置是指使用结构光和相机实现物体表面形状三维测量的装置;所述测量装置的主要部件包括:相机、单线结构光发射器、多线结构光发射器和直线模组;
步骤2:确定测量装置中单线结构光发射器的光轴设定角;
所述设定角为单线结构光发射器光轴与基线间的夹角;
步骤21:确定设定角对深度分辨率的影响;
建立单线结构光投射至待测面上的点在相机坐标系下的坐标和相机成像平面上的投影点在相机坐标系下的坐标的转换关系,对z求取关于x'的偏导数获得的深度分辨率如下所示:
Figure BDA0003991293550000021
式中:
Figure BDA0003991293550000022
表示深度分辨率;f表示相机的焦距;d表示单线结构光发射器光心与相机光心间的距离;θ表示单线结构光发射器光轴与基线之间的夹角;/>
Figure BDA0003991293550000023
表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标偏导数;cot表示余切函数;x'表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标;
步骤22:确定设定角对激光条纹中心提取精度的影响;
分析提取激光条纹中心的理论导数计算值与实际差分计算值间的偏差eu=uc-u',激光条纹中心提取误差eu的获取方法如下所示:
Figure BDA0003991293550000024
式中:eu表示激光条纹中心提取误差;uc表示激光条纹中心的理论导数计算值;u'表示激光条纹中心的实际差分计算值;Gu表示光强分布规律一阶导数;Guu表示光强分布规律二阶导数;u0表示激光条纹宽度方向上光强最大像素点的横坐标;g'(u0)表示光强最大位置处的一阶差分;g”(u0)表示光强最大位置处的二阶差分;
步骤23:确定设定角对测量装置精度的影响,获得设定角的数值;
获取步骤1确定的深度方向的分辨率
Figure BDA0003991293550000031
和步骤22确定的激光条纹中心提取误差eu,测量装置综合误差e的获取方法如下所示:
Figure BDA0003991293550000032
式中:e表示测量装置综合误差;
计算机以单线结构光发射器光轴与基线之间的夹角,即单线结构光发射器的光轴设定角θ为横坐标,测量装置综合误差e为纵坐标绘制综合误差曲线图,从图中取综合误差曲线最小值时对应的夹角θ作为测量系统安装时使用的值;
步骤3:对测量装置进行标定,使用测量装置获取物体表面激光条纹图像;
调整测量系统的结构参数;使用测量装置获取平面靶标的图像,标定结构光的光平面参数;开启测量装置对待测物进行扫描,获取物体表面激光条纹图像;
步骤4:提取图像中的激光条纹中心点,通过坐标变换获待测物表面的三维点云数据;
步骤41:提取图像中的激光条纹交点,对图像中的激光条纹交点进行光平面匹配;构建各激光条纹交点和单线结构光的光平面之间的距离矩阵,设置阈值并循环查找,匹配每一个激光条纹交点所属的多线结构光的光平面;
步骤42:使用匹配好的激光条纹交点确定单线结构光的光平面方程,通过坐标转换获取待测物形状的三维数据;
步骤43:图像中的单线结构光投影激光条纹中心点在相机坐标系中的三维坐标皆能够求出,即获得了被测物表面所有被单线结构光扫描过区域的稠密点云数据,完成待测物的表面形状三维测量。
可优选的是,所述步骤21中的建立单线结构光投射至待测面上的点在相机坐标系下的坐标和相机成像平面上的投影点在相机坐标系下的坐标的转换关系,具体为:
根据相机成像的坐标转换关系,单线结构光投射至待测面上的点在相机坐标系下的坐标为x,y,z,相机成像平面上的投影点在相机坐标系下的坐标为x',y',f,两个坐标系的转换关系如下所示:
Figure BDA0003991293550000033
式中:x、y和z分别表示单线结构光投射至待测面上的点在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标;x'和y'分别表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横、纵坐标。
可优选的是,所述步骤22中的分析提取激光条纹中心的理论导数计算值与实际差分计算值间的偏差eu=uc-u',具体为:
所述激光条纹中心的理论导数计算值uc的具体计算流程如下:
当被投影平面垂直于单线结构光发射器光轴时,激光条纹上的光强分布在宽度方向上呈现标准的高斯分布,如下所示:
Figure BDA0003991293550000041
式中:G(t)表示光强值;I'表示光强幅值;σ表示光强值的标准差;t表示相对激光条纹中心的偏置值;e表示自然对数;
当被投影平面与单线结构光发射器光轴不垂直且所夹锐角为θ时,经几何分析和坐标系转换,得该投影平面上的激光条纹在宽度方向上与夹角θ相关的光强分布规律G(u,θ);先对激光条纹在宽度方向上的光强分布规律G(u,θ)求取一阶导数Gu(u,θ)和二阶导数Guu(u,θ);进而得到图像中激光条纹宽度方向上光强最大的像素点处的光强分布泰勒展开式,如下所示:
Figure BDA0003991293550000042
式中:u表示激光条纹任意位置在图像中的横坐标;
对上式的u求偏导得:
Figure BDA0003991293550000043
式中:
Figure BDA0003991293550000044
表示光强分布泰勒展开式关于u的一阶偏导数;
光强最大处
Figure BDA0003991293550000045
等于0,由上式推导出第一光强最大位置获取方法如下所示:
Figure BDA0003991293550000046
所述激光条纹中心的实际差分计算值u'的具体计算流程如下:
光强最大位置处的一阶差分g'(u0)、二阶差分g”(u0)表达式如下所示:
Figure BDA0003991293550000051
分别使用g'(u0)和g”(u0)代替Gu(u0)和Guu(u0),u0处的光强分布泰勒展开式如下所示:
Figure BDA0003991293550000052
式中:G(u)表示图像中任意位置的光强值;G(u0)表示图像所有像素点中的光强最大值;
将G(u)对u求导,并使
Figure BDA0003991293550000053
得激光条纹中心的实际差分计算值u'的计算方法如下所示:
Figure BDA0003991293550000054
可优选的是,所述步骤3中的对测量装置进行标定,使用测量装置获取物体表面激光条纹图像,具体为:
步骤31:采集平面靶标的图像;
首先,将包括直线模组、相机、多线结构光发射器、单线结构光发射器的测量装置固定在一个支架上,保证在系统工作时稳定;其次,在合适的位置固定放置平面靶标,使相机能够完整的采集到平面靶标的图像,且多线结构光和单线结构光均能投射在平面靶标上;然后,打开多线结构光发射器,在单线结构光发射器关闭的状态下使用相机进行图像采集;之后在多线结构光关闭,单线结构光打开的状态下使用相机再次进行图像采集;最后,关闭多线结构光发射器和单线结构光发射器,用相机进行第三次图像采集,完成这一轮图像采集工作;
通过上述的步骤改变J次平面靶标的位姿并采集到J组不同位姿的平面靶标图像,每组包含3张图像,分别为多线结构光在平面靶标上的投影图、单线结构光在平面靶标上的投影图和平面靶标背景图;其中位于不同位姿的标定板相对相机的位姿定义为Tj(j=1,2,...,J);
其中对于第j个姿态下的三张图像为一组图像定义如下所示:
Figure BDA0003991293550000055
式中:IMGj表示标定板姿态处于Tj状态下的三张图像为一组图像定义;IMGm,j表示标定板姿态处于Tj状态下拍摄的多线结构光在平面靶标上的投影图;IMGs,j表示标定板姿态处于Tj状态下拍摄的单线结构光在平面靶标上的投影图;IMGb,j表示标定板姿态处于Tj状态下拍摄的平面靶标背景图;j表示每组图像的序号;J表示图像组数量;Tj表示不同位姿的标定板相对相机的位姿定义;
步骤32:使用平面靶标的图像标定结构光的光平面参数:
获取图像IMGs,j和图像IMGm,j中提取单线结构光的激光条纹中心点和多线结构光的中心点,使用这些点对单线结构光和多线结构光在相机坐标系中的光平面方程进行标定,获得相机坐标系中多线结构光的光平面方程πi(i=1,2,...n)和初始位置下的单线结构光的光平面方程π0
步骤33:使用测量装置对待测件进行测量,采集带有激光条纹的待测物表面图像;
调整测量系统的结构参数,摆放待测物,根据前述步骤2中计算得到的单线结构光与基线夹角,即单线结构光发射器的光轴设定值θ的优选值,调整单线结构光发射器的安装位置;将测量装置固定安装于支架上以保证其工作过程中稳定,将待测物摆放于测量系统的工作区域内;
步骤34:开启测量系统对待测物进行扫描,获取带有激光条纹的待测物图像;
打开多线结构光发射器使结构光投射至待测物表面形成多道横向的激光条纹,打开单线结构光发射器使单线结构光投射至待测物表面形成一道纵向的激光条纹;打开直线模组,在直线模组的驱动下单线结构光作横向的直线运动,进而使单线结构光投射至待测物表面形成的纵向激光条纹横向扫过待测物表面;打开相机,在单线结构光扫过待测物表面的过程中周期性的拍摄带有激光条纹的待测物图像,每张图像中的纵向激光条纹位于不同的位置。
可优选的是,所述步骤41中的匹配每一个激光条纹交点所属的多线结构光的光平面,具体为:
步骤411:构建距离矩阵Dis;当将一个激光条纹交点匹配至不同光平面πi(i=1,2,...n)时,其与光平面π0间的距离会发生变化,用一矩阵Dis中的各元素表示此距离,如下所示:
Figure BDA0003991293550000061
式中:Dis表示距离矩阵;M表示单张图像中搜索到的激光条纹交点的总数;N表示图像中多线结构光发射器所发射的光平面总数;dm,n表示将第m个交点匹配至光平面πn时其与光平面π0间的距离;m表示单张图像中搜索到的激光条纹交点编号;n表示图像中多线结构光发射器所发射的光平面数编号;
第m个交点匹配至光平面πn时其与光平面π0间的距离dm,n的获取方法如下所示:
Figure BDA0003991293550000071
式中:A0,B0,C0表示光平面π0的第一、第二和第三平面方程参数;
Figure BDA0003991293550000072
表示当第m个交点匹配至光平面πn时,其在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标;
第m个交点匹配至光平面πn时,其在相机坐标系中的坐标
Figure BDA0003991293550000073
由以下式计算:
Figure BDA0003991293550000074
式中:um和vm分别表示第m个激光条纹交点在图像坐标系中的横坐标和纵坐标;An、Bn、Cn和Dn分别表示光平面πn的第一、第二、第三和第四光平面参数;cx表示像素坐标原点的横偏移;cy表示像素坐标原点的纵偏移;α表示像素坐标系在横坐标方向上的缩放倍数;β表示像素坐标系在纵坐标方向上的缩放倍数;
步骤412:借助同处于单线结构光的光平面上的各激光条纹交点之间的几何关系,设置阈值并循环查找,将激光条纹交点匹配至所属的多线结构光的光平面;
平面的几何性质决定了位于同一平面上的所有点至该平面的距离相等且都为零,所以每一张图像中的激光条纹交点至单线结构光光平面的距离理论上全都相等且为零,但是实际中因为激光条纹中心点提取误差的原因导致交点至单线结构光光平面的距离虽然接近但不相等,因此设置一阈值Td,若两个交点至单线结构光光平面的距离之差小于Td,则判定该对交点处于同一平面内,否则判定该对交点处于两个不同的平面上;
将矩阵Dis中的元素数值计算出后进入循环,使用矩阵第一行元素中的各元素
Figure BDA0003991293550000075
依列数次序减去矩阵Dis第二行中的各元素/>
Figure BDA0003991293550000076
判断是否存在/>
Figure BDA0003991293550000077
和/>
Figure BDA0003991293550000078
使此差值小于Td,若存在则保存此/>
Figure BDA0003991293550000079
和/>
Figure BDA00039912935500000710
并继续向下一行查找
Figure BDA00039912935500000711
判断是否存在/>
Figure BDA00039912935500000712
与/>
Figure BDA00039912935500000713
间的差值小于Td,重复这个过程直到在最后一行查找到/>
Figure BDA00039912935500000714
使/>
Figure BDA00039912935500000715
其中[n1,n2,…,nM]为每个交点所在的正确光平面序号,至此,为一张图像中的每一个激光条纹交点匹配到了所属的多线结构光的光平面。
可优选的是,所述步骤42中的通过坐标转换获取待测物形状的三维数据,具体为:
由于相机在单线结构光发射器运动的情况下对平面靶标进行拍摄,每张图像对应着处于不同位置的单线结构光发射器,不同位置下的单线结构光的四个光平面参数A0,B0,C0,D0中只有D0会发生改变;为获得每张图像对应得光平面参数D0,在将每张图像中的激光条纹交点匹配至正确的光平面后,计算每张图像中的激光条纹交点在相机坐标系内的三维坐标,计算公式如下所示:
Figure BDA0003991293550000081
式中:xm、ym和zm分别表示激光条纹交点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;um和vm分别表示交点在图像坐标系中的横坐标和纵坐标;Am、Bm、Cm和Dm分别表示交点所属多线结构光的光平面第一、第二、第三和第四参数;
在计算出每张图像中的激光条纹交点在相机坐标系内的三维坐标后,使用拟合得到单线结构光的光平面参数D0;由于单线结构光发射器在直线移动的过程中单线结构光的光平面参数A0,B0,C0不发生改变,在求出D0后获得了每一拍照时刻的所有单线结构光的光平面参数;
根据相机坐标转换模型和单线结构光的光平面方程,由纵向激光条纹中心点在图像中的坐标计算该点在相机坐标系中的三维坐标,计算公式如下所示:
Figure BDA0003991293550000082
式中:xp、yp和zp分别表示纵向激光条纹中心点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;up和vp表示激光中心点在图像坐标系中的横坐标、纵坐标;A0、B0、C0和D0表示单线结构光的光平面第一、第二、第三和第四参数。
本发明的第二个方面,提出一种能够实现前述基于结构光测量物体表面形状的方法的测量装置,能够实现物体表面形状的三维测量,所述装置包括相机、单线结构光发射器、多线结构光发射器、直线模组、中央安装架、单线结构光安装座、多线结构光安装座、前部外壳和后部外壳;
所述相机通过螺纹联接固定安装于中央安装架的顶端突出框架处,采集待测物表面和结构光的图片,在结构光的辅助下对待测物表面上的点进行三维测量;
所述单线结构光发射器首先通过螺纹联接固定安装在单线结构光安装座上,单线结构光安装座再通过螺纹联接将自身和单线结构光发射器固定安装于直线模组运动端上使自身和单线结构光发射器随直线模组移动端作直线运动;单线结构光发射器是表面形状三维测量装置中的运动部件,辅助相机进行三维测量;
所述多线结构光发射器首先通过螺纹联接固定安装于多线结构光安装座上,多线结构光安装座再通过过盈连接将自身和多线结构光发射器固定装卡在中央安装架的底端突出框架上;多线结构光的作用是代替编码器位移传感器对单线结构光进行定位,是提升测量精度的关键部件;
所述直线模组的固定端通过螺纹联接固定安装于中央安装架的顶端平整处;
所述中央安装架是将各部件总装成整体的基础,其他部件通过直接安装或借助安装架固定在中央安装架上;
所述后部外壳通过螺纹联接固定安装于中央安装架后端;
所述前部外壳通过螺纹联接与后部外壳固定联接,将整个中央安装架及安装于其上的部件包络起来以进行保护,在相机安装的位置上前部外壳存在孔洞使相机的镜头露出,在多线结构光发射器和单线结构光发射器的安装位置相应的有透明窗口以供结构光通过。
与现有技术相比,本发明的有益效果在于:
(1)本发明涉及到的测量方法使用了多线结构光辅助标定单线结构光的光平面参数,避免了单线结构光的多次标定,相较于使用编码器等位移传感器对单线结构光进行定位,本方法的应用提升了点云稠密程度和测量精度;
(2)本发明涉及到的测量方法使用了一种通过距离矩阵将空间点匹配至空间平面的方法,降低了算法复杂度,提升了实际使用过程中的测量速度;
(3)本发明涉及到的测量装置实现待测物表面形状测量时,无需移动待测物,能够适用于大型构件的表面形状测量;测量装置的整体外形尺寸小,方便安装于机械臂末端对大型构件进行表面形状测量。
附图说明
图1为本发明实施例基于结构光测量物体表面形状的方法的流程图;
图2为本发明实施例单线结构光的光轴设定角示意图;
图3为本发明实施例结构光投射效果示意图;
图4为本发明实施例测量装置的整体结构示意图;
图5为本发明实施例测量装置在拆除前部外壳后的结构示意图。
附图标记:
1、相机;2、中央安装架;3、多线结构光安装座;4、多线结构光发射器;5、单线结构光发射器;6、单线结构光安装座;7、直线模组;8、后部外壳;9、前部外壳。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
本发明实施例提出的基于结构光测量物体表面形状的方法使用了多线结构光辅助标定单线结构光的光平面参数,相较于使用编码器等位移传感器对单线结构光进行定位,提升了点云稠密程度和测量精度;通过距离矩阵将空间点匹配至空间平面的方法,提升了实际使用过程中的测量速度;如图1所示为本发明实施例基于结构光测量物体表面形状的方法的流程图。本发明实施例涉及到的测量装置方便安装于机械臂末端对大型构件进行表面形状测量;实施例中对装置的介绍证明本装置能够实现物体表面形状的测量。
本发明实施例提供了一种基于结构光测量物体表面形状的方法,为了证明本发明的适用性,将其应用于实例,具体包含如下步骤:
S1:搭建用于物体表面形状三维测量的测量装置;
测量装置是指使用结构光实现物体表面形状三维测量的装置;测量装置包括:相机、单线结构光发射器、多线结构光发射器和直线模组。
S2:确定测量装置中单线结构光发射器的光轴设定角;
设定角为单线结构光发射器光轴与基线间的夹角;如图2所示为本发明实施例单线结构光的光轴与基线间的夹角示意图,基线与相机的光轴互相垂直,同时与单线结构光发射器的运动方向平行,光轴与基线间的夹角将影响系统的测量精度。
S21:确定设定角对深度分辨率的影响;
建立单线结构光投射至待测面上的点在相机坐标系下的坐标和相机成像平面上的投影点在相机坐标系下的坐标的转换关系,根据相机成像的坐标转换关系,单线结构光投射至待测面上的点在相机坐标系下的坐标为(x,y,z)T,相机成像平面上的投影点在相机坐标系下的坐标为(x',y',f)T,两个坐标系的转换关系如下所示:
Figure BDA0003991293550000111
式中:x、y和z分别表示单线结构光投射至待测面上的点在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标;x'和y'分别表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横、纵坐标。
对z求取关于x'的偏导数获得的深度分辨率如下所示:
Figure BDA0003991293550000112
式中:
Figure BDA0003991293550000113
表示深度分辨率;f表示相机的焦距;d表示单线结构光发射器光心与相机光心间的距离;θ表示单线结构光发射器光轴与基线之间的夹角;/>
Figure BDA0003991293550000114
表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标偏导数;cot表示余切函数;x'表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标。
S22:确定设定角对激光条纹中心提取精度的影响;
分析提取激光条纹中心的理论导数计算值与实际差分计算值间的偏差eu=uc-u',激光条纹中心的理论导数计算值uc的具体计算流程如下:
本案例通过Steger算法实现激光条纹中心点提取,其将图像中激光条纹的光强最大点提取出来作为激光条纹中心点。在使用Steger算法提取激光条纹光强最大点时,必须获得该投影面上的激光条纹在宽度方向上的光强分布规律。当被投影平面垂直于单线结构光发射器光轴时,激光条纹上的光强分布在宽度方向上呈现标准的高斯分布,如下所示:
Figure BDA0003991293550000115
式中:G(t)表示光强值;I'表示光强幅值;σ表示光强值的标准差;t表示相对激光条纹中心的偏置值;e表示自然对数。
当被投影平面与单线结构光发射器光轴不垂直且所夹锐角为θ时,经几何分析和坐标系转换,得该投影平面上的激光条纹在宽度方向上与夹角θ相关的光强分布规律G(u,θ);先对激光条纹在宽度方向上的光强分布规律G(u,θ)求取一阶导数Gu(u,θ)和二阶导数Guu(u,θ);进而得到图像中激光条纹宽度方向上光强最大的像素点处的光强分布泰勒展开式,如下所示:
Figure BDA0003991293550000121
式中:u表示激光条纹任意位置在图像中的横坐标。
对上式的u求偏导得:
Figure BDA0003991293550000122
式中:
Figure BDA0003991293550000123
表示光强分布泰勒展开式关于u的一阶偏导数。
光强最大处
Figure BDA0003991293550000124
等于0,由上式推导出第一光强最大位置获取方法如下所示:
Figure BDA0003991293550000125
激光条纹中心的实际差分计算值u'的具体计算流程如下:
光强最大位置处的一阶差分g'(u0)、二阶差分g”(u0)表达式如下所示:
Figure BDA0003991293550000126
分别使用g'(u0)和g”(u0)代替Gu(u0)和Guu(u0),u0处的光强分布泰勒展开式如下所示:
Figure BDA0003991293550000127
式中:G(u)表示图像中任意位置的光强值;G(u0)表示图像所有像素点中的光强最大值。
将G(u)对u求导,并使
Figure BDA0003991293550000128
得激光条纹中心的实际差分计算值u'的计算方法如下所示:
Figure BDA0003991293550000131
激光条纹中心提取误差eu的获取方法如下所示:
Figure BDA0003991293550000132
式中:eu表示激光条纹中心提取误差;uc表示激光条纹中心的理论导数计算值;u'表示激光条纹中心的实际差分计算值;Gu表示光强分布规律一阶导数;Guu表示光强分布规律二阶导数;u0表示激光条纹宽度方向上光强最大像素点的横坐标;g'(u0)表示光强最大位置处的一阶差分;g”(u0)表示光强最大位置处的二阶差分。
S23:确定设定角对测量装置精度的影响,获得设定角的数值;
获取S1确定的深度方向的分辨率
Figure BDA0003991293550000133
和S22确定的激光条纹中心提取误差eu,测量装置误差e的获取方法如下所示:
Figure BDA0003991293550000134
式中:e表示测量装置误差。
计算机以单线结构光发射器光轴设定角θ为横坐标,测量装置误差e为纵坐标绘制综合误差曲线图,从图中取综合误差曲线最小值时对应的θ值作为测量系统安装时使用的值。
S3:对测量装置进行标定,使用测量装置获取物体表面激光条纹图像;
使用测量装置获取平面靶标的图像,标定结构光的光平面参数;调整测量系统的结构参数,开启测量装置对待测物进行扫描,获取物体表面激光条纹图像;如图3所示为本发明实施例结构光投射效果示意图,多线结构光投射至待测物表面形成多条横向激光条纹,单线结构光投射至待测物表面形成一条纵向激光条纹。
S31:采集平面靶标的图像;
首先,将包括直线模组、相机、多线结构光发射器、单线结构光发射器的测量装置固定在一个支架上,保证在系统工作时稳定;其次,在合适的位置固定放置平面靶标,使相机能够完整的采集到平面靶标的图像,且多线结构光和单线结构光均能投射在平面靶标上;然后,打开多线结构光发射器,在单线结构光发射器关闭的状态下使用相机进行图像采集;之后在多线结构光关闭,单线结构光打开的状态下使用相机再次进行图像采集;最后,关闭多线结构光发射器和单线结构光发射器,用相机进行第三次图像采集,完成这一轮图像采集工作。
通过上述的步骤改变J次平面靶标的位姿并采集到J组不同位姿的平面靶标图像,每组包含3张图像,分别为多线结构光在平面靶标上的投影图、单线结构光在平面靶标上的投影图和平面靶标背景图;其中位于不同位姿的标定板相对相机的位姿定义为Tj(j=1,2,...,J)。
其中对于第j个姿态下的三张图像为一组图像定义如下所示:
Figure BDA0003991293550000141
式中:IMGj表示标定板姿态处于Tj状态下的三张图像为一组图像定义;IMGm,j表示标定板姿态处于Tj状态下拍摄的多线结构光在平面靶标上的投影图;IMGs,j表示标定板姿态处于Tj状态下拍摄的单线结构光在平面靶标上的投影图;IMGb,j表示标定板姿态处于Tj状态下拍摄的平面靶标背景图;j表示每组图像的序号;J表示图像组数量;Tj表示不同位姿的标定板相对相机的位姿定义。
S32:使用平面靶标的图像标定结构光的光平面参数:
获取图像IMGs,j和图像IMGm,j中提取单线结构光和多线结构光的激光条纹中心点,使用这些点对单线结构光和多线结构光在相机坐标系中的光平面方程进行标定,获得相机坐标系中多线结构光的光平面方程πi(i=1,2,...n)和初始位置下的单线结构光的光平面方程π0
S33:使用测量装置对待测件进行测量,采集带有激光条纹的待测物表面图像;
调整测量系统的结构参数,摆放待测物,根据前述S2中计算得到的单线结构光的光轴设定角θ优选值调整单线结构光发射器的安装位置;将测量装置固定安装于支架上以保证其工作过程中稳定,将待测物摆放于测量系统的工作区域内。
S34:开启测量系统对待测物进行扫描,获取带有激光条纹的待测物图像;
打开多线结构光发射器使结构光投射至待测物表面形成多道横向的激光条纹,打开单线结构光发射器使单线结构光投射至待测物表面形成一道纵向的激光条纹;打开直线模组,在直线模组的驱动下单线结构光作横向的直线运动,进而使单线结构光投射至待测物表面形成的纵向激光条纹横向扫过待测物表面;打开相机,在单线结构光扫过待测物表面的过程中周期性的拍摄带有激光条纹的待测物图像,每张图像中的纵向激光条纹位于不同的位置。
S4:提取图像中的激光条纹中心点,通过坐标变换获得待测物表面的三维点云数据;
S41:提取图像中的激光条纹交点,对图像中的激光条纹交点进行光平面匹配;构建各交点和单线结构光的光平面之间的距离矩阵,设置阈值并循环查找,匹配每一个激光条纹交点所属的多线结构光的光平面。
S411:构建距离矩阵Dis;当将一个激光条纹交点匹配至不同光平面πi(i=1,2,...n)时,其与光平面π0间的距离会发生变化,用一矩阵Dis中的各元素表示此距离,如下所示:
Figure BDA0003991293550000151
式中:Dis表示距离矩阵;M表示单张图像中搜索到的激光条纹交点的总数;N表示图像中多线结构光发射器所发射的光平面总数;dm,n表示将第m个交点匹配至光平面πn时其与光平面π0间的距离;m表示单张图像中搜索到的激光条纹交点编号;n表示图像中多线结构光发射器所发射的光平面数编号。
第m个交点匹配至光平面πn时其与光平面π0间的距离dm,n的获取方法如下所示:
Figure BDA0003991293550000152
式中:A0,B0,C0表示光平面π0的第一、第二和第三平面方程参数;
Figure BDA0003991293550000153
表示当第m个交点匹配至光平面πn时,其在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标。
第m个交点匹配至光平面πn时,其在相机坐标系中的坐标
Figure BDA0003991293550000154
由以下式计算:
Figure BDA0003991293550000155
式中:um和vm分别表示第m个激光条纹交点在图像坐标系中的横坐标和纵坐标;An、Bn、Cn和Dn分别表示光平面πn的第一、第二、第三和第四光平面参数;cx表示像素坐标原点的横偏移;cy表示像素坐标原点的纵偏移;α表示像素坐标系在横坐标方向上的缩放倍数;β表示像素坐标系在纵坐标方向上的缩放倍数。
S412:借助同处于单线结构光的光平面上的各激光条纹交点之间的几何关系,设置阈值并循环查找,将激光条纹交点匹配至所属的多线结构光的光平面。
平面的几何性质决定了位于同一平面上的所有点至该平面的距离相等且都为零,所以每一张图像中的激光条纹交点至单线结构光光平面的距离理论上全都相等且为零,但是实际中因为激光条纹中心点提取误差的原因导致交点至单线结构光光平面的距离虽然接近但不相等,因此设置一阈值Td,若两个交点至单线结构光光平面的距离之差小于Td,则判定该对交点处于同一平面内,否则判定该对交点处于两个不同的平面上。
将矩阵Dis中的元素数值计算出后进入循环,使用矩阵第一行元素中的各元素
Figure BDA0003991293550000161
依列数次序减去矩阵Dis第二行元素中的各元素/>
Figure BDA0003991293550000162
判断是否存在/>
Figure BDA0003991293550000163
和/>
Figure BDA0003991293550000164
使此差值小于Td,若存在则保存此/>
Figure BDA0003991293550000165
和/>
Figure BDA0003991293550000166
并继续向下一行查找
Figure BDA0003991293550000167
判断是否存在/>
Figure BDA0003991293550000168
与/>
Figure BDA0003991293550000169
间的差值小于Td,重复这个过程直到在最后一行查找到/>
Figure BDA00039912935500001610
使/>
Figure BDA00039912935500001611
其中[n1,n2,…,nM]为每个交点所在的正确光平面序号,至此,为一张图像中的每一个激光条纹交点匹配到了所属的多线结构光的光平面。
S42:使用匹配好的激光条纹交点确定单线结构光的光平面方程,通过坐标转换获取待测物形状的三维数据;由于相机在单线结构光发射器运动的情况下对平面靶标进行拍摄,每张图像对应着处于不同位置的单线结构光发射器,不同位置下的单线结构光的四个光平面参数A0,B0,C0,D0中只有D0会发生改变;为获得每张图像对应的光平面参数D0,在将每张图像中的激光条纹交点匹配至正确的光平面后,计算每张图像中的激光条纹交点在相机坐标系内的三维坐标,计算公式如下所示:
Figure BDA00039912935500001612
式中:xm、ym和zm分别表示激光条纹交点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;um和vm分别表示第m个激光条纹交点在图像坐标系中的横坐标和纵坐标;Am、Bm、Cm和Dm分别表示交点所属多线结构光的光平面第一、第二、第三和第四参数。
在计算出每张图像中的激光条纹交点在相机坐标系内的三维坐标后,使用Ransac算法拟合得到单线结构光的光平面参数D0;由于单线结构光发射器在直线移动的过程中单线结构光光的光平面参数A0,B0,C0不发生改变,在求出D0后获得了每一拍照时刻的所有单线结构光的光平面参数。
根据相机坐标转换模型和单线结构光的光平面方程,由纵向激光条纹中心点在图像中的坐标计算该点在相机坐标系中的三维坐标,计算公式如下所示:
Figure BDA0003991293550000171
式中:xp、yp和zp分别表示纵向激光条纹中心点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;up和vp表示纵向激光中心点在图像坐标系中的横坐标、纵坐标;A0、B0、C0和D0表示单线结构光的光平面第一、第二、第三和第四参数。
S43:图像中的单线结构光投影激光条纹中心点在相机坐标系中的三维坐标皆能够求出,即获得了被测物表面所有被单线结构光扫描过区域的稠密点云数据,完成待测物的表面形状特征测量。
本发明的第二个方面提出了基于结构光测量物体表面形状的方法的测量装置,能够实现物体表面形状的三维测量,装置包括相机1、单线结构光发射器5、多线结构光发射器4、直线模组7、中央安装架2、单线结构光安装座6、多线结构光安装座3、前部外壳9和后部外壳8;如图4所示为本发明实施例测量装置的整体结构示意图;如图5所示为本发明实施例测量装置在拆除前部外壳后的结构示意图,各部件以中央安装架2为核心,直接或间接的连接与其上,外部有前部外壳9和后部外壳8包络。
相机1通过螺纹联接固定安装于中央安装架2的顶端突出框架处,采集待测物表面和结构光的图片,在结构光的辅助下对待测物表面上的点进行三维测量。
单线结构光发射器5首先通过螺纹联接固定安装在单线结构光安装座6上,单线结构光安装座6再通过螺纹联接将自身和单线结构光发射器5固定安装于直线模组7运动端上使自身和单线结构光发射器5随直线模组7移动端作直线运动;单线结构光发射器5是表面形状三维测量装置中的唯一一个运动部件,辅助相机1进行三维测量。
多线结构光发射器4首先通过螺纹联接固定安装于多线结构光安装座3上,多线结构光安装座3再通过过盈连接将自身和多线结构光发射器4固定装卡在中央安装架2的底端突出框架上;多线结构光的作用是代替编码器位移传感器对单线结构光进行定位,是提升测量精度的关键。
直线模组7的固定端通过螺纹联接固定安装于中央安装架2的顶端平整处。
中央安装架2是将各部件总装成整体的基础,其他部件通过直接安装或借助安装架固定在中央安装架2上。
后部外壳8通过螺纹联接固定安装于中央安装架2后端。
前部外壳9通过螺纹联接与后部外壳8固定联接,将整个中央安装架2及安装于其上的部件包络起来以进行保护,在相机1安装的位置上前部外壳9存在孔洞使相机1的镜头露出,在多线结构光发射器4和单线结构光发射器5的安装位置相应的有透明窗口以供结构光通过。
综上,本案例基于结构光测量物体表面形状的方法及其测量装置的预测结果证明了具有很好的效果。
(1)本发明实施例涉及到的测量方法使用了多线结构光辅助标定单线结构光的光平面参数,避免了单线结构光的多次标定,相较于使用编码器等位移传感器对单线结构光进行定位,通过实施例中的计算结果证明本方法的应用提升了点云稠密程度和测量精度。
(2)本发明实施例涉及到的测量方法使用了一种通过距离矩阵将空间点匹配至空间平面的方法,降低了算法复杂度,提升了实际使用过程中的测量速度;实施例证明本方法具有较好的应用效果。
(3)本发明实施例涉及到的测量装置在实现待测物表面形状测量时,无需移动待测物,能够适用于大型构件的表面形状测量;测量装置的整体外形尺寸小,方便安装于机械臂末端对大型构件进行表面形状测量;实施例中对装置的介绍证明本装置能够实现物体表面形状的测量。
以上所述的实施例仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种基于结构光测量物体表面形状的方法,其特征在于,使用多线结构光辅助确定单线结构光的光平面参数,其包括以下步骤:
步骤1:搭建用于物体表面形状三维测量的测量装置;
所述测量装置包括相机、单线结构光发射器、多线结构光发射器和直线模组;
步骤2:确定测量装置中单线结构光发射器的光轴设定角;
所述光轴设定角为单线结构光发射器光轴与基线间的夹角;
步骤21:确定设定角对深度分辨率的影响;
建立单线结构光投射至待测面上的点在相机坐标系下的坐标和相机成像平面上的投影点在相机坐标系下的坐标的转换关系,对z求取关于x'的偏导数获得的深度分辨率如下所示:
Figure FDA0003991293540000011
式中:
Figure FDA0003991293540000014
表示深度分辨率;f表示相机的焦距;d表示单线结构光发射器光心与相机光心间的距离;θ表示单线结构光发射器光轴与基线之间的夹角;/>
Figure FDA0003991293540000015
表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标偏导数;cot表示余切函数;x'表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横坐标;
步骤22:确定设定角对激光条纹中心提取精度的影响;
分析提取激光条纹中心的理论导数计算值与实际差分计算值间的偏差eu=uc-u',激光条纹中心提取误差eu的获取方法如下所示:
Figure FDA0003991293540000012
式中:eu表示激光条纹中心提取误差;uc表示激光条纹中心的理论导数计算值;u'表示激光条纹中心的实际差分计算值;Gu表示光强分布规律一阶导数;Guu表示光强分布规律二阶导数;u0表示激光条纹宽度方向上光强最大像素点的横坐标;g'(u0)表示光强最大位置处的一阶差分;g”(u0)表示光强最大位置处的二阶差分;
步骤23:确定单线结构光的光轴设定角对测量装置精度的影响,获得设定角的数值;
获取步骤1确定的深度方向的分辨率
Figure FDA0003991293540000016
和步骤22确定的激光条纹中心提取误差eu,测量装置综合误差e的获取方法如下所示:
Figure FDA0003991293540000013
式中:e表示测量装置综合误差;
计算机以单线结构光的光轴设定角θ为横坐标,测量装置综合误差e为纵坐标绘制综合误差曲线图,从图中取综合误差曲线最小值时对应的夹角θ作为测量系统安装时使用的值;
步骤3:对测量装置进行标定,使用测量装置获取物体表面激光条纹图像;
调整测量系统的结构参数;使用测量装置获取平面靶标的图像,标定结构光的光平面参数;开启测量装置对待测物进行扫描,获取物体表面激光条纹图像;
步骤4:提取图像中的激光条纹中心点,通过坐标变换获待测物表面的三维点云数据;
步骤41:提取图像中的激光条纹交点,对图像中的激光条纹交点进行光平面匹配;构建激光条纹交点和单线结构光的光平面之间的距离矩阵,设置阈值并循环查找,匹配每一个激光条纹交点所属的多线结构光的光平面;
步骤42:使用匹配好的激光条纹交点确定单线结构光的光平面方程,通过坐标转换获取待测物形状的三维数据;
步骤43:获得图像中的单线结构光投影激光条纹中心点在相机坐标系中的三维坐标,即获得被测物表面所有被单线结构光扫描过区域的稠密点云数据,完成待测物的表面形状三维测量。
2.根据权利要求1所述的基于结构光测量物体表面形状的方法,其特征在于,所述步骤21中的建立单线结构光投射至待测面上的点在相机坐标系下的坐标和相机成像平面上的投影点在相机坐标系下的坐标的转换关系,具体为:
根据相机成像的坐标转换关系,单线结构光投射至待测面上的点在相机坐标系下的坐标为x,y,z,相机成像平面上的投影点在相机坐标系下的坐标为x',y',f,两个坐标系的转换关系如下所示:
Figure FDA0003991293540000021
式中:x、y和z分别表示单线结构光投射至待测面上的点在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标;x'和y'分别表示单线结构光投射至待测面上的点于相机成像平面上的投影点在相机坐标系中的横、纵坐标。
3.根据权利要求1所述的基于结构光测量物体表面形状的方法,其特征在于,所述步骤22中的分析提取激光条纹中心的理论导数计算值与实际差分计算值间的偏差eu=uc-u',具体为:
所述激光条纹中心的理论导数计算值uc的具体计算流程如下:
当被投影平面垂直于单线结构光发射器光轴时,激光条纹上的光强分布在宽度方向上呈现标准的高斯分布,如下所示:
Figure FDA0003991293540000031
式中:G(t)表示单线结构光的光强值;I'表示单线结构光的光强幅值;σ表示单线结构光的光强值的标准差;t表示相对激光条纹中心的偏置值;e表示自然对数;
当被投影平面与单线结构光发射器光轴不垂直且所夹锐角为θ时,经几何分析和坐标系转换,得该投影平面上的激光条纹在宽度方向上与夹角θ相关的光强分布规律G(u,θ);先对激光条纹在宽度方向上的光强分布规律G(u,θ)求取一阶导数Gu(u,θ)和二阶导数Guu(u,θ);进而得到图像中激光条纹宽度方向上光强最大的像素点处的光强分布泰勒展开式,如下所示:
Figure FDA0003991293540000032
式中:u表示激光条纹任意位置在图像中的横坐标;
对上式的u求偏导得:
Figure FDA0003991293540000033
式中:
Figure FDA0003991293540000034
表示光强分布泰勒展开式关于u的一阶偏导数;
光强最大处
Figure FDA0003991293540000035
等于0,由上式推导出第一光强最大位置获取方法如下所示:
Figure FDA0003991293540000036
所述激光条纹中心的实际差分计算值u'的具体计算流程如下:
光强最大位置处的一阶差分g'(u0)、二阶差分g”(u0)表达式如下所示:
Figure FDA0003991293540000037
分别使用g'(u0)和g”(u0)代替Gu(u0)和Guu(u0),u0处的光强分布泰勒展开式如下所示:
Figure FDA0003991293540000041
式中:G(u)表示图像中任意位置的光强值;G(u0)表示图像所有像素点中的光强最大值;
将G(u)对u求导,并使
Figure FDA0003991293540000042
得激光条纹中心的实际差分计算值u'的计算方法如下所示:
Figure FDA0003991293540000043
4.根据权利要求1所述的基于结构光测量物体表面形状的方法,其特征在于,所述步骤3中的对测量装置进行标定,使用测量装置获取物体表面激光条纹图像,具体为:
步骤31:采集平面靶标的图像;
首先,将包括直线模组、相机、多线结构光发射器、单线结构光发射器的测量装置固定在一个支架上;其次,在合适的位置固定放置平面靶标,使相机能够完整的采集到平面靶标的图像,且多线结构光和单线结构光均能投射在平面靶标上;然后,打开多线结构光发射器,在单线结构光发射器关闭的状态下使用相机进行图像采集;之后在多线结构光关闭,单线结构光打开的状态下使用相机再次进行图像采集;最后,关闭多线结构光发射器和单线结构光发射器,用相机进行第三次图像采集,完成这一轮图像采集工作;
通过上述的步骤改变J次平面靶标的位姿并采集到J组不同位姿的平面靶标图像,每组包含3张图像,分别为多线结构光在平面靶标上的投影图、单线结构光在平面靶标上的投影图和平面靶标背景图;其中位于不同位姿的标定板相对相机的位姿定义为Tj(j=1,2,...,J);
其中对于第j个姿态下的三张图像为一组图像定义如下所示:
Figure FDA0003991293540000044
式中:IMGj表示标定板姿态处于Tj状态下的三张图像为一组图像定义;IMGm,j表示标定板姿态处于Tj状态下拍摄的多线结构光在平面靶标上的投影图;IMGs,j表示标定板姿态处于Tj状态下拍摄的单线结构光在平面靶标上的投影图;IMGb,j表示标定板姿态处于Tj状态下拍摄的平面靶标背景图;j表示每组图像的序号;J表示图像组数量;Tj表示不同位姿的标定板相对相机的位姿定义;
步骤32:使用平面靶标的图像标定结构光的光平面参数:
从图像IMGs,j和图像IMGm,j中提取单线结构光和多线结构光的激光条纹中心点,使用这些点对单线结构光和多线结构光在相机坐标系中的光平面方程进行标定,获得相机坐标系中多线结构光的光平面方程πi(i=1,2,...n)和初始位置下的单线结构光的光平面方程π0
步骤33:使用测量装置对待测件进行测量,采集带有激光条纹的待测物表面图像;
调整测量系统的结构参数,摆放待测物,根据前述步骤2中计算得到的单线结构光与基线夹角,即单线结构光的光轴设定角θ的优选值,调整单线结构光发射器的安装位置;将测量装置固定安装于支架上以保证其工作过程中稳定,将待测物摆放于测量系统的工作区域内;
步骤34:开启测量系统对待测物进行扫描,获取带有激光条纹的待测物图像;
打开多线结构光发射器使结构光投射至待测物表面形成多道横向的激光条纹,打开单线结构光发射器使单线结构光投射至待测物表面形成一道纵向的激光条纹;打开直线模组,在直线模组的驱动下单线结构光作横向的直线运动,进而使单线结构光投射至待测物表面形成的纵向激光条纹横向扫过待测物表面;打开相机,在单线结构光扫过待测物表面的过程中周期性的拍摄带有激光条纹的待测物图像,每张图像中的纵向激光条纹位于不同的位置。
5.根据权利要求1所述的基于结构光测量物体表面形状的方法,其特征在于,所述步骤41中的匹配每一个激光条纹交点所属的多线结构光的光平面,具体为:
步骤411:构建距离矩阵Dis;当将一个激光条纹交点匹配至不同光平面πi(i=1,2,...n)时,其与光平面π0间的距离会发生变化,用一矩阵Dis中的各元素表示此距离,如下所示:
Figure FDA0003991293540000051
式中:Dis表示距离矩阵;M表示单张图像中搜索到的激光条纹交点的总数;N表示图像中多线结构光发射器所发射的光平面总数;dm,n表示将第m个交点匹配至光平面πn时其与光平面π0间的距离;m表示单张图像中搜索到的激光条纹交点编号;n表示图像中多线结构光发射器所发射的光平面数编号;
第m个交点匹配至光平面πn时其与光平面π0间的距离dm,n的获取方法如下所示:
Figure FDA0003991293540000052
式中:A0,B0,C0表示光平面π0的第一、第二和第三平面方程参数;
Figure FDA0003991293540000053
表示当第m个交点匹配至光平面πn时,其在相机坐标系中的横坐标、纵坐标和光轴方向上的坐标;
第m个交点匹配至光平面πn时,其在相机坐标系中的坐标
Figure FDA0003991293540000061
由以下式计算:
Figure FDA0003991293540000062
式中:um和vm分别表示第m个交点在图像坐标系中的横坐标和纵坐标;An、Bn、Cn和Dn分别表示光平面πn的第一、第二、第三和第四光平面参数;cx表示像素坐标原点的横偏移;cy表示像素坐标原点的纵偏移;α表示像素坐标系在横坐标方向上的缩放倍数;β表示像素坐标系在纵坐标方向上的缩放倍数;
步骤412:借助同处于单线结构光的光平面上的各激光条纹交点之间的几何关系,设置阈值并循环查找,将激光条纹交点匹配至所属的多线结构光的光平面;
平面的几何性质决定了位于同一平面上的所有点至该平面的距离相等且都为零,所以每一张图像中的激光条纹交点至单线结构光光平面的距离理论上全都相等且为零,但是实际中因为激光条纹中心点提取误差的原因导致交点至单线结构光光平面的距离虽然接近但不相等,因此设置一阈值Td,若两个交点至单线结构光光平面的距离之差小于Td,则判定该对交点处于同一平面内,否则判定该对交点处于两个不同的平面上;
将矩阵Dis中的元素数值计算出后进入循环,使用矩阵第一行元素中的各元素
Figure FDA0003991293540000063
依列数次序减去矩阵Dis第二行元素中的各元素
Figure FDA00039912935400000613
判断是否存在/>
Figure FDA0003991293540000064
和/>
Figure FDA0003991293540000065
使此差值小于Td,若存在则保存此/>
Figure FDA0003991293540000066
和/>
Figure FDA0003991293540000067
并继续向下一行查找/>
Figure FDA0003991293540000068
判断是否存在/>
Figure FDA0003991293540000069
与/>
Figure FDA00039912935400000610
间的差值小于Td,重复这个过程直到在最后一行查找到/>
Figure FDA00039912935400000611
使/>
Figure FDA00039912935400000612
其中[n1,n2,…,nM]为每个交点所在的正确光平面序号,至此,为一张图像中的每一个激光条纹交点匹配到了所属的多线结构光的光平面。
6.根据权利要求1所述的基于结构光测量物体表面形状的方法,其特征在于,所述步骤42中的通过坐标转换获取待测物形状的三维数据,具体为:
由于相机在单线结构光发射器运动的情况下对平面靶标进行拍摄,每张图像对应着处于不同位置的单线结构光发射器,不同位置下的单线结构光的四个光平面参数A0,B0,C0,D0中只有D0会发生改变;为获得每张图像对应得光平面参数D0,在将每张图像中的激光条纹交点匹配至正确的光平面后,计算每张图像中的激光条纹交点在相机坐标系内的三维坐标,计算公式如下所示:
Figure FDA0003991293540000071
式中:xm、ym和zm分别表示激光条纹交点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;um和vm分别表示交点在图像坐标系中的横坐标和纵坐标;Am、Bm、Cm和Dm分别表示交点所属多线结构光πm的光平面第一、第二、第三和第四参数;v表示激光条纹任意位置在图像中的纵坐标;
在计算出每张图像中的激光条纹交点在相机坐标系内的三维坐标后,使用拟合得到单线结构光的光平面参数D0;由于单线结构光发射器在直线移动的过程中单线结构光的光平面参数A0,B0,C0不发生改变,在求出D0后获得了每一拍照时刻的所有单线结构光的光平面参数;
根据相机坐标转换模型和单线结构光的光平面方程,由纵向激光条纹中心点在图像中的坐标计算该点在相机坐标系中的三维坐标,计算公式如下所示:
Figure FDA0003991293540000072
式中:xp、yp和zp分别表示纵向激光条纹中心点在相机坐标系内的横坐标、纵坐标和光轴方向上的坐标;up和vp表示激光中心点在图像坐标系中的横坐标、纵坐标;A0、B0、C0和D0表示单线结构光的光平面第一、第二、第三和第四参数。
7.一种用于实现根据权利要求1至6之一所述的基于结构光测量物体表面形状的方法的测量装置,其特征在于,能够实现物体表面形状的三维测量,所述装置包括相机、单线结构光发射器、多线结构光发射器、直线模组、中央安装架、单线结构光安装座、多线结构光安装座、前部外壳和后部外壳;
相机通过螺纹联接固定安装于中央安装架的顶端突出框架处,采集待测物表面和结构光的图片,在结构光的辅助下对待测物表面上的点进行三维测量;
单线结构光发射器首先通过螺纹联接固定安装在单线结构光安装座上,单线结构光安装座再通过螺纹联接将自身和单线结构光发射器固定安装于直线模组运动端上使自身和单线结构光发射器随直线模组移动端作直线运动;单线结构光发射器是表面形状三维测量装置中的运动部件,辅助相机进行三维测量;
所述多线结构光发射器首先通过螺纹联接固定安装于多线结构光安装座上,多线结构光安装座再通过过盈连接将自身和多线结构光发射器固定装卡在中央安装架的底端突出框架上,多线结构光发射器对单线结构光进行定位;
所述直线模组的固定端通过螺纹联接固定安装于中央安装架的顶端平整处;
所述中央安装架是将各部件总装成整体进行安装;
所述后部外壳通过螺纹联接固定安装于中央安装架后端;
所述前部外壳通过螺纹联接与后部外壳固定联接,将中央安装架及安装于其上的部件包络起来以进行保护,在相机安装的位置上前部外壳存在孔洞使相机的镜头露出,在多线结构光发射器和单线结构光发射器的安装位置相应的有透明窗口以供结构光通过。
CN202211584304.8A 2022-12-09 2022-12-09 基于结构光测量物体表面形状的方法及其测量装置 Pending CN115854921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211584304.8A CN115854921A (zh) 2022-12-09 2022-12-09 基于结构光测量物体表面形状的方法及其测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211584304.8A CN115854921A (zh) 2022-12-09 2022-12-09 基于结构光测量物体表面形状的方法及其测量装置

Publications (1)

Publication Number Publication Date
CN115854921A true CN115854921A (zh) 2023-03-28

Family

ID=85671869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211584304.8A Pending CN115854921A (zh) 2022-12-09 2022-12-09 基于结构光测量物体表面形状的方法及其测量装置

Country Status (1)

Country Link
CN (1) CN115854921A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118009915A (zh) * 2024-04-10 2024-05-10 南京派光智慧感知信息技术有限公司 一种用于隧道围岩变形测量设备的标定校验方法
CN118134982A (zh) * 2024-05-06 2024-06-04 广东工业大学 一种基于系统位姿优化的结构光系统三维测量方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118009915A (zh) * 2024-04-10 2024-05-10 南京派光智慧感知信息技术有限公司 一种用于隧道围岩变形测量设备的标定校验方法
CN118009915B (zh) * 2024-04-10 2024-06-04 南京派光智慧感知信息技术有限公司 一种用于隧道围岩变形测量设备的标定校验方法
CN118134982A (zh) * 2024-05-06 2024-06-04 广东工业大学 一种基于系统位姿优化的结构光系统三维测量方法及装置

Similar Documents

Publication Publication Date Title
CN110146038B (zh) 筒形件装配转角的分布式单目相机激光测量装置及方法
CN109242908B (zh) 用于水下双目视觉测量系统的标定方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN101561251B (zh) 基于相位标靶的光学三坐标测量方法
CN105627948A (zh) 一种大型复杂曲面测量系统及其应用
CN111707187B (zh) 一种大型零件的测量方法及系统
CN108801218B (zh) 大尺寸动态摄影测量系统的高精度定向及定向精度评价方法
CN111854622B (zh) 一种大视场光学动态变形测量方法
CN114460093B (zh) 一种航空发动机缺陷检测方法及系统
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN115854921A (zh) 基于结构光测量物体表面形状的方法及其测量装置
CN112595236A (zh) 一种水下激光三维扫描和实时测距的测量装置
CN113048938A (zh) 一种合作目标设计及姿态角测量系统及方法
CN115638726A (zh) 一种固定扫摆式多相机视觉测量方法
CN114923665A (zh) 波浪三维高度场的图像重构方法及图像重构试验系统
Yuan et al. A precise calibration method for line scan cameras
CN205352322U (zh) 一种大型复杂曲面测量系统
CN113418927A (zh) 基于线结构光的汽车模具视觉检测系统及检测方法
CN112116665A (zh) 一种结构光传感器标定方法
CN113390394B (zh) 一种带有摄影比例尺的光束法平差算法
CN113781581B (zh) 基于靶标松姿态约束的景深畸变模型标定方法
CN114612573A (zh) 一种无公共视野的多图像传感器全局标定系统及方法
US20210233276A1 (en) Imaging system
CN114170321A (zh) 一种基于测距的相机自标定方法及系统
CN110260817B (zh) 基于虚拟标志点的复杂曲面偏折测量自定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination