CN108709499A - 一种结构光视觉传感器及其快速标定方法 - Google Patents

Abstract

本发明公开了一种结构光视觉传感器及其快速标定方法，在两个平面上分别一次性提取光条中的光点，利用奇异值分解(singular value decomposition,SVD)方法对得到的多个光点进行拟合，从而得到结构光光平面参数。该方法去除了需要额外引入精密测量仪器或需要在多个靶标位置下拟合直线求交点的步骤，将快速获得的多个光点均作为拟合点进行拟合，使得整个过程简便易行；本发明方法通过快捷地得到结构光光平面参数，在后续视觉测量过程中应用相机和激光器相对位置不变，即激光三角法对未知形貌特征的表面进行测量。利用主动视觉的方法在工业现场实现无接触无损测量，满足现场在线测量的需求。

Description

一种结构光视觉传感器及其快速标定方法

技术领域

本发明属于机器视觉测量领域，具体涉及一种结构光视觉传感器及其快速标定方法。

背景技术

对于工业现场物体空间特征尺寸的检测，采用单目相机和线结构光结合形成视觉传感器 的方式，利用激光三角法测量原理，使得在单目相机只能得到平面二维坐标值的基础上，增 加了由结构光提供的深度信息。由于单线结构光受物体表面形貌的调制，相机获得的图像中 即可解算出光条点的x和y坐标值，z轴方向的坐标值即可以通过结构光平面的信息得到。

采用传统拉丝法或锯齿靶法需要引入标准坐标测量仪器或精密移动平台，且标准坐标测 量仪器瞄准的点与对亮点进行灰度提取得到的点一般不是同一点。采用光条与棋盘格靶标内 网格直线相交求得光点的方式需要进行多次直线拟合，即首先要对棋盘格角点进行提取，再 对提取的角点进行直线拟合，将光条拟合成直线，使由棋盘格角点拟合得到的多条直线和光 条直线相交求交点。基于交比不变原理获取光条点坐标也需要将提取的光条进行直线拟合再 与坐标已知的共线点组成的直线相交，从而求出光条点的坐标。以上方法均无法快速便捷地 获得多个非共线光点，因此需要提出一种新的方法。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种结构光视觉传感器及其快速标定 方法，在两个平面上分别一次性提取光条中的光点，利用奇异值分解(singularvalue decomposition,SVD)方法对得到的多个光点进行拟合，从而得到结构光光平面参数。该方法 去除了需要额外引入精密测量仪器或需要在多个靶标位置下拟合直线求交点的步骤，将快速 获得的多个光点均作为拟合点进行拟合，使得整个过程简便易行；本发明方法通过快捷地得 到结构光光平面参数，在后续视觉测量过程中应用相机和激光器相对位置不变，即激光三角 法对未知形貌特征的表面进行测量。利用主动视觉的方法在工业现场实现无接触无损测量， 满足现场在线测量的需求。

本发明的目的是通过以下技术方案实现的：

一种结构光视觉传感器，包括固定支架、结构光激光器和相机，所述固定支架的一端通 过激光器基座设置有所述结构光激光器，固定支架的另一端通过相机基座垂直于水平面固定 有所述相机，所述结构光激光器和相机间的距离及角度可调，相机镜头可拍摄到结构光激光 器射出的光线。

进一步的，所述结构光激光器的光轴与所述相机的光轴之间的夹角为25°-30°。

一种结构光视觉传感器的快速标定方法，包括以下步骤：

(1)标定相机内外参数:利用张氏标定法，采集变化方位的靶标图像，使靶标出现的所 有位置覆盖整个视野以准确标定内参；通过靶标相对于相机的位姿进行建立相机外参，此处 将靶标置于一初始水平面上建立世界坐标系，可得该平面在世界坐标系下表示为z_w＝0；

(2)光点获取：

a.将单线结构光投射于z_w＝0平面，相机第一次拍摄光条图像；

b.将原平面抬高至预定高度h并建立中间坐标系，相机第二次拍下投射于该平面的光条 图像；

c.分别利用已经标定完成的相机内外参数计算得到两次提取到光条点的x_w和y_w坐标值， 将第一次拍摄图像得到的光条点的坐标z_w值定为0，将第二次拍摄图像得到的光条点的坐标 z_w值定为上述已预定高度h，则得到了两组位于不同高度点的空间三维坐标值；

(3)进行多点测量以拟合结构光光平面并使误差减小：利用两次采集到的所有光条中心 点进行空间平面拟合，以减小误差，采用点法式表示一个空间平面，点由提取到的两组空间 点的平均值得到，法向量由奇异值分解(SVD)方法得到。

进一步的，步骤(1)中标定相机内外参数包括以下步骤：选用靶标为7×7陶瓷圆点阵列 靶标，有效面积30mm×30mm，直线及圆点直径加工精度为1μm；根据张氏标定法对相机进 行内外参数标定，选取不同位置与方向摆放靶标，分别用相机采集图像，通过计算得到相机 的内部参数；通过靶标相对于相机的位姿建立相机外参，将靶标放置于水平面上建立世界坐 标系，建立的世界坐标系中z_w＝0平面即位于该水平面上。

步骤(2)和(3)中，对于光条中光点的提取，首先利用阈值法确定光条部分，其次利用灰度重心法得到光条中心点像素坐标(u,v)：

其中i＝0,1,2,...,m；j＝0,1,2,...,n；x_i和y_j分别为像素点行、列坐标；f(x_i,y_j)为像素点的灰度 值；因相机内外参数已知，通过以下关系推导由光点的图像坐标到世界坐标系下的坐标x_w和 y_w：

其中u和v为上述得到的光点的像素坐标，M为由相机的内外参数组成的投影矩阵，X_W＝(x_w,y_w,z_w)为对应点的世界坐标，将计算得到的两组点的z_w值分别设为0和h，即得到了完 整的两组点的空间坐标值，对得到的空间点进行奇异值分解(SVD)，确定空间平面的法向量 从而拟合结构光平面。

进一步的，所述预定高度h在相机镜头的最大景深范围内。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明通过搭建结构光视觉传感器，对相机进行内外参数标定后，采集两个不同高度水 平面上的光条图像，将离散空间点拟合成平面，完成结构光参数的标定。整个标定过程步骤 简洁方便，且得到的平均残差为0.13mm。整个标定方案相较于传统方案减少了步骤，使标定 结构光平面不至太繁琐。

附图说明

图1是结构光视觉传感器的结构示意图。

图2是相机光轴和结构光激光器光轴夹角示意图。

图3是结构光平面标定过程原理图。

图4是结构光视觉传感器快速标定的精度分析模型图。

附图标记:1-结构光激光器 2-激光器基座 3-固定支架 4-相机 5-相机基座 6-镜 头

具体实施方式

下面结合附图对本发明作进一步的描述。

结构光视觉传感器如图1所示，结构光激光器1、激光器基座2、固定支架3、相机4、相机基座5和镜头6组成。本实施例中相机4型号为Baumer TXG50，像素分辨率为2448×2050， 像元尺寸为3.45μm×3.45μm；镜头6型号为Kowa LM25JC5M2；结构光激光器1为功率10mW 的型号为STR-660-10-CW-FL-L01-20-S-XX激光器。相机4垂直于水平面固定，激光器光轴与相 机光轴之间夹角在25°到30°之间，图2为两者之间夹角的示意图。

根据上述结构光视觉传感器的快速标定方法如下：

一、相机内外参数标定：选用靶标为7×7陶瓷圆点阵列靶标，有效面积30mm×30mm， 直线及圆点直径加工精度为1μm。根据张氏标定法对相机进行内外参数标定，选取不同位置 与方向摆放靶标，分别用相机采集图像，计算得到相机的内部参数。相机的外部参数与世界 坐标系的选取有关，可以通过靶标相对于相机的位姿进行世界坐标系的建立。本实施例中将 靶标放置于水平面上建立相机外参，建立的世界坐标系中z_w＝0平面即位于该水平面上。

二、光点获取

如图3所示为结构光平面标定过程原理图，首先将单线结构光投射于z_w＝0平面，相机拍 摄光条图像；其后将原平面抬高一已知高度并建立中间坐标系，再次拍下投射于该平面的光 条图像；分别利用已经标定完成的相机内外参数计算得到两次提取到光条点的x_w和y_w坐标 值，最后将第一次拍摄图像得到的光条点的坐标z_w值定为0，将第二次拍摄图像得到的光条 点的坐标z_w值定为上述已知高度，则得到了两组位于不同高度点的空间三维坐标值。

本实施例中，结构光激光器投射出的光条能覆盖相机视野的宽度，相机采集到投射于基 准水平面的光条，将基准水平面抬高一定高度h，此高度可由标准量块得到，即将结构光投 射到高度为h的量块的表面上，此时将在该表面得到与原光条相平行的光条，相机再次采集 该光条。这是因为过空间中一条直线的平面有无数个，而两条空间中平行的直线才能唯一确 定空间平面。对于光条中光点的提取，首先利用阈值法确定光条部分，其次利用灰度重心法 得到光条中心点像素坐标(u,v)：

其中i＝0,1,2,...,m；j＝0,1,2,...,n；x_i和y_j分别为像素点行、列坐标；f(x_i,y_j)为像素点的灰度 值。由于相机内外参数已知，用以下关系可以推导由光点的图像坐标到世界坐标系下的坐标 x_w和y_w：

其中u和v为上述得到的光点的像素坐标，M为由相机的内外参数组成的投影矩阵，X_W＝(x_w,y_w,z_w)为对应点的世界坐标。

三、平面拟合

由式(2)得到的x_w和y_w坐标，结合人为设定的z_w坐标，即得到完整的光条上点的世界 坐标。理论上只要得到平面中不共线的三个点，即可以求出空间平面的表达式，但是实验不 可避免地存在误差，因此需要多点进行空间平面的拟合。通过奇异值分解(singularvalue decomposition,SVD)方法对空间点进行平面拟合，可以计算结构光光平面相对于世界坐标系 的表达式，由于相机外参已知，利用位姿矩阵的推导即可得到相机与结构光激光器的相对位 置矩阵。

本实施例中，在两条光条上分别提取得到2448个点，即共有4896个空间点参与拟合空 间平面。

采用点法式表示一个空间平面，该点由提取到的两组空间点的平均值得到，法向量则由 奇异值分解(singular value decomposition,SVD)方法得到。因此该平面的方程表示为：

A(x_w-o_x)+B(y_w-o_y)+C(z_w-o_z)＝0 (3)

其中n＝(A,B,C)为平面的法向量,点(o_x,o_y,o_z)为所有测量点的平均值所在的点，求取拟合 平面方程的关键是得到组成平面法向量的三个参数。设采集到的数据点有m个，即两组数据 点为(x_wi,y_wi,z_wi)，i＝1,2,…,m，代入式(3)则得到一个超定方程组：

其中S为m×3的矩阵。为了求解出法向量中的三个未知分量，需要对S进行分解。因为S中 的元素实际上为空间中点的坐标，由线性代数可知其列向量之间线性无关，所以可以推知该 矩阵秩为3，矩阵有三个非零奇异值。根据奇异值分解(SVD)理论，存在正交矩阵和使得下式成立：

S＝UΣV^T (5)

其中，且Σ₁＝diag(σ₁,σ₂,σ₃)对角元素降序排列，数值σ₁,σ₂,σ₃称为S的奇异值，且最 小的奇异值对应的奇异向量就是平面的法向量。矩阵V的列向量为矩阵S的对应于不同奇异 值的右奇异向量。所以取矩阵V里第三列向量就是最小奇异值对应的奇异向量，即所求的结 构光光平面法向量。最终得到平面方程的表达式为：

v₁₃(x-o_x)+v₂₃(y-o_y)+v₃₃(z-o_z)＝0 (6)

其中v₁₃、v₂₃和v₃₃分别为V第三列第一行、第二行和第三行的元素。至此求出结构光光平面 的所有参数。

最后，对本发明结构光视觉传感器进行精度分析；

上述提取不同高度的光条是为了保证光平面的拟合，经过分析和建立模型可知，抬高平 面的高度会影响到光平面空间参数的确定。如图4所示，是结构光视觉传感器的模型，为了 简化分析，将结构光出射点O_L与相机成像面位于同一水平面，f为相机有效焦距，X为像平 面图像坐标系的横轴，O₁为图像坐标系原点，O_c为相机坐标系原点，x_c和z_c分别为相机坐标 系坐标轴，y_c由右手定则确定。由于视觉传感器整体占用空间所限，相机与激光器之间的安 装距离即O_LO₁为一定值B，两者光轴之间的夹角为θ，p₁和p₂分别为结构光与两平面的交点。 L为成像平面到基准平面之间的距离，实验中为定值，h为平面抬高的距离。

从图4中的几何关系可以分别得到两个交点的坐标为：

其中L＝Btanθ。进行视觉传感器标定过程中的参数以及P点的位置对视觉传感器精度的影响分 析，此处取y＝0平面是为了简化模型，对于y轴方向的精度分析原理同下。对空间点位置关 于图像坐标分量取偏导：

由上式可知，由于B和θ由视觉传感器结构确定，f由相机参数确定，若要使视觉传感 器精度尽可能高，对空间点的测量尽可能准确，则需要的h值应较大，使测量获得的精度较 高。但h不能无限增大，需要考虑到光条在图像视野中的清晰程度，即结构光投射在高度为 h的平面上时，光条不能处于视野之外，也不能使光条模糊不清，应使高度在镜头最大景深 范围内。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发 明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗 旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多 形式的具体变换，这些均属于本发明的保护范围之内。

Claims (6)

1.一种结构光视觉传感器，其特征在于，包括固定支架、结构光激光器和相机，所述固定支架的一端通过激光器基座设置有所述结构光激光器，固定支架的另一端通过相机基座垂直于水平面固定有所述相机，所述结构光激光器和相机间的距离及角度可调，相机镜头可拍摄到结构光激光器射出的光线。

2.根据权利要求1所述一种结构光视觉传感器，其特征在于，所述结构光激光器的光轴与所述相机的光轴之间的夹角为25°-30°。

3.一种结构光视觉传感器的快速标定方法，基于权利要求1所述结构光视觉传感器，其特征在于，包括以下步骤：

(1)标定相机内外参数:利用张氏标定法，采集变化方位的靶标图像，使靶标出现的所有位置覆盖整个视野以准确标定内参；通过靶标相对于相机的位姿进行建立相机外参，此处将靶标置于一初始水平面上建立世界坐标系，可得该平面在世界坐标系下表示为z_w＝0；

(2)光点获取：

a.将单线结构光投射于z_w＝0平面，相机第一次拍摄光条图像；

b.将原平面抬高至预定高度h并建立中间坐标系，相机第二次拍下投射于该平面的光条图像；

c.分别利用已经标定完成的相机内外参数计算得到两次提取到光条点的x_w和y_w坐标值，将第一次拍摄图像得到的光条点的坐标z_w值定为0，将第二次拍摄图像得到的光条点的坐标z_w值定为上述已预定高度h，则得到了两组位于不同高度点的空间三维坐标值；

(3)进行多点测量以拟合结构光光平面并使误差减小：利用两次采集到的所有光条中心点进行空间平面拟合，以减小误差，采用点法式表示一个空间平面，点由提取到的两组空间点的平均值得到，法向量由奇异值分解(SVD)方法得到。

4.根据权利要求3所述一种结构光视觉传感器的快速标定方法，其特征在于，步骤(1)中标定相机内外参数包括以下步骤：选用靶标为7×7陶瓷圆点阵列靶标，有效面积30mm×30mm，直线及圆点直径加工精度为1μm；根据张氏标定法对相机进行内外参数标定，选取不同位置与方向摆放靶标，分别用相机采集图像，通过计算得到相机的内部参数；通过靶标相对于相机的位姿建立相机外参，将靶标放置于水平面上建立世界坐标系，建立的世界坐标系中z_w＝0平面即位于该水平面上。

5.根据权利要求3所述一种结构光视觉传感器的快速标定方法，其特征在于，步骤(2)和(3)中，对于光条中光点的提取，首先利用阈值法确定光条部分，其次利用灰度重心法得到光条中心点像素坐标(u,v)：

其中i＝0,1,2,...,m；j＝0,1,2,...,n；x_i和y_j分别为像素点行、列坐标；f(x_i,y_j)为像素点的灰度值；因相机内外参数已知，通过以下关系推导由光点的图像坐标到世界坐标系下的坐标x_w和y_w：

其中u和v为上述得到的光点的像素坐标，M为由相机的内外参数组成的投影矩阵，X_W＝(x_w,y_w,z_w)为对应点的世界坐标，将计算得到的两组点的z_w值分别设为0和h，即得到了完整的两组点的空间坐标值，对得到的空间点进行奇异值分解(SVD)，确定空间平面的法向量从而拟合结构光平面。

6.根据权利要求3所述一种结构光视觉传感器的快速标定方法，其特征在于，所述预定高度h在相机镜头的最大景深范围内。