CN106091930A - 一种基于双相机测量及结构光传感器的实时在线测量方法 - Google Patents

Abstract

本发明之目的就是提供一种基于双相机测量及结构光传感器的实时在线测量方法，将双相机测量系统与结构光传感器组合使用，将传感器固定在一个测量标定板上，在板子的上面粘贴摄影测量编码标志，在线测量之前，标定出标定板上的摄影测量编码标志在结构光传感器坐标系下的三维坐标，将这些摄影测量编码标志作为标定数据实现三维数据的拼接；在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通过测量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标数据转换成三维方向的坐标数据，实现在线测量；本发明具有测量效率高，速度快，测量准确，应用范围广，有效用于各种产品外形尺寸的在线检测，具有很强的实际应用价。

Description

一种基于双相机测量及结构光传感器的实时在线测量方法

技术领域

本发明涉及测量方法，特别是一种基于双相机测量及结构光传感器的实时在线测量方法。

背景技术

在工业生产中，对各种产品外形的尺寸进行测量是常有之事，包括对长度、高度、平面度的在线测量，目前，常用的测量方法有利用双相机摄影测量系统或是采用结构光传感器，获得相关数据信息后再进行处理，所述的双相机摄影测量系统：立体视觉技术是机器人技术研究中最为活跃的一个分支，是智能机器人的重要标志。双相机摄影测量系统是通过对同一目标的两幅图像提取、识别、匹配和解释，重建三维环境信息的过程。

结构光传感器：结构光传感器是利用三角反射式原理，传感器中感光片是一个矩阵，因此传感器可以打出一条激光线，可以同时测量激光线上所有点的二维坐标，分别为X方向和Y方向，即激光线上点的坐标可表示为(X，Y)。如果要测量一个产品的外形尺寸，需要移动结构光传感器，将结构光传感器测量点拼接到一起，给激光线上点添加一个Z方向的坐标，即表示为(X，Y，Z)，合成3D数据实现外形尺寸测量。结构光传感器每移动一个位置只能得到一条激光线上每个激光点的二维方向的坐标，即表示为(x，y)，如果想要得到3D数据(X、Y、Z)需要移动结构光传感器。

而且上述测量方法均是分别进行的，测量速度慢，工作效率低，测量准确性也较差，因此，如何将双相机摄影系统和结构光传感器结合起来对产品的外形尺寸进行快速、准确的在线测量，如何将每条激光线拼接起来，得到完整的3D数据完成在线测量至今未见有公开报道。

发明内容

针对上述情况，本发明之目的就是提供一种基于双相机测量及结构光传感器的实时在线测量方法，可有效解决将双相机摄像测量及结构光传感器结合在一起快速、准确对产品外形、尺寸进行在线测量的问题。

本发明解决的技术方案是，将双相机测量系统与结构光传感器组合使用，将传感器固定在一个测量标定板上，在板子的上面粘贴摄影测量编码标志，在线测量之前，标定出标定板上的摄影测量编码标志在结构光传感器坐标系下的三维坐标(bX、bY、bZ)，将这些摄影测量编码标志作为标定数据实现3D(X、Y、Z)数据的拼接；

在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通过测量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标(x,y)数据转换成三维方向(3D)的坐标(X、Y、Z)数据，实现在线测量；具体包括以下步骤：

(1)、结构光传感器测量坐标系与摄影测量编码标志关系的标定：将双相机测量系统与结构光传感器组合使用，先将传感器固定在测量标定板上，同时在测量标定板上面粘贴三行三列摄影测量编码标志，(见图3所示)标志点间距50mm，在线测量之前，先标出测量标定板上的摄影测量编码标志在激光传感器坐标系下的三维坐标(bX，bY，bZ)，将测量标定板上的摄影测量编码标志的三维坐标(bX、bY、bZ)作为标定参数，实现使用标定参数三维方向(3D)的坐标(X、Y、Z)数据的拼接；所述的编码标志是一种自身带有数字编码信息的人工标志，所述的测量标定板是粘贴有用于摄影测量的编码标志的铝合金板；

(2)、双相机摄影测量系统和结构光传感器的在线测量：通过标定，得到标定板上的测量编码标志在激光传感器坐标系下的坐标(bX、bY、bZ)，双相机测量系统通过测量标定板上的编码标志，得到测量标定板上的编码标志在双相机测量系统坐标系下的坐标(sX、sY、sZ)，同时用计算机软件采集传感器的测量数据，将标定板上的摄影测量编码标志在摄影测量坐标系下的坐标(sX、sY、sZ)和在激光传感器坐标系下的坐标(bX、bY、bZ)进行公共点转换，实现激光传感器的坐标系与双相机测量坐标系之间的关系TCoor＝(X0，Y0，Z0，εx，εy，εz)，在线测量时，激光传感器的测量点转换到摄影测量坐标系下，从而实现每次标定板和传感器一起移动，将传感器每次采集的数据都转换到双相机测量坐标系下，对传感器采集测量数据拼接，达到对产品的三维方向(3D)的坐标的数据采集，实现在线产品的测量。

本发明是将双相机测量系统与结构光传感器结合在一起，创新性地提供一种基于双相机测量及结构光传感器的实时在线测量方法，具有测量效率高，速度快，测量准确，应用范围广，有效用于各种产品外形尺寸的在线检测，研究测量方法可以快速测量产品的长度、高度、平面度等等，实现产品的各种外形尺寸的在线检测，实时提供测量结果，具有很强的实际应用价值。

附图说明

图1为本发明工艺流程图；

图2为本发明工艺标定流程图；

图3为本发明摄影测量编码标志图；

图4为本发明双相机测量及结构光传感器系统装配图；

图5为本发明摄影测量条带(点)图；

图6为本发明Kardan旋转示意图。

具体实施方式

以下附图对本发明的具体实施方式做详细说明，

本发明在具体实施中，如图1、图2所示，包括以下步骤：

(1)、将双相机测量系统中的两个相机分别安装到两个三脚架上，构成双相机测量系统，将传感器固定在粘贴有编码标志的铝合金板上，在铝合金板上粘贴三行三列摄影测量编码标志，标志点的间距为50mm；(见图3、图4所示)

(2)、在传感器坐标系y坐标方向四个位置-50mm，-100mm，50mm,100mm，首先在传感器坐标系y坐标方向-50mm位置放置均匀分布有摄影测量编码标志点的摄影测量条带点，如图5所示，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(3)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，确认双相机测量的点与传感器测量的点是同一个点，即同名点，将双相机测量出来的条带点和标定板上的标定点保存为SY1点集，双相机测量系统采集SY1的同时，激光传感器采集条带点并保存为JG1点集；

(4)、在传感器坐标系y坐标方向-100mm位置放置一个条带上均匀分布的摄影测量编码标志点的条带上，如图5所示，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(5)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY2点集；双相机测量系统采集SY2的同时，激光传感器采集条带点并保存为JG2点集；

(6)、在传感器坐标系y坐标方向50mm位置放置一个条带上均匀分布的摄影测量编码标志点，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(7)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY3点集，双相机测量系统采集S32的同时，激光传感器采集条带点并保存为JG3点集；

(8)、在传感器坐标系y坐标方向100mm位置放置一个条带上均匀分布的摄影测量编码标志点，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(9)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，却认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY4点集，双相机测量系统采集SY4的同时，激光传感器采集条带点并保存为JG4点集；

(10)、以上得到测量点集SY1，SY2,SY3，SY4，JG1，JG2,JG3，JG4；然后将JG1-JG4点集作为参考点；通过公共点转换；

激光传感器坐标系与双相机摄影测量坐标系是两个不同坐标系，因此两坐标系之间有三个平移参数和三个旋转参数，记为T，三个平移量(X0，Y0，Z0)，三个旋转量(εx，εy，εz)，设激光传感器坐标系坐标系下的坐标为(X，Y，Z)，在摄影测量坐标系下的坐标为(x，y，z)，激光传感器坐标系与摄影测量坐标系之间的转换关系为：

$\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=\left(\begin{array}{ccc}{a}_1& b_1& c_1\\ a_2& b_2& c_2\\ a_3& b_3& c_3\end{array}\right)\left(\begin{array}{c}X-X_0\\ Y-Y_0\\ Z-Z_0\end{array}\right)$

通过解算该方程从而就可求出坐标系转换参数T，a₁，b₁，c₁，a₂，b₂，c₂，a₃，b₃，c₃为旋转矩阵的9个参数；

将四组测量点和四组参考点计算出新的激光传感器坐标系；

(11)、将摄影测量测得的标定点转换到激光传感器坐标系下，方法是先将激光传感器测量坐标系O-XYZ缩放k倍，再按Kardan进行旋转，如图6所示，首先绕X轴旋转ε_x，此时Z轴到达OYZ与OYz两面的交线位置，其次绕旋转后的Y轴旋转εy，使Z轴最终到达z轴，最后绕z轴旋转εz，最终使X、Y轴分别与x、y轴重合；

平移(X0，Y0，Z0)，转换到被摄影测量坐标系o-xyz中，点P在O-XYZ中的坐标为(X，Y，Z)，在o-xyz中的坐标为(x，y，z)，则有：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right)=k\·\left(\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right)\·\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)+\left(\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right)=k\·M\·\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)+\left(\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right)$

其中M称为旋转矩阵，其中a₁，b₁，c₁，a₂，b₂，c₂，a₃，b₃，c₃，为旋转角(ε_x，ε_y，ε_z)的九个函数，其中k为尺度因子；其中，

(12)、在线测量：移动激光传感器与标定板到另外一个位置，激光传感器与标定板扫描测量产品一条激光线数据，双相机摄影测量系统同时测量标定板上的标定点，通过标定点在激光传感器坐标系与双相机摄影测量坐标系下关系，激光线数据转换到摄影测量坐标系下，在线测量出产品的3D方向数据，实现对产品的在线测量。

本发明经实地应用和反复试验，取得了非常好的有益技术效果，如实地对某一个工件进行在线扫描测量，该公件有上下两个平面，平面上有1个大通孔和4个小圆包围的另一大通孔，需要测量出产品两个面的平面度，及2个大圆的相对位置关系、四个小圆相对所包围的圆的位置关系；测量误差要求平面度小于0.15mm，两个圆的相对位置关系误差X、Y小于0.15mm，四个小圆位置相对大圆距离小于0.1mm，采用本发明方法进行实地在线测量，

1.首先选定待测量产品，双相机测量系统标定之后，并将标定板和激光传感器标定连接好(参考步骤标定步骤)；

2.移动标定板和激光传感器，对产品进行在线扫描测量(参考在线测量步骤)，扫描得出数据点；

3.根据扫描测量的数据计算分析，该产品的平面度为0.12mm，两个大圆相对位置偏差分别为0.09mm、0.11mm，四个小圆距离包围的圆的距离均小于0.06mm，完全达到了测量目的。

并经反复多次对其他产品也进行了测试，均取得了相同和相近似的结果，这里不再一一重述。

本发明方法具有以下有益技术效果：

1、测量效率高、速度快：对于6m*3m范围内产品大小，可以在10分钟之内完成外形尺寸在线检测。

2、测量精度高。多种测量需求不需要单独测量，减少了测量误差，提高了测量精度，测量精度可以达到0.05mm。

3、测量精度范围广。测量方法中采用的结构光传感器型号可以任意选择，以满足不同精度的测量需求，测量精度范围为0.05mm～1mm。

4、在测量功能方面：激光传感器采集的数据为线激光，可以采集大量轮廓点，可以同时完成产品的不同测量需求。

5、测量产品尺寸不受限制：可以测量不同范围的产品，只要在双相机测量系统视场范围内均可以进行测量。

6、测量过程中只需保证双相机测量系统稳定，激光传感器的测量并不受现场震动、杂光等干扰等影响；

7、测量设备便携性好：重量轻、一个人即可携带，并进行长途运输；

8、本发明方法简单，测量精度高，速度快，迭代次数少，收敛速度快，工作效率高，应用面广，实用性强，是对物体测量方法上的创新，经济和社会效益巨大。

Claims (2)

1.一种基于双相机测量及结构光传感器的实时在线测量方法，其特征是：将双相机测量系统与结构光传感器组合使用，将传感器固定在一个测量标定板上，在板子的上面粘贴摄影测量编码标志，在线测量之前，标定出标定板上的摄影测量编码标志在结构光传感器坐标系下的三维坐标，将这些摄影测量编码标志作为标定数据实现三维坐标数据的拼接；

在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通过测量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标数据转换成三维方向的坐标数据，实现在线测量；具体包括以下步骤：

(1)、结构光传感器测量坐标系与摄影测量编码标志关系的标定：将双相机测量系统与结构光传感器组合使用，先将传感器固定在测量标定板上，同时在测量标定板上面粘贴三行三列摄影测量编码标志，标志点间距50mm，在线测量之前，先标出测量标定板上的摄影测量编码标志在激光传感器坐标系下的三维坐标，将测量标定板上的摄影测量编码标志的三维坐标作为标定参数，实现使用标定参数三维方向的坐标数据的拼接；所述的编码标志是一种自身带有数字编码信息的人工标志，所述的测量标定板是粘贴有用于摄影测量的编码标志的铝合金板；

(2)、双相机摄影测量系统和结构光传感器的在线测量：通过标定，得到标定板上的测量编码标志在激光传感器坐标系下的坐标，双相机测量系统通过测量标定板上的编码标志，得到测量标定板上的编码标志在双相机测量系统坐标系下的坐标，同时用计算机软件采集传感器的测量数据，将标定板上的摄影测量编码标志在摄影测量坐标系下的坐标和在激光传感器坐标系下的坐标进行公共点转换，实现激光传感器的坐标系与双相机测量坐标系之间的关系，在线测量时，标定板和传感器一起移动，激光传感器的测量点转换到摄影测量坐标系下，将传感器每次采集的数据都转换到双相机测量坐标系下，对传感器采集测量数据拼接，达到对产品的三维方向的坐标的数据采集，实现在线产品的测量。

2.根据权利要求1所述的基于双相机测量及结构光传感器的实时在线测量方法，其特征是：包括以下步骤：(1)、将双相机测量系统中的两个相机分别安装到两个三脚架上，构成双相机测量系统，将传感器固定在粘贴有编码标志的铝合金板上，在铝合金板上粘贴三行三列摄影测量编码标志，标志点的间距为50mm；

(2)、在传感器坐标系y坐标方向四个位置-50mm，-100mm，50mm,100mm，首先在传感器坐标系y坐标方向-50mm位置放置均匀分布有摄影测量编码标志点的摄影测量条带点，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(3)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，确认双相机测量的点与传感器测量的点是同一个点，即同名点，将双相机测量出来的条带点和标定板上的标定点保存为SY1点集，双相机测量系统采集SY1的同时，激光传感器采集条带点并保存为JG1点集；

(4)、在传感器坐标系y坐标方向-100mm位置放置一个条带上均匀分布的摄影测量编码标志点的条带上，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(5)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY2点集，双相机测量系统采集SY2的同时，激光传感器采集条带点并保存为JG2点集；

(6)、在传感器坐标系y坐标方向50mm位置放置一个条带上均匀分布的摄影测量编码标志点，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(7)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY3点集，双相机测量系统采集S32的同时，激光传感器采集条带点并保存为JG3点集；

(8)、在传感器坐标系y坐标方向100mm位置放置一个条带上均匀分布的摄影测量编码标志点，将激光传感器坐标系x坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；

(9)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是同一个点，却认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY4点集，双相机测量系统采集SY4的同时，激光传感器采集条带点并保存为JG4点集；

(10)、以上得到测量点集SY1，SY2,SY3，SY4，JG1，JG2,JG3，JG4；然后将JG1-JG4点集作为参考点；通过公共点转换；

激光传感器坐标系与双相机摄影测量坐标系是两个不同坐标系，因此两坐标系之间有三个平移参数和三个旋转参数，记为T，三个平移量(X0，Y0，Z0)，三个旋转量(εx，εy，εz)，设激光传感器坐标系坐标系下的坐标为(X，Y，Z)，在摄影测量坐标系下的坐标为(x，y，z)，激光传感器坐标系与摄影测量坐标系之间的转换关系为：

$\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=\left(\begin{array}{ccc}{a}_1& b_1& c_1\\ a_2& b_2& c_2\\ a_3& b_3& c_3\end{array}\right)\left(\begin{array}{c}X-X_0\\ Y-Y_0\\ Z-Z_0\end{array}\right)$

通过解算该方程从而就可求出坐标系转换参数T，a₁，b₁，c₁，a₂，b₂，c₂，a₃，b₃，c₃为旋转矩阵的9个参数；

将四组测量点和四组参考点计算出新的激光传感器坐标系；

(11)、将摄影测量测得的标定点转换到激光传感器坐标系下，方法是

先将激光传感器测量坐标系O-XYZ缩放k倍，再按Kardan进行旋转，首先绕X轴旋转ε_x，此时Z轴到达OYZ与OYz两面的交线位置，其次绕旋转后的Y轴旋转εy，使Z轴最终到达z轴，最后绕z轴旋转εz，最终使X、Y轴分别与x、y轴重合；

平移(X0，Y0，Z0)，转换到被摄影测量坐标系o-xyz中，点P在O-XYZ中的坐标为(X，Y，Z)，在o-xyz中的坐标为(x，y，z)，则有：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right)=k\·\left(\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right)\·\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)+\left(\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right)=k\·M\·\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)+\left(\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right)$

其中M称为旋转矩阵，其中a₁，b₁，c₁，a₂，b₂，c₂，a₃，b₃，c₃，为旋转角(ε_x，ε_y，ε_z)的九个函数，k为尺度因子，其中：

$\left.\begin{array}{ccc}{a}_1={\mathrm{cos\ϵ}}_y{\mathrm{cos\ϵ}}_z,& a_2=-{\mathrm{cos\ϵ}}_y{\mathrm{sin\ϵ}}_z,& a_3={\mathrm{sin\ϵ}}_y\\ b_1={\mathrm{cos\ϵ}}_x{\mathrm{sin\ϵ}}_z+{\mathrm{sin\ϵ}}_x{\mathrm{sin\ϵ}}_y{\mathrm{cos\ϵ}}_z,& b_2={\mathrm{cos\ϵ}}_x{\mathrm{cos\ϵ}}_z-{\mathrm{sin\ϵ}}_x{\mathrm{sin\ϵ}}_y{\mathrm{sin\ϵ}}_z,& b_3=-{\mathrm{sin\ϵ}}_x{\mathrm{cos\ϵ}}_y\\ c_1={\mathrm{sin\ϵ}}_x{\mathrm{sin\ϵ}}_z-{\mathrm{cos\ϵ}}_x{\mathrm{sin\ϵ}}_y{\mathrm{cos\ϵ}}_z,& c_2={\mathrm{sin\ϵ}}_x{\mathrm{cos\ϵ}}_z+{\mathrm{cos\ϵ}}_x{\mathrm{sin\ϵ}}_y{\mathrm{sin\ϵ}}_z,& c_3={\mathrm{cos\ϵ}}_x{\mathrm{cos\ϵ}}_y\end{array}\right\};$

(12)、在线测量：移动激光传感器与标定板到另外一个位置，激光传感器与标定板扫描测量产品一条激光线数据，双相机摄影测量系统同时测量标定板上的标定点，通过标定点在激光传感器坐标系与双相机摄影测量坐标系下关系，激光线数据转换到摄影测量坐标系下，在线测量出产品的三维方向数据，实现对产品的在线测量。