CN103940369A - 多激光协同扫描形貌快速视觉测量方法 - Google Patents

Abstract

本发明多激光协同扫描形貌快速视觉测量方法属于计算机视觉测量技术领域，涉及一种多激光协同扫描的大构件快速形貌测量方法。该方法首先将彩色光条投影于被测物体表面，进行测量范围内的彩色区域编码。将多条激光投影于被测构件表面，通过控制旋转平台达到多条激光同时扫描，利用双目视觉测量理论，将激光条进行图像提取、匹配最终实现形貌的快速测量。本发明采用多激光协同扫描形貌测量法实现了不对目标物做任何处理的大构件快速、准确形貌测量，利用激光的高亮度、高聚光性提高了图像采集质量；并通过彩色区域编码辅助完成多激光条纹准确匹配，大大降低了匹配要求及计算量，提高了整套系统的测量效率。

Description

多激光协同扫描形貌快速视觉测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种多激光协同扫描大构件的快速形貌测量方法。

背景技术

大构件的快速形貌测量在航空、航天以及大型制造领域都有着十分重要的地位，大构件尺寸大、工艺复杂、加工难度大，形貌非剧烈变形不易发现，为保证构件的机械性能，对构件进行形貌测量是十分必要的。随着航空、航天领域技术的不断发展，飞行器构件逐渐走向整体化、大型化，这对形貌测量提出了全新的要求，整体、快速、准确的大构件形貌测量仍是现阶段需要解决的主要问题。

目前对大构件形貌测量的研究较少，多集中在对分区域测量拼接的研究，由于多次测量及拼接处理使得测量速度无法满足现场要求。邾继贵、任同群等人在申请号为CN200510122165的专利，专利名称为“基于拼接靶的大型三维形体形貌测量拼接方法和装置”中，发明了一种较高精度完成形貌测量的多区域测量拼接方法，但其操作复杂、流程步骤多，仍不能解决大构件形貌快速测量问题。

发明内容

本发明要解决的技术难题是克服现有技术缺陷，发明一种多激光协同扫描形貌快速视觉测量方法，利用彩色区域编码配合双目视觉激光扫描系统对大构件进行快速形貌测量。利用双目视觉结合激光可以实现不对目标物做任何处理就可高精度的测量其形貌信息，激光具有能量高、亮度大等优点，有效避免了现场光对形貌测量的影响。此外采用多激光协同扫描大大加快了扫描速度，提高了扫描效率，并利用彩色区域编码辅助进行激光匹配，有效去除了误匹配给测量系统带来的影响。解决了快速、准确测量大构件形貌信息的问题。

本发明所采用的技术方案是多激光协同扫描形貌快速视觉测量方法，其特征是，该方法首先将彩色光条投影于被测物体表面，对测量范围进行彩色区域编码；多条激光器分别安装于不同可控旋转平台上，并将激光投影于被测构件表面，通过分别控制旋转平台达到多条激光同时、同速扫描，利用双目视觉测量理论，将激光条进行图像提取、匹配最终实现形貌的快速测量，具体步骤如下：

（1）双目视觉系统标定

采用张氏标定法对双目视觉系统进行标定，将二维棋盘格靶标布置于待测区域不同位置，用双目视觉系统采集标定板图像，对标定板角点重建坐标与实际坐标偏差值进行极值优化：

$G\left(x\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i---\left(1\right)$

其中，G(x)为待优化参数，d_i为第i点重建坐标与实际坐标距离值，为所有靶标点坐标差值，用极值法求取目标函数G(x)的最优值，可得内外参数的全局最优解；

（2）彩色区域编码

目标物待扫描区域面积M，单条激光可扫描区域面积m，根据公式（1）确定所需扫描区域个数n：

采用彩色条纹一字排列编码形式对彩色区域进行编码，利用投影设备将彩色光条投影于目标物扫描区域，投影n-1条非白色不同颜色光条将目标物扫描区域均匀分割为n个区域。区域之间利用彩色光条颜色区分，第一分区颜色设定为第一光条颜色，依次类推，最末分区颜色设定为白色；

（3）多激光协同扫描

首先，利用已标定的双目视觉系统拍摄彩色条纹图像，记录彩色条纹位置保存彩色区域编码信息；

然后，撤去投影彩色条纹，将n条激光竖直布置于相应区域对所划分的n个待扫描区域进行同时横向扫描，n条激光条纹以相同速度对目标物进行多激光协同扫描；双目视觉系统对目标物进行实时拍摄，捕捉激光扫描全过程，完成扫描过程；

（4）激光条纹中心线提取

采用Steger条纹中心提取算法对激光条纹进行中心提取，利用Hessian矩阵 $\left[\begin{array}{cc}{r}_{\mathrm{uu}}& r_{\mathrm{uv}}\\ r_{\mathrm{uv}}& r_{\mathrm{vv}}\end{array}\right]$ 的特征值和特征向量，确定条纹的法线方向向量[n_u n_v]^T，r_uu、r_uv、r_vv、r_v、r_u为图像点离散二维高斯卷积的偏微分，通过以下公式计算光条中心点的中心坐标：

(q_u q_v)＝(u₀+τn_u v₀+τn_v)  (3)

其中，u₀、v₀是相面主点坐标，系数τ由以下公式计算得来：

$\mathrm{\τ}=-\frac{r_u{n}_u+r_v{n}_u}{r_{\mathrm{uu}}{n}_u^2+2r_{\mathrm{uv}}{n}_u{n}_v+r_w{n}_v^2}---\left(4\right)$

拟合所有光条中心点连接得到整条激光条纹中心线；

（5）基于彩色区域编码与极限约束的激光条纹匹配

利用彩色区域编码以及双目摄像机1、1’基本矩阵F，通过双目视觉系统左、右摄像机极限约束完成激光条纹中心线匹配；

首先，根据彩色区域编码将左、右图像在同一编码区域的激光条纹对应，当同一编码区域出现两条激光条纹时，说明上一区域激光运动至下一区域，按照激光左右顺序将激光条纹对应，根据极限约束：

x_l ^TFx_r＝0   (5)

其中，x_l为左摄像机1拍摄的图像激光条中心线某点坐标；x_r为右摄像机1’拍摄的与x_l匹配的图像激光条中心线某点坐标；F为左右两摄像机1、1’间的基本矩阵；将左、右摄像机图像上所对应的的激光条中心线的每个像素点进行匹配，最终完成激光条中心线匹配；

（6）表面形貌三维点云重建

将扫描过程得到的所有激光条纹中心点进行三维重建，重建出激光条纹中心点在世界坐标系下的三维坐标值，所有重建激光条纹中心点的三维坐标集合就是扫描目标物的形貌信息，其重建公式如下所示：

$\begin{array}{c}x=\frac{z{X}_1}{f_1}\\ y=\frac{z{Y}_1}{f_1}\\ z=\frac{f_1(f_2{t}_y-y_2{t}_z)}{Y_1(r_7{X}_1+r_8{Y}_1+r_9{f}_1)-f_2(r_4{X}_1+r_5{Y}_1+r_6{f}_1)}\end{array}---\left(6\right)$

其中：X₁,Y₁分别为左摄像机1图像激光条纹点x_l的相面横、纵坐标；,Y₂分别为右摄像机1’图像激光条纹点x_r的相面横、纵坐标；(x y z)为由左图像激光条纹点x_l和右图像激光条纹点x_r重建出来的空间激光条纹点的三维坐标；f₁、f₂为标定得到的左、右摄像机1、1’的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 为标定得到的右摄像机1’相对于左摄像机1的旋转矩阵，[t_x t_y t_z]为标定得到右摄像机1’相对于左相机1的平移矩阵。本方法采用激光配合视觉系统进行形貌测量，有效利用激光的高亮度、高直线性提高了测量方法的抗干扰能力，采用多激光协同扫描的方式大大加快了测量速度，提高了测量效率，并对目标扫描区域进行分割利用彩色区域编码辅助完成多激光条准确匹配，最终完成大构件快速、准确形貌测量。

附图说明

图1为多激光协同扫描视觉形貌测量原理图。其中，1-左摄像机、1’-右摄像机、2-竖直激光条纹、3-激光器及可控转台、4-彩色编码光线、5-被测目标物、6-图形工作站。

图2为多激光协同扫描形貌测量方法流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为多激光协同扫描视觉形貌测量原理图。本方法采用左、右两台摄像机1、1’实时采集被测目标物5以及竖直激光条纹2的图像，将采集图像传递给图形工作站6，利用投影彩色光条进行区域编码辅助完成左、右图像激光匹配，并将被测目标物5表面多激光条纹进行三维重建拟合出被测目标物5形貌信息。

首先安装测量装置，将左、右摄像机1、1’固定，调整焦距使被测目标物5充满公共视场。安装彩色光条投影设备保证可将目标物等分为规定区域个数，根据不同区域安装激光器及可控转台3。将相机与图形工作站6相连，准备进行测量。

本发明采用分别带有广角镜头的两台彩色工业CCD摄像机1、1’拍摄激光扫描过程，激光器选用200mw红光激光器，可控转台为卓林汉光的高精度旋转平台，彩色编码光条利用投影仪进行投影。以下为形貌测量方法的具体流程：

（1）双目视觉系统标定

采用张氏标定方法获得两摄像机的内、外参数K、[R T],畸变系数k与基本矩阵F，利用棋盘格角点重建坐标与实际坐标的偏差对摄像机内、外参数进行优化，标定结果如表1所示。

（2）投影彩色区域编码

根据公式（2）计算得到本实施例目标物需分割为5个区域，利用投影仪均匀投射4条彩色光条将待扫描区域分割，彩色光条颜色按照先后

顺序依次为红、黄、蓝、绿。根据光条颜色将待扫描区域依次分割为红、黄、蓝、绿、白五个子扫描区域，完成彩色区域编码。

表1标定结果

（3）多激光协同扫描

首先，利用已标定双目视觉系统拍摄彩色条纹图像，记录红、黄、篮、绿四条光条位置信息。然后，撤去投影彩色光条，将已经布置的5个激光器及转台开启对相应区域进行同时横向扫描，5条激光条纹以相同速度对目标物进行多激光协同扫描。左、右摄像机1、1’对被测目标物5进行实时拍摄，捕捉激光扫描全过程。

（4）激光条纹中心线提取

本发明采用Steger条纹中心提取法对相面激光条纹中心线进行提取。通过计算Hessian矩阵的特征值和特征向量来确定直线的法线方向向量，并将图像点离散二维高斯卷积的偏微分r_uu、r_uv、r_vv、r_v、r_u带入公式（3）计算光条的中心点坐标，将所有光条点坐标连接便得到光条中心线。

（5）基于彩色区域编码与极限约束的激光条纹匹配

根据彩色区域编码将左、右图像在同一编码区域的激光条纹相对应，当同一编码区域出现两条激光条纹时，说明上一区域激光运动至下一区域，按照激光左右顺序将激光条纹对应。然后利用极限约束公式（5）将左、右摄像机对应激光条纹所有激光中心点匹配，所有匹配点连线便得到激光条纹间的匹配关系。

（6）表面形貌三维点云重建

将扫描过程得到的所有激光条纹点进行三维重建，重建出激光条纹点在世界坐标系下的三维坐标值，所有重建激光条纹点的三维坐标集合就是扫描目标物的形貌信息，利用公式（6）求得每个激光条纹点的世界坐标系下的三维坐标，对所有激光条纹点成像便可得到被测目标物形貌信息。

本发明利用多激光协同扫描形貌测量法实现了不对目标物做任何处理的大构件快速、准确形貌测量，利用激光的高亮度、高聚光性提高了图像采集质量；并通过彩色区域编码辅助完成多激光条纹准确匹配，大大降低了匹配要求及计算量，提高了整套系统的测量效率。

Claims (1)

1.一种多激光协同扫描形貌快速视觉测量方法，其特征是，该方法首先将彩色光条投影于被测物体表面，对测量范围进行彩色区域编码；多条激光器分别安装于不同可控旋转平台上，并将激光投影于被测构件表面，通过分别控制旋转平台达到多条激光同时、同速扫描，利用双目视觉测量理论，将激光条进行图像提取、匹配最终实现形貌的快速测量，测量方法的具体测量步骤如下：

（1）双目视觉系统标定

采用张氏标定法对双目视觉系统进行标定，将二维棋盘格靶标布置于待测区域不同位置，用双目视觉系统采集标定板图像，对标定板角点重建坐标与实际坐标偏差值进行极值优化：

$G\left(x\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i---\left(1\right)$

其中，G(x)为待优化参数，d_i为第i点重建坐标与实际坐标距离值，为所有靶标点坐标差值，用极值法求取目标函数G(x)的最优值，可得内外参数的全局最优解；

（2）彩色区域编码

目标物待扫描区域面积M，单条激光可扫描区域面积m，根据公式（1）确定所需扫描区域个数n：

采用彩色条纹一字排列编码形式对彩色区域进行编码，利用投影设备将彩色光条投影于目标物扫描区域，投影n-1条非白色不同颜色光条将目标物扫描区域均匀分割为n个区域。区域之间利用彩色光条颜色区分，第一分区颜色设定为第一光条颜色，依次类推，最末分区颜色设定为白色；

（3）多激光协同扫描

首先，利用已标定的双目视觉系统拍摄彩色条纹图像，记录彩色条纹位置保存彩色区域编码信息；

然后，撤去投影彩色条纹，将n条激光竖直布置于相应区域对所划分的n个待扫描区域进行同时横向扫描，n条激光条纹以相同速度对目标物进行多激光协同扫描；双目视觉系统对目标物进行实时拍摄，捕捉激光扫描全过程，完成扫描过程；

（4）激光条纹中心线提取

采用Steger条纹中心提取算法对激光条纹进行中心提取，利用Hessian矩阵 $\left[\begin{array}{cc}{r}_{\mathrm{uu}}& r_{\mathrm{uv}}\\ r_{\mathrm{uv}}& r_{\mathrm{vv}}\end{array}\right]$ 的特征值和特征向量，确定条纹的法线方向向量[n_u n_v]^T，r_uu、r_uv、r_vv、r_v、r_u为图像点离散二维高斯卷积的偏微分，通过以下公式计算光条中心点的中心坐标：

(q_u q_v)＝(u₀+τn_uv₀+τn_v)(3)

其中，u₀、v₀是相面主点坐标，系数τ由以下公式计算得来：

$\mathrm{\τ}=-\frac{r_u{n}_u+r_v{n}_u}{r_{\mathrm{uu}}{n}_u^2+2r_{\mathrm{uv}}{n}_u{n}_v+r_w{n}_v^2}---\left(4\right)$

拟合所有光条中心点连接得到整条激光条纹中心线；

（5）基于彩色区域编码与极限约束的激光条纹匹配

利用彩色区域编码以及双目摄像机1、1’基本矩阵F，通过双目视觉系统左、右摄像机极限约束完成激光条纹中心线匹配；

首先，根据彩色区域编码将左、右图像在同一编码区域的激光条纹对应，当同一编码区域出现两条激光条纹时，说明上一区域激光运动至下一区域，按照激光左右顺序将激光条纹对应，根据极限约束：

x_l ^TFx_r＝0   (5)

其中，x_l为左摄像机1拍摄的图像激光条中心线某点坐标；x_r为右摄像机1’拍摄的与x_l匹配的图像激光条中心线某点坐标；F为左右两摄像机1、1’间的基本矩阵；将左、右摄像机图像上所对应的的激光条中心线的每个像素点进行匹配，最终完成激光条中心线匹配；

（6）表面形貌三维点云重建

将扫描过程得到的所有激光条纹中心点进行三维重建，重建出激光条纹中心点在世界坐标系下的三维坐标值，所有重建激光条纹中心点的三维坐标集合就是扫描目标物的形貌信息，其重建公式如下所示：

$\begin{array}{c}x=\frac{z{X}_1}{f_1}\\ y=\frac{z{Y}_1}{f_1}\\ z=\frac{f_1(f_2{t}_y-y_2{t}_z)}{Y_1(r_7{X}_1+r_8{Y}_1+r_9{f}_1)-f_2(r_4{X}_1+r_5{Y}_1+r_6{f}_1)}\end{array}---\left(6\right)$

其中：X₁,Y₁分别为左摄像机1图像激光条纹点x_l的相面横、纵坐标；,Y₂分别为右摄像机1’图像激光条纹点x_r的相面横、纵坐标；(x y z)为由左图像激光条纹点x_l和右图像激光条纹点x_r重建出来的空间激光条纹点的三维坐标；f₁、f₂为标定得到的左、右摄像机1、1’的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 为标定得到的右摄像机1’相对于左摄像机1的旋转矩阵，[t_x t_y t_z]为标定得到右摄像机1’相对于左相机1的平移矩阵。