CN103438826B - 激光与视觉相结合的钢板的三维测量系统及方法 - Google Patents

Abstract

本发明公开了一种激光与视觉相结合的钢板的三维测量系统及方法，系统主要由两台背景投影仪、一台全站仪、一台三维扫描仪和一台GPU服务器组成；背景投影仪、三维扫描仪和全站仪均连接到服务器上。方法：在被测钢板周围放置若干激光标签；用激光测量标签的三维坐标用三维扫描仪中的两台相机拍摄激光标签；用HOG和SVM检测标签的初始位置；用DOG精确定位标签的中心；测量出标签的三维坐标将从视觉坐标系转换到激光坐标系，得到计算和的误差并建立误差场；用扫描仪测量被测钢板，得到钢板的三维数据；用误差场

Description

激光与视觉相结合的钢板的三维测量系统及方法

技术领域

本发明涉及一种激光与视觉相结合的钢板的三维测量系统方法，适用于船舶制造过程中，对船体钢板进行三维测量。

背景技术

船舶钢板的弯曲是船舶制造的重要环节。由于船用钢板较厚，要将其精确地弯曲到设计要求的形状是非常困难的。目前造船企业大多采用火烧之后手工敲打，然后再比对目标模型的方法。这种方法劳动强度大、费时、精度和效率低，为此需研发船舶钢板弯曲自动化控制系统。船舶钢板弯曲自动化控制系统中，三维测量是最关键的环节，只有准确测量出钢板的三维形状，才能实现自动化控制。由于钢板表面不能加传感器，所以只能采用非接触测量法。目前，常用的非接触测量法有两种：激光测量法和视觉测量法。两种测量方法都有各自的优缺点。激光测量方法，测量速度较慢，但是测量精度较高。视觉测量方法，测量速度快，但是测量精度低。因此，可以将这两种方法结合在一起，实现一种快速、准确的测量方法，该方法虽然不能完全消除误差，但是可以大大减小误差。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种激光与视觉相结合的钢板的三维测量系统及方法。

技术方案：一种激光与视觉相结合的钢板的三维测量系统，主要由两台高亮度的背景投影仪、一台全站仪、一台三维扫描仪和一台高性能的GPU服务器组成。其中，三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080以上、帧率10fps的同步高分辨工业相机。系统中所有相机经由1394线和1394卡与服务器相连；所有投影仪经由usb接口与服务器相连；全站仪经由网线与服务器相连。

一种激光与视觉相结合的钢板的三维测量方法，进行船舶钢板动态三维数据分析，主要包括结合激光测量对基于视觉的钢板的三维测量结果进行校正。步骤如下：

a)在被测钢板周围放置若干激光标签；

b)用激光测量标签的三维坐标

c)用三维扫描仪中的两台相机拍摄激光标签；

d)用HOG和SVM检测标签的初始位置；

e)用DOG精确定位标签的中心；

f)根据三角测量原理，测量出标签的三维坐标

g)将从视觉坐标系转换到激光坐标系，得到

h)计算和的误差并建立误差场；

i)用扫描仪测量被测钢板，得到钢板的三维数据；

j)用误差场校正钢板的三维数据，得到更加精确的钢板的三维数据。

有益效果：与现有技术相比，本发明提供的激光与视觉相结合的钢板的三维测量系统及方法，通过激光测量建立误差场，矫正基于视觉的三维测量结果，实现对船舶钢板快速、精确的三维测量。

附图说明

图1为本发明实施例的系统硬件连接图；

图2为本发明实施例的方法流程图；

图3为本发明实施例的误差场建立，以及校正视觉三维测量结果示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本系统由一台三维扫描仪、两台背景投影仪、一台全站仪和一台高性能GPU服务器组成。其中，三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080以上、帧率10fps的同步高分辨工业相机。系统中所有相机经由1394线和1394卡与服务器相连；所有投影仪经由usb接口与服务器相连；全站仪经由网线与服务器相连。

本发明方法的流程如图2所示：

1.在被测钢板周围放置若干激光标签；

2.用激光测量标签的三维坐标如图3（a）；

3.用三维扫描仪中的两台相机拍摄激光标签；

4.用HOG和SVM检测激光标签的初始位置：首先采集大量的激光标签图像作为正样本，以及大量的环境图像作为负样本；然后，在这些样本上提取HOG特征；接下来，利用样本的HOG特征训练一个SVM检测器。用该SVM检测器检测标签的大概位置，得到一个标签图像块，用I_m表示该标签图像块；

5.用DOG精确定位标签的中心，方法如下：

第一步，在I_m上使用自适应的二值化方法，产生一个二值图像。

第二步，计算二值化图像连通区域的中心，用L_i＝(x_li,y_li)^T表示。然而L_i不一定是标签的精确中心。因此，需要以L_i为初始值，寻找精确的中心位置。

第三步，利用DOG的方法寻找精确的中心值。首先，使用具有两个不同高斯核和的高斯函数，平滑图像块I_m，得到两个平滑之后的图像块和然后，根据和形成一个DOG图像最后，在中，在L_i的附近寻找极值，得到标签的中心。

6.根据三角测量原理，测量出标签的三维坐标如图3（b）所示。

7.将从视觉坐标系转换到激光坐标系，得到激光坐标方法如下：

假设，R_vo和T_vo是从视觉坐标系到激光坐标系的旋转矩阵和平移向量，根据和之间的关系计算R_vo和T_vo。如果M大于3，便可以构建一个关于R_vo和T_vo的过约束方程，如公式（1）所示。使用最小二乘法优化求解该过约束方程，估计R_vo和T_vo。

$p_i^V{R}_{\mathrm{vo}}+T_{\mathrm{vo}}=p_i^o,i\∈\{0,...,M\}---\left(1\right)$

估计出R_vo和T_vo之后，便可将转换到激光坐标系之中，得到

理论上，（图3（c）中的圈）和（图3（c）中的点）应该是激光坐标系中相同的点。然而，由于相机标定和点云拼接会产生误差，因此测量得到会产生误差。所以不可能精确估计R_vo和T_vo，这导致了与之间的差异（图3（c））。

8.计算和之间的误差并建立误差场。

三角化点形成一些三角形（图3（d）、（e）、（f）），然后为每个三角形构建一个误差场。下面，以一个三角形为例，阐述构建误差场的过程。

假设一个三角形的三个顶点是从视觉坐标系转换过来的对应点是 与之间的误差是 可以看成是三维空间中的三个向量。在该三角形中，可以根据进行线性插值，形成一个误差场。此时，误差场可以看成是由经过的三角形平面与经过的三角形平面所包围的空间（图3（f））。

根据上述方法，可以为每个三角形构建一个误差场。

9.用扫描仪测量被测钢板，得到钢板的三维数据。

10.用误差场校正钢板的三维数据。具体的校正过程如图3（g）-（j）所示。

假设PC_a是扫描仪测量得到的一个点云，P是PC_a上的一点（图3（g）），下面解释点P的校正过程。基本思想是利用误差场使PC_a产生形变，以使得PC_a更加接近于激光的结果。

首先，假设和所形成的三角形是距离P最近的三角形，从P到由和所形成的三角形平面做两条垂线（图3（h）），两个垂足分别用C_p和F_p表示（图3（i））；

然后，将C_p和F_p所形成的向量FC作为校正点P的值。根据FC，移动P，产生一个新的点。

PC_a上的其他点都可以使用该方法进行校正。因此，PC_a将向激光测量结果的方向产生形变，从而得到更加精确的结果。

以上的方法虽然不能完全消除误差，但是可以大大减小误差。得到比单纯使用视觉测量更加精确的钢板的三维数据。

Claims (4)

1.一种激光与视觉相结合的钢板的三维测量方法，其特征在于，激光与视觉相结合的钢板的三维测量系统，主要由两台高亮度的背景投影仪、一台全站仪、一台三维扫描仪和一台高性能的GPU服务器组成；所述两台背景投影仪、一台三维扫描仪和一台全站仪均连接到服务器上；所述三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080以上、帧率10fps的同步高分辨工业相机，其中两台相机经由1394线和1394卡与服务器相连；所述三维扫描仪的投影仪经由usb接口与服务器相连；所述全站仪经由网线与服务器相连；所述两台背景投影仪均经由usb接口与服务器相连；三维测量方法包括步骤如下：

a)在被测钢板周围放置若干激光标签；

b)用激光测量标签的三维坐标

c)用三维扫描仪中的两台相机拍摄激光标签；

d)用HOG和SVM检测标签的初始位置；

e)用DOG精确定位标签的中心；

f)根据三角测量原理，测量出标签的三维坐标

g)将从视觉坐标系转换到激光坐标系，得到

h)计算和的误差并建立误差场；

i)用扫描仪测量被测钢板，得到钢板的三维数据；

j)用误差场校正钢板的三维数据，得到更加精确的钢板的三维数据。

2.如权利要求1所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，所述用HOG和SVM检测激光标签的初始位置的具体方法为：

首先采集激光标签图像作为正样本，以及环境图像作为负样本；

然后，在这些样本上提取HOG特征；接下来，利用样本的HOG特征训练一个SVM检测器；用该SVM检测器检测激光标签的大概位置，得到一个标签图像块，用I_m表示该标签图像块。

3.如权利要求2所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，所述用DOG精确定位标签的中心的具体步骤如下：

第一步，在I_m上使用自适应的二值化方法，产生一个二值图像；

第二步，计算二值化图像连通区域的中心，用L_i＝(x_li,y_li)^T表示；

第三步，以L_i为初始值，利用DOG的方法寻找精确的中心值；首先，使用具有两个不同高斯核和的高斯函数，平滑图像块I_m，得到两个平滑之后的图像块和然后，根据和形成一个DOG图像最后，在中，在L_i的附近寻找极值，得到标签的中心。

4.如权利要求3所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，将从视觉坐标系转换到激光坐标系，得到激光坐标方法如下：

假设，R_vo和T_vo是从视觉坐标系到激光坐标系的旋转矩阵和平移向量，根据和之间的关系计算R_vo和T_vo；如果M大于3，便可以构建一个关于R_vo和T_vo的过约束方程，如公式(1)所示；使用最小二乘法优化求解该过约束方程，估计R_vo和T_vo；

$p_i^V{R}_{vo}+T_{vo}=p_i^O,i\∈\{0,...,M\}---\left(1\right)$

估计出R_vo和T_vo之后，便可将转换到激光坐标系之中，得到