CN103148806A

CN103148806A - 基于投影与多目视觉的船舶钢板动态三维测量系统

Info

Publication number: CN103148806A
Application number: CN2011104017737A
Authority: CN
Inventors: 史金龙
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2013-06-12

Abstract

本发明涉及一种船舶制造过程中对船体钢板弯曲变形的测量系统，具体是基于投影与多目视觉的船舶钢板动态三维测量系统。该系统是在被测量钢板的上方，固定四台1800万像素的同步高分辨工业相机和一台亮度为7000流明的投影仪，四台工业相机以及投影仪通过USB数据线连接到工控机，工控机负责采集图像数据，并将图像数据通过网线发送给服务器，由服务器进行三维测量。本发明提供一种不接触钢板表面，能自动、及时、方便、精确地测量船舶钢板三维尺寸。

Description

基于投影与多目视觉的船舶钢板动态三维测量系统

技术领域

本发明涉及船舶制造过程中对船体钢板弯曲变形的测量技术，具体是基于投影与多目视觉的船舶钢板动态三维测量系统。

技术背景

船舶钢板的弯曲是船舶制造的重要环节。由于船舶用钢板较厚，要将一块厚钢板精确地弯曲到设计要求的形状是非常困难的。目前造船企业大多采用火烧之后手工敲打，然后再比对目标模型的方法。由于目前的加工方法劳动强度大、费时、精度和效率低，为此我公司研发了船舶钢板弯曲自动化控制系统，在这个系统中必须解决的问题是如何测量船舶钢板三维形状，为此我公司专门研发了基于投影与多目视觉的船舶钢板动态三维测量系统。由于钢板表面不能加传感器，只能采用非接触测量法。目前，常用的非接触测量法是激光测量法和视觉测量法。用激光测量法测量物体时，可以获得精确的三维数据，但是不能一次测量出结果，需要逐点扫描，速度较慢。基于视觉的方法可以通过拍照，很快测量出物体的三维形状，速度快，精度也较高。本发明中采用了视觉测量法，但是由于钢板表面往往缺少纹理，并且不同的钢板，纹理往往不同，这就给视觉测量法带来了难题。为此本发明提出了利用高亮度工业投影仪，向钢板表面投射高亮光斑，然后再使用相机拍摄测量的方法。

发明内容

本发明的目的是能够提供一种不接触钢板表面，能自动、及时、方便、精确地测量钢板三维形状变化的基于投影与多目视觉的船舶钢板动态三维测量系统。

为实现上述目的，本发明的技术方案为：在被测量钢板的上方，固定四台1800万像素的同步高分辨工业相机和一台亮度为7000流明的投影仪，四台工业相机以及投影仪通过USB数据线连接到工控机，工控机负责采集图像数据，并将图像数据通过网线发送给服务器，由服务器进行三维测量；三维测量的步骤包括：

a.标定四台相机，计算出四台相机的内部参数，以及相机之间的旋转矩阵和平移向量；

b.服务器向工控机发出指令，由工控机控制四台相机的同步拍摄钢板图像，四幅图像记为

与

这里

表示第i个相机拍摄的第j个图像，i∈{1，2，3，4}；

c.服务器向工控机发出指令，由工控机控制投影仪投射高亮度的m行n列规则的光斑，光斑的直径在1-2mm之间；

d.服务器向工控机发出指令，由工控机控制四台相机的同步拍摄投影之后的钢板图像，得到四幅图像，记为

e.将投影之后与投影之前的对应图像相减，得到四个差分图像，记为：

I^{2} = I_{2}^{2} - I_{1}^{2},

I^{3} = I_{2}^{3} - I_{1}^{3},

以及

I^{4} = I_{2}^{4} - I_{1}^{4};

f.利用DOG方法分别在I¹，I²，I³，I⁴上检测到m×n个精确的投影点中心，并利用多视几何的理论求解出m×n个投影点所对应的三维空间坐标；

g.在图像上检测出钢板的边缘，计算出钢板的四个角点，并利用多视几何的理论求解出四个角点所对应的三维空间坐标；

h.根据m×n个投影点所对应的三维空间坐标，以及四个钢板角点，采用三维空间插值的方式，反算出NURBS曲面控制点，采用NURBS曲面生成算法生成NURBS曲面。

附图说明

图1是本发明的硬件连接图；

图2是本发明的软件结构图；

图3是本发明的方法流程图。

具体实施方式

本发明的硬件连接如图1所示，在被测量钢板的上方，固定四台1800万像素的同步高分辨工业相机和一台亮度为7000流明的投影仪，四台工业相机以及投影仪通过USB数据线连接到工控机上，工控机采集图像数据，并将图像数据通过网线发送给服务器，由服务器进行三维测量。四台相机之间的距离均为60cm，投影仪放置在四个相机的中间，并与四个相机处于同一个平面，相机、投影仪、工控机安装在同一个测量架上。

本发明的软件结构如图2所示，在服务器中运行着拍照控制模块与三维曲面测量模块；在工控机上运行着一个代理程序，该代理程序负责控制相机的开关、拍照、读取照片、发送照片、以及控制投影仪投射高亮度光斑；服务器上的拍照控制模块通过通信模块与工控机上的代理程序通信，控制着相机与投影仪的动作，三维曲面测量模块根据拍照控制模块获取的图像计算测量结果。

本发明的方法流程如图3所示：

1、标定四台相机，计算出四台相机的内部参数，以及相机之间的旋转矩阵和平移向量；

2、利用拍照控制模块从服务器向工控机代理程序发出拍照指令，在没有投影的情况下，由工控机代理程序控制四台相机的同步拍摄钢板图像，四幅图像记为

与这里

表示第i个相机拍摄的第j个图像，i∈{1，2，3，4}；工控机代理程序将图像

与

发送给服务器拍照控制模块，服务器拍照控制模块再将其发送给三维曲面测量模块；

3、拍照控制模块向工控机代理程序发出指令，由工控机代理程序控制投影仪投射高亮度的m行n列的规则光斑，光斑的直径约在1-2mm之间，为了保证精度光斑直径不能超过2mm。确保光斑之间的距离在10cm以上，这样能使光斑的检测，以及不同图像之间光斑的匹配更加得稳定；

4、拍照控制模块向工控机代理程序发出指令，由工控机代理程序控制四台相机的同步拍摄投影之后的钢板图像，得到四幅图像，记为

工控机代理程序将

发送给服务器，拍照控制模块再将其发送给三维曲面测量模块；

5、三维曲面测量模块将投影之后与投影之前的图像

转换为灰度图，并将对应图灰度像相减，得到四个差分灰度图像，记为：

以及这样，在图像I¹，I²，I³，I⁴中，投影光斑将会突出显示，便于稳定地检测；

6、三维曲面测量模块利用DOG方法分别在I¹，I²，I³，I⁴上检测到m×n个精确的投影光斑的中心，然后将每个图像上的m×n个光斑按照相同顺序排列，这样就能将四幅图像的光斑点相对应，然后利用多视几何的理论求解出m×n个投影点所对应的三维空间坐标。求解方法如下：

用M_i＝(M_i1，M_i2，M_i3)^T，1≤i≤4，表示四个相机的投影矩阵，

表示像点

所对应的空间点齐次坐标，这里1≤j≤m×n表示光斑点的索引，其中

表示四个图像上对应的投影光斑像点齐次坐标，通过解方程组(2)得到X。

(\begin{matrix} M_{11} - x_{j}^{1 (2)} M_{13} \\ M_{12} - y_{j}^{1 (2)} M_{13} \\ M_{21} - x_{j}^{2 (2)} M_{23} \\ M_{22} - y_{j}^{2 (2)} M_{23} \\ M_{31} - x_{j}^{3 (2)} M_{33} \\ M_{32} - y_{j}^{3 (2)} M_{33} \\ M_{41} - x_{j}^{4 (2)} M_{43} \\ M_{42} - y_{j}^{4 (2)} M_{43} \end{matrix}) X_{j} = 0 - - - (1)

通过优化能量函数(2)得到X_j的精确空间位置。

E_{j} = Σ_{i = 0}^{4} {(| | \overset{&OverBar;}{M_{i} X_{j}} - p_{j}^{i} | |)}^{2} - - - (2)

其中M_iX_j＝(M_i1X_j，M_i2X_j，M_i3X_j)^T，而

7、三维曲面测量程序利用Canny算法与Harris Corner算法相结合的方法在图像

与上检测出钢板的边缘，计算出钢板的四个角点，同样利用多视几何的理论求解出四个角点所对应的三维空间坐标；

8、根据投影光斑的三维空间点以及钢板的四个角点的三维空间点，采用三维空间插值的方式，反算出NURBS曲面控制点，然后根据公式(3)计算NURBS曲面，其中P_i，j表示控制点，ω_i，j为权因子，N_i，p和N_j，q是B样条基函数。

S (u, v) = \frac{Σ_{i = 0}^{n} Σ_{j = 0}^{m} N_{i, p} (u) N_{j, q} (v) ω_{i, j} P_{i, j}}{Σ_{i = 0}^{n} Σ_{j = 0}^{m} N_{i, p} (u) N_{j, q} (v) P_{i, j}},

0≤u，v≤1(3)