CN102679937A - 基于多目视觉的船舶钢板动态三维测量方法 - Google Patents

Abstract

本发明涉及一种船舶制造过程中对船体钢板弯曲变形的测量技术，具体是一种基于多目视觉的船舶钢板动态三维测量方法。该方法是在船舶钢板弯曲自动化控制系统的测量架上固定四台分辨率在1440*1080以上，帧率是10fps的同步高分辨工业相机，四台工业相机拍摄的图像由1394线和1394卡传输到一台能进行存储和分析的高性能计算机，进行船舶钢板动态三维测量数据分析，包括动态三维测量和算法步骤。本发明提供一种不接触钢板表面，能自动、及时、方便、精确地测量船体钢板动态三维的测量方法。

Description

基于多目视觉的船舶钢板动态三维测量方法

技术领域

本发明涉及一种船舶制造过程中对船体钢板弯曲变形的测量技术，具体是一种基于多目视觉的船舶钢板动态三维测量方法。

技术背景

船舶钢板的弯曲是船舶制造的重要环节。由于船舶用钢板较厚，要将一块厚钢板精确地弯曲到设计要求的形状是非常困难的。目前造船企业大多采用火烧之后手工敲打，然后再比对目标模型。由于目前的加工方法劳动强度大、费时、精度和效率低，为此我公司研发了船舶钢板弯曲自动化控制系统，在这个系统中必须解决的问题是如何测量船舶钢板动态三维形状的变化。由于钢板表面不能加传感器，只能采用非接触测量法。目前，常用的非接触测量法是激光测量法和视觉测量法，用激光测量法测量静止物体时，可以获得精确的三维数据，但是在测量动态物体时对环境的要求较高，具有时轴不对应、测量速度慢、使用不方便的缺点。

发明内容

本发明的目的是能够提供一种不接触钢板表面，能自动、及时、方便、精确地测量钢板动态变化的基于多目视觉的船舶钢板动态三维测量方法。

本发明的方法是在船舶钢板弯曲自动化控制系统的测量架上固定四台分辨率在1440*1080以上，帧率是10fps的同步高分辨工业相机，四台工业相机由1394线和1394卡连接到一台能进行存储和分析的高性能计算机，进行船舶钢板动态三维测量数据分析，包括动态三维测量和算法步骤；动态三维测量和算法步骤包括：

a.在被测量的钢板上画一些稀疏的点或者字符；

b.四台标定的同步相机拍摄钢板运动图像；

c.采用MeanShift图像分割算法和Canny边缘检测算法在图像中分割出要测量的部位，找到其边界；

d.采用SURF算法和DOG方法提取钢板上的局部特征，得到大量的局部特征点以及每个点的特征描述符；

e.根据局部特征点的特征描述符和四个相机之间的极线约束关系找到部分正确匹配的特征点，采用多视几何的理论求解出正确的特征点所对应的三维空间坐标；

f.过滤噪声点，保留正确的三维空间点；

g.采用区域增长的方式获得更多的精确的点；

h.根据正确的三维空间点，采用三维空间插值的方式，反算出NURBS曲面控制点；

i.采用NURBS曲面生成算法生成NURBS曲面；

j.对比和计算测量数据与目标曲面的高斯曲率和平均曲率，根据曲率判断测量数据与目标数据相差的程度。

附图说明

图1是本发明方法的硬件连接图；

图2是本发明方法的流程图；

图3是本发明实施中四台相机之间极线几何约束图。

具体实施方式

本发明方法的硬件连接如图1所示，包括固定在测量架上的四台分辨率在1440*1080以上，帧率是10fps的同步高分辨工业相机，四台工业相机拍摄的图像由1394线和1394卡传输到一台能进行存储和分析的高性能计算机，进行船舶钢板动态三维测量数据分析。

本发明方法的流程如图2所示：

1、在被测量的钢板上画上一些不会被烧掉的稀疏的点或者字符，这些点或者字符用于在时间轴上寻找对应关系，尽量在被测量钢板的边缘上多画一些点，这样有助于精确测量被测钢板的边缘。

2、四台固定在测量架上的分辨率在1440*1080以上，帧率是10fps的同步高分辨工业相机同步拍摄钢板的变形过程，并将所拍摄的图像实时传入计算机，进行分析；可以采用外触发或者软件触发同步方式进行。

3、采用MeanShift算法和Canny算法相结合的方法，从图像中分割出要测量的部位；首先采用Meanshift算法分割图像，然后采用Canny边缘检测算法寻找精确的边界。

4、采用SURF算法和DOG方法提取钢板上的局部特征，得到大量的局部特征点以及每个点的特征描述符。

5、根据局部特征点的特征描述符和四个相机之间的极线约束关系找到部分正确匹配的特征点，采用多视几何的理论求解出正确的特征点所对应的三维空间坐标，步骤如下：

四台相机之间极线几何约束图如图3所示，利用特征描述符和极线几何约束在四个相机图像上找到对应点p_i＝(x_i ⁽²⁾，y_i ⁽²⁾，1)^T，1≤i≤4，通过优化公式(1)的能量函数，求得p_i的精确的亚象素对应关系。

$E_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\underset{X}{\mathrm{\Σ}}{[I_i\left(W(X;q_i)\right)-T\left(X\right)]}^2\right)---\left(1\right)$

其中q_i＝(q_i1，....，q_in)^T表示不同相机上相同图像块之间的仿射或者平移参数。当优化(1)之后，就会求得仿射或者平移参数，从而获得精确的特征点对应关系。当获得精确的像点对应关系之后，通过多视几何的理论求得所对应的空间坐标。用M_i＝(M₁₁，M₁₂，M₁₃)^T，1≤i≤4，表示四个相机的投影矩阵，X＝(x⁽³⁾，y⁽³⁾，z⁽³⁾，1)^T表示像点p_i所对应的空间点齐次坐标，通过解方程组(2)得到X。

$\left(\begin{array}{c}{\left[p_1\right]}_x{M}_1\\ {\left[p_2\right]}_x{M}_2\\ {\left[p_3\right]}_x{M}_3\\ {\left[p_4\right]}_x{M}_4\end{array}\right)X=0---\left(2\right)$

其中 ${\left[p_i\right]}_x=\left(\begin{array}{ccc}0& -p_{i3}& p_{i2}\\ p_{i3}& 0& -p_{i1}\\ -p_{i2}& p_{i1}& 0\end{array}\right).$

通过优化能量函数(3)得到X的精确空间位置。

$E_2=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\left(\right||\stackrel{\‾}{M_{i}X}-p_i|\left|\right)}^2---\left(3\right)$

其中M_iX＝(M_i1X，M_i2X，M_i3X)^T，而 $\stackrel{\‾}{M_{i}X}={(\frac{M_{11}X}{M_{13}X},\frac{M_{12}X}{M_{13}X},1)}^T.$

6、过滤噪声点，保留正确的三维空间点。使用KD-Tree算法快速找到每个三维点的n个邻居点，然后利用最小二乘法将这些邻居点拟和成一个平面，再测试该点到拟和平面的垂直距离。如果该垂直距离大于5，就认为是一个噪声点，将其删除。

7、采用区域增长的方式获得更多的精确的点。方法是将已经测量到的精确点作为种子点，以种子点为中心，向外扩展，得到更多较为精确的点。具体的步骤如下：(a)在三维空间，某个种子点与另外两个不共线的邻居种子点形成一个三角形平面，记为L＝(A，B，C，D)^T，L是空间平面AX+BY+CZ+D＝0的参数向量。以该种子点为中心，在平面L上选取一个N×N的平面块，将该平面块分别投影到四台相机平面上。(b)计算这四个投影之间的关联度，在关联度达到最大时，说明该平面块处于空间最合理的位置，也就说该平面块位于所测量的钢板上。(c)在该平面块的边缘选取一点，并重复以上的步骤，不断增长区域，直到整个钢板表面处理完成为止。每次区域增长时，实际就是优化公式(4)中的能量函数：

$E_3=\underset{i=2}{\overset{4}{\mathrm{\Σ}}}\underset{j=1}{\overset{N^2}{\mathrm{\Σ}}}{(I_1\left(P_1(x_j;L+\mathrm{\ΔL})\right)-I_i\left(P_i(x_j;L+\mathrm{\ΔL})\right))}^2$

$=\underset{i=2}{\overset{4}{\mathrm{\Σ}}}\underset{j=1}{\overset{N^2}{\mathrm{\Σ}}}{((I_1\left(P_1(x_j;L)\right)+\▿I_1\frac{{\∂P}_1}{\∂L}\mathrm{\ΔL})-(I_i\left(P_i(x_j;L)\right)+{\▿I}_i\frac{{\∂P}_i}{\∂L}\mathrm{\ΔL}))}^2---\left(4\right)$

$=\underset{i=2}{\overset{4}{\mathrm{\Σ}}}\underset{j=1}{\overset{N^2}{\mathrm{\Σ}}}{((I_1\left(P_1(x_j;L)\right)-I_i\left(P_i(x_j;L)\right))+({\▿I}_1\frac{{\∂P}_1}{\∂L}-{\▿I}_i\frac{{\∂P}_i}{\∂L})\mathrm{\ΔL})}^2$

其中ΔL＝(ΔA，ΔB，ΔC，ΔD)^T表示每次优化迭代时，平面L的变化量。P_i，1≤i≤4表示四个相机的投影变换。

1≤i≤4表示图像的导数。

8、根据正确的三维空间点，采用三维空间插值的方式，反算出NURBS曲面控制点。首先根据测量到的正确的三维空间点反算控制点，然后根据公式(5)计算NURBS曲面，其中P_i，j表示控制点，ω_i，j为权因子，N_i，p和N_j，q是B样条基函数。

$S(u,v)=\frac{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{N}_{i,p}\left(u\right)N_{j,q}\left(v\right){\mathrm{\ω}}_{i,j}{P}_{i,j}}{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{N}_{i,p}\left(u\right)N_{j,q}\left(v\right)P_{i,j}},$ 0≤u，v≤1    (5)

9、采用NURBS曲面生成算法生成NURBS曲面。

10、对比和计算测量数据与目标曲面的高斯曲率和平均曲率，根据曲率判断测量数据与目标数据相差的程度。

Claims (2)

1.基于多目视觉的船舶钢板动态三维测量方法，该方法是在船舶钢板弯曲自动化控制系统的测量架上固定四台分辨率在1440*1080以上，帧率是10fps的同步高分辨工业相机，四台工业相机由1394线和1394卡连接到一台能进行存储和分析的高性能计算机，进行船舶钢板动态三维测量数据分析，包括动态三维测量和算法步骤。

2.根据权利要求1所述的基于多目视觉的船舶钢板动态三维测量方法，其特征是：所述动态三维测量和算法步骤包括，

a.在被测量的钢板上画一些稀疏的点或者字符；

b.四台标定的同步相机拍摄钢板运动图像；

c.采用MeanShift图像分割算法和Canny边缘检测算法在图像中分割出要测量的部位，找到其边界；

d.采用SURF算法和DOG方法提取钢板上的局部特征，得到大量的局部特征点以及每个点的特征描述符；

e.根据局部特征点的特征描述符和四个相机之间的极线约束关系找到部分正确匹配的特征点，采用多视几何的理论求解出正确的特征点所对应的三维空间坐标；

f.过滤噪声点，保留正确的三维空间点；

g.采用区域增长的方式获得更多的精确的点；

h.根据正确的三维空间点，采用三维空间插值的方式，反算出NURBS曲面控制点；

i.采用NURBS曲面生成算法生成NURBS曲面；

j.对比和计算测量数据与目标曲面的高斯曲率和平均曲率，根据曲率判断测量数据与目标数据相差的程度。

Images