CN106952262A - 一种基于立体视觉的船板加工精度分析方法 - Google Patents

Abstract

本发明提出了一种基于多目立体视觉的船板加工精度分析方法。此发明仅需要一组普通的光学成像设备，通过对实际加工船板的数字图像采集和特征信息提取，进行船板网格的三维重建，以及加工精度分析，进而指导加工过程中的误差修正，提高船板的加工品质，包括如下步骤：第一步，相机标定。第二步，特征提取。第三步，特征点三维重建及网格粗匹配。第四步，加工精度误差分析，采用光流场结合光滑约束和边界约束的方法建立不同相机图像中每个网格顶点的对应关系及每个网格顶点之间的偏移量；运用立体视觉原理和相机参数重建每个网格顶点在三维空间中的偏移量。此发明已在工业应用领域取得了阶段性成果，填补了造船工业中数字化测量和分析技术的空白。

Description

一种基于立体视觉的船板加工精度分析方法

技术领域

本发明属于船舶制造技术和计算机视觉测量领域，涉及一种船舶曲面钢板加工精度的立体视觉检测方法，特别是水火弯板过程中利用复杂表面特征的精度检测方法。

背景技术

水火弯板无模成型技术是目前造船工业中一项被广泛应用的成型加工工艺。如何检测被加工船板曲面与设计目标的形状误差是目前造船业迫切需要解决的问题。

当前船厂主要依靠木质样箱等工具辅助目测的方法来进行检测。该方法测量误差较大精度无法保证。

随着成像设备与计算机算法等硬件和软件的发展，利用计算机视觉技术对船板曲面进行精度检测已经成为一个重要的发展方向。众多专家学者致力于该类技术方法的研发。

专利CN103673916A首先构建船板理论模型点云，再通过扫描构建船板测量点云，利用测量点云与理论曲面之间的距离来表示测量点云与模型点云的偏差。该方法需利用激光线扫描来得到测量点云，对设备要求较高。

专利CN104765702A利用投影设备在待测外板上投射覆盖全板的双色结构图案，通过双目相机采集2D图像，计算特征图案中心像素坐标，并重建出其空间三维坐标当做外板点云数据。利用此测量点云与理论曲面的误差来表示加工误差。该方法需利用投影设备，对环境适应性要求较高。

专利CN105571511A利用三维云台带动激光测距仪扫描船板表面生成点云并拟合曲面。拍摄船板表面纹理为点云纹理赋值，修正拟合面边界。将拟合面与船板理论面匹配并计算误差。该方法除了光学成像设备外，还需借助三维云台和激光测距仪。

发明内容

为了克服现有技术的不足，本发明提出了一种基于多目立体视觉的船板加工精度分析方法。此发明仅需要一组普通的光学成像设备，通过对实际加工船板的数字图像采集，进行二维特征信息提取，并重建船板的三维网格数据，最终与船板设计网格数据进行比对分析，得到实际船板的加工误差。

本发明的技术方案为：

一种基于立体视觉的船板加工精度分析方法，包括如下步骤：

第一步，相机标定与图像纠偏。

1)采取多相机系统进行非接触测量，支持2100万像素、1800万像素、1200万像素等常用分辨率。第一次使用或测量精度不够时，需要进行单相机标定和相机组标定。为减少因图像插值造成的图像模糊，至少要保证3幅标定板图像。

实现了基于“张氏标定法”的数码相机成像系统的标定软件功能模块。根据棋盘格标定板的角点信息，基于Harris角点计算出亚像素精度的棋盘格角点坐标，并计算出每个相机的畸变系数，并运用数值优化的方法使得畸变系数进一步精确化，从而有效地对相机拍摄的图像进行纠偏。

2)相机组的标定流程如下：

①将成像系统的相机组按顺序摆放好，编号1～N；

②将标定板放在相机1和相机2的公共视域内，相机1和相机2同时拍摄标定板；

③标定出相机1到相机2的齐次坐标变换；

④依此类推，重复步骤2和步骤3,标定相机2到相机3，相机3到相机4,…,相机N-1到相机N的齐次坐标变换；

⑤根据公式A(1,K)＝A(1,2)*A(2,3)*…*A(K-1,K),得到从相机1到任意的相机K的齐次坐标变换。

则{A(1,K)},K＝2,3,…,N就是相机组标定参数，所有相机的计算坐标数据都可以换算到相机1的坐标系，即可实现多目立体视觉的三维重建。

最后利用以上步骤求得的单相机参数、相机组内坐标变换参数和畸变系数进行重投影，计算投影误差并优化迭代，得到高精度的相机参数和畸变系数，从而进行船体曲面外板图像的纠偏，去除相机硬件属性对图像数据正确性的影响。

第二步，特征提取。

使用第一步标定后的相机组同时拍摄标记好的船板图像，实现人工标记特征与原始船板图像的分离，以及标记特征中心点的定位。首先对少量具有语义特征的点进行提取，主要是船板的角点和边缘点，用于第三步的网格粗匹配。另外，对于纹理信息较弱的船板内部，采取人工标记辅助特征的方式来增加船板表面纹理信息，如线条、交叉等标记符号，用于第四步的网格误差比对。根据实际船板尺寸，每平米至少需要5个特征点来保证计算可行性和计算精度。本发明人工标记所用色彩单一，船板上固有噪声形态复杂而且图像采集环境不确定。针对这种复杂情形，设计了变尺度滤波，利用HSV阈值控制的方法对人工标记特征与原始船板背景图像进行有效的分离。该方法对光照变化、尺度放缩、背景噪声都有很强的适应性。模块对拍摄时的不同光照环境，以及现场拍摄时的各种图像噪声具有良好的适应性。自动化处理能力覆盖90％以上的拍摄场景，并通过提供人机交互图像编辑接口，满足全部拍摄场景的检测需求。针对这些语义特征，利用Harris角点算子设计并改进特征提取的方法。一方面，在低分辨率图像中进行处理，以提高角点提取速度；另一方面，采用局部极值抑制手段，以避免所提特征点过分聚集。

第三步，特征点三维重建及网格粗匹配。

1)根据第二步提取得到的特征点像素坐标信息和不同图像上相应特征点的匹配信息，运用立体视觉原理重建船板特征点，得到相机坐标系下的特征点三维坐标；再计算多组图像，取平均值，以减小单组图像对计算精度的影响。最终得到重建后的船板特征在相机坐标系C1下的坐标为T＝{T₁,T₂,…,T_k},其中k为特征点个数。

2)在船板设计网格中与T＝{T₁,T₂,…,T_k}对应的特征点在船板设计网格坐标系C2下的坐标为T’＝{T’₁,T’₂,…,T’_k}.运用最小二乘法计算船板设计网格坐标系C2下的特征点三维坐标与步骤1)中相机坐标系C1下的特征点三维坐标之间的刚性变换矩阵R，实现网格粗匹配，同时将船板设计网格变换到相机坐标系下。

第四步，加工精度误差分析。

由于设计的三维船板网格与实际加工出来的船板之间存在误差，所以在多视角下拍摄的二维图像中，每个三角面片之间存在差异，每个三角剖分的顶点之间也存在差异，需要进一步依据图像的像素特征信息来计算每个顶点的偏移量。

1)运用第一步计算得到的单相机参数和相机组内坐标变换参数，将第三步得到的相机坐标系C1下的船板设计网格，投影到每个相机拍摄的船板图像上；

2)采用光流场结合光滑约束和边界约束的方法来建立不同相机图像中每个网格顶点的对应关系及每个网格顶点之间的偏移量；运用立体视觉原理和第一步得到的单相机参数和相机组内坐标变换参数重建每个网格顶点在三维空间中的偏移量；从而计算每个网格顶点偏移量的法向投影偏移量，并计算法向投影偏移量的平均值，作为加工误差评估指标。

采用光流场方法来建立图像中每个顶点的对应。同时，为了保证每个三角面片间的光滑性，提出了光滑调和约束的方法。为了更好地突出显著特征点的匹配作用，还加入了边界约束条件。具体细节如下：以左右两个视角下的图像I₁，I₂为例，三维船板网格通过第一步得到的单相机参数和相机组内坐标变换参数，得到对应图像I₁和I₂上的三角剖分顶点P＝{p₁,p₂,…,p_n},Q＝{q₁,q₂,…,q_n}。由于加工的船板与设计的三维网格之间存在误差，图像I₁在p_i的信息与图像I₂在q_i处的信息会有差异。为了刻画这一差异，通过求解以下优化模型来计算P和Q之间的误差：

s.t. Δ²(u₀+u)＝0

u|_p∈Γ＝0

其中，p＝p_i∈P＝{p₁,p₂,…,p_n}是图像I₁中的三角剖分顶点，q＝q_i∈Q＝{q₁,q₂,…,q_n}是对应图像I₂中的三角剖分顶点，u₀+u是图像I₂中网格剖分所对应的顶点到图像I₁中网格剖分顶点的真实偏移量，u₀＝q-p是初始网格顶点偏移量，u表示图像I₂中网格顶点q相对于图像I₁中网格顶点p的偏移量，Δ²表示双调和算子，Γ为图像I₁中的船板边界。

将整体约束项放入目标函数中，根据泰勒公式在u₀处展开，并利用共轭梯度法求解目标函数所对应的欧拉-拉格朗日方程得到三角网格顶点在图像上的偏移量u.

然后根据不同相机图像中网格顶点的对应关系及网格顶点之间的偏移量u，运用立体视觉原理和第一步得到的单相机参数和相机组内坐标变换参数重建网格顶点在三维空间中的偏移量u_I。

按照上述步骤计算其他相机之间重建出的船板网格在三维空间中的偏移量，并在刨除因相机之间相距过远等问题导致的不可信情形后，计算三维网格顶点的平均偏移量M为船板网格顶点数，最后计算的法向投影u_n来估计重建的三维船板网格与设计的船板网格之间的加工误差。u_n在每个顶点的绝对值越小，说明加工精度越高，加工误差越小。u_n即为船板的加工误差指标，同时|u_n|的平均值可作为整体船板的加工误差指标。

为了可视化加工误差结果分布，u_n指向网格外部的点用红色表示、指向网格内部的用蓝色表示，完全重合点用红蓝之间的黄色表示，并且在两种颜色间采取256级色度区分，如此可得船板加工误差的热度分析图，即为船板加工误差的可视化结果输出。

有益效果：

针对工业应用场景中的实际问题，开发了基于多目立体视觉的船板加工精度分析系统。以多目立体视觉重建的三维特征点为目标，以船板设计的网格数据为指导，基于双调和的光滑性约束，驱动网格变形，从而实现对实际加工船板的三维重建，以及加工精度分析，进而指导加工过程中的误差修正，提高船板的加工品质。

此发明已在工业应用领域取得了阶段性成果，填补了造船工业中数字化测量和分析技术的空白。

附图说明

图1是本发明相机标定部分的流程图；

图2是本发明的流程框架图；

图3是本发明的实验装置示意图。

具体实施方式

本发明具体实施方式主要包括以下几个步骤：

实施例1

第一步，相机标定与图像纠偏。

1)利用多相机系统进行非接触视觉测量，这里利用两个相机组成的相机系统为例进行具体实施方式的说明，更多相机的拓展方式见发明内容。本实施例将相机分辨率设置为2100万像素，根据9张不同角度的标定板图像基于“张氏标定法”对每个相机进行标定。根据棋盘格标点板上角点的物理信息，利用Harris角点算子进行检测，并在角点附近区域计算其亚像素精度坐标。根据标定板的参数和得到的角点亚像素坐标，求解相机的内部参数和外部参数，计算出每个相机的畸变系数，并运用数值优化的方法使得畸变系数进一步精确化，从而有效地对相机拍摄的图像进行纠偏。

为提高计算效率，减低内存开销，设计了用户圈定标定板的功能，用户圈定过程只在缩小的图像上进行，并逐幅图像进行角点坐标提取，有效地控制了内存开销。由于对图像进行了圈定，缩小了计算搜索的范围，从而也提高了计算效率。

2)然后对相机组进行标定。由于此实施例只有两个相机，故只需将两个相机按顺序摆放好，编号相机1和相机2；将标定板放在相机1和相机2的公共视域内，相机1和相机2同时拍摄标定板；标定出相机1到相机2的齐次坐标变换，即相机组的标定参数。两个相机的计算坐标数据都可以换算到相机1的坐标系，即可实现双目立体视觉的三维重建。

本发明还设计了相机参数和畸变系数数据库，方便有效地实现了图像纠偏操作中对相机参数和畸变系数的重复调用。

第二步，特征提取。

使用第一步标定后的相机系统同时拍摄标记好的船板图像，实现人工标记特征与原始船板图像的分离，以及标记特征中心点的定位。首先结合变尺度滤波，利用HSV阈值控制的方法对人工标记特征与原始船板背景图像进行分离。再用Harris角点检测算法对待测船板图像进行语义特征点提取，即找到船板的在图像中的角点和边缘点。用Harris角点算子检测对船板图像进行特征点提取时，会出现角点整体分布不均匀与局部聚簇的现象，例如，在船板上的一些有铁锈和焊接、切割痕迹的区域，检测出的角点会出现聚簇的现象。为减弱或消除这种现象，设计了一种改进的Harris角点检测算法，即对图像进行分块，对每一图像块中被检测出的角点，将其按判定值大小进行排序，选择保留判定值相对较大的角点，这样就保证了检测出的角点在整体上分布均匀。但是，在局部的区域也可能会出现角点聚簇的现象，因此还需要注意控制图像上每个小区域角点的个数。选用一个适当大小窗口，将图像按窗口大小均匀分成若干个独立的子块。若在每一个子块中存在不止一个的角点，则只保留判定值最大的角点，以达到剔除邻近点的目的，有效避免了局部聚簇现象的发生，得到的角点在数量上满足要求，而且分布均匀。

以上一步特征提取所得到的角点为中心，在图像上截取窗口。然后计算窗口图像的HSV颜色分量，并根据特征标记的颜色特性，实现图像前景与背景的分离。再采用多尺度k-means算法对前景图像进行线性性分类，之后利用PCA算法计算出图像的两个主特征方向，从而实现图像特征区域中心点的精确定位。根据所得的特征区域中心位置和前景图像的线性分类结果可以将人工标记的特征进行分类。通过计算各点梯度信息将语义特征点分为边界点的“T-型”和角点的“∠-型”。至此，便得到了船板在图像中的角点和边缘两种语义特征点的精确坐标。

第三步，特征点三维重建及网格粗匹配。

1)根据第二步提取得到的特征点像素坐标信息和不同图像上相应特征点的匹配信息，运用立体视觉原理重建船板特征点，得到相机坐标系下的特征点三维坐标；再计算多组图像，取平均值，以减小单组图像对计算精度的影响。最终得到重建后的船板特征在相机坐标系C1下的坐标为T＝{T₁,T₂,…,T_k},其中k＝26为特征点个数。

2)在船板设计网格中与T＝{T₁,T₂,…,T₂₆}对应的特征点在船板设计网格坐标系C2下的坐标为T’＝{T’₁,T’₂,…,T’₂₆}.运用最小二乘法计算船板设计网格坐标系C2下的特征点三维坐标与步骤1)中相机坐标系C1下的特征点三维坐标之间的刚性变换矩阵R，实现网格粗匹配，同时将船板设计网格变换到相机坐标系下。

第四步，加工精度误差分析。

1)相机A和相机B拍摄的图像分别记为I₁，I₂，三维船板网格通过投影矩阵，得到对应图像I₁和I₂上的三角剖分顶点P＝{p₁,p₂,…,p₄₀₀₀},Q＝{q₁,q₂,…,q₄₀₀₀}。运用第一步计算得到的单相机参数和相机组内坐标变换参数，将第三步得到的相机坐标系下的船板设计网格，投影到每个相机拍摄的船板图像上；

2)采用光流场结合光滑约束和边界约束的方法来建立不同相机图像中每个网格顶点的对应关系及每个网格顶点之间的偏移量。通过以下优化模型计算P和Q之间的误差：

s.t. Δ²(u₀+u)＝0

u|_p∈Γ＝0

其中，p＝p_i∈P＝{p₁,p₂,…,p₄₀₀₀}是图像I₁中的三角剖分顶点，q＝q_i∈Q＝{q₁,q₂,…,q₄₀₀₀}是对应图像I₂中的三角剖分顶点，u₀+u是图像I₂中网格剖分所对应的顶点到图像I₁中网格剖分顶点的真实偏移量，u₀＝q-p是初始网格顶点偏移量，u表示图像I₂中网格顶点q相对于图像I₁中网格顶点p的偏移量，Δ²表示双调和算子，Γ为图像I₁中的船板边界。

求解时，将整体约束项放入目标函数中，根据泰勒公式在u₀处展开，并利用共轭梯度法求解目标函数所对应的欧拉-拉格朗日方程得到三角网格顶点在图像上的偏移量u,然后根据u计算出船板网格点的实际对应关系，通过立体视觉和相机投影矩阵重建出三维网格在三维空间中的相对偏移量u_I。

按照上述步骤计算其他相机之间重建出的船板网格在三维空间中的偏移量，并在刨除因相机之间相距过远等问题导致的不可信情形后，计算三维网格顶点的平均偏移量M为船板网格顶点数，最后计算的法向投影u_n来估计重建的三维船板网格与设计的船板网格之间的加工误差。u_n在每个顶点的绝对值越小，说明加工精度越高，加工误差越小。u_n即为船板的加工误差指标，同时|u_n|的平均值可作为整体船板的加工误差指标。

为了可视化加工误差结果分布，u_n指向网格外部的点用红色表示、指向网格内部的用蓝色表示，完全重合点用红蓝之间的黄色表示，并且在两种颜色间采取256级色度区分，如此可得船板加工误差的热度分析图，即为船板加工误差的可视化结果输出。

Claims (2)

1.一种基于立体视觉的船板加工精度分析方法，其特征在于，包括如下步骤：

第一步，相机标定与图像纠偏；

1)基于“张氏标定法”，根据棋盘格标定板上角点信息，利用Harris角点算子进行检测，并在角点附近区域计算其亚像素精度坐标；根据标定板的参数和得到的角点亚像素坐标，求解得到单相机参数，计算出单相机的畸变系数；

2)对相机组进行标定，得到相机组内坐标变换参数，结合步骤1)求得的单相机参数和畸变系数进行重投影，计算投影误差并优化迭代，得到优化的相机参数和畸变系数，从而对相机拍摄的图像进行纠偏；

第二步，特征提取；

使用第一步标定后的相机组同时拍摄船板图像，提取船板图像特征点的像素坐标信息，所述特征点包括船板角点、边缘点和人工标记点，每平米船板至少包含5个特征点；

第三步，特征点三维重建及网格粗匹配；

1)根据第二步提取得到的特征点像素坐标信息和不同图像上相应特征点的匹配信息，运用立体视觉原理重建船板特征点，得到相机坐标系下的特征点三维坐标；

2)运用最小二乘法计算船板设计网格坐标系下的特征点三维坐标与步骤1)中相机坐标系下的特征点三维坐标之间的刚性变换矩阵，实现网格粗匹配，同时将船板设计网格变换到相机坐标系下；

第四步，加工精度误差分析；

1)运用第一步计算得到的单相机参数和相机组内坐标变换参数，将第三步得到的相机坐标系下的船板设计网格，投影到每个相机拍摄的船板图像上；

2)采用光流场结合光滑约束和边界约束的方法来建立不同相机图像中每个网格顶点的对应关系及每个网格顶点之间的偏移量；运用立体视觉原理和第一步得到的单相机参数和相机组内坐标变换参数重建每个网格顶点在三维空间中的偏移量；从而计算每个网格顶点偏移量的法向投影偏移量，并计算法向投影偏移量的平均值，作为加工误差评估指标。

2.根据权利要求1所述的一种基于立体视觉的船板加工精度分析方法，其特征在于，第四步所述的采用光流场结合光滑约束和边界约束的方法，具体为：

相机A和相机B拍摄的图像分别记为I₁，I₂，三维船板网格通过第一步得到的单相机参数和相机组内坐标变换参数，得到对应图像I₁和I₂上的三角剖分顶点P＝{p₁,p₂,…,p_n},Q＝{q₁,q₂,…,q_n}；通过以下优化模型计算P和Q之间的相对偏移：

$\underset{u}{min}\left|\right|I_2(p+u_0+u)-I_1\left(p\right)|{|}_2^2$

s.t. Δ²(u₀+u)＝0

u|_p∈Γ＝0

其中，p＝p_i∈P＝{p₁,p₂,…,p_n}是图像I₁中的三角剖分顶点，q＝q_i∈Q＝{q₁,q₂,…,q_n}是对应图像I₂中的三角剖分顶点，u₀+u是图像I₂中网格剖分所对应的顶点到图像I₁中网格剖分顶点的真实偏移量，u₀＝q-p是初始网格顶点偏移量，u表示图像I₂中网格顶点q相对于图像I₁中网格顶点p的偏移量，Δ²表示双调和算子，Γ为图像I₁中的船板边界。