CN112414304A - 基于激光光栅投射的焊后焊缝表面三维测量方法 - Google Patents

Abstract

本发明涉及一种基于激光光栅投射的焊后焊缝表面三维测量方法，包括如下步骤：搭建基于频闪激光光栅条纹的焊缝三维测量系统；建立基于空间映射模型的三维测量模型；将条纹图像相位信息转换计算为焊缝真实的三维数据；搭建用于滤除光栅条纹背景光强和生成高调制度光栅条纹的深度条纹增强卷积神经网络；搭建用于提取条纹相位的深度相位提取卷积神经网络。将相位信息代入三维测量模型，完成焊缝表面三维坐标的测量。本发明方法可在焊接现场复杂环境光和金属强反射特性的条件下，实现焊后焊缝表面三维精密测量。

Description

基于激光光栅投射的焊后焊缝表面三维测量方法

技术领域

本发明属于光电检测技术领域，涉及焊缝表面三维测量方法，尤其是一张基于激光光栅投射的焊后焊缝表面三维测量方法。

背景技术

焊后焊缝成型的好坏是评价焊缝质量好坏的重要指标，因为焊缝外观能够很好的反应焊缝内部质量，也可以判断焊接工艺规范的合理性。良好的焊后焊缝成形应当是表面波纹均匀、细致、美观，几何形状正确、焊缝余高适中，焊缝与母材之间平滑过渡。但实际焊接中通常会出现咬边、气孔、焊瘤、未熔合、未焊满等重要缺陷。对焊后焊缝进行外观特征分析是保证焊接质量的关键手段。因此为保证焊接质量，需要对焊后焊缝三维轮廓进行测量。传统人工目测或检测尺检测工作量大，且只能定性分析，检测结果容易受主观因素或检测尺的接触磨损的影响。因此研究焊后焊缝表面三维测量方法对保证现场焊接的精度、质量与效率是有重要意义的。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于激光光栅投射的焊后焊缝表面三维测量方法，在焊接现场复杂环境光和金属强反射特性的条件下，实现焊后焊缝表面三维精密测量。

本发明解决技术问题所采用的技术方案是：

一种基于激光光栅投射的焊后焊缝表面三维测量方法，包括如下步骤：

搭建基于频闪激光光栅条纹的焊缝三维测量系统；

建立基于空间映射模型的三维测量模型；

搭建用于滤除光栅条纹背景光强和生成高调制度光栅条纹的深度条纹增强卷积神经网络；

搭建用于提取条纹相位的深度相位提取卷积神经网络，提取条纹图像相位信息。

将条纹图像相位信息代入三维测量模型，完成焊缝表面三维坐标的测量。

而且，所述的三维测量系统包括：

正弦调制激光器，用于发射正弦调制的激光并投射到MEMS扫描模组；

MEMS扫描模组、用于生成频闪激光光栅条纹投射到焊接工件焊后焊缝表面；

相机、用于采集被焊缝表面形貌调制变形的条纹图像；

计算机，用于处理数据并显示图像。

而且，所述的三维测量模型采用n阶多项式关系来描述空间相位映射模型，(x,y,z)与[u,v,φ]之间的映射关系的矩阵形式表示为：

其中，p_i、q_i和r_i(i＝0,1,…,m-1)是多项式的系数；。

而且，通过三维靶标或平面靶标移动旋转得到的空间三维点阵列和对应的像素坐标和相位值，结合空间相位映射模型进行系统物相标定。

而且，相位φ(x,y)的计算公式为：

其中：b(x,y)为条纹调制度、M(x,y)为相位计算公式的分子部分、D(x,y)为相位计算公式的分母部分。

而且，M(x,y)和D(x,y)的计算通过N步相移法预处理并结合人工标注的方式获取，相移法计算M(x,y)和D(x,y)的公式为：

式中，δ_n为第n步相移值，In(x，y)为采集的第n步相移图像的灰度值。

而且，所述的深度条纹增强卷积神经网络包括卷积层1、残差模块1、卷积层2、卷积层3用于滤波处理。

而且，所述的深度相位提取卷积神经网络包括卷积层4、池化层1、残差模块2、上采样层、卷积层5。

而且，网络输出为两通道，分别输出M(x,y)和D(x,y)，M(x,y)为相位计算公式的分子部分、D(x,y)为相位计算公式的分母部分，通过如下公式反正切计算出准确相位值φ(x,y)

而且，高调制度光栅条纹的获取通过图像滤波预处理结合人工标注的方式获取。首先可通过N步相移法计算背景光强a(x,y)，计算公式为：

用采集的光栅条纹图像得到的条纹光强分布I(x,y)减去光栅条纹背景光强a(x,y)生成高调制度光栅条纹I'(x,y)，I'(x,y)再经过人工标注修正。

本发明的优点和积极效果是：

本发明方法搭建基于激光光栅投射的焊后焊缝表面三维测量系统，利用频闪扫描特性产生精密激光光栅条纹。利用MEMS系统同步扫描实现条纹投射，使系统更简洁紧凑，更适应工业现场环境。然后，在测量系统的基础上利用深度神经网络的强大特征学习能力，准确获取光栅条纹相位信息，实现焊后焊缝三维轮廓的精密测量。本发明在焊接现场复杂环境光和金属强反射特性的条件下，实现焊后焊缝表面三维精密测量。

附图说明

图1为基于频闪激光光栅条纹的焊缝三维测量系统示意图；

图2为光栅条纹三维测量软件显示图；

图3为物相空间映射关系图；

图4为用于焊缝激光光栅条纹相位解析的深度卷积神经网络图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

根据图1搭建基于频闪激光光栅条纹的焊缝三维测量系统。建立如图3所示空间映射三维测量模型，并实现系统标定。通过建立的模型和标定结果，将条纹图像相位信息准确地转换计算为焊缝真实的三维数据，实现对焊后焊缝的三维测量。编写图2所示系统软件，采集并显示焊缝图像及焊缝图像处理结果。设计完成并搭建如图用于滤除光栅条纹背景光强和生成高调制度光栅条纹的深度条纹增强卷积神经网络，完成并搭建用于提取条纹相位的深度相位提取卷积神经网络。完成涵盖不同背景调制、不同条纹模式的焊后焊缝表面光栅条纹图像数据集的采集，并结合相移法和人工标注的方法完成数据集的制作。完成对网络模型的训练与调试，实现光栅条纹背景光强的滤除和生成高调制度增强条纹图像，并准确提取出光栅条纹的相位信息。通过将相位信息代入三维测量模型，完成焊缝表面三维坐标的测量。

具体步骤如下：

1.三维测量系统组成

为实现焊后焊缝全场三维轮廓的测量，以石油化工行业大型管道焊接焊后测量为例(本设计方案不限于该应用)，本设计方案搭建如图1所示的基于频闪激光光栅条纹的焊缝三维测量系统。系统硬件由包含工业相机和MEMS扫描模组的频闪激光光栅条纹视觉传感器和计算机组成，即可完成测量。利用MEMS系统同步扫描实现条纹投射，使系统更简洁紧凑，更适应工业现场环境。正弦调制的激光经过柱面镜投射到MEMS扫描模组上，通过MEMS扫描模组的同步振动旋转，生成频闪激光光栅条纹投射到焊接工件焊后焊缝表面。光栅条纹被焊缝表面形貌调制变形，工业相机采集被调制变形的条纹图像。将采集的条纹图像通过软件处理算法获取高调制度光栅条纹图像，并利用相位解算算法准确获取相位信息。将解算的相位信息代入系统三维测量模型即可反算得到被测焊缝各个位置处全场的三维轮廓坐标(x,y,z)。系统处理软件如图2所示能将焊缝三维测量结果显示出来，方便现场工人使用。

2.系统三维测量模型与标定方法

根据激光光栅条纹的相位空间特性采用基于空间映射模型的三维测量模型。空间映射模型直接建立空间坐标系到图像坐标系之间的映射关系，把空间坐标与图像坐标的转换关系抽象为一组多项式方程，只要标定出这些多项式的系数就能实现测量系统的建立。空间映射三维测量的本质是，MEMS扫描模组投射的光栅条纹实际构造了如图3所示的一个锥形的绝对相位空间φ，空间中每一个φ值就对应一个光平面约束，因此可以通过(x,y,z)与[u,v,φ]之间的关系直接建立像素坐标和相位值到空间坐标的映射模型。使得测量系统更便携，更容易搭建，标定也更为简单方便。

具体的映射关系，可采用n阶多项式关系来描述空间相位映射模型，则(x,y,z)与[u,v,φ]之间的映射关系的矩阵形式表示为：

其中，p_i、q_i和r_i(i＝0,1,…,m-1)是多项式的系数。这些方程式的系数是系统内部参数和结构参数的组合，只要标定出这些多项式的系数就能实现测量系统的建构。

测量前首先通过三维靶标或平面靶标移动旋转得到的空间三维点阵列和对应的像素坐标和相位值，结合空间映射模型进行系统物相标定。测量时通过条纹分析对采集的调制图像解析出各个像素(u,ν)对应的相位φ，代入公式(1)即可测得相机采集视场范围内的三维坐标。

3.基于深度学习的光栅条纹解析方法

3.1深度卷积神经网络的搭建

根据焊后焊缝表面三维测量方法，三维测量的关键是从光栅条纹中准确地解算出受焊缝表面三维信息调制的光栅条纹的相位φ。光栅条纹的光强分布公式如下：

I(x,y)＝a(x,y)+b(x,y)cosφ(x,y) (2)

式中，I(x,y)为条纹光强的灰度值，φ(x,y)为待计算的相位，a(x,y)为背景强度，b(x,y)为条纹调制度。根据公式(2)知，相位φ(x,y)的计算公式为：

根据公式(2-3)，φ(x,y)计算由光强I(x,y)公式中的b(x,y)cosφ(x,y)部分决定，背景强度a(x,y)是干扰项。当受焊接现场环境背景光或焊接表面反射特性的干扰影响时，背景强度a(x,y)增强会使条纹调制度b(x,y)降低，从而导致φ(x,y)的解算误差增大。因此为抑制这些干扰的影响，通过深度条纹增强卷积神经网络，从采集的光栅条纹图像得到的条纹光强分布I(x,y)中滤除光栅条纹背景光强和生成高调制度光栅条纹I'(x,y)。然后通过深度相位提取卷积神经网络从高调制度光栅条纹I'(x,y)准确解算光栅条纹相位φ(x,y)。根据公式(3)，相位φ(x,y)的计算需要通过反正切计算，会存在相位折叠，导致相位特征提取的混乱，从而会影响网络的训练学习效果。因此搭建网络时，将公式(3)中的相位计算中的中间变量分子M(x,y)和分母D(x,y)作为网络的输出，然后通过反正切计算相位φ(x,y)，保证相位提取准确度。因此搭建的网络如图4所示：

深度条纹增强卷积神经网络和深度相位提取卷积神经网络的输入输出维度均为W×H深,输入图像分别经过卷积层1，残差模块1和卷积层2、3来进行滤波处理。卷积层通过学习邻域特征来滤除背景干扰噪声，中间层使用残差模块是为了避免训练时深度神经网络产生退化。深度相位提取卷积神经网络除了卷积层4、5和残差模块2来提取相位特征外，还增加了池化层1和上采样层。上采样层用来恢复图像的输入图像的分辨率，池化层1用来提高相位解算时特征分析的感受野，利用全局条纹分别特性来提高相位解算精度。网络最后输出为两通道的输出，分别输出M(x,y)和D(x,y)，通过公式(3)反正切计算出准确相位值φ(x,y)。深度卷积神经网络强大的特征提取和学习能力，能从噪声污染的焊缝光栅条纹图像中估计光栅条纹背景光强和生成高调制度条纹图像，并准确提取出光栅条纹的相位信息。利用相位信息和标定好的三维测量模型计算出准确的三维数据，提高测量的精确度。通过大量数据训练，还具有很好的泛化能力和适应性。

3.2焊缝激光光栅条纹数据集制作与标注

卷积神经网络训练和测试数据集的获取是利用激光光栅条纹投射系统投射到焊后焊缝表面来获取大量的不同频率、不同相移、不同背景调制的光栅条纹图像I(x,y)，用作网络的输入图像。

高调制度光栅条纹的获取可通过传统图像滤波预处理结合人工标注的方式获取。首先可通过N步相移法计算背景光强a(x,y)，计算公式为：

用采集的光栅条纹图像得到的条纹光强分布I(x,y)减去光栅条纹背景光强a(x,y)生成高调制度光栅条纹I'(x,y)。I'(x,y)再经过人工标注修正的方式保证高调制度条纹真值的质量。

M(x,y)和D(x,y)的计算可通过N步相移法预处理并结合人工标注的方式获取。相移法计算M(x,y)和D(x,y)的公式为：

式中，δ_n为第n步相移值，采用N步相移法计算出相位解算的关键变量M(x,y)和D(x,y)的真值，再经过人工标注修正的方式保证真值的质量。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于激光光栅投射的焊后焊缝表面三维测量方法，包括如下步骤：

搭建基于频闪激光光栅条纹的焊缝三维测量系统；

建立基于空间映射模型的三维测量模型；

搭建用于滤除光栅条纹背景光强和生成高调制度光栅条纹的深度条纹增强卷积神经网络；

搭建用于提取条纹相位的深度相位提取卷积神经网络，提取条纹图像相位信息。

将条纹图像相位信息代入三维测量模型，完成焊缝表面三维坐标的测量。

将相位信息代入三维测量模型，完成焊缝表面三维坐标的测量。

2.根据权利要求1所述的方法，其特征在于：所述的三维测量系统包括：

正弦调制激光器，用于发射正弦调制的激光并投射到MEMS扫描模组；

MEMS扫描模组、用于生成频闪激光光栅条纹投射到焊接工件焊后焊缝表面；

相机、用于采集被焊缝表面形貌调制变形的条纹图像；

计算机，用于处理数据并显示图像。

3.根据权利要求1所述的方法，其特征在于：所述的三维测量模型采用n阶多项式关系来描述空间相位映射模型，(x,y,z)与[u,v,φ]之间的映射关系的矩阵形式表示为：

其中，p_i、q_i和r_i(i＝0,1,…,m-1)是多项式的系数；。

4.根据权利要求3所述的方法，其特征在于：通过三维靶标或平面靶标移动旋转得到的空间三维点阵列和对应的像素坐标和相位值，结合空间相位映射模型进行系统物相标定。

5.根据权利要求1所述的方法，其特征在于：

相位φ(x,y)的计算公式为：

其中：b(x,y)为条纹调制度、M(x,y)为相位计算公式的分子部分、D(x,y)为相位计算公式的分母部分。

6.根据权利要求5所述的方法，其特征在于：M(x,y)和D(x,y)的计算通过N步相移法预处理并结合人工标注的方式获取，相移法计算M(x,y)和D(x,y)的公式为：

式中，δ_n为第n步相移值，In(x，y)为采集的第n步相移图像的灰度值。

7.根据权利要求1所述的方法，其特征在于：所述的深度条纹增强卷积神经网络包括卷积层1、残差模块1、卷积层2、卷积层3用于滤波处理。

8.根据权利要求1所述的方法，其特征在于：所述的深度相位提取卷积神经网络包括卷积层4、池化层1、残差模块2、上采样层、卷积层5。

9.根据权利要求1所述的方法，其特征在于：网络输出为两通道，分别输出M(x,y)和D(x,y)，M(x,y)为相位计算公式的分子部分、D(x,y)为相位计算公式的分母部分，通过如下公式反正切计算出准确相位值φ(x,y)

10.根据权利要求1所述的方法，其特征在于：高调制度光栅条纹的获取通过图像滤波预处理结合人工标注的方式获取。首先可通过N步相移法计算背景光强a(x,y)，计算公式为：

用采集的光栅条纹图像得到的条纹光强分布I(x,y)减去光栅条纹背景光强a(x,y)生成高调制度光栅条纹I'(x,y)，I'(x,y)再经过人工标注修正。

Images