CN114170202A - 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 - Google Patents

基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 Download PDF

Info

Publication number
CN114170202A
CN114170202A CN202111516497.9A CN202111516497A CN114170202A CN 114170202 A CN114170202 A CN 114170202A CN 202111516497 A CN202111516497 A CN 202111516497A CN 114170202 A CN114170202 A CN 114170202A
Authority
CN
China
Prior art keywords
welding seam
weld
point cloud
structured light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111516497.9A
Other languages
English (en)
Inventor
龚烨飞
钱堃
展思民
马宏波
王旭
李晓聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Beiren Intelligent Manufacturing Technology Co ltd
Changshu Institute of Technology
Original Assignee
Jiangsu Beiren Intelligent Manufacturing Technology Co ltd
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Beiren Intelligent Manufacturing Technology Co ltd, Changshu Institute of Technology filed Critical Jiangsu Beiren Intelligent Manufacturing Technology Co ltd
Priority to CN202111516497.9A priority Critical patent/CN114170202A/zh
Publication of CN114170202A publication Critical patent/CN114170202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于面阵结构光3D视觉的焊缝分割方法，包括：采集焊缝工件的图像进行人工焊缝掩码标注，构建训练集；使用SE、CBAM和ROI Align模块改进U‑Net网络构建实例分割模型并训练；向最终的焊缝实例分割模型输入待检测图像，得到焊缝图像的分割掩码，完成焊缝分割。本发明还公开了一种基于面阵结构光3D视觉的焊缝铣削判别方法，包括通过人工标注的焊缝点云的协方差矩阵的特征比构建训练集训练近似线性可分支持向量机模型，然后利用分割模型得到焊缝掩码后获取对应的焊缝点云，输入训练后的向量机模型进行铣削判别。本发明解决了紧密相邻的焊缝分割困难的问题，并实现了焊缝是否已经铣削的判别。

Description

基于面阵结构光3D视觉的焊缝分割与铣削判别方法及装置
技术领域
本发明涉及一种焊缝分割与铣削判别方法及装置，特别是涉及一种基于面阵结构光3D视觉的焊缝分割与铣削判别方法及装置。
背景技术
焊接作为工业制造中的一项基础性的连接工艺，在各行各业均有广泛的使用，随着现代社会对于产品的功能与质量的要求越来越高，在焊接后对于成形焊缝的铣削打磨的应用需求也越来越多，但是因为焊缝铣削打磨问题本身所具有以及其所关联系统与环境的复杂性，使得其在具体实施与发展中对于技术的要求也越来越高。
以往主要依靠人工对焊接后的焊缝进行打磨，人工铣削打磨的弊端是十分明显的，铣削打磨劳动强度大，对技艺性以及精准性均要求比较高，而铣削与打磨过程中的噪声、飞溅以及粉尘问题均是对于人体十分不友好甚至危险的环境。因此当前越来越需要替代人工的自动化焊缝铣削打磨方法的出现。对于自动化焊缝铣削打磨，其首要任务是识别焊缝，对于焊缝位置以及外形的精确把握则是自动化打磨的实施难点。主要因为焊缝来自于金属的热加工成形，因此其自身的成形形状在一定程度下变化不一，例如焊缝的长宽高甚至是外观，这对于焊缝铣削尤其是余量精确控制以及加工的表面平整性来说带来了挑战。再有因为热加工的影响，会导致焊缝及其接头处母材时常会有热变形，另外因为焊接前道下料与组对拼装工艺控制的问题，经常也会出现焊缝母材的差异以及焊缝接头处错边等不良情况的出现，以上综合情况对于要求焊缝铣削打磨在不伤及母材的情况下尽量较好地清除焊缝本身并与母材形成满足工艺要求的光滑过渡带来很大的挑战，尤其在一些平整度要求很高的应用需求下其更是被强调。
现有技术中，公开号为CN102175700A的中国专利公开了一种数字X射线图像焊缝分割和缺陷检测方法，采用了基于焊接图像中焊缝水平宽度和竖直连续性的分割方法，它包括滤波、图像增强、阈值分割、寻找焊缝位置和焊缝提取等步骤。该技术只能对特定宽度范围的竖条形X射线焊缝图像进行分割，无法对各种形态的工件进行分割。公开号为CN109993741A的中国专利公开了一种基于K均值聚类的钢轨焊缝轮廓自动定位方法，属于传统图像处理方法，主要解决对焊缝轮廓的定位，但是无法解决焊缝紧密相邻造成的分割不准确问题。公开号为CN112288707A的中国专利一种基于特征点识别的机器人焊缝打磨算法，主要是通过对整体焊缝的分段，然后根据每段焊缝的点云数据进行识别，再更新全局焊缝信息，解决利用点云数据识别由于数据量大造成的识别速度慢的问题。上述各现有技术均难以解决焊缝紧密相邻造成的分割不准确问题，并且无法判断焊缝是否已经经过铣削。
发明内容
针对上述现有技术的缺陷，本发明提供了一种基于面阵结构光3D视觉的焊缝分割方法，以解决紧密相邻的焊缝分割困难的问题。本发明还提供了一种基于面阵结构光3D视觉的焊缝铣削判别方法，解决通过图像特征提取难以判断焊缝是否经过铣削的问题，为后续进一步铣削加工提供依据。本发明还提供了一种基于面阵结构光3D视觉的焊缝分割装置及铣削判别装置。
本发明技术方案如下：一种基于面阵结构光3D视觉的焊缝分割方法，包括以下步骤：
步骤1、采集得到一定数量的焊缝工件的图像；对焊缝工件的图像进行人工焊缝掩码标注，构建训练集并进行数据增强；
步骤2、使用改进的U-Net网络构建实例分割模型，由步骤1得到的训练集对实例分割模型进行训练，得到最终的焊缝实例分割模型；
步骤3、采集需要进行焊缝检测的工件的图像，并将图像输入最终的焊缝实例分割模型，得到焊缝图像的分割掩码，完成焊缝分割；
所述改进的U-Net网络是在压缩路径的四个块以及压缩路径和扩展路径的底层连接块中至少选择两个块添加注意力机制模块，所述注意力机制模块为SE模块或者CBAM模块，所述注意力机制模块位于所述块的最后一次卷积操作之后，所述改进的U-Net网络中的压缩路径的四个块的输出均通过ROI Align模块替代剪裁模块传递至扩展路径对应的块。
进一步地，所述改进的U-Net网络是在压缩路径的第二块添加SE模块，所述压缩路径和扩展路径的底层连接块添加SE模块。
进一步地，改进的U-Net网络的损失函数为
Figure BDA0003406904720000021
其中Pl(x)(x)是softmax损失函数，l：Ω→{1,2,…,K}是像素点的标签值，ω：
Figure BDA0003406904720000022
是像素点的权值，像素点距离标注边界越近则赋予其更高的权值，
Figure BDA0003406904720000023
其中ωc：
Figure BDA0003406904720000024
是平衡类别比例的权值，d1：
Figure BDA0003406904720000025
是像素点到距离其最近的边界的距离，d2：
Figure BDA0003406904720000026
是像素点到距离其第二近的边界的距离，ω0和σ是超参数。
一种基于面阵结构光3D视觉的焊缝铣削判别方法，包括以下步骤：
步骤1、采集得到一定数量的焊缝工件的点云数据，通过人工标注得到焊缝点云；
步骤2、求出人工标注的焊缝点云的协方差矩阵的最小特征值与最大特征值的比值，构建未铣削过和铣削过的焊缝的特征比训练集；
步骤3、构建近似线性可分支持向量机模型，并使用步骤2的特征比训练集进行训练，得到最终的焊缝判别近似线性可分支持向量机模型；
步骤4、采集需要进行焊缝检测的工件的图像和对应点云数据；
步骤5、将需要进行焊缝检测的工件的图像输入前述焊缝分割方法得到的最终的焊缝实例分割模型，得到焊缝图像的分割掩码，通过图像与点云的对应关系，得到预测的焊缝点云数据，并计算预测的焊缝点云数据特征比；
步骤6、将预测的焊缝点云数据特征比输入最终的焊缝判别近似线性可分支持向量机模型，得到焊缝是否已经铣削的判别。
进一步地，为了减少训练集生成时人工标注的工作量，所述步骤1中同时采集得到一定数量的焊缝工件的图像和点云数据；对焊缝工件的图像进行人工焊缝掩码标注，并使用人工标注的掩码，通过图像与点云的对应关系，得到人工标注的焊缝点云。
进一步地，所述步骤1和步骤4中采集工件的图像和点云数据是通过面阵结构光相机同时采集获得。
一种基于面阵结构光3D视觉的焊缝分割装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述基于面阵结构光3D视觉的焊缝分割方法。
以及一种基于面阵结构光3D视觉的焊缝铣削判别装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述基于面阵结构光3D视觉的焊缝铣削判别方法。
本发明所提供的技术方案的优点在于：
在U-Net网络中，底层的特征图更多地获取图片的低频信息；高层的特征图更多地获取了图片的细节信息，包括紧密相邻的焊缝边缘信息，在网络中加入SE模块或CBAM模块可以提升模型对通道和空间的敏感性，放大紧密相邻的焊缝边缘信息，使得在最后分割部分能够更好地将相邻的焊缝分割开来。通过在U-Net网络中增加SE或者CBAM注意力机制模块，由ROI Align模块替代剪裁操作，充分利用了U-Net对紧密相邻物体的分割能力并避免了剪裁操作带来的分割精度降低问题，实现了对紧密相邻的焊缝分割。另外，在实现焊缝分割的基础上通过相应的点云数据构造了用于判别是否铣削的协方差矩阵的最小特征值与最大特征值比值，通过近似线性可分支持向量机模型实现了对焊缝是否铣削的快速判断；利用图像与点云的对应关系，通过人工标注图像后得到相应的人工标注点云，同时在识别过程中，由预测得到焊缝图像得到焊缝点云，避免了直接通过点云数据进行焊缝分割和判别，提高了判别速度。
附图说明
图1是实施例1的基于面阵结构光3D视觉的焊缝分割方法的流程示意图。
图2是实施例1的改进的U-Net网络实例分割模型结构示意图。
图3是实施例1的焊缝分割结果示意图。
图4是实施例2的基于面阵结构光3D视觉的焊缝铣削判别方法的流程示意图。
图5是实施例2中焊缝形态的是否铣削协方差矩阵判别图。
具体实施方式
下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。
实施例1，请结合图1所示，本实施例的基于面阵结构光3D视觉的焊缝分割方法，包括以下步骤：
步骤1、通过面阵结构光相机采集得到一定数量的具有焊缝的工件的图像，对工件图像进行人工焊缝掩码标注，构建训练集并进行数据增强。
面阵结构光相机使用光栅式结构光传感器，使用深度学习图像标注工具-Labelme对工件的RGB图像进行多边形掩码标注，将未铣削过和铣削过的焊缝作为同一类别(焊缝)进行标注。数据增强的方法包括随机翻转、随机旋转、随机对比度变换和随机亮度变换，这样可以在增加训练数据的同时让模型学习弹性形变不变性。
步骤2、使用改进的U-Net网络构建实例分割模型，由步骤1得到的训练集对实例分割模型进行训练，得到最终的焊缝实例分割模型。
为了解决焊缝紧密相邻造成的分割不准确问题，在典型的U-Net网络基础上对其进行改进，请结合图2所示，该改进一方面是在U-Net网络左侧的压缩路径的四个块以及左侧的压缩路径和右侧的扩展路径的底层连接块中添加注意力机制模块(图2中的空心箭头所示)，该注意力机制模块为SE模块或者CBAM模块。在本实施例中，压缩路径的第一、第二块中使用SE模块，第三、第四块以及底层连接块使用CBAM模块。注意力机制模块位于连接块的最后一次卷积操作之后，对于压缩路径的四个块而言，在进行最后一次卷积后通过注意力机制模块然后再分为两路，一路传递给右侧的扩展路径，另一路进行下采样传递给下一层的块。对于压缩路径和扩展路径的底层连接块而言，在进行最后一次卷积后通过注意力机制模块再进行上采样传递给扩展路径的最下层的块。对U-Net网络改进的另一方面是压缩路径的四个块的输出均通过ROI Align模块替代剪裁模块传递至扩展路径对应的块。
虽然SE模块或者CBAM模块和ROI Align模块均是现有技术已有模块，但是为了方便理解各模块作用，下面分别介绍SE模块、CBAM模块和ROI Align模块。
SE模块属于通道注意力机制，首先对卷积得到的特征图进行压缩操作，采用平均池化，得到通道级的全局特征，然后对全局特征进行激励操作，学习各个通道间的关系，也得到不同通道的权重，最后乘以原来的特征图得到最终特征。
1)压缩操作部分通过一个全局平均滤波实现全局信息的获取，公式如下
Figure BDA0003406904720000051
其中uc是第c个通道的特征图，W和H是特征图宽和高。
2)激励操作，公式如下：
Figure BDA0003406904720000052
其中W1表示负责压缩的全连接层参数，W2表示负责还原维度的全连接层参数，σ表示Sigmoid函数，δ表示ReLU函数，变量r是压缩比。至此，得到
Figure BDA0003406904720000053
然后将s与上一层卷积特征进行逐空间位置相乘，得到SE模块的输出，如下式：
Figure BDA0003406904720000054
CBAM模块串联使用通道注意力机制和空间注意力机制，通道注意力机制与SE模块相似，不同之处在于进行压缩操作时同时使用最大池化和平均池化。空间注意力机制分别从通道维度进行求平均值和最大值，合并得到一个通道数为2的卷积层，然后通过一个卷积，得到了一个通道数为1的空间注意力的权重，最后乘以原来的特征图得到最终特征。
给定一个特征图，属性为高H，宽W，维度C，F作为输入可以用下式表示：
Figure BDA0003406904720000055
CBAM模块依次得到一个一维的通道注意力图Mc和一个二维的空间注意力图Ms，整个流程可以概括为：
Figure BDA0003406904720000056
Figure BDA0003406904720000057
其中，
Figure BDA0003406904720000058
表示对应元素相乘操作。下面分别看一下通道域的注意力模块和空间域的注意力模块实现过程。
1)通道注意力机制
对于输入特征图，分别进行平均池化和最大值池化聚合空间信息，得到两个C维池化特征图Favg和Fmax。Favg和Fmax送入包含一个隐层的多层感知器MLP里，得到两个1×1×C的通道注意力图。其中，为了减少参数量，隐层神经元的个数为C/r，r也被称作压缩比。经过MLP得到的两个通道注意力图进行对应元素相加，激活，得到最终的通道注意力图Mc。公式如下：
Figure BDA0003406904720000061
其中W1表示负责压缩的全连接层参数，W2表示负责还原维度的全连接层参数，σ表示Sigmoid函数。
2)空间注意力机制
对于F′首先沿着通道方向进行最大池化和平均池化，得到两个二维的特征图Favg和Fmax，大小都是1×H×W，将得到的两个特征图进行维度拼接(concatenate)，得到拼接后的特征图，大小为2×H×W。于拼接后的特征图，利用大小为k×k的卷积层生成空间注意力图Ms，k一般取3或7。
Figure BDA0003406904720000062
ROI Align模块是在Mask-RCNN中提出的一种区域特征聚集方式，可以很好地解决了量化造成的区域不匹配的问题。U-Net网络中裁剪操作会损失一定的特征图边缘信息，降低最终的分割结果的精度，而ROI Align模块取消了量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，可以很好地解决U-Net裁剪造成的精度降低问题。
ROI Align反向传播公式如下：
Figure BDA0003406904720000063
其中d(.)表示两点之间的距离，Δh和Δw表示i与i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。直观的理解就是离采样点越近的整数坐标点比重越大。在ROI Align中，i*(r,j)是一个浮点数的坐标位置(前向传播时计算出来的采样点)，所以在池化前的特征图中，每一个与i*(r,j)横纵坐标均小于1的点都应该接受与此对应的点yrj回传的梯度。
改进的U-Net网络的损失函数为
Figure BDA0003406904720000064
其中Pl(x)(x)是softmax损失函数，l：Ω→{1,2,…,K}是像素点的标签值，ω：
Figure BDA0003406904720000065
是像素点的权值，像素点距离标注边界越近则赋予其更高的权值，
Figure BDA0003406904720000071
其中ωc：
Figure BDA0003406904720000072
是平衡类别比例的权值，d1：
Figure BDA0003406904720000073
是像素点到距离其最近的边界的距离，d2：
Figure BDA0003406904720000074
是像素点到距离其第二近的边界的距离，ω0和σ是超参数。
上述改进后的U-Net网络的数据处理过程是这样的：
在网络的左侧第一层，输入一张572*572的RGB图片，然后通过步长为1，3*3*64的卷积(3*3是卷积核尺寸(大小)，64是卷积核数量)得到570*570*64(这个64是特征图的通道数量)的特征图，再通过步长为1，3*3*64的卷积得到568*568*64的特征图(这两次的卷积操作时一样的)，然后通过注意力机制模块(本层为SE模块，其他层为对应的SE/CBAM模块)得到568*568*64的特征图，最后分别进行2*2的最大池化和进入RoIAlign模块，进行2*2最大池化后得到284*284*64的特征图作为左侧第二层的输入，进入RoIAlign模块得到392*392*64的特征图，等待与右侧第一层的392*392*64的特征图进行拼接，拼接得到392*392*128的特征图，以此类推。
第五层的输入是32*32*512的特征图，通过2次步长为1，3*3*1024的卷积得到28*28*1024的特征图，然后通过CBAM模块(在其他实施例中也可以是SE模块)得到28*28*1024的特征图，接着通过2*2的反卷积得到56*56*512的特征图，与左侧第四层通过RoIAlign模块得到的56*56*512的特征图进行拼接，拼接得到56*56*1024的特征图，然后通过2次步长为1，3*3*512的卷积，得到52*52*512的特征图，以此类推。
最后在右侧第一层得到了388*388*64的特征图，然后通过1*1*2的卷积改变通道数，得到388*388*2的逐像素类别概率结果，接着再通过RoIAlign模块得到572*572*2的最终逐像素类别概率结果，最后再处理为分割结果。
步骤3、采集需要进行焊缝检测的工件的图像，并将图像输入最终的焊缝实例分割模型，得到焊缝图像的分割掩码，完成焊缝分割，如图3所示，左侧为输入图像，右侧为输出得到的焊缝分割结果。
基于本实施例，针对36个测试样本进行了焊缝进度识别试验，得到的结果是
AP＝68.673 APIoU＝.50＝97.056 APIoU＝0.75＝91.140，AP代表的是"AveragePrecision"，代表平均精度。
调整本实施例中改进的U-Net网络的结构并分别进行焊缝进度识别试验，其结果如下：
在压缩路径的第二块添加SE模块，压缩路径和扩展路径的底层连接块添加SE模块。其结果为AP＝68.857 APIoU＝0.50＝97.450 APIoU＝0.75＝91.289。
在压缩路径的第一块和第三块添加CBAM模块，压缩路径和扩展路径的底层连接块添加SE模块。其结果为AP＝68.498 API0U＝0.50＝97.015 APIoU＝0.75＝90.983。
在压缩路径的第三块和第四块添加SE模块，压缩路径和扩展路径的底层连接块添加CBAM模块。其结果为AP＝68.622 APIoU＝0.50＝97.138 APIoU＝0.75＝91.203。
实施例2，请结合图4所示，一种基于面阵结构光3D视觉的焊缝铣削判别方法，包括以下步骤：
步骤1、通过面阵结构光相机采集得到一定数量的带焊缝的工件的图像和点云数据；对工件图像进行人工焊缝掩码标注，构建训练集并进行数据增强，面阵结构光相机使用光栅式结构光传感器，可以同步获取工件的RGB图像和点云数据。对于采集到的RGB图线采用与实施例1的步骤1相同的方式标注并进行数据增强构建训练集。采集得到的点云是有序的，它和RGB图像在像素上有着一一对应的关系，该有序点云的宽就是图像的宽，该有序点云的高就是图像的高，如果已知RGB图像的像素位置，那么就可以直接得到该像素对应的点云坐标。所以通过人工标注的焊缝掩码可以直接得到人工标注的焊缝对应的点云数据。
对上述数据处理完成后分两部分进行，其中一部分是与实施例1类似的构建实例分割模型并训练后续用于得到焊缝分割掩码，具体是：使用改进的U-Net网络构建实例分割模型，由步骤1得到的训练集对实例分割模型进行训练，得到最终的焊缝实例分割模型，改进的U-Net网络是在压缩路径的第二块中使用SE模块，在压缩路径和扩展路径连接的底层连接块使用CBAM模块，其余块不做调整。压缩路径的四个块的输出均通过ROI Align模块替代剪裁模块传递至扩展路径对应的块。该网络具体的数据处理流程不再赘述
另一部分则实现对分割的焊缝进行是否已经铣削的判别，具体包括：
步骤2、求出人工标注的焊缝点云的协方差矩阵的最小特征值与最大特征值的比值，构建未铣削过和铣削过的焊缝的特征比训练集；
协方差矩阵的最大特征值对应的特征向量，总是指向方差最大的方向；次最大特征值对应的特征向量，正交于最大特征值对应的特征向量，并指向次最大方差指向的方向；以此类推。点云是三维数据，点云的协方差矩阵的特征值与特征向量如图5所示。
对于点云中的每个点pi，对应的协方差矩阵C如下：
Figure BDA0003406904720000081
Figure BDA0003406904720000082
其中，N为点云中点的个数，
Figure BDA0003406904720000091
为点云质心，λj为协方差矩阵的第j个特征值，
Figure BDA0003406904720000092
为协方差矩阵的第j个特征向量。
求协方差矩阵的特征值与特征向量等价于寻找一个椭球，使得所有的数据点都在椭球体内，且椭球的3个坐标轴方向分别对应v1v2v3的方向。v1是第一特征向量，λ1是其相应的特征值，v1指向数据方差最大的方向。v2与v1垂直，在v2与v1垂直这个前提下v2指向数据次方差最大的方向。v3与v1和v2都垂直，在v2与v1都确定的情况下，v3是唯一的。根据上述可知，其数学上的意义很明了，v1指向其方差最大的方向，v3指向其方差最小的方向，在空间中表现出来的物理意义也就很明显了，如果整个点云为平面状，比如焊缝点云，则v3必定指向其平面法线方向。
因此，对点云求协方差矩阵的特征向量v1v2v3和特征值λ1λ2λ3(λ1≥λ2≥λ3)，v1为第一特征向量，v2为第二特征向量，v3为第三特征向量。v1指向其方差最大的方向，对应焊缝的长度，而λ3是方差最小的方向，指向其平面法线方向，对应焊缝的厚度。由于铣削过的焊缝比未铣削的薄，所以可以用特征比(法线方向的特征值比长度方向特征值λ3/λ1)来区分焊缝是否被铣削过。
步骤3、构建近似线性可分支持向量机模型，并使用步骤2的特征比训练集进行训练，得到最终的焊缝判别近似线性可分支持向量机模型；
通过步骤2求出未铣削过和铣削过的焊缝对应的特征比，一般来说铣削过的焊缝比未铣削的焊缝薄，也就是说一般铣削过的焊缝特征比小于未铣削过的焊缝特征比，但也不能够保证未铣削过的焊缝特征比与铣削过的焊缝特征比数据线性可分，因此构建近似线性可分支持向量机模型对一维数据特征比进行训练，得到最终的焊缝判别近似线性可分支持向量机模型。
近似线性可分支持向量机模型如下
Figure BDA0003406904720000093
s.t.yi(w·xi+b)≥1-ξii＝1,2,…,N
其中，ξi是松弛变量，且ξi≥0，C为惩罚系数，表示对误分类的惩罚，且C>0。
步骤4、同样通过面阵结构光相机采集需要进行焊缝检测的工件的图像和对应点云数据；
步骤5、将需要进行焊缝检测的工件的图像输入前述另一部分得到的最终的焊缝实例分割模型，得到焊缝图像的分割掩码，通过图像与点云的对应关系，得到预测的焊缝点云数据，并计算预测的焊缝点云数据特征比；
步骤6、将预测的焊缝点云数据特征比输入最终的焊缝判别近似线性可分支持向量机模型，得到焊缝是否已经铣削的判别。
采用本实施例方法对40张测试样本进行铣削判别，其中70％为已铣削焊缝图像，其判别结果准确率为100％。
应当指出的是，本申请可采用硬件、软件或者硬件与软件结合的方式进行实施，或者是构成至少包含一个处理器及存储器的计算机装置，该存储器即储存了实现上述流程步骤的计算机程序，处理器用于执行该存储器上的计算机程序进行形成上述的实施例的方法步骤。

Claims (9)

1.一种基于面阵结构光3D视觉的焊缝分割方法，其特征在于，包括以下步骤：
步骤1、采集得到一定数量的焊缝工件的图像；对焊缝工件的图像进行人工焊缝掩码标注，构建训练集并进行数据增强；
步骤2、使用改进的U-Net网络构建实例分割模型，由步骤1得到的训练集对实例分割模型进行训练，得到最终的焊缝实例分割模型；
步骤3、采集需要进行焊缝检测的工件的图像，并将图像输入最终的焊缝实例分割模型，得到焊缝图像的分割掩码，完成焊缝分割；
所述改进的U-Net网络是在压缩路径的四个块以及压缩路径和扩展路径的底层连接块中至少选择两个块添加注意力机制模块，所述注意力机制模块为SE模块或者CBAM模块，所述注意力机制模块位于所述连接块的最后一次卷积操作之后，所述改进的U-Net网络中的压缩路径的四个块的输出均通过ROI Align模块替代剪裁模块传递至扩展路径对应的块。
2.根据权利要求1所述的基于面阵结构光3D视觉的焊缝分割方法，其特征在于，所述改进的U-Net网络是在压缩路径的第二块添加SE模块，所述压缩路径和扩展路径的底层连接块添加SE模块。
3.根据权利要求1所述的基于面阵结构光3D视觉的焊缝分割方法，其特征在于，所述改进的U-Net网络的损失函数为
Figure FDA0003406904710000011
其中Pl(x)(x)是softmax损失函数，l：Ω→{1,2,…,K}是像素点的标签值，ω：
Figure FDA0003406904710000015
是像素点的权值，像素点距离标注边界越近则赋予其更高的权值，
Figure FDA0003406904710000012
其中ωc：
Figure FDA0003406904710000016
是平衡类别比例的权值，d1：
Figure FDA0003406904710000013
是像素点到距离其最近的边界的距离，d2：
Figure FDA0003406904710000014
是像素点到距离其第二近的边界的距离，ω0和σ是超参数。
4.一种基于面阵结构光3D视觉的焊缝铣削判别方法，包括以下步骤：
步骤1、采集得到一定数量的焊缝工件的点云数据，通过人工标注得到焊缝点云；
步骤2、求出人工标注的焊缝点云的协方差矩阵的最小特征值与最大特征值的比值，构建未铣削过和铣削过的焊缝的特征比训练集；
步骤3、构建近似线性可分支持向量机模型，并使用步骤2的特征比训练集进行训练，得到最终的焊缝判别近似线性可分支持向量机模型；
步骤4、采集需要进行焊缝检测的工件的图像和对应点云数据；
步骤5、将需要进行焊缝检测的工件的图像输入最终的焊缝实例分割模型，得到焊缝图像的分割掩码，通过图像与点云的对应关系，得到预测的焊缝点云数据，并计算预测的焊缝点云数据特征比；
步骤6、将预测的焊缝点云数据特征比输入最终的焊缝判别近似线性可分支持向量机模型，得到焊缝是否已经铣削的判别，
所述最终的焊缝实例分割模型通过以下方法得到：
步骤S3-1、采集得到一定数量的焊缝工件的图像；对焊缝工件的图像进行人工焊缝掩码标注，构建训练集并进行数据增强；
步骤S3-2、使用改进的U-Net网络构建实例分割模型，由步骤S3-1得到的训练集对实例分割模型进行训练，得到最终的焊缝实例分割模型；
所述改进的U-Net网络是在压缩路径的四个块以及压缩路径和扩展路径的底层连接块中至少选择两个块添加注意力机制模块，所述注意力机制模块为SE模块或者CBAM模块，所述注意力机制模块位于所述连接块的最后一次卷积操作之后，所述改进的U-Net网络中的压缩路径的四个块的输出均通过ROI Align模块替代剪裁模块传递至扩展路径对应的块。
5.根据权利要求4所述的基于面阵结构光3D视觉的焊缝铣削判别方法，其特征在于，所述步骤1中同时采集得到一定数量的焊缝工件的图像和点云数据；对焊缝工件的图像进行人工焊缝掩码标注，并使用人工标注的掩码，通过图像与点云的对应关系，得到人工标注的焊缝点云。
6.根据权利要求5所述的基于面阵结构光3D视觉的焊缝铣削判别方法，其特征在于，所述步骤1对焊缝工件的图像进行人工焊缝掩码标注后用于步骤3-1构建训练集并进行数据增强。
7.根据权利要求4所述的基于面阵结构光3D视觉的焊缝铣削判别方法，其特征在于，所述步骤1和步骤4中采集工件的图像和点云数据是通过面阵结构光相机同时采集获得。
8.一种基于面阵结构光3D视觉的焊缝分割装置，包括处理器以及存储器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求1至3中任意一项所述的基于面阵结构光3D视觉的焊缝分割方法。
9.一种基于面阵结构光3D视觉的焊缝铣削判别装置，包括处理器以及存储器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求4至7中任意一项所述的基于面阵结构光3D视觉的焊缝铣削判别方法。
CN202111516497.9A 2021-12-13 2021-12-13 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 Pending CN114170202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111516497.9A CN114170202A (zh) 2021-12-13 2021-12-13 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111516497.9A CN114170202A (zh) 2021-12-13 2021-12-13 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置

Publications (1)

Publication Number Publication Date
CN114170202A true CN114170202A (zh) 2022-03-11

Family

ID=80485991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111516497.9A Pending CN114170202A (zh) 2021-12-13 2021-12-13 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置

Country Status (1)

Country Link
CN (1) CN114170202A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455994A (zh) * 2023-11-07 2024-01-26 暨南大学 一种相机位姿估计方法、系统、电子设备及可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455994A (zh) * 2023-11-07 2024-01-26 暨南大学 一种相机位姿估计方法、系统、电子设备及可读介质

Similar Documents

Publication Publication Date Title
CN109900706B (zh) 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN105913415B (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
US8873837B2 (en) Image-based crack detection
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
US9123112B2 (en) Method for the pre-processing of a three-dimensional image of the surface of a tyre for use in the inspection of said surface
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
US20140341421A1 (en) Method for Detecting Persons Using 1D Depths and 2D Texture
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
Wang et al. Edge extraction by merging 3D point cloud and 2D image data
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111951253A (zh) 用于锂电池表面缺陷检测的方法、设备及可读存储介质
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN112215079B (zh) 一种全局多阶段目标跟踪方法
CN108985145A (zh) 小尺寸交通标志检测识别的反向连接深度神经网络模型方法
CN109030502A (zh) 一种基于机器视觉的焊点缺陷检测系统
CN112288758A (zh) 一种电力设备红外与可见光图像配准方法
CN107886539A (zh) 一种工业场景下高精度齿轮视觉检测方法
CN114170202A (zh) 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN112967292A (zh) 一种针对电商产品的自动抠图与评分方法及系统
CN112001954A (zh) 一种基于极曲线约束的水下pca-sift图像匹配方法
CN112464905B (zh) 3d目标检测方法及装置
Wang et al. Edge extraction by merging the 3D point cloud and 2D image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination