CN115311274A - 一种基于空间变换自注意力模块的焊缝检测方法及系统 - Google Patents
一种基于空间变换自注意力模块的焊缝检测方法及系统 Download PDFInfo
- Publication number
- CN115311274A CN115311274A CN202211238743.3A CN202211238743A CN115311274A CN 115311274 A CN115311274 A CN 115311274A CN 202211238743 A CN202211238743 A CN 202211238743A CN 115311274 A CN115311274 A CN 115311274A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- point cloud
- attention module
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 121
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000003466 welding Methods 0.000 claims abstract description 54
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000005065 mining Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 230000008447 perception Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 claims 2
- 230000003313 weakening effect Effects 0.000 claims 1
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及三维点云分割技术领域，公开了一种基于空间变换自注意力模块的焊缝检测方法，对焊件进行扫描生成三维点云，对点云中的焊缝进行真实焊缝点标注，生成模型训练集；根据点云特性设计搭建深度神经网络模型，首先利用主干网络部分提取焊件的全局特征和局部特征，并分析挖掘点云内间的关联关系，然后聚合不同维度的特征信息用于后续特征分割任务；一种基于空间变换自注意力模块的焊缝检测方法主干网络部分主要由点卷积组合模块和空间变换自注意力模块构成，前者用于解决点云无序性，增加局部特征，后者用于解决点云的空间变换不变性，并深度挖掘点云中点与点之间的空间相关性。本发明还提供了一种基于空间变换自注意力模块的焊缝检测系统。
Description
技术领域
本发明涉及三维点云分割技术领域，具体地说，是一种基于空间变换自注意力模块的焊缝检测方法及系统，用于提高焊缝的检测性能。
背景技术
随着我国的智能制造业的不断发展，制造型企业也随之兴起，为了保证其在市场上的竞争力，企业必须提高产品的生产效率和确保产品的品控。工件焊接是制造业中常用的技能，是永久性连接金属中最经济适用的方法，广泛被应用于汽车、航空、建筑等各个领域中。
工件焊接可以根据焊接方式分为手工焊接、自动化焊接以及半自动化焊接，手工焊接和半自动化焊接方式都需要工作人员在危险的生产环境中进行工作，长时间的作业会导致工作人员的判断力下降，造成焊接失误，所以研究全自动化、高精度的焊接方式逐渐成为机器视觉领域新型的研究方向之一。基于机器视觉的焊缝自动检测方法主要分为基于传统图像处理的焊缝自动检测方法和基于深度学习的焊缝自动检测方法，前者包含的大多数方法都是以人工特征为主，在复杂环境下人工特征无法辨别前景与背景之间差异，继而出现大量的误差，存在很大的局限性，反之，后者利用深度神经网络结构将特征信息映射到高维的空间，目标判别能力大大提高，能更好的适应多变的焊接环境，推动自动化焊接技术更进一步。三维点云能更真实地反映出物体在三维空间的状态，可以更加准确地描述目标物体地位置信息，所以自动化焊接技术偏向采用三维图像作为数据来源。
三维点云数据存在无序性、不变性以及不规则性，这些特性给检测任务带来了不小的挑战。目前，大多数基于三维点云的深度学习焊缝自动检测方法利用深度神经网络的学习能力捕获点云特征的深度信息，进而进行特征分割或检测，但是已有的方法都存在局部特征不足，无法建立点云内的长范围依赖性，没有充分利用到点云包含的复杂信息，导致检测效果令人不满意。因此，亟需提出一种具有实时性的、易部署的焊缝位置检测方法，减少复杂的焊接环境带来的噪声干扰，提高焊接准确度。
发明内容
本发明的目的在于提供一种基于空间变换自注意力模块的焊缝检测方法，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
本发明通过下述技术方案实现：一种基于空间变换自注意力模块的焊缝检测方法，包括：
步骤S1,对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；
步骤S2,根据空间变换自注意模块捕获三维点云数据的空间结构，搭建基于空间变换自注意模块的深度神经网络模型，用模型训练集训练深度神经网络模型，并将迭代次数和学习率预设完整；
所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；
步骤S3，将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；
步骤S4，在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
本发明提出了一种基于三维点云的焊缝自动检测方法，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
为了更好地实现本发明，进一步地，所述步骤S2包括：
所述主干网络由依次连接的第一点卷积组合模块、第二点卷积组合模块、第一多层感知机层模块、第一空间变换自注意力模块、第二多层感知机层模块、第二空间变换自注意力模块、第三多层感知机层模块、第三空间变换自注意力模块和特征聚合模块构成，所述第一空间变换自注意力模块和第二空间变换自注意力模块分别连接特征聚合模块；
所述下游分割网络包括依次连接的第四多层感知机层模块、第五多层感知机层模块和损失函数模块。
为了更好地实现本发明，进一步地，所述点卷积组合模块包括第一点卷积层、第二点卷积层、第一层归一化层、第二层归一化层、第一修正线性单元层、第二第一修正线性单元层、最大值池化层和特征拼接层。
为了更好地实现本发明，进一步地，所述点卷积组合模块由串联的K=16的第一点卷积层、第一修正线性单元层、第一层归一化层，串联K=32的第二点卷积层和第二修正线性单元层、第二层归一化层，以及最大值池化层并行连接至特征拼接层构成，其中K为描述点卷积层的变量；
所述点卷积层负责提取点云的局部信息，所述最大值池化层提取点云的全局信息。
为了更好地实现本发明，进一步地，所述的空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成；首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，即对点云特征进行位置编码，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征。
为了更好地实现本发明，进一步地，所述关系感知位置嵌入模块由依次连接的最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成。
为了更好地实现本发明，进一步地，所述多头空间变换自注意力模块包括第一L2正则化层、第二L2正则化层、特征相乘层、柔性最大值层和仿射变换层，所述第一L2正则化层和第二L2正则化层并联连接至特征相乘层、柔性最大值层和仿射变换层；
所述柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换。
为了更好地实现本发明，进一步地，所述损失函数模块采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值。
为了更好地实现本发明，进一步地，所述步骤S3中的相关超参数包括迭代次数和学习率。
为了更好地实现本发明，进一步地，本发明还提供了一种基于空间变换自注意力模块的焊缝检测系统，包括采集单元、模型搭建单元、训练单元和检测单元，其中：
采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；
模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；
训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；
检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
为了更好地实现本发明，进一步地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，用于执行基于空间变换自注意力模块的焊缝自动检测方法。
本发明与现有技术相比，具有以下优点及有益效果：
（1）本发明使用空间变换自注意模块捕获三维点云的空间信息，本发明构建的模型直接学习三维点云信息能最大限度地保留三维点云包含的空间特征，使得模型分割性能更优秀；
（2）本发明中提出的空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成，其中，关系感知位置嵌入模块与传统的位置编码嵌入模块不同，关系感知位置嵌入模块利用点云自身的坐标信息进行编码，将绝对坐标转化成相对坐标，能更好地学习点云数据，充分挖掘点云内间的相关性，然后多头空间变换自注意力模块与传统的多头变换自注意力模块不同，多头空间变换自注意力模块添加了仿射变换层解决点云的空间变换不变形，而传统的多头变换自注意力模块不具备这样的特性；
（3）本发明提出了一种空间变换自注意力模块，利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征，从而增强模型对点云空间的感知能力，提高表征能力；
（4）本发明提出了一种焊缝自动检测方法和系统，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
附图说明
本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。
图1为本发明提供的深度神经网络模型结构示意图。
图2为本发明提供的点卷积组合模块结构示意图。
图3为本发明提供的空间变换自注意力模块结构示意图。
图4为本发明提供的特征聚合模块结构示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例的一种基于空间变换自注意力模块的焊缝检测方法，在本实施例中，采用高精度的测量仪器对焊件进行扫描生成三维点云，并凭借视觉对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；为了让模型的泛化性好，要将不同焊件的焊缝情况采集成训练数据。
根据点云特性设计搭建深度神经网络模型，首先利用主干网络部分提取焊件的全局特征和局部特征，并分析挖掘点云内间的关联关系，然后聚合不同维度的特征信息用于后续特征分割任务，最后经多层感知机层处理后按点计算分割损失值；主干网络部分主要由点卷积组合模块和空间变换自注意力模块构成，前者用于解决点云无序性，增加局部特征，后者用于解决点云的空间变换不变性，并深度挖掘点云中点与点之间的空间相关性；
采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值；
将迭代次数、学习率等相关超参数预设完整，利用学习率下降法不断迭代衰减损失值，优化模型权重参数，直到迭代次数等于最大迭代次数，中止训练，最后在真实场景下测试模型性能。
本发明提出了一种焊件焊缝检测方法，通过点卷积组合模块稠密地下采样大大减少了点云信息的丢失，并且利用注意力机制捕获点云邻近点之间的关系，增强模型对每个点的判别能力，提高模型对目标点云的几何表达能力。
本发明使用空间变换自注意模块捕获三维点云的空间信息，本发明构建的模型直接学习三维点云信息能最大限度地保留三维点云包含的空间特征，使得模型分割性能更优秀。
本发明直接对三维点云进行学习，充分利用点云数据，通过点卷积组合模块和空间变换自注意力模块解决三维点云与二维数据不一样的特性。本发明提出的空间变换自注意力模块的特征映射关系具有对称性，具备处理点云数据的条件。
本发明中提出的空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成，其中，关系感知位置嵌入模块与传统的位置编码嵌入模块不同，关系感知位置嵌入模块利用点云自身的坐标信息进行编码，将绝对坐标转化成相对坐标，能更好地学习点云数据，充分挖掘点云内间的相关性，然后多头空间变换自注意力模块与传统的多头变换自注意力模块不同，多头空间变换自注意力模块添加了仿射变换层解决点云的空间变换不变形，而传统的多头变换自注意力模块不具备这样的特性。
实施例2：
本实施例在实施例1的基础上做进一步优化，图1为焊缝分割检测方法的整体网络结构示意图。网络模型主要由主干部分网络和下游分割网络构成，主干网络部分由点卷积组合模块、多层感知机层、空间变换自注意力模块、特征聚合模块构成，利用点卷积组合模块增强模型对局部特征的捕获能力，与此同时稠密地对点云数据进行下采样，减少计算量，然后通过多层感知机层对特征信息维度进行变换交予空间变换自注意力模块处理，具体结构如图2所示，再由空间变换自注意力模块深度挖掘点云中点与点之间的空间相关性，最后将不同维度的特征信息聚合之后使用损失函数指导优化。图2中的点卷积层负责提取点云的局部信息，最大值池化层提取点云的全局信息，不同取样范围的点卷积层可以提高模型的抗干扰能力，增强鲁棒性。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1或2的基础上做进一步优化，图3为空间变换自注意力模块的结构示意图。空间变换自注意力模块主要由关系感知位置嵌入模块和多头空间变换自注意力模块构成，首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，即对点云特征进行位置编码，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征。
其中，关系感知位置嵌入模块由最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成，特征相加层加完就是位置嵌入模块完成的特征，然后输入到多头空间变换自注意力模块，核心思路是通过最远点采样模块取出代表性的点，独立点云的绝对坐标与整体点云表达的语义内容关系比较薄弱，所以将原始的点坐标转换成相对坐标进行编码，这样能更好的捕获点之间的相关性，辅助后续的注意力机制模块。而多头空间变换自注意力模块主要由L2正则化层、特征相乘层、柔性最大值层、仿射变换层构成，映射公式如下：
公式中F表示图3中的F1，即前面网络部分传输过来的特征信息，图3中的F2和F1相同，都是前面网络部分传输过来的特征信息，P表示需嵌入的位置信息，Q、K、V分别表示自注意力机制中的查询特征（query）、关键信息（key）、待挖掘信息（value），Q、K、V的值都等于
，
表示柔性最大值函数，ATL是仿射变换函数，T表示计算出的变换张量，
表示模块最后输出的特征信息。其中仿射变换层中特征映射公式如下：
公式中Linear表示全连接层，FLR表示全连接、层归一化层、修正线性单元层组成的模块层，CLR表示卷积层、层归一层、修正线性单元层组成的模块层，其中卷积层的卷积核为1X1，为了保证点云数据的无序性，max表示求取最大值的函数，f为特征信息，A表示
的单位矩阵，最后输出的变换张量T维度为
，B表示批处理大小。多头空间变换自注意力模块核心思路是通过柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换，用于解决点云的空间变换不变性。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上做进一步优化，在进行下游分割任务之前，利用聚合模块将不同维度的特征信息拼接成一个特征块，如图4所示，F3、F4、F5表示不同维度的特征信息。因为在前传训练过程中点云信息会不断丢失，为了确保丢失造成的损失最小，最优的方法就是将低层低维度的信息与高层高维度的信息融合，而且模块中设置了插值模块，可以将特征信息进行上采样，增强边缘等细节信息，提高分割精度。
网络搭建完成，将迭代次数、学习率等相关超参数预设完整，每一次前向传播训练都利用损失函数计算一次损失值，然后利用学习率下降法不断迭代衰减损失值，优化模型权重参数，直到迭代次数等于最大迭代次数，中止训练，最后在真实场景下测试模型性能。
综上所述，本发明提出的焊缝自动检测方法，通过利用注意力机制捕获点云邻近点之间的关系，增强模型对每个点的判别能力，提高模型对目标点云的几何表达能力，达到增强模型的点云分割精度。由实验可得，本发明提出的焊缝自动检测方法与已有的方法相比较，在工件焊接定位上表现效果更加良好，在复杂的环境下抗干扰性更好。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上做进一步优化，本实施例提出了一种基于空间变换自注意力模块的焊缝自动检测系统，包括采集单元、模型搭建单元、训练单元和检测单元，其中：
采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；
模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，一种基于空间变换自注意力模块的焊缝检测方法深度神经网络模型由依次连接的主干网络和下游分割网络构成，一种基于空间变换自注意力模块的焊缝检测方法主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，一种基于空间变换自注意力模块的焊缝检测方法下游分割网络包括多层感知机层模块和损失函数模块；
训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；
检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (10)
1.一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括以下步骤：
步骤S1,对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；
步骤S2,根据空间变换自注意模块捕获三维点云数据的空间结构，搭建基于空间变换自注意模块的深度神经网络模型，用模型训练集训练深度神经网络模型，并将迭代次数和学习率预设完整；
所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；
步骤S3，将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；
步骤S4，在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
2.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，所述步骤S2包括：
所述主干网络由依次连接的第一点卷积组合模块、第二点卷积组合模块、第一多层感知机层模块、第一空间变换自注意力模块、第二多层感知机层模块、第二空间变换自注意力模块、第三多层感知机层模块、第三空间变换自注意力模块和特征聚合模块构成，所述第一空间变换自注意力模块和第二空间变换自注意力模块分别连接特征聚合模块；
所述下游分割网络包括依次连接的第四多层感知机层模块、第五多层感知机层模块和损失函数模块。
3.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：
所述点卷积组合模块包括第一点卷积层、第二点卷积层、第一层归一化层、第二层归一化层、第一修正线性单元层、第二第一修正线性单元层、最大值池化层和特征拼接层；
所述点卷积组合模块用于解决三维点云的无序性，增加三维点云的局部特征。
4.根据权利要求3所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：
所述点卷积组合模块由串联的K=16的第一点卷积层、第一修正线性单元层、第一层归一化层，串联K=32的第二点卷积层和第二修正线性单元层、第二层归一化层，以及最大值池化层并行连接至特征拼接层构成，其中K为描述点卷积层的变量；
所述点卷积层提取点云的局部信息，所述最大值池化层提取点云的全局信息。
5.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：
所述空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成；首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，即对点云特征进行位置编码，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征；
所述空间变换自注意力模块用于解决三维点云的空间变换不变性，并深度挖掘三维点云中点与点之间的空间相关性。
6.根据权利要求5所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：
所述关系感知位置嵌入模块由依次连接的最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成。
7.根据权利要求5所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：
所述多头空间变换自注意力模块包括第一L2正则化层、第二L2正则化层、特征相乘层、柔性最大值层和仿射变换层，所述第一L2正则化层和第二L2正则化层并联连接至特征相乘层、柔性最大值层和仿射变换层；
所述柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换。
8.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，所述损失函数模块采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值。
9.一种基于空间变换自注意力模块的焊缝检测系统，其特征在于，包括采集单元、模型搭建单元、训练单元和检测单元，其中：
采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；
模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；
训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；
检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211238743.3A CN115311274B (zh) | 2022-10-11 | 2022-10-11 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211238743.3A CN115311274B (zh) | 2022-10-11 | 2022-10-11 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115311274A true CN115311274A (zh) | 2022-11-08 |
| CN115311274B CN115311274B (zh) | 2022-12-23 |
Family
ID=83867801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211238743.3A Active CN115311274B (zh) | 2022-10-11 | 2022-10-11 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311274B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN117745786A (zh) * | 2024-02-20 | 2024-03-22 | 中路高科交通检测检验认证有限公司 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245709A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于深度学习和自注意力的3d点云数据语义分割方法 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
| WO2022031232A1 (en) * | 2020-08-04 | 2022-02-10 | Nanyang Technological University | Method and device for point cloud based object recognition |
| CN114419570A (zh) * | 2022-03-28 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN114529757A (zh) * | 2022-01-21 | 2022-05-24 | 四川大学 | 一种跨模态单样本三维点云分割方法 |
| CN114743014A (zh) * | 2022-03-28 | 2022-07-12 | 西安电子科技大学 | 基于多头自注意力的激光点云特征提取方法及装置 |
| WO2022178952A1 (zh) * | 2021-02-25 | 2022-09-01 | 湖南大学 | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 |
-
2022
- 2022-10-11 CN CN202211238743.3A patent/CN115311274B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245709A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于深度学习和自注意力的3d点云数据语义分割方法 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
| WO2022031232A1 (en) * | 2020-08-04 | 2022-02-10 | Nanyang Technological University | Method and device for point cloud based object recognition |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| WO2022178952A1 (zh) * | 2021-02-25 | 2022-09-01 | 湖南大学 | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 |
| CN114529757A (zh) * | 2022-01-21 | 2022-05-24 | 四川大学 | 一种跨模态单样本三维点云分割方法 |
| CN114419570A (zh) * | 2022-03-28 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| CN114743014A (zh) * | 2022-03-28 | 2022-07-12 | 西安电子科技大学 | 基于多头自注意力的激光点云特征提取方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| MIAN WU 等: "Hepatic vessel segmentation based on 3D swin-transformer with inductive biased multi-head self-attention", 《ARXIV》 * |
| XUE-YAO GAO 等: "Multi-Head Self-Attention for 3D Point Cloud Classification", 《IEEE ACCESS》 * |
| 于丽丽 等: "基于双注意力机制和多尺度特征的点云场景分割", 《激光与光电子学进展》 * |
| 杨军 等: "基于自注意力特征融合组卷积神经网络的三维点云语义分割", 《光学精密工程》 * |
| 陈俊英 等: "互注意力融合图像和点云数据的3D目标检测", 《光学精密工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310349A (zh) * | 2023-05-25 | 2023-06-23 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN116310349B (zh) * | 2023-05-25 | 2023-08-15 | 西南交通大学 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
| CN117745786A (zh) * | 2024-02-20 | 2024-03-22 | 中路高科交通检测检验认证有限公司 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
| CN117745786B (zh) * | 2024-02-20 | 2024-05-14 | 中路高科交通检测检验认证有限公司 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115311274B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115311274B (zh) | 一种基于空间变换自注意力模块的焊缝检测方法及系统 | |
| CN113205466B (zh) | 一种基于隐空间拓扑结构约束的残缺点云补全方法 | |
| CN110223382B (zh) | 基于深度学习的单帧图像自由视点三维模型重建方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN110298330B (zh) | 一种输电线路巡检机器人单目检测与定位方法 | |
| CN116823819B (zh) | 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质 | |
| CN115439483B (zh) | 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质 | |
| CN115965960A (zh) | 一种基于深度学习与3d点云的焊缝识别方法 | |
| Zou et al. | A robust detector for automated welding seam tracking system | |
| WO2023202401A1 (zh) | 点云数据中目标的检测方法、装置和计算机可读存储介质 | |
| CN113989547A (zh) | 基于图卷积深度神经网络的三维点云数据分类结构及方法 | |
| CN115375925A (zh) | 一种基于相位信息和深度学习的水下声呐图像匹配算法 | |
| CN117853486A (zh) | 一种数据缺失条件下隧道工作面岩体质量自动化评价方法 | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 | |
| CN116309387A (zh) | 一种基于深度学习的核安全壳裂缝检测方法及系统 | |
| CN114170202B (zh) | 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 | |
| CN115661429A (zh) | 一种锅炉水冷壁管缺陷识别系统、方法和存储介质 | |
| Farooq et al. | A review of monocular depth estimation methods based on deep learning | |
| CN111222512B (zh) | 适用于储罐金属立面表面场景的深度学习语义分割方法 | |
| CN112270357A (zh) | Vio视觉系统及方法 | |
| Liu et al. | Distance Measurement in Industrial Scenarios | |
| Zhang et al. | Introducing Depth into Transformer-based 3D Object Detection | |
| Li et al. | Research on Robotic Arm Based on YOLO | |
| CN118470007A (zh) | 一种基于RCSCA-YOLOv8的绝缘服缺陷检测方法及系统 | |
| CN117710435A (zh) | 轨道扣件弹条压力检测方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |