CN114155372A - 一种基于深度学习的结构光焊缝曲线识别与拟合方法 - Google Patents
一种基于深度学习的结构光焊缝曲线识别与拟合方法 Download PDFInfo
- Publication number
- CN114155372A CN114155372A CN202111471476.XA CN202111471476A CN114155372A CN 114155372 A CN114155372 A CN 114155372A CN 202111471476 A CN202111471476 A CN 202111471476A CN 114155372 A CN114155372 A CN 114155372A
- Authority
- CN
- China
- Prior art keywords
- weld
- image
- improved
- structured light
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000003466 welding Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004519 manufacturing process Methods 0.000 claims abstract 2
- 230000006870 function Effects 0.000 claims description 33
- 230000004913 activation Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的结构光焊缝曲线识别与拟合方法，属于焊缝跟踪技术领域，包括采集焊缝图像并制作样本数据集，构建了改进U‑Net网络模型，模型包括卷积神经网络和反卷积神经网络，通过卷积神经网络提取待识别焊缝的图像特征，增强网络对图像边缘信息的提取，使网络更具通用性，利用改进后的U‑Net网络模型进行焊缝图像分割，在对分割后的图片进行中心线和焊缝特征点提取，最后基于焊缝特征点拟合出待焊接的曲线。优点是，简化了提取焊缝图像的结构光条中心线的操作步骤，提高了中心线的提取精度，节省了图像预处理过程所用的时间，能够提高焊缝识别的精度和效率，节省了图像预处理过程所用的时间，提高检测的实时性。
Description
技术领域
本发明属于焊缝跟踪技术领域，尤其涉及一种基于深度学习的结构光焊缝曲线识别与拟合方法。
背景技术
基于机器视觉的自主焊接技术的关键是焊缝识别跟踪技术，涉及到图像识别处理、三维建模、机器人运动控制等多项技术。将视觉技术应用于现代焊接技术上，可以利用视觉技术获得的数据，例如焊缝路径、工件尺寸等。再根据这些数据做出反馈，使其能自主的对外界变化做出一定的响应，具有一定的感知、应变能力。现代焊接技术要求其依托深度学习和人工智能技术实现对工作环境的感知和判断，自主编程规划焊接轨迹并依靠调整焊接参数，从而提升焊接质量、效率和焊接稳定性。
随着计算机硬件性能的显著提升和数据样本的大量增加，以卷积神经网络(convolutional neural networks，CNN)为基础的深度网络开始成为目标检测技术的主流。目前，基于深度学习的目标检测技术能同时做到实时性的目标分类和目标定位，在准确度和抗干扰程度上都取得较好的效果。
发明内容
本发明提供一种基于深度学习的结构光焊缝曲线识别与拟合方法，以实现焊接前的焊缝类型识别和焊缝图像分割。
本发明采取的技术方案是，包括下列步骤：
步骤一：采集焊缝图像并制作数据集；
步骤二：构建改进U-Net网络模型；
步骤三：利用改进后的U-Net网络模型进行焊缝图像分割；
步骤四：基于结构光的中心线提取和焊缝特征点计算；
步骤五：基于焊缝特征点拟合焊缝曲线
所述步骤一有以下子步骤：
步骤1.1：结构光焊缝图像采集，对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像；
步骤1.2：对步骤1.1中获取的焊缝图像进行信息标注，制作焊缝图像数据集。使用的原始图像数据集为高分辨率工业数码相机采集的焊缝800个原始图像训练数据、200个验证数据和100个测试数据。
所述步骤二中具体有以下子步骤：
步骤2.1：首先改进特征提取网络模块；改进U-Net网络结构的编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成，解码器仍使用U-Net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成，编、解码层间的跳跃连接，将编码块卷积层提取的特征图和解码块中升尺度池化层输出的特征图拼接，融合底层的位置信息和高层的语义信息；
步骤2.2：在步骤2.1提出的改进的特征提取模块中改进激活函数；将步骤2.1中的卷积池化层中激活函数采用ELU激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，ELU公式如下：
其中，a为常数，xi为某节点，fi为输出结果；
步骤2.3：选定步骤2.1中改进网络中的优化器、损失函数与评价指标，本网络使用Adam优化器，选择Dice损失函数作为网络的损失函数，其表达式如下：
其中：|X∩Y|表示集合X和Y的交集，X和Y表示其元素个数，对于分割任务而言，|X|和|Y|分别表示分割的真实图像和预测分割图像；
改进网络采用正确率(P)、召回率(R)和综合评价指标(F1)来对网络性能进行评估，正确率(P)，召回率(R)和综合评价指标(F1)的表达式如下：
其中：TP表示实际标签为正样本、预测为正样本的数目；FN表示实际样本为负样本、预测为正样本的数目；FP表示实际标签为负样本、预测结果为正样本的数目，F1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数，
Adam优化器更新公式如下：
其中
是mt的纠正，
是vt的纠正；
β1β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得，vt是平方梯度，通过梯度的二阶矩求得，mt和vt的更新如下公式：
mt＝β1*mt-1+(1-β1)*gt
vt＝β2*vt-1+(1-β2)*g2 t
gt为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8；
所述步骤三中具体有以下子步骤：
步骤3.1：对步骤二中改进U-Net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的U-Net预训练网络，对网络模型进行训练，
步骤3.2：对步骤1.1中采集到的结构光焊缝图像进行图像去噪处理，并利用改进后的U-Net网络模型进行焊缝图像分割；
所述步骤四中具体有以下子步骤：
步骤4.1：使用灰度重心法提取步骤3.2中得到的分割后的激光条纹焊缝图片，利用激光条纹法线方向的灰度变化特点，结合条纹坐标值，以灰度值加权计算出的重心点作为条纹中心位置，然后把所有中心位置连接成一条平滑的中心线；
步骤4.2：对步骤4.1中提取的光条中心线选择线段的交叉点来计算焊缝特征点的位置，对接焊缝(Butt Weld)的焊缝特征点即为图中左右两条线段的端点，对接V型焊缝(Butt Weld)的焊缝特征点即为图中三点拟合的两条线段的交点，T型焊缝(Fillet Weld)的焊接特征点为两条拟合光条中心线段的交点。
所述步骤五：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次NURBS曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性。
本发明的优点和有益效果是：使用的改进U-Net网络可以实现精准的语义分割，该架构可以获得很高的分割精度，同时保持良好的效率，可以在保证准确性的同时维持着识别的高效性。这种方法通过建立深度学习模型进行特征提取，建立了焊缝图像端到端像素级分类，实现焊缝条纹和干扰背景分割，这种端到端的训练方式不需要进行特征提取的存储，极大的减少了内存的占用，尽可能地缩短检测时间，提升检测速率，不仅可以实现像素级分类,还可以实现对前景目标的精确定位,在提高模型检测准确性的同时，提升模型检测速率，增强有效性与实时性。它简化了提取焊缝图像的结构光条中心线的操作步骤。提高了中心线的提取精度，节省了图像预处理过程所用的时间，提高检测的实时性。这种方法省略了人工复杂操作，为焊接图像处理方法提供了一个新的思路。深度学习方式可以从图像中精确快速地分割出焊缝目标并提取出其位置，从而为后续的焊缝中心线以及特征点提取工作提供参考。
附图说明
图1是本发明的流程图；
图2是工业相机采集的结构光焊缝图像；
图3是标注信息后的图像；
图4是改进U-Net网络结构图；
图5是ELU函数图；
图6是对接焊缝(Butt Weld)的特征点；
图7是T型焊缝(T-Fillet Weld)的特征点。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
具体步骤如图1所示，其中包括：
步骤一：采集焊缝图像并制作数据集；
步骤二：构建改进U-Net网络模型；模型包括编码器和解码器，在编码器部分加深网络层次，可以整合不同深度层次的特征信息，图像经过多通道卷积，加强非线性表达，使得网络学习特征的能力更强，同时还可以避免大卷积核带来的参数爆炸的影响，能够提取更深层的特征信息。将图像输入后，按顺序经过一系列的卷积核和池化核，提取图像中的主要特征信息并对其进行压缩，以简化网络的计算复杂度。
步骤三：利用改进后的U-Net网络模型进行焊缝图像分割；
步骤四：基于结构光的中心线提取和焊缝特征点计算；
步骤五：基于焊缝特征点拟合焊缝曲线
本发明的核心包括两部分：一部分是对待识别的焊缝部分进行图像分割，另一部分是对分割后的图像进行焊缝特征点提取。
步骤1.1，由于焊缝结构光图像是在移动机器人上实时采集的，因此是一个动态采集过程。通常动态采集图片是从视频流中提取相应的像素帧，所以要求机器人运动和摄像头拍摄帧率要保持在合理的范围内，才能清晰成像。对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像如图2所示；
本发明可以对图片像素进行标注，将步骤1.1中采集到的图像的大小调整到[320×320]大小，这样降低了网络模型训练的硬件资源成本和时间成本。图像标注工具对焊接线结构的光图像进行标注如图3所示，其中背景表示背景，对应的视觉RGB值为(0,0,0)。1001表示焊接，对应的视觉RGB值为(128,0,0)；
步骤1.2：就是构建改进U-Net网络模型，首先改进特征提取网络模块；改进U-Net整体网络结构图如图4所示，编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成。解码器仍使用U-Net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成。编-解码层中间通过跳跃连接的方式，将编码阶段获得的特征层同解码阶段获得的特征层结合在一起，结合深层次和浅层次的特征，细化图像，融合底层的位置信息和高层的语义信息根据得到的特征融合层进行预测分割；
步骤2.1：在提出的改进的特征提取模块中改进激活函数；将卷积池化层中激活函数改用为ELU激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，ELU激活函数图像如图5所示，ELU激活函数融合了sigmoid和ReLU两种激活函数，它有助于加快网络收敛速度，减轻梯度弥散问题，ELU激活函数具有软饱和性，更具有鲁棒性，偏移更少且收敛更快，还具有一定的抗干扰能力，它的加入可以加快网络收敛和训练的速度，防止出现过度拟合的现象，ELU公式如下：
其中，a为常数，xi为某节点，fi为输出结果。
步骤2.3：选定本发明中改进网络中的优化器、损失函数与评价指标，本网络使用Adam优化器，选择Dice损失函数作为网络的损失函数，采用正确率P、召回率R和综合评价指标F1来对网络性能进行评估；
Adam优化器更新公式如下：
其中
是mt的纠正，
是vt的纠正；
β1β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得，vt是平方梯度，通过梯度的二阶矩求得，mt和vt的更新如下公式：
mt＝β1*mt-1+(1-β1)*gt
vt＝β2*vt-1+(1-β2)*g2 t
gt为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8，
改进后的U-Net网络使用Dice损失函数作为网络的损失函数，表达式如下：
其中：|X∩Y|表示集合X和Y的交集，X和Y表示其元素个数，对于分割任务而言，|X|和|Y|分别表示分割的真实图像和预测分割图像；
改进后的U-Net网络采用正确率P、召回率R和综合评价指标F1来对网络性能进行评估，正确率P、召回率R和综合评价指标F1的表达式如下：
其中：TP表示实际标签为正样本、预测为正样本的数目；FN表示实际样本为负样本、预测为正样本的数目；FP表示实际标签为负样本、预测结果为正样本的数目。F1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数，F1越高，表示卷积网络分类模型性能越好，对应的数据增强方法越好；
步骤3.1：对步骤二中改进U-Net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的U-Net预训练网络，对网络模型进行训练，
步骤3.2：对步骤1.1中采集到的结构光焊缝图像随机选出测试图像，进行图像去噪处理，并利用改进后的U-Net网络模型进行焊缝图像分割，最后输出焊缝分割图片；
步骤4.1：采用灰度重心法提取光条中心线，灰度中心法公式如下：
其中，
是第i列焊缝中心的横坐标和纵坐标；jm是第i列焊缝的起点，jm+wv是第i列焊缝的终点，g(i,j)是图像坐标中点(i,j)的灰度值，yi是第i列的纵坐标；
步骤4.2：以对接焊缝(Butt Weld)和T型焊缝(Fillet Weld)为例，对接焊缝(ButtWeld)的焊缝特征点即为图6中左右两条线段的端点，对接V型焊缝(Butt Weld)的焊缝特征点即为图6中三点拟合的两条线段的交点。T型焊缝(T-Fillet Weld)的焊接特征点即为图7中左右两条拟合光条中心线段的交点。本文利用灰度中心法获取的光条中心线的坐标，然后，可以根据拟合得到的几条直线来计算出特征点。
步骤五，基于焊缝特征点拟合焊缝曲线：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次NURBS曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性，最终得到三次NURBS焊缝拟合曲线。
综上，本发明提供的焊缝识别方法，针对噪声干扰下目标分割精度不够的问题，通过构建有效的深度学习模型，改善神经网络结构，利用其模型中的语义分割，对下采样与上采样阶段的特征图进行融合，将高层语义信息与低层细节信息融合起来，提高特征的表达能力，将融合后的不同层次的特征图用于最终的目标检测，进而获得更加丰富的图像信息。这种方式可以减小算法计算量，提高计算效率的同时提高中心线精度，能够有效消除焊缝图像中多种噪声及焊缝条纹自身宽度的干扰，可快速准确地提取出焊缝特征点的位置，拟合出误差在合理范围内的焊缝曲线。
Claims (7)
1.一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：包括下列步骤：
步骤一：采集焊缝图像并制作数据集；
步骤二：构建改进U-Net网络模型；
步骤三：利用改进后的U-Net网络模型进行焊缝图像分割；
步骤四：基于结构光的中心线提取和焊缝特征点计算；
步骤五：基于焊缝特征点拟合焊缝曲线。
2.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤一包括：
步骤1.1：结构光焊缝图像采集，对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像；
步骤1.2：对步骤1.1中获取的焊缝图像进行信息标注，制作焊缝图像数据集，使用的原始图像数据集为高分辨率工业数码相机采集的焊缝800个原始图像训练数据、200个验证数据和100个测试数据。
3.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤二包括以下子步骤：
步骤2.1：首先改进特征提取网络模块；改进U-Net网络结构的编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成，解码器仍使用U-Net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成，编、解码层间的跳跃连接，将编码块卷积层提取的特征图和解码块中升尺度池化层输出的特征图拼接，融合底层的位置信息和高层的语义信息；
步骤2.2：在步骤2.1提出的改进的特征提取模块中改进激活函数；将步骤2.1中的卷积池化层中激活函数采用ELU激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，ELU公式如下：
其中，a为常数，xi为某节点，fi为输出结果；
步骤2.3：选定步骤2.1中改进网络中的优化器、损失函数与评价指标，本网络使用Adam优化器，选择Dice损失函数作为网络的损失函数，其表达式如下：
其中：|X∩Y|表示集合X和Y的交集，X和Y表示其元素个数，对于分割任务而言，|X|和|Y|分别表示分割的真实图像和预测分割图像；
改进网络采用正确率P、召回率R和综合评价指标F1来对网络性能进行评估，正确率P，召回率R和综合评价指标F1的表达式如下：
其中：TP表示实际标签为正样本、预测为正样本的数目；FN表示实际样本为负样本、预测为正样本的数目；FP表示实际标签为负样本、预测结果为正样本的数目，F1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数。
4.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：Adam优化器更新公式如下：
其中
是mt的纠正，
是vt的纠正；
β1 β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得，vt是平方梯度，通过梯度的二阶矩求得，mt和vt的更新如下公式：
mt＝β1*mt-1+(1-β1)*gt
vt＝β2*vt-1+(1-β2)*g2 t
gt为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8。
5.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤三包括以下子步骤：
步骤3.1：对步骤二中改进U-Net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的U-Net预训练网络，对网络模型进行训练，
步骤3.2：对步骤1.1中采集到的结构光焊缝图像进行图像去噪处理，并利用改进后的U-Net网络模型进行焊缝图像分割。
6.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤四包括以下子步骤：
步骤4.1：使用灰度重心法提取步骤3.2中得到的分割后的激光条纹焊缝图片，利用激光条纹法线方向的灰度变化特点，结合条纹坐标值，以灰度值加权计算出的重心点作为条纹中心位置，然后把所有中心位置连接成一条平滑的中心线；
步骤4.2：对步骤4.1中提取的光条中心线选择线段的交叉点来计算焊缝特征点的位置，对接焊缝的焊缝特征点即为图中左右两条线段的端点，对接V型焊缝的焊缝特征点即为图中三点拟合的两条线段的交点，T型焊缝的焊接特征点为两条拟合光条中心线段的交点。
7.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤五：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次NURBS曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111471476.XA CN114155372A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111471476.XA CN114155372A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155372A true CN114155372A (zh) | 2022-03-08 |
Family
ID=80452650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111471476.XA Pending CN114155372A (zh) | 2021-12-03 | 2021-12-03 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155372A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936517A (zh) * | 2022-04-28 | 2022-08-23 | 上海波士内智能科技有限公司 | 一种基于深度学习的金属焊接信号特征曲线特征建模方法 |
| CN114932292A (zh) * | 2022-05-27 | 2022-08-23 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN115121913A (zh) * | 2022-08-30 | 2022-09-30 | 北京博清科技有限公司 | 激光中心线的提取方法 |
| CN115229374A (zh) * | 2022-07-07 | 2022-10-25 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
| CN117817223A (zh) * | 2024-03-05 | 2024-04-05 | 宝鸡康盛精工精密制造有限公司 | 一种机器人焊接用焊缝识别方法 |
| CN118067624A (zh) * | 2024-04-19 | 2024-05-24 | 宁德时代新能源科技股份有限公司 | 电池焊前检测方法、装置和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657587A (zh) * | 2015-01-08 | 2015-05-27 | 华中科技大学 | 一种激光条纹中心线的提取方法 |
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| CN108921818A (zh) * | 2018-05-30 | 2018-11-30 | 华南理工大学 | 一种焊缝跟踪激光中心线提取方法 |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| CN110264457A (zh) * | 2019-06-20 | 2019-09-20 | 浙江大学 | 基于旋转区域候选网络的焊缝自主识别方法 |
| CN111644935A (zh) * | 2020-05-15 | 2020-09-11 | 江苏兰菱机电科技有限公司 | 一种机器人三维扫描测量装置及工作方法 |
| CN111797836A (zh) * | 2020-06-18 | 2020-10-20 | 中国空间技术研究院 | 一种基于深度学习的地外天体巡视器障碍物分割方法 |
| CN111982021A (zh) * | 2020-07-29 | 2020-11-24 | 江苏大学 | 一种船舶曲板成形便携式三维视觉检测系统及方法 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
-
2021
- 2021-12-03 CN CN202111471476.XA patent/CN114155372A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657587A (zh) * | 2015-01-08 | 2015-05-27 | 华中科技大学 | 一种激光条纹中心线的提取方法 |
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| CN108921818A (zh) * | 2018-05-30 | 2018-11-30 | 华南理工大学 | 一种焊缝跟踪激光中心线提取方法 |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| CN110264457A (zh) * | 2019-06-20 | 2019-09-20 | 浙江大学 | 基于旋转区域候选网络的焊缝自主识别方法 |
| CN111644935A (zh) * | 2020-05-15 | 2020-09-11 | 江苏兰菱机电科技有限公司 | 一种机器人三维扫描测量装置及工作方法 |
| CN111797836A (zh) * | 2020-06-18 | 2020-10-20 | 中国空间技术研究院 | 一种基于深度学习的地外天体巡视器障碍物分割方法 |
| CN111982021A (zh) * | 2020-07-29 | 2020-11-24 | 江苏大学 | 一种船舶曲板成形便携式三维视觉检测系统及方法 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI BO YU ET AL.: "The Centerline Extraction Algorithm of Weld Line Structured Light Stripe Based on Pyramid Scene Parsing Network", DIGITAL OBJECT IDENTIFIER, vol. 9, 2 August 2021 (2021-08-02), pages 105144 - 105152, XP011867771, DOI: 10.1109/ACCESS.2021.3098833 * |
| 唐 璎 等: "基于特征增强和 ELU的神经网络建筑物提取研究", 地球信息科学, vol. 23, no. 4, 30 April 2021 (2021-04-30), pages 692 - 709 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114936517A (zh) * | 2022-04-28 | 2022-08-23 | 上海波士内智能科技有限公司 | 一种基于深度学习的金属焊接信号特征曲线特征建模方法 |
| CN114936517B (zh) * | 2022-04-28 | 2023-04-07 | 上海波士内智能科技有限公司 | 一种基于深度学习的金属焊接信号特征曲线特征建模方法 |
| CN114932292A (zh) * | 2022-05-27 | 2022-08-23 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN114932292B (zh) * | 2022-05-27 | 2023-09-26 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN115229374A (zh) * | 2022-07-07 | 2022-10-25 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
| CN115229374B (zh) * | 2022-07-07 | 2024-04-26 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
| CN115121913A (zh) * | 2022-08-30 | 2022-09-30 | 北京博清科技有限公司 | 激光中心线的提取方法 |
| CN115121913B (zh) * | 2022-08-30 | 2023-01-10 | 北京博清科技有限公司 | 激光中心线的提取方法 |
| CN117817223A (zh) * | 2024-03-05 | 2024-04-05 | 宝鸡康盛精工精密制造有限公司 | 一种机器人焊接用焊缝识别方法 |
| CN117817223B (zh) * | 2024-03-05 | 2024-07-05 | 宝鸡康盛精工精密制造有限公司 | 一种机器人焊接用焊缝识别方法 |
| CN118067624A (zh) * | 2024-04-19 | 2024-05-24 | 宁德时代新能源科技股份有限公司 | 电池焊前检测方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114155372A (zh) | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN108320297B (zh) | 一种视频目标实时跟踪方法及系统 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN111008633B (zh) | 一种基于注意力机制的车牌字符分割方法 | |
| CN108830170B (zh) | 一种基于分层特征表示的端到端目标跟踪方法 | |
| CN111696110A (zh) | 场景分割方法及系统 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN111882620A (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN109871790B (zh) | 一种基于混合神经网络模型的视频去色方法 | |
| CN113902991A (zh) | 一种基于级联特征融合的孪生网络目标跟踪方法 | |
| CN111882581B (zh) | 一种深度特征关联的多目标跟踪方法 | |
| CN114913493A (zh) | 一种基于深度学习的车道线检测方法 | |
| CN114463329A (zh) | 一种图像与时序数据融合的焊接缺陷检测方法及系统 | |
| CN114926498B (zh) | 一种基于时空约束与可学习特征匹配的快速目标跟踪方法 | |
| CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN112396042A (zh) | 实时更新的目标检测方法及系统、计算机可读存储介质 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN112967271B (zh) | 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法 | |
| CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN112861987A (zh) | 暗光环境下的目标检测方法 | |
| CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |