CN115229374A - 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 - Google Patents

一种基于深度学习的汽车白车身焊缝质量检测方法、装置 Download PDF

Info

Publication number
CN115229374A
CN115229374A CN202210807614.5A CN202210807614A CN115229374A CN 115229374 A CN115229374 A CN 115229374A CN 202210807614 A CN202210807614 A CN 202210807614A CN 115229374 A CN115229374 A CN 115229374A
Authority
CN
China
Prior art keywords
white
point cloud
dimensional point
welding
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210807614.5A
Other languages
English (en)
Other versions
CN115229374B (zh
Inventor
郑银环
宋宣科
卢杰
徐劲力
丁刚强
袁智军
易福华
詹强民
黄辑
常俊桃
莫军昌
黄善彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Guangxi Automobile Group Co Ltd
Original Assignee
Wuhan University of Technology WUT
Guangxi Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT, Guangxi Automobile Group Co Ltd filed Critical Wuhan University of Technology WUT
Priority to CN202210807614.5A priority Critical patent/CN115229374B/zh
Publication of CN115229374A publication Critical patent/CN115229374A/zh
Application granted granted Critical
Publication of CN115229374B publication Critical patent/CN115229374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的汽车白车身焊缝质量检测方法及装置，其方法包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。本发明通过对汽车白车身焊缝的三维点云构建并训练基于深度学习的焊缝分类识别模型，并利用其检测汽车白车身焊缝质量，从而提高了检测的效率、准确率和鲁棒性。

Description

一种基于深度学习的汽车白车身焊缝质量检测方法、装置
技术领域
本发明属于汽车检测与深度学习技术领域，具体涉及一种基于深度学习的汽车白车身焊缝质量检测方法、装置。
背景技术
白车身通常指已经装焊好但尚未喷漆的白皮车身(Body in white)，包括翼子板、发动机盖、车门、行李箱盖或背门等装配件。目前传统整车厂商的车身焊接车间内，其进行焊缝质量检测的方法基本是人工目测法，该方法具有直观灵活的优点，但其效率较低，检测结果受人为因素与周围环境因素影响较大。在部分智能工厂内，已装配有基于机器视觉技术的工业机器人，主要进行产品加工前定位、车型识别和装配定位等工作。基于机器视觉的焊缝质量检测技术具有重要意义，已有诸多国内外学者对此进行了研究。
现有的基于工业传感技术焊缝质量检测技术：
1.基于超声波的焊缝质量检测
超声波检测方式是根据超声波在不同的材质或不同的晶体结构回波的波形会发生不同的变化，使用回波接收仪器可以接收到波形所发生的变化。若被测焊件表面或内部存在缺陷，缺陷部位对超声波的反射能力以及穿透时间与无缺陷位置相比有显著不同，通过分析处理反射波信号即可探测出焊件内表面缺陷。缺点是工业生产条件下环境较为复杂，噪声和温度会对测量产生一定的影响，导致测量的准确率不足，且需要得焊接过程中有效进行能量调节来保障恒功率，稳定性不高。
2.基于红外照相的焊缝质量检测
红外照相检测是通过大功率光源对待测焊缝进行加热，焊缝受热产生热量，其中均匀部位受热均匀，非均匀部位产生热量大，通过红外照相对产生热量的焊缝形成热成像图像，通过对图像中的温度梯度进行处理，可以检测焊缝内部的凹槽、穿孔等熔透情况。缺点是此方法需要高质量的可变锁相频率的热激励装置，且检测设备较为复杂，需要高性能红外摄像机捕捉轻微的温度变化，并用计算机进行相位处理。此方法的检测过程较为繁琐，检测速度受到了限制。且受到检测条件、成本、场地的限制较多，因而不适合应用在车身焊接的在线检测。
3.基于机器视觉的焊缝质量检测
现在通过机器视觉进行焊缝测量的方法主要采用高分辨率摄影相机对焊缝进行图像采集并平滑处理减少噪点、失真，随后利用滤波算法去除图像中的高斯噪声和椒盐噪声，去除噪声后采用边缘检测算法针对焊缝瑕疵特征对边缘进行提取，再经过霍夫变换查找图像中的直线，根据处理后的图像进行分析检测。现有的焊缝视觉检测多采用面阵相机进行图像采集，再通过图像处理配合深度学习网络算法进行处理后进行焊缝瑕疵检测。
4.基于X射线的焊缝质量检测
X射线实时成像的原理是实时的将射线通过被测物体，并投影在探测器的阵列上，通过计算机技术进行数据采集，使被测物体的结构进行重现的一项技术。使用X射线进行焊缝质量检测是将X射线投射到焊缝上，若在某个位置处焊缝存在缺陷(气孔或者未融合等)时，此处透过的X射线强度高于无缺陷位置的射线强度，根据射线强度差别导致投射到数字底片上的图像特征有所不同，因此可以通过图像处理对焊缝内部缺陷进行提取和识别。缺点是采用X射线数字成像缺陷检测系统只能对焊缝内部缺陷进行识别，而对于焊缝的外观缺陷如咬边、凹陷及焊缝不均匀等则无法识别。
现有技术存在以下缺点：
(1)传统的焊接质量检测技术对车身进行破坏，整车需报废，耗费较大人力，效率低；焊点熔核的气孔等无法鉴别。
(2)采用基于图像检测的卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但是只能在部分缺陷上识别率较高，整体的识别准确率不高，且需要较多的样本量才能达到一定的准确率。
(3)采用了深度学习网络方法，构建了相应的深度学习网络，但是其网络结构没有采用特定的残差网络结构，对于卷积层数较深的情况下，其卷积效果将会很不理想，降低其识别的准确率。
发明内容
为解决背景技术中提出的现有车身焊接质量检测技术效率低、准确率不高的问题，在本发明的第一方面提供了一种基于深度学习的汽车白车身焊缝质量检测方法，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
在本发明的一些实施例中，所述利用随机抽样一致性方法去除每个三维点云中的次要平面包括：随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；对所述焊接平面进行直通滤波，去除其中的噪声。
进一步的，所述变换矩阵H通过如下方法确定：
Figure BDA0003735997150000031
其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置，s为尺度参数，h11－h44表示变换矩阵H的元素。
在本发明的一些实施例中，所述焊缝分类识别模型包括多个T－net网络、多个卷积神经网络和多个多层感知机网络，每个T－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。
进一步的，所述焊缝分类识别模型还包括一个或多个最大池化层，所述最大池化层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化。
在上述的实施例中，所述获取多个汽车白车身焊缝的三维点云包括：采集多个焊缝的三维点云；对采集到的多个焊缝三维点云按照预设距离进行截取分割。
本发明的第二方面，提供了一种基于深度学习的汽车白车身焊缝质量检测装置，包括：获取模块，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；训练模块，用于基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；识别模块，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
进一步的，所述获取模块包括：抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；确定单元，用于根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于深度学习的汽车白车身焊缝质量检测方法。
本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于深度学习的汽车白车身焊缝质量检测方法。
本发明的有益效果是：本发明提供的基于深度学习的汽车白车身焊缝质量检测方法，包括：获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。通过汽车白车身焊缝的三维点云的样本的预处理，为焊缝分类识别模型提供了高质量的训练样本；基于T－net网络和多层感知机网络，在训练的过程中不断地对三维点云的原始特征或高维空间的局部特征进行姿态矫正，进一步地提高了模型的准确性和鲁棒性。
附图说明
图1为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测方法的基本流程示意图；
图2为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测方法的具体流程示意图；
图3为本发明的一些实施例中的焊缝分类识别模型的结构原理示意图；
图4为本发明的一些实施例中的焊缝的三维点云图；
图5为本发明的一些实施例中的基于深度学习的汽车白车身焊缝质量检测装置的结构示意图；
图6为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图2，在本发明的第一方面，提供了一种基于深度学习的汽车白车身焊缝质量检测方法，包括：S100.获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；S200.基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；S300.利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
在本发明的一些实施例的S100中，所述利用随机抽样一致性(RANSAC，RandomSample Consensus)方法去除每个三维点云中的次要平面包括：S101.随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；S102.根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；S103.对所述焊接平面进行直通滤波，去除其中的噪声。具体地，采用直通滤波操作将焊接平面去除，实现对焊缝区域内非必要点云数据的去除，提高目标检测精度。
进一步的，在步骤S102中，所述变换矩阵H通过如下方法确定：
Figure BDA0003735997150000061
式(1)中(x，y，z)表示目标点云角点位置(坐标)，(x1，y1，z1)为点云角点位置(坐标)，s为尺度参数，h11－h44表示变换矩阵H的元素。可以理解，由于单应性矩阵有15个未知参数，至少需要15个线性方程求解，对应到点位置信息上，一组点对可以列出三个方程，所以通过5个点云样本数据可以求出变换矩阵；
然后，计算数据集中所有数据与模型M的投影误差，模型M为：
Figure BDA0003735997150000062
Figure BDA0003735997150000063
式(2)中，其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置。N为点云数量，设置为5。
利用这个模型测试所有数据，并计算满足这个模型数据点的个数与投影误差，若误差小于阈值，加入内点集I；如果当前内点集I元素个数大于最优内点集I＿best，则更新I＿best＝I，同时更新迭代次数k；如果迭代次数大于k，则退出；否则迭代次数加1，并重复上述步骤，从而确定出焊缝两边的焊接平面；
Figure BDA0003735997150000071
式(3)中，p为置信度，设置为0.995，w为内点的比例；m为计算模型所需要的最少样本数，m≥5；
参考图3，在本发明的一些实施例的S200中，所述焊缝分类识别模型包括多个T－net网络、多个卷积神经网络和多个多层感知机网络，每个T－net网络，用于对三维点云或高维特征空间进行姿态矫正；每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。
图3示出了焊缝分类识别模型一个具体的实施例，其中卷积神经网络包括多个尺寸：N×3表示初始N个3维点云，(N×64)、(N×1024)表示经过特征提取后的高维度点云信息(向量)；相应地，T－net包括了多个尺寸{(3，3)，(64，64)}；多个不同数量神经元的MLP(多层感知机，Multilayer Perceptron)；此处不再赘述。
具体地，焊缝分类识别模型训练或识别过程包括：
S201：使用T－Net网络点云空间对齐对输入的点云数据进行坐标对齐。T－Net网络的正则化项如下式所示：
Figure BDA0003735997150000072
式(4)中，A表示T－Net生成的旋转矩阵，I表示单位矩阵，‖·‖表示Frobenius范数。采用T－Net会分别在三维空间和更高的特征空间对其进行姿态矫正，为后续网络提供一个姿态统一的数据，从而解决点云数据不变性旋转不变性问题；
S202：在进行S201的操作的基础上进行局部特征的提取。通过随机将步骤S201中的若干个点视为采样点，选取距离最近的k个点来构建K最近邻域图。利用欧氏距离算法来计算未选择采样点集中每个点与已选择采样点集之间的距离L，
Figure BDA0003735997150000081
式(5)中，X1n代表随机采样点的三维坐标，X2n代表被选择点的三维坐标，由于点云是三维数据，故n＝3；
将距离最大的那个点加入已选择采样点集，然后更新L，一直循环迭代下去，直至获得了目标数量的采样。然后将连接相邻点对的边缘上应用边卷积得到每两两(两个)点对之间的特征信息，然后通过多层感知机网络MLP操作提取局部特征矩阵信息：
f({P1,…,PN})＝g(h(P1),…,h(PN)) (6)；
式(6)中，h表示多层感知机网络，g表示激活函数，f表示捕获的点云集合的特征信息；
S203：利用在S202的聚簇进行操作后，使用深度点云卷积神经网络作为基干特征提取器，对聚簇后的点云群进行局部的特征提取；
S204：对步骤S203的全局特征进行拼接，然后再次通过多层感知机网络MLP操作完成对焊缝缺陷的分类任务。
进一步的，所述焊缝分类识别模型还包括一个或多个最大池化层，所述最大池化层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化，然后再次通过多层感知机网络MLP进行操作完成对焊缝缺陷的分类任务。
可以理解，上述步骤S203－S204可通过一个或多个多层感知机网络MLP操作完成对焊缝缺陷的分类任务。将上述训练过程中的样本三维点云替换为待识别的三维点云(目标三维点云)，并将其输入到训练完成的焊缝分类识别模型，即可完成待识别的三维点的焊缝识别。
参考图4，在上述的实施例中，所述获取多个汽车白车身焊缝的三维点云包括：采集多个焊缝的三维点云；对采集到的多个焊缝三维点云按照预设距离进行截取分割。
具体地，使用激光扫描仪扫描焊缝区域，获取点云信息；对获取到的点云数据实施基本的数据增强，采用将焊缝的点云数据按一定距离进行截取分割，来提高焊缝样本的检测效率和收集效率。
可选的，根据上述提出的，基于深度点云卷积神经网络模型，对于获取到的焊缝点云数据，进行质量检测，得到焊缝是否满足质量要求的结果。
实施例2
参考图5，本发明的第二方面，提供了一种基于深度学习的汽车白车身焊缝质量检测装置1，包括：获取模块11，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；训练模块12，用于基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；识别模块13，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
进一步的，所述获取模块11包括：抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；确定单元，用于根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。
实施例3
参考图6，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的基于深度学习的汽车白车身焊缝质量检测方法。
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD－ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，包括：
获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；
基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；
利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
2.根据权利要求1所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述利用随机抽样一致性方法去除每个三维点云中的次要平面包括：
随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；
根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；
对所述焊接平面进行直通滤波，去除其中的噪声。
3.根据权利要求2所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，
所述变换矩阵H通过如下方法确定：
Figure FDA0003735997140000011
其中(x，y，z)表示目标点云角点位置，(x1，y1，z1)为点云角点位置，s为尺度参数，h11－h44表示变换矩阵H的元素。
4.根据权利要求1所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述焊缝分类识别模型包括多个T－net网络、多个卷积神经网络和多个多层感知机网络，
每个T－net网络，用于对三维点云或高维特征空间进行姿态矫正；
每个卷积神经网络，用于提取三维点云中的相邻点对的特征或高维特征空间中的特征；
每个多层感知机网络，用于从多个相邻点对的特征中提取局部特征或根据全局特征进行焊缝缺陷分类。
5.根据权利要求4所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述焊缝分类识别模型还包括一个或多个最大池化层，
所述最大池化层用于将经过多次姿态矫正和局部特征提取得到的全局特征进行池化。
6.根据权利要求1至5任一项所述的基于深度学习的汽车白车身焊缝质量检测方法，其特征在于，所述获取多个汽车白车身焊缝的三维点云包括：
采集多个焊缝的三维点云；
对采集到的多个焊缝三维点云按照预设距离进行截取分割。
7.一种基于深度学习的汽车白车身焊缝质量检测装置，其特征在于，包括：
获取模块，用于获取多个汽车白车身焊缝的三维点云，利用随机抽样一致性方法去除每个三维点云中的次要平面，并将其进行滤波处理，得到训练样本；
训练模块，用于基于T－net网络和多层感知机网络，利用多个所述训练样本训练焊缝分类识别模型；
识别模块，用于利用训练完成的焊缝分类识别模型识别待测汽车白车身的焊缝。
8.根据权利要求7所述的汽车白车身焊缝质量检测装置，其特征在于，所述获取模块包括：
抽取单元，用于随机从汽车白车身焊缝的三维点云数据集中抽取n个样本，用于模型M的变换矩阵H，n≥5；
确定单元，用于根据所述变换矩阵H计算三维点云数据集中所有样本与模型M的误差，并根据其确定焊接平面；
滤波单元，用于对所述焊接平面进行直通滤波，去除其中的噪声。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的于深度学习的汽车白车身焊缝质量检测方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的于深度学习的汽车白车身焊缝质量检测方法。
CN202210807614.5A 2022-07-07 2022-07-07 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 Active CN115229374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210807614.5A CN115229374B (zh) 2022-07-07 2022-07-07 一种基于深度学习的汽车白车身焊缝质量检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210807614.5A CN115229374B (zh) 2022-07-07 2022-07-07 一种基于深度学习的汽车白车身焊缝质量检测方法、装置

Publications (2)

Publication Number Publication Date
CN115229374A true CN115229374A (zh) 2022-10-25
CN115229374B CN115229374B (zh) 2024-04-26

Family

ID=83672164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210807614.5A Active CN115229374B (zh) 2022-07-07 2022-07-07 一种基于深度学习的汽车白车身焊缝质量检测方法、装置

Country Status (1)

Country Link
CN (1) CN115229374B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109332928A (zh) * 2018-10-23 2019-02-15 江苏山扬智能装备有限公司 基于深度学习在线检测的路灯灯杆自动焊接系统及焊接方法
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN111060601A (zh) * 2019-12-27 2020-04-24 武汉武船计量试验有限公司 一种基于深度学习的焊缝超声相控阵检测数据智能分析方法
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN113601306A (zh) * 2021-08-04 2021-11-05 上海电器科学研究所（集团）有限公司 基于一维分割网络的充电设施箱体焊缝打磨方法
CN113610814A (zh) * 2021-08-10 2021-11-05 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
CN113989199A (zh) * 2021-10-13 2022-01-28 南京理工大学 一种基于深度学习的双目窄对接焊缝检测方法
CN114018951A (zh) * 2021-11-12 2022-02-08 扬州大学江都高端装备工程技术研究所 基于dcgan显著特征样本扩大预处理的塑料件焊缝检测方法
CN114155372A (zh) * 2021-12-03 2022-03-08 长春工业大学 一种基于深度学习的结构光焊缝曲线识别与拟合方法
CN114299285A (zh) * 2021-11-26 2022-04-08 武汉大势智慧科技有限公司 三维点云半自动标注方法、系统、电子设备及存储介质
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109332928A (zh) * 2018-10-23 2019-02-15 江苏山扬智能装备有限公司 基于深度学习在线检测的路灯灯杆自动焊接系统及焊接方法
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN111060601A (zh) * 2019-12-27 2020-04-24 武汉武船计量试验有限公司 一种基于深度学习的焊缝超声相控阵检测数据智能分析方法
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN113601306A (zh) * 2021-08-04 2021-11-05 上海电器科学研究所（集团）有限公司 基于一维分割网络的充电设施箱体焊缝打磨方法
CN113610814A (zh) * 2021-08-10 2021-11-05 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
CN113989199A (zh) * 2021-10-13 2022-01-28 南京理工大学 一种基于深度学习的双目窄对接焊缝检测方法
CN114018951A (zh) * 2021-11-12 2022-02-08 扬州大学江都高端装备工程技术研究所 基于dcgan显著特征样本扩大预处理的塑料件焊缝检测方法
CN114299285A (zh) * 2021-11-26 2022-04-08 武汉大势智慧科技有限公司 三维点云半自动标注方法、系统、电子设备及存储介质
CN114155372A (zh) * 2021-12-03 2022-03-08 长春工业大学 一种基于深度学习的结构光焊缝曲线识别与拟合方法
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法

Also Published As

Publication number Publication date
CN115229374B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
JP4825253B2 (ja) 可変形オブジェクト認識のためのシステムおよび方法
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN110930347A (zh) 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
US20100220910A1 (en) Method and system for automated x-ray inspection of objects
KR102122893B1 (ko) Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
CN116342597B (zh) 一种汽车配件表面电镀加工缺陷检测方法和系统
CN115229374B (zh) 一种基于深度学习的汽车白车身焊缝质量检测方法、装置
CN111310737A (zh) 一种车道线检测方法及装置
Wang et al. Recognition of penetration state in GTAW based on vision transformer using weld pool image
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
JP2023543310A (ja) 検査対象のセマンティックセグメンテーション
CN111968224A (zh) 船舶3d扫描点云数据处理方法
WO2022162417A1 (en) Systems and methods for paint defect detection using machine learning
CN114273826A (zh) 用于大型待焊接工件的焊接位置自动识别方法
CN113674218A (zh) 焊缝特征点提取方法、装置、电子设备与存储介质
CN117274258A (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
CN114066795A (zh) Df-sas高低频声呐图像精细配准融合方法
Ekambaram et al. Identification of defects in casting products by using a convolutional neural network
CN112712527B (zh) 一种基于DR-Unet104的医疗图像分割方法
Koudounas et al. Time-of-flight cameras in space: Pose estimation with deep learning methodologies
CN115294374A (zh) 数模与实际工件焊缝对接的方法
CN114862908A (zh) 一种基于深度相机的动态目标追踪方法与系统
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant