CN114240896A - 一种基于卷积神经网络对螺柱焊焊接质量的检测方法 - Google Patents

一种基于卷积神经网络对螺柱焊焊接质量的检测方法 Download PDF

Info

Publication number
CN114240896A
CN114240896A CN202111561557.9A CN202111561557A CN114240896A CN 114240896 A CN114240896 A CN 114240896A CN 202111561557 A CN202111561557 A CN 202111561557A CN 114240896 A CN114240896 A CN 114240896A
Authority
CN
China
Prior art keywords
training
welding
model
sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111561557.9A
Other languages
English (en)
Inventor
刘嘉
陈成伟
巩一霈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111561557.9A priority Critical patent/CN114240896A/zh
Publication of CN114240896A publication Critical patent/CN114240896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

本发明公开了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，包括：采集系统采集螺柱焊相关的源样本，并对源样本进行分类；对源样本进行预处理；将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。通过采集训练样本，训练基于预训练的卷积神经网络的焊接质量分类器，使其能快速准确地识别不同种类的焊接缺陷类型，能有效解决当前螺柱焊质量在线检测准确率低的问题。

Description

一种基于卷积神经网络对螺柱焊焊接质量的检测方法
技术领域
本发明属于机器视觉领域，具体为工业图像检测识别领域，特别涉及一种基于双目摄像头采集焊接区域图像并利用卷积神经网络进行焊接质量检测的方法。
背景技术
螺柱焊是一种将金属螺柱或其他类似的金属紧固件焊接到金属板材上的焊接方法，具有无孔连接的特点，不仅是保证了工件的密封性，而且生产效率相较传统加工方式也有大幅提高。螺柱焊在汽车、家电、仪器仪表、医疗器械等行业均有广泛的应用，螺柱焊接的质量对产品的质量具有重要的影响。
目前在工业生产过程中主要的螺柱焊质量检测方法是破坏性实验，如弯曲测试、拉伸等。该方法主要应用在生产前的验证性检验和生产过程中的抽样检验，经过破坏性试验后螺柱无法继续使用。因此，无法对焊接过程中的每个螺柱进行质量检查。人工目检虽然可以对每个焊接螺柱进行检查，但是这种方式的检测精度很大程度上依赖于检测工人的技术以及经验，会产生很多不稳定因素，并且增加了工人的工作量，从而使得工作效率低下。
基于单目视觉的图像采集容易受到螺柱本身遮挡焊缝的影响，不能采集到完整的焊缝区域。传统的图像检测识别方法，如图像分割等，容易受到不同图像复杂背景的影响，稳定性不强，检测识别精度低。
针对上述问题，本发明提供了一种基于卷积神经网络对螺柱焊接质量检测的方法，通过两个摄像头采集图像并进行图像拼合以采集到完整的焊缝区域，训练基于卷积神经网络的焊接质量分类器，使其能快速准确的对焊接螺柱进行质量判别。
发明内容
本发明提供了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，用以解决当前螺柱焊焊接质量检测效率低，精度差的问题。
为了达到上述目的，本发明提供的技术方案是一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其包括以下步骤：
1.利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；
2.对原样本进行预处理；
3.将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；
4.保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。
在一种可能实现的方式中，所述利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类的步骤包括：
所述的采集系统由两个相机，LED灯组成。两个相机位于已完成焊接的螺柱的上方，两个相机在空间内关于螺柱的中轴平面对称。两个相机间的距离可随螺柱直径的尺寸调整。采集的源样本为两个相机触发采集的图像。将所述的源样本按比例进行分类，获得训练样本、验证样本、测试样本。
在一种可能实现的方式中，对源样本进行预处理的步骤包括：
将源样本中由不同相机采集的同一个螺柱的图像进行图像拼合；
利用目标检测算法检测拼合后的图像中的焊接区域；
对图像进行剪裁，剪裁边界为焊接区域目标识别的外接矩形框。
其中，所述的预处理后的源样本为裁剪后的图像。
在一种可能实现的方式中，将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练处理，获得最终模型的具体步骤包括：
将预训练模型的卷积层参数保存在共享的卷积层中；
将采集的经预处理的源样本放入到预训练模型共享的卷积层中来提取图像特征，并将所述图像特征输入到全连接层中进行特征分类，并基于输出层输出特征分类结果，实现对预训练模型的训练，并获得第一训练模型；
其中，所述的预训练模型为在不同规格的螺柱样本中训练得到的网络模型；
将验证样本输入到验证反馈模型进行验证和反馈，并将反馈结果输入到所述第一训练模型中作为调整参数进行训练，获得第二训练模型；
基于测试样本对第二训练模型进行检验；
其中，所述第二训练模型即为所述最终模型。
在一种可能实现的方式中，保存所述最终模型，输入焊接样本进行在线检测，预测所述焊接样本的分类之前，包括：
将测试样本对第二训练模型进行检验，判断第二训练模型的可信度；
当所述可信度大于或等于预设度时，将第二训练模型进行保存，并对输入的焊接样本进行在线检测，预测所述焊接样本的分类。
在一种可能实现的方式中，输入焊接样本进行在线检测，预测所述焊接样本的分类类型之后，还包括：
预测所述焊接样本的焊接区域的焊接缺陷类型；基于预设数据集的查准率和查全率的测量指标，测量所述焊接缺陷类型的缺陷信息，并基于所述缺陷信息进行初次缺陷评估；
同时，还对所述焊接样本进行再次缺陷评估；
当两次缺陷评估结果一致时，进行第一缺陷报警；
否则，基于初次缺陷评估结果，确定所述焊接样本的第一焊接信息；
同时，基于再次缺陷评估结果，确定所述焊接样本的第二焊接信息；
基于所述第一焊接信息和第二焊接信息，对所述焊接样本进行焊接图像修复，当修复完成后，进而第二缺陷报警。
本发明的有益效果是：
1.采集系统避免了螺柱本体对焊缝的遮挡问题，能够采集到完整的焊缝息；
2.基于目标检测对图像进行裁剪可以有效避免非焊接区域背景的干扰；
3.基于卷积神经网络系统的预训练方式使得针对特定规格的螺柱焊接质量检测效率更高，可以准确的分类不同种类的焊接缺陷类型。
附图说明
图1是本发明一种基于卷积神经网络对螺柱焊焊接质量的检测方法的流程图。
图2是图像采集系统示意图。
图3是焊接质量在线检测流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种基于卷积神经网络对螺柱焊焊接质量的检测方法，如图1所示，包括：
1.利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；
2.对源样本进行预处理；
3.将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；
4.保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。
优选的，所述的对源样本进行分类包括：获得的训练样本：验证样本：测试样本＝8：1：1或6：2：2；
优选的，所述的预设数据集为采集的不同规格的螺柱焊接图像。
上述技术方案的有益效果是：通过采集训练样本，训练基于预训练的卷积神经网络的焊接质量分类器，使其能快速准确地分类不同种类的焊接缺陷类型，能有效解决当前螺柱焊质量检测效率低、准确率差的问题。
本发明提供了一种基于卷积神经网络对螺柱焊质量检测的方法，所述的采集系统如图2所示，由两个相机、相机架和已完成焊接的螺柱与母材组成，两个相机位于相机架上，且两个相机关于螺柱的一个中轴面对称。在进行图像采集前，应根据螺柱直径的尺寸调整相机间的距离，以保证经过预处理后的图像能够包含完整的焊接区域。所述的采集的源样本为两个相机被触发采集的图像。所述的对源样本分类为按6：2：2或8：1：1的比例将源样本分为训练集、验证集和测试集。
所述的对源样本进行预处理包括：使用图像拼合算法对两个相机采集的图像进行拼合；然后再使用目标检测算法检测焊接区域，并用矩形目标框框选焊接区域；最后按照目标框裁剪图像。
上述方案的优点是，可以完整的采集螺柱焊的焊缝，有效避免了螺柱本体对焊缝的遮挡。
步骤3所述的预训练模型为在不同规格的螺柱焊数据集中训练的卷积神经网络，或应用于不同规格的螺柱质量检测的卷积神经网络模型；卷积神经网络模型可实施为经典的分类网络模型，如VGG、AlexNet、ResNet、GoogleNet、MobileNet等。
将预训练模型的卷积层参数保存在共享的卷积层中，将采集的训练样本放入到预训练模型共享的卷积层中来提取图像特征，并将所述图像特征输入到全连接层中进行特征分类，并基于输出层输出特征分类结果，实现对预训练模型的训练，并获得第一训练模型；将验证样本输入到验证反馈模型进行验证和反馈，并将反馈结果输入到所述第一训练模型中作为调整参数进行训练，获得第二训练模型；基于测试样本对第二训练模型进行检验；其中，所述第二训练模型即为所述最终模型。
上述方案的有效效果是：可以卷积神经网络对训练样本数据量的需求，使预训练的神经网络经过短时间的训练后就能实现对特定规格的焊接螺柱质量检测的目标，这样节省了大量的训练时间又减少了所需实验的次数。
所述的步骤4保存最终模型，输入焊接样本进行在线检测，预测所述焊接样本的分类之前，包括：
将测试样本对第二训练模型进行检验，判断第二训练模型的可信度；
当所述可信度大于或等于预设度时，将第二训练模型进行保存，并对输入的焊接样本进行在线检测，预测所述焊接样本的分类。
该实施例中，预设的可信度可以根据具体的工况进行设定。当模型无法满足设定的可信度时可以通过增加训练集的样本量、增加训练迭代代数或优化模型结构等手段提高模型的可信度。
以上技术方案的有益效果是：判断模型的可信度是为了保证该模型的有效性，确保后期质量检测的可靠性。
所述的步骤4保存所述最终模型，输入焊接样本进行在线检测，预测所述焊接样本的分类类型的流程如图3所示：螺柱完成焊接后，利用采集系统进行信号采集，采集到的图像信号经过预处理后输入到检测模型中，最后输出检测结果，若检测结果为质量不合格则触发报警装置，报警信息为声音或灯光。所述的模型为步骤3保存的最终模型。将在线检测中采集的图像信息进行存储保存，以备对检测模型的准确率进行复查。

Claims (5)

1.一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，包括：
利用采集系统采集螺柱焊相关的源样本，并对源样本进行分类；所述源样本为由采集系统采集的已完成焊接的螺柱的表面图像；
对源样本进行预处理；
将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于实际的分类样本数据集对预训练模型进行再次训练，获得最终模型；
保存所述最终模型，并输入经过预处理的样本进行在线检测，预测所述焊接样本的分类类型。
2.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，所述采集系统由安装于相机架上的两个相机和LED灯组成，其中两个相机的间距可随螺柱的直径尺寸进行调节。
3.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，所述采集源样本，对源样本进行分类的步骤包括：
将所述源样本按比例进行随机分类，获得训练样本、验证样本、检测样本；
其中，所述比例包括：获得的训练样本：验证样本：测试样本＝8:1:1。
4.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于：预处理包括：
使用图像拼合算法对两个相机获得的图像进行拼合；
使用目标检测算法对螺柱焊接区域进行识别，按目标识别的矩形框对图像进行剪裁。
5.如权利要求1所述的一种基于卷积神经网络对螺柱焊焊接质量的检测方法，其特征在于，将卷积神经网络模型在预设数据集里进行预训练，获得预训练模型，且基于分类结果对预训练模型进行预处理，获得最终训练模型的具体步骤包括：
将预训练模型的浅层参数保存在共享的卷积层中；
将采集的训练样本经预处理后放入到预训练模型继续训练，并获得第一训练模型；
将验证样本经预处理后输入到验证反馈模型进行验证和反馈，并将反馈结果输入到所述第一训练模型中作为调整参数进行训练，获得第二训练模型；
基于测试样本对第二训练模型进行检验；其中，所述第二训练模型即为所述最终模型。
CN202111561557.9A 2021-12-15 2021-12-15 一种基于卷积神经网络对螺柱焊焊接质量的检测方法 Pending CN114240896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111561557.9A CN114240896A (zh) 2021-12-15 2021-12-15 一种基于卷积神经网络对螺柱焊焊接质量的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111561557.9A CN114240896A (zh) 2021-12-15 2021-12-15 一种基于卷积神经网络对螺柱焊焊接质量的检测方法

Publications (1)

Publication Number Publication Date
CN114240896A true CN114240896A (zh) 2022-03-25

Family

ID=80759106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111561557.9A Pending CN114240896A (zh) 2021-12-15 2021-12-15 一种基于卷积神经网络对螺柱焊焊接质量的检测方法

Country Status (1)

Country Link
CN (1) CN114240896A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557563A (zh) * 2024-01-11 2024-02-13 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557563A (zh) * 2024-01-11 2024-02-13 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统
CN117557563B (zh) * 2024-01-11 2024-03-22 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统

Similar Documents

Publication Publication Date Title
CN111815572B (zh) 一种基于卷积神经网络对锂电池焊接质量的检测方法
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
CN102441737B (zh) 用于确定焊缝端部的形状的设备和方法
CN110402487B (zh) 对从晶片检测的缺陷进行分类的方法和装置
CN105531581B (zh) 对用于识别表面缺陷的检查系统进行检验的方法和设备
CN104063873B (zh) 一种基于压缩感知的轴套类零件表面缺陷在线检测方法
CN101670533A (zh) 基于工件加工表面图像分析的刀具磨损状态评价方法
CN104515786A (zh) 金属铸件疲劳过程内部缺陷演化的检测方法与分析方法
CN112150410A (zh) 一种焊缝缺陷的自动检测方法及其系统
EP3931535A1 (en) Apparatus and method for inspection of a film on a substrate
CN109844919A (zh) 优化用于设置检验相关算法的训练组
CN113155809A (zh) 一种矿石分类与实时定量分析的光谱检测新方法
CN109406529A (zh) 一种aoi缺陷检测系统的性能调节方法
CN114240896A (zh) 一种基于卷积神经网络对螺柱焊焊接质量的检测方法
CN116030310A (zh) 一种基于激光诱导击穿光谱技术的样品分类方法及系统
Yan et al. Non-destructive testing of composite fiber materials with hyperspectral imaging—Evaluative studies in the EU H2020 FibreEUse project
CN112858351A (zh) 一种基于机器视觉的x射线无损探伤方法
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
CN114119595A (zh) 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法
Guo et al. WDXI: The dataset of X-ray image for weld defects
CN111539489A (zh) 一种毫米波图像目标检测识别方法
CA3158524A1 (en) Systems and methods for analyzing weld quality
KR102012318B1 (ko) 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법
CN113780830A (zh) 一种基于投影的钢丝零件质检系统、方法及设备
CN116309475A (zh) 自动检测滚筒齿座焊接质量的机器视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination