CN112116560A - 一种焊接图像缺陷识别方法、装置、存储介质及设备 - Google Patents

一种焊接图像缺陷识别方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112116560A
CN112116560A CN202010840939.4A CN202010840939A CN112116560A CN 112116560 A CN112116560 A CN 112116560A CN 202010840939 A CN202010840939 A CN 202010840939A CN 112116560 A CN112116560 A CN 112116560A
Authority
CN
China
Prior art keywords
welding
defect
training
image
defect identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010840939.4A
Other languages
English (en)
Other versions
CN112116560B (zh
Inventor
王振民
钟启明
陈浩宇
张芩
吴祥淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010840939.4A priority Critical patent/CN112116560B/zh
Publication of CN112116560A publication Critical patent/CN112116560A/zh
Application granted granted Critical
Publication of CN112116560B publication Critical patent/CN112116560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种焊接图像缺陷识别方法、装置、存储介质及设备；其中方法包括：获取待识别的焊接图像；将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；对初始缺陷识别模型进行训练处理为：利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调。本发明基于深度学习和迁移学习技术结合，可在样本数量有限情况下实现缺陷识别模型的高效训练，提高焊接图像缺陷识别的准确率。

Description

一种焊接图像缺陷识别方法、装置、存储介质及设备
技术领域
本发明涉及焊接缺陷识别技术领域，更具体地说，涉及一种焊接图像缺陷识别方法、装置、存储介质及设备。
背景技术
焊接缺陷识别是保障焊接工艺质量的重要环节。人工进行焊接缺陷识别不适合于持续性高强度的作业，且人工识别的准确度依赖于检测员的水平，不利于焊接生产效率的提升和焊接质量的严格把控，因此推动实现焊接缺陷的自动化识别是进一步提升焊接制造自动化水平的关键。当前主流的焊接缺陷识别依赖于数字图像处理及复杂的特征工程，仍存在特征工程主观性强、实施复杂且难以在不同工况下推广等不足，焊接缺陷识别自动化程度及准确率难以进一步提升。
近年来，深度学习崛起，并在自然语言处理、图像识别等领域取得突破性的进展，为提升焊接缺陷自动化识别性能提供了新途径。深度学习方法依靠大量数据和计算资源进行图像识别模型训练，通过卷积神经网络自动分层提取图像中的特征，能有效摆脱对特征工程的依赖，提升缺陷分类的准确率和模型泛化能力，具有广阔的应用前景。
中国发明专利申请《一种基于深度学习的激光焊接缺陷识别方法、装置及设备》(公开号：CN 110441329 A)，该方案采集激光焊接的光电图像、正面焊接图像及侧面焊接图像作为输入，以不存在缺陷、驼峰缺陷、凹陷缺陷为输出类别，通过标注的数据集训练卷积神经网络，以实现输入图像到焊接缺陷类别的直接映射。但该方法需要获取大量标注的焊接缺陷图像数据，耗费较大的人力和物力，且训练时间较长。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种焊接图像缺陷识别方法、装置、存储介质及设备；本发明基于深度学习和迁移学习技术结合，可在样本数量有限情况下实现缺陷识别模型的高效训练，提高焊接图像缺陷识别的准确率。
为了达到上述目的，本发明通过下述技术方案予以实现：一种焊接图像缺陷识别方法，其特征在于：包括：
获取待识别的焊接图像；
将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。
优选地，所述步骤S103包括如下分步骤：
S1031、加载预训练模型的卷积基，卷积基的输入为焊接图像，输出为卷积基提取的高级抽象特征；
S1032、在卷积基上搭建全连接分类器构成缺陷识别模型，卷积基的输出经展平层后连接全连接分类器的输入；全连接分类器的输入神经元个数与展平层输出神经元个数相同；全连接分类器输入层和输出层相连，输出神经元个数与焊接图像类型数量相同；
S1033、冻结卷积基，训练全连接分类器：缺陷识别模型以分类交叉熵损失函数作为优化的目标函数；采用ADAM优化器更新全连接分类器的权重，按预设的迭代次数循环训练全连接分类器；
S1034、对缺陷识别模型进行微调；将卷积基的顶部层解冻，联合训练所述顶部层与全连接分类器；
S1035、使用验证集对缺陷识别模型性能进行验证，根据验证的结果调整缺陷识别模型的超参数；
S1036、使用测试集验证缺陷识别模型的最终性能；若符合预期指标则进入步骤S104，否则重复步骤S1031～S1036。
优选地，所述步骤S1031中，所述预训模型为基于ImageNet数据集预训练的ResNet18；
所述步骤S1032中，全连接分类器的输入层采用ReLu激活函数，输出层使用softmax激活函数：
Figure BDA0002641390620000031
其中，yik为全连接分类器输入层第k个神经元的激活函数值，xik为全连接分类器输入层第k个神经元的输入值；
Figure BDA0002641390620000032
其中，yk为全连接分类器输出层第k个神经元的激活函数值，zk为全连接分类器输出层第k个神经元的输入值；
所述步骤S1033中、所述ADAM优化器的β1取0.9，β2取0.999；初始学习率为1×10-3，在训练集上每迭代十次学习率衰减0.5。
优选地，所述步骤S1032中，焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹。
优选地，所述步骤S102中，对训练集进行有放回采样：统计训练集中各类型焊接图像样本数，以各类型样本数的倒数作为对整个训练集进行采样的权重，以提升数量较少的缺陷类型焊接图像样本在批处理中出现的概率：
Figure BDA0002641390620000033
其中，wi为i类型焊接图像样本的采样权重，Ci为训练集中i类型焊接图像样本的总数；
在对训练集样本进行采样的同时，对采样原焊接图像样本进行数据增强。
所述步骤S101包括如下分步骤：
S1011、根据待分类的焊接缺陷类型，预设工艺参数以试制出焊接缺陷样本；在试制焊接缺陷样本过程中，实时采集焊接缺陷图像；
S1012、提取焊接缺陷图像中焊接缺陷所在帧作为焊接图像样本，并按焊接缺陷类型和试制序号进行标注和归档；
S1013、重复步骤S1011～S1012，直至完成所有焊接缺陷类型的焊接缺陷样本的图像采集和数据标注。
优选地，所述步骤S101中，采用焊接设备试制焊接缺陷样本；所述焊接设备包括焊接机器人、焊接电源、高动态相机和工控机；所述焊接机器人与焊接电源电性连接；高动态相机通过夹具夹持于焊接机器人的焊炬；高动态相机与工控机电性连接；
所述焊接机器人根据预设工艺参数执行焊接流程；焊接电源根据预设工艺参数为焊接流程提供能量；高动态相机随焊接机器人的焊炬移动，实时采集焊接缺陷图像；工控机接收并存储高动态相机采集的焊接缺陷图像。
一种焊接图像缺陷识别装置，其特征在于，包括：
数据输入模块，用于获取待识别的焊接图像；
数据识别模块，用于将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。
一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述焊接图像缺陷识别方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述焊接图像缺陷识别方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明焊接图像缺陷识别方法，基于深度学习来实现，相较于人工进行识别，能有效提升焊接缺陷识别的自动化程度，为实现焊接智能控制提供反馈基础；
2、常规的深度学习方法要求大量的焊接缺陷样本数据，且训练时间长；本发明应用了迁移学习技术，充分利用预训练模型的卷积基进行特征提取和模型微调，可在样本数量有限情况下实现缺陷识别模型的高效训练；
3、针对焊接缺陷样本存在的类不平衡问题，本发明采用有放回加权采样和数据增强等技术，提升数量较少的缺陷图像样本被训练的概率，并对训练样本进行数据增强实现样本扩充，降低过拟合。
附图说明
图1是本发明焊接图像缺陷识别方法流程图；
图2是本发明焊接图像缺陷识别方法中焊接设备的结构示意图；
图3是本发明焊接图像缺陷识别方法迁移训练流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种焊接图像缺陷识别方法，其流程如图1所示，包括：
获取待识别的焊接图像；
将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时判定焊接缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型。
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本。包括如下分步骤：
S1011、根据待分类的焊接缺陷类型，预设焊接机器人及焊接电源的工艺参数以试制出焊接缺陷样本；
采用焊接设备试制焊接缺陷样本；所述焊接设备如图2所示，包括焊接机器人、焊接电源、高动态相机和工控机；所述焊接机器人与焊接电源电性连接；高动态相机通过夹具夹持于焊接机器人的焊炬；高动态相机与工控机电性连接；
所述焊接机器人根据预设工艺参数执行焊接流程；
焊接电源根据预设工艺参数为焊接流程提供能量；
高动态相机由滤光片、镜头、相机本体组成；镜头前后通过螺纹与滤光片、相机本体相连；滤光片用于滤除强烈的电弧光；优选地，滤光片的中心波长为660nm，带宽为35nm。；镜头可调节光圈大小和焦距以获得清晰的焊接图像；优选地，镜头的变焦范围为50mm，与焊炬喷嘴轴线夹角为45～60°，镜头距焊炬喷嘴中心距离为300mm；相机本体可通过工控机上的软件调节曝光时间，优选地，曝光时间为10～15ms；高动态相机随焊接机器人的焊炬移动，实时采集焊接缺陷图像；
工控机接收并存储高动态相机采集的焊接缺陷图像，完成数据预处理、模型训练、模型运行等工作。
S1012、工控机提取焊接缺陷图像中焊接缺陷所在帧作为焊接图像样本，并按焊接缺陷类型和试制序号进行标注和归档。
S1013、重复步骤S1011～S1012，直至完成所有焊接缺陷类型的焊接缺陷样本的图像采集和数据标注。在本实施例中，采用的焊接工艺为GTAW；焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹。
S102、将采集到的焊接图像样本按6:2:2划分为训练集、验证集以及测试集；为保证各数据集的独立性，同一试制序号的焊接图像样本仅在一个集合中。由于在实际焊接试验的过程中，不同焊接缺陷出现的概率不同，导致其图像样本数量较少，训练集存在类不平衡问题。
在本实施例中，训练阶段采用的batch size为32，为缓解训练集类不平衡问题对模型学习效果的影响，本实施例在图像预处理过程对训练集进行有放回采样：统计训练集中各类型焊接图像样本数，以各类型样本数的倒数作为对整个训练集进行采样的权重，以提升数量较少的缺陷类型焊接图像样本在批处理中出现的概率：
Figure BDA0002641390620000071
其中，wi为i类型焊接图像样本的采样权重，Ci为训练集中i类型焊接图像样本的总数；
在对训练集样本进行采样的同时，对采样原图像进行数据增强；在本实施例中，对原图像进行了随机剪裁和仿射变换，以达到扩充样本数量、降低过拟合的目的。
S103、构建缺陷识别模型并利用所述训练集、验证集和测试集对缺陷识别模型进行迁移训练。
步骤S103包括如下分步骤，如图3所示：
S1031、加载预训练模型的卷积基，卷积基的输入为焊接图像，输出为卷积基提取的高级抽象特征；预训练模型是已在大型通用数据集上训练好的网络，由于视觉特征具有通用性，预训练模型的卷积基所学习到的空间层次结构表示具有可复用性，可应用于与其原始任务不相同的分类任务，从而降低针新分类任务的模型的训练时间以及对数据集规模的要求；在本实施例中，所述预训模型为基于ImageNet数据集预训练的ResNet18；
S1032、在卷积基上搭建全连接分类器构成缺陷识别模型，卷积基的输出经展平层(Flatten layer)后连接全连接分类器的输入；全连接分类器的输入神经元个数与展平层输出神经元个数相同；全连接分类器输入层和输出层相连，输出神经元个数与焊接图像类型数量相同；
焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹五种；
全连接分类器的输入层采用ReLu激活函数，输出层使用softmax激活函数：
Figure BDA0002641390620000072
其中，yik为全连接分类器输入层第k个神经元的激活函数值，xik为全连接分类器输入层第k个神经元的输入值；
Figure BDA0002641390620000081
其中，yk为全连接分类器输出层第k个神经元的激活函数值，zk为全连接分类器输出层第k个神经元的输入值；
S1033、冻结卷积基，训练全连接分类器：读取训练集作为缺陷识别模型的输入；缺陷识别模型以分类交叉熵损失函数作为优化的目标函数；采用ADAM优化器更新全连接分类器的权重，按预设的迭代次数循环训练全连接分类器；
所述ADAM优化器的β1取0.9，β2取0.999；初始学习率为1×10-3，在训练集上每迭代十次学习率衰减0.5；
S1034、对缺陷识别模型进行微调；将卷积基的顶部层解冻，联合训练所述顶部层与全连接分类器；由于卷积基的顶部层学习到的是更为抽象的专门化的表示，将其解冻与已经过训练的全连接分类器进行联合训练，有利于顶部层更好地服务于当前的焊接图像分类任务；
S1035、使用验证集对缺陷识别模型性能进行验证，根据验证的结果调整缺陷识别模型的超参数；超参数如学习率、迭代次数、分类器层数、神经元数等；
S1036、使用测试集验证缺陷识别模型的最终性能；若符合预期指标则进入步骤S104，否则重复步骤S1031～S1036。
S104、存储完成迁移训练的缺陷识别模型。
执行阶段具体实施步骤如下：
步骤S201：工控机读取存储的缺陷识别模型。
步骤S202：将高动态相机采集的待识别、焊接图像输入到缺陷识别模型中。
步骤S203：缺陷识别模型对输入的焊接图像进行预测，实时返回焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时判定焊接缺陷类型。
实施例二
为实现实施例一所述的焊接图像缺陷识别方法，本实施例提供一种焊接图像缺陷识别装置，包括：
数据输入模块，用于获取待识别的焊接图像；
数据识别模块，用于将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。
实施例三
本实施例一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的焊接图像缺陷识别方法。
实施例四
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述的焊接图像缺陷识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种焊接图像缺陷识别方法，其特征在于：包括：
获取待识别的焊接图像；
将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。
2.根据权利要求1所述的焊接图像缺陷识别方法，其特征在于：所述步骤S103包括如下分步骤：
S1031、加载预训练模型的卷积基，卷积基的输入为焊接图像，输出为卷积基提取的高级抽象特征；
S1032、在卷积基上搭建全连接分类器构成缺陷识别模型，卷积基的输出经展平层后连接全连接分类器的输入；全连接分类器的输入神经元个数与展平层输出神经元个数相同；全连接分类器输入层和输出层相连，输出神经元个数与焊接图像类型数量相同；
S1033、冻结卷积基，训练全连接分类器：缺陷识别模型以分类交叉熵损失函数作为优化的目标函数；采用ADAM优化器更新全连接分类器的权重，按预设的迭代次数循环训练全连接分类器；
S1034、对缺陷识别模型进行微调；将卷积基的顶部层解冻，联合训练所述顶部层与全连接分类器；
S1035、使用验证集对缺陷识别模型性能进行验证，根据验证的结果调整缺陷识别模型的超参数；
S1036、使用测试集验证缺陷识别模型的最终性能；若符合预期指标则进入步骤S104，否则重复步骤S1031～S1036。
3.根据权利要求2所述的焊接图像缺陷识别方法，其特征在于：所述步骤S1031中，所述预训模型为基于ImageNet数据集预训练的ResNet18；
所述步骤S1032中，全连接分类器的输入层采用ReLu激活函数，输出层使用softmax激活函数：
Figure FDA0002641390610000021
其中，yik为全连接分类器输入层第k个神经元的激活函数值，xik为全连接分类器输入层第k个神经元的输入值；
Figure FDA0002641390610000022
其中，yk为全连接分类器输出层第k个神经元的激活函数值，zk为全连接分类器输出层第k个神经元的输入值；
所述步骤S1033中、所述ADAM优化器的β1取0.9，β2取0.999；初始学习率为1×10-3，在训练集上每迭代十次学习率衰减0.5。
4.根据权利要求2所述的焊接图像缺陷识别方法，其特征在于：所述步骤S1032中，焊接图像类型包括：无缺陷、焊穿、气孔、错边、裂纹。
5.根据权利要求1所述的焊接图像缺陷识别方法，其特征在于：所述步骤S102中，对训练集进行有放回采样：统计训练集中各类型焊接图像样本数，以各类型样本数的倒数作为对整个训练集进行采样的权重，以提升数量较少的缺陷类型焊接图像样本在批处理中出现的概率：
Figure FDA0002641390610000023
其中，wi为i类型焊接图像样本的采样权重，Ci为训练集中i类型焊接图像样本的总数；
在对训练集样本进行采样的同时，对采样原焊接图像样本进行数据增强。
6.根据权利要求1所述的焊接图像缺陷识别方法，其特征在于：所述步骤S101包括如下分步骤：
S1011、根据待分类的焊接缺陷类型，预设工艺参数以试制出焊接缺陷样本；在试制焊接缺陷样本过程中，实时采集焊接缺陷图像；
S1012、提取焊接缺陷图像中焊接缺陷所在帧作为焊接图像样本，并按焊接缺陷类型和试制序号进行标注和归档；
S1013、重复步骤S1011～S1012，直至完成所有焊接缺陷类型的焊接缺陷样本的图像采集和数据标注。
7.根据权利要求6所述的焊接图像缺陷识别方法，其特征在于：所述步骤S1011中，采用焊接设备试制焊接缺陷样本；所述焊接设备包括焊接机器人、焊接电源、高动态相机和工控机；所述焊接机器人与焊接电源电性连接；高动态相机通过夹具夹持于焊接机器人的焊炬；高动态相机与工控机电性连接；
所述焊接机器人根据预设工艺参数执行焊接流程；焊接电源根据预设工艺参数为焊接流程提供能量；高动态相机随焊接机器人的焊炬移动，实时采集焊接缺陷图像；工控机接收并存储高动态相机采集的焊接缺陷图像。
8.一种焊接图像缺陷识别装置，其特征在于，包括：
数据输入模块，用于获取待识别的焊接图像；
数据识别模块，用于将待识别的焊接图像输入至缺陷识别模型，通过所述缺陷识别模型对所述焊接图像进行识别，得到焊接图像类型，从而判定焊接图像是否存在缺陷以及存在缺陷时的缺陷类型；其中，所述缺陷识别模型为对初始缺陷识别模型进行训练处理得到的模型；
所述对初始缺陷识别模型进行训练处理，是指，包括如下步骤：
S101、采集所有焊接缺陷类型的焊接图像样本；
S102、将焊接图像样本划分为训练集、验证集以及测试集；
S103、利用预训练模型的卷积基结合全连接分类器来构成缺陷识别模型；并利用所述训练集对缺陷识别模型进行迁移训练；迁移训练是指冻结卷积基，训练全连接分类器，之后对缺陷识别模型进行微调；之后利用验证集和测试集对缺陷识别模型进行验证和测试；
S104、存储完成迁移训练的缺陷识别模型。
9.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-7中任一项所述的焊接图像缺陷识别方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7中任一项所述的焊接图像缺陷识别方法。
CN202010840939.4A 2020-08-20 2020-08-20 一种焊接图像缺陷识别方法、装置、存储介质及设备 Active CN112116560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010840939.4A CN112116560B (zh) 2020-08-20 2020-08-20 一种焊接图像缺陷识别方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010840939.4A CN112116560B (zh) 2020-08-20 2020-08-20 一种焊接图像缺陷识别方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112116560A true CN112116560A (zh) 2020-12-22
CN112116560B CN112116560B (zh) 2023-09-26

Family

ID=73804179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010840939.4A Active CN112116560B (zh) 2020-08-20 2020-08-20 一种焊接图像缺陷识别方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112116560B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668631A (zh) * 2020-12-24 2021-04-16 哈尔滨理工大学 基于卷积神经网络的移动端社区宠物识别方法
CN112733884A (zh) * 2020-12-23 2021-04-30 树根互联技术有限公司 焊接缺陷识别模型训练方法、装置和计算机终端
CN113076989A (zh) * 2021-03-30 2021-07-06 太原理工大学 一种基于ResNet网络的芯片缺陷图像分类方法
CN113231715A (zh) * 2021-05-31 2021-08-10 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
CN113592814A (zh) * 2021-07-30 2021-11-02 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN114140669A (zh) * 2022-02-07 2022-03-04 南昌工程学院 焊接缺陷识别模型训练方法、装置和计算机终端
CN114821825A (zh) * 2022-06-30 2022-07-29 广州中平智能科技有限公司 一种多粒度人脸伪造检测方法、系统、设备和介质
CN115121895A (zh) * 2022-04-28 2022-09-30 广东省威汇智能科技有限公司 基于深度学习的选择波峰焊预警方法、装置及存储介质
CN115906528A (zh) * 2022-12-30 2023-04-04 山东理工大学 一种焊接结构模型的自动预处理方法、系统、设备和存储介质
CN116010794A (zh) * 2023-02-17 2023-04-25 苏芯物联技术(南京)有限公司 一种基于小样本标签数据的焊接缺陷实时智能检测方法
CN116664509A (zh) * 2023-05-29 2023-08-29 理工特智科技(重庆)有限公司 多模型协同决策的射线图像缺陷识别方法、系统和设备
CN116664561A (zh) * 2023-07-28 2023-08-29 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021941A (zh) * 2017-11-30 2018-05-11 四川大学 药物肝毒性预测方法及装置
US20190303717A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN110717515A (zh) * 2019-09-06 2020-01-21 北京三快在线科技有限公司 模型训练方法、装置及电子设备
CN111060601A (zh) * 2019-12-27 2020-04-24 武汉武船计量试验有限公司 一种基于深度学习的焊缝超声相控阵检测数据智能分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021941A (zh) * 2017-11-30 2018-05-11 四川大学 药物肝毒性预测方法及装置
US20190303717A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN110717515A (zh) * 2019-09-06 2020-01-21 北京三快在线科技有限公司 模型训练方法、装置及电子设备
CN111060601A (zh) * 2019-12-27 2020-04-24 武汉武船计量试验有限公司 一种基于深度学习的焊缝超声相控阵检测数据智能分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIHONG PAN ET AL.: "A New Image Recognition and Classification Method Combining Transfer Learning Algorithm and MobileNet Model for Welding Defects", 《IEEE,DOI: 10.1109/ACCESS.2020.3005450》 *
HAIHONG PAN ET AL.: "A New Image Recognition and Classification Method Combining Transfer Learning Algorithm and MobileNet Model for Welding Defects", 《IEEE,DOI: 10.1109/ACCESS.2020.3005450》, vol. 8, 29 June 2020 (2020-06-29), pages 119951 - 119960, XP011797630, DOI: 10.1109/ACCESS.2020.3005450 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733884A (zh) * 2020-12-23 2021-04-30 树根互联技术有限公司 焊接缺陷识别模型训练方法、装置和计算机终端
CN112668631B (zh) * 2020-12-24 2022-06-24 哈尔滨理工大学 基于卷积神经网络的移动端社区宠物识别方法
CN112668631A (zh) * 2020-12-24 2021-04-16 哈尔滨理工大学 基于卷积神经网络的移动端社区宠物识别方法
CN113076989A (zh) * 2021-03-30 2021-07-06 太原理工大学 一种基于ResNet网络的芯片缺陷图像分类方法
CN113231715A (zh) * 2021-05-31 2021-08-10 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
WO2022252462A1 (zh) * 2021-05-31 2022-12-08 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN113592814A (zh) * 2021-07-30 2021-11-02 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN114140669A (zh) * 2022-02-07 2022-03-04 南昌工程学院 焊接缺陷识别模型训练方法、装置和计算机终端
CN114140669B (zh) * 2022-02-07 2022-04-26 南昌工程学院 焊接缺陷识别模型训练方法、装置和计算机终端
CN115121895A (zh) * 2022-04-28 2022-09-30 广东省威汇智能科技有限公司 基于深度学习的选择波峰焊预警方法、装置及存储介质
CN114821825A (zh) * 2022-06-30 2022-07-29 广州中平智能科技有限公司 一种多粒度人脸伪造检测方法、系统、设备和介质
CN114821825B (zh) * 2022-06-30 2022-12-06 广州中平智能科技有限公司 一种多粒度人脸伪造检测方法、系统、设备和介质
CN115906528A (zh) * 2022-12-30 2023-04-04 山东理工大学 一种焊接结构模型的自动预处理方法、系统、设备和存储介质
CN116010794A (zh) * 2023-02-17 2023-04-25 苏芯物联技术(南京)有限公司 一种基于小样本标签数据的焊接缺陷实时智能检测方法
CN116664509A (zh) * 2023-05-29 2023-08-29 理工特智科技(重庆)有限公司 多模型协同决策的射线图像缺陷识别方法、系统和设备
CN116664561A (zh) * 2023-07-28 2023-08-29 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法
CN116664561B (zh) * 2023-07-28 2023-10-17 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法

Also Published As

Publication number Publication date
CN112116560B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN112116560B (zh) 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN110543878A (zh) 一种基于神经网络的指针仪表读数识别方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN106682694A (zh) 一种基于深度学习的敏感图像识别方法
CN114600154A (zh) 用于sem图像的bbp辅助缺陷检测流程
CN114663729A (zh) 一种基于元学习的气缸套小样本缺陷检测方法
CN111860290B (zh) 一种激光熔覆过程中裂纹识别的方法
Gai et al. Research on defect detection method for steel metal surface based on deep learning
CN112733889A (zh) 一种基于改进vgg16深度神经网络的穿孔等离子弧焊接穿孔及熔透状态识别方法
Pathak et al. Classification of fruits using convolutional neural network and transfer learning models
CN115410024A (zh) 一种基于动态激活热力图的电力图像缺陷检测方法
CN114548268A (zh) 基于原型网络的小样本垃圾图像分类方法
CN113537306A (zh) 一种基于渐进式成长元学习的图像分类方法
CN111008738A (zh) 基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
Tao et al. Weak scratch detection of optical components using attention fusion network
CN115392125A (zh) 水泥回转窑的温度预测方法
CN113159083A (zh) 一种基于Faster R-CNN网络的烟叶分级方法
Li et al. GMAW Molten Pool Micrograph Image Recognition Based on Convolution Neural Network and Transfer Learning.
CN113658108A (zh) 一种基于深度学习的玻璃缺陷检测方法
CN114897835B (zh) 一种基于图像的煤炭产品灰分实时检测系统
CN114463639A (zh) 基于安卓的月季花识别方法
CN114530217B (zh) 一种兰炭基多孔碳吸附重金属效率预测方法及相关装置
Wang Handwritten Chinese numeral recognition based on BP neural network
Huang et al. Research on CNN-based intelligent recognition method for negative images of weld defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant