CN116563230A - 焊缝缺陷识别方法及系统 - Google Patents

焊缝缺陷识别方法及系统 Download PDF

Info

Publication number
CN116563230A
CN116563230A CN202310458418.6A CN202310458418A CN116563230A CN 116563230 A CN116563230 A CN 116563230A CN 202310458418 A CN202310458418 A CN 202310458418A CN 116563230 A CN116563230 A CN 116563230A
Authority
CN
China
Prior art keywords
image
defect
detection model
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310458418.6A
Other languages
English (en)
Inventor
王立群
刘骁佳
戴铮
金翠娥
刘欢
王飞
周鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Space Precision Machinery Research Institute
Original Assignee
Shanghai Space Precision Machinery Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Space Precision Machinery Research Institute filed Critical Shanghai Space Precision Machinery Research Institute
Priority to CN202310458418.6A priority Critical patent/CN116563230A/zh
Publication of CN116563230A publication Critical patent/CN116563230A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种焊缝缺陷识别方法及系统，包括如下：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；通过特征提取网络以及解耦检测网络，搭建多分类检测模型；通过最终辅助集对多分类检测模型进行训练；通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。本发明基于图像增强的预处理方法，大幅度改善工业生产过程中检测图像对比度低、光照不均匀等问题，高质量的检测图像大大提高了后续缺陷检测的准确率。

Description

焊缝缺陷识别方法及系统
技术领域
本发明涉及智能缺陷检测的技术领域，具体地，涉及一种焊缝缺陷识别方法及系统。尤其是，优选的涉及一种针对小样本情况下的焊缝缺陷智能识别方法。
背景技术
由于目前大型焊接产品覆盖领域广，主要应用于航空、航天、汽车、船舶等领域。其中焊接工艺多种多样、导致焊缝类型层出不穷、焊接缺陷充满复杂性，精确的智能焊缝缺陷检测充满挑战。为了满足实际贮箱无损检测行业的要求，由于产业的不断发展，待评测图像不断增多，缺少智能筛选机制，人工判读会在无缺陷的正常图像上耗费时间，效率难以提升；而且人工评判存在主观因素，导致评判质量不稳定，发生错漏检，导致产品质量问题。因此，需要智能检测技术来缓解检测能力不足的现状，近年来针对基于机器学习的图像处理方法在缺陷智能识别、筛选分类等方面产出了大量的研究成果。但是机器学习特别是深度学习，需要大量的数据才能训练好一个具有良好泛化性的模型。如何在小样的情况下进行有效的学习，成为了一个广受关注的问题。
随着深度学习技术的不断发展与实际应用，火箭贮箱焊缝缺陷检测往智能化发展的需求不但增加，为开展了基于深度学习的火箭贮箱焊缝智能检测的研究提供强大动力。
公开号为CN114862745A的中国发明专利文献公开了一种焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置，属于管道技术领域。该方法包括：获取待识别图像；调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
针对上述中的相关技术，发明人认为现有机器视觉方法检测效果不佳、准率低以及鲁棒性不强。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种焊缝缺陷识别方法及系统。
根据本发明提供的一种焊缝缺陷识别方法，包括如下步骤：
图像增强步骤：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；
缺陷标注步骤：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
检测模型搭建步骤：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
辅助集训练步骤：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；
支撑集训练步骤：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；
缺陷识别步骤：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
优选的，在所述图像增强步骤中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
优选的，在所述图像增强步骤中，将原始图像横竖均匀划分为n个子图像，并获取原始图像的直方图函数h(rk)：
h(rk)＝nk
其中，rk表示区间内第k级的亮度，nk表示原始图像中等于第k级的亮度的像素数；同时定义rmin为原始图像中存在亮度的最小值，rmax为原始图像中存在亮度的最大值；
将直方图函数进行归一化，将每一个元素h(rk)除以原始图像中的像素总数n得到新的直方图函数P(rk)：
动态调节图像新的直方图分布，预先设定对比度限制权重以及图像增强权重，得到调整后的直方图分布函数P′(rk)以及图像增强后的灰度范围 表示图像增强后的最小灰度；/>表示图像增强后的最大灰度；
根据调整后的直方图分布函数给出灰度映射函数的直方图累积函数Psum′(rk)：
根据直方图均衡化的基本计算公式得出图像均衡化映射函数fi(rk)为：
分别对每一个子图像的像素点按照映射函数进行变换，得到新的像素值，子图像块之间的像素值利用双线性插值法进行优化，得到多个灰度值图像；
将得到的多个灰度值图像进行拼接，得到增强后的输出图像。
优选的，在所述缺陷标注步骤中，对图像增强后的熔焊焊缝图像以及搅拌摩擦焊焊缝图像中的缺陷部分使用包围框进行标注，将熔焊焊缝图像标注后生成的全部Xm1文件作为最终辅助集；将搅拌摩擦焊焊缝图像标注后生成的全部Xml文件作为最终支撑集。
优选的，在所述检测模型搭建步骤中，基于Darknet-53卷积层构建特征提取网络，通过构建的特征提取网络结合缺陷位置、有无缺陷以及缺陷类型解耦的检测网络，完成YoloV3多分类检测模型的搭建。
优选的，在所述辅助集训练步骤中，将最终辅助集中数据尺寸调整至YoloV3多分类检测模型输入大小，根据最终辅助集的缺陷类别，修改YoloV3多分类检测模型所能检测的总的缺陷类别，并为每个需要检测的缺陷类别分配固定的编号，利用YoloV3多分类检测模型中的Darknet-53卷积层部分进行特征提取，得到的向量输入至搭建的解耦检测网络中，完成单次训练；后续不断迭代训练，得到迁移前的搅拌摩擦焊缺陷检测的模型。
优选的，在所述支撑集训练步骤中，通过模型迁移，使用训练后的特征提取网络对支撑集中搅拌摩擦焊焊缝进行特征提取，并将提取到的特征输入至训练后的解耦检测网络中来预测缺陷的位置以及种类；然后不断迭代训练，最后获得基于迁移学习的多分类检测模型作为最后搅拌摩擦焊缺陷检测的模型。
优选的，在所述支撑集训练步骤中，对待检测图像使用CLAHE进行图像增强处理，并将图像增强后的待检测图像尺寸调整至焊缝缺陷检测模型输入大小；
针对图像增强后的待检测图像调用训练好的焊缝缺陷检测模型进行预测，检测金属板带表面是否有缺陷，并给出缺陷的分类和定位。
根据本发明提供的一种焊缝缺陷识别系统，包括如下模块：
图像增强模块：读取辅助集和支撑集的原始图像，并进行图像增强处理，得到增强后的输出图像；
缺陷标注模块：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
检测模型搭建模块：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
辅助集训练模块：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；
支撑集训练模块：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；
缺陷识别模块：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
优选的，在所述图像增强模块中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于图像增强的预处理方法，大幅度改善工业生产过程中检测图像对比度低、光照不均匀等问题，高质量的检测图像大大提高了后续缺陷检测的准确率；
2、本发明通过采用迁移学习的模型训练方法，改善了数据量少而且分布不均匀造成的检测性能差的问题；
3、本发明结合微调的训练方式快速训练YoloV3检测模型，最终实现对焊缝缺陷的精准检测，改善人工判别质量，提高检测效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为针对小样本情况下的焊缝缺陷智能识别方法示意框图；
图2为预处理前的支撑集示例以及辅助集示例图；
图3为预处理后的支撑集示例以及辅助集示例图；
图4为Yo1oV3网络模型结构图；
图5为基于迁移学习后的搅拌摩擦焊焊缝缺陷智能检测结果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例公开了一种针对小样本情况下的焊缝缺陷智能识别方法，具体处理流程如图1所示，包括如下步骤：
步骤1：首先对辅助集的熔焊焊缝图像以及支撑集的搅拌焊焊缝图像利用CLAHE(限制对比度的自适应直方图均衡化)的方法进行图像增强，改善图像偏暗的情况、凸出存在缺陷的细节部分。
具体为，步骤1的具体过程为：首先读取需要进行预处理的原始图像(辅助集以及支撑集图像)，相应示例如图2所示，然后首先将图像横竖均匀划分为n个子图像并获取其直方图函数：
h(rk)＝nk
其中，rk是区间[0，65535]内第k级的亮度，nk是图像中等于此亮度的像素数，同时定义rmin和rmax为图像中存在亮度的最大值和最小值。为方便后续计算，我们将直方图函数进行归一化，即将每一个元素h(rk)出图像中的像素总数n得到新的直方图函数：
为动态的调节图像直方图分布并要求图像细节完整保存，通过预先设定对比度限制权重以及图像增强权重，得到调整后的直方图分布函数P′(rk)以及图像增强后的灰度范围[r_newmin，r_newmax]。根据调整后的直方图分布函数给出灰度映射函数的最重要的直方图累积函数：
最终根据直方图均衡化的基本计算公式可以得出图像均衡化映射函数为：
分别对每一个子图像的像素点按照映射函数进行变换，得到新的像素值，子图像块之间的像素值利用双线性插值法进行优化。最后将处理后得到了多个灰度值矩阵拼成一个完整的灰度值矩阵的到增强后的输出图像，如图3所示。
步骤2：遍历所有处理过后的焊缝图像，对每张图像用包围框进行缺陷标注，获取矩形框的坐标与矩形框所包含缺陷的种类，形成最终的辅助集以及支撑集。
具体为，步骤2的具体过程为：对图像增强后的熔焊焊缝图像以及搅拌摩擦焊焊缝图像中的缺陷部分用矩形框进行标注，获取矩形框的中心点坐标，矩形框的宽度、高度，及矩形框所包含缺陷的种类；将熔焊焊缝图像标注后含有矩形框的中心点坐标、矩形框的宽度与高度、及矩形框所包含缺陷的种类的全部Xml文件作为辅助集。将搅拌摩擦焊焊缝图像标注后生成的全部Xm1文件作为支撑集。
将熔焊焊缝图像标注后生成的全部Xml文件集作为辅助集，其中缺陷种类一般为夹渣、大气孔、密集气孔以及未焊透。将搅拌摩擦焊焊缝图像标注后生成的全部Xml文件作为支撑集，其中缺陷一般为夹渣、线性缺陷以及隧道孔。
步骤3：基于Darknet-53卷积层构建特征提取网络用于对搅拌摩擦焊缺陷特征的学习，并以此结合缺陷位置、有无缺陷以及缺陷类型解耦的检测网络完成YoloV3多分类检测模型的搭建。
具体为，步骤3的具体过程为：搭建YoloV3多分类目标检测网络，具体网络结构如图4所示，其中采用Darknet-53卷积层为特征提取层，然后加上检测头完成整个网络的搭建。其中输入层：是数据进入神经网络的接口。可以将原始数据输入到神经网络中，并对数据格式进行预处理；卷积层：能够通过对输入数据执行卷积操作来提取出数据中的特征，是神经网络中常见的一种层；BN层：一种常见的神经网络技术，用于加速神经网络的训练。它可以将每层网络输入的分布强制调整为均值为0、方差为1的标准正态分布，并对这个调整后的数据进行线性变换和缩放，从而使得网络的训练更加有效；Relu激活层：由一种简单而常用的非线性激活函数，可以使网络的训练加速，并增加网络的非线性表示能力；DBL模块：是卷积层、BN层和Relu激活层组成的一种神经网络模块，通常用于提取图像特征；ResNet模块：通过残差学习的方式组合多个DBL模块，可以解决深层神经网络中梯度弥散和消失等问题；输出层：是网络的最后一层，起到输出网络结果的作用。
YoloV3多分类目标检测网络属于单阶段检测网络，采用Darknet-53卷积层构建特征提取层，然后加上缺陷位置、有无缺陷以及缺陷类型解耦的检测头完成整个网络的搭建。后续根据要检测的缺陷类别，修改YoloV3网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号。
步骤4：利用构建好的YoloV3多分类目标检测网络对步骤2得到的辅助集图像进行训练，直至模型训练误差趋于稳定，获得通过辅助集训练得到的特征提取网络以及解耦检测网络，其中特征提取网络用于后续支撑集的迁移学习。
具体为，步骤4的具体过程为：设置模型训练的超参数信息，将辅助集中数据尺寸调整至模型输入大小，根据辅助集的缺陷类别，修改YoloV3网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号，利用深度学习模型中的Darknet-53卷积层部分进行前期特征提取，得到的向量输入至搭建的解耦的检测头模型中，完成单次训练。后续不断迭代训练直至模型训练误差趋于稳定，最后得到迁移前的搅拌摩擦焊缺陷检测的模型。
步骤5：通过模型迁移的方法，直接用步骤4得到的特征提取网络对支撑集搅拌摩擦焊焊缝进行特征提取，并将提取到的特征输入至解耦检测网络中来预测缺陷的位置以及种类；然后不断迭代训练直至模型训练误差趋于稳定，最后获得整个基于迁移学习而来的YoloV3检测模型作为最后搅拌摩擦焊缺陷检测的模型。
具体为，步骤5的具体过程为：沿用步骤四说设置模型训练的超参数信息，将支撑集中数据尺寸调整至模型输入大小，根据支撑集的缺陷类别，修改YoloV3网络所能检测的总的缺陷类别，并为每一个要检测的缺陷类别分配固定的编号，利用步骤四训练得到的Darknet-53卷积层部分进行前期特征提取并将其冻结不参与后续训练，得到的向量输入至搭建的(解耦的)检测头模型中，完成单次训练。后续不断迭代训练直至模型训练误差趋于稳定，最后得到迁移后的搅拌摩擦焊缺陷检测的模型；
步骤6：待检测图像按照与步骤1中相同的图像增强方法进行增强后作为步骤5)获得的摩擦焊缺陷检测模型的输入，通过模型输出结果实时检测金属板带表面是否有缺陷，并对检测到的缺陷进行分类和定位；
具体为，步骤6的具体过程为：对待检测图像用预处理算法增强图像质量，并将检测图像尺寸调整至模型输入大小。针对处理后的图像调用训练好的搅拌摩擦焊缺陷检测模型进行预测，检测金属板带表面是否有缺陷以及缺陷的具体位置，并根据步骤4和步骤5中给缺陷分配固定的编号得出检测缺陷的具体分类；
将经过预处理算法增强图像的示例搅拌摩擦焊图像调整至缺陷检测模型输入大小。然后针对处理后的图像调用训练好的搅拌摩擦焊缺陷检测模型进行预测，检测焊缝图像是否有缺陷以及缺陷的具体位置，并根据步骤4和步骤5中给缺陷分配固定的编号得出检测缺陷的具体分类；具体检测结果如图5所示；
本发明公开了一种针对小样本情况下的焊缝缺陷智能识别方法，属于图像处理的缺陷智能识别领域。首先对待检测图像利用图像预处理方法增强图像对比度、改善图像偏暗的情况；然后基于Darknet-53卷积层构建特征提取网络用于对搅拌摩擦焊缺陷特征的学习，并以此结合缺陷位置、有无缺陷以及缺陷类型解耦的检测网络构建YoloV3的多分类检测模型。随后利用迁移学习的方式进行模型迁移，有效减低由于数据量少而且分布不均匀造成的检测性能差的影响，最后结合微调的训练方式快速训练YoloV3检测模型，最终实现对焊缝缺陷的精准检测。本发明对提出了一种针对小样本焊缝数字射线图像缺陷智能检测的方法，针对焊缝缺陷识别的实际需求，以及小样本的情况下缺陷检测效率低、精度差的问题，提出解决方案；
根据现有火箭搅拌摩擦焊焊缝图像可训练样本小的特点分析，本发明提出了一种针对小样本情况下的焊缝缺陷智能识别方法。首先依靠一种基于CLAHE的图像对比度增强技术，大幅度改善检测图像对比度低、光照不均匀等问题，然后根据样本量充足的熔焊焊缝图像制作YoloV3网络深度学习模型的辅助数据集并进行模型训练。在利用小样本的搅拌摩擦焊焊缝图像制作训练用的支撑数据集，利用迁移学习的方式进行模型迁移，有效减低由于数据量少而且分布不均匀造成的检测性能差的影响，结合微调的训练方式快速训练YoloV3检测模型。基于以上方法，可实现对火箭贮箱小样本搅拌摩擦焊缺陷的智能检测，改善人工判别质量，提高检测效率。
本发明还提供一种焊缝缺陷识别系统，所述焊缝缺陷识别系统可以通过执行所述焊缝缺陷识别方法的流程步骤予以实现，即本领域技术人员可以将所述焊缝缺陷识别方法理解为所述焊缝缺陷识别系统的优选实施方式。
该系统，包括如下模块：
图像增强模块：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像。对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
缺陷标注模块：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集。
检测模型搭建模块：通过特征提取网络以及解耦检测网络，搭建多分类检测模型。
辅助集训练模块：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络。
支撑集训练模块：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型。
缺陷识别模块：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种焊缝缺陷识别方法，其特征在于，包括如下步骤：
图像增强步骤：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；
缺陷标注步骤：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
检测模型搭建步骤：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
辅助集训练步骤：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；
支撑集训练步骤：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；
缺陷识别步骤：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
2.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述图像增强步骤中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
3.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述图像增强步骤中，将原始图像横竖均匀划分为n个子图像，并获取原始图像的直方图函数h(rk)：
h(rk)＝nk
其中，rk表示区间内第k级的亮度，nk表示原始图像中等于第k级的亮度的像素数；同时定义rmin为原始图像中存在亮度的最小值，rmax为原始图像中存在亮度的最大值；
将直方图函数进行归一化，将每一个元素h(rk)除以原始图像中的像素总数n得到新的直方图函数P(rk)：
动态调节图像新的直方图分布，预先设定对比度限制权重以及图像增强权重，得到调整后的直方图分布函数P′(rk)以及图像增强后的灰度范围 表示图像增强后的最小灰度；/>表示图像增强后的最大灰度；
根据调整后的直方图分布函数给出灰度映射函数的直方图累积函数Psum′(rk)：
根据直方图均衡化的基本计算公式得出图像均衡化映射函数fi(rk)为：
分别对每一个子图像的像素点按照映射函数进行变换，得到新的像素值，子图像块之间的像素值利用双线性插值法进行优化，得到多个灰度值图像；
将得到的多个灰度值图像进行拼接，得到增强后的输出图像。
4.根据权利要求2所述的焊缝缺陷识别方法，其特征在于，在所述缺陷标注步骤中，对图像增强后的熔焊焊缝图像以及搅拌摩擦焊焊缝图像中的缺陷部分使用包围框进行标注，将熔焊焊缝图像标注后生成的全部Xml文件作为最终辅助集；将搅拌摩擦焊焊缝图像标注后生成的全部Xml文件作为最终支撑集。
5.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述检测模型搭建步骤中，基于Darknet-53卷积层构建特征提取网络，通过构建的特征提取网络结合缺陷位置、有无缺陷以及缺陷类型解耦的检测网络，完成YoloV3多分类检测模型的搭建。
6.根据权利要求5所述的焊缝缺陷识别方法，其特征在于，在所述辅助集训练步骤中，将最终辅助集中数据尺寸调整至YoloV3多分类检测模型输入大小，根据最终辅助集的缺陷类别，修改YoloV3多分类检测模型所能检测的总的缺陷类别，并为每个需要检测的缺陷类别分配固定的编号，利用YoloV3多分类检测模型中的Darknet-53卷积层部分进行特征提取，得到的向量输入至搭建的解耦检测网络中，完成单次训练；后续不断迭代训练，得到迁移前的搅拌摩擦焊缺陷检测的模型。
7.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述支撑集训练步骤中，通过模型迁移，使用训练后的特征提取网络对支撑集中搅拌摩擦焊焊缝进行特征提取，并将提取到的特征输入至训练后的解耦检测网络中来预测缺陷的位置以及种类；然后不断迭代训练，最后获得基于迁移学习的多分类检测模型作为最后搅拌摩擦焊缺陷检测的模型。
8.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述支撑集训练步骤中，对待检测图像使用CLAHE进行图像增强处理，并将图像增强后的待检测图像尺寸调整至焊缝缺陷检测模型输入大小；
针对图像增强后的待检测图像调用训练好的焊缝缺陷检测模型进行预测，检测金属板带表面是否有缺陷，并给出缺陷的分类和定位。
9.一种焊缝缺陷识别系统，其特征在于，包括如下模块：
图像增强模块：读取辅助集和支撑集的原始图像，并进行图像增强处理，得到增强后的输出图像；
缺陷标注模块：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
检测模型搭建模块：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
辅助集训练模块：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；
支撑集训练模块：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；
缺陷识别模块：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
10.根据权利要求1所述的焊缝缺陷识别系统，其特征在于，在所述图像增强模块中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
CN202310458418.6A 2023-04-25 2023-04-25 焊缝缺陷识别方法及系统 Pending CN116563230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310458418.6A CN116563230A (zh) 2023-04-25 2023-04-25 焊缝缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310458418.6A CN116563230A (zh) 2023-04-25 2023-04-25 焊缝缺陷识别方法及系统

Publications (1)

Publication Number Publication Date
CN116563230A true CN116563230A (zh) 2023-08-08

Family

ID=87499280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310458418.6A Pending CN116563230A (zh) 2023-04-25 2023-04-25 焊缝缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN116563230A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173114A (zh) * 2023-08-28 2023-12-05 哈尔滨工业大学 一种基于图像重建的互连铟柱缺陷检测方法
CN117697119A (zh) * 2024-02-04 2024-03-15 上海耀焊科技有限公司 一种惯性摩擦焊机智能监测控制方法和设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173114A (zh) * 2023-08-28 2023-12-05 哈尔滨工业大学 一种基于图像重建的互连铟柱缺陷检测方法
CN117697119A (zh) * 2024-02-04 2024-03-15 上海耀焊科技有限公司 一种惯性摩擦焊机智能监测控制方法和设备
CN117697119B (zh) * 2024-02-04 2024-05-03 上海耀焊科技有限公司 一种惯性摩擦焊机智能监测控制方法和设备

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Zhu et al. Modified densenet for automatic fabric defect detection with edge computing for minimizing latency
CN116563230A (zh) 焊缝缺陷识别方法及系统
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN111368342A (zh) 图像篡改识别模型训练方法、图像篡改识别方法及装置
CN115393687A (zh) 一种基于双伪标签优化学习的rgb图像半监督目标检测方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN112070137B (zh) 训练数据集的生成方法、目标对象检测方法及相关设备
CN113240665A (zh) 一种基于深度学习的工业自动表面缺陷检测方法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN113012169A (zh) 一种基于非局部注意力机制的全自动抠图方法
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN111696079A (zh) 一种基于多任务学习的表面缺陷检测方法
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
CN113870236A (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN118115835A (zh) 导光板缺陷小样本数据扩充方法、系统、设备及存储介质
CN117975087A (zh) 一种基于ECA-ConvNext铸件缺陷识别方法
CN117593264A (zh) 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法
CN117853778A (zh) 一种基于改进的htc铸件dr图像缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination