CN116843657A - 基于注意力融合的焊接缺陷检测方法及装置 - Google Patents

基于注意力融合的焊接缺陷检测方法及装置 Download PDF

Info

Publication number
CN116843657A
CN116843657A CN202310828569.6A CN202310828569A CN116843657A CN 116843657 A CN116843657 A CN 116843657A CN 202310828569 A CN202310828569 A CN 202310828569A CN 116843657 A CN116843657 A CN 116843657A
Authority
CN
China
Prior art keywords
welding
layer
welding defect
image
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310828569.6A
Other languages
English (en)
Inventor
杨磊
白素丽
李星宇
刘艳红
霍本岩
吴振龙
李方圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202310828569.6A priority Critical patent/CN116843657A/zh
Publication of CN116843657A publication Critical patent/CN116843657A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于注意力融合的焊接缺陷检测方法及装置，涉及焊接缺陷检测技术领域，包括：视觉传感器，用于获取带有焊接缺陷的图像；预处理模块，用于对带有焊接缺陷的图像进行预处理；缺陷标注模块，用于对预处理后的图像进行焊接缺陷标注，获得数据集；训练模块，用于利用数据集对分割网络进行训练，获得最终分割网络；检测模块，用于对待分割焊接图像进行缺陷识别。本发明通过多维注意力网络单元，使分割网络产生更具分辨性的特征，从而提高了分割网络对缺陷部位的检测能力；还利用自适应特征融合单元，自动生成多尺度特征融合权重，有效地增强网络对关键尺度信息的关注度，实现多尺度特征的有效融合。

Description

基于注意力融合的焊接缺陷检测方法及装置
技术领域
本发明涉及焊接缺陷检测技术领域，更具体的说是涉及一种基于注意力融合的焊接缺陷检测方法及装置。
背景技术
焊接缺陷常出现于各种工业产品的生产制造过程中，如咬边、焊瘤、表面裂纹、气孔、夹渣及焊穿等，其产生远不止影响产品的美观和舒适度，对于后续产品的性能、使用寿命也有较大的损害。焊接技术的发展与现代先进制造业发展密切相关，特别是航空航天、船舶制造、核电等高端制造业，对于焊接质量有着极高的要求。因此，焊接缺陷的准确识别和检测任务是工业生产过程中品控的关键环节，其可以很好地服务于产品质量控制和焊接工艺分析，同时，它也可以为常规的工业产品的保养和修护提供精准的决策信息。但是面临弱纹理、弱对比度的工业图像以及类不均衡的缺陷检测任务，如何实现准确地焊接缺陷检测是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于注意力融合的焊接缺陷检测方法及装置，克服了上述缺陷。
为了实现上述目的，本发明提供如下技术方案：
一种基于注意力融合的焊接缺陷检测装置，包括：
视觉传感器，用于获取带有焊接缺陷的图像；
预处理模块，用于对带有焊接缺陷的图像进行预处理；
缺陷标注模块，用于对预处理后的图像进行焊接缺陷标注，获得数据集；
训练模块，用于利用数据集对分割网络进行训练，获得最终分割网络；
检测模块，用于对待分割焊接图像进行缺陷识别。
可选的，分割网络基于编码器-解码器的网络结构构建，包括依次连接的编码单元、解码单元和自适应多尺度特征融合单元。
可选的，编码单元包括多个编码模块，编码模块包括依次连接的卷积层、批归一化层、整流线性单元层、卷积层、批归一化层和整流线性单元层；多个编码模块通过最大池化操作连接。
可选的，卷积层为3*3卷积。
可选的，解码单元包括多个编码模块，编码模块包括依次连接两个3*3卷积和一个上采样层，每个3*3卷积后面连接有批归一化层和整流线性单元层。
可选的，编码单元与解码单元之间还引入了多维注意力网络单元和多尺度特征跳跃连接单元。
可选的，多维注意力网络单元包括依次连接的全局平均池化层、卷积层和Sigmoid函数。
可选的，多尺度特征跳跃连接单元包括依次相连的1*1卷积、上采样层、1*1卷积和下采样层。
可选的，自适应多尺度特征融合单元包括依次连接的全局池化层、1*1卷积以及Sigmoid函数。
一种基于注意力融合的焊接缺陷检测方法，具体步骤为：
获取带有焊接缺陷的图像，并对带有焊接缺陷的图像进行预处理；
对预处理后的图像进行焊接缺陷标注，获得数据集；
利用数据集对分割网络进行训练，获得最终分割网络；
利用最终分割网络对待分割焊接图像进行缺陷识别。
经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于注意力融合的焊接缺陷检测方法及装置，设计了多维注意力网络单元，使分割网络产生更具分辨性的特征，增强分割网络对焊接缺陷区域的特征表达能力，从而提高了分割网络对缺陷部位的检测能力。且利用多尺度特征跳跃连接单元，实现多尺度特征信息的有效聚合，更好地服务于解码器单元的特征重建。此外，利用自适应特征融合单元，自动生成多尺度特征融合权重，可以有效地增强网络对关键尺度信息的关注度，实现多尺度特征的有效融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图；
图2为本发明的装置结构示意图；
图3为多维注意力单元的结构示意图；
图4为多尺度特征跳跃连接单元的结构示意图；
图5为自适应特征融合单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于注意力融合的焊接缺陷检测方法，如图1所示，具体步骤为：
步骤1、获取带有焊接缺陷的图像，并对带有焊接缺陷的图像进行预处理；
步骤2、预处理后的图像进行焊接缺陷标注，获得数据集；
步骤3、利用数据集对分割网络进行训练，获得最终分割网络；
步骤4、利用最终分割网络对待分割焊接图像进行缺陷识别。
其中，步骤1中带有焊接缺陷的图像是基于视觉传感器从焊接作业现场中获取的，获取后通过线性变换、伽马变换、直方图均衡化、图像归一化等图像处理算子来进行数据增强，并将图像的大小转化为统一规格(256*256)，用于网络训练。
在步骤2中，使用Lableme软件对焊接缺陷部位进行精确的像素级的数据标注，完成数据集的制作，并将数据集划分为训练集、验证集和测试集三部分，其中训练集用于网络训练；验证集用于验证网络的性能，并可通过交叉验证的方式进行网络调参；测试集用于测试所训练的分割网络的分割性能。
在步骤3中，对分割网络，是基于编码器-解码器的网络结构，如图2所示，编码模块包括双层叠加的模块，该模块包括依次连接的一个3*3的卷积层、一个批归一化(BN)层和一个整流线性单元(ReLU)，以此来获得大的接受野。通过最大池化操作把四个通道数不同的编码模块连接起来构成分割网络的编码单元。同样地，解码器同样采用一个四层的网络结构，每个单元包含两个3*3卷积和一个上采样层，每个3*3卷积后面也跟着一个批归一化(BN)层和一个整流线性单元(ReLU)。
本实施例中，为了使分割网络产生更具分辨性的特征和增强分割网络对焊接缺陷区域的特征表达能力，引入了多维注意力网络单元如图3所示，使分割网络更好地聚焦于缺陷区域的特征表达，降低背景图像的干扰，从而提高网络的分割性能。具体地，通过全局平均池化，7*7卷积和一个Sigmoid函数获取空间注意力权重，并应用到输入特征上，实现注意力特征的提取，增强分割网络对焊接缺陷区域的特征表达能力，此外，此次基础上，分别将其应用到H方向和W方向，实现竖直方向和水平方向的注意力特征提取，以构建多维注意力单元，实现对线性缺陷的边沿感知。
同时，还引入了一种多尺度特征跳跃连接单元如图4所示，多尺度特征跳跃连接单元通过1*1卷积操作实现通道数归一化和上采样操作实现尺度一致化，然后把尺度一致的特征图进行特征串联，实现多尺度特征的聚合，接着通过下采样和1*1卷积操作，将串联的特征恢复至原始的特征通道数和尺度，重新采样为符合原始尺寸与通道数的图像特征，用于增强上下文语义信息，实现全局语义信息和局部细节信息的有效聚合，更好地服务于解码器单元的特征重建。
此外，为了增强网络对多尺度焊接缺陷的感知能力，引入一种自适应特征融合单元如图5所示，不同网络层生成的具有不同尺度的特征图被串联在一起，通过权重学习机制为不同尺度的特征图赋予不同的权重。其中，权重学习机制具体表现为，首先将特征串联后的特征图进行全局池化操作(最大池化和平均池化)，以获取特征描述子，接着使用1*1卷积和Sigmoid函数，自动生成多尺度特征融合权重，引导分割网络选择性学习不同尺度的特征，其可以有效地增强网络对关键尺度信息的关注度，实现多尺度特征的有效融合。然后，把每个尺度的特征图对应的权重与其元素相乘，相乘后的特征图对应元素相加在一起输出，实现自适应的多尺度特征融合。保存训练的模型参数和分割网络模型，用于对待分割焊接图像中焊接缺陷的精确检测和分割。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于注意力融合的焊接缺陷检测装置，其特征在于，包括：
视觉传感器，用于获取带有焊接缺陷的图像；
预处理模块，用于对带有焊接缺陷的图像进行预处理；
缺陷标注模块，用于对预处理后的图像进行焊接缺陷标注，获得数据集；
训练模块，用于利用数据集对分割网络进行训练，获得最终分割网络；
检测模块，用于对待分割焊接图像进行缺陷识别。
2.根据权利要求1所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，分割网络基于编码器-解码器的网络结构构建，包括依次连接的编码单元、解码单元和自适应多尺度特征融合单元。
3.根据权利要求2所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，编码单元包括多个编码模块，编码模块包括依次连接的卷积层、批归一化层、整流线性单元层、卷积层、批归一化层和整流线性单元层；多个编码模块通过最大池化操作连接。
4.根据权利要求3所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，卷积层为3*3卷积。
5.根据权利要求2所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，解码单元包括多个编码模块，编码模块包括依次连接两个3*3卷积和一个上采样层，每个3*3卷积后面连接有批归一化层和整流线性单元层。
6.根据权利要求2所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，编码单元与解码单元之间还引入了多维注意力网络单元和多尺度特征跳跃连接单元。
7.根据权利要求6所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，多维注意力网络单元包括依次连接的全局平均池化层、卷积层和Sigmoid函数。
8.根据权利要求6所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，多尺度特征跳跃连接单元包括依次相连的1*1卷积、上采样层、1*1卷积和下采样层。
9.根据权利要求2所述的一种基于注意力融合的焊接缺陷检测装置，其特征在于，自适应多尺度特征融合单元包括依次连接的全局池化层、1*1卷积以及Sigmoid函数。
10.一种基于注意力融合的焊接缺陷检测方法，其特征在于，具体步骤为：
获取带有焊接缺陷的图像，并对带有焊接缺陷的图像进行预处理；
对预处理后的图像进行焊接缺陷标注，获得数据集；
利用数据集对分割网络进行训练，获得最终分割网络；
利用最终分割网络对待分割焊接图像进行缺陷识别。
CN202310828569.6A 2023-07-07 2023-07-07 基于注意力融合的焊接缺陷检测方法及装置 Pending CN116843657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310828569.6A CN116843657A (zh) 2023-07-07 2023-07-07 基于注意力融合的焊接缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310828569.6A CN116843657A (zh) 2023-07-07 2023-07-07 基于注意力融合的焊接缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN116843657A true CN116843657A (zh) 2023-10-03

Family

ID=88168585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310828569.6A Pending CN116843657A (zh) 2023-07-07 2023-07-07 基于注意力融合的焊接缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN116843657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173182A (zh) * 2023-11-03 2023-12-05 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173182A (zh) * 2023-11-03 2023-12-05 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质
CN117173182B (zh) * 2023-11-03 2024-03-19 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN113674247B (zh) 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN115829999A (zh) 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN112102281B (zh) 基于改进Faster Rcnn的货车制动缸故障检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111754507A (zh) 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置
CN114332008B (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN116051549A (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN117197530A (zh) 一种基于改进YOLOv8模型及余弦退火学习率衰减法的绝缘子缺陷识别方法
CN116309398A (zh) 一种多通道特征融合学习的印制电路板小目标缺陷检测方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN115631197A (zh) 一种图像处理方法、装置、介质、设备及系统
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN112001396B (zh) 一种轴承表面形变及文字混合缺陷图像检测方法
CN115587989A (zh) 一种工件ct图像缺陷检测分割方法及系统
CN114494236A (zh) 基于过完备卷积神经网络的织物缺陷检测方法及系统
CN114882047A (zh) 一种基于半监督与Transformers的医学图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination