CN117079100B - 一种基于深度学习的焊缝缺陷识别系统 - Google Patents

一种基于深度学习的焊缝缺陷识别系统 Download PDF

Info

Publication number
CN117079100B
CN117079100B CN202311021263.6A CN202311021263A CN117079100B CN 117079100 B CN117079100 B CN 117079100B CN 202311021263 A CN202311021263 A CN 202311021263A CN 117079100 B CN117079100 B CN 117079100B
Authority
CN
China
Prior art keywords
image
weld
module
control module
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311021263.6A
Other languages
English (en)
Other versions
CN117079100A (zh
Inventor
陈航
马兰
张超
范瑞峰
崔健
刘谋斌
罗琳
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202311021263.6A priority Critical patent/CN117079100B/zh
Publication of CN117079100A publication Critical patent/CN117079100A/zh
Application granted granted Critical
Publication of CN117079100B publication Critical patent/CN117079100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/08—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于深度学习的焊缝缺陷识别系统，包括摄像头模块、图像分析模块、厚度检测模块、截面图像生成模块、结果输出模块以及控制模块。图像分析模块基于深度学习技术对焊缝实时图像执行目标检测的操作以确定焊缝实时图像中的焊缝图像位置，基于深度学习的技术手段确定出的焊缝图像位置可以用于后续步骤中的厚度检测模块针对焊缝进行厚度检测过程中的快速定位；截面图像生成模块根据厚度检测模块所得到的厚度信息生成截面图像，并根据该截面图像确定焊缝缺陷评价指数，通过该焊缝缺陷评价指数确定出焊缝截面处是否存在缺陷，能够便捷地对焊缝截面处的缺陷进行识别。

Description

一种基于深度学习的焊缝缺陷识别系统
技术领域
本发明涉及焊接技术领域，尤其涉及一种基于深度学习的焊缝缺陷识别系统。
背景技术
专利CN114596309A公开了一种焊缝缺陷的检测、模型训练方法、系统、设备和存储介质，通过焊缝检测模型识别出焊接工件图像中的焊缝区域，通过缺陷检测模型对焊缝图像进行焊缝缺陷检测，能够高质量地从各种尺寸和拍摄角度的焊接工件图像识别出焊缝区域，并且能够准确地从焊缝区域对应的焊缝图像识别出焊缝缺陷信息，对大量的焊缝缺陷种类具有良好的判别性，提高了检测的准确性和精准度。
然而，上述技术方案的局限性在于仅能检测焊缝表面上的缺陷，而无法适用于检测焊缝截面处的缺陷。
可见，如何设计一款能够检测焊缝截面处的缺陷的系统，是亟需解决的技术问题。
发明内容
本发明所要解决的技术问题在于，提供一种基于深度学习的焊缝缺陷识别系统，能够检测焊缝截面处的缺陷。
为了解决上述技术问题，本发明公开了一种基于深度学习的焊缝缺陷识别系统，包括摄像头模块、图像分析模块、厚度检测模块、截面图像生成模块、结果输出模块以及控制模块，所述厚度检测模块、截面图像生成模块和结果输出模块分别与所述控制模块分别电连接，其中，所述控制模块执行的步骤包括：
所述控制模块控制所述摄像头模块获取焊缝实时图像；
所述控制模块控制所述图像分析模块基于深度学习技术对所述焊缝实时图像执行目标检测的操作以确定所述焊缝实时图像中的焊缝图像位置；
所述控制模块控制所述厚度检测模块检测与所述焊缝图像位置匹配的厚度检测目标的厚度信息；
所述控制模块控制所述截面图像生成模块根据所述厚度信息生成截面图像；
所述控制模块根据所述截面图像确定焊缝缺陷评价指数；
所述控制模块判定所述焊缝缺陷评价指数是否大于等于预先确定的焊缝缺陷评价指数阈值，若是，则所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处不存在缺陷的第二结果信息。
本发明公开的基于深度学习的焊缝缺陷识别系统中，图像分析模块基于深度学习技术对焊缝实时图像执行目标检测的操作以确定焊缝实时图像中的焊缝图像位置，基于深度学习的技术手段确定出的焊缝图像位置可以用于后续步骤中的厚度检测模块针对焊缝(即厚度检测模块的厚度检测目标)进行厚度检测过程中的快速定位；截面图像生成模块根据厚度检测模块所得到的厚度信息生成截面图像，并根据该截面图像确定焊缝缺陷评价指数，该焊缝缺陷评价指数用于确定对应的焊缝横截面处是否存在缺陷，其中，当判定出该焊缝缺陷评价指数大于等于预先确定的焊缝缺陷评价指数阈值时，控制模块控制结果输出模块输出表示与截面图像对应的焊缝截面处存在缺陷的第一结果信息，当判定出该焊缝缺陷评价指数小于预先确定的焊缝缺陷评价指数阈值时，控制模块控制结果输出模块输出表示与截面图像对应的焊缝截面处不存在缺陷的第二结果信息。可见，本发明公开的基于深度学习的焊缝缺陷识别系统能够根据焊缝缺陷评价指数确定出焊缝截面处是否存在缺陷，能够便捷地对焊缝截面处的缺陷进行识别。
作为一种可选的实施方式，本发明中，所述控制模块控制所述图像分析模块基于深度学习技术对所述焊缝实时图像执行目标检测的操作以确定所述焊缝实时图像中的焊缝图像位置的过程中所用到的深度卷积神经网络的网络模型为YOLO、R-CNN以及SSD当中的一种。
作为一种可选的实施方式，本发明中，所述控制模块根据所述截面图像确定焊缝缺陷评价指数，采用的公式如下：
式中，P表示焊缝缺陷评价指数，H表示焊接母材厚度，n表示用于确定所述焊缝缺陷评价指数的样本总数，i表示用于确定所述焊缝评价指数的样本序号，yi表示以焊接母材截面中线为横坐标、以焊接母材截面中线的垂线为纵坐标的坐标系中的所述截面图像的第i个样本在所述焊接母材上表面一侧的纵坐标值，yi ′以焊接母材截面中线为横坐标、以焊接母材截面中线的垂线为纵坐标的坐标系中的所述截面图像的第i个样本在所述焊接母材下表面一侧的纵坐标值。
作为一种可选的实施方式，本发明中，所述厚度检测模块由平移机构驱动，所述平移机构使得所述厚度检测模块在焊接母材表面平移，
所述控制模块控制所述厚度检测模块检测与所述焊缝图像位置匹配的厚度检测目标的厚度信息的过程中，所述厚度检测模块在焊缝两侧的其中一个焊接母材的表面平移并经过所述焊缝到达另一个焊接母材的表面以获取对应的厚度信息，其中，所述厚度信息包括所述厚度检测模块的平移量以及对应的厚度值。
作为一种可选的实施方式，本发明中，所述焊缝缺陷识别系统还包括与所述控制模块电连接的通信模块，所述通信模块用于与数据平台实现数据交互，
在所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第一结果信息或者所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第二结果信息之后，
所述控制模块执行的步骤还包括：
所述控制模块控制所述通信模块向所述数据平台发送表示焊缝缺陷识别的操作完成的报告信息，其中，所述报告信息包括所述第一结果信息或者所述第二结果信息。
作为一种可选的实施方式，本发明中，所述焊缝缺陷识别系统还包括与所述控制模块电连接的图像变换模块，
在所述控制模块控制所述摄像头模块获取焊缝实时图像之后，所述控制模块执行的步骤还包括：
所述控制模块控制所述图像变换模块对所述焊接实时图像执行霍夫变换的操作以确定焊缝图像宽度，
所述控制模块判定所述焊缝图像宽度是否属于预先确定的焊缝图像宽度范围，若是，则所述控制模块控制所述结果输出模块输出表示焊缝宽度检测结果正常的第三结果信息，若否，则所述控制模块控制所述结果输出模块输出表示焊缝宽度检测结果异常的第四结果信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于深度学习的焊缝缺陷识别系统的结构示意图；
图2是本发明实施例的控制模块的一种执行步骤的流程示意图；
图3是本发明实施例的焊接母材及焊缝的位置示意图；
图4是本发明实施例的焊缝横截面图像示意图；
图5是本发明实施例的焊缝横截面图像以及构建的坐标系；
图6是本发明实施例的控制模块的另一种执行步骤的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
实施例一
本发明公开了一种基于深度学习的焊缝缺陷识别系统，如图1所示，包括摄像头模块、图像分析模块、厚度检测模块、横截面图像生成模块、结果输出模块以及控制模块，厚度检测模块、横截面图像生成模块和结果输出模块分别与控制模块分别电连接。其中，如图2所示，控制模块执行的步骤包括：
S101、控制模块控制摄像头模块获取焊缝实时图像。
S102、控制模块控制图像分析模块基于深度学习技术对焊缝实时图像执行目标检测的操作以确定焊缝实时图像中的焊缝图像位置。其中，所用到的深度卷积神经网络的网络模型可以为YOLO、R-CNN以及SSD当中的一种。
S103、控制模块控制厚度检测模块检测与焊缝图像位置匹配的厚度检测目标的厚度信息。需要说明的是，本领域技术人员可以熟知的是根据张正友标定法能够将图像位置(即图像坐标)与现实空间位置(即世界坐标)相关联从而根据图像位置确定现实空间位置，即可以通过焊缝图像位置(即焊缝的图像坐标)确定出与之匹配的厚度检测目标的位置(即焊缝的世界坐标)。
S104、控制模块控制横截面图像生成模块根据厚度信息生成横截面图像。
S105、控制模块根据横截面图像确定焊缝缺陷评价指数。
S106、控制模块判定焊缝缺陷评价指数是否大于等于预先确定的焊缝缺陷评价指数阈值，若是，则执行步骤S107a，若否，则执行步骤S107b。
S107a、控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处存在内部缺陷的第一结果信息。
S107b、控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处不存在内部缺陷的第二结果信息。
本发明公开的基于深度学习的焊缝缺陷识别系统中，图像分析模块基于深度学习技术对焊缝实时图像执行目标检测的操作以确定焊缝实时图像中的焊缝图像位置，基于深度学习的技术手段确定出的焊缝图像位置可以用于后续步骤中的厚度检测模块针对焊缝(即厚度检测模块的厚度检测目标)进行厚度检测过程中的快速定位；横截面图像生成模块根据厚度检测模块所得到的厚度信息生成横截面图像，并根据该横截面图像确定焊缝缺陷评价指数，该焊缝缺陷评价指数用于确定对应的焊缝横横截面处是否存在缺陷，其中，当判定出该焊缝缺陷评价指数大于等于预先确定的焊缝缺陷评价指数阈值时，控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处存在缺陷的第一结果信息，当判定出该焊缝缺陷评价指数小于预先确定的焊缝缺陷评价指数阈值时，控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处不存在缺陷的第二结果信息。可见，本发明公开的基于深度学习的焊缝缺陷识别系统能够根据焊缝缺陷评价指数确定出焊缝横截面处是否存在缺陷，能够便捷地对焊缝横截面处的缺陷进行识别。
实施例二
步骤S103中用到的厚度检测模块可以包括测厚仪。可选的，在该厚度检测模块可以从焊缝一侧的焊接母材向靠近该焊缝的一侧平移，并经过该焊缝后，到达该焊缝另一侧的焊接母材，在上述平移过程中，测厚仪依次检测焊缝一侧的焊接母材、焊缝以及焊缝另一侧的焊接母材的厚度。进一步可选的，该测厚仪可以在上述平移过程中以预先确定的检测时间间隔进行厚度检测的操作。
又进一步可选的，厚度检测模块在进行厚度检测的过程中，可以由平移机构驱动，以提高厚度检测过程中的自动化程度。具体地，厚度检测模块由平移机构驱动，平移机构使得厚度检测模块在焊接母材表面平移，以及，控制模块控制厚度检测模块检测与焊缝图像位置匹配的厚度检测目标的厚度信息的过程中，厚度检测模块在焊缝两侧的其中一个焊接母材的表面平移并经过焊缝到达另一个焊接母材的表面以获取对应的厚度信息，上述的两个焊接母材以及该焊接母材之间的焊缝的位置可以如图3所示。其中，该厚度信息包括厚度检测模块的平移量以及对应的厚度值。可以理解的是，该平移量可以用于表示厚度检测模块检测的位置。
相应地，步骤S104中所生成的横截面图像可以是如图4所示，其中横坐标为厚度检测模块的平移量，纵坐标为厚度值。
实施例三
为了提高确定焊缝缺陷评价指数过程的效率，步骤S105中关于控制模块根据横截面图像确定焊缝缺陷评价指数，所采用的公式可以如下：
式中，P表示焊缝缺陷评价指数，H表示焊接母材厚度，n表示用于确定焊缝缺陷评价指数的样本总数，i表示用于确定焊缝评价指数的样本序号，yi表示以焊接母材横截面中线为横坐标、以焊接母材横截面中线的垂线为纵坐标的坐标系中的横截面图像的第i个样本在焊接母材上表面一侧的纵坐标值，yi ′以焊接母材横截面中线为横坐标、以焊接母材横截面中线的垂线为纵坐标的坐标系中的横截面图像的第i个样本在焊接母材下表面一侧的纵坐标值。
可以参照图5所示的焊缝横截面图像以及所构建的坐标系，以更加清楚地了解基于上述公式而确定焊缝缺陷评价指数的过程。其中，焊接母材横截面中线为横坐标、焊接母材横截面中线的垂线为纵坐标，焊接母材厚度为H，xi为第i个样本对应的厚度检测模块的平移量，yi为其对应的焊接母材上表面一侧的纵坐标值，yi ′为其对应的焊接母材下表面一侧的纵坐标值。
为了使得该焊缝缺陷识别系统具备与外部设备的通信功能，如图1所示，焊缝缺陷识别系统还包括与控制模块电连接的通信模块，进一步的，通信模块用于与数据平台实现数据交互。又进一步的，关于焊缝缺陷识别的结果可以通过该通信模块向该数据平台发送，以便于统计在生产过程中的产品合格率。
在控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处存在缺陷的第一结果信息或者控制模块控制结果输出模块输出表示与横截面图像对应的焊缝横截面处存在缺陷的第二结果信息之后，控制模块执行的步骤还包括：
S108、控制模块控制通信模块向数据平台发送表示焊缝缺陷识别的操作完成的报告信息。其中，报告信息包括第一结果信息或者第二结果信息。
为了对焊缝的检测更加全面，该焊缝缺陷识别系统还可以对于焊缝的宽度进行判定。可选的，如图1所示，焊缝缺陷识别系统还包括与控制模块电连接的图像变换模块，以及在控制模块控制摄像头模块获取焊缝实时图像(如图6所示的步骤S201)之后，如图6所示，控制模块执行的步骤还包括：
S202、控制模块控制图像变换模块对焊接实时图像执行霍夫变换的操作以确定焊缝图像宽度。霍夫变换适用于对图像的直线检测，步骤S202可以检测出图像中的焊缝与焊接母材连接处近似于直线的边界，那么，焊缝实时图像中的焊缝两侧的边界之间的宽度即为焊缝图像宽度。
S203、控制模块判定焊缝图像宽度是否属于预先确定的焊缝图像宽度范围。若是，则执行步骤S204a，若否，则执行步骤S204b。
S204a、控制模块控制结果输出模块输出表示焊缝宽度检测结果正常的第三结果信息。
S204b、控制模块控制结果输出模块输出表示焊缝宽度检测结果异常的第四结果信息。
最后应说明的是：本发明实施例公开的一种基于深度学习的焊缝缺陷识别系统中，所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述的实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (5)

1.一种基于深度学习的焊缝缺陷识别系统，其特征在于，包括摄像头模块、图像分析模块、厚度检测模块、截面图像生成模块、结果输出模块以及控制模块，所述厚度检测模块、截面图像生成模块和结果输出模块分别与所述控制模块分别电连接，其中，所述控制模块执行的步骤包括：
所述控制模块控制所述摄像头模块获取焊缝实时图像；
所述控制模块控制所述图像分析模块基于深度学习技术对所述焊缝实时图像执行目标检测的操作以确定所述焊缝实时图像中的焊缝图像位置；
所述控制模块控制所述厚度检测模块检测与所述焊缝图像位置匹配的厚度检测目标的厚度信息；
所述控制模块控制所述截面图像生成模块根据所述厚度信息生成截面图像；
所述控制模块根据所述截面图像确定焊缝缺陷评价指数；
所述控制模块判定所述焊缝缺陷评价指数是否大于等于预先确定的焊缝缺陷评价指数阈值，若是，则所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处不存在缺陷的第二结果信息；
所述控制模块根据所述截面图像确定焊缝缺陷评价指数，采用如下算法：
；
式中，表示焊缝缺陷评价指数，/>表示焊接母材厚度，/>表示用于确定所述焊缝缺陷评价指数的样本总数，/>表示用于确定所述焊缝评价指数的样本序号，/>表示以焊接母材截面中线为横坐标、以焊接母材截面中线的垂线为纵坐标的坐标系中的所述截面图像的第i个样本在所述焊接母材上表面一侧的纵坐标值，/>以焊接母材截面中线为横坐标、以焊接母材截面中线的垂线为纵坐标的坐标系中的所述截面图像的第i个样本在所述焊接母材下表面一侧的纵坐标值。
2.根据权利要求1所述的基于深度学习的焊缝缺陷识别系统，其特征在于，所述控制模块控制所述图像分析模块基于深度学习技术对所述焊缝实时图像执行目标检测的操作以确定所述焊缝实时图像中的焊缝图像位置的过程中所用到的深度卷积神经网络的网络模型为YOLO、R-CNN以及SSD当中的一种。
3.根据权利要求2所述的基于深度学习的焊缝缺陷识别系统，其特征在于，所述厚度检测模块由平移机构驱动，所述平移机构使得所述厚度检测模块在焊接母材表面平移，
所述控制模块控制所述厚度检测模块检测与所述焊缝图像位置匹配的厚度检测目标的厚度信息的过程中，所述厚度检测模块在焊缝两侧的其中一个焊接母材的表面平移并经过所述焊缝到达另一个焊接母材的表面以获取对应的厚度信息，其中，所述厚度信息包括所述厚度检测模块的平移量以及对应的厚度值。
4.根据权利要求3所述的基于深度学习的焊缝缺陷识别系统，其特征在于，所述焊缝缺陷识别系统还包括与所述控制模块电连接的通信模块，所述通信模块用于与数据平台实现数据交互，
在所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第一结果信息或者所述控制模块控制所述结果输出模块输出表示与所述截面图像对应的焊缝截面处存在缺陷的第二结果信息之后，
所述控制模块执行的步骤还包括：
所述控制模块控制所述通信模块向所述数据平台发送表示焊缝缺陷识别的操作完成的报告信息，其中，所述报告信息包括所述第一结果信息或者所述第二结果信息。
5.根据权利要求4所述的基于深度学习的焊缝缺陷识别系统，其特征在于，所述焊缝缺陷识别系统还包括与所述控制模块电连接的图像变换模块，
在所述控制模块控制所述摄像头模块获取焊缝实时图像之后，所述控制模块执行的步骤还包括：
所述控制模块控制所述图像变换模块对所述焊接实时图像执行霍夫变换的操作以确定焊缝图像宽度，
所述控制模块判定所述焊缝图像宽度是否属于预先确定的焊缝图像宽度范围，若是，则所述控制模块控制所述结果输出模块输出表示焊缝宽度检测结果正常的第三结果信息，若否，则所述控制模块控制所述结果输出模块输出表示焊缝宽度检测结果异常的第四结果信息。
CN202311021263.6A 2023-08-14 2023-08-14 一种基于深度学习的焊缝缺陷识别系统 Active CN117079100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311021263.6A CN117079100B (zh) 2023-08-14 2023-08-14 一种基于深度学习的焊缝缺陷识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311021263.6A CN117079100B (zh) 2023-08-14 2023-08-14 一种基于深度学习的焊缝缺陷识别系统

Publications (2)

Publication Number Publication Date
CN117079100A CN117079100A (zh) 2023-11-17
CN117079100B true CN117079100B (zh) 2024-02-09

Family

ID=88707279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311021263.6A Active CN117079100B (zh) 2023-08-14 2023-08-14 一种基于深度学习的焊缝缺陷识别系统

Country Status (1)

Country Link
CN (1) CN117079100B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441329A (zh) * 2019-08-12 2019-11-12 广东工业大学 一种基于深度学习的激光焊接缺陷识别方法、装置及设备
CN111724369A (zh) * 2020-06-17 2020-09-29 北京智机科技有限公司 一种u型焊缝检测方法
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN116205877A (zh) * 2023-02-24 2023-06-02 南京工业大学 一种基于深度强化学习的焊缝表面缺陷智能检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441329A (zh) * 2019-08-12 2019-11-12 广东工业大学 一种基于深度学习的激光焊接缺陷识别方法、装置及设备
CN111724369A (zh) * 2020-06-17 2020-09-29 北京智机科技有限公司 一种u型焊缝检测方法
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
CN116205877A (zh) * 2023-02-24 2023-06-02 南京工业大学 一种基于深度强化学习的焊缝表面缺陷智能检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X射线焊缝图像缺陷检测算法综述;王思宇;高炜欣;张翔松;;热加工工艺(15);全文 *
基于NDT的射线技术对焊接内部缺陷识别技术优化;李钢卿 等;《 粘接》;第50卷(第1期);全文 *

Also Published As

Publication number Publication date
CN117079100A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
WO2021169335A1 (zh) 一种锂电池极耳激光焊点视觉在线检测方法
CN108765378B (zh) 基于g代码引导下工件轮廓飞边凸起的机器视觉检测方法
CN110773840B (zh) 焊接偏差测定方法、装置和自动焊接系统
CN116423005B (zh) 一种提高焊接精度的锡焊工艺优化方法及系统
CN112017173B (zh) 基于目标检测网络和结构化定位的电力设备缺陷检测方法
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN112171057B (zh) 基于激光焊接的质量检测方法、装置及存储介质
CN112365491A (zh) 容器焊缝检测的方法、电子设备及存储介质
CN114119595A (zh) 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法
CN108876771B (zh) 一种咬边焊接缺陷的检测方法
CN116337871A (zh) 一种动力电池焊缝检测方法、系统、设备及存储介质
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN117079100B (zh) 一种基于深度学习的焊缝缺陷识别系统
CN114581368A (zh) 一种基于双目视觉的棒材焊牌方法及装置
CN112101137B (zh) 用于爬壁机器人导航的焊缝识别与路径提取的方法
CN116342559A (zh) 集流盘焊接质量检测方法、装置、电子设备及存储介质
CN113744269B (zh) 圆柱电芯焊接质量检测方法、装置、电子设备及存储介质
CN116434258A (zh) 一种表格数据的自动识别方法
CN110608684A (zh) 一种单层多道焊缝堆积熔敷效果检测方法及系统
CN109059813A (zh) 一种起重机械钢结构腐蚀强度检测方法
CN113984909A (zh) 一种基于机器学习的绝缘设备缺陷识别及成像方法
CN112129774A (zh) 一种焊接未熔合缺陷在线检测方法
CN116773547B (zh) 一种基于多模态的焊缝缺陷检测方法
CN117291874B (zh) 用于铜公测量的自动分中方法及其系统
CN117557563B (zh) 一种焊接缺陷识别检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant