CN114549472A - 一种基于深度学习的焊缝图像缺陷的检测方法 - Google Patents
一种基于深度学习的焊缝图像缺陷的检测方法 Download PDFInfo
- Publication number
- CN114549472A CN114549472A CN202210168502.XA CN202210168502A CN114549472A CN 114549472 A CN114549472 A CN 114549472A CN 202210168502 A CN202210168502 A CN 202210168502A CN 114549472 A CN114549472 A CN 114549472A
- Authority
- CN
- China
- Prior art keywords
- weldment
- image
- welding seam
- data
- weld
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 238000003466 welding Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的焊缝图像缺陷的检测方法，包括将带有焊缝的焊件通过人工识别分类得到包含不同焊缝类型的焊件；获取分类后焊件的图像数据并经过预处理转换为焊件图像，然后将焊件图像按照焊缝类型分类存储并进行随机打乱形成焊缝数据集；通过使用tenserflow调用ResNet50网络模型，将焊缝数据集分为测试集、训练集、验证集并将训练集数据输入ResNet50网络模型对模型训练；将带有焊缝的焊件的图像输入经过训练的ResNet50网络模型，通过网络模型判断输出焊件的焊缝类型。采用本方法效率得到提高。
Description
技术领域
本发明涉及焊缝图像缺陷的检测方法，具体涉及基于深度学习的焊缝图像缺陷的检测方法。
背景技术
随着工业的不断发展，各行各业对所需设备的数量以及质量要求的不断提高，这就对材料的质量和结构要求更加严格。焊接作为传统工艺上的基本连接方法，在机械制造、石油化工、航空航天等众多领域都有广泛的应用。然而由于受到焊接环境因素的影响，焊接过程中经常会产生裂纹、气孔、错边等各种缺陷问题，进而影响焊件的质量以及结构性能。在传统的焊缝缺陷检测中，主要依赖人工对每个焊件进行逐个的检查。这种方法依赖于个人经验，易受个人主观影响，且效率低下，不能满足工业化生产的需求，所以使用有效的方法检测焊缝轮廓缺陷已迫在眉睫。
目前，关于焊缝图像缺陷的检测方法已经有了许多方案，例如中国专利申请号CN202011091643.3、中国专利申请号CN202110965549.4均使用了X射线对焊缝图像进行收集，并通过深度学习网络模型对缺陷进行检测，这些发明虽在一定程度上提高了焊缝缺陷检测精度，但需要编写复杂算法来对焊缝图像缺陷进行检测。
中国专利CN202110203174.8公开了一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，有效解决了焊缝数据不平衡、缺陷特征选择以及数据高维等技术难点，实现了船舶焊缝缺陷的高效和有效检测。但是该发明仅使用13层深度卷积神经网络，其中对焊缝图像特征提取不是特别精细。
发明内容
本发明的目的在于克服已有技术的缺点，提供一种准确性和效率得到显著提高的基于深度学习的焊缝图像缺陷的检测方法。
为实现上述目的，本发明提供如下技术方案：
本发明的一种基于深度学习的焊缝图像缺陷的检测方法，包括以下步骤：
步骤一、将带有焊缝的焊件通过人工识别分类得到包含不同焊缝类型的焊件，不同焊缝类型的焊件可以包括具有正常焊缝的焊件、带有错边缺陷焊缝的焊件、带有裂缝缺陷焊缝的焊件、带有气孔缺陷焊缝的焊件；
步骤二、获取分类后焊件的图像数据并经过预处理转换为焊件图像，然后将焊件图像按照焊缝类型分类存储并进行随机打乱形成焊缝数据集；
步骤三、通过使用tensorflow调用ResNet50网络模型，将焊缝数据集分为测试集、训练集、验证集并将训练集数据输入ResNet50网络模型对模型训练，在训练过程中采用多分类交叉熵损失函数，用来评测训练得到的概率分布与真实值之间的差异；训练结束后采用测试集数据和验证集数据对模型验证；
步骤四、将带有焊缝的焊件的图像输入经过训练的ResNet50网络模型，通过ResNet50 网络模型判断输出焊件的焊缝类型。
与现有技术相比，本发明具有以下优势：
本发明方法相对于人工检查来说ResNet50训练出的标准统一，不依赖个人经验，而且不会受主观因素的影响，效率得到提高。最后当需要知道某个焊件缺陷的类型时，将焊件图像传入到已训练好的模型中，模型能够给出焊件缺陷的具体类型。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于深度学习的焊缝图像缺陷的检测方法，包括以下步骤：
步骤一、将带有焊缝的焊件通过人工识别分类得到包含不同焊缝类型的焊件，不同焊缝类型的焊件可以包括具有正常焊缝的焊件、带有错边缺陷焊缝的焊件、带有裂缝缺陷焊缝的焊件、带有气孔缺陷焊缝的焊件等；
步骤二、获取分类后焊件的图像数据并经过预处理转换为焊件图像，然后将焊件图像按照焊缝类型分类存储并进行随机打乱形成焊缝数据集；
所述的步骤二具体可以包括以下步骤：
通过激光测距仪利用激光扫描每个焊件轮廓数据，将数据处理转换成灰度图，即转换成焊件图像，并将焊件图像按照焊缝类型打上标签并进行随机打乱。
步骤三、通过使用tensorflow调用ResNet50网络模型，将焊缝数据集分为测试集、训练集、验证集并将训练集数据输入ResNet50网络模型对模型训练，在训练过程中采用多分类交叉熵损失函数，用来评测训练得到的概率分布与真实值之间的差异。交叉熵损失函数表明实际得到的值与期望值之间的距离，即交叉熵值越大概率分布就越偏离，交叉熵值越小概率分布越接近。训练结束后采用测试集数据和验证集数据对模型验证；
步骤四、将带有焊缝的焊件的图像输入经过训练的ResNet50网络模型，通过ResNet50 网络模型判断输出焊件的焊缝类型。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种基于深度学习的焊缝图像缺陷的检测方法，其特征在于包括以下步骤：
步骤一、将带有焊缝的焊件通过人工识别分类得到包含不同焊缝类型的焊件，不同焊缝类型的焊件可以包括具有正常焊缝的焊件、带有错边缺陷焊缝的焊件、带有裂缝缺陷焊缝的焊件、带有气孔缺陷焊缝的焊件；
步骤二、获取分类后焊件的图像数据并经过预处理转换为焊件图像，然后将焊件图像按照焊缝类型分类存储并进行随机打乱形成焊缝数据集；
步骤三、通过使用tensorflow调用ResNet50网络模型，将焊缝数据集分为测试集、训练集、验证集并将训练集数据输入ResNet50网络模型对模型训练，在训练过程中采用多分类交叉熵损失函数，用来评测训练得到的概率分布与真实值之间的差异；训练结束后采用测试集数据和验证集数据对模型验证；
步骤四、将带有焊缝的焊件的图像输入经过训练的ResNet50网络模型，通过ResNet50网络模型判断输出焊件的焊缝类型。
2.根据权利要求1所述的基于深度学习的焊缝图像缺陷的检测方法，其特征在于：所述的步骤二具体可以包括以下步骤：通过激光测距仪利用激光扫描每个焊件轮廓数据，将数据处理转换成灰度图，即转换成焊件图像，并将焊件图像按照焊缝类型打上标签并进行随机打乱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168502.XA CN114549472A (zh) | 2022-02-23 | 2022-02-23 | 一种基于深度学习的焊缝图像缺陷的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168502.XA CN114549472A (zh) | 2022-02-23 | 2022-02-23 | 一种基于深度学习的焊缝图像缺陷的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549472A true CN114549472A (zh) | 2022-05-27 |
Family
ID=81676886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210168502.XA Pending CN114549472A (zh) | 2022-02-23 | 2022-02-23 | 一种基于深度学习的焊缝图像缺陷的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549472A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101782529A (zh) * | 2009-01-20 | 2010-07-21 | 中国特种设备检测研究院 | 一种焊缝缺陷计算机成像与缺陷识别系统 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN112113963A (zh) * | 2020-09-21 | 2020-12-22 | 武汉钢铁有限公司 | 一种取向硅钢成品板形缺陷的在线检测方法及装置 |
| CN112215907A (zh) * | 2020-09-17 | 2021-01-12 | 上海电机学院 | 一种焊缝缺陷自动提取方法 |
| CN112651341A (zh) * | 2020-12-28 | 2021-04-13 | 长江大学 | 一种焊管焊缝实时检测视频的处理方法 |
| CN113298190A (zh) * | 2021-07-05 | 2021-08-24 | 四川大学 | 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法 |
| CN113600358A (zh) * | 2021-07-29 | 2021-11-05 | 五邑大学 | 一种双目视觉检测缺陷的移动机器人标记装置 |
| CN113947583A (zh) * | 2021-10-20 | 2022-01-18 | 辽宁师范大学 | 基于深度学习二维时间序列图像的焊缝无损检测方法 |
-
2022
- 2022-02-23 CN CN202210168502.XA patent/CN114549472A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101782529A (zh) * | 2009-01-20 | 2010-07-21 | 中国特种设备检测研究院 | 一种焊缝缺陷计算机成像与缺陷识别系统 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112215907A (zh) * | 2020-09-17 | 2021-01-12 | 上海电机学院 | 一种焊缝缺陷自动提取方法 |
| CN112113963A (zh) * | 2020-09-21 | 2020-12-22 | 武汉钢铁有限公司 | 一种取向硅钢成品板形缺陷的在线检测方法及装置 |
| CN112651341A (zh) * | 2020-12-28 | 2021-04-13 | 长江大学 | 一种焊管焊缝实时检测视频的处理方法 |
| CN113298190A (zh) * | 2021-07-05 | 2021-08-24 | 四川大学 | 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法 |
| CN113600358A (zh) * | 2021-07-29 | 2021-11-05 | 五邑大学 | 一种双目视觉检测缺陷的移动机器人标记装置 |
| CN113947583A (zh) * | 2021-10-20 | 2022-01-18 | 辽宁师范大学 | 基于深度学习二维时间序列图像的焊缝无损检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| （意）保罗·佩罗塔（PAOLO PERROTTA）: "机器学习编程 从编码到深度学习》", 30 June 2021, pages: 112 * |
| 教育部高等学校计算机类专业教学指导委员会: "《智能时代计算机专业系统能力培养纲要》", 31 May 2021, pages: 113 * |
| 李建敦: "《普通高等教育人工智能与大数据系列教材 大数据技术与应用导论》", 30 September 2021, pages: 77 * |
| 钟跃崎: "《人工智能技术原理与应用》", 30 September 2020, pages: 47 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362326B (zh) | 一种电池焊点缺陷的检测方法及装置 | |
| CN112150410B (zh) | 一种焊缝缺陷的自动检测方法及其系统 | |
| CN115803619A (zh) | 信息处理装置、判定方法、以及信息处理程序 | |
| CN114119595A (zh) | 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法 | |
| Vishal et al. | A review of implementation of artificial intelligence systems for weld defect classification | |
| CN115496728A (zh) | 一种密封钉缺陷检测方法及系统 | |
| JPH059744B2 (zh) | ||
| CN116698642A (zh) | 一种汽修工具生产用的工作站控制方法及系统 | |
| CN114549472A (zh) | 一种基于深度学习的焊缝图像缺陷的检测方法 | |
| CN113884430A (zh) | 一种基于图像识别的金属腐蚀程度的综合评价方法及装置 | |
| CN116460495B (zh) | 一种焊接加工方法 | |
| CN114266489B (zh) | 自动建立点焊质量在线评估模型的方法 | |
| Mansano et al. | Inspection of metallic surfaces using local binary patterns | |
| Kulkarni et al. | Machine learning based classification of welded components | |
| CN110361288B (zh) | 一种航空发动机零件表面清洁程度判定方法及系统 | |
| CN110287968B (zh) | 一种基于lbp纹理的焊缝探伤底片图像造假的检测方法 | |
| Ahsan et al. | Monitoring Welding Process on Ship Construction Using Demerit Control Chart and Fuzzy Analytics Hierarchy Process Integrated Statistical Process Control | |
| Godoi et al. | Pattern recognition in the automatic inspection of flaws in polymeric insulators | |
| CN117968766B (zh) | 一种用于微波组件检测的产品质量分析系统 | |
| Geng et al. | Classification Recognition of Long Distance Oil and Gas Pipeline Girth Welds MFL Signal Diagrams Based on VGG16 Network | |
| CN114581719B (zh) | 一种基于带噪学习的耐热钢珠光体球化智能评级方法 | |
| CN116046906A (zh) | 两阶段超声无损检测信号高精度识别方法 | |
| CN118657925A (zh) | 一种不锈钢焊接破口的影像数据采集分析系统及方法 | |
| Liu et al. | Resistance Spot Welding Defect Detection Based on Visual Inspection: Improved Faster R-CNN Model | |
| CN116228672A (zh) | 一种基于形状特征的金属加工表面缺陷检测系统及检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |