CN116205877A - 一种基于深度强化学习的焊缝表面缺陷智能检测方法 - Google Patents
一种基于深度强化学习的焊缝表面缺陷智能检测方法 Download PDFInfo
- Publication number
- CN116205877A CN116205877A CN202310163045.XA CN202310163045A CN116205877A CN 116205877 A CN116205877 A CN 116205877A CN 202310163045 A CN202310163045 A CN 202310163045A CN 116205877 A CN116205877 A CN 116205877A
- Authority
- CN
- China
- Prior art keywords
- weld
- reinforcement learning
- surface defects
- intelligent detection
- deep reinforcement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 230000002787 reinforcement Effects 0.000 title claims abstract description 55
- 238000003466 welding Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013341 scale-up Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002950 deficient Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度强化学习的焊缝表面缺陷智能检测方法，首先收集焊缝缺陷照片，然后使用Labelimg对焊缝缺陷照片进行标注并保存yolo需要的格式并建立焊缝缺陷图像训练集；引入强化学习Q‑learning算法智能化提高深度学习yolov7模型中的正样本比例，使正负样本的比例平衡来提高模型的泛化能力和精度并得到改进型yolov7模型；将焊缝缺陷图像训练集导入改进型yolov7模型进行训练得到基于深度强化学习焊缝表面缺陷智能检测模型；通过CCD工业相机采集焊接件的焊缝图像，然后焊缝图像导入基于深度强化学习焊缝表面缺陷智能检测模型，模型对焊缝图像进行缺陷检测识别和标定生成检测结果。
Description
技术领域
本发明涉及一种用于自动化智能化焊缝缺陷检测方法，特别涉及一种焊接表面缺陷检测装备技术。
背景技术
焊接作为一种重要的加工工艺，在航空航天、船舶制造、汽车工业、核工业等众多制造业领域均得到广泛应用。焊接也是一个受多种因素影响的非完全可控物理化学反应过程，一个或多个因素的波动均会导致焊缝的外形尺寸不合格或者产生多种不同形态、位置、方向、大小和性质的焊缝表面缺陷，包括咬边、焊瘤、塌陷、错边、表面气孔、表面裂纹等。焊缝的表面缺陷是影响焊缝质量的重要因素，其大小决定了焊缝的应力集中程度。目前，随着人力成本的逐步提高和信息技术的快速发展，智能焊接机器人的应用已成为传统制造业改革和迎接工业4.0时代不可或缺的一步。虽然焊缝自动跟踪技术在机器人自动焊接中取得了极大提升，但是焊接质量的自动化检测水平仍可进一步提高。高效可靠的实时焊缝质量监控技术是提高焊接效率、保证焊接产品质量稳定可靠的关键技术之一。
当前，焊接质量的检测仍需大量人工参与，部分焊接缺陷需人工目视检测，不仅费时费力，而且由于技术人员身体和专业素质等主观因素的差异，判断缺陷时极可能产生不一致的结果。近年来，随着视觉检测技术的迅速发展，非接触、实时性、鲁棒性好的特点让视觉检测技术在焊缝三维重建、焊缝跟踪、焊缝质量检测等焊接领域得到广泛应用，基于视觉技术的焊缝质量检测技术是当前的研究热点。综上，随着焊接工艺的广泛应用，焊接产品数量快速增加，产品结构更加复杂，对产品的焊接质量要求更高，急需发展操作更简单，检测效果更好的焊接质量检测手段和成套工艺，从而快速提高焊接效率和质量，降低企业生产成本，所以焊缝质量的自动化检测具有极大的实际意义。
专利CN202011490045.3提供了一种基于深度学习的焊缝缺陷自动检测方法、系统，主机根据距离传感器采集到的距离信息控制三维扫描仪和涡流检测设备分别采集焊缝表面图像信息、涡流信息；主机根据焊缝表面图像信息定位可疑区域，并根据可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。本发明实时的、自动化的焊缝缺陷检测方法，大大提升了检测效率以及检测精度。
专利CN201910213482.1公开了一种基于深度学习的焊缝及焊缝缺陷检测方法，采用YOLOV3网络实现焊缝和/或焊缝缺陷检测。
专利CN201810800612.7公开了一种基于深度学习的焊缝气孔缺陷自动检测方法，包括以下步骤：S1、焊缝区域定位，将二维图像转化为一维序列，运用深度学习的方法构建网络模型，确定焊缝边界位置；S2、气孔缺陷识别，利用YOLO网络实现气孔缺陷识别。本发明降低了基于传统图像算法对图像质量以及参数选取的依赖，进一步提升了算法的鲁棒性，从而实现气孔缺陷的自动检测，本发明的检测方法气孔缺陷检测的准确率达到96％以上，并具备良好的时效性。
本文基于深度强化学习技术开发了一种焊缝表面缺陷智能检测方法，可以实现焊缝质量的自动化智能化快速检测。
发明内容
发明目的：本发明在于现有技术中的焊缝质量的自动化检测技术问题，提供一种智能化高、高准确率和检测速度快的一种基于深度强化学习焊缝表面缺陷智能检测方法。可以实现焊接件焊缝的快速自动智能化检测并识别标定，极大节省焊缝缺陷检测识别时间，降低工作人员的劳动强度，提高焊接的效率和焊缝缺陷识别的准确度。
本发明采用的技术方案：一种基于深度强化学习的焊缝表面缺陷智能检测方法，该方法的具体步骤为：
1)首先收集焊缝缺陷照片，然后使用Labelimg对焊缝缺陷照片进行标注并保存yolo需要的格式建立焊缝缺陷图像训练集；
2)引入强化学习Q-learning算法智能化提高深度学习yolov7模型中的正样本比例，使正负样本的比例平衡来提高模型的泛化能力和模型精度并得到改进型yolov7模型；
所述的通过引入强化学习Q-learning算法改变锚框形状来从根本上改变正负样本的数量比例，引入强化学习正是反向利用类不平衡问题，通过智能体改变锚框质量，提升正训练样本的所占比重，让模型更倾向于学习与目标相关程度更高的训练样本。
3)将焊缝缺陷图像训练集导入改进型yolov7模型进行训练得到基于深度强化学习焊缝表面缺陷智能检测模型；
4)通过CCD工业相机采集焊接件的焊缝图像，然后焊缝图像导入基于深度强化学习焊缝表面缺陷智能检测模型，模型对焊缝图像进行缺陷检测识别和标定生成检测结果。
所述采集待检测焊接件焊缝的相机为CDD工业相机，其具有无滞后、低电压工作、低功耗等优点。
进一步地，所述步骤2)中，引入强化学习Q-learning算法优化具体为，样本划分策略通过智能体操控负训练样本锚框的位置、宽高比、大小来达到正样本阈值的标准，以此实现在提升正训练样本数量的同时降低负样本的数量，缓解样本比例失衡带来的训练问题。
进一步地，所述步骤2)中，提高正样本比例是通过强化学习中的动作是智能体与环境进行交互的手段，动作的定义为9个，包括了水平左移、水平右移、垂直上移、垂直下移、规模放大、规模缩小、水平拉伸、垂直拉伸、停止。
进一步地，所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型包括input、backbone、head三个部分。
进一步地，所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型输入端包括Mosaic数据增强，自适应锚框计算和自适应图片缩放。Mosaic数据增强增加了数据的多样性，丰富了图片的背景，增加了目标个数，更好的统计均值和方差。
进一步地，所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型中，将head部分的浅层特征提取出来作为Auxhead(辅助头)，深层特征也就是网络的最终输出作为Leadhead(引导头)。
进一步地，所述步骤4)中，所述采集焊接件的焊缝图像需要收集咬边、焊瘤、塌陷、错边、表面气孔、表面裂纹等多种类型的焊缝缺陷，照片的数量不少于12000张。
进一步地，所述步骤4)中，所述检测结果，如果焊缝有缺陷将框选焊缝缺陷位置和范围并在框的上端显示焊缝缺陷的类型。
有益效果：
本发明一种基于深度强化学习焊缝表面缺陷智能检测方法，引入强化学习可以改变锚框形状来从根本上改变正负样本的数量比例，通过智能体改变锚框质量，提升正训练样本的所占比重，让模型更倾向于学习与目标相关程度更高的训练样本，使训练出来基于深度强化学习焊缝表面缺陷智能检测模型具有智能化高、高准确率和检测速度快等优点。
附图说明
图1为基于深度强化学习的焊缝表面缺陷智能检测方法流程图。
具体实施方式
下面结合本发明附图和具体实施方式对整个发明的技术方案进行详细的叙述。
参照图1，一种基于深度强化学习焊缝表面缺陷智能检测方法，包括：基于深度强化学习焊缝表面缺陷智能检测模型训练和检测两部分。
参照图1，基于深度强化学习焊缝表面缺陷智能检测模型训练部分包括通过Labelimg对收集的15000张焊缝缺陷照片进行框选和标注目标并保存模型需要的格式，建立焊缝缺陷图像训练集，用于提高yolov7深度学习模型中正样本比例的Q-learning强化学习算法；被Q-learning强化学习算法优化后的改进型yolov7模型，可以用于检测训练完成的基于深度强化学习焊缝表面缺陷智能检测模型。
参照图1，基于深度强化学习焊缝表面缺陷智能检测模型检测部分包括用于检测的待检测焊接件，用于采集待检测焊接件焊缝图像的CDD工业相机，用于焊缝缺陷检测的基于深度强化学习焊缝表面缺陷智能检测模型，通过基于深度强化学习焊缝表面缺陷智能检测模型获得的检测结果。
Q-learning强化学习算法中的动作是智能体与环境进行交互的手段，在模型中智能体对观测区域锚框的外形进行形变操作，通过改变锚框在图像中的位置、宽高比、规模来完成靠近并覆盖目标的目的。在模型中，动作的定义为9个，包括了水平左移、水平右移、垂直上移、垂直下移、规模放大、规模缩小、水平拉伸、垂直拉伸、停止。
强化学习Q-learning算法改变锚框形状来从根本上改变正负样本的数量比例，引入强化学习正是反向利用类不平衡问题，通过智能体改变锚框质量，提升正训练样本的所占比重，让模型更倾向于学习与目标相关程度更高的训练样本。
本发明一种基于深度强化学习焊缝表面缺陷智能检测方法，通过强化学习Q-learning算法优化yolov7深度学习模型提高正样本比例，通过训练得到基于深度强化学习焊缝表面缺陷智能检测模，使基于深度强化学习焊缝表面缺陷智能检测方法具有智能化高、解放劳动力、高准确率和检测速度快的优点。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：该方法的具体步骤为：
1)首先收集焊缝缺陷照片，然后使用Labelimg对焊缝缺陷照片进行标注并保存yolo需要的格式建立焊缝缺陷图像训练集；
2)引入强化学习Q-learning算法智能化提高深度学习yolov7模型中的正样本比例，使正负样本的比例平衡来提高模型的泛化能力和模型精度并得到改进型yolov7模型；
3)将焊缝缺陷图像训练集导入改进型yolov7模型进行训练得到基于深度强化学习焊缝表面缺陷智能检测模型；
4)通过CCD工业相机采集焊接件的焊缝图像，然后焊缝图像导入基于深度强化学习焊缝表面缺陷智能检测模型，模型对焊缝图像进行缺陷检测识别和标定生成检测结果。
2.根据权利要求1所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤2)中，引入强化学习Q-learning算法优化具体为，样本划分策略通过智能体操控负训练样本锚框的位置、宽高比、大小来达到正样本阈值的标准，以此实现在提升正训练样本数量的同时降低负样本的数量，缓解样本比例失衡带来的训练问题。
3.根据权利要求1所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤2)中，提高正样本比例是通过强化学习中的动作是智能体与环境进行交互的手段，动作的定义为9个，包括了水平左移、水平右移、垂直上移、垂直下移、规模放大、规模缩小、水平拉伸、垂直拉伸、停止。
4.根据权利要求1所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型包括input、backbone、head三个部分。
5.根据权利要求4所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型输入端包括Mosaic数据增强，自适应锚框计算和自适应图片缩放。
6.根据权利要求4所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤3)中，所述的基于深度强化学习焊缝表面缺陷智能检测模型中，将head部分的浅层特征提取出来作为Aux head，深层特征也就是网络的最终输出作为Lead head。
7.根据权利要求1所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤4)中，所述采集焊接件的焊缝图像需要收集咬边、焊瘤、塌陷、错边、表面气孔、表面裂纹多种类型的焊缝缺陷，照片的数量不少于12000张。
8.根据权利要求1所述的一种基于深度强化学习的焊缝表面缺陷智能检测方法，其特征在于：所述步骤4)中，所述检测结果，如果焊缝有缺陷将框选焊缝缺陷位置和范围并在框的上端显示焊缝缺陷的类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163045.XA CN116205877A (zh) | 2023-02-24 | 2023-02-24 | 一种基于深度强化学习的焊缝表面缺陷智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163045.XA CN116205877A (zh) | 2023-02-24 | 2023-02-24 | 一种基于深度强化学习的焊缝表面缺陷智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205877A true CN116205877A (zh) | 2023-06-02 |
Family
ID=86518818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310163045.XA Pending CN116205877A (zh) | 2023-02-24 | 2023-02-24 | 一种基于深度强化学习的焊缝表面缺陷智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205877A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079100A (zh) * | 2023-08-14 | 2023-11-17 | 北京大学 | 一种基于深度学习的焊缝缺陷识别系统 |
-
2023
- 2023-02-24 CN CN202310163045.XA patent/CN116205877A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079100A (zh) * | 2023-08-14 | 2023-11-17 | 北京大学 | 一种基于深度学习的焊缝缺陷识别系统 |
| CN117079100B (zh) * | 2023-08-14 | 2024-02-09 | 北京大学 | 一种基于深度学习的焊缝缺陷识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109900706B (zh) | 一种基于深度学习的焊缝及焊缝缺陷检测方法 | |
| CN106952258B (zh) | 一种基于梯度方向直方图的瓶口缺陷检测方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN108280856A (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN105913415B (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
| CN116205877A (zh) | 一种基于深度强化学习的焊缝表面缺陷智能检测方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统 | |
| CN106780455A (zh) | 一种基于滑动的局部邻域窗口的产品表面检测方法 | |
| CN110443791B (zh) | 一种基于深度学习网络的工件检测方法及其检测装置 | |
| CN111127429A (zh) | 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法 | |
| CN111681231B (zh) | 基于目标检测的工业焊接图像缺陷的检测方法 | |
| CN116664586B (zh) | 一种基于多模态特征融合的玻璃缺陷检测方法及系统 | |
| CN114519792B (zh) | 基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法 | |
| CN115816460A (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| Li et al. | Weld image recognition algorithm based on deep learning | |
| CN109308707B (zh) | 铝锭厚度非接触式在线测量方法 | |
| CN114092411A (zh) | 一种高效快速的双目3d点云焊点缺陷检测方法 | |
| CN112967271A (zh) | 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法 | |
| CN115601357B (zh) | 一种基于小样本的冲压件表面缺陷检测方法 | |
| CN108363958B (zh) | 一种基于高分辨率光学遥感影像的油罐检测方法 | |
| CN116106319A (zh) | 一种合成革瑕疵自动化检测方法及系统 | |
| CN110084777A (zh) | 一种基于深度学习的微小零件定位跟踪方法 | |
| CN115908382A (zh) | 一种基于hcs-yolov5的织物缺陷检测方法 | |
| CN114782392A (zh) | 基于岭回归分析卷积正则化的塑料件焊接质量评估方法 | |
| CN115049600A (zh) | 一种小样本管道缺陷智能识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |