CN116823819B - 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质 - Google Patents

一种焊缝表面缺陷检测方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116823819B
CN116823819B CN202311090524.XA CN202311090524A CN116823819B CN 116823819 B CN116823819 B CN 116823819B CN 202311090524 A CN202311090524 A CN 202311090524A CN 116823819 B CN116823819 B CN 116823819B
Authority
CN
China
Prior art keywords
module
network
branch network
rgb image
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311090524.XA
Other languages
English (en)
Other versions
CN116823819A (zh
Inventor
龚烨飞
谢雨欣
王文涛
赵广志
何榕程
程艳花
严超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202311090524.XA priority Critical patent/CN116823819B/zh
Publication of CN116823819A publication Critical patent/CN116823819A/zh
Application granted granted Critical
Publication of CN116823819B publication Critical patent/CN116823819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例提供一种焊缝表面缺陷检测方法、系统、电子设备及存储介质。方法包括：获取焊缝表面的RGB图和深度图；将RGB图和深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果。其中，焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，主干网络包括相互并行的RGB图分支、深度图分支以及分别位于RGB图分支和深度图分支各有效特征层之间的融合模块。本公开的实施例通过对YOLOv8的主干网络添加与之对称的并行分支，分别将RGB特征与深度特征于有效特征层输入融合网络，将融合后的结果作为新的有效特征输入到FPN网络，解决了焊缝RGB图像缺少高度信息的问题，提高了对于焊缝表面的缺陷检测能力。

Description

一种焊缝表面缺陷检测方法、系统、电子设备及存储介质
技术领域
本公开的实施例属于机器学习技术领域，具体涉及一种焊缝表面缺陷检测方法、系统、电子设备及存储介质。
背景技术
金属焊接是现代工业生产中最常用加工方法，已广泛应用于各个领域。由于焊接过程中环境条件和焊接技术的不同，工件在焊接过程中不可避免的会产生各种缺陷。而焊缝表面若存在缺陷，不仅显著降低使用性能，甚至可能会引起严重的安全事故，所以对焊缝缺陷的判断与定位至关重要。
现有的目标检测算法主要通过滑窗和手工提取特征，如V-J人脸检测算法和HOG+SVM行人检测算法等，但滑窗没有针对性，时间复杂度高，容易窗口冗余，手工设计特征对于多样性的变化也没有很好的鲁棒性，不适用于复杂背景下焊缝缺陷的检测。加之基于深度学习的二维目标检测方法不能抑制复杂背景带来的干扰，而基于三维的深度学习方法网络结构较为复杂，且计算效率和在复杂场景中的检测精度不高。
Yinlong. Zuo，Jintao. Wang等人采用的基于深度学习方法设计的焊面缺陷检测系统，构建了大规模焊缝缺陷数据集，同时利用YOLOv5模型对焊面进行缺陷检测，但该检测系统在本数据集上效果并不理想，不能抑制复杂背景带来的干扰。
Pablo等人在焊缝表面缺陷检测上将机器学习方法和点云的三维特征有序的结合起来，充分发挥了焊缝三维点云数据的潜力，该方法具有很高的准确性，但是网络结构较为复杂，且计算效率和复杂场景中的检测精度不高。
公开号为CN115953387A的中国专利公开了一种基于深度学习的射线图像焊缝缺陷检测方法，采用了改进后的Faster RCNN网络对射线图像进行目标检测，它包括灰度拉伸、中值滤波、均值滤波、张量转化并标准化、输入改进后的FasterRCNN网络等步骤。该技术只能对背景简单的焊缝缺陷进行检测，无法对复杂场景中的焊缝进行有效检测。
公开号为CN115393294A的中国专利公开了一种基于RGB-D特征分层融合的焊缝检测与分割方法，包括以下步骤:步骤一、对焊缝的RGB图像和点云数据进行多平面分割预处理，得到各平面的RGB-D数据；步骤二、将得到的各平面的RGB-D数据输入改进的Mask R-CNN模型中识别分割，所述改进的Mask R-CNN模型包括在主于网络中由ResNet-FPN对RGB-D数据的RGB图像和深度图像分别逐层提取特征，然后逐层地将深度特征与RGB特征采用注意力感知的RGB与深度特征融合模块来进行特征融合，在特征金字塔中对RGB特征进行下采样的每一层都使用与之对应的深度特征进行融合，并且将融合后的特征逐层传递到特征金字塔的上采样过程中。该专利主干网络融合的是所有层的输出，而非有效特征层，模型参数量过大，并且模型层数过深，可能会带来梯度消失和梯度爆炸的问题。
发明内容
本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种焊缝表面缺陷检测方法、系统、电子设备及存储介质。
本公开的一个方面提供一种焊缝表面缺陷检测方法，包括：
获取焊缝表面的RGB图和深度图；
将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，
所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块。
可选的，所述RGB图分支网络与所述深度图分支网络的结构相同，包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块；
所述融合模块包括第一融合模块、第二融合模块和第三融合模块；其中
所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端；所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端；所述第三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端；
各所述融合模块的输出端均连接所述FPN网络。
可选的，所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块；
所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。
可选的，所述融合模块中依次包括：相互并行的RGB特征提取支路和深度特征提取支路、分别与所述RGB特征提取支路及所述深度特征提取支路连接的注意力模块、1×1卷积层、BN层和Sigmoid激活函数。
可选的，所述RGB特征提取支路和所述深度特征提取支路的结构相同，分别包括依次连接的1×1卷积层、3×3卷积层、CBS模块和ReLU激活函数。
可选的，所述RGB特征提取支路和所述深度特征提取支路还分别包括残差边。
可选的，所述注意力模块包括空间注意力支路、通道注意力支路以及分别与所述两条支路连接的BN层；
所述空间注意力支路包括依次连接的1×1卷积层、3×3卷积层、3×3卷积层、1×1卷积层和BN层；所述通道注意力支路为Squeeze Excitation模块；其中，
所述通道注意力支路的结果与原特征图相乘，再与所述空间注意力支路的结果相加，输入所述BN层；
所述BN层的输出与所述原特征图相乘后再与所述原特征图相加。
本公开的另一个方面提供一种焊缝表面缺陷检测系统，包括：
获取模块，用于获取焊缝表面的RGB图和深度图；
检测模块，用于将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，
所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块。
本公开的又一个方面提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现上文所述的焊缝表面缺陷检测方法。
本公开的最后一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现上文所述的焊缝表面缺陷检测方法。
本公开实施例的一种焊缝表面缺陷检测方法、系统、电子设备及存储介质，通过在实时目标检测模型YOLOv8的基础上，对其主干网络添加与之对称的并行分支，分别将RGB特征与深度特征于有效特征层输入融合网络，融合后的结果作为新的有效特征输入到FPN加强特征提取网络，以此对YOLOv8模型进行优化改进，解决了焊缝RGB图像缺少高度信息的问题，提高了对于焊缝表面的缺陷检测能力。
附图说明
图1为本公开一实施例的一种焊缝表面缺陷检测方法的流程示意图；
图2为现有的YOLOv8模型的网络结构示意图；
图3为本公开一实施例的焊缝表面缺陷检测模型的网络结构示意图；
图4为本公开一实施例的融合模块的网络结构示意图；
图5为本公开一实施例的注意力模块的网络结构示意图；
图6为本公开一实施例的一种焊缝表面缺陷检测系统的结构示意图；
图7为本公开一实施例的一种电子设备的结构示意图。
具体实施方式
焊缝表面缺陷可以根据形成原因分为烧穿、飞溅、焊瘤和气孔四个类别。由于缺陷与母材颜色相近、图像不清晰等情况，存在缺陷在实际情况中肉眼很容易分辨，但是在RGB图中机器无法识别的问题，使用常规的二维视觉深度学习网络很难完全检测出所有的缺陷类别，因此本发明使用深度信息来辅助检测，以提高网络框架的焊缝缺陷检测能力。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本公开中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本公开中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
如图1所示，本公开的实施例提供一种焊缝表面缺陷检测方法，包括如下步骤：
步骤S1、获取焊缝表面的RGB图和深度图。
具体地，采用光栅结构光视觉系统对焊缝进行图像采集。光栅结构光视觉系统是一体式光源与相机整合的3D视觉传感器，系统中采用单目斜射投影与单目直视感光三角测量式3D结构光视觉架构式光栅结构光传感头，采用“eye-in-hand”的手眼安装方式侧装在机械臂上，可以同时输出2D的RGB图与3D的点云图。
在获得RGB图与点云图的基础上，将点云图转化成与RGB图对应的深度图，将分辨率统一为640×400。转化过程一共分为点云预处理、主平面方向校正和以拟合主平面为基准求取深度图这三个部分。
首先，对点云图进行预处理。对已获得的点云数据去除无效点，然后使用体素化的方法对点云进行下采样，体素滤波器可以达到向下采样同时不破坏点云本身几何结构的作用，也可以去除一定程度的噪音点及离群点。
随后，对点云图进行主平面方向校正。先利用随机采样一致算法进行主平面拟合，并取得旋转矫正矩阵，然后通过转换矩阵将点云主平面校正到垂直于Z轴上。
最后，将拟合的主平面以Z轴为基准求取深度图。首先获得与RGB图相对应的点云坐标点，然后根据设定的阈值只保留Z轴上下阈值内的点，最后归一化将Z轴的高度转化为深度图的像素信息。
步骤S2、将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果。其中，所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN(FeaturePyramid Network)网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块。
具体地，本实施例的焊缝表面缺陷检测模型具有两个输入端，将上述步骤S1中获得的焊缝表面的RGB图和深度图分别由该两个输入端输入到模型中，模型输出焊缝表面缺陷的检测结果。
下面对焊缝表面缺陷检测模型的结构作具体说明。
本实施例的焊缝表面缺陷检测模型基于实时目标检测模型YOLOv8进行优化改进。如图2所示，现有的YOLOv8模型可分为主干网络和FPN加强特征提取网络。主干网络一般采用一系列的卷积和池化层级来提取特征，因为卷积和池化操作会逐步减小特征图的尺寸，导致语义信息逐渐丧失，但同时也捕捉到了更细粒度的特征，因此，FPN通过在不同层级上建立连接，可以从浅层特征图到深层特征图逐渐恢复语义信息并提取多尺度的特征。FPN网络具有三个输入，从主干网络的C3，C4和C5三个阶段获得丰富的语义信息和多尺度的上下文特征。其中，C3对应较浅层的特征图，具有较高的分辨率和丰富的细节；C4则具有较高的语义信息和一定的上下文感知能力；C5是最深层的特征图，具有最强的语义信息，但分辨率相对较低。
通过这样的设置，FPN可以从C5开始，通过上采样操作将其特征图的分辨率提高到与C4相同，然后将C4的特征图与上采样后的C5特征图进行融合。接着再次上采样融合后的特征图，将其分辨率提高到与C3相同，并将C3的特征图与上采样后的融合特征图进行融合。最后，通过降采样操作将融合的特征图尺寸减小到最终的输出尺寸。
示例性地，如图3所示，本公开的实施例在YOLOv8原有主干网络的基础上添加并行分支，形成两条支路，分别用于处理RGB图和深度图。所述RGB图分支网络与所述深度图分支网络的结构相同，包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块。
所述融合模块包括第一融合模块、第二融合模块和第三融合模块（均以Fusion表示）；其中所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端；所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端；所述第三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端。各所述融合模块的输出端均连接所述FPN网络。
也就是说，将两条支路各自的三个有效特征层C3、C4、C5分别进行融合，将融合的结果对应地作为FPN网络的C3、C4和C5的输入。
上文中的CBS模块包括依次连接的Conv2d卷积层、BN(Batch Normal)层和SiLU激活函数。
CSP (Cross Stage Partial)模块为网络引入了跨层连接和部分连接机制，跨层连接将来自多个不同层级的特征图进行连接，从而使得网络能够捕获不同层级的特征信息；部分连接则通过将特征图分成两部分并创建一个跨连接，从而将特征信息从底层传递到顶层，并与来自顶层的特征信息进行融合。CSP模块在提取丰富特征的同时，可保持较低的计算复杂度，有效地提高模型的性能，帮助模型更好地理解对象的上下文信息，提高对小尺度对象的检测精度，并具有很强的鲁棒性和通用性。
SPPF (Spatial Pyramid Pooling with Fusion)模块由SPP(Spatial PyramidPooling)和PAN (Path Aggregation Network)模块相结合形成，主要用于增强模型对不同尺度对象的感知能力。它通过在多个尺度上对特征图进行池化操作，从而获得具有不同感受野的特征表示，能够更好地捕捉不同尺度对象的上下文信息。
示例性地，继续参考图3，还可针对各融合模块在主干网络的两条分支上加入残差块，提升网络的稳定性。具体为，将所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块；所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。
由于第三融合模块的输出只接入FPN网络，所以无需在主干网络上针对第三融合模块再增加残差块。
示例性地，如图4所示，本实施例的融合模块(Fusion)依次包括：相互并行的RGB特征提取支路和深度特征提取支路、分别与所述RGB特征提取支路及所述深度特征提取支路连接的注意力模块、1×1卷积层、BN层和Sigmoid激活函数。
具体地，首先RGB特征和深度特征分别经过1×1的卷积将通道数压缩到原来的1/4，再经过一个膨胀系数为2的3×3空洞卷积，之后还原通道数并经过Batch Normal标准化和ReLU激活函数。随后将获得的RGB特征和深度特征堆叠后输入注意力模块(attention)，最后通过1×1卷积、Batch Normal标准化和Sigmoid激活函数还原通道数，使得融合后的特征尺寸与输入的RGB特征和深度特征相同。
为提升融合模块的稳定性，在加深网络深度的同时解决梯度消失和梯度爆炸问题，可将融合模块的原输入直接相加至ReLU激活函数之前，分别为RGB特征提取支路和深度特征提取支路加上残差边，形成残差结构。
如图5所示，上述的注意力模块(attention)包括空间注意力支路、通道注意力支路以及分别与所述两条支路连接的BN层。所述空间注意力支路包括依次连接的1×1卷积层、3×3卷积层、3×3卷积层、1×1卷积层和BN层；所述通道注意力支路为SqueezeExcitation模块。其中，所述通道注意力支路的结果与原特征图相乘，再与所述空间注意力支路的结果相加，输入所述BN层。所述BN层的输出与所述原特征图相乘后再与所述原特征图相加。
具体地，注意力模块采用空间注意力与通道注意力。空间注意力首先是将特征图经过1×1的卷积使得通道数压缩到原来的1/r，再经过两个膨胀系数为2的3×3空洞卷积，之后还原通道数并经过Batch Normal标准化。通道注意力机制采用的是SqueezeExcitation模块，先乘上原特征图，加上空间注意力模块的结果，之后为了避免网络深度过深之后丢失大缺陷的特征，在乘上原特征图之后再加上原特征图，使输出的结果与原输入尺寸相同。
本实施例注意力模块中的注意力机制能够以高权重去聚焦重要信息，以低权重去忽略不相关的信息，还可以通过不断调整权重使得在不同的情况下也可以选取重要的信息。
对于焊缝表面缺陷检测模型的训练，本实施例使用的loss计算包括回归分支和分类分支，分类分支采用BCEloss，回归分支采用Distribution Focal Loss，同时还使用了CIOU Loss，从而与Distribution Focal Loss中提出的积分形式表示法绑定。在原本模型的基础上使用CIOU-NMS(non max suppression)，使用高斯函数衰减与当前最高置信度检测框有重的相邻检测框的权重。越是与当前最高置信度检测框高度重叠的检测框，它们的权重衰减更严重，所以如下式(1)、(2)所示，使用降低候选框的置信度代替删除低置信度候选框。
(1)
(2)
其中，S i 是各个建议框包含物体的可能性大小，M为当前最高置信度检测框，b i 为待处理框，N t 是指手动设置的阈值。iou(M,b i )为重叠度函数，用于计算预测框和真实框之间的重叠度，具体为分别计算最高置信度检测框M和待处理框b i 之间的交集面积与并集面积，再用该交集面积除以该并集面积。
设置学习率为0.01，训练轮次为400，对不同焊缝表面缺陷检测模型进行训练。在241张测试集上面，用训练获得的权重对该测试集进行预测，其中有缺陷的图片185张，准确率达到预期。
本公开实施例的一种焊缝表面缺陷检测方法提出一种基于空间与通道注意力机制的RGB图与深度图像素级融合模块，以对称的方式组合多模态内部信息，通过在实时目标检测模型YOLOv8的基础上，对其主干网络添加与之对称的并行分支，分别将RGB特征与深度特征于有效特征层输入融合网络，在融合模块中使用残差结构加上通道与空间注意力模块融合特征，将融合后的结果作为新的有效特征输入到FPN加强特征提取网络，以此对YOLOv8模型进行优化改进，解决了焊缝RGB图像缺少高度信息的问题，提高了焊缝表面缺陷检测的能力。
如图6所示，本公开的另一实施例提供一种焊缝表面缺陷检测系统，包括：
获取模块601，用于获取焊缝表面的RGB图和深度图；
检测模块602，用于将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，
所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块。
具体地，获取模块601可采用光栅结构光视觉系统对焊缝进行图像采集，同时输出2D的RGB图与3D的点云图，并将点云图通过预处理、主平面方向校正和以拟合主平面为基准求取深度图，将其转化成与RGB图对应的深度图。具体转化方法已在前文实施例中说明，此处不做赘述。
检测模块602将获取模块601获取的RGB图和深度图输入提前训练好的焊缝表面缺陷检测模型，由该模型输出检测结果。其中，焊缝表面缺陷检测模型的网络结构和训练方法已在前文实施例中说明，此处不做赘述。
本公开实施例的一种焊缝表面缺陷检测系统，通过使用焊缝RGB图和深度图，以及基于YOLOv8优化改进的焊缝表面缺陷检测模型，解决了焊缝RGB图像缺少高度信息的问题，提高了焊缝表面缺陷检测的能力。
如图7所示，本公开的又一实施例提供一种电子设备，包括：
至少一个处理器701；以及与所述至少一个处理器701通信连接的存储器702，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器701执行时，能使得所述至少一个处理器701实现前文所述的焊缝表面缺陷检测方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本公开的再一实施例提供一种计算机可读存储介质，所述计算机程序被处理器执行时能实现前文所述的焊缝表面缺陷检测方法。
其中，计算机可读介质可以是本公开的装置、设备、系统中所包含的，也可以是单独存在。
计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (8)

1.一种焊缝表面缺陷检测方法，其特征在于，所述方法包括：
获取焊缝表面的RGB图和深度图；
将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，
所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块；
所述RGB图分支网络与所述深度图分支网络的结构相同，包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块；
所述融合模块包括第一融合模块、第二融合模块和第三融合模块；其中
所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端；所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端；所述三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端；
各所述融合模块的输出端均连接所述FPN网络；
所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块；
所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。
2.根据权利要求1所述的方法，其特征在于，所述融合模块中依次包括：相互并行的RGB特征提取支路和深度特征提取支路、分别与所述RGB特征提取支路及所述深度特征提取支路连接的注意力模块、1×1卷积层、BN层和Sigmoid激活函数。
3.根据权利要求2所述的方法，其特征在于，所述RGB特征提取支路和所述深度特征提取支路的结构相同，分别包括依次连接的1×1卷积层、3×3卷积层、CBS模块和ReLU激活函数。
4.根据权利要求3所述的方法，其特征在于，所述RGB特征提取支路和所述深度特征提取支路还分别包括残差边。
5.根据权利要求2所述的方法，其特征在于，所述注意力模块包括空间注意力支路、通道注意力支路以及分别与所述两条支路连接的BN层；
所述空间注意力支路包括依次连接的1×1卷积层、3×3卷积层、3×3卷积层、1×1卷积层和BN层；所述通道注意力支路为Squeeze Excitation模块；其中，
所述通道注意力支路的结果与原特征图相乘，再与所述空间注意力支路的结果相加，输入所述BN层；
所述BN层的输出与所述原特征图相乘后再与所述原特征图相加。
6.一种焊缝表面缺陷检测系统，其特征在于，所述系统包括：
获取模块，用于获取焊缝表面的RGB图和深度图；
检测模块，用于将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，
所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络，所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块；
所述RGB图分支网络与所述深度图分支网络的结构相同，包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块；
所述融合模块包括第一融合模块、第二融合模块和第三融合模块；其中
所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端；所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端；所述三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端；
各所述融合模块的输出端均连接所述FPN网络；
所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块；
所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现权利要求1至5任一项所述的焊缝表面缺陷检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现权利要求1至5任一项所述的焊缝表面缺陷检测方法。
CN202311090524.XA 2023-08-28 2023-08-28 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质 Active CN116823819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311090524.XA CN116823819B (zh) 2023-08-28 2023-08-28 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311090524.XA CN116823819B (zh) 2023-08-28 2023-08-28 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116823819A CN116823819A (zh) 2023-09-29
CN116823819B true CN116823819B (zh) 2023-11-07

Family

ID=88122463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311090524.XA Active CN116823819B (zh) 2023-08-28 2023-08-28 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116823819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114973246A (zh) * 2022-06-09 2022-08-30 闽江学院 一种基于光流对齐的交叉模式神经网络的裂缝检测方法
CN116363124A (zh) * 2023-05-26 2023-06-30 南京杰智易科技有限公司 一种基于深度学习的钢材表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114973246A (zh) * 2022-06-09 2022-08-30 闽江学院 一种基于光流对齐的交叉模式神经网络的裂缝检测方法
CN116363124A (zh) * 2023-05-26 2023-06-30 南京杰智易科技有限公司 一种基于深度学习的钢材表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于线结构光和YOLOv5 的管道保温层破损检测;王子涵等;激光与光电子学进展;第60卷(第06期);第232-239页 *

Also Published As

Publication number Publication date
CN116823819A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN109101914B (zh) 一种基于多尺度的行人检测方法和装置
CN105654067A (zh) 一种车辆检测方法及装置
Tian et al. Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN113052066B (zh) 三维目标检测中基于多视图和图像分割的多模态融合方法
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN111160291A (zh) 基于深度信息与cnn的人眼检测方法
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN115311274B (zh) 一种基于空间变换自注意力模块的焊缝检测方法及系统
CN113538378A (zh) 一种基于深度学习的轴承尺寸在线检测系统
CN112418084A (zh) 一种基于点云时序信息融合的三维目标检测方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN116342953A (zh) 基于残差收缩注意力网络的双模态目标检测模型及方法
CN116823819B (zh) 一种焊缝表面缺陷检测方法、系统、电子设备及存储介质
Sun et al. UAV image detection algorithm based on improved YOLOv5
CN113160210A (zh) 基于深度相机的排水管道缺陷检测方法及装置
CN117372829A (zh) 海上船舶目标识别方法、装置、电子设备及可读介质
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN113609921A (zh) 一种预警方法和系统
CN115019274B (zh) 一种融合追踪与检索算法的路面病害识别方法
CN115496977B (zh) 一种基于多模态序列数据融合的目标检测方法及装置
CN115953589B (zh) 一种基于深度相机的发动机缸体孔径尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant