CN116665029A - 一种基于改进yolov5的水下焊缝检测方法 - Google Patents
一种基于改进yolov5的水下焊缝检测方法 Download PDFInfo
- Publication number
- CN116665029A CN116665029A CN202310387824.8A CN202310387824A CN116665029A CN 116665029 A CN116665029 A CN 116665029A CN 202310387824 A CN202310387824 A CN 202310387824A CN 116665029 A CN116665029 A CN 116665029A
- Authority
- CN
- China
- Prior art keywords
- yolov5
- underwater
- attention
- image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000003466 welding Methods 0.000 title claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000009901 attention process Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别技术领域，尤其涉及一种基于改进yolov5的水下焊缝检测方法，包括：建立水下焊缝数据集，采用带有导向滤波的MSRCR算法处理图像，解决水下图像颜色衰退的问题，提高对比度；建立yolov5网络，仅将yolov5模型neck层中上采样前的标准卷积替换成GSConv，CSP替换成VoVGSCSP，提升了检测精度和降低模型的参数量和复杂度；在yolov5网络的主干网络中的SPPF层前添加注意力机制模块CBAM，带来稳定的性能提升。本发明有效地提高了水下焊缝的检测精度，缩短了检测的时间和提高检测效率，能够满足工业需求。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于改进yolov5的水下焊缝检测方法。
背景技术
目前，海上风电成为新型能源的主导行业，然而海上风电桩的检测成为了一大难题。由于水下复杂环境，钢板上多出现焊缝，最开始业内水下焊缝检测主要依靠人工，人工检测需要耗费大量人力和时间，成本较高，且随着水深增加，水下检测工作将面临更大的实施难度和作业风险。
随着近些年科学技术的不断改进，尤其是在工业领域的成功应用，已经有少数把深度学习引用到焊缝检测中,一定程度上实现了水下机器人对目标感知的自动化，高效化和智能化，但是识别精度和识别速度仍需提高。yolov5作为一种单阶段目标检测算法，在各个领域的检测已被广泛应用，为此本发明提供一种基于改进yolov5的水下焊缝检测方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于改进yolov5的水下焊缝检测方法，有效地提高了水下焊缝的检测精度，缩短了检测的时间和提高检测效率。
为了实现上述目的，本发明采用了如下技术方案：
一种基于改进yolov5的水下焊缝检测方法，具体步骤如下：
S1：建立水下焊缝数据集，对采集到的水下焊缝图，采用带有导向滤波的MSRCR算法处理图像,通过数据增强对数据集进行扩充，并进行焊缝的标注；
S2：仅将yolov5模型neck层中上采样前的标准卷积替换成GSConv轻量化卷积模块，将CSP替换成VoVGSCSP；这样避免在模型的所有阶段均使用时，模型的网络层会更深，深层会加剧对数据流的阻力，显著增加推理时间的问题；
S3：在yolov5网络的主干网络中的SPPF层前添加注意力机制模块CBAM。
优选地，在步骤S1中，由于MSRCR中高斯滤波通常易产生图像被过度光滑，导致图像缺乏边缘细节等问题；这里采用导向滤波代替高斯低通滤波，可以有效解决图像颜色失真的问题和MSRCR算法增强水下图像时易造成边缘细节丢失的问题。
其中，导向滤波对于输出图像和导向图在滤波窗口存在局部线性关系，其公式如下：
qi＝pi-ni
式中，pi为输入图像，Ii为导向图，qi为输出图像，ni为噪声，ak、bk为局部线性函数系数，ωk为滤波窗口；
采用导向滤波函数代替高斯滤波函数，具体计算如下：
式中，R* MSRCR(x,y)表示改进的MSRCR算法输出图像；D(x,y)为导向滤波函数。
优选地，在步骤S2中，具体包括以下步骤：
步骤S2.1，将GSConv轻量化卷积模块使用标准卷积生成一半的特征图，使用5*5的深度可分离卷积生成另一半特征图，将这两组特征图在通道维度上拼接，然后使用通道间信息混合策略将标准卷积保留的通道间的隐含信息植入到深度可分离卷积生成的特征图中；
步骤S2.2，在VoVGSCSP中，首先删掉传统的瓶颈模块中的shortcut连接，并换上一个1*1的标准卷积跳跃连接，其次使用一次聚合方法，采用一条支线直接将输入特征图通过一个1*1标准卷积输出后聚合到经过GS bottleneck过滤的特征图上，加上跨阶段局部网络(CSPNet)的梯度流分割。
优选地，在步骤S3中，CBAM包含通道注意力和空间注意力两个子模块，给定一个中间特征图F∈RC×H×W作为输入，首先对输入按通道进行全局最大池化和均值池化，将池化后的两个一维向量送入全连接层运算后相加，生成一维通道注意力Mc∈RC×1×1,再将通道注意力与输入元素相乘，获得通道注意力调整后的特征图F’,其次将F’按空间进行全局最大池化和均值池化，将池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力Ms∈R1×H×W，再将空间注意力与F’按元素相乘；
CBAM生成注意力过程描述为：
其中，表示逐元素相乘，F”是最终的细化输出。在相乘操作前，通道注意力与空间注意力分别需要按照空间维度与通道维度进行广播；不仅能够节约参数和计算力，并且保证了其能够做为即插即用的模块集成到现有的网络架构中去。
与现有技术相比，本发明具有以下有益效果：
1、本发明首先建立水下焊缝数据集，根据水下图像采用带有导向滤波的MSRCR算法处理图像，解决水下图像颜色衰退的问题，提高对比度，通过数据增强对数据集进行扩充，并进行焊缝的标注；然后仅将yolov5模型neck层中上采样前的标准卷积替换成GSConv，将CSP替换成VoVGSCSP，提升检测精度和降低模型的参数量和复杂度；最后在yolov5网络的主干网络中的SPPF层前添加注意力机制模块CBAM，带来稳定的性能提升。
2、本发明有效地提高了水下焊缝的检测精度，缩短了检测的时间和提高检测效率，能够满足工业需求。
附图说明
图1为本发明的流程图；
图2为本发明中GSConv、VOVGSCP的结构图；
图3为本发明中改进后neck结构图；
图4为本发明中CBAM注意力机制模块示意图；
图5为本发明实施例的焊缝检测结果图。
具体实施方式
下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-5，一种基于改进yolov5的水下焊缝检测方法，具体步骤如下：
S1：建立水下焊缝数据集，对采集到的水下焊缝图，采用带有导向滤波的MSRCR算法处理图像,通过数据增强对数据集进行扩充，并进行焊缝的标注；
在该步骤S1中，由于MSRCR中高斯滤波通常易产生图像被过度光滑，导致图像缺乏边缘细节等问题，这里采用导向滤波代替高斯低通滤波，可以有效解决图像颜色失真的问题和MSRCR算法增强水下图像时易造成边缘细节丢失的问题。
其中，导向滤波对于输出图像和导向图在滤波窗口存在局部线性关系，其公式如下：
qi＝pi-ni
式中，pi为输入图像，Ii为导向图，qi为输出图像，ni为噪声，ak、bk为局部线性函数系数，ωk为滤波窗口；
采用导向滤波函数代替高斯滤波函数，具体计算如下：
式中，R* MSRCR(x,y)表示改进的MSRCR算法输出图像；D(x,y)为导向滤波函数。
S2：仅将yolov5模型neck层中上采样前的标准卷积替换成GSConv轻量化卷积模块，将CSP替换成VoVGSCSP；这样避免在模型的所有阶段均使用时，模型的网络层会更深，深层会加剧对数据流的阻力，显著增加推理时间的问题。
其中，GSConv、VOVGSCSP结构如图2所示，改进后neck结构图如图3所示。
在该步骤S2中，具体包括以下步骤：
步骤S2.1，将GSConv轻量化卷积模块使用标准卷积生成一半的特征图，使用5*5的深度可分离卷积生成另一半特征图，将这两组特征图在通道维度上拼接，然后使用通道间信息混合策略将标准卷积保留的通道间的隐含信息植入到深度可分离卷积生成的特征图中；这样既减少了约50％的计算量，又保留了通道间隐含信息。
步骤S2.2，在VoVGSCSP中，首先删掉传统的瓶颈模块中的shortcut连接，并换上一个1*1的标准卷积跳跃连接，其次使用一次聚合方法，采用一条支线直接将输入特征图通过一个1*1标准卷积输出后聚合到经过GS bottleneck过滤的特征图上，加上跨阶段局部网络(CSPNet)的梯度流分割。这样简化了模型结构，减少了卷积神经网络中瓶颈模块的计算量，并增强了瓶颈模块生成高质量特征的能力。
S3：在yolov5网络的主干网络中的SPPF层前添加注意力机制模块CBAM；其模块如图4所示。
在该步骤S3中，CBAM包含通道注意力和空间注意力两个子模块，给定一个中间特征图F∈RC×H×W作为输入，首先对输入按通道进行全局最大池化和均值池化，将池化后的两个一维向量送入全连接层运算后相加，生成一维通道注意力Mc∈RC×1×1,再将通道注意力与输入元素相乘，获得通道注意力调整后的特征图F’,其次将F’按空间进行全局最大池化和均值池化，将池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力Ms∈R1×H×W，再将空间注意力与F’按元素相乘；
CBAM生成注意力过程描述为：
其中，表示逐元素相乘，F”是最终的细化输出。在相乘操作前，通道注意力与空间注意力分别需要按照空间维度与通道维度进行广播；不仅能够节约参数和计算力，并且保证了其能够做为即插即用的模块集成到现有的网络架构中去。
S4：采用改进后的yolov5模型对焊缝数据集训练，实现检测，最终检测结果如图5所示。
综上所述，本发明有效地提高了水下焊缝的检测精度，缩短了检测的时间和提高检测效率，能够满足工业需求。
本发明中披露的说明和实践，对于本技术领域的普通技术人员来说，都是易于思考和理解的，且在不脱离本发明原理的前提下，还可以做出若干改进和润饰。因此，在不偏离本发明精神的基础上所做的修改或改进，也应视为本发明的保护范围。
Claims (4)
1.一种基于改进yolov5的水下焊缝检测方法，其特征在于，具体步骤如下：
S1：建立水下焊缝数据集，对采集到的水下焊缝图，采用带有导向滤波的MSRCR算法处理图像,通过数据增强对数据集进行扩充，并进行焊缝的标注；
S2：仅将yolov5模型neck层中上采样前的标准卷积替换成GSConv轻量化卷积模块，将CSP替换成VoVGSCSP；
S3：在yolov5网络的主干网络中的SPPF层前添加注意力机制模块CBAM。
2.根据权利要求1所述的一种基于改进yolov5的水下焊缝检测方法，其特征在于，在步骤S1中，导向滤波对于输出图像和导向图在滤波窗口存在局部线性关系，其公式如下：
qi＝pi-ni
式中，pi为输入图像，Ii为导向图，qi为输出图像，ni为噪声，ak、bk为局部线性函数系数，ωk为滤波窗口；
采用导向滤波函数代替高斯滤波函数，具体计算如下：
式中，R* MSRCR(x,y)表示改进的MSRCR算法输出图像；D(x,y)为导向滤波函数。
3.根据权利要求1所述的一种基于改进yolov5的水下焊缝检测方法，其特征在于，在步骤S2中，具体包括以下步骤：
步骤S2.1，将GSConv轻量化卷积模块使用标准卷积生成一半的特征图，使用5*5的深度可分离卷积生成另一半特征图，将这两组特征图在通道维度上拼接，然后使用通道间信息混合策略将标准卷积保留的通道间的隐含信息植入到深度可分离卷积生成的特征图中；
步骤S2.2，在VoVGSCSP中，首先删掉传统的瓶颈模块中的shortcut连接，并换上一个1*1的标准卷积跳跃连接，其次使用一次聚合方法，采用一条支线直接将输入特征图通过一个1*1标准卷积输出后聚合到经过GS bottleneck过滤的特征图上，加上跨阶段局部网络的梯度流分割。
4.根据权利要求1所述的一种基于改进yolov5的水下焊缝检测方法，其特征在于，在步骤S3中，CBAM包含通道注意力和空间注意力两个子模块，给定一个中间特征图F∈RC×H×W作为输入，首先对输入按通道进行全局最大池化和均值池化，将池化后的两个一维向量送入全连接层运算后相加，生成一维通道注意力Mc∈RC×1×1,再将通道注意力与输入元素相乘，获得通道注意力调整后的特征图F’,其次将F’按空间进行全局最大池化和均值池化，将池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力Ms∈R1×H×W，再将空间注意力与F’按元素相乘；
CBAM生成注意力过程描述为：
其中，表示逐元素相乘，F”是最终的细化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310387824.8A CN116665029A (zh) | 2023-04-12 | 2023-04-12 | 一种基于改进yolov5的水下焊缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310387824.8A CN116665029A (zh) | 2023-04-12 | 2023-04-12 | 一种基于改进yolov5的水下焊缝检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116665029A true CN116665029A (zh) | 2023-08-29 |
Family
ID=87724994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310387824.8A Pending CN116665029A (zh) | 2023-04-12 | 2023-04-12 | 一种基于改进yolov5的水下焊缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665029A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171183A (zh) * | 2022-06-22 | 2022-10-11 | 江苏科技大学 | 一种基于改进yolov5的口罩人脸检测方法 |
| CN115862066A (zh) * | 2022-12-05 | 2023-03-28 | 华东理工大学 | 一种改进YOLOv5的轻量化社区场景下行人检测方法 |
-
2023
- 2023-04-12 CN CN202310387824.8A patent/CN116665029A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171183A (zh) * | 2022-06-22 | 2022-10-11 | 江苏科技大学 | 一种基于改进yolov5的口罩人脸检测方法 |
| CN115862066A (zh) * | 2022-12-05 | 2023-03-28 | 华东理工大学 | 一种改进YOLOv5的轻量化社区场景下行人检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HULIN LI ET AL.: "Slim-neck by GSConv: A better design paradigm of detector architectures for autonomous vehicles", ARXIV, pages 1 - 17 * |
| 马敏慧 等: "基于改进的MSRCR-CLAHE 融合的水下图像增强算法", 红外技术, vol. 45, no. 1, pages 23 - 26 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN101452575B (zh) | 一种基于神经网络的图像自适应增强方法 | |
| CN111311518A (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
| CN108205804A (zh) | 图像处理方法、装置及电子设备 | |
| CN112308803B (zh) | 一种基于深度学习的自监督低照度图像增强及去噪方法 | |
| CN111340718B (zh) | 一种基于渐进式导向强监督神经网络的图像去雾方法 | |
| CN111414860A (zh) | 一种实时的人像跟踪分割方法 | |
| CN104318535A (zh) | 图像去雾的方法、装置及移动终端 | |
| CN114359073A (zh) | 一种低光照图像增强方法、系统、装置及介质 | |
| CN112884037A (zh) | 一种基于模板更新和无锚框方式的目标跟踪方法 | |
| CN114612489A (zh) | 一种基于自编码神经网络的图像边缘提取方法及系统 | |
| CN112070686B (zh) | 一种基于深度学习的逆光图像协同增强方法 | |
| CN105608683B (zh) | 一种单幅图像去雾方法 | |
| CN113392728B (zh) | 一种基于ssa锐化注意机制的目标检测方法 | |
| CN116665029A (zh) | 一种基于改进yolov5的水下焊缝检测方法 | |
| CN116828195A (zh) | 一种视频着色方法及装置 | |
| CN116863320B (zh) | 基于物理模型的水下图像增强方法及系统 | |
| CN112396598B (zh) | 一种基于单阶段多任务协同学习的人像抠图方法及系统 | |
| CN113012079B (zh) | 低亮度车底图像增强方法、装置及存储介质 | |
| CN111931566B (zh) | 一种基于图像处理的人脸卡通形象设计方法 | |
| CN106652044A (zh) | 一种虚拟场景建模方法及系统 | |
| CN115661820B (zh) | 一种基于密集特征反向融合的图像语义分割方法及系统 | |
| CN116311002B (zh) | 一种基于光流信息的无监督视频目标分割方法 | |
| CN117765412A (zh) | 基于无人机影像的建筑物屋顶提取方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |