CN116721291A - 基于改进YOLOv7模型的金属表面缺陷检测方法 - Google Patents
基于改进YOLOv7模型的金属表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116721291A CN116721291A CN202310674124.7A CN202310674124A CN116721291A CN 116721291 A CN116721291 A CN 116721291A CN 202310674124 A CN202310674124 A CN 202310674124A CN 116721291 A CN116721291 A CN 116721291A
- Authority
- CN
- China
- Prior art keywords
- model
- metal surface
- yolov7
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 239000002184 metal Substances 0.000 title claims abstract description 55
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000002950 deficient Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 230000006872 improvement Effects 0.000 claims abstract description 3
- 238000002372 labelling Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000007373 indentation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于改进YOLO v7模型的金属表面缺陷检测方法，包括以下步骤：1)采集缺陷金属表面图像，对图像进行数据增强和归一化处理；对图像进行标注，添加缺陷类型标签，得到缺陷金属表面数据集；2)基于改进YOLOv7模型构建缺陷检测模型；YOLOv7模型包括特征提取、特征融合和分类回归三部分，对YOLOv7模型的改进为在YOLOv7模型的特征融合部分修改跨尺度融合支路，通过F‑cat操作分别对浅层和深层特征进行融合，得到缺陷检测模型；3)利用步骤1)获得的图像对缺陷检测模型进行训练，训练后的缺陷检测模型用于金属表面缺陷检测。
Description
技术领域
本发明属于金属表面缺陷检测技术领域，具体为一种基于改进YOLOv7模型的金属表面缺陷检测方法。
背景技术
在当今飞速发展的时代中，金属应用场景几乎遍布各行各业，有缺陷的金属在后续使用中会导致各种不良后果，轻则造成经济损失严重则可能会导致人员伤亡，因此金属缺陷是持续升级发展的工业领域中一个长久性的问题。金属表面缺陷检测近年来引起了越来越多的关注，并在工业应用中的质量控制方面取得了积极的进展。然而，金属表面缺陷的检测很容易受到光照、光反射、金属材料等环境因素的影响。这些因素明显增加了表面缺陷检测的难度。
基于深度学习的缺陷检测不仅能够节省大量的人力成本，并且相对于人工检测、图像处理等检测方法，其检测精度较高，具有速度快、精度高、成本低等优点。Yolo算法采用回归的方式，具有速度快、网络架构简单等特点；Yolo算法基于整张图像信息进行预测，与其他滑窗式检测框架只能基于局部图像信息进行推理，故具有较高的检测精度。YOLOv7算法作为新一代的yolo网络，能够较好地均衡检测精度和推理性能，可以适用于工业现场中对于金属表面的缺陷检测任务。但是，在卷积神经网络深化过程中，由于多次下采样导致特征的尺寸太小，故会丢失许多纹理信息，进而丢失了像素数较少的微小微弱特征。直接减少网络层数则会导致网络深层的语义信息不足，直接影响网络的检测结果。而金属表面一般存在例如穿孔、焊缝、新月形缺口、水斑、油斑、丝斑、夹杂物、卷坑、折痕、腰折等的微小微弱缺陷，在金属表面缺陷检测数据集中，微小微弱缺陷占比高达40％以上，是金属表面缺陷检测的难点。
因此，本申请针对改进YOLOv7模型进行改进，提出一种基于改进YOLOv7模型的金属表面缺陷检测方法，能够较好的识别微小微弱缺陷，提供检测精度。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提出基于改进YOLOv7模型的金属表面缺陷检测方法。
本发明解决所述技术问题采用的技术方案如下：
基于改进YOLO v7模型的金属表面缺陷检测方法，该方法包括以下步骤：
1)采集缺陷金属表面图像，对图像进行数据增强和归一化处理；对图像进行标注，添加缺陷类型标签，得到缺陷金属表面数据集；
2)基于改进YOLOv7模型构建缺陷检测模型；YOLOv7模型包括特征提取、特征融合和分类回归三部分，对YOLOv7模型的改进为在YOLOv7模型的特征融合部分修改跨尺度融合支路，通过F-cat操作分别对浅层和深层特征进行融合，得到缺陷检测模型；F-cat操作对每个输入的特征赋予一个可学习的权重，再将赋予权重的特征进行拼接；
3)利用步骤1)获得的图像对缺陷检测模型进行训练，将训练后的缺陷检测模型用于金属表面缺陷检测。
基于改进YOLO v7模型的金属表面缺陷检测方法，进一步的，所述的步骤1)过程为；
通过LabelImg工具对缺陷金属表面图像进行处理，将缺陷位置以矩形框框选，对框选区域图像进行图像增强处理，并进行标注，将标注得到的标签保存为XML文件，制成用于训练改进的YOLO7模型的缺陷金属表面数据集；
基于改进YOLO v7模型的金属表面缺陷检测方法，进一步的，所述的步骤2)中，所述改进YOLOv7模型包括以下步骤；
2.1)特征提取，采用YOLO v7模型的主干网络对步骤1)得到的缺陷金属表面数据集进行特征提取，并输出特征数据。；
2.2)特征融合，包括以下子步骤
2.21)搭建改进的YOLOv7模型的颈部网络:利用BI-FPN结构，对主干网络输出的特征进行融合；
2.22)搭建改进的YOLOv7模型的头部网络：引入动态头模块对步骤2.21)输出的数据进行注意力融合，所述动态头模块使用注意力函数的堆叠拟合尺度感知注意力、空间感知注意力和任务感知注意力；注意力函数为：
W(F)＝πc(πs(πL(F)·F)·F)·F (1)
公式(1)中，F∈RLxSxC，F对应输入的特征向量，R为输入特征向量集合，L代表特征的尺度数，S＝H×W是将特征图的高度H和宽度W维度的重塑，C代表特征图的通道数，πL(x)、πS(x)、πC(x)分别对应任务注意力函数、空间注意力函数和尺度注意力函数，分别对应公式(2)、(3)、(4)：
πC(F)·F＝max(α1(F)·FC+β1(F),α2(F)·FC+β2(F)) (4)
其中,公式(2)中,f(x)是一个由1X1卷积近似的线性函数,是Hard-Sigmoid激活函数；
公式(3)中,K是稀疏采样位置的数量，ω是对应1和k的权重系数，Pk+ΔPk是通过自学习的空间偏移量的位置,Δmk是位置Pk应处的自学习标量；
公式(4)中,[α1,α,β,β1]T＝Θ(●)是一个学习控制激活阀值的超函数，FC代表了在第C个通道的特征切片。
在所述步骤3),使用改进的YOLOv7进行金属表面缺陷检测过程包括：
1)获取金属表面缺陷图像,将得到的金属表面缺陷图像按序输入检测网络；
2)改进的YOLOv7网络的主干网络对金属表面缺陷图像进行特征提取，对不同尺度的特征图送入颈部网络,经过特征的融合后送入检测头网络,输出检测结果；
与现有技术相比，本发明的有益效果是：
1.本发明对YOLOv7模型进行改进，本发明引入最先进的动态头模块(DyHead),用注意力函数的堆叠同时拟合尺度感知注意力、空间感知注意力和任务感知注意力,使目标检测网络的检测过程充分考虑多维度下的细胞上下文相关性,与病理医生的真实检测过程吻合,使模型更具鲁棒性,提高检测的准确率。
2.特征融合部分采用Bi-FPN结构代替原有的PA-FPN结构，由于PA-FPN结构在自上而下、自下而上的融合过程中由于经历很多卷积层、上采样以及下采样等操作，会导致许多信息丢失；上采样会提高分辨率，再经过卷积层时容易导致语义信息丢失，从而降低检测的分类效果，微小微弱目标信息容易在上采样过程中与背景信息重合，进而造成误判、漏判的情况，而下采样会降低分辨率，再经过卷积层时容易导致细节信息丢失，从而降低检测的定位效果，并且很多微小微弱目标信息容易在下采样过程中减弱甚至丢失。Bi-FPN结构在反复应用自顶向下和自底向上的多尺度特征融合，在浅层特征融合时加入上采样后的深层信息以加强语义信息，在深层特征融合时加入下采样后的浅层信息以加强细节信息，从而弥补在信息传递过程中丢失的语义信息以及细节信息，改善检测的定位效果以及分类效果。
3.在特征融合时采用了F-cat操作代替了cat操作，cat操作是直接将不同尺度的特征进行拼接，由于不同尺度的特征对检测的贡献是不同的，直接进行cat操作会导致不同尺度的特征不能进行有效结合并且会产生特征的冗余叠加。F-cat操作在cat操作的基础上引入了有效融合因子，F-cat操作对输入的每个特征给予一个可学习的权重，随着网络不断的训练迭代来更新权重的参数，从而更简单有效地融合不同分辨率的特征，使深层的语义信息以及浅层的细节信息等充分融合，从而提高检测效果。
4.本发明利用深度学习方法进行检测，可以避免人工检测的低效性和不确定性，同时相较于传统图像处理方法不需要手动提取特征，具有速度快、准确性高、鲁棒性强等优点。本发明方法在大规模金属表面缺陷数据集上的测试验证结果显示，mAP50最高意味着网络对缺陷位置的定位更加精确。
附图说明
图1为本发明提供的基于改进YOLO v7模型的金属表面缺陷检测方法的流程图；
图2为本发明提供的基于改进YOLO v7模型的金属表面缺陷检测方法的缺陷检测模型的结构图；
图3为本发明提供的基于改进YOLO v7模型的金属表面缺陷检测方法的动态头模块的结构图；
图4为本发明提供的基于改进YOLO v7模型的金属表面缺陷检测方法的发明的颈部网络的Bi-FPN结构模块图。
具体实施方式
下面结合附图给出具体实施例，具体实施例仅用于详细说明本发明的技术方案，并不以此限定本申请的保护范围。
本发明为基于改进YOLO v7模型的金属表面缺陷检测方法，所述检测方法的流程和结构图如图1所示，包括以下步骤：
第一步：构建数据集
1)首先，通过工业相机利用近红外检测方式采集缺陷金属表面图像；然后，采用旋转、翻转、裁剪等方式进行数据增强；最后，对所有图像进行归一化处理，图像尺寸为1024×1024像素；
2)人工使用LabelImg对所有图像的缺陷区域进行标注，添加缺陷类型标签；将所有图像按照约3:7的比例划分为训练集和验证集，其中训练集为689张，测试集为1605张；缺陷包含冲孔、焊缝、月牙弯、水斑、油斑、丝斑、异物、压痕、严重折痕以及腰折十类，训练集中包含95个冲孔、147个焊缝、84个月牙弯、107个水斑、211个油斑、266个丝斑、88个异物、24个压痕、30个严重折痕、32个腰折，测试集中包含234个冲孔、366个焊缝、181个月牙弯、247个水斑、358个油斑、618个丝斑、259个异物、61个压痕、44个严重折痕以及99个腰折。
第二步：对YOLOv7模型进行改进，得到缺陷检测模型；所述缺陷检测模型的结构如图2所示，
1)搭建改进的YOLOv7模型的主干网络:输入缺陷图像的特征图首先经过4层CBS模块的卷积,CBS模块包括Conv层、BN层、SLU层,随后经过ELAN模块与MP模块的堆叠,输出三个特征图；ELAN包括多个CBS模块,其输入输出特征大小保持不变,通道数在开始的两个CBS模块会有变化,后面的几个输入通道都是和输出通道保持一致的,经过最后一个CBS模块输出为需要的通道；MP模块为Maxpoo1与CBS模块的输出向量拼接:
2)搭建改进的YOLOv7模型的颈部网络:利用Bi-FPN(Bi-Fusion Feature PyramidNetwork
)替换PA-FPN(Path Aggregation Networkwith Feature Pyramid Networks)结构,对主干网络输出的三个特征图进行融合；颈部网络的Bi-FPN结构模块图如图4所示；
3)搭建改进的YOLOv7模型的头部网络:引入动态头模块DyHead进行特征图注意力融合:其动态头模块结构包括:用注意力函数的堆叠拟合尺度感知注意力、空间感知注意力和任务感知注意力；应用自我注意力的公式为:
W(F)＝πc(πs(πL(F)·F)·F)·F (1)
其中,F∈RLxSxC，F对应输入的特征向量，R为输入特征向量集合，L代表特征的尺度数，S＝H×W是将特征图的高度H和宽度W维度的重塑，C代表特征图的通道数，πL(x)、πS(x)、πC(x)分别对应任务注意力函数、空间注意力函数和尺度注意力函数，分别对应公式(2)、(3)、(4)：
πC(F)·F＝max(α1(F)·FC+β1(F),α2(F)·FC+β2(F)) (4)
其中,公式(2)中,f(x)是一个由1X1卷积近似的线性函数,是Hard-Sigmoid激活函数；
公式(3)中,K是稀疏采样位置的数量，ω是对应1和k的权重系数，Pk+ΔPk是通过自学习的空间偏移量的位置,Δmk是位置Pk应处的自学习标量；
公式(4)中,[α1,α,β,β1]T＝Θ(●)是一个学习控制激活阀值的超函数,FC代表了在第C个通道的特征切片，动态头模块结构如图3所示。
第三步：对缺陷检测模型进行训练，将训练后的缺陷检测模型用于金属表面缺陷检测；
1)参数设置
利用Ubuntu 22.04系统，CPU为酷睿i7系列(Intel 3.7GHz)，显卡为RTX3060，使用的深度学习框架是Pytorch 1.8.0；采用随机梯度下降法(Stochastic Gradient Descent,SGD)更新网络参数，设置权重衰减(weight decay)值为0.0001，动量(momentum)值为0.9；为了避免模型越过最优点，梯度裁剪至区间[-2,+2]；初始学习率为0.01，并使用指数衰减的学习率，其中衰减指数为0.9，批处理大小设置为16，迭代周期为300。
2)缺陷检测模型的训练
利用第一步得到的训练集对缺陷检测模型进行训练，并通过损失函数计算损失；损失函数包括坐标损失、目标置信度损失和分类损失三部分，坐标损失采用CIoU损失，目标置信度损失和分类损失均采用BCEWithLogitsLoss(带log的二值交叉熵损失)。通过反向传播更新模型参数，直至损失收敛，完成缺陷检测模型的训练。
3)缺陷检测模型的测试
对第一步得到的验证集输入到训练后的缺陷检测模型中，得到所有验证样本的预测结果；将所有预测结果进行统计；同时采用不同模型进行对比，对比结果详见表1。
表1检测结果对比
从表中可知，本发明方法的检测结果高于YOLOv3系列模型和原始的YOLOv7模型，mAP50指标也均大于其余两类模型，更高的AP50和mAP50意味着网络对缺陷位置的定位更加精确，验证了本发明方法的有效性。
本发明未述及之处适用于现有技术。
Claims (4)
1.基于改进YOLO v7模型的金属表面缺陷检测方法，其特征在于该方法包括以下步骤：
1)采集缺陷金属表面图像，对图像进行数据增强和归一化处理；对图像进行标注，添加缺陷类型标签，得到缺陷金属表面数据集；
2)基于改进YOLOv7模型构建缺陷检测模型；YOLOv7模型包括特征提取、特征融合和分类回归三部分，对YOLOv7模型的改进为在YOLOv7模型的特征融合部分修改跨尺度融合支路，通过F-cat操作分别对浅层和深层特征进行融合，得到缺陷检测模型；F-cat操作对每个输入的特征赋予一个可学习的权重，再将赋予权重的特征进行拼接；
3)利用步骤1)获得的图像对缺陷检测模型进行训练，将训练后的缺陷检测模型用于金属表面缺陷检测。
2.如权利要求1所述的基于改进YOLO v7模型的金属表面缺陷检测方法，其特征在于，所述的步骤1)过程为；
通过LabelImg工具对缺陷金属表面图像进行处理，将缺陷位置以矩形框框选，对框选区域图像进行图像增强处理，并进行标注，将标注得到的标签保存为XML文件，制成用于训练改进的YOLO7模型的缺陷金属表面数据集。
3.如权利要求2所述的基于改进YOLO v7模型的金属表面缺陷检测方法，其特征在于所述的步骤2)中，所述改进YOLOv7模型包括以下步骤；
2.1)特征提取，采用YOLOv7模型的主干网络对步骤1)得到的缺陷金属表面数据集进行特征提取，并输出特征数据；
2.2)特征融合，包括以下子步骤
2.21)搭建改进的YOLOv7模型的颈部网络:利用BI-FPN结构，对主干网络输出的特征进行融合；
2.22)搭建改进的YOLOv7模型的头部网络：引入动态头模块对步骤2.21)输出的数据进行注意力融合，所述动态头模块使用注意力函数的堆叠拟合尺度感知注意力、空间感知注意力和任务感知注意力；注意力函数为：
W(F)＝πc(πs(πL(F)·F)·F)·F (1)
公式(1)中，F∈RLxSxC，F对应输入的特征向量，R为输入特征向量集合，L代表特征的尺度数，S＝H×W是将特征图的高度H和宽度W维度的重塑，C代表特征图的通道数，πL(x)、πS(x)、πC(x)分别对应任务注意力函数、空间注意力函数和尺度注意力函数，分别对应公式(2)、(3)、(4)：
πC(F)·F＝max(α1(F)·FC+β1(F),α2(F)·FC+β2(F)) (4)
其中,公式(2)中,f(x)是一个由1X1卷积近似的线性函数,是Hard-Sigmoid激活函数；
公式(3)中,K是稀疏采样位置的数量，ω是对应1和k的权重系数，Pk+ΔPk是通过自学习的空间偏移量的位置,Δmk是位置Pk应处的自学习标量；
公式(4)中,[α1,α,β,β1]T＝Θ(●)是一个学习控制激活阀值的超函数，FC代表了在第C个通道的特征切片。
4.如权利要求3所述的基于改进YOLO v7模型的金属表面缺陷检测方法，其特征在于在所述步骤3),使用改进的YOLOv7进行金属表面缺陷检测过程包括：
1)获取金属表面缺陷图像,将得到的金属表面缺陷图像按序输入检测网络；
2)YOLOv7的主干网络对金属表面缺陷图像进行特征提取，对不同尺度的特征图送入颈部网络,经过特征的融合后送入头部网络，输出检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310674124.7A CN116721291A (zh) | 2023-06-08 | 2023-06-08 | 基于改进YOLOv7模型的金属表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310674124.7A CN116721291A (zh) | 2023-06-08 | 2023-06-08 | 基于改进YOLOv7模型的金属表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116721291A true CN116721291A (zh) | 2023-09-08 |
Family
ID=87867274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310674124.7A Pending CN116721291A (zh) | 2023-06-08 | 2023-06-08 | 基于改进YOLOv7模型的金属表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721291A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314898A (zh) * | 2023-11-28 | 2023-12-29 | 中南大学 | 一种多阶段列车轨边零部件检测方法 |
-
2023
- 2023-06-08 CN CN202310674124.7A patent/CN116721291A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314898A (zh) * | 2023-11-28 | 2023-12-29 | 中南大学 | 一种多阶段列车轨边零部件检测方法 |
| CN117314898B (zh) * | 2023-11-28 | 2024-03-01 | 中南大学 | 一种多阶段列车轨边零部件检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Surface defect detection of steel strips based on classification priority YOLOv3-dense network | |
| CN113807355B (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN112434672B (zh) | 一种基于改进YOLOv3的海上人体目标检测方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN106570464A (zh) | 一种快速处理人脸遮挡的人脸识别方法及装置 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| Song et al. | Pixel-level crack detection in images using SegNet | |
| CN116721291A (zh) | 基于改进YOLOv7模型的金属表面缺陷检测方法 | |
| CN113936195A (zh) | 敏感图像识别模型的训练方法、训练装置和电子设备 | |
| CN112700476A (zh) | 一种基于卷积神经网络的红外船视频跟踪方法 | |
| CN115797808A (zh) | 一种无人机巡检缺陷图像的识别方法、系统、装置及介质 | |
| CN114639102A (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN113313000B (zh) | 一种基于光学图像的气液两相流智能识别方法 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN115631186B (zh) | 一种基于双分支神经网络的工业元件表面缺陷检测方法 | |
| CN116977844A (zh) | 一种轻量级水下目标实时检测方法 | |
| CN111767919A (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN116052149A (zh) | 一种基于CS-ABCNet的电力塔牌检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |