CN116883393A - 一种基于无锚框目标检测算法的金属表面缺陷检测方法 - Google Patents

一种基于无锚框目标检测算法的金属表面缺陷检测方法 Download PDF

Info

Publication number
CN116883393A
CN116883393A CN202311134742.9A CN202311134742A CN116883393A CN 116883393 A CN116883393 A CN 116883393A CN 202311134742 A CN202311134742 A CN 202311134742A CN 116883393 A CN116883393 A CN 116883393A
Authority
CN
China
Prior art keywords
image
feature
metal surface
feature extraction
metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311134742.9A
Other languages
English (en)
Other versions
CN116883393B (zh
Inventor
王晓宾
陈成军
张强
代成刚
王金磊
王兆涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202311134742.9A priority Critical patent/CN116883393B/zh
Publication of CN116883393A publication Critical patent/CN116883393A/zh
Application granted granted Critical
Publication of CN116883393B publication Critical patent/CN116883393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于无锚框目标检测算法的金属表面缺陷检测方法，提供了一种能够获得缺陷图像困难分数并基于困难分数选择特征提取网络的自适应模型，降低了缺陷检测任务对多尺度和特征融合信息的依赖性，在保持较高处理速度的同时，能够显著提升检测任务的处理效率和准确度；还提供了一种对图像信息进行多阶段特征融合的特征提取模型进行特征提取，并通过对不同纬度的特征进行组合，提高了检测算法对不同尺度目标的检测能力，增强了检测的准确性和效率，进行金属缺陷检测的金属表面缺陷检测模型包括三个分支，分别为分类分支、回归分支和中心度分支，利用中心度来抑制低质量预测锚框的产生，进而提升检测算法准确率。

Description

一种基于无锚框目标检测算法的金属表面缺陷检测方法
技术领域
本发明涉及机器视觉检测领域，具体涉及一种基于无锚框目标检测算法的金属表面缺陷检测方法。
背景技术
金属在工业建设和社会发展中都发挥重要的作用。随着金属产量的增大，件数质量检测成为其中重要的一环。尽管在金属的缺陷检测方面、生产设备方面的技术得到一定程度的发展，但对于金属表面多类瑕疵缺陷的检测问题还是无法得到彻底的解决。
近年来，深度学习方法开始广泛应用到各行业中来，其中卷积神经网络在瑕疵检测中有着不俗的表现。相比于人工检测，深度学习方法具备了卓越的自动化特性。相比于传统计算机视觉检测方法，深度学习方法可降低繁杂的计算过程，对多重缺陷的泛化能力更强，并能得到更高的检测精度。目前，基于深度学习的缺陷检测方法大致可被分为anchor-based（基于锚框）的目标检测算法和基于anchor-free（无锚框）的目标检测算法。基于锚框的目标检测算法例如YOLO、Faster-RCNN、RetinaNet等具有比较高的检测精度，但由于锚框的存在，使得神经网络受到严重的影响，比如需要调节更多的超参数，计算过程复杂等，影响目标检测算法的性能。基于无锚框的目标检测算法例如FCOS，CenterNet等具有轻量级的网络结构和训练推理速度，能够简化网络模型且具有较快的检测速度，例如CN113888477A《网络模型的训练方法、金属表面缺陷检测方法及电子设备》公开了“公开了一种网络模型的训练方法、金属表面缺陷检测方法及电子设备，属于缺陷检测相关技术领域，该训练方法包括：获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；采用过采样方法对训练样本进行数据增强，得到训练集；利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；使用NEU-DET数据集作为预训练数据集，送入轻量级目标检测网络中，得到改进的轻量级目标检测网络；将所述训练集输入改进的轻量级目标检测网络中进行训练，得到轻量级目标检测网络模型。本发明有效能够实现大规模金属表面小缺陷的自动检测，具有较高的准确率，并且具有轻量级，高精度图片实时监测等特点，能够运用于工业场景”但预测框的回归较为困难，且检测精度相比于anchor-based的网络而言较差。
因此，如何在保持较快的检测速度和轻量级网络模型的基础上提升检测精度成为目前改进无锚框目标检测算法的热门研究方向。
发明内容
基于上述技术问题，本发明提供了一种基于无锚框目标检测算法的金属表面缺陷检测方法，具体步骤包括：
获取待检测金属图像，将待检测金属图像输入预训练的卷积神经网络获得待检测金属特征图像，将所述待检测金属特征图像输入至训练完成的自适应模型，获得待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络对待检测金属图像进行特征提取，输出初始特征图像，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型以及单个主干特征提取网络；
对初始特征图像的不同维度特征进行特征组合获得最终特征图像；
将最终特征图像输入至训练完成的金属表面缺陷检测模型，对金属表面缺陷进行检测，获得待检测金属图像的金属表面缺陷结果；
其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络对待检测金属图像进行特征提取具体为：当困难分数大于特征提取预设阈值时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于或等于特征提取预设阈值时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取。
优选的，所述基于无锚框目标检测算法的金属表面缺陷检测方法还包括搭建自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型并进行训练，具体步骤为：
获取金属表面缺陷图像样本数据集，将金属表面缺陷图像样本数据集按预设比例划分为训练集和测试集；
搭建自适应模型、特征提取网络和金属表面缺陷检测模型，利用训练集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行训练，其中，训练过程包括：
在金属表面缺陷图像样本数据集上预训练一组卷积神经网络，利用预训练得到的卷积神经网络对训练集进行特征提取，获得金属缺陷图像特征样本训练集；
将金属缺陷图像特征样本训练集中的金属表面缺陷图像特征样本输入至自适应模型，获得金属表面缺陷图像特征样本对应的金属表面缺陷图像样本的困难分数，根据金属表面缺陷图像样本的困难分数选择对应的特征提取网络对训练集中的金属表面缺陷图像样本进行特征提取，获得初始样本特征图像；
对初始样本特征图像的多个维度特征进行特征组合获得最终样本特征图像；
将最终样本特征图像输入至金属表面缺陷检测模型进行缺陷检测获得金属表面缺陷检测结果；
在训练过程中利用梯度下降法优化上述模型的网络参数以最小化金属表面缺陷检测模型的损失函数，不断迭代更新模型网络参数直至达到预设训练次数，保存训练过程中的模型网络参数；
利用测试集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行性能验证，当性能验证结果达到预设合格阈值时，保存此时的各模型网络参数，否则重复训练过程并进行模型网络参数优化，直至性能验证结果达到预设合格阈值。
优选的，通过自适应模型获得特征图像对应图像的困难分数的具体步骤为：
通过卷积层对特征图像进行通道数预处理，获得预设通道数的图像；
对预设通道数的图像进行邻近插值下采样获得不同倍数的下采样图像，下采样图像的通道数与预设通道数的图像的通道数一致；
利用Spatial-Attention对不同倍数的下采样图像提取特征信息，获得重要特征下采样图像；
将预设通道数的图像和重要特征下采样图像输入自适应路由器，所述自适应路由器通过平均池化和全连接操作获得困难分数。
优选的，所述自适应路由器通过平均池化和全连接操作获得困难分数具体为：
通过平均池化操作和通道连接操作将多尺度特征压缩为特征维数为n*预设通道数的张量，以公式表达为：
；
n≥3；
式中，为多尺度特征，/>为进行平均池化操作，C/>为进行通道连接操作，/>为预设通道数的图像，/>为重要特征下采样图像；
对张量进行全连接层操作，通过两个全连接层获得困难分数，以公式表达为：
；
式中，为困难分数，/>，/>分别表示ReLU激活函数和Sigmoid激活函数，/>、/>分别为第一个全连接层的权重和偏差，/>、/>分别为第二个全连接层的权重和偏差，其中，所述、/>、/>和/>均为可调参数，经过第二个全连接层后张量的特征维数降为1，此时输出困难分数/>，/>。
优选的，主干特征提取网络包括若干主干块，所述主干特征提取网络基于深度残参网络构建；补偿特征提取网络包括若干补偿块，所述补偿特征提取网络基于扩展卷积、深度可分离卷积和投影卷积构建。
优选的，对初始特征图像的不同维度特征进行特征组合具体为：
通过卷积操作对齐初始特征图像的不同维度的特征的通道数，利用邻近插值算法对进行卷积操作后的初始特征图像进行上采样，将上采样后的特征与卷积操作后的特征进行不同层级的融合，生成新的特征表示，对新的特征表示进行卷积操作和激活函数操作获得最终特征图像。
优选的，金属表面缺陷检测模型包括三个分支，分别为分类分支、回归分支和中心度分支，其中：
分类分支用于预测缺陷类型；
回归分支用于计算特征图像中各点与生成锚框各端点的距离；
中心度分支用于计算特征图上的点与真实锚框中心点的距离，并根据距离大小进行打分；
根据三个分支构建损失函数，以公式表达为：
；
式中，为分类损失函数，/>为回归损失函数，/>为中心度损失函数，/>为输入金属表面缺陷检测模型的图像的正样本数，/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的每个缺陷类别的得分，/>为输入金属表面缺陷检测模型的图像在（x，y）点处对应的真实类别标签；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的目标锚框信息；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的真实锚框信息；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的中心度大小；/>为输入金属表面缺陷检测模型的图像在（x，y）点处真实的中心度大小。
本申请还提供了一种基于无锚框目标检测算法的金属表面缺陷检测系统，包括数据采集模块、特征提取模块、特征组合模块和预测模块，其中：
所述数据采集模块的输出端与特征提取模块的输入端电连接，数据采集模块内部设置有一预训练的卷积神经网络，通过获取待检测金属图像，将待检测金属图像输入预训练的卷积神经网络获得待检测金属特征图像，并将所述待检测金属图像和待检测金属特征图像传输至特征提取模块；
所述特征提取模块包括多阶段特征融合模块和动态特征补偿模块；所述多阶段特征融合模块内部设置有特征提取网络，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型和单个主干特征提取网络；所述动态特征补偿模块内部设置有训练完成的自适应模型；
通过将待检测金属特征图像输入至自适应模型获得对应的待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络，将待检测金属图像进行特征提取，输出初始特征图像；
其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络具体为：当困难分数大于特征提取预设阈值时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于等于特征提取预设阈值时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取；
所述特征组合模块的输入端与所述特征提取模块的输出端电连接，用于获取特征提取模块输出的初始特征图像，对初始特征图像的不同维度特征进行特征组合获得最终特征图像；
所述预测模块的输入端与特征组合模块的输出端电连接，用于获取特征组合模块输出的最终特征图像，所述预测模块内部设置有训练完成的金属表面缺陷检测模型，对最终特征图像进行检测，获得待检测金属图像的金属表面缺陷结果并输出。
本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
与现有技术相比，本发明的有益效果是：
1、本发明提供了一种基于无锚框目标检测算法的金属表面缺陷检测方法，设置有自适应模型，用于获取待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络，降低了缺陷检测任务对多尺度和特征融合信息的依赖性，在保持较高处理速度的同时，能够显著提升检测任务的处理效率和准确度；
2、本发明提供了一种基于无锚框目标检测算法的金属表面缺陷检测方法，对不同维度的特征进行组合，提高了检测算法对不同尺度目标的检测能力，增强了检测的准确性和效率。
3、本发明提供了一种基于无锚框目标检测算法的金属表面缺陷检测方法，金属表面缺陷检测模型包括三个分支，分别为分类分支、回归分支和中心度分支，利用中心度来抑制低质量预测锚框的产生，进而提升检测算法准确率。
附图说明
图1是本发明实施例的基于改进无锚框目标检测算法的示意图；
图2是本发明实施例的特征提取模型MFCM的结构图；
图3是本发明实施例的自适应模型DFCM的结构图；
图4是本发明实施例的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例一公开了一种基于无锚框目标检测算法的金属表面缺陷检测方法，在本实施例中，所述方法通过学习带有缺陷的金属表面缺陷图像样本数据集，可以识别金属表面是否具有斑块(patches)，开裂(crazing)，点蚀表面(pitted surface)，内含物(inclusion)和划痕(scratches)等六种缺陷，且能够有效识别含有多个同种缺陷目标的困难图像，具体的，本实施例提供了一种基于无锚框目标检测算法的金属表面缺陷检测方法，包括一种能够获得缺陷图像困难分数并基于困难分数选择特征提取网络的自适应模型DFCM，一种对图像信息进行多阶段特征融合的特征提取网络MFCM，以及加入上述模型后的一种改进无锚框目标检测算法的流程。
S1、本实施例提供的自适应模型DFCM用于指导多阶段特征融合模型提取特征信息，从而使得本实施例提供过的目标检测算法在不减少训练推理速度的情况下更为精确的提取特征信息，如图3所示，具体的：
自适应模型DFCM获取待检测金属特征图像，计算获得待检测金属图像对应的困难分数，其中，待检测金属特征图像通过预训练的卷积神经网络获得，所述预训练的卷积神经网络可以是具有不同结构和复杂度的网络，比如VGG、ResNet等，通过预先获取的金属表面缺陷图像样本数据集进行预训练，在预训练过程中，使用一般的目标识别任务作为监督信号进行网络参数的学习。
使用预训练得到的卷积神经网络对待检测金属图像进行特征提取获得待检测金属特征图像，通过卷积层对待检测金属特征图像进行通道数预处理，获得预设通道数的图像，在本实施例中，将待检测金属特征图像经过stem layer处理获得通道数为64的图像，设为；
在保留原有特征信息的情况下，对预处理后的图像进行邻近插值下采样获得不同倍数的下采样图像，下采样图像的通道数与预处理后的图像通道数一致，在本实施例中，利用邻近插值算法分别获得下采样1/2倍图像、下采样1/4倍图像和下采样1/8倍图像，下采样得到的图像通道数均为64；
利用Spatial-Attention对不同倍数的下采样图像提取图像的特征信息，获得重要特征下采样图像，Spatial-Attention（空间注意力）是一种机制，用于在特征图的空间维度上对不同位置的特征进行加权，以提取和强调重要的空间信息，在图像处理任务中，Spatial-Attention可以帮助模型关注图像中具有重要语义或特征的区域，忽略无关的部分，这种机制通常通过计算每个空间位置的注意力权重来实现，在本实施例中，利用Spatial-Attention对1/2倍下采样图像、1/4倍下采样图像和1/8倍下采样图像提取特征信息，获得对应的重要特征下采样图像，分别设为，/>，/>；
将预处理后的图像和重要特征下采样图像输入Adaptive-Router自适应路由器，所述自适应路由器通过平均池化和全连接操作获得困难分数，在本实施例中：
所述自适应路由器通过平均池化和全连接操作获得困难分数具体为：
通过平均池化操作和通道连接操作将多尺度特征压缩为特征维数为256的张量，以公式表达为：
；
式中，为多尺度特征，/>为进行平均池化操作，C/>为进行通道连接操作，/>为预处理后的图像，/>为重要特征下采样图像；
对张量进行全连接层操作，通过两个全连接层获得困难分数，以公式表达为：
；
式中，为困难分数，/>，/>分别表示ReLU激活函数和Sigmoid激活函数，/>、/>分别为第一个全连接层的权重和偏差，/>、/>表示第二个全连接层的权重和偏差，其中，所述/>、/>、/>和/>均为可调参数，/>经过第一个全连接层特征维数降为d/4=64，经过第二个全连接层后张量的特征维数降为1，此时输出困难分数/>，/>；
在得到困难分数后，自适应模型的识别器根据待检测金属图像的困难分数选择对应的特征提取网络对待检测金属图像进行特征提取，输出初始特征图像，其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络具体为：当困难分数大于特征提取预设阈值0.5时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于等于特征提取预设阈值0.5时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取。
S2、本实施例提供的特征提取网络MFCM负责提取输入图像的特征，获得含有高维语义信息和低维空间信息的特征图，以便后续处理和分析，具体的：
所述特征提取网络包括多阶段特征融合模型和主干特征提取网络，其中：
所述多阶段特征融合模型由主干特征提取网络和补偿特征提取网络组成，主干特征提取网络包括若干主干块，所述主干特征提取网络基于深度残参网络构建；补偿特征提取网络包括若干补偿块，基于扩展卷积、深度可分离卷积和投影卷积构建；
具体的，在本实施例中，多阶段特征融合模型的主干特征提取网络与特征提取网络中的主干特征提取网络为相同的神经网络，如图2所示，Resnet50-layer作为主干特征提取网络，用于提取简单目标缺陷的特征；MobileNetV2 Bottleneck作为补偿特征提取网络，用于提取复杂目标缺陷的特征。通过将主干特征提取网络和补偿特征提取网络进行融合，能够提取到包含简单目标和复杂目标的缺陷特征。主干特征提取网络包含主干块1，主干块2，主干块3，主干块4共四个模块，每个模块由卷积、激活函数等操作构成；补偿特征提取网络分为补偿块1，补偿块2，补偿块3组成，其中补偿块1、补偿块2，补偿块3均由若干个MobileNetV2 Bottleneck组成，MobileNetV2 Bottleneck是一种具有倒残差结构的轻量级网络结构，能够在不扩充模型大小，不增加网络计算量的情况下提取更为精确的特征信息，因此本实施例选择MobileNetV2 Bottleneck作为主干特征提取网络的补偿网络。补偿块1由一个扩展因子为3，输出通道数为256，步距为2的MobileNetV2 Bottleneck组成；补偿块2由两个扩展因子为3，输出通道数为512，步距为2的MobileNetV2 Bottleneck组成；补偿块3由两个扩展因子为3，输出通道数为1024，步距为2的MobileNetV2 Bottleneck组成，值得说明的是，主干块和补偿块的具体设计可以根据任务和网络架构的需求而变化，并不仅仅限定为本实施例中的设计，利用上述主干特征提取网络和多阶段特征融合模型对待检测金属图像进行特征提取，输出初始特征图像。
S3、对初始特征图像的不同维度特征进行特征组合获得最终特征图像，进行特征组合具体为通过卷积操作对齐初始特征图像的不同维度的特征的通道数，利用邻近插值算法对进行卷积操作后的初始特征图像进行上采样，将上采样后的特征与卷积操作后的特征进行不同层级的融合，生成新的特征表示，对新的特征表示进行卷积操作和激活函数操作获得最终特征图像；
在本实施例中，经过特征提取网络获得的初始特征图像C3，C4，C5先分别进行1x1卷积用于对齐初始特征图像的通道数，以便后续对初始特征图像进行上采样和组合步骤；其中C5经过1x1卷积后得到M5，M5通过邻近插值算法进行上采样后与经过1x1卷积的C4进行特征组合，得到M4。M4通过邻近插值算法进行上采样后与经过1x1卷积的C3进行特征组合，得到M3。M3，M4，M5再分别经过一个3x3卷积得到P3，P4，P5；P5经过激活函数和一个3x3卷积操作后得到P6，P6经过一个3x3卷积后得到P7，得到的P3~P7作为不同的Heads（并行的分支）送入金属表面缺陷检测模型执行缺陷检测任务，上述特征组合提高了检测算法对不同尺度目标的检测能力，增强了检测的准确性和效率；
S4、金属表面缺陷检测模型用于获取最终特征图像，利用最终特征图像对金属表面缺陷做出预测，同时计算损失函数优化网络参数，所述金属表面缺陷检测模型包括三个分支，分别为分类分支Classification、回归分支Regression和中心度分支Center-ness，其中：
分类分支用于预测缺陷类型；
回归分支用于计算特征图像中各点与生成锚框各端点的距离；
中心度分支用于计算特征图上的点与真实锚框中心点的距离，并根据距离大小进行打分；
根据三个分支构建损失函数，以公式表达为：
；
式中，为分类损失函数，/>为回归损失函数，/>为中心度损失函数，/>为输入金属表面缺陷检测模型的图像的正样本数，/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的每个缺陷类别的得分，/>为输入金属表面缺陷检测模型的图像在（x，y）点处对应的真实类别标签；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的目标锚框信息；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的真实锚框信息；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的中心度大小；/>为输入金属表面缺陷检测模型的图像在（x，y）点处真实的中心度大小。
S5、本实施例所提供的自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型均为训练完成的模型，具体训练步骤包括：
获取金属表面缺陷图像样本数据集，所述金属表面缺陷图像样本数据集来源于东北大学（NEU）发布的表面缺陷数据库，收集了热轧钢带的六种典型表面缺陷，即轧制氧化皮（RS），斑块（Pa），开裂（Cr），点蚀表面（ PS），内含物（In）和划痕（Sc），该数据库包括1,800个灰度图像：六种不同类型的典型表面缺陷，每一类缺陷包含300个样本。对于缺陷检测任务，数据集提供了注释，指示每个图像中缺陷的类别和位置。对于每个缺陷，黄色框是指示其位置的边框，绿色标签是类别分数。本发明将其中1620个缺陷图像作为训练样本，180个缺陷图像测试样本进行网络训练任务。
将金属表面缺陷图像样本集按预设比例划分为训练集和测试集；在所述金属表面缺陷图像样本数据集上预训练一组卷积神经网络，利用预训练得到的特征提取网络对训练集进行特征提取，获得金属缺陷图像特征样本训练集；
搭建自适应模型和特征提取网络，将金属表面缺陷图像特征样本输入至自适应模型，获得金属表面缺陷图像样本对应的困难分数，根据金属表面缺陷图像样本对应的困难分数选择对应的特征提取网络对金属表面缺陷图像进行特征提取，获得初始样本特征图像，其中，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型以及单个主干特征提取网络；
对初始样本特征图像的多个维度特征进行特征组合获得最终样本特征图像；
构建金属表面缺陷检测模型，建立金属表面缺陷模型的损失函数，将最终样本特征图像输入至金属表面缺陷检测模型进行获得金属表面缺陷检测结果；
利用训练集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行训练，利用梯度下降法优化模型网络参数以最小化金属表面缺陷检测模型的损失函数，不断迭代更新模型网络参数直至达到预设训练次数，保存训练过程中的模型网络参数；
利用测试集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行性能验证，当性能验证结果达到预设合格阈值时，保存此时模型网络参数，否则重复训练过程并进行模型网络参数优化，直至性能验证结果达到预设合格阈值；
在训练阶段，通过定义的损失函数学习并不断更新网络参数，利用中心度来抑制低质量预测锚框的产生，进而提升检测算法准确率，在测试阶段，根据训练网络所保存的最优模型来验证目标检测算法的精度和速度。
S6、为了验证本实施例提出的一种基于无锚框目标检测算法的金属表面缺陷检测方法的有效性，将现有的FCOS改进方法（J. Yu, X. Cheng and Q. Li, "Surface DefectDetection of Steel Strips Based on Anchor-Free Network With Channel Attentionand Bidirectional Feature Fusion, IEEE Transactions on Instrumentation andMeasurement）运用不同检测算法与本实施例提供的方法进行缺陷识别准确率对比，待检测金属图像数据集均使用NEU-DET钢表面缺陷检测数据集，结果如表1所示：
表1 不同检测算法识别准确率结果
表2 不同检测算法综合评价结果
如表2所示，综合表1的结果对不同检测算法进行综合评价，评价指标采用总体平均准确率（mAP）、各缺陷平均识别准确率以及运行速度（FPS），斑块，划痕，点蚀表面，开裂，内含物，轧制氧化皮为金属表面的六种不同缺陷类型，FPS表示目标检测算法的推理速度，从表1、表2中可以看出,相比于传统的基于瞄框的目标检测算法，例如YOLOv4，RerinaNet，本实施例具有更高的推理速度和检测准确度；相比于其他无锚框的目标检测算法，例如SAPD，CABF-FCOS，本实施例在推理速度与其他方法相近的情况下，具有更好的检测性能和准确度，其中对轧制氧化皮的检测精确度相比于其他网络提升了12%，对内含物的检测精确度相比于其他网络提升了3%，总体平均准确率（mAP）相比于现有的改进FCOS方法CABF-FCOS提升了0.5%。
实施例二
本发明还提供了一种基于无锚框目标检测算法的金属表面缺陷检测系统，包括数据采集模块、特征提取模块、特征组合模块和预测模块，其中：
所述数据采集模块的输出端与特征提取模块的输入端电连接，数据采集模块内部设置有一预训练的卷积神经网络，通过获取待检测金属图像，将待检测金属图像输入预训练的卷积神经网络获得待检测金属特征图像，并将所述待检测金属图像和待检测金属特征图像传输至特征提取模块；
所述特征提取模块包括多阶段特征融合模块和动态特征补偿模块；所述多阶段特征融合模块内部设置有特征提取网络，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型和单个主干特征提取网络；所述动态特征补偿模块内部设置有训练完成的自适应模型；
通过将待检测金属特征图像输入至自适应模型获得对应的待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络，将待检测金属图像进行特征提取，输出初始特征图像；
其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络具体为：当困难分数大于特征提取预设阈值时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于等于特征提取预设阈值时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取；
所述特征组合模块的输入端与所述特征提取模块的输出端电连接，用于获取特征提取模块输出的初始特征图像，对初始特征图像的不同维度特征进行特征组合获得最终特征图像；
所述预测模块的输入端与特征组合模块的输出端电连接，用于获取特征组合模块输出的最终特征图像，所述预测模块内部设置有训练完成的金属表面缺陷检测模型，对最终特征图像进行检测，获得待检测金属图像的金属表面缺陷结果并输出。
实施例三
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
实施例四
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
值得说明的是，本发明所述的系统、电子设备和计算机可读存储介质，均与实施例一的一种基于无锚框目标检测算法的金属表面缺陷检测方法基于相同的发明构思，具体技术内容不再赘述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，具体步骤包括：
获取待检测金属图像，将待检测金属图像输入预训练的卷积神经网络获得待检测金属特征图像，将所述待检测金属特征图像输入至训练完成的自适应模型，获得待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络对待检测金属图像进行特征提取，输出初始特征图像，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型以及单个主干特征提取网络；
对初始特征图像的不同维度特征进行特征组合获得最终特征图像；
将最终特征图像输入至训练完成的金属表面缺陷检测模型，对金属表面缺陷进行检测，获得待检测金属图像的金属表面缺陷结果；
其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络对待检测金属图像进行特征提取具体为：当困难分数大于特征提取预设阈值时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于或等于特征提取预设阈值时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取。
2.根据权利要求1所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，所述基于无锚框目标检测算法的金属表面缺陷检测方法还包括搭建自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型并进行训练，具体步骤为：
获取金属表面缺陷图像样本数据集，将金属表面缺陷图像样本数据集按预设比例划分为训练集和测试集；
搭建自适应模型、特征提取网络和金属表面缺陷检测模型，利用训练集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行训练，其中，训练过程包括：
在金属表面缺陷图像样本数据集上预训练一组卷积神经网络，利用预训练得到的卷积神经网络对训练集进行特征提取，获得金属缺陷图像特征样本训练集；
将金属缺陷图像特征样本训练集中的金属表面缺陷图像特征样本输入至自适应模型，获得金属表面缺陷图像特征样本对应的金属表面缺陷图像样本的困难分数，根据金属表面缺陷图像样本的困难分数选择对应的特征提取网络对训练集中的金属表面缺陷图像样本进行特征提取，获得初始样本特征图像；
对初始样本特征图像的多个维度特征进行特征组合获得最终样本特征图像；
将最终样本特征图像输入至金属表面缺陷检测模型进行缺陷检测获得金属表面缺陷检测结果；
在训练过程中利用梯度下降法优化上述模型的网络参数以最小化金属表面缺陷检测模型的损失函数，不断迭代更新模型网络参数直至达到预设训练次数，保存训练过程中的模型网络参数；
利用测试集对自适应模型、多阶段特征融合模型、主干特征提取网络和金属表面缺陷检测模型进行性能验证，当性能验证结果达到预设合格阈值时，保存此时的各模型网络参数，否则重复训练过程并进行模型网络参数优化，直至性能验证结果达到预设合格阈值。
3.根据权利要求1或2所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，通过自适应模型获得特征图像对应图像的困难分数的具体步骤为：
通过卷积层对特征图像进行通道数预处理，获得预设通道数的图像；
对预设通道数的图像进行邻近插值下采样获得不同倍数的下采样图像，下采样图像的通道数与预设通道数的图像的通道数一致；
利用Spatial-Attention对不同倍数的下采样图像提取特征信息，获得重要特征下采样图像；
将预设通道数的图像和重要特征下采样图像输入自适应路由器，所述自适应路由器通过平均池化和全连接操作获得困难分数。
4.根据权利要求3所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，所述自适应路由器通过平均池化和全连接操作获得困难分数具体为：
通过平均池化操作和通道连接操作将多尺度特征压缩为特征维数为n*预设通道数的张量，以公式表达为：
；
n≥3；
式中，为多尺度特征，/>为进行平均池化操作，C/>为进行通道连接操作，/>为预设通道数的图像，/>为重要特征下采样图像；
对张量进行全连接层操作，通过两个全连接层获得困难分数，以公式表达为：
；
式中，为困难分数，/>，/>分别表示ReLU激活函数和Sigmoid激活函数，/>、/>分别为第一个全连接层的权重和偏差，/>、/>分别为第二个全连接层的权重和偏差，其中，所述/>、、/>和/>均为可调参数，经过第二个全连接层后张量的特征维数降为1，此时输出困难分数/>，/>。
5.根据权利要求1所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，主干特征提取网络包括若干主干块，所述主干特征提取网络基于深度残参网络构建；补偿特征提取网络包括若干补偿块，所述补偿特征提取网络基于扩展卷积、深度可分离卷积和投影卷积构建。
6.根据权利要求4所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，对初始特征图像的不同维度特征进行特征组合具体为：
通过卷积操作对齐初始特征图像的不同维度的特征的通道数，利用邻近插值算法对进行卷积操作后的初始特征图像进行上采样，将上采样后的特征与卷积操作后的特征进行不同层级的融合，生成新的特征表示，对新的特征表示进行卷积操作和激活函数操作获得最终特征图像。
7.根据权利要求6所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法，其特征在于，金属表面缺陷检测模型包括三个分支，分别为分类分支、回归分支和中心度分支，其中：
分类分支用于预测缺陷类型；
回归分支用于计算特征图像中各点与生成锚框各端点的距离；
中心度分支用于计算特征图上的点与真实锚框中心点的距离，并根据距离大小进行打分；
根据三个分支构建损失函数，以公式表达为：
；
式中，为分类损失函数，/>为回归损失函数，/>为中心度损失函数，/>为输入金属表面缺陷检测模型的图像的正样本数，/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的每个缺陷类别的得分，/>为输入金属表面缺陷检测模型的图像在（x，y）点处对应的真实类别标签；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的目标锚框信息；/>为输入金属表面缺陷检测模型的图像在（x，y）点处预测的真实锚框信息；为输入金属表面缺陷检测模型的图像在（x，y）点处预测的中心度大小；/>为输入金属表面缺陷检测模型的图像在（x，y）点处真实的中心度大小。
8.一种基于无锚框目标检测算法的金属表面缺陷检测系统，其特征在于，包括数据采集模块、特征提取模块、特征组合模块和预测模块，其中：
所述数据采集模块的输出端与特征提取模块的输入端电连接，数据采集模块内部设置有一预训练的卷积神经网络，通过获取待检测金属图像，将待检测金属图像输入预训练的卷积神经网络获得待检测金属特征图像，并将所述待检测金属图像和待检测金属特征图像传输至特征提取模块；
所述特征提取模块包括多阶段特征融合模块和动态特征补偿模块；所述多阶段特征融合模块内部设置有特征提取网络，所述特征提取网络包括由主干特征提取网络和补偿特征提取网络组成的多阶段特征融合模型和单个主干特征提取网络；所述动态特征补偿模块内部设置有训练完成的自适应模型；
通过将待检测金属特征图像输入至自适应模型获得对应的待检测金属图像的困难分数，并根据待检测金属图像的困难分数选择对应的特征提取网络，将待检测金属图像进行特征提取，输出初始特征图像；
其中，所述根据待检测金属图像的困难分数选择对应的特征提取网络具体为：当困难分数大于特征提取预设阈值时，将待检测金属图像输入至训练完成的多阶段特征融合模型进行特征提取；当困难分数小于等于特征提取预设阈值时，将待检测金属图像输入至训练完成的主干特征提取网络进行特征提取；
所述特征组合模块的输入端与所述特征提取模块的输出端电连接，用于获取特征提取模块输出的初始特征图像，对初始特征图像的不同维度特征进行特征组合获得最终特征图像；
所述预测模块的输入端与特征组合模块的输出端电连接，用于获取特征组合模块输出的最终特征图像，所述预测模块内部设置有训练完成的金属表面缺陷检测模型，对最终特征图像进行检测，获得待检测金属图像的金属表面缺陷结果并输出。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的一种基于无锚框目标检测算法的金属表面缺陷检测方法。
CN202311134742.9A 2023-09-05 2023-09-05 一种基于无锚框目标检测算法的金属表面缺陷检测方法 Active CN116883393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311134742.9A CN116883393B (zh) 2023-09-05 2023-09-05 一种基于无锚框目标检测算法的金属表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311134742.9A CN116883393B (zh) 2023-09-05 2023-09-05 一种基于无锚框目标检测算法的金属表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116883393A true CN116883393A (zh) 2023-10-13
CN116883393B CN116883393B (zh) 2023-12-01

Family

ID=88255385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311134742.9A Active CN116883393B (zh) 2023-09-05 2023-09-05 一种基于无锚框目标检测算法的金属表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116883393B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117654907A (zh) * 2023-11-29 2024-03-08 嘉兴嘉视自动化科技有限公司 用于带料检测机的自动剔除方法及系统
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN113673510A (zh) * 2021-07-29 2021-11-19 复旦大学 一种结合特征点和锚框共同预测和回归的目标检测算法
CN113808099A (zh) * 2021-09-11 2021-12-17 苏州兆能视觉科技有限公司 一种铝材表面缺陷检测装置与方法
CN114049325A (zh) * 2021-11-15 2022-02-15 刘有淇 轻量化人脸口罩佩戴检测模型的构建方法及应用
CN114897802A (zh) * 2022-04-25 2022-08-12 江苏科技大学 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115294038A (zh) * 2022-07-25 2022-11-04 河北工业大学 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN115375909A (zh) * 2022-07-11 2022-11-22 华为技术有限公司 一种图像处理方法及装置
CN115880223A (zh) * 2022-11-10 2023-03-31 淮阴工学院 一种基于改进yolox的高反光金属表面缺陷检测方法
CN116205876A (zh) * 2023-02-20 2023-06-02 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置
CN112085735A (zh) * 2020-09-28 2020-12-15 西安交通大学 一种基于自适应锚框的铝材质图像缺陷检测方法
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN113673510A (zh) * 2021-07-29 2021-11-19 复旦大学 一种结合特征点和锚框共同预测和回归的目标检测算法
CN113808099A (zh) * 2021-09-11 2021-12-17 苏州兆能视觉科技有限公司 一种铝材表面缺陷检测装置与方法
CN114049325A (zh) * 2021-11-15 2022-02-15 刘有淇 轻量化人脸口罩佩戴检测模型的构建方法及应用
CN114897802A (zh) * 2022-04-25 2022-08-12 江苏科技大学 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN115375909A (zh) * 2022-07-11 2022-11-22 华为技术有限公司 一种图像处理方法及装置
CN115294038A (zh) * 2022-07-25 2022-11-04 河北工业大学 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN115880223A (zh) * 2022-11-10 2023-03-31 淮阴工学院 一种基于改进yolox的高反光金属表面缺陷检测方法
CN116205876A (zh) * 2023-02-20 2023-06-02 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAITAO DONG 等: "ViT-SAPS: Detail-Aware Transformer for Mechanical Assembly Semantic Segmentation", 《IEEE ACCESS ( VOLUME: 11)》 *
代小红;陈华江;朱超平;: "一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究", 表面技术, no. 10 *
岳慧慧;白瑞林;: "基于改进YOLOv3的木结缺陷检测方法研究", 自动化仪表, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117654907A (zh) * 2023-11-29 2024-03-08 嘉兴嘉视自动化科技有限公司 用于带料检测机的自动剔除方法及系统
CN117726628A (zh) * 2024-02-18 2024-03-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法
CN117726628B (zh) * 2024-02-18 2024-04-19 青岛理工大学 一种基于半监督目标检测算法的钢材表面缺陷检测方法

Also Published As

Publication number Publication date
CN116883393B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN115829991A (zh) 一种基于改进YOLOv5s的钢材表面缺陷检测方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN117237599A (zh) 图像目标检测方法及装置
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
Li et al. Steel Surface Defect Detection Method Based on Improved YOLOX
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
Xin et al. Surface defect detection with channel-spatial attention modules and bi-directional feature pyramid
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
CN116958662A (zh) 一种基于卷积神经网络的钢带缺陷分类方法
CN116468686A (zh) 一种基于软优化知识蒸馏的带钢表面缺陷识别方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN115601357A (zh) 一种基于小样本的冲压件表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant