CN115496752A - 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 - Google Patents

一种基于一阶段目标检测算法的钢材表面缺陷检测方法 Download PDF

Info

Publication number
CN115496752A
CN115496752A CN202211429925.9A CN202211429925A CN115496752A CN 115496752 A CN115496752 A CN 115496752A CN 202211429925 A CN202211429925 A CN 202211429925A CN 115496752 A CN115496752 A CN 115496752A
Authority
CN
China
Prior art keywords
feature
convolution
module
attention
surface defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211429925.9A
Other languages
English (en)
Other versions
CN115496752B (zh
Inventor
周鸣乐
张泽恺
李刚
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202211429925.9A priority Critical patent/CN115496752B/zh
Publication of CN115496752A publication Critical patent/CN115496752A/zh
Application granted granted Critical
Publication of CN115496752B publication Critical patent/CN115496752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数字图像处理目标识别技术领域,尤其是一种基于一阶段目标检测算法的钢材表面缺陷检测方法，包括如下步骤:S1、对钢铁表面缺陷图片进行数据预处理，预处理后的图片划分为训练集、验证集、测试集；S2、进行目标检测模型主干特征提取网络的搭建；S3、进行目标检测模型特征融合网络的搭建；S4、进行目标检测模型检测头的搭建；S5、将主干特征提取网络、特征融合网络、检测头进行连接，采用训练集训练连接后的目标检测模型，并采用验证集进行验证，测试集进行测试；S6、训练结束后选择超过设定阈值模型进行封装部署，对钢材表面缺陷图片进行检测。实现对钢材表面缺陷的检测，及时发现工业缺陷产品有助于保障产品质量安全。

Description

一种基于一阶段目标检测算法的钢材表面缺陷检测方法
技术领域
本发明涉及数字图像处理目标识别技术领域，具体涉及一种基于一阶段目标检测算法的钢材表面缺陷检测方法。
背景技术
近年来，工业领域的重复性操作大多数已被智能化系统所取代。在工业智能化系统中，信号数据的处理是重要的技术，工业数字信号处理内容包含图像、光电信号等。其中，图像数据的处理为工业自动化场景中应用和需求最广泛的领域。工业图像处理主要用于工业产品的缺陷检测、工厂安全预警等。工业产品的缺陷检测是工业生产中重要的一环，及时发现工业缺陷产品有助于保障产品质量安全。
工业图像数据有许多经典的处理方法，在传统的检测方法中， HOG特征提取占据主导地位。HOG通过对物体边缘使用直方图统计来进行编码，特征表达能力更强但生成过程冗长，导致速度慢，实时性差；很难处理遮挡问题。其次由于梯度的性质，HOG对噪声敏感。最近一些基于深度学习的目标检测技术被广泛提出，YOLO系列算法是目前工业缺陷检测运用最广泛的方法。然而工业场景的缺陷检测仍有几个难点：首先，物体类间差异大，工业品缺陷复杂多样，不同的缺陷之间差异极大，这种差异导致算法泛化能力不强；其次，类间的模糊性大，不同类缺陷表观特征相似度大，很难区分类别；第三，缺陷背景复杂，缺陷物体语义信息弱，缺陷特征不明显。第四，物体尺度变化剧烈，小物体的IoU-Loss过小导致网络更新效果差，检测不同尺度物体难度大。解决工业缺陷物体的弱语义信息的提取以及对尺度变化剧烈物体的Loss设计为当前工业缺陷检测的核心问题。当前大多数YOLO算法的变体无法做到更好地融合不同缺陷的语义特征以及对尺度变化剧烈缺陷的检测，因此针对工业场景的特殊性专门设计一种目标检测器至关重要。
发明内容
针对上述问题，本发明提供了一种基于一阶段目标检测算法的钢材表面缺陷检测方法，可有效地解决工业场景下存在的问题，实现对钢材表面缺陷的检测，及时发现工业缺陷产品有助于保障产品质量安全。
本发明提供如下技术方案：一种基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理，预处理后的图片划分为训练集、验证集、测试集；
S2、进行目标检测模型主干特征提取网络的搭建；
S3、进行目标检测模型特征融合网络的搭建；
S4、进行目标检测模型检测头的搭建；
S5、将主干特征提取网络、特征融合网络、检测头进行连接组成目标检测模型，采用训练集训练连接后的目标检测模型，并采用验证集进行验证，测试集进行测试；
S6、训练结束后选择超过设定阈值模型进行封装部署，即选择精度最高的模型进行封装部署，对钢材表面缺陷图片进行检测。
步骤S1中，将钢铁表面缺陷图片数据与XML格式标签数据一一对应，并将XML格式标签数据转换为TXT格式标签数据，其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类，处理好数据集格式后将图片数据调整为640×640并进行伽马变换，公式如下：
Figure 551522DEST_PATH_IMAGE001
其中
Figure 546023DEST_PATH_IMAGE002
代表增强后的图片数据，
Figure 93679DEST_PATH_IMAGE003
代表增强前的原始图片数据，
Figure 794918DEST_PATH_IMAGE004
为固定值，
Figure 832145DEST_PATH_IMAGE005
，在标签处理完成以及图片处理完成后，将图片和标签一一对应，按照6:2:2的比例分别划分训练集、验证集、测试集。
步骤S2中，目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取模块和自注意力特征提取模块级联，其中，单卷积模块为一个卷积核大小为3的卷积，卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块，自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块。
瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块；卷积注意力模块包含三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数，在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘，公式如下：
Figure 251625DEST_PATH_IMAGE006
Figure 337392DEST_PATH_IMAGE007
其中，M表示生成的注意力特征矩阵，F表示输入的原始特征，MLP由两层卷积构成，
Figure 158718DEST_PATH_IMAGE008
表示按位相乘，
Figure 570108DEST_PATH_IMAGE009
表示沿通道方相叠加，
Figure 273621DEST_PATH_IMAGE010
为输出的特征图。
分割模块按照16×16的大小将图片分为多个图像块，自注意力特征提取模块中自注意力模块的个数为4，在自注意力特征提取模块中，首先进行一个随机矩阵的生成，将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘，依次生成查询向量q；其次对分割后的图片块分别进行2×2的全局平均池化，并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘，分别生成查询键向量k和特征表达向量v；最后，以四个相邻的图像块为基准，在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘，自注意力模块的公式如下所示：
Figure 897501DEST_PATH_IMAGE011
其中，random代表随机抽取q向量的过程，
Figure 838912DEST_PATH_IMAGE012
代表q向量，
Figure 217941DEST_PATH_IMAGE013
代表k向量，
Figure 346434DEST_PATH_IMAGE014
代表v向量。
步骤S3中，特征融合网络为三层，第一层包括5个特征融合节点，每个特征融合节点分别融合特征提取网络的相邻两层输出特征，其中在融合特征提取网络的相邻两层输出特征融合过程中，高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合，第二层由4个特征融合节点组成，每个特征融合节点的下采样倍数为2，其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合。第三层由3个特征融合节点组成，每个特征融合节点分别融合第二层的相邻两层的输出特征，最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合。
步骤S4中，检测头包括通道注意力模块、特征融合节点、检测器级联，检测器包括一个卷积核大小为11的卷积模块和sigmoid函数，在特征融合节点中，首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合，其次进行通道注意力模块，在通道注意力模块中，融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C ×1×1的维度，随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘，随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出，总体注意力公式如下：
Figure 836321DEST_PATH_IMAGE015
其中，
Figure 366659DEST_PATH_IMAGE010
为通道注意力的特征图，
Figure 854272DEST_PATH_IMAGE016
代表平均池化，
Figure 735641DEST_PATH_IMAGE017
代表融合后的特征图。
步骤S5中，将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接组成目标检测模型，将预处理的数据集的训练集输入到连接好的目标检测模型训练300回合，在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度，其中，在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，使用CIoU作为回归定位损失并在CIoU前，增加平衡函数以平衡不同尺度的损失差异，公式如下：
Figure 29219DEST_PATH_IMAGE018
其中，
Figure 414064DEST_PATH_IMAGE019
表示最大的物体真实框的面积，
Figure 869316DEST_PATH_IMAGE020
表示最小的物体真实框的面积，
Figure DEST_PATH_IMAGE021
为目标物体的面积，A为常数，A的变化用于调节平衡函数的曲率，从而控制大小物体的分界，
总损失函数为如下：
Figure 441243DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
，
Figure 473265DEST_PATH_IMAGE024
为可学习的权重，在训练时
Figure DEST_PATH_IMAGE025
，
Figure 509354DEST_PATH_IMAGE024
会进行梯度更新以寻求最好的权重，即获得准确的权重。
在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，公式如下，
Figure 73191DEST_PATH_IMAGE026
其中y是平滑标签，值为[0,1]，
Figure DEST_PATH_IMAGE027
是预测结果，
Figure 663572DEST_PATH_IMAGE028
用于平衡正负样本，
Figure 174319DEST_PATH_IMAGE029
用于强调难以检测的样本，
训练过程中的定位损失采用CIoU，CIoU回归定位损失考虑了三种几何参数：重叠面积、中心点距离、长宽比，CIoULoss公式如下，
Figure 533756DEST_PATH_IMAGE030
其中
Figure 596390DEST_PATH_IMAGE031
是预测框
Figure 408488DEST_PATH_IMAGE032
和目标框
Figure 847560DEST_PATH_IMAGE033
的惩罚项，在CIoU中，边界框之间的中心点欧氏距离和惩罚项为，
Figure 327083DEST_PATH_IMAGE034
其中，
Figure 498301DEST_PATH_IMAGE035
分别代表了
Figure 860012DEST_PATH_IMAGE036
的中心点，
Figure 40458DEST_PATH_IMAGE037
代表了欧式距离，
Figure 108908DEST_PATH_IMAGE038
代表两个边框组成的最小包围框的对角线距离，
Figure 513345DEST_PATH_IMAGE039
是一个平衡参数，
Figure 300035DEST_PATH_IMAGE040
分别代表预测框的宽高。
训练结束时，选择验证时超过设定阈值精度的模型进行测试，测试时将预处理的图片数据集的测试集输入到模型中进行测试，选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
附图说明
图1为本发明具体实施方式的流程图。
图2为主干特征提取网络结构图。
图3为主干特征提取网络中的卷积特征提取模块结构图。
图4为主干特征提取网络中的自注意力特征提取模块结构图。
图5为特征融合网络中的自注意力特征提取模块结构图。
图6为检测头的结构图。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
通过附图可以看出，本发明一种基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理，预处理后的图片划分为训练集、验证集、测试集。
将钢铁表面缺陷图片数据与XML格式标签数据一一对应，并将XML格式标签数据转换为TXT格式标签数据，其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类，处理好数据集格式后将图片数据调整为640 ×640并进行伽马变换，公式如下：
Figure 18592DEST_PATH_IMAGE001
其中
Figure 269445DEST_PATH_IMAGE002
代表增强后的图片数据，x代表增强前的原始图片数据，
Figure 779536DEST_PATH_IMAGE041
为固定值，
Figure 115840DEST_PATH_IMAGE005
，在标签处理完成以及图片处理完成后，按照6:2:2的比例分别划分训练集、验证集、测试集。
S2、进行目标检测模型主干特征提取网络的搭建；
如图2所示，目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取块和自注意力特征提取模块级联。其中，单卷积模块为一个卷积核大小为3的卷积。卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块。其中，瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块；卷积注意力模块包含卷积和三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数，在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘，公式如下：
Figure 638088DEST_PATH_IMAGE006
Figure 681130DEST_PATH_IMAGE007
其中，M表示生成的注意力特征矩阵，F表示输入的原始特征，MLP由两层卷积构成，
Figure 427369DEST_PATH_IMAGE008
表示按位相乘，
Figure 923073DEST_PATH_IMAGE009
表示沿通道方相叠加，F’为输出的特征图。
自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块。分割模块按照16×16的大小将图片分为多个图像块。自注意力特征提取模块中自注意力模块的个数为4。在自注意力特征提取模块中，首先进行一个随机矩阵的生成，将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘，依次生成查询向量q；其次对分割后的图片块分别进行2×2的全局平均池化，并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘，分别生成查询键向量k和特征表达向量v；最后，以四个相邻的图像块为基准，在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘。完整的自注意力模块的公式如下所示：
Figure 249012DEST_PATH_IMAGE011
其中，random代表随机抽取q向量的过程，
Figure 208878DEST_PATH_IMAGE012
代表q向量，
Figure 63701DEST_PATH_IMAGE042
代表k向量，
Figure 374597DEST_PATH_IMAGE043
代表v向量。
S3、进行目标检测模型特征融合网络的搭建；
特征融合网络为三层，第一层包括5个特征融合节点，每个特征融合节点分别融合特征提取网络的相邻两层输出特征，其中在融合特征提取网络的相邻两层输出特征融合过程中，高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合，第二层由4个特征融合节点组成，每个特征融合节点的下采样倍数为2，其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合，第三层由3个特征融合节点组成，每个特征融合节点分别融合第二层的相邻两层的输出特征，最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合。
S4、进行目标检测模型检测头的搭建；
检测头包括通道注意力模块、特征融合节点、检测器级联，检测器包括一个卷积核大小为11的卷积模块和sigmoid函数，在特征融合节点中，首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合，其次进行通道注意力模块，在通道注意力模块中，融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C×1×1的维度，随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘，随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出，总体注意力公式如下：
Figure 238648DEST_PATH_IMAGE015
其中，
Figure 990703DEST_PATH_IMAGE010
为通道注意力的特征图，
Figure 344324DEST_PATH_IMAGE016
代表平均池化，
Figure 814620DEST_PATH_IMAGE017
代表融合后的特征图。
S5、将主干特征提取网络、特征融合网络、检测头进行连接，采用训练集训练连接后的目标检测模型，并采用验证集进行验证，测试集进行测试；
将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接组成目标检测模型，将预处理的数据集的训练集输入到连接好的目标检测模型300回合，在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度，其中，在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，公式如下，
Figure 482361DEST_PATH_IMAGE026
其中y是平滑标签，值为[0,1]，
Figure 151240DEST_PATH_IMAGE027
是预测结果，
Figure 879025DEST_PATH_IMAGE028
用于平衡正负样本，
Figure 102196DEST_PATH_IMAGE029
用于强调难以检测的样本，
训练过程中的定位损失采用CIoU，CIoU回归定位损失考虑了三种几何参数：重叠面积、中心点距离、长宽比，CIoULoss公式如下，
Figure 42470DEST_PATH_IMAGE044
其中
Figure 34697DEST_PATH_IMAGE031
是预测框
Figure 730120DEST_PATH_IMAGE045
和目标框
Figure 909429DEST_PATH_IMAGE033
的惩罚项，在CIoU中，边界框之间的中心点欧氏距离和惩罚项为，
Figure 918973DEST_PATH_IMAGE034
其中，
Figure 828023DEST_PATH_IMAGE035
分别代表了
Figure 363522DEST_PATH_IMAGE036
的中心点，
Figure 561285DEST_PATH_IMAGE037
代表了欧式距离，
Figure 905679DEST_PATH_IMAGE038
代表两个边框组成的最小包围框的对角线距离，
Figure 606919DEST_PATH_IMAGE039
是一个平衡参数，
Figure 378566DEST_PATH_IMAGE040
分别代表预测框的宽高。
在CIoU前，增加平衡函数以平衡不同尺度的损失差异，公式如下：
公式如下：
Figure 798046DEST_PATH_IMAGE046
其中，
Figure DEST_PATH_IMAGE047
表示最大的物体真实框的面积，
Figure 414972DEST_PATH_IMAGE048
表示最小的物体真实框的面积，
Figure 970718DEST_PATH_IMAGE021
为目标物体的面积，A为常数，A的变化用于调节平衡函数的曲率，从而控制大小物体的分界，
总损失函数为如下：
Figure DEST_PATH_IMAGE049
其中，
Figure 647687DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE051
为可学习的权重，在训练时
Figure 554463DEST_PATH_IMAGE050
，
Figure 178343DEST_PATH_IMAGE051
会进行梯度更新以寻求最好的权重。
S6、训练结束时，选择验证时超过设定阈值精度的模型进行测试，测试时将预处理的图片数据集的测试集输入到模型中进行测试，选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于包括如下步骤:
S1、对钢铁表面缺陷图片进行数据预处理，预处理后的图片划分为训练集、验证集、测试集；
S2、进行目标检测模型主干特征提取网络的搭建；
S3、进行目标检测模型特征融合网络的搭建；
S4、进行目标检测模型检测头的搭建；
S5、将主干特征提取网络、特征融合网络、检测头进行连接组成目标检测模型，采用训练集训练连接后的目标检测模型，并采用验证集进行验证，测试集进行测试；
S6、训练结束后选择超过设定阈值模型进行封装部署，对钢材表面缺陷图片进行检测。
2.根据权利要求1所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
步骤S1中，将钢铁表面缺陷图片数据与XML格式标签数据一一对应，并将XML格式标签数据转换为TXT格式标签数据，其中TXT标签数据中包含钢铁表面缺陷的目标位置以及缺陷种类，处理好数据集格式后将图片数据调整为640 ×640并进行伽马变换，公式如下：
Figure DEST_PATH_IMAGE001
其中
Figure DEST_PATH_IMAGE002
代表增强后的图片数据，
Figure DEST_PATH_IMAGE003
代表增强前的原始图片数据，
Figure DEST_PATH_IMAGE004
为固定值，
Figure 118344DEST_PATH_IMAGE005
，在标签处理完成以及图片处理完成后，按照6:2:2的比例分别划分训练集、验证集、测试集。
3.根据权利要求2所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
步骤S2中，目标检测模型的主干特征提取网络包括单卷积模块、卷积特征提取模块和自注意力特征提取模块级联，其中，单卷积模块为一个卷积核大小为3的卷积，卷积特征提取模块包含单卷积模块、4个瓶颈特征提取模块、卷积注意力模块，自注意力特征提取模块包含分割模块、多层感知机、批标准化模块和2个自注意力模块。
4.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
瓶颈特征提取模块包含两个卷积核大小为1的卷积模块和一个卷积核大小为3的卷积模块；卷积注意力模块包含三个卷积核大小为1的卷积模块、残差边、softmax函数以及批正则化、Relu激活函数，在卷积注意力模块中通过一个卷积核大小为1的卷积模块和softmax函数进行权重生成后与原始特征图对应相乘，公式如下：
Figure DEST_PATH_IMAGE006
Figure 707588DEST_PATH_IMAGE007
其中，M表示生成的注意力特征矩阵，
Figure DEST_PATH_IMAGE008
表示输入的原始特征，MLP由两层卷积构成，
Figure 221746DEST_PATH_IMAGE009
表示按位相乘，
Figure DEST_PATH_IMAGE010
表示沿通道方相叠加，
Figure 289059DEST_PATH_IMAGE011
为输出的特征图。
5.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
分割模块按照16×16的大小将图片分为多个图像块，自注意力特征提取模块中自注意力模块的个数为4，在自注意力特征提取模块中，首先进行一个随机矩阵的生成，将生成的一个随机矩阵M1分别与分割模块分割出的图像块mask1进行相乘，依次生成查询向量q；其次对分割后的图片块分别进行2×2的全局平均池化，并随机生成两个矩阵M2、M3分别与全局平均池化后的图像块进行相乘，分别生成查询键向量k和特征表达向量v；最后，以四个相邻的图像块为基准，在四个相邻的图像块中抽选出与原k、v向量相同数量的q向量进行相乘，自注意力模块的公式如下所示：
Figure DEST_PATH_IMAGE012
其中，random代表随机抽取q向量的过程，
Figure 572273DEST_PATH_IMAGE013
代表q向量，
Figure DEST_PATH_IMAGE014
代表k向量，
Figure 129156DEST_PATH_IMAGE015
代表v向量。
6.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
步骤S3中，特征融合网络为三层，第一层包括5个特征融合节点，每个特征融合节点分别融合特征提取网络的相邻两层输出特征，其中在融合特征提取网络的相邻两层输出特征融合过程中，高分辨率的低层特征进行一个3×3的卷积下采样两倍后与低分辨率的特征进行融合，第二层由4个特征融合节点组成，每个特征融合节点的下采样倍数为2，其中高层的特征融合节点在融合时会将第一层的相邻两层的输出特征与低层的下采样特征进行融合，第三层由3个特征融合节点组成，每个特征融合节点分别融合第二层的相邻两层的输出特征，最低层的特征会与特征融合网络的最低层特征的平均池化后的特征融合。
7.根据权利要求3所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
步骤S4中，检测头包括通道注意力模块、特征融合节点、检测器级联，检测器包括一个卷积核大小为11的卷积模块和sigmoid函数，在特征融合节点中，首先将特征融合网络中第三层所有的特征融合节点输出的特征图调整为同一纬度后进行融合，其次进行通道注意力模块，在通道注意力模块中，融合后的特征图首先经过一个全局平均池化将融合后的特征图调整至C×1×1的维度，随后沿通道的维度进行softmax函数生成注意力矩阵并与原图进行相乘，随后相乘后的特征图与原特征图相加经过一个卷积核大小为1的卷积模块后输出，总体注意力公式如下：
Figure DEST_PATH_IMAGE016
其中，
Figure 65363DEST_PATH_IMAGE017
为通道注意力的特征图，
Figure DEST_PATH_IMAGE018
代表平均池化，
Figure DEST_PATH_IMAGE019
代表融合后的特征图。
8.根据权利要求7所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
步骤S5中，将搭建好的主干特征提取网络、特征融合网络、检测头进行依次连接，将预处理的数据集的训练集输入到连接好的目标检测模型300回合，在训练的每个回合结束后使用验证集对训练的模型进行验证得到模型的精度，其中，在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，使用CIoU作为回归定位损失并在CIoU前，增加平衡函数以平衡不同尺度的损失差异，公式如下：
Figure DEST_PATH_IMAGE020
其中，
Figure 467526DEST_PATH_IMAGE021
表示最大的物体真实框的面积，
Figure DEST_PATH_IMAGE022
表示最小的物体真实框的面积，
Figure 605246DEST_PATH_IMAGE023
为目标物体的面积，A为常数，A的变化用于调节平衡函数的曲率，从而控制大小物体的分界，
总损失函数为如下：
Figure DEST_PATH_IMAGE024
其中，
Figure 270714DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
为可学习的权重。
9.根据权利要求8所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
在训练过程中使用QFocal Loss作为本文模型分类以及置信度的损失函数，公式如下，
Figure 493885DEST_PATH_IMAGE027
其中y是平滑标签，值为[0,1]，
Figure DEST_PATH_IMAGE028
是预测结果，
Figure 965317DEST_PATH_IMAGE029
用于平衡正负样本，
Figure DEST_PATH_IMAGE030
用于强调难以检测的样本，
训练过程中的定位损失采用CIoU，CIoU回归定位损失考虑了三种几何参数：重叠面积、中心点距离、长宽比，CIoULoss公式如下，
Figure 160807DEST_PATH_IMAGE031
其中
Figure DEST_PATH_IMAGE032
是预测框
Figure 59492DEST_PATH_IMAGE033
和目标框
Figure DEST_PATH_IMAGE034
的惩罚项，在CIoU中，边界框之间的中心点欧氏距离和惩罚项为，
Figure 35539DEST_PATH_IMAGE035
其中，
Figure DEST_PATH_IMAGE036
分别代表了
Figure 779504DEST_PATH_IMAGE037
的中心点，
Figure DEST_PATH_IMAGE038
代表了欧式距离，
Figure DEST_PATH_IMAGE039
代表两个边框组成的最小包围框的对角线距离，
Figure DEST_PATH_IMAGE040
是一个平衡参数，
Figure 563920DEST_PATH_IMAGE041
分别代表预测框的宽高。
10.根据权利要求8所述基于一阶段目标检测算法的钢材表面缺陷检测方法，其特征在于，
训练结束时，选择验证时超过设定阈值精度的模型进行测试，测试时将预处理的图片数据集的测试集输入到模型中进行测试，选择测试结果准确的模型进行TensorRT加速后封装为DLL文件。
CN202211429925.9A 2022-11-16 2022-11-16 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 Active CN115496752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211429925.9A CN115496752B (zh) 2022-11-16 2022-11-16 一种基于一阶段目标检测算法的钢材表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211429925.9A CN115496752B (zh) 2022-11-16 2022-11-16 一种基于一阶段目标检测算法的钢材表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115496752A true CN115496752A (zh) 2022-12-20
CN115496752B CN115496752B (zh) 2023-04-18

Family

ID=85115760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211429925.9A Active CN115496752B (zh) 2022-11-16 2022-11-16 一种基于一阶段目标检测算法的钢材表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115496752B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092040A (zh) * 2023-04-12 2023-05-09 齐鲁工业大学(山东省科学院) 一种车道线预测和车道线缺陷检测方法
CN116434076A (zh) * 2023-03-21 2023-07-14 北京市遥感信息研究所 一种融合先验知识的遥感图像目标识别方法
CN116503932A (zh) * 2023-05-24 2023-07-28 北京万里红科技有限公司 重点区域加权的眼周特征提取方法、系统及存储介质
CN116935221A (zh) * 2023-07-21 2023-10-24 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN117292120A (zh) * 2023-11-27 2023-12-26 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117420196A (zh) * 2023-11-20 2024-01-19 中磁数智(北京)科技有限公司 一种基于目标检测与弱磁检测的管道缺陷识别定位方法
CN117876799A (zh) * 2024-03-11 2024-04-12 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117934980A (zh) * 2024-03-25 2024-04-26 山东山科数字经济研究院有限公司 基于注意力监督调整的玻璃容器缺陷检测方法及系统
CN117975176A (zh) * 2024-04-02 2024-05-03 山东省计算中心（国家超级计算济南中心） 一种基于工业动态视觉自我提示的钢铁缺陷检测方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113706471A (zh) * 2021-07-30 2021-11-26 安徽工业大学 一种基于模型压缩的钢铁产品表面缺陷检测方法
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114494164A (zh) * 2022-01-13 2022-05-13 大连嘉济自动化机电科技有限公司 一种钢材表面缺陷检测方法、装置及计算机存储介质
WO2022160167A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160167A1 (zh) * 2021-01-28 2022-08-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113706471A (zh) * 2021-07-30 2021-11-26 安徽工业大学 一种基于模型压缩的钢铁产品表面缺陷检测方法
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114494164A (zh) * 2022-01-13 2022-05-13 大连嘉济自动化机电科技有限公司 一种钢材表面缺陷检测方法、装置及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG S: "Visual inspection of steel surface defects based on domain adaptation and adaptive convolutional neural network", 《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》 *
彭煜等: "基于Faster R-CNN的刨花板表面缺陷检测研究", 《组合机床与自动化加工技术》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434076A (zh) * 2023-03-21 2023-07-14 北京市遥感信息研究所 一种融合先验知识的遥感图像目标识别方法
CN116092040A (zh) * 2023-04-12 2023-05-09 齐鲁工业大学(山东省科学院) 一种车道线预测和车道线缺陷检测方法
CN116092040B (zh) * 2023-04-12 2023-06-23 齐鲁工业大学(山东省科学院) 一种车道线预测和车道线缺陷检测方法
CN116503932A (zh) * 2023-05-24 2023-07-28 北京万里红科技有限公司 重点区域加权的眼周特征提取方法、系统及存储介质
CN116935221B (zh) * 2023-07-21 2024-02-13 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN116935221A (zh) * 2023-07-21 2023-10-24 山东省计算中心（国家超级计算济南中心） 一种基于物联网的植保无人机杂草深度学习检测方法
CN117420196A (zh) * 2023-11-20 2024-01-19 中磁数智(北京)科技有限公司 一种基于目标检测与弱磁检测的管道缺陷识别定位方法
CN117420196B (zh) * 2023-11-20 2024-04-16 中磁数智(北京)科技有限公司 一种基于目标检测与弱磁检测的管道缺陷识别定位方法
CN117292120A (zh) * 2023-11-27 2023-12-26 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117292120B (zh) * 2023-11-27 2024-02-09 南昌工程学院 一种轻量化可见光绝缘子目标检测方法及系统
CN117876799A (zh) * 2024-03-11 2024-04-12 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117876799B (zh) * 2024-03-11 2024-05-28 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117934980A (zh) * 2024-03-25 2024-04-26 山东山科数字经济研究院有限公司 基于注意力监督调整的玻璃容器缺陷检测方法及系统
CN117934980B (zh) * 2024-03-25 2024-05-31 山东山科数字经济研究院有限公司 基于注意力监督调整的玻璃容器缺陷检测方法及系统
CN117975176A (zh) * 2024-04-02 2024-05-03 山东省计算中心（国家超级计算济南中心） 一种基于工业动态视觉自我提示的钢铁缺陷检测方法
CN117975176B (zh) * 2024-04-02 2024-06-04 山东省计算中心（国家超级计算济南中心） 一种基于工业动态视觉自我提示的钢铁缺陷检测方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统

Also Published As

Publication number Publication date
CN115496752B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN115496752B (zh) 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN112308019B (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112396002A (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN113221852B (zh) 一种目标识别方法及装置
CN112364931A (zh) 基于元特征和权重调整的少样本目标检测方法及网络模型
CN114648665A (zh) 一种弱监督目标检测方法及系统
CN109977968A (zh) 一种深度学习分类后比较的sar变化检测方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
US20230154157A1 (en) Saliency-based input resampling for efficient object detection
CN114758255A (zh) 一种基于yolov5算法的无人机检测方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN111340051A (zh) 图片处理方法、装置及存储介质
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN117132560A (zh) 基于深度学习的少样本细粒度缺陷检测方法
CN117974969A (zh) 基于改进的YOLOv7草莓病叶检测识别方法
CN114494823A (zh) 零售场景下的商品识别检测计数方法及系统
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN117495825A (zh) 一种变电站塔杆异物检测方法
CN117611963A (zh) 基于多尺度扩展残差网络的小目标检测方法及系统
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501

Patentee before: Qilu University of Technology

Country or region before: China