CN114638784A - 一种基于fe-yolo的铜管表面缺陷检测方法及装置 - Google Patents

一种基于fe-yolo的铜管表面缺陷检测方法及装置 Download PDF

Info

Publication number
CN114638784A
CN114638784A CN202210146025.7A CN202210146025A CN114638784A CN 114638784 A CN114638784 A CN 114638784A CN 202210146025 A CN202210146025 A CN 202210146025A CN 114638784 A CN114638784 A CN 114638784A
Authority
CN
China
Prior art keywords
copper pipe
yolo
pipe surface
surface defect
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210146025.7A
Other languages
English (en)
Other versions
CN114638784B (zh
Inventor
谢永芳
胡伟涛
谢世文
何磊
陈晓方
殷泽阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210146025.7A priority Critical patent/CN114638784B/zh
Publication of CN114638784A publication Critical patent/CN114638784A/zh
Application granted granted Critical
Publication of CN114638784B publication Critical patent/CN114638784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于FE‑YOLO的铜管表面缺陷检测算法及装置。通过基于统计的K‑means++聚类方法确定铜管表面缺陷数据集的先验锚框，并建立FE‑YOLO的网络结构，在骨干特征提取网络部分，依据轻量化网络特点实现了模型的轻量化，在颈部特征融合部分，利用改进的特征金字塔增强了空间特征的位置相关性；根据对惩罚项的研究选择设计优化的边界回归框损失函数HIoU，加速了模型的收敛，提高模型的精度；最终根据铜管表面缺陷数据集训练得到基于FE‑YOLO的铜管表面缺陷检测模型，实现对铜管表面缺陷的高效和高精度的检测实现了对工业表面缺陷的端到端快速、准确检测。

Description

一种基于FE-YOLO的铜管表面缺陷检测方法及装置
技术领域
本发明涉及机器视觉检测技术领域，涉及一种基于FE-YOLO的铜管表面缺陷检测方法及装置。
背景技术
铜管是制冷装置的重要原材料，它主要用来制作换热器和连接管道管件，空调散热器中的铜管被业界称为空调的“血管”，“血管”的好坏直接决定空调的品质。随着空调行业向着高效、节能、环保、节材方向发展，需要更高精度、高清洁度、高表面质量、高性能、超细、超薄的铜管。这无疑对铜管的加工制造过程提出了严格的要求。目前，行业内对于金属表面的缺陷检测主要依靠人眼检测。然而，高强度的工作量以及日益增多的缺陷种类，使得人眼检测方式难以满足企业发展转型需求。与人工检查相比，用机器视觉代替人眼的基于图像的表面缺陷检测具有高精度和高效率的优点。
近年来，对金属制品外观检测的研究逐渐增多。实现铜管等金属表面图像识别思路主要有机器学习和深度学习方式。前者主要是先利用传统的图像处理方法提取出金属表面的形状和纹理特征，然后再利用机器学习算法设计相应的分类器完成对图像的分类和识别，优点是针对性强且对特征的可解释性较强，缺点是检测鲁棒型差，对目标图像采集的拍摄角度以及光照等外部干扰因素要求较高；后者通过卷积神经网络自动提取图像的深度抽象特征，实现端到端的图像检测，检测精度高、检测速度快且算法泛化能力好，但是对数据集样本要求量较高，可解释性差。
近些年来，随着机器视觉和深度学习的发展，基于计算机视觉的缺陷检测方法已经在工业界逐渐展开应用。Fuetal.提出了一种端到端卷积神经网络来实现带钢表面缺陷的高精度分类。在文献中，利用对抗神经网络生成大量的未标记数据，然后对缺陷进行分类，解决了缺陷样本不足和训练困难的问题。然而，上述检测模型只解决了带钢表面缺陷的分类问题，缺乏缺陷位置的识别。为实现带钢表面缺陷的端到端检测，提出了缺陷检测网络(DDN)，并实现了70％～80％的精度。虽然该方法具有较好的检测精度，但在检测速度上略有不足，难以区分混淆缺陷。但由于其回归框损失函数，实际得到的物体框会因其较大的长宽比被筛选和过滤掉，然而这在真实的检测任务和待解决的检测问题中往往是非常重要的。综上所述，目前还没有专门对于铜管表面缺陷的研究，因此我们制作了铜管表面缺陷的数据集，并针对其特点，利用现有的先进目标检测算法，我们提出了一种基于FE-YOLO的铜管表面缺陷检测方法，对于提高铜管管件生产制造的自动化水平，以及维持空调制冷设备安全、稳定、可靠运行具有十分重要的意义。
发明内容
本发明的目的是提供一种基于FE-YOLO的铜管表面缺陷检测方法，用于提高铜管表面缺陷检测的准确度和速度。
一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，包括以下步骤：
S1：根据工业现场获取的铜管次品管件，采集多角度的铜管管件表面缺陷图像并进行预处理，构建铜管表面缺陷样本数据集；
S2：在模型训练前，利用基于统计的K-means++聚类方法得到S1中的铜管表面缺陷样本数据集的先验锚框；
S3：建立FE-YOLO网络框架，所述FE-YOLO网络框架包括网络的骨干特征提取部分、颈部特征融合部分和检测头部分；
S4：依据对惩罚项的选择建立FE-YOLO网络框架的边界回归框损失函数HIoU；
S5：根据FE-YOLO网络框架、边界回归框损失函数HIoU以及铜管表面缺陷数据集的先验锚框，建立基于FE-YOLO的铜管表面缺陷检测模型，并利用FE-YOLO算法模型对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练；
S6：将待检测的铜管表面图像数据输入已经训练好的基于FE-YOLO的铜管表面缺陷检测模型，输出得到铜管表面缺陷的类别信息和位置坐标。
进一步地，所述S2中基于统计的K-means++方法为：按检测层的层数将真实标签信息通过设定阈值划分为若干区间，由于目前对于小目标物体的普遍定义为绝对像素值小于32x32，大目标物体定义为绝对像素值大于96x96；本发明设定的阈值区间则是依据大中小目标物体的定义以及最大真实标签框，并在每个区间设置了交叉区间，使模糊边界的定义框在相邻特征层均可被识别，因此最终的阈值区间为[0,40x40],[32x32,96x96],[90x90,200x200]，再对每一区间通过K-means++聚类方法得到对应特征层的先验框。
进一步地，所述S3中建立FE-YOLO网络框架包括以下步骤：
S3-1：通过特征提取网络对输入缺陷图像的特征进行FE-YOLO提取，并经过颈部特征融合网络得到多尺度的输入缺陷图像的特征图，按照最小尺度的输入缺陷图像特征图尺寸将输入图像划分为若干个网格单元；
S3-2：判断目标物体中心所处的网格单元，对目标进行预测；
S3-3：预测后输出特征图的最后一维的维度为B×(C+5)，其中B为每个网格单元预测的边框数，C为缺陷类别数。
进一步地，所述S3中网络的骨干特征提取部分分为第一BaseBlock模块和第二BaseBlock模块，所述第一BaseBlock模块用于完成下采样和信道扩展，所述第二BaseBlock模块用于深化网络的提取特征，每个BaseBlock模块的主路径经过三层不同大小的卷积核的卷积，每个BaseBlock模块的主路径的中间层为深度可分离卷积。
进一步地，所述S3中颈部特征融合部分由密集特征金字塔网络DFPN构成，密集特征金字塔网络DFPN用于增强多尺度检测层的空间位置相关性以提高检测精度；所述检测头部分由三个yolo_head构成，用于将得到输出后与真实数据标注相比较，计算损失。
进一步地，所述边界回归框损失函数HIoU的建立方法为：根据预测框、真实框、预测框与真实框的最小闭包区域及其对角线距离、预测框与真实框的中心距离以及预测框与真实框的重叠区域的对角线距离确定HIoU，基于HIoU确定FE-YOLO的网络损失函数，计算方式如下：
LHIoU＝1-IoU+penalty (1)
Figure BDA0003508304350000031
其中，LHIoU为边界框回归损失函数，IoU为预测框与真实框的交并比，即两框的相交部分的面积与两框相并部分的面积之比，penalty为损失函数的惩罚项，r为预测框与真实框的重叠区域的对角线距离，d为预测框与真实框的中心点距离，c为预测框与真实框的最小闭包区域及其对角线。
进一步地，所述对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练的方法，包括以下步骤：
S7-1：将铜管表面缺陷数据集进行图像噪声的加噪处理，所述图像噪声包括随机噪声、椒盐噪声和高斯噪声；
S7-2：将S7-1得到的处理后的铜管表面缺陷数据集的图像尺寸分为若干个尺度；
S7-3：针对不同噪声场景下，每次迭代过程从若干个尺度中随机抽取尺度对基于FE-YOLO的铜管表面缺陷检测模型进行训练。
一种基于FE-YOLO的铜管表面缺陷检测装置，其特征在于，包括：
先验框获取模块：用于依据基于统计的K-means++聚类方法，确定铜管表面缺陷数据集的先验锚框；
网络结构构建模块：用于构建FE-YOLO算法的网络框架，其中包括其骨干特征提取网络、颈部特征融合网络和多尺度检测头；
网络模型损失函数确定模块：用于根据对惩罚项的研究选择设计优化的边界回归框损失函数HIoU确定了整个算法的损失函数；
铜管表面缺陷检测模型构建模块：用于根据先验框获取模块、网络结构构建模块和网络模型损失函数确定模型得到的信息，建立基于FE-YOLO的铜管表面缺陷检测模型；
铜管表面缺陷检测模型训练模块：用于根据构建的铜管表面缺陷数据集进行模型的训练，并根据超参数调优，得到高精度和高时效的铜管表面缺陷检测模型权重文件；
铜管表面缺陷图像采集模块：用于对输入的铜管进行多角度采集并进行预处理，得到待检测缺陷图像等待检测；
铜管表面缺陷检测及显示模块：用于将图像采集模块获取的缺陷图像输入至已训练好的检测模型权重文件，输出待检图像的类别信息和位置坐标，并在显示界面将这些数据可视化出来。
本发明有益效果为：
1、本发明建立了基于FE-YOLO的铜管表面缺陷检测模型，统计数据真实标签，依据数据特点根据基于统计的K-means++聚类方法确定了铜管表面缺陷数据集的先验锚框，提高先验框的质量，有利于模型的收敛；最终根据铜管表面缺陷数据集训练得到基于FE-YOLO的铜管表面缺陷检测模型，实现对铜管表面缺陷的高效和高精度的检测。
2、建立了FE-YOLO的网络结构，在骨干特征提取网络部分，依据轻量化网络特点实现了模型的轻量化，在颈部特征融合部分，利用改进的特征金字塔增强了空间特征的位置相关性。
3、根据对惩罚项的研究选择设计了优化的边界回归框损失函数HIoU，该损失函数通过分阶段的形式确定了惩罚项的形式，考虑了预测回归框的不同阶段，加速了模型的收敛，提高模型的精度。
附图说明
图1为铜管表面缺陷的部分样本，其中(a)为黑斑类缺陷，(b)为流焊类缺陷，(c)为缺焊类缺陷，(d)为不平整边缘类缺陷；
图2为基于FE-YOLO的铜管表面缺陷检测方法的流程；
图3为FE-YOLO算法的网络框架图；
图4为FE-YOLO算法的主干网络核心模块的示意图；
图5为FE-YOLO算法的特征融合部分的示意图；
图6为FE-YOLO算法的多尺度特征加权方法的示意图；
图7为IoU回归损失对比图；
图8为模型训练的损失变化曲线图；
图9为FE-YOLO算法与YOLOV4算法对比结果图；
图10为YOLOV4算法模型检测效果可视化示意图；
图11为FE-YOLO算法模型检测效果可视化示意图；
图12为本发明实例中基于FE-YOLO算法的铜管表明缺陷检测装置结构的示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步描述。需要说明的是，实施例并不对本发明要求保护的范围构成限制。
实施例1
如图2所示，一种基于FE-YOLO的铜管表面缺陷检测方法，包括以下步骤：
S1：根据工业现场获取的铜管次品管件，采集多角度的铜管管件表面缺陷图像(如图1所示)，并对缺陷图像进行预处理，构建铜管表面缺陷样本数据集和后续的待检图像；
S2：在模型训练前，根据缺陷数据特点优化了先验框选取方法，利用基于统计的K-means++聚类方法得到铜管表面缺陷数据集的锚框；
S3：建立FE-YOLO算法的网络框架，其中包括网络的骨干特征提取部分、颈部特征融合部分以及检测头三大部分；在骨干特征提取网络部分，利用深度可分离卷积重新定义了主干网络结构，实现了模型的轻量化；在颈部特征融合和检测头部分，提出了改进的特征金字塔DFPN，增强多尺度检测层的空间位置相关性以提高检测精度；
S4：依据工业现场所需的高时效要求，为了加速模型的收敛和提升检测速度，通过对惩罚项的研究选择设计了网络模型的边界回归框损失函数HIoU；
S5：根据前三个步骤得到的FE-YOLO网络框架、优化边界回归框损失函数以及铜管表面缺陷数据集的先验锚框，建立基于FE-YOLO的铜管表面缺陷检测模型，并利用FE-YOLO算法模型对其进行多场景和多尺度训练；
S6：将待检测的铜管表面图像数据输入已经训练好的基于FE-YOLO的铜管表面缺陷检测模型，输出得到铜管表面缺陷的类别信息和位置坐标。
在本发明中，步骤1依据传统图像处理方法对采集的铜管表面缺陷图像进行数据处理。
具体实施时，由于铜管管件是圆柱形状，因此我们拍摄获取的图像数据只能涵盖部分视野信息，且易受光照等背景因素的影响。我们在采集图像时需要考虑拍摄角度，并对于同一位置信息采用多角度拍摄，综合不同角度拍摄获取的图像数据去分析该位置的缺陷信息。而且，我们需要对采集的图像通过感兴趣区域提取，将缺陷图像分辨率统一处理至800x800，得到待检的缺陷图像。图1是铜管表面缺陷的部分样本图。
在步骤2中，依据基于统计的K-means++聚类方法确定铜管表面缺陷数据集的先验锚框。
具体实施时，YOLOV4中使用K-means聚类算法对COCO数据集进行统计得到9个anchors。选择合适的锚框可以加快模型的收敛。而COCO数据集图片与铜管等金属表面缺陷数据集图片中的目标大小和目标类型存在很大的差别，且不同类型缺陷的数据样本存在不平衡问题，聚类后所得的先验框不能很好地与特征层进行匹配，无法充分体现算法中多尺度检测的优势。
因此，针对数据特点优化对先验框的选取方式是很有必要的。本发明在K-means的基础上，利用基于统计的K-means++方法来获取先验框，该方法首先按检测层的层数将真实标签信息通过设定阈值划分为三部分，再对每一部分通过K-means++聚类方法得到对应特征层的先验框，提高先验框的选取质量，间接提高anchor正样本质量，加快模型的训练速度。该方法的具体流程如表1所示：
表1基于统计的K-means++anchor选取方法伪代码
Figure BDA0003508304350000051
Figure BDA0003508304350000061
本发明利用基于统计的K-means++聚类方法在铜管表面缺陷数据集上按多尺度特征层得到了9组先验框，分别为：[9,9,16,15,26,34]，[51,27,65,58,128,87]，[130,166,218,112,251,242]。
在步骤3中，建立FE-YOLO的整体网络框架。FE-YOLO首先通过特征提取网络对输入缺陷图像的特征进行提取，然后经过颈部的特征融合网络得到多尺度的特征图，例如当输入图像为800×800时，最小尺度的特征图尺寸为25×25,，然后将输入图像划分为25×25个网格单元。接着通过判断目标物体中心所处的位置位于哪个网格单元格内，则由该网格单元来对目标进行预测。预测输出特征图的最后一维的维度为B×(C+5)，其中B为每个网格单元预测的边框数，C为缺陷类别数。图3是FE-YOLO算法的整体框架图。
具体实施时，FE-YOLO的骨干特征提取网络参照了MobileNet和DenseNet的网络结构，设计了如图3所示的核心模块。根据步长不同分为第一BaseBlock，也即BaseBlock1(图4左)，和第二BaseBlock，也即BaseBlock2(图4右)。每个BaseBlock模块的主路径经过三层不同大小的卷积核的卷积，其中中间层被深度可分离卷积取代，以减少模型参数的数量。为了更好地保留全局特征而不增加计算量，我们在第一和第二阶段的设计中将卷积核增加到5×5，并在深度可分卷积后引入通道注意力机制，为每个通道分配不同的权值。这样网络才能专注于更重要的功能。BaseBlock1作为每个阶段的第一层，需要完成下采样和信道扩展，然后将BaseBlock2与四个阶段的不同堆叠层结合，深化网络的提取特征。第三和第四阶段的输出按照密集连接的方式将每个Baseblock的输出堆叠在里面，以保证层间信息的最大传输。
表2骨干特征提取网络模型参数
Figure BDA0003508304350000062
表2为骨干网络的各阶段卷积参数。FE-YOLO的骨干网通过以上四个阶段的不同层进行堆叠，取代原有YOLOV4中的CSPDarknet53。同时，由于输入图像的大小为224×224，经过5次采样后，最后一层feature map的大小为7×7。因此，将SPP结构的最大池化卷积核从原来的13调整为7。
而在YOLOV4算法中，特征金字塔网络(FPN)通常与主干特征提取网络连接，实现多尺度检测。FPN的缺点是不同尺度特征之间不一致。当一个目标被认为是某一层的正样本时，它将被认为是其他检测层中相同位置的负样本。大目标通常与深层特征图相关联，而小目标通常与浅层特征图相关联。因此，一旦图像中同时存在大目标和小目标，不同层次的特征就会发生冲突，这会干扰训练阶段的梯度计算，降低特征金字塔的有效性。
而当数据集中的图像尺寸较小时，很难按照现有的小目标定义将其定义为小目标或中目标。它可能被随机分为不同的检测层，此时我们不知道哪一层回归效果更好。在这种情况下，只在某一层进行检测会在一定程度上降低其检测精度。金属表面缺陷的通用数据集一般都很小，前面提到的问题很难避免。为了解决这一问题，我们在颈部特征融合部分进行了特征增强。如图5所示，P3、P4、P5为特征提取网络中经过8、16、32次子采样后的原始图像特征层，H3、H4、H5为特征增强模块中新的多尺度特征层。
首先，我们对FPN的结构进行了微调。FPN只在主干中连接具有相同大小特征的上采样映射。密集特征金字塔网络(稠密特征金字塔网络，DFPN)在FPN的基础上多连接了一层特征层，该层是通过在主干的前一阶段对较高的特征层进行最大池化得到的，如图所示。这样可以更好地集成骨干中高层特征层的全局信息。同时对同一位置的全局空间位置信息进行增强，达到特征增强的效果。其次，我们添加了多尺度特征加权模块，如图6所示。该模块的输入是经过骨干特征提取网络后提取得到的不同尺寸的特征图。首先，通过归一化(对不同的特征层进行上采样或下采样)，将不同层次的特征图调整为相同的分辨率。然后通过两层1x1卷积层对网络进行加深。最后，网络通过softmax函数计算每一层的值及其权重。该模块通过网络自身学习给各个检测层分配一个权系数，以加强相同位置的特征信息，便于在模糊定义的边界中区分检测框。这样，每个检测层都是所有检测层的加权融合。
在步骤4中，根据对惩罚项的研究选择设计了网络模型的边界框回归损失函数HIoU，包括：
根据预测框、真实框、预测框与真实框的最小闭包区域及其对角线距离、预测框与真实框的中心距离以及预测框与真实框的重叠区域的对角线距离确定HIoU；基于HIoU确定FE-YOLO的网络损失函数，其计算方式如下：
LHIoU＝1-IoU+penalty (1)
Figure BDA0003508304350000071
式中，LHIoU为边界框回归损失函数，IoU为预测框与真实框的交并比，即两框的相交部分的面积与两框相并部分的面积之比，penalty为损失函数的惩罚项，r为预测框与真实框的重叠区域的对角线距离，d为预测框与真实框的中心点距离，c为预测框与真实框的最小闭包区域及其对角线。
具体实施时，YOLOV4利用CIoU损失函数来计算两框回归过程。利用该损失函数在检测任务中，具有极端大小、长度和宽度的真实框可能因长宽比被筛选和过滤掉，而这在实际的检测任务中往往是比较重要的。基于本发明提出的改进目标即加速模型的收敛，需要在惩罚项中引入合适的边框误差信息如距离，面积等，使得该误差信息能满足具有尺度不变性，目标检测需要对多尺度的目标识别定位，当损失函数对尺度敏感时只能对特定尺度目标具有较好的检测能力，降低了模型的泛化性能。因此采用的边框信息形式为预测框与目标框相交矩形的对角线长r与最小外包矩形的对角线长c的距离比。由图7可看出，目前IoU、GIoU、DIoU都无法很好地区分胖窄区域和瘦长区域，而HIoU可以较好地区分两者，因此在前期重叠区域较小地情况，可以使模型较好地收敛。
此外基于对已有IoU损失函数的研究，我们还需从模型预测值与目标值误差较大和较小时两方面同时考虑而对其做一些限制。本文对选定的误差信息采用分阶段处理的方式来调整惩罚项的效果。所以最终形式如下式所示。在模型训练初始化阶段误差较大的情况下，采用误差信息的L1范数形式作为惩罚项，能够保证训练梯度的稳定性，在模型初期快速稳定收敛。在模型训练后期，当两框相互包含时，这个误差信息起的作用就比较微弱，这时转换成CIoU损失。惩罚项通过分阶段的方式使误差信息在模型训练中的不同阶段发挥独特作用，进一步提升模型训练效果，并在阶段转换过程中实现平滑的损失过渡，避免了模型在转换点产生损失振荡降低训练效率的现象。
在步骤5中，根据铜管表面缺陷数据集，对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练，包括：
将铜管表面缺陷数据集进行图像噪声处理，包括随机噪声、椒盐噪声和高斯噪声；
将铜管表面缺陷数据集的图像尺寸分为多个尺度；
依照图像数据的多种场景，对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练。
具体实施时，为了提高算法的鲁棒性和丰富模型的使用场景，我们利用图像增强技术对铜管表面缺陷数据集进行加噪处理，包括随机噪声、椒盐噪声和高斯噪声。同时由于FE-YOLO算法是卷积神经网络，在网络训练过程中，对输入图像的尺寸不一定要求一致。且主干特征提取网络的最小图像尺寸为原始图像的1/32，所以我们在训练过程中，按图像本身尺寸与32的倍数差分成了多个图像尺度，即{640，672，704，736，768，800}。在训练过程中，针对不同噪声场景下，每次迭代过程随机抽取尺度训练，经过实验验证，多场景和多尺度模型训练可以使模型具有较好的鲁棒性和适应性，有助于提高模型的性能指标。
最后步骤6将待检测的铜管表面图像数据输入已经训练好的基于FE-YOLO的铜管表面缺陷检测模型，输出得到铜管表面缺陷的类别信息和位置坐标。
下面列举一个实例，便于理解该发明是如何实际操作的。
第一步：数据集来源与生成
对于深度学习领域，实验数据的来源与生成是非常重要的。原始数据的可靠性与准确性直接影响检测方法的合理性和可执行性。因此，本实例中，数据集均来自于现场调研获取的铜管次品管件，我们采集了508幅图像，包含4类常见的铜管缺陷类型：黑斑、流焊、虚焊和不平整边缘。
本具体实施中，数据集采用的是目标检测领域标准的VOC数据集格式，利用labelimg工具包对缺陷图像进行标注，生成包含缺陷类别、尺寸、位置信息的XML文件，因本文所用方法均是针对YOLO系列算法进行研究，所以需要再将其转换为包含中心点坐标和宽高的TXT文本用于模型训练。因原始数据集数量相对较小，这容易导致模型的过拟合。因此，本实例中采取了两种数据增强方法来丰富数据集。首先，针对样本的类别不平衡问题，利用图像拼接融合的方法对样本数较少的类别进行扩充。先用阈值分割的方法将该类别的缺陷特征进行感兴趣区域提取，再将其随机拼接融合至无缺陷样本图像上，构建伪缺陷样本，进行数据集的扩充和样本不平衡调整。其次，在模型训练过程中，使用mosaic数据增强技术。mosaic数据增强利用了四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。论这极大丰富了检测物体的背景，且在标准化BN计算的时候一下子会计算四张图片的数据。随机选取80％的图像作为训练集，20％的图像作为测试集。
第二步：实验环境配置。
本具体实例中，训练的实验环境是在实验室的服务器上搭建，本地与服务器通过远程连接实现数据通信。服务器的软、硬件配置如下：操作系统为Ubuntu18.04，中央处理器为Intel(R)Core(TM)I9-9900K CPU@3.60GHz。我们使用两种GPU显卡，即NVIDIAGeForceRTX 2080Ti。采用CUDA 10.2软件环境，开发框架为Pytorch1.7。
第三步：基于FE-YOLO的铜管表面缺陷检测模型训练
本具体实例中采用了迁移学习的思想，迁移学习以训练后的网络模型为基础，在此基础上迁移参数和知识，这种方法仅需要很少的计算资源成本和训练时间。
首先，整个网络模型基于开源深度学习框架pytorch,将FE-YOLO网络模型在数据量较大的公共数据集VOC2007上进行训练，使模型网络有了较好的初始化参数，再将该权重文件作为铜管表面缺陷数据集训练时的预训练权重，即只需在其基础上利用较少的迭代次数便可以实现模型的收敛。其次，在模型训练期间，利用数据可视化工具tensorboard实时监控损失曲线和mAP曲线，便于更好了解训练过程以及后续的调参，并保留最优的权重文件用作铜管表面缺陷检测的预测模型。训练初始化的参数配置如表3所示：
表3训练的初始化参数
Figure BDA0003508304350000091
训练过程中模型的损失函数变化趋势如图8所示。从图中，我们可以发现在训练初期损失函数下降的非常明显，大约在25个epoch的时候下降的趋势开始减缓，差不多100个epoch时已经收敛的较好，200个epoch时已经完全收敛。
第四步：实验结果与性能分析
本具体实例选用模型评估指标为各类平均准确度的平均值mAP。平均精度(Average Precision，AP)的定义为不同召回率下精确率的平均值，一般用来评价某一类的检测精度。mAP是所有目标类别检测精度的均值，一般用来评价网络模型的整体性能。在实际检测计算mAP时，使用实际目标与预测目标之间的交并比(IoU)来评价是否成功预测目标的位置，一般认为IoU＞0.5的预测目标是成功预测到了目标位置，此时mAP等同于mAP(0.5)。本具体实例中使用的mAP默认为mAP0.5。
在本具体实例中，FE-YOLO与现有的YOLOV4对比测试结果如图9所示。实验表明，FE-YOLO算法模型比现有的YOLOV4模型检测准确度更高，mAP值提高了5.6％。其次，FE-YOLO算法对于小目标缺陷黑斑类提升效果最为明显，提高了13％，增强了模型对于小目标缺陷的检测能力。
为了验证对同一数据集的检测效果，本具体实例对SSD、Faster-RCNN、YOLOX、YOLOV4以及本发明中FE-YOLO模型的mAP和检测速率参数进行比较分析，实验结果图表如表4和图10、11所示。
表4不同模型的检测性能对比分析
Figure BDA0003508304350000092
从表4可以看出，上表比较的5种模型中，本发明的FE-YOLO算法的识别准确度最高，比双阶段的Faster RCNN还要高1％，其识别速率也是最快的。与SSD和YOLOV4相比，在mAP值和识别帧速率均有一定的改善。另外，由图10和图11可以从可视化的角度清晰直观对比这两种算法的性能差异，FE-YOLO算法的检测漏检率明显低于YOLOV4。且检测类别的置信度也是要高于YOLOV4的。因此，可以看出本发明实例的FE-YOLO模型同时考虑了检测精确度和检测率，并且能够有效完成铜管表明缺陷检测任务。
基于同一发明构思，本发明实施例中还提供了一种基于FE-YOLO算法的铜管表面缺陷检测装置，如下面的实施例。由于基于FE-YOLO算法的铜管表面缺陷检测装置解决问题的原理与基于FE-YOLO算法的铜管表面缺陷检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图12为本发明实施例中基于FE-YOLO算法的铜管表面缺陷检测装置结构的示意图，该装置包括：
先验框获取模块：依据基于统计的K-means++聚类方法，确定了铜管表面缺陷数据集的先验锚框。
网络结构构建模块：用于构建FE-YOLO算法的网络框架，其中包括其骨干特征提取网络、颈部特征融合网络和多尺度检测头。
网络模型损失函数确定模型：根据对惩罚项的研究选择设计了优化的边界框回归损失函数HIoU确定了整个算法的损失函数。
铜管表面缺陷检测模型构建模块：根据前三个模块得到的信息，建立基于FE-YOLO的铜管表面缺陷检测模型。
铜管表面缺陷检测模型训练模块：根据构建的铜管表面缺陷数据集进行模型的训练，并根据超参数调优，得到高精度和高时效的铜管表面缺陷检测模型权重文件。
铜管表面缺陷图像采集模块：对输入的铜管进行多角度采集，并利用传统图像处理方法进行预处理，得到待检测缺陷图像等待检测。
铜管表面缺陷检测及显示模块：用于将图像采集模块获取的缺陷图像输入至已训练好的检测模型权重文件，输出待检图像的类别信息和位置坐标，并在显示界面将这些数据可视化出来。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于FE-YOLO的铜管表面缺陷检测方法。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述基于FE-YOLO的铜管表面缺陷检测方法。
综上所述，本发明建立了基于FE-YOLO的铜管表面缺陷检测模型，统计数据真实标签，依据数据特点根据基于统计的K-means++聚类方法确定了铜管表面缺陷数据集的先验锚框，提高先验框的质量，有利于模型的收敛；建立了FE-YOLO的网络结构，在骨干特征提取网络部分，依据轻量化网络特点实现了模型的轻量化，在颈部特征融合部分，利用改进的特征金字塔增强了空间特征的位置相关性；根据对惩罚项的研究选择设计了优化的边界框回归损失函数HIoU，该损失函数通过分阶段的形式确定了惩罚项的形式，考虑了预测框的不同回归过程，加速了模型的收敛，提高模型的精度；最终根据铜管表面缺陷数据集训练得到基于FE-YOLO的铜管表面缺陷检测模型，实现对铜管表面缺陷的高效和高精度的检测。
此外，本发明实施例利用开放数据集和迁移学习、深度学习以及数据可视化思路，将学术研究和工程应用紧密结合起来。从铜管表面缺陷检测的具体项目过程角度，系统阐释了目标检测中的一系列过程，包括项目前期研究、算法选择、数据集制作、实验环境构建、模型训练、模型测试、模型优化等，有效的完成了铜管表面缺陷检测任务。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，包括以下步骤：
S1：根据工业现场获取的铜管次品管件，采集多角度的铜管管件表面缺陷图像并进行预处理，构建铜管表面缺陷样本数据集；
S2：在模型训练前，利用基于统计的K-means++聚类方法得到S1中的铜管表面缺陷样本数据集的先验锚框；
S3：建立FE-YOLO网络框架，所述FE-YOLO网络框架包括网络的骨干特征提取部分、颈部特征融合部分和检测头部分；
S4：依据对惩罚项的选择建立FE-YOLO网络框架的边界回归框损失函数HIoU；
S5：根据FE-YOLO网络框架、边界回归框损失函数HIoU以及铜管表面缺陷数据集的先验锚框，建立基于FE-YOLO的铜管表面缺陷检测模型，并利用FE-YOLO算法模型对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练；
S6：将待检测的铜管表面图像数据输入已经训练好的基于FE-YOLO的铜管表面缺陷检测模型，输出得到铜管表面缺陷的类别信息和位置坐标。
2.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述S2中基于统计的K-means++方法为：按检测层的层数将真实标签信息通过设定阈值划分为若干区间，对每一区间通过K-means++聚类方法得到对应特征层的先验框，整合即可得到全部先验框。
3.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述S3中建立FE-YOLO网络框架包括以下步骤：
S3-1：通过特征提取网络对输入缺陷图像的特征进行FE-YOLO提取，并经过颈部特征融合网络得到多尺度的输入缺陷图像的特征图，按照最小尺度的输入缺陷图像特征图尺寸将输入图像划分为若干个网格单元；
S3-2：判断目标物体中心所处的网格单元，对目标进行预测；
S3-3：预测后输出特征图的最后一维的维度为B×(C+5)，其中B为每个网格单元预测的边框数，C为缺陷类别数。
4.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述S3中网络的骨干特征提取部分分为第一BaseBlock模块和第二BaseBlock模块，所述第一BaseBlock模块用于完成下采样和信道扩展，所述第二BaseBlock模块用于深化网络的提取特征，每个BaseBlock模块的主路径经过三层不同大小的卷积核的卷积，每个BaseBlock模块的主路径的中间层为深度可分离卷积。
5.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述S3中颈部特征融合部分由密集特征金字塔网络DFPN构成，密集特征金字塔网络DFPN用于增强多尺度检测层的空间位置相关性以提高检测精度；所述检测头部分由三个yolo_head构成，用于将得到输出后与真实数据标注相比较，计算损失。
6.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述边界回归框损失函数HIoU的建立方法为：根据预测框、真实框、预测框与真实框的最小闭包区域及其对角线距离、预测框与真实框的中心距离以及预测框与真实框的重叠区域的对角线距离确定HIoU，基于HIoU确定FE-YOLO的网络损失函数，计算方式如下：
LHIoU＝1-IoU+penalty (1)
Figure FDA0003508304340000021
其中，LHIoU为边界框回归损失函数，IoU为预测框与真实框的交并比，即两框的相交部分的面积与两框相并部分的面积之比，penalty为损失函数的惩罚项，r为预测框与真实框的重叠区域的对角线距离，d为预测框与真实框的中心点距离，c为预测框与真实框的最小闭包区域及其对角线。
7.如权利要求1所述的一种基于FE-YOLO的铜管表面缺陷检测方法，其特征在于，所述对基于FE-YOLO的铜管表面缺陷检测模型进行多场景和多尺度训练的方法，包括以下步骤：
S7-1：将铜管表面缺陷数据集进行图像噪声的加噪处理，所述图像噪声包括随机噪声、椒盐噪声和高斯噪声；
S7-2：将S7-1得到的处理后的铜管表面缺陷数据集的图像尺寸分为若干个尺度；
S7-3：针对不同噪声场景下，每次迭代过程从若干个尺度中随机抽取尺度对基于FE-YOLO的铜管表面缺陷检测模型进行训练。
8.一种基于FE-YOLO的铜管表面缺陷检测装置，其特征在于，包括：
先验框获取模块：用于依据基于统计的K-means++聚类方法，确定铜管表面缺陷数据集的先验锚框；
网络结构构建模块：用于构建FE-YOLO算法的网络框架，其中包括其骨干特征提取网络、颈部特征融合网络和多尺度检测头；
网络模型损失函数确定模块：用于根据对惩罚项的研究选择设计优化的边界回归框损失函数HIoU确定了整个算法的损失函数；
铜管表面缺陷检测模型构建模块：用于根据先验框获取模块、网络结构构建模块和网络模型损失函数确定模型得到的信息，建立基于FE-YOLO的铜管表面缺陷检测模型；
铜管表面缺陷检测模型训练模块：用于根据构建的铜管表面缺陷数据集进行模型的训练，并根据超参数调优，得到高精度和高时效的铜管表面缺陷检测模型权重文件；
铜管表面缺陷图像采集模块：用于对输入的铜管进行多角度采集并进行预处理，得到待检测缺陷图像等待检测；
铜管表面缺陷检测及显示模块：用于将图像采集模块获取的缺陷图像输入至已训练好的检测模型权重文件，输出待检图像的类别信息和位置坐标，并在显示界面将这些数据可视化出来。
CN202210146025.7A 2022-02-17 2022-02-17 一种基于fe-yolo的铜管表面缺陷检测方法及装置 Active CN114638784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210146025.7A CN114638784B (zh) 2022-02-17 2022-02-17 一种基于fe-yolo的铜管表面缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146025.7A CN114638784B (zh) 2022-02-17 2022-02-17 一种基于fe-yolo的铜管表面缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN114638784A true CN114638784A (zh) 2022-06-17
CN114638784B CN114638784B (zh) 2024-07-23

Family

ID=81945782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146025.7A Active CN114638784B (zh) 2022-02-17 2022-02-17 一种基于fe-yolo的铜管表面缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN114638784B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035354A (zh) * 2022-08-12 2022-09-09 江西省水利科学院 基于改进yolox的水库水面漂浮物目标检测方法
CN115082401A (zh) * 2022-06-22 2022-09-20 桂林电子科技大学 一种基于改进yolox与pnn的smt产线贴片机故障预测方法
CN115184361A (zh) * 2022-06-30 2022-10-14 中南大学 基于机器视觉的实时工件表面缺陷检测评价系统及方法
CN115272252A (zh) * 2022-08-02 2022-11-01 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN115508285A (zh) * 2022-10-25 2022-12-23 淮阴工学院 一种用于检测钢材表面缺陷的装置及其方法
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116661005A (zh) * 2023-08-02 2023-08-29 中国地质科学院地球物理地球化学勘查研究所 一种实现地下管线精确探测的电磁波ct分析识别方法
CN116958086A (zh) * 2023-07-21 2023-10-27 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN117237290A (zh) * 2023-09-11 2023-12-15 深圳杰泰科技有限公司 一种零件内壁表面缺陷检测及等级评定方法
CN117523437A (zh) * 2023-10-30 2024-02-06 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法
CN117848423A (zh) * 2024-03-07 2024-04-09 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质
CN118247580A (zh) * 2024-05-23 2024-06-25 山东省盈鑫彩钢有限公司 一种镀铝锌钢板成品图像数据识别处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669275A (zh) * 2020-12-23 2021-04-16 中国电子技术标准化研究院 基于YOLOv3算法的PCB表面缺陷检测方法及装置
CN113011365A (zh) * 2021-03-31 2021-06-22 中国科学院光电技术研究所 一种结合轻量化网络的目标检测方法
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113673540A (zh) * 2021-08-20 2021-11-19 北京理工大学 一种基于定位信息引导的目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669275A (zh) * 2020-12-23 2021-04-16 中国电子技术标准化研究院 基于YOLOv3算法的PCB表面缺陷检测方法及装置
CN113011365A (zh) * 2021-03-31 2021-06-22 中国科学院光电技术研究所 一种结合轻量化网络的目标检测方法
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113673540A (zh) * 2021-08-20 2021-11-19 北京理工大学 一种基于定位信息引导的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岳慧慧;白瑞林;: "基于改进YOLOv3的木结缺陷检测方法研究", 自动化仪表, no. 03, 20 March 2020 (2020-03-20) *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082401A (zh) * 2022-06-22 2022-09-20 桂林电子科技大学 一种基于改进yolox与pnn的smt产线贴片机故障预测方法
CN115082401B (zh) * 2022-06-22 2024-03-19 桂林电子科技大学 一种基于改进yolox与pnn的smt产线贴片机故障预测方法
CN115184361A (zh) * 2022-06-30 2022-10-14 中南大学 基于机器视觉的实时工件表面缺陷检测评价系统及方法
CN115184361B (zh) * 2022-06-30 2023-11-24 中南大学 基于机器视觉的实时工件表面缺陷检测评价系统及方法
CN115272252B (zh) * 2022-08-02 2023-09-12 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN115272252A (zh) * 2022-08-02 2022-11-01 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN115035354B (zh) * 2022-08-12 2022-11-08 江西省水利科学院 基于改进yolox的水库水面漂浮物目标检测方法
CN115035354A (zh) * 2022-08-12 2022-09-09 江西省水利科学院 基于改进yolox的水库水面漂浮物目标检测方法
CN115508285A (zh) * 2022-10-25 2022-12-23 淮阴工学院 一种用于检测钢材表面缺陷的装置及其方法
CN116542974B (zh) * 2023-07-05 2023-09-26 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116542974A (zh) * 2023-07-05 2023-08-04 杭州百子尖科技股份有限公司 一种基于多尺度网格化的覆铜板表面缺陷检测方法
CN116958086A (zh) * 2023-07-21 2023-10-27 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN116958086B (zh) * 2023-07-21 2024-04-19 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN116661005A (zh) * 2023-08-02 2023-08-29 中国地质科学院地球物理地球化学勘查研究所 一种实现地下管线精确探测的电磁波ct分析识别方法
CN116661005B (zh) * 2023-08-02 2023-12-12 中国地质科学院地球物理地球化学勘查研究所 一种实现地下管线精确探测的电磁波ct分析识别方法
CN117237290A (zh) * 2023-09-11 2023-12-15 深圳杰泰科技有限公司 一种零件内壁表面缺陷检测及等级评定方法
CN117523437A (zh) * 2023-10-30 2024-02-06 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法
CN117848423A (zh) * 2024-03-07 2024-04-09 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质
CN117848423B (zh) * 2024-03-07 2024-05-17 南京中鑫智电科技有限公司 一种换流变阀侧套管壳体完整性的在线监测方法、系统、设备及介质
CN118247580A (zh) * 2024-05-23 2024-06-25 山东省盈鑫彩钢有限公司 一种镀铝锌钢板成品图像数据识别处理方法

Also Published As

Publication number Publication date
CN114638784B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
CN114638784B (zh) 一种基于fe-yolo的铜管表面缺陷检测方法及装置
CN111126202B (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111275688A (zh) 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN111915746B (zh) 一种基于弱标注的三维点云目标检测方法及标注工具
CN113850799B (zh) 一种基于YOLOv5的微量DNA提取工作站工件检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
Yin et al. G2Grad-CAMRL: an object detection and interpretation model based on gradient-weighted class activation mapping and reinforcement learning in remote sensing images
CN118154603B (zh) 基于级联多层特征融合网络的显示屏缺陷检测方法及系统
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN113537013A (zh) 一种多尺度自注意力特征融合的行人检测方法
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN116386042A (zh) 一种基于三维池化空间注意力机制的点云语义分割模型
Hao et al. A highly efficient surface defect detection approach for hot rolled strip steel based on deep learning
Yan et al. Building Extraction at Amodal-Instance-Segmentation Level: Datasets and Framework
Chen et al. Improved Faster R-CNN identification method for containers
Shan et al. A research study of lightweight state perception algorithm based on improved YOLOv5s‐Tiny for fully mechanized top‐coal caving mining
Zhang et al. Improved YOLOv5s combining enhanced backbone network and optimized self-attention for PCB defect detection
Yang et al. Detection Algorithm of Laboratory Personnel Irregularities Based on Improved YOLOv7.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant