CN114596273A - 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 - Google Patents

利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 Download PDF

Info

Publication number
CN114596273A
CN114596273A CN202210202582.6A CN202210202582A CN114596273A CN 114596273 A CN114596273 A CN 114596273A CN 202210202582 A CN202210202582 A CN 202210202582A CN 114596273 A CN114596273 A CN 114596273A
Authority
CN
China
Prior art keywords
frame
prediction
target
ceramic substrate
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210202582.6A
Other languages
English (en)
Other versions
CN114596273B (zh
Inventor
朱启兵
郭峰
黄敏
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202210202582.6A priority Critical patent/CN114596273B/zh
Publication of CN114596273A publication Critical patent/CN114596273A/zh
Application granted granted Critical
Publication of CN114596273B publication Critical patent/CN114596273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，涉及深度学习目标检测领域，该方法基于YOLOV4网络构建智能检测模型进行陶瓷基板的多种瑕疵智能检测，本申请针对陶瓷基板的瑕疵的特点优化了损失函数的计算方法，损失函数中的置信度损失函数基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，从而可以使得训练得到的智能检测模型在保证检测准确性的同时，较高提升了瑕疵的检出率，能够对陶瓷基板瑕疵进行高效、快速而准确地检测。

Description

利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法
技术领域
本发明涉及深度学习目标检测领域，尤其是一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法。
背景技术
陶瓷基板是当前大功率电力电子电路结构技术和互连技术的基础材料，在电子制造领域具有广泛的应用。在陶瓷基板的生产过程中，由于制造工艺和设备问题的影响，会出现镀金层损伤、边缘多金和陶瓷基板缺瓷、污染和异物等五种典型瑕疵。研究高效、快速而准确的陶瓷基板瑕疵自动检测方法对陶瓷基板质量控制与故障检测具有重要的实际意义。
随着深度学习的发展，越来越多的基于深度卷积神经网络的目标检测方法被提出，基于深度卷积神经网络的目标检测算法被广泛应用于工业产品的表面瑕疵检测。但是陶瓷基板瑕疵形状多变、尺寸跨度大，且多金和缺瓷瑕疵有较多小目标，样本量小，各类瑕疵数量分布不均匀，现有基于深度卷积网络的表面瑕疵检测算法难以进行准确的检测。
发明内容
本发明人针对上述问题及技术需求，提出了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，本发明的技术方案如下：
一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，该方法包括：
制备包含若干个样本图像的陶瓷基板瑕疵训练集，样本图像是包含瑕疵目标的陶瓷基板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、置信度和目标类别，陶瓷基板瑕疵训练集覆盖多种类别的瑕疵目标；
将样本图像输入基于YOLOV4网络构建的智能检测模型后，主干网络提取样本图像的多种尺寸的特征图，并依次经过颈部网络和头部网络处理后输出；对于输出的每一种尺寸的特征图，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框，并计算损失函数为LOSS＝LOSSreg+LOSSGHM-C+LOSScls，其中定位损失函数LOSSreg利用所有单元网格内的预测框与对应真实框的位置尺寸信息计算得到，置信度损失函数LOSSGHM-C基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，分类损失函数LOSScls利用所有单元网格内的预测框与对应真实框的目标类别，利用陶瓷基板瑕疵训练集基于损失函数训练智能检测模型；
将待检测陶瓷基板的待检测图像输入智能检测模型，得到对待检测图像中的瑕疵目标的检测结果。
其进一步的技术方案为，置信度损失函数LOSSGHM-C的计算方法为：
Figure BDA0003527952610000021
其中，
Figure BDA0003527952610000022
是第n个预测框的置信度pn及其对应的真实框的置信度
Figure BDA0003527952610000023
计算得到的交叉熵损失，N是一个特征图中包含的所有预测框的总数，GD(gt)表示当前的预测框所在的以梯度模值gt为中心的预定子区间的梯度密度。
其进一步的技术方案为，以梯度模值gt为中心的预定区间内的梯度密度GD(gt)的计算方法为：
Figure BDA0003527952610000024
其中，
Figure BDA0003527952610000025
ε为预设均分长度，gk是第k个预测框的梯度模值。
其进一步的技术方案为，位置尺寸信息包括坐标偏移量和长宽比，则有：
Figure BDA0003527952610000026
Figure BDA0003527952610000027
其中，λcoord＝2-w×h，w×h是当前的特征图的尺寸，S2是特征图包含的单元网格的数量，B是每个单元网格中预测框的数量，
Figure BDA0003527952610000028
表示第i个单元网格内的第j个预测框中包含瑕疵目标，
Figure BDA0003527952610000029
分别是第i个单元网格内的第j个预测框的横坐标偏移量、纵坐标偏移量、宽边比和高边比，
Figure BDA00035279526100000210
分别是第i个单元网格内的第j个预测框对应的真实框的横坐标偏移量、纵坐标偏移量、宽边比和高边比；
对于预测框和真实框中的任意一个目标框，中心点坐标为(bx,by)、宽边长为bw、高边长为bh的目标框的位置尺寸信息tx、ty、tw、th的计算方法为
Figure BDA00035279526100000211
其中，(cx，cy)为预设的先验框的中心点坐标，cw为先验框的宽变长，ch为先验框的高边长，σ()为预设函数；
Pij(c)表示第i个单元网格内的第j个预测框中包含的瑕疵目标属于目标类别c的概率，
Figure BDA0003527952610000034
表示Pij(c)对应的真实框中包含的瑕疵目标属于目标类别c的概率。
其进一步的技术方案为，该方法还包括：
对陶瓷基板瑕疵训练集使用预定聚类方法，以聚类框和真实框的交并比和宽长比确定的得分作为相似度标准进行聚类选取先验框。
其进一步的技术方案为，聚类框acl和真实框bgt的得分为：
Figure BDA0003527952610000031
其中，IoU(acl,bgt)是聚类框acl和真实框bgt的交并比,
Figure BDA0003527952610000032
是聚类框acl的宽wcl与长hcl之间的宽长比，
Figure BDA0003527952610000033
是真实框bgt的宽wgt与长hgt之间的宽长比。
其进一步的技术方案为，智能检测模型的主干网络中包括依次级联的CBM模块、CSP1模块、CSP2模块、第一CSP8模块、第二CSP8模块和CSP4模块，CSP2模块的输出端输出152*152的特征图，第一CSP8模块的输出端输出76*76的特征图，第二CSP8模块的输出端输出38*38的特征图，第三CSP8模块的输出端输出19*19的特征图，主干网络提取的152*152、76*76、38*38和19*19的四种不同尺寸的特征图依次经过颈部网络和头部网络处理后分别输出。
其进一步的技术方案为，智能检测模型的颈部网络获取到152*152、76*76、38*38和19*19的特征图后，分别利用级联的两个CCNet网络对每个尺寸的特征图进行特征增强，再利用PANet对进行特征增强后的四个尺寸的特征图进行增强特征融合。
其进一步的技术方案为，智能检测模型的颈部网络中，在利用级联的两个CCNet网络对19*19的特征图进行特征增强后，使用SPP模块进行处理，SPP模块分别使用13×13、9×9、5×5和1×1的池化核进行最大池化处理。
其进一步的技术方案为，该方法还包括：
将待检测陶瓷基板的待检测图像输入智能检测模型后，通过非极大值抑制方法剔除智能检测模型输出的重复的预测框，得到对待检测图像中的瑕疵目标的检测结果包括预测框位置尺寸信息、置信度和目标类别。
本发明的有益技术效果是：
本申请公开了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，该方法基于YOLOV4网络的结构，针对陶瓷基板的瑕疵的特点优化了损失函数的计算方法，可以在保证检测准确性的同时，较高提升了瑕疵的检出率，能够对陶瓷基板瑕疵进行高效、快速而准确地检测。进一步的，对常规的YOLOV4网络的模型结构也进行优化，进一步优化检测效果。
附图说明
图1是本申请的智能检测模型的模型结构图。
图2是本申请的智能检测模型中的颈部网络引入的PANet网络的结构示意图。
图3是本申请的智能检测模型中的颈部网络引入的SPP模块的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，该方法包括如下步骤：
步骤1，制备包含若干个样本图像的陶瓷基板瑕疵训练集，样本图像是包含瑕疵目标的陶瓷基板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、置信度和目标类别，目标类别也即反映瑕疵类型。本申请中的陶瓷基板瑕疵训练集覆盖多种类别的瑕疵目标，从而使得后续训练得到的智能检测模型可以检测多种类别的瑕疵目标。
在实际操作时，使用labellmg图像标注软件进行人工标注，数据集格式为VOC2007，接着对样本图像中的瑕疵目标进行“复制-粘贴”式数据增强以实现数据集扩充。
步骤2，将样本图像输入基于YOLOV4网络构建的智能检测模型。
本申请中的智能检测模型借鉴YOLOV4网络端到端单阶段检测的思想构建，请参考图1所示的模型结构图，智能检测模型从输入到输出依次包括主干网络、颈部网络和头部网络。
主干网络提取输入的样本图像的多种尺寸的特征图。在一个实施例中，主干网络中包括依次级联的CBM模块、CSP1模块、CSP2模块、第一CSP8模块、第二CSP8模块和CSP4模块，不同取值的Q下的CSPQ模块中包括相应数量的Q个残差组件，CBM模块和CSPQ模块的具体结构都可以采用现有的，本申请不详细展开描述。为提高瑕疵检测的准确率以及召回率，除了像常规的YOLOV4网络一样在第一CSP8模块的输出端输出76*76的特征图、在第二CSP8模块的输出端输出38*38的特征图、在第三CSP8模块的输出端输出19*19的特征图之外，本申请还直接由CSP2模块的输出端输出152*152的特征图，与原始的YOLOV4网络中的19*19、38*38和76*76的特征图一起构成本申请中的4种不同尺寸的特征图。
主干网络输出的特征图依次经过颈部网络和头部网络处理后输出。针对陶瓷基板瑕疵多尺度以及部分瑕疵小目标难以检测以及准确率较低的问题，本申请中的智能检测模型的颈部网络获取到152*152、76*76、38*38和19*19的特征图后，分别利用级联的两个CCNet网络对每个尺寸的特征图进行特征增强，使网络更加关注小目标瑕疵的边缘以及颜色信息。经过CCNet网络后的特征图既保留了原始特征图的特征信息，同时又结合了特征图上下文的信息，而且为了使网络更好的综合全局信息，本申请添加两次CCNet网络。另外，颈部网络再利用PANet对进行特征增强后的四个尺寸的特征图进行增强特征融合，在原有的特征金字塔自上而下(top-down)特征融合的基础上，增加自下而上(bottom-up)的增强路径，通过对浅层特征图和深层特征图的反复提取，更加充分地融合不同深度的特征信息，如图2所示。最终得到4个不同尺度的特征图输出y1、y2、y3和y4，实现多尺度预测。
进一步的，为了解决主干网络对输入的图像进行特征提取下采样过程导致的信息丢失问题，本申请的智能检测模型的颈部网络中，在利用级联的两个CCNet网络对19*19的特征图进行特征增强后，使用SPP模块进行处理。如图3所示，SPP模块分别使用13×13、9×9、5×5和1×1的池化核进行最大池化处理，从而分离出更加显著的上下文体征，增大图像的感受野，有利于实现多尺度预测。
对于输出的每一种尺寸的特征图y1、y2、y3和y4，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框。对于本申请中尺分别为152*152、76*76、38*38和19*19的四种尺寸的特征图y1、y2、y3和y4，分别将特征图划分为152*152、76*76、38*38和19*19个单元网格，并给每个单元网格设置3个先验框来得到3个预测框，针对每个预测框输出的信息包括预测框的位置尺寸信息、置信度和目标类别。
常规的YOLOV4通常采用K-means++算法对数据集里的真实目标框的尺寸，根据面积交并比作为相似度标准进行聚类，以获得合适的先验框尺寸，但这种常规方法只能聚类出与真实框重叠程度较高的先验框，无法得到长宽比合适的先验框。本申请对此进行优化，对陶瓷基板瑕疵训练集使用预定聚类方法，以聚类框和真实框的交并比和宽长比确定的得分作为相似度标准进行聚类选取先验框。具体的，聚类框acl和真实框bgt的得分为
Figure BDA0003527952610000061
其中，IoU(acl,bgt)是聚类框acl和真实框bgt的交并比,
Figure BDA0003527952610000062
是聚类框acl的宽wcl与长hcl之间的宽长比，
Figure BDA0003527952610000063
是真实框bgt的宽wgt与长hgt之间的宽长比，由于在计算得分时加入了宽长比信息，因此本申请这样聚类出来的先验框更能反映出此任务中瑕疵真实框的长宽比分布。
基于图1所示的模型结构，在利用陶瓷基板瑕疵训练集训练智能检测模型时，本申请优化改进了损失函数为LOSS＝LOSSreg+LOSSGHM-C+LOSScls，其中，定位损失函数LOSSreg利用所有单元网格内的预测框与对应真实框的位置尺寸信息计算得到。置信度损失函数LOSSGHM-C基于梯度均衡机制(Gradient Harmonizing Mechanism,GHM)利用所有单元网格内的预测框与对应真实框的置信度计算得到。分类损失函数LOSScls利用所有单元网格内的预测框与对应真实框的目标类别。具体的：
(1)置信度损失函数LOSSGHM-C的计算方法为：
Figure BDA0003527952610000064
其中，
Figure BDA0003527952610000065
是第n个预测框的置信度pn及其对应的真实框的置信度
Figure BDA0003527952610000066
计算得到的交叉熵损失。N是一个特征图中包含的所有预测框的总数，在将特征图划分为S×S个单元网格，且每个单元网格内设置B个先验框得到B个预测框时，特征图包含的所有预测框的总数N＝S×S×B。
GD(gt)表示当前的预测框所在的以梯度模值gt为中心的预定子区间的梯度密度。预先将0-1范围划分为若干个预定子区间，比如通常将0-1范围均分为9个预定子区间，依次遍历各个预定子区间，就能确定当前的预测框的梯度模值所在的预定子区间。
进一步的，GD(gt)的具体计算公式为
Figure BDA0003527952610000067
其中，
其中，
Figure BDA0003527952610000068
ε为预设均分长度，gk是第k个预测框的梯度模值。
(2)定位损失函数LOSSreg采用均方误差，的其计算方法为：
Figure BDA0003527952610000071
其中，λcoord＝2-w×h，w×h是当前的特征图的尺寸，比如上述的152*152、76*76、38*38或19*19，从而平衡不同尺寸的定位损失。S2是特征图包含的单元网格的数量，B是每个单元网格中预测框的数量。
Figure BDA0003527952610000072
表示第i个单元网格内的第j个预测框中包含瑕疵目标。
Figure BDA0003527952610000073
是第i个单元网格内的第j个预测框的位置尺寸信息，且分别表示横坐标偏移量、纵坐标偏移量、宽边比和高边比。
Figure BDA0003527952610000074
分别是第i个单元网格内的第j个预测框对应的真实框的位置尺寸信息，且分别表示横坐标偏移量、纵坐标偏移量、宽边比和高边比。
对于预测框和真实框中的任意一个目标框，中心点坐标为(bx,by)、宽边长为bw、高边长为bh的目标框的位置尺寸信息tx、ty、tw、th的计算方法为
Figure BDA0003527952610000075
其中，(cx，cy)为预设的先验框的中心点坐标，cw为先验框的宽变长，ch为先验框的高边长，σ()为预设函数。
(3)分类损失函数LOSScls采用交叉熵误差，其计算方法为：
Figure BDA0003527952610000076
其中，Pij(c)表示第i个单元网格内的第j个预测框中包含的瑕疵目标属于类别c的概率，
Figure BDA0003527952610000077
表示Pij(c)对应的真实框中包含的瑕疵目标属于类别c的概率。
利用陶瓷基板瑕疵训练集，基于本申请修改的上述损失函数和图1所示的网络结构可以训练得到本申请的智能检测模型，训练得到的智能检测模型在保证检测准确性的同时，较高提升了瑕疵的检出率，能够对陶瓷基板瑕疵进行高效、快速而准确地检测。然后可以将训练得到的智能检测模型用于陶瓷基板多种瑕疵智能检测，也即将待检测陶瓷基板的待检测图像输入该智能检测模型，得到对待检测图像中的瑕疵目标的检测结果。在实际应用时，将待检测陶瓷基板的待检测图像输入智能检测模型后，通过非极大值抑制方法剔除智能检测模型输出的重复的预测框，从而得到对待检测图像中的瑕疵目标的检测结果包括预测框位置尺寸信息、置信度和目标类别。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，其特征在于，所述方法包括：
制备包含若干个样本图像的陶瓷基板瑕疵训练集，样本图像是包含瑕疵目标的陶瓷基板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、置信度和目标类别，所述陶瓷基板瑕疵训练集覆盖多种类别的瑕疵目标；
将样本图像输入基于YOLOV4网络构建的智能检测模型后，主干网络提取所述样本图像的多种尺寸的特征图，并依次经过所述颈部网络和头部网络处理后输出；对于输出的每一种尺寸的特征图，将所述特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框，并计算损失函数为LOSS＝LOSSreg+LOSSGHM-C+LOSScls，其中定位损失函数LOSSreg利用所有单元网格内的预测框与对应真实框的位置尺寸信息计算得到，置信度损失函数LOSSGHM-C基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，分类损失函数LOSScls利用所有单元网格内的预测框与对应真实框的目标类别，利用所述陶瓷基板瑕疵训练集基于所述损失函数训练所述智能检测模型；
将待检测陶瓷基板的待检测图像输入所述智能检测模型，得到对所述待检测图像中的瑕疵目标的检测结果。
2.根据权利要求1所述的方法，其特征在于，置信度损失函数LOSSGHM-C的计算方法为：
Figure FDA0003527952600000011
其中，
Figure FDA0003527952600000012
是第n个预测框的置信度pn及其对应的真实框的置信度
Figure FDA0003527952600000013
计算得到的交叉熵损失，N是一个特征图中包含的所有预测框的总数，GD(gt)表示当前的预测框所在的以梯度模值gt为中心的预定子区间的梯度密度。
3.根据权利要求2所述的方法，其特征在于，以梯度模值gt为中心的预定区间内的梯度密度GD(gt)的计算方法为：
Figure FDA0003527952600000014
其中，
Figure FDA0003527952600000015
ε为预设均分长度，gk是第k个预测框的梯度模值。
4.根据权利要求1所述的方法，其特征在于，位置尺寸信息包括坐标偏移量和长宽比，则有：
Figure FDA0003527952600000021
Figure FDA0003527952600000022
其中，λcoord＝2-w×h，w×h是当前的特征图的尺寸，S2是特征图包含的单元网格的数量，B是每个单元网格中预测框的数量，
Figure FDA0003527952600000023
表示第i个单元网格内的第j个预测框中包含瑕疵目标，
Figure FDA0003527952600000024
分别是第i个单元网格内的第j个预测框的横坐标偏移量、纵坐标偏移量、宽边比和高边比，
Figure FDA0003527952600000025
分别是第i个单元网格内的第j个预测框对应的真实框的横坐标偏移量、纵坐标偏移量、宽边比和高边比；
对于预测框和真实框中的任意一个目标框，中心点坐标为(bx,by)、宽边长为bw、高边长为bh的目标框的位置尺寸信息tx、ty、tw、th的计算方法为
Figure FDA0003527952600000026
其中，(cx，cy)为预设的先验框的中心点坐标，cw为先验框的宽变长，ch为先验框的高边长，σ()为预设函数；
Pij(c)表示第i个单元网格内的第j个预测框中包含的瑕疵目标属于目标类别c的概率，
Figure FDA0003527952600000027
表示Pij(c)对应的真实框中包含的瑕疵目标属于目标类别c的概率。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
对陶瓷基板瑕疵训练集使用预定聚类方法，以聚类框和真实框的交并比和宽长比确定的得分作为相似度标准进行聚类选取先验框。
6.根据权利要求5所述的方法，其特征在于，聚类框acl和真实框bgt的得分为：
Figure FDA0003527952600000028
其中，IoU(acl,bgt)是聚类框acl和真实框bgt的交并比,
Figure FDA0003527952600000029
是聚类框acl的宽wcl与长hcl之间的宽长比，
Figure FDA00035279526000000210
是真实框bgt的宽wgt与长hgt之间的宽长比。
7.根据权利要求1所述的方法，其特征在于，所述智能检测模型的主干网络中包括依次级联的CBM模块、CSP1模块、CSP2模块、第一CSP8模块、第二CSP8模块和CSP4模块，CSP2模块的输出端输出152*152的特征图，第一CSP8模块的输出端输出76*76的特征图，第二CSP8模块的输出端输出38*38的特征图，第三CSP8模块的输出端输出19*19的特征图，所述主干网络提取的152*152、76*76、38*38和19*19的四种不同尺寸的特征图依次经过所述颈部网络和头部网络处理后分别输出。
8.根据权利要求7所述的方法，其特征在于，所述智能检测模型的颈部网络获取到152*152、76*76、38*38和19*19的特征图后，分别利用级联的两个CCNet网络对每个尺寸的特征图进行特征增强，再利用PANet对进行特征增强后的四个尺寸的特征图进行增强特征融合。
9.根据权利要求8所述的方法，其特征在于，所述智能检测模型的颈部网络中，在利用级联的两个CCNet网络对19*19的特征图进行特征增强后，使用SPP模块进行处理，所述SPP模块分别使用13×13、9×9、5×5和1×1的池化核进行最大池化处理。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待检测陶瓷基板的待检测图像输入所述智能检测模型后，通过非极大值抑制方法剔除所述智能检测模型输出的重复的预测框，得到对所述待检测图像中的瑕疵目标的检测结果包括预测框位置尺寸信息、置信度和目标类别。
CN202210202582.6A 2022-03-02 2022-03-02 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 Active CN114596273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210202582.6A CN114596273B (zh) 2022-03-02 2022-03-02 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210202582.6A CN114596273B (zh) 2022-03-02 2022-03-02 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法

Publications (2)

Publication Number Publication Date
CN114596273A true CN114596273A (zh) 2022-06-07
CN114596273B CN114596273B (zh) 2022-11-25

Family

ID=81807038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210202582.6A Active CN114596273B (zh) 2022-03-02 2022-03-02 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法

Country Status (1)

Country Link
CN (1) CN114596273B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998337A (zh) * 2022-08-03 2022-09-02 联宝(合肥)电子科技有限公司 一种划痕检测方法、装置、设备及存储介质
CN115456944A (zh) * 2022-08-10 2022-12-09 深圳精创视觉科技有限公司 一种基于目标检测的陶瓷基板外观缺陷智能识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN112150504A (zh) * 2020-08-03 2020-12-29 上海大学 一种基于注意力机制的视觉跟踪方法
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN113012153A (zh) * 2021-04-30 2021-06-22 武汉纺织大学 一种铝型材瑕疵检测方法
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113887668A (zh) * 2021-11-01 2022-01-04 山东省计算中心（国家超级计算济南中心） 基于改进YOLOv4的容器瑕疵检测方法及系统
CN113902926A (zh) * 2021-12-06 2022-01-07 之江实验室 一种基于自注意力机制的通用图像目标检测方法和装置
CN113920436A (zh) * 2021-11-22 2022-01-11 江苏科技大学 一种基于改进YOLOv4算法的遥感图像海上船舶识别系统及其方法
CN113962954A (zh) * 2021-10-20 2022-01-21 上海师范大学 一种基于se-r-yolov4汽车钢铁零件表面缺陷检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN112150504A (zh) * 2020-08-03 2020-12-29 上海大学 一种基于注意力机制的视觉跟踪方法
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
CN113012153A (zh) * 2021-04-30 2021-06-22 武汉纺织大学 一种铝型材瑕疵检测方法
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113962954A (zh) * 2021-10-20 2022-01-21 上海师范大学 一种基于se-r-yolov4汽车钢铁零件表面缺陷检测方法
CN113887668A (zh) * 2021-11-01 2022-01-04 山东省计算中心（国家超级计算济南中心） 基于改进YOLOv4的容器瑕疵检测方法及系统
CN113920436A (zh) * 2021-11-22 2022-01-11 江苏科技大学 一种基于改进YOLOv4算法的遥感图像海上船舶识别系统及其方法
CN113902926A (zh) * 2021-12-06 2022-01-07 之江实验室 一种基于自注意力机制的通用图像目标检测方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BUYU LI ET AL.: "Gradient Harmonized Single-Stage Detector", 《THE THIRTY-THIRD AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-19)》 *
SHOUTING FENG ET AL.: "CcNet: A cross-connected convolutional network for segmenting retinal vessels using multi-scale features", 《NEUROCOMPUTION》 *
SHU LIU ET AL.: "Paht Aggregation Network for Instance Segmentation", 《ARXIV:1803.01534V4》 *
周天宇 等: "基于轻量级卷积神经网络的载波芯片缺陷检测", 《计算机工程与应用 HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20210726.0938.016.HTML》 *
李彬 等: "改进YOLOv4算法的航空发动机部件表面缺陷检测", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998337A (zh) * 2022-08-03 2022-09-02 联宝(合肥)电子科技有限公司 一种划痕检测方法、装置、设备及存储介质
CN114998337B (zh) * 2022-08-03 2022-11-04 联宝(合肥)电子科技有限公司 一种划痕检测方法、装置、设备及存储介质
CN115456944A (zh) * 2022-08-10 2022-12-09 深圳精创视觉科技有限公司 一种基于目标检测的陶瓷基板外观缺陷智能识别方法

Also Published As

Publication number Publication date
CN114596273B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN111754498A (zh) 一种基于YOLOv3的传送带托辊检测方法
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN114399719B (zh) 一种变电站火灾视频监测方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN111275010A (zh) 一种基于计算机视觉的行人重识别方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN116206112A (zh) 基于多尺度特征融合和sam的遥感图像语义分割方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
CN115861229A (zh) 一种基于YOLOv5s元器件封装缺陷X射线检测方法
CN117911350A (zh) 一种基于改进YOLOv7-tiny的PCB表面缺陷检测方法
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN113496210B (zh) 基于注意力机制的光伏组串跟踪及故障跟踪方法
CN111091533B (zh) 一种基于改进ssd算法的电池片el缺陷检测方法
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant