CN111292305A - 一种改进型yolo-v3的金属加工表面缺陷检测方法 - Google Patents

一种改进型yolo-v3的金属加工表面缺陷检测方法 Download PDF

Info

Publication number
CN111292305A
CN111292305A CN202010075390.4A CN202010075390A CN111292305A CN 111292305 A CN111292305 A CN 111292305A CN 202010075390 A CN202010075390 A CN 202010075390A CN 111292305 A CN111292305 A CN 111292305A
Authority
CN
China
Prior art keywords
image
feature
metal surface
yolo
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075390.4A
Other languages
English (en)
Other versions
CN111292305B (zh
Inventor
苏迎涛
鄢萍
易润忠
胡靖华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010075390.4A priority Critical patent/CN111292305B/zh
Publication of CN111292305A publication Critical patent/CN111292305A/zh
Application granted granted Critical
Publication of CN111292305B publication Critical patent/CN111292305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种改进型YOLO‑V3的金属加工表面缺陷检测方法，包括：获取金属表面加工图像；特征提取骨干网络提取不同尺度的特征图，特征提取骨干网络无池化层且降采样因子小于Darknet‑53的降采样因子，且卷积层数少于Darknet‑53的卷积层数；将特征图输入多尺度融合模块进行局部特征融合得到融合特征图；将融合特征图输入多分类器模块进行金属加工表面缺陷定位及分类。本发明省去了池化层并且减小了降采样因子，避免了池化操作进行降采样过程通常会导致低级特征丢失的问题，保证了深层特征较高分辨率的结构特点，通过局部特征融合，将低层特征的高分辨率特点与深层特征的高语义信息特点的结合，最终实现了金属加工表面小目标缺陷的精准检测。

Description

一种改进型YOLO-V3的金属加工表面缺陷检测方法
技术领域
本发明涉及缺陷检测领域，具体地说，涉及一种改进型YOLO-V3的金属加工表面缺陷检测方法。
背景技术
金属加工表面缺陷检测是金属零件制造的重要工序。金属表面常见缺陷包括划伤、压伤、碰伤。在精密机械装备中，上述缺陷可能导致工况恶化等潜在问题，影响设备传动精度、产生噪音、甚至导致设备损坏，带来巨大损失。受工装铁屑残留、工件装夹不当、物理碰撞等影响，金属加工表面缺陷问题经常发生，且容易出现批量性问题。当前，制造企业对金属加工表面缺陷的检测主要采用人工抽检方式，存在依赖人工经验、误检漏检、耗时长等问题，难以及时有效的开展检测
针对上述问题，申请号CN2019109448552的中国专利公开了《一种基于深度学习的工业元器件外观缺陷检测方法》，所述方法包括以下步骤：S1、图像获取步骤：将待测工件置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取待测工件外表面的图像数据；S2、图像处理步骤：对获取的图像数据进行图像前期处理，得到待诊断图像；S3、图像分析和识别步骤：获取基于深度学习构建的卷积神经网络模型对待诊断图像进行判断，将判断结果输出分析待测图像上外观缺陷的纹理、形状信息，并自动判别缺陷类型和参数指标，最终输出待测图像的识别结果。上述发明能够提高工业元器件缺陷的检测效率，降低人力劳动成本。申请号为CA3056498A的加拿大专利公开了《基于机器学习算法的结构缺陷检测》，采用了神经网络形式的机器学习算法，使用形成的图像数据库来训练卷积神经网络，该图像被形成为优化卷积神经网络的准确性以检测表面中的裂缝。在卷积神经网络的前述布置中并入了分别执行测试图像的多次扫描的两阶段扫描过程，该两阶段形成重叠的捕获区域，以减少位于各个扫描边界上的裂纹被漏检的可能性。
上述方法通过传统的神经网络可以检测工业器件外观上的常规缺陷，但是在对金属表面的加工缺陷进行检测时，由于金属表面压伤与碰伤等缺陷通常尺寸较小，因此在输入图像中的像素区域也非常小，若采用传统的神经网络，由于其特征提取骨干网络感受野通常较大，虽然便于图像分类，却会折中空间分辨率，导致无法精确识别小物体，即卷积层变深后导致感受野变大，例如，YOLO-V3原有的特征提取骨干网络Darknet-53在对图像32倍降采样后，最后输出的特征等同于一个点，这会导致该类缺陷目标的检测效果较差，不利于小目标缺陷的检测，会带来检测位置精准性差和召回率低的问题。
综上所述，如何实现小目标缺陷的精准检测成为了本领域技术人员急需解决的问题。
发明内容
针对上述现有技术的不足，本发明实际需要解决的问题是如何实现小目标缺陷的精准检测。
为了解决现有技术中的问题，本发明采用了如下的技术方案：
一种改进型YOLO-V3的金属加工表面缺陷检测方法，所述改进型YOLO-V3包括特征提取骨干网络、多尺度融合模块及多分类器模块，所述金属加工表面缺陷检测方法包括：
S1、获取金属表面加工图像；
S2、将金属表面加工图像输入特征提取骨干网络提取不同尺度的特征图，所述特征提取骨干网络无池化层且降采样因子小于Darknet-53的降采样因子，且卷积层数少于Darknet-53的卷积层数；
S3、将不同尺度的特征图输入多尺度融合模块进行局部特征融合得到融合特征图；
S4、将融合特征图输入多分类器模块进行金属加工表面缺陷定位及分类。
优选地，特征提取骨干网络中的残差模块包括第一部分及第二部分，第一部分包括主路及支路，第二部分步长为1；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小不一致且通道数不一致时，主路步长为2，支路包括1*1的卷积核；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小一致且通道数不一致时，主路步长为1，支路包括1*1的卷积核。
优选地，每个卷积层后连接有一个批标准化层，所述批标准化层包括可学习重构参数γ及β，其中：
Figure BDA0002378379110000021
β＝E[X]，
Figure BDA0002378379110000022
式中X表示所有样本在该层的特征，(k)表示卷积核的个数，
Figure BDA0002378379110000023
为卷积层的输入。
优选地，激活函数为Leaky ReLu。
优选地，步骤S3包括：
进行最小尺度YOLO层特征图采样；
将最小尺度YOLO层特征图分别与中尺度YOLO层特征图及最大尺度YOLO层特征图进行融合。
优选地，获取金属表面加工图像包括：
S101、获取金属表面图像，基于金属表面图像中金属表面的镜面反射强度差异提取显著性图；
S102、将显著性图二值化并去噪，得到加工区域掩模图像；
S103、将金属表面图像与掩模图像进行与运算提取出加工区域图，将加工区域图作为金属表面加工图像。
综上所述，本发明公开了一种改进型YOLO-V3的金属加工表面缺陷检测方法，包括：获取金属表面加工图像；特征提取骨干网络提取不同尺度的特征图，特征提取骨干网络无池化层且降采样因子小于Darknet-53的降采样因子，且卷积层数少于Darknet-53的卷积层数；将特征图输入多尺度融合模块进行局部特征融合得到融合特征图；将融合特征图输入多分类器模块进行金属加工表面缺陷定位及分类。与现有技术相比，本发明省去了池化层并且减小了降采样因子，避免了池化操作进行降采样过程通常会导致低级特征丢失的问题，保证了深层特征较高分辨率的结构特点，通过局部特征融合，将低层特征的高分辨率特点与深层特征的高语义信息特点的结合，最终实现了金属加工表面小目标缺陷的精准检测。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为一种改进型YOLO-V3的金属加工表面缺陷检测方法的一种具体实施方式的流程图；
图2为改进型YOLO-V3网络的一种具体实施方式的示意图；
图3为残差模块中第一部分中BasicBlockA或BottleNeckA的示意图；
图4(a)、(b)及(c)分别为最大尺度YOLO层特征图、中尺度YOLO层特征图及最小尺度YOLO层特征图；
图5为模型训练中K-means聚类效果图；
图6为训练过程训练集损失值、验证集损失值以及学习率效果图；
图7为部分缺陷检测样图；
图8为六种检测方法的检测时间对比图；
图9(a)、(b)及(c)分别为划伤、压伤、碰伤在六种检测方法下的TP、FP、FN值的对比图；
图10为获取金属表面加工图像的一种具体实施方式的流程图；
图11为获取金属表面加工图像时一具体的显著性图的灰度直方统计图；
图12为获取金属表面加工图像时中值滤波前后的对比示意图；
图13为获取金属表面加工图像时形态学运算前后的对比示意图；
图14(a)和(b)分别为获取金属表面加工图像时毛刺进行提取加工区域前后的局部放大图；
图15(a)和(b)分别为获取金属表面加工图像时油污进行提取加工区域前后的局部放大图；
图16(a)和(b)分别为获取金属表面加工图像时非加工区域进行加工区域提取前后的局放大图
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，为本发明公开的一种改进型YOLO-V3的金属加工表面缺陷检测方法的一种具体实施方式的流程图，在本实施例中，所述改进型YOLO-V3包括特征提取骨干网络、多尺度融合模块及多分类器模块，所述金属加工表面缺陷检测方法包括：
S1、获取金属表面加工图像；
S2、将金属表面加工图像输入特征提取骨干网络提取不同尺度的特征图，所述特征提取骨干网络无池化层且降采样因子小于Darknet-53的降采样因子，且卷积层数少于Darknet-53的卷积层数；
由于金属表面压伤与碰伤缺陷在输入图像中的像素区域非常小，YOLO-V3原有的特征提取骨干网络Darknet-53在对图像32倍降采样后最后输出的特征等同于一个点，导致该类缺陷目标的检测效果较差。传统特征提取骨干网络感受野通常较大，虽然便于图像分类，却会折中空间分辨率，导致无法精确定位大物体和识别小物体，即卷积层变深后导致感受野变大，不利于小目标缺陷的检测，带来了检测位置精准性差和召回率低的问题，因此，本发明公开了一种高分辨率轻量级特征提取骨干网络(ResNet-21)，通过减小降采样因子(具体可采用16X降采样)，从而更好的提取较小缺陷的特征。
S3、将不同尺度的特征图输入多尺度融合模块进行局部特征融合得到融合特征图；
由于浅层特征语义信息较少，特征图分辨率高，目标位置信息准确；而深层特征语义信息丰富，但是特征图分辨率低，目标位置信息粗略。因此，本发明将浅层的特征图与深层的特征图进行融合，可以使得融合后的特征图具有高分辨率高语义信息的特点。
S4、将融合特征图输入多分类器模块进行金属加工表面缺陷定位及分类。
综上所述，与现有技术相比，本发明省去了池化层并且减小了降采样因子，避免了池化操作进行降采样过程通常会导致低级特征丢失的问题，保证了深层特征较高分辨率的结构特点，通过局部特征融合，将低层特征的高分辨率特点与深层特征的高语义信息特点的结合，最终实现了金属加工表面小目标缺陷的检测。
如图3所示，本实施例在具体实施时，特征提取骨干网络中的残差模块包括第一部分及第二部分，第一部分包括主路及支路，第二部分步长为1；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小不一致且通道数不一致时，主路步长为2，支路包括1*1的卷积核；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小一致且通道数不一致时，主路步长为1，支路包括1*1的卷积核。
每个残差模块中，如果当前模块的输入特征图通道数或特征图大小与输出的不一致。那么，可在当前残差模块的第一部分(BasicBlockA或BottleNeckA)中使用步长为2的方式将特征图缩小以保证与输出特征图大小一致，并在支路中添加1*1的卷积核，用来保证输入通道数和输出通道数进行匹配。如果当前模块输入特征图大小与输出一致，而输入特征图通道数与输出的不一致，则只需要在当前残差模块的第一部分支路中添加1*1的卷积核，用来保证输入通道数和输出通道数进行匹配即可。当前模块的第二部分(BasicBlockB或BottleNeckB)，均采用常规结构(步长为1，支路中不设置1*1卷积核)。
具体实施时，每个卷积层后连接有一个批标准化层，所述批标准化层包括可学习重构参数γ及β，其中：
Figure BDA0002378379110000051
β＝E[X]，
Figure BDA0002378379110000052
式中X表示所有样本在该层的特征，(k)表示卷积核的个数，
Figure BDA0002378379110000053
为卷积层的输入。
在本发明中，为了避免ResNet-21网络出现收敛过慢与梯度爆炸等问题，可在每个卷积层后引入批标准化(Batch Normalization，BN)层。BN层是对输出的特征图归一化后再进行线性变换改善数据分布，其中的线性变换是可学习的，可以解决输入特征图信息发生偏移和增大的影响。BN层中引入了可学习重构参数γ及β来近似还原原始特征分布，原来的分布方差和均值由前层的各种参数权重耦合控制，而现在仅由γ及β控制，这样在保留BN层足够的学习能力的同时，使其学习更加容易。卷积层后引入BN层采用了权值共享的策略。将卷积后输出的特征图看作一个神经元，求取所对应的特征图的所有神经元的平均值、方差，然后对这个特征图神经元做归一化，最后将归一化后的数据输入激活函数中。
具体实施时，激活函数为Leaky ReLu。
使用ReLu作为激活函数会导致神经网络训练时容易变得脆弱。当ReLu的输入值为负时，输出始终为0，其一阶导数也始终为0，这样会导致神经元不能更新参数，即神经元不学习。一旦学习率设置过大，将会使得网络中大部分神经元直接“死亡”。为了解决这个问题，在本发明中可使用Leaky ReLu作为激活函数。Leaky ReLu是在ReLu函数的负半区间引入一个泄露(Leaky)值。由于其导数总是不为零，这能有效防止当输入为负时，神经元不学习的问题。
如图2所示，为本实施例公开的一种具体的改进型YOLO-V3网络的结构。其特征提取骨干网络共有21个卷积层。该网络引入了ResNet的Residual结构，通过使用步长为2的卷积核进行2倍的降采样方式，避免池化操作进行降采样过程通常会导致低级特征丢失的问题。同时，引入了Detnet网络高层不对特征图做尺寸缩减，保证深层特征较高分辨率的结构特点，将stage5设定为与stage4保持同样的分辨率，保证深层特征的高分辨率。此外，为了解决由于特征图的增大导致的大量额外参数引起的计算量过大的问题，将stage5的通道数降低至256，并在stage4、5中引入BottleNeck结构，使得网络在保证较高分辨率的同时也具备了良好的效率。同时，引入Leaky Relu激活函数，并加入L2正则化增强网络的强度和防过拟合能力。
具体实施时，步骤S3包括：
进行最小尺度YOLO层特征图采样；
将最小尺度YOLO层特征图分别与中尺度YOLO层特征图及最大尺度YOLO层特征图进行融合。
考虑金属表面缺陷在金属表面图像中的像素范围，本实施例中，将用作缺陷检测的输出特征图设计为三个尺度(最小尺度38*38、中尺度76*76和最大尺度152*152)。每个尺度下先堆积不同尺度的特征图；而后通过卷积核(3*3和1*1)实现不同尺度特征图之间的局部特征融合；最后对融合后的多个尺度特征图进行独立检测，进一步提升金属表面缺陷的检测精度。最终输出的特征图是深度为mtf的张量。其计算公式如下：
mtf＝ai×(4+1+xi)
式中mtf是融合后输入多分类器模块的不同尺度的特征图深度，ai是每个格子预测的边界框数量，本发明可依循YOLO-v3中的预测边界框数量，取ai为3，边界框坐标数量为4，目标预测值为1，xi是目标检测网络中的类别数目。当本发明检测的缺陷种类共有3类时，最终输出的特征图深度设为24。
如图4所示，可以发现融合后的中、大尺度具有较高的分辨率。
对于三种尺度，采用如图2所示的神经网络时，其具体融合方式如下：
最小尺度YOLO层(38*38)：
输入：38*38的特征图，一共256个通道；
操作：对输入进行一系列卷积操作(Convolutional Set)，特征图大小不变，通道数减少为24个；
输出：输出38*38大小的特征图，24个通道。
中尺度YOLO层(76*76)：
输入：38*38的特征图，一共256个通道；
操作：对输入进行一系列卷积操作，保持特征图大小不变。使用2*2的卷积核步长为2进行上采样，生成76*76、128通道的特征图。将其与stage3的76*76、256通道的中尺度特征图进行合并，进行一系列卷积操作，特征图大小不变，通道数最后减少为24个；
输出：76*76大小的特征图，24个通道。
最大尺度YOLO层(152*152)：
输入：76*76的特征图，一共128个通道；
操作：对输入进行一系列卷积操作，保持特征图大小不变。使用2*2的卷积核步长为2进行上采样，生成152*152、128通道的特征图。将其与stage2的152*152、128通道的大尺度特征图进行合并后，进行一系列卷积操作，特征图大小不变，通道数最后减少为24个；
输出：152*152大小的特征图，24个通道。
在完成特征融合之后，即可进行缺陷的定位和分类，具体包括了边界框的检测及类别检测两个部分。
边界框的检测采用直接检测相对位置的方法，检测出边界框中心点相对于网格单元左上角的相对坐标。通过检测网络得到tx、ty、tw、th及to，采用以下坐标偏移公式计算可得到边界框的位置大小和置信度。
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002378379110000081
Figure BDA0002378379110000082
pr(object)*IOU(b,object)＝σ(to)
式中，tx、ty、tw、th是缺陷检测模型的检测输出的与边界框中心点和大小相关的归一化值；cx和cy表示网格单元左上角的坐标；pw和ph表示检测前预设的锚点框在特征图上的宽度和高度。bx、by、bw和bh就是检测得到的边界框的中心点x轴、y轴坐标和边界框的宽度和高度。
使用逻辑回归检测每个边界框的分数。如果边界框与真实框的重叠度比之前的任何其他边界框都要好，则该值为1。如果边界框不是最好的，但与真实对象的重叠低于某个阈值(本实施例中设定的阈值是0.35)，那么就忽略这次检测，并且只为每个真实对象分配一个边界框；如果边界框与真实对象不吻合，则不会产生坐标或类别检测损失，只会产生物体检测损失。
在本实施例中，类别检测方面可沿用YOLO-V3的多标签分类部分，用Logistic分类器来对每个类别做二分类。Logistic分类器使用Sigmoid函数，将输入约束在0到1的范围内。当一张图像经过特征提取后的某一类输出经过Sigmoid函数约束后，如果大于0.5，就表示该边界框负责的目标属于该类缺陷。
在本发明中，损失函数包括了计算物体中心坐标的x和y损失，计算锚点框长w和宽h回归值的损失，计算前背景置信度损失，计算类别损失，以及计算总损失。
计算物体中心坐标的x和y损失的计算公式如下：
Figure BDA0002378379110000083
式中，
Figure BDA0002378379110000084
用于判断第i个网格中的第j个框是否负责这个目标(判断的阈值可取为0.35，当
Figure BDA0002378379110000085
大于0.35，则判断第i个网格中的第j个框是负责这个目标)，λcoord表示边界框坐标预测的惩罚权重，本处λcoord可取值为5；S2表示对输入的金属表面加工图像划分的网格数量，B表示每个网格产生的候选锚点框数，n表示第n个中心点，
Figure BDA0002378379110000086
表示由网络计算得到的物体中心y坐标值
计算锚点框长w和宽h回归值的损失的计算公式如下：
Figure BDA0002378379110000091
式中，wi表示锚点框的真实宽度，hi表示锚点框的真实长度，
Figure BDA0002378379110000092
表示网络计算得到的锚点框的宽度，
Figure BDA0002378379110000093
表示网络计算得到的锚点框的长度。
计算前背景置信度损失的计算公式如下：
Figure BDA0002378379110000094
式中，Ci表示置信度真实值，
Figure BDA0002378379110000095
表示网络计算得到的置信度值，Ci与
Figure BDA0002378379110000096
的取值只有0与1。
置信度损失分为含目标的框的置信度检测损失与不含目标的框的置信度检测损失两部分。
计算类别损失的计算公式如下：
Figure BDA0002378379110000097
式中，pi(c)表示物体类别的条件概率的真实值，
Figure BDA0002378379110000098
表示网络计算得到的物体类别的条件概率，式中，
Figure BDA0002378379110000099
用于判断是否有目标中心落在网格i中(判断的阈值为0.35，当
Figure BDA00023783791100000910
大于0.35，判断目标中心落在网格i中)，除去锚点框的损失函数采用的总方误差外，其余均采用的二值交叉熵计算。
计算总损失的计算公式如下：
loss＝lossxy+losswh+lossconfidence+lossclass。
在本实施例的另一种优选方案中，如图10所示，获取金属表面加工图像包括：
S101、获取金属表面图像，基于金属表面图像中金属表面的镜面反射强度差异提取显著性图；
步骤S101具体包括：对金属表面图像进行高斯滤波得到各像素点像素值；
将高斯滤波后的金属表面图像转入lab颜色空间，计算各像素点在lab颜色空间中l、a及b三个通道的像素平均值；
计算各像素点的像素值及像素平均值的欧氏距离作为对应像素点在显著性图中的像素值，得到显著性图。
由于金属表面加工区域与非加工区域镜面反射强度不同，导致加工区域与非加工区域的亮度差异较大，而Lab颜色空间中的L通道对亮度十分敏感，因此，本发明采用频域调谐显著算法(FT)生成金属加工表面图像显著图，对图像进行高斯滤波后将其转入Lab颜色空间，通过公式
Figure BDA0002378379110000101
计算得到的欧式距离作为该像素点的显著值，式中Iu是金属工件表面图像转换至Lab颜色空间后l、a、b三个通道像素平均值，
Figure BDA0002378379110000102
是经高斯滤波核滤波后的对应像素点的像素值，||·||是指Iu与
Figure BDA0002378379110000103
在Lab颜色空间的欧氏距离。在本实施例中选取高斯滤波核的尺寸为5*5。
S102、将显著性图二值化并去噪，得到加工区域掩模图像；
步骤S102具体包括：将显著性图中像素值低于预设阈值k的像素点的像素值置为第一像素值，大于或等于预设阈值k的像素点的像素值置为第二像素值，得到二值化图；
将二值化图进行中值滤波和/或形态学运算得到加工区域掩模图像。
本实施例中选取第一像素值为0，第二像素值为255。
预设阈值k的计算方法包括：
基于下式计算显著性图的相对直方图pi(pi为灰度级数i出现的概率)：
WD＝n1+n2+n3+···+nL
pi＝ni/WD
Figure BDA0002378379110000104
式中，L为预设灰度级数，ni为第i个灰度级数所包含的像素点个数，WD为金属表面图像的像素点总数；
基于下式计算后景累计概率PC1(k)与前景累计概率PC2(k)：
Figure BDA0002378379110000105
Figure BDA0002378379110000106
式中，C1和C2分别表示金属表面加工区域与背景区域，背景区域的灰度级数范围为[1,k]，金属表面加工区域灰度级数范围为[k+1,L]；
基于下式计算后景与前景的灰度均值mC1(k)与mC2(k)
Figure BDA0002378379110000111
Figure BDA0002378379110000112
基于下式计算金属表面图像全局均值mG：
Figure BDA0002378379110000113
基于下式计算类间方差
Figure BDA0002378379110000114
Figure BDA0002378379110000115
基于下式计算预设阈值k：
Figure BDA0002378379110000116
如图11所示，显著性图的两个峰值代表了背景和目标(金属表面加工区域)两个类别的像素点分布，背景和目标之间的类间方差越大,说明构成图像的两部分的差别越大,当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。本实施例中，第一像素值为0，第二像素值为255时，选取预设灰度级数为255。
中值滤波公式如下：
Figure BDA0002378379110000117
式中，Sxy表示的是金属表面图像的像素点的坐标范围，Sj(x,y)表示的是在中心点为x,y的j*j大小的滤波核内的像素值，f(x,y)为对滤波核内像素点进行中值排序后输出的像素点值。
在对金属表面显著图二值化时，由于非加工区域不平整，少部分区域存在亮度突变。提取显著图过程中，这部分区域被误提取为显著性区域，如图12所示，使用二值化会进一步将该区域的噪声放大。针对该类噪声，可运用中值滤波法进行处理。
本实施例中选取滤波核尺寸为5*5。
如图13所示，形态学运算包括对二值化图或中值滤波后的二值化图进行先膨胀后腐蚀的形态学闭运算，形态学闭运算的迭代预设次数；
膨胀运算公式：
Figure BDA0002378379110000118
腐蚀运算公式：
Figure BDA0002378379110000121
式中，A为金属表面图像；B为结构元，x,y为金属表面图像的像素点的坐标，(B)xy为结构元的中心所在位置。
在对金属表面显著图二值化时，受油污、毛刺、及部分缺陷的影响，导致二值化图像内部产生规则不一的小孔。针对该类问题，可运用形态学方法进行处理。运用先膨胀后腐蚀的形态学闭运算对二值化图像内部的噪声点进行去噪处理，若只进行一次腐蚀膨胀运算，可能会存在噪声点的遗留，因此可采用多次迭代的方式彻底去除噪声点，本实施例中选取3*3的结构元，膨胀与腐蚀迭代次数可为3次。
采用的3*3的结构元时
Figure BDA0002378379110000122
S103、将金属表面图像与掩模图像进行与运算提取出加工区域图，将加工区域图作为金属表面加工图像。
将金属表面图像中与加工区域掩模图像中像素值为第一像素值的像素点对应的像素点的像素值置0，得到加工区域图。
如图14至图16所示，加工区域图中，各种干扰因素被极大的弱化，可有效提高后续检测的精度。
采用相同的目标检测方法，分别输入金属表面图像与采用本发明的方法提取出的加工区域图，由于有效的消除了毛刺、非加工区域、油污、以及部分边缘反光等干扰因素的影响，突出了缺陷特征，因此，可进一步降低误检率、漏检率.
金属表面加工图像可以采用原始的金属表面图像。但是，在完成金属表面的加工后，在加工表面及其临近区域通常会残留毛刺、油污以及其他在识别过程中产生与部分加工表面缺陷相似特征信息的干扰因素。若直接将上述方法应用于金属加工表面缺陷检测中，这些毛刺、油污以及非加工区域存在的与部分缺陷相似的特征信息会对缺陷检测的结果造成不利影响。因此，为了消除这些不利影响，在本实施例中，可将金属表面图像中的加工区域图像提取出来，从而避免了后续的缺陷检测中，检测结果受到毛刺、油污以及非加工区域存在的与部分缺陷相似的特征信息的不利影响，提高了检测精度。
为了验证本本发明公开的方法的效果，下面进行实验验证与对比分析。
1、实验样本：
本实验的数据集情况，如下表：
Figure BDA0002378379110000131
2、模型训练
2.1确定锚点框
首先，使用K-means聚类算法确定合适的锚点框维度，聚类可以减少网络训练过程所需的锚点框数,提升模型的表示能力和学习能力。相比欧氏距离，由于IOU与框尺寸无关,使用IOU参与计算可以避免较大的框比小的框产生更大的误差的问题,可以使锚点框获得更好的IOU分值。计算公式为：
D(box,centroid)＝1-IOU(box,centroid)
式中，centroid表示簇的中心；box表示样本框的数量；IOU表示被检测到的框与真实框的面积重合程度，定义的IOU公式如下：
Figure BDA0002378379110000132
式中，Bdet为被检测到的框，Bgt指的是真实框，考虑被检测的金属表面缺陷较小，本发明中设定正确检测的IOU为大于35％。
在(1,12)范围内选取K值对训练集进行K-means聚类的结果如图5所示。
根据聚类效果图分析得知随着K的增加，得到的平均IOU逐渐增加。当K大于9时，曲线趋于平缓，因此发明选取锚点框的数量为9。图5(b)展示了9个框的宽高维度，分别为(6*6,7*8,7*10,10*11,10*27,10*8,14*14,22*27,29*12)。
2.2训练策略及参数
确定锚点框后，选择ResNetYOLO网络训练策略以及设定参数，如表1所示。
表1网络参数训练表
Figure BDA0002378379110000133
Figure BDA0002378379110000141
RetNetYOLO的训练使用了当前的主流优化器Adam,它同时集成了AdaGrad和RMSProp的优点，具有容易实现，高计算效率和较低的内存需求的特点。实验设置的初始学习率为0.001，并将Adam与学习率衰减策略相结合。随后，引入L2正则化，L2正则化可以使得模型的解偏向于范数较小的W(神经网络权重参数)，通过限制W范数的大小实现了对模型空间的限制，从而有效的避免模型过拟合。最后，采用save best only策略保存模型，该策略通过监测迭代过程的val loss(验证集损失)，可以保存迭代过程中表现更优的模型参数。实验设置监测epoch(迭代次数)为10，即每10个epoch训练完成后将该轮的val loss与之前的进行比较，从而得到最优的模型参数。实验表明，该策略不仅能得到更优的模型，还能有效防止模型的过拟合。
图6展示了模型的训练过程，训练过程的训练损失和验证损失由式24计算得来，图中3种曲线分别代表训练数据的损失值、测试数据的损失值和训练过程的学习率。可以看出，在450个epoch后，training loss and val_loss已趋于平缓，说明网络已经收敛。而网络在之后的500个epoch一直保持收敛的状态，这证明网络的稳定性，以及训练策略的有效性。最后，使用save best only策略选取最优的模型参数作为最终训练结果。
3、缺陷检测
本部分利用之前训练得到的模型开展缺陷检测，测试集为100张测试图像共计192个缺陷，包含划伤、压伤、碰伤单一缺陷样本与混合缺陷样本图像。使用TP、FP、FN、平均精度AP(Avarage Precision)、召回率(Recall)、平均平均精度mAP(mean Avarage Precision)6个评估指标对训练模型进行评估。具体如下：
表2评价指标
Figure BDA0002378379110000142
Figure BDA0002378379110000151
检测结果如表3所示。
表3三种缺陷的检测结果
Figure BDA0002378379110000152
其中，划伤缺陷共65个，其中TP为62，FP与FN均为3，在测试集上的AP与Recall达到了95％；碰伤缺陷共82个，其中TP为81，FN为1，没有出现误检，在测试集上的AP与Recall达到了99％；压伤缺陷共45个，AP达到了98％，Recall达到了100％，可以全部识别。本次实验中存在6个FP，由于在装夹过程中工装上残留的铁屑与形成压伤的形态较为密集，人工易判定为一个压伤缺陷，而模型检测更为精细，因此检出缺陷数较多。
图7中展示了部分测试样本的检测结果，其中(a)、(b)、(c)、(d)分别对应带有划伤、碰伤、压伤以及混合缺陷的检测图像。深色框为检测框、浅色框为ground truth。观察检测图像下方放大的检测区域可以发现，检测框与ground truth重合度都很高，能有效区分划伤、压伤、碰伤三类缺陷，并准确标注出缺陷在图像中的位置。
综上所述，模型的mAP与平均Recall均达到了97％，由此可证明本发明所提出的方法可以有效实现划伤、压伤、碰伤等缺陷的分类及准确定位。
4、实验对比
下面用ResNetYOLO(直接利用金属表面图像作为金属表面加工图像利用改进型YOLO-V3的金属加工表面缺陷检测方法进行检测)、MGSRE+ResNetYOLO(将提取后的加工区域图作为金属表面加工图像利用改进型YOLO-V3的金属加工表面缺陷检测方法进行检查)与4种目标检测领域的代表性方法在检测精度、速度等方面进行对比。实验对比结果表明，本发明提出的改进型YOLO-V3的金属加工表面缺陷检测方法在金属表面缺陷检测方面具有较好的性能，并且本发明中的设计的金属表面缺陷检测ResNetYOLO模型大小为43.9MB，比当前主流目标检测模型小五到十倍，易于应用与部署；并且，若将提取后的加工区域图作为金属表面加工图像，可进一步降低误检率、漏检率，并且提升mAP及平均召回率。
六种检测方法的基本信息如表4所示。
表4六种检测方法的基本信息
Figure BDA0002378379110000161
4.1、检测精度对比
表5六种检测方法下的三类缺陷AP、mAP、Recall
Figure BDA0002378379110000162
如表5示，本发明提出的ResNetYOLO检测方法的mAP达到了93％，平均召回率达到了94％。这是因为针对金属表面缺陷检测而设计的ResNet-21特征提取骨干网络采用的16X降采样，保证了缺陷特征的较高分辨率，使其在金属表面缺陷检测上表现出了更好的检测性能。其次，将深层的语义特征与浅层的高分辨率特征图进行融合的方法，进一步提升了压伤、碰伤类小缺陷的检测性能。
同时，加入MGSRE方法有效的消除了毛刺、非加工区域、油污、以及部分边缘反光等干扰因素的影响，突出了缺陷特征，进一步降低了误检率、漏检率，mAP再次提升了4％，达到了97％，平均召回率也达到了97％。
4.2、检测速度
检测速度的对比在同一个GPU下对六种检测方法的检测效率进行了比较。由于One-stage方法是直接通过主干网络进行分类和定位，而Two-stage方法需要生成样本候选框，再通过卷积神经网络进行分类，所以One-stage方法的检测效率高于Two-stage方法，但误检率也会比Two-stage高。如图8所示，本文提出的ResNetYOLO平均每张缺陷图像的检测时间为82ms，MGSRE+ResNetYOLO方法的检测时间为70ms。
4.3、分析
如图9所示，对于划伤、压伤类缺陷，四种主流目标检测网络Faster-RCNN w C4、Faster-RCNN w FPN、RetinaNet-101、YOLO-V3的检测结果差别不大；对于最小的碰伤类缺陷，RetinaNet-101的检测效果很差。这是由于RetinaNet-101的特征提取骨干网络过深，其感受野过大，以至于降低了其对于碰伤类缺陷检测效果。虽然过深的特征提取骨干网络能带来较高的检测精度，如图9(a)所示RetinaNet-101对于较大的划伤类缺陷检测效果良好，但是由于金属表面缺陷的特殊性，过深的特征提取骨干网络并不适合该类缺陷的检测。
综合TP、FP、FN指标同样可以发现，本发明提出的ResNetYOLO对于三类缺陷的检测效果均优于四种主流目标检测网络。这是由于金属缺陷目标在其表面所占面积较小，而Faster-RCNN、RetinaNet-101、YOLO-V3的特征提取骨干网络均采用了32X的降采样，对于金属表面的部分划伤、压伤、碰伤等缺陷而言，过大的下采样导致只有个位数像素大小的缺陷在经过大的下采样后在特征图上变为了一个点，降低了分类准确性。其次，由于缺陷在金属图像中占比小，经过大的降采样后，缺陷特征的感受野映射回原图将可能大于缺陷在原图的尺寸，造成定位效果不准。对于金属表面缺陷检测问题，要获得较高的准确性，必须考虑金属表面缺陷的特性，该类缺陷的检测不仅需要特征图具备较高的分辨率，还需要避免过大的感受野。

Claims (6)

1.一种改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，所述改进型YOLO-V3包括特征提取骨干网络、多尺度融合模块及多分类器模块，所述金属加工表面缺陷检测方法包括：
S1、获取金属表面加工图像；
S2、将金属表面加工图像输入特征提取骨干网络提取不同尺度的特征图，所述特征提取骨干网络无池化层且降采样因子小于Darknet-53的降采样因子，且卷积层数少于Darknet-53的卷积层数；
S3、将不同尺度的特征图输入多尺度融合模块进行局部特征融合得到融合特征图；
S4、将融合特征图输入多分类器模块进行金属加工表面缺陷定位及分类。
2.根据权利要求1所述的改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，特征提取骨干网络中的残差模块包括第一部分及第二部分，第一部分包括主路及支路，第二部分步长为1；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小不一致且通道数不一致时，主路步长为2，支路包括1*1的卷积核；
所述特征提取骨干网络中的任一残差模块的输入特征图与输出特征图的大小一致且通道数不一致时，主路步长为1，支路包括1*1的卷积核。
3.根据权利要求2所述的改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，每个卷积层后连接有一个批标准化层，所述批标准化层包括可学习重构参数γ及β，其中：
Figure FDA0002378379100000011
β＝E[X]，
Figure FDA0002378379100000012
式中X表示所有样本在该层的特征，(k)表示卷积核的个数，
Figure FDA0002378379100000013
为卷积层的输入。
4.根据权利要求3所述的改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，激活函数为Leaky ReLu。
5.根据权利要求1至3任一项所述的改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，步骤S3包括：
进行最小尺度YOLO层特征图采样；
将最小尺度YOLO层特征图分别与中尺度YOLO层特征图及最大尺度YOLO层特征图进行融合。
6.根据权利要求5所述的改进型YOLO-V3的金属加工表面缺陷检测方法，其特征在于，步骤S1包括：
S101、获取金属表面图像，基于金属表面图像中金属表面的镜面反射强度差异提取显著性图；
S102、将显著性图二值化并去噪，得到加工区域掩模图像；
S103、将金属表面图像与掩模图像进行与运算提取出加工区域图，将加工区域图作为金属表面加工图像。
CN202010075390.4A 2020-01-22 2020-01-22 一种改进型yolo-v3的金属加工表面缺陷检测方法 Active CN111292305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010075390.4A CN111292305B (zh) 2020-01-22 2020-01-22 一种改进型yolo-v3的金属加工表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010075390.4A CN111292305B (zh) 2020-01-22 2020-01-22 一种改进型yolo-v3的金属加工表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111292305A true CN111292305A (zh) 2020-06-16
CN111292305B CN111292305B (zh) 2023-05-05

Family

ID=71022422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075390.4A Active CN111292305B (zh) 2020-01-22 2020-01-22 一种改进型yolo-v3的金属加工表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111292305B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795978A (zh) * 2020-09-08 2020-10-20 湖南大学 一种钢桥结构健康状态评估方法、装置、设备及存储介质
CN111860508A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 图像样本选择方法及相关设备
CN111914904A (zh) * 2020-07-08 2020-11-10 太原理工大学 一种融合DarkNet与CapsuleNet模型的图像分类方法
CN111932503A (zh) * 2020-07-17 2020-11-13 太仓中科信息技术研究院 一种基于深度学习的金属闷盖表面缺陷的检测方法
CN112036517A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 图像缺陷分类方法、装置及电子设备
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112200762A (zh) * 2020-07-02 2021-01-08 西南科技大学 二极管玻壳缺陷检测方法
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112364705A (zh) * 2020-10-16 2021-02-12 天津大学 基于多层次特征融合的轻量型cnn的表情识别方法
CN112419244A (zh) * 2020-11-11 2021-02-26 浙江大学 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置
CN112465746A (zh) * 2020-11-02 2021-03-09 新疆天维无损检测有限公司 一种射线底片中小缺陷检测方法
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112527959A (zh) * 2020-12-11 2021-03-19 重庆邮电大学 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法
CN112819803A (zh) * 2021-02-22 2021-05-18 珠海博明视觉科技有限公司 一种用于机器视觉缺陷检测的神经网络分类器的使用方法
CN112836775A (zh) * 2021-02-04 2021-05-25 浙江科技学院 不同货物的出入库信息录入系统
CN112989958A (zh) * 2021-02-22 2021-06-18 哈工大机器人集团(无锡)科创基地研究院 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN113077556A (zh) * 2021-03-29 2021-07-06 深圳大学 基于行人重识别的检票系统及方法
CN113343355A (zh) * 2021-06-08 2021-09-03 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113989179A (zh) * 2021-09-08 2022-01-28 湖南工业大学 基于目标检测算法的列车轮对踏面缺陷检测方法及系统
CN114092467A (zh) * 2021-12-01 2022-02-25 重庆大学 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN114782437A (zh) * 2022-06-20 2022-07-22 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统
CN115601363A (zh) * 2022-12-14 2023-01-13 中建科技集团有限公司（Cn） 一种基于小目标检测算法的装配式建筑产品缺陷检测方法
CN115965627A (zh) * 2023-03-16 2023-04-14 中铁电气化局集团有限公司 一种应用于铁路运营的微小部件检测系统及方法
CN116363133A (zh) * 2023-06-01 2023-06-30 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020277A1 (zh) * 2011-08-10 2013-02-14 天津大学 基于多图像传感器的钢球表面展开方法及装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN110308151A (zh) * 2019-07-22 2019-10-08 重庆大学 一种基于机器视觉的金属工件表面缺陷识别方法及装置
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020277A1 (zh) * 2011-08-10 2013-02-14 天津大学 基于多图像传感器的钢球表面展开方法及装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN110308151A (zh) * 2019-07-22 2019-10-08 重庆大学 一种基于机器视觉的金属工件表面缺陷识别方法及装置
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI,JY 等: "Real-time Detection of Steel Strip Surface Defects Based on Improved YOLO Detection Network", 《IFAC PAPERSONLINE》 *
彭大芹等: "基于双向特征融合卷积神经网络的液晶面板缺陷检测算法", 《广东通信技术》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200762A (zh) * 2020-07-02 2021-01-08 西南科技大学 二极管玻壳缺陷检测方法
CN111914904A (zh) * 2020-07-08 2020-11-10 太原理工大学 一种融合DarkNet与CapsuleNet模型的图像分类方法
CN111914904B (zh) * 2020-07-08 2022-07-01 太原理工大学 一种融合DarkNet与CapsuleNet模型的图像分类方法
CN111932503A (zh) * 2020-07-17 2020-11-13 太仓中科信息技术研究院 一种基于深度学习的金属闷盖表面缺陷的检测方法
CN111860508A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 图像样本选择方法及相关设备
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112116557B (zh) * 2020-08-12 2022-02-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112115977B (zh) * 2020-08-24 2024-04-02 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN111795978A (zh) * 2020-09-08 2020-10-20 湖南大学 一种钢桥结构健康状态评估方法、装置、设备及存储介质
CN111795978B (zh) * 2020-09-08 2020-12-04 湖南大学 一种钢桥结构健康状态评估方法、装置、设备及存储介质
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112215819B (zh) * 2020-10-13 2023-06-30 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112364705A (zh) * 2020-10-16 2021-02-12 天津大学 基于多层次特征融合的轻量型cnn的表情识别方法
CN112270722B (zh) * 2020-10-26 2024-05-17 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112465746A (zh) * 2020-11-02 2021-03-09 新疆天维无损检测有限公司 一种射线底片中小缺陷检测方法
CN112465746B (zh) * 2020-11-02 2024-03-05 新疆天维无损检测有限公司 一种射线底片中小缺陷检测方法
CN112036517A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 图像缺陷分类方法、装置及电子设备
CN112419244B (zh) * 2020-11-11 2022-11-01 浙江大学 混凝土裂缝分割方法及装置
CN112419244A (zh) * 2020-11-11 2021-02-26 浙江大学 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112527959B (zh) * 2020-12-11 2023-05-30 重庆邮电大学 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法
CN112527959A (zh) * 2020-12-11 2021-03-19 重庆邮电大学 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法
CN112836775B (zh) * 2021-02-04 2022-07-29 浙江科技学院 不同货物的出入库信息录入系统
CN112836775A (zh) * 2021-02-04 2021-05-25 浙江科技学院 不同货物的出入库信息录入系统
CN112819803B (zh) * 2021-02-22 2024-03-22 珠海博明视觉科技有限公司 一种用于机器视觉缺陷检测的神经网络分类器的使用方法
CN112989958A (zh) * 2021-02-22 2021-06-18 哈工大机器人集团(无锡)科创基地研究院 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN112819803A (zh) * 2021-02-22 2021-05-18 珠海博明视觉科技有限公司 一种用于机器视觉缺陷检测的神经网络分类器的使用方法
CN113077556A (zh) * 2021-03-29 2021-07-06 深圳大学 基于行人重识别的检票系统及方法
CN113343355A (zh) * 2021-06-08 2021-09-03 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113989179A (zh) * 2021-09-08 2022-01-28 湖南工业大学 基于目标检测算法的列车轮对踏面缺陷检测方法及系统
CN113989179B (zh) * 2021-09-08 2024-06-28 湖南工业大学 基于目标检测算法的列车轮对踏面缺陷检测方法及系统
CN114092467A (zh) * 2021-12-01 2022-02-25 重庆大学 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN114782437B (zh) * 2022-06-20 2022-09-02 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统
CN114782437A (zh) * 2022-06-20 2022-07-22 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统
CN115601363A (zh) * 2022-12-14 2023-01-13 中建科技集团有限公司（Cn） 一种基于小目标检测算法的装配式建筑产品缺陷检测方法
CN115965627A (zh) * 2023-03-16 2023-04-14 中铁电气化局集团有限公司 一种应用于铁路运营的微小部件检测系统及方法
CN116363133A (zh) * 2023-06-01 2023-06-30 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法
CN116363133B (zh) * 2023-06-01 2023-07-28 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质
CN117706058B (zh) * 2024-02-04 2024-05-10 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111292305B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN112927189B (zh) 一种电镀工件表面瑕疵视觉检测中边缘反射光斑剔除方法
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN113393426B (zh) 一种轧钢板表面缺陷检测方法
CN108827969A (zh) 金属零件表面缺陷检测与识别方法及装置
Zang et al. Traffic sign detection based on cascaded convolutional neural networks
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
CN115880248B (zh) 一种表面划痕缺陷识别方法及视觉检测设备
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN111814852B (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN118115496B (zh) 晶圆缺陷检测方法及装置
CN112508857A (zh) 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN112329664A (zh) 一种原核期胚胎原核数量的评估方法
CN117611571A (zh) 一种基于改进yolo模型的带钢表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant