CN113780423A - 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 - Google Patents

一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 Download PDF

Info

Publication number
CN113780423A
CN113780423A CN202111067076.2A CN202111067076A CN113780423A CN 113780423 A CN113780423 A CN 113780423A CN 202111067076 A CN202111067076 A CN 202111067076A CN 113780423 A CN113780423 A CN 113780423A
Authority
CN
China
Prior art keywords
layer
convolutional
example normalization
output
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111067076.2A
Other languages
English (en)
Inventor
陈永利
严凡坤
周艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202111067076.2A priority Critical patent/CN113780423A/zh
Publication of CN113780423A publication Critical patent/CN113780423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型，属于图像处理与分析的技术领域。解决了工业品表面缺陷的检测、识别问题，能够提高缺陷检测的识别率、降低小目标缺陷的漏检。本发明的神经网络由“图像预处理层”、“特征提取网络层”、“连接层”、“多尺度融合网络层”和“预测网络层”构成，分别实现“图像数据增强”、“图像特征提取”、“卷积连接”、“图像特征多尺度融合处理”和“对多尺度融合网络层的融合特征进行多种采样处理”的功能。本发明采用最大池化方式进行多尺度融合，增加预测器的数量，实现深层网络对浅层网络特征信息的充分利用；利用训练后的模型能够进行工业品表面缺陷的检测识别。

Description

一种基于多尺度融合的单阶段目标检测神经网络及工业品表 面缺陷检测模型
技术领域
本发明属于图像处理与图像分析的技术领域，具体的涉及一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型。
背景技术
在产品包装、印刷电路板(Printed Circuit Board，PCB)、玻璃瓶等工业产品的实际生产过程中，由于振动、生产工艺等各方面因素的影响，工业品的表面会产生划痕、气泡等微小瑕疵，这些瑕疵会严重影响工业品的质量，因此需要对工业品的表面瑕疵进行缺陷检测。目前，大多数厂商采用的仍然是人工目检的方法，然而工业品表面的瑕疵往往较小、区分度不高，导致人工检测十分费力、检测效率低、故障率高。利用传统的图像缺陷检测技术对PCB等工业品图像进行缺陷检测，需要对待检测图像进行像素级别的遍历，存在检测速度偏慢、检测识别率不足等诸多问题。近些年来，随着深度学习技术的发展，以卷积神经网络为代表的深度学习在缺陷检测方面得到了广泛的关注。卷积神经网络作为一类包含卷积运算且具有深度结构的前馈神经网络，可以通过前向传播学习缺陷特征以及反向传播调整卷积核参数，智能化的对缺陷图像进行检测，成为当前相关领域的研究热点。
发明内容
鉴于此，为了提高工业品表面缺陷检测的识别率，降低小目标缺陷检测的漏检率，保障工业品表面的质量检测速度，实现较为复杂作业环境、检测背景下的小目标缺陷准确识别，本发明旨在提出一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型。
为达到上述目的，本发明的技术方案是这样实现的：
步骤1：建立工业品表面缺陷检测的神经网络-一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t，用于工业品表面缺陷检测；
步骤2：获取需检测工业产品的图像训练集，将采集到图像的长宽尺寸、图像类型进行同一化处理；
步骤3：对步骤2所获得的图像训练集进行划分，划分为训练集D-1、验证集D-2和测试集D-3；其中训练集D-1用于对网络模型的训练，验证集D-2用于防止网络模型的过拟合，测试集D-3用于对网络模型性能的测试；
步骤4：对步骤3所述的训练集D-1、验证集D-2和测试集D-3内的图像进行标注分类，整理成YOLO数据集格式；
步骤5：根据步骤2所述的需检测工业产品图像的特征，预设待检测目标的数量并由K-means聚类算法在训练集D-1上获得检测先验框的数量和尺寸；
步骤6：选择步骤1所述的神经网络YOLO_4t，将步骤5所获得的先验框的数据输入到神经网络YOLO_4t的cfg配置文件中；
步骤7：将步骤4处理后的训练集D-1中的图像数据依次输入到神经网络YOLO_4t，根据网络YOLO_4t内的预测器1、预测器2和预测器3的输出，利用网络YOLO_4t内的损失函数，对所述神经网络YOLO_4t内的系列卷积核进行优化，得到优化后的网络模型MM；
步骤8：将步骤4处理后的验证集D-2的缺陷图像输入到步骤7所述网络模型MM中，进行图像的缺陷检测，防止网络模型MM的过拟合；
步骤9：将步骤4处理后的测试集D-3的图像输入到步骤8所述的网络模型MM中，进行网络模型MM的输出和图像实际的验证，获得验证准确率；
步骤10：当步骤9所述的验证准确率达到预期目标，则获得最终的网络模型YOLO_4t_mod，用之对待检测的工业品表面图像进行缺陷检测；当步骤9所述的验证准确率低于预期目标，则需要对网络模型MM进行参数调整，重复步骤7-10，直到验证准确率达到预期目标，获得最终的网络模型YOLO_4t_mod。
步骤2所述的工业产品图像数据集为工业品表面有缺陷的图像数据集，包括但不限于印刷电路板(Printed Circuit Board，PCB)、印刷烟盒、印刷药盒、织物等工业品表面缺陷，缺陷的标注类型包括：spur、copper、pin-hole、mousebite、open、short等，以印刷电路板为例。
所述的一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t为小目标全尺度单阶段缺陷检测网络。
所述的一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t，其特征在于，该网络是由图像预处理层、特征提取网络层、连接层、多尺度融合层和预测网络层共同构成；所述的图像预处理层含有一个输入和一个输出，输出连接着所述的特征提取网络层的输入；所述的特征提取网络层含有一个输入和三个输出，所述的三个输出中的两个为中间输出，另一个输出连接着所述的多尺度融合层的输入；所述的连接层含有一个输入和一个输出，输出连接着所述的多尺度融合层的输入；所述的多尺度融合层含有一个输入和一个输出，其根据所获得的输入进行计算并依据计算结果对其内的融合器构建参数进行优化；所述的预测层含有三个输入和一个输出，所述的三个输入中的一个输入连接着所述的多尺度融合层的输出，另外的两个输入连接着所述的特征提取层的两个中间输出；所述特征提取网络层和多尺度融合网络层通过连接层传输数据，所述的连接层用于对所述特征提取网络层输出的图像再次进行卷积；
所述的图像预处理层由数据增强层、卷积层A-1、实例归一化层-1、Leaky relu激活函数层、卷积层A-2、实例归一化层-2和Leaky relu激活函数层依次串联构成，用于图像数据的数据增强；
所述的特征提取网络层由特征提取器AA1、最大池化层M1、特征提取器AA2、最大池化层M2、特征提取器AA3和最大池化层M3依次串联构成，用于提取图像特征；所述的特征提取器AA2和特征提取器AA3分别含有一个中间输出，构成了所述的特征提取层的两个中间输出；所述的特征提取器AA1由卷积层A1、实例归一化层1、Leaky relu激活函数层、运算层1、卷积层A2、实例归一化层2、Leaky relu激活函数层、卷积层A3、实例归一化层3、Leaky relu激活函数层、运算层2、卷积层A4、实例归一化层4、Leaky relu激活函数层、运算层3依次串联构成；所述的特征提取器AA2由卷积层A5、实例归一化层5、Leaky relu激活函数层、运算层4、卷积层A6、实例归一化层6、Leaky relu激活函数层、卷积层A7、实例归一化层7、Leakyrelu激活函数层、运算层5、卷积层A8、实例归一化层8、Leaky relu激活函数层、运算层6依次串联构成；所述的特征提取器AA2的卷积层A8的输出经实例归一化层8和Leaky relu激活函数后的输出即为所述的特征提取器AA2的中间输出，其连接着所述的预测层的预测器3内的运算层15的一个输入；所述的特征提取器AA3由卷积层A9、实例归一化层9、Leaky relu激活函数层、运算层7、卷积层A10、实例归一化层10、Leaky relu激活函数层、卷积层A11、实例归一化层11、Leaky relu激活函数层、运算层8、卷积层A12、实例归一化层12、Leaky relu激活函数层、运算层9依次串联构成；所述的特征提取器AA3的卷积层A12的输出经实例归一化层12和Leaky relu激活函数层后的输出即为所述的特征提取器AA3的中间输出，其连接着所述的预测层的预测器2内的运算层13的一个输入；所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层4、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11和实例归一化层12具有完全相同的结构和功能；所述的Leaky relu relu激活函数层的构建，采用了带泄露修正线性单元函数进行激活处理；所述的运算层1实现的是将卷积层A1的特征图平均分为两组并取第一组特征作为卷积层A2的输入，所述的分组运算采用的是route算法；所述的运算层2实现的是所述的卷积层A2的输出和所述的卷积层A3的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层3实现的是所述的卷积层A1的输出和所述的卷积层A4的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层4实现的是将卷积层A5的特征图平均分为两组并取第一组特征作为卷积层A6的输入，所述的分组运算采用的是route算法；所述的运算层5实现的是所述的卷积层A6的输出和所述的卷积层A7的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层6实现的是所述的卷积层A5的输出和所述的卷积层A8的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层7实现的是将卷积层A9的特征图平均分为两组并取第一组特征作为卷积层A10的输入，所述的分组运算采用的是route算法；所述的运算层8实现的是所述的卷积层A10的输出和所述的卷积层A11的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层9实现的是所述的卷积层A9的输出和所述的卷积层A12的输出之间的求和运算，所述的求和运算采用了add算法；
所述的连接层由卷积层A13、实力归一化层13和Leaky relu激活函数层依次连接组成；
所述多尺度融合层由最大池化层M4、运算层10、最大池化层M5和运算层11构成；所述的运算层10实现的是将所述多尺度融合层的输入跨层连接，作为最大池化层M5的输入；所述的运算层11实现的是所述多尺度融合层的输入、所述的最大池化层M4、M5的输出的求和运算，求和运算采用了add算法；所述的最大池化层M4的输入为所述多尺度融合层的输入，最大池化层M4和最大池化层M5具有完全相同的结构和功能；
所述的预测网络层含有三个预测器：预测器1、预测器2、预测器3，用于对所述多尺度融合网络器输出的融合特征进行不同采样率的特征图的处理；所述的预测器1由卷积层A14、实例归一化层14、Leaky relu激活函数层、卷积层A15、实例归一化层15、Leaky relu激活函数层、卷积层A16、实例归一化层16、Leaky relu激活函数层、卷积层A17、Leaky relu激活函数层和解码器Y1依次串联构成，预测器1的输入连接着所述多尺度融合层的输出，预测器1输出的是5倍下采样特征图的预测框；所述的预测器2由运算层12、卷积层A18、实例归一化层17、Leaky relu激活函数层、上采样层U1、运算层13、卷积层A19、实例归一化层18、Leaky relu激活函数层、卷积层A20、实例归一化层19、Leaky relu激活函数层、卷积层A21、Leaky relu激活函数层和解码器Y2依次串联构成，预测器2的输入连接着为所述预测器1的卷积层A16的输出经实例归一化层16和Leaky激活函数层的处理后的输出，预测器2输出的是4倍下采样的特征图的预测框；所述的预测器2的运算层13的一个输入连接着所述的特征提取器AA3的中间输出；所述的预测器3由运算层14、卷积层A22、实例归一化层20、Leakyrelu激活函数层、上采样层U2、运算层15、卷积层A23、实例归一化层21、Leaky relu激活函数层、卷积层A24、Leaky relu激活函数层和解码器Y3依次串联构成，预测器3的输入连接着所述预测器2的卷积层A20的输出经实例归一化层19和Leaky激活函数层的处理后的输出，预测器3输出的是3倍下采样的特征图的预测框；所述的预测器3的运算层15的一个输入连接着所述的特征提取器AA2的中间输出；所述的运算层12实现的是预算器1、预测器2的跨层连接，其输出是所述卷积层A18的输入；所述的运算层13实现的是所述特征提取器AA3的中间输出和所述上采样层U 1的输出之间的求和运算，求和运算采用了add算法；所述的运算层14实现的是预测器2、预测器3的跨层连接，其输出连接着所述卷积层A22的输入；所述的运算层15实现的是所述特征提取器AA2的中间输出和所述上采样层U2的输出之间的求和运算，求和运算采用了add算法；所述的解码器Y1、解码器Y2和解码器Y3的解码公式与YOLO-v4tiny网络中的解码公式相同；
所述的卷积层A-1、卷积层A-2、卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5、卷积层A6、卷积层A7、卷积层A8、卷积层A9、卷积层A10、卷积层A11、卷积层A12、卷积层A13、卷积层A14、卷积层A15、卷积层A16、卷积层A17、卷积层A18、卷积层A19、卷积层A20、卷积层A21、卷积层A22、卷积层A23和卷积层A24具有完全相同的结构，其构建参数包括卷积核的数量、卷积核归一化方式、卷积核大小、卷积核步长、卷积核填充方式、卷积核偏置项、卷积核初始值；
所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11、实例归一化层12、实例归一化层13、实例归一化层14、实例归一化层15、实例归一化层16、实例归一化层17、实例归一化层18、实例归一化层19、实例归一化层20、实例归一化层21的结构和功能完全相同，用来将输入数据调整到特定的范围。
所述的一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t，其特征在于，所述的网络YOLO_4t是基于Darknet深度学习框架构建的，网络YOLO_4t的损失函数与YOLO-v4tiny网络的损失函数相同；
所述的一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t，其特征在于，所述的网络YOLO_4t内的填充层PA的填充方法采用same padding，填充大小为1，填充方式为对称补齐。
所述的一种基于多尺度融合的单阶段目标检测神经网络YOLO_4t，其特征在于，所述的网络YOLO_4t内的填充层PB的填充方法采用了内插值的方法，填充大小为13，填充方式为对称补齐。
所述的一种基于多尺度融合的单阶段目标检测神经网络的工业品表面缺陷检测模型，其特征在于，所述的步骤2，优选的，采用Python语言、OpenCV实现图像的同一化处理，将图像尺寸归一化到640*640大小并进行图像二值化处理；所述的步骤4，优选的，选用标注软件LabelImage对图像进行缺陷标注，所生成的TXT文件用于网络YOLO_4t的训练。
相对于现有技术，本发明所述的基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型，具有以下优势：
本发明所述的基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型，其中，所述的特征提取网络层和多尺度融合层是基于深度卷积神经网络进行构建的，其内部的卷积层交叉连接并进行特征的融合，实现了深层网络对浅层网络中的特征信息的充分利用；所述的多尺度融合层采用了3×3、5×5最大池化方式进行多尺度融合，增加了特征通道数量，提高了对缺陷特征的提取能力。并且通过增加预测器，提升了对小目标缺陷的识别能力。通过训练获得了神经网络模型，利用该模型能够进行工业品包括PCB等的表面缺陷的缺陷进行检测。本发明有效的解决了工业品包括PCB等有缺陷图像的缺陷分类和定位问题，在图像内容分析、计算机视觉以及工业产品的图像信息质量智能检测等领域具有很好的应用潜力和价值。
附图说明
构成本发明的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明所述的基于多尺度融合的单阶段目标检测神经网络的网络结构示意图；
图2为本发明所述的基于多尺度融合的单阶段目标检测神经网络中的特征提取网络层的结构图；
图3为本发明所述的特征提取网络层中的特征提取器AA1的结构图；
图4为本发明所述的特征提取网络层中的特征提取器AA2的结构图；
图5为本发明所述的特征提取网络层中的特征提取器AA3的结构图；
图6为本发明所述的基于多尺度融合的单阶段目标检测神经网络中的多尺度融合层的结构图；
图7为本发明所述的预测层中的预测器1的结构图；
图8为本发明所述的预测层中的预测器2的结构图；
图9为本发明所述的预测层中的预测器3的结构图；
图10为本发明所述的用于工业品表面缺陷检测的神经网络训练及图像缺陷检测流程示意图；
图11为本发明实施例一中的用来做缺陷检测的有缺陷印刷电路板图像；
图12为本发明实施例一中的有缺陷印刷电路板图像的网络模型的检测图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。
下面将参考附图并结合实施例来详细说明本发明。
图1为本发明所述的基于多尺度融合的单阶段目标检测神经网络的网络结构示意图；图2为本发明所述的基于多尺度融合的单阶段目标检测神经网络中的特征提取网络层的结构图，图3为本发明所述的特征提取网络层中的特征提取器AA1的结构图，图4为本发明所述的特征提取器AA2的结构图，图5为本发明所述的特征提取器AA3的结构图；图6为本发明所述的基于多尺度融合的单阶段目标检测神经网络中的多尺度融合层的结构图；图7为本发明所述的预测层中的预测器1的结构图，图8为本发明所述的预测器2的结构图，图9为本发明所述的预测器3的结构图；10为本发明所述的用于工业品表面缺陷检测的神经网络训练及图像缺陷检测流程示意图。参见图1-9，基于多尺度融合的单阶段目标检测神经网络，包括：图像预处理层、特征提取网络层、连接层、多尺度融合层和预测网络层；所述的图像预处理层用于图像数据的数据增强，所述特征提取网络层用于提取图像特征；所述的连接层用于通过卷积层13连接特征提取层和多尺度融合层；所述多尺度融合网络器用于对所述图像特征进行融合，所述预测网络层用于针对所述多尺度融合网络器输出的融合特征进行多种采样率特征输出的预测框。以有缺陷的工业品表面图像为例，结合本发明提供的技术方案以及所述的工业品表面缺陷检测模型，就能够对相关领域的、有关图像缺陷检测的问题进行图像数据数据采集、神经网络搭建以及网络训练和模型构建，解决工业品表面图像的缺陷检测问题。本发明的网络解决了神经网络层数过多使得图像特征信息在网络传递过程中的信息丢失问题，包括表面缺陷的分类、缺陷的定位、质量检测等问题。本发明提供的实施例就是依据1-10的结构图、控制流程图以及本发明提供的技术方案来是实现的，具体实施例如下：
实施例一
参见附图1-10以及本发明提供的技术方案。
步骤1：构建包括待检测工业品表面缺陷的数据集。
以印刷电路板图像的缺陷检测应用为例，获取印刷电路板图像数据集。构建所述的多尺度融合型的单阶段目标检测神经网络的图像数据集D，然后将其裁剪为640×640的子图像，并对图像进行二值化处理来避免光照干扰；再对图像进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种操作处理，获得图像数据集。并对图像数据集进行划分(从工业品表面缺陷数据集中随机选择70％为训练集，10％为测试集，20％为验证集)，划分为训练集D-1、验证集D-2和测试集D-3，并对所述的缺陷图像数据进行标注；其中的训练集用于对模型的训练，验证集用于防止模型的过拟合，测试集用于对模型性能的测试。本实施例利用Python语言、OpenCV实现图像的同一化处理，将图像尺寸归一化到640*640大小并进行图像二值化处理，具体实现时使用了Python语言的numpy库中rot90、fliplr和flipud算法及其组合算法；本实施例的缺陷图像的标注选用标注软件LabelImage对图像进行缺陷标注，所生成的TXT文件用于本实施例的网络YOLO_4t的训练。
步骤2：利用数据集训练搭建的YOLO_4t神经网络，得到优化后的网络模型MM。
根据本发明的技术方案，构建基于多尺度融合的单阶段目标检测神经网络YOLO_4t。
根据需检测工业产品图像的特征，预设待检测目标的数量(网络模型YOLO-4t的质心个数)并由K-means聚类算法在训练集D-1上获得检测先验框的数量和尺寸；具体的讲，包括以下过程：
根据K-means算法，将表面缺陷图像数据集分为K组，随机选取K个初始点作为聚类的质心，计算方式为计算各个样本点与质心之间的IOU距离，将每一个样本点进行分配，分配给距离最近的聚类质心，每一聚类的质心以及分配的样本点组成一个聚类，各个聚类的质心根据聚类中现有的样本点进行重新计算，不断重复以上过程直至质心不在改变，从而最终确定各个样本点所属的类别和质心；
网络模型YOLO-4t的质心个数K＝9，IOU的表达公式为
Figure BSA0000252496290000081
样本与质心之间的距离d，为
d(box，centroid)＝1-IOU(box，centroid)(2)其中，公式(1)中的area(candidatebound)表示的是网格产生的候选边界框的面积，area(ground truth bound)表示真实边界框的面积，box表示边界框，centroid表示聚类质心。
选择神经网络YOLO_4t，将上述获得的先验框的数据输入到网络YOLO_4t的cfg配置文件中：所述的cfg配置文件的配置，包括以下步骤：
步骤(1)：选择YOLO_4t网络结构；
步骤(2)：将缺陷数据集的先验框数据输入到步骤(1)所选的网络中，并对所选的网络进行相关参数的设置；优选地，网络YOLO_4t默认参数设置为：累计批量64、分割量64、学习率为0.00261、动量参数0.9、权重正则衰减0.0005、迭代次数30000；
步骤(3)：通过YOLO-tiny的CIOU损失函数评价步骤(1)所述网络的训练，当CIOU损失函数值小于0.1并稳定时结束网络的训练；
步骤(4)：步骤(3)完成后，网络自动保存训练过程中的最优权重即best权重，用于测试集准确率的计算。
然后，将所述训练集D-1中的图片依次输入神经网络YOLO_4t，根据预测器1、2和3的输出结果对所述神经网络的卷积核进行优化，得到网络模型MM。将所述的训练集D-1中的一张有缺陷图像PP-1，输入到特征提取网络层中，得到特征提取器A的输出O-1，再将所述的输出O-1输入到权利要求1所述的卷积层A13，得到所述的多尺度融合网络层的输入I-1；将输入I-1输入到所述的多尺度融合器中，得到输出O-2，作为所述的预测器1的输入I-2；I-2经过所述的预测器1中的所述的解码器1结合先验框的大小解码后得到网络的输出O-3；输出O-3与所述的缺陷真实值输入到所述的损失函数中，实现对目标检测网络模型的卷积核反向传播进行优化；将输入I-1输入到所述的多尺度融合网络层中的所述的多尺度融合器中，得到输出O-2，作为所述的预测器1的输入I-2；I-2经过所述的预测器2中的所述的解码器2结合先验框的大小解码后得到网络的输出O-4；输出O-4与所述的缺陷真实值输入到所述的损失函数中，实现对目标检测网络模型的卷积核反向传播进行优化；重复上述步骤，实现图像数据训练集D-1内的所有对应图像的训练，此时完成对所述的多尺度融合型单阶段目标检测神经网络的一次训练，训练的结果保存在所述的目标检测神经网络内；进行多次迭代训练，获得可用于印刷电路板缺陷检测的多尺度融合型单阶段目标检测神经网络模型YOLO_4t_mod；其中，预测器1能够较好的实现对较大目标缺陷的检测，预测器3能够较好的实现对较小目标缺陷的检测，预测器2能够较好的实现对中等目标缺陷的检测。
本实施例的网络YOLO_4t的预测器1、预测器2和预测器3的解码器的解码公式为：
Figure BSA0000252496290000091
其中，公式(3)中的bx、by是预测框的中心坐标值，bw、bh是预测框的宽、高值；cx、cy为本发明所述的预设先验框中心点坐标位于特征图的第几格的格数；δ为Sigmoid函数，将tx、ty压缩到[0，1]区间内，确保目标中心处于执行预测的网络单元中，防止偏移过多；e是数学自然常数2.718；tx、ty为预测器预测的中心坐标偏移量，tw、th为预测器预测的宽和高偏移量；pw、ph为先验框的宽和高。
最后将验证集D-2的印刷电路板图像，输入到优化后的目标检测神经网络模型MM中进行图像的缺陷检测，防止网络模型MM的过拟合。
步骤3：获取待检测的工业品表面缺陷图像，并进行网络YOLO_4t的训练，获得最终的网络模型YOLO_4t_mod。
选取测试集D-3中的有缺陷的PCB图像，将测试集D-3的图像输入到网络模型MM中，进行网络模型MM的输出和图像实际的验证，获得验证准确率。所述的准确率的获得，包含以下步骤：
步骤(1)：训练结束后的MM模型，通过精度验证预测测试集的样本为正样本或负样本；属于指定某工业品表面缺陷类型的样本为正样本，不属于指定缺陷类型的样本为负样本；TP表示正样本被识别为正样本的数量，FP表示负样本被识别为正样本的数量，FN表示正样本被识别为负样本的数量；精度准确率验证完成后，统计测试集预测的准确率precision和召回率recall。计算公式如下：
Figure BSA0000252496290000101
其中，准确率precision表示预测为正的样本中真实正样本所占比例；召回率recall表示正样本被正确预测的比例；
步骤(2)：计算各类样本的平均准确率AP值，所述的平均准确率为precision-recall曲线围成的面积；对各类样本的AP求平均值即得所选模型的总平均准确率(mAP)。
当所述的验证准确率达到预期目标，则获得最终的网络模型YOLO_4t_mod，用之对待检测的工业品表面图像进行缺陷检测；当所述的验证准确率低于预期目标，则需要对网络模型MM进行参数调整，重复步骤3，直到验证准确率达到预期目标，获得最终的网络模型YOLO_4t_mod。
步骤4：利用训练好的模型YOLO_4t_mod对待检测的工业品表面图像进行检测。将有缺陷的印刷电路板表面缺陷图像，见图11，输入到模型YOLO_4t_mod中；
步骤5：输出结果。经模型YOLO_4t_mod处理，模型能够输出所检测到的全部缺陷类型，见图12。
实施例二
参见附图1-10以及本发明提供的技术方案。
步骤1：构建包括待检测工业品表面缺陷的数据集。
以钢铁表面图像缺陷检测应用为例，获取钢铁表面缺陷图像的图像数据集。构建本发明所述的基于多尺度融合的单阶段目标检测神经网络的图像数据集D，所有图像由线性扫描CCD获得；然后将其裁剪为640×640的子图像，并对图像进行二值化处理避免光照干扰；再对裁切后得到的图像进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种操作处理，获得图像数据集；并对图像数据集进行划分(从数据集中随机选择70％为训练集，10％为测试集，20％为验证集)，划分为训练集D-1、验证集D-2和测试集D-3，并对所述的缺陷图像数据进行标注，其中训练集用于对模型的训练，验证集用于防止模型的过拟合，测试集用于对模型性能的测试。本实施例利用Python语言、OpenCV实现图像的同一化处理，具体实现时使用了Python语言的numpy库中rot90、fliplr和flipud算法及其组合算法；缺陷图像的标注选用标注软件LabelImage，所生成的TXT文件用于本实施例网络YOLO_4t的训练。
步骤2：利用数据集训练搭建的YOLO_4t神经网络，得到优化后的网络模型MM。
根据本发明的技术方案，构建基于多尺度融合的单阶段目标检测神经网络YOLO_4t。
根据需检测工业产品图像的特征，预设待检测目标的数量(网络模型YOLO-4t的质心个数)并由K-means聚类算法在训练集D-1上获得检测先验框的数量和尺寸；所涉及的具体过程、操作与实施例一步骤2的描述类似。
步骤3：获取待检测的工业品表面缺陷图像，并进行网络YOLO_4t的训练，获得最终的网络模型YOLO_4t_mod。
选取测试集D-3中的有缺陷的PCB图像，将测试集D-3的图像输入到网络模型MM中，进行网络模型MM的输出和图像实际的验证，获得验证准确率。所述的准确率的获得方法和步骤与实施例一的步骤3的描述类似。
步骤4：利用训练好的模型YOLO_4t_mod对待检测的工业品表面图像进行检测。将有缺陷的钢铁表面缺陷图像输入到模型YOLO_4t_mod中；
步骤5：输出结果。经模型YOLO_4t_mod处理，模型能够输出所检测到的全部缺陷类型。
本实施例通过训练获得了神经网络模型，以印刷电路板和钢铁表面缺陷为例，利用该模型能够进行工业品包括PCB等的表面图像的缺陷检测，但不仅限于印刷电路板和钢铁表面缺陷。本发明有效的解决工业品表面缺陷图像的缺陷分类和定位问题，在图像内容分析、计算机视觉以及工业产品的图像信息质量智能检测等领域具有很好的应用潜力和价值。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度融合的单阶段目标检测神经网络，其特征在于，该网络是由图像预处理层、特征提取网络层、连接层、多尺度融合层和预测网络层共同构成；所述的图像预处理层含有一个输入和一个输出，输出连接着所述的特征提取网络层的输入；所述的特征提取网络层含有一个输入和三个输出，所述的三个输出中的两个为中间输出，另一个输出连接着所述的多尺度融合层的输入；所述的连接层含有一个输入和一个输出，输出连接着所述的多尺度融合层的输入；所述的多尺度融合层含有一个输入和一个输出，其根据所获得的输入进行计算并依据计算结果对其内的融合器构建参数进行优化；所述的预测层含有三个输入和一个输出，所述的三个输入中的一个输入连接着所述的多尺度融合层的输出，另外的两个输入连接着所述的特征提取层的两个中间输出；所述特征提取网络层和多尺度融合网络层通过连接层传输数据，所述的连接层用于对所述特征提取网络层输出的图像再次进行卷积；
所述的图像预处理层由数据增强层、卷积层A-1、实例归一化层-1、Leaky relu激活函数层、卷积层A-2、实例归一化层-2和Leaky relu激活函数层依次串联构成，用于图像数据的数据增强；
所述的特征提取网络层由特征提取器AA1、最大池化层M1、特征提取器AA2、最大池化层M2、特征提取器AA3和最大池化层M3依次串联构成，用于提取图像特征；所述的特征提取器AA2和特征提取器AA3分别含有一个中间输出，构成了所述的特征提取层的两个中间输出；所述的特征提取器AA1由卷积层A1、实例归一化层1、Leaky relu激活函数层、运算层1、卷积层A2、实例归一化层2、Leaky relu激活函数层、卷积层A3、实例归一化层3、Leaky relu激活函数层、运算层2、卷积层A4、实例归一化层4、Leaky relu激活函数层、运算层3依次串联构成；所述的特征提取器AA2由卷积层A5、实例归一化层5、Leaky relu激活函数层、运算层4、卷积层A6、实例归一化层6、Leaky relu激活函数层、卷积层A7、实例归一化层7、Leaky relu激活函数层、运算层5、卷积层A8、实例归一化层8、Leaky relu激活函数层、运算层6依次串联构成；所述的特征提取器AA2的卷积层A8的输出经实例归一化层8和Leaky relu激活函数后的输出即为所述的特征提取器AA2的中间输出，其连接着所述的预测层的预测器3内的运算层15的一个输入；所述的特征提取器AA3由卷积层A9、实例归一化层9、Leaky relu激活函数层、运算层7、卷积层A10、实例归一化层10、Leaky relu激活函数层、卷积层A11、实例归一化层11、Leaky relu激活函数层、运算层8、卷积层A12、实例归一化层12、Leaky relu激活函数层、运算层9依次串联构成；所述的特征提取器AA3的卷积层A12的输出经实例归一化层12和Leaky relu激活函数层后的输出即为所述的特征提取器AA3的中间输出，其连接着所述的预测层的预测器2内的运算层13的一个输入；所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层4、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11和实例归一化层12具有完全相同的结构和功能；所述的Leaky relu relu激活函数层的构建，采用了带泄露修正线性单元函数进行激活处理；所述的运算层1实现的是将卷积层A1的特征图平均分为两组并取第一组特征作为卷积层A2的输入，所述的分组运算采用的是route算法；所述的运算层2实现的是所述的卷积层A2的输出和所述的卷积层A3的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层3实现的是所述的卷积层A1的输出和所述的卷积层A4的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层4实现的是将卷积层A5的特征图平均分为两组并取第一组特征作为卷积层A6的输入，所述的分组运算采用的是route算法；所述的运算层5实现的是所述的卷积层A6的输出和所述的卷积层A7的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层6实现的是所述的卷积层A5的输出和所述的卷积层A8的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层7实现的是将卷积层A9的特征图平均分为两组并取第一组特征作为卷积层A10的输入，所述的分组运算采用的是route算法；所述的运算层8实现的是所述的卷积层A10的输出和所述的卷积层A11的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层9实现的是所述的卷积层A9的输出和所述的卷积层A12的输出之间的求和运算，所述的求和运算采用了add算法；
所述的连接层由卷积层A13、实力归一化层13和Leaky relu激活函数层依次连接组成；
所述多尺度融合层由最大池化层M4、运算层10、最大池化层M5和运算层11构成；所述的运算层10实现的是将所述多尺度融合层的输入跨层连接，作为最大池化层M5的输入；所述的运算层11实现的是所述多尺度融合层的输入、所述的最大池化层M4、M5的输出的求和运算，求和运算采用了add算法；所述的最大池化层M4的输入为所述多尺度融合层的输入，最大池化层M4和最大池化层M5具有完全相同的结构和功能；
所述的预测网络层含有三个预测器：预测器1、预测器2、预测器3，用于对所述多尺度融合网络器输出的融合特征进行不同采样率的特征图的处理；所述的预测器1由卷积层A14、实例归一化层14、Leaky relu激活函数层、卷积层A15、实例归一化层15、Leaky relu激活函数层、卷积层A16、实例归一化层16、Leaky relu激活函数层、卷积层A17、Leaky relu激活函数层和解码器Y1依次串联构成，预测器1的输入连接着所述多尺度融合层的输出，预测器1输出的是5倍下采样特征图的预测框；所述的预测器2由运算层12、卷积层A18、实例归一化层17、Leaky relu激活函数层、上采样层U1、运算层13、卷积层A19、实例归一化层18、Leakyrelu激活函数层、卷积层A20、实例归一化层19、Leaky relu激活函数层、卷积层A21、Leakyrelu激活函数层和解码器Y2依次串联构成，预测器2的输入连接着为所述预测器1的卷积层A16的输出经实例归一化层16和Leaky激活函数层的处理后的输出，预测器2输出的是4倍下采样的特征图的预测框；所述的预测器2的运算层13的一个输入连接着所述的特征提取器AA3的中间输出；所述的预测器3由运算层14、卷积层A22、实例归一化层20、Leaky relu激活函数层、上采样层U2、运算层15、卷积层A23、实例归一化层21、Leaky relu激活函数层、卷积层A24、Leaky relu激活函数层和解码器Y3依次串联构成，预测器3的输入连接着所述预测器2的卷积层A20的输出经实例归一化层19和Leaky激活函数层的处理后的输出，预测器3输出的是3倍下采样的特征图的预测框；所述的预测器3的运算层15的一个输入连接着所述的特征提取器AA2的中间输出；所述的运算层12实现的是预算器1、预测器2的跨层连接，其输出是所述卷积层A18的输入；所述的运算层13实现的是所述特征提取器AA3的中间输出和所述上采样层U1的输出之间的求和运算，求和运算采用了add算法；所述的运算层14实现的是预测器2、预测器3的跨层连接，其输出连接着所述卷积层A22的输入；所述的运算层15实现的是所述特征提取器AA2的中间输出和所述上采样层U2的输出之间的求和运算，求和运算采用了add算法；所述的解码器Y1、解码器Y2和解码器Y3的解码公式与YOLO-v4 tiny网络中的解码公式相同；
所述的卷积层A-1、卷积层A-2、卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5、卷积层A6、卷积层A7、卷积层A8、卷积层A9、卷积层A10、卷积层A11、卷积层A12、卷积层A13、卷积层A14、卷积层A15、卷积层A16、卷积层A17、卷积层A18、卷积层A19、卷积层A20、卷积层A21、卷积层A22、卷积层A23和卷积层A24具有完全相同的结构，其构建参数包括卷积核的数量、卷积核归一化方式、卷积核大小、卷积核步长、卷积核填充方式、卷积核偏置项、卷积核初始值；
所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11、实例归一化层12、实例归一化层13、实例归一化层14、实例归一化层15、实例归一化层16、实例归一化层17、实例归一化层18、实例归一化层19、实例归一化层20、实例归一化层21的结构和功能完全相同，用来将输入数据调整到特定的范围。
2.根据权利要求1所述的一种基于多尺度融合的单阶段目标检测神经网络，其特征在于，所述的网络是基于Darknet深度学习框架构建的，网络的损失函数与YOLO-v4 tiny网络的损失函数相同。
3.根据权利要求2所述的一种基于多尺度融合的单阶段目标检测神经网络，其特征在于，所述的神经网络内的填充层PA的填充方法采用same padding，填充大小为1，填充方式为对称补齐。
4.根据权利要求2所述的一种基于多尺度融合的单阶段目标检测神经网络，其特征在于，所述的神经网络内的填充层PB的填充方法采用了内插值的方法，填充大小为13，填充方式为对称补齐。
5.一种基于多尺度融合的单阶段目标检测神经网络的工业品表面缺陷检测模型，其特征在于，包含如下步骤：
步骤1：建立权利要求1所述的基于多尺度融合的单阶段目标检测神经网络YOLO_4t；
步骤2：获取需检测工业产品的图像训练集，将采集到图像的长宽尺寸、图像类型进行同一化处理；
步骤3：对步骤2所获得的图像训练集进行划分，划分为训练集D-1、验证集D-2和测试集D-3；其中训练集D-1用于对网络模型的训练，验证集D-2用于防止网络模型的过拟合，测试集D-3用于对网络模型性能的测试；
步骤4：对步骤3所述的训练集D-1、验证集D-2和测试集D-3内的图像进行标注分类，整理成YOLO数据集格式；
步骤5：根据步骤2所述的需检测工业产品图像的特征，预设待检测目标的数量并由K-means聚类算法在训练集D-1上获得检测先验框的数量和尺寸；
步骤6：选择步骤1所述的神经网络YOLO_4t，将步骤5所获得的先验框的数据输入到神经网络YOLO_4t的cfg配置文件中；
步骤7：将步骤4处理后的训练集D-1中的图像数据依次输入到神经网络YOLO_4t，根据网络YOLO_4t内的预测器1、预测器2和预测器3的输出，利用网络YOLO_4t内的损失函数，对所述神经网络YOLO_4t内的系列卷积核进行优化，得到优化后的网络模型MM；
步骤8：将步骤4处理后的验证集D-2的缺陷图像输入到步骤7所述网络模型MM中，进行图像的缺陷检测，防止网络模型MM的过拟合；
步骤9：将步骤4处理后的测试集D-3的图像输入到步骤8所述的网络模型MM中，进行网络模型MM的输出和图像实际的验证，获得验证准确率；
步骤10：当步骤9所述的验证准确率达到预期目标，则获得最终的网络模型YOLO_4t_mod，用之对待检测的工业品表面图像进行缺陷检测；当步骤9所述的验证准确率低于预期目标，则需要对网络模型MM进行参数调整，重复步骤7-10，直到验证准确率达到预期目标，获得最终的网络模型YOLO_4t_mod。
6.根据权利要求5所述的一种基于多尺度融合的单阶段目标检测神经网络的工业品表面缺陷检测模型，其特征在于，所述的步骤2，优选的，采用Python语言、OpenCV实现图像的同一化处理，将图像尺寸归一化到640*640大小并进行图像二值化处理；所述的步骤4，优选的，选用标注软件LabelImage对图像进行缺陷标注，所生成的TXT文件用于网络YOLO_4t的训练。
CN202111067076.2A 2021-09-13 2021-09-13 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 Pending CN113780423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111067076.2A CN113780423A (zh) 2021-09-13 2021-09-13 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111067076.2A CN113780423A (zh) 2021-09-13 2021-09-13 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型

Publications (1)

Publication Number Publication Date
CN113780423A true CN113780423A (zh) 2021-12-10

Family

ID=78842874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111067076.2A Pending CN113780423A (zh) 2021-09-13 2021-09-13 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型

Country Status (1)

Country Link
CN (1) CN113780423A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722208A (zh) * 2022-06-08 2022-07-08 成都健康医联信息产业有限公司 一种健康医疗文本自动分类和安全等级自动分级方法
CN115239712A (zh) * 2022-09-21 2022-10-25 季华实验室 电路板表面缺陷检测方法、装置、电子设备及存储介质
CN116228672A (zh) * 2023-01-04 2023-06-06 哈尔滨岛田大鹏工业股份有限公司 一种基于形状特征的金属加工表面缺陷检测系统及检测方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722208A (zh) * 2022-06-08 2022-07-08 成都健康医联信息产业有限公司 一种健康医疗文本自动分类和安全等级自动分级方法
CN114722208B (zh) * 2022-06-08 2022-11-01 成都健康医联信息产业有限公司 一种健康医疗文本自动分类和安全等级自动分级方法
CN115239712A (zh) * 2022-09-21 2022-10-25 季华实验室 电路板表面缺陷检测方法、装置、电子设备及存储介质
CN116228672A (zh) * 2023-01-04 2023-06-06 哈尔滨岛田大鹏工业股份有限公司 一种基于形状特征的金属加工表面缺陷检测系统及检测方法
CN118570212A (zh) * 2024-08-05 2024-08-30 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统
CN118570212B (zh) * 2024-08-05 2024-10-18 山东省计算中心（国家超级计算济南中心） 一种基于强化特征提取网络的显示屏缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN115880298A (zh) 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN113096085A (zh) 基于两阶段卷积神经网络的集装箱表面损伤检测方法
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN108932471A (zh) 一种车辆检测方法
CN110969630A (zh) 一种基于RDU-net网络模型的矿石大块率检测方法
CN113420776B (zh) 一种基于模型融合的多侧面联合检测物品分类方法
CN112215301B (zh) 基于卷积神经网络的影像直线探测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination