CN113327243B - 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法 - Google Patents

基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法 Download PDF

Info

Publication number
CN113327243B
CN113327243B CN202110700667.2A CN202110700667A CN113327243B CN 113327243 B CN113327243 B CN 113327243B CN 202110700667 A CN202110700667 A CN 202110700667A CN 113327243 B CN113327243 B CN 113327243B
Authority
CN
China
Prior art keywords
layer
light guide
guide plate
prediction
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110700667.2A
Other languages
English (en)
Other versions
CN113327243A (zh
Inventor
李俊峰
姚家辉
杨元勋
周栋峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202110700667.2A priority Critical patent/CN113327243B/zh
Publication of CN113327243A publication Critical patent/CN113327243A/zh
Application granted granted Critical
Publication of CN113327243B publication Critical patent/CN113327243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于深度学习的图像识别领域，具体公开了一种基于AYOLOv3‑Tiny新框架的PAD导光板缺陷可视化检测方法，包括在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416*416的小图像，输入上位机里的具有在线生成能力的PAD导光板缺陷检测模型中，输出获得带有缺陷标记及置信度的导光板图像，用以实现对导光板上的点、线、面缺陷的进行预测缺陷的位置以及类别。

Description

基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
技术领域
本发明属于深度学习的图像识别领域，具体为基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法。
背景技术
导光板(light guide plate)是液晶显示器(Liquid Crystal Display)背光源的主要部件，通过各种疏密、大小不一的导光点控制光的散射方向，把冷阴极灯管的线光源转化为均匀面光源，为液晶显示器提供稳定的光源。在导光板的丝印制作、化学蚀刻、激光加工和撞点加工等生产制造过程中，由于原料成分、设备使用情况、加工工艺以及人工操作等因素的影响，其表面不可避免地会出现亮点、线划伤、刮伤等加工缺陷，有缺陷的导光板会直接影响液晶屏的显示效果。根据缺陷的形状，将缺陷分为三大类：点缺陷、线缺陷与面缺陷。点缺陷主要指的是在导光板内部形成的点状缺陷，主要包括亮点与压伤。在塑化过程中，塑胶原料因温度过低从而导致不能完全熔化、成型机周围粉尘较重或者塑胶原料不干净，掺杂着白色的杂质等，会呈现出亮点缺陷，而线缺陷与面缺陷指的是在导光板表面形成的线状和面状缺陷，主要表现为导光板表面出现划伤与刮伤痕迹。在导光板生产过程中，由于导光板接触面的不洁净，如抛光机、滚轮清洁等，或者与运输皮带存在相对位移，导致导光板在运动过程中产生较大的摩擦，从而在导光板表面形成条状划痕或者面状刮伤痕迹。
目前，国内导光板缺陷检测主要依靠人工操作去完成，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。
目前手机导光板缺陷检测主要通过验光人员人工完成，在检验治具的打光条件下，点亮导光板，检测人员目测导光板某处或多处是否出现亮点、划伤、刮伤等缺陷，从而判定导光板是否存在缺陷。由于人工检测缺陷的各种局限性，人工亮点检测的精度、效率、稳定性等很难适应企业的要求。为取得高质量导光板检测图像，需要采用高分辨率的线扫相机进行取像，获得的导光板缺陷图像大小在420M左右。在工业现场，企业要求在6秒之内完成对一张导光板的缺陷检测，这也对缺陷的检测效率提出了更高的要求。
发明内容
本发明要解决的技术问题是基于AYOLOv3-Tiny新框架，提出一种PAD导光板缺陷可视化检测方法，能同时完成对导光板上的点、线、面缺陷的定位和分类。
为了解决上述技术问题，本发明提供基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，包括的过程如下：
在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；
所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像。
作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的改进：
所述OSM模块包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块，将重叠池化后的特征图经过空间注意力模块，并与卷积模块输出进行element-wise乘法，空间注意力模块连接重叠池化层的输出和卷积模块的输出；
OSM模块的计算过程如下：
其中，F为重叠池化后的特征图，P为OSM模块的输入，/>表示对P进行大小为2，步长为1的重叠池化，B为批归一化，L为LeakyRelu激活函数，/>表示element-wise乘法，M(F)为空间注意力；
其中，和/>表示在通道维度上进行平均池化和最大池化，f3×3表示3×3的卷积；σ表示sigmoid激活函数。
作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：
所述DCM模块包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层，并且通过shortcut直接连接DCM模块的输入和输出，膨胀卷积后执行批归一化操作和激活函数。
作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：
所述主干网络层中第7层最大池化层大小为2，步长为1，其余最大池化层大小和步长均为2；所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数。
作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：
所述具有在线生成能力的PAD导光板缺陷检测模型的获取过程为：
1)、采集在线生产的1300幅导光板图像，然后截取了2104幅包含点、线、面三类缺陷的小图像，每幅小图像分辨率为416×416，对每个小图像进行数据增强的处理，包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，获得包含缺陷的图像共计3680幅；然后针对数据增强后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集；
2)、第一预测头层选取(62，35)、(138，111)、(414，205)三组先验框；第二预测头层选取(31，28)、(35，35)、(47，58)三组先验框；建立损失函数如下：
Loss＝ωboxLbox+ωobjLobj+ωclsLcls
其中，ωbox、ωobj和ωcls分别选取3.54、64.3和37.4，Lbox为坐标预测误差，Lobj为置信度误差，Lcls为分类误差；
3)、训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制NMS方法采用merge法，数据增强采用Mosaic方法，
将训练集输入PAD导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度，共计训练200轮，取精度最高的模型作为具有在线生成能力的PAD导光板缺陷检测模型。
作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：
所述坐标预测误差Lbox为：
其中，S2指网格的数量(S×S)，B指每个网格的边界框数量；指在第i个网格的第j个边界框内是否有目标，若有，则为1，否则为0；GIoU被用来衡量坐标误差的大小：
其中，Ac指同时包含预测和真实边界框的最小区域面积，U指预测和真实边界框的相交区域面积，IoU指预测和真实边界框的交并比；
所述置信度误差Lobj为：
其中，λnoobj指当没有目标时的惩罚系数，λnoobj＝0.5；Ci指第i个网格的真实框的置信度；Ci指第i个网格的预测框的置信度；指在第i个网格的第j个边界框内是否有目标，若没有，则为1，否则为0；
所述分类误差Lcls为：
其中，pi(c)指在第i个网格的真实框内包含c类缺陷的条件概率，指在第i个网格的预测框内包含c类缺陷的条件概率，置信度误差和分类误差均采用二类交叉熵损失函数/>定义如下：
本发明的有益效果主要体现在：
本发明构建的OSM模块可以将浅层语义特征向后传播，更加有利于网络对缺陷特征的提取，提高了检测的准确率，构建的DCM模块可以扩大卷积核的感受野，提升面积比较大的缺陷的检测能力；基于YOLOv3-Tiny网络构建PAD导光板缺陷检测模型，可以同时预测缺陷的位置以及类别，解决了以往只能进行有无缺陷的二分类问题；实验结果表明，该检测方法速度快，而且准确率高。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明的PAD导光板缺陷检测模型的结构示意图；
图2为缺陷数据集中的样本展示图；
图3为图1中的OSM模块的结构示意图；
图4为图3中OSM模块中的空间注意力模块的结构示意图；
图5为图1中的的DCM模块的结构示意图；
图6为实验1中指标随迭代次数的变化曲线示意图；
图7为实验1中对比检测效果展示图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，如图1-5所示，包括步骤如下:
S01、构建PAD导光板缺陷检测模型
基于YOLOv3-Tiny网络构建PAD导光板缺陷检测模型(AYOLOv3-Tiny)，如图1所示，包括主干网络层和检测层，在主干网络层结合重叠池化和空间注意力构建OSM模块，使用OSM模块取代原YOLOv3-Tiny网络的第二以及第三次普通卷积，主干网络层采用传统的卷积来提取导光板缺陷的特征，采用最大池化层进行下采样；在检测层中借鉴了残差网络的结构并使用了空洞卷积构建一个DCM模块，然后对PAD导光板缺陷检测模型(AYOLOv3-Tiny)进行训练和测试从而获得可以在线检测使用的PAD导光板缺陷检测模型，具体过程如下：
S0101、构建OSM模块
OSM模块的结构如附图3所示，包括一个大小为2、步长为1的重叠池化层(Overlapping Pooling)、一个卷积模块(Conv3*3)和一个空间注意力模块(SpatialAttention Module)。在OSM模块中，构造了类似残差的结构，将重叠池化后的特征图经过空间注意力模块(Spatial Attention Module)，并与卷积模块(Conv3*3)输出进行element-wise乘法。空间注意力模块(Spatial Attention Module)如附图4所示，该模块连接重叠池化层(Overlapping Pooling)的输出和卷积模块(Conv3*3)的输出，首先，空间注意力模块(Spatial Attention Module)对输入特征图分别进行最大池化和平均池化[Maxpool,Avgpool]，其次，再将最大池化和平均池化的结果级联操作送入卷积层(conv layer)，卷积层(conv layer)输入通道为2，输出通道为1，卷积核大小为3，步长为1；最后，经过sigmoid函数激活，得到空间注意力M(F)，M(F)的计算方法如下：
其中，F为重叠池化后的特征图即空间注意力模块(Spatial Attention Module)的输入，P为OSM模块的输入，/>表示对P进行大小为2，步长为1的重叠池化；和/>表示在通道维度上进行平均池化和最大池化，f3×3表示3×3的卷积；σ表示sigmoid激活函数。
OSM模块的输出为：
其中，F为重叠池化后的特征图即卷积层(conv layer)的输入，B为批归一化(Batch Normalization)，L为LeakyRelu激活函数，表示element-wise乘法；
OSM模块可以将浅层语义特征向后传播，更加有利于网络对缺陷特征的提取，提高了检测的准确率。
S0102、构建DCM模块
DCM模块的结构如附图5所示，该模块结构类似于残差结构，DCM模块可以扩大卷积核的感受野，提升面积比较大的缺陷的检测能力，包括一个膨胀卷积(Dilated Conv3*3)和一个卷积层(Conv1*1)，输入的特征图通过膨胀率为2的空洞卷积得到中间层，通道数翻倍，再通过1*1的卷积层还原通道数，此外，模块加入了shortcut，直接连接DCM模块的输入和输出，膨胀卷积(Dilated Conv3*3)后执行批归一化(Batch Normalization，BN)操作和激活函数。
S0103、建立PAD导光板缺陷检测模型
PAD导光板缺陷检测模型(AYOLOv3-Tiny)包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第一层为卷积层(Convolutional)、第二层和第三层均为最大池化层(Maxpool)+OSM模块、第四、五、六和七层均为最大池化层(Maxpool)+卷积层(Convolutional)；主干网络层的输入为416*416的图像，第五层输出的26×26特征图和第七层输出的13×13特征图作为主干网络层的两种不同尺度的特征图的输出，并作为检测层的输入，主干网络层中第七层最大池化层(Maxpool)大小为2，步长为1，其余最大池化层(Maxpool)大小和步长均为2。
检测层包括第八层至第十六层并分为第一预测通道和第二预测通道，主干网络层的第七层输出的13×13特征图经过第八层卷积层(Convolutional)后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第九层DCM模块、第十层卷积层(Convolutional)和第十一层第一预测头层(Pred_head1)，第二预测通道依次包括第十二层卷积层(Convolutional)、第十三层上采样层(Upsampling)、第十四层route层、第十五层卷积层(Convolutional)和第十六层第二预测头层(Pred_head2)；检测模型中的主干网络层和检测层中的卷积层(Convolutional)均包含一次卷积操作、批归一化BN以及激活函数；
在检测层的第二预测通道中，通过第十二层卷积层输出的13×13特征图与主干网络层中的第五层输出的26×26特征图在第十三层上采样层进行concatenate连接，然后输出26×26的特征图，再通过第十五层卷积层(Convolutional)进入第十六层第二预测头层(Pred_head2)；而在检测层的第一预测通道中，13×13特征图通过第九层DCM模块，然后通过第十层卷积层(Convolutional)进入第十一层第一预测头层(Pred_head1)，两个预测头分别在两个尺度上预测缺陷的位置以及类别，第一预测头层(Pred_head1)主要预测大目标，比如面缺陷以及比较长的线缺陷，第二预测头层(Pred_head2)主要预测小目标，比如点缺陷以及较细较短的线缺陷。最终PAD导光板缺陷检测模型(AYOLOv3-Tiny)输出标记好缺陷的导光板图像，图像上包含了缺陷的类别以及位置信息，其中类别附有置信度，位置信息由一个矩形边框将缺陷的位置标记出来。
PAD导光板缺陷检测模型(AYOLOv3-Tiny)的结构如下表1所示：
表1：PAD导光板缺陷检测模型的详细结构
在表1中，卷积层(Convolutional)均包含一次卷积操作、批归一化(BatchNormalization，BN)以及激活函数；批归一化是指将输入像素点xi先减去均值μ然后除以均方差得到归一化的值xi，然后进行尺度变换和偏移得到批归一化处理后的值yi，其中：
其中，n为批处理大小，ε为固定值，为了防止除0错误，γ和β是网络学习到的参数。
网络中对应的卷积层之后默认进行BN操作，有利于网络的正则化。
本发明中利用到的激活函数有LeakyRelu和Sigmoid，具体如下：
式中，a是区间(1，+∞)内的固定参数，默认在BN操作之后紧接一个激活函数，当要求输出范围在0到1之间时，采用Sigmoid，其他情况下均采用LeakyReLU。
S0104、训练和测试模型
在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像传到上位机进行处理。在采集的1300幅原图像基础上，截取了2104幅包含点、线、面三类缺陷的图像，每幅图像分辨率为416×416，此时样本中各种缺陷数量不平衡，其中包含绝大多数无缺陷的样本与少量有缺陷的样本，作为网络的输入；然后通过数据增强的方式来平衡样本中各种缺陷的数量，数据增强包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，最后获得包含缺陷的图像共计3680幅。
然后针对预处理后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集，具体构成如下表2所示。
表2PAD导光板缺陷数据集的组成
数据集中的缺陷样本如图2所示，其中图2(a)为点缺陷，图2(b)为线缺陷，图2(c)为面缺陷。
PAD导光板缺陷检测模型(AYOLOv3-Tiny)使用6组先验框，由K-means聚类算法计算得出，它们为别为(31，28)、(35，35)、(47，58)、(62，35)、(138，111)及(414，205)；26×26尺度的预测头即第二预测头层(Pred_head2)选取较小的(31，28)、(35，35)、(47，58)三组先验框，13×13尺度的预测头即第一预测头层(Pred_head1)选取较大的(62，35)、(138，111)、(414，205)三组先验框。
PAD导光板缺陷检测模型(AYOLOv3-Tiny)损失函数如下所示：
Loss＝ωboxLbox+ωobjLobj+ωclsLcls
其中，根据超参数进化实验,ωbox,ωobj和ωcls分别选取3.54,64.3和37.4，
Lbox指坐标预测误差，被定义为：
其中，S2指网格(grid)的数量(S×S)，B指每个网格的边界框(bounding box)数量；指在第i个网格的第j个边界框内是否有目标，若有，则为1，否则为0；GIoU(Generalized Intersection Over Union)被用来衡量坐标误差的大小，被定义为：
其中，Ac指同时包含预测和真实边界框的最小区域面积，U指预测和真实边界框的相交区域面积，IoU(Intersection Over Union)指预测和真实边界框的交并比；
Lobj指置信度误差，被定义为：
其中，λnoobj指当没有目标时的惩罚系数，这里λnoobj＝0.5；Ci指第i个网格的真实框的置信度；Ci指第i个网格的预测框的置信度；指在第i个网格的第j个边界框内是否有目标，若没有，则为1，否则为0；
Lcls指分类误差，被定义为：
其中，pi(c)指在第i个网格的真实框内包含c类缺陷的条件概率，指在第i个网格的预测框内包含c类缺陷的条件概率，置信度误差和分类误差均采用二类交叉熵(binary cross entropy)损失函数/>定义如下：
在训练阶段，设定训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制(Non-maximum suppression，NMS)方法采用merge法，数据增强采用Mosaic方法，学习率更新策略中使用的λ(x)如下：
将训练集输入PAD导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度。共计训练200轮，取精度最高的模型作为所述训练好的PAD导光板缺陷检测模型。
S02、在线缺陷检测并输出结果
从手机导光板生产线末端采用高分辨率线扫相机获得导光板图像，然后截取成一组分辨率为416×416的小图像并输入上位机中的PAD导光板缺陷检测模型(AYOLOv3-Tiny)，获得带有缺陷标记及置信度的导光板图像，将上述结果输出并存储在上位机中，供实时显示结果和事后查询分析使用。
实验1：
利用实施例1中步骤S0104建立的测试集数据，对PAD导光板缺陷检测模型(AYOLOv3-Tiny)、SSD、YOLOV3及YOLOv3-Tiny等目标检测网络的进行对比实验，结果如表3所示，训练过程中YOLOv3-Tiny和PAD导光板缺陷检测模型(AYOLOv3-Tiny)的Train_loss、Val_loss、mAP、F1随网络迭代次数的变化曲线如图6所示，部分实验测试结果如图7所示，对比测试结果如表3所示。
其中，训练损失(Train_loss)定义为在训练集上的损失函数的数值，验证损失(Val_loss)定义为在验证集上的损失函数的数值，mAP的定义如下：
式中，AP为P-R曲线和坐标轴包围的面积，用于表示每类缺陷的预测准确度，mAP为每类缺陷AP的平均值；
F1作为评估模型的综合指标，被定义为准确率和召回率的调和平均，其公式如下：
式中，指准确率,/>指召回率，TP表示被模型预测为正类的正样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本。
表3对比测试结果
从表3可以看出，本发明提出的网络具有较高的准确率，mAP和F1可以分别达到99.38％和99.61％，同时检测速度较快，可以达到144fps，证明了本发明提出的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的优异性能。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (3)

1.基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于：
在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；
所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像；
所述OSM模块：
包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块，将重叠池化后的特征图经过空间注意力模块，并与卷积模块输出进行element-wise乘法，空间注意力模块连接重叠池化层的输出和卷积模块的输出；
OSM模块的计算过程如下：
其中，F为重叠池化后的特征图，P为OSM模块的输入，/>表示对P进行大小为2，步长为1的重叠池化，B为批归一化，L为LeakyRelu激活函数，/>表示element-wise乘法，M(F)为空间注意力；
其中，和/>表示在通道维度上进行平均池化和最大池化，f3′3表示3×3的卷积；σ表示sigmoid激活函数；
OSM模块的输出为：
其中，F为重叠池化后的特征图即卷积层(conv layer)的输入，B为批归一化(BatchNormalization)，L为LeakyRelu激活函数，表示element-wise乘法；
OSM模块可以将浅层语义特征向后传播，更加有利于网络对缺陷特征的提取，提高了检测的准确率；
所述DCM模块：
包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层，并且通过shortcut直接连接DCM模块的输入和输出，膨胀卷积后执行批归一化操作和激活函数；
所述主干网络层中第7层最大池化层大小为2，步长为1，其余最大池化层大小和步长均为2；所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数；
所述具有在线生成能力的PAD导光板缺陷检测模型的获取过程为：
1)、采集在线生产的1300幅导光板图像，然后截取了2104幅包含点、线、面三类缺陷的小图像，每幅小图像分辨率为416×416，对每个小图像进行数据增强的处理，包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，获得包含缺陷的图像共计3680幅；然后针对数据增强后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集；
2)、第一预测头层选取(62，35)、(138，111)、(414，205)三组先验框；第二预测头层选取(31，28)、(35，35)、(47，58)三组先验框；建立损失函数如下：
Loss＝ωboxLbox+ωobjLobj+ωclsLcls
其中，ωbox、ωobj和ωcls分别选取3.54、64.3和37.4，Lbox为坐标预测误差，Lobj为置信度误差，Lcls为分类误差；
3)、训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制NMS方法采用merge法，数据增强采用Mosaic方法，
将训练集输入PAD导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度，共计训练200轮，取精度最高的模型作为具有在线生成能力的PAD导光板缺陷检测模型。
2.根据权利要求1所述的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于，所述坐标预测误差Lbox为：
其中，S2指网格的数量(S×S)，B指每个网格的边界框数量；指在第i个网格的第j个边界框内是否有目标，若有，则为1，否则为0；GIoU被用来衡量坐标误差的大小：
其中，Ac指同时包含预测和真实边界框的最小区域面积，U指预测和真实边界框的相交区域面积，IoU指预测和真实边界框的交并比；
所述置信度误差Lobj为：
其中，λnoobj指当没有目标时的惩罚系数，λnoobj＝0.5；Ci指第i个网格的真实框的置信度；指第i个网格的预测框的置信度；/>指在第i个网格的第j个边界框内是否有目标，若没有，则为1，否则为0；
所述分类误差Lcls为：
其中，pi(c)指在第i个网格的真实框内包含c类缺陷的条件概率，指在第i个网格的预测框内包含c类缺陷的条件概率，置信度误差和分类误差均采用二类交叉熵损失函数定义如下：
3.根据权利要求1或2所述的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，其特征在于，
建立PAD导光板缺陷检测模型
PAD导光板缺陷检测模型(AYOLOv3-Tiny)包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第一层为卷积层(Convolutional)、第二层和第三层均为最大池化层(Maxpool)+OSM模块、第四、五、六和七层均为最大池化层(Maxpool)+卷积层(Convolutional)；主干网络层的输入为416*416的图像，第五层输出的26×26特征图和第七层输出的13×13特征图作为主干网络层的两种不同尺度的特征图的输出，并作为检测层的输入，主干网络层中第七层最大池化层(Maxpool)大小为2，步长为1，其余最大池化层(Maxpool)大小和步长均为2；
检测层包括第八层至第十六层并分为第一预测通道和第二预测通道，主干网络层的第七层输出的13×13特征图经过第八层卷积层(Convolutional)后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第九层DCM模块、第十层卷积层(Convolutional)和第十一层第一预测头层(Pred_head1)，第二预测通道依次包括第十二层卷积层(Convolutional)、第十三层上采样层(Upsampling)、第十四层route层、第十五层卷积层(Convolutional)和第十六层第二预测头层(Pred_head2)；检测模型中的主干网络层和检测层中的卷积层(Convolutional)均包含一次卷积操作、批归一化BN以及激活函数；
在检测层的第二预测通道中，通过第十二层卷积层输出的13×13特征图与主干网络层中的第五层输出的26×26特征图在第十三层上采样层进行concatenate连接，然后输出26×26的特征图，再通过第十五层卷积层(Convolutional)进入第十六层第二预测头层(Pred_head2)；而在检测层的第一预测通道中，13×13特征图通过第九层DCM模块，然后通过第十层卷积层(Convolutional)进入第十一层第一预测头层(Pred_head1)，两个预测头分别在两个尺度上预测缺陷的位置以及类别，第一预测头层(Pred_head1)主要预测大目标，所述大目标为面缺陷以及比较长的线缺陷，第二预测头层(Pred_head2)主要预测小目标，所述小目标为点缺陷以及较细较短的线缺陷；最终PAD导光板缺陷检测模型(AYOLOv3-Tiny)输出标记好缺陷的导光板图像，图像上包含了缺陷的类别以及位置信息，其中类别附有置信度，位置信息由一个矩形边框将缺陷的位置标记出来。
CN202110700667.2A 2021-06-24 2021-06-24 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法 Active CN113327243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700667.2A CN113327243B (zh) 2021-06-24 2021-06-24 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700667.2A CN113327243B (zh) 2021-06-24 2021-06-24 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法

Publications (2)

Publication Number Publication Date
CN113327243A CN113327243A (zh) 2021-08-31
CN113327243B true CN113327243B (zh) 2024-01-23

Family

ID=77424459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700667.2A Active CN113327243B (zh) 2021-06-24 2021-06-24 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法

Country Status (1)

Country Link
CN (1) CN113327243B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113804693B (zh) * 2021-09-10 2024-05-28 杭州衡眺科技有限公司 手机导光板缺陷可视化检测装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN112733749A (zh) * 2021-01-14 2021-04-30 青岛科技大学 融合注意力机制的实时行人检测方法
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112907523A (zh) * 2021-02-04 2021-06-04 中山大学 一种基于轻量化网络的工业产品表面缺陷检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
US11188794B2 (en) * 2017-08-10 2021-11-30 Intel Corporation Convolutional neural network framework using reverse connections and objectness priors for object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN112733749A (zh) * 2021-01-14 2021-04-30 青岛科技大学 融合注意力机制的实时行人检测方法
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112907523A (zh) * 2021-02-04 2021-06-04 中山大学 一种基于轻量化网络的工业产品表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Research on Detecting Bearing-Cover Defects Based on Improved YOLOv3;ZEHAO ZHENG et al;IEEE access;第10304-10315页 *
基于改进Tiny-YOLO模型的群养生猪脸部姿态检测;燕红文;农业工程学报;第35卷(第18期);第169-178页 *

Also Published As

Publication number Publication date
CN113327243A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN109977808A (zh) 一种晶圆表面缺陷模式检测与分析方法
CN110660052A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN112233090B (zh) 基于改进注意力机制的薄膜瑕疵检测方法
CN112686833B (zh) 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112345539A (zh) 一种基于深度学习的铝压铸件表面缺陷检测方法
CN113421230B (zh) 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN113240626A (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN112233059A (zh) 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN114119591A (zh) 一种显示屏画面质量检测方法
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113327243B (zh) 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
CN115035082B (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
CN113222926A (zh) 基于深度支持向量数据描述模型的拉链异常检测方法
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
Li et al. Surface defect detection of vehicle light guide plates based on an improved RetinaNet
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant