CN114972789A - 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质 - Google Patents

一种大尺寸导光板缺陷可视化检测方法、系统及存储介质 Download PDF

Info

Publication number
CN114972789A
CN114972789A CN202210585939.3A CN202210585939A CN114972789A CN 114972789 A CN114972789 A CN 114972789A CN 202210585939 A CN202210585939 A CN 202210585939A CN 114972789 A CN114972789 A CN 114972789A
Authority
CN
China
Prior art keywords
light guide
guide plate
size light
defect detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210585939.3A
Other languages
English (en)
Inventor
龚烨飞
张环宇
谢雨欣
肖铭
高华
李小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Novo Automation Technology Corp Ltd
Original Assignee
Wuxi Novo Automation Technology Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Novo Automation Technology Corp Ltd filed Critical Wuxi Novo Automation Technology Corp Ltd
Priority to CN202210585939.3A priority Critical patent/CN114972789A/zh
Publication of CN114972789A publication Critical patent/CN114972789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例公开了一种大尺寸导光板缺陷可视化检测方法、系统及存储介质，该方法包括如下步骤：在导光板生产线末端，采用线扫相机采集获得导光板图像；针对所述导光板图像，截取设定分辨率大小的小图像，并输出给上位机；所述上位机利用具有在线生成能力的大尺寸导光板缺陷检测模型对收到的图形进行处理，输出带有缺陷标记的导光板图像。本发明对YOLOv5的网络结构进行相应的调整和改进获得AYOLOv5s的网络结构，提高了对导光板细微缺陷的检测精度。本发明可以同时检测导光板缺陷的位置以及类别，通用性强，稳定性强，速度快，而且准确率高，适宜推广应用。

Description

一种大尺寸导光板缺陷可视化检测方法、系统及存储介质
技术领域
本发明实施例涉及导光板缺陷检测技术领域，尤其涉及一种大尺寸导光板缺陷可视化检测方法、系统及介质。
背景技术
导光板(LightGuide Plate，LGP)具有高反射、导光均匀及不吸光等特点，其品质决定着屏幕的成像质量。目前，国内导光板缺陷检测主要依靠人工操作去完成，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。随着企业对大尺寸导光板质量检测的精度和效率要求越来越高，现有导光板缺陷检测方案已无法满足企业要求，该问题亟待解决。
发明内容
为解决相关技术问题，本发明提供一种大尺寸导光板缺陷可视化检测方法、系统及介质，来解决以上背景技术部分提到的问题。
为实现上述目的，本发明实施例采用如下技术方案：
第一方面，本发明实施例提供了一种大尺寸导光板缺陷可视化检测方法，该方法包括如下步骤：
S101.在导光板生产线末端，采用线扫相机采集获得导光板图像；
S102.针对所述导光板图像，截取设定分辨率大小的小图像，并输出给上位机；
S103.所述上位机利用具有在线生成能力的大尺寸导光板缺陷检测模型对收到的图形进行处理，输出带有缺陷标记的导光板图像。
进一步的，所述步骤S103中具有在线生成能力的大尺寸导光板缺陷检测模型在主干网络部分和特征融合部分集成Transformer和注意力机制Coordinate Attention(CA)，并选择Meta-ACON激活函数。
进一步的，所述具有在线生成能力的大尺寸导光板缺陷检测模型在主干网络部分将Transformer加到YOLOv5s的主干网络的最后一个C3模块，使用Transformer encoder替换原YOLOv5中C3模块中的Bottleneck，组成C3TR模块。
进一步的，所述具有在线生成能力的大尺寸导光板缺陷检测模型中CA注意力模块分别在垂直和水平两个方向通过平均池化的方式得到两个一维向量，在空间维度上Concat连接和1×1卷积来压缩通道，然后通过BN和Non-linear编码水平和垂直两个方向的空间信息，接着进行分裂，再各自通过1×1卷积得到和输入特征图一样的通道数，最后归一化加权。
进一步的，所述具有在线生成能力的大尺寸导光板缺陷检测模型中Meta-ACON激活函数动态的学习激活函数的线性/非线性，控制网络每一层的非线性程度。
进一步的，所述具有在线生成能力的大尺寸导光板缺陷检测模型的获取过程如下：
S1031.采集在线生产的导光板图像；
S1032.截取包含点和线两类缺陷的小图像，每幅小图像分辨率为预设分辨率；
S1033.对每个小图像进行数据增强的处理；
S1034.针对步骤S1033中数据增强后的图像中的每个缺陷类型，将预处理后的图像划分训练集、验证集和测试集；
S1035.将训练集输入导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的大尺寸导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度，取精度最高的模型作为具有在线生成能力的大尺寸导光板缺陷检测模型。
进一步的，所述步骤S1034中训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，数据增强采用Mosaic方法。
进一步的，所述步骤S1035中mAP的计算如下：
Figure BDA0003665940460000031
Figure BDA0003665940460000032
其中，AP为P-R曲线和坐标轴包围的面积，用于表示每类缺陷的预测准确度，mAP为每类缺陷AP的平均值，N表示检测的类别总数。
第二方面，本发明实施例还提供了一种大尺寸导光板缺陷可视化检测系统，该系统采用上述大尺寸导光板缺陷可视化检测方法实现大尺寸导光板的缺陷检测。
第三方面，本发明实施例进一步提供了一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述大尺寸导光板缺陷可视化检测方法。
与现有技术相比，本发明实施例的技术方案对YOLOv5的网络结构进行相应的调整和改进获得AYOLOv5s的网络结构，提高了对导光板细微缺陷的检测精度，显著提高了导光板在点和线缺陷检测的准确率。本发明实施例的技术方案在主干网络使用C3TR模块能够更好的铺获对小目标有利的信息，从而更方便后期小目标特征提取和检测；在特征融合网络中插入CA注意力模块，使用CA注意力模块可以更加注意线缺陷的特征信息，进而提高导光板线缺陷检测的准确率。本发明实施例的技术方案可以同时检测导光板缺陷的位置以及类别，通用性强，稳定性强，速度快，而且准确率高，可以实现在12s/pcs内对尺寸为17英寸的导光板中的亮点、划伤、异物、磕碰伤、脏污等缺陷的检测，适宜推广应用。
附图说明
为了更清楚地说明及理解本发明实施例中的技术方案，下面将对本发明背景技术、实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1为本发明实施例提供的大尺寸导光板缺陷可视化检测方法流程图；
图2为本发明实施例提供的大尺寸导光板缺陷检测模型结构示意图；
图3为本发明实施例提供的C3模块结构示意图；
图4为本发明实施例一提供的C3TR模块结构示意图；
图5为本发明实施例提供的Transformer encoder结构示意图；
图6为本发明实施例提供的CA注意力模块结构示意图；
图7为本发明实施例提供的YOLOv5与AYOLOv5s的训练曲线对比图；
图8为本发明实施例提供的应用各类算法的导光板缺陷检测结构对比图；
图9为本发明实施例提的导光板图像裁切示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，图1为本发明实施例提供的大尺寸导光板缺陷可视化检测方法流程图。
本实施例中大尺寸导光板缺陷可视化检测方法包括如下步骤：
S101.在导光板生产线末端，采用线扫相机采集获得导光板图像；
示例性的，在本实施例中由于工业面阵相机难以满足检测要求，在本实施例中选用高分辨率的线扫相机即线阵相机，优选16K线阵相机获取高质量的图像。
S102.针对所述导光板图像，截取设定分辨率大小的小图像，并输出给上位机；
示例性的，在本实施例中小图像的分辨率优选但不限于640×640。
S103.所述上位机利用具有在线生成能力的大尺寸导光板缺陷检测模型对收到的图形进行处理，输出带有缺陷标记及置信度的导光板图像。
示例性的，在本实施例中所述具有在线生成能力的大尺寸导光板缺陷检测模型在主干网络部分和特征融合部分集成Transformer和注意力机制Coordinate Attention(CA)，并选择Meta-ACON激活函数。
示例性的，在本实施例中对YOLOv5的网络结构进行相应的调整和改进获得AYOLOv5s的网络结构，如图2所示，图2为本发明实施例提供的大尺寸导光板缺陷检测模型结构示意图，由Input、Backbone、Neck、Head组成，将Backbone部分倒数第二层的C3模块替换为C3TR模块并将Coordinate Attention注意力机制集成到Neck部分，在激活函数方面选择了Meta-ACON，在损失函数方面选择CIoU作为目标框回归的损失函数，使得网络训练速度的速度提高的同时，特征提取能力也得到了进一步的增强，从而提高了对细微缺陷的检测能力。
具体的，YOLOv5的主干部分采用了Focus下采样、改进CSP结构、SPPF池化金字塔结构提取图片的特征信息。YOLOv5所使用的主干特征提取网络为CSPDarknet，都由残差卷积构成，残差网络能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。YOLOv5使用的C3模块结构是将原来的残差块的堆叠进行了一个拆分，如图3所示由两个分支组成，一个分支使用了多个Bottleneck堆叠和1个标准卷积层，另一支仅经过一个基本卷积模块，最后将两支进行concat操作。即主干部分继续进行原来的残差块的堆叠；另一部分则像一个残差边一样，经过少量处理直接连接到最后。但是，对于小目标来说，一般在卷积的深层才能体现特征，因此，在本实施例中所述具有在线生成能力的大尺寸导光板缺陷检测模型在主干网络部分将Transformer加到YOLOv5s的主干网络的最后一个C3模块，利用Transformer的特性，将注意力放在更好铺获对小目标有利的信息上，从而更方便后期特征提取和检测。在本实施例中，使用Transformer encoder替换原YOLOv5中C3模块中的Bottleneck，组成C3TR模块。如图4所示，图4为本发明实施例提供的C3模块结构示意图。如图5所示，图5为本发明实施例提供的Transformer encoder结构示意图，用Transformer encoder块替代了YOLOv5中的一些卷积块和CSP bottlenck blocks，每个Transformer encoder block包含2个子层。第1子层为multi-head attention layer，第2子层MLP为全连接层。每个子层之间使用残差连接。Transformer encoder block增加了捕获不同局部信息的能力。它还可以利用自注意力机制来挖掘特征表征潜能。与CSPDarknet53中的bottleneck blocks相比，Transformerencoder block可以捕获全局信息和丰富的上下文信息。
YOLOv5的特征融合主要采用FPN+PAN的特征金字塔结构，实现了不同尺寸目标特征信息的传递，解决了多尺度问题，但是，在使用卷积神经网络去处理导光板图像的时候，更期望卷积神经网络去注意存在缺陷的地方，而不是关注整个导光板图像背景，然而，这种期望无法通过手动调节来实现，因此，如何让卷积神经网络去自适应的注意导光板图像中的缺陷位置就成为本发明要解决的问题。注意力机制是实现思考的一种方式。CoordinateAttention(CA)可以看作SE、CBAM的进化版本，如图6所示，图6为本发明实施例提供的CA注意力模块结构示意图。示例性的，在本实施例中所述具有在线生成能力的大尺寸导光板缺陷检测模型中CA注意力模块分别在垂直和水平两个方向通过平均池化的方式得到两个一维向量，在空间维度上Concat连接和1×1卷积来压缩通道，然后通过BN和Non-linear编码水平和垂直两个方向的空间信息，接着进行分裂，再各自通过1×1卷积得到和输入特征图一样的通道数，最后归一化加权。值得一提的是，所述CA注意力模块是个即插即用的模块，可以集成到任何CNN架构中，并且不会对网络增加很大负担。本实施例在特征融合网络中插入CA注意力模块，使用CA可以更加注意线缺陷的特征信息，提高了导光板线缺陷的检测准确率。
激活函数ACON是Ningning Ma等人提出的一个简单、有效、通用的激活函数，它可以学习并决定是否要激活神经元，然后又进一步提出了Meta-ACON，它明确地学习优化非线性(激活)和线性(非激活)之间的参数切换。Swish函数是ReLU函数的平滑近似(Smothmaximum)，并基于这个发现，进一步分析ReLU的一般形式Maxout系列激活函数，利用Smothmaximum将Maxout系列扩展得到简单且有效的ACON系列激活函数：ACON-A、ACON-B、ACON-C。下表为Maxout和ACON系列激活函数的总结。把ηa(x)，ηb(x)带入不同的值，就可以得到下表中的不同形式。
Figure BDA0003665940460000071
ACON激活函数通过β来控制是否激活神经元(β为0则不激活)。Meta-ACON设计了自适应函数来计算平滑因子。提出一个G(x)模块由输入特征图x(C×H×W)来动态的学习β，以达到自适应控制函数线性/非线性能力，这种定制的激活行为有助于提高泛化和传递性能。自适应函数包含了layer-wise，channel-wise，pixel-wise这三种空间，分别对应的是层，通道，像素。Meta-ACON选择了通道空间，首先分别对H，W维度求均值，然后通过两个卷积层，使得每一个通道所有像素共享一个权重，公式如下：
Figure BDA0003665940460000072
式中每个通道共享参数β，得到的β大小为C×1×1，其中W是1×1卷积的参数，有W1(C，C/r)，W2(C，C/r)，r为缩放参数，设置为16。x首先在H和W维度上求均值，然后经过两层1x1卷积，最后由sigmoid激活函数得到一个(0,1)的值，用于控制是否激活。ACON可以很自然地应用于对象检测和语义分割，这表明ACON在各种任务中是一种有效的替代方案。因此本实施例中将Meta-ACON激活函数应用到大尺寸导光板缺陷检测模型之中。
示例性的，在本实施例中所述具有在线生成能力的大尺寸导光板缺陷检测模型中将Swish激活函数替换为Meta-ACON激活函数，Meta-ACON激活函数动态的学习激活函数的线性/非线性，控制网络每一层的非线性程度。在本实施例中通过简单地改变激活函数，展示了ACON在小型模型和高度优化的大型模型上的有效性。在本实施例中将Meta-ACON激活函数应用到改进后的具有在线生成能力的大尺寸导光板缺陷检测模型中。ReLU激活函数可以看作一个MAX函数，其公式如下：
ReLU(x)＝MAX(0,x)
而MAX函数的平滑，可微分变体称之为Smooth Maximum，其公式如下：
Figure BDA0003665940460000081
其中β是一个平滑因子，当β趋近于无穷大时，可微分变体为标准的MAX函数，β为0时，可微分变体就是一个算术平均的操作。若只考虑Smooth Maximum只有两个输入量的情况，有以下公式：
Figure BDA0003665940460000082
Figure BDA0003665940460000083
ηa(x)·σ[β(ηa(x)-ηb(x))]+ηb(x)·σ[β(ηb(x)-ηa(x))]
(ηa(x)-ηb(x))·σ[β(ηa(x)-ηb(x))]+ηb(x)
其中σ表示sigmoid函数。
ACON激活函数可以通过平滑因子来控制是否激活神经元(为0则不激活)。因此，不同于传统的激活如ReLU，ACON可以让每个神经元自适应地选择激活与否。Meta-ACON设计了自适应函数来计算平滑因子。自适应函数包含了layer-wise，channel-wise，pixel-wise这三种空间，分别对应的是层，通道，像素。Meta-ACON选择了通道空间，首先分别对H,W维度求均值，然后通过两个卷积层，使得每一个通道所有像素共享一个权重，公式如下：
Figure BDA0003665940460000084
由此可知，Meta-ACON激活函数能够动态的学习(自适应)激活函数的线性/非线性，控制网络每一层的非线性程度，从而显著提高表现。
Loss实际上是网络的预测结果和网络的真实结果的对比，是衡量模型性能的重要指标。YOLOv5模型损失函数包括定位损失函数Lbox、置信度损失函数Lconf、分类损失函数Lcls，因此损失函数可表示为：
Loss＝λboxLbox+λconfLconf+λclsLcls
式中λbox、λconf、λcls分别是定位损失权重,置信度损失权重和分类损失权重。
在本实施例中择CIoU_Loss作为BoundingBox回归的损失函数，其计算式为：
Figure BDA0003665940460000091
Figure BDA0003665940460000092
Figure BDA0003665940460000093
式中，α是一个平衡参数，不参与梯度计算；υ是用来衡量长宽比一致性的参数。CIoU_Loss综合考虑了真实框与预测框之间的重叠率、中心点距离、长宽比，使得网络有更快更好的收敛效果。
Figure BDA0003665940460000094
Figure BDA0003665940460000095
式中，Ci表示预测框的置信度得分，
Figure BDA0003665940460000096
表示真实框的置信度得分；
Figure BDA0003665940460000097
和
Figure BDA0003665940460000098
分别代表第i个单元的j个锚点；c是当前检测到的目标类别，classes是所有目标的类别；
Figure BDA0003665940460000099
和Pi(c)分别是预测类别和真实类别。
示例性的，在本实施例中所述具有在线生成能力的大尺寸导光板缺陷检测模型训练获取过程如下：
S1031.采集在线生产的导光板图像；
S1032.截取包含点和线两类缺陷的小图像；其中，在本实施例中截取了但不限于1502幅包含点和线两类缺陷的小图像，小图像的分辨率优选但不限于640×640。
S1033.对每个小图像进行数据增强的处理；其中，在本实施例中对每个小图像进行数据增强的处理包括但不限于对原图像进行50％概率的镜像，以及对亮度进行120％-150％的增强，获得包含缺陷的图像共计4502幅；
S1034.针对步骤S1033中数据增强后的图像中的每个缺陷类型，将预处理后的图像划分训练集、验证集和测试集。其中，在本实施例中按照8：1：1的比例将预处理后的图像划分训练集、验证集和测试集；训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，数据增强采用Mosaic方法。
S1035.将训练集输入导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的大尺寸导光板缺陷检测模型进行检测，以平均精度均值(mAP)作为当前模型的检测精度，例如训练300轮，然后取精度最高的模型作为具有在线生成能力的大尺寸导光板缺陷检测模型。其中，所述mAP与精确率(precision)和召回率(recall)有关，精确率是指预测数据集中预测正确的正样本个数除以被模型预测为正样本的个数；召回率是指预测数据集中预测正确的正样本个数除以实际为正样本的个数。mAP计算中的AP即P-R曲线下方面积，具体计算基于如下公式：
Figure BDA0003665940460000101
Figure BDA0003665940460000102
Figure BDA0003665940460000103
Figure BDA0003665940460000104
式中，AP值是指P-R曲线面积；mAP的值是通过所有类别的AP求均值得到；N表示检测的类别总数，本实施例中N＝2，mAP的值越大，表示算法检测效果越好，识别精度越高；TP、FP和FN分别表示正确检测框、误检框和漏检框的数量。为了评估AYOLOv5s网络的准确性和实时性本实施例中在自建数据集LGPDD上进行了大量的实验，图7为YOLOv5s和AYOLOv5s在训练过程中box_loss、cls_loss、mAP@0.5、mAP@0.5:0.95的曲线图。mAP@0.5代表在IOU阈值为0.5时的平均AP，mAP@0.5:0.95代表在IOU阈值为从0.5到0.95，步长为0.05时各个mAP的平均值。mAP@0.5主要用于体现模型的识别能力，mAP@0.5:0.95由于要求的IOU阈值更高，主要用于体现定位效果以及边界回归能力，通过观察训练过程中不同模型的曲线可以看出本实施例中改进的YOLOv5s网络(AYOLOv5s)收敛效果优于原版本YOLOv5s模型，说明AYOLOv5s面对导光板缺陷小目标的特征具有更好的学习能力。
为了验证本发明的优越性，在本实施例中利用建立的测试集数据，对上述大尺寸导光板缺陷检测模型(图中AYOLOv5s)、SSD、YOLOV3及YOLOv4等目标检测网络的进行对比实验，部分实验测试结果如图8所示，对比测试结果如下表所示，随着YOLO系列网络的发展，YOLOv5s相较于其他经典缺陷检测算法有着更好的性能。但是，YOLOv5s的检测精度并不满足导光板生产的要求，本实施例对YOLOv5的网络结构进行相应的调整和改进获得AYOLOv5s的网络结构，AYOLOv5s在导光板点和线缺陷检测的准确性上有显著提高。与YOLOv5s相比，AYOLOv5s对缺陷的平均检测精度提高了1.7％。
Figure BDA0003665940460000111
本发明实施例提出的大尺寸导光板缺陷可视化检测方法对YOLOv5的网络结构进行相应的调整和改进获得AYOLOv5s的网络结构，提高了对导光板细微缺陷的检测精度，显著提高了导光板在点和线缺陷检测的准确率。本发明实施例提出的大尺寸导光板缺陷可视化检测方法在主干网络使用C3TR模块能够更好的铺获对小目标有利的信息，从而更方便后期小目标特征提取和检测；在特征融合网络中插入CA注意力模块，使用CA注意力模块可以更加注意线缺陷的特征信息，进而提高导光板线缺陷检测的准确率。本发明实施例提出的大尺寸导光板缺陷可视化检测方法可以同时检测导光板缺陷的位置以及类别，通用性强，稳定性强，速度快，而且准确率高，可以实现在12s/pcs内对尺寸为17英寸的导光板中的亮点、划伤、异物、磕碰伤、脏污等缺陷的检测，适宜推广应用。
实施例二
本实施例提出一种大尺寸导光板缺陷可视化检测方法，示例性，在本实施例中导光板的尺寸一般为但不限于12-17英寸，为了适应不同尺寸导光板的拍摄，本实施例沿导光板长边采集但不限于25000帧图像。导光板的缺陷检测要求较高，本实施例中优选但不限于16k线阵相机获取高质量的待检测导光板图像。采集后的导光板图像分辨率为25000×16384≈4.1亿个像素，而最小的缺陷仅为7个像素大小，缺陷尺寸和图像背景差距悬殊，无法直接进行检测，因此考虑到本发明实施的可实现性，可以采用逐行扫描的方式进行检测。具体的，本实施例中首先，将获得的完整导光板图像进行分图，裁剪成数个640×640的小图后再进行滑窗检测。如图9所示采集的导光板图像可以看出，在本实施例中只需裁剪真正的导光板区域即可，即18064×13548个像素的感兴趣区域。值得注意的是，由于导光板进料时非常稳定，所以提取感兴趣区域时不需复杂操作，在本实施例中采用方式是根据相应尺寸提前设置好区域坐标。
示例性的，在本实施例中按照图9的方式进行裁剪，为了消除边界缺陷的漏检，设置的大小为10个像素的重叠区域overlap，步长就为630个像素点。如图9所示，从左上角开始切图,切出来图像的左上角记为x，y，那么容易想到y依次为：0，630，1260，…，17010，需要注意的是接下来并非是17640，因为17640+640>18064,所以这里要对切图的overlap做一个调整,最后一步的y＝18064-640，基于此就可完成将所有感兴趣区域切成小图，将裁剪后的小图通过Mosaic数据增强后输入大尺寸导光板缺陷检测模型，为下一步导光板的缺陷检测与识别做准备。利用实施例一提出的大尺寸导光板缺陷可视化检测方法，截取成一组分辨率为640×640的小图像并输入上位机中的大尺寸导光板缺陷检测模型，获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中，供实时显示结果和事后查询分析使用。
与现有技术相比，本发明实施例提出的大尺寸导光板缺陷可视化检测方法提高了对导光板细微缺陷的检测精度，可以同时检测导光板缺陷的位置以及类别，通用性强，稳定性强，速度快，而且准确率高，可以实现在12s/pcs内对尺寸为17英寸的导光板中的亮点、划伤、异物、磕碰伤、脏污等缺陷的检测，适宜推广应用。
实施例三
本实施例提供一种大尺寸导光板缺陷可视化检测系统，该系统采用上述实施例一、实施例二任一所述的大尺寸导光板缺陷可视化检测方法实现大尺寸导光板的缺陷检测。
与现有技术相比，以手机导光板缺陷检测为例，本发明实施例提出的大尺寸导光板缺陷可视化检测系统提高了对导光板细微缺陷的检测精度，显著提高了手机导光板在点和线缺陷检测的准确率。本发明实施例提出的大尺寸导光板缺陷可视化检测系统可以同时检测导光板缺陷的位置以及类别，通用性强，稳定性强，速度快，而且准确率高，可以实现在12s/pcs内对尺寸为17英寸的导光板中的亮点、划伤、异物、磕碰伤、脏污等缺陷的检测。
实施例四
本实施例提供一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述实施例一、实施例二任一所述的大尺寸导光板缺陷可视化检测方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种大尺寸导光板缺陷可视化检测方法，其特征在于，该方法包括如下步骤：
S101.在导光板生产线末端，采用线扫相机采集获得导光板图像；
S102.针对所述导光板图像，截取设定分辨率大小的小图像，并输出给上位机；
S103.所述上位机利用具有在线生成能力的大尺寸导光板缺陷检测模型对收到的图形进行处理，输出带有缺陷标记的导光板图像。
2.根据权利要求1所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述步骤S103中具有在线生成能力的大尺寸导光板缺陷检测模型在主干网络部分和特征融合部分集成Transformer和注意力机制CA，并选择Meta-ACON激活函数。
3.根据权利要求2所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述大尺寸导光板缺陷检测模型在主干网络部分将Transformer加到YOLOv5s的主干网络的最后一个C3模块，使用Transformer encoder替换原YOLOv5中C3模块中的Bottleneck，组成C3TR模块。
4.根据权利要求2所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述大尺寸导光板缺陷检测模型中CA注意力模块分别在垂直和水平两个方向通过平均池化的方式得到两个一维向量，在空间维度上Concat连接和1×1卷积来压缩通道，然后通过BN和Non-linear编码水平和垂直两个方向的空间信息，接着进行分裂，再各自通过1×1卷积得到和输入特征图一样的通道数，最后归一化加权。
5.根据权利要求2至4之一所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述具有在线生成能力的大尺寸导光板缺陷检测模型中Meta-ACON激活函数动态的学习激活函数的线性/非线性，控制网络每一层的非线性程度。
6.根据权利要求5所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述具有在线生成能力的大尺寸导光板缺陷检测模型的获取过程如下：
S1031.采集在线生产的导光板图像；
S1032.截取包含点和线两类缺陷的小图像，每幅小图像分辨率为预设分辨率；
S1033.对每个小图像进行数据增强的处理；
S1034.针对步骤S1033中数据增强后的图像中的每个缺陷类型，将预处理后的图像划分训练集、验证集和测试集；
S1035.将训练集输入导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的大尺寸导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度，取精度最高的模型作为具有在线生成能力的大尺寸导光板缺陷检测模型。
7.根据权利要6所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述步骤S1034中训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，数据增强采用Mosaic方法。
8.根据权利要求6所述的大尺寸导光板缺陷可视化检测方法，其特征在于，所述步骤S1035中mAP的计算如下：
Figure FDA0003665940450000021
Figure FDA0003665940450000022
其中，AP为P-R曲线和坐标轴包围的面积，用于表示每类缺陷的预测准确度，mAP为每类缺陷AP的平均值，N表示检测的类别总数。
9.一种大尺寸导光板缺陷可视化检测系统，其特征在于，该系统采用权利要求1所述的大尺寸导光板缺陷可视化检测方法实现大尺寸导光板的缺陷检测。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1所述的大尺寸导光板缺陷可视化检测方法。
CN202210585939.3A 2022-05-27 2022-05-27 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质 Pending CN114972789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210585939.3A CN114972789A (zh) 2022-05-27 2022-05-27 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585939.3A CN114972789A (zh) 2022-05-27 2022-05-27 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114972789A true CN114972789A (zh) 2022-08-30

Family

ID=82955399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585939.3A Pending CN114972789A (zh) 2022-05-27 2022-05-27 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114972789A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115144406A (zh) * 2022-09-07 2022-10-04 广州珐玛珈智能设备股份有限公司 一种全方位在线工业视觉检测及筛选的装置及方法
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115144406A (zh) * 2022-09-07 2022-10-04 广州珐玛珈智能设备股份有限公司 一种全方位在线工业视觉检测及筛选的装置及方法
CN115144406B (zh) * 2022-09-07 2022-11-11 广州珐玛珈智能设备股份有限公司 一种全方位在线工业视觉检测及筛选的装置及方法
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及系统

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113537106B (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN114972789A (zh) 一种大尺寸导光板缺陷可视化检测方法、系统及存储介质
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN111553929A (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CA3098286A1 (en) Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object
CN111814741A (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112069874A (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN113592911B (zh) 表观增强深度目标跟踪方法
CN113205507B (zh) 一种视觉问答方法、系统及服务器
CN112330613B (zh) 一种细胞病理数字图像质量的评价方法及系统
CN117765373B (zh) 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统
CN115222697A (zh) 基于机器视觉和深度学习的集装箱残损检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115131640A (zh) 一种利用光照引导和注意力机制的目标检测方法和系统
CN116051560B (zh) 基于胚胎多维度信息融合的胚胎动力学智能预测系统
CN112861855A (zh) 基于对抗网络模型的群养猪实例分割方法
CN116091823A (zh) 一种基于快速分组残差模块的单特征无锚框目标检测方法
CN113609904B (zh) 一种基于动态全局信息建模和孪生网络的单目标跟踪算法
CN117237611A (zh) 一种基于改进YOLOv7的钢材表面缺陷检测方法
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN113705672B (zh) 图像目标检测的阈值选取方法、系统、装置及存储介质
CN115079393A (zh) 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法
CN113763524A (zh) 基于物理光学模型和神经网络的双流散景渲染方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination