CN116739991A - 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置 - Google Patents

基于深度学习的液晶显示屏表面缺陷检测方法及电子装置 Download PDF

Info

Publication number
CN116739991A
CN116739991A CN202310551638.3A CN202310551638A CN116739991A CN 116739991 A CN116739991 A CN 116739991A CN 202310551638 A CN202310551638 A CN 202310551638A CN 116739991 A CN116739991 A CN 116739991A
Authority
CN
China
Prior art keywords
module
liquid crystal
crystal display
image
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310551638.3A
Other languages
English (en)
Inventor
林盛鑫
刘华珠
莫文星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202310551638.3A priority Critical patent/CN116739991A/zh
Publication of CN116739991A publication Critical patent/CN116739991A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的液晶显示屏表面缺陷检测方法及电子装置。通过采集液晶显示屏外观图像，并对图像进行预处理；根据预处理后的图像进行子区域分割，将图像分割为预定数量的子块图；将子块图输入至改进的YOLOv5模型，进行液晶显示屏表面缺陷检测，输出检测结果；改进的YOLOv5模型中将原始YOLOv5模型的网络结构CSP1_1模块替换为C3TR模块；C3TR模块由C3卷积层、变换器Transformer模块相结合。相比于现有技术，通过构建C3TR模块并引入到YOLOv5模型的网络模型中形成改进的YOLOv5模型，保证全局信息的提取完整提高了划痕的识别精确性，实现保证检测时间的前提下提高检测精度。

Description

基于深度学习的液晶显示屏表面缺陷检测方法及电子装置
技术领域
本发明涉及图像缺陷检测技术领域，具体而言，涉及一种基于深度学习的液晶显示屏表面缺陷检测方法及电子装置。
背景技术
液晶显示屏(Liquid Crystal Display，LCD)缺陷检测的核心是在于光学成像系统的搭建和检测算法的实现，由于工业生产线的实际需求，对光学成像系统稳定性要和缺陷检测系统的检测速度要求较高。传统检测方法是基于人工检测，但是该方法却存在着诸多弊端，比如强度大、生产效率低、主观性、检测成本高等。为提高工厂生产效率和降低劳动成本，全自动LCD缺陷检测越来越受到企业重视。
LCD缺陷检测方法主要分为两类：一类是基于传统机器视觉的方法，一类是基于深度学习的方法。在基于传统机器视觉的方法中论文“杨勍,赵于前,张帆等.高精度小视野TFT-LCD图像异物缺陷自动分割[J].激光与光电子学进展,2022,59(12):314-321.”提出了一种利用局部凸包拟合算法，实现对小视野LCD图像异物缺陷的自动分割，但是存在缺陷连通方法的鲁棒性问题；“王宏硕,杨永跃.基于改进显著性模型的TFT-LCD面板缺陷检测[J].电子测量与仪器学报,2018,32(07):29-35.”利用二维DFT从频域消除周期性纹理成分的方法对LCD面板缺陷图像进行处理,解决了基于显著图模型的缺陷检测方法对缺陷大小敏感的问题；“张腾达,卢荣胜,张书真.基于二维DFT的TFT-LCD平板表面缺陷检测[J].光电工程,2016,43(03):7-15.”提出了一种基于二维离散傅里叶变换的方法能检测出包括纤维、污点和划痕的LCD缺陷。在基于深度学习的方法中“马岭,鲁越,蒋慧琴,等.基于小样本学习的LCD产品缺陷自动检测方法[J].智能系统学报,2020,15(3):560–567.”使用了深度卷积生成对抗网络和迁移学习用于LCD表面缺陷检测，但是存在在线检测实时性问题。“何俊杰,肖可,刘畅,陈松岩.基于区域神经网络的TFT-LCD电路缺陷检测方法[J].计算机与现代化,2018,(07):33-38.”通过构建多层的区域提议网络生成精确的候选区域，在根据区域特征和样本分类实现对LCD缺陷的识别及定位。“欧先锋,晏鹏程,向灿群,张国云,吴健辉,涂兵,郭龙源.基于FCN的TFT-LCD表面缺陷快速检测算法[J].成都工业学院学报,2017,20(03):6-10.”提出了基于全卷积神经网络的端到端的LCD缺陷检测算法对缺陷点与非缺陷点进行像素级分类，但是检测率以及稳定性存在不足。以上算法都不能很好的兼顾检测时间和检测精度，因此本文提出了一种基于改进的YOLO算法的LCD缺陷来满足精度和时间的要求。以上提出的方法都不能很好的兼顾检测时间和检测精度，因此本文提出了一种基于改进的YOLO算法的LCD缺陷来满足精度和时间的要求。
发明内容
有鉴于此，本发明实施例的目的在于提供适应于多场景模式进行各类参数的获取并应用于精准控制投影设备风扇转速，进行更为智能化的散热，且能够适应于不同的应用场景，智能动态的调节风扇转速。
本发明的第一方面提供了一种基于深度学习的液晶显示屏表面缺陷检测方法，所述方法包括：
采集液晶显示屏外观图像，并对所述图像进行预处理；
根据预处理后的图像进行子区域分割，将所述图像分割为预定数量的子块图；
将所述子块图输入至改进的YOLOv5模型，进行液晶显示屏表面缺陷检测，输出检测结果；所述改进的YOLOv5将原始YOLOv5模型的网络结构CSP1_1模块替换为C3TR模块；所述C3TR模块由C3卷积层、变换器Transformer模块相结合。
优选地，所述C3TR模块包括执行如下步骤：
将输入图像特征进行维度压缩后转为序列化数据；
然后将位置编码和序列化数据相加；
再将所有数据传入变换器Transformer模块中的编码器enconder中进行残差连接和多头注意力机制处理；
最后通过全连接层得到输出结果。
优选地，所述将所有数据传入变换器Transformer模块中的编码器enconder中进行残差连接和多头注意力机制处理，包括：
首先，将形式为[b，C，H，W]的特征图矩阵x输入模块之中，其中b代表Batch_size，即每次输入变换器Transformer模块的特征图数量，C为输入特征图的通道数，H和W分别表示特征图的高和宽；
特征图矩阵x输入变换器Transformer模块后，通过展平操作将H和W两个维度组成的矩阵重构为一维向量，并调整为[H×W，b，C]的形式以匹配多头注意力层的输入，接着与通过线性层处理得到通道数相同的逐像素位置编码信息相结合形成新的输入I，并输入多头注意力层对信息进行处理；处理后的信息在通过MLP层后，运用与输入特征矩阵重构时相反的操作将信息重构为二维，最终获得更加关注于缺陷信息的特征图；
其中，输入的向量I通过与每组三个可训练的共享变化矩阵Wi Q，Qi K，Wi V相乘得到对应的矩阵Qi，Ki，Vi，表达式如下：
Qi＝IQi Q，Ki＝IWi K，Vi＝IWi V
得到的代表不同特征的矩阵，经过缩放点积注意力模块处理计算自注意力的分数值。
优选地，所述经过缩放点积注意力模块处理计算自注意力的分数值，包括：
将Qi与Ki做点积，将点积的结果除以然后经过Softmax函数将结果限制在0到1之间，最后将Soft-max输出的结果与Vi矩阵相乘，得到该点的注意力分数；其中/>为防止通过Softmax操作后梯度过小的缩放因子；
在得到注意力分数后，缩放点积注意力模块将通过Concat操作把计算后得到的多个注意力头拼接起来，并运用线性变换矩阵Wo，得到多头注意力结构处理的最终结果。
优选地，所述对所述图像进行预处理，包括：对所述图像进行伽马变换。
此外，本发明的第二方面提供了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上第一方面所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
此外，本发明的第三方面提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上第一方面所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
本发明的方案中，通过采集液晶显示屏外观图像，并对所述图像进行预处理；根据预处理后的图像进行子区域分割，将所述图像分割为预定数量的子块图；将所述子块图输入至改进的YOLOv5模型，进行液晶显示屏表面缺陷检测，输出检测结果；所述改进的YOLOv5模型中将原始YOLOv5模型的网络结构CSP1_1模块替换为C3TR模块；所述C3TR模块由C3卷积层、变换器Transformer模块相结合。相比于现有技术，通过构建C3TR模块并引入到YOLOv5模型的网络模型中形成改进的YOLOv5模型，保证全局信息的提取完整提高了划痕的识别精确性，实现保证检测时间的前提下提高检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明现有技术中的各类LED缺陷的实物图；
图2是本发明实施例公开的LCD缺陷检测的总体方案示意图；
图3是本发明实施例公开的基于深度学习的液晶显示屏表面缺陷检测方法流程示意图；
图4是本发明实施例公开的图像采集系统的进行采集图像的示意图；
图5是本发明实施例公开的C3TR层具体结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本实施例中提及的“多个”是指两个或两个以上。
现有技术中，LCD常见的表面缺陷主要有黑点、划痕、污渍、崩角等几种情况，其中黑点和划痕发生在LCD表面、崩角发生在边缘、污渍发生在夹层里。各类LED缺陷的实物图如图1所示，其中(a)为黑点，(b)为划痕，(c)为污渍，(d)为崩角。
本实施例的缺陷检测方案主要包括图像采集系统和实时检测系统。其中，图像采集系统包括光源、相机、镜头、PC等组成的图像采集系统，责采集LCD外观图像，并将采集得到的图像传至后续模块进行图像分析和处理。实时检测系统主要由缺陷检测算法构成，该系统对前面采集得到的LCD外观图像进行处理，首先提取需要检测的部分，找出待检LCD上存在的缺陷，并对检测到的缺陷进行分析和判定，最后将检测结果显示在屏幕上。LCD缺陷检测的总体方案如图2所示。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
本实施例的第一方面提供了一种基于深度学习的液晶显示屏表面缺陷检测方法，如图3所示为本实施例公开的基于深度学习的液晶显示屏表面缺陷检测方法流程示意图。所述方法包括：
S301，采集液晶显示屏外观图像，并对所述图像进行预处理。
具体地，本实施例，通过图像采集系统进行采集液晶显示屏外观图像。图像采集系统的成像效果直接影响机器视觉检测系统的性能，该系统的硬件部分包括相机、镜头、光源三部分，这些硬件的选型和安装会直接影响图像的成像质量。相机的选型是根据视野大小，要求的像素精度来确定分辨率。本实施例中检测精度要求达到0.05mm/pixel，其中LCD屏幕尺寸大小是190×115(mm)所以相机像素至少为(190/0.05×115/0.05)×2＝17480000，所以至少需要2000万像素的工业相机。
在一些实施例中，图像采集系统选用A3B00MG000工业相机和CST-DTCM110-72-AL镜头，因为同轴光会产生更多的照明线，减少低对比度的表面特征，从而更清晰的反应对比度明显的几何表面特征，所以在光源上采用了CST-COS100-W型号的同轴光源。如图4所示为本实施例的图像采集系统的进行采集图像的示意图，经过实际测试，当被测物离光源54mm和相机镜头离被测物172mm时能够很好的将缺陷显示出来。
进一步，本实施例，采集完屏幕图像后，需要进行预处理操作。本实施例中的图像预处理主要在空间域上，空间域处理主要分为灰度变换和空间滤波两类。灰度变换对图像的单个像素进行操作，主要以对比度和阈值处理为目的，空间滤波涉及改善性能的操作，通过对图像中每个像素的邻域处理来锐化图像。
伽马变换是常用的灰度变换，通过非线性变换，让图像中较暗的区域的灰度值得到增强，图像中灰度值过大的区域的灰度值得到降低。经过伽马变换，图像整体的细节表现会得到增强。其变换的基本形式为如式(1)所示。
s＝crγ (1)
其中，c和γ为正常数。γ＞1时会压缩灰度级低的部分，拉伸灰度级高的部分；γ＜1时会压缩灰度级高的部分，拉伸灰度级低的部分；而γ＝1时是线性的灰度变换，此时通过线性方式改变原图像。通过伽马变换处理，得到在γ＝1.46时缺陷能很好的和背景区分开来。
S302，根据预处理后的图像进行子区域分割，将所述图像分割为预定数量的子块图。
具体地，本实施例，由于原图分辨率为太大，如果直接将原图送入模型中部分缺陷特征可能会在层层卷积中丢失。因此本实施例将原图被分割成16张子块图，即每个子块图为1368×912像素大小，防止缺陷特征丢失。
S303，将所述子块图输入至改进的YOLOv5模型，进行液晶显示屏表面缺陷检测，输出检测结果；所述改进的YOLOv5将原始YOLOv5模型的网络结构CSP1_1模块替换为C3TR模块；所述C3TR模块由C3卷积层、变换器Transformer模块相结合。
具体地，本实施例的检测模型是基于原始YOLOv5模型的改进而获得的改进的YOLOv5模型，并基于改进的YOLOv5模型进行训练得到最终优化后的改进的YOLOv5模型用于屏幕的缺陷检测。
YOLOv5是基于深度学习的单阶段目标检测模型，它将目标检测问题转化为端到端的回归问题，在检测速度上要优于基于二阶段的Faster R-CNN。
YOLOv5主要分为主干网络、颈部网络、检测网络三大部分。
第一部分，主干网络主要由CBS、CSP、SPPF组成；CBS层由Conv卷积函数、BatchNorm归一化函数和SiLU激活函数组成，CSP模块分为CSP1_X和CSP2_X，前者由两个CBS和X个Resunit组成然后拼接后再接一个CBS；后者由3X个CBS组成然后拼接后再接一个CBS，SPPF是主干网络的最后一层，它采用多个小尺寸池化核级联代替SPP模块中单个大尺寸池化核，从而在保留原有功能，即融合不同感受野的特征图，丰富特征图的表达能力的情况下，进一步提高了运行速度。
第二部分，颈部网络主要由PANet构成，它经过自顶向下的特征融合后，再进行自底向上的特征融合，这样底层的位置信息也能够传递到深层，从而增强多个尺度上的定位能力。
第三部分，检测网络包括3个输出头，卷积步长分别是8，16，32，大尺寸输出特征图负责检测小物体，小尺寸输出特征图负责检测大物体。
模型的损失函数包括三个部分：矩形框损失、分类损失、置信度损失。总损失的表达式为：
L＝Lbox+Lcls+Lcon (2)矩形框损失采用了CIoU来计算，因为当预测框与真实框没有相交时，IoU不能反映两者之间的距离，并且此时IoU损失为0，将会影响梯度回传，从而导致无法训练。矩形框损失的表达式为：
其中，IoU表示预测框与真实框的重叠程度。p表示预测框和真实框中心点之间的欧式距离，c表示预测框和真实框的最小闭包区域的对角线距离，b和bgt分别表示预测框和真实框的中心点。α是权重参数，它的表达式为：
其中，v是用来衡量宽高比的一致性，它的表达式为：
其中，w和h分别为预测框的宽和高，wgt和hgt分别为真实框的宽和高。
分类损失使用二元交叉熵函数来计算，其表达式为：
其中，y为输入样本对应的标签(正样本为1，负样本为0)，p为模型预测该输入为正样本的概率。
置信度损失的表达式为：
Lcon＝-LlogP-(1-L)log(1-P) (7)
其中，L为置信度标签矩阵，P为置信度预测矩阵。
但是由于原始的YOLOv5模型对全局信息的提取能力不足进而导致对划痕的识别不精确，因此将第8层的原先CSP1_1模块替换为C3TR模块。
本实施例的C3TR模块由C3层和Transformer模块相结合，运用基于输入特征上下文的加权平均操作，通过相似性函数动态计算相关像素对之间的注意力权重，使得注意力模块能够自适应地关注全局感受野下的不同区域，将更多的注意力聚焦于缺陷区域，捕捉更多有效的特征从而提高算法性能。
优选地，所述C3TR模块包括执行如下步骤：
将Transformer模块中的编码器enconder中进行残差连接和多头注意力机制处理；
最后通过全连接层得到输出结果。
本实施例，C3TR层具体结构如图5所示。
其中Transformer模块的具体操作方式如下：
首先将形式为[b，C，H，W]的特征图矩阵x输入模块之中。其中b代表Batch_size，即每次输入模块的特征图数量，c为输入特征图的通道数，H和W分别表示特征图的高和宽。特征图矩阵x输入模块后，首先通过展平操作将H和W两个维度组成的矩阵重构为一维向量，并调整为[H＝W，b，C]的形式以匹配多头注意力层的输入，接着与通过线性层处理得到通道数相同的逐像素位置编码信息相结合形成新的输入I，并输入多头注意力层对信息进行处理。处理后的信息在通过MLP层后，运用与输入特征矩阵重构时相反的操作将信息重构为二维，最终获得更加关注于缺陷信息的特征图。
其中，输入的向量I通过与每组三个可训练的共享变化矩阵Wi Q，Wi K，Wi V相乘得到对应的矩阵Qi，Ki，Vi，具体表达式如下：
Qi＝IWi Q，Ki＝IWi K，Vi＝IWi V (8)
得到的代表不同特征的矩阵经过缩放点积注意力模块处理，计算自注意力的分数值。计算方法为：首先，将Qi与Ki做点积，将点积的结果除以然后经过Softmax函数将结果限制在0到1之间，最后将Soft-max输出的结果与Vi矩阵相乘，得到该点的注意力分数。其中/>为防止通过Softmax操作后梯度过小的缩放因子。在得到注意力分数后，模块将通过Concat操作把计算后得到的多个注意力头拼接起来，并运用线性变换矩阵Wo得到多头注意力结构处理的最终结果。
以上操作的具体表达式如下：
Softmax函数原理是二元高斯函数，公式如下：
其中：
MultiHead(Q，K，V)＝Concat(head1,...,headi)WO (11)
在一些实施例中，还通过实验对比了上述改进的YOLOv5模型进行屏幕缺陷检测时性能的对比。
其中，实验一共采集450张图像，其中黑点和崩角各100张，划痕200张，水渍50张。将每类缺陷的图片数量按照8:2的比例分别随机划分成训练集和验证集，然后对训练集的数据进行数据增强。数据增强是一种常用的技术，通过利用保留输出标签的输入转换来增加标记训练集的大小和多样性。在计算机视觉领域，图像增强已成为深度卷积神经网络中对抗过拟合的常用隐式正则化技术，并被广泛用于提高性能
表1所示为本实施例提出的YOLOv5优化模型与Faster-RCNN，SSD基本模型及YOLOv5基准模型对LCD缺陷检测精度和速度(帧/s)进行对比。实验结果表明，经过Transformer架构和C3层融合改进的YOLOv5算法相比，虽然速度不及YOLOv5基准模型，但是准确率、召回率和F1指标都有一定的提升，检测速度也达到155帧/s，且能够满足实时处理的要求。
其中，“Faster-RCNN”参考论文“温银堂,付凯,张玉燕等.基于超分辨率改进Faster R-CNN的点阵结构内部缺陷判识方法[J].机械工程学报,2022,58(21):266-273.”；“SSD基本模型”参考论文“Jin L，Liu G D.An approach on image processing of deeplearning based on improved SSD[J].Symmetry，2021，13(3)：495-495.”。
表1LCD缺陷检测结果对比
本实施例，针对YOLOv5原模型对划痕识别不准确提出了改进算法，通过构建C3TR模块并引入到网络模型中。实验结果表明：在准确率和召回率上分别提高了4.1％和1.4％，能够满足检测精度和时间的要求。
此外，本实施例的第二方面提供了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上第一方面所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
此外，本实施例的第三方面提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上第一方面所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的液晶显示屏表面缺陷检测方法，其特征在于，所述方法包括：
采集液晶显示屏外观图像，并对所述图像进行预处理；
根据预处理后的图像进行子区域分割，将所述图像分割为预定数量的子块图；
将所述子块图输入至改进的YOLOv5模型，进行液晶显示屏表面缺陷检测，输出检测结果；所述改进的YOLOv5模型中将原始YOLOv5模型的网络结构CSP1_1模块替换为C3TR模块；所述C3TR模块由C3卷积层、变换器Transformer模块相结合。
2.根据权利要求1所述的基于深度学习的液晶显示屏表面缺陷检测方法，其特征在于，所述C3TR模块包括执行如下步骤：
将输入图像特征进行维度压缩后转为序列化数据；
然后将位置编码和序列化数据相加；
再将所有数据传入变换器Transformer模块中的编码器enconder中进行残差连接和多头注意力机制处理；
最后通过全连接层得到输出结果。
3.根据权利要求2所述的基于深度学习的液晶显示屏表面缺陷检测方法，所述将所有数据传入变换器Transformer模块中的编码器enconder中进行残差连接和多头注意力机制处理，包括：
首先，将形式为[b，C，H，W]的特征图矩阵x输入模块之中，其中b代表Batch_size，即每次输入变换器Transformer模块的特征图数量，C为输入特征图的通道数，H和W分别表示特征图的高和宽；
特征图矩阵x输入变换器Transformer模块后，通过展平操作将H和W两个维度组成的矩阵重构为一维向量，并调整为[H×W，b，C]的形式以匹配多头注意力层的输入，接着与通过线性层处理得到通道数相同的逐像素位置编码信息相结合形成新的输入I，并输入多头注意力层对信息进行处理；处理后的信息在通过MLP层后，运用与输入特征矩阵重构时相反的操作将信息重构为二维，最终获得更加关注于缺陷信息的特征图；
其中，输入的向量I通过与每组三个可训练的共享变化矩阵相乘得到对应的矩阵Qi，Ki，Vi，表达式如下：
得到的代表不同特征的矩阵，经过缩放点积注意力模块处理计算自注意力的分数值。
4.根据权利要求3所述的基于深度学习的液晶显示屏表面缺陷检测方法，所述经过缩放点积注意力模块处理计算自注意力的分数值，包括：
将Qi与Ki做点积，将点积的结果除以然后经过Softmax函数将结果限制在0到1之间，最后将Soft-max输出的结果与Vi矩阵相乘，得到该点的注意力分数；其中/>为防止通过Softmax操作后梯度过小的缩放因子；
在得到注意力分数后，缩放点积注意力模块将通过Concat操作把计算后得到的多个注意力头拼接起来，并运用线性变换矩阵Wo，得到多头注意力结构处理的最终结果。
5.根据权利要求4所述的基于深度学习的液晶显示屏表面缺陷检测方法，所述对所述图像进行预处理，包括：对所述图像进行伽马变换。
6.一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
7.一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如权利要求1-5任一项所述的基于深度学习的液晶显示屏表面缺陷检测方法步骤。
CN202310551638.3A 2023-05-16 2023-05-16 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置 Pending CN116739991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310551638.3A CN116739991A (zh) 2023-05-16 2023-05-16 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310551638.3A CN116739991A (zh) 2023-05-16 2023-05-16 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置

Publications (1)

Publication Number Publication Date
CN116739991A true CN116739991A (zh) 2023-09-12

Family

ID=87910669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310551638.3A Pending CN116739991A (zh) 2023-05-16 2023-05-16 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置

Country Status (1)

Country Link
CN (1) CN116739991A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542301A (zh) * 2024-01-10 2024-02-09 深圳清大电子科技有限公司 一种显示屏的检测方法及系统
CN117541554A (zh) * 2023-11-15 2024-02-09 江西理工大学 一种基于深度学习的表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541554A (zh) * 2023-11-15 2024-02-09 江西理工大学 一种基于深度学习的表面缺陷检测方法
CN117542301A (zh) * 2024-01-10 2024-02-09 深圳清大电子科技有限公司 一种显示屏的检测方法及系统

Similar Documents

Publication Publication Date Title
CN116739991A (zh) 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置
Jeon et al. Defect detection for corner cracks in steel billets using a wavelet reconstruction method
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN112990392A (zh) 基于改进YOLOv5算法的新材料地板缺陷目标检测系统
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114494164A (zh) 一种钢材表面缺陷检测方法、装置及计算机存储介质
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
Le et al. Novel framework for optical film defect detection and classification
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN117474863A (zh) 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN117115171B (zh) 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN116824352A (zh) 一种基于语义分割与图像异常检测的水面漂浮物识别方法
Giap et al. Wavelet subband-based tensor for smartphone physical button inspection
CN116228637A (zh) 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置
Nguyen et al. Detection of weak micro-scratches on aspherical lenses using a Gabor neural network and transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination