CN116958046A - 一种基于深度学习的屏幕Mura检测方法及设备 - Google Patents

一种基于深度学习的屏幕Mura检测方法及设备 Download PDF

Info

Publication number
CN116958046A
CN116958046A CN202310679958.7A CN202310679958A CN116958046A CN 116958046 A CN116958046 A CN 116958046A CN 202310679958 A CN202310679958 A CN 202310679958A CN 116958046 A CN116958046 A CN 116958046A
Authority
CN
China
Prior art keywords
feature map
convolution
fusion
mura
weighted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310679958.7A
Other languages
English (en)
Inventor
彭琪
吴之菁
包军林
刘伟峰
施宇根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310679958.7A priority Critical patent/CN116958046A/zh
Publication of CN116958046A publication Critical patent/CN116958046A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的屏幕Mura检测方法及设备，该方法包括：获取显示屏面板图像；将显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图；预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的；将多个不同尺度的特征图输入预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图；将注意力加权后的特征图输入预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图；将多个不同尺度的融合特征图输入预训练的屏幕Mura检测模型的多层检测头，得到显示屏面板图像中包含的Mura缺陷的种类和位置信息。本发明可提高检测Mura缺陷的速度和准确度。

Description

一种基于深度学习的屏幕Mura检测方法及设备
技术领域
本发明属于工业缺陷检测技术领域，具体涉及一种基于深度学习的屏幕Mura检测方法及设备。
背景技术
随着科学技术的发展与进步，显示屏已经广泛存在于人们的生活之中。但是由于工业生产时的工艺问题，显示屏在制造过程中存在着各种各样的缺陷，如点缺陷，线缺陷，Mura等缺陷(Mura一词来源于日本单词，原意为斑点，现在特指显示屏上的瑕疵，在显示屏以恒定亮度显示时，显示区域的不均匀)，对显示屏的发光均匀性，显示屏良品率，屏幕寿命等产生影响。
Mura缺陷是一种严重影响显示屏画面品质的不良缺陷，主要表现为屏幕区域内亮度显示不均匀。Mura缺陷种类众多、形状多样，并且对比度低、位置不固定、边缘轮廓不清晰，相比于显示屏的其他光学类缺陷，Mura缺陷较难检测。传统的人眼检测方法主要依靠检测者的经验和主观感受来检测Mura缺陷及评定其等级，这就导致了不同的检测者对同一Mura缺陷的判定结果可能不一致。
发明内容
为了解决相关技术中存在的上述问题，本发明提供了一种基于深度学习的屏幕Mura检测方法及设备。本发明要解决的技术问题通过以下技术方案实现：
本发明提供一种基于深度学习的屏幕Mura检测方法，包括：
获取待检测的显示屏面板图像；
将所述显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图；所述预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的；
将所述多个不同尺度的特征图输入所述预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图；
将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图；
将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息。
在一些实施例中，所述多个不同尺度的融合特征图包括：第一尺度融合特征图、第二尺度融合特征图、第三尺度融合特征图和第四尺度融合特征图；所述注意力加权后的特征图包括：第一加权特征图、第二加权特征图、第三加权特征图和第四加权特征图；所述将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图，包括：
对所述第一加权特征图、所述第二加权特征图、所述第三加权特征图和所述第四加权特征图进行残差、卷积、上采样和融合处理，得到第一卷积特征图、第二卷积特征图、第三卷积特征图和第一融合特征图；
将所述第一融合特征图进行残差处理，得到所述第一尺度融合特征图；
根据所述第一尺度融合特征图和所述第三卷积特征图，确定所述第二尺度融合特征图；
根据所述第二尺度融合特征图和所述第二卷积特征图，确定所述第三尺度融合特征图；
根据所述第三尺度融合特征图和所述第一卷积特征图，确定所述第四尺度融合特征图。
在一些实施例中，所述将所述第一融合特征图进行残差处理，得到所述第一尺度融合特征图，包括：
将所述第一融合特征图进行卷积处理后，得到第一子卷积特征图；
对所述第一子卷积特征图进行卷积处理后，得到第二子卷积特征图；
将所述第二子卷积特征图与所述第一融合特征图进行拼接处理，得到所述第一尺度融合特征图。
在一些实施例中，所述根据所述第一尺度融合特征图和所述第三卷积特征图，确定所述第二尺度融合特征图，包括：
将所述第一尺度融合特征图经过卷积处理后与所述第三卷积特征图进行融合处理，得到第二融合特征图；
对所述第二融合特征图进行所述残差处理，得到所述第二尺度融合特征图。
在一些实施例中，所述对所述第一加权特征图、所述第二加权特征图、所述第三加权特征图和所述第四加权特征图进行残差、卷积、上采样和融合处理，得到第一卷积特征图、第二卷积特征图、第三卷积特征图和第一融合特征图，包括：
对所述第一加权特征图依次进行残差和卷积处理，得到所述第一卷积特征图；
对所述第一卷积特征图进行上采样处理后与所述第二加权特征图进行融合处理，得到第一子融合特征图；
对所述第一子融合特征图依次进行残差和卷积处理，得到所述第二卷积特征图；
将所述第二卷积特征图进行上采样处理后与所述第三加权特征图进行融合处理，得到第二子融合特征图；
对所述第二子融合特征图依次进行残差和卷积处理，得到所述第三卷积特征图；
将所述第三卷积特征图进行上采样处理后与所述第四加权特征图进行融合处理，得到所述第一融合特征图。
在一些实施例中，所述多层检测头包括：与所述多个不同尺度的融合特征图一一对应的多组卷积层；所述将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息，包括：
将所述多个不同尺度的融合特征图输入一一对应的所述多组卷积层中，对应得到多组检测结果；
对所述多组检测结果进行非极大值抑制处理，得到一组最终检测结果；所述一组最终检测结果包括：所述显示屏面板图像中包含的Mura缺陷的种类和位置信息。
在一些实施例中，所述目标损失函数包括：分类损失函数、所述EIOU损失函数和置信度损失函数的权重之和；所述分类损失函数对应第一权重系数，所述EIOU损失函数对应第二权重系数，所述置信度损失函数对应第三权重系数。
在一些实施例中，所述训练集包括：包含多种Mura缺陷的多个样本图像，所述多个样本图像属于不同的灰阶图像，每张原始样本图像带有位置标签和类别标签，其中，Mura缺陷位于屏幕边缘的至少一个样本图像是对Mura缺陷位于屏幕边缘的原始样本图像进行镜像翻转后，将镜像翻转得到的图像与所述原始样本图像进行拼接得到的。
在一些实施例中，在所述将所述显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图之前，所述方法还包括：
获取多个原始样本图像；所述多个原始样本图像包含多种Mura缺陷，且所述多个原始样本图像属于不同的灰阶图像，每张原始样本图像带有位置标签和类别标签；
对所述多个原始样本图像进行数据增强处理，得到所述训练集；
采用所述训练集、所述目标损失函数和预设学习率，对所述初始屏幕Mura检测模型进行训练，直至采用所述目标损失函数计算得到的损失值满足预设条件时停止训练，得到所述预训练的屏幕Mura检测模型。
本发明还提供一种缺陷检测设备，部署有预训练的屏幕Mura检测模型，所述缺陷检测设备部位于流水线上，用于实时获取待检测的显示屏面板图像，将所述显示屏面板图像输入所述预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图，将所述多个不同尺度的特征图输入所述预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图，将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图，将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息；所述预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的。
本发明具有如下有益技术效果：
本发明通过提出的基于深度学习的显示屏Mura缺陷检测方法，将Mura缺陷检测任务看做基于全局图像的回归问题，通过加入注意力结构对主干特征进行加权，可以更好的提取Mura缺陷目标信息，通过设置多层检测头的方式增加低尺度的特征信息，可以提升对微小Mura缺陷的检测性能，以及，利用包含EIOU损失函数的目标损失训练检测模型，可以为预测框添加宽高约束，从而可以提升检测模型对小目标的敏感程度；最终提高了检测Mura缺陷的速度和准确度，解决了用传统方法检测Mura缺陷的速度慢、误检率高等问题。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明实施例提供的基于深度学习的屏幕Mura检测方法的一个流程图；
图2为本发明实施例提供的示例性的注意力网络的结构示意图；
图3为本发明实施例提供的示例性的颈部网络的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
图1是本发明实施例提供的基于深度学习的屏幕Mura检测方法的一个流程图，如图1所示，所述方法包括以下步骤：
S101、获取待检测的显示屏面板图像。
这里，待检测的显示屏面板图像可以是一张也可以是多张，对此不作限定。
S102、将显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图；预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的。
这里，主干网络可以是CSPDarknet53结构，该CSPDarknet53结构依次包括11个网络层，其中，第1层为1个3×3且步长(stride)为1的卷积层(Conv)；第2层、第4层、第6层、第8层和第10层均为1个3×3且步长为2的卷积层；第3层为一个CSP结构，并且该CSP结构依次由一个卷积网络块、1个融合层(Concatenate)和1个1×1且步长为1的卷积层组成，该卷积网络块由两条并联支路构成，一条支路为一个1个1×1且步长为1的卷积层，另一条支路上依次有一个1个1×1且步长为1的卷积层和1个残差块，该残差块包括1个1×1且步长为1的卷积层和1个3×3且步长为1的卷积层；第5层为一个CSP结构，该CSP结构依次由一个卷积网络块、1个融合层和1个1×1且步长为1的卷积层组成，该卷积网络块由两条并联支路构成，一条支路为一个1个1×1且步长为1的卷积层，另一条支路上依次有一个1个1×1且步长为1的卷积层和2个残差块(每个残差块包括1个1×1且步长为1的卷积层、1个3×3且步长为1的卷积层和一个残差层(residual))；第7层和第9层均为一个CSP结构，该CSP结构依次由一个卷积网络块、1个融合层和1个1×1且步长为1的卷积层组成，该卷积网络块由两条并联支路构成，一条支路为一个1个1×1且步长为1的卷积层，另一条支路上依次有一个1个1×1且步长为1的卷积层和8个残差块(每个残差块包括1个1×1且步长为1的卷积层和1个3×3且步长为1的卷积层)；第11层为一个CSP结构，该CSP结构依次由一个卷积网络块、1个融合层和1个1×1且步长为1的卷积层组成，该卷积网络块由两条并联支路构成，一条支路为一个1个1×1且步长为1的卷积层，另一条支路上依次有一个1个1×1且步长为1的卷积层和4个残差块(每个残差块包括1个1×1且步长为1的卷积层和1个3×3且步长为1的卷积层)。示例性的，CSPDarknet53依次包括的11个网络层，以及各个层输出的特征图的尺寸、各个网络层输出的特征图的通道数具体如表1所示：
表1
需要说明的是，表1中展示的各个网络层的输入、输出尺寸只是示例性的，真实的输入、输出尺寸根据实际需要确定。
这里，得到的多个不同尺度的特征图分别是主干网络的第5层输出的第一尺度特征图，第7层输出的第二尺度特征图，第9层输出的第三尺度特征图，以及，第9层输出的第四尺度特征图。
S103、将多个不同尺度的特征图输入预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图。
示例性的，注意力网络的结构如图2所示。如图2所示，注意力网络包括：通道注意力模型、两个点乘运算层(图2中采用表示)和空间注意力模型；通道注意力模型包括：最大池化层、平均池化层、两个多层感知机(Multilayer Perceptron，MLP)层、一个求和运算层(图2中采用/>表示)和一个sigmoid激活层；空间注意力模型包括：一个拼接层、一个1×1的卷积层和一个sigmoid激活层。
这里，多个不同尺度的特征图中的每个特征图都会经过注意力网络以进行注意力加权。例如，以第一尺度特征图为例，当第一尺度特征图进入注意力网络后，首先通过通道注意力模型对第一尺度特征图进行处理，具体的，第一尺度特征图分别经过通道维度的最大池化和通道维度的平均池化后的特征信息各自经过MLP后求和，求和结果经过sigmoid激活后，得到通道维度上的权重向量；接着，通过空间注意力模型对第一尺度特征图分别经过空间维度的最大池化和空间维度的平均池化后的特征信息进行处理，具体的，将第一尺度特征图分别经过最大池化和平均池化后的特征信息进行拼接后输入到1×1的卷积层中，再将经过卷积处理的结果经过sigmoid激活后，得到空间维度上的权重向量；最后，将通道维度上的权重向量和空间维度上的权重向量均点乘到第一尺度特征图，如此，完成对第一尺度特征图的注意力加权，得到第一尺度特征图对应的第一加权特征图；对于第二尺度特征图、第三尺度特征图和第四尺度特征图而言，均采用与此相同的原理得到各自的加权特征图，即得到第二尺度特征图对应的第二加权特征图，第三尺度特征图对应的第三加权特征图，第四尺度特征图对应的第四加权特征图。
这里，通过注意力加权，可以增大重要特征信息的权重，从而有利于模型准确输出目标的位置和分类信息。
S104、将注意力加权后的特征图输入预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图。
这里，如图3所示，颈部网络包括：三个残差卷积块C1、三个上采样网络S、六个融合层R、三个卷积层J和四个残差块C2；每个残差卷积块包括一个残差块C2和一个卷积层J；每个残差块C2包括：两个卷积层J和一个拼接层P。
这里，颈部网络对注意力加权后的特征图(即第一加权特征图、第二加权特征图、第三加权特征图和第四加权特征图)的处理过程如下：采用一个残差卷积块C1，对Input_1端输入的第一加权特征图依次进行残差和卷积处理，得到第一卷积特征图，接着，采用一个上采样网络S对第一卷积特征图进行上采样处理后，再采用一个融合层R将上采样处理后的特征图与Input_2端输入的第二加权特征图进行融合处理，得到第一子融合特征图；接着，采用一个残差卷积块C1对第一子融合特征图依次进行残差和卷积处理，得到第二卷积特征图；接着，采用一个上采样网络S对第二卷积特征图进行上采样处理，再采用一个融合层R将上采样处理后的特征图与Input_3端输入的第三加权特征图进行融合处理，得到第二子融合特征图；接着，采用一个残差卷积块C1对第二子融合特征图依次进行残差和卷积处理，得到第三卷积特征图；接着，采用一个上采样网络S将第三卷积特征图进行上采样处理，再采用一个融合层R将上采样处理后的特征图与Input_4端输入的第四加权特征图进行融合处理，得到第一融合特征图；接着，将第一融合特征图输入一个残差块C2中，第一融合特征图经过残差块C2中的第一个卷积层J的卷积处理后，得到第一子卷积特征图；接着，第一子卷积特征图经过残差块C2中的第二个卷积层J的卷积处理后，得到第二子卷积特征图；接着，第二子卷积特征图与第一融合特征图经过残差块C2中的拼接层P的拼接处理后，得到第一尺度融合特征图，第一尺度融合特征图由Output_1输出。在得到第一尺度融合特征图后，采用一个卷积层J对第一尺度融合特征图进行卷积处理，接着，采用一个融合层R将卷积处理结果与上述的第三卷积特征图进行融合处理，得到第二融合特征图；接着，采用一个残差块C2对第二融合特征图进行残差处理，得到第二尺度融合特征图，第二尺度融合特征图由Output_2输出。在得到第二尺度融合特征图后，采用一个卷积层J对第二尺度融合特征图进行卷积处理，接着，采用一个融合层R将卷积处理结果与上述的第二卷积特征图进行融合处理，得到第三融合特征图；接着，采用一个残差块C2对第三融合特征图进行残差处理，得到第三尺度融合特征图，第三尺度融合特征图由Output_3输出。在得到第三尺度融合特征图后，采用一个卷积层J对第三尺度融合特征图进行卷积处理，接着，采用一个融合层R将卷积处理结果与上述的第一卷积特征图进行融合处理，得到第四融合特征图；接着，采用一个残差块C2对第四融合特征图进行残差处理，得到第四尺度融合特征图，第四尺度融合特征图由Output_4输出。
这里，通过颈部网络的处理，可以对四种不同尺度的特征信息进行特征融合，使得输出的特征信息既包含有浅层特征的位置信息又包含有深层特征的语义信息，有利于模型准确输出目标的位置和分类信息；并且，使用的Res Block(残差块)又使得网络不会因为较深的网络结构而产生梯度爆炸。
S105、将多个不同尺度的融合特征图输入预训练的屏幕Mura检测模型的多层检测头，得到显示屏面板图像中包含的Mura缺陷的种类和位置信息。
这里，多层检测头包括：与多个不同尺度的融合特征图一一对应的多组卷积层；可以将多个不同尺度的融合特征图输入一一对应的多组卷积层中，对应得到多组检测结果；对多组检测结果进行非极大值抑制处理，得到一组最终检测结果；一组最终检测结果包括：显示屏面板图像中包含的Mura缺陷的种类和位置信息。示例性的，多层检测头可以包括4组卷积层，每个组卷积层可以包括至少一个卷积层。
这里，设置多层检测头可以充分得到输入图像的浅层信息，有利于提升模型对微小Mura缺陷的检测性能。
在一些实施例中，在上述S102之前，上述方法还包括：
S201、获取多个原始样本图像；多个原始样本图像包含多种Mura缺陷，且多个原始样本图像属于不同的灰阶图像；每张原始样本图像带有位置标签和类别标签。
示例性的，多个原始样本图像可以包括具有斑点Mura、边缘Mura、带状Mura和块状Mura等9种不同的Mura缺陷的图像，并且，这些原始样本图像属于256阶、240阶、224阶和192阶等10种不同的灰阶图像，每个原始样本图像上均带有Mura缺陷的位置标签(用于标识出Mura缺陷的标签框)和类别标签。利用这些图像训练模型可以提高模型的鲁棒性，并且使得网络模型可以检测不同灰阶下的多种Mura缺陷。
S202、对多个原始样本图像进行数据增强处理，得到训练集。
为了避免过拟合问题，并增强模型的泛化能力，可以对原始样本图像进行数据增强，并将特征增强后的图像作为后续进行模型训练的训练集。具体地，可以对每个原始样本图像分别进行旋转、在水平、垂直方向上进行移动，以增加样本的多样性；另外，对于Mura缺陷位于屏幕边缘的至少一个原始样本图像，可以将每个原始样本图像进行镜像翻转后，将镜像翻转得到的图像与该原始样本图像进行拼接，得到一个特征增强后的图像，如此，增加了边缘数据特征，使得通过该特征增强后的图像训练模型时，模型能更好的分辨出位于屏幕边缘的Mura缺陷。
S203、采用训练集、目标损失函数和预设学习率，对初始屏幕Mura检测模型进行训练，直至采用目标损失函数计算得到的损失值满足预设条件时停止训练，得到预训练的屏幕Mura检测模型。
这里，目标损失函数包括：分类损失函数Lcls、EIOU损失函数Lbox和置信度损失函数Lobj的权重之和；分类损失函数Lcls对应第一权重系数α，EIOU损失函数Lbox对应第二权重系数β，置信度损失函数Lobj对应第三权重系数λ。
示例性的，目标损失函数的公式如下：Ltotal＝αLcls+βLbox+λLobj。Lcls采用二元交叉熵损失，Lcls用于表示预测的Mura缺陷分类与对应的标签分类之间的偏差，N为训练模型时每个批次输入的样本图像的总数量，ai为N张样本图像中第i张样本图像的真实类别标签(ai的数值为0或1)，x1 i为屏幕Mura检测模型预测的第i张样本图像所属的类别对应的置信度(x1 i的数值为0～1之间的小数)。Lbox用于标识预测框与标签框之间的误差， Ai为N张样本图像中第i张样本图像的标签框，Bi为屏幕Mura检测模型预测出的第i张样本图像中的Mura缺陷所在的位置(即预测框)，bi p为第i张样本图像的标签框的中心点的坐标，bi gt第i张样本图像的预测框的中心点的坐标，d(bi p,bi gt)为bi p与bi gt之间的欧式距离，wi p为第i张样本图像的标签框的宽度，wi gt为第i张样本图像的预测框的宽度，d(wi p,wi gt)为wi p与wi gt之间的差值，hi p为第i张样本图像的标签框的高度，hi gt为第i张样本图像的预测框的高度，d(hi p,hi gt)为hi p与hi gt之间的差值，wi c为第i张样本图像的标签框与第i张样本图像的预测框的最小外接矩形的宽，hi c为第i张样本图像的标签框与第i张样本图像的预测框的最小外接矩形的高。相比较于传统的IOU损失，Lbox引入标签框和预测框的长宽信息，解决了因长宽比等比例变化损失函数不变的问题而影响对小目标的检测性能的问题，提高了模型对小目标的检测性能。Lobj＝(1-Lgr)+Lgr×Lcls，Lobj用于表示预测框内是否包含要检测的目标。Lgr采用二元交叉熵损失，并且用于表示预测框内是否有检测目标，x2 i为屏幕Mura检测模型预测的第i张样本图像所属的类别，x2 i的数值为0或1，其中，0代表屏幕Mura检测模型预测出第i张样本图像对应的预测框中不含任何Mura缺陷，1代表屏幕Mura检测模型预测出第i张样本图像对应的预测框中包含某一类的Mura缺陷。
示例性的，α＝0.5，β＝0.05，λ＝1.0。
这里，可以使用设置好的α、β和λ超参数、学习率和优化器，将它们应用于初始屏幕Mura检测模型，并采用训练集对初始屏幕Mura检测模型进行迭代训练。经过训练后，当某次迭代时使用目标损失函数计算出的损失值小于预设值，或者连续几次迭代时使用目标损失函数计算出的损失值不再减小时，说明模型收敛，此时可以得到一个预训练的屏幕Mura检测模型。这里，对初始屏幕Mura检测模型的训练可以采用已有的训练方法。
本发明还提供一种缺陷检测设备，该缺陷检测设备部署有预训练的屏幕Mura检测模型，并且，缺陷检测设备部位于流水线上，用于实时获取待检测的显示屏面板图像，将显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图，将多个不同尺度的特征图输入预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图，将注意力加权后的特征图输入预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图，将多个不同尺度的融合特征图输入预训练的屏幕Mura检测模型的多层检测头，得到显示屏面板图像中包含的Mura缺陷的种类和位置信息；预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的。例如，缺陷检测设备可以是流水线上用于检测屏幕Mura缺陷的摄像头，摄像头会捕获显示屏图像，并将其输入到预训练的屏幕Mura检测模型中，模型会输出Mura缺陷的位置和分类结果，从而实现缺陷的检测。
本发明通过提出的基于深度学习的显示屏Mura缺陷检测方法，将Mura缺陷检测任务看做基于全局图像的回归问题，通过加入注意力结构对主干特征进行加权，可以更好的提取Mura缺陷目标信息，通过设置多层检测头的方式增加低尺度的特征信息，可以提升对微小Mura缺陷的检测性能，以及，利用包含EIOU损失函数的目标损失训练检测模型，可以为预测框添加宽高约束，从而可以提升检测模型对小目标的敏感程度；最终提高了检测Mura缺陷的速度和准确度，解决了用传统方法检测Mura缺陷的速度慢、误检率高等问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的屏幕Mura检测方法，其特征在于，包括：
获取待检测的显示屏面板图像；
将所述显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图；所述预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的；
将所述多个不同尺度的特征图输入所述预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图；
将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图；
将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息。
2.根据权利要求1所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述多个不同尺度的融合特征图包括：第一尺度融合特征图、第二尺度融合特征图、第三尺度融合特征图和第四尺度融合特征图；所述注意力加权后的特征图包括：第一加权特征图、第二加权特征图、第三加权特征图和第四加权特征图；所述将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图，包括：
对所述第一加权特征图、所述第二加权特征图、所述第三加权特征图和所述第四加权特征图进行残差、卷积、上采样和融合处理，得到第一卷积特征图、第二卷积特征图、第三卷积特征图和第一融合特征图；
将所述第一融合特征图进行残差处理，得到所述第一尺度融合特征图；
根据所述第一尺度融合特征图和所述第三卷积特征图，确定所述第二尺度融合特征图；
根据所述第二尺度融合特征图和所述第二卷积特征图，确定所述第三尺度融合特征图；
根据所述第三尺度融合特征图和所述第一卷积特征图，确定所述第四尺度融合特征图。
3.根据权利要求2所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述将所述第一融合特征图进行残差处理，得到所述第一尺度融合特征图，包括：
将所述第一融合特征图进行卷积处理后，得到第一子卷积特征图；
对所述第一子卷积特征图进行卷积处理后，得到第二子卷积特征图；
将所述第二子卷积特征图与所述第一融合特征图进行拼接处理，得到所述第一尺度融合特征图。
4.根据权利要求2所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述根据所述第一尺度融合特征图和所述第三卷积特征图，确定所述第二尺度融合特征图，包括：
将所述第一尺度融合特征图经过卷积处理后与所述第三卷积特征图进行融合处理，得到第二融合特征图；
对所述第二融合特征图进行所述残差处理，得到所述第二尺度融合特征图。
5.根据权利要求2所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述对所述第一加权特征图、所述第二加权特征图、所述第三加权特征图和所述第四加权特征图进行残差、卷积、上采样和融合处理，得到第一卷积特征图、第二卷积特征图、第三卷积特征图和第一融合特征图，包括：
对所述第一加权特征图依次进行残差和卷积处理，得到所述第一卷积特征图；
对所述第一卷积特征图进行上采样处理后与所述第二加权特征图进行融合处理，得到第一子融合特征图；
对所述第一子融合特征图依次进行残差和卷积处理，得到所述第二卷积特征图；
将所述第二卷积特征图进行上采样处理后与所述第三加权特征图进行融合处理，得到第二子融合特征图；
对所述第二子融合特征图依次进行残差和卷积处理，得到所述第三卷积特征图；
将所述第三卷积特征图进行上采样处理后与所述第四加权特征图进行融合处理，得到所述第一融合特征图。
6.根据权利要求1所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述多层检测头包括：与所述多个不同尺度的融合特征图一一对应的多组卷积层；所述将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息，包括：
将所述多个不同尺度的融合特征图输入一一对应的所述多组卷积层中，对应得到多组检测结果；
对所述多组检测结果进行非极大值抑制处理，得到一组最终检测结果；所述一组最终检测结果包括：所述显示屏面板图像中包含的Mura缺陷的种类和位置信息。
7.根据权利要求1所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述目标损失函数包括：分类损失函数、所述EIOU损失函数和置信度损失函数的权重之和；所述分类损失函数对应第一权重系数，所述EIOU损失函数对应第二权重系数，所述置信度损失函数对应第三权重系数。
8.根据权利要求1或7所述的基于深度学习的屏幕Mura检测方法，其特征在于，所述训练集包括：包含多种Mura缺陷的多个样本图像，所述多个样本图像属于不同的灰阶图像，每张原始样本图像带有位置标签和类别标签，其中，Mura缺陷位于屏幕边缘的至少一个样本图像是对Mura缺陷位于屏幕边缘的原始样本图像进行镜像翻转后，将镜像翻转得到的图像与所述原始样本图像进行拼接得到的。
9.根据权利要求1所述的基于深度学习的屏幕Mura检测方法，其特征在于，在所述将所述显示屏面板图像输入预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图之前，所述方法还包括：
获取多个原始样本图像；所述多个原始样本图像包含多种Mura缺陷，且所述多个原始样本图像属于不同的灰阶图像，每张原始样本图像带有位置标签和类别标签；
对所述多个原始样本图像进行数据增强处理，得到所述训练集；
采用所述训练集、所述目标损失函数和预设学习率，对所述初始屏幕Mura检测模型进行训练，直至采用所述目标损失函数计算得到的损失值满足预设条件时停止训练，得到所述预训练的屏幕Mura检测模型。
10.一种缺陷检测设备，其特征在于，部署有预训练的屏幕Mura检测模型，所述缺陷检测设备部位于流水线上，用于实时获取待检测的显示屏面板图像，将所述显示屏面板图像输入所述预训练的屏幕Mura检测模型的主干网络，得到多个不同尺度的特征图，将所述多个不同尺度的特征图输入所述预训练的屏幕Mura检测模型的注意力网络，得到注意力加权后的特征图，将所述注意力加权后的特征图输入所述预训练的屏幕Mura检测模型的颈部网络，得到多个不同尺度的融合特征图，将所述多个不同尺度的融合特征图输入所述预训练的屏幕Mura检测模型的多层检测头，得到所述显示屏面板图像中包含的Mura缺陷的种类和位置信息；所述预训练的屏幕Mura检测模型是采用包含EIOU损失函数的目标损失函数和训练集，对初始屏幕Mura检测模型进行训练得到的。
CN202310679958.7A 2023-06-08 2023-06-08 一种基于深度学习的屏幕Mura检测方法及设备 Pending CN116958046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310679958.7A CN116958046A (zh) 2023-06-08 2023-06-08 一种基于深度学习的屏幕Mura检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310679958.7A CN116958046A (zh) 2023-06-08 2023-06-08 一种基于深度学习的屏幕Mura检测方法及设备

Publications (1)

Publication Number Publication Date
CN116958046A true CN116958046A (zh) 2023-10-27

Family

ID=88455525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310679958.7A Pending CN116958046A (zh) 2023-06-08 2023-06-08 一种基于深度学习的屏幕Mura检测方法及设备

Country Status (1)

Country Link
CN (1) CN116958046A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
CN117541587B (zh) * 2024-01-10 2024-04-02 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN113192040B (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN109859163A (zh) 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
KR102268909B1 (ko) Edge Field와 딥러닝 기반 검사 방법
CN116958046A (zh) 一种基于深度学习的屏幕Mura检测方法及设备
CN112990391A (zh) 基于特征融合的卷积神经网络的缺陷分类识别系统
JP7399906B2 (ja) 可変拡散板を利用した光学システム
CN112990392A (zh) 基于改进YOLOv5算法的新材料地板缺陷目标检测系统
US11210774B2 (en) Automated pixel error detection using an inpainting neural network
US20200104650A1 (en) Fusion-based classifier, classification method, and classification system
CN115049619B (zh) 一种针对复杂场景的高效瑕疵检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
Fadli et al. Steel surface defect detection using deep learning
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN116228686A (zh) 一种基于轻量级网络的划痕缺陷检测方法、装置以及设备
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
Dey et al. Towards improving challenging stochastic defect detection in SEM images based on improved YOLOv5
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
CN116994130A (zh) 一种基于知识蒸馏的高精度轻量化桥梁裂缝识别方法
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination