CN113469984B - 一种基于yolo结构的显示面板外观检测方法 - Google Patents

一种基于yolo结构的显示面板外观检测方法 Download PDF

Info

Publication number
CN113469984B
CN113469984B CN202110787943.3A CN202110787943A CN113469984B CN 113469984 B CN113469984 B CN 113469984B CN 202110787943 A CN202110787943 A CN 202110787943A CN 113469984 B CN113469984 B CN 113469984B
Authority
CN
China
Prior art keywords
module
layer
cbs
defect
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110787943.3A
Other languages
English (en)
Other versions
CN113469984A (zh
Inventor
王国栋
赖达炜
洪亚德
庄汉河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen G First Oeic Co ltd
Original Assignee
Xiamen G First Oeic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen G First Oeic Co ltd filed Critical Xiamen G First Oeic Co ltd
Priority to CN202110787943.3A priority Critical patent/CN113469984B/zh
Publication of CN113469984A publication Critical patent/CN113469984A/zh
Application granted granted Critical
Publication of CN113469984B publication Critical patent/CN113469984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及一种基于YOLO结构的显示面板外观检测方法，包括以下步骤：采集带有显示面板外观缺陷的图片，对所述图片进行标注，得到训练样本；所述标注包括包含缺陷区域的缺陷框坐标及该缺陷类型；将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重；将模型权重部署至推理服务器；通过检测机台采集显示面板外观图像，并裁剪成统一尺寸后，发送给所述推理服务器；所述推理服务器对所述显示面板外观图像进行检测，并将检测结果反馈至所述检测机台。本发明通过基于YOLO结构的网络对显示面板外观进行检测。解决了特征深度与空间信息矛盾，检测结果误报率高的问题。

Description

一种基于YOLO结构的显示面板外观检测方法
技术领域
本发明涉及一种基于YOLO结构的显示面板外观检测方法，属于显示面板外观检测技术领域。
背景技术
在显示面板制造的过程中，表面缺陷的产生往往难以避免的，面板上的压痕、划伤、灰尘、气泡等缺陷，不仅影响产品的美观和舒适度，还会对其使用性能带来不良影响。因此，生产企业对产品的外观缺陷检测非常重视，以便及时发现，从而有效控制产品品质，并根据检测结果分析生产工艺中存在的某些问题，从而杜绝或减少缺陷品的产生。
目前，显示面板的检测主要依靠人工肉眼观察和借助传统图像处理方法来进行检测。人工检测是显示面板外观缺陷最原始的方法，该方法实时性差、效率低、劳动强度大、受工人经验和主观因素的影响大。后来出现的基于传统图像处理算法的缺陷检测方法，虽然在一定程度上克服了人工检测的弊端，但由于检测对象多样、外观缺陷种类繁多、形态多样、背景复杂，使得在传统图像算法的设计上难度加大，且使用时检测算法的泛化性能差，需要调节的参数繁多、误杀率和漏检率较高，难以进行大规模应用。
申请号为CN201910270910.4的文件公开了一种特征提取网络及其显示面板缺陷检测方法。该方法采用包括YOLO V3模型在内的多种网络结构对显示面板外观缺陷进行检测。缺点在于为针对误报类型的预测结果进行处理，导致误报率较高。同时存在深度学习网络自身因深度导致的提取特征高语义，低空间信息的缺点。
发明内容
为了克服上述问题，本发明提供一种基于YOLO结构的显示面板外观缺陷检测方法，该方法通过基于YOLO结构的网络对显示面板外观进行检测。解决了特征深度与空间信息矛盾，检测结果误报率高的问题。
本发明的技术方案如下：
一种基于YOLO结构的显示面板外观检测方法，包括以下步骤：
采集带有显示面板外观缺陷的图片，对所述图片进行标注，得到训练样本；所述标注包括包含缺陷区域的缺陷框坐标及该缺陷类型；
将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重；
将模型权重部署至推理服务器；
通过检测机台采集显示面板外观图像，并裁剪成统一尺寸后，发送给所述推理服务器；所述推理服务器对所述显示面板外观图像进行检测，并将检测结果反馈至所述检测机台。
进一步的，所述网络包括输入端和位于不同深度的特征提取层A1-A8，相邻的两所述特征提取层通过CBS模块B2-B8连接，CBS模块B1连接所述网络的输入端和特征提取层A1；所述CBS模块包括依次连接的输入端、卷积层、批标准化层、SiLU激活函数和输出端；B5与A5之间依次连接有上采样层C1和拼接层D1，B6与A6之间依次连接有上采样层C2和拼接层D2，B7与A7通过拼接层D3连接，B8与A8通过拼接层D4连接；所述拼接层D1用于拼接C1和A3输出的特征图，所述拼接层D2用于拼接C2和A2输出的特征图，所述拼接层D3用于拼接B7和B6输出的特征图，所述拼接层D4用于拼接B8和B5输出的特征图；所述特征提取层B6、B7和B8的输出端分别连接有卷积层E1-E3；所述卷积层E1-E3输出的特征图F1-F3作为所述网络的输出。
进一步的，所述特征提取层A1和A4-A8由BottleneckCSP模块堆叠3次组成，所述特征提取层A2和A3由BottleneckCSP模块堆叠9次组成；所述BottleneckCSP模块包括依次连接的输入端、CBS模块B9、Bottleneck模块、拼接层D5、CBS模块B11和输出端；所述BottleneckCSP模块还包括CBS模块B10，所述CBS模块B10与所述BottleneckCSP模块的输入端连接；所述拼接层D5用于拼接所述Bottleneck模块和B10输出的特征图；所述Bottleneck模块包括依次连接的输入端、CBS模块B12和CBS模块B13，所述CBS模块B13输出的特征图和输入端输入图片的叠加作为所述Bottleneck模块的输出，通过Bottleneck模块的输出端输出；所述CBS模块B9、B10、B11和B12的卷积层的卷积核均为1*1；所述CBS模块B13的卷积层的卷积核为3*3。
进一步的，所述BottleneckCSP模块还包括SE模块，所述SE模块用于连接所述CBS模块B11和所述BottleneckCSP模块的输出端；所述SE模块包括依次连接的输入端、全局平均池化层、全连接层、ReLU激活函数、全连接层、Sigmoid激活函数、Scale层和输出端；所述Scale层将所述Sigmoid激活函数输出的各通道的数值作为权重赋予所述SE模块的输入端的特征图。
进一步的，所述CBS模块B4和所述BottleneckCSP模块A4通过SPP模块连接；所述SPP模块包括依次连接的输入端和CBS模块B14；所述CBS模块B14的输出端与3个不同大小的最大池化层分别连接；拼接层D6用于拼接3个所述最大池化层和B14输出的特征图，并传输给CBS模块B15，所述CBS模块B15的输出端连接所述SPP模块的输出端；3个所述最大池化层的核分别为5*5、9*9和13*13；所述CBS模块B14和CBS模块B15的卷积层的卷积核均为1*1。
进一步的，所述将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重，具体包括以下步骤：
将训练样本通过所述网络的输入端输入网络，通过所述卷积层E1-E3得到3个不同深度的特征图F1-F3；
以所述特征图F1-F3的每个像素为单位，每个单位预测X个特征候选框，得到预测结果；各所述特征候选框为尺寸互不相同的矩形框，且各所述特征候选框均以所属像素为中心；所述特征候选框包含4个位置坐标、1个缺陷置信度和Y个缺陷类别概率；
将所述训练样本的缺陷框映射到所述特征图F1-F3上，将满足如下条件的特征候选框设为正样本：
1)特征候选框中心与缺陷框中心在同一像素点上；
2)缺陷框与特征候选框相对应的边的比值小于4；
将其余特征候选框设为负样本；
计算所述预测结果与所述正、负样本间的损失，利用梯度下降的方法驱动整个网络训练，得到训练好的模型权重；所述损失为边框损失、分类损失和目标物体损失的叠加，叠加时对所述边框损失、分类损失和目标物体损失分别赋予相应的权重；所述边框损失用GIOU损失计算，所述分类损失和目标物体损失均用二值交叉熵损失计算。
进一步的，所述特征候选框的尺寸由以下步骤确定：
通过k-means聚类算法对标注的训练数据中的缺陷框长宽尺寸进行聚类，得到9组不同长宽的缺陷框，将这9组框的尺寸按照其面积大小排列并分配到特征图F1-F3。特征图F1分配到最小的3组框，特征图F2分配到中间的3组框，特征图F3分配到最大的3组框。
进一步的，所述缺陷类型还包括权重模型识别错误的误报缺陷；选择特征规则单一且不同于所述训练样本背景的图像，设置为子图像，将所述子图像覆盖在权重模型的误报图片上随机位置，生成误报修正图片；对所述误报修正图片进行标注，缺陷框为子图像区域，类别为误报；将标注后的误报修正图片加入所述训练样本，组成新的训练样本。
进一步的，对所述卷积层E1-E3中的权重进行归一化处理。
进一步的，所述训练样本经Focus模块后输入CBS模块B1；所述Focus模块具体为对输入的训练样本以像素点为单位进行临近下采样，得到分辨率为原图片
Figure BDA0003159811370000031
通道数为原图片4倍的图片，在将临近下采样后的图片进行3*3的卷积操作。
本发明具有如下有益效果：
1.该该检测方法的网络包括了自顶向下的金字塔结构，将深层语义高，低分辨率的特征图通过上采样与其上一段低语义，高分辨率的特征图相融合，减少在深层网络中空间信息的丢失。
2.该检测方法的网络包括了自底向上的结构，将金字塔结构提取的不同深度特征图进行融合，进一步丰富了不同深度特征图包含的信息。
3.该检测方法的缺陷类别还包括误报缺陷，训练时，将由误报图片制成的误报修正图与其他缺陷的图像一起进行训练，降低了检测过程中的误报量。
附图说明
图1为本发明方法的流程图。
图2为本发明的实施例的网络结构示意图。
图3为本发明的实施例的BottleneckCSP模块结构示意图。
图4为本发明的实施例的Bottleneck模块结构示意图。
图5为本发明的实施例的SE模块结构示意图。
图6为本发明的实施例的SPP模块结构示意图。
图7为本发明的实施例的CBS模块模块结构示意图。
图8为本发明的实施例的Focus模块临近下采样示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
参见图1-7，一种基于YOLO结构的显示面板外观检测方法，其特征在于，包括以下步骤：
采集带有显示面板外观缺陷的图片，对所述图片进行标注，得到训练样本；所述标注包括包含缺陷区域的缺陷框坐标及该缺陷类型。本发明实具体施方式中用于训练的网络以YOLO结构为基础，标注时，使用YOLO的格式对图片进行标注。
将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重。
将模型权重部署至推理服务器。
通过检测机台采集显示面板外观图像，并裁剪成统一尺寸后，发送给所述推理服务器；所述推理服务器对所述显示面板外观图像进行检测，并将检测结果反馈至所述检测机台。利用推理服务器高算力的特性，能够快速得出检测结果。将检测结果反馈给所述检测机台，达到实时在线检测的效果。
实施例一：
在上述方法的基础上，所述网络包括输入端和位于不同深度的特征提取层A1-A8，所述特征提取层A1-A8分别提取训练样本不同深度的特征图。相邻的两所述特征提取层通过CBS模块B2-B8连接，CBS模块B1连接所述网络的输入端和特征提取层A1；所述CBS模块包括依次连接的输入端、卷积层、批标准化层(Batch Normalization层，BN层)、SiLU(SigmoidWeighted Liner Unit)激活函数和输出端。卷积层用于提取训练样本或特征图中的特征；批标准化层对输入的数据进行归一化处理，通过调整输入数据的分布，达到加快网络训练、控制梯度和防止过拟合的目的；SiLU激活函数用于在网络中引入非线性，解决线性不可分问题。B5与A5之间依次连接有上采样层(upsample)C1和拼接层D1，B6与A6之间依次连接有上采样层C2和拼接层D2，所述上采样层对位于深层的特征图进行上采样，使其分辨率与浅层特征图相同，用于拼接。B7与A7通过拼接层D3连接，B8与A8通过拼接层D4连接；所述拼接层D1用于拼接C1和A3输出的特征图，所述拼接层D2用于拼接C2和A2输出的特征图。在深度卷积神经网络中，不同深度的卷积所提取的特征层级不同。随着网络层数的增加，所提取的特征图分辨率逐渐降低，同时语义信息越来越强，但空间信息丢失得越来越多。由于显示面板的外观缺陷较小，缺陷的空间信息对缺陷的识别和分类都尤为重要，所以本实施例的网络引入自顶向下的金字塔结构，将深层高语义低分辨率的特征图通过上采样与其上一段低语义高分辨率的特征图相拼接，减少在深层网络中空间信息的丢失。所述拼接层D3用于拼接B7和B6输出的特征图，所述拼接层D4用于拼接B8和B5输出的特征图。为了缩短空间信息的传递路径，本实施例的网络结构引入自底向上的结构。将金字塔结构中提取的不同深度特征图再进行融合。利用该增强路径，进一步丰富了不同深度特征图所包含的信息。所述特征提取层B6、B7和B8的输出端分别连接有卷积层E1-E3；所述卷积层E1-E3输出的特征图F1-F3作为所述网络的输出。
在另一种实施方式中，对所述卷积层E1-E3中的权重进行归一化处理。由于部分显示面板外观缺陷分类不同但特征相似，容易导致网络分类错误。通过对卷积层E1-E3中的权重进行归一化处理，使得输出值中不同类别间的差别增大，让类别间的特征分布相对于决策边界更加集中，增加不同类别间的距离，缓解了网络对相似特征类别区分困难的问题。
实施例二
在实施例一的基础上，所述特征提取层A1和A4-A8由BottleneckCSP模块堆叠3次组成，所述特征提取层A2和A3由BottleneckCSP模块堆叠9次组成；所述BottleneckCSP模块包括依次连接的输入端、CBS模块B9、Bottleneck模块、拼接层D5、CBS模块B11和输出端；所述BottleneckCSP模块还包括CBS模块B10，所述CBS模块B10与所述BottleneckCSP模块的输入端连接；所述拼接层D5用于拼接所述Bottleneck模块和B10输出的特征图。所述Bottleneck模块包括依次连接的输入端、CBS模块B12和CBS模块B13，所述CBS模块B13输出的特征图和输入端输入图片的叠加作为所述Bottleneck模块的输出，通过Bottleneck模块的输出端输出；所述CBS模块B9、B10、B11和B12的卷积层的卷积核均为1*1；所述CBS模块B13的卷积层的卷积核为3*3。通过这样的结构，能够增强网络的学习能力，降低计算成本和内存成本。通过连续堆叠BottleneckCSP模块3或9次，达到提取特征的目的。
实施例三
在实施例二的基础上，所述BottleneckCSP模块还包括SE模块，所述SE模块用于连接所述CBS模块B11和所述BottleneckCSP模块的输出端；所述SE模块包括依次连接的输入端、全局平均池化层、全连接层、ReLU激活函数、全连接层、Sigmoid激活函数、Scale层和输出端；所述Scale层将所述Sigmoid激活函数输出的各通道的数值作为权重赋予所述SE模块的输入端的特征图。在SE模块中，输入的特征图首先通过全局平均池化层，对每个通道取平均值，然后通过一层全连接层与ReLU激活函数(本实施例中全连接节点数为输入通道数的
Figure BDA0003159811370000061
以减小参数量)，再经过一层全连接层与Sigmoid激活函数(此时，全连接层节点数恢复到输入通道数量)。Sigmoid激活函数将每个通道的数值映射至0-1的区间，该数值反映了输入端所输入的特征图的每个通道的重要程度。在Scale层将该分数与对应输入的每个通道相乘得到输出，相当于对每个通道的特征图根据其重要性进行加权，使网络更加关注对检测结果有更大影响的特征。
实施例四
在实施例三的基础上，所述CBS模块B4和所述BottleneckCSP模块A4通过SPP模块连接；所述SPP模块包括依次连接的输入端和CBS模块B14；所述CBS模块B14的输出端与3个不同大小的最大池化层分别连接；拼接层D6用于拼接3个所述最大池化层和B14输出的特征图，并传输给CBS模块B15，所述CBS模块B15的输出端连接所述SPP模块的输出端；3个所述最大池化层的核分别为5*5、9*9和13*13；所述CBS模块B14和CBS模块B15的卷积层的卷积核均为1*1。通过所述SPP模块能够提取不同尺度大小的特征，提高特征的尺度不变性。
实施例五
在实施例四的基础上，所述将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重，具体包括以下步骤：
将训练样本通过所述网络的输入端输入网络，通过所述卷积层E1-E3得到3个不同深度的特征图F1-F3。
以所述特征图F1-F3的每个像素为单位，每个单位预测X个特征候选框，得到预测结果；各所述特征候选框为尺寸互不相同的矩形框，且各所述特征候选框均以所属像素为中心；所述特征候选框包含4个位置坐标、1个缺陷置信度和Y个缺陷类别概率。此时每一特征图携带的张量为S*S*X*(4+1+Y)，其中S为特征图分辨率。在本实施例中，输入图片大小为640*640，缺陷类别为5类(气泡、翘角、划伤、tape破损和脏污)，得到的特征图F1-F3的分辨率为80*80、40*40和20*20。此时，特征图F1-F3一共携带(80*80*3*(4+1+5)+40*40*3*(4+1+5)+20*20*3*(4+1+5)＝)25200*10个张量。
将所述训练样本的缺陷框映射到所述特征图F1-F3上，将满足如下条件的特征候选框设为正样本：
1)特征候选框中心与缺陷框中心在同一像素点上；
2)缺陷框与特征候选框相对应的边的比值小于4；
将其余特征候选框设为负样本。这种方法筛选出的正样本对缺陷的标注准确度较高，但是容易造成正样本数量不足。在正样本数量不足时，为了扩充正样本数量，特征候选框中心在缺陷框中心相邻像素点上的特征候选框也满足条件1)。
计算所述预测结果与所述正、负样本间的损失，利用梯度下降的方法驱动整个网络训练，得到训练好的模型权重；所述损失为边框损失、分类损失和目标物体损失的叠加，叠加时对所述边框损失、分类损失和目标物体损失分别赋予相应的权重。边框损失为预测值与标签值间的边框坐标误差，所述边框损失用GIOU损失计算，GIOU损失相比于传统的IOU能更精确地计算两矩形框重合度大小，使网络预测的坐标更加准确。分类损失为预测值与标签值间的分类损失，所述分类损失用二值交叉熵损失计算，二值交叉熵损失能够计算多标签的损失函数，更好的适配显示面板外观缺陷这种包含多种缺陷的情况。目标物体损失为预测值与标签值间是否包含缺陷目标的损失，目标物体损失用二值交叉熵损失计算。在本实施例中，边框损失的权重系数为0.05，分类损失的权重系数为0.5，目标物体损失的权重系数为1.0。
在一种具体的实施方式中，所述特征候选框的尺寸由以下步骤确定：
通过k-means聚类算法对标注的训练数据中的缺陷框长宽尺寸进行聚类，得到9组不同长宽的缺陷框，将这9组框的尺寸按照其面积大小排列并分配到特征图F1-F3。在本实施例中，k-means算法针对特征图F1-F3分别得到3种特征候选框尺寸，其中，特征图F1的特征候选框尺寸为[10,13]、[16,30]和[33,23]，特征图F2的特征候选框尺寸为[30,61]、[62,45]和[59,119]，特征图F3的特征候选框尺寸为[116,90]、[156,198]和[373,326]。
实施例六
在实施例五的基础上，所述缺陷类型还包括权重模型识别错误的误报缺陷；选择特征规则单一且不同于所述训练样本背景的图像，设置为子图像，将所述子图像覆盖在权重模型的误报图片上随机位置，生成误报修正图片，子图像应显著小于误报图片，本实施例中，子图像的尺寸为误报图像的
Figure BDA0003159811370000071
对所述误报修正图片进行标注，缺陷框为子图像区域，类别为误报；将标注后的误报修正图片加入所述训练样本，组成新的训练样本。由于显示面板外观图像自身特性，非缺陷区域也容易被识别为缺陷。为了克服非缺陷区域的误报，在缺陷类别中增加误报缺陷，误报缺陷与普通缺陷一起输入网络，对网络进行训练，得到训练好的模型权重。使用时，推理服务器同样能够检测到误报缺陷，但是检测机台不对误报缺陷进行报警。
实施例七
在实施例二的基础上，所述训练样本经Focus模块后输入CBS模块B1；所述Focus模块具体为对输入的训练样本以像素点为单位进行临近下采样，得到分辨率为原图片
Figure BDA0003159811370000081
通道数为原图片4倍的图片，在将临近下采样后的图片进行3*3的卷积操作。在本实施例中，显示面板外观缺陷图像为分辨率640*640,通道数为3的RGB图像，经临近下采样后得到320*320，通道数为12的图像。与直接进行3*3卷积操作相比，减少了计算量，加快了训练推理速度。如，本实施例中，Focus与Conv需要浮点运算次数如下：
Focus：FLOPs＝(2*(3*3*12)*64+64)*320*320＝1.4*10^19；
Conv:FLOPs＝(2*(3*3*3)*32+32)*640*640+(2*(3*3*32)*64+64)*320*320+(2*(1*1*64)*64+64)*320*320＝5.35*10^9。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于YOLO结构的显示面板外观检测方法，其特征在于，包括以下步骤：
采集带有显示面板外观缺陷的图片，对所述图片进行标注，得到训练样本；所述标注包括包含缺陷区域的缺陷框坐标及该缺陷类型；
将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重；
将模型权重部署至推理服务器；
通过检测机台采集显示面板外观图像，并裁剪成统一尺寸后，发送给所述推理服务器；所述推理服务器对所述显示面板外观图像进行检测，并将检测结果反馈至所述检测机台；
所述网络包括输入端和位于不同深度的特征提取层A1-A8，相邻的两所述特征提取层通过CBS模块B2-B8连接，CBS模块B1连接所述网络的输入端和特征提取层A1；所述CBS模块包括依次连接的输入端、卷积层、批标准化层、SiLU激活函数和输出端；CBS模块B5与特征提取层A5之间依次连接有上采样层C1和拼接层D1，CBS模块B6与特征提取层A6之间依次连接有上采样层C2和拼接层D2，CBS模块B7与特征提取层A7通过拼接层D3连接，CBS模块B8与特征提取层A8通过拼接层D4连接；所述拼接层D1用于拼接上采样层C1和特征提取层A3输出的特征图，所述拼接层D2用于拼接上采样层C2和特征提取层A2输出的特征图，所述拼接层D3用于拼接CBS模块B7和CBS模块B6输出的特征图，所述拼接层D4用于拼接CBS模块B8和CBS模块B5输出的特征图；所述CBS模块B6、B7和B8的输出端分别连接有卷积层E1-E3；所述卷积层E1-E3输出的特征图F1-F3作为所述网络的输出；
所述特征提取层A1和A4-A8由BottleneckCSP模块堆叠3次组成，所述特征提取层A2和A3由BottleneckCSP模块堆叠9次组成；所述BottleneckCSP模块包括依次连接的输入端、CBS模块B9、Bottleneck模块、拼接层D5、CBS模块B11和输出端；所述BottleneckCSP模块还包括CBS模块B10，所述CBS模块B10与所述BottleneckCSP模块的输入端连接；所述拼接层D5用于拼接所述Bottleneck模块和B10输出的特征图；所述Bottleneck模块包括依次连接的输入端、CBS模块B12和CBS模块B13，所述CBS模块B13输出的特征图和输入端输入图片的叠加作为所述Bottleneck模块的输出，通过Bottleneck模块的输出端输出；所述CBS模块B9、B10、B11和B12的卷积层的卷积核均为1*1；所述CBS模块B13的卷积层的卷积核为3*3；
所述BottleneckCSP模块还包括SE模块，所述SE模块用于连接所述CBS模块B11和所述BottleneckCSP模块的输出端；所述SE模块包括依次连接的输入端、全局平均池化层、全连接层、ReLU激活函数、全连接层、Sigmoid激活函数、Scale层和输出端；所述Scale层将所述Sigmoid激活函数输出的各通道的数值作为权重赋予所述SE模块的输入端的特征图；
所述CBS模块B4和所述BottleneckCSP模块A4通过SPP模块连接；所述SPP模块包括依次连接的输入端和CBS模块B14；所述CBS模块B14的输出端与3个不同大小的最大池化层分别连接；拼接层D6用于拼接3个所述最大池化层和B14输出的特征图，并传输给CBS模块B15，所述CBS模块B15的输出端连接所述SPP模块的输出端；3个所述最大池化层的核分别为5*5、9*9和13*13；所述CBS模块B14和CBS模块B15的卷积层的卷积核均为1*1；
所述将所述训练样本输入网络，利用梯度下降的方法驱动网络进行训练，得到训练好的模型权重，具体包括以下步骤：
将训练样本通过所述网络的输入端输入网络，通过所述卷积层E1-E3得到3个不同深度的特征图F1-F3；
以所述特征图F1-F3的每个像素为单位，每个单位预测X个特征候选框，得到预测结果；各所述特征候选框为尺寸互不相同的矩形框，且各所述特征候选框均以所属像素为中心；所述特征候选框包含4个位置坐标、1个缺陷置信度和Y个缺陷类别概率；
将所述训练样本的缺陷框映射到所述特征图F1-F3上，将满足如下条件的特征候选框设为正样本：
1)特征候选框中心与缺陷框中心在同一像素点上；
2)缺陷框与特征候选框相对应的边的比值小于4；
将其余特征候选框设为负样本；
计算所述预测结果与所述正、负样本间的损失，利用梯度下降的方法驱动整个网络训练，得到训练好的模型权重；所述损失为边框损失、分类损失和目标物体损失的叠加，叠加时对所述边框损失、分类损失和目标物体损失分别赋予相应的权重；所述边框损失用GIOU损失计算，所述分类损失和目标物体损失均用二值交叉熵损失计算。
2.根据权利要求1所述基于YOLO结构的显示面板外观检测方法，其特征在于，所述特征候选框的尺寸由以下步骤确定：
通过k-means聚类算法对标注的训练样本中的缺陷框长宽尺寸进行聚类，得到9组不同长宽的缺陷框，将这9组框的尺寸按照其面积大小排列并分配到特征图F1-F3；特征图F1分配到最小的3组框，特征图F2分配到中间的3组框，特征图F3分配到最大的3组框。
3.根据权利要求2所述基于YOLO结构的显示面板外观检测方法，其特征在于，所述缺陷类型还包括模型权重识别错误的误报缺陷；选择特征规则单一且不同于所述训练样本背景的图像，设置为子图像，将所述子图像覆盖在模型权重的误报图片上随机位置，生成误报修正图片；对所述误报修正图片进行标注，缺陷框为子图像区域，类别为误报；将标注后的误报修正图片加入所述训练样本，组成新的训练样本。
4.根据权利要求3所述基于YOLO结构的显示面板外观检测方法，其特征在于，对所述卷积层E1-E3中的权重进行归一化处理。
5.根据权利要求4所述基于YOLO结构的显示面板外观检测方法，其特征在于，所述训练样本经Focus模块后输入CBS模块B1；所述Focus模块具体为对输入的训练样本以像素点为单位进行临近下采样，得到分辨率为原图片
Figure FDA0004175799160000031
通道数为原图片4倍的图片，在将临近下采样后的图片进行3*3的卷积操作。/>
CN202110787943.3A 2021-07-13 2021-07-13 一种基于yolo结构的显示面板外观检测方法 Active CN113469984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110787943.3A CN113469984B (zh) 2021-07-13 2021-07-13 一种基于yolo结构的显示面板外观检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110787943.3A CN113469984B (zh) 2021-07-13 2021-07-13 一种基于yolo结构的显示面板外观检测方法

Publications (2)

Publication Number Publication Date
CN113469984A CN113469984A (zh) 2021-10-01
CN113469984B true CN113469984B (zh) 2023-06-02

Family

ID=77880094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110787943.3A Active CN113469984B (zh) 2021-07-13 2021-07-13 一种基于yolo结构的显示面板外观检测方法

Country Status (1)

Country Link
CN (1) CN113469984B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841937B (zh) * 2022-04-21 2023-12-05 燕山大学 一种检测汽车轮毂表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112819771A (zh) * 2021-01-27 2021-05-18 东北林业大学 一种基于改进YOLOv3模型的木材缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112819771A (zh) * 2021-01-27 2021-05-18 东北林业大学 一种基于改进YOLOv3模型的木材缺陷检测方法

Also Published As

Publication number Publication date
CN113469984A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN110598752B (zh) 一种自动生成训练数据集的图像分类模型训练方法及系统
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN113393438B (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN110223310A (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN115527072A (zh) 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN112884741B (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
CN117474863A (zh) 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法
CN116721291A (zh) 基于改进YOLOv7模型的金属表面缺陷检测方法
CN115546788A (zh) 一种基于改进YOLOv5的混凝土气泡检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant