CN116168259A - 一种应用于oled点灯系统的自动缺陷分类算法 - Google Patents

Abstract

本发明公开一种应用于OLED点灯系统的自动缺陷分类算法，包括如下步骤：S1、获取产品缺陷图像；S2、剔除信息不完整或损坏的图像，进行缺陷类别信息的数据标注，图像短边采用0值填充至需要大小，并离线储存至本地；S3、将标注的数据信息划分为训练集和测试集，对训练集图像数据信息进行数据增强；S4、提取图像的特征信息；S5、进行混色缺陷的特征融合与跨层特征信息交互；S6、输出缺陷类别结果张量并计算损失函数。本发明对解决OLED显示屏混色显示不均缺陷的质检难题有良好的效果。

Description

一种应用于OLED点灯系统的自动缺陷分类算法

技术领域

本发明涉及工业缺陷检测领域，尤其涉及一种应用于OLED点灯系统的自动缺陷分类算法。

背景技术

OLED 显示屏的生产工艺较为复杂，例如玻璃基缺陷、异物掉落、显示面板涂层不均或性能退化等，使得其在工艺制程中会引入各种缺陷，按照形态一般可划分为：点缺陷、线缺陷和 Mura 三种类别。其中Mura 缺陷是 OLED 显示屏缺陷中最难检测类别，主要原因在于其形态多元、种类繁多，并且许多缺陷边缘模糊，难以界定，传统的人工质检方案具有较大的局限性。

显示不均是 Mura 缺陷中常见的一种，通常需要人眼在特定条件下或角度才能分辨出来，尤其是对于整个面板的显示不均缺陷（发青、发紫等），它们显示出的形态特征具备不确定性。此外，显示不均的整板缺陷表现为整块显示面板的混色异色，并且混色程度也有强弱之分，同时此类缺陷还具备区域性特点，如边缘混色等，因此整板混色的缺陷检测则更极具挑战性。

利用一定量的标注数据样本，基于深度学习的目标检测算法能较好地定位到缺陷所在位置，并区分出缺陷类别。得益于这类技术的发展，许多 Mura 缺陷的人工检测方案都已被集机构、光学、电气、算法、软件于一体的智能化质检设备所替代，大幅缩减了屏显面板的质检成本。在目标检测算法的研究中，yolov5 算法的检测精度和检测效率都处于同类算法中的领先水平，因此被广泛应用于 OLED 显示屏的缺陷检测中。

但由于混色显示不均缺陷区域几乎占据待检面板产品的全部区域，而现有的目标检测算法的学习样本通常是图像区域中的较小区域，这为目标检测算法的实施造成较大困难，因此现有的目标检测算法较难兼容到面板显示不均的智能质检工作中。具体来讲，现有的目标检测算法对点灯系统显示屏整版混色缺陷特征适配性低；现有的目标检测算法应用于OLED点灯系统整体存在较多算法冗余、检测速度慢；现有的目标检测算法无法很好地挖掘特征图中模糊目标的高层语义信息。

发明内容

本发明的目的在于提供一种应用于OLED点灯系统的自动缺陷分类算法，即改造现有的 yolov5 目标检测算法，使其成为一种图像分类算法，能较好地解决 OLED 显示屏混色显示不均缺陷的质检难题。

为达成上述目的，本发明的解决方案为：一种应用于OLED点灯系统的自动缺陷分类算法，包括步骤：

S1、获取产品缺陷图像；

S2、剔除信息不完整或损坏的图像，进行缺陷类别信息的数据标注，图像短边采用0值填充至需要大小，并离线储存至本地；

S3、将标注的数据信息划分为训练集和测试集，对训练集图像数据信息进行数据增强；

S4、提取图像的特征信息；

S5、进行混色缺陷的特征融合与跨层特征信息交互；

S6、输出缺陷类别结果张量并计算损失函数；

所述应用于OLED点灯系统的自动缺陷分类算法是基于yolov5加以改进：

所述步骤S3采用双重数据增强算法，用Mosaic和填充灰值的CutOut算法进行在线增强处理；

所述步骤S4采用ShuffleNet结构和CBS模块进行特征提取，然后用注意力机制模块CBAM关注目标的图像通道和空间特征；

所述步骤S5维持原生 yolov5的 FPN + PAN 结构，对上步传入的特征进行自上而下和自下而上的结构实现混色缺陷的特征融合与跨层特征信息交互；

所述步骤S6是将步骤S5的图像特征经过卷积处理，通过anchor输出三组5维的缺陷类别结果，所述缺陷类别结果的5个维度为4个类别维度和1个置信度维度，再采用多类别的CE Loss计算损失函数，即：

其中，x表示当前处理的像素格，class表示当前处理的像素格x被数据标注后的真实类别，x[class]表示将当前处理的像素格x预测为真实类别的概率，分母部分是分别将 x预测为四种类别的概率，对该概率求以e为底的指数函数值，再求和，j为求和起点。

作为优选方案，所述步骤S2将图像短边填充至224×224像素，离线存储到本地。

作为优选方案，所述步骤S3的CutOut算法将裁剪区域填充128灰度值的灰值处理。

作为优选方案，所述步骤S4采用ShuffleNet结构进行特征提取是使用SheffleBlock1和SheffleBlock2两种方式交替提取特征。

作为优选方案，损失函数部分还包括Label Smothing操作进行标签平滑，即在预测标签中添加随机噪声，用于对模型进行约束，提升模型泛化能力。

作为优选方案，所述步骤S2的数据标注中将缺陷划分为：整板发青、整板发紫、同时发青又发紫、无缺陷四种类别，对应所述步骤S6输出的缺陷类别结果的4个类别维度。

作为优选方案，所述步骤S3将标注的数据信息划分为训练集和测试集，是采用降采样的方式，各类别数据按照不同比例划分训练集和测试集。

采用上述方案后，本发明的增益效果在于：

1. 提出了一种双重数据增强算法策略用于训练集，以适配点灯系统显示屏整板混色缺陷特征，即让算法对OLED点灯系统的自动缺陷分类有着更高的适配性；

2. 使用ShuffleNet结构，使模型整体更轻量化，具有更高的检测速度；

3. 在算法流程中添加注意力机制模块模块CBAM，使模型能够挖掘特征图中模糊目标的高层语义信息；

4. 去除yolov5 中损失函数的目标损失分支和定位损失分支，只保留类别损失分支，并将这一分支的BCE Loss调整为CE Loss，减少了算法冗余。

附图说明

图1是本发明的算法步骤示意图；

图2是本发明算法模型示意图；

图3是本发明注意力机制模块CBAM示意图；

图4是本发明模块内部展开示意图；

图5是本发明迭代模型逻辑图。

具体实施方式

以下结合附图1-5及具体实施例对发明做详细的说明。

本发明提供一种应用于OLED点灯系统的自动缺陷分类算法，包括步骤：

S1、获取产品缺陷图像；

S2、剔除信息不完整或损坏的图像，进行缺陷类别信息的数据标注，图像短边采用0值填充至需要大小，并离线储存至本地；

S3、将标注的数据信息划分为训练集和测试集，对训练集图像数据信息进行数据增强；

S4、提取图像的特征信息；

S5、进行混色缺陷的特征融合与跨层特征信息交互；

S6、输出缺陷类别结果张量并计算损失函数；

所述应用于OLED点灯系统的自动缺陷分类算法是基于yolov5加以改进，以下进一步描述具体实施例的方法。

关于步骤S1，由相机采集工业图像数据，以获取产品缺陷图像。

关于步骤S2，清洗数据，剔除信息不完整或损坏的图像，然后进行数据标注。缺陷划分为：整板发青、整板发紫、同时发青和发紫、无缺陷四种类别。数据清洗和标注完成后，将图像缩放至模型输入大小224×224，或保持原图长宽比，将长边缩放至224，短边采用0值填充至224像素，离线存储到本地。

离线存储到本地的操作可以降低模型训练和测试时因存储数据而造成的内存消耗，提升图像读取效率。

关于步骤S3，划分训练集、测试集，在实际生产数据收集过程中，缺陷数据较少，表现为样本不平衡的情况。因此采用降采样的方式，以各类别数据按照不同比例划分训练集和测试集。

例如，总数据有 4000 张图片，整板发青和整板发紫的数据仅各有 1000 张图片，同时发青和发紫的数据有500张图片，则分别将单独发青或发紫的数据按照 7:3 比例来划分训练集和测试集；同时发青和发紫的数据按照8:2划分；而无缺陷的数据则采用 5:5 进行划分；当然，在实际代码开发中，将数据划分比例作为接口参数开放，可灵活根据实际情况调整。

划分后对训练集图像数据信息进行数据增强，但由于整板混色缺陷的图片容易受到局部弱特征的干扰，而造成算法对混色缺陷的过检，本发明除采用 yolov5 原始的数据增强（亮度、对比度、旋转平移、Mosaic）算法外，还采用CutOut模块进行双重数据增强，以减少局部弱特征对算法的干扰，提升算法的稳健性。

而通常 CutOut 算法在图像中随机将局部区域填充为 0 作为随机噪声进行处理，该方式较为粗暴，本发明改进后的CutOut模块是将cut-out 裁剪区域填充 128灰度值进行在线增强处理，使裁剪区域过渡更为自然。

关于步骤S4，在提取图像的特征信息时，采用ShuffleNet结构替换yolov5 原生的CSP-Net 结构。这主要是由于 CSP-Net 会占用更多缓存空间，降低运行速度，而使用ShuffletNet 可以降低内存访问量，且链路比 CSP-Net 更加简单，可增加系统并行度，且能将算法的backbone 参数量从 720 万左右降低至 380 万左右，在不损失过多精度的前提下降低整体算法的计算量（GFLOPs）。

具体如图2所示，采用ShuffleBlock1 和 ShuffleBlock2 两种方式交替提取特征，其中 _xn 表示该 block 的重复次数，比如 SFB2_x3 则代表使用 ShuffleBlock2 进行三次计算。

经特征提取模块CBS后，注意力机制模块CBAM将关注目标的图像通道和空间特征，具体地，先对特征图分别进行全局平均池化和全局最大池化，得到两组展平的 1×1×C 的特征图，然后将分别它们传入一个包括共享的多层感知机的双层神经网络，将输出的特征图逐元素进行加和，最终再经过一次 Sigmoid 激活函数处理后，生成通道注意力特征 CA_c，将 CA_c 和特征提取模块CBS的输出结果逐元素相乘，作为空间注意力模块的输入特征SA_input。类似地，将 SA_input 分别进行全局平均池化和最大池化，将输出的两个特征进行 concat 拼接操作，然后再经过一个 7×7 卷积层和 Sigmoid 函数激活，得到通道注意力特征 CA_c，最后再将 CA_c 和 SA_input 进行逐元素乘法。

关于步骤S5，在步骤S4中CA_c 和 SA_input 进行逐元素乘法后得到的特征，经过yolov5原生的 FPN + PAN 结构：yolov5的 FPN + PAN 结构，使用 concat、上采样、DWB、add 等一系列算子模块，再对上步传入的特征进行自上而下和自下而上的结构实现混色缺陷的特征融合与跨层特征信息交互。

关于步骤S6，混色缺陷的特征融合与跨层特征信息交互后经过卷积处理后，输出三组特征图的预测结果，每组的预测结果是一个5维张量：4维类别矩阵 + 1 维置信度矩阵，三组特征图下共输出15 维的张量，即输出缺陷类别结果张量。在每组的5维张量中，4维类别矩阵对应表示四种类别的缺陷：整板发青、整板发紫、同时发青和发紫、无缺陷。

比如，4维类别矩阵[1 0 0 0]表示图像缺陷类别为整板发青；4维类别矩阵[0 1 00]表示图像缺陷类别为整板发紫；4维类别矩阵[0 0 1 0]表示的图像缺陷类别为同时发青和发紫；4维类别矩阵[0 0 0 1]表示的图像缺陷类别为无缺陷；再包括1 维置信度矩阵，组成5维张量，如[0 0 1 0 0.97]表示图像缺陷类别为同时发青和发紫，且置信度为0.97。

输出缺陷类别结果张量后，计算损失函数，原生 yolov5 的损失函数包含目标（是否存在）损失、类别损失和定位损失三个部分，即

,

其中前两项（目标损失和类别损失）都采用了 BCE Loss，第三项（定位损失）采用了 CIoU Loss。

而本发明发明将 yolov5 从目标检测网络修改为分类网络，因此仅保留第二项（类别损失）这一分支，且将原生的 BCE Loss（二值交叉熵损失，各类别单独输出类别置信度）直接调整为多类别的 CE Loss，即

其中，x表示当前处理的像素格，class表示当前处理的像素格x被数据标注后的真实类别，x[class]表示将当前处理的像素格x预测为真实类别的概率，分母部分是分别将 x预测为四种类别的概率，对该概率求以e为底的指数函数值，再求和，j为求和起点。

对于交叉熵损失的 one-hot 编码存在容易过拟合和泛化性能较差的问题，本发明同时在损失函数部分增加了 Label Smoothing 操作进行标签平滑，在预测标签中添加随机噪声，以对模型进行约束，提升模型泛化能力。

本发明中模块内部展开如图4所示，其中：

CBL模块包括：1×1的卷积层ConV、批量归一化层BN、Leakly ReLU激活函数层；

CBS模块包括：1×1的卷积层ConV、批量归一化层BN、SiLU激活函数层；

CBR模块包括：卷积层ConV、批量归一化层BN、ReLU激活函数层；

本算法基于深度学习，其基础逻辑如图5所示为：图像→前向计算输出结果→计算损失函数→反向传播→更新模型参数→迭代至下一轮模型训练。其中前向计算输出结果部分对应本发明步骤S4、S5，计算函数损失对应步骤S6，根据计算的损失函数整个算法会进行反向传播，并更新算法模型的参数，完成一次“学习”，然后迭代至下一轮模型训练，即再进行步骤S4-S6，不断循环迭代学习，模型也不断更新。

应用本发明时，设置模型训练的迭代次数、batchsize、图像尺寸等超参数，基于前述步骤，将标注、清洗完的数据传入模型训练，训练迭代结束后得到最终模型。

实际生产线中收集测试数据，经人工标注和专家复判后，抽取整板发青、整板发紫、同时发青和发紫、无缺陷四个类别的数据各 500 张用于模型测试，测试模型包含本案算法与其它常用的深度学习分类算法，求取各个类别的精度评价平均结果，测试结果如下：

以上所述仅为本发明的较佳实施例，并非对本案设计的限制，凡依本案的设计关键所做的等同变化，均落入本案的保护范围。

Claims (7)

1.一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于，包括步骤：

S1、获取产品缺陷图像；

S2、剔除信息不完整或损坏的图像，进行缺陷类别信息的数据标注，图像短边采用0值填充至需要大小，并离线储存至本地；

S3、将标注的数据信息划分为训练集和测试集，对训练集图像数据信息进行数据增强；

S4、提取图像的特征信息；

S5、进行混色缺陷的特征融合与跨层特征信息交互；

S6、输出缺陷类别结果张量并计算损失函数；

所述应用于OLED点灯系统的自动缺陷分类算法是基于yolov5加以改进：

所述步骤S3采用双重数据增强算法，用Mosaic和填充灰值的CutOut算法进行在线增强处理；

所述步骤S4采用ShuffleNet结构和CBS模块进行特征提取，然后用注意力机制模块CBAM关注目标的图像通道和空间特征；

所述步骤S5维持原生 yolov5的 FPN + PAN 结构，对上步传入的特征进行自上而下和自下而上的结构实现混色缺陷的特征融合与跨层特征信息交互；

所述步骤S6是将步骤S5的图像特征经过卷积处理，通过anchor输出三组5维的缺陷类别结果，所述缺陷类别结果的5个维度为4个类别维度和1个置信度维度，再采用多类别的CELoss计算损失函数，即：

其中，x表示当前处理的像素格，class表示当前处理的像素格x被数据标注后的真实类别，x[class]表示将当前处理的像素格x预测为真实类别的概率，分母部分是分别将 x 预测为四种类别的概率，对该概率求以e为底的指数函数值，再求和，j为求和起点。

2.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于：所述步骤S2将图像短边填充至224×224像素，离线存储到本地。

3.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于所述步骤S3的CutOut算法将裁剪区域填充128灰度值的灰值处理。

4.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于：所述步骤S4采用ShuffleNet结构进行特征提取是使用SheffleBlock1和SheffleBlock2两种方式交替提取特征。

5.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于：损失函数部分还包括Label Smothing操作进行标签平滑，即在预测标签中添加随机噪声，用于对模型进行约束，提升模型泛化能力。

6.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于：所述步骤S2的数据标注中将缺陷划分为：整板发青、整板发紫、同时发青又发紫、无缺陷四种类别，对应所述步骤S6输出的缺陷类别结果的4个类别维度。

7.如权利要求1所述的一种应用于OLED点灯系统的自动缺陷分类算法，其特征在于：所述步骤S3将标注的数据信息划分为训练集和测试集，是采用降采样的方式，各类别数据按照不同比例划分训练集和测试集。

Images