CN115908344A - 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法 - Google Patents

一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法 Download PDF

Info

Publication number
CN115908344A
CN115908344A CN202211521857.9A CN202211521857A CN115908344A CN 115908344 A CN115908344 A CN 115908344A CN 202211521857 A CN202211521857 A CN 202211521857A CN 115908344 A CN115908344 A CN 115908344A
Authority
CN
China
Prior art keywords
yolo
mlct
micro led
image
led chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211521857.9A
Other languages
English (en)
Inventor
陈梅云
韩舒鑫
陈锦标
孔德卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202211521857.9A priority Critical patent/CN115908344A/zh
Publication of CN115908344A publication Critical patent/CN115908344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉图像处理技术领域，更具体地说，它涉及一种基于MLCT‑YOLO的M i cro LED芯片缺陷检测方法，其技术方案要点是，包括以下步骤：S1、构建多尺度的M i cro LED数据集；S2、建立用于对芯片缺陷定位及分类的深度神经网络MLCT‑YOLO；S3、将所述深度神经网络MLCT‑YOLO部署到边缘设备。本发明设计了端到端的深度神经网络MLCT‑YOLO模型，其模型大小、参数量以及计算复杂度相比其他算法有大幅度的优化。设计瓶颈块MA‑Bott l eneck，在节省计算资源的同时达到更好的定位和分类效果。设计类别平衡损失CB‑BCE Loss，使得训练成本得到更合理的分配，同时提高了模型提取重要特征的能力。

Description

一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
技术领域
本发明涉及计算机视觉图像处理技术领域，更具体地说，它涉及一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法。
背景技术
芯片缺陷检测是LED显示屏行业的一项重要质量控制技术。在生产过程中，由于工艺上的欠缺会产生不同的Micro LED芯片缺陷，导致后期产品的良品率下降。在以往的生产中，往往采用人工目视检测的方法，然而这种方法不仅效率低下并且非常容易产生误检的情况。
随着神经网络的不断发展和硬件计算能力的提高，目标检测领域取得了一系列具有建设性的重大突破，其中，单阶段目标检测算法YOLO系列实现了检查速度和精度上的平衡。Glenn Jocher等在2020年提出了YOLOv5算法，以更高的精度与更快的速度取得了最先进的性能，强大的实时处理能力和较低的硬件要求使得它可以很轻松地移植到移动设备当中。
但是YOLOv5算法仍然存在网络模型臃肿、参数量大的问题。在Micro LED芯片数据集中直接使用YOLOv5等目标检测算法来进行芯片缺陷检测是一个挑战。首先，Micro LED芯片的尺寸较小，一张1920×1080的图像包含182个芯片，在送入YOLOv5前还需将图像缩小为640×640，一个芯片所占像素过少，容易丢失芯片表面的关键特征信息，从而影响检测的性能。其次，由于实验条件的限制，获取到的Micro LED芯片各类缺陷的样本数量分布极其不均匀，训练成本无法合理分配。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于MLCT-YOLO的MicroLED芯片缺陷检测方法，具有检测效率高、精度准的优点。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，包括以下步骤：
S1、构建多尺度的Micro LED数据集；
S2、建立用于对芯片缺陷定位及分类的深度神经网络MLCT-YOLO；
S3、将所述深度神经网络MLCT-YOLO部署到边缘设备。
在其中一个实施例中，所述步骤S1包括以下步骤：
S11、拍摄所述芯片的图像并手动标注作为初始数据集；
S12、随机裁剪所述初始数据集的图像，扩充所述初始数据集；
S13、将扩充后的所述初始数据集分为训练集与测试集，并对所述训练集的图像进行增广操作。
在其中一个实施例中，所述步骤S13采用的扩充方法为选择图像翻转、增加随机噪点和改变图像亮度。
在其中一个实施例中，所述训练集与所述测试集的数量为7:1。
在其中一个实施例中，所述步骤S2包括以下步骤：
S21、采用CSPDarkNet53作为主干网络；
S22、采用特征金字塔连结路径聚合网络的形式作为颈部网络；
S23、采用CIOU作为边界框损失函数，并使用加权非主极大值抑制模型以确定理想目标帧。
在其中一个实施例中，所述CSPDarkNet53包括多个CSP残差结构。
在其中一个实施例中，所述特征金字塔连结路径聚合网络由多层卷积和拼接层组合，经过路径聚合网络将地位特征映射到高维后输出三个特征图。
在其中一个实施例中，所述步骤S22还包括以下步骤：
S221、基于Transformer模型提出了MA-Bottleneck模块，替换所述颈部网络输出端的C3模块；
瓶颈块MA-Bottleneck构成新的卷积瓶颈层BO-C3模块，所述BO-C3模块包括第一分支与第二分支；
所述第一分支输入的所述芯片的图像经过1×1的卷积层，被送进MA-Bottleneck模块提取全局特征后被输出；
所述第二分支输入的所述芯片的图像经过1×1的卷积层后输出，与所述第一分支输出的图像拼接为拼接图像；
所述拼接图像经一个1×1的卷积处理后输出BO-C3模块。
在其中一个实施例中，所述CIOU为类别平衡损失CB-BCELoss，并以模型不可知与损失不可知的方式计算有效样本数，在原本的损失函数中引入与有效样本数成反比的类平衡权重；
将样本有效数视为En，样本总体积视为N，则有：
Figure BDA0003971401130000031
上式中：超参数β∈[0，1)；
对于输入样本X，设其标签y∈{1，2，3...，M}，M为为所有类的总数，设所述深度神经网络MLCT-YOLO模型对应的估计类概率为p＝[p1，p2，p3，...，pM]T，其中pi∈[0，1]，通过引入样本有效数En与平滑系数β，由于类平衡项的独立性从而使得模型不可知且损失不可知，使用权重因子赋予MLCT-YOLO的原始损失函数BCEWithLogitsLoss从而得到一种新的类别平衡损失CB-BCE Loss，以CB(p,y)表示，公式如下：
Figure BDA0003971401130000041
上式中：L(p,y)表示任意损失函数，ny表示真值类别y的样本数。
在其中一个实施例中，所述边缘设备为NVIDIA Jetson Xavier NX平台。
上述一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，具有以下有益效果：
其一，构建了多尺度的Micro LED数据集，保证输入图像尺寸的多样性以及实验数据的丰富性；
其二，设计了端到端的深度神经网络MLCT-YOLO模型，其模型大小、参数量以及计算复杂度相比其他算法有大幅度的优化。设计瓶颈块MA-Bottleneck，在节省计算资源的同时达到更好的定位和分类效果。设计类别平衡损失CB-BCE Loss，使得训练成本得到更合理的分配，同时提高了模型提取重要特征的能力；
其三，将网络模型部署到边缘设备Nvidia Jetson Xavier NX，在嵌入式场景下具有良好的检测速度和检测性能。
附图说明
图1是本实施例流程示意图；
图2是本实施例中的八种缺陷类别示意图；
图3是本实施例中深度神经网络MLCT-YOLO流程图；
图4是本实施例中卷积瓶颈层结构图；
图5是本实施例中添加MA-Bottleneck模块前后三个尺度检测层的热力图；
图6是本实施例中多尺度Micro LED数据集检测效果图；
图7是本实施例中改变光照后的检测效果图；
图8是本实施例中外接显示屏实时显示检测画面。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法,如图1所示，包括以下步骤：
S1、构建多尺度的Micro LED数据集；
具体的，S11、拍摄芯片的图像并手动标注作为初始数据集；
拍摄芯片图像128幅作为初始数据集，分辨率均为1920×1080，将128幅芯片图像输入到标注软件内，手动将芯片图像中的芯片所存在的缺陷标注出来，标注软件自动生成相关的缺陷信息，并保存为文档，缺陷信息文档采用txt格式文件；
其中，需要检测的Micro LED类型有八种：正常、黑片、电极缺失、连晶、空片、异物、偏移、偏转。八种缺陷类别如图2所示。八种类别样本存在分布不均匀的情况，其中正常、偏移和偏转三个类别占大多数，远超其余五个类别样本数量。
S12、随机裁剪初始数据集的图像，扩充初始数据集；
由于存在多尺度检测的需求，且为了保证输入图像尺寸的多样性，将初始数据集的图像进行随机裁剪，将数据集的图像扩充到826张。
S13、将扩充后的初始数据集分为训练集与测试集，并对训练集的图像进行增广操。
通过选择图像翻转、增加随机噪点和改变图像亮度的数据增广方法将训练集内的图像增广为1827幅，使得训练集包含的图像数量与测试集内的图像数量相比为7:1。
S2、建立用于对芯片缺陷定位及分类的深度神经网络MLCT-YOLO。
具体的，S21、采用CSPDarkNet53作为主干网络。
CSPDarkNet53包括多个CSP残差结构，可以加强深度神经网络MLCT-YOLO的特征融合，防止梯度消失。
S22、采用特征金字塔连结路径聚合网络的形式作为颈部网络。
特征金字塔连结路径聚合网络由多层卷积和拼接层组合，经过路径聚合网络将地位特征映射到高维后输出三个特征图，
S221、基于Transformer模型提出了MA-Bottleneck模块，替换颈部网络输出端的C3模块；
瓶颈块MA-Bottleneck构成新的卷积瓶颈层BO-C3模块，BO-C3模块包括第一分支与第二分支；
第一分支输入的芯片的图像经过1×1的卷积层，被送进MA-Bottleneck模块提取全局特征后被输出；
第二分支输入的芯片的图像经过1×1的卷积层后输出，与第一分支输出的图像拼接为拼接图像；
拼接图像经一个1×1的卷积处理后输出BO-C3模块。
引入多尺度感受野加强网路进行目标识别的泛化能力。引入了MLCT-YOLO添加MA-Bottleneck模块前后三个尺度检测层的热力图，如图5所示，改进模块之后高亮区域大部分集中于芯片内部，表示改进的模块使得检测层提取芯片区域特征的概率增大，更加关注于芯片表面的信息而非边缘信息，在节省计算资源的同时可以达到更好的定位和分类效果。
S23、采用CIOU作为边界框损失函数，并使用加权非主极大值抑制模型以确定理想目标帧。
CIOU为类别平衡损失CB-BCELoss，并以模型不可知与损失不可知的方式计算有效样本数，在原本的损失函数中引入与有效样本数成反比的类平衡权重；
将样本有效数视为En，样本总体积视为N，则有：
Figure BDA0003971401130000071
上式中：超参数β∈[0，1)；
对于输入样本X，设其标签y∈{1，2，3...，M}，M为为所有类的总数，设深度神经网络MLCT-YOLO模型对应的估计类概率为p＝[p1，p2，p3，…，pM]T，其中pi∈[0，1]，通过引入样本有效数En与平滑系数β，由于类平衡项的独立性从而使得模型不可知且损失不可知，使用权重因子赋予MLCT-YOLO的原始损失函数BCEWithLogitsLoss从而得到一种新的类别平衡损失CB-BCE Loss，以CB(p,y)表示，公式如下：
Figure BDA0003971401130000081
上式中：L(p,y)表示任意损失函数，ny表示真值类别y的样本数。
使用CB-BCE Loss损失函数使得类别频率过渡更加平滑，训练成本得到更合理的分配，同时提高了模型提取重要特征的能力。
S3、将深度神经网络MLCT-YOLO部署到边缘设备。
其中，边缘设备NVIDIA Jetson Xavier NX平台，使用外接显示屏实时显示检测画面，结果如图8所示。模型对于各个类别的芯片缺陷均可检测出来，不存在漏检和误检的情况，且帧率基本维持在25帧以上，符合实时检测的速度和精度要求。
针对八种Micro LED芯片类型分别测试其平均精度(mAP)值，结果如表1所示，除空片缺陷外四类少类别样本均获得了更高的mAP值，黑片为0.941，电极缺失为0.955，异物为0.428，连晶为0.995，总mAP为0.899，因此训练过程中模型判别少样本缺陷的能力显著提高。
表1八种Micro LED芯片类型mAP值对比
Figure BDA0003971401130000082
Figure BDA0003971401130000091
计算用于芯片缺陷定位及分类的端到端的深度神经网络MLCT-YOLO模型的各类评价指标，结果如表2。
表2不同网络模型评价指标
Figure BDA0003971401130000092
根据表2数据可知，提出的MLCT-YOLO的mAP为88.9％，精确度为93.0％，相比标准YOLO分别提升了3.0％以及1.3％。除此之外，MLCT-YOLO的模型大小、参数量以及计算复杂度相比其他算法有大幅度的优化，检测速度也从标准YOLO的78帧提升到了93帧，说明其具有明显的优越性。
将模型应用于所构建的多尺度Micro LED数据集，结果如图6所示。本发明提出的MLCT-YOLO模型能够准确识别出所有的目标且全部分类正确，置信度基本保持在0.95以上。
通过改变环形光照种类和光照角度来模拟在实际生产过程中光照条件变化给芯片检测带来的影响，结果如图7所示。本发明提出的端到端的深度神经网络MLCT-YOLO可以很好地识别出芯片存在的缺陷，识别置信度普遍在0.95以上，因此提出的端到端的深度神经网络MLCT-YOLO在Micro LED芯片的缺陷分类上拥有较强的泛化能力。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于，包括以下步骤：
S1、构建多尺度的Micro LED数据集；
S2、建立用于对芯片缺陷定位及分类的深度神经网络MLCT-YOLO；
S3、将所述深度神经网络MLCT-YOLO部署到边缘设备。
2.根据权利要求1所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于，所述步骤S1包括以下步骤：
S11、拍摄所述芯片的图像并手动标注作为初始数据集；
S12、随机裁剪所述初始数据集的图像，扩充所述初始数据集；
S13、将扩充后的所述初始数据集分为训练集与测试集，并对所述训练集的图像进行增广操作。
3.根据权利要求2所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述步骤S13采用的扩充方法为选择图像翻转、增加随机噪点和改变图像亮度。
4.根据权利要求2所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述训练集与所述测试集的数量为7:1。
5.根据权利要求1所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于，所述步骤S2包括以下步骤：
S21、采用CSPDarkNet53作为主干网络；
S22、采用特征金字塔连结路径聚合网络的形式作为颈部网络；
S23、采用CIOU作为边界框损失函数，并使用加权非主极大值抑制模型以确定理想目标帧。
6.根据权利要求5所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述CSPDarkNet53包括多个CSP残差结构。
7.根据权利要求5所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述特征金字塔连结路径聚合网络由多层卷积和拼接层组合，经过路径聚合网络将地位特征映射到高维后输出三个特征图。
8.根据权利要求7所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于，所述步骤S22还包括以下步骤：
S221、基于Transformer模型提出了MA-Bottleneck模块，替换所述颈部网络输出端的C3模块；
瓶颈块MA-Bottleneck构成新的卷积瓶颈层BO-C3模块，所述BO-C3模块包括第一分支与第二分支；
所述第一分支输入的所述芯片的图像经过1×1的卷积层，被送进MA-Bottleneck模块提取全局特征后被输出；
所述第二分支输入的所述芯片的图像经过1×1的卷积层后输出，与所述第一分支输出的图像拼接为拼接图像；
所述拼接图像经一个1×1的卷积处理后输出BO-C3模块。
9.根据权利要求1所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述CIOU为类别平衡损失CB-BCELoss，并以模型不可知与损失不可知的方式计算有效样本数，在原本的损失函数中引入与有效样本数成反比的类平衡权重；
将样本有效数视为En，样本总体积视为N，则有：
Figure FDA0003971401120000031
上式中：超参数β∈[0，1)；
对于输入样本X，设其标签y∈{1，2，3...，M}，M为为所有类的总数，设所述深度神经网络MLCT-YOLO模型对应的估计类概率为
Figure FDA0003971401120000033
其中pi∈[0，1]，通过引入样本有效数En与平滑系数β，由于类平衡项的独立性从而使得模型不可知且损失不可知，使用权重因子赋予MLCT-YOLO的原始损失函数BCEWithLogitsLoss从而得到一种新的类别平衡损失CB-BCE Loss，以CB(p,y)表示，公式如下：
Figure FDA0003971401120000032
上式中：L(p,y)表示任意损失函数，ny表示真值类别y的样本数。
10.根据权利要求1所述的一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法，其特征在于：所述边缘设备为NVIDIA Jetson Xavier NX平台。
CN202211521857.9A 2022-11-30 2022-11-30 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法 Pending CN115908344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211521857.9A CN115908344A (zh) 2022-11-30 2022-11-30 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211521857.9A CN115908344A (zh) 2022-11-30 2022-11-30 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115908344A true CN115908344A (zh) 2023-04-04

Family

ID=86482240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211521857.9A Pending CN115908344A (zh) 2022-11-30 2022-11-30 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115908344A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116465608A (zh) * 2023-05-26 2023-07-21 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116465608A (zh) * 2023-05-26 2023-07-21 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法
CN116465608B (zh) * 2023-05-26 2024-02-20 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法

Similar Documents

Publication Publication Date Title
CN110660052A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN104680542B (zh) 基于在线学习的遥感影像变化检测方法
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN111598825B (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN111612784A (zh) 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN110414538A (zh) 缺陷分类方法、缺陷分类训练方法及其装置
CN111461101B (zh) 工服标志的识别方法、装置、设备及存储介质
CN109472193A (zh) 人脸检测方法及装置
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN112528913A (zh) 一种基于图像的砂石颗粒物粒径检测分析系统
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN115908344A (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
CN114037907A (zh) 输电线路的检测方法、装置、计算机设备、存储介质
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN117011563A (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination