CN116051515A - 一种大视野半导体芯片外观缺陷检测方法 - Google Patents

一种大视野半导体芯片外观缺陷检测方法 Download PDF

Info

Publication number
CN116051515A
CN116051515A CN202310066066.XA CN202310066066A CN116051515A CN 116051515 A CN116051515 A CN 116051515A CN 202310066066 A CN202310066066 A CN 202310066066A CN 116051515 A CN116051515 A CN 116051515A
Authority
CN
China
Prior art keywords
image
defect
semiconductor chip
sub
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310066066.XA
Other languages
English (en)
Inventor
倪康
吴倩倩
邹旻瑞
杨尚东
蒋永新
朱玉萍
刘洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310066066.XA priority Critical patent/CN116051515A/zh
Publication of CN116051515A publication Critical patent/CN116051515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉处理和目标检测技术领域，具体地说，是一种大视野半导体芯片外观缺陷检测方法，该方法基于堆叠多尺度组卷积YOLOv5，该方法首先获取大量大视野半导体芯片缺陷图像，对其进行9/16/25等分，以生成多尺度子缺陷图像数据集，接着对该数据集进行缺陷标注和数据集划分，使用堆叠多尺度组卷积YOLOv5算法进行模型训练，利用多线程推理子缺陷图，最后将子缺陷图检测结果映射到大视野半导体芯片图像上，完成对大视野半导体芯片外观的缺陷检测。本发明利用SMGC‑YOLOv5算法，使用多尺度轻量型卷积进行特征提取，大大缩短和提高模型的训练时间和性能，有效提升缺陷特征表述的可辨别性和大视野半导体芯片外观缺陷检测的准确性。

Description

一种大视野半导体芯片外观缺陷检测方法
技术领域
本发明属于计算机视觉处理和目标检测技术领域，具体地说，是一种大视野半导体芯片外观缺陷检测方法，该方法基于堆叠多尺度组卷积YOLOv5。
背景技术
在半导体芯片生产制造过程中，由于各工艺流程复杂的技术、环境、材料等因素，难免会产生一系列外观缺陷，这些缺陷会在一定程度上影响半导体产品的性能。因此，半导体外观缺陷检测对提升芯片性能具有重要意义。
现在通用的外观检测方法基本还是人工检测法，但随着半导体芯片体积的缩小、检测精度的提高，人工检测已经不能满足要求。目前主要的自动检测技术主要为机电和光学技术检测，而量测设备精密复杂、制造难度大，涉及电学、光学、光声技术等多个技术领域，对设备制造企业的技术研发实力和跨领域技术资源整合能力有较高要求，需要企业长时间的投入及技术积淀。
在每个节点上，芯片的特征尺寸越来越小，而缺陷更难发现，即使是细微的偏差也会在一定程度上影响良率和性能。相较于传统表面缺陷检测技术，机器视觉检测所具有的非接触性、连续性、经济性、灵活性等优点，给缺陷检测提供了新的发展方向。以卷积神经网络为代表的深度学习模型在计算机视觉领域得到了广泛的研究和应用，深度学习方法对于图像分类和目标检测的高性能表现，可以大大提升不规则的缺陷识别率，提升整体系统的性能和速度。
发明内容
本发明公开一种大视野半导体芯片外观缺陷检测方法，该方法基于堆叠多尺度组卷积YOLOv5的，首先获取大量大视野半导体芯片缺陷图像，对其进行9/16/25等分，以生成多尺度子缺陷图像数据集，接着对该数据集进行缺陷标注和数据集划分，使用堆叠多尺度组卷积YOLOv5(Stacked Multiscale Group Convolution YOLOv5，SMGC-YOLOv5)算法进行模型训练，利用多线程推理子缺陷图，最后将子缺陷图检测结果映射到大视野半导体芯片图像上，完成对大视野半导体芯片外观的缺陷检测。
本发明利用SMGC-YOLOv5算法，使用多尺度轻量型卷积进行特征提取，大大缩短和提高模型的训练时间和性能，有效提升缺陷特征表述的可辨别性和大视野半导体芯片外观缺陷检测的准确性，具体技术方案如下：
一种大视野半导体芯片外观缺陷检测方法，具体包括以下步骤：
步骤一、输入大量存在一定缺陷的大视野半导体芯片外观图像；
步骤二、对步骤一获取到的半导体芯片外观图像依次分别进行9/16/25等分，分割成多尺度子缺陷图像数据集；
步骤三、对步骤二获取到的多尺度子缺陷图像进行图像标注，使用不同的颜色标签和类别，对半导体芯片子图像进行一系列缺陷标注，并输出与所标注的子图像对应的txt文件，保存标注框位置信息；
步骤四、得到步骤三标注完成的数据集后，按照一定的比例对数据集进行划分，分割成训练集和测试集。
步骤五、利用SMGC-YOLOv5算法对步骤三所获取的多尺度子缺陷图像训练集进行端到端模型训练，训练过程中采用调参方式，以获取最优模型；
步骤六、将半导体芯片外观测试图像依次分别进行9/16/25等分，利用多线程处理的优势及步骤五所训练的最优模型，同时推理所有已生成的多尺度子缺陷图，以提升推理速度。子缺陷图推理结束后，再将子缺陷图的推理结果映射至大视野半导体芯片图像上，并输出对应的大视野半导体芯片外观图像缺陷推理图像，从而完成半导体芯片外观图像缺陷检测；
步骤七、对大量存在一定缺陷的大视野半导体芯片外观图像，经上述步骤处理，获取训练完成的模型和推理结果大图，实现大图输入、大图输出的端到端缺陷检测。
本发明的进一步改进，所述步骤三包括以下流程：
流程一、缺陷标注：对获取到的多尺度子缺陷图像进行语义标注，使用自主开发的图像标注软件，对多尺度缺陷图进行标注，不同缺陷对应不同的颜色类别和标签类别；
流程二、一张子缺陷图上可标注若干检测框，并以固定的标签格式输出成txt文件，每张子缺陷图上的标签信息均会输出成txt文件，txt文件每行格式：标签号(class)标记框中心的x坐标与整张图x轴(宽)长度比值，标记框中心的y坐标与整张图y轴(高)长度比值，标记框宽度与整张图片x轴(宽)长度比值，标记框高度与整张图片y轴(高)长度比值。
本发明的进一步改进，所述步骤五SMGC-YOLOv5算法是一种目标检测算法，它大致可分为三个模块：输入端、Backbone主干网络和Head网络，
(1)输入端：大视野半导体芯片缺陷图像经过多尺度切割后的子缺陷图作为网络的输入，同一尺度下的子缺陷图大小一致。该模块包括图像预处理和数据增强模块。图像预处理即将输入图像缩放到网络的输入大小，并进行归一化等操作。同时，数据增强用于提升模型泛化能力。在现有数据集的基础上，增加参与模型训练的数据量，从而提升模型的性能。其包含以下操作：左右翻转、片拼接、机调整色度和随机缩放。
(2)Backbone主干网络：该模块用来提取半导体芯片图像中缺陷的深度特征。
(3)Head网络：Head用来完成目标检测结果的输出。针对本SMGC-YOLOv5检测算法，输出端有三个分支，分别对应待检测图的三种不同尺度缺陷检测框类型，输出尺寸为80*80*256的YoloHead用于检测小目标，40*40*512的用于检测中等目标，20*20*1024的用于检测大目标。
在SMGC_YOLOv5算法中，采用堆叠多尺度组卷积，通过调整卷积核的尺寸达到多尺度特征提取的目的。在不提升参数量和计算复杂度的前提下，不同尺度的卷积核可以提取多尺度信息，从而改善网络中实际的感受野不足和下采样细节信息丢失的问题。多尺度组卷积每一组的输入为全部输入，每组输出不同尺度的特征，为了尽可能的降低计算量，在每一组内部还进行了分组卷积，每一层的组卷积核包含不同的空间尺寸，随着组卷积核的提升而逐渐降低其深度。
该多尺度组卷积中每组的通道数不同，假设多尺度组卷积的输入包含Ci个通道数，多尺度组卷积每一层的卷积核尺寸为：K1 2,K2 2,....Kn 2，深度为：
对应的输出特征维度为Co1，Co2，...，ConA；
多尺度卷积的参数量和计算复杂度如下：
FLOPs＝para·w·h
上式中Co1+Co2+...Con＝Co，w和h代表子缺陷图的宽和高。若某网络层输出的通道数相同，则该层的参数量与计算复杂度分布较为均匀。基于上述描述，多尺度组卷积的计算复杂度与标准卷积相近。
本发明的进一步改进，所述步骤六包括以下流程：
半导体芯片推理图像被分割成三种尺度(9/16/25等分)，模型推理时，利用多线程处理技术，对不同尺寸的子缺陷图并行推理，可有效提高模型推理效率，推理结束后，对于同一张原图的多尺度子缺陷图逐一进行映射处理，即将子图中缺陷检测框映射至相应的半导体芯片外观大图中的对应位置，在原待检测图中的子图中，缺陷检测框的中心位置将映射至原待检测图上，缺陷检测框相对于子图的位置和大小也随之映射至原待检测图中，具体映射公式如下：
p∈[0，n-1]，q∈[0，n-1]
上式中，对于n等分的图像，[p，q]代表子图的编号，w和h代表原图像的宽和高。(xi，yi)表示相对于子图的检测框的中心位置，(x1，y1)表示相对于子图的检测框的左上顶点位置，(X，Y)为映射至原图中检测框中心位置，(X1，Y1)为映射至原图中检测框左上顶点位置，(X2，Y2)为映射至原图中检测框右下顶点位置；从而完成缺陷检测框的定位工作，将多尺度子缺陷图中的检测框逐一映射至大视野半导体芯片外观图像中，输出检测结果大图，完成端到端缺陷检测；最后，输出一张原大小的大视野半导体芯片外观缺陷检测图像，实现大图输入、大图输出的端到端缺陷检测。
本发明的有益效果：本发明以大视野半导体芯片缺陷作为网络输入，采用堆叠多尺度组卷积SMGC-YOLOv5算法进行半导体芯片外观缺陷检测，在减少模型参数量的同时，大大缩短模型训练和推理时间，并且有效提升模型性能，有效提升缺陷特征表述的可辨别性和大视野半导体芯片外观缺陷检测的准确性；训练推理过程，对不同尺度下的子缺陷图进行特征提取，多线程推理多维度下的子缺陷图，最后将子缺陷图的推理结果映射至大图中，实现大图输入、大图输出的端到端轻量型缺陷检测；与其他相关算法相比，本发明所提算法在兼顾网络性能的同时，有效降低了模型参数量，提升了模型推理效率。因此，所提算法有效提升了计算机视觉下检测半导体芯片外观缺陷的检测效果和效率。
具体来说：
(1)本发明将堆叠多尺度组卷积嵌入YOLOv5半导体芯片外观缺陷检测算法，在提升模型检测性能的同时，有效降低模型参数量。
(2)本发明将不同尺度的子缺陷图作为模型训练的输入，提升了模型对不同尺度缺陷检测的准确性。
(3)本发明采用多线程推理多尺度子缺陷图，同时将不同位置的子缺陷图的推理结果映射至半导体芯片大图中，以实现大图输入、大图输出的端到端轻量型缺陷检测。
附图说明
图1是本发明的总流程图。
图2是本发明实施例中标注类别示例图。
图3是本发明实施例中标注格式原理图。
图4是本发明实施例中SMGC_YOLOv5算法流程图。
图5是本发明实施例中SMGC_YOLOv5算法网络结构图。
图6是本发明实施例中组卷积原理示意图。
图7是本发明实施例中映射原理示意图。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
如图1所示，一种大视野半导体芯片外观缺陷检测方法，包括以下步骤：
步骤一、输入大量存在一定缺陷的大视野半导体芯片外观图像；
步骤二、对步骤一获取到的半导体芯片外观图像依次分别进行9/16/25等分，分割成多尺度子缺陷图像数据集；
步骤三、对步骤二获取到的多尺度子缺陷图像进行图像标注，使用不同的颜色标签和类别，对半导体芯片子图像进行一系列缺陷标注，并输出与所标注的子图像对应的txt文件，保存标注框位置信息；
步骤四、得到步骤三标注完成的数据集后，按照一定的比例对数据集进行划分，分割成训练集和测试集；
步骤五、利用SMGC-YOLOv5算法对步骤三所获取的多尺度子缺陷图像训练集进行端到端模型训练，训练过程中采用调参方式，以获取最优模型；
步骤六、将半导体芯片外观测试图像依次分别进行9/16/25等分，利用多线程处理的优势及步骤五所训练的最优模型，同时推理所有已生成的多尺度子缺陷图，以提升推理速度。子缺陷图推理结束后，再将子缺陷图的推理结果映射至大视野半导体芯片图像上，并输出对应的大视野半导体芯片外观图像缺陷推理图像，从而完成半导体芯片外观图像缺陷检测。
步骤七、对大量存在一定缺陷的大视野半导体芯片外观图像，经上述步骤处理，获取训练完成的模型和推理结果大图，实现大图输入、大图输出的端到端缺陷检测。
在本实施例中，所述步骤三包括以下流程：
(1)缺陷标注：对获取到的多尺度子缺陷图像进行语义标注。使用自主开发的图像标注软件，对多尺度缺陷图进行标注，不同缺陷对应不同的颜色类别和标签类别，标注示例如图2所示。
(2)一张子缺陷图上可标注若干检测框，并以固定的标签格式输出成txt文件，标签格式如图3：
每张子缺陷图上的标签信息均会输出成txt文件，txt文件每行格式：
标签号(class)标记框中心的x坐标与整张图x轴(宽)长度比值；
标记框中心的y坐标与整张图y轴(高)长度比值；
标记框宽度与整张图片x轴(宽)长度比值；
标记框高度与整张图片y轴(高)长度比值。
由上图可得红色缺陷标记框的标签为(红色类别为0)：0，0.38，0.69，0.37，0.32。
在本实施例中，步骤五包括以下步骤：
SMGC-YOLOv5算法是一种目标检测算法，它大致可分为三个模块：输入端、Backbone主干网络和Head网络，图4为算法流程图，具体网络结构如图图5。
(1)输入端：大视野半导体芯片缺陷图像经过多尺度切割后的子缺陷图作为网络的输入，同一尺度下的子缺陷图大小一致。该模块包括图像预处理和数据增强模块。图像预处理即将输入图像缩放到网络的输入大小，并进行归一化等操作。同时，数据增强用于提升模型泛化能力。在现有数据集的基础上，增加参与模型训练的数据量，从而提升模型的性能。其包含以下操作：左右翻转、片拼接、机调整色度和随机缩放。
(2)Backbone主干网络：该模块用来提取半导体芯片图像中缺陷的深度特征。具体算法网络结构见图5。
(3)Head网络：Head用来完成目标检测结果的输出。针对本SMGC-YOLOv5检测算法，输出端有三个分支，分别对应待检测图的三种不同尺度缺陷检测框类型，输出尺寸为80*80*256的YoloHead用于检测小目标，40*40*512的用于检测中等目标，20*20*1024的用于检测大目标。
在SMGC_YOLOv5算法中，采用堆叠多尺度组卷积，通过调整卷积核的尺寸达到多尺度特征提取的目的。在不提升参数量和计算复杂度的前提下，不同尺度的卷积核可以提取多尺度信息，从而改善网络中实际的感受野不足和下采样细节信息丢失的问题。多尺度组卷积每一组的输入为全部输入，每组输出不同尺度的特征，为了尽可能的降低计算量，在每一组内部还进行了分组卷积，每一层的组卷积核包含不同的空间尺寸，随着组卷积核的提升而逐渐降低其深度。图6为多尺度组卷积的原理示意图。
该多尺度组卷积中每组的通道数不同，假设多尺度组卷积的输入包含Ci个通道数，多尺度组卷积每一层的卷积核尺寸为K1 2，K2 2，...，Kn 2，深度为
对应的输出特征维度为Co1，Co2，...，ConA。多尺度卷积的参数量和计算复杂度如下：
FLOPs＝Para·w·h
上式中Co1+Co2+...+Con＝Co，w和h代表子缺陷图的宽和高。若某网络层输出的通道数相同，则该层的参数量与计算复杂度分布较为均匀。基于上述描述，多尺度组卷积的计算复杂度与标准卷积相近。
在本实施例中，所述步骤六包括以下步骤：
半导体芯片推理图像被分割成三种尺度(9/16/25等分)。模型推理时，利用多线程处理技术，对不同尺寸的子缺陷图并行推理，可有效提高模型推理效率。推理结束后，对于同一张原图的多尺度子缺陷图逐一进行映射处理，即将子图中缺陷检测框映射至相应的半导体芯片外观大图中的对应位置，具体映射原理示意图如图7。
据图7所示，在原待检测图中的子图中，缺陷检测框的中心位置将映射至原待检测图上，缺陷检测框相对于子图的位置和大小也随之映射至原待检测图中，具体映射公式如下：
p∈[0，n-1]，q∈[0，n-1]
上式中，对于n等分的图像，[p，q]代表子图的编号，w和h代表原图像的宽和高。(xi，yi)表示相对于子图的检测框的中心位置，(x1，y1)表示相对于子图的检测框的左上顶点位置，(X，Y)为映射至原图中检测框中心位置，(X1，Y1)为映射至原图中检测框左上顶点位置，(X2，Y2)为映射至原图中检测框右下顶点位置。从而完成缺陷检测框的定位工作，将多尺度子缺陷图中的检测框逐一映射至大视野半导体芯片外观图像中，输出检测结果大图，完成端到端缺陷检测。最后输出一张原大小的大视野半导体芯片外观缺陷检测图像，实现大图输入、大图输出的端到端缺陷检测。
以上所述为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种大视野半导体芯片外观缺陷检测方法，包括以下步骤：
步骤一、输入大量存在一定缺陷的大视野半导体芯片外观图像；
步骤二、对步骤一获取到的半导体芯片外观图像依次分别进行9/16/25等分，分割成多尺度子缺陷图像数据集；
步骤三、对步骤二获取到的多尺度子缺陷图像进行图像标注，使用不同的颜色标签和类别，对半导体芯片子图像进行一系列缺陷标注，并输出与所标注的子图像对应的txt文件，保存标注框位置信息；
步骤四、得到步骤三标注完成的数据集后，按照一定的比例对数据集进行划分，分割成训练集和测试集；
步骤五、利用SMGC-YOLOv5算法对步骤三所获取的多尺度子缺陷图像训练集进行端到端模型训练，训练过程中采用调参方式，以获取最优模型；
步骤六、将半导体芯片外观测试图像依次分别进行9/16/25等分，利用多线程处理的优势及步骤五所训练的最优模型，同时推理所有已生成的多尺度子缺陷图，以提升推理速度，子缺陷图推理结束后，再将子缺陷图的推理结果映射至大视野半导体芯片图像上，并输出对应的大视野半导体芯片外观图像缺陷推理图像，从而完成半导体芯片外观图像缺陷检测；
步骤七、对大量存在一定缺陷的大视野半导体芯片外观图像，经上述步骤处理，获取训练完成的模型和推理结果大图，实现大图输入、大图输出的端到端缺陷检测。
2.根据权利要求1所述的大视野半导体芯片外观缺陷检测方法，所述步骤三包括以下流程：
流程一、缺陷标注：对获取到的多尺度子缺陷图像进行语义标注，使用自主开发的图像标注软件，对多尺度缺陷图进行标注，不同缺陷对应不同的颜色类别和标签类别；
流程二、一张子缺陷图上注若干检测框，并以固定的标签格式输出成txt文件，每张子缺陷图上的标签信息均会输出成txt文件，txt文件每行格式：标签号标记框中心的x坐标与整张图x轴长度比值，标记框中心的y坐标与整张图y轴长度比值，标记框宽度与整张图片x轴长度比值，标记框高度与整张图片y轴长度比值。
3.根据权利要求2所述的大视野半导体芯片外观缺陷检测方法，所述步骤五中的SMGC-YOLOv5算法分为三个模块：输入端、Backbone主干网络和Head网络；
(1)输入端：包括图像预处理和数据增强模块，图像预处理即将输入图像缩放到网络的输入大小，并进行归一化等操作，同时，数据增强用于提升模型泛化能力，在现有数据集的基础上，增加参与模型训练的数据量，从而提升模型的性能，其包含以下操作：左右翻转、片拼接、机调整色度和随机缩放；
(2)Backbone主干网络：该模块用来提取半导体芯片图像中缺陷的深度特征；
(3)Head网络：Head用来完成目标检测结果的输出，针对本SMGC-YOLOv5检测算法，输出端有三个分支，分别对应待检测图的三种不同尺度缺陷检测框类型，输出尺寸为80*80*256的YoloHead用于检测小目标，40*40*512的用于检测中等目标，20*20*1024的用于检测大目标。
4.根据权利要求3所述的大视野半导体芯片外观缺陷检测方法，所述步骤五中多尺度组卷积中每组的通道数不同，设定多尺度组卷积的输入包含Ci个通道数，多尺度组卷积每一层的卷积核尺寸为：K1 2,K2 2,....Kn 2，深度为：
Figure FDA0004062277670000021
对应的输出特征维度为Co1，Co2，...，ConA；
多尺度卷积的参数量和计算复杂度如下：
Figure FDA0004062277670000022
FLOPs＝Para·w·h
上式，中Co1+Co2+...+Con＝Co，w和h代表子缺陷图的宽和高，若某网络层输出的通道数相同，则该层的参数量与计算复杂度分布较为均匀，基于上述描述，多尺度组卷积的计算复杂度与标准卷积相近。
5.根据权利要求4所述的大视野半导体芯片外观缺陷检测方法，所述步骤六包括以下流程：半导体芯片推理图像被分割成三种尺度：9/16/25等分，利用多线程处理技术，对不同尺寸的子缺陷图并行推理，推理结束后，对于同一张原图的多尺度子缺陷图逐一进行映射处理，即将子图中缺陷检测框映射至相应的半导体芯片外观大图中的对应位置，在原待检测图中的子图中，缺陷检测框的中心位置将映射至原待检测图上，缺陷检测框相对于子图的位置和大小也随之映射至原待检测图中。
6.根据权利要求5所述的大视野半导体芯片外观缺陷检测方法，所述步骤六的具体映射公式如下：
Figure FDA0004062277670000031
Figure FDA0004062277670000032
Figure FDA0004062277670000033
p∈[0，n-1]，q∈[0，n-1]
上式中，对于n等分的图像，[p，q]代表子图的编号，w和h代表原图像的宽和高，(xi，yi)表示相对于子图的检测框的中心位置，(x1，y1)表示相对于子图的检测框的左上顶点位置，(X，Y)为映射至原图中检测框中心位置，(X1，Y1)为映射至原图中检测框左上顶点位置，(X2，Y2)为映射至原图中检测框右下顶点位置；从而完成缺陷检测框的定位工作，将多尺度子缺陷图中的检测框逐一映射至大视野半导体芯片外观图像中，输出检测结果大图，完成端到端缺陷检测；最后，输出一张原大小的大视野半导体芯片外观缺陷检测图像，实现大图输入、大图输出的端到端缺陷检测。
CN202310066066.XA 2023-02-06 2023-02-06 一种大视野半导体芯片外观缺陷检测方法 Pending CN116051515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310066066.XA CN116051515A (zh) 2023-02-06 2023-02-06 一种大视野半导体芯片外观缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310066066.XA CN116051515A (zh) 2023-02-06 2023-02-06 一种大视野半导体芯片外观缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116051515A true CN116051515A (zh) 2023-05-02

Family

ID=86132926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310066066.XA Pending CN116051515A (zh) 2023-02-06 2023-02-06 一种大视野半导体芯片外观缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116051515A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036769A (zh) * 2023-05-17 2023-11-10 广州铁路职业技术学院 一种芯片缺陷检测方法、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036769A (zh) * 2023-05-17 2023-11-10 广州铁路职业技术学院 一种芯片缺陷检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
Su et al. Deep learning-based solar-cell manufacturing defect detection with complementary attention network
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN109740686A (zh) 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN110796143A (zh) 一种基于人机协同的场景文本识别方法
CN110032952B (zh) 一种基于深度学习的道路边界点检测方法
CN110543906A (zh) 基于数据增强和Mask R-CNN模型的肤质自动识别方法
CN110222712B (zh) 一种基于深度学习的多专项目标检测算法
CN105303169A (zh) 一种基于慢特征的细胞分裂识别方法及其识别装置
CN116051515A (zh) 一种大视野半导体芯片外观缺陷检测方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN111461036A (zh) 一种利用背景建模增强数据的实时行人检测方法
CN109584206A (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN117274388A (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及系统
CN114511532A (zh) 基于特征引导的通道蒸馏的太阳能电池表面缺陷检测方法
CN116309398A (zh) 一种多通道特征融合学习的印制电路板小目标缺陷检测方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN108986090A (zh) 一种应用于机箱表面划痕检测的深度卷积神经网络方法
Yang et al. Classification of industrial surface defects based on neural architecture search
CN111461060A (zh) 一种基于深度学习和极限学习机的交通标志识别方法
Cheng et al. RETRACTED ARTICLE: Capacitance pin defect detection based on deep learning
CN111881744A (zh) 一种基于空间位置信息的人脸特征点定位方法及系统
CN109740618A (zh) 基于fhog特征的络试卷分数自动统计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination