CN115439427A - 基于级联yolo-gan的晶圆缺陷检测及定位算法 - Google Patents

基于级联yolo-gan的晶圆缺陷检测及定位算法 Download PDF

Info

Publication number
CN115439427A
CN115439427A CN202211028774.6A CN202211028774A CN115439427A CN 115439427 A CN115439427 A CN 115439427A CN 202211028774 A CN202211028774 A CN 202211028774A CN 115439427 A CN115439427 A CN 115439427A
Authority
CN
China
Prior art keywords
wafer
defect
detection
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211028774.6A
Other languages
English (en)
Inventor
夏新栋
杨彪
黄振涛
谢陈明玥
汤芷涵
黄怡
王睿
杨长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN202211028774.6A priority Critical patent/CN115439427A/zh
Publication of CN115439427A publication Critical patent/CN115439427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明属于深度学习计算机机器视觉领域和半导体技术检测领域，提出一种基于级联YOLO‑GAN的晶圆缺陷检测及定位算法。在晶圆片生成制造过程中，将原始图像晶圆片分别送入基于改进YOLOv5的晶圆检测模型和基于BiseNet的晶圆语义分割模型中，获得晶圆片目标检测框位置和晶圆片的前景掩模；原始图像输入至基于改进生成对抗网络的缺陷检测模型，进而重构晶圆图像，并定位晶圆缺陷区域；利用晶圆片目标检测框位置作为约束，对缺陷图像的连通域进行分析，引入Softmax分类器实现对缺陷的定位以及晶圆缺陷的细分。本发明实现对不同尺度晶圆片的视觉检测，适用于晶圆缺陷的自动检测，能够大大提高缺陷检测的准确性与效率。

Description

基于级联YOLO-GAN的晶圆缺陷检测及定位算法
技术领域
本发明涉及深度学习计算机机器视觉领域和半导体技术检测领域，尤其涉及一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法。
背景技术
随着我国的半导体设计和制造技术发展迅速，作为制作半导体电路所需的晶片，晶圆的生产制造过程显得尤为重要。由于晶圆的微纳加工过程较为复杂，分为匀胶、压模、压印等过程，在这些过程中易产生压印图案不完整、转移层出现气泡、表面划痕以及颗粒缺陷等多种类型的晶圆片缺陷，从而直接降低了生产晶圆的良率，大大影响芯片的电气特性。因此，需要在制造半导体的过程中对晶圆片进行定位和缺陷检测，剔除有缺陷的晶圆片保证晶圆片的良率。
利用机器视觉技术检测晶圆及其缺陷，其核心在于如何从晶圆图像中准确提取与晶圆及缺陷判别相关的特征。常用方法依赖手工设计的特征，如专利CN 114709146A一种晶圆检测方法及检测系统，特征鲁棒性不高，只适用于简单场景下的检测任务，在复杂环境下对晶圆及其缺陷的检测能力不足，无法达到工程实用所需要的速度与精度。
近年来，深度学习在计算机视觉领域得到广泛应用，尤其在目标检测和表面缺陷检测领域取得了长足的进步。本发明提出一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法，针对生产过程中晶圆产生缺陷的特点，整合并改进目标检测、语义分割、图像生成构成联合系统。
发明内容
本发明目的在于提供一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法，此方法提出采用级联YOLO-GAN通过整合目标检测、语义分割与图像重构技术，实现晶圆缺陷检测及定位算法；
本发明的技术方案为：
一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法，包括步骤如下；
1)、在晶圆片生成制造过程中，将原始图像晶圆片送入基于改进YOLOv5 的晶圆检测模型中，获得晶圆片目标检测框位置；
2)、输入原始图像晶圆片至基于BiseNet的晶圆语义分割模型，进行晶圆片语义分割，获得晶圆片的前景掩模m；
3)、原始图像T输入至基于改进生成对抗网络的缺陷检测模型，基于改进生成对抗网络的缺陷检测模型包括生成器G、鉴别器D与二次编码器E；原始图像经生成器生成重构图像，采用内容损失Lcon反映重构图像与真实图像之间的差异；二次编码器对重构图像进行二次编码得到二次隐变量，用编码损失函数 L降低原始图像的隐变量和重构图像的二次隐变量之间的差值；将原始图像和 enc
重构图像输入至鉴别器，生成器和鉴别器迭代优化达到纳什平衡，直至原始图像和重构图像在博弈过程中产生的对抗损失满足要求，基于改进生成对抗网络的缺陷检测模型训练完成；鉴别器中原始图像T和重构图像做差，获得差分图像；利用晶圆片的前景掩模进行约束，进而将差分图像ΔT中的前景像素数数目与给定阈值进行比较，判断是否存在缺陷；
4)、当步骤3)的检测结果存在缺陷时，利用步骤1)中的晶圆片目标检测框位置作为约束，对缺陷图像的连通域进行分析，引入Softmax分类器实现对缺陷的定位以及晶圆缺陷的细分；Softmax分类器采用交叉熵损失函数评估，并对晶圆片缺陷分类的正确与否进行调整；当步骤3)的检测结果不存在缺陷时，直接输出晶圆片定位及缺陷检测结果。
所述步骤1)改进YOLOv5的晶圆检测模型基于单阶段YOLOv5进行改进；本发明的晶圆检测模型考虑到被应用于边缘计算设备，需要兼顾检测的速度与精度，因此引入单阶段YOLOv5检测算法并进行改进；传统的YOLOv5输出模块包括三种不同尺寸的特征图，通过将不同特征图同时送入检测头，同时检测图像中不同尺度的目标，由于晶圆图像中通常包含单个或多个尺度相近的晶圆，需要在传统的YOLOv5输出模块基础上进行改进，利用mobilenet卷积算子替代标准卷积以提高特征融合速度，并输出晶圆视觉特征送入YOLOv5检测头，实现晶圆检测；改进YOLOv5的晶圆检测模型输出模块采用mobilenet卷积算子替代单阶段YOLOv5的标准卷积，以提高特征融合速度；改进YOLOv5的晶圆检测模型包括骨架网络、特征增强网络、上下采样网络层、mobilenet卷积层和检测头网络层；
原始图像晶圆片通过骨架网络和特征增强网络，得到从低级特征尺度1/2x 到高级特征尺度1/16x的多尺度特征信息流；再通过上下采样网络层与1×1卷积核对特征图在深度方向进行加权信息整合，得到不同尺寸的特征图；不同尺寸的特征图同时送入检测头网络层，检测特征图中不同尺度的目标，实现晶圆片检测获得晶圆片目标检测框位置。
所述步骤2)中，基于BiseNet的晶圆语义分割模型具体为基于BiseNet的晶圆语义分割模型采用双向语义分割网络，实现对目标检测速度的同时，也更加重视空间信息，该网络通过设计小步长的空间路径对空间位置信息进行保留，从而生成高分辨率的特征图；另外通过设计含有快速下采样率的上下文路径，获得客观的感受野；在上述的两部分融入一个新的特征融合模块将两部分的特征图融合，使得速度和精度达到平衡；输入原始图像晶圆片，分别经空间路径和上下文路径进行提取特征，空间路径中经过卷积批处理进行批处理规范化和激活，保留输入晶圆片原图像的空间尺度并丰富空间信息编码；上下文路径结合注意力优化模块，优化每一段的特征输出；空间路径和上下文路径所提取的特征均输入至特征融合模块，经主损失函数监督BiseNet输出，从而获得晶圆片的前景掩模。
所述步骤3)中，基于改进生成对抗网络的缺陷检测模型包括生成器G、鉴别器D与二次编码器E；生成器G是一个生成式的网络，其包括编码器GE和解码器GD；输入原始图像通过编码器GE和解码器GD生成重构图像
Figure BDA0003816676880000031
生成器 G中的编码器GE对原始图像T进行编码得到隐变量a，隐变量a输入生成器G 中解码器GD解码得到重构图像
Figure BDA0003816676880000032
Figure BDA0003816676880000033
WGD、WGE分别表示编码器GE和解码器GD的可学习权重；二次编码器E对重构图像进行编码，得到二次隐变量
Figure BDA0003816676880000041
如下式所示：
Figure BDA0003816676880000042
WE表示解码器E的可学习参数；根据隐变量a和二次隐变量
Figure BDA0003816676880000043
的差值得到编码损失；鉴别器D是判别网络，其为三层卷积神经网络；输入原始图像和重构图像至鉴别器D中，判别并输出该重构图像是否为真实图像，输出lD，
Figure BDA0003816676880000044
所述基于改进生成对抗网络的缺陷检测模型，采用加权方式联合生成损失函数；设计对抗损失、内容损失和编码损失三个损失函数，采用加权方式构造出联合损失函数；采用对抗损失函数表征Ladv生成器与鉴别器在博弈过程中产生的损失，使用L2范数损失函数计算，如下式所示：Ladv＝||f(r)-f(G(r)||2；采用内容损失Lcon反映重构图像
Figure BDA0003816676880000045
与真实图像T之间的差异，使用L1范数损失函数计算，如下式所示：Lcon＝||T-G(r)||1；采用编码损失Lenc来降低输入图像特征向量T与重构图像特征向量
Figure BDA0003816676880000046
之间的差距，使用L2范数损失函数计算，如下式所示： Lenc＝||GE(x)-E(G(x))||2，最后，通过加权方式生成联合损失函数L，如下式所示： L＝ωadvLadv+ωconLcon+ωencLenc，ωadv，ωcon，ωenc是加权参数，用于调整单个损失对总体目标函数的影响。
所述检测结果存在缺陷时，将训练生成对抗网络得到的缺陷区域按照宽高等比例放大2倍得到晶圆缺陷掩模M，M包含了缺陷区域及其空间上下文信息，利用晶圆缺陷掩模M从目标检测框中提取细分瑕疵特征，过程如下式所示：D＝F⊙M；其中，⊙表示逐点相乘，F表示mobilenet卷积算子输出的特征图， D表示晶圆片缺陷相关的目标检测框；使用多层感知器MLP对D进行编码降维，得到降维后的特征编码D'；降维后的特征编码D'经过Softmax分类器后，使用交叉熵损失函数进行分类，如下式所示：
Figure BDA0003816676880000047
k表示细分瑕疵种类数目，
Figure BDA0003816676880000048
表示标签的one-hot编码，di表示Softmax分类器的输出。
本发明的有益效果：
(1)通过整合YOLOv5的多尺度输出特征实现对不同尺度晶圆片的视觉检测；
(2)通过引入轻量级BiseNet计算晶圆的前景掩模，从而抑制无关背景噪声的干扰；
(3)结合晶圆缺陷区域定位及YOLOv5得到的视觉特征，提取晶圆缺陷相关特征，实现了其缺陷的细分；
(4)本发明适用于晶圆缺陷的自动检测，能够大大提高缺陷检测的准确性与效率。
附图说明
图1是本发明基于级联YOLO-GAN的晶圆缺陷检测及定位整体算法流程图；
图2是本发明中提出的基于改进YOLOv5的晶圆检测模型结构图；
图3是本发明中提出的基于BiseNet的晶圆语义分割模型示意图；
图4是本发明中提出的基于改进生成对抗网络的缺陷检测模型示意图。
具体实施方式
下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此；
图1给出了基于级联YOLO-GAN的晶圆缺陷检测及定位整体算法流程图：
本发明提出一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法，并结合改进YOLOv5目标检测模型，利用改进生成对抗网络的缺陷检测模型重构晶圆片区域，通过重构图像与原始图像的差异无监督地检测并定位晶圆缺陷区域，同时，引入基于BiseNet的晶圆语义分割模型计算晶圆的前景掩模，实现缺陷的细分；
本发明通过深度学习，将晶圆图片分别送入改进YOLOv5的检测模型与基于BiseNet的语义分割模型，获得晶圆片目标检测框位置及对应的前景掩模；本发明根据晶圆检测结果从原始图像定位缺陷区域，引入改进GAN进行区域重构，利用晶圆的前景掩模去除无关背景干扰，根据重构结果判断是否存在缺陷并实现缺陷定位；最后将根据缺陷定位结果从改进YOLOv5中提取晶圆缺陷相关的视觉特征，实现晶圆缺陷细分；
本发明的具体操作步骤：
图2给出了基于改进YOLOv5的晶圆检测模型结构图：
1)YOLOv5目标检测模型的框架
本发明引入单阶段的YOLOv5进行改进，可以兼顾到晶圆片检测的速度与精度，YOLOv5目标检测模型的框架，主要包含骨架网络、特征增强网络以及输出模块；而晶圆片图像中通常包含单个或多个尺度相近的晶圆，因此可以对传统YOLOv5的输出模块进行改进；将输入晶圆图像x序列通过YOLOv5的骨架网络和特征增强网络，得到从低级特征尺度1/2x到高级特征尺度1/16x的多尺度特征信息流；然后，通过上、下采样与1×1卷积核对特征图在深度方向进行加权信息整合，得到特征图x'；
2)Mobilenet卷积算子替代标准卷积
MobileNet的基本单元是深度级可分离卷积，深度级可分离卷积其实是一种可分解卷积操作，它和标准的卷积不同，标准卷积其卷积核是用在所有的输入通道上，而深度级可分离卷积针对每个输入通道采用不同的卷积核，即一个卷积核对应一个输入通道；在改进的YOLOv5目标检测模型的框架使用MobileNet 代替标准卷积，可以提高特征融合速度，并且大大减少计算量和模型参数量；将输出的晶圆视觉特征送入YOLOv5检测头，实现晶圆片检测，整个过程为 S＝Head(MB(x′,WB),WH)，其中，S表示晶圆片目标检测框位置，Head()与MB()分别表示YOLOv5检测头与Mobilenet卷积算子，WH和WB分别表示可学习参数；
图3为基于BiseNet的晶圆语义分割模型示意图：
1)引入BiseNet实时语义分割网络框架
本发明采用双向语义分割网络，它可以实现对目标检测速度的同时，也更加重视空间信息，该网络通过设计小步长的空间路径对空间位置信息进行保留，从而生成高分辨率的特征图；另外通过设计含有快速下采样率的语义路径，获得客观的感受野；在上述的两部分融入一个新的特征融合模块将两部分的特征图融合，使得速度和精度达到平衡；
图4提出基于改进生成对抗网络的缺陷检测模型示意图：
1)改进的生成对抗网络
本发明所提出的基于改进生成对抗网络(GAN)的缺陷检测模型，其模型包含生成器G、鉴别器D与二次编码器E，其中生成器G通过自编码器实现。 G中的编码器GE对输入图像T进行编码得到隐变量a，然后送入解码器GD解码得到重构图像
Figure BDA0003816676880000071
采用公式如
Figure BDA0003816676880000072
其中，WGD、WGE分别表示编码器GE和解码器GD的可学习权重，鉴别器D使用三层卷积神经网络实现，分别接收真实图像T与重构图像
Figure BDA0003816676880000073
并进行真伪判断，采用公式如
Figure BDA0003816676880000074
其中，lD表示鉴别器D的输出结果，WD表示其可学习参数；为了改善生成器G的样本生成能力，本文引入二次编码器E对重构图像
Figure BDA0003816676880000075
进行编码，得到编码结果
Figure BDA0003816676880000076
并令
Figure BDA0003816676880000077
逼近a，采用公式如
Figure BDA0003816676880000078
其中，WE表示解码器E的可学习参数；
2)设计三个损失函数
为了训练基于改进生成对抗网络的缺陷检测模型，设计了如下的三个损失函数，并通过加权方式构造联合损失函数，具体如下：
对抗损失：表征生成器与鉴别器在博弈过程中产生的损失，使用L2范数损失函数计算，有以下公式：Ladv＝||f(r)-f(G(r)||2；
内容损失：反映重构图像与真实图像之间的差异，使用L1范数损失函数计算，采用如下的公式：Lcon＝||T-G(r)||1；
编码损失：用来降低输入图像特征向量与重构图像特征向量之间的差距，使用L2范数损失函数计算，如下所示：Lenc＝||GE(x)-E(G(x))||2；
最后，通过加权方式生成联合损失函数，采用如下的公式计算： L＝wadvLadv+wconLcon+wencLenc，其中，wadv，wcon和wenc是加权参数，用于调整单个损失对总体目标函数的影响；
3)Softmax分类器检测晶圆缺陷
Softmax分类器采用交叉熵损失函数来评估，并对分类的正确与否进行调整；Softmax分类器能够扩大分数的差距，即使得分函数的分数结果差别都不大，通过Softmax分类器，就能够使得分数的差距进一步拉大，使得分类效果更加明显，在完成提取缺陷相关的视觉特征，将缺陷相关的特征送入Softmax分类器，检测晶圆片的缺陷。
4)根据Mobile convolution提取细分缺陷特征
本发明针对于晶圆存在缺陷的情况，将改进GAN的晶圆缺陷区域定位得到的缺陷区域按照宽高等比例放大2倍得到晶圆缺陷掩模M，M包含了缺陷区域及其空间上下文信息。然后，利用M从改进YOLOv5中Mobile convolution模块输出的特征图中提取细分缺陷特征，过程如该公式：D＝F⊙M；该式中，⊙表示逐点相乘，F表示Mobilenet卷积输出的特征图，D表示晶圆缺陷相关的视觉特征。进而，使用多层感知器(MLP)对D进行编码降维，得到降维后的特征编码D’。为了成功训练晶圆缺陷分类器，D’经过Softmax激活函数后，使用交叉熵损失函数进行分类，有如下公式：
Figure BDA0003816676880000081
式中，k表示细分缺陷种类数目，
Figure BDA0003816676880000082
表示标签的one-hot编码，di表示Softmax激活函数的输出。
1)为了验证所提改进策略的有效性，本发明使用常见目标检测算法进行对比，包括Faster RCNN、SSD、YOLOv3、YOLOv4、YOLOv5，详见表1。同时，本发明对比了不同算法的处理速度。本发明提出的改进YOLOv5在平均精度均值及处理速度方面都取得了最佳表现。相比于其它常用目标检测算法，YOLOv5 在平均精度均值及处理速度上都取得了较好的表现，反观二阶段的Faster RCNN 的处理速度达到142.5ms，且mAP指标弱于YOLOv5。相比于原始YOLOv5，本发明通过改进输出模块的信息聚合方式，因此在平均精度均值上提高了0.34％，平均处理速度加快了4.1ms。
表1晶圆片检测算法性能对比表
Figure BDA0003816676880000091
表2晶圆片检测算法消融实验数据表
Figure BDA0003816676880000092
2)从表2中可以看出，本发明提出的级联YOLO-GAN具有最佳的晶圆片缺陷检测表现。此外，对GAN及YOLOv5的改进都对缺陷检测的平均识别率提升有所帮助。通过对比是否采用BiseNet的结果不难看出，晶圆片的前景掩模对于检测晶圆片缺陷有较大的帮助，通过抑制无关背景干扰，可以令网络将注意力集中于晶圆片缺陷的视觉特征，从而更好地细分晶圆片缺陷种类。
以上所述对本发明进行了简单说明，并不受上述工作范围限值，只要采取本发明思路和工作方法进行简单修改运用到其他设备，或在不改变本发明主要构思原理下做出改进和润饰等行为，均在本发明的保护范围之内。

Claims (6)

1.一种基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，包括步骤如下；
1)、在晶圆片生成制造过程中，将原始图像晶圆片送入基于改进YOLOv5的晶圆检测模型中，获得晶圆片目标检测框位置；
2)、输入原始图像晶圆片至基于BiseNet的晶圆语义分割模型，进行晶圆片语义分割，获得晶圆片的前景掩模m；
3)、原始图像T输入至基于改进生成对抗网络的缺陷检测模型，基于改进生成对抗网络的缺陷检测模型包括生成器G、鉴别器D与二次编码器E；原始图像经生成器生成重构图像，采用内容损失Lcon反映重构图像与真实图像之间的差异；二次编码器对重构图像进行二次编码得到二次隐变量，用编码损失函数Lenc降低原始图像的隐变量和重构图像的二次隐变量之间的差值；将原始图像和重构图像输入至鉴别器，生成器和鉴别器迭代优化达到纳什平衡，直至原始图像和重构图像在博弈过程中产生的对抗损失满足要求，基于改进生成对抗网络的缺陷检测模型训练完成；鉴别器中原始图像T和重构图像做差，获得差分图像；利用晶圆片的前景掩模进行约束，进而将差分图像ΔT中的前景像素数数目与给定阈值进行比较，判断是否存在缺陷；
4)、当步骤3)的检测结果存在缺陷时，利用步骤1)中的晶圆片目标检测框位置作为约束，对缺陷图像的连通域进行分析，引入Softmax分类器实现对缺陷的定位以及晶圆缺陷的细分；Softmax分类器采用交叉熵损失函数评估，并对晶圆片缺陷分类的正确与否进行调整；当步骤3)的检测结果不存在缺陷时，直接输出晶圆片定位及缺陷检测结果。
2.根据权利要求1所述的基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，所述步骤1)改进YOLOv5的晶圆检测模型基于单阶段YOLOv5进行改进，改进YOLOv5的晶圆检测模型输出模块采用mobilenet卷积算子替代单阶段YOLOv5的标准卷积，以提高特征融合速度；改进YOLOv5的晶圆检测模型包括骨架网络、特征增强网络、上下采样网络层、mobilenet卷积层和检测头网络层；
原始图像晶圆片通过骨架网络和特征增强网络，得到从低级特征尺度1/2x到高级特征尺度1/16x的多尺度特征信息流；再通过上下采样网络层与1×1卷积核对特征图在深度方向进行加权信息整合，得到不同尺寸的特征图；不同尺寸的特征图同时送入检测头网络层，检测特征图中不同尺度的目标，实现晶圆片检测获得晶圆片目标检测框位置。
3.根据权利要求1所述的基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，所述步骤2)中，基于BiseNet的晶圆语义分割模型具体为
基于BiseNet的晶圆语义分割模型采用双向语义分割网络，输入原始图像晶圆片，分别经空间路径和上下文路径进行提取特征，空间路径中经过卷积批处理进行批处理规范化和激活，保留输入晶圆片原图像的空间尺度并丰富空间信息编码；上下文路径结合注意力优化模块，优化每一段的特征输出；空间路径和上下文路径所提取的特征均输入至特征融合模块，经主损失函数监督BiseNet输出，从而获得晶圆片的前景掩模。
4.根据权利要求1所述的基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，所述步骤3)中，基于改进生成对抗网络的缺陷检测模型包括生成器G、鉴别器D与二次编码器E；生成器G是一个生成式的网络，其包括编码器GE和解码器GD；输入原始图像通过编码器GE和解码器GD生成重构图像
Figure FDA0003816676870000021
生成器G中的编码器GE对原始图像T进行编码得到隐变量a，隐变量a输入生成器G中解码器GD解码得到重构图像
Figure FDA0003816676870000022
Figure FDA0003816676870000023
WGD、WGE分别表示编码器GE和解码器GD的可学习权重；二次编码器E对重构图像进行编码，得到二次隐变量
Figure FDA0003816676870000031
如下式所示：
Figure FDA0003816676870000032
WE表示解码器E的可学习参数；根据隐变量a和二次隐变量
Figure FDA0003816676870000033
的差值得到编码损失；鉴别器D是判别网络，其为三层卷积神经网络；输入原始图像和重构图像至鉴别器D中，判别并输出该重构图像是否为真实图像，输出lD，
Figure FDA0003816676870000034
5.根据权利要求1或4所述的基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，所述基于改进生成对抗网络的缺陷检测模型，采用加权方式联合生成损失函数；
设计对抗损失、内容损失和编码损失三个损失函数，采用加权方式构造出联合损失函数；采用对抗损失函数表征Ladv生成器与鉴别器在博弈过程中产生的损失，使用L2范数损失函数计算，如下式所示：Ladv＝||f(r)-f(G(r)||2；采用内容损失Lcon反映重构图像
Figure FDA0003816676870000035
与真实图像T之间的差异，使用L1范数损失函数计算，如下式所示：Lcon＝||T-G(r)||1；采用编码损失Lenc来降低输入图像特征向量T与重构图像特征向量
Figure FDA0003816676870000036
之间的差距，使用L2范数损失函数计算，如下式所示：Lenc＝||GE(x)-E(G(x))||2，最后，通过加权方式生成联合损失函数L，如下式所示：L＝ωadvLadv+ωconLcon+ωencLenc，ωadv，ωcon，ωenc是加权参数，用于调整单个损失对总体目标函数的影响。
6.根据权利要求1所述的基于级联YOLO-GAN的晶圆缺陷检测及定位算法，其特征在于，所述检测结果存在缺陷时，将训练生成对抗网络得到的缺陷区域按照宽高等比例放大2倍得到晶圆缺陷掩模M，M包含了缺陷区域及其空间上下文信息，利用晶圆缺陷掩模M从目标检测框中提取细分瑕疵特征，过程如下式所示：D＝F⊙M；其中，⊙表示逐点相乘，F表示mobilenet卷积算子输出的特征图，D表示晶圆片缺陷相关的目标检测框；使用多层感知器MLP对D进行编码降维，得到降维后的特征编码D'；降维后的特征编码D'经过Softmax分类器后，使用交叉熵损失函数进行分类，如下式所示：
Figure FDA0003816676870000041
k表示细分瑕疵种类数目，
Figure FDA0003816676870000042
表示标签的one-hot编码，di表示Softmax分类器的输出。
CN202211028774.6A 2022-08-26 2022-08-26 基于级联yolo-gan的晶圆缺陷检测及定位算法 Pending CN115439427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211028774.6A CN115439427A (zh) 2022-08-26 2022-08-26 基于级联yolo-gan的晶圆缺陷检测及定位算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211028774.6A CN115439427A (zh) 2022-08-26 2022-08-26 基于级联yolo-gan的晶圆缺陷检测及定位算法

Publications (1)

Publication Number Publication Date
CN115439427A true CN115439427A (zh) 2022-12-06

Family

ID=84244892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211028774.6A Pending CN115439427A (zh) 2022-08-26 2022-08-26 基于级联yolo-gan的晶圆缺陷检测及定位算法

Country Status (1)

Country Link
CN (1) CN115439427A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116183623A (zh) * 2023-01-04 2023-05-30 天津大学 一种晶圆表面缺陷智能检测方法、装置
CN116202890A (zh) * 2023-05-05 2023-06-02 山东路达试验仪器有限公司 一种基于机器视觉的钢筋延伸率智能测量系统及方法
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116758544A (zh) * 2023-08-17 2023-09-15 泓浒(苏州)半导体科技有限公司 一种基于图像处理的晶圆编码识别系统
CN116934687A (zh) * 2023-06-12 2023-10-24 浙江大学 一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116183623A (zh) * 2023-01-04 2023-05-30 天津大学 一种晶圆表面缺陷智能检测方法、装置
CN116183623B (zh) * 2023-01-04 2024-04-26 天津大学 一种晶圆表面缺陷智能检测方法、装置
CN116202890A (zh) * 2023-05-05 2023-06-02 山东路达试验仪器有限公司 一种基于机器视觉的钢筋延伸率智能测量系统及方法
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116934687A (zh) * 2023-06-12 2023-10-24 浙江大学 一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法
CN116934687B (zh) * 2023-06-12 2024-02-09 浙江大学 基于半监督学习语义分割的注塑制品表面缺陷检测方法
CN116758544A (zh) * 2023-08-17 2023-09-15 泓浒(苏州)半导体科技有限公司 一种基于图像处理的晶圆编码识别系统
CN116758544B (zh) * 2023-08-17 2023-10-20 泓浒(苏州)半导体科技有限公司 一种基于图像处理的晶圆编码识别系统
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Similar Documents

Publication Publication Date Title
CN115439427A (zh) 基于级联yolo-gan的晶圆缺陷检测及定位算法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN109934200A (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110348376A (zh) 一种基于神经网络的行人实时检测方法
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN109657551B (zh) 一种基于上下文信息增强的人脸检测方法
CN113221639A (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN111340034B (zh) 一种针对自然场景的文本检测与识别方法及系统
CN110276264A (zh) 一种基于前景分割图的人群密度估计方法
CN113673509B (zh) 一种基于图像文本的仪表检测分类方法
CN111753787A (zh) 一种分离式的交通标志检测与识别方法
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN109816048A (zh) 一种基于属性迁移的图像合成方法
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN116012922A (zh) 一种适于口罩佩戴状态的人脸图像性别识别方法
Zhang et al. FDNet: Lightweight train image fault detection network in edge computing environments
CN116630989A (zh) 智能电表可视故障检测方法、系统、电子设备及存储介质
Xu et al. Mfsanet: Zero-shot side-scan sonar image recognition based on style transfer
CN110555483B (zh) 基于fw-dcgan特征生成的极化sar分类方法
CN104318207B (zh) 一种利用快速鲁棒特征和支持向量机来判断切变镜头和渐变镜头的方法
CN113963271A (zh) 用于从遥感图像中识别不透水面的模型及训练模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination