CN115795366A - 基于多支路注意力机制的晶圆图故障模式识别方法 - Google Patents

基于多支路注意力机制的晶圆图故障模式识别方法 Download PDF

Info

Publication number
CN115795366A
CN115795366A CN202211662683.8A CN202211662683A CN115795366A CN 115795366 A CN115795366 A CN 115795366A CN 202211662683 A CN202211662683 A CN 202211662683A CN 115795366 A CN115795366 A CN 115795366A
Authority
CN
China
Prior art keywords
branch
feature
wafer map
attention mechanism
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211662683.8A
Other languages
English (en)
Inventor
陈寿宏
刘美旗
侯杏娜
朱子任
马峻
黄新
黄振涛
汪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202211662683.8A priority Critical patent/CN115795366A/zh
Publication of CN115795366A publication Critical patent/CN115795366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多支路注意力机制的晶圆图故障模式识别方法，包括：以ResneXt基础残差块搭建ResneXt‑50用作特征提取主干网络；在ResneXt残差块后面融入多支路注意力机制，给晶圆图显著缺陷簇分配更大的权重以提升特征识别能力；将所述晶圆图数据集划分为训练集和测试集，对所述主干网络进行学习训练；在主干网络全连接层提取到的晶圆图缺陷特征信息输入到ECOC‑SVM进行最终分类。本发明通过多支路注意力机制给不同的晶圆图缺陷簇区域分配了不同的权重，提升了网络模型的特征提取能力，获得了更加全面的晶圆图缺陷簇特征信息，解决了不同类型晶圆图缺陷簇特征提取能力差异大、细节信息特征提取不全面的问题，提高了分类的准确率。

Description

基于多支路注意力机制的晶圆图故障模式识别方法
技术领域
本发明涉及半导体制造中生成真实晶圆图领域，具体涉及晶圆图故障模式识别分类算法研究。
背景技术
晶圆制造是半导体制造过程中的一个环节，半导体整个制造过程需要经过数百道工序，随着自动化和高精度仪器的发展也难以避免一些工艺故障，造成故障的产生。晶圆测试阶段通过测试可以检测到是否有故障晶粒，将有故障晶粒、无故障的晶粒和没有故障的位置用不同颜色标记出来可以形成一幅具有特定图案的故障模式晶圆图。通过对晶圆图故障模式识别分类，可以为工程师提供有用的信息，定位晶圆制造过程中产生故障的原因，进而提高晶圆生产良率。
随着半导体产业的发展，晶圆制造尺寸越来越大、工艺越来越复杂，晶圆产生的缺陷更加具有多样性，晶圆缺陷多尺度特征、缺陷多样性、新的缺陷种类都是当前面临的极大挑战。当前深度卷积神经网络能够自动对晶圆图故障模式进行识别分类，但是随着故障模式的多样性和复杂性的增加，深度卷积神经网络对于不同类型故障模式的识别能力有所差别，对于某些类型故障模式的识别分类准确率比较低。提高识别分类准确率，是当前晶圆图研究领域的一项重要任务。
发明内容
本发明目的在于提供一种基于多支路注意力机制的晶圆图故障模式识别方法，以解决当前DCNN对不同故障模式晶圆图识别能力不一致，对某些类型故障模式晶圆图识别分类准确率低的问题。该方法可以专注于不同故障模式晶圆图的显著缺陷簇特征，提升对不同类型故障模式晶圆图的识别能力。
为了达到上述目的，本发明提供了一种基于多支路注意力机制的晶圆图故障模式识别方法，包括：
以ResneXt基础残差块搭建ResneXt-50用作特征提取主干网络；
在ResneXt残差块后面融入多支路注意力机制，给晶圆图显著缺陷簇分配更大的权重以提升特征识别能力；
将所述晶圆图数据集划分为训练集和测试集，对所述主干网络进行学习训练；
在主干网络全连接层提取到的晶圆图缺陷特征信息输入到ECOC-SVM进行最终分类；
进一步的，所述以16个ResneXt基础残差块搭建ResneXt-50网络用作特征提取主干网络，每一个残差块输出得到不同语义信息的特征图。
进一步的，所述在ResneXt残差块后面融入多支路注意力机制，给晶圆图显著缺陷簇分配更大的权重以提升特征识别能力，包括：
在每一个ResneXt残差块后面融入多支路注意力机制，所述多支路注意力机制包括多支路通道注意力模块Mc和双支路空间注意力模块Ms。
进一步的，所述多支路通道注意力模块Mc具体为：
首先，在ResneXt残差块后面得到输出特征图F，将特征图F经过第一条支路进行平均池化操作得到C×1×1维度特征
Figure BDA0004013576030000027
，将特征图F经过第二条支路进行最大池化操作得到C×1×1维度特征
Figure BDA0004013576030000028
。第三支路为经过平均化和最大池化后的拼接特征
Figure BDA0004013576030000021
维度为2C×1×1；
其次，将三条支路输入到共享感知器MLP，分别将通道维度压缩r倍得到通道维度为C/r、C/r和2C/r的特征，得到通道权重较大的特征信息。再通过1×1的卷积操作分别将通道维度升维得到通道维度都为C的特征；
最后，将三条支路得到都为C×1×1维度的特征相加，再经过激活函数σ得到通道注意力模块输出Mc。Mc表达公式为：
Figure BDA0004013576030000022
其中，
Figure BDA0004013576030000023
表示经过平均池化操作后的特征，
Figure BDA0004013576030000029
表示经过最大池化操作后的特征，
Figure BDA0004013576030000024
为经过平均池化和最大池化后的拼接特征，W0，W1和W′0分别表示多层感知器MLP用于处理三条支路特征的权重参数，σ为sigmoid激活函数。将通过多支路通道注意力模块得到的特征Mc与原特征F相乘得到输出特征F′，表达式为：
Figure BDA0004013576030000025
其中F为ResneXt残差块输出特征图，Mc(F)为多支路通道注意力模块输出特征图，
Figure BDA0004013576030000026
表示特征图元素相乘。经过多支路通道注意力模块后的输出特征图，还需要经过双支路空间注意力模块进一步提取空间权重较大的显著特征。
进一步的，所述双支路空间注意力模块Ms具体为：
特征图F′经过第一条支路进行平均池化得到1×H×W维度的特征
Figure BDA0004013576030000031
特征图F′经过第二条支路进行平最大池化得到1×H×W维度的特征
Figure BDA0004013576030000032
将两条支路池化操作得到的特征拼接起来，得到维度为2×H×W维度的特征
Figure BDA0004013576030000033
再通过7×7的卷积核将空间特征降为1×H×W维度特征。最后经过sigmoid函数得到空间注意力输出Ms，Ms表达公式为：
Figure BDA0004013576030000034
其中，
Figure BDA0004013576030000035
和
Figure BDA0004013576030000036
分别为平均池化和最大池化操作输出，f7×7为7×7大小的卷积核，σ为sigmoid激活函数。将通过双支路空间注意力模块得到的特征Ms与特征F′相乘得到输出特征F″，表达式为：
Figure BDA0004013576030000037
其中，F′为经过多支路通道注意力模块输出特征，Ms(F)为双支路空间注意力模块输出特征图，
Figure BDA0004013576030000038
表示特征图元素相乘。
进一步的，所述晶圆图数据集按照80％、20％的比例划分为训练集和测试集，对所述主干网络进行学习训练。
进一步的，所述多支路注意力机制融入ResneXt主干网络，在主干网络全连接层提取特征，将特征输入到ECOC-SVM进行最终分类。
附图说明
图1为本发明实施例提供的基于多支路注意力机制的晶圆图故障模式识别方法流程图。
图2为本发明实施例提供的基于多支路注意力机制的特征提取主干网络结构图。
图3为本发明实施例提供的基于多支路注意力机制的多支路通道注意力模块结构图。
图4为本发明实施例提供的基于多支路注意力机制的双支路空间注意力模块结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，是本发明提供一种基于多支路注意力机制的晶圆图故障模式识别方法的流程示意图。如图1所示，具体的，所述一种基于多支路注意力机制的晶圆图故障模式识别方法包括以下步骤：
步骤S1：以16个ResneXt基础残差块搭建ResneXt-50用作特征提取主干网络，每一个残差块输出得到不同语义信息的特征图。
步骤S2：在每一个ResneXt残差块后面融入多支路注意力机制，给晶圆图显著缺陷簇分配更大的权重以提升特征识别能力。如图2所示，所述多支路注意力机制包括：多支路通道注意力模块和双支路空间注意力模块。在ResneXt残差块输出特征图F，经过多支路通道注意力模块，得到输出特征图Mc，Mc与原输出特征F相乘得到特征F′。F′经过双支路空间注意力模块得到输出特征Ms，特征Ms与特征F′相乘得到输出特征F″。
如图3所示，所述多支路通道注意力模块具体为：
首先，在ResneXt残差块后面得到输出特征图F，将特征图F经过第一条支路进行平均池化操作得到C×1×1维度特征
Figure BDA0004013576030000041
将特征图F经过第二条支路进行最大池化操作得到C×1×1维度特征
Figure BDA0004013576030000042
第三支路为经过平均化和最大池化后的拼接特征
Figure BDA0004013576030000043
维度为2C×1×1；
其次，将三条支路输入到共享感知器MLP，分别将通道维度压缩r倍得到通道维度为C/r、C/r和2C/r的特征，得到通道权重较大的显著缺陷簇特征信息。再通过1×1的卷积操作分别将通道维度升维得到通道维度都为C的特征；
最后，将三条支路得到都为C×1×1维度的特征相加，获得丰富的缺陷簇特征。再经过激活函数σ得到通道注意力模块输出Mc。Mc表达公式为：
Figure BDA0004013576030000044
其中，
Figure BDA0004013576030000045
表示经过平均池化操作后的特征，Fm c ax表示经过最大池化操作后的特征，
Figure BDA0004013576030000046
为经过平均池化和最大池化后的拼接特征，拼接特征可以最大保留池化结果的特征信息，更好地拟合最大池和平均池化后的特征之间的关联性。W0，W1和W0′分别表示多层感知器MLP用于处理三条支路特征的权重参数，σ为sigmoid激活函数。将通过多支路通道注意力模块得到的特征Mc与原特征F相乘得到输出特征F′，表达式为：
Figure BDA0004013576030000047
其中F为ResneXt残差块输出特征图，Mc(F)为多支路通道注意力模块输出特征图，
Figure BDA0004013576030000051
表示特征图元素相乘。经过多支路通道注意力模块之后，筛选出了通道权重较大的特征，得到的特征信息更为准确。
如图4所示，所述双支路空间注意力模块具体为：
特征图F经过第一条支路进行平均池化得到1×H×W维度的特征
Figure BDA0004013576030000052
特征图F′经过第二条支路进行平最大池化得到1×H×W维度的特征
Figure BDA0004013576030000053
将两条支路池化操作得到的特征拼接起来，得到维度为2×H×W维度的特征
Figure BDA0004013576030000054
再通过7×7的卷积核将空间特征降为1×H×W维度特征。最后经过sigmoid函数得到空间注意力输出Ms，Ms表达公式为：
Figure BDA0004013576030000055
其中，Fa s vg和Fm s ax分别为平均池化和最大池化操作输出，f7×7为7×7大小的卷积核，σ为sigmoid激活函数。将通过双支路空间注意力模块得到的特征Ms与特征F′相乘得到输出特征F″，表达式为：
Figure BDA0004013576030000056
其中，F′为经过多支路通道注意力模块输出特征，Ms(F)为双支路空间注意力模块输出特征图，
Figure BDA0004013576030000057
表示特征图元素相乘。经过双支路空间注意力模块，在空间上给缺陷簇明显的位置分类更大的权重，得到的特征信息更集中于主要缺陷簇空间位置。
步骤S3：将所述晶圆图数据集按照80％和20％的比例划分为训练集和测试集，对所述主干网络进行学习训练。
步骤S4：在所述主干网络全连接层提取到的晶圆图缺陷特征信息输入到ECOC-SVM进行最终分类。给定n张所述晶圆图数据集，输入到所述训练好的主干网络，在主干网络全连接层提取特征，将其送入ECOC-SVM实现最终分类。

Claims (7)

1.一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，包括以下步骤：
以ResneXt基础残差块搭建ResneXt-50用作特征提取主干网络；
在ResneXt残差块后面融入多支路注意力机制，给晶圆图显著缺陷簇分配更大的权重以提升特征识别能力；
将所述晶圆图数据集划分为训练集和测试集，对所述主干网络进行学习训练；
在主干网络全连接层提取到的晶圆图缺陷特征信息输入到ECOC-SVM进行最终分类。
2.根据权利要求书1所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，以16个ResneXt基础残差块搭建ResneXt-50网络，每一个残差块输出得到不同语义信息的特征图。
3.根据权利要求书1所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，在每一个ResneXt残差块后面融入多支路注意力机制，所述多支路注意力机制包括多支路通道注意力模块Mc和双支路空间注意力模块Ms。
4.根据权利要求3所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，所述多支路通道注意力模块Mc具体为：
首先，在ResneXt残差块后面得到输出特征图F，将特征图F经过第一条支路进行平均池化操作得到C×1×1维度特征
Figure FDA0004013576020000011
将特征图F经过第二条支路进行最大池化操作得到C×1×1维度特征
Figure FDA0004013576020000012
第三支路为经过平均化和最大池化后的拼接特征
Figure FDA0004013576020000013
维度为2C×1×1；
其次，将三条支路输入到共享感知器MLP，分别将通道维度压缩r倍得到通道维度为C/r、C/r和2C/r的特征，得到通道权重较大的特征信息。再通过1×1的卷积操作分别将通道维度升维得到通道维度都为C的特征；
最后，将三条支路得到都为C×1×1维度的特征相加，再经过激活函数σ得到通道注意力模块输出Mc。Mc表达公式为：
Figure FDA0004013576020000014
其中，
Figure FDA0004013576020000015
表示经过平均池化操作后的特征，
Figure FDA0004013576020000016
表示经过最大池化操作后的特征，
Figure FDA0004013576020000017
为经过平均池化和最大池化后的拼接特征，W0，W1和W′0分别表示多层感知器MLP用于处理三条支路特征的权重参数，σ为sigmoid激活函数。将通过多支路通道注意力模块得到的特征Mc与原特征F相乘得到输出特征F′，表达式为：
Figure FDA0004013576020000021
其中F为ResneXt残差块输出特征图，Mc(F)为多支路通道注意力模块输出特征图，
Figure FDA0004013576020000022
表示特征图元素相乘。
5.根据权利要求3所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，所述双支路空间注意力模块Ms具体为：
特征图F′经过第一条支路进行平均池化得到1×H×W维度的特征
Figure FDA0004013576020000023
特征图F′经过第二条支路进行平最大池化得到1×H×W维度的特征
Figure FDA0004013576020000024
将两条支路池化操作得到的特征拼接起来，得到维度为2×H×W维度的特征
Figure FDA0004013576020000025
再通过7×7的卷积核将空间特征降为1×H×W维度特征。最后经过sigmoid函数得到空间注意力输出Ms，Ms表达公式为：
Figure FDA0004013576020000026
其中，
Figure FDA0004013576020000027
和
Figure FDA0004013576020000028
分别为平均池化和最大池化操作输出，f7×7为7×7大小的卷积核，σ为sigmoid激活函数。将通过双支路空间注意力模块得到的特征Ms与特征F′相乘得到输出特征F″，表达式为：
Figure FDA0004013576020000029
其中，F′为经过多支路通道注意力模块输出特征，Ms(F)为双支路空间注意力模块输出特征图，
Figure FDA00040135760200000210
表示特征图元素相乘。
6.根据权利要求1所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，将所述晶圆图数据集按照80％和20％的比例划分为训练集和测试集，对所述主干网络进行学习训练。
7.根据权利要求1所述的一种基于多支路注意力机制的晶圆图故障模式识别方法，其特征在于，将多支路注意力机制融入ResneXt主干网络，在主干网络全连接层提取特征，将特征输入到ECOC-SVM进行最终分类。
CN202211662683.8A 2022-12-23 2022-12-23 基于多支路注意力机制的晶圆图故障模式识别方法 Pending CN115795366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211662683.8A CN115795366A (zh) 2022-12-23 2022-12-23 基于多支路注意力机制的晶圆图故障模式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211662683.8A CN115795366A (zh) 2022-12-23 2022-12-23 基于多支路注意力机制的晶圆图故障模式识别方法

Publications (1)

Publication Number Publication Date
CN115795366A true CN115795366A (zh) 2023-03-14

Family

ID=85426465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211662683.8A Pending CN115795366A (zh) 2022-12-23 2022-12-23 基于多支路注意力机制的晶圆图故障模式识别方法

Country Status (1)

Country Link
CN (1) CN115795366A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912605A (zh) * 2023-09-12 2023-10-20 法施达(天津)智能科技有限公司 基于锚栓图像数据特征识别的故障检测方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912605A (zh) * 2023-09-12 2023-10-20 法施达(天津)智能科技有限公司 基于锚栓图像数据特征识别的故障检测方法和系统

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111539152A (zh) 一种基于两级孪生卷积神经网络的滚动轴承故障自学习方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN112750129A (zh) 一种基于特征增强位置注意力机制的图像语义分割模型
CN115795366A (zh) 基于多支路注意力机制的晶圆图故障模式识别方法
CN114169377A (zh) 基于g-mscnn的有噪环境中滚动轴承故障诊断方法
CN112596016A (zh) 基于多个一维卷积神经网络集成的互感器故障诊断方法
CN111401149A (zh) 基于长短期时域建模算法的轻量级视频行为识别方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN114882497A (zh) 一种基于深度学习算法实现水果分类识别的方法
CN114187272A (zh) 一种基于深度学习的工业零件表面缺陷检测方法
CN116486176A (zh) 基于注意力空间金字塔池化的晶圆图故障模式识别方法
CN116958553A (zh) 基于无参注意力和点级卷积的轻量级植物点云分割方法
CN115661042A (zh) 一种基于注意力机制指导的分层分类缺陷检测方法
CN113344041B (zh) 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法
CN114861771A (zh) 基于特征提取和深度学习的工业ct图像缺陷分类方法
CN112819829A (zh) 一种基于双深度学习模型的视觉缺陷检测方法
Jiang et al. Wafer map defect pattern classification based on multi-scale depthwise separable convolution
Liu et al. Triplet convolutional networks for classifying mixed-type wbm patterns with noisy labels
CN112634215B (zh) 一种提高多类型图片深度学习模型训练效率的方法
CN113780434B (zh) 一种基于深度学习的太阳能电池组件缺陷el检测方法
CN118154577A (zh) 基于多注意力机制的ResNeSt50晶圆图缺陷模式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination