CN116385391A - 一种晶圆图缺陷的多目标检测方法 - Google Patents

一种晶圆图缺陷的多目标检测方法 Download PDF

Info

Publication number
CN116385391A
CN116385391A CN202310346037.9A CN202310346037A CN116385391A CN 116385391 A CN116385391 A CN 116385391A CN 202310346037 A CN202310346037 A CN 202310346037A CN 116385391 A CN116385391 A CN 116385391A
Authority
CN
China
Prior art keywords
feature
map
convolution layer
feature map
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310346037.9A
Other languages
English (en)
Inventor
穆晓宝
易丛文
夏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhixian Future Industrial Software Co ltd
Original Assignee
Shenzhen Zhixian Future Industrial Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhixian Future Industrial Software Co ltd filed Critical Shenzhen Zhixian Future Industrial Software Co ltd
Priority to CN202310346037.9A priority Critical patent/CN116385391A/zh
Publication of CN116385391A publication Critical patent/CN116385391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种晶圆图缺陷的多目标检测方法，包括：获取目标晶圆图，所述目标晶圆图中包含若干缺陷；将所述目标晶圆图输入到第一特征提取模块中，得到第一特征图；将所述第一特征图输入到第二特征提取模块中，得到第二特征图；将所述第二特征图输入到第三特征提取模块中，得到第三特征图；将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图；将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图；将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。

Description

一种晶圆图缺陷的多目标检测方法
技术领域
本发明涉及半导体制造领域，尤其涉及一种晶圆图缺陷的多目标检测方法。
背景技术
在半导体的制造过程中，识别晶圆图的缺陷是一个重要的环节，特别是当晶圆上同时存在多个缺陷图案时，会增加缺陷检测的难度。
在现有方案中，一般会采用卷积神经网络算法来对晶圆图上的缺陷进行多目标检测，然而传统的卷积神经网络随着网络层深度增加，输出的特征包含的更多是图像的全局语义信息，小目标的细节特征会被丢失，会遗漏掉面积较小的缺陷图案。同时，普通卷积操作对图像的大小和形状不敏感，在多目标检测中无法有效捕捉目标实例的形态特征，进而难以实现预期的识别效果。
发明内容
本说明书一个或多个实施例描述了一种晶圆图缺陷的多目标检测方法，在特征提取阶段使用普通卷积层、可变卷积层、空洞卷积层和转置卷积层的组合，以得到高分辨率的特征图，然后将高分辨率的特征图送入特征检测模型中，得到对于晶圆上多个缺陷的缺陷检测结果。
本说明书提供了一种晶圆图缺陷的多目标检测方法，包括：
获取目标晶圆图，所述目标晶圆图中包含若干缺陷；
将所述目标晶圆图输入到第一特征提取模块中，得到第一特征图，其中，所述第一特征提取模块包含普通卷积层和可变卷积层；
将所述第一特征图输入到第二特征提取模块中，得到第二特征图，其中，所述第二特征提取模块包含普通卷积层和可变卷积层；
将所述第二特征图输入到第三特征提取模块中，得到第三特征图，其中，所述第三特征提取模块包含空洞卷积层；
将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，其中，所述第一特征重建模块包含转置卷积层；
将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，其中，所述第二特征重建模块包含转置卷积层；
将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。
在一种可能的实施方式中，所述特征检测模型为Transformer模型。
在一种可能的实施方式中，将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果，包括：
将所述第五特征图转换为嵌入矩阵，所述嵌入矩阵的任一行对应所述第五特征图中一个通道的特征图数据；
根据所述嵌入矩阵计算位置编码，将所述嵌入矩阵和所述位置编码相加后，输入到Transformer模型中，得到所述目标晶圆图中若干缺陷的缺陷检测结果。
在一种可能的实施方式中，所述第一特征提取模块按照数据流动的顺序依次包括：第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层；将所述晶圆图数据中的目标晶圆图输入到第一特征提取模块中，得到第一特征图，包括：
令所述目标晶圆图依次通过第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层，得到第一特征图，其中，后一个卷积层的输入为前一个卷积层的输出。
在一种可能的实施方式中，所述第二特征提取模块按照数据流动的顺序依次包括：第四普通卷积层、第三可变卷积层；将所述第一特征图输入到第二特征提取模块中，得到第二特征图，包括：
令所述第一特征图依次通过第四普通卷积层、第三可变卷积层，得到第二特征图，其中，所述第三可变卷积层的输入为第四普通卷积层的输出。
在一种可能的实施方式中，所述第三特征提取模块按照数据流动的顺序依次包括第一空洞卷积层至第六空洞卷积层；将所述第二特征图输入到第三特征提取模块中，得到第三特征图，包括：
令所述第二特征图依次通过第一空洞卷积层至第六空洞卷积层，得到第一临时特征图至第六临时特征图，其中，后一个卷积层的输入为前一个卷积层的输出；
将所述第一临时特征图至第六临时特征图对应位置的数据求和，得到第三特征图。
在一种可能的实施方式中，所述第一特征重建模块按照数据流动的顺序依次包括第一转置卷积层、第二转置卷积层；将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，包括：
将所述第二特征图和第三特征图在通道维度进行拼接后，依次通过第一转置卷积层、第二转置卷积层，得到第四特征图，其中，所述第二转置卷积层的输入为第一转置卷积层的输出。
在一种可能的实施方式中，所述第二特征重建模块按照数据流动的顺序依次包括第三转置卷积层、第四转置卷积层；将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，包括：
将所述第一特征图和第四特征图在通道维度进行拼接后，依次通过第三转置卷积层、第四转置卷积层，得到第五特征图，其中，所述第四转置卷积层的输入为第三转置卷积层的输出。
在一种可能的实施方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型通过样本晶圆图训练得到，所述样本晶圆图数据中包含样本晶圆图和对应的样本缺陷类型；所述训练包括：
将所述样本晶圆图输入到第一特征提取模块中，得到第一样本特征图；
将所述第一样本特征图输入到第二特征提取模块中，得到第二样本特征图；
将所述第二样本特征图输入到第三特征提取模块中，得到第三样本特征图；
将所述第二样本特征图和第三样本特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四样本特征图；
将所述第一样本特征图和第四样本特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五样本特征图；
将所述第五样本特征图输入到特征检测模型中，得到对于所述样本晶圆图中若干缺陷的样本缺陷检测结果；
通过最小化所述样本缺陷检测结果与所述样本缺陷类型的误差，调整所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型中的参数的值。
在一种可能的实施方式中，所述误差根据交叉熵损失函数计算得到。
本说明书一个或多个实施例描述了一种晶圆图缺陷的多目标检测方法，在特征提取阶段使用普通卷积层、可变卷积层、空洞卷积层和转置卷积层的组合，可变卷积层能够学习缺陷图案的形状，空洞卷积层能够增大卷积操作感受野，在特征重建路径时使用转置卷积层以增加特征分辨率，同时将每层的可变卷积的输出和转置卷积的输出通过跳跃连接在通道维度拼接，实现特征融合。通过综合使用四种卷积层，以得到高分辨率的特征图，然后将高分辨率的特征图送入特征检测模型中，得到对于晶圆上多个缺陷的缺陷检测结果。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例公开的一种晶圆图缺陷的多目标检测方法的框架图；
图2为本发明实施例公开的一种晶圆图缺陷的多目标检测方法的流程图；
图3为本发明实施例公开的训练缺陷检测模型的方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据一个实施例，图1示出一种晶圆图缺陷的多目标检测方法的框架图。如图1所示，用于特征提取的卷积神经网络基于U型网络构造特征提取和特征重建路径，包含普通卷积层(图1中的普1至普4)、可变卷积层(图1中的变1至变3)、空洞卷积层(图1中的空洞1至空洞6)和转置卷积层(图1中的转置1至转置4)，最终输出包含小目标细节特征的高分辨特征图，便于后续特征检测模型的全局特征关联建模。其中，可变卷积层通过训练得到偏移矩阵，使得卷积操作能自适应目标缺陷的形状，提高网络对形态特征的提取能力，U型网络左侧的特征提取路径由普通卷积层和可变卷积层交替组成，U型网络底部使用连续6层空洞卷积层(采用循环膨胀率结构)以增大卷积的操作感受野，U型网络右侧的特征重建路径采用转置卷积层增加特征分辨率，同时将可变卷积层的输出和转置卷积的输出通过跳跃连接在通道维度进行拼接，实现特征融合。图中的实线箭头代表特征图数据的流向，虚线箭头代表跳跃连接(skip connection)，空洞卷积层右侧的+号代表将空洞卷积层的输出直接相加。
以下将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图2为本发明实施例公开的一种晶圆图缺陷的多目标检测方法的流程图。如图2所示，所述方法至少包括：步骤201，获取目标晶圆图，所述目标晶圆图中包含若干缺陷；步骤202，将所述目标晶圆图输入到第一特征提取模块中，得到第一特征图，其中，所述第一特征提取模块包含普通卷积层和可变卷积层；步骤203，将所述第一特征图输入到第二特征提取模块中，得到第二特征图，其中，所述第二特征提取模块包含普通卷积层和可变卷积层；步骤204，将所述第二特征图输入到第三特征提取模块中，得到第三特征图，其中，所述第三特征提取模块包含空洞卷积层；步骤205，将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，其中，所述第一特征重建模块包含转置卷积层；步骤206，将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，其中，所述第二特征重建模块包含转置卷积层；步骤207，将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。
在步骤201，获取目标晶圆图，所述目标晶圆图中包含若干缺陷。
在步骤202，将所述目标晶圆图输入到第一特征提取模块中，得到第一特征图，其中，所述第一特征提取模块包含普通卷积层和可变卷积层。
具体地，所述第一特征提取模块按照数据流动的顺序依次包括：第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层；此时，步骤202具体包括：
令所述目标晶圆图依次通过第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层，得到第一特征图，其中，后一个卷积层的输入为前一个卷积层的输出。换言之，将目标晶圆图输入第一普通卷积层，第一普通卷积层的输出为第二普通卷积层的输入，第二普通卷积层的输出为第一可变卷积层的输入，第一可变卷积层的输出为第三普通卷积层的输入，第三普通卷积层的输出为第二可变卷积层的输入，第二可变卷积层输出第一特征图。
其中，普通卷积层(standard convolutional layer)即拥有固定卷积核尺寸、固定卷积核形状(一般为正方形)、固定步长以及固定填充尺寸的卷积层。可变卷积层(deformable convolutional layer)为拥有形状可变的卷积核的卷积层。具体来说，可变卷积在普通卷积操作的基础上加入了偏移矩阵，所述偏移矩阵作用在特征图上，使得可变卷积的每次采样相对于普通卷积的采样点的位置都有一个偏移量。如此一来，可变卷积操作能自适应目标晶圆图上缺陷的形状，提高模型整体对形态特征的提取能力。
在步骤203，将所述第一特征图输入到第二特征提取模块中，得到第二特征图，其中，所述第二特征提取模块包含普通卷积层和可变卷积层。
具体地，所述第二特征提取模块按照数据流动的顺序依次包括：第四普通卷积层、第三可变卷积层；此时，步骤203具体包括：
令所述第一特征图依次通过第四普通卷积层、第三可变卷积层，得到第二特征图，其中，所述第三可变卷积层的输入为第四普通卷积层的输出。换言之，将第一特征图输入第四普通卷积层，第四普通卷积层的输出为第三可变卷积层的输入，第三可变卷积层输出第二特征图。
在步骤204，将所述第二特征图输入到第三特征提取模块中，得到第三特征图，其中，所述第三特征提取模块包含空洞卷积层。
具体地，所述第三特征提取模块按照数据流动的顺序依次包括第一空洞卷积层至第六空洞卷积层；此时，步骤204具体包括：
令所述第二特征图依次通过第一空洞卷积层至第六空洞卷积层，得到第一临时特征图至第六临时特征图，其中，后一个卷积层的输入为前一个卷积层的输出。换言之，将第二特征图输入到第一空洞卷积层，得到第一临时特征图；将第一临时特征图输入到第二空洞卷积层，得到第二临时特征图；将第二临时特征图输入到第三空洞卷积层，得到第三临时特征图；将第三临时特征图输入到第四空洞卷积层，得到第四临时特征图；将第四临时特征图输入到第五空洞卷积层，得到第五临时特征图；将第五临时特征图输入到第六空洞卷积层，得到第六临时特征图。
然后，将所述第一临时特征图至第六临时特征图对应位置的数据求和，得到第三特征图。
其中，空洞卷积层(dilated convolutional layer)为带有膨胀率(dilationrate)的卷积层。具体来说，空洞卷积层使用膨胀率这一参数使得同样尺寸的卷积核获得更大的感受野。相应地，也可以使得在相同感受野大小的前提下，空洞卷积比普通卷积的参数量更少。
在一个实施例中，使用包含循环膨胀率结构的空洞卷积层。
在步骤205，将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，其中，所述第一特征重建模块包含转置卷积层。
具体地，所述第一特征重建模块按照数据流动的顺序依次包括第一转置卷积层、第二转置卷积层；此时，步骤205具体包括：
将所述第二特征图和第三特征图在通道维度进行拼接后，依次通过第一转置卷积层、第二转置卷积层，得到第四特征图，其中，所述第二转置卷积层的输入为第一转置卷积层的输出。换言之，将所述第二特征图和第三特征图在通道维度进行拼接后输入到第一转置卷积层中，第一转置卷积层的输出为第二转置卷积层的输入，第二转置卷积层的输出为第四特征图。
通过跳跃连接(skip connection)，将第二特征图和第三特征图在通道维度进行拼接，可以解决在训练的过程中梯度爆炸和梯度消失的问题。
其中，转置卷积层(transpose convolutional layer)通过将低分辨率的特征图进行上采样，以提高特征图的分辨率，使得模型最终输出包含小目标细节特征的高分辨特征图。
在步骤206，将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，其中，所述第二特征重建模块包含转置卷积层。
具体地，所述第二特征重建模块按照数据流动的顺序依次包括第三转置卷积层、第四转置卷积层；此时，步骤206具体包括：
将所述第一特征图和第四特征图在通道维度进行拼接后，依次通过第三转置卷积层、第四转置卷积层，得到第五特征图，其中，所述第四转置卷积层的输入为第三转置卷积层的输出。换言之，将所述第一特征图和第四特征图在通道维度进行拼接后输入到第三转置卷积层中，第三转置卷积层的输出为第四转置卷积层的输入，第四转置卷积层的输出为第五特征图。
在步骤207，将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。
在一些实施例中，特征检测模型为Transformer模型。此时，步骤207包括：将所述第五特征图转换为嵌入矩阵，所述嵌入矩阵的任一行对应所述第五特征图中一个通道的特征图数据；根据所述嵌入矩阵计算位置编码，将所述嵌入矩阵和所述位置编码相加后，输入到Transformer模型中，得到所述目标晶圆图中若干缺陷的缺陷检测结果。
通过步骤201至步骤207，在特征提取阶段使用普通卷积层、可变卷积层、空洞卷积层和转置卷积层的组合，可变卷积层能够学习缺陷图案的形状，空洞卷积层能够增大卷积操作感受野，在特征重建路径时使用转置卷积层以增加特征分辨率，同时将每层的可变卷积的输出和转置卷积的输出通过跳跃连接在通道维度拼接，实现特征融合。通过综合使用四种卷积层，以得到高分辨率的特征图，然后将高分辨率的特征图送入特征检测模型中，得到对于晶圆上多个缺陷的缺陷检测结果。
图2所包含的步骤为使用训练好的模型对晶圆图进行缺陷检测的步骤；训练所述模型的方法步骤如图3所示。
图3为本发明实施例公开的训练缺陷检测模型的方法的流程图。如图3所示，所述缺陷检测模型包括第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型，所述缺陷检测模型通过样本晶圆图训练得到，所述样本晶圆图数据中包含样本晶圆图和对应的样本缺陷类型；所述训练包括：
步骤301，将所述样本晶圆图输入到第一特征提取模块中，得到第一样本特征图。
具体地，令所述样本晶圆图依次通过第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层，得到第一样本特征图，其中，后一个卷积层的输入为前一个卷积层的输出。换言之，将样本晶圆图输入第一普通卷积层，第一普通卷积层的输出为第二普通卷积层的输入，第二普通卷积层的输出为第一可变卷积层的输入，第一可变卷积层的输出为第三普通卷积层的输入，第三普通卷积层的输出为第二可变卷积层的输入，第二可变卷积层输出第一样本特征图。
步骤302，将所述第一样本特征图输入到第二特征提取模块中，得到第二样本特征图。
具体地，令所述第一样本特征图依次通过第四普通卷积层、第三可变卷积层，得到第二样本特征图，其中，所述第三可变卷积层的输入为第四普通卷积层的输出。换言之，将第一样本特征图输入第四普通卷积层，第四普通卷积层的输出为第三可变卷积层的输入，第三可变卷积层输出第二样本特征图。
步骤303，将所述第二样本特征图输入到第三特征提取模块中，得到第三样本特征图。
具体地，令所述第二样本特征图依次通过第一空洞卷积层至第六空洞卷积层，得到第一临时样本特征图至第六临时样本特征图，其中，后一个卷积层的输入为前一个卷积层的输出。换言之，将第二样本特征图输入到第一空洞卷积层，得到第一临时样本特征图；将第一临时样本特征图输入到第二空洞卷积层，得到第二临时样本特征图；将第二临时样本特征图输入到第三空洞卷积层，得到第三临时样本特征图；将第三临时样本特征图输入到第四空洞卷积层，得到第四临时样本特征图；将第四临时样本特征图输入到第五空洞卷积层，得到第五临时样本特征图；将第五临时样本特征图输入到第六空洞卷积层，得到第六临时样本特征图。
然后，将所述第一临时样本特征图至第六临时样本特征图对应位置的数据求和，得到第三样本特征图。
步骤304，将所述第二样本特征图和第三样本特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四样本特征图。
具体地，将所述第二样本特征图和第三样本特征图在通道维度进行拼接后，依次通过第一转置卷积层、第二转置卷积层，得到第四特征图，其中，所述第二转置卷积层的输入为第一转置卷积层的输出。换言之，将所述第二样本特征图和第三样本特征图在通道维度进行拼接后输入到第一转置卷积层中，第一转置卷积层的输出为第二转置卷积层的输入，第二转置卷积层的输出为第四样本特征图。
步骤305，将所述第一样本特征图和第四样本特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五样本特征图。
具体地，将所述第一样本特征图和第四样本特征图在通道维度进行拼接后，依次通过第三转置卷积层、第四转置卷积层，得到第五特征图，其中，所述第四转置卷积层的输入为第三转置卷积层的输出。换言之，将所述第一样本特征图和第四样本特征图在通道维度进行拼接后输入到第三转置卷积层中，第三转置卷积层的输出为第四转置卷积层的输入，第四转置卷积层的输出为第五样本特征图。
步骤306，将所述第五样本特征图输入到特征检测模型中，得到对于所述样本晶圆图中若干缺陷的样本缺陷检测结果。
在一些实施例中，特征检测模型为Transformer模型。此时，步骤306包括：将所述第五样本特征图转换为样本嵌入矩阵，所述样本嵌入矩阵的任一行对应所述第五样本特征图中一个通道的特征图数据；根据所述样本嵌入矩阵计算样本位置编码，将所述样本嵌入矩阵和所述样本位置编码相加后，输入到Transformer模型中，得到所述样本晶圆图中若干缺陷的样本缺陷检测结果。
步骤307，通过最小化所述样本缺陷检测结果与所述样本缺陷类型的误差，调整所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型中的参数的值。
在一个实施例中，所述误差根据交叉熵损失函数计算得到。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种晶圆图缺陷的多目标检测方法，包括：
获取目标晶圆图，所述目标晶圆图中包含若干缺陷；
将所述目标晶圆图输入到第一特征提取模块中，得到第一特征图，其中，所述第一特征提取模块包含普通卷积层和可变卷积层；
将所述第一特征图输入到第二特征提取模块中，得到第二特征图，其中，所述第二特征提取模块包含普通卷积层和可变卷积层；
将所述第二特征图输入到第三特征提取模块中，得到第三特征图，其中，所述第三特征提取模块包含空洞卷积层；
将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，其中，所述第一特征重建模块包含转置卷积层；
将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，其中，所述第二特征重建模块包含转置卷积层；
将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述特征检测模型为Transformer模型。
3.根据权利要求2所述的方法，其特征在于，将所述第五特征图输入到特征检测模型中，得到对于所述目标晶圆图中若干缺陷的缺陷检测结果，包括：
将所述第五特征图转换为嵌入矩阵，所述嵌入矩阵的任一行对应所述第五特征图中一个通道的特征图数据；
根据所述嵌入矩阵计算位置编码，将所述嵌入矩阵和所述位置编码相加后，输入到Transformer模型中，得到所述目标晶圆图中若干缺陷的缺陷检测结果。
4.根据权利要求1所述的方法，其特征在于，所述第一特征提取模块按照数据流动的顺序依次包括：第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层；将所述晶圆图数据中的目标晶圆图输入到第一特征提取模块中，得到第一特征图，包括：
令所述目标晶圆图依次通过第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层，得到第一特征图，其中，后一个卷积层的输入为前一个卷积层的输出。
5.根据权利要求1所述的方法，其特征在于，所述第二特征提取模块按照数据流动的顺序依次包括：第四普通卷积层、第三可变卷积层；将所述第一特征图输入到第二特征提取模块中，得到第二特征图，包括：
令所述第一特征图依次通过第四普通卷积层、第三可变卷积层，得到第二特征图，其中，所述第三可变卷积层的输入为第四普通卷积层的输出。
6.根据权利要求1所述的方法，其特征在于，所述第三特征提取模块按照数据流动的顺序依次包括第一空洞卷积层至第六空洞卷积层；将所述第二特征图输入到第三特征提取模块中，得到第三特征图，包括：
令所述第二特征图依次通过第一空洞卷积层至第六空洞卷积层，得到第一临时特征图至第六临时特征图，其中，后一个卷积层的输入为前一个卷积层的输出；
将所述第一临时特征图至第六临时特征图对应位置的数据求和，得到第三特征图。
7.根据权利要求1所述的方法，其特征在于，所述第一特征重建模块按照数据流动的顺序依次包括第一转置卷积层、第二转置卷积层；将所述第二特征图和第三特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四特征图，包括：
将所述第二特征图和第三特征图在通道维度进行拼接后，依次通过第一转置卷积层、第二转置卷积层，得到第四特征图，其中，所述第二转置卷积层的输入为第一转置卷积层的输出。
8.根据权利要求1所述的方法，其特征在于，所述第二特征重建模块按照数据流动的顺序依次包括第三转置卷积层、第四转置卷积层；将所述第一特征图和第四特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五特征图，包括：
将所述第一特征图和第四特征图在通道维度进行拼接后，依次通过第三转置卷积层、第四转置卷积层，得到第五特征图，其中，所述第四转置卷积层的输入为第三转置卷积层的输出。
9.根据权利要求1所述的方法，其特征在于，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型通过样本晶圆图训练得到，所述样本晶圆图数据中包含样本晶圆图和对应的样本缺陷类型；所述训练包括：
将所述样本晶圆图输入到第一特征提取模块中，得到第一样本特征图；
将所述第一样本特征图输入到第二特征提取模块中，得到第二样本特征图；
将所述第二样本特征图输入到第三特征提取模块中，得到第三样本特征图；
将所述第二样本特征图和第三样本特征图在通道维度进行拼接后，输入到第一特征重建模块中，得到第四样本特征图；
将所述第一样本特征图和第四样本特征图在通道维度进行拼接后，输入到第二特征重建模块中，得到第五样本特征图；
将所述第五样本特征图输入到特征检测模型中，得到对于所述样本晶圆图中若干缺陷的样本缺陷检测结果；
通过最小化所述样本缺陷检测结果与所述样本缺陷类型的误差，调整所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型中的参数的值。
10.根据权利要求9所述的方法，其特征在于，所述误差根据交叉熵损失函数计算得到。
CN202310346037.9A 2023-04-03 2023-04-03 一种晶圆图缺陷的多目标检测方法 Pending CN116385391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310346037.9A CN116385391A (zh) 2023-04-03 2023-04-03 一种晶圆图缺陷的多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310346037.9A CN116385391A (zh) 2023-04-03 2023-04-03 一种晶圆图缺陷的多目标检测方法

Publications (1)

Publication Number Publication Date
CN116385391A true CN116385391A (zh) 2023-07-04

Family

ID=86978248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310346037.9A Pending CN116385391A (zh) 2023-04-03 2023-04-03 一种晶圆图缺陷的多目标检测方法

Country Status (1)

Country Link
CN (1) CN116385391A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522871A (zh) * 2024-01-04 2024-02-06 深圳市华拓半导体技术有限公司 基于视觉图像交互的半导体晶圆检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062867A (zh) * 2019-11-21 2020-04-24 浙江大华技术股份有限公司 一种视频超分辨率重建方法
US20200273210A1 (en) * 2019-02-25 2020-08-27 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200273210A1 (en) * 2019-02-25 2020-08-27 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs
CN111062867A (zh) * 2019-11-21 2020-04-24 浙江大华技术股份有限公司 一种视频超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHEN-FU HSIAO: "Design of a Sparsity-Aware Reconfigurable Deep Learning Accelerator Supporting Various Types of Operations", 《IEEE》, 30 September 2020 (2020-09-30), pages 1 - 12 *
徐盷: "基于深度学习的光照不均匀织物图像缺陷检测算法研究", 《中国优秀硕士论文全文数据库工程科技I辑》, 15 March 2022 (2022-03-15), pages 1 - 53 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522871A (zh) * 2024-01-04 2024-02-06 深圳市华拓半导体技术有限公司 基于视觉图像交互的半导体晶圆检测方法及系统
CN117522871B (zh) * 2024-01-04 2024-04-16 深圳市华拓半导体技术有限公司 基于视觉图像交互的半导体晶圆检测方法及系统

Similar Documents

Publication Publication Date Title
CN110189334B (zh) 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
CN110728682B (zh) 一种基于残差金字塔池化神经网络的语义分割方法
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN110490082A (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN116824307B (zh) 基于sam模型的图像标注方法、装置及相关介质
CN116385391A (zh) 一种晶圆图缺陷的多目标检测方法
CN114816997B (zh) 一种基于图神经网络与双向gru特征抽取的缺陷预测方法
CN110942057A (zh) 一种集装箱箱号识别方法、装置和计算机设备
CN111639607A (zh) 模型训练、图像识别方法和装置、电子设备及存储介质
US20220156513A1 (en) Method and system for localizing an anomaly in an image to be detected, and method for training reconstruction model thereof
CN111862260B (zh) 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN113763364A (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN115331073A (zh) 一种基于TransUnet架构的影像自监督学习方法
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN117233869B (zh) 一种基于GRU-BiTCN的站点短期风速预测方法
CN116503376A (zh) 生态挡土墙砌块及其智能化制备方法
CN116089944A (zh) 基于迁移学习的跨平台应用程序异常检测方法、系统
CN116310581A (zh) 一种半监督变化检测洪涝识别方法
CN112464989B (zh) 一种基于目标检测网络的闭环检测方法
CN118014050A (zh) 裂纹分割模型训练方法、裂纹图像分割方法及相关组件
CN116363108A (zh) 基于注意力机制的微小淋巴结图像小目标检测方法
Kim et al. Interactive image annotation and AI-assisted segmentation of TEM images for automatic CD measurement
CN117992651A (zh) 一种基于主动学习迭代的社交媒体谣言检测方法
CN117173569A (zh) 一种土地利用类型分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination