CN116209895A - 基于可解释深度学习的缺陷检测及分类 - Google Patents
基于可解释深度学习的缺陷检测及分类 Download PDFInfo
- Publication number
- CN116209895A CN116209895A CN202180065936.0A CN202180065936A CN116209895A CN 116209895 A CN116209895 A CN 116209895A CN 202180065936 A CN202180065936 A CN 202180065936A CN 116209895 A CN116209895 A CN 116209895A
- Authority
- CN
- China
- Prior art keywords
- layer
- correlation
- deep learning
- neuron
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title abstract description 10
- 239000004065 semiconductor Substances 0.000 claims abstract description 64
- 238000013136 deep learning model Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 44
- 210000002569 neuron Anatomy 0.000 claims description 36
- 238000007689 inspection Methods 0.000 claims description 31
- 238000010894 electron beam technology Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000004378 air conditioning Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 19
- 238000007635 classification algorithm Methods 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 abstract description 2
- 235000012431 wafers Nutrition 0.000 description 36
- 102100021923 Prolow-density lipoprotein receptor-related protein 1 Human genes 0.000 description 28
- 238000000605 extraction Methods 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010884 ion-beam technique Methods 0.000 description 4
- 238000001878 scanning electron micrograph Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 229920002120 photoresistant polymer Polymers 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/418—Imaging electron microscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/611—Specific applications or type of materials patterned objects; electronic devices
- G01N2223/6116—Specific applications or type of materials patterned objects; electronic devices semiconductor wafer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/646—Specific applications or type of materials flaws, defects
- G01N2223/6462—Specific applications or type of materials flaws, defects microdefects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Analysis (AREA)
Abstract
使用深度学习神经网络进行的检测/分类算法的解释阐明形成的结果且帮助用户识别缺陷检测/分类模型性能问题的根本原因。基于逐层相关性传播算法确定相关性图。确定所述相关性图与真实数据之间的平均交迭率评分。基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的半导体图像中的一者的部分。
Description
技术领域
本公开涉及用于半导体制造的过程控制。
背景技术
半导体制造行业的演进正对良率管理且特定来说对计量及检验系统提出更高要求。关键尺寸继续缩小，但所述行业需减少达成高良率、高价值生产的时间。最小化从检测到良率问题到解决所述问题的总时间确定半导体制造商的投资回报率。
制造半导体装置(例如逻辑及存储器装置)通常包含使用大量制造工艺处理半导体晶片以形成所述半导体装置的不同特征及多个层级。例如，光刻是半导体制造工艺，其涉及将图案从倍缩光罩转印到布置在半导体晶片上的光致抗蚀剂。半导体制造工艺的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及离子植入。制造于单个半导体晶片上的多个半导体装置的布置可被分成个别半导体装置。
在半导体制造期间的各个步骤使用检验过程以检测晶片上的缺陷以促进制造工艺中的更高良率及因此更高利润。检验始终是制造半导体装置(例如集成电路(IC))的重要部分。然而，随着半导体装置的尺寸减小，检验对于可接受半导体装置的成功制造变得甚至更为重要，因为较小缺陷可引起装置故障。例如，随着半导体装置的尺寸减小，具有减小的大小的缺陷的检测已变得必要，因为甚至相对小缺陷可引起半导体装置中的非所要像差。
然而，随着设计规则缩小，半导体制程可能更接近对过程的性能能力的限制而操作。另外，在设计规则缩小时，较小缺陷可对装置的电参数具有影响，此驱动更敏感检验。随着设计规则缩小，通过检验检测到的潜在良率相关缺陷群体急剧增长，且通过检验检测到的扰乱点(nuisance)缺陷群体也急剧增加。因此，可在晶片上检测到更多缺陷，且校正过程以消除所有缺陷可能是困难且昂贵的。确定哪些缺陷实际上对装置的电参数及良率具有影响可容许过程控制方法聚焦于所述缺陷而大体上忽略其它缺陷。此外，在较小设计规则下，在一些情况中，过程引发的故障倾向于是系统性的。即，过程引发的故障倾向于在设计内常常重复许多次的预定设计型样下故障。消除空间系统的、电相关的缺陷可能对良率具有影响。
深度学习模型可用于识别及分类检验图像中的缺陷。然而，分类结果可能不会经受贯穿网络架构的逐步验证。深度学习模型的内部工作经“隐藏”，且深度学习模型的最终决策对于网络中的每一神经元是不可回溯的，且不为用户所知。有必要提供更多信任以便提高质量。
当前，深度学习模型性能是通过观测输出度量及猜测性能问题的潜在原因来评估。此可包含观测训练损耗曲线。对于检测，可用检测图观测接收器操作特性(ROC)以猜测为何遗漏缺陷。对于分类，可用混淆矩阵观测ROC以猜测为何遗漏分类。使用这些当前技术，用户仅可评估神经网络的输出。所述用户将不知道神经网络为何作出决策。因此，用户需要猜测问题的根本原因，此需要广泛领域知识。在半导体制造的背景内容中，如果不解释神经网络为何作出其决策，那么难以解决性能问题。
因此，需要新检验及分类系统及方法。
发明内容
在第一实施例中，提供一种方法。所述方法包括：使用处理器用深度学习模型对多个半导体图像执行缺陷检测及分类；使用所述处理器从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；使用所述处理器基于所述逐层相关性传播算法确定相关性图；使用所述处理器确定所述相关性图与真实数据之间的平均交迭率评分；及使用所述处理器基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。
所述相关性图可基于输出层的相关性及早期层的相关性。在例子中，所述相关性图经正规化。可使用方程式
针对每一层确定早期层的相关性。Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是神经元i与神经元j之间的权重。
方法可进一步包含使用所述处理器平滑化所述多个半导体图像。
方法可进一步包含改变用于所述深度学习模型的训练图像的标注。
方法可进一步包含改变用于所述深度学习模型的训练图像的类别代码。
方法可进一步包含用使用电子束的晶片检验工具产生所述半导体图像。
在第二实施例中，提供一种晶片检验工具。所述晶片检验工具包括：能量束源，其产生能量束；载物台，其经配置以固持晶片；检测器，其接收从所述晶片返回的所述能量束；及处理器，其与所述检测器电子通信。所述处理器经配置以：使用从所述检测器接收的数据产生多个半导体图像；使用深度学习模型对所述多个半导体图像执行缺陷检测及分类；从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；基于所述逐层相关性传播算法确定相关性图；确定所述相关性图与真实数据之间的平均交迭率评分；及基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。所述能量束可为电子束且所述能量束源可为电子束源。
所述相关性图可基于输出层的相关性及早期层的相关性。所述相关性图可经正规化。可使用方程式
针对各层确定早期层的相关性。Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是神经元i与神经元j之间的权重。
在第三实施例中，提供一种非暂时性计算机可读存储媒体。所述非暂时性计算机可读存储媒体包括用于在一或多个计算装置上执行以下步骤的一或多个程序。所述步骤包含：使用深度学习模型对多个半导体图像执行缺陷检测及分类；从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；基于所述逐层相关性传播算法确定相关性图；确定所述相关性图与真实数据之间的平均交迭率评分；及基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。
所述相关性图可基于一输出层的一相关性及早期层的相关性。所述相关性图可经正规化。可使用方程式
针对每一层确定早期层的相关性。Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是神经元i与神经元j之间的权重。
步骤可进一步包括使用来自使用电子束的晶片检验工具的数据产生所述半导体图像。
附图说明
为了更全面理解本公开的性质及目标，应参考结合所附图式进行的以下详细描述，其中：
图1展示对应示范性半导体图像，其中扫描电子显微镜(SEM)图像在左侧，逐层相关性传播(LRP)图像在中心且SEM与LRP的叠对在右侧；
图2是根据本公开的方法实施例的流程图；
图3展示可视化方法的比较；
图4说明根据本公开的潜在用户接口的实施例的流程图；
图5展示使用LRP来寻址不正确地分类的位点；
图6展示使用具有基于类别的正确标记的LRP；及
图7是根据本公开的系统实施例的图式。
具体实施方式
尽管将依据特定实施例描述所主张的目标物，然其它实施例(包含未提供本文中阐述的所有益处及特征的实施例)也在本公开的范围内。可在不偏离本公开的范围的情况下进行各种结构、逻辑、过程步骤、及电子变化。因此，本公开的范围仅参考所附权利要求书而界定。
本文中所公开的实施例使用神经网络通过检测/分类算法提供结果的解释。此解释可帮助用户(例如半导体制造商)了解深度学习结果及如何诊断及/或改善性能。可识别缺陷检测/分类模型性能问题的根本原因，此可帮助用户改善模型的性能。可确定LRP图与真实数据标注之间的定量评分(平均交迭率(mIoU))。如果所述标注不正确，那么此可向用户提供标注回馈。此还可导引用户改善检测及分类性能。结果可用于使用LRP来解释基于深度学习的缺陷检测及分类。
图1展示对应示范性半导体图像，其中SEM图像在左侧，LRP图像在中心且SEM与LRP的叠对在右侧。如SEM图像中所展示，沟槽100并未在结构中居中(以黑色轮廓展示)。在此实例中，当由于沟槽100的位置作出检测缺陷或对所述缺陷进行分类的决策时，深度学习模型查看来自叠对图像的区域101(以灰色展示)。区域101可引导深度学习模型检测/分类图1中的缺陷。本文中所公开的实施例可帮助识别区域101以帮助用户理解深度学习模型的操作。
图2是方法200的流程图。方法200的一些或所有步骤可在处理器上运行。在201，使用深度学习模型对半导体图像执行缺陷检测及分类。在例子中，所述深度学习模型是卷积神经网络(CNN)。可使用(例如)使用电子束的晶片检验工具(例如SEM)来产生半导体图像。
可用训练图像来训练深度学习模型。这些训练图像可经标注且可由类别代码进行分类。
在202从深度学习模型对半导体图像应用LRP算法。LRP是用以将对样本(例如，图像)计算的神经网络的预测分解为所述样本的单输入维度(例如图像的子像素)的相关性评分的架构。LRP算法是在巴赫(Bach)等人的“通过逐层相关性传播对非线性分类器决策的逐像素解释(On pixel-wise explanations for non-linear classifier decisions bylayer-wise relevance propagation)”，PloS one 10(2015)中进行公开，其全文以引用的方式并入。
在正向传递期间，经训练的神经网络将通过网络传播输入以在输出层处进行预测。输出层的相关性是用户选择调查的类别(其通常是具有最大值的类别)的经预测概率。最大值是具有最大概率中的一者。换言之，此意味着网络对所述类别最信任。在反向传递期间，使用方程式
逐层反向计算早期层的相关性。Ri是第一层(例如，较早层)处的神经元i的相关性，Rj是第二层(例如，较迟层)处的神经元j的相关性，aj是所述神经元i的激活，且wij是神经元i与神经元j之间的权重。
在例子中，神经网络可包含近似50个层。然而，可使用更多层或更少层。
在203，确定基于逐层相关性传播算法的相关性图。可从输出层j反向到输入层i计算相关性(Rj)。可执行迭代直到到达图像层。相关性图可基于输出层的相关性及早期层的相关性。相关性图可经正规化，例如正规化到[0,255]之间。例如，在图3中展示示范性相关性图。
返回参考图2，在204确定相关性图与真实数据之间的平均交迭率(mIoU)评分。交迭率是重迭面积除以联集面积。因此，真阳性可除以真阳性、伪阳性及伪阴性的总和。mIoU可确定网络预测与真实数据之间的重迭。mIoU确定可用于找出哪一训练图像或标注在引起用户的结果。
对于正确训练图像，运行LRP应提供高mIoU与其图像标记，而不正确训练图像应提供低mIoU。经突显部分是相关性评分的部分。mIoU是使用具有图像的原始标记的相关性图确定的数字。
在205，基于相关性图及mIoU评分确定贡献给使用深度学习模型的分类的半导体图像中的一者的部分。可在经运行的所有图像上设定mIoU的阈值，并找出具有小于阈值的mIoU的实例以确定有问题的SEM图像(其具有错误的标注)。
例如，图1展示示范性半导体图像。如区域101所展示，相关性图上的视觉显示可提供关于由神经网络使用的图像的部分的信息。使用LRP相关性图及mIoU评分，可显示贡献给神经网络决策的输入图像的部分。阈值mIoU在原始SEM图像上的叠对可用于突显图像的贡献部分。由神经网络使用的真实数据可经定量测量。用户可接收关于后续步骤或如何修复神经网络的性能问题的导引。此区域101可在确定为何对图像进行分类或不对图像进行分类时导引用户。
在例子中，在作出确定之前，使用高斯核或其它技术来平滑化图像。预处理图像以移除噪声改善mIoU性能。
方法200可进一步包含改变训练图像的标注或训练图像的类别代码。例如，图1中的区域101可用作改变标注或类别代码的基础。如果非缺陷区域贡献给检测，那么可改变标注。如果图像贡献给不正确类别代码，那么可改变类别代码。如果将改善缺陷检测或分类，那么还可将更多训练图像用于特定结构或缺陷类别。例如，如果神经网络未使用结构或如果相关性图值低到无，那么可将所述结构的更多训练图像提供到神经网络。
在例子中，类别A与类别B之间的误分类是由训练图像中的类别C的标注引起。从LRP相关性图，可确定可贡献给类别C的图像的部分。
虽然公开LRP，但其它深度学习可视化方法可使用本文中所公开的实施例。因此，GradCam、去卷积及Guided-BP全部可受益于本文中所公开的实施例。LRP展现改善的聚焦且倾向于撷取有用信息。如图3中所展示，与GradCam相比，LRP撷取可贡献给结果的更多详细信息。在图3中，Diff是在扎塔弗(Zintraf)等人的“可视化深度神经网络决策：预测差异分析(Visualizing Deep Neural Network Decisions:Prediction Difference Analysis)”(2017)(其全文以引用的方式并入)中所描述的预测差异分析。LRP相较于Diff提供改善的结果。与Guided Bp相比，LRP展示更连续的相关性图，而Guided Bp由于不连续梯度而具有中断。
图4说明用户接口的流程图。用户可在智能型实例标注(SEA)中检视分类(cls)及检测(detect)结果。用户可开始LRP。SMARTS训练站(STS)运行逐层相关性传播。SEA可显示叠对或相关性图像。用户可确定相关性是否看上去可接受。如果是，那么补片可在其经检视时保存。如果否，那么mIoU评分可用于确定任何有问题的标注。
对于检测，通过LRP算法给出的相关性图可用于通过计算标注与通过LRP给出的相关性之间的相似性来搜寻图像中的可能错误标注。例如，如图5中所展示，图像被不正确地分类。图5的经突显部分表示由神经网络用于检测及分类的图像的区段。存在与高mIoU的高重迭。可预处理LRP图像且可确定LRP的mIoU及标注。在此情况中，根本原因包含被不正确地标注为扭曲缺陷的具有偏移的一些左缺陷。
此外，如图6中所展示，如果模型执行良好，那么具有正确标注的所述位点的IoU高于具有其它标注的位点的IoU。图6的经突显部分表示由神经网络用于检测及分类的图像的区段。
当前，在配方设置期间，难以解释深度学习结果以导引后续步骤。用户可使用试误法进行性能问题除错，此增加配方的时间(TTR)。本文中所公开的实施例可提供关于性能诊断的明确导引，此可减小TTR。例如，TTR可减小达近似20％。本文中所公开的实施例还改善易用性且减少制造设施处的必要支持。直接凭借神经网络内部的回馈，基于深度学习的检测及分类将更容易使用。制造设施可更直观地使用基于深度学习的检测及分类。
图7是系统300的实施例的框图。系统300包含经配置以产生晶片304的图像的晶片检验工具(其包含电子柱301)。
晶片检验工具包含输出撷取子系统，所述输出撷取子系统包含至少能量源及检测器。输出撷取子系统可为基于电子束的输出撷取子系统。例如，在一项实施例中，引导到晶片304的能量包含电子，且从晶片304检测的能量包含电子。以此方式，能量源可为电子束源。在图7中展示的一项此实施例中，输出撷取子系统包含耦合到计算机子系统302的电子柱301。载物台310可固持晶片304。
还如图7中所展示，电子柱301包含电子束源303，所述电子束源303经配置以产生通过一或多个元件305聚焦到晶片304的电子。电子束源303可包含(例如)阴极源极或射极尖端。一或多个元件305可包含(例如)枪透镜、阳极、光束限制孔径、门阀、光束电流选择孔径、物镜及扫描子系统，其全部可包含所属领域中已知的任何此类合适元件。
从晶片304返回的电子(例如，二次电子)可通过一或多个元件306聚焦到检测器307。一或多个元件306可包含(例如)扫描子系统，所述扫描子系统可为包含于元件305中的相同扫描子系统。
电子柱301还可包含所属领域中已知的任何其它合适元件。
尽管图7中将电子柱301展示为经配置使得电子依倾斜入射角被引导到晶片304且依另一倾斜角自晶片304散射，但电子束可依任何合适角度被引导到晶片304及从晶片304散射。另外，基于电子束的输出撷取子系统可经配置以使用多个模式来产生晶片304的图像(例如，运用不同照明角、收集角等)。基于电子束的输出撷取子系统的多个模式可在输出撷取子系统的任何图像产生参数方面不同。
计算机子系统302可如上文描述般耦合到检测器307。检测器307可检测从晶片304的表面返回的电子，借此形成晶片304的电子束图像。电子束图像可包含任何合适电子束图像。计算机子系统302可经配置以使用检测器307的输出及/或电子束图像来执行本文中所描述的功能中的任一者。计算机子系统302可经配置以执行本文中所描述的任何额外步骤。包含图7中所展示的输出撷取子系统的系统300可如本文中描述般进一步配置。
应注意，本文中提供图7以大体上说明可用于本文中所描述的实施例中的基于电子束的输出撷取子系统的配置。可变更本文中所描述的基于电子束的输出撷取子系统配置以优化输出撷取子系统的性能，如通常在设计商业输出撷取系统时所执行般。另外，可使用现有系统(例如，通过将本文中所描述的功能性添加到现有系统)来实施本文中所描述的系统。对于一些此类系统，可将本文中所描述的方法提供为系统的选用功能性(例如，除系统的其它功能性之外)。替代地，可将本文中所描述的系统设计为全新系统。
尽管上文将输出撷取子系统描述为基于电子束的输出撷取子系统，然输出撷取子系统可为基于离子束的输出撷取子系统。此输出撷取子系统可如图7中所展示般配置，惟电子束源可用所属领域中已知的任何合适离子束源取代除外。另外，输出撷取子系统可为任何其它合适基于离子束的输出撷取子系统，例如包含于市售聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统及二次离子质谱仪(SIMS)系统中的输出撷取子系统。
计算机子系统302包含处理器308及电子数据存储单元309。处理器308可包含微处理器、微控制器或其它装置。
计算机子系统302可以任何合适方式(例如，经由可包含有线及/或无线传输媒体的一或多个传输媒体)耦合到系统300的组件，使得处理器308可接收输出。处理器308可经配置以使用输出执行若干功能。晶片检验工具可从处理器308接收指令或其它信息。处理器308及/或电子数据存储单元309可任选地与另一晶片检验工具、晶片计量工具或晶片检视工具(未说明)电子通信以接收额外信息或发送指令。
处理器308是与晶片检验工具(例如检测器307)电子通信。处理器308可经配置以处理使用来自检测器307的测量结果产生的图像。例如，处理器可执行方法100或方法200的实施例。
本文中所描述的计算机子系统302、其它系统或其它子系统可为各种系统(包含个人计算机系统、图像计算机、大型计算机系统、工作站、网络器具、因特网器具或其它装置)的部分。所述子系统或系统还可包含所属领域中已知的任何合适处理器，例如平行处理器。另外，所述子系统或系统可包含具有高速处理及软件的平台作为独立或网络化工具。
处理器308及电子数据存储单元309可安置于系统300或另一装置中或以其它方式作为系统300或另一装置的部分。在实例中，处理器308及电子数据存储单元309可为独立控制单元的部分或在集中式质量控制单元中。可使用多个处理器308或电子数据存储单元309。
处理器308可在实践中通过硬件、软件及固体的任何组合实施。又，如本文中所描述的其功能可通过一个单元执行，或在不同组件(其中的每一者可继而通过硬件、软件及固体的任何组合实施)之间划分。供处理器308实施各种方法及功能的程序代码或指令可存储于可读存储媒体(例如在电子数据存储单元309中的存储器或其它存储器)中。
如果系统300包含多于一个计算机子系统302，那么不同子系统可彼此耦合，使得可在所述子系统之间发送图像、数据、信息、指令等。例如，一个子系统可通过任何合适传输媒体耦合到额外子系统，所述传输媒体可包含所属领域中已知的任何合适有线及/或无线传输媒体。此类子系统中的两者或更多者还可通过共享计算机可读存储媒体(未展示)有效耦合。
处理器308可经配置以使用系统300的输出或其它输出来执行若干功能。例如，处理器308可经配置以将输出发送到电子数据存储单元309或另一存储媒体。处理器308可如本文中所描述般进一步配置。
处理器308或计算机子系统302可为缺陷检视系统、检验系统、计量系统或某一其它类型系统的部分。因此，本文中所公开的实施例描述可以若干方式针对具有或多或少适于不同应用的不同能力的系统定制的一些配置。
处理器308可以所属领域中已知的任何方式通信地耦合到系统300的各种组件或子系统中的任一者。此外，处理器308可经配置以通过可包含有线及/或无线部分的传输媒体从其它系统接收及/或撷取数据或信息(例如，来自例如检视工具的检验系统的检验结果、包含设计数据的远程数据库及类似者)。以此方式，所述传输媒体可用作处理器308与系统300的其它子系统，或系统300外部的系统之间的数据链路。
系统300及本文中描述的方法的各种步骤、功能及/或操作通过以下一或多者实行：电子电路、逻辑门、多路复用器、可编程逻辑装置、ASIC、模拟或数字控件/开关、微控制器或计算系统。实施例如本文中描述的方法的程序指令可经由载体媒体传输或存储于载体媒体上。所述载体媒体可包含例如只读存储器、随机存取存储器、磁盘或光盘、非易失性存储器、固态存储器、磁带及类似物的存储媒体。载体媒体可包含例如电线、电缆或无线传输链路的传输媒体。例如，贯穿本发明所描述的各种步骤可通过单个处理器308(或计算机子系统302)，或替代地，多个处理器308(或多个计算机子系统302)实行。此外，系统300的不同子系统可包含一或多个计算或逻辑系统。因此，以上描述不应被解释为限制本公开而仅为图解说明。
在例子中，处理器308是GPU。在另一例子中，处理器308是CPU。
处理器308可执行本文中所公开的实施例中的任一者(包含图2的实施例)。处理器308还可经配置以使用系统300的输出或使用来自其它源的图像或数据来执行其它功能或额外步骤。在例子中，处理器308经配置以从从检测器接收的数据产生多个半导体图像。可使用处理器308使用深度学习模型对所述多个半导体图像执行缺陷检测及分类。处理器可从深度学习模型对半导体图像应用LRP算法。处理器308可基于LRP传播算法确定相关性图。处理器308可确定所述相关性图与真实数据之间的平均交迭率评分。处理器308可基于相关性图及平均交迭率评分确定贡献给使用深度学习模型的分类的半导体图像中的一者的部分。
额外实施例涉及存储程序指令的非暂时性计算机可读存储媒体，所述程序指令可在控制器上执行用于执行用于确定晶片的表面上的经照明区域的高度的计算机实施方法，如本文中所公开。特定来说，如图2中所展示，电子数据存储单元309或其它存储媒体可含有包含可在处理器308上执行的程序指令的非暂时性计算机可读媒体。计算机实施方法可包含本文中所描述的任何方法的任何步骤。
在例子中，电子数据存储单元309可包含用于在一或多个计算装置上执行步骤的一或多个程序。所述步骤包含使用深度学习模型对多个半导体图像执行缺陷检测及分类。可从所述深度学习模型对半导体图像应用LRP算法。可基于所述LRP算法确定相关性图。可确定所述相关性图与真实数据之间的平均交迭率评分。可基于相关性图及平均交迭率评分确定贡献给使用深度学习模型的分类的半导体图像中的一者的部分。相关性图可基于输出层的相关性及早期层的相关性。在例子中，相关性图经正规化。步骤还可包含使用来自使用电子束的晶片检验工具的数据产生半导体图像或发送获得半导体图像的指令。
虽然关于由电子束形成的图像进行描述，但本文中所描述的实施例可使用由光子束形成的图像来执行。因此，能量束可为电子束或光子束。此光子束可使用激光或宽带等离子体源产生。晶片可固持于光子束的路径中的卡盘上。检测器可捕获从晶片反射的光子束。
本文中所描述的实施例可使用可为CNN或其它类型的应用的深度学习模型。此类型的方法有时称为端到端学习策略。例如，在一项实施例中，生成模型是深度生成模型。在另一实施例中，生成模型是机器学习模型。例如，生成模型可经配置以具有深度学习架构，因为生成模型可包含执行若干算法或变换的多个层。生成模型还可包含一或多个编码器侧层及/或一或多个译码器侧层。生成模型的一或两侧上的层的数目可改变且通常是使用案例相依的。深度生成及机器学习模型可包含所属领域中已知的可经配置以执行本文中所描述的功能的任何此类合适模型。
在实施例中，生成模型是CNN。生成模型可具有所属领域中已知的任何CNN配置或架构。一般来说，各种各样不同的CNN架构是可行的且在所属领域中已知。
方法的步骤中的每一者可如本文中描述般执行。方法还可包含可通过本文中所描述的处理器及/或计算机子系统或系统执行的任何其它步骤。步骤可通过一或多个计算机系统执行，所述一或多个计算机系统可根据本文中所描述的实施例中的任一者配置。另外，上文所描述的方法可通过本文中所描述的系统实施例中的任一者执行。
尽管本公开已关于一或多项特定实施例来描述，但将了解，本公开的其它实施例可在不偏离本公开的范围的情况下进行。因此，本公开被视为仅受限于所附权利要求书及其合理解释。
Claims (18)
1.一种方法，其包括：
使用处理器用深度学习模型对多个半导体图像执行缺陷检测及分类；
使用所述处理器从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；
使用所述处理器基于所述逐层相关性传播算法确定相关性图；
使用所述处理器确定所述相关性图与真实数据之间的平均交迭率评分；及
使用所述处理器基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。
2.根据权利要求1所述的方法，其中所述相关性图是基于输出层的相关性及早期层的相关性。
3.根据权利要求2所述的方法，其中所述相关性图经正规化。
4.根据权利要求2所述的方法，其中使用方程式
针对每一层确定所述早期层的所述相关性，其中Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是所述神经元i与所述神经元j之间的权重。
5.根据权利要求1所述的方法，其进一步包括使用所述处理器平滑化所述多个半导体图像。
6.根据权利要求1所述的方法，其进一步包括改变用于所述深度学习模型的训练图像的标注。
7.根据权利要求1所述的方法，其进一步包括改变用于所述深度学习模型的训练图像的类别代码。
8.根据权利要求1所述的方法，其进一步包括用使用电子束的晶片检验工具产生所述半导体图像。
9.一种晶片检验工具，其包括：
能量束源，其产生能量束；
载物台，其经配置以固持晶片；
检测器，其接收从所述晶片返回的所述能量束；及
处理器，其与所述检测器电子通信，其中所述处理器经配置以：
使用从所述检测器接收的数据产生多个半导体图像；
使用深度学习模型对所述多个半导体图像执行缺陷检测及分类；
从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；
基于所述逐层相关性传播算法确定相关性图；
确定所述相关性图与真实数据之间的平均交迭率评分；及
基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。
10.根据权利要求9所述的晶片检验工具，其中所述相关性图是基于输出层的相关性及早期层的相关性。
11.根据权利要求10所述的晶片检验工具，其中所述相关性图经正规化。
12.根据权利要求10所述的晶片检验工具，其中使用方程式
针对每一层确定所述早期层的所述相关性，其中Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是所述神经元i与所述神经元j之间的权重。
13.根据权利要求9所述的晶片检验工具，其中所述能量束是电子束且所述能量束源是电子束源。
14.一种非暂时性计算机可读存储媒体，其包括用于在一或多个计算装置上执行以下步骤的一或多个程序：
使用深度学习模型对多个半导体图像执行缺陷检测及分类；
从所述深度学习模型对所述半导体图像应用逐层相关性传播算法；
基于所述逐层相关性传播算法确定相关性图；
确定所述相关性图与真实数据之间的平均交迭率评分；及
基于所述相关性图及所述平均交迭率评分确定贡献给使用所述深度学习模型的所述分类的所述半导体图像中的一者的部分。
15.根据权利要求14所述的非暂时性计算机可读存储媒体，其中所述相关性图是基于输出层的相关性及早期层的相关性。
16.根据权利要求15所述的非暂时性计算机可读存储媒体，其中所述相关性图经正规化。
17.根据权利要求15所述的非暂时性计算机可读存储媒体，其中使用方程式
针对每一层确定所述早期层的所述相关性，其中Ri是第一层处的神经元i的相关性，Rj是第二层处的神经元j的相关性，ai是所述神经元i的激活，且wij是所述神经元i与所述神经元j之间的权重。
18.根据权利要求14所述的非暂时性计算机可读存储媒体，其中所述步骤进一步包括使用来自使用电子束的晶片检验工具的数据产生所述半导体图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/033,887 | 2020-09-27 | ||
| US17/033,887 US20220101114A1 (en) | 2020-09-27 | 2020-09-27 | Interpretable deep learning-based defect detection and classification |
| PCT/US2021/050563 WO2022066489A1 (en) | 2020-09-27 | 2021-09-15 | Interpretable deep learning-based defect detection and classification |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116209895A true CN116209895A (zh) | 2023-06-02 |
Family
ID=80821274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180065936.0A Pending CN116209895A (zh) | 2020-09-27 | 2021-09-15 | 基于可解释深度学习的缺陷检测及分类 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220101114A1 (zh) |
| EP (1) | EP4222482A1 (zh) |
| JP (1) | JP2023544502A (zh) |
| KR (1) | KR20230075434A (zh) |
| CN (1) | CN116209895A (zh) |
| TW (1) | TW202217634A (zh) |
| WO (1) | WO2022066489A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171364B2 (en) * | 2013-06-21 | 2015-10-27 | Kla-Tencor Corp. | Wafer inspection using free-form care areas |
| US20160025648A1 (en) * | 2014-07-22 | 2016-01-28 | Kla-Tencor Corporation | Virtual Inspection Systems with Multiple Modes |
| US20180107928A1 (en) * | 2016-10-14 | 2018-04-19 | Kla-Tencor Corporation | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| US20200161081A1 (en) * | 2018-11-15 | 2020-05-21 | Kla-Tencor Corporation | Using deep learning based defect detection and classification schemes for pixel level image quantification |
| JP2020123329A (ja) * | 2020-01-10 | 2020-08-13 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工ニューラルネットワークの関連性スコア割当て |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10825650B2 (en) * | 2018-09-28 | 2020-11-03 | Taiwan Semiconductor Manufacturing Co., Ltd. | Machine learning on wafer defect review |
| US11379972B2 (en) * | 2020-06-03 | 2022-07-05 | Applied Materials Israel Ltd. | Detecting defects in semiconductor specimens using weak labeling |
-
2020
- 2020-09-27 US US17/033,887 patent/US20220101114A1/en active Pending
-
2021
- 2021-09-13 TW TW110134048A patent/TW202217634A/zh unknown
- 2021-09-15 JP JP2023517330A patent/JP2023544502A/ja active Pending
- 2021-09-15 CN CN202180065936.0A patent/CN116209895A/zh active Pending
- 2021-09-15 WO PCT/US2021/050563 patent/WO2022066489A1/en unknown
- 2021-09-15 EP EP21873214.7A patent/EP4222482A1/en active Pending
- 2021-09-15 KR KR1020237010034A patent/KR20230075434A/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171364B2 (en) * | 2013-06-21 | 2015-10-27 | Kla-Tencor Corp. | Wafer inspection using free-form care areas |
| CN105453245A (zh) * | 2013-06-21 | 2016-03-30 | 科磊股份有限公司 | 使用无固定形式管理区域的晶片检验 |
| US20160025648A1 (en) * | 2014-07-22 | 2016-01-28 | Kla-Tencor Corporation | Virtual Inspection Systems with Multiple Modes |
| CN106537125A (zh) * | 2014-07-22 | 2017-03-22 | 科磊股份有限公司 | 具有多种模式的虚拟检验系统 |
| US20180107928A1 (en) * | 2016-10-14 | 2018-04-19 | Kla-Tencor Corporation | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| CN109844918A (zh) * | 2016-10-14 | 2019-06-04 | 科磊股份有限公司 | 用于经配置用于半导体应用的深度学习模型的诊断系统及方法 |
| US20200161081A1 (en) * | 2018-11-15 | 2020-05-21 | Kla-Tencor Corporation | Using deep learning based defect detection and classification schemes for pixel level image quantification |
| JP2020123329A (ja) * | 2020-01-10 | 2020-08-13 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 人工ニューラルネットワークの関連性スコア割当て |
Non-Patent Citations (1)
| Title |
|---|
| 赵新杰: "深度神经网络的可视化理解方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 04, pages 14 - 15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022066489A1 (en) | 2022-03-31 |
| EP4222482A1 (en) | 2023-08-09 |
| TW202217634A (zh) | 2022-05-01 |
| KR20230075434A (ko) | 2023-05-31 |
| JP2023544502A (ja) | 2023-10-24 |
| US20220101114A1 (en) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102466582B1 (ko) | 결함 분류기 트레이닝을 위한 능동적 학습 | |
| US10789703B2 (en) | Semi-supervised anomaly detection in scanning electron microscope images | |
| JP7216822B2 (ja) | 画素レベル画像定量のための深層学習式欠陥検出及び分類方式の使用 | |
| EP3465174B1 (en) | Generating simulated images from input images for semiconductor applications | |
| TWI769371B (zh) | 用於半導體裝置之檢測方法及系統，以及其非暫時性電腦可讀媒體 | |
| TWI782229B (zh) | 在半導體製造中使用隨機失效指標 | |
| JP2019537839A (ja) | 半導体用途向けに構成された深層学習モデルのための診断システムおよび方法 | |
| TW201921542A (zh) | 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷 | |
| US20190004504A1 (en) | Systems and methods for predicting defects and critical dimension using deep learning in the semiconductor manufacturing process | |
| KR102360769B1 (ko) | 시편의 검사를 위한 알고리즘 모듈들의 자동 선택 | |
| JP6931084B2 (ja) | 光学検査結果に発する計量案内型検査サンプルシェイピング | |
| US20220012404A1 (en) | Image matching method and arithmetic system for performing image matching process | |
| CN116209895A (zh) | 基于可解释深度学习的缺陷检测及分类 | |
| TWI844777B (zh) | 針對具有樣品內及樣品間變異之樣品使用無監督學習及適應性資料庫產生方法之影像對準設定 | |
| WO2022197313A1 (en) | Segmentation of design care areas with a rendered design image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |