CN118035735A - 基于深度学习的居中套刻键标的系统及其方法 - Google Patents
基于深度学习的居中套刻键标的系统及其方法 Download PDFInfo
- Publication number
- CN118035735A CN118035735A CN202310579541.3A CN202310579541A CN118035735A CN 118035735 A CN118035735 A CN 118035735A CN 202310579541 A CN202310579541 A CN 202310579541A CN 118035735 A CN118035735 A CN 118035735A
- Authority
- CN
- China
- Prior art keywords
- model
- overlay key
- overlay
- value
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title claims abstract description 53
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 25
- 239000004065 semiconductor Substances 0.000 abstract description 26
- 239000000758 substrate Substances 0.000 abstract description 14
- 238000003909 pattern recognition Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 239000010409 thin film Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000010408 film Substances 0.000 description 5
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 229920002120 photoresistant polymer Polymers 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000206 photolithography Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习的居中套刻键标的系统及其方法，以能够精确测量和检查半导体基板的精细图案的对准状态。基于深度学习的居中套刻键标方法包括如下步骤：从至少一个设备收集输入数据集的步骤，所述输入数据集包括套刻键标的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息；以及将所述输入数据集输入到用于深度学习的模型中，从而使所述模型学习的步骤。使所述模型学习的步骤包括：通过将在所述模型中预测的结果数据与所述标签数据进行比较来计算出损失函数的步骤；以及以使基于所述损失函数计算出的损失值小于基准值的方式校正所述模型的权重值来使所述模型的算法最优化的步骤。
Description
技术领域
本发明涉及半导体工艺，更具体地，涉及一种基于深度学习的居中套刻键标(centering position of overlay key)的系统及其方法。
背景技术
在半导体工艺中，在晶圆表面形成感光膜(Photo Resist)，并在使用步进器(stepper)的曝光工艺中，转移至倍缩式掩膜(reticle)上的晶圆表面上的感光膜，并对已完成曝光工艺的感光膜进行显影。之后，对于显影后的感光膜，使用蚀刻掩膜(mask)并通过蚀刻晶圆表面的光刻(Photolithography)工艺，在晶圆表面形成电路图案，并通过重复光刻工艺，在晶圆上形成具有电路图案的多层膜，从而制造半导体器件。
在半导体工艺中，为了在半导体基板上形成精细图案而进行的曝光工艺具体如下：在半导体基板上涂覆光刻胶(Photo-Resist)，并对涂覆有光刻胶的半导体基板施加热量的同时，使形成于掩膜的图案与半导体基板表面上的图案一致后，使部分光线透过，从而对相应区域的光刻胶进行曝光，并在曝光工艺后，喷射显影液，从而基于化学作用来去除曝光时光线透过的部分或光线不透过的部分，并且在半导体基板上形成图案后，测定对准状态，并测量垂直对准精度。
另一方面，为了在晶圆上制作半导体芯片的上部薄膜层和下部薄膜层的垂直对准精度称为套刻精度(overlay)，对于光学套刻测量设备而言，使用套刻键标(overlay key)来检查形成于半导体基板上的图案和在当前工艺中形成的图案的对准状态，以检测出微小缺陷和半导体工艺中的缺陷。
在测定和检查半导体基板的精细图案的对准状态的套刻工艺中，为了确认在半导体基板上由多层组成的多个薄膜层中形成的下部薄膜层图案和上部薄膜层图案是否精确对准而使用套刻标记(overlay mark)，由此确认上部薄膜层和下部薄膜层的对准状态。
光学套刻测定测量设备在半导体工艺中以超高精度测定如下内容：使用套刻标记来测定电路图案是否很好地对准，即以多层堆叠的半导体基板上的由多层组成的多个薄膜层中形成的下部薄膜层图案和上部薄膜层图案是否精确对准。
为了测量套刻标记的对准精度，必须先执行图案识别(Pattern Recognition，PR)操作(Action)。
当将工件台(Stage)移动至输入到配方(Recipe)中的套刻键标(Overlay Key)位置(Position)时，由于硬件(机器人、工件台等)的可重复性(Repeatability)的影响，在找到精确位置方面存在限制。
PR操作是一种弥补这一问题的技术，其将注册到配方中的模型图像与视场(Fieldof View，FOV)上的实时(Live)图像相匹配(Matching)的位置检测为中心(Center)，并额外进行与偏移量(offset)相等的工件台的移动(Stage Move)。
然而，对于通过图像之间的一对一匹配来额外进行工件台移动的方法而言，在配方中注册的图像可以代表晶圆整体的所有目标(target)的图像时是可行的。
在由于工艺上的影响而套刻键标图像之间的偏差(Variation)严重的情况下，则可能会发生PR失败(Fail)。
因此，需要一种可弥补PR失败而能够找到套刻键标的中心坐标并精确地居中套刻键标的中心坐标的技术。
现有技术文献
专利文献：授权专利KR10-1604789(2016年3月14日)
发明内容
发明要解决的技术问题
本发明要解决的技术问题在于，提供一种基于深度学习的居中套刻键标的系统和方法，其能克服由于工艺上的原因而发生的套刻键标图像之间的偏差(Variation)并执行图案识别(Pattern Recognition，PR)。
本发明的目的并不局限于以上提及的目的，本发明中未提及的其他目的和优点可以通过以下的说明得以被理解，并且通过本发明的实施例将更清楚地被理解。另外，显而易见的是，本发明的目的和优点可以通过权利要求书中记载的手段和其组合来实现。
用于解决技术问题的手段
根据一实施例的基于深度学习的居中套刻键标的系统包括：服务器，所述服务器从至少一个套刻测量设备收集包括套刻键标的位置信息和边界框(bounding box)尺寸信息的输入数据集，并将所述输入数据集输入到用于深度学习的模型中，从而使模型学习。
所述服务器通过如下方式使模型进行学习：将在模型中预测的结果数据与标签数据进行比较来计算出损失函数，并以使基于损失函数计算出的损失值小于基准值的方式校正模型的权重值来使模型的算法最优化。
根据一实施例的基于深度学习的居中套刻键标的方法包括如下步骤：从至少一个设备收集输入数据集的步骤，其中，所述输入数据集包括套刻键标(Overlay Key)的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息；以及将所述输入数据集输入到用于深度学习的模型中，从而使模型学习的步骤。
使所述模型学习的步骤包括：通过将在所述模型中预测的结果数据与所述标签数据进行比较来计算出损失函数的步骤；以及以使基于损失函数计算出的损失值小于基准值的方式校正模型的权重值来使所述模型的算法最优化的步骤。
根据一实施例的基于深度学习的居中套刻键标的系统包括至少一个套刻测量设备，所述套刻测量设备生成包括套刻键标的测量图像数据和标签数据的输入数据集，并将输入数据集发送至服务器。标签数据包括套刻键标的位置信息和边界框尺寸信息。
发明效果
根据本发明的实施例，通过基于深度学习能够精确地居中套刻键标，由此可以精确地测量和检查半导体基板的精细图案的对准状态。
并且，根据本发明可以防止在每个套刻键标的变化(Variation)严重的情况下可能会发生的图案识别(Pattern Recognition，PR)失败。
并且，根据本发明可以弥补在对图案识别(Pattern Recognition，PR)参数敏感响应的层(layer)的情况下可能会发生的PR误读(MisReading)。
除了上述效果之外，以下将说明用于实施本发明的具体事项，并记述本发明的具体效果。
附图说明
图1是用于说明图案识别(Pattern Recognition，PR)操作的图。
图2是根据一实施例的基于深度学习的居中套刻键标的系统及其方法的流程图。
图3是例示图2的用于深度学习的旋转神经网络(revolutionary neuralnetwork)的框图。
图4示出使用图2的模型来检测出套刻键标的中心的结果图像。
图5是示出能够通过周期性学习来获得稳定性模型的曲线图。
图6是例示图2的输入数据集中的图像文件的图。
具体实施方式
将参照附图详细描述上述目的、手段和效果，由此，本发明所属领域的技术人员将能够容易地实施本发明的技术思想。在对本发明进行说明时，如果判断对与本发明相关的已知技术的具体说明会不必要地使本发明的主旨模糊，将省略对其的详细说明。以下，将参照附图详细说明根据本发明的优选实施例。在附图中，相同的附图标记用于表示相同或相似的构成要素。
以下，公开一种基于深度学习的居中套刻键标的系统和方法，以克服由于工艺上的原因而发生的套刻键标图像之间的偏差(Variation)并执行图案识别(PatternRecognition，PR)。
在说明书中，套刻精度(overlay)可以被定义为用于在晶圆上制造半导体芯片的上部薄膜层和下部薄膜层的垂直对准精度。
在说明书中，套刻键标(overlay key)可以被定义为用于在光学套刻测量设备中通过检查形成于半导体基板上的图案与在当前工艺中形成的图案的对准状态来检测微小缺陷和检测半导体工艺中的缺陷。
在说明书中，PRU可以被定义为在视场(Field of View，FOV)内居中套刻键标。
图1是用于说明图案识别(Pattern Recognition，PR)操作的图。
当将工件台移动至目标(套刻键标(Overlay Key))位置时，由于硬件(机器人、工件台等)的可重复性(Repeatability)的影响，在找到精确位置方面存在限制。
PR操作是一种弥补这一问题的技术，其将注册到配方中的模型图像与FOV上的实时图像相匹配的位置检测为中心，额外进行与偏移量相等的工件台移动(Stage Move)。
然而，对于通过图像之间的一对一匹配来额外进行工件台移动的方法而言，在配方中注册的图像可以代表晶圆整体的所有目标(target)的图像时是可行的。
在由于工艺上的影响而套刻键标图像之间的偏差(Variation)严重的情况下，则可能会发生PR失败(Fail)。
为此，本实施例利用客体检测技术，其用于寻找图像中物体的位置及其种类。预先提取欲寻客体的特征并进行训练，从而生成深度学习模型。在给定的影像中，检测相应的特征并利用深度学习模型来检测套刻键标的中心位置。
为了在晶圆上制作半导体芯片的上部薄膜层和下部薄膜层的垂直对准精度称为套刻精度(overlay)。就光学套刻测量设备而言，使用套刻键标(overlay key)来检查在半导体基板上形成的图案和在当前工艺中形成的图案的对准状态，以检测出微小缺陷和半导体工艺中的缺陷。
图2是根据一实施例的基于深度学习的居中套刻键标的系统及其方法的流程图。图3是例示图2的用于深度学习的旋转神经网络的框图。
参照图2和图3，根据一实施例的基于深度学习的居中套刻键标的系统包括光学套刻测量设备、训练PC和设备PC。
光学套刻测量设备存储输入数据集并将输入数据集(input data set)传输至训练PC。其中，输入数据集包括套刻键标(Overlay Key)的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息。
作为一示例，光学套刻测量设备使用当制造半导体设备时形成的多个薄膜层上的套刻标记(overlay mark)，并精确使用检测区域的光学套刻目标(optical overlaytarget)的0°图像和180°旋转的图像的对称(symmetry)特性来精确地找到套刻位置(target position)的套刻标记图像的中心点。
训练PC从至少一种光学套刻测量设备收集输入数据集，并且将所述输入数据集输入到用于深度学习的模型中，从而使模型进行学习。其中，训练PC可以是通过网络连接到至少一种光学套刻测量设备的服务器。
训练PC通过如下方式使模型进行学习：将在模型中预测的结果数据与标签数据进行比较来计算出损失函数，并以使基于损失函数计算出的损失值小于基准值的方式校正模型的权重值来使模型的算法最优化。
训练PC通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
训练PC在学习的模型中选定最佳模型(best model)。其中，训练PC选定损失值小于基准值的模型，并且在选定的所述模型中利用精确率(precision)、召回率(recall)、平均精度均值(Mean Average Precision，mAP)、F1的指标(metric)中的至少一种来计算分数(score)，并选定对应分数值高的模型作为最佳模型。
设备PC从训练PC接收最佳模型并居中套刻键标。作为一示例，设备PC接收套刻键标的实时图像，并且通过最佳模型从套刻键标的实时图像中检测出中心坐标值，并利用中心坐标值来使套刻键标居中。
设备PC在改变配方的情况下，将居中的套刻键标图像注册于配方中，并且在正常运行的情况下，将在配方中注册的模型图像与FOV上的实时图像相匹配的位置检测为中心，并以与偏移量相等程度移动工件台。
另一方面，训练PC可以通过加工套刻键标(Overlay Key)的测量图像数据来生成至少一个训练用测量图像数据。作为一示例，可以通过基于预定角度旋转测量图像数据来生成训练用测量图像数据。并且，可以将基于目标的位置、角度、图像亮度和波长的图像生成为训练用测量图像数据。作为另一示例，可以将变更测量图像数据的位置、角度、图像亮度和波长中的至少一种的图像生成为训练用测量图像数据。
根据一实施例的基于深度学习的居中套刻键标的方法包括如下步骤：在至少一个设备中生成并存储测量图像数据的步骤；从至少一个设备收集输入数据集的步骤；将所述输入数据集输入到用于深度学习的模型中，从而使模型学习的步骤；在已完成学习的模型中选择最佳模型的步骤；以及利用最佳模型来使套刻键标居中的步骤。
至少一个设备存储输入数据集。作为一示例，对于光学套刻测量设备而言，测量套刻键标的图像数据和标签数据。输入数据集包括套刻键标(Overlay Key)的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息。
作为一示例，图像数据可以是套刻键标测量图像文件，标签数据可以是包括套刻键标的位置信息和边界框尺寸信息的文本文件。
存储的输入数据集通过FTP迁移(Migration)收集到服务器PC(训练PC)中。
使模型学习的步骤包括：通过将在模型中预测的结果数据与标签数据进行比较来计算出损失函数的步骤；以及以使基于损失函数(Loss Function)中计算出的损失值小于基准值的方式校正模型的权重值来使所述模型的算法最优化的步骤。在使模型学习的步骤中，通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
作为一示例，将输入数据集放入YOLO模型(网络体系结构(NetworkArchitecture))中，通过比较YOLO模型中预测的结果值和标签值来计算出损失函数(LossFunction)。
并且，使算法最优化。作为一示例，以使基于损失函数计算出的损失值变小的方式校正YOLO模型的权重值。上述过程重复预定的轮次(epoch)。作为一示例，轮次值可以被默认(default)为100。
并且，选择最佳模型的步骤包括：选定损失值小于基准值的模型的步骤；以及在选定的所述模型中利用精确率(precision)、召回率(recall)、平均精度均值(Mean AveragePrecision，mAP)、F1的指标(metric)中的至少一种来计算分数，并选定对应分数值高的模型作为最佳模型的步骤。
对用于计算分数和选定最佳模型的项目的具体说明如下。
在说明精确率(precision)、召回率(recall)、平均精度均值(Mean AveragePrecision，mAP)、F1的指标(metric)之前，根据模型的结果和实际正确值，可将真正类(True Positive，TP)、假正类(False Positive，FP)、假负类(False Negative，FN)、真负类(True Negative，TN)以如下方式定义：
真正类(True Positive)定义为：模型的结果＝正(True)，实际正确值＝正(True)(IOU>＝阈值(Threshold))。
假正类(False Positive)定义为：模型的结果＝负(False)，实际正确值＝负(False)(IOU<阈值(Threshold))。
假负类(False Negative)定义为：模型的结果＝负(False)，实际正确值＝正(True)。
真负类(True Negative)定义为：模型的结果＝负(False)，实际正确值＝负(False)。
<精确率(precision)>
精确率(precision)＝真正类(True Positive)/(真正类(True Positive)+假正类(False Positive))＝真正类(True Positive)/所有检测到的客体(all detections)
精确率是一种与召回率(Recall)一起使用的概念，其是一种可以表示预测结果的精确程度的指标，并且，其意味着在所有检测到的客体中正确值为正(Ture)的客体的比例。
<召回率>
召回率＝真正类(True Positive)/(真正类(True Positive)+假负类(FalseNegative))＝真正类(True Positive)/(所有真实值(all ground truths))。
<F1>：表示精确率(Precision)和召回率(Recall)的调和平均值，F1＝2×(精确率(Precision)×召回率(Recall))/(精确率(Precision)+召回率(Recall))。
<平均精度均值(Mean Average Precision)>
精确率-召回率(Precision-Recall)曲线：是指基于基准值的变化的模型的性能评价指标，所述基准值是针对对于模型预测结果的置信度(confidence)值的基准值。其中，置信度值表示模型对于检测结果置信的程度。
并且，利用最佳模型居中套刻键标的步骤为：接收套刻键标的实时图像，并且通过最佳模型从套刻键标的实时图像中检测出中心坐标值，并利用中心坐标值来使套刻键标居中。
作为一示例，将迁移(Migration)的最佳模型用于居中套刻键标。作为输入，需要居中的套刻键标的实时(Live)图像被输入，并且作为输出，通过模型检测出套刻键标的中心坐标X值和Y值。利用套刻键标中心坐标的X值和Y值来使套刻键标居中。
并且，对于生成测量图像数据而言，通过加工拍摄的测量图像数据来生成至少一个训练用测量图像数据。作为一示例，可以通过基于预定角度旋转测量图像数据来生成训练用测量图像数据。并且，可以将基于目标的位置、角度、图像亮度和波长的图像生成为训练用测量图像数据。
作为一示例，深度神经网络可以用于深度学习，深度神经网络可以通过堆叠许多隐藏层(hidden layer)来增加参数(parameter)的方式来提高模型的精确性。为了正确训练多达数百万个的参数，需要大量的学习数据。尤其，学习数据要足够多样化，以充分反映现实，并且其质量要优异。
在无法确保足够的学习数据来训练参数的情况下，发生阻碍模型性能的过拟合(overfitting)问题的可能性高。过拟合是一种模型仅对训练数据过度适应而无法很好地响应测试数据或新数据的现象。
为了解决这种过拟合问题，最为重要的是用多种学习数据训练网络。因此，作为确保充分训练深度神经网络的必要的数据的技术之一，可使用数据增强(Dataaugmentation)技术。数据增强技术是指通过人为改变少量学习数据来确保大量新训练数据的方法论。
例如，可以通过上下左右翻转(flipping)或裁剪(cropping)图像的方式来确保新的图像数据。并且，可以通过改变图像的亮度来增强学习用数据。
图4示出使用图2的模型来检测出套刻键标的中心的结果图像。
作为使用深度学习模型来检测目标中心的结果图像，中间的点是已完成训练的最佳模型找到的目标中心值。模型需要学习过程，并且根据学习时所使用的图像质量(Quality)而会在性能上有所差异。
图5是示出能够通过周期性学习来获得稳定性模型的曲线图。
如图5所示，模型1(model1)、模型2(model2)、模型3(model3)、模型4(model4)为周期性学习的模型，其中，模型1(model1)为最早的模型，模型4(model4)为最后完成的模型。平均值X(meanX)、平均值Y(meanY)示出在模型(model)中找到的预测中心值与实际中心值之差的平均值。
当周期性地进行训练时，由于利用大量的数据来学习模型，故可以逐渐获得稳定的模型。
图6是例示图2的输入数据集中的图像文件的图。作为一示例，输入数据集的组成可以是图像文件(文件格式：bmp)、标签文件(文件格式：txt)。图像可以是用套刻键标测量图像进行居中的图像。
标签可以具有套刻键标的位置信息的总共五种索引(index)。
作为一示例，第一索引(index1)可以是要学习的套刻键标的类型，例如，可以是5X全局键标(5X GlobalKey)或点键标(SiteKey)。
第二索引(index2)可以是将要学习的套刻键标(overlay key)的x位置的像素值除以总图像尺寸得到的值。
第三索引(index3)可以是将要学习的套刻键标的y轴位置像素值除以图像整体尺寸得到的值。
第四索引(index4)可以是将要学习的套刻键标的边界框(Bounding Box)的宽度(Width)值除以图像整体尺寸得到的值。
第五索引(index5)可以是将要学习的套刻键标的边界框(Bounding Box)的高度(Height)值除以图像整体尺寸得到的值。
第二索引(index2)和第三索引(index3)可以使用通过“目标探测器(TargetFinder)”逻辑验证的值。
对于输出而言，使用Yolo模型(客体检测模型之一)来检测实时图像中套刻键标的位置和尺寸信息，其中，所述Yolo模型使用输入数据集完成学习。
如此，根据一实施例的基于深度学习的居中套刻键标的系统包括：至少一个套刻测量设备，其存储输入数据集并将输入数据集传输至服务器，其中，输入数据集测量包括套刻键标(Overlay Key)的测量图像数据和标签数据(包括套刻键标的位置信息和边界框尺寸信息)；以及服务器，其从至少一个套刻测量设备收集输入数据集，并将所述输入数据集输入到用于深度学习的模型中，从而使模型学习。
服务器通过如下方式使模型进行学习：将在模型中预测的结果数据与标签数据进行比较来计算出损失函数，并以使基于损失函数计算出的损失值小于基准值的方式校正模型的权重值来使模型的算法最优化。
服务器通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
服务器还包括：从已完成学习的模型中选定最佳模型的过程。
服务器选定损失值小于所述基准值的模型，并且在选定的所述模型中利用精确率(precision)、召回率(recall)、平均精度均值(Mean Average Precision，mAP)、F1的指标(metric)中的至少一种来计算分数，并选定对应分数值高的模型作为最佳模型。
根据一实施例的基于深度学习的居中套刻键标的系统还包括：套刻测量设备，其用于从服务器接收最佳模型来使套刻键标居中。
套刻测量设备接收套刻键标的实时图像，并且通过最佳模型从套刻键标的实时图像中检测出中心坐标值，并利用中心坐标值来使套刻键标居中。
套刻测量设备将居中的套刻键标图像注册于配方中。
并且，根据一实施例的基于深度学习的居中套刻键标的方法包括如下步骤：从至少一个设备收集输入数据集的步骤；以及将所述输入数据集输入到用于深度学习的模型中，从而使模型学习的步骤。
输入数据集包括套刻键标的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息。
使模型学习的步骤包括：通过将在模型中预测的结果数据与标签数据进行比较来计算出损失函数的步骤；以及以使基于损失函数计算出的损失值小于基准值的方式校正模型的权重值来使模型的算法最优化的步骤。
在使模型学习的步骤中，通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
根据一实施例的基于深度学习的居中套刻键标的方法还包括如下步骤：从已完成学习的模型中选择最佳模型。
选择最佳模型的步骤包括：选定损失值小于基准值的模型的步骤；以及在选定的所述模型中利用精确率(precision)、召回率(recall)、平均精度均值(Mean AveragePrecision，mAP)、F1的指标(metric)中的至少一种来计算分数，并选定对应分数值高的模型作为最佳模型的步骤。
作为一示例，通过使模型学习来选择最佳模型的方法如下。
首先，通过将在模型中预测的结果数据与标签数据(实际正确值)进行比较来计算出损失函数，并以使基于损失函数计算出的损失值变小的方式校正模型的权重值来使模型的算法最优化。
其中，标签数据可以包括要学习的套刻键标的类型、将要学习的套刻键标的x位置的像素值除以图像整体尺寸得到的值、将要学习的套刻键标的y位置的像素值除以图像整体尺寸得到的值、将要学习的套刻键标的边界框的宽度值除以图像整体尺寸得到的值、以及将要学习的套刻键标的边界框的高度值除以图像整体尺寸得到的值中的至少一种。
其次，在使模型学习的步骤中，通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。例如，以使损失值变小的方式校正对于精确率(precision)、召回率(recall)、平均精度均值(Mean Average Precision，mAP)、F1的指标(metric)的每一种的权重值。
精确率作为表示预测结果精确程度的指标，是指在所有检测到的客体中，正确值为正(Ture)的客体所占的比率。例如，精确率可以通过如下数式计算：真正类(TruePositive)/(真正类(True Positive)+假正类(False Positive))＝真正类(TruePositive)/所有检测到的客体(all detections)。其中，当将预测的结果数据与标签数据进行比较的模型的结果为正(True)且实际正确值为正(True)时，表示为真正类(TruePositive)。而当将预测的结果数据和标签数据进行比较的模型的结果为负(False)且实际正确值为负(False)时，表示为假正类(False Positive)。
召回率是指真正类(True Positive)与真正类和假负类之和(True Positive+False Negative)的比率。召回率可以通过如下数式计算：即真正类(True Positive)/(真正类(True Positive)+假负类(False Negative))＝真正类(True Positive)/(所有真实值(all ground truths))。其中，当将预测的结果数据与标签数据进行比较的模型的结果为负(False)而实际正确值为正(True)时，表示为假负类(False Negative)。
F1是指精确率和召回率的调和平均。例如，可以通过如下数式计算：F1＝2×(精确率×召回率)/(精确率+召回率)。
平均精度均值(Mean Average Precision，mAP)表示基于临界值的变化的模型的性能评价指标，所述临界值是只针对对于模型预测结果的置信度(confidence)值的临界值。其中，置信度值是指模型对检测结果置信的程度。
接着，利用如上所述的数式来计算对于精确率(precision)、召回率(recall)、平均精度均值(Mean Average Precision，mAP)、F1的指标(metric)的分数，并选定对应分数值高的模型作为最佳模型。
根据一实施例的基于深度学习的居中套刻键标的方法还包括如下步骤：利用最佳模型来使套刻键标居中。
利用最佳模型来使套刻键标居中的步骤包括：接收套刻键标的实时图像的步骤；通过最佳模型从套刻键标的实时图像中检测出中心坐标值的步骤；以及利用中心坐标值来使套刻键标居中的步骤。
作为一实施例，在光学套刻测量设备中居中套刻键标的方法如下：当通过镜头识别套刻标记时，在套刻标记存在的区域中获取预定尺寸的图像，并将其确定为第一图像，并且改变第一图像来生成第二图像。
对于套刻测量设备而言，通过比较第一图像和第二图像的特性值来计算出比较值，并为了判断第一图像和第二图像之间的相似性而确认比较值是否在预定标准范围内，如果比较值在预定标准范围内，则判断为第一图像和第二图像相同，确定第一图像的中心点，并将第一图像的中心点确定为套刻标记的中心点。
对于套刻测量设备而言，在改变配方的情况下，将居中的套刻键标图像注册于配方中；在正常运行的情况下，将在配方中注册的模型图像与FOV上的实时图像相匹配的位置检测为中心，并额外进行与偏移量相等的工件台的移动。
根据一实施例的基于深度学习的居中套刻键标的方法还包括如下步骤：在至少一个设备中生成测量图像数据。
在生成测量图像数据的步骤中，通过改变测量图像数据的位置、角度、图像亮度和波长中的至少一种来生成至少一个训练用测量图像数据。
根据一个实施例的基于深度学习的居中套刻键标的系统包括：至少一个套刻测量设备，所述套刻测量设备生成包括套刻键标(Overlay Key)的测量图像数据和标签数据的输入数据集，并将所述输入数据集发送至服务器。标签数据包括套刻键标的位置信息和边界框尺寸信息。
标签数据设置为包括套刻键标的类型、套刻键标的x位置的像素值除以图像整体尺寸得到的值、套刻键标的y位置的像素值除以图像整体尺寸得到的值、套刻键标的边界框的宽度值除以图像整体尺寸得到的值、以及套刻键标的边界框的高度值除以图像整体尺寸得到的值中的至少一种。
就根据一实施例的基于深度学习的居中套刻键标的方法而言，基于深度学习能够精确居中套刻键标，由此可以精确地测量和检查半导体基板的精细图案的对准状态。
并且，根据本发明可以防止在每套刻键标的变化严重的情况下可能会发生的图案识别(Pattern Recognition，PR)失败。
并且，在对PR参数敏感反应的层的情况下，可以弥补可能会发生的PR误读(missreading)。
如上所述，参照例示的附图对本发明进行了说明，但本发明不限于本说明书中公开的实施例和附图，本领域技术人员可以在本发明的技术思想的范围内进行各种修改是显而易见的。并且，虽然在说明本发明的实施例时没有通过明确记载来说明根据本发明的技术方案的作用效果，但应当承认基于相应的技术方案而可预测的效果。
Claims (17)
1.一种基于深度学习的居中套刻键标的系统，其中，
包括服务器，其从至少一个套刻测量设备收集包括套刻键标的测量图像数据和标签数据的输入数据集，并将所述输入数据集输入到用于深度学习的模型中，从而使所述模型学习，其中，所述输入数据集包括套刻键标的位置信息和边界框尺寸信息，
所述服务器通过如下方式使所述模型进行学习：
将在所述模型中预测的结果数据与所述标签数据进行比较来计算出损失函数，并以使基于所述损失函数计算出的损失值小于基准值的方式校正所述模型的权重值来使所述模型的算法最优化。
2.根据权利要求1所述的基于深度学习的居中套刻键标的系统，其中，
所述服务器通过向模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
3.根据权利要求1所述的基于深度学习的居中套刻键标的系统，其中，
所述服务器还包括从已完成学习的所述模型中选定最佳模型的过程。
4.根据权利要求3所述的基于深度学习的居中套刻键标的系统，其中，
所述服务器通过以下方式选定最佳模型：
所述服务器选定所述损失值小于所述基准值的模型，并且在选定的所述模型中利用精确率、召回率、平均精度均值、F1的指标中的至少一种来计算分数，并选定对应分数值高的模型作为所述最佳模型。
5.根据权利要求3所述的基于深度学习的居中套刻键标的系统，其中，
所述套刻测量设备通过从所述服务器接收所述最佳模型来使套刻键标居中。
6.根据权利要求5所述的基于深度学习的居中套刻键标的系统，其中，
所述套刻测量设备接收套刻键标的实时图像，并且通过所述最佳模型从套刻键标的实时图像中检测出中心坐标值，并利用所述中心坐标值来使套刻键标居中。
7.根据权利要求5所述的基于深度学习的居中套刻键标的系统，其中，
所述套刻测量设备将居中的套刻键标图像注册于配方中。
8.一种基于深度学习的居中套刻键标的方法，其中，包括如下步骤：
服务器从至少一个设备收集输入数据集的步骤，所述输入数据集包括套刻键标的测量图像数据和标签数据，所述标签数据包括套刻键标的位置信息和边界框尺寸信息；以及
所述服务器将所述输入数据集输入到用于深度学习的模型中，从而使所述模型学习的步骤，
使所述模型学习的步骤包括：
通过将在所述模型中预测的结果数据与所述标签数据进行比较来计算出损失函数的步骤；以及
以使基于所述损失函数计算出的损失值小于基准值的方式校正所述模型的权重值来使所述模型的算法最优化。
9.根据权利要求8所述的基于深度学习的居中套刻键标的方法，其中，
在使所述模型学习的步骤中，通过向所述模型中输入预定次数的所述输入数据集来重复校正模型的权重值的过程。
10.根据权利要求8所述的基于深度学习的居中套刻键标的方法，其中，
还包括如下步骤：
所述服务器从已完成学习的所述模型中选择最佳模型。
11.根据权利要求10所述的基于深度学习的居中套刻键标的方法，其中，
选择所述最佳模型的步骤包括：
选定所述损失值小于所述基准值的模型的步骤；以及
在选定的所述模型中利用精确率、召回率、平均精度均值、F1的指标中的至少一种来计算分数，并选定对应分数值高的模型作为所述最佳模型的步骤。
12.根据权利要求10所述的基于深度学习的居中套刻键标的方法，其中，
还包括如下步骤：
所述服务器利用所述最佳模型来使套刻键标居中。
13.根据权利要求12所述的基于深度学习的居中套刻键标的方法，其中，
利用所述最佳模型来使套刻键标居中的步骤包括：
接收套刻键标的实时图像的步骤；
通过所述最佳模型从套刻键标的实时图像中检测出中心坐标值的步骤；以及
利用所述中心坐标值来使套刻键标居中的步骤。
14.根据权利要求8所述的基于深度学习的居中套刻键标的方法，其中，还包括如下步骤：
所述服务器在至少一个设备中生成所述测量图像数据。
15.根据权利要求14所述的基于深度学习的居中套刻键标的方法，其中，
在生成所述测量图像数据的步骤中，通过改变所述测量图像数据的位置、角度、图像亮度和波长中的至少一种来生成至少一个训练用测量图像数据。
16.一种基于深度学习的居中套刻键标的系统，其中，包括：
至少一个套刻测量设备，所述套刻测量设备生成包括套刻键标的测量图像数据和标签数据的输入数据集，并将所述输入数据集发送至服务器，
所述标签数据包括所述套刻键标的位置信息和边界框尺寸信息。
17.根据权利要求16所述的基于深度学习的居中套刻键标的系统，其中，
所述标签数据设置为包括所述套刻键标的类型、所述套刻键标的x位置的像素值除以图像整体尺寸得到的值、所述套刻键标的y位置的像素值除以图像整体尺寸得到的值、所述套刻键标的边界框的宽度值除以图像整体尺寸得到的值、以及所述套刻键标的边界框的高度值除以图像整体尺寸得到的值中的至少一种。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2022-0151232 | 2022-11-14 | ||
| KR1020220151232A KR102560241B1 (ko) | 2022-11-14 | 2022-11-14 | 딥러닝 기반 오버레이 키 센터링 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118035735A true CN118035735A (zh) | 2024-05-14 |
Family
ID=87427000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310579541.3A Pending CN118035735A (zh) | 2022-11-14 | 2023-05-22 | 基于深度学习的居中套刻键标的系统及其方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12002249B1 (zh) |
| JP (1) | JP7503687B2 (zh) |
| KR (1) | KR102560241B1 (zh) |
| CN (1) | CN118035735A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435870B (zh) * | 2023-12-21 | 2024-03-29 | 国网天津市电力公司营销服务中心 | 一种负荷数据实时填充方法、系统、设备和介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6463184B1 (en) | 1999-06-17 | 2002-10-08 | International Business Machines Corporation | Method and apparatus for overlay measurement |
| JP3997749B2 (ja) * | 2001-10-22 | 2007-10-24 | ソニー株式会社 | 信号処理方法及び装置、信号処理プログラム、並びに記録媒体 |
| KR20060085293A (ko) | 2005-01-21 | 2006-07-26 | 삼성전자주식회사 | 오버레이 계측방법 |
| KR100904732B1 (ko) | 2007-10-26 | 2009-06-26 | 주식회사 하이닉스반도체 | 오정렬 가늠 마크를 이용한 정렬도 측정 방법 |
| KR20120048904A (ko) | 2010-11-08 | 2012-05-16 | 에스케이하이닉스 주식회사 | 오버레이 측정 방법 |
| KR101604789B1 (ko) | 2014-03-24 | 2016-03-21 | 주식회사 오로스테크놀로지 | 오버레이 마크 이미지의 중심점을 찾는 방법 |
| CN105511235B (zh) * | 2016-02-15 | 2017-08-08 | 京东方科技集团股份有限公司 | 套刻键标、形成套刻键标的方法和测量套刻精度的方法 |
| US11340060B2 (en) * | 2019-07-23 | 2022-05-24 | Kla Corporation | Automatic recipe optimization for overlay metrology system |
| JP7366626B2 (ja) | 2019-07-31 | 2023-10-23 | キヤノン株式会社 | 判断装置 |
| JP7339826B2 (ja) * | 2019-09-19 | 2023-09-06 | キヤノン株式会社 | マーク位置決定方法、リソグラフィー方法、物品製造方法、プログラムおよびリソグラフィー装置 |
| JP2022039990A (ja) | 2020-08-28 | 2022-03-10 | キヤノン株式会社 | 計測装置、計測方法、リソグラフィー装置、物品製造方法およびモデル |
| KR102471124B1 (ko) * | 2020-09-16 | 2022-11-25 | 주식회사 크래비스 | 인쇄회로기판 인식마크 검출 장치 및 방법 |
| JP2022149848A (ja) | 2021-03-25 | 2022-10-07 | キヤノン株式会社 | 計測装置、リソグラフィ装置、および物品製造方法 |
-
2022
- 2022-11-14 KR KR1020220151232A patent/KR102560241B1/ko active IP Right Grant
-
2023
- 2023-05-01 JP JP2023075830A patent/JP7503687B2/ja active Active
- 2023-05-03 US US18/142,903 patent/US12002249B1/en active Active
- 2023-05-22 CN CN202310579541.3A patent/CN118035735A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US12002249B1 (en) | 2024-06-04 |
| KR102560241B1 (ko) | 2023-07-28 |
| US20240161441A1 (en) | 2024-05-16 |
| JP7503687B2 (ja) | 2024-06-20 |
| JP2024071336A (ja) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI774027B (zh) | 最佳化來自一感測器系統之量測資料之方法及用於監視半導體製造程序之條件之方法 | |
| CN113406865B (zh) | 确定图案化过程的校正的方法 | |
| CN110494865B (zh) | 优化用于产品单元的多阶段处理的装置 | |
| US5674651A (en) | Alignment method for use in an exposure system | |
| CN118035735A (zh) | 基于深度学习的居中套刻键标的系统及其方法 | |
| US8097473B2 (en) | Alignment method, exposure method, pattern forming method, and exposure apparatus | |
| CN115104067A (zh) | 确定光刻匹配性能 | |
| CN111830792A (zh) | 基板处理装置、物品制造方法、基板处理方法、基板处理系统、管理装置和存储介质 | |
| US6898306B1 (en) | Machine-independent alignment system and method | |
| CN112309909B (zh) | 判断装置、基板处理装置以及物品的制造方法 | |
| US9052604B2 (en) | Photolithography systems and associated alignment correction methods | |
| US7342643B2 (en) | Method of aligning wafer using database constructed of alignment data in a photolithography process | |
| TWI408330B (zh) | 位置偵測器、位置偵測方法、曝光設備及裝置製造方法 | |
| Kataoka et al. | Novel feature vectors considering distances between wires for lithography hotspot detection | |
| KR20230047898A (ko) | 기판상의 복수의 숏 영역의 배열을 구하는 방법, 노광 방법, 노광 장치, 물품의 제조 방법, 비일시적 컴퓨터 판독 가능한 기억 매체, 및 정보처리장치 | |
| TW202419972A (zh) | 基於深度學習的居中疊對標記的系統及其方法 | |
| US11847777B1 (en) | Correlation-based overlay key centering system and method thereof | |
| JP6945601B2 (ja) | パターン形成装置、決定方法、プログラム、情報処理装置及び物品の製造方法 | |
| TWI733296B (zh) | 性質結合內插及預測之設備及方法 | |
| CN108693719A (zh) | 曝光装置及曝光方法 | |
| JPH11145029A (ja) | 位置合わせ測定装置 | |
| JPH08115869A (ja) | 位置合わせ方法 | |
| TW202419985A (zh) | 基於相關關係的套刻鍵標定心系統及其方法 | |
| CN116755300A (zh) | 套刻误差的量测方法、其装置及光刻系统 | |
| US9806031B2 (en) | Monitor method for process control in a semiconductor fabrication process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |