CN114556384A - 通过累积预测进行机器学习变量选择和根本原因发现 - Google Patents

通过累积预测进行机器学习变量选择和根本原因发现 Download PDF

Info

Publication number
CN114556384A
CN114556384A CN202080073238.0A CN202080073238A CN114556384A CN 114556384 A CN114556384 A CN 114556384A CN 202080073238 A CN202080073238 A CN 202080073238A CN 114556384 A CN114556384 A CN 114556384A
Authority
CN
China
Prior art keywords
wafer
machine learning
prediction
yield
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080073238.0A
Other languages
English (en)
Inventor
R·伯奇
朱青
J·霍尔特
本田智纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pdf Decision Co
Original Assignee
Pdf Decision Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pdf Decision Co filed Critical Pdf Decision Co
Publication of CN114556384A publication Critical patent/CN114556384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • General Factory Administration (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一系列模型累加增加数量的变量的r平方值，以便量化每个变量对预测目标良率或参数响应的重要性。

Description

通过累积预测进行机器学习变量选择和根本原因发现
交叉引用
本申请要求2019年10月16日提交的名称为Machine Learning VariableSelection and Root Cause Discovery by Cumulative Prediction的美国临时申请号62/916171的优先权，所述申请全文以引用方式并入本文。
技术领域
本申请涉及半导体制造过程，并且更具体地涉及一种用于由机器学习模型利用累积预测来标识关键过程变量的方案。
背景技术
在机器学习和建模用于半导体制造过程方面的两个基本目标是准确良率(或连续参数值)预测以及根本原因发现。根本原因发现涉及量化模型中每个变量对所选择良率(或连续参数值)的重要性并且量化每个变量对每次预测观察的重要程度。
遗憾的是，这两个目标通常是相互对立的。利用简单模型，诸如线性回归，在总体上和针对每次观察确定最重要变量相对容易；然而，这些模型通常不准确。利用复杂机器学习方法，预测可准确得多；然而，仍然很难既在总体上又针对每次观察确定每个变量的重要性。
期望利用机器学习模型的固有能力来帮助量化特定过程变量的重要性。
发明内容
呈现了一种用于标识特定过程变量的重要性的方法。一系列模型累加增加数量的变量的r平方值，以便量化每个变量对预测目标良率或参数响应的重要性。
初始地，机器学习模型被配置来基于作为所述机器学习模型的输入提供的多个过程参数预测目标特征。选择所述处理参数中的第一处理参数并且将其用于确定用于预测所述目标特征的第一r平方值。然后选择所述过程参数中的第二过程参数并且将其用于确定用于基于所选择的第二过程参数预测所述目标特征的第二r平方值。如有需要，选择所述过程参数中的另外的过程参数并且将其用于确定用于基于所选择的另外的过程参数预测所述目标特征的对应的另外的r平方值，直到所述第一r平方值、所述第二r平方值和所述另外的r平方值的累加增加小于阈值为止。然后可根据参数的影响对所述参数进行排名并且将所述参数标识为机器学习模型的关键输入。
附图描述
图1是示出由于所选择过程参数而对良率预测的增量和累积贡献的表。
图2是示出基于图1中标识的过程参数，多个晶圆样品的预测良率与实际良率之间的晶圆级相关性的图形绘图。
图3是示出对于来自图2的晶圆样品中的两个晶圆样品，所选择过程参数对良率的相对影响的条形图。
图4是示出来自仅使用最重要的输入变量建立的模型的实际良率与预测良率之间的晶圆级相关性的图形绘图。
图5是示出所选择过程参数对来自图2的晶圆样品中的两个晶圆样品的良率的相对影响的平均值的条形图。
图6是示出在基于单个参数观察之后用于来自图2的晶圆样品中的两个晶圆样品的预测空间模式和实际空间模式的热图。
图7是示出在基于两个参数观察之后用于来自图2的晶圆样品中的两个晶圆样品的预测空间模式和实际空间模式的热图。
图8是示出用于标识过程参数的累积影响的方法的流程图。
具体实施方式
机器学习(ML)在对半导体工艺进行建模中发挥着越来越积极的作用，尤其是在预测和根本原因分析方面。逐步回归的原理中的一些可用于优化任何复杂ML方法(例如，神经网络、极限梯度提升等)并且特别地基于交叉验证r平方方法的ML模型的输入参数，以删除不会改进对训练数据的预测的变量并且仅保留对预测重要的那些变量。
然而，可通过首先构建可能的最佳单变量模型来进一步采用所述概念。接着，构建可能的最佳双变量模型，所述可能的最佳双变量模型根据定义必须包括来自最佳单变量模型的变量；并且然后构建可能的最佳三变量模型，所述最佳三变量模型根据定义必须包括来自最佳双变量模型的变量。重复此过程，直到所有变量按照“最重要”到“最不重要”完成排序为止，或者直到最佳n变量模型预测到通过逐步变量选择过程选择的所有变量的交叉验证r平方值的期望或可接受百分比为止。
因此，模型的累积序列可用于基于交叉验证r平方值的改进来量化每个变量对目标良率(或连续参数)响应的总体预测的重要性。
例如，图1示出表100，其中数个过程参数列出了条目以便通过使用r平方值作为量度来展示如何产生良率性能的累积改进。在表100中，行111、112、113列出所选择的晶圆参数，其中晶圆分组标识符列出在列121中，晶圆参数的源列出在列122中，累积交叉验证r平方百分比值列出在列123中，所述参数的增量交叉验证r平方百分比值列出在列124中，并且参数编号(例如，按增量影响的参数排名)列出在列125中。
行111中列出的第一参数是PCM-32，其源(列122)是第一物理测试结构对晶圆的连续参数测量，并且其对标识方差或偏移的增量贡献(列124)基于来自统计分析的r平方值为15.4％。添加第二参数PCM-1(行112)(第二不同测试结构对同一晶圆的连续参数测量)具有12.4％的增量影响并且将所解释累积方差增加到27.8％，而添加第三个参数PE-1(行113)(晶圆设备历史(WEH)中标识的过程工具)(其增量影响为9.9％)将累积方差总计升高到37.7％。基于此交叉验证r平方统计分析，这些参数是足以包括在机器学习模型中仅有的三个重要的变量，例如在此实例中，对方差的增量贡献大近似10％。
理解每个参数对总体模型的重要程度是有价值的，但可能不如理解每个参数对特定观察的重要程度那样有价值。例如，可能通过接触电阻变化来最佳地预测数个低良率晶圆，从而给予用户允许更快地诊断根本原因的信息。考虑这对于简单的示例性数据集是如何工作的。
图2示出对于图1中考虑的参数(即，PCM-1、PCM-2和PE-1)，基于机器学习模型预测的数百个晶圆的实际良率与预测良率的相关性绘图200。来自不同批次(批次134_W06和批次143_W09)的两个随机地选择的晶圆210、220两者在最终模型中得到了很好的预测，但问题是哪些参数对每个晶圆重要。
首先，定义准确度的量度。由于此特定模型专注于预测芯片和晶圆良率，因此两个准确度量度是(i)预测晶圆良率与实际晶圆良率之间的差异，以及(ii)跨晶圆的预测良率和实际良率的芯片级相关性中的r平方值。对于芯片级相关性，通过对每个芯片与紧邻的芯片求平均值来将数据平滑处理，如由线230表示，以得到良率和良率预测的更平滑表示。对于图1中标识的三个累积预测中的每一个，考虑了晶圆预测的准确度。
每个累积模型的晶圆级预测误差在图3中以条形图300中示出。晶圆210(批次134_W06)的预测误差示出在左侧条形图310上，并且晶圆220(批次143_W09)的预测误差示出在右侧条形图320上。条形图310表明当预测仅取决于单个参数PCM-2时晶圆210具有非常大的误差312。然而，一旦参数PCM-1被包括在预测中，预测误差314就会好得多(即，更低)。这暗指与其他参数相比，晶圆210(批次134_W06)的良率更多受PCM-1影响，因为当考虑其他参数时预测误差不会显著地变化(316、318)。这可通过查看第一累积模型对实际良率的晶圆级预测绘图而得到证实。
类似地，晶圆220(批次143_W09)的预测误差主要受PCM-2影响，因为当也考虑其他参数(324、326、328)时预测误差322变化不大。
图4是对于PCM-2，良率与平均值的晶圆级绘图400，并且证实无法从使用仅PCM-2的模型预测晶圆220(批次143_W09)的良率损失，因为所述点离平均线太远。然而，此模型在预测晶圆210(批次134_W06)方面做得很好，因为所述点非常接近平均线，这表明此晶圆良率主要受PCM-2影响。这可通过查看使用仅PCM-2的第一模型和使用PCM-2和PCM-1两者的第二累积模型的空间相关性而进一步得到证实。
图5是示出用于两个示例性晶圆(左侧图510上的晶圆210(批次134_W06)和右侧图520上的晶圆220(批次143_W06))的累积模型中的每一个的空间r平方值的条形图500。根据图510，晶圆良率预测表明，晶圆210(批次134_W06)主要由参数PCM-1预测，因为一旦在绘图512处将PCM-1添加到模型，空间r平方的绘图就会好得多，这与晶圆良率预测一致。根据图520，晶圆良率预测表明，晶圆220(批次143_W09)主要由参数PCM-2预测，如由第一绘图521指示，并且所有四个累积预测的空间r平方值非常类似。
如图6所示，这些相同空间模式匹配可容易地从实际良率和累积模型预测的晶圆图观察到。例如，基于单个参数PCM-2，窗口600在左侧面板610中示出晶圆210(批次134_W06)的预测图空间模式并且在右侧面板620中示出晶圆220(批次143_W09)的预测图空间模式。窗口601在左侧面板611中示出晶圆210(批次134_W06)的实际图空间模式并且在右侧面板621中示出晶圆220(批次143_W09)的实际图空间模式。
对于晶圆220(批次143_W09)，面板620所示的第一累积预测模型与面板621所示的实际图显然匹配得相当好。然而，面板610中晶圆210(批次134_W06)的预测模式与面板611所示的实际模式匹配得不太好
图7进一步证实了上述基于r平方的观察，即第二累积模型不会显著地影响晶圆220(批次143_W09)的预测，但现在面板710中晶圆210(批次134_W06)的预测与面板711所示的实际图匹配得相当好，从而表明参数PCM-1是此晶圆的起因(并且对晶圆220没有显著影响，如从面板720和721中的类似图所见)。
在此实例中，此方法可用于芯片级良率预测，如本文所述，或者用于任何复杂的多变量机器学习问题，前提条件是存在可分离的可标识根本原因。
流程图在图8中呈现以描述用于关于关键变量的累积确定的一般方法。在步骤802中，机器学习模型被配置来预测目标特征。在步骤804中，选择过程参数，并且在步骤806中，确定用于基于所选择过程参数来预测目标特征的r平方值。将r平方值累加，并且如果在步骤808中累积总计继续增加超过阈值量，则在步骤810中选取另一过程参数，并且用于基于下一个所选择过程参数来预测目标特征的r平方值得以确定。
一旦在步骤808中累积总计不再显著地增加，即增加量小于阈值，则在步骤812中将按照r平方值对过程参数进行排名。最后，在步骤814中，将最高排名的过程参数(即通过交叉验证r平方值方法对目标特征具有显示出的影响的那些参数)标识为ML模型的关键变量。

Claims (1)

1.一种方法，其包括：
配置机器学习模型以基于作为所述机器学习模型的输入提供的多个过程参数来预测目标特征；
选择所述过程参数中的第一过程参数并且确定用于基于所选择的第一过程参数预测所述目标特征的第一r平方值；
选择所述过程参数中的第二过程参数并且确定用于基于所选择的第二过程参数预测所述目标特征的第二r平方值；
选择所述过程参数中的另外的过程参数并且确定用于基于所选择的另外的过程参数来预测所述目标特征的对应的另外的r平方值，直到所述第一r平方值、所述第二r平方值和所述另外的r平方值的累加增加小于阈值为止；以及
基于r平方值从高到低对所述过程参数进行排名；以及
将一组高排名过程参数标识为所述机器学习模型的关键输入。
CN202080073238.0A 2019-10-16 2020-10-16 通过累积预测进行机器学习变量选择和根本原因发现 Pending CN114556384A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962916171P 2019-10-16 2019-10-16
US62/916,171 2019-10-16
PCT/US2020/056053 WO2021076943A1 (en) 2019-10-16 2020-10-16 Machine learning variable selection and root cause discovery by cumulative prediction

Publications (1)

Publication Number Publication Date
CN114556384A true CN114556384A (zh) 2022-05-27

Family

ID=75492477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080073238.0A Pending CN114556384A (zh) 2019-10-16 2020-10-16 通过累积预测进行机器学习变量选择和根本原因发现

Country Status (6)

Country Link
US (1) US20210117861A1 (zh)
JP (1) JP2022552320A (zh)
KR (1) KR20220082002A (zh)
CN (1) CN114556384A (zh)
TW (1) TW202131240A (zh)
WO (1) WO2021076943A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116111A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, computer-implemented method of evaluating likelihood of defect occurrence, apparatus for defect analysis, computer-program product, and intelligent defect analysis system
US20220182442A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, computer-implemented method of evaluating likelihood of defect occurrence, apparatus for defect analysis, computer-program product, and intelligent defect analysis system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316981A1 (en) * 2011-06-08 2012-12-13 Accenture Global Services Limited High-risk procurement analytics and scoring system
US10896388B2 (en) * 2011-07-25 2021-01-19 Prevedere, Inc. Systems and methods for business analytics management and modeling
US9275334B2 (en) * 2012-04-06 2016-03-01 Applied Materials, Inc. Increasing signal to noise ratio for creation of generalized and robust prediction models
US9489630B2 (en) * 2014-05-23 2016-11-08 DataRobot, Inc. Systems and techniques for predictive data analytics
US10871551B2 (en) * 2015-12-31 2020-12-22 Herbert U Fluhler Least squares fit classifier for improved sensor performance
US20190333155A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Health insurance cost prediction reporting via private transfer learning
US10956568B2 (en) * 2018-04-30 2021-03-23 Mcafee, Llc Model development and application to identify and halt malware
US20190370634A1 (en) * 2018-06-01 2019-12-05 International Business Machines Corporation Data platform to protect security of data used by machine learning models supported by blockchain
EP3627400A1 (en) * 2018-09-20 2020-03-25 Visa International Service Association Continuous learning neural network system using rolling window
US11422095B2 (en) * 2019-01-18 2022-08-23 Kla Corporation Scatterometry modeling in the presence of undesired diffraction orders

Also Published As

Publication number Publication date
WO2021076943A1 (en) 2021-04-22
KR20220082002A (ko) 2022-06-16
TW202131240A (zh) 2021-08-16
JP2022552320A (ja) 2022-12-15
US20210117861A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
TWI549007B (zh) 製程參數的搜尋與分析方法及其電腦程式產品
TWI451336B (zh) 預測模型之建模樣本的篩選方法及其電腦程式產品
EP3358508A1 (en) Abnormality detection apparatus, abnormality detection method, and program
US9110461B2 (en) Semiconductor manufacturing equipment
CN114556384A (zh) 通过累积预测进行机器学习变量选择和根本原因发现
Zhang et al. Phase I analysis of multivariate profiles based on regression adjustment
US20130268238A1 (en) Multivariate Monitoring of a Batch Manufacturing Process
Ma et al. Fault detection based on statistical multivariate analysis and microarray visualization
JP6737277B2 (ja) 製造プロセス分析装置、製造プロセス分析方法、及び、製造プロセス分析プログラム
US7962234B2 (en) Multidimensional process window optimization in semiconductor manufacturing
Weiss et al. Improving quality control by early prediction of manufacturing outcomes
JP5017176B2 (ja) 製造指示評価支援システム、製造指示評価支援方法、および製造指示評価支援プログラム
CN105518654A (zh) 对工具处理数据提供多变量分析的基于k最近邻法与系统
JP5824959B2 (ja) 異常診断装置
WO2020175084A1 (ja) 運営評価装置、運営評価方法、およびプログラム
JP2022552981A (ja) ダイレベル入力データなしのダイレベル製品モデリング
CN107870611A (zh) 车间模拟装置及车间模拟方法
US8406904B2 (en) Two-dimensional multi-products multi-tools advanced process control
JP5811683B2 (ja) 異常診断装置
JP6115607B2 (ja) 異常診断装置、異常診断方法及び異常診断プログラム
CN107862126B (zh) 一种部件级信息多样性条件下的系统可靠性评估方法
Väyrynen et al. Data-driven approach for analysis of performance indices in mobile work machines
Cheng et al. Applying ICA monitoring and profile monitoring to statistical process control of manufacturing variability at multiple locations within the same unit
Heo et al. A modified lasso model for yield analysis considering the interaction effect in a multistage manufacturing line
Al Iqbal et al. Automated diagnosis of anomalies via sensor-step data outlier detection: An application in semiconductors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination