CN114631122A - 半导体应用的协作学习模型 - Google Patents

半导体应用的协作学习模型 Download PDF

Info

Publication number
CN114631122A
CN114631122A CN202080073302.5A CN202080073302A CN114631122A CN 114631122 A CN114631122 A CN 114631122A CN 202080073302 A CN202080073302 A CN 202080073302A CN 114631122 A CN114631122 A CN 114631122A
Authority
CN
China
Prior art keywords
classification
wafer
user
model
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080073302.5A
Other languages
English (en)
Inventor
本田智纪
R·伯奇
J·基巴里安
L·L·郑
朱青
V·雷迪帕利
K·哈里斯
S·阿卡尔
J·D·大卫
M·克莱赫
B·斯坦
D·齐普利克卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pdf Decision Co
Original Assignee
Pdf Decision Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pdf Decision Co filed Critical Pdf Decision Co
Publication of CN114631122A publication Critical patent/CN114631122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • General Factory Administration (AREA)

Abstract

使用协作学习对晶片进行分类。通过基于规则的模型确定初始晶片分类。通过机器学习模型确定预测晶片分类。多个用户可以手动查看所述分类以确认或修改，或添加用户分类。将所有所述分类输入到所述机器学习模型以不断更新其检测和分类方案。

Description

半导体应用的协作学习模型
相关申请
本申请要求2019年10月14日提交的标题为“半导体应用的协作学习(Collaborative Learning for Semiconductor Applications)”的第62/914901号美国临时申请的优先权，所述美国临时申请以全文引用的方式并入本文中。
技术领域
本申请涉及半导体制造过程中的晶片分类，且更具体地，涉及用于改进分类过程的协作学习方案。
背景技术
用于制造半导体晶片的典型工艺在几个月的时间段内经历数百甚至数千个步骤，然后晶片被转变成由所述工艺生产的最终集成电路产品并准备好包装和运输给客户。晶片制造后的分类对于评估晶片制造良品率性能非常重要。
在当前的一种方案中，客户利用各种计算机生成的输出来确定晶片质量。例如，图形用户界面(GUI)可由数据模板支持，所述数据模板例如PDF Solutions，Inc公司销售的用于半导体代工厂的
Figure BDA0003604033870000011
分析平台。模板被配置成使得GUI生成为包含和显示晶片信息以供用户查看，所述晶片信息包括晶片检查结果。典型的晶片信息显示将至少包括晶片标识信息、晶片分类信息和晶片图的图像。
通常在模板实例中创建大量规则(例如，200+)，用于处理和呈现晶片信息以供客户查看当前处于制造工艺步骤中的一批或多批晶片。具体地，识别晶片图中的集群是许多规则的主要目标。在一个示例中，如果有任何集群未被200+规则捕获并且认为有必要，则创建附加规则来捕获新的集群签名，并将新规则添加到现有规则集中以用于预测未来的晶片。此外，在查看基于规则的结果和聚类信息后，客户可以修改晶片质量标签。
一般来说，晶片分类可以取决于各种方法作为输入。例如，基线状态、或偏移、或已知空间问题或其他典型分类状态的分类可以基于各种计算规则和统计数据确定，例如：(i)自动签名分类(ASC)：根据多个分区定义和复合箱计算，基于分区箱良品率模式对晶片进行分类；(ii)聚类：基于管芯箱值的集群对晶片进行分类；(iii)频率选择表面(FSS)：使用预先存在和/或用户定义的规则来标识模式；(iv)良品率信息：当前晶片良品率的统计指标，例如统计箱限制(SBL)和统计性良品率限制(SYL)。
最终的晶片分类(或“合并分类”或“合并标签”)可以采用输出字符串的形式，所述字符串封装计算出的分类中的相关信息。然而，使用先前的方法确定晶片分类并非总是足够，因为客户必须手动查看，有时还必须纠正或更新晶片分类。这通常要求客户在多次迭代中分别为每条芯片线手动地调整规则和参数。希望将手动查看与基于机器的方案相结合，以提高晶片分类的准确性。
附图说明
图1是简化图形用户界面(GUI)的图示。
图2是示出用于晶片分类的协作学习(CL)模型的一个实施方案的框图。
图3是示出用于晶片分类的CL模型的概念概述的框图。
图4是示出用于晶片分类的CL模型的设置程序的一个实施方案的流程图。
具体实施方式
协作学习(CL)描述了主动学习(AL)领域中的一种实现方式，AL领域是机器学习(ML)的更一般领域。例如，互联网网站使用AL来整合用户的输入(大拇指向上、大拇指向下)，以决定产品供应或相关营销。此方法可用于半导体制造和后期制造，以通过纠正管芯或晶片故障模式的错误分类来增强当前基于分析的方法。
图1是可用于实现用于对晶片进行分类的协作学习环境的简化图形用户界面(GUI)100的一个实施方案，其仅出于说明目的呈现。GUI 100是基于处理器的工具，所述基于处理器的工具以格式化方式提供信息的视觉显示，具有各种设计的小部件，用于实现用户与至少显示的信息的交互以及用于提供控制功能，所有这些都是众所周知的。
处理器可以是基于桌面的，即独立的，或者是网络系统的一部分；但考虑到要处理和交互显示的大量信息，处理器功能(CPU、RAM等)应该是目前最先进的，以最大限度地提高效率。在半导体代工厂环境中，
Figure BDA0003604033870000031
分析平台是构建GUI模板的有用选择。在一个实施方案中，可以使用与Python面向对象编程语言兼容的
Figure BDA0003604033870000032
分析软件版本7.11或更高版本来完成底层处理例程的编码，主要用于对下面描述的机器语言模型进行编码。
在图1的示例中，GUI 100包括两个主窗口或面板：第一窗口110用于晶片信息，并且第二窗口140用于晶片图，例如图141、142。
在第一窗口110中，呈现模板或电子表格120，其包括多个行122，每个行显示工艺中的晶片的分类信息。列提供被查看晶片的标识以及相关的分类数据。因此，列124标识晶片批次，而列125标识特定晶片；第126列标识所述行中晶片的当前分类，所述分类由基于第一规则(RB)的模型通常通过启发式和确定性方法确定；列127标识由协作学习(CL)模型确定的分类，并且列128标识对最终分类的用户输入的修改(如果有)。
在第二窗口140中，针对已选择的行显示一个或多个晶片图，例如图141、142。例如，突出显示行122A和122B以指示它们已被选择，因此分别在行122A和122B中标识的晶片的一组对应晶片图141A和142A同时显示在第二窗口140中。
根据需要以常规方式提供一组或多组用户控件160，以在显示器中导航，选择一个或多个项以供查看、修改或深入挖掘底层数据等。例如，在此示例中，面板160被实现为弹出窗口，具有可选择的子菜单选项，当选择一个或多个晶片行进行查看时启用所述弹出窗口。按钮、菜单和其他小部件可以以众所周知的方式启用，以提供用户控制和用户交互的功能，如下文更详细地描述。
当然，GUI可以以多种不同的方式格式化，并具有呈现的或可通过主GUI或子菜单快速访问的更多信息项。例如，图1中的模板120可以在主界面中呈现为详细的电子表格，所述电子表格具有被认为是特定客户的关键变量的更多列晶片信息，以及到晶片图和/或其他晶片相关信息的链接。
问题陈述简单明了—模型需要对晶片进行分类，但也应提供分类的置信水平，即使分类是“未知的”或“不确定的”。作为应用于晶片分类的协作学习的概念性示例，晶片分类可以通过多种方法确定，可能导致对相同晶片问题的不同分类。然而，方法之间的分歧可以通过分析查看来解决，包括基于规则的分析、机器学习预测和人类用户的手动查看。利用从查看分类差异中获得的学习，并根据所述学习在必要时更新各种检测和分类方案来不断更新做出此类确定的模型。
图2是用于晶片分类的协作学习模型200的一个示例的简化框图。在第一模块202中，通过一个或多个基于规则(RB)的模型例如使用ASC和/或如前所述的其他确定性方法进行初始分类。已知此类方法可以为大多数晶片(约95％)提供正确的分类。来自这些一个或多个RB模型的结果可以提供给GUI 206以供显示和/或选择，如图1的列126所示。
模块204中使用一个或多个机器学习(ML)模型以例如基于来自模块202的初始分类、时间表、感兴趣的特征等以及如下所述的用户反馈来预测分类。来自ML模型的结果可以直接提供给GUI 206，用于单独显示和/或选择。然而，在一个实施方案中，ML模型结合包括用户反馈的输入，以基于来自RB模型分析、来自ML模型预测和来自多个用户反馈/校正的不同分类输入的“协作”创建分类，且因此协作学习(CL)模型确定分类，如图1的列127所示。
如所指示，来自RB模型202和ML模型204的结果可以在GUI 206中显示以供用户查看，并且用户可以选择一个或多个晶片或批次进行查看和分析，并且可能深入到数据中以尝试并更好地理解任何未解释的异常或偏移，然后再进行最终分类。用户可以提供反馈以确认分类，或者输入不同的分类，如图2的列128所示。应注意，用户不限于RB模型提供的分类。例如，用户可以创建新类，所述新类将多个RB类组合在一起，或者将单个RB类划分为多个RB类。GUI 206还可以向用户提供添加注释的能力，例如，解释对晶片分类的更新。将所有分类(基于规则的、ML预测和用户重新分类)和相关晶片信息保存到可由数据库212访问或作为所述数据库的一部分的存储装置210中。
用户可以在GUI 206中检索存储的分类信息，例如，用于在手动查看分类确定时进行比较。经由数据库212存储的分类信息还用于训练模块211中的ML模型，以便周期性地更新模块204中的ML预测模型。
在主动学习模式下与RB模型和ML模型的人机交互允许用户不断改进和验证分类，从而建立用户对系统的信心。此外，随着数据集的增长和提供更多的用户重新分类，这里描述的协作学习环境将继续改进分类方案。例如，可以在环境的RB部分修改现有规则或添加新规则；并且ML模型将在训练和预测方面基于接收到的输入继续改进算法，因为即使有足够多的评论者修改实例，也可以评估不同人类评论者的不同意见。
分类和主动学习的组合可以是二进制的或多类的。例如，所需的输出通常是分类标签。在一个用例中，这可以简单地实现为相关集群模板中具有输出字符串的单个列。如上所述，初始标记通常基于确定性规则的输出。一些常见的标签可包括箱、细节模式等，但是客户数据集可能并且通常确实规定了使用输入数据集可以预测的期望输出。
输入数据集可以由ASC数据(通常非常大)或其他基于分区的概括、聚类、FSS和每晶片良品率以及可能的管芯箱数据(甚至更大)组成。然而，如果在预测中使用ASC数据，那么至少最初地，应该在模型训练期间从原始管芯箱数据动态地重新计算ASC数据。可基于模型查看和评估确定最终数据集。
以下是在创建CL模型时做出的合理假设：(1)有足够的数据来训练模型而无需用户反馈，即，晶片内大多数管芯的传感器观察和测试测量多于特征；(2)每个类都有足够的代表性样本；例如，经典的经验法则是，每个类或根本原因至少应该有多于30到50个观察值；但这并不总是正确的。如果没有足够的观察值可用于分类，且上采样/下采样不足以补偿，则返回“未知”作为分类(这意味着晶片异常，但无法分类为已知类别)；(3)有足够数量的重新标记数据；(4)人类标记者之间有很好的一致性(主动学习中的已知问题)；(5)训练数据是用于预测的晶片的良好表示；(6)训练集中涵盖所需案例，即目标特征；(7)输出是分类数据；以及(8)输入特征稳定，即没有缺失或新特征。
图3示出用于晶片分类的协作学习环境的简单概念概述。例如，典型的过程输入310可以包括：(1)BinMap，即芯片的晶片(x，y)坐标和芯片的箱。例如，可以使用卷积神经网络中的卷积来变换BinMap；(2)分区汇总，即，对于每个分区(中心、外部、右上角等)，计算使用z变换已变换的每个箱的晶片计数；以及(3)在2D Wafer BinMap上变换的其他典型变换，如Wavelet、2D FFT。
感兴趣特征的目标值320对于不同装置和工艺当然会不同，并且最终将严重依赖来自RB模型的数据和用户输入的聚合来确定和更新正确的分类标签集。包括确认、更新和评论的用户输入330允许分类模型学习和发展。每当有来自多个用户的冲突输入时，系统将尝试通过考虑输入的定时和例如用户组(经理、主题专家等)的其他可能信息来解决冲突。
算法元素350可以由具有或不具有超参数调整的任何典型分类器来定义，包括例如K-最近邻、具有正则化的鲁棒逻辑回归、朴素贝叶斯、多层感知和其他神经网络、线性和非线性SVM、决策树集合，例如ExtraTree、随机森林、梯度提升机、xgboost等。这些分类器可以取决于计算和精度要求共同使用。替代地，可以基于准确度、Fl分数、AUC、准确率与召回率AUC等度量选择性能最佳的算法。
结果360是不断学习和更新的分类方案。如前所述，可以生成GUI以实现用于晶片分类的协作学习平台，并且GUI应包括一系列广泛目标的功能。
GUI中要实现的第一组功能方面与模板和工作流的查看有关。如上所述，模板可以是用户交互的独立模板，也可以是基于网络的具有充分系统和数据保护的模板。用户可以在数据检索窗口中指定要查看的数据范围。
应向用户提供查看以下内容的可能性：基于原始规则的结果，包括但不限于：分区聚类、分区模式分类、系统良品率箱统计限制、合并规则；MRB模板；晶片图；晶片信息，例如晶片ID、批次ID；以及基于MRB(基于规则)的预测。
基于模型的预测决策和基于模型的信心评分也应可供查看；但如果模型在处理过程中崩溃或出现其他错误，则应显示错误消息。
最终晶片分类可通过统一标记查看来确定。一个选项是将基于模型的预测(一旦建立)设置为默认状态。如果用户已经查看了晶片分类，则将查看的结果设置为最终晶片分类的默认状态。
用户必须能够通过分类GUI提供反馈。例如，用户可以例如通过下拉列表简单地切换最终的基于晶片的合并标签。下拉列表的一组典型可用选项包括选择从MRB输出的字符串标签。用户可能会被限制从现有列表中选择标签，而不是创建自定义标签，但现有列表应包括可选择的选项，如“未知”或类似选项。对于某些情况，还允许用户提供新标签。在这种情况下，GUI可以提供类似的类，以减少创建冗余类的机会。用户还应该能够添加注释，例如，注释部分可以包括解释用户更改的文本。
模型应该能够记录更改，但也能够例如通过时间戳、用户名、唯一密钥等将这些更改连接到特定用户。模型还应该能够主要基于时间创建被拉入模板的数据子集。可能需要将数据限制为模板内可用的数据和/或可从数据库查询的类似数据类型。
用户应该能够从工作流中以前的模板或步骤中提取输入数据，例如ASC数据或其他数据。如有必要，中间解决方案是例如使用Python或R编码通过编程门户提取输入数据。例如，这一步骤可以用作与先前分类决策一致性的现实检查。
模型应能够显示概括模型信息，例如：(i)模型名称；(ii)模型创建的日期/时间；(iii)模型位置/链接；(iv)错误，如果模型无法进行预测(由于缺少特征等)；(v)产品特定信息；以及(vi)训练性能和统计数据。
作为模板或工作流的一部分，用户应能够调用模型预测例程和/或模型训练例程。例如，可以在GUI内配置名为“运行手动预测”或类似命名的简单按钮或小部件，和/或可以提供控件以用户定义的间隔运行预测。
GUI中要实现的下一组功能方面与训练和预测能力有关。在一个实施方案中，可以在单独的面板或窗口中提供此功能。例如，用户应能够根据请求创建分类模型。这是指使用Python或R编码配置的例如从模型训练产生的基本模型实例。然后，用户还应该能够从模型对象调用方法预测。
可以输出模型对象，包括变换适合模型对象的特征所需的所有预处理信息，以及用于预测新晶片的分类模型本身。可以将模型写入磁盘和服务器库。作为替代方案，可以将路径字符串返回到模板或工作流，以用于未来的预测。默认的是，模板最初将保存并显示预测的默认位置或用户指定位置。例如，可以实现权限方案以将模型对象写入磁盘，以及将更新的分类标签和表返回到数据库和GUI。
输出文件可以以适合电子表格的CSV格式生成，并可能包括例如模型预测的附加列，以及具有用户输入/重新标记的最终标签。数据库将能够保存模型、预测、用户修改等，以便用户容易地从GUI模板中检索。
例如，典型的过程可能会导致构建5000个模型，但只有一小部分(可能是10到20个)模型将真正成为分类方案改进的关键。
如果需要单个箱信息，则即使对于小型芯片，这也可能通过Spotfire转换为相当大的信息负载。例如，如果单个晶片有约1000个芯片，则1000个晶片的数据集(对于生产过程来说是合理的)将导致106次观察。如果不使用单个箱，则产生的数据可能会小得多，剩余的一些输入是基于每个晶片的。
可以完全取决于客户需求考虑其他特征，并将此类特征集成到模板实例中。例如，可以将协作分类方法自动化到流程工作流中。对于显示的结果，晶片的模型置信度最低，可以向顶部显示模型置信度以确保用户查看。可对每个晶片实现深入功能，以例如查看WEH、计量、缺陷、指示器、PCM等。
具体地，根本原因分析可以而且应该是分类查看和更新的重要组成部分。例如，在图2中，已知的根本原因信息可以存储在根本原因存储装置214中，并且还与数据库212中的特定偏移或缺陷相关联或链接。在GUI 206中，根本原因信息还可以作为用户的手动分类查看的一部分(例如，作为深入信息)提供给用户，同样，也可以提供用户反馈并将其并入根本原因学习中。
关于接口规范，一般来说，协作学习模板可以从两个源提取数据：(i)数据库，已通过以前的工作流进行更新，包括通过训练和更新ML模型调整标签；以及(ii)文本文件，包含之前重新标记的结果。
重新标记的结果将优选地包含用户定义的信息，包括：(i)晶片ID；(ii)测试程序；(iii)测试版本；(iv)测试人员ID；(v)插入日期；(vi)更新日期；(vii)用户ID；以及(viii)用户评论。其他类型的标签可用于例如深入分析，例如工艺模块、工具ID和腔室ID。
对于每个晶片，协作学习模板可以显示每个晶片的信息，包括：(i)晶片ID；(ii)签名类型(ASC或集群，从先前的MRB模板中提取)；(iii)签名名称(来自先前的MRB模板)；(iv)测试版本；(v)测试人员ID；(vi)插入日期；(vii)更新日期；(viii)用户ID；以及(ix)用户评论。
在一个实施方案中，界面可被配置成允许用户从下拉菜单或等效物快速切换按键信息，而不是直接在主窗口中显示所有信息，例如每个晶片的以下项：(i)批次ID；(ii)测试程序；以及(iii)测试版本。
通常允许用户手动输入每个晶片的注释，并且界面可以配置有每个晶片的深入功能，例如：(i)WEH、计量、缺陷、指示器、PCM等；以及(ii)最近邻方案的证据——哪些相邻晶片是相似的。当用户完成与模板的交互时，可以选择例如“应用更改”或类似小部件的按钮来附加或覆写重新标记的结果文件中的数据(例如，基于晶片ID)，并与其他晶片数据一起存储在数据库中。
协作学习(CL)模板的实例可以安装并配置有以下设置后功能，以便在生产中使用。对于标记为异常的进入的晶片，所述功能可以包括在内部将新晶片的历史和数据与现有晶片的类似检索数据进行比较。比较必须是产品流特定的，因此界面需要包括基于产品ID确定要检索的正确关联数据的能力。例如，晶片应标记有与相同或类似的箱模式相关联的最有可能的测试程序和测试版本，或没有所述测试程序和测试版本。
当然会显示基本晶片信息，并且优选地，为用户提供深入功能，以分析晶片的异常相邻者，包括访问管芯图、集群、分区统计数据、其他用户提供的评论等。应允许用户覆盖和更新主要的相关联工艺模块和工艺步骤，并保存更新后的结果以用于将来的晶片比较。
在CL模板的设置阶段期间，工艺工程师应具备以下功能：(i)通过工作流加载一组现有的晶片数据；(ii)自动地或手动地标识此产品流的边界条件/参数截止值；(iii)查看和检查结果的一致性(完整性检查)；以及(iv)保存晶片数据和边界条件，以便以后检索和读取。
图4是设置规范的工作流400的简化图示，以下更详细描述。在步骤402，优选地通过自动化方法将现有或先前的一组晶片数据作为输入加载到模型中。
对于每个晶片(具有晶片ID)，输入优选地包括：(i)每管芯的箱数据，以及Diex和Diey坐标；(ii)ASC输出，包括每个箱类型(数字)的分区中间带的分区箱增量，以及通用模式标签(分类)和详细模式(分类)；和(iii)聚类输出，其中每个具有统计意义的集群的存在可以用以下信息来标记：(a)集群的中心Diex、Diey位置(数字)；(b)集群的边界框；以及(c)集群内的所有Diex、Diey位置。其他输入可以包括晶片设备历史(WEH)中每个晶片的工艺历史，包括工艺模块、工具ID和腔室ID。如果工艺是动态的，则加载给定晶片ID和产品的工艺和工具历史。如果工艺是静态的，即具有专用的工艺路径，则加载产品的工艺和工具历史。
协作学习需要的一个特定输入是将输出进行聚类。在步骤404，通过蒙特卡罗(Monte Carlo)例程或类似例程自动地或由用户手动地标识此产品流的聚类参数截止值。例如，定义了以下基本参数：
dc＝足够接近选定晶片以视为相同的固定距离，其中任何差异归因于随机噪声；df＝被认为足够远以认为在箱集群和训练集方面无相似性的固定距离。任何重叠都应该被认为仅随机的。
k＝KNN算法考虑的邻域数；以及
D＝用于计算距离的度量，可能包括欧几里德(Euclidean)、闵可夫斯基(Minkowski)、马哈拉诺比斯(Mahalanobis)、L1、L∞和类似的解决方案。
在步骤406，存在用于手动设置的选项，但是通常从步骤408开始执行自动设置，其中运行统计模拟以查找限值。df和dc是晶片图和缺陷密度的函数。对于聚类识别通常使用一种算法并且可以对所述算法进行修改，以使用具有不同数量的缺陷的蒙特卡罗模拟并将响应面拟合到模拟结果来估计这些附加参数。
在步骤410，执行超参数调整，以确保结果不会过度拟合数据。例如，n重交叉验证可与标签一起使用，以标识拟合数据集中的选定模型列表的最佳超参数。
如果在步骤406选择手动设置，则例如经验丰富的工艺工程师的专家用户可以在步骤412根据需要手动指定变量，并且如在步骤410中一样在步骤410A执行超参数调整。
步骤414提供了供用户查看结果并对结果执行完整性检查的方法。例如，用户可以查看不同技术的距离度量dc和df，例如分区KNN、或聚类KNN或空间KNN以及蒙特卡罗模拟的分布。用户还可以查看每个步骤的所有异常晶片、纠正的标签和推荐的标签。
最后，在步骤416，可以保存晶片数据和边界条件，以便稍后检索和读取以进行预测，包括所需的参数、组合和KNN数据。因此，协作学习模型可用于解决不同方法之间在晶片分类方面的差异。一旦解决，可以更新各种基于规则和基于机器学习的模型，并使用重新分类数据持续重新训练所述模型，以增强分类方案的有效性。

Claims (7)

1.一种用于在半导体制造工艺中对晶片进行分类的方法，包括：
在所述半导体制造工艺的选定步骤接收表示第一晶片的第一晶片信息；
基于所述第一晶片信息，根据基于规则的模型确定所述第一晶片的初始分类；
根据机器学习模型确定所述第一晶片的预测分类，所述机器学习模型被配置成基于所述初始分类和用户输入确定预测晶片分类；
向所述用户提供包括所述初始分类和所述预测分类的所述第一晶片信息的显示，所述显示还具有多个用户交互元素，包括用于选择和更新所述初始分类或所述预测分类的第一用户交互元素和用于输入用户分类的第二用户交互元素；
从所述显示的所述第一用户交互元素或所述第二用户交互元素接收所述用户输入以建立最终分类；以及
将所述第一晶片的所述初始分类、所述预测分类和所述最终分类保存到存储装置中，以用于对下一个晶片进行分类。
2.如权利要求1所述的方法，还包括：
从存储装置中检索所述第一晶片的所述初始分类、所述预测分类和所述最终分类；以及
基于多个晶片的所述初始分类、所述预测分类和所述最终分类，训练所述机器学习模型。
3.如权利要求1所述的方法，所述用户输入还包括：
接收作为所述用户输入的对所述初始分类或所述预测分类或两者的确认作为所述最终分类。
4.如权利要求1所述的方法，所述用户输入还包括：
接收作为所述用户输入的对所述初始分类或所述预测分类的修改作为所述最终分类。
5.如权利要求1所述的方法，所述用户输入还包括：
接收作为所述用户输入的用户分类作为所述最终分类。
6.如权利要求1所述的方法，还包括：
启用格式化用户显示器，所述用户显示器列出所述基于规则的模型的所述初始分类、所述机器学习模型的所述预测分类以及所述用户输入。
7.如权利要求6所述的方法，还包括：
使所述格式化用户显示器能够在用户经由第三用户交互元素选择所述第一晶片时深入到所述第一晶片信息的多个细节。
CN202080073302.5A 2019-10-14 2020-10-14 半导体应用的协作学习模型 Pending CN114631122A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962914901P 2019-10-14 2019-10-14
US62/914,901 2019-10-14
PCT/US2020/055556 WO2021076609A1 (en) 2019-10-14 2020-10-14 Collaborative learning model for semiconductor applications

Publications (1)

Publication Number Publication Date
CN114631122A true CN114631122A (zh) 2022-06-14

Family

ID=75538603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080073302.5A Pending CN114631122A (zh) 2019-10-14 2020-10-14 半导体应用的协作学习模型

Country Status (6)

Country Link
US (1) US12038802B2 (zh)
JP (1) JP2022553523A (zh)
KR (1) KR20220080121A (zh)
CN (1) CN114631122A (zh)
TW (1) TW202119232A (zh)
WO (1) WO2021076609A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807441A (zh) * 2021-09-17 2021-12-17 长鑫存储技术有限公司 半导体结构制备中的异常传感器监测方法及其装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227209B2 (en) * 2019-07-31 2022-01-18 Dell Products L.P. Systems and methods for predicting information handling resource failures using deep recurrent neural network with a modified gated recurrent unit having missing data imputation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
JP4317805B2 (ja) * 2004-09-29 2009-08-19 株式会社日立ハイテクノロジーズ 欠陥自動分類方法及び装置
US8532949B2 (en) * 2004-10-12 2013-09-10 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
US7987150B1 (en) * 2007-02-09 2011-07-26 Siglaz Method and apparatus for automated rule-based sourcing of substrate microfabrication defects
US8396582B2 (en) * 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
US20130173332A1 (en) * 2011-12-29 2013-07-04 Tom Thuy Ho Architecture for root cause analysis, prediction, and modeling and methods therefor
KR101808819B1 (ko) 2011-08-16 2017-12-13 삼성전자주식회사 테스트 맵 분류 방법 및 그것을 이용하는 제조 공정 조건 설정 방법
US9129237B2 (en) * 2011-12-28 2015-09-08 Elitetech Technology Co., Ltd. Integrated interfacing system and method for intelligent defect yield solutions
US8627251B2 (en) 2012-04-25 2014-01-07 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods of automatically detecting failure patterns for semiconductor wafer fabrication processes
US9489599B2 (en) 2013-11-03 2016-11-08 Kla-Tencor Corp. Decision tree construction for automatic classification of defects on semiconductor wafers
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10732883B1 (en) * 2019-01-28 2020-08-04 International Business Machines Corporation Storage layer selection based upon information assignment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807441A (zh) * 2021-09-17 2021-12-17 长鑫存储技术有限公司 半导体结构制备中的异常传感器监测方法及其装置
CN113807441B (zh) * 2021-09-17 2023-10-27 长鑫存储技术有限公司 半导体结构制备中的异常传感器监测方法及其装置

Also Published As

Publication number Publication date
TW202119232A (zh) 2021-05-16
JP2022553523A (ja) 2022-12-23
US20210142122A1 (en) 2021-05-13
US12038802B2 (en) 2024-07-16
WO2021076609A1 (en) 2021-04-22
KR20220080121A (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
US11295993B2 (en) Maintenance scheduling for semiconductor manufacturing equipment
US11958632B2 (en) Predictive maintenance model design system
US20190277913A1 (en) Failure detection and classsification using sensor data and/or measurement data
CN103186657B (zh) 智能型缺陷良率总览接口系统与方法
Çiflikli et al. Implementing a data mining solution for enhancing carpet manufacturing productivity
CN113935434A (zh) 一种数据分析处理系统及自动建模方法
US20130110874A1 (en) System and method for combination-based data analysis
CN117609100B (zh) 一种自动化代码合并及部署方法
Shafiq et al. Retracted: Scientific programming using optimized machine learning techniques for software fault prediction to improve software quality
US12038802B2 (en) Collaborative learning model for semiconductor applications
CN111630464A (zh) 车辆维修操作的预测
CN117575222A (zh) 生产管理方法、系统、设备及存储介质
US20230377132A1 (en) Wafer Bin Map Based Root Cause Analysis
JP2020047245A (ja) 分析装置および分析方法
CN114757495A (zh) 一种基于逻辑回归的会员价值量化评估方法
US20220122864A1 (en) Smart skip testing method for semiconductor manufacturing
CN117952022B (zh) 良率多维度互动系统、方法、计算机设备和存储介质
Yasmeen Software bug detection algorithm using data mining techniques
TU et al. Using Machine Learning to Reduce the False Call Problem in Electronics Manufacturing
Feng Applying Machine Learning Algorithm in Time Sequence Data for Rare-Event Physics
Boyapati et al. Enhancing the Accuracy of Manufacturing Process Error Detection Through SMOTE-Based Oversampling Using Machine Learning and Deep Learning Techniques
Ahmed et al. An Artificial Intelligence-Based Framework for Burn-in Reduction in the Semiconductor Manufacturing Industry
CN118585827A (zh) 一种航空器零部件销售物料清单管理方法及系统
Kasubuchi et al. An empirical evaluation of the effectiveness of inspection scenarios developed from a defect repository
Han et al. Automatic defect classification system in semiconductors EDS test based on system entity structure methodology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Honda Tomohisa

Inventor after: M. Kleiher

Inventor after: B. Stein

Inventor after: D. Ziplick Cass

Inventor after: R. Burch

Inventor after: J. Kibarian

Inventor after: L.L.Zheng

Inventor after: Zhu Qing

Inventor after: 5. Redy parley

Inventor after: K. Harris

Inventor after: S. Akar

Inventor after: J D David

Inventor before: Honda Tomohisa

Inventor before: M. Kleiher

Inventor before: B. Stan

Inventor before: D. Ziplick Cass

Inventor before: R. Burch

Inventor before: J. Kibarian

Inventor before: L.L.Zheng

Inventor before: Zhu Qing

Inventor before: 5. Redy parley

Inventor before: K. Harris

Inventor before: S. Akar

Inventor before: J D David

CB03 Change of inventor or designer information