CN115349109A - 用于预测与过程相关联的过程度量的方法和设备 - Google Patents

用于预测与过程相关联的过程度量的方法和设备 Download PDF

Info

Publication number
CN115349109A
CN115349109A CN202180025354.XA CN202180025354A CN115349109A CN 115349109 A CN115349109 A CN 115349109A CN 202180025354 A CN202180025354 A CN 202180025354A CN 115349109 A CN115349109 A CN 115349109A
Authority
CN
China
Prior art keywords
model
models
data
metric
drift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180025354.XA
Other languages
English (en)
Inventor
A·胡包克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASML Holding NV
Original Assignee
ASML Holding NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP20170414.5A external-priority patent/EP3901700A1/en
Application filed by ASML Holding NV filed Critical ASML Holding NV
Publication of CN115349109A publication Critical patent/CN115349109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491—Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/705—Modelling or simulating from physical phenomena up to complete wafer processes or whole workflow in wafer productions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45031—Manufacturing semiconductor wafers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)

Abstract

一种方法，方法包括：获得被配置用于基于输入过程数据来预测制造过程的过程度量的一个或多个模型；以及基于将新的过程数据输入到一个或多个模型，使用强化学习框架来评估一个或多个模型和/或一个或多个模型的模型配置，并且基于输入新的过程数据来确定在预测所述过程度量时所述一个或多个模型和/或模型配置的性能指示。

Description

用于预测与过程相关联的过程度量的方法和设备
相关申请的交叉引用
本申请要求于2020年4月2日提交的EP申请20167729.1和于2020年4月20日提交的EP申请20170414.5的优先权，其通过引用全部并入本文。
技术领域
本发明涉及用于预测与过程相关联的过程度量的计算机实现的方法和设备。具体地，它涉及从多个模型配置中选择用于预测过程度量的模型配置。该方法和设备可以适用于工业制造过程，例如半导体制造过程。
背景技术
制造过程(诸如图案化半导体衬底的过程)通常需要充分配准(registration)表征制造过程的特征，以监测过程是否稳定。这种特征的示例是与制造中使用的装置相关联的关键性能指标(KPI)以及提供给衬底的特征的特性。这些特征的值通常被称为过程数据。
过程数据作为预测模型的输入是至关重要的，预测模型被用于推断制造过程的预期特性，诸如过程的产率或处理后的单个衬底的品质。如今，这种预测模型通常被进一步用于控制过程，诸如修改制造装置的操作参数和/或辅助在经受一个或多个过程步骤后对单个衬底做出返工决策。
然而，预测模型的当前使用是相当静态的，因此随着时间的推移容易失去准确性，因为a)表征制造过程的特征通常表现出显著的演变(漂移、跳跃)，和/或b)过程数据的量不是固定的，而是随时间推移而增加，因此最初选择的预测模型或预测模型配置通常在稍后的时间点不再是最优的。
发明内容
本发明的目的是克服现有技术方法的缺点。
根据本公开的第一方面，提供了一种计算机实现的方法，从多个模型配置中选择用于预测与过程相关联的过程度量的模型配置。该方法包括：获得过程数据，该过程数据包括与多个模型配置相关联的值和与过程特征相关联的值；基于过程数据评估多个模型配置中的每个模型配置的性能指示；基于评估的性能指示选择模型配置；使用具有所选模型配置的模型来预测过程度量；以及由计算机输出预测的过程度量。
过程可以包括以下之一：工业处理、工业制造、天气预测、交通管理、网络管理、经济预测、医疗诊断或复杂环境中的任何其他过程。
过程度量可以包括过程的特性。过程度量可以包括以下之一：产率、过程品质、过程失败的概率、过程环境中的部件故障的概率、诊断状况。
预测过程度量可以包括将与过程特征相关联的值作为输入提供给具有所选模型配置的模型，并且接收过程度量的预测作为来自模型的输出。
方法的步骤可以由计算机系统的一个或多个处理器执行。
过程数据可以包括与该过程的单个特征或多个特征以及单个特性或多个特性相关联的值，该单个特征或多个特征与过程发生的环境相关联。这些特征可以表示过程发生的环境状态。特征的示例是临界尺寸、温度、功率。
与多个模型配置相关联的值可以包括环境中的模型配置的当前集合。与多个模型配置相关联的值可以包括使用先前选择的模型配置预测的先前预测的过程度量的准确性。即，该方法可以被重复地执行，并且使用来自先前重复的数据。准确性可以使用标准性能测量技术来确定，例如接收器操作特性下的区域(AUC-ROC)值或精度和召回率。
性能指示可以表示由所选模型做出的预测的性能(例如准确性)的测量值。所述性能指示可以被分析地确定，例如使用优势函数或时间差异。
使用该方法，如果其性能超过当前模型配置的性能，则不同的模型配置可以被选择。有益地，这种方法产生以下优点：
过程度量可以以提高的准确性来预测。具体地，准确性可能高于使用人工干预可以实现的准确性，例如因为本文描述的方法是数据驱动的而不是试探式的。使用本文描述的方法选择模型配置比使用手动干预可以实现的要快得多，从而允许对预测过程进行实时更新。使用本文描述的方法使用和应用校正可以增加过程的产率，例如当过程被优化并且停机时间被避免时。本文描述的方法也非常灵活，因为这些方法可以被应用于许多环境和过程，并且可以被训练以学习新的环境和过程和/或学习环境和过程内的变化。
附加地，通过使用本文描述的方法，模型选择工具被提供，它比成功方法相比需要更少的存储空间，例如因为需要存储的模型更少。具体地，需要存储的模型更少，因为模型配置的选择允许模型响应于新数据而更新，而不是需要全新的模型。
与过程特征相关联的值可以包括与特征随时间推移而变化的方式相关联的数据。
与特征随时间推移而变化的方式相关联的数据可以被称为时间变化数据。时间变化数据可以包括与随时间推移而监测的特征相关联的值。漂移状态可以基于特征的时间变化来确定。漂移状态可以被用于识别漂移事件。漂移状态可以包括以下之一：无漂移、突然漂移、逐渐漂移、增量漂移、重复发生概念漂移。备选地，漂移状态可以被周期性地确定，例如在所选时间段过去之后。
每个模型配置可以包括模型类型、模型参数和/或模型超参数中的一个或多个。
模型类型可以表示模型架构的类型和/或算法的类型。模型参数可以表示在使用训练数据训练模型期间确定的参数。模型超参数可以表示通常在训练之前设置的模型参数。超参数的示例是贪婪、学习率、层数。
选择模型配置可以包括选择具有第一模型类型、第一模型参数和第一模型超参数的第一模型。第一模型类型和/或第一模型参数和/或第一模型超参数可以与先前选择的模型的先前模型类型、先前模型参数和先前模型超参数相同。即，可以确定保留与先前选择的相同的模型配置是有益的。备选地，第一模型类型、第一模型参数和第一模型超参数中的一个或多个可以不同于先前模型类型、先前模型参数和/或先前模型超参数。
模型类型可以包括支持向量机、神经网络或随机森林。
选择模型配置可以包括重新训练模型以更新其模型参数。具体地，保留模型可以在漂移事件之后执行。模型可以使用与过程的一个或多个特征相关联的值来重新训练。
选择模型配置可以进一步基于包括与过程的特征相关联的值的数据集。数据集可以包括来自该方法的先前重复的存储值。数据集可以包括与过程特征相关联的先前测量值。
选择模型配置可以进一步基于数据集的尺寸或数据集的子集的尺寸。数据集的尺寸可以包括数据集中的值数目。该子集可以包括数据集中与特定特征相关联的值集。如果数据集的尺寸或数据集的子集的尺寸超过预定阈值，则可以确定从一种模型类型切换到不同的模式类型是有益的。
方法步骤可以使用强化学习来执行。方法步骤可以作为无模型强化学习(MFRL)框架的至少一部分来执行。
获得过程数据，评估性能度量并且选择模型配置的步骤可以使用动作评述算法、优势动作-评述算法、非同步优势动作-评述算法、具有归一化优势函数的Q学习、信任区域策略优化算法、近端策略优化算法、双延迟深度确定性策略梯度或者软动作-评述算法中的一种或多种来执行。
获得过程数据并且评估性能度量的步骤可以由包括评述的一个或多个处理器执行，并且选择模型配置的步骤由包括代理的一个或多个处理器执行。
获得过程数据，评估性能度量并且选择模型配置的步骤可以包括：确定策略函数J(θ)，它定义用于选择模型配置的选择方法；和/或假设策略函数被遵循直到策略函数完成为止，确定定义了过程度量预测的增强的值函数V(θ)。即，强化学习框架可以包括基于策略的框架和/或基于值的框架。
选择方法可以被定义为控制模型配置被选择的方式。选择方法可以包括可以基于直到完成策略的总奖励的算法。梯度上升可以被用于优化策略函数。
该方法还可以包括：基于预测的过程度量来确定对过程的校正。校正可以基于预测的过程度量和/或与过程的特征相关联的值来确定。校正可以被确定，以便改进过程的性能度量。在校正被确定的该方法中，该方法可以被称为用于确定对过程的校正的方法。
该方法还可以包括：将所述校正应用于过程。校正可以被选择性地应用，例如它可以仅在预测的过程度量通过阈值时应用。在调整被应用的该方法中，该方法可以被称为用于对过程应用调整的方法。调整的应用可以改进过程的过程度量。
该过程可以包括半导体制造过程。半导体制造过程可以对例如光刻设备等半导体制造设备执行。半导体制造设备可以包括测量设备，或者可以与测量设备通信，该测量设备被布置为测量过程的特征。
校正可以被确定，以调整被布置为执行半导体制造过程的半导体制造设备的光学和/或机械参数，或者改变半导体制造过程的处理步骤。例如，半导体制造过程的特定步骤的剂量可以被改变。在另一示例中，辐射束可以使用光学和/或机械调整被调整到不同的位置。
与过程的特征相关联的值可以由被布置为监测半导体制造过程的至少一部分的检查设备生成。检查设备可以被称为量测工具。检查设备可以被布置为检查衬底，以测量衬底和/或衬底上的图案化结构的特征，诸如后续层之间的重叠误差、线厚度或临界尺寸。
根据本公开的第二方面，提供了一种针对模型集合训练用于针对多个模型配置中的每个模型配置评估性能指示的评估模型的方法，模型集合具有所述多个模型配置并且被配置为预测与过程相关联的过程度量，该方法包括：接收与由模型集合中的至少一个模型预测的预测过程度量相关的预测数据，接收与过程的特征相关联的值，并且基于接收到的值和接收到的预测数据训练评估模型。
评估模型可以包括由强化学习模型的评述使用的策略函数。即，评估模型可以由包括评述的一个或多个处理器来执行。训练评估模型可以包括基于接收到的值和接收到的预测数据来更新策略函数。
根据本公开的第三方面，提供了一种针对模型集合训练用于从多个模型配置中选择模型配置的选择模型的方法，该模型集合具有所述多个模型配置并且被配置为预测与过程相关联的过程度量，该方法包括：接收与过程的特征相关联的值，接收指示使用具体模型配置预测的具体预测过程度量的性能的性能指示，并且基于接收到的值和接收到的性能指示训练选择模型。
选择模型可以包括由强化学习模型的代理使用的策略函数。即，选择模型可以由包括代理的一个或多个处理器来执行。训练选择模型可以包括基于接收到的值和接收到的性能指示来更新策略函数。多于一个性能指示可以被接收，例如指示多个具体预测过程度量的性能，每个预测过程度量使用不同的模型配置进行预测。
根据本公开的第四方面，提供了一种根据第二方面或第三方面训练的机器学习模型。机器学习模型可以被存储在计算机存储介质上。
根据本公开的第五方面，提供了一种方法，该方法包括：获得一个或多个模型，该一个或多个被配置用于基于输入过程数据来预测制造过程的过程度量；以及基于将新的过程数据输入到一个或多个模型，使用强化学习框架来评估所述一个或多个模型和/或所述模型的模型配置，并且基于输入新的过程数据来确定预测过程度量时一个或多个模型和/或模型配置的性能指示。
用于预测制造过程的过程度量的每个模型可以具有模型配置。性能指示可以表示由所选模型做出的预测的性能(例如准确性)的测量值。
过程度量可以与制造过程的产率或品质参数相关联。
模型配置可以包括模型类型、模型参数和/或模型超参数中的一个或多个。
过程数据和新的过程数据可以包括制造过程的特征。过程数据可以包括数据集，诸如验证集、训练集或测试集。过程数据可以包括与制造过程的关联于制造环境的一个或多个特征和/或一个或多个特性相关联的值。新的过程数据可以是先前未被输入到模型的过程数据。新的过程数据可以是在制造过程期间测量的过程数据，例如使用量测工具。
制造过程可以包括图案化半导体晶片的过程。
性能指示可以基于将预测的过程度量与以其他方式获得的过程度量的值进行比较。
该方法还可以包括基于评估选择模型和/或模型配置。
过程度量可以指示经受图案化过程的衬底的品质。
过程数据可以包括与制造过程中涉及的多个功能模块相关联的关键性能指标(KPI)。
一个或多个模型可以包括至少两个基于机器学习的模型，每个模型具有不同的架构。
一个或多个模型可以至少包括基于监督学习的第一模型和基于无监督学习的第二模型。
根据本公开的第六方面，提供了一种包括指令的计算机程序，当在合适的设备上运行时，该指令可操作以执行第一方面、第二方面、第三方面和/或第五方面的方法。
根据本公开的第七方面，提供了一种包括第六方面的计算机程序的计算机存储介质。
根据本公开的第八方面，提供了一种半导体制造设备，包括处理装置和包括指令的存储介质，该指令可操作以执行第一方面、第二方面、第三方面或第五方面的方法。
附图说明
本发明的实施例现在将参照所附示意图仅通过示例描述，其中：
-图1图示了在复杂环境中观察到的常见漂移事件；
-图2描述了模型选择模型；
-图3描绘了光刻设备的示意性概述；
-图4描绘了从多个模型配置中选择用于预测与过程相关联的过程度量的模型配置的方法中的步骤的流程图。
具体实施方式
机器学习模型可以被用于预测复杂环境中的特性。机器学习模型可以包括不同类型的模型，例如人工神经网络、决策树、支持向量机和/或贝叶斯网络。机器学习模型在本文中可以被称为模型。
每个模型具有其值经由训练导出的模型参数集合。机器学习模型可以使用诸如监督学习、无监督学习或强化学习等技术进行训练。在训练中，与环境相关联的训练数据被提供给模型，使得模型可以被训练，以识别数据内的图案并且更新模型参数。在经训练后，该模型可以被用于基于接收到的与环境相关联的数据来预测环境中的特性。
每个模型还具有其值或类型通常在训练之前选择的超参数集合。超参数可以包括例如模型的学习率、决策树模型中的树的深度、神经网络中的层和/或神经元的数目、强化学习模型中的探索与利用。
当使用模型来预测复杂环境中的特性时，模型的类型和模型超参数可以基于环境类型、数据量和/或从环境接收的数据类型来选择。此外，该模型被提供有来自环境的训练数据，使得它被训练以专门针对该环境进行预测。因此，每个模型都是针对具体环境定制的。
模型可以被用于预测一系列环境中的特性和/或这种环境内的过程。这种环境的示例是工业处理和/或制造环境、天气系统、道路或水路交通系统、公共场所的人群、计算机网络、诸如股票市场等经济系统、用于人体或动物身体(或其离体样本)的医疗诊断系统。例如，模型可以被用于预测与工业制造或处理环境中的工业过程相关联的特性(例如产率、品质、吞吐量、维护状况、诊断状况)。模型可以被用于预测当地或全球天气系统中的天气类型或事件(例如飓风、热浪)的可能性和/或地点。模型可以被用于预测复杂环境中的移动，例如动物在畜群中的移动、人在人群中的移动或道路上的交通移动。模型可以被用于预测计算机网络中的弹性和/或退出。模型可以被用于医疗诊断，例如基于从医疗装置接收的数据预测医疗条件的可能性。环境中的一些特性与可以被测量的特征相关联，例如温度、浓度或速度，并且可以被简称为特征。环境中的一些特性与环境内发生的过程相关联(例如过程的产率、成功诊断的可能性)，因此可以被称为过程度量。
以上环境和其他是复杂的，并且随时间推移而动态变化。每个环境都受到多种内部和/或外部刺激的影响。每种刺激与它对环境的影响之间的关系通常不是很好理解的。给定来自环境的训练数据，机器学习模型可以被训练以预测环境的特性，而不管模型是否可以确定具体刺激和/或刺激对环境的具体影响。
许多复杂环境经历漂移，其中特性的平均值随时间推移而系统地变化。在特定时间或时间段发生漂移可以被称为漂移事件。图1(a)至1(d)图示了在复杂环境中观察到的常见漂移事件。每个漂移事件使用随时间推移而测量的环境特征的测量平均值来图示。在每种情况下，测量值在漂移事件中从第一平均值10转变为第二平均值12。
当测量值从第一平均值10通常不连续地转变为第二平均值12时，发生在图1(a)中描绘的漂移事件，称为突然群体漂移。测量值在转变后保持在第二平均值12。在示例中，当对环境进行不连续调整(例如制造设备的操作参数的变化、火山喷发或影响天气系统的太阳事件等)时，可能会发生突然群体漂移。
当测量值在第一平均值10到第二平均值12之间转变时，发生图1(b)中描绘的第二漂移事件，称为逐渐群体漂移，该转变涉及在第一平均值10处的减少周期之间在第二平均值12处越来越长的周期。这可能会发生多次。第一平均值10和第二平均值12之间的转变通常是不连续的。每次第一平均值10转变为第二平均值12时，测量值保持在第二平均值12处的时间量增加。在图1所图示的示例中，测量值在第一时间段13、第二时间段14和第三时间段15内保持在第二平均值处，其中第三时间段15大于第二时间段14，并且第二时间段14大于第三时间段13。真实环境中的逐渐群体漂移的示例是间歇性故障，其严重性随时间推移而增加，例如由于设备中的碎片的积聚以及患者通过增加患者产生耐受或抗药性的药物剂量来治疗的医疗条件的症状。
当测量值从第一平均值10开始并且逐渐转变为第二平均值12时，例如以逐渐增量增大或逐渐增量减小，发生图1(c)中描绘的第三漂移事件，称为增量群体漂移。即，转变通常在转变周期16上是连续的。增量群体漂移的示例是温度逐渐升高的制造设备，导致例如产率的增量增加。又一示例可能是由污染物随时间推移而积聚引起的大气效应。
当测量值从第一平均值10开始并且转变为第二平均值12时，发生图1(d)中描绘的第四漂移事件，称为重复发生群体概念。第一平均值10和第二平均值12之间的转变通常是不连续的。在转变为第一平均值10之前，测量值在第四时间段17内保持在第二平均值12处。真实环境中的重复发生群体概念的示例是在工业机器中发生间歇性故障或者表现出红肿(或“突然复发”)的医疗条件的症状。
经训练的机器学习模型有效地使用来自环境的历史数据来学习。例如，机器学习模型可以使用来自测量值处于第一平均值10的时间段的训练数据。在漂移事件之后，测量值处于第二平均值12。因此，训练模型不太能够准确预测漂移事件后的特性(即，可能以降低的准确性预测特性)。
如上所述，漂移事件可以与关联于环境中的特征的值的漂移相关联。这种漂移事件可以被称为特征漂移。然而，漂移事件可能与其他数量相关联。例如，漂移事件可以对应于过程度量中的漂移，例如产率的降低。这种漂移事件可以被称为过程漂移。在另一示例中，漂移事件可以对应于与用于预测特性的模型相关联的性能度量。即，模型预测的性能可以被确定，例如使用标准性能测量技术(例如接收器操作特性下的面积(AUC-ROC)值，或精度和召回率)，并且确定的性能在与上述类似的漂移事件中可能会提高或降低。
为了提高在漂移事件之后预测环境中的特性的准确性，更新模型可能是有益的。例如，模型可以使用来自测量值处于第二平均值12的时间段的训练数据来重新训练。附加地或备选地，模型架构和/或超参数可以被更新。这种更新过程可以被称为选择模型配置，其中模型配置包括具体模型类型、架构、参数和超参数。
通常，模型配置的选择是通过人工干预来执行的，其中人类操作员手动选择模型配置。手动干预可以包括‘试探式’方法，其中模型配置是基于直觉选择的。试探式方法通常准确性较低。关键性能指标(KPI)可以被用于改进试探式方法，例如通过监测KPI，使得环境内的过程保持在期望的性能窗口内(即，被定义为‘充足’的性能)。KPI可以利用统计分析来选择模型配置。然而，人工干预(包括使用统计分析)通常无法理解模型配置和预测品质之间的复杂关系。例如，可能无法理解更改学习率如何可能或可能不会改进预测和/或何时重新训练以更新模型参数可能是有益的)。附加地，人工干预可能无法以实时更新所需的速度更新模型。附加地，人工干预方法通常无法专门响应漂移事件。
本文描述了用于选择模型配置的改进方法和系统。本文描述的技术提供了一种选择或更新模型配置的改进方式，使得对环境中的特性的预测被改进。本技术提供模型的响应式实时更新，因此提供响应于环境变化的预测，例如由漂移事件引起的变化。本文描述的方法可以是完全自动化的，从而减少或消除对人工干预的需要。
图2描绘了可以被用于选择模型配置的模型选择模型200。模型选择模型200包括强化学习模型。模型选择模型200与环境20一起使用，环境20包括上面讨论的示例环境中的一个示例环境或另一复杂环境。
环境20在时间t最初处于状态st。状态st包括数据集D和模型配置集合M。数据集D包括与环境特征(例如天气系统中的温度、工业处理环境中的功率等)相关联的一个或多个值。特征可以例如通过量测设备来测量。应该理解，数据集D内的各个数据输入项可以被称为特征或与特征相关联的值，指示特征以数据输入项的形式数字表示。
通过数据集D，漂移状态F可以被确定。漂移状态F可以识别漂移事件，并且可选地识别所述漂移事件的一个或多个特征(例如漂移事件的类型、漂移的幅度等)。漂移状态可以通过随时间推移而监测特征并且识别特征随时间推移而变化的方式来确定。例如，与特征相关联的值可能会不连续地改变为新值，并且保持在新值，这指示突然群体漂移。任何数目的特征可以被监测以确定漂移。与特征随时间推移而变化的方式相关联的数据可以被称为时间变化数据。这种时间变化数据和/或漂移状态可以被存储在数据集D中。
环境20还包括经训练的机器学习模型集合，这些机器学习模型已经被训练来预测环境中的特性。例如，他们可能已经对数据集D中的历史数据进行训练。每个机器学习模型都具有模型配置。因此，模型配置集合M是集合中的每个模型的配置。该模型集合可以包括任何类型的模型，例如它们可以包括可操作以预测环境中的特性的神经网络和/或强化学习模型。
环境20中的模型集合中的每个模型可操作以预测环境的特性。在给定的时间，模型(具有关联的模型配置)被选择以预测特性。模型选择模型的目的是为每个给定时间选择‘最佳模型配置’，使得预测的准确性被提高。
环境在时间t经由代理22通过动作at起作用。动作at包括代理22选择模型配置。即，动作at可以是重新训练动作(其中更新模型的模型参数)和/或改变模型超参数(例如增加强化学习模型的贪婪)和/或选择不同的模型(例如从使用强化学习模型进行预测到使用神经网络进行预测的转变)的动作。通过作用于环境，代理22使环境20从其初始状态st(其中第一模型配置被选择)转变为新状态st+1(其中第二模型配置被选择)。为了完整起见，应该注意的是如果认为保留相同的模型配置是有益的，则第二模型配置可以等效于第一模型配置。即，如果超过当前使用的模型配置的性能，则不同的模型配置被选择。
从初始状态st到新状态st+1的转变返回奖励rt。奖励rt是由代理进行的动作后的性能的量度。例如，奖励rt可以包括使用所选模型配置做出的预测(例如预测的特性)的准确性。准确性可以使用标准性能测量技术来计算，例如接收器操作特性下的区域(AUC-ROC)值或精度和召回率。
代理22的目标是最大化其遍及轨迹的动作的总奖励，该轨迹被定义为遍及时间段内的状态、动作和奖励序列(s0,a0,r0,s1,a1,r1,s2,a2,...)。遍及轨迹的奖励序列由本身由参数集合θ控制的策略π(θ)控制，并且具有关联的总奖励J(θ)。代理22旨在优化总奖励J(θ)。在一些示例实施方式中，为了计算最优总奖励J(θ)，梯度上升(或下降)可以被使用，例如计算
Figure BDA0003868741390000131
不同类型的强化学习技术可以被有益地使用。仅通过示例，动作评述算法、优势动作-评述算法、非同步优势动作-评述算法、具有归一化优势函数的Q学习、信任区域策略优化算法、近端策略优化算法、双延迟深度确定性策略梯度或者软动作-评述算法可以被使用。代理22可以使用初始训练数据集训练。代理22还可以基于数据集D和在每个动作at之后接收到的奖励rt连续学习。
为了帮助代理22学习(并因此选择更优的模型配置)，模型选择模型被提供有评论者24。在每个动作at已经由代理22执行之后，评论者24从环境20接收奖励rt。评论者24还接收与环境20的新状态st+1相关的信息，例如数据集D和模型配置集合M。评论者24由策略π(ω)控制，该策略本身由参数集合ω控制，并且具有关联的总奖励J(ω)。评论者24的目标是优化其总奖励J(ω)，并且基于由环境20返回的奖励向代理22提供分数。因此，评论者24将信息ct(例如性能指示)提供给代理22，允许代理22进一步优化其策略π(θ)。性能指示表示代理行动的性能(例如准确性)的测量值。例如，性能指示可以表示使用由代理22选择的模型配置的预测的准确性。性能指示可以被分析地确定，例如使用优势函数或时间差。
有益地，这种模型选择模型提供了选择模型配置的手段，这改进了对环境中的特性的预测。通过使用模型选择模型，选择(并因此预测的改进)可以在不需要人工干预的情况下执行。通过使用模型选择模型，选择可以实时和/或响应于漂移事件来实现。
这种模型选择模型的使用在下面更详细地描述，具有包括光刻设备的环境中的半导体制造的具体过程的示例。应该理解，这本质上是说明性的，并且本文描述的方法和设备可以被用于其他应用，例如在上面讨论的环境中。
光刻设备是被构造为将期望的图案施加到衬底上的机器。光刻设备可以被用于例如集成电路(IC)的制造中。光刻设备可以例如在图案化装置(例如掩模)处将图案(通常也称为“设计布局”或“设计”)投影到设置在衬底(例如晶片)上的辐射敏感材料(抗蚀剂)层上。
为了将图案投影到衬底上，光刻设备可以使用电磁辐射。该辐射的波长确定了可以被形成在衬底上的特征的最小尺寸。当前使用的典型波长是365nm(i线)、248nm、193nm和13.5nm。与使用例如波长为193nm的辐射的光刻设备相比，使用波长在范围4至20nm内(例如6.7nm或13.5nm)的极紫外(EUV)辐射的光刻设备可以被用于在衬底上形成更小的特征。
低k1光刻可以被用于处理尺寸小于光刻设备的经典分辨率限制的特征。在这种过程中，分辨率公式可以被表达为CD＝k1×λ/NA，其中λ是所采用的辐射波长，NA是光刻设备中的投影光学器件的数值孔径，CD是“临界尺寸”(通常印刷的最小特征尺寸，但在这种情况下是半节距)，并且k1是经验分辨率因子。通常，k1越小，就越难在衬底上再现与电路设计者计划的形状和尺寸类似的图案，以实现特定电气功能性和性能。为了克服这些困难，复杂的微调步骤可以被应用于光刻投影设备和/或设计布局。例如，这些包括但不限于NA的优化、定制照射方案、相移图案化装置的使用、设计布局中的诸如光学邻近效应校正(OPC，有时也称为“光学和过程校正”)等设计布局的各种优化或者通常定义为“分辨率增强技术”(RET)的其他方法。这些微调步骤可以被称为校正。备选地，用于控制光刻设备的稳定性的紧密控制环可以被用于改进低k1下的图案的再现。
当上述光刻图案化中的困难未被解决时，这可能会导致图案化过程的品质降低。如果图案化过程的品质下降，则这可能会导致最终图案化衬底的品质降低。因此，评价图案化衬底的品质可以给出图案化过程品质的指示。为了测试图案化衬底的品质，可以测试图案化衬底是否起作用。图案化衬底可以包括多个元件(例如管芯)，这些元件可以被单独测试以确定元件是否通过，也就是说，元件是否工作，或者它是否失败(不工作)。衬底上的工作元件的比例可以被称为衬底的产率。期望提高光刻设备和对应的图案化过程的产率，以在衬底上获得更多的工作元件。
图3示意性地描绘了光刻设备LA。光刻设备LA包括被配置为调节辐射束B(例如UV辐射、DUV辐射或EUV辐射)的照射系统(也称为照射器)IL、被构造为支撑图案化装置(例如掩模)MA并且连接至第一定位器PM(被配置为根据某些参数准确地定位图案化装置MA)的掩模支撑件(例如掩模台)MT、被构造为保持衬底(例如抗蚀剂涂覆的晶片)W并且连接至第二定位器PW(被配置为根据某些参数准确地定位衬底支撑件)的衬底支撑件(例如晶片台)WT以及被配置为将通过图案化装置MA赋予辐射束B的图案投影到衬底W的目标部分C(例如包括一个或多个管芯)上的投影系统(例如折射投影透镜系统)PS。
在操作中，照射系统IL从辐射源SO(例如经由束递送系统BD)接收辐射束。照射系统IL可以包括各种类型的光学部件，诸如折射、反射、磁性、电磁、静电和/或其他类型的光学部件或其任何组合，以用于导向、整形和/或控制辐射。照射器IL可以被用于调节辐射束B，以使在其横截面中在图案化装置MA的平面处具有期望的空间和角强度分布。
本文使用的术语“投影系统”PS应该被广义地解释为涵盖各种类型的投影系统，包括折射、反射、反射折射、变形、磁性、电磁和/或静电光学系统或其任何组合，以适合于所使用的曝光辐射和/或其他因素(诸如使用浸没液或使用真空)。本文中对术语“投影透镜”的任何使用可以被认为与更通用的术语“投影系统”PS同义。
在本文档中，术语“辐射”和“束”被用于涵盖所有类型的电磁辐射，包括紫外辐射(例如波长为365、248、193、157或126nm)和EUV(极紫外辐射，例如波长在约5至100nm的范围内)。
本文中采用的术语“掩模版”、“掩模”或“图案化装置”可以被广义地解释为指代通用图案化装置，它可以被用于向传入的辐射束赋予图案化的横截面，对应于将在衬底的目标部分中创建的图案。在该上下文中，术语“光阀”也可以被使用。除了经典的掩模(透射或反射的、二进制的、相移的、混合的等)以外，其他这种图案化装置的示例还包括可编程反射镜阵列和可编程LCD阵列。
光刻设备LA可以是其中衬底的至少一部分可以被具有相对较高的折射率的液体(例如水)覆盖的类型，以填充投影系统PS和衬底W之间的空间，这也被称为浸没式光刻。关于浸没技术的更多信息在US6952253中给出，其通过引用并入本文。
光刻设备LA也可以是具有两个或多个衬底支撑件WT的类型(也称为“双工作台”)。在这种“多工作台”机器中，衬底支撑件WT可以被并行使用，和/或准备随后曝光衬底W的步骤可以对位于衬底支撑件WT中的一个衬底支撑件WT上的衬底W执行，而其他衬底支撑件WT上的另一衬底W被用于在其他衬底W上曝光图案。
除了衬底支撑件WT之外，光刻设备LA可以包括测量工作台。测量工作台被布置为保持传感器和/或清理装置。传感器可以被布置为测量投影系统PS的性质或辐射束B的性质。测量工作台可以保持多个传感器。清理装置可以被布置为清理光刻设备的一部分，例如投影系统PS的一部分或提供浸没液的系统的一部分。当衬底支撑件WT远离投影系统PS时，测量工作台可以在投影系统PS下方移动。
在操作中，辐射束B被入射到图案化装置(例如掩模MA)上，该图案化装置MA被保持在掩模支撑件T上，并且由存在于图案化装置MA上的图案(设计布局)图案化。在遍历掩模MA后，辐射束B穿过投影系统PS，该投影系统PS将束聚焦到衬底W的目标部分C上。借助于第二定位器PW和位置测量系统IF，衬底支撑件WT可以被准确地移动，例如以便在聚焦和对准位置处将不同的目标部分C定位在辐射束B的路径中。类似地，第一定位器PM和可能的另一位置传感器(未在图1中明确描绘)可以被用于相对于辐射束B的路径准确地定位图案化装置MA。图案化装置MA和衬底W可以使用掩模对准标记M1、M2和衬底对准标记P1、P2来对准。尽管所图示的衬底对准标记P1、P2占用了专用目标部分，但是它们可以位于目标部分之间的空间中。当衬底对准标记P1、P2位于目标部分C之间时，这些被称为划道对准标记。
通常，光刻设备LA中的图案化过程是处理中的最关键步骤中的一个步骤，该处理需要对衬底W上的结构进行高准确性的尺寸设计和放置。期望监测与图案化过程和/或衬底W和/或光刻设备相关联的性质。这种性质可以被称为特征、测量特征或监测特征。
光刻设备LA还包括检查设备IA，它也可以被称为量测工具。应该注意的是，在光刻设备的其他示例布置中，检查设备IA可以不被集成到光刻设备中，而是可以是更大的光刻系统的一部分或者是独立的装置。如果集成到光刻设备LA中，则检查设备IA的定位可能与图3中描绘的不同。
检查设备IA被布置为检查衬底，以测量衬底W和衬底上的图案化结构的特征，诸如后续层之间的重叠误差、线厚度、临界尺寸(CD)等。如果误差被检测到，则校正可以被进行，例如对后续衬底的曝光或要在衬底W上执行的其他处理步骤进行校正。检查设备IA可以测量潜像(曝光后抗蚀剂层中的图像)上的特征，或半潜像(曝光后烘烤步骤PEB后抗蚀剂层中的图像)上的特征，或显影的抗蚀剂图像(其中抗蚀剂的曝光或未曝光部分已被去除)上的特征，甚至蚀刻图像(在诸如蚀刻等图案转移步骤之后)上的特征。检查设备IA通常将监测特征，并且将与监测特征相关联的值存储在数据集中。
图案化过程的性质(例如图案化过程的性能)也可能期望确定。这种性质可以被称为过程度量。过程度量可能难以直接测量。相反，过程度量可以被间接评价，例如通过评估存在于衬底上的最终图案的品质。过程度量可以通过测量代表过程度量的性质来评估，例如产率(例如衬底上充分发挥作用的元件的比例)。完美图案化的衬底(其中每个管芯都包括起作用的元件)具有100％的产率。所有管芯均由非工作元件组成的衬底的产率为0％。获得100％或尽可能接近100％的产率是高品质光刻图案化的目标。产率可以用检查设备IA或其他相关测量设备测量，并且使用处理装置进行评估。
光刻设备包括处理器P或其他处理装置。处理器P可操作以预测图案化过程的性质，例如图案化过程的过程度量。具体地，处理器P访问模型集合，每个模型被配置为预测上述过程度量并且每个模型都具有模型配置。该模型集合(及其对应的配置)被存储在计算机存储装置中。每个模型可以被提供有数据，例如与由检查设备IA测量的特征相关联的值，它用作预测过程的输入。即，模型可以使用由检查设备IA测量的特征来预测过程度量。数据可以是当前数据，或者可以是存储的历史数据。附加数据可以被提供为预测过程的输入，例如光刻设备LA的操作参数。这种模型的细节在此处将不被详细描述，但预测半导体制造过程中的过程度量的模型示例在WO2018/202361、NL2024627和欧洲专利申请EP19186833.0中描述的模型的更多性质中更详细地描述。
有益地，通过使用模型来预测过程度量，校正可以被主动地(即，在预计产率超过阈值之前)而不是追溯地(即，响应于产率超过阈值)来计算和应用。如先前讨论的，半导体制造过程是一个复杂的环境，通常会经历漂移事件。因此，模型选择模型(例如参照图2描述的)与光刻设备LA结合使用以选择模型配置，从而提高预测的准确性。
图4描绘了选择模型配置使得过程度量的预测可以被改进的方法400的流程图。该方法的目的是从用于预测过程度量的模型配置集合中选择具体的模型配置。有益地，通过使用该方法，提供过程度量的更准确预测的模型配置可以被选择。在第一步骤402中，过程数据被获得。过程数据包括与光刻设备LA、衬底W和/或图案化的特征相关联的一个或多个值以及与多个模型配置相关联的一个或多个值。过程数据可以包括例如数据的训练集、验证集和/或测试集。在第二步骤404中，性能指示针对模型配置集合M中的每个模型配置评估。具体地，性能指示表示每个模型配置对于它已被训练的预测过程的准确性。性能指示基于过程数据。例如，性能指示可以基于形成过程数据的至少一部分的测试集。
在第三步骤406中，模型配置基于评估的性能指示来选择。选择的模型配置可能具有‘最佳’性能指示，例如最高准确性。备选地，评估的性能指示可以被提供给代理，该代理使用历史信息和/或具有性能指示的算法来选择模型配置。在第四步骤408中，具有所选模型配置的模型(即，所选模型)被用于预测过程度量。所选模型通常使用数据集D的至少一部分作为输入来进行预测。预测的过程度量是所选模型的输出。在第五步骤410中，预测的过程度量由计算机输出。
在本文中具体参考包括训练集、验证集和/或测试集的过程数据的使用。术语训练集、验证集和测试集将根据它们在本领域中被使用的方式被解释为输入到模型的数据集类型。通常，训练集被用于调谐模型参数。通常，验证集被用于调谐模型超参数。通常，测试集被用于提供模型性能的量度。然而，鉴于本文中的方法提供了一种用于调谐模型参数和模型超参数并且评估不同模型配置的性能的方法，任何类型的数据集都可以被选择作为过程数据。
方法400可以与强化学习技术一起使用，例如参照图2描述的模型选择模型200。在这种示例实施方式中，评论者24获得(在步骤402中)过程数据。过程数据包括在时间t+1与环境的状态st+1相关联的值(例如模型配置集合M和衬底/过程/设备的一个或多个特征)。过程数据还包括在代理22做出的动作at(例如更新所选模型的模型参数)之后的先前时间t的奖励rt(例如预测准确性的指示)。即，奖励是使用先前选择的模型配置对先前预测的过程度量的准确性的量度。然后评论者24基于获得的过程数据评估(在步骤404中)性能指示ct，并且将所述性能指示ct提供给代理22。
给定新信息(即，性能指示ct)，代理22选择(在步骤406中)模型配置。然后具有所选模型配置的模型被用于预测(在步骤408中)过程度量，例如产率。所述过程度量被输出(在步骤410中)。基于该方法400，代理22基于从评论者24接收的性能指示实时学习选择更优的模型配置。方法400是重复的，并且可以随着时间被重复发生。利用方法400的每次重复(例如在时间t、t+1、t+2...)，代理22和评论者24可以基于评估的奖励或性能指示以及通过从更新的环境接收的附加数据(例如每个动作(at、at+1...)之后的环境20的状态(st、st+1...))来学习。附加地，利用方法400的每次重复，附加值(例如性质的测量值和/或预测值)可以被添加到数据集D，从而增大数据集D的尺寸。
当使用强化学习技术来执行方法400时，方法步骤可以作为无模型强化学习(MFRL)框架的至少一部分来执行。MFRL框架可以使用基于策略的框架，该框架使用策略函数J(θ)来定义用于选择模型配置的选择方法。选择方法控制模型配置被选择的方式。选择方法通常是可以基于遍及轨迹的总奖励的算法，其中不同的选择算法对轨迹的不同点使用不同的算法和/或不同长度的轨迹和/或不同的权重。值函数V(θ)也可以被使用。如果当前策略函数J(θ)被遵循直到轨迹完成(即，策略函数的结束)为止，则值函数V(θ)定义了预测过程度量的增强。由评论者确定的性能指示是使用梯度上升(即，
Figure BDA0003868741390000201
)自动导出的。利用方法400的每次重复，策略函数P(s)被更新，从而‘优化’它以选择产生更准确预测的模型配置。
评论者24可以被称为评估工具。评论者24的策略函数被称为评估模型，并且被配置为评估性能指示，并且将所述性能指示递送给代理22。训练评论者24可以包括初始化和/或更新其策略函数。评论者24可以最初使用训练数据来训练，例如来自数据集D的数据和/或来自另一模型选择模型的历史数据或模型参数。附加地或备选地，评论者24可以在使用中被训练，通过它接收过程数据以及可选地来自数据集D的其他值和与模型配置相关联的值(例如奖励)，并且基于其更新其策略函数。该训练可以在每次方法400被执行时重复地执行。
代理可以被称为选择工具。代理22的策略函数被称为选择模型，并且被配置为选择模型配置。训练代理22可以包括初始化和/或更新其策略函数。代理22可以最初使用训练数据来训练，例如来自数据集D的数据和/或来自另一模型选择模型的历史数据或模型参数。附加地或备选地，代理22可以在使用中被训练，通过它接收性能指示，可选地来自数据集D的其他值和与环境特征相关联的值，并且基于其更新其策略函数。该训练可以在每次方法400被执行时重复地执行。
方法400可以由计算机处理装置执行，例如图3中的处理器P。计算机处理装置访问存储器，模型集合被存储在该存储器中。模型集合中的每个模型都被配置为预测过程度量(例如产率)，并且已进行了相应的训练。每个模型都具有模型配置，其中包括模型参数(例如通过训练设置的参数)、模型超参数(例如层数、贪婪)和可选地模型类型(例如神经网络、SVM、随机森林)。集合中的每个模型通常访问与图案化过程、衬底W和/或光刻设备LA的特征相关联的值的数据集D，例如由检查设备IA监测的特征。
在具体示例中，数据集D具体包含与光刻设备LA的漂移状态相关的数据。这种数据可以被称为漂移数据。当漂移事件发生时，使用包含漂移状态的数据集D特别有利。漂移数据可以通过例如监测与衬底相关联的特征并且基于监测的重叠测量值的变化确定漂移事件来确定。即，漂移数据可能与特征随时间推移而变化的方式相关联。例如，重叠测量值可以随时间推移而监测，并且如果重叠测量值在时间段内逐渐增大，则增量群体漂移事件可以被识别。
漂移数据可以被包括在方法400的步骤402中获得的过程数据中。在漂移事件的情况下，通过其基于过程数据对性能指标的评估，评论者24可以鼓励可以在这种漂移事件之后以提高的准确性进行预测的具体模型配置的选择(由代理22进行)。具体地，评论者24和代理22两者都可以随着时间的推移学习具体模型配置可以在对应的具体漂移事件之后产生更准确的预测。
在另一示例中，过程数据可以包括指示数据集D包含的值的数目的内容值。内容值可以整体地指示数据集D中的值的数目，或者可以指示与特定性质相关联的值的数目，例如与重叠测量值相关联的值。包括内容值的这种过程数据对于至少部分地基于与性质相关联的内容值来选择模型配置可能是特别有利的。具体地，一些类型的模型更容易过度拟合，因此当有更多的训练数据可用时通常会更准确。即，当数据集D较小时使用第一模型类型(例如支持向量机)可能是有益的，但是随着数据集D的尺寸增长(例如随着方法400的更多重复被执行)，它可能有益于转变到第二模型类型(例如神经网络)。
选择模型配置可以包括多个动作中的一个动作。在第一示例中，在时间t选择的模型(表示为Mt)具有与先前在时间t-1选择的模型(表示为Mt-1)相同的模型配置。即，确定过程度量的最准确预测很可能由与先前选择的模型(Mt-1)相同的模型进行。该第一示例更可能出现在稳定系统中，在时间t-1和时间t之间没有发生漂移事件。
在第二示例中，在时间t的所选择的模型(Mt)与先前选择的模型(Mt-1)相比具有不同的模型配置。在第二示例中，选择模型配置包括选择具有不同模型类型的模型配置。例如，如果先前选择的模型Mt-1是支持向量机，则选择模型配置可以包括选择具有神经网络架构的新模型Mt。第二示例在使用包括上述内容值的过程数据的系统中可能特别有益。
在第三示例中，在时间t的所选择的模型(Mt)与先前选择的模型(Mt-1)相比具有不同的模型配置。在第三示例中，选择模型配置包括改变所选模型的超参数。即，新模型Mt通常可以等效于先前选择的模型Mt-1，但是一个或多个超参数可以被改变。例如，当使用强化学习类型的模型时，随着时间的推移减少模型的贪婪可能是有益的。
在第四示例中，在时间t的所选择的模型(Mt)与先前选择的模型(Mt-1)相比具有不同的模型配置。在第四示例中，选择模型配置包括改变一个或多个模型参数。即，所选模型被重新训练，以更新其模型参数。第四示例在漂移事件之后特别有利，因为所选模型可以使用与漂移事件之后的环境状态相关联的训练数据来重新训练。因此，通过在漂移事件之后重新训练模型，过程度量可以在漂移事件之后以提高的准确性来确定。
方法400提供预测的过程度量作为输出。在方法400的示例实施方式中，输出过程度量被用于确定对光刻设备LA和/或图案化过程的校正。该校正也可以被称为调整。校正被计算，以提高光刻设备LA和/或图案化过程的性能。校正的示例是对设备的光学部件的调整、对提供给光刻设备的剂量的调整、要被施加的图案的变化。
然后这种校正可以被应用于设备，这可以提高其性能。因此，过程度量可能会改进，例如校正可能会提高产率。在这种实例中，光刻设备LA包括可操作以确定校正的处理器P和应用所述校正的装置。可以选择选择性地应用校正，例如如果预测的过程度量超过阈值。在示例中，仅当预测产率低于80％时应用校正是有益的。备选地，周期性地应用校正可能是有益的。
在另一示例实施方式中，预测的过程度量被用于生成指示过程的数据。例如，过程度量可以被用于遍及与过程相关联的区域生成地图。一系列预测的过程度量可以针对在半导体晶片上的给定地点处的图案化过程的失败概率生成。给定所述一系列预测的过程度量，示出整个晶片的故障概率的地图可以被生成。替代的地图可以被生成，例如示出在图案化过程之后的多个层的预测重叠的重叠地图。
在另一示例实施方式中，预测的过程度量作为输入被提供回模型，例如以训练模型并且由此改进其预测。
本发明的其他实施例在下面带编号的条项列表中公开：
1.一种计算机实现的方法，从多个模型配置中选择用于预测与过程相关联的过程度量的模型配置，该方法包括：
获得过程数据，该过程数据包括与多个模型配置相关联的值和与过程特征相关联的值；
基于过程数据来评估多个模型配置中的每个模型配置的性能指示；
基于评估的性能指示来选择模型配置；
使用具有所选模型配置的模型来预测过程度量；
由计算机输出预测的过程度量。
2.根据条项1所述的方法，其中与过程特征相关联的值包括与特征随时间推移而变化的方式相关联的数据。
3.根据条项1或2所述的方法，其中每个模型配置包括模型类型、模型参数和/或模型超参数中的一个或多个。
4.根据条项3所述的方法，其中模型类型包括支持向量机、神经网络或随机森林。
5.根据条项3或4所述的方法，其中选择模型配置包括：重新训练模型以更新其模型参数。
6.根据任何前述条项所述的方法，其中选择模型配置还基于包括与过程特征相关联的值的数据集。
7.根据条项6所述的方法，其中选择所述模型配置还基于所述数据集的尺寸或者所述数据集的子集的尺寸。
8.根据任何前述条项所述的方法，其中所述方法的步骤通过使用强化学习来执行。
9.根据条项8所述的方法，其中获得过程数据，评估性能度量一级选择模型配置的步骤使用以下一项或多项执行：动作-评述算法、优势动作-评述算法、非同步优势动作-评述算法、具有归一化优势函数的Q学习、信任区域策略优化算法、近端策略优化算法、双延迟深度确定性策略梯度或者软动作-评述算法。
10.根据条项8或9中任一项所述的方法，其中获得过程数据和评估性能度量的步骤由包括评述的一个或多个处理器执行，并且选择模型配置的步骤由包括代理的一个或多个处理器执行。
11.根据条项8至10中任一项所述的方法，其中获得过程数据，评估性能度量并且选择模型配置的步骤包括：
确定策略函数J(θ)，该策略函数J(θ)定义用于选择模型配置的选择方法；和/或
假设策略函数被遵循直到完成策略函数为止，确定定义过程度量预测的增强的值函数V(θ)。
12.根据任何前述条项所述的方法，还包括：基于预测的过程度量来确定对过程的校正。
13.根据条项12所述的方法，还包括：将所述校正应用于所述过程。
14.根据任何前述条项所述的方法，其中所述过程包括半导体制造过程。
15.根据从属于条项12或13时的条项14所述的方法，其中校正被确定，以调整被布置为执行半导体制造过程的半导体制造设备的光学和/或机械参数，或者改变半导体制造过程的处理步骤。
16.根据条项14或15所述的方法，其中与过程特征相关联的值由检查设备生成，该检查设备被布置为监测半导体制造过程的至少一部分。
17.一种针对模型集合训练用于针对多个模型配置中的每个模型配置评估性能指示的评估模型的方法，所述模型集合具有所述多个模型配置并且被配置为预测与过程相关联的过程度量，该方法包括：
接收与由模型集合中的至少一个模型预测的预测过程度量相关的预测数据；
接收与过程特征相关联的值；
基于接收到的值和接收到的预测数据来训练评估模型。
18.一种针对模型集合训练用于从多个模型配置中选择模型配置的选择模型的方法，所述模型集合具有所述多个模型配置并且被配置为预测与过程相关联的过程度量，该方法包括：
接收与过程特征相关联的值；
接收指示使用具体模型配置预测的具体预测过程度量的性能的性能指示；
基于接收到的值和接收到的性能指示来训练选择模型。
19.一种根据条项17或18训练的机器学习模型。
20.一种方法，该方法包括：
获得一个或多个模型，该一个或多个模型被配置用于基于输入过程数据来预测制造过程的过程度量；以及
基于将新的过程数据输入到一个或多个模型，使用强化学习框架来评估所述一个或多个模型和/或所述一个或多个模型的模型配置，并且基于输入新的过程数据来确定预测过程度量时一个或多个模型和/或模型配置的性能指示。
21.根据条项20所述的方法，其中过程度量与制造过程的产率或品质参数相关联。
22.根据条项20或21所述的方法，其中配置包括模型类型、模型参数和/或模型超参数中的一个或多个。
23.根据条项20至22中任一项所述的方法，其中过程数据和新的过程数据包括制造过程的特征。
24.根据条项20至23中任一项所述的方法，其中制造过程包括图案化半导体晶片的过程。
25.根据条项20至24中任一项所述的方法，其中预测过程度量时的性能基于将预测特性与过程度量的以其他方式获得的值进行比较。
26.根据条项20至25中任一项所述的方法，还包括基于评估选择模型和/或模型配置的步骤。
27.根据条项26所述的方法，其中过程度量指示经受图案化过程的衬底的品质。
28.根据条项20至27中任一项所述的方法，其中过程数据包括与制造过程中涉及的多个功能模块相关联的关键性能指标(KPI)。
29.根据条项20至28中任一项所述的方法，其中一个或多个模型包括至少两个基于机器学习的模型，每个模型具有不同的架构。
30.根据条项29所述的方法，其中一个或多个模型至少包括基于监督学习的第一模型和基于无监督学习的第二模型。
31.一种包括指令的计算机程序，所述指令在合适的设备上运行时能够操作以执行条项1至18或20至30中任一项所述的方法。
32.一种计算机存储介质，包括条项31所述的计算机程序。
33.一种半导体制造设备，包括处理装置和包括指令的存储介质，所述指令能够操作以执行条项1至18或20至30中任一项所述的方法。
尽管在本文中可以具体引用光刻设备在IC的制造中的使用，但是应该理解的是，本文描述的光刻设备可以具有其他应用。可能的其他应用包括集成光学系统的制造、用于磁畴存储器、平板显示器、液晶显示器(LCD)、薄膜磁头等的引导和检测图案。
尽管在本文中可以在光刻设备的上下文中具体引用本发明的实施例，但是本发明的实施例可以被用于其他设备中。本发明的实施例可以形成掩模检查设备、量测设备或者测量或处理诸如晶片(或其他衬底)或掩模(或其他图案化装置)等物体的任何设备的一部分。这些设备通常可以被称为光刻工具。这种光刻工具可以使用真空条件或环境(非真空)条件。附加地，本文描述的方法可以被用于非光刻设备中。例如，各种环境已经在本文中描述，在这些环境内，方法可以被用于确定更准确的过程度量。
本文描述的方法已经具体引用将产率预测为过程度量。然而，这些方法可以被用于任何其他过程度量的预测。在半导体制造环境中，这种过程度量可以包括品质、图案化失败的概率、部分故障的概率、诊断状况。在其他环境中，其他过程度量可以被预测，例如过程失败的概率，例如离体诊断工具中误诊的估计。
本文描述的方法指的是从多个模型配置中选择用于预测与过程相关联的过程度量的模型配置的方法。然而，在一些示例实施方式中，选择多于一种模型配置可能是有益的。例如，使用第一模型配置来预测第一过程度量并且使用第二模型配置来预测第二过程度量可能是有益的。第一过程度量和第二过程度量可以包括相同的度量(例如产率)，或可以包括不同的度量(例如产率和部分故障的概率)。
本文描述的方法可以被实现为计算机程序中的指令。计算机程序可以在设备上执行，例如检查设备IA、检查设备或光刻设备LA。这种计算机程序可以被存储在计算机存储介质上。
尽管上面可能已经在光学光刻的上下文中具体引用本发明的实施例的使用，但是要了解，在上下文允许的情况下，本发明不被限于光学光刻，并且可以被用于其他应用中，例如压印光刻、蚀刻、显影(例如诸如光刻胶等抗蚀剂的显影)和化学机械抛光。
尽管本发明的具体实施例已经在上面描述，但是要了解的是，本发明可以以不同于所描述的方式来实践。以上描述旨在是说明性的，而不是限制性的。因此，对本领域技术人员而言显而易见的是，在不脱离下面陈述的权利要求的范围的情况下，修改可以对所描述的本发明进行。

Claims (14)

1.一种方法，所述方法包括：
获得一个或多个模型，所述一个或多个模型被配置用于基于输入过程数据来预测制造过程的过程度量；以及
基于将新的过程数据输入到所述一个或多个模型，使用强化学习框架来评估所述一个或多个模型和/或所述一个或多个模型的模型配置，并且基于输入新的过程数据来确定在预测所述过程度量时所述一个或多个模型和/或模型配置的性能指示。
2.根据权利要求1所述的方法，其中所述过程度量与所述制造过程的产率或品质参数相关联。
3.根据权利要求1或2所述的方法，其中所述配置包括模型类型、模型参数和/或模型超参数中的一种或多种。
4.根据权利要求1至3中任一项所述的方法，其中所述过程数据和新的过程数据包括所述制造过程的特征。
5.根据权利要求1至4中任一项所述的方法，其中所述制造过程是对半导体晶片图案化的过程。
6.根据权利要求1至5中任一项所述的方法，其中预测所述过程度量时的所述性能基于将所述预测的过程度量与所述过程度量的以其他方式获得的值进行比较。
7.根据权利要求1至6中任一项所述的方法，还包括基于所述评估选择模型和/或模型配置的步骤。
8.根据权利要求7所述的方法，其中所述过程度量指示经受所述图案化过程的衬底的品质。
9.根据权利要求1至8中任一项所述的方法，其中所述过程数据包括：与所述制造过程中涉及的多个功能模块相关联的关键性能指标(KPI)。
10.根据权利要求1至9中任一项所述的方法，其中所述一个或多个模型包括至少两个基于机器学习的模型，每个模型具有不同的架构。
11.根据权利要求10所述的方法，其中所述一个或多个模型至少包括基于监督学习的第一模型和基于无监督学习的第二模型。
12.一种包括指令的计算机程序，所述指令在合适的设备上运行时能够操作以执行权利要求1至11中任一项的所述方法。
13.一种计算机存储介质，包括根据权利要求12所述的计算机程序。
14.一种半导体制造设备，包括处理装置和包括指令的存储介质，所述指令能够操作以执行根据权利要求1至11中任一项所述的方法。
CN202180025354.XA 2020-04-02 2021-02-24 用于预测与过程相关联的过程度量的方法和设备 Pending CN115349109A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP20167729.1 2020-04-02
EP20167729 2020-04-02
EP20170414.5A EP3901700A1 (en) 2020-04-20 2020-04-20 Method and apparatus for predicting a process metric associated with a process
EP20170414.5 2020-04-20
PCT/EP2021/054597 WO2021197717A1 (en) 2020-04-02 2021-02-24 Method and apparatus for predicting a process metric associated with a process

Publications (1)

Publication Number Publication Date
CN115349109A true CN115349109A (zh) 2022-11-15

Family

ID=74666742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180025354.XA Pending CN115349109A (zh) 2020-04-02 2021-02-24 用于预测与过程相关联的过程度量的方法和设备

Country Status (6)

Country Link
US (1) US20230124106A1 (zh)
EP (1) EP4127833B1 (zh)
KR (1) KR20220147660A (zh)
CN (1) CN115349109A (zh)
TW (1) TWI763383B (zh)
WO (1) WO2021197717A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220027546A1 (en) * 2020-07-23 2022-01-27 Nvidia Corp. Standard cell layout generation with applied artificial intelligence
US20220291645A1 (en) * 2021-03-13 2022-09-15 Shady Al-Zubi Artificial intelligence-based system and method for industrial machine environment
EP4216106A1 (en) * 2022-01-19 2023-07-26 ASML Netherlands B.V. Method for controlling a production system and method for thermally controlling at least part of an environment
JP2023120961A (ja) * 2022-02-18 2023-08-30 株式会社Ｓｃｒｅｅｎホールディングス 基板処理条件の設定方法、基板処理方法、基板処理条件の設定システム、及び、基板処理システム
US20240062097A1 (en) * 2022-08-22 2024-02-22 Applied Materials, Inc. Equipment parameter management at a manufacturing system using machine learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG121818A1 (en) 2002-11-12 2006-05-26 Asml Netherlands Bv Lithographic apparatus and device manufacturing method
US7974723B2 (en) * 2008-03-06 2011-07-05 Applied Materials, Inc. Yield prediction feedback for controlling an equipment engineering system
CN107004060B (zh) * 2014-11-25 2022-02-18 Pdf决策公司 用于半导体制造工艺的经改进工艺控制技术
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
WO2018202361A1 (en) 2017-05-05 2018-11-08 Asml Netherlands B.V. Method to predict yield of a device manufacturing process
CA3032182A1 (en) * 2018-01-31 2019-07-31 Royal Bank Of Canada Pre-training neural netwoks with human demonstrations for deep reinforcement learning
US20200027021A1 (en) * 2019-09-27 2020-01-23 Kumara Sastry Reinforcement learning for multi-domain problems
NL2024627A (en) 2020-01-09 2020-01-31 Asml Netherlands Bv Method for decision making in a semiconductor manufacturing process

Also Published As

Publication number Publication date
TW202205026A (zh) 2022-02-01
EP4127833A1 (en) 2023-02-08
EP4127833B1 (en) 2024-04-03
US20230124106A1 (en) 2023-04-20
WO2021197717A1 (en) 2021-10-07
TWI763383B (zh) 2022-05-01
KR20220147660A (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
TWI763383B (zh) 用於預測與一製程相關聯之一製程度量之方法與裝置
TW202040441A (zh) 用於計算微影之機器學習模型的訓練方法
CN110622069A (zh) 用于预测器件制造工艺的良率的方法
CN112969967A (zh) 确定对过程的校正
CN113366390B (zh) 半导体制造过程中的决定方法
KR20190131083A (ko) 리소그래피 시스템들과 같은 시스템들을 모델링하거나 시스템들의 예측 유지보수를 수행하는 방법들 및 연관된 리소그래피 시스템들
CN113168111A (zh) 用于预测半导体制造过程的产率的方法
WO2020244853A1 (en) Causal inference using time series data
EP3901700A1 (en) Method and apparatus for predicting a process metric associated with a process
US11740560B2 (en) Method for determining an inspection strategy for a group of substrates in a semiconductor manufacturing process
CN114008535B (zh) 用于确定特征对性能的贡献的方法和设备
US20230138469A1 (en) Methods of modelling systems for performing predictive maintenance of systems, such as lithographic systems
JP7177183B2 (ja) 装置の動作を説明するパラメータ間の重要な関係の決定
US20230260855A1 (en) Method of determining a correction strategy in a semiconductor manufacturing process and associated apparatuses
CN115552334A (zh) 用于诊断未观察的操作参数的方法和设备
US20230252347A1 (en) Method and apparatus for concept drift mitigation
TWI814370B (zh) 用於程序控制之因果卷積網路
EP4209846A1 (en) Hierarchical anomaly detection and data representation method to identify system level degradation
EP3961518A1 (en) Method and apparatus for concept drift mitigation
EP3910417A1 (en) Method for determining an inspection strategy for a group of substrates in a semiconductor manufacturing process
CN116457728A (zh) 用于配置采样方案生成模型的方法和计算机程序
CN117296012A (zh) 用于过程控制的因果卷积网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination