CN117980840A - 用于基板处理的机器学习平台 - Google Patents

Abstract

一种方法包括：识别以下项目中的至少一者：与由基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据，或由模拟基板处理工具所处理的模拟基板批的模拟数据。该方法进一步包括根据历史基板批的历史数据或模拟基板批的模拟数据中的至少一者产生特征。该方法进一步包括：用包括所述特征的数据输入训练机器学习模型，以产生经训练的机器学习模型。经训练的机器学习模型能够产生一个或多个输出，所述一个或多个输出表明要在基板处理设施中执行的一个或多个改正动作。

Description

用于基板处理的机器学习平台

技术领域

本公开涉及平台，更具体地说，涉及用于基板处理的机器学习平台。

背景技术

制造设施，诸如基板处理设施，用于生产产品。可以安排不同的制造设备来处理不同的产品。由于预防性维护、部件更换等原因，制造设备可能定期不可用于处理产品。

发明内容

以下是本公开的简化概要，以提供对本公开的一些方面的基本理解。此概要并不是对本公开的广泛概述。它并不意图标识本公开的关键或重要元素，也不意图划定本公开的特定实施方式的任何范围或权利要求的任何范围。它的唯一目的是以简化的形式呈现本公开的一些概念以作为后面呈现的更详细描述的前奏。

在本公开的一方面中，一种方法属于操作基板处理设施。该方法包括方法包括：识别以下项目中的至少一者：与由基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据，或由模拟基板处理工具所处理的模拟基板批。该方法进一步包括：根据该历史基板批的该历史数据或该模拟基板批的该模拟数据中的该至少一者产生特征。该方法进一步包括：用包括这些特征的数据输入训练机器学习模型，以产生经训练的机器学习模型。该经训练的机器学习模型能够产生一个或多个输出，该一个或多个输出表明要在该基板处理设施中执行的一个或多个改正动作。

在本公开的另一个方面中，一种方法属于操作基板处理设施。该方法包括：识别与该基板处理设施的当前基板批相关联的当前数据。该方法进一步包括：识别与该当前数据相关联的当前特征。该方法进一步包括：将这些当前特征提供给基于历史特征来训练的经训练的机器学习模型，这些历史特征是基于历史基板批的历史数据或模拟基板批的模拟数据中的至少一者来产生的。该方法进一步包括：从该经训练的机器学习模型，获得一个或多个输出。该方法进一步包括：基于该一个或多个输出，导致与该基板处理设施相关联的一个或多个改正动作的执行。

在本公开的另一个方面中，一种存储指令的非暂时性机器可读存储介质，这些指令当被执行时使处理设备执行包括以下的操作：识别以下项目中的至少一者：与由基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据，或由模拟基板处理工具所处理的模拟基板批的模拟数据。这些操作进一步包括：根据该历史基板批的该历史数据或该模拟基板批的该模拟数据中的该至少一者产生特征。这些操作进一步包括：用包括这些特征的数据输入训练机器学习模型，以产生经训练的机器学习模型。该经训练的机器学习模型能够产生一个或多个输出，该一个或多个输出表明要在该基板处理设施中执行的一个或多个改正动作。

附图说明

通过示例的方式而不是通过限制的方式在附图的图中示出本公开。

图1是示出根据某些实施例，示例性系统架构的框图。

图2示出根据某些实施例，用于创建用于机器学习模型的数据集的数据集产生器。

图3是示出根据某些实施例，确定预测数据的框图。

图4示出根据某些实施例，用于确定预测数据的系统。

图5A-C是根据某些实施例，与确定预测数据相关联的方法的流程图。

图6是示出根据某些实施例，计算机系统的框图。

具体实施方式

本文描述了针对用于基板处理的机器学习平台的技术。基板处理包括前端(例如晶圆、基板、半导体)制造、后端(组装测试)等。

制造设施经由执行制造过程的制造设备产生产品。例如，基板处理设施经由执行基板处理操作的基板处理设备产生基板。基板处理设施可包括数以千计的基板处理设备和数以万计的基板批(substrate lot)。基板批可以指保持基板(例如，多达25个基板)的外壳系统(例如，基板载体、前开式晶圆传送盒(FOUP))，并且该系统用于在基板处理设施中运输基板(例如，在基板处理设备之间运输)。在一天中的不同时间，基板批被运输到不同的基板处理设备，以进行不同的基板处理操作。每个基板从开始到结束可能要经历一千多次单独的处理操作。每个月可能要处理数千个基板。每个基板批都有很多选项，包括运输基板批的路线、处理基板批的基板处理设备、处理和运输基板批的时间、以及处理和运输基板批的顺序。

传统上，基板处理设施的操作员手动产生用于处理基板批的安排和用于运输基板批的路线。这些手动产生的安排和路线需要大量的时间来产生，而且可能不是最高效的安排和路线。基板处理设备的中断(例如，设备故障、部件故障、维护等)会中断安排和路线。基板处理设备的操作员规划基板处理设备的一些中断，并对基板处理设备的一些意外中断作出反应。手动规划中断和由于意外中断而手动更新安排很耗时，而且往往不能产生高效的安排，从而降低了基板的产率。

本文公开的设备、系统和方法提供了用于基板制造(例如用于操作基板处理设施)的机器学习平台。

在一些实施例中，处理设备识别与由基板处理设施中的基板处理工具所处理的基板批相关联的历史数据。历史数据可以包括基板批数据、基板处理设备数据、基板处理操作数据、基板批路线数据等。

在一些实施例中，处理设备产生由模拟基板处理工具所处理的模拟基板批的模拟数据。为了产生模拟数据，可以对历史数据进行不同的扰动，诸如添加基板批、复制基板批、移除基板批、在基板批的路线上向前移动基板批、在基板批的路线上向后移动基板批，等等。在一些实施例中，处理逻辑在没有历史数据的情况下产生模拟数据。例如，处理逻辑可以使用基于基板处理设施的模型来产生模拟数据。

处理逻辑产生特征。处理逻辑可以根据基板批的历史数据和/或根据模拟基板批的模拟数据来产生特征。

处理逻辑用包括这些特征的数据输入来训练机器学习模型，以产生经训练的机器学习模型。该经训练的机器学习模型能够产生一个或多个输出，该一个或多个输出表明要在该基板处理设施中执行的一个或多个改正动作。

在一些实施例中，机器学习平台接收历史数据，并输出经训练的机器学习模型。在一些实施例中，机器学习平台接收指定特征类型(例如特征定义)的用户输入。在一些实施例中，机器学习平台接收指定目标输出类型(例如模型定义)的用户输入。在一些实施例中，机器学习平台提供用户接口(例如图形用户接口)，以接收历史数据、特征定义和/或模型定义。

本公开的各个方面导致了技术优势。本公开提供了一种基于历史设施数据和模拟数据来产生和更新安排和路线的处理设备，所述处理设备比传统上制作的那些处理设备耗时更短，效率更高。在一些实施例中，本公开使用一个或多个经训练的机器学习模型来改进调度系统的选择(例如调度哪些基板批)(例如，对空闲的基板处理工具下一步要处理哪个基板批做出短期决策)。在一些实施例中，本公开使用机器学习模型来对基板批何时完成处理并离开工厂作出更准确的预测(例如对于规划系统而言)。本公开允许在对于规划预防性维护而言最高效的时候，进行这种规划。与传统系统相比，本公开节省了时间并提高了产率。

图1是示出根据某些实施例，示例性系统100(示例性系统架构)的框图。系统100包括客户端设备120、制造设备124、传感器126、预测服务器112和数据存储器140。在一些实施例中，预测服务器112是预测系统110的一部分。在一些实施例中，预测系统110进一步包括服务器机器170和180。系统100的部件(例如制造设备124、传感器126等)中的一者或多者可以是同一基板处理设施的一部分。

在一些实施例中，客户端设备120、制造设备124、传感器126、预测服务器112、数据存储器140、服务器机器170和/或服务器机器180中的一者或多者经由网络130相互耦合，用于产生预测数据168以执行改正动作。在一些实施例中，网络130是公用网络，它向客户端设备120提供对预测服务器112、数据存储器140和其他可公用的计算设备的访问。在一些实施例中，网络130是私用网络，它向客户端设备120提供对制造设备124、传感器126、数据存储器140和其他可私用的计算设备的访问。在一些实施例中，网络130包括一个或多个广域网(WAN)、局域网络(LAN)、有线网络(例如以太网络)、无线网络(例如802.11网络或Wi-Fi网络)、蜂巢网络(例如长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机、云计算网络和/或上述项目的组合。

在一些实施例中，客户端设备120包括计算设备，诸如个人计算机(PC)、膝上型计算机、移动电话、智能手机、平板计算机、上网本计算机等。在一些实施例中，客户端设备120包括改正动作部件122。客户端设备120包括操作系统，该操作系统允许用户进行产生、观看或编辑数据(例如与制造设备124相关联的指示、与基板处理设施相关联的改正动作等)的操作中的一者或多者。

在一些实施例中，改正动作部件122接收与基板处理设施相关联(例如与制造设备124相关联)的指示的用户输入(例如经由通过客户端设备120显示的图形用户接口(GUI)接收)。在一些实施例中，改正动作部件122向预测系统110发送该指示，从预测系统110接收输出(例如预测数据168)，基于该输出来确定与基板处理设施相关联的改正动作(例如与制造设备124相关联的安排、规划和/或路线)，并导致改正动作被实施。在一些实施例中，改正动作部件122获得特征152(例如从数据存储器140等获得)，并向预测系统110提供这些特征。在一些实施例中，改正动作部件122在数据存储器140中存储特征152，并且预测服务器112从数据存储器140检索设施数据142。在一些实施例中，预测服务器112在数据存储器140中存储经训练的机器学习模型190的输出(例如预测数据168)，并且客户端设备120从数据存储器140检索输出。在一些实施例中，改正动作部件122从预测系统110接收对改正动作的指示，并导致改正动作被实施。

在一些实施例中，改正动作与以下项目中的一者或多者相关联：安排基板批，调度基板批，规划基板批，计算过程控制(CPC)，统计过程控制(SPC)(例如用于与3-西格马(sigma)的图表进行比较的SPC，等等)，高级过程控制(APC)，基于模型的过程控制，预防性操作维护，设计优化，更新制造参数，反馈控制，机器学习修改，等等。

在一些实施例中，改正动作包括与基板处理设施相关联的更新安排、路线、预防性维护、更换部件等操作。在一些实施例中，改正动作包括提供警报(例如要执行更新以实现特定的产率)。在一些实施例中，改正动作包括提供反馈控制(例如响应于预测数据168表明特定的产率不会被满足，修改安排或路线)。在一些实施例中，改正动作包括提供机器学习(例如导致基于预测数据168来对安排或路线进行修改)。

在一些实施例中，预测服务器112、服务器机器170和服务器机器180各自包括一个或多个计算设备，诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、桌面计算机、图形处理单元(GPU)、加速器特定应用集成电路(ASIC)(例如张量处理单元(TPU))等。

预测服务器112包括预测部件114。在一些实施例中，预测部件114接收特征152(例如从客户端设备120接收、从数据存储器140检索)，并基于特征152来产生用于执行与基板处理设施相关联的改正动作的输出(例如预测数据168)。在一些实施例中，预测部件114使用一个或多个经训练的机器学习模型190基于特征152来确定用于执行改正动作的输出。在一些实施例中，经训练的机器学习模型190是使用历史特征154和/或历史性能数据164来训练的。

在一些实施例中，预测系统110(例如预测服务器112、预测部件114)使用监督式机器学习(例如监督式数据集)来产生预测数据168。在一些实施例中，预测系统110使用半监督式学习来产生预测数据168(例如半监督式数据集，性能数据162是预测百分比等)。在一些实施例中，预测系统110使用非监督式机器学习(例如非监督式数据集、聚类等)来产生预测数据168。

在一些实施例中，制造设备124(例如集群工具、基板处理工具)是基板处理设施中的基板处理系统(例如集成处理系统)的一部分。基板处理设施可以包括数千组制造设备124。制造设备124包括以下项目中的一者或多者：控制器、外壳系统(例如基板载体、FOUP、autoteach FOUP、过程套件外壳系统、基板外壳系统、输送盒等)、侧存储盒(SSP)、对准器设备(例如对准器腔室)、工厂接口(例如设备前端模块(EFEM))、装载锁、传送腔室、一个或多个处理腔室、机器手臂(其例如设置在传送腔室中，设置在前端接口中，等等)，等等。安装到工厂接口的外壳系统、SSP和装载锁和设置在工厂接口中的机器手臂用于在外壳系统、SSP、装载锁和工厂接口之间传送内容物(例如基板、过程套件环、载体、验证晶圆等)。对准器设备设置在工厂接口中，以使内容物对准。安装到传送腔室的装载锁和处理腔室和设置在传送腔室中的机器手臂用于在装载锁、处理腔室和传送腔室之间传送内容物(例如基板、过程套件环、载体、验证晶圆等)。

在一些实施例中，传感器126提供与制造设备124和/或基板处理设施相关联的设施数据142。在一些实施例中，传感器126包括以下项目中的一者或多者：压力传感器、温度传感器、流速传感器、成像设备等。在一些实施例中，设施数据142是在一段时间内收到的。

在一些实施例中，设施数据142包括基板批路线、每个基板批中的基板数量、基板批处理的开始和停止时间等中的一者或多者的值。

在一些实施例中，产生模拟数据148(例如基于设施数据142来产生)。模拟数据148可以被产生以确定更准确的预测数据168。模拟数据148可以通过引起设施数据142的扰动来产生，诸如添加基板批、复制基板批、移除基板批、在基板批的路线上向前移动基板批、在基板批的路线上向后移动基板批、改变预防性维护安排、调整基板处理工具的资格，等等。

在一些实施例中，设施数据142(例如历史设施数据144、当前设施数据146等)和/或模拟数据148被处理(例如被客户端设备120和/或预测服务器112处理)。在一些实施例中，设施数据142和/或模拟数据148的处理包括产生特征152。在一些实施例中，特征152是设施数据142和/或模拟数据148中的模式(例如斜率、宽度、高度、峰值等)，或来自设施数据142和/或模拟数据148的值组合(例如根据开始和停止时间导出的制造设备124的利用率等)。在一些实施例中，特征152由预测部件114用于获得预测数据168以执行改正动作。

在一些实施例中，数据存储器140是存储器(例如随机存取存储器)、驱动器(例如硬盘机、闪速驱动器)、数据库系统，或能够存储数据的其他类型的部件或设备。在一些实施例中，数据存储器140包括跨越多个计算设备(例如多个服务器计算机)的多个存储部件(例如多个驱动器或多个数据库)。在一些实施例中，数据存储器140存储设施数据142、模拟数据148、特征152、性能数据162和/或预测数据168中的一者或多者。

设施数据142包括历史设施数据144和当前设施数据146。在一些实施例中，设施数据142包括基板批的路线数据、基板批的安排数据、每个基板批中的基板数量、制造设备124的能力等中的一者或多者。模拟数据148包括对设施数据142的扰动。特征152是根据设施数据142和模拟数据148导出的值。

性能数据162包括历史性能数据164和当前性能数据166。在一些实施例中，性能数据162表明基板处理设施的性能、基板处理设施的产率、制造设备124在操作之间的停机时间、基板批处理完成时间等。

预测数据168包括安排、基板批安排数据、基板批路线数据、规划数据等。基板批安排数据可以表明何时运输基板批以及在哪个制造设备124上处理基板批。基板批路线数据可以表明要在哪些路线上运输基板路线。规划数据可以表明何时进行预防性维护、部件更换等。

历史数据包括历史设施数据144、模拟数据148、历史特征154和/或历史性能数据164(例如，至少有一部分用于训练机器学习模型190)中的一者或多者。当前数据包括当前设施数据146、模拟数据148、当前特征156和/或当前性能数据166(例如，至少有一部分要输入到经训练的机器学习模型190中以使用模型190)中的一者或多者，预测数据168是针对它们产生的(例如，用于执行改正动作)。在一些实施例中，当前数据被用于再训练经训练的机器学习模型190。

在一些实施例中，预测系统110进一步包括服务器机器170和服务器机器180。服务器机器170包括数据集产生器172，它能够产生数据集(例如数据输入集合和目标输出集合)以训练、验证和/或测试机器学习模型190。下面就图2和5A详细描述数据集产生器172的一些操作。在一些实施例中，数据集产生器172将历史数据(例如，历史特征154和历史性能数据164)划分为训练集(例如，百分之六十的历史数据)、验证集(例如，百分之二十的历史数据)以及测试集(例如，百分之二十的历史数据)。在一些实施例中，预测系统110(例如经由预测部件114)产生多个特征152集合。在一些例子中，第一特征152集合与设施数据142和/或模拟数据148的第一类型集合(其例如来自第一传感器集合、来自第一传感器集合的第一值组合、来自第一传感器集合的值中的第一模式)对应，该第一类型集合与数据集(例如训练集、验证集和测试集)中的每一者对应，并且第二特征152集合与设施数据142的第二类型集合(其例如来自与第一传感器集合不同的第二传感器集合、与第一组合不同的第二值组合、与第一模式不同的第二模式)对应，该第二类型集合与数据集中的每一者对应。

服务器机器180包括训练引擎182、验证引擎184、选择引擎185和/或测试引擎186。在一些实施例中，引擎(例如训练引擎182、验证引擎184、选择引擎185和测试引擎186)指的是硬件(例如电路系统、专用逻辑、可编程逻辑、微代码、处理设备等)、软件(诸如运行于处理设备、通用计算机系统或专用机器上的指令)、固件、微代码，或上述项目的组合。训练引擎182能够使用与来自数据集产生器172的训练集相关联的一个或多个特征152集合来训练机器学习模型190。在一些实施例中，训练引擎182产生多个经训练的机器学习模型190，其中每个经训练的机器学习模型190与训练集中相异的特征152集合(其例如基于来自相异的传感器集合的设施数据142)对应。在一些例子中，第一经训练的机器学习模型是使用所有特征152(例如X1-X5)来训练的，第二经训练的机器学习模型是使用第一特征152子集(例如X1、X2、X4)来训练的，第三经训练的机器学习模型是使用第二特征152子集(例如X1、X3、X4和X5)来训练的，该第二特征子集与第一特征152子集部分重叠。

验证引擎184能够使用来自数据集产生器172的验证集的对应特征152集合来验证经训练的机器学习模型190。例如，使用训练集的第一特征152集合训练的第一经训练的机器学习模型190是使用验证集的第一特征152集合来验证的。验证引擎184基于验证集的对应特征152集合来确定经训练的机器学习模型190中的每一者的准确度。验证引擎184丢弃准确度不满足阈值准确度的经训练的机器学习模型190。在一些实施例中，选择引擎185能够选择准确度满足阈值准确度的一个或多个经训练的机器学习模型190。在一些实施例中，选择引擎185能够选择具有经训练的机器学习模型190中最高的准确度的经训练的机器学习模型190。

测试引擎186能够使用来自数据集产生器172的测试集的对应的特征152集合来测试经训练的机器学习模型190。例如，使用训练集的第一特征集合训练的第一经训练的机器学习模型190是使用测试集的第一特征152集合来测试的。测试引擎186基于测试集来确定具有所有经训练的机器学习模型中最高的准确度的经训练的机器学习模型190。

在一些实施例中，机器学习模型190指的是由训练引擎182使用训练集所创建的模型工件，该训练集包括数据输入和对应的目标输出(相应的训练输入的正确答案)。可以找出数据集中将数据输入映射到目标输出(正确答案)的模式，并且向机器学习模型190提供捕捉这些模式的映射。在一些实施例中，机器学习模型190使用支持向量机(SVM)、放射状基底函数(RBF)、聚类、监督式机器学习、半监督式机器学习、非监督式机器学习、k最近邻域算法(k-NN)、线性回归、随机森林、神经网络(例如人工神经网络)等中的一者或多者。在一些实施例中，机器学习模型190是多变量分析(MVA)模型。

预测部件114向经训练的机器学习模型190提供当前特征156，并对输入运行经训练的机器学习模型190以获得一个或多个输出。预测部件114能够根据经训练的机器学习模型190的输出来确定(例如提取)预测数据168，并根据输出确定(例如提取)置信度数据，该置信度数据表明预测数据168与当前设施数据146处的基板处理设施的当前性能数据166(例如模型190)对应的置信度级别。在一些实施例中，预测部件114或改正动作部件122使用置信度数据来确定是否基于预测数据168引起与基板处理设施相关联的改正动作。

置信度数据包括或表明预测数据168与当前设施数据146处的基板处理设施的当前性能数据166(例如模型190)对应的置信度级别。在一个例子中，置信度级别是介于0与1之间的实数(包含0和1)，其中0表明预测数据168对应于与当前设施数据146相关联的当前性能数据166的无置信度，1表明预测数据168对应于与当前设施数据146相关联的当前性能数据166的绝对置信度。在一些实施例中，响应于置信度数据表明低于阈值级别的置信度级别，系统100导致基于预测数据168(例如安排、路线、规划等)对基板进行处理。响应于针对预定的实例数量(例如实例百分比、实例频率、实例总数等)表明置信度级别低于阈值级别的置信度数据，预测部件114导致经训练的机器学习模型190被再训练(例如基于当前特征156和当前性能数据166等来再训练)。

为了例示而不是限制的目的，本公开的各个方面描述了使用历史数据(例如，历史设施数据144和历史性能数据164)来训练一个或多个机器学习模型190，并将当前数据(例如，当前特征156)输入到该一个或多个经训练的机器学习模型190中，以确定预测数据168(例如，当前性能数据166)。在其他的实施方式中，使用试探(heuristic)模型或基于规则的模型来确定预测数据168(例如在不使用经训练的机器学习模型的情况下)。预测部件114监测历史特征154和历史性能数据164。在一些实施例中，就图2的数据输入210所描述的任何信息都可以在试探模型或基于规则的模型中被监测或以其他方式使用。

在一些实施例中，客户端设备120、预测服务器112、服务器机器170和服务器机器180的功能是由较少数量的机器提供的。例如，在一些实施例中，服务器机器170和180被集成到单个机器中，而在一些其他的实施例中，服务器机器170、服务器机器180和预测服务器112被集成到单个机器中。在一些实施例中，客户端设备120和预测服务器112被集成到单个机器中。

一般而言，在一个实施例中被描述为由客户端设备120、预测服务器112、服务器机器170和服务器机器180所执行的功能也可以视情况在其他的实施例中在预测服务器112上执行。此外，归因于特定部件的功能性还可以由一起操作的不同部件或多个部件所执行。例如，在一些实施例中，预测服务器112基于预测数据168来确定改正动作。在另一个例子中，客户端设备120基于来自经训练的机器学习模型的输出来确定预测数据168。

此外，特定部件的功能还可以由一起操作的不同部件或多个部件所执行。在一些实施例中，预测服务器112、服务器机器170或服务器机器180中的一者或多者作为通过适当的应用编程接口(API)提供给其他系统或设备的服务被访问。

在一些实施例中，“用户”被表示为单独的个人。然而，本公开的其他实施例包含是由多个用户和/或自动来源所控制的实体的“用户”。在一些例子中，联合作为管理员群组的个人用户集合被视为“用户”。

尽管就产生预测数据168以在制造设施(例如，基板处理设施)中执行改正动作的角度讨论了本公开的实施例，但在一些实施例中，本公开也可以一般性地应用于引起安排、路由、调度和规划的改正动作。

图2示出根据某些实施例，用于为机器学习模型(例如图1的模型190)创建数据集的一个或多个数据集产生器272(例如图1的数据集产生器172)。在一些实施例中，数据集产生器272是图1的服务器机器170的一部分。

数据集产生器272(例如图1的数据集产生器172)为机器学习模型(例如图1的模型190)创建数据集。数据集产生器272使用历史特征254(例如，图1的历史特征154)来创建数据集。在一些实施例中，数据集产生器272也使用历史性能数据264(例如，图1的历史性能数据164)来创建数据集。图2的系统200显示了数据集产生器272、数据输入210和目标输出220。

在一些实施例中，数据集产生器272产生数据集(例如训练集、验证集、测试集)，该数据集包括一个或多个数据输入210(例如训练输入、验证输入、测试输入)，并且包括与数据输入210对应的一个或多个目标输出220。在一些实施例中，数据集也包括将数据输入210映射到目标输出220的映射数据。数据输入210也称为“特征”、“属性”或“信息”。在一些实施例中，数据集产生器272向训练引擎182、验证引擎184或测试引擎186提供数据集，其中数据集用于训练、验证或测试机器学习模型190。就图5A进一步描述了产生训练集的一些实施例。

在一些实施例中，数据集产生器272产生数据输入210和目标输出220。在一些实施例中，数据输入210包括一个或多个历史特征254集合。在一些实施例中，历史特征254包括以下项目中的一者或多者：来自一种或多种类型的传感器的参数、来自一种或多种类型的传感器的参数的组合、来自一种或多种类型的传感器的参数的模式、基板的尺寸、模拟数据，等等。

在一些实施例中，数据集产生器272产生与第一特征254A集合对应的第一数据输入，以训练、验证或测试第一机器学习模型，并且数据集产生器272产生与第二历史特征254B集合对应的第二数据输入，以训练、验证或测试第二机器学习模型。

在一些实施例中，数据集产生器272对数据输入210或目标输出220中的一者或多者进行离散化(例如分段)(以例如用于针对回归问题的分类算法)。对数据输入210或目标输出220的离散化(例如经由滑动窗进行分段)将连续的变量值转换成离散值。在一些实施例中，数据输入210的离散值表明用于获得目标输出220(例如离散的历史性能数据264)的离散历史特征254。

用于训练、验证或测试机器学习模型的数据输入210和目标输出220包括特定设施(例如特定基板制造设施)的信息。在一些例子中，历史特征254和历史性能数据264是针对同一制造设施的。

在一些实施例中，用于训练机器学习模型的信息来自制造设施中具有特定特性的特定类型的制造设备124，并且允许经训练的机器学习模型基于当前参数(例如当前特征156)的输入为特定的制造设备124群组确定结果，这些当前参数与共享该特定群组的特性的一个或多个部件相关联。在一些实施例中，用于训练机器学习模型的信息是针对来自两个或更多个制造设施的部件的，并且允许经训练的机器学习模型基于来自一个制造设施的输入为部件确定结果。

在一些实施例中，在产生数据集并使用数据集来训练、验证或测试机器学习模型190之后，机器学习模型190被进一步训练、验证或测试(例如图1的当前性能数据166)或调整(例如调整与机器学习模型190的输入数据相关联的权重，诸如神经网络中的连接权重)。

图3是一个框图，示出根据某些实施例，用于产生预测数据368(例如图1的预测数据168)的系统300。系统300用于确定预测数据368(例如经由图1的模型190确定)，以引起改正动作(其例如与制造设备124相关联)。

在框310处，系统300(例如图1的预测系统110)执行对历史数据(例如用于图1的模型190的历史特征354和历史性能数据364)的数据划分(例如经由图1的服务器机器170的数据集产生器172执行)，以产生训练集302、验证集304和测试集306。在一些例子中，训练集是60％的历史数据，验证集是20％的历史数据，测试集是20％的历史数据。系统300为训练集、验证集和测试集中的每一者产生多个特征集合。在一些例子中，如果历史数据包括根据来自20个传感器(例如图1的传感器126)的设施数据和100个产品(例如各自与来自20个传感器的设施数据对应的产品)导出的特征，那么第一特征集合是传感器1-10，第二特征集合是传感器11-20，训练集是产品1-60，验证集是产品61-80，测试集是产品81-100。在此例子中，训练集的第一特征集合会是针对产品1-60来自传感器1-10的设施数据。

在框312处，系统300使用训练集302来执行模型训练(例如经由图1的训练引擎182执行)。在一些实施例中，系统300使用训练集302的多个特征集合(例如训练集302的第一特征集合、训练集302的第二特征集合等)来训练多个模型。例如，系统300训练机器学习模型以使用训练集中的第一特征集合(例如针对产品1-60来自传感器1-10的设施数据)来产生第一经训练的机器学习模型，并且使用训练集中的第二特征集合(例如针对产品1-60来自传感器11-20的设施数据)来产生第二经训练的机器学习模型。在一些实施例中，第一经训练的机器学习模型和第二经训练的机器学习模型结合以产生第三经训练的机器学习模型(在一些实施例中，它例如是比第一经训练的机器学习模型或第二经训练的机器学习模型本身更好的预测器)。在一些实施例中，用于比较模型的特征集合重叠(例如第一特征集合是来自传感器1-15的设施数据，第二特征集合是来自传感器5-20的设施数据)。在一些实施例中，数百个模型被产生，包括具有各种特征的排列组合的模型和模型组合。

在框314处，系统300使用验证集304来执行模型验证(例如经由图1的验证引擎184执行)。系统300使用验证集304中对应的特征集合来验证经训练的模型中的每一者。例如，系统300使用验证集中的第一特征集合(例如针对产品61-80来自传感器1-10的设施数据)来验证第一经训练的机器学习模型，并且使用验证集中的第二特征集合(例如针对产品61-80来自传感器11-20的设施数据)来验证第二经训练的机器学习模型。在一些实施例中，系统300验证在框312处产生的数百个模型(例如具有各种特征的排列组合的模型、模型组合等)。在框314处，系统300确定该一个或多个经训练的模型中的每一者的准确度(例如经由模型验证来确定)，并且确定这些经训练的模型中的一者或多者是否具有满足阈值准确度的准确度。响应于确定经训练的模型都不具有满足阈值准确度的准确度，流程返回框312，在该框处，系统300使用训练集的不同特征集合来执行模型训练。响应于确定经训练的模型中的一者或多者具有满足阈值准确度的准确度，流程继续到框316。系统300丢弃具有小于阈值准确度(例如基于验证集)的准确度的经训练的机器学习模型。

在框316处，系统300执行模型选择(例如经由图1的选择引擎185执行)以确定满足阈值准确度的该一个或多个经训练的模型中的哪一者具有最高的准确度(例如基于框314的验证为所选的模型308)。响应于确定满足阈值准确度的经训练的模型中的两者或更多者具有相同的准确度，流程返回框312，在该框处，系统300使用与进一步细化的特征集合对应的进一步细化的训练集来执行模型训练，以确定具有最高准确度的经训练的模型。

在框318处，系统300使用测试集306来执行模型测试(例如经由图1的测试引擎186来执行)，以测试所选的模型308。系统300使用测试集中的第一特征集合(例如针对产品81-100来自传感器1-10的设施数据)来测试第一经训练的机器学习模型，以确定第一经训练的机器学习模型满足阈值准确度(例如基于测试集306的第一特征集合来确定)。响应于所选的模型308的准确度不满足阈值准确度(例如所选的模型308对训练集302和/或验证集304过度拟合，并且不适用于诸如测试集306之类的其他数据集)，流程继续到框312，在该框处，系统300使用与不同的特征集合对应的不同训练集(例如来自不同传感器的设施数据)来执行模型训练(例如再训练)。响应于基于测试集306确定所选的模型308具有满足阈值准确度的准确度，流程继续到框320。至少在框312中，模型学习历史数据中的模式以作出预测，并且在框318中，系统300将模型应用于其余数据(例如测试集306)以测试这些预测。

在框320处，系统300使用经训练的模型(例如所选的模型308)来接收当前特征356(例如图1的当前特征156)，并且根据经训练的模型的输出来确定(例如提取)预测数据368(例如图1的预测数据168)，以执行与基板处理设施相关联的改正动作。在一些实施例中，当前特征356与历史特征354中同一类型的特征对应。在一些实施例中，当前特征356与跟历史特征354中用于训练所选模型308的特征类型子集相同的特征类型对应。

在一些实施例中，接收当前数据。在一些实施例中，当前数据包括当前性能数据366(例如，图1的当前性能数据166)。在一些实施例中，当前数据是经由用户输入接收的。模型308基于当前数据进行再训练。在一些实施例中，新的模型基于当前数据350和当前设施数据346进行训练。

在一些实施例中，操作310-320中的一者或多者以各种顺序发生和/或与本文未提出和描述的其他操作一起发生。在一些实施例中，不执行操作310-320中的一者或多者。例如，在一些实施例中，不执行框310的数据划分、框314的模型验证、框316的模型选择和/或框318的模型测试中的一者或多者。

图4示出根据某些实施例，用于确定预测数据的系统400。

系统400接收设施数据442(例如图1的设施数据142)。设施数据442可以是与运输基板批、处理基板批、基板处理设备、与处理基板批相关联的安排、与基板批相关联的调度、与基板批相关联的规划(例如，规划预防性维护)、基板批的路线等相关联的数据。设施数据442可以是历史数据。在一些实施例中，设施数据442是每个基板处理工具处的基板批处理开始和/或结束时间的历史数据。在一些实施例中，设施数据442是从工厂计算机集成制造(CIM)系统(例如，制造执行系统(MES))提取的。

在框410(例如模型产生器、模拟数据产生器)处，模拟数据448被产生。在一些实施例中，在框410处，设施数据442被接收，模拟数据448基于设施数据442被产生。在一些实施例中，模型被用于产生模拟数据448(例如在有或没有设施数据442的情况下)。模拟数据448可以通过扰动设施数据442产生，方法是添加基板批、复制基板批、移除基板批、在基板批的路径上向前移动基板批、在基板批的路径上向后移动基板批等。对于模拟数据448，来自基板处理设施的历史数据或当前状态数据可以用于创建基板处理设施的模拟模型，并且该模拟模型被运行以产生模拟数据448。在一些实施例中，模拟模型被扰动以创建额外的模拟模型。扰动包括添加基板批、复制基板批、移除基板批、在基板批的路线上向前或向后移动基板批、扰动经规划的预防性维护、扰动工具停机(例如，基板处理工具无法使用)等。在一些实施例中，系统400可以接收配置自定义扰动以产生模拟数据448的用户输入。在一些实施例中，基于模块的工作流程和数据处理环境可以用于产生模拟数据448(例如，经由配置自定义扰动的用户输入来产生)。

原始数据存储器420(例如，图1的数据存储器140)接收设施数据442和/或模拟数据448(例如，原始数据包括设施数据442和/或模拟数据)。原始数据与特征452(例如，特征定义430)分离，这允许预先计算特征452(例如，预先定义特征定义430)，以避免每次要使用特征452时都重新计算特征452(例如，避免重新计算特征定义430)。原始数据存储器420可以包括数据库、磁盘上的平面文件、云blob存储器等中的一者或多者。

特征定义430(例如，特征的类型)可以存储在数据存储器中。特征定义430的至少一部分可以是预定的(例如，标准特征定义)。特征定义430的至少一部分可以是用户定义的(例如，特征定义430以标准定义开始，客户可以向其添加额外的特征定义)。例如，可以接收指定一个或多个特征类型的用户输入。在一些实施例中，特征定义430被存储在数据存储器(例如，数据库)中，以便重复用于训练额外的机器学习模型。

在框440(例如，特征产生器、特征计算器等)处，从原始数据存储器420接收设施数据442和/或模拟数据448，并接收特征定义430。特征452(例如，图1的特征152，工厂状态特征，等等)被产生，并且可以被存储在数据存储器中。特征452可以包括进行中的基板批的数量(例如，基板批中的基板正在被基板处理工具处理)，站的利用率(例如，基板处理工具处理基板的时间百分比，等等)，等等。

特征452可以被计算和存储，以用于训练机器学习模型。来自模拟的原始数据(例如模拟数据448)和/或来自工厂的原始数据(例如设施数据442)可以被处理，以产生特征452。在一些例子中，工具利用率的特征可以基于基板处理工具的处理数据和其他事件数据来计算。特征452可以使用以下项目中的一者或多者进行并行计算：在一个或多个计算设备上并行的多个CPU；云虚拟机(VM)(例如，批量处理VM)；集群上的容器；等等。特征452的至少一部分(例如，特征定义430)可以是预先定义的。特征452的至少一部分(例如，特征定义430)可以由用户定义。特征452可以由用户使用基于模块的工作流程和数据处理环境来定义。

模型训练定义460(例如，机器学习模型训练定义)可以存储在数据存储器中。模型训练定义460可以表明用于训练模型的数据输入和/或目标输出。在一些实施例中，模型训练定义460中的一者或多者是预定的(例如，模型训练定义460以标准模型训练定义开始，客户可以向其添加额外的模型训练定义)。在一些实施例中，模型训练定义460中的一者或多者是基于用户输入(例如，表明数据输入和/或目标输出的用户输入)产生的。

在框450(例如，图1的训练引擎182)处，检索特征452和模型训练定义460。经训练的机器学习模型490(例如图1的模型190)是基于特征452和模型训练定义460来产生的。系统400可以支持训练多种类型的机器学习模型490。系统400可以包括预先定义的类型的机器学习模型490。机器学习模型490中的一者或多者可以是一种由用户配置的机器学习模型(例如，经由python、R、基于模块的工作流程和数据处理环境等来配置)。在训练后，经训练的机器学习模型490可以被传递给其他要使用经训练的机器学习模型490的工厂系统。

在框470处，使用经训练的机器学习模型490。例如，经训练的机器学习模型490可以由调度、安排和/或规划系统中的一者或多者使用。在一些例子中，调度系统向经训练的机器学习模型490提供基于当前数据的当前特征，并接收表明基板批路线(例如，何时和如何调度每个基板批)的输出(例如，预测数据168)。在一些例子中，安排系统向经训练的机器学习模型490提供基于当前数据的当前特征，并接收表明处理基板批的安排的输出(例如，预测数据168)。在一些例子中，规划系统向经训练的机器学习模型490提供基于当前数据的当前特征，并接收表明何时规划事件(例如，预防性维护、部件更换、改正动作等)的输出(例如，预测数据168)。在一些例子中，调度系统可以使用经训练的机器学习模型490来确定下一步要由空闲的基板处理工具处理哪个基板批。在一些例子中，规划系统可以使用经训练的机器学习模型490来改变预测会延迟发货的基板批的优先级。

调度、安排和规划系统使用经训练的机器学习模型190来：将基板批调度给基板处理工具；创建安排；和/或确定基板批是否要被优先处理。

响应于在框470处使用经训练的机器学习模型490(例如，响应于调度、安排和/或规划系统使用经训练的机器学习模型490)，额外的设施数据442被产生。框410、440、450和/或470可以重复(以例如训练新的机器学习模型490、再训练经训练的机器学习模型490)。系统400可以支持不同的方法来触发新的机器学习模型490进行训练。系统400可以接收触发新的机器学习模型490进行训练的用户输入(例如，经由用户通过用户接口手动触发来触发)。系统400可以响应于工厂事件，训练或再训练机器学习模型490。系统400可以按照安排(例如，每天中午)训练或再训练机器学习模型490。系统400可以支持在经训练的机器学习模型490已被训练之后，直接将该经训练的机器学习模型490传递给外部系统。系统400可以支持保持模型，使得用户在经训练的机器学习模型490被传递给另一个系统之前，可以检查关键性能指数和其他值。初始的经训练的机器学习模型490可以称为初步模型，它接着被提升为生产模型(例如，在被其他系统批准使用后)。

在机器学习中，运行模拟，根据原始的历史数据或模拟数据计算特征，和/或训练机器学习模型，可能是计算密集型的。系统400允许几种方法并行地运行模拟、计算特征和/或训练机器学习模型。系统400管理并行计算，并且可以在并行计算完成时提供通知。系统400可以通过在本地机器上的多个核心上运行、在几个实体机器上的多个核心上运行、在云中使用虚拟机或按需(on-demand)虚拟机运行、在本地或云集群上的容器中运行等操作中的一者或多者，执行用于并行地运行模拟、计算特征和/或训练机器学习模型的方法。

系统400可以提供一种用户接口(例如，机器学习平台)，它支持以下操作中的一者或多者：触发新的机器学习模型训练(例如，经由用户接口接收用户输入以产生新的机器学习模型)，触发提取历史工厂数据(例如，历史设施数据144)和当前工厂数据(例如，当前设施数据146)，检查经训练的模型的关键性能指数和其他分析(例如，R平方(R-squared)和AUC(曲线下面积)值、AUC图表等)，提升初步模型进行生产，开始和管理模拟运行集(例如，配置模型扰动)，计算特征，等等。

系统400中的用户工作流程可以包括创建用于训练的数据。创建用于训练的数据可以包括选择基础模型或多个模型。如果使用模拟数据，那么创建用于训练的数据可以进一步包括定义模型扰动，定义如何进行运行(例如，本地机器、云等)，并开始运行。用户工作流程可以进一步包括为机器学习模型选择特征(例如，数据输入)和预测值(例如，目标输出)，选择一个或多个机器学习模型(例如，选择一个或多个算法用于机器学习模型，如回归、深度学习等)，并运行该一个或多个机器学习模型，检查结果以选择机器学习模型(例如，机器学习模型中最准确的)。如果最准确的机器学习模型不够准确，可以进行创建更多模拟数据、使用更多历史数据、包括特征和/或排除特征的迭代。

图5A-C是根据某些实施例，与确定预测数据相关联的方法500A-C的流程图。在一些实施例中，方法500A-E是通过处理逻辑来执行的，该处理逻辑包括硬件(例如电路系统、专用逻辑、可编程逻辑、微代码、处理设备等)、软件(例如运行于处理设备、通用计算机系统或专用机器上的指令)、固件、微代码，或上述项目的组合。在一些实施例中，方法500A-C至少部分地由预测系统110执行。在一些实施例中，方法500A至少部分地由预测系统110(例如图1的服务器机器170和数据集产生器172、图2的数据集产生器272)执行。在一些实施例中，预测系统110使用方法500A来产生数据集，以进行训练、验证或测试机器学习模型的操作中的至少一者。在一些实施例中，方法500B由服务器机器180(例如训练引擎182等)执行。在一些实施例中，方法500C由预测服务器112(例如预测部件114)所执行。在一些实施例中，非暂时性存储介质存储指令，这些指令当由处理设备(例如预测系统110、服务器机器180、预测服务器112等的处理设备)执行时，使该处理设备执行方法500A-C中的一者或多者。

为便于解释，方法500A-C被描绘和描述成一系列的操作。然而，依据本公开的操作可以以各种顺序和/或并行地发生，并且与本文未提出和描述的其他操作一起发生。此外，在一些实施例中，不是所有示出的操作都被执行以实施依据所公开的主题的方法500A-C。此外，本领域中的技术人员将了解并理解，方法500A-C可以替代性地经由状态图或事件被表示为一系列的相互关联的状态。

图5A是根据某些实施例，为用于产生预测数据(例如图1的预测数据168)的机器学习模型产生数据集的方法500A的流程图。

参照图5A，在一些实施例中，在框502处，实施方法500B的处理逻辑将训练集T初始化为空集合。

在框504处，处理逻辑产生包括历史设施数据(例如图1的历史设施数据144、图2的历史设施数据244)的第一数据输入(例如第一训练输入、第一验证输入)。

在一些实施例中，在框506处，处理逻辑产生针对数据输入中的一者或多者(例如第一数据输入)的第一目标输出。在一些实施例中，第一目标输出是历史性能数据(例如图1的历史性能数据164、图2的历史性能数据264)。

在一些实施例中，在框508处，处理逻辑产生指示输入/输出映射的映射数据。输入/输出映射(或映射数据)指的是数据输入(例如本文所述的数据输入中的一者或多者)、针对数据输入的目标输出(例如其中目标输出识别历史性能数据164)，以及数据输入与目标输出之间的关联。

在一些实施例中，在框510处，处理逻辑将在框536处产生的映射数据添加到数据集T(例如监督式学习)。在一些实施例中(例如，非监督式学习)，不使用目标输出和映射数据。可以使用数据输入(例如，机器学习对数据输入进行聚类)。

在框512处，处理逻辑基于数据集T对于进行训练、验证和/或测试机器学习模型190中的至少一者而言是否充分来进行分支。如果是，则执行继续进行到框514，否则，执行继续回到框504处。应注意，在一些实施例中，数据集T的充分性是单纯基于数据集中的输入/输出映射的数量来确定的，而在一些其他的实施方式中，数据集T的充分性是附加于或替代于输入/输出映射的数量基于一个或多个其他的准则(例如数据例的多样性的度量，准确度等)来确定的。

在框514处，处理逻辑提供数据集T(例如向服务器机器180提供)以训练、验证和/或测试机器学习模型190。在一些实施例中，数据集T是训练集，并且被提供给服务器机器180的训练引擎182以执行训练。在一些实施例中，数据集T是验证集，并且被提供给服务器机器180的验证引擎184以执行验证。在一些实施例中，数据集T是测试集，并且被提供给服务器机器180的测试引擎186以执行测试。在神经网络的情况下，例如，给定输入/输出映射的输入值(例如与数据输入210相关联的数值)被输入到神经网络，并且输入/输出映射的输出值(例如与目标输出220相关联的数值)被存储在神经网络的输出节点中。然后，依据学习算法(例如反向传播法等)来调整神经网络中的连接权重，并且对数据集T中其他的输入/输出映射重复此程序。在框514之后，机器学习模型(例如机器学习模型190)的条件是下列中的至少一者：使用服务器机器180的训练引擎182来训练，使用服务器机器180的验证引擎184来验证，或使用服务器机器180的测试引擎186来测试。经训练的机器学习模型由预测部件114(预测服务器112的预测部件)所实施，以产生预测数据168，以用于执行与基板处理设施相关联的改正动作。

图5B是操作基板处理设施的方法500B。方法500B可以用于训练机器学习模型(例如图1的模型190)，以用于确定预测数据(例如图1的预测数据168)以执行改正动作。

参考图5B，在方法500C的框520处，在一些实施例中，处理逻辑识别(例如接收)与由基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据(例如历史设施数据、历史性能数据)。

每个基板批可以是存储在外壳(例如FOUP)内的基板群组。该基板群组可以由同一基板处理工具用同一过程进行处理(例如同一FOUP中的所有基板都可以经历同一处理腔室进行的同一蚀刻操作)。

在框522处，在一些实施例中，处理逻辑为由模拟基板处理工具所处理的模拟基板批产生模拟数据(例如模拟设施数据、模拟性能数据等)。

在框524处，处理逻辑根据基板批的历史数据和/或根据模拟基板批的模拟数据，产生特征。在一些实施例中，这些特征可以被存储在数据存储器中，以重复用于训练额外的机器学习模型，而无需重新产生这些特征。在一些实施例中，处理逻辑接收指定一个或多个特征类型(例如特征定义)的用户输入，并且在框524处产生特征的步骤是基于使用输入。在一些实施例中，处理逻辑识别预定的特征类型(例如特征定义)，并且在框524处产生特征的步骤是基于这些预定的特征类型。

在框526处，处理逻辑使用包括这些特征的数据输入来训练机器学习模型，以产生经训练的机器学习模型。该经训练的机器学习模型能够产生输出，这些输出表明要在该基板处理设施中执行的一个或多个改正动作。改正动作可以增加基板处理设施的产出，提高经处理基板的产率，选择在基板处理工具上处理批的顺序以减少基板处理工具的设置次数，增加部件或基板处理工具的寿命，减少使用的能源或处理器开销，使用更少的带宽，使用更少的材料，等等。改正动作可以包括以下项目中的一者或多者：基板批安排、基板批调度、基板批规划、提供警报、更新制造参数(例如，硬件参数、过程参数等)、中断基板处理工具的操作等。

在一些实施例中，处理逻辑接收用户从与预定的目标输出类型相关联的多个预定机器学习模型(例如，机器学习模型定义)对机器学习模型的选择。在一些实施例中，处理逻辑接收指定第一目标输出类型(例如机器学习定义)的用户输入，并基于第一目标输出类型，以及历史数据或模拟数据中的至少一者，产生目标输出。在框526处训练机器学习模型可以进一步基于目标输出。

在一些实施例中，处理逻辑提供机器学习平台(例如用户接口、图形用户接口)。处理逻辑经由机器学习平台接收历史数据，并经由机器学习平台输出经训练的机器学习模型。在一些实施例中，处理逻辑经由机器学习平台接收指定特征类型(例如特征定义)的用户输入。在一些实施例中，处理逻辑经由机器学习平台接收指定目标输出类型(例如模式定义)的用户输入。

机器学习平台可以产生和管理数据(例如工厂制造数据)，管理根据历史数据计算出的特征，并管理根据历史数据产生机器学习模型的操作。机器学习模型可以用于收集、创建和管理用于机器学习的数据，并训练和评估新的机器学习模型(例如在不进行额外编程的情况下)。机器学习平台可以允许终端用户添加新的特征类型(例如特征定义)和机器学习模型类型(例如模型定义)(例如在不进行额外编程的情况下)。机器学习平台的用户可以由不具备程序设计和数据库技能的用户来管理。机器学习平台使用户有能力产生、训练和发布机器学习模型(其例如传统上由程序设计师执行)，而无需执行程序设计。机器学习平台可以用于执行机器学习，提高工厂生产力，并执行工厂模拟。

图5C是用于使用经训练的机器学习模型(例如图1的模型190)以导致改正动作的执行的方法500C。

参考图5C，在方法500C的框540处，处理逻辑接收与基板处理设施的当前基板批相关联的当前数据(例如当前设施数据)。当前数据可以包括与以下项目中的一者或多者相关联的数据：要处理的当前基板批，当前基板批中的基板的数量和/或类型，基板处理设施中可用的基板批路线，可用的基板处理工具，要对基板处理工具执行的预防性维护，等等。在一些例子中，当前数据包括基板处理设施中的基板处理工具处的每个基板批的基板批处理开始时间和处理结束时间。

机器学习平台可以是一种软件平台，它能够建立、部署和监测机器学习模型(例如人工智能(AI)、机器学习和强化学习)，这些机器学习模型用于在基板处理设施(例如半导体工厂)中对基板批(例如晶圆批)进行调度、安排和/或规划。

处理逻辑可以通过使用历史数据和/或模拟数据(例如历史数据和模拟数据的组合)来执行数据管理，保存原始数据，和保存计算出的特征。处理逻辑可以允许用户以多种方法并行处理数据。处理逻辑可以执行机器学习模型生命周期管理，其中包括向外部系统发布机器学习模型。

在框542处，处理逻辑从当前设施数据识别出当前特征。当前特征可以是与框524的特征相同的特征类型(例如特征定义)。在一些实施例中，从数据存储器检索当前特征，而不重新产生当前特征。在一些实施例中，处理逻辑从数据存储器检索特征类型(例如特征定义)，并且处理逻辑基于这些特征类型来产生特征。在一些实施例中，处理逻辑接收指定一个或多个特征类型(例如特征定义)的用户输入，并且基于用户输入产生当前特征。在一些例子中，当前特征是基板处理工具的利用率(例如，基板处理工具的繁忙程度，基板处理工具的停机时间百分比，基板处理工具操作的时间百分比，基板处理工具每天操作多少小时，等等)。

在框544处，处理逻辑提供当前特征作为对经训练的机器学习模型的输入。经训练的机器学习模型可以是框526的经训练的机器学习模型。经训练的机器学习模型可以是基于历史特征来训练的，这些历史特征是基于历史基板批的历史数据(例如历史设施数据、历史性能数据等)和/或模拟基板批的模拟数据来产生的。

在一些实施例中，处理逻辑接收指定第一目标输出类型的用户输入，并且经训练的机器学习模型是基于第一目标输出类型以及历史数据或模拟数据中的至少一者来产生(例如训练)的。在一些实施例中，处理逻辑接收从与预定目标输出类型相关联的预定的经训练的机器学习模型对经训练的机器学习模型的选择。

在框546处，处理逻辑从经训练的机器学习模型获得一个或多个输出(例如图1的预测数据168)。该一个或多个输出可以包括预测数据。在一些例子中，预测数据表明预测的基板批循环时间(例如基板批完成基板批路线的时间量，基板批何时将完成处理的预测时间)。在一些例子中，预测数据表明基板批是否要及时完成以满足订单。

在框548处，处理逻辑基于该一个或多个输出，导致与基板处理设施相关联的改正动作的执行。改正动作可以包括基板批安排(例如，哪些基板处理工具在什么时间处理哪些基板批)、基板批调度(例如，确定空闲的基板处理工具下一步要处理哪个基板批)、基板批规划(例如，基板批是否要按时处理，确定基板批的优先级，也规划基板处理的预防性维护)等中的一者或多者。在一些例子中，处理逻辑引起对基板批路线、基板批调度、基板批规划(例如，预防性维护的规划)等的更新。

在一些例子中，响应于输出表明预测的基板批循环时间(例如，基板批何时将完成处理)不满足阈值时间(例如，将晚于订单时间)，改正动作包括使更多基板处理工具上线，重新安排预防性维护，加快基板批的运输，增加每天基板批处理的小时数，优先处理与订单相对应的基板批，使新的基板处理工具有资格进行处理操作，等等。

在一些例子中，响应于输出表明预测的基板处理工具利用率在某一天低于阈值，改正动作包括为预测的基板处理工具利用率低的那一天安排预防性维护。

在一些实施例中，在框548处，处理逻辑基于该一个或多个输出引起安排、路由、调度和/或规划。在一些例子中，处理逻辑基于该一个或多个输出，执行与基板批相关联的安排(例如引起更新基板批的安排或为基板批产生安排的改正动作)。在一些例子中，处理逻辑基于该一个或多个输出，执行基板批的调度(例如引起更新基板批的调度或为基板批确定调度的改正动作)。在一些例子中，处理逻辑基于该一个或多个输出，执行与基板批相关联的规划(例如引起更新与基板批相关联的规划或确定与基板批相关联的规划的改正动作)。处理逻辑使用经训练的机器学习模型的该一个或多个输出来改进决策(例如安排、调度、规划等的决策)。

在一些实施例中，在框548处，改正动作指的是经训练的机器学习模型被用于改进调度决策(例如由于改进的调度决策，基板处理设施表现得更好)。在一些实施例中，执行改正动作指的是将基板处理设施从基线性能推移到更好的性能。在一些实施例中，执行改正动作指的是将基板处理设施从不良的性能推移到满足或超过基线性能(例如推移到更好的性能)。

在框550处，处理逻辑接收与基板处理设施相关联的当前性能数据。

在框552处，处理逻辑导致经训练的机器学习模型用包括当前数据的数据输入和包括当前性能数据的目标输出进行进一步的训练。

在一些实施例中，框540-552中的一者或多者被重复，直到该一个或多个输出(例如预测数据)表明不需要执行进一步的改正动作。

在一些实施例中，处理逻辑提供机器学习平台(例如用户接口、图形用户接口)。处理逻辑经由机器学习平台接收当前数据，并经由机器学习平台导致改正动作的执行。在一些实施例中，处理逻辑经由机器学习平台接收指定特征类型(例如特征定义)和/或目标输出类型(例如模型定义)的用户输入。

图6是示出根据某些实施例，计算机系统600的框图。在一些实施例中，计算机系统600是客户端设备120、预测系统110、服务器机器170、服务器机器180或预测服务器112中的一者或多者。

在一些实施例中，计算机系统600与其他的计算机系统连接(例如经由网络连接，例如局域网络(LAN)、内部网络、外部网络或因特网)。在一些实施例中，计算机系统600以客户端-服务器环境中的服务器或客户端计算机的身份操作，或作为同级间或分布式网络环境中的同级计算机操作。在一些实施例中，计算机系统600由个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、网页应用(web appliance)、服务器、网络路由器、交换机或网桥，或能够执行指令集(依序执行或以其他方式执行)的任何设备所提供，这些指令指定要由该设备所采取的动作。进一步地，术语“计算机”应包括单独地或联合地执行一个或多个指令集以执行本文所述的方法中的任一者或更多者的计算机的任何集合。

在另一个方面中，计算机系统600包括处理设备602、易失性存储器604(例如随机存取存储器(RAM))、非易失性存储器606(例如只读存储器(ROM)或可电擦除可编程ROM(EEPROM))和数据存储设备616，上述设备经由总线608彼此通信。

在一些实施例中，处理设备602由诸如通用处理器(举例而言，例如复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实施其他类型指令集的微处理器或实施多种类型指令集的组合的微处理器)或专用处理器(举例而言，例如专用集成电路(ASIC)、现场可编程逻辑门阵列(FPGA)、数字信号处理器(DSP)或网络处理器)之类的一个或多个处理器所提供。

在一些实施例中，计算机系统600进一步包括网络接口设备622(其例如与网络674耦合)。在一些实施例中，计算机系统600也包括视频显示单元610(例如LCD)、字母数字输入设备612(例如键盘)、光标控制设备614(例如鼠标)和信号产生设备620。

在一些实施方式中，数据存储设备616包括非暂时性计算机可读存储介质624，其上存储有指令626，这些指令对本文所述的方法或功能中的任一者或多者进行编码，包括对图1的部件(例如改正动作部件122、预测部件114等)进行编码和用于实施本文所述的方法(例如方法500A-C中的一者或多者)的指令。

在一些实施例中，指令626也在其被计算机系统600执行的期间完全地或部分地驻留在易失性存储器604和/或处理设备602内，因此，在一些实施例中，易失性存储器604和处理设备602也构成机器可读存储介质。

虽然在说明性例子中将计算机可读存储介质624示为单个介质，但术语“计算机可读存储介质”也应包括存储该一个或多个可执行指令集的单个介质或多个介质(例如集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”也应包括能够对指令集进行存储或编码的任何介质，该指令集用于由计算机执行，使该计算机执行本文所述的方法中的任一者或多者。术语“计算机可读存储介质”应包括但不限于固态存储器、光学介质和磁性介质。

在一些实施例中，本文所述的方法、部件和特征由离散的硬件部件所实施，或者被集成在诸如ASICS、FPGA、DSP或类似设备之类的其他硬件部件的功能性中。在一些实施例中，方法、部件和特征由硬设备内的固件模块或功能电路系统所实施。在一些实施例中，方法、部件和特征以硬设备与计算机程序部件的任何组合或以计算机程序来实施。

除非另有具体陈述，否则诸如“识别”、“产生”、“训练”、“存储”、“接收”、“确定”、“导致”、“提供”、“获得”、“更新”、“再训练”等之类的术语指的是由计算机系统执行或实施的动作和过程，这些动作和过程将在计算机系统缓存器和存储器内表示为物理(电子)量的数据操控并变换成在计算机系统存储器或缓存器或者其他这样的信息存储、传输或显示设备内类似地表示为物理量的其他数据。在一些实施例中，本文所使用的术语“第一”、“第二”、“第三”、“第四”等是作为区分不同元素的标签，并且不具有依据它们数字标记的顺序意义。

本文所述的例子也与一种用于执行本文所述的方法的装置相关。在一些实施例中，此装置被专门建构为用于执行本文所述的方法，或者包括选择性地由存储在计算机系统中的计算机程序来编程的通用计算机系统。这种计算机程序被存储在计算机可读有形存储介质中。

本文所述的方法和例示性例子与任何特定的计算机或其他的装置没有固有的关联性。在一些实施例中，依据本文所述的教示来使用各种通用系统。在一些实施例中，更专门的装置被建构以执行本文所述的方法，和/或他们各个功能、例程、子例程或操作中的每一者。上面的说明中阐述了用于各种这些系统的结构的例子。

以上描述旨在是例示性的，而非限制性的。虽然已经参考具体的例示性例子和实施方式来描述本公开，但将认识到，本公开不限于所述的例子和实施方式。将参考以下权利要求以及这些权利要求所赋予的等效物的全部范围来确定本公开的范围。

Claims (20)

1.一种操作基板处理设施的方法，所述方法包括：

识别以下项目中的至少一者：与由所述基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据；或由模拟基板处理工具所处理的模拟基板批的模拟数据；

根据所述历史基板批的所述历史数据或所述模拟基板批的所述模拟数据中的所述至少一者产生特征；以及

用包括所述特征的数据输入训练机器学习模型，以产生经训练的机器学习模型，所述经训练的机器学习模型能够产生一个或多个输出，所述一个或多个输出表明要在所述基板处理设施中执行的一个或多个改正动作。

2.如权利要求1所述的方法，其中所述一个或多个改正动作包括以下项目中的一者或多者：

基板批安排；

基板批调度；或

基板批规划。

3.如权利要求1所述的方法，其中所述历史基板批中的每个基板批是存储在外壳内的基板群组，其中所述基板群组要在同一基板处理工具上用同一过程进行处理。

4.如权利要求1所述的方法，进一步包括：将所述特征存储在数据存储器中，以重复用于训练额外的机器学习模型，而无需重新产生所述特征。

5.如权利要求1所述的方法，进一步包括：接收指定一个或多个特征类型的用户输入，其中所述产生所述特征是基于所述用户输入的。

6.如权利要求1所述的方法，进一步包括：

接收指定第一目标输出类型的用户输入；以及

基于所述第一目标输出类型，以及所述历史数据或所述模拟数据中的所述至少一者，产生目标输出，其中所述训练所述机器学习模型是进一步基于所述目标输出的。

7.如权利要求1所述的方法，进一步包括：

识别预定特征类型，其中所述产生所述特征是基于所述预定特征类型的；以及

接收用户从与预定目标输出类型相关联的多个预定机器学习模型对所述机器学习模型的选择。

8.一种操作基板处理设施的方法，所述方法包括：

识别与所述基板处理设施的当前基板批相关联的当前数据；

识别与所述当前数据相关联的当前特征；

将所述当前特征提供给基于历史特征训练的经训练的机器学习模型，所述历史特征是基于历史基板批的历史数据或模拟基板批的模拟数据中的至少一者来产生的；

从所述经训练的机器学习模型，获得一个或多个输出；以及

基于所述一个或多个输出，导致与所述基板处理设施相关联的一个或多个改正动作的执行。

9.如权利要求8所述的方法，其中所述一个或多个改正动作包括以下项目中的一者或多者：

基板批安排；

基板批调度；或

基板批规划。

10.如权利要求8所述的方法，其中所述当前基板批中的每个基板批是存储在外壳内的基板群组，其中所述基板群组要在同一基板处理工具上用同一过程进行处理。

11.如权利要求8所述的方法，进一步包括：从数据存储器检索所述当前特征，而不重新产生所述当前特征。

12.如权利要求8所述的方法，进一步包括：接收指定一个或多个特征类型的用户输入，并基于所述用户输入来产生所述当前特征中的一者或多者。

13.如权利要求8所述的方法，进一步包括：接收指定第一目标输出类型的用户输入，其中所述经训练的机器学习模型是基于所述第一目标输出类型以及所述历史数据或所述模拟数据中的所述至少一者来训练的。

14.如权利要求8所述的方法，进一步包括：

识别预定特征类型，其中所述识别所述当前特征是基于所述预定特征类型的；以及

接收用户从与预定目标输出类型相关联的多个预定的经训练的机器学习模型对所述经训练的机器学习模型的选择。

15.一种存储指令的非暂时性机器可读存储介质，所述指令当被执行时使处理设备执行包括以下的操作：

识别以下项目中的至少一者：与由基板处理设施中的基板处理工具所处理的历史基板批相关联的历史数据，或由模拟基板处理工具所处理的模拟基板批的模拟数据；

根据所述历史基板批的所述历史数据或所述模拟基板批的所述模拟数据中的所述至少一者产生特征；以及

用包括所述特征的数据输入训练机器学习模型，以产生经训练的机器学习模型，所述经训练的机器学习模型能够产生一个或多个输出，所述一个或多个输出表明要在所述基板处理设施中执行的一个或多个改正动作。

16.如权利要求15所述的非暂时性机器可读存储介质，其中所述一个或多个改正动作包括以下项目中的一者或多者：

基板批安排；

基板批调度；或

基板批规划。

17.如权利要求15所述的非暂时性机器可读存储介质，其中所述历史基板批中的每个基板批是存储在外壳内的基板群组，其中所述基板群组要在同一基板处理工具上用同一过程进行处理。

18.如权利要求15所述的非暂时性机器可读存储介质，其中所述操作进一步包括：将所述特征存储在数据存储器中，以重复用于训练额外的机器学习模型，而无需重新产生所述特征。

19.如权利要求15所述的非暂时性机器可读存储介质，其中所述操作进一步包括：

接收指定第一目标输出类型的用户输入；以及

基于所述第一目标输出类型，以及所述历史数据或所述模拟数据中的所述至少一者，产生目标输出，其中所述训练所述机器学习模型是进一步基于所述目标输出的。

20.如权利要求15所述的非暂时性机器可读存储介质，其中所述操作进一步包括：

识别预定特征类型，其中所述产生所述特征是基于所述预定特征类型的；以及

接收用户从与预定目标输出类型相关联的多个预定机器学习模型对所述机器学习模型的选择。