CN115470960A - 关于经由制造过程制造的多个产品进行预测的系统和方法 - Google Patents

关于经由制造过程制造的多个产品进行预测的系统和方法 Download PDF

Info

Publication number
CN115470960A
CN115470960A CN202210375599.1A CN202210375599A CN115470960A CN 115470960 A CN115470960 A CN 115470960A CN 202210375599 A CN202210375599 A CN 202210375599A CN 115470960 A CN115470960 A CN 115470960A
Authority
CN
China
Prior art keywords
time interval
input
relationship
machine learning
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210375599.1A
Other languages
English (en)
Inventor
李章焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN115470960A publication Critical patent/CN115470960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)

Abstract

关于经由制造过程制造的多个产品进行预测的系统和方法。处理器接收与多个输出值和多个时间区间相关联的多个输入向量。处理器基于与输入向量相关联的时间区间对多个输入向量进行聚类。处理器针对多个时间区间中的每一个时间区间训练机器学习模型，其中机器学习模型的训练基于与时间区间相关联的输入向量以及与输入向量相关联的输出值。处理器进一步训练用于针对接收到的多个产品中的产品的输入数据来选择多个时间区间中的一个时间区间的分类器。在一个实施例中，与由分类器选择的时间区间相关联的机器学习模型被调用以基于输入数据来对输出进行预测。

Description

关于经由制造过程制造的多个产品进行预测的系统和方法
相关申请的交叉引用
本申请要求于2021年6月10日提交的题为“用于缺陷可见度回归的概念区间聚类”的美国临时申请第63/209,268号的优先权和权益，其内容通过引用并入本文。
本申请还涉及于2021年5月21日提交的题为“用于缺陷可见度回归的重新分配聚类的系统和方法”的美国申请第17/327,618号，其内容通过引用并入本文。
技术领域
根据本公开的实施例的一个或多个方面涉及用于在存在模型漂移的情况下预测制造缺陷水平的机器学习系统。
背景技术
近年来，显示器行业发展迅速。随着新型显示面板模块和生产方法的部署，并且随着产品规格收紧，可能期望加强设备和质量控制方法以维持生产质量。例如，可能期望用于检测不同水平的制造缺陷的措施。相应地，期望用于自动预测制造缺陷水平的系统和方法。
在该背景技术部分中公开的上述信息仅用于加强对本公开的背景的理解，并且因此它可能包含不形成现有技术的信息。
发明内容
本公开的实施例涉及关于经由制造过程制造的多个产品进行预测的方法。处理器接收与多个输出值和多个时间区间相关联的多个输入向量。处理器基于与输入向量相关联的时间区间对多个输入向量进行聚类。处理器针对多个时间区间中的每一个时间区间训练机器学习模型，其中机器学习模型的训练基于与时间区间相关联的输入向量以及与输入向量相关联的输出值。处理器进一步训练用于针对接收到的多个产品中的产品的输入数据来选择多个时间区间中的一个时间区间的分类器。在一个实施例中，与由分类器选择的时间区间相关联的机器学习模型被调用以基于输入数据来对输出进行预测。
根据一个实施例，多个输入向量中的输入向量包括从与多个产品中的产品相关联的跟踪数据提取的特征，并且多个输出值中的输出值指示跟踪数据中的缺陷水平。
根据一个实施例，与输入向量相关联的时间区间与收集跟踪数据时的时间相对应。
根据一个实施例，时间区间是与开始点和结束点相关联的有界时间区间。
根据一个实施例，多个时间区间中的第一时间区间保持与第一时间区间相关联的输入向量与对应输出值的第一关系，并且多个时间区间中的第二时间区间保持与第二时间区间相关联的输入向量与对应输出值的第二关系，其中，第一关系不同于第二关系。
根据一个实施例，与第一时间区间相关联的机器学习模型基于第一关系被训练，并且与第二时间区间相关联的机器学习模型基于第二关系被训练。
根据一个实施例，第一关系由于模型漂移而不同于第二关系。
根据一个实施例，多个时间区间中的每一个时间区间通过标签被识别，其中，分类器被训练为基于输入数据的特征来输出时间区间的标签。
根据一个实施例，机器学习模型是用于对制造的产品的缺陷可见度水平进行预测的回归模型。
本公开的实施例还涉及关于经由制造过程制造的多个产品进行预测的方法。根据该实施例，处理器接收输入数据并且基于输入数据的特征来对时间区间进行预测。处理器基于由处理器预测的时间区间来从多个机器学习模型中识别机器学习模型。处理器调用机器学习模型以基于输入数据生成输出。
根据一个实施例，预测的时间区间是预测的收集输入数据时的时间。
根据一个实施例，多个机器学习模型中的每一个机器学习模型与不同的时间区间相关联。
根据一个实施例，机器学习模型基于输入向量与输出值的关系被训练，其中，该关系随时间区间而改变。
本公开的实施例进一步涉及关于经由制造过程制造的多个产品进行预测的系统。系统包括处理器和存储器。存储器包括指令，指令在由处理器执行时促使处理器执行：接收与多个输出值和多个时间区间相关联的多个输入向量；基于与输入向量相关联的时间区间来对多个输入向量进行聚类；针对多个时间区间中的每一个时间区间来训练机器学习模型，机器学习模型的训练基于与时间区间相关联的输入向量以及与输入向量相关联的输出值；以及训练用于针对接收到的多个产品中的产品的输入数据来选择多个时间区间中的一个时间区间的分类器，其中，与由分类器选择的时间区间相关联的机器学习模型被调用以基于输入数据对输出进行预测。
如本领域技术人员应认识到的，所要求保护的关于经由制造过程制造的产品进行预测的系统和方法有助于对付可能导致输入向量与输出值之间的关系改变的制造条件改变。
当参考以下具体实施方式、所附权利要求和附图考虑时，将更加充分地理解本公开的实施例的这些和其它特征、方面和优点。当然，本发明的实际范围由所附权利要求来限定。
附图说明
参考以下附图描述现有实施例的非限制性和非穷举性实施例，在附图中，除非另外指明，否则贯穿各个视图，相同的附图标记指代相同的部件。在附图中：
图1是根据一个实施例的关于经由制造过程制造的产品进行预测的系统的框图；
图2A是使用传统技术进行的预测的性能降低的第一示例的曲线图；
图2B是使用传统技术进行的预测的性能降低的第二示例的曲线图；
图2C是使用传统技术进行的预测的性能降低的第三示例的曲线图；
图3是根据一个实施例的训练数据库和针对不同的时间区间而训练的ML模型的框图；
图4是根据一个实施例的年代分类器的框图；
图5是根据一个实施例的用于对与产品相关联的缺陷可见度水平进行预测的训练后的年代分类器和ML模型的框图；
图6是根据一个实施例的用于训练对与产品相关联的缺陷可见度水平进行预测的系统的过程；以及
图7是根据一个实施例的用于对与产品相关联的缺陷可见度水平进行预测的过程。
具体实施方式
在下文中，将参照附图更详细地描述示例实施例，在附图中，相同的附图标记始终指代相同的元件。然而，本公开可以以各种不同的形式体现，并且不应被解释为仅限于在本文中所示的实施例。相反，这些实施例被提供作为示例，使得本公开将是彻底的和完整的，并且将向本领域技术人员充分传达本公开的方面和特征。相应地，可能不描述对于本领域普通技术人员完全理解本公开的方面和特征来说不必要的过程、元件和技术。除非另有注明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，并且因此可能不重复其描述。此外，在附图中，为了清楚起见，可以夸大和/或简化元件、层和区域的相对尺寸。
诸如移动显示器制造过程的制造过程可以在移动显示产品的制造期间获取数字跟踪数据。尽管将移动显示产品用作示例，但是本领域技术人员应认识到，本公开的实施例可以应用于其它玻璃和非玻璃产品的制造过程，包括例如半导体晶片、显示器玻璃和/或聚酰亚胺基板等的制造。
跟踪数据可以经由一个或多个传感器收集，这些传感器可以放置在例如在生产期间运送产品的传送带的顶部上。传感器可以被配置为将感测到的活动记录为跟踪数据。传感器可以是例如多个温度和压力传感器，其被配置为捕获制造过程中的随时间改变的温度和压力的测量值。每一个传感器可以被采样多次(例如，在多玻璃制造时间的时段内，每秒钟或每几秒钟对每一个传感器进行采样以监视每块玻璃)。跟踪数据还可以包括产品的图像，诸如例如光谱图像、显微图像和/或热图像等。
可以对跟踪数据进行分析以了解导致特定制造缺陷的条件。机器学习(ML)可以被采用以对跟踪数据进行分析以及对输出(例如，制造的产品中的缺陷的可见度水平)进行预测。在这点上，传统ML可能会采用回归技术以将一组输入变量(X变量)映射到连续值输出变量(y变量)。
传统回归技术的一个问题是它们假设输入变量的属性以及输入变量与输出变量之间的关系是静态的。然而，在现实世界中，数据可能会随时间而演变。输入变量和输出变量中的关系也可能随时间而演变。因此，随着时间的推移，过去训练的ML模型的预测可能变得不那么准确。输入数据和/或输入数据与输出数据之间的关系的这种改变可以统称为模型漂移。
在显示器制造设置中，当制造条件改变时，模型漂移可能发生。例如，温度传感器可能离制造的显示器产品更近或更远地移动，导致温度值(x输入)与故障或无故障预测(y输出)之间的不同映射。还考虑制造条件的其它改变。相应地，期望一种使用机器学习来对制造缺陷进行预测的系统和方法，其中可以提供不同的ML模型以说明可能随时间而发生的模型漂移。
总体而言，本公开的实施例旨在对制造过程的跟踪数据进行分析，用于对制造过程的缺陷的程度/水平(也称为缺陷可见度水平)进行预测。有缺陷的制造过程可能导致有缺陷/有缺点的制造部件。识别制造过程的潜在缺陷可以帮助改善过程的质量控制、降低制造成本和/或改善设备的正常运行时间。
在一些实施例中，跟踪数据由一个或多个传感器随时间而生成。跟踪数据被提供给概念区间分析系统以对缺陷可见度水平进行预测。在一些实施例中，输入的跟踪数据由多个传感器提供为多元输入数据。
在一些实施例中，分析系统对付可能随时间而导致的、可改变ML模型可以用来将输入数据(例如，跟踪数据)映射到输出数据(例如，预测的缺陷可见度水平)的关系的变化的制造条件。在一个实施例中，分析系统被配置为识别保持输入数据与输出数据之间的单一关系(称为概念(concept))的时间区间，并且将时间区间设置为概念区间或年代(era)。在下文中，术语“时间区间”、“概念区间”和“年代”可互换地被使用。分析系统可以被配置为识别预设数量的这样的时间区间。在一个实施例中，每一个时间区间可以是与开始点(例如，开始日期)和结束点(例如，结束日期)相关联的有界时间区间。时间区间可以具有相同或不同的持续时间/范围。持续时间/范围可以取决于其中保持单一概念/关系的时间量。
在一个实施例中，分析系统被配置为基于输入数据到输出数据的单一关系针对每一个概念区间而训练单独的ML模型(例如，缺陷可见度回归器)，该单一关系被保持该概念区间。在这点上，分析系统将与概念区间相关联的输入数据聚类到对应年代聚类中。在一个实施例中，如果数据在概念区间的时间段期间生成，则输入数据与该概念区间相关联。每一个年代聚类中的输入数据连同相关联的输出值一起可以用于训练年代的ML模型。
在一些实施例中，分析系统包括被训练以对输入数据所属的年代进行预测的年代分类器(era classifier)。可以使用年代标签来识别各个年代以及相关联的ML模型。由年代分类器输出的年代标签可以用于选择多个ML模型中的已经针对相关联的年代而训练的一个ML模型。以这种方式，与产品相关联的任何输入数据集可以被提供给分析系统，以对输入数据所属的年代进行分类。一旦识别了年代，就可以调用该年代的ML模型来对与输入数据相关联的产品的缺陷可见度水平进行预测。以这种方式，可以以最小化的回归误差来推断缺陷可见度水平。
图1是根据本公开的一些实施例的关于经由制造过程制造的产品进行预测的系统的框图。
参考图1，系统包括一个或多个数据收集电路100、分析系统102以及一个或多个设备/过程控制器104。数据收集电路100可以包括例如被配置为在制造过程期间收集跟踪数据的传感器、放大器和/或模数转换器。传感器可以被放置在例如在生产期间运送产品的传送带的顶部上。传感器可以被配置为将任何感测到的活动记录为跟踪数据。例如，传感器可以是被配置为捕获制造过程中的随时间改变的温度和压力的测量值的多个温度和压力传感器。每一个传感器可以被采样多次(例如，在多玻璃制造时间的时段内，每秒钟或每几秒钟对每一个传感器进行采样以监视每块玻璃)。跟踪数据还可以包括产品的图像，诸如例如光谱图像、显微图像和/或热图像等。
分析系统102可以包括训练模块106和推断模块108。尽管训练模块106和推断模块108在图1中被示为单独的功能单元，但是本领域技术人员将认识到，各模块的功能可以组合或集成在单个模块中，或者进一步细分为进一步的子模块，而不脱离本发明构思的精神和范围。例如，在一些实施方式中，训练模块106与一个或多个处理单元(也称为处理器)101和相关联的存储器103相对应。推断模块108可以与和训练模块106相同的一个或多个处理单元相对应，或者与不同的一个或多个处理单元相对应。处理单元的示例包括中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。
训练模块106可以被配置为生成和训练由推断模块108使用的多个机器学习模型。多个机器学习模型可以基于由数据收集电路100提供的训练数据来生成和训练。
在一个实施例中，训练数据包括由数据收集电路100在不同的时间区间生成的跟踪数据、关于其中生成跟踪数据的时间区间的信息以及指示与跟踪数据相关联的缺陷水平的相关联的输出值。在一个实施例中，从跟踪数据提取的特征被提供给训练模块106作为输入向量。训练模块106可以被配置为基于其中生成跟踪数据的时间区间将输入向量聚类到不同的概念区间中。每一个概念区间可以与限定概念区间的开始和结束的区间界限相关联。每一个概念区间可以用年代标签/ID来标记。
在一个实施例中，训练模块106被配置为使用已经被聚类到对应概念区间中的输入向量和相关联的输出值来针对每一个概念区间训练ML模型。ML模型可以是例如用于缺陷可见度预测的回归模型。训练后ML模型可以与ML模型所属的概念区间的年代标签相关联。
根据一些实施例，训练模块106还被配置为训练年代分类器以针对接收到的输入数据识别年代。在这点上，已经被聚类到年代中的输入向量以及对应年代标签被提供给训练模块106，以训练对接收到的输入数据所属的年代进行分类的年代分类器。
推断模块108可以被配置为基于与在推断阶段期间由数据收集电路100提供的产品相关联的输入数据(例如，跟踪数据)来对缺陷可见度水平进行预测。在这点上，推断模块108可以被配置为调用训练后的年代分类器来识别输入数据所属的年代。识别出的年代的年代标签可以用于识别针对识别出的概念区间而训练的ML模型。然后，识别出的ML模型可以用于对在接收到的跟踪数据中包括的缺陷可见度水平进行预测。
在一些实施例中，预测的缺陷可见度水平用于在制造过程中进行调整。例如，如果预测的缺陷可见度水平高于特定阈值水平，则可以将信号发送到设备/过程控制器104，以调整用于制造过程的制造设备的参数。调整后参数可以是例如制造设备的操作速度或内部温度。在一些实施例中，制造设备可以响应于检测到预测的缺陷可见度水平高于特定阈值水平而被重新初始化或被重新校准。
图2A至图2C是示出使用传统技术进行的预测的性能降低的曲线图。例如，图2A的传统ML模型可以在第一时间区间200中提供准确预测，但是由于模型漂移，预测准确度可能在时间区间202和204内降低，从而导致分别为2.53％和6.07％的预测误差。图2B和图2C的传统ML模型的预测误差也可能由于模型漂移而随时间增大。
在一个示例中，当存在导致例如输出值/预测的统计属性改变的制造条件改变时，模型漂移发生。改变可能在一台或多台制造设备(EQP)的重新校准期间发生。重新校准可能定期或不定期地随时间而周期性地发生。在一个实施例中，训练模块106可以被配置为将发生重新校准的时间点识别为改变点206a至206f(统称为206)。在一个实施例中，训练模块106识别两个改变点(例如，206a、206b)之间的时间区间(例如，时间区间202)，其中改变点中的一个(例如，206a)被识别为时间区间的开始点，并且改变点中的另一个(例如，206b)被识别为时间区间的结束点。识别出的时间区间可以被认为是其中可以保持输入值与输出值之间的单一关系的概念区间。概念区间中的输入值连同相关联的输出值一起可以用于训练专用于概念区间的ML模型。表1中描绘的实验显示在存在模型漂移的情况下，当与覆盖所有时间区间的单个ML模型相比时，针对识别出的每一个时间区间而训练单独的ML模型最小化预测误差。例如，实验显示由当前实施例提供的平均绝对百分比误差(MAPE)为2.38％、2.91％和1.94％，这低于由单个ML模型提供的分别为7.80％、5.11％和4.63％的MAPE。
Figure BDA0003590268120000071
表1
还设想了用于自动识别不同的年代以训练专用ML模型的其它机制。例如，训练模块106可以被配置为基于输入的跟踪数据或输出的可见度训练数据的统计来识别改变点206。例如，训练模块106可以被配置为监控输入的跟踪数据的特征分布，并且识别当特征分布偏离参考特征分布超过阈值时的时间点。改变点206还可以由系统操作者经由耦接到训练模块106的输入装置手动输入。
图3是根据一个实施例的训练数据库300和针对不同的时间区间304a至304n(统称为304)而训练的ML模型301a至301n(统称为301)的框图。在图3的实施例中，训练数据库300存储由数据收集电路100捕获的训练数据。训练数据可以包括基于由数据收集电路100收集的跟踪数据而生成的输入X向量和相关联的输出y值。在一个实施例中，在X-y关系针对不同的时间区间304而改变之前，改变点306a至306n-1(类似于改变点206)划定保持该关系的每一个时间区间304。改变点306a至306n-1可以基于接收到的外部指标(例如，重新校准时间、制造开始/停止时间等)而被设置，或者通过监控输入X向量和/或输出y值而被自动地设置。
在一个实施例中，训练模块106被配置为基于时间区间304对输入X向量进行聚类。在这点上，如果用于创建输入向量的跟踪数据是在特定时间区间304期间收集的，则输入向量可以被聚类到特定时间区间304中。在一个实施例中，不同的时间区间304通过年代标签被识别。
在一个实施例中，每一个时间区间304中的输入向量和相关联的输出值用于训练单独的ML模型301。在这点上，ML模型的总数可以与输入向量被聚类到其中的概念区间的数量相对应。在一个实施例中，一个时间区间304中的输入向量与输出值保持单一关系。特定时间区间304的ML模型301(例如，年代1的ML模型1)可以基于在对应时间区间304(例如，年代1)中保持的单一关系而被训练。关系可以随时间区间304而改变。例如，对其训练ML模型2的年代2中的关系可以不同于年代1中的关系。
在一个实施例中，预设时间区间304的数量，并且因此预设相关联的ML模型301的数量。在一些实施例中，关系的改变循环地发生，使得在预设数量的时间区间304之后，关系恢复到先前的时间区间304中的关系。例如，在图2C的示例曲线图中，时间段210处的预测误差相对高，但是在其在改变点206e和206f处再次开始增大之前，预测误差在点212处恢复到初始低值。在这点上，通过过程管理，制造条件可以具有有限数量的状态。因此，可以假设，制造条件(和相关联的关系)将在一段时间之后恢复到原始制造条件(和相关联的原始关系)。因此，在一个实施例中，针对不同的年代而生成的预设数量的ML模型可以足以对付随时间可能发生的模型漂移。
图4是根据一个实施例的年代分类器400的框图。年代分类器400可以使用逻辑回归或者诸如例如决策树、支持向量机和/或随机森林等的任何其它分类算法来实现。年代分类器400可以使用已经被聚类到对应年代402a至402n(统称为402)中的输入X向量404以及对应年代标签(年代#)406来训练。一旦被训练，年代分类器400就可以对接收到的输入数据的年代标签进行预测。
图5是根据一个实施例的用于对与产品相关联的缺陷可见度水平进行预测的训练后的年代分类器400和ML模型301的框图。训练后的年代分类器400接收与要对其进行缺陷预测的产品相关联的输入数据500。输入数据500可以是由数据收集电路100收集的跟踪数据(例如，图像)。年代分类器400可以输出输入数据500所属的时间区间的年代标签。
在一个实施例中，由年代分类器400输出的年代标签用于识别已经针对各个年代而训练的各个ML模型301中的一个。然后，可以调用选择的ML模型502来对在输入数据500中包括的缺陷可见度进行预测以获得预测后缺陷可见度504。
图6是根据一个实施例的用于训练对与产品相关联的缺陷可见度水平进行预测的系统的过程。应理解，如本领域技术人员所认识到的，该过程的步骤的顺序不是固定的，而是可以被修改、在顺序上被改变、被不同地执行、被顺序地、并发地或同时地执行、或者被改变成任何期望的顺序。
该过程开始，并且在框600处，训练模块106接收基于由数据收集电路100收集的不同产品的跟踪数据而生成的输入向量。每一个输入向量可以包括例如从跟踪数据提取的对应产品的特征。在一个实施例中，跟踪数据是在不同的时间区间收集的。针对每一个输入向量，时间区间信息连同对应输出值一起被提供给训练模块106。
在框602处，训练模块106基于与输入向量相关联的时间区间将输入向量聚类到不同的年代聚类中。每一个年代聚类的时间区间可以使得在该时间区间期间，保持该年代聚类中的输入向量与输出值之间的关系。
在框604处，针对每一个时间区间训练单独的ML模型。ML模型可以基于相关联的年代聚类中的输入向量连同对应输出值一起而被训练。ML模型可以是例如回归模型。ML模型可以与针对其训练ML模型的时间区间的年代标签相关联。
在框606处，训练模块106训练年代分类器400以识别输入数据所属的适当年代。可以使用监督学习来完成训练。在这点上，年代分类器400被提供有预设数量的时间区间中的每一个时间区间的输入向量和相关联的年代标签，并且年代分类器400学习与每一个时间区间相关联的输入向量的特征以生成对应年代标签。
图7是根据一个实施例的用于对与产品相关联的缺陷可见度水平进行预测的过程。应理解，如本领域技术人员所认识到的，该过程的步骤的顺序不是固定的，而是可以被修改、在顺序上被改变、被不同地执行、被顺序地、并发地或同时地执行、或者被改变成任何期望的顺序。
该过程开始，并且在框700处，推断模块108接收要对其进行缺陷预测的产品的输入数据。输入数据可以是由数据收集电路100作为多元输入捕获的跟踪数据。
在框702处，推断模块108将输入数据提供给年代分类器400，以对输入数据所属的时间区间进行分类或预测。在这点上，推断模块108可以提供输入数据作为输入向量。输入向量可以包括从输入数据提取的产品的特征。年代分类器400可以基于输入向量的特征来对年代标签进行预测。
在框704处，推断模块108可以基于由年代分类器400预测的时间区间来识别ML模型301。在一个实施例中，预测的时间区间的年代标签可以用于选择对应ML模型301。
在框706处，调用选择的ML模型301以基于在框700处接收的输入数据生成输出。输出可以是指示与输入数据相对应的产品的预测的缺陷水平的值。
在一些实施例中，上面讨论的用于缺陷可见度回归的概念区间聚类的系统和方法在一个或多个处理器中实现。术语“处理器”可以指一个或多个处理器和/或一个或多个处理核。一个或多个处理器可以(例如，通过云系统)托管在单个装置中或分布在多个装置上。处理器可以包括例如专用集成电路(ASIC)、通用或专用中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)和诸如现场可编程门阵列(FPGA)的可编程逻辑器件。在处理器中，如在本文中所使用的，每一个功能由被配置(即被硬接线)为执行该功能的硬件来执行或者由被配置为执行存储在非暂时性存储介质(例如，存储器)中的指令的更通用硬件(诸如CPU)来执行。处理器可以被制造在单个印制电路板(PCB)上或分布在若干互连的PCB上。处理器可以包括其它处理电路；例如，处理电路可以包括在PCB上互连的两个处理电路FPGA和CPU。
将理解，虽然术语“第一”、“第二”、“第三”等在本文中可以用于描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分区分开。因此，在本文中讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分，而不脱离本发明构思的精神和范围。
在本文中使用的术语仅用于描述特定实施例的目的，并且不旨在限制本发明构思。如在本文中所使用的，术语“基本上”、“大约”以及类似术语被用作近似的术语而不用作程度的术语，并且旨在考虑会被本领域普通技术人员所认识到的测量或计算的值的固有偏差。
如在本文中所使用的，单数形式“一”旨在包括复数形式，除非上下文另有明确指示。将进一步理解，术语“包括”和/或“包含”当在本说明书中使用时指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组合。如在本文中所使用的，术语“和/或”包括相关列出项中的一个或多个的任何和所有组合。当在元件列表之后时，诸如“中的至少一个”的表达修饰整个元件列表而不修饰该列表中的个别元件。进一步，在描述本发明构思的实施例时，“可以”的使用指的是“本公开的一个或多个实施例”。而且，术语“示例性”意指示例或图示。如在本文中所使用的，术语“使用”、“使用中”和“被使用”可以被认为分别与术语“利用”、“利用中”和“被利用”同义。
尽管在本文中已经具体描述和图示了用于缺陷可见度回归的概念区间聚类的系统和方法的示例性实施例，但是许多修改和变化对于本领域技术人员将是显而易见的。因此，应理解，根据本公开的原理构建的用于缺陷可见度回归的概念区间聚类的系统和方法可以以除了在本文中具体描述的以外的其它方式来体现。本公开还在所附权利要求及其等同物中进行限定。

Claims (20)

1.一种关于经由制造过程制造的多个产品进行预测的方法，所述方法包括：
由处理器接收与多个输出值和多个时间区间相关联的多个输入向量；
由所述处理器基于与所述输入向量相关联的所述时间区间来对所述多个输入向量进行聚类；
由所述处理器针对所述多个时间区间中的每一个时间区间来训练机器学习模型，所述机器学习模型的所述训练基于与所述时间区间相关联的所述输入向量以及与所述输入向量相关联的所述输出值；以及
由所述处理器训练用于针对接收到的所述多个产品中的产品的输入数据来选择所述多个时间区间中的一个时间区间的分类器，其中，与由所述分类器选择的所述时间区间相关联的所述机器学习模型被调用以基于所述输入数据来对输出进行预测。
2.根据权利要求1所述的方法，其中，所述多个输入向量中的输入向量包括从与所述多个产品中的产品相关联的跟踪数据提取的特征，并且所述多个输出值中的输出值指示所述跟踪数据中的缺陷水平。
3.根据权利要求2所述的方法，其中，与所述输入向量相关联的所述时间区间与收集所述跟踪数据时的时间相对应。
4.根据权利要求1所述的方法，其中，所述时间区间是与开始点和结束点相关联的有界时间区间。
5.根据权利要求1至4中任一项所述的方法，其中，所述多个时间区间中的第一时间区间保持与所述第一时间区间相关联的所述输入向量与对应输出值的第一关系，并且所述多个时间区间中的第二时间区间保持与所述第二时间区间相关联的所述输入向量与对应输出值的第二关系，其中，所述第一关系不同于所述第二关系。
6.根据权利要求5所述的方法，其中，与所述第一时间区间相关联的所述机器学习模型基于所述第一关系被训练，并且与所述第二时间区间相关联的所述机器学习模型基于所述第二关系被训练。
7.根据权利要求6所述的方法，其中，所述第一关系由于模型漂移而不同于所述第二关系。
8.根据权利要求1至4中任一项所述的方法，其中，所述多个时间区间中的每一个时间区间通过标签被识别，并且其中，所述分类器被训练为基于所述输入数据的特征来输出所述时间区间的所述标签。
9.根据权利要求1至4中任一项所述的方法，其中，所述机器学习模型是用于对制造的产品的缺陷可见度水平进行预测的回归模型。
10.一种关于经由制造过程制造的多个产品进行预测的方法，所述方法包括：
由处理器接收输入数据；
由所述处理器基于所述输入数据的特征来对时间区间进行预测；
由所述处理器基于由所述处理器预测的所述时间区间来从多个机器学习模型中识别机器学习模型；以及
由所述处理器调用所述机器学习模型以基于所述输入数据生成输出。
11.根据权利要求10所述的方法，其中，预测的所述时间区间是预测的收集所述输入数据时的时间。
12.根据权利要求10所述的方法，其中，所述多个机器学习模型中的每一个机器学习模型与不同的时间区间相关联。
13.根据权利要求10所述的方法，其中，所述机器学习模型基于输入向量与输出值的关系被训练，并且其中，所述关系随时间区间而改变。
14.一种关于经由制造过程制造的多个产品进行预测的系统，所述系统包括：
处理器；以及
存储器，其中，所述存储器包括指令，所述指令在由所述处理器执行时促使所述处理器执行：
接收与多个输出值和多个时间区间相关联的多个输入向量；
基于与所述输入向量相关联的所述时间区间来对所述多个输入向量进行聚类；
针对所述多个时间区间中的每一个时间区间来训练机器学习模型，所述机器学习模型的所述训练基于与所述时间区间相关联的所述输入向量以及与所述输入向量相关联的所述输出值；以及
训练用于针对接收到的所述多个产品中的产品的输入数据来选择所述多个时间区间中的一个时间区间的分类器，其中，与由所述分类器选择的所述时间区间相关联的所述机器学习模型被调用以基于所述输入数据来对输出进行预测。
15.根据权利要求14所述的系统，其中，所述多个输入向量中的输入向量包括从与所述多个产品中的产品相关联的跟踪数据提取的特征，并且所述多个输出值中的输出值指示所述跟踪数据中的缺陷水平。
16.根据权利要求15所述的系统，其中，与所述输入向量相关联的所述时间区间与收集所述跟踪数据时的时间相对应。
17.根据权利要求14所述的系统，其中，所述时间区间是与开始点和结束点相关联的有界时间区间。
18.根据权利要求14至17中任一项所述的系统，其中，所述多个时间区间中的第一时间区间保持与所述第一时间区间相关联的所述输入向量与对应输出值的第一关系，并且所述多个时间区间中的第二时间区间保持与所述第二时间区间相关联的所述输入向量与对应输出值的第二关系，其中，所述第一关系不同于所述第二关系。
19.根据权利要求18所述的系统，其中，与所述第一时间区间相关联的所述机器学习模型基于所述第一关系被训练，并且与所述第二时间区间相关联的所述机器学习模型基于所述第二关系被训练。
20.根据权利要求19所述的系统，其中，所述第一关系由于模型漂移而不同于所述第二关系。
CN202210375599.1A 2021-06-10 2022-04-11 关于经由制造过程制造的多个产品进行预测的系统和方法 Pending CN115470960A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163209268P 2021-06-10 2021-06-10
US63/209,268 2021-06-10
US17/401,216 2021-08-12
US17/401,216 US20220398525A1 (en) 2021-06-10 2021-08-12 Systems and methods for concept intervals clustering for defect visibility regression

Publications (1)

Publication Number Publication Date
CN115470960A true CN115470960A (zh) 2022-12-13

Family

ID=81581173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375599.1A Pending CN115470960A (zh) 2021-06-10 2022-04-11 关于经由制造过程制造的多个产品进行预测的系统和方法

Country Status (4)

Country Link
US (1) US20220398525A1 (zh)
EP (1) EP4102321A1 (zh)
KR (1) KR20220167247A (zh)
CN (1) CN115470960A (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190302707A1 (en) * 2018-03-28 2019-10-03 Mitsubishi Electric Research Laboratories, Inc. Anomaly Detection in Manufacturing Systems Using Structured Neural Networks
US20190384255A1 (en) * 2018-06-19 2019-12-19 Honeywell International Inc. Autonomous predictive real-time monitoring of faults in process and equipment
JP2022523563A (ja) * 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習および人工知能を使用する、機械異常の近リアルタイム検出ならびに分類
US11610076B2 (en) * 2019-08-07 2023-03-21 Applied Materials, Inc. Automatic and adaptive fault detection and classification limits
EP3862832A1 (en) * 2020-02-07 2021-08-11 Basf Se Generating a representation of a process network comprising at least two interconnected chenical plants
JP2023514282A (ja) * 2020-02-17 2023-04-05 データロボット， インコーポレイテッド 非表形式データのための自動データ分析方法、関連するシステム及び装置
WO2021252734A1 (en) * 2020-06-11 2021-12-16 DataRobot, Inc. Systems and methods for managing machine learning models
US20220147669A1 (en) * 2020-11-07 2022-05-12 International Business Machines Corporation Scalable Modeling for Large Collections of Time Series
US20220292340A1 (en) * 2021-03-11 2022-09-15 Capital One Services, Llc Identifying trends using embedding drift over time

Also Published As

Publication number Publication date
EP4102321A1 (en) 2022-12-14
KR20220167247A (ko) 2022-12-20
US20220398525A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US11714397B2 (en) System and method for generating machine learning model with trace data
US10579042B2 (en) Defect rate analytics to reduce defectiveness in manufacturing
US10452510B2 (en) Hybrid clustering-partitioning techniques that optimizes accuracy and compute cost for prognostic surveillance of sensor data
TW202129528A (zh) 產品分類系統及方法
US20210042585A1 (en) Abnormality detection device, abnormality detection method and computer readable medium
US20140303912A1 (en) System and method for the automatic determination of critical parametric electrical test parameters for inline yield monitoring
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
US11675643B2 (en) Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values
CN115308562A (zh) 芯片测试方法及相关设备
US20230289568A1 (en) Providing an alarm relating to an accuracy of a trained function method and system
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN111665066A (zh) 基于卷积神经网络的设备故障自适应上下预警界生成方法
Kozjek et al. Knowledge elicitation for fault diagnostics in plastic injection moulding: A case for machine-to-machine communication
KR20220137562A (ko) 제조 결함 분류 시스템 및 방법
JP2021033564A (ja) 画像分類方法、画像分類装置および画像分類プログラム
KR20180096834A (ko) Ｓｖｒ을 이용한 제조 공정의 최적 작업 조건을 예측하기 위한 작업 조건 예측 방법 및 시스템
JP7272455B2 (ja) 検出方法、検出プログラム及び情報処理装置
CN115470960A (zh) 关于经由制造过程制造的多个产品进行预测的系统和方法
EP4080421A1 (en) System and method for reassignment clustering for defect visibility regression
CN114202095A (zh) 关于经由制造过程制造的产品进行预测的系统和方法
WO2018168908A1 (en) Notification apparatus, notification method and computer program therefor
Salvador et al. Online detection of shutdown periods in chemical plants: A case study
CN115169832A (zh) 一种基于曲线形态变化的敏感性分析方法及系统
Shang et al. Control charts for monitoring two-dimensional spatial count data with spatial correlations
CN113361811A (zh) 运行状态预测方法、系统、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication