CN101598754A - 自动虚拟计量的系统及方法 - Google Patents
自动虚拟计量的系统及方法 Download PDFInfo
- Publication number
- CN101598754A CN101598754A CNA2008101112719A CN200810111271A CN101598754A CN 101598754 A CN101598754 A CN 101598754A CN A2008101112719 A CNA2008101112719 A CN A2008101112719A CN 200810111271 A CN200810111271 A CN 200810111271A CN 101598754 A CN101598754 A CN 101598754A
- Authority
- CN
- China
- Prior art keywords
- virtual metrology
- model
- value
- group
- process data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- General Factory Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种自动虚拟计量(Automatic Virtual Metrology;AVM)的系统与方法。AVM系统包含有一建模服务器及多个AVM服务器。建模服务器用于建构某类型的工艺装置(机台)的首套虚拟计量模型,该组虚拟计量模型包含:虚拟计量推测模型、RI(Reliance Index;信心指针)模型、GSI(GlobalSimilarity Index;整体相似度指针)模型、DQIX(Process Data Quality Index;工艺数据质量指针)模型、DQIy(Metrology Data Quality Index;计量数据质量指针)模型。在AVM方法中,建模服务器也可将此类型工艺装置的首套虚拟计量模型移植至其它同型工艺装置的AVM服务器中,接受移植的每一AVM服务器并可以自动换模(Refresh)方式恢复并维持其虚拟计量模型应有的精度。
Description
技术领域
本发明有关于一种虚拟计量的系统与方法,特别是有关于一种可将某一类型机台的整套虚拟计量模型移植至其它同型机台且能确保虚拟计量精度的自动虚拟计量(Automatic Virtual Metrology;AVM)的系统与方法。
背景技术
在半导体及薄膜晶体管-液晶显示器(TFT-LCD)产业中,为了确保生产机台的工艺稳定及提高产能与合格率,必须对生产机台的每片工件(Workpiece)进行在线(On-line)质量监控,其中工件在半导体厂称为芯片,在TFT-LCD厂则称为玻璃。虚拟计量是在工件产品尚未或无法进行实际计量的情况下,利用生产机台的工艺数据,推测其所生产的产品质量。应用虚拟计量时,由于同一类型或同一机台内各个反应室的物理特性不尽相同,为维持虚拟计量的估测精度,就必须根据机台内各个不同反应室的特性数据来建构其预测模型。因此,如欲将虚拟计量导入全厂各个机台时,现有技术需建构每一个机台内各个反应室(工艺装置)的预测模型,使得全厂的模型数量将随机台的种类及数量的增加而越趋庞大。因此,若仍采用现有技术的对每一个机台内各个反应室分开各自建模的方式,必须获取大量的历史数据来对每一个机台内各个反应室一一建模,如此会耗费极庞大的人力资源与成本,使全厂导入虚拟计量几乎成为一个不可能的任务。因此,需要发展一种自动虚拟计量的系统与方法,以解决上述全厂导入虚拟计量的问题。
此外,现有技术尚未具对收集到的工艺数据或实际计量数据进行在线与实时的质量评估的能力。因此,若其中工艺或计量数据发生异常时,现有技术仍会使用异常的工艺或计量数据来调整虚拟计量模型,因而会影响预测的准确度。再者,为了解决全厂导入虚拟计量在各个生产机台的工艺装置(例如:反应室)时可能产生的大量建模所需的数据质量评估与筛选问题,也必须具备能够在线实时且自动地评估与筛选工艺与计量数据质量的能力,以便能全自动地排除异常的工艺及实际计量数据,节省大量的人力与时间。因此,需要发展具自动评估与筛选能力的数据质量指标,以适用于虚拟计量。
发明内容
本发明的所要解决的技术问题在于提供一种自动虚拟计量(AutomaticVirtual Metrology;AVM)的系统与方法,借以提供虚拟计量模型自动移植(Automatic Fanning Out)与自动换模(Automatic Model Refreshing)的技术,来大量节省导入虚拟计量至其它同型机台或同一机台的各反应室的时间,并维持虚拟计量应有的精度。
本发明的又一目的为提供一种自动虚拟计量的系统与方法,借以针对工艺数据和实际计量数据,提供具自动评估与筛选能力的数据质量评估指标。
为了实现上述目的,本发明提供一种自动虚拟计量的系统与方法。依照本发明的实施例,该自动虚拟计量(AVM)的服务器至少包括:一组虚拟计量模型、一中央核心控管模块、一数据前处理模块、一可插入式驱动接口(PluggableDriver Interface;PDI)、一数据收集驱动装置、一可插入式应用程序接口(Pluggable Application Interface;PAI)和一虚拟计量(VM)模型储存模块。
该组虚拟计量模型至少包括:一推测模型(conjecture model)、一RI(Reliance Index;信心指针)模型、一GSI(Global Similarity Index;整体相似度指针)模型、一DQIX(Process Data Quality Index;工艺数据质量指针)模型、及一DQIy(Metrology Data Quality Index;计量数据质量指针)模型。推测模型是用以产生一工件的一虚拟计量值,其中推测模型的建立是根据一推测算法,该推测算法为类神经网络(Neural Network;NN)算法、多元回归(Multi-Regression;MR)算法、支持向量机(Support Vector Machines;SVM)算法或其它具预测能力的算法。RI模型是用以产生虚拟计量值的信心指标值,其中信心指针模型的建立是根据一参考预测算法,该参考预测算法为多元回归算法、类神经网络算法、支持向量机(SVM)算法或其它具预测能力的算法,且与推测算法不同。GSI模型是用以计算出工艺数据的整体相似度指针值,其中整体相似度指针模型的建立是根据马氏距离(Mahalanobis Distance)算法。DQIX模型是用以计算出该工艺数据的工艺数据质量指针值(DQIX值),其中DQIX模型的建立是根据主成分分析法(Principal Component Analysis,PCA)和欧氏距离(Euclidean Distance;ED)。DQIy模型是用以计算出实际计量值的计量数据质量指针值,其中DQIy模型的建立是根据自适应共振理论2(Adaptive Resonance Theory 2;ART2)及标准化变异(Normalized Variability;NV)。
中央核心控管模块是用以监控AVM服务器中其它各模块的状态并依照一双阶段的虚拟计量机制来控制各模块的运作流程。数据前处理模块是用以根据DQIX模型及DQIy模型,来进行工艺数据和实际计量值的数据质量评估。数据收集驱动装置连接至可插入式驱动接口,用以获取工艺数据和实际计量值,其中收集完成的工艺数据和实际计量值经由可插入式驱动接口提供给数据前处理模块处理。VM模型储存模块连接至可插入式应用程序接口,用以放置整套虚拟计量模型。
在又一实施例中,前述的AVM服务器以最新收到的一组工艺数据和实际计量值取代建模用的多组历史工艺数据和多个历史计量值其中最旧的数据,来重新训练或调校虚拟计量模型。
依照本发明的实施例,该自动虚拟计量的系统至少包括:一第一工艺装置、一第一计量机台、一第一AVM服务器、一建模服务器、一第二工艺装置、一第二计量机台、及一第二AVM服务器。第一工艺装置具有多组历史工艺数据和一组第一工艺数据,其中第一工艺装置根据该组第一工艺数据来生产第一工件。第一计量机台具有多个历史计量值并计量出第一工件的第一实际计量值,其中所述多个历史计量值分别为根据所述多组历史工艺数据所生产的工件的实际计量值。第一AVM服务器是用以收集历史工艺数据和历史计量值。建模服务器是用以使用历史工艺数据和历史计量值来建立前述的虚拟计量模型。第二工艺装置是用以根据一组第二工艺数据来生产第二工件。第二计量机台是用以计量出第二工件的第二实际计量值。第二AVM服务器是用以使用其内部的虚拟计量模型来对第二工件进行虚拟计量。
在该自动虚拟计量的系统中,第一AVM服务器以第一工艺数据和第一实际计量值取代历史工艺数据和历史计量值其中最旧的数据,来重新训练或调校第一AVM服务器内的虚拟计量模型。
在该自动化型虚拟计量的系统中,第二AVM服务器以第二工艺数据和第二实际计量值取代历史工艺数据和历史计量值其中最旧的数据,来重新训练或调校第二AVM服务器内的虚拟计量模型。
依照本发明的实施例,在该自动虚拟计量的方法中,首先,进行建模步骤,用以根据多个历史计量值和与上述多个历史计量值相对应的多组历史工艺数据来建立一组第一组虚拟计量模型,其中该第一组虚拟计量模型至少包括:一推测模型、一RI模型、和一GSI模型。接着,收集一工艺装置所送出的一工件的工艺数据。当工艺装置所送出的该工件的一组第一工艺数据收集完成后,立即进行第一阶段虚拟计量步骤。在第一阶段虚拟计量步骤中,进行第一阶段虚拟计量计算步骤,以输入第一工艺数据至第一组虚拟计量模型内的推测模型,而计算出该工件的第一阶段虚拟计量值(VMI)和与其伴随的RI和GSI。当从一计量机台取得该工件的一第一实际计量值时,进行第二阶段虚拟计量步骤,其中根据生产机台是否已闲置超过一段预定时间;或一手动指示;或一换模指示(如欲进行换模程序时则其初始设定为是),来决定是否进行重新训练步骤。如不必进行重新训练步骤则进行调校步骤即可。在重新训练或调校步骤中,以第一工艺数据及第一实际计量值取代历史工艺数据及历史计量值其中最旧的工艺数据和实际计量值,来重新建立一组第二组虚拟计量模型,其中该组第二组虚拟计量模型的种类和建构方法与第一组虚拟计量模型相同。然后,采用该组第二组虚拟计量模型来重新计算该工件所属的卡匣内的所有工件的第二阶段虚拟计量值(VMII)和与其伴随的RI和GSI。接着,以第二组虚拟计量模型取代第一组虚拟计量模型,来计算出后续进入该工艺装置的工件的第一阶段虚拟计量值。
在该自动虚拟计量的方法中,前述的第一组虚拟计量模型还至少包括:一RI模型和一GSI模型。RI模型内包括有一参考预测模型,用以产生工件的参考预测值。首先,在前述的建模步骤中,以采用全部的历史工艺数据及历史计量值,并应用交互验证(Cross Validation)中的留一法(Leave-One-Out;LOO)原理抽取历史数据中的一笔做为测试样本,而将其余样本全数用来建立第一组虚拟计量模型内的LOO推测模型、LOO参考预测模型、和LOO GSI模型,并求得该测试样本的虚拟计量推测误差、参考预测误差、及GSI值。重复上述步骤直到建模样本中的所有各笔样本均计算出其相对应的LOO推测误差、LOO参考预测误差、及所有LOO GSI值,以便求出所有所算出的LOO虚拟计量推测误差及LOO参考预测误差的最大值和最小值,及所有所算出的LOO GSI值的例如90%截尾均值(Trimmed Mean),以便用来计算出一虚拟计量推测换模门槛值、一参考预测换模门槛值和一GSI换模门槛值。
在前述建模步骤完成后,即可将该组建构完成的第一组虚拟计量模型(至少包括一推测模型、一RI模型内的参考预测模型、和一GSI模型)移植至其它同型机台,然后即可在该同型机台的AVM服务器上进行换模程序。
换模程序首先在第一阶段虚拟计量步骤中,输入一工件的第一工艺数据至该第一组虚拟计量模型的推测模型、RI模型内的参考预测模型、和GSI模型,而计算出该工件者的一第一阶段虚拟计量推测值、一第一阶段参考预测值、和一第一阶段GSI值。
在第二阶段虚拟计量计算步骤中,将该输入工件的第一工艺数据及第一实际计量值取代历史工艺数据及历史计量值其中最旧的工艺数据和实际计量值。接着,采用此新的历史工艺数据及历史计量值组合来重新训练或调校一第二组虚拟计量模型。然后,以该第二组虚拟计量模型取代第一组虚拟计量模型,来计算出后续进入该工艺装置的工件的第一阶段虚拟计量推测值、第一阶段参考预测值、和第一阶段GSI值。
当换模指示为是时,定义进入第二阶段虚拟计量计算的该工件与其前后连续多个工件为连续多个换模点(例如:3点)。接着,定义第一换模完成的条件为:这些连续多个换模点的第一阶段虚拟计量推测值的平均绝对误差百分比(Mean Absolute Percentage Error;MAPE)小于虚拟计量推测换模门槛值;定义第二换模完成的条件为:这些连续多个换模点的第一阶段参考预测值的平均絶对误差百分比(MAPE)小于参考预测换模门槛值;定义第三换模完成的条件为:这些连续多个换模点的第一阶段GSI值小于GSI换模门槛值。然后,判断第一换模完成的条件、第二换模完成的条件和第三换模完成的条件是否同时达成,并获得一判断结果,其中当判断结果为是时,将换模指示设为否;否则换模指示仍为是。
在此自动虚拟计量的方法中,前述的第一组虚拟计量模型还至少包括:一工艺数据质量指针(DQIX)模型和一计量数据质量指针(DQIy)模型。在前述的建模步骤中,以历史工艺数据及历史计量值,并应用留一法的原理在第一组虚拟计量模型内的DQIX模型,来计算出一第一工艺数据质量门槛值();且应用相似样版群内最大可容许的变异的观念在第一组虚拟计量模型内的DQIy模型来计算出一第一计量数据质量门槛值()。接着,在前述的第一阶段虚拟计量步骤中,在进行第一阶段虚拟计量计算步骤之前,先输入工艺装置所送出的一工件的工艺数据至第一组虚拟计量模型内的DQIX模型,而计算出该工件的一第一工艺数据质量指标(DQIX)值。然后,检查第一工艺数据质量指标值(DQIX)是否大于第一工艺数据质量门槛值(),并获得一第一检查结果,其中当第一检查结果为是时,则发出警告并要求数据分析,尔后才进行第一阶段虚拟计量计算步骤。然后,在第二阶段虚拟计量步骤中,先输入一工件的实际计量值至第一组虚拟计量模型内的DQIy模型,而计算出该工件的一第一计量数据质量指标值,再检查第一计量数据质量指标值是否大于第一计量数据质量门槛值(),并获得一第二检查结果,其中当第二检查结果为是时,则发出警告并要求数据分析且结束第二阶段的步骤;当第二检查结果为否时,则才能进行重新训练或调校步骤。
因此,应用本发明,可大量节省导入虚拟计量至其它同型机台或同一机台内的各反应室的时间,并维持虚拟计量应有的精度;可自动评估与筛选工艺数据和实际计量数据,因而满足全厂导入虚拟计量的需求。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
为了更完整了解本发明及其优点,请参照上述叙述并配合下列的附图,其中:
图1为根据本发明的实施例的自动虚拟计量的系统的架构示意图;
图2为根据本发明的实施例的AVM服务器的架构示意图;
图3为说明本发明的较佳实施例的信心指标值的示意图;
图4为说明本发明的较佳实施例的信心指标门槛值的示意图;
图5为根据本发明的实施例的自动虚拟计量系统的运作时序示意图;
图6A为根据本发明的实施例的建模步骤的流程示意图;
图6B为根据本发明的实施例的产生第一个DQIX模型和DQIy模型的步骤的流程示意图;
图7A为根据本发明的实施例的(双阶段虚拟计量)自动移植模型步骤的流程示意图;
图7B为根据本发明的实施例的评估工艺数据质量指标值(DQIX)的流程示意图;
图7C为根据本发明的实施例的评估计量数据质量指针(DQIy)的流程示意图;
图8为应用本发明的实施例于一CVD机台的结果。
【主要组件符号说明】
10 自动虚拟计量系统
12 工艺数据
14 实际计量数据
20a、20b 工艺装置
22a、22b 计量机台
30、30a、30b AVM服务器
32 中央核心控管模块
34 可插入式通讯接口(PCI)
36 可插入式应用程序接口(PAI)
38 可插入式驱动接口(PDI)
40 双阶段虚拟计量机制
42 报告产生器
44 通讯代理者
46 VM模型储存模块
48 数据收集驱动装置
50a、50b 虚拟计量单元
52 数据前处理模块
56 数据库
58 图形使用者界面
60 建模服务器
62 因特网
100 收集数据
110 收集计量数据
120 收集工艺数据
130 检查计量数据与工艺数据的关联性
131 检查关联比对是否成功
132 传送有关联的数据
134 历史数据量是否足够
140 去除异常工艺与计量数据
150 产生第一个DQIX模型和DQIy模型
152 建构第一个DQIX模型
154 计算z分数
156 建构第一个DQIy模型
160 筛选数据
170 产生首套推测模型、RI模型和GSI模型
180 模型移植
190 自动换模完成后提供服务
200 模型移植
210 自动换模完成后提供服务
300 第一阶段虚拟计量步骤
302 收集某一工件的工艺数据
304 是否收集完成
310 评估DQIX
312 获取数据特征变量
313 重新计算特征获取矩阵M
314 重新计算
316
317 转换为z分数
318 发出通知并要求数据分析
320 计算工件的VMI与其伴随的RI和GSI
400 第二阶段虚拟计量步骤
402 收集某一工件的实际计量数据
410 是否收集完成
420 检视数据的关联性
422 关联性检查是否成功
424 判断关联到的工艺数据是否正常
430 评估DQIy
432 搜寻出最相似样版Pq
433 在{P1,P2,...,Pm}中搜寻相似样版
436
438 发出通知并要求数据分析
439 转换为z分数
440 判断生产机台是否已闲置超过一段预定时间
450 是否有手动的指示或换模指示
460 重新训练步骤
470 调校步骤
480 更新模型
490 计算该工件所属的卡匣内的所有工件的VMII与其伴随的RI和GSI
如换模完成条件已达成则取消换模指示
A 重叠面积
具体实施方式
请参照图1,其示出根据本发明的实施例的自动虚拟计量的系统的架构示意图。自动虚拟计量(AVM)系统10至少包括有建模服务器60、及多个虚拟计量单元50a和50b,其中虚拟计量单元50a和50b可透过因特网62与建模服务器60进行通讯。虚拟计量单元50a至少包括有AVM服务器30a、工艺装置20a和计量机台22a;虚拟计量单元50b至少包括有AVM服务器30b、工艺装置20b和计量机台22b。工艺装置20a具有已生产过的工件的多组历史工艺数据和正在或即将要生产的第一工件的第一工艺数据;工艺装置20b具有正在或即将要生产的第二工件的第二工艺数据。计量机台22a具有已生产过的工件的多个历史计量值并计量出第一工件的第一实际计量值,其中这些实际计量值可分别对应至工艺装置20a内的工艺数据值。计量机台22b具有正在或即将要计量出第二工件的第二实际计量值,该第二实际计量值可对应至工艺装置20b内的第二工件的第二工艺数据。在自动虚拟计量系统10中,建模服务器60先使用工艺装置20a的历史工艺数据与其所对应的历史计量值来建立一组虚拟计量模型,再将此组虚拟计量模型自动移植至AVM服务器30b,以对工艺装置20b所生产的第二工件进行虚拟计量,借以不必另行发展针对工艺装置20b的虚拟计量模型。此外,由于工艺装置20a和20b可为同型机台或同一机台的不同反应室,其物理特性不尽相同,故AVM服务器30b会在换模指示为“是”的条件下,以新取得的第二工艺数据和其所对应的第二实际计量值取代建模用的历史工艺数据和历史计量值其中最旧的数据,来逐点重新建立(更新)新移植的虚拟计量模型,即所谓的“换模步骤”。同样地,AVM服务器30a也可在换模指示为“是”的条件下,以第一工艺数据和其所对应得第一实际计量值取代建模用的历史工艺数据和历史计量值其中最旧的数据,来重新训练其虚拟计量模型,以恢复或维持虚拟计量模型应有的精度。
广义地来说,本实施例的“工艺数据”可包括生产机台的传感器数据(SensorData)、机台状态数据(Equipment State Data)、和前一工艺的计量值(Prior-ProcessMetrology Values)等,其中前一工艺的计量值是前一工艺的虚拟计量值和/或实际计量值。
本实施例的虚拟计量模型至少包括:推测模型、RI模型、GSI模型、DQIX模型及DQIy模型。推测模型是用以产生前述的第一工件或第二工件的虚拟计量值,其中该推测模型的建立是根据例如类神经网络算法、多元回归算法、支持向量机算法或其它具预测能力的算法;RI模型是用以产生前述的第一工件或第二工件的虚拟计量值的信心指针值,其中RI模型内的参考预测模型的建立是根据例如多元回归算法、类神经网络算法、支持向量机算法或其它具预测能力的算法,此参考预测算法必须与所采用的推测算法不同;GSI模型是用以计算出前述的第一工艺数据或第二工艺数据的整体相似度指针值,其中GSI模型的建立是根据马氏距离算法;DQIX模型是用以计算出第一工艺数据或第二工艺数据的工艺数据质量指针值(DQIX),其中DQIX模型的建立是根据主成分分析法(PCA)和欧氏距离;DQIy模型是用以计算出前述的第一实际计量值或第二实际计量值的计量数据质量指标值(DQIy),其中DQIy模型的建立是根据自适应共振理论2(ART2)及标准化变异。
请参照图2,其示出根据本发明的实施例的AVM服务器的架构示意图。由于图1所示的AVM服务器30a和30b的结构与各构件的功能均相同,故以下以AVM服务器30为代表来进行说明。在AVM服务器30中,中央核心控管模块32负责监控AVM服务器30中其它各模块的状态并依照一双阶段虚拟计量机制40来控制各模块的运作流程;数据库56提供给AVM服务器30储存各式数据质量评估与和虚拟计量推测相关的所有模型、系统状态、及预测结果等信息;图形使用者界面58提供使用者进行系统状态与预测结果监视及参数设定等的功能;报告产生器42可依照使用者需求,产出管制所需的系统状态及预测结果等数据报表。数据前处理模块52根据一DQIX模型及一DQIy模型来进行工艺数据和实际计量值的数据质量评估。可插入式驱动接口(PDI)38用来连接一数据收集驱动装置48,以获取工艺数据12和实际计量(值)数据14,其中收集完成的工艺数据和计量值经由PDI 38提供给数据前处理模块52处理。PDI 38具可插入的功能,即系统可依照不同的机台种类,更换适合机台的数据收集驱动装置与之适应。可插入式通讯接口(PCI)34用来连接一通讯代理者44,以与图1所示的建模服务器60进行通讯,其中PCI 34具可插入功能,即AVM服务器30可依照不同的系统交连规格,更换适合远程应用模块的交连规格的通讯代理者与之适应。可插入式应用程序接口(PAI)36用来连接一VM模型储存模块46,其中VM模型储存模块46用以放置一组正在使用的虚拟计量模型。PAI 36也具可插入的功能,即系统可依照不同的机台种类,更换适合此机台的整组虚拟计量模型来与之适应。
以下,先说明信心指针值(RI模型)和整体相似度指针值(GSI模型)相关的理论基础。至于DQIX模型和DQIy模型则在后续的流程中说明。
信心指标和工艺相似度指标是为了实时了解虚拟计量值是否可以被信赖。信心指针模型是通过分析工艺装置的工艺数据,计算出一介于零与壹之间的信心值(信心指标值),以判断虚拟计量的结果是否可以被信赖。相似度指针模型是用以计算工艺的整体相似度指标值。整体相似度指标值的定义为目前输入的工艺数据与推测模型内用来训练建模的所有参数数据的相似程度。
信心指标
如表1所示,假设目前搜集到n组计量的数据,包含工艺数据(Xi,i=1,2,...,n)及其对应的实际计量值数据(yi,i=1,2,...,n),其中每组工艺数据包含有p个参数(自参数1至参数p),即Xi=[xi,1,xi,2,...,xi,p]T。此外,也搜集到(m-n)笔实际生产时工艺数据,但除yn+1外,并无实际计量值数据,即在(m-n)笔实际生产的工件中,仅抽测例如第一笔工件进行实际计量,再以其实际计量yn+1来推断其它(m-n-1)笔工件的质量。
表1原始数据范例
样本数据点 | 参数1 | 参数2 | 参数p | 实际计量值 | |
1 | x1,1 | x1,2 | ... | x1,p | y1 |
2 | x2,1 | x2,2 | ... | x2,p | y2 |
... | ... | ... | ... | ... | ... |
n | xn,1 | xn,2 | ... | xn,p | yn |
n+1 | xn+1,1 | xn+1,2 | ... | xn+1,p | yn+1 |
n+2 | xn+2,1 | xn+2,2 | ... | xn+2,p | Zip |
... | ... | ... | ... | ... | ... |
m | xm,1 | xm,2 | ... | xm,p | Zip |
在表1中,y1、y2、...、yn为历史计量值,yn+1为正在生产中的工件批货中的第一个工件的实际计量值。通常,一组实际计量值(yi,i=1,2,...,n)为具有平均数μ,标准差σ的常态分配,即yi~N(μ,σ2)。
针对样本组(yi,i=1,2,...,n)的平均数与标准差将所有实际计量值数据标准化后,可得到(也称为z分数(z Scores)),其中每一个z分数的平均数为0,标准差为1,即对实际计量数据而言,若愈接近0,则表示计量数据愈接近规格中心值。其标准化的公式如下:
其中,
yi为第i组实际计量值数据;
y为所有实际计量值数据的平均数;
σy为所有实际计量值数据的标准差。
此处的说明是应用类神经网络(NN)算法的推测算法来建立进行虚拟计量的推测模式,并以例如多元回归算法的参考预测算法来建立的验证此推测模式的参考模式。然而,本发明也可使用其它算法为推测算法或参考预测算法,只要参考预测算法是不同于推测算法即可,故本发明并不在此限。
在应用类神经网络算法和多元回归算法时,如其收敛条件均为误差平方和(Sum of Square Error;SSE)最小的条件下,且n→∞时,此两模式各自标准化后的实际计量值定义为与则其均应与真正标准化后的实际计量值相同。换言之,当n→∞时, 均代表标准化后的实际计量值,但为因应不同模式的目的而改变其名称。因此且表示与为相同分配,但由于不同的估计模式,使得该两种预测算法的平均值与标准差的估计值不同。也即NN推测模式标准化后的平均数估计式 与标准差估计式 将与多元回归模式标准化后的平均数估计式 与标准差估计式 不同。
信心指标值被设计来判断虚拟计量值的可信赖度,因此信心指标值应考虑到虚拟计量值得统计分配与实际计量值的统计分配两者之间的相似程度。然而,当应用虚拟计量时,并无实际计量值可被使用来评估虚拟计量值的可信赖度(明显地,若获得实际计量值则便不需要虚拟计量了)。所以本发明采用由参考预测算法(例如多元回归算法)所估算的统计分配来取代的统计分配。本发明的参考预测算法也可为其它相关的预测算法,故本发明并不在此限。
请参照图3,其示出说明本发明的较佳实施例的信心指标值的示意图。本发明的信心指标值的定义为计算推测模式(例如采用类神经网络(NN)算法)的预测(虚拟计量值)的分配与参考模式(例如采用多元回归算法)的预测(参考计量值)的分配两者之间的交集面积覆盖值(重叠面积A)。因此,信心指标值的公式如下:
其中,当 则
当 则
σ设为1。
信心指标值是随着重叠面积A的增加而增加。此现象指出使用推测模式所获得的结果较接近于使用参考模式所获得的结果,因而相对应的虚拟计量值较可靠。否则相对应的虚拟计量值的可靠度是随着重叠面积A的减少而降低。当由所估计的分配与由所估计的分配完全重叠时,依照统计学的分配理论,其信心指标值等于1;而当两分配几乎完全分开时,其信心指标值则趋近于0。
在进行NN推测模式的建模之前,需先进行工艺数据标准化的步骤。
NN推测模式工艺数据标准化公式如下所示:
其中,
xi,j为第i组工艺数据中的第j个工艺参数;
xj为第j个工艺参数的平均值;
使用此n组标准化后的工艺数据 与此n组标准化后的实际计量值 来建构NN推测模式。然后,输入m组标准化后的工艺数据 至NN推测模式中,以获得相对应的标准化后的虚拟计量值
(11)
Λ
假设
利用统计学上多元回归分析中的最小平方法,可求得参数βr的估计式 即
然后,多元回归模式可得到:
i=1,2,...,n,n+1,...,m (15)
当求得NN推测模式的估计式与及多元回归模式的估计式与后,可绘出如图3所示的常态分配图,计算使用推测模式(例如采用类神经网络(NN)算法)的预测(虚拟计量值)的分配与参考模式(例如采用多元回归算法)的预测(参考计量值)的分配两者之间的交集面积覆盖值(重叠面积A),即可求出每一个虚拟计量值的信心指标值。
在获得信心指标值(RI)后,必须要订定一个信心指标门槛值(RIT)。若RI>RIT,则虚拟计量值的可靠程度是可被接受的。以下描述决定信心指标门槛值(RIT)的方法:
在订定信心指标门槛值(RIT)之前,首先需订定出最大可容许误差上限(EL)。虚拟计量值的误差(Error)为实际计量值yi与由NN推测模式所获得的的差值,再除以所有实际计量值的平均值后的绝对值的百分率,即
然后,可根据公式(18)所定义的误差与虚拟计量的精确度规格来指定最大可容许误差上限(EL)。因此,信心指标门槛值(RIT)被定义为对应至最大可容许误差上限(EL)的信心指标值(RI),如图4所示。即,
μ和σ定义于公式(4)中;及
其中σy定义于公式(3)中。
整体相似度指标(GSI)
如上所述,当应用虚拟计量时,并未有实际计量值可获得来验证虚拟计量值的精确度。因此,以标准化后的复回归估计值取代标准化后的实际计量值来计算信心指标值(RI)。然而,此种取代可能会造成信心指标值(RI)的误差,为了补偿这种情形,本发明提出工艺的整体相似度指标(GSI)来帮助判断虚拟计量的可靠程度。
本发明所提出的GSI的概念是将目前采用来当虚拟计量系统的输入的设备工艺数据与建模时的所有历史参数数据相比较,得到一输入的工艺数据与所有历史参数数据的相似程度指针。
本发明可用各种不同的统计距离算法(例如马氏距离算法)来量化相似度。马氏距离是由P.C.Mahalanobis于公元1936年所介绍的统计距离算法。此种技术手段是基于变量间的关联性以辨识和分析不同样本组的型态。马氏距离用以决定未知样本组与已知样本组间的相似度的方法,此方法考虑数据组间的关联性并具有尺度不变性(Scale Invariant),即不与计量值的大小相关。若数据具有高相似度,则所计算出的马氏距离将会较小。
本发明是利用所计算出的GSI(马氏距离)的大小,来分辨新进的工艺数据是否相似于建模的所有工艺数据。若计算出的GSI小,则表示新进的工艺数据类似于建模的工艺数据,因此新进的工艺数据(高相似度)的虚拟计量值将会较准确。反之,若计算出的GSI过大,则表示新进的工艺数据与建模的工艺数据有些不同。因而新进的工艺数据(低相似度)的虚拟计量值的准确性的信心度较低。
推测模式的标准化工艺参数的计算公式如式(5)、(6)和(7)所示。首先,定义样版参数数据XM=[xM,1,xM,2,...,xM,p]T,其中等于xj,j=1,2,Λ,p。如此,则标准化后的建模工艺数据的各参数均为0(也即标准化后的建模参数ZM,j为0)。换言之,ZM=[ZM,1,ZM,2,...,ZM,p]T中的所有参数均为0。接下来计算各个标准化后建模参数之间的相关系数。
假设第s个参数与第t个参数之间的相关系数为rst,而其中有k组数据,则
在完成计算各参数间的相关系数之后,可得到相关系数矩阵如下:
假设R的反矩阵(R-1)被定义为A,则
如此,第λ笔标准化的工艺参数(Zλ)与标准化的样版参数数据(ZM)间的马氏距离(Dλ 2)计算公式如下:
(24)
可得
而第λ笔工艺数据的GSI值为Dλ 2/p。
在获得GSI值后,应定义出GSI门槛值(GSIT)。GSI门槛值(GSIT)的公式如下:
GSIT=a*GSILOO (26)
所谓“LOO原理”是从全部建模样本中,抽取一笔作为仿真上线的测试样本,再使用其余的样本建立GSI模型,然后应用此新建的GSI模型针对此笔仿真上线的测试样本计算出其GSI值,此值以GSILOO表示。接着重复上述步骤直到建模样本中所有各笔样本均计算出其相对应的GSILOO。因此,公式(26)中GSILOO代表透过LOO原理由全部建模样本所计算出的所有GSILOO的例如90%截尾均值(Trimmed Mean)。公式(26)的a值介于2至3之间,其可依实际状况微调之,a的默认值为3。
以下说明本发明的自动虚拟计量系统的运作方法。
请参照图1和图5,图5示出根据本发明的实施例的自动虚拟计量系统的运作时序示意图,其中包括有用以产生首套虚拟计量模型的建模步骤、和自动移植模型的步骤。在建模步骤中,首先,建模服务器60利用AVM服务器30a收集建模所需的数据(步骤100),其中建模所需的数据包含有多组历史工艺数据和其所对应的多个历史计量值等。接着,AVM服务器30a透过其数据收集驱动器联机到计量机台22a收集历史计量值数据(步骤110),并透过其数据收集驱动器联机到工艺装置20a收集历史工艺数据(步骤120)。然后,AVM服务器30a检查计量数据与工艺数据(步骤130),以比对历史工艺数据与历史计量值的关联性,即彼此的对应关系是否正确,例如:同一工件的历史工艺数据与历史计量值应具有相同的工件识别号码。接着,AVM服务器30a将比对成功的所有计量数据与工艺数据(有关联的数据)传送至建模服务器60(步骤132)。然后,建模服务器60将收集到建模所需的数据,进行数据前处理,以去除异常工艺与计量数据,来确保建模数据的正确性(步骤140)。然后,建模服务器60产生第一个DQIX模型以及第一个DQIy模型(步骤150),至于建立DQIX模型及DQIy模型的方法将在后面说明。接着,建模服务器60应用第一个DQIX模型以及第一个DQIy模型,来进行筛选数据的步骤160,以挑选出建立推测模型、RI模型和GSI模型所需的足够且相关联的工艺数据与计量数据。然后,建模服务器60应用所挑选的相关联的工艺数据与计量数据,来产生首套推测模型、RI模型和GSI模型(步骤170)。
在建立首套虚拟计量模型后,便可进入自动移植的步骤,以将此首套虚拟计量模型移植至AVM服务器30a和30b,来对工艺装置20a和20b所生产的工件进行虚拟计量。在自动移植阶段中,首先,建模服务器60将建立完成的首套推测模型、RI模型、GSI模型、DQIX模型及DQIy模型移植至AVM服务器30a端(步骤180)。接着,AVM服务器30a即开始进行自动换模的程序(重新训练步骤),完成后便可立即进行与虚拟计量相关的所有服务(步骤190)。建模服务器60也将建立完成的首套推测模型、RI模型、GSI模型、DQIX模型及DQIy模型移植至AVM服务器30b端(步骤200)。接着,AVM服务器30b即开始进行自动换模的程序(重新训练步骤),完成后便可立即进行与虚拟计量相关的所有服务(步骤210)。
以下说明建立首套虚拟计量模型的建模步骤、及应用双阶段算法进行自动移植模型的步骤。
建模步骤
当某一型式工艺装置尚未有虚拟计量模型时,就须应用建模服务器60,以建立针对某一型式的机台(工艺装置20a)的首套推测模型、RI模型、GSI模型、DQIX模型及DQIy模型。请参照图6A,其示出根据本发明的实施例的建模步骤的流程示意图。首先,进行步骤110,以收集(历史)实际计量值。理论上,所有的实际计量数据,必有其相对应的(历史)工艺数据。所以,在收集到一笔实际计量值后,便进行检查计量数据与工艺数据的关联性(步骤130)。接着,进行步骤131,以检查关联比对是否成功,当比对成功时,就收集此相对应的工艺数据(步骤132);若比对不成功,则放弃该笔计量数据,重新收集,回到步骤110。接着,判断已收集的历史数据量是否足够(步骤134)。若建立模型所需的所有历史计量与工艺数据量已收集足够(步骤134),工艺工程师就可进行步骤140,以去除异常工艺与计量数据,来确保建模数据的正确性;否则,回到步骤110。在步骤140中,工艺工程师逐笔检验所收集到的所有历史计量与工艺数据,以建立工艺数据的正规时态样版(Process Data StandardTemporal Patterns),并选择适当的指标(Indicators),且建立计量数据的异常模式。然后,应用那些符合正规时态样版的工艺数据,并比对历史计量数据至计量数据的异常模式,来去除异常工艺与计量数据。然后,使用处理过的历史计量与工艺数据,来产生第一个DQIX模型以及第一个DQIy模型(步骤150)。以下说明步骤150的流程。请参照图6B,其示出根据本发明的实施例的产生第一个DQIX模型和DQIy模型的步骤150的流程示意图。当所有工艺与计量数据皆为正常且笔数也足够后,即可进行步骤150。首先,进行步骤152,以建构第一个DQIX模型。以下说明建构DQIX模型的方法。
假设步骤140收集到n组历史工艺数据来建构第一个DQIX模型,其中每一组历史工艺数据是由p个参数所组成。透过主成分分析法并应用此n组历史工艺数据来产生p个特征向量(Eigenvectors),此p个特征向量具有对应的大至小排序的特征值(Eigenvalues)λ1≥λ2≥...≥λp。然后,选择一组k个重要的特征值(λ≥1),以建构一特征获取矩阵M如下:
以下说明计算DQIX值的方法:
首先,应用公式(28)将第i个输入的工艺数据Xi转成k个数据特征变量Ai=[a1,a2,...,ak]。
Ai=M·Xi (28)
接着,将k个数据特征变量转成标准化的一组z分数 再以欧氏距离(ED)将此组z分数转成DQIX值:
其中,i:第i组工艺数据;
理论上,为0,故公式(29)可被简化如下:
所谓“LOO原理”是从全部建模样本中,抽取一笔作为仿真上线的测试样本,再使用其余的样本建立DQIX模型,然后应用此新建的DQIX模型针对此笔仿真上线的测试样本计算出其DQIX值,此值以表示。接着重复上述步骤直到建模样本中所有各笔样本均计算出其相对应因此,公式(31)中代表透过LOO原理由全部建模样本所计算出的所有的例如90%截尾均值(Trimmed Mean)。公式(31)的a值介于2至3之间,其可依实际状况微调之,a的默认值为3。
完成步骤152后,进行步骤154,以计算历史工艺数据的z分数(z Scores)。接着,进行步骤156,以建构第一个DQIy模型。本实施例的第一个DQIy模型由m个相似样版(Similar Patterns)所组成。本实施例是应用自适应共振理论2(ART2)在ρ=0.98的条件下,从n组历史工艺数据的z分数中分类(Sorting)出相似样版{P1,P2,...,Pm}。
以下说明计算DQIy值的方法:
首先,当收集到新进的实际计量值yj时,以自适应共振理论2(ART2),并应用实际计量值yj所对应的工艺数据的z分数在相似样版群{P1,P2,...,Pm}中搜寻出最相似的样版:Pq=[Xq,1,Xq,2,...,Xq,v]。然后,应用Pq中的v个样本与其对应的v个实际计量值Yq=[yq,1,yq,2,...,yq,v]及此新进的实际计量值yj,来计算和DQIy的门槛值()。
其中
其中yq:Yq内的所有yq,1的平均值;
v:Pq中的样本个数。
yt=yq+Rmax或yt=yq-Rmax (34)
其中Rmax为最大可容许的变异:
其中 为相似样版Pi的范围(Range),m为所有相似样版群组的总数目。
以上所述的主成分分析法、留一法(LOO)原理、自适应共振理论2(ART2)、z分数、欧氏距离等均为发明所属技术领域具有通常知识者所熟知,故不再此赘述。
接着,如图6A所示进行筛选数据的步骤160,以根据一参数筛选法则来挑选建立推测模型、RI模型和GSI模型所需的重要参数。然后,应用所挑选的重要参数来建立首套推测模型、RI模型和GSI模型(步骤170),其中推测模型可计算出工件的虚拟计量值;RI模型包含有参考预测模型,用以计算出工件的参考预测值、及工件的虚拟计量值的信心指标值;GSI模型可计算出生产工件的工艺的GSI值。由于RI模型内的参考预测模型与推测模型所使用的算法不同,例如:推测模型使用类神经网络(NN)算法;参考预测模型使用多元回归(MR)算法,故可应用虚拟计量推测值和参考预测值并配合GSI值,来决定换模是否完成的条件。欲订定换模是否完成的条件时,步骤170也必须计算出虚拟计量值的推测换模门槛值、参考预测值的参考预测换模门槛值和GSI值的GSI换模门槛值,这些门槛值的订定原则如下:
依据交互验证中的留一法(LOO)原理,从建模样本(历史工艺数据)中,抽取一笔作为仿真上线的测试样本,将其余样本建立一组预测模型(内含推测模型、参考预测模型和GSI模型)。然后,应用LOO法所建立的该组预测模型来针对此笔仿真上线的测试样本进行计算,并求得其虚拟计量推测误差值(EN)、参考预测误差值(EM)与GSI值(GSILOO)。重复上述步骤,直到建模样本中的所有各笔样本均计算出其EN、EM和GSILOO后,求出其中EN及EM的最大值(Max)和最小值(Min),其可视为推测及参考预测模型可容许的最差精度与可达到的最佳精度;而GSI换模门槛值(GSIRT)与所有GSILOO有关。因此,虚拟计量值的推测换模门槛值(NNRT;假设推测模型使用类神经网络(NN)算法)和参考预测值的推测换模门槛值(MRRT;假设参考预测模型系使用多元回归(MR)算法)的公式如下:
其中NNRT:虚拟计量推测换模门槛值;
MRRT:参考预测换模门槛值;
Max(EN):(ENi,i=1,2,...,n)的最大值;
Min(EN):(ENi,i=1,2,...,n)的最小值;
Max(EM):(EMi,i=1,2,...,n)的最大值;
Min(EM):(EMi,i=1,2,...,n)的最小值。
n:建模笔数
GSI换模门槛值(GSIRT)的公式如下:
GSIRT=a*GSILOO (39)
其实公式(39)所示的GSI换模门槛值(GSIRT)与公式(26)所示的GSI门槛值(GSIT)的定义完全相同。其中GSILOO代表透过LOO原理由全部建模样本所计算出的所有GSILOO的例如90%截尾均值(Trimmed Mean)。公式(39)的a值介于2至3之间,其可依实际状况微调之。a的默认值为3。
应用双阶段算法进行自动更换模型的步骤
本实施例的双阶段的虚拟计量算法具有以下两个特点:(1)加入DQIX模型及DQIy模型以自动判别数据质量的良窳;(2)加入逐点汰旧换新的自动换模机制,以节省导入虚拟计量至其它同型机台或同一机台的各反应室的时间与人力成本,并维持虚拟计量应有的精度。
请参照图7A,其示出根据本发明的实施例的自动移植模型步骤的流程示意图。在前述的建模步骤完成后,多个历史计量值和多组历史工艺数据被使用来建立一第一组虚拟计量模型(首套虚拟计量模型),其中此第一组虚拟计量模型包括有一推测模型,其中此推测模型的建立是根据一推测算法,此推测算法可为例如类神经网络算法、多元回归算法、支持向量机算法或其它具预测能力的算法。在第一阶段虚拟计量步骤300中,首先,进行步骤302,以收集一工艺装置所送出的某一工件的工艺数据。接着,进行步骤304,以检视此工件的工艺数据是否收集完成。若步骤304的结果为否,则继续进行步骤302;若步骤304的结果为是,则进行步骤310,以评估工艺数据的DQIX。请参照图7A和图7B,图7B为示出根据本发明的实施例的评估工艺数据质量指标值(DQIX)的流程示意图。在步骤310中,在获得首套DQIX模型(内含M及)后,首先,进行步骤312,以获取工艺数据(Xi)的数据特征变量Ai=[a1,a2,...,ak]。接着,进行步骤315,以计算工艺数据(Xi)的然后,进行步骤316,以检查此是否大于若步骤316的结果为是(即步骤310的结果为异常),则代表工艺数据为异常数据(),应发出通知并要求数据分析(步骤318);若步骤316的结果为否,则代表工艺数据为正常数据(),应进行步骤317,以将其转换为z分数()。此外,若欲重新训练或调校,则进行步骤313,以使用此正常的工艺数据,取代目前建模所使用的工艺数据的最旧的数据,重新计算特征获取矩阵M;并进行步骤314,以重新计算工艺数据质量门槛值(),以供下一工件进行步骤312时使用。
不论工艺数据为正常(即步骤316的结果为否;)或异常,都会进行步骤320,以计算此工件的虚拟计量值与其伴随的信心指标和整体相似度指标,即第一阶段虚拟计量值(VMI)与其伴随的信心指标(RI)和整体相似度指标(GSI)。
在第二阶段虚拟计量步骤400中,进行步骤402,以收集某一工件的实际计量数据。接着,进行步骤410,以检视此实际计量数据是否收集完成。若步骤410的结果为否,则继续进行步骤402;若步骤410的结果为是,则进行关联性检查的步骤420,以检视与此实际计量数据相对应的同一工件的工艺数据是否存在。接着,判断关联性检查是否成功(步骤422)。若步骤422的结果为否,则继续进行步骤402;若步骤422的结果为是,则进行步骤424,以判断所关联到的工艺数据是否正常。步骤424的运作方式,是透过评估在第一阶段已获得的该工艺数据的DQIX来决定工艺数据是否正常。若步骤424的结果为否,则继续进行步骤402;若步骤424的结果为是,则进行评估DQIy的步骤430,以判断实际计量数据是否正常。
请参照图7A和图7C,图7C为示出根据本发明的实施例的评估计量数据质量指针(DQIy)的流程示意图。在步骤430中,首先,进行步骤433与432,在相似样版群{P1,P2,...,Pm}中搜寻出与实际计量值yj的工艺数据的z分数()最相似的样版(Pq)。接着,进行步骤434,以计算和进行步骤435,以计算然后,进行步骤436,以检查此是否大于若步骤436的结果为是,则代表实际计量值为异常数据(),应发出通知并要求数据分析(步骤438);若步骤436的结果为否,代表实际计量值为正常数据(),则进行步骤439,以将转为z分数()以便虚拟计量建模使用。此外,若欲重新训练或调校,则进行步骤433,以使用此正常的实际计量值()与其对应的工艺数据的z分数(),取代目前建模所使用的工艺数据和实际计量值中的最旧的数据,来重新搜寻相似样版,以供下一工件进行步骤432时使用。若步骤436的结果为是(即步骤430的结果为异常),则发出通知并要求数据分析(步骤438)。
若步骤430的结果为正常,则进行重新训练决定步骤440,以判断工艺装置是否已闲置超过一段预设时间。若步骤440的结果为是,则进行重新训练步骤460。若步骤440的结果为否,则进行另一重新训练决定步骤450,以检视是否有手动的指示或换模指示。换模指示是在欲进行换模程序时设定之,其初始设定为“是”,也即当使用新移植的模型时,需进入换模程序,以重新训练新移植的模型。若步骤450的结果为是,则进行重新训练步骤460;若步骤450的结果为否,则进行步骤470以调校推测模型、RI模型、GSI模型、DQIX模型及DQIy模型。在进行重新训练步骤或调校步骤之前,会先采用目前最新获得的一组工艺数据与实际计量值来取代历史工艺数据和历史计量值中的最旧的数据。所谓“调校”是采用上述已更新的历史工艺数据和历史计量值,来调整各模式的权重值或参数值,一般仅需数秒即可完成。所谓“重新训练”是采用上述已更新的历史工艺数据和历史计量值,来重新训练各模型,一般需耗数分钟才可完成。
在完成步骤460或470后,便可进行更新模型的步骤480,以使用调校或重新训练后的整套虚拟计量模型取代原来的整套虚拟计量模型,其中包括推测模型、RI模型、GSI模型、DQIX模型、及DQIy模型。这些新的虚拟计量模型也被提供至步骤310、320和430,以评估下一工件的工艺数据的质量(DQIX),并计算其第一阶段虚拟计量值(VMI)与其伴随的信心指标(RI)和整体相似度指标(GSI);以及评估下一工件的实际计量数据的质量(DQIy)。同时,进行步骤490,以使用新的虚拟计量模型,来重新计算此工件所属的卡匣内的所有工件的第二阶段虚拟计量值(VMII)与其伴随的信心指标(RI)和整体相似度指标(GSI),其中卡匣可为虚拟卡匣或实体卡匣。然后,进行步骤492,以判断换模完成的条件是否达成。如换模完成的条件已达成,则取消换模指示,即将换模指示设为“否”。以下说明本实施例的换模完成的条件:
首先,当换模指示为“是”时,定义进入工艺装置的此某一工件与其前后连续多个(例如:3个)工件为进入换模程序的连续多个换模点。若下列三个条件同时达成,则认为本实施例的换模完成条件已达成,换模指示将被设为“否”,即代表经换模程序更新后的整套虚拟计量模型的推测与预测精度已合乎规格要求,可立即正常地提供服务;否则换模程序仍须持续。这三个条件如下:
(1)第一换模完成的条件:这些换模点的第一阶段虚拟计量推测值的平均絶对误差百分比(MAPE)小于虚拟计量推测换模门槛值(NNRT);
(2)第二换模完成的条件:这些换模点的第一阶段参考预测值的平均絶对误差百分比(MAPE)小于参考预测换模门槛值(MRRT);
(3)第三换模完成的条件:这些换模点的第一阶段GSI值小于GSI换模门槛值(GSIRT)。
因此,当工艺装置已闲置超过一段预定时间(步骤440);或有手动的指示或换模指示(步骤450)时,需进行重新训练步骤460,否则进行调校步骤470。
以下以一应用例来说明本发明的实施例的优点。请参照图8,其示出应用本发明的实施例于一化学气相沉积(CVD)机台的结果。此CVD机台由6个反应室A-F(工艺装置)所组成。在此应用例中,选定反应室A来产生首套虚拟计量模型,并移植首套虚拟计量模型至管理反应室F,反应室F的AVM服务器再进行自动换模的程序,以重新训练此套虚拟计量模型。在此应用例中,由反应室A收集到60组历史数据,并应用反应室F的24组数据来评估自动换模的结果。在此应用例中,推测模型是使用类神经网络(NN)算法而参考预测模型是使用多元回归(MR)算法。如图8所示,在样本0的第一阶段虚拟计量值的平均绝对误差百分比(MAPE-NN)、第一阶段参考预测值的平均绝对误差百分比(MAPE-MR)、及GSI值的取得,是应用由反应室A所产生的未经重新训练(自动换模)的首套虚拟计量模型,明显地,样本0的MAPE-NN和MAPE-MR均偏高,这是因反应室F的特性与反应室A不同,此也可由GSI值非常高得知。然而,在样本1时,由于虚拟计量模型已经一次重新训练,其MAPE-NN与MAPE-MR便下降了许多,且其GSI值也和缓许多,故可知本实施例重新训练(自动换模)确实有效果。此应用例的NNRT、MRRT和GSIRT为1.58、1.27和3.48。由图8可知,样本1-3(连续3点)已满足第一和第二换模完成的条件,但不符合第三换模完成的条件。因此,自动换模的程序持续进行至样本3-5(连续3点)。换言之,在样本5后,反应室F已完成自动换模的程序,此表示其精度已合乎系统需求,所以已可正常地提供所有虚拟计量的相关服务。
由上述本发明的实施例可知,本发明可节省导入虚拟计量至其它同型机台或同一机台的各反应室的时间与人力成本,并维持虚拟计量应有的精度;可自动评估与筛选工艺数据和实际计量数据,因而满足全厂自动导入虚拟计量的需求。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变型,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (20)
1、一种自动虚拟计量的系统,其特征在于,至少包括:
一第一工艺装置,具有多组历史工艺数据和一组第一工艺数据,其中该第一工艺装置根据该组第一工艺数据来生产一第一工件;
一第一计量机台,具有多个历史计量值并计量出该第一工件的一第一实际计量值,其中所述多个历史计量值与该第一实际计量值分别为根据所述多组历史工艺数据与该组第一工艺数据所生产的工件的实际计量值;
一第一自动虚拟计量服务器,用以收集所述多组历史工艺数据和所述多个历史计量值;
一建模服务器,用以使用所述多组历史工艺数据和所述多个历史计量值来建立一组虚拟计量模型;
一第二工艺装置,用以根据一组第二工艺数据来生产一第二工件;
一第二计量机台,用以计量出该第二工件的一第二实际计量值;以及
一第二自动虚拟计量服务器,用以使用该组虚拟计量模型来对该第二工件进行虚拟计量。
2、根据权利要求1所述的自动虚拟计量的系统,其特征在于,该第一自动虚拟计量服务器使用该组虚拟计量模型来对该第一工件进行虚拟计量。
3、根据权利要求2所述的自动虚拟计量的系统,其特征在于,该组虚拟计量模型至少包括:
一推测模型,用以产生该第一工件的一第一虚拟计量值或该第二工件的一第二虚拟计量值,其中该推测模型的建立是根据一推测算法,该推测算法为类神经网络算法、多元回归算法或支持向量机算法;
一信心指针模型,用以产生该第一虚拟计量值或该第二虚拟计量值的信心指标值,其中该信心指针模型的建立是根据一参考预测算法,该参考预测算法为多元回归算法、类神经网络算法或支持向量机算法,且该参考预测算法与该推测算法不同;
一整体相似度指针模型,用以计算出该组第一工艺数据或该组第二工艺数据的整体相似度指针值,其中该整体相似度指针模型的建立是根据马氏距离算法;
一工艺数据质量指针模型,用以计算出该组第一工艺数据或该组第二工艺数据的工艺数据质量指针值,其中该工艺数据质量指针模型的建立是根据主成分分析法和欧氏距离;以及
一计量数据质量指针模型,用以计算出该第一实际计量值或该第二实际计量值的计量数据质量指标值,其中该计量数据质量指针模型的建立是根据自适应共振理论2及标准化变异。
4、根据权利要求3所述的自动虚拟计量的系统,其特征在于,该第一自动虚拟计量服务器至少包括:
一中央核心控管模块,用以监控该第一自动虚拟计量服务器中其它各模块的状态并依照一双阶段的虚拟计量机制来控制各模块的运作流程;
一数据前处理模块,用以根据该工艺数据质量指针模型及该计量数据质量指针模型来进行该组第一工艺数据及该第一实际计量值的数据质量评估;
一可插入式驱动接口;
一数据收集驱动装置,连接至该可插入式驱动接口,用以获取所述多组历史工艺数据、所述多个历史计量值、该组第一工艺数据、和该第一实际计量值,其中收集完成的工艺和计量值是经由该可插入式驱动接口提供给该数据前处理模块处理;
一可插入式应用程序接口;
一虚拟计量模型储存模块,连接至该可插入式应用程序接口,用以置放该组虚拟计量模型;以及
一可插入式通讯接口;以及
一通讯代理者,连接至该可插入式通讯接口,用以与该建模服务器进行通讯。
5、根据权利要求3所述的自动虚拟计量的系统,其特征在于,该第二自动虚拟计量服务器至少包括:
一中央核心控管模块,用以监控该第二自动虚拟计量服务器中其它各模块的状态并依照一双阶段的虚拟计量机制来控制各模块的运作流程;
一数据前处理模块,用以根据该工艺数据质量指针模型及该计量数据质量指针模型来进行该组第二工艺数据及该第二实际计量值的数据质量评估;
一可插入式驱动接口;
一数据收集驱动装置,连接至该可插入式驱动接口,用以获取该组第二工艺数据和该第二实际计量值,其中收集完成的工艺和计量值是经由该可插入式驱动接口提供给该数据前处理模块处理;
一可插入式应用程序接口;以及
一虚拟计量模型储存模块,连接至该可插入式应用程序接口,用以放置该组虚拟计量模型;以及
一可插入式通讯接口;以及
一通讯代理者,连接至该可插入式通讯接口,用以与该建模服务器进行通讯。
6、根据权利要求2所述的自动虚拟计量的系统,其特征在于,该第一自动虚拟计量服务器以该组第一工艺数据和该第一实际计量值取代所述多组历史工艺数据和所述多个历史计量值其中最旧的数据,来重新训练或调校该组虚拟计量模型。
7、根据权利要求1所述的自动虚拟计量的系统,其特征在于,该第二自动虚拟计量服务器以该组第二工艺数据和该第二实际计量值取代所述多组历史工艺数据和所述多个历史计量值其中最旧的数据,来重新训练或调校该组虚拟计量模型。
8、根据权利要求1所述的自动虚拟计量的系统,其特征在于,该第一工艺装置与该第二工艺装置为同一类型的装置。
9、一种自动虚拟计量的方法,其特征在于,至少包括:
进行一建模步骤,用以根据多个历史计量值和多组历史工艺数据来建立一第一组虚拟计量模型,其中该第一组虚拟计量模型至少包括:
一推测模型,其中该推测模型的建立是根据一推测算法,该推测算法为类神经网络算法、多元回归算法或支持向量机算法;
收集一工艺装置所送出的一工件的工艺数据;
当该工艺装置所送出的该工件的一组第一工艺数据收集完成后,立即进行一第一阶段虚拟计量步骤,其中该第一阶段虚拟计量步骤至少包括:
进行一第一阶段虚拟计量计算步骤,以输入该组第一工艺数据至该第一组虚拟计量模型的该推测模型,而计算出该工件的一第一阶段虚拟计量值;以及
当从一计量机台取得该工件的一第一实际计量值时,进行一第二阶段虚拟计量步骤,其中该第二阶段虚拟计量步骤至少包括:
进行一重新训练决定步骤,以决定是否进行一重新训练步骤,其中当一换模指示为是时,则进行该重新训练步骤,其中该重新训练步骤至少包括:
以该组第一工艺数据及该第一实际计量值取代所述多组历史工艺数据及所述多个历史计量值其中最旧的工艺数据和实际计量值,来重新训练或调校一第二组虚拟计量模型,其中该第二组虚拟计量模型的种类和建构方法是与该第一组虚拟计量模型相同;以及
以该第二组虚拟计量模型取代该第一组虚拟计量模型,来计算出后续进入该工艺装置的工件的第一阶段虚拟计量值。
10、根据权利要求9所述的自动虚拟计量的方法,其特征在于,该换模指示初始设定为是。
11、根据权利要求9所述的自动虚拟计量的方法,其特征在于,
该第一组虚拟计量模型还至少包括:
一信心指针模型,用以产生该虚拟计量值的信心指标值,其中该信心指针模型的建立是根据一参考预测算法,用以产生该工件的参考预测值,该参考预测算法为多元回归算法、类神经网络算法或支持向量机算法,且该参考预测算法与该推测算法不同;以及
一整体相似度指针模型,用以计算出生产该工件的工艺数据的整体相似度指针值,其中该整体相似度指针模型的建立是根据马氏距离算法;
该建模步骤还至少包括:
以所述多组历史工艺数据及所述多个历史计量值,并应用交互验证中的留一法原理来重建该第一组虚拟计量模型的该推测模型、该参考预测模型和该整体相似度指针模型,并计算出相对应的各组历史工艺数据的推测误差、预测误差和整体相似度指标值,以计算出一虚拟计量推测换模门槛值、一参考预测换模门槛值和一整体相似度指标换模门槛值;
该第一阶段虚拟计量计算步骤还至少包括:
输入该组第一工艺数据至该第一组虚拟计量模型的该参考预测模型和该整体相似度指针模型,而计算出该工件的一第一阶段参考预测值和一第一阶段整体相似度指标值;以及
该第二阶段虚拟计量步骤还至少包括:
当该换模指示为是时,定义进入该工艺装置的该工件与其前后连续多个工件为连续多个换模点;
定义一第一换模完成的条件为:所述多个换模点的第一阶段虚拟计量值的平均絶对误差百分比小于该虚拟计量推测换模门槛值;
定义一第二换模完成的条件为:所述多个换模点的第一阶段参考预测值的平均絶对误差百分比小于该参考预测换模门槛值;
定义一第三换模完成的条件为:所述多个换模点的第一阶段整体相似度指标值小于该整体相似度指标换模门槛值;以及
判断该第一换模完成的条件、该第二换模完成的条件和该第三换模完成的条件是否同时达成,并获得一判断结果,其中当该判断结果为是时,将该换模指示设为否;否则,将该换模指示设为是。
12、根据权利要求11所述的自动虚拟计量的方法,其特征在于,该第二阶段虚拟计量步骤还至少包括:
以该组第一工艺数据及该第一实际计量值取代所述多组历史工艺数据及所述多个历史计量值其中最旧的工艺数据和实际计量值;以及
以该第二组虚拟计量模型取代该第一组虚拟计量模型,来计算出后续进入该工艺装置的工件的第一阶段参考预测值和第一阶段整体相似度指标值。
13、根据权利要求9所述的自动虚拟计量的方法,其特征在于,该建模步骤还至少包括:
从一工艺装置取得所述多组历史工艺数据;以及
从一计量机台取得所述多个历史计量值,其中所述多个历史计量值分别为根据所述多组历史工艺数据所生产的工件的计量值。
14、根据权利要求9所述的自动虚拟计量的方法,其特征在于,该第二阶段虚拟计量步骤还至少包括:
应用经一重新训练步骤或一调校步骤所建构的该第二组虚拟计量模型,而重新计算出该工件所属的卡匣内的所有工件的一第二阶段虚拟计量值。
15、根据权利要求9所述的自动虚拟计量的方法,其特征在于,该第一组虚拟计量模型至少包括:一信心指针模型,用以计算该工件的虚拟计量推测值的分配与参考预测值的分配之间的重叠面积而产生该工件的虚拟计量值的信心指标值,其中当重叠面积愈大,则信心指标值愈高,代表所对应至虚拟计量值的可信度愈高;
该第一阶段虚拟计量步骤还至少包括:使用该信心指针模型计算出该第一阶段虚拟计量值得信心指标值;以及
该第二阶段虚拟计量步骤还至少包括:使用该信心指针模型计算出该第二阶段虚拟计量值得信心指标值。
16、根据权利要求9所述的自动虚拟计量的方法,其特征在于,该第一组虚拟计量模型至少包括:
一工艺数据质量指针模型,用以计算出生产该工件的工艺数据的工艺数据质量指针值,其中该工艺数据质量指针模型的建立是根据主成分分析法和欧氏距离;以及
一计量数据质量指针模型,用以计算出该工件的计量值的计量数据质量指标值,其中该计量数据质量指针模型的建立是根据自适应共振理论2及标准化变异;
该建模步骤还至少包括:
以所述多组历史工艺数据及所述多个历史计量值,并应用留一法原理在该第一组虚拟计量模型的工艺数据质量指针模型,来计算出一第一工艺数据质量门槛值;且应用相似样版群内最大可容许的变异的观念在第一组虚拟计量模型内的计量数据质量指针模型来计算出一第一计量数据质量门槛值;
该第一阶段虚拟计量步骤还至少包括:
在进行该第一阶段虚拟计量计算步骤之前,先输入该工艺装置所送出的该工件的工艺数据至该第一组虚拟计量模型的该工艺数据质量指针模型,而计算出该工件的一第一工艺数据质量指标值;以及
检查该第一工艺数据质量指标值是否大于该第一工艺数据质量门槛值,并获得一第一检查结果,其中当该第一检查结果为否时,则进行该第一阶段虚拟计量计算步骤;
该第二阶段虚拟计量步骤还至少包括:
在进行该重新训练决定步骤之前,先输入该实际计量值至该第一组虚拟计量模型的该计量数据质量指针模型,而计算出该工件的一第一计量数据质量指标值;以及
再检查该第一计量数据质量指标值是否大于该第一计量数据质量门槛值,并获得一第二检查结果,其中当该第二检查结果为否时,则进行该重新训练决定步骤。
17.一种自动虚拟计量的方法,其特征在于,至少包括:
一建模服务器命令一第一自动虚拟计量服务器收集建模所需的多组历史工艺数据和其所对应的多个历史计量值;
该第一自动虚拟计量服务器联机到一第一计量机台收集所述多个历史计量值数据,并联机到一第一工艺装置收集所述多组历史工艺数据;
该第一自动虚拟计量服务器比对所述多组历史工艺数据与所述多个历史计量值的关联性;
该第一自动虚拟计量服务器将比对成功的所有计量数据与工艺数据传送至该建模服务器;
该建模服务器将收集到建模所需的数据,进行一数据前处理,以去除异常历史工艺数据与历史计量值数据;
该建模服务器产生一工艺数据质量指针模型及一计量数据质量指针模型,其中该工艺数据质量指针模型用以计算出生产工件的工艺数据的工艺数据质量指针值,其中该工艺数据质量指针模型的建立是根据主成分分析法和欧氏距离;该计量数据质量指针模型用以计算出工件的计量值的计量数据质量指标值,其中该计量数据质量指针模型的建立是根据自适应共振理论2及标准化变异;
该建模服务器应用该工艺数据质量指针模型及该计量数据质量指针模型,来进行一筛选数据的步骤,以挑选出建模所需的相关联的历史工艺数据与历史计量值数据;
该建模服务器应用所挑选的相关联的历史工艺数据与历史计量值数据,来产生一第一组虚拟计量模型,该第一组虚拟计量模型至少包括:该工艺数据质量指针模型、该计量数据质量指针模型、一推测模型、一信心指针模型及一整体相似度指针模型,其中该推测模型的建立是根据一推测算法,该推测算法为类神经网络算法、多元回归算法或支持向量机算法;该信心指针模型至少包括一参考预测模型,用以产生工件的参考预测值,该信心指针模型的建立是根据一参考预测算法,该参考预测算法为多元回归算法、类神经网络算法或支持向量机算法,且该参考预测算法与该推测算法不同;该整体相似度指针模型用以计算出生产工件的工艺数据的整体相似度指针值,其中整体相似度指针模型的建立是根据马氏距离算法;
将该第一组虚拟计量模型移植至该第一自动虚拟计量服务器和一第二自动虚拟计量服务器,来对该第一工艺装置和一第二工艺装置所生产的工件进行虚拟计量;
该第一自动虚拟计量服务器和该第二自动虚拟计量服务器分别对各自得该第一组虚拟计量模型进行一自动换模步骤;以及
该第一自动虚拟计量服务器和该第二自动虚拟计量服务器分别完成该自动换模步骤后,该第一自动虚拟计量服务器和该第二自动虚拟计量服务器便可提供虚拟计量服务。
18、根据权利要求17所述的自动虚拟计量的方法,其特征在于,该自动换模步骤至少包括:
进行一重新训练步骤,以使用新进的工艺数据及实际计量值取代所述多组历史工艺数据及所述多个历史计量值其中最旧的工艺数据和实际计量值,来重新建立一第二组虚拟计量模型,其中该第二组虚拟计量模型的种类和建构方法与该第一组虚拟计量模型相同;以及
以该第二组虚拟计量模型取代该第一组虚拟计量模型,来提供虚拟计量服务。
19、根据权利要求17所述的自动虚拟计量的方法,其特征在于,还至少包括:
以所述多组历史工艺数据及所述多个历史计量值,并应用交互验证中的留一法原理来重建该第一组虚拟计量模型的该推测模型、该参考预测模型和该整体相似度指针模型,,并计算出相对应的各组历史工艺数据的推测误差、预测误差和整体相似度指标值,以计算出一虚拟计量推测换模门槛值、一参考预测换模门槛值和一整体相似度指标换模门槛值;
输入新进的工艺数据至该第一组虚拟计量模型的该参考预测模型和该整体相似度指针模型,而计算出工件的一虚拟计量推测值、一参考预测值和一整体相似度指标值;
定义进入该第一工艺装置的工件与其前后连续多个工件为连续多个换模点;
定义一第一换模完成的条件为:所述多个换模点的虚拟计量值的平均絶对误差百分比小于该虚拟计量推测换模门槛值;
定义一第二换模完成的条件为:所述多个换模点的参考预测值的平均絶对误差百分比小于该参考预测换模门槛值;
定义一第三换模完成的条件为:所述多个换模点的整体相似度指标值小于该整体相似度指标换模门槛值;以及
判断该第一换模完成的条件、该第二换模完成的条件和该第三换模完成的条件是否同时达成,并获得一判断结果,其中当该判断结果为是时,则不再进行该自动换模步骤。
20、根据权利要求17所述的自动虚拟计量的方法,其特征在于,该信心指针模型用以计算工件的虚拟计量推测值的分配与参考预测值的分配之间的重叠面积而产生工件的虚拟计量值的信心指标值,其中当重叠面积愈大,则信心指标值愈高,代表所对应至虚拟计量值的可信度愈高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101112719A CN101598754B (zh) | 2008-06-05 | 2008-06-05 | 自动虚拟计量的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101112719A CN101598754B (zh) | 2008-06-05 | 2008-06-05 | 自动虚拟计量的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101598754A true CN101598754A (zh) | 2009-12-09 |
CN101598754B CN101598754B (zh) | 2011-09-21 |
Family
ID=41420258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101112719A Active CN101598754B (zh) | 2008-06-05 | 2008-06-05 | 自动虚拟计量的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101598754B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177180A (zh) * | 2011-12-20 | 2013-06-26 | 郑芳田 | 预测模型的建模样本的筛选方法 |
CN104657526A (zh) * | 2013-11-21 | 2015-05-27 | 郑芳田 | 工具机的加工品质的预测方法 |
CN106206346A (zh) * | 2015-05-27 | 2016-12-07 | 郑芳田 | 具取样率决定机制的量测抽样方法 |
CN106682251A (zh) * | 2015-11-06 | 2017-05-17 | 财团法人工业技术研究院 | 加工设备的健康评估方法与健康评估装置 |
CN110208014A (zh) * | 2019-06-25 | 2019-09-06 | 大连交通大学 | 城轨车体底架覆盖测量方法 |
-
2008
- 2008-06-05 CN CN2008101112719A patent/CN101598754B/zh active Active
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177180A (zh) * | 2011-12-20 | 2013-06-26 | 郑芳田 | 预测模型的建模样本的筛选方法 |
CN103177180B (zh) * | 2011-12-20 | 2016-06-22 | 郑芳田 | 预测模型的建模样本的筛选方法 |
CN104657526A (zh) * | 2013-11-21 | 2015-05-27 | 郑芳田 | 工具机的加工品质的预测方法 |
CN104657526B (zh) * | 2013-11-21 | 2017-09-29 | 郑芳田 | 工具机的加工品质的预测方法 |
CN106206346A (zh) * | 2015-05-27 | 2016-12-07 | 郑芳田 | 具取样率决定机制的量测抽样方法 |
CN106206346B (zh) * | 2015-05-27 | 2018-09-28 | 郑芳田 | 具取样率决定机制的量测抽样方法 |
CN106682251A (zh) * | 2015-11-06 | 2017-05-17 | 财团法人工业技术研究院 | 加工设备的健康评估方法与健康评估装置 |
US10515725B2 (en) | 2015-11-06 | 2019-12-24 | Industrial Technology Research Institute | Health assessment method and health assessment device for workpiece processing apparatus |
CN106682251B (zh) * | 2015-11-06 | 2021-01-01 | 财团法人工业技术研究院 | 加工设备的健康评估方法与健康评估装置 |
CN110208014A (zh) * | 2019-06-25 | 2019-09-06 | 大连交通大学 | 城轨车体底架覆盖测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101598754B (zh) | 2011-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4914457B2 (ja) | 自動バーチャル測定のシステムおよびその方法 | |
CN106206346A (zh) | 具取样率决定机制的量测抽样方法 | |
CN102375413B (zh) | 使用具有信心指标的虚拟量测的先进工艺控制系统与方法 | |
CN103927412B (zh) | 基于高斯混合模型的即时学习脱丁烷塔软测量建模方法 | |
TWI521360B (zh) | 量測抽樣方法與其電腦程式產品 | |
CN101598754B (zh) | 自动虚拟计量的系统及方法 | |
CN113393057A (zh) | 一种基于深度融合机器学习模型的小麦产量集成预测方法 | |
CN101320258B (zh) | 利用双阶段虚拟测量系统的虚拟测量方法 | |
CN112668822A (zh) | 科技成果转化平台共享系统、方法、存储介质、手机app | |
CN110083797B (zh) | 一种滴灌管生产线异常实时监测方法及系统 | |
CN102262188B (zh) | 工件抽样检验的方法 | |
CN114219177A (zh) | 机房环境调控方法、装置、电子设备及存储介质 | |
CN113312849A (zh) | 供水管网水力模型自动更新及校准算法 | |
CN117370759A (zh) | 基于人工智能的燃气用量预测方法 | |
CN114926075B (zh) | 基于工时预测的机械零件生产调度方法 | |
CN113642834B (zh) | 基于任务属性优先级映射的任务重要性评价方法和系统 | |
CN109547248A (zh) | 基于人工智能的在轨飞行器自组网故障诊断方法及装置 | |
CN112966449B (zh) | 基于变量选择和概率神经网络的制造过程质量缺陷根源诊断方法 | |
CN114861810A (zh) | 煤气化装置工艺诊断方法及系统 | |
CN110673470B (zh) | 基于局部加权因子模型的工业非平稳过程软测量建模方法 | |
Neil | Multivariate Assessment of Software Products. | |
CN117391747A (zh) | 一种基于实时市场信号的价格动态调整方法及系统 | |
DE102022201649A1 (de) | Verfahren zur Wartezeit-Vorhersage in einer Halbleiterfabrik | |
CN117634318A (zh) | 基于迁移学习的无人机健康状态评估方法及系统 | |
CN115271376A (zh) | 一种评价指标权重准确性的检验方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |