CN106206346B - 具取样率决定机制的量测抽样方法 - Google Patents

具取样率决定机制的量测抽样方法 Download PDF

Info

Publication number
CN106206346B
CN106206346B CN201510655775.7A CN201510655775A CN106206346B CN 106206346 B CN106206346 B CN 106206346B CN 201510655775 A CN201510655775 A CN 201510655775A CN 106206346 B CN106206346 B CN 106206346B
Authority
CN
China
Prior art keywords
workpiece
value
result
process data
inspection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510655775.7A
Other languages
English (en)
Other versions
CN106206346A (zh
Inventor
郑芳田
陈俊方
吕兆荣
谢曜声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106206346A publication Critical patent/CN106206346A/zh
Application granted granted Critical
Publication of CN106206346B publication Critical patent/CN106206346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32187—Correlation between controlling parameters for influence on quality parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45031—Manufacturing semiconductor wafers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Complex Calculations (AREA)

Abstract

一种具取样率决定机制的量测抽样方法，其是运用决定性样本(Determinative Samples；DS)集合中的所有工件的虚拟量测值的平均绝对误差百分比(Mean Absolute Percentage Error；MAPE)和最大绝对误差百分比(Max Absolute Percentage Error；MaxErr)来调整工件取样率。此量测抽样方法并结合可侦测出在生产过程中制程机台的各种状态改变(如执行机台保养、更换机台零组件、调整机台参数等)或机台信息异常(如制程数据品质不良、机台参数值漂移、量测数据品质不良等)的各式指标值，来建构出一自动取样决策(Automated Sampling Decision；ASD)机制，以在确保虚拟量测的精度下，降低工件量测抽测率。

Description

具取样率决定机制的量测抽样方法
技术领域
本发明是有关于一种具取样率决定机制的量测抽样方法，且特别是有关于一种可自动调整工件取样率并降低抽测率的量测抽样方法。
背景技术
目前大部分半导体及TFT-LCD厂对于生产机台的产品或工件(Workpiece)的品质监测方法是采取抽测的方式，其中此工件可为半导体业的晶圆或TFT-LCD业的玻璃基板。一般，制造系统会设定一工件取样率1/N，以在制程机台每处理过N个(例如：25个)工件后，指定第N个工件为一预期被量测的工件，即抽测率固定为1/N。此预期被量测的工件会被送至量测机台进行量测，以检视制程机台的生产品质。这种已知的抽样方法是假设制程机台的制程品质不会突然发生异常，因而可使用被抽测的产品或工件的量测结果来推断同一批工件的品质。由于工件实际量测所需的量测时间和量测工具会增加生产周期时间(CycleTime)和生产成本。因此，为减少生产周期时间和生产成本，如何尽可能地降低抽测率便成为生产者的重要课题。此外，已知的工件取样率1/N的数值的选择是根据制造系统的经验值，缺乏其他的技术依据，因而无法有效地调整工件取样率1/N的数值。
另一方面，虚拟量测技术可用来减少工件实际量测的频率，而降低抽测率。然而，若原先未排定要被量测的工件在生产时发生变异，则可能会因此发生变异的期间无实际量测数据可用来更新虚拟量测模型，而导致产生虚拟量测预测精度不良的结果。因此，如何及时抽测到适当的工件攸关着虚拟量测模型的预测精度。
因此，必须要提供一种量测抽样方法，借以克服上述的已知技术的缺点。
发明内容
本发明的一目的是在提供一种具取样率决定机制的量测抽样方法，借以自动调整工件取样率并降低工件量测抽测率。
本发明的又一目的是在提供一种具取样率决定机制的量测抽样方法，借以及时提供工件的实际量测值，来调校或重新训练虚拟量测模型，以确保虚拟量测的精度。
根据本发明的一方面，提出一种量测抽样方法。在此量测抽样方法中，首先收集制程机台处理多个历史工件的多组历史制程数据，及对应至历史制程数据的历史工件的多个历史量测值。然后，进行建模步骤，其包含：使用历史制程数据和历史量测值来建立一推估模型，其中推估模型的建立是根据一推估演算法。接着，初始化一工件取样率1/N，此工件取样率为在制程机台每处理过N个工件后选取第N个工件为一预期被量测的工件。然后，将一工件加入至一决定性样本集合，并获得制程机台处理此工件的一组制程数据，及对应至此组制程数据的该工件的一实际量测值。接着，输入此组制程数据至推估模型，而计算出此工件的一虚拟量测值。然后，计算出此工件的虚拟量测值的一绝对误差百分比，并判断此绝对误差百分比是否大于制程机台的一最大规格百分比，而获得第一结果。当第一结果为是时，对一超规计数加1。当第一结果为否时，计算出决定性样本集合中的所有工件的虚拟量测值的一平均绝对误差百分比(Mean Absolute Percentage Error；MAPE)并判断此平均绝对误差百分比是否大于或等于一平均绝对误差百分比的管制上限，而获得第二结果。当第二结果为是时，增加工件取样率1/N，并清空决定性样本集合且将超规计数设为0。当第二结果为否时，判断决定性样本集合中的工件数量是否大于或等于一决定性样本数量的门槛值，而获得第三结果。
当第三结果为否时，维持工件取样率1/N不变。当第三结果为是时，计算出决定性样本集合中的所有工件的虚拟量测值的一最大绝对误差百分比(Max AbsolutePercentage Error；MaxErr)，并判断此最大绝对误差百分比是否小于一最大绝对误差百分比的管制上限，而获得第四结果。当第四结果为是时，减少工件取样率1/N，并清空决定性样本集合且将超规计数设为0。当第四结果为否时，弃除决定性样本集合中的最旧的工件并维持工件取样率1/N不变。
依据本发明的一实施例，当第一结果为是时，判断超规计数是否大于或等于一超规门槛值，而获得第五结果。当第五结果为是时，增加工件取样率1/N并清空决定性样本集合，且将超规计数设为0。
依据本发明的一实施例，在上述的量测抽样方法中，获得制程机台的一最小历史工件取样率1/Nmax和一预设工件取样率1/Ndefault。然后，计算保守性因素(ConservativeFactor)乘以Nmax，而获得一测试值，其中此保守性因素是大于0且小于或等于1。判断此测试值是否大于Ndefault，而获得第六结果。当第六结果为是时，将Ndefault设为等于此测试值。
依据本发明的一实施例，在上述的量测抽样方法中，进行第一检查步骤，以检查制程机台的状态是否有改变而获得第一检查结果。当第一检查结果为是时，清空决定性样本集合，并将超规计数设为0，且进行第二检查步骤，以检查N是否大于Ndefault，而获得第二检查结果。当第二检查结果为是时，将N设定为Ndefault。
依据本发明的一实施例，在上述的量测抽样方法中，更进行建模步骤，以根据历史制程数据来建立一DQIX(Process Data Quality Index；制程数据品质指标)模型和一GSI(Global Similarity Index；整体相似度指标)模型，并计算出一DQIX门槛值和一GSI门槛值。然后，进行量测工件取样步骤。在量测工件取样步骤中，输入上述的工件的制程数据至DQIX模型和GSI模型中，以获得上述的工件的该组制程数据的一DQIX值和一GSI值。然后，对一工件计数加1。当第一检查结果为否时，进行第三检查步骤，以检查上述的工件的DQIX值是否小于或等于DQIX门槛值而获得第三检查结果。当第三检查结果为否时，不对上述的工件进行量测。当第三检查结果为是时，进行第四检查步骤，以检查上述的工件计数是否大于或等于N而获得第四检查结果。当第四检查结果为是时，对上述的工件进行量测并设定工件计数为0。当第四检查结果为否时，进行第五检查步骤，以检查上述的工件的GSI值是否小于或等于GSI门槛值，而获得第五检查结果。当第五检查结果为是时，不对上述的工件进行量测。
依据本发明的一实施例，在量测抽样方法中，使用历史制程数据和历史量测数据来建立一参考模型，其中参考模型的建立是根据一参考预测演算法，上述的推估演算法与参考预测演算法不同；根据历史量测值与最大可容许误差上限来计算出一RI(RelianceIndex；信心指标)门槛值；输入上述的工件的制程数据至参考模型，而计算出上述的工件的一参考预测值；分别计算上述的工件的虚拟量测值的分配(Distribution)与参考预测值的分配之间的重叠面积而产生该工件的一RI值；当上述的第四检查结果为否时，进行一第六检查步骤，以检查上述的工件的RI值是否大于或等于RI门槛值，而获得一第六检查结果；当第六检查结果为是时，不对上述的工件进行量测。
依据本发明的一实施例，当上述的第五检查结果或该六检查结果为否、且上述的工件的k个工件的GSI值大于GSI门槛值、或上述的工件之前k个工件的RI值小于RI门槛值时，对上述的工件进行量测并设定该工件计数为0，其中k为正整数。
因此，应用本发明实施例，可有效地自动调整工件取样率，确保虚拟量测的精度，并大幅地降低工件量测抽测率。
附图说明
为了更完整了解实施例及其优点，现参照结合所附附图所做的下列描述，其中
图1为绘示说明本发明实施例的信心指标值的示意图；
图2为绘示说明本发明实施例的信心指标门槛值的示意图；
图3为绘示根据本发明实施例的具取样率决定机制的量测抽样方法的流程示意图；
图4A至图4C为绘示用以说明根据本发明的实施例的工件取样率调整步骤的示意图；
图5A至图5B为绘示根据本发明实施例的工件取样率调整步骤的流程示意图；
图6为绘示本发明实施例的量测工件取样步骤的流程示意图；以及
图7为绘示本发明实施例的虚拟量测方法的流程示意图。
具体实施方式
以下仔细讨论本发明的实施例。然而，可以理解的是，实施例提供许多可应用的发明概念，其可实施于各式各样的特定内容中。所讨论的特定实施例仅供说明，并非用以限定本发明的范围。
本发明实施例是运用决定性样本(Determinative Samples；DS)集合中的所有工件的虚拟量测值的平均绝对误差百分比(Mean Absolute Percentage Error；MAPEDS)和最大绝对误差百分比(Max Absolute Percentage Error；MaxErrDS)来调整工件取样率。此量测抽样方法并结合可侦测出在生产过程中制程机台的各种状态改变(如执行机台保养、更换机台零组件、调整机台参数等)或机台信息异常(如制程数据品质不良、机台参数值漂移、量测数据品质不良等)的各式指标值，来研发出一自动取样决策(Automated SamplingDecision；ASD)机制。这些指标值包括：信心指标(Reliance Index；RI)值、整体相似度指标(Global Similarity Index；GSI)值、制程数据品质指标(Process Data Quality Index；DQIX)值和量测数据品质指标(Metrology Data Quality Index；DQIy)值。本发明的实施例所使用的RI值、GSI值、DQIX值、DQIy值可参照中国台湾专利公告案第I349867号。本发明的实施例可与此中国台湾专利公告案所建构的虚拟量测系统相结合。即，本发明的实施例引用此中国台湾专利公告案的相关规定(Incorporated by reference)。RI值是用来评估虚拟量测值的可信度，GSI值是用来评估目前输入的制程参数数据与推估模型内用来训练建模的所有制程参数数据的相似程度，GSI值是用以辅助RI值来判断虚拟量测系统的信心度。DQIX值是用来评估生产工件的制程数据是否异常，而DQIy值是用来评估工件的量测数据是否异常。
以下先说明信心指标值(RI模型)、整体相似度指标值(GSI模型)、制程数据品质指标值(DQIX)模型和量测数据品质指标值(DQIy模型)相关的理论基础。
信心指标(RI)和整体相似度指标(GSI)是为了即时了解虚拟量测值是否可以被信赖。信心指标模型是通过分析制程装置的制程数据，计算出一介于零与壹之间的信心值(信心指标值)，以判断虚拟量测的结果是否可以被信赖。相似度指标模型是用以计算制程的整体相似度指标值。整体相似度指标值的定义为目前输入的制程数据与虚拟量测的推估模型内用来训练建模的所有参数数据的相似程度。
以下说明建构RI模型的方法。如表1所示，假设目前搜集到n组量测的数据，包含制程数据(Xi,i＝1,2,...,n)及其对应的实际量测值数据(yi,i＝1,2,…,n)，其中每组制程数据包含有p个参数(自参数1至参数p)，即Xi＝[xi,1,xi,2,...,xi,p]T。此外，亦搜集到(m-n)笔实际生产时制程数据，但除yn+1外，并无实际量测值数据，即在(m-n)笔实际生产的工件中，仅抽测例如第一笔工件进行实际量测，再以其实际量测yn+1来推断其他(m-n-1)笔工件的品质。
表1原始数据范例
样本数据点 参数1 参数2 参数p 实际量测值
1 x1,1 x1,2 … x1,p y1
2 x2,1 x2,2 … x2,p y2
… … … … … …
n xn,1 xn,2 … xn,p yn
n+1 xn+1,1 xn+1,2 … xn+1,p yn+1
n+2 xn+2,1 xn+2,2 … xn+2,p Zip
… … … … … …
m xm,1 xm,2 … xm,p Zip
在表1中，y1、y2、…、yn为历史量测值，yn+1为正在生产中的工件批货中的第一个工件的实际量测值。通常，一组实际量测值(yi,i＝1,2,…,n)为具有平均数μ，标准差σ的常态分配，即yi～N(μ,σ2)。
针对样本组(yi,i＝1,2,…,n)的平均数与标准差将所有实际量测值数据标准化后，可得到(亦称为z分数(z Scores))，其中每一个z分数的平均数为0，标准差为1，即对实际量测数据而言，若愈接近0，则表示量测数据愈接近规格中心值。其标准化的公式如下：
其中
yi为第i组实际量测值数据；
为在第i组数据标准化后的实际量测值数据；
为所有实际量测值数据的平均数；
σy为所有实际量测值数据的标准差。
此处的说明是应用类神经网络(NN)演算法的推估演算法来建立进行虚拟量测的推估模型，并以例如复回归演算法的参考预测演算法来建立的验证此推估模型的参考模型。然而，本发明亦可使用其他演算法为推估演算法或参考预测演算法，例如：倒传递类神经网络(Back Propagation Neural Network；BPNN)、通用回归类神经网络(GeneralRegression Neural Network；GRNN)、径向基底类神经网络(Radial Basis FunctionNeural Network；RBFNN)、简单回归性网络(Simple Recurrent Network；SRN)、支持向量数据描述(Support Vector Data Description；SVDD)、一支持向量机(Support VectorMachine；SVM)、一复回归演算法(Multiple Regression；MR)；部分最小平方法(PartialLeast Squares；PLS)、非线性替代偏最小平方法(Nonlinear Iterative Partial LeastSquares；NIPALS)或广义线性模式(Generalized Linear Models；GLMs)等。只要参考预测演算法是不同于推估演算法即可，故本发明并不在此限。
在应用类神经网络演算法和复回归演算法时，如其收敛条件均为误差平方和(Sumof Square Error；SSE)最小的条件下，且n→∞时，此两模式各自标准化后的实际量测值定义为与则其均应与真正标准化后的实际量测值相同。换言之，当n→∞时，均代表标准化后的实际量测值，但为因应不同模式的目的而改变其名称。因此且表示与为相同分配，但由于不同的估计模式，使得该两种预测演算法的平均值与标准差的估计值不同。亦即NN推估模型标准化后的平均数估计式与标准差估计式将与复回归模式标准化后的平均数估计式与标准差估计式不同。
信心指标值是被设计来判断虚拟量测值的可信赖度，因此信心指标值应考量到虚拟量测值的统计分配与实际量测值的统计分配两者之间的相似程度。然而，当应用虚拟量测时，并无实际量测值可被使用来评估虚拟量测值的可信赖度(明显地，若获得实际量测值则便不需要虚拟量测了)。所以本发明采用由参考预测演算法(例如复回归演算法)所估算的统计分配来取代的统计分配。本发明的参考预测演算法亦可为其他相关的预测演算法，故本发明并不在此限。
请参照图1，其绘示说明本发明实施例的信心指标值的示意图。本发明的信心指标值的定义为计算推估模型(例如采用类神经网络(NN)演算法)的预测(虚拟量测值)的分配与参考模型(例如采用复回归演算法)的预测(参考量测值)的分配两者之间的交集面积覆盖值(重叠面积A)。因此，信心指标值的公式如下：
其中当则
当则
σ是设为1
信心指标值是随着重叠面积A的增加而增加。此现象指出使用推估模型所获得的结果是较接近于使用参考模型所获得的结果，因而相对应的虚拟量测值较可靠。否则相对应的虚拟量测值的可靠度是随着重叠面积A的减少而降低。当由所估计的分配与由所估计的分配完全重叠时，依照统计学的分配理论，其信心指标值等于1；而当两分配几乎完全分开时，其信心指标值则趋近于0。
以下说明推估模型计算虚拟量测值(和)的分配的方法。在推估模型中，若收敛条件为最小化误差平方和(SSE)，则可假设「在给定下，的分配为平均数等于变异数为的分配」，即给定下，而的NN估计式为的NN估计式为
在进行NN推估模型的建模之前，需先进行制程数据标准化的步骤。NN推估模型制程数据标准化公式如下所示：
其中
xi,j为第i组制程数据中的第j个制程参数；
为第i组制程数据中的第j个标准化后的制程参数；
为第j个制程参数的平均值；
为第j个制程参数的标准差。
使用此n组标准化后的制程数据与此n组标准化后的实际量测值来建构NN推估模型。然后，输入m组标准化后的制程数据至NN推估模型中，以获得相对应的标准化后的虚拟量测值
因此，(即)的估计值和(即)的估计值可由如下所示的公式来计算：
其中为标准化后的虚拟量测值的平均值。
以下说明由复回归模式计算参考预测值(和)的方法。复回归演算法的基本假设为“在给定下，的分配为平均数等于变异数为的分配”，即给定下，而的复回归估计式为的复回归估计式
为求得n组标准化后的制程数据与此n组标准化后的实际量测值间的关系，须定义利用复回归分析中这些p个参数所对应的权重为(βr0,βr1,βr2,...,βrp)。建构与关系如下：
假设
利用统计学上复回归分析中的最小平方法，可求得参数βr的估计式即
然后，复回归模式可得到：
因此，在推估阶段时，制程数据进来后，依公式(15)即可求出其所对应的复回归估计值标准变异数的复回归估计式为具有：
当求得NN推估模型的估计式与及复回归模式的估计式与后，可绘出如图1所示的常态分配图，计算使用推估模型(例如采用类神经网络(NN)演算法)的预测(虚拟量测值)的分配与参考模型(例如采用复回归演算法)的预测(参考量测值)的分配两者之间的交集面积覆盖值(重叠面积A)，即可求出每一个虚拟量测值的信心指标值。
在获得信心指标值(RI)后，必须要订定一个信心指标门槛值(RIT)。若RI≧RIT，则虚拟量测值的可靠程度是可被接受的。以下描述决定信心指标门槛值(RIT)的方法：
在订定信心指标门槛值(RIT)之前，首先需订定出最大可容许误差上限(EL)。虚拟量测值的误差(Error)为实际量测值yi与由NN推估模型所获得的的差值，再除以所有实际量测值的平均值后的绝对值的百分率，即
然后，可根据公式(18)所定义的误差与虚拟量测的精确度规格来指定最大可容许误差上限(EL)。因此，信心指标门槛值(RIT)是被定义为对应至最大可容许误差上限(EL)的信心指标值(RI)，如图2所示。即，
μ和σ是定义于公式(4)中；及
其中σy是定义于公式(3)中。
以下说明建构GSI模型的方法。如上所述，当应用虚拟量测时，并未有实际量测值可获得来验证虚拟量测值的精确度。因此，以标准化后的复回归估计值取代标准化后的实际量测值来计算信心指标值(RI)。然而，这种取代可能会造成信心指标值(RI)的误差，为了补偿这种情形，本发明提出制程的整体相似度指标(GSI)来帮助判断虚拟量测的可靠程度。
本发明所提出的GSI的概念是将目前采用来当虚拟量测系统的输入的设备制程数据与建模时的所有历史参数数据相比较，得到一输入的制程数据与所有历史参数数据的相似程度指标。
本发明可用各种不同的统计距离演算法(例如：马氏距离(MahalanobisDistance)演算法、欧式距离演算法(Euclidean Distance)或中心法(Centroid Method)等)来量化相似度。马氏距离是由P.C.Mahalanobis于西元1936年所介绍的统计距离演算法。这种技术手段是基于变数间的关联性以辨识和分析不同样本组的型态。马氏距离是用以决定未知样本组与已知样本组间的相似度的方法，此方法考量数据组间的关联性并具有尺度不变性(Scale Invariance)，即不与量测值的大小相关。若数据具有高相似度，则所计算出的马氏距离将会较小。
本发明是利用所计算出的GSI(马氏距离)的大小，来分辨新进的制程数据是否相似于建模的所有制程数据。若计算出的GSI小，则表示新进的制程数据类似于建模的制程数据，因此新进的制程数据(高相似度)的虚拟量测值将会较准确。反之，若计算出的GSI过大，则表示新进的制程数据与建模的制程数据有些不同。因而新进的制程数据(低相似度)的虚拟量测值的准确性的信心度较低。
推估模型的标准化制程参数的计算公式是如式(5)、(6)和(7)所示。首先，定义样版参数数据XM＝[xM,1,xM,2,...,xM,p]T，其中xM,j等于如此，则标准化后的建模制程数据的各参数均为0(亦即标准化后的建模参数ZM,j为0)。换言之，ZM＝[ZM,1,ZM,2,...,ZM,p]T中的所有参数均为0。接下来计算各个标准化后建模参数之间的相关系数。
假设第s个参数与第t个参数之间的相关系数为rst，而其中有k组数据，则
在完成计算各参数间的相关系数之后，可得到相关系数矩阵如下：
假设R的反矩阵(R-1)是被定义为A，则
如此，第λ笔标准化的制程参数(Zλ)与标准化的样版参数数据(ZM)间的马氏距离计算公式如下：
可得
而第λ笔制程数据的GSI值为
在获得GSI值后，应定义出GSI门槛值(GSIT)。GSI门槛值(GSIT)的公式如下：
所谓“留一法(Leave-One-Out；LOO)原理”是从全部建模样本中，抽取一笔作为模拟上线的测试样本，再使用其余的样本建立GSI模型，然后应用此新建的GSI模型针对此笔模拟上线的测试样本计算出其GSI值，此值以GSILOO表示。接着重复上述步骤直到建模样本中所有各笔样本均计算出其相对应的GSILOO。因此，公式(26)中代表透过LOO原理由全部建模样本所计算出的所有GSILOO的例如90％截尾平均数(Trimmed Mean)。公式(26)的a值是介于2至3之间，其可依实际状况微调的，a的预设值为3。
以下说明建构DQIX模型的方法。假设收集到n组历史制程数据来建构DQIX模型，其中每一组历史制程数据是由p个参数所组成。透过主成分分析法并应用此n组历史制程数据来产生p个特征向量(Eigenvectors)，此p个特征向量具有对应的大至小排序的特征值(Eigenvalues)λ1≥λ2≥...≥λp。然后，选择一组k个重要的特征值(λ≥1)，以建构一特征撷取矩阵M如下：
以下说明计算DQIX值的方法：首先，应用公式(28)将第i个输入的制程数据Xi转成k个数据特征变数Ai＝[a1,a2,...,ak]。
Ai＝M·Xi (28)
接着，将k个数据特征变数转成标准化的一组z分数再以欧氏距离(ED)将此组z分数转成DQIX值：
其中i：第i组制程数据；
训练样本的第j个标准化变数的平均值。
理论上，为0，故公式(29)可被简化如下：
同时，利用交互验证(Cross Validation)中的留一法(Leave-One-Out；LOO)原理，来决定制程数据品质门槛值(DQIXT)，其公式如下：
所谓“LOO原理”是从全部建模样本中，抽取一笔作为模拟上线的测试样本，再使用其余的样本建立DQIX模型，然后应用此新建的DQIX模型针对此笔模拟上线的测试样本计算出其DQIX值，此值以DQIXLOO表示。接着重复上述步骤直到建模样本中所有各笔样本均计算出其相对应的DQIXLOO。因此，公式(31)中代表透过LOO原理由全部建模样本所计算出的所有DQIXLOO的例如90％截尾平均数(Trimmed Mean)。公式(31)的a值是介于2至3之间，其可依实际状况微调之，a的预设值为3。
值得注意的是特征撷取矩阵M和制程数据品质门槛值共同组成一DQIX模型。接着，计算历史制程数据的z分数(z Scores)。然后，建构DQIy模型，其中DQIy模型的建立是根据标准化变异和一分群演算法，其中此分群演算法可为适应性共振理2、模糊自适共振理论(Fuzzy Adaptive Resonance Theory；Fuzzy ART)、或k-平均数(K-means)分群法等。本实施例的DQIy模型是由m个相似样版(Similar Patterns)所组成。本实施例是应用适应性共振理2(ART2)在ρ＝0.98的条件下，从n组历史制程数据的z分数中分类(Sorting)出相似样版{P1,P2,…,Pm}。
以下说明计算DQIy值的方法。首先，当收集到新进的实际量测值yj时，以适应性共振理2(ART2)，并应用实际量测值yj所对应的制程数据的z分数在相似样版群{P1,P2,…,Pm}中搜寻出最相似的样版：Pq＝[Xq,1,Xq,2,...,Xq,v]。然后，应用Pq中的v个样本与其对应的v个实际量测值Yq＝[yq,1,yq,2,...,yq,v]及此新进的实际量测值yj，来计算和DQIy的门槛值(DQIyT)。yj的DQIyj值以标准化变异(NV)来表示：
其中
其中Yq内的所有yq,l的平均值；v：Pq中的样本个数。
某一个样版Pq的是被定义为Pq的最大可容许的变异。假设yt为最大可容许的量测值，其具有Pq的最大可容许的变异，则yt可被表示为：
其中Rmax为最大可容许的变异：
其中为相似样版Pi的范围(Range)，m为所有相似样版群组的总数目。通过加入yt至相似样版Pq，可获得为：
在获得和后，若则代表实际量测值为异常；否则为正常。
以上所述的主成分分析法、留一法(LOO)原理、适应性共振理2(ART2)、z分数、欧氏距离等均为发明所属技术领域具有通常知识者所熟知，故不再此赘述。
请参照图3，其绘示本发明的实施例的具取样率决定机制的量测抽样方法的流程示意图。首先，初始化一工件取样率1/N(步骤110)，此预设工件取样率为在一制程机台每处理过N个工件后选取第N个工件为一预期被量测的工件。例如：已知的工件取样率为制程机台每处理过25个工件(工件计数＝25)选取第25个工件来进行量测，此时N＝25。本发明实施例使用“工件计数”来实现工件取样率，其初始值为0。在步骤110中，N可被初始化为1或已知制造系统所设定的数值，理论上，工件计数为N的工件会被选取为预期被量测的工件。然后，收集制程机台处理多个历史工件所使用的多组历史制程数据，以及这些历史工件的多个历史量测值(步骤120)。接着，根据这些历史量测值和这些组历史制程数据来进行建模步骤130，以建立RI模型(推估模型和参考预测模型)、DQIX模型、DQIy模型、GSI模型，并计算出RI门槛值、DQIX门槛值、DQIy门槛值和GSI门槛值，其中推估模型是用以计算工件的虚拟量测值。建模步骤130的内容已详细说明如上。当建模步骤130完成后，便可进行工件取样率调整步骤140，用以调整工件取样率的N值。当自动调整N值后，可再进行量测工件取样步骤150，以进一步降低工件量测抽测率。工件取样率调整步骤140根据虚拟量测模型的精确度来调整N值，其是在虚拟量测的精确度不佳时增加工件取样率(减少N值)；在虚拟量测的精确度良好时减少或保持工件取样率(增加或维持N值)。因此，进行工件取样率调整步骤140后，已可适当调整工件量测抽测率。最后，使用者可根据上述抽测率进行量测工件取样步骤150。
以下说明工件取样率调整步骤140的技术原则。本实施例将每一个工件加入至一决定性样本(DS)集合中，再计算出此决定性样本集合的平均绝对误差百分比(MAPEDS)和最大绝对误差百分比(MaxErrDS)，来判断虚拟量测模型的精确度，平均绝对误差百分比(MAPE)和最大绝对误差百分比(Max Error)的公式如下：
其中代表虚拟量测值；yi代表实际量测值；y代表目标值；n代表决定性样本集合中的工件数目。决定性样本集合中的工件数目必须足够多，此决定性样本集合才具有代表性，然而，若决定性样本集合中的工件数目太多，则会耗费许多时间。因此，决定性样本数量的门槛值(TDS)必须是一适当值。当MAPE、Max Error愈靠近0时，虚拟量测模型的精确度愈高。本实施例使用制程机台的最大规格百分比(SPECMax)、最大绝对误差百分比的管制上限(UCLMax)和平均绝对误差百分比的管制上限(UCLMAPE)来决定是否调整工件取样率，最大绝对误差百分比的管制上限(UCLMax)和平均绝对误差百分比的管制上限(UCLMAPE)的公式如下：
UCLMax＝α*SPECMax (39)
UCLMAPE＝β*SPECMax (40)
最大规格百分比(SPECMax)会因制程机台的物理特性而有异；α为第一保守性因素(Conservative Factor)，β为第二保守性因素，0＜α、β≦1，α＞β。上述的TDS、α、β可透过敏感性分析法(Sensitivity Analysis Method)来决定。以电浆辅助化学气相沉积(PECVD)制程机台为例，TDS可为5，SPECMax可为1.08％，α可为0.85，β可为0.65，故UCLMax为0.92％，UCLMAPE为0.70％。
请参照图4A至图4C，其绘示用以说明根据本发明的实施例的工件取样率调整步骤140的示意图，其中“○”代表决定性样本集合的平均绝对误差百分比(MAPEDS)；“□”代表决定性样本集合的最大绝对误差百分比(MaxErrDS)；“○”和“□”内的“1-3”代表依序送至制程机台处理(决定性样本集合)的第1个工件至第3个工件；“○”和“□”内的“2-6”代表依序送至制程机台处理(决定性样本集合)的第2个工件至第6个工件；“○”和“□”内的“3-7”代表依序送至制程机台处理(决定性样本集合)的第3个工件至第7个工件；“◎”代表超规(OutOf Spec；OOS)事件发生。
如图4A所示，其是绘示维持该工件取样率1/N不变的情况。在收集决定性样本(工件)期间，当所收集到的决定性样本的数目小于TDS时，MAPEDS被用来检查目前的工件量测抽测率1/N是否需被改变。在本实施例中，TDS被设为5。当前4个工件的MAPEDS(“1”、“1-2”、“1-3”、“1-4”)均小于UCLMAPE时，维持该工件取样率1/N不变。当所收集到的决定性样本的数目等于TDS(5)时，不但采用MAPEDS亦采用MaxErrDS来决定的工件量测抽测率1/N。如图4A的右半部所示，当第1个工件至第5个工件的MaxErrDS超过UCLMax时，第1个工件至第5个工件的MAPEDS仍小于UCLMAPE，意指虚拟量测的精确度中等，故可维持工件取样率1/N不变。然后，弃除决定性样本集合中的最旧的工件(步骤274)，以避免决定性样本集合中的工件数目太多，而耗费太多时间。
如图4B所示，其是绘示减少工件取样率1/N(即增加N)的情况。在本实施例中，TDS被设为5。当所收集到的决定性样本的数目等于TDS(5)时，第1个工件至第5个工件(“1-5”)的MAPEDS小于UCLMAPE，且MaxErrDS亦小于UCLMax时，意指虚拟量测的精确度优越，虚拟量测值足以代表实际量测值，故可减少工件取样率1/N。然后，清空该决定性样本集合，并将超规计数设为0(步骤286)，其中“超规计数”的功用将于后说明。清空决定性样本集合代表重新收集决定性样本，即决定性样本集合中的工件数量(SIZEDS)为0；超规计数为0代表重新计算OOS发生的次数。
如图4C的左半部所示，其是绘示增加工件取样率1/N(即减少N)的情况。当所收集到的决定性样本的数目小于TDS，且MAPEDS大于或等于UCLMAPE时，意指虚拟量测的精确度不佳，虚拟量测值无法代表工件的实际量测值，故需增加工件取样率1/N。然后，清空决定性样本集合，并将超规计数设为0(步骤286)。
如图4C的右半部所示，当一工件的虚拟量测值的绝对误差百分比大于制程机台的SPECMax时，意指虚拟量测值的误差非常大，或虚拟量测的精确度快速下降，而有超规(OOS)事件发生。为避免太常或太急速调整工件取样率1/N，本实施例导入“超规计数”来计算OOS发生的次数。当超规计数大于或等于一超规门槛值(例如：2)时，增加工件取样率1/N。然后，清空该决定性样本集合，并将超规计数设为0(步骤286)。
制程机台的状态因机台保养、维护或配方调整而有所改变时，制造执行是统会发出机台状态改变的事件通知。此时，目前的N值可能会因制程特性改变而不再适用。本实施例定义预设工件取样率1/Ndefault和获得制程机台的最小历史工件取样率1/Nmax和预设工件取样率1/Ndefault来重新设定N值。当(γ×Nmax)大于Ndefault时，设Ndefault为(γ×Nmax)，其中γ为第三保守性因素，0＜γ≦1。在一实施例中，(γ×Nmax)可为γ×Nmax后以无条件进位到整数的结果。以电浆辅助化学气相沉积(PECVD)制程机台为例，γ可为2/3，故当Nmax为6时，则Ndefault为4。当制程机台的状态改变且目前的工件取样率1/N(例如：N＝5)小于1/Ndefault(N>Ndefault)时，则将工件取样率1/N设为1/Ndefault(N＝Ndefault)；否则(例如：N＝2)，维持目前的工件取样率1/N不变。
以下说明本发明实施例的工件取样率调整步骤140(图3所示)的流程，其中工件取样率调整步骤140包含如图5A和图5B所示的取样率调整步骤200。在取样率调整步骤200中，首先，获得制程机台处理此工件的一组制程数据，及对应至此组制程数据的此工件的一实际量测值。然后，可选择性地检查一工件的DQIy值、DQIx值、GSI值或RI值是否符合其各自的门槛值的规定，即RI≧RIT；GSI≦GSIT；(步骤210)。当步骤210的结果为否时，代表此工件的制程数据与实际量测值不可靠，无法进行取样率调整步骤200，故进行步骤280，以维持工件取样率1/N不变(即N值不变)。当步骤210的结果为是时，代表此工件的制程数据与实际量测值可靠，可继续进行步骤220，以将此工件加入至一决定性样本集合。然后，输入此组制程数据至建模步骤130(图3所示)所产生的推估模型，而计算出此决定性样本集合的平均绝对误差百分比(MAPEDS)、最大绝对误差百分比(MaxErrDS)与此工件的虚拟量测值的一绝对误差百分比(步骤230)。
然后，进行步骤240，以判断此虚拟量测值的绝对误差百分比是否大于制程机台的最大规格百分比(SPECMax)，而获得第一结果。当第一结果为是时，对一超规计数加1。当第一结果为否时，进行步骤260，以计算并判断决定性样本集合中的所有工件的虚拟量测值的平均绝对误差百分比(MAPEDS)是否大于或等于平均绝对误差百分比的管制上限(UCLMAPE)，而获得第二结果。当该第二结果为是时，进行步骤284，以增加工件取样率1/N(即减少N值，例如：对N值减1)。接着，进行步骤286，以将超规计数设为0，并清空决定性样本集合，即决定性样本集合中的工件数量(SIZEDS)为0。当第二结果为否时，进行步骤270，以判断SIZEDS是否大于或等于决定性样本数量的门槛值(TDS)，而获得第三结果。
当第三结果为否时，维持工件取样率1/N不变(步骤280)。当第三结果为是时，进行步骤272，以计算并判断决定性样本集合中的所有工件的虚拟量测值的最大绝对误差百分比(MaxErrDS)否小于最大绝对误差百分比的管制上限(UCLMax)，而获得第四结果。当第四结果为是时，进行步骤282，以减少工件取样率1/N(即增加N值，例如：对N值加1)。然后，清空决定性样本集合，并将超规计数设为0(步骤286)。当该第四结果为否时，弃除决定性样本集合中的最旧的工件(步骤274)，并维持工件取样率1/N不变(步骤280)。
当该第一结果为是时，进行步骤250，以判断超规计数是否大于或等于超规门槛值(例如：2)，而获得第五结果。当第五结果为是时，进行步骤284，以增加工件取样率1/N(即减少N值，例如：对N值减1)。接着，进行步骤286，以将超规计数设为0，并清空决定性样本集合。
在进行步骤280或286后，获得制程机台的一最小历史工件取样率1/Nmax和预设工件取样率1/Ndefault，其中Nmax为制程机台操作历史中所采用的最大N值。然后进行步骤290，以判断(γ×Nmax)是否大于Ndefault时，而获得第六结果，其中γ为第三保守性因素，0＜γ≦1。在一实施例中，(γ×Nmax)可为γ×Nmax后以无条件进位到整数的结果。当第六结果为是时，进行步骤292，以设Ndefault为(γ×Nmax)。另外，在如图6所示的步骤340、342、344与346中，当制程机台的状态发生改变(步骤340)且此时的工件取样率1/N小于1/Ndefault(N≧Ndefault)时(步骤344)，将工件取样率1/N设为1/Ndefault(N＝Ndefault)(步骤346)。
以下说明量测工件取样步骤150机制所考虑到的五种情境。
情境1：稳定制程。当制程机台的状态无任何变化且多个工件的RI值、GSI值、DQIx值和DQIy值皆符合其各自的门槛值的规定，即RI≧RIT；GSI≦GSIT；此时，不需实际量测数据来更新虚拟量测模型。ASD机制可设定N为一大数目(低工件取样率)，也不会影响虚拟量测模型的精度。
情境2：制程机台的状态改变。制程机台的状态可能会因机台保养、维护或配方调整而有所改变。此时，本发明实施例会立刻要求对制程机台状态改变时所处理的工件进行实际量测，并重设工件计数为0。例如：若原本预期被量测的工件为第25个工件，而制程机台的状态在第2个工件时发生变化，本发明实施例便会对第2个工件进行实际量测，而下一个预期被量测的工件则为第27个工件。
情境3：工件的DQIx值异常DQIx值的功能为检查制程机台处理工件所使用的制程数据的品质。为避免DQIx值异常的制程数据使虚拟量测模型变坏，不应选择DQIx值异常的工件来进行实际量测。即，本发明实施例将跳过DQIx值异常的工件进行实际量测。若此DQIx值异常的工件为原本预期(排定)被量测的工件(此时用以控制工件取样的工件计数为N)，则本发明实施例会不对此DQIx值异常的工件进行量测，而请求量测下一个工件。若下一个工件的DQIx值正常(此时用以控制工件取样的工件计数已大于N)，则对此下一个工件进行量测。若此下一个工件的DQIx值仍异常，则再跳过此下一个工件进行实际量测。然后，按同样的方式依序再考虑另下一个工件。
情境4：工件的GSI值(GSI＞GSIT)或RI值(RI＜RIT)异常。RI值的目的是用以验证虚拟量测值的信心度。若工件的RI值(RI＜RIT)异常，代表虚拟量测值的可靠程度低，需要工件的实际量测值来调校或重新训练虚拟量测模型。GSI值的目的是用以评估工件的制程数据的偏差程度。工件的制程数据的偏差可造成其对应的量测值偏离正常值，因而必须检查GSI值异常的工件。然而，若RI值或GSI值异常只发生一次，其可能是由数据杂讯或其他因素所产生的假性警报，故本发明实施例可在连续几个(例如：2或4个)工件的GSI值或RI值异常时，才对第2或4个工件进行实际量测。
情境5：工件的DQIy值异常DQIy值的功能为检查工件的实际量测值的品质。若工件的实际量测值的品质不佳，便不能被用来调校或重新训练虚拟量测模型。当工件的实际量测值的品质不佳时，本发明实施例立即请求量测下一个工件。
以下说明本发明实施例的量测工件取样步骤150的流程，其中量测工件取样步骤150包含如图6所示的取样步骤300、和如图7的步骤301。
在取样步骤300中，首先提供一工件至制程机台(步骤302)，此制程机台具有处理此工件的一组制程数据。输入此工件的制程数据至DQIX模型和GSI模型中，以获得此工件的制程数据的DQIX值和GSI值(步骤304)。在步骤304中，亦输入此工件的一组制程数据至推估模型，而计算出此工件的一虚拟量测值；输入此工件的制程参数数据至参考模型，而计算出此工件的一参考预测值。然后，分别计算此工件的虚拟量测值的分配(Distribution)与参考预测值的分配之间的重叠面积而产生此工件的RI值，其中当重叠面积愈大，则RI值愈高，代表所对应至虚拟量测值的可信度愈高。
然后，进行步骤310，以检查制程机台是否已停机一段时间(例如：停机超过1天)。当步骤310的检查结果为是时，此工件被视为停机后第一个工件，而必须进行步骤392，以使用量测机台对此工件进行量测，并设工件计数为0，而确认制程机台是否正常。当步骤310的检查结果为否时，则对工件计数加1(步骤320)。然后，进行步骤340，以检查制程机台的状态是否有改变(如执行机台保养、更换机台零组件、调整机台参数等)。当步骤340的检查结果为是时，清空决定性样本集合，并将超规计数设为0(步骤342)，且进行步骤344，以检查N是否大于Ndefault。当步骤344的检查结果为是时，将N设定为Ndefault(步骤346)。当步骤344的检查结果为否时，则进行步骤392，以此工件进行量测，并设工件计数为0。在进行步骤346后，亦进行步骤392，以确认制程机台的生产品质是否正常。
当步骤340的检查结果为否时，进行步骤350，以检查此工件的DQIX值的好坏。当DQIX值大于DQIX门槛值时，代表此工件的制程数据的品质(DQIX值)不佳(步骤350的检查结果为坏)，因为DQIX值异常的制程数据所生产的工件的实际量测值不可靠，所以不对此工件进行量测(步骤390)。当DQIX值小于或等于DQIX门槛值时，代表此工件的DQIX值的品质佳(步骤350的检查结果为好)，则进行步骤360，以检查此时的工件计数是否大于或等于N。当步骤360的检查结果为是时，代表此工件为预期被量测的工件，应对此工件进行量测并设定工件计数为0(步骤392)。
当步骤360的检查结果为否时，进行步骤370，以检查此工件的GSI值和RI值的好坏。当此工件的GSI值小于或等于GSI门槛值、且此工件的RI值大于或等于RI门槛值，代表由此工件的制程数据所推估的虚拟量测值的可靠度佳(步骤370的检查结果为好)，故不必对此工件进行量测(步骤390)。当此工件的GSI值大于GSI门槛值、或此工件的RI值小于RI门槛值，代表由此工件的制程数据所推估的虚拟量测值的可靠度低(步骤370的检查结果为坏)，可能有必要对此工件进行量测。然而，若RI值或GSI值异常只发生一次，其可能是由数据杂讯或其他因素所产生的假性警报，故本发明实施例可在连续几个(例如：2或4个)工件的GSI值或RI值异常时，才对第2或4个工件进行量测。换言之，当步骤370的检查结果为坏时，进行步骤380，以检查此工件之前k个工件(例如：前1个或前3个)的GSI值是否大于GSI门槛值、或此工件之前k个工件的RI值小于RI门槛值，k为正整数。当步骤380的检查结果为是时，使用量测机台对此工件进行量测并设定此工件计数为0(步骤392)。当步骤380的检查结果为否时，不对此工件进行量测(步骤390)。值得一提的是，步骤370亦可只检查此工件的GSI值的好坏。若此工件的GSI值过大，则表示此工件的制程数据与建模的制程数据有些不同，因而此工件的品质较可能异常，故需进行实际量测。由上述可知，应用本发明实施例，使用者可等制程机台处理过较多个工件后再选取工件来进行量测，即可增加N来降低工件取样率(1/N)，而不需担心错过应该被量测的异常工件。因此，本发明实施例可有效地降低工件量测抽测率。然而，在本发明的又一实施例中，只进行步骤350(检查此工件的DQIX值)、步骤360(检查此工件是否为预期被量测的工件)、步骤370(检查此工件的GSI值和RI值，或仅检查此工件的GSI值)，亦可有效地降低工件量测抽测率。
以上说明图5A与图5B所使用的第一至六“结果”，与图6所使用的第一至七“检查结果”是为方便说明说明书与权利要求书中各相关步骤的判断结果，其并无先后次序等特定意思。
此外，在此工件进行实际量测后，量测工件取样步骤150亦对此工件的量测数据品质指标(DQIy)值进行评估，如图7的步骤301所示。首先，收集此工件的实际量测值及与实际量测值相对应的制程数据。转换生产此组制程数据为一组z分数。将z分数与实际量测值输入至DQIy模型中，以计算此工件的实际量测值的DQIy值。当此工件的DQIy值大于DQIy门槛值时代表此实际量测值异常，亦即此实际量测值不能被采用来进行调校或换模工作，为补偿此不足，所以必须对当下生产的工件要求进行量测(即设定工件计数为N)。
可理解的是，本发明的量测抽样方法为以上所述的实施步骤，本发明的内储用于量测抽样的计算机程序产品，是用以完成如上述的量测抽样的方法。上述实施例所说明的各实施步骤的次序可依实际需要而调动、结合或省略。上述实施例可利用计算机程序产品来实现，其可包含储存有多个指令的机器可读取媒体，这些指令可程序化(programming)计算机来进行上述实施例中的步骤。机器可读取媒体可为但不限定于软盘、光盘、只读光盘、磁光盘、只读记忆体、随机存取记忆体、可抹除可编程只读记忆体(EPROM)、电子可抹除可编程只读记忆体(EEPROM)、光卡(optical card)或磁卡、快闪记忆体、或任何适于储存电子指令的机器可读取媒体。再者，本发明的实施例也可做为计算机程序产品来下载，其可通过使用通讯连接(例如网络连线的类的连接)的数据信号来从远端计算机转移本发明的计算机程序产品至请求计算机。
另一方面，本发明实施例的量测抽样方法亦可结合至虚拟量测技术，例如：中国台湾专利公告案第I349867号所揭示的全自动化型虚拟量测方法。请参照图7，其绘示本发明实施例的虚拟量测方法的流程示意图。在完成第一阶段虚拟量测的所有步骤后，进行如图6所示的取样步骤300，以决定工件是否需被实际量测。在完成第二阶段虚拟量测的所有步骤后，进行如图5A和图5B所示的取样率调整步骤200，以调整N值，供取样步骤300使用。在第二阶段虚拟量测中，当获得某一工件的实际量测值时，检查工件的DQIy值。当此工件的DQIy值大于DQIy门槛值时，进行步骤301，以对当下生产的工件要求进行量测(即设定工件计数为N)。当本发明实施例的量测抽样方法与虚拟量测方法相结合后，可及时获工件的实际量测值来调校或重新训练虚拟量测模型，以确保虚拟量测的精度。
由上述本发明实施方式可知，此量测抽样方法运用决定性样本集合中的所有工件的虚拟量测值的平均绝对误差百分比和最大绝对误差百分比来调整工件取样率，并结合代表生产过程中制程机台状态改变或机台信息异常的各式指标值所建构自动取样决策(ASD)机制，可有效地自动调整工件取样率，确保虚拟量测的精度，并大幅地降低工件量测抽测率。
虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (9)

1.一种量测抽样方法，其特征在于，包含：
收集一制程机台处理多个历史工件的多组历史制程数据，及对应至所述多组历史制程数据的所述多个历史工件的多个历史量测值；
进行一建模步骤，包含：使用所述多组历史制程数据和所述多个历史量测值来建立一推估模型，其中该推估模型的建立是根据一推估演算法；
初始化一工件取样率1/N，该工件取样率为在该制程机台每处理过N个工件后选取第N个工件为一预期被量测的工件；
将一工件加入至一决定性样本集合；
获得该制程机台处理该工件的一组制程数据，及对应至该组制程数据的该工件的一实际量测值；
输入该组制程数据至该推估模型，而计算出该工件的一虚拟量测值；
计算出该工件的该虚拟量测值的一绝对误差百分比；
判断该虚拟量测值的该绝对误差百分比是否大于该制程机台的一最大规格百分比，而获得一第一结果；
当该第一结果为是时，对一超规计数加1；
当该第一结果为否时，计算出该决定性样本集合中的所有工件的虚拟量测值的一平均绝对误差百分比并判断该平均绝对误差百分比是否大于或等于一平均绝对误差百分比的管制上限，而获得一第二结果；
当该第二结果为是时，增加该工件取样率1/N，并清空该决定性样本集合且将该超规计数设为0；
当该第二结果为否时，判断该决定性样本集合中的工件数量是否大于或等于一决定性样本数量的门槛值，而获得一第三结果；
当该第三结果为否时，维持该工件取样率1/N不变；
当该第三结果为是时，计算出该决定性样本集合中的所有工件的虚拟量测值的一最大绝对误差百分比，并判断该最大绝对误差百分比是否小于一最大绝对误差百分比的管制上限，而获得一第四结果；
当该第四结果为是时，减少该工件取样率1/N，并清空该决定性样本集合且将该超规计数设为0；以及
当该第四结果为否时，弃除该决定性样本集合中的最旧的工件并维持该工件取样率1/N不变。
2.根据权利要求1所述的量测抽样方法，其特征在于，该最大绝对误差百分比的管制上限为一第一保守性因素乘以该最大规格百分比，该平均绝对误差百分比的管制上限为一第二保守性因素乘以该最大规格百分比，该第一保守性因素和该第二保守性因素是大于0且小于或等于1，该第一保守性因素是大于该第二保守性因素。
3.根据权利要求1所述的量测抽样方法，其特征在于，当该第一结果为是时，该量测抽样方法还包含：
判断该超规计数是否大于或等于一超规门槛值，而获得一第五结果；
当该第五结果为是时，增加该工件取样率1/N并清空该决定性样本集合，且将该超规计数设为0。
4.根据权利要求3所述的量测抽样方法，其特征在于，该超规门槛值为2。
5.根据权利要求1所述的量测抽样方法，其特征在于，还包含：
获得该制程机台的一最小历史工件取样率1/Nmax和一预设工件取样率1/Ndefault；
计算一第三保守性因素乘以Nmax，而获得一测试值，其中该第三保守性因素是大于0且小于或等于1；
判断该测试值是否大于Ndefault，而获得一第六结果；
当该第六结果为是时，将Ndefault设为等于该测试值；
进行一第一检查步骤，以检查该制程机台的状态是否有改变而获得一第一检查结果；
当该第一检查结果为是时，清空该决定性样本集合，并将该超规计数设为0，且进行一第二检查步骤，以检查N是否大于Ndefault，而获得一第二检查结果；以及
当该第二检查结果为是时，将N设定为Ndefault。
6.根据权利要求5所述的量测抽样方法，其特征在于，还包含：
进行该建模步骤，还包含：
根据所述多组历史制程数据来建立一制程数据品质指标模型和一整体相似度指标模型，并计算出一制程数据品质指标门槛值和一整体相似度指标门槛值；
进行一量测工件取样步骤，包含：
输入该组制程数据至该制程数据品质指标模型和该整体相似度指标模型中，以获得该工件的该组制程数据的一制程数据品质指标值和一整体相似度指标值；
对一工件计数加1；
当该第一检查结果为否时，进行一第三检查步骤，以检查该工件的该制程数据品质指标值是否小于或等于该制程数据品质指标门槛值而获得一第三检查结果；
当该第三检查结果为否时，不对该工件进行量测；
当该第三检查结果为是时，进行一第四检查步骤，以检查该工件计数是否大于或等于N而获得一第四检查结果；
当该第四检查结果为是时，对该工件进行量测并设定该工件计数为0；
当该第四检查结果为否时，进行一第五检查步骤，以检查该工件的该整体相似度指标值是否小于或等于该整体相似度指标门槛值，而获得一第五检查结果；以及
当该第五检查结果为是时，不对该工件进行量测。
7.根据权利要求6所述的量测抽样方法，其特征在于，还包含：
使用所述多组历史制程数据和所述多个历史量测数据来建立一参考模型，其中该参考模型的建立是根据一参考预测演算法，该推估演算法与该参考预测演算法不同；以及
根据所述多个历史量测值与最大可容许误差上限来计算出一信心指标门槛值；
输入该组制程参数数据至该参考模型，而计算出该工件的一参考预测值；
分别计算该工件的该虚拟量测值的分配与该参考预测值的分配之间的重叠面积而产生该工件的一信心指标值；
当该第四检查结果为否时，进行一第六检查步骤，以检查该工件的该信心指标值是否大于或等于该信心指标门槛值，而获得一第六检查结果；以及
当该第六检查结果为是时，不对该工件进行量测。
8.根据权利要求7所述的量测抽样方法，其特征在于，当该第五检查结果或该第六检查结果为否、且该工件之前k个工件的整体相似度指标值大于该整体相似度指标门槛值、或该工件之前k个工件的RI值小于该RI门槛值时，对该工件进行量测并设定该工件计数为0，k为正整数。
9.根据权利要求6所述的量测抽样方法，其特征在于，还包含：
在对该工件计数加1的步骤前，进行一第七检查步骤，以检查该制程机台是否已停机一段时间而获得一第七检查结果；以及
当该第七检查结果为是时，对该工件进行量测并设定该工件计数为0。
CN201510655775.7A 2015-05-27 2015-10-12 具取样率决定机制的量测抽样方法 Active CN106206346B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104117016A TWI539298B (zh) 2015-05-27 2015-05-27 具取樣率決定機制的量測抽樣方法 與其電腦程式產品
TW104117016 2015-05-27

Publications (2)

Publication Number Publication Date
CN106206346A CN106206346A (zh) 2016-12-07
CN106206346B true CN106206346B (zh) 2018-09-28

Family

ID=56756007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510655775.7A Active CN106206346B (zh) 2015-05-27 2015-10-12 具取样率决定机制的量测抽样方法

Country Status (7)

Country Link
US (1) US10269660B2 (zh)
JP (1) JP6285494B2 (zh)
KR (1) KR101930420B1 (zh)
CN (1) CN106206346B (zh)
AT (1) AT517250B1 (zh)
DE (1) DE102016109232B4 (zh)
TW (1) TWI539298B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5334787B2 (ja) * 2009-10-09 2013-11-06 株式会社日立ハイテクノロジーズ プラズマ処理装置
CN108268987B (zh) * 2016-12-30 2021-08-06 郑芳田 多样式产品的品质推估方法
CN107014635B (zh) * 2017-04-10 2019-09-27 武汉轻工大学 粮食均衡抽样方法及装置
CN107203496B (zh) * 2017-06-01 2020-05-19 武汉轻工大学 粮食分配抽样方法及装置
CN109993182B (zh) * 2017-12-29 2021-08-17 中移（杭州）信息技术有限公司 一种基于Fuzzy ART的模式识别方法及装置
JP7074489B2 (ja) * 2018-02-08 2022-05-24 株式会社Ｓｃｒｅｅｎホールディングス データ処理方法、データ処理装置、および、データ処理プログラム
TWI676899B (zh) * 2018-02-21 2019-11-11 量儀數據收集設備與方法
KR102092379B1 (ko) * 2018-04-13 2020-03-23 김대희 반도체 웨이퍼 검사방법, 이의 검사장치 및 기록매체
CN109598052B (zh) * 2018-11-29 2022-07-05 武汉大学 基于相关系数分析的智能电表寿命周期预测方法及装置
TWI734059B (zh) 2018-12-10 2021-07-21 財團法人工業技術研究院 動態預測模型建立方法、電子裝置及使用者介面
EP3709110A1 (de) * 2019-03-14 2020-09-16 GKN Sinter Metals Engineering GmbH Verfahren zur steuerung eines produktionsprozesses zur herstellung von bauteilen
TWI708197B (zh) 2019-04-26 2020-10-21 國立成功大學 生產機台組件的預測保養方法與其電腦程式產品
CN113646714A (zh) * 2019-04-29 2021-11-12 西门子股份公司 生产设备的加工参数设置方法、装置和计算机可读介质
TWI755702B (zh) * 2020-04-06 2022-02-21 中華電信股份有限公司 測試真實資料之方法及電腦可讀媒介
TWI742709B (zh) 2020-06-04 2021-10-11 國立成功大學 預測機台加工事件發生的方法與其虛擬量測應用及其電腦程式產品
CN113828794A (zh) * 2020-06-24 2021-12-24 郑芳田 积层制造方法
TWI776444B (zh) * 2020-07-23 2022-09-01 國立成功大學 使用卷積神經網路的虛擬量測方法及其電腦程式產品
US11429091B2 (en) 2020-10-29 2022-08-30 Kla Corporation Method of manufacturing a semiconductor device and process control system for a semiconductor manufacturing assembly
KR102305261B1 (ko) * 2020-12-11 2021-09-28 쿠팡 주식회사 전자 장치 및 그의 정보 제공 방법
EP4043976B1 (de) * 2021-02-16 2023-06-14 Carl Zeiss Industrielle Messtechnik GmbH Verfahren und system zur vermessung von bauteilen sowie programm
KR20230018869A (ko) * 2021-07-30 2023-02-07 삼성전자주식회사 제품의 불량을 예측하는 예측 모델 업데이트 방법 및 장치
CN113822257B (zh) * 2021-11-24 2022-06-07 航天智控(北京)监测技术有限公司 一种基于无量纲特征结合虚拟样本的异常点检测方法
CN114814645B (zh) * 2022-06-27 2022-09-13 广东电网有限责任公司佛山供电局 一种电容式电压互感器在线分析方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320258A (zh) * 2007-06-08 2008-12-10 郑芳田 双阶段虚拟测量方法
CN101598754A (zh) * 2008-06-05 2009-12-09 郑芳田 自动虚拟计量的系统及方法
CN101738911A (zh) * 2008-11-26 2010-06-16 佳能株式会社 显影装置和处理盒
CN102262188A (zh) * 2010-05-28 2011-11-30 先知科技股份有限公司 工件抽样检验的方法及其计算机程序产品
CN102375413A (zh) * 2010-08-02 2012-03-14 成功大学 使用具有信心指标的虚拟量测的先进工艺控制系统与方法及其计算机程序产品
CN103177180A (zh) * 2011-12-20 2013-06-26 郑芳田 预测模型的建模样本的筛选方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3208807B2 (ja) 1991-11-15 2001-09-17 株式会社日立製作所 電子デバイス検査システムおよび電子デバイスの製造方法
JPH11129145A (ja) 1997-10-31 1999-05-18 Denso Corp 加工物の形状精度診断装置及び加工物の形状精度診断方法及び記録媒体
AU2001288856A1 (en) * 2000-09-15 2002-03-26 Advanced Micro Devices Inc. Adaptive sampling method for improved control in semiconductor manufacturing
US6976236B1 (en) 2002-04-05 2005-12-13 Procket Networks, Inc. Method for automatically routing connections between top side conductors and bottom side conductors of an integrated circuit package
TWI283817B (en) 2003-05-30 2007-07-11 Tokyo Electron Ltd Method of operating a process control system and method of operating an advanced process control system
TWI222696B (en) 2003-09-12 2004-10-21 Grace Semiconductor Mfg Corp Defect analysis sampling control system and method
TWI267012B (en) 2004-06-03 2006-11-21 Univ Nat Cheng Kung Quality prognostics system and method for manufacturing processes
US7076321B2 (en) * 2004-10-05 2006-07-11 Advanced Micro Devices, Inc. Method and system for dynamically adjusting metrology sampling based upon available metrology capacity
JP2007213147A (ja) 2006-02-07 2007-08-23 Denso Corp 工程監視装置及び工程監視方法
TWI315054B (en) 2006-05-10 2009-09-21 Nat Cheng Kung Universit Method for evaluating reliance level of a virtual metrology system in product manufacturing
TWI338916B (en) 2007-06-08 2011-03-11 Univ Nat Cheng Kung Dual-phase virtual metrology method
TWI349867B (en) 2008-05-20 2011-10-01 Univ Nat Cheng Kung Server and system and method for automatic virtual metrology
US8392009B2 (en) * 2009-03-31 2013-03-05 Taiwan Semiconductor Manufacturing Company, Ltd. Advanced process control with novel sampling policy
US8437870B2 (en) * 2009-06-05 2013-05-07 Taiwan Semiconductor Manufacturing Company, Ltd. System and method for implementing a virtual metrology advanced process control platform
US8620468B2 (en) 2010-01-29 2013-12-31 Applied Materials, Inc. Method and apparatus for developing, improving and verifying virtual metrology models in a manufacturing system
TWI427487B (zh) 2010-04-02 2014-02-21 Foresight Technology Company Ltd 工件抽樣檢驗的方法及其電腦程式產品
TWI412906B (zh) 2010-04-13 2013-10-21 Univ Nat Cheng Kung 具有虛擬量測功能的製造執行系統與製造系統
TWI407325B (zh) 2010-05-17 2013-09-01 Nat Univ Tsing Hua 製程品質預測系統及其方法
US10522427B2 (en) * 2011-07-06 2019-12-31 Taiwan Semiconductor Manufacturing Company, Ltd. Techniques providing semiconductor wafer grouping in a feed forward process
TWI463334B (zh) 2012-07-20 2014-12-01 Univ Nat Cheng Kung 標的裝置的基底預測保養方法與其電腦程式產品
US9240360B2 (en) * 2012-07-25 2016-01-19 International Business Machines Corporation Run-to-run control utilizing virtual metrology in semiconductor manufacturing
TWI481978B (zh) 2012-11-05 2015-04-21 Univ Nat Cheng Kung 工具機之加工品質的預測方法
TWI521360B (zh) 2014-03-26 2016-02-11 國立成功大學 量測抽樣方法與其電腦程式產品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320258A (zh) * 2007-06-08 2008-12-10 郑芳田 双阶段虚拟测量方法
CN101598754A (zh) * 2008-06-05 2009-12-09 郑芳田 自动虚拟计量的系统及方法
CN101738911A (zh) * 2008-11-26 2010-06-16 佳能株式会社 显影装置和处理盒
CN102262188A (zh) * 2010-05-28 2011-11-30 先知科技股份有限公司 工件抽样检验的方法及其计算机程序产品
CN102375413A (zh) * 2010-08-02 2012-03-14 成功大学 使用具有信心指标的虚拟量测的先进工艺控制系统与方法及其计算机程序产品
CN103177180A (zh) * 2011-12-20 2013-06-26 郑芳田 预测模型的建模样本的筛选方法

Also Published As

Publication number Publication date
AT517250A3 (de) 2018-05-15
US20160349736A1 (en) 2016-12-01
DE102016109232A1 (de) 2016-12-01
TW201642147A (zh) 2016-12-01
DE102016109232B4 (de) 2018-03-29
JP6285494B2 (ja) 2018-02-28
CN106206346A (zh) 2016-12-07
AT517250A2 (de) 2016-12-15
KR101930420B1 (ko) 2018-12-19
AT517250B1 (de) 2024-04-15
US10269660B2 (en) 2019-04-23
TWI539298B (zh) 2016-06-21
JP2016224947A (ja) 2016-12-28
KR20160140474A (ko) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106206346B (zh) 具取样率决定机制的量测抽样方法
CN104952753B (zh) 测量抽样方法
KR101098037B1 (ko) 자동 가상 계측 시스템 및 방법
CN110297852B (zh) 一种基于pca-粗糙集的船舶涂装缺陷知识获取方法
CN111338972A (zh) 基于机器学习的软件缺陷与复杂度关联关系分析方法
Fernández Optimal defects-per-unit acceptance sampling plans using truncated prior distributions
CN107273659A (zh) 一种基于ransac算法改进的用于空间碎片光电跟踪的轨迹预测方法
CN101598754B (zh) 自动虚拟计量的系统及方法
CN110196797B (zh) 适于信用评分卡系统的自动优化方法和系统
CN111553581A (zh) 一种基于熵值的装备维修性评价模型
TWI427487B (zh) 工件抽樣檢驗的方法及其電腦程式產品
US20210382464A1 (en) Method for predicting occurrence of tool processing event and virtual metrology application and computer program product thereof
CN115985411A (zh) 基于高斯过程回归模型的高分子熔融指数软测量方法
CN110705841A (zh) 一种基于改进模糊层次分析法的化工生产安全评估方法
JP4439803B2 (ja) 製造データ解析方法及びそれをコンピュータに実行させるプログラム
CN109840314A (zh) 一种装备维修费用估算方法
CN102262188B (zh) 工件抽样检验的方法
CN110083849A (zh) 半导体制造设备的软测量方法、计算机和计算机可读介质
KR20230046308A (ko) 에러 요인의 추정 장치 및 추정 방법
CN109117495B (zh) 氧化铝生产蒸发过程鲁棒数据协调方法、装置及存储介质
Kolosowski et al. Statistical process control in conditions of piece and small lot production
Beylihan et al. Fuzzy Measurement System Analysis Approach: A Case Study
Morasca et al. A comparative study of two techniques for analyzing software measurement data
CN112966449A (zh) 基于变量选择和概率神经网络的制造过程质量缺陷根源诊断方法
CN116911444A (zh) 维修器材消耗预测模型构建方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant