CN103177180B - 预测模型的建模样本的筛选方法 - Google Patents

预测模型的建模样本的筛选方法 Download PDF

Info

Publication number
CN103177180B
CN103177180B CN201210453644.7A CN201210453644A CN103177180B CN 103177180 B CN103177180 B CN 103177180B CN 201210453644 A CN201210453644 A CN 201210453644A CN 103177180 B CN103177180 B CN 103177180B
Authority
CN
China
Prior art keywords
sample
group
sample data
those
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210453644.7A
Other languages
English (en)
Other versions
CN103177180A (zh
Inventor
郑芳田
吴伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN103177180A publication Critical patent/CN103177180A/zh
Application granted granted Critical
Publication of CN103177180B publication Critical patent/CN103177180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70491Information management, e.g. software; Active and passive control, e.g. details of controlling exposure processes or exposure tool monitoring processes
    • G03F7/705Modelling or simulating from physical phenomena up to complete wafer processes or whole workflow in wafer productions
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605Workpiece metrology
    • G03F7/70616Monitoring the printed patterns
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605Workpiece metrology
    • G03F7/70681Metrology strategies
    • G03F7/706833Sampling plan selection or optimisation, e.g. select or optimise the number, order or locations of measurements taken per die, workpiece, lot or batch
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605Workpiece metrology
    • G03F7/706835Metrology information management or control
    • G03F7/706839Modelling, e.g. modelling scattering or solving inverse problems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

一种预测模型的建模样本的筛选方法。当一动态移动视窗(Dynamic MovingWindow;DMW)中有加入一笔新样本数据时,先对视窗内的所有样本数据进行分群步骤,使得特性相近的样本数据被归类于同一群内。然后,检视各个群集内的样本数据的数目。若最大群集的样本数据的数目大于预设门槛,则代表最大群集有过多特性相近样本数据,故可摒弃此最大群集内的最旧样本数据。若最大群集的样本数据的数目小于或等于预设门槛,则代表最大群集中的样本数据相当独特,而必须被保留来建立或更新预测模型。

Description

预测模型的建模样本的筛选方法
技术领域
本发明是有关于一种预测模型的建模样本的筛选方法,且特别是有关于一种使用动态移动视窗(DynamicMovingWindow;DMW)的预测模型的建模样本的筛选方法。
背景技术
历史样本数据常被用于建构首套预测模型。然后,将预测模型应用于后续的实际应用环境中。随着新样本数据的取得,习知技术会使用新样本数据来进行模型更新,以更新或重新训练预测模型。因此,预测模型的预测精度是与历史样本数据和线上模型更新期间所取得的新进样本数据有密切关系。
以建构虚拟量测模型为例,在生产过程中,工艺机台会面临到定期维护(PreventiveMaintenance;PM)机台、机台漂移(Drift),或为了测试机台特性或校正机台所需进行的实验设计(DesignofExperiments;DOE)等状况。若能搜集到上述事件的重要样本数据,将可使虚拟量测模型所包含的数据特性更加完整,进而提升虚拟量测即时预测产品品质的准确性及稳健性。传统上,习知技术是采用静态移动视窗(StaticMovingWindow;SMW)机制来维持及管理建模样本数据。所谓“静态移动视窗”机制是以固定样本数量的方式,以新进入视窗中的样本数据取代视窗中最旧的样本数据来进行更新样本。如此,当时间的演进,位于视窗前端的样本数据会逐渐被陆续进入视窗中的样本数据所取代,使得上述事件的重要样本数据会因时间一久,而被摒弃于建模样本之外。因此,当未来再面临类似的机台偏移状况时,预测模型(虚拟量测模型)就无法准确地预测出此种偏移状况。
因此,需要一种预测模型的建模样本的筛选方法,以获得并留住重要且足够的建模样本数据,来克服上述习知技术的缺点。
发明内容
因此,本发明的一目的就是在提供一种预测模型的建模样本的筛选方法,藉以获得并留住重要且足够的建模样本数据,以确保预测模型的预测精度。
根据本发明的一方面,提供一种预测模型的建模样本的筛选方法。在此方法中,首先,获得关于一待预测标的的依时序产生的数个组第一样本数据,其中此待预测标的为被一工艺机台所处理的一工件,第一样本数据包含:数个组监测数据和数个目标数据。此些组监测数据为数个组工艺数据,其是于该工艺机台处理数个历史工件时所产生,每一该些组工艺数据包含有数个工艺参数。此些目标数据为数个量测数据,其是由一量测机台量测该些历史工件所获得。此些目标数据与此些组监测数据是一对一对应并具有因果关系。接着,对第一样本数据进行一分群步骤,以将第一样本数据间的相似度高者分为一群,而获得数个第一群组。然后,寻找具有最多组第一样本数据的第一群组,而获得至少一个第二群组。然后,判断第二群组的数目是否大于或等于2,而获得第一判断结果。当第一判断结果为是时,寻找具有最旧第一样本数据的第二群组,而获得一第三群组,并判断此第三群组中第一样本数据的数目是否小于一预设数目(例如:3),而获得第二判断结果。当第一判断结果为否时,判断第二群组中第一样本数据的数目是否小于前述的预设数目(例如:3),而获得第三判断结果。当第二判断结果或第三判断结果为是时,保留全部的第一样本数据,以供一预测模型建模或更新之用,其中预测模型是用以预测待预测标的状态或行为,预测模型为一虚拟量测模型。当第二判断结果为否时,弃除第三群组中的最旧的第一样本数据,并保留其余的第一样本数据,以供预测模型建模或更新之用。当第三判断结果为否时,弃除第二群组中的最旧的第一样本数据,并保留其余的第一样本数据,以供预测模型建模或更新之用。
根据本发明的一实施例,前述的第一样本数据包含:储存于一数据库中的数个组历史样本数据;以及一组新搜集到的样本数据。
根据本发明的一实施例,前述的第一样本数据是利用一移动视窗来获得。
根据本发明的一实施例,前述的待预测标的为被一工艺机台所处理的一工件,前述的预测模型为一虚拟量测模型。前述的监测数据为数个组工艺数据,其是于工艺机台处理数个历史工件时所产生,而每一组工艺数据包含有数个工艺参数。前述的目标数据为数个量测数据,其是由一量测机台量测历史工件所获得,其中量测数据以一对一的方式对应至工艺数据。
根据本发明的一实施例,前述的分群步骤是根据一适应性共振理论2(AdaptiveResonanceTheory2;ART2)、一欧氏距离(EuclideanDistance;ED)演算法或一加权欧氏距离(WeightedEuclideanDistance;WED)演算法来进行。
根据本发明的一实施例,前述的分群步骤是针对第一样本数据的监测数据来进行。
根据本发明的一实施例,前述的分群步骤是针对第一样本数据的监测数据和目标数据来进行。
根据本发明的又一方面,提供一种电脑程式产品,当电脑载入此电脑程式产品并执行后,可完成前述的预测模型的建模样本的筛选方法。
因此,应用本发明的实施例,可有效地获得并留住重要且足够的建模样本数据,以确保预测模型的预测精度。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,所附附图的说明如下:
图1是绘示依照本发明的预测模型的建模样本的筛选方法的流程图。
图2是绘示用以说明应用例的玻璃基板(待预测标的)的量测位置的示意图。
图3A是绘示应用例1的玻璃基板的量测位置2的预测与实际量测值及与其相对应的GSI值。
图3B是绘示应用例1的玻璃基板的量测位置8的预测与实际量测值及与其相对应的GSI值。
图4A至图4C是分别绘示应用例1分别采用习知的静态移动视窗、本发明的DMW-ART2和DMW-WED后关于主要工艺参数的筛选样本结果。
图5A是绘示应用例2的玻璃基板的量测位置2的预测与实际量测值及与其相对应的GSI值。
图5B是绘示应用例2的玻璃基板的量测位置6的预测与实际量测值及与其相对应的GSI值。
图6A至图6C是分别绘示应用例2分别采用习知的静态移动视窗、本发明的DMW-ART2和DMW-WED后关于主要工艺参数的筛选样本结果。
【主要元件符号说明】
1-8量测位置
102获得关于数个组第一样本数据
110搜集一组新样本数据
120将搜集到的新样本数据加入至第一样本数据
130对第一样本数据进行分群步骤
140寻找具有最多组第一样本数据的群组
150判断群组的数目是否大于或等于2
160寻找具有最旧第一样本数据的群组
170此群组中第一样本数据数目是否小于预设数目
180保留全部的第一样本数据
190弃除此群组中的最旧的第一样本数据,并保留其余第一样本数据
具体实施方式
在此详细参照本发明的实施例,其例子是与附图一起说明。尽可能地,附图中所使用的相同元件符号是指相同或相似组件。
本发明是提供一种建模样本的筛选方法,用以建立或更新一种预测模型,来预测一待预测标的状态或行为。本发明所适用的预测模型可为例如于高科技制造业的虚拟量测模型、良率预测模型、预测保养模型、产能预估模型等;医疗照护产业的3D影像技术预测癌症扩散速度模型等;气象产业的台风动态与路径预测模型、雨量预测模型、土石流警戒预测模型等。
本发明主要是提出一种动态移动视窗机制来维持及管理建模样本。当动态移动视窗中有加入一笔新样本数据时,将先利用分群技术对视窗内的所有样本进行分群,使得特性相近的数个样本被归类于同一群内。然后,检视各个群集内的样本数目。若最大群集的样本数大于预设门槛,则代表最大群集有许多特性相近的样本数据,故可摒弃此最大群集内的最旧样本数据。若最大群集的样本数小于或等于预设门槛,则代表最大群集中的样本数据相当独特,而必须被保留来建立或更新预测模型,以使预测模型可预测出待预测标的的特殊行为。换言之,本发明可即时地吸收待预测标的变异的重要资讯,且不会因时间因素而将重要样本数据丢弃,未来若面临过去已发生的待预测标的变异时,预测模型亦能准确地预测产品品质。
请参照图1,其绘示依照本发明的一实施例的预测模型的建模样本的筛选方法的流程图。如图1所示,首先,进行步骤102,以获得关于数个组第一样本数据。第一样本数据为关于一待预测标的的依时序产生的数个组历史样本数据,其可储存于例如一数据库中。第一样本数据包含有数个组监测数据、和数个目标数据,其中目标数据与监测数据是一对一对应并具有因果关系。举例而言,待预测标的可为被一工艺机台所处理的一工件(例如:半导体的晶圆或TFT-LCD厂的玻璃基板),预测模型可为一虚拟量测模型,其中监测数据为数个组工艺数据,其是于工艺机台处理数个历史工件时所产生,其中每一组工艺数据包含有数个工艺参数;该些目标数据为数个量测数据,其是由一量测机台量测历史工件所获得,其中量测数据以一对一的方式对应至工艺数据。
然后,进行步骤110,以搜集一组新样本数据。此组新样本数据为关于前述的待预测标的的在历史样本数据后所产生的样本数据。接着,进行步骤120,以将搜集到的新样本数据加入至第一样本数据。值得一提的是,本实施例亦可先直接处理历史样本数据,亦即略过步骤110和120。
接着,进行步骤130,以对第一样本数据进行分群步骤,以将第一样本数据间的相似度高者分为一群,而获得数个第一群组。在本实施例中,可只针对第一样本数据中的目标数据来进行分群步骤。然而,由于不同的监测数据(例如:工艺数据)可能会产生相同的目标数据(例如:量测数据)。因此,较佳是针对第一样本数据中的监测数据来进行分群步骤。在又一实施例中,分群步骤是针对第一样本数据的监测数据和目标数据来进行。本实施例的分群步骤可使用任何分群演算法,例如:适应性共振理论2(AdaptiveResonanceTheory2;ART2)、欧氏距离(EuclideanDistance;ED)演算法、或加权欧氏距离(WeightedEuclideanDistance;WED)演算法,其中加权欧氏距离演算法是本发明的特征之一,将于后详述。至于其他分群演算法是习于本技艺的人士所熟知,故不在此赘述。
然后,进行步骤140,以寻找具有最多组第一样本数据的第一群组,而获得至少一个第二群组。接着,进行步骤150,以判断第二群组的数目是否大于或等于2。若步骤150的结果为“是”,代表有两个以上的第二群组(具有最多组第一样本数据),则寻找具有最旧第一样本数据的第二群组(步骤160),而获得一第三群组,再进行步骤170,以判断第三群组中第一样本数据的数目是否小于预设数目(例如:3)。若步骤150的结果为“否”,则直接进行步骤170,以判断第二群组中第一样本数据的数目是否小于预设数目(例如:3)。若步骤170的结果为“是”,代表此最多组第一样本数据的第一群组的样本数太少,即此群组中的所有第一样本数据均相当独特,故进行步骤180以保留步骤130中所使用的全部第一样本数据,来供一预测模型建模或更新之用,其中此预测模型是用以预测待预测标的状态或行为。若步骤170的结果为“否”,代表此最多组第一样本数据的第一群组的相似样本数相当多,故进行步骤190以弃除此群组中的最旧的第一样本数据,并保留其余第一样本数据,来供预测模型建模或更新之用,以节省建模或更新模型的时间。
以下以加权欧氏距离演算法及虚拟量测模型为例子来说明前述的分群步骤130,其中每一组第一样本数据包含有一组工艺数据、和与工艺数据相对应的一量测数据,每一组工艺数据包含有数个工艺参数。
在分群步骤130中,首先,计算出第j个工艺参数Xj(j=1,2,…,p)与实际量测值(实际量测数据)y间的加权相关系数Wj,其计算公式如下:
W j = r ( X j , y ) Σ j = 1 p r ( X j , y ) , j = 1 , 2 , ... , p - - - ( 1 )
其中r(Xj,y)为第j个工艺参数Xj(j=1,2,…,p)与量测数据间y的相关系数;Xj=[x1,j,x2,j,...,xn,j]T包含有n个第j个工艺参数的样本;y=[y1,y2,...,yn]T包含有n个样本的实际量测值。加权相关系数矩阵W为:
接着,对每一组样本数据计算出加权欧氏距离WEDi(i=1,2,…,n)。在建构WEDi之前,必须先标准化工艺数据,其计算公式如下:
Z x i , j = x i , j - x ‾ j σ x j , i = 1 , 2 , ... , n ; j = 1 , 2 , ... , p - - - ( 3 )
x ‾ j = 1 n ( x 1 , j + x 2 , j + ... + x n , j ) - - - ( 4 )
σ x j = 1 n - 1 [ ( x 1 , j - x ‾ j ) 2 + ( x 2 , j - x ‾ j ) 2 + ... + ( x n , j - x ‾ j ) 2 ] - - - ( 5 )
其中为第i组工艺数据中的第j个标准化工艺参数;为第j个工艺参数的平均值;第j个工艺参数的标准差。
为第i组标准化工艺数据的向量,而此模型组(ModelSet)的工艺参数是定义为XM=[xM,1,xM,2,...,xM,p]T,其中xM,j等于使得标准化后的模型组中的每一个元件(亦记为标准化模型参数ZM,j)均为0。换言之,ZM=[ZM,1,ZM,2,...,ZM,p]T中的所有元件均为0。
因此,WEDi表示如下:
WEDi=(Zi-ZM)WIWT(Zi-ZM)T(6)
其中I为单位矩阵。由于ZM中的所有元件均为0,故WEDi可被简化为
WEDi=ZiWIWTZi T(7)
在获得所有样本数据的WEDi后,先将所有WEDi绘制成直方图(Histogram)。然后,应用史特基特法则(Sturge’sRule)对WEDi进行分群。史特基特法则的公式如下:
群组数目=1+log2(n)(8)
其中n代表样本数据的数目;最接近公式(8)中的群组数目的整数被采用为C值。最后,以一群组宽度将这些WEDi,i=1,2,…,n平分为C个群组,群组宽度的公式如下:
群组宽度=[max(WEDi)–min(WEDi)]/C(9)
其中max(WEDi)代表最大的WEDi;min(WEDi)代表最小的WEDi
以下以两个应用例来说明本案动态移动视窗(DMW)的优点。此两个应用例是使用一微影工具的实验数据,此微影工具是实际应用于第五代TFT-LCD厂。请参照图2,其绘示用以说明应用例的玻璃基板(待预测标的)的量测位置的示意图。如图2所示,此两个应用例是量测玻璃基板的量测位置1-8。根据微影工具的特性,分别选择21个主要工艺参数为虚拟量测模型(预测模型)的输入(用以建模或更新模型)。此些工艺数据是以一时段视窗平均的方式,从时间序列追踪(Time-series-trace)数据中取得。
此两个应用例所使用的整体相似度指标(GlobalSimilarityIndex;GSI)可参考美国专利前案第7,593,912号,其全部内容在此以引用方式并入本案。GSI是评估新进任何一组样本数据与建模的所有工艺数据(历史样本数据)间的相似度。若计算出的GSI小,则表示新进的样本数据类似于建模的样本数据。反之,若计算出的GSI过大,则表示新进的样本数据与建模的样本数据有些不同。
此两个应用例所使用的整体相似度指标和虚拟量测模型可参考美国专利前案第7,603,328号和美国专利公开案第20090292386号(已获准,其申请号为12/207,706),其在此以引用方式并入本案。值得一提的是,美国专利前案第7,593,912号、美国专利前案第7,603,328号和美国专利公开案第20090292386号具有与本案相同的受让人。
虚拟量测模型的精确度是根据平均绝对值误差(MeanAbsolutePercentageError;MAPE)来表示,其公式如下:
M A P E = Σ i = 1 q | ( y ^ i - y i ) / y | q × 100 % - - - ( 10 )
其中代表虚拟量测模型所推估的预测(虚拟)量测值;yi代表实际量测值;y代表目标值;q代表目标值样本数目。当MAPE愈靠近0时,虚拟量测模型的精确度愈高。
应用例1
请参照图2、图3A和图3B,图3A是绘示应用例1的玻璃基板的量测位置2的预测与实际量测值与其相对应的GSI值;图3B是绘示应用例1的玻璃基板的量测位置8的预测与实际量测值与其相对应的GSI值,其中SMW代表使用习知的静态移动视窗来筛选建模样本的虚拟量测模型的预测结果;DMW-ART2代表使用本发明的使用适应性共振理论2的动态移动视窗,来筛选建模样本的虚拟量测模型的预测结果;DMW-WED代表使用本发明的使用加权欧氏距离(WED)演算法的动态移动视窗,来筛选建模样本的虚拟量测模型的预测结果。请亦参照图4A至图4C,其分别绘示应用例1分别采用习知的静态移动视窗、本发明的DMW-ART2和DMW-WED后关于主要工艺参数(处理时间;ActProcessTime)的筛选样本结果。
应用例1的目的是用以展示本发明的DMW可保留应永久保留于模型中的黄金样本的能力。首先,采用12组实验数据(样本1至样本12),其中样本3至样本9是特别被选以调整微影工具上的主要工艺参数(ActProcessTime),来进行关键尺寸偏移测试(SpreadTest)。此7个偏移测试的样本为所谓的“黄金样本”。然后,收集63个额外的历史样本。结果是,有75个样本被用来建构虚拟量测模型,其中12个实验样本位于视窗前方,接着是63个历史样本。再来是19个样本,其是一一用来更新虚拟量测模型。最后,再使用12组实验数据来进行自由测试,以评估分别使用SMW、DMW-ART2和DMW-WED虚拟量测模型的精确度。
表1为分别使用SMW、DMW-ART2和DMW-WED样本筛选方法的虚拟量测模型对如图2所示8个量测位置的预测结果,其中虚拟量测模型分别使用复回归(Multi-Regression;MR)演算法和类神经网路(Neural-Networks;NN)演算法来建构。
表1
如图3A和图3B所示,SMW的样本97至样本103的GSI高于GSI门槛值,而DMW-ART2与DMW-WED的样本97至样本103的GSI低于GSI门槛值。事实上,样本97至样本103为如上所述的黄金样本(样本3至样本9)。此现象指出SMW弃除了这些黄金样本,而DMW-ART2与DMW-WED保留了这些黄金样本。如表1所示,由于习知的SMW无法保留黄金样本,但本发明的DMW-ART2与DMW-WED可保留黄金样本,故采用SMW的虚拟量测模型MAPE与最大误差(MaxError)大于采用DMW的虚拟量测模型。
再者,如图4A至图4C所示,在使用19个样本更新虚拟量测模型后,习知的SMW丢弃所有的黄金样本;本发明的DMW-ART2保留黄金样本4至黄样本金9;本发明的DMW-WED保留所有的黄金样本3至黄金样本9。
应用例2
请参照图2、图5A和图5B,图5A是绘示应用例2的玻璃基板的量测位置2的预测与实际量测值与其相对应的GSI值;图5B是绘示应用例2的玻璃基板的量测位置6的预测与实际量测值与其相对应的GSI值。请亦参照图6A至图6C,其分别绘示应用例2分别采用习知的静态移动视窗、本发明的DMW-ART2和DMW-WED后关于主要工艺参数(光照参数)的筛选样本结果。
应用例2的目的是用以评估使用SMW、DMW-ART2和DMW-WED样本筛选方法的“双阶段虚拟量测模型”」(如美国专利前案第7,603,328号所述)的性能。在本应用例中,搜集并采用75个历史样本为双阶段虚拟量测模型的建模样本;再一一使用接着的56个样本来测试和更新双阶段虚拟量测模型,对应至此56个样本的实际量测值(关于关键尺寸(CriticalDimension;CD))是用来评估虚拟量测模型的精确度。
表2为分别使用SMW、DMW-ART2和DMW-WED样本筛选方法的虚拟量测模型对如图2所示8个量测位置的预测结果。
表2
如表2所示,采用SMW的虚拟量测模型平均MAPE与平均最大误差(MaxError)比采用DMW-ART2与DMW-WED的虚拟量测模型差,而采用DMW-WED的虚拟量测模型的精确度略优于采用DMW-ART2的虚拟量测模型的精确度。
如图5A和图5B所示,SMW的样本126的GSI高于GSI门槛值(9),而DMW-ART2与DMW-WED的样本126的GSI低于GSI门槛值。再者,DMW-ART2的样本126的GSI略高于DMW-WED的样本126的GSI,而DMW-ART2的样本126的预测误差略高于DMW-WED的样本126的预测误差。
如图6A至图6C所示,SMW的样本126的光照参数与SMW的其他样本的光照参数相当不同;DMW-ART2保留与样本35和样本36较相似的样本;DMW-WED保留与样本30高度相似的样本。因此,图6A至图6C所示的现象可支持表2、图5A和图5B所示的结果。
当起初的视窗大小设定为包含75个样本(即75组样本数据)时,在应用例1和2中,DMW-ART2与DMW-WED分群所获得的群组数目为40个和7个,其中群组数目不应太接近视窗中的样本数目,否则每一群组内的样本数目会太少。同一群组中的样本具有相似的特性,而通常一群组中只要有3个样本才可支持此群组的特性。因此,图1的步骤170所使用的预设数目为3。亦即,当一群组中的样本数目大于或等于3个时,此群组中的最旧样本可被弃除,而不会影响此群组的特性;当一群组中的样本数目小于3个时,则群组中的所有样本都必须保留,否则无法支持此群组的特性。
上述实施例可利用电脑程式产品来实现(即透过电脑来实施),其可包含储存有多个指令的机器可读取媒体,这些指令可程式化(programming)电脑来进行上述实施例中的步骤。机器可读取媒体可为但不限定于软碟、光碟、唯读光碟、磁光碟、唯读记忆体、随机存取记忆体、可抹除可程式唯读记忆体(EPROM)、电子可抹除可程式唯读记忆体(EEPROM)、光卡(opticalcard)或磁卡、快闪记忆体、或任何适于储存电子指令的机器可读取媒体。再者,本发明的实施例也可做为电脑程式产品来下载,其可通过使用通讯连接(例如网路连线的类的连接)的数据讯号来从远端电脑转移本发明的电脑程式产品至请求电脑。
由以上说明可知,应用本发明的实施例,可有效地获得并留住重要且足够的建模样本数据,以确保预测模型的预测精度。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何在此技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视后附的权利要求书所界定的范围为准。

Claims (8)

1.一种预测模型的建模样本的筛选方法,包含:
获得关于一待预测标的的依时序产生的数个组第一样本数据,其中该待预测标的为被一工艺机台所处理的一工件,该些组第一样本数据包含:
数个组监测数据,其中该些组监测数据为数个组工艺数据,其是于该工艺机台处理数个历史工件时所产生,每一该些组工艺数据包含有数个工艺参数;以及
数个目标数据,其中该些目标数据为数个量测数据,其是由一量测机台量测该些历史工件所获得,该些目标数据与该些组监测数据是一对一对应并具有因果关系;
对该些组第一样本数据进行一分群步骤,以将该些组第一样本数据间的相似度高者分为一群,而获得数个第一群组;
寻找该些第一群组其中具有最多组第一样本数据的至少之一,而获得至少一第二群组;
判断该至少一第二群组的数目是否大于或等于2,而获得一第一判断结果;
当该第一判断结果为是时,寻找该些第二群组中之一第三群组,该第三群组具有最旧第一样本数据,并判断该第三群组中第一样本数据的数目是否小于一预设数目,而获得一第二判断结果;
当该第一判断结果为否时,判断该第二群组中第一样本数据的数目是否小于该预设数目,而获得一第三判断结果;
当该第二判断结果或该第三判断结果为是时,保留全部的该些组第一样本数据,以供一预测模型建模或更新之用,其中该预测模型是用以预测该待预测标的状态或行为,该预测模型为一虚拟量测模型;
当该第二判断结果为否时,弃除该第三群组中的最旧的第一样本数据,并保留该些组第一样本数据的其余者,以供该预测模型建模或更新之用;以及
当该第三判断结果为否时,弃除该第二群组中的最旧的第一样本数据,并保留该些组第一样本数据的其余者,以供该预测模型建模或更新之用。
2.如权利要求1所述的预测模型的建模样本的筛选方法,其中该些组第一样本数据包含:
储存于一数据库中的数个组历史样本数据;以及
一组新搜集到的样本数据。
3.如权利要求1所述的预测模型的建模样本的筛选方法,其中该些组第一样本数据是利用一移动视窗(MovingWindow)来获得。
4.如权利要求1所述的预测模型的建模样本的筛选方法,其中该分群步骤是根据一适应性共振理论2(AdaptiveResonanceTheory2;ART2)来进行。
5.如权利要求1所述的预测模型的建模样本的筛选方法,其中该分群步骤是根据一欧氏距离(EuclideanDistance;ED)演算法来进行。
6.如权利要求1所述的预测模型的建模样本的筛选方法,其中该分群步骤是根据一加权欧氏距离(WeightedEuclideanDistance;WED)演算法来进行。
7.如权利要求1所述的预测模型的建模样本的筛选方法,其中该分群步骤是针对该些组第一样本数据的该些组监测数据来进行。
8.如权利要求1所述的预测模型的建模样本的筛选方法,其中该分群步骤是针对该些组第一样本数据的该些组监测数据和该些目标数据来进行。
CN201210453644.7A 2011-12-20 2012-11-13 预测模型的建模样本的筛选方法 Active CN103177180B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100147447 2011-12-20
TW100147447A TWI451336B (zh) 2011-12-20 2011-12-20 預測模型之建模樣本的篩選方法及其電腦程式產品

Publications (2)

Publication Number Publication Date
CN103177180A CN103177180A (zh) 2013-06-26
CN103177180B true CN103177180B (zh) 2016-06-22

Family

ID=48611206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210453644.7A Active CN103177180B (zh) 2011-12-20 2012-11-13 预测模型的建模样本的筛选方法

Country Status (5)

Country Link
US (1) US8862525B2 (zh)
JP (1) JP5515125B2 (zh)
KR (1) KR101440304B1 (zh)
CN (1) CN103177180B (zh)
TW (1) TWI451336B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI625615B (zh) * 2016-11-29 2018-06-01 財團法人工業技術研究院 預測模型建立方法及其相關預測方法與電腦程式產品

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463334B (zh) * 2012-07-20 2014-12-01 Univ Nat Cheng Kung 標的裝置的基底預測保養方法與其電腦程式產品
TWI549007B (zh) * 2013-02-07 2016-09-11 先知科技股份有限公司 製程參數的搜尋與分析方法及其電腦程式產品
US9689923B2 (en) * 2013-08-03 2017-06-27 Kla-Tencor Corp. Adaptive electrical testing of wafers
CN103793762B (zh) * 2014-01-23 2017-06-16 太原科技大学 一种基于小样本多类型参数的刀具寿命预测方法
US10338004B2 (en) * 2014-03-27 2019-07-02 KLA—Tencor Corp. Production sample shaping that preserves re-normalizability
CN104110251A (zh) * 2014-06-24 2014-10-22 安徽多杰电气有限公司 一种基于art2的抽油机示功图识别方法
TWI641934B (zh) 2014-08-05 2018-11-21 聯華電子股份有限公司 虛擬量測系統與方法
TWI539298B (zh) * 2015-05-27 2016-06-21 國立成功大學 具取樣率決定機制的量測抽樣方法 與其電腦程式產品
TWI628935B (zh) * 2016-01-29 2018-07-01 中華電信股份有限公司 Request traffic grouping method
CN107025596B (zh) * 2016-02-01 2021-07-16 腾讯科技(深圳)有限公司 一种风险评估方法和系统
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
CN108268987B (zh) * 2016-12-30 2021-08-06 郑芳田 多样式产品的品质推估方法
CN106844908B (zh) * 2017-01-04 2019-09-10 东南大学 一种基于样本相似度加权的电站设备自适应建模方法
CN106940803B (zh) * 2017-02-17 2018-04-17 平安科技(深圳)有限公司 相关变量识别方法和装置
TWI661297B (zh) * 2017-11-30 2019-06-01 財團法人資訊工業策進會 監控系統及監控方法
TWI708197B (zh) 2019-04-26 2020-10-21 國立成功大學 生產機台組件的預測保養方法與其電腦程式產品
CN110163276B (zh) * 2019-05-15 2021-03-26 浙江中烟工业有限责任公司 一种近红外光谱建模样本的筛选方法
TWI695286B (zh) * 2019-05-24 2020-06-01 國立虎尾科技大學 切削動態模擬方法
CN110363229B (zh) * 2019-06-27 2021-07-27 岭南师范学院 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium
CN113743688B (zh) * 2020-05-27 2023-10-20 富联精密电子(天津)有限公司 质量管控方法、装置、计算机装置及存储介质
TWI742709B (zh) 2020-06-04 2021-10-11 國立成功大學 預測機台加工事件發生的方法與其虛擬量測應用及其電腦程式產品
CN113298305B (zh) * 2021-05-24 2023-04-07 四川大学 基于不同降雨时程特征的双阈值暴雨山洪洪水灾害预警方法
US20240104144A1 (en) * 2021-06-25 2024-03-28 L&T Technology Services Limited Method and system for clustering data samples
CN117520902B (zh) * 2023-12-05 2024-08-13 中国人民解放军63796部队 基于机器学习的南海台风生成预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539402A (zh) * 2009-04-29 2009-09-23 陈炳生 实时测量数据的处理方法
CN101598754A (zh) * 2008-06-05 2009-12-09 郑芳田 自动虚拟计量的系统及方法
US7962607B1 (en) * 2006-09-08 2011-06-14 Network General Technology Generating an operational definition of baseline for monitoring network traffic data
TW201135381A (en) * 2010-04-13 2011-10-16 Univ Nat Cheng Kung Manufacturing execution system with virtual-metrology capabilities and manufacturing system including the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI315054B (en) 2006-05-10 2009-09-21 Nat Cheng Kung Universit Method for evaluating reliance level of a virtual metrology system in product manufacturing
TWI338916B (en) 2007-06-08 2011-03-11 Univ Nat Cheng Kung Dual-phase virtual metrology method
EP2244213B1 (en) 2007-12-18 2015-10-28 Fujitsu Limited Generating method of two class classification prediction model, program for generating classification prediction model and generating device of two class classification prediction model
TWI349867B (en) 2008-05-20 2011-10-01 Univ Nat Cheng Kung Server and system and method for automatic virtual metrology
US8109669B2 (en) * 2008-11-19 2012-02-07 Applied Materials, Inc. Temperature uniformity measurement during thermal processing
KR100997009B1 (ko) 2009-06-09 2010-11-25 한국남동발전 주식회사 산업설비의 공정 여유도에 대한 동적 감시 및 적시 경보 방법
JP2011065504A (ja) 2009-09-18 2011-03-31 Tokyo Univ Of Science ユーザの選好関係についての予測モデルを生成する選好予測サーバ及びその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962607B1 (en) * 2006-09-08 2011-06-14 Network General Technology Generating an operational definition of baseline for monitoring network traffic data
CN101598754A (zh) * 2008-06-05 2009-12-09 郑芳田 自动虚拟计量的系统及方法
CN101539402A (zh) * 2009-04-29 2009-09-23 陈炳生 实时测量数据的处理方法
TW201135381A (en) * 2010-04-13 2011-10-16 Univ Nat Cheng Kung Manufacturing execution system with virtual-metrology capabilities and manufacturing system including the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI625615B (zh) * 2016-11-29 2018-06-01 財團法人工業技術研究院 預測模型建立方法及其相關預測方法與電腦程式產品

Also Published As

Publication number Publication date
TW201327397A (zh) 2013-07-01
JP5515125B2 (ja) 2014-06-11
CN103177180A (zh) 2013-06-26
JP2013131217A (ja) 2013-07-04
US8862525B2 (en) 2014-10-14
KR101440304B1 (ko) 2014-09-15
US20130159226A1 (en) 2013-06-20
TWI451336B (zh) 2014-09-01
KR20130071369A (ko) 2013-06-28

Similar Documents

Publication Publication Date Title
CN103177180B (zh) 预测模型的建模样本的筛选方法
Aderyani et al. Short-term rainfall forecasting using machine learning-based approaches of PSO-SVR, LSTM and CNN
CN107967928B (zh) 一种基于数学模型的闪存芯片寿命预测方法
CN109242135B (zh) 一种模型运营方法、装置、及业务服务器
US7503020B2 (en) IC layout optimization to improve yield
Meddage et al. Explainable Machine Learning (XML) to predict external wind pressure of a low-rise building in urban-like settings
US20130124171A1 (en) Systems and methods for predicting well performance
Singh et al. A constrained multi-objective surrogate-based optimization algorithm
Ma et al. RBER-aware lifetime prediction scheme for 3D-TLC NAND flash memory
CN117543544A (zh) 一种负荷预测方法、装置、设备及存储介质
CN112766548A (zh) 基于gasa-bp神经网络的订单完工时间预测方法
CN116882767B (zh) 一种基于不完善异构关系网络图的风险预测方法及装置
CN114139802A (zh) 一种基于流域水情变化趋势分析模型的实时优化调度方法
US20230022253A1 (en) Fast and accurate prediction methods and systems based on analytical models
KR20200108912A (ko) 학습 장치 및 학습 방법
CN108596781A (zh) 一种电力系统数据挖掘与预测整合方法
Liang et al. Research on the modified surrogate model based on local RBF for concrete dam static and dynamic response analysis
CN112561171A (zh) 一种滑坡的预测方法、装置、设备及存储介质
Costa et al. Cyber civil infrastructure and IoT for cities
KR20190021982A (ko) 반도체 소자의 특성 예측 방법 및 반도체 소자의 특성 예측 장치
TW202013384A (zh) 訓練人工智慧估測儲存裝置的感測電壓的方法
US20240321401A1 (en) Accelerating particle simulations using machine learning and molecular dynamic simulations
CN118364338A (zh) 金融产品的风控模型构建方法、装置、设备及存储介质
CN117175584A (zh) 一种基于电力数据的可控负荷预测方法、装置及设备
CN115526017A (zh) 油藏剩余油饱和度确定方法、装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant