CN101738991B - 检测产品品质超规与评估产品实际测量值的方法 - Google Patents

Abstract

本发明是一种检测产品品质超规与评估产品实际测量值的方法。此检测产品品质超规的方法是应用分类与回归树(Classification and Regression Tree；CART)方法来建构代表工艺参数与产品超规间的关系的品质超规检测(Fault Detection；FD)模型，以于生产线上实时检测出工艺数据参数值皆在规格内(正常)而其产品品质却超出规格的情况。此评估产品实际测量值的方法根据自适应性共振理论2(AdaptiveResonance Theory 2；ART2)及标准化变异(Normalized Variability；NV)来建立测量数据质量指针(DQI_y)模型。

Description

检测产品品质超规与评估产品实际测量值的方法

技术领域

本发明有关一种检测产品品质超规(Out Of Specification；OOS)与评估产品实际测量值的方法，特别是有关一种可于生产过程中线上实时检测出产品品质是否超规并评估产品的测量品质的方法。

背景技术

在半导体及薄膜晶体管-液晶显示器(TFT-LCD)制造过程中，一般须透过工艺监控、故障分析与品质管理等程序，来对生产机台的每片工件(Workpiece)进行线上(On-line)品质监控，以确保由工件所制成的产品的品质，其中工件于半导体厂称为晶片，于TFT-LCD厂则称为玻璃。现有技术是以统计工艺管制(Statistical ProcessControl,SPC)的方法来评估产品的测量品质。在现有的统计工艺管制的方法中，首先必须收集一段历史测量数据，并计算出此批历史测量数据的管制中心值(CenterLine,CL)，用以表示产品品质处于统计管制内的品质特性平均值，再采此批历史测量数据的n倍(n＝1～3)标准差来订定管制上限(Upper Control Limit；UCL)与下限(Lower Control Limit；LCL)，以便界定测量数据是否正常。若某一工件的测量数据落于管制界限(UCL和LCL)外，则判定此工件的测量数据的品质异常。目前的半导体与TFT-LCD厂是采用抽测工件的方式来决定生产机台工艺能力与产品品质，亦即自生产机台所处理的多个工件，抽选一个工件送到测量机台进行测量。因此，除非恰好异常的工件有被抽测到，否则亦无法用一般仅监视生产机台的工艺参数值的方式来检测出此异常的工件。

另一方面，产品的品质可能会发生许多异常情况，例如：生产工件的工艺数据参数值皆在规格内(正常)，但其品质(实际测量值)却是超规。然而，现有方法无法检测出前述的现象。

因此，需要发展一种评估产品实际测量值与检测产品品质超规的方法，以满足上述的需求。

发明内容

本发明的一目的为提供一种检测产品品质超规的方法，藉以透过生产过程中所收集到的正常的工艺数据，来于生产线上实时检测出产品的品质是否失效或有缺陷。

本发明的又一目的为提供一种评估产品实际测量值的方法，藉以于生产线上实时评估测量机台所测量出的工件的测量数据的品质，并同时评估生产此工件的工艺数据参数值的品质。

依照本发明，在本发明的检测产品品质超规的方法中，首先，根据多组历史工艺数据来建立一工艺数据质量指针(Process Data Quality Index；DQI_X)模型，其中此DQI_X模型是根据一主成分分析法(Principal Component Analysis；PCA)和一欧氏距离(EuclideanDistance)来建立；以历史工艺数据，并应用交互验证(Cross Validation)中的留一法(Leave-One-Out；LOO)于DQI_X模型，来计算出一工艺数据质量门槛值以多个历史测量值和多组历史工艺数据来建立一品质超规检测模型(Fault Detection；FD)模型，其中此FD模型是应用一分类与回归树(Classification and Regression Tree；CART)方法来建立，FD模型包含有多个品质类别规则的一模型树，每一个品质类别规则代表3项品质类别之一，用以指出产品品质是否超规。然后，收集生产某一工件的一组工艺数据。接着，使用DQI_X模型来对此组工艺数据进行一评估DQI_X的步骤。在评估DQI_X的步骤中，首先计算此组工艺数据的一工艺数据质量指针值。接着，判断此工艺数据质量指针值是否大于工艺数据质量门槛值，并获得一第一结果。当第一结果为是时，则代表此工件的此组工艺数据为异常工艺数据；当第一结果为否时，则应用此组正常工艺数据至FD模型，来进行一品质超规检测机制，以于生产线上实时检测出此工件的此组工艺数据所符合的品质类别规则之一。

依照本发明的实施例，在本发明的评估产品实际测量值的方法中，首先根据多组历史工艺数据来建立一DQI_X模型，其中DQI_X模型是根据一主成分分析法和一欧氏距离，并应用一留一法原理于DQI_X模型，来计算出一工艺数据质量门槛值；以历史工艺数据及其对应的多个历史测量值来建立一DQI_y(Metrology Data QualityIndex)模型，其中DQI_y模型是根据一自适应共振理论2(Adaptive Resonance Theory2；ART2)及一标准化变异(Normalized Variability；NV)来建立；以历史测量值，并应用相似样版(Similar Pattern)群内最大可容许的变异的观念于DQI_y模型来计算出一测量数据质量门槛值。接着，收集生产某一工件的一组工艺数据。然后，使用DQI_X模型来对此组工艺数据进行一评估DQI_X的步骤。在此评估DQI_X的步骤中，首先计算此组工艺数据的一工艺数据质量指针值。然后，判断此工艺数据质量指针值是否大于工艺数据质量门槛值，并获得一第一结果，其中当第一结果为是时，则代表此工件的此组工艺数据为异常工艺数据。同时，收集此工件的一实际测量值。当第一结果为否时，转换生产此工件的此组工艺数据为一组z分数。然后，将此组z分数与此实际测量值输入至此DQI_y模型中，以计算此实际测量值的一测量数据质量指针。接着，判断此测量数据质量指针是否大于测量数据质量门槛值，并获得一第二结果，其中当第二结果为是时，则代表此工件的实际测量值为异常；当第二结果为否时，则代表此工件的实际测量值为正常。

附图说明

为了更完整了解本发明及其优点，请参照上述叙述并配合下列的附图，其中：

图1为绘示根据本发明的实施例的线上实时评估产品实际测量值与检测产品品质超规的方法的方块示意图。

图2A至图2D为分别绘示用以说明本发明的工艺数据质量失效模式的示意图。

图3A和图3B为分别绘示用以说明本发明的测量数据质量失效模式的示意图。

图4A和图4B为分别绘示用以说明本发明的产品品质超规失效模式的示意图。

图5为绘示根据本发明的实施例的建模步骤的流程示意图。

图6为绘示根据本发明的实施例的线上实时评估工艺数据质量指针值(DQI_X)的流程示意图。

图7为绘示根据本发明的实施例的线上实时评估测量数据质量指针(DQI_y)的流程示意图。

图8为绘示根据本发明的实施例的线上实时品质超规检测机制的流程示意图。

图9A至图9D为分别绘示用以说明本发明的评估产品实际测量值的应用例的示意图。

图10为绘示本发明的检测产品品质超规的应用例(情况1和3)的首套FD模型。

图11A至图11C为绘示本发明的检测产品品质超规的应用例(情况1)中3个正确检测的例子(测试样本12、30和60)。

图12A至图12C为绘示本发明的检测产品品质超规的应用例(情况1)中3个错误检测的例子(测试样本46、25和130)。

图13为绘示本发明的利用十折交叉验证法所产生FD模型的成本曲线。

图14为绘示本发明的应用例的修剪后的情况2和4的首套FD模型。

具体实施方式

本发明主要是在于提供工艺数据的品质指针(DQI_X)模型、测量数据的品质指针(DQI_y)模型和产品品质超规检测(FD)模型，其中DQI_X模型是用以计算出制造某一工件的工艺数据的工艺数据质量指针值(DQI_X值)；DQI_y模型是用以计算出某一工件的实际测量值的测量数据质量指针值；FD模型是用以透过生产过程中所收集到的正常的工艺数据，来于生产线上实时检测出产品是否失效或有缺陷。本发明是根据主成分分析法(PCA)和欧氏距离(ED)来建立DQI_X模型，并利用交互验证中的留一法原理来决定工艺数据质量门槛值根据自适应性共振理论2(Adaptive Resonance Theory2；ART2)及标准化变异(Normalized Variability；NV)来建立DQI_y模型，并应用相似样版群内最大可容许的变异的观念于DQI_y模型来计算出测量数据质量门槛值应用分类与回归树(CART)方法来建构代表工艺参数与产品超规间的关系的FD模型。

此外，为保持品质超规检测机制的线上实时检测的正确性，其所使用的推估模型(即FD模型)就必须尽可能地维持其新鲜度。而为维持FD模型的新鲜度，则必须于生产线上实时收集测量数据及与其相对应的工艺数据来充当线上更新模型的样本。这些成对的更新模型样本不但其本身的品质必须正常，且其成对间的关系亦必须符合生产机台本身的物理特性。因此，本发明提供DQI_X模型来评估工艺数据的数据质量的正确性；并提供DQI_y模型来评估与工艺数据相对应的测量数据质量的正确性。

广义地来说，本发明的“工艺数据”可包括生产机台的感测器数据(SensorData)及机台状态数据(Equipment State Data)。

以下说明本发明的评估产品实际测量值与检测产品品质超规的方法的整体运作过程。至于DQI_X模型、DQI_y模型、和FD模型的建构方式则于后说明。

请参照图1，其绘示根据本发明的实施例的线上实时评估产品实际测量值与检测产品品质超规的方法的方块示意图。在建立完成第一个DQI_X模型、DQI_y模型和FD模型后，便可对卡匣10的多个工件进行产品品质超规的检测。首先，当收集到卡匣10中的某一工件(未标示)的工艺数据X后，使用第一个DQI_X模型来进行评估DQI_X的步骤200，其中先计算此某一工件的工艺数据X的DQI_X(步骤220)，再判断DQI_X是否大于(步骤230)。若步骤230的结果为是，则代表此某一工件的工艺数据为异常工艺数据X_B，便发出通知工艺工程师，请其进行数据分析(步骤260)；若步骤230的结果为否，则应用已确认为正常的工艺数据X_G至FD模型，来进行品质超规检测机制400，以便于生产线上实时检测此某一工件的品质是否超规。在进行品质超规检测机制400时，若此某一工件并非被抽测到的工件12，即无实际测量数据(值)，则输入正常的工艺数据X_G至FD模型，以检测此某一工件的品质(步骤460)。若步骤460的结果为坏品质(超规)，则发出警告提醒工程师并要求数据分析与品质测量(步骤470)。所谓“品质测量”为对此某一工件进行实际测量。如此，即使没被抽测到的工件，亦可采用品质超规检测机制来正确地推估此工件的品质的好坏。

若某一工件为被抽测到的工件12，即工件12会被实际测量而有实际测量数据(值)y，则使用第一个DQI_y模型来进行评估DQI_y步骤300。在评估DQI_y步骤300中，首先转换X_G为一组z分数(步骤250)，再将此组z分数与实际测量值y输入至DQI_y模型中，以计算实际测量值y的DQI_y(步骤320)。判断DQI_y是否大于(步骤340)。若步骤340的结果为是，则代表此某一工件的实际测量值y为异常实际测量值y_B，便发出警告通知工艺工程师并要求数据分析(步骤370)；若步骤340的结果为否，则汇整正常且成对的工艺与测量数据X_G/y_G给FD模型，以便执行FD模型(步骤450)，和/或更新线上实时的FD模型，即执行重新训练与修剪(Re-training and Pruning；RT&P)步骤402。

值得一提的是，本实施例的工艺数据评估方法(步骤200)、与测量数据质量评估方法(步骤300)除了可充当品质超规检测机制400的数据前处理外，亦可应用于一般生产或制造管理系统所需的预测模型50的数据前处理，其中预测模型50的选择可随不同的应用而定，来产生推估值例如：虚拟测量或良率预测等。另外，本实施例的测量数据质量评估方法(步骤300)亦可被独立采用来检测任何外在因素(如粉尘污染等)所造成的测量值异常现象，亦即可被应用来检测在生产过程中是否有任何外在因素(如粉尘污染等)发生。

为达到有效检测产品品质是否有超规与有效评估测量数据质量的优劣的目标，首先必须分析工艺数据质量失效、测量数据质量失效以及产品品质超规等的模式，再依据以上的失效或超规模式设计出适当的算法，包括以DQI_X模型评估工艺数据质量失效模式、以DQI_y模型评估测量数据质量失效模式、以及以FD模型检测产品品质超规等方法。在此依序说明如下：

工艺数据质量失效模式

DQI_X模型设计的良窳在于是否能掌握工艺数据的各种可能的异常特性。一般而言，具正规时态数据(Temporal Data)型态的工艺数据可归纳出四种异常类别。请参照图2A至图2D，其分别绘示用以说明本发明的工艺数据质量失效模式的示意图。如图2A所示，单笔工艺参数超过其规格(Spec.)的异常类别：此感测器的正规时态数据应呈现平稳状态，但此笔正规时态数据的第三秒数据却超出规格界线。如图2B所示，工艺数据平均值(Mean)表现异常的异常类别：此感测器的正规时态数据应呈现为平稳状态，但此笔正规时态数据的平均值分布皆低于正常的平均范围。如图2C所示，数据全距(Range)表现异常的异常类别：此感测器的正规时态数据应呈现出由高渐降变低且会慢慢趋于平稳状态，但此正规时态数据每秒所接收的值皆相同(Range＝0)。如图2D所示，工艺数据变异性(Variance)表现异常的异常类别：此感测器的正规时态数据应呈现平稳状态，但此笔正规时态数据却呈现高低起伏不定的现象。此外，若工艺机台仅能取得制造数据时，则有赖工艺工程师提供相关的数据特性示意图，并给予过去的失效模式报告，以便当做建构工艺参数数据检测的依据。

针对正规时态数据型态的工艺数据，必须选取其适当的代表值(Indicator)以提供给建模使用。工艺数据的代表值的选取程序说明如下：首先删除正规时态数据的瞬时秒数数据，瞬时部份的秒数(如前5或10秒)需由专家所决定。尔后根据取得的稳态正规时态数据，利用叙述统计的数值方法，将一组正规时态数据以平均值、全距及变异数等三种统计量作为代表值。一个感测器/参数可依其物理特性，取单一或多个代表值来表示。

测量数据质量失效模式

请参照图3A和图3B，其分别绘示用以说明本发明的测量数据质量失效模式的示意图。如图3A所示，其中有6笔工艺数据被归纳至相似的样版(Pattern)内，此分群乃利用自适应性共振理论2(ART2)，在ρ＝0.98的条件下所得到的相似样版。在正常的情况下，属同一(相似样版)群内的工艺数据，其所相对的测量值亦应相似，然而如图3B所示，第6笔样本的测量值(23.74)偏离此群内测量平均值(21.76)，所以第6笔样本的测量值被判定为异常。经由工艺工程师重新测量后确认此笔为测量错误，必须予以删除的。造成上述测量错误的原因为基准对位错误。此外，尚有其它因素(如粉尘污染等)亦会造成测量数据质量异常。这些会造成测量数据质量异常的所有现象，都将可被本发明的DQI_y模型检测出。

产品品质超规模式

请参照图4A和图4B，其分别绘示用以说明本发明的产品品质超规失效模式的示意图。以实际TFT-LCD的平版印刷工艺举例说明，如图4A所示，其中共有100点实际被检测的工件的测量数据及其测量管制上限UCL＝24.0、管制下限LCL＝21.0。如图4A所示，其中共有13笔产品超规(OOS)，分别为第4,5,6,7,8,9,10,11,12,14,15,24及70。经事后追查这13笔超规的工件分别所对应的24个工艺参数数据(x₁～x₂₄)，得知它们都在其各自的工艺数据管制规格内，如图4B所示，其中仅列举这24个工艺参数数据(x₁～x₂₄)中的x₁、x₄、x₁₆、x₂₀工艺参数。

以下说明建构首套DQI_X模型、DQI_y模型及FD模型的流程。

请参照图5，其绘示根据本发明的实施例的建模步骤的流程示意图。首先，进行步骤110，以收集(历史)实际测量值。理论上，所有的实际测量数据，必有其相对应的(历史)工艺数据。所以，在收集到一笔实际测量值后，便进行检查测量数据与工艺数据的关联性(步骤130)。接着，进行步骤131，以检查关联比较是否成功。当比较成功时，就收集此相对应的工艺数据(步骤132)；若比较不成功，则放弃此笔测量数据，并回到步骤110重新收集测量数据。接着，判断已收集的历史数据量是否足够(步骤134)。若建立模型所需的所有历史测量与工艺数据量已收集足够(步骤134)，工艺工程师就可进行步骤140，以去除异常的工艺与测量数据，来确保建模数据的正确性；否则，回到步骤110。在步骤140中，工艺工程师逐笔检验所收集到的所有历史测量与工艺数据，以建立工艺数据的正规时态样板，并选择适当的指针，且建立测量数据的异常模式。然后，应用那些符合正规时态样板的工艺数据，并比较历史测量数据至测量数据的异常模式，来去除异常工艺与测量数据。然后，使用处理过的历史测量与工艺数据，来产生第一个DQI_X模型以及第一个DQI_y模型。当所有工艺与测量数据皆为正常且笔数亦足够后，即可进行步骤150。首先，进行步骤150，以建构第一个DQI_X模型。以下说明建构DQI_X模型的方法。

假设步骤140收集到n组历史工艺数据来建构第一个DQI_X模型，其中每一组历史工艺数据是由p个参数所组成。透过主成分分析法并应用此n组历史工艺数据来产生p个特征向量(Eigenvectors)，此p个特征向量具有对应的大至小排序的特征值(Eigenvalues)λ₁≥λ₂≥...≥λ_p。然后，选择一组k个重要的特征值(λ≥1)，以建构一特征撷取矩阵M如下：

$M={\left[\begin{array}{c}\mathrm{eigenvector}1\\ \mathrm{eigenvector}2\\ \·\\ \·\\ \·\\ \mathrm{eigenvectork}\end{array}\right]}_{k*p}---\left(1\right)$

以下说明计算DQI_X值的方法：

首先，应用公式(2)将第i个输入的工艺数据X_i转成k个数据特征变量A_i＝[a₁,a₂,...,a_k]。

A_i＝M·X_i   (2)

接着，将k个数据特征变量转成标准化的一组z分数再以欧氏距离(ED)将此组z分数转成DQI_X值：

${\mathrm{DQI}}_{X_i}=\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}(z_{a_{i,j}}-{\stackrel{\‾}{z}}_{a_j})*{(z_{a_{i,j}}-{\stackrel{\‾}{z}}_{a_j})}^T}---\left(3\right)$

其中i：第i组工艺数据；

训练样本的第j个标准化变量的平均值。

理论上，为0，故公式(3)可被简化如下：

${\mathrm{DQI}}_{X_i}=\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\left(z_{a_{i,j}}\right)*{\left(z_{a_{i,j}}\right)}^T}---\left(4\right)$

同时，利用交互验证(Cross Validation)中的留一法(Leave-One-Out；LOO)原理，来决定工艺数据质量门槛值其公式如下：

${\mathrm{DQI}}_{X_T}=a*{\stackrel{\‾}{\mathrm{DQI}}}_{X_{\mathrm{LOO}}}---\left(5\right)$

所谓“LOO原理”是从全部建模样本中，抽取一笔作为仿真上线的测试样本，再使用其余的样本建立DQI_X模型，然后应用此新建的DQI_X模型针对此笔仿真上线的测试样本计算出其DQI_X值，此值以DQI_XLOO表示。接着重复上述步骤直到建模样本中所有各笔样本均计算出其相对应的DQI_XLOO。因此，公式(5)中代表透过LOO原理由全部建模样本所计算出的所有DQI_XLOO的例如90％截尾平均數(TrimmedMean)。公式(5)的a值是介于2至3之间，其可依实际状况微调的，a的默认值为3。

值得注意的是特征撷取矩阵M和工艺数据质量门槛值共同组成一DQI_X模型，且必要时，此DQI_X模型可被更新。

完成步骤150后，进行步骤152，以计算历史工艺数据的z分数(z Scores)。接着，进行步骤160，以建构第一个DQI_y模型。本实施例的第一个DQI_y模型是由m个相似样版(Similar Patterns)所组成。本实施例是应用自适应性共振理论2(ART2)在ρ＝0.98的条件下，从n组历史工艺数据的z分数中分类(Sorting)出相似样版{P₁,P₂,…,P_m}。

以下说明计算DQI_y值的方法：

首先，当收集到新进的实际测量值y_j时，以自适应性共振理论2(ART2)，并应用实际测量值y_j所对应的工艺数据的z分数在相似样版群{P₁,P₂,…,P_m}中搜寻出最相似的样版：P_q＝[X_q,1,X_q,2,...,X_q,v]。然后，应用P_q中的v个样本与其对应的v个实际测量值Y_q＝[y_q,1,y_q,2,...,y_q,v]及此新进的实际测量值y_j，来计算和DQI_y的门槛值

y_j的值以标准化变异(NV)来表示：

${\mathrm{DQI}}_{y_j}=\frac{|y_j-{\stackrel{\‾}{y}}_q|}{{\stackrel{\‾}{y}}_q}---\left(6\right)$

其中 ${\stackrel{\‾}{y}}_q=\frac{1}{v}\underset{l=1}{\overset{v}{\mathrm{\Σ}}}{y}_{q,l}---\left(7\right)$

其中Y_q内的所有y_q,l的平均值；

v：P_q中的样本个数。

某一个样版P_q的是被定义为P_q的最大可容许的变异。假设y_t为最大可容许的测量值，其具有P_q的最大可容许的变异，则y_t可被表示为：

$y_t={\stackrel{\‾}{y}}_q+R_{\max }$ 或 $y_t={\stackrel{\‾}{y}}_q-R_{\max }---\left(8\right)$

其中R_max为最大可容许的变异：

$R_{\max }=\max (R_{P_1},R_{P_2},...,R_{P_m})---\left(9\right)$

其中i＝1,2,…,m为相似样版P_i的范围(Range)，m为所有相似样版群组的总数目。

藉由加入y_t至相似样版P_q，可获得为：

${\mathrm{DQI}}_{y_T}=\frac{|y_t-{\stackrel{\‾}{y}}_q|}{{\stackrel{\‾}{y}}_q}---\left(10\right)$

在获得和后，若则代表新的实际测量值为异常；否则为正常。

以上所述的主成分分析法、留一法(LOO)原理、自适应性共振理论2(ART2)、z分数、欧氏距离等均为发明所属技术领域具有通常知识者所熟知，故不再此赘述。

接着，如图5所示，进行步骤162，以验证DQI_y模型的正确性。完成DQI_X与DQI_y模型建构后才能建置第一个(首套)FD模型(步骤170)，换言的，FD模型的建模样本必须先经由DQI_y模型与DQI_X模型确认测量数据与其相对应的工艺数据皆正常。而FD模型的建模测量数据必须包括超规(OOS)与不超规(In Spec)的数据，才能有效建置一个完整FD模型，以符合线上实时检测超规与不超规的需求。若能收集足够多的超规样本来建构FD模型，愈能找出工艺参数与测量超规的关系与规则。

以上所述的主成分分析法、留一法(LOO)原理、自适应性共振理论2(ART2)、z分数、欧氏距离等的实施方式均为发明所属技术领域具有通常知识者所熟知，故不再此赘述。

建构FD模型的程序说明如下：

首先依据产品品质设定不同品质类别(Class)，以产品管制上限(UCL)及下限(LCL)将工件的实际测量值(y)分成三类:当测量值在规格内(LCL≤y≤UCL)，其品质类别值为0；当测量值低于管制下限(y<LCL)，其品质类别值为-1；当测量值超出管制上限(y>UCL)，其品质类别值为1。本实施例是利用转换后的品质类别与相对应的工艺数据，并根据分类与回归树(CART)来建置FD模型。FD模型适用于发掘出对产品品质类别影响显著的工艺数据组合规则，并透过工艺参数的选择与品质类别的指定，来对数据进行分类而使的成一个树状架构，进而呈现出具有层级架构的检测模型。CART算法是以吉尼系数(GiniIndex)分支准则而成的二元(Binary)决策树，每一个分支仅会产生两个子节点，分支过程必须符合同质(Homogeneous)的原则，分割后的子集合(Sub Dataset)的类别样本必须使同构型愈高愈好，如同构型愈高代表数据集属于同一类别的样本数愈多。

建构完成的FD模型必须能适用于线上实时检测产品品质的优劣，且能避免产生过多的误警(False Alarm；FA)与(或)漏检测(Miss Detection；MD)，以使评估正确率能达90％以上。对于半导体厂与TFT-LCD厂而言，漏检测(MD)较误警(FA)严重，所以一个好的侦错机制应尽量避免MD发生。为此，本实施例为FD模型设计一重新训练与修剪(RT&P)机制，其是以最小化成本(Cost)树的概念修剪原来的FD模型中较不具代表性的规则，来减少模型过度训练(Overfitting)的情况。此RT&P机制主要是在删除FD模型中包含数据样本数太少的品质类别规则(叶节点；Leaf Node)，以减少误警(FA)的发生。相对地，若过度修剪则可能会造成漏检测(MD)的增加。因此，RT&P机制会依据产品检测错误的严重程度，设定模型树(Model Tree)的成本，其中漏检测(MD)的成本为2；误警(FA)的成本为1；正确检测(Correct Detection；CD)的成本为0。接着，运用十折交叉验证法(10-fold CrossValidation)来计算修剪品质类别规则的成本，将每个品质类别规则排列组合以评估产生模型树的成本，找出产生最小成本模型树的品质类别规则个数，其个数即为最佳修剪品质类别规则数。最后以最佳修剪品质类别规则数重建FD模型。

以上所述的分类与回归树(CART)、十折交叉验证法、最小化成本(Cost)树等的实施方式均为发明所属技术领域具有通常知识者所熟知，故不再此赘述。

以下说明线上且实时进行DQI_X评估200、DQI_y评估300及品质超规检测机制400的流程。

请参照图6，其绘示根据本发明的实施例的线上实时评估工艺数据质量指针值(DQI_X)的流程示意图。于获得首套DQI_X模型(内含M及)后，首先，进行步骤210，以撷取工艺数据(X_i)的数据特征变量A_i＝[a₁,a₂,...,a_k]。接着，进行步骤220，以计算工艺数据(X_i)的然后，进行步骤230，以检查此是否大于若步骤230的结果为是，则代表工艺数据为异常数据应发出通知并要求数据分析(步骤260)；若步骤230的结果为否，则代表工艺数据为正常数据应进行步骤250，以将其转换为z分数此外，若需要更新，则进行步骤242，将此正常的工艺数据加入至目前建模所使用的工艺数据中，重新计算特征撷取矩阵M；并进行步骤244，以重新计算工艺数据质量门槛值以供下一工件进行步骤200时使用。

请参照图7，其绘示根据本发明的实施例的线上实时评估测量数据质量指针(DQI_y)的流程示意图。首先，进行步骤350与310，以于相似样版群{P₁,P₂,…,P_m}中搜寻出与实际测量值y_j的工艺数据的z分数最相似的样版(P_q)。接着，进行步骤320，以计算和进行步骤330，以计算然后，进行步骤340，以检查此是否大于若步骤340的结果为是，则代表实际测量值为异常数据应发出警告并要求数据分析(步骤370)；若步骤340的结果为否，代表实际测量值为正常数据则进行步骤360，以将转为z分数以便建模使用。此外，若需要更新，则进行步骤350，将此正常的实际测量值与其对应的工艺数据的z分数加入至目前建模所使用的工艺数据和实际测量值中，来重新搜寻相似样版，以供下一工件进行步骤310时使用。

请参照图8，其绘示根据本发明的实施例的线上实时品质超规检测机制的流程示意图。当获得经DQI_X评估后的一正常工艺数据(X_G)时，即可进行步骤450，以执行FD模型。接着，进行步骤460，以检测此某一工件的品质。当步骤460的结果显示此某一工件的品质不良(坏)时，发出警告并要求数据分析与品质测量(步骤470)。当步骤460的结果显示此某一工件工件的品质好时，则停止对此某一工件进行品质超规检测。

当又获得经DQI_y模型评估后的一组正常测量数据(y_G)时，则可使用此组成对的正常工艺数据与测量数据(X_G,y_G)，来进行重新训练与修剪步骤402。在重新训练与修剪步骤402中，进行步骤410，以根据一预设上限UCL和一预设下限LCL，来将y_G转换成品质类别值：-1、0、或1，再将品质类别值与X_G加入到FD模型，而获得一新的FD模型，其中当LCL≤y_G≤UCL时，其品质类别值为0；当y_G<LCL时，其品质类别值为-1；当y_G>UCL时，其品质类别值为1。接着，进行步骤420，以运用十折交叉验证方式计算新的FD模型的模型树的成本。然后，进行步骤430，将每个品质类别规则排列组合，以评估产生的模型树成本，来找出最小成本模型树的品质类别规则个数做为最佳修剪的规则数。接着，进行步骤440，以使用最佳的品质类别规则个数来修剪新的FD模型。然后，进行，以使用新的FD模型来更新并执行线上实时的FD模型(步骤450)。接着，进行步骤460，以透过正常工艺数据(X_G)来检测此某一工件的品质。当步骤460的结果显示此某一工件的品质不好(坏)时，发出警告并要求数据分析与品质测量(步骤470)。当步骤460的结果显示此某一工件工件的品质好时，则停止对此某一工件进行品质超规检测。

以下使用TFT-LCD厂的平版印刷(Photo)机台的应用例，来说明上述的评估产品实际测量值与检测产品品质超规的方法，以验证DQI_y模型与FD模型的可行性。

测量数据质量评估(DQI _y )的应用例

请参照图9A至图9D，其分别绘示用以说明本发明的评估产品实际测量值的应用例的示意图。本应用例收集166笔测量数据与其相对应的工艺数据，每一笔工艺数据内含有24个工艺参数。本应用例利用前110笔未含异常值的测量数据于建构第一个DQI_y模型；再利用剩余的56笔测量数据进行线上实时验证DQI_y算法。在建构第一个DQI_y模型时，由与测量数据相对应的工艺数据中分出22群相似样版(Similar Patterns；S样版)。图9A为剩余的56笔实际测量值(y)的分布状况，而DQI_y检测结果则如图9B所示，其中第36、43、44、54、55笔测量数据异常。以下对第36笔实际测量值分析其异常原因来举例说明。如图9C所示，利用与第36笔实际测量值相对应的工艺数据，来搜寻出其所属的相似样版为样版20，其相似度ρ为98％。如图9D所示，样版20的测量值上限为22.74，但第36笔实际测量值为23.80，故第36笔样本为异常必须予以删除。因此，本发明的DQI_y模型的执行结果正确。

产品品质超规检测机制的应用例

本应用例的数据来源为收集近半年共315笔产品实际测量值(y)及与其相对应的工艺参数数据。在本应用例中，首先利用前119笔数据建构首套FD模型，其中包含8笔超出预设上限的实际测量值(y>UCL)。将这些超规数据转换成品质类别值为1(超规类别)；有23笔低于预设上限的实际测量值(y<LCL)，其超规数据类型转换成品质类别值为-1(超规类别)；以及将在管制界限内的88笔实际测量值转换为品质类别值为0(正常类别)。而剩余的196笔数据则做为验证线上实时检测产品品质超规的用。在这196笔验证数据中，实际测量值属于品质类别值为-1有5笔、品质类别值为1有12笔。以上实际测量值皆经过DQI_y模型确认为品质正常数据，且与其对应的工艺数据亦经过DQI_X模型确认无误。

为了验证与分析检测产品品质超规机制的检测能力，本应用例包括二种模式：直接执行模式和重新训练模式，藉以比较检测的正确性，而此二种模式各别有二种案例：有修剪模型树和无修剪模型树。此二种模式的差别在于：重新训练模式会将线上实时收集到的新进测量数据纳入FD模型重新建模，而直接执行模式则不会。如表一所示，情况1和情况2为直接执行模式；而情况3和情况4为重新训练模式。情况1和3为利用无修剪模型的建模机制；而情况2和4为应用重新训练与修剪(RT&P)机制来建构首套FD模型并执行重新建模。

表一

表一为四组情况的执行结果，其正确率皆在88％以上。分析比较可知，采用情况1方式的正确率最低，主要原因为误警(FA)过多且有1笔漏检测(MD)。

请参照图10和表二，图10为绘示本发明的检测产品品质超规的应用例(情况1和3)的首套FD模型；表二系列举情况1和3的首套FD模型所产生的一预设数目的品质类别规则(例如：8种)，其中FD模型包含3项品质类别(品质类别值为-1、0、1)、及与相对应的工艺数据(X)的关系。本发明的品质类别规则的预设数目是依实际需要而决定。本发明的FD模型是由吉尼系数分支准则而成的二元决策树，其中某一数据组的吉尼系数或乱度增益愈小，代表此数据组的区辨能力愈好。本应用例收集166笔工艺数据，每一笔工艺数据内含有24个工艺参数，即有24组工艺参数组，每一组工艺参数组有166笔数据记录。如图10所示，首先在24组工艺参数组中，搜寻出第22组工艺参数组X₂₂的区辨能力最好(即吉尼系数最小)，其区辨切割值为21.3。接着，分别在各阶层的工艺参数组找出区辨能力最好的工艺参数组，直到找出8种品质类别规则为止，分别为X₉和X₁；X₂₄、X₅和X₅；X₄。因此，本应用例(情况1和3)的第一个FD模型能够检测出品质在规格内及超出上下限(超规)等三种类别情况。

规则	工艺数据(X)的关系	品质类别值
			1	X22<21.3且X9<13.95且X24<130.55	-1
2	X22<1.3且X9<13.95且X24≧130.55且X4<0.5005	0
			3	X22<21.3且X9<13.95且X24≧130.55且X4≧0.5005	-1
4	X22<21.3且X9≧13.95且X5<22.9	1
			5	X22<21.3且X9≧13.95且X5≧22.9	0
6	X22≧21.3且X1<110.05且X5<24.65	0
			7	X22≧21.3且X1<110.05且X5≧24.65	-1
8	X22≧21.3且X1≧110.05	0

表二

请参照图11A至图11C，其绘示本发明的检测产品品质超规的应用例(情况1)中3个正确检测的例子(测试样本12、30和60)。然而，情况1会发生21个误警(FA)和1个漏检测(MD)。请参照图12A至图12C，其绘示本发明的检测产品品质超规的应用例(情况1)中3个错误检测的例子(测试样本46、25和130)，其中第46笔数据产生漏检测(MD)的原因为如图12A所示的虚线圆圈里的规则误判所造成；第25笔及第130笔的误警(FA)的原因为如图12B和图12C所示的的虚线圆圈里的规则误判所引起。

如上所述，情况1所建构的第一个FD模型有必要进行修剪，以避免模型被过度训练(Overfitting)。由图12A、图12B和图12C可知，需修剪的部份为如图10中的虚线圆圈部分。情况2除采用与情况1相同的直接执行模式来验证数据外，亦可采用如图8所示的RT&P机制来修剪如情况1所建构的初始FD模型。请参照图13，其绘示本发明的利用十折交叉验证法所产生FD模型的成本曲线。如图13所示，最低的成本落于4个或6个叶节点(品质类别规则)。一般而言，决策树期望以选择最小成本为原则，所以本应用例的修剪树的方法采取最小描述长度(Minimum Description Length；MDL)原则，选择最简单的解做为最期望的解。因此，修剪后的情况2的首套FD模型仅包含了4个品质类别规则，如图14与表三所示，其中图14为绘示本发明的应用例的修剪后的情况2和4的首套FD模型。

规则	工艺数据(X)的关系	品质类别值
			1	X22<21.3且X9<13.95	-1
2	X22<21.3且X9≧13.95且X5<22.9	1
			3	X22<21.3且X9≧13.95且X5≧22.9	0

4

X22≧21.3

0

表三

综上所述，由表一可知，重新训练模式比直接执行模式产生较少的误警(如情况1对情况3；情况2对情况4)。此外，修剪机制能够精进检测的正确性(如情况1对情况2；情况3对情况4)。因此，采用情况4的品质超规检测机制的正确率最高(99.5％)。

由上述本发明的实施例可知，本发明的品质超规检测机制可在生产机台完成一工艺后，便能迅速地得知此产品(工件)的品质好坏。另外，工艺数据或测量数据进入本发明的品质超规检测机制前，本发明的DQI_X与DQI_y机制可确认工艺数据与(或)测量数据质量的优劣，以避免干扰FD模型的正确性。DQI_X与DQI_y机制亦可应用于一般预测模型的数据前处理，以确保数据质量的优劣。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟悉此技术者，在不脱离本发明的精神和范围内，当可作各种等同的改变或替换，因此本发明的保护范围当视后附的本申请权利要求范围所界定的为准。

Claims (17)

1.一种检测产品品质超规的方法，其特征在于包含：

根据一生产机台的多组历史工艺数据来建立一工艺数据质量指针模型，其中该工艺数据质量指针模型是根据一主成分分析法和一欧氏距离来建立，该生产机台根据这些组历史工艺数据来生产多个历史工件，这些历史工件具有分别对应至这些组历史工艺数据的多个历史测量值；

以这些组历史工艺数据，并应用交互验证中的一留一法于该工艺数据质量指针模型，来计算出一工艺数据质量门槛值；

以这些历史工件的这些历史测量值和其对应的这些组历史工艺数据来建立一品质超规检测模型，其中该品质超规检测模型是应用一分类与回归树方法来建立，该品质超规检测模型包含有多个品质类别规则的一模型树，每一这些品质类别规则代表3项品质类别之一，用以指出产品品质是否超规；

收集该生产机台生产一工件所使用的一组工艺数据；

使用该工艺数据质量指针模型来对该组工艺数据进行一评估工艺数据质量指针的步骤，其中该评估工艺数据质量指针的步骤包含：

计算该组工艺数据的一工艺数据质量指针值；

判断该工艺数据质量指针值是否大于该工艺数据质量门槛值，并获得一第一结果，其中当该第一结果为是时，则代表该工件的该组工艺数据为异常工艺数据；以及

当该第一结果为否时，则应用该组工艺数据至该品质超规检测模型，来进行一品质超规检测机制，以于生产线上实时检测出该工件的该组工艺数据所符合的这些品质类别规则之一。

2.根据权利要求1所述的检测产品品质超规的方法，其特征在于还包含：

以这些历史工件的这些历史测量值和这些组历史工艺数据来建立一测量数据质量指针模型，其中该测量数据质量指针模型是根据一自适应性共振理论2及一标准化变异来建立；

以这些历史测量值，并应用相似样版群内最大可容许的变异的观念于该测量数据质量指针模型来计算出一测量数据质量门槛值；

收集该工件的一实际测量值及与该实际测量值相对应的该组工艺数据；

当该第一结果为否时，转换生产该工件的该组工艺数据为一组z分数；

将该组z分数与该实际测量值输入至该测量数据质量指针模型中，以计算该实际测量值的一测量数据质量指针；以及

判断该测量数据质量指针是否大于该测量数据质量门槛值，并获得一第二结果，其中当该第二结果为是时，则代表该工件的该实际测量值为异常工艺数据。

3.根据权利要求2所述的检测产品品质超规的方法，其特征在于该以这些历史工件的这些历史测量值和这些历史工艺数据来建立该测量数据质量指针模型的步骤包含：

从这些组历史工艺数据中分类出多个相似样版。

4.根据权利要求3所述的检测产品品质超规的方法，其特征在于还包含：

于这些相似样版群中搜寻出与该实际测量值的工艺数据的该组z分数的一最相似样版；以及

应用该最相似样版及该实际测量值，来计算该实际测量值的该测量数据质量指针，并重新计算该测量数据质量门槛值。

5.根据权利要求4所述的检测产品品质超规的方法，其特征在于还包含：

当该第二结果为否时，将该实际测量值和与其对应的该组工艺数据的该组z分数加入至这些组历史工艺数据中，来重新建立该测量数据质量指针模型。

6.根据权利要求2所述的检测产品品质超规的方法，其特征在于该品质超规检测机制包含：

当该第二结果为否时，则使用已确认为正常的该实际测量值和与其对应的该组工艺数据来执行一重新训练与修剪步骤，以更新该品质超规检测模型。

7.根据权利要求6所述的检测产品品质超规的方法，其特征在于该重新训练与修剪步骤包含：

根据一预设上限和一预设下限，来将该实际测量值转换成这些品质类别之一，而获得一品质类别值；

将该品质类别值与该组工艺数据加入到该品质超规检测模型重新建模，而获得一新的品质超规检测模型；

以运用一十折交叉验方式计算该新的品质超规检测模型的模型树的成本；

将该新的品质超规检测模型的模型树的所有品质类别规则排列组合，以评估产生该新的品质超规检测模型的模型树的成本，来找出最小成本模型树的品质类别规则个数做为最佳修剪的规则数；

使用最佳的品质类别规则个数来修剪该品质超规检测模型；以及

使用该新的品质超规检测模型来更新该品质超规检测模型。

8.根据权利要求1所述的检测产品品质超规的方法，其特征在于该根据该生产机台的这些组历史工艺数据来建立该工艺数据质量指针模型的步骤包含：

透过该主成分分析法并应用这些组历史工艺数据来产生p个特征向量，其中每一这些组历史工艺数据是由p个参数所组成，这些特征向量具有对应的p个特征值；

自这些特征值选择出k个重要特征值，以建构一特征撷取矩阵；

使用该特征撷取矩阵将每一这些组历史工艺数据转成k个数据特征变量；

将这些数据特征变量转成标准化的z分数；以及

以该欧氏距离法将每一组历史工艺数据的z分数转成工艺数据质量指针值。

9.根据权利要求8所述的检测产品品质超规的方法，其特征在于该评估工艺数据质量指针的步骤包含：

撷取该组工艺数据的数据特征变量；以及

计算该组工艺数据的该工艺数据质量指针。

10.根据权利要求8所述的检测产品品质超规的方法，其特征在于该评估工艺数据质量指针的步骤还包含：

当该第一结果为否时，则将该组工艺数据加入至这些组历史工艺数据中，以重新计算该特征撷取矩阵，并重新计算该工艺数据质量门槛值。

11.一种评估产品实际测量值的方法，其特征在于包含：

根据一生产机台的多组历史工艺数据来建立一工艺数据质量指针模型，其中该工艺数据质量指针模型是根据一主成分分析法和一欧氏距离，并应用一留一法原理于该工艺数据质量指针模型，来计算出一工艺数据质量门槛值，该生产机台根据这些组历史工艺数据来生产多个历史工件，这些历史工件具有分别对应至这些组历史工艺数据的多个历史测量值；

以这些历史工件的这些历史测量值和其对应的这些组历史工艺数据来建立一测量数据质量指针模型，其特征在于该测量数据质量指针模型是根据一自适应性共振理论2及一标准化变异来建立；

以这些历史测量值，并应用相似样版群内最大可容许的变异的观念于该测量数据质量指针模型来计算出一测量数据质量门槛值；

收集该生产机台生产一工件的一组工艺数据；

使用该工艺数据质量指针模型来对该组工艺数据进行一评估工艺数据质量指针的步骤，其中该评估工艺数据质量指针的步骤包含：

计算该组工艺数据的一工艺数据质量指针值；以及

判断该工艺数据质量指针值是否大于该工艺数据质量门槛值，并获得一第一结果，其中当该第一结果为是时，则代表该工件的该组工艺数据为异常工艺数据；

收集该工件的一实际测量值；

当与该实际测量值相对应的该组工艺数据的该第一结果为否时，转换生产该工件的该组工艺数据为一组z分数；

将该组z分数与该实际测量值输入至该测量数据质量指针模型中，以计算该实际测量值的一测量数据质量指针；以及

判断该测量数据质量指针是否大于该测量数据质量门槛值，并获得一第二结果，其中当该第二结果为是时，则代表该工件的该实际测量值为异常测量数据；当该第二结果为否时，则代表该工件的该实际测量值为正常测量数据。

12.根据权利要求11所述的评估产品实际测量值的方法，其特征在于该以这些历史工件的这些历史测量值和其对应的这些组历史工艺数据来建立该测量数据质量指针模型的步骤包含：

从这些组历史工艺数据中分类出多个相似样版。

13.根据权利要求12所述的评估产品实际测量值的方法，其特征在于还包含：

于这些相似样版群中搜寻出与该实际测量值相对应的工艺数据的该组z分数的一最相似样版；以及

应用该最相似样版及该实际测量值，来计算该实际测量值的该测量数据质量指针，并重新计算该测量数据质量门槛值。

14.根据权利要求13所述的评估产品实际测量值的方法，其特征在于还包含：

当该第二结果为否时，将该实际测量值和与其对应的该组工艺数据的该组z分数加入至这些组历史工艺数据中，来重新搜寻多个新相似样版。

15.根据权利要求11所述的评估产品实际测量值的方法，其特征在于该根据该生产机台的这些组历史工艺数据来建立该工艺数据质量指针模型的步骤包含：

透过该主成分分析法并应用这些组历史工艺数据来产生p个特征向量，其特征在于每一这些组历史工艺数据系由p个参数所组成，这些特征向量具有对应的p个特征值；

自这些特征值选择出k个重要特征值，以建构一特征撷取矩阵；

使用该特征撷取矩阵将每一这些组历史工艺数据转成k个数据特征变量；

将这些数据特征变量转成标准化的z分数；以及

以该欧氏距离法将每一组历史工艺数据的z分数转成工艺数据质量指针值。

16.根据权利要求15所述的评估产品实际测量值的方法，其特征在于该评估工艺数据质量指针的步骤包含：

撷取该组工艺数据的数据特征变量；以及

计算该组工艺数据的该工艺数据质量指针。

17.根据权利要求15所述的评估产品实际测量值的方法，其特征在于该评估工艺数据质量指针的步骤还包含：

当该第一结果为否时，则将该组工艺数据加入至这些组历史工艺数据中，以重新计算该特征撷取矩阵，并重新计算该工艺数据质量门槛值。