DE102016109232B4

DE102016109232B4 - Stichprobenmessverfahren mit Stichprobenentnahmeratenentscheidungsschema und Computerprogrammprodukt hiervon

Info

Publication number: DE102016109232B4
Application number: DE102016109232.0A
Authority: DE
Inventors: Fan-Tien Cheng; Chun-Fang CHEN; Jhao-Rong LYU; Yao-Sheng HSIEH
Original assignee: National Cheng Kun Univ; National Cheng Kun University
Current assignee: National Cheng Kung University NCKU
Priority date: 2015-05-27
Filing date: 2016-05-19
Publication date: 2018-03-29
Anticipated expiration: 2036-05-20
Also published as: US20160349736A1; TW201642147A; JP6285494B2; AT517250B1; US10269660B2; JP2016224947A; CN106206346B; AT517250A2; KR20160140474A; DE102016109232A1; CN106206346A; KR101930420B1; AT517250A3; TWI539298B

Abstract

In einem Stichprobenmessverfahren mit einem Stichprobenentnahmeratenentscheidungsschema werden ein mittlerer absoluter prozentualer Fehler (MAPE) und ein maximaler absoluter prozentualer Fehler (MaxErr) von virtuellen Messwerten aller Werkstücke in einem Satz determinativer Stichproben (DS) und verschiedene Indexwerte, welche verschiedene Zustandsänderungen eines Bearbeitungswerkzeugs (wie etwa Wartungsvorgang, Teileaustausch, Parameterjustierung, etc.) und/oder Informationsanomalien des Bearbeitungswerkzeugs (wie etwa anormale Prozessdaten, Parameterdrift/-verschiebung, anormale Messdaten, etc.) erfassen können, welche in einem Herstellungsprozess auftreten, angewendet, um ein automatisiertes Stichprobenentscheidungs-(ASD)-Schema zum Reduzieren einer Werkstückstichprobenentnahmerate unter weiterer Aufrechterhaltung einer VM-Genauigkeit zu entwickeln.

Description

HINTERGRUND
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Stichprobenmessverfahren mit einem Stichprobenentnahmeratenentscheidungsschema. Genauer gesagt betrifft die vorliegende Erfindung ein Stichprobenmessverfahren zum Reduzieren und automatischen Einstellen einer Werkstückstichprobenentnahmerate.
Beschreibung des Standes der Technik
Heutzutage verwenden die meisten der Halbleiter- und TFT-LCD-Fabriken stichprobenweise Prüfverfahren, um die Qualität jedes Erzeugnisses oder Werkstücks (d. h., „Wafers” in IC-Gießereien oder „Glassubstrats” in TFT-LCD-Fabriken), welches durch Bearbeitungswerkzeuge bearbeitet wird, zu überwachen. Im Allgemeinen wählt ein Herstellungssystem, nachdem jeweils N (beispielsweise 25) Werkstücke durch das Bearbeitungswerkzeug bearbeitet worden sind, das N-te Werkstück aus den jeweils N Werkstücken als ein zur Messung erwartetes (eingeplantes) Werkstück aus, d. h., die Stichprobenentnahmerate ist bei 1/N festgelegt. Das zur Messung erwartete Werkstück wird dann zur Messung zu einem Messwerkzeug gesendet werden, wodurch die Herstellungsqualität des Bearbeitungswerkzeuges überprüft wird. Dieses herkömmliche Stichprobenverfahren basiert auf der Vorannahme, dass während des Herstellungsprozesses keine ungewöhnlichen Umstände plötzlich auftreten werden und daher das Messergebnis des stichprobenweise entnommenen Erzeugnisses oder Werkstücks verwendet werden kann, um die Qualität der Werkstücke in dem gleichen Los mit dem stichprobenweise entnommenen Werkstück zu bestimmen. Die Messzeit und das Werkzeug, die durch die tatsächliche Werkstückmessung benötigt werden, führen zu einer Erhöhung der Zykluszeit und der Herstellungskosten. Daher ist eine Verringerung der Stichprobenentnahmerate auf einen möglichst niedrigen Wert ein wichtiger Punkt für Hersteller, um Zykluszeit und Produktionskosten zu verringern. Nebenbei bemerkt wird der Wert der herkömmlichen Werkstückstichprobenentnahmerate 1/N lediglich gemäß einem Erfahrungswert des Herstellungssystems ohne andere technische Grundlage ausgewählt und kann daher nicht wirksam justiert werden.
Andererseits kann eine virtuelle Messtechnik bzw. virtuelle Messung (VM) verwendet werden, um die Häufigkeit tatsächlicher Messung am Werkstück zu senken, um die Stichprobenentnahmerate zu verringern. Falls jedoch an dem Werkstück eine Produktionsabweichung eintritt, die zur Messung nicht eingeplant ist, ist während dieser Zeitdauer zum Aktualisieren der VM-Modelle keine tatsächliche Messung verfügbar, was in einer geringen Genauigkeit der VM-Vorhersage resultiert. Daher wird die Vorhersagegenauigkeit von VM-Modellen davon beeinflusst, wie ein geeignetes Werkstück rechtzeitig stichprobenweise entnommen und erhalten wird.
US 8,095,484 B2 offenbart einen Server, ein System und ein Verfahren zur automatischen virtuellen Messung (AVM). Das AVM-System weist einen Modellerzeugungsserver und AVM-Server auf. Der Modellerzeugungsserver wird verwendet, um den ersten Satz von Virtuellmessungs-(VM)-Modellen (eines bestimmten Ausrüstungstyps) einschließlich eines VM-Konjekturmodells, eines RI-(Zuverlässigkeitsindex)-Modells, eines GSI-(Globalähnlichkeitsindex)-Modells, eines DQIx-(Prozessdatenqualitätsindex)-Modells und eines DQIy-(Messdatenqualitätsindex)-Modells zu konstruieren. Bei dem AVM-Verfahren kann der Modellerzeugungsserver auch die erzeugten VM-Modelle an andere AVM-Server des gleichen Typs von Prozessvorrichtung(-ausrüstung) ausfächern oder übertragen, und der AVM-Server jedes einzelnen Ausfächerungsempfängers kann automatische Modellerneuerungsprozesse ausführen, um die Genauigkeit seiner VM-Modelle zu gewinnen und aufrechtzuerhalten.
Cheng et al. (”Dual-phase virtual metrology scheme”, IEEE Transactions on Semiconductor Manufacturing, 2007, 20. Ausgabe, Nr. 4, S. 566–571) offenbart ein zweiphasiges virtuelles Messschema. Um sowohl Schnelligkeit als auch Genauigkeit zu berücksichtigen, erzeugt dieses Schema zweiphasige Virtuellmessungs-(VM)-Werte. Phase I betont Schnelligkeit; d. h., den Phase-I-VM-Wert (als VM_I bezeichnet) eines Werkstücks (Wafers oder Gases) unmittelbar zu berechnen und auszugeben, sobald die gesamten Prozessdaten des Werkstücks vollständig gesammelt sind. Phase II intensiviert die Genauigkeit; d. h. die Phase-II-VM-Werte (als VM_II bezeichnet) aller Werkstücke in der Kassette (in der Halbleiterindustrie auch FOUP genannt) nicht erneut zu berechnen und auszugeben, bis ein tatsächlicher Messwert (der für Zwecke des Einstellens oder Neulernens benötigt wird) eines Werkstücks in der gleichen Kassette gesammelt ist. Nebenbei bemerkt werden bei diesem Schema der begleitende Zuverlässigkeitsindex (RI) und der globale Änlichkeitsindex (GSI) jedes VM_I und VM_II ebenfalls erzeugt. Der RI und der GSI werden angewendet, um den Grad des Vertrauens zu beurteilen. Falls das Vertrauensniveau eines VM-Werts kleiner als der Schwellenwert ist, kann dieser VM-Wert nicht angenommen werden.
US 2014/0031968 A1 offenbart ein Verfahren für eine Lauf-zu-Lauf-Steuerung und Sampling-Optimierung in einem Halbleiterherstellungsprozess, welches die Schritte aufweist: Bestimmen eines Prozessoutputs und korrespondierenden Messfehlers, der einer tatsächlichen Messung für einen gegenwärtigen Prozesslauf in dem Halbleiterherstellungsprozess zugeordnet ist; Bestimmen eines vorhergesagten Prozessoutputs und korrespondierenden Vorhersagefehler, der einer virtuellen Messung für den gegenwärtigen Prozesslauf zugeordnet ist; und Steuern wenigstens eines Parameters, der mit einem nachfolgenden Prozesslauf korrespondiert, als eine Funktion des Messfehlers und des Vorhersagefehlers.
Daher besteht ein Bedürfnis, ein Stichprobenmessverfahren bereitzustellen, um die vorstehend genannten Nachteile der herkömmlichen Fertigkeiten zu überwinden.
KURZFASSUNG
Eine Aufgabe der vorliegenden Erfindung liegt in der Bereitstellung einer Stichprobenmessprozedur für die automatische Einstellung und Reduzierung einer Stichprobenentnahmerate bezüglich einer Messung für Werkstücke. Eine andere Aufgabe der vorliegenden Erfindung ist es, eine Stichprobenmessprozedur für die schnelle Bereitstellung eines tatsächlichen gemessenen Werts eines VM-Modells für Neukalibrierung und Neuanlernung bereitzustellen, um die Genauigkeit der VM sicherzustellen.
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein Stichprobenmessverfahren zum automatischen Justieren und Verringern einer Stichprobenentnahmerate bezüglich einer Messung für Werkstücke bereitzustellen.
Eine andere Aufgabe der vorliegenden Erfindung besteht darin, ein Stichprobenmessverfahren zum rechtzeitigen Bereitstellen eines tatsächlichen Messwerts eines zur Neukalibrierung oder Neuanlernung eines VM-Modells bereitzustellen, um hierdurch die Genauigkeit der VM sicherzustellen.
Gemäß den vorstehend erwähnten Aufgaben wird ein Stichprobenmessverfahren bereitgestellt. Bei den Stichprobenmessverfahren werden eine Vielzahl von Sätzen historischer Prozessdaten, die durch ein Bearbeitungswerkzeug zum Bearbeiten einer Vielzahl von historischen Werkstücken verwendet werden, und eine Vielzahl von historischen Messwerten der historischen Werkstücke entsprechend den Sätzen historischer Prozessdaten gesammelt. Dann wird ein Modellerzeugungsschritt durchgeführt und weist auf: Bilden eines Konjektur- bzw. Mutmaßungsmodells in Übereinstimmung mit einem Mutmaßungsalgorithmus durch Verwenden der Sätze historischer Prozessdaten und der historischen Messwerte. Danach wird eine durch 1/N repräsentierte Werkstückstichprobenentnahmerate initialisiert, wobei die Werkstückstichprobenentnahmerate darauf gerichtet ist, aus jeweils N Werkstücken, die durch ein Bearbeitungswerkstück bearbeitet werden, das N-te Werkstück als ein zur Messung erwartetes Werkstück auszuwählen. Dann wird ein stichprobenweise entnommenes Werkstück zu einem Satz determinativer Stichproben hinzugefügt. Dann wird ein Satz von ersten Prozessdaten, der durch das Bearbeitungswerkzeug verwendet wird, um das stichprobenweise entnommene Werkstück zu bearbeiten, und eine erste tatsächliche Messung des stichprobenweise entnommenen Werkstücks entsprechend dem Satz von ersten Prozessdaten gesammelt. Danach wird der Satz von ersten Prozessdaten des stichprobenweise entnommenen Werkstücks in das Mutmaßungsmodell eingegeben, wodurch ein erster virtueller Messwert des stichprobenweise entnommenen Werkstücks berechnet wird. Dann wird ein absoluter prozentualer Fehler zwischen dem ersten virtuellen Messwert des stichprobenweise entnommenen Werkstücks und dem ersten tatsächlichen Messwert berechnet, und es wird ein Schritt durchgeführt, um zu bestimmen, ob der absolute prozentuale Fehler des ersten virtuellen Messwerts größer als eine Spezifikation eines für das Bearbeitungswerkzeug definierten maximalen virtuellen Messfehlers ist, wodurch ein erstes Ergebnis erhalten wird. Wenn das erste Ergebnis wahr ist, wird ein OOS-(Out of Spec bzw. außerhalb der Spezifikation)-Zähler um 1 erhöht. Wenn das erste Ergebnis falsch ist, wird ein mittlerer absoluter prozentualer Fehler (MAPE – Mean Absolute Percentage Error) von von absoluten prozentualen Fehlern aller stichprobenweise entnommenen Werkstücke in dem Satz determinativer Stichproben berechnet, und es wird ein Schritt durchgeführt, um zu bestimmen, ob der mittlere absolute prozentuale Fehler gleich einer oberen Steuergrenze von MAPE oder größer ist, wodurch ein zweites Ergebnis erhalten wird. Wenn das zweite Ergebnis wahr ist, wird die Werkstückstichprobenentnahmerate durch Verringerung von N erhöht, wird der Satz von determinativen Stichproben gelöscht und wird der OOS-Zähler auf 0 gesetzt. Wenn das zweite Ergebnis falsch ist, wird ein Schritt durchgeführt, um zu bestimmen, ob die Anzahl von stichprobenweise entnommenen Werkstücken in dem Satz determinativer Stichproben gleich einem Schwellenwert der Anzahl von determinativen Stichproben oder größer ist, wodurch ein drittes Ergebnis erhalten wird.
Wenn das dritte Ergebnis falsch ist, wird die Werkstückstichprobenentnahmerate unverändert beibehalten. Wenn das dritte Ergebnis wahr ist, wird ein maximaler absoluter prozentualer Fehler (MaxErr) von absoluten prozentualen Fehlern aller stichprobenweise entnommenen Werkstücke in dem Satz determinativer Stichproben berechnet, und es wird ein Schritt durchgeführt, um zu bestimmen, ob der maximale absolute prozentuale Fehler kleiner als eine obere Steuergrenze von MaxErr ist, wodurch ein viertes Ergebnis erhalten wird. Wenn das vierte Ergebnis wahr ist, wird die Werkstückstichprobenentnahmerate durch Erhöhung von N verringert, wird der Satz determinativer Stichproben gelöscht und wird der OOS-Zähler auf 0 gesetzt. Wenn das vierte Ergebnis falsch ist, wird ein ältestes stichprobenweise entnommenes Werkstück in dem Satz determinativer Stichproben verworfen und wird die Werkstückstichprobenentnahmerate unverändert beibehalten.
Schließlich wird, wenn das erste Ergebnis wahr ist, ein Schritt durchgeführt, um zu bestimmen, ob der OOS-Zähler gleich einem OOS-Schwellenwert oder größer ist, wodurch ein fünftes Ergebnis erhalten wird. Wenn das fünfte Ergebnis wahr ist, wird die Werkstückstichprobenentnahmerate erhöht, indem N verringert wird, wird der Satz determinativer Stichproben gelöscht und wird der OOS-Zähler auf 0 gesetzt.
Gemäß einer Ausführungsform der vorliegenden Erfindung werden eine durch 1/N_max repräsentierte kleinste Werkstückstichprobenentnahmerate und eine durch 1/N_default repräsentierte vorgegebene Werkstückstichprobenentnahmerate erhalten, wobei N_max ein größter Wert von N ist und N_default ein Vorgabewert von N ist. Dann wird ein dritter konservativer Faktor mit N_max multipliziert, um einen Prüfwert zu erhalten. Ein Schritt wird durchgeführt, um zu bestimmen, ob der Prüfwert größer als N_default ist, wodurch ein sechstes Ergebnis erhalten wird. Wenn das sechste Ergebnis wahr ist, wird N_default gleich dem Prüfwert gesetzt.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird ein erster Überprüfungsschritt durchgeführt, um zu überprüfen, ob eine Zustandsänderung des Bearbeitungswerkzeugs eintritt, wodurch ein erstes Überprüfungsergebnis erhalten wird. Wenn das erste Überprüfungsergebnis wahr ist, wird der Satz determinativer Stichproben gelöscht und wird der OOS-Zähler auf 0 gesetzt. Ein zweiter Überprüfungsschritt wird durchgeführt, um zu überprüfen, ob N größer als N_default ist, wodurch ein zweites Überprüfungsergebnis erhalten wird. Wenn das zweite Überprüfungsergebnis wahr ist, wird N auf N_default gesetzt.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird bei dem vorstehend erwähnten Stichprobenmessverfahren der Modellerzeugungsschritt ferner durchgeführt, um ein DQI_X-(Process Data Quality Index bzw. Prozessdatenqualitätsindex)-Modell und ein GSI-(Global Similarity Index bzw. Globaler Ähnlichkeitsindex)-Modell zu bilden und einen DQI_x-Schwellenwert und einen GSI-Schwellenwert zu berechnen, indem die Sätze historischer Prozessdaten verwendet werden. Dann wird ein Werkstückstichprobenmessschritt durchgeführt. In dem Werkstückstichprobenmessschritt wird ein Werkstück an das Bearbeitungswerkzeug bereitgestellt, wobei das Bearbeitungswerkzeug einen Satz von Prozessdaten aufweist, welche verwendet werden, um das Werkstück zu bearbeiten, und wird der Satz von Prozessdaten des Werkstücks in das DQI_x-Modell und das GSI-Modell eingegeben, wodurch ein DQI_x-Wert und ein GSI-Wert des Satzes von Prozessdaten des Werkstücks erhalten werden. Hiernach wird ein Werkstückzähler um 1 erhöht. Wenn das erste Überprüfungsergebnis wahr ist, wird ein dritter Überprüfungsschritt durchgeführt, um zu überprüfen, ob der DQI_x-Wert gleich dem DQI_x-Schwellenwert oder geringer ist, wodurch ein drittes Überprüfungsergebnis erhalten wird. Wenn das dritte Überprüfungsergebnis falsch ist, wird eine Messung des Werkstücks übersprungen. Wenn das dritte Überprüfungsergebnis wahr ist, wird ein vierter Überprüfungsschritt durchgeführt, um zu überprüfen, ob der Werkstückzähler größer oder gleich N ist, wodurch ein viertes Überprüfungsergebnis erhalten wird. Wenn das vierte Überprüfungsergebnis wahr ist, wird eine Messung an dem Werkstück durchgeführt und wird der Werkstückzähler auf 0 gesetzt. Wenn das vierte Überprüfungsergebnis falsch ist, wird ein fünfter Überprüfungsschritt durchgeführt, um zu überprüfen, ob der GSI-Wert des Werkstücks gleich dem GSI-Schwellenwert oder kleiner ist, wodurch ein fünftes Überprüfungsergebnis erhalten wird. Wenn das fünfte Überprüfungsergebnis wahr ist, wird die Messung des Werkstücks übersprungen.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird bei dem Stichprobenmessverfahren ein Referenzmodell gemäß einem Referenzvorhersagealgorithmus gebildet, indem die Sätze historischer Prozessdaten und die historischen Messwerte verwendet werden, wobei der Mutmaßungsalgorithmus sich von dem Referenzvorhersagealgorithmus unterscheidet. Ein RI-(Reliance Index bzw. Zuverlässigkeitsindex)-Schwellenwert wird auf der Grundlage einer maximal tolerierbaren Fehlergrenze, die durch Fehler virtueller Messwerte, welche aus dem Mutmaßungsmodell erhalten werden, definiert ist, berechnet. Der Satz von Prozessdaten des Werkstücks wird in das Referenzmodell eingegeben, wodurch ein Referenzvorhersagewert des Werkstücks berechnet wird. Ein Überlappungsbereich zwischen der statistischen Verteilung des virtuellen Messwerts des Werkstücks und der statistischen Verteilung des Referenzvorhersagewerts des Werkstücks wird berechnet, wodurch ein RI-Wert des Werkstücks erzeugt wird. Wenn das vierte Überprüfungsergebnis falsch ist, wird ein sechster Überprüfungsschritt durchgeführt, um zu überprüfen, ob der RI-Wert des Werkstücks gleich dem RI-Schwellenwert oder größer ist, wodurch ein sechstes Überprüfungsergebnis erhalten wird. Wenn das sechste Überprüfungsergebnis wahr ist, wird die Messung des Werkstücks übersprungen.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird eine Messung an dem Werkstück durchgeführt und der Werkstückzähler auf 0 gesetzt, wenn das fünfte Überprüfungsergebnis oder das sechste Überprüfungsergebnis falsch ist und die GSI-Werte von k Werkstücken, die vor dem Werkstück bearbeitet wurden, alle größer als der GSI-Schwellenwert sind oder die RI-Werte von k Werkstücken, die vor dem Werkstück bearbeitet wurden, alle kleiner als der RI-Schwellenwert sind, wobei k eine positive Ganzzahl ist.
Gemäß den vorstehend erwähnten Aufgaben wird ein auf einem nichtflüchtigen, materiellen, computerlesbaren Aufzeichnungsmedium gespeichertes Computerprogrammprodukt bereitgestellt. Wenn das Computerprogrammprodukt durch einen Computer geladen und ausgeführt wird, werden die vorstehend erwähnten Stichprobenmessverfahren durchgeführt.
Somit kann mit der Anwendung der Ausführungsformen der vorliegenden Erfindung die Werkstückstichprobenentnahmerate automatisch justiert und beträchtlich gesenkt werden, und die VM-Genauigkeit kann wirksam sichergestellt werden.
Es ist zu verstehen, dass sowohl die vorstehende allgemeine Beschreibung als auch die nachstehende genaue Beschreibung beispielhaft sind und dazu gedacht sind, die beanspruchte Erfindung weiter zu erläutern.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Erfindung kann durch Lesen der nachstehenden genauen Beschreibung der Ausführungsform unter Bezugnahme auf die begleitenden Zeichnungen vollständiger verstanden werden, wobei:
1 ein schematisches Diagramm zur Erläuterung eines Zuverlässigkeitsindex (RI) gemäß einigen Ausführungsformen der vorliegenden Erfindung ist;
2 ein schematisches Diagramm zur Definition eines RI-Schwellenwerts (RI_T) gemäß einigen Ausführungsformen der vorliegenden Erfindung ist;
3 ein schematisches Ablaufdiagramm ist, welches ein Stichprobenmessverfahren mit einem Stichprobenentnahmeratenentscheidungsschema gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung ist;
4A bis 4C schematische Diagramme sind, die zur Erläuterung eines Schritts eines Justierens einer Werkstückstichprobenentnahmerate gemäß einigen Ausführungsformen der vorliegenden Erfindung verwendet werden;
5A und 5B schematische Ablaufdiagramme sind, welche einen Schritt zum Justieren einer Werkstückstichprobenentnahmerate gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung zeigen;
6 ein schematisches Ablaufdiagramm ist, welches einen Werkstückstichprobenmessschritt gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung zeigt; und
7 ein schematisches Ablaufdiagramm ist, welches ein virtuelles Messverfahren gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung zeigt.
AUSFÜHRLICHE BESCHREIBUNG
Es wird nun im Einzelnen auf die Ausführungsformen der vorliegenden Erfindung Bezug genommen werden, von welchen Beispiele in den begleitenden Zeichnungen dargestellt sind. Wo immer möglich, wurden in den Zeichnungen und der Beschreibung die gleichen Bezugsziffern verwendet, um die gleichen oder ähnlichen Teile zu bezeichnen.
Ausführungsformen der vorliegenden Erfindung richten sich auf ein Stichprobenmessverfahren, welches einen mittleren absoluten prozentualen Fehler (MAPE) und einen maximalen absoluten prozentualen Fehler (MaxErr) virtueller Messwerte aller Werkstücke in einem Satz determinativer Stichproben (DS) anwendet, um eine Werkstückstichprobenentnahmerate einzustellen. Das Stichprobenmessverfahren kombiniert auch verschiedene Indexwerte, welche verschiedene Zustandsänderungen eines Bearbeitungswerkzeugs (wie etwa Wartungsbetrieb, Teileänderung, Parametereinstellung, etc.) erfassen kann, und/oder Informationsanomalien des Bearbeitungswerkzeugs (wie etwa anormale Prozessdaten, Parameterdrift/-verschiebung, anormale Messdaten, etc.), die in einem Herstellungsprozess auftauchen, werden verwendet, um ein Schema einer automatisierten Stichprobenentscheidung (ASD) zur Verringerung einer Stichprobenentnahmerate bei weiterhin aufrechterhaltener VM-Genauigkeit zu entwickeln. Die Indizes umfassen einen Zuverlässigkeitsindex (RI), einen globalen Ähnlichkeitsindex (GSI), einen Prozessdatenqualitätsindex (DQI_X) und einen Messdatenqualitätsindex (DQI_y). Der RI-Wert, der GSI-Wert, der DQI_X-Wert und der DQI_y-Wert, die in den Ausführungsformen der vorliegenden Erfindung verwendet werden, können auf das US-Patent Nr. 8,095,484 B2 bezogen sein. Ausführungsformen der vorliegenden Erfindung können mit dem durch das US-Patent Nr. 8,095,484 B2 offenbarten VM-System kombiniert werden. Das US-Patent Nr. 8,095,484 B2 wird hierdurch im Wege der Bezugnahme eingeschlossen. Der RI-Wert ist ausgelegt, um das Zuverlässigkeitsniveau eines virtuellen Messwerts zu eichen. Der GSI-Wert wird verwendet, um den Grad einer Ähnlichkeit zwischen dem gegenwärtigen Satz eingegebener Prozessdaten und aller Sätze von Prozessdaten, die zum Bilden und Anlernen eines Mutmaßungsmodells verwendet werden, zu bewerten. Der GSI-Wert wird bereitgestellt, um dem RI-Wert zu helfen, das Zuverlässigkeitsniveau des VM-Systems zu eichen. Der DQI_X-Wert wird verwendet, um zu evaluieren, ob ein Satz von Prozessdaten, der zum Herstellen eines Werkstücks verwendet wird, anormal ist, und der DQI_y-Wert wird verwendet, um zu evaluieren, ob die Messdaten des Werkstücks anormal sind.
Nachstehend werden zuerst theoretische Grundlagen in Bezug auf den RI-Wert (RI-Modell), den GSI-Wert (GSI-Modell), den DQI_X-Wert (DQI_X-Modell) und den DQI_y-Wert (DQI_y-Modell) erläutert.
RI und der GSI werden verwendet, um in Echtzeit zu lernen, ob der VM-Wert zuverlässig ist. Das RI-Modell wird verwendet, um einen RI-Wert zwischen 0 und 1 zu berechnen, indem die Prozessdaten des Bearbeitungswerkzeugs analysiert werden, wodurch bestimmt wird, ob dem virtuellen Messergebnis vertraut werden kann. Das GSI-Modell wird verwendet, um den GSI-Wert für den Prozess zu berechnen. Der GSI-Wert ist definiert als der Grad einer Ähnlichkeit zwischen dem gegenwärtigen Satz eingegebener Prozessdaten und aller Sätze der Prozessdaten, die zum Bilden oder Anlernen der Modelle verwendet werden.

Bezug nehmend auf Tabelle 1 wird angenommen, dass n Sätze von historischen Daten einschließlich Prozessdaten (X_i, i = 1, 2, ..., n) und entsprechender tatsächlicher Messwerte (y_i, i = 1, 2, ..., n) gesammelt werden, wobei jeder Satz von Prozessdaten p individuelle Parameter (von Parameter 1 bis Parameter p) enthält, insbesondere X_i = [x_i,1, x_i,2, ..., x_i,p]^T. Zusätzlich werden auch (m – n) Sätze von Prozessdaten in tatsächlicher Produktion gesammelt, jedoch sind über y_n+1 hinaus keine tatsächlichen Messwerte verfügbar. D. h., lediglich das erste unter (m – n) Stücken der Erzeugnisse wird ausgewählt und tatsächlich gemessen. In der gegenwärtigen Herstellungspraxis wird der tatsächliche Messwert y_n+1, der erhalten wird, verwendet, um die Qualität der (m – n – 1) Stücke der Erzeugnisse abzuleiten und zu evaluieren. Tabelle 1:

Stichprobendatensatz	Parameter 1	Parameter 2		Parameter p	Tatsächlicher Messwert
1	x_1,1	x_1,2	...	x_1,p	y₁
2	x_2,1	x_2,2	...	x_2,p	y₂
...	...	...	...	...	...
n	x_n,1	x_n,2	...	x_n,p	y_n
n + 1	x_n+1,1	x_n+1,2	...	x_n+1,p	y_n+1
n + 2	x_n+2,1	x_n+2,2	...	x_n+2,p	Nix
...	...	...	...	...	...
m	x_m,1	x_m,2	...	x_m,p	Nix

Wie in Tabelle 1 gezeigt, sind y₁, y₂, ..., y_n historische Messwerte und ist y_n+1 der tatsächliche Messwert des ersten Stücks der hergestellten Erzeugnisse. Im Allgemeinen ist ein Satz tatsächlicher Messwerte (y_i, i = 1, 2, ..., n) eine Normalverteilung mit einem Mittelwert μ und einer Standardabweichung σ, d. h., y₁ ~ N(μ, σ²).
All die tatsächlichen Messwerte können in Bezug auf den Mittelwert und die Standardabweichung des Stichprobensatzes (y_i, i = 1, 2, ..., n) standardisiert werden. Deren standarisierte Werte (auch als Z-Score bzw. standardisierte Zufallsvariable bezeichnet),
werden so abgeleitet, wobei jeder Z-Score einen Mittelwert (Erwartuns wert) 0 und eine Standardabweichung (Varianz) 1 aufweist, d. h.,
In Bezug auf die tatsächlichen Messwerte gibt ein entsprechendes
nahe 0 an, dass der tatsächliche Messwert sich dem Mittelwert der Spezifikation annähert. Die Gleichungen zur Standardisierung sind nachstehend aufgeführt:
wobei y_i der i-te tatsächliche Messwert ist,
y der Mittelwert aller tatsächlichen Messwerte ist, und
σ_y die Standardabweichung aller tatsächlichen Messwerte ist.
Die Erläuterung hierin nimmt einen Neuralnetzwerk-(NN)-Algorithmus als den Mutmaßungsalgorithmus zum Etablieren des eine virtuelle Messung durchführenden Mutmaßungsmodells an und verwendet etwas wie einen Multiregressions-(MR)-Algorithmus, um der Referenzalgorithmus zum Etablieren des Referenzmodells, welches als eine Vergleichsbasis für das Mutmaßungsmodell dient, zu sein. Die vorliegende Erfindung kann jedoch auch andere Algorithmen anwenden, um der Mutmaßungsalgorithmus oder der Referenzalgorithmus zu sein, wie etwa ein Rückausbreitungs- bzw. Fehlerausbreitungs-Neuralnetzwerk-(BPNN – Back Propagation Neural Network)-Algorithmus, einen Allgemeinregressions-Neuralnetzwerk-(GRNN)-Algorithmus, einen Radialbasisfunktions-Neuralnetzwerk-(RBFNN)-Algorithmus, einen Algorithmus eines einfachen rekurrierenden Netzwerks (SRN – Simple Recurrent Network), einen Unterstützungsvektordatenbeschreibungs-(SVDD – Support Vector Data Description)-Algorithmus, einen Unterstützungsvektormaschinen-(SVM – Support Vector Machine)-Algorithmus, einen Multiregressions-(MR)-Algorithmus, einen Algorithmus partieller kleinster Quadrate (PLS – Partial Least Squares), einen nichtlinear-iterativen Algorithmus partieller kleinster Quadrate (NIPALS – Non-linear Iterative Partial Least Squares) oder generalisierte lineare Modelle (GLM), solange der Referenzalgorithmus sich von dem Mutmaßungsalgorithmus unterscheidet, wie etwa einem SVM-Algorithmus und anderen diesbezüglichen Algorithmen, und somit ist die vorliegende Erfindung hierauf nicht beschränkt.
Wenn die NN- und MR-Algorithmen verwendet werden, sollten, wenn ihre Konvergenzbedingungen beide sind, dass SSE (Summe der Fehlerquadrate bzw. Sum of Square Error) mit n → ∞ minimiert ist, ihre standardisierten prädiktiven Messwerte
die gleichen sein wie der standardisierte tatsächliche Messwert
Anders ausgedrückt, wenn n → ∞, repräsentieren
alle den standardisierten tatsächlichen Messwert, weisen jedoch unterschiedliche Namen auf, da sie unterschiedliche Zwecke und unterschiedliche Schätzmodelle aufweisen. Daher geben
und
an, dass
die gleiche statistische Verteilung teilen. Allerdings ist es der Existenz unterschiedlicher Schätzmodelle geschuldet, dass die Schätzungen von Mittelwert und Standardabweichung zwischen diesen zwei Vorhersagealgorithmen differieren. Insbesondere unterscheiden sich die Schätzgleichung des standardisierten Mittelwerts
und die Schätzgleichung der Standardabweichung
bezüglich des NN-Mutmaßungsmodells von der Schätzgleichung des standardisierten Mittelwerts
und der Schätzgleichung der Standardabweichung
bezüglich des MR-Referenzmodells.
Der RI ist ausgelegt, um das Zuverlässigkeitsniveau des virtuellen Messwerts zu eichen bzw. abzuschätzen. Der RI sollte daher den Grad einer Ähnlichkeit zwischen der statistischen Verteilung
des virtuellen Messwerts und der statistischen Verteilung
des tatsächlichen Messwerts berücksichtigen. Wenn jedoch die virtuelle Messung angewendet wird, kann kein tatsächlicher Messwert verwendet werden, um die Glaubwürdigkeit des virtuellen Messwerts zu verifizieren. (Insbesondere wird eine virtuelle Messung unnötig, wenn tatsächliche Messwerte erhalten werden.) Stattdessen nimmt die vorliegende Erfindung die durch den Referenzalgorithmus, welcher ein solcher wie der MR-Algorithmus ist, die geschätzte statistische Verteilung
an, um
zu ersetzen. Der Referenzalgorithmus kann auch ein solcher wie ein Zeitreihenalgorithmus und andere diesbezügliche Algorithmen sein, und somit ist die vorliegende Erfindung nicht hierauf beschränkt.
Bezug nehmend auf 1 ist 1 ein schematisches Diagramm zur Erläuterung des Zuverlässigkeitsindex (RI) gemäß der bevorzugten Ausführungsform der vorliegenden Erfindung. Der RI der vorliegenden Erfindung ist als Überschneidungsflächenwert (Überlappungsfläche A) zwischen der statistischen Verteilung
des virtuellen Messwerts aus dem Mutmaßungsmodell (durch einen solchen wie den NN-Algorithmus gebildet) und der statistischen Verteilung
des Bezugsvorhersagewerts aus dem Referenzmodell (durch einen solchen wie den MR-Algorithmus gebildet), definiert. Als solches ist die RI-Gleichung nachstehend aufgeführt:
wobei σ auf 1 festgelegt ist.
Der RI erhöht sich mit wachsender Überlappungsfläche A. Dieses Phänomen gibt an, dass das durch das Mutmaßungsmodell erhaltene Ergebnis näher an dem aus dem Referenzmodell erhaltenen liegt und somit der entsprechende virtuelle Messwert zuverlässiger ist. Andererseits verringert sich die Zuverlässigkeit des entsprechenden Messwerts mit abnehmendem RI. Wenn die aus
geschätzte Verteilung
vollständig mit der aus
geschätzten Verteilung
überlappt, ist gemäß der Verteilungstheorie der Statistik der RI-Wert gleich 1; und wenn diese zwei Verteilungen weitgehend getrennt sind, nähert sich der RI-Wert 0 an.
Nachstehend wird das Verfahren zum Berechnen der statistischen Verteilung der virtuellen Messwerte
aus dem Mutmaßungsmodell erläutert.
Wenn in dem NN-Mutmaßungsmodell die Konvergenzbedingung ist, SSE zu minimieren, dann kann angenommen werden, dass „für gegebenes
die Verteilung mit dem Mittelwert
und der Standardabweichung
ist”, d. h., für gegebene
ist
wobei für
die NN-Schätzgleichung
gilt und für
die NN-Schätzgleichung
gilt.
Bevor das NN-Mutmaßungsmodell konstruiert wird, müssen die Prozessdaten standardisiert werden. Die Gleichungen zur Standardisierung der Prozessdaten sind nachstehend aufgeführt:
wobei x_i,j der j-te Prozessparameter in dem i-ten Satz von Prozessdaten ist,
x _j der Mittelwert der j-ten Prozessdaten ist;
Die n Sätze standardisierter Prozessdaten
und die n standardisierten tatsächlichen Messwerte
werden ausgenutzt, um das NN-Mutmaßungsmodell zu bilden. Die m Sätze standardisierter Prozessdaten
werden dann in das NN-Mutmaßungsmodell eingegeben, um die entsprechenden standardisierten virtuellen Messwerte zu erhalten:
Demgemäß können der Schätzwert von
und der Schätzwert von
berechnet werden wie folgt:
wobei
der Mittelwert der standardisierten virtuellen Messwerte ist.
Nachstehend wird das Verfahren zum Berechnen der Referenzvorhersagewerte
and
aus dem MR-Modell erläutert.
Die grundlegende Annahme des MR ist, dass „für gegebene
die Verteilung mit dem Mittelwert
und der Standardabweichung
ist”, d. h., für gegebene
gilt
wobei für
die MR-Schätzgleichung
gilt und für
die MR-Schätzgleichung
gilt.
Um die MR-Beziehung zwischen den n Sätzen standardisierter Prozessdaten
und den n standardisierten tatsächlichen Messwerten
zu erhalten, müssen die Gewichtunsfaktoren β_r = [β_r0, β_r1, β_r2, ..., β_rp]^T, die diesen p Parametern entsprechen, durch Verwenden der MR-Analyse definiert werden. Die Beziehung zwischen
wird daher wie folgt konstruiert:
Es seien
Das Verfahren der kleinsten Quadrate kann die Schätzgleichung von β_r,
β ^_r = [β ^_r0, β ^_r1, ... β ^_rp]^T, erhalten als β ^_r = (Z T / xZ_x)^–1Z T / xZ_y (14)
Daher kann das MR-Referenzmodell erhalten werden als
Daher kann während der Mutmaßungsphase nach Eingeben eines Satzes von Prozessdaten dessen MR-Schätzwert
der diesem entspricht, über die Gleichung (15) erhalten werden. Die MR-Schätzgleichung der Standardabweichung
mit
Nach Erhalten der NN-Schätzgleichungen
und der MR-Schätzgleichungen
können deren Normalverteilungskurven aufgetragen werden, wie es in 1 dargestellt ist. Daher kann der RI jedes virtuellen Messwerts durch Berechnen des Überschneidungsflächenwerts (Überlappungsfläche A) abgeleitet werden.
Nach Erhalten des RI muss der RI-Schwellenwert (RI_T) definiert werden. Falls RI ≥ RI_T ist, ist das Zuverlässigkeitsniveau des virtuellen Messwerts akzeptabel. Ein systematischer Ansatz zum Bestimmen des RI_T wird nachstehend beschrieben.
Vor Bestimmen des RI_T ist es erforderlich, eine maximal tolerierbare Fehlergrenze (E_L) zu definieren. Der Fehler des virtuellen Messwerts ist ein absoluter Prozentwert des Unterschieds zwischen dem tatsächlichen Messwert y_i und y ^_Ni, die aus dem NN-Mutmaßungsmodell erhalten werden, geteilt durch den Mittelwert aller tatsächlichen Messwerte y d. h.:
Der Wert E_L kann dann auf der Grundlage des in Gleichung (18) definierten Fehlers und der Genauigkeitsspezifikation der virtuellen Messung (VM) spezifiziert werden. Demzufolge ist RI_T als der RI-Wert, welcher dem E_L entspricht, definiert wie es in 2 gezeigt ist. D. h.:
wobei μ und σ in Gleichung (4) definiert sind, und
wobei σ_y in Gleichung (3) spezifiziert ist.
Das Nachstehende erläutert ein Verfahren zum Bilden eines GSI-Modells. Wie vorstehend erwähnt, ist, wenn die virtuelle Messung angewendet wird, kein tatsächlicher Messwert verfügbar, um die Genauigkeit des virtuellen Messwerts zu verifizieren. Daher wird anstelle des standardisierten tatsächlichen Messwerts
der standardisierte MR-Vorhersagewert
angenommen, um den RI zu berechnen. Diese Ersetzung kann unvermeidliche Eichfehler in dem RI bewirken. Um diese unvermeidbare Ersetzung zu kompensieren, wird ein globaler Ähnlichkeitsindex (GSI) vorgesehen, um dem RI zu helfen, das Zuverlässigkeitsniveau der virtuellen Messung zu eichen und die Schlüsselprozessparameter mit großen Abweichungen zu identifizieren (z-Score-Werte bzw. Werte der standardisierten Zufallsvariablen).
Der GSI bewertet den Grad einer Ähnlichkeit zwischen jedem Satz von Prozessdaten und dem Modellsatz von Prozessdaten. Dieser Modellsatz wird aus allen der Sätze historischer Prozessdaten, die zum Bilden des Mutmaßungsmodells verwendet werden, abgeleitet.
Die vorliegende Erfindung kann eine statistische Abstandsmessung wie etwa den Mahalanobis-Abstand verwenden, um den Grad der Ähnlichkeit zu quantifizieren. Der Mahalanobis-Abstand ist eine Abstandsmessung, die durch P.C. Mahalonobis 1936 eingeführt wurde. Diese Messung basiert auf einer Korrelation zwischen Variablen, um unterschiedliche Muster von Stichprobensätze zu identifizieren und zu analysieren. Der Mahalonobis-Abstand ist ein nützlicher Weg, um eine Ähnlichkeit eines unbekannten Stichprobensatzes zu einem bekannten zu bestimmen. Dieses Verfahren berücksichtigt die Korrelation des Datensatzes und ist maßstabsinvariant, d. h., sie ist von dem Maßstab von Messungen unabhängig. Falls der Datensatz eine hohe Ähnlichkeit aufweist, wird der berechnete Mahalanobis-Abstand vergleichsweise klein werden.
Die vorliegende Erfindung verwendet die berechnete GSI-Größe (unter Anwendung des Mahalonobis-Abstandes), um zu bestimmen, ob der neu eingegebene Satz von Prozessdaten dem Modellsatz von Prozessdaten ähnlich ist. Falls der berechnete GSI klein ist, ist der neu eingegebene Satz dem Modellsatz vergleichsweise ähnlich. Daher ist der virtuelle Messwert des neu eingegebenen (hoch ähnlichen) Satzes vergleichsweise genau. Falls im Gegensatz dazu der berechnete GSI zu groß ist, unterscheidet sich der neu eingegebene Satz etwas von dem Modellsatz. Demzufolge weist der in Übereinstimmung mit dem neu eingegebenen (wenig ähnlichen) Satz geschätzte virtuelle Messwert ein niedriges Zuverlässigkeitsniveau bezüglich einer Genauigkeit auf.
Die Gleichungen zur Berechnung der standardisierten Prozessdaten
des Mutmaßungsmodells sind in Gleichungen (5), (6) und (7) gezeigt. Als erstes wird der Modellsatz der Prozessparameter als X_M = [x_M,1, x_M,2, ..., x_M,p]^T definiert, wobei x_M,j gleich x _j, j = 1, 2, ...., p ist, so dass jedes Element in dem Modellsatz nach Standardisierung (auch als der standardisierte Modellparameter Z_M,j bezeichnet) einen Wert von 0 aufweist. Anders ausgedrückt, alle der Elemente in Z_M = [Z_M,1, Z_M,2, ..., Z_M,p]^T sind 0. Danach werden die Korrelationskoeffizienten zwischen den standardisierten Modellparametern berechnet.
Unter der Annahme, dass der Korrelationseffizient zwischen dem s-ten Parameter und dem t-ten Parameter r_st ist und dass k Datensätze vorhanden sind, gilt
Nach Berechnung der Korrelationskoeffizienten zwischen den standardisierten Modellparametern kann die Matrix der Korrelationskoeffizienten erhalten werden als
Unter der Annahme, dass die Kehrmatrix (R^–1) von R als A definiert ist, gilt
Somit lautet die Gleichung zum Berechnen des Mahalanobis-Abstands (D 2 / λ) zwischen dem standardisierten λ-ten Satz von Prozessdaten (Z_λ) und dem standardisierten Modellsatz von Prozessdaten (Z_M) wie folgt: D 2 / λ = (Z_λ – Z_M)^TR^–1(Z_λ – Z_M) = Z T / λR^–1Z_λ (24)
Schließlich wird die Gleichung (25) erhalten.
Der GSI des standardisierten λ-ten Satzes Prozessdaten ist dann gleich D 2 / λ/p.
Nach Erhalten des GSI sollte der GSI-Schwellenwert (GSI_T) wie folgt definiert werden:
In dem sogenannten Kreuzvalidierungsauslassungsverfahren (LOO – Leave-One-Out) wird ein Stichprobendatensatz aus allen Sätzen von Prozessdaten, die zum Bilden von Modellen verwendet werden, als ein simulierter mitlaufender Prüfstichprobensatz ausgewählt, und dann werden die verbleibenden Sätze von Prozessdaten verwendet, um ein GSI-Modell zu konstruieren, und hiernach wird das GSI-Modell verwendet, um einen GSI-Wert für den Prüfstichprobensatz, d. h., GSI_LOO zu berechnen. Die vorstehenden Schritte werden an allen der Stichprobendatensätze (Prozessdaten), die zum Bilden von Modellen verwendet werden, wiederholt, womit alle die GSI_LOO-Werte der jeweiligen Stichprobendatensätze berechnet werden. Daher steht das in Gleichung (26) gezeigte GSI _LOO beispielsweise für den zu 90% getrimmten Mittelwert aller GSI_LOO-Werte, die jeweils durch die Stichprobendatensätze berechnet werden. Das in Gleichung (26) gezeigte „a” liegt zwischen 2 und 3 und kann in Übereinstimmung mit tatsächlichen Bedingungen geringfügig justiert werden, wobei „a” so vorbestimmt ist, dass es 3 ist.
Ein Verfahren zum Konstruieren eines DQI_X-Modells wird nachstehend beschrieben. Es sei angenommen, dass n Sätze von historischen Prozessdaten zum Konstruieren des ersten DQI_X-Modells empfangen werden, wobei jeder Satz von historischen Prozessdaten aus p Parametern aufgebaut ist. Diese n Sätze von historischen Prozessdaten werden angewendet, um p Eigenvektoren mit p Eigenwerten (λ₁ ≥ λ₂ ≥ ... ≥ λ_p) in absteigender Reihenfolge durch die Hauptkomponentenanalyse (PCA) zu erzeugen. Dann wird ein Satz von k signifikanten Eigenwerten (mit λ ≥ 1) ausgewählt für die Konstruktion einer Feature-Extraction-Matrix M, welche ausgedrückt wird als:
Das Verfahren zum Berechnen der DQI_X-Werte wird erläutert wie folgt.
Zuerst wird eine Gleichung (28) angewendet, um den i-ten Eingangssatz von Prozessdaten X_i auf k Daten-Feature-Variablen A_i = [a₁, a₂, ..., a_k] zu transformieren. A_i = M·X_i (28)
Dann werden diese k Daten-Feature-Variablen auf
transformiert, was dann durch den Algorithmus des Euclid'schen Abstands (ED) in einen konsolidierten Index konvertiert wird, d. h., den DQI_X-Wert:
wobei i den i-ten Eingangssatz von Prozessdaten repräsentiert;
Theoretisch ist der Wert von
gleich Null, und hierfür kann die Gleichung (29) vereinfacht werden als:
Indessen wird das Kreuzvalidierungsauslassverfahren (LOO) verwendet, um den Prozessdatenqualitätsschwellenwert
zu bestimmen als:
In dem sogenannten Kreuzvalidierungsauslassverfahren (LOO) wird ein Stichprobendatensatz aus allen Sätzen von Prozessdaten, die zum Bilden von Modellen verwendet werden, als ein simulierter mitlaufender Prüfstichprobensatz ausgewählt, und dann werden die verbleibenden Sätze von historischen Prozessdaten verwendet, um ein DQI_X-Modell zu konstruieren, und hiernach wird das neu gebildete DQI_X-Modell verwendet, um einen DQI_X-Wert für den simulierten mitlaufenden Prüfstichprobensatz, d. h., DQI_XLOO, zu berechnen. Die vorstehenden Schritte werden an allen der Prüfdatensätze (Prozessdaten), die zum Bilden von Modellen verwendet werden, wiederholt, wodurch alle die DQI_XLOO-Werte der jeweiligen Stichprobendatensätze berechnet werden. Daher steht das in Gleichung (31) gezeigte
für beispielsweise den zu 90% getrimmten Mittelwert aller DQI_XLOO-Werte, die durch die Stichprobendatensätze jeweils berechnet werden. Das in Gleichung (31) gezeigte „a” liegt zwischen 2 und 3 und kann in Übereinstimmung mit den tatsächlichen Bedingungen geringfügig justiert werden, wobei „a” so voreingestellt ist, dass es 3 ist.
Es wird angemerkt, dass die Feature-Extraction-Matrix M und der DQI_X-Wert ein DQI_X-Modell bilden, und das DQI_X-Modell wird in Übereinstimmung mit einer Bedingung zum Neuanlernen oder Kalibrieren aktualisiert werden (in der Modellerneuerungsprozedur).
Hiernach werden die Z-Score-Werte der historischen Prozessdaten berechnet. Dann wird ein DQI_y-Modell erzeugt, wobei das DQI_y-Modell aus m ähnlichen Mustern zusammengesetzt ist.
In der vorliegenden Ausführungsform werden die m ähnlichen Muster {P₁, P₂, ..., P_m} aus Z-Score-Werten dieser n Sätze von historischen Prozessdaten durch Anwenden der adaptiven Resonanztheorie 2 (ART2) mit ρ = 0.98 sortiert.
Das Verfahren zum Berechnen der DQI_y-Werte wird nachstehend beschrieben. Zuerst werden, wenn ein neuer tatsächlicher Messwert y_j gesammelt wird, die Z-Score-Werte
entsprechend dem tatsächlichen Messwert y_j durch die adaptive Resonanztheorie 2 (ART2) angewendet, um aus den ähnlichen Mustern {P₁, P₂, ..., P_m} das ähnlichste Muster P_q = [X_q,1, X_q,2, ..., X_q,ν] zu suchen. Dann werden die v-Stichproben (ν ≥ 2) innerhalb P_q = [X_q,1, X_q,2, ..., X_q,ν] mit ihren entsprechenden tatsächlichen Messwerten Y_q = [y_q,1, y_q,2, ..., y_q,ν] und dieser neue tatsächliche Messsert y_j verwendet, um den
und den Schwellenwert
des DQI_y zu berechnen. Der
von y_j wird als normalisierte Variabilität (NV) erhalten:
mit y _q: der Mittelwert aller y_q,l;
v: die Anzahl von Stichproben innerhalb des Musters P_q.
Der
eines bestimmten Musters P_q ist so definiert, dass er die maximal tolerierbare Varianz des P_q ist. Es sei angenommen, dass y_t der maximal tolerierbare Messwert ist, der die maximal tolerierbare Varianz in P_q aufweist, dann kann y_t dieses Absatzes dargestellt werden als: y_t = y _q + R_max or y_t = y _q – R_max (34) wobei R_max die maximal tolerierbare Varianz ist;
wobei
der Bereich im Muster P_i ist und m die Gesamtanzahl aller Gruppen ähnlicher Muster ist.
Durch Hinzufügen von y_t in das ähnliche Muster P_q, kann
erhalten werden als:
Falls nach Erhalten von
wahr ist, bedeutet dies, dass der neue tatsächliche Messwert anormal ist; anderenfalls ist der tatsächliche Messwert normal.
Die vorstehend erwähnten PCA-, LOO-, ART2-, Z-Score- und ED-Algorithmen sind dem Fachmann allesamt bekannt, und daher werden die Einzelheiten davon hierin nicht beschrieben.
Bezug nehmend auf 3 ist 3 ein schematisches Ablaufdiagramm welches ein Stichprobenmessverfahren mit einem Stichprobenentnahmeratenentscheidungsschema gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung zeigt. Zuerst wird eine Werkstückstichprobenentnahmerate 1/N initialisiert (Schritt 110), wobei die Werkstückstichprobenentnahmerate darauf gerichtet ist, aus jeweils N durch ein Bearbeitungswerkzeug bearbeiteter Werkstücke das N-te Werkstück als ein zur Messung erwartetes Werkstück auszuwählen. Eine herkömmliche Werkstückstichprobenentnahmerate ist beispielsweise so definiert, dass aus jeweils 25 Werkstücken das 25-te Werkstück (Werkstückzähler = 25) als ein zu messendes Werkstück ausgewählt wird, nachdem jeweils 25 Werkstücke durch das Bearbeitungswerkzeug bearbeitet wurden. Ausführungsformen der vorliegenden Erfindung nehmen einen variablen „Werkstückzähler” an, um die Anwendung der Werkstückstichprobenentnahmerate zu ermöglichen, deren Anfangswert 0 ist. Mit anderen Worten, der Werkstückzähler ist die Anzahl von Werkstücken, die durch das Bearbeitungswerkstück bearbeitet worden sind, aber keiner Messung unterzogen werden, nachdem das letzte Werkstück mit einer Messung versehen wurde. In Schritt 110 kann N auf 1 oder eine durch ein herkömmliches Herstellungssystem festgelegte Zahl initialisiert werden. Theoretisch wird das Werkstück mit dem Werkstückzähler, welcher gleich N ist, als das zur Messung erwartete Werkstück ausgewählt werden. Hiernach wird eine Vielzahl von Sätzen historischer Prozessdaten, die durch das Bearbeitungswerkzeug zum Bearbeiten einer Vielzahl von historischen Werkstücken verwendet werden, gesammelt, und eine Vielzahl von historischen Messwerten der historischen Werkstücke, welche den Sätzen historischer Prozessdaten entsprechen, wird gesammelt (Schritt 120). Dann wird ein Modellerzeugungsschritt 130 durchgeführt, um ein RI-Modell (ein Mutmaßungsmodell und ein Referenzmodell), ein DQI_X-Modell, ein DQI_y-Modell und ein GSI-Modell zu bilden und um einen DQI_X-Schwellenwert, einen DQI_y-Schwellenwert und einen GSI-Schwellenwert zu berechnen, wobei das Mutmaßungsmodell verwendet wird, um virtuelle Messwerte von Werkstücken zu berechnen. Die Einzelheiten des Modellerzeugungsschritts 130 sind vorstehend erläutert. Nachdem der Modellerzeugungsschritt 130 fertiggestellt ist, wird ein Schritt 140 eines Justierens der Werkstückstichprobenentnahmerate durchgeführt, um den Wert von N der Werkstückstichprobenentnahmerate zu justieren. Nachdem der Wert von N automatisch justiert ist, kann ein Werkstückstichprobenmessschritt 150 durchgeführt werden, um die Werkstückstichprobenentnahmerate weiter zu reduzieren. Der Schritt 140 eines Justierens der Werkstückstichprobenentnahmerate basiert auf der Genauigkeit virtueller Messung (VM) zum Justieren der Werkstückstichprobenentnahmerate, wobei, wenn die VM-Genauigkeit schlecht ist, die Werkstückstichprobenentnahmerate erhöht wird (indem N verringert wird); und, wenn die VM-Genauigkeit gut ist, die Werkstückstichprobenentnahmerate erniedrigt oder aufrechterhalten wird (indem N erhöht oder belassen wird). Somit ist nach dem Schritt 140 eines Justierens der Werkstückstichprobenentnahmerate die Werkstückstichprobenentnahmerate angemessen justiert worden. Dann kann ein Benutzer die vorstehend erwähnte Werkstückstichprobenentnahmerate verwenden, um den Werkstückstichprobenmessschritt 150 durchzuführen.
Nachstehend werden technische Grundlagen des Schritts 140 zum Justieren der Werkstückstichprobenentnahmerate erläutert. In Ausführungsformen der vorliegenden Erfindung wird jedes Werkstück, welches dem Bearbeitungswerkzeug zugeführt wird, einem Satz determinativer Stichproben (nachstehend als ein DS-Satz bezeichnet) hinzugefügt und wird ein mittlerer absoluter prozentualer Fehler (MAPE) und ein maximaler absoluter prozentualer Fehler (MaxErr) virtueller Messwerte aller Werkstücke in dem DS-Satz, bezeichnet als MAPE_DS und MaxErr_DS, zum Bestimmen der VM-Genauigkeit berechnet, wobei der mittlere absolute prozentuale Fehler (MAPE) und der maximale absolute prozentuale Fehler (MaxErr) definiert sind als:
wobei y ^_i einen VM-Wert repräsentiert; y_i einen tatsächlichen Messwert repräsentiert; y einen Sollwert repräsentiert; und n die Anzahl von Werkstücken in dem DS-Satz repräsentiert.
Der DS-Satz muss eine ausreichende Anzahl von Werkstücken sammeln, um repräsentativ zu sein. Falls jedoch zu viele Werkstücke in dem DS-Satz vorhanden sind, wird viel Zeit verbraucht werden. Daher muss ein Schwellenwert der Anzahl determinativer Stichproben (als T_DS bezeichnet) einen angemessenen Wert aufweisen. Je näher MAPE und MaxErr an Null liegen, eine umso bessere VM-Genauigkeit wird erzielt. Ausführungsformen der vorliegenden Erfindung verwenden eine Spezifikation eines virtuellen maximalen Messfehlers für das Bearbeitungswerkzeug (als SPEC_Max bezeichnet), eine obere Steuergrenze von MaxErr (als UCL_Max bezeichnet) und eine obere Steuergrenze von MAPE (als UCL_MAPE) bezeichnet, um zu bestimmen, ob die Werkstückstichprobenentnahmerate justiert werden muss, wobei die Gleichungen von UCL_Max und UCL_MAPE nachstehend aufgestellt sind: UCL_Max = α × SPEC_Max (39) UCL_MAPE = β × SPEC_Max (40) wobei SPEC_Max aufgrund der physikalischen Eigenschaften des Bearbeitungswerkzeugs variiert; α ein erster konservativer Faktor ist; β ein zweiter konservativer Faktor ist; 0 > α, β ≤ 1; und α > β. Die vorstehend erwähnten T_DS, α, β können durch Empfindlichkeitsanalyse bestimmt werden. Für ein Beispiel einer plasmagestützten chemischen Gasphasenabscheidung (PECVD – Plasma-Enhanced Chemical Vapor Deposition) kann für ein Werkzeug T_DS 5 sein; kann SPEC_Max 1,08% sein; kann α 0,85 sein; und kann β 0,65 sein, und weist daher UCL_Max den Wert 0,92% auf und weist UCL_MAPE den Wert 0,70% auf.
Bezug nehmend auf 4A bis 4C sind 4A bis 4C schematische Diagramme, die zur Erläuterung des Schritts 140 zum Justieren der Werkstückstichprobenentnahmerate gemäß einigen Ausführungsformen der vorliegenden Erfindung verwendet werden, wobei ”o” für MAPE_DS (einen mittleren absoluten prozentualen Fehler virtueller Messwerte aller Werkstücke in dem DS-Satz) steht; ”☐” für MaxErr_DS (einen maximalen absoluten prozentualen Fehler virtueller Messwerte aller Werkstücke in dem DS-Satz) steht; ”1–3” in den ”o” und ”☐” (dem DS-Satz) für das erste Werkstück bis zu dem dritten Werkstück, die nacheinander dem Bearbeitungswerkzeug zugeführt werden, steht; ”2–6” in den ”o” und ”☐” (dem DS-Satz) für das zweite Werkstück bis zu dem sechsten Werkstück, die dem Bearbeitungswerkzeug nacheinander zugeführt werden, steht; ”3–7” in den ”o” und ”☐” (dem DS-Satz) für das dritte Werkstück bis zu dem siebenten Werkstück, die dem Bearbeitungswerkzeug nacheinander zugeführt werden, steht, und ”⌾” für ein OOS-(Out of Spec – außerhalb der Spezifikation)-Ereignis steht.
Wie in 4A gezeigt, sind die Fälle dargestellt, in welchen die Werkstückstichprobenentnahmerate unverändert belassen wird. Während eines Prozesses eines Sammelns determinativer Stichproben (Werkstücke) wird, während die Anzahl der in dem DS-Satz gesammelten determinativen Stichproben kleiner als T_DS ist, MAPE_DS verwendet, um zu prüfen, ob die gegenwärtige Werkstückstichprobenentnahmerate 1/N geändert werden muss oder nicht. In diesem Beispiel ist für illustrative Zwecke T_DS auf 5 festgelegt. Wie in der linken Hälfte von 4A gezeigt, wird, wenn der MAPE_DS jedes der aus den ersten vier Werkstücken gebildeten DS-Sätze (”1”, ”1–2”, ”1–3”, ”1–4”) kleiner als UCL_MAPE ist, die Werkstückstichprobenentnahmerate unverändert belassen. Wenn die Anzahl der in dem DS-Satz gesammelten determinativen Stichproben T_DS (5) erreicht, wird nicht nur MAPE_DS, sondern auch MaxErr_DS herangezogen, um die Werkstückstichprobenentnahmerate 1/N zu bestimmen. Wie in der rechten Hälfte von 4A gezeigt, wird, wenn der MaxErr_DS des aus dem ersten Werkstück bis zu dem fünften Werkstück zusammengesetzten DS-Satz (”1–5”) größer als UCL_Max ist und der MAPE_DS des DS-Satzes (”1–5”) weiterhin kleiner als UCL_MAPE ist, was bedeutet, dass die VM-Genauigkeit moderat ist, die Werkstückstichprobenentnahmerate unverändert belassen. Hiernach wird die älteste Stichprobe in dem DS-Satz verworfen (Schritt 274), wodurch verhindert wird, dass zu viele Werkstücke in dem DS-Satz zu viel Zeit verbrauchen.
Wie in 4B gezeigt, sind die Fälle dargestellt, in welchen die Werkstückstichprobenentnahmerate 1/N verringert wird (N erhöht wird). In diesem Beispiel ist für illustrative Zwecke T_DS auf 5 festgelegt. Wenn die Anzahl der in dem DS-Satz (”1–5”) gesammelten determinativen Stichproben gleich T_DS (5) ist, kann, falls der MAPE_DS des DS-Satzes (”1–5”) kleiner als UCL_MAPE ist und der MaxErr_DS des DS-Satzes (”1–5”) ebenfalls kleiner als UCL_MAPE ist, was bedeutet, dass die VM-Genauigkeit gut ist und die VM-Werte genau genug sind, um die tatsächlichen Messwerte wiederzugeben, die Werkstückstichprobenentnahmerate 1/N verringert werden. Dann wird der DS-Satz gelöscht und wird ein OOS-Zähler auf 0 zurückgesetzt (Schritt 286), wobei die Funktion des OOS-Zählers später erläutert werden wird. Das Löschen des DS-Satzes bedeutet, eine frische neue Sammlung determinativer Stichproben zu beginnen, d. h., die Anzahl von Werkstücken in dem DS-Satz (als SIZE_DS bezeichnet) wird auf 0 zurückgesetzt; und das Rücksetzen des OOS-Zählers auf 0 bedeutet, dass die Häufigkeit eines Auftretens von OOS erneut gezählt wird.
Wie in der linken Hälfte von 4C gezeigt, sind Fälle dargestellt, in welchen die Werkstückstichprobenentnahmerate 1/N erhöht wird (N erniedrigt wird). Wenn die Anzahl in dem DS-Satz gesammelter determinativer Stichproben geringer als T_DS ist und der VM-Wert MAPE_DS größer als UCL_MAPE ist, bedeutet dies, dass die VM-Genauigkeit schlecht ist und der VM-Wert versagt, den tatsächlichen Messwert des Werkstücks wiederzugeben, und es daher erforderlich ist, die Werkstückstichprobenentnahmerate 1/N zu erhöhen. Dann wird der DS-Satz gelöscht und wird ein OOS-Zähler auf 0 zurückgesetzt (Schritt 286).
Wenn ein Prozentsatz eines absoluten Fehlers eines VM-Werts eines Werkstücks größer als der SPEC_Max des das Werkstück bearbeitenden Bearbeitungswerkzeugs ist, bedeutet dies, wie in der rechten Hälfte von 4C gezeigt, dass der VM-Wert einen sehr großen Fehler aufweist oder die VM-Genauigkeit rapide abnimmt, so dass ein OOS-Ereignis auftritt. Um zu vermeiden, dass die Werkstückstichprobenentnahmerate 1/N zu häufig oder zu hastig justiert wird, führt die vorliegende Ausführungsform den „OOS-Zähler” ein, um die Häufigkeit eines Auftretens des OOS-Fehlers zu zählen. Wenn der OOS-Zähler größer als oder gleich einem OOS-Schwellenwert (beispielsweise 2; d. h., wenigstens zwei aufeinanderfolgende OOS-Ereignisse sind aufgezeichnet worden) ist, wird die Werkstückstichprobenentnahmerate 1/N erhöht, und dann wird der DS-Satz gelöscht und wird ein OOS-Zähler auf 0 gesetzt (Schritt 286).
Eine Zustandsänderung des Bearbeitungswerkzeugs kann auftreten, wenn eine Werkzeugwartung, Reparatur oder Rezeptjustierung durchgeführt wird. Diese Zustandsänderung kann durch ein von dem Herstellungsausführungssystem gesendetes Ereignis modifiziert werden. In diesem Moment kann es sein, dass der gegenwärtige N-Wert nicht länger zur Verwendung geeignet ist, da sich die Prozessmerkmale geändert haben. Die vorliegende Ausführungsform erhält eine durch 1/N_max repräsentierte minimale Werkstückstichprobenentnahmerate und eine durch 1/N_default repräsentierte vorgegebene Werkstückstichprobenentnahmerate, um den Wert von N neu zu definieren, wobei N_max ein Maximalwert von N ist und N_default ein Vorgabewert von N ist. Wenn (γ × N_max) größer als N_default ist, wird N_default auf (γ × N_max) festgelegt, wobei γ ein dritter konservativer Faktor ist und 0 < γ ≦ 1 ist. In einigen Ausführungsformen wird (γ × N_max) auf die nächste Ganzzahl aufgerundet. In dem Beispiel der PECVD kann γ 2/3 sein, und daher ist N_default 4, wenn N_max 6 ist. Falls eine Zustandsänderung des Bearbeitungswerkzeugs auftritt und die gegenwärtige Werkstückstichprobenentnahmerate 1/N (z. B. N = 5) kleiner als 1/N_default ist (N > N_default), wird die Werkstückstichprobenentnahmerate 1/N auf 1/N_default festgelegt, oder (z. B. N = 2) die gegenwärtige Werkstückstichprobenentnahmerate 1/N wird unverändert beibehalten.
Nachstehend wird ein Ablaufprozess des Schritts 140 (wie in 3 gezeigt) eines Justierens der Werkstückstichprobenentnahmerate erläutert, wobei der Schritt 140 einen in 5A und 5B gezeigten Abtastratenjustierungsschritt 200 beinhaltet. In dem Abtastratenjustierungsschritt 200 werden zuerst ein Satz von Prozessdaten eines gegenwärtig durch das Bearbeitungswerkzeug bearbeiteten Werkstücks und ein tatsächlicher Messwert des Werkstücks entsprechend dem Satz von Prozessdaten erhalten, wobei das Bearbeitungswerkzeug den Satz von Prozessdaten verwendet, um das Werkstück zu bearbeiten. Dann können optional der DQI_X-Wert, der DQI_y-Wert, der GSI-Wert oder der RI-Wert des Werkstücks geprüft werden, um zu bestimmen, ob sie die Erfordernisse ihrer jeweiligen Schwellenwerte einhalten, d. h., ob
(Schritt 210). Wenn das Ergebnis falsch („Nein”) ist, bedeutet dies, dass der Satz von Prozessdaten und/oder der tatsächliche Messwert des Werkstücks nicht zuverlässig sind und der Stichprobenentnahmeratenjustierungsschritt 200 nicht fortschreiten kann, und daher wird Schritt 280 durchgeführt, um die Werkstückstichprobenentnahmerate 1/N unverändert zu belassen (d. h., der Wert von N bleibt unverändert). Wenn das Ergebnis von Schritt 210 wahr („Ja”) ist, bedeutet dies, dass der Satz der Prozessdaten und/oder der tatsächliche Messwert des Werkstücks zuverlässig sind, und es kann Schritt 220 ausgeführt werden, um das Werkstück zu einem Satz determinativer Stichproben (einem DS-Satz) hinzuzufügen. Hiernach wird der Satz von Prozessdaten des Werkstücks in das durch den Modellerzeugungsschritt 130 (in 3 gezeigt) erzeugte Mutmaßungsmodell eingegeben, wodurch ein absoluter prozentualer Fehler des virtuellen Messwerts des Werkstücks, ein mittlerer absoluter prozentualer Fehler (MAPE_DS) von virtuellen Messwerten aller Werkstücke in dem DS-Satz und ein maximaler absoluter prozentualer Fehler (MaxErr_DS) von virtuellen Messfehlern aller Werkstücke in dem DS-Satz berechnet werden (Schritt 230).
Dann wird Schritt 240 ausgeführt, um zu bestimmen, ob der absolute prozentuale Fehler des virtuellen Messwerts des Werkstücks größer als der SPEC_Max des Bearbeitungswerkzeugs ist, um hierdurch ein erstes Ergebnis zu erhalten. Wenn das erste Ergebnis wahr („Ja”) ist, wird der OOS-(außerhalb der Spezifikation)-Zähler um 1 erhöht. Wenn das erste Ergebnis falsch („Nein”) ist, wird Schritt 260 ausgeführt, um zu berechnen und zu bestimmen, ob der mittlere absolute prozentuale Fehler (MAPE_DS) von virtuellen Messwerten aller Werkstücke in dem DS-Satz größer als oder gleich UCL_MAPE ist, wodurch ein zweites Ergebnis erhalten wird. Wenn das zweite Ergebnis wahr („Ja”) ist, wird Schritt 284 ausgeführt, um die Werkstückstichprobenentnahmerate 1/N zu erhöhen (d. h., den Wert von N zu verringern, beispielsweise 1 von N zu subtrahieren). Nachstehend wird Schritt 286 ausgeführt, um den OOS-Zähler auf 0 zurückzusetzen und den DS-Satz zu löschen, d. h., die Anzahl von Werkstücken in dem DS-Satz (SIZE_DS) auf 0 zu setzen. Wenn das zweite Ergebnis falsch („Nein”) ist, wird Schritt 270 ausgeführt, um zu bestimmen, ob SIZE_DS größer als oder gleich dem Schwellenwert der Anzahl determinativer Stichproben (T_DS) ist, um ein drittes Ergebnis zu erhalten.
Wenn das dritte Ergebnis falsch („Nein”) ist, wird Schritt 280 durchgeführt, um die Werkstückstichprobenentnahmerate 1/N unverändert zu belassen. Wenn das dritte Ergebnis wahr („Ja”) ist, wird Schritt 272 ausgeführt, um zu berechnen und zu bestimmen, ob der maximale absolute prozentuale Fehler (MaxErr_DS) von virtuellen Messwerten aller Werkstücke in dem DS-Satz kleiner als UCL_Max ist, wodurch ein viertes Ergebnis erhalten wird. Wenn das vierte Ergebnis wahr („ja”) ist, wird Schritt 282 ausgeführt, um die Werkstückstichprobenentnahmerate 1/N zu verringern (d. h., den Wert von N zu erhöhen, beispielsweise 1 zu N zu addieren). Hiernach wird Schritt 286 ausgeführt, um den DS-Satz zu löschen und den OOS-Zähler auf 0 zurückzusetzen. Wenn das vierte Ergebnis falsch („Nein”) ist, wird Schritt 274 ausgeführt, um das älteste Werkstück in dem DS-Satz zu verwerfen, und es wird Schritt 280 ausgeführt, um die Werkstückstichprobenentnahmerate unverändert zu belassen.
Wenn das erste Ergebnis (Schritt 240) wahr („Ja”) ist, wird Schritt 250 ausgeführt, um zu bestimmen, ob der OOS-Zähler größer als oder gleich einem OOS-Schwellenwert (beispielsweise 2) ist, wodurch ein fünftes Ergebnis erhalten wird. Wenn das fünfte Ergebnis wahr („Ja”) ist, wird Schritt 284 ausgeführt, um die Werkstückstichprobenentnahmerate 1/N zu erhöhen (d. h., N zu verringern, beispielsweise 1 von N zu subtrahieren), und dann wird Schritt 286 ausgeführt, um den DS-Satz zu löschen und den OOS-Zähler auf 0 zu setzen.
Nachdem Schritt 280 oder Schritt 286 durchgeführt wurde, werden die durch 1/N_max repräsentierte minimale Werkstückstichprobenentnahmerate und die durch 1/N_default repräsentierte vorgegebene Werkstückstichprobenentnahmerate erhalten, wobei N_max der maximale Wert von N ist, der durch das Bearbeitungswerkzeug in seiner Betriebshistorie verwendet wird. Dann wird Schritt 290 ausgeführt, um zu bestimmen, ob (γ × N_max) größer als N_default ist, wodurch ein sechstes Ergebnis erhalten wird, wobei γ der dritte konservative Faktor ist und 0 < γ ≦ 1. In einigen Ausführungsformen wird (γ × N_max) auf die nächste Ganzzahl aufgerundet. Wenn das sechste Ergebnis wahr („Ja”) ist, wird Schritt 292 ausgeführt, um N_default auf (γ × N_max) zu setzen. Darüber hinaus wird in Schritten 340, 342, 344 und 346 gemäß der Darstellung in 6, wenn eine Zustandsänderung des Bearbeitungswerkzeugs auftritt (Schritt 340) und die Werkstückstichprobenentnahmerate 1/N in diesem Moment kleiner als 1/N_default ist (N ≧ N_default) (Schritt 344), die Werkstückstichprobenentnahmerate 1/N auf 1/N_default gesetzt (N = N_default) (Schritt 346).
Nachstehend werden fünf Szenarien erläutert, welche durch das Schema des Werkstückstichprobenmessschritts 150 berücksichtigt werden.
Szenario 1: Ein stabiler Prozess wird angenommen. Wenn keine Zustandsänderungen eines Bearbeitungswerkzeugs auftreten und alle Werte von RI, GSI, DQI_X und DQI_y eines durch das Bearbeitungswerkzeug bearbeiteten Werkstücks innerhalb ihrer jeweiligen Schwellenwerte in einem Herstellungsprozess liegen, d. h.,

dann ist dieser Prozess stabil. In dieser Situation wird kein tatsächlicher Messwert benötigt, um das VM-Modell zu aktualisieren, und daher kann das ASD-Schema N auf eine größere Zahl (d. h., eine niedrigere vorbestimmte Werkstückstichprobenentnahmerate) festlegen, ohne die Genauigkeit der VM-Modelle zu beeinträchtigen.
Szenario 2: Der Zustand des Bearbeitungswerkzeugs wird verändert. Eine mögliche Zustandsänderung des Bearbeitungswerkzeugs kann eintreten, wenn eine Werkzeugwartung, Reparatur oder Rezeptjustierung durchgeführt wird. In dieser Situation werden Ausführungsformen der vorliegenden Erfindung eine tatsächliche Messung des Werkstücks, welches bearbeitet wird, wenn der Zustand des Bearbeitungswerkzeugs verändert wird, erfordern, und den Werkstückzähler auf 0 zurücksetzen. Wenn beispielsweise das ursprünglich zur Messung erwartete Werkstück das 25-te Werkstück ist und der Zustand des Bearbeitungswerkzeugs verändert wird, wenn das zweite Werkstück bearbeitet wird, führen Ausführungsformen der vorliegenden Erfindung eine tatsächliche Messung an dem zweiten Werkstück durch, und das nächste zur Messung erwartete Werkstück ist das 27-te Werkstück.
Szenario 3: Der DQI_X-Wert des Werkstücks ist anormal
Die Funktion des DQI_X-Werts besteht darin, die Qualität des Satzes von Prozessdaten, die von dem Bearbeitungswerkzeug zum Bearbeiten des Werkstücks verwendet werden, zu prüfen. Um zu verhindern, dass anormale Prozessdaten die VM-Modelle verschlechtern, sollte das Werkstück mit anormalem DQI_X-Wert nicht zur Messung ausgewählt werden. Mit anderen Worten, die Messung für das Werkstück mit anormalem DQI_X-Wert wird übersprungen werden. Falls das Werkstück mit anormalem DQI_X-Wert ursprünglich zur Messung erwartet (eingeplant) ist (in diesem Moment ist der Werkstückzähler zum Steuern der Werkstückstichprobenentnahme N), führen Ausführungsformen der vorliegenden Erfindung eine tatsächliche Messung an dem Werkstück nicht durch, sondern erfordern stattdessen eine tatsächliche Messung an einem nächsten Werkstück. Falls der DQI_X-Wert dieses nächsten Werkstücks normal ist (in diesem Moment ist der Werkstückzähler zum Steuern der Werkstückstichprobenentnahme größer als N), wird eine tatsächliche Messung an diesem nächsten Werkstück durchgeführt. Falls der DQI_X-Wert dieses nächsten Werkstücks weiterhin anormal ist, wird die Messung für dieses nächste Werkstück übersprungen. Hiernach werden die gleichen Schritte verwendet, um nacheinander ein nächstes Werkstück anzunehmen.
Szenario 4: Der GSI-Wert oder der RI-Wert des Werkstücks ist anormal (GSI > GSI_T or RI < RI_T). Der Zweck des RI-Werts besteht darin, das Zuverlässigkeitsniveau eines VM-Werts zu eichen. Falls der RI-Wert des Werkstücks anormal ist (RI < RI_T), repräsentiert dies, dass der Zuverlässigkeitsgrad des VM-Werts des Werkstücks schlecht ist und eine tatsächliche Messung des Werkstücks erforderlich ist, um die VM-Modelle neu zu kalibrieren oder neu anzulernen. Der Zweck des GSI-Werts besteht darin, Abweichungen von Prozessdaten zu evaluieren. Eine Prozessdatenabweichung des Werkstücks kann zu einer Abweichung seines entsprechenden tatsächlichen Messwerts führen. Als solches muss das Werkstück mit dem anormalen GSI-Wert überprüft werden. Falls jedoch der anormale RI-Wert oder GSI-Wert nur einmal auftritt, kann dies ein Fehlalarm sein, der durch Rauschen oder andere Faktoren verursacht wird. Um zu bestätigen, dass eine tatsächliche Abweichung erfasst wird, führen Ausführungsformen der vorliegenden Erfindung, wenn wenigstens eine bestimmte Anzahl aufeinander folgender Werkstücke (wie etwa zwei oder vier) anormale RI- oder GSI-Werte aufweisen, eine tatsächliche Messung an dem zweiten oder vierten Werkstück durch.
Szenario 5: Der DQI_y-Wert des Werkstücks ist anormal
Die Funktion des DQI_y-Werts besteht darin, die Qualität des tatsächlichen Messwerts des Werkstücks zu evaluieren. Falls die Qualität des tatsächlichen Messwerts des Werkstücks nicht gut ist, kann der tatsächliche Messwert des Werkstücks nicht zum Neukalibrieren oder Neuanlernen der VM-Modelle verwendet werden. Stattdessen erfordern Ausführungsformen der vorliegenden Erfindung eine tatsächliche Messung an einem nächsten Werkstück in unmittelbarer Folge.
Hiernach wird ein Ablaufprozess des Werkstückstichprobenmessschritts 150 erläutert, wobei der Werkstückstichprobenmessschritt 150 einen in 6 gezeigten Stichprobenentnahmeschritt 300 und einen in 7 gezeigten Schritt 301 beinhaltet.
In dem Stichprobenentnahmeschritt 300 wird zuerst ein Werkstück einem Bearbeitungswerkzeug bereitgestellt (Schritt 302), wobei das Bearbeitungswerkzeug einen Satz von Prozessdaten aufweist, die verwendet werden, um das Werkstück zu bearbeiten. Der Satz der Prozessdaten des Werkstücks wird in das DQI_x-Modell und das GSI-Modell, die in dem Modellerzeugungsschritt 130 gebildet worden sind, eingegeben, wodurch ein DQI_X-Wert, ein GSI-Wert und ein RI-Wert des Werkstücks erhalten werden (Schritt 304). In Schritt 304 wird auch der Satz von Prozessdaten des Werkstücks in das in dem Modellerzeugungsschritt 130 gebildete Mutmaßungsmodell eingegeben, wodurch ein virtueller Mess-(VM)-Wert des Werkstücks berechnet wird; und der Satz von Prozessdaten dieses Werkstücks wird auch in das in dem Modellerzeugungsschritt 130 gebildete Referenzmodell eingegeben, wodurch ein Referenzvorhersagewert des Werkstücks berechnet wird. Hiernach wird ein Überlappungsbereich zwischen der statistischen Verteilung des virtuellen Messwerts des Werkstücks und der statistischen Verteilung des Referenzvorhersagewerts des Werkstücks berechnet, um einen RI-Wert des Werkstücks zu erzeugen, wobei der RI-Wert mit wachsendem Überlappungsbereich ansteigt, was repräsentiert, dass der entsprechende virtuelle Messwert zuverlässiger ist.
Hiernach wird Schritt 310 ausgeführt, um zu überprüfen, ob das Verarbeitungswerkzeug für eine Zeitperiode im Leerlauf war (beispielsweise für mehr als einen Tag im Leerlauf war). Wenn das Überprüfungsergebnis des Schritts 310 wahr („Ja”) ist, wird das Werkstück als das erste Werkstück nach der Leerlaufperiode angenommen und muss Schritt 392 ausgeführt werden, um eine Messung an dem Werkstück durch Verwenden eines Messwerkzeugs durchzuführen und einen Werkstückzähler auf 0 zu setzen, wodurch bestätigt wird, ob das Bearbeitungswerkzeug normal ist. Wenn das Überprüfungsergebnis des Schritts 310 falsch („Nein”) ist, wird der Werkstückzähler um 1 erhöht (Schritt 320). Hiernach wird Schritt 340 ausgeführt, um zu überprüfen, ob eine Zustandsänderung des Bearbeitungswerkzeugs eintritt (beispielsweise wenn eine Werkzeugwartung, Reparatur oder Rezeptjustierung etc. durchgeführt wird). Wenn das Prüfergebnis von Schritt 340 wahr ist („Ja”), wird Schritt 342 ausgeführt, um den DS-Satz zu löschen und den OOS-Zähler auf 0 zu setzen, und Schritt 344 wird ausgeführt, um zu prüfen, ob der Wert von N größer als N_default ist. Wenn das Prüfergebnis von Schritt 344 falsch („Nein”) ist, wird das Messwerkzeug verwendet, um eine Messung an dem Werkstück durchzuführen, und wird der Werkstückzähler auf 0 gesetzt (Schritt 392). Danach wird Schritt 346 durchgeführt. Schritt 392 wird auch durchgeführt, um zu bestätigen, ob das Bearbeitungswerkzeug normal ist.
Wenn das Prüfergebnis von Schritt 340 falsch („Nein”) ist, wird Schritt 350 ausgeführt, um zu prüfen, ob der DQI_X-Wert des Werkstücks gut oder schlecht ist. Wenn der DQI_X-Wert größer als der DQI_X-Schwellenwert ist, repräsentiert dies, dass die Qualität des Satzes von Prozessdaten des Werkstücks (der DQI_X-Wert) nicht gut ist (das Prüfergebnis von Schritt 350 ist „schlecht”). Da der tatsächliche Messwert des Werkstücks, der durch Verwenden des Satzes von Prozessdaten mit dem anormalen DQI_X-Wert erzeugt wird, nicht zuverlässig ist, wird die Messung des Werkstücks übersprungen (Schritt 390). Wenn der DQI_X-Wert kleiner als oder gleich dem DQI_X-Schwellenwert ist, repräsentiert dies, dass die Qualität des Satzes von Prozessdaten des Werkstücks gut ist (das Prüfergebnis von Schritt 350 ist „gut”), und Schritt 360 wird ausgeführt, um zu prüfen, ob der Werkstückzähler größer als oder gleich groß N ist. Wenn das Prüfergebnis von Schritt 360 wahr („Ja”) ist, repräsentiert dies, dass das Werkstück das zur Messung erwartete (geplante) Werkstück ist, eine Messung an dem Werkstück durchgeführt werden sollte und der Werkstückzähler auf 0 gesetzt wird (Schritt 392).
Wenn das Prüfergebnis von Schritt 360 falsch („Nein”) ist, wird Schritt 370 ausgeführt, um zu prüfen, ob der GSI-Wert und der RI-Wert des Werkstücks gut oder schlecht sind. Wenn der GSI-Wert des Werkstücks kleiner als oder gleich dem GSI-Schwellenwert ist und der RI-Wert des Werkstücks größer als oder gleich dem RI-Schwellenwert ist, repräsentiert dies, dass der virtuelle Messwert, der durch den Satz von Prozessdaten des Werkstücks gemutmaßt wird, zuverlässig ist (das Prüfergebnis von Schritt 370 ist „gut”) und daher das Werkstück nicht gemessen werden muss (Schritt 390). Wenn der GSI-Wert des Werkstücks größer als der GSI-Schwellenwert ist oder der RI-Wert des Werkstücks kleiner als der RI-Schwellenwert ist, repräsentiert dies, dass der durch den Satz von Prozessdaten gemutmaßte virtuelle Messwert des Werkstücks nicht zuverlässig ist (das Prüfergebnis von Schritt 370 ist „schlecht”) und es sein könnte, dass das Werkstück gemessen werden muss. Falls jedoch der anormale RI-Wert oder GSI-Wert nur einmal auftritt, könnte es ein Fehlalarm sein, der durch Rauschen oder andere Faktoren hervorgerufen wird, und daher führen Ausführungsformen der vorliegenden Erfindung, wenn wenigstens eine bestimmte Anzahl aufeinanderfolgender Werkstücke (wie etwa zwei oder vier) anormale RI- oder GSI-Werte aufweisen, dann eine tatsächliche Messung an dem zweiten oder vierten Werkstück durch. Mit anderen Worten, wenn das Überprüfungsergebnis von Schritt 370 „schlecht” ist, wird Schritt 380 ausgeführt, um zu überprüfen, ob die GSI-Werte von k Werkstücken (wie etwa der vorherigen ein oder drei Werkstücke), die vor dem Werkstück bearbeitet worden sind, alle größer als der GSI-Schwellenwert sind oder die RI-Werte von k Werkstücken, die vor dem Werkstück bearbeitet worden sind, kleiner als der RI-Schwellenwert sind, wobei k eine positive Ganzzahl ist. Wenn das Überprüfungsergebnis des Schritts 380 wahr („Ja”) ist, wird das Messwerkzeug verwendet, um eine Messung an dem Werkstück durchzuführen, und der Werkstückzähler auf 0 gesetzt (Schritt 392). Wenn das Überprüfungsergebnis des Schritts 380 falsch („Nein”) ist, wird die Messung des Werkstücks übersprungen (Schritt 390). Es ist erwähnenswert, dass Schritt 370 auch nur überprüfen kann, ob der GSI-Wert des Werkstücks gut oder schlecht ist. Falls der GSI-Wert des Werkstücks zu groß ist, repräsentiert dies, dass der Satz von Prozessdaten des Werkstücks bezüglich der Satze von Prozessdaten, die für die Modellbildung verwendet wurden, einige Unterschiede derart aufweist, dass die Qualität des Werkstücks wahrscheinlich anormal ist und eine tatsächliche Messung erfordert. Es kann aus dem Vorstehenden erkannt werden, dass mit den Anwendungen der Ausführungsformen der vorliegenden Erfindung ein Benutzer warten kann, bis das Bearbeitungswerkzeug mehr Werkstücke bearbeitet hat, um ein Werkstück zur Messung auszuwählen, d. h., N kann erhöht werden, um die vorbestimmte Werkstückstichprobenentnahmerate 1/N zu senken, ohne sich Sorgen darüber zu machen, die Messung des anormalen Werkstücks, das gemessen werden sollte, zu überspringen. Daher können die Ausführungsformen der vorliegenden Erfindung die vorbestimmte Werkstückstichprobenentnahmerate wirksam senken. Die vorbestimmte Werkstückstichprobenentnahmerate kann jedoch auch nur durch Durchführen des Schritts 350 (Überprüfen des DQI_X-Werts des Werkstücks), des Schritts 360 (Überprüfen, ob das Werkstück das zur Messung erwartete Werkstück ist) und des Schritts 370 (Überprüfen des GSI-Werts und des RI-Werts des Werkstücks oder nur Überprüfen des GSI-Werts des Werkstücks) wirksam gesenkt werden.
Die ersten bis sechsten „Ergebnisse”, die zur Erläuterung von 5A und 5B verwendet werden, und die (ersten bis siebenten) „Überprrüfungsergebnisse”, die zur Erläuterung von 6 verwendet werden, sind nur zur bequemen Formulierung der Beschreibung und Ansprüche da und sind nicht gedacht, um in einer bestimmten Reihenfolge zu sein.
Im Übrigen ist, nachdem die tatsächliche Messung an dem Werkstück durchgeführt wurde, der Werkstückstichprobenmessschritt 150 auch auf eine Evaluierung eines DQI_y-Werts eines Werkstücks gemäß der Darstellung in Schritt 301 von 7 gerichtet. Zuerst werden ein tatsächlicher Messwert des Werkstücks und ein Satz von Prozessdaten entsprechend dem tatsächlichen Messwert gesammelt. Der Satz von Prozessdaten wird in einen Satz von z-Scores umgewandelt. Der Satz von z-Scores und der tatsächliche Messwert werden in das DQI_y-Modell eingegeben, wodurch ein DQI_y-Wert des tatsächlichen Messwerts des Werkstücks berechnet wird. Wenn der DQI_y-Wert des Werkstücks größer als der DQI_y-Schwellenwert ist, repräsentiert dies, dass der tatsächliche Messwert anormal ist und zum Kalibrieren oder Ändern von Modellen nicht verwendet werden kann. Um einer solchen Unzulänglichkeit Herr zu werden, muss ein anderes Werkstück, welches gegenwärtig in Produktion ist, für die Messung angefordert werden (d. h., der Werkstückzähler wird auf N festgelegt).
Es ist zu verstehen, dass das Stichprobenmessverfahren der vorliegenden Erfindung durch die vorstehend erwähnten Schritte durchgeführt wird. Ein Computerprogramm der vorliegenden Erfindung, das in einem nichtflüchtigen, materiellen, computerlesbaren Aufzeichnungsmedium gespeichert ist, wird verwendet, um das vorstehend beschriebene Stichprobenmessverfahren durchzuführen. Die vorstehend erwähnten Ausführungsformen können als ein Computerprogrammprodukt bereitgestellt werden, welches ein maschinenlesbares Medium, auf welchem Anweisungen zum Programmieren eines Computers (oder anderer elektronischer Vorrichtungen), um einen Prozess auf der Grundlage der Ausführungsformen der vorliegenden Erfindung durchzuführen, gespeichert sind, aufweisen kann. Das maschinenlesbare Medium kann, ohne hierauf beschränkt zu sein, eine Floppy-Diskette, eine optische Platte, ein Kompakt-Disk-Nur-Lese-Speicher (CD-ROM), eine magneto-optische Platte, ein Nur-Lese-Speicher (ROM), ein Zufallszugriffsspeicher (RAM), ein löschbar-programmbierbarer Nur-Lese-Speicher (EPROM), ein elektrisch löschbar-programmbierbarer Nur-Lese-Speicher (EEPROM), eine magnetische oder optische Karte, ein Flash-Speicher oder jedweder andere Typ von medien/maschinenlesbarem Medium, der zum Speichern elektronischer Anweisungen geeignet ist, sein. Darüber hinaus können die Ausführungsformen der vorliegenden Erfindung auch als ein Computerprogrammprodukt herunterladbar sein, was von einem entfernten Computer auf einem anfordernden Computer durch Verwenden von Datensignalen über eine Kommunikationsverbindung (wie etwa eine Netzwerkverbindung oder dergleichen) übertragen werden kann.
Es wird auch darauf hingewiesen, dass die vorliegende Erfindung in dem Zusammenhang eines Herstellungssystems beschrieben werden kann. Obschon die vorliegende Erfindung in der Halbleiterherstellung implementiert werden kann, ist die vorliegende Erfindung nicht auf die Implementierung in der Halbleiterfertigung beschränkt, sondern kann auf andere Herstellungsbranchen angewendet werden, wobei das Herstellungssystem konfiguriert ist, um Werkstücke oder Erzeugnisse, welche, ohne jedoch hierauf beschränkt zu sein, Mikroprozessoren, Speichervorrichtungen, digitale Signalprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) oder andere ähnliche Vorrichtungen umfassen, herzustellen. Die vorliegende Erfindung kann auch auf andere Werkstücke oder hergestellte Erzeugnisse als Halbleitervorrichtungen angewendet werden, wie etwa auf Fahrzeugräder, Schrauben. Das Herstellungssystem weist ein oder mehrere Bearbeitungswerkzeuge auf, welche verwendet werden können, um ein oder mehrere Erzeugnisse oder Abschnitte hiervon in oder auf den Werkstücken (wie etwa Wafern) auszubilden. In der dargestellten Ausführungsform sind die Bearbeitungswerkzeuge als eine einzelne Einheit dargestellt. Der Fachmann auf dem Gebiet sollte jedoch erkennen, dass die Bearbeitungswerkzeuge in jedweder Anzahl von Einheiten jedweden Typs, einschließlich Lithographie-Werkzeugen, Ablagerungswerkzeugen, Ätzwerkzeugen, Polierwerkzeugen, Glühwerkzeugen, Maschinenwerkzeugen und dergleichen implementiert sein können. In den Ausführungsformen weist das Herstellungssystem auch ein oder mehrere Messwerkzeuge auf, wie etwa Scatterometer, Ellipsometer, abtastende Elektronenmikroskope und dergleichen.
Das Herstellungssystem weist eine Stichprobenauswahleinheit auf, welche mit den Bearbeitungswerkzeugen und den Messwerkzeugen zum Ausführen eines Stichprobenmessverfahrens mit einem Stichprobenentnahmeratenentscheidungsschema gemäß Ausführungsformen der vorliegenden Erfindung kommunikativ gekoppelt ist. Fachleute auf dem Gebiet sind in der Lage, das Herstellungssystem zu konfigurieren, um die erforderlichen Zwischenverbindungen bereitzustellen, um eine kommunikative Kopplung zwischen der Stichprobenauswahleinheit, den Bearbeitungswerkzeugen und den Messwerkzeugen zu etablieren. In verschiedenen alternativen Ausführungsformen kann die Stichprobenauswahleinheit in einer Rechenvorrichtung, wie etwa einem Desktop-Computer, einem Laptop-Computer und der gleichen implementiert sein. Fachleute auf dem Gebiet sollten jedoch erkennen, dass in alternativen Ausführungsformen Abschnitte der Stichprobenauswahleinheit in jedweder Anzahl von Vorrichtungen und/oder Orten implementiert sein können.
Andererseits kann ein Stichprobenmessverfahren gemäß den Ausführungsformen der vorliegenden Erfindung auch mit einem Verfahren zur automatischen virtuellen Messung (AVM) gemäß Offenbarung durch das U.S.-Patent Nr. 8,095,484 B2 kombiniert werden. Unter Bezugnahme auf 7 ist 7 ein schematisches Ablaufdiagramm, welches ein virtuelles Messverfahren gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung zeigt. Nach Fertigstellung all der Schritte einer virtuellen Messung einer ersten Phase wird der Stichprobenschritt 300 gemäß Darstellung in 6 ausgeführt, um zu bestimmen, ob ein Werkstück eine tatsächliche Messung benötigt. Nach Durchführung all der Schritte einer virtuellen Messung einer zweiten Phase wird der Stichprobenentnahmeratenjustierungsschritt 200 gemäß Darstellung in 5A und 5B ausgeführt, um den Wert von N zur Verwendung in Schritt 300 zu justieren. In der virtuellen Messung der zweiten Phase wird, wenn ein tatsächlicher Messwert eines bestimmten Werkstücks erhalten wird, der DQI_y-Wert des Werkstücks überprüft. Wenn der DQI_y-Wert des Werkstücks größer als der DQI_y-Schwellenwert ist, wird Schritt 301 ausgeführt, um eine Messung für ein anderes Werkstück, welches gegenwärtig in Produktion ist, anzufordern (d. h., den Werkstückzähler auf N zu setzen). Nach Kombinieren des Stichprobenmessverfahrens gemäß den Ausführungsformen der vorliegenden Erfindung mit dem virtuellen Messverfahren kann ein tatsächlicher Messwert eines Werkstücks rechtzeitig zum Kalibrieren oder Neuanlernen der VM-Modelle erhalten werden, wodurch die VM-Genauigkeit sichergestellt wird.
Es kann aus den vorstehend erwähnten Ausführungsformen erkannt werden, dass durch Verwenden des durch verschiedene Indexwerte, welche Zustandsänderungen oder anormale Informationen eines Prozesswerkzeugs während eines Herstellungsprozesses repräsentieren, konstruierten ADS-Schemas die vorliegende Erfindung die Werkstückstichprobenentnahmerate wirksam justieren kann, die VM-Genauigkeit sicherstellen und die Werkstückstichprobenentnahmerate beträchtlich senken kann.

Claims

Ein Stichprobenmessverfahren, welches aufweist: Sammeln einer Vielzahl von Sätzen historischer Prozessdaten, die durch ein Bearbeitungswerkzeug zum Bearbeiten einer Vielzahl historischer Werkstücke verwendet werden, und einer Vielzahl von historischen Messwerten der historischen Werkstücke entsprechend den Sätzen historischer Prozessdaten; Ausführen eines Modellerzeugungsschritts, welcher aufweist: Bilden eines Mutmaßungsmodells in Übereinstimmung mit einem Mutmaßungsalgorithmus durch Verwenden der Sätze historischer Prozessdaten und der historischen Messwerte; Initialisieren einer durch 1/N repräsentierten Werkstückstichprobenentnahmerate, wobei die Werkstückstichprobenentnahmerate darauf gerichtet ist, aus jeweils N Werkstücken, die durch ein Bearbeitungswerkzeug bearbeitet werden, das N-te Werkstückstück als ein zur Messung erwartetes Werkstück auszuwählen; Hinzufügen eines stichprobenweise entnommenen Werkstücks zu einem Satz determinativer Stichproben; Sammeln eines Satzes von ersten Prozessdaten, welche durch das Bearbeitungswerkzeug verwendet werden, um das stichprobenweise entnommene Werkstück zu bearbeiten, und einer ersten tatsächlichen Messung des stichprobenweise entnommenen Werkstücks entsprechend dem Satz von ersten Prozessdaten; Eingeben des Satzes von ersten Prozessdaten des stichprobenweise entnommenen Werkstücks in das Mutmaßungsmodell, und hierdurch Berechnen eines ersten virtuellen Messwerts des stichprobenweise entnommenen Werkstücks; Berechnen eines absoluten prozentualen Fehlers zwischen dem ersten virtuellen Messwert des stichprobenweise entnommenen Werkstücks und dem ersten tatsächlichen Messwert; Bestimmen, ob der absolute prozentuale Fehler des ersten virtuellen Messwerts größer als eine Spezifikation eines für das Bearbeitungswerkzeug definierten maximalen virtuellen Messfehlers ist, und hierdurch Erhalten eines ersten Ergebnisses; Erhöhen eines OOS-(außerhalb der Spezifikation)-Zählers um 1, wenn das erste Ergebnis wahr ist; wenn das erste Ergebnis falsch ist, Berechnen eines mittleren absoluten prozentualen Fehlers (MAPE) von absoluten prozentualen Fehlern aller stichprobenweise entnommenen Werkstücke in dem Satz determinativer Stichproben und Bestimmen, ob der mittlere absolute prozentuale Fehler größer als oder gleich einer oberen Steuergrenze von MAPE ist, und hierdurch Erhalten eines zweiten Ergebnisses; wenn das zweite Ergebnis wahr ist, Erhöhen der Werkstückstichprobenentnahmerate durch Verringern von N, Löschen des Satzes determinativer Stichproben, und Setzen des OOS-Zählers auf 0; wenn das zweite Ergebnis falsch ist, Bestimmen, ob die Anzahl von stichprobenweise entnommenen Werkstücken in dem Satz determinativer Stichproben größer als oder gleich einem Schwellenwert der Anzahl determinativer Stichproben ist, und hierdurch Erhalten eines dritten Ergebnisses; wenn das dritte Ergebnis falsch ist, unverändertes Belassen der Werkstückstichprobenentnahmerate; wenn das dritte Ergebnis wahr ist, Berechnen eines maximalen absoluten prozentualen Fehlers (MaxErr) von absoluten prozentualen Fehlern aller Werkstücke in dem Satz determinativer Stichproben und Bestimmen, ob der maximale absolute prozentuale Fehler kleiner als eine obere Steuergrenze von MaxErr ist, und hierdurch Erhalten eines vierten Ergebnisses; wenn das vierte Ergebnis wahr ist, Verringern der Werkstückstichprobenentnahmerate durch Erhöhen von N, Löschen des Satzes determinativer Stichproben und Setzen des OOS-Zählers auf 0; wenn das vierte Ergebnis falsch ist, Verwerfen eines ältesten stichprobenweise entnommenen Werkstücks in dem Satz determinativer Stichproben und unverändertes Belassen der Werkstückstichprobenentnahmerate; wenn das erste Ergebnis wahr ist, Bestimmen, ob der OOS-Zähler größer als oder gleich einem OOS-Schwellenwert ist, und hierdurch erhalten eines fünften Ergebnisses; und wenn das fünfte Ergebnis wahr ist, Erhöhen der Werkstückstichprobenentnahmerate durch Verringern von N, Löschen des Satzes determinativer Stichproben, und Setzen des OOS-Zählers auf 0.
Das Stichprobenmessverfahren von Anspruch 1, wobei die obere Steuergrenze von MaxErr ein erster konservativer Faktor, multipliziert mit SPEC_Max, ist und die obere Steuergrenze von MAPE ein zweiter konservativer Faktor, multipliziert mit SPEC_Max, ist, und der erste konservative Faktor und der zweite konservative Faktor größer als 0 und kleiner als oder gleich 1 sind, und der erste konservative Faktor größer als der zweite konservative Faktor ist.
Das Stichprobenmessverfahren von Anspruch 1, wobei der OOS-Schwellenwert 2 ist.
Das Stichprobenmessverfahren von Anspruch 1, weiter aufweisend: Erhalten einer durch 1/N_max repräsentierten minimalen Werkstückstichprobenentnahmerate und einer durch 1/N_default repräsentierte vorgegebene Werkstückstichprobenentnahmerate, wobei N_max ein maximaler Wert von N ist und N_default ein Vorgabewert von N ist; Multiplizieren eines dritten konservativen Faktors mit N_max und hierdurch Erhalten eines Prüfwerts, wobei der dritte konservative Faktor größer als 0 und kleiner als oder gleich 1 ist; Bestimmen, ob der Prüfwert größer als N_default ist, und hierdurch Erhalten eines sechsten Ergebnisses; wenn das sechste Ergebnis wahr ist, Setzen von N_default gleich dem Prüfwert; Ausführen eines ersten Überprüfungsschritts, um zu überprüfen, ob eine Zustandsänderung des Bearbeitungswerkzeugs eintritt, und hierdurch Erhalten eines ersten Überprüfungsergebnisses; wenn das erste Überprüfungsergebnis wahr ist, Löschen des Satzes determinativer Stichproben, Setzen des OOS-Zählers auf 0, und Ausführen eines zweiten Überprüfungsschritts, um zu überprüfen, ob N größer als N_default ist, und hierdurch Erhalten eines zweiten Überprüfungsergebnisses; und wenn das zweite Überprüfungsergebnis wahr ist, Festlegen von N auf N_default.
Das Stichprobenmessverfahren von Anspruch 4, weiter aufweisend: Ausführen eines Modellerzeugungsschritts, welcher aufweist: Bilden eines DQI_X-(Prozessdatenqualitätsindex)-Modells und eines GSI-(Globaler Ähnlichkeitsindex)-Modells und Berechnen eines DQI_X-Schwellenwerts und eines GSI-Schwellenwerts durch Verwenden der Sätze historischer Prozessdaten; und Ausführen eines Werkstückstichprobenmessschritts, welcher aufweist: Bereitstellen eines Werkstücks an das Bearbeitungswerkzeug, wobei das Bearbeitungswerkzeug einen Satz von Prozessdaten aufweist, welche verwendet werden, um das Werkstück zu bearbeiten; Eingeben des Satzes von Prozessdaten des Werkstücks in das DQI_X-Modell und das GSI-Modell und hierdurch Erhalten eines DQI_X-Werts und eines GSI-Werts des Satzes von Prozessdaten des Werkstücks; Erhöhen eines Werkstückzählers um 1; wenn das erste Überprüfungsergebnis wahr ist, Ausführen eines dritten Überprüfungsschritts, um zu überprüfen, ob der DQI_X-Wert kleiner als oder gleich dem DQI_X-Schwellenwert ist, und hierdurch Erhalten eines dritten Überprüfungsergebnisses; wenn das dritte Überprüfungsergebnis falsch ist, Überspringen einer Messung des Werkstücks; wenn das dritte Überprüfungsergebnis wahr ist, Ausführen eines vierten Überprüfungsschritts, um zu überprüfen, ob der Werkstückzähler größer als oder gleich N ist, und hierdurch Erhalten eines vierten Überprüfungsergebnisses; wenn das vierte Überprüfungsergebnis wahr ist, Durchführen einer Messung an dem Werkstück und Setzen des Werkstückzählers auf 0; wenn das vierte Überprüfungsergebnis falsch ist, Ausführen eines fünften Überprüfungsschrittes, um zu überprüfen, ob der GSI-Wert des Werkstücks kleiner als oder gleich dem GSI-Schwellenwert ist, und hierdurch Erhalten eines fünften Überprüfungsergebnisses; und wenn das fünfte Überprüfungsergebnis wahr ist, Überspringen der Messung des Werkstücks.
Das Stichprobenmessverfahren von Anspruch 5, weiter aufweisend: Aufbauen eines Referenzmodells in Übereinstimmung mit einem Referenzvorhersagealgorithmus durch Verwenden der Sätze historischer Prozessdaten und der historischen Messwerte, wobei der Mutmaßungsalgorithmus sich von dem Referenzvorhersagealgorithmus unterscheidet; Berechnen eines RI-(Zuverlässigkeitsindex)-Schwellenwerts auf der Grundlage einer maximal tolerierbaren Fehlergrenze, welche durch aus dem Mutmaßungsmodell erhaltene virtuelle Messfehler definiert ist; Eingeben des Satzes von Prozessdaten des Werkstücks in das Referenzmodell und hierdurch Berechnen eines Referenzvorhersagewerts des Werkstücks; Berechnen eines Überlappungsbereichs zwischen der statistischen Verteilung des virtuellen Messwerts des Werkstücks und der statistischen Verteilung des Referenzvorhersagewerts des Werkstücks und hierdurch Erzeugen eines RI-Werts des Werkstücks; wenn das vierte Überprüfungsergebnis falsch ist, Ausführen eines sechsten Überprüfungsschritts, um zu überprüfen, ob der RI-Wert des Werkstücks größer als oder gleich dem RI-Schwellenwert ist, und hierdurch Erhalten eines sechsten Überprüfungsergebnisses; und wenn das sechste Überprüfungsergebnis wahr ist, Überspringen der Messung des Werkstücks.
Das Stichprobenmessverfahren von Anspruch 6, weiter aufweisend: Durchführen einer Messung an dem Werkstück und Setzen eines Werkstückzählers auf 0, wenn das fünfte Überprüfungsergebnis oder das sechste Überprüfungsergebnis falsch ist und die GSI-Werte von k Werkstücken, die vor dem Werkstück bearbeitet wurden, alle größer als der GSI-Schwellenwert sind oder die RI-Werte von k Werkstücken, die vor dem Werkstück bearbeitet wurden, alle kleiner als der RI-Schwellenwert sind, wobei k eine positive Ganzzahl ist.
Das Stichprobenmessverfahren von Anspruch 5, weiter aufweisend: bevor ein Vorgang eines Erhöhens des Werkstückzählers um 1 ausgeführt wird, Ausführen eines siebenten Überprüfungsschritts, um zu überprüfen, ob das Bearbeitungswerkzeug für eine Zeitperiode im Leerlauf gewesen ist, und hierdurch Erhalten eines siebenten Überprüfungsergebnisses; und Durchführen einer Messung an dem Werkstück und Setzen des Werkstückzählers auf 0, wenn das siebente Überprüfungsergebnis wahr ist.
Ein auf einem nichtflüchtigen, materiellen, computerlesbaren Aufzeichnungsmedium gespeichertes Computerprogrammprodukt, welches bei Ausführung ein Stichprobenmessverfahren, wie es in einem der Ansprüche 1 bis 8 beansprucht ist, ausführt.