DE102018211453B4 - Verfahren und System zum Detektieren von Defekten auf einer Oberfläche eines Objekts - Google Patents

Abstract

Verfahren (200) zum Detektieren eines Defekts auf einer Oberfläche (112) eines Objekts (110), umfassend:Tragen des Objekts (110) auf einer Plattform (120);Beleuchten der Oberfläche (112) des Objekts (110) mit mehreren Beleuchtungsquellen (150, 160), die mindestens eine Umgebungsbeleuchtungsquelle (150) und mindestens eine Dunkelfeldbeleuchtungsquelle (160) umfassen;Aufnehmen von Bildern der Oberfläche (112) des Objekts (110) unter Beleuchtungsbedingungen mit den Beleuchtungsquellen (150, 160) unter Verwendung einer Bilderfassungseinrichtung (140);Verarbeiten der aufgenommenen Bilder mit mehreren Bildoperationen unter Verwendung eines Bildprozessors (180), um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche (112) des Objekts (110) zu detektieren;Ausschneiden des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern unter Verwendung des Bildprozessors (180);Zusammenfügen der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche (112) des Objekts (110) zu erzeugen, unter Verwendung des Bildprozessors (180);Klassifizieren der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist, unter Verwendung des Bildprozessors (180), wobei der Klassifizierer mit Trainingsdaten trainiert wird, die Charakteristiken des echten Defekts aufweisen; undErzeugen einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche (112) des Objekts (110) umfasst.

Description

• TECHNISCHES GEBIET
• Diese Erfindung betrifft allgemein ein Verfahren und ein System zum Detektieren eines Defekts auf einer Oberfläche eines Objekts.
• BESCHREIBUNG DER VERWANDTEN TECHNIK
• Defektdetektion ist ein wichtiger Aspekt des industriellen Produktionsqualitätsgewährleistungsprozesses, der eine wichtige Garantie für die Qualität von Produkten bereitstellen kann. Defekte können Risse auf einer Oberfläche eines Objekts sein. Defekte können sehr klein sein. Der Maßstab der Defekte kann so klein wie Mikrometer sein.
• Traditionelle Verfahren der Mikrodefektdetektion beinhalten einen erheblichen manuellen Prozess, der möglicherweise keine konsistente Detektionsqualität garantiert. Aufgrund des kleinen Maßstabs der Mikrodefekte kann er unter Verwendung traditioneller Verfahren eine beträchtlich lange Detektionszeit erfordern, um eine gewisse Genauigkeit zu erzielen. Manche traditionelle Detektionsverfahren können das Anwenden gewisser Chemikalien erfordern, die das Objekt beschädigen können. Gegenwärtig in der Industrie verwendete Verfahren zum Detektieren von Defekten auf einer Oberfläche eines Objekts sind zeitaufwendig und liefern möglicherweise keine konsistente Detektionsqualität.
• Das US-Patent US 5,828,778 A beschreibt ein Verfahren und eine Vorrichtung zur Fehleranalyse eines Halbleiterwafers unter schrittweise Analyse von Mustern für einen erkannten Musterfehler sowie der Bewertung der analysierten Musterfehler.
• Das US-Patent US 5,917,935 A beschreibt ein Verfahren und eine Vorrichtung zum Identifizieren und Klassifizieren von Pixelfehlern, insbesondere von Muradefekten, unter Verwendung digitaler Verarbeitungstechniken. Das vorliegende Verfahren umfasst die Schritte des Erfassens eines Bildes mit einem Muradefekt und des Durchführens einer Laplace'sche Faltung an dem Bild, um den Muradefekt gegenüber der Hintergrundbeleuchtung zu verbessern.
• KURZFASSUNG DER ERFINDUNG
• Kurz beschrieben, betreffen Aspekte der vorliegenden Erfindung ein Verfahren und ein System zum Detektieren eines Defekts auf einer Oberfläche eines Objekts.
• Gemäß einem Aspekt ist ein Verfahren zum Detektieren eines Defekts auf einer Oberfläche eines Objekts dargelegt. Das Verfahren umfasst Tragen des Objekts auf einer Plattform. Das Verfahren umfasst Beleuchten der Oberfläche des Objekts mit mehreren Beleuchtungsquellen, die mindestens eine Umgebungsbeleuchtungsquelle und mindestens eine Dunkelfeldbeleuchtungsquelle umfassen. Das Verfahren umfasst Aufnehmen von Bildern der Oberfläche des Objekts unter Beleuchtungsbedingungen mit den Beleuchtungsquellen unter Verwendung einer Bilderfassungseinrichtung. Das Verfahren umfasst Verarbeiten der aufgenommenen Bilder mit mehreren Bildoperationen unter Verwendung eines Bildprozessors, um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche des Objekts zu detektieren. Das Verfahren umfasst Ausschneiden des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern unter Verwendung des Bildprozessors. Das Verfahren umfasst Zusammenfügen der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche des Objekts unter Verwendung des Bildprozessors zu erzeugen. Das Verfahren umfasst Klassifizieren der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist, unter Verwendung des Bildprozessors. Der Klassifizierer wird mit Trainingsdaten trainiert, die Charakteristiken des echten Defekts aufweisen. Das Verfahren umfasst Erzeugen einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche des Objekts umfasst.
• Gemäß einem Aspekt ist ein System zum Detektieren eines Defekts auf einer Oberfläche eines Objekts dargelegt. Das System umfasst eine Plattform zum Tragen des Objekts. Das System umfasst mehrere Beleuchtungsquellen, die mindestens eine Umgebungsbeleuchtungsquelle und mindestens eine Dunkelfeldbeleuchtungsquelle zum Beleuchten der Oberfläche des Objekts umfassen. Das System umfasst eine Bilderfassungseinrichtung zum Aufnehmen von Bildern der Oberfläche des Objekts unter Beleuchtungsbedingungen mit den Beleuchtungsquellen. Das System umfasst einen Bildprozessor. Der Bildprozessor verarbeitet die aufgenommenen Bilder mit mehreren Bildoperationen, die verwendet werden, um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche des Objekts zu detektieren. Der Bildprozessor schneidet den Bereich des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern aus. Der Bildprozessor fügt die Teilbilder zusammen, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche des Objekts zu erzeugen. Der Bildprozessor klassifiziert die Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist. Der Klassifizierer wird mit Trainingsdaten trainiert, die Charakteristiken des echten Defekts aufweisen. Der Bildprozessor erzeugt eine Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche des Objekts umfasst.
• Gemäß einem Aspekt ist ein Computerprogramm dargelegt, das in einem Computer ausgeführt werden kann, um ein Verfahren zum Detektieren eines Defekts auf einer Oberfläche eines Objekts durchzuführen. Der Computer speichert Bilder der Oberfläche des Objekts unter Beleuchtungsbedingungen mit Beleuchtungsquellen, die mindestens eine Umgebungsbeleuchtungsquelle und mindestens eine Dunkelfeldbeleuchtungsquelle umfassen. Das Verfahren umfasst einen Schritt des Verarbeitens der Bilder mit mehreren Bildoperationen, um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche des Objekts zu detektieren. Das Verfahren umfasst einen Schritt des Ausschneidens des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern. Das Verfahren umfasst einen Schritt des Zusammenfügens der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche des Objekts zu erzeugen. Das Verfahren umfasst einen Schritt des Klassifizierens der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist. Der Klassifizierer wird mit Trainingsdaten trainiert, die Charakteristiken des echten Defekts aufweisen. Das Verfahren umfasst einen Schritt des Erzeugens einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche des Objekts umfasst.
• Verschiedene Aspekte und Ausführungsformen der Anmeldung, wie oben und nachfolgend beschrieben, werden möglicherweise nicht nur in den explizit beschriebenen Kombinationen verwendet, sondern auch in anderen Kombinationen. Modifikationen werden einem Fachmann beim Lesen und Verstehen der Beschreibung ersichtlich werden.
• KURZE BESCHREIBUNG DER ZEICHNUNGEN
• Ausführungsbeispiele der Anmeldung werden ausführlicher bezüglich der begleitenden Zeichnungen erläutert. In den Zeichnungen gilt:
• 1 veranschaulicht eine schematische Seitenansicht eines Systems zum Detektieren eines Defekts an einer Oberfläche eines Objekts gemäß einer Ausführungsform der Erfindung;
• 2 veranschaulicht eine schematische Draufsicht eines Systems zum Detektieren eines Defekts an einer Oberfläche eines Objekts gemäß einer Ausführungsform der Erfindung;
• 3 veranschaulicht ein schematisches Diagramm eines Musters, das aus einem hellen Gebiet und einem Schattengebiet besteht, eines Defekts auf einer Oberfläche unter einer Dunkelfeldbeleuchtungsquelle gemäß einer Ausführungsform der Erfindung;
• 4 veranschaulicht ein schematisches Flussdiagramm eines Verfahrens zum Detektieren eines Defekts an einer Oberfläche eines Objekts gemäß einer Ausführungsform der Erfindung; und
• 5 veranschaulicht ein schematisches Flussdiagramm eines Schritts zum Verarbeiten von Bildern des Verfahrens, wie in 4 veranschaulicht, gemäß einer Ausführungsform der Erfindung.
• Um das Verständnis zu erleichtern, sind, wo möglich, identische Bezugsziffern verwendet worden, um identische Elemente zu kennzeichnen, die den Figuren gemein sind.
• AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
• Eine ausführliche Beschreibung bezüglich Aspekten der vorliegenden Erfindung wird nachfolgend bezüglich der begleitenden Figuren beschrieben.
• Die 1 und 2 veranschaulichen eine schematische Seitenansicht bzw. Draufsicht eines Systems 100 zum Detektieren eines Defekts an einer Oberfläche 112 eines Objekts 110 gemäß einer Ausführungsform der Erfindung. Das System 100 kann eine Plattform 120 beinhalten, die das Objekt 110 trägt. Das System 100 kann einen Motor 122 beinhalten. Die Plattform 120 kann durch den Motor 122 entlang mindestens einer Richtung bewegbar sein. Der Motor 122 kann eine Motorsteuerung 124 aufweisen, die eine Bewegung der Plattform 120 steuert.
• Das System 100 kann eine Haube 130 aufweisen, die über der Plattform 120 angeordnet ist. Die Haube 130 kann eine hohle Kegelform aufweisen. Das System 100 kann eine Bilderfassungseinrichtung 140 aufweisen. Die Bilderfassungseinrichtung 140 kann innerhalb der Haube 130 angeordnet sein. Die Bilderfassungseinrichtung 140 kann sich an der Oberseite der Haube 130 befinden. Die Bilderfassungseinrichtung 140 kann zum Beispiel eine Kamera beinhalten. Die Bilderfassungseinrichtung 140 kann ein Objektiv 142 beinhalten. Das Objektiv 142 kann derart an einer Position bezüglich der Oberfläche 112 des Objekts 110 angeordnet sein, dass die Bilderfassungseinrichtung 140 ein gewünschtes Sichtfeld 144 auf die Oberfläche 112 des Objekts 110 aufweist. Die Bilderfassungseinrichtung 140 kann bezüglich der Oberfläche 112 des Objekts 110 geschwenkt und geneigt werden, um ein gewünschtes Sichtfeld 144 auf der Oberfläche 112 des Objekts 110 zu erzielen. Der Motor 122 kann die Plattform 120 zusammen mit dem Objekt 110 bewegen, sodass das Sichtfeld 144 der Bilderfassungseinrichtung 140 unterschiedliche Bereiche der Oberfläche 112 des Objekts 110 abdecken kann.
• Das System 100 kann mindestens eine Umgebungsbeleuchtungsquelle 150 aufweisen. Die Umgebungsbeleuchtungsquelle 150 kann innerhalb der Haube 130 angeordnet sein. Die Umgebungsbeleuchtungsquelle 150 kann sich an der Oberseite der Haube 130 befinden. Die Umgebungsbeleuchtungsquelle 150 kann eine Umgebungsbeleuchtungsbedingung an der Oberfläche 112 des Objekts 110 bereitstellen. Die Umgebungsbeleuchtungsquelle 150 kann zum Beispiel ein Leuchtdioden(LED)-Stroboskoplicht beinhalten. Die Umgebungsbeleuchtungsquelle 150 kann eine Ringform aufweisen. Gemäß einem Ausführungsbeispiel, wie in 1 veranschaulicht, kann sich das Objektiv 142 durch die ringförmige Umgebungsbeleuchtungsquelle 150 erstrecken.
• Das System 100 kann mindestens eine Dunkelfeldbeleuchtungsquelle 160 beinhalten. Die Dunkelfeldbeleuchtungsquelle 160 kann an einer Unterseite der Haube 130 angeordnet sein. Die Dunkelfeldbeleuchtungsquelle 160 kann eine Dunkelfeldbeleuchtungsbedingung auf der Oberfläche 112 des Objekts 110 bereitstellen. Die Dunkelfeldbeleuchtungsquelle 160 kann zum Beispiel ein LED-Stroboskoplicht beinhalten. Die Dunkelfeldbeleuchtungsquelle 160 kann derart an einer Position bezüglich der Oberfläche 112 des Objekts 110 orientiert sein, dass eine Dunkelfeldbeleuchtungsbedingung innerhalb des Sichtfelds 144 des Objektivs 142 an der Oberfläche 112 des Objekts 110 bereitgestellt werden kann. Unter einer Dunkelfeldbeleuchtungsbedingung kann ein Defekt ein vorhersagbares Muster aufweisen, das aus einem hellen Gebiet, das durch die Dunkelfeldbeleuchtungsquelle 160 beleuchtet wird, und einem Dunkel- oder Schattengebiet, das nicht durch die Dunkelfeldbeleuchtungsquelle 160 beleuchtet wird, besteht.
• Mit Bezug auf 2, die eine schematische Draufsicht des Systems 100 veranschaulicht, sind vier Dunkelfeldbeleuchtungsquellen 160 an der Unterseite der Haube 130 angeordnet. Zwei Dunkelfeldbeleuchtungsquellen 160 sind entlang einer x-Achse in einer Ebene des Sichtfelds 144 angeordnet. Die beiden Dunkelfeldbeleuchtungsquellen 160 befinden sich an zwei Seiten des Sichtfelds 144, bezeichnet als x-positiv bzw. x-negativ. Zwei andere Dunkelfeldbeleuchtungsquellen 160 sind entlang einer y-Achse in der Ebene des Sichtfelds 144 angeordnet. Die beiden anderen Dunkelfeldbeleuchtungsquellen 160 befinden sich an zwei Seiten des Sichtfelds 144, bezeichnet als y-positiv bzw. y-negativ. Andere Anzahlen von Dunkelfeldbeleuchtungsquellen 160 können an der Unterseite der Haube 130 angeordnet sein.
• Mit Bezug auf 1 kann das System 100 eine Auslösesteuerung 170 beinhalten. Die Auslösesteuerung 170 kann funktionsfähig mit der Bilderfassungseinrichtung 140, der Umgebungsbeleuchtungsquelle 150 und den Dunkelfeldbeleuchtungsquellen 160 verbunden sein. Die Auslösesteuerung 170 kann die Umgebungsbeleuchtungsquelle 150 und die Dunkelfeldbeleuchtungsquellen 160 mit einem vordefinierten Muster, einer vordefinierten Sequenz oder gleichzeitig auslösen. Die Auslösesteuerung 170 kann auslösen, dass die Bilderfassungseinrichtung 140 Bilder der Oberfläche 112 des Objekts 110 unter den jeweiligen ausgelösten Beleuchtungsbedingungen aufnimmt. Die Auslösesteuerung 170 kann Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 steuern. Die Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 können Orientierungen der Dunkelfeldbeleuchtungsquellen 160 bezüglich der Oberfläche 112 des Objekts 110, Beleuchtungsintensitäten der Dunkelfeldbeleuchtungsquellen 160 usw. beinhalten. Gemäß einer Ausführungsform kann die Auslösesteuerung 170 ein Computer mit einem implementierten Computerprogramm sein.
• Das System 100 kann einen Bildprozessor 180 beinhalten. Der Bildprozessor 180 kann funktionsfähig mit der Bilderfassungseinrichtung 140 verbunden sein. Die durch die Bilderfassungseinrichtung 140 aufgenommenen Bilder können in dem Bildprozessor 180 gespeichert werden. Der Bildprozessor 180 kann auch die durch die Bilderfassungseinrichtung 140 aufgenommenen Bilder verarbeiten, um Defekte auf der Oberfläche 112 des Objekts 110 zu detektieren. Gemäß einer Ausführungsform kann der Bildprozessor 180 ein Computer sein. Ein Computerprogramm kann in dem Abbildungsprozessor 180 ausgeführt werden. Gemäß einer Ausführungsform können die Auslösesteuerung 170 und der Bildprozessor 180 integrierte Teile eines Computers sein. Das System 100 kann eine Anzeigeeinrichtung 190 beinhalten, die funktionsfähig mit dem Abbildungsprozessor 180 verbunden ist. Die Anzeigeeinrichtung 190 kann die aufgenommenen Bilder anzeigen. Die Anzeigeeinrichtung 190 kann die verarbeiteten Bilder anzeigen. Die Anzeigeeinrichtung 190 kann eine Ausgabe anzeigen, die Informationen eines detektierten Defekts beinhalten. Die Anzeigeeinrichtung 190 kann ein Monitor sein. Die Anzeigeeinrichtung 190 kann ein integrierter Teil des Abbildungsprozessors 180 sein.
• Gemäß einer Ausführungsform kann eine Form eines potenziellen Defekts, wie etwa Größe oder Länge des Defekts, ein spezifisches und vorhersagbares Muster, das aus einem hellen Gebiet und einem Schattengebiet 117 besteht, in einem Bild unter unterschiedlichen Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 aufweisen. 3 veranschaulicht ein schematisches Diagramm eines Musters, das aus einem hellen Gebiet 115 und einem Schattengebiet 117 besteht, eines Defekts 113 auf einer Oberfläche 112 unter einer Dunkelfeldbeleuchtungsquelle 160 gemäß einer Ausführungsform. Wie in 3 veranschaulicht, kann eine Oberfläche 112 einen V-förmigen Defekt 113 aufweisen. Ein erster Abschnitt 114 des V-förmigen Defekts 113 wird durch die Dunkelfeldbeleuchtungsquelle 160 beleuchtet, der ein helles Gebiet 115 in einem Bild bildet. Ein zweiter Abschnitt 116 des V-förmigen Defekts 113 wird nicht durch die Dunkelfeldbeleuchtungsquelle 160 beleuchtet, der ein Schattengebiet 117 in dem Bild bildet. Das helle Gebiet 115 und das Schattengebiet 117 befinden sich innerhalb eines Sichtfelds 144 einer Bilderfassungseinrichtung 140. Der V-förmige Defekt 113 kann ein Mikrodefekt sein, der Maßstab des V-förmigen Defekts 113 kann zum Beispiel so klein wie Mikrometer sein.
• 4 veranschaulicht ein schematisches Flussdiagramm eines Verfahrens 200 zum Detektieren eines Defekts an einer Oberfläche 112 eines Objekts 110 unter Verwendung eines Bildprozessors 180 gemäß einer Ausführungsform der Erfindung. Im Schritt 210 kann die Bilderfassungseinrichtung 140 bezüglich der Oberfläche 112 des zu inspizierenden Objekts 110 kalibriert werden. Die Kalibration kann Parameter des Objektivs 142 der Bilderfassungseinrichtung 140 schätzen, um eine Verzerrung des Objektivs 142 der Bilderfassungseinrichtung 140 zu korrigieren, wenn Bilder der Oberfläche 112 des Objekts 110 aufgenommen werden.
• Im Schritt 220 können die Umgebungsbeleuchtungsquelle 150 und die Dunkelfeldbeleuchtungsquellen 160 durch die Auslösesteuerung 170 ausgelöst werden, um die Oberfläche 112 des Objekts 110 mit einer Umgebungsbeleuchtungsbedingung und Dunkelfeldbeleuchtungsbedingungen zu beleuchten. Die Bilderfassungseinrichtung 140 kann durch die Auslösesteuerung 170 ausgelöst werden, um Bilder der Oberfläche 112 des Objekts 110 unter der Umgebungsbeleuchtungsbedingung bzw. den Dunkelfeldbeleuchtungsbedingungen aufzunehmen. Jedes Bild nimmt ein Sichtfeld 144 der Oberfläche 112 des Objekts 110 unter unterschiedlichen Beleuchtungsbedingungen auf. Jedes Bild kann potenzielle Defekte mit spezifischen Formen auf der Oberfläche 112 des Objekts 110 enthalten. Formen der potenziellen Defekte weisen vorhersagbare Muster, die aus einem hellen Gebiet und einem Schattengebiet 117 bestehen, basierend auf Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 auf.
• Im Schritt 230 werden die aufgenommenen Bilder der Oberfläche 112 des Objekts 110 durch den Bildprozessor 180 verarbeitet. Der Verarbeitungsschritt 230 kann mehrere Bildoperationen an den aufgenommenen Bildern implementieren, um Bereiche von potenziellen Defekten an Positionen auf der Oberfläche 112 des Objekts 110 zu detektieren. Mehrere Bereiche können detektiert werden, die potenzielle Defekte aufweisen. Jeder Bereich kann einen potenziellen Defekt aufweisen. Die Positionen der mehreren Bereiche können durch wie etwa x-, y-Positionen auf einer Ebene der Oberfläche 112 repräsentiert werden. Die potenziellen Defekte können durch Muster, die aus einem hellen Gebiet und einem Schattengebiet bestehen, in den verarbeiteten Bildern detektiert werden. Die mehreren Bildoperationen können Formen von potenziellen Defekten verbessern und eine Falschdetektionsrate reduzieren.
• Im Schritt 240 werden die Bereiche, die die potenziellen Defekte zeigen, aus den verarbeiteten Bildern zu Teilbildern ausgeschnitten. Die Größe jedes auszuscheidenden Bereichs kann klein genug sein, um einen Mikrodefekt zu detektieren. Die Größe jedes Bereichs kann zum Beispiel geringer als 100 mal 100 Pixel betragen, in Abhängigkeit von der Auflösung des Bildes. Bereiche, die keine Indikationen von potenziellen Defekten zeigen, können verworfen werden und benötigen keine weitere Verarbeitung.
• Im Schritt 250 werden Teilbilder, die einen potenziellen Defekt an derselben Position auf der Oberfläche 112 des Objekts 110 aufweisen, zusammengefügt, um eine Hypothese des potenziellen Defekts an der Position zu erzeugen. Mehrere Hypothesen von potenziellen Defekten können in mehreren zusammengefügten Bildern aus Teilbildern, die potenzielle Defekte an denselben Positionen auf der Oberfläche 112 aufweisen, erzeugt werden.
• Im Schritt 260 werden die zusammengefügten Bilder mit einem Klassifizierer klassifiziert, um zu bestimmen, ob die potenziellen Defekte echte Defekte auf der Oberfläche 112 des Objekts 110 sind. Der Klassifizierer kann mit Trainingsdaten trainiert werden, die Charakteristiken eines echten Defekts aufweisen. Gemäß einer Ausführungsform kann ein Random-Forest-Klassifizierer zum Klassifizieren der potenziellen Defekte verwendet werden. Der Random-Forest-Klassifizierer kann Hypothesen mit hoher Effizienz und Skalierbarkeit in großmaßstäbigen Anwendungen klassifizieren.
• Im Schritt 270 wird eine Ausgabe der Klassifikation erzeugt. Die Ausgabe kann die detektierten echten Defekte und die Positionen beinhalten. Die Ausgabe kann eine Berichtsform sein. Die Ausgabe kann ein Bild sein, bei dem die detektierten echten Defekte an den Positionen markiert sind. Das Bild kann eines der aufgenommenen Bilder oder eines der verarbeiteten Bilder sein. Die Ausgabe kann in dem Abbildungsprozessor 180 gespeichert werden oder auf einer Anzeigeeinrichtung 190 angezeigt werden oder durch einen Drucker ausgedruckt werden.
• 5 veranschaulicht ein schematisches Flussdiagramm eines Schritts 230 zum Verarbeiten von Bildern des Verfahrens 200, wie in 4 veranschaulicht, gemäß einer Ausführungsform der Erfindung. Mit Bezug auf 2 und den Schritt 220 der 4 kann die Auslösesteuerung 170 die Umgebungsbeleuchtungsquelle 150 und die Dunkelfeldbeleuchtungsquellen 160 sequenziell ein- und ausschalten. Die Auslösesteuerung 170 kann auslösen, dass die Bilderfassungseinrichtung 140 sequenziell Bilder der Oberfläche 112 des Objekts 110 unter einer Umgebungsbeleuchtungsbedingung bzw. Dunkelfeldbeleuchtungsbedingungen aufnimmt. Die Dunkelfeldbeleuchtungsquellen 160 können durch die Auslösesteuerung 170 sequenziell ein- und ausgeschaltet werden, sodass Bilder sequenziell durch die Bilderfassungseinrichtung 140 unter sequenziellen Dunkelfeldbeleuchtungsbedingungen aufgenommen werden. Ein Bild, das zum Beispiel aufgenommen wird, wenn die Umgebungsbeleuchtungsquelle 150 eingeschaltet ist, wird als Bild_amb bezeichnet. Ein Bild, das aufgenommen wird, wenn die Dunkelfeldbeleuchtungsquelle 160, die sich an einer x-positiv-Stelle befindet, eingeschaltet ist, wird als Bild_xpos bezeichnet. Ein Bild, das aufgenommen wird, wenn die Dunkelfeldbeleuchtungsquelle 160, die sich an einer x-negativ-Stelle befindet, eingeschaltet ist, wird als Bild_xneg bezeichnet. Ein Bild, das aufgenommen wird, wenn die Dunkelfeldbeleuchtungsquelle 160, die sich an einer y-positiv-Position befindet, eingeschaltet ist, wird als Bild_ypos bezeichnet. Ein Bild, das aufgenommen wird, wenn die Dunkelfeldbeleuchtungsquelle 160, die sich an einer y-negativ-Position befindet, eingeschaltet ist, wird als Bild_yneg bezeichnet.
• Im Schritt 231 des Schritts 230 werden Faltungsoperationen an den aufgenommenen Bildern mit entsprechenden Kernen implementiert. Faltungsoperationen können Rauschen in den aufgenommenen Bildern filtern. Kerne werden entsprechend vordefinierten Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 definiert, um das Detektieren eines potenziellen Defekts in den aufgenommenen Bildern basierend auf einem Muster, das aus einem hellen Gebiet und einem Schattengebiet 117 besteht, unter den vordefinierten Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 zu verbessern. Eine Form eines potenziellen Defekts, wie etwa Größe oder Länge des potenziellen Defekts, kann ein spezifisches und vorhersagbares Muster, das aus einem hellen Gebiet und einem Schattengebiet 117 besteht, in einem Bild unter unterschiedlichen Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 aufweisen.
• Unterschiedliche Kerne beeinflussen ausgegebene gefilterte Bilder. Unter der Annahme eines Farbcodes als: Schwarz = 1, Weiß = 0, Grau = -1, können die Kerne zum Beispiel für die fünf unterschiedlichen Bilder, die mit gewissen vordefinierten Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 aufgenommen werden, wie folgt definiert sein: $$Kern\_xpos=\left[\begin{array}{c}-1\\ -1\\ -1\\ -1\\ -1\\ 1\\ 1\\ 0\\ 0\\ 0\\ 0\end{array}\right],Kern\_xneg=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 1\\ 1\\ -1\\ -1\\ -1\\ -1\\ -1\end{array}\right],Kern\_ambx=\left[\begin{array}{c}1\\ 1\\ 1\\ -1\\ -1\\ -1\\ -1\\ -1\\ 1\\ 1\\ 1\end{array}\right]$$

  

  $$\begin{array}{l}Kern\_ypos={\left[Kern\_xpos\right]}^T=\left[-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}\mathrm{1,}\mathrm{1,}\mathrm{0,}\mathrm{0,}\mathrm{0,}0\right]\\ Kern\_yneg={\left[Kern\_xneg\right]}^T=\left[\mathrm{0,}\mathrm{0,}\mathrm{0,}\mathrm{0,}\mathrm{1,}\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-1\right]\end{array}$$

  

  $$Kern\_amby={\left[Kern\_ambx\right]}^T=\left[\mathrm{1,}\mathrm{1,}\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}-\mathrm{1,}\mathrm{1,}\mathrm{1,}1\right]$$

  

  $$Kern\_ambx\_y=\left[\begin{array}{cccccc}-\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\\ -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\\ -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\\ -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\\ -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\\ -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}& -\mathrm{0,1667}\end{array}\right]$$

  

  wobei: Kern_xpos der Faltungsoperator für Bild_xpos ist,
  Kern_xneg der Faltungsoperator für Bild_xneg ist,
  Kern_ambx der Faltungsoperator für Bild_amb ist,
  Kern_ypos der Faltungsoperator für Bild_ypos ist,
  Kern_yneg der Faltungsoperator für Bild_yneg ist,
  Kern_amby der Faltungsoperator für Bild_amb ist,
  Kern_ambx_y der Faltungsoperator für Bild_amb ist.
• Die Kerne können neu definiert werden, um potenzielle Defekte in den aufgenommenen Bildern zu detektieren, sobald sich Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 ändern, wie etwa die Orientierung, die Intensitäten usw. Die Kerne werden basierend auf unterschiedlichen Mustern von potenziellen Defekten, die aus einem hellen Gebiet und einem Schattengebiet 117 bestehen, in den aufgenommenen Bildern unter unterschiedlichen Konfigurationen der Dunkelfeldbeleuchtungsquellen 160 neu definiert.
• Im Schritt 232 werden Dilatationsoperationen an den Bildern, die durch die Faltungen gefiltert werden, implementiert. Dilatationsoperationen sind morphologische Operationen, die Formen von potenziellen Defekten in den gefilterten Bildern unter Verwendung von strukturierenden Elementen untersuchen und erweitern können. Gemäß einer Ausführungsform können drei mal drei flache strukturierende Elemente in den Dilatationsoperationen bei Schritt 232 verwendet werden.
• Im Schritt 233 werden Multiplikationsoperationen an den gefalteten und dilatierten Bildern implementiert. Die Multiplikationsoperationen können Rauschen in den Bildern weiter filtern. Mit Bezug auf 4 werden Bilder, die mit den Dunkelfeldbeleuchtungsquellen 160, die sich an der x-Achse befinden, aufgenommen werden, einschließlich Bild_xpos und Bild_xneg, nach Operationen einer Faltung unter Verwendung von Kern_xpos bzw. Kern_xneg und Dilatationen mit Bild_amb nach Operationen einer Faltung unter Verwendung von Kern_ambx und einer Dilatation zu einem Bild multipliziert. Bilder, die mit den Dunkelfeldbeleuchtungsquellen 160, die sich an der y-Achse befinden, aufgenommen werden, einschließlich Bild_ypos und Bild_yneg, nach Operationen einer Faltung unter Verwendung von Kern_ypos bzw. Kern_yneg und Dilatationen werden mit Bild_amb nach Operationen einer Faltung unter Verwendung von Kern_amby und einer Dilatation zu einem anderen Bild multipliziert.
• Im Schritt 234 werden Medianfilteroperationen an den multiplizierten Bildern zum weiteren Filtern der Bilder implementiert. Medianfilteroperationen können potenzielle Defekte in dem Bild bewahren, während Rauschen entfernt wird. Die Ausgangsbilder nach den Medianfilteroperationen können als Bild_x und Bild_y bezeichnet werden und können als zwei Ausgangsbilder des Abbildungsverarbeitungsschritts 230 ausgegeben werden.
• Im Schritt 235 wird eine Magnitudenoperation an den beiden Bildern Bild_x und Bild_y nach den Medianfilteroperationen implementiert. Die Magnitudenoperation kann den Rauschabstand maximieren. Das Ausgangsbild nach der Magnitudenoperation wird mit Bild_amb nach Operationen einer Faltung unter Verwendung von Kern_ambx_y und einer Dilatation zu einem Bild multipliziert, als Bild_xy bezeichnet.
• Im Schritt 236 werden die verarbeiteten Bilder zu drei verarbeiteten Bildern des Abbildungsverarbeitungsschritts 230 ausgegeben. Die drei ausgegebenen verarbeiteten Bilder können Bild_x, Bild_y und Bild_xy beinhalten. Die drei ausgegebenen verarbeiteten Bilder werden von den aufgenommenen Bildern verbessert, um Bereiche von potenziellen Defekten an Positionen auf der Oberfläche 112 des Objekts 110 zu detektieren. Bereiche von potenziellen Defekten in jedem der drei ausgegebenen verarbeiteten Bilder werden im Schritt 240 zu Teilbildern ausgeschnitten. Mit Bezug auf 3 folgt dem Schritt 240 dann der Schritt 250 und der Schritt 260.
• Gemäß einem Aspekt verwenden das vorgeschlagene System 100 und das Verfahren mehrere Bildverarbeitungstechniken, wie etwa Bildverbesserung, morphologische Operation und Maschinenlernwerkzeuge einschließlich Hypotheseerzeugung und Klassifikation, um Defekte auf einer beliebigen Art von Oberfläche 112 von beliebigen Objekten 110 akkurat zu detektieren und zu quantifizieren, ohne sich auf starke Annahmen über Charakteristiken der Defekte zu verlassen. Das vorgeschlagene System 100 und das Verfahren verwerfen iterativ falsche Defekte und detektieren echte Defekte, indem sie sich auf kleinere Bereiche auf einer Oberfläche 112 eines Objekts 110 konzentrieren. Das vorgeschlagene System 100 und das Verfahren können in der Leistungserzeugungsindustrie verwendet werden, um Mikrodefekte auf Oberflächen von Generatorkeilen akkurat zu detektieren und zu quantifizieren. Die Mikrodefekte können ein Mikroriss sein. Die Mikrodefekte können so klein wie Mikrometer sein, was unter Verwendung von traditionellen Inspektionsverfahren schwer zu detektieren ist.
• Gemäß einem Aspekt können das vorgeschlagene System 100 und das Verfahren automatisch durch einen Computer betrieben werden, um Mikrodefekte auf einer Oberfläche 112 eines Objekts 110 zu detektieren. Das vorgeschlagene System 100 und das Verfahren können eine effiziente automatisierte Mikrodefektdetektion auf einer Oberfläche 112 eines Objekts 110 bereitstellen. Das vorgeschlagene System 100 und das Verfahren können mehrere Vorteile beim Detektieren von Mikrodefekten auf einer Oberfläche 112 eines Objekts 110 liefern, wie etwa höhere Detektionsgenauigkeit, Kostenreduktion und konsistente Detektionsleistungsfähigkeit usw.
• Obwohl verschiedene Ausführungsformen, die die Lehren der vorliegenden Erfindung einschließen, vorliegend dargestellt und ausführlich beschrieben worden sind, können Fachleute auf dem Gebiet leicht viele andere verschiedene Ausführungsformen entwickeln, die diese Lehren weiterhin einschließen. Die Erfindung ist nicht in ihrer Anwendung auf die beispielhaften Ausführungseinzelheiten der Konstruktion und der Anordnung von Komponenten beschränkt, die in der Beschreibung dargestellt oder in den Zeichnungen veranschaulicht sind. Die Erfindung ist zu anderen Ausführungsformen fähig und ist fähig, auf verschiedene Weisen umgesetzt oder ausgeführt zu werden. Es ist auch zu verstehen, dass die vorliegend verwendete Ausdrucksweise und Terminologie für Beschreibungszwecke ist und nicht als beschränkend angesehen werden sollte. Die Verwendung von „beinhaltend“, „umfassend“ oder „aufweisend“ und Variationen davon soll vorliegend die danach aufgelisteten Gegenstände und Äquivalente davon sowie zusätzliche Gegenstände einschließen. Sofern nicht anderweitig spezifiziert oder eingeschränkt, werden die Begriffe „befestigt“, „verbunden“, „getragen“ und „gekoppelt“ und Variationen davon allgemein verwendet und schließen direkte und indirekte Befestigungen, Verbindungen, Träger und Kopplungen ein. Des Weiteren sind „verbunden“ und „gekoppelt“ nicht auf physische oder mechanische Verbindungen oder Kopplungen eingeschränkt.
• Bezugszeichenliste:

100

System

110

Objekt

112

Oberfläche des Objekts

113

V-förmiger Defekt

114

Erster Abschnitt des V-förmigen Defekts

115

Helles Gebiet

116

Zweiter Abschnitt des V-förmigen Defekts

117

Schattengebiet

120

Plattform

122

Motor

124

Motorsteuerung

130

Haube

140

Bilderfassungseinrichtung

142

Objektiv

144

Sichtfeld

150

Umgebungsbeleuchtungsquelle

160

Dunkelfeldbeleuchtungsquelle

170

Auslösesteuerung

180

Bildprozessor

190

Anzeigeeinrichtung

200

Verfahren

210

Schritt

220

Schritt

230

Schritt

231

Schritt

232

Schritt

233

Schritt

234

Schritt

235

Schritt

236

Schritt

240

Schritt

250

Schritt

260

Schritt

270

Schritt

Claims (10)

1. Verfahren (200) zum Detektieren eines Defekts auf einer Oberfläche (112) eines Objekts (110), umfassend: Tragen des Objekts (110) auf einer Plattform (120); Beleuchten der Oberfläche (112) des Objekts (110) mit mehreren Beleuchtungsquellen (150, 160), die mindestens eine Umgebungsbeleuchtungsquelle (150) und mindestens eine Dunkelfeldbeleuchtungsquelle (160) umfassen; Aufnehmen von Bildern der Oberfläche (112) des Objekts (110) unter Beleuchtungsbedingungen mit den Beleuchtungsquellen (150, 160) unter Verwendung einer Bilderfassungseinrichtung (140); Verarbeiten der aufgenommenen Bilder mit mehreren Bildoperationen unter Verwendung eines Bildprozessors (180), um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche (112) des Objekts (110) zu detektieren; Ausschneiden des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern unter Verwendung des Bildprozessors (180); Zusammenfügen der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche (112) des Objekts (110) zu erzeugen, unter Verwendung des Bildprozessors (180); Klassifizieren der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist, unter Verwendung des Bildprozessors (180), wobei der Klassifizierer mit Trainingsdaten trainiert wird, die Charakteristiken des echten Defekts aufweisen; und Erzeugen einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche (112) des Objekts (110) umfasst.
2. Verfahren (200) nach Anspruch 1, wobei der potenzielle Defekt ein Muster umfasst, das aus einem hellen Gebiet (115) und einem Schattengebiet (117) in den Bildern besteht.
3. Verfahren (200) nach Anspruch 1, wobei der Verarbeitungsschritt ferner ein Implementieren von Faltungsoperationen an den aufgenommenen Bildern unter Verwendung von entsprechenden Kernen umfasst und wobei die entsprechenden Kerne entsprechend einer Konfiguration der Dunkelfeldbeleuchtungsquelle (160) definiert werden, um den potenziellen Defekt zu detektieren.
4. Verfahren (200) nach Anspruch 3, wobei der Verarbeitungsschritt ferner ein Implementieren von Dilatationsoperationen an den gefalteten Bildern umfasst.
5. Verfahren (200) nach Anspruch 4, wobei der Verarbeitungsschritt ferner ein Multiplizieren der gefalteten und dilatierten Bilder zu einem Bild umfasst.
6. Verfahren (200) nach Anspruch 5, wobei der Verarbeitungsschritt ferner ein Implementieren von Medianfilteroperationen an dem multiplizierten Bild umfasst und wobei das mediangefilterte Bild das ausgegebene verarbeitete Bild ist.
7. Verfahren (200) nach Anspruch 6, wobei der Verarbeitungsschritt ferner ein Implementieren einer Magnitudenoperation an dem mediangefilterten Bild umfasst.
8. Verfahren (200) nach Anspruch 7, wobei der Verarbeitungsschritt ferner ein Multiplizieren des Magnitudenbildes mit einem der unter einer Umgebungsbeleuchtungsbedingung aufgenommenen Bilder, das mit Faltungs- und Dilatationsoperationen verarbeitet wird, umfasst und wobei das multiplizierte Bild das ausgegebene verarbeitete Bild ist.
9. System (100) zum Detektieren eines Defekts auf einer Oberfläche (112) eines Objekts (110), umfassend: eine Plattform (120) zum Tragen des Objekts (110); mehrere Beleuchtungsquellen (150, 160), die mindestens eine Umgebungsbeleuchtungsquelle (150) und mindestens eine Dunkelfeldbeleuchtungsquelle (160) umfassen, zum Beleuchten der Oberfläche (112) des Objekts (110); eine Bilderfassungseinrichtung (140) zum Aufnehmen von Bildern der Oberfläche (112) des Objekts (110) unter Beleuchtungsbedingungen mit den Beleuchtungsquellen (150, 160); und einen Bildprozessor (180) zum: Verarbeiten der aufgenommenen Bilder mit mehreren Bildoperationen, um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche (112) des Objekts (110) zu detektieren; Ausschneiden des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern; Zusammenfügen der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche (112) des Objekts (110) zu erzeugen; Klassifizieren der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist, wobei der Klassifizierer mit Trainingsdaten trainiert wird, die Charakteristiken des echten Defekts aufweisen; und Erzeugen einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche (112) des Objekts (110) umfasst.
10. Computerprogramm, das durch einen Bildprozessor (180) eines Computers zum Durchführen eines Verfahrens (200) zum Detektieren eines Defekts auf einer Oberfläche (112) eines Objekts (110) ausgeführt werden kann, wobei der Computer Bilder der Oberfläche (112) des Objekts (110) unter Beleuchtungsbedingungen mit Beleuchtungsquellen (150, 160), die mindestens eine Umgebungsbeleuchtungsquelle (150) und mindestens eine Dunkelfeldbeleuchtungsquelle (160) umfassen, speichert, wobei das Verfahren (200) die folgenden Schritte umfasst: Verarbeiten der aufgenommenen Bilder mit mehreren Bildoperationen, um einen Bereich eines potenziellen Defekts an einer Position auf der Oberfläche (112) des Objekts (110) zu detektieren; Ausschneiden des Bereichs des potenziellen Defekts aus den verarbeiteten Bildern zu Teilbildern; Zusammenfügen der Teilbilder, um eine Hypothese des potenziellen Defekts an der Position auf der Oberfläche (112) des Objekts (110) zu erzeugen; Klassifizieren der Hypothese in dem zusammengefügten Bild mit einem Klassifizierer, um zu bestimmen, ob der potenzielle Defekt ein echter Defekt ist, wobei der Klassifizierer mit Trainingsdaten klassifiziert wird, die Charakteristiken des echten Defekts aufweisen; und Erzeugen einer Ausgabe der Klassifikation, die den detektierten echten Defekt und die Position auf der Oberfläche (112) des Objekts (110) umfasst.

Images