DE102013215791A1

DE102013215791A1 - lnspektionssystem mit maschineller Bilderkennung, das zwei Kameras mit einem Drehversatz aufweist

Info

Publication number: DE102013215791A1
Application number: DE102013215791.6A
Authority: DE
Inventors: Mark Lawrence Delaney
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2012-08-22
Filing date: 2013-08-09
Publication date: 2014-02-27
Also published as: US8937654B2; JP2014041128A; US20140055604A1

Abstract

Ein Inspektionssystem mit maschineller Bilderkennung weist einen optischen Teil auf, welcher ein Bild eines Sichtfelds von einem Werkstück liefert, welches ein vergrößertes Bild sein kann. Eine erste Kamera und eine zweite Kamera sind so konfiguriert, dass sie ein erstes und ein zweites Bild eines gemeinsam genutzten oder gemeinsamen Sichtfelds vom Werkstück liefern, und sind so angeordnet, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist. Eine Signalverarbeitung stellt eine Kantenmessung eines Kantenmerkmals innerhalb des gemeinsamen Sichtfelds bereit und entscheidet, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung (bezüglich des Pixelmusters jeder Kamera) um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht.

Description

Gebiet
Die Erfindung betrifft allgemein Inspektionssysteme mit maschineller Bilderkennung und insbesondere eine präzise Kantenlokalisierung.
Hintergrund
Präzisions-Inspektionssysteme mit maschineller Bilderkennung (oder kurz ”Bilderkennungssysteme”) können verwendet werden, um präzise Größenmessungen überprüfter Objekte zu erzielen und verschiedene weitere Objekteigenschaften zu überprüfen. Solche Systeme können einen Computer, ein Kamera- und Optiksystem und einen Präzisionstisch, welcher in mehreren Richtungen beweglich ist, enthalten, um eine Werkstückinspektion zu ermöglichen. Ein beispielhaftes, dem Stand der Technik entsprechendes System, welches sich als ein Allzweck-”Offline”-Präzisions-Bilderkennungssystem beschreiben lässt, ist die handelsübliche QUICK VISION^®-Serie von Bilderkennungssystemen auf PC-Basis und die QVPAK^®-Software, welche von der in Aurora, Illinois ansässigen Mitutoyo America Corporation (MAC) erhältlich sind. Die Merkmale und die Arbeitsweise der QUICK VISION^®-Serie von Bilderkennungssystemen und der QVPAK^®-Software sind zum Beispiel in der Betriebsanleitung zum QVPAK 3D-CNC-Bilderkennungs-Messgerät, veröffentlicht im Januar 2003, und der Bedienungsanleitung zum QVPAK 3D-CNC-Bilderkennungs-Messgerät, veröffentlicht im September 1996, welche hiermit jeweils in ihrer Gesamtheit durch Verweis einbezogen werden, allgemein beschrieben. Diese Art von System ist in der Lage, eine mikroskopartige Optik zu verwenden und den Tisch zu bewegen, um Inspektionsbilder kleiner oder relativ großer Werkstücke bei verschiedenen Vergrößerungen zu liefern.
Allzweck-Präzisions-Inspektionssysteme mit maschineller Bilderkennung wie das QUICK VISION^TM-System sind auch im Allgemeinen programmierbar, um eine automatisierte Videoinspektion bereitzustellen. Solche Systeme weisen üblicherweise Merkmale graphischer Benutzeroberflächen und vordefinierte Bildanalyse-”Videowerkzeuge” auf, so dass Betrieb und Programmierung von ”unkundigen” Bedienern durchgeführt werden können. Zum Beispiel zeigt das US-Patent Nr. 6 542 180 , welches in seiner Gesamtheit durch Verweis hierin einbezogen wird, ein Bilderkennungssystem, welches eine automatisierte Videoinspektion verwendet, welche den Einsatz verschiedener Videowerkzeuge umfasst. Zu beispielhaften Videowerkzeugen zählen Kantenlokalisierungswerkzeuge, welche manchmal als ”Box-Tools” bezeichnet werden, welche zum Lokalisieren eines Kantenmerkmals eines Werkstücks dienen. Zum Beispiel zeigt das gemeinsam übertragene US-Patent Nr. 7 627 162 , welches in seiner Gesamtheit durch Verweis hierin einbezogen wird, verschiedene Anwendungen von Box-Tools.
Einigen Fachleuten für Präzisions-Inspektion mit maschineller Bilderkennung ist bekannt, dass, wenn scharfe Kantenmerkmale (z. B. binäre Kanten) mit einer Achse eines Pixelmusters einer Kamera fluchten, Präzisions-Kantenlokalisierungsmessungen an Digitalisierungsfehlern kranken (z. B. infolge Sub-Nyquist-Abtastung) und Messungen mit Subpixel-Auflösung an entsprechenden Messfehlern kranken können. In einer Abhandlung mit dem Titel "Error Analysis of Subpixel Edge Localization" von Patrick Mikulastik et al. kamen die Autoren einer Abtastrate höherer Auflösung für gerade Kanten näher, indem sie eine gerade Kante relativ zu den Pixelspalten in einer Kamera gezielt drehten, so dass verschiedene Pixelzeilen die Kante mit einem geringen Versatz relativ zueinander ”abtasten”. Jedoch werden Präzisions-Inspektionssysteme mit maschineller Bilderkennung häufig von relativ unerfahrenen Benutzern, die sich solcher Überlegungen nicht bewusst sind, programmiert und bedient, und ein solches Verfahren ist für solche Benutzer möglicherweise nicht verständlich und/oder durchführbar. Ein Präzisions-Bilderkennungssystem, welches unerfahrenen Benutzern hilft, die oben grob dargestellten Fehler zu vermeiden, wäre wünschenswert. Ein Inspektionssystem mit maschineller Bilderkennung, welches so konfiguriert ist, dass diese Arten von Digitalisierungsfehlern verringert oder beseitigt werden, ohne dass ein Benutzer sich solcher Fehler ausdrücklich bewusst sein muss, wäre höchst wünschenswert.
Kurzbeschreibung
Diese Kurzbeschreibung dient dazu, eine Auswahl von Konzepten in einer vereinfachten Form einzuführen, welche unten in der ausführlichen Beschreibung weiter beschrieben werden. Diese Kurzbeschreibung ist nicht dazu gedacht, Hauptmerkmale des beanspruchten Gegenstands zu identifizieren, und sie ist auch nicht zur Verwendung als eine Unterstützung beim Ermitteln des Umfangs des beanspruchten Gegenstands gedacht.
Viele Benutzer von Inspektionssystemen mit maschineller Bilderkennung neigen dazu, zu vermessende Kanten instinktiv so auszurichten, dass sie fast senkrecht oder waagerecht in einem Bild liegen. Dies hat zur Folge, dass die Kante mit den Spalten oder Zeilen in einem Pixelmuster der Systemkamera fluchtet, was Fehler erzeugen kann wie oben grob dargestellt und unten ausführlicher beschrieben.
Hierin werden ein System und ein Verfahren zum Unterdrücken potentieller Kantenlokalisierungs-Messfehler, die von der Kantenmerkmal-Ausrichtung in einem Inspektionssystem mit maschineller Bilderkennung abhängen, offenbart. Die Systeme und Verfahren sind so konfiguriert, dass sie ein starkes Fluchten eines Kantenmerkmals mit einer Achse eines Pixelmusters (z. B. einer Zeilen- oder Spaltenachse) in einem Inspektionssystem mit maschineller Bilderkennung erkennen und mit diesem Fluchten zusammenhängende Fehler auf eine schnelle und zweckdienliche Weise kompensieren und/oder vermeiden. Dies führt zu einer besseren Wiederholbarkeit und Genauigkeit bei Kantenlokalisierungsmessungen, insbesondere bei mit Subpixel-Auflösung und -Genauigkeit zu lokalisierenden Kanten. Die entsprechenden Operationen des Systems und Verfahrens können für einen Benutzer transparent sein, und deshalb erfordern das hierin offenbarte System und Verfahren kein Bewusstsein beim Benutzer und keine Bedienvorgänge, welches bzw. welche die Fähigkeiten eines relativ unqualifizierten Benutzers übersteigt bzw. übersteigen.
Ein Inspektionssystem mit maschineller Bilderkennung wird offenbart. Das Inspektionssystem mit maschineller Bilderkennung weist einen optischen Teil, welcher so konfiguriert ist, dass er ein Bild eines Sichtfelds von einem Werkstück (welches ein vergrößertes Bild sein kann) liefert, eine erste Kamera, welche so konfiguriert ist, dass sie ein erstes Bild des Sichtfelds vom Werkstück liefert, und eine zweite Kamera, welche so konfiguriert ist, dass sie ein zweites Bild des Sichtfelds vom Werkstück liefert, auf. Die erste Kamera und die zweite Kamera nutzen ein gemeinsames Sichtfeld gemeinsam, und die erste und die zweite Kamera sind so angeordnet, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist. Das Inspektionssystem mit maschineller Bilderkennung weist eine Signalverarbeitung auf, welche eine Kantenmessung eines Kantenmerkmals innerhalb des durch jede Kamera abgebildeten gemeinsamen Sichtfelds bereitstellt und entscheidet, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht. In einigen Ausführungsformen wird eine jeweilige Kantenorientierung durch Anlegen einer Linie an die Kantenpunkte einer jeweiligen Kante und Ermitteln einer Orientierungsdifferenz zwischen der angelegten Linie und einer bekannten Orientierung einer Pixelachse der zugehörigen Kamera ermittelt. In weiteren Ausführungsformen wird ermittelt, dass die jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, indem die Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen eines zum Vermessen der jeweiligen Kante verwendeten Videowerkzeugs analysiert wird und ermittelt wird, dass die jeweilige Kantenorientierung um die Orientierungsdifferenz-Schwelle von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, wenn die Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen des Videowerkzeugs eine kombinierte Abtastdichte, welche dem Orientierungsdifferenz-Schwellenbetrag oder mehr entspricht, bereitstellt.
In einigen Ausführungsformen ist die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens ein Grad gedreht.
In einigen Ausführungsformen ist die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um höchstens zehn Grad gedreht.
In einigen Ausführungsformen ist die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens den doppelten Betrag der Orientierungsdifferenz-Schwelle gedreht.
Ein Verfahren zum Erkennen eines starken Fluchtens von Werkstückkanten-Merkmalen mit einer Zeile oder Spalte eines Pixelmusters in einer Kamera eines Inspektionssystems mit maschineller Bilderkennung und zum Kompensieren und/oder Vermeiden von mit dem starken Fluchten zusammenhängenden Fehlern wird offenbart. Das Verfahren umfasst das Bereitstellen eines Inspektionssystems mit maschineller Bilderkennung, welches einen optischen Teil, eine erste Kamera und eine zweite Kamera aufweist, wobei die erste Kamera und die zweite Kamera ein gemeinsames Sichtfeld gemeinsam nutzen und die erste und die zweite Kamera so angeordnet sind, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist. Das Verfahren umfasst ferner das Bereitstellen eines Bildes eines Sichtfelds von einem Werkstück mittels des Optikteils (welches ein vergrößertes Bild sein kann), das Erhalten eines ersten Bildes des Sichtfelds vom Werkstück mit der ersten Kamera, das Erhalten eines zweiten Bildes des Sichtfelds vom Werkstück mit der zweiten Kamera und das Bereitstellen einer Kantenmessung eines Kantenmerkmals innerhalb des gemeinsamen Sichtfelds auf der Grundlage mindestens eines des ersten und des zweiten Bildes. Das Bereitstellen der Kantenmessung umfasst das Entscheiden, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht. Man wird erkennen, dass die oben grob dargestellten Systeme und Verfahren vorteilhaft für Präzisions-Inspektionsoperationen mit maschineller Bilderkennung (z. B. für Inspektionssysteme mit maschineller Bilderkennung, welche 1×-, 5×-, 10×-Vergrößerung usw. enthalten) und besonders vorteilhaft für Kantenlokalisierungen mit Subpixel-Auflösung und/oder -Genauigkeit (z. B. im Mikrometer- oder Submikrometerbereich) sind.
Kurzbeschreibung der Zeichnungen
Die vorerwähnten Aspekte und viele der begleitenden Vorteile dieser Erfindung wird man leichter erkennen, wenn dieselben durch die nachfolgende ausführliche Beschreibung in Verbindung mit den folgenden beigefügten Zeichnungen besser verständlich werden:
1 ist eine Zeichnung, welche verschiedene übliche Komponenten eines Allzweck-Präzisions-Inspektionssystems mit maschineller Bilderkennung zeigt;
2 ist ein Blockschaubild eines Steuerungssystem-Teils und eines Bilderkennungskomponenten-Teils eines Inspektionssystems mit maschineller Bilderkennung ähnlich demjenigen in 1, welches zwei gemäß hierin beschriebenen Prinzipien konfigurierte Kameras aufweist;
3 ist eine schematische Darstellung eines optischen Teils eines Inspektionssystems mit maschineller Bilderkennung, welches zwei gemäß hierin offenbarten Prinzipien konfigurierte Kameras aufweist;
Die 4A und 4B zeigen und vergleichen ein abgebildetes Sichtfeld wie in der ersten und der zweiten Kamera abgebildet sowie zusätzliche Merkmale zur Erklärung einer Ausführungsform einer Kameraanordnung und entsprechender Merkmale eines Inspektionssystems mit maschineller Bilderkennung (z. B. Benutzeroberflächen-Merkmale) gemäß hierin offenbarten Prinzipien;
5 ist ein Schaubild, welches eine schematische Fehlerkurve zeigt, die qualitativ veranschaulicht, wie Unterabtastung oder Digitalisierung bei einer scharfen oder binären Kante an verschiedenen Stellen der Kante entlang eines Pixelmusters zu Subpixel-Interpolationsfehlern (Unterabtastungsfehlern) führen kann; und
6 ist ein Ablaufplan eines Verfahrens zum Verringern potentieller Unterabtastungs- oder Digitalisierungsfehler infolge starken Fluchtens einer Kantenorientierung mit einer Kamera-Pixelmuster-Orientierung bei Inspektions-Kantenlokalisierungsmessungen mit maschineller Bilderkennung.
Ausführliche Beschreibung der bevorzugten Ausführungsform
1 ist eine Zeichnung eines beispielhaften Inspektionssystems mit maschineller Bilderkennung 10, welches gemäß hierin beschriebenen Verfahren verwendbar ist. Das Inspektionssystem mit maschineller Bilderkennung 10 enthält ein Bilderkennungs-Messgerät 12, welches zum Austausch von Daten und Steuersignalen mit einem Steuercomputersystem 14 funktionstauglich angeschlossen ist. Das Steuercomputersystem 14 ist ferner zum Austausch von Daten und Steuersignalen mit einem Bildschirm oder einer Anzeige 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 funktionstauglich angeschlossen. Der Bildschirm oder die Anzeige 16 kann eine zum Steuern und/oder Programmieren der Operationen des Inspektionssystems mit maschineller Bilderkennung 10 geeignete Benutzeroberfläche anzeigen.
Das Bilderkennungs-Messgerät 12 enthält einen beweglichen Werkstücktisch 32 und ein optisches Abbildungssystem 34, welches eine Zoomlinse oder auswechselbare Linsen enthalten kann. Die Zoomlinse oder die auswechselbaren Linsen stellen gewöhnlich verschiedene Vergrößerungen für die vom optischen Abbildungssystem 34 gelieferten Bilder bereit. Das Inspektionssystem mit maschineller Bilderkennung 10 ist allgemein mit der QUICK VISION^®-Serie von Bilderkennungssystemen und der oben erörterten QVPAK^®-Software sowie ähnlichen dem Stand der Technik entsprechenden, handelsüblichen Präzisions-Inspektionssystemen mit maschineller Bilderkennung vergleichbar. Das Inspektionssystem mit maschineller Bilderkennung 10 ist auch in den gemeinsam übertragenen US-Patenten Nr. 7 454 053 , 7 324 682 , 8 111 905 und 8 111 938 , welche jeweils in ihrer Gesamtheit durch Verweis hierin einbezogen werden, beschrieben.
2 ist ein Blockschaubild eines Steuerungssystem-Teils 120 und eines Bilderkennungskomponenten-Teils 200 eines Inspektionssystems mit maschineller Bilderkennung 100 ähnlich dem Inspektionssystem mit maschineller Bilderkennung in 1, welches zwei gemäß hierin beschriebenen Prinzipien konfigurierte Kameras aufweist. Wie unten noch ausführlicher beschrieben werden wird, wird der Steuerungssystem-Teil 120 verwendet, um den Bilderkennungskomponenten-Teil 200 zu steuern. Der Bilderkennungskomponenten-Teil 200 enthält einen Optikbaugruppen-Teil 205, Lichtquellen 220, 230 und 240 und einen Werkstücktisch 210 mit einem zentralen transparenten Teil 212. Der Werkstücktisch 210 ist entlang einer X- und einer Y-Achse, welche in einer Ebene liegen, die gewöhnlich parallel zur Oberfläche des Tischs, wo ein Werkstück 20 positioniert werden kann, liegt, steuerbar beweglich. Der Optikbaugruppen-Teil 205 enthält eine erste Kamera 260, eine zweite Kamera 260', einen Strahlteiler 291, eine auswechselbare Objektivlinse 250 und kann eine Revolverlinsen-Baugruppe 280 mit Linsen 286 und 288 enthalten. Alternativ zur Revolverlinsen-Baugruppe kann eine feste oder auswechselbare vergrößerungsverändernde Linse oder eine Zoomlinsenkonfiguration oder dergleichen enthalten sein. Eine auswechselbare Linse kann von Hand oder automatisch gewechselt werden.
Der Optikbaugruppen-Teil 205 ist entlang einer Z-Achse, welche gewöhnlich orthogonal zur X- und zur Y-Achse liegt, mittels eines steuerbaren Motors 294, welcher ein Stellorgan zum Bewegen des Optikbaugruppen-Teils 205 entlang der Z-Achse antreibt, steuerbar beweglich, um die Fokussierung des Bildes des Werkstücks 20 zu ändern. Der steuerbare Motor 294 ist über eine Signalleitung 296 mit der Eingabe-/Ausgabeschnittstelle 130 verbunden.
Ein Werkstück 20 oder eine Schale oder eine Aufnahmevorrichtung, die eine Vielzahl von Werkstücken 20 enthält, welches bzw. welche mittels des Inspektionssystems mit maschineller Bilderkennung 100 abgebildet werden soll, wird auf den Werkstücktisch 210 gelegt. Der Werkstücktisch 210 kann so gesteuert werden, dass er sich relativ zum Optikbaugruppen-Teil 205 bewegt, so dass die auswechselbare Objektivlinse 250 sich zwischen Stellen auf einem Werkstück 20 und/oder einer Vielzahl von Werkstücken 20 bewegt. Entweder ein Tischlicht 220, ein Koaxiallicht 230, ein Oberflächenlicht 240 (z. B. ein Ringlicht) oder mehrere davon kann bzw. können Quelllicht 222, 232 bzw. 242 ausstrahlen, um das Werkstück oder die Werkstücke 20 zu beleuchten. Die Lichtquelle 230 kann Licht 232 entlang eines einen Spiegel 290 enthaltenden Wegs ausstrahlen. Das Quelllicht wird als Werkstücklicht 255 reflektiert oder durchgelassen, und das zum Abbilden verwendete Werkstücklicht durchläuft die auswechselbare Objektivlinse 250 und die Revolverlinsen-Baugruppe 280 und wird von der ersten Kamera 260 und der zweiten Kamera 260' aufgenommen. Die Bilder des Werkstücks (der Werkstücke) 20 von der ersten Kamera 260 und der zweiten Kamera 260' werden auf einer Signalleitung 262 an den Steuerungssystem-Teil 120 ausgegeben. Die Lichtquellen 220, 230 und 240 können über Signalleitungen oder Busse 221, 231 bzw. 241 mit dem Steuerungssystem-Teil 120 verbunden sein. Zum Ändern der Bildvergrößerung kann der Steuerungssystem-Teil 120 die Revolverlinsen-Baugruppe 280 über eine Signalleitung oder einen Bus 281 entlang einer Achse 284 drehen, um eine Revolverlinse auszuwählen.
Die erste Kamera 260 und die zweite Kamera 260' sind so konfiguriert, dass sie ein erstes und ein zweites Bild (welche vergrößerte Bilder sein können) eines gemeinsam genutzten Sichtfelds vom Werkstück 20 liefern, und die erste und die zweite Kamera sind so angeordnet, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist, wie unten ausführlicher beschrieben.
Wie in 2 gezeigt, enthält der Steuerungssystem-Teil 120 in verschiedenen beispielhaften Ausführungsformen eine Steuerung 125, die Eingabe-/Ausgabeschnittstelle 130, einen Speicher 140, eine Werkstückprogramm-Erzeugungs- und -Ausführungseinrichtung 170 und einen Stromversorgungs-Teil 190. Jede dieser Komponenten sowie die unten beschriebenen zusätzlichen Komponenten können durch einen oder mehrere Daten-/Steuerbusse und/oder Anwenderprogramm-Schnittstellen oder durch direkte Verbindungen zwischen den verschiedenen Elementen untereinander verbunden sein.
Die Eingabe-/Ausgabeschnittstelle 130 enthält eine Abbildungssteuerungs-Schnittstelle 131, eine Bewegungssteuerungs-Schnittstelle 132, eine Beleuchtungssteuerungs-Schnittstelle 133 und eine Linsensteuerungs-Schnittstelle 134. Die Bewegungssteuerungs-Schnittstelle 132 kann ein Positionssteuerelement 132a und ein Geschwindigkeits-/Beschleunigungssteuerelement 132b enthalten, obwohl solche Elemente vereinigt und/oder nicht voneinander zu unterscheiden sein können. Die Beleuchtungssteuerungs-Schnittstelle 133 enthält Beleuchtungssteuerelemente 133a bis 133n und 133fl, welche zum Beispiel die Auswahl, Stromversorgung, Ein/Aus-Schalter und Ausblendimpuls-Zeitsteuerung, sofern zutreffend, für die verschiedenen entsprechenden Lichtquellen des Inspektionssystems mit maschineller Bilderkennung 100 steuern.
Der Speicher 140 kann einen Bilddateienspeicher-Teil 141, einen Werkstückprogrammspeicher-Teil 142, welcher ein oder mehrere Teileprogramme oder dergleichen enthaften kann, und einen Videowerkzeug-Teil 143 enthalten. Der Videowerkzeug-Teil 143 enthält einen Videowerkzeug-Teil 143a und weitere Videowerkzeug-Teile (z. B. 143n), welche die graphische Benutzeroberfläche, der Bildverarbeitungsoperation usw. für jedes der entsprechenden Videowerkzeuge bestimmen, und eine ”Region-of-interest”-(ROI-)Erzeugungseinrichtung 143roi, welche automatische, halbautomatische und/oder manuelle Operationen unterstützt, welche verschiedene ROIs definieren, welche in verschiedenen im Videowerkzeug-Teil 143 enthaltenen Videowerkzeugen funktionstauglich sind. Zusätzlich enthält der Videowerkzeug-Teil 143 ein Kantenlokalisierungswerkzeug 143el, welches zum Beispiel gemäß bezüglich des Box-Tool in der Bedienungsanleitung zum QVPAK 3D-CNC-Bilderkennungs-Messgerät beschriebenen Kantenlokalisierungsoperationen arbeiten kann und welches eine Signalverarbeitung enthalten kann, um die hierin offenbarten Verfahren zum Verwenden der Bilder von der ersten und der zweiten Kamera 260 und 260' zu realisieren. Insbesondere weist der Steuerungssystem-Teil 120 eine Signalverarbeitung auf, welche in Verbindung mit dem Kantenlokalisierungswerkzeug 143el verwendet wird, um eine Kantenmessung eines Kantenmerkmals innerhalb des durch jede der ersten und der zweiten Kamera abgebildeten gemeinsamen Sichtfelds bereitzustellen, und entscheidet, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, wie unten ausführlicher beschrieben.
Im Kontext dieser Offenbarung und wie einem Durchschnittsfachmann bekannt, bezeichnet der Begriff Videowerkzeug gewöhnlich einen relativ komplexen Satz von automatischen oder programmierten Operationen, welche ein Benutzer maschineller Bilderkennung über eine relativ einfache Benutzeroberfläche (z. B. eine graphische Benutzeroberfläche, Editierbare-Parameter-Fenster, Menüs und dergleichen) realisieren kann, ohne die schrittweise Sequenz im Videowerkzeug enthaltener Operationen zu erstellen oder auf eine verallgemeinerte zeichenorientierte Programmiersprache zurückzugreifen oder dergleichen. Zum Beispiel kann ein Videowerkzeug einen komplexen vorprogrammierten Satz von Bildverarbeitungsoperationen und -berechnungen enthalten, welche durch Einstellen einiger Variablen oder Parameter, welche für die Operationen und Berechnungen maßgebend sind, in einer speziellen Ausprägung angewendet und angepasst werden. Zusätzlich zu den zugrundeliegenden Operationen und Berechnungen enthält das Videowerkzeug die Benutzeroberfläche, welche dem Benutzer gestattet, diese Parameter für eine spezielle Ausprägung des Videowerkzeugs einzustellen. Zum Beispiel gestatten viele Bilderkennungs-Videowerkzeuge einem Benutzer, durch einfache ”Handgriff-Ziehvorgänge” mittels einer Maus einen graphischen ”Region-of-interest”-(ROI-)Anzeiger zu konfigurieren, um die Lokalisierungsparameter einer Teilmenge eines Bildes, welche durch die Bildverarbeitungsoperationen einer speziellen Ausprägung eines Videowerkzeugs analysiert werden soll, zu definieren. Es ist zu beachten, dass die sichtbaren Benutzeroberflächen-Merkmale manchmal als das Videowerkzeug bezeichnet werden, wobei die zugrundeliegenden Operationen unausgesprochen enthalten sind.
Die Signalleitungen oder Busse 221, 231 und 241 des Tischlichts 220, der Koaxiallichter 230 und 230' bzw. des Oberflächenlichts 240 sind alle mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 von der ersten Kamera 260 und der zweiten Kamera 260' und die Signalleitung 296 vom steuerbaren Motor 294 sind mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Zusätzlich zum Übertragen von Bilddaten kann die Signalleitung 262 ein Signal von der Steuerung 125 übertragen, welches die Bilderfassung einleitet.
Eine oder mehrere Anzeigevorrichtungen 136 (z. B. die Anzeige 16 in 1) und eine oder mehrere Eingabevorrichtungen 138 (z. B. der Joystick 22, die Tastatur 24 und die Maus 26 in 1) können auch mit der Eingabe-/Ausgabeschnittstelle 130 verbunden sein. Die Anzeigevorrichtungen 136 und Eingabevorrichtungen 138 können verwendet werden, um eine Benutzeroberfläche anzuzeigen, welche verschiedene Merkmale einer graphischen Benutzeroberfläche (GUI) enthalten kann, die verwendbar sind, um Inspektionsoperationen durchzuführen und/oder Teileprogramme zu erstellen und/oder zu ändern, die durch die erste Kamera 260 und die zweite Kamera 260' erfassten Bilder anzuzeigen und/oder den Bilderkennungssystemkomponenten-Teil 200 direkt zu steuern.
In verschiedenen beispielhaften Ausführungsformen erzeugt ein Benutzer, wenn er das Inspektionssystem mit maschineller Bilderkennung 100 verwendet, um ein Teileprogramm für das Werkstück 20 zu erstellen, durch Betreiben des Inspektionssystems mit maschineller Bilderkennung 100 in einem Lernmodus Teileprogramm-Anweisungen, um eine gewünschte Bilderfassungs-Trainingssequenz bereitzustellen. Zum Beispiel kann eine Trainingssequenz das Positionieren eines bestimmten Werkstückmerkmals eines typischen Werkstücks im Sichtfeld (FOV), das Einstellen von Helligkeitsgraden, das Fokussieren oder Autofokussieren, das Erfassen eines Bildes und das Bereitstellen einer (z. B. unter Verwendung einer Ausprägung eines der Videowerkzeuge für dieses Werkstückmerkmal) auf das Bild angewendeten Inspektions-Trainingssequenz enthalten. Der Lernmodus arbeitet so, dass die Sequenz(en) erfasst oder aufgezeichnet und in entsprechende Teileprogramm-Anweisungen umgewandelt werden. Bei Ausführung des Teileprogramms veranlassen diese Anweisungen das Inspektionssystem mit maschineller Bilderkennung, die trainierten Bilderfassungs- und Inspektionsoperationen zu reproduzieren, um dieses bestimmte Werkstückmerkmal (das heißt, das entsprechende Merkmal an der entsprechenden Stelle) an einem Betriebs-Werkstück oder an Betriebs-Werkstücken, welches bzw. welche mit dem beim Erstellen des Teileprogramms verwendeten typischen Werkstück übereinstimmt bzw. übereinstimmen, automatisch zu überprüfen. Die hierin offenbarten und beanspruchten Operationen können während Lernmodus-Operationen realisiert werden, wobei entschieden wird, welches der Bilder von der ersten Kamera 260 und der zweiten Kamera 260' der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht. Danach kann das Teileprogramm widerspiegeln, dass während des Betriebs nur die festgesetzte erste und/oder zweite Kamera der Kantenmessung zugrundegelegt wird.
3 ist eine schematische Darstellung, welche ausgewählte Teile der Optikbaugruppe 205 des Inspektionssystems mit maschineller Bilderkennung 100 ausführlicher zeigt, darunter zwei gemäß den hierin offenbarten Prinzipien konfigurierte Kameras. 3 zeigt die erste Kamera 260, die zweite Kamera 260', den Strahlteiler 291 und die Objektivlinse 250. Zur Vereinfachung sind Beleuchtungsteile in 3 nicht gezeigt. Man sollte erkennen, dass jeder geeignete Beleuchtungsteil oder jede geeignete Kombination von Beleuchtungsteilen wie Tischlicht 220, Koaxiallicht 230 und Oberflächenlicht 240 (in 2 gezeigt) in Verbindung mit den in 3 gezeigten Komponenten verwendet werden kann.
Das ein Kantenmerkmal 325 aufweisende Werkstück 20 wird in das Sichtfeld der Optikbaugruppe 205 gelegt. Die Optikbaugruppe 205 liefert ein Bild (z. B. ein vergrößertes Bild, in einigen Ausführungsformen) eines Sichtfelds vom Werkstück 20 entlang der optischen Achse OA. Der Strahlteiler 291 teilt Bildlicht aus dem Sichtfeld vom Werkstück 20 an einer Strahlteilungs-Oberfläche 291A und überträgt und reflektiert Bildlicht entlang optischer Achsen OA1 und OA2 an einer teildurchlässigen Oberfläche 291B, um der ersten Kamera 260 bzw. der zweiten Kamera 260' erstes bzw. zweites Bildlicht zu liefern. Die erste Kamera 260 und die zweite Kamera 260' liefern somit ein erstes Bild und ein zweites Bild eines gemeinsam genutzten oder gemeinsamen Sichtfelds vom Werkstück 20, welches das Kantenmerkmal 325 aufweist. Mit dem durch die in 3 gezeigten Komponenten bereitgestelltem ersten und zweiten Bild zusammenhängende Benutzeroberflächen- und Signalverarbeitungsoperationen werden unten unter Bezugnahme auf 4A und 4B ausführlicher beschrieben.
Wie in der in 3 gezeigten Ausführungsform schematisch veranschaulicht, wird das gemeinsame Sichtfeld mit einer Sichtfeld-Orientierung FVO (einer drehenden Orientierung um die optische Achse OA1), welche einen Drehversatz RO-0 relativ zu einer Orientierung der Pixelmuster-Achse PAA (einer drehenden Orientierung einer Zeilen- oder Spaltenachse des Pixelmusters um die optische Achse OA1) der ersten Kamera aufweist, auf den Matrixsensor 260A der ersten Kamera 260 abgebildet. Im in 3 gezeigten Beispiel ist der Drehversatz RO-0 null. Anders ausgedrückt, der Drehversatz der ersten Kamera kann als die Referenz für Drehversätze festgelegt sein, und ihr Drehversatz kann auf null festgelegt sein. Das gemeinsame Sichtfeld wird mit einer Sichtfeld-Orientierung FVO (einer drehenden Orientierung um die optische Achse OA2), welche einen anderen Drehversatz RO-Δ relativ zu einer Pixelmuster-Orientierung PAA' (einer drehenden Orientierung einer Zeilen- oder Spaltenachse des Pixelmusters um die optische Achse OA2) der zweiten Kamera aufweist, auf den Matrixsensor 260A' der zweiten Kamera 260 abgebildet. Anders ausgedrückt, der Drehversatz der zweiten Kamera kann relativ zur Referenzorientierung der ersten Kamera definiert sein, und in diesem Beispiel kann ihr Drehversatz relativ zur ersten Kamera ein Drehversatz RO-Δ sein, welcher bewirken kann, dass das Bild des Sichtfelds in der zweiten Kamera 260A' um den Drehversatz RO-Δ gedreht zu sein scheint.
Man sollte erkennen, dass dies eine Ausführungsform zum zweckdienlichen Anordnen der ersten und zweiten Kamera auf eine solche Weise ist, dass die erste Kamera 260 und die zweite Kamera 260' ein gemeinsames Sichtfeld gemeinsam nutzen und die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds 260 relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds 260' gedreht ist. Anders ausgedrückt sind die erste und die zweite Kamera so angeordnet, dass die Orientierung FVO des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds 260 relativ zur Orientierung der Pixelmuster-Achse PAA der ersten Kamera 260 um einen ersten Betrag RO-0 gedreht ist und die Orientierung FVO des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds 260' relativ zur Orientierung der Pixelmuster-Achse PAA' der zweiten Kamera 260' um einen zweiten Betrag RO-X, welcher vom ersten Betrag verschieden ist, gedreht ist.
Diese Ausführungsform entspricht darin einem Aspekt dieser Erfindung, dass die Orientierung eines in der ersten Kamera abgebildeten Kantenmerkmals eine erste Orientierungsdifferenz relativ zu Zeilen- oder Spaltenachsen des Pixelmusters der ersten Kamera aufweist und dieses Kantenmerkmal, in der zweiten Kamera abgebildet, eine andere Orientierungsdifferenz relativ zu den Zeilen- und/oder Spaltenachsen des Pixelmusters der zweiten Kamera aufweist. Wie zuvor grob dargestellt und weiter unten beschrieben, ist es für eine präzise (z. B. Subpixel-)Lokalisierung scharfer Kanten wünschenswert, dass die Orientierungsdifferenz zwischen einem Kantenmerkmal und den Zeilen- und/oder Spaltenachsen des Pixelmusters einen Orientierungsdifferenz-Schwellenbetrag übersteigt. Wenn die Pixelmuster-Orientierungen in den Kameras hinreichend verschieden sind, ist sichergestellt, dass eine in beiden Kameras abgebildete Kante den erforderlichen Orientierungsdifferenz-Schwellenbetrag in mindestens einer der Kameras übersteigt.
Da die zuvor erörterten Digitalisierungs- oder Unterabtastungsfehler tatsächlich durch Verwendung mehrerer jeweiliger Abtastzeilen, welche über das Kantenhelligkeitsprofil hinweg verschiedene jeweilige Pixellagen aufweisen, um das Kantenhelligkeitsprofil mit hoher räumlicher Auflösung abzutasten, zu vermeiden sind, kann der Orientierungsdifferenz-Schwellenbetrag in einigen Ausführungsformen von der Länge der Kante und/oder dem Abtastzeilenabstand abhängen. Zum Beispiel wenn Kantenerkennungs-Abtastzeilen 10 Mikrometer auseinanderliegen und in räumlichen Abständen von 0,5 Mikrometern oder weniger über ein abgebildetes Kantenprofil hinweg abgetastet werden soll, kann der erforderliche Orientierungsdifferenz-Schwellenbetrag ungefähr tan^–1(0,5/10) = 2,86 Grad betragen. Jedoch kann der erforderliche Orientierungsdifferenz-Schwellenbetrag, wenn die Kante lang genug ist, um 40 Mikrometer auseinanderliegende Kantenerkennungs-Abtastzeilen zu ermöglichen, ungefähr tan^–1(0,5/40) = 0,716 Grad betragen. In der Praxis kann eine unvorhersehbare Vielfalt von Messsituationen auftreten, und eine praktische, allgemeine Vorgabe-Orientierungsdifferenz-Schwelle kann in einigen Ausführungsformen und/oder zum Zweck der Einstellung der Orientierungsdifferenz zwischen den Pixelmustern der ersten und der zweiten Kamera verwendet werden. Zum Beispiel kann in einigen Ausführungsformen oder Anwendungen eine Vorgabe-Orientierungsdifferenz-Schwelle von mindestens einem Grad, zwei Grad, vier Grad oder mehr verwendet werden.
In einigen Ausführungsformen kann die Orientierungsdifferenz zwischen den Pixelmustern der ersten und der zweiten Kamera mindestens so groß wie ein Grad, zwei Grad, vier Grad oder größer sein. In einigen Ausführungsformen kann die Orientierungsdifferenz zwischen den Pixelmustern der ersten und der zweiten Kamera mindestens so groß wie das Doppelte eines Vorgabe-Orientierungsdifferenz-Schwellenbetrags sein, so dass sichergestellt ist, dass jedes abgebildete Kantenmerkmal bei mindestens einer der Kameras den Vorgabe-Orientierungsdifferenz-Schwellenbetrag übersteigt. In einigen Ausführungsformen kann die Orientierungsdifferenz zwischen den Pixelmustern der ersten und der zweiten Kamera auf höchstens 10 Grad begrenzt sein, was bestimmte Überlegungen zur Signalverarbeitung bezüglich Abtastzeilen- und/oder Kantenwerkzeug-Orientierungen relativ zu Zeilen- und/oder Spaltenachsen der Pixelmuster der ersten und/oder der zweiten Kamera vereinfachen kann. Man wird erkennen, dass die in 3 gezeigte Kamera- und Strahlteileranordnung nur beispielhaft und nicht beschränkend ist. Verschiedene weitere Anordnungen, welche (z. B. unter Verwendung anderer Strahlteiler-Formen, zusätzlicher Spiegel, in anderen Ebenen liegender Pixelmuster, zusätzlicher Linsen oder dergleichen) die oben grob dargestellten Funktionseigenschaften bereitstellen, sind für den Durchschnittsfachmann auf der Grundlage der hierin offenbarten Unterweisungen offensichtlich.
Die 4A und 4B zeigen und vergleichen ein abgebildetes Sichtfeld (oder kurz Bild) 400 und 400' wie in der ersten bzw. der zweiten Kamera abgebildet sowie zusätzliche Merkmale zur Veranschaulichung einer Ausführungsform einer Kameraanordnung und zugehöriger Merkmale eines Inspektionssystems mit maschineller Bilderkennung (z. B. Benutzeroberflächen-Merkmale) gemäß hierin offenbarten Prinzipien (z. B. der in 3 veranschaulichten Kameraanordnung). 4A zeigt das abgebildete Sichtfeld 400, welches durch die erste Kamera 260 abgebildet wird, welches in einer einen ”Region-of-interest”-Anzeiger ROIin (z. B. in Verbindung mit dem bezüglich 2 beschriebenen Kantenlokalisierungswerkzeug 143el) enthaltenden Benutzeroberfläche des Inspektionssystems mit maschineller Bilderkennung 100 enthalten sein kann. Zu Erläuterungszwecken sind verschiedene zuvor bezüglich 3 beschriebene Merkmale in 4A zum Vergleich überlagert, obwohl solche Merkmale möglicherweise nicht in der Benutzeroberfläche enthalten sind oder dem Benutzer angezeigt werden.
Wie in 4A gezeigt, ist die Orientierung der Pixelmuster-Achse PAA (z. B. der Achse in Richtung der Pixelspalten) relativ zum Bild durch eine überlagerte Linie dargestellt, welche als parallel zu einem senkrechten Rand des Bildes 400 ausgerichtet gezeigt ist. Auch eine Kantenorientierung EO der Kante 325 im Bild 400 ist durch eine durchgezogene Linie dargestellt. Zu Erläuterungszwecken sind in 4A beispielhafte analysierte Abtastzeilen SL und Kantenpunkte EP dargestellt. Die analysierten Abtastzeilen können in dieser speziellen Ausführungsform längs der Pixelzeilenrichtung orientiert sein. Außerdem ist zu sehen, dass die Kantenorientierung EO und die Orientierung der Pixelmuster-Achse PAA fast identisch sind. Daher erfolgt die Lokalisierung der Kantenpunkte EP über jede Abtastung hinweg bei der gleichen Pixellage, oder anders ausgedrückt, das Kantenhelligkeitsprofil wird in jeder Abtastzeile durch Pixel in der gleichen Raumlage über das Kantenhelligkeitsprofil hinweg ”abgetastet”. Gemäß 4A liefert somit jede Abtastzeile ungefähr die gleichen Informationen und ist die scharfe Kante 325 unterabgetastet. Daher können infolge dieser Unterabtastung Subpixel-Kantenlokalisierungsfehler auftreten, wie zuvor grob dargestellt und wie unten bezüglich 5 ausführlicher beschrieben.
4B zeigt das abgebildete Sichtfeld 400', welches durch die zweite Kamera 260' abgebildet wird. Eine ”Region of interest” ROI' im abgebildeten Sichtfeld 400' entspricht der ”Region of interest” ROI im Sichtfeld 400. Es versteht sich von selbst, dass in 4B veranschaulichte Merkmale zu Erläuterungszwecken dienen und in einer Benutzeroberfläche nicht angezeigt zu werden brauchen. Wie in 4B gezeigt, ist die Orientierung der Pixelmuster-Achse PAA' (z. B. der der Achse in Richtung der Pixelspalten des Pixelmusters der zweiten Kamera) relativ zum Bild durch eine überlagerte Linie dargestellt, welche als parallel zu einem senkrechten Rand des Bildes 400' ausgerichtet gezeigt ist. Der Drehversatz RO-Δ der Pixelmuster-Achse PAA' der zweiten Kamera ist zum Vergleich relativ zur Pixelmuster-Achse PAA der ersten Kamera gezeigt. Auch eine Kantenorientierung EO' der Kante 325 im Bild 400' ist durch eine durchgezogene Linie dargestellt. Es versteht sich von selbst, dass, während die Kantenorientierung der Kante 325 in diesem Beispiel mit der Pixelmuster-Achse PAA der ersten Kamera fluchtet, die Kantenorientierung EO' der Kante 325 infolge des Drehversatzes RO-Δ des Pixelmusters der zweiten Kamera relativ zur ersten den Drehversatz RO-Δ relativ zum Pixelmuster der zweiten Kamera aufweist.
Zu Erläuterungszwecken sind beispielhafte analysierte Abtastzeilen SL und Kantenpunkte EP in 4B dargestellt. In dieser Ausführungsform wird die Lage der ROI zweckdienlich relativ zur Kante 325 identisch gemacht. In einer Ausführungsform wird dies mühelos durch Kalibrieren des tatsächlichen Dreh- und Translationsversatzes jeder Kamera bezüglich eines Maschinenkoordinatensystems und Ausdrücken der Parameter der ROI hinsichtlich des Maschinenkoordinatensystems erledigt. Trotz der augenscheinlichen Drehung der ROI' kann jedoch die Signalverarbeitung in dieser speziellen Ausführungsform so konfiguriert sein, dass die analysierten Abtastzeilen längs der Pixelzeilen-Richtung der zweiten Kamera orientiert sind. Daher liegen die Kantenpunkte EP in 4B, im Gegensatz zum bezüglich der ersten Kamera beschriebenen Beispiel in 4A, über jede Abtastzeile hinweg bei anderen Pixellagen, wie durch die Räumliche-Abtastungs-Anzeiger-Linien SSI angegeben. Somit liefert jede Abtastzeile andere Informationen und kann das Helligkeitsprofil der scharfen Kante 325 gemäß 4B dicht abgetastet werden. Anders ausgedrückt, unter Verwendung der Vielzahl von Abtastzeilen wird das Kantenhelligkeitsprofil durch Pixel an eng beieinanderliegenden Stellen über das Kantenhelligkeitsprofil hinweg ”abgetastet”. Daher werden Subpixel-Kantenlokalisierungsfehler, welche sonst infolge Unterabtastung auftreten könnten, unterdrückt.
In der in 4B gezeigten Ausführungsform folgen die Abtastzeilen SL den Pixelzeilen der Kamera 260', und deshalb sind sie um den gleichen Drehversatz RO-Δ gedreht. Alternativ können die Abtastzeilen SL interpolierte Abtastzeilen sein, welche den Pixelzeilen der Kamera 260' nicht folgen. Solche Abtastzeilen können wie im gemeinsam übertragenen US-Patent Nr. 7 657 713 , welches hiermit in seiner Gesamtheit durch Verweis einbezogen wird, offenbart festgesetzt sein und können in der ersten Kamera 260 und der zweiten Kamera 260' verschieden gedreht sein, um den hierin offenbarten Prinzipien zu genügen. In der in 4B gezeigten Ausführungsform wird die Lage der ”Region of interest” ROI', gegenüber der in 4A gezeigten ”Region of interest” ROI, zweckdienlich relativ zur Kante 325 identisch gemacht. In verschiedenen Ausführungsformen ist dies jedoch nicht erforderlich. Es ist lediglich erforderlich, dass im zweiten Bild über einem annähernd gleichen Segment der Kante 325 mittels Abtastzeilen, welche relativ zur Kante 325 anders orientiert sind als die in 4A gezeigten Abtastzeilen SL, Kantenpunkte erkannt werden.
Nach Ausführung des Drehversatzes der zweiten Kamera relativ zur ersten Kamera ist sichergestellt, dass das Helligkeitsprofil einer beliebigen scharfen, geraden Kante stets in mindestens einer der Kameras für dichtes räumliches Abtasten richtig orientiert ist. In der in 4A und 4B gezeigten Ausführungsform nutzen das Sichtfeld-Bild 400 und das Sichtfeld-Bild 400' ein gemeinsames Sichtfeld gemeinsam, um eine Kantenmessung des Kantenmerkmals 325 bereitzustellen.
Im Betrieb liefert der Optikbaugruppen-Teil 205 ein Bild (z. B. ein vergrößertes Bild) eines Sichtfelds von einem Werkstück und genauer des Kantenmerkmals 325. Die erste Kamera 260 liefert ein erstes Bild des Sichtfelds des Kantenmerkmals 325 und die zweite Kamera 260' liefert ein zweites Bild des Sichtfelds vom Werkstück. Das Inspektionssystem mit maschineller Bilderkennung 100 weist eine Signalverarbeitung auf, welche eine Kantenmessung des Kantenmerkmals 325 innerhalb des durch die erste Kamera 260 und die zweite Kamera 260' abgebildeten gemeinsamen Sichtfelds bereitstellt und entscheidet, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht. Die Überlegungen bezüglich der Verwendung verschiedener Orientierungsdifferenz-Schwellenbeträge wurden zuvor grob dargestellt.
In der in 4A und 4B gezeigten Ausführungsform fluchtet die Kantenorientierung EO stark mit der Orientierung der Pixelmuster-Achse PAA der ersten Kamera 260, und somit weicht die Kantenorientierung EO um weniger als eine erwünschte Orientierungsdifferenz-Schwelle von der Orientierung der Pixelmuster-Achse PAA der ersten Kamera 260 ab, was bedeutet, dass die Kante 325 möglicherweise unterabgetastet ist. Im Gegensatz dazu weicht die Kantenorientierung EO' um einen bedeutenden Betrag von der Orientierung der Pixelmuster-Achse PAA' der zweiten Kamera 260' ab, und somit weicht die Kantenorientierung EO' um mehr als eine erwünschte Orientierungsdifferenz-Schwelle (z. B. ungefähr 5 Grad in diesem Beispiel) von der Orientierung der Pixelmuster-Achse PAA' der zweiten Kamera 260' ab. Dies bedeutet, dass die Kante im Bild der zweiten Kamera dicht abgetastet und genau lokalisiert werden kann, wie oben grob dargestellt. Deshalb entscheidet die Signalverarbeitung des Inspektionssystems mit maschineller Bilderkennung 100 auf dieser Grundlage, dass das dem Sichtfeld 400' entsprechende zweite Bild einer Kantenmessung des Kantenmerkmals 325 zugrundegelegt werden kann.
In einigen Ausführungsformen wird eine jeweilige Kantenorientierung durch eine Signalverarbeitung ermittelt, welche das Anlegen einer Linie an die Kantenpunkte einer jeweiligen Kante und das Ermitteln einer Orientierungsdifferenz zwischen der angelegten Linie und einer bekannten Orientierung einer Pixelachse der zugehörigen Kamera umfasst. In weiteren Ausführungsformen wird durch eine Signalverarbeitung, welche das Analysieren der Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen eines zum Vermessen der jeweiligen Kante verwendeten Videowerkzeugs und das Ermitteln umfasst, dass die jeweilige Kantenorientierung um die Orientierungsdifferenz-Schwelle von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, wenn die Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen des Videowerkzeugs eine kombinierte Abtastdichte bereitstellt, welche dem Orientierungsdifferenz-Schwellenbetrag oder mehr entspricht, ermittelt, dass die jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht.
5 ist ein Schaubild 500, welches eine schematische Fehlerkurve 510 zeigt, die qualitativ veranschaulicht, wie Unterabtastung oder Digitalisierung bei einer scharfen oder binären Kante an verschiedenen Stellen der Kante entlang einer Pixel A bis D enthaltenden Pixelzeile zu Subpixel-Interpolationsfehlern (z. B. E-B, E-B', E-BC, E-C' und E-C) führen kann. Insbesondere enthält die qualitative Fehlerkurve 510 Fehler bei Kantenpunkten (z. B. in den 4A und 4B gezeigten Kantenpunkten EP), welche auf einer Subpixel-Interpolation von Pixelwerten entlang einer Abtastzeile (z. B. in den 4A und 4B gezeigter Abtastzeilen SL) für verschiedene Stellen einer sehr scharfen Kante (z. B. einer fast ”binären” Kante) relativ zu Pixeln entlang der Abtastzeile beruhen.
Zur Vereinfachung nehmen wir an, dass in dieser Erörterung mit linearer Interpolation gearbeitet wird. In diesem Fall, unter Annahme einer fast binären Kante, hat Pixel B den auf einer Seite der Kante vorliegenden hohen Helligkeitswert und hat Pixel C den auf der anderen Seite der Kante vorliegenden niedrigen Helligkeitswert, wenn die Kante im Raum zwischen den Pixeln B und C liegt. Eine Interpolation zwischen diesen Messwerten (z. B. durch Identifizieren der Kante als Mitte zwischen diesen Werten oder als einen Punkt maximaler Steigung des durch die Pixel angezeigten Helligkeitsprofils) zeigt, dass die interpolierte Subpixel-Kantenlage sich in der Mitte zwischen den Pixeln B und C befindet. Wenn die Kante tatsächlich in der Mitte zwischen den Pixeln B und C liegt, ist der Interpolationsfehler somit null, wie beim Fehlerpunkt E-BC angezeigt. Jedoch reagieren die angrenzenden Pixel großenteils möglicherweise nicht auf Veränderungen der tatsächlichen Kantenlage, wenn diese im Raum zwischen Pixeln liegt, so dass, wenn die Kante tatsächlich rechts der Mitte zwischen den Pixeln B und C liegt, die tatsächliche Position positiver als die interpolierte Kantenlage ist, was einen negativen Fehler erzeugt, wie zwischen den Fehlerpunkten E-BC und E-C' veranschaulicht.
Wenn in 5 die tatsächliche Kantenlage sich weiter nach rechts bewegt, beginnt Pixel C, auf die Kante zu reagieren, und beginnt dessen Ausgabe, sich zu ändern, was die Größe des Fehlers verringert, wie zwischen den Fehlerpunkten E-C' und E-C gezeigt. Wenn die Kante tatsächlich in der Mitte von Pixel C liegt, hat idealerweise Pixel D den auf einer Seite der Kante vorliegenden hohen Helligkeitswert und Pixel B den auf der anderen Seite der Kante vorliegenden niedrigen Helligkeitswert und hat Pixel C einen Wert in der Mitte zwischen diesen Werten und ist der Interpolationsfehler null, wie beim Fehlerpunkt E-C anzeigt. Die Fehlerkurve zwischen E-B und E-BC ist analog zur vorangehenden Erörterung zu verstehen. Die Fehlerkurve 510 wiederholt sich periodisch im Pixelabstand, wie veranschaulicht.
Eine Subpixel-Interpolation zum Ermitteln von Kantenpunkten in jeder Abtastzeile, wie in den 4A und 4B veranschaulicht, kann dem durch die Fehlerkurve 510 gezeigten Verhalten folgen. Eine komplexere Interpolation und/oder weniger scharfe Kanten kann bzw. können kleinere Spitze-zu-Spitze-Fehler gestatten, aber die Kurve wird qualitativ ähnlich sein. Im in 4A veranschaulichten Beispiel tastet jede Abtastzeile die Kante an ungefähr derselben Stelle entlang der Abtastzeile ab. Somit enthält jede Abtastzeile den gleichen systematischen Fehlerpunkt entlang der Kurve 510 (Unterabtastung des Kantenhelligkeitsprofils). Daher kann/wird eine Linienlokalisierungsmessung der gesamten Kante 325 auf der Grundlage des Bildes 400 diesen gleichen systematischen Fehler enthalten, wenn die Kantenpunkte analysiert werden, um die Linie zu lokalisieren.
Im Gegensatz dazu ist die Kante im in 4B veranschaulichten Beispiel relativ zu den Pixeln entlang jeder Abtastzeile anders angeordnet (wie durch die Räumliche-Abtastungs-Anzeiger-Linien SSI angegeben). Somit enthält jede Abtastzeile einen anderen Fehlerpunkt entlang der Kurve 510 (bei dichtem Abtasten des Kantenhelligkeitsprofils). Somit kann/wird die Lokalisierungsmessung der gesamten Kante 325 auf der Grundlage des Bildes 400 im allgemeinen einige Kantenpunkte mit positiven Fehlern, einige Kantenpunkte mit negativen Fehlern und einige mit sehr kleinen Fehlern enthalten. Wenn solche Kantenpunkte analysiert werden, um die Linie zu lokalisieren (z. B. durch eine Lokalisierung auf der am besten passenden Geraden), neigen die Fehler dazu, einander auszumitteln und/oder zu kompensieren, wird der systematische Digitalisierungseffekt unterdrückt und wird die Linie genau, mit Subpixel-Auflösung, lokalisiert.
Zum Beispiel kann bei einer fast binären Kante, welche aus einem zu dem in 4A gezeigten Bild analogen Bild lokalisiert wird, ein systematischer Spitze-zu-Spitze-Fehler als eine Funktion der Kantenlage bei Verwendung eines Pixelmusters mit einem Pixelabstand von 10 Mikrometern in der Größenordnung von 4 Mikrometern liegen. Im Gegensatz dazu kann bei einer fast binären Kante, welche aus einem zu dem in 4B gezeigten Bild analogen Bild lokalisiert wird, ein systematischer Spitze-zu-Spitze-Fehler als eine Funktion der Kantenlage bei Verwendung des gleichen Pixelmusters typischerweise 10-mal so klein oder kleiner sein.
6 ist ein Ablaufplan 600 eines Verfahrens zum Verringern von Unterabtastungs- oder Digitalisierungsfehlern bei Inspektions-Kantenlokalisierungsmessungen mit maschineller Bilderkennung. In Block 610 wird ein Inspektionssystem mit maschineller Bilderkennung bereitgestellt, welches einen optischen Teil, eine erste Kamera und eine zweite Kamera aufweist, wobei: die erste Kamera und die zweite Kamera ein gemeinsames Sichtfeld gemeinsam nutzen und die erste und die zweite Kamera so angeordnet sind, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist. In Block 620 wird mittels des Optikteils ein Bild eines Sichtfelds von einem Werkstück bereitgestellt.
In Block 630 wird ein erstes Bild des gemeinsamen Sichtfelds vom Werkstück mit der ersten Kamera erhalten. In Block 640 wird ein zweites Bild des gemeinsamen Sichtfelds vom Werkstück mit der zweiten Kamera erhalten.
In Block 650 wird, gemäß oben grob dargestellten Prinzipien, auf Grundlage eines des ersten und des zweiten Bildes eine Kantenmessung eines Kantenmerkmals innerhalb des gemeinsamen Sichtfelds bereitgestellt, wobei das Bereitstellen der Kantenmessung das Entscheiden umfasst, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht. Nach Block 650 endet der Prozess.
Man sollte erkennen, dass das hierin offenbarte Zwei-Kamera-System und -Verfahren gewöhnlich für einen Benutzer transparent sein kann und keinen hochqualifizierten Benutzer erfordert, weil die Operationen ”hinter den Kulissen” stattfinden. Man sollte erkennen, dass die zweite Kamera (z. B. die Kamera 260') ein Kantenmerkmal abbilden kann, welches nicht um mindestens den Orientierungsdifferenz-Schwellenbetrag vom Pixelmuster dieser Kamera abweicht. In diesem Fall kann das Inspektionssystem mit maschineller Bilderkennung 100 diese Ausrichtung ermitteln und das durch die erste Kamera (z. B. die Kamera 260) aufgenommene erste Bild als eine Grundlage zur Durchführung einer Kantenmessung auswählen. Wenn beide Kantenmerkmal-Ausrichtungen um mindestens den Orientierungsdifferenz-Schwellenbetrag von den Pixelmustern der beiden Kameras abweichen, kann bzw. können der Kantenlokalisierung natürlich eines der beiden oder beide Kamerabilder (z. B. als ein Durchschnitt) zugrundegelegt werden.
Während verschiedene Ausführungsformen der Erfindung dargestellt und beschrieben wurden, sind für den Fachmann auf Grundlage dieser Offenbarung zahlreiche Veränderungen an den dargestellten und beschriebenen Anordnungen von Merkmalen und Sequenzen von Operationen offensichtlich. Mithin wird man erkennen, dass verschiedene Änderungen daran vorgenommen werden können, ohne vom Gedanken und Umfang der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6542180 [0003]
US 7627162 [0003]
US 7454053 [0021]
US 7324682 [0021]
US 8111905 [0021]
US 8111938 [0021]
US 7657713 [0044]

Zitierte Nicht-Patentliteratur

”Error Analysis of Subpixel Edge Localization” von Patrick Mikulastik et al. [0004]

Claims

Inspektionssystem mit maschineller Bilderkennung, welches potentielle Kantenlokalisierungs-Messfehler, die von der Kantenmerkmal-Ausrichtung abhängen, unterdrückt, aufweisend: einen optischen Teil, welcher so konfiguriert ist, dass er ein Bild eines Sichtfelds von einem Werkstück liefert; eine erste Kamera, welche so konfiguriert ist, dass sie ein erstes Bild des Sichtfelds vom Werkstück liefert; und eine zweite Kamera, welche so konfiguriert ist, dass sie ein zweites Bild des Sichtfelds vom Werkstück liefert, wobei: die erste Kamera und die zweite Kamera ein gemeinsames Sichtfeld gemeinsam nutzen und die erste und die zweite Kamera so angeordnet sind, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist; und das Inspektionssystem mit maschineller Bilderkennung eine Signalverarbeitung aufweist, welche eine Kantenmessung eines Kantenmerkmals innerhalb des durch jede Kamera abgebildeten gemeinsamen Sichtfelds bereitstellt und entscheidet, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht.
Inspektionssystem mit maschineller Bilderkennung nach Anspruch 1, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens ein Grad gedreht ist.
Inspektionssystem mit maschineller Bilderkennung nach Anspruch 1, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um höchstens zehn Grad gedreht ist.
Inspektionssystem mit maschineller Bilderkennung nach Anspruch 1, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens den doppelten Betrag der Orientierungsdifferenz-Schwelle gedreht ist.
Inspektionssystem mit maschineller Bilderkennung nach Anspruch 1, wobei die Signalverarbeitung so konfiguriert ist, dass sie eine jeweilige Kantenorientierung ermittelt, indem sie eine Linie an erkannte Kantenpunkte einer jeweiligen Kante anlegt und eine Orientierungsdifferenz zwischen der angelegten Linie und einer bekannten Orientierung der Pixelachse der zugehörigen Kamera ermittelt.
Inspektionssystem mit maschineller Bilderkennung nach Anspruch 1, wobei die Signalverarbeitung so konfiguriert ist, dass sie ermittelt, dass eine jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung der zugehörigen Kamera abweicht, indem sie die Lage erkannter Kantenpunkte entlang jeweiliger Abtastzeilen eines zum Vermessen der jeweiligen Kante verwendeten Videowerkzeugs analysiert und ermittelt, dass die jeweilige Kantenorientierung um die Orientierungsdifferenz-Schwelle von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, wenn die Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen des Videowerkzeugs eine kombinierte Abtastdichte, welche dem Orientierungsdifferenz-Schwellenbetrag oder mehr entspricht, bereitstellt.
Verfahren zum Unterdrücken potentieller Kantenlokalisierungs-Messfehler, die von der Kantenmerkmal-Ausrichtung in einem Inspektionssystem mit maschineller Bilderkennung abhängen, wobei das Verfahren umfasst: das Bereitstellen eines Inspektionssystems mit maschineller Bilderkennung, welches einen optischen Teil, eine erste Kamera und eine zweite Kamera aufweist, wobei die erste Kamera und die zweite Kamera ein gemeinsames Sichtfeld gemeinsam nutzen und die erste und die zweite Kamera so angeordnet sind, dass die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds gedreht ist; das Bereitstellen eines Bildes eines Sichtfelds von einem Werkstück mittels des Optikteils; das Erhalten eines ersten Bildes des Sichtfelds vom Werkstück mit der ersten Kamera; das Erhalten eines zweiten Bildes des Sichtfelds vom Werkstück mit der zweiten Kamera; und das Bereitstellen einer Kantenmessung eines Kantenmerkmals innerhalb des gemeinsamen Sichtfelds auf Grundlage mindestens eines des ersten und des zweiten Bildes, wobei: das Bereitstellen der Kantenmessung das Entscheiden umfasst, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht.
Verfahren nach Anspruch 7, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens ein Grad gedreht ist.
Verfahren nach Anspruch 7, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um höchstens zehn Grad gedreht ist.
Verfahren nach Anspruch 7, wobei die Orientierung des in der ersten Kamera abgebildeten gemeinsamen Sichtfelds relativ zur Orientierung des in der zweiten Kamera abgebildeten gemeinsamen Sichtfelds um mindestens den doppelten Betrag der Orientierungsdifferenz-Schwelle gedreht ist.
Verfahren nach Anspruch 7, wobei das Entscheiden, welches des ersten und des zweiten Bildes der Kantenmessung zugrundegelegt wird, wobei die Entscheidung darauf beruht, ob deren jeweilige Kantenorientierung von der Pixelmuster-Orientierung abweicht, das Ermitteln einer jeweiligen Kantenorientierung durch Anlegen einer Linie an erkannte Kantenpunkte einer jeweiligen Kante und das Ermitteln einer Orientierungsdifferenz zwischen der angelegten Linie und einer bekannten Orientierung der Pixelachse der zugehörigen Kamera umfasst.
Verfahren nach Anspruch 7, wobei das Ermitteln, ob eine jeweilige Kantenorientierung um einen Orientierungsdifferenz-Schwellenbetrag von der Pixelmuster-Orientierung der zugehörigen Kamera abweicht, das Analysieren der Lage erkannter Kantenpunkte entlang jeweiliger Abtastzeilen eines zum Vermessen der jeweiligen Kante verwendeten Videowerkzeugs und das Ermitteln umfasst, dass die jeweilige Kantenorientierung um die Orientierungsdifferenz-Schwelle von der Pixelmuster-Orientierung deren zugehöriger Kamera abweicht, wenn die Lage der erkannten Kantenpunkte entlang jeweiliger Abtastzeilen des Videowerkzeugs eine kombinierte Abtastdichte bereitstellt, welche dem Orientierungsdifferenz-Schwellenbetrag oder mehr entspricht.