DE102012216908B4

DE102012216908B4 - Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem

Info

Publication number: DE102012216908B4
Application number: DE102012216908.3A
Authority: DE
Inventors: Michael Nahum; Mark Lawrence Delaney
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2011-09-23
Filing date: 2012-09-20
Publication date: 2021-10-21
Anticipated expiration: 2032-09-21
Also published as: US20130076892A1; JP6053119B2; US9080855B2; JP2013068617A; DE102012216908A1

Abstract

Präzisionsinspektionssystem (100) mit maschinellem Sehen, umfassend einen Objekttisch (210), der ein Werkstück (20) aufnimmt, ein Bildgebungssystem (200), das das Werkstück (20) abbildet, einen skalenbasierten Messabschnitt, der Positionsmessungen bereitstellt, die die Objekttischposition im Verhältnis zu dem Bildgebungssystem (200) angeben, ein Steuersystem (120), ein Display (136), und eine Benutzerschnittstelle (130), wobei:das Inspektionssystem (100) mit maschinellem Sehen konfiguriert ist, erste und zweite Betriebszustände bereitzustellen, die verwendet werden, um Positionsmessungen bereitzustellen, wobei,der erste Betriebszustand das Bestimmen der Position eines Bildes basierend auf einer skalenbasierten Positionsmessung, die durch den skalenbasierten Messabschnitt bereitgestellt wird, umfasst; undder zweite Betriebszustand das Bereitstellen der Position mindestens eines Bildes im zweiten Zustandes basierend auf einer verbesserten Positionsmessung im zweiten Zustand, die unter Verwendung einer Bildkorrelation bereitgestellt wird, umfasst, wobei die verbesserte Positionsmessung im zweiten Zustand umfasst:Referenzieren eines ersten Bildes, das an einer ersten Bildposition aufgenommen wird, wobei die erste Bildposition durch eine erste Positionsmessung gekennzeichnet wird;Bewegen von der ersten Bildposition zu einer Bildposition im zweiten Zustand, die verwendet wird, um das Bild im zweiten Zustand aufzunehmen, und Aufnehmen überlappender Bilder zwischen der ersten Bildposition und der Bildposition im zweiten Zustand;Aufnehmen des Bildes im zweiten Zustand an der Bildposition im zweiten Zustand; undBereitstellen der verbesserten Positionsmessung im zweiten Zustand basierend auf der ersten Positionsmessung und einer Menge von Bildverschiebungen, die basierend auf der Bildkorrelation, die auf das erste Bild angewendet wird, den überlappenden Bildern und dem Bild im zweiten Zustand bestimmt werden;das Inspektionssystem (100) mit maschinellem Sehen einen verbesserten Positionsmessgrenzparameter umfasst, der eine maximale empfohlene Verschiebungsgrenze angibt, die sich auf das erste Bild bezieht, um unter Verwendung des zweiten Betriebszustands eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen; undder verbesserte Positionsmessgrenzparameter einer maximalen empfohlenen Verschiebungsgrenze entspricht, die höchstens das 40fache einer Dimension eines Sichtfelds des Inspektionssystems (100) mit maschinellem Sehen ist.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen ein Inspektionssystem mit maschinellem Sehen („machine vision“, Maschinenvision) und genauer gesagt Verfahren zum Bestimmen von Positionsmessungen in Inspektionssystemen mit maschinellem Sehen.
ALLGEMEINER STAND DER TECHNIK
Präzisionsinspektionssysteme mit maschinellem Sehen (Präzisionsinspektionssysteme mit einer Funktionalität für maschinelles Sehen, bzw. kurz „Visionssysteme“ oder „maschinell sehende Systeme“) können verwendet werden, um präzise Dimensionsmessungen von inspizierten Objekten zu erzielen und um diverse andere Objekteigenschaften zu inspizieren. Solche Systeme können einen Computer, eine Kamera und ein optisches System und einen Präzisionsobjekttisch, der in mehreren Richtungen bewegbar ist, um eine Werkstückinspektion zu ermöglichen, umfassen. Ein beispielhaftes System nach dem Stand der Technik, das man als universelles „rechnerunabhängiges“ Präzisionsvisionssystem bezeichnen kann, ist die im Handel erhältliche Reihe QUICK VISION® von PC-basierten maschinell sehenden Systemen und die Software QVPAK®, die bei Mitutoyo America Corporation (MAC), Aurora, IL, erhältlich sind. Die Merkmale und der Betrieb der Reihe QUICK VISION® von maschinell sehenden Systemen und der Software QVPAK® werden beispielsweis in „QVPAK 3D CNC Vision Measuring Machine User's Guide“, veröffentlicht im Januar 2003, und in „QVPAK 3D CNC Vision Measuring Machine Operation Guide“, veröffentlicht im September 1996, die hiermit jeweils zur Bezugnahme vollständig übernommen werden, allgemein beschrieben. Diese Systemart ist in der Lage, ein optisches System nach Art eines Mikroskops zu verwenden und den Objekttisch zu bewegen, um Inspektionsbilder entweder von kleinen oder von relativ großen Werkstücken in diversen Vergrößerungen bereitzustellen.
Inspektionssysteme mit maschinellem Sehen (Inspektionssysteme mit einer Funktionalität für maschinelles Sehen) verwenden im Allgemeinen eine automatisierte Videoinspektion. Das US-Patent Nr. 6,542,180 (das Patent 180) lehrt diverse Aspekte einer derartigen automatisierten Videoinspektion und wird hiermit zur Bezugnahme vollständig übernommen. Wie es das Patent 180 lehrt, haben automatisierte messtechnische Videoinspektionsinstrumente im Allgemeinen eine Programmierfähigkeit, die es ermöglicht, dass ein Benutzer eine automatische Inspektionsereignissequenz für jede bestimmte Werkstückkonfiguration definiert. Dies kann beispielsweise durch eine textbasierte Programmierung oder durch einen Aufzeichnungsmodus, der die Inspektionsereignissequenz nach und nach „erlernt“, indem er eine Sequenz von Maschinensteueranweisungen speichert, die einer Sequenz von Inspektionsvorgängen entspricht, die von einem Benutzer anhand einer grafischen Benutzerschnittstelle ausgeführt werden, oder durch eine Kombination der beiden Verfahren umgesetzt werden. Ein derartiger Aufzeichnungsmodus wird häufig als „Lernmodus“ oder „Trainingsmodus“ bezeichnet. Sobald die Inspektionsereignissequenz im „Lernmodus“ definiert ist, kann eine derartige Sequenz dann verwendet werden, um im „Ausführungsmodus“ automatisch Bilder eines Werkstücks zu erfassen (und zusätzlich zu analysieren oder zu inspizieren).
Die Maschinensteueranweisungen, welche die spezifische Inspektionsereignissequenz umfassen (d.h. die Art und Weise, wie jedes Bild zu erfassen ist und wie jedes erfasste Bild zu analysieren/inspizieren ist), werden im Allgemeinen als „Teileprogramm“ bzw. „Werkstückprogramm“ gespeichert, das für die bestimmte Werkstückkonfiguration spezifisch ist. Beispielsweise definiert ein Teileprogramm, wie jedes Bild zu erfassen ist, etwa wie die Kamera im Verhältnis zum Werkstück zu positionieren ist, mit welchem Beleuchtungsniveau, mit welchem Vergrößerungsniveau usw. Ferner definiert das Teileprogramm, wie ein erfasstes Bild zu analysieren/inspizieren ist, beispielsweise unter Verwendung eines oder mehrerer Video-Tools, wie etwa Video-Tools zur Kanten-/Randerkennung.
Video-Tools (bzw. kurz „Tools“) und andere grafische Benutzerschnittstellenmerkmale können manuell verwendet werden, um manuelle Vorgänge zur Inspektion- und/oder Maschinensteuerung (im „manuellen Modus“) vorzunehmen. Ihre Einrichtungsparameter und ihr Betrieb können auch im Lernmodus aufgezeichnet werden, um automatische Inspektionsprogramme, bzw. „Teileprogramme“ zu erstellen. Die Video-Tools können beispielsweise Tools zur Kanten-/Randerkennung, Autofokus-Tools, Tools zur Form- oder Mustererkennung, Tools zur Dimensionsmessung und dergleichen umfassen.
Eine Messgenauigkeit und Wiederholbarkeit im Mikrometer- oder Submikrometerbereich werden gewöhnlich an den X- und Y-Achsen entlang erzielt (d.h. an den Achsen parallel zu der Ebene der Inspektionsbilder, die von Präzisionsinspektionssystemen mit maschinellem Sehen verwendet werden), insbesondere wenn die gemessenen Merkmale innerhalb eines einzigen Sichtfeldes liegen. Das Genauigkeitsniveau für die Messung des Abstands zwischen den Merkmalen, die durch mehr als ein Sichtfeld getrennt sind, neigt dazu, geringer zu sein als dasjenige für Merkmale innerhalb eines einzigen Sichtfeldes. Insbesondere wenn Merkmale gemessen werden, die durch mehr als ein Sichtfeld getrennt sind, wird die gesamte Abstandsmessung zwischen den Merkmalen typischerweise durch den Unterschied der Objekttischpositionen zwischen den jeweiligen Bildern, welche die zu analysierenden Merkmale enthalten, plus dem Unterschied der Merkmalspositionen in den jeweiligen Bildern bestimmt. Die Objekttischpositionen werden typischerweise durch Stellungsgeber (z.B. skalenbasierte Codiergeräte) bestimmt, für die eventuelle Positionsfehler größer sein können als sie für bestimmte Anwendungen und/oder Verschiebungen erwünscht sind. Es wäre wünschenswert, dass ein Inspektionssystem mit maschinellem Sehen mit verbesserter Genauigkeit funktioniert, um die Abstände zwischen Merkmalen, die durch mehr als ein Sichtfeld getrennt sind, zu messen.
Die US Patentanmeldung Nr. US 2004/114 218 A1 offenbart ein Mikroskop, bei dem ein Positionssignal in Form von Koordinaten in einem Pixelkoordinatensystem erzeugt wird, indem Mikroskopbilder mit teilweise überlappenden Inhalten aufgenommen werden. Das Positionssignal kann verwendet werden, um die Position eines Teilobjekts anzuzeigen, das in einem der Mikroskopbilder identifiziert wurde. Es kann auch verwendet werden, um die Verschiebung des Mikroskoptisches des Mikroskops zu steuern. In diesem Fall ist es möglich, einen einfachen ungenauen Antriebsmechanismus für den Mikroskoptisch zu verwenden, ohne dass Positionssensoren erforderlich sind.
Die US Patentanmeldung Nr. US 2006 / 0 045 388 A1 beschreibt ein System und Verfahren zum Erzeugen virtueller Objektträger und insbesondere zum Erzeugen nahtloser Bilder virtueller Objektträger.
Das US Patent Nr. US 7,885,480 B2 betrifft ein Verfahren zum Finden eines Korrelationsfunktionsmaximums in einem Bildkorrelationsverschiebungserfassungs-systems zum Bestimmen von Objektverschiebungen, wobei ein Referenzbild und ein verschobenes Bild erfasst und miteinander verglichen werden.
Die deutsche Offenlegungsschrift Nr. DE 102 52 321 A1 offenbart ein Bildkorrelationssystem, das Verschiebungsfehler reduzieren soll, wobei ein Fehlerbetrag entsprechend einem unkompensierten Verschiebungswert abgeschätzt wird, wobei der unkompensierte Verschiebungswert eine Verschiebung zwischen einem Referenzbild und einem verschobenen Bild repräsentiert, wobei die Abschätzung des Fehlerbetrags in dem bildkorrelationsbasierten Verschiebungsmesssystem in Abhängigkeit zu einer Verschiebung relativ zu einer unspezifizierten Referenzbildposition dargestellt wird.
KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Kurzdarstellung wird bereitgestellt, um eine Reihe von Konzepten in vereinfachter Form einzuführen, die nachstehend in der ausführlichen Beschreibung näher beschrieben werden. Diese Kurzdarstellung ist nicht dazu gedacht, die Hauptmerkmale des beanspruchten Gegenstandes zu identifizieren, und ist auch nicht dazu gedacht, als Hilfe zum Bestimmen des Umfangs des beanspruchten Gegenstandes verwendet zu werden.
Erfindungsgemäß wird ein Präzisionsinspektionssystem mit maschinellem Sehen zum Erzeugen von Positionsmessungen gemäß Anspruch 1 bereitgestellt. Das Inspektionssystem mit maschinellem Sehen umfasst einen Objekttisch, der ein Werkstück aufnimmt, ein Bildgebungssystem, welches das Werkstück abbildet, einen skalenbasierten Messabschnitt, der Positionsmessungen bereitstellt, welche die Position des Objekttisches im Verhältnis zum Bildgebungssystem angeben, ein Steuersystem, ein Display und eine Benutzerschnittstelle. Nach einem Aspekt der Erfindung ist das Inspektionssystem mit maschinellem Sehen konfiguriert, um mindestens erste und zweite Betriebszustände bereitzustellen, die verwendet werden, um die Positionsmessungen bereitzustellen. Der erste Betriebszustand umfasst das Bestimmen der Position eines Bildes basierend auf einer skalenbasierten Positionsmessung. Der zweite Betriebszustand umfasst das Bereitstellen der Position mindestens eines Bildes eines zweiten Zustandes basierend auf einer verbesserten Positionsmessung im zweiten Zustand, die unter Verwendung einer Bildkorrelation bereitgestellt wird.
Nach einem anderen Aspekt der Erfindung umfasst der zweite Betriebszustand, der eine Bildkorrelation verwendet, das Referenzieren eines ersten Bildes, das an einer ersten Bildposition aufgenommen wird, wobei die erste Bildposition durch eine erste Positionsmessung gekennzeichnet ist. In vielen Fällen kann die erste Positionsmessung eine skalenbasierte Positionsmessung sein (z.B. wie im ersten Betriebszustand bestimmt). In anderen Fällen kann die erste Positionsmessung eine verbesserte Positionsmessung im zweiten Zustand sein, die während eines Betriebszeitraums des zweiten Betriebszustandes bestimmt wird. Auf jeden Fall wird der Objekttisch von der ersten Bildposition in Richtung auf eine Bildposition im zweiten Zustand bewegt und überlappende Bilder werden zwischen der ersten Position und der Bildposition im zweiten Zustand aufgenommen. Das Bild im zweiten Zustand wird dann an der Bildposition im zweiten Zustand aufgenommen. Die verbesserte Positionsmessung im zweiten Zustand wird dann basierend auf der ersten Positionsmessung und einer Menge von Bildverschiebungen, die basierend auf der Verwendung einer Bildkorrelation, die auf das erste Bild angewendet wird, den überlappenden Bildern und dem Bild im zweiten Zustand bestimmt wird, bereitgestellt.
Nach einem anderen Aspekt der Erfindung wird die Benutzerschnittstelle auf dem Display mindestens in einem Lernmodus des Betriebs des Inspektionssystems mit maschinellem Sehen angezeigt, und die Benutzerschnittstelle umfasst einen Indikator des zweiten Zustandes, der angibt, wann der zweite Betriebszustand, der die verbesserte Positionsmessung im zweiten Zustand bereitstellt, aktiv ist. Bei einigen Ausführungsformen umfasst die Benutzerschnittstelle ein Element zur Aktivierung des zweiten Zustandes, das von einem Benutzer betätigt werden kann, um den zweiten Betriebszustand zu aktivieren und/oder zu deaktivieren, so dass der Benutzer das maschinell sehende System (Maschinenvisionssystem) steuern kann, damit es zu einem ersten Zeitpunkt während des Betriebslernmodus im ersten Betriebszustand funktioniert und zu einem zweiten Zeitpunkt während des Betriebslernmodus im zweiten Betriebszustand funktioniert. Bei einigen Ausführungsformen werden das Element zur Aktivierung des zweiten Zustandes und der Indikator des zweiten Zustandes von einem einzigen Benutzerschnittstellenelement bereitgestellt. Wenn bei einigen Ausführungsformen ein Element zur Aktivierung des zweiten Zustandes von einem Benutzer betätigt wird, um den zweiten Betriebszustand zu starten, definiert das Steuersystem automatisch die Bildposition eines aktuellen Bildes als erste Bildposition. Bei diversen Ausführungsformen kann die verbesserte Positionsmessung im zweiten Zustand, die im zweiten Betriebszustand bereitgestellt wird, zusammen mit einem Video-Tool zur Dimensionsmessung verwendet werden, das es einem Benutzer ermöglicht, ein zweites Merkmal in dem Bild im zweiten Zustand auszuwählen, um eine Abstandsmessung zwischen dem ausgewählten zweiten Merkmal in dem Bild im zweiten Zustand und einem ersten Merkmal in dem ersten Bild auszuführen.
Das Inspektionssystem mit maschinellem Sehen kann ein Bewegungssteuerelement umfassen, das von einem Benutzer betätigt wird, um im Betriebslernmodus die Objekttischposition im Verhältnis zum Bildgebungssystem zu definieren. Bei einigen Ausführungsformen kann es im zweiten Betriebszustand das Bewegen von der ersten Bildposition in Richtung auf die Bildposition im zweiten Zustand umfassen, dass der Benutzer das Bewegungssteuerelement verwendet, um die nominale Bildposition im zweiten Zustand zu definieren; und das Steuersystem kann automatisch die Beabstandung zwischen den überlappenden Bildern an einem Bewegungspfad entlang zwischen der ersten Bildposition und der Bildposition im zweiten Zustand bestimmen. Bei einigen Ausführungsformen kann der Benutzer ferner das Bewegungssteuerelement verwenden, um Zwischenpositionen zu definieren, die den Bewegungspfad zwischen der ersten Bildposition und der Bildposition im zweiten Zustand definieren.
Bei einigen Ausführungsformen umfasst das Inspektionssystem mit maschinellem Sehen einen verbesserten Positionsmessgrenzparameter, der eine maximale empfohlene Verschiebungsgrenze angibt, die sich auf das erste Bild bezieht, um den zweiten Betriebszustand zu verwenden, um eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen. Die Benutzerschnittstelle kann einen Statusindikator der verbesserten Positionsmessverschiebungsgrenze umfassen, der mindestens eines angibt von (a) einer Beziehung zwischen einer aktuellen Verschiebung, die sich auf das erste Bild bezieht, und der maximalen empfohlenen Verschiebungsgrenze, und (b) einer Warnung, wenn eine aktuelle Verschiebung, die sich auf das erste Bild bezieht, größer als die maximale empfohlene Verschiebungsgrenze ist. Bei einigen Ausführungsformen werden der Statusindikator der verbesserten Positionsmessverschiebungsgrenze und der Indikator des zweiten Zustandes (z.B. wie oben erläutert) durch ein einziges Benutzerschnittstellenelement bereitgestellt. Bei einem spezifischen Ausführungsbeispiel kann die verbesserte Positionsmessverschiebungsgrenze einem definierten Vielfachen einer Dimension eines Sichtfeldes entsprechen (z.B. das 40fache einer FOV-Dimension). Bei einigen Ausführungsformen umfasst das Inspektionssystem mit maschinellem Sehen eine Vielzahl von verbesserten Positionsmessgrenzparametern, die einer Vielzahl von jeweiligen optischen Konfigurationen des Inspektionssystems mit maschinellem Sehen entsprechen.
Bei einigen Ausführungsformen umfasst im Betriebslernmodus der zweite Betriebszustand das Bewerten einer Bildkorrelationsqualitätsmetrik für Bildkorrelationen, die ausgeführt werden, um die Menge von Bildverschiebungen im zweiten Betriebszustand zu bestimmen, und die Benutzerschnittstelle umfasst einen Indikator einer schlechten Bildkorrelation, der basierend auf der Bildkorrelationsqualitätsmetrik angezeigt wird (z.B. wird eine Warnung angezeigt, wenn die Bildkorrelationsqualitätsmetrik eine schlechte Bildqualität und/oder eine geringe Korrelationsqualität angibt).
Bei einigen Ausführungsformen umfasst die Benutzerschnittstelle ferner ein Element, das im Betriebslernmodus von einem Benutzer betätigt wird, um eine Abstandsmessung zwischen einem ersten Merkmal in dem ersten Bild und einem zweiten Merkmal in dem Bild im zweiten Zustand zu definieren, wobei die Abstandsmessung das Bestimmen eines Unterschiedes zwischen der ersten Positionsmessung und der Positionsmessung im zweiten Zustand plus einem Unterschied der jeweiligen Merkmalspositionen im Verhältnis zu ihren jeweiligen Bildern umfasst.
Wenn bei einigen Ausführungsformen der zweite Betriebszustand, der eine Bildkorrelation verwendet, aktiv ist, wird der skalenbasierte Messabschnitt auch verwendet, für um angenäherte skalenbasierte Bildpositionen für mindestens eines anzugeben von (a) den überlappenden Bildern und (b) dem Bild im zweiten Zustand, so dass ein Pixelversatzsuchbereich für einen Korrelationsalgorithmus, der im zweiten Zustand verwendet wird, basierend auf den angenäherten skalenbasierten Bildpositionen definiert wird. Beispielsweise ermöglichen es die angenäherten skalenbasierten Bildpositionen, die von dem skalenbasierten Messabschnitt bereitgestellt werden, dass der Pixelversatzsuchbereich für einen Bildkorrelationsalgorithmus sicher auf eine geringere Anzahl von Pixeln begrenzt wird als sie benötigt würde, wenn der skalenbasierte Messabschnitt nicht verwendet würde, was die Berechnungen der Bildkorrelation beschleunigt.
Wenn nach einem anderen Aspekt der Erfindung der zweite Betriebszustand, der eine Bildkorrelation verwendet, aktiv ist, wird ein Fehlerprüfprozess ausgeführt, der das Vergleichen des Abstandes, der von der Bildkorrelation angegeben wird, mit demjenigen, der von dem skalenbasierten Messabschnitt angegeben wird, umfasst. Wenn bei einer Ausführungsform der Unterschied zwischen dem Abstand, der von der Bildkorrelation angegeben wird, um mehr als einen erwarteten Fehlerbereich für den skalenbasierten Messabschnitt mit einem definierten Sicherheitsspielraum anders als derjenige ist, der von dem skalenbasierten Messabschnitt angegeben wird, dann wird dem Benutzer eine Warnung bereitgestellt und/oder der Zustand wird protokolliert und/oder die Messung, die von dem skalenbasierten Messabschnitt bereitgestellt wird, wird als aktuelle Messung angegeben.
Figurenliste
Die vorhergehenden Aspekte und viele der damit verbundenen Vorteile der vorliegenden Erfindung werden deutlicher werden, wenn diese mit Bezug auf die folgende ausführliche Beschreibung besser verstanden wird, wenn sie zusammen mit den beiliegenden Zeichnungen gesehen wird. Es zeigen:

1 ein Diagramm, das diverse typische Komponenten eines universellen Präzisionsinspektionssystems mit maschinellem Sehen zeigt;
2 ein Blockdiagramm eines Steuersystemteils und eines Visionskomponententeils eines Inspektionssystems mit maschinellem Sehen ähnlich wie das aus 1 und umfassend Merkmale gemäß der vorliegenden Erfindung;
3 eine Kurve, welche die Ergebnisse des Vergleichs erster und zweiter Bilder als einen absoluten Wert einer Differenzkorrelationsfunktion abbildet, wenn die Bilder mit diversen Pixelverschiebungen an einer Messachse entlang versetzt sind;
4 ein Diagramm eines Teils eines Werkstücks, das abbildet, wie eine Position eines zweiten Bildes, das ein zweites Merkmal umfasst, im Verhältnis zu einem ersten Bild, das ein erstes Merkmal umfasst, bestimmt werden kann, indem überlappende Bilder und eine Bildkorrelation verwendet werden;
5 eine Kurve, die Fehlerspezifikationen für ein erstes System, das einen skalenbasierten Messabschnitt verwendet, und für ein zweites System, das eine Bildkorrelation zum Bestimmen von Messungen verwendet, abbildet;
6 ein Ablaufdiagramm, das eine Ausführungsform einer allgemeinen Routine zum Betreiben eines Inspektionssystems mit maschinellem Sehen entweder in einem ersten Zustand, der einen skalenbasierten Messabschnitt verwendet, oder in einem zweiten Zustand, der eine Bildkorrelation zum Bestimmen von Messungen verwendet, abbildet;
7 ein Ablaufdiagramm, das eine Ausführungsform einer Routine für eine spezifischere Umsetzung des zweiten Betriebszustandes aus 6 abbildet; und
8 ein Diagramm, das diverse Merkmale einer Ausführungsform einer Benutzerschnittstellenanzeige abbildet, die eine Benutzerauswahl für einen zweiten Betriebszustand umfasst, der eine Bildkorrelation verwendet, um Messungen zu bestimmen.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
1 ist ein Blockdiagramm eines beispielhaften Inspektionssystems mit maschinellem Sehen 10, das gemäß den hier beschriebenen Verfahren verwendbar ist. Das Inspektionssystem mit maschinellem Sehen 10 umfasst eine Visionsmessmaschine 12 (Bildverarbeitungsmessgerät), die betriebsmäßig angeschlossen ist, um Daten und Steuersignale mit einem Steuercomputersystem 14 auszutauschen. Das Steuercomputersystem 14 ist ferner betriebsmäßig angeschlossen, um Daten und Steuersignale mit einem Bildschirm oder Display 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 auszutauschen. Der Bildschirm oder das Display 16 kann eine Benutzerschnittstelle anzeigen, die dazu geeignet ist, um den Betrieb des Inspektionssystems mit maschinellem Sehen 10 zu steuern und/oder zu programmieren.
Die Visionsmessmaschine 12 umfasst einen bewegbaren Werkstücktisch 32 und ein optisches Bildgebungssystem 34, das ein Zoomobjektiv oder auswechselbare Linsen umfassen kann. Das Zoomobjektiv oder die auswechselbaren Linsen stellen im Allgemeinen diverse Vergrößerungen für die Bilder bereit, die von dem optischen Bildgebungssystem 34 bereitgestellt werden. Das Inspektionssystem mit maschinellem Sehen 10 ist im Allgemeinen mit der zuvor erwähnten Reihe QUICK VISION® von maschinell sehenden Systemen und der Software QVPAK® und ähnlichen handelsüblichen Präzisionsinspektionssystemen mit maschinellem Sehen aus dem Stand der Technik vergleichbar. Das Inspektionssystem mit maschinellem Sehen 10 wird auch in den gemeinsam übertragenen US-Patenten Nr. 7,454,053 und 7,324,682 und den US-Patentanmeldungen mit der Seriennummer 12/343,383 , eingereicht am 23. Dezember 2008, und 12/608,943 , eingereicht am 29. Oktober 2009, die hiermit zur Bezugnahme vollständig übernommen werden, beschrieben.
2 ist ein Blockdiagramm eines Steuersystemteils 120 und eines Visionskomponententeils 200 eines Inspektionssystems mit maschinellem Sehen 100 ähnlich wie das Inspektionssystem mit maschinellem Sehen aus 1 und umfassend Merkmale gemäß der vorliegenden Erfindung. Wie es nachstehend ausführlicher beschrieben wird, wird der Steuersystemteil 120 verwendet, um den Visionskomponententeil 200 zu steuern. Der Visionskomponententeil 200 umfasst einen optischen Baugruppenteil 205, die Lichtquellen 220, 230, 230' und 240 und einen Werkstücktisch 210 mit einem transparenten Mittelteil 212. Der Werkstücktisch 210 ist steuerbar an den X- und Y-Achsen entlang bewegbar, die in einer Ebene liegen, die im Allgemeinen parallel zur Oberfläche des Objekttisches ist, auf dem ein Werkstück 20 positioniert sein kann. Der optische Baugruppenteil 205 umfasst ein Kamerasystem 260, eine auswechselbare Objektivlinse 250 und kann eine Revolverlinsenbaugruppe 280 mit den Linsen 286 und 288 umfassen. Alternativ zur Revolverlinsenbaugruppe kann eine feste oder manuell auswechselbare vergrößerungsändernde Linse oder eine Zoomobjektivkonfiguration oder dergleichen enthalten sein.
Der optische Baugruppenteil 205 ist steuerbar an einer Z-Achse entlang, die im Allgemeinen zu den X- und Y-Achsen orthogonal ist, unter Verwendung eines steuerbaren Motors 294, der ein Stellglied antreibt, um den optischen Baugruppenteil 205 an der Z-Achse entlang zu bewegen, um den Brennpunkt des Bildes des Werkstücks 20 zu ändern, bewegbar. Der steuerbare Motor 294 ist an die Ein-/Ausgangsschnittstelle 130 über eine Signalleitung 296 angeschlossen.
Ein Werkstück 20 oder eine Ablage oder Befestigung, die eine Vielzahl von Werkstücken 20 hält, die unter Verwendung des Inspektionssystems mit maschinellem Sehen 100 abzubilden sind, wird auf den Werkstücktisch 210 gelegt. Der Werkstücktisch 210 kann gesteuert werden, um sich im Verhältnis zu dem optischen Baugruppenteil 205 derart zu bewegen, dass sich die auswechselbare Objektivlinse 250 zwischen Stellen auf einem Werkstück 20 und/oder zwischen einer Vielzahl von Werkstücken 20 bewegt. Eine oder mehrere von einer Objekttischleuchte 220, einer koaxialen Leuchte 230 und einer Oberflächenleuchte 240 (z.B. eine Ringleuchte), kann jeweils ein Ausgangslicht 222, 232 und/oder 242 emittieren, um das Werkstück bzw. die Werkstücke 20 zu beleuchten. Die Lichtquelle 230 kann Licht 232 an einem Pfad entlang emittieren, der einen Spiegel 290 umfasst. Das Ausgangslicht wird als Werkstücklicht 255 reflektiert oder übertragen, und das Werkstücklicht, das zur Bildgebung verwendet wird, geht durch die auswechselbare Objektivlinse 250 und die Revolverlinsenbaugruppe 280 und wird von dem Kamerasystem 260 gesammelt. Das Bild des Werkstücks bzw. der Werkstücke 20, das von dem Kamerasystem 260 aufgenommen wird, wird auf einer Signalleitung 262 an den Steuersystemteil 120 ausgegeben. Die Lichtquellen 220, 230 und 240 können jeweils über Signalleitungen oder Busse 221, 231 und 241 an den Steuersystemteil 120 angeschlossen sein. Um die Bildvergrößerung zu ändern, kann der Steuersystemteil 120 die Revolverlinsenbaugruppe 280 an der Achse 284 entlang drehen, um über eine Signalleitung oder einen Bus 281 eine Revolverlinse auszuwählen.
Wie in 2 gezeigt, umfasst der Steuersystemteil 120 bei diversen Ausführungsbeispielen einen Controller 125, die Ein-/Ausgangsschnittstelle 130, einen Speicher 140, eine Vorrichtung zum Erzeugen und Ausführen von Werkstückprogrammen 170 und einen Energieversorgungsteil 190. Jede dieser Komponenten, sowie die nachstehend beschriebenen zusätzlichen Komponenten, können über einen oder mehrere Daten-/Steuerbusse und/oder Schnittstellen zur Anwendungsprogrammierung oder über direkte Verbindungen zwischen den diversen Elementen zusammengeschaltet sein.
Die Ein-/Ausgangsschnittstelle 130 umfasst eine Schnittstelle zur Bildgebungssteuerung 131, eine Schnittstelle zur Bewegungssteuerung 132, eine Schnittstelle zur Beleuchtungssteuerung 133 und eine Schnittstelle zur Linsensteuerung 134. Die Schnittstelle zur Bewegungssteuerung 132 kann ein Positionssteuerelement 132a und ein Geschwindigkeits-/Beschleunigungssteuerelement 132b umfassen, obwohl solche Elemente zusammengelegt und/oder nicht unterscheidbar sein können. Die Schnittstelle zur Beleuchtungssteuerung 133 umfasst die Beleuchtungssteuerelemente 133a bis 133n und 133fl, die beispielsweise die Auswahl, die Energie, den Ein/Aus-Schalter und gegebenenfalls die Ausblendpulszeit für die diversen entsprechenden Lichtquellen des Inspektionssystems mit maschinellem Sehen 100 steuern.
Der Speicher 140 kann einen Speicherteil für Bilddateien 141, einen Speicherteil für verbesserte begrenzte Bereichspositionen 140en, der nachstehend ausführlicher beschrieben wird, einen Speicherteil für Werkstückprogramme 142, der ein oder mehrere Teileprogramme oder dergleichen umfassen kann, und einen Video-Tool-Teil 143 umfassen. Der Video-Tool-Teil 143 umfasst den Video-Tool-Teil 143a und andere Video-Tool-Teile (z.B. 143n), welche die GUI, den Bildverarbeitungsbetrieb usw. für jedes der entsprechenden Video-Tools bestimmen, und eine Vorrichtung 104roi zum Erzeugen eines interessanten Gebiets (ROI), die automatische, halbautomatische und/oder manuelle Vorgänge unterstützt, die diverse ROIs definieren, die in diversen Video-Tools betriebsfähig sind, die in dem Video-Tool-Teil 143 enthalten sind.
Im Zusammenhang mit der vorliegenden Beschreibung, und wie es dem Fachmann auf diesem Gebiet bekannt ist, bezieht sich der Begriff „Video-Tool“ im Allgemeinen auf einen relativ komplexen Satz von automatischen oder programmierten Vorgängen, die ein Benutzer des maschinellen Sehens über eine relativ einfache Benutzerschnittstelle (z.B. eine grafische Benutzerschnittstelle, editierbare Parameterfenster, Menüs und dergleichen) umsetzen kann, ohne die Schritt-für-SchrittSequenz der Vorgänge zu erstellen, die in dem Video-Tool enthalten ist, oder auf eine allgemeine textbasierte Programmiersprache oder dergleichen zurückzugreifen. Beispielsweise kann ein Video-Tool einen komplexen vorprogrammierten Satz von Bildverarbeitungsvorgängen und Berechnungen umfassen, die in einer bestimmten Instanz angewendet und angepasst werden, indem einige wenige Variablen oder Parameter angepasst werden, welche die Vorgänge und Berechnungen regulieren. Zusätzlich zu den zugrundeliegenden Vorgängen und Berechnungen umfasst das Video-Tool die Benutzerschnittstelle, die es dem Benutzer ermöglicht, diese Parameter für eine bestimmte Instanz des Video-Tools anzupassen. Beispielsweise ermöglichen es viele maschinelles-Sehen-Video-Tools einem Benutzer, einen grafischen Indikator für ein interessantes Gebiet (ROI) durch einfache Vorgänge wie „Ziehen an Griffen“ anhand einer Maus zu konfigurieren, um die Positionsparameter einer Teilmenge eines Bildes zu definieren, das von den Bildverarbeitungsvorgängen einer bestimmten Instanz eines Video-Tools analysiert werden soll. Es versteht sich, dass die sichtbaren Benutzerschnittstellenmerkmale manchmal als Video-Tool bezeichnet werden, wobei die zugrundeliegenden Vorgänge implizit enthalten sind.
Wie viele Video-Tools umfasst der hier beschriebene Gegenstand einer verbesserten begrenzten Bereichsposition sowohl Benutzerschnittstellenmerkmale als auch die zugrundeliegenden Bildverarbeitungsvorgänge und dergleichen, und die damit zusammenhängenden Merkmale können als Merkmale eines verbesserten begrenzten Bereichspositionsmodus 143en bezeichnet werden, der in dem Video-Tool-Teil 143 enthalten ist. Die meisten Video-Tools werden für eine bestimmte Analyseinstanz in Zusammenhang mit einem bestimmten Merkmal oder einem bestimmten interessanten Gebiet umgesetzt, erfüllen ihre Funktion und hören dann auf zu funktionieren. Es versteht sich dagegen, dass bei einigen Ausführungsformen die hier offenbarten Merkmale des verbesserten begrenzten Bereichspositionsmodus insgesamt auf Bestimmungen einer verbesserten begrenzten Bereichsposition angewendet werden können, und im Allgemeinen fortbestehen und weiter funktionieren können, bis sie von einem Benutzer ausdrücklich beendet werden. Obwohl ein Benutzer die Merkmale des verbesserten begrenzten Bereichspositionsmodus 143en erfahren kann, die nachstehend hauptsächlich als Betriebsmodus beschrieben werden, können auch alternative Umsetzungen und/oder Benutzerschnittstellenmerkmale bereitgestellt werden (z.B. ein Video-Tool zur Abstandsmessung eines verbesserten begrenzten Bereichs usw.). Es versteht sich somit, dass das Kennzeichnen der verbesserten begrenzten Bereichsposition, das der Gegenstand der vorliegenden Beschreibung ist, in der nachstehenden Beschreibung als Betriebsmodus für die Beschreibung frei wählbar und nicht dazu gedacht ist, im Hinblick auf sein Aussehen für den Benutzer oder seine Art der Umsetzung eingeschränkt zu sein. Der Fachmann wird verstehen, dass die Schaltungen und Routinen, die den hier offenbarten Merkmalen der verbesserten begrenzten Bereichsposition zugrundeliegen, bei einigen Ausführungsformen als getrennte Elemente umgesetzt werden können.
Kurz gesagt, wie es nachstehend ausführlicher beschrieben wird, kann bei einer Ausführungsform der Modus 143en mit verbesserter begrenzter Bereichsposition von einem Benutzer ausgewählt werden, um die Genauigkeit von bestimmten Kurzstreckenmessungen in einem System mit maschinellem Sehen 100 zu verbessern. Bei bestimmten Umsetzungen kann der Modus 143en mit verbesserter begrenzter Bereichsposition eine Alternative zu einem typischeren Messmodus sein, bei dem ein skalenbasierter Messabschnitt (z.B. ein Codiergerät) für die Positionsmessungen verwendet wird. Im Gegensatz dazu können im Modus 143en mit verbesserter begrenzter Bereichsposition Bildkorrelationstechniken als Teil des Messprozesses verwendet werden (z.B. um eine zweite Bildposition im Verhältnis zu einer ersten Bildposition zu bestimmen), und zwar derart, dass sich die Genauigkeit der Messungen, insbesondere für Abstände zwischen Merkmalen, die durch mehr als ein Sichtfeld getrennt sind, verbessert.
Bei einer Ausführungsform kann der Modus 143en mit verbesserter begrenzter Bereichsposition einen Teil umfassen, der Vorgänge/Modussteuerung mit verbesserter begrenzter Bereichsposition 143enomc bereitstellt, und zwar mit einem Teil für Verbesserungsbereichsparameter und -vorgänge 143enpo und einem Teil, der eine Benutzerschnittstelle 143enui mit verbessertem begrenzten Bereich bereitstellt. Die Merkmale und Vorgänge, die mit diesen Elementen verknüpft sind, werden nachstehend ausführlicher beschrieben. Kurz gefasst können die Vorgänge/Modussteuerung 143enomc mit verbesserter begrenzter Bereichsposition Vorgänge ausführen (z.B. Bildanalysevorgänge, Speicherverwaltung usw.), um den Betrieb des Modus 143en mit verbesserter begrenzter Bereichsposition zu konfigurieren und zu unterstützen, wie es nachstehend ausführlicher beschrieben wird. Bei einer Ausführungsform kann der Modus 143en mit verbesserter begrenzter Bereichsposition auch mit gewissen bekannten Positionsmessvorgängen oder -Tools verlinkt sein anderweitig damit zusammenarbeiten.
Alternative Konfigurationen für den Modus 143en mit verbesserter begrenzter Bereichsposition sind möglich. Im Allgemeinen versteht es sich, dass die hier beschriebenen Techniken mit verbesserter begrenzter Bereichsposition in einer beliebigen bekannten oder später entwickelten Form umgesetzt werden können, die in Zusammenhang mit dem Inspektionssystem mit maschinellem Sehen 100 betriebsfähig ist, um die hier offenbarten Merkmale bezüglich der Messvorgänge bereitzustellen.
Im Allgemeinen speichert der Speicherteil 140 Daten, die verwendbar sind, um den Komponententeil 200 des Visionssystems zu betätigen, um ein Bild des Werkstücks 20 aufzunehmen oder zu erfassen, so dass das erfasste Bild des Werkstücks 20 gewünschte Bildeigenschaften aufweist. Der Speicherteil 140en mit verbesserter begrenzter Bereichsposition kann von den Vorgängen/ der Modussteuerung 143enomc mit verbesserter begrenzter Bereichsposition gesteuert werden, um die diversen Daten zu speichern und/oder wiederaufzurufen, die von dem Modus 143en mit verbesserter begrenzter Bereichsposition verwendet werden. Der Speicherteil 140 kann auch Daten enthalten, die eine grafische Benutzerschnittstelle definieren, die über die Ein-/Ausgangsschnittstelle 130 betriebsfähig ist. Der Speicherteil 140 kann auch Inspektionsergebnisdaten speichern, kann ferner Daten speichern, die verwendbar sind, um das Inspektionssystem mit maschinellem Sehen 100 zu betätigen, um diverse Inspektions- und Messvorgänge an den erfassten Bildern (z.B. teilweise als Video-Tools umgesetzt) entweder manuell oder automatisch umzusetzen und die Ergebnisse über die Ein-/Ausgangsschnittstelle 130 auszugeben.
Die Signalleitungen oder Signalbusse 221, 231 und 241 der Objekttischleuchte 220, der koaxialen Leuchten 230 und 230' und der Oberflächenleuchte 240 sind jeweils alle an die Ein-/Ausgangsschnittstelle 130 angeschlossen. Die Signalleitung 262 von dem Kamerasystem 260 und die Signalleitung 296 von dem steuerbaren Motor 294 sind an die Ein-/Ausgangsschnittstelle 130 angeschlossen. Zusätzlich dazu, dass sie Bilddaten führt, kann die Signalleitung 262 ein Signal von dem Controller 125 führen, der eine Bilderfassung einleitet.
Eine oder mehrere Anzeigevorrichtungen 136 (z.B. das Display 16 aus 1) und eine oder mehrere Eingabevorrichtungen 138 (z.B. der Joystick 22, die Tastatur 24 und die Maus 26 aus 1) können ebenfalls an die Ein-/Ausgangsschnittstelle 130 angeschlossen sein. Die Anzeigevorrichtungen 136 und Eingabevorrichtungen 138 können verwendet werden, um eine Benutzerschnittstelle anzuzeigen, die diverse grafische Benutzerschnittstellen- (GUI) Merkmale umfassen kann, die verwendbar sind, um Inspektionsvorgänge auszuführen und/oder um Teileprogramme zu erstellen und/oder zu ändern, um die Bilder zu visualisieren, die von dem Kamerasystem 260 aufgenommen werden, und/oder um den Visionssystemkomponententeil 200 direkt zu steuern. Die Anzeigevorrichtungen 136 können Benutzerschnittstellenmerkmale anzeigen, die mit der Benutzerschnittstelle 143enui mit verbesserter begrenzter Bereichsposition verknüpft sind, die nachstehend ausführlicher beschrieben wird.
Bei diversen beispielhaften Ausführungsformen, wenn ein Benutzer das Inspektionssystem mit maschinellem Sehen 100 verwendet, um ein Teileprogramm für das Werkstück 20 zu erstellen, erzeugt der Benutzer Teileprogrammanweisungen, indem er das Inspektionssystem mit maschinellem Sehen 100 in einem Lernmodus betätigt, um eine gewünschte Bilderfassungs-Trainingssequenz bereitzustellen. Beispielsweise kann eine Trainingssequenz das Positionieren eines bestimmten Werkstückmerkmals eines repräsentativen Werkstücks im Sichtfeld (FOV), das Einstellen von Lichtniveaus, das Fokussieren oder Autofokussieren, das Erfassen eines Bildes und das Bereitstellen einer Inspektionstrainingssequenz, die auf das Bild angewendet wird (z.B. unter Verwendung einer Instanz eines der Video-Tools an diesem Werkstückmerkmal), umfassen. Der Lernmodus funktioniert derart, dass die Sequenz(en) aufgenommen oder aufgezeichnet und in entsprechende Teileprogrammanweisungen umgesetzt wird bzw. werden. Wenn das Teileprogramm ausgeführt wird, veranlassen diese Anweisungen das Inspektionssystem mit maschinellem Sehen dazu, die erlernten Vorgänge zur Bilderfassung und Inspektion wiederzugeben, um automatisch dieses bestimmte Werkstückmerkmal (d.h. das entsprechende Merkmal an der entsprechenden Stelle) an einem Werkstück oder mehreren Werkstücken im Ausführungsmodus, das bzw. die dem repräsentativen Werkstück entspricht bzw. entsprechen, das beim Erstellen des Teileprogramms verwendet wurde(n), zu inspizieren.
Diese Verfahren zur Analyse und Inspektion, die verwendet werden, um Merkmale in einem Werkstückbild zu inspizieren, werden typischerweise in den diversen Video-Tools ausgebildet (z.B. den Video-Tools 143a, 143n usw.), die in dem Video-Tool-Teil 143 des Speichers 140 enthalten sind, wie oben erläutert. Viele bekannte Video-Tools, bzw. kurz „Tools“, sind in handelsüblichen Inspektionssystemen mit maschinellem Sehen enthalten, wie etwa in der Reihe der Visionssysteme QUICK VISION® und der dazugehörigen Software QVPAK®, wie zuvor besprochen.
Wie zuvor angemerkt, ist der Modus 143en mit verbesserter begrenzter Bereichsposition anders als der üblichere skalenbasierte Messmodus eines typischen Inspektionssystems mit maschinellem Sehen. Bei einem typischen Inspektionssystem mit maschinellem Sehen wird eine Messung des Abstands zwischen zwei Merkmalen, die sich in verschiedenen Sichtfeldern befinden, herkömmlicherweise durch den Unterschied der Objekttischpositionen plus dem Unterschied der Merkmalspositionen in den jeweiligen Bildern bestimmt, wobei die Objekttisch- (d.h. die Bild-) Positionen herkömmlicherweise durch Stellungsgeber (z.B. skalenbasierte Codiergeräte) bestimmt werden. Im Gegensatz dazu kann im Modus 143en mit verbesserter begrenzter Bereichsposition, obwohl die Merkmalspositionen in den jeweiligen Bildern weiterhin auf die gleiche Art und Weise bestimmt werden können, der Unterschied der Objekttisch-(d.h. der Bild-) Positionen alternativ durch Bildkorrelationstechniken gemäß den vorliegenden Lehren bestimmt werden. Bei einer Ausführungsform wird zum Zweck des Bestimmens des Unterschieds der Objekttischpositionen das Inspektionssystem mit maschinellem Sehen im Wesentlichen als Pseudokorrelationscodiergerät betätigt, jedoch mit gewissen Unterschieden gegenüber herkömmlichen Korrelationscodiergeräten, wie es nachstehend ausführlicher beschrieben wird.
Wie es nachstehend mit Bezug auf 3 ausführlicher beschrieben wird, verwenden diverse bekannte herkömmliche Korrelationscodiergeräte Bilder, die von einem Sensor-Array erfasst werden, und eine Korrelation zwischen Bildern, die von dem Sensor-Array erfasst werden, um Verformungen und/oder Verschiebungen eines Objekts zu bestimmen. Beispielsweise wird eine Kategorie solcher Vorrichtungen in den US-Patenten Nr. 6,873,422 (Patent '422), 6,990,254 (Patent '254), 6,996,291 (Patent '291), und 7,065,258 (Patent '258), alle im Namen von Nahum, beschrieben, die hiermit jeweils zur Bezugnahme vollständig übernommen werden. Im Allgemeinen wird bei solchen Vorrichtungen vor dem Verschieben oder Verformen des Objekts ein erstes bzw. ein Referenzbild, das von dem Objekt stammt, aufgenommen und gespeichert. Anschließend wird nach dem Verschieben oder Verformen des Objekts ein zweites oder nachfolgendes Bild, das von dem Objekt stammt, aufgenommen und gespeichert. Die ersten und zweiten Bilder werden dann, z.B. durch Korrelationsvorgänge, Pixel für Pixel quantitativ verglichen. Im Allgemeinen wird eine Vielzahl von jeweiligen Vergleichen mit den ersten und zweiten Bildern ausgeführt, die im Verhältnis zueinander um verschiedene jeweilige Mengen versetzt oder räumlich verschoben sind (z.B. indem der Versatz in Ein-Pixelschritten zwischen den verschiedenen Vergleichen geändert wird). Dann wird der sich ergebende quantitative Vergleich, wie etwa ein Korrelationsfunktionswert, gegenüber seiner entsprechenden Versatzmenge oder einer räumlichen Translationsposition eingezeichnet, um einen Korrelationsfunktionswertepunkt zu bestimmen. Die Versätze mit den stärksten Korrelationen zwischen den zweiten und ersten Bildern erzeugen in dem Diagramm der Korrelationsfunktionswertepunkte eine Spitze oder ein Tal (je nachdem wie der pixelweise Vergleich ausgeführt wird). Die Versatzmenge, die der Spitze oder dem Tal entspricht, stellt die Verschiebungs- oder Verformungsmenge zwischen den ersten und zweiten Bildern dar.
3 ist eine Kurve 300, welche die Ergebnisse des Vergleichs der ersten und zweiten Bilder abbildet, die einen hohen Raumfrequenzgehalt umfassen (z.B. Bilder von Texturen oder Flecken), durch einen absoluten Wert einer Differenzkorrelationsfunktion, wenn die Bilder an diversen Pixelverschiebungen in einer Dimension versetzt sind. Diese Differenzkorrelationsfunktion wird in dem US-Patent Nr. 7,295,324 , das hiermit zur Bezugnahme vollständig übernommen wird, ebenfalls ausführlicher beschrieben. Tatsächliche Werkstückbilder können einen geringeren Extremwert und/oder zusätzliche Subextremwerte aufweisen (z.B. zusätzliche kleinere Spitzen oder Täler), die mit einem bestimmten Bildinhalt verknüpft sind. Zum Zweck des Verständnisses der vorliegenden Erfindung versteht es sich, dass die grundlegenden Lehren, die nachstehend mit Bezug auf die relativ perfekte Korrelationskurve, die in 3 abgebildet ist, beschrieben werden, im Allgemeinen auf Korrelationskurven für viele verschiedene tatsächliche Werkstückbilder anwendbar sind. Wie in 3 gezeigt, erscheint der Extremwert der wahren kontinuierlichen Korrelationsfunktion 305 mit einem „Spitzenversatz“ oder einer „Spitzenverschiebung“, der bzw. die von dem extremen Korrelationswertepunkt 304 nicht zu unterscheiden ist. Im Allgemeinen erscheint der Extremwert jedoch nicht mit einem Versatz, der ein ganzzahliges Vielfaches der Pixelbeabstandung ist, und daher fällt er im Allgemeinen nicht mit einem extremen Korrelationsfunktionswertepunkt zusammen. Daher ist der Spitzenversatz oder die Spitzenverschiebung im Allgemeinen durch Schätzen oder „Interpolieren“ der Position der Spitze der kontinuierlichen Korrelationsfunktion zwischen den Korrelationsfunktionswertepunkten zu finden. Die Systeme und Verfahren, die in dem zuvor übernommenen Patent '422 offenbart werden, oder beliebige andere geeignete Verfahren, können verwendet werden, um den X-Koordinatenwert (und/oder den Y-Koordinatenwert) des tatsächlichen Spitzenversatzes oder der Spitzenverschiebung im Verhältnis zu einer ausgewählten Menge von Korrelationsfunktionswertepunkten 301 in der Nähe des Spitzengebiets 302 zu bestimmen. Der Korrelationsfunktionswert des äußersten Korrelationsfunktionswertepunktes 304, der durch die Linie 307 angegeben wird, kann zusammen mit dem Wert des Rauschpegels oder Mittelwertes 306 verwendet werden, um die Korrelationsfunktionswertepunkte in dem Gebiet 302 zu normieren, so dass die Menge von Korrelationsfunktionswertepunkten 301 bei einigen Ausführungsbeispielen gemäß einem normierten Wertebereich ausgewählt werden kann. Der X-Koordinatenwert (oder der Y-Koordinatenwert) des tatsächlichen, bzw. wahren, Spitzenversatzes oder der Spitzenverschiebung wird durch eine Linie 303 angegeben, die sich parallel zur R-Achse erstreckt und mit dem Punkt zusammenfällt, welcher der Extremwert der wahren kontinuierlichen Korrelationsfunktion 305 ist. Wenn man davon ausgeht, dass die wahre kontinuierliche Korrelationsfunktion 305 im Spitzengebiet 302 symmetrisch ist, ist die Linie 303 eine Symmetrieachse, und jeder beliebige Punkt auf der Linie 303 gibt den X-Koordinatenwert (oder Y-Koordinatenwert) des Spitzenversatzes oder der Spitzenverschiebung der wahren kontinuierlichen Korrelationsfunktion 305 an, der mit einer Genauigkeit im Subpixelbereich gefunden werden kann, beispielweise gemäß den Verfahren, die in dem Patent '422 offenbart werden.
Das Patent '422 beschreibt, wie ein Subpixelfehler, der im Pixelschritt des Sensor-Arrays räumlich periodisch ist, in den Positionsschätzungen der Korrelationsspitzen auftreten kann, die von diversen Verfahren bereitgestellt werden, die eine Kurvenanpassung verwenden. Das Patent '422 lehrt diverse Verfahren zum Reduzieren solcher Fehler, wenn die Position einer Korrelationsspitze geschätzt wird. Nach der Anwendung der Verfahren des Patents '422 kann jedoch ein gewisser periodischer Subpixelfehler verbleiben. Das US-Patent Nr. 7,085,431 im Namen von Jones (Patent '431), das hiermit zur Bezugnahme vollständig übernommen wird, lehrt ein Verfahren, bei dem die zuvor angegebenen periodischen Subpixelfehler und andere Fehler charakterisiert und kompensiert werden. Das US-Patent Nr. 7,885,480 im Namen von Bryll et al. (Patent '480), das hiermit zur Bezugnahme vollständig übernommen wird, lehrt zudem ein Verfahren, bei dem systematische Subpixelfehler und andere Fehler charakterisiert und kompensiert werden. Es versteht sich, dass die Subpixelgenauigkeit, die durch solche Techniken erreicht wird, bei diversen Anwendungen einer Genauigkeit und/oder Auflösung in einer Größenordnung von 10 nm oder weniger entsprechen kann.
Wie es nachstehend mit Bezug auf 4 ausführlicher beschrieben wird, unterscheiden sich die Bildkorrelationstechniken der vorliegenden Erfindung dadurch von einem herkömmlichen Korrelationscodiergerät, dass statt Verformungen oder Verschiebungen eines Objekts zu bestimmen, ein Abstand zwischen zwei verschiedenen Merkmalen in zwei verschiedenen Bildern bestimmt wird. Ferner kann bei einer Ausführungsform durch die Verwendung der Bildkorrelationstechniken in Kombination mit den üblicheren skalenbasierten Messungen der Suchbereich für den Korrelationsalgorithmus derart angelegt werden, dass er nur einige Pixel benötigt. Weil mit anderen Worten der skalenbasierte Abschnitt eine relativ genaue Angabe darüber bereitstellen kann, wie weit und in welcher Richtung sich der Objekttisch bewegt hat, kann der Pixelversatzsuchbereich für einen Korrelationsalgorithmus basierend auf den angenäherten skalenbasierten Bildpositionen definiert werden, und der Suchbereich (XY) für den Korrelationsalgorithmus muss vielleicht nur auf relativ wenige Pixel gerichtet sein, um die relevante Korrelationsspitze oder das relevante Korrelationstal zwischen den gemeinsamen Pixels eines vorhergehenden Bildes und eines aktuellen Korrelationsbildes zu bestimmen.
4 ist ein Diagramm eines Teils eines Werkstücks 400, das abbildet, wie eine Position eines Bildes im zweiten Zustand F2, das ein zweites Merkmal FE2 umfasst, im Verhältnis zu einem ersten Bild F1, das ein erstes Merkmal FE1 umfasst, unter Verwendung von überlappenden Bildern und den Bildkorrelationstechniken der vorliegenden Erfindung bestimmt werden kann. Wie in 4 gezeigt, umfasst das erste Bild F1 das erste Merkmal FE1, während das Bild im zweiten Zustand F2 das zweite Merkmal FE2 umfasst. Mit Bezug auf die Merkmalspositionen in den jeweiligen Bildern wird die Position des ersten Merkmals FE1 durch die internen Koordinaten X(I1) und Y(I1) in dem ersten Bild F1 bezeichnet, und die Position des zweiten Merkmals FE2 wird durch die internen Koordinaten X(12) und Y(12) in dem Bild im zweiten Zustand F2 bezeichnet. Wie es nachstehend ausführlicher beschrieben wird, wird bei einer Ausführungsform der Gesamtabstand DFE zwischen dem ersten Merkmal FE1 und dem zweiten Merkmal FE2 durch den Unterschied der Positionen des ersten Bildes F1 und des Bildes im zweiten Zustand F2 (d.h. der Objekttischpositionen) plus dem Unterschied der Merkmalspositionen in den jeweiligen Bildern bestimmt.
Wie in 4 gezeigt, wird eine Menge überlappender Bilder CIA, CIB, und CIC aufgenommen, während der Objekttisch von der Position des ersten Bildes F1 in Richtung auf die Position des Bildes im zweiten Zustand F2 bewegt wird. Die Position jedes der Bilder F1, CIA, CIB, CIC und F2 wird willkürlich bezeichnet, wie sie durch die Pixelposition in der oberen rechten Ecke jedes der Bilder referenziert ist. Bei einer alternativen Ausführungsform kann die Bewegung von dem ersten Bild F1 zu dem Bild im zweiten Zustand F2 auf einer geraden Linie statt als eine Reihe von Liniensegmenten in verschiedenen Winkeln erfolgen, um die Verarbeitung und die Berechnungen der Bildkorrelation zu vereinfachen.
Jedes der überlappenden Bilder CIA, CIB und CIC wird gezeigt, wie es einen Überlappungsteil umfasst, der für die Verarbeitung des Suchbereichs des Korrelationsalgorithmus ausreicht. Genauer gesagt werden das erste Bild F1 und das überlappende Bild CIA gezeigt, wie sie einen gemeinsamen Überlappungsteil OV_1A umfassen, während die überlappenden Bilder CIA und CIB einen gemeinsamen Überlappungsteil OV_AB aufweisen, und die überlappenden Bilder CIB und CIC einen gemeinsamen Überlappungsteil OV_BC aufweisen, und das überlappende Bild CIC und das Bild im zweiten Zustand F2 weisen einen gemeinsamen Überlappungsteil OV_C2 auf.
Es versteht sich, dass im Gegensatz zur üblicheren Techniken mit Bildkorrelationscodiergeräten, bei denen ein Großteil der Pixel in einem Bild für einen gewünschten Genauigkeitsgrad der Bildkorrelationsfunktion notwendig sein kann, der Suchbereich (XY) für den Korrelationsalgorithmus gemäß den hier beschriebenen Techniken auf relativ wenige Pixel aus den jeweiligen Überlappungsteilen eingeschränkt werden kann. Bei einer Ausführungsform ist dies der Fall, weil der skalenbasierte Messabschnitt des Inspektionssystems mit maschinellem Sehen eine relativ genaue Angabe des angenäherten Abstands und der Bewegungsrichtung des Objekttisches bereitstellt, so dass nur ein wenige Pixel für den Suchbereich des Korrelationsalgorithmus notwendig sind, um die Position des nachfolgenden Bildes genau zu bestimmen. Das Endergebnis besteht darin, dass die Koordinaten des Bildes im zweiten Zustand F2 mit Bezug auf die Koordinaten des ersten Bildes F1 durch diesen Bildkorrelationsprozess bestimmt werden können, woraus der Abstand D_IMG zwischen den Bildern F1 und F2 bestimmt werden kann. Wie zuvor beschrieben, kann der Gesamtabstand DFE zwischen den Merkmalen FE1 und FE2 dann als der Abstand D_IMG plus dem Unterschied der Merkmalspositionen innerhalb ihrer jeweiligen Bilder bestimmt werden, wie es von den internen Koordinaten X(I1), Y(I1) und X(12), Y(I2), wie zuvor beschrieben, angegeben wird.
Es versteht sich, dass die verbesserte Genauigkeit der Bestimmung des Abstandes DFE für diverse Anwendungsarten nützlich sein kann. Beispielsweise kann bei einer spezifischen Umsetzung das erste Merkmal FE1 einer ersten Kante eines zu messenden Objekts entsprechen. Das zu messende Objekt kann eine ungefähre Breite (z.B. 5 Mikrometer) mit einer zweiten (nicht gezeigten) Kante, die nicht leicht zugänglich ist (z.B. wenn sie unter einer abdeckenden Substanz verdeckt ist), aufweisen. Die zweite verdeckte Kante kann jedoch derart hergestellt werden, dass sie sich in einem genauen bekannten Abstand D_K von einem entfernten Bezugspunkt, wie etwa dem zweiten Merkmal FE2 (das aus verschiedenen Gründen mehr als ein Sichtfeld von dem Objekt entfernt sein kann), befindet. Da das Objekt relativ kleine Dimensionen aufweist (z.B. 5 Mikrometer breit), kann es wünschenswert sein, dass die Messung des Abstandes zwischen den ersten und zweiten Kanten relativ präzise ist (z.B. mit einer gewünschten Genauigkeit von 0,1 bis 0,3 Mikrometer). Durch das Messen der Position der ersten Kante (z.B. wie sie durch das erste Merkmal FE1 dargestellt wird) und dann das Verwenden der Bildkorrelationstechniken, um die relative Position des entfernten Bezugspunktes (z.B. des zweiten Merkmals FE2) zu messen, kann die Breite des Objekts mit hoher Genauigkeit als der Unterschied zwischen dem Abstand DFE und dem Abstand D_K bestimmt werden.
5 ist eine Kurve 500, die beispielhafte Fehlerspezifikationen für ein maschinell sehendes System abbildet, das eine erstes System zum Messen einer Verschiebung oder Position umfasst, das in einem ersten Betriebszustand einen skalenbasierten Messabschnitt oder dergleichen verwendet, und das ein zweites System zum Messen einer Verschiebung oder Position umfasst, das eine Bildkorrelation verwendet, um in einem zweiten Betriebszustand Messungen zu bestimmen, wie oben erläutert. In der Kurve 500 sind geschätzte Positionsfehlerspezifikationen (d.h. wie sie an der Y-Achse entlang referenziert sind) gegenüber tatsächlichen Positionsänderungen (d.h. wie sie an der X-Achse entlang referenziert sind) eingezeichnet. Eine Fehlerlinie 510 gibt einen erwarteten Fehlerbereich für das erste System an, das herkömmliche skalenbasierte Messtechniken verwendet. Es versteht sich, dass die Fehlerlinie 510 nominal für eine Nettoverschiebung (z.B. eine absolute Nettoverschiebung) an einer Achse entlang gilt. Die Fehlerlinie 510 entspricht einem vorgegebenen Skalenfehler Elxy der Form SREs+Ks*(L/1000). Genauer gesagt umfasst diese Formel (die, wie man es verstehen wird, eine erhebliche Vereinfachung ist, die ein komplexes System annähert) den Kurzstreckenskalenfehler SREs (z.B. 1,5 Mikrometer bei diesem Beispiel) plus dem Langstreckenskalenfehler-Koeffizienten Ks (z.B. 3 bei diesem Beispiel) mal der in Millimetern ausgedrückten tatsächlichen Positionsänderung (L) geteilt durch 1000. Der vorgegebene Skalenfehler Elxy gilt, wenn die ersten und zweiten Merkmale um mehr als ein Sichtfeld beabstandet sind (d.h. wenn sich die ersten und zweiten Merkmale in dem gleichen Sichtfeld befinden, dann gilt der vorgegebene Skalenfehler Elxy nicht unbedingt, weil der Objekttisch nicht bewegt werden muss, um eine Abstandsmessung innerhalb des Sichtfeldes vorzunehmen). Mit Bezug auf den angegebenen Kurzstreckenfehler SREs (z.B. 1,5 Mikrometer) kann diese Fehlerkomponente auf diverse zufällige und/oder nicht zufällige Fehler in der Skala oder in den dazugehörigen Signalverarbeitungsschaltungen oder -routinen oder dergleichen (z.B. Interpolationsfehler des Quadratursignals) zurückzuführen sein. Es versteht sich, dass diese Kurzstrecken-Fehlerkomponente für bestimmte Anwendungen und/oder Verschiebungen höher als erwünscht sein kann (z.B. eine Anwendung, bei der ein gemessener Abstand zwischen zwei Merkmalen liegt, die nicht in dem gleichen Sichtfeld erscheinen, beispielsweise eine Merkmalstrennung in einer Größenordnung von 100 Mikrometer für einige Vergrößerungen, und die gewünschte Genauigkeit liegt bei einer Größenordnung von 0,1 bis 0,3 Mikrometer). Noch weiter entwickelte und kostspieligere Inspektionssystemen mit maschinellem Sehen mit einem vorgegebenen Skalenfehler von 0,5 + 2L/1000 Mikrometer sind eventuell nicht in der Lage, diese erwünschten Genauigkeitsstufen einzuhalten.
Wie es nachstehend ausführlicher beschrieben wird, können die Bildkorrelationstechniken der vorliegenden Erfindung dagegen eine höhere Messgenauigkeit über kurze Strecken bereitstellen. Wie in 5 gezeigt, gibt eine Fehlerlinie 520 einen erwarteten Fehlerbereich für ein zweites System an, das die Bildkorrelationstechniken der vorliegenden Erfindung verwendet. Es versteht sich, dass die Fehlerlinie 510 nominal für eine kumulierte Verschiebung (z.B. eine Verschiebung, die alle enthaltenen Verschiebungsschritte als absolute Verschiebungen unabhängig von ihrer Richtung zusammenfasst) entlang einer Achse gilt. Bei diesem spezifischen Ausführungsbeispiel liegt der geschätzte Korrelationsfehler, der von der Fehlerlinie 520 angegeben wird, in Form von SREc+Kc*(L)^0,5 vor. Genauer gesagt umfasst diese Näherungsformel (wobei es sich versteht, dass es sich dabei um eine Vereinfachung eines komplexen Systems handelt) den Kurzstreckenkorrelationsfehler SREc (z.B. 0,1 Mikrometer bei diesem Beispiel) plus dem Langstreckenkorrelationsfehler-Koeffizienten Kc (z.B. 0,2 bei diesem Beispiel) mal der Quadratwurzel der in Millimetern ausgedrückten tatsächlichen Positionsänderung (L), wobei das Ergebnis in Mikrometern ausgedrückt ist. Der geschätzte Korrelationsfehler gilt, wenn die ersten und zweiten Merkmale um mehr als ein Sichtfeld beabstandet sind (d.h. wenn die ersten und zweiten Merkmale innerhalb des gleichen Sichtfeldes liegen, dann muss der geschätzte Korrelationsfehler nicht unbedingt gelten, weil der Objekttisch nicht bewegt werden muss, um eine Abstandsmessung innerhalb des Sichtfeldes vorzunehmen).
Bei einem spezifischen Ausführungsbeispiel kann dieser geschätzte Korrelationsfehler den folgenden Überlegungsarten entsprechen, die durch Informationen ergänzt werden können, die durch Analyse oder Versuche erlangt werden. Aus statistischen Grundlagen können sich zufällige Korrelationsfehler kumulieren, und zwar ungefähr proportional zur Quadratwurzel der Anzahl der Korrelationen, die in einer Verschiebungsschätzung enthalten sind, was die Quadratwurzel des Abstandsfaktors L erklärt, die in der Näherung der Fehler erscheint. Für eine Näherung der Genauigkeit, wenn man 10-Mikrometer-Pixel bei einem VGA- (640x480) CCD und eine zehnfache Vergrößerung annimmt, basierend auf Versuchsergebnissen und/oder Analyse, kann ein erwarteter Fehler basierend auf einer Bildkorrelation in der Größenordnung eines Fehlers von SREc = 100 nm pro Bildkorrelationsinstanz liegen (z.B. pro Bild im Vergleich zum vorhergehenden Bild), wenn man von einem Zielobjekt mit einer angemessenen Textur an dem Korrelationsbildpfad entlang ausgeht. Dies erklärt den Wert des Kurzstreckenkorrelationsfehlers SREc bei diesem bestimmten Beispiel. Es kann wünschenswert sein, die Bewegungen zwischen der Korrelation auf etwa die Größenordnung von einem halben oder einem viertel Sichtfeld einzuschränken, um eine angemessene Bildflächenmenge für eine Korrelation zwischen den Bildern sicherzustellen. Mit einer Sichtfeldgröße bei einer zehnfachen Vergrößerung, die ungefähr 0,64x0,48 mm für das zuvor erwähnte CCD-Array beträgt, kann es wünschenswert sein, die Bewegung zwischen den Korrelationsbildern auf DM = 0,25 mm einzuschränken. Unter Verwendung dieser Werte kann man den Korrelationsfehler mit 0,1+0,1(L/M)^0,5 annähern, was alternativ hinsichtlich der zuvor erwähnten Formel mit SREc = 0,1 und Kc = (SREc/(DM^0,5)) = (0,1/0,5) = 0,2 ausgedrückt werden kann. Die geschätzte Fehlerlinie 520 entspricht diesen Werten. Bei diversen Ausführungsformen kann das Erhöhen der Vergrößerung den Kurzstreckenfehler verringern. Es kann sich auch auf den Langstreckenfehler-Koeffizienten auswirken, indem der Fehler pro Korrelation abnimmt und M (die gewünschte Bewegung zwischen den Korrelationsbildern) ebenfalls abnimmt. Natürlich hat die Verringerung der Vergrößerung den entgegengesetzten Effekt. Beispielsweise entspricht die geschätzte Fehlerlinie 520' einem höheren Vergrößerungssystem, das durch die Werte SREc' = 0,05 und Kc' = 0,14 gekennzeichnet ist.
Es versteht sich, dass, wie in 5 angegeben, für bestimmte Umsetzungen die Bildkorrelationstechniken der vorliegenden Erfindung eine höhere Genauigkeit bereitstellen können als die zuvor beschriebenen skalenbasierten Messtechniken zum Messen innerhalb eines bestimmten Bereichs, wobei der geschätzte Positionsfehler für die Bildkorrelationstechniken (z.B. wie durch die Linien 520 und 520' angegeben) geringer ist als der geschätzte Positionsfehler für die skalenbasierten Techniken (z.B. wie durch die Linie 510 angegeben). Dieser Bereich kann als verbesserte Positionsmessgrenze oder als verbesserter Positionsmessbereich 540 (für die geschätzte Fehlerlinie 520) oder 540' (für die geschätzte Fehlerlinie 520') bezeichnet werden. Wie in 5 gezeigt, bildet eine verbesserte Positionsmessgrenzlinie 530 eine Grenze der ersten gewünschten verbesserten Positionsmessgrenze bzw. des verbesserten Positionsmessbereichs 540 ab, die eine maximale empfohlene Verschiebungsgrenze angibt, um den zweiten Betriebszustand zu verwenden, um eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen (z.B. ein Bereich, in dem die Bildkorrelationstechnik eventuell der üblicheren skalenbasierten Messtechnik für ein entsprechendes erstes optisches System vorgezogen wird, da es die Möglichkeit aufweist, geringere Fehler bereitzustellen). Eine verbesserte Positionsmessgrenzlinie 530' bildet eine Grenze der zweiten gewünschten verbesserten Positionsmessgrenze bzw. des verbesserten Positionsmessbereichs 540' ab, bei der die Bildkorrelationstechnik der üblicheren skalenbasierten Messtechnik für ein entsprechendes zweites optisches System eventuell vorgezogen wird. Wie zuvor erwähnt, gelten die Fehlerlinie 510 und eine verbesserte Positionsmessgrenze bzw. ein verbesserter Positionsmessbereich auf dieser Basis, und gelten nominal für eine kumulierte Verschiebung, die sich auf die Position eines ersten Korrelationsbildes (z.B. eine Verschiebung, die alle enthaltenen Verschiebungsschritte als absolute Verschiebungen unabhängig von ihrer Richtung zusammenfasst) an der Achse entlang bezieht. Bei einigen Ausführungsformen kann es jedoch recht unwahrscheinlich sein, dass die kumulierten Verschiebungen eine umgekehrte Richtung oder erhebliche Abweichungen von einer Geraden umfassen, und bei solchen Ausführungsformen kann eine verbesserte Positionsmessgrenze bzw. ein verbesserter Positionsmessbereich als einfache Abstandsgrenze im Verhältnis zu einer ersten Korrelationsgrenze umgesetzt werden.
Bei einigen Ausführungsformen kann eine verbesserte Positionsmessgrenze bzw. ein verbesserter Positionsmessbereich durch einen verbesserten Positionsmessgrenzparameter angegeben werden, der in einem Maschinenvisions-Steuersystem (Steuersystem für ein maschinell sehendes System) enthalten ist. Der verbesserte Positionsmessgrenzparameter gibt eine maximale empfohlene Verschiebungsgrenze an, die sich auf das erste Bild bezieht, um den zweiten Betriebszustand zu verwenden, um eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen. Bei einer spezifischen beispielhaften Umsetzung entspricht der verbesserte Positionsmessgrenzparameter einer maximalen empfohlenen Verschiebungsgrenze, die ein spezifisches Vielfaches einer Dimension eines Sichtfeldes (z.B. das 40fache einer FOV-Dimension) des Inspektionssystems mit maschinellem Sehen ist, da die Bildkorrelationstechnik einen Fehler aufweist, der teilweise von der kumulierten Anzahl von korrelierten Bildern abhängig ist. Der Verbesserungsbereich für ein beliebiges optisches System kann je nach Wunsch in absoluten Verschiebungstermen oder in einer beliebigen anderen praktischen Form ausgedrückt werden.
Während, wie zuvor erwähnt, die Schätzung des skalenbasierten Messfehlers unabhängig von der Vergrößerung einer optischen Konfiguration konstant sein kann, ist die Schätzung des Bildkorrelations-Messfehlers im Allgemeinen von einer bestimmten optischen Konfiguration abhängig. Daher können im Allgemeinen die Fehlerbeziehungen, die in 5 abgebildet sind, für verschiedene optische Konfigurationen (z.B. verschiedene Vergrößerungen oder dergleichen) unterschiedlich sein. Es versteht sich, dass die verbesserte Positionsmessgrenze bzw. der verbesserte Positionsmessbereich konservativer eingestellt werden kann als die Grenze bzw. der Bereich mit einem „äquivalenten Fehler“, die bzw. der in 5 gezeigt wird, so dass es relativ sicher ist, dass eine Bildkorrelationsmessung einen geringeren Fehler innerhalb dieser Grenze oder dieses Bereichs bereitstellt.
Bei diversen Ausführungsformen können Fehlerschätzungen und gewünschte verbesserte Positionsmessgrenzen bzw. Positionsmessbereiche, ähnlich wie sie in 5 abgebildet sind, für jede gewünschte optische Konfiguration, die in einem maschinell sehenden System verwendet wird, entweder versuchsmäßig oder durch eine Analyse bestimmt werden. Es versteht sich, dass ein Inspektionssystem mit maschinellem Sehen eine Vielzahl von verbesserten Positionsmessgrenzparametern umfassen kann, die einer Vielzahl von jeweiligen optischen Konfigurationen des Inspektionssystems mit maschinellem Sehen entspricht. Die gewünschten verbesserten Positionsmessgrenzbereiche und/oder die damit verbundenen Beziehungen zu einer vorliegenden Verschiebung oder Position können angezeigt oder anderweitig verwendet werden, um einen Benutzer bei der Wahl behilflich zu sein, wann die hier offenbarten verbesserten Messtechniken der Bildkorrelation für eine verbesserte relative Positionsmessung zu verwenden sind. Falls beispielsweise eine Verschiebung oder relative Position in einen verbesserten Positionsmessbereich fällt, der wie oben erläutert bestimmt wurde, und die skalenbasierte Fehlerschätzung größer als eine gewünschte Fehlergrenze ist, dann wird die verbesserte Positionsmesstechnik mit Bildkorrelation bevorzugt. Falls andererseits die Verschiebung oder relative Position außerhalb eines verbesserten Positionsmessbereichs fällt, der wie oben erläutert bestimmt wurde, dann kann dies dem Benutzer angegeben werden, und/oder die verbesserten Messtechniken mit Bildkorrelation sollten nicht verwendet werden. Damit verbundene Benutzerschnittstellenmerkmale und -vorgänge werden nachstehend weiter erläutert. Falls ferner die skalenbasierte Fehlerschätzung innerhalb einer gewünschten Fehlergrenze liegt, dann kann die skalenbasierte Messung bei einigen Ausführungsformen bevorzugt werden (selbst wenn sie größere jedoch annehmbare Fehler erzeugt), da es sich um eine schnellere Art der Positionsmessung handelt.
6 ist ein Ablaufdiagramm, das eine Ausführungsform einer allgemeinen Routine 600 zum Betreiben eines Inspektionssystems mit maschinellem Sehen entweder in einem ersten Zustand, der einen skalenbasierten Messabschnitt verwendet, oder in einem zweiten Zustand, der eine Bildkorrelation verwendet, um eine verbesserte Positionsmessung im „zweite Zustand“ bereitzustellen, abbildet. In Block 610 wird das Inspektionssystem mit maschinellem Sehen bereitgestellt. Das Inspektionssystem mit maschinellem Sehen umfasst einen Objekttisch, der ein Werkstück aufnimmt, ein Bildgebungssystem, welches das Werkstück abbildet, einen skalenbasierten Messabschnitt, der Positionsmessungen bereitstellt, welche die Position des Objekttisches im Verhältnis zum Bildgebungssystem angeben, ein Steuersystem, ein Display und eine Benutzerschnittstelle. Das Inspektionssystem mit maschinellem Sehen ist konfiguriert, um erste und zweite Betriebszustände bereitzustellen, die verwendet werden, um Positionsmessungen bereitzustellen. Der erste Betriebszustand umfasst das Bereitstellen der Position eines Bildes basierend auf einer skalenbasierten Positionsmessung, die von dem skalenbasierten Messabschnitt bereitgestellt wird, und der zweite Betriebszustand umfasst das Bereitstellen der Position von mindestens einem Bild basierend auf einer Bildkorrelation. Bei diversen Ausführungsformen kann die Benutzerschnittstelle auf dem Display mindestens während eines Betriebslernmodus des Inspektionssystems mit maschinellem Sehen angezeigt werden, und die Benutzerschnittstelle umfasst einen Indikator des zweiten Zustandes, der angibt, wann der zweite Betriebszustand aktiv ist. Es versteht sich jedoch, dass die Benutzerschnittstelle im automatischen Ausführungsbetriebsmodus des Systems nicht angezeigt werden muss.
In einem Entscheidungsblock 620 wird bestimmt, ob sich das System im zweiten Betriebszustand statt im ersten Betriebszustand befindet (z.B. in einem zweiten Betriebszustand, der von einem Modus 143en mit verbesserter begrenzter Bereichsposition aus 2 bereitgestellt wird, der die Grundlagen verwendet, die mit Bezug auf 3, 4 und 5 erläutert wurden). Bei einigen Ausführungsformen kann das System in den zweiten Betriebszustand versetzt werden, indem der Benutzer im Lemmodusbetrieb ein Element zur Aktivierung des zweiten Zustandes betätigt, das in der Benutzerschnittstelle enthalten ist. Bei einigen Ausführungsformen kann der zweite Betriebszustand für bestimmte Tool-Bedingungen und/oder Messsituationen (z.B. wenn eine geringe Toleranz für Abstandsmessungen zwischen eng beabstandeten Merkmalen eingestellt ist) automatisch umgesetzt werden. Bei einigen Ausführungsformen kann der Benutzer solche automatischen Umsetzungen beenden und die Maschine in einen ersten Betriebszustand versetzen, indem er ein Element zur Aktivierung oder Deaktivierung des zweiten Zustandes verwendet (z.B. kann ein Aktivierungselement zwischen den ersten und zweiten Zuständen umschalten). Im Ausführungsmodus werden die ersten und zweiten Betriebszustände durch das Teileprogramm reguliert (z.B. wie sie im Betriebslernmodus aufgezeichnet wurden und/oder wie sie von einem fachmännischen Benutzer per Hand eingegeben wurden). Wenn sich das System im zweiten Betriebszustand befindet, dann fährt die Routine auf jeden Fall mit Block 630 fort, wo die Position von mindestens einem Bild im zweiten Zustand basierend auf einer verbesserten Positionsmessung im zweiten Zustand bereitgestellt wird, die unter Verwendung einer Bildkorrelation bereitgestellt wird. Eine Ausführungsform einer ausführlicheren Umsetzung dieser Funktion in Block 630 wird nachstehend mit Bezug auf 7 ausführlicher beschrieben.
Falls im Entscheidungsblock 620 bestimmt wird, dass sich das System im ersten Betriebszustand statt im zweiten Betriebszustand befindet, dann wird die Position eines Bildes basierend auf einer skalenbasierten Positionsmessung bestimmt, die von dem üblicheren skalenbasierten Messabschnitt bereitgestellt wird. Wie zuvor erläutert, kann das Inspektionssystem mit maschinellem Sehen bei einigen Ausführungsformen einen verbesserten Positionsmessgrenzparameter umfassen, der eine maximale empfohlene Verschiebungsgrenze angibt, die sich auf ein erstes Bild bezieht, um den zweiten Betriebszustand zu verwenden, um eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen. Falls die Position des ersten Bildes definiert ist, dann kann das System bei einigen Ausführungsformen für alle Bildstellen außerhalb der maximalen empfohlenen Verschiebungsgrenze automatisch in den ersten Betriebszustand zurückkehren.
7 ist ein Ablaufdiagramm, das eine Ausführungsform einer Routine 700 für eine spezifischere Umsetzung des zweiten Betriebszustandes von Block 630 aus 6 abbildet. Die nachstehende Beschreibung ist auch mit Bezug auf 4 zu verstehen. Wie in 7 gezeigt, wird in Block 710 ein erstes Bild (z.B. Bild F1 aus 4) referenziert, wobei die erste Bildposition durch eine erste Positionsmessung gekennzeichnet wird. In vielen Fällen kann die erste Positionsmessung eine skalenbasierte Positionsmessung sein (z.B. wie sie im ersten Betriebszustand bestimmt wird). In manchen Fällen kann die erste Positionsmessung eine verbesserte Positionsmessung im zweiten Zustand sein, die während eines Betriebszeitraums des zweiten Betriebszustandes bestimmt wird. Bei einigen Ausführungsformen umfasst die Benutzerschnittstelle ein Element zur Aktivierung des zweiten Zustandes (z.B. wie in 8 abgebildet), das von einem Benutzer betätigt wird, um den zweiten Betriebszustand zu starten und/oder zurückzusetzen, und der zweite Betriebszustand umfasst das Steuersystem, das automatisch die Bildposition eines aktuellen Bildes als erste Bildposition definiert, wenn der zweite Betriebszustand gestartet oder zurückgesetzt wird.
In Block 720 wird das System in Richtung auf eine Bildposition im zweiten Zustand bewegt, und überlappende Bilder (z.B. die überlappenden Bilder CIA, CIB, und CIC aus 4) werden zwischen der ersten Position und der Bildposition im zweiten Zustand aufgenommen. In manchen Fällen kann ein Bewegungssteuerelement des Systems von einem Benutzer im Betriebslernmodus betätigt werden, um sich von der ersten Bildposition in Richtung auf die Bildposition im zweiten Zustand zu bewegen und eine nominale Bildposition im zweiten Zustand zu definieren (z.B. durch Anhalten an dieser Position). In manchen Fällen kann der Benutzer Zwischenpositionen definieren, die den Bewegungspfad zwischen der ersten Bildposition und der Bildposition im zweiten Zustand definieren (z.B. unter Verwendung eines Befehls „Gehe zu“ oder dergleichen), um Höhenänderungen oder Bildstellen mit schlechter Korrelation (z.B. große Lücken) zu umgehen. Bei einigen Ausführungsformen im Betriebslernmodus umfasst der zweite Betriebszustand das Bewerten einer Bildkorrelationsqualitätsmetrik für Bildkorrelationen, die ausgeführt werden, um eine Menge von Bildverschiebungen im zweiten Betriebszustand zu bestimmen, und die Benutzerschnittstelle umfasst einen Indikator der Bildkorrelationsqualität, der basierend auf der Bildkorrelationsqualitätsmetrik angezeigt wird. Bei solchen Ausführungsformen kann der Benutzer in der Auswahl von Zwischenpositionen basierend auf der angegebenen Bildkorrelationsqualität navigieren oder diese bearbeiten. In manchen Fällen kann der Benutzer eine nominale Bildposition im zweiten Zustand basierend auf CAD-Daten und/oder einer Texteingabe oder dergleichen angeben. Die Bewegung bis zur nominalen Bildposition im zweiten Zustand kann auf der Verwendung des skalenbasierten Messabschnitts für die Bewegungssteuerung basieren, während der eine Bildkorrelation verwendet wird, um die Messpositionen zu bestimmen, die mit den überlappenden Korrelationsbildern und dem Bild im zweiten Zustand verknüpft sind, wie zuvor erläutert. Bei einigen Ausführungsformen kann das Steuersystem automatisch die Beabstandung zwischen den überlappenden Bildern (z.B. ein Viertel oder die Hälfte einer Dimension eines Sichtfeldes oder dergleichen) an einem Bewegungspfad zwischen der ersten Bildposition und der Bildposition im zweiten Zustand bestimmen.
In Block 730 wird das Bild im zweiten Zustand (z.B. das Bild im zweiten Zustand F2 aus 4) an der Bildposition im zweiten Zustand aufgenommen. In Block 740 wird die verbesserte Positionsmessung im zweiten Zustand basierend auf der ersten Positionsmessung bereitgestellt, und eine Menge von Bildverschiebungen wird basierend auf der Verwendung einer Bildkorrelation, die auf das erste Bild angewendet wird, den überlappenden Bildern und dem Bild im zweiten Zustand bestimmt.
8 ist ein Diagramm, das diverse Merkmale einer Ausführungsform eines Benutzerschnittstellenanzeige 800 abbildet, die eine Benutzerauswahl für einen zweiten Betriebszustand für einen Modus der verbesserten Position umfasst, der eine Bildkorrelation für Positionsmessungen verwendet. Bei dem in 8 gezeigten beispielhaften Zustand umfasst die Benutzerschnittstellenanzeige 800 ein Sichtfeldfenster 803, das ein Werkstückbild 810 anzeigt. Die Benutzerschnittstellenanzeige 800 umfasst auch diverse Messungen und/oder Betriebsauswahlleisten, wie etwa die Auswahlleisten 820 und 840, ein Echtzeit-XYZ (Positions) Koordinatenfenster 830 und ein Lichtsteuerfenster 850 und eine Tool-/Modus-Auswahlleiste 860. Bei diversen Ausführungsformen umfasst die Benutzerschnittstelle ein Aktivierungs- oder Deaktivierungselement der verbesserten Positionsmessung, das von einem Benutzer betätigt wird, um den Betriebszustand zu starten und/oder zu stoppen, der die verbesserte Positionsmessung basierend auf einer Bildkorrelation bereitstellt, so dass der Benutzer im Betriebslernmodus das maschinell sehende System steuern kann, damit es in einem ersten Betriebszustand funktioniert, der skalenbasierte Positionsmessungen für Bilder zu einem ersten Zeitpunkt bereitstellt, und in einem zweiten Betriebszustand funktioniert, der Positionsmessungen auf Bildkorrelationsbasis für Bilder zu einem zweiten Zeitpunkt bereitstellt. Bei einer Ausführungsform kann das Aktivierungs- oder Deaktivierungselement zur verbesserten Positionsmessung eine Schaltfläche 861A sein, die sich auf der Tool-/Modus-Auswahlleiste 860 befindet, die ebenfalls angeben kann, dass der verbesserte Positionsmesszustand aktiv ist, indem sie an ihrem Rand ein Feld „Aktiv“ 862 anzeigt, wenn dieser aktiviert ist. Bei einer anderen Ausführungsform kann das Aktivierungselement der verbesserten Positionsmessung eine Schaltfläche 861B sein, die sich bei der in 8 gezeigten Ausführungsform in dem Koordinatenfenster 830 befindet. Bei einigen Ausführungsformen kann die Benutzerschnittstelle einen Statusindikator 861C der verbesserten Positionsmessverschiebungsgrenze umfassen, der mindestens eines angibt von a) einer Beziehung zwischen einer aktuellen Verschiebung, die sich auf ein erstes Bild bezieht (z.B. das aktuelle Bild zu dem Zeitpunkt, zu dem der Zustand der verbesserten Positionsmessung aktiviert oder erneut aktiviert wurde, wie zuvor erläutert), und einer maximalen empfohlenen Verschiebungsgrenze, und/oder b) einer Warnung, wenn eine aktuelle Verschiebung, die sich auf das erste Bild bezieht, größer als die maximale empfohlene Verschiebungsgrenze ist. Bei der Ausführungsform, die in 8 gezeigt wird, wird der Status der Verschiebungsgrenze durch den schattierten Anteil der Statusleiste angegeben. Bei einer alternativen Ausführungsform kann die Statusleiste durch eine einfache Warnung ersetzt werden, und es kann ein „OK-“ Status angenommen werden, wenn keine Warnung angezeigt oder hervorgehoben ist. Der Statusindikator 861C der verbesserten Positionsmessverschiebungsgrenze kann bei einigen Ausführungsformen als Aktivierungselement dienen (z.B. wobei das Anklicken der Statusleiste den Zustand der verbesserten Positionsmessung aktiviert oder deaktiviert). Wenn der Zustand der verbesserten Positionsmessung aktiv ist, können die angezeigten Koordinaten auf Positionsmessungen basieren, die auf einer Bildkorrelation basieren. Jedes der Elemente 861A bis 861C kann angeben, dass der Zustand der verbesserten Positionsmessung aktiv ist, indem es ein hervorgehobenes Icon oder hervorgehobenen Text oder dergleichen aufweist, wenn der Zustand aktiviert ist (oder ein verdunkeltes Icon oder verdunkelten Text, wenn der Zustand inaktiv ist).
Wenn bei einer Ausführungsform der Zustand der verbesserten Positionsmessung aktiv ist, kann die Benutzerschnittstelle automatisch ein Dialogfeld 870 für den Modus der verbesserten Positionsmessung anzeigen, um die diversen Parameter des ausgewählten Modus der verbesserten Position anzuzeigen und zu konfigurieren. Wie es in dem Parameterdialogfeld 870 für den Modus der verbesserten Positionsmessung gezeigt wird, kann ein erstes Bildpositionsfeld 871 die X-Y-Z-Koordinaten des ersten Bildes angeben, das im Zustand der verbesserten Positionsmessung referenziert wird. Ein Parameterfeld 872 der verbesserten Positionsmessgrenze kann einen Wert anzeigen, der eine maximale empfohlene Verschiebungsgrenze angibt, die sich auf das erste Bild bezieht, um den Betriebszustand der verbesserten Positionsmessung zu verwenden, um eine verbesserte Positionsmessung für eine aktuelle optische Konfiguration bereitzustellen.
Bei diversen Ausführungsformen kann die Benutzerschnittstelle ein Element umfassen, das im Betriebslernmodus vom Benutzer betätigt wird (z.B. das Abstandsmess-Tool, das durch die Abstands-Tool-Schaltfläche 822 aktiviert wird), um eine Abstandsmessung zwischen einem ersten Merkmal in dem ersten Bild und einem zweiten Merkmal in einem zweiten Bild zu definieren, das im Betriebszustand der verbesserten Positionsmessung erfasst wird. Wenn die verbesserte Positionsmessung für das zweite Bild verwendet wird, umfasst die Abstandsmessung das Bestimmen eines Unterschiedes zwischen der ersten Positionsmessung (unabhängig davon, ob es sich um eine skalenbasierte Positionsmessung oder eine verbesserte Positionsmessung handelt) und der verbesserten Positionsmessung des zweiten Bildes plus einem Unterschied der jeweiligen Merkmalspositionen mit Bezug auf ihre jeweiligen Bilder.
Es versteht sich, dass nicht alle der hier erläuterten Benutzerschnittstellenelemente bei allen Ausführungsformen verwendet werden müssen. Diverse Merkmale der Elemente können in diversen Ausführungsformen kombiniert oder ausgelassen werden. Andere alternative Benutzerschnittstellenausführungsformen werden für den Fachmann basierend auf den Lehren der vorliegenden Offenbarung hervorgehen.
Als Beispiel für den Betrieb der Benutzerschnittstellenanzeige 800 kann der Benutzer bei einer spezifischen beispielhaften Umsetzung anfänglich ein Werkstückbild 810 im Sichtfeldfenster 803 aufnehmen und eine Positionsmessung eines ersten Merkmals in dem Bild vornehmen (z.B. unter Verwendung eines bekannten Kantenerkennungs-Video-Tools). Der Benutzer kann dann eine Schaltfläche 861 für den Modus der verbesserten Position auswählen, um den Betriebszustand der verbesserten Positionsmessung zu aktivieren, wobei das System dann die XYZ₁-Koordinaten des ersten Bildes aufnimmt (d.h. die Objekttischposition), wie sie etwa in dem Parameterdialogfeld 870 des Modus der verbesserten Position angezeigt werden können. Der Benutzer bewegt dann manuell den Objekttisch in einer Richtung auf eine zweite Bildposition zu, und während der Bewegung werden überlappende Bilder gemäß den zuvor erläuterten Grundlagen aufgenommen. Sobald die gewünschte zweite Bildposition erreicht ist, hört der Benutzer auf, den Objekttisch zu bewegen und nimmt das zweite Bild auf. Das System zeichnet die XYZ₂-Position des zweiten Bildes als XYZ₁-Koordinaten des ersten Bildes plus dem Versatz, wie er durch die Bildkorrelation zwischen dem ersten Bild, den überlappenden Bildern und dem zweiten Bild bestimmt wird, auf Im zweiten Bild kann der Benutzer eine Positionsmessung eines zweiten Merkmals vornehmen (z.B. unter Verwendung eines bekannten Kantenerkennungs-Video-Tools). Der Benutzer kann auch ein Abstandsmess-Tool umsetzen, indem er die Abstands-Tool-Schaltfläche 822 verwendet, und den Abstand zwischen dem ersten und dem zweiten Merkmal bestimmen, wie zuvor erläutert. Wenn sich das System in einem Lernmodus befindet, zeichnet das System die relevanten Anweisungen auf, wie etwa die Sequenz zum Aufnehmen des ersten Bildes, Aktivieren des Betriebszustandes der verbesserten Positionsmessung, Aufzeichnen der relativen Koordinaten, Aufnehmen von überlappenden Bildern während einer Bewegung zur zweiten Bildposition, Aufnehmen des zweiten Bildes und Aufzeichnen der Koordinaten der verbesserten Positionsmessung des zweiten Bildes (z.B. mit Bezug auf die Koordinaten des ersten Bildes) und beliebiger anderer Parameter, die benötigt werden, und so weiter. Der Benutzer kann den Betriebszustand der verbesserten Positionsmessung jederzeit deaktivieren (wodurch er zum standardmäßigen Zustand der skalenbasierten Positionsmessung zurückkehrt). Während eines Ausführungsmodus stellen die Anweisungen, die in dem Teileprogramm aufgezeichnet sind, die Operationen wieder her, die von dem Benutzer im Lernmodus ausgeführt wurden, einschließlich der Übergänge in den und aus dem Betriebszustand der verbesserten Positionsmessung.
Wenn bei einigen Ausführungsformen der Betriebszustand der verbesserten Positionsmessung aktiv ist, wird ein Fehlerprüfprozess ausgeführt, der das Vergleichen der Position, die durch die verbesserte Positionsmessung angegeben wird, die auf der Bildkorrelation basiert, mit derjenigen, die durch den skalenbasierten Messabschnitt angegeben wird, umfasst. Wenn bei einer Ausführungsform der Unterschied zwischen dem Abstand, der von der Bildkorrelation angegeben wird, um mehr als einen erwarteten Fehlerbereich für den skalenbasierten Messabschnitt (gegebenenfalls mit einem definierten Sicherheitsspielraum) anders als derjenige ist, der von dem skalenbasierten Messabschnitt angegeben wird, dann wird dem Benutzer eine Warnung bereitgestellt und/oder der Zustand wird protokolliert und/oder die Messung, die von dem skalenbasierten Messabschnitt bereitgestellt wird, wird als aktuelle Messung angegeben. Dies reduziert die Risiken der Verwendung des Zustandes der verbesserten Positionsmessung.
Obwohl die bevorzugte Ausführungsform der Erfindung abgebildet und beschrieben wurde, werden basierend auf der vorliegenden Offenbarung für den Fachmann zahlreiche Variationen der abgebildeten und beschriebenen Anordnungen von Merkmalen und Betriebssequenzen hervorgehen. Somit versteht es sich, dass diverse Änderungen daran vorgenommen werden können, ohne Geist und Umfang der Erfindung zu verlassen.

Claims

Präzisionsinspektionssystem (100) mit maschinellem Sehen, umfassend einen Objekttisch (210), der ein Werkstück (20) aufnimmt, ein Bildgebungssystem (200), das das Werkstück (20) abbildet, einen skalenbasierten Messabschnitt, der Positionsmessungen bereitstellt, die die Objekttischposition im Verhältnis zu dem Bildgebungssystem (200) angeben, ein Steuersystem (120), ein Display (136), und eine Benutzerschnittstelle (130), wobei: das Inspektionssystem (100) mit maschinellem Sehen konfiguriert ist, erste und zweite Betriebszustände bereitzustellen, die verwendet werden, um Positionsmessungen bereitzustellen, wobei, der erste Betriebszustand das Bestimmen der Position eines Bildes basierend auf einer skalenbasierten Positionsmessung, die durch den skalenbasierten Messabschnitt bereitgestellt wird, umfasst; und der zweite Betriebszustand das Bereitstellen der Position mindestens eines Bildes im zweiten Zustandes basierend auf einer verbesserten Positionsmessung im zweiten Zustand, die unter Verwendung einer Bildkorrelation bereitgestellt wird, umfasst, wobei die verbesserte Positionsmessung im zweiten Zustand umfasst: Referenzieren eines ersten Bildes, das an einer ersten Bildposition aufgenommen wird, wobei die erste Bildposition durch eine erste Positionsmessung gekennzeichnet wird; Bewegen von der ersten Bildposition zu einer Bildposition im zweiten Zustand, die verwendet wird, um das Bild im zweiten Zustand aufzunehmen, und Aufnehmen überlappender Bilder zwischen der ersten Bildposition und der Bildposition im zweiten Zustand; Aufnehmen des Bildes im zweiten Zustand an der Bildposition im zweiten Zustand; und Bereitstellen der verbesserten Positionsmessung im zweiten Zustand basierend auf der ersten Positionsmessung und einer Menge von Bildverschiebungen, die basierend auf der Bildkorrelation, die auf das erste Bild angewendet wird, den überlappenden Bildern und dem Bild im zweiten Zustand bestimmt werden; das Inspektionssystem (100) mit maschinellem Sehen einen verbesserten Positionsmessgrenzparameter umfasst, der eine maximale empfohlene Verschiebungsgrenze angibt, die sich auf das erste Bild bezieht, um unter Verwendung des zweiten Betriebszustands eine verbesserte Positionsmessung im zweiten Zustand bereitzustellen; und der verbesserte Positionsmessgrenzparameter einer maximalen empfohlenen Verschiebungsgrenze entspricht, die höchstens das 40fache einer Dimension eines Sichtfelds des Inspektionssystems (100) mit maschinellem Sehen ist.
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) mindestens während eines Betriebslernmodus des Inspektionssystems (100) mit maschinellem Sehen auf dem Display (136) angezeigt wird, und die Benutzerschnittstelle (130) einen Indikator des zweiten Zustands umfasst, der angibt, wann der zweite Betriebszustand, der die verbesserte Positionsmessung im zweiten Zustand bereitstellt, aktiv ist;
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) ein Element zum Aktivieren des zweiten Zustands umfasst, das von einem Benutzer betätigt wird für mindestens eines von (a) Starten und (b) Stoppen des zweiten Betriebszustandes, der die verbesserte Positionsmessung im zweiten Zustand bereitstellt, so dass der Benutzer das Inspektionssystem (100) mit maschinellem Sehen steuern kann, um zu einem ersten Zeitpunkt während des Betriebslernmodus im ersten Betriebszustand und zu einem zweiten Zeitpunkt während des Betriebslernmodus im zweiten Betriebszustand zu arbeiten.
System (100) nach Anspruch 3, wobei das Element zum Aktivieren des zweiten Zustands und der Indikator des zweiten Zustands durch ein einzelnes Benutzerschnittstellenelement bereitgestellt werden.
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) ein Element zum Aktivieren des zweiten Zustands umfasst, das von einem Benutzer betätigt wird, um den zweiten Betriebszustand zu starten, und der zweite Betriebszustand umfasst, dass das Steuersystem (120) automatisch die Bildposition eines aktuellen Bildes als die erste Bildposition definiert, wenn der zweite Betriebszustand gestartet wird.
System (100) nach Anspruch 1, wobei das Inspektionssystem (100) mit maschinellem Sehen ferner ein Bewegungssteuerelement umfasst, das von einem Benutzer betätigt wird, um die Objekttischposition im Verhältnis zu dem Bildgebungssystem (200) während des Betriebslernmodus zu definieren, und wobei das Bewegen von der ersten Bildposition in die Bildposition im zweiten Zustand umfasst: der Benutzer verwendet das Bewegungssteuerelement, um die nominale Bildposition im zweiten Zustand zu definieren; und das Steuersystem (120) bestimmt automatisch die Beabstandung zwischen den überlappenden Bildern entlang eines Bewegungspfads zwischen der ersten Bildposition und der Bildposition im zweiten Zustand.
System (100) nach Anspruch 6, wobei das Bewegen von der ersten Bildposition in die Bildposition im zweiten Zustand ferner umfasst: der Benutzer verwendet das Bewegungssteuerelement, um Zwischenpositionen zu definieren, die den Bewegungspfad zwischen der ersten Bildposition und der Bildposition im zweiten Zustand definieren.
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) einen verbesserten Statusindikator der Positionsmessverschiebungsgrenzen umfasst, der mindestens eines angibt von (a) einer Beziehung zwischen einer aktuellen Verschiebung, die sich auf das erste Bild bezieht, und der maximalen empfohlenen Verschiebungsgrenze, und (b) einer Warnung, wenn eine aktuelle Verschiebung, die sich auf das erste Bild bezieht, größer als die empfohlene maximale Verschiebungsgrenze ist.
System (100) nach Anspruch 8, wobei der verbesserte Statusindikator der Positionsmessverschiebungsgrenze und der Indikator des zweiten Zustands durch ein einzelnes Benutzerschnittstellenelement bereitgestellt werden.
System (100) nach Anspruch 1, wobei das Inspektionssystem (100) mit maschinellem Sehen mehrere verbesserte Positionsmessgrenzparameter umfasst, die mehreren jeweiligen optischen Konfigurationen des Inspektionssystems (100) mit maschinellem Sehen entsprechen.
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) ferner ein Element umfasst, das während des Betriebslernmodus von einem Benutzer betätigt wird, um eine Abstandsmessung zwischen einem ersten Merkmal in dem ersten Bild und einem zweiten Merkmal in dem Bild im zweiten Zustand zu definieren, wobei die Abstandsmessung einen Unterschied zwischen der ersten Positionsmessung und der Positionsmessung im zweiten Zustand plus einem Unterschied der jeweiligen Merkmalspositionen im Verhältnis zu ihren jeweiligen Bildern umfasst.
System (100) nach Anspruch 1, wobei während des Betriebslernmodus der zweite Betriebszustand das Bewerten einer Bildkorrelationsqualitätsmetrik für Bildkorrelationen umfasst, die durchgeführt werden, um die Menge von Bildverschiebungen während des zweiten Betriebszustands zu bestimmen, und wobei die Benutzerschnittstelle (130) einen Indikator einer schlechten Bildkorrelation umfasst, die basierend auf der Bildkorrelationsqualitätsmetrik angezeigt wird.
System (100) nach Anspruch 1, wobei der zweite Betriebszustand ferner einen Fehlerprüfprozess umfasst, der das Vergleichen der verbesserten Positionsmessung im zweiten Zustand, die durch die Bildkorrelation bereitgestellt wird, mit der skalenbasierten Positionsmessung, die durch den skalenbasierten Messabschnitt bereitgestellt wird umfasst.
System (100) nach Anspruch 13, wobei, falls ein Unterschied zwischen der skalenbasierten Positionsmessung, die durch die Bildkorrelation bereitgestellt wird, und der verbesserten Positionsmessung im zweiten Zustand, die durch den skalenbasierten Messabschnitt bereitgestellt wird, größer als eine erwartete Fehlertoleranz für den skalenbasierte Messabschnitt plus einer vorgesehenen Sicherheitsmarge ist, dann das System (100) konfiguriert ist, mindestens eines durchzuführen von: Bereitstellen einer Warnung in der Benutzerschnittstelle (130), die angibt, dass die skalenbasierte Positionsmessung, die durch die Bildkorrelation bereitgestellt wird, ungenau sein kann, oder Protokollieren der Bedingung, oder Bereitstellen der skalenbasierten Positionsmessung, die durch den skalenbasierten Messabschnitt bereitgestellt wird, als die aktuelle Positionsmessung.
System (100) nach Anspruch 1, wobei der zweite Betriebszustand ferner das Verwenden des skalenbasierten Messabschnitts zur Angabe von angenäherten skalenbasierten Bildpositionen für mindestens eines von (a) den überlappenden Bildern oder (b) dem Bild im zweiten Zustand umfasst, so dass ein Pixelversatzsuchbereich für einen Korrelationsalgorithmus, der im zweiten Betriebszustand verwendet wird, basierend auf den angenäherten skalenbasierten Bildpositionen definiert wird.
System (100) nach Anspruch 1, wobei die Benutzerschnittstelle (130) einen verbesserten Statusindikator der Positionsmessverschiebungsgrenze umfasst, der mindestens eines angibt von (a) einer Beziehung zwischen einer aktuellen Verschiebung, die sich auf das erste Bild bezieht, und der maximalen empfohlenen Verschiebungsgrenze, und (b) einer Warnung, wenn eine aktuelle Verschiebung, die sich auf das erste Bild bezieht, größer als die empfohlene maximale Verschiebungsgrenze ist.
System (100) nach Anspruch 16, wobei der verbesserte Statusindikator der Positionsmessverschiebungsgrenze und der Indikator des zweiten Zustands durch ein einziges Benutzerschnittstellenelement bereitgestellt werden.
System (100) nach Anspruch 1, wobei das Inspektionssystem (100) mit maschinellem Sehen mehrere verbesserte Positionsmessgrenzparameter umfasst, die mehreren jeweiligen optischen Konfigurationen des Inspektionssystems (100) mit maschinellem Sehen entsprechen.
Präzisionsinspektionssystem (100) mit maschinellem Sehen, umfassend einen Objekttisch (210), der ein Werkstück (20) aufnimmt, ein Bildgebungssystem (200), das das Werkstück (20) abbildet, einen skalenbasierten Messabschnitt, der Positionsmessungen bereitstellt, die die Objekttischposition im Verhältnis zu dem Bildgebungssystem (200) angeben, ein Steuersystem (120), ein Display (136), und eine Benutzerschnittstelle (130), wobei: das Inspektionssystem (100) mit maschinellem Sehen konfiguriert ist, um erste und zweite Betriebszustände bereitzustellen, die verwendet werden, um Positionsmessungen bereitzustellen, der erste Betriebszustand das Bestimmen der Position eines Bildes basierend auf einer skalenbasierten Positionsmessung, die von dem skalenbasierten Messabschnitt bereitgestellt wird, umfasst; und der zweite Betriebszustand das Bereitstellen der Position von mindestens einem Bild im zweiten Zustand basierend auf einer verbesserten Positionsmessung im zweiten Zustand, die unter Verwendung einer Bildkorrelation bereitgestellt wird, umfasst, wobei die verbesserte Positionsmessung im zweiten Zustand umfasst: Referenzieren eines ersten Bildes, das an einer ersten Bildposition aufgenommen wird, wobei die erste Bildposition durch eine erste Positionsmessung gekennzeichnet wird; Bewegen von der ersten Bildposition zu einer Bildposition im zweiten Zustand, die verwendet wird, um das Bild im zweiten Zustand aufzunehmen, und Aufnehmen von überlappenden Bildern zwischen der ersten Bildposition und der Bildposition im zweiten Zustand; Aufnehmen des Bildes im zweiten Zustand an der Bildposition im zweiten Zustand; und Bereitstellen der verbesserten Positionsmessung im zweiten Zustand basierend auf der ersten Positionsmessung und einer Menge von Bildverschiebungen, die basierend auf der Bildkorrelation, die auf das erste Bild angewendet wird, den überlappenden Bildern und das Bild im zweiten Zustand bestimmt werden; die Benutzerschnittstelle (130) mindestens während eines Betriebslernmodus des Inspektionssystems (100) mit maschinellem Sehen auf dem Display (136) angezeigt wird, und die Benutzerschnittstelle (130) einen Indikator des zweiten Zustands umfasst, der angibt, wann der zweite Betriebszustand, der die verbesserte Positionsmessung im zweiten Zustand bereitstellt, aktiv ist; der zweite Betriebszustand ferner einen Fehlerprüfprozess umfasst, der Vergleichen der Positionsmessung, die durch die Bildkorrelation bereitgestellt wird, mit derjenigen, die durch den skalenbasierenden Messabschnitt angegeben wird, umfasst; und falls ein Unterschied zwischen dem Abstand, der durch die Bildkorrelation angegeben wird, und dem Abstand, der durch den skalenbasierten Messabschnitt angegeben wird, größer als eine erwartete Fehlermarge für den skalenbasierten Messabschnitt plus einer vorgesehenen Sicherheitsmarge ist, dann das System (100) konfiguriert ist, mindestens durchzuführen eines von: Bereitstellen einer Warnung in der Benutzeroberfläche, die angibt, dass die skalenbasierte Positionsmessung, die durch die Bildkorrelation bereitgestellt wird, ungenau sein kann, Protokollieren der Bedingung, und Bereitstellen der Positionsmessung, die durch den skalenbasierenden Messabschnitt bereitgestellt wird, als die aktuelle Positionsmessung.