DE102017220104A1

DE102017220104A1 - Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe

Info

Publication number: DE102017220104A1
Application number: DE102017220104.5A
Authority: DE
Inventors: Robert Kamil Bryll; Tatsuya Nagahama
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2016-11-23
Filing date: 2017-11-10
Publication date: 2018-05-24
Also published as: JP2018084820A; JP7075743B2; CN108106603A; US20180143419A1; CN108106603B; US10101572B2

Abstract

Ein Bildgebungssystem, das eine Linse mit abstimmbarem akustischen Gradienten (TAG) umfasst, ist mit einer Benutzeroberfläche assoziiert, die eine Live-Anzeige eines Bilds mit erweiterter Tiefenschärfe (EDOF) umfasst. Die TAG-Linse wird verwendet, um ein Roh-EDOF-Bild zu erzeugen, das eine Defokussierungsunschärfe umfassen kann (die z. B. teilweise aus der periodisch modulierten Brechwertänderung der TAG-Linse resultiert). Das Live-EDOF-Bild wird auf der Benutzeroberfläche auf Basis eines Verschiebungsstatussignals zu einem aktuellen Zeitpunkt (das z. B. eine Geschwindigkeit einer Verschiebung des Werkstücks über ein Sichtfeld des Bildgebungssystems usw. indiziert) wiederholt aktualisiert. In Reaktion auf einen aktuellen Status des Verschiebungsstatussignals wird ein entsprechender Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt, das einem EDOF-Bilddatensatz entspricht, der auf einer entsprechenden Bildverarbeitungshöhe zum Entfernen einer Defokussierungsunschärfe basiert.

Description

HINTERGRUND
Technisches Gebiet
Diese Offenbarung bezieht sich im Allgemeinen auf Präzisionsmetrologie unter Verwendung einer Linse mit variabler Brennweite und mehr im Detail auf Bildgebungsvorgänge mit erweiterter Tiefenschärfe, die z. B. bei Prüfsystemen unter Verwendung von maschinellem Sehen oder anderen Sichtsystemen verwendet werden können.
Beschreibung des verwandten Standes der Technik
Präzisionsprüfsysteme unter Verwendung von maschinellem Sehen (oder kurz „Sichtsysteme“) werden verwendet, um präzise Dimensionsmessungen von Objekten zu erhalten und diverse andere Objektcharakteristika zu prüfen. Solche Systeme können einen Computer, ein Kamera- und optisches System und eine Präzisionsplattform umfassen, die sich so bewegt, dass eine Traversion und Prüfung eines Werkstücks möglich ist. Ein beispielhaftes System aus dem Stand der Technik, das als Universal-„Offline“-Präzisionssichtsystem charakterisiert ist, ist die Reihe von PC-basierten Sichtsystemen QUICK VISION® und die Software QVPAK®, verfügbar von Mitutoyo America Corporation (MAC), Aurora, Illinois. Die Merkmale und der Betrieb der Sichtprüfsystemreihe QUICK VISION® und der Software QVPAK® sind im Allgemeinen z. B. im QVPAK 3D CNC Vision Measuring Machine User's Guide, veröffentlicht im Januar 2003, und im QVPAK 3D CNC Vision Measuring Machine Operation Guide, veröffentlicht im September 1996, beschrieben, die hiermit durch Bezugnahme jeweils in ihrer Gesamtheit berücksichtigt sind. Dieser Systemtyp verwendet ein optisches System vom Mikroskoptyp und bewegt die Plattform so, dass Prüfbilder von kleinen oder relativ großen Werkstücken in diversen Vergrößerungen bereitgestellt werden.
Universalpräzisionsprüfsysteme unter Verwendung von maschinellem Sehen sind im Allgemeinen so programmierbar, dass sie eine automatisierte Videoprüfung bereitstellen. Solche Systeme umfassen im Allgemeinen GUI-Merkmale und vordefinierte Bildanalyse-„Videowerkzeuge“, so dass der Betrieb und die Programmierung von Benutzern durchgeführt werden können, die „keine Experten“ sind. Beispielsweise lehrt das US-Patent Nr. 6,542,180 , das hierin durch Bezugnahme in seiner Gesamtheit berücksichtigt ist, ein Sichtsystem, das eine automatisierte Videoprüfung verwendet, die die Verwendung diverser Videowerkzeuge umfasst.
Die Maschinensteueranweisungen, die die spezifische Prüfereignissequenz (d. h. wie jedes Bild zu erfassen ist und wie jedes erfasste Bild zu analysieren/prüfen ist) umfassen, werden im Allgemeinen als „Teilprogramm“ oder „Werkstückprogramm“ gespeichert, das für die bestimmte Werkstückkonfiguration spezifisch ist. Beispielsweise definiert ein Teilprogramm, wie jedes Bild zu erfassen ist, z. B. wie die Kamera in Bezug auf das Werkstück zu platzieren ist, bei welcher Beleuchtungsstärke, in welcher Vergrößerungsstärke usw. Ferner definiert das Teilprogramm, wie ein erfasstes Bild zu analysieren/prüfen ist, z. B. unter Verwendung eines oder mehrerer Videowerkzeuge wie z. B. von Videowerkzeugen mit Autofokus.
Videowerkzeuge (oder kurz „Werkzeuge“) und andere Merkmale einer graphischen Benutzeroberfläche können manuell verwendet werden, um manuelle Prüf- und/oder Maschinensteuervorgänge (in einem „manuellen Modus“) zu erzielen. Ihre Einstellungsparameter und ihr Betrieb können auch während eines Lernmodus aufgezeichnet werden, um automatische Prüfprogramme oder „Teilprogramme“ zu erstellen. Videowerkzeuge können z. B. Werkzeuge zum Erkennen von Kanten/Grenzen, Autofokus-Werkzeuge, Form- oder Musterabgleichungswerkzeuge, Dimensionsmesswerkzeuge und dergleichen umfassen.
Bei manchen Anwendungen ist es wünschenswert, ein Bildgebungssystem eines Prüfsystems unter Verwendung von maschinellem Sehen zu betreiben, um ein Bild mit einer erweiterten Tiefenschärfe (EDOF) zu erfassen, so dass die Tiefenschärfe größer als jene ist, die das optische Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Es sind diverse Verfahren zum Erfassen eines Bilds mit erweiterter Tiefenschärfe bekannt. Ein solches Verfahren liegt im Erfassen eines „Bildstapels“, der aus einer Mehrzahl von kongruenten oder fluchtenden Bildern besteht, die in einem gesamten Fokusbereich in unterschiedlichen Abständen fokussiert sind. Ein Mosaikbild des Sichtfelds wird aus dem Bildstapel konstruiert, wobei jeder Abschnitt des Sichtfelds aus dem bestimmten Bild extrahiert wird, das diesen Abschnitt mit dem besten Fokus zeigt. Dieses Verfahren ist jedoch relativ langsam. Als weiteres Beispiel offenbaren Nagahara et al. („Flexible Depth of Field Photography“, Proceedings of the European Conference on Computer Vision, Oktober 2008) ein Verfahren, wobei ein einzelnes Bild entlang einer Mehrzahl von Fokusabständen während seiner Belichtungszeit belichtet wird. Dieses Bild ist relativ unscharf, enthält jedoch Bildinformationen, die über die Mehrzahl von Fokusabständen hinweg erfasst wurden. Es wird unter Verwendung eines bekannten oder vordefinierten Weichzeichnungskerns entfaltet, um ein relativ klares Bild mit einer erweiterten Tiefenschärfe zu erhalten. Bei dem in Nagahara beschriebenen Verfahren wird der Fokusabstand durch Verschieben des Bilddetektors entlang einer optischen Achse eines Bildgebungssystems verändert. Folglich werden unterschiedliche Fokusebenen am Detektor zu unterschiedlichen Zeitpunkten während einer Belichtung fokussiert. Ein solches Verfahren ist jedoch relativ langsam und mechanisch komplex, was bei gewissen Anwendungstypen zu Problemen führen kann (z. B. wenn ein Live-EDOF-Bild eines Werkstücks angezeigt wird, das über ein Sichtfeld bewegt wird, für das die Verarbeitung ggf. zu langsam sein kann, um mit der Bewegung mitzuhalten, usw.). Ein verbessertes Verfahren zum Bereitstellen von EDOF-Bildern (wie es z. B. durchgeführt werden kann, wenn Live-EDOF-Bilder usw. bereitgestellt werden) ist wünschenswert.
KURZDARSTELLUNG
Diese Kurzdarstellung wird bereitgestellt, um eine Auswahl von Konzepten in vereinfachter Form vorzustellen, die nachstehend in der ausführlichen Beschreibung näher beschrieben sind. Diese Kurzdarstellung soll nicht Schlüsselmerkmale des beanspruchten Gegenstands identifizieren, noch soll sie als Hilfsmittel verwendet werden, um den Umfang des beanspruchten Gegenstands zu bestimmen.
Es werden ein System und ein Verfahren bereitgestellt, wobei ein Live-Bild mit erweiterter Tiefenschärfe (EDOF) eines Werkstücks auf einer Benutzeroberfläche (UI) angezeigt wird, die mit einem Bildgebungssystem assoziiert ist, wobei das Werkstück sich über ein Sichtfeld des Bildgebungssystems verschieben kann. Das Bildgebungssystem umfasst ein Linsensystem, ein Steuersystem, eine Kamera und einen Bildverarbeitungsabschnitt. Das Linsensystem umfasst eine Linse mit abstimmbarem akustischem Gradienten (TAG), die so gesteuert wird, dass sie eine periodisch modulierte Brechwertänderung für die TAG-Linse bereitstellt und somit eine entsprechende Fokusabstandsänderung für das Bildgebungssystem bereitstellt. Das Steuersystem umfasst eine Linsensteuerung, die so konfiguriert ist, dass sie die TAG-Linse steuert. Die Kamera ist so konfiguriert, dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem eingibt und einen entsprechenden Roh-EDOF-Bilddatensatz ausgibt, der einem Roh-EDOF-Bild entspricht. Der Bildverarbeitungsabschnitt ist so konfiguriert, dass er einen Roh-EDOF-Bilddatensatz eingibt und diesen verarbeitet, um einen verarbeiteten EDOF-Bilddatensatz bereitzustellen, der auf einer Bildverarbeitung zum Entfernen von Defokussierungsunschärfe in einem entsprechenden angezeigten EDOF-Bild basiert.
Bei diversen Umsetzungen wird die Kamera so betrieben, dass sie eine Sequenz der Roh-EDOF-Bilddatensätze über die Zeit hinweg ausgibt, die einer Sequenz von Roh-EDOF-Bildern des Werkstücks über die Zeit hinweg entspricht. Ein Verschiebungsstatussignal wird wiederholt ermittelt, das einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks über ein Sichtfeld des Bildgebungssystems zu einer aktuellen Zeit entspricht. Das Live-EDOF-Bild des Werkstücks, das auf der Benutzeroberfläche angezeigt wird, wird auf Basis des Status des Verschiebungsstatussignals zu einer aktuellen Zeit wiederholt aktualisiert, in Bezug auf welches unterschiedliche Bildtypen je nach Status des Verschiebungsstatussignals angezeigt werden. Mehr im Detail wird in Reaktion auf ein erstes Verschiebungsstatussignal, das einer ersten aktuellen Verschiebungsgeschwindigkeit (z. B. einer relativ langsameren Geschwindigkeit) entspricht, ein erster Typ eines Live-EDOF-Bilds des Werkstücks auf der Benutzeroberfläche angezeigt, das einem EDOF-Bilddatensatz entspricht, der auf einer ersten Bildverarbeitungsebene (z. B. einer relativ hohen Bildverarbeitungshöhe) zum Entfernen einer Defokussierungsunschärfe in dem ersten Typ von Live-EDOF-Bild basiert. In Reaktion auf ein zweites Verschiebungsstatussignal, das einer zweiten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die erste aktuelle Verschiebungsgeschwindigkeit ist, wird ein zweiter Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt. Bei diversen Umsetzungen entspricht der zweite Typ von Live-EDOF-Bild einem EDOF-Bilddatensatz, der auf zumindest einem basiert von: einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht; oder keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild.
Figurenliste

1 ist ein Schaubild, das diverse typische Komponenten eines Universal-Präzisionsprüfsystems unter Verwendung von maschinellem Sehen zeigt;
2 ist ein Blockschaubild eines Steuersystemabschnitts und eines Sichtkomponentenabschnitts eines Sichtsystems ähnlich jenem vom 1, das hierin offenbarte Merkmale umfasst;
3 ist ein schematisches Schaubild eines Bildgebungssystems, das gemäß hierin offenbarten Grundsätzen betrieben werden kann;
4 ist ein Blockschaubild von Komponenten, die bei einer ersten Umsetzung eines Steuersystems eines Sichtsystems zum Bereitstellen eines Live-EDOF-Bilds verwendet werden;
5 ist ein Blockschaubild von Komponenten, die bei einer zweiten Umsetzung eines Steuersystems eines Sichtsystems zum Bereitstellen eines Live-EDOF-Bilds verwendet werden;
6A ist ein Schaubild, das eine Benutzeroberfläche veranschaulicht, die mit einem Bildgebungssystem assoziiert ist, wobei eine erste Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe in einer ersten Auflösungshöhe in einem angezeigten ersten Typ von Live-EDOF-Bild verwendet wurde;
6B ist ein Schaubild, das die Benutzeroberfläche von 6A veranschaulicht, wobei eine zweite Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe in einer zweiten Auflösungshöhe in einem angezeigten zweiten Typ von Live-EDOF-Bild verwendet wurde; und
7 ist ein Ablaufschaubild, das eine beispielhafte Umsetzung einer Routine zum Bereitstellen eines Live-EDOF-Bilds eines Werkstücks veranschaulicht, das auf einer Benutzeroberfläche angezeigt wird, die mit einem Bildgebungssystem assoziiert ist.

AUSFÜHRLICHE BESCHREIBUNG
1 ist ein Blockschaubild eines beispielhaften Prüfsystems 10 unter Verwendung von maschinellem Sehen, das ein Bildgebungssystem umfasst, das gemäß hierin offenbarten Grundsätzen verwendbar ist. Das Sichtsystem 10 umfasst eine Sichtmessmaschine 12, die funktionsmäßig verbunden ist, um Daten und Steuersignale mit einem Steuercomputersystem 14, einem Monitor oder einer Anzeige 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 auszutauschen. Der Monitor oder die Anzeige 16 kann eine Benutzeroberfläche zum Steuern und/oder Programmieren des Sichtsystems 10 anzeigen. Ein Tablet mit berührungsempfindlichem Bildschirm oder dergleichen kann beliebige oder all diese Komponenten ersetzen oder verbessern.
Allgemeiner gesprochen kann das Steuercomputersystem 14 ein beliebiges Rechensystem oder eine beliebige Rechenvorrichtung und/oder Verteiltes-Rechnen-Umgebung umfassen oder daraus bestehen und kann einen oder mehrere Prozessoren umfassen, die eine Software ausführen, um die hierin beschriebenen Funktionen durchzuführen. Prozessoren umfassen programmierbare Universal- oder spezielle Mikroprozessoren, Steuerungen, anwendungsspezifische integrierte Schaltungen (ASICs), programmierbare Logikvorrichtungen (PLDs) oder eine Kombination davon. Software kann in einem Direktzugriffsspeicher (RAM), Nur-LeseSpeicher (ROM), Flash-Speicher oder dergleichen oder einer Kombination davon gespeichert werden. Software kann außerdem in Platten auf optischer Basis, Flash-Speicher-Vorrichtungen oder einem beliebigen anderen Typ von nichtflüchtigem Speichermedium zum Speichern von Daten gespeichert werden. Software kann ein oder mehrere Programmmodule umfassen, die Routinen, Programme, Objekte, Komponenten, Datenstrukturen und so weiter umfassen, die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen umsetzen. Die Funktionalität der Programmmodule kann über mehrere Rechensysteme oder -vorrichtungen kombiniert oder verteilt werden und über Dienstaufrufe kann auf diese zugegriffen werden, entweder mit kabelgebundener oder drahtloser Konfiguration.
Die Sichtmessmaschine 12 umfasst eine bewegliche Werkstückplattform 32 und ein optisches Bildgebungssystem 34, das eine Zoom-Linse oder austauschbare Linsen umfassen kann. Die Zoom-Linse oder austauschbaren Linsen stellt bzw. stellen im Allgemeinen diverse Vergrößerungen (z. B. 0,5-fach bis 100-fach) bereit. Ähnliche Sichtsysteme sind in den gemeinsam übertragenen US-Patenten Nr. 7,324,682 ; 7,454,053 ; 8,111,905 ; und 8,111,938 beschrieben, die jeweils durch Bezugnahme hiermit in ihrer Gesamtheit berücksichtigt sind.
2 ist ein Blockschaubild eines Steuersystemabschnitts 120 und eines Sichtkomponentenabschnitts 200 eines Sichtsystems 100 ähnlich dem Sichtsystem von 1, das Merkmale wie hierin beschrieben umfasst. Ähnlich dem Sichtsystem von 1 umfasst das Sichtsystem 100 ein Bildgebungssystem, das gemäß diversen hierin offenbarten Grundsätzen verwendbar ist, wie nachstehend unter Bezugnahme auf 3 ausführlicher beschrieben. Bei dem Beispiel von 2 wird der Steuersystemabschnitt 120 verwendet, um den Sichtkomponentenabschnitt 200 zu steuern. Der Sichtkomponentenabschnitt 200 umfasst einen Optische-Baugruppe-Abschnitt 205, Lichtquellen 220, 230 und 240 und eine Werkstückplattform 210, die einen mittleren transparenten Abschnitt 212 aufweisen kann. Die Werkstückplattform 210 ist entlang x- und y-Achsen steuerbar beweglich, die auf einer Ebene liegen, die im Allgemeinen parallel zur Oberfläche der Plattform verläuft, auf der ein Werkstück 20 positioniert sein kann.
Der Optische-Baugruppe-Abschnitt 205 kann ein Kamerasystem 260 (das z. B. eine Kamera, einen konfokalen optischen Detektor usw. umfasst), eine Linse 270 mit variabler Brennweite (VFL) umfassen und kann auch eine austauschbare Objektivlinse 250 und eine Revolverlinsenbaugruppe 280 mit Linsen 286 und 288 umfassen. Alternativ zur Revolverlinsenbaugruppe kann eine fixe oder manuell austauschbare Vergrößerungsanpassungslinse oder eine Zoom-Linsen-Konfiguration oder dergleichen umfasst sein. Bei diversen Umsetzungen können die diversen Linsen als Teil eines Linsenabschnitts mit variabler Vergrößerung des Optische-Baugruppe-Abschnitts 205 umfasst sein. Bei diversen Umsetzungen kann die austauschbare Objektivlinse 250 aus einem Satz von Objektivlinsen mit fixer Vergrößerung ausgewählt werden (z. B. einem Satz, der von 0,5-fach bis 100-fach reicht, usw.).
Bei diversen Umsetzungen ist der Optische-Baugruppe-Abschnitt 205 entlang einer z-Achse steuerbar beweglich, die im Allgemeinen orthogonal zu den x- und y-Achsen verläuft, und zwar unter Verwendung eines steuerbaren Motors 294, der ein Betätigungselement so antreibt, dass der Optische-Baugruppe-Abschnitt 205 entlang der z-Achse bewegt wird, um den Fokus eines Bilds zu ändern. Der steuerbare Motor 294 ist über eine Signalleitung 296 mit einer Eingabe-/Ausgabeschnittstelle 130 verbunden. Wie nachstehend ausführlicher beschrieben, kann die VFL-Linse 270 auch so betrieben werden, dass eine Fokusposition periodisch moduliert wird. Ein Werkstück 20 oder eine Mehrzahl von Werkstücken 20, das bzw. die es abzubilden gilt, befindet sich auf der Werkstückplattform 210, die sich in Bezug auf den Optische-Baugruppe-Abschnitt 205 (z. B. in die x- und y-Achsen-Richtungen) bewegt, so dass sich der abgebildete Bereich zwischen Stellen auf dem einen oder den mehreren Werkstücken 20 bewegt, und so dass das eine oder die mehreren Werkstücke 20 sich über ein Sichtfeld des Bildgebungssystems verschieben können.
Eines oder mehrere eines Plattformlichts 220, eines coaxialen Lichts 230 und eines Oberflächenlichts 240 (z. B. eines Ringlichts) können Quelllicht 222, 232 bzw. 242 emittieren, um das eine oder die mehreren Werkstücke 20 zu beleuchten. Das coaxiale Licht 230 kann Licht 232 entlang eines Gangs emittieren, der einen Spiegel 290 umfasst. Die Lichtquelle wird als Werkstücklicht 255 reflektiert oder übertragen und das Werkstücklicht (z. B. wie für die Bildgebung verwendet) passiert die austauschbare Objektivlinse 250, die Revolverlinsenbaugruppe 280 und die VFL-Linse 270 und wird vom Kamerasystem 260 (das z. B. eine Kamera, einen konfokalen optischen Detektor usw. umfasst) gesammelt. Bei diversen Umsetzungen gibt das Kamerasystem 260 das Werkstücklicht ein und gibt Signaldaten (z. B. ein oder mehrere Bilder des einen oder der mehreren Werkstücke 20, ein konfokales Helligkeitssignal usw.) auf einer Signalleitung 262 an den Steuersystemabschnitt 120 aus. Die Lichtquellen 220, 230 und 240 können durch Signalleitungen oder Busse 221, 231 bzw. 241 mit dem Steuersystemabschnitt 120 verbunden sein. Der Steuersystemabschnitt 120 kann die Revolverlinsenbaugruppe 280 entlang einer Achse 284 drehen, um eine Revolverlinse auszuwählen, durch eine Signalleitung oder einen Bus 281, so dass eine Bildvergrößerung geändert wird.
Wie in 2 gezeigt, umfasst der Steuersystemabschnitt 120 bei diversen beispielhaften Umsetzungen eine Steuerung 125, die Eingabe-/Ausgabeschnittstelle 130, einen Speicher 140, einen Werkstückprogrammersteller und -ausführer 170 und einen Energieversorgungsabschnitt 190. Jede dieser Komponenten und zusätzliche Komponenten, die nachstehend beschrieben sind, können durch einen oder mehrere Daten-/Steuerbusse und/oder Anwendungsprogrammierschnittstellen oder durch direkte Verbindungen zwischen den diversen Elementen miteinander verbunden werden. Die Eingabe-/Ausgabeschnittstelle 130 umfasst eine Bildgebungssteuerschnittstelle 131, eine Bewegungssteuerschnittstelle 132, eine Beleuchtungssteuerschnittstelle 133 und eine Linsensteuerung/-schnittstelle 271. Die Bewegungssteuerschnittstelle 132 kann ein Positionssteuerelement 132a und ein Geschwindigkeits-/Beschleunigungssteuerelement 132b umfassen, auch wenn solche Elemente zusammengefasst und/oder nicht unterscheidbar sein können. Die Beleuchtungssteuerschnittstelle 133 kann Beleuchtungssteuerelemente 133a, 133n und 133fl umfassen, die z. B. die Auswahl, die Energie, einen Ein/Aus-Schalter und einen Abtastimpulszeitpunkt, falls anwendbar, für die diversen entsprechenden Lichtquellen des Sichtsystems 100 steuern.
Die Bildgebungssteuerschnittstelle 131 kann einen Modus 131e der erweiterten Tiefenschärfe (EDOF) umfassen, der ausgewählt werden kann (z. B. von einem Benutzer, automatisch usw.), um zumindest ein Bild eines Werkstücks mit einer Tiefenschärfe zu erfassen, die größer als jene ist, die vom Sichtkomponentenabschnitt 200 bei Fokus auf eine einzelne Fokusposition bereitgestellt werden kann. Die Linsensteuerung/-schnittstelle 271 kann eine EDOF-Linsensteuerung umfassen, die eine/n Linsenfokussteuerkreis und/oder -routine oder dergleichen umfasst. Gemäß den hierin offenbarten Grundsätzen kann die Linsensteuerung/-schnittstelle 271 bei einer Umsetzung durch einen Benutzer und/oder ein Betriebsprogramm konfiguriert oder gesteuert werden und kann eine Signalleitung 271' verwenden, um die VFL-Linse 270 zu steuern, so dass deren Brechwert periodisch moduliert wird (z. B. sinusförmig) und somit eine Fokusposition des Bildgebungssystems über eine Mehrzahl von Fokuspositionen entlang einer Z-Höhenrichtung in einer bestimmten Betriebsfrequenz periodisch moduliert wird. Der periodisch modulierte Brechwert der VFL-Linse definiert eine periodische Fokusmodulation, die einer Fokusabstandsänderung für das Bildgebungssystem entspricht.
Gewisse Vorgänge und Komponenten, die mit einem Modus der erweiterten Tiefenschärfe und einer EDOF-Linsensteuerschnittstelle und/oder - steuerung assoziiert sind, sind auch in der gleichzeitig anhängigen und gemeinsam übertragenen US-Patentveröffentlichung Nr. 2015/0145980 beschrieben, die durch Bezugnahme hiermit in ihrer Gesamtheit berücksichtigt ist. Andere Systeme und Verfahren, die VFL-Linsen umfassen, sind in der gleichzeitig anhängigen und gemeinsam übertragenen US-Patentanmeldung mit der fortl. Nr. 14/795,409 mit dem Titel „Adaptable Operating Frequency of a Variable Focal Length Lens in an Adjustable Magnification Optical System“, eingereicht am 9. Juli 2015, in der US-Patentanmeldung mit der fortl. Nr. 14/841,051 mit dem Titel „Multi-Level Image Focus Using a Tunable Lens in a Machine Vision Inspection System“, eingereicht am 31. August 2015, in der US-Patentanmeldung mit der fortl. Nr. 14/854,624 mit dem Titel „Chromatic Aberration Correction in Imaging System Including Variable Focal Length Lens“, eingereicht am 15. September 2015, und in der US-Patentanmeldung mit der fortl. Nr. 15/145,682 mit dem Titel „Phase Difference Calibration In A Variable Focal Length Lens System“, eingereicht am 3. Mai 2016, beschrieben, die jeweils durch Bezugnahme hiermit in ihrer Gesamtheit berücksichtigt sind.
Der Speicher 140 kann einen Bilddateispeicherabschnitt 141, einen Kantendetektionsspeicherabschnitt 140ed, einen Werkstückprogrammspeicherabschnitt 142, der ein oder mehrere Teilprogramme oder dergleichen umfassen kann, und einen Videowerkzeugabschnitt 143 umfassen. Der Videowerkzeugabschnitt 143 umfasst einen Videowerkzeugabschnitt 143a und andere Videowerkzeugabschnitte (z. B. 143n), die die GUI, den Bildverarbeitungsvorgang usw. für jedes der entsprechenden Videowerkzeuge bestimmen, und einen Region-von-Interesse-(ROI)-Generator 143roi, der automatische, halbautomatische und/oder manuelle Vorgänge unterstützt, die diverse ROIs definieren, die in diversen Videowerkzeugen betreibbar sind, die im Videowerkzeugabschnitt 143 umfasst sind. Der Videowerkzeugabschnitt umfasst außerdem ein Autofokus-Videowerkzeug 143af, das die GUI, den Bildverarbeitungsvorgang usw. für Autofokusvorgänge bestimmt. Das Autofokus-Videowerkzeug 143af kann außerdem ein Hochgeschwindigkeitsfokushöhenwerkzeug umfassen, das verwendet werden kann, um Fokushöhen mit hoher Geschwindigkeit zu messen, wie in der gleichzeitig anhängigen und gemeinsam übertragenen US-Patentveröffentlichung Nr. 2014/0368726 ausführlicher beschrieben, die durch Bezugnahme hiermit in ihrer Gesamtheit berücksichtigt ist. Bei diversen Umsetzungen können diverse Komponenten und/oder Merkmale, die hierin beschrieben sind, in Verbindung mit einem oder mehreren der Videowerkzeuge (z. B. dem Autofokus-Videowerkzeug 143af, einem separaten Videowerkzeug usw.) verwendet werden oder anderweitig darin umfasst sein.
Im Kontext dieser Offenbarung und wie dem Durchschnittsfachmann bekannt, bezieht sich der Ausdruck „Videowerkzeug“ im Allgemeinen auf einen relativ komplexen Satz von automatischen oder programmierten Vorgängen, die ein Benutzer des maschinellen Sehens über eine relativ einfach Benutzeroberfläche (z. B. eine graphische Benutzeroberfläche, Fenster mit bearbeitbaren Parametern, Menüs und dergleichen) umsetzen kann, ohne dass die Schritt-für-Schritt-Sequenz von Vorgängen gebildet wird, die im Videowerkzeug umfasst sind, oder ohne dass auf eine generalisierte textbasierte Programmiersprache zurückgegriffen wird. Beispielsweise kann ein Videowerkzeug einen komplexen vorprogrammierten Satz von Bildverarbeitungsvorgängen und Berechnungen umfassen, die in einer bestimmten Instanz angewandt und durch Anpassen von ein paar Variablen oder Parametern individuell eingestellt werden, die die Vorgänge und Berechnungen regeln. Neben den zugrundeliegenden Vorgängen und Berechnungen umfasst das Videowerkzeug die Benutzeroberfläche, die es dem Benutzer ermöglicht, jene Parameter für eine bestimmte Instanz des Videowerkzeugs anzupassen. Beispielsweise ermöglichen viele Videowerkzeuge unter Verwendung von maschinellem Sehen es einem Benutzer, einen graphischen Region-von-Interesse-(ROI)-Indikator durch einfache „Handle-Dragging“-Vorgänge mit einer Maus zu konfigurieren, um die Positionsparameter eines Teilsatzes eines Bilds zu definieren, das mit den Bildverarbeitungsvorgängen einer bestimmten Instanz eines Videowerkzeugs zu analysieren ist. Es sei angemerkt, dass die sichtbaren Benutzeroberflächenmerkmale manchmal als Videowerkzeug bezeichnet werden, wobei die zugrundeliegenden Vorgänge implizit umfasst sind.
Die Signalleitungen oder Busse 221, 231 und 241 des Plattformlichts 220, des coaxialen Lichts 230 bzw. des Oberflächenlichts 240 sind allesamt mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 aus dem Kamerasystem 260, die Signalleitung 271' aus der VFL-Linse 270 und die Signalleitung 296 aus dem steuerbaren Motor 294 sind mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 trägt nicht nur Bilddaten, sondern kann auch ein Signal von der Steuerung 125 tragen, das gewisse Prozesse initiiert (z. B. Bilderfassung, konfokale Helligkeitsmessung usw.).
Anzeigevorrichtungen 136 (z. B. die Anzeige 16 von 1) und Eingabevorrichtungen 138 (z. B. der Joystick 22, die Tastatur 24 und die Maus 26 von 1) können ebenfalls mit der Eingabe-/Ausgabeschnittstelle 130 verbunden sein. Die Anzeigevorrichtungen 136 und die Eingabevorrichtungen 138 können verwendet werden, um eine Benutzeroberfläche anzuzeigen, die diverse Merkmale einer graphischen Benutzeroberfläche (GUI) umfassen kann, die verwendbar sind, um Prüfvorgänge durchzuführen und/oder Teilprogramme zu erstellen und/oder zu modifizieren, um die vom Kamerasystem 260 erfassten Bildern anzuschauen und/oder den Sichtsystemkomponentenabschnitt 200 direkt zu steuern. Die Anzeigevorrichtungen 136 können Benutzeroberflächenmerkmale anzeigen (z. B. wie mit der Bildgebungssteuerschnittstelle 131, dem EDOF-Modus 131e, der Linsensteuerung/-schnittstelle 271, der Bewegungssteuerschnittstelle 132, dem Autofokus-Videowerkzeug 143af usw. assoziiert).
Bei diversen beispielhaften Umsetzungen erstellt ein Benutzer, wenn der Benutzer das Sichtsystem 100 zum Erstellen eines Teilprogramms für das Werkstück 20 verwendet, Teilprogrammanweisungen, indem er das Sichtsystem 100 in einem Lernmodus betreibt, um eine gewünschte Bilderfassungstrainingssequenz bereitzustellen. Beispielsweise kann eine Trainingssequenz das Positionieren eines bestimmten Werkstückmerkmals eines repräsentativen Werkstücks im Sichtfeld (FOV), das Einstellen von Lichthöhen, das Fokussieren oder Autofokussieren, das Erfassen eines Bilds und das Bereitstellen einer Prüftrainingssequenz umfassen, die an das Bild angewandt wird (z. B. unter Verwendung einer Instanz eines oder mehrerer der Videowerkzeuge in Bezug auf dieses Werkstückmerkmal). Die eine oder mehreren Sequenzen werden erfasst oder aufgezeichnet und zu entsprechenden Teilprogrammanweisungen umgewandelt. Wenn das Teilprogramm ausgeführt wird, veranlasst es das Sichtsystem dazu, die trainierte Bilderfassung zu reproduzieren und ein aktuelles Werkstück (z. B. ein Laufmoduswerkstück) oder mehrere aktuelle Werkstücke automatisch zu prüfen, das bzw. die dem repräsentativen Werkstück ähnelt bzw. ähneln, das beim Erstellen des Teilprogramms (z. B. während eines Lernmodus) verwendet wurde. Die hierin in Bezug auf den EDOF-Modus 131e offenbarten Systeme und Verfahren sind während eines solchen Lernmodus und/oder manueller Vorgänge dahingehend besonders nützlich, dass ein Benutzer eine Videosequenz von Live-EDOF-Bildern (z. B. zumindest ungefähr in Echtzeit) sehen kann, während er ein Werkstück für eine Sichtprüfung und/oder eine Werkstückprogrammerstellung navigiert. Der Benutzer muss Bilder mit starker Vergrößerung nicht je nach der Höhe diverser mikroskopischer Merkmale am Werkstück kontinuierlich neu fokussieren, was sich mühsam und zeitaufwendig gestalten kann, insbesondere bei starken Vergrößerungen.
3 ist ein schematisches Schaubild eines Bildgebungssystems 300, das an ein Sichtsystem angepasst und gemäß den hierin offenbarten Grundsätzen betrieben werden kann. Es wird verstanden, dass gewisse nummerierte Komponenten 3XX von 3 ähnlich nummerierten Komponenten 2XX von 2 entsprechen können und/oder ähnliche Betriebe aufweisen können, außer falls nachstehend anderweitig beschrieben. Bei diversen Umsetzungen ist das Bildgebungssystem 300 so konfigurierbar, dass es zumindest ein EDOF-Bild eines Werkstücks bereitstellt, das eine größere Tiefenschärfe als das Bildgebungssystem in einer einzelnen Fokusposition aufweist (z. B. bei diversen Umsetzungen 10- bis 20-fach größer oder höherfach). Wie in 3 gezeigt, umfasst das Bildgebungssystem 300 eine Lichtquelle 330, die so konfigurierbar ist, dass sie ein Werkstück 320 (z. B. mit stroboskopischer oder Dauerstrichbeleuchtung) in einem Sichtfeld des Bildgebungssystems 300 beleuchtet, eine Objektivlinse 350, eine Tubuslinse 351, eine Relaislinse 352, eine Linse 370 mit variabler Brennweite (VFL), eine Relaislinse 386 und ein Kamerasystem 360.
In Betrieb ist die Lichtquelle 330 so konfigurierbar, dass sie Quelllicht 332 entlang eines Gangs, der einen partiellen Spiegel 390 umfasst, und durch die Objektivlinse 350 zu einer Oberfläche eines Werkstücks 320 emittiert, wobei die Objektivlinse 350 Werkstücklicht 355 empfängt, das an einer Fokusposition FP proximal des Werkstücks 320 fokussiert ist, und das Werkstücklicht 355 an die Tubuslinse 351 ausgibt. Bei diversen Umsetzungen kann die Objektivlinse 350 eine austauschbare Objektivlinse sein und kann die Tubuslinse 351 als Teil einer Revolverlinsenbaugruppe umfasst sein (z. B. ähnlich der austauschbaren Objektivlinse 250 und der Revolverlinsenbaugruppe 280 von 2). Bei diversen Umsetzungen kann die Objektivlinse 350, die Tubuslinse 351 oder beliebige der anderen Linsen, die hierin genannt werden, aus einzelnen Linsen, Verbundlinsen usw. gebildet sein oder in Verbindung mit diesen arbeiten. Die Tubuslinse 351 empfängt das Werkstücklicht 355 und gibt es an die Relaislinse 352 aus.
Die Relaislinse 352 empfängt das Werkstücklicht 355 und gibt es an die VFL-Linse 370 aus. Die VFL-Linse 370 empfängt das Werkstücklicht 355 und gibt es an die Relaislinse 386 aus. Die Relaislinse 386 empfängt das Werkstücklicht 355 und gibt es an das Kamerasystem 360 aus. Bei diversen Umsetzungen kann das Kamerasystem 360 ein Bild des Werkstücks 320 während einer Bildbelichtungsperiode erfassen und kann das Bild an einen Steuersystemabschnitt bereitstellen (z. B. ähnlich dem Betrieb des Kamerasystems 260 zum Bereitstellen eines Bilds an den Steuersystemabschnitt 120 in 2). Bei diversen Umsetzungen kann das Bildgebungssystem ferner ein optisches Filter umfassen (z. B. vor dem Kamerasystem 360 oder als Teil davon angeordnet), um Vorabbildlicht aus der VFL-Linse zu empfangen und räumlich zu filtern und entstehendes gefiltertes Bildlicht im Rahmen der Bereitstellung eines EDOF-Bilds auszugeben.
Die VFL-Linse 370 ist elektronisch steuerbar, um die Fokusposition FP des Bildgebungssystems während einer oder mehrerer Bildbelichtungen zu variieren. Die Fokusposition FP kann innerhalb eines Bereichs R bewegt werden, der durch eine Fokusposition FP1 und eine Fokusposition FP2 begrenzt wird. Es wird verstanden, dass der Bereich R bei diversen Umsetzungen von einem Benutzer ausgewählt werden kann (z. B. im EDOF-Modus 131e der Bildgebungssteuerschnittstelle 131 usw.) oder aus Designparametern resultieren kann oder anderweitig automatisch bestimmt werden kann. Im Allgemeinen wird in Bezug auf das Beispiel von 3 verstanden, dass gewisse der veranschaulichten Dimensionen ggf. nicht maßstabsgetreu sind. Beispielsweise kann die VFL-Linse 370 andere proportionale Dimensionen als die veranschaulichten aufweisen (z. B. kann bei gewissen Anwendungen schmäler sein und bis zu 50 mm lang oder länger sein, um eine gewünschte Höhe einer Linsenbrechkraft usw. bereitzustellen).
Bei diversen Umsetzungen kann ein Prüfsystem unter Verwendung von maschinellem Sehen ein Steuersystem (z. B. den Steuersystemabschnitt 120 von 2) umfassen, der so konfigurierbar ist, dass er in Verbindung mit einer Linsensteuerung 371 arbeitet, oder die VFL-Linse 370 anderweitig steuert, um eine Fokusposition des Bildgebungssystems 300 periodisch zu modulieren. Bei manchen Umsetzungen kann die VFL-Linse 370 die Fokusposition sehr schnell anpassen oder modulieren (z. B. periodisch, in einer Rate von zumindest 300 Hz oder 3 kHz oder 70 kHz oder viel höher). Bei einer beispielhaften Umsetzung kann der Bereich R ungefähr 10 mm betragen (z. B. bei einer 1-fach-Objektivlinse 350). Bei diversen Umsetzungen wird die VFL-Linse 370 vorteilhafterweise so ausgewählt, dass sie keine makroskopischen mechanischen Anpassungen im Bildgebungssystem und/oder Anpassung des Abstands zwischen der Objektivlinse 350 und dem Werkstück 320 erfordert, um die Fokusposition FP zu ändern. In einem solchen Fall kann gemäß den hierin offenbarten Grundsätzen ein EDOF-Bild erfasst werden, und ferner gibt es keine makroskopischen Anpassungselemente oder assoziierte Nichtwiederholbarkeit in Bezug auf die Positionierung, um die Genauigkeit zu verschlechtern, wenn das gleiche Bildgebungssystem zum Erfassen von Prüfbildern mit fixem Fokus verwendet wird, was bei Präzisionsmessungen (z. B. bei Genauigkeiten in der Größenordnung von ein paar wenigen Mikrometern) und dergleichen) verwendet werden kann. Beispielsweise ist es bei manchen Ausführungsformen wünschenswert, das Live-EDOF-Bild als Anzeigebild für einen Benutzer zu verwenden und die periodische Modulation der Fokusposition später zu beenden (z. B. unter Verwendung des zuvor beschriebenen EDOF-Modussteuerelements 131e oder unter automatischer Beendigung auf Basis eines aktiven Messvorgangs oder stroboskopischer Beleuchtung in Synchronisation mit der VFL-Linsenfrequenz oder dergleichen), um eine fixe Fokusposition für das Bildgebungssystem bereitzustellen. Danach kann das System verwendet werden, um ein Messbilds eines bestimmten Merkmals unter Verwendung des Bildgebungssystems mit der fixen Fokusposition zu belichten, in Bezug auf welches das resultierende stabile hochauflösende Messbild verarbeitet werden kann, um eine genaue Messung des Werkstücks bereitzustellen. Wie in der zuvor berücksichtigten '726-Veröffentlichung beschrieben, können die Änderungen der Fokusposition FP auch verwendet werden, um schnell einen Bildstapel zu erfassen, der eine Mehrzahl von Bildern in einer Mehrzahl von Positionen entlang einer Z-Höhenrichtung proximal des Werkstücks 320 umfasst.
Bei diversen Umsetzungen kann die VFL-Linse 370 eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex (TAG) sein. Eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex ist eine lichtstarke VFL-Linse, die Schallwellen in einem fluiden Medium verwendet, um eine Fokusposition zu modulieren, und kann einen Bereich von Brennweiten in einer Frequenz von mehreren Hundert kHz periodisch sweepen. Eine solche Linse wird anhand der Lehren des Artikels „High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens“ (Optics Letters, Bd. 33, Nr. 18, 15. September 2008) verständlich, der hiermit hierin durch Bezugnahme in seiner Gesamtheit berücksichtigt ist. Linsen mit abstimmbarem akustischem Gradientenindex und zugehörige steuerbare Signalerzeuger sind z. B. von TAG Optics, Inc., Princeton, New Jersey, erhältlich. Die Linsen der Modellreihe TL2.B.xxx beispielsweise sind in der Lage, bis zu ungefähr 600 kHz zu modulieren.
Bei diversen Umsetzungen, wie in der zuvor berücksichtigten '726-Veröffentlichung ausführlicher beschrieben, kann das Kamerasystem 360 einen Sensor mit einem allgemeinen Shutter umfassen, d. h. einen Sensor, der jedes Pixel gleichzeitig belichtet. Eine solche Ausführungsform ist dahingehend vorteilhaft, dass sie die Fähigkeit bereitstellt, Bildstapel ohne Bewegung eines Werkstücks oder eines beliebigen Teils des Bildgebungssystems 300 zu messen. Bei diversen alternativen Umsetzungen kann das Kamerasystem 360 einen Sensor mit einem Electronic-Rolling-Shutter-(ERS)-System umfassen. Beispielsweise kann das Kamerasystem einen Schwarz-Weiß-CMOS-Sensor unter Verwendung von SXGA-Auflösung in Verbindung mit einem Electronic-Rolling-Shutter-(ERS)-System (z. B. Modell MT9M001 von Aptina Imaging, San Jose, Kalifornien) umfassen.
Die VFL-Linse 370 kann durch die Linsensteuerung 371 angetrieben werden, die ein Signal erzeugen kann, um die VFL-Linse 370 zu betreiben. Bei einer Ausführungsform kann die Linsensteuerung 371 ein im Handel erhältlicher steuerbarer Signalerzeuger sein. Bei manchen Umsetzungen kann die Linsensteuerung 371 durch einen Benutzer und/oder ein Betriebsprogramm über die Bildgebungssteuerschnittstelle 131, die Linsensteuerschnittstelle 271 und/oder die Benutzeroberfläche des EDOF-Modus 131e konfiguriert oder gesteuert werden, wie zuvor in Bezug auf 2 ausgeführt. Bei manchen Umsetzungen kann die VFL-Linse 370 unter Verwendung eines periodischen Signals betrieben werden, so dass die Fokusposition FP über die Zeit hinweg in einer hohen Frequenz sinusförmig moduliert wird. Beispielsweise kann eine TAG-Linse bei manchen beispielhaften Umsetzungen für fokale Abtastraten so hoch wie 400 kHz konfiguriert sein, auch wenn verstanden werden sollte, dass langsamere Fokuspositionsanpassungen und/oder Modulationsfrequenzen bei diversen Umsetzungen und/oder Anwendungen wünschenswert sein können. Beispielsweise kann bei diversen Umsetzungen eine periodische Modulation von 300 Hz oder 3 kHz oder 70 kHz oder 250 kHz oder dergleichen verwendet werden. Bei Umsetzungen, bei denen langsamere Fokuspositionsanpassungen verwendet werden, kann die VFL-Linse 370 eine steuerbare Fluidlinse oder dergleichen umfassen.
Bei diversen Umsetzungen kann die TAG-Linse 370 so gesteuert werden, dass sie eine periodisch modulierte Brechwertänderung in einer Frequenz von zumindest 3 kHz bereitstellt, und kann die Kamera 360 so konfiguriert sein, dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem während einer Belichtungsperiode eingibt, die eine Mehrzahl von Perioden der periodisch modulierten Brechwertänderung überspannt, um ein EDOF-Bild zu erzeugen. Bei einer solchen Umsetzung kann die Mehrzahl von Fokusabständen so konfiguriert sein, dass sie zumindest 70 % eines maximalen Fokusbereichs des Bildgebungssystems gemäß der periodisch modulierten Brechwertänderung überspannen. Bei diversen Umsetzungen kann der Fokusabstand/die Fokusposition FP über eine Mehrzahl von Fokusabständen periodisch moduliert werden, die zumindest die 20-fache Tiefenschärfe des Bildgebungssystems in einem einzelnen Fokusabstand überspannen. Bei diversen Umsetzungen kann die Lichtquelle 330 bei Erzeugung eines EDOF-Bilds verwendet werden, um eine Beleuchtung mit einer Intensitätsänderung in Synchronisation mit dem periodisch modulierten Fokusabstand/Fokusposition FP bereitzustellen, so dass die Beleuchtung die jeweiligen Belichtungsbeiträge in Bezug auf unterschiedliche jeweilige Fokusabstände innerhalb eines Bereichs R des periodisch modulierten Fokusabstands unterschiedlich beeinflusst.
Bei dem Beispiel von 3 sind die Relaislinsen 352 und 386 und die VFL-Linse 370 so konzipiert, dass sie in einer optischen 4f-Konfiguration umfasst sind, während die Relaislinse 352 und die Tubuslinse 351 so konzipiert sind, dass sie in einer Keplersches-Fernrohr-Konfiguration umfasst sind, und die Tubuslinse 351 und die Objektivlinse 350 so konzipiert sind, dass sie in einer Mikroskopkonfiguration umfasst sind. Alle veranschaulichten Konfigurationen werden als in Bezug auf die vorliegende Offenbarung lediglich beispielhaft und nicht einschränkend verstanden. Als Teil der Keplersches-Fernrohr-Konfiguration wird ein Fokusabstand FTUBE der Tubuslinse 351 als ungefähr abstandsgleich zu einem Mittelpunkt zwischen den Linsen 351 und 352 veranschaulicht, wie auch ein Fokusabstand f der Relaislinse 352. Bei alternativen Umsetzungen kann der Fokusabstand FTUBE für die Tubuslinse 351 derart gewählt werden, dass er sich vom Fokusabstand f der Relaislinse 352 unterscheidet (der einem der 4fs der optischen 4f-Konfiguration entspricht). Bei diversen Umsetzungen, bei denen die Tubuslinse 351 als Teil einer Revolverlinsenbaugruppe umfasst sein kann, kann es wünschenswert sein, dass andere Tubuslinsen der Revolverlinsenbaugruppe bei Drehung in die Betriebsposition einen Fokuspunkt an der gleichen Stelle aufweisen (d. h. um den Fokuspunkt der Relaislinse 352 zu treffen).
Wie in der zuvor berücksichtigten '409-Anwendung ausführlicher beschrieben, kann das Verhältnis des Fokusabstands FTUBE zum Fokusabstand f verwendet werden, um den Durchmesser des gebündelten Strahls von Werkstücklicht 355 aus der Relaislinse 352 in Bezug auf den gebündelten Strahl des Werkstücklichts 355, das in die Tubuslinse 351 eingegeben wird, zu verändern. In Bezug auf die gebündelten Strahlen von Werkstücklicht 355, die jeweils in die Tubuslinse 351 eingegeben und aus der Relaislinse 352 ausgegeben werden, wird verstanden, dass solche gebündelten Strahlen bei diversen Umsetzungen auf längere Ganglängen erweitert werden können und/oder Strahlteiler in Bezug auf solche gebündelten Strahlen verwendet werden können, um zusätzliche Strahlengänge bereitzustellen (z. B. wie auf unterschiedliche Kamerasysteme usw. gerichtet).
Bei diversen Umsetzungen ermöglicht die veranschaulichte optische 4f-Konfiguration das Platzieren der VFL-Linse 370 (die z. B. eine Vorrichtung mit niedriger numerischer Apertur (NA) sein kann, wie z. B. eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex) in der Fourier-Ebene FPL der Objektivlinse 350. Diese Konfiguration kann die Telezentrie am Werkstück 320 aufrechterhalten und kann Maßstabsänderungen und Bildverzerrung minimieren (was z. B. das Bereitstellen einer konstanten Vergrößerung für jede Z-Höhe des Werkstücks 320 und/oder Fokusposition FP umfasst). Die Keplersches-Fernrohr-Konfiguration (die z. B. die Tubuslinse 351 und die Relaislinse 352 umfasst) kann zwischen der Mikroskopkonfiguration und der optischen 4f-Konfiguration umfasst sein und kann so konfiguriert sein, dass sie eine gewünschte Größe der Projektion der freien Apertur der Objektivlinse an der Stelle der VFL-Linse bereitstellt, um Bildabbildungsfehler usw. zu minimieren.
Es wird verstanden, dass gewisse Typen von Dimensionsmessungen bei diversen Umsetzungen eine Nahbeugungs- oder beugungsbegrenzte Bildgebung erfordern. Die in 3 veranschaulichte Konfiguration verringert Abbildungsfehler durch Begrenzen der außeraxialen Erstreckung der Pupille der Objektivlinse 350, die in die VFL-Linse 370 abgebildet wird. Bei dieser Konfiguration kann die radiale Erstreckung kleiner als die radiale Erstreckung des ersten Besselschen Rings im Brechungsindexprofil der Stehwelle der VFL-Linse 370 (z. B. eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex) in deren niedrigsten Resonanzfrequenz fR,MIN gehalten werden, wie in der zuvor berücksichtigten '409-Anwendung ausführlicher beschrieben. Auf diese Weise überschreitet Licht aus der Mikroskopkonfiguration (d. h., die die Objektivlinse 350 und die Tubuslinse 351 umfasst) die größte freie Apertur CAVLF,MAX der VFL-Linse 370 nicht. Bei einer Umsetzung, bei der das Licht die größte freie Apertur überschritten hat, könnte das Licht mit der Region der Stehwelle der VFL-Linse 370 interagieren, die einen unwünschenswerten Brechungsindex aufweisen kann, was Abbildungsfehler erhöhen und die Genauigkeit von Dimensionsmessungen verringern könnte.
Was die in 3 gezeigten Vorgänge des Bildgebungssystems betrifft, so kann eine assoziierte Signalverarbeitung bei diversen Umsetzungen so konfiguriert sein, dass sie eine rechnerische Entfaltung eines Roh-EDOF-Bilds (z. B. eines Vorab-EDOF-Bilds) durchführt und ein relativ klares Live-EDOF-Bild (z. B. ungefähr in Echtzeit) bereitstellt. Beispielsweise ist ein Steuersystem (z. B. der Steuersystemabschnitt 120, der in 2 gezeigt ist) so konfiguriert, dass es ein erstes Roh-EDOF-Bild während des Verlaufs zumindest eines Sweeps der modulierten Fokusposition in einem gesamten EDOF-Fokusbereich während der Bildbelichtung erfasst und das erste Roh-EDOF-Bild verarbeitet, das unscharf sein kann, um ein relativ klares EDOF-Bild zu ermitteln. Bei einer Ausführungsform kann das Roh-EDOF-Bild unter Verwendung einer bekannten oder vordefinierten integrierten Punktspreizfunktion (IPSF) verarbeitet oder entfaltet werden, die dem Fokusbereich des Roh-EDOF-Bilds entspricht und die einen Vorgang des Linsensystems charakterisieren soll. Eine Punktspreizfunktion P(FP) charakterisiert einen Zerstreuungskreis (d. h. ein kreisförmiges Bild einer Punktlichtquelle in einem bestimmten Abstand zu einem Bildgebungssystem als Funktion eines Radius r des Zerstreuungskreises und der Fokusposition FP). Eine Punktspreizfunktion kann für ein Bildgebungssystem experimentell ermittelt werden oder sie kann unter Verwendung von Punktspreizfunktionen geschätzt werden, die anhand von Funktionen wie z. B. Pill Box oder Gaußschen Kurve modelliert werden, oder unter Verwendung von grundlegenden Beugungsgrundsätzen (z. B. Fourier-Optik), gemäß bekannten Verfahren. Solche Punktspreizfunktionen in diversen Fokusabständen innerhalb eines Fokusbereichs können gemäß ihren erwarteten Belichtungsbeiträgen oder ihrer erwarteten Anwendbarkeit gewichtet werden. Beispielsweise wenn sich der Fokusabstand während einer Belichtung bewegt, trägt jeder Fokusabstand zu einer Bildbelichtung für einen entsprechenden Zeitraum innerhalb dieser Belichtung bei und eine Punktspreizfunktion, die diesem Abstand entspricht, kann entsprechend gewichtet werden. Solche gewichteten Punktspreizfunktionsbeiträge können über einen erwarteten Fokusbereich R summiert oder integriert werden. Alternativ können solche Punktspreizfunktionsbeiträge, wenn die Fokusabstandsänderung eine bekannte Funktion der Zeit ist, über einen Zeitraum integriert werden, der einem Sweep des erwarteten Fokusbereichs R entspricht, analog zu dem Ansatz, der unter Bezugnahme auf die nachstehende GLEICHUNG 3 indiziert ist.
Bei einem Bildgebungssystem mit einer modulierten Fokusposition kann eine integrierte Punktspreizfunktion h der folgenden Beziehung entsprechen: $h = \int_{0}^{T} P (F P (t)) d t$
wobei P(FP(t)) eine Punktspreizfunktion ist und FP(t) die zeitabhängige fokale Position ist. Eine Fokusposition eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen kann als Funktion einer Zeit t über eine Gesamtintegrationszeit T moduliert werden, die einer Bildbelichtungs- oder Bildintegrationszeit des ersten Roh-EDOF-Bilds entspricht.
Die Entfaltung des ersten Roh-EDOF-Bilds kann als umgekehrter Vorgang verstanden werden, der ein Bild mit hoher Tiefenschärfe entfaltet, das über einen Bereich von Fokuspositionen mit jeweiligen Dauern in der Belichtung belichtet wurde, unter Verwendung einer integrierten Punktspreizfunktion h, die in manchen Anwendungen als „Zerstreuungsfunktion“ bezeichnet werden kann. Das erste Roh-EDOF-Bild kann als zweidimensionale Funktion g(x,y) dargestellt werden, die eine Faltung eines Bilds f(x,y) mit einer scharfen (idealen) erweiterten Tiefenschärfe ist (was einer Bildanordnung mit Abmessungen m x n entspricht), unter Verwendung der integrierten Punktspreizfunktion h mithilfe der Gleichung: $g (x, y) = f * h = \sum_{m} \sum_{n} f (m, n) h (x - m, y - n)$
In der Frequenzdomäne kann diese Faltung durch das Produkt der Fourier-Transformierten von f und h dargestellt werden, wie als F und H dargestellt: $G = F \cdot H$
Die Fourier-Transformierten von f und h können unter Verwendung eines Fast-Fourier-Transformations-(FFT)-Algorithmus effizient ermittelt werden. Das EDOF-Bild (in der Frequenzdomäne) kann durch Verarbeiten des Bilds G (d. h. Multiplizieren dieses) mit einer Inverse von H ermittelt werden, der hier als H_r ausgewiesen ist. Die Inverse H_r kann mithilfe diverser bekannter Verfahren berechnet werden. Beispielsweise kann eine einfache Pseudoinverse von H mit der Gleichung ermittelt werden: $H_{r} = \frac{H *}{{| H |}^{2} + k}$
wobei H* das komplexe Konjugat von H ist und k eine reele Zahl ist, die auf Basis von Charakteristika des Bildgebungssystems 300 empirisch ausgewählt wird. Bei einer beispielhaften Ausführungsform ist k 0,0001. Schließlich kann das Bild f mit erweiterter Tiefenschärfe wie folgt berechnet werden: $f (x,y) = g * h_{r} = F^{- 1} (G \cdot H_{r}) = F^{- 1} {G \cdot \frac{H *}{{| H |}^{2} + k}}$
Eine robustere Alternative zur Pseudoinverse kann gemäß einer Wiener Entfaltung, einem iterativen Algorithmus nach Lucy und Richardson, einem iterativen Algorithmus nach Van Cittert oder anderen bekannten Entfaltungsansätzen berechnet werden, wobei manche davon z. B. in Digital Image Processing von Kenneth R. Castleman (Prentice-Hall, Inc., 1996) beschrieben sind. Außerdem kann das Verarbeiten des Bilds eine Rauschverringerung umfassen, z. B. unter Verwendung eines kantenerhaltenden Rauschverringerungsfilters, wie z. B. eines geführten Filters oder eines bilateralen Filters. Bei einer unterschiedlichen Ausführungsform, wie in der zuvor berücksichtigten '980-Veröffentlichung ausführlicher beschrieben, kann eine Entfaltung optisch unter Verwendung eines passiven optischen Filters, das in einer Fourier-Ebene eines Bildgebungssystems platziert ist, gemäß grundlegenden Verfahren der Fourier-Optik durchgeführt werden, um ein relativ klares EDOF-Bild in Echtzeit bereitzustellen.
Bei beispielhaften Ausführungsformen kann das Bildgebungssystem 300 ein Roh-EDOF-Bild bereitstellen, das ein unscharfes Bild ist, das eine Information umfasst, die während dessen Belichtung über einen gesamten gewünschten Fokusbereich erfasst wird. Das Roh-EDOF-Bild kann danach wie oben ausgeführt rechnerisch verarbeitet werden, um ein verarbeitetes EDOF-Bild bereitzustellen, das eine größere Tiefenschärfe umfasst, als das Bildgebungssystem 300 in einer einzelnen Fokusposition bereitstellen kann (z. B. 100-fach größer). Beispielsweise kann die Tiefenschärfe des Bildgebungssystems 300 in einer einzelnen Fokusposition 90 um betragen und kann ein Bild mit erweiterter Tiefenschärfe, das unter Verwendung der gleichen Ausführungsform des Bildgebungssystems 300 bereitgestellt wird, eine Tiefenschärfe von so groß wie 9 mm aufweisen.
Auch wenn die oben beschriebenen Beispiele einer Bildverarbeitung (die z. B. eine rechnerische Verarbeitung umfasst, die eine Entfaltung umfasst, usw.) in Bezug auf das Bereitstellen von relativ klaren Live-EDOF-Bildern (z. B. ungefähr in Echtzeit) wirksam sind, dauert die Durchführung der Bildverarbeitung eine Weile. Die Zeitdauer, die für die Bildverarbeitung erforderlich ist, kann bei gewissen Anwendungstypen problematisch sein (z. B. wenn versucht wird, eine Videotypsequenz von Live-EDOF-Bildern eines Werkstücks auf einer Plattform anzuzeigen, die über ein Sichtfeld bewegt wird, wofür die Verarbeitung zu langsam sein kann, um mit einer gewünschten Bildfrequenz in Bezug auf die Bewegung Schritt zu halten, usw.). Wie nachstehend ausführlicher beschrieben, kann gemäß hierin offenbarten Grundsätzen eine verringerte Verarbeitung verwendet werden, um Live-EDOF-Bilder schneller, wenngleich mit einer verringerten Auflösung bereitzustellen, wenn eine relativ schnelle Bewegung erfolgt (z. B. über einem ausgewiesenen geschwindigkeitsbezogenen Schwellenwert). Beispielsweise kann, wie oben in Bezug auf GLEICHUNG 2 beschrieben, die Funktion einer Bildanordnung mit Dimensionen m x n entsprechen (z. B. wobei m und n Zeilen und Spalten von Pixeln darstellen können). Wenn die Anzahl von zu verarbeitenden Pixeln verringert wird, kann auch die Zeitmenge verringert werden, die für die allgemeine Verarbeitung des Roh-EDOF-Bilds erforderlich ist. Bei einer Umsetzung kann die Anzahl von zu verarbeitenden Pixeln durch Mitteln oder anderweitiges Kombinieren der Daten aus Gruppen von Pixeln miteinander (z. B. in Mehrfachpixelkernen) verringert werden, wobei die Daten aus einer kombinierten Gruppe in einem Mehrfachpixelkern auf ähnliche Weise wie ein einzelnes Pixel verarbeitet werden können. Ein konkretes Beispiel: Wenn bei einer Anordnung von 640 x 480 Pixeln die Daten für Quadratgruppen von 4 Pixeln kombiniert werden (wobei z. B. jede Gruppe von 4 Pixeln einem einzelnen Mehrfachpixelkern entspricht), wäre die resultierende zu verarbeitende Anordnung 320 x 240 Kerne. Ein weiteres Beispiel: Wenn ein Geschwindigkeitsschwellenwert überschritten wird, kann ein Roh-EDOF-Bild ohne Durchführung von Bildverarbeitung (z. B. ohne Entfaltungsverarbeitung) zum Entfernen von Defokussierungsunschärfe verwendet werden.
4 ist ein Blockschaubild von Komponenten, die bei einer ersten Umsetzung eines Steuersystems 420 eines Sichtsystems 400 zum Bereitstellen eines Live-EDOF-Bilds verwendet werden. Wie in 4 gezeigt, umfasst das Sichtsystem 400 das Steuersystem 420, einen Verschiebungsstatussignalerzeuger 427, eine Live-EDOF-Bild-UI/Anzeige 436 und eine Kamera 460. Das Steuersystem 420 umfasst einen Verschiebungsstatussignalanalysator 421, einen EDOF-Bildverarbeitungsverwalter 422A, einen Live-EDOF-Bild-UI-/Anzeigeverwalter 422B und einen EDOF-Bildverarbeitungsabschnitt 423. Wie nachstehend ausführlicher beschrieben, kann eine EDOF-Bildverarbeitung in gewissen Fällen (wie z. B. durch den Live-EDOF-Bildverarbeitungsabschnitt 423 durchgeführt) bei gewissen Bildern (z. B. hochauflösenden) relativ langsam werden, was zu niedrigen Bild-/Videofrequenzen für die wiederholt bereitgestellten Live-EDOF-Bilder in der Benutzeroberfläche 436 führt. Gemäß hierin offenbarten Grundsätzen kann eine automatische adaptive EDOF-Bildverarbeitung verwendet werden, um das Benutzererlebnis zu verbessern.
Beispielsweise wenn eine Verschiebungsgeschwindigkeit (z. B. eines Werkstücks über ein Sichtfeld des Bildgebungssystems) relativ langsam ist, kann ein Live-EDOF-Bild, das mit hochauflösender (z. B. voller Auflösung) EDOF-Bildverarbeitung erzeugt wurde, angezeigt werden, das einer hohen EDOF-Bildqualität entspricht. Wenn eine Verschiebungsgeschwindigkeit relativ schneller ist (z. B. entsprechend einer schnelleren Bewegung eines Werkstücks über ein Sichtfeld eines Bildgebungssystems), kann ein Live-EDOF-Bild, das durch weniger EDOF-Bildverarbeitung (oder keine EDOF-Bildverarbeitung) erzeugt wurde, angezeigt werden, was zwar zu einer höheren Bildfrequenz (z. B. für die wiederholt bereitgestellten Live-EDOF-Bilder auf der Benutzeroberfläche 436) führt, jedoch auch zu einer geringeren EDOF-Bildqualität. Bei diversen Umsetzungen kann eine solche geringere EDOF-Bildqualität als akzeptabel angesehen werden, da ein Benutzer nicht in der Lage ist, minuziöse Details unter Bedingungen einer hohen Verschiebungsgeschwindigkeit wahrzunehmen (z. B. in Bezug auf welche eine Bewegungsunschärfe und/oder andere Zerstreuungen usw. in der aktualisierten Videoanzeige auf der Benutzeroberfläche 436 auftreten können). Es wird verstanden, dass eine solche „Bewegungsunschärfe“ sich von einer „Defokussierungsunschärfe“ dahingehend unterscheidet, dass eine Bewegungsunschärfe im Allgemeinen aus einer Verschiebung in den x- und/oder y-Achsenrichtungen in Bezug auf das Sichtfeld des Bildgebungssystems resultiert, während eine Defokussierungsunschärfe mit dem Fokussieren in der z-Achsenrichtung in Bezug auf Werkstückmerkmale mit unterschiedlichen Z-Höhen und die TAG-Linse 370, die den Fokusabstand moduliert, während der gesamten Bildbelichtung, in Zusammenhang steht.
Bei der Konfiguration von 4 zum Bereitstellen eines Live-EDOF-Bilds ist die Kamera 460 so konfiguriert, dass sie ein Werkstückbildlicht aus einem Linsensystem (siehe z. B. 3) in einer Mehrzahl von Fokusabständen für das Bildgebungssystem eingibt und einen entsprechenden Roh-EDOF-Bilddatensatz ausgibt, der einem Roh-EDOF-Bild entspricht (das z. B. eine Defokussierungsunschärfe umfassen kann), wobei der Roh-EDOF-Bilddatensatz an den EDOF-Bildverarbeitungsverwalter 422A bereitgestellt wird. Der EDOF-Bildverarbeitungsabschnitt 423 ist so konfiguriert, dass er den Roh-EDOF-Bilddatensatz vom EDOF-Bildverarbeitungsverwalter 422A eingibt und den Roh-EDOF-Bilddatensatz verarbeitet, um einen verarbeiteten EDOF-Bilddatensatz bereitzustellen, der auf einer Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe in einem entsprechenden verarbeiteten EDOF-Bild basiert, das auf der Benutzeroberfläche 436 angezeigt werden kann.
Der Anzeigeverwalter 422B kann sowohl den Roh-EDOF-Bilddatensatz als auch den verarbeiteten EDOF-Bilddatensatz vom EDOF-Bildverarbeitungsverwalter 422A empfangen und ermitteln, welcher EDOF-Bilddatensatz als aktualisierter Live-EDOF-Bilddatensatz an die Benutzeroberfläche 436 bereitzustellen ist. Konkreter gesagt kann der EDOF-Bildverarbeitungsabschnitt 423 bei dem Beispiel von 4 nach Empfang des Roh-EDOF-Bilddatensatzes mit der Bildverarbeitung in einer relativ hohen Auflösungshöhe (z. B. bei voller Auflösung) mit dem verarbeiteten EDOF-Bilddatensatz beginnen, der über den Verarbeitungsverwalter 422A zum Anzeigeverwalter 422B geleitet wird, wenn die Bildverarbeitung abgeschlossen ist. Der Anzeigeverwalter 422B kann ein Signal vom Verschiebungsstatussignalanalysator 421 verwenden, um zu ermitteln, ob die wiederholt bereitgestellten Roh-EDOF-Bilddatensätze zu verwenden sind, die in einer relativ höheren Aktualisierungsfrequenz bereitgestellt werden, oder ob die wiederholt bereitgestellten verarbeiteten EDOF-Bilddatensätze zu verwenden sind, die in einer relativ niedrigeren Aktualisierungsfrequenz bereitgestellt werden, um auf der Benutzeroberfläche 436 angezeigt zu werden.
Bei einer Umsetzung kann dieser Prozess umfassen, dass der Anzeigeverwalter 422B das Signal vom Verschiebungsstatussignalanalysator 421 verwendet, um zu ermitteln, ob ein Roh-EDOF-Bilddatensatz zu verwenden ist, der unmittelbar verfügbar ist, oder ob kurz auf einen verarbeiteten EDOF-Bilddatensatz zu warten ist, der empfangen wird, nachdem die Bildverarbeitung durch den EDOF-Bildverarbeitungsabschnitt 423 abgeschlossen wurde. Es wird verstanden, dass der ausgewählte Datensatz jedenfalls als Live-EDOF-Bilddatensatz zum Anzeigen eines Live-EDOF-Bilds auf der Benutzeroberfläche 436 bereitgestellt wird, insofern, als dass sämtliche Verarbeitung schnell genug abgeschlossen wird, damit das Bild zumindest ungefähr in Echtzeit in Bezug auf den Zeitpunkt, an dem der Roh-EDOF-Bilddatensatz erfasst wurde, angezeigt wird. Bei diversen Umsetzungen kann der Anzeigeverwalter 422B auch eine Option zum Wiederverwenden eines vorherigen Bilds aufweisen (z. B. wenn der Verschiebungsstatussignalanalysator indiziert, dass der Status „gestoppt“ ist), was keiner aktuellen Bewegung des Werkstücks über das Sichtfeld des Bildgebungssystems zu einem aktuellen Zeitpunkt entspricht.
Bei diversen Umsetzungen kann der Verschiebungsstatussignalanalysator 421 ein Verschiebungsstatussignal vom Verschiebungsstatuserzeuger 427 als einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks über das Sichtfeld des Bildgebungssystems zu einem aktuellen Zeitpunkt entsprechend analysieren (was z. B. indiziert, ob die aktuelle Verschiebungsgeschwindigkeit schneller, langsamer, gestoppt usw. ist), wie in Bezug auf gewisse Geschwindigkeits- oder Zeitgrenzwerte oder andere Schwellenwerte usw. ermittelt werden kann. Während eines Betriebs des Sichtsystems 400 wird das Verschiebungsstatussignal wiederholt ermittelt. Bei diversen Umsetzungen können unterschiedliche Typen von Signalen, Analyse usw. verwendet werden, um das Verschiebungsstatussignal zu ermitteln. Beispielsweise kann eine Geschwindigkeit einer Bewegung einer Plattform des Bildgebungssystems, auf dem sich das Werkstück befindet, ermittelt werden (z. B. gemäß einem Steuersignal für die Plattform oder gemäß einem Codiererausgabesignal, das eine Bewegungsgeschwindigkeit indiziert, usw.). Bei diversen Umsetzungen können solche Bewegungssteuergeschwindigkeiten in Kombination mit einer Vergrößerungsstärke ermittelt werden. Konkreter gesagt kann die Verschiebungsgeschwindigkeit des Werkstücks über das Sichtfeld des Bildgebungssystems je nach aktueller Vergrößerungsstärke relativ schneller oder langsamer sein (z. B. bei einer 2-fachen Vergrößerungsstärke kann die Verschiebungsgeschwindigkeit über ein Sichtfeld ungefähr 2-mal höher als bei einer 1-fachen Vergrößerungsstärke für einen bestimmten Betrag einer Plattformbewegung sein usw.).
Ein weiteres Beispiel: Das Ermitteln des Verschiebungsstatussignals kann das Analysieren von sequentiellen Bildern umfassen, um einen Verschiebungsbetrag (z. B. zumindest eines Merkmals auf den Bildern usw.) zu ermitteln. Bei einer solchen Ausführungsform kann ein Unterschied zwischen einem aktuellen Bild und einem gespeicherten vorherigen Bild oder einer gespeicherten vorherigen Bildstatistik (z. B. Histogramm) berechnet werden. Bei diversen Umsetzungen können die Unterschiede zwischen Bildern gemäß diversen Techniken ermittelt werden. Beispielsweise kann ein durchschnittlicher absoluter Pixelunterschied ermittelt werden (z. B. eine Summe von absoluten Pixelunterschieden dividiert durch eine Bildgröße in Form der Anzahl von Pixeln). Ein weiteres Beispiel: Ein durchschnittlicher absoluter Pixelunterschied, der mit einer durchschnittlichen Graustufe der zwei Bilder normalisiert wurde, kann ermittelt werden (z. B. um eine Helligkeitsabhängigkeit der entsprechenden Metrik zu verringern). Ein weiteres Beispiel: Eine Ähnlichkeit von Histogrammen der zwei Bilder kann ermittelt werden (z. B. als Kosinus zwischen zwei Vektoren berechnet, wobei beide Histogramme als N-dimensionale Vektoren behandelt werden). Ein weiteres Beispiel: Ein absoluter Unterschied zwischen durchschnittlichen Graustufen von zwei Bildern kann ermittelt werden, auch wenn in manchen Fällen solche Techniken erfordern können, dass ferner ermittelt wird, ob die Berechnung bei gewissen Konfigurationen empfindlich genug ist, um kleine Bewegungsbeträge usw. zu detektieren. Ein weiteres Beispiel: Eine Technik zum Schätzen des optischen Flusses kann verwendet werden, um die Bewegungsvektoren (Versetzungsvektoren) zwischen den aufeinanderfolgenden EDOF-Bildern zu ermitteln.
Bei diversen Umsetzungen kann ein geschwindigkeitsbezogenen Schwellenwert, was das vom Verschiebungsstatussignalanalysator 421 empfangene Signal betrifft, verwendet werden, um zu ermitteln, ob der Anzeigeverwalter 422B den Roh-EDOF-Bilddatensatz oder den verarbeiteten EDOF-Bilddatensatz als aktualisierten Live-EDOF-Bilddatensatz an die Benutzeroberfläche 436 ausgeben wird. Beispielsweise kann der geschwindigkeitsbezogene Schwellenwert einer spezifischen Verschiebungsgeschwindigkeit entsprechen, wobei, wenn die aktuelle Verschiebungsgeschwindigkeit über dem geschwindigkeitsbezogenen Schwellenwert liegt, der Anzeigeverwalter 422B den Roh-EDOF-Bilddatensatz verwenden kann, oder wenn die aktuelle Verschiebungsgeschwindigkeit unter dem geschwindigkeitsbezogenen Schwellenwert liegt, der Anzeigeverwalter 422B den verarbeiteten EDOF-Bilddatensatz verwenden kann, oder wenn die aktuelle Verschiebungsgeschwindigkeit null ist (was z. B. einem „gestoppten“ Status entspricht), ein vorheriges EDOF-Bild erneut verwenden werden kann. Bei einer alternativen Konfiguration kann neben der Option zum Verwenden des Roh-EDOF-Bilddatensatzes auch eine geringere Ebene der Bildverarbeitung verfügbar sein, die eine Defokussierungsunschärfe in einer geringeren Auflösungshöhe entfernt. Beispielsweise kann der EDOF-Bildverarbeitungsabschnitt 423 eine Bildverarbeitung alternativ für eine volle Auflösungshöhe oder eine geringere Auflösungshöhe durchführen. Eine solche Bildverarbeitung mit geringerer Auflösungshöhe wird nachstehend unter Bezugnahme auf 5 ausführlicher beschrieben.
5 ist ein Blockschaubild von Komponenten, die bei einer zweiten Umsetzung eines Steuersystems 520 eines Sichtsystems 500 zum Bereitstellen eines Live-EDOF-Bilds verwendet werden. Das Sichtsystem 500 weist gewisse Ähnlichkeiten mit dem Sichtsystem 400 von 4 auf und ähnlich nummerierte Komponenten werden als ähnlich arbeitend verstanden, außer wenn nachstehend anderweitig beschrieben. Wie in 5 gezeigt, umfasst das Sichtsystem 500 ein Steuersystem 520, den Verschiebungsstatussignalerzeuger 427, die Live-EDOF-Bild-UI/Anzeige 436 und die Kamera 460. Das Steuersystem 520 umfasst den Verschiebungsstatussignalanalysator 421, einen Live-EDOF-Bildverarbeitungs- und Anzeigeverwalter 422 und einen EDOF-Bildverarbeitungsabschnitt 423. Ein Unterschied des Sichtsystems 500 liegt darin, dass der Live-EDOF-Bildverarbeitungs- und Anzeigeverwalter 422 gewisse kombinierte Funktionen des EDOF-Bildverarbeitungsverwalters 422A und des Live-EDOF-Bild-UI-/Anzeigeverwalters 422B von 4 durchführt, wie nachstehend ausführlicher beschrieben.
Beim Beispiel von 5 kann der Live-EDOF-Bildverarbeitungs- und Anzeigeverwalter 422 eine Verarbeitung in unterschiedlichen Auflösungshöhen je nach Ausgabe aus dem Verschiebungsstatussignalanalysator 421 bedingt durchführen. Konkreter gesagt kann in Reaktion auf ein Verschiebungsstatussignal, das einer relativ langsamen aktuellen Verschiebungsgeschwindigkeit entspricht, eine relative hohe Bildverarbeitungsebene vom Bildverarbeitungsabschnitt 423 durchgeführt werden, um eine Defokussierungsunschärfe zu entfernen. Im Gegensatz dazu kann in Reaktion auf ein Verschiebungsstatussignal, das einer relativ schnelleren aktuellen Verschiebungsgeschwindigkeit entspricht, eine relative geringere Bildverarbeitung vom Bildverarbeitungsabschnitt 423 durchgeführt werden, um eine Defokussierungsunschärfe zu entfernen. Bei einer Umsetzung werden solche Prozesse durch eine automatische adaptive EDOF-Bildgrößenänderung durchgeführt, die die Auflösung von verarbeiteten EDOF-Bildern auf Basis des Verschiebungsstatussignals verringert. Bei einer solchen Umsetzung können, wenn eine relativ hohe aktuelle Verschiebungsgeschwindigkeit vorliegt, die EDOF-Bilder mit einer verringerten Auflösung verarbeitet werden, was zu einer schnelleren Verarbeitung und dazu führt, dass die verarbeiteten EDOF-Bilddatensätze schneller erzeugt werden, durch den EDOF-Bildverarbeitungsabschnitt 423, als einer höheren Videobildfrequenz für die Benutzeroberfläche 436 entsprechend. Im Gegensatz dazu können, wenn die aktuelle Verschiebungsgeschwindigkeit relativ langsam ist, die EDOF-Bilder in einer höheren Auflösung (z. B. in voller Auflösung) vom Bildverarbeitungsabschnitt 423 verarbeitet werden, was zu einer langsameren allgemeinen Verarbeitungszeit und einer geringeren Bildfrequenz, jedoch mit höherer EDOF-Bildqualität für die Benutzeroberfläche 436 führt.
Bei einer Umsetzung kann die Auflösungsverringerung durch Verringern der Anzahl von Pixeln oder Kernen, die für ein aktuelles Bild verarbeitet werden, erzielt werden. Beispielsweise kann die Gesamtanzahl von zu verarbeitenden Pixeln bei einem Bild mit einer spezifizierten Anzahl von Pixeln (z. B. 640 x 480) durch Kombinieren von Daten aus den Pixeln verringert werden (z. B. durch Kombinieren von Daten aus jeder Quadratgruppe von vier Pixeln in einen Mehrfachpixelkern). Gemäß einer solchen Kombination kann eine 640-x-480-Anordnung von Pixeln auf 320-x-240-Kerne verringert werden. Die EDOF-Verarbeitung, die vom EDOF-Bildverarbeitungsabschnitt 423 durchgeführt wird, kann sodann in der verringerten Auflösung für die 320-x-240-Kerne durchgeführt werden. Der Live-EDOF-Bildverarbeitungs- und Anzeigeverwalter 422 kann die Größe des EDOF-Bilddatensatzes sodann zurück auf die ursprünglichen Dimensionen ändern (z. B. von 320 x 240 auf 640 x 480), um ihn an die Benutzeroberfläche 436 zu senden.
Bei diversen Umsetzungen kann ein Puffer mit einer spezifizierten Länge zum Speichern von Daten wie z. B. vorherigen Bildern, vorherigen entsprechenden Histogrammen oder anderen relevanten Bildstatistiken verwendet werden. Solche Daten können für eine Analyse eines Verlaufs von Bildunterschieden und anderer Faktoren verwendet werden (z. B. durch den Verschiebungsstatussignalanalysator 421), um zu ermitteln, ob die aktuelle Verschiebungsgeschwindigkeit signifikant ist, und/oder um einen Auflösungswechsel in Bezug auf gewisse Ereignistypen unempfindlich zu machen. Beispielsweise kann bei einer Analyse des Verschiebungsstatussignals auf Basis eines Puffers von gespeicherten Bildern oder Bildstatistiken eine Ermittlung durchgeführt werden, um eine Verarbeitungsauflösung nur dann zu wechseln, wenn sich die Verschiebungsgeschwindigkeit ändert (z. B. wenn die Kamerabewegung beginnt oder stoppt usw.). Außerdem kann eine Eingabe von einem Benutzer empfangen werden, um einen geschwindigkeitsbezogenen Schwellenwert zu steuern und/oder anderweitig festzulegen, so dass das Wechseln von hoher Auflösung auf niedrige Auflösung in Bezug auf eine Bewegung oder andere Änderungen zwischen Einzelbildern mehr oder weniger empfindlich wird (z. B. Bildhelligkeit), je nach den bestimmten Anwendungen und Bevorzugungen des Benutzers. Bei diversen Umsetzungen kann ein typischer Unterschied zwischen Einzelbildern für unbewegliche Bilder ermittelt werden, um einen effektiven Einzelbildunterschiedentscheidungsschwellenwert für ein spezifisches Szenario zu bilden (beispielsweise kann der Schwellenwert zumindest teilweise von Kamerarauschen, Beleuchtungshöhen usw. abhängen).
Bei diversen Umsetzungen können die oben beschriebenen Techniken auch auf bestimmte Regionen von Interesse auf einem bestimmten Bild angewandt werden. Beispielsweise kann die oben beschriebene Verarbeitung für EDOF-Bilder von einer Megapixelkamera in Bezug auf eine Videofrequenzanzeige auf einer Benutzeroberfläche relativ langsam sein. Um eine ausreichend schnelle Reaktion für eine Live-EDOF-Bildverarbeitung (z. B. zumindest ungefähr in Echtzeit) für Videoeinzelbilder von einer Megapixelkamera bereitzustellen, kann eine bestimmte Region von Interesse des EDOF-Bilds für eine Hochauflösungsverarbeitung ausgewählt werden. Bei einer beispielhaften Umsetzung kann ggf. nur die ausgewählte Region von Interesse (wie z. B. von einem Benutzer ausgewählt) verarbeitet werden und kann von unverarbeiteten Roh-EDOF-Bildabschnitten umgeben sein. Wenn mit einer schnellen Einzelbilderfassung auf Region-von-Interesse-Basis gewisser Kameras kombiniert, können solche Techniken verwendet werden, um eine schnelle Verarbeitung mit verringertem Rauschen zu erzielen, da eine oder mehrere von einer Kamera erfasste Regionen von Interesse (z. B. mit einer Bildfrequenz erfasst, die höher als die Vollbildfrequenz ist) gemittelt werden können, bevor jede EDOF-Verarbeitung erfolgt, um Rauschen im verarbeiteten EDOF-Bild zu verringern. Bei dieser beispielhaften Umsetzung kann eine EDOF-verarbeitete Region von Interesse bei gewissen Konfigurationen von schwarzen Pixeln oder von Abschnitten eines Roh-EDOF-Bilds umgeben sein, das erfasst wurde, unmittelbar bevor eine Kamera von einem Vollbilderfassungsmodus auf einen Region-von-Interesse-Erfassungsmodus gewechselt worden war.
Bei diversen Umsetzungen kann das Steuersystem 420 oder 520 als Teil eines Bildgebungssystems (z. B. des Bildgebungssystems 300 von 3 usw.) umfasst sein. Wie oben unter Bezugnahme auf 3 beschrieben, kann ein solches Bildgebungssystem ein Linsensystem mit einer TAG-Linse 370 umfassen, die durch eine Linsensteuerung 371 gesteuert wird, um eine periodisch modulierte Brechwertänderung für die TAG-Linse bereitzustellen und somit eine entsprechende Fokusabstandsänderung für das Bildgebungssystem 300 bereitzustellen. Eine Kamera 360/460 des Bildgebungssystems ist so konfiguriert, dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem (z. B. innerhalb eines Bereichs R) eingibt und einen entsprechenden Roh-EDOF-Bilddatensatz ausgibt, der einem Roh-EDOF-Bild entspricht. Was 4 und 5 betrifft, so ist ein Bildverarbeitungsabschnitt 423 des Bildgebungssystems so konfiguriert, dass er einen Roh-EDOF-Bilddatensatz eingibt und diesen verarbeitet, um einen EDOF-Bilddatensatz bereitzustellen, der auf einer Bildverarbeitung zum Entfernen von Defokussierungsunschärfe in einem entsprechenden angezeigten EDOF-Bild basiert, das auf der Benutzeroberfläche 436 bereitgestellt wird.
Bei diversen Umsetzungen kann die Kamera 460 so betrieben werden, dass sie eine Sequenz der Roh-EDOF-Bilddatensätze über die Zeit hinweg ausgibt, die einer Sequenz von Roh-EDOF-Bildern des Werkstücks über die Zeit hinweg entspricht. Der Verschiebungsstatussignalerzeuger 427 und der Verschiebungsstatussignalanalysator 421 werden verwendet, um ein Verschiebungsstatussignal wiederholt zu ermitteln, das einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks 320 über ein Sichtfeld des Bildgebungssystems zu einem aktuellen Zeitpunkt entspricht. Das Live-EDOF-Bild des Werkstücks, das auf der Benutzeroberfläche 436 angezeigt wird, wird auf Basis des Status des Verschiebungsstatussignals zu einer aktuellen Zeit wiederholt aktualisiert, in Bezug auf welches unterschiedliche EDOF-Bildtypen je nach Status des Verschiebungsstatussignals angezeigt werden.
Konkreter gesagt arbeitet der Anzeigeverwalter 422B oder der Bildverarbeitungs- und Anzeigeverwalter 422 in Reaktion auf ein erstes Verschiebungsstatussignal vom Verschiebungsstatussignalerzeuger 427, das einer ersten aktuellen Verschiebungsgeschwindigkeit entspricht (z. B. einer relativ langsameren Verschiebungsgeschwindigkeit, die als unter einem ausgewiesenen geschwindigkeitsbezogenen Schwellenwert liegend ermittelt wurde) so, dass er die Anzeige eines ersten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche 436 veranlasst. Der erste Typ von Live-EDOF-Bild entspricht einem EDOF-Bilddatensatz, der auf einer ersten Bildverarbeitungsebene (z. B. einer vollen oder relativ hohen Bildverarbeitungshöhe) durch den EDOF-Bildverarbeitungsabschnitt 423 zum Entfernen von Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild basiert. Der Anzeigeverwalter 422B oder der Bildverarbeitungs- und Anzeigeverwalter 422 arbeitet in Reaktion auf ein zweites Verschiebungsstatussignal, das einer zweiten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die erste aktuelle Verschiebungsgeschwindigkeit ist (z. B. als über einem ersten ausgewiesenen geschwindigkeitsbezogenen Schwellenwert liegend ermittelt) so, dass er die Anzeige eines zweiten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche 436 veranlasst.
Bei diversen Umsetzungen kann der zweite Typ von Live-EDOF-Bild einem EDOF-Bilddatensatz entsprechen, der auf zumindest einem basiert von: einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild durch den EDOF-Bildverarbeitungsabschnitt 423, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht; oder keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild (z. B. wobei der Roh-EDOF-Bilddatensatz aus der Kamera 460 zur Benutzeroberfläche 436 weitergeleitet werden kann). Bei diversen Umsetzungen kann das wiederholte Aktualisieren des Live-EDOF-Bilds ferner in Reaktion auf ein drittes Verschiebungsstatussignal, das einer dritten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die zweite aktuelle Verschiebungsgeschwindigkeit ist (z. B. als über einem zweiten ausgewiesenen geschwindigkeitsbezogenen Schwellenwert liegend ermittelt) das Anzeigen eines dritten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche umfassen (z. B. das einem EDOF-Bilddatensatz entspricht, der auf einer dritten Bildverarbeitungsebene basiert, die einer geringeren Bildverarbeitung als die zweite Bildverarbeitungsebene oder keiner Bildverarbeitung zum Entfernen von Defokussierungsunschärfe im dritten Typ von Live-EDOF-Bild entspricht). Es wird verstanden, dass bei diversen Umsetzungen zusätzliche Bildverarbeitungsebenen in Bezug auf zusätzliche geschwindigkeitsbezogene Schwellenwerte gleichermaßen verwendet werden können.
Bei diversen Umsetzungen können die Steuersysteme 420 oder 520 auch zusätzliche Elemente umfassen, wie z. B. eine Beleuchtungssteuerung, die eine Synchronisation einer stroboskopischen Beleuchtung mit der Brechwertänderung der TAG-Linse ermöglicht. Ein weiteres Beispiel: Eine Belichtungssteuerung für die Kamera 460 kann auch umfasst sein, um Kamera-„Shutter-Funktion“-Belichtungssubinkremente der Kamera mit der Brechwertänderung der TAG-Linse zu synchronisieren. Eine solche Funktionalität kann verwendet werden, um die Fähigkeit der stroboskopischen Beleuchtung (z. B. aus einer Lichtquelle 330) zu ersetzen oder zu verbessern, um Belichtungssubinkremente während einer Belichtung bereitzustellen. In gewissen Fällen kann der Verschiebungsstatussignalerzeuger auch in den Steuersystemen 420 und 520 umfasst sein.
Die 6A und 6B sind Schaubilder, die eine Benutzeroberfläche 600 veranschaulichen, die mit einem Bildgebungssystem assoziiert ist. Wie nachstehend ausführlicher beschrieben, wird bei dem Beispiel von 6A eine erste Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe in einer ersten Auflösungsebene in einem angezeigten ersten Typ von Live-EDOF-Bild 610A verwendet. Bei dem in 6A gezeigten beispielhaften Status umfasst die Benutzeroberfläche 600 ein Sichtfeldfenster 603, das den ersten Typ von Live-EDOF-Bild 610A eines Werkstückabschnitts 611A eines Werkstücks 611 anzeigt (z. B. mit einer Oberfläche, die diverse Buchstaben und Symbole umfasst, wie z. B. das Wort „newC“ in einem mittleren Bereich). Bei einer Umsetzung kann die Oberfläche des Werkstücks, auf der sich die Buchstaben befinden, geneigt sein, so dass unterschiedliche Buchstaben und Symbole in unterschiedlichen relativen Fokushöhen vorhanden sein können. Es wird verstanden, dass Werkstücke bei anderen Beispielen unterschiedliche zu prüfende Merkmale umfassen können, die in unterschiedlichen Fokushöhen vorhanden sein können, wie in den berücksichtigten Referenzschriften ausführlicher beschrieben. Die Benutzeroberfläche 600 umfasst außerdem diverse Mess- und/oder Vorgangsauswahlbalken wie z. B. die Auswahlbalken 620 und 640, ein Echtzeit-X-Y-Z-(Position)-Koordinatenfenster 630 und ein Lichtsteuerfenster 650.
Wie oben beschrieben, sind die hierin in Bezug auf einen EDOF-Modus offenbarten Systeme und Verfahren während eines Lernmodus und/oder manueller Vorgänge insbesondere dahingehend nützlich, dass ein Benutzer ein Video von Live-EDOF-Bildern (z. B. zumindest ungefähr in Echtzeit) sehen kann (z. B. auf der Benutzeroberfläche 600), während er ein Werkstück (z. B. ein Werkstück 611) navigiert, um eine Sichtprüfung durchzuführen und/oder ein Werkstückprogramm zu erstellen, währenddessen sich das Werkstück über ein Sichtfeld des Bildgebungssystems verschieben kann (z. B. wie innerhalb des Sichtfeldfensters 603 angezeigt). Als Beispiel für eine solche Verschiebung ist ersichtlich, dass das Werkstück 611 unter Bezugnahme auf das Sichtfeldfenster 603, das in 6B gezeigt ist, eine in Bezug auf das Sichtfeldfenster 603 von 6A verschobene Position aufweist (z. B. wobei ersichtlich ist, dass sich das Wort „newC“ nach unten und etwas nach links bewegt hat). Eine solche Bewegung/Verschiebung wird auch durch das Echtzeit-X-Y-Z-(Position)-Koordinatenfenster 630 indiziert, das eine Änderung der X-Koordinate von 30,81096 mm auf 32,81096 mm und der Y-Koordinate von 34,31706 mm auf 24,31706 mm zeigt. Bei diversen Umsetzungen kann die Z-Koordinate gleich bleiben, wobei sie eine ortsfeste/Mittelfokusposition in Bezug auf die modulierte Fokusposition darstellt, die von der VFL-Linse 370 bereitgestellt wird. Es wird verstanden, dass der Benutzer unter Verwendung des EDOF-Modus während solcher Verschiebungsbewegungen zum Navigieren über ein Werkstück Bilder je nach Höhe von diversen mikroskopischen Merkmalen am Werkstück nicht kontinuierlich neu fokussieren muss, was mühsam und zeitaufwendig sein kann (z. B. insbesondere bei starken Vergrößerungen usw.).
Bei dem Beispiel von 6A bewegt sich die Benutzernavigation des Werkstücks 611 zu einem aktuellen Zeitpunkt aktuell mit einer relativ langsamen Geschwindigkeit, so dass ein erstes Verschiebungsstatussignal (wie z. B. oben beschrieben) einer ersten aktuellen Verschiebungsgeschwindigkeit (z. B. einer relativ langsameren Geschwindigkeit) entspricht. In Reaktion auf die relativ langsame Verschiebungsgeschwindigkeit wird der erste Typ eines Live-EDOF-Bilds 610A des Werkstücks 611 auf der Benutzeroberfläche 600 angezeigt, das einem EDOF-Bilddatensatz entspricht, der auf einer ersten Bildverarbeitungsebene (z. B. einer relativ hohen Bildverarbeitungshöhe) zum Entfernen einer Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild 610A basiert.
Im Gegensatz dazu bewegt sich die Benutzernavigation des Werkstücks 611 bei dem Beispiel von 6B zu einem aktuellen Zeitpunkt aktuell mit einer relativ schnelleren Geschwindigkeit (der Benutzer bewirkt z. B., dass sich die Plattform des Sichtsystems für ein Abtasten über das Werkstück schneller bewegt), so dass ein zweites Verschiebungsstatussignal einer zweiten aktuellen Verschiebungsgeschwindigkeit (z. B. einer relativ schnelleren Geschwindigkeit) entspricht. In Reaktion auf die relativ schnellere Verschiebungsgeschwindigkeit wird ein zweiter Typ von Live-EDOF-Bild 610B eines Werkstückabschnitts 611B des Werkstücks 611 auf der Benutzeroberfläche 600 angezeigt. Bei diversen Umsetzungen entspricht der zweite Typ von Live-EDOF-Bild einem EDOF-Bilddatensatz, der auf einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild 610B basiert, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht. Bei diversen Umsetzungen kann die erste Bildverarbeitungsebene eine Defokussierungsunschärfe in einer ersten Auflösungshöhe im ersten Typ von Live-EDOF-Bild 610A entfernen und kann die zweite Bildverarbeitungsebene eine Defokussierungsunschärfe in einer zweiten Auflösungshöhe im zweiten Typ von Live-EDOF-Bild 610B entfernen, wobei die zweite Auflösungshöhe gröber (d. h. niedriger) als die erste Auflösungshöhe ist. Bei den Beispielen der 6A und 6B ist die „gröbere“ Auflösungshöhe für das Live-EDOF-Bild 610B versus das Live-EDOF-Bild 610A sichtbar.
7 ist ein Ablaufschaubild, das eine beispielhafte Umsetzung einer Routine 700 zum Bereitstellen eines Live-EDOF-Bilds eines Werkstücks veranschaulicht, das auf einer Benutzeroberfläche angezeigt wird, die mit einem Bildgebungssystem assoziiert ist. Bei Block 710 wird eine Kamera wiederholt so betrieben, dass sie eine Sequenz von Roh-EDOF-Bilddatensätzen über die Zeit hinweg ausgibt, die einer Sequenz von Roh-EDOF-Bildern eines Werkstücks über die Zeit hinweg entspricht. Bei Block 720 wird ein Verschiebungsstatussignal wiederholt ermittelt, das einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks über ein Sichtfeld eines Bildgebungssystems zu einer aktuellen Zeit entspricht. Es wird verstanden, dass sich „Verschiebungsgeschwindigkeit“ auf eine beliebige relative Bewegung zwischen dem Werkstück und dem Sichtfeld unabhängig von deren Ursache bezieht. Eine Bewegung einer Komponente des Bildgebungssystems oder eine Bewegung des Werkstücks oder beides kann die relative Bewegung verursachen. Bei diversen Umsetzungen kann das Ermitteln des Verschiebungsstatussignals bei Block 720 zumindest eines umfassen von: Ermitteln einer Bewegungssteuergeschwindigkeit (z. B. in Kombination mit einer Vergrößerungsstärke); Ermitteln einer Geschwindigkeit einer Bewegung einer Plattform des Bildgebungssystems, auf der sich das Werkstück befindet (z. B. in Kombination mit einer Vergrößerungsstärke); Analysieren von sequentiellen Bildern zum Ermitteln eines Unterschiedsbetrags zwischen den Bildern; oder Analysieren von sequentiellen Bildern zum Ermitteln eines Verschiebungsbetrags zumindest eines Merkmals auf den Bildern.
Bei Block 730 wird ein Live-EDOF-Bild des Werkstücks, das auf einer Benutzeroberfläche angezeigt wird, die mit dem Bildgebungssystem assoziiert ist, auf Basis des Status des Verschiebungsstatussignals zu einem aktuellen Zeitpunkt wiederholt aktualisiert. Das wiederholende Aktualisieren der Live-Anzeige auf der Benutzeroberfläche umfasst Vorgänge, wobei:

• In Reaktion auf ein erstes Verschiebungsstatussignal, das einer ersten aktuellen Verschiebungsgeschwindigkeit entspricht, ein erster Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt wird. Der erste Typ von Live-Bild entspricht einem EDOF-Bilddatensatz, der auf einer ersten Bildverarbeitungsebene zum Entfernen von Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild basiert; und
• In Reaktion auf ein zweites Verschiebungsstatussignal, das einer zweiten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die erste aktuelle Verschiebungsgeschwindigkeit ist, wird ein zweiter Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt. Der zweite Typ von Live-Bild entspricht einem EDOF-Bilddatensatz, der auf zumindest einem basiert von: a) einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht; oder b) keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild.

Bei Entscheidungsblock 740 wird eine Ermittlung durchgeführt, ob die sich wiederholenden Vorgänge der Routine abgeschlossen sind (z. B. durch ein Stoppen eines EDOF-Bildgebungsmodus, um einen herkömmlichen Bildgebungsmodus in einem Prüfsystem zu verwenden). Wenn die sich wiederholenden Vorgänge nicht abgeschlossen sind, wird die Routine fortgesetzt, und wenn die sich wiederholenden Vorgänge abgeschlossen sind, endet die Routine.
Bei einer beispielhaften, jedoch nichteinschränkenden Umsetzung können die Vorgänge von Block 730 eine Bewertung eines aktuellen Verschiebungsstatussignals umfassen, gefolgt von Vorgängen, die von dem Ergebnis dieser Bewertung abhängen (wie z. B. nachstehend näher beschrieben).
Bei manchen Umsetzungen kann das aktuelle Verschiebungsstatussignal eine Verschiebungsgeschwindigkeit sein, die direkt oder indirekt ermittelt wird (z. B. gemäß einer angewiesenen Bewegungsgeschwindigkeit oder einer Merkmalsverschiebung zwischen ersten und zweiten aufeinanderfolgenden Bildern oder beliebigen der anderen Verschiebungsgeschwindigkeits- oder Verschiebungsänderungsratenindikatoren, die hierin offenbart sind). Alternativ kann die aktuelle Verschiebungsgeschwindigkeit anhand einer anderen Bild- oder „Bildänderungs“-Metrik reflektiert werden, die mit einer Verschiebungsgeschwindigkeit korreliert ist. Jedenfalls wird die Verschiebungsgeschwindigkeits- oder geschwindigkeitsbezogene Metrik mit einer geeigneten vordefinierten Schwellenwerthöhe verglichen. Die nächste Aktualisierung des Live-EDOF-Bilds kann danach zumindest teilweise auf Basis dieser Ermittlung durchgeführt werden (z. B. wie folgt).
Bei diversen Umsetzungen wird in Reaktion auf ein erstes Verschiebungsstatussignal, das als unter dem geschwindigkeitsbezogenen Schwellenwert liegend bewertet oder ermittelt wird, ein erster Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt, das einem EDOF-Bilddatensatz entspricht, der auf einer ersten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild basiert. Bei manchen Ausführungsformen kann die erste Bildverarbeitungsebene relativ umfassend sein und/oder das bestmögliche EDOF-Bild bereitstellen. Bei anderen Ausführungsformen kann die erste Bildverarbeitungsebene so gewählt sein, dass sie ein Bild erzeugt, das „gut genug“ ist, um für diverse Benutzer akzeptabel zu sein.
Im Gegensatz dazu wird in Reaktion auf ein zweites Verschiebungsstatussignal, das als über dem geschwindigkeitsbezogenen Schwellenwert liegend bewertet oder ermittelt wird, ein zweiter Typ von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche angezeigt, das einem EDOF-Bilddatensatz entspricht, der auf zumindest einem basiert von: einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung (und/oder kürzeren Verarbeitungszeit) als die erste Bildverarbeitungsebene entspricht; oder keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild.
Es wird verstanden, dass bei diversen Umsetzungen zusätzliche Bildverarbeitungsebenen in Bezug auf zusätzliche geschwindigkeitsbezogene Schwellenwerte gleichermaßen durchgeführt werden können. Bei diversen Umsetzungen kann eine Eingabe von einem Benutzer empfangen werden, die einen oder mehrere geschwindigkeitsbezogene Schwellenwerte definiert, und die Schritte zum wiederholten Aktualisieren des Live-EDOF-Bilds können gemäß dem einen oder den mehreren benutzerdefinierten geschwindigkeitsbezogenen Schwellenwerten automatisch durchgeführt werden.
Bei diversen Umsetzungen kann der zweite Typ von Live-EDOF-Bild ein Roh-EDOF-Bild sein, das einem Roh-EDOF-Bilddatensatz entspricht, wobei der EDOF-Bilddatensatz auf keiner Bildverarbeitung zum Entfernen von Defokussierungsunschärfe aus dem Roh-EDOF-Bild basiert, das im zweiten Typ von Live-EDOF-Bild verwendet wird. Bei manchen Umsetzungen kann die erste Bildverarbeitungsebene eine Defokussierungsunschärfe in einer ersten Auflösungshöhe im ersten Typ von Live-EDOF-Bild entfernen und kann die zweite Bildverarbeitungsebene von Block 730 eine Defokussierungsunschärfe in einer zweiten Auflösungshöhe im zweiten Typ von Live-EDOF-Bild entfernen, wobei die zweite Auflösungshöhe gröber (d. h. niedriger) als die erste Auflösungshöhe ist. Bei diversen Umsetzungen kann eine beliebige Bildverarbeitungsebene, die eine Defokussierungsunschärfe entfernt, eine Entfaltungsverarbeitung des Roh-EDOF-Datensatzes auf Basis einer vordefinierten integrierten Punktspreizfunktion umfassen, die einen Betrieb des Linsensystems charakterisiert.
Bei einer spezifischen beispielhaften Umsetzung kann eine erste Auflösungshöhe, die mit der ersten Bildverarbeitungsebene assoziiert ist, eine volle Pixelebenenauflösung sein, die der Auflösung des Roh-EDOF-Bilddatensatzes entspricht. Die zweite Bildverarbeitungsebene, die eine Defokussierungsunschärfe in der zweiten Auflösungshöhe entfernt, kann so konfiguriert sein, dass sie den Roh-EDOF-Bilddatensatz verarbeitet, um einen entsprechenden Satz von Mehrfachpixelkernen zu definieren. Die Pixelebenendaten jedes Mehrfachpixelkerns können gemittelt oder anderweitig kombiniert werden, um eine verringerte Menge an Mehrfachpixelkernebenendaten bereitzustellen, die jeden Mehrfachpixelkern charakterisieren, und die Mehrfachpixelkernebenendaten können verarbeitet werden, um eine Defokussierungsunschärfe in einer Auflösungshöhe, die der Größe der Mehrfachpixelkerne entspricht, im zweiten Typ von Live-EDOF-Bild zu entfernen. Bei diversen Umsetzungen können die Mehrfachpixelkernvorgänge auch oder alternativ diverse alternative Typen von „Pixel-Binning“-Vorgängen als Teil der zweiten Bildverarbeitungsebene umfassen.
Bei diversen Umsetzungen können die sich wiederholenden Schritte des Verfahrens 700 in einer Frequenz durchgeführt werden, so dass das Live-EDOF-Bild eines Werkstücks, das auf der Benutzeroberfläche angezeigt wird, zumindest eine Mindestanzahl von Malen pro Sekunde (z. B. 10-mal, 25-mal usw.) zumindest während Betriebsstatus wiederholt aktualisiert wird, die dem zweiten Verschiebungsstatussignal entsprechen. Bei diversen Umsetzungen kann das Verfahren 700 ferner das Ermitteln umfassen, ob das Verschiebungsstatussignal einem Status keiner Verschiebung entspricht, wobei in diesem Fall der Schritt des wiederholten Aktualisierens des Live-EDOF-Bilds eines Werkstücks, das auf der Benutzeroberfläche angezeigt wird, ausgesetzt werden kann oder das gleiche Live-EDOF-Bild wiederholt werden kann, bis das Verschiebungsstatussignal wieder einem Status einer Verschiebung entspricht.
Auch wenn bevorzugte Umsetzungen der vorliegenden Offenbarung veranschaulicht und beschrieben wurden, sind für den Fachmann auf Basis dieser Offenbarung zahlreiche Variationen der veranschaulichten und beschriebenen Anordnungen von Merkmalen und Sequenzen von Vorgängen offensichtlich. Diverse alternative Formen können verwendet werden, um die hierin offenbarten Grundsätze umzusetzen. Außerdem können die diversen oben beschriebenen Umsetzungen kombiniert werden, um weitere Umsetzungen bereitzustellen. Alle US-Patente und US-Patentanmeldungen, die in dieser Schrift genannt werden, sind durch Bezugnahme hierin in ihrer Gesamtheit berücksichtigt. Aspekte der Umsetzungen können modifiziert werden, wenn erforderlich, um Konzepte der diversen Patente und Anmeldungen zu verwenden, so dass noch weitere Umsetzungen bereitgestellt werden.
Diese und andere Änderungen können angesichts der oben ausführlich dargebotenen Beschreibung an den Umsetzungen vorgenommen werden. Im Allgemeinen sollten die verwendeten Ausdrücke in den folgenden Ansprüchen nicht als die Ansprüche auf die spezifischen Umsetzungen, die in der Schrift und den Ansprüchen offenbart sind, beschränkend ausgelegt werden, sondern sollten als alle möglichen Umsetzungen im Rahmen des vollen Umfangs von Äquivalenten dieser Ansprüche umfassend ausgelegt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6542180 [0003]
US 7324682 [0012]
US 7454053 [0012]
US 8111905 [0012]
US 8111938 [0012]
US 14/854624 [0019]
US 15/145682 [0019]
US 2014/0368726 [0020]

Claims

Verfahren zum Bereitstellen eines Live-Bilds mit erweiterter Tiefenschärfe (EDOF) eines Werkstücks, das auf einer Benutzeroberfläche angezeigt wird, die mit einem Bildgebungssystem assoziiert ist, wobei das Werkstück sich über ein Sichtfeld des Bildgebungssystems verschieben kann, wobei das Bildgebungssystem umfasst: ein Linsensystem, das eine Linse mit abstimmbarem akustischem Gradienten (TAG) umfasst, die so gesteuert wird, dass sie eine periodisch modulierte Brechwertänderung für die TAG-Linse bereitstellt und somit eine entsprechende Fokusabstandsänderung für das Bildgebungssystem bereitstellt; ein Steuersystem, das eine Linsensteuerung umfasst, die so konfiguriert ist, dass sie die TAG-Linse steuert; eine Kamera, die so konfiguriert ist, dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem eingibt und einen entsprechenden Roh-EDOF-Bilddatensatz ausgibt, der einem Roh-EDOF-Bild entspricht; und einen Bildverarbeitungsabschnitt, der so konfiguriert ist, dass er einen Roh-EDOF-Bilddatensatz eingibt und diesen verarbeitet, um einen EDOF-Bilddatensatz bereitzustellen, der auf einer Bildverarbeitung zum Entfernen von Defokussierungsunschärfe in einem entsprechenden angezeigten EDOF-Bild basiert, wobei das Verfahren umfasst: wiederholtes Betreiben der Kamera, so dass sie eine Sequenz der Roh-EDOF-Bilddatensätze über die Zeit hinweg ausgibt, die einer Sequenz von Roh-EDOF-Bildern des Werkstücks über die Zeit hinweg entspricht; wiederholtes Ermitteln eines Verschiebungsstatussignals, das einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks über ein Sichtfeld des Bildgebungssystems zu einem aktuellen Zeitpunkt entspricht; wiederholtes Aktualisieren des Live-EDOF-Bilds des Werkstücks, das auf der Benutzeroberfläche angezeigt wird, auf Basis eines Status des Verschiebungsstatussignals zu einem aktuellen Zeitpunkt, wobei das wiederholte Aktualisieren des Live-EDOF-Bilds umfasst: in Reaktion auf ein erstes Verschiebungsstatussignal, das einer ersten aktuellen Verschiebungsgeschwindigkeit entspricht, Anzeigen eines ersten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche, das einem EDOF-Bilddatensatz entspricht, der auf einer ersten Bildverarbeitungsebene zum Entfernen von Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild basiert; und in Reaktion auf ein zweites Verschiebungsstatussignal, das einer zweiten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die erste aktuelle Verschiebungsgeschwindigkeit ist, Anzeigen eines zweiten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche, das einem EDOF-Bilddatensatz entspricht, der auf zumindest einem basiert von: einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht; oder keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild.
Verfahren nach Anspruch 1, wobei der zweite Typ von Live-EDOF-Bild ein Roh-EDOF-Bild ist, das einem Roh-EDOF-Bilddatensatz entspricht, und wobei der EDOF-Bilddatensatz auf keiner Bildverarbeitung zum Entfernen von Defokussierungsunschärfe aus dem Roh-EDOF-Bild basiert, das im zweiten Typ von Live-EDOF-Bild verwendet wird.
Verfahren nach Anspruch 1, wobei: die erste Bildverarbeitungsebene eine Defokussierungsunschärfe in einer ersten Auflösungshöhe im ersten Typ von Live-EDOF-Bild entfernt; und die zweite Bildverarbeitungsebene eine Defokussierungsunschärfe in einer zweiten Auflösungshöhe im zweiten Typ von Live-EDOF-Bild entfernt, wobei die zweite Auflösungshöhe gröber als die erste Auflösungshöhe ist.
Verfahren nach Anspruch 3, wobei: die erste Auflösungshöhe eine volle Pixelebenenauflösung ist, die einer Auflösung des Roh-EDOF-Bilddatensatzes entspricht, und der zweite Typ von Live-EDOF-Bild dem EDOF-Bilddatensatz entspricht, der auf einer zweiten Bildverarbeitungsebene basiert, die eine Defokussierungsunschärfe in der zweiten Auflösungshöhe im zweiten Typ von Live-EDOF-Bild entfernt; und die zweite Bildverarbeitungsebene, die eine Defokussierungsunschärfe in der zweiten Auflösungshöhe entfernt, konfiguriert ist zum: Verarbeiten der Roh-EDOF-Bilddaten, um einen entsprechenden Satz von Mehrfachpixelkernen zu definieren; zumindest eines von Mitteln oder Kombinieren von Pixelebenendaten jedes Mehrfachpixelkerns, um eine verringerte Menge an Mehrfachpixelkernebenendaten bereitzustellen, die jeden Mehrfachpixelkern charakterisieren; und Verarbeiten der Mehrfachpixelkernebenendaten, um eine Defokussierungsunschärfe in einer Auflösungsebene, die einer Größe der Mehrfachpixelkerne entspricht, im zweiten Typ von Live-EDOF-Bild zu entfernen.
Verfahren nach Anspruch 3, wobei das wiederholte Aktualisieren des Live-EDOF-Bilds ferner umfasst: in Reaktion auf ein drittes Verschiebungsstatussignal, das einer dritten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die zweite aktuelle Verschiebungsgeschwindigkeit ist, Anzeigen eines dritten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche, das einem EDOF-Bilddatensatz entspricht, der auf keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im dritten Typ von Live-EDOF-Bild basiert.
Verfahren nach Anspruch 1, wobei die sich wiederholenden Schritte in einer Frequenz durchgeführt werden, so dass das Live-EDOF-Bild eines Werkstücks, das auf der Benutzeroberfläche (UI) angezeigt wird, zumindest 10-mal pro Sekunde zumindest während Betriebsstatus wiederholt aktualisiert wird, die dem zweiten Verschiebungsstatussignal entsprechen.
Verfahren nach Anspruch 1, wobei: die TAG-Linse so gesteuert wird, dass sie eine periodisch modulierte Brechwertänderung in einer Frequenz von zumindest 3 kHz bereitstellt; und die Kamera so konfiguriert ist , dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem eingibt, während einer Belichtungsperiode, die eine Mehrzahl von Perioden der periodisch modulierten Brechwertänderung überspannt.
Verfahren nach Anspruch 7, wobei die Mehrzahl von Fokusabständen so konfiguriert ist, dass sie zumindest 70 % eines maximalen Fokusbereichs des Bildgebungssystems überspannen, und wobei das Verfahren ferner das Bereitstellen einer Beleuchtung mit einer Intensitätsänderung in Synchronisation mit dem periodisch modulierten Fokusabstand umfasst, so dass eine signifikante Beleuchtungsintensität jeweilige Belichtungsbeiträge für Fokusabstände innerhalb der zumindest 70 % des maximalen Fokusbereichs des Bildgebungssystems bereitstellt und eine nicht signifikante Beleuchtungsintensität Belichtungsbeiträge für Fokusabstände außerhalb der zumindest 70 % des maximalen Fokusbereichs unterdrückt.
Verfahren nach Anspruch 1, wobei das Ermitteln des Verschiebungsstatussignals zumindest eines umfasst von: Ermitteln einer Bewegungssteuergeschwindigkeit; Ermitteln einer Bewegungssteuergeschwindigkeit in Kombination mit einer Vergrößerungsstärke; Ermitteln einer Geschwindigkeit einer Bewegung einer Plattform des Bildgebungssystems, auf der sich das Werkstück befindet; oder Analysieren von sequentiellen Bildern, um einen Verschiebungsbetrag zumindest eines Merkmals auf den Bildern zu ermitteln, und wobei: das Anzeigen des ersten Typs von Live-EDOF-Bild in Reaktion auf eine Ermittlung, dass zumindest eines des ersten Verschiebungsstatussignals oder der ersten aktuellen Verschiebungsgeschwindigkeit unter einem geschwindigkeitsbezogenen Schwellenwert liegt, durchgeführt wird; und das Anzeigen des zweiten Typs von Live-EDOF-Bild in Reaktion auf eine Ermittlung, dass zumindest eines des zweiten Verschiebungsstatussignals oder der zweiten aktuellen Verschiebungsgeschwindigkeit über dem geschwindigkeitsbezogenen Schwellenwert liegt, durchgeführt wird.
Sichtsystem zum Bereitstellen eines Live-Bilds mit erweiterter Tiefenschärfe (EDOF) eines Werkstücks, wobei das Sichtsystem umfasst: ein Bildgebungssystem, das umfasst: ein Linsensystem, das eine Linse mit abstimmbarem akustischem Gradienten (TAG) umfasst, die so gesteuert wird, dass sie eine periodisch modulierte Brechwertänderung für die TAG-Linse bereitstellt und somit eine entsprechende Fokusabstandsänderung für das Bildgebungssystem bereitstellt; ein Steuersystem, das eine Linsensteuerung umfasst, die so konfiguriert ist, dass sie die TAG-Linse steuert; eine Kamera, die so konfiguriert ist, dass sie Werkstückbildlicht aus dem Linsensystem in einer Mehrzahl von Fokusabständen für das Bildgebungssystem eingibt und einen entsprechenden Roh-EDOF-Bilddatensatz ausgibt, der einem Roh-EDOF-Bild entspricht, wobei die Kamera wiederholt so betrieben wird, dass sie eine Sequenz der Roh-EDOF-Bilddatensätze über die Zeit hinweg ausgibt, die einer Sequenz von Roh-EDOF-Bildern des Werkstücks über die Zeit hinweg entspricht; und einen Bildverarbeitungsabschnitt, der so konfiguriert ist, dass er einen Roh-EDOF-Bilddatensatz eingibt und diesen verarbeitet, um einen EDOF-Bilddatensatz bereitzustellen, der auf einer Bildverarbeitung zum Entfernen von Defokussierungsunschärfe in einem entsprechenden angezeigten EDOF-Bild basiert; einen Speicher, in dem programmierte Anweisungen gespeichert sind; und einen oder mehrere Prozessoren, die so konfiguriert sind, dass sie die programmierten Anweisungen ausführen, um Vorgänge durchzuführen, die zumindest eines umfassen von: wiederholtem Aktualisieren eines Live-EDOF-Bilds des Werkstücks, das auf einer Benutzeroberfläche angezeigt wird, auf Basis eines Status eines Verschiebungsstatussignals zu einem aktuellen Zeitpunkt, wobei das Verschiebungsstatussignal einer aktuellen Verschiebungsgeschwindigkeit des Werkstücks über ein Sichtfeld des Bildgebungssystems zum aktuellen Zeitpunkt entspricht, wobei das wiederholte Aktualisieren des Live-EDOF-Bilds umfasst: in Reaktion auf ein erstes Verschiebungsstatussignal, das einer ersten aktuellen Verschiebungsgeschwindigkeit entspricht, Anzeigen eines ersten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche, das einem EDOF-Bilddatensatz entspricht, der auf einer ersten Bildverarbeitungsebene zum Entfernen von Defokussierungsunschärfe im ersten Typ von Live-EDOF-Bild basiert; und in Reaktion auf ein zweites Verschiebungsstatussignal, das einer zweiten aktuellen Verschiebungsgeschwindigkeit entspricht, die schneller als die erste aktuelle Verschiebungsgeschwindigkeit ist, Anzeigen eines zweiten Typs von Live-EDOF-Bild des Werkstücks auf der Benutzeroberfläche, das einem EDOF-Bilddatensatz entspricht, der auf zumindest einem basiert von: einer zweiten Bildverarbeitungsebene zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild, wobei die zweite Bildverarbeitungsebene einer geringeren Bildverarbeitung als die erste Bildverarbeitungsebene entspricht; oder keiner Bildverarbeitung zum Entfernen einer Defokussierungsunschärfe im zweiten Typ von Live-EDOF-Bild.