DE102017220101A1 - Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe - Google Patents

Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe Download PDF

Info

Publication number
DE102017220101A1
DE102017220101A1 DE102017220101.0A DE102017220101A DE102017220101A1 DE 102017220101 A1 DE102017220101 A1 DE 102017220101A1 DE 102017220101 A DE102017220101 A DE 102017220101A DE 102017220101 A1 DE102017220101 A1 DE 102017220101A1
Authority
DE
Germany
Prior art keywords
image
focus position
focus
discrete
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017220101.0A
Other languages
English (en)
Inventor
Robert Kamil Bryll
Casey Edward Emtman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/360,671 external-priority patent/US10178321B2/en
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of DE102017220101A1 publication Critical patent/DE102017220101A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Abstract

Ein Verfahren zum Bereitstellen eines Bilds mit erweiterter Tiefenschärfe (EDOF) umfasst: periodisches Modulieren einer Fokusposition eines Bildgebungssystems in einer hohen Frequenz; Verwenden einer Bildbelichtung, die diskrete Bildbelichtungsinkremente umfasst, die in diskreten Fokuspositionen erfasst wurden, während einer Bildintegrationszeit, umfassend eine Mehrzahl von Modulationsperioden der Fokusposition; und Verwenden von stroboskopischen Betrieben mit gesteuerten Zeitschemata, die so konfiguriert sind, dass sie einen Satz von gleichmäßig beabstandeten Fokuspositionen für die Bildbelichtungsinkrement definieren. Die Zeitschemata sind so konfiguriert, dass benachbarte Fokuspositionen im Satz zu Zeiten erfasst werden, die um zumindest eine Umkehrung der Richtung der Änderung der Fokusposition während dessen periodischer Modulation getrennt sind. Dadurch werden praktische zeitliche Probleme gelöst, die andernfalls ggf. verhindern, dass eng beabstandete diskrete Bildbelichtungsinkremente während einer Hochfrequenzfokusmodulation erhalten werden. Entfaltungsvorgänge können verwendet werden, um die Klarheit im entstehenden EDOF-Bild zu verbessern.

Description

  • GEBIET
  • Die Erfindung bezieht sich im Allgemeinen auf Prüfsysteme unter Verwendung von maschinellem Sehen und mehr im Detail auf Bildgebungsvorgänge mit erweiterter Tiefenschärfe.
  • HINTERGRUND
  • Präzisionsprüfsysteme unter Verwendung von maschinellem Sehen (oder kurz „Sichtsysteme“) werden verwendet, um präzise Dimensionsmessungen von Objekten zu erhalten und diverse andere Objektcharakteristika zu prüfen. Solche Systeme können einen Computer, ein Kamera- und optisches System und eine Präzisionsplattform umfassen, die sich so bewegt, dass eine Traversion und Prüfung eines Werkstücks möglich ist. Ein beispielhaftes System aus dem Stand der Technik, das als Universal-„Offline“-Präzisionssichtsystem charakterisiert ist, ist die Reihe von PC-basierten Sichtsystemen QUICK VISION® und die Software QVPAK®, verfügbar von Mitutoyo America Corporation (MAC), Aurora, Illinois. Die Merkmale und der Betrieb der Sichtprüfsystemreihe QUICK VISION® und der Software QVPAK® sind im Allgemeinen z. B. im QVPAK 3D CNC Vision Measuring Machine User's Guide, veröffentlicht im Januar 2003, und im QVPAK 3D CNC Vision Measuring Machine Operation Guide, veröffentlicht im September 1996, beschrieben, die hiermit durch Bezugnahme jeweils in ihrer Gesamtheit berücksichtigt sind. Dieser Systemtyp verwendet ein optisches System vom Mikroskoptyp und bewegt die Plattform so, dass Prüfbilder von kleinen oder relativ großen Werkstücken in diversen Vergrößerungen bereitgestellt werden.
  • Universalpräzisionsprüfsysteme unter Verwendung von maschinellem Sehen sind im Allgemeinen so programmierbar, dass sie eine automatisierte Videoprüfung bereitstellen. Solche Systeme umfassen im Allgemeinen GUI-Merkmale und vordefinierte Bildanalyse- „Videowerkzeuge“, so dass der Betrieb und die Programmierung von Benutzern durchgeführt werden können, die „keine Experten“ sind. Beispielsweise lehrt das US-Patent Nr. 6,542,180 , das hierin durch Bezugnahme in seiner Gesamtheit berücksichtigt ist, ein Sichtsystem, das eine automatisierte Videoprüfung verwendet, die die Verwendung diverser Videowerkzeuge umfasst.
  • Die Maschinensteueranweisungen, die die spezifische Prüfereignissequenz (d. h. wie jedes Bild zu erfassen ist und wie jedes erfasste Bild zu analysieren/prüfen ist) umfassen, werden im Allgemeinen als „Teilprogramm“ oder „Werkstückprogramm“ gespeichert, das für die bestimmte Werkstückkonfiguration spezifisch ist. Beispielsweise definiert ein Teilprogramm, wie jedes Bild zu erfassen ist, z. B. wie die Kamera in Bezug auf das Werkstück zu platzieren ist, bei welcher Beleuchtungsstärke, in welcher Vergrößerungsstärke usw. Ferner definiert das Teilprogramm, wie ein erfasstes Bild zu analysieren/prüfen ist, z. B. unter Verwendung eines oder mehrerer Videowerkzeuge wie z. B. von Videowerkzeugen mit Autofokus.
  • Videowerkzeuge (oder kurz „Werkzeuge“) und andere Merkmale einer graphischen Benutzeroberfläche können manuell verwendet werden, um manuelle Prüf- und/oder Maschinensteuervorgänge (in einem „manuellen Modus“) zu erzielen. Ihre Einstellungsparameter und ihr Betrieb können auch während eines Lernmodus aufgezeichnet werden, um automatische Prüfprogramme oder „Teilprogramme“ zu erstellen. Videowerkzeuge können z. B. Werkzeuge zum Erkennen von Kanten/Grenzen, Autofokus-Werkzeuge, Form- oder Musterabgleichungswerkzeuge, Dimensionsmesswerkzeuge und dergleichen umfassen.
  • Bei manchen Anwendungen ist es wünschenswert, ein Bildgebungssystem eines Prüfsystems unter Verwendung von maschinellem Sehen zu betreiben, um ein Bild mit einer erweiterten Tiefenschärfe (EDOF) zu erfassen, so dass die Tiefenschärfe größer als jene ist, die das optische Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Es sind diverse Verfahren zum Erfassen eines Bilds mit erweiterter Tiefenschärfe bekannt. Ein solches Verfahren liegt im Erfassen eines „Bildstapels“, der aus einer Mehrzahl von kongruenten oder fluchtenden Bildern besteht, die in einem gesamten Fokusbereich in unterschiedlichen Abständen fokussiert sind. Ein Mosaikbild des Sichtfelds wird aus dem Bildstapel konstruiert, wobei jeder Abschnitt des Sichtfelds aus dem bestimmten Bild extrahiert wird, das diesen Abschnitt mit dem besten Fokus zeigt. Dieses Verfahren ist jedoch relativ langsam. Als weiteres Beispiel offenbaren Nagahara et al. („Flexible Depth of Field Photography", Proceedings of the European Conference on Computer Vision, Oktober 2008) ein Verfahren, wobei ein einzelnes Bild entlang einer Mehrzahl von Fokusabständen während seiner Belichtungszeit belichtet wird. Dieses Bild ist relativ unscharf, enthält jedoch Bildinformationen, die über die Mehrzahl von Fokusabständen hinweg erfasst wurden. Es wird unter Verwendung eines bekannten oder vordefinierten Weichzeichnungskerns entfaltet, um ein relativ klares Bild mit einer erweiterten Tiefenschärfe zu erhalten. Bei dem in Nagahara beschriebenen Verfahren wird der Fokusabstand durch Verschieben des Bilddetektors entlang einer optischen Achse eines Bildgebungssystems verändert. Folglich werden unterschiedliche Fokusebenen am Detektor zu unterschiedlichen Zeitpunkten während einer Belichtung fokussiert. Ein solches Verfahren ist jedoch relativ langsam und mechanisch komplex. Ferner kann sich das Ändern der Detektorposition negativ auf die Wiederholbarkeit und/oder Genauigkeit auswirken, wenn beim Erfassen von Prüfbildern mit fixem Fokus verwendet, was bei Präzisionsmessungen (z. B. bei Genauigkeiten in der Größenordnung von ein paar Mikrometern) und dergleichen verwendet werden muss. Ein verbessertes Verfahren zum Bereitstellen eines Bilds mit erweiterter Tiefenschärfe (EDOF) ist wünschenswert, das mit hoher Geschwindigkeit durchgeführt werden kann, ohne auf einer mechanischen Verschiebung optischer Komponenten zu basieren.
  • KURZDARSTELLUNG
  • Eine typische lichtstarke Linse mit variabler Brennweite kann eine Fokusposition sinusförmig (im Gegensatz zu linear) modulieren, wodurch im Allgemeinen keine gleichmäßige oder „ausgeglichene“ Belichtung während eines gesamten Zyklus einer Fokuspositionsmodulation bereitgestellt wird, die verwendet werden kann, um ein Bild mit erweiterter Tiefenschärfe (EDOF) zu erfassen. Im Gegensatz dazu ist es bei diversen Anwendungen unter Verwendung einer lichtstarken Linse mit variabler Brennweite wünschenswert, eine gleichmäßige oder „ausgeglichene“ Belichtung während eines gesamten Zyklus einer Fokuspositionsmodulation bereitzustellen, die verwendet werden kann, um ein Bild mit erweiterter Tiefenschärfe (EDOF) zu erfassen.
  • Es wird ein Verfahren zum Betreiben eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen offenbart, um zumindest ein EDOF-Bild mit einer größeren Tiefenschärfe als jene bereitzustellen, die das Bildgebungssystem in einer einzelnen Fokusposition aufweist. Bei diversen Umsetzungen umfasst das Verfahren das Belichten eines Vorab-EDOF-Bilds unter Verwendung einer Bildbelichtung, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, gemäß hierin offenbarten Grundsätzen.
  • Bei diversen Umsetzungen kann das Verfahren das Platzieren eines Werkstücks in einem Sichtfeld des Prüfsystems unter Verwendung von maschinellem Sehen umfassen. Eine Fokusposition eines Bildgebungssystems mit variabler Brennweite wird periodisch moduliert, vorzugsweise ohne makroskopische Anpassung der Beabstandung zwischen Elementen im Bildgebungssystem, wobei die Fokusposition über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Modulationsfrequenz von zumindest 3 kHz periodisch moduliert wird.
  • Bei diversen Umsetzungen wird ein Vorab-EDOF-Bild unter Verwendung einer Bildbelichtung belichtet, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, die in jeweiligen diskreten Fokuspositionen während einer Bildintegrationszeit erfasst werden, die eine Mehrzahl von Perioden der periodisch modulierten Fokusposition umfasst, wobei:
    • die Mehrzahl von diskreten Bildbelichtungsinkrementen jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt werden, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition des entsprechenden diskreten Bildbelichtungsinkrements definiert;
    • die jeweiligen gesteuerten Zeitschemata über die Mehrzahl von Perioden der periodisch modulierten Fokusposition verteilt und so konfiguriert sind, dass sie einen Satz von diskreten Fokuspositionen bereitstellen, die entlang der Fokusachsenrichtung ungefähr gleichmäßig beabstandet sind; und
    • die jeweiligen gesteuerten Zeitschemata ferner so konfiguriert sind, dass für eine Mehrzahl von benachbarten Paaren von diskreten Fokuspositionen im Satz, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen des benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, so gesteuert wird, dass es gegenüber dem ersten gesteuerten Zeitschema eine Verzögerung aufweist, so dass das zweite gesteuerte Zeitschema so gesteuert wird, dass es nach N Umkehrungen der Richtung der Änderung der Fokusposition während der periodischen Modulation dieser nach dem ersten gesteuerten Zeitschema auftritt, wobei N zumindest 1 ist.
  • Bei diversen Umsetzungen kann das Vorab-EDOF-Bild verarbeitet werden, um unscharfe Bildbeiträge zu entfernen, die im Fokusbereich auftreten, während der Bildintegrationszeit, um ein Bild mit erweiterter Tiefenschärfe (EDOF) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Bei manchen Umsetzungen kann eine solche Verarbeitung das Durchführen von Entfaltungsvorgängen unter Verwendung eines Weichzeichnungskerns umfassen, der das Bildgebungssystem in dessen gesamtem Fokusbereich charakterisiert (z. B. integrierte Punktspreizfunktion).
  • Bei manchen Umsetzungen umfasst jedes diskrete Bildbelichtungsinkrement eine Kombination aus einer Inkrementbelichtungsdauer und einer Beleuchtungsintensität, die während der Inkrementbelichtungsdauer verwendet wird, so dass jedes diskrete Bildbelichtungsinkrement eine nominal gleiche Belichtungsenergie für das Vorab-EDOF-Bild bereitstellt. Bei manchen Umsetzungen werden die Inkrementbelichtungsdauern, die unterschiedlichen Fokuspositionen entsprechen, so angepasst, dass während jedes der diskreten Bildbelichtungsinkremente ungefähr der gleiche Fokuspositionsänderungsbetrag erfolgt.
  • Bei manchen hierin offenbarten Umsetzungen kann eine kontinuierliche (einschließlich teilweise kontinuierlich) EDOF-Bildbelichtung verwendet werden. Ein Nachteil solcher Verfahren kann jedoch sein, dass die assoziierte EDOF-Bildbelichtung über den gesamten Fokusbereich ggf. nicht gleichmäßig ist, was bei einer Reihe von Umsetzungen nachteilig ist. Ein alternatives Verfahren, das oben in dieser Kurzfassung betont wurde, umfasst das Verwenden einer Mehrzahl von diskreten Bildbelichtungsinkrementen zum Erfassen eines Vorab-EDOF-Bilds in einem Fokusbereich einer lichtstarken Linse (oder Bildgebungssystem) mit variabler Brennweite, wie oben ausgeführt. Ein solches Verfahren der EDOF-Bildbelichtung kann noch wünschenswerter sein, da es bei diversen Umsetzungen ein besser anpassbares, genaueres und/oder robusteres Verfahren sein kann.
  • Es sei verstanden, dass, wenn ein solches Verfahren in Verbindung mit einer äußerst lichtstarken periodisch modulierten Linse mit variabler Brennweite (z. B. TAG-Linse) verwendet wird, die Fokusposition sich sodann so schnell ändern kann (als inhärentes Merkmal der Linse mit variabler Brennweite), dass es bei praktischen Systemen zu signifikanten Problem in Hinblick auf Zeitschema, Steuerung und „Belichtungsbetrag“ kommen kann. Um eine praktische Lösung für solche Probleme bereitzustellen, werden die diskreten Bildbelichtungsinkremente, die als Bestandteile einer EDOF-Bildbelichtung verwendet werden, bei diversen hierin offenbarten Umsetzungen über eine Mehrzahl der periodischen Fokusmodulationen unter Verwendung eines gesteuerten Zeitschemas erfasst, das gemäß gewissen oben ausgeführten Grundsätzen konfiguriert ist, und wie nachstehend ausführlicher und vielfältiger offenbart.
  • Figurenliste
  • Die vorstehenden Aspekte und viele der dazugehörigen Vorteile dieser Erfindung sind unter Bezugnahme auf die folgende ausführliche Beschreibung in Zusammenschau mit den beiliegenden Zeichnungen leichter verständlich, in denen:
    • 1 ein Schaubild ist, das diverse typische Komponenten eines Universal-Präzisionsprüfsystems unter Verwendung von maschinellem Sehen zeigt;
    • 2 ein Blockschaubild eines Steuersystemabschnitts und eines Sichtkomponentenabschnitts eines Prüfsystems unter Verwendung von maschinellem Sehen ähnlich jenem vom 1 ist, das hierin offenbarte Merkmale umfasst;
    • 3 ein schematisches Schaubild einer ersten Ausführungsform eines EDOF-Bildgebungssystems zeigt, das an ein Prüfsystem unter Verwendung von maschinellem Sehen angepasst und gemäß den hierin offenbarten Grundsätzen betrieben werden kann;
    • 4 ein beispielhaftes Zeitschemaschaubild für eine Fokushöhe während einer Bildbelichtung zeigt, wie bei einer Ausführungsform eines EDOF-Bildgebungssystems (z. B. des Bildgebungssystems von 3) verwendet werden kann, gemäß hierin offenbarten Grundsätzen;
    • 5 ein schematisches Schaubild einer zweiten Ausführungsform eines EDOF-Bildgebungssystems zeigt, das an ein Prüfsystem unter Verwendung von maschinellem Sehen angepasst und gemäß den hierin offenbarten Grundsätzen betrieben werden kann;
    • 6A ein Graph ist, der eine erste Ausführungsform eines optischen Filters charakterisiert, das in einer Fourier-Ebene eines Bildgebungssystems verwendet werden kann, um eine optische Entfaltung eines Bilds aus einem EDOF-Bildgebungssystem durchzuführen und ein relativ klares EDOF-Bild in Echtzeit bereitzustellen;
    • 6B ein Graph ist, der eine zweite Ausführungsform eines optischen Filters charakterisiert, das in einer Fourier-Ebene eines Bildgebungssystems verwendet werden kann;
    • 7 ein Ablaufplan ist, der eine Ausführungsform eines Verfahrens zum Betreiben eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen zeigt, um eine rechnerische Entfaltung eines Vorabbilds aus einem EDOF-Bildgebungssystems durchzuführen und ein relativ klares EDOF-Bild ungefähr in Echtzeit bereitzustellen;
    • die 8A bis 8C beispielhafte Zeitschemaschaubilder zeigen, die diverse Aspekte von drei unterschiedlichen Bildbelichtungsumsetzungen veranschaulichen, die sich für ein EDOF-Bildgebungssystem (z. B. das Bildgebungssystem von 3) eignen, umfassend die Verwendung von diskreten Bildbelichtungsinkrementen, gemäß hierin offenbarten Grundsätzen.
    • 9 zeigt ein Zeitschemaschaubild, das gewisse Details zu einer beispielhaften Umsetzung einer Konfiguration mit gesteuertem Zeitschema umfasst, die verwendet werden kann, um eine diskrete Fokusposition und gewisse andere Charakteristika zu definieren, die mit einem entsprechenden diskreten Bildbelichtungsinkrement assoziiert sind.
    • 10 ist ein Ablaufplan, der eine Ausführungsform eines Verfahrens zum Betreiben eines Bildgebungssystems (z. B. in einem Prüfsystem) zeigt, um zumindest ein EDOF-Bild mit einer Tiefenschärfe bereitzustellen, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition aufweist, und das das Verwenden von diskreten Bildbelichtungsinkrementen umfasst, gemäß hierin offenbarten Grundsätzen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • 1 ist ein Blockschaubild eines beispielhaften Prüfsystems 10 unter Verwendung von maschinellem Sehen gemäß hierin beschriebenen Verfahren. Das Prüfsystem 10 unter Verwendung von maschinellem Sehen umfasst eine Sichtmessmaschine 12, die funktionsmäßig verbunden ist, um Daten und Steuersignale mit einem Steuercomputersystem 14 auszutauschen. Das Steuercomputersystem 14 ist ferner funktionsmäßig verbunden, um Daten und Steuersignale mit einem Monitor oder einer Anzeige 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 auszutauschen. Der Monitor oder die Anzeige 16 kann eine Benutzeroberfläche anzeigen, die sich zum Steuern und/oder Programmieren der Vorgänge des Prüfsystems 10 unter Verwendung von maschinellem Sehen eignet. Es wird verstanden, dass ein Tablet mit berührungsempfindlichem Bildschirm oder dergleichen bei diversen Ausführungsformen die Funktionen eines beliebigen oder allen des Computersystems 14, der Anzeige 16, des Joysticks 22, der Tastatur 24 und der Maus 26 ersetzen und/oder redundant bereitstellen kann.
  • Der Fachmann wird verstehen, dass das Steuercomputersystem 14 im Allgemeinen aus einem beliebigen Rechensystem oder einer beliebigen Rechenvorrichtung bestehen kann. Geeignete Rechensysteme oder -vorrichtungen können Personal Computer, Servercomputer, Minicomputer, Großrechner, Verteiltes-Rechnen-Umgebungen, die beliebiges des Vorstehenden umfassen, und dergleichen umfassen. Solche Rechensysteme oder -vorrichtungen können einen oder mehrere Prozessoren umfassen, die eine Software ausführen, um die hierin beschriebenen Funktionen durchzuführen. Prozessoren umfassen programmierbare Universal- oder spezielle Mikroprozessoren, programmierbare Steuerungen, anwendungsspezifische integrierte Schaltungen (ASICs), programmierbare Logikvorrichtungen (PLDs) oder dergleichen oder eine Kombination solcher Vorrichtungen. Software kann in einem Speicher wie z. B. einem Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), Flash-Speicher oder dergleichen oder einer Kombination solcher Komponenten gespeichert werden. Software kann außerdem in einer oder mehreren Speichervorrichtungen wie z. B. Platten auf optischer Basis, Flash-Speicher-Vorrichtungen oder einem beliebigen anderen Typ von nichtflüchtigem Speichermedium zum Speichern von Daten gespeichert werden. Software kann ein oder mehrere Programmmodule umfassen, die Routinen, Programme, Objekte, Komponenten, Datenstrukturen und so weiter umfassen, die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen umsetzen. In Verteiltes-Rechnen-Umgebungen kann die Funktionalität der Programmmodule über mehrere Rechensysteme oder -vorrichtungen kombiniert oder verteilt werden und über Dienstaufrufe kann auf diese zugegriffen werden, entweder mit kabelgebundener oder drahtloser Konfiguration.
  • Die Sichtmessmaschine 12 umfasst eine bewegliche Werkstückplattform 32 und ein optisches Bildgebungssystem 34, das eine Zoom-Linse oder austauschbare Linsen umfassen kann. Die Zoom-Linse oder austauschbaren Linsen stellt bzw. stellen im Wesentlichen diverse Vergrößerungen für die Bilder bereit, die vom optischen Bildgebungssystem 34 bereitgestellt werden. Das Prüfsystem 10 unter Verwendung von maschinellem Sehen ist auch in den gemeinsam übertragenen US-Patenten Nr. 7,454,053 ; 7,324,682 ; 8,111,905 ; und 8,111,938 beschrieben, die jeweils durch Bezugnahme in ihrer Gesamtheit berücksichtigt sind.
  • 2 ist ein Blockschaubild eines Steuersystemabschnitts 120 und eines Sichtkomponentenabschnitts 200 eines Prüfsystems 100 unter Verwendung von maschinellem Sehen ähnlich dem Prüfsystem unter Verwendung von maschinellem Sehen von 1, und das Merkmale wie hierin beschrieben umfasst. Wie nachstehend ausführlicher beschrieben, wird der Steuersystemabschnitt 120 verwendet, um den Sichtkomponentenabschnitt 200 zu steuern. Der Sichtkomponentenabschnitt 200 umfasst einen Optische-Baugruppe-Abschnitt 205, Lichtquellen 220, 230 und 240 und eine Werkstückplattform 210, die einen mittleren transparenten Abschnitt 212 aufweist. Die Werkstückplattform 210 ist entlang X- und Y-Achsen steuerbar beweglich, die auf einer Ebene liegen, die im Allgemeinen parallel zur Oberfläche der Plattform verläuft, auf der ein Werkstück 20 positioniert sein kann. Der Optische-Baugruppe-Abschnitt 205 umfasst ein Kamerasystem 260, eine austauschbare Objektivlinse 250 und kann eine Revolverlinsenbaugruppe 280 mit Linsen 286 und 288 umfassen. Alternativ zur Revolverlinsenbaugruppe kann eine fixe oder manuell austauschbare Vergrößerungsanpassungslinse oder eine Zoom-Linsen-Konfiguration oder dergleichen umfasst sein.
  • Der Optische-Baugruppe-Abschnitt 205 ist entlang einer Z-Achse steuerbar beweglich, die im Allgemeinen orthogonal zu den X- und Y-Achsen verläuft, und zwar unter Verwendung eines steuerbaren Motors 294, der ein Betätigungselement so antreibt, dass der Optische-Baugruppe-Abschnitt 205 entlang der Z-Achse bewegt wird, um den Fokus des Bilds des Werkstücks 20 zu ändern. Der steuerbare Motor 294 ist über eine Signalleitung 296 mit einer Eingabe-/Ausgabeschnittstelle 130 verbunden.
  • Ein Werkstück 20 oder eine Ablage oder eine Befestigungsvorrichtung, die eine Mehrzahl von Werkstücken 20 hält, das bzw. die mit dem Prüfsystem 100 unter Verwendung von maschinellem Sehen abzubilden ist bzw. sind, ist auf der Werkstückplattform 210 platziert. Die Werkstückplattform 210 kann so gesteuert werden, dass sie sich relativ zum Optische-Baugruppe-Abschnitt 205 bewegt, so dass die austauschbare Objektivlinse 250 sich zwischen Stellen auf einem Werkstück 20 und/oder zwischen einer Mehrzahl von Werkstücken 20 bewegt. Eines oder mehrere eines Plattformlichts 220, eines coaxialen Lichts 230 und eines Oberflächenlichts 240 (z. B. eines Ringlichts) (gesammelt Lichtquellen genannt) können Quelllicht 222, 232 bzw. 242 emittieren, um das eine oder die mehreren Werkstücke 20 zu beleuchten. Die Lichtquelle 230 kann Licht 232 entlang eines Gangs emittieren, der einen Spiegel 290 umfasst. Das Quelllicht wird als Werkstücklicht 255 reflektiert oder übertragen und das für die Bildgebung verwendete Werkstücklicht passiert die austauschbare Objektivlinse 250 und die Revolverlinsenbaugruppe 280 und wird vom Kamerasystem 260 gesammelt. Das Bild des einen oder der mehreren Werkstücke 20, das vom Kamerasystem 260 erfasst wird, wird auf einer Signalleitung 262 an den Steuersystemabschnitt 120 ausgegeben. Die Lichtquellen 220, 230 und 240 können durch Signalleitungen oder Busse 221, 231 bzw. 241 mit dem Steuersystemabschnitt 120 verbunden sein. Um die Bildvergrößerung zu ändern, kann der Steuersystemabschnitt 120 die Revolverlinsenbaugruppe 280 entlang einer Achse 284 drehen, um eine Revolverlinse auszuwählen, durch eine Signalleitung oder einen Bus 281.
  • Wie in 2 gezeigt, umfasst der Steuersystemabschnitt 120 bei diversen beispielhaften Ausführungsformen eine Steuerung 125, die Eingabe-/Ausgabeschnittstelle 130, einen Speicher 140, einen Werkstückprogrammersteller und -ausführer 170 und einen Energieversorgungsabschnitt 190. Jede dieser Komponenten sowie die zusätzlichen Komponenten, die nachstehend beschrieben sind, können durch einen oder mehrere Daten-/Steuerbusse und/oder Anwendungsprogrammierschnittstellen oder durch direkte Verbindungen zwischen den diversen Elementen miteinander verbunden werden.
  • Die Eingabe-/Ausgabeschnittstelle 130 umfasst eine Bildgebungssteuerschnittstelle 131, eine Bewegungssteuerschnittstelle 132, eine Beleuchtungssteuerschnittstelle 133 und eine Linsensteuerschnittstelle 134. Die Bildgebungssteuerschnittstelle 131 kann einen Modus 131a der erweiterten Tiefenschärfe (EDOF) umfassen, den ein Benutzer auswählen kann, um zumindest ein Bild eines Werkstücks mit einer Tiefenschärfe zu erfassen, die größer als jene ist, die vom Sichtkomponentenabschnitt 200 bei Fokus auf eine einzelne Fokusposition bereitgestellt werden kann. Die Linsensteuerschnittstelle 134 kann eine EDOF-Linsensteuerung umfassen, die eine/n Linsenfokussteuerkreis und/oder -routine oder dergleichen umfasst. Die Vorgänge und Komponenten, die mit einem Modus mit erweiterter Tiefenschärfe und einer EDOF-Linsensteuerschnittstelle und/oder -steuerung assoziiert sind, sind nachstehend unter Bezugnahme auf die 3 bis 7 näher beschrieben. Die Bewegungssteuerschnittstelle 132 kann ein Positionssteuerelement 132a und ein Geschwindigkeits-/Beschleunigungssteuerelement 132b umfassen, auch wenn solche Elemente zusammengefasst und/oder nicht unterscheidbar sein können. Die Beleuchtungssteuerschnittstelle 133 umfasst Beleuchtungssteuerelemente 133a, 133n und 133fl, die z. B. die Auswahl, die Energie, einen Ein/Aus-Schalter und einen Abtastimpulszeitpunkt, falls anwendbar, für die diversen entsprechenden Lichtquellen des Prüfsystems 100 unter Verwendung von maschinellem Sehen steuern.
  • Der Speicher 140 kann einen Bilddateispeicherabschnitt 141, einen Kantendetektionsspeicherabschnitt 140ed, einen Werkstückprogrammspeicherabschnitt 142, der ein oder mehrere Teilprogramme oder dergleichen umfassen kann, und einen Videowerkzeugabschnitt 143 umfassen. Der Videowerkzeugabschnitt 143 umfasst einen Videowerkzeugabschnitt 143a und andere Videowerkzeugabschnitte (z. B. 143n), die die GUI, den Bildverarbeitungsvorgang usw. für jedes der entsprechenden Videowerkzeuge bestimmen, und einen Region-von-Interesse-(ROI)-Generator 143roi, der automatische, halbautomatische und/oder manuelle Vorgänge unterstützt, die diverse ROIs definieren, die in diversen Videowerkzeugen betreibbar sind, die im Videowerkzeugabschnitt 143 umfasst sind. Der Videowerkzeugabschnitt umfasst außerdem ein Autofokus-Videowerkzeug 143af, das die GUI, den Bildverarbeitungsvorgang usw. für Fokushöhenmessvorgänge bestimmt. Im Kontext dieser Offenbarung und wie dem Durchschnittsfachmann bekannt, bezieht sich der Ausdruck „Videowerkzeug“ im Allgemeinen auf einen relativ komplexen Satz von automatischen oder programmierten Vorgängen, die ein Benutzer des maschinellen Sehens über eine relativ einfach Benutzeroberfläche (z. B. eine graphische Benutzeroberfläche, Fenster mit bearbeitbaren Parametern, Menüs und dergleichen) umsetzen kann, ohne dass die Schritt-für-Schritt-Sequenz von Vorgängen gebildet wird, die im Videowerkzeug umfasst sind, oder ohne dass auf eine generalisierte textbasierte Programmiersprache oder dergleichen zurückgegriffen wird. Beispielsweise kann ein Videowerkzeug einen komplexen vorprogrammierten Satz von Bildverarbeitungsvorgängen und Berechnungen umfassen, die in einer bestimmten Instanz angewandt und durch Anpassen von ein paar Variablen oder Parametern individuell eingestellt werden, die die Vorgänge und Berechnungen regeln. Neben den zugrundeliegenden Vorgängen und Berechnungen umfasst das Videowerkzeug die Benutzeroberfläche, die es dem Benutzer ermöglicht, jene Parameter für eine bestimmte Instanz des Videowerkzeugs anzupassen. Beispielsweise ermöglichen viele Videowerkzeuge unter Verwendung von maschinellem Sehen es einem Benutzer, einen graphischen Region-von-Interesse-(ROI)-Indikator durch einfache „Handle-Dragging“-Vorgänge mit einer Maus zu konfigurieren, um die Positionsparameter eines Teilsatzes eines Bilds zu definieren, das mit den Bildverarbeitungsvorgängen einer bestimmten Instanz eines Videowerkzeugs zu analysieren ist. Es sei angemerkt, dass die sichtbaren Benutzeroberflächenmerkmale manchmal als Videowerkzeug bezeichnet werden, wobei die zugrundeliegenden Vorgänge implizit umfasst sind.
  • Die Signalleitungen oder Busse 221, 231 und 241 des Plattformlichts 220, der coaxialen Lichter 230 und 230' bzw. des Oberflächenlichts 240 sind allesamt mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 aus dem Kamerasystem 260 und die Signalleitung 296 aus dem steuerbaren Motor 294 sind mit der Eingabe-/Ausgabeschnittstelle 130 verbunden. Die Signalleitung 262 trägt nicht nur Bilddaten, sondern kann auch ein Signal von der Steuerung 125 tragen, das eine Bilderfassung initiiert.
  • Eine oder mehrere Anzeigevorrichtungen 136 (z. B. die Anzeige 16 von 1) und eine oder mehrere Eingabevorrichtungen 138 (z. B. der Joystick 22, die Tastatur 24 und die Maus 26 von 1) können ebenfalls mit der Eingabe-/Ausgabeschnittstelle 130 verbunden sein. Die Anzeigevorrichtungen 136 und die Eingabevorrichtungen 138 können verwendet werden, um eine Benutzeroberfläche anzuzeigen, die diverse Merkmale einer graphischen Benutzeroberfläche (GUI) umfassen kann, die verwendbar sind, um Prüfvorgänge durchzuführen und/oder Teilprogramme zu erstellen und/oder zu modifizieren, um die vom Kamerasystem 260 erfassten Bildern anzuschauen und/oder den Sichtkomponentenabschnitt 200 direkt zu steuern. Die Anzeigevorrichtungen 136 können Benutzeroberflächenmerkmale anzeigen, die mit dem Autofokus-Videowerkzeug 143af assoziiert sind.
  • Bei diversen beispielhaften Ausführungsformen erstellt ein Benutzer, wenn der Benutzer das Prüfsystem 100 unter Verwendung von maschinellem Sehen zum Erstellen eines Teilprogramms für das Werkstück 20 verwendet, Teilprogrammanweisungen, indem er das Prüfsystem 100 unter Verwendung von maschinellem Sehen in einem Lernmodus betreibt, um eine gewünschte Bilderfassungstrainingssequenz bereitzustellen. Beispielsweise kann eine Trainingssequenz das Positionieren eines bestimmten Werkstückmerkmals eines repräsentativen Werkstücks im Sichtfeld (FOV), das Einstellen von Lichthöhen, das Fokussieren oder Autofokussieren, das Erfassen eines Bilds und das Bereitstellen einer Prüftrainingssequenz umfassen, die an das Bild angewandt wird (z. B. unter Verwendung einer Instanz eines der Videowerkzeuge in Bezug auf dieses Werkstückmerkmal). Der Lernmodus arbeitet derart, dass die eine oder mehreren Sequenzen erfasst oder aufgezeichnet und zu entsprechenden Teilprogrammanweisungen umgewandelt werden. Wenn das Teilprogramm ausgeführt wird, veranlassen diese Anweisungen das Prüfsystem unter Verwendung von maschinellem Sehen dazu, die trainierte Bilderfassung zu reproduzieren und Prüfvorgänge zu veranlassen, um dieses bestimmte Werkstückmerkmal (das das entsprechende Merkmal an der entsprechenden Stelle ist) auf einem oder mehreren Laufmoduswerkstücken automatisch zu prüfen, das bzw. die zum repräsentativen Werkstück passen, das beim Erstellen des Teilprogramms verwendet wurde. Die hierin offenbarten Systeme und Verfahren sind während eines solchen Lernmodus und/oder manueller Vorgänge dahingehend besonders nützlich, dass ein Benutzer ein EDOF-Videobild in Echtzeit sehen kann, während er ein Werkstück für eine Sichtprüfung und/oder eine Werkstückprogrammerstellung navigiert. Der Benutzer muss Bilder mit starker Vergrößerung nicht je nach der Höhe diverser mikroskopischer Merkmale am Werkstück kontinuierlich neu fokussieren, was sich mühsam und zeitaufwendig gestalten kann, insbesondere bei starken Vergrößerungen.
  • 3 ein schematisches Schaubild einer ersten Ausführungsform eines EDOF-Bildgebungssystems 300 zeigt, das an ein Prüfsystem unter Verwendung von maschinellem Sehen angepasst und gemäß den hierin offenbarten Grundsätzen betrieben werden kann. Das Bildgebungssystem 300 ist so konfigurierbar, dass es zumindest ein Bild eines Werkstücks bereitstellt, das eine größere Tiefenschärfe als das Bildgebungssystem in einer einzelnen Fokusposition aufweist (z. B. bei diversen Ausführungsformen 10- bis 20-fach größer oder höherfach). Das Bildgebungssystem 300 umfasst eine Lichtquelle 330, die so konfigurierbar ist, dass sie ein Werkstück in einem Sichtfeld des Bildgebungssystems 300 beleuchtet, eine Objektivlinse 350, eine Relaislinse 351, eine Relaislinse 352, eine Linse 370 mit variabler Brennweite, eine Tubuslinse 386 und ein Kamerasystem 360.
  • In Betrieb ist die Lichtquelle 330 so konfigurierbar, dass sie Quelllicht 332 entlang eines Gangs, der einen Spiegel 390 umfasst, zu einer Oberfläche eines Werkstücks 320 emittiert, die Objektivlinse 350 empfängt Werkstücklicht 332, das das Werkstücklicht umfasst, das in einer Fokusposition FP proximal des Werkstücks 320 fokussiert ist, und das Werkstücklicht 355 an die Relaislinse 351 ausgibt. Die Relaislinse 351 empfängt das Werkstücklicht 355 und gibt es an die Relaislinse 352 aus. Die Relaislinse 352 empfängt das Werkstücklicht 355 und gibt es an die Linse 370 mit variabler Brennweite aus. Gemeinsam stellen die Relaislinse 351 und die Relaislinse 352 ein optisches 4f-Relais zwischen der Objektivlinse 350 und der Linse 370 mit variabler Brennweite bereit, um eine konstante Vergrößerung für jede Z-Höhe des Werkstücks 320 und/oder der Fokusposition FP bereitzustellen. Die Linse 370 mit variabler Brennweite empfängt das Werkstücklicht 355 und gibt es an die Tubuslinse 386 aus. Die Linse 370 mit variabler Brennweite ist elektronisch steuerbar, um die Fokusposition FP des Bildgebungssystems während einer oder mehrerer Bildbelichtungen zu variieren. Die Fokusposition FP kann innerhalb eines Bereichs R bewegt werden, der durch eine Fokusposition FP1 und eine Fokusposition FP2 begrenzt wird. Es sei verstanden, dass der Bereich R bei manchen Ausführungsformen von einem Benutzer ausgewählt werden kann, z. B. im EDOF-Modus 131e der Bildgebungssteuerschnittstelle 131.
  • Bei diversen Ausführungsformen umfasst ein Prüfsystem unter Verwendung von maschinellem Sehen ein Steuersystem (z. B. den Steuersystemabschnitt 120), der so konfigurierbar ist, dass er die Linse 370 mit variabler Brennweite steuert, um eine Fokusposition des Bildgebungssystems 300 periodisch zu modulieren. Bei manchen Ausführungsformen kann die Linse 370 mit variabler Brennweite die Fokusposition sehr schnell anpassen oder modulieren (z. B. periodisch, in einer Rate von zumindest 300 Hz oder 3 kHz oder viel höher). Bei manchen Ausführungsformen kann der Bereich R so groß wie 10 mm sein (bei einer 1-fach-Objektivlinse 350). Bei diversen Ausführungsformen wird die Linse 370 mit variabler Brennweite vorteilhafterweise so ausgewählt, dass sie keine makroskopischen mechanischen Anpassungen Bildgebungssystem und/oder Anpassung des Abstands zwischen der Objektivlinse 350 und dem Werkstück 320 erfordert, um die Fokusposition FP zu ändern. In einem solchen Fall kann das EDOF-Bild in einer höheren Rate bereitgestellt werden und gibt es ferner weder makroskopischen Anpassungselemente noch assoziierte Nichtwiederholbarkeit in Bezug auf die Positionierung, um die Genauigkeit zu verschlechtern, wenn das gleiche Bildgebungssystem zum Erfassen von Prüfbildern mit fixem Fokus verwendet wird, was bei Präzisionsmessungen (z. B. bei Genauigkeiten in der Größenordnung von ein paar wenigen Mikrometern) und dergleichen) verwendet werden muss. Beispielsweise ist es bei manchen Ausführungsformen wünschenswert, das EDOF-Bild als Anzeigebild für einen Benutzer zu verwenden und die periodische Modulation der Fokusposition später zu beenden (z. B. unter Verwendung des zuvor beschriebenen EDOF-Modussteuerelements 131e oder unter automatischer Beendigung auf Basis eines aktiven Messvorgangs oder dergleichen), um eine fixe Fokusposition für das Bildgebungssystem bereitzustellen. Danach kann das System verwendet werden, um ein Messbilds eines bestimmten Merkmals unter Verwendung des Bildgebungssystems mit der fixen Fokusposition zu belichten; und dieses stabile hochauflösende Messbild kann verarbeitet werden kann, um eine genaue Messung des Werkstücks bereitzustellen.
  • Bei manchen Ausführungsformen ist die Linse 370 mit variabler Brennweite eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex. Eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex ist eine lichtstarke Linse mit variabler Brennweite, die Schallwellen in einem fluiden Medium verwendet, um eine Fokusposition zu modulieren, und kann einen Bereich von Brennweiten in einer Frequenz von mehreren Hundert kHz periodisch sweepen. Eine solche Linse wird anhand der Lehren des Artikels „High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens“ (Optics Letters, Bd. 33, Nr. 18, 15. September 2008) verständlich, der hiermit durch Bezugnahme in seiner Gesamtheit berücksichtigt ist. Linsen mit abstimmbarem akustischem Gradientenindex und zugehörige steuerbare Signalerzeuger sind z. B. von TAG Optics, Inc., Princeton, New Jersey, erhältlich. Die Linsen der Reihe SR38 beispielsweise sind in der Lage, bis zu 1,0 MHz zu modulieren.
  • Die Linse 370 mit variabler Brennweite kann durch eine EDOF-Linsensteuerung 374 angetrieben werden, die ein Signal erzeugen kann, um die Linse 370 mit variabler Brennweite zu steuern. Bei einer Ausführungsform kann die EDOF-Linsensteuerung 374 ein im Handel erhältlicher steuerbarer Signalerzeuger wie z. B. der oben erwähnte sein. Bei manchen Ausführungsformen kann die EDOF-Linsensteuerung 374 durch einen Benutzer und/oder ein Betriebsprogramm über die Bildgebungssteuerschnittstelle 131 und/oder eine Benutzeroberfläche des EDOF-Modus 131e und/oder die Linsensteuerschnittstelle 134 konfiguriert oder gesteuert werden, wie zuvor unter Bezugnahme auf 2 ausgeführt. Bei manchen Ausführungsformen kann die Linse 370 mit variabler Brennweite unter Verwendung eines periodischen Signals angetrieben werden, so dass die Fokusposition FP über die Zeit hinweg in einer hohen Frequenz sinusförmig moduliert wird. Beispielsweise kann eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex bei manchen beispielhaften Ausführungsformen für fokale Abtastraten so hoch wie 400 kHz konfiguriert sein, auch wenn verstanden werden sollte, dass langsamere Fokuspositionsanpassungen und/oder Modulationsfrequenzen bei diversen Ausführungsformen und/oder Anwendungen wünschenswert sein können. Beispielsweise kann bei diversen Ausführungsformen eine periodische Modulation von 300 Hz oder 3 kHz oder dergleichen verwendet werden. Bei Ausführungsformen, bei denen solche langsameren Fokuspositionsanpassungen verwendet werden, kann die Linse 370 mit variabler Brennweite eine steuerbare Fluidlinse oder dergleichen umfassen.
  • Die Ausführungsform eines EDOF-Bildgebungssystems, wie in 3 gezeigt, ist verwendbar, wenn ein EDOF-Bildgebungssystem und eine assoziierte Signalverarbeitung so konfiguriert sind, dass sie eine rechnerische Entfaltung eines Vorabbilds aus einem EDOF-Bildgebungssystem durchführen und ein relativ klares EDOF-Bild ungefähr in Echtzeit bereitstellen. Beispielsweise ist ein Steuersystem (z. B. der Steuersystemabschnitt 120, der in 2 gezeigt ist) so konfiguriert, dass es ein erstes Vorabbild während des Verlaufs zumindest eines Sweeps der modulierten Fokusposition in einem gesamten EDOF-Fokusbereich während der Bildbelichtung erfasst und das erste Vorabbild verarbeitet, das unscharf sein kann, um ein relativ klares Bild zu ermitteln. Bei einer Ausführungsform kann das Vorabbild unter Verwendung einer bekannten oder vordefinierten Punktspreizfunktion (PSF) verarbeitet oder entfaltet werden, die dem Fokusbereich des Vorabbilds entspricht. Eine Punktspreizfunktion P(FP) charakterisiert einen Zerstreuungskreis, d. h. ein kreisförmiges Bild einer Punktlichtquelle in einem bestimmten Abstand zu einem Bildgebungssystem als Funktion eines Radius r des Zerstreuungskreises und der Fokusposition FP. Eine Punktspreizfunktion kann für ein Bildgebungssystem (z. B. das Bildgebungssystem 300) experimentell ermittelt werden oder sie kann unter Verwendung von Punktspreizfunktionen geschätzt werden, die anhand von Funktionen wie z. B. Pill Box oder Gaußschen Kurve modelliert werden, oder unter Verwendung von grundlegenden Beugungsgrundsätzen, z. B. Fourier-Optik, gemäß bekannten Verfahren. Solche Punktspreizfunktionen in diversen Fokusabständen innerhalb eines Fokusbereichs können gemäß ihren erwarteten Belichtungsbeiträgen oder ihrer erwarteten Anwendbarkeit gewichtet werden. Beispielsweise wenn sich der Fokusabstand während einer Belichtung bewegt, trägt jeder Fokusabstand zu einer Bildbelichtung für einen entsprechenden Zeitraum innerhalb dieser Belichtung bei und eine Punktspreizfunktion, die diesem Abstand entspricht, kann entsprechend gewichtet werden. Solche gewichteten Punktspreizfunktionsbeiträge können über einen erwarteten Fokusbereich R summiert oder integriert werden. Alternativ können solche Punktspreizfunktionsbeiträge, wenn die Fokusabstandsänderung eine bekannte Funktion der Zeit ist, über einen Zeitraum integriert werden, der einem Sweep des erwarteten Fokusbereichs R entspricht, analog zu dem Ansatz, der unter Bezugnahme auf die nachstehende GLEICHUNG 3 indiziert ist.
  • Bei einem Bildgebungssystem mit einer modulierten Fokusposition eine integrierte Punktspreizfunktion h, die der folgenden Beziehung entspricht: h = 0 T P ( F P ( t ) ) d t
    Figure DE102017220101A1_0001
    wobei P(FP(t)) eine Punktspreizfunktion ist und FP(t) die zeitabhängige fokale Position ist. Eine Fokusposition eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen kann als Funktion einer Zeit t über eine Gesamtintegrationszeit T moduliert werden, die einer Bildbelichtungs- oder Bildintegrationszeit des ersten Vorabbilds entspricht.
  • Die Entfaltung des ersten Vorabbilds kann als umgekehrter Vorgang verstanden werden, der ein Bild mit hoher Tiefenschärfe entfaltet, das über einen Bereich von Fokuspositionen mit jeweiligen Dauern in der Belichtung belichtet wurde, unter Verwendung einer integrierten Punktspreizfunktion h, die in manchen Anwendungen als „Zerstreuungsfunktion“ bezeichnet werden kann. Das erste Vorabbild kann als zweidimensionale Funktion g(x,y) dargestellt werden, die eine Faltung eines Bilds f(x,y) mit einer erweiterten Tiefenschärfe ist (was einer Bildanordnung mit Abmessungen m x n entspricht), unter Verwendung der integrierten Punktspreizfunktion h mithilfe der Gleichung: g ( x , y ) = f h = m n f ( m , n ) h ( x m , y n )
    Figure DE102017220101A1_0002
  • In der Frequenzdomäne kann diese Faltung durch das Produkt der Fourier-Transformierten von f und h dargestellt werden, wie als F und H dargestellt: G = F H
    Figure DE102017220101A1_0003
  • Die Fourier-Transformierten von f und h können unter Verwendung eines Fast-Fourier-Transformations-(FFT)-Algorithmus effizient ermittelt werden. Das EDOF-Bild (in der Frequenzdomäne) kann durch Verarbeiten des Bilds G (d. h. Multiplizieren dieses) mit einer Inverse von H ermittelt werden, der hier als Hr ausgewiesen ist. Die Inverse Hr kann mithilfe diverser bekannter Verfahren berechnet werden. Beispielsweise kann eine einfache Pseudoinverse von H mit der Gleichung ermittelt werden: H r = H * | H | 2 + k
    Figure DE102017220101A1_0004
    wobei H* das komplexe Konjugat von H ist und k eine reele Zahl ist, die auf Basis von Charakteristika des Bildgebungssystems 300 empirisch ausgewählt wird. Bei einer beispielhaften Ausführungsform ist k 0,0001. Schließlich kann das Bild f mit erweiterter Tiefenschärfe wie folgt berechnet werden: f ( x , y ) = g h r = F 1 ( G H r ) = F 1 { G H * | H | 2 + k }
    Figure DE102017220101A1_0005
  • Eine robustere Alternative zur Pseudoinverse kann gemäß einer Wiener Entfaltung oder einem iterativen Algorithmus nach Lucy und Richardson, die in Digital Image Processing von Kenneth R. Castleman (Prentice-Hall, Inc., 1996) beschrieben sind. Außerdem kann die Verarbeitung des Bilds eine blockbasierte Entrauschung umfassen.
  • Bei einer unterschiedlichen Ausführungsform, wie nachstehend in Bezug auf die 5 und 6 ausführlicher beschrieben, kann eine Entfaltung optisch unter Verwendung eines passiven optischen Filters, das in einer Fourier-Ebene eines EDOF-Bildgebungssystems platziert ist, gemäß grundlegenden Verfahren der Fourier-Optik durchgeführt werden, um ein relativ klares EDOF-Bild in Echtzeit bereitzustellen.
  • Bei beispielhaften Ausführungsformen kann das Bildgebungssystem 300 ein erstes Vorabbild bereitstellen, das ein unscharfes Bild ist, das eine Information umfasst, die während dessen Belichtung über einen gesamten gewünschten Fokusbereich erfasst wird. Das erste Vorabbild kann danach wie oben ausgeführt rechnerisch verarbeitet werden, um ein Bild mit erweiterter Tiefenschärfe bereitzustellen, das eine Tiefenschärfe umfasst, die größer als jene ist, die das Bildgebungssystem 300 in einer einzelnen Fokusposition bereitstellen kann (z. B. 100-fach größer). Beispielsweise kann die Tiefenschärfe 90 µm betragen und kann ein Bild mit erweiterter Tiefenschärfe, das unter Verwendung der gleichen Ausführungsform des Bildgebungssystems 300 bereitgestellt wird, so groß wie 9 mm sein.
  • 4 zeigt ein beispielhaftes Zeitschemaschaubild 400 für eine Fokushöhe während einer Bildbelichtung, wie bei einer Ausführungsform eines EDOF-Bildgebungssystems (z. B. des Bildgebungssystems 300) verwendet werden kann, gemäß hierin offenbarten Grundsätzen. Das Zeitschemaschaubild 400 zeigt außerdem Belichtungszeiten einer Kamera des Bildgebungssystems. Allgemein gesprochen können EDOF-Bildbelichtungen, die in der folgenden Beschreibung auch als Einzelbildbelichtungen bezeichnet werden, vom Bildgebungssystem über zumindest einen Sweep der Modulation der Fokushöhe des Bildgebungssystems über einen gewünschten Fokusbereich während der Belichtung durchgeführt werden. Bei dem bestimmten Beispiel, das im Zeitschemaschaubild 400 gezeigt ist, wird eine Einzelbildbelichtung durchgeführt, die zumindest einem Zyklus einer periodischen Modulation der Fokushöhe des Bildgebungssystems über einen gewünschten Fokusbereich entspricht. Eine periodische Hochgeschwindigkeitsmodulation wird praktischerweise unter Verwendung einer Linse mit abstimmbarem akustischem Gradientenbrechungsindex durchgeführt. Konkreter gesagt werden die folgenden Schritte, die in 4 widergespiegelt sind, bei einer Ausführungsform zumindest einmal wiederholt, um ein EDOF-Bild bereitzustellen, das mit einer gesamten Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt:
    • • periodisches Modulieren einer Fokusposition (Fokusebene) des Bildgebungssystems über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung ohne makroskopisches Anpassen der Beabstandung zwischen Elementen im Bildgebungssystem, wobei die Fokusposition in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Frequenz von zumindest 300 Hz periodisch moduliert wird;
    • • Belichten eines ersten Vorabbilds während einer Bildintegrationszeit, während die Fokusposition im Fokusbereich moduliert wird; und
    • • Verarbeiten des ersten Vorabbilds, um unscharfe Bildbeiträge zu entfernen, die während der Bildintegrationszeit auftreten, um ein EDOF-Bild bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt.
  • Es wird verstanden, dass das erste Vorabbild bei der unmittelbar vorstehenden Beschreibung, wenn die unscharfen Bildbeiträge rechnerisch entfernt werden, ein unscharfes Bilds sein kann, das anfangs die unscharfen Bildbeiträge umfasst. Das erste Vorabbild umfasst in diesem Fall detektierte und/oder aufgezeichnete Bilddaten. Das Verarbeiten des ersten Vorabbilds zum Entfernen der unscharfen Bildbeiträge umfasst das rechnerische Verarbeiten der ersten Vorabbilddaten, um ein EDOF-Bild (ein zweites oder modifiziertes Bild) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Somit umfassen das erste Vorabbild und das bereitgestellte EDOF-Bild bei dieser Ausführungsform unterschiedliche Bilder und/oder Bilddaten.
  • Wenn die unscharfen Bildbeiträge hingegen unter Verwendung eines optischen Filters und passiver Fourier-Bildverarbeitungsverfahren entfernt werden, erscheinen das erste Vorabbild und das EDOF-Bild gleichzeitig und muss das erste Vorabbild kein detektiertes oder aufgezeichnetes Bild sein. Das Verarbeiten des ersten Vorabbilds zum Entfernen der unscharfen Bildbeiträge umfasst das passive optische Verarbeiten des Lichts des ersten Vorabbilds, das in das EDOF-Bildgebungssystem eingegeben wird, um ein EDOF-Bild an der Ausgabe oder dem Detektor des EDOF-Bildgebungssystems bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Somit kann bei einer solchen Ausführungsform erachtet werden, dass das erste Vorabbild optisch verarbeitet wird, während es das EDOF-Bildgebungssystem passiert und bevor es an der Kamera oder dem Detektor des EDOF-Bildgebungssystems detektiert wird, so dass das bereitgestellte EDOF-Bild bei einer solchen Ausführungsform das einzige detektierte oder aufgezeichnete Bild ist.
  • Eine Steuerung zur Modulation der Fokusposition kann gemäß beliebigen der Verfahren, die hierin ausgeführt und/oder in 4 veranschaulicht sind, wie unter Bezugnahme auf das EDOF-Moduselement 130e und die Linsensteuerschnittstelle 134, wie in 2 gezeigt, und/oder die EDOF-Linsensteuerungen 374 und 574, wie in 3 bzw. 5 gezeigt, ausgeführt erzielt werden.
  • Da ein EDOF-Bildgebungssystem, das gemäß den hierin offenbarten Grundsätzen konfiguriert ist, eine Hochgeschwindigkeitsbildgebung mit erweiterter Tiefenschärfe vorsieht, kann ein solches Bildgebungssystem verwendet werden, um Bilder mit erweiterter Tiefenschärfe wiederholt in einer hohen Rate zu erfassen, z. B. für eine Videobildgebung zu 30 Einzelbildern pro Sekunde oder mehr, und kann die Mehrzahl von Bildern mit erweiterter Tiefenschärfe als Echtzeit-Videoeinzelbilder angezeigt werden.
  • Bei manchen Ausführungsformen ist es möglich, eine Steuersignalkomponente in Zusammenhang mit dem nominalen Zentrum des Bereichs R der periodischen Modulation in Reaktion auf eine Benutzereingabe (z. B. unter Verwendung einer Benutzeroberflächenschnittstelle des EDOF-Moduselements 131e) anzupassen, so dass die periodische Modulation um ein gewünschtes nominales Zentrum des Bereichs erfolgt. Bei manchen Ausführungsformen kann eine solche Anpassung sogar so gesteuert werden, dass sie während einer Bildbelichtung automatisch variiert, um einen Fokusbereich weiter über den z. B. durch eine einzelne periodische Modulation erzielten hinaus zu erweitern.
  • Es sei verstanden, dass, auch wenn das Zeitschemaschaubild sieben Perioden der Modulation der Fokushöhe für jede Einzelbildbelichtung zeigt, ein Prüfsystem unter Verwendung von maschinellem Sehen, das gemäß den hierin offenbarten Grundsätzen konfiguriert ist, der Veranschaulichung wegen bei diversen Ausführungsformen ein Bildgebungssystem umfasst, das die Fokushöhe über eine viel größere Anzahl von Perioden pro Einzelbildbelichtung moduliert. Beispielsweise kann ein beispielhaftes Bildgebungssystem Videobilder zu 30 Einzelbildern pro Sekunde erfassen und kann die Fokushöhe in einer Rate von 30 kHz modulieren, wodurch somit 1000 Fokushöhenmodulationsperioden pro Einzelbildbelichtung bereitgestellt werden. Ein Vorteil einer solchen Konfiguration ist, dass die Zeitschema-Beziehung zwischen der Einzelbildbelichtung in der periodischen Modulation nicht wichtig ist. Beispielsweise zeigt Gleichung 1, dass eine integrierte Punktspreizfunktion, die verwendet wird, um unscharfe Bildbeiträge zu entfernen, von der Fokusposition als Funktion der Zeit während einer gesamten Bildbelichtung abhängt. Wenn die angenommene integrierte Punktspreizfunktion der tatsächlichen Fokusposition als Funktion der Zeit während der gesamten Bildbelichtung nicht entspricht, werden die unscharfen Bildbeiträge somit nicht ideal behandelt. Wenn die angenommene integrierte Punktspreizfunktion auf einer vollen periodischen Modulation des Fokus über den gesamten Fokusbereich basiert und nur eine einzelne Periode (oder ein paar Perioden) einer periodischen Fokusmodulation während einer Bildbelichtung verwendet wird, kann sodann, wenn die Belichtung nach einer nichtganzzahligen Anzahl von Perioden beendet wird, die tatsächliche integrierte tatsächliche Fokusposition signifikant „unausgeglichen“ sein, verglichen mit der angenommenen integrierten Punktspreizfunktion. Wenn hingegen die angesammelte Anzahl von Perioden während einer Bildbelichtung signifikant ist, z. B. zumindest fünf Perioden oder vorzugsweise viele mehr, kann sodann, wenn die Belichtung nach einer nichtganzzahligen Anzahl von Perioden beendet wird, der unausgeglichene Beitrag der unvollständigen Periode relativ unsignifikant sein und arbeitet die angenommene integrierte Punktspreizfunktion beinahe ideal.
  • Bei manchen Ausführungsformen kann das Erfassen eines ersten Bilds im Laufe zumindest einer Periode der periodisch modulierten Fokusposition das Belichten des Bilds im Laufe einer ganzzahligen Anzahl von Perioden umfassen. Auf Basis der vorstehenden Erörterung wird verstanden, dass dies besonders wertvoll sein kann, wenn eine EDOF-Bildbelichtung relativ wenige Perioden einer periodischen Fokusmodulation (z. B. fünf oder weniger Perioden) umfasst. Beispielsweise könnte dies auftreten, wenn eine Belichtungszeit relativ kurz sein muss, um eine Überbelichtung zu vermeiden und/oder eine Bewegung anzuhalten oder dergleichen.
  • Bei dem im Zeitschemaschaubild 400 gezeigten Beispiel wird die Fokusposition sinusförmig moduliert. Bei manchen Ausführungsformen umfasst die Bildintegrationszeit eine Fokusänderung über den gesamten gewünschten Fokusbereich (z. B. zumindest eine Periode der periodisch modulierten Fokusposition, wie in 4 gezeigt). Bei manchen Ausführungsformen kann es wünschenswert sein, ein Bild nur während der lineareren Abschnitte der sinusförmigen Modulation zu belichten. Dies ermöglicht ausgeglichenere Belichtungszeiten für jede Höhe innerhalb der Fokuspositionsmodulation (z. B. die relativ längeren Fokuspositionshaltezeiten an den Extrema einer sinusförmigen Fokusmodulation können eliminiert werden). Somit umfasst das Belichten eines Bilds während einer Bildintegrationszeit bei manchen Ausführungsformen das Bereitstellen einer Beleuchtung mit einer Intensitätsvariation (z. B. einem Ein/Aus-Zyklus oder einer stärker abgestuften Intensitätsvariation), die mit der periodisch modulierten Fokusposition synchronisiert wird, so dass sie die jeweiligen Belichtungsbeiträge für unterschiedliche jeweilige Fokuspositionen innerhalb des Bereichs der periodisch modulierten Fokusposition unterschiedlich beeinflusst. Es wird verstanden, dass eine Einzelbildbelichtung im Wesentlichen keinen Bildbeitrag empfangen kann, wenn die stroboskopische Beleuchtung ausgeschaltet ist. Das Zeitschemaschaubild 400 indiziert zwei beispielhafte Integrationsperioden IPA und IPB, die zum Belichten eines Bilds verwendet werden können. Die beispielhaften Integrationsperioden IPA und IPB schließen die Regionen nahe den Extrema der sinusförmigen Modulation aus, d. h., beide liegen zumindest 15 % der Periodenlänge weg von Extremapositionen der sinusförmigen Modulation entfernt. Die Integrationsperioden IPA und IPB können durch Bereitstellen einer entsprechenden stroboskopischen Beleuchtung während einer Einzelbildbelichtung gemäß bekannten Verfahren gesteuert werden.
  • 5 zeigt ein schematisches Schaubild einer zweiten Ausführungsform eines EDOF-Bildgebungssystems 500, das an ein Prüfsystem unter Verwendung von maschinellem Sehen angepasst und gemäß den hierin offenbarten Grundsätzen betrieben werden kann. Das Bildgebungssystem 500 ähnelt dem Bildgebungssystem 300 von 3. Ähnlich nummerierte Elemente, die in 3 als 3XX und in 5 als 5XX gekennzeichnet sind, können als ähnlich oder identisch verstanden werden und in Bezug auf 5 werden nur signifikante Unterschiede beschrieben. Die Ausführungsform eines EDOF-Bildgebungssystems, wie in 5 gezeigt, ist verwendbar, wenn ein EDOF-Bildgebungssystem so konfiguriert ist, dass es eine passive optische Entfaltung eines Vorabbildlichts in einem EDOF-Bildgebungssystem durchführt und ein relativ klares EDOF-Bild an eine Kamera und/oder Detektor des Bildgebungssystems in Echtzeit ausgibt. Bei der in 5 gezeigten Ausführungsform umfasst das Bildgebungssystem 500 außerdem eine erste Filterungslinse 553, eine zweite Filterungslinse 554 und ein optisches Entfaltungsfilter 556. Die erste Filterungslinse 553 und die zweite Filterungslinse 554 stellen ein optisches 4f-Relais mit dem optischen Entfaltungsfilter 556 bereit, in einer Fourier-Ebene platziert. Das optische Entfaltungsfilter 556 kann von einer integrierten Punktspreizfunktion abgeleitet sein, die für das Bildgebungssystem 500 ermittelt wurde, wie nachstehend unter Bezugnahme auf 6 ausführlicher beschrieben. In Betrieb ist das optische Entfaltungsfilter 556 so konfiguriert, dass es Vorabbildlicht aus einer Linse 570 mit variabler Brennweite eingibt und dieses Bildlicht verarbeitet, indem es dieses optisch filtert, wodurch ein Ausgabe-EDOF-Bild an eine Kamera 560 bereitgestellt wird, wobei es sich um ein relativ klares EDOF-Bild handelt, das in Echtzeit an die Kamera 560 ausgegeben wird.
  • 6A ist ein Graph 600A, der ein erstes beispielhaftes optisches Filters charakterisiert, das in einer Fourier-Ebene eines EDOF-Bildgebungssystems (z. B. als Ausführungsform des optischen Entfaltungsfilters 556 von 6) verwendet werden kann, um eine optische Entfaltung eines Bilds aus einem EDOF-Bildgebungssystem durchzuführen und ein relativ klares EDOF-Bild in Echtzeit bereitzustellen; Der Graph zeigt eine Kurve 610A optischer Transmission. Die Kurve 610A optischer Transmission umfasst ein lineares Profil optischer Transmission, das sich zumindest im Zentrum des optischen Filters befindet. Am Umfang des optischen Filters nahe der Kante eines Pupillendurchmessers liegt der Wert optischer Transmission bei 100 %. Außerhalb des Pupillendurchmessers liegt die optische Transmission bei null. Das optische Filter, das durch den Graphen 600A charakterisiert ist, agiert im Prozess der Entfaltung als Hochpassraumfilter.
  • 6B ist ein Graph 600B, der ein zweites beispielhaftes optisches Filters charakterisiert, das in einer Fourier-Ebene eines EDOF-Bildgebungssystems (z. B. als Ausführungsform des optischen Entfaltungsfilters 556 von 6) verwendet werden kann, um eine optische Entfaltung eines Bilds aus einem EDOF-Bildgebungssystem durchzuführen und ein relativ klares EDOF-Bild in Echtzeit bereitzustellen; Der Graph zeigt eine Kurve 610B optischer Transmission. Die Kurve 610B optischer Transmission umfasst ein quadratisches Profil optischer Transmission, das sich zumindest im Zentrum des optischen Filters befindet. Am Umfang des optischen Filters nahe der Kante eines Pupillendurchmessers liegt der Wert optischer Transmission bei 100 %. Außerhalb des Pupillendurchmessers liegt die optische Transmission bei null. Das optische Filter, das durch den Graphen 600B charakterisiert ist, agiert im Prozess der Entfaltung ebenfalls als Hochpassraumfilter. Es sei verstanden, dass die optischen Filter, die durch den Graphen 600A und den Graphen 600B charakterisiert werden, beispielhaft und nicht einschränkend sind, und dass optische Filter mit anderen Transmissionsprofilen verwendet werden können, z. B. phasenmodifizierende Filter.
  • 7 ist ein Ablaufplan 700, der eine Ausführungsform eines Verfahrens zum Betreiben eines Bildgebungssystems und eine assoziierte Signalverarbeitung eines Prüfsystems unter Verwendung von maschinellem Sehen zeigt, um eine rechnerische Entfaltung eines Vorabbilds aus einem EDOF-Bildgebungssystems durchzuführen und ein relativ klares EDOF-Bild ungefähr in Echtzeit bereitzustellen.
  • Bei Block 710 wird ein Werkstück in einem Sichtfeld des Prüfsystems unter Verwendung von maschinellem Sehen platziert.
  • Bei Block 720 wird eine Fokusposition des Bildgebungssystems über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung ohne makroskopisches Anpassen der Beabstandung zwischen Elementen im Bildgebungssystem periodisch moduliert. Die Fokusposition wird in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Frequenz von zumindest 300 Hz (oder bei manchen Ausführungsformen einer viel höheren Frequenz) periodisch moduliert.
  • Bei Block 730 wird ein erstes Vorabbild während einer Bildintegrationszeit belichtet, während die Fokusposition im Fokusbereich moduliert wird.
  • Bei Block 740 werden Daten aus dem ersten Vorabbild verarbeitet, um unscharfe Bildbeiträge zu entfernen, die während der Bildintegrationszeit im Fokusbereich auftreten, um ein Bild bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt.
  • Es kann angedacht sein, dass, wenn eine sehr lichtstarke periodisch modulierte Linse mit variabler Brennweite wie z. B. eine TAG-Linse verwendet wird, sich die Fokusposition so schnell ändert, dass der einzige Weg, sie zu verwenden, um ein EDOF-Bild zu erfassen, darin liegt, das EDOF-Bild im Fokusbereich der lichtstarken Linse mit variabler Brennweite kontinuierlich zu belichten, wie z. B. bei manchen oben ausgeführten Beispielen. Dieses Verfahren der EDOF-Bildbelichtung ist jedoch bei diversen Umsetzungen mit gewissen Nachteilen verbunden. Beispielsweise liegt ein Nachteil bei dem Verfahren bei Verwendung einer periodisch modulierten Linse mit variabler Brennweite darin, dass sich die Fokusposition sinusförmig ändert und nicht in einer konstanten Rate. Dies bedeutet, dass eine kontinuierliche (einschließlich teilweise kontinuierlich) EDOF-Bildbelichtung über den gesamten Fokusbereich nicht gleichmäßig ist, was bei einer Reihe von Umsetzungen nachteilig ist. Ein alternatives Verfahren zum Erfassen eines EDOF-Bilds unter Verwendung einer solchen Linse, die bei gewissen Umsetzungen wünschenswerter sein kann, wird nachstehend beschrieben. Das alternative Verfahren umfasst das Verwenden einer Mehrzahl von diskreten Bildbelichtungsinkrementen, um ein Vorab-EDOF-Bild in einem Fokusbereich gemäß nachstehend beschriebenen Grundsätzen zu erfassen. Ein solches Verfahren kann bei diversen Umsetzungen ein besser anpassbares, genaueres und/oder robusteres Verfahren sein. Es sei verstanden, dass sich die Fokusposition so schnell ändern kann, wenn eine sehr lichtstarke periodisch modulierte Linse mit variabler Brennweite (z. B. eine TAG-Linse) verwendet wird, es bei praktischen Systemen zu Problemen in Hinblick auf Zeitschema, Steuerung und „Belichtungsbetrag“ kommen kann. Um eine praktische Lösung für solche Probleme bereitzustellen, werden die diskreten Bildbelichtungsinkremente, die als Bestandteile einer EDOF-Bildbelichtung verwendet werden, über eine Mehrzahl von periodischen Fokusmodulationen gemäß nachstehend offenbarten Grundsätzen erfasst.
  • Die 8A bis 8C zeigen beispielhafte Zeitschemaschaubilder 800A bis 800C, die diverse Aspekte von drei unterschiedlichen Bildbelichtungsumsetzungen veranschaulichen, die sich für ein EDOF-Bildgebungssystem (z. B. das Bildgebungssystem 300) eignen. Die Zeitschemaschaubilder 800A bis 800C weisen dahingehend eine gewisse Analogie zum Zeitschemaschaubild 400 auf, dass eine EDOF-Bildbelichtung während einer periodischen Modulation der Fokushöhe oder Fokusposition eines Bildgebungssystems mit variabler Brennweite über dessen Fokusbereich erfasst werden kann. Im Gegensatz zu der im Zeitschemaschaubild 400 veranschaulichten Umsetzung, bei der eine kontinuierliche Bildbelichtung verwendet werden kann, ist ein EDOF-Bildgebungssystem bei den in den Zeitschemaschaubildern 800A bis 800C gezeigten Umsetzungen so konfiguriert, dass es ein Vorabbild unter Verwendung einer Bildbelichtung, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, gemäß nachstehend beschriebenen Grundsätzen belichtet.
  • Insbesondere zeigt das Zeitschemaschaubild 800A die periodisch modulierte Fokusposition MFP eines Bildgebungssystems mit variabler Brennweite, die über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung (wie entlang der Fokusebenen-Z-Positionsachse gezeigt) über einen Fokusbereich FR periodisch moduliert wird (wie entlang der Zeitachse gezeigt), von dem angenommen wird, dass er den einen oder die mehreren Abstände zur Oberfläche eines Werkstück umfasst, das mit dem Bildgebungssystem mit variabler Brennweite abzubilden ist. Das Bildgebungssystem mit variabler Brennweite ist in der Lage, mit einer sehr hohen Fokusmodulationsfrequenz (bei diversen Umsetzungen z. B. zumindest 3 kHz oder 30 kHz oder mehr) betrieben zu werden. Wie im Schaubild 800A gezeigt, wird ein Vorabbild unter Verwendung einer Bildbelichtung belichtet, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen EI umfasst, die in jeweiligen diskreten Fokuspositionen FP (z. B. einer jeweiligen der Fokuspositionen Z1 bis Z8) während einer Kamerabildintegrationszeit erfasst werden, die eine Mehrzahl von Perioden der periodisch modulierten Fokusposition MFP umfasst. Man beachte: Die Referenzabkürzungen EI und/oder FP (und/oder CT für gesteuertes Zeitschema, wie nachstehend verwendet und in 9 gezeigt) können eine Indexziffer „i“ umfassen, die ein bestimmtes „i-tes“ Belichtungsinkrement EI oder eine bestimmte „i-te“ Fokusposition FP oder ein bestimmtes „i-tes“ gesteuertes Zeitschema CT ausweisen. Was das Belichtungsinkrement EI betrifft, so liegt die Indexziffer „i“ im Allgemeinen in einem Bereich von 1 bis zur Anzahl von diskreten Bildbelichtungsinkrementen, die in der Vorabbildbelichtung umfasst sind (in dem in 8A veranschaulichten Beispiel EI1 bis EI16).
  • Die Mehrzahl von diskreten Bildbelichtungsinkrementen EI wird jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition FP des entsprechenden diskreten Bildbelichtungsinkrements EI definiert. Es wird verstanden, dass ein Bildgebungssystem mit variabler Brennweite mit einer periodisch modulierten Fokusposition eine bestimmte Fokusposition zu einem bestimmten Zeitpunkt oder einer bestimmten Phase innerhalb jeder Periode der Modulation aufweist. Die augenblickliche Phase der periodischen Modulation kann auf Basis des Ansteuersignals der Linse mit variabler Brennweite oder durch direktes Überwachen der Fokusposition oder dergleichen ersichtlich sein. Aus diesem Grund kann unter Kenntnis eines Kalibrierungsverhältnisses zwischen der Fokusposition und der Phase der periodischen Modulation ein stroboskopisches Element (z. B. stroboskopische Beleuchtungsquelle oder ein schneller elektronischer Kamera-Shutter) so gesteuert werden, dass es kurz eine Belichtung zu einem bestimmten Phasenzeitschema ermöglicht, um ein Belichtungsinkrement in einer gewünschten entsprechenden Fokusposition zu erfassen. Dieser Grundsatz geht z. B. unter Bezugnahme auf die US-Patente Nr. 8,194,307 und 9,143,674 ausführlicher hervor, die hiermit durch Bezugnahme hierin in ihrer Gesamtheit berücksichtigt sind. Diverse Aspekte einer Verwendung eines gesteuerten Zeitschemas, wie oben ausgeführt, sind nachstehend unter Bezugnahme auf 9 ausführlicher beschrieben.
  • Wie in 800A gezeigt, sind die jeweiligen gesteuerten Zeitschemata (wie z. B. durch ihre jeweiligen Inkrementzeiten T1 bis T16 dargestellt) über eine Mehrzahl von Perioden der periodisch modulierten Fokusposition MFP verteilt und sind so konfiguriert, dass sie einen Satz von diskreten Fokuspositionen FP bereitstellen, die entlang der Fokusachsenrichtung ungefähr gleichmäßig beabstandet sind (wie durch ihre Fokuspositionswerte Z1 bis Z8 dargestellt). Es wurde ermittelt, dass gleichmäßig beabstandete und/oder „gewichtete“ Belichtungsbeiträge zu einem „Roh“- oder Vorab-EDOF-Bild in Bezug auf eine Signalverarbeitung und/oder Rechenvorgänge, die danach durchgeführt werden können, um das EDOF-Bild zu verbessern, vorteilhaft sein können. Beispielsweise können solche Belichtungsbeiträge vorteilhaft sein, wenn ein verbessertes EDOF-Bild durch Durchführen von Entfaltungsvorgängen am Vorab-EDOF-Bild unter Verwendung eines Weichzeichnungskerns, der ein Bildgebungssystem mit variabler Brennweite in dessen gesamten Fokusbereich charakterisiert, bereitgestellt wird. Solche Entfaltungsvorgänge sind z. B. in der Veröffentlichung Nr. WO2009120718 A1 beschrieben, die hiermit durch Bezugnahme hierin in ihrer Gesamtheit berücksichtigt ist. Bekannte Verfahren zum Bereitstellen von gleichmäßig beabstandeten und/oder gewichteten Belichtungsbeiträgen über einen gesamten Fokusbereich für ein EDOF-Bild sind jedoch nicht ausreichend schnell, genau (was die Klarheit und Qualität des EDOF-Bilds betrifft) oder wiederholbar.
  • Wie zuvor ausgeführt, kann sich die Fokusposition so schnell ändern, wenn eine sehr lichtstarke periodisch modulierte Linse mit variabler Brennweite (z. B. eine TAG-Linse) verwendet wird, dass es bei praktischen Systemen zu Problemen in Hinblick auf Zeitschema, Steuerung und „Belichtungsbetrag“ kommen kann. Insbesondere kann eine Fokusposition des Bildgebungssystems während einer beliebigen bestimmten Modulation benachbarte Paare von gewünschten Fokuspositionen innerhalb einer Periode von zig Nanosekunden sequentiell passieren, wodurch diskrete Belichtungen in solchen sequentiellen benachbarten Fokuspositionen unpraktisch und/oder ungenau werden. Um eine praktische Lösung für solche Probleme bereitzustellen, sind die jeweiligen gesteuerten Zeitschemata, die verwendet werden, um die diskreten Bildbelichtungsinkremente EI in den gewünschten gleichmäßig beabstandeten Fokuspositionen FP (z. B. Z1 bis Z8) zu erfassen, so konfiguriert, dass für eine Mehrzahl von benachbarten Paaren von diskreten Fokuspositionen im Satz (z. B. Satz Z1 bis Z8), wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen des benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, so gesteuert wird, dass es gegenüber dem ersten gesteuerten Zeitschema eine Verzögerung aufweist, so dass das zweite gesteuerte Zeitschema so gesteuert wird, dass es nach N Umkehrungen der Richtung der Fokuspositionsänderung während der periodischen Modulation dieser nach dem ersten gesteuerten Zeitschema auftritt, wobei N zumindest 1 ist. Solche Richtungsumkehrungen treten an den Grenzen des Fokusbereichs FR auf, d. h. an den Extrema der sinusförmig modulierten Fokusposition MFP. Bei diversen Umsetzungen gilt dieser Grundsatz für alle benachbarten Paare von diskreten Fokuspositionen im Satz. Durch eine solche Zeitschemakonfiguration ist es praktisch, diskrete Bildbelichtungsinkremente in eng beabstandeten Fokuspositionen auf praktische, ökonomische und vielseitige Weise mit guter Genauigkeitshöhe zu erfassen.
  • Um den Betrieb in Bezug auf das Schaubild 800A zu verdeutlichen, beginnt, während der periodisch modulierten Fokusposition MFP, die Kamerabildintegrationszeit im diskreten Bildbelichtungsinkrement EI1, wird zu einer Inkrementzeit T1 erfasst, die ein Phasenzeitschema tz1 aufweist, das der gewünschten Fokusposition FP = Z1 entspricht. Die periodisch modulierte Fokusposition MFP setzt sich dann bei diesem Beispiel durch eine benachbarte Fokusposition Z2 und Positionen Z3 und Z4 fort, wobei angenommen wird, dass es nicht praktisch ist, die Vorgänge, die zum Erhalten des nächsten diskreten Bildbelichtungsinkrements erforderlich sind, abzuschließen, bevor die Fokusposition Z4 erreicht hat. Im Gegensatz dazu ist die nächste praktische Zeit (d. h. nach ausreichend verstrichener Zeit) zum Erhalten eines diskreten Bildbelichtungsinkrements zur Zeit T2, wenn die Fokusposition Z5 erreicht. Das diskrete Bildbelichtungsinkrement EI2 wird zur Inkrementzeit T2 erfasst, die ein Phasenzeitschema tz5 aufweist, das der gewünschten Fokusposition FP = Z5 entspricht. Die nächste praktische Zeit (d. h. nach ausreichend verstrichener Zeit) zum Erhalten eines diskreten Bildbelichtungsinkrements liegt ist zur Zeit T3. Das diskrete Bildbelichtungsinkrement EI3 wird zur Inkrementzeit T3 erfasst, die ein Phasenzeitschema tz8 aufweist, das der gewünschten Fokusposition FP = Z8 entspricht. Die Erfassung von diskreten Bildbelichtungsinkrementen EI wird analog bis zur Erfassung des diskreten Bildbelichtungsinkrements EI8 durchgeführt, das zur Inkrementzeit T8 erfasst wird, die ein Phasenzeitschema tz4 aufweist, das der gewünschten Fokusposition FP = Z4 entspricht. Bis zu diesem Punkt wurden diskrete Bildbelichtungsinkremente EI1 bis EI8 in jeder der gewünschten gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8 (als Teilsatz 810A‘ ausgewiesen) während der Bildintegrationszeit erfasst. Bei manchen Umsetzungen könnte die Bildintegrationszeit an diesem Punkt beendet werden. Bei dem im Schaubild 800A veranschaulichten Beispiel wird die Helligkeit und/oder das „Bildsignal“ der Vorab-EDOF-Bildbelichtung durch Wiederholen des vorherigen Erfassungsmusters zum Erhalten der diskreten Bildbelichtungsinkremente EI9 bis EI16 zu den Zeiten T9 bis T16, die jeder der gewünschten gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8 (aus Teilsatz 810" ausgewiesen) entsprechen, gestärkt. Die Bildintegrationszeit wird danach beendet. Es wird verstanden, dass dadurch eine gleichmäßige „Bildgewichtung“ für jede der Fokuspositionen Z1 bis Z8 während der gesamten Vorab-EDOF-Bildbelichtung aufrechterhalten wird, wobei Satz 810A von diskreten Bildbelichtungsinkrementen und/oder gleichmäßig beabstandeten Fokuspositionen umfasst ist.
  • Das erste Vorab-EDOF-Bild (z. B. seine Bilddaten, wie durch eine Digitalkamera oder dergleichen bereitgestellt), das wie oben ausgeführt belichtet wurde, kann verarbeitet werden, um unscharfe Bildbeiträge zu entfernen, die im Fokusbereich auftreten, während der Bildintegrationszeit, um ein Bild mit erweiterter Tiefenschärfe (EDOF) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Bei einer Umsetzung beispielsweise kann eine Verarbeitung des Vorab-EDOF-Bilds zum Entfernen von unscharfen Bildbeiträgen eine Entfaltungsverarbeitung dessen Bilddaten unter Verwendung einer vordefinierten Funktion umfassen, die das Bildgebungssystem charakterisiert (z. B. einer integrierten Punktspreizfunktion, die das Bildgebungssystem über einen Fokusbereich charakterisiert, der den gleichmäßig beabstandeten Fokuspositionen entspricht), um ein klareres EDOF-Bild bereitzustellen.
  • Bei dem Schaubild 800A wird jedes diskrete Bildbelichtungsinkrement EI erfasst, wenn sich die Fokusposition in die gleiche Richtung ändert. Bei manchen Umsetzungen werden genauer beabstandete und/oder wiederholbare Fokuspositionen bereitgestellt (im Vergleich zur Erfassung von Belichtungsinkrementen, während beider Fokuspositionsänderungsrichtungen, wie nachstehend unter Bezugnahme auf 8C beschrieben). Es sei angemerkt, dass in diesem Fall, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen eines benachbarten Paars (z. B. EI1 bei Z1) bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars (EI4 bei Z2) bereitstellt, so gesteuert wird, dass es eine Verzögerung in Bezug auf das erste gesteuerte Zeitschema aufweist, um das zweite gesteuerte Zeitschema so zu steuern, dass es nach N Umkehrungen der Richtung der Fokusposition auftritt, wobei N zumindest zwei ist.
  • Das Zeitschemaschaubild 800B ähnelt dem Zeitschemaschaubild 800A und ist im Allgemeinen analog zu verstehen, außer wenn nachstehend anderweitig indiziert. Im Schaubild 800B wird die Mehrzahl von diskreten Bildbelichtungsinkrementen EI1 bis EI8 jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt, der ein jeweiliges gesteuertes Zeitschema aufweist, das dessen diskrete Fokusposition FP (z. B. eine der gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8) definiert. Die jeweiligen gesteuerten Zeitschemata (wie z. B. durch ihre jeweiligen Inkrementzeitschemata T1 bis T8 dargestellt) werden über eine Mehrzahl von Perioden der periodisch modulierten Fokusposition MFP innerhalb der Bildintegrationszeit verteilt.
  • Um den Betrieb in Bezug auf das Schaubild 800B zu verdeutlichen, beginnt, während der periodisch modulierten Fokusposition MFP, die Kamerabildintegrationszeit im diskreten Bildbelichtungsinkrement EI1, das zu einer Inkrementzeit T1 erfasst wird, die ein Phasenzeitschema tz1 aufweist, das der gewünschten Fokusposition FP = Z1 entspricht. Die periodisch modulierte Fokusposition MFP setzt sich dann durch zwei Umkehrungen der Richtung der Fokuspositionsänderung während seiner periodischen Modulation nach der Inkrementzeit T1 fort. Sogar wenn die periodische Modulation eine sehr hohe Frequenz aufweist, kann es sodann praktisch sein, ein diskretes Bildbelichtungsinkrement EI2 zur Zeit T2 zu erhalten, das ein Phasenzeitschema tz2 aufweist, das der gewünschten Fokusposition FP = Z2 entspricht, die Z1 benachbart ist. Die Erfassung von diskreten Bildbelichtungsinkrementen EI wird analog bis zur Erfassung des diskreten Bildbelichtungsinkrements EI8 durchgeführt, das zur Inkrementzeit T8 erfasst wird, die ein Phasenzeitschema tz8 aufweist, das der gewünschten Fokusposition FP = Z8 entspricht. An diesem Punkt wurden diskrete Bildbelichtungsinkremente EI1 bis EI8 in jeder der gewünschten gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8 (die 810B bilden) während der Bildintegrationszeit erfasst. Bei diesem Beispiel wird die Bildintegrationszeit an diesem Punkt beendet. Es wird verstanden, dass dadurch eine gleichmäßige „Bildgewichtung“ für jede der Fokuspositionen Z1 bis Z8 während der gesamten Vorab-EDOF-Bildbelichtung aufrechterhalten wird, wobei Satz 810B von diskreten Bildbelichtungsinkrementen und/oder gleichmäßig beabstandeten Fokuspositionen umfasst ist.
  • Das Zeitschemaschaubild 800C ähnelt dem Zeitschemaschaubild 800A und ist im Allgemeinen analog zu verstehen, außer wenn nachstehend anderweitig indiziert. Im Schaubild 800C wird die Mehrzahl von diskreten Bildbelichtungsinkrementen EI1 bis EI16 jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt, der ein jeweiliges gesteuertes Zeitschema aufweist, das dessen diskrete Fokusposition FP (z. B. eine der gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8) definiert. Die jeweiligen gesteuerten Zeitschemata (wie z. B. durch ihre jeweiligen Inkrementzeitschemata T1 (= tz1), T2 (= tz4), T3 (= tz8), T4 (= tz7) und so weiter dargestellt, werden über eine Mehrzahl von Perioden der periodisch modulierten Fokusposition MFP innerhalb der Bildintegrationszeit verteilt.
  • Um den Betrieb in Bezug auf Schaubild 800C zu verdeutlichen, wird das diskrete Bildbelichtungsinkrement EI1 zur Inkrementzeit T1 erfasst, die ein Phasenzeitschema tz1 aufweist, das der gewünschten Fokusposition FP = Z1 entspricht. Die periodisch modulierte Fokusposition MFP setzt sich dann bei diesem Beispiel durch eine benachbarte Fokusposition Z2 und Position Z3 fort, wobei angenommen wird, dass es nicht praktisch ist, die Vorgänge, die zum Erhalten des nächsten diskreten Bildbelichtungsinkrements erforderlich sind, abzuschließen, bevor die Fokusposition Z3 erreicht hat. Im Gegensatz dazu ist die nächste praktische Zeit (d. h. nach ausreichend verstrichener Zeit) zum Erhalten eines diskreten Bildbelichtungsinkrements zur Zeit T2, wenn die Fokusposition Z4 erreicht. Das diskrete Bildbelichtungsinkrement EI2 wird zur Inkrementzeit T2 erfasst, die ein Phasenzeitschema tz4 aufweist, das der gewünschten Fokusposition FP = Z4 entspricht. Die nächste praktische Zeit (d. h. nach ausreichend verstrichener Zeit) zum Erhalten eines diskreten Bildbelichtungsinkrements liegt ist zur Zeit T3. Das diskrete Bildbelichtungsinkrement EI3 wird zur Inkrementzeit T3 erfasst, die ein Phasenzeitschema tz8 aufweist, das der gewünschten Fokusposition FP = Z8 entspricht. Die Fokusposition ändert sich langsam, während sie die Richtung umkehrt, nach Zeit T3 (= tz8), so dass die nächste praktische Zeit zum Erhalten eines diskreten Bildbelichtungsinkrements zur Zeit T4 ist, die ein Phasenzeitschema tz7 aufweist, das der gewünschten Fokusposition FP = Z7 entspricht. Es sei angemerkt, dass diese Fokusposition der Fokusposition Z8 des zuvor erfassten diskreten Bildbelichtungsinkrements benachbart liegt, nach nur einer Umkehrung (N = 1) der Richtung der Fokusänderung. Es sei angemerkt, dass N 1 ist, da diskrete Bildbelichtungsinkremente bei diesem Beispiel während beider Fokusänderungsrichtungen erfasst werden. Allgemeiner gesprochen sei angemerkt, dass bei diesem Beispiel, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen eines benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, nach einer diversen Anzahl von Umkehrungen der Richtung der Fokusposition auftreten kann (N reicht bei diesem Beispiel bei diversen benachbarten Paaren von 1 bis 4).
  • Bei dem in Schaubild 800C veranschaulichten Beispiel wird die Helligkeit und/oder das „Bildsignal“ der Vorab-EDOF-Bildbelichtung durch Wiederholen der diskreten Bildbelichtungsinkremente in jeder Fokusposition (jedoch beim zweiten Mal in einer anderen Reihenfolge) gestärkt. Die diskreten Bildbelichtungsinkremente EI1 bis EI8, die zu den Zeiten T1 bis T8 erhalten werden (in 8C als Teilsatz 810C’ ausgewiesen), entsprechen jeder der gewünschten gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8. Die diskreten Bildbelichtungsinkremente EI9 bis EI16 zu den Zeiten T9 bis T16 (in 8C als Teilsatz 810C“ ausgewiesen) stellen ein wiederholtes diskretes Bildbelichtungsinkrement bereit, das jeder der gewünschten gleichmäßig beabstandeten Fokuspositionen Z1 bis Z8 entspricht. Gemeinsam tragen die Teilsätze 810C‘ und 810C“ zur allgemeinen Vorab-EDOF-Bildbelichtung bei, wobei der Satz 810C von diskreten Bildbelichtungsinkrementen und/oder gleichmäßig beabstandeten Fokuspositionen umfasst ist. Das Muster oder die Wiederholung, das bzw. die hier (und im Schaubild 800A) veranschaulicht ist, ist nicht einschränkend. Allgemeiner gesprochen kann das Wiederholen der diskreten Bildbelichtungsinkremente in jeder Fokusposition bei diversen Ausführungsformen konfiguriert werden, wobei eine Mehrzahl von diskreten Bildbelichtungsinkrementen, die für ein Vorab-EDOF-Bild verwendet werden, zumindest eine erste Instanz und eine zweite Instanz eines diskreten Bildbelichtungsinkrements umfasst, das in jeder diskreten Fokusposition (bei manchen Umsetzungen z. B. jeder von zumindest 20 ungefähr gleichmäßig beabstandeten Fokuspositionen) während der Bildintegrationszeit erfasst wird. Die jeweiligen gesteuerten Zeitschemata, die zum Erfassen der ersten und der zweiten Instanz eines diskreten Bildbelichtungsinkrements in der gleichen diskreten Fokusposition verwendet werden, können so konfiguriert werden, dass ein gesteuertes Zeitschema, das für die zweite Instanz verwendet wird, eine Verzögerung in Bezug auf ein gesteuertes Zeitschema aufweist, das für die erste Instanz verwendet wird, und so gesteuert wird, dass es nach M Umkehrungen der Richtung der Fokuspositionsänderung während dessen periodischer Modulation nach dem gesteuerten Zeitschema, das für die erste Instanz verwendet wird, auftritt, wobei M zumindest eins ist.
  • Es wird verstanden, dass die vorstehenden Zeitschemaschaubildbeispiele lediglich beispielhaft und nicht einschränkend sind. Andere Zeitschemakonfigurationen und - kombinationen können auf Basis von oben veranschaulichten und beschriebenen Grundsätzen umgesetzt werden. Bei manchen Umsetzungen kann der Fokusbereich zumindest die 10-fache Tiefenschärfe als jene des Bildgebungssystems in einer einzelnen Fokusposition umspannen und sind die jeweiligen gesteuerten Zeitschemata so konfiguriert, dass sie einen Satz von zumindest 20 ungefähr gleich beabstandeten diskreten Fokuspositionen (z. B. Z1 bis Z20) während der Bildintegrationszeit bereitstellen. Bei manchen Umsetzungen können die zumindest 20 diskreten Fokuspositionen über zumindest 50 % des Fokusbereichs verteilt werden, um eine relativ große erweiterte Tiefenschärfe bereitzustellen. Bei manchen Umsetzungen können die zumindest 20 diskreten Fokuspositionen über zumindest 70% oder sogar 80 % des Fokusbereichs verteilt werden.
  • Bei manchen Umsetzungen können viel mehr diskrete Bildbelichtungsinkremente während einer einzelnen Periode der periodisch modulierten Fokusposition bereitgestellt werden. Bei anderen Umsetzungen, insbesondere jenen mit periodischen Hochfrequenzmodulationen der Fokusposition, könnten jedoch höchstens sechs diskrete Bildbelichtungsinkremente während einer einzelnen Periode der periodisch modulierten Fokusposition bereitgestellt werden.
  • Bei manchen Umsetzungen können die Vorgänge, die oben in Bezug auf beliebige der Schaubilder 800A bis 800C oder eine Kombination dieser ausgeführt sind, so ausgelegt sein, dass sie eine Mehrzahl von EDOF-Bildern bereitstellen, die über eine gesamte Tiefenschärfe im Wesentlichen fokussiert sind, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt, und die Mehrzahl von EDOF-Bildern kann in einem Live-Videoanzeigefenster angezeigt werden, das auf einer Anzeige bereitgestellt wird, die in einem Prüfsystem unter Verwendung von maschinellem Sehen umfasst ist.
  • Bei diversen Umsetzungen ist es derzeit praktischer, diskrete Bildbelichtungsinkremente unter Verwendung eines stroboskopischen Beleuchtungsquellenbetriebs bereitzustellen, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition dessen entsprechenden diskreten Bildbelichtungsinkrements definiert. Digitalkameras mit einer elektronischen „Shutter-Stroboskop“-Funktion, die zeitlich geplante Subbelichtungsinkremente innerhalb der gesamten Bildintegrationsperiode erzeugen können, sind jedoch zusehends verfügbar. Solche Kameras können die oben ausgeführten gesteuerten Zeitschemata bei manchen Umsetzungen unter Verwendung einer kontinuierlichen oder Umgebungsbeleuchtung bereitstellen.
  • Bei manchen Umsetzungen kann ein stroboskopischer Beleuchtungsquellenbetrieb in Kombination mit einer Beleuchtungsquelle verwendet werden, die mehrere Farbquellen umfasst. In einem solchen Fall kann ein axialer chromatischer Abbildungsfehler im Bildgebungssystem bewirken, dass diverse Farbquellen in unterschiedlichen Fokuspositionen fokussieren. In diesem Fall sei verstanden, dass ein jeweiliges oben ausgeführtes gesteuertes Zeitschema ein unterschiedliches Farbquellzeitschema für jede Farbquelle umfassen kann, was einen Zeitschemaversatz zwischen den Farbquellzeitschemata umfasst, der einen axialen chromatischen Abbildungsfehler im Bildgebungssystem ausgleicht, so dass jede der Farbquellen die gleiche diskrete Fokusposition bereitstellt.
  • Es wird verstanden, dass die oben unter Bezugnahme auf die Zeitschemaschaubilder 800A bis 800C beschriebenen Vorgänge in einem entsprechend konfigurierten EDOF-Bildgebungssystem umgesetzt werden können, das einem der in beliebigen der 2, 3 oder 5 gezeigten Bildgebungssysteme ähnelt, z. B. um ein Bild eines Werkstücks mit einer Tiefenschärfe bereitzustellen, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt.
  • 9 zeigt ein Zeitschemaschaubild 900, das gewisse Details zu einer beispielhaften Umsetzung eines gesteuerten Zeitschemas CT zeigt, das verwendet werden kann, um eine diskrete Fokusposition FP und gewisse andere Charakteristika zu definieren, die ein entsprechendes diskretes Bildbelichtungsinkrement EI zu ermitteln. Insbesondere kann das Steuerzeitschema in einem stroboskopischen Beleuchtungsquellenbetrieb oder einem stroboskopischen Kamera-Shutter-Betrieb umgesetzt werden, um die Fokusposition FP und gewisse andere Charakteristika eines entsprechenden diskreten Bildbelichtungsinkrements EI zu ermitteln. Das Zeitschemaschaubild 900 kann als ausführlichere Ansicht eines Abschnitts des Zeitschemaschaubilds 800A verstanden werden, das zwei repräsentative diskrete Bildbelichtungsinkremente EI1 und EI2 zeigt, und kann im Allgemeinen analog dazu verstanden werden. Weitere Grundsätze in Zusammenhang mit einer beispielhaften Umsetzung eines gesteuerten Zeitschemas CT werden jedoch beschrieben.
  • Bei der in 9 gezeigten Umsetzung umfasst jedes gesteuerte Zeitschema CTi eine jeweilige Inkrementzeit Ti und eine jeweilige Inkrementdauer Di, und eine jeweilige Inkrementbeleuchtungsintensität Li wird während der jeweiligen Inkrementdauer Di verwendet. Insbesondere umfasst das veranschaulichte gesteuerte Zeitschema CT1, das das Belichtungsinkrement EI1 ermittelt, eine Inkrementzeit T1 (wie zuvor unter Bezugnahme auf die 8A bis 8C beschrieben) und eine jeweilige Inkrementdauer D1 (z. B. eine zeitlich geplante stroboskopische Dauer). Das veranschaulichte gesteuerte Zeitschema CT2, das das Belichtungsinkrement EI2 ermittelt, umfasst gleichermaßen eine jeweilige Inkrementzeit T2 und eine Inkrementdauer D2. Es ist ersichtlich, dass jede Inkrementdauer so ausgelegt ist, dass sie eine zentrale oder durchschnittliche Inkrementzeit bereitstellt, die einer gewünschten Fokusposition entspricht. Beispielsweise ist die Inkrementdauer D1 so ausgelegt, dass sie die Inkrementzeit T1 (= tz1) bereitstellt, die der gewünschten Fokusposition FP1 (= Z1) entspricht, und ist die Inkrementdauer D2 so ausgelegt, dass sie die Inkrementzeit T2 (= tz5) bereitstellt, die der gewünschten Fokusposition FP2 (= Z5) entspricht. Bei diversen Umsetzungen wird eine jeweilige Inkrementbeleuchtungsintensität Li während einer jeweiligen Inkrementdauer Di verwendet und wird jedes diskrete Bildbelichtungsinkrement unter Verwendung einer Kombination seiner jeweiligen Inkrementbeleuchtungsintensität Li und seiner jeweiligen Inkrementdauer Di belichtet, so dass das Produkt (Li*Di) für jedes der diskreten Bildbelichtungsinkremente ungefähr gleich ist. Auch wenn dieser Aspekt der Umsetzung nicht strikt erforderlich ist, stellt er tendenziell eine gleiche „Gewichtung“ in einem Vorab-EDOF-Bild in jeder der gewünschten Fokuspositionen bereit, was bei manchen Umsetzungen vorteilhaft sein kann.
  • Die in 9 gezeigte Umsetzung umfasst auch einen Aspekt, wobei ein diskretes Bildbelichtungsinkrement (EI2), das einer Fokusposition (FP2) entspricht, die der Mitte des Fokusbereichs FR relativ näher ist, eine Kombination aus einer Inkrementdauer D2, die relativ kürzer ist, und einer Inkrementbeleuchtungsintensität (z. B. L2, nicht gezeigt), die relativ größer ist, umfasst, und ein diskretes Bildbelichtungsinkrement (EI1), das einer Fokusposition (FP1) entspricht, die von der Mitte des Fokusbereichs FR relativ weiter entfernt liegt, eine Kombination aus einer zweiten Inkrementdauer D1, die relativ länger ist, und einer zweiten Inkrementbeleuchtungsintensität (z. B. L1, nicht gezeigt), die relativ kleiner ist, umfasst. Bei diversen Umsetzungen, bei denen die periodisch modulierten Fokusposition sich als Funktion der Zeit ungefähr sinusförmig ändert, ist es möglich, dass das Produkt (Li x Di) für jedes der diskreten Bildbelichtungsinkremente ungefähr gleich ist, während es gleichzeitig möglich ist, dass jede jeweilige Inkrementdauer so gesteuert wird, dass während jeder Inkrementdauer ungefähr der gleiche Betrag einer Fokuspositionsänderung ΔFP bereitgestellt wird. Beispielsweise ist aus 9 ersichtlich, dass dadurch ΔFP1 = ΔFP2 möglich ist, auch wenn die Rate der Fokusänderung sich aufgrund der sinusförmigen Fokusmodulation für jedes Belichtungsinkrement unterscheidet. Auch wenn dieser Aspekt der Umsetzung auch nicht strikt erforderlich ist, stellt er tendenziell einen weiteren Aspekt der gleichen „Gewichtung“ in einem Vorab-EDOF-Bild in jeder der gewünschten Fokuspositionen bereit, was bei manchen Umsetzungen vorteilhaft sein kann.
  • 10 ist ein Ablaufplan 1000, der eine Ausführungsform eines Verfahrens zum Betreiben eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen zeigt, um zumindest ein EDOF-Bild mit einer Tiefenschärfe bereitzustellen, die größer als jene ist, die Bildgebungssystem in einer einzelnen Fokusposition aufweist. Das Verfahren umfasst das Belichten eines Vorab-EDOF-Bilds unter Verwendung einer Bildbelichtung, die eine Mehrzahl von einzelnen Bildbelichtungsinkrementen umfasst, gemäß hierin offenbarten Grundsätzen.
  • Bei Block 1010 wird ein Werkstück in einem Sichtfeld des Prüfsystems unter Verwendung von maschinellem Sehen platziert.
  • Bei Block 1020 wird eine Fokusposition eines Bildgebungssystems mit variabler Brennweite periodisch moduliert, ohne makroskopische Anpassung der Beabstandung zwischen Elementen im Bildgebungssystem, wobei die Fokusposition über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Modulationsfrequenz von zumindest 3 kHz periodisch moduliert wird.
  • Bei Block 1030 wird ein erstes Vorabbild unter Verwendung einer Bildbelichtung belichtet, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, die in jeweiligen diskreten Fokuspositionen während einer Bildintegrationszeit erfasst werden, die eine Mehrzahl von Perioden der periodisch modulierten Fokusposition umfasst, wobei:
    • die Mehrzahl von diskreten Bildbelichtungsinkrementen jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt werden, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition des entsprechenden diskreten Bildbelichtungsinkrements definiert;
    • die jeweiligen gesteuerten Zeitschemata über die Mehrzahl von Perioden der periodisch modulierten Fokusposition verteilt und so konfiguriert sind, dass sie einen Satz von diskreten Fokuspositionen bereitstellen, die entlang der Fokusachsenrichtung ungefähr gleichmäßig beabstandet sind; und
    • die jeweiligen gesteuerten Zeitschemata ferner so konfiguriert sind, dass für eine Mehrzahl von benachbarten Paaren von diskreten Fokuspositionen im Satz, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen des benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, so gesteuert wird, dass es gegenüber dem ersten gesteuerten Zeitschema eine Verzögerung aufweist, so dass das zweite gesteuerte Zeitschema so gesteuert wird, dass es nach N Umkehrungen der Richtung der Änderung der Fokusposition während der periodischen Modulation dieser nach dem ersten gesteuerten Zeitschema auftritt, wobei N zumindest 1 ist.
  • Bei Block 1040 wird das erste Vorabbild verarbeitet, um unscharfe Bildbeiträge zu entfernen, die während der Bildintegrationszeit im Fokusbereich auftreten, um ein Bild mit erweiterter Tiefenschärfe (EDOF) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt. Beispielsweise kann eine solche Verarbeitung das Durchführen von Entfaltungsvorgängen unter Verwendung eines Weichzeichnungskerns umfassen, der das Bildgebungssystem in dessen gesamten Fokusbereich charakterisiert (z. B. und integrierte Punktspreizfunktion), wie hierin zuvor erörtert.
  • Auch wenn diverse Ausführungsformen der Erfindung veranschaulicht und beschrieben wurden, sind für den Fachmann auf Basis dieser Offenbarung zahlreiche Variationen der veranschaulichten und beschriebenen Anordnungen von Merkmalen und Sequenzen von Vorgängen offensichtlich. Somit wird verstanden, dass diverse Änderungen daran vorgenommen werden können, ohne sich vom Geist und Umfang der Erfindung zu entfernen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 6542180 [0003]
    • US 7454053 [0018]
    • US 7324682 [0018]
    • US 8111905 [0018]
    • US 8111938 [0018]
    • US 8194307 [0061]
    • US 9143674 [0061]
    • WO 2009120718 A1 [0062]
  • Zitierte Nicht-Patentliteratur
    • „Flexible Depth of Field Photography“, Proceedings of the European Conference on Computer Vision, Oktober 2008 [0006]

Claims (11)

  1. Verfahren zum Betreiben eines Bildgebungssystems eines Prüfsystems unter Verwendung von maschinellem Sehen, um zumindest ein Bild mit einer Tiefenschärfe bereitzustellen, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition aufweist, wobei das Verfahren umfasst: (a) Platzieren eines Werkstücks in einem Sichtfeld des Prüfsystems unter Verwendung von maschinellem Sehen; (b) periodisches Modulieren einer Fokusposition eines Bildgebungssystems ohne makroskopische Anpassung der Beabstandung zwischen Elementen im Bildgebungssystem, wobei die Fokusposition über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Modulationsfrequenz von zumindest 3 kHz periodisch moduliert wird; (c) Belichten eines ersten Vorabbilds unter Verwendung einer Bildbelichtung, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, die in jeweiligen diskreten Fokuspositionen während einer Bildintegrationszeit erfasst werden, die eine Mehrzahl von Perioden der periodisch modulierten Fokusposition umfasst, wobei: die Mehrzahl von diskreten Bildbelichtungsinkrementen jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt werden, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition des entsprechenden diskreten Bildbelichtungsinkrements definiert; die jeweiligen gesteuerten Zeitschemata über die Mehrzahl von Perioden der periodisch modulierten Fokusposition verteilt und so konfiguriert sind, dass sie einen Satz von diskreten Fokuspositionen bereitstellen, die entlang der Fokusachsenrichtung ungefähr gleichmäßig beabstandet sind; und die jeweiligen gesteuerten Zeitschemata ferner so konfiguriert sind, dass für eine Mehrzahl von benachbarten Paaren von diskreten Fokuspositionen im Satz, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen des benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, so gesteuert wird, dass es gegenüber dem ersten gesteuerten Zeitschema eine Verzögerung aufweist, so dass das zweite gesteuerte Zeitschema so gesteuert wird, dass es nach N Umkehrungen der Richtung der Änderung der Fokusposition während der periodischen Modulation dieser nach dem ersten gesteuerten Zeitschema auftritt, wobei N zumindest 1 ist;6 und (d) Verarbeiten des ersten Vorabbilds, um unscharfe Bildbeiträge zu entfernen, die während der Bildintegrationszeit im Fokusbereich auftreten, um ein Bild mit erweiterter Tiefenschärfe (EDOF) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt.
  2. Verfahren nach Anspruch 1, wobei jedes diskrete Bildbelichtungsinkrement in Schritt (c) durch eine jeweilige Instanz des stroboskopischen Beleuchtungsquellenbetriebs ermittelt wird.
  3. Verfahren nach Anspruch 1, wobei jedes „i-te“ jeweilige gesteuerte Zeitschema eine jeweilige Inkrementzeit Ti und eine jeweilige Inkrementdauer Di umfasst, und eine jeweilige Inkrementbeleuchtungsintensität Li während der jeweiligen Inkrementdauer Di verwendet wird und jedes diskrete Bildbelichtungsinkrement des ersten Vorabbilds unter Verwendung einer Kombination seiner jeweiligen Inkrementbeleuchtungsintensität Li und seiner jeweiligen Inkrementdauer Di belichtet wird, so dass das Produkt (Li*Di) für jedes der diskreten Bildbelichtungsinkremente ungefähr gleich ist.
  4. Verfahren nach Anspruch 3, wobei sich die periodisch modulierte Fokusposition als Funktion der Zeit ungefähr sinusförmig ändert und ein diskretes Bildbelichtungsinkrement, das einer ersten Fokusposition entspricht, die der Mitte des Fokusbereichs relativ näher ist, eine Kombination aus einer ersten Inkrementdauer Di, die relativ kürzer ist, und einer ersten Inkrementbeleuchtungsintensität Li, die relativ größer ist, umfasst, und ein diskretes Bildbelichtungsinkrement, das einer zweiten Fokusposition entspricht, die von der Mitte des Fokusbereichs relativ weiter entfernt liegt, eine Kombination aus einer zweiten Inkrementdauer Di, die relativ länger ist, und einer zweiten Inkrementbeleuchtungsintensität Li, die relativ kleiner ist, umfasst, und die erste Inkrementdauer und die zweite Inkrementdauer so gesteuert werden, dass während der ersten Inkrementdauer und der zweiten Inkrementdauer ungefähr der gleiche Betrag einer Fokuspositionsänderung bereitgestellt wird.
  5. Verfahren nach Anspruch 1, wobei: der Fokusbereich zumindest die 10-fache Tiefenschärfe als jene des Bildgebungssystems, wenn in einer einzelnen Fokusposition, umspannt und die jeweiligen gesteuerten Zeitschemata so konfiguriert sind, dass sie einen Satz von zumindest 20 diskreten Fokuspositionen bereitstellen, die über zumindest 50 % des Fokusbereichs verteilt sind, während der Bildintegrationszeit; und das Bildgebungssystem eine Linse mit abstimmbarem akustischem Gradientenbrechungsindex (TAG) umfasst, die so konfiguriert ist, dass sie die Fokusposition des Bildgebungssystems periodisch moduliert, ohne die Beabstandung zwischen Elementen im Bildgebungssystem makroskopisch anzupassen; die Modulationsfrequenz zumindest 30 kHz beträgt; und höchstens sechs diskrete Bildbelichtungsinkremente während einer einzelnen Periode der periodisch modulierten Fokusposition bereitgestellt werden.
  6. Verfahren nach Anspruch 5, wobei: die erste Mehrzahl von diskreten Bildbelichtungsinkrementen, die für das erste Vorabbild verwendet werden, zumindest eine erste Instanz und eine zweite Instanz eines diskreten Bildbelichtungsinkrements umfassen, wie in jeder der zumindest 20 diskreten Fokuspositionen erfasst, während der Bildintegrationszeit, und die jeweiligen gesteuerten Zeitschemata, die zum Erfassen der ersten und der zweiten Instanz eines diskreten Bildbelichtungsinkrements in der gleichen diskreten Fokusposition verwendet werden, so konfiguriert sind, dass ein gesteuertes Zeitschema, das für die zweite Instanz verwendet wird, eine Verzögerung in Bezug auf ein gesteuertes Zeitschema aufweist, das für die erste Instanz verwendet wird, und so gesteuert wird, dass es nach M Umkehrungen der Richtung der Änderung der Fokusposition während dessen periodischer Modulation nach dem gesteuerten Zeitschema, das für die erste Instanz verwendet wird, auftritt, wobei M zumindest eins ist.
  7. Verfahren nach Anspruch 1, wobei das Verarbeiten des ersten Vorabbilds zum Entfernen von unscharfen Bildbeiträgen eine Entfaltungsverarbeitung von Bilddaten, die dem ersten Vorabbild entsprechen, unter Verwendung einer vordefinierten Funktion umfasst, die das Bildgebungssystem charakterisiert, um das EDOF-Bild bereitzustellen.
  8. Verfahren nach Anspruch 1, wobei: das Bildgebungssystem eine Linse mit variabler Brennweite umfasst und das periodische Modulieren einer Fokusposition des Bildgebungssystems das Modulieren einer Fokusposition der Linse mit variabler Brennweite umfasst und das Bildgebungssystem ferner ein optisches Filter umfasst, das so ausgelegt ist, dass es Vorabbildlicht aus der Linse mit variabler Brennweite empfängt und räumlich filtert; und das Verarbeiten des ersten Vorabbilds in Schritt (d) zum Entfernen von unscharfen Bildbeiträgen das räumliche Filtern des Vorabbildlichts unter Verwendung des optischen Filters umfasst, um das EDOF-Bild auf Basis von Licht bereitzustellen, das vom optischen Filter ausgegeben wird.
  9. Verfahren nach Anspruch 1, das ferner umfasst: Wiederholen der Schritte (c) und (d), um eine Mehrzahl von EDOF-Bildern bereitzustellen, die über eine gesamte Tiefenschärfe im Wesentlichen fokussiert sind, die größere als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt, und Anzeigen der Mehrzahl von EDOF-Bildern des Werkstücks in einem Live-Videoanzeigefenster, das auf einer Anzeige bereitgestellt wird, die im Prüfsystem unter Verwendung von maschinellem Sehen umfasst ist.
  10. Verfahren nach Anspruch 1, wobei die Beleuchtungsquelle mehrere Farbquellen umfasst und das jeweilige gesteuerte Zeitschema ein unterschiedliches Farbquellzeitschema für jede Farbquelle umfasst, was einen Zeitschemaversatz zwischen den Farbquellzeitschemata umfasst, der einen axialen chromatischen Abbildungsfehler im Bildgebungssystem ausgleicht, so dass jede der Farbquellen die gleiche diskrete Fokusposition bereitstellt.
  11. Bildgebungssystem zum Bereitstellen zumindest eines Bilds eines Werkstücks mit einer Tiefenschärfe, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt, wobei das Bildgebungssystem umfasst: eine Objektivlinse, eine Linse mit variabler Brennweite und abstimmbarem akustischem Gradientenbrechungsindex (TAG) und eine Kamera, zumindest eines von einer steuerbaren stroboskopischen Beleuchtungslichtquelle oder eines schnellen Kamera-Shutters, während einer Bildintegrationszeit innerhalb der Kamera betreibbar; und ein Steuersystem, das so konfiguriert ist, dass es die Kamera und die stroboskopische Beleuchtungslichtquelle, falls vorhanden, steuert und es die TAG-Linse so steuert, dass sie die Fokusposition des Bildgebungssystems periodisch moduliert, ohne die Beabstandung zwischen Elementen im Bildgebungssystem makroskopisch anzupassen, wobei das Steuersystem ferner konfiguriert ist zum: (a) Steuern der TAG-Linse, so dass diese die Fokusposition über eine Mehrzahl von Fokuspositionen entlang einer Fokusachsenrichtung in einem Fokusbereich, der eine Oberflächenhöhe des Werkstücks umfasst, in einer Modulationsfrequenz von zumindest 30 kHz periodisch moduliert; (b) Betreiben des Bildgebungssystems, so dass dieses ein erstes Vorabbild unter Verwendung einer Bildbelichtung belichtet, die eine Mehrzahl von diskreten Bildbelichtungsinkrementen umfasst, die in jeweiligen diskreten Fokuspositionen während einer Bildintegrationszeit erfasst werden, die eine Mehrzahl von Perioden der periodisch modulierten Fokusposition umfasst, wobei: die Mehrzahl von diskreten Bildbelichtungsinkrementen jeweils durch eine jeweilige Instanz eines stroboskopischen Beleuchtungsquellenbetriebs oder eines stroboskopischen Kamera-Shutter-Betriebs ermittelt werden, der ein jeweiliges gesteuertes Zeitschema aufweist, das die diskrete Fokusposition des entsprechenden diskreten Bildbelichtungsinkrements definiert; die jeweiligen gesteuerten Zeitschemata über die Mehrzahl von Perioden der periodisch modulierten Fokusposition verteilt und so konfiguriert sind, dass sie einen Satz von diskreten Fokuspositionen bereitstellen, die entlang der Fokusachsenrichtung ungefähr gleichmäßig beabstandet sind, und die jeweiligen gesteuerten Zeitschemata ferner so konfiguriert sind, dass für eine Mehrzahl von benachbarten Paaren von diskreten Fokuspositionen im Satz, wenn ein erstes gesteuertes Zeitschema einen Satz von ersten diskreten Fokuspositionen des benachbarten Paars bereitstellt, ein zweites gesteuertes Zeitschema, das eine zweite diskrete Fokusposition des benachbarten Paars bereitstellt, so gesteuert wird, dass es gegenüber dem ersten gesteuerten Zeitschema eine Verzögerung aufweist, so dass das zweite gesteuerte Zeitschema so gesteuert wird, dass es nach N Umkehrungen der Änderungsrichtung der Fokusposition während der periodischen Modulation dieser nach dem ersten gesteuerten Zeitschema auftritt, wobei N zumindest 1; und (c) Verarbeiten des ersten Vorabbilds, um unscharfe Bildbeiträge zu entfernen, die während der Bildintegrationszeit im Fokusbereich auftreten, um ein Bild mit erweiterter Tiefenschärfe (EDOF) bereitzustellen, das über eine gesamte Tiefenschärfe im Wesentlichen fokussiert ist, die größer als jene ist, die das Bildgebungssystem in einer einzelnen Fokusposition bereitstellt.
DE102017220101.0A 2016-11-23 2017-11-10 Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe Pending DE102017220101A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/360,671 2016-11-23
US15/360,671 US10178321B2 (en) 2013-11-27 2016-11-23 Machine vision inspection system and method for obtaining an image with an extended depth of field

Publications (1)

Publication Number Publication Date
DE102017220101A1 true DE102017220101A1 (de) 2018-05-24

Family

ID=62069161

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017220101.0A Pending DE102017220101A1 (de) 2016-11-23 2017-11-10 Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe

Country Status (3)

Country Link
JP (1) JP7075744B2 (de)
CN (1) CN108088424B (de)
DE (1) DE102017220101A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254382B (zh) * 2018-10-12 2021-11-26 南通大学 基于机器视觉的螺纹检测自动对焦方法
US10812701B2 (en) * 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
CN109633885A (zh) * 2019-01-29 2019-04-16 清华大学 基于波前聚焦的梯度折射率透镜显微成像系统及方法
CN114271031A (zh) * 2019-08-30 2022-04-01 株式会社三丰 用于高速计量成像的快速高功率脉冲式光源系统
EP4063951A4 (de) 2019-11-26 2024-01-10 Univ Shizuoka Nat Univ Corp Bildgebungsvorrichtung
JP7343376B2 (ja) * 2019-12-04 2023-09-12 株式会社ミツトヨ レーザ加工装置
US10880468B1 (en) * 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11428894B2 (en) * 2020-02-04 2022-08-30 Hand Held Products, Inc. Discrete variable focus assemblies and apparatuses
KR102323136B1 (ko) * 2021-01-07 2021-11-10 주식회사 오엠에스 플로우스캔 방식을 적용한 3d edof 스캐닝 장치
KR102481722B1 (ko) * 2021-02-25 2022-12-26 배철환 공칭 검사용 텔레센트릭 광학 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
WO2009120718A1 (en) 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8194307B2 (en) 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170559B2 (en) * 1999-02-25 2007-01-30 Olympus Corporation Image pickup apparatus having a beam limiting member
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7905414B2 (en) 2007-12-27 2011-03-15 Symbol Technologies, Inc. Imaging reader with adaptive focusing for electro-optically reading symbols
JP2009168964A (ja) 2008-01-15 2009-07-30 Nikon Corp 共焦点顕微鏡
JP5900049B2 (ja) * 2011-12-07 2016-04-06 富士通株式会社 被写界深度拡張システム及び被写界深度拡張方法
US9726876B2 (en) 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
CN106060358B (zh) * 2016-07-20 2021-12-03 成都微晶景泰科技有限公司 场景连续分析方法、设备及成像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US8194307B2 (en) 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
WO2009120718A1 (en) 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
„Flexible Depth of Field Photography", Proceedings of the European Conference on Computer Vision, Oktober 2008

Also Published As

Publication number Publication date
CN108088424B (zh) 2020-09-15
JP7075744B2 (ja) 2022-05-26
CN108088424A (zh) 2018-05-29
JP2018084821A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
DE102017220101A1 (de) Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
DE102014223387A1 (de) Bildverarbeitungs-Inspektionssystem und Verfahren zum Erhalten eines Bilds mit erweiterter Schärfentiefe
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
DE102016213122A1 (de) Mehrstufige Bildschärfe unter Verwendung einer abstimmbaren Linse in einem maschinellen Sichtinspektionssystem
US10178321B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
DE102017207176A1 (de) Autofokussystem für eine mit Hochgeschwindigkeit periodisch modulierte Linse mit variabler Brennweite
DE102016212427A1 (de) Anpassbare Betriebsfrequenz einer Linse mit variabler Brennweite in einem optischen System mit einstellbarer Vergrößerung
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102017207187A1 (de) Phasendifferenz-Kalibrierung in einem Linsensystem mit variabler Brennweite
DE102017207179A1 (de) Bildgebungssystem mit variabler Brennweite
DE102014209471A1 (de) Strukturierte Beleuchtungsprojektion mit verbesserter Belichtungssteuerung
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
DE102009029478A1 (de) System und Verfahren für einen schnellen ungefähren Fokus
EP3186672A2 (de) Phasenkontrast-bildgebung
DE102017220106A1 (de) Erweitern eines fokussuchbereichs in einem bildgebungssystem mit einer linse mit einer mit hochgeschwindigkeit variablen brennweite
WO2019238518A2 (de) Materialprüfung von optischen prüflingen
DE102012211462A1 (de) Verfahren zur Vorbereitung und Durchführung der Aufnahme von Bildstapeln einer Probe aus verschiedenen Orientierungswinkeln
EP3452858B1 (de) Artefaktreduktion bei der winkelselektiven beleuchtung
DE102014211657A1 (de) Verbesserung der Reproduzierbarkeit der Fokushöhe in einem Bildverarbeitungs-Inspektionssystem
DE102016202928A1 (de) Verbessertes Autofokusverfahren für ein Koordinatenmessgerät
DE102019203963A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und bildverarbeitungsmessvorrichtung
DE102019132174A1 (de) Tag-Linsen-unterstützte Hochgeschwindigkeits-3D-Metrologie und Bildgebung mit erweitertem Tiefenschärfenbereich
DE102017122636A1 (de) Verfahren und Vorrichtungen zum Entwerfen optischer Systeme
DE102017100262A1 (de) Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop und digitales Mikroskop
DE112014006672T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000