DE112021001751T5 - Intelligentes verfahren zur verfolgung eines fokus in maschinellen sichtanwendungen - Google Patents

Intelligentes verfahren zur verfolgung eines fokus in maschinellen sichtanwendungen Download PDF

Info

Publication number
DE112021001751T5
DE112021001751T5 DE112021001751.9T DE112021001751T DE112021001751T5 DE 112021001751 T5 DE112021001751 T5 DE 112021001751T5 DE 112021001751 T DE112021001751 T DE 112021001751T DE 112021001751 T5 DE112021001751 T5 DE 112021001751T5
Authority
DE
Germany
Prior art keywords
focus
focus position
lens
lens assembly
compensated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021001751.9T
Other languages
English (en)
Inventor
Igor Vinogradov
David D. Landron
Christopher W. Brock
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of DE112021001751T5 publication Critical patent/DE112021001751T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00Testing correct operation of photographic apparatus or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

Es werden Verfahren und Systeme zur Verfolgung eines Fokus eines einstellbaren linsenbasierten Bildgebungssystems mit variablem Fokus offenbart. Ein Beispielverfahren umfasst die Identifizierung einer anfänglichen Fokusposition einer einstellbaren Linsenbaugruppe mit variablem Fokus und die Bestimmung von Fokussierungsparametern, die dieser Fokusposition entsprechen. Die Fokussierungsparameter werden mit einem Linsenverhaltensmodell verglichen, und eine neue, kompensierte Fokusposition der Linsenbaugruppe wird bestimmt, um Änderungen der Linsenbaugruppenleistung zu korrigieren. Ein kleiner Fensterfokussierungsbereich zwischen einer vorderen und hinteren Position kann ebenfalls auf der Grundlage des Linsenverhaltensmodells eingestellt werden, um die kompensierte Fokusposition besser zu bestimmen.

Description

  • HINTERGRUND
  • Beim maschinellen Sehen („machine vision“) handelt es sich um eine automatisierte bildgestützte Inspektion und Analyse für Anwendungen wie die Teileinspektion, die Prozesssteuerung und die Roboterführung. Bei typischen maschinellen Sichtsystemen ist der Fokussierungsabstand eines Bildgebungssystems fest. Falls erforderlich, muss der Fokus manuell auf eine bestimmte Entfernung eingestellt werden, um ein bestimmtes Objekt zu fokussieren. Die manuelle Fokussierung erfordert jedoch einen externen Computer und ein Display für den Bediener. Ein Autofokussystem kann zwar einige der Einschränkungen der manuellen Fokussierung abmildern, doch sind Autofokussysteme in der Regel langsam und können in einem sich bewegenden System wie einem Förderband nicht effektiv eingesetzt werden. Bei Vorhandensein mehrerer Objekte innerhalb des Sichtfelds (FOV) eines Bildgebers kann ein Autofokus-Algorithmus ein falsches Objekt zum Fokussieren auswählen, was zu einem unscharfen Bild des beabsichtigten Objekts von Interesse führen kann.
  • Einige haben Flüssigkeitslinsen vorgeschlagen, um die Autofokussierung zu beschleunigen. Flüssigkeitslinsen werfen jedoch eine ganze Reihe neuer Probleme auf. Insbesondere weicht der Fokus einer Flüssigkeitslinse im Laufe der Zeit aufgrund von Alterung und Temperaturschwankungen von seiner gehaltenen Position ab. In Verbindung mit den längeren Verzögerungen bei der Refokussierung (30-40 ms für einen vollständigen Durchlauf) und der Tatsache, dass es keine Rückmeldung gibt, stellt die Verwendung einer Flüssigkeitslinse in der festen Bildgebung eine besondere Herausforderung dar. Einige haben vorgeschlagen, die Flüssigkeitslinse in einem engen, reduzierten Temperaturbereich oder unterhalb eines maximalen Temperaturbereichs zu betreiben. Andere nehmen diese Fokusabweichungsfehler als unlösbar hin und weisen ihre Kunden lediglich auf die wahrscheinliche Gefahr von Leistungsfehlern hin. Dementsprechend besteht ein Bedarf an Lösungen, die die Alterung einer Flüssigkeitslinse und die Abweichung der Flüssigkeitslinse über die Zeit und über die Temperatur verfolgen und kompensieren.
  • BESCHREIBUNG
  • In einer Ausführungsform ist die vorliegende Erfindung ein computerimplementiertes Verfahren zum Verfolgen eines Fokus eines auf einer einstellbaren Linse mit variablem Fokus basierenden Bildgebungssystems, wobei das Verfahren umfasst: Identifizieren einer anfänglichen festen Fokusposition einer einstellbaren Linsenbaugruppe mit variablem Fokus des Bildgebungssystems in dem Bildgebungssystem zum Erfassen eines Bildes eines Objekts; Bestimmen eines oder mehrerer Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus für die anfängliche feste Fokusposition und Vergleichen des einen oder der mehreren Fokussierungsparameter mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus; Bestimmen einer kompensierten festen Fokusposition des Bildgebungssystems auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell; und Erfassen mindestens eines Bildes des Objekts an der kompensierten festen Fokusposition über das Bildgebungssystem.
  • Gemäß einem Beispiel wird ein Verfahren zum Verfolgen eines Fokus eines auf einer einstellbaren Linse mit variablem Fokus basierenden Bildgebungssystems bereitgestellt. Das Verfahren umfasst das Identifizieren einer anfänglichen festen Fokusposition einer einstellbaren Linsenbaugruppe mit variablem Fokus des Bildgebungssystems in dem Bildgebungssystem zum Erfassen eines Bildes eines Objekts; und das Bestimmen eines oder mehrerer Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus für die anfängliche feste Fokusposition und das Vergleichen des einen oder der mehreren Fokussierungsparameter mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus. Das Verfahren umfasst ferner das Bestimmen einer kompensierten festen Fokusposition des Bildgebungssystems auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell; und das Erfassen mindestens eines Bildes des Objekts an der kompensierten festen Fokusposition über das Bildgebungssystem.
  • In einigen Beispielen umfasst der eine oder die mehreren Fokussierungsparameter mindestens eines von Zeit, aktueller Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, einer Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, einer der anfänglichen festen Fokusposition zugeordneten Spannung, einem der anfänglichen festen Fokusposition zugeordneten Spannungsverlauf und einer Modulationsübertragungsfunktion mindestens eines Teils eines Bildes, das vom Bildgebungssystem an der anfänglichen festen Fokusposition erfasst wurde.
  • In einigen Beispielen wird die kompensierte feste Fokusposition des Bildgebungssystems auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell bestimmt, indem ein Fokussierungsdurchlaufbereich identifiziert wird, der durch eine vordere Fokusposition vor der anfänglichen festen Fokusposition und eine hintere Fokusposition hinter der anfänglichen festen Fokusposition definiert ist; Bestimmen einer kompensierten vorderen Fokusposition und einer kompensierten hinteren Fokusposition auf der Grundlage des Vergleichs mit dem Linsenalterungsmodell; Erfassen einer Vielzahl von Bildern des Objekts über das Bildgebungssystem an Fokuspositionen bei und/oder zwischen der kompensierten vorderen Fokusposition und der kompensierten hinteren Fokusposition; und Bestimmen der kompensierten festen Fokusposition als eine der Fokuspositionen.
  • In einigen Beispielen ist die anfängliche feste Fokusposition einer anfänglichen Referenzspannung zugeordnet, und das Bestimmen der kompensierten festen Fokusposition des Bildgebungssystems umfasst: auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell die Bestimmung einer vorderen Fokuspositionsspannung und einer hinteren Fokuspositionsspannung; das Erfassen einer Vielzahl von Bildern des Objekts an verschiedenen Fokuspositionen über das Bildgebungssystem durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung; und das Bestimmen der kompensierten festen Fokusposition als eine der verschiedenen Fokuspositionen.
  • In einigen Beispielen ist die anfängliche feste Fokusposition einer anfänglichen Referenzspannung zugeordnet, und das Bestimmen der kompensierten festen Fokusposition des Bildgebungssystems umfasst: Identifizieren eines Fokussierungsdurchlaufspannungsbereichs, der durch eine vordere Fokuspositionsspannung, die einer vorderen Fokusposition vor der anfänglichen festen Fokusposition entspricht, und durch eine hintere Fokuspositionsspannung, die einer hinteren Fokusposition hinter der anfänglichen festen Fokusposition entspricht, definiert ist; Bestimmen einer kompensierten vorderen Fokuspositionsspannung und einer kompensierten hinteren Fokuspositionsspannung auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell; Erfassen einer Vielzahl von Bildern des Objekts bei verschiedenen Fokuspositionen über das Bildgebungssystem durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung, wobei die verschiedenen Fokuspositionen zwischen +1 Dioptrie und -1 Dioptrie einer mittleren Fokusposition liegen; und Bestimmen der kompensierten festen Fokusposition als eine der verschiedenen Fokuspositionen.
  • In einigen Beispielen umfasst das Linsenverhaltensmodell zeitbasierte Kompensationsdaten, temperaturbasierte Kompensationsdaten, dioptrienbasierte Kompensationsdaten, spannungsbasierte Kompensationsdaten, spannungsdurchlaufbasierte Kompensationsdaten und/oder modulationsübertragungsfunktionsbasierte Kompensationsdaten.
  • In einigen Beispielen umfasst die einstellbare Linsenbaugruppe mit variablem Fokus eine Flüssigkeitslinse.
  • In einigen Beispielen ist das Linsenverhaltensmodell ein Alterungsmodell, das historische Daten für einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus enthält.
  • In einigen Beispielen ist das Linsenverhaltensmodell ein thermisches Modell, das thermische Daten für einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus enthält.
  • In einigen Beispielen ist das Linsenverhaltensmodell ein Abweichungsmodell, das Linsenabweichungsdaten für einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus enthält.
  • In einigen Beispielen umfasst das Vergleichen des einen oder der mehreren Fokussierungsparameter mit dem Linsenverhaltensmodell: Erfassen einer Vielzahl von Bildern des Objekts und Identifizieren eines Merkmals von Interesse in der Vielzahl von Bildern; Bestimmen einer Kontrast- oder Modulationsübertragungsfunktion, die dem Merkmal von Interesse für jedes der Vielzahl von Bildern entspricht; Bestimmen einer Änderung des Kontrasts oder der Modulationsübertragungsfunktion zwischen der Vielzahl von Bildern; und Vergleichen der Änderung des Kontrasts oder der Modulationsübertragungsfunktion mit dem Linsenverhaltensmodell und Bestimmen einer Änderung des einen oder der mehreren Fokussierungsparameter, die der Änderung des Kontrasts oder der Modulationsübertragungsfunktion entspricht.
  • Gemäß einem anderen Beispiel enthält ein Bildgebungssystem: eine Bildgebungsbaugruppe mit einer einstellbaren Linsenbaugruppe mit variablem Fokus; einen oder mehrere Prozessoren; und einen nicht-transitorischen, maschinenlesbaren Speicher, der maschinenlesbare Anweisungen speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: eine anfängliche feste Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus zu identifizieren, zum Erfassen eines Bildes eines Objekts; Bestimmen eines oder mehrerer Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus für die anfängliche feste Fokusposition und Vergleichen des einen oder der mehreren Fokussierungsparameter mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus; Bestimmen einer kompensierten festen Fokusposition des Bildgebungssystems auf der Grundlage des Vergleichs mit dem Linsenverhaltensmodell; und Erfassen mindestens eines Bildes des Objekts an der kompensierten festen Fokusposition.
  • In einigen Beispielen ist die Bildgebungsbaugruppe ein Strichcodeleser. In einigen Beispielen handelt es sich bei der Bildgebungsbaugruppe um ein maschinelles Sichtsystem („machine vision system“).
  • Gemäß einem anderen Beispiel beinhaltet ein maschinelles Sichtverfahren: Identifizieren, in einem maschinellen Sichtsystem mit einer einstellbaren Linsenbaugruppe mit variablem Fokus, einer oder mehrerer aktueller Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus, wobei die einstellbare Linsenbaugruppe mit variablem Fokus einen ersten Betriebsparameterwertsatz aufweist; Vergleichen des einen oder der mehreren aktuellen Betriebsbedingungen mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus; Bestimmen eines kompensierten Parameterwertsatzes zum Kompensieren altersbezogener Änderungen an der einstellbaren Linsenbaugruppe mit variablem Fokus als Reaktion auf den Vergleich; und Erfassen, über das maschinelle Sichtsystem, mindestens eines Bildes eines Objekts unter Verwendung des kompensierten Parameterwertsatzes.
  • Gemäß einem anderen Beispiel enthält ein maschinelles Sichtsystem: eine Bildgebungsbaugruppe mit einer einstellbaren Linsenbaugruppe mit variablem Fokus; einen oder mehrere Prozessoren; und einen nicht-transitorischen, maschinenlesbaren Speicher, der maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das maschinelle Sichtsystem veranlassen, um: eine oder mehrere aktuelle Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus zu identifizieren, wobei die einstellbare Linsenbaugruppe mit variablem Fokus einen ersten Betriebsparameterwertsatz aufweist; die eine oder die mehreren aktuellen Betriebsbedingungen mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus zu vergleichen; und als Reaktion auf den Vergleich einen kompensierten Parameterwertsatz zu bestimmen, um altersbedingte Änderungen an der einstellbaren Linsenbaugruppe mit variablem Fokus zu kompensieren; und über das maschinelle Sichtsystem mindestens ein Bild eines Objekts unter Verwendung des kompensierten Parameterwertsatzes zu erfassen.
  • Figurenliste
  • Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.
    • 1 zeigt ein Blockdiagramm eines maschinellen Sichtsystems zur Implementierung von hierin beschriebenen Beispielverfahren und/oder -operationen, einschließlich Techniken zur Verfolgung und Einstellung einer einstellbaren Linsenbaugruppe mit variablem Fokus.
    • 2 zeigt ein Blockdiagramm eines Flussdiagramms, das einen Beispielprozess für die Verfolgung und Einstellung einer einstellbaren Linsenbaugruppe mit variablem Fokus darstellt, wie er durch das maschinelle Sichtsystem von 1 implementiert werden kann.
    • 3 zeigt ein Blockdiagramm eines Flussdiagramms, das einen Beispielprozess zur Bestimmung von Fokussierungsparametern und zum Vergleich dieser Fokussierungsparameter mit einem Linsenverhaltensmodell darstellt, wie er durch den Prozess in 2 bei der Implementierung von hierin beschriebenen Beispielverfahren und/oder -operationen ausgeführt werden kann.
    • 4 zeigt ein Blockdiagramm eines Flussdiagramms, das einen Beispielprozess zur Bestimmung einer neuen Fokusposition aus einem kompensierten Fokussierungsdurchlaufbereich darstellt, wie er durch den Prozess in 2 bei der Implementierung von hierin beschriebenen Beispielverfahren und/oder -operationen ausgeführt werden kann.
  • Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
  • Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In verschiedenen Ausführungsformen der vorliegenden Offenbarung werden ein Verfahren sowie zugehörige Systeme und Vorrichtungen beschrieben, um den Fokus eines auf einer einstellbaren Linse mit variablem Fokus basierenden Bildgebungssystems als Reaktion auf Änderungen des Linsenverhaltens im Laufe der Zeit zu verfolgen und einzustellen.
  • Bildgebungssysteme, wie z. B. maschinelle Sichtsysteme, sind üblicherweise auf feste Fokuspositionen zwischen einem Objekt und einem Bildsensor angewiesen, um eine hochauflösende Bildanalyse durchzuführen. Maschinelle Sichtsysteme werden häufig zur Analyse extrem kleiner Merkmale eingesetzt, die eine starke Vergrößerung des betreffenden Merkmals erfordern. Dies hat jedoch zur Folge, dass maschinelle Sichtsysteme sehr empfindlich auf Bedingungen reagieren, die die Fokusposition eines Bildsensors verändern können. Dies gilt insbesondere für Linsen mit variablem Fokus, wie z. B. Flüssigkeitslinsen. Diese Linsen ermöglichen eine feine und relativ schnelle Einstellung auf eine feste Fokusposition. Diese Linsen sind jedoch anfällig für Leistungsänderungen aufgrund von Alter (Zeit), Temperatur, Abweichung und Linsenqualität. Die Fokusposition für eine bestimmte Ansteuerspannung kann sich z. B. je nach Temperatur oder Alter der Flüssigkeitslinse ändern.
  • Bei den hier beschriebenen Beispielen werden die Fokusposition und der Fokusbetrieb einer Linsenbaugruppe mit variablem Fokus verfolgt und mit einem Linsenverhaltensmodell verglichen. Anhand dieses Vergleichs können kompensierte neue Fokuspositionen für die variablen Linsenbaugruppen bestimmt werden. Um diese kompensierten neuen Fokuspositionen zu bestimmen, können beispielsweise Fokussierungsparameter für die Linsenbaugruppe mit variablem Fokus gemessen und mit einem oder mehreren Linsenverhaltensmodellen verglichen werden. Beispielhafte Fokussierungsparameter sind messbare Betriebs- oder Funktionsparameter der variablen Linsenbaugruppe und umfassen Parameter wie eine aktuelle Zeit, eine aktuelle Temperatur, eine Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, eine angelegte Spannung, einen Kontrast mindestens eines Merkmals eines Bildes, eine Modulationsübertragungsfunktion (MTF) mindestens eines Merkmals eines Bildes. Jeder messbare Betriebsparameter der Linsenbaugruppe mit variablem Fokus, der sich unter verschiedenen Betriebsbedingungen ändert, kann zu Vergleichszwecken in einem oder mehreren Linsenverhaltensmodellen verwendet und eingebaut werden.
  • In einigen Beispielen wird die Verfolgung und Kompensation unter Verwendung historischer Daten über die Linsenleistung durchgeführt, die im Linsenverhaltensmodell enthalten sind, wobei es sich bei solchen Modellen um Alterungsmodelle handeln kann, die die Leistung über die Zeit angeben, um thermische Modelle, die die Leistung bei verschiedenen Temperaturen angeben, um Abweichungsmodelle, die die Leistung bei verschiedenen Positionen angeben, um andere Modelle der Linsenleistung oder eine beliebige Kombination davon.
  • Darüber hinaus ermöglichen die vorliegenden Techniken in einigen Beispielen eine periodische Feinabstimmung der festen Fokusposition einer variablen Linsenbaugruppe durch Anpassung eines kleinen Fensters eines Fokussierungsdurchlaufs auf der Grundlage der Messung einer Bildcharakteristik, wie z. B. einer optischen Gütefunktion, wie MTF oder Kontrast. In einigen Beispielen wird diese Fokussierung angepasst, um Änderungen in der Leistung der Linsenbaugruppe mit variablem Fokus zu kompensieren, die anhand des Linsenverhaltensmodells ermittelt wurden. Der Fokussierungsdurchlauf bezieht sich auf einen vordefinierten, begrenzten Fokussierungsbereich, der in maschinellen Sichtsystemen verwendet wird, um Fehler und Linsenvariationen zu kompensieren, während eine feste Fokusposition gefunden und beibehalten wird. In einigen Beispielen der vorliegenden Technik kann dieser begrenzte Fokussierungsbereich angepasst werden, um Alterungseffekte, thermische Effekte, Abweichungseffekte usw. zu korrigieren, die eine Linsenbaugruppe betreffen. Die vordere und hintere Fokusposition des Durchlaufs kann ebenso korrigiert werden wie die Mittenfrequenz des Durchlaufbereichs. In einigen Beispielen beträgt der Fokussierungsdurchlauf +/-1 Dioptrie der optischen Leistung.
  • Das Linsenverhaltensmodell kann eine beliebige Anzahl von optischen Gütefunktionen oder anderen Fokussierungsparametern verwenden, um neue, kompensierte Fokuspositionen einer Linsenbaugruppe zu bestimmen. MTF ist ein Maß für die Fähigkeit eines optischen Systems, verschiedene Detailstufen vom Objekt auf das Bild zu übertragen, und zeigt die Leistung, die in Form von Kontrast oder optischer Modulation gemessen werden kann.
  • In verschiedenen Beispielen kompensieren die vorliegenden Techniken kurzfristige Änderungen der Linsenleistung (z. B. aufgrund von thermischen Änderungen), indem sie kleine Fensterfokussierungsdurchläufe anpassen, um die Fokusposition genauer zu bestimmen, während sie auch langfristige Änderungen der Linsenleistung, z. B. aufgrund von Alterung, kompensieren.
  • 1 zeigt ein Beispiel für eine Umgebung 100, die in der Lage ist, Operationen der hierin beschriebenen Beispielverfahren zu implementieren, wie sie in den Flussdiagrammen der Zeichnungen, die dieser Beschreibung beigefügt sind, dargestellt sein können. In dem in 1 dargestellten Beispiel umfasst die Umgebung 100 ein maschinelles Sichtsystem 102, in dem Objekte von Interesse (von denen zwei mit den Referenznummern 104 und 106 bezeichnet sind) durch ein FOV 108 des maschinellen Sichtsystems 102 bewegt oder im FOV 108 zur Bildgebung und Prüfung platziert werden. Die Objekte von Interesse 104, 106 können sich beispielsweise auf einer Abtastfläche 110 bewegen, z. B. auf einem Förderband, entlang einer Montagelinie usw. Die Objekte von Interesse 104, 106 können kontinuierlich relativ zum FOV 108 des maschinellen Bildverarbeitungssystems 102 bewegt werden oder diskretisiert bewegt werden, wobei ein Objekt von Interesse 104, 106 zumindest einen Teil der Zeit für eine Zeitspanne still gehalten wird, die ausreicht, um ein oder mehrere Bilder des Objekts von Interesse 104, 106 zu erfassen.
  • Während die Beispielumgebung 100 als das Bildverarbeitungssystem 102 beschrieben wird, kann das System 102 in anderen Beispielen als Strichcodeleser implementiert werden, wie z. B. ein tragbarer Strichcodeleser oder ein bi-optischer Strichcodeleser mit einem horizontalen Turm und einer vertikalen Platte, die jeweils so konfiguriert sind, dass sie eine Strichcode-Bildgebung durchführen.
  • Um Bilder zu erfassen, enthält das beispielhafte maschinelle Sichtsystem 102 eine Bildgebungsbaugruppe 112 mit einer beliebigen Anzahl und/oder Art(en) von Bildgebungssensoren 114 (z. B. ein CMOS (Complementary Metal-Oxide Semiconductor) -Bildgebungsarray). Der Bildgebungssensor 114, der beispielsweise von einem Prozessor 116 gesteuert wird, erfasst ein oder mehrere Bilder eines Objekts von Interesse 104, 106.
  • Zur Fokussierung auf Objekte von Interesse umfasst die beispielhafte Bildgebungsbaugruppe 112 eine beliebige Anzahl und/oder Art(en) variabler Fokuselemente 118, die zwischen dem Bildgebungssensor 114 und einem Fenster (nicht dargestellt) des maschinellen Sichtsystems 102 angeordnet sind, sowie eine beliebige Anzahl und/oder Art(en) von Aktuatoren 120 zur Aktivierung, Bedienung usw. der variablen Fokuselemente 118 unter der Steuerung einer Fokussteuerung 122. Beispiele für variable Fokuselemente 118 sind unter anderem eine Flüssigkeitslinse, ein Schwingspulenmotor usw. Ein Beispiel für eine Flüssigkeitslinse ist die Arctic 25H0-Z, die von Parrot Drones SAS Confidential aus Frankreich erhältlich ist. Zu den Aktuatoren 120 gehören beispielsweise ein Fokussierungslinsenantrieb, ein Verschiebelinsenantrieb, ein Zoomlinsenantrieb, ein Aperturantrieb, ein Winkelgeschwindigkeitsantrieb, ein Schwingspulenmotorantrieb usw. Im gezeigten Beispiel stellt der Prozessor 116 einen oder mehrere Fokussierungsparameter ein, von denen zwei mit den Referenznummern 124 und 126 bezeichnet sind, die die Fokussteuerung 122 zur Steuerung der Aktuatoren 120 verwendet. Auf diese Weise kann der Prozessor 116 den Fokusabstand zu einer Bildgebungsebene der Bildgebungsbaugruppe 112 auf einen beabsichtigten oder benötigten Fokusabstand einstellen. In einigen Beispielen ist die Bildgebungsbaugruppe 112 so konfiguriert, dass, wenn die Bildgebungsbaugruppe 112 über ein Autofokusmodul oder einen Autofokusbetrieb verfügt, der Autofokusbetrieb für mindestens einen Bilderfassungsvorgang deaktiviert ist und der Fokusabstand vom Prozessor 116 über die Fokussierungsparameter 124, 126 für diesen Bilderfassungsvorgang gesteuert wird.
  • Um dem maschinellen Sichtsystem 102 den Fokusabstand / die Fokusabstände zu identifizieren, in der/denen ein Objekt von Interesse 104, 106 abgebildet werden soll, haben die Objekte von Interesse 104, 106 eine oder mehrere entsprechende Zeichen, von denen zwei mit den Referenznummern 104A und 106A bezeichnet sind. In einigen Beispielen ist mehr als ein Zeichen 104A, 106A mit einem Objekt von Interesse 104, 106 verbunden. Zusätzlich oder alternativ kann ein Zeichen 104A, 106A mehr als einen Fokusabstand für mehr als ein Objekt von Interesse 104, 106 darstellen. Wenn die Zeichen 104A, 106A mehrere Fokusabstände für ein Objekt von Interesse 104, 106 darstellen, können die Fokusabstände mit verschiedenen Abschnitten, Teilen, Elementen, Aspekten usw. eines Objekts von Interesse 104, 106 verbunden sein. Eine Anzeige 104A, 106A muss nicht in dem/den durch die Zeichen 104A, 106A dargestellten Fokusabstand /Fokusabständen positioniert sein. Beispielsweise kann ein Zeichen 104A, 106A so bemessen und platziert werden, dass es ohne Autofokus erkannt wird, das Zeichen 104A, 106A kann in einem Standard-Fokusabstand platziert werden, den das maschinelle Sichtsystem 102 zur Abbildung und Identifizierung der Zeichen 104A, 106A verwendet, usw. Die Zeichen 104A, 106A können auf einem Objekt von Interesse 104, 106, neben einem Objekt von Interesse 104, 106 usw. platziert werden. Beispiele für Zeichen 104A, 106A sind u. a. ein Strichcode (eindimensional (1D), zweidimensional (2D) oder dreidimensional (3D)), eine Rahmenmarke, eine direkte Teilemarkierung (Direct Part Marking - DPM) oder ein anderes speziell gekennzeichnetes Muster, das zur Übermittlung von Informationen verwendet werden kann.
  • In einigen Beispielen ist die Bildgebungsbaugruppe 112 an einem bekannten Ort fest montiert und kann selektiv auf Objekte von Interesse 104, 106 fokussiert werden, die auf der Grundlage der in den Zeichen 104A, 106A kodierten Fokusabstände unterschiedlich weit von dem bekannten Ort entfernt sind. In einigen Beispielen ist die Bildgebungsbaugruppe 112 beweglich montiert und kann (z. B. in einer, zwei oder drei Dimensionen) an verschiedenen bekannten Positionen positioniert werden und wird auf der Grundlage der in den Zeichen 104A, 106A kodierten Fokusabstände auf Objekte von Interesse 104, 106 fokussiert, die relativ zu einer aktuellen bekannten Position unterschiedlich weit entfernt sind. In einigen Fällen kodiert ein Zeichen 104A, 106A die Position der Bildgebungsbaugruppe und den Fokusabstand /die Fokusabstände. Die Zeichen 104A, 106A können auch andere Bildgebungseigenschaften wie Zoom, Apertur usw. kodieren.
  • Wenn ein Zeichenverarbeitungsmodul 128 ein Zeichen 104A, 106A in einem Bild als Auslöser für eine Fokuseinstellung erkennt, dekodiert das Zeichenverarbeitungsmodul 128 die Zeichen 104A, 106A, um vorbestimmte Nutzdaten oder Informationen zu erhalten, die in den Zeichen 104A, 106A kodiert sind. Zu den Nutzdaten oder -informationen gehören beispielsweise Fokusabstände zu Bildgebungsebenen, Größe oder Abmessungen eines Objekts von Interesse 104, 106. Die Nutzdaten oder -informationen können in den Zeichen 104A, 106A gemäß einem beliebigen vergangenen, gegenwärtigen oder zukünftigen Industriestandard kodiert werden, wie z. B. Code 39-Strichcodes, GS1-Strichcodes, Verschachtelte 2-von-5-Strichcodes (Interleaved 2 of 5 (ITF)-Barcodes) usw. Der Prozessor 116 konfiguriert die Bildgebungsbaugruppe 112 für jeden der ermittelten Fokusabstände. In einigen Beispielen fragt der Prozessor 116 eine Datenbank mit Fokussierungsparametern 130 ab, um die Fokussierungsparameter 124, 126 zu erhalten, die dem durch ein erfasstes Zeichen 104A, 106A identifizierten Fokusabstand entsprechen. In einigen Beispielen können die bekannte(n) Abmessung(en) eines Zeichens 104A, 106A, das aktuell bekannte FOV und die Größe des Zeichens 104A, 106A in einem Bild (z. B. in Pixeln) verwendet werden, um die Entfernung zu dem Zeichen 104A, 106A zu bestimmen (z. B. zu berechnen, zu schätzen usw.). In einigen Beispielen wird das FOV als konstant oder fest angesehen, unabhängig vom Fokusabstand. In einigen Beispielen kann der Fokusabstand unter Verwendung eines festen Fokus und eines kalibrierten FOV kalibriert werden, z. B. wird die Fokusposition auf einen bestimmten Abstand eingestellt und während des Betriebs des Systems 102 beibehalten. In einigen Beispielen wird beim Aus- und Wiedereinschalten des Systems 102 derselbe feste Fokusabstand beibehalten (oder wieder erreicht).
  • Für jeden identifizierten Fokusabstand zu einer Bildgebungsebene (d. h. die Fokusposition) schreibt, speichert usw. der Prozessor 116 die entsprechenden Fokusparameter 124, 126 in die Bildgebungsbaugruppe 112 und steuert die Fokussteuerung 122, um den Fokusabstand der Bildgebungsbaugruppe 112 entsprechend den Fokusparametern 124, 126 einzustellen und die Fokusposition in einem Abstand zu fixieren (z. B. beizubehalten, zu halten, zu verriegeln usw.).
  • Der Prozess 116 verfolgt ferner den Fokus der variablen Fokuselemente 118 und kompensiert die Fokusposition gemäß den hierin beschriebenen Beispielverfahren, wie sie in den Flussdiagrammen der Zeichnungen dargestellt sind, die dieser Beschreibung beigefügt sind, einschließlich derjenigen in den 2-4. Im dargestellten Beispiel wird ein Linsenverhaltensmodell 129 bereitgestellt, das historische Daten und/oder Leistungsdaten und in einigen Beispielen Algorithmen zum Vergleich der Fokussierungsparameter 126 und 124 enthält, um zu bestimmen, wann Anpassungen der Fokusposition gerechtfertigt sind, um Änderungen der Leistung der Elemente 118 zu kompensieren. Das Linsenverhaltensmodell 129 kann eine beliebige Anzahl von Fokussierungsparametern aus dem Bildgebungssystem 112 vergleichen, einschließlich derjenigen, die den Betrieb der Aktuatoren 120 steuern, Daten aus der Fokussteuerung 122 und Rückmeldungsdaten von den variablen Fokuselementen 118.
  • Sobald der Fokusabstand eingestellt ist, steuert der Prozessor 116 den Bildgebungssensor 114, um ein oder mehrere Bilder eines Objekts von Interesse 104, 106 zu erfassen. Da der Fokusabstand a priori bekannt ist, um dem Objekt von Interesse 104, 106 zu entsprechen, wird ein erfasstes Bild für einen oder mehrere gewünschte Aspekte des Objekts von Interesse 104, 106 richtig fokussiert, und nicht gewünschte Aspekte oder andere Objekte können nicht zu einem falschen Fokus führen. In einigen Beispielen ist die Anzahl der zu erfassenden Bilder in den Zeichen 104A, 106A kodiert. Wenn eine bestimmte Anzahl von Bildern erfasst werden soll, können die Zeichen 104A, 106A auch die Zeiten zwischen den Erfassungen kodieren, um z. B. die Bewegung eines Förderbands, einer Montagelinie usw. zu berücksichtigen. Die Zeitdauer, in der die Fokussierungsparameter 124, 126 gehalten werden, kann so lang sein, bis ein anderer oder nachfolgender Zeichenfokuseinstellungsauslöser identifiziert wird. In Beispielen mit Autofokus kann der in den Zeichen 104A, 106A kodierte Fokusabstand verwendet werden, um einen Start-Fokusabstand für den Autofokus festzulegen, um z. B. Variationen des Objekts von Interesse und des Abstands zum Bildgebungssensor zu berücksichtigen.
  • In dem in 1 dargestellten Beispiel umfasst das maschinelle Sichtsystem 102 eine Computerbaugruppe 132, die einen oder mehrere Prozessoren (von denen einer mit der Referenznummer 116 bezeichnet ist), einen Programmspeicher 134, einen Speicher mit wahlfreiem Zugriff (RAM) 136, Eingabe-/Ausgabe-Schnittstellen 138 und Netzwerkschnittstellen 140 umfasst, die alle über einen Adress-/Datenbus 142 miteinander verbunden sind. Der Programmspeicher 134 kann Software und/oder Anweisungen 144 speichern, die vom Prozessor 116 ausgeführt werden können. Verschiedene Teile des beispielhaften maschinellen Sichtsystems 102, z. B. die Bildgebungsbaugruppe 112 und die Computerbaugruppe 132, können separat durch verschiedene Computersysteme implementiert werden. So können der Prozessor 116 und die Fokussteuerung 122 als zwei verschiedene Prozessoren und/oder Steuerungen implementiert sein. In anderen Beispielen werden der Prozessor 116 und die Fokussteuerung 122 jedoch durch denselben Prozessor und/oder dieselbe Steuerung implementiert.
  • Der Prozessor 116 und die Fokussteuerung 122 des dargestellten Beispiels können Hardware sein und auf Halbleitern basieren (z. B. auf Silizium). Zu den Beispielprozessoren 116 und der Fokussteuerung 122 gehören ein programmierbarer Prozessor, ein programmierbarer Controller, eine Grafikverarbeitungseinheit (GPU), ein digitaler Signalprozessor (DSP), ein anwendungsspezifischer integrierter Schaltkreis (ASIC), ein programmierbarer Logikbaustein (PLD), ein feldprogrammierbares Gate-Array (FPGA), ein feldprogrammierbarer Logikbaustein (FPLD) usw. In diesem Beispiel implementiert der Prozessor 116 das Zeichenverarbeitungsmodul 128. In einigen Beispielen implementiert der Prozessor 116 Anweisungen, die Objekte von Interesse 104, 106 unter Verwendung von Bildern untersuchen, die auf der Grundlage von Fokusabständen erfasst wurden, die von den Zeichen 104A, 106A bestimmt wurden.
  • Der Programmspeicher 134 kann eine beliebige Anzahl und/oder Art(en) von flüchtigen und/oder nichtflüchtigen Speichermedien oder Festplatten enthalten, auf denen die Software, maschinen- oder computerlesbare Anweisungen oder computer- oder maschinenausführbare Anweisungen 144 und die Fokussierungsparameterdatenbank 130 gespeichert sind. Die Software und die Anweisungen 144 können vom Prozessor 116 ausgeführt werden, um das Zeichenverarbeitungsmodul 128 zu implementieren und die Objekte von Interesse 104, 106 unter Verwendung von Bildern zu untersuchen, die auf der Grundlage von Fokusabständen erfasst wurden, die anhand von Zeichen bestimmt wurden. Die Software und die Anweisungen 144 können auf separaten, nicht-transitorischen, computer- oder maschinenlesbaren Speichermedien oder Disketten oder an verschiedenen physischen Orten gespeichert sein.
  • Die Speicher 134, 136 umfassen eine beliebige Anzahl oder Art(en) flüchtiger oder nicht flüchtiger, nicht-transitorischer, computer- oder maschinenlesbarer Speichermedien oder -platten, wie z. B. einen Halbleiterspeicher, einen magnetisch auslesbaren Speicher, einen optisch auslesbaren Speicher, ein Festplattenlaufwerk (HDD), ein optisches Speicherlaufwerk, ein Solid-State-Speichergerät, ein Solid-State-Laufwerk (SSD), ein Festwertspeicher (ROM), ein Arbeitsspeicher (RAM), eine Compact Disc (CD), ein Compact-Disc-Festwertspeicher (CD-ROM), eine Digital Versatile Disk (DVD), eine Blu-ray-Disk, ein RAID (Redundant Array of Independent Disks) -System, ein Cache, ein Flash-Speicher oder jedes andere Speichermedium oder jede andere Speicherplatte, in dem/der Informationen für eine beliebige Dauer gespeichert werden können (z.B. dauerhaft, für einen längeren Zeitraum, für eine kurze Zeit, zur vorübergehenden Zwischenspeicherung, zum Zwischenspeichern von Informationen usw.).
  • Der Begriff nicht-transitorisches computerlesbares Medium wird hier ausdrücklich so definiert, dass er jede Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte einschließt und dass er sich ausbreitende Signale und Übertragungsmedien ausschließt. Der Begriff nicht-transitorisches maschinenlesbares Medium wird hier ausdrücklich so definiert, dass er jede Art von maschinenlesbarer Speichervorrichtung und/oder Speicherplatte einschließt und dass er sich ausbreitende Signale und Übertragungsmedien ausschließt.
  • Die E/A-Schnittstellen 138 können eine beliebige Anzahl und/oder Art(en) verschiedener Arten von E/A-Schaltungen oder -Komponenten umfassen, die es dem Prozessor 116 ermöglichen, mit peripheren E/A-Vorrichtungen zu kommunizieren. Beispiele für E/A-Schnittstellen 138 sind ein universeller serieller Bus (USB), eine Bluetooth® -Schnittstelle, eine Nahfeldkommunikationsschnittstelle (NFC), ein Infrarot-Sendeempfänger und/oder eine PCI-Express-Schnittstelle. Bei den peripheren E/A-Vorrichtungen kann es sich um jede beliebige Art von E/A-Vorrichtung handeln, z. B. eine Tastatur, ein Display 146 (Flüssigkristalldisplay (LCD), ein Kathodenstrahlröhren (CRT) -Display, ein Leuchtdiode (LED) -Display, ein organisches Leuchtdioden (OLED) - Display, ein IPS (In-Plane-Switching) -Display, ein Touchscreen usw.), ein Navigationsgerät (eine Maus, ein Trackball, ein kapazitives Touchpad, ein Joystick usw.), einen Lautsprecher, ein Mikrofon, einen Drucker, eine Taste, eine Kommunikationsschnittstelle, eine Antenne usw.
  • Das maschinelle Sichtsystem 102 umfasst eine oder mehrere Netzwerkschnittstellen 140 zur Verbindung des maschinellen Sichtsystems 102 mit einem Server 148. Diese Vorrichtungen können über jedes geeignete Kommunikationsmittel verbunden werden, einschließlich drahtgebundener und/oder drahtloser Verbindungskomponenten, die einen oder mehrere vergangene, gegenwärtige oder künftige Industriekommunikationsprotokollstandards implementieren, wie z. B. eine TCP/IP-Schnittstelle, einen Wi-Fi™-Sender/Empfänger (gemäß der 802.11-Normenfamilie), einen Ethernet-Sender/Empfänger, ein Mobilfunknetz, ein Satellitennetz, ein Kabelmodem, ein digitales DSL-Modem, ein Wählmodem oder andere geeignete Kommunikationsprotokolle oder Standards.
  • In einigen Ausführungsformen ist die Bildgebungsbaugruppe 112 getrennt von anderen Teilen des maschinellen Sichtsystems 102 implementiert (z. B. getrennt von der Computerbaugruppe 132) und mit den anderen Teilen des maschinellen Sichtsystems 102 über die E/A-Schnittstellen 138 und/oder die Netzwerkschnittstellen 140 verbunden. In einigen dieser Ausführungsformen sind die anderen Teile des maschinellen Sichtsystems 102 auf einer Cloud-basierten Plattform an einem entfernten Standort implementiert.
  • Während in 1 ein Beispiel für ein maschinelles Sichtsystem 102 dargestellt ist, können eines oder mehrere der in 1 dargestellten Elemente, Prozesse und/oder Vorrichtungen kombiniert, geteilt, neu angeordnet, weggelassen, eliminiert und/oder auf jede andere Weise implementiert werden. Beispielsweise können der Prozessor 116 und die Fokussteuerung 122 durch denselben programmierbaren Prozessor, dieselbe programmierbare Steuerung, GPU, DSP, einen ASIC, einen PLD, einen FPGA, einen FPLD usw. implementiert werden. Darüber hinaus kann das maschinelle Sichtsystem 102 ein oder mehrere Elemente, Prozesse und/oder Vorrichtungen zusätzlich zu den in 1 dargestellten oder anstelle von diesen enthalten und/oder kann mehr als eines der dargestellten Elemente, Prozesse und Vorrichtungen enthalten. Wie hierin verwendet, umfasst der Ausdruck „in Kommunikation“, einschließlich Variationen davon, direkte Kommunikation und/oder indirekte Kommunikation über eine oder mehrere Zwischenkomponenten und erfordert keine direkte physische (z. B. drahtgebundene) Kommunikation und/oder ständige Kommunikation, sondern umfasst zusätzlich selektive Kommunikation in periodischen Intervallen, geplanten Intervallen, aperiodischen Intervallen und/oder einmaligen Ereignissen.
  • In einigen Beispielen enthält der Server 148 unter anderem einen Programmspeicher, in dem Software oder Anweisungen gespeichert sind, die, wenn sie von einem Prozessor des Servers 148 ausgeführt werden, den Server 148 veranlassen, die Objekte von Interesse 104, 106 auf der Grundlage von Bildern zu untersuchen, die von dem maschinellen Sichtsystem 102 unter Verwendung von Fokusabständen erfasst wurden, die von den Zeichen 104A, 106A bestimmt wurden.
  • In einigen Ausführungsformen kann sich der Server 148 (und/oder andere angeschlossene Vorrichtungen) am selben Ort befinden wie das maschinelle Sichtsystem 102. In anderen Ausführungsformen kann sich der Server 148 (und/oder andere angeschlossene Vorrichtungen) an einem entfernten Standort befinden, beispielsweise auf einer Cloud-Plattform oder einem anderen entfernten Standort. In wieder anderen Ausführungsformen kann der Server 148 (und/oder andere angeschlossene Vorrichtungen) aus einer Kombination von lokalen und Cloud-basierten Computern aufgebaut sein.
  • Zur Verfolgung von Fokussierungsparametern und zur Einstellung eines variablen Fokus kann ein Prozess 200 durch das maschinelle Sichtsystem 102 implementiert werden. Im dargestellten Beispiel identifiziert der Prozess 202 eine anfängliche Fokusposition einer Linsenbaugruppe mit variablem Fokus, wie zum Beispiel die variablen Fokuselemente 118. Die anfängliche Fokusposition kann der Fokusposition der Linsenbaugruppe mit variablem Fokus beim Starten des Systems 100 oder bei der Aktivierung eines Objektabbildungsprozesses für das maschinelle Sichtsystem 102 entsprechen.
  • Ein Prozess 204 bestimmt einen oder mehrere Fokussierungsparameter für die einstellbare Linsenbaugruppe mit variablem Fokus, wobei diese Fokussierungsparameter Einstellungen für diese Linsenbaugruppe mit variablem Fokus enthalten können, die zu der anfänglichen Fokussierungsposition führen. Beispielsweise kann der Prozess 204 diese Fokussierungsparameter aus Steuersignalen bestimmen, die von der Fokussteuerung 122 an die Aktoren 120 gesendet werden, die den Betrieb der variablen Fokuselemente 118 steuern. Der Prozess 204 kann die Fokussierungsparameter aus Rückmeldungsschleifendaten der Aktuatoren 120 bestimmen, die die Position eines Fokussierlinsenantriebs, eines Verschiebungslinsenantriebs, eines Zoomlinsenantriebs, eines Aperturantriebs, eines Winkelgeschwindigkeitsantriebs, eines Schwingspulenmotorantriebs oder anderer Antriebe angeben, die die Position und den Betrieb der variablen Fokuselemente 118 steuern. In einigen Beispielen kann der Prozess 202 die Fokussierungsparameter von Positionssensoren in den variablen Fokuselementen 118 bestimmen. Zu den Fokussierungsparametern gehören beispielsweise aktuelle Zeit, aktuelle Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, angelegte Spannung, die die anfängliche feste Fokusposition festlegt, und ein der anfänglichen Festen Fokusposition zugeordneter Spannungsverlauf (z. B. ein Spannungsbereich und der Spannungsverlauf nach oben oder unten, der zur aktuellen Spannung geführt hat). In einigen Beispielen kann es sich bei den Fokussierungsparametern um optische Parameter wie den optischen Kontrast oder die Modulationsübertragungsfunktion (MTF) von mindestens einem Teil eines vom maschinellen Sichtsystem 102 erfassten Bildes handeln. Der Kontrast oder die MTF kann einem Merkmal von Interesse in einem Bild entsprechen, z. B. den Zeichen 104A und 106A auf den Objekten 104 bzw. 106. Beispiele für Zeichen sind Strichcodes, DPMs oder Rahmenmarken auf einem Objekt. Andere Merkmale von Interesse können jedoch auch Kanten an einem Objekt, Vorsprünge an einem Objekt und/oder Vertiefungen an einem Objekt sein.
  • Um den Fokus der einstellbaren Linsenbaugruppe mit variablem Fokus einzustellen, vergleicht der Prozess 204 den/die Fokussierungsparameter mit einem Linsenverhaltensmodell, das ein oder mehrere Modelle des Verhaltens von Fokussierungsparametern unter verschiedenen Bedingungen enthält. Bei den Linsenverhaltensmodellen kann es sich um Datendateien handeln, in denen verschiedene Fokussierungsparameter und verschiedene Einstellungen für diese Fokussierungsparameter unter verschiedenen Betriebsbedingungen eines maschinellen Sichtsystems, z. B. verschiedenen Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus, gespeichert sind (zusammen bilden diese Daten verschiedene Arten von Kompensationsdaten). In einigen Beispielen umfasst ein Linsenverhaltensmodell Zeitkompensationsdaten, Temperaturkompensationsdaten, Dioptrienkompensationsdaten, Spannungskompensationsdaten, Spannungsverlaufskompensationsdaten und/oder Modulationsübertragungsfunktionskompensationsdaten. In einigen Beispielen umfasst das Linsenverhaltensmodell ausführbare Algorithmen zum Empfangen von Fokussierungsparameterwerten und zur Durchführung einer Vorhersage, um erwartete Werte für die Fokussierungsparameter zu bestimmen. Der Algorithmus kann z. B. historische Fokussierungsparameterdaten und ein Regressionsmodell zur Bestimmung der erwarteten Werte verwenden.
  • In einigen Beispielen ist das Linsenverhaltensmodell ein Linsenalterungsmodell, das historische Daten und/oder vorhergesagte zukünftige Werte für Fokussierungsparameter als Funktion der Betriebszeit für eine Linsenbaugruppe enthält. Die Betriebszeit kann in Bezug auf ein universelles Zeitsystem gemessen werden, z. B. Tage, Wochen, Monate, Jahre. Die Betriebszeit kann eine akkumulierte Zeit sein, die die Zeit darstellt, in der ein Bildgebungssystem eingeschaltet und in Betrieb war. Die Betriebszeit kann eine Anzahl von Betriebszyklen sein, z. B. die Anzahl der Verstellungen der Fokusposition einer Linsenbaugruppe mit variablem Fokus.
  • Ein Beispiel für ein Linsenalterungsmodell, das in Prozess 204 verglichen wird, kann Werte für die angelegte Spannung in Abhängigkeit von der festen Fokusposition als Funktion der Betriebszeit enthalten, wodurch Änderungen der angelegten Spannung angezeigt werden, die erforderlich sind, um eine bestimmte Fokusposition beizubehalten, wenn die Linsenbaugruppe mit variablem Fokus altert. Das Alterungsmodell kann auch eine zeitbasierte Modellierung für eine beliebige Anzahl von anderen Fokussierungsparametern umfassen.
  • In einigen Beispielen handelt es sich bei dem in Prozess 204 verglichenen Linsenverhaltensmodell um ein thermisches Modell, das thermische Daten für einen oder mehrere Fokussierungsparameter enthält. Ein solches Modell kann Änderungen der Fokussierungsparameterwerte in Abhängigkeit von der Temperatur modellieren.
  • In einigen Beispielen ist das Linsenverhaltensmodell ein Abweichungsmodell, das Linsenabweichungsdaten für den einen oder die mehreren Fokussierungsparameter enthält, die Änderungen der Fokussierungsparameter in Abhängigkeit von der Linsenposition anzeigen, insbesondere in Abhängigkeit von Abweichungsänderungen der Linsenposition. In einigen Beispielen handelt es sich bei dem Linsenverhaltensmodell um ein mehrdimensionales Modell, das die Modellierung für mehrere verschiedene Variablen enthält, beispielsweise Alterungsabhängigkeit, thermische Abhängigkeit, Abweichungsabhängigkeit und/oder beliebige andere Modellverhaltensweisen.
  • Aus dem Vergleich der Fokussierungsparameter mit dem Linsenverhaltensmodell wird in einem Prozess 206 eine kompensierte feste Fokusposition für die einstellbare Linsenbaugruppe mit variablem Fokus bestimmt, wobei die kompensierte feste Fokusposition die korrigierte Fokusposition darstellt, auf die die einstellbare Linsenbaugruppe mit variablem Fokus eingestellt werden soll. Diese kompensierte feste Fokusposition kann beispielsweise durch das Linsenverhaltensmodell bestimmt werden, wobei die Bestimmung eine Bestimmung der Änderungen der Fokussierungsparameter umfasst, die zum Erreichen der neuen Fokusposition verwendet werden sollen.
  • In einem Betriebsbeispiel bestimmt der Prozess 202 die anfängliche Fokusposition einer Flüssigkeitslinse. Der Prozess 204 bestimmt die Fokussierungsparameter, die der anfänglichen Fokusposition entsprechen, wie z. B. die Spannung, die an die Flüssigkeitslinse angelegt wurde, um diese anfängliche Fokusposition zu erreichen. Das Linsenverhaltensmodell wird dann von dem Prozess 204 verwendet, um zu bestimmen, wie die tatsächliche, gewünschte Fokusposition bei Änderungen der Verhaltensbedingungen der Linse sein sollte. Bei diesen Änderungen kann es sich um eine Temperaturänderung, eine Änderung von Alter/Zeit und/oder eine Änderung der Abweichungsposition handeln. Die Änderungen können sich aus einem Vergleich eines aktuellen Zustands des maschinellen Sichtsystems, z. B. der aktuellen Temperatur oder des aktuellen Alters/Zeitpunkts, mit einem Ausgangszustand ergeben, z. B. der ersten Inbetriebnahme des maschinellen Sichtsystems, der erstmaligen Verwendung des maschinellen Sichtsystems, einem werkseitig freigegebenen Zustand des maschinellen Sichtsystems oder einem anderen Ausgangszustand. Der Ausgangszustand könnte der Betriebszustand zu einem beliebigen früheren Zeitpunkt sein, was eine kontinuierliche Überwachung des Betriebszustands und damit der Fokussierungsparameter der Flüssigkeitslinse ermöglicht. Die tatsächliche, gewünschte Fokusposition wird dann zur neuen Fokusposition, die die Änderungen zwischen dem Betriebszustand und dem Ausgangszustand korrigiert, auf den die Flüssigkeitslinse eingestellt sein sollte, um die gewünschte Fokussierung für Bildgebungszwecke zu erreichen. Der Prozess 206 bestimmt diese kompensierte feste Fokusposition und die kompensierten Fokussierungsparameter, mit denen diese Position erreicht wird. Der Prozess 208 stellt die Flüssigkeitslinse gemäß diesen kompensierten Fokussierungsparametern ein und erfasst ein Bild des Objekts an der kompensierten Fokusposition. In diesem Beispiel hat der Prozess 200 also die Fokusposition für die variablen Fokuselemente eingestellt und damit das Verhalten der Linse kompensiert.
  • 3 zeigt einen Prozess 300, der in einer Beispielimplementierung durch den Prozess 204 implementiert werden kann. Bei einem Prozess 302 wird eine Vielzahl von Bildern eines Objekts empfangen und ein Merkmal von Interesse in der Vielzahl von Bildern identifiziert. Bei den Bildern handelt es sich vorzugsweise um Bilder, die in unterschiedlichen Betriebsbedingungen des maschinellen Sichtsystems 102 erfasst wurden, z. B. zu unterschiedlichen Zeitpunkten oder unter unterschiedlichen Linsenverhaltensbedingungen, z. B. bei unterschiedlichen Temperaturen, unterschiedlichen Fokuspositionen usw. In einem Beispiel wendet der Prozess 302 Bildverarbeitungs-, Merkmalsidentifizierungs-, Merkmalssegmentierungs- und Merkmalsregistrierungstechniken an, um das Merkmal von Interesse ganz oder teilweise in jedem der Vielzahl von Bildern zu identifizieren.
  • Um die Leistung des maschinellen Sichtsystems 102 bei der Bildgebung in den verschiedenen Betriebsbedingungen, die jedem Bild entsprechen, vergleichen zu können, verwendet ein Prozess 304 ein Bildmerkmal (oder mehrere Bildmerkmale) und bewertet dann das Merkmal von Interesse in jedem Bild anhand dieses Bildmerkmals. Im dargestellten Beispiel kann der Prozess 304 den für das gesamte oder einen Teil des Merkmals von Interesse bestimmten Bildkontrast oder die für das gesamte oder einen Teil des Merkmals von Interesse bestimmte MTF als Bildmerkmal verwenden. Kontrast und MTF sind Beispiele für optische Gütefunktionen, die als Bildmerkmale verwendet werden können. Es können auch andere Bildmerkmale verwendet werden. Im dargestellten Beispiel kann sich der Kontrast des Merkmals von Interesse bei verschiedenen Betriebsbedingungen des maschinellen Sichtsystems ändern, selbst wenn die einstellbare Linsenbaugruppe mit variablem Fokus so eingestellt ist, dass ein Objekt bei jedem Bild in der gleichen Fokusposition abgebildet wird.
  • In einem Prozess 306 werden die Bilder analysiert, um festzustellen, ob sich das Bildmerkmal über ein oder mehrere Bilder, d. h. über eine oder mehrere Betriebsbedingungen des maschinellen Sichtsystems, geändert hat. Im gezeigten Beispiel wird der Kontrast oder die MTF für das betreffende Merkmal verglichen, um Änderungen festzustellen. Ein Prozess 308 vergleicht dann die Änderung der Bildcharakteristik, z. B. den Kontrast und/oder die Modulationsübertragungsfunktion des Merkmals von Interesse, mit dem Linsenverhaltensmodell und verwendet das Linsenverhaltensmodell, um eine Änderung des einen oder der mehreren Fokussierungsparameter zu bestimmen, die der Änderung des Kontrasts oder der Modulationsübertragungsfunktion entspricht. Zurück zu 2 wird die Änderung des einen oder der mehreren Fokussierungsparameter dann verwendet, um die kompensierte feste Fokusposition bei dem Prozess 206 zu bestimmen.
  • In einigen Beispielen wird das maschinelle Sichtsystem 102 verwendet, um ein Linsenverhaltensmodell zu entwickeln, das bei der Bestimmung künftiger kompensierter Fokuspositionen verwendet wird. Das maschinelle Sichtsystem 102 kann beispielsweise eine Vielzahl von Bildern eines Objekts erfassen und für jedes Bild Werte für einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus speichern. Mit den zu verschiedenen Zeitpunkten und in verschiedenen Betriebsbedingungen erfassten Bildern liefern Änderungen der Fokussierungsparameterwerte einen Teil eines Verhaltensmodells für eine Linse. Für jedes Bild kann das maschinelle Sichtsystem 102 eine Bildqualität für alle oder einen Teil des Bildes bestimmen. Das maschinelle Sichtsystem 102 kann Änderungen dieser Bildqualität über die mehreren Bilder hinweg bestimmen, wodurch ein weiterer Teil eines Verhaltensmodells für eine Linse bereitgestellt wird. Die Änderungen der Fokussierungsparameterwerte und die Änderungen der Bildqualität über mehrere Bilder werden dann verwendet, um das Linsenverhaltensmodell zu erstellen, wobei die Art des Linsenverhaltensmodells (z. B. Alterung, thermisch, Abweichung usw.) davon abhängt, welcher Fokussierungsparameter oder welche Fokussierungsparameter Werte aufweisen, die sich entsprechend einer Änderung der Bildqualität geändert haben. Wie in den Beispielen beschrieben, kann die Bewertung der Bildqualität in einigen Beispielen auf der Grundlage des Kontrasts oder der MTF erfolgen.
  • In verschiedenen Implementierungen bieten die vorliegenden Techniken einen wertvollen Rahmen für die Durchführung von kleinen Fokuskompensationen in maschinellen Sichtsystemen und anderen Bildgebungssystemen, die eine hohe Präzision erfordern und anfällig für Leistungsänderungen im Betrieb von Bildgebungsfokuselementen sind. Mit den vorliegenden Techniken können Fokussierungsparameter gemessen, mit einem Linsenverhaltensmodell verglichen und eine Linsenbaugruppe mit variabler Fokussierung in kleinen Fokussierungseinstellungen in der Größenordnung von einigen Dioptrien oder weniger angepasst werden. Die Kompensationsfokussierung kann anhand von Verhaltensmodellen für Alterung, thermische Bedingungen, Abweichung, Systemstartstatus, Systemeinschalt- und Ausschaltstatus oder anderen Faktoren bestimmt werden. In der Kamerabranche ist es üblich, mehrere Bilder zu erfassen und automatisch dasjenige mit der besten Qualität auszuwählen. Die gegenwärtigen Techniken vermeiden jedoch diese brachiale Kraft, das Raten, und können auf intelligente Weise die Fokussierung verfolgen und einen Fokussierungsverlauf auf der Grundlage einer Vielzahl von Linsenverhaltensmodellen anpassen, indem sie nach Merkmalen von Interesse in einem Bild oder Bildeigenschaften für ein Bild suchen, einschließlich von einem Benutzer definierter Merkmale, und deren Änderungen verfolgen, um die Leistung einer Linsenbaugruppe mit variablem Fokus im laufenden Betrieb anzupassen.
  • In einigen Beispielen kann der Prozess 200 dazu verwendet werden, einen kompensierten Fokussierungsdurchlaufbereich zu bestimmen, d. h. einen neuen Bereich von Fokussierungen, den das maschinelle Sichtsystem 102 durchläuft, um ein Objekt, wie die Objekte 104 und 106, abzubilden. Ein Fokussierbereich wird durch eine erste Fokusposition und eine zweite, andere Fokusposition definiert. Eine Fokusposition kann als vordere Fokusposition und die andere als hintere Fokusposition betrachtet werden, und im Betrieb kann das maschinelle Sichtsystem 102 den durch diese vordere und hintere Position definierten Fokusbereich bei der Erfassung eines Bildes des Objekts durchlaufen. Im Gegensatz zu einem herkömmlichen Autofokussystem ist dieser Fokussierungsdurchlaufbereich sehr klein, typischerweise weniger als +/-1 Dioptrie der optischen Leistung. In einigen Beispielen werden die vordere und die hintere Fokusposition relativ zu einer festen Fokusposition definiert, und diese vorderen und hinteren Fokuspositionen können sich bei Änderungen der Leistung der variablen Fokuslinsenbaugruppe ändern.
  • In verschiedenen Beispielen können die vorliegenden Techniken Linsenverhaltensmodelle nicht nur zur Kompensation von Abweichung, Temperatur, Zeit usw. bei der Bestimmung von kompensierten Fokusparametern und kompensierten Fokuspositionen verwenden, sondern auch zur Bestimmung von Fokusdurchlaufbereichen, die bei der Ermittlung der kompensierten Fokusposition verwendet werden. Beispielsweise kann das Linsenverhaltensmodell verwendet werden, um zu bestimmen, wo sich eine gewünschte Fokusposition für ein maschinelles Sichtsystem befindet, indem mit Hilfe eines Linsenverhaltensmodells ein begrenzter Bereich von Fokussierungspositionen bestimmt wird, der durchlaufen werden soll, und die sich daraus ergebende Leistung bewertet wird, um eine gewünschte Fokusposition zu identifizieren, wobei diese gewünschte Fokusposition eine kompensierte Position einer zuvor versuchten Fokusposition oder eine völlig neue gewünschte Fokusposition sein kann, wie sie sich beispielsweise beim Start eines maschinellen Sichtsystems ergeben kann.
  • Zur Kompensation von Änderungen im Fokusdurchlauf einer Linsenbaugruppe mit variablem Fokus kann ein Verfahren 400 in 4 verwendet werden. In einem Beispiel kann der Prozess 400 durch den Prozess 206 in 2 implementiert werden. In anderen Beispielen kann der Prozess 400 als eigenständiger Prozess implementiert werden. In einem Prozess 402 wird aus dem Vergleich mit dem Linsenverhaltensmodell, der als Prozess 204 durchgeführt wird, ein Fokussierungsdurchlaufbereich definiert, indem eine vordere Fokusposition vor der anfänglichen festen Fokusposition aus Prozess 202 ausgewählt wird. Des Weiteren kann eine hintere Fokusposition hinter dieser anfänglichen festen Fokusposition definiert werden. Der Prozess 402 kann diese Position unter Verwendung einer vorbestimmten +/- Fokuspositionsänderung definieren, z. B. gemessen in Millimetern vor und hinter der anfänglichen Fokusposition. In alternativen Beispielen kann der Prozess 402 stattdessen eine vordere Fokuspositionsspannung und eine hintere Fokuspositionsspannung definieren, wobei diese beiden Spannungen an eine einstellbare Linsenbaugruppe mit variablem Fokus angelegt werden, um die vordere und hintere Fokusposition zu erreichen.
  • Um eine kompensierte festen Fokusposition zu bestimmen, ermittelt der Prozess 400 in einigen Beispielen kompensierte vordere und hintere Fokuspositionen, um einen neuen Fokussierungsdurchlaufbereich zu erzeugen, wobei dieser neue Fokussierungsdurchlaufbereich zur Bestimmung der letztendlich kompensierten festen Fokusposition verwendet werden kann. Beispielsweise kann ein maschinelles Bildsystem im Laufe der Zeit eine derartige Leistungsverschlechterung aufweisen, dass eine Fokusposition, die ursprünglich vom System verwendet wurde, um Bilder zu erfassen, die zur Inspektion auf ein Förderband montiert wurden, nicht mehr die richtige Fokusposition ist. Durch Alterung oder veränderte thermische Bedingungen hat sich die Leistung einer Flüssigkeitslinse oder eines anderen Elements mit variablem Fokus verändert. Bei normalem Betrieb kann das maschinelle Sichtsystem bei dem Versuch, seine feste Fokusposition für die Bildgebung zu finden, einen kleinen Bereich von einer vorderen Fokusposition bis zu einer hinteren Fokusposition durchlaufen. Wenn sich jedoch die Leistung der Flüssigkeitslinse stark genug verändert hat, enthält der anfängliche Durchlaufbereich möglicherweise nicht mehr die gewünschte Fokusposition. Das heißt, die Leistungsänderung hat sich auch auf den Fokussierungsdurchlaufbereich ausgewirkt. Daraufhin werden in einem Prozess 404 aus dem Vergleich mit dem Linsenverhaltensmodell kompensierte vordere und hintere Fokuspositionen bestimmt. Alternativ dazu werden in einigen Beispielen aus dem Vergleich mit dem Linsenverhaltensmodell kompensierte vordere und hintere Fokuspositionsspannungen ermittelt. Beispielsweise kann das Linsenverhaltensmodell als thermisches Modell anzeigen, dass die vordere und hintere Fokusposition um +1 Dioptrie bzw. -1 Dioptrie unter einem aktuellen Temperaturparameterwert kompensiert werden sollte. In anderen Beispielen ist der Prozess 404 optional, so dass die kompensierten vorderen und hinteren Fokuspositionen nicht bestimmt werden, sondern stattdessen vorgegebene vordere und hintere Fokuspositionen verwendet werden können.
  • In einem Prozess 406 wird dann eine Vielzahl von Bildern eines Objekts in verschiedenen Fokuspositionen erfasst, indem die variablen Fokuselemente 118, z. B. eine Flüssigkeitslinse, von der kompensierten vorderen Fokusposition (oder Spannung) zur kompensierten hinteren Fokusposition (oder Spannung) bewegt werden. Die Bilder können in der vorderen und hinteren Fokusposition sowie in einer beliebigen Anzahl anderer Fokuspositionen dazwischen erfasst werden, je nach der Granularität der Einstellungen, die mit den variablen Fokuselementen 118 vorgenommen werden können, und der Geschwindigkeit, mit der das System eine feste Fokusposition bestimmen soll. Die Erfassung von Bildern kann einem Fokussierungsdurchlaufspannungsbereich entsprechen, so dass eine kompensierte Spannung an das variable Fokuselement 118 angelegt wird, um dessen Fokus von der vorderen zur hinteren Fokusposition zu verschieben. In einem Prozess 408 können diese Bilder analysiert werden, um ein optimales Bild und die entsprechende Fokusposition für dieses optimale Bild zu ermitteln. Diese Fokusposition wird dann durch den Prozess 408 als kompensierte feste Fokusposition (oder Spannung) festgelegt, die für zukünftige Bilderfassungen verwendet werden soll.
  • Obwohl der Prozess 400 als zur Bestimmung kompensierter Positionen beschrieben wird, kann der Prozess 400 zur Bestimmung von anfänglichen Positionen verwendet werden, d. h. einer anfänglichen vorderen Fokusposition, einer anfänglichen hinteren Fokusposition und einer anfänglichen festen Fokusposition. Die Anfangspositionen können beispielsweise bei der Inbetriebnahme eines maschinellen Sichtsystems bestimmt werden. In einem Beispiel können ein oder mehrere Fokusparameter beim Start bestimmt und mit einem oder mehreren Linsenverhaltensmodellen verglichen werden, wobei eine modifizierte Version von Prozess 402 verwendet wird. Eine anfängliche vordere Fokusposition und eine anfängliche hintere Fokusposition können dann bestimmt werden, z. B. bei Prozess 404, wonach Bilder eines Objekts bei verschiedenen Fokuspositionen über den resultierenden Fokussierungsdurchlaufbereich bei Prozess 406 erfasst werden und Prozess 408 die anfängliche feste Fokusposition bestimmt, die dem gewünschten dieser Bilder entspricht.
  • In einigen Beispielen wird daher ein maschinelles Sichtverfahren für ein maschinelles Sichtsystem mit einer einstellbaren Linsenbaugruppe mit variablem Fokus bereitgestellt. Eine oder mehrere aktuelle Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus werden identifiziert. Um diese aktuellen Betriebsbedingungen zu erreichen, wird für die Linsenbaugruppe ein erster Betriebsparameterwert festgelegt. Durch Vergleich dieser aktuellen Betriebsbedingungen mit einem Linsenverhaltensmodell wird ein Kompensationsparameterwertsatz bestimmt, um beispielsweise altersbedingte Veränderungen der Linsenbaugruppe zu kompensieren. Der Betriebsparameterwertsatz kann eine feste Fokusposition, einen Fokussierungsdurchlaufbereich oder Spannungswerte oder andere Werte enthalten, die mit der Steuerung des Betriebs eines Aktuators und/oder der Linsenbaugruppe verbunden sind.
  • Die obige Beschreibung bezieht sich auf ein Blockdiagramm in den beigefügten Zeichnungen. Alternative Ausführungsformen des im Blockdiagramm dargestellten Beispiels umfassen ein oder mehrere zusätzliche oder alternative Elemente, Verfahren und/oder Vorrichtungen. Zusätzlich oder alternativ können einer oder mehrere der Beispielblöcke des Diagramms kombiniert, geteilt, neu angeordnet oder weggelassen werden. Die durch die Blöcke des Diagramms dargestellten Komponenten werden durch Hardware, Software, Firmware und/oder eine beliebige Kombination von Hardware, Software und/oder Firmware implementiert. In einigen Beispielen wird mindestens eine der durch die Blöcke dargestellten Komponenten durch eine Logikschaltung implementiert. Wie hierin verwendet, ist der Begriff „Logikschaltung“ ausdrücklich als eine physische Vorrichtung definiert, die mindestens eine Hardwarekomponente enthält, die (z. B. durch den Betrieb gemäß einer vorbestimmten Konfiguration und/oder durch die Ausführung gespeicherter maschinenlesbarer Befehle) konfiguriert ist, um eine oder mehrere Maschinen zu steuern und/oder Operationen einer oder mehrerer Maschinen durchzuführen. Beispiele für Logikschaltungen sind ein oder mehrere Prozessoren, ein oder mehrere Ko-Prozessoren, ein oder mehrere Mikroprozessoren, ein oder mehrere Controller, ein oder mehrere digitale Signalprozessoren (DSPs), ein oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs), ein oder mehrere feldprogrammierbare Gate-Arrays (FPGAs), ein oder mehrere Mikrocontroller-Einheiten (MCUs), ein oder mehrere Hardware-Beschleuniger, ein oder mehrere Spezial-Computerchips und ein oder mehrere System-on-Chip-Bauteile (SoC). Einige Beispiel-Logikschaltungen, wie ASICs oder FPGAs, sind speziell konfigurierte Hardware zur Durchführung von Operationen (z. B. eine oder mehrere der hierin beschriebenen und in den Flussdiagrammen dieser Offenbarung dargestellten Operationen, falls solche vorhanden sind). Einige Beispiel-Logikschaltungen sind Hardware, die maschinenlesbare Befehle ausführt, um Operationen durchzuführen (z. B. eine oder mehrere der hierin beschriebenen und durch die Flussdiagramme dieser Offenbarung dargestellten Operationen, falls solche vorhanden sind). Einige Beispiel-Logikschaltungen umfassen eine Kombination aus speziell konfigurierter Hardware und Hardware, die maschinenlesbare Befehle ausführt. Die obige Beschreibung bezieht sich auf verschiedene hierin beschriebene Operationen und Flussdiagramme, die zur Veranschaulichung des Ablaufs dieser Operationen angehängt werden können. Alle derartigen Flussdiagramme sind repräsentativ für die hier offenbarten Beispielverfahren. In einigen Beispielen implementieren die durch die Flussdiagramme dargestellten Verfahren die durch die Blockdiagramme dargestellten Vorrichtungen. Alternative Implementierungen der hier offenbarten Beispielverfahren können zusätzliche oder alternative Operationen umfassen. Darüber hinaus können Operationen alternativer Implementierungen der hier offenbarten Verfahren kombiniert, aufgeteilt, neu angeordnet oder weggelassen werden. In einigen Beispielen werden die hier beschriebenen Operationen durch maschinenlesbare Anweisungen (z. B. Software und/oder Firmware) implementiert, die auf einem Medium (z. B. einem zugreifbaren maschinenlesbaren Medium) zur Ausführung durch eine oder mehrere Logikschaltungen (z. B. Prozessor(en)) gespeichert sind. In einigen Beispielen werden die hier beschriebenen Operationen durch eine oder mehrere Konfigurationen einer oder mehrerer speziell entwickelter Logikschaltungen (z. B. ASIC(s)) implementiert. In einigen Beispielen werden die hier beschriebenen Operationen durch eine Kombination aus speziell entwickelten Logikschaltungen und maschinenlesbaren Anweisungen, die auf einem Medium (z. B. einem zugreifbaren maschinenlesbaren Medium) zur Ausführung durch logische Schaltungen gespeichert sind, implementiert.
  • Wie hierin verwendet, ist jeder der Begriffe „zugreifbares maschinenlesbares Medium“, „nicht-transitorisches maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ ausdrücklich definiert als ein Speichermedium (z. B. eine Platte eines Festplattenlaufwerks, eine Digital Versatile Disc, eine Compact Disc, ein Flash-Speicher, ein Festwertspeicher, ein Speicher mit wahlfreiem Zugriff usw.), auf dem maschinenlesbare Anweisungen (z. B. Programmcode in Form von z. B. Software und/oder Firmware) für eine beliebige geeignete Zeitdauer (z. B. dauerhaft, für einen längeren Zeitraum (z. B. während der Ausführung eines mit den maschinenlesbaren Anweisungen verbundenen Programms) und/oder für einen kurzen Zeitraum (z. B. während der Zwischenspeicherung der maschinenlesbaren Anweisungen und/oder während eines Pufferungsprozesses)) gespeichert werden. Darüber hinaus sind die Begriffe „zugreifbares maschinenlesbares Medium“, „nicht-transitorisches maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“ hier ausdrücklich so definiert, dass sie die Übertragung von Signalen ausschließen. Das heißt, dass keiner der Begriffe „zugreifbares maschinenlesbares Medium“, „nicht-transitorisches maschinenlesbares Medium“ und „maschinenlesbare Speichervorrichtung“, wie sie in den Ansprüchen dieses Patents verwendet werden, so gelesen werden kann, als dass sie durch ein sich ausbreitendes Signal implementiert werden.
  • In der vorstehenden Beschreibung sind bestimmte Ausführungsformen beschrieben worden. Der Fachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen, wie er in den nachstehenden Ansprüchen dargelegt ist. Dementsprechend sind die Beschreibung und die Figuren eher illustrativ als einschränkend zu verstehen, und alle derartigen Modifikationen sollen in den Umfang der vorliegenden Lehre einbezogen werden. Darüber hinaus sollten die beschriebenen Ausführungsformen/Beispiele/Implementierungen nicht als sich gegenseitig ausschließend interpretiert werden, sondern als potenziell kombinierbar, wenn solche Kombinationen in irgendeiner Weise permissiv sind. Mit anderen Worten kann jedes Merkmal, das in einer der vorgenannten Ausführungsformen/Beispiele/Implementierungen offenbart wird, in jeder der anderen vorgenannten Ausführungsformen/Beispiele/Implementierungen enthalten sein.
  • Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
  • Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat“, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein“, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „konfiguriert“ ist, ist zumindest auch so konfiguriert, kann aber auch auf Arten konfiguriert sein, die nicht aufgeführt sind.
  • Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims (36)

  1. Verfahren zum Verfolgen eines Fokus eines auf einer einstellbaren Linse mit variablem Fokus basierenden Bildgebungssystems, wobei das Verfahren umfasst: Identifizieren einer anfänglichen festen Fokusposition einer einstellbaren Linsenbaugruppe mit variablem Fokus des Bildgebungssystems in dem Bildgebungssystem, um ein Bild eines Objekts zu erfassen; Bestimmen eines oder mehrerer Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus für die anfängliche feste Fokusposition und Vergleichen des einen oder der mehreren Fokussierungsparameter mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus; Bestimmen einer kompensierten festen Fokusposition des Bildgebungssystems basierend auf dem Vergleich mit dem Linsenverhaltensmodell; und Erfassen mindestens eines Bildes des Objekts an der kompensierten festen Fokusposition über das Bildgebungssystem.
  2. Verfahren nach Anspruch 1, wobei der eine oder die mehreren Fokussierungsparameter mindestens eines umfassen von Zeit, aktueller Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, einer der anfänglichen festen Fokusposition zugeordneten Spannung, einem der anfänglichen festen Fokusposition zugeordneten Spannungsverlauf und einer Modulationsübertragungsfunktion mindestens eines Teils eines Bildes, das von dem Bildgebungssystem an der anfänglichen festen Fokusposition erfasst wurde.
  3. Verfahren nach Anspruch 1, wobei das Bestimmen der kompensierten festen Fokusposition des Bildgebungssystems basierend auf dem Vergleich mit dem Linsenverhaltensmodell umfasst: basierend auf dem Vergleich mit dem Linsenverhaltensmodell, Identifizieren eines Fokussierungsdurchlaufbereichs, der durch eine vordere Fokusposition vor der anfänglichen festen Fokusposition und eine hintere Fokusposition hinter der anfänglichen festen Fokusposition definiert ist; Bestimmen einer kompensierten vorderen Fokusposition und einer kompensierten hinteren Fokusposition basierend auf dem Vergleich mit dem Linsenalterungsmodell; Erfassen einer Vielzahl von Bildern des Objekts über das Bildgebungssystem an Fokuspositionen bei und/oder zwischen der kompensierten vorderen Fokusposition und der kompensierten hinteren Fokusposition; und Bestimmen der kompensierten festen Fokusposition als eine der Fokuspositionen.
  4. Verfahren nach Anspruch 1, wobei die anfängliche feste Fokusposition einer anfänglichen Referenzspannung zugeordnet ist, und wobei das Bestimmen der kompensierten festen Fokusposition des Bildgebungssystems umfasst: basierend auf dem Vergleich mit dem Linsenverhaltensmodell eine vordere Fokuspositionsspannung und eine hintere Fokuspositionsspannung zu bestimmen; Erfassen einer Vielzahl von Bildern des Objekts an unterschiedlichen Fokuspositionen über das Bildgebungssystem durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung; und Bestimmen der kompensierten festen Fokusposition als eine der verschiedenen Fokuspositionen.
  5. Verfahren nach Anspruch 1, wobei die anfängliche feste Fokusposition einer anfänglichen Referenzspannung zugeordnet ist, und wobei das Bestimmen der kompensierten festen Fokusposition des Bildgebungssystems umfasst: Identifizieren eines Fokussierungsdurchlaufspannungsbereichs, der durch eine vordere Fokuspositionsspannung, die einer vorderen Fokusposition vor der anfänglichen festen Fokusposition entspricht, und durch eine hintere Fokuspositionsspannung, die einer hinteren Fokusposition hinter der anfänglichen festen Fokusposition entspricht, definiert ist; Bestimmen einer kompensierten vorderen Fokuspositionsspannung und einer kompensierten hinteren Fokuspositionsspannung basierend auf dem Vergleich mit dem Linsenverhaltensmodell; Erfassen einer Vielzahl von Bildern des Objekts an verschiedenen Fokuspositionen über das Bildgebungssystem durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung, wobei die verschiedenen Fokuspositionen zwischen +1 Dioptrie und -1 Dioptrie einer mittleren Fokusposition liegen; und Bestimmen der kompensierten festen Fokusposition als eine der verschiedenen Fokuspositionen.
  6. Verfahren nach Anspruch 1, ferner umfassend: Erfassen einer Vielzahl von Bildern von Objekten für eine maschinelle Sichtanalyse und Speichern eines oder mehrerer Fokussierungsparameter der einstellbaren Linse mit variablem Fokus für jedes der Vielzahl von Bildern, die für die maschinelle Sichtanalyse erfasst wurden; Bestimmen von Bildqualitätsänderungen, die über die Vielzahl der für die maschinelle Sichtanalyse erfassten Bilder auftreten; und Entwickeln eines Linsenverhaltensmodells basierend auf den Bildqualitätsänderungen, wobei die Bildqualitätsänderungen Änderungen im Kontrast oder in einer Modulationsübertragungsfunktion über ein Merkmal von Interesse in der Vielzahl der Bilder sind.
  7. Verfahren nach Anspruch 1, wobei das Linsenverhaltensmodell zeitbasierte Kompensationsdaten, temperaturbasierte Kompensationsdaten, dioptrienbasierte Kompensationsdaten, spannungsbasierte Kompensationsdaten, spannungsverlaufsbasierte Kompensationsdaten und/oder modulationsübertragungsfunktionsbasierte Kompensationsdaten umfasst.
  8. Verfahren nach Anspruch 1, wobei die einstellbare Linsenbaugruppe mit variablem Fokus eine Flüssigkeitslinse umfasst.
  9. Verfahren nach Anspruch 1, wobei das Linsenverhaltensmodell ein Alterungsmodell ist, das historische Daten für den einen oder die mehreren Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  10. Verfahren nach Anspruch 1, wobei das Linsenverhaltensmodell ein thermisches Modell ist, das thermische Daten für einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  11. Verfahren nach Anspruch 1, wobei das Linsenverhaltensmodell ein Abweichungsmodell ist, das Linsenabweichungsdaten für den einen oder die mehreren Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  12. Verfahren nach Anspruch 1, wobei das Vergleichen des einen oder der mehreren Fokussierungsparameter mit dem Linsenverhaltensmodell umfasst: Erfassen einer Vielzahl von Bildern des Objekts und Identifizieren eines Merkmals von Interesse in der Vielzahl von Bildern; Bestimmen einer Kontrast- oder Modulationsübertragungsfunktion, die dem Merkmal von Interesse für jedes der Vielzahl von Bildern entspricht; Bestimmen einer Änderung im Kontrast oder der Modulationsübertragungsfunktion zwischen der Vielzahl von Bildern; und Vergleichen der Änderung im Kontrast oder der Modulationsübertragungsfunktion mit dem Linsenverhaltensmodell und Bestimmen einer Änderung des einen oder der mehreren Fokussierungsparameter, die der Änderung im Kontrast oder der Modulationsübertragungsfunktion entspricht.
  13. Bildgebungssystem, umfassend: eine Bildgebungsbaugruppe mit einer einstellbaren Linsenbaugruppe mit variablem Fokus; einen oder mehrere Prozessoren; und einen nicht-transitorischen, maschinenlesbaren Speicher, der maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: eine anfängliche feste Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus zum Erfassen eines Bildes eines Objekts zu identifizieren; einen oder mehrere Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus für die anfängliche feste Fokusposition zu bestimmen und den einen oder die mehreren Fokussierungsparameter mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus zu vergleichen; eine kompensierte feste Fokusposition des Bildgebungssystems basierend auf dem Vergleich mit dem Linsenverhaltensmodell zu bestimmen; und mindestens ein Bild des Objekts an der kompensierten festen Fokusposition zu erfassen.
  14. Bildgebungssystem nach Anspruch 13, wobei der eine oder die mehreren Fokussierungsparameter mindestens eines umfassen von Zeit, aktueller Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, einer Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, einer der anfänglichen festen Fokusposition zugeordnete Spannung, einem der anfänglichen festen Fokusposition zugeordneten Spannungsverlauf und einer Modulationsübertragungsfunktion eines vom Bildgebungssystem an der anfänglichen festen Fokusposition erfassten Bildes.
  15. Bildgebungssystem nach Anspruch 13, wobei der Speicher weitere maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das bildgebende System veranlassen, um: Basierend auf dem Vergleich mit dem Linsenverhaltensmodell einen Fokussierungsdurchlaufbereich zu identifizieren, der durch eine vordere Fokusposition vor der anfänglichen festen Fokusposition und eine hintere Fokusposition hinter der anfänglichen festen Fokusposition definiert ist; Bestimmen einer kompensierten vorderen Fokusposition und einer kompensierten hinteren Fokusposition basierend auf dem Vergleich mit dem Linsenverhaltensmodell; Erfassen einer Vielzahl von Bildern des Objekts an Fokuspositionen an und/oder zwischen der kompensierten vorderen Fokusposition und der kompensierten hinteren Fokusposition; und Bestimmen der kompensierten festen Fokusposition als eine der Fokuspositionen.
  16. Bildgebungssystem nach Anspruch 13, wobei der Speicher weitere maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: basierend auf dem Vergleich mit dem Linsenverhaltensmodell eine vordere Fokuspositionsspannung und eine hintere vordere Position zu bestimmen; und eine Vielzahl von Bildern des Objekts bei verschiedenen Fokuspositionen zu erfassen, durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung; und die kompensierte feste Fokusposition als eine der verschiedenen Fokuspositionen zu bestimmen.
  17. Bildgebungssystem nach Anspruch 13, wobei die anfängliche feste Fokusposition einer anfänglichen Referenzspannung zugeordnet ist, wobei der Speicher weitere maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: einen Fokussierungsdurchlaufspannungsbereichs zu identifizieren, der durch eine vordere Fokuspositionsspannung, die einer vorderen Fokusposition vor der anfänglichen festen Fokusposition entspricht, und durch eine hintere Fokuspositionsspannung, die einer hinteren Fokusposition hinter der anfänglichen festen Fokusposition entspricht, definiert ist; eine kompensierte vordere Fokuspositionsspannung und eine kompensierte hintere Fokuspositionsspannung basierend auf dem Vergleich mit dem Linsenverhaltensmodell zu bestimmen; eine Vielzahl von Bildern des Objekts bei verschiedenen Fokuspositionen zu erfassen, durch Durchlaufen des Bildgebungssystems über Spannungen bei und/oder zwischen der vorderen Fokuspositionsspannung und der hinteren Fokuspositionsspannung; und die kompensierte feste Fokusposition als eine der verschiedenen Fokuspositionen zu bestimmen.
  18. Bildgebungssystem nach Anspruch 13, wobei der Speicher weitere maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: eine Vielzahl von Bildern von Objekten für eine maschinelle Sichtanalyse zu erfassen und einen oder mehrere Fokussierungsparameter der einstellbaren Linse mit variablem Fokus für jedes der Vielzahl von Bildern, die für die maschinelle Sichtanalyse erfasst wurden, zu speichern; Bildqualitätsänderungen zu bestimmen, die über die Vielzahl der für die maschinelle Sichtanalyse erfassten Bilder auftreten; und ein Linsenverhaltensmodell basierend auf den Bildqualitätsänderungen zu entwickeln, wobei die Bildqualitätsänderungen Änderungen im Kontrast oder der Modulationsübertragungsfunktion über ein Merkmal von Interesse in der Vielzahl der Bilder sind.
  19. Bildgebungssystem nach Anspruch 13, wobei das Linsenverhaltensmodell zeitbasierte Kompensationsdaten, temperaturbasierte Kompensationsdaten, dioptrienbasierte Kompensationsdaten, spannungsbasierte Kompensationsdaten, spannungsverlaufsbasierte Kompensationsdaten und/oder modulationsübertragungsfunktionsbasierte Kompensationsdaten umfasst.
  20. Bildgebungssystem nach Anspruch 13, wobei das Linsenverhaltensmodell ein Alterungsmodell ist, das historische Daten für den einen oder die mehreren Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  21. Bildgebungssystem nach Anspruch 13, wobei das Linsenverhaltensmodell ein thermisches Modell ist, das thermische Daten für den einen oder die mehreren Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  22. Bildgebungssystem nach Anspruch 13, wobei das Linsenverhaltensmodell ein Abweichungsmodell ist, das Linsenabweichungsdaten für den einen oder die mehreren Fokussierungsparameter der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst.
  23. Bildgebungssystem nach Anspruch 13, wobei der Speicher weitere maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das Bildgebungssystem veranlassen, um: eine Vielzahl von Bildern des Objekts zu erfassen und ein Merkmal von Interesse in der Vielzahl von Bildern zu identifizieren; eine Kontrast- oder Modulationsübertragungsfunktion zu bestimmen, die dem Merkmal von Interesse für jedes der Vielzahl von Bildern entspricht; und eine Änderung im Kontrast oder der Modulationsübertragungsfunktion zwischen der Vielzahl von Bildern zu bestimmen und eine Änderung des einen oder der mehreren Fokussierungsparameter entsprechend der Änderung des Kontrasts oder der Modulationsübertragungsfunktion zu bestimmen; und die Änderung im Kontrast oder der Modulationsübertragungsfunktion mit dem Linsenverhaltensmodell zu vergleichen.
  24. Bildgebungssystem nach Anspruch 13, wobei die einstellbare Linsenbaugruppe mit variablem Fokus eine Flüssigkeitslinse umfasst.
  25. Bildgebungssystem nach Anspruch 13, wobei die Bildgebungsbaugruppe ein Strichcodeleser ist.
  26. Bildgebungssystem nach Anspruch 13, wobei die Bildgebungsbaugruppe ein maschinelles Sichtsystem ist.
  27. Maschinelles Sichtverfahren, umfassend: Identifizieren, in einem maschinellen Sichtsystem mit einer einstellbaren Linsenbaugruppe mit variablem Fokus, eines oder mehrerer aktueller Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus, wobei die einstellbare Linsenbaugruppe mit variablem Fokus einen ersten Betriebsparameterwertsatz aufweist; Vergleichen der einen oder mehreren aktuellen Betriebsbedingungen mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus; als Reaktion auf den Vergleich, Bestimmen eines Kompensationsparameterwertsatzes zum Kompensieren von altersbedingten Änderungen an der einstellbaren Linsenbaugruppe mit variablem Fokus; und Erfassen mindestens eines Bildes eines Objekts über das maschinelle Sichtsystem unter Verwendung des Kompensationsparameterwertsatzes.
  28. Maschinelles Sichtverfahren nach Anspruch 27, wobei die eine oder die mehreren aktuellen Betriebsbedingungen des maschinellen Sichtsystems mindestens eines umfassen von Zeit, aktueller Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, einer Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, einer der anfänglichen festen Fokusposition zugeordneten Spannung, einem Spannungsverlauf der einstellbaren Linsenbaugruppe mit variablem Fokus und einer Modulationsübertragungsfunktion eines von der einstellbaren Linsenbaugruppe mit variablem Fokus erfassten Bildes.
  29. Maschinelles Sichtverfahren nach Anspruch 27, wobei der erste Betriebsparameterwertsatz eine erste feste Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst und wobei der Kompensationsparameterwertsatz eine kompensierte feste Fokusposition umfasst, die sich von der ersten festen Fokusposition unterscheidet.
  30. Maschinelles Sichtverfahren nach Anspruch 27, wobei der erste Betriebsparameterwertsatz einen Fokussierungsdurchlaufabstandsbereich umfasst, und wobei der Kompensationsparameterwertsatz einen kompensierten Fokussierungsdurchlaufabstandsbereich umfasst, der sich von dem Fokussierungsdurchlaufabstandsbereich unterscheidet.
  31. Maschinelles Sichtverfahren nach Anspruch 27, wobei der erste Betriebsparameterwertsatz eine Spannung umfasst, die einer ersten festen Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus zugeordnet ist, und wobei der Kompensationsparameterwertsatz eine kompensierte Spannung umfasst, die einer kompensierten festen Fokusposition zugeordnet ist, die sich von der ersten festen Fokusposition unterscheidet.
  32. Maschinelles Sichtsystem, umfassend: eine Bildgebungsbaugruppe mit einer einstellbaren Linsenbaugruppe mit variablem Fokus; einen oder mehrere Prozessoren; und einen nicht transitorischen, maschinenlesbaren Speicher, der maschinenlesbare Befehle speichert, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, das maschinelle Sichtsystem veranlassen, um: einen oder mehrere aktuelle Betriebsbedingungen der einstellbaren Linsenbaugruppe mit variablem Fokus zu identifizieren, wobei die einstellbare Linsenbaugruppe mit variablem Fokus einen ersten Betriebsparameterwertsatz aufweist; den einen oder die mehreren aktuellen Betriebsbedingungen mit einem Linsenverhaltensmodell für die einstellbare Linsenbaugruppe mit variablem Fokus zu vergleichen; und als Reaktion auf den Vergleich einen Kompensationsparameterwertsatz zur Kompensation von altersbedingten Änderungen an der einstellbaren Linsenbaugruppe mit variablem Fokus zu bestimmen; und über das maschinelle Sichtsystem mindestens ein Bild eines Objekts unter Verwendung des Kompensationsparameterwertsatzes zu erfassen.
  33. Maschinelles Sichtsystem nach Anspruch 32, wobei die eine oder die mehreren aktuellen Betriebsbedingungen des maschinellen Sichtsystems mindestens eines umfassen von Zeit, aktueller Temperatur der einstellbaren Linsenbaugruppe mit variablem Fokus, einer Dioptrie der einstellbaren Linsenbaugruppe mit variablem Fokus, einer der anfänglichen festen Fokusposition zugeordneten Spannung, einem Spannungsverlauf der einstellbaren Linsenbaugruppe mit variablem Fokus und einer Modulationsübertragungsfunktion eines von der einstellbaren Linsenbaugruppe mit variablem Fokus erfassten Bildes.
  34. Maschinelles Sichtsystem nach Anspruch 32, wobei der erste Betriebsparameterwertsatz eine erste feste Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus umfasst und wobei der Kompensationsparameterwertsatz eine kompensierte feste Fokusposition umfasst, die sich von der ersten festen Fokusposition unterscheidet.
  35. Maschinelles Sichtsystem nach Anspruch 32, wobei der erste Betriebsparameterwertsatz einen Fokussierungsdurchlaufabstandsbereich umfasst, und wobei der Kompensationsparameterwertsatz einen kompensierten Fokussierungsdurchlaufabstandsbereich umfasst, der sich von dem Fokussierungsdurchlaufabstandsbereich unterscheidet.
  36. Maschinelles Sichtsystem nach Anspruch 32, wobei der erste Betriebsparameterwertsatz eine Spannung umfasst, die einer ersten festen Fokusposition der einstellbaren Linsenbaugruppe mit variablem Fokus zugeordnet ist, und wobei der Kompensationsparameterwertsatz eine kompensierte Spannung umfasst, die einer kompensierten festen Fokusposition zugeordnet ist, die sich von der ersten festen Fokusposition unterscheidet.
DE112021001751.9T 2020-03-19 2021-03-19 Intelligentes verfahren zur verfolgung eines fokus in maschinellen sichtanwendungen Pending DE112021001751T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/824,368 2020-03-19
US16/824,368 US11221461B2 (en) 2020-03-19 2020-03-19 Intelligent method of tracking focus in machine vision applications
PCT/US2021/023316 WO2021188995A1 (en) 2020-03-19 2021-03-19 Intelligent method of tracking focus in machine vision applications

Publications (1)

Publication Number Publication Date
DE112021001751T5 true DE112021001751T5 (de) 2022-12-29

Family

ID=77747936

Family Applications (2)

Application Number Title Priority Date Filing Date
DE212021000344.3U Active DE212021000344U1 (de) 2020-03-19 2021-03-19 Bildgebungssystem
DE112021001751.9T Pending DE112021001751T5 (de) 2020-03-19 2021-03-19 Intelligentes verfahren zur verfolgung eines fokus in maschinellen sichtanwendungen

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE212021000344.3U Active DE212021000344U1 (de) 2020-03-19 2021-03-19 Bildgebungssystem

Country Status (9)

Country Link
US (1) US11221461B2 (de)
EP (2) EP4170424A1 (de)
JP (1) JP7478834B2 (de)
KR (1) KR20220154794A (de)
CN (1) CN115552331A (de)
DE (2) DE212021000344U1 (de)
GB (1) GB2608763A (de)
MX (1) MX2022011468A (de)
WO (1) WO2021188995A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367220B1 (en) * 2020-08-27 2022-06-21 Edge 3 Technologies Localization of lens focus parameter estimation and subsequent camera calibration

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228903A (ja) 2001-01-30 2002-08-14 Olympus Optical Co Ltd 光学ユニット
US8487228B2 (en) 2009-03-31 2013-07-16 Cognex Corporation System for adjusting focus of a liquid lens in a machine vision system
JP6101074B2 (ja) * 2012-12-27 2017-03-22 キヤノン株式会社 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体
US10178321B2 (en) 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
DE102014104029B3 (de) * 2014-03-24 2015-04-23 Sick Ag Optoelektronische Vorrichtung und Verfahren zur Aufnahme von scharfen Bildern
CA2963292A1 (en) 2014-10-03 2016-04-07 Andra Motion Technologies Inc. System and techniques for image capture
US9977216B2 (en) * 2016-07-14 2018-05-22 Microsoft Technology Licensing, Llc Passive lens athermalization using liquid lens
US10341646B2 (en) 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
US10679024B2 (en) 2018-07-24 2020-06-09 Cognex Corporation System and method for auto-focusing a vision system camera on barcodes

Also Published As

Publication number Publication date
JP7478834B2 (ja) 2024-05-07
EP4121818A1 (de) 2023-01-25
EP4170424A1 (de) 2023-04-26
DE212021000344U1 (de) 2022-12-14
KR20220154794A (ko) 2022-11-22
EP4121818A4 (de) 2024-05-01
GB202215073D0 (en) 2022-11-30
JP2023518256A (ja) 2023-04-28
WO2021188995A1 (en) 2021-09-23
US20210294071A1 (en) 2021-09-23
CN115552331A (zh) 2022-12-30
GB2608763A (en) 2023-01-11
MX2022011468A (es) 2023-02-14
US11221461B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
DE102014102080B4 (de) Verfahren zur Bildaufnahme und Bildaufnahmesystem
EP3178036B1 (de) Fahrerassistenzsystem
DE102022116204B4 (de) Verfahren zum Unterscheiden zwischen Fokusabweichung und einer Änderung in einem Abstand zu einem Ziel bei Linsen mit variablem Fokus
DE102019119985A1 (de) System und verfahren zum autofokussieren einer sichtsystemkamera auf barcodes
DE102014107143B4 (de) System und Verfahren zur Messung der Verschiebung einer Objektoberfläche
DE102014211657A1 (de) Verbesserung der Reproduzierbarkeit der Fokushöhe in einem Bildverarbeitungs-Inspektionssystem
DE102014207095A1 (de) Kantenmessungs-Videowerkzeug mit robustem Kantenunterscheidungs-Spielraum
DE102020126227A1 (de) Verfahren und Systeme zur Fokussierung eines Bildgebers für maschinelle Bildverarbeitungsanwendungen
DE102014218054A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren, Programm und optische Messvorrichtung
DE102017220106A1 (de) Erweitern eines fokussuchbereichs in einem bildgebungssystem mit einer linse mit einer mit hochgeschwindigkeit variablen brennweite
DE102015119400A1 (de) Mehrfachkameravorrichtung und Verfahren zum synchronisierten Autofokussieren
DE102012216908A1 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
DE102015106844A1 (de) System und Verfahren zur Verringerung des Drifts in einer variablen Linse eines Sichtsystems
DE102019206042A1 (de) Linsensystem mit variabler brennweite mit quasi-sinusförmigem periodischen intensitätsmodulierten licht
DE102021115575A1 (de) Fokusstabilisierung eines bildgebungssystems mit einer linse mit variablem fokus
DE102015103785A1 (de) Verfahren und Vorrichtung zur Kalibration einer Kamera
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102020109928B3 (de) Kamera und Verfahren zur Erfassung von Bilddaten
DE102010006146B4 (de) System und Verfahren zum Durchführen von optischer Navigation unter Verwendung von verbesserten Frames von Bilddaten
DE112021001751T5 (de) Intelligentes verfahren zur verfolgung eines fokus in maschinellen sichtanwendungen
DE102015118278A1 (de) Verfahren und System zur Vergrößerungskorrektur aus mehreren Fokusebenen
DE112008000263B4 (de) Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik
DE102018123574A1 (de) Bildgebungvorrichtungen mit zielsystemen
DE102022116156A1 (de) Verfahren zum erkennen und korrigieren einer fokusabweichung einer linse mit variablem fokus für anwendungen mit festem fokus
DE102023115998A1 (de) System und verfahren zur hochgeschwindigkeits-autofokussierung eines mikroskops

Legal Events

Date Code Title Description
R012 Request for examination validly filed