DE112008000263T5 - Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik - Google Patents

Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik Download PDF

Info

Publication number
DE112008000263T5
DE112008000263T5 DE112008000263T DE112008000263T DE112008000263T5 DE 112008000263 T5 DE112008000263 T5 DE 112008000263T5 DE 112008000263 T DE112008000263 T DE 112008000263T DE 112008000263 T DE112008000263 T DE 112008000263T DE 112008000263 T5 DE112008000263 T5 DE 112008000263T5
Authority
DE
Germany
Prior art keywords
focus
focus image
image
metric
shifted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112008000263T
Other languages
English (en)
Other versions
DE112008000263B4 (de
Inventor
Ayelet Pnueli
Mani Fischer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of DE112008000263T5 publication Critical patent/DE112008000263T5/de
Application granted granted Critical
Publication of DE112008000263B4 publication Critical patent/DE112008000263B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

Ein Verfahren (200), das folgende Schritte aufweist:
Empfangen (202) eines Fokussierbilds;
Verschieben (204) des Fokussierbilds, um ein verschobenes Fokussierbild zu erhalten; und
Berechnen (206) einer Fokusmetrik des Fokussierbilds aus dem Fokussierbild und dem verschobenen Fokussierbild, wobei die Fokusmetrik für eine Verwendung als ein Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung konfiguriert ist.

Description

  • Hintergrund
  • Die meisten modernen Kameras sehen einen gewissen Mechanismus für eine automatische Fokuseinstellung vor. Der Mechanismus zur automatischen Fokuseinstellung umfasst typischerweise eine elektronische Steuerung und eine motorisierte Linsenanordnung. Die elektronische Steuerung implementiert typischerweise einen Algorithmus, der eine Mehrzahl von Fokussierbildern vergleicht, die an mehreren Fokuspositionen vorgesehen sind. Die mehreren Fokuspositionen werden durch schrittweises Bewegen der motorisierten Linsenanordnung durch eine Mehrzahl von Linsenfokuspositionen erhalten, wodurch der Fokuspunkt für jedes der Fokussierbilder verändert wird.
  • Es wird eine Berechnung an einer Region von jedem der Fokussierbilder durchgeführt, um eine Gütezahl (FOM, figure of merit) zu liefern, die auf gewisse Weise die Nähe der Fokussierbilder an der korrekten Fokusposition darstellt. Es gibt eine Anzahl unterschiedlicher FOMs, die für unterschiedliche Anwendungen verwendet werden. Bei einem Beispiel umfasst die FOM-Berechnung einen Kantenerfassungsalgorithmus über die Region und eine Summierung aller sich ergebenden Werte. Typischerweise wird das Bild, das die Linsenfokusposition darstellt, die den maximalen Wert liefert (beispielsweise die Summe der Kantenerfassungen), als der optimierte Fokuspunkt zum Erhalten eines Bilds behandelt.
  • Bei einem anderen Beispiel dient die räumliche Varianz des Bildes als die FOM. Wenn die Linse unscharf ist, ist die Unschärfe wie ein räumliches Tiefpassfilter wirksam, wobei die Varianz verringert wird. Die räumliche Varianz ist daher maximiert, wenn sich die Linse scharf eingestellt. Die räumliche Varianz FOM hängt von dem Szenenbeleuchtungspegel sowie von dem Szeneninhalt und einer Linsenfokuseinstellung ab. Die Variation der FOM mit einer Beleuchtungsintensität kann bewirken, dass der Fokussteueralgorithmus ausfällt, falls sich der Beleuchtungspegel mit der Zeit verändert, wie in dem Fall fluoreszierender Lichter. Falls der Fokussteueralgorithmus einer Fokus-FOM-Veränderung gegenübersteht, die durch eine Beleuchtungsvariation bewirkt ist, wird der Fokussteueralgorithmus dieselbe typischerweise als einen Fehler bei einer Fokusposition interpretieren und wird eine fehlerhafte Korrektur an der Fokusposition vornehmen.
  • Die herkömmlichen FOMs, die durch Fokussteueralgorithmen implementiert werden, verhalten sich relativ gut unter Idealbedingungen, wie beispielsweise wenn die Fokussierbilder relativ große Objekte enthalten, wenn es wenig oder kein Rauschen gibt und wenn die Fokussierbilder bei einer konstanten Beleuchtung aufgenommen sind. Idealbedingungen werden jedoch häufig nicht angetroffen und somit sind Fokussteueralgorithmen, die die herkömmlichen FOMs einsetzen, typischerweise durch diese Bedingungen negativ vorgespannt, was häufig zu suboptimalen Fokuspositionen zum Erhalten von Bildern führt. Um beispielsweise die Zeit zu minimieren, die erforderlich ist, um einen Vorgang zum automatischen Fokussieren durchzuführen, werden Fokussierbilder über eine relativ kurze Zeitperiode erhalten, wodurch bewirkt wird, dass Fokussierbilder typischerweise eine relativ große Menge Rauschen enthalten. Rauschen spielt deshalb eine entscheidende Rolle bei einem Bestimmen herkömmlicher Gütezahlen.
  • Kurze Beschreibung der Zeichnungen
  • Merkmale der vorliegenden Erfindung werden Fachleuten auf dem Gebiet aus der folgenden Beschreibung unter Bezugnahme auf die Figuren offensichtlich, in denen:
  • 1 ein Blockdiagramm einer Vorrichtung zum automatischen Fokussieren, die konfiguriert ist, um verschiedene Ausführungsbeispiele zu implementieren, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
  • 2A ein Flussdiagramm eines Verfahrens zum Berechnen einer Fokusmetrik eines Bilds gemäß einem Ausführungsbeispiel der Erfindung zeigt; und
  • 2B eine detailliertere Darstellung eines Schritts eines Berechnens einer Fokusmetrik, der in 2A gezeigt ist, gemäß einem Ausführungsbeispiel der Erfindung zeigt.
  • Detaillierte Beschreibung
  • Der Einfachheit halber und zu veranschaulichenden Zwecken wird die vorliegende Erfindung hauptsächlich unter Bezugnahme auf ein exemplarisches Ausführungsbeispiel derselben beschrieben. In der folgenden Beschreibung sind zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Erfindung zu liefern. Einem Durchschnittsfachmann auf dem Gebiet wird jedoch offensichtlich, dass die vorliegende Erfindung ohne eine Einschränkung auf diese spezifischen Einzelheiten praktiziert werden kann. In anderen Fällen wurden gut bekannte Verfahren und Strukturen nicht detailliert beschrieben, um die vorliegende Erfindung nicht unnötig zu verschleiern.
  • Hierin sind ein Verfahren und eine Vorrichtung zum Berechnen einer Fokusmetrik für ein Fokussierbild offenbart. Das Fokussierbild kann im Allgemeinen ein Bild aufweisen, das an einer speziellen Linsenfokusposition aufgenommen ist, die eine Bilderzeugungsvorrichtung, wie beispielsweise eine Kamera, bei einem Durchführen automatischer Fokussiervorgänge verwenden kann. Die Fokusmetrik ist konfiguriert, um sich bei den meisten Bildarten gut zu verhalten, von Bildern, die detaillierte Texturen enthalten, bis hin zu Bildern, die große, getrennte Objekte enthalten, sowie von Bildern mit geringem Kontrast bis hin zu Bildern mit hohem Kontrast. Die Fokusmetrik ist ferner konfiguriert, um sich bei verschiedenen Beleuchtungsbedingungen gut zu verhalten, von niedrigen bis hin zu hohen Rauschpegeln, sowie von stetigen bis hin zu fluktuierenden Beleuchtungsbedingungen. Die Fokusmetrik ist ferner konfiguriert, um relativ empfindlich zu sein, wodurch ermöglicht wird, dass Informationen selbst in Situationen bestimmt werden können, in denen sich das Fokussierbild relativ weit weg von einem Fokus befindet. Die Fokusmetrik ist ferner konfiguriert, um relativ unempfindlich gegenüber Hardware-Veränderungen zu sein, und erfordert daher keine Feineinstellung bei jedem Mal, wenn die Hardware verändert wird.
  • Gemäß einem Beispiel kann eine „unvorgespannte” Fokusmetrik eines Fokussierbilds aus dem Fokussierbild und einer verschobenen Version des Fokussierbilds berechnet werden. Der Begriff „unvorgespannt” bezieht sich im Allgemeinen auf die Eigenschaft, dass der Erwartungswert der berechneten Fokusmetrik unabhängig von dem Rauschpegel und den Beleuchtungsbedingungen ist.
  • Mit Bezug auf 1 ist ein Blockdiagramm einer Vorrichtung 100 zum automatischen Fokussieren, die konfiguriert ist, um verschiedene Ausführungsbeispiele der Erfindung zu implementieren, gemäß einem Beispiel gezeigt. Es sollte klar sein, dass die folgende Beschreibung der Vorrichtung 100 zum automatischen Fokussieren nur eine Art und Weise von einer Vielfalt unterschiedlicher Arten und Weisen ist, in denen die Vorrichtung 100 zum automatischen Fokussieren konfiguriert sein kann. Zusätzlich sollte klar sein, dass die Vorrichtung 100 zum automatischen Fokussieren zusätzliche Komponenten umfassen kann und dass einige der Komponenten, die hierin beschrieben sind, entfernt und/oder modifiziert werden können, ohne von einem Schutzbereich der Vorrichtung 100 zum automatischen Fokussieren abzuweichen.
  • Die Vorrichtung 100 zum automatischen Fokussieren kann eine eigenständige Vorrichtung aufweisen oder dieselbe kann für eine Verwendung in einer anderen Komponente konfiguriert sein, wie beispielsweise einer Bilderzeugungsvorrichtung. Geeignete Arten von Bilderzeugungsvorrichtungen können beispielsweise Digitalkameras, Analogkameras, Videorekorder, Teleskope, Mikroskope oder eine andere Art einer Bilderzeugungsvorrichtung umfassen, die konfiguriert ist, um automatische Fokussiervorgänge durchzuführen.
  • Wie es in 1 gezeigt ist, ist die Vorrichtung 100 zum automatischen Fokussieren konfiguriert, um ein Bild 102 durch eine Linse 104 zu empfangen. Obwohl die Linse 104 als eine einzige Linse dargestellt wurde, kann sich die Linse 104 auf mehrere Linsen beziehen. Zusätzlich kann die Linse 104 durch einen Betrieb eines Linsenmotors 106 manipuliert werden, um den Brennpunkt der Linse 104 zu variieren.
  • Eine Steuerung 108 kann das Bild 102 von der Linse 104 empfangen. Das Bild 102 kann ein Fokussierbild aufweisen, das die Steuerung 108 bei einem Betreiben des Linsenmotors 106 einsetzen kann, um den Brennpunkt der Linse 104 zu variieren. Wie es hierin unten mit Bezug auf 2 ausführlicher beschrieben ist, kann die Steuerung 108 das Bild 102 verarbeiten, um eine Fokusmetrik des Bilds 102 zu bestimmen. Die Fokusmetrik des Bilds 102 kann als eine Gütezahl oder ein anderer Wert definiert sein, der verwendet werden kann, um das Fokussierbild gemäß der Nähe desselben an einem echten Fokus einzustufen. Die Fokusmetrik kann daher für eine Verwendung als ein Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung konfiguriert sein.
  • Die Steuerung 108 kann eine Rechenvorrichtung aufweisen, beispielsweise eine Mikroprozessor, eine Mikrosteuerung, eine anwendungsspezifische integrierte Schaltung (ASIC, application specific integrated circuit), oder dergleichen, die konfiguriert ist, um verschiedene Verarbeitungsfunktionen durchzuführen. Zusätzlich oder alternativ kann die Steuerung 108 eine Software aufweisen, die in irgendeiner von einer Anzahl von Rechenvorrichtungen wirksam ist.
  • In jeder Hinsicht kann die Steuerung 108 eine Software und/oder andere Algorithmen implementieren, die auf einer Speichervorrichtung (nicht gezeigt) gespeichert sind. Die Speichervorrichtung kann beispielsweise einen flüchtigen oder nichtflüchtigen Speicher aufweisen, wie beispielsweise einen DRAM, EEPROM, MRAM, einen Flash-Speicher und dergleichen. Zusätzlich oder alternativ kann die Software und/oder der andere Algorithmus auf einem entfernbaren Medium gespeichert sein, wie beispielsweise einer Diskette, einer CD-ROM, einer DVD-ROM oder anderen optischen oder magnetischen Medien. Die Software und/oder der andere Algorithmus können entfernt positioniert sein und die Steuerung 108 kann auf die Software und/oder den anderen Algorithmus über ein Netzwerk, wie beispielsweise ein Intranet, das Internet etc., zugreifen und dieselben implementieren.
  • Einige der Vorgänge, die durch die Steuerung 108 durchgeführt werden, sind mit Bezug auf 2A gezeigt und beschrieben. 2A zeigt genauer gesagt ein Flussdiagramm eines Verfahrens 200 zum Berechnen einer Fokusmetrik eines Bilds gemäß einem Beispiel. Durchschnittsfachleuten auf dem Gebiet sollte es ersichtlich sein, dass das Verfahren 200 eine verallgemeinerte Darstellung darstellt und dass andere Schritte hinzugefügt oder bestehende Schritte entfernt, modifiziert oder neu angeordnet werden können, ohne von einem Schutzbereich des Verfahrens 200 abzuweichen.
  • Die Beschreibung des Verfahrens 200 wird unter Bezugnahme auf die in 1 dargestellte Vorrichtung 100 zum automatischen Fokussieren abgegeben und nimmt somit Bezug auf die Elemente, die in derselben angegeben sind. Es sollte jedoch klar sein, dass das Verfahren 200 nicht auf die bei der Vorrichtung 100 zum automatischen Fokussieren dargelegten Elemente begrenzt ist. Anstelle dessen sollte klar sein, dass das Verfahren 200 durch eine Fokussiervorrichtung praktiziert werden kann, die eine unterschiedliche Konfiguration als die in 1 dargelegte aufweist.
  • Bei einem Schritt 202 kann die Steuerung 108 ein Fokussierbild empfangen, das die Steuerung 108 bei einem Vornehmen von Bestimmungen einer automatischen Fokuseinstellung verarbeiten kann. Bei einem Schritt 204 kann die Steuerung 108 das Fokussierbild verschieben, um ein verschobenes Fokussierbild zu erhalten. Genauer gesagt kann beispielsweise die Steuerung 108 das Fokussierbild um zumindest ein Pixel in zumindest eine von einer horizontalen und einer vertikalen Richtung verschieben, um das verschobene Fokussierbild zu entwickeln. Bei einem anderen Beispiel kann die Steuerung 108 das Fokussierbild sowohl in die horizontale als auch die vertikale Richtung verschieben, um das verschobene Fokussierbild zu erhalten. Bei einem anderen Beispiel kann die Steuerung 108 das Fokussierbild um einen Abstand von einem Pixel in die horizontale Richtung und einen Abstand von einem Pixel in die vertikale Richtung verschieben, um das verschobene Fokussierbild zu erhalten.
  • Obwohl der Schritt 204 darlegt, dass das Fokussierbild verschoben wird, sollte klar sein, dass das Verschieben auf rein rechnerische Weise durchgeführt werden kann. An sich kann beispielsweise ein Pixel (n + 1) in dem verschobenen Fokussierbild als eine verschobene Version des Pixels (n) in dem Fokussierbild betrachtet werden. Der Schritt 204 sollte deshalb nicht so aufgefasst werden, dass derselbe erfordert, dass ein getrenntes Fokussierbild entwickelt werden muss.
  • In jeder Hinsicht kann die Steuerung 108 eine Fokusmetrik des Fokussierbilds bei einem Schritt 206 aus sowohl dem Fokussierbild als auch dem verschobenen Fokussierbild berechnen. Die Fokusmetrik des Fokussierbilds kann eine Gütezahl oder einen anderen Wert bezeichnen, der verwendet werden kann, um das Fokussierbild auf der Basis der Nähe desselben an einem echten Fokus einzustufen.
  • Wie es oben mit Bezug auf den Schritt 204 beschrieben ist, ist das verschobene Fokussierbild um eine relativ kurze Strecke bezüglich des Fokussierbilds verschoben, in der Größenordnung von einem oder mehreren Pixeln. An sich sind das verschobene Fokussierbild und das Fokussierbild sich extrem ähnlich. Aufgrund der Ähnlichkeiten zwischen dem verschobenen Fokussierbild und dem Fokussierbild ist der Erwartungswert der Fokusmetrik für das Fokussierbild nicht von dem Rauschen abhängig, das in dem Fokussierbild enthalten ist, wie es hierin unten ausführlicher beschrieben ist.
  • Bei einem Schritt 208 kann die Steuerung 108 optional die Fokusmetrik des Fokussierbildes verarbeiten. Der Schritt 208 kann als ein optionaler Schritt betrachtet werden, wobei das Verfahren 200 in vielen Fällen enden kann, nachdem die Fokusmetrik des Fokussierbilds berechnet wurde. In Fällen jedoch, in denen die Steuerung 108 konfiguriert ist, um die Fokusmetrik des Fokussierbilds zu verarbeiten, kann die Steuerung 108 konfiguriert sein, um die Fokusmetrik zu speichern. Zusätzlich oder alternativ kann die Steuerung 108 die Fokusmetrik verarbeiten, um beispielsweise zu bestimmen, ob eine optimale Linsenfokusposition erreicht wurde.
  • Bei dem Bestimmen, ob die Linse 104 sich in einer optimalen Fokusposition befindet, kann die Steuerung 108 irgendeinen vernünftig geeigneten Algorithmus zum Maximieren von Gütezahlen implementieren. Beispielsweise kann die Steuerung 108 die berechneten Fokusmetriken einer Mehrzahl von Fokussierbildern, die bei unterschiedlichen Fokuspositionen der Linse 104 erhalten wurden, vergleichen, um zu bestimmen, welche der Fokuspositionen der Linse 104 den höchsten Fokusmetrikwert ergibt, und kann diese Fokusposition der Linse 104 als die optimale Fokusposition der Linse 104 betrachten.
  • Unter jetziger Bezugnahme auf 2B ist eine detailliertere Darstellung des Schritts 206 in 2A gemäß einem Beispiel gezeigt. Wie es in 2B gezeigt ist, kann bei einem Schritt 210 die Steuerung 108 die Fokusmetrik des Fokussierbilds berechnen, um gegenüber Rauschen unempfindlich zu sein, das von Elektronik der Bildaufnahmevorrichtung, relativ geringer Beleuchtung, brechenden Lichtbedingungen, etc. stammen kann. Zusätzlich kann bei einem Schritt 212 die Steuerung 108 die Fokusmetrik des Fokussierbilds berechnen, um gegenüber Beleuchtungsvariationen unempfindlich zu sein, wie dieselben beispielsweise unter fluoreszierenden Lichtern auftreten können. An sich kann die Steuerung 108 die Fokusmetrik berechnen, um durch sowohl das Bestehen von Rauschen als auch Beleuchtungsvariationen in dem Fokussierbild relativ unvorgespannt zu sein.
  • Obwohl das Fokussierbild und das verschobene Fokussierbild, das bei dem Schritt 204 erhalten wurde, nicht identisch sind, wird angenommen, dass dieselben gleich oder beinahe gleich sind. Weil die Pixel in jedem dieser Bilder sich aufgrund des relativen Verschiebens unterscheiden, ist zusätzlich das Rauschen, das in dem Fokussierbild enthalten ist, nicht mit dem Rauschen korreliert, das in dem verschobenen Fokussierbild enthalten ist. Nach dem Schritt 204 verarbeitet somit die Steuerung 108 zwei Bilder, die von der beinahe identischen Szene sind, aber unkorreliertes Rauschen aufweisen. Wie es bezüglich des Schritts 210 erörtert ist, wird das Rauschen, das in dem Fokussierbild enthalten ist, daher bei dem Berechnen der Fokusmetrik nicht einbezogen.
  • Bei dem Schritt 210 kann die Steuerung 108 die Fokusmetrik berechnen, um gegenüber Rauschen unempfindlich zu sein, durch Multiplizieren des Gradienten des Fokussierbilds in die x-Richtung mit dem Nachbarn desselben ebenfalls in die x-Richtung, und durch Modifizieren des Gradienten des Fokussierbilds in die y-Richtung mit dem Nachbarn desselben ebenfalls in die y-Richtung. Anders ausgedrückt, kann die Steuerung 108 beispielsweise den Gradienten des Fokussierbilds mit dem Gradienten des verschobenen Fokussierbilds multiplizieren, das bei dem Schritt 204 entwickelt wurde. Weil das Fokussierbild und das verschobene Fokussierbild beinahe identisch sind, sind die Signale des Fokussierbilds und des verschobenen Fokussierbilds ebenso beinahe die gleichen, aber das Rauschen, das dem Fokussierbild zugeordnet ist, unterscheidet sich von dem Rauschen, das dem verschobenen Fokussierbild zugeordnet ist.
  • Dieses Prinzip ist den Prinzipien ähnlich, die bezüglich Abtastelektronenmikroskopen (SEMs, scanning electron microscopes) entwickelt wurden, wobei es möglich ist, ein Paar von Bildern einer identischen Szene bei jeder Fokuseinstellung aufzunehmen und die Kovarianz zwischen denselben anstelle der Varianz eines Bildes zu berechnen. Weil das Rauschen in dem ersten Bild mit dem Rauschen in dem zweiten Bild nicht korreliert ist, ist der Erwartungswert der Kovarianz rauschunabhängig, ungleich diesem der Varianz eines Bildes, die gleich der Varianz eines idealen Bildes plus der Varianz des Rauschens ist. An sich stellt der Erwartungswert der Gütezahl bei SEMs, die diese Technik einsetzen, die Signalvarianz allein dar. Siehe beispielsweise S. J. Erasmus und K. C. A. Smith, An Automatic Focusing and Astigmatism Correction System for the SEM and CTEM, Journal of Microscopy, S. 127, 185–189 (1982), deren Offenbarung durch Bezugnahme hiermit in ihrer Gesamtheit aufgenommen ist. Im Allgemeinen kann für jede Metrik eine unvorgespannte Version durch ein Ersetzen quadratischer Elemente, die bei einem Rauschen ebenfalls quadratisch sind, durch eine Multiplikation zweier Elemente mit unkorreliertem Rauschen, wie beispielsweise zweier unterschiedlicher Bilder der gleichen Szene, entwickelt werden.
  • Bei einem Schritt 212 kann die Steuerung 108 die Fokusmetrik des Fokussierbilds berechnen, um unempfindlich gegenüber Beleuchtungsvariationen zu sein, durch Dividieren der Summe der Gradienten, die oben bezüglich des Schritts 210 erörtert sind, durch den quadrierten Durchschnitt der Graupegel der Pixel in dem Fokussierbild. Bei einem Beispiel liefert diese Division eine geeignete Kompensation von Beleuchtungsveränderungen während einer Fokussequenz beispielsweise durch Normieren der Luminanzfluktuationen.
  • Beispielhaft und im Einklang mit den Schritten 210 und 212 kann die Fokusmetrik als die Summe des unvorgespannten quadrierten Gradienten eines normierten Fokussierbilds definiert sein. Zusätzlich oder alternativ kann die Fokusmetrik (FM) eines Fokussierbilds mit M Zeilen und N Spalten durch die folgende Gleichung berechnet werden:
    Figure 00080001
    wobei Gx und Gy Bilder darstellen, die Funktionen des Fokussierbilds sind (wobei eines von diesen null sein kann), m1, m2, k1 und k2 Verschiebungen sind, die die Produkte von Gx und Gy unvorgespannt machen, und f den durchschnittlichen Grauwert des Fokussierbilds darstellt. Die Summierung wird über die gemeinsamen Teile der zwei Bilder durchgeführt.
  • In Gleichung (1) können Gx und Gy Gradientenbilder darstellen, die Funktionen des Fokussierbilds sind. m1, m2, k1 und k2 sind Verschiebungen, derart, dass das Rauschen des Bildes (ij) mit dem Rauschen des Bildes (i + mj + k) nicht korreliert ist. f stellt den durchschnittlichen Grauwert des Fokussierbilds dar. Beispielsweise gilt: Gx = cx·f Gleichung (2),und Gy = cy·f Gleichung (3).
  • In den Gleichungen (2) und (3) sind cx und cy Faltungskerne (Faltungskernels) und bezeichnet f den Grauwert des Fokussierbilds.
  • Obwohl Gleichung (1) viele unterschiedliche Arten von Operatoren einsetzen kann, umfassen Beispiele geeigneter Operatoren einen Operator „unvorgespanntes Gradientenquadrat” und einen Operator „unvorgespanntes Sobel-Quadrat”. Der Operator „unvorgespanntes Gradientenquadrat” setzt folgende Faltungskerne ein: cx = (–1 0 1), cy = cTx . m1 = m2 = 0, k1 = k2 = 1 Gleichung (4)
  • Der Operator unvorgespanntes Sobel-Quadrat setzt folgende Faltungskerne ein:
    Figure 00090001
  • Ein weiteres Beispiel ist die unvorgespannte Version der Varianz, bei der entweder Gx oder Gy aus Gleichung (1) null beträgt und der Rest mit dem Buchstaben G bezeichnet ist. In diesem Fall kann die Fokusmetrik (FM) durch folgende Gleichung berechnet werden:
    Figure 00090002
    wobei G = f – f.
  • Im Allgemeinen kann jede bestehende Fokusmetrik durch eine unvorgespannte Version ersetzt werden, indem Quadratelemente ersetzt werden durch eine Multiplikation zweier Elemente mit dem gleichen oder sehr ähnlichem Signal, aber mit unkorreliertem Rauschen.
  • Durch eine Implementierung des Verfahrens 200 kann die Nähe eines Fokussierbilds an einer optimalen Fokusposition auf relativ schnelle und effiziente Weise bestimmt werden. Beispielsweise ermöglicht das Verfahren 200 die Bestimmung einer Fokusmetrik, die einen verringerten Empfindlichkeitspegel gegenüber Rauschen in dem Fokussierbild verglichen mit herkömmlichen Gütezahlen aufweist, was das Erfordernis eines Entrauschungsschritts beseitigt, wie es typischerweise bei herkömmlichen Algorithmen zum automatischen Fokussieren erforderlich ist.
  • Die in dem Verfahren 200 dargelegten Vorgänge können als ein Hilfsprogramm (Utility), Programm oder Unterprogramm in irgendeinem erwünschten durch einen Computer zugreifbaren Medium enthalten sein. Zusätzlich kann das Verfahren 200 durch ein Computerprogramm ausgeführt sein, das in einer Vielfalt sowohl aktiver als auch inaktiver Formen bestehen kann. Beispielsweise kann dasselbe als ein Softwareprogramm (Softwareprogramme) bestehen, das (die) aus Programmanweisungen in einem Quellecode, Objektcode, ausführbaren Code oder anderen Formaten gebildet ist (sind). Alles Obige kann auf einem computerlesbaren Medium ausgeführt sein, das Speichervorrichtungen und Signale in komprimierter oder unkomprimierter Form umfasst.
  • Exemplarische computerlesbare Speichervorrichtungen umfassen einen herkömmlichen RAM, ROM, EPROM, EEPROM eines Computersystems und Magnet- oder Optikplatten oder Bänder. Exemplarische computerlesbare Signale, ob unter Verwendung eines Trägers moduliert oder nicht, sind Signale, auf die zuzugreifen ein Computersystem konfiguriert sein kann, das das Computerprogramm beherbergt oder ausführt, einschließlich Signalen, die durch das Internet oder andere Netzwerke heruntergeladen wurden. Konkrete Beispiele des Vorhergehenden umfassen eine Verteilung der Programme auf einer CD-ROM oder über eine Internet-Herunterladung. In einem Sinne ist das Internet selbst als abstrakte Einheit ein computerlesbares Medium. Das gleiche gilt für Computernetzwerke im Allgemeinen. Es sollte daher klar sein, dass irgendeine elektronische Vorrichtung, die zum Ausführen der oben beschriebenen Funktionen in der Lage ist, diese oben aufgezählten Funktionen durchführen kann.
  • Hierin wurde ein bevorzugtes Ausführungsbeispiel der Erfindung zusammen mit einigen der Variationen desselben beschrieben und dargestellt. Die Begriffe, Beschreibungen und Figuren, die hierin verwendet werden, sind lediglich veranschaulichend dargelegt und sind nicht als Einschränkungen beabsichtigt. Fachleute auf dem Gebiet erkennen, dass viele Variationen innerhalb des Schutzbereichs der Erfindung möglich sind, der durch die folgenden Ansprüche – und die Äquivalente derselben – definiert sein soll, in denen alle Begriffe in ihrem breitesten vernünftigen Sinn gemeint sind, wenn es nicht anderweitig angegeben ist.
  • Zusammenfassung
  • Ein Verfahren (200) weist ein Empfangen (202) eines Fokussierbilds und ein Verschieben (204) des Fokussierbilds, um ein verschobenes Fokussierbild zu erhalten, auf. Bei dem Verfahren (200) wird eine Fokusmetrik des Fokussierbilds aus dem Fokussierbild und dem verschobenen Fokussierbild berechnet (206), wobei die Fokusmetrik für eine Verwendung als ein Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung konfiguriert ist. Eine Vorrichtung (100) zum automatischen Fokussieren umfasst eine Steuerung (108), die konfiguriert ist, um das Verfahren (200) zu implementieren.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • - S. J. Erasmus und K. C. A. Smith, An Automatic Focusing and Astigmatism Correction System for the SEM and CTEM, Journal of Microscopy, S. 127, 185–189 (1982) [0029]

Claims (10)

  1. Ein Verfahren (200), das folgende Schritte aufweist: Empfangen (202) eines Fokussierbilds; Verschieben (204) des Fokussierbilds, um ein verschobenes Fokussierbild zu erhalten; und Berechnen (206) einer Fokusmetrik des Fokussierbilds aus dem Fokussierbild und dem verschobenen Fokussierbild, wobei die Fokusmetrik für eine Verwendung als ein Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung konfiguriert ist.
  2. Das Verfahren (200) gemäß Anspruch 1, bei dem das Berechnen (206) der Fokusmetrik ferner ein Berechnen der Fokusmetrik aufweist, um unempfindlich gegenüber zumindest einem von Rauschen in dem Fokussierbild (210) und Beleuchtungsvariationen (212) zu sein.
  3. Das Verfahren (200) gemäß Anspruch 2, bei dem das Berechnen (206) der Fokusmetrik des Fokussierbilds, um gegenüber dem Rauschen in dem Fokussierbild (210) unempfindlich zu sein, ferner ein Multiplizieren eines Gradienten des Fokussierbilds mit dem Gradienten des verschobenen Fokussierbilds aufweist.
  4. Das Verfahren (200) gemäß einem der Ansprüche 2 und 3, bei dem das Berechnen (206) der Fokusmetrik, um unempfindlich gegenüber Beleuchtungsvariationen (212) zu sein, ferner ein Dividieren eines Produkts eines Gradienten des Fokussierbilds und des Gradienten des verschobenen Fokussierbilds durch einen quadrierten Durchschnitt der Graupegel in den Pixeln des Fokussierbilds aufweist.
  5. Das Verfahren (200) gemäß einem der Ansprüche 1–4, bei dem das Berechnen (206) der Fokusmetrik ferner ein Berechnen (206) der Fokusmetrik (FM) eines Fokussierbilds mit M Zeilen und N Spalten aufweist, gemäß:
    Figure 00130001
    wobei Gx und Gy Bilder darstellen, die Funktionen des Fokussierbilds sind, m1, m2, k1 und k2 Verschiebungen sind, die die Produkte von Gx und Gy unvorgespannt machen, und f den durchschnittlichen Grauwert des Fokussierbilds darstellt.
  6. Das Verfahren (200) gemäß einem der Ansprüche 1–5, bei dem das Berechnen (206) der Fokusmetrik ferner ein Berechnen (206) der Fokusmetrik (FM) eines Fokussierbilds mit M Zeilen und N Spalten aufweist, gemäß:
    Figure 00130002
    wobei Gx und Gy Gradientenbilder sind, i und j Pixel in dem Fokussierbild darstellen, i + m1, i + m2, j + k1 und j + k2 Pixel in dem verschobenen Fokussierbild darstellen und f den durchschnittlichen Grauwert des Fokussierbilds darstellt.
  7. Eine Vorrichtung (100) zum automatischen Fokussieren, die folgende Merkmale aufweist: eine Linse (104) mit einem Brennpunkt; einen Linsenmotor (106), der konfiguriert ist, um die Linse (104) zu manipulieren, um den Brennpunkt der Linse (104) zu variieren; eine Steuerung (108), die konfiguriert ist, um den Linsenmotor (106) automatisch zu steuern, um die Linse (104) zu fokussieren, wobei die Steuerung (108) ferner konfiguriert ist, um ein Fokussierbild zu verschieben, um ein verschobenes Fokussierbild zu erhalten, um eine Fokusmetrik des Fokussierbilds aus dem Fokussierbild und dem verschobenen Fokussierbild zu berechnen und um die Fokusmetrik als einen Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung zu verwenden.
  8. Die Vorrichtung (100) zum automatischen Fokussieren gemäß Anspruch 7, bei der die Steuerung (108) ferner konfiguriert ist, um das Fokussierbild um einen Abstand von einem Pixel in zumindest eine von einer horizontalen und einer vertikalen Richtung zu verschieben, um das verschobene Fokussierbild zu erhalten.
  9. Ein computerlesbares Speichermedium, auf dem eines oder mehrere Computerprogramme eingebettet ist oder sind, wobei das eine oder die mehreren Computerprogramme ein Verfahren (200) zum Berechnen einer Fokusmetrik eines Fokussierbilds implementiert oder implementieren, wobei das eine oder die mehreren Computerprogramme einen computerlesbaren Code aufweist oder aufweisen zum: Verschieben (204) des Fokussierbilds, um ein verschobenes Fokussierbild zu erhalten; und Berechnen (206) einer Fokusmetrik des Fokussierbilds aus dem Fokussierbild und dem verschobenen Fokussierbild, wobei die Fokusmetrik für eine Verwendung als ein Faktor bei einem Vornehmen einer Bestimmung einer automatischen Fokuseinstellung konfiguriert ist.
  10. Das computerlesbare Speichermedium gemäß Anspruch 9, wobei das eine oder die mehreren Computerprogramme ferner einen computerlesbaren Code aufweist oder aufweisen zum: Berechnen der Fokusmetrik des Fokussierbilds, um unempfindlich gegenüber Rauschen (210) und Beleuchtungsvariationen (212) zu sein.
DE112008000263T 2007-01-29 2008-01-29 Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik Expired - Fee Related DE112008000263B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/699,445 2007-01-29
US11/699,445 US7634188B2 (en) 2007-01-29 2007-01-29 Method and apparatus for calculating a focus metric
PCT/US2008/001264 WO2008094627A1 (en) 2007-01-29 2008-01-29 Method and apparatus for calculating a focus metric

Publications (2)

Publication Number Publication Date
DE112008000263T5 true DE112008000263T5 (de) 2010-04-22
DE112008000263B4 DE112008000263B4 (de) 2012-01-12

Family

ID=39345616

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112008000263T Expired - Fee Related DE112008000263B4 (de) 2007-01-29 2008-01-29 Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik

Country Status (4)

Country Link
US (1) US7634188B2 (de)
JP (1) JP2010517114A (de)
DE (1) DE112008000263B4 (de)
WO (1) WO2008094627A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110081890A (ko) * 2008-10-31 2011-07-14 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 정규화된 성능지수를 이용한 포커스 설정 선택 방법 및 디지털 이미지 획득 장치
US8064761B2 (en) * 2010-03-04 2011-11-22 Digital Imaging Systems Gmbh Method to determine auto focus of a digital camera
WO2016133787A1 (en) 2015-02-18 2016-08-25 Abbott Laboratories Methods, systems and devices for automatically focusing a microscope on a substrate
US9939623B2 (en) * 2015-10-19 2018-04-10 Molecular Devices, Llc Microscope system with transillumination-based autofocusing for photoluminescence imaging
CN116233605B (zh) * 2023-05-08 2023-07-25 此芯科技(武汉)有限公司 一种对焦实现方法、装置、存储介质及摄像设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3308851A1 (de) 1983-03-12 1984-09-13 Kernforschungszentrum Karlsruhe Gmbh, 7500 Karlsruhe Verfahren und einrichtung zum automatischen fokussieren
JPH02295373A (ja) * 1989-05-10 1990-12-06 Canon Inc 画像読取装置
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
JPH10319313A (ja) * 1997-05-21 1998-12-04 Olympus Optical Co Ltd 自動焦点検出装置
US7133078B2 (en) 1997-05-21 2006-11-07 Olympus Optical Co., Ltd. Automatic focal point sensing device
JPH11258491A (ja) * 1998-03-10 1999-09-24 Canon Inc 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2000028486A (ja) * 1998-07-08 2000-01-28 Ishikawajima Harima Heavy Ind Co Ltd カラーフィルタ検査画像のデータ量縮小方法
US6580062B2 (en) 2001-05-29 2003-06-17 Hewlett-Packard Development Company, L.P. Contrast focus figure-of-merit method that is insensitive to scene illumination level
JP2005043792A (ja) * 2003-07-25 2005-02-17 Pentax Corp 内視鏡の自動焦点調節装置
US7016604B2 (en) 2004-06-12 2006-03-21 Hewlett-Packard Development Company, L.P. Autofocus using a holographic aperture element
US7343047B2 (en) 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. J. Erasmus und K. C. A. Smith, An Automatic Focusing and Astigmatism Correction System for the SEM and CTEM, Journal of Microscopy, S. 127, 185-189 (1982)

Also Published As

Publication number Publication date
JP2010517114A (ja) 2010-05-20
US20080181595A1 (en) 2008-07-31
US7634188B2 (en) 2009-12-15
DE112008000263B4 (de) 2012-01-12
WO2008094627A1 (en) 2008-08-07

Similar Documents

Publication Publication Date Title
DE102014113433B4 (de) Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
DE102012016160A1 (de) Bilderfassung für eine spätere Nachfokussierung oder Fokusmanipulation
DE112016002229B4 (de) Bildverarbeitungsvorrichtung, bildaufnahmevorrichtung, bildverarbeitungsverfahren und speichermedium
DE102015010214A1 (de) Erzeugung von Tiefenkarten
DE112015001902B4 (de) Elektronenmikroskopvorrichtung und sie verwendendes Abbildungsverfahren
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE112008002819T5 (de) Autofokus-Bildsystem
DE102013226164A1 (de) Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Speichermedium
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE102015102681B4 (de) All-in-focus-implementierung
DE112008000263B4 (de) Verfahren und Vorrichtung zum Berechnen einer Fokusmetrik
DE102015102772B4 (de) Bildverarbeitungsvorrichtung und Verfahren für deren Steuerung
DE102014006717A1 (de) Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE112016002322T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Programm, das Programm aufzeichnendes Aufzeichnungsmedium, Bilderfassungsvorrichtung und Bildaufzeichnungs-/Bildwiedergabevorrichtung
DE112014006672T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
DE112017006779T5 (de) Kamerasystem einschliesslich objektiv mit vergrösserungsgradient
DE102018123402A1 (de) Bildunschärfekorrekturvorrichtung und steuerverfahren
DE112006001641T5 (de) Signalverarbeitungseinrichtung
DE112015007156T5 (de) Ladungsträgerstrahlvorrichtung und bildverarbeitungsverfahren in ladungsträgerstrahlvorrichtung
WO2017093227A1 (de) Verfahren und vorrichtung zur bildkorrektur
EP3635677A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
DE102010018142A1 (de) Verfahren zur Aufnahme eines Bildes
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
DE102020115256A1 (de) Bildverarbeitungsgerät, Bildaufnahmegerät, Bildverarbeitungsverfahren, Programm und Speichermedium

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20120413

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee