DE102008018449A1

DE102008018449A1 - Verfahren und Vorrichtung zum automatischen Fokussieren und Bildabtastsystem

Info

Publication number: DE102008018449A1
Application number: DE102008018449A
Authority: DE
Inventors: Andrey Suwon Lukyanov
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-05-01
Filing date: 2008-04-04
Publication date: 2008-11-06
Also published as: TW200844623A; US20080273869A1; TWI436142B; KR100897768B1; US7969501B2; JP5068214B2; KR20080097287A; JP2008276217A

Abstract

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum automatischen Fokussieren innerhalb eines Bildabtastsystems und auf ein damit ausgerüstetes Bildabtastsystem. Erfindungsgemäß umfasst das Autofokussierungsverfahren ein Erzeugen eines N-Bin-Luminanzhistogramms aus einem Bild, um einen Bildtyp aus dem N-Bin-Luminanzhistogramm zu bestimmen, so dass eine Fokusposition unter Verwendung eines ersten Satzes von wenigstens einem Fokussierwert bestimmt wird, wenn das Bild als von einem ersten Typ bestimmt wird, und die Fokusposition unter Verwendung eines zweiten Satzes von wenigstens einem Fokussierwert bestimmt wird, welcher sich vom ersten Satz unterscheidet, wenn das Bild als von einem zweiten Typ bestimmt wird. Verwendung z.B. in Bildabtastsystemen von digitalen Kameras.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum automatischen Fokussieren innerhalb eines Bildabtastsystems und auf ein damit ausgerüstetes Bildabtastsystem.
Heutzutage ist automatisches Fokussieren innerhalb von Bildabtastsystemen, wie beispielsweise Digitalkameras und Mobiltelefonen mit einer Digitalkamera, essentiell. Zusätzlich wird die Leistungsfähigkeit eines Bildabtastsystems durch die Genauigkeit und Geschwindigkeit beim Treiben einer Fokussierung oder beim Einstellen der Linse in eine In-Fokus-Position bei verschiedenen Umgebungen bestimmt.
Zur automatischen Fokussierung, d. h. zur Auto-Fokussierung, werden Eigenschaften wie Schärfe eines durch einen Bildsensor aufgenommenen Bildes analysiert, und eine Fokussierlinse wird in eine Position bewegt, welche in einem maximalen Fokussierwert resultiert, einer sogenannten In-Fokus-Position. Eine Fokussierwertkurve wird so verwendet, dass ein klarstes Bild, d. h. ein In-Fokus-Bild, aufgenommen wird. Die Bildschärfeinformation ist eine Hochfrequenzbildsignalinformation, welche einen maximalen Wert aufweist, wenn das Bild scharfgestellt ist.
Generell bestimmt ein Bildabtastsystem mit einer Auto-Fokussierung einen Fokussierwert aus einem Bild, welches von einem Bildsensor aufgenommen wird, und analysiert den Fokussierwert zum Steuern der Position einer Fokussierlinse. Entsprechend ist eine akkurate Detektion des Fokussierwertes wünschenswert, um wiederum die Position der Fokussierlinse akkurat zu steuern.
Die akkurate Detektion eines Fokussierwerts ist jedoch in einem herkömmlichen Bildabtastsystem, wie einer Digitalkamera, für ein Bild schwierig, welches einen Detailbereich mit einem niedrigen Kontrast und einen gesättigten Hell-Bereich aufweist, wie beispielsweise ein Bild mit einer Lichtquelle. In anderen Worten ausgedrückt, die Bildschärfeinformation, welche zur Bestimmung des Fokussierwerts verwendet wird, ist signifikant durch Bildrauschen und einen gesättigten Hell-Bereich (z. B. eine Lichtquelle) beeinflusst, welche im aufgenommen Bild enthalten sind.
Auch wenn ein Bild mit einer Lichtquelle, z. B. einer Glühbirne, einer fluoreszierenden Lampe oder der Sonne, außerhalb des scharfgestellten Bildes erzeugt wird, umfasst das Bild der Lichtquelle starke Kanten, welche die Bildschärfeinformation verzerren. Entsprechend ist es im herkömmlichen Bildabtastsystem für ein solches Bild, welches eine Lichtquelle umfasst, schwierig, die Fokussierlinse auf die In-Fokus-Position zu setzen.
Als technisches Problem liegt der Erfindung die Bereitstellung eines Verfahrens und einer Vorrichtung zum automatischen Fokussieren innerhalb eines Bildabtastsystems und eines damit ausgerüsteten Bildabtastsystems zugrunde, welche in der Lage sind, die Unzulänglichkeiten des oben beschriebenen Standes der Technik zu reduzieren oder zu vermeiden, und insbesondere eine verlässliche Auto-Fokussierung auch in Fällen ermöglichen, in welchen eine helle Lichtquelle in einem Bild existiert.
Die Erfindung löst dieses Problem durch die Bereitstellung eines Autofokussierverfahrens mit den Merkmalen des Anspruchs 1, einer Autofokussiervorrichtung mit den Merkmalen des Anspruchs 9 und eines Bildabtastsystems mit den Merkmalen des Anspruchs 15. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß wird der Fokussierwert, welcher zur Bestimmung der In-Fokus-Position verwendet wird, gemäß dem Bildtyp ausgewählt, um jegliche Lichtquelle im Bild zu berücksichtigen. Daher wird der Fokussierwert akkurat erzeugt, auch wenn irgendeine Lichtquelle im Bild ist.
Vorteilhafte Ausführungsformen der Erfindung werden im Folgenden beschrieben und sind in den Zeichnungen dargestellt, in denen zeigen:
1 ein Blockdiagramm eines Bildabtastsystems mit Auto-Fokussierung,
2 eine Darstellung von Autofokus(AF)-Bildfenstern mit verschiedenen Größen, welche im Bildabtastsystem gemäß 1 verwendet werden,
3 ein funktionales Blockdiagramm eines digitalen Signalprozessors (DSP), welcher zur Verwendung im Bildabtastsystem gemäß 1 geeignet ist,
4 ein funktionales Blockdiagramm eines AF(Autofokus)-Filters, welcher zur Verwendung im DSP gemäß 3 geeignet ist,
5 ein 3×3-Pixelfeld, welches im AF-Filter gemäß 4 verwendet wird,
6 eine dynamische Rauschschwellwertfunktion, welche im AF-Filter gemäß 4 verwendet wird,
7 eine Hell-Gradientenunterdrückungsfunktion, welche im AF-Filter gemäß 4 verwendet wird,
8 ein Flussdiagramm eines Autofokussierungsverfahrens, welches durch einen Mikroprozessor im Bildabtastsystem gemäß 1 ausgeführt wird,
9 ein N-Bin-Luminanzhistogramm, welches vom DSP im Bildabtastsystem gemäß 1 bestimmt wird,
10A, 10B, 10C, 10D und 10E Beispiele von Bildern und korrespondierenden ermittelten N-Bin-Luminanzhistogrammen,
11 ein anderes Beispiel eines N-Bin-Luminanzhistogramms zum Erklären einer Bildtypklassifikation,
12 normierte Fokussierwertkurven, welche im Bildabtastsystem gemäß 1 verwendet werden,
13 und 14 Blockdiagramme des DSP und des Mikroprozessors im Bildabtastsystem gemäß 1 und
15 ein Flussdiagramm von Schritten, welche durch den DSP und den Mikroprozessor im Bildabtastsystem gemäß 1 ausgeführt werden.
Ein Bildabtastsystem 1 mit Auto-Fokussierung gemäß einer Ausführungsform der Erfindung ist in 1 dargestellt. Das Bildabtastsystem 1 kann beispielsweise eine digitale Standbildkamera oder ein Mobiltelefon sein, welches die digitale Standbildkamera umfasst. Das Bildabtastsystem 1 umfasst ein Linsenmodul 10, einen Bildsensor 20, einen digitalen Signalprozessor (DSP) 30, einen Mikroprozessor 40 und einen Fokussiermotortreiber 50.
Das Linsenmodul 10 umfasst eine Fokussierlinse 12, welche auch als Aufnahmelinse bezeichnet wird. Zusätzlich umfasst das Linsenmodul 10 einen Fokussiermotor 14, welcher die Fokussierlinse 12 in Reaktion auf ein Motortreibersignal vom Fokussiermotortreiber 50 in eine In-Fokus-Position steuert.
Der Bildsensor 20 ist gemäß einer beispielhaften Ausführungsform der Erfindung als komplementärer Metall-Oxid-Halbleiter(CMOS)-Bildsensor implementiert. Der Bildsensor 20 nimmt ein Bild auf, welches durch die Fokussierlinse 12 übermittelt wird, um ein elektrisches Bild oder ein aufgenommenes Bild zu erzeugen, (31 in 2). Der DSP 30 verarbeitet das vom Bildsensor 20 aufgenommene Bild 31.
2 zeigt das in einer Mehrzahl von Bildfenstern W1, W2 und W3 organisierte Bild 31, die im Bildabtastsystem 1 gemäß Fig. verwendet werden. Bezugnehmend auf die 1 und 2 extrahiert der DSP 30 Bildschärfeinformationen, auf welche als Fokussierwerte (FV) Bezug genommen wird, aus der Mehrzahl von Bildfenstern W1, W2 und W3, welche auch als AF-Fenster bezeichnet werden. Ein größtes Bildfenster W3 enthält ein kleineres Bildfenster W2, welches ein kleinstes Bildfenster W1 enthält.
Die Extrahierung der Bildschärfeinformation oder die Berechnung der Fokussierwerte (FV) wird gemäß einer beispielhaften Ausführungsform der Erfindung durch einen in 3 dargestellten AF-Filter 34 ausgeführt. 3 zeigt den DSP 30, welcher eine Bildverarbeitungseinheit 32 und den AF-Filter 34 aufweist. Der AF-Filter 34 verwendet Bildluminanzsignale, welche durch die Bildverarbeitungseinheit 32 erzeugt werden, um die Bildschärfeinformation der AF-Fenster W1, W2 und W3 zu bestimmen.
Der Mikroprozessor 40 bestimmt unter Verwendung der Bildschärfeinformation FV vom DSP 30 die In-Fokus-Position der Fokussierlinse 12. Der Mikroprozessor 40 steuert den Fokussiermotortreiber 50, um ein Motortreibersignal für den Fokussiermotor 14 zu erzeugen. Der Fokussiermotor 14 bewegt die Fokussierlinse 12 in Reaktion auf das Motortreibersignal in die In-Fokus-Position.
Die Bildverarbeitungseinheit 32 extrahiert Luminanzsignale Y aus den vom Bildsensor 20 erzeugten Bildsignalen. Der AF-Filter 34 empfängt die Luminanzsignale Y(x, y), welche mit den Pixeln des Bildsensors 20 korrespondieren. Zudem führt die Bildverarbeitungseinheit 32 eine Farbinterpolation, eine Skalierung und einen Formattransfer mit dem vom Bildsensor 20 aufgenommenen Bild aus, um ein Ausgabebild zu erzeugen.
Für jedes der AF-Fenster W1, W2 und W3 aus 2 bestimmt der AF-Filter 34 aus den von der Bildverarbeitungseinheit 32 erzeugten Luminanzsignalen Y(x, y) eine entsprechende Bildschärfeinformation FV. Die Bildschärfeinformation FV umfasst wenigstens eine Summe F_G von Ausgabewerten F_G' eines Gradientenfilters 100 (4), eine Summe F_L von Ausgabewerten F_L' eines Laplace-Filters 120 (4), die Anzahl N_NS von nicht gesättigten Pixeln in jedem der AF-Fenster W1, W2 und W3 W3 und eine Summe S_NS von Luminanzwerten d nicht gesättigter Pixel in jedem der AF-Fenster W1, W2 und W3.
Die mit jedem Pixel korrespondierende Luminanz weist einen Wert oder einen Pegel auf, welcher von einem dynamischen Bereich des Luminanzsignals Y abhängig ist (welcher beispielsweise von 0 bis 255 reicht). Ein nicht gesättigtes Pixel weist einen korrespondierenden Luminanzwert auf, welcher kleiner als ein vorbestimmter Luminanzwert ist (wie beispielsweise 230 im Bereich von 0 bis 255).
13 zeigt ein Blockdiagramm des DSP 30, welcher einen DSP-Datenprozessor 202 und ein DSP-Speicherbauelement 204 umfasst, in welchem Sequenzen von Instruktionen (d. h. Software) gespeichert sind. Die Ausführung von solchen Instruktionssequenzen durch den DSP-Datenprozessor 202 bewirkt, dass der DSP-Datenprozessor 202 die für jede der Komponenten aus 4 beschriebenen Funktionen und Schritte S31, S32 und S33 aus 15 gemäß einer Ausführungsform der Erfindung ausführt.
14 zeigt ein Blockdiagramm des Mikroprozessors 40, welcher einen Datenprozessor 212 und ein Speicherbauelement 214 umfasst, in welchem Sequenzen von Instruktionen (d. h. Software) gespeichert sind. Die Ausführung von solchen Instruktionssequenzen durch den Datenprozessor 212 bewirkt, dass der Datenprozessor 212 Schritte des Flussdiagramms gemäß 8 und Schritte S34, S35 und S36 aus 15 gemäß einer Ausführungsform der Erfindung ausführt. Alternativ können der DSP-Datenprozessor 202 und der Datenprozessor 212 als ein einziger Datenprozessor implementiert werden, und das DSP-Speicherbauelement 204 und das Speicherbauelement 214 können als ein einziges Speicherbauelement implementiert werden.
4 zeigt ein Blockdiagramm des AF-Filters 34 aus 3. Der AF-Filter 34 umfasst den Gradientenfilter 100, den Hochpass-Laplace-Filter 120, einen Auswahlschaltkreis 122, einen Komparator 130, einen Zähler 132, einen ersten Akkumulator 124 und einen zweiten Akkumulator 134. Der Gradientenfilter 100 umfasst einen ersten Subtrahierer 102, einen zweiten Subtrahierer 104, einen Minimumfinder 106, einen Maximumfinder 108, einen Luminanzsummierer 110, einen Rauschschwellwertbestimmer 111, einen Anfangsgradientenfokussierwertgenerator 112, eine Gradientenunterdrückungseinheit 113 und einen Endgradientenfokussierwertgenerator 114.
Nun wird die Betriebsweise des DSP 30 und des Mikroprozessors 40 des Bildabtastsystems 1 beschrieben. Der DSP 30 empfängt ein Bild, welches aus elektrischen Signalen aufgebaut ist, vom CMOS-Bildsensor 20 (Schritt S31 aus 15). Die Bildverarbeitungseinheit 32 des DSP 30 bestimmt die Luminanzwerte Y(x, y) für jede Pixelposition des vom CMOS-Bildsensor 20 erzeugten Bildes (Schritt S32 aus 15).
Nachfolgend empfängt der AF-Filter 34 des DSP 30 die Luminanzwerte Y(x, y) und erzeugt die Fokussierwerte (Schritt S33 aus 15). 4 zeigt Komponenten des AF-Filters 34 zum Erzeugen der Fokussierwerte aus den Luminanzwerten Y(x, y).
5 zeigt beispielhafte Luminanzwerte Y(x, y) für ein 3×3-Pixelfeld, welches ein Beispiel für einen Einheitspixelbereich ist. Der erste Subtrahierer 102 berechnet eine erste Differenz g_x zwischen einer Luminanz Y(x + 1, y) eines ersten Pixels P1 und einer Luminanz Y(x – 1, y) eines zweiten Pixels P2 gemäß der unten angegebenen Gleichung (1). Der zweite Subtrahierer 104 berechnet eine zweite Differenz g_y zwischen einer Luminanz Y(x, y + 1) eines dritten Pixels P3 und einer Luminanz Y(x, y – 1) eines vierten Pixels P4 gemäß der unten angegebenen Gleichung (1). Der Minimumfinder 106 bestimmt einen Minimumfokussierwert g_min zwischen der ersten und zweiten Differenz g_x und g_y. Der Maximumfinder 108 bestimmt einen Maximumfokussierwert g_max zwischen der ersten und zweiten Differenz g_x und g_y. gx = |Y(x + 1, y) – Y(x – 1, y)|, gy = |Y(x, y + 1) – Y(x, y – 1), gmin = min(gx, gy,), gmax = max(gx, gy), Fg = gmax, (1)wobei Y(x, y) die Luminanz eines Pixels (x, y) des CMOS-Bildsensors 20 anzeigt.
Zusätzlich berechnet der Luminanzsummierer 110 eine Gesamtluminanz Y₃₃ des Bildes gemäß der unten angegebenen Gleichung (2).
6 zeigt eine dynamische Rauschschwellwertfunktion T_N(Y), welche durch den Anfangsgradientenfokussierwertgenerator 112 im AF-Filter 34 gemäß 4 verwendet wird. Die dynamische Rauschschwellwertfunktion T_N(Y) ist eine Kennlinie eines variablen Schwellwerts in Abhängigkeit von der Gesamtluminanz Y₃₃, und der variable Schwellwert T_N(Y) wird durch den Anfangsgradientenfokussierwertgenerator 112 zum Entfernen von Rauschen aus einem Gradientenfokussierwert F_G' des Gradientenfilters 100 verwendet.
Bezugnehmend auf die 4 und 6 bestimmt der Anfangsgradientenfokussierwertgenerator 112 den Anfangsgradientenfokussierwert F_g basierend auf dem minimalen und maximalen Fokussierwert g_min und g_max, der Gesamtluminanz Y₃₃ und der folgenden Gleichung (3).
Der Rauschschwellwertbestimmer 111 bestimmt einen dynamischen Rauschschwellwert T_N(Y₃₃) aus einer dynamischen Rauschschwellwertfunktion T_N(Y) von 6 und der Gesamtluminanz Y₃₃. Entsprechend bestimmt der Anfangsgradientenfokussierwertgenerator 112 den Anfangsgradientenfokussierwert F_g = 0, wenn g_min < T_N(Y₃₃), und F_g = g_max, wenn g_min ≥ T_N(Y₃₃) ist. Die Gradientenunterdrückungseinheit 113 bestimmt einen Hell-Gradientenunterdrückungswert S(Y₃₃) aus einer Hell-Gradientenunterdrückungsfunktion S(Y) aus 7 und der Gesamtluminanz Y₃₃.
Die Hell-Gradientenunterdrückungsfunktion S(Y) aus 7 ist als eine Funktion einer lokalen Bildluminanz definiert und wird verwendet, um den Fokussierwert F_G' als Ausgabe des Gradientenfilters 100 in Hochluminanzbereichen im aufgenommenen Bild zu unterdrücken. Die Hell-Gradientenunterdrückungsfunktion S(Y) aus 7 ist entsprechend der nachfolgenden Gleichung (4) definiert.
Der Endgradientenfokussierwertgenerator 114 erzeugt den Endgradientenfokussierwert F_G' aus dem Anfangsgradientenfokussierwert F_g und dem Hell-Gradientenunterdrückungswert S(Y₃₃) bei der Gesamtluminanz Y₃₃, wie durch die nachstehende Gleichung (5) angegeben wird. FG' = 0, wenn gmin < TN(Y33) FG' = S(Y33)·Fg, sonst (5)
Der Hochpassfilter 120 erzeugt einen Laplace-Fokussierwert F_L' durch Multiplizieren des Luminanzsignals Y eines m×m-Einheitspixelbereichs (wobei „m" eine natürliche Zahl wie beispielsweise 5 ist) mit einem Laplace-Hochpasskernel, welcher Koeffizienten aufweist, wie sie beispielhaft in der nachstehenden Gleichung (6) angegeben sind.
Der Auswahlschaltkreis 122 wählt den Endgradientenfokussierwert F_G' vom Gradientenfilter 100 oder den Laplace-Fokussierwert F_L' vom Hochpassfilter 120 in Reaktion auf ein Auswahlsignal für den Akkumulator 124 aus. Der Akkumulator 124 akkumuliert den Fokussierwert F_G' oder F_L' vom Auswahlschaltkreis 122 für eine Mehrzahl von Einheitspixelbereichen.
Wenn der Auswahlschaltkreis 122 beispielsweise den Endgradientenfokussierwert F_G' auswählt, akkumuliert der Akkumulator 124 solche Werte für die Mehrzahl von Einheitspixelbereichen, um einen akkumulierten Gradientenfokussierwert F_G zu erzeugen. Wenn der Auswahlschaltkreis 122 den Laplace-Fokussierwert F_L' auswählt, akkumuliert der Akkumulator 124 solche Werte für die Mehrzahl von Einheitspixelbereichen, um einen akkumulierten Laplace-Fokussierwert F_L zu erzeugen.
Weiter bezugnehmend auf 4 erzeugt der Akkumulator 124 F_L1 als Summe der Laplace-Fokussierwerte F_L' vom Hochpassfilter 120 in Bezug auf das zweite Bildfenster W2 von 2. Zudem erzeugt der Akkumulator 124 F_L2 als Summe der Laplace-Fokussierwerte F_L' vom Hockpassfilter 120 in Bezug auf das dritte Bildfenster W3 von 2.
Der Komparator 130 vergleicht die Luminanzsignale Y(x, y) mit einem Luminanzschwellwert T_S, um das Luminanzsignal Y(x, y) an den Zähler 132 zu übertragen, wenn das Luminanzsignal Y(x, y) kleiner als der Luminanzschwellwert T_S ist, so dass die nachfolgende Gleichung (7) erfüllt ist. Y(x, y) < Ts (7)
Entsprechend zählt der Zähler 132 eine Anzahl von Pixeln N_NS, welche den Luminanzwert Y(x, y) aufweisen, der die oben angegebene Gleichung (7) erfüllt.
Die Pixelanzahl N_NS des Zählers 132 umfasst jeweils eine Anzahl N_NS1, N_NS2 und N_NS3 von nicht gesättigten Pixeln in den Bildfenstern W1, W2 bzw. W3. Zusätzlich überträgt der Komparator 130 das Luminanzsignal Y(x, y) an den Akkumulator 134, wenn das Luminanzsignal Y(x, y) kleiner als der Luminanzschwellwert T_S ist. Entsprechend akkumuliert der Akkumulator 134 die Luminanzwerte Y(x, y) der nicht gesättigten Pixel, um eine Luminanzsumme S_NS der Luminanzwerte Y(x, y) der nicht gesättigten Pixel zu erzeugen.
Bezugnehmend auf die 2 und 4 verwendet das Bildabtastsystem 1 gemäß einer beispielhaften Ausführungsform der Erfindung die drei Bildfenster W1, W2 und W3. Die Erfindung kann jedoch auch mit weniger oder mehr Bildfenstern ausgeführt werden. In einer beispielhaften Aus führungsform der Erfindung werden das erste und zweite Bildfenster W1 und W2 innerhalb des aufgenommenen Bildes als Hauptfokussierfenster verwendet.
In diesem Fall wird das dritte Bildfenster W3 als Rückfallfenster verwendet, wenn das erste und zweite Bildfenster W1 und W2 keine befriedigenden Fokussierwerte erzeugen. Wenn beispielsweise ein sehr helles Licht (z. B. eine Lichtquelle) im ersten und zweiten Bildfenster W1 und W2 existiert, kann das dritte Bildfenster W3 als Rückfallfenster verwendet werden.
In einer beispielhaften Ausführungsform der Erfindung gibt der DSP 30 den Fokussierwert FV zur Verwendung durch den Mikroprozessor 40 wie folgt aus. In Bezug auf das erste Bildfenster W1 gibt der DSP 30 den Gradientenfokussierwert F_G, der durch den Akkumulator 124 akkumuliert wird, und den Pixelzählwert N_NS1 für das erste Bildfenster W1 vom Zähler 132 an den Mikroprozessor 40 aus.
In Bezug auf das zweite Bildfenster W2 gibt der DSP 30 den Laplace-Fokussierwert F_L1, der durch den Akkumulator 124 für das zweite Bildfenster W2 erzeugt wird, und den Pixelzählwert N_NS2 für das zweite Bildfenster W2 vom Zähler 132 an den Mikroprozessor 40 aus. In Bezug auf das dritte Bildfenster W3 gibt der DSP 30 den Laplace-Fokussierwert F_L2, der durch den Akkumulator 124 für das dritte Bildfenster W3 erzeugt wird, und den Pixelzählwert N_NS3 für das dritte Bildfenster W3 vom Zähler 132 an den Mikroprozessor 40 aus.
Wenn die Fokussierwerte F_G und F_L1 für das erste und zweite Bildfenster W1 und W2 nicht verlässlich sind, wie wenn die In-Fokus-Position nicht aus solchen Fokussierwerten F_G und F_L1 bestimmt werden kann, wird der Fokussierwert F_L2 für das dritte Bildfenster W3 als eine Rückfallmöglichkeit zur Bestimmung der In-Fokus-Position verwendet. Zusätzlich wird, wenn die Fokussierwerte F_G und F_L1 aufgrund eines im ersten und zweiten Bildfenster W1 und W2 existierenden gesättigten Hell-Bereichs (beispielsweise einer Lichtquelle) nicht verlässlich sind, die Pixelanzahl N_NS3 für das dritte Bildfenster W3 verwendet, um die In-Fokus-Position zu bestimmen.
8 zeigt ein Flussdiagramm von Schritten, welche durch den Mikroprozessor 40 zur Ausführung einer Auto-Fokussierung gemäß einer beispielhaften Ausführungsform der Erfindung durchgeführt werden. Der Mikroprozessor 40 erzeugt ein N-Bin-Luminanzhistogramm für die Luminanzwerte Y(x, y) des Bildes (Schritt S34 aus 15), um einen Szenerietyp des Bildes (Schritt S35 aus 15 und Schritt S10 aus 8) zu klassifizieren.
9 zeigt ein Beispiel eines solchen N-Bin-Luminanzhistogramms, in welchem die x-Achse einen Luminanzpegel anzeigt und die y-Achse die Pixelanzahl am Luminanzpegel der x-Achse anzeigt. Die Erfindung kann mit dem DSP 30 oder dem Mikroprozessor 40 praktiziert werden, um das N-Bin-Luminanzhistogramm für das vom Bildsensor 20 aufgenommene Bild zu erzeugen.
Zusätzlich berechnet der Mikroprozessor 40 zur Bestimmung des Bildtyps einen Abstand D zwischen einem N-ten Bin und einem K-ten Bin im N-Bin-Luminanzhistogramm (wobei N und K jeweils natürliche Zahlen sind und wobei K < N ist). Der N-te Bin steht für den höchsten Luminanzpegel im N-Bin-Luminanzhistogramm. Zusätzlich bestimmt der Mikroprozessor 40 den K-ten Bin, welcher die nachfolgende Gleichung (8) erfüllt.
wobei H_i der Histogrammwert (z. B. die Pixelanzahl) an einem i-ten Bin (i = 1, 2, ..., N) ist und H_N ein Histogrammwert (z. B. die Pixelanzahl) am N-ten Bin ist.
Bei einer beispielhaften Ausführungsform der Erfindung zeigt H_N die Anzahl der gesättigten Pixel im aufgenommenen Bild an, wobei der N-te Bin für die höchsten Luminanzpegel des N-Bin-Luminanzhistogramms steht. Nach der Bestimmung von N und K berechnet der Mikroprozessor 40 einen Abstand D zwischen N und K gemäß der folgenden Gleichung (9). D = (N – K) (9)
Der Abstand D für ein Bild, welches einen gesättigten Hell-Bereich (wie beispielsweise von einer enthaltenen Lichtquelle) aufweist, ist größer als ein Abstand D für ein Bild, welches keinen gesättigten Hell-Bereich aufweist. Beispielsweise weisen die 10A, 10B und 10C jeweils einen relativ hohen Wert für D auf, wie z. B. D = 13, D = 9 und D = 5, da diese 10A, 10B und 10C Bilder mit einem gesättigten Hell-Bereich von einer großen Lichtquelle aufnehmen. Im Gegensatz dazu weisen die 10D und 10E jeweils einen relativ niedrigen Wert für D auf, wie z. B. D = 3 und D = 2, da diese 10D und 10E Bilder ohne gesättigten Hell-Bereich aufnehmen.
Der Mikroprozessor 40 vergleicht den Abstand D für ein Bild mit einem Referenzwert TD zum Klassifizieren eines solchen Bildes in einen normalen Szenerietyp oder ein Hell-Szenerietyp (Schritt S10 aus 8 und Schritt S35 aus 15). Wenn der Abstand D beispielsweise größer oder gleich dem Referenzwert TD ist, wird das aufgenommene Bild als Hell-Szenerietyp klassifiziert (wie beispielsweise die Bilder aus den 10A, 10B und 10C) (Schritt S11 aus 8). Alternativ wird, wenn der Abstand D kleiner als der Referenzwert TD ist, das aufgenommene Bild als normaler Szenerietyp klassifiziert (beispielsweise die Bilder aus den 10D und 10E) (Schritt S13 aus 8).
Die Erfindung kann auch praktiziert werden, wenn ein aufgenommenes Bild durch Vergleichen des Abstands D mit einer Mehrzahl von Referenzwerten in mehr als zwei Typen klassifiziert wird. 11 zeigt beispielsweise eine Klassifikation eines Bildes in drei Typen (moderat, durchschnittlich oder extrem) durch Vergleichen des Abstands D für das Bild mit zwei Referenzwerten.
Wieder bezugnehmend auf 8, wenn das aufgenommene Bild als normaler Szenerietyp klassifiziert ist, verwendet der Mikroprozessor 40 den akkumulierten Gradientenfokussierwert F_G und die akkumulierten Laplace-Fokussierwerte F_L1 und F_L2, welche für wenigstens eines der Bildfenster W1, W2 und W3 erzeugt werden, wenn die In-Fokus-Linsenposition der Fokussierlinse 12 bestimmt wird. Alternativ verwendet, wenn das aufgenommene Bild als Hell-Szenerietyp klassifiziert wird, der Mikroprozessor 40 die akkumulierten Laplace-Fokussierwerte F_L1 und F_L2 und den Pixelzählwert N_NS3 für wenigstens eines der Bildfenster W1, W2 und W3, wenn die In-Fokus-Linsenposition der Fokussierlinse 12 bestimmt wird.
Bei einer alternativen Ausführungsform der Erfindung verfeinert, wenn das Bild als Hell-Szenerietyp klassifiziert ist, der Mikroprozessor 40 die Hell-Szenerieklassifikation aus dem Pixelzählwert der nicht gesättigten Pixel N_NS1 oder N_NS2 des ersten oder zweiten Bildfensters W1 oder W2 (Schritt S12 aus 8). Der Mikroprozessor 40 kann ein Bild vom Hell-Szenerietyp beispielsweise als normalen Szenerietyp neu klassifizieren, wenn die nachfolgende Gleichung (10) erfüllt ist (Schritt S12 aus 8). (NW2 – NNS2) < TR (10) wobei N_W2 die Pixelanzahl im zweiten Bildfenster W2 ist und T_R ein Referenzwert ist. Der Referenzwert T_R ist eine tolerierbare Anzahl von gesättigten Pixeln, welche die Bildschärfeinformation (z. B. Fokussierwerte) für das zweite Bildfenster W2 nicht signifikant beeinflussen.
12 zeigt normierte Fokussierwertkurven, welche in einer Ausführungsform der Erfindung verwendet werden. Solch eine Fokussierwertkurve wird vom Mikroprozessor 40 bestimmt, der die Fokussierlinse 12 in eine Mehrzahl von Linsenpositionen über den Fokussiermotortreiber 50 steuert. Die x-Achse aus 12 entspricht der Linsenposition, und die y-Achse aus 12 zeigt den korrespondierenden Fokussierwert an, welcher für jede Linsenposition bestimmt wird. Ein solcher Fokussierwert kann beispielsweise der akkumulierte Gradientenfokussierwert F_G oder einer der akkumulierten Laplace-Fokussierwerte F_L1 und F_L2 oder der Zählerwert N_NS3 für nicht gesättigte Pixel sein. Die In-Fokus-Linsenposition am maximal optimierten Fokussierwert wird gemäß der normierten Fokussierwertkurve bestimmt. Eine solche Operation wird als eine Grobsuche bezeichnet.
Für jeden Fokussierwert FV = F_G, F_L1, F_L2 oder F_NS3 bestimmt der Mikroprozessor 40 die folgenden Informationen: einen maximalen Fokussierwert, eine mit dem maximalen Fokussierwert korrespondierende Linsenposition, einen minimalen Fokussierwert, eine Summe von Fokussierwerten und eine Fokussierwertanzahl in der Summe. Der Mikroprozessor 40 verwendet diese Fokussierwertinformation, um die In-Fokus-Linsenposition zu bestimmen und um festzustellen, ob die korrespondierende Fokussierwertkurve flach ist. Der Mikroprozessor 40 bestimmt basierend auf der folgenden Gleichung (11), ob jede Fokussierwertkurve flach ist.
wobei F(i) ein Fokussierwert eines i-ten Schrittes einer Grobsuche ist, N die Schrittanzahl im groben Schritt ist und T_C ein Schwellwert ist.
Bezugnehmend auf 8 analysiert, wenn das aufgenommene Bild als normaler Szenerietyp klassifiziert wird, der Mikroprozessor 40, ob die Form der akkumulierten Gradientenfokussierwertkurve F_G des ersten Bildfensters W1 flach ist (Schritte S15 und S14 aus 8). Wenn diese Fokussierwertkurve F_G nicht flach ist (wie beispielsweise eine Kurve 12a in 12), verwendet der Mikroprozessor 40 die akkumulierte Gradientenfokussierwertkurve F_G zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve F_G (Schritte S26 und S27 aus 8).
Wenn diese Fokussierwertkurve F_G flach ist (wie beispielsweise die Kurve 12b in 12) (Schritt S14 aus 8), analysiert der Mikroprozessor 40, ob die akkumulierte Laplace-Fokussierwertkurve F_L1 für das zweite Bildfenster W2 flach ist (Schritte S17 und S16 aus 8). Wenn diese Fokussierwertkurve F_L1 nicht flach ist (wie beispielsweise die Kurve 12a in 12), verwendet der Mikroprozessor 40 die akkumulierte Laplace-Fokussierwertkurve F_L1 zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve F_L1 (Schritte S21, S26 und S27 aus 8).
Wenn diese Fokussierwertkurve F_L1 flach ist (wie beispielsweise die Kurve 12b in 12) (Schritt S16 aus 8), analysiert der Mikroprozessor 40, ob die akkumulierte Laplace-Fokussierwertkurve F_L2 für das dritte Bildfenster W3 flach ist (Schritte S19 und S18 aus 8). Wenn diese Fokussierwertkurve F_L2 nicht flach ist (wie beispielsweise die Kurve 12a in 12), verwendet der Mikroprozessor 40 die akkumulierte Laplace-Fokussierwertkurve F_L2 zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve F_L2 (Schritte S19, S26 und S27 aus 8).
Wenn diese Fokussierwertkurve F_L2 flach ist (wie beispielsweise die Kurve 12b in 12) (Schritt S18 aus 8), bestimmt der Mikroprozessor 40 trotzdem die scharf gestellte Position der Fokussierlinse 12 unter Verwendung der akkumulierten Laplace-Fokussierwertkurve F_L2 für das dritte Bildfenster W3 (Schritt S29 aus 8). Eine solche Bestimmung weist jedoch eine niedrige Zuverlässigkeit auf.
Auf diese Weise bestimmt, wenn die Fokussierwertkurven für das erste und zweite Bildfenster W1 und W2 flach sind, der Mikroprozessor 40 die In-Fokus-Linsenposition unter Verwendung der Fokussierwertkurve F_L2 für das dritte Bildfenster W3, was auch als Grobsuche bezeichnet wird. Im Gegensatz dazu wird, wenn eine Fokussierwertkurve F_G, F_L1 oder F_L2 nicht flach ist, eine feine Suche der In-Fokus-Linsenposition mit dem Finden einer Spitze in einer solchen nicht flachen Fokussierwertkurve F_G, F_L1 oder F_L2 durchgeführt (Schritt S26 aus 8).
Wieder bezugnehmend auf 8 analysiert, wenn das aufgenommene Bild als Hell-Szenerietyp klassifiziert wird, der Mikroprozessor 40, ob die Form der akkumulierten Laplace-Fokussierwertkurve F_L1 des zweiten Bildfensters W2 flach ist (Schritte S41 und S20 aus 8). Wenn diese Fokussierwertkurve F_L1 nicht flach ist (wie beispielsweise die Kurve 12a in 12), verwendet der Mikroprozessor 40 die akkumulierte Laplace-Fokussierwertkurve F_L1 zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve F_L1 (Schritt S42 aus 8).
Wenn diese Fokussierwertkurve F_L1 flach ist (wie beispielsweise die Kurve 12b in 12) (Schritt S20 aus 8), analysiert der Mikroprozessor 40, ob die akkumulierte Laplace-Fokussierwertkurve F_L2 für das dritte Bildfenster W3 flach ist (Schritte S43 und S22 aus 8). Wenn diese Fokussierwertkurve F_L2 nicht flach ist (wie beispielsweise die Kurve 12a in 12), verwendet der Mikroprozessor 40 die akkumulierte Laplace-Fokussierwertkurve F_L2 zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve F_L2 (Schritt 844 aus 8).
Wenn diese Fokussierwertkurve F_L2 flach ist (wie beispielsweise die Kurve 12b in 12) (Schritt S22 aus 8), analysiert der Mikroprozessor 40 basierend auf der folgenden Gleichung (12), ob die Anzahl von nicht gesättigten Pixeln N_NS3 für das dritte Bildfenster W3 flach ist (Schritte S45 und S24 aus 8). (max(NNS3) – min(NNS3)) < TNS (12)wobei T_NS ein Schwellwert ist.
Wenn diese Fokussierwertkurve N_NS3 nicht flach ist (wie beispielsweise die Kurve 12a in 12), verwendet der Mikroprozessor 40 eine Fokussierwertkurve N_NS3 zur Bestimmung der In-Fokus-Position der Fokussierlinse an der Spitze einer solchen nicht flachen Kurve N_NS3 (Schritt S46 aus 8). Wenn diese Fokussierwertkurve N_NS3 flach ist (Schritt S24 aus 8), bestimmt der Mikroprozessor 40 eine Rückfallfokussierposition (Schritt S47 aus 8), welche von einem Benutzer gesetzt wird, als die In-Fokus-Position. Eine solche Bestimmung weist jedoch eine niedrige Zuverlässigkeit auf.
In jedem Fall aus 8 bestimmt der Mikroprozessor 40 die In-Fokus-Position der Fokussierlinse 12 unter Verwendung verschiedener Sequenzen mit einem anderen Festlegen wenigstens einem der Fokussierwerte F_G, F_L1, F_L2 und N_NS3 in Abhängigkeit vom Szenerietyp des Bil des, für eine akkurate Bestimmung der In-Fokus-Position der Fokussierlinse 12 (Schritt S36 aus 15).

Claims

Verfahren zur Auto-Fokussierung innerhalb eines Bildabtastsystems, mit folgenden Schritten: – Erzeugen eines N-Bin-Luminanzhistogramms aus einem Bild, – Bestimmen eines Bildtyps aus dem N-Bin-Luminanzhistogramm, – Bestimmen einer Fokusposition unter Verwendung eines ersten Satzes von wenigstens einem Fokussierwert, wenn das Bild als von einem ersten Typ bestimmt wird, und – Bestimmen der Fokussierposition unter Verwendung eines zweiten Satzes von wenigstens einem Fokussierwert, welcher sich vom ersten Satz unterscheidet, wenn das Bild als von einem zweiten Typ bestimmt wird.
Verfahren nach Anspruch 1, weiter eine Bestimmung eines K-ten Bins umfassend, der die Gleichung
erfüllt, wobei H_i ein jeweiliger Histogrammwert für jeden i-ten Bin ist und wobei H_N ein jeweiliger Histogrammwert für den N-ten Bin ist, welcher für eine hellste Luminanz steht.
Verfahren nach Anspruch 2, weiter die folgenden Schritte umfassend: – Bestimmen eines Abstands D = (N – K) für den K-ten und N-ten Bin, – Bestimmen, dass das Bild von einem Hell-Szenerietyp ist, wenn der Abstand D größer oder gleich einem Referenzwert ist, und – Bestimmen, dass das Bild von einem normalen Szenerietyp ist, wenn der Abstand D kleiner als der Referenzwert ist.
Verfahren nach Anspruch 3, weiter eine Verwendung eines Gradientenfokussierwertes umfassend, welcher von einer Ausgabe ei nes Gradientenfilters oder einem Laplace-Fokussierwert zum Bestimmen der Fokusposition erzeugt wird, wenn das Bild vom normalen Szenerietyp ist.
Verfahren nach Anspruch 4, weiter zum Bestimmen der Fokusposition eine Verwendung des Laplace-Fokussierwerts umfassend, wenn der Gradientenfokussierwert eine vorbestimmte Flacheigenschaft aufweist, und anderenfalls die Verwendung des Gradientenfokussierwerts umfassend, wenn das Bild vom normalen Szenerietyp ist.
Verfahren nach Anspruch 5, weiter eine Bestimmung eines optimalen Fokussierwerts in Abhängigkeit von Eigenschaften einer Mehrzahl von Laplace-Fokussierwerten für eine Mehrzahl von ersten Bildfenstern umfassend, wenn der Gradientenfokussierwert die Flacheigenschaft aufweist, wenn das Bild vom normalen Szenerietyp ist.
Verfahren nach Anspruch 3, weiter eine Bestimmung eines optimalen Fokussierwerts in Abhängigkeit von Eigenschaften einer Mehrzahl von Laplace-Fokussierwerten für eine Mehrzahl von zweiten Bildfenstern umfassend, wenn das Bild vom Hell-Szenerietyp ist.
Verfahren nach Anspruch 7, weiter eine Verwendung einer Eigenschaft einer Anzahl von nicht gesättigten Pixeln in einem dritten Bildfenster umfassend, welches größer als die zweiten Bildfenster ist, wenn alle Laplace-Fokussierwerte vorbestimmte Flacheigenschaften aufweisen, wenn das Bild vom Hell-Szenerietyp ist.
Autofokussierungsvorrichtung mit: – einem digitalen Signalprozessor (30) zum Erzeugen eines N-Bin-Luminanzhistogramms aus einem Bild und zum Bestimmen von verschiedenen Fokussierwerten aus dem Bild und – einem Mikroprozessor (40) zum Bestimmen eines Bildtyps aus dem N-Bin-Luminanzhistogramm, zum Bestimmen einer Fokussierposition unter Verwendung eines ersten Satzes von wenigstens einem Fokussierwert, wenn das Bild als von einem ersten Typ bestimmt ist, und zum Bestimmen der Fokusposition unter Verwendung eines zweiten Satzes von wenigstens einem Fokussierwert, welcher sich vom ersten Satz unterscheidet, wenn das Bild als von einem zweiten Typ bestimmt ist.
Autofokussierungsvorrichtung nach Anspruch 9, wobei der Mikroprozessor einen Datenprozessor (202, 212) und ein Speicherbauelement (204, 214) aufweist, in welchem Instruktionssequenzen gespeichert sind, und wobei der Prozessor angepasst ist, um einen K-ten Bin zu bestimmen, welcher
erfüllt, wobei H_i ein jewelliger Histogrammwert für jeden i-ten Bin ist, und wobei H_N ein jeweiliger Histogrammwert für den N-ten Bin ist, welcher für eine hellste Luminanz steht.
Autofokussierungsvorrichtung nach Anspruch 10, wobei der Datenprozessor angepasst ist, um die folgenden Schritte auszuführen: – Bestimmen eines Abstands D = (N – K) für den K-ten und N-ten Bin, – Bestimmen, dass das Bild von einem Hell-Szenerietyp ist, wenn der Abstand D größer oder gleich einem Referenzwert ist, und – Bestimmen, dass das Bild von einem normalen Szenerietyp ist, wenn der Abstand D kleiner als der Referenzwert ist.
Autofokussierungsvorrichtung nach Anspruch 11, wobei der Datenprozessor dafür eingerichtet ist, die folgenden Schritte auszuführen, wenn das Bild vom normalen Szenerietyp ist: – Bereitstellen eines Gradientenfokussierwertes, welcher von einer Ausgabe eines Gradientenfilters zum Bestimmen der Fokusposition erzeugt wird, und – Verwenden eines Laplace-Fokussierwerts zum Bestimmen der Fokusposition, wenn der Gradientenfokussierwert eine vorbestimmte Flachcharakteristik aufweist, und anderenfalls Verwenden des Gradientenfokussierwerts.
Autofokussierungsvorrichtung nach Anspruch 12, wobei der Datenprozessor dafür eingerichtet ist, den weiteren Schritt zur Bestimmung eines optimalen Fokussierwerts in Abhängigkeit von Eigenschaften einer Mehrzahl von Laplace-Fokussierwerten für eine Mehrzahl von Bildfenstern auszuführen, wenn der Gradientenfokussierwert die Flacheigenschaften aufweist, wenn das Bild vom normalen Szenerietyp ist.
Autofokussierungsvorrichtung nach Anspruch 11, wobei der Datenprozessor dafür eingerichtet ist, die folgenden Schritte auszuführen, wenn das Bild vom Hell-Szenerietyp ist: – Bestimmung eines optimalen Fokussierwerts in Abhängigkeit von Eigenschaften einer Mehrzahl von Laplace-Fokussierwerten für eine Mehrzahl von zweiten Bildfenstern und – Verwendung einer Eigenschaft einer Anzahl von nicht gesättigten Pixeln in einem dritten Bildfenster, welches größer als die zweiten Bildfenster ist, wenn alle Laplace-Fokussierwerte Flacheigenschaften aufweisen.
Bildabtastsystem mit: – einer Fokussierlinse (12), – einem Fokussiermotor (14) zum Bewegen der Fokussierlinse, – einem Fokussiermotortreiber (50) zum Treiben des Fokussiermotors, – einem Bildsensor zum Erzeugen eines Bildes, welches über die Fokussierlinse übertragen wird, und – einer Autofokussierungsvorrichtung nach einem der Ansprüche 9 bis 14, – wobei der Fokussiermotortreiber den Fokussiermotor steuert, um die Fokussierlinse in die Fokusposition zu bewegen, wie sie durch die Autofokussierungsvorrichtung bestimmt wird.