DE19983806B4

DE19983806B4 - Ein die diskrete Wavelet-Transformation verwendender Autofokus-Algorithmus

Info

Publication number: DE19983806B4
Application number: DE19983806T
Authority: DE
Inventors: Tinku Tempe Acharya; Werner Chandler Metz
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1998-12-14
Filing date: 1999-11-10
Publication date: 2004-04-01
Anticipated expiration: 2019-11-11
Also published as: WO2000036551A1; GB2358978B; TW493341B; GB0113364D0; AU1617300A; JP2002532761A; KR100426934B1; GB2358978A; US6151415A; KR20010093824A; DE19983806T1

Abstract

Es wird ein Verfahren beschrieben, daß die Schritte enthält, daß ein Gesamtschärfeparameter für eine vorgegebene Fokusposition dadurch bestimmt wird, daß an einem von einer Abbildungseinrichtung (530) aufgenommenen Bild eine diskrete Wavelet-Transformation durchgeführt wird und die Abbildungseinrichtung in einer optimalen Fokusposition dadurch automatisch fokussiert wird, daß eine Mehrzahl von verschiedenen Schärfeparametern verglichen wird. Die optimale Fokusposition wird dadurch automatisch bestimmt, daß für eine bestimmte Szene (540) der höchste Schärfeparameter gefunden wird.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Einchtung zum automatischen Fokussieren einer digitalen Abbildungseinrichtung.
Eine Abbildungseinrichtung, wie beispielsweise eine digitale Kamera, besteht u.a. aus einem Linsenteilsystem und einem bildverarbeitenden Teilsystem. Das Linsensystem fokussiert auf einer externen Szene und ermöglicht davon in einem bestimmten begrenzten Bereich ausgehendem Licht (Lichtquelle), auf ein Sensor-Array aufzutreffen. Das Sensor-Array besteht aus Fotozellen, die sich aufladen, wenn sie innerhalb einer bestimmten Absorptionsperiode von der Lichtquelle getroffen werden. Diese Ladung wird dann in einen digitalen Wert (Pixelwert) umgewandelt. Auf diese aufgenommenen Pixel werden dann Bildverarbeitungstechniken angewendet, wie beispielsweise Kompression, Skalierungsbildverbesserung usw. In einer Speichereinrichtung gespeicherte, verarbeitete Bilder können dann zur weiteren Verwendung in eine Kamera heruntergeladen werden oder (sofern ein austauschbarer Speicher wie eine FLASH-Karte in der Kamera verwendet wird) entfernt werden.

Automatische Fokussierungssysteme sind beispielsweise aus der US-Patentschrift Nr. 5,200,828 und der Europäischen Patentanmeldung EP 0 404 952 A1 bekannt.

Die Fokussierung des Linsensystems in der Kamera kann sich auf die Unschärfe bzw. die Schärfe der durch die Pixel des Sensor-Arrays dargestellten Szene auswirken. Die Fokussierung kann manuell erfolgen, geschieht jedoch häufig automatisch. Eine derartige automatische Fokussiertechnik basiert auf FIR (Finite Impulse Response)-Filtern bzw. Filtern mit Empfindlichkeit für finite Impulse, die bestimmen, wo Kantenmerkmale liegen und mit welcher Genauigkeit Kanten bestimmt werden können. Bei Bildern, die eine hohe Entropie haben, d.h. Pixel mit sehr unterschiedlichen Intensitäts-/Farbwerten, ist eine derartige Technik weniger wirksam, da die Mittelung zu verzerrten Ergebnissen führt. Folglich wird eine Fokussiertechnik benötigt, die die Schärfe des Bildes unabhängig von dessen Entropie besser bestimmen kann.

Wenn die Fokussierung hardwaremäßig, beispielsweise mit einer CMOS(komplementärer Metalloxid-Halbleiter)-Abbildungseinrichtung realisiert wird, ist es ferner im Hinblick auf die Implementierung wichtig, den Rechenaufwand der Fokussierprozedur zu verringern, insbesondere wenn von der Einrichtung zusätzlich viele andere Funktionen ausgeführt werden müssen. Bei Einrichtungen mit zwei Betriebsarten, welche sowohl Filmaufnahmen als auch Standbilder liefern können, besteht ferner ein Bedarf an Verfahren und Einrichtungen, die leicht unterschiedliche Fokussierebenen zur Verfügung stellen können.

Bei einer Einrichtung, beispielsweise einer digitalen Kamera, sollte unabhängig davon, ob es eine Standbild- oder eine Videofilmeinrichtung ist, eine automatische Fokussierung in integrierten Schaltungen mit minimalem Kosten- und Platzaufwand realisierbar sein. Idealerweise könnte das Fokussierverfahren Komponenten verwenden, die irgendwo anders in der Abbildungseinrichtung zu anderen Zwecken bereits verwendet werden, ohne daß eine Spezialschaltung zur automatischen Fokussierung erforderlich ist.

Diese Aufgabe wird durch ein Verfahren zum automatischen Fokussieren einer digitalen Abbildungseinrichtung mit den Merkmalen des Patentanspruchs 1 bzw. einer Einrichtung zum automatischen Fokussieren einer Abbildungseinrichtung mit den Merkmalen des Patentanspruchs 13 gelöst.

Vorteilhafte und bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.

Im folgenden wird die Erfindung anhand von in den Zeichnungen dargestellten bevorzugten Ausführungsformen näher beschrieben.
Kurze Beschreibung der Zeichnungens
1 zeigt die Zerlegung eines Bildes mit Hilfe einer diskreten Wavelet-Transformation.
2 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung.
3 zeigt ein Beispiel der in der Erfindung verwendeten Schärfeparameterberechnung.
4 zeigt eine Blockdarstellung wenigstens eines Ausführungsbeispiels der Erfindung.
5 zeigt eine Systemdarstellung eines Ausführungsbeispiels der Erfindung.
Detaillierte Beschreibung der Erfindung
Die hier beschriebenen beispielhaften Ausführungsbeispiele sollen lediglich die erfindungsgemäßen Prinzipien veranschaulichen und sind nicht als Einschränkung des Schutzbereichs der Erfindung zu verstehen. Statt dessen können die erfindungsgemäßen Prinzipien bei einem breiten Spektrum von Systemen angewendet werden, um die hier beschriebenen Vorteile und andere Vorteile zu erzielen oder um genauso andere Aufgaben zu lösen.
Bei Verwendung der traditionellen Fourier-Analyse oder -Transformation kann jedes Signal als eine Summe aus sinusförmigen Signalformen gemischter Frequenzen angenähert werden. Während Fourier-Transformationen für Signale mit wiederkehrenden Eigenschaften ideal sind, können sie Signale mit scharfen Diskontinuitäten wie die Kantenmerkmale bei Bildern oder für die digitale Kommunikation codierte Signale nicht wirksam approximieren. Folglich ist die Fourier- Analyse dann ungeeignet, wenn Kantenmerkmale erfaßt werden müssen, um die Schärfe zu bestimmen, da die Fourier-Transformation an erster Stelle Kantenmerkmale nicht angemessen darstellt. Es wurde eine andere Art der Signalanalyse entwickelt, die als Wavelet-Analyse bekannt ist, um Signale besser darzustellen, welche übertriebene und diskontinuierliche Merkmale haben. Die Wavelet-Kurve selbst ist eine diskontinuierliche und ausgezackte Kurve, wenn sie geliefert wird, und durch Kombination verschiedener Wavelets ist eine wesentlich bessere Darstellung der Bildmerkmale verfügbar. Eine andere als diskrete Wavelet-Transformation (DWT) bekannte Transformation, die auf der Wavelet-Analyse basiert, wurde zur besseren Darstellung von Diskontinuitäten wie an den Kantenmerkmalen von digitalen Bildern entwickelt.
Ein grundlegender Unterschied zwischen Fourier-Transformationen und Wavelet-Transformationen besteht darin, daß die Wavelet-Transformationen sowohl räumlich als auch zeitlich lokalisiert sind. Somit bleiben sowohl der Raum (Zeitbereich) als auch die Frequenz erhalten, wenn ein Signal mit Hilfe der Wavelet-Analyse zerlegt wird. Da die Fourier-Transformation von Natur aus periodisch ist, stellt sie räumliche Diskontinuitäten nicht gut dar. Die Wavelet-Transformation dagegen ist von Natur aus diskontinuierlich und weist lokalisierte Variationen auf, die verschwinden bzw. nicht an allen Orten des Signals existieren. Die allgemeine Wavelet-Theorie ist auf dem Gebiet der Signalanalyse ziemlich bekannt und wird hier nicht beschrieben, um die Erfindung nicht mit unnötigen Einzelheiten zu belasten.
Die DWT ist ein "diskreter" Algorithmus und approximiert das Eingangssignal mit diskreten Abtastwerten eines vollständigen Wavelets. Aufgrund dieser diskreten Abtastpunkte kann man sich die DWT somit auch als Filter mit gut definierten Koeffizienten vorstellen. Die in wenigstens einem Ausführungsbeispiel der Erfindung zur Bildskalierung gewählte DWT ist die 9-7-bi-orthogonal-Spline-DWT. Da die DWT dis kret ist, kann die DWT mit Hilfe einer digitalen Logik, wie beispielsweise mit hochintegrierten Schaltungen (VLSI), implementiert werden und kann folglich mit anderen digitalen Komponenten zusammen auf einem Chip integriert werden. Folglich kann die DWT in einer Abbildungseinrichtung wie einer Standbild- oder Videokamera leicht implementiert werden. Die Fähigkeit der DWT, Merkmale eines Bildes besser zu approximieren, macht sie für die Bildkompression ideal und so wurde sie auf dem Gebiet der Bildaufbereitung verwendet. Bei einer eine DWT zur Bildkompression verwendenden Einrichtung kann eine Autofokus-Technik in der Einrichtung effizient implementiert werden, da die DWT-Rechenmaschine zum Zwecke der Bildkompression darin bereits enthalten ist.
1 zeigt die Zerlegung eines Bildes mit Hilfe einer diskreten Wavelet-Transformation.
Die Zerlegung eines Eingabebildes I 100 mit Hilfe einer DWT ist in 1 dargestellt. Die dargestellte Zerlegung verwendet eine DWT in zwei Dimensionen, d.h. eine zeilenweise und dann spaltenweise angewendete DWT. Das Ergebnis ist ein zerlegtes Bild X 110, das vier mit LL, LH, HL und HH bezeichnete "Teilbänder" hat.
Wenn ein Bild 100 die Abmessungen M·N (M Zeilen und N Spalten von Pixeln) hat, dann wird die Anwendung einer zweidimensionalen DWT vier Teilbänder erzeugen, die jeweils Abmessungen von M/2·N/2 haben. Das Teilband LL enthält die meisten der ursprünglichen Bildinformationen und stellt im wesentlichen eine auf die Hälfte skalierte Version des ursprünglichen Eingabebildes I 100 dar. Das Teilband HL enthält extrahierte Kanten von dem Eingabebild I 100, nämlich diejenigen Kanten, die in vertikaler Richtung verlaufen. In ähnlicher Weise enthält das Teilband LH extrahierte Kanten von dem Eingabebild I 100, nämlich diejenigen Kanten, die in der horizontalen Richtung verlaufen. Das Teilband HH enthält Hochfrequenzrauschen und diejenigen Kanten des Eingabebildes I 100, die nicht horizontal oder vertikal verlaufen.
Bei einem Ausführungsbeispiel der Erfindung werden die Kantenextraktionseigenschaften von durch DWT erzeugten Teilbändern verwendet, um die Güte einer bestimmten Fokussierposition zu bestimmen. Ein "Schärfe"-Parameter wird somit im Hinblick auf eines oder mehrere dieser Teilbänder definiert. Der Schärfeparameter versucht, die Bedeutung von Kanten innerhalb der DWT-Teilbänder zu messen. Kanten in einem Bild definieren Umrisse von Objekten oder Grenzen zwischen Bereichen. Kanten können als Änderung der Grauskalenintensität zwischen einem Pixel und seinem (seinen) Nachbarn definiert werden. Die DWT-Teilbänder sind empfindlich gegenüber dieser Intensitätsänderung und heben diese hervor und können somit als Kantendiskriminator operieren. Da Intensitätsänderungen oft auftreten können, können Änderungen mit einem Schwellwert verglichen werden, um festzustellen, welche Änderungen eine Kante darstellen und welche nicht.
Werden die DWT-Teilbänder zu diesem Zweck verwendet, müssen nicht alle Teilbänder verwendet werden. Da das Teilband LL lediglich eine herunterskalierte Version des ursprünglichen Bildes ist, ist die Kantenbestimmung darin genauso rechenintensiv wie eine an dem Eingabebild durchgeführte Kantenbestimmung wäre. Folglich kann das Teilband LL bei der Schärfeparameterbewertung vernachlässigt werden. In ähnlicher Weise kann das Teilband HH vernachlässigt werden, da es statistisch gesehen mehr Rauschen als verwendbare Kanteninformationen enthält, insbesondere bei Eingabebildern, die von Anfang an verrauscht sind. Dementsprechend werden bei einem Ausführungsbeispiel der Erfindung nur die Teilbänder LH und HL zur Bestimmung der Kanten verwendet und somit zur Bewertung der Schärfe des Bildes. Allgemein gilt, je schärfer das Bild ist, je wahrscheinlicher hat das Linsensystem, welches das Bild aufgenommen hat, den optimalen Brennpunkt (Fokus).
2 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung.
Die Methodik der automatischen Fokussierung einer Abbildungseinrichtung auf der Basis der diskreten Wavelet-Transformation (DWT) beinhaltet die Anwendung der DWT auf eine Reihe von aufgenommenen Bildern (von denen jedes mit einer anderen Brennweite aufgenommen wurde) und bei jedem aufgenommenen Bild das Berechnen seines Schärfeparameters. Die zur Aufnahme desjenigen Bildes mit dem höchsten Schärfeparameter verwendete Position des Brennpunktes ist die optimalste Position des Brennpunktes.
Der erste Schritt besteht darin, bestimmte Schwellwerte auszuwählen oder einzustellen, mit denen der Inhalt der Teilbänder verglichen werden kann (Schritt 210). Dies beseitigt Störinformationen in den Teilbändern, wie beispielsweise falsche Kanten. Die Schwellwerte können auf dem Inhalt der Teilbänder basieren, speziell auf dem Minimum und Maximum der Absolutwerte der DWT-Koeffizienten x_m _in bzw. x_max in dem Teilband. Beispielsweise kann ein unterer Schwellwerte T_L definiert werden, unterhalb dessen Werte bei der Kantenbestimmung nicht berücksichtigt werden, der gleich k_L·x_min ist, wobei k_L eine zwischen 1,0 und 1,5 jeweils einschließlich liegende einrichtungsabhängige Konstante ist. Genauso kann ein oberer Schwellwert T_H definiert werden, oberhalb dessen Werte bei der Kantenbestimmung nicht berücksichtigt werden, der gleich k_H·x_maX ist, wobei k_H eine zwischen 0,1 und 1,0 jeweils einschließlich liegende einrichtungsabhängige Konstante ist. Der Schärfeparameter S für ein bestimmtes Teilband ist der Mittelwert der Absolutwerte der DWT-Koeffizienten in dem Teilband, welche zwischen T_L und T_H jeweils einschließlich fallen. Der Gesamtschärfeparameter S_d für das Gesamtbild bei einer bestimmten Fokusposition d ist der Mittelwert der Schärfeparameter für die DWT-Teilbänder LH und HL bei dieser Position.
Mit Hilfe dieses Schwellwertes kann die optimale Fokusposition für eine bestimmte Szene mit der folgenden Prozedur automatisch ermittelt werden. Zum Zwecke der Erläuterung sei angenommen, daß sich die mechanische Einrichtung in dem Linsensystem in einer begrenzten Anzahl (N) von diskreten Fokuspositionen D₀, D₁ ... D_N_₁ sich positionieren kann. Das Linsensystem wird zunächst in eine Standardfokusposition "d" gebracht (Schritt 215). Bei dieser Fokusposition d wird dann ein Bild aufgenommen und eine DWT an diesem ausgeführt. Danach wird sein Schärfeparameter S_d berechnet (Schritt 220). Da die Fokussierqualität am besten durch Vergleich bestimmt werden kann, wird als nächstes eine weitere Fokusposition gewählt. Beispielsweise kann das System in die unmittelbar davor liegende Fokusposition d–1 gebracht werden (Schritt 225). Die Bezeichnung "d–1" soll bedeuten, daß wenn die gegenwärtige Fokusposition d = D_i ist, dann d–1 = D_i–1. Wieder wird ein Bild von im wesentlichen der gleichen Szene wie dasjenige in Schritt 220 aufgenommene Bild aufgenommen und der Schärfeparameter S^d–1 wird berechnet (Schritt 230).
Die Schärfeparameter der beiden Fokuspositionen, S_d und S_d–1, werden dann verglichen (Schritt 235), um festzulegen, in welcher Richtung die nächste Bewertung getroffen werden sollte (nachfolgende oder vorhergehende Fokusposition). Allgemein gesprochen sollten mindestens drei Fokuspositionen geprüft werden, bevor eine ordentliche Entscheidung hinsichtlich der optimalen Fokusposition für die Szene getroffen werden kann. Wenn S^d > S_d–1 ist (wie im Schritt 235 geprüft wird), dann wird die nächsthöhere Fokusposition d+1 beispielsweise für den Vergleich gewählt, da dann bekannt ist, daß die vorhergehenden Fokuspositionen d–1, d–2 usw. niedrigere Schärfeparameter erzielen und somit unschärfer sind. In diesem Fall wird das Linsensystem in die nächsthöhere Fokusposition d + 1 gebracht (Schritt 260), was die diskrete Position D_i+1 anzeigt, wenn d = D_i. Dann wird ein Bild von im wesentlichen der gleichen Szene wie im Schritt 230 aufgenommen und dessen Schärfeparameter S_d+1 wird berechnet (Schritt 265). Da die Fokusposition d–1 durch den Vergleich mit der Fokusposition d (im Schritt 235) ausgeschlossen wurde, werden nun d und d+1 verglichen, wobei deren jeweilige Schärfeparameter Sa und S_d+1 verwendet werden. Wenn S_d > = S_d+1 ist, dann ist d die optimalste Fokusposition (Schritt 280), da alle anderen Fokuspositionen d+1, d+2 usw. eine geringere Schärfe haben. Somit ist allgemein gesagt eine Fokusposition die optimalste Fokusposition, wenn S_d > = S_d–1 und S_d > = S_d–1 und S_d > = S_d+1 Wenn Sa kleiner als S_d+1 ist, dann ist die Fokusposition d+1 oder eine höhere Fokusposition evtl. die optimale Fokusposition. Somit wird die Standardfokusposition d auf d+1 gesetzt und genauso wird der Schärfeparameter S_d auf S_d ₊₁ gesetzt (Schritt 275). Wenn d vorher beispielsweise gleich D₉ war, dann wird es nun auf d+1 oder D₁₀ eingestellt. Nach dieser Neueinstellung der Standardfokusposition d auf d+1, werden die Schritte 260, 265 und 270 wiederholt. Sobald S_d > = S_d ₊₁, kann die Autofokusprozedur beendet werden und d kann als die richtige oder optimale Fokusposition ausgewählt werden. Ein numerisches Beispiel und eine numerische Tabelle sind unten unter Bezugnahme auf 3 angegeben.
Es wird wieder auf Schritt 235 Bezug genommen. Wenn Sa nicht größer als S_d _–1 war, dann können d+1 und höhere Fokuspositionen nicht die optimale Fokusposition sein, sondern eher d–1 oder vielleicht niedrigere Positionen wie d–2, d–3 usw. Da aufgrund dieses Vergleichs die ursprüngliche Standardfokusposition d (vom Schritt 215) aus den Betrachtungen ausgeschlossen wurde, wird die Standardfokusposition d auf d-1 zurückgesetzt (Schritt 240). In ähnlicher Weise wird der Schärfeparameter S_d auf S_d_₁ gesetzt (Schritt 240). Wenn beispielsweise d gleich D₉ wäre, dann wird d auf D₈ gesetzt.
Für die auf den nächstniedrigeren Wert somit neu eingestellte Standardfokusposition muß die Schärfe des aufgenommenen Bildes bei niedrigeren Fokuspositionen geprüft werden. Dementsprechend wird das Linsensystem in eine Fokusposition d–1 gebracht (Schritt 250). Dann wird bei der Fokusposition d–1 ein Bild aufgenommen und S_d_₁ berechnet. Wenn S_d größer oder gleich S_d_₁ ist, dann kann d als die richtige oder optimale Fokusposition ausgewählt werden (Schritt 280), womit die Autofokus-Prozedur beendet ist. Wenn Sd nicht größer oder gleich S_d_₁ ist, dann müssen noch niedrigere Fokuspositionen geprüft werden und somit müssen die Schritte der Neueinstellung der Standardfokusposition d auf d–1 und des Vergleichs des Schärfeparameters der neuen Fokusposition mit den vorher bewerteten (d.h. Schritte 240 bis 255) wiederholt durchgeführt werden, bis S_d > = S_d_₁, zu welchem Zeitpunkt das aktuelle d als richtige oder optimale Fokusposition ausgewählt werden kann.
3 zeigt ein Beispiel einer erfindungsgemäßen Schärfeparameterberechnung.
3 zeigt ein zerlegtes Bild 300, welches sich dadurch ergibt, daß auf ein Eingabebild eine zweidimensionale DWT angewendet wird. Das zerlegte Bild 300 besteht aus vier Teilbändern, nämlich LL, LH, HL und HH. Wie oben beschrieben wurde, können die Teilbänder LL und HH von der Schärfenbestimmung ausgeschlossen werden, wodurch das Teilband LH 310 und das Teilband HL 315 für diese Bestimmung übrigbleiben. Der Schärfeparameter für das Gesamtbild ist definiert als Mittelwert der Schärfeparameter für das Teilband HL und das Teilband LH. Jedes Teilband LH 310 und HL 315 hat 16 Werte (welche aus Gründen der Einfachheit ganzzahlig gewählt wurden, obwohl sie dies in einem tatsächlichen DWT-Teilband nicht zu sein brauchen).
Es wird zunächst das Teilband HL 315 betrachtet. Der Schwellwert für das Teilband muß festgelegt werden. Unter der Annahme, daß die einrichtungsabhängigen Konstanten k_L und k_H 1,1 bzw. 0,9 betragen, beträgt der untere Schwellwert T_L 1,1·x_min, und der obere Schwellwert T_H beträgt 0, 9 x_min, wobei x_min und x_max der minimale bzw. der maximale DWT-Koeffizient in dem Teilband sind. Es wird auf die für das Teilband HL 315 gezeigten 16 DWT-Koeffizienten Bezug genommen, wobei x_min |–50| oder 50 und _Xmax 85 beträgt . Somit würde der untere Schwellwert T_L 55 (50·1,1) und der obere Schwellwert T_H würde 77 (85·0,9 gerundet auf die nächste ganze Zahl) betragen. Der Schärfeparameter für das Teilband HL 315 würde gleich der Mittelwert der Absolutwerte derjenigen DWT-Koeffizienten x_i sein, welche in den Bereich [T_L, T_H] oder [55, 77], jeweils einschließlich, fallen. Es fällt nur ein Wert (Koeffizient) 55 in diesen Bereich, so daß der Schärfeparameter einfach 55 beträgt.
Unter der Annahme, daß die einrichtungsabhängigen Parameter dieselben sind, betragen die Schwellwerte für das Teilband LH 310 in ähnlicher Weise T_L= |–80|·1,1 = 88 und T_H = |110|·0,9 = 99. Folglich wird der Schärfeparameter für das Teilband LH 310 dadurch bestimmt, daß diejenigen Werte (Koeffizienten) gemittelt werden, deren Absolutwerte in den Bereich zwischen 88 und 99, jeweils einschließlich fallen. Vier Koeffizienten, nämlich 90, 95, 95 und –89 erfüllen dieses Kriterium. Somit ist der Schärfeparameter für das Teilband LH 310 der Mittelwert der Absolutwerte dieser Koeffizienten oder 92 (das gerundete Ergebnis von [90+95+95+89]/4).
Der Schärfeparameter für das Gesamtbild ist der Mittelwert der Schärfeparameter für die Teilbänder LH und HL bzw. 74 (das gerundete Ergebnis von [55+92]/2). Das obige Beispiel wurde aus Gründen der Einfachheit mit ganzen Zahlen dargestellt, jedoch kann jede gewünschte Genauigkeit oder jeder gewünschte Zahlentyp verwendet und beibehalten werden. Darüber hinaus ist die Verwendung von LH- und HL-Teilbändern, die jeweils nur 16 Werte in ihren Koeffizientendatensätzen haben, lediglich beispielhaft.
4 zeigt ein Blockschaltbild wenigstens eines Ausführungsbeispiels der Erfindung.
In dem Blockschaltbild gemäß 4 nimmt ein Bildaufnahmesensor 400 ein Bild einer Szene bei einer bestimmten Fokusposition, zu Beginn bei einer Standardposition d, auf. Die Daten des aufgenommenen Bildes werden dann an eine DWT- Maschine 410 gesendet/auf die Daten wird von der DWT-Maschine 410 zugegriffen, welche zur Bildkompression oder Skalierung bereits in dem System enthalten sein kann. Die DWT-Maschine 410 sollte fähig sein, eine zweidimensionale DWT an einem Eingabebild auszuführen. Die DWT-Ergebnisdaten (Koeffizienten) können dann für die weitere Analyse in einem Speicher-Array 420 gespeichert werden. Auf die gespeicherten Daten kann u.a. von einer Schärfenberechnungsmaschine 430 zugegriffen werden, welche Schwellwerte einstellt und die Mittelung an dem Teil des DWT-Datensatzes ausführt, (insbesondere der Teilbänder LH und HL), der das Schwellwertkriterium erfüllt. Die Schärfenberechnungsmaschine berechnet den Schärfeparameter in ähnlicher Weise wie oben beschriebenen und sendet das Ergebnis an eine Komparator- und Rücksetzlogik 440, welche den Schärfeparameter mit einem anderen Schärfeparameter für eine andere Fokusposition vergleicht. In Abhängigkeit von dem Ergebnis des Vergleichs berechnet die Logik 440 entweder eine neue Fokusposition für einen weiteren Vergleich oder legt ein Stoppsignal an, um die Autofokus-Prozedur zu beenden. Die neue Fokusposition oder das Stoppsignal werden an einen Steuermechanismus 450 gesendet, der die neue Fokusposition einstellt oder die aktuelle Fokusposition als optimale oder richtige Fokusposition behält. Der Bildaufnahmesensor 400 nimmt dann bei der von dem Fokussteuermechanismus 450 vorgegebenen Fokusposition ein Bild auf.
5 zeigt eine Systemdarstellung eines Ausführungsbeispiels der Erfindung.
Es ist ein Computersystem 510 dargestellt, bei dem es sich um eine beliebige Mehrzweck- oder Spezialrechenmaschine oder Datenverarbeitungsmaschine wie einen PC (Personalcomputer) handeln kann, der mit einer Kamera 530 gekoppelt ist. Die Kamera 530 kann eine digitale Kamera, eine digitale Videokamera oder eine beliebige Bildaufnahmeeinrichtung oder ein Abbildungssystem oder eine Kombination davon sein, die einen Fokussiermechanismus aufweist, und zur Aufnahme eines Bildes einer Szene 540 verwendet werden kann. Im wesentlichen werden aufgenommene Bilder von einer Bildverarbeitungsschaltung 532 so verarbeitet, daß sie in einer Bildspeichereinheit 534 effizient gespeichert werden können, bei der es sich um ein ROM, ein RAM oder eine andere Speichereinrichtung wie eine Festplatte handeln kann. Das in der Bildspeichereinheit 534 enthaltene Bild, das für das Computersystem 510 bestimmt ist, ist das Ergebnis einer automatischen Fokussierung der Kamera 530 und ist folglich hinsichtlich des Brennpunktes optimiert. Bei den meisten digitalen Kameras, die Standbilder aufnehmen können, werden Bilder zunächst gespeichert und später heruntergeladen. Dies ermöglicht der Kamera 530, das nächste Objekt/die nächste Szene ohne zusätzliche Verzögerung schnell aufzunehmen. Bei digitalen Videokameras, speziell bei solchen, die für Live-Videokonferenzen verwendet werden, ist es jedoch wichtig, daß die Bilder nicht nur schnell aufgenommen werden, sondern auch schnell verarbeitet und aus der Kamera 530 heraus übertragen werden. Das Autofokus-Schema gemäß den verschiedenen Ausführungsformen der Erfindung ermöglicht einen schnellen Durchsatz zu anderen Teil der bildverarbeitenden Schaltung 532, so daß die Gesamtgeschwindigkeit bei der Übertragung von Bildrahmen nicht beeinträchtigt wird.
Gemäß einem Ausführungsbeispiel der Erfindung wird die automatische Fokussierung durch Komponenten wie eine DWT-Maschine unterstützt, die Teil der Bildverarbeitungsschaltung 532 ist. Die Kamera 530 kann Bilder einer Szene 540 bei zwei oder mehr Fokuspositionen aufnehmen, die jeweils eine etwas andere Schärfenqualität erzeugen. Die richtige oder optimale Fokusposition für die Kamera 530 kann dadurch ermittelt werden, daß die Schärfe des Bildes bei verschiedenen Fokuspositionen in einer effizienten Weise bestimmt wird. Nach der automatischen Fokussierung der Kamera und nach der Bildaufnahme bei dieser Fokusposition kann das auf genommene Bild ferner für den Transport komprimiert werden. Das automatisch fokussierte Bild kann mit Hilfe eines Prozessors 512, beispielsweise eines Pentium (ein Produkt der Intel Corporation) und mit Hilfe eines Speichers 511, beispielsweise eine RAMs, wiedergegeben werden, welcher zum Speichern/Laden von Befehlsadressen und Ergebnisdaten verwendet wird. Bei einem anderen Ausführungsbeispiel kann die automatische Fokussierung statt direkt hardwaremäßig mit auf dem Computersystem 510 ausgeführter Software realisiert werden. Die Befehle für eine derartige Software können auf einer Platte 518 oder in einem Speicher 511 gespeichert werden. Es ist für den Durchschnittsfachmann leicht möglich, eine Rechenmaschine so zu programmieren, daß sie eine Kamera automatisch fokussiert, wenn die in den verschiedenen Ausführungsbeispielen beschriebene Methodik verwendet wird.
Das Computersystem 510 weist einen Systembus 513 auf, der den Informationsaustausch zwischen dem Prozessor 512 und dem Speicher 511 und einer mit einem I/O-Bus 515 gekoppelten Brücke 514 ermöglicht. Der I/O-Bus 515 stellt eine Verbindung zu verschiedenen I/O-Einrichtungen her, beispielsweise zu einem Display-Adapter 516, einer Platte 518 und einem I/O-Port 517, beispielsweise ein serieller Port. Es können viele derartige Kombinationen aus I/O-Einrichtungen, Bussen und Brücken zusammen mit der Erfindung verwendet werden, und die dargestellte Kombination dient lediglich der Veranschaulichung einer solchen möglichen Kombination.
Wenn ein Bild, beispielsweise ein Bild einer Szene 540, von der Kamera 530 aufgenommen werden soll, muß die Kamera 530 zunächst automatisch fokussiert werden. Die Bildverarbeitungsschaltung 532 enthält ICs und andere Komponenten, welche neben anderen Funktionen die DWT von aufgenommenen Bildern ausführen können, die bei einer Autofokus-Prozedur verwendet werden kann. Wie zuvor beschrieben, kann die Autofokus-Operation eine Bildspeichereinheit 534 zum Speichern der DWT-Ergebnisdaten für die Analyse aufweisen.
Die automatisch fokussierten und dann komprimierten Bilder werden von einer geeigneten Anwendungssoftware (oder -hardware) auf dem Computersystem 510 dekomprimiert, welche den Prozessor 512 für ihre Ausführung verwenden kann. Die Bilddaten können dann mit Hilfe eines Display-Adapters 516 in Form eines wiedergegebenen Bildes 550 optisch wiedergegeben werden. Bei einer Videokonferenzanwendung können die Bilddaten in der komprimierten Form über ein Netzwerk oder ein Kommunikationssystem außer an das Computersystem 510 oder statt an dieses an einen anderen Knoten oder ein anderes Computersystem übertragen werden, so daß eine Videokonferenzsitzung stattfinden kann. Unabhängig von der gewünschten Anwendung oder Verwendung ist das Endergebnis ein auf einem Monitor 520 oder auf anderen Knoten in einer Videokonferenzsitzung angezeigtes, wiedergegebenes Bild 550, das eine höhere Qualität im Vergleich zu den manuellen oder sonstigen bekannten Autofokus-Verfahren hat.
In der vorangegangenen Beschreibung wurde die Erfindung unter Bezugnahme auf spezielle beispielhafte Ausführungsbeispiele beschrieben. Es ist jedoch klar, daß verschiedene Modifikationen und Abwandlungen an ihr vorgenommen werden können, ohne den in den beigefügten Ansprüchen angegebenen breiteren Erfindungsgedanken und Schutzbereich der Erfindung zu verlassen. Folglich sind die Beschreibung und die Zeichnungen nicht als beschränkend sondern lediglich als Veranschaulichung zu betrachten.

Claims

Verfahren zum automatischen Fokussieren einer digitalen Abbildungseinrichtung, wobei mehrere verschiedene Gesamtschärfeparameter, die jeweils einer anderen Fokusposition entprechen, erzeugt werden, indem jeweils eine diskrete Wavelet-Transformation an mehreren von einer Abbildungseinrichtung aufgenommenen, den verschiedenen Fokuspositionen entsprechenden Bildern durchgeführt wird; und die Abbildungseinrichtung in eine optimale Fokusposition automatisch fokussiert wird, indem die mehreren verschiedenen Gesamtschärfeparameter miteinander verglichen werden.
Verfahren nach Anspruch 1, wobei das Erzeugen die Schritte umfaßt, daß an einem aufgenommenen Bild eine diskrete Wavelet-Transformation (DWT) durchgeführt wird, wobei die DWT Teilbänder gemäß deren DWT-Frequenzkorrelation erzeugt; und daß teilbandspezifische Schärfeparameter gemittelt werden, wobei der Mittelwert den Gesamtschärfeparameter bildet.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die DWT vier mit LL, LH, HL und HH bezeichnete Teilbänder erzeugt und teilbandspezifische Schärfeparameter für die Teilbänder LH und HL gemittelt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß beim Erzeugen ein oberer und ein unterer Schwellwert für wenigstens eines der Teilbänder bestimmt und solche DWT-Koeffizienten innerhalb des wenigstens einen Teilbands gemittelt werden, die zwischen dem unteren und dem oberen Schwellwert, diese einschließend, liegen, wobei der Mittelwert den teilbandspezifischen Schärfeparameter bildet.
Verfahren nach Anspruch 3, wobei die Mittelung die Schritte umfaßt, daß ein für das Teilband LH spezifischer Schärfeparameter erzeugt wird; und daß ein für das Teilband HL spezifischer Schärfeparameter erzeugt wird.
Verfahren nach Anspruch 5, wobei das Erzeugen eines für das Teilband LH spezifischen Schärfeparameters die Schritte umfaßt: daß ein oberer und ein unterer Schwellwert für das Teilband LH bestimmt werden; und daß in dem Teilband LH DWT-Koeffizienten gemittelt werden, deren Absolutwerte zwischen dem unteren und dem oberen Schwellwert, jeweils einschließlich, liegen, wobei der Mittelwert den für das Teilband LH spezifischen Schärfeparameter bildet.
Verfahren nach Anspruch 5, wobei das Erzeugen eines für das Teilband HL spezifischen Schärfeparameters die Schritte umfaßt, daß ein oberer und ein unterer Schwellwert für das Teilband HL bestimmt werden; und daß in dem Teilband HL DWT-Koeffizienten gemittelt werden, deren Absolutwerte zwischen dem unteren und dem oberen Schwellwert, jeweils einschließlich, liegt, wobei der Mittelwert den für das Teilband HL spezifischen Schärfeparameter bildet.
Verfahren nach Anspruch 2, wobei die DWT die Biorthogonal-Splines-DWT umfaßt.
Verfahren nach Anspruch 1, wobei die Abbildungseinrichtung eine digitale Kamera umfaßt.
Verfahren nach Anspruch 1, wobei das automatische Fokussieren die Schritte umfaßt, daß für das Linsensystem der Abbildungseinrichtung eine erste Fokusposition als Standardfokusposition eingestellt wird; daß bei dieser ersten Fokusposition ein Bild aufgenommen wird; und daß aus dem aufgenommenen Bild ein erster Schärfeparameter als Standardschärfeparameter berechnet wird.
Verfahren nach Anspruch 10, das die Schritte umfaßt: daß eine zweite Fokusposition eingestellt wird, die sich von der ersten Fokusposition unterscheidet; daß bei der zweiten Fokusposition ein Bild aufgenommen wird; daß aus dem aufgenommenen Bild ein zweiter Schärfeparameter berechnet wird; daß dann, wenn der zweite Schärfeparameter größer als der Standardschärfeparameter ist, die Standardfokusposition auf eine zweite Fokusposition neu eingestellt wird und der Standardschärfeparameter auf den zweiten Schärfeparameter neu eingestellt wird, wobei die verschiedenen Schritte der Einstellung, Aufnahme, Berechnung und Neueinstellung wiederholt werden, bis der zweite Schärfeparameter kleiner oder gleich der Standardfokusposition ist, wobei die Standardfokusposition daraufhin als optimale Fokusposition ausgewählt wird.
Verfahren nach Anspruch 11, wobei dann, wenn der zweite Schärfeparameter kleiner als der erste Schärfeparameter ist, eine dritte Fokusposition eingestellt wird, die sich von der Standardfokusposition unterscheidet und bezüglich der Standardfokusposition entgegengesetzt der zweiten Fokusposition liegt; ein Bild bei der dritten Fokusposition aufgenommen wird; aus dem aufgenommenen Bild ein dritter Schärfeparameter berechnet wird; dann, wenn der dritte Schärfeparameter größer als der Standardschärfeparameter ist, die Standardfokusposition auf die dritte Fokusposition neu eingestellt wird und der Standardschärfeparameter auf den dritten Schärfeparameter neu eingestellt wird, wobei die Schritte der Einstellung, Aufnahme, Berechnung und Neueinstellung wiederholt werden, bis der dritte Schärfeparameter kleiner oder gleich der Standardfokusposition ist, wobei die Standardfokusposition daraufhin als optimale Fokusposition ausgewählt wird.
Einrichtung zum automatischen Fokussieren einer Abbildungseinrichtung mit: einem Bildaufnahmesensor; einer mit dem Bildaufnahmesensor gekoppelten DWT(Discrete Wavelet Transformation)-Maschine, wobei die DWT-Maschine eine DWT an von dem Sensor aufgenommenen Bildern durchführen kann, und einem mit dem Bildaufnahmesensor und der DWT-Maschine gekoppelten Fokussteuermechanismus, der automatisch eine optimale Fokusposition für den Bildaufnahmesensor auf der Basis der DWT einstellen kann.
Einrichtung nach Anspruch 13, gekennzeichnet durch: eine mit der DWT-Maschine gekoppelte Schärfenberechnungsmaschine, wobei die Schärfenberechnungsmaschine für aufgenommene Bilder auf der Basis einer Mittelung von ausgewählten Teilmengen der DWT-Ergebnisdaten einen Schärfeparameter für die aufgenommenen Bilder bereitstellen kann.
Einrichtung nach Anspruch 14, gekennzeichnet durch: eine mit der Schärfenberechnungsmaschine und dem Fokussteuermechanismus gekoppelten Komparator- und Neueinstellungslogik, wobei die Logik die automatische Einstellung eine optimalen Fokusposition beendet, wenn aus den von der Schärfenberechnungsmaschine erzeugten Schärfeparametern eine optimale Fokusposition bestimmbar ist, wobei die Logik dem Fokussteuermechanismus eine neue Fokusposition liefern kann, um einen Standardschärfeparameter mit einem neuen Schärfeparameter zu vergleichen.
Einrichtung nach Anspruch 14, wobei ein Speichermechanismus mit der DWT-Maschine und der Schärfenberechnungsmaschine gekoppelt ist, wobei der Speichermechanismus DWT-Ergebnisdaten für den Zugriff durch die Schärfenberechnungsmaschine speichern kann.
Einrichtung nach Anspruch 14, gekennzeichnet durch: einen mit der DWT-Maschine und mit der Schärfenberechnungsmaschine gekoppelten Speicher, wobei der Speicher DWT-Ergebnisdaten für einen Zugriff durch die Schärfenberechnungsmaschine speichert.