DE69429383T2

DE69429383T2 - Verfahren zum Synthetisieren von optischen Bildern

Info

Publication number: DE69429383T2
Application number: DE1994629383
Authority: DE
Inventors: Hirohisa Yamaguchi
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1994-01-27
Filing date: 1994-01-27
Publication date: 2002-08-14
Anticipated expiration: 2014-01-28
Also published as: DE69429383D1

Description

Diese Erfindung betrifft ein Verfahren zum Synthetisieren optischer Bilder. Insbesondere betrifft diese Erfindung ein Verfahren zum Synthetisieren mehrerer durch das Ändern der Brennweite erhaltener optischer Bilder.

HINTERGRUND DER ERFINDUNG

Wenn eine Kamera verwendet wird, um optische Bilder aufzuzeichnen, und Objekte, die sich relativ weit entfernt vom Kameraobjektiv befinden, fokussiert sind, sind die Objekte, die sich näher zum Kameraobjektiv befinden, nicht fokussiert und ihre aufgezeichneten Bilder sind unscharf Wenn andererseits die näheren Objekte fokussiert sind, sind die weiter entfernten Objekte nicht fokussiert und deren aufgezeichnete Bilder unscharf Es wird angenommen, daß dieses Problem mit den immanenten Eigenschaften des optischen Systems zusammenhängt. Entsprechend einem grundlegenden optischen Prinzip besitzt ein Lochblenden- Objektiv eine unendliche Schärfentiefe, wobei alle Objekte fokussiert sind, wenn ihre Bilder mit dem Lochblenden-Objektiv einer Lochblenden-Kamera aufgezeichnet werden. Für das [ideale] Lochblenden-Objektiv ist die Öffnung jedoch so klein, daß nicht einmal ein einzelnes Photon durch sie gehen kann, wobei folglich kein Bild erzeugt wird. Das heißt, es ist lediglich ein hypothetisches Objektiv.
Verursacht durch seine grundlegende physikalische Einschränkung besitzt das Objektiv eine endliche Schärfentiefe, wobei das Bild des Objekts mittels automatischer oder manueller Fokussierung aufgenommen wird. Wenn jedoch im gleichen Bild zwei Objekte, eines näher an der Kamera und das andere weiter entfernt von der Kamera, zu photographieren sind, ist es unmöglich, beide zum gleichen Zeitpunkt zu fokussieren. Das heißt, während ein Objekt fokussiert wird, ist das andere nicht fokussiert, wobei sein Bild unscharf wird. Dies ist ein Nachteil.
Obwohl es keine Technologie zum Erzeugen eines synthetisierten Bildes ist, ist eine als inverse Filterung bekannte Technologie geprüft worden, die versucht, aus dem unscharfen Teil eines aufgenommenen Bildes mittels der Verbesserung des unscharfen Teils ein deutliches Bild zu erzeugen. Weil sie jedoch außerdem das Rauschen verstärkt, hat sie die Stufe der praktischen Anwendungen nicht erreichen können.
In US 5.124.842 ist eine Vorrichtung offenbart, die ein Bild mit einer großen Schärfentiefe reproduzieren kann. Dies wird erreicht, indem mehrere Bilder mit verschiedenen Schärfentiefen erhalten werden, die Fourier-Transformation jedes Bildes erhalten wird und diese Fourier-Transformationen gewichtet werden, die gewichteten Fourier-Transformationen summiert werden und ein Bild erzeugt wird, indem die inverse Fourier-Transformation dieser gewichteten Summe erhalten wird.

AUFGABE DER ERFINDUNG

Es ist eine Aufgabe dieser Erfindung, ein Verfahren zum Erzeugen eines synthetisierten Bildes zu schaffen, in dem mehrere optische Bilder, die bei verschiedenen Brennweiten aufgenommen worden, im synthetisierten Bild fokussiert sind.

ZUSAMMENFASSUNG DER ERFINDUNG

Diese Erfindung schafft ein Verfahren, mit dem ein synthetisiertes Bild erhalten wird, während Objekte an verschiedenen Positionen mittels digitaler Signalverarbeitung unter Verwendung mehrerer Bilddarstellungen fokussiert werden.
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Synthetisieren optischer Bilder geschaffen, das die folgenden Schritte umfaßt:
Erzeugen von mehreren, in einem einzigen Gesichtsfeld bei unterschiedlichen Brennweiten erfaßten optischen Bildern, dadurch gekennzeichnet, daß das Verfahren ferner umfaßt:
Durchführung von Wavelet-Transformationen aus verschiedenen Bildelementsignalen der Bilder, um Mehrfachauflösungsdarstellungen in einer der Anzahl der zuvor erwähnten optischen Bilder entsprechenden Anzahl zu erhalten;
Vergleichen der verschiedenen Koeffizienten der zuvor erwähnten Mehrauflösungsdarstellungen entsprechend den zuvor erwähnten optischen Bildern an der gleichen Position zum Feststellen der maximalen Spektralamplitude an jeder der vorgeschriebenen Positionen; und
Bilden der Bildelementsignale aus den zuvor erwähnten synthetisierten Mehrfachauflösungsdarstellungen mit Hilfe einer inversen Wavelet- Transformation, wodurch ein Ausgangsbild synthetisiert wird.
Gemäß der vorliegenden Erfindung wird außerdem eine Bilderzeugungsvorrichtung zum Erzeugen eines synthetisierten optischen Bildes geschaffen, mit
einem Mittel zum Erzeugen von mehreren, in einem einzigen Gesichtsfeld erfaßten optischen Bildern, dadurch gekennzeichnet, daß die Vorrichtung ferner enthält:
ein Mittel zum Durchführen von Wavelet-Transformationen aus verschiedenen Bildelementsignalen der Bilder, um Mehrfachauflösungsdarstellungen in einer der Anzahl der zuvor erwähnten optischen Bilder entsprechenden Anzahl zu erhalten;
ein Mittel zum Vergleichen der verschiedenen Koeffizienten der zuvor erwähnten Mehrauflösungsdarstellungen entsprechend den zuvor erwähnten optischen Bildern an der gleichen Position, damit die maximale spektrale Amplitude an jeder der vorgeschriebenen Positionen erfaßt wird; und
ein Mittel zum Bilden der Bildelementsignale aus den zuvor erwähnten synthetisierten Mehrauflösungsdarstellungen durch inverse Wavelet- Transformation, wodurch ein Ausgangsbild synthetisiert wird.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen zum Synthetisieren von Transformationen von verschiedenen Bildelementsignalen von mehreren optischen Bildern, die bei verschiedenen Brennweiten hinzugefügt werden, um die zuvor erwähnten optischen Bilder mit Mehrfachauflösungen zu erhalten; Vergleichen der verschiedenen Koeffizienten der zuvor erwähnten optischen Bilder an der gleichen Position, um die maximale Spektralamplitude zu erfassen, die in jeder der zuvor erwähnten vorgeschriebenen Positionen erfaßt wird; und Erzeugen der Bildelementsignale aus der zuvor erwähnten synthetisierten Mehrfachauflösung.
Gemäß einer weiteren Ausführungsform wird eine Abbildungsvorrichtung zum Bilden eines synthetisierten Bildes aus allen Objekten in einem Gesichtsfeld (FOV) geschaffen, die umfaßt: Bilderfassungsmittel, die ein fokussiertes Bild von einem Objekt oder mehreren Objekten im Gesichtsfeld bilden können; Speichermittel zum Speichern der fokussierten Bilder; und Bildsynthetisierungsmittel zum Synthetisieren eines Bildes aus dem Objekt oder jedem Objekt im Gesichtsfeld aus den gespeicherten fokussierten Bildern.
Im folgenden wird nun lediglich beispielhaft auf die beigefügte Zeichnung Bezug genommen. In den Zeichnungen:
Fig. 1 ist ein Ablaufplan, der eine Ausführungsform eines Verfahrens zum Synthetisieren optischer Bilder gemäß der vorliegenden Erfindung veranschaulicht.
Fig. 2 ist ein Blockschaltplan, der eine Ausführungsform einer Vorrichtung zum Implementieren des Verfahrens des Synthetisierens optischer Bilder gemäß der vorliegenden Erfindung veranschaulicht.
Fig. 3 ist ein Blockschaltplan, der eine weitere Ausführungsform einer Vorrichtung zum Implementieren des Verfahrens des Synthetisierens optischer Bilder gemäß der vorliegenden Erfindung veranschaulicht.
Fig. 4 ist eine schematische Darstellung, die eine Ausführungsform zum Implementieren der Mehrfachauflösungsdarstellung gemäß der Erfindung veranschaulicht.
Fig. 5 ist eine Photographie, die mit einem Kameraobjektivsystem aufgenommen wurde, das ein Objekt in der Nähe aufnimmt und auf dieses fokussiert ist.
Fig. 6 ist eine Photographie der gleichen Szene, die in Fig. 5 gezeigt ist, wobei aber das Kameraobjektivsystem ein entferntes Objekt aufnimmt und auf dieses fokussiert ist.
Fig. 7 ist eine Darstellung, die eine Mehrfachauflösungsdarstellung des in Fig. 5 gezeigten optischen Bildes als eine Ausführungsform dieser Erfindung veranschaulicht.
Fig. 8 ist eine Darstellung, die eine Mehrfachauflösungsdarstellung des in Fig. 6 gezeigten optischen Bildes als eine Ausführungsform dieser Erfindung veranschaulicht.
Fig. 9 ist eine synthetisierte Photographie der gleichen Szene, die in den Fig. 5 und 6 veranschaulicht ist, die aber ein synthetisiertes optisches Bild gemäß der vorliegenden Erfindung veranschaulicht.
Fig. 10 ist eine Darstellung, die einen Teil des Programms in einer Ausführungsform der Vorwärtstransformation einer Mehrfachauflösungsdarstellung gemäß der Erfindung veranschaulicht.
Fig. 11 ist eine Darstellung, die einen Teil des Programms in einer Ausführungsform der Vorwärtstransformation einer Mehrfachauflösungsdarstellung gemäß der Erfindung veranschaulicht.
Fig. 12 ist eine Darstellung, die einen Teil des Programms in einer Ausführungsform der inversen Transformation einer Mehrfachauflösungsdarstellung gemäß der Erfindung veranschaulicht.
Fig. 13 ist eine Darstellung, die einen Teil des Programms in einer Ausführungsform der inversen Transformation einer Mehrfachauflösungsdarstellung gemäß der Erfindung veranschaulicht.
In der Zeichnung sind mit Bezugszeichen gezeigt:
10 Bildvorrichtung
20 Aufnahmevorrichtung
30 Synthesevorrichtung
40 Vollbildspeicher
I synthetisiertes Bild

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Fig. 1 ist ein Ablaufplan, der eine Ausführungsform eines Verfahrens zum Synthetisieren eines optischen Bildes gemäß der Erfindung veranschaulicht. Zuerst werden mehrere optische Bilder bei jeweils verschiedenen Brennweiten gebildet, indem die Brennweite des Kameraobjektivs geändert wird (Schritt 1). Es ist möglich, die Brennweite entweder linear oder nichtlinear im Bereich von unendlich bis null einzustellen. Es gibt jedoch praktisch kein Problem beim Spezifizieren der Brennweite selbst. Es ist lediglich notwendig, bis zu dem Ausmaß zu fokussieren, in dem alle zu fokussierenden Objekte entnommen werden können. Eine geeignete Anzahl von Bildern wird in diesem Schritt aufgenommen.
Dann werden die aufgenommenen Bilder in die Mehrfachauflösungsdarstellung transformiert (Schritt 2). Diese Mehrfachauflösungsdarstellung basiert auf der Mehrfachauflösungstechnologie, die vor kurzem in der Mathematik erörtert wurde (siehe: C.H. Chui: "An introduction to wavelets"; I. Daubechies: "Orthonormal bases of compactly supported wavelets". Communication of pure and applied mathematics, Bd. XLI, 909-996 (1988)). Im allgemeinen ist es eine Trennungstechnologie, in der mittels spezieller Filterung und Unterabtastung die ursprünglichen Signale in hochfrequente und niederfrequente Komponenten getrennt werden, ohne die Gesamtmenge der Daten zu vergrößern. Ein auffälliges Merkmal dieser Trennungstechnologie besteht darin, daß die obenerwähnte niederfrequente Komponente unter Verwendung des gleichen Filterungsverfahrens weiter getrennt werden kann. Auf diese Weise kann die Operation für die erforderliche Anzahl von Zyklen für die spezifische Anwendung wiederholt werden.
Die in dieser Weise erzeugte geschichtete Signaldarstellung im Frequenzbereich wird normalerweise als Mehrfachauflösungsdarstellung bezeichnet.
Dann werden die transformierten Mehrfachauflösungsdarstellungen synthetisiert, um eine andere neue Mehrfachauflösungsdarstellung zu bilden (Schritt 3), gefolgt von der inversen Mehrfachauflösungsdarstellung, um das synthetisierte Bild zu bilden (Schritt 4). Das heißt, die mehreren Mehrfachauflösungsdarstellungen, die den in verschiedenen Entfernungen fokussierten Bildern entsprechen, werden synthetisiert, um eine andere Mehrfachauflösungsdarstellung zu bilden, die dann einer inversen Transformation unterworfen wird, um ein synthetisiertes Bild zu erhalten, in dem die verschiedenen Objekte optimal fokussiert sind.
Fig. 2 ist eine Darstellung, die ein Beispiel der Vorrichtung der Bildausrüstung zum Implementieren des Verfahrens dieser Erfindung veranschaulicht. In diesem Beispiel sind das Verfahren und die Ausrüstung zum Bilden eines synthetisierten Bildes I, für das die optimale Fokussierung für alle Objekte von einem Objekt A, das sich am nähesten bei der Bildausrüstung 10 befindet, bis zu einem Objekt Z, das sich am weitesten entfernt von ihr befindet, verwirklicht ist, veranschaulicht. Die Aufnahmevorrichtung 20 fokussiert zuerst ein Objekt A (bei der kürzesten Brennweite), wobei sein optisches Bild (das Bild IA) über eine (in Fig. 2 nicht gezeigte) CCD im Vollbildspeicher 40 aufgezeichnet wird. Dann fokussiert die Aufnahmevorrichtung 20 auf ein Objekt B (bei einer ein wenig vergrößerten Brennweite), wobei sein Bild in einem anderen Vollbildspeicher (oder einem anderen Bereich des gleichen Vollbildspeichers) aufgezeichnet wird. In der gleichen Weise wird der Betrieb ausgeführt, bis das Fokussieren des entferntesten Objekts Z (bei einer Brennweite bis zu unendlich) ausgeführt wird, wobei sein Bild IZ im entsprechenden Vollbildspeicher aufgezeichnet wird. (Für die verschiedenen Objekte gibt es keine Notwendigkeit, A in IA, B in IB usw. aufzuzeichnen, sie können in irgendeiner [Reihenfolge] an In (n = A, ..., Z) angepaßt sein. Im vorliegenden Beispiel wird jedoch angenommen, daß A fokussiert wird, um IA zu bilden, B fokussiert wird, um IB zu bilden, ...) Das Fokussieren für die Objekte A-Z wird mittels der Steuersignale von der Synthesevorrichtung 30 ausgeführt. Es kann jedoch außerdem manuell oder mittels einer anderen Steuerausrüstung ausgeführt werden. Die Reihenfolge, in der die Bilder aufgenommen werden, kann nach Belieben ausgewählt werden. Das später zu erklärende Verfahren wird verwendet, um die in den verschiedenen Vollbildspeichern aufgezeichneten Bilder IA-IZ mittels der Synthesevorrichtung 30 zu synthetisieren und das synthetisierte Bild I zu bilden. Der Speicher kann in der Form eines magnetischen Speichers oder eines optischen Speichers vorliegen. Es ist außerdem möglich, die aufgenommenen Signale in die Synthesevorrichtung 30 einzugeben. Außerdem kann eine andere photoelektrische Umsetzungsausrüstung als eine CCD ebenso verwendet werden.
Fig. 3 veranschaulicht eine weitere Ausführungsform der Vorrichtung. Sie unterscheidet sich von dem in Fig. 2 gezeigten Fall insofern, als sie mehrere Aufnahme vorrichtungen aufweist. Für die Einfachheit sind in Fig. 3 lediglich zwei Aufnahmevorrichtungen 20 und 25 gezeigt. Die eingegebenen optischen Informationen werden zwischen dem Halbspiegel 40 und dem Spiegel 50 gleich geteilt, wobei die Teile in die Aufnahmevorrichtung 20 bzw. die Aufnahmevorrichtung 25 eingegeben werden. Folglich fokussiert eine der Aufnahmevorrichtungen 20 oder 25 (bei einer kürzeren Brennweite) auf das Objekt A, um das Bild IA hinzuzufügen, das dann im Vollbildspeicher 40 aufgezeichnet wird. Darm fokussiert die andere Aufnahmevorrichtung (bei einer längeren Brennweite) auf das Objekt B, um das Bild IB zu erfassen, das im Vollbildspeicher 45 aufgezeichnet wird. Darm wird unter Verwendung eines später zu erklärenden Verfahrens ein Bild I, das dem optimalen Fokussieren für beide Objekte A und B entspricht, mittels einer Synthesevorrichtung 30 gebildet.
Im folgenden wird die Mehrfachauflösungsdarstellung unter Verwendung der Wavelet-Koeffizienten, die von der Synthesevorrichtung 30 ausgeführt wird, erklärt. Wie in Fig. 4 gezeigt ist, wird das Bildelementsignal A vom Vollbildspeicher mittels einer hierarchischen Filterbank in vier Wavelet-Transformationen a, b, c und d getrennt. Die Filter H und G entsprechen dem Hochpaßfilter bzw. dem Tiefpaßfilter, wobei sie zueinander komplementär sind (Spiegelfilter). Die Filter G und H werden Wavelet-Filter genannt, wenn sie (die durch die Pfeile angezeigten Blöcke) filtern und unterabtasten, um die orthogonale Trennung des Eingangssignals zu bilden. Fig. 4 ist eine Darstellung, die den Fall einer 3-schichtigen Trennung des Signals mittels der eindimensionalen Filterung (entweder in der horizontalen oder der vertikalen Richtung) veranschaulicht. Für die in dieser Erfindung übernommene 2-dimensionale Filterung wird die sequentielle Filterung in der horizontalen und vertikalen Richtung ausgeführt. Das heißt, nach der Ausführung der Filterung in der horizontalen Richtung (oder in der vertikalen Richtung) wird in dieser Konfiguration die Filterung in der vertikalen Richtung (oder in der horizontalen Richtung) ausgeführt.
Obwohl die Mehrfachauflösungsdarstellung eine Darstellung im Frequenzbereich ist, besitzt sie außerdem räumliche Informationen (auf die Position bezogene Informationen). Obwohl andererseits für die Fourier-Transformation eine gute Darstellung im Frequenzbereich verwirklicht werden kann, können keine räumlichen Informationen bewahrt werden; folglich kann die Position nicht spezifiziert werden (das Unbestimmtheitsprinzip).
Als nächstes wird die Synthese der Mehrfachauflösungsbilder mittels der Mehrfachauflösungsdarstellung erklärt. Die Mehrfachauflösungsdarstellung unter Verwendung der Wavelet-Transformation ist eine Darstellung des Eingangssignals im Frequenzbereich. Diese Darstellung stellt zum gleichen Zeitpunkt außerdem räumliche Informationen dar. Beim Mehrfachfokussierungs- Syntheseverfahren sind N Mehrfach-Eingangsbilder, die, gefolgt von der Wavelet-Transformation, für die gleiche Szene aufgezeichnet wurden, die Objekte, wobei die Wavelet-Koeffizienten, die die intensivste hochfrequente Komponente in jeder Position der Bildelemente darstellen, gewählt werden, weil sie als die Darstellung des fokussierten Bildes in der obenerwähnten Position genommen werden. Dieser Prozeß wird für alle Positionen der Bildelemente des Bildes ausgeführt. Mittels der Synthese der für eine Mehrfachauflösungsdarstellung ausgewählten Bildelemente, die in jeder Position erfaßt werden, kann eine neue Mehrfachauflösungsdarstellung gebildet werden, wobei alle Bildelemente optimal fokussiert sind. Falls notwendig, kann der obenerwähnte Prozeß nicht für die niedrigste Position implementiert sein, bei der die Wavelet-Koeffizienten fast den gleichen Wert aufweisen.
Andererseits ist es für die obenerwähnte Synthese notwendig, die spektrale Verteilung des Bildes durch das Ändern der Brennweite zu bewerten. Folglich kann die Fourier-Transformation des Gesamtbildes oder kleiner Teilblöcke (wie z. B. das Verfahren der Cosinus-Transformation, das als eine grundlegende Technologie der Bildkomprimierung verwendet wird) betrachtet werden. Bei diesem Lösungsansatz dehnen sich jedoch die Spektrallinien und die Enden der Linien normalerweise in mehrere Koeffizienten aus, wobei dieses Phänomen die Frequenz- und Positionsinformationen unklar macht. Folglich werden in der Wavelet- Transformation diese zwei Typen der Informationen bewahrt, wobei sie folglich grundsätzlich für die Verwendung im Mehrfachfokussierungs-Syntheseverfahren geeignet ist.
Fig. 5 ist eine Photographie, die das optische Bild veranschaulicht, das durch das Fokussieren auf eine Tasse in der Nähe geschaffen wird. Fig. 6 ist eine Photographie, die das optische Bild veranschaulicht, das durch das Fokussieren auf einen entfernten Baum in der gleichen Szene, die in Fig. 5 gezeigt ist, geschaffen wird. Die Fig. 7 und 8 zeigen die Mehrfachauflösungsdarstellungen für die Bilder nach den Fig. 5 bzw. 6. Für die Fig. 5 und 6 ist das ursprüngliche Bild mittels 704 Bildpunkten · 480 Zeilen dargestellt. Sie sind in S Frequenzbänder getrennt, die in den Fig. 7 und 8 gezeigt sind. In der 2-dimensionalen Mehrfachauflösungsdarstellung entspricht unten rechts den Komponenten mit den höheren Frequenzen. Die niedrigste Schicht (die obere linke Ecke) entspricht den Komponenten mit den niedrigsten Frequenzen, wobei sie als das Bild genommen werden kann, das durch das niedrigste Tiefpaßfilter gehen kann (und unterabgetastet wird).
Im Fall der Mehrfachfokussierungssynthese werden die Szenen des gleichen Bildes für die gewünschte Anzahl von Zyklen durch eine Kamera (oder mehrere Kameras) bei verschiedenen Brennweiten photographiert. Für die durch die niedrigste Tiefpaß-Filteroperation erzeugte niedrigste Schicht sind jedoch die erhaltenen Bilder immer noch fast völlig gleich, selbst wenn bei verschiedenen Brennweiten photographiert wird. (Mit anderen Worten, es ist bevorzugt, daß die Anzahl der Schichten so eingestellt ist, um die Schichten mit den niedrigsten Frequenzen fast völlig gleich zu machen). Die Schicht mit den niedrigsten Frequenzen stellt die mittlere Helligkeit des Bildes dar.
Für die Schichten mit höheren Frequenzen erscheinen andererseits die höheren Spektralkomponenten in verschiedenen Positionen in der Mehrfachauflösungsdarstellung, wobei sie den mit verschiedenen Brennweiten fokussierten Objekten gut entsprechen.
Wenn die Mehrfachauflösungsdarstellung übernommen wird, findet folglich das folgende statt:
(1) In der Schicht mit den niedrigsten Frequenzen (die 15 Bildpunkte · 22 Zeilen in der oberen linken Ecke in den Fig. 7 und 8) wird jeder Koeffizient als ein Mittelwert der mehreren Eingangsbilder oder durch die Extraktion aus den Koeffizienten eines vorgeschriebenen Bildes abgeleitet. Er wird als die Schicht mit den niedrigsten Frequenzen des synthetisierten Bildes verwendet.
(2) Für die oberen Schichten gibt es in jeder Position eine Mehrfachauflösungsdarstellung, die die maximale Spektralamplitude (den maximalen Absolutwert) ergibt. Das heißt, für die Mehrfachauflösungsdarstellung, die die maximale Spektralamplitude an der Position von i, j ergibt, wird als das einfachste Verfahren
max( Ai,j(1) , Ai,j(2) , ..., Ai,j(N) ) (1)
als die Darstellung verwendet (N = Anzahl in der Mehrfachauflösungsdarstellung, d. h. die Anzahl der hinzugefügten optischen Bilder). Sie entspricht der optimalen Fokussierung der Eingangsszene, wobei die entsprechenden Mehrfachauflösungskoeffizienten die Informationen geben. Die Gesamt- Mehrfachauflösungsdarstellung wird entsprechend dieser Regel gebildet. Auf diese Weise werden an allen Positionen die Mehrfachauflösungsdarstellungen, die die maximale Spektralamplitude ergeben, erfaßt, wobei sie synthetisiert werden, um die neue Mehrfachauflösungsdarstellung zu bilden. Es wird angenommen, daß die Regel selbst verschiedene Formen aufweist.
Dann wird anhand der erfaßten Position mit der maximalen Spektralamplitude eine inverse Mehrfachauflösungstransformation ausgeführt, so daß die synthetisierte Mehrfachauflösungsdarstellung in ein optisches Bild transformiert wird, das aus den Bildelementsignalen besteht. Wie in Fig. 9 gezeigt ist, ist dieses optische Bild ein synthetisiertes Bild aus einer Tasse in der Nähe und einem weit entfernten Baum, wobei beide im Bild gut fokussiert sind.
Obwohl sie mit dieser Erfindung nicht direkt im Zusammenhang stehen, gibt es abhängig vom Verfahren der Synthese Fälle, in denen sich die Größen der Vollbilder unterscheiden können. Dies ist ein Einfluß der Zoom-Wirkung, die mit dem Fokussieren auf die verschiedenen optischen Bilder im Zusammenhang steht. Falls notwendig, kann die Größe unter Verwendung verschiedener Einstellverfahren vor der Syntheseoperation geändert werden, wie z. B. "Vergrößerung", "Kontraktion", "Interpolation", "Extraktion" usw.
Die Fig. 10-13 veranschaulichen Teile des Programms für die Vorwärts- Wavelet-Mehrfachauflösungstransformation und die inverse Wavelet- Mehrfachauflösungstransformation.
Das obenerwähnte Syntheseverfahren hängt nicht von den auf Inhalt bezogenen Abbildungstechniken ab, wie z. B. Kantenextraktion, Texturanalyse usw. Das vorliegende Verfahren zum Synthetisieren ist vollständig von den Verfahren mit irgendwelchen Voraussetzungen verschieden, die mit 3-dimensionalen Objekten im Zusammenhang stehen. Es ist ein Verfahren, in dem ein stabil synthetisiertes Ergebnis in bezug auf alle natürlichen Bilder erhalten werden kann. (Das heißt, es gibt absolut keine Erzeugung einer signifikanten Verschlechterung in dem Fall, in dem die Voraussetzung verletzt ist.) Außerdem befindet sich die Kantenanalyse immer noch in der Stufe der anfänglichen Entwicklung. Wenn die Anzahl der Kanten zunimmt, nimmt die Verarbeitungszeit exponentiell zu. Folglich ist sie in praktischen Anwendungen noch nicht verwendet worden. Im Augenblick ist das vorliegende Verfahren das geeignetste Verfahren tUt die praktischen Anwendungen für natürlichen Bilder.
Weil es außerdem auf der Erfassung der maximalen Spektralamplitude aus den mehreren Mehrfachauflösungskoeffizienten basiert, gibt es keine Einschränkung für die Anzahl der optischen Bilder, die hinzugefügt werden können. Durch das Erfassen mehrerer optischer Bilder ist es möglich, ein synthetisiertes Bild zu erhalten, das in fast allen Positionen fokussiert ist. Außerdem ist eine Vergrößerung möglich, um sehr genaue 3-D-Informationen zu erhalten (Entfernung, Aussehen des Objekts, usw.).
In der obigen Beschreibung sind die Ausführungsformen dieser Erfindung dargestellt worden. Dieser Erfindung ist jedoch nicht auf diese Ausführungsformen eingeschränkt. Diese Erfindung kann mit verschiedenen Typen der Ausrüstung verwendet werden, wie z. B. Kameras, Fernsehkameras, Überwachungskameras, medizinische Bildsynthesekameras usw.
Diese Erfindung schafft bei optimaler Fokussierung ein effektives Verfahren zum Bilden eines einzelnen synthetisierten optischen Bildes aus mehreren optischen Bildern, die bei verschiedenen Brennweiten hinzugefügt werden.

Claims

1. Verfahren zum Synthetisieren optischer Bilder mit den Schritten:

Erzeugen von mehreren, in einem einzigen Gesichtsfeld bei unterschiedlichen Brennweiten erfaßten optischen Bildern, dadurch gekennzeichnet, daß das Verfahren ferner umfaßt:

Durchführung von Wavelet-Transformationen aus verschiedenen Bildelementsignalen der Bilder, um Mehrfachauflösungsdarstellungen in einer der Anzahl der zuvor erwähnten optischen Bilder entsprechenden Anzahl zu erhalten;

Vergleichen der verschiedenen Koeffizienten der zuvor erwähnten Mehrauflösungsdarstellungen entsprechend den zuvor erwähnten optischen Bildern an der gleichen Position zum Feststellen der maximalen Spektralamplitude an jeder der vorgeschriebenen Positionen; und

Bilden der Bildelementsignale aus den zuvor erwähnten synthetisierten Mehrfachauflösungsdarstellungen mit Hilfe einer inversen Wavelet-Transformation, wodurch ein Ausgangsbild synthetisiert wird.

2. Bilderzeugungsvorrichtung zum Erzeugen eines synthetisierten optischen Bildes mit

einem Mittel zum Erzeugen von mehreren, in einem einzigen Gesichtsfeld erfaßten optischen Bildern, dadurch gekennzeichnet, daß die Vorrichtung ferner enthält:

ein Mittel zum Durchführen von Wavelet-Transformationen aus verschiedenen Bildelementsignalen der Bilder, um Mehrfachauflösungsdarstellungen in einer der Anzahl der zuvor erwähnten optischen Bilder entsprechenden Anzahl zu erhalten;

ein Mittel zum Vergleichen der verschiedenen Koeffizienten der zuvor erwähnten Mehrauflösungsdarstellungen entsprechend den zuvor erwähnten optischen Bildern an der gleichen Position, damit die maximale spektrale Amplitude an jeder der vorgeschriebenen Positionen erfaßt wird; und

ein Mittel zum Bilden der Bildelementsignale aus den zuvor erwähnten synthetisierten Mehrauflösungsdarstellungen durch inverse Wavelet-Transformation, wodurch ein Ausgangsbild synthetisiert wird.

3. Vorrichtung nach Anspruch 2, mit einem oder mehreren Filtern.

4. Vorrichtung nach Anspruch 3, bei der die Filter eine hierarchische Filterbank mit Tiefpass- und Hochpassfiltern bilden.

5. Vorrichtung nach einem der Ansprüche 2 bis 4, bei der das Mittel zur Erzeugung mehrerer optischer Bilder eine einzige Vorrichtung umfaßt, die zum sequenziellen Erfassen jedes Bildes ausgebildet ist.

6. Vorrichtung nach Anspruch 5, bei der das Mittel zum Erzeugen mehrerer optischer Bilder so ausgebildet ist, daß das Bild des nächstliegenden Objekts im Gesichtsfeld zuerst und das entfernteste Objekt zuletzt erfaßt werden.

7. Vorrichtung nach einem der Ansprüche 2 bis 4, bei der das Mittel zum Erzeugen mehrerer optischer Bilder mehrere Vorrichtungen enthält, die jeweils zum Erfassen des Bildes eines anderen Objekts im Gesichtsfeld geeignet sind.

8. Vorrichtung nach einem der Ansprüche 2 bis 7, mit einem Vollbildspeicher zum Speichern des von dem oder jedem Mittel zum Erzeugen mehrerer optischer Bilder erzeugten Bildes.