EP1451775A1

EP1451775A1 - Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Info

Publication number: EP1451775A1
Application number: EP01984759A
Authority: EP
Inventors: Rolf-Dieter Naske
Original assignee: TDV Technologies Corp
Current assignee: TDV Technologies Corp
Priority date: 2001-11-24
Filing date: 2001-11-24
Publication date: 2004-09-01
Also published as: US20080106546A1; KR20040071145A; WO2003046832A1; CN1295655C; AU2002233198A1; CA2472272A1; US20040027346A1; JP5020458B2; US7321374B2; JP2005510922A; CN1582457A

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Erzeugung von dreidiemensionalen Bildern aus einer Folge von Zweidimensionalen Bildern beschrieben, das sich insbesondere dadurch auszeichnet, dass ein zweidimensionales Bild im Hindlick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zgeführt wird. Weiterhin werden verschiedene Übergangsfunktion definiert, mit denen ein stetiger und störungsfreier Übergang von einer Deformation auf jede neue Deformation erzielt wird.

Description

ERZEUGUNG EINER STEREO-BILDFOLGE AUS EINER 2D-BILDF0LGE

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern.

Zur Untersuchung von Objekten bedient man sich insbesondere in der Medizin und Naturwissenschaft vielfach einer dreidimensionalen Bilderzeugung. Auch für den allgemeinen Konsumerbereich sind verschiedene Verfahren entwickelt worden, mit denen insbesondere Fernsehbilder dreidimensional wiedergegeben werden können.

Hierbei unterscheidet man im wesentlichen zwischen einer Bild-sequentiellen Übertragung, bei der die Bilder für das rechte und das linke Auge abwechselnd nacheinander übertragen oder auf einem Speichermedium gespeichert werden, sowie einer parallelen Übertragung, bei der die Bilder auf zwei getrennten Kanälen geführt werden.

Ein besonderer Nachteil der Bild-sequentiellen Übertragung in Verbindung mit herkömmlichen Fernsehsystemen besteht darin, dass die Bildwiederholrate für jedes Auge auf 25 Bilder pro Sekunde reduziert ist. Dadurch ergibt sich für den Betrachter ein unangenehmes Flimmern. Diese Beschränkung tritt zwar bei der parallelen Übertragung der Bildfolgen über jeweils einen eigenen (linken bzw. rechten) Kanal nicht auf. Probleme können hierbei jedoch bei der Synchronisation der beiden Kanäle sowie durch die Anforderungen an den Empfänger entstehen, der gleichzeitig zwei getrennte Kanäle empfangen und verarbeiten muss. Dies ist bei den marktüblichen Systemen nicht möglich.

In zukünftigen Fernsehsystemen soll die Signalübertragung und -Verarbeitung vollständig digital erfolgen. In diesem Fall wird jedes Bild in einzelne Bildpunkte zerlegt, die digitalisiert übertragen werden. Zur Reduzierung der erforderlichen Bandbreite werden dabei entsprechende Komprimierungsverfahren eingesetzt, die jedoch für die Stereoübertragung Probleme aufwerfen.

Bei Blockkodierungsverfahren ist es zum Beispiel bei sinnvoller Kompressionsrate im allgemeinen nicht möglich, jede einzelne Zeile eines Bildes exakt zu rekonstruieren. In- terframe-Kodierungen wie zum Beispiel MPEG-2 ermöglichen es zudem nicht, Stereobilder Bild-sequentiell zu übertragen oder zu speichern, da Bildinformationen aus einem Bild noch in einem anderen Bild enthalten sind und es dadurch zu sogenannten Über- sprech-Effekten kommt, die eine klare Trennung eines rechten von einem linken Bild unmöglich machen.

Andere Verfahren, mit denen aus einer zweidimensionalen Bildfolge eine dreidimensionale Bildfolge erzeugt werden, sind in der DE 35 30 610 und der EP 0 665 697 offenbart. Ein autostereoskopisches System mit einer Interpolation von Bildern wird in der EP 0 520 179 beschrieben, während in "Huang: Image Sequence Analysis" (Springer Verlag) Probleme der Erkennung von Bewegungsbereichen in Bildfolgen erörtert werden.

Aus der US-PS 6,108,005 ist ein Verfahren zur Erzeugung von synthetisierten Stereo- Bildern bekannt, bei dem aus einem zugeführten Bild mindestens zwei Bilder erzeugt werden, wobei mindestens eines der Bilder relativ zu dem zugeführten Bild vergrößert, verkleinert, gedreht, verschoben oder in einer solchen Weise verändert wird, dass zumindest Teile des Bildes relativ zu anderen Teilen des Bildes im Vergleich zu korrespondierenden Teilen in einem anderen Bild verschoben sind. Nachteilig hierbei ist allerdings, dass es weitgehend vom Geschick der Bedienperson abhängig ist, ob durch eine geeignete Auswahl der genannten Veränderungen ein korrekter beziehungsweise natürlicher stereoskopischer Bildeindruck beim Betrachter erzeugt wird.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art zu schaffen, mit dem / der im wesentlichen ohne Eingriff durch eine Bedienperson oder einen Betrachter eine Erzeugung von 3D-Bildern mit einem besonders natürlichen dreidimensionalen Bildeindruck möglich ist.

Gelöst wird diese Aufgabe mit einem Verfahren gemäss Anspruch 1 und einer Vorrichtung gemäß Anspruch 11.

Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung einer bevorzugten Ausführungsform anhand der Zeichnung. Es zeigt: Fig. 1 ein schematisches Blockschaltbild einer erfindungsgemäßen Schaltungsanordnung;

Fig. 2 eine schematische Darstellung zur Erläuterung einer Deformation durch Kugelprojektion; und Fig. 3 ein Flussdiagramm des erfindungsgemäßen Verfahrens.

Die wesentlichen Komponenten einer erfindungsgemäßen Vorrichtung und ihre Verbindungen untereinander sind in Figur 1 schematisch dargestellt. Die Anordnung umfasst einen Eingang E, über den die von einer Kamera aufgenommenen und digitalisierten zweidimensionalen Bilder einem ersten Bildspeicher 1 zur Zwischenspeicherung mindestens eines jeweils aktuellen Bildes zugeführt werden.

Aus dem ersten Bildspeicher 1 werden die zugeführten Bilder in einen damit verbundenen zweiten Bildspeicher 2 übertragen, der zur Speicherung einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern und zu deren Interpolation vorgesehen ist.

Mit dem ersten Bildspeicher 1 ist ferner eine Einrichtung 3 zur Szenenanalyse verbunden, mit der das aktuelle, in dem ersten Bildspeicher 1 gespeicherte Bild im Hinblick auf seinen Inhalt untersucht wird, um es einem bestimmten Szenetyp wie zum Beispiel "Nahaufnahme", "Normalaufhahme" (Mediumaufnahme) oder "Weitwinkelaufnahme" zuzuordnen.

Die Einrichtung 3 zur Szenenanalyse ist mit einer Einrichtung 4 zur Bilddeformation verbunden, mit der ein aus dem ersten Bildspeicher 1 zugeführtes Bild entsprechend dem mit der Einrichtung 3 ermittelten Szenetyp einer diesem Typ zugeordneten Bilddeformation unterworfen wird.

Auch der zweite Bildspeicher 2 ist mit der Einrichtung 4 verbunden, so dass ein durch Interpolation vorhergehender Bilder erzeugtes Bild ebenfalls deformiert werden kann.

Verschiedene Muster für solche Bilddeformationen und ihre Zuordnung zu mindestens einem Szenetyp sind in einem Bild-Deformationsspeicher 5 gespeichert, aus dem die Muster durch die Einrichtung 4 zur Bilddeformation abgerufen werden können. Mit einem Ausgang der Einrichtung 4 ist schließlich ein Phasenumschalter 6 verbunden, dem das nicht deformierte Bild aus dem ersten Bildspeicher 1 und das daraus mit der Einrichtung 4 erzeugte, deformierte Bild übermittelt werden kann. Diese Bilder liegen dann an einem ersten bzw. zweiten Ausgang AI, A2 des Phasenumschalters 6 an und bilden jeweils eine erste bzw. zweite Folge von Bildern, die einem linken bzw. rechten Betrachtungskanal BL, BR für ein linkes bzw. rechtes Stereobild zugeführt werden.

Dadurch ist also die eine Bildfolge durch die unveränderten, zugeführten Bilder und die andere Bildfolge durch daraus erzeugte, mit einer Deformation beaufschlagte Bilder zusammengesetzt (asymmetrische Deformation). Alternativ dazu ist es auch möglich, die Bilder beider Bildfolgen mit einer Deformation zu beaufschlagen (symmetrische Deformation). Eine weitere Möglichkeit besteht schließlich darin, zusätzlich oder alternativ ein in dem zweiten Bildspeicher 2 interpoliertes Bild der Einrichtung 4 zuzuführen und daraus - in deformierter und/oder in nicht deformierter Form - die erste und/oder die zweite Bildfolge zusammenzusetzen.

Zu diesem Zweck wird durch Interpolation einer in dem zweiten Bildspeicher 2 gespeicherten Bildfolge x(i, j, α) das interpolierte Bild zum Beispiel durch lineare Spline-Ap- proximation oder eine höher-gradige bzw. polynomiale Approximation sämtlicher Bildpunkte berechnet, wobei α eine Approximationsvariable ist und den zeitlichen Abstand von einem aktuellen Bild bezeichnet, bei dem ein synthetisches (interpoliertes) Bild erzeugt wird. Hierzu werden vorzugsweise die in der WO 01/76258 beschriebenen Verfahren verwendet. Der Inhalt dieser Druckschrift soll deshalb hiermit durch Bezugnahme zum Bestandteil dieser Offenbarung gemacht werden.

Mit der erfindungsgemäßen Vorrichtung kann somit aus einer am Eingang E anliegenden Folge von zweidimensional aufgenommenen und digitalisierten Bildern eine erste und eine zweite Bildfolge erzeugt werden, die zusammen eine dreidimensionale Betrachtung der ursprünglich zweidimensionalen Bilder ermöglichen, wenn die erste und zweite Bildfolge einem linken bzw. rechten Auge zugeführt wird.

Im folgenden wird zunächst ein erstes Verfahren zur Erzeugung einer Stereobildfolge durch eine "asymmetrische" Bilddeformation beschrieben, bei der die zugeführte Bildfolge im wesentlichen unverändert, d. h. mit einer "Null-Deformation" beaufschlagt als erste Bildfolge verwendet und die zweite Bildfolge durch Deformationen der Bilder der ersten Bildfolge erzeugt wird.

Anschließend wird ein zweites Verfahren zur Erzeugung einer Stereobildfolge durch "symmetrische" Bilddeformation beschrieben, bei dem auch die Bilder der ersten Bildfolge deformierte Bilder sind.

Schließlich wird dann beschrieben, wie durch Szenenanalyse in Echtzeit die Bilddeformation entsprechend dem Bildinhalt (Szenetyp) gewählt und angepasst bzw. optimiert werden kann und wie vorzugsweise der Übergang zwischen verschiedenen Bilddeformationen vorgenommen wird, so dass keine störenden Übergangseffekte auftreten.

A.) Es sei xy ein digitalisiertes Bild der ersten Bildfolge zum Zeitpunkt t (erstes Stereobild) mit der horizontalen Auflösung I und der vertikalen Auflösung J. Das zweite Stereobild x*(i*, j*) ergibt sich daraus wie folgt:

i* := i + i_Index (i, j) bzw. j * := j + j_Index (i, j).

Dies bedeutet, dass sich die neuen Bildpunkte i* und j* durch Verschiebung in i- und j- Richtung ergeben. Hierfür können prinzipiell alle mathematischen Funktionen verwendet werden. Die im folgenden beschriebenen Deformationen sind deshalb nur als Beispiel für solche Funktionen zu verstehen.

I.) Für das erste Verfahren seien drei verschiedene Deformationen erläutert:

l.) Tilt-Deformation:

Hierbei werden die Bildpunkte des neuen Bildes horizontal kontinuierlich zunehmend von oben nach unten gemäß folgender Formeln gedehnt:

i_Index (i, j) := 0; j ndex (i, j) := (1- (tL - i) / tL) ((0,5 Ppl - j) / 0,5 PpL) • Tilt für i:= 0,..., tL und j := 0,..., PpL

Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.

2.) Sphere-Deformation:

Hierbei werden die Bildpunkte des neuen Bildes konzentrisch vom Mittelpunkt des Bildes zum Rand gemäß folgender Formeln verzerrt:

Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL²) (0,5 tL - i)²) • Sphere j_Index (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL²) (0,5 Ppl - j)²) • Sphere für i := 0,..., tL und j := 0,..., PpL

Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.

3.) Sphere-Tilt-Deformation:

Hierbei werden die Bildpunkte des neuen Bildes gleichzeitig von oben nach unten und konzentrisch vom Bildmittelpunkt gemäß folgender Formeln verzerrt und gedehnt:

Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL²) (0,5 tL - i)²) • Sphere jjtadex (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL²) (0,5 Ppl - j)²) • Sphere

+ ((tL - i) / tL) ((0,5 PpL - j) / 0,5 PpL) • Tilt für i := 0,..., tL und j := 0,..., PpL

Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile, "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt und "Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.

II.) Das zweite Verfahren arbeitet mit einer symmetrischen Bilddeformation, bei der zusätzlich auch das aktuelle originäre Bild deformiert, das heißt geometrisch verzerrt wird. Es stellt in verallgemeinerter Form gemäß Figur 2 eine Abbildung der aktuellen Bildpunkte 0 bis PpL einer Bildebene B auf eine gewölbte Fläche F (Abbildungsfläche) dar, wobei diese Abbildung im Abstand D aus zwei Perspektiven für das linke und das rech- te Auge AI, A2 betrachtet wird. Ausgehend vom Betrachter werden die Bildpunkte (zum Beispiel z(j) oder der Bereich M) auf der Abbildungsfläche F in für die beiden Augen AI, A2 unterschiedlicher Weise ( und x_M' für AI bzw. j" und x_M" für A2) auf die Bildebene B zurückprojiziert. Das Gehirn bekommt dadurch den Eindruck, die Bilder aus zwei Blickwinkeln zu betrachten.

Grundsätzlich sind auch hierbei wieder beliebige mathematische Funktionen bzw. Flächen für die Projektion anwendbar. Im folgenden sollen zwei Deformationen beispielhaft beschrieben werden:

1.) Kugelprojektion:

Hierbei stellt die Bildfläche eine nach außen gewölbte Kugelfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Kugelfläche:

z(i, j) := (1 - (4/PpL²) (0,5 PpL - j)²) (1 - (4/tL²) (0,5 tL - i)²) • Sphere

Es bedeutet wiederum: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.

Entsprechend dem Strahlensatz wird ein j-Index für eine linke Betrachterposition Ej abgebildet auf:

j' := {(j - E₁) / (l - z(i,j) / D)} + E₁

Da 0 < z(i, j) < Sphere gilt, sieht man, dass die Konstante "Sphere" immer kleiner gleich dem Betrachterabstand D sein muss.

Für die rechte Betrachterposition E_r ergibt sich:

j" := {(J - E_r) / (l - z(i, j) / D)} + E_r 2.) Zylindrische Projektion:

Hierbei stellt die Bildfläche eine nach außen gewölbte Zylinderfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Zylinderfläche:

z(i, j) := (1 - (4/PpL²) (0,5PpL - j)²) • Sphere

Es bedeutet wiederum: PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.

Für die neuen Indizes j' und j" ergibt sich wiederum wie für die Kugelprojektion für eine linke Betrachterposition Ei:

i' - { - B_l) l (l - z(i,i) / O)} + E_l

und für eine rechte Betrachterposition Ej-:

j" := {(j - E_r) / (l - z(i, j) / D)} + E_r

Für die Kugel- und die Zylinder-Projektion gilt, dass die Anzahl der Betrachterpositionen nicht auf zwei beschränkt ist. Vielmehr können anstelle nur einer linken und rechten Betrachterposition im wesentlichen beliebig viele linke und rechte Betrachterpositionen Et (k = l,...n) berechnet werden. Dies ist insbesondere für autostereoskopische Mehrbetrachter-Monitore interessant.

Da durch die Werte j' und j" der beiden oben genannten Indizes möglicherweise nicht allen Indizes des neuen Bildes Werte zugewiesen werden, müssen die dadurch entstehenden "Löcher" durch nachgeschaltete Glättungs- und Interpolationsverfahren ausgeglichen bzw. "gefüllt" werden.

Für beide Verfahren (I. und II.) gilt, dass jede einzelne Deformation durch die Indizes i ndex und j_Index genau beschrieben ist. Die Werte (Verschiebungswerte), die sich aus den oben genannten Formeln für die Verschiebung jedes Bildpunktes ergeben, sind für jede Deformation in dem Bild-Deformationsspeicher 5 gespeichert.

B.) Im folgenden werden nun Verfahren beschrieben, mit denen eine Szenenanalyse durchgeführt und in Abhängigkeit von dem ermittelten Szenetyp die verwendete Bilddeformation dynamisch gesteuert bzw. ausgewählt werden kann.

Vorzugsweise werden dazu drei verschiedene Szenetypen definiert, auf die das Bild untersucht wird. Grundsätzlich lassen sich aber auch eine größere Anzahl von Szenetypen definieren.

Die hier beispielhaft beschriebenen Szenetypen sind die Nahaufnahme N, die Weitwinkelaufnahme W und die Mediumaufhahme (Normalaufhahme) M.

Bei der Nahaufnahme sei ein Objekt in den Bildmittelpunkt gestellt und bedecke den größten Teil des Bildes vom Mittelpunkt aus. Für eine Deformationen (Konvertierung) ist in diesem Fall die Kugelprojektion am besten geeignet. Damit wird auch ein gewisser "Pop-out" Effekt erreicht, bei dem die Mitte des Bildes aus dem Bild herauszutreten scheint.

Bei der Weitwinkelaufnahme handelt es sich häufig um Landschaftsaufhahmen. In diesem Fall wird im allgemeinen mit einer Tilt-Deformation der beste dreidimensionale Effekt erzielt.

Handelt es sich um eine Objektgruppe in der Bildmittel, die mit der Kamera in gewisser Entfernung verfolgt wird (Normal- bzw. Mediumaufnahme), so wird im allgemeinen mit der Sphere-Tilt-Deformation der beste dreidimensionale Eindruck erzeugt.

Für die folgenden Bestimmungen sei P zunächst eine feste Konstante mit P := 0,2 (0 < P < 0,5).

1.) Bestimmung des Szenetyps "Nahaufnahme" (N):

Es sei x_N ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit zum Beispiel 60 Prozent aller Bildpunkte des Gesamtbildes XQ.

Es sei δ_G ² die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes XQ = x(i, j) und weiterhin δ-^² die mittlere quadratische Standardabweichung (Varianz) des Teilbildes x>τ. Wenn δ^² ≤ P δ_G ² ist, so sei der Szenetyp Nahaufnahme N festgelegt. Hierbei gilt:

δ_N ² := ∑ (xy - x_N)² über i, j e x_N

mit dem Mittelwert XN := (1 / |x_N|) ∑ xy über i, j e ^.

2.) Bestimmung des Szenetyps "Normal- oder Mediumaufhahme" (M):

Es sei M ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit zum Beispiel 40 Prozent aller Bildpunkte des Gesamtbildes XQ.

Es sei δ_G ² die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes Q = x(i, j) und weiterhin δ^² die mittlere quadratische Standardabweichung (Varianz) des Teilbildes XM- Wenn δjyj² < P δ_G ² ist, so sei der Szenetyp Mediumaufnahme M festgelegt. Hierbei gilt:

δ_M ² := ∑ (xy - X^"M)² über i, j e x_M

mit dem Mittelwert X^"M := (1 / |X_M]) Σ xy über i, j e -

3.) Bestimmung des Szenetyps "Weitwinkelaufnahme" (W):

Es seien i und x₂ zwei rechteckige Teilbilder im linken bzw. rechten oberen Bildbereich und yi und y₂ zwei rechteckige Teilbilder im linken bzw. rechten unteren Bildbereich. Weiterhin sei der Absolutbetrag der Kreuzkorrelation zwischen den X-Bild- bereichen als k_x := | (Σ xii x₂i ) ( /(∑ _Xli ² ∑ x₂i²)) |

und der Absolutbetrag der Kreuzkorrelation zwischen den Y-Bildbereichen als

k_y := I (Σ yπ y_2i ) ( (∑ _yii ² ∑ y_2i ²)) |

definiert. Wenn k_x > 1 - P und k_y > 1 - P gilt, so sind die X- und die Y-Bereiche hoch korreliert. Dies wird als Szenetyp Weitwinkelaufnahme W definiert.

C.) Bei der Anwendung einer Bilddeformation ist zu berücksichtigten, dass bei einer Änderung des Szenetyps gegenüber dem vorherigen Szenetyp nicht einfach zwischen den zugeordneten Deformationsfunktionen umgeschaltet werden sollte. Dies würde nämlich vom Betrachter als Störung bzw. "Stocken" oder "Ruckein" empfunden werden.

In diesem Fall ist es vielmehr vorzuziehen, durch eine Übergangsfunktion dafür zu sorgen, dass die bisherige Deformation über etwa zwei bis drei Bilder verteilt relativ glatt beziehungsweise stetig in die neue Deformation überführt wird. Es ist somit eine dynamische Anpassung der Deformation an den neuen Bildinhalt vorzunehmen.

Zu diesem Zweck ist für jeden Übergang von einer "alten" Deformation auf eine andere "neue" Deformation eine Übergangs-Deformation definiert, die zum Beispiel ebenfalls in dem Bild-Deformationsspeicher 5 abgespeichert ist. Eine solche Übergangs-Deformation ist durch eine vorbestimmte Anzahl K von Übergangsmatrizen gebildet, deren Werte durch vorzugsweise lineare Interpolation der für die alte und die neue Deformation gespeicherten Verschiebungswerte für jeden Bildpunkt berechnet und ebenfalls gespeichert werden.

Bei einer Änderung des Szenetyps wird somit das übertragene Bild, dessen Szenetyp sich geändert hat, mit einer Übergangsfunktion beaufschlagt, die sich aus der Übergangs-Deformation, die durch die Anzahl K von Übergangsmatrizen definiert ist, sowie der anschließenden neuen Deformation, die dem ermittelten neuen Szenetyp zugeordnet ist, zusammensetzt. Die in der Zwischenzeit zugeführten weiteren Ergebnisse der Szenenanalyse bleiben in diesem Fall während der Anwendung der Ubergangsfunktion un- berücksichtigt.

Es sei zum Beispiel davon ausgegangen, dass der Szenetyp des gerade übertragenen Bildes "Weitwinkelaufnahme" ist, während das zuvor übertragene Bild vom Szenetyp "Nahaufnahme" war. Folglich ist von der der Nahaufnahme zugeordneten (alten) Bilddeformation "Kugel" auf die der Weitwinkelaufnahme zugeordnete (neue) Bilddeformation "Tilt" umzuschalten. Weiterhin seien eine Anzahl K = 2 und somit zwei Übergangsmatrizen festgelegt.

Bevor die neue Bilddeformation angewendet wird, sind also das gerade übertragene Bild mit der ersten Übergangsmatrix und anschließend das nächste Bild mit der zweiten Übergangsmatrix, die zusammen die Übergangs-Deformation bilden, zu beaufschlagen.

Die einzelnen Werte, die die Übergangsmatrizen enthalten und die jeweils die Übergangs-Verschiebung für einen Bildpunkt darstellen, ergeben sich durch lineare Interpolation der Verschiebungswerte der alten Bilddeformation (Kugel) und der neuen Bilddeformation (Tilt) entsprechend der Anzahl K der Übergangsmatrizen. Wenn zum Beispiel für einen Bildpunkt der Verschiebungswert der alten Bilddeformation 0 und der Verschiebungswert der neuen Bilddeformation 6,0 ist, so ergibt sich für K = 2 für diesen Bildpunkt in der ersten Übergangsmatrix ein Verschiebungswert von 2,0 und in der zweiten Übergangsmatrix ein Verschiebungswert von 4,0.

Für alle möglichen Übergänge zwischen Szenetypen und somit zwischen den jeweils zugeordneten Deformationen können sämtliche Übergangsmatrizen im voraus berechnet und in dem Bild-Deformationsspeicher 5 gespeichert werden.

Hierbei ist zu berücksichtigen, dass die Übergangsmatrizen, die für einen Übergang von einer ersten auf eine zweite Deformation gespeichert sind, im Falle eines Übergangs von der zweiten auf die erste Deformation in umgekehrter Reihenfolge auf das übertragene Bild angewendet werden.

Figur 3 zeigt ein Flußdiagramm des erfindungsgemäßen Verfahrens.

Mit einem ersten Schritt 10 wird nach dem Einschalten der Vorrichtung zunächst in der Einrichtung zur Bilddeformation 4 ein erster Status "Aktuelle Deformation" auf eine Startdeformation als angewendete Deformation festgelegt, die zum Beispiel die Zylinder-Deformation ist. Mit einem zweiten Schritt 11 wird dann ein zweiter Status "Neue Deformation" auf eine Standard- oder Vorgabe-Deformation (Default-Deformation), zum Beispiel ebenfalls die Zylinder-Deformation gesetzt und anschließend mittels der Einrichtung 3 zur Szenenanalyse der Szenetyp des aktuellen (zugeführten) Bildes gemäß obiger Beschreibung ermittelt.

Mit einem dritten Schritt 12 wird dann abgefragt, ob als Szenetyp die Nahaufnahme N ermittelt wurde. Wenn dies der Fall ist, wird gemäss einem vierten Schritt 13 der zweite Status "Neue Deformation := Kugel" gesetzt und mit einem (neunten) Schritt 18 fortgefahren.

Wenn die Abfrage in dem dritten Schritt 12 mit Nein beantwortet wurde, wird mit einem fünften Schritt 14 abgefragt, ob als Szenetyp die Mediumaufhahme M ermittelt wurde. Wenn dies der Fall ist, wird gemäß einem sechsten Schritt 15 der zweite Status "Neue Deformation := Sphere-Tilt" gesetzt und mit dem (neunten) Schritt 18 fortgefahren.

Wenn die Abfrage in dem fünften Schritt 14 mit Nein beantwortet wurde, wird mit einem siebten Schritt 16 abgefragt, ob als Szenetyp die Weitwinkelaufnahme W ermittelt wurde. Wenn diese der Fall ist, wird gemäß einem achten Schritt 17 der zweite Status "Neue Deformation := Tilt" gesetzt und mit dem neunten Schritt 18 fortgefahren.

Wenn die Abfrage in dem siebten Schritt 16 ebenfalls mit Nein beantwortet wurde, wird mit dem neunten Schritt 18 fortgefahren, mit dem abgefragt wird, ob die mit dem ersten und zweiten Status gesetzten Deformationen gleich sind.

Diese Schritte 11 bis 18 werden mit der Einrichtung 3 zur Szenenanalyse durchgeführt.

Wenn die Abfrage mit dem neunten Schritt 18 mit Ja beantwortet wird, wird gemäß einem zehnten Schritt 19 das aktuelle Bild mittels der Einrichtung 4 zur Bilddeformation der (unveränderten) Bilddeformation unterworfen und als ein Bild der zweiten Bildfolge ausgegeben. Der Verfahrensablauf wird dann mit dem zweiten Schritt 11 für ein nächstes Bild wiederholt.

Wenn die Abfrage mit dem neunten Schritt 18 mit Nein beantwortet wird, ist die Übergangsfunktion anzuwenden, und es wird gemäß einem elften Schritt 20 zunächst der Wert k eines Zählers auf k := 0 gesetzt.

Anschließend wird mit einem zwölften Schritt 21 das aktuelle Bild des Bildspeichers 1 mit der ersten Übergangsmatrix deformiert und als ein Bild der zweiten Bildfolge ausgegeben. Weiterhin wird der Wert des Zählers um 1 erhöht (k := k + 1). Mit einem dreizehnten Schritt 22 wird dann abgefragt, ob der Zählerstand k größer als die Anzahl K von Übergangsmatrizen ist.

Wenn dies nicht der Fall ist, wird der zwölfte Schritt 21 wiederholt und das jetzt aktuelle Bild des Bildspeichers 1 deformiert, und zwar nun mit der zweiten (nächsten) Übergangsmatrix, um dann als nächstes Bild der (zweiten) Bildfolge ausgegeben zu werden.

Nachdem die vorgesehene Anzahl K von Übergangsmatrizen angewandt worden ist, wird zum Abschluss der Übergangs-Deformation das dann aktuelle Bild der neuen, gemäß den Schritten 13, 15 oder 17 gesetzten Bilddeformation unterworfen und der Zählerstand wiederum um den Wert 1 erhöht. Die mit dem dreizehnten Schritt 22 folgende Abfrage ist dann mit Ja zu beantworten, so dass mit einem vierzehnten Schritt 23 fortgefahren wird, mit dem der erste Status "Aktuelle Deformation" auf die neue Deformation gesetzt wird. Anschließend wird das Verfahren durch Rücksprung zu dem zweiten Schritt 11 mit einem nächsten, zugeführten Bild wiederholt.

Die in Figur 1 gezeigte Vorrichtung ist vorzugsweise in einem digitalen Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern implementiert.

Die beschriebenen Verfahren sind vorzugsweise in Form von einem oder mehreren Computerprogrammen mit Programmcode-Mitteln zur Ausführung der einzelnen Ver- fahrensschritte mit einem Computer, insbesondere einer Mikroprozessor-Einheit, implementiert. Die Verfahren können auch als Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Ausführung der Schritte der Verfahren implementiert sein, wenn er in den Speicher einer programmierbaren Mikroprozessor-Einheit geladen bzw. auf einem Computer ausgeführt wird, die / der Bestandteil eines digitalen Bildverarbeitungssystems ist.

Claims

Patentansprüche

1. Verfahren zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern, dadurch gekennzeichnet, dass ein zweidimensionales Bild im Hinblick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zugeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Szenetyp eine Nahaufnahme, eine Normalaufhahme (Mediumaufhahme) und eine Weitwinkelaufnahme festgelegt wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Sphere-Deformation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes konzentrisch vom Mittelpunkt des Bildes nach außen verzerrt werden.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, das dem Szenetyp Normalaufhahme eine Sphere-Tilt-Defor- mation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes gleichzeitig von oben nach unten und konzentrisch vom Mittelpunkt des Bildes verzerrt und gedehnt werden.

5. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Tilt-Deformati- on zugewiesen wird, bei der die Bildpunkte des deformierten Bildes horizontal kontinuierlich zunehmend von oben nach gedehnt werden.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Kugel-Deformation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.

7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Zylinder-Defor- mation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweidimensionale Bild, das für mindestens einen Betrachtungskanal einer Deformation unterworfen wird, ein durch Interpolation einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern gewonnenes Bild ist.

9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Änderung des Szenetyps eines zweiten Bildes gegenüber einem vorherigen ersten Bild das zweite Bild einer Übergangsfunktion unterworfen wird, mit der dieses zur Vermeidung von unnatürlichen Bildeindrücken stetig von einer dem vorherigen Szenetyp zugeordneten Deformation an die dem neuen Szenetyp zugeordnete Deformation angepasst wird.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Übergangsfunktion durch eine vorbestimmte Anzahl K von Übergangs-Deformationen sowie die neue Bilddeformation gebildet ist, wobei die Übergangs-Deformationen durch lineare Interpolation der vorherigen Deformation und der neuen Deformation für jeden Bildpunkt ermittelt werden.

11. Vorrichtung zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Einrichtung (3) zur Szenenanalyse eines zugeführten Bildes durch Definition mindestens eines Teilbildes und Vergleich des Teilbildes mit dem Gesamtbild.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition eines Teilbildes mit variabler Größe im Bereich der Bildmitte des Gesamtbildes und zur Ermittlung einer mittleren quadratischen Standardabweichung des Teilbildes sowie des Gesamtbildes vorgesehen ist, um daraus einen Szenetyp Nahaufnahme oder Normalaufnahme zu ermitteln.

13. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition einer Mehrzahl von Teilbildern im Randbereichen des Gesamtbildes und zur Ermittlung eines Absolutbetrages der Kreuzkorrelation zwischen verschiedenen Bildbereichen vorgesehen ist, um daraus einen Szenetyp Weitwinkelaufnahme zu ermitteln.

14. Vorrichtung nach Anspruch 11, gekennzeichnet durch einen Bilddeformationensspeicher (5) zur Speicherung einer Mehrzahl von Szenetypen, einer jedem Szenetyp zugeordnete Deformation sowie einer jedem Übergang zwischen zwei Deformationen zugeordneten Übergangs-Deformation.

15. Computerprogramm mit Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.

16. Computerprogramm mit Programmcode-Mitteln gemäß Anspruch 15, die auf einem computerlesbaren Datenträger gespeichert sind.

17. Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.

18. Digitales Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern, gekennzeichnet durch eine Vorrichtung nach einem der Ansprüche 11 bis 14.