EP1451775A1 - Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge - Google Patents
Erzeugung einer stereo-bildfolge aus einer 2d-bildfolgeInfo
- Publication number
- EP1451775A1 EP1451775A1 EP01984759A EP01984759A EP1451775A1 EP 1451775 A1 EP1451775 A1 EP 1451775A1 EP 01984759 A EP01984759 A EP 01984759A EP 01984759 A EP01984759 A EP 01984759A EP 1451775 A1 EP1451775 A1 EP 1451775A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- deformation
- scene type
- scene
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- the invention relates to a method and apparatus for generating three-dimensional (3D) images from a sequence of two-dimensional images.
- a particular disadvantage of the image sequential transmission in connection with conventional television systems is that the image refresh rate for each eye is reduced to 25 images per second. This results in an unpleasant flicker for the viewer. Although this restriction does not occur in the parallel transmission of the image sequences via their own (left or right) channel. Problems can arise here, however, in the synchronization of the two channels and by the requirements of the receiver, which must receive and process two separate channels simultaneously. This is not possible with customary systems.
- each image is decomposed into individual pixels, which are transmitted digitized.
- each image is decomposed into individual pixels, which are transmitted digitized.
- US Pat. No. 6,108,005 discloses a method for producing synthesized stereo images in which at least two images are generated from an input image, wherein at least one of the images is enlarged, reduced, rotated, shifted or in one relative to the supplied image is changed in such a way that at least parts of the image are shifted relative to other parts of the image compared to corresponding parts in another image.
- the disadvantage here is that it depends largely on the skill of the operator, whether a correct or natural stereoscopic image impression is generated by the viewer by a suitable selection of the above changes.
- the invention has for its object to provide a method and an apparatus of the type mentioned, with the / substantially without intervention by an operator or a viewer, a generation of 3D images with a particularly natural three-dimensional image impression is possible.
- Fig. 1 is a schematic block diagram of a circuit arrangement according to the invention.
- FIG. 2 shows a schematic representation for explaining a deformation by means of ball projection
- FIG. and FIG. 3 shows a flow chart of the method according to the invention.
- the essential components of a device according to the invention and their interconnections are shown schematically in FIG.
- the arrangement comprises an input E, via which the two-dimensional images recorded and digitized by a camera are fed to a first image memory 1 for the intermediate storage of at least one respective current image.
- the supplied images are transferred to a second image memory 2 connected thereto, which is provided for storing a predeterminable number of successive images and for their interpolation.
- a scene analysis device 3 is also connected to the first image memory 1, with which the current image stored in the first image memory 1 is examined with regard to its content in order to match a specific scene type such as "close-up”, “normal recording” (US Pat. Medium recording) or "wide-angle recording” assigned.
- the scene analysis device 3 is connected to an image deformation device 4, with which an image supplied from the first image memory 1 is subjected to image deformation associated with this type in accordance with the scene type detected by the device 3.
- the second image memory 2 is also connected to the device 4, so that an image generated by interpolation of previous images can also be deformed.
- Various patterns for such image deformations and their assignment to at least one scene type are stored in an image deformation memory 5, from which the patterns can be retrieved by the image deformation means 4.
- a phase switch 6 is connected to an output of the device 4, to which the undeformed image from the first image memory 1 and the deformed image generated therefrom with the device 4 can be transmitted.
- These images are then applied to a first and second output AI, A2 of the phase switch 6 and respectively form a first and second sequence of images, which are supplied to a left and right viewing channel BL, BR for a left or right stereo image.
- the one image sequence is thus composed by the unchanged, supplied images and the other image sequence by images produced therefrom which are subjected to deformation (asymmetrical deformation).
- deformation asymmetrical deformation
- a further possibility consists in additionally or alternatively supplying an image, which is interpolated in the second image memory 2, to the device 4 and from this - in a deformed and / or non-deformed form - composing the first and / or the second image sequence.
- the interpolated image is calculated for example by linear spline approximation or a higher-grade or polynomial approximation of all pixels, where ⁇ is a Approximation variable is and refers to the time interval from a current image in which a synthetic (interpolated) image is generated.
- ⁇ is a Approximation variable is and refers to the time interval from a current image in which a synthetic (interpolated) image is generated.
- a first and a second image sequence can thus be generated from a sequence of two-dimensionally recorded and digitized images at the input E, which together allow a three-dimensional view of the originally two-dimensional images if the first and second image sequences belong to a left or right Eye is fed.
- the image deformation can be selected and adjusted according to the image content (scene type) and how the transition between different image deformations is preferably made by scene analysis in real time so that no disturbing transition effects occur.
- the pixels of the new image are continuously stretched horizontally increasingly from top to bottom according to the following formulas:
- tL the number of lines
- PpL the number of pixels per line
- Tiilt is any scaling constant that determines the amount of strain.
- the pixels of the new image are distorted concentrically from the center of the image to the edge according to the following formulas:
- tL is the number of lines
- PpL is the number of pixels per line
- Sphere is any scaling constant that determines the extent of the distortion.
- the pixels of the new image are simultaneously distorted and stretched from top to bottom and concentrically from the image center according to the following formulas:
- Undex (i, j): ((0.5 PpL - j) / 0.5 PpL) (1 - (4 / tL 2 ) (0.5 tL - i) 2 ) •
- Sphere jjtadex (i, j) : ((0.5 tL - i) / 0.5 tL) (1 - (4 / PpL 2 ) (0.5 Ppl - j) 2 ) • Sphere
- tL is the number of lines
- PpL is the number of pixels per line
- Sphere is any scaling constant that determines the extent of the distortion
- Tit is any scaling constant that determines the extent of the strain.
- the second method works with a symmetrical image deformation, in which additionally the actual original image is deformed, that means geometrically distorted. It represents, in a generalized form according to FIG. 2, an image of the actual pixels 0 to PpL of an image plane B on a curved surface F (imaging surface), this image being spaced at distance D from two perspectives for the left and the right.
- te eye AI, A2 is considered. Starting from the viewer, the pixels (for example z (j) or the region M) on the imaging surface F in for the two eyes AI, A2 different way (and x M 'for AI or j "and x M " for A2) projected back onto the image plane B. This gives the brain the impression of looking at the images from two angles.
- the image surface represents an outwardly curved spherical surface.
- a "synthetic" pixel z (i, j) results on a spherical surface curved toward the observer:
- tL is the number of lines
- PpL is the number of pixels per line
- Sphere is any scaling constant that determines the amount of distortion.
- a j-index for a left-hand observer position Ej is mapped to:
- the image surface represents an outwardly curved cylinder surface.
- a "synthetic" image point z (i, j) results on a cylinder surface curved toward the observer:
- PpL is the number of pixels per line
- Sphere is any scaling constant that determines the extent of the distortion.
- three different scene types are defined for this purpose, to which the image is examined. Basically, however, a larger number of scene types can be defined.
- the scene types described here by way of example are the close-up N, the wide-angle shot W and the medium shot (normal shot) M.
- the wide-angle shot is often landscape.
- the best three-dimensional effect is generally achieved with a tilt deformation.
- the Sphere Tilt Deformation generally produces the best three-dimensional impression.
- x N be a rectangular partial image of the current image in the center of the image For example, 60 percent of all pixels of the overall picture XQ.
- ⁇ N 2 : ⁇ (xy - x N ) 2 over i, jex N
- M be a rectangular partial image of the current image in the center of the image with, for example, 40 percent of all pixels of the overall image XQ.
- ⁇ M 2 : ⁇ (xy - X " M) 2 over i, jex M
- a transitional deformation for each transition from an "old" deformation to another "new” deformation, a transitional deformation is defined, which for example is also stored in the image deformation memory 5.
- Such a transitional deformation is formed by a predetermined number K of transition matrices, the values of which are calculated and stored by preferably linear interpolation of the shift values stored for the old and the new deformation for each pixel.
- the transmitted image whose scene type has changed is subjected to a transient function consisting of the transitional deformation defined by the number K of transition matrices and the subsequent new deformation corresponding to the new one determined Scene type is assigned.
- the further results of the scene analysis supplied in this case remain unchanged during the application of the transition function. considered.
- the image currently being transferred with the first transition matrix and then the next image with the second transition matrix, which together form the transitional deformation, are to be applied.
- all transition matrices can be calculated in advance and stored in the image deformation memory 5.
- transition matrices stored for a transition from a first to a second deformation are applied to the transferred image in reverse order in the case of a transition from the second to the first deformation.
- FIG. 3 shows a flow chart of the method according to the invention.
- first in the Image deformation means 4 sets a first status "Current Deformation” to a start deformation as an applied deformation, which is, for example, the cylinder deformation.
- a second status "new deformation” is then set to a standard or default deformation, for example also the cylinder deformation, and then the scene type device 3 is used to set the scene type of the current (supplied ) Image as described above.
- step 16 If the query in the seventh step 16 has also been answered with No, the process continues to the ninth step 18, with which it is queried whether the deformations set with the first and second statuses are the same.
- the current image is subjected to (unaltered) image deformation by the image deformation means 4 and output as an image of the second image sequence.
- the procedure is then with the second step 11 for a next picture repeated.
- the twelfth step 21 is repeated and the now current image of the image memory 1 is deformed, now with the second (next) transition matrix, in order then to be output as the next image of the (second) image sequence.
- the current image of the new image deformation set in accordance with steps 13, 15 or 17 is subjected to completion of the transition deformation, and the count is again increased by the value 1.
- the query following the thirteenth step 22 must then be answered with Yes, so that a fourteenth step 23 is continued, with which the first status "Current Deformation" is set to the new deformation. Subsequently, the process is repeated by returning to the second step 11 with a next input image.
- the apparatus shown in Figure 1 is preferably implemented in a digital image processing system for producing a three-dimensional rendering of two-dimensionally transmitted or stored images.
- the described methods are preferably implemented in the form of one or more computer programs with program code means for carrying out the individual method steps with a computer, in particular a microprocessor unit.
- the methods may also be implemented as a computer program product having program code stored on a machine-readable carrier for carrying out the steps of the methods as it is loaded into the memory of a programmable microprocessor unit that is part of a digital image processing system is.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Abstract
Es wird ein Verfahren und eine Vorrichtung zur Erzeugung von dreidiemensionalen Bildern aus einer Folge von Zweidimensionalen Bildern beschrieben, das sich insbesondere dadurch auszeichnet, dass ein zweidimensionales Bild im Hindlick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zgeführt wird. Weiterhin werden verschiedene Übergangsfunktion definiert, mit denen ein stetiger und störungsfreier Übergang von einer Deformation auf jede neue Deformation erzielt wird.
Description
ERZEUGUNG EINER STEREO-BILDFOLGE AUS EINER 2D-BILDF0LGE
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern.
Zur Untersuchung von Objekten bedient man sich insbesondere in der Medizin und Naturwissenschaft vielfach einer dreidimensionalen Bilderzeugung. Auch für den allgemeinen Konsumerbereich sind verschiedene Verfahren entwickelt worden, mit denen insbesondere Fernsehbilder dreidimensional wiedergegeben werden können.
Hierbei unterscheidet man im wesentlichen zwischen einer Bild-sequentiellen Übertragung, bei der die Bilder für das rechte und das linke Auge abwechselnd nacheinander übertragen oder auf einem Speichermedium gespeichert werden, sowie einer parallelen Übertragung, bei der die Bilder auf zwei getrennten Kanälen geführt werden.
Ein besonderer Nachteil der Bild-sequentiellen Übertragung in Verbindung mit herkömmlichen Fernsehsystemen besteht darin, dass die Bildwiederholrate für jedes Auge auf 25 Bilder pro Sekunde reduziert ist. Dadurch ergibt sich für den Betrachter ein unangenehmes Flimmern. Diese Beschränkung tritt zwar bei der parallelen Übertragung der Bildfolgen über jeweils einen eigenen (linken bzw. rechten) Kanal nicht auf. Probleme können hierbei jedoch bei der Synchronisation der beiden Kanäle sowie durch die Anforderungen an den Empfänger entstehen, der gleichzeitig zwei getrennte Kanäle empfangen und verarbeiten muss. Dies ist bei den marktüblichen Systemen nicht möglich.
In zukünftigen Fernsehsystemen soll die Signalübertragung und -Verarbeitung vollständig digital erfolgen. In diesem Fall wird jedes Bild in einzelne Bildpunkte zerlegt, die digitalisiert übertragen werden. Zur Reduzierung der erforderlichen Bandbreite werden dabei entsprechende Komprimierungsverfahren eingesetzt, die jedoch für die Stereoübertragung Probleme aufwerfen.
Bei Blockkodierungsverfahren ist es zum Beispiel bei sinnvoller Kompressionsrate im allgemeinen nicht möglich, jede einzelne Zeile eines Bildes exakt zu rekonstruieren. In- terframe-Kodierungen wie zum Beispiel MPEG-2 ermöglichen es zudem nicht, Stereobilder Bild-sequentiell zu übertragen oder zu speichern, da Bildinformationen aus einem Bild noch in einem anderen Bild enthalten sind und es dadurch zu sogenannten Über-
sprech-Effekten kommt, die eine klare Trennung eines rechten von einem linken Bild unmöglich machen.
Andere Verfahren, mit denen aus einer zweidimensionalen Bildfolge eine dreidimensionale Bildfolge erzeugt werden, sind in der DE 35 30 610 und der EP 0 665 697 offenbart. Ein autostereoskopisches System mit einer Interpolation von Bildern wird in der EP 0 520 179 beschrieben, während in "Huang: Image Sequence Analysis" (Springer Verlag) Probleme der Erkennung von Bewegungsbereichen in Bildfolgen erörtert werden.
Aus der US-PS 6,108,005 ist ein Verfahren zur Erzeugung von synthetisierten Stereo- Bildern bekannt, bei dem aus einem zugeführten Bild mindestens zwei Bilder erzeugt werden, wobei mindestens eines der Bilder relativ zu dem zugeführten Bild vergrößert, verkleinert, gedreht, verschoben oder in einer solchen Weise verändert wird, dass zumindest Teile des Bildes relativ zu anderen Teilen des Bildes im Vergleich zu korrespondierenden Teilen in einem anderen Bild verschoben sind. Nachteilig hierbei ist allerdings, dass es weitgehend vom Geschick der Bedienperson abhängig ist, ob durch eine geeignete Auswahl der genannten Veränderungen ein korrekter beziehungsweise natürlicher stereoskopischer Bildeindruck beim Betrachter erzeugt wird.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art zu schaffen, mit dem / der im wesentlichen ohne Eingriff durch eine Bedienperson oder einen Betrachter eine Erzeugung von 3D-Bildern mit einem besonders natürlichen dreidimensionalen Bildeindruck möglich ist.
Gelöst wird diese Aufgabe mit einem Verfahren gemäss Anspruch 1 und einer Vorrichtung gemäß Anspruch 11.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung einer bevorzugten Ausführungsform anhand der Zeichnung. Es zeigt:
Fig. 1 ein schematisches Blockschaltbild einer erfindungsgemäßen Schaltungsanordnung;
Fig. 2 eine schematische Darstellung zur Erläuterung einer Deformation durch Kugelprojektion; und Fig. 3 ein Flussdiagramm des erfindungsgemäßen Verfahrens.
Die wesentlichen Komponenten einer erfindungsgemäßen Vorrichtung und ihre Verbindungen untereinander sind in Figur 1 schematisch dargestellt. Die Anordnung umfasst einen Eingang E, über den die von einer Kamera aufgenommenen und digitalisierten zweidimensionalen Bilder einem ersten Bildspeicher 1 zur Zwischenspeicherung mindestens eines jeweils aktuellen Bildes zugeführt werden.
Aus dem ersten Bildspeicher 1 werden die zugeführten Bilder in einen damit verbundenen zweiten Bildspeicher 2 übertragen, der zur Speicherung einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern und zu deren Interpolation vorgesehen ist.
Mit dem ersten Bildspeicher 1 ist ferner eine Einrichtung 3 zur Szenenanalyse verbunden, mit der das aktuelle, in dem ersten Bildspeicher 1 gespeicherte Bild im Hinblick auf seinen Inhalt untersucht wird, um es einem bestimmten Szenetyp wie zum Beispiel "Nahaufnahme", "Normalaufhahme" (Mediumaufnahme) oder "Weitwinkelaufnahme" zuzuordnen.
Die Einrichtung 3 zur Szenenanalyse ist mit einer Einrichtung 4 zur Bilddeformation verbunden, mit der ein aus dem ersten Bildspeicher 1 zugeführtes Bild entsprechend dem mit der Einrichtung 3 ermittelten Szenetyp einer diesem Typ zugeordneten Bilddeformation unterworfen wird.
Auch der zweite Bildspeicher 2 ist mit der Einrichtung 4 verbunden, so dass ein durch Interpolation vorhergehender Bilder erzeugtes Bild ebenfalls deformiert werden kann.
Verschiedene Muster für solche Bilddeformationen und ihre Zuordnung zu mindestens einem Szenetyp sind in einem Bild-Deformationsspeicher 5 gespeichert, aus dem die Muster durch die Einrichtung 4 zur Bilddeformation abgerufen werden können.
Mit einem Ausgang der Einrichtung 4 ist schließlich ein Phasenumschalter 6 verbunden, dem das nicht deformierte Bild aus dem ersten Bildspeicher 1 und das daraus mit der Einrichtung 4 erzeugte, deformierte Bild übermittelt werden kann. Diese Bilder liegen dann an einem ersten bzw. zweiten Ausgang AI, A2 des Phasenumschalters 6 an und bilden jeweils eine erste bzw. zweite Folge von Bildern, die einem linken bzw. rechten Betrachtungskanal BL, BR für ein linkes bzw. rechtes Stereobild zugeführt werden.
Dadurch ist also die eine Bildfolge durch die unveränderten, zugeführten Bilder und die andere Bildfolge durch daraus erzeugte, mit einer Deformation beaufschlagte Bilder zusammengesetzt (asymmetrische Deformation). Alternativ dazu ist es auch möglich, die Bilder beider Bildfolgen mit einer Deformation zu beaufschlagen (symmetrische Deformation). Eine weitere Möglichkeit besteht schließlich darin, zusätzlich oder alternativ ein in dem zweiten Bildspeicher 2 interpoliertes Bild der Einrichtung 4 zuzuführen und daraus - in deformierter und/oder in nicht deformierter Form - die erste und/oder die zweite Bildfolge zusammenzusetzen.
Zu diesem Zweck wird durch Interpolation einer in dem zweiten Bildspeicher 2 gespeicherten Bildfolge x(i, j, α) das interpolierte Bild zum Beispiel durch lineare Spline-Ap- proximation oder eine höher-gradige bzw. polynomiale Approximation sämtlicher Bildpunkte berechnet, wobei α eine Approximationsvariable ist und den zeitlichen Abstand von einem aktuellen Bild bezeichnet, bei dem ein synthetisches (interpoliertes) Bild erzeugt wird. Hierzu werden vorzugsweise die in der WO 01/76258 beschriebenen Verfahren verwendet. Der Inhalt dieser Druckschrift soll deshalb hiermit durch Bezugnahme zum Bestandteil dieser Offenbarung gemacht werden.
Mit der erfindungsgemäßen Vorrichtung kann somit aus einer am Eingang E anliegenden Folge von zweidimensional aufgenommenen und digitalisierten Bildern eine erste und eine zweite Bildfolge erzeugt werden, die zusammen eine dreidimensionale Betrachtung der ursprünglich zweidimensionalen Bilder ermöglichen, wenn die erste und zweite Bildfolge einem linken bzw. rechten Auge zugeführt wird.
Im folgenden wird zunächst ein erstes Verfahren zur Erzeugung einer Stereobildfolge durch eine "asymmetrische" Bilddeformation beschrieben, bei der die zugeführte Bildfolge im wesentlichen unverändert, d. h. mit einer "Null-Deformation" beaufschlagt als erste Bildfolge verwendet und die zweite Bildfolge durch Deformationen der Bilder der
ersten Bildfolge erzeugt wird.
Anschließend wird ein zweites Verfahren zur Erzeugung einer Stereobildfolge durch "symmetrische" Bilddeformation beschrieben, bei dem auch die Bilder der ersten Bildfolge deformierte Bilder sind.
Schließlich wird dann beschrieben, wie durch Szenenanalyse in Echtzeit die Bilddeformation entsprechend dem Bildinhalt (Szenetyp) gewählt und angepasst bzw. optimiert werden kann und wie vorzugsweise der Übergang zwischen verschiedenen Bilddeformationen vorgenommen wird, so dass keine störenden Übergangseffekte auftreten.
A.) Es sei xy ein digitalisiertes Bild der ersten Bildfolge zum Zeitpunkt t (erstes Stereobild) mit der horizontalen Auflösung I und der vertikalen Auflösung J. Das zweite Stereobild x*(i*, j*) ergibt sich daraus wie folgt:
i* := i + i_Index (i, j) bzw. j * := j + j_Index (i, j).
Dies bedeutet, dass sich die neuen Bildpunkte i* und j* durch Verschiebung in i- und j- Richtung ergeben. Hierfür können prinzipiell alle mathematischen Funktionen verwendet werden. Die im folgenden beschriebenen Deformationen sind deshalb nur als Beispiel für solche Funktionen zu verstehen.
I.) Für das erste Verfahren seien drei verschiedene Deformationen erläutert:
l.) Tilt-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes horizontal kontinuierlich zunehmend von oben nach unten gemäß folgender Formeln gedehnt:
i_Index (i, j) := 0; j ndex (i, j) := (1- (tL - i) / tL) ((0,5 Ppl - j) / 0,5 PpL) • Tilt für i:= 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und
"Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.
2.) Sphere-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes konzentrisch vom Mittelpunkt des Bildes zum Rand gemäß folgender Formeln verzerrt:
Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL2) (0,5 tL - i)2) • Sphere j_Index (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL2) (0,5 Ppl - j)2) • Sphere für i := 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
3.) Sphere-Tilt-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes gleichzeitig von oben nach unten und konzentrisch vom Bildmittelpunkt gemäß folgender Formeln verzerrt und gedehnt:
Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL2) (0,5 tL - i)2) • Sphere jjtadex (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL2) (0,5 Ppl - j)2) • Sphere
+ ((tL - i) / tL) ((0,5 PpL - j) / 0,5 PpL) • Tilt für i := 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile, "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt und "Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.
II.) Das zweite Verfahren arbeitet mit einer symmetrischen Bilddeformation, bei der zusätzlich auch das aktuelle originäre Bild deformiert, das heißt geometrisch verzerrt wird. Es stellt in verallgemeinerter Form gemäß Figur 2 eine Abbildung der aktuellen Bildpunkte 0 bis PpL einer Bildebene B auf eine gewölbte Fläche F (Abbildungsfläche) dar, wobei diese Abbildung im Abstand D aus zwei Perspektiven für das linke und das rech-
te Auge AI, A2 betrachtet wird. Ausgehend vom Betrachter werden die Bildpunkte (zum Beispiel z(j) oder der Bereich M) auf der Abbildungsfläche F in für die beiden Augen AI, A2 unterschiedlicher Weise ( und xM' für AI bzw. j" und xM" für A2) auf die Bildebene B zurückprojiziert. Das Gehirn bekommt dadurch den Eindruck, die Bilder aus zwei Blickwinkeln zu betrachten.
Grundsätzlich sind auch hierbei wieder beliebige mathematische Funktionen bzw. Flächen für die Projektion anwendbar. Im folgenden sollen zwei Deformationen beispielhaft beschrieben werden:
1.) Kugelprojektion:
Hierbei stellt die Bildfläche eine nach außen gewölbte Kugelfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Kugelfläche:
z(i, j) := (1 - (4/PpL2) (0,5 PpL - j)2) (1 - (4/tL2) (0,5 tL - i)2) • Sphere
Es bedeutet wiederum: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
Entsprechend dem Strahlensatz wird ein j-Index für eine linke Betrachterposition Ej abgebildet auf:
j' := {(j - E1) / (l - z(i,j) / D)} + E1
Da 0 < z(i, j) < Sphere gilt, sieht man, dass die Konstante "Sphere" immer kleiner gleich dem Betrachterabstand D sein muss.
Für die rechte Betrachterposition Er ergibt sich:
j" := {(J - Er) / (l - z(i, j) / D)} + Er
2.) Zylindrische Projektion:
Hierbei stellt die Bildfläche eine nach außen gewölbte Zylinderfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Zylinderfläche:
z(i, j) := (1 - (4/PpL2) (0,5PpL - j)2) • Sphere
Es bedeutet wiederum: PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
Für die neuen Indizes j' und j" ergibt sich wiederum wie für die Kugelprojektion für eine linke Betrachterposition Ei:
i' - { - Bl) l (l - z(i,i) / O)} + El
und für eine rechte Betrachterposition Ej-:
j" := {(j - Er) / (l - z(i, j) / D)} + Er
Für die Kugel- und die Zylinder-Projektion gilt, dass die Anzahl der Betrachterpositionen nicht auf zwei beschränkt ist. Vielmehr können anstelle nur einer linken und rechten Betrachterposition im wesentlichen beliebig viele linke und rechte Betrachterpositionen Et (k = l,...n) berechnet werden. Dies ist insbesondere für autostereoskopische Mehrbetrachter-Monitore interessant.
Da durch die Werte j' und j" der beiden oben genannten Indizes möglicherweise nicht allen Indizes des neuen Bildes Werte zugewiesen werden, müssen die dadurch entstehenden "Löcher" durch nachgeschaltete Glättungs- und Interpolationsverfahren ausgeglichen bzw. "gefüllt" werden.
Für beide Verfahren (I. und II.) gilt, dass jede einzelne Deformation durch die Indizes i ndex und j_Index genau beschrieben ist. Die Werte (Verschiebungswerte), die sich aus den oben genannten Formeln für die Verschiebung jedes Bildpunktes ergeben, sind
für jede Deformation in dem Bild-Deformationsspeicher 5 gespeichert.
B.) Im folgenden werden nun Verfahren beschrieben, mit denen eine Szenenanalyse durchgeführt und in Abhängigkeit von dem ermittelten Szenetyp die verwendete Bilddeformation dynamisch gesteuert bzw. ausgewählt werden kann.
Vorzugsweise werden dazu drei verschiedene Szenetypen definiert, auf die das Bild untersucht wird. Grundsätzlich lassen sich aber auch eine größere Anzahl von Szenetypen definieren.
Die hier beispielhaft beschriebenen Szenetypen sind die Nahaufnahme N, die Weitwinkelaufnahme W und die Mediumaufhahme (Normalaufhahme) M.
Bei der Nahaufnahme sei ein Objekt in den Bildmittelpunkt gestellt und bedecke den größten Teil des Bildes vom Mittelpunkt aus. Für eine Deformationen (Konvertierung) ist in diesem Fall die Kugelprojektion am besten geeignet. Damit wird auch ein gewisser "Pop-out" Effekt erreicht, bei dem die Mitte des Bildes aus dem Bild herauszutreten scheint.
Bei der Weitwinkelaufnahme handelt es sich häufig um Landschaftsaufhahmen. In diesem Fall wird im allgemeinen mit einer Tilt-Deformation der beste dreidimensionale Effekt erzielt.
Handelt es sich um eine Objektgruppe in der Bildmittel, die mit der Kamera in gewisser Entfernung verfolgt wird (Normal- bzw. Mediumaufnahme), so wird im allgemeinen mit der Sphere-Tilt-Deformation der beste dreidimensionale Eindruck erzeugt.
Für die folgenden Bestimmungen sei P zunächst eine feste Konstante mit P := 0,2 (0 < P < 0,5).
1.) Bestimmung des Szenetyps "Nahaufnahme" (N):
Es sei xN ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit
zum Beispiel 60 Prozent aller Bildpunkte des Gesamtbildes XQ.
Es sei δG 2 die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes XQ = x(i, j) und weiterhin δ-^2 die mittlere quadratische Standardabweichung (Varianz) des Teilbildes x>τ. Wenn δ^2 ≤ P δG 2 ist, so sei der Szenetyp Nahaufnahme N festgelegt. Hierbei gilt:
δN 2 := ∑ (xy - xN)2 über i, j e xN
mit dem Mittelwert XN := (1 / |xN|) ∑ xy über i, j e ^.
2.) Bestimmung des Szenetyps "Normal- oder Mediumaufhahme" (M):
Es sei M ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit zum Beispiel 40 Prozent aller Bildpunkte des Gesamtbildes XQ.
Es sei δG 2 die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes Q = x(i, j) und weiterhin δ^2 die mittlere quadratische Standardabweichung (Varianz) des Teilbildes XM- Wenn δjyj2 < P δG 2 ist, so sei der Szenetyp Mediumaufnahme M festgelegt. Hierbei gilt:
δM 2 := ∑ (xy - X"M)2 über i, j e xM
mit dem Mittelwert X"M := (1 / |XM]) Σ xy über i, j e -
3.) Bestimmung des Szenetyps "Weitwinkelaufnahme" (W):
Es seien i und x2 zwei rechteckige Teilbilder im linken bzw. rechten oberen Bildbereich und yi und y2 zwei rechteckige Teilbilder im linken bzw. rechten unteren Bildbereich. Weiterhin sei der Absolutbetrag der Kreuzkorrelation zwischen den X-Bild- bereichen als
kx := | (Σ xii x2i ) ( /(∑ Xli 2 ∑ x2i2)) |
und der Absolutbetrag der Kreuzkorrelation zwischen den Y-Bildbereichen als
ky := I (Σ yπ y2i ) ( (∑ yii 2 ∑ y2i 2)) |
definiert. Wenn kx > 1 - P und ky > 1 - P gilt, so sind die X- und die Y-Bereiche hoch korreliert. Dies wird als Szenetyp Weitwinkelaufnahme W definiert.
C.) Bei der Anwendung einer Bilddeformation ist zu berücksichtigten, dass bei einer Änderung des Szenetyps gegenüber dem vorherigen Szenetyp nicht einfach zwischen den zugeordneten Deformationsfunktionen umgeschaltet werden sollte. Dies würde nämlich vom Betrachter als Störung bzw. "Stocken" oder "Ruckein" empfunden werden.
In diesem Fall ist es vielmehr vorzuziehen, durch eine Übergangsfunktion dafür zu sorgen, dass die bisherige Deformation über etwa zwei bis drei Bilder verteilt relativ glatt beziehungsweise stetig in die neue Deformation überführt wird. Es ist somit eine dynamische Anpassung der Deformation an den neuen Bildinhalt vorzunehmen.
Zu diesem Zweck ist für jeden Übergang von einer "alten" Deformation auf eine andere "neue" Deformation eine Übergangs-Deformation definiert, die zum Beispiel ebenfalls in dem Bild-Deformationsspeicher 5 abgespeichert ist. Eine solche Übergangs-Deformation ist durch eine vorbestimmte Anzahl K von Übergangsmatrizen gebildet, deren Werte durch vorzugsweise lineare Interpolation der für die alte und die neue Deformation gespeicherten Verschiebungswerte für jeden Bildpunkt berechnet und ebenfalls gespeichert werden.
Bei einer Änderung des Szenetyps wird somit das übertragene Bild, dessen Szenetyp sich geändert hat, mit einer Übergangsfunktion beaufschlagt, die sich aus der Übergangs-Deformation, die durch die Anzahl K von Übergangsmatrizen definiert ist, sowie der anschließenden neuen Deformation, die dem ermittelten neuen Szenetyp zugeordnet ist, zusammensetzt. Die in der Zwischenzeit zugeführten weiteren Ergebnisse der Szenenanalyse bleiben in diesem Fall während der Anwendung der Ubergangsfunktion un-
berücksichtigt.
Es sei zum Beispiel davon ausgegangen, dass der Szenetyp des gerade übertragenen Bildes "Weitwinkelaufnahme" ist, während das zuvor übertragene Bild vom Szenetyp "Nahaufnahme" war. Folglich ist von der der Nahaufnahme zugeordneten (alten) Bilddeformation "Kugel" auf die der Weitwinkelaufnahme zugeordnete (neue) Bilddeformation "Tilt" umzuschalten. Weiterhin seien eine Anzahl K = 2 und somit zwei Übergangsmatrizen festgelegt.
Bevor die neue Bilddeformation angewendet wird, sind also das gerade übertragene Bild mit der ersten Übergangsmatrix und anschließend das nächste Bild mit der zweiten Übergangsmatrix, die zusammen die Übergangs-Deformation bilden, zu beaufschlagen.
Die einzelnen Werte, die die Übergangsmatrizen enthalten und die jeweils die Übergangs-Verschiebung für einen Bildpunkt darstellen, ergeben sich durch lineare Interpolation der Verschiebungswerte der alten Bilddeformation (Kugel) und der neuen Bilddeformation (Tilt) entsprechend der Anzahl K der Übergangsmatrizen. Wenn zum Beispiel für einen Bildpunkt der Verschiebungswert der alten Bilddeformation 0 und der Verschiebungswert der neuen Bilddeformation 6,0 ist, so ergibt sich für K = 2 für diesen Bildpunkt in der ersten Übergangsmatrix ein Verschiebungswert von 2,0 und in der zweiten Übergangsmatrix ein Verschiebungswert von 4,0.
Für alle möglichen Übergänge zwischen Szenetypen und somit zwischen den jeweils zugeordneten Deformationen können sämtliche Übergangsmatrizen im voraus berechnet und in dem Bild-Deformationsspeicher 5 gespeichert werden.
Hierbei ist zu berücksichtigen, dass die Übergangsmatrizen, die für einen Übergang von einer ersten auf eine zweite Deformation gespeichert sind, im Falle eines Übergangs von der zweiten auf die erste Deformation in umgekehrter Reihenfolge auf das übertragene Bild angewendet werden.
Figur 3 zeigt ein Flußdiagramm des erfindungsgemäßen Verfahrens.
Mit einem ersten Schritt 10 wird nach dem Einschalten der Vorrichtung zunächst in der
Einrichtung zur Bilddeformation 4 ein erster Status "Aktuelle Deformation" auf eine Startdeformation als angewendete Deformation festgelegt, die zum Beispiel die Zylinder-Deformation ist. Mit einem zweiten Schritt 11 wird dann ein zweiter Status "Neue Deformation" auf eine Standard- oder Vorgabe-Deformation (Default-Deformation), zum Beispiel ebenfalls die Zylinder-Deformation gesetzt und anschließend mittels der Einrichtung 3 zur Szenenanalyse der Szenetyp des aktuellen (zugeführten) Bildes gemäß obiger Beschreibung ermittelt.
Mit einem dritten Schritt 12 wird dann abgefragt, ob als Szenetyp die Nahaufnahme N ermittelt wurde. Wenn dies der Fall ist, wird gemäss einem vierten Schritt 13 der zweite Status "Neue Deformation := Kugel" gesetzt und mit einem (neunten) Schritt 18 fortgefahren.
Wenn die Abfrage in dem dritten Schritt 12 mit Nein beantwortet wurde, wird mit einem fünften Schritt 14 abgefragt, ob als Szenetyp die Mediumaufhahme M ermittelt wurde. Wenn dies der Fall ist, wird gemäß einem sechsten Schritt 15 der zweite Status "Neue Deformation := Sphere-Tilt" gesetzt und mit dem (neunten) Schritt 18 fortgefahren.
Wenn die Abfrage in dem fünften Schritt 14 mit Nein beantwortet wurde, wird mit einem siebten Schritt 16 abgefragt, ob als Szenetyp die Weitwinkelaufnahme W ermittelt wurde. Wenn diese der Fall ist, wird gemäß einem achten Schritt 17 der zweite Status "Neue Deformation := Tilt" gesetzt und mit dem neunten Schritt 18 fortgefahren.
Wenn die Abfrage in dem siebten Schritt 16 ebenfalls mit Nein beantwortet wurde, wird mit dem neunten Schritt 18 fortgefahren, mit dem abgefragt wird, ob die mit dem ersten und zweiten Status gesetzten Deformationen gleich sind.
Diese Schritte 11 bis 18 werden mit der Einrichtung 3 zur Szenenanalyse durchgeführt.
Wenn die Abfrage mit dem neunten Schritt 18 mit Ja beantwortet wird, wird gemäß einem zehnten Schritt 19 das aktuelle Bild mittels der Einrichtung 4 zur Bilddeformation der (unveränderten) Bilddeformation unterworfen und als ein Bild der zweiten Bildfolge ausgegeben. Der Verfahrensablauf wird dann mit dem zweiten Schritt 11 für ein
nächstes Bild wiederholt.
Wenn die Abfrage mit dem neunten Schritt 18 mit Nein beantwortet wird, ist die Übergangsfunktion anzuwenden, und es wird gemäß einem elften Schritt 20 zunächst der Wert k eines Zählers auf k := 0 gesetzt.
Anschließend wird mit einem zwölften Schritt 21 das aktuelle Bild des Bildspeichers 1 mit der ersten Übergangsmatrix deformiert und als ein Bild der zweiten Bildfolge ausgegeben. Weiterhin wird der Wert des Zählers um 1 erhöht (k := k + 1). Mit einem dreizehnten Schritt 22 wird dann abgefragt, ob der Zählerstand k größer als die Anzahl K von Übergangsmatrizen ist.
Wenn dies nicht der Fall ist, wird der zwölfte Schritt 21 wiederholt und das jetzt aktuelle Bild des Bildspeichers 1 deformiert, und zwar nun mit der zweiten (nächsten) Übergangsmatrix, um dann als nächstes Bild der (zweiten) Bildfolge ausgegeben zu werden.
Nachdem die vorgesehene Anzahl K von Übergangsmatrizen angewandt worden ist, wird zum Abschluss der Übergangs-Deformation das dann aktuelle Bild der neuen, gemäß den Schritten 13, 15 oder 17 gesetzten Bilddeformation unterworfen und der Zählerstand wiederum um den Wert 1 erhöht. Die mit dem dreizehnten Schritt 22 folgende Abfrage ist dann mit Ja zu beantworten, so dass mit einem vierzehnten Schritt 23 fortgefahren wird, mit dem der erste Status "Aktuelle Deformation" auf die neue Deformation gesetzt wird. Anschließend wird das Verfahren durch Rücksprung zu dem zweiten Schritt 11 mit einem nächsten, zugeführten Bild wiederholt.
Die in Figur 1 gezeigte Vorrichtung ist vorzugsweise in einem digitalen Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern implementiert.
Die beschriebenen Verfahren sind vorzugsweise in Form von einem oder mehreren Computerprogrammen mit Programmcode-Mitteln zur Ausführung der einzelnen Ver- fahrensschritte mit einem Computer, insbesondere einer Mikroprozessor-Einheit, implementiert.
Die Verfahren können auch als Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Ausführung der Schritte der Verfahren implementiert sein, wenn er in den Speicher einer programmierbaren Mikroprozessor-Einheit geladen bzw. auf einem Computer ausgeführt wird, die / der Bestandteil eines digitalen Bildverarbeitungssystems ist.
Claims
1. Verfahren zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern, dadurch gekennzeichnet, dass ein zweidimensionales Bild im Hinblick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zugeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Szenetyp eine Nahaufnahme, eine Normalaufhahme (Mediumaufhahme) und eine Weitwinkelaufnahme festgelegt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Sphere-Deformation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes konzentrisch vom Mittelpunkt des Bildes nach außen verzerrt werden.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, das dem Szenetyp Normalaufhahme eine Sphere-Tilt-Defor- mation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes gleichzeitig von oben nach unten und konzentrisch vom Mittelpunkt des Bildes verzerrt und gedehnt werden.
5. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Tilt-Deformati- on zugewiesen wird, bei der die Bildpunkte des deformierten Bildes horizontal kontinuierlich zunehmend von oben nach gedehnt werden.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Kugel-Deformation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.
7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Zylinder-Defor-
mation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweidimensionale Bild, das für mindestens einen Betrachtungskanal einer Deformation unterworfen wird, ein durch Interpolation einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern gewonnenes Bild ist.
9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Änderung des Szenetyps eines zweiten Bildes gegenüber einem vorherigen ersten Bild das zweite Bild einer Übergangsfunktion unterworfen wird, mit der dieses zur Vermeidung von unnatürlichen Bildeindrücken stetig von einer dem vorherigen Szenetyp zugeordneten Deformation an die dem neuen Szenetyp zugeordnete Deformation angepasst wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Übergangsfunktion durch eine vorbestimmte Anzahl K von Übergangs-Deformationen sowie die neue Bilddeformation gebildet ist, wobei die Übergangs-Deformationen durch lineare Interpolation der vorherigen Deformation und der neuen Deformation für jeden Bildpunkt ermittelt werden.
11. Vorrichtung zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Einrichtung (3) zur Szenenanalyse eines zugeführten Bildes durch Definition mindestens eines Teilbildes und Vergleich des Teilbildes mit dem Gesamtbild.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition eines Teilbildes mit variabler Größe im Bereich der Bildmitte des Gesamtbildes und zur Ermittlung einer mittleren quadratischen Standardabweichung des Teilbildes sowie des Gesamtbildes vorgesehen ist, um daraus einen Szenetyp Nahaufnahme oder Normalaufnahme zu ermitteln.
13. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition
einer Mehrzahl von Teilbildern im Randbereichen des Gesamtbildes und zur Ermittlung eines Absolutbetrages der Kreuzkorrelation zwischen verschiedenen Bildbereichen vorgesehen ist, um daraus einen Szenetyp Weitwinkelaufnahme zu ermitteln.
14. Vorrichtung nach Anspruch 11, gekennzeichnet durch einen Bilddeformationensspeicher (5) zur Speicherung einer Mehrzahl von Szenetypen, einer jedem Szenetyp zugeordnete Deformation sowie einer jedem Übergang zwischen zwei Deformationen zugeordneten Übergangs-Deformation.
15. Computerprogramm mit Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.
16. Computerprogramm mit Programmcode-Mitteln gemäß Anspruch 15, die auf einem computerlesbaren Datenträger gespeichert sind.
17. Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.
18. Digitales Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern, gekennzeichnet durch eine Vorrichtung nach einem der Ansprüche 11 bis 14.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2001/013674 WO2003046832A1 (de) | 2001-11-24 | 2001-11-24 | Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1451775A1 true EP1451775A1 (de) | 2004-09-01 |
Family
ID=8164692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP01984759A Withdrawn EP1451775A1 (de) | 2001-11-24 | 2001-11-24 | Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge |
Country Status (8)
Country | Link |
---|---|
US (2) | US7321374B2 (de) |
EP (1) | EP1451775A1 (de) |
JP (1) | JP5020458B2 (de) |
KR (1) | KR20040071145A (de) |
CN (1) | CN1295655C (de) |
AU (1) | AU2002233198A1 (de) |
CA (1) | CA2472272A1 (de) |
WO (1) | WO2003046832A1 (de) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396328B2 (en) | 2001-05-04 | 2013-03-12 | Legend3D, Inc. | Minimal artifact image sequence depth enhancement system and method |
US7907793B1 (en) | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
US8256430B2 (en) | 2001-06-15 | 2012-09-04 | Monteris Medical, Inc. | Hyperthermia treatment and probe therefor |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US7714832B2 (en) * | 2004-06-02 | 2010-05-11 | Research In Motion Limited | Mixed monochrome and colour display driving technique |
EP1603108B1 (de) * | 2004-06-02 | 2017-03-22 | BlackBerry Limited | Steuertechnik für eine gemischtfarbige und monochromatische Anzeige |
JP4283785B2 (ja) * | 2005-05-10 | 2009-06-24 | 株式会社マーキュリーシステム | 立体視画像生成装置およびプログラム |
US9036015B2 (en) * | 2005-11-23 | 2015-05-19 | Koninklijke Philips N.V. | Rendering views for a multi-view display device |
JP4931055B2 (ja) * | 2006-11-22 | 2012-05-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
DK3399756T3 (da) | 2007-04-12 | 2020-10-12 | Dolby Int Ab | Tiling i videokodning og -afkodning |
KR101450145B1 (ko) * | 2007-06-11 | 2014-10-13 | 삼성전자 주식회사 | 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 |
EP2393301A1 (de) | 2007-06-11 | 2011-12-07 | Samsung Electronics Co., Ltd. | Verfahren und Vorrichtung zur Erzeugung von Kopfzeileninformationen eines stereoskopischen Bildes |
CN101399997B (zh) * | 2007-09-29 | 2010-06-16 | 广达电脑股份有限公司 | 图像处理方法 |
US20090219383A1 (en) * | 2007-12-21 | 2009-09-03 | Charles Gregory Passmore | Image depth augmentation system and method |
US20090295791A1 (en) * | 2008-05-29 | 2009-12-03 | Microsoft Corporation | Three-dimensional environment created from video |
JP5083052B2 (ja) * | 2008-06-06 | 2012-11-28 | ソニー株式会社 | 立体視画像生成装置、立体視画像生成方法およびプログラム |
CN104768031B (zh) | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | 用于视频解码的装置 |
US9172940B2 (en) | 2009-02-05 | 2015-10-27 | Bitanimate, Inc. | Two-dimensional video to three-dimensional video conversion based on movement between video frames |
US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
US8508580B2 (en) | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
DE102009041328A1 (de) * | 2009-09-15 | 2011-03-24 | Natural View Systems Gmbh | Verfahren und Vorrichtung zum Erzeugen von Teilansichten und/oder einer Raumbildvorlage aus einer 2D-Ansicht für eine stereoskopische Wiedergabe |
WO2011094019A1 (en) | 2010-01-29 | 2011-08-04 | Thomson Licensing | Block-based interleaving |
US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US8918715B2 (en) | 2010-11-16 | 2014-12-23 | Magix Ag | System and method for generating stereoscopic 3D multimedia works from 2D input material |
US8682107B2 (en) | 2010-12-22 | 2014-03-25 | Electronics And Telecommunications Research Institute | Apparatus and method for creating 3D content for oriental painting |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8730232B2 (en) * | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
US9113130B2 (en) | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
US9137519B1 (en) * | 2012-01-04 | 2015-09-15 | Google Inc. | Generation of a stereo video from a mono video |
CN104602638B (zh) | 2012-06-27 | 2017-12-19 | 曼特瑞斯医药有限责任公司 | 用于影响对组织进行治疗的系统 |
US9098911B2 (en) | 2012-11-01 | 2015-08-04 | Google Inc. | Depth map generation from a monoscopic image based on combined depth cues |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9504484B2 (en) | 2014-03-18 | 2016-11-29 | Monteris Medical Corporation | Image-guided therapy of a tissue |
WO2015143025A1 (en) | 2014-03-18 | 2015-09-24 | Monteris Medical Corporation | Image-guided therapy of a tissue |
US10675113B2 (en) | 2014-03-18 | 2020-06-09 | Monteris Medical Corporation | Automated therapy of a three-dimensional tissue region |
US10327830B2 (en) | 2015-04-01 | 2019-06-25 | Monteris Medical Corporation | Cryotherapy, thermal therapy, temperature modulation therapy, and probe apparatus therefor |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
US10170154B2 (en) | 2015-11-16 | 2019-01-01 | Virtual Dreamware, LLC | Symmetrically mirrored video segment |
CN112712584B (zh) | 2019-10-25 | 2024-05-24 | 阿里巴巴集团控股有限公司 | 空间建模方法、装置、设备 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4925294A (en) | 1986-12-17 | 1990-05-15 | Geshwind David M | Method to convert two dimensional motion pictures for three-dimensional systems |
US4729100A (en) | 1984-08-28 | 1988-03-01 | Kabushiki Kaisha Toshiba | CT System which convolutes projection data with a frequency varying filter function |
DE3533379A1 (de) | 1985-09-19 | 1987-03-26 | Deutsche Forsch Luft Raumfahrt | Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene |
US5821989A (en) | 1990-06-11 | 1998-10-13 | Vrex, Inc. | Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals |
US6392689B1 (en) | 1991-02-21 | 2002-05-21 | Eugene Dolgoff | System for displaying moving images pseudostereoscopically |
TW221312B (de) | 1991-06-27 | 1994-02-21 | Eastman Kodak Co | |
US5510832A (en) | 1993-12-01 | 1996-04-23 | Medi-Vision Technologies, Inc. | Synthesized stereoscopic imaging system and method |
KR100358021B1 (ko) | 1994-02-01 | 2003-01-24 | 산요 덴키 가부시키가이샤 | 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템 |
US5739844A (en) | 1994-02-04 | 1998-04-14 | Sanyo Electric Co. Ltd. | Method of converting two-dimensional image into three-dimensional image |
JP2846840B2 (ja) | 1994-07-14 | 1999-01-13 | 三洋電機株式会社 | 2次元映像から3次元映像を生成する方法 |
KR100374463B1 (ko) | 1994-09-22 | 2003-05-09 | 산요 덴키 가부시키가이샤 | 2차원영상을3차원영상으로변환하는방법 |
JP2846830B2 (ja) | 1994-11-22 | 1999-01-13 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する方法 |
US5777666A (en) | 1995-04-17 | 1998-07-07 | Sanyo Electric Co., Ltd. | Method of converting two-dimensional images into three-dimensional images |
US6064393A (en) * | 1995-08-04 | 2000-05-16 | Microsoft Corporation | Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline |
US5953054A (en) | 1996-05-31 | 1999-09-14 | Geo-3D Inc. | Method and system for producing stereoscopic 3-dimensional images |
US6061067A (en) * | 1996-08-02 | 2000-05-09 | Autodesk, Inc. | Applying modifiers to objects based on the types of the objects |
US6108005A (en) * | 1996-08-30 | 2000-08-22 | Space Corporation | Method for producing a synthesized stereoscopic image |
US5892691A (en) * | 1996-10-28 | 1999-04-06 | Reel/Frame 8218/0138 Pacific Data Images, Inc. | Method, apparatus, and software product for generating weighted deformations for geometric models |
US5963213A (en) * | 1997-05-07 | 1999-10-05 | Olivr Corporation Ltd. | Method and system for accelerating warping |
US6031564A (en) | 1997-07-07 | 2000-02-29 | Reveo, Inc. | Method and apparatus for monoscopic to stereoscopic image conversion |
KR100255748B1 (ko) | 1997-07-19 | 2000-05-01 | 전주범 | 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치 |
US6018349A (en) * | 1997-08-01 | 2000-01-25 | Microsoft Corporation | Patch-based alignment method and apparatus for construction of image mosaics |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
JP4056154B2 (ja) | 1997-12-30 | 2008-03-05 | 三星電子株式会社 | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 |
JPH11234703A (ja) | 1998-02-09 | 1999-08-27 | Toshiba Corp | 立体表示装置 |
US7271803B2 (en) * | 1999-01-08 | 2007-09-18 | Ricoh Company, Ltd. | Method and system for simulating stereographic vision |
US6424351B1 (en) * | 1999-04-21 | 2002-07-23 | The University Of North Carolina At Chapel Hill | Methods and systems for producing three-dimensional images using relief textures |
KR100334722B1 (ko) | 1999-06-05 | 2002-05-04 | 강호석 | Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치 |
DE10016074B4 (de) * | 2000-04-01 | 2004-09-30 | Tdv Technologies Corp. | Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern |
WO2001097531A2 (en) | 2000-06-12 | 2001-12-20 | Vrex, Inc. | Electronic stereoscopic media delivery system |
GB0105801D0 (en) | 2001-03-09 | 2001-04-25 | Koninkl Philips Electronics Nv | Apparatus |
US7643685B2 (en) * | 2003-03-06 | 2010-01-05 | Animetrics Inc. | Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery |
-
2001
- 2001-11-24 JP JP2003548184A patent/JP5020458B2/ja not_active Expired - Fee Related
- 2001-11-24 EP EP01984759A patent/EP1451775A1/de not_active Withdrawn
- 2001-11-24 KR KR10-2004-7007885A patent/KR20040071145A/ko not_active Application Discontinuation
- 2001-11-24 CA CA002472272A patent/CA2472272A1/en not_active Abandoned
- 2001-11-24 WO PCT/EP2001/013674 patent/WO2003046832A1/de active Application Filing
- 2001-11-24 CN CNB018239390A patent/CN1295655C/zh not_active Expired - Fee Related
- 2001-11-24 AU AU2002233198A patent/AU2002233198A1/en not_active Abandoned
-
2003
- 2003-05-29 US US10/447,463 patent/US7321374B2/en not_active Expired - Fee Related
-
2007
- 2007-12-13 US US11/956,089 patent/US20080106546A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
See references of WO03046832A1 * |
Also Published As
Publication number | Publication date |
---|---|
US7321374B2 (en) | 2008-01-22 |
US20040027346A1 (en) | 2004-02-12 |
WO2003046832A1 (de) | 2003-06-05 |
CA2472272A1 (en) | 2003-06-05 |
KR20040071145A (ko) | 2004-08-11 |
AU2002233198A1 (en) | 2003-06-10 |
US20080106546A1 (en) | 2008-05-08 |
CN1582457A (zh) | 2005-02-16 |
JP2005510922A (ja) | 2005-04-21 |
JP5020458B2 (ja) | 2012-09-05 |
CN1295655C (zh) | 2007-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1451775A1 (de) | Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge | |
DE69632212T2 (de) | Verfahren zur Bildumwandlung und -Kodierung | |
DE102006055641B4 (de) | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes | |
DE69528946T2 (de) | Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionale Bilder | |
EP2472889B1 (de) | Verfahren zur autosteroskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters | |
EP2027728B1 (de) | Verfahren und vorrichtung zur pseudoholographischen bilderzeugung | |
DE69812591T2 (de) | Autostereoskopische Anzeigevorrichtung | |
DE69516558T2 (de) | Verfahren und Vorrichtung zum Umsetzen von zweidimensionalen Bildern in dreidimensionalen Bilder | |
DE69221346T2 (de) | Vorrichtung und Verfahren zur Erstellung stereoskopischer Bilder | |
DE10016074B4 (de) | Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern | |
DE69609482T2 (de) | Verfahren zur Interpolation von Vollbilden | |
DE69526908T2 (de) | Verfahren zur Umwandlung von zweidimensionalen Bildern in dreidimensionalen Bilder | |
DE69605936T2 (de) | Bewegungskompensierte interpolation | |
DE69925033T2 (de) | Verfahren und system zur erzeugung von 3d modellen aus sequentiellen 2d bilddaten | |
DE3233882C2 (de) | ||
DE19953595A1 (de) | Verfahren und Vorrichtung zur Verarbeitung dreidimensionaler Bilder | |
EP2229784B1 (de) | Verfahren und vorrichtung zur echtzeit-multiview-erzeugung | |
DE69601577T2 (de) | Verfahren und einrichtung zur aufnahme stereoskopischer bilder | |
DE102011008886A1 (de) | Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen | |
DE112012000563T5 (de) | Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals | |
DE69009612T2 (de) | Verfahren zur Behandlung und zur Übertragung einer Folge von stereoskopischen Fernsehbilpaaren durch einen Kanal, der einen analogen und einen digitalen Weg enthält. | |
DE4143074A1 (de) | Verfahren und einrichtung zum umformatieren verschachtelter videodaten zur darstellung auf einem computer-ausgabedisplay | |
DE10056978B4 (de) | Verfahren zur Erzeugung eines stereographischen Bildes | |
EP0945031B1 (de) | Verfahren und schaltungsanordnung zum konvertieren des bildformates von mit zeilenpolarisation hergestellten dreidimensionalen elektronischen bildern | |
EP2478705A1 (de) | Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20040623 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK RO SI |
|
17Q | First examination report despatched |
Effective date: 20080516 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20081127 |