DE102013217826A1

DE102013217826A1 - Verfahren zum erzeugen, übertragen und empfangen stereoskopischer bilder, und zugehörige geräte

Info

Publication number: DE102013217826A1
Application number: DE102013217826.3A
Authority: DE
Inventors: Paolo D'Amato; Giovanni Ballocca; Fedor Bushlanov; Alexey Polyakov
Original assignee: IT PER LO SVILUPPO DELL ELETTRONICA S I SV EL SpA SOC; Sisvel SpA
Current assignee: IT PER LO SVILUPPO DELL ELETTRONICA S I SV EL SpA SOC; Sisvel SpA
Priority date: 2012-09-06
Filing date: 2013-09-06
Publication date: 2014-03-06
Also published as: KR20150053774A; NL2011349C2; CH706886A2; FR3002104A1; ES2446165R1; GB2507844B; FR2995165A1; PL405234A1; US9723290B2; ES2446165A2; CN104604222B; GB201314206D0; RU2012138174A; AT513369A2; ITTO20130679A1; CN104604222A; GB2507844A; WO2014037822A1; US20150215599A1; AT513369A3

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines stereoskopischen Videostroms (101) umfassend zusammengesetzte Bilder (C), die eine Information über ein rechtes Bild (R) und ein linkes Bild (L) sowie zumindest eine Tiefenkarte umfassen. Gemäß dem Verfahren werden Pixel aus dem rechten Bild (R) und aus dem linken Bild (L) ausgewählt, und dann werden die ausgewählten Pixel in ein zusammengesetztes Bild (C) des stereoskopischen Videostroms eingetragen. Das Verfahren bietet auch die Möglichkeit, alle Pixel des rechten Bildes (R) und alle Pixel des linken Bildes (L) in das zusammengesetzte Bild (C) einzutragen, indem eines der zwei Bilder unverändert gelassen wird und das andere in Bereiche (R1, R2, R3), die eine Mehrzahl von Pixeln umfassen, aufgeteilt wird. Die Pixel der Tiefenkarte(n) werden dann in einen Bereich des zusammengesetzten Bildes eingetragen, der nicht von Pixeln der rechten und linken Bilder besetzt ist. Die Erfindung betrifft außerdem ein Verfahren zum Rekonstruieren der rechten und linken Bilder ausgehend von einem zusammengesetzten Bild, sowie Geräte, die es ermöglichen, die Verfahren zu implementieren.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft die Erzeugung, Speicherung, Übertragung, den Empfang und die Wiedergabe von stereoskopischen Videoströmen, d. h., von Videoströmen, die, wenn sie in geeigneter Weise in einem Visualisierungsgerät verarbeitet werden, Sequenzen von Bildern ergeben, die von einem Betrachter als dreidimensional wahrgenommen werden.
STAND DER TECHNIK
Bekanntermaßen kann die Wahrnehmung von Dreidimensionalität erhalten werden, indem zwei Bilder wiedergegeben werden, eines für das rechte Auge des Betrachters und das andere für das linke Auge des Betrachters.
Ein stereoskopischer Videostrom transportiert demzufolge eine Information über zwei Sequenzen von Bildern, die zu den rechten und linken Perspektiven eines Objektes oder einer Szene korrespondieren. Ein solcher Strom kann außerdem eine Zusatzinformation transportieren.
Die internationale Patentanmeldung PCT/IB2010/055018 , veröffentlicht am 30. Juni 2011 als WO 2011/077343 A1 , beschreibt ein Verfahren zum Multiplexen eines linken/rechten Bildes und ein Demultiplex-Verfahren (sowie zugehörige Geräte), die es ermöglichen, die Ausgewogenheit zwischen horizontaler und vertikaler Auflösung zu bewahren, und die somit Vorteile gegenüber bekannten Techniken, wie etwa „Seite-zu-Seite” und „Oben-und-Unten” bieten.
Gemäß dem Multiplex-Verfahren werden die Pixel des ersten Bildes (z. B., des linken Bildes) unverändert in das zusammengesetzte Bild eingetragen, wohingegen das zweite Bild in Bereiche aufgeteilt wird, deren Pixel in freien Flächen des zusammengesetzten Bildes angeordnet werden, wie in 1 gezeigt, das den Fall zeigt, in dem zwei sogenannte 720p-Bilder in einen 1080p-Containerrahmen eingetragen werden.
Beim Empfang wird das in Bereiche aufgeteilte Bild rekonstruiert und dann zu der Anzeige gesendet. Zum Beispiel sind Anzeigen bekannt, die entsprechend dem Prinzip der sogenannten „Alternierenden Rahmen” arbeiten, d. h., die die zwei Bilder L und R in zeitlicher Abfolge zeigen. Für stereoskopisches Sehen müssen sogenannte „aktive” Brillen getragen werden, d. h., Brillen, die, synchronisiert mit der Abfolge der Bilder L und R, jeweils eine Linse abschatten und die Linse des anderen Auges offen halten, so dass jedes Auge nur das Bild sehen kann, das für es vorgesehen ist.
Es ist bekannt, dass stereoskopisches Sehen vermittels solcher Anzeigen für einige Betrachter störend wirken kann. Für diese wäre es wünschenswert, die Möglichkeit des Variierens (Verringerns) der Tiefe der Bilder zu ermöglichen, um diese an ihre subjektiven Vorlieben und an die Größe des Bildschirms anzupassen. Um dies zu tun, ist es notwendig, in der Anzeige eine Synthese von Zwischenbildern, zwischen denjenigen, die übertragen wurden, bereitzustellen, die dann an Stelle der tatsächlich übertragenen Bilder angezeigt werden. Eine solche Rekonstruktion kann, unter Verwendung bekannter Techniken, durchgeführt werden, wenn ein oder mehrere Tiefenkarten, die mit den übertragenen Bildern assoziiert sind, verfügbar sind.
Des Weiteren sind in letzter Zeit sogenannte autostereoskopische Anzeigen auf dem Markt erschienen, die nicht den Einsatz von Brillen erfordern. Auch solche Anzeigen führen eine Synthese von nicht übertragenen Bildern aus und erfordern demzufolge zumindest eine Tiefenkarte, die die für eine solche Synthese notwendige Information bereitstellt.
Es ist somit notwendig geworden, ein neues Format zum Erzeugen, Übertragen und Rekonstruieren stereoskopischer Ströme einzuführen, das für herkömmliche 2D-Empfangs- und -Wiedergabegeräte und für aktuelle stereoskopische 3D-Empfangs- und Wiedergabegeräte mit zwei Ansichten (mit oder ohne Tiefenanpassung) verwendet werden kann, sowie für zukünftige autostereoskopische Geräte, die mehr als zwei Ansichten verwenden, wobei gleichzeitig die größtmögliche Kompatibilität des Formats mit den aktuell verwendeten Infrastrukturen und Geräten zur Produktion und zur Verteilung von Videoströmen bewahrt wird.
KURZBESCHREIBUNG DER ERFINDUNG
Es ist demzufolge die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen, Übertragen und Empfangen von stereoskopischen Bildern, und zugehörige Geräte, vorzuschlagen, die darauf abzielen, die oben beschriebenen Anforderungen zu erfüllen.
Die Erfindung betrifft ein Verfahren und ein Gerät zum Multiplexen der zwei Bilder, die die rechten und linken Perspektiven (im Folgenden als rechtes Bild und linkes Bild bezeichnet) betreffen, sowie einer oder mehrerer Tiefenkarten, in einem einzigen zusammengesetzten Rahmen.
Die Erfindung betrifft außerdem ein Verfahren und ein Gerät zum Demultiplexen des zusammengesetzten Bildes, d. h., zum Extrahieren der rechten und linken Bilder und der Tiefenkarte(n), die von dem Multiplexgerät eingetragen wurden, aus dem zusammengesetzten Bild.
Wie aus der 1a, die die oben genannte internationale Patentanmeldung (das sogenannte „Kachel-Format” (engl. ”tile format”)) betrifft, ersichtlich ist, gibt es in dem zusammengesetzten Bild einen ungenutzten Bereich (C5), dessen Abmessungen, sowohl horizontal als auch vertikal, jeweils die Hälfte derjenigen der zwei Bilder L und R betragen. Gemäß einer möglichen Ausführungsform der Erfindung kann zumindest eine Tiefenkarte (DM) in den ungenutzten Bereich eingetragen werden, wie in 1b gezeigt.
Eine Tiefenkarte, die ein Bild x betrifft, ist als ein Grauskalenbild zu verstehen, wobei jeder Pixel einen Luminanzwert aufweist, der proportional zu der Tiefe, d. h., der Koordinate ”z”, des Pixels selbst ist, wobei konventionsgemäß angenommen wird, dass der Wert z = 0 der Position auf dem Bildschirm entspricht, und dass positive Werte von z Pixeln entsprechen, die hinter dem Bildschirm positioniert sind, während negative Werte Pixeln entsprechen, die vor dem Bildschirm positioniert sind. Da der ungenutzte Bereich des zusammengesetzten Bildes horizontale und vertikale Abmessungen aufweist, die jeweils die Hälfte der Abmessungen der Bilder L und R betragen, ist es in einer Ausführungsform der Erfindung möglich, in einen solchen Bereich eine Tiefenkarte (die eines der zwei Bilder L und R betrifft) einzutragen, die eine horizontale und vertikale Auflösung gleich der Hälfte des korrespondierenden Bildes aufweist. Es wurde festgestellt, dass ein solcher Verlust an Auflösung nicht schädlich ist, da es, angesichts der Ungenauigkeit mit der Tiefenkarten im Allgemeinen berechnet oder gemessen werden können, bevorzugt ist, Karten mit voller Auflösung Unterabtastungsoperationen, bei denen Interpolationen zwischen den Pixelwerten durchgeführt werden, zu unterziehen, da solche Operationen die Rauschkomponente reduzieren können, wodurch sich rekonstruierte Bilder von höherer Qualität ergeben.
Gemäß anderer Ausführungsformen der Erfindung ist es möglich, zwei Tiefenkarten in den ungenutzten Bereich (C5) einzutragen.
Die oben genannte internationale Patentanmeldung beschreibt außerdem andere Formen des Multiplexens und Demultiplexens der stereoskopischen Bilder L und R, auf die das Verfahren der vorliegenden Erfindung ebenfalls angewandt werden kann, obwohl dies weniger effizient ist, da der Raum, der zum Eintragen der Tiefenkarte zur Verfügung steht, kleiner ist. Folglich muss es hier zu einer weiteren Reduzierung der Auflösung der Karte kommen. Obwohl solche alternativen Implementierungen noch unter das allgemeine Prinzip der vorliegenden Erfindung fallen, werden diese hier nicht beschrieben.
Es ist eine besondere Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen, Übertragen und Empfangen stereoskopischer Bilder, und zugehörige Geräte, bereitzustellen, wie sie in den beigefügten Ansprüchen, die ein integraler Teil der vorliegenden Beschreibung sind, angeführt sind.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Aufgaben und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung einiger weniger Ausführungsformen der Erfindung, die als nichtbeschränkende Beispiele unter Bezugnahme auf die beigefügten Zeichnungen bereitgestellt werden, ersichtlich werden, wobei:
1a den zusammengesetzten Rahmen im Format gemäß dem Stand der Technik (Kachel-Format) zeigt;
1b ein Beispiel eines zusammengesetzten Rahmens gemäß der vorliegenden Erfindung zeigt;
2 ein Blockschaltbild eines Gerätes zum Multiplexen des rechten Bildes, des linken Bildes und einer Tiefenkarte in ein zusammengesetztes Bild zeigt;
3 ein Flussdiagramm eines Verfahrens ist, das von dem Gerät aus 2 ausgeführt wird;
4 eine mögliche Form der Zerlegung eines in ein zusammengesetztes Bild einzutragenden Bildes zeigt;
5 ein Blockschaltbild eines Gerätes zum Extrahieren des linken Bildes, des rechten Bildes und einer Tiefenkarte aus dem zusammengesetzten Bild zeigt; und
6 ein Flussdiagramm eines Verfahrens ist, das von dem Gerät aus 5 ausgeführt wird.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
2 zeigt ein Blockschaltbild eines Gerätes 100 zum Erzeugen eines stereoskopischen Videostroms 101 mit zumindest einer Tiefenkarte gemäß den Varianten der Erfindung. In 2 empfängt das Gerät 100 zwei Sequenzen von Bildern 102 und 103, z. B., zwei Videoströme, die jeweils für das linke Auge (L) und für das rechte Auge (R) vorgesehen sind, sowie eine Sequenz von Tiefenkarten 106, die den mit dem stereoskopischen Videostrom assoziierten dreidimensionalen Inhalt betreffen.
Die Tiefenkarte der Sequenz 106 kann mit einem der zwei rechten und linken Bilder, die jeweils zu den Sequenzen 102 und 103 gehören, assoziiert sein, oder sie kann als eine Interpolation zwischen den Tiefenkarten für die rechten und linken Bilder erzeugt werden, d. h., eine Zwischenansicht der Szene betreffen.
In dieser ersten Ausführungsform, die nachstehend beschrieben wird, wird die Tiefenkarte durch irgendeinen der bereits aus dem Stand der Technik bekannten Algorithmen erzeugt, welche beispielsweise auf einem Vergleich zwischen einem rechten Bild und einem linken Bild basieren, und welche eine Matrix (d. h., die Tiefenkarte) zurückgeben, deren Größe gleich derjenigen der Pixel eines der zwei verglichenen Bilder ist, und deren Elemente einen Wert aufweisen, der proportional zu der Tiefe eines jeden Pixels des Bildes ist. Eine andere Technik zum Erzeugen der Tiefenkarte basiert auf der Messung des Abstands des Objektes in der Szene von dem Paar von Videokameras, die die Szene aufnehmen: dieser Abstand kann leicht mittels eines Lasers gemessen werden. Im Falle künstlicher Videoströme, die unter Zuhilfenahme elektronischer Computer erzeugt werden, sind die Videokameras virtuell, d. h., sie bestehen aus zwei Perspektiven einer bestimmten, künstlich mit einem Computer erzeugten Szene. In einem solchen Fall werden die Tiefenkarten von dem Computer erzeugt und sind sehr genau.
Als eine Alternative zu dem Beispiel aus 2 können die Tiefenkarten der Sequenz 106 auch in dem Gerät 100 erzeugt werden. Anstatt die Sequenz von Tiefenkarten von außen zu empfangen, umfasst das Gerät 100 in diesem Fall ein geeignetes Modul (in der Zeichnung nicht gezeigt), in das die Bilder L und R der Sequenzen 102 und 103 eingegeben werden und das dann die korrespondierenden Tiefenkarten erzeugt.
Das Gerät 100 ermöglicht es, ein Verfahren zum Multiplexen zweier Bilder der zwei Sequenzen 102 und 103 und der Tiefenkarte der Sequenz 106 zu implementieren.
Um das Verfahren zum Multiplexen der linken und rechten Bilder und der Tiefenkarte zu implementieren, umfasst das Gerät 100 ein Zerlegungsmodul 104 zum Aufteilen eines Eingabebildes (das rechte Bild in dem Beispiel aus 1b) in eine Mehrzahl von Teilbildern, von denen jedes zu einem Bereich des empfangenen Bildes korrespondiert, ein Unterabtastungs- und Filterungsmodul 107 zum Verarbeiten der Tiefenkarte, und ein Zusammenfügungsmodul 105, das geeignet ist, die Pixel empfangener Bilder, einschließlich der Tiefenkarte, in ein einziges zusammengesetztes Bild einzutragen, das an seinem Ausgang bereitgestellt wird. Wenn keine Verarbeitung der Sequenz 106 notwendig ist, kann das Modul 107 weggelassen werden. Dies kann der Fall sein, wenn beispielsweise die Tiefenkarte mittels eines Lasers erzeugt wurde und schon von Beginn an eine geringere Auflösung aufweist als diejenige der Bilder L und R.
Ein Beispiel eines Multiplexverfahrens, das von dem Gerät 100 implementiert wird, wird nun unter Bezugnahme auf 3 beschrieben.
Das Verfahren beginnt mit Schritt 200. Anschließend (Schritt 201) wird eines der zwei Eingangsbilder (rechts oder links) in eine Mehrzahl von Bereichen zerlegt, wie in 4 gezeigt. In dem Beispiel aus 4 ist das zerlegte Bild ein Rahmen R eines 720p-Videostroms, d. h., ein progressives Format mit einer Auflösung von 1280×720 Pixeln.
Der Rahmen R aus 4 stammt von dem Videostrom 103, der die für das rechte Auge vorgesehenen Bilder trägt, und ist in drei Bereiche R1, R2 und R3 zerlegt, bevorzugt in rechteckiger Form.
Die Zerlegung des Bildes R wird erhalten, indem das Bild in zwei Abschnitte gleicher Größe aufgeteilt wird, und anschließend einer dieser Abschnitte in zwei Abschnitte gleicher Größe aufgeteilt wird.
Der Bereich R1 weist eine Größe von 640×720 Pixeln auf und wird erhalten, indem jeweils die ersten 640 Pixel einer jeden Reihe genommen werden. Der Bereich R2 weist eine Größe von 640×360 Pixeln auf und wird erhalten, indem die Pixel von 641 bis 1280 der ersten 360 Reihen genommen werden. Der Bereich R3 weist eine Größe von 640×360 Pixeln auf und wird erhalten, indem die übrigen Pixel des Bildes R, d. h., die Pixel von 641 bis 1280 der letzten 360 Reihen, genommen werden.
In dem Beispiel aus 2 wird der Schritt des Zerlegens des Bildes R von dem Modul 104 ausgeführt, das ein Eingabebild R (in diesem Fall, den Rahmen R) empfängt und drei Teilbilder (d. h., drei Gruppen von Pixeln) ausgibt, die zu den drei Bereichen R1, R2 und R3 korrespondieren.
Anschließend (Schritte 202, 203 und 204) wird das zusammengesetzte Bild C, das die Information, die sowohl das rechte und linke Bild als auch die empfangene Tiefenkarte betrifft, umfasst, erzeugt. In dem hier beschriebenen Beispiel ist das zusammengesetzte Bild C ein Rahmen des ausgegebenen stereoskopischen Videostroms, und wird demzufolge auch als ein Containerrahmen bezeichnet.
Zunächst (Schritt 202) wird das Eingabebild, das von dem Gerät 100 empfangen wird und von dem Gerät 105 nicht zerlegt wird (das linke Bild L in dem Beispiel aus 2) unverändert in eine nicht aufgeteilte Fläche in einem Containerrahmen eingetragen, der eine Größe so aufweist, dass er alle Pixel von beiden Eingabebildern beinhalten kann. Zum Beispiel ist, wenn die Eingabebilder eine Größe von 1280×720 Pixeln aufweisen, ein Containerrahmen, der geeignet ist, beide Bilder zu enthalten, ein Rahmen von 1920×1080 Pixeln, z. B., ein Rahmen eines Videostroms vom 1080p-Typ (progressives Format mit 1920×1080 Pixeln).
In dem Beispiel aus 1 wird das linke Bild L in den Containerrahmen C eingetragen und in der oberen linken Ecke positioniert. Dies wird erreicht, indem die 1280×720 Pixel des Bildes L in die Fläche C1, die aus den ersten 1280 Pixeln der ersten 720 Reihen des Containerrahmens besteht, kopiert werden.
Im nächsten Schritt 203 wird das Bild, das in Schritt 201 von dem Modul 104 zerlegt wurde, in den Containerrahmen eingetragen. Dies wird von dem Modul 105 erreicht, indem die Pixel des zerlegten Bildes in den Containerrahmen C in diejenigen Flächen, die nicht von dem Bild L besetzt wurden, d. h., Flächen außerhalb der Fläche C1, kopiert werden.
Um die bestmögliche Kompression zu erzielen und um die Erzeugung von Artefakten zu vermeiden, wenn der Videostrom dekomprimiert wird, werden die Pixel der Teilbilder, die von dem Modul 104 ausgegeben werden, kopiert, indem die jeweiligen örtlichen Beziehungen bewahrt werden. Mit anderen Worten, die Bereiche R1, R2 und R3 werden in entsprechende Bereiche des Rahmens C kopiert ohne irgendeine Deformation zu erleiden, ausschließlich mittels Translationsoperationen.
Ein Beispiel des Containerrahmens C, der von dem Modul 105 ausgegeben wird, ist in 1b gezeigt.
Der Bereich R1 ist in die letzten 640 Pixel der ersten 720 Reihen (Fläche C2) kopiert, d. h., neben das zuvor kopierte Bild L.
Die Bereiche R2 und R3 sind unter die Fläche C1 kopiert, d. h., jeweils in die Flächen C3 und C4, die jeweils die ersten 640 Pixel und die folgenden 640 Pixel der letzten 360 Reihen umfassen.
Die Operationen zum Eintragen der Bilder L und R in den Containerrahmen bringen keinerlei Änderungen der Ausgewogenheit zwischen horizontaler und vertikaler Auflösung mit sich.
Die oben beschriebene Technik zum Eintragen der Bilder L und R in den Containerrahmen C wird nachstehend als Kachel-Format-Typ definiert.
In die freien Pixel des Rahmens C, d. h., in die Fläche C5, trägt das Modul 105, in der Form eines Bildes, die Tiefenkarte (DM), die das stereoskopische Paar L und R betrifft, ein (Schritt 204). Vor dem Schritt 204 kann die Tiefenkarte DM von dem Modul 107 unterabgetastet, gefiltert oder weiterverarbeitet werden.
Die Tiefenkarte ist bevorzugt als ein Grauskalenbild kodiert, dessen Informationsgehalt demzufolge durch das Luminanzsignal allein transportiert werden kann. Chrominanzen werden nicht genutzt und können beispielsweise auf Null gesetzt werden. Dies ermöglicht es, eine effiziente Kompression des Containerrahmens C zu erhalten.
In einer bevorzugten Ausführungsform weist die Tiefenkarte DM eine Auflösung von 640×360 Pixeln auf, was einer 4-zu-1-Unterabtastung (oder Dezimierung) der ursprünglichen Tiefenkarte, die eine Auflösung von 1280×720 Pixeln aufweist, was mit derjenigen der Bilder L und R übereinstimmt, entspricht. Jeder Pixel der unterabgetasteten Karte DM korrespondiert zu einem 2×2-Pixelbereich der ursprünglichen Karte. Die Unterabtastungsoperation wird typischerweise unter Verwendung von Vorgängen ausgeführt, die per se aus dem Stand der Technik bekannt sind.
Der so erhaltene Rahmen C wird anschließend komprimiert und übertragen oder auf einem Speichermedium (z. B., einer DVD) gespeichert. Zu diesem Zweck werden Kompressionsmittel bereitgestellt, die angepasst sind, ein Bild oder ein Videosignal zu komprimieren, zusammen mit Mitteln zum Aufzeichnen und/oder Übertragen des komprimierten Bildes oder Videosignals.
5 zeigt ein Blockschaltbild eines Empfängers 1100, der den empfangenen Containerrahmen dekomprimiert (wenn dieser komprimiert ist), die zwei rechten und linken Bilder rekonstruiert, und sie an einem Visualisierungsgerät (z. B., einem Fernsehgerät), das die Verwirklichung von 3D Inhalten erlaubt, verfügbar macht. Der Empfänger 1100 kann eine Set-Top-Box sein, oder ein in ein Fernsehgerät eingebauter Empfänger.
Die gleichen Ausführungen, die für den Empfänger 1100 gemacht wurden, sind auch anwendbar auf ein Lesegerät für ein gespeichertes Bild (z. B., ein DVD-Lesegerät), das einen Containerrahmen (der möglicherweise komprimiert ist) liest und verarbeitet, um ein Paar von Rahmen zu erhalten, die zu den rechten und linken Bildern, die in den von dem Lesegerät gelesenen Containerrahmen (der möglicherweise komprimiert ist) eingetragen wurden, korrespondieren.
Wieder Bezug nehmend auf 5 empfängt der Empfänger (über ein Kabel oder eine Antenne) einen komprimierten stereoskopischen Videostrom 1101 und dekomprimiert diesen mittels eines Dekompressionsmoduls 1102, wodurch ein Videostrom erhalten wird, der eine Sequenz von Rahmen C' umfasst, die zu den Rahmen C korrespondieren. Im Falle eines idealen Kanals oder wenn die Containerrahmen von einem Massenspeicher oder einem Datenmedium (Blu-ray, CD, DVD) gelesen werden, korrespondieren die Rahmen C' zu den Containerrahmen C, die die Information über die rechten und linken Bilder und die Tiefenkarte tragen, abgesehen von einigen Kompressionsartefakten, die durch den Kompressionsvorgang eingeführt wurden.
Diese Rahmen C' werden dann an einem Rekonstruktionsmodul 1103 bereitgestellt, das ein Verfahren zur Bildrekonstruktion und zur Extraktion der Tiefenkarte ausführt, wie nachstehend unter Bezugnahme auf 6 beschrieben wird.
Es ist offensichtlich, dass, wenn der Videostrom nicht komprimiert ist, das Dekompressionsmodul 1102 weggelassen werden kann, und das Videosignal direkt an dem Rekonstruktionsmodul 1103 bereitgestellt werden kann.
Der Rekonstruktionsvorgang beginnt in Schritt 1100, wenn der dekomprimierte Containerrahmen C' empfangen wird.
Das Rekonstruktionsmodul 1103 extrahiert (Schritt 1301) das linke Bild L, indem es die ersten 720×1080 zusammenhängenden Pixel des dekomprimierten Rahmens in einen neuen Rahmen kopiert, der kleiner ist als der Containerrahmen, z. B., einen Rahmen eines 720p-Stroms. Das so rekonstruierte Bild L wird zum Ausgang des Empfängers 1100 gesendet (Schritt 1302).
Der Begriff „zusammenhängende Pixel” bezieht sich auf Pixel eines unveränderten Bildes, die zu einer nicht aufgeteilten Fläche des Rahmens gehören.
Anschließend sorgt das Verfahren für das Extrahieren des rechten Bildes aus dem Containerrahmen C'.
Der Schritt des Extrahierens des rechten Bildes (siehe auch 4) beginnt, indem die Fläche R1, die in dem Rahmen C' vorhanden ist, kopiert wird (Schritt 1303). Genauer gesagt, die Pixel der 640 Spalten von R1 werden in die korrespondierenden ersten 640 Spalten des neuen Rahmens, der das rekonstruierte Bild R_Aus repräsentiert, kopiert. Anschließend wird R2 extrahiert (Schritt 1304). Von dem dekomprimierten Rahmen C' (der, wie vorstehend beschrieben, zu dem Rahmen C der 1b korrespondiert) werden die Pixel der Fläche C3 (die zu dem Quellbereich R2 korrespondieren) ausgewählt. An diesem Punkt werden die 640 Spalten von Pixeln in die freien Spalten neben denjenigen, die gerade von R1 kopiert wurden, kopiert.
Was R3 angeht (Schritt 1305), so werden die Pixel des Bereichs C4 von dem Rahmen C' extrahiert und in die letzten freien Spalten in der unteren linken Ecke des rekonstruierten Rahmens kopiert.
An diesem Punkt ist das rechte Bild R_Aus vollständig rekonstruiert worden und kann ausgegeben werden (Schritt 1306).
Schließlich extrahiert (Schritt 1307) das Rekonstruktionsmodul 1103 die Tiefenkarte durch Kopieren der Luminanzwerte der letzten 640×360 Pixel des dekomprimierten Containerrahmens C', die zu der Fläche C5 korrespondieren, in einen Speicherbereich. Der Inhalt des Speicherbereichs wird an den Empfänger 1100 ausgegeben (Schritt 1302) und wird von der Anzeige zum Erzeugen von interpolierten Bildern, die nicht in dem stereoskopischen Videostrom übertragen wurden, verwendet. Der Vorgang zum Rekonstruieren der rechten und linken Bilder und der Tiefenkarte, die in dem Containerrahmen C' enthalten sind, ist somit beendet (Schritt 1309). Der Vorgang wird für jeden Rahmen des von dem Empfänger 1100 empfangenen Videostroms wiederholt, so dass die Ausgabe aus zwei Videoströmen 1104 und 1105, jeweils für das rechte Bild und für das linke Bild, und einem Videostrom 1106, der zu der Tiefenkarte korrespondiert, besteht.
Der oben beschriebenen Vorgang zum Rekonstruieren der rechten und linken Bilder und der Tiefenkarte zur Bildsynthese basiert auf der Annahme, dass der Multiplexer 1100 weiß, wie der Containerrahmen C aufgebaut wurde, und somit die rechten und linken Bilder und die Synthese-Tiefenkarte extrahieren kann.
Selbstverständlich ist dies möglich, wenn das Multiplexverfahren standardisiert ist.
Um die Tatsache zu berücksichtigen, dass der Containerrahmen gemäß irgendeines der Verfahren erzeugt werden kann, die von der Lösung Gebrauch machen, die der Gegenstand der beigefügten Ansprüche ist, verwendet der Demultiplexer bevorzugt eine Signalisierungsinformation, die in Form von Metadaten in einem vordefinierten Bereich des zusammengesetzten Bildes oder in dem Videostrom enthalten ist, und die den Typ des erzeugten Videostroms identifiziert, damit man weiß, wie der Inhalt des zusammengesetzten Bildes auszupacken ist und wie die rechten und linken Bilder und die Tiefenkarte für die Synthese von zusätzlichen stereoskopischen Bildern zu rekonstruieren sind.
Nachdem er die Signalisierung dekodiert hat, kennt der Demultiplexer die Position des unveränderten Bildes (z. B., das linke Bild in den oben beschriebenen Beispielen) sowie die Positionen der Bereiche, in die das andere Bild zerlegt wurde (z. B., das rechte Bild in den oben beschriebenen Beispielen) und die Position der Tiefenkarte.
Mit dieser Information kann der Demultiplexer das unveränderte Bild (z. B., das linke Bild) und die Tiefenkarte extrahieren und das zerlegte Bild (z. B., das rechte Bild) rekonstruieren. Obwohl die vorliegende Erfindung soweit unter Bezugnahme auf einige bevorzugte und vorteilhafte Ausführungsformen illustriert wurde, ist es klar, dass sie nicht auf solche Ausführungsformen beschränkt ist, und dass von einem Fachmann, der zwei Bilder, die zwei unterschiedliche Perspektiven (rechts und links) eines Objektes oder einer Szene betreffen, und die assoziierte Tiefenkarte in ein zusammengesetztes Bild kombinieren möchte, verschiedene Änderungen an diesen Ausführungsformen gemacht werden können.
In einer möglichen Variante wird beispielsweise, anstatt die Tiefenkarte, die eines der zwei Bilder betrifft, in den zusammengesetzten Rahmen C1 einzutragen, eine sog. „Disparitätskarte” oder „Verschiebungskarte” eingetragen. Unter geeigneten Annahmen (Aufnehmen mit Videokameras, die mit identischen Optiken ausgestattet sind) kann eine solche Karte leicht von der Tiefenkarte, mit der sie leicht in Bezug gesetzt werden kann, abgeleitet werden. Wenn die zwei rechten und linken Bilder auf der gleichen Anzeige überlagert angezeigt werden und keine Brillen verwendet werden, um sie zu separieren, kann man leicht feststellen, dass es, um ein Bild aus dem anderen zu erhalten, notwendig ist, die Objekte um einen bestimmten Betrag zu verschieben. Genauer gesagt, um das rechte Bild ausgehend von dem linken Bild zu erhalten, ist es notwendig, die Objekte, die sich hinter dem Bildschirm befinden, nach rechts zu verschieben, um einen Betrag, der mit der Tiefe, an der solche Objekte angeordnet sind, ansteigt. Die Objekte, die genau auf dem Bildschirm angeordnet sind, müssen nicht verschoben werden, während die Objekte, die vor dem Bildschirm angeordnet sind, um einen Betrag nach links verschoben werden müssen, der als eine Funktion des Abstands von dem Bildschirm ansteigt.
Unter den zuvor genannten Bedingungen gibt es eine Beziehung zwischen der Tiefe P und der Disparität D der folgenden Form: D = I·P/(P + P0) wobei I der Interokularabstand ist und P0 der Abstand des Betrachters von dem Bildschirm ist. Es sollte erwähnt werden, dass für den Fall, dass P gegen unendlich konvergiert, D gegen I konvergiert, und dass für P = 0 (Objekte, die auf dem Bildschirm angeordnet sind), D = 0 ist.
Natürlich ist es, um ein Zwischenbild zwischen dem linken und dem rechten Bild zu rekonstruieren, möglich, den gleichen Vorgang wie oben beschrieben zu übernehmen, aber die Disparitätswerte müssen mit einem Koeffizienten c zwischen 0 und 1 multipliziert werden, der eine Funktion des Abstands der Zwischenansicht von der Ansicht des Referenzbildes (das linke in diesem Fall) ist.
Es sollte erwähnt werden, dass, wenn das rechte Bild ausgehend von dem linken Bild in Übereinstimmung mit der obigen Beschreibung rekonstruiert wird, oder wenn ein Zwischenbild rekonstruiert wird, einige Bereiche aufgedeckt gelassen werden. Diese Bereiche korrespondieren zu den Pixeln von Objekten, die zwar in dem rechten Bild aber nicht in dem linken Bild vorhanden sind, da sie von anderen Objekten vor ihnen verdeckt werden (die sogenannten „Verdeckungen”).
Um eine vollständige Rekonstruktion eines Zwischenbildes zu erstellen, wäre es demzufolge notwendig, sowohl das rechte als auch das linke Bild sowie beide Tiefen- oder Disparitätskarten zur Verfügung zu haben. Auf diese Art und Weise können die leeren (verdeckten) Bereiche in der Tat gefüllt werden, indem die korrespondierenden Pixel von dem anderen Bild genommen werden, und indem diese um einen Betrag verschoben werden, der gleich der relativen Disparität multipliziert mit dem Koeffizienten 1 – c ist.
Wie aus der obigen Beschreibung verstanden werden kann, kann eine andere mögliche Variante der Erfindung die Eintragung von zwei Tiefen- oder Disparitätskarten, an Stelle von einer, erfordern. Solche Karten, die sich jeweils auf das linke Bild und auf das rechte Bild beziehen, können in den gleichen Raum eingetragen werden, in den im vorstehenden Fall eine einzelne Karte eingetragen wurde, und zwar unter Verwendung bekannter Rahmen-Pack-Techniken, wie etwa, z. B., Seite-an-Seite oder Oben-und-Unten. In ersteren Fall wird die horizontale Auflösung beider Karten weiter halbiert, wohingegen in letzterem Fall die vertikale Auflösung halbiert wird. Es ist auch möglich, eine weitere Variante der Rahmen-Pack-Technik zu verwenden, die oben als „Kachel-Format” definiert wurde.
Die Vorgänge zum Eintragen der zwei Karten auf der Erzeugungsseite und zum Extrahieren der zwei Karten auf der Empfangsseite können leicht von denjenigen abgleitet werden, die unter Bezugnahme auf den Fall einer einzelnen Karte beschrieben wurden, mit naheliegenden Abwandlungen, die dem Fachmann wohlbekannt sind.
Natürlich muss die Signalisierung, die in dem Videostrom vorhanden ist, in der Lage sein, das Vorhandensein von einer oder zwei Karten zu unterscheiden. Folglich muss die Signalisierung eine Information enthalten, die angepasst ist, es zu ermöglichen, zwischen zumindest zweien der folgenden Typen von zusammengesetzten Rahmen zu unterscheiden:

1) zusammengesetzter Rahmen des Kachel-Format-Typs ohne Tiefen- oder Disparitätskarten (Fall aus 1a);
2) zusammengesetzter Rahmen des Kachel-Format-Typs mit einer Tiefen- oder Disparitätskarte (Fall aus 1b);

3) zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefen- oder Disparitätskarten in einer Oben-und-Unten-Konfiguration;
4) zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefen- oder Disparitätskarten in einer Seite-an-Seite-Konfiguration;
5) zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefen- oder Disparitätskarten in einer Kachel-Format-Konfiguration.

Der Empfänger umfasst bevorzugt ein oder mehrere Verarbeitungsblöcke, die angepasst sind, eine oder mehrere der folgenden Operationen auszuführen, basierend auf der Signalisierungsinformation:

– Erkennen des Typs des empfangenen Rahmens zum Zwecke des richtigen Rekonstruierens der zwei rechten und linken Bilder des dreidimensionalen Videoinhalts, wie oben beschrieben;
– Erkennen des Vorhandenseins von ein oder zwei Tiefen- oder Disparitätskarten und des Typs ihrer Konfiguration;
– wenn es zwei Tiefen- oder Disparitätskarten gibt, Erhalten jeder der zwei Karten;
– Ausführen von Operationen auf den Tiefen- oder Disparitätskarten, die angepasst sind, die Abmessungen der Karten auf Werte zu bringen, die gleich denjenigen der Bilder des Videoinhalts sind. Diese Operationen können beispielsweise von einem Typ sein, der das Inverse einer Unterabtastung ist, z. B., Interpolationsoperationen.

Andere Varianten können die technische Implementierung der Erfindung betreffen. Zum Beispiel können die elektronischen Module, die die oben beschriebenen Geräte, insbesondere das Gerät 100 und den Empfänger 1100, implementieren, auf unterschiedliche Art und Weise unterteilt und verteilt sein. Des Weiteren können sie in der Form von Hardwaremodulen oder als Softwarealgorithmen, die von einem Prozessor, insbesondere einem Videoprozessor, der mit geeigneten Speicherbereichen zum temporären Speichern der empfangenen Eingaberahmen ausgestattet ist, implementiert sind, bereitgestellt sein. Diese Module können demzufolge parallel oder hintereinander einen oder mehrere der Videoverarbeitungsschritte der Bildmultiplex- und -Demultiplexverfahren gemäß der vorliegenden Erfindung ausführen. Es ist auch ersichtlich, dass, obwohl sich die bevorzugten Ausführungsformen auf das Multiplexen von zwei 720p-Videoströmen in einen 1080p-Videostrom beziehen, andere Formate ebenfalls verwendet werden können.
Es ist offensichtlich, dass die Reihenfolge, in der die Multiplex- und -Demultiplexvorgänge, die in den 3 und 6 gezeigt sind, ausgeführt werden, lediglich beispielhaft ist. Sie kann aus beliebigen Gründen verändert werden, ohne den Wesensgehalt des Verfahrens zu ändern.
Die Erfindung ist auch nicht auf einen bestimmten Typ von Anordnung des zusammengesetzten Bildes beschränkt, da verschiedene Lösungen zum Erzeugen des zusammengesetzten Bildes spezifische Vorteile und/oder Nachteile bieten können.
Die Erfindung, mit all ihren Varianten, schlägt ein universelles Format zum Erzeugen, Übertragen und Reproduzieren von 3D-Inhalten auf jeder Art von aktueller oder zukünftiger Anzeige vor.
Im Falle eines 2D-Wiedergabegerätes verwerfen der Videoprozessor und das Wiedergabegerät einfach die Bilder R und die Tiefenkarten (DM oder DM1 und DM2), die an der Ausgabe des Empfängers 1100 vorhanden sein können, und zeigen, vorbehaltlich einer Skalierung, nur die Sequenz von Bildern L auf einem zugehörigen Visualisierungsgerät an.
Das Gleiche gilt für den Fall eines 3D-Wiedergabegerätes, bei dem der Nutzer den 2D-Anzeigemodus aktiviert hat.
Ein 3D-Wiedergabegerät, bei dem der 3D-Anzeigemodus aktiviert wurde, kann zwei unterschiedliche Verhaltensweisen zeigen, abhängig davon, ob die Tiefe der Szene angepasst (verringert) werden kann oder nicht. Im ersten Fall verwendet der Videoprozessor die zwei Sequenzen von Bildern L und R, um den dreidimensionalen Effekt zu erzeugen. In letzteren Fall verwendet der Videoprozessor die Tiefenkarten (eine oder zwei), die in den zusammengesetzten Rahmen C', die mit jedem Paar von stereoskopischen Bildern R und L assoziiert sind, enthalten sind, um Zwischenansichten zwischen L und R zu erzeugen, wodurch dreidimensionale Bilder mit einer variablen Tiefe, die geringer ist, als diejenige, die durch L und R erhältlich ist, erhalten werden.
Der letzte Fall wird durch autostereoskopische Abspielgeräte repräsentiert, die eine sehr große Anzahl von Ansichten (einige zehn) benötigen, um den dreidimensionalen Effekt für Betrachter zu erzeugen, die an unterschiedlichen Punkten im Raum vor der Anzeige positioniert sind. In diesem Fall verwendet der Videoprozessor die Tiefenkarten (eine oder zwei), die in den zusammengesetzten Rahmen C' enthalten sind, zusammen mit den Bildern L und R selbst, um eine Reihe von anderen Bildern zu synthetisieren. Vor der Anzeige sind eine Anzahl von Linsen oder Barrieren angeordnet, so dass an jedem Punkt im Raum, an dem stereoskopisches Sehen möglich ist, der Betrachter nur ein Paar der Bilder wahrnimmt.
Demzufolge kann der Videoprozessor des Wiedergabegerätes Mittel umfassen, die angepasst sind, zwei Sequenzen von Bildern zu der Anzeige zu schicken, von denen zumindest eine aus Bildern besteht, die ausgehend von zumindest einer der übertragenen Ansichten und von zumindest einer der Tiefenkarten synthetisiert wurden. In diesem Fall umfasst der Videoprozessor bevorzugt außerdem Mittel, die angepasst sind, dem Betrachter die Möglichkeit zu geben, Sequenzen von Bildern zu wählen, die mehr oder weniger nah beieinander liegende Ansichten betreffen, um so die Wahrnehmung der Tiefe zu variieren.
Der Videoprozessor des Wiedergabegerätes kann außerdem Mittel umfassen, die angepasst sind, weitere Bilder, die weiteren Ansichten entsprechen, zu erzeugen, so dass die Betrachter, die an unterschiedlichen Punkten im Raum positioniert sind, unterschiedliche Sequenzen von Bildern durch eine zugehörige autostereoskopische Anzeige betrachten können.
Keines der bislang vorgeschlagenen Formate bietet eine solche Flexibilität und Nutzungsbreite, während es auf der anderen Seite immer noch eine gute Wiedergabequalität in Bezug auf die Ausgeglichenheit der horizontalen und der vertikalen Auflösung und eine geeignete Auflösungszuweisung zu den stereoskopischen Bildern und zu den assoziierten Tiefenkarten sicherstellt.
Die oben beschriebenen Wiedergabeoperationen können zum Teil in dem Empfängergerät und zum Teil in dem Anzeigegerät stattfinden.
Die vorliegende Erfindung kann vorteilhafterweise zumindest zum Teil durch Computerprogramme realisiert sein, die Kodiermittel zum Implementieren eines oder mehrerer Schritte der oben beschriebenen Verfahren umfassen, wenn solche Programme von einem Computer ausgeführt werden. Es sei demzufolge verstanden, dass der Schutzbereich sich auf die Computerprogramme sowie auf computerlesbare Mittel erstreckt, die aufgezeichnete Nachrichten umfassen, wobei die computerlesbaren Mittel Programmkodiermittel zum Implementieren eines oder mehrerer Schritte der oben beschriebenen Verfahren umfassen, wenn die Programme von einem Computer ausgeführt werden. Das oben beschriebene Beispiel einer Ausführungsform kann Abwandlungen unterliegen, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen, inklusive aller äquivalenten Ausgestaltungen, die einem Fachmann bekannt sind.
Die Elemente und Merkmale, die in den verschiedenen bevorzugten Ausführungsformen gezeigt sind, können miteinander kombiniert werden ohne jedoch vom Schutzbereich der vorliegenden Erfindung abzuweichen.
Ausgehend von der obigen Beschreibung können Fachleute das Ziel der vorliegenden Erfindung erreichen, ohne irgendwelche weiteren Implementierungsdetails einzuführen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

IB 2010/055018 [0004]
WO 2011/077343 A1 [0004]

Claims

Verfahren zum Erzeugen eines stereoskopischen Videostroms (101), der zusammengesetzte Bilder (C) umfasst, wobei die zusammengesetzten Bilder (C) eine Information über ein rechtes Bild (R) und ein linkes Bild (L) eines dreidimensionalen Videoinhalts umfassen, wobei Pixel des rechten Bildes (R) und Pixel des linken Bildes (L) ausgewählt werden, und die ausgewählten Pixel in ein zusammengesetztes Bild (C) des stereoskopischen Videostroms eingetragen werden, wobei das Verfahren dadurch gekennzeichnet ist, dass alle Pixel des rechten Bilds (R) und alle Pixel des linken Bildes (L) in das zusammengesetzte Bild (C) eingetragen werden, indem eines der zwei Bilder unverändert gelassen wird, das andere in eine Anzahl von Bereichen (R1, R2, R3), die eine Gesamtfläche aufweisen, die gleich derjenigen des anderen Bildes (R) ist, aufgeteilt wird, und die Bereiche in das zusammengesetzte Bild (C) eingetragen werden, wobei das zusammengesetzte Bild (C) größere Abmessungen aufweist als notwendig sind, um alle Pixel des linken Bildes (L) und des rechten Bildes (R) einzutragen, und wobei in diejenigen Pixel des zusammengesetzten Bildes (C), die nach dem Eintragen verbleiben, zumindest eine Tiefen- oder Disparitätskarte (DM) eingetragen wird, die die Tiefe oder Disparität der Pixel des dreidimensionalen Videoinhalts betrifft, wobei diese Karten darauf abzielen, beim Empfang Bilder zu rekonstruieren, die nicht in dem stereoskopischen Strom übertragen wurden.
Verfahren nach Anspruch 1, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) als ein Grauskalenbild kodiert ist.
Verfahren nach Anspruch 2, wobei der Videoinformationsgehalt der zumindest einen Tiefen- oder Disparitätskarte durch ein einzelnes Luminanzsignal übertragen wird, ohne Chrominanzsignale zu verwenden.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) eine geringere Auflösung aufweist als eine ursprüngliche Version derselben, wobei die Auflösung der letzteren gleich derjenigen des linken Bildes (L) und des rechten Bildes (R) ist.
Verfahren nach Anspruch 4, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) erhalten wird, indem die ursprüngliche Tiefenkarte eine 4-zu-1-Unterabtastung unterzogen wird.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) eine Tiefen- oder Disparitätskarte ist, die mit einem der zwei rechen (R) oder linken (L) Bilder assoziiert ist, oder die mit einer Zwischenansicht zwischen L und R assoziiert ist.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) eine Tiefen- oder Disparitätskarte umfasst, die mit einem rechten Bild (R) assoziiert ist, und eine Tiefen- oder Disparitätskarte, die mit einem linken Bild (L) assoziiert ist.
Verfahren nach Anspruch 7, wobei die Tiefen- oder Disparitätskarten, die mit dem rechten Bild (R) und dem linken Bild (L) assoziiert sind, in die verbleibenden Pixel des zusammengesetzten Bildes (C) mittels Rahmen-Pack-Techniken eingetragen werden.
Verfahren nach einem der vorangegangenen Ansprüche, wobei, wenn die Anzahl der Bereiche drei beträgt, die Bereiche durch die Schritte erhalten werden: – Aufteilen des anderen Bildes (R) in zwei Abschnitte, die die gleiche horizontale Abmessung (R1, R2R3) aufweisen; – Aufteilen eines der zwei Abschnitte (R2R3) in zwei Abschnitte, die die gleiche vertikale Abmessung aufweisen (R2, R3).
Verfahren nach einem der vorangegangenen Ansprüche, wobei eine Signalisierungsinformation, die den Typ des erzeugten Videostroms identifiziert, als Metadaten in das zusammengesetzte Bild (C) oder den stereoskopischen Videostrom eingetragen wird.
Verfahren nach Anspruch 10, wobei die Signalisierungsinformation so angepasst ist, dass sie es erlaubt, zwischen zumindest zweien der folgenden Typen von zusammengesetzten Rahmen zu unterscheiden; – zusammengesetzter Rahmen des Kachel-Format-Typs ohne Tiefenkarten; – zusammengesetzter Rahmen des Kachel-Format-Typs mit einer Tiefenkarte; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Seite-an-Seite-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Oben-und-Unten-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Kachel-Format-Konfiguration.
Vorrichtung zum Erzeugen eines stereoskopischen Videostroms (101), der zusammengesetzte Bilder (C) umfasst, wobei die zusammengesetzten Bilder (C) eine Information über ein rechtes Bild (R) und ein linkes Bild (L) umfassen, dadurch gekennzeichnet, dass das Gerät Mittel zum Implementieren der Schritte des Verfahrens nach einem der vorangegangenen Ansprüche umfasst.
Verfahren zum Rekonstruieren zumindest eines Paares von Bildern eines stereoskopischen Videostroms ausgehend von einem zusammengesetzten Bild (C), wobei das zusammengesetzte Bild (C) eine Information über ein rechtes Bild (R) und ein linkes Bild (L) umfasst, wobei das Verfahren die Schritte umfasst: – Erzeugen eines ersten Bildes der rechten (R) und linken (L) Bilder durch Kopieren einer einzelnen Gruppe von zusammenhängenden Pixeln von einem ersten Bereich (C1) des zusammengesetzten Bildes, – Erzeugen des verbleibenden Bildes der rechten (R) und linken (L) Bilder durch Kopieren anderer Gruppen von zusammenhängenden Pixeln von einer Anzahl von voneinander verschiedenen Bereichen (C2, C3, C4) des zusammengesetzten Bildes, wobei die Anzahl von voneinander verschiedenen Bereichen von dem ersten Bereich (C1) verschieden ist; – Erzeugen zumindest einer Tiefen- oder Disparitätskarte (DM) durch Kopieren zumindest einer Gruppe von zusammenhängenden Pixeln von einem weiteren Bereich (C5) des zusammengesetzten Bildes, der von dem ersten Bereich und von der Anzahl von voneinander verschiedenen Bereichen verschieden ist.
Verfahren nach Anspruch 13, wobei, wenn die Anzahl von Bereichen drei beträgt: – einer (C2) der Bereiche des zusammengesetzten Bildes (C) die gleiche vertikale Abmessung aufweist wie der erste Bereich (C1) und die Hälfte seiner horizontalen Abmessung; – die verbleibenden zwei (C3, C4) der Bereiche des zusammengesetzten Bildes (C) gleiche horizontale und vertikale Abmessungen aufweisen, und die Hälfte der vertikalen Abmessung des ersten Bereichs (C1).
Verfahren nach Anspruch 13, wobei die zumindest eine Tiefen- oder Disparitätskarte (DM) erzeugt wird, indem von einem Grauskalenbild, das von einem in den zusammenhängenden Pixeln des weiteren Bereichs (C5) enthaltenen Luminanzsignal abgeleitet ist, ausgegangen wird.
Verfahren nach Anspruch 15, umfassend den Schritt des Erhöhens der horizontalen und vertikalen Abmessungen der zumindest einen Tiefen- oder Disparitätskarte (DM) bis zu einer Abmessung, die gleich derjenigen der rechten (R) und linken (L) Bilder ist.
Verfahren nach Anspruch 13, umfassend den Schritt des Erhaltens, aus dem zusammengesetzten Bild (C) oder aus dem Videostrom, einer Signalisierungsinformation, die angepasst ist, den Typ des erzeugten Videostroms zu erkennen.
Verfahren nach Anspruch 17, wobei die Signalisierungsinformation so angepasst ist, dass sie es erlaubt, zwischen zumindest zweien der folgenden Typen von zusammengesetzten Rahmen zu unterscheiden: – zusammengesetzter Rahmen des Kachel-Format-Typs ohne Tiefenkarten; – zusammengesetzter Rahmen des Kachel-Format-Typs mit einer Tiefenkarte; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Seite-an-Seite-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Oben-und-Unten-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Kachel-Format-Konfiguration;
Vorrichtung zum Rekonstruieren zumindest eines Paares von Bildern eines stereoskopischen Videostroms ausgehend von einem zusammengesetzten Bild (C), wobei das zusammengesetzte Bild (C) eine Information über ein rechtes Bild (R) und ein linkes Bild (L) umfasst, wobei das Gerät umfasst: – Mittel zum Erzeugen eines ersten Bildes der rechten (R) und linken (L) Bilder durch Kopieren einer einzelnen Gruppe von zusammenhängenden Pixeln von einem ersten Bereich (C1) des zusammengesetzten Bildes, – Mittel zum Erzeugen des verbleibenden Bildes der rechten (R) und linken (L) Bilder durch Kopieren anderer Gruppen von zusammenhängenden Pixeln von einer Anzahl von voneinander verschiedenen Bereichen (C2, C3, C4) des zusammengesetzten Bildes, wobei die Anzahl von voneinander verschiedenen Bereichen von dem ersten Bereich (C1) verschieden ist; – Mittel zum Erzeugen zumindest einer Tiefen- oder Disparitätskarte (DM) durch Kopieren zumindest einer Gruppe von zusammenhängenden Pixeln von einem weiteren Bereich (C5) des zusammengesetzten Bildes, der von dem ersten Bereich und von der Anzahl von voneinander verschiedenen Bereichen verschieden ist.
Vorrichtung nach Anspruch 19, wobei, wenn die Anzahl der Bereiche drei beträgt: – einer (C2) der Bereiche des zusammengesetzten Bildes (C) die gleiche vertikale Abmessung aufweist wie der erste Bereich (C1), und die Hälfte seiner horizontalen Abmessung; – die verbleibenden zwei (C3, C4) der Bereiche des zusammengesetzten Bildes (C) gleiche horizontale und vertikale Abmessungen aufweisen, und die Hälfte der vertikalen Abmessung des ersten Bereichs (C1).
Vorrichtung nach Anspruch 19, wobei die Mittel zum Erzeugen zumindest einer Tiefen- oder Disparitätskarte (DM) ein Grauskalenbild verwenden, das von einem in den zusammenhängenden Pixeln des weiteren Bereichs (C5) enthaltenen Luminanzsignal abgeleitet ist.
Vorrichtung nach Anspruch 21, umfassend Mittel zum Erhöhen der horizontalen und vertikalen Abmessungen der zumindest einen Tiefen- oder Disparitätskarte (DM) bis zu einer Abmessung, die gleich derjenigen der rechten (R) und linken (L) Bilder ist.
Vorrichtung nach Anspruch 19, umfassend Mittel, die angepasst sind, den Typ des empfangenen Videostroms zu erkennen, basierend auf einer Signalisierungsinformation, die den Stromtyp identifiziert, der in dem zusammengesetzten Bild (C) oder in dem Videostrom enthalten ist.
Vorrichtung nach Anspruch 23, wobei die Signalisierungsinformation es ermöglicht, zwischen zumindest zweien der folgenden Typen von zusammengesetzten Rahmen zu unterscheiden: – zusammengesetzter Rahmen des Kachel-Format-Typs ohne Tiefenkarten; – zusammengesetzter Rahmen des Kachel-Format-Typs mit einer Tiefenkarte; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Seite-an-Seite-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Oben-und-Unten-Konfiguration; – zusammengesetzter Rahmen des Kachel-Format-Typs mit zwei Tiefenkarten in einer Kachel-Format-Konfiguration.
Vorrichtung nach Anspruch 24, umfassend Mittel, die, basierend auf der Information, die nützlich ist zum Unterscheiden eines Typs von zusammengesetzten Rahmen, angepasst sind, auszugeben: – nur das erste Bild der rechten (R) und linken (L) Bilder; oder – das erste und das zweite der rechten (R) und linken (L) Bilder; oder – das erste und das zweite der rechten (R) und linken (L) Bilder und die zumindest eine Tiefen- oder Disparitätskarte (DM).
Gerät nach Anspruch 23, umfassend Mittel, die angepasst sind, basierend auf der Signalisierungsinformation eine oder mehrere der folgenden Operationen auszuführen: – Erkennen des Typs des empfangenen Rahmens zum Zwecke des richtigen Rekonstruierens der zwei linken und rechten Bilder des dreidimensionalen Videoinhalts; – Erkennen des Vorhandenseins von einer oder zwei Tiefen- oder Disparitätskarten und des Typs der Konfigurationen derselben; – im Falle von zwei Tiefen- oder Disparitätskarten, Erhalten jeder der zwei Karten; – Ausführen von Operationen auf den Tiefen- oder Disparitätskarten, die angepasst sind, die Abmessungen der Karten auf Werte zu bringen, die gleich denjenigen der Bilder des Videoinhalts sind.
Gerät nach Anspruch 19, umfassend Mittel, die so ausgestaltet sind, dass sie weitere Bilder erzeugen, die zu weiteren Ansichten korrespondieren, ausgehend von den rechten (R) und linken (L) Bildern und unter Verwendung der Tiefenkarten.
Gerät nach Anspruch 27, umfassend Mittel, die angepasst sind, zwei Sequenzen von Bildern anzuzeigen, von denen zumindest eine Bilder umfasst, die ausgehen von zumindest einer der übertragenen Ansichten und von zumindest einer Tiefenkarte synthetisiert wurden.
Gerät nach Anspruch 28, umfassend Mittel, die angepasst sind, um dem Betrachter die Möglichkeit des Auswählens von Sequenzen von Bildern, die mehr oder weniger nahe beieinander liegende Ansichten betreffen, auszuwählen, um so die Wahrnehmung der Tiefe zu variieren.
Gerät nach Anspruch 27, umfassend eine autostereoskopische Anzeige und umfassend Mittel, die angepasst sind, die weiteren Bilder, die zu weiteren Ansichten korrespondieren, zu verwenden, um es Betrachtern, die an unterschiedlichen Punkten im Raum positioniert sind, zu erlauben, unterschiedliche Sequenzen von Bildern zu sehen.
Stereoskopischer Videostrom (1101), gekennzeichnet dadurch, dass er zumindest ein zusammengesetztes Bild (C) umfasst, das mittels des Verfahrens nach einem der Ansprüche 1 bis 11 erzeugt wurde.