DE112011103496T5

DE112011103496T5 - Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens

Info

Publication number: DE112011103496T5
Application number: DE112011103496T
Authority: DE
Inventors: Jaeyun Lim; Joonyoung Park; Younghee CHOI; Yongjoon Jeon; Jaewon SUNG; Seungwook Park; Jungsun KIM; Byeong Moon Jeon
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2010-11-15
Filing date: 2011-11-15
Publication date: 2013-08-29
Also published as: EP2642758A2; KR101525713B1; US9407899B2; JP5837606B2; CN103210653B; GB201308552D0; GB2499146B; EP2642758A4; JP2014502451A; CN103210653A; US20130242049A1; WO2012067399A3; MX2013005402A; GB2499146A; KR20130084295A; WO2012067399A2

Abstract

Offenbart wird ein Verfahren zum Konvertieren eines Einzelbildformats und eine Vorrichtung, die dieses einsetzt. Das Verfahren kann Folgendes umfassen: Decodieren eines zu MVC (Multiview Video Compression) kompatiblen Einzelbilds unter Verwendung eines MVC-Decodierers und Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild. Dadurch kann mit einer bestehenden Bildbearbeitungsvorrichtung ein andersartiges Einzelbildformat wiedergegeben werden.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Verfahren zum Konvertieren eines Einzelbildformats und eine Vorrichtung zum Einsatz des Verfahrens und bezieht sich im Besonderen auf ein Verfahren und eine Vorrichtung zur Videodecodierung.
TECHNISCHER HINTERGRUND
Video mit mehreren Ansichten (Multiview Video) stellt einen neuen Typus der Multimediatechnologie dar, der durch die Verwendung von mehreren Ansichtskanälen eine realistische Wahrnehmung und ein Gefühl des Eintauchens vermittelt. Die Realisierung von Mehrfachansichten stellt das breiteste und anspruchsvollste Anwendungsmodell dar, das beim Formulieren, Speichern und Übertragen dreidimensionaler (3D) Information verwendet werden kann. Ziel der Realisierung von Mehrfachansichten ist das Schaffen einer virtuellen Realität durch Ermöglichen einer Interaktivität zwischen Medium und Benutzer. Es wird damit gerechnet, dass diese Technologie bei 3D-Filmen, realitätsnahen Sendungen, Unterhaltung, Medizin, Erziehung, Besichtigung von Sehenswürdigkeiten, Kultur, Fernüberwachung und Aufzeichnung von Information über nationale Kulturgüter oder traditionelle Kulturen eine breite Anwendung finden wird. Bei einem Fernsehen mit freier Wahl des Blickwinkels (Free-viewpoint TV) kann der Zuschauer, ohne das Medium einseitig hinnehmen zu müssen, bei dem Medium die Betrachtungsrichtung und den Standpunkt frei wählen. Daher kann das Fernsehen mit freier Wahl des Blickwinkels das Medium in ein aktives Medium verwandeln. Mit zunehmender Anzahl an Blickwinkeln treten beim Aufnehmen, Speichern und Übertragen sowie Wiedergeben eines Videos jedoch diverse Probleme auf. Die größten Hürden für Mehrfachansichtsvideodienste stellen insbesondere das Speichern und Übertragen eines Videos, die begrenzte Speicherkapazität und eine Zunahme der Kanalbandbreite dar.
Daher ist bei Mehrfachansichtsvideo eine Codiertechnik erforderlich, die eine hohe Kompressionseffizienz (Compression efficiency), Interaktivität (Interactivity) mit den Zuschauern, verschiedene Skalierbarkeiten wie beispielsweise eine Ansichtsskalierbarkeit und eine zeitliche Skalierbarkeit (View scalability, Temporal scalability) und einen wahlfreien Zugriff (Random access) auf Ansichts- und zeitliche Richtungen ermöglicht. Entsprechende Erwartungen und Anforderungen spiegeln sich auch in der Standardisierung eines Kompressionsverfahren für Mehrfachansichtsvideo der MPEG-4 3DAV (3D Audio/Video) Standardisierungsgruppe wieder, mit der 2001 begonnen wurde.
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHE PROBLEMSTELLUNG
Eine Ausführungsform der vorliegenden Erfindung bezieht sich auf ein Verfahren zum Übertragen eines anders gestalteten Videoformats auf einer vorhandenen Videoübertragungsschicht.
Eine weitere Ausführungsform der vorliegenden Erfindung bezieht sich auf eine Vorrichtung zur Durchführung eines Verfahrens zum Übertragen eines anders gestalteten Videoformats auf einer vorhandenen Videoübertragungsschicht.
TECHNISCHE LÖSUNG
Gemäß einer Ausführungsform der vorliegenden Erfindung umfasst ein Videodecodierverfahren Folgendes: Decodieren eines zur Mehrfachansichtsvideokompression (MVC, Multiview Video Compression) kompatibel codierten Einzelbilds unter Verwendung eines MVC-Decodierers und Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild. Das Videodecodierverfahren kann ferner eine Durchführung einer Ansichtssynthese unter Verwendung des Advanced-3D-Einzelbildes umfassen. Das MVC-kompatible Einzelbild kann ein Einzelbild enthalten, das mittels eines einzelbildkompatiblen Verfahrens auf der Basis von Farbinformation und Tiefeninformation des Advanced-3D-Einzelbilds erzeugt wurde. Das einzelbildkompatible Verfahren kann ein beliebiges der folgenden Verfahren umfassen: ein Check-Board-Verfahren, eine Column-Interleaving-Verfahren, eine Row-Interleaving-Verfahren, ein Side-by-Side-Verfahren und ein Top-and-Bottom-Verfahren. Das Advanced-3D-Einzelbild kann MVD-Daten (Multiview Video plus Depth data; Mehrfachansichts-Video-plus-Tiefendaten) aufweisen, die Farbinformation und Tiefeninformation enthalten, sowie LDV-Daten (Layered Depth Video data; tiefengeschichtete Videodaten), die Vordergrund- und Hintergrundtexturen und Vordergrund- und Hintergrundtiefen enthalten. Beim Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild kann, wenn das Advanced-3D-Einzelbild von MVD-Daten gebildet wird, auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen ersten Information eine Farbinformation extrahiert und hochgerechnet werden und auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen zweiten Information eine Tiefeninformation extrahiert und hochgerechnet werden. Beim Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild kann, wenn das Advanced-3D-Einzelbild von LDV-Daten gebildet wird, auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen ersten Information eine Vordergrundtextur oder eine Hintergrundtextur extrahiert und hochgerechnet werden und auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen zweiten Information eine Vordergrundtiefe oder eine Hintergrundtiefe extrahiert und hochgerechnet werden. Die Konvertierung des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild kann ein Decodieren von Information über ein einzelbildkompatibles Verfahren, das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendet wurde, und ein Konvertieren des MVC-kompatiblen Einzelbilds in das Advanced-3D-Einzelbild auf Basis der decodierten Information umfassen.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung umfasst ein Videodecodierverfahren Folgendes: Decodieren einer Positionsinformation eines leeren Codingblocks, bei dem keine Codierung vorgenommen wird und Durchführen einer Decodierung bei einem Codingblock auf Basis der Positionsinformation. Das Decodieren der Positionsinformation kann ein Decodieren einer Blankokarteninformation über das Durchführen oder Unterlassen einer Decodierung eines Codingblocks, der in einer jeweiligen Tranche (slice) enthalten ist, und ein Decodieren der Positionsinformation des leeren Codingblocks, bei dem keine Decodierung durchgeführt wird, auf Basis der Blankokarteninformation umfassen. Das Videodecodierverfahren kann ferner eine das Durchführen oder Unterlassen einer Leercodierung betreffende Bestimmung auf Basis einer Information darüber umfassen, ob eine Leercodierung bei einer Sequenz durchgeführt wurde oder nicht, wobei die Information in einem Sequenzparametersatzblock (SPS-Block; Sequence Parameter Set block) gespeichert ist, sowie, wenn in der Sequenz eine Leercodierung vorgenommen wurde, ein Bestimmen, ob in einer Tranche eine Leercodierung vorgenommen wurde oder nicht.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung umfasst eine Videocodiervorrichtung Folgendes: eine Reduziereinheit (down-sampling unit), die zum Reduzieren (down-sample) von Farbinformation und Tiefeninformation ausgebildet ist, und eine Einzelbildsyntheseeinheit, die zum Synthetisieren der von der Reduziereinheit reduzierten Farbinformation und Tiefeninformation in ein MVC-kompatibles Einzelbild ausgebildet ist. Die Einzelbildsyntheseeinheit kann Information über ein zum Erzeugen des MVC-kompatiblen Einzebilds verwendetes einzelbildkompatibles Verfahren erzeugen.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung umfasst eine Videodecodiervorrichtung Folgendes: Eine Einzelbildaufteilungseinheit, die zum Aufteilen eines MVC-kompatiblen Einzelbilds in ein oder mehrere Farbinformationsteile und ein oder mehrere Tiefeninformationsteile ausgebildet ist, und eine Hochrechnungseinheit (up-sampling unit), die zum Hochrechnen (up-sample) der von der Einzelbildaufteileinheit aufgeteilten Farbinformation und Tiefeninformation ausgebildet ist. Die Einzelbildaufteileinheit kann das MVC-kompatible Einzelbild auf Basis der Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendete einzelbildkompatible Verfahren aufteilen.
VORTEILHAFTE WIRKUNGEN
Gemäß den Ausführungsformen der vorliegenden Erfindung, kann ein Verfahren zum Konvertieren eines Einzelbildformats und die dieses Verfahren einsetzende Vorrichtung ein Advanced-3D-Video über einen bestehenden MVC-Codierer/Decodierer übertragen. Daher können Advanced-3D-Inhalte ohne Veränderung eines bestehenden Übertragungssystems und einer Kommunikationsschicht genutzt werden.
BESCHREIBUNG DER FIGUREN
1 ist eine konzeptionelle schematische Darstellung zur Veranschaulichung von Advanced-3D-Inhalten gemäß einer Ausführungsförm der vorliegenden Erfindung.
2 ist eine konzeptionelle Darstellung zur Veranschaulichung eines Verfahrens zum Konvertieren von Advanced-3D-Inhalten auf Basis eines MVD-Formats in ein MVC-kompatibles Einzelbild.
3 ist eine konzeptionelle Darstellung zur Veranschaulichung eines Verfahrens zum Konvertieren von Advanced-3D-Inhalten auf Basis eines LDV-Formats in ein MVC-kompatibles Einzelbild.
4 ist eine konzeptionelle Darstellung zur Veranschaulichung eines Verfahrens zum Anzeigen von Advanced-3D-Inhalten gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
5 ist eine konzeptionelle Darstellung zur Veranschaulichung eines Verfahrens zum Anzeigen von Advanced-3D-Inhalten als MVC-kompatibles Einzelbild gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
6 stellt ein Flussdiagramm zum Veranschaulichen eines Verfahrens zum Konvertieren von auf dem MVD-Format basierenden Advanced-3D-Inhalten in ein MVC-kompatibles Einzelbild gemäß einer weiteren Ausführungsform der vorliegenden Erfindung dar.
7 stellt ein Flussdiagramm zum Veranschaulichen eines Verfahrens zum Decodieren eines MVC-kompatiblen Einzelbilds in auf dem MVD-Format basierende Advanced-3D-Inhalte gemäß einer weiteren Ausführungsform der vorliegenden Erfindung dar.
8 ist eine konzeptionelle Darstellung zur Veranschaulichung eines Verfahrens zum Codieren bzw. Decodieren eines Advanced-3D-Einzelbilds durch einen MVC-Codierer bzw. MVC-Decodierer gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
9 ist eine konzeptionelle Darstellung zur Veranschaulichung einer ersten Formatkonvertierungseinheit, die zur Durchführung einer Codierung gemäß der Ausführungsform der vorliegenden Erfindung verwendet wird.
10 ist eine konzeptionelle Darstellung zur Veranschaulichung einer zweiten Formatkonvertierungseinheit, die zur Durchführung einer Decodierung gemäß der Ausführungsform der vorliegenden Erfindung verwendet wird.
11 stellt ein Flussdiagramm zum Veranschaulichen eines Verfahrens gemäß einer weiteren Ausführungsform der vorliegenden Erfindung zum Decodieren von Information darüber, ob eine Leercodierung vorzunehmen ist oder nicht, dar.
DARSTELLUNG DER ERFINDUNG
Nachfolgend werden Ausführungsbeispiele der vorliegenden Erfindung ausführlicher unter Bezugnahme auf die beiliegenden Figuren beschrieben. Die vorliegende Erfindung kann jedoch in davon abweichenden Formen ausgeführt werden und ist nicht als auf die hierin dargestellten Ausführungsformen beschränkt anzusehen. Die Ausführungsformen sind vielmehr in Hinblick auf eine genaue und vollständige Offenbarung angegeben, die den Fachleuten den Umfang der vorliegenden Erfindung vollständig vermittelt. In der gesamten Offenbarung beziehen sich gleiche Bezugszeichen auf in allen Figuren und Ausführungsformen der vorliegenden Erfindung gleiche Teile.
Wenn auf ein Element als mit einen anderen Element ”verbunden” oder daran ”befestigt” Bezug genommen wird, dann ist dies so aufzufassen, dass die Elemente entweder unmittelbar miteinander verbunden oder aneinander befestigt sind, oder andere Elemente dazwischen eingefügt sein können. Außerdem sind, wenn ein bestimmtes Element als ”enthalten” bezeichnet wird, andere als das jeweilige Element nicht ausgeschlossen, vielmehr können in den Ausführungsformen der vorliegenden Erfindung zusätzliche Elemente enthalten oder vom Umfang der vorliegenden Erfindung umfasst sein.
Begriffe wie z. B. ”erstes” und ”zweites” können zum Beschreiben verschiedener Elemente verwendet werden, wobei die Elemente nicht als auf diese Begrifflichkeiten eingeschränkt anzusehen sind. Die Begriffe werden lediglich zur Unterscheidung eines Elements von einem anderen Element verwendet. Zum Beispiel kann auf ein erstes Element als ein zweites Element und auf das zweite Element als das erste Element Bezug genommen werden, ohne den Umfang der Erfindung zu verlassen.
Außerdem sind in Ausführungsformen der vorliegenden Erfindung enthaltene konstituierende Einheiten eigenständig veranschaulicht, um verschiedene spezielle Funktionen zu beschreiben, wobei keines der konstituierenden Einheiten auf ein eigenes Hardware- oder Softwareelement hinweist. Das bedeutet, dass die jeweiligen konstituierenden Einheiten als für die Beschreibung zweckdienlich eingerichtet und einbezogen sind. Von den konstituierenden Einheiten können zwei oder mehr konstituierende Einheiten kombiniert werden, um als eine konstituierende Einheit zu dienen, und eine konstituierende Einheit kann zur Ausführung einer Funktion in mehrere konstituierende Einheiten aufgeteilt werden. Die die konstituierenden Elemente zusammenfassende Ausführungsform wie auch die aufgeteilten Ausführungsformen einer jeweiligen konstituierenden Einheit werden von den Ansprüchen unter der Voraussetzung umfasst, dass sie nicht vom Grundgedanken der vorliegenden Erfindung abweichen.
Außerdem können einige Elemente für die Ausführung einer für die vorliegende Erfindung unentbehrlichen Funktion nicht notwendig sein, sondern Elemente darstellen, deren Wahl der Verbesserung des Ergebnisses dient. Die vorliegende Erfindung kann ausgeführt werden, indem lediglich Elemente aufgenommen werden, die zur Realisierung des Grundgedankens der vorliegenden Erfindung notwendig. sind, wobei Elemente, die zur Verbesserung des Ergebnisses verwendet werden, ausgeschlossen sind. Der Umfang der vorliegenden Erfindung kann auch einen Aufbau umfassen, der nur notwendige Elemente beinhaltet, und Wahlelemente ausschließt, die zur Verbesserung des Ergebnisses verwendet werden.
1 ist eine konzeptionelle schematische Darstellung zur Veranschaulichung von Advanced-3D-Inhalten gemäß einer Ausführungsform der vorliegenden Erfindung.
Advanced-3D-Inhalte beziehen sich auf Einzelbildinhalte, die eine Tiefeninformation und Farbinformation enthalten. Das Advanced-3D-Verfahren kann beim Abspielen eines 3D-Videos einen Tiefeneindruck vermitteln, indem Videos an der Position einer beliebigen Ansicht unter Verwendung von während eines Wiedergabevorgangs übertragener Videoinformation und Tiefeninformation synthetisiert werden. Bei Verwendung des Advance-3D-Verfahrens kann ein Zuschauer die Tiefeneindruck einstellen und ein Mehrfachansichtsvideo-Anzeigegerät kann eine erforderliche Anzahl von Ansichten bei aufeinanderfolgenden Blickwinkeln natürlich synthetisieren.
Im oberen Teil von 1 ist ein MVD-Format (Mulitview video plus depth format) des Advanced-3D-Verfahrens illustriert.
Im oberen Teil von 1 ist ein MVD-Format für einen Fall veranschaulicht, bei dem die Anzahl der Ansichten drei beträgt. Das MVD-Format kann eine erste Farbinformation 100, zweite Farbinformation 110 und dritte Farbinformation 120, erste Tiefeninformation 105, zweite Tiefeninformation 115 und dritte Tiefeninformation 125 aufweisen. Die erste Tiefeninformation 105, zweite Tiefeninformation 115 und dritte Tiefeninformation 125 gehören jeweils zu der ersten Farbinformation 100, zweiten Farbinformation 110 und dritten Farbinformation 120. Das heißt, dass im Falle des MVD-Verfahrens eine Farbinformation und eine zu der Farbinformation gehörende Tiefeninformation erzeugt werden können, die von einer Ansicht abhängen.
Im unteren Teil von 1 ist ein LDV-Format (Layered Depth Video format; tiefengeschichtetes Videodatenformat) des Advanced-3D-Verfahrens veranschaulicht.
Wie aus dem unteren Teil von 1 ersichtlich kann das LDV-Format (Layered Depth Video format) eine Vordergrundtextur (FT, foreground texture) 130, eine Hintergrundtextur (BT, background texture) 140, eine Vordergrundtiefe (FD, foreground depth) 135 mit einer Tiefeninformation für die Vordergrundtextur 130 und eine Hintergrundtiefe (BD, background depth) 145 mit einer Tiefeninformation für die Hintergrundtextur 140 aufweisen.
Ein Verfahren zum Übertragen von Videoinhalten entsprechend einer Ausführungsform der vorliegenden Erfindung kann Advanced-3D-Inhalte wie beispielsweise MVD und LVD unter Verwendung eines Mehrfachansichtsvideokompressionsverfahrens (MVC-Verfahrens, Multiview Video Compression method) übertragen, wobei Advanced-3D-Inhalte, repräsentiert in Form eines MVC-Einzelbilds, als MVC-kompatibles Einzelbild definiert werden können, um von einem MVC-Codierer bzw. MVC-Decodierer codiert bzw. decodiert zu werden.
Die 2 und 3 zeigen konzeptionelle Darstellungen eines Verfahrens zum Anzeigen von Advanced-3D-Inhalten gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
2 zeigt eine Konzeptdarstellung zur Veranschaulichung eines Verfahrens zum Konvertieren von auf dem MVD-Format basierenden Advanced-3D-Inhalten in ein MVC-kompatibles Einzelbild.
Wenn die Anzahl der Ansichten bei dem MVD-Verfahren zwei beträgt, kann ein Side-by-Side-Verfahren verwendet werden, um als erstes MVC-kompatibles Einzelbild 200 eine erste Farbinformation 210 und erste Tiefeninformation 220 zu erzeugen und als zweites MVC-kompatibles Einzelbild 230 eine zweite Farbinformation 240 und zweite Tiefeninformation 250 zu erzeugen. Das erste und zweite MVC-kompatible Einzelbild 200 und 230 können von einem MVC-Codierer bzw. MVC-Decodierer zusammen codiert bzw. decodiert werden.
3 zeigt eine Konzeptdarstellung zur Veranschaulichung eines Verfahrens zum Konvertieren von auf dem LDV-Format basierenden Advanced-3D-Inhalten in ein MVC-kompatibles Einzelbild.
Das Side-by-Side-Verfahren kann verwendet werden, um eine Vordergrundtextur 310 und eine Vordergrundtiefe 320 zu erzeugen, die als erstes MVC-kompatibles Einzelbild 300 entsprechend dem LDV-Verfahren bezogen werden, sowie um als zweites MVC-kompatibles Einzelbild 330 eine Hintergrundtextur 340 und eine Hintergrundtiefe 350 zu erzeugen. Das erzeugte erste und zweite MVC-kompatible Einzelbild 300 und 330 kann durch einen MVC-Codierer bzw. einen MVC-Decodierer codiert bzw. decodiert werden.
4 zeigt eine Konzeptdarstellung eines Verfahrens zum Anzeigen von Advanced-3D-Inhalten gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
4 veranschaulicht ein Verfahren zum Konvertieren von Advanced-3D-Inhalten in ein MVC-kompatibles Einzelbild gemäß eines Top-Bottom-Verfahrens.
Wie dem oberen Teil von 4 zu entnehmen ist, kann bei auf dem MVD-Verfahren basierenden Advanced-3D-Inhalten das Top-Down-Verfahren verwendet werden, um als ein erstes MVC-kompatibles Einzelbild 400 eine erste Farbinformation 410 und eine erste Tiefeninformation 420 zu erzeugen, und um als ein zweites MVC-kompatibles Einzelbild 430 eine zweite Farbinformation 440 und eine zweite Tiefeninformation 450 zu erzeugen. Das erste und das zweite MVC-kompatible Einzelbild 400 und 430 können durch einen MVC-Decodierer bzw. einen MVC-Codierer gemeinsam codiert bzw. decodiert werden.
Wie aus dem unteren Teil von 4 ersichtlich kann das Top-Down-Verfahren verwendet werden, um eine Vordergrundtextur 470 und eine Vordergrundtiefe 480 zu erzeugen, die entsprechend dem LDV-Verfahren als ein erstes MVC-kompatibles Einzelbild 460 erhalten werden, und um als ein zweites MVC-kompatibles Einzelbild 490 eine Hintergrundtextur 493 und eine Hintergrundtiefe 496 zu erzeugen. Das erzeugte erste und zweite MVC-kompatible Einzelbild 460 und 490 können durch einen MVC-Codierer bzw. einen MVC-Decodierer gemeinsam codiert bzw. decodiert werden.
5 zeigt eine Konzeptdarstellung zum Veranschaulichen eines Verfahrens zum Anzeigen von Advanced-3D-Inhalten als MVC-kompatibles Einzelbild gemäß einer weiteren Ausführunsgform der vorliegenden Erfindung.
Wie aus 5 ersichtlich kann als Verfahren zum Anzeigen eines MVC-kompatiblen Einzelbilds zusätzlich ein Interlaced-Verfahren oder ein Check-Box-Verfahren verwendet werden.
Bei dem Interlaced-Verfahren 500 und 520 und dem Check-Box-Verfahren 540 und 560 können zum Erzeugen eines MVC-kompatiblen Einzelbilds Farbinformation und Tiefeninformation als eine Einzelbildinformation erzeugt werden, wie auch beim Side-by-Side-Verfahren und Top-and-Down-Verfahren. Das bedeutet, dass im Falle von auf dem MVD-Format basierenden Advanced-3D-Inhalten ein auf einer Farbinformation 570 und einer Tiefeninformation 580 basierendes MVC-kompatibles Einzelbild erzeugt werden kann und im Falle von auf dem LVD-Format basierenden Advanced-3D-Inhalten ein auf Vordergrund- und Hintergrundtexturen 570 und Vordergrund und Hintergrundtiefen 580 basierendes MVC-kompatibles Einzelbild erzeugt werden kann. Beim Interlaced-Verfahren 500 und 520 und dem Chek-Box-Verfahren 540 und 560 kann eine erste in dem Einzelbild enthaltene Information als Farbinformation dienen und eine zweite Information als Tiefeninformation dienen.
Zusätzlich zu den oben beschriebenen einzelbildkompatiblen Verfahren kann ein Verfahren zum Anzeigen einer zweigeteilten Information in einem Einzelbild, beispielsweise ein Verfahren zum Anzeigen von Advanced-3D-Inhalten als einstückiger Information zum Erzeugen eines MVC-kompatiblen Einzelbilds verwendet werden. Eine solche Ausführungsform ist vom Umfang der vorliegenden Erfindung umfasst.
Die Advanced-3D-Inhalte, die in Form eines von einem MVC-Codierer bzw. MVC-Decodierer zu codierenden bzw. decodierenden MVC-Einzelbilds dargestellt sind, können als MVC-kompatibles Einzelbild definiert, und das MVC-kompatible Einzelbild kann durch Reduzieren der Auflösungen von Videoinformation und Tiefeninformation der ursprünglichen Advanced-3D-Inhalte dargestellt werden. Das reduzierte Video kann in Form eines Video erzeugt oder in ein Video umgewandelt werden, bei dem die Auflösung durch einen Decodiervorgang in die ursprüngliche Auflösung hochgerechnet wurde.
Nachfolgend wird ein Verfahren zur Durchführung einer MVC-Codierung bzw. -Decodierung auf Basis von zwei Einzelbildern aus Gründen einer zweckmäßigen Beschreibung anhand von Ausführungsformen der vorliegenden Erfindung beschrieben. Die MVC-Codierung bzw. -Decodierung kann jedoch auf Basis mehrteiliger Videoinformation durchgeführt werden und kann mehrere Videos codieren bzw. decodieren, wobei eine zeitliche Gemeinsamkeit (Temporal Similarity) und Gemeinsamkeit zwischen Ansichten (Inter-view Similarity) auf Basis einer Bildermatrix (MOP, Matrix of Picture) verwendet wird. Das bedeutet, dass die MVC-Codierung bzw. -Decodierung auf Basis von mehreren Einzelbildern erfolgen kann. Daher kann abhängig von dem Advanced-3D-Verfahren eine mehrteilige Videoinformation erzeugt und auf Basis der Videoinformation können zwei oder mehr MVC-kompatible Einzelbilder erzeugt werden. Zudem kann das MVC-Codieren bzw. -Decodieren auf Basis der MVC-kompatiblen Einzelbilder vorgenommen werden.
6 zeigt ein Flussdiagramm zum Veranschaulichen eines Verfahrens zum Konvertieren von Advanced-3D-Inhalten auf Basis des MVD-Formats in ein MVC-kompatibles Einzelbild gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
Wie 6 zu entnehmen wird in Schritt S600 ein MVC-kompatibles Einzelbild auf Basis eines Advanced-3D-Einzelbilds erzeugt.
Im Falle des MVD-Formats kann ein erstes MVC-kompatibles Einzelbild auf Basis einer ersten Farbinformation und einer ersten Tiefeninformation erzeugt werden und ein zweites MVC-kompatibles Einzelbild auf Basis einer zweiten Farbinformation und einer zweiten Tiefeninformation erzeugt werden. Im Falle des LDV-Formats können das erste und das zweite MVC-kompatible Einzelbild auf Basis von Vordergrundtexturen und Vordergrundtiefen erzeugt werden. Zum Konvertieren von Advanced-3D-Inhalten in ein wie oben beschriebenes MVC-kompatibles Einzelbild können zum Erzeugen des MVC-kompatiblen Verfahrens diverse kompatible Einzelbildverfahren wie beispielsweise das Side-by-Side-Verfahren, das Top-Down-Verfahren, das Interlaced-Verfahren und das Check-Box-Verfahren verwendet werden. Das MVC-kompatible Einzelbild kann durch Reduzieren der Auflösung der ursprünglichen Videoinformation und Tiefeninformation gemäß des Verfahrens zum Erzeugen eines MVC-kompatiblen Einzelbilds erzeugt werden.
In Schritt S610 wird eine MVC-Codierung auf Basis des MVC-kompatiblen Einzelbilds durchgeführt.
Das MVC-Codieren kann Videoinformation und Tiefeninformation eines Einzelbilds auf Basis einer räumlichen Gemeinsamkeit oder zeitlichen Gemeinsamkeit unter mehreren Einzelbildern codieren oder unter Verwendung eines auf Basis eines einzelbildkompatiblen Verfahrens erzeugten MVC-kompatiblen Einzelbilds durchgeführt werden.
7 zeigt ein Flussdiagramm, das ein Verfahren zum Decodieren eines MVC-kompatiblen Einzelbilds in auf dem MVD-Format basierende Advanced-3D-Inhalte gemäß einer weiteren Ausführungsform der vorliegenden Erfindung veranschaulicht.
Wie 7 zu entnehmen wird in Schritt S700 ein MVC-kompatibles Einzelbild decodiert.
Das von einem MVC-kompatiblen Codierer codierte MVC-kompatible Einzelbild kann mit einem MVC-Decodierer decodiert werden.
Das decodierte MVC-kompatible Einzelbild wird in Schritt S710 in Advanced-3D-Inhalte konvertiert.
Auf dem MVD-Format oder LDV-Format basierende Videoinformation kann in die auf dem decodierten MVC-kompatiblen Einzelbild basierenden ursprünglichen Advanced-3D-Inhalte decodiert werden. Zum Beispiel kann das MVC-kompatible Einzelbild im Falle des MVD-Formats in eine in mehrere Teile aufgeteilte Farbinformation und Tiefeninformation konvertiert werden, und im Falle des LVD-Formats kann das MVC-kompatible Einzelbild in ein Einzelbild konvertiert werden, das mehrere Vodergrundtexturen und -tiefen und mehrere Hintergrundtexturen und -tiefen enthält.
Um das decodierte MVC-kompatible Einzelbild in das ursprüngliche Advanced-3D-Einzelbild zu konvertieren, können die Farbinformation und die Tiefeninformation hochgerechnet werden. Zum Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild kann eine Information über das einzelbildkompatible Verfahren, beispielsweise das Side-by-Side-Verfahren oder das Top-and-Bottom-Verfahren, die zum Konvertieren der Advanced-3D-Inhalte in das MVC-kompatible Einzelbild verwendet werden, empfangen werden. Die ursprünglichen Advanced-3D-Inhalte können auf Basis der empfangenen Information erzeugt werden.
In Schritt S720 erfolgt eine Ansichtssynthese auf Basis der Advanced-3D-Inhalte.
Die in dem Advanced-3D-Einzelbild enthaltene Farbinformation und Tiefeninformation kann abhängig vom Anzeigeverfahren zum Erzeugen von mehreren virtuellen Ansichten (Virtual view) verwendet werden. Das bedeutet, dass die mehreren virtuellen Ansichten (Virtual View) mittels Mehrfachansichtswiedergabe (Multiview rendering) auf Basis einer zweiteiligen Videoinformation und Tiefeninformation erzeugt werden können.
Das synthetisierte Video wird in Schritt S730 ausgegeben.
Das auf den Advanced-3D-Inhalten basierende Video kann über eine 3D-Anzeigevorichtung ausgegeben werden.
Die Konzeptansicht von 8 veranschaulicht ein Verfahren zum Codieren bzw. Decodieren eines Advanced-3D-Einzelbilds mittels eines MVC-Codierers bzw. MVC-Ddecodierers gemäß einer weiteren Ausführungsform der vorliegenden Erfindung.
8 veranschaulicht ein Verfahren zum Codieren bzw. Decodieren von Advanced-3D-Inhalten auf Basis des Tiefeninformation und Videoinformation umfassenden MVD-Formats, wobei das Verfahren auch auf andere Advanced-3D-Inhalte angewandt werden kann.
Wie 8 zu entnehmen ist, kann die erste Formatumwandlung 805 an einem MVD-Video 800 vorgenommen werden, das eine erste Farbinformation, erste Tiefeninformation, zweite Farbinformation und zweite Tiefeninformation enthält.
Bei der ersten Formatkonvertierung 805 handelt es sich um ein Verfahren zum Konvertieren von Advanced-3D-Inhalten wie beispielsweise MVD oder LDV in ein MVC-kompatibles Einzelbild, wobei diverse Verfahren wie beispielsweise ein Side-by-Side-Verfahren, ein Top-Down-Verfahren, ein Interlaced-Verfahren und ein Check-Box-Verfahren mit involviert sein können. Bei dieser ersten Formatkonversion 805 kann die Auflösung der Farbinformation oder Tiefeninformation zum Erzeugen eines Einzelbilds abhängig von dem einzelbildkompatiblen Verfahren reduziert werden.
Das durch die erste Umwandlung 805 erzeugte MVC-kompatible Einzelbild 810 kann gleichzeitig eine Farbinformation und eine Tiefeninformation aufweisen, wobei mit dem MVC-Codierer 820 mehrere MVC-kompatible Einzelbilder 810 codiert werden können.
Das codierte MVC-kompatible Einzelbild kann mit einem MVD-Decodierer 830 decodiert werden, wobei an dem decodierten MVC-kompatiblen Einzelbild 840 eine zweite Formatumwandlung 850 entsprechend einem zum Codiervorgang umgekehrten Vorgang vorgenommen wird. Das bei der ersten Formatumwandlung 805 reduzierte Einzelbild kann zum Erzeugen des ursprünglichen Videos bei der zweiten Formatkonvertierung 850 hochgerechnet werden. Das bedeutet, dass die als ein Einzelbild dargestellte reduzierte Videoinformation und Tiefeninformation bei der zweiten Formatkonvertierung 850 in eine mehrteilige Videoinformation und Tiefeninformation decodiert werden kann.
Das MVC-kompatible Einzelbild 840 kann durch die zweite Formatumwandlung 850 in Advanced-3D-Inhalte 860 umgewandelt werden. Die formatkonvertierte Videoinformation und Tiefeninformation kann durch die Ansichtssynthese (View Synthesis) 870 zum Synthetisieren beliebiger virtueller Ansichtsbilder verwendet werden. Bei Advanced-3D-Inhalten kann auf Basis der Tiefeninformation ein Verdrehen in mehrere Blickrichtungen vollzogen werden. Dadurch können mehrere aufeinanderfolgende virtuelle Ansichten synthetisiert werden.
Das synthetisierte Video kann an einer 3D-Anzeigevorrichtung 880 wiedergegeben werden.
Die Konzeptdarstellung von 9 veranschaulicht eine zur Durchführung einer Codierung gemäß der Ausführungsform der vorliegenden Erfindung verwendete erste Formatkonvertierungseinheit.
Wie 9 zu entnehmen kann die erste Formatkonvertierungseinheit 900 eine Reduziereinheit 920 und eine Einzelbildsyntheseeinheit 940 umfassen.
Die Reduziereinheit 920 kann die Auflösung der Farbinformation oder Tiefeninformation in horizontaler oder vertikaler Richtung abhängig vom einzelbildkompatiblen Verfahren reduzieren. Wenn es sich bei dem einzelbildkompatiblen Verfahren zum Beispiel um ein Side-by-Side-Verfahren handelt, kann die horizontale Auflösung eines eine Farbinformation enthaltenden Einzelbilds auf die Hälfte reduziert und die horizontale Auflösung eines eine Tiefeninformation enthaltenden Einzelbilds auf die Hälfte reduziert werden. Wenn es sich bei dem einzelbildkompatiblen Verfahren um ein Top-and-Down-Verfahren handelt, kann die vertikale Auflösung eines eine Farbinformation enthaltenden Einzelbilds auf die Hälfte reduziert und die vertikale Auflösung eines eine Tiefeninformation enthaltenden Einzelbilds auf die Hälfte reduziert werden.
Die Einzelbildsyntheseeinheit 940 kann in einem Einzelbild von der Reduziereinheit 920 reduzierte Einzelbilder synthetisieren. Wenn es sich bei dem einzelbildkompatiblen Verfahren zum Beispiel um ein Side-by-Side-Verfahren handelt, kann die Einzelbildsyntheseeinheit 940 ein Farbinformationseinzelbild und ein Tiefeninformationseinzelbild synthetisieren, die in ein MVC-kompatibles Einzelbild reduziert werden. Das erzeugte MVC-kompatible Einzelbild kann einem MVC-Codierer zugeführt und von dem MVC-Codierer codiert werden. Die Einzelbildsyntheseeinheit 940 kann Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendete einzelbildkompatible Verfahren erzeugen, wobei die Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendete einzelbildkompatible Verfahren mit dem MVC-Codierer codiert werden kann.
10 zeigt eine Konzeptdarstellung zur Veranschaulichung einer zweiten Formatkonvertierungseinheit, die zum Durchführen einer Decodierung gemäß der Ausführungsform der vorliegenden Erfindung verwendet wird.
Wie 10 zu entnehmen, kann die zweite Formatkonvertierungseinheit 1000 eine Einzelbildaufteilungseinheit 1020 und eine Hochrechnungseinheit 1040 aufweisen.
Die Einzelbildaufteilungseinheit 1020 kann auf Basis eines decodierten MVC-kompatiblen Einzelbildes zwei Einzelbilder erzeugen. Da ein MVC-kompatibles Einzelbild ein reduziertes Farbinformationseinzelbild sowie Tiefeninformationseinzelbild enthält, kann die Einzelbildaufteilungseinheit 1020 zum Beispiel das MVC-kompatible Einzelbild auf Basis der Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendete einzelbildkompatible Verfahren in das Farbinformationseinzelbild und das Tiefeninformationseinzelbild aufteilen.
Die Einzelbildaufteilungseinheit 1020 kann Information über das zum Erzeugen eines aktuellen MVC-kompatiblen Einzelbilds verwendete Verfahren auf Basis der von einem MVC-Decodierer decodierten einzelbildkompatiblen Information empfangen und auf Basis der empfangenen Information das Einzelbild in die ursprünglichen Advanced-3D-Inhalte aufteilen.
Die Hochrecheneinheit 1040 kann die von der Einzelbildaufteilungseinheit 1020 aufgeteilten Einzelbilder hochrechnen. Die von der Einzelbildaufteilungseinheit 1020 aufgeteilten Einzelbilder stellen Einzelbilder dar, die von der ersten Formatkonvertierungseinheit reduziert und synthetisiert wurden, und eine auf die Hälfte reduzierte Auflösung aufweisen können. Zum Vergrößern der Auflösung des Einzelbilds kann von der Hochrecheneinheit 1040 daher ein Hochrechnen zum Wiederherstellen der ursprünglichen Advanced-3D-Inhalte vorgenommen werden.

Tabelle 1 zeigt Syntaxelemente zum Ausführen des Videoinformationsdarstellungsverfahrens gemäß der Ausführungsform der vorliegenden Erfindung. Eine den Syntaxelementen entsprechende Information kann einer MVC SEI Nachricht hinzugefügt werden, um ein Verfahren zum Erzeugen einer aktuellen Videoinformation anzugeben. [Tabelle 1]

Syntax elements	Symantics
Frame_packing_arrangement_type	Angeben des frame packing Verfahrens. zum Beispiel: 0 checker board 1 column interleaving 2 row interleaving 3 side-by-side 4 top and bottom
Advanced_3d_data_type	Angeben eines frame-packing advanced 3D-Datenformats. Bei 00, MVD-Verfahren und bei 10, LDV-Verfahren.

Ein Syntaxelement ”frame_packing_arrangement_type” kann eine Information über ein Verfahren zum Paketieren eines Einzelbilds angeben. Wie oben ausgeführt wird ein Index (0: check board, 1: column interleaving, 2: row interleaving, 3: side-by-side, and 4: top and bottom) auf ein Verfahren zum Konvertieren von Advanced-3D-Inhalten in ein MVC-kompatibles Einzelbild abgebildet. Auf Basis der Abbildungsinformation kann das Einzelbildpaketierungsverfahren bestimmt werden, mit dem ein aktuelles MVC-kompatibles Einzelbild paketiert wurde.
Ein Syntaxelement ”advanced_3d_data_type” kann Information darüber angeben, ob ein einzelbildpaketiertes Advanced-3D-Video auf dem MVD- oder LDV-Format beruht.
Die untenstehende Tabelle 2 zeigt eine Syntaxstruktur, wobei die Syntaxelemente ”frame_packing_arrangement_type” und ”advanced_3d_data_type” in ”frame_packing_arrangement_info(payloadsize)” wiedergegeben werden können.
[Tabelle 2]
Die oben erläuterte Syntaxelementinformation gibt eine Information zur Wiedergabe eine Einzelbildpaketierungstyps und eines Advanced-3D-Einzelbildformats an, wobei die Syntaxelementinformation und eine der Syntaxelementinformation entsprechende Bedeutung in unterschiedlicher Weise dargestellt werden können. Außerdem kann die Syntaxelementinformation sowohl eigenständig als auch in Verbindung mit einem anderen Syntaxelement verwendet werden.
Das MVD-Format (Multi-view Video plus Depth format) kann Videoinformation und Tiefeninformation enthalten, die bei verschiedenen Ansichten aufgenommen wurden. Bei Verwendung des MVD-Formats können Videoinformation und Tiefeninformation an einem Punkt in einem 3D-Raum in einer Weise vorliegen, dass sie sich mit Videoinformation und Tiefeninformation von mehreren Ansichten decken. Um doppelte Videoinformation während des Codierens zu entfernen und eine Videoinformation und Tiefeninformation zu erhalten, die nicht in anderen Ansichten wiedergegeben ist, kann ein RDV-Verfahren (Residual Depth Video method) verwendet werden. Beim RDV-Datenformat werden doppelte Daten während des Codierens entfernt, wobei nur in anderen Ansichten nicht vorhandene Videoinformation und Tiefeninformation übrig bleibt. Daher wird ein sich mit anderen Ansichten deckender Block zu einem leeren Block, der keine zu codierenden Daten enthält. Daher kann, wenn für die Position eines leeren Blocks Daten übertragen werden, an dem jeweiligen Block kein Codieren bzw. Decodieren vorgenommen werden. Dadurch kann der Umfang des Codierens bzw. Decodieren verringert und die Effizienz des Codierens bzw. Decodierens erhöht werden. Nachfolgend wird das für das RDV-Datenformat verwendete Codierverfahren als Leercodierverfahren bezeichnet.
Tabelle 3 zeigt ein Syntaxelement, das angibt, ob bei einer jeweiligen Sequenz gemäß einer weiteren Ausführungsform der vorliegenden Erfindung eine Leercodierung vorgenommen werden soll oder nicht.
[Tabelle 3]
In Tabelle 3 kann eine Syntaxelement ”enable_blank_flag” auf einer SPS-Ebene (Sequence Parameter Set level) verwendet werden, um zu bestimmen, ob eine aktuelle Sequenz aus Daten besteht, die auf dem RDV-Format basieren, bei dem eine Leercodierung vorgenommen wird, oder aus Daten, die die auf dem MDV-Format basieren, bei dem keine Leercodierung vorgenommen wird. Zum Beispiel kann die aktuelle Sequenz, wenn das Syntaxelement ”enable_blank_flag” gleich 1 ist, als aus RDV-Daten bestehend bestimmt, und wenn das Syntaxelement ”enable_blank_flag” gleich 0 ist, als aus MDV-Daten bestehend bestimmt werden.
Auf Tranchenebene kann angegeben werden, ob für jede Tranche eine Leercodierung verwendet werden soll oder nicht.
Die nachfolgende Tabelle 4 gibt ein Syntaxelement an, das angibt, ob bei jeder Tranche eine Leercodierung gemäß der Ausführungsform der vorliegenden Erfindung verwendet werden soll oder nicht.
[Tabelle 4]
Wie Tabelle 4 zu entnehmen wird mittels des Syntaxelements ”enable_blank_flag” auf der SPS-Ebene bestimmt, dass bei der aktuellen Sequenz eine Leercodierung verwendet wird, wobei ein neues Syntaxelement ”use_blank_flag” verwendet werden kann, um zu bestimmen, ob eine Leercodierung bei einer Trancheneinheit verwendet werden soll oder nicht. Ist das Syntaxelement ”enable_blank_flag” auf 0 gesetzt, dann kann das Syntaxelement ”use_blank_flag” als auf 0 gesetzt angenommen werden.
Tabelle 5 zeigt, ob eine aktuell Codiereinheit eine Leercodiereinheit, bei der keine Codierung vorgenommen wird, ist oder nicht.
[Tabelle 5]
Wie Tabelle 5 zu entnehmen ist, kann zum Angeben, ob bei einer Codiereinheit eine Leercodierung vorgenommen werden soll oder nicht, das neues Syntaxelement ”blank_flag” verwendet werden.
Auf der Ebene der Codiereinheit kann das Syntaxelement ”blank_flag” angeben, ob in einer aktuellen Codiereinheit zu codierende Information vorliegt oder nicht. Ist das Syntaxelement ”use_blank_flag” gleich 0, dann kann angenommen werden, dass das Syntaxelement ”blank_flag” gleich 0 ist.
Die in den Tabellen 3 bis 5 beschriebenen Syntaxelemente stellen Ausführungsformen zur Darstellung von Information darüber dar, ob bei einer Sequenz, einer Tranche und einem Codingblock eine Codierung vorgenommen werden soll oder nicht, wobei die Syntaxelemente zur Vornahme einer Leercodierung auf verschiedene Weise repräsentiert werden können. Wenn die Leercodierung zum Beispiel auf Sequenzebene bedingungslos erfolgen soll, kann auf die Verwendung des in Zusammenhang mit Tabelle 3 beschriebenen Syntaxelements ”enable_blank_flag” verzichtet werden. Entsprechend können die Syntaxelemente von Tabelle 4 und 5 auf verschiedene Weise repräsentiert werden.
Das Flussdiagramm von 11 veranschaulicht ein Verfahren gemäß einer weiteren Ausführungsform der vorliegenden Erfindung zum Decodieren von Information darüber, ob eine Leercodierung vorgenommen wurde oder nicht.
Wie aus 11 ersichtlich wird in Schritt S1100 bestimmt, ob bei einer aktuellen Sequenz eine Leercodierung vorgenommen wurde oder nicht.
Wie unter Bezugnahme auf Tabelle 3 erläutert wurde, kann über die im SPS enthaltene ”enable_blank_flag”-Information bestimmt werden, dass bei der aktuellen Sequenz eine Leercodierung vorgenommen wurde.
Wurde keine Leecodierung vorgenommen, dann kann in Schritt S1110 ein allgemeiner MVD-Decodiervorgang ausgeführt werden.
Eine Information darüber, ob bei einer aktuellen Tranche eine Leercodierung auf Tranchenebene vorgenommen wurde oder nicht, wird in Schritt S1120 decodiert.
Wenn festgestellt wird, dass eine Leercodierung auf Sequenzebene vorgenommen wurde, kann bestimmt werden, ob bei der aktuellen Tranche eine Leercodierung auf Tranchenebene vorgenommen wurde oder nicht.
Wurde bei der aktuellen Tranche keine Leercodierung vorgenommen, dann kann die Tranche in Schritt S1130 mittels eines allgemeinen Decodiervorgangs decodiert werden.
Wurde bei der aktuellen Tranche eine Leercodierung vorgenommen, dann kann eine 2D-Blankokarte erzeugt werden, die einer Karteninformation darüber entspricht, ob bei einem in der jeweiligen Tranche enthaltenen Codingblock eine Leercodierung vorgenommen wurde oder nicht. Die Information darüber, ob eine Leercodierung vorgenommen wurde oder nicht, kann in der Blankokarte auf 0 zurückgesetzt sein.
In Schritt S1140 wird auf Basis der Blankokarte bestimmt, ob bei einem Codingblock eine Decodierung vorgenommen wird oder nicht.
Ist das Syntaxelement ”blank_flag” für die Bestimmung, ob eine Leercodierung vorgenommen wurde oder nicht, bei einer aktuellen Codiereinheit auf 1 gesetzt, sollte keine Codierung der jeweiligen Codiereinheit vorgenommen worden sein, woraufhin in BlankMap[x][y] eine 1 geschrieben wird, um anzuzeigen, dass bei der aktuellen Codiereinheit keine Codierung vorgenommen wurde. Des Weiteren darf eine Codiereinheit, bei der keine Codierung vorgenommen wurde, da sie leergelassen wurde, nicht als Referenzblock zur Durchführung einer bildübergreifenden Differenzcodierung (Inter Picture Prediction) oder einer bildinternen Differenzcodierung (Intra Picture Prediction) für benachbarte Codierblöcke verwendet werden. Ist das Syntaxelement ”blank_flag” auf 0 gesetzt, so kann bei der jeweiligen Codiereinheit eine Codierung vorgenommen worden sein.
11 basiert auf dem unter Bezug auf die Tabellen 3 bis 5 beschriebenen Codierverfahren, wobei ein anderes Leercodierverfahren unter der Voraussetzung verwendet werden kann, dass das Verfahren nicht von Grundgedanken der vorliegenden Erfindung abweicht. Zum Beispiel muss der Schritt zur Bestimmung, ob bei der jeweiligen Sequenz eine Leercodierung auf Sequenzebene durchgeführt wurde oder nicht, nicht ausgeführt werden.
Auch wenn die vorliegende Erfindung unter Bezugnahme auf einzelne Ausführungsformen beschrieben wurde, ist es für Fachleute ohne weiteres ersichtlich, dass verschiedenste Änderungen und Modifikationen vorgenommen werden können, ohne vom Grundgedanken und Umfang der in den nachfolgenden Ansprüchen definierten Erfindung abzuweichen.

Claims

Videodecodierverfahren, das Folgendes umfasst: Decodieren eines codierten zu MVC (Mulitview Video Compression) kompatiblen Einzelbilds unter Verwendung eines MVC-Decodierers und Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild.
Videodecodierverfahren nach Anspruch 1, das ferner ein Durchführen einer Ansichtssynthese unter Verwendung des Advanced-3D-Einzelbilds umfasst.
Videodecodierverfahren nach Anspruch 1, worin das MVC-kompatible Einzelbild ein Einzelbild umfasst, das mittels eines einzelbildkompatiblen Verfahrens auf Basis von Farbinformation und Tiefeninformation des Advanced-3D-Einzelbildes erzeugt wurde.
Videodecodierverfahren nach Anspruch 3, worin das einzelbildkompatible Verfahren ein beliebiges von folgenden Verfahren umfasst: ein Check-Board-Verfahren, ein Column-Interleaving-Verfahren, ein Row-Interleaving-Verfahren, ein Side-by-Side-Verfahren und ein Top-and-Bottom-Verfahren.
Videodecodierverfahren nach Anspruch 1, worin das Advanced-3D-Einzelbild MVD-Daten (Multiview Video plus Depth data) aufweist, die Farbinformation und Tiefeninformation enthalten, oder LDV-Daten (Layered Depth Video data), die Vordergrund- und Hintergrundtexturen und Vordergrund- und Hintergrundtiefen enthalten.
Videodecodierverfahren nach Anspruch 1, worin beim Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild, wenn es sich bei dem Advanced-3D-Einzelbild um MVD-Daten handelt, auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen ersten Information Farbinformation extrahiert und hochgerechnet wird, und auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen zweiten Information Tiefeninformation extrahiert und hochgerechnet wird.
Videodecodierverfahren nach Anspruch 1, worin beim Konvertieren des decodierten MVC-kompatiblen Einzelbilds in ein Advanced-3D-Einzelbild, wenn es sich bei dem Advanced-3D-Einzelbild um LDV-Daten handelt, auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen ersten Information eine Vordergrundtextur oder eine Hintergrundtextur extrahiert und hochgerechnet werden, und auf Basis einer in dem MVC-kompatiblen Einzelbild enthaltenen zweiten Information eine Vordergrundtiefe oder eine Hintergrundtiefe extrahiert und hochgerechnet wird.
Videodecodierverfahren nach Anspruch 1, worin das Konvertieren des decodierten MVC-kompatiblen Einzelbilds in das Advanced-3D-Einzelbild ein Decodieren einer Information über ein zum Erzeugen des MVC-kompatiblen Einzelbilds verwendetes einzelbildkompatibles Verfahren und ein Konvertieren des MVC-kompatiblen Einzelbilds in das Advanced-3D-Einzelbild auf Basis der decodierten Information umfasst.
Videodecodierverfahren, das aufweist: Decodieren einer Positionsinformation eines leeren Codingblocks, bei dem keine Codierung vorgenommen wurde, und Durchführen einer Decodierung bei einem Codingblock auf Basis der Positionsinformation.
Videodecodierverfahren nach Anspruch 9, worin das Decodieren der Positionsinformation ein Decodieren einer Blankokarteninformation darüber umfasst, ob bei einem in einer jeweiligen Tranche enthaltenen Codingblock ein Decodieren vorgenommen wird oder nicht, sowie ein Decodieren der Positionsinformation des leeren Codingblocks, bei dem keine Codierung vorgenommen wurde, auf Basis der Blankokarteninformation.
Videodecodierverfahren nach Anspruch 9, das ferner aufweist: Bestimmen, ob bei einer Sequenz eine Leercodierung vorgenommen wurde oder nicht, auf Basis einer Information darüber, ob eine Leercodierung vorgenommen wurde oder nicht, wobei die Information in einem SPS-Block (Sequence Parameter Set block) gespeichert ist, und Bestimmen, ob in einer Tranche eine Leercodierung vorgenommen wurde oder nicht, wenn in der Sequenz eine Leercodierung vorgenommen wurde.
Videocodiervorrichtung, die aufweist: eine Reduziereinheit, die zum Reduzieren von Farbinformation und Tiefeninformation ausgebildet ist, und eine Einzelbildsyntheseeinheit, die zum Synthetisieren der von der Reduziereinheit reduzierten Farbinformation und Tiefeninformation in ein MVC-kompatibles Einzelbild ausgebildet ist.
Videocodiervorrichtung nach Anspruch 12, worin die Einzelbildsyntheseeinheit Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendeten einzelbildkompatiblen Verfahrens erzeugt.
Video decodiervorrichtung, die aufweist: eine Einzelbildaufteilungseinheit, die zum Aufteilen eines MVC-kompatiblen Einzelbilds in eine ein- oder mehrteilige Farbinformation und eine ein oder mehrteilige Tiefeninformation ausgebildet ist, und eine Hochrecheneinheit, die zum Hochrechnen der von der Einzelbildaufteilungseinheit aufgeteilten Farbinformation und Tiefeninformation ausgebildet ist.
Videodecodiervorrichtung nach Anspruch 14, worin die Einzelbildaufteilungseinheit das MVC-kompatible Einzelbild auf Basis der Information über das zum Erzeugen des MVC-kompatiblen Einzelbilds verwendeten einzelbildkompatiblen Verfahren aufteilt.